(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-21
(54)【発明の名称】デジタル病理画像の空間的特徴分析
(51)【国際特許分類】
G06T 7/00 20170101AFI20230713BHJP
G01N 33/48 20060101ALI20230713BHJP
G01N 33/483 20060101ALI20230713BHJP
G06T 7/90 20170101ALI20230713BHJP
G06V 20/69 20220101ALI20230713BHJP
G06T 7/60 20170101ALI20230713BHJP
【FI】
G06T7/00 630
G01N33/48 P
G01N33/483 C
G06T7/90 C
G06T7/00 350C
G06V20/69
G06T7/60 180B
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022569467
(86)(22)【出願日】2021-05-17
(85)【翻訳文提出日】2023-01-12
(86)【国際出願番号】 US2021032816
(87)【国際公開番号】W WO2021236547
(87)【国際公開日】2021-11-25
(32)【優先日】2020-05-18
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-09-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】リー, シアオ
【テーマコード(参考)】
2G045
5L096
【Fターム(参考)】
2G045AA24
2G045CA17
2G045CB01
2G045FA16
2G045GB10
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096BA18
5L096CA04
5L096CA18
5L096DA02
5L096EA03
5L096EA15
5L096EA16
5L096FA06
5L096FA07
5L096FA15
5L096FA59
5L096FA60
5L096FA66
5L096FA69
5L096GA38
5L096GA51
5L096HA11
5L096JA03
5L096MA07
(57)【要約】
システムおよび方法は、デジタル病理画像の処理に関する。より具体的には、第1のクラスの物体(例えば、リンパ球)の描写および第2のクラスの物体(例えば、腫瘍細胞)の描写が検出される。第1のクラスの物体描写が第2のクラスの物体に対してどこに位置するかを特徴付ける複数の空間的分布メトリックを生成するために使用される、各生物学的物体描写の位置が識別される。空間的分布メトリックは、対象の予測された生物学的状態または潜在的な処置に対応する結果を生成するために使用される。例えば、結果は、リンパ球が腫瘍に浸潤したかどうかおよび/またはどの程度までであるか、チェックポイント遮断療法が対象にとって有効な処置であるかどうか、および/または対象が臨床試験に適格であるかどうかを予測し得る。
【選択図】
図2
【特許請求の範囲】
【請求項1】
デジタル病理画像処理システムによる、コンピュータ実装方法であって、
対象からの生体サンプルの断片を示すデジタル病理画像にアクセスする工程と、
前記デジタル病理画像内で、
第1のセットの生物学的物体描写のそれぞれが、第1の種類の生物学的物体の第1の生物学的物体を描写する、第1のセットの生物学的物体描写と、
第2のセットの生物学的物体描写のそれぞれが、第2の種類の生物学的物体の第2の生物学的物体を描写する、第2のセットの生物学的物体描写とを検出する工程と、
前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を使用して、前記第2のセットの生物学的物体描写に対する前記第1のセットの生物学的物体描写の位置を特徴付ける空間的分布メトリックを生成する工程と、
前記空間的分布メトリックを使用して、前記対象の予測された生物学的状態または前記対象に対する潜在的な処置に対応する対象レベルの結果を生成する工程と、
前記対象レベルの結果を含む表示を生成する工程と
を含む、コンピュータ実装方法。
【請求項2】
前記第1の種類の生物学的物体が第1の種類の細胞を含み、前記第2の種類の生物学的物体が第2の種類の細胞を含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記第1の種類の生物学的物体がリンパ球を含み、前記第2の種類の生物学的物体が腫瘍細胞を含む、請求項2に記載のコンピュータ実装方法。
【請求項4】
前記デジタル病理画像が、1種以上の染色剤で処理された後の前記対象からの生体サンプルを描写し、前記1種以上の染色剤のそれぞれが、前記第1の種類の生物学的物体または前記第2の種類の生物学的物体のうちの1つ以上の外観を増強する、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記空間的分布メトリックを生成する工程が、
前記1つ以上の第1の生物学的物体描写のそれぞれの第1の生物学的物体描写について、前記第1の生物学的物体描写に対応する前記デジタル病理画像内の第1の点位置を特定する工程と、
前記1つ以上の第2の生物学的物体描写のそれぞれの第2の生物学的物体描写について、前記第2の生物学的物体描写に対応する前記デジタル病理画像内の第2の点位置を特定する工程と、
前記第1の点位置および前記第2の点位置に基づいて前記空間的分布メトリックを決定する工程と
を含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記デジタル病理画像内の前記第1の点位置が、前記第1の生物学的物体描写の位置を示す、請求項5に記載のコンピュータ実装方法。
【請求項7】
前記デジタル病理画像内の前記第1の点位置が、前記第1の生物学的物体描写について、平均点位置、重心点位置、中央点位置、または加重点位置を算出することによって選択される、請求項6に記載の方法。
【請求項8】
前記空間的分布メトリックを生成する工程が、前記1つ以上の第1の生物学的物体描写の少なくともいくつかの第1の生物学的物体描写のそれぞれについて、および前記1つ以上の第2の生物学的物体描写の少なくともいくつかの第2の生物学的物体描写のそれぞれについて、前記第1の生物学的物体描写に対応する前記第1の点位置と前記第2の生物学的物体描写に対応する前記第2の点位置との間の距離を算出する工程をさらに含む、請求項5に記載のコンピュータ実装方法。
【請求項9】
前記空間的分布メトリックを生成する工程が、前記1つ以上の第1の生物学的物体描写の少なくともいくつかの第1の生物学的物体描写のそれぞれについて、前記第1の生物学的物体描写と前記第2の生物学的物体描写との間の距離に関連する前記第2の生物学的物体描写のうちの1つ以上を識別する工程をさらに含む、請求項8に記載のコンピュータ実装方法。
【請求項10】
前記空間的分布メトリックを生成する工程が、
前記デジタル病理画像の領域を画像領域のセットに分割するように構成された空間格子を規定する工程と、
前記1つ以上の第1の生物学的物体描写の第1の生物学的物体描写のそれぞれを前記画像領域のセットの画像領域に割り当てる工程と、
前記1つ以上の第2の生物学的物体描写の第2の生物学的物体描写のそれぞれを前記画像領域のセットの画像領域に割り当てる工程と、
前記画像領域割当に基づいて前記空間的分布メトリックを生成する工程と
を含む、請求項1に記載のコンピュータ実装方法。
【請求項11】
前記空間的分布メトリックを生成する工程が、
隣接する画像領域よりも第1の生物学的物体描写を含む確率が高い画像領域のセットの1つ以上の画像領域の第1のセットを決定する工程と、
隣接する画像領域よりも第2の生物学的物体描写を含む確率が高い画像領域のセットの1つ以上の画像領域の第2のセットを決定する工程と、
前記第1のセットの画像領域および前記第2のセットの画像領域に基づいて前記空間的分布メトリックを決定する工程と
をさらに含む、請求項10に記載のコンピュータ実装方法。
【請求項12】
前記空間的分布メトリックを生成する工程が、
隣接する画像領域よりも第1の生物学的物体描写および設定された生物学的物体描写の両方を含む確率が高い、前記画像領域のセットの1つ以上の画像領域の第3のセットを決定する工程と、
前記第3のセットの画像領域に基づいて前記空間的分布メトリックを決定する工程と
をさらに含む、請求項11に記載のコンピュータ実装方法。
【請求項13】
前記第1の空間的分布メトリックを使用して、前記対象の予測された生物学的状態または前記対象に対する潜在的な処置に対応する対象レベルの結果を生成する工程が、
前記デジタル病理画像に対して生成された前記空間的分布メトリックを、以前のデジタル病理画像に対して生成された以前の空間的分布メトリックと比較する工程と、
前記比較に基づいて、前記以前のデジタル病理画像に対して生成された対象レベルの結果を出力する工程と
を含む、請求項1に記載のコンピュータ実装方法。
【請求項14】
前記対象レベルの結果を生成する工程が、
訓練された機械学習モデルを使用して、前記空間的分布メトリックおよび前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を処理することに基づいて、前記対象の診断、予後、治療法の推奨、または処置適格評価を決定する工程を含む、請求項1に記載のコンピュータ実装方法。
【請求項15】
前記空間的分布メトリックが、
K近傍解析に基づいて定義されたメトリック、
RipleyのK関数に基づいて定義されたメトリック、
Morisita-Horn指数、
モラン指数、
相関関数に基づいて定義されたメトリック、
ホットスポット/コールドスポット解析に基づいて定義されたメトリック、または
クリンギングベース解析に基づいて定義されたメトリック
を含む、請求項1に記載のコンピュータ実装方法。
【請求項16】
前記空間的分布メトリックが第1の種類のメトリックであり、
前記コンピュータ実装方法が、前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を使用して、前記第2のセットの生物学的物体描写に対する前記第1のセットの生物学的物体描写の位置を特徴付ける第2の空間的分布メトリックを生成する工程をさらに含み、前記第2の空間的分布メトリックが、前記第1の種類のメトリックとは異なる第2の種類のメトリックであり、
前記対象レベルの結果が、前記第2の空間的分布メトリックをさらに使用して生成される、請求項1に記載のコンピュータ実装方法。
【請求項17】
前記対象または前記デジタル病理画像の識別子を含むユーザ装置からユーザ入力データを受信する工程であって、前記デジタル病理画像が、前記受信したユーザ入力データに基づいてアクセスされる、工程をさらに含み、
表示のために前記対象レベルの結果を提供する工程が、前記対象レベルの結果を前記ユーザ装置に提供する工程を含む、請求項1に記載のコンピュータ実装方法。
【請求項18】
前記対象のユーザ装置に臨床評価を出力する工程をさらに含み、前記臨床評価が、前記対象の診断、予後、治療法の推奨、または処置の適格性評価を含む、請求項1に記載のコンピュータ実装方法。
【請求項19】
1つ以上のデータプロセッサと、
前記1つ以上のデータプロセッサと通信可能に結合し、前記1つ以上のデータプロセッサによって実行されると前記1つ以上のデータプロセッサに以下の1つ以上の動作を実行させる命令を含む、コンピュータ読み取り可能な非一時的記憶媒体とを有するシステムであって、前記動作が、
対象からの生体サンプルの断片を示すデジタル病理画像にアクセスする工程と、
前記デジタル病理画像内で、
第1のセットの生物学的物体描写のそれぞれが、第1の種類の生物学的物体の第1の生物学的物体を描写する、第1のセットの生物学的物体描写と、
第2のセットの生物学的物体描写のそれぞれが、第2の種類の生物学的物体の第2の生物学的物体を描写する、第2のセットの生物学的物体描写とを検出する工程と、
前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を使用して、前記第2のセットの生物学的物体描写に対する前記第1のセットの生物学的物体描写の位置を特徴付ける空間的分布メトリックを生成する工程と、
前記第1の空間的分布メトリックを使用して、前記対象の予測された生物学的状態または前記対象に対する潜在的な処置に対応する対象レベルの結果を生成する工程と、
前記対象レベルの結果を含む表示を生成する工程である、システム。
【請求項20】
1つ以上のデータプロセッサによって実行されると、前記1つ以上のデータプロセッサに以下の動作を実行させる命令を含む、1つ以上のコンピュータ読み取り可能な非一時的記憶媒体であって、前記動作が、
対象からの生体サンプルの断片を示すデジタル病理画像にアクセスする工程と、
前記デジタル病理画像内で、
第1のセットの生物学的物体描写のそれぞれが、第1の種類の生物学的物体の第1の生物学的物体を描写する、第1のセットの生物学的物体描写と、
第2のセットの生物学的物体描写のそれぞれが、第2の種類の生物学的物体の第2の生物学的物体を描写する、第2のセットの生物学的物体描写とを検出する工程と、
前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を使用して、前記第2のセットの生物学的物体描写に対する前記第1のセットの生物学的物体描写の位置を特徴付ける空間的分布メトリックを生成する工程と、
前記第1の空間的分布メトリックを使用して、前記対象の予測された生物学的状態または前記対象に対する潜在的な処置に対応する対象レベルの結果を生成する工程と、
前記対象レベルの結果を含む表示を生成する工程である、1つ以上のコンピュータ読み取り可能な非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
優先権
本出願は、米国特許法第119条(e)の下で、2020年9月11日に出願された米国仮特許出願第63/077,232号および2020年5月18日に出願された米国仮特許出願第63/026,545号の利益を主張する。
【0002】
本出願は、概して画像内の特定の種類の物体の空間情報を特徴付ける出力を生成するためのデジタル病理画像の画像処理に関する。より具体的には、デジタル病理画像を処理して、画像の全部または一部にわたる1種類以上の生物学的物体の描写の空間的分布および相互関係を特徴付けるメトリックを生成し得る。
【背景技術】
【0003】
画像解析は、個々の画像を処理して画像レベルの結果を生成することを含む。例えば、結果は、画像が特定の種類の物体を含むかどうかに関する評価に対応する二成分の結果であってもよい。別の例として、結果は、画像内で検出された特定の種類の物体の数の画像レベルカウントを含み得る。デジタル病理学の文脈では、結果は、サンプルの画像内で検出された特定の種類の細胞の数、画像全体にわたる別の種類の細胞の数に対するある種の細胞の数の比、および/または特定の種類の細胞の密度を含み得る。
【0004】
この画像レベルの手法は、単純なメタデータ記憶を容易にし得、結果がどのように生成されたかに関して容易に理解し得るため、好都合であり得る。しかし、この画像レベルの手法では、画像から詳細が除かれてしまう可能性があり、描写された状況および/または環境の詳細の検出を妨げる可能性がある。この単純化は、特定の種類の細胞の現在または潜在的な将来の活動が微小環境に大きく依存し得るため、デジタル病理学の状況において特に影響を及ぼし得る。
【0005】
したがって、デジタル病理画像を処理して、描写された生物学的物体の空間的特徴を反映した出力を生成する技術を開発することは有益であろう。
【発明の概要】
【0006】
いくつかの実施形態では、対象からの生体サンプルの断面を描写するデジタル病理画像にアクセスするデジタル病理画像処理システムを含むコンピュータ実装方法が提供される。デジタル病理画像処理システムは、デジタル病理画像内で、第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を検出する。第1のセットの生物学的物体描写のそれぞれは、第1の種類の生物学的物体の第1の生物学的物体を描写する。第2のセットの生物学的物体描写のそれぞれは、第2の種類の生物学的物体の第2の生物学的物体を描写する。デジタル病理画像処理システムは、第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を使用して、第2のセットの生物学的物体描写に対する第1のセットの生物学的物体描写の位置を特徴付ける空間的分布メトリックを生成する。デジタル病理画像処理システムは、空間的分布メトリックを使用して、対象の予測された生物学的状態または対象の潜在的処置に対する対象レベルの結果を生成する。デジタル病理画像処理システムは、対象レベルの結果を含む表示画面を生成する。特定の実施形態では、第1の種類の生物学的物体は第1の種類の細胞を含み、第2の種類の生物学的物体は第2の種類の細胞を含む。特定の実施形態では、第1の種類の生物学的物体はリンパ球を含み、第2の種類の生物学的物体は腫瘍細胞を含む。特定の実施形態では、デジタル病理画像は、1つ以上の染色剤で治療された後の対象からの生体サンプルを示し、1つ以上の染色剤のそれぞれは、第1の種類の生物学的物体または第2の種類の生物学的物体のうちの1つ以上の外観を増強する。特定の実施形態では、デジタル病理画像処理システムは、前記1つ以上の第1の生物学的物体描写のそれぞれの第1の生物学的物体描写について、前記第1の生物学的物体の描写に対応する前記デジタル病理画像内の第1の点位置を特定することと、前記1つ以上の第2の生物学的物体描写のそれぞれの第2の生物学的物体描写について、前記第2の生物学的物体描写に対応する前記デジタル病理画像内の第2の点位置を特定することと、前記第1の点位置および前記第2の点位置に基づいて前記空間的分布メトリックを決定することとにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像内の前記第1の点位置は、前記第1の生物学的物体描写の位置を示す。特定の実施形態では、前記デジタル病理画像内の前記第1の点位置は、前記第1の生物学的物体描写について、平均点位置、重心点位置、中央点位置、または加重点位置を算出することによって選択される。特定の実施形態では、デジタル病理画像処理システムは、前記1つ以上の第1の生物学的物体描写の少なくともいくつかの第1の生物学的物体描写のそれぞれについて、および前記1つ以上の第2の生物学的物体描写の少なくともいくつかの第2の生物学的物体描写のそれぞれについて、前記第1の生物学的物体描写に対応する前記第1の点位置と前記第2の生物学的物体描写に対応する前記第2の点位置との間の距離を算出することにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像処理システムは、前記1つ以上の第1の生物学的物体描写の少なくともいくつかの第1の生物学的物体描写のそれぞれについて、前記第1の生物学的物体描写と前記第2の生物学的物体描写との間の距離に関連する前記第2の生物学的物体描写のうちの1つ以上を識別することにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像処理システムは、前記デジタル病理画像の領域を画像領域のセットに分割するように構成された空間格子を規定することと、前記1つ以上の第1の生物学的物体描写の第1の生物学的物体描写のそれぞれを前記画像領域のセットの画像領域に割り当てることと、1つ以上の第2の生物学的物体描写の第2の生物学的物体描写のそれぞれを前記画像領域のセットの画像領域に割り当てることと、前記画像領域割当に基づいて前記空間的分布メトリックを生成することとにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像処理システムは、隣接する画像領域よりも第1の生物学的物体描写を含む確率が高い画像領域のセットの1つ以上の画像領域の第1のセットを決定することと、隣接する画像領域よりも第2の生物学的物体描写を含む確率が高い画像領域のセットの1つ以上の画像領域の第2のセットを決定することと、さらに、前記第1のセットの画像領域および前記第2のセットの画像領域に基づいて前記空間的分布メトリックを決定することとにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像処理システムは、隣接する画像領域よりも第1の生物学的物体描写および設定された生物学的物体描写の両方を含む確率が高い、前記画像領域のセットの1つ以上の画像領域の第3のセットを決定することと、さらに前記第3のセットの画像領域に基づいて前記空間的分布メトリックを決定することとにより、空間的分布メトリックを生成する。特定の実施形態では、デジタル病理画像処理システムは、前記デジタル病理画像に対して生成された前記空間的分布メトリックを、以前のデジタル病理画像に対して生成された以前の空間的分布メトリックと比較することと、前記比較に基づいて、前記以前のデジタル病理画像に対して生成された対象レベルの結果を出力することとにより、対象の予測された生物学的状態または対象の潜在的処置に対する対象レベルの結果を生成する。特定の実施形態では、デジタル病理画像処理システムは、訓練された機械学習モデルを使用して、前記空間的分布メトリックおよび前記生物学的物体描写の第1のセットおよび前記生物学的物体描写の第2のセットを処理することに基づいて、前記対象の診断、予後、治療法の推奨、または治療適格評価を決定することにより、対象レベルの結果を生成する。特定の実施形態では、空間的分布メトリックは、K近傍解析に基づいて定義されたメトリック、RipleyのK関数に基づいて定義されたメトリック、Morisita-Horn指数、Moran指数、相関関数に基づいて定義されたメトリック、ホットスポット/コールドスポット解析に基づいて定義されたメトリック、またはクリンギングベース解析に基づいて定義されたメトリックをベースとして定義されるメトリックを含む。特定の実施形態では、前記空間的分布メトリックが第1の種類のメトリックである。デジタル病理画像処理システムは、前記第1のセットの生物学的物体描写および前記第2のセットの生物学的物体描写を使用して、前記第2のセットの生物学的物体描写に対する前記第1のセットの生物学的物体描写の位置を特徴付ける第2の空間的分布メトリックを生成する。前記第2の空間的分布メトリックは、前記第1の種類のメトリックとは異なる第2の種類のメトリックである。前記対象レベルの結果は、前記第2の空間的分布メトリックをさらに使用して生成される。特定の実施形態では、デジタル病理画像処理システムは、前記対象または前記デジタル病理画像の識別子を含むユーザ装置からユーザ入力データを受信する。前記デジタル病理画像は、前記受信したユーザ入力データに基づいてアクセスされる。デジタル病理画像処理システムは、対象レベルの結果をユーザ装置に提供することによって、表示用の対象レベルの結果を提供する。特定の実施形態では、デジタル病理画像処理システムは、前記対象のユーザ装置に臨床評価を出力する。前記臨床評価としては、前記対象の診断、予後、治療法の推奨、または処置の適格性評価が挙げられる。
【0007】
いくつかの実施形態では、デジタル病理画像処理システムによって、所与の病状を有する対象から採取された生体サンプルの断面を示すデジタル病理画像にアクセスする工程を含む方法が提供される。デジタル病理画像処理システムは、デジタル病理画像内で、生物学的物体描写のセットを検出する。生物学的物体描写のセットは、第1のクラスの生物学的物体の第1のセットの生物学的物体描写および第2のクラスの生物学的物体の第2のセットの生物学的物体描写を含む。デジタル病理画像処理システムは、1つ以上の生物学的物体描写の関連位置表現を生成する。1つ以上の関連位置表現のそれぞれは、第2の生物学的物体描写に対する第1の生物学的物体描写の位置を示す。デジタル病理画像処理システムは、1つ以上の関連位置表現を使用して、第1のセットの生物学的物体描写の少なくとも一部が第2のセットの生物学的物体描写の少なくとも一部と散在しているように描写されている度合いを特徴付ける空間的分布メトリックを決定する。デジタル病理画像処理システムは、空間的分布メトリックに基づいて、免疫反応を調節する所与の処置が対象の所与の病状を効果的に処置する程度に関する予測に相当する結果を生成する。デジタル病理画像処理システムは、その結果に基づいて、対象が治験に適格であると判定する。デジタル病理画像処理システムは、対象が治験に適格であるという指示を含む表示画面を生成する。特定の実施形態では、空間的分布メトリックは、K近傍解析に基づいて定義されたメトリック、RipleyのK関数に基づいて定義されたメトリック、Morisita-Horn指数、Moran指数、相関関数に基づいて定義されたメトリック、ホットスポット/コールドスポット解析に基づいて定義されたメトリック、またはクリンギングベース解析に基づいて定義されたメトリックをベースとして定義されるメトリックを含む。特定の実施形態では、空間的分布メトリックは、第1の種類のメトリックであり、デジタル病理画像処理システムは、前記1つ以上の関連位置表現を使用して、第1のセットの生物学的物体描写の少なくとも一部が、第2のセットの生物学的物体描写の少なくとも一部と散在しているように描写されている度合いを特徴付ける第2の空間的分布メトリックを決定する。前記第2の空間的分布メトリックは、前記第1の種類のメトリックとは異なる第2の種類のメトリックである。結果は、第2の空間的分布メトリックにさらに基づいて生成される。特定の実施形態では、結果を生成することは、訓練された機械学習モデルを使用して第1の空間的分布メトリックおよび断面空間的分布メトリックを処理するデジタル病理画像処理システムを含む。訓練された機械学習モデルは、訓練要素のセットを使用して訓練されている。訓練要素のセットのそれぞれは、治験に関連する特定の処置を受けた別の対象に対応する。訓練要素のセットのそれぞれは、空間的分布メトリックの別のセットと、所与の処置が他の対象において免疫反応を活性化した程度を示す応答性値とを含む。特定の実施形態では、結果を生成する工程は、空間分布的メトリックの値を閾値と比較することを含む。特定の実施形態では、所与の医学的状態はがんの一種であり、所与の処置は免疫チェックポイント遮断処置である。特定の実施形態では、1つ以上の関連位置表現は、生物学的物体描写のセットについて、デジタル病理画像内の生物学的物体描写の位置を特定する座標のセットを含む。特定の実施形態では、生物学的物体描写の1つ以上の関連位置表現を生成する工程は、第1のセットの生物学的物体描写の各生物学的物体描写について、その生物学的物体描写に対応するデジタル病理画像内の第1の点位置を特定する工程と、第2のセットの生物学的物体描写の各生物学的物体描写について、その生物学的物体描写に対応するデジタル病理画像内の第2の点位置を特定する工程と、および第1の点位置と第2の点位置とを比較する工程とを含む。特定の実施形態では、デジタル病理画像内の第1の点位置は、第1のセットの1つの生物学的物体描写の生物学的物体描写について、平均点位置、重心点位置、中央点位置、または加重点位置を計算することによって選択される。特定の実施形態では、デジタル病理画像処理システムは、第1のセットの生物学的物体描写の少なくともいくつかのそれぞれ、および第2のセットの生物学的物体描写の少なくともいくつかのそれぞれについて、第1のセットの生物学的物体描写の生物学的物体描写に対応する第1の点位置と第2のセットの生物学的物体描写の生物学的物体描写に対応する第2の点位置との間の距離を計算することによって空間的分布メトリックを決定する。特定の実施形態では、デジタル病理画像処理システムは、第1のセットの生物学的物体描写の少なくともいくつかのそれぞれについて、第1のセットの生物学的物体描写の生物学的物体描写に対応する第1の点位置と第2のセットの生物学的物体描写の生物学的物体描写に対応する第2の点位置との間の距離に関連する第2のセットの生物学的物体描写の1つ以上を識別することによって空間的分布メトリックを決定する。特定の実施形態では、1つ以上の関連位置表現は、デジタル病理画像内の画像領域のセットのそれぞれについて、領域内に位置すると識別された第1のクラスの生物学的物体の生物学的物体描写の絶対量または相対量の表現、および領域内に位置すると識別された第2のクラスの生物学的物体の生物学的物体描写の絶対量または相対量の表現を含む。特定の実施形態では、1つ以上の関連位置表現は、第1のセットの生物学的物体描写の生物学的物体描写の距離ベースの確率を含み、第2のセットの生物学的物体描写の生物学的物体描写から所与の距離内に位置するように描写される。特定の実施形態では、デジタル病理画像処理システムは、対象の遺伝子配列決定または放射線画像データにアクセスし、結果は、さらに遺伝子配列決定または放射線画像データの特性に基づいて生成される。特定の実施形態では、第1のクラスの生物学的物体は腫瘍細胞であり、第2のクラスの生物学的物体は免疫細胞である。特定の実施形態では、デジタル病理画像処理システムは、対象の識別子を含むユーザ装置からユーザ入力データを受信し、識別子の受信に応答してデジタル病理画像にアクセスする。デジタル病理画像処理システムは、対象が治験に適格であるという指示をユーザ装置に提供することによって、対象が治験に適格であるという指示を含む表示画面を生成する。特定の実施形態では、デジタル病理画像処理システムは、対象が治験に登録されているという指示を受信する。特定の実施形態では、デジタル病理画像処理システムは、対象に治験の適格性の判定を知らせることによって、対象が治験に適格であるという指示を含む表示画面を生成する。
【0008】
いくつかの実施形態では、1つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。
【0009】
いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。
【0010】
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0011】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【図面の簡単な説明】
【0012】
本開示は、以下の添付の図面と併せて説明される:
【0013】
【
図1】
図1は、いくつかの実施形態による、生物学的物体の相対的な空間情報を特徴付けるためにデジタル病理画像を生成および処理するための相互作用システムを示す。
【0014】
【
図2】
図2は、いくつかの実施形態による、空間的分布メトリックを生成するために物体描写データを処理するための例示的なシステムを示す。
【0015】
【
図3A-3B】
図3Aおよび
図3Bは、いくつかの実施形態によるデジタル病理画像の空間的に特異的な画像処理に基づいて健康関連評価を提供するプロセスを示す。
【0016】
【
図4】
図4は、いくつかの実施形態による、ランドスケープベースの空間点プロセス分析フレームワークを使用して画像を処理するためのプロセスを示す。
【0017】
【
図5A-5C】
図5A~
図5Cは、いくつかの実施形態による、識別ベースの空間点プロセス分析フレームワークを使用した例示的な処理画像を示す。
【0018】
【
図6A-6D】
図6A~
図6Dは、いくつかの実施形態による、例示的な画像内の物体描写の空間的位置を特徴付ける例示的な距離および強度に基づくメトリックを示す。
【0019】
【
図7】
図7は、いくつかの実施形態による、格子ベースの空間-領域分析フレームワークを使用して画像を処理するためのプロセスを示す。
【0020】
【
図8】
図8は、いくつかの実施形態によるモラン指数を使用して画像を処理するためのプロセスを示す。
【0021】
【
図9】
図9は、いくつかの実施形態による、ホットスポットベースの空間エリア分析フレームワークを使用して画像を処理するためのプロセスを示す。
【0022】
【
図10】
図10は、いくつかの実施形態による、地球統計解析フレームワークを使用して画像を処理するためのプロセスを示す。
【0023】
【
図11】
図11は、いくつかの実施形態による、デジタル病理画像の処理に基づいてマイクロサテライト不安定性の発生を予測するための訓練されたロジスティック回帰モデルの性能を特徴付ける受信機動作曲線を示す。
【0024】
【
図12】
図12は、入れ子式モンテカルロ交差検証モデリング戦略を使用して、研究コホート内の各被験体に予測転帰ラベルを割り当てるプロセスを示す。
【0025】
【
図13】
図13は、二つの対象コホートの分析における対象についてのKaplan-Meirプロットを示す。
【0026】
添付の図面において、同様の構成要素および/または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に類似の構成要素を区別するダッシュおよび第2のラベルを続けることによって区別され得る。本明細書において第1の参照ラベルのみが使用される場合、説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルを有する類似の構成要素のいずれかに適用可能である。
【発明を実施するための形態】
【0027】
デジタル画像は、様々な他の用途の中でも、診断、予後、処置の選択、および処置の評価などの臨床評価を容易にするために医療の場面での利用が拡大している。デジタル病理学の分野では、デジタル病理画像の処理を実行することで、所与の画像が特定の種類またはクラスの生物学的物体の描写を含むかどうかを推定し得る。例えば、特定の種類の生物学的物体(例えば、特定の種類の細胞、特定の種類の細胞小器官または血管)の描写が優先的に染色を吸収し、したがって特定の色のより高い強度で描写されるように、組織サンプルの切片を染色し得る。組織サンプルは、本明細書に開示される技術に従って画像化され得る。その後、デジタル病理画像を処理して、生物学的物体の描写を検出し得る。生物学的物体描写の検出は、染色プロファイルに対応した解析において、規定された範囲内のサイズ、規定された種類の形状、少なくとも規定された量の高強度ピクセルの連続性など、特定の基準を満たす生体物体に基づいて行い得る。特定の実施形態では、特定の種類またはクラスの物体の描写が観察されたかどうか、および/または1つ以上の特定の種類またはクラスの物体の描写の量に基づいて、臨床的評価または推奨を行い得る。
【0028】
画像処理技術の進歩に伴い、腫瘍組織スライドのデジタル画像処理は、多くの種類の状態を管理するための日常的な臨床手順になりつつある。デジタル病理画像は、所与の種類またはクラスの複数の物体を高解像度で取り込み得る。デジタル病理画像に取り込まれた生物学的物体の空間的不均一性の程度、ならびに所与の種類の物体が互いにおよび/または異なる種類の物体に対して空間的に集約および/または分散される程度を特徴付けることが有利であり得る。生物学的物体の現在の、または潜在的な活動または機能は、生物学的物体の微小環境に応じて劇的に変化し得る。特定の種類の生物学的物体の描写の位置を客観的に特徴付けることは、現在の診断、予後、処置の評価、処置の選択、および/または処置適格評価の質に実質的に影響を及ぼし得る。同様に、デジタル病理画像またはデジタル病理画像の領域内の複数の種類の生物学的物体の関係を客観的に特徴付けることは、解析結果に実質的に影響を及ぼし得る。デジタル病理画像における生物学的物体の描写の位置および関係は、対象の組織サンプルにおける対応する生物学的物体の位置および関係と相関し得る。本明細書に開示されるように、そのような客観的空間特性評価は、デジタル病理画像から、生物学的物体描写のセットを検出することによって実行し得る。物体は、空間点プロセス分析フレームワーク、空間面分析フレームワーク、地球統計分析フレームワーク、グラフベースのフレームワークなどを含む1つ以上の空間分析フレームワークに従って表し得るが、これらに限定されない。いくつかの実施形態では、検出された各生物学的物体描写は、画像内の特定の点位置に関連付けられ、特定の種類の物体の識別子にさらに関連付けられ得る。いくつかの実施形態では、画像内の領域のセットのそれぞれ、および1つ以上の特定の種類の物体
それぞれについて、領域内に位置すると予測または決定された各特定の種類の生物学的物体の描写の量または密度を示すメタデータを格納することが可能である。
【0029】
空間的集約は、デジタル病理画像内の物体がどのようにしてデジタル病理画像全体またはデジタル病理画像の領域にわたって空間的に集約または分散しているかの測定を含み得る。例えば、ある種類またはクラスの生物学的物体(例えば、リンパ球)が別の種類またはクラスの生物学的物体(例えば、腫瘍細胞)と空間的に混ざり合う程度を決定することが有利であり得る。説明すると、腫瘍内腫瘍浸潤リンパ球(TIL)は腫瘍内に位置し、腫瘍細胞と直接相互作用するが、間質性TILは腫瘍間質に存在し、腫瘍細胞と直接相互作用しない。腫瘍内TILは間質性TILとは異なる活性パターンを有するだけでなく、それぞれの細胞の種類は、TILのタイプ間の挙動の違いにさらに影響を及ぼす異なるタイプの微小環境に関連し得る。リンパ球が特定の位置(例えば、腫瘍内)で検出された場合、リンパ球が腫瘍に浸潤し得たという事実は、リンパ球および/または腫瘍細胞の活性に関する情報を伝達し得る。さらに、微小環境は、リンパ球の現在および将来の活性に影響を及ぼし得る。特定の種類の生物学的物体の相対的な位置を特定することは、予後および処置の選択肢を特定すること、臨床試験に対する患者の適格性を評価すること、ならびに対象およびそれらの状態の免疫学的特徴を類型化することなどの予測用途に特に有益であり得る。
【0030】
検出された生物学的物体描写の位置および関係の客観的特徴付けの別の形態として、検出された生物学的物体描写は、1つ以上の空間的分布メトリックを生成するために使用し得、空間的分布メトリックは、領域レベル、画像レベルおよび/または対象レベルで、所与のタイプまたはクラスの生物学的物体が、別の種類またはクラスの生物学的物体と散在する、同じ種類の他の対象と密集し、および/または別の所与のタイプの生物学的物体と密集すると予測される程度を特徴付け得る。例えば、デジタル病理画像処理システムは、デジタル病理画像内の第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を検出し得る。システムは、第1のセットの生物学的物体描写のそれぞれが第1の種類の生物学的物体(例えば、リンパ球)を描写すること、および第2セットの生物学的物体描写のそれぞれが第2の種類の生物学的物体(例えば、腫瘍細胞)を描写することを予測し得る。デジタル病理画像処理システムは、距離に基づく評価を実行して、第1のセットの生物学的物体描写内の個々の生物学的物体描写が、第2のセットの生物学的物体描写内の個々の生物学的物体描写と空間的に一体化されるか、または分離される程度、および/または第1のセットの生物学的物体描写(例えば、集合的に)が、第2のセットの生物学的物体描写(例えば、集合的に)と空間的に一体化されるか、または分離される程度を示す空間的分布メトリックを生成し得る。本明細書に開示されているように、この目的のために様々な空間的分布メトリックが開発され適用されている。
【0031】
高度な分析(例えば、空間統計)からの原理および定量的方法を適用して、これらのニーズを満たす新規な解決策を生成し得る。本明細書で提供される技術は、デジタル病理画像を処理して、1つ以上の特定の種類またはクラスの描写された物体(例えば、生物学的物体)の空間分布および/または空間パターンを特徴付ける結果を生成するために使用し得る。デジタル病理画像は、サンプルの染色された切片のデジタル画像を含み得る。処理は、複数の特定の種類(例えば、複数の種類のそれぞれの生物学的細胞に対応する)のそれぞれの生物学的物体の描写を検出することを含み得る。生物学的物体検出は、第1の生物学的物体の種類に対応する第1の生物学的物体描写のセット、および第2の生物学的物体の種類に対応する第2の生物学的物体描写のセットのそれぞれのうちの1つ以上を検出することを含み得る。追加的または代替的に、物体の検出は、デジタル病理画像内の領域のセットの各領域および複数の特定の生物学的物体の種類のそれぞれについて、生物学的物体の量または低次メトリック(例えば、対応する画像領域内に提示された特定の種類の生物学的物体の量を表すと推測される数、密度、または画像強度)に依存し、相関するように定義された高次メトリックを識別することを含み得る。さらに、空間的分布メトリックを他のメトリック(例えば、RNA配列決定、放射線画像処理(CT、MRI等))と組み合わせて使用して、予測能力を改善したり、満たされていない医療ニーズのための新規バイオマーカーを発見し得る。
【0032】
1つ以上の生物学的物体描写の画像位置を決定し得る。画像位置は、空間点プロセス分析フレームワーク、空間面分析フレームワーク、地球統計分析フレームワーク、またはグラフベース分析フレームワークなどの1つ以上の空間分析フレームワークに従って決定し、表現し得る。例えば、生物学的物体は、デジタル病理画像内の単一点位置に関連付け得る。生物学的物体の描写が複数のピクセルまたはボクセルにまたがっている場合であっても、単一点位置は、デジタル病理画像内の生物学的物体の描写の位置を示すかまたはその代表として選択し得る。別の例として、生物学的物体の描写は、画像の特定の領域内で検出された物体の数、画像の特定の領域内で検出された生物学的物体の密度、画像の特定の領域内で検出された生物学的物体のパターンなどに寄与する1つ以上の他の生物学的物体の描写で集合的に表されるかまたはそれによって示され得る。
【0033】
デジタル病理画像処理システムは、空間的分布メトリックを使用して、例えば、診断、予後、処置の評価、処置の選択、および/または処置の適格性(例えば、臨床試験または臨床試験の特定の群に受け入れられるまたは推奨される被験体の適格性)の識別を容易にし得る。例えば、特定の予後は、第2の種類またはクラスの生物学的物体内の第1の種類またはクラスの生物学的物体のセットのある程度の浸潤の検出に応答して特定し得、個々の腫瘍および/または転移性腫瘍巣内のより高いリンパ球浸潤の検出に応答して、より関連性のある正確な予後を特定し得る。別の例として、腫瘍または癌のステージの診断は、免疫細胞が癌細胞と空間的に一体化している程度に(例えば、より高い集積度は、一般に、より低い段に対応する)基づいて知らされることがある。さらに別の例として、治療有効性は、腫瘍細胞に対するリンパ球の空間的近接性が、処置開始後に、治療前と比較して、または所与の対象に対して行われた1つ以上の事前評価に基づく予測近接性と比較して小さい場合、より高いと決定され得る。
【0034】
生物学的物体検出は、同じまたは異なる種類の生物学的物体の描写間の近接性および/または1つ以上の種類の生物学的物体の描写の共局在化の程度を示し得る空間的分布メトリックを含むかまたはそれに基づき得る結果を生成するために使用し得る。生物学的物体の描写の共局在化は、デジタル病理画像の1つ以上の領域のそれぞれにおいて、複数の細胞型の類似の位置を表し得る。結果は、対象または患者から採取したサンプルによって示される、対象または患者の構造の微小環境内で起こり得る、異なる生物学的物体および生物学的物体の種類の間の相互作用を示し、および/または予測し得る。そのような相互作用は、組織形成、恒常性、再生プロセスまたは免疫反応などの生物学的プロセスの支援および/または生物学的プロセスに不可欠であり得る。したがって、結果によって伝達される空間情報は、特定の生物学的構造の機能および活性に関して有益であり得、したがって、例えば、疾患状態および予後を特徴付けるための定量的な根拠として使用され得る。生物学的微小環境のどこに特定の生物学的物体が位置するかを示す結果を使用して、特定の対象に対して有効であると予測される処置(例えば、他の処置の選択肢と比較して)を選択するか、または他の対象の転帰を予測し得る。
【0035】
特定の実施形態では、複数の空間的分布メトリックを生成し得る。特に、1つ以上のメトリックを生成することが可能であり、これらはそれぞれ1つ以上のメトリックタイプに対応する。例えば、1つ以上の第1のメトリックは、空間点プロセス分析フレームワークを使用して生成し得る。第1のメトリックは、異なるタイプの生物学的物体の描写間の距離に基づき得る。例えば、第1のメトリックは、腫瘍細胞に対応する生物学的物体描写とリンパ球に対応する生物学的物体描写との間のユークリッド距離を使用し得る。他の距離メトリックも使用し得る。1つ以上の第2のメトリックは、空間領域分析フレームワークを使用して生成し得る。第2のメトリックは、第2の種類の生物学的物体の他の描写の数または密度に対して、様々な画像領域内の第1の種類の生物学的物体の描写のカウントまたは密度を特徴付け得る。
【0036】
機械学習モデルまたは規則を使用して、それぞれが1つ以上のメトリックタイプに対応する1つ以上メトリックを使用して、例えば、診断、予後、処置の評価、処置の選択、処置の適格性(例えば、治験または治験の特定の群に受け入れられ、または推奨される適格性)、および/または遺伝子突然変異、遺伝子変化、バイオマーカー発現レベル(限定されないが、遺伝子またはタンパク質を含む)などの予測に対応する結果を生成し得る。機械学習モデルは、例えば、結果を生成するためにメトリックを処理するときに使用する1つ以上の重みを学習するように訓練された分類、回帰、決定木、またはニューラルネットワーク技術を含み得るが、これらに限定されない。
【0037】
デジタル病理画像処理システムは、さらに、1つ以上の空間的分布メトリックに部分的に基づいて、検出された生物学的物体描写の位置および関係のパターンを識別し、認識することを学習し得る。例えば、デジタル病理画像処理システムは、第1のサンプルのデジタル病理画像における検出された生物学的物体描写の位置および関係のパターンを検出し得る。デジタル病理画像処理システムは、認識されたパターンからマスクまたは他のパターン記憶データ構造を生成し得る。
【0038】
デジタル病理画像処理システムは、本明細書に記載の空間的分布メトリックを使用して、診断、予後、処置の評価、処置の選択、および/または処置の療適格性判定を予測し得る。デジタル病理画像処理システムは、予測された予後などを、検出されたパターンおよび/または生成されたマスクと関連付けて記憶し得る。デジタル病理画像処理システムは、予測された予後などを検証するために対象の転帰を受信し得る。
次いで、デジタル病理画像処理システムは、第2のサンプルからの第2のデジタル病理画像を処理するときに、第2のデジタル病理画像内の検出された生物学的物体描写の位置および関係のパターンを検出し得る。デジタル病理画像処理システムは、第2のデジタル病理画像において検出された位置および関係のパターンと、第1のデジタル病理画像からのマスクまたは記憶された検出パターンとの間の類似性を認識し得る。デジタル病理画像処理システムは、認識された類似性および/または対象の転帰に基づいて、予測される予後、処置の推奨、または処置の適格性の判定を通知し得る。一例として、デジタル病理画像処理システムは、記憶されたマスクを、第2のデジタル病理画像において検出された生物学的物体描写の位置および関係のパターンと比較し得る。デジタル病理画像処理システムは、第2のデジタル病理画像の1つ以上の空間的分布メトリックを決定し、第1のデジタル病理画像および第2のデジタル病理画像における検出された生物学的物体描写の空間的分布メトリックの比較に基づいて、第2のデジタル病理画像からの認識済みパターンと記憶されたマスクの比較の根拠とし得る。
【0039】
第1のデジタル病理画像処理システムから検出されたパターンは、多くの方法で、1つ以上の種類の1つ以上の第1の生物学的物体描写の位置および関係性と関連付けられ得る。例えば、パターンは、デジタル病理画像内の他の生物学的物体描写の文脈なしに、デジタル病理画像内の第1の種類の第1の生物学的物体の位置および関係性と関連付けられ得る。パターンは、デジタル病理画像(例えば、検出された生物学的物体の描写の座標を評価することであって、生物学的物体の描写としてのそれらのコンテキストを潜在的に欠いていること)の境界内の生物学的物体描写の位置および/または関係の抽象化表現と関連付けられ得る。別の例として、パターンは、デジタル病理画像内の他の生物学的物体描写の全てに対する第1の種類の生物学的物体描写の位置および関係性と関連付けられ得る。さらに別の例として、パターンは、第2の種類の1つ以上の生物学的物体描写の位置および関係に対する第1の種類の1つ以上の生物学的物体描写の位置および関係性と関連付けられ得る。
【0040】
デジタル病理画像から検出されたパターンは、例えば、デジタル病理画像が描写するサンプルの種類(例えば、肺生検、肝組織サンプル、血液サンプル、ホルマリン固定パラフィン包埋検体、凍結検体、外科的排気から得られた細胞調製物、様々な臓器、腫瘍、および/または転移などからのコア針生検細針吸引物などが挙げられるがこれらに限定されない生検方法)、サンプルの調製方法(例えば、使用される染色剤の種類、サンプルの年齢など)、サンプル全体に描写されたまたはパターンに組み込まれた生物学的物体の数および特定の種類(例えば、サンプル細胞の種類、構造-例えば腺、腫瘍小葉、細胞のシート、血管など-個々の細胞-例えば腫瘍細胞、免疫細胞、有糸分裂細胞、間質細胞、内皮細胞など-および細胞の成分-例えば核、細胞質、膜、繊毛、粘液排出など)、パターンを検出または調製するために使用される空間的分布メトリックの数および種類、パターンに関連する対象レベルの結果の種類、対象レベルの結果の種類内の表示、対象レベルの結果の妥当性確認の程度、ならびにデジタル病理画像から検出されたパターンを特徴付けることに向かう他の多くの要因を含む文脈と関連付けられ得る。この文脈は、パターンの認識および将来のデジタル病理画像への適用を改善するために使用し得る。
【0041】
いくつかの実施形態では、パターンは、同じ種類のサンプル、同じ種類の生物学的物体描写、同じ種類の空間的分布メトリック、サンプルの種類の対象レベルの結果などにのみ適用し得るが、デジタル病理画像処理システムは、タイプ間でパターン認識方法論を適用するように訓練し得る。例えば、デジタル病理画像処理システムは、異なる種類の組織サンプルに対応するデジタル病理画像の分析に基づいて、組織サンプル細胞へのリンパ球の浸潤と配置に関するパターンの広い適用性を認識し、同様の対象レベルの結果を提供するように訓練し得る。パターンを参照および適用する能力は、異なる種類の検出された生物学的物体描写に関連する空間分布的メトリックの適用可能性に基づき得、異なる組織サンプルタイプのデジタル病理画像に横断的に適用できる。空間的分布メトリックは、多様な比較のための客観的な定量化可能な尺度を提供する。
【0042】
追加的または代替的に、デジタル病理画像処理システムは、処置の選択の識別を容易にするために空間的分布メトリックをさらに使用し得る。例えば、免疫療法または免疫チェックポイント療法は、リンパ球が腫瘍細胞と空間的に統合されていることを示す出力を検出すると選択的に推奨され得る。別の例として、リンパ球が腫瘍細胞と空間的に一体化していることを示す出力を検出すると、アテゾリズマブ+ベバシズマブ+カルボプラチン+パクリタキセル(ABCP)またはアテゾリズマブ+カルボプラチン+パクリタキセル(ACP)を別の化学療法処置より選択的に推奨され得る。別の化学療法処置は、ベバシズマブ+カルボプラチン+パクリタキセル(BCP)を含み得るか、またはこれらであり得る。他のアプローチは、診断、バイオマーカーの発現、または処置反応(例えば、血管の分布、リンパ腫における特定の核の特徴の分布など)を予測するために、他の生物学的物体、または細胞成分または区画を使用し得る。
【0043】
診断、予後、処置の評価、処置の選択、および/または処置の適格性の識別を容易にすることは、可能性のある診断、予後、処置の評価、および/または処置の選択を自動的に生成することを含み得る。自動識別は、1つ以上の学習された規則および/または静的な規則に基づき得る。規則は、条件において、例えば、閾値を上回るメトリックが特定の処置の適合性と関連付けられていることを示し得る不等式および/または1つ以上の閾値を含み得if-thenフォーマットを有し得る。規則は、代替的または追加的に、数値メトリックを疾患の重症度スコアまたは処置に対する適格性の定量化されたスコアに関連付ける関数などの関数を含み得る。デジタル病理画像処理システムは、可能性のある診断、予後、処置の評価、処置の選択、および/または処置の適格性判定を推奨および/または予測として出力し得る。例えば、デジタル病理画像処理システムは、出力を局所的に結合されたディスプレイに提供し、出力を遠隔装置またはアクセス端末に遠隔装置に送信し、結果を局所的または遠隔データ記憶装置に記憶することなどが可能である。このようにして、人間のユーザ(例えば、医師および/または医療提供者)は、自動的に生成された出力を使用するか、または本明細書で説明する定量メトリックによって通知される別の評価を形成し得る。
【0044】
診断、予後、処置の評価、処置の選択、および/または処置の適格性判定の識別を容易にすることは、開示された主題と一致する空間分布的メトリックを出力することを含み得る。例えば、出力は、対象の識別子(例えば、対象の名前)、対象に関連する保存された臨床データ(例えば、過去の診断、可能性のある診断、現在の処置、症状、検査結果、および/またはバイタルサイン)、および決定された空間的分布メトリックを含み得る。出力は、空間的分布メトリックが導出されたデジタル病理画像および/またはその修正版を含み得る。例えば、デジタル病理画像の修正版は、デジタル病理画像で検出された各生物学的物体描写を識別するオーバーレイおよび/またはマーキングを含み得る。デジタル病理画像の修正版は、検出された生物学的物体描写に関する情報をさらに提供し得る。例えば、各生物学的物体描写について、インタラクティブオーバーレイは、物体に対応する特定の物体のカテゴリを提供し得る。次いで、人間のユーザ(例えば、医師および/または医療提供者)は、空間的分布メトリックを含む出力を使用して、診断、予後、処置の評価、処置の選択、または処置の適格性決定を識別し得る。
【0045】
特定の実施形態では、複数の種類の空間的分布メトリックが、単一のデジタル病理画像から検出された生物学的物体描写を使用して生成される。複数のタイプの空間的分布メトリックは、本明細書に開示する主題に従って組み合わせて使用し得る。複数の種類の空間的分布メトリックは、例えば、各生物学的物体描写の位置がどのように特徴付けられるかに関する異なるまたは同じフレームワークに対応し得る。複数の種類の空間的分布メトリックは、異なる変数タイプ(例えば、異なるアルゴリズムを使用して計算される)を含み得、異なる値スケールで提示され得る。複数の種類の空間的分布メトリックは、ラベルを生成するために規則または機械学習モデルを使用してまとめて処理し得る。ラベルは、予測される診断、予後、処置の評価、処置の選択、および/または処置の適格性判定に対応し得る。
【0046】
特定の実施形態では、コンピュータ実装方法が提供される。デジタル病理画像処理システムは、1つ以上のデジタル病理画像にアクセスし得る。1つ以上のデジタル病理画像のそれぞれは、対象由来の生体サンプルの断面を描写し得る。図示された断面は、1つ以上の染色剤で染色されたものを含み得る。デジタル病理画像処理システムは、1つ以上のデジタル病理画像のそれぞれの中の第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を検出する。第1のセットの生物学的物体描写のそれぞれは、第1の種類の生物学的物体を描写し得る。第2のセットの物体描写のそれぞれ各々は、第2の種類の生物学的物体を描写し得る。デジタル病理画像処理システムは、第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を使用して、第1の種類の空間的分布メトリックの1つ以上の空間的分布メトリックを生成する。1つ以上の第1の空間的分布メトリックのそれぞれは、第2のセットの生物学的物体描写に対する第1のセットの生物学的物体描写の位置を特徴付ける。デジタル病理画像処理システムは、第1のセットの生物学的物体描写および第2のセットの生物学的物体描写を使用して、第2の種類の1つ以上の空間的分布メトリックを生成する。第2の種類の空間的分布メトリックは、第2のセットの生物学的物体描写に対する第1のセットの生物学的物体描写の位置を特徴付ける。デジタル病理画像処理システムは、1つ以上の第1の空間的分布メトリックおよび1つ以上の第2の空間的分布メトリックを使用して、対象の予測された生物学的状態または対象の潜在的処置に対応する対象レベルの結果を生成し得る。デジタル病理画像処理システムは、表示のために対象レベルの結果を提供する。対象レベルの結果を提供することに加えて、デジタル病理画像処理システムは、対象レベルの結果に基づいて対象に臨床評価を提供し得る。臨床評価は、診断、予後、処置の評価、処置の選択、および/または処置の適格性を含み得る。
【0047】
生物学的物体描写の第1のセットの位置を特徴付ける空間的分布メトリックは、限定ではなく例として、点プロセス、面/格子プロセス、地球統計プロセスなどに基づいて決定し得る。特定の実施形態では、第1の種類の生物学的物体は、第1の種類の細胞を含み得、第2の種類の生物学的物体は、第2の種類の細胞を含み得る。一例として、第1の種類の生物学的物体はリンパ球を含み得、第2の種類の生物学的物体は腫瘍細胞を含み得る。別の例として、第1の種類の生物学的物体はマクロファージを含み得、第2の種類の生物学的物体は線維芽細胞を含み得る。特定の実施形態では、第1の種類の生物学的物体は、例えば、第1の種類の特徴特性(例えば、生物学的物体または生物学的物体の構成要素もしくは区画のサイズ、形状、色、予想される挙動、テクスチャ)によって定義される第1のクラスの生物学的物体を含み得、第2の種類の生物学的物体は、例えば、第2の種類の特徴特性または第1の種類の変形の特徴特性によって定義される第2のクラスの生物学的物体を含み得る。本明細書に開示される主題は、デジタル病理画像内の位置に対応する点として表し得る任意の生物学的物体に等しく適用可能であり得ることが理解されよう。
【0048】
特定の実施形態では、第1の種類の1つ以上の空間的分布メトリックを生成することは、1つ以上の第1の生物学的物体描写の各第1の生物学的物体描写について、1つ以上のデジタル病理画像内の第1の点位置を特定することを含み得る。第1の点の位置は、図示された第1の生物学的物体の位置に対応し得る。第1の種類の1つ以上の空間的分布メトリックを生成することは、1つ以上の第2の生物学的物体の各第2の生物学的物体について、1つ以上のデジタル病理画像内の第2の点位置を特定することをさらに含み得る。第2の点の位置は、図示された第2の生物学的物体の位置に対応し得る。第1の種類の1つ以上の空間的分布メトリックを生成する行程は、第1の点位置および第2の点位置に基づいて第1の種類の1つ以上の空間的分布メトリックを決定する工程をさらに含み得る。特定の実施形態では、1つ以上の空間的分布メトリックを生成することは、1つ以上の第1の生物学的物体の少なくともいくつかの各第1の生物学的物体および1つ以上の第2の生物学的物体の少なくともいくつかの各第2の生物学的物体について、第1の生物学的物体に対応する第1の点位置と第2の生物学的物体に対応する第2の点位置との間の距離を評価する距離ベースの技術を実行することを含み得る。
【0049】
特定の実施形態では、第2の種類の1つ以上の空間的分布メトリックを生成することは、デジタル病理画像のデジタル病理画像の領域を画像領域のセットに分割するように構成された空間格子を定義することを含み得る。第2の種類の1つ以上の空間的分布メトリックを生成することは、1つ以上の第2の生物学的物体の各第2の生物学的物体を画像領域のセットの画像領域に割り当てることを含み得る。
【0050】
第2の種類の1つ以上の空間的分布メトリックを生成することは、1つ以上の第2の生物学的物体の各第2の生物学的物体の画像領域割り当てに基づいて、第2の種類の1つ以上の空間的分布メトリックを生成することを含み得る。
対象レベルの結果を生成することは、訓練された機械学習モデルを使用して、第1の種類の1つ以上の空間的分布メトリックおよび第2の種類の1つ以上の空間的分布メトリックを処理することを含み得る。訓練された機械学習モデルは、限定ではなく例として、回帰モデル、決定木モデル、またはニューラルネットワークモデルを含み得る。第1の種類のメトリックは、メトリックタイプのセットのうちの1つであってもよい。第2の種類のメトリックは、メトリックタイプのセットの別の1つであってもよい。メトリックタイプのセットは、K近傍解析に基づいて定義されたメトリック、リプリーのK関数に基づいて定義されたメトリック、モリシア・ホーン指数、モランの指数、ギアリーのC指数、G関数、相関関数に基づいて定義されたメトリック、ホットスポット解析またはコールドスポット解析に基づいて定義されたメトリック、またはクリギングベース解析に基づいて定義されたメトリックを含み得る。
【0051】
特定の実施形態では、クライアントコンピューティングシステムからリモートコンピューティングシステムに、患者からの生体サンプルの特定の部分を描写する1つ以上のデジタル病理画像を処理するための要求通信を送信することを含む方法が提供され、クライアントコンピューティングシステムから要求通信を受信することに応答して、リモートコンピューティングシステムは、1つ以上のデジタル病理画像にアクセスし、本明細書に開示される主題による分析を実行する。
【0052】
本明細書に開示される主題によれば、特定の実施形態では、対象の処置における対象レベルの結果の使用が提供される。対象レベルの結果は、本明細書に開示される主題に従って提供し得る。
【0053】
特定の実施形態では、方法が提供される。デジタル病理画像は、デジタル病理画像処理システムにおいてアクセスされる。デジタル病理画像は、1つ以上の染色剤で染色された組織スライドを示し、組織スライドの組織は、特定の医学的状態を有する対象から収集された。デジタル病理画像は、1つ以上の生物学的物体の描写を含む。1つ以上の生物学的物体は、細胞のセットを含み得る。細胞のセットは、腫瘍細胞のセットおよび他の細胞のセットを含み得る。他の細胞のセットは、免疫細胞のセットまたは間質細胞のセットであり得る。デジタル病理画像処理システムは、腫瘍細胞位置などの1つ以上の生物学的物体に対応するデジタル病理画像内の位置のセットを識別し得る。腫瘍細胞位置のセットの各腫瘍細胞位置は、腫瘍細胞のセットの腫瘍細胞に対応し得る。デジタル病理画像処理システムは、他の細胞位置などの1つ以上の他の生物学的物体に対応するデジタル病理画像内の他の位置のセットを識別し得る。他の細胞の位置のセットの他の各細胞の位置は、他の細胞のセットの細胞に対応し得る。デジタル病理画像処理システムは、1つ以上の関係位置表現を生成し得る。1つ以上の関係位置表現のそれぞれは、細胞のセットのうちの第2の少なくともいくつかの位置に対する細胞のセットのうちの第1の少なくともいくつかの位置を示し得る。デジタル病理画像処理システムは、1つ以上の関係位置表現を使用して、空間的分布メトリックのセットを決定し得る。空間的分布メトリックのセットの各空間的分布メトリックは、他の細胞のセットの少なくとも一部が腫瘍細胞のセットの少なくとも一部に散在しているように示された程度を特徴付け得る。デジタル病理画像処理システムは、空間的分布メトリックのセットに基づいて結果を生成し得る。結果は、免疫反応を調節する特定の処置が対象の特定の病状を効果的に処置するかどうかおよび/またはその程度を予測することに対応する。その結果に基づいて、対象が治験に適格であると判定される。対象が治験に適格であるという指標が出力される。
【0054】
結果を生成することは、訓練された機械学習モデルを使用して空間異種性メトリックのセットを処理することを含み得る。訓練された機械学習モデルは、訓練要素のセットを使用して訓練されていてもよい。訓練要素のセットのそれぞれは、治験に関連する特定の処置を受けた別の対象に対応し得る。訓練要素のセットのそれぞれは、空間的不均一性メトリックの別のセットと、特定の処置が対象において免疫学的応答を活性化したかどうかおよび/またはどの程度活性化したかを示す応答値とを含み得る。
【0055】
特定の実施形態では、医学的状態は一種の癌であり得、および/または特定の処置は免疫チェックポイント遮断処置であり得る。1つ以上の関係位置表現は、細胞のセットの各細胞について、デジタル病理画像内の細胞の描写の位置を特定する座標のセットを含み得る。1つ以上の関係位置表現は、デジタル病理画像内の領域のセットのそれぞれについて、その領域内に位置すると識別された腫瘍細胞、間質細胞および/またはその領域内に位置すると識別された免疫細胞の絶対量または相対量の表現を含み得る。1つ以上の関係位置表現は、第1の種類の細胞が第2の種類の細胞からある距離内に位置するものとして示される距離ベースの確率を示し得る。第1の種類および第2の種類のそれぞれは、免疫細胞、間質細胞または腫瘍細胞に対応し得る。遺伝子配列決定および/または放射線画像化データを対象について収集し得る。結果はさらに、遺伝子配列決定および/または放射線画像化データの特性に依存し得る。
【0056】
本明細書で言及される「生物学的物体描写」という用語は、特定の種類の生物学的物体に対応するものとして識別されているか、または識別されている画像の特定の部分(例えば、1つ以上のピクセル、画像の定義された領域など)を指す。生物学的物体描写は、生物学的物体(例えば、細胞)を描写し得る。生物学的物体の描写は、1つ以上のピクセルおよび/または1つ以上のボクセルを含み得る。生物学的物体描写のピクセルまたはボクセルは、例えば、生物学的物体の描写であると予測されるものの重心、エッジ、質量中心、または全体に対応し得る。生物学的物体描写は、機械学習アルゴリズム、1つ以上の静的規則、および/またはコンピュータビジョン技術を使用して識別し得る。デジタル病理画像に適用される。画像は、染色された切片を描写することが可能であり、染色は、生物学的物体描写の識別が強度ベースの評価を含み得るように、特定の種類の対象の生物学的物体によって優先的に吸収されるように選択し得る。
【0057】
本明細書で言及される「生物学的物体」という用語は、生物学的単位を指し得る。生物学的物体は、限定ではなく例として、細胞、細胞小器官(例えば、核)、細胞膜、間質、腫瘍、または血管を含み得る。生物学的物体は3次元物体を含み得、デジタル病理画像は物体の単一の2次元スライスのみを捕捉することが可能であり、2次元スライスの平面に沿って物体の全体にわたって完全に延在する必要さえないことが理解されよう。それにもかかわらず、本明細書では、このような捕捉された部分を、生物学的物体を描写するものとして言及し得る。
【0058】
本明細書で言及される「生物学的物体の種類」または生物学的物体の種類という用語は、生物学的単位のカテゴリーを指し得る。限定ではなく例として、生物学的物体の種類は、細胞(一般に)、特定の種類の細胞(例えば、リンパ球または腫瘍細胞)、細胞膜(一般に)などを指し得る。いくつかの開示は、第1の種類の生物学的物体に対応する生物学的物体描写および第2の種類の生物学的物体に対応する他の生物学的物体描写を検出すること指し得る。第1および第2の種類の生物学的物体は、類似、同じ、または異なるレベルの特異性および/または普遍性を有し得る。例えば、第1および第2の種類の生物学的物体は、それぞれリンパ球および腫瘍細胞タイプとして識別され得る。別の例として、第1の種類の生物学的物体はリンパ球として識別される可能性があり、第2の種類の生物学的物体は腫瘍として識別される可能性がある。
【0059】
本明細書で言及される「空間的分布メトリック」という用語は、互いに対する、および/または他の特定の生物学的物体描写に対する画像内の特定の生物学的物体描写の空間的配置を特徴付けるメトリックを指し得る。空間的分布メトリックは、ある種類の生物学的物体(例えば、リンパ球)が別の種類の生物学的物体(例えば、腫瘍)に浸潤している、別の種類の物体(例えば、腫瘍細胞)が点在している、別の種類の物体(例えば、腫瘍細胞)に物理的に近接している、および/または別の種類の物体(例えば、腫瘍細胞)と共局在している程度を特徴付け得る。
【0060】
図1は、いくつかの実施形態による、生物学的物体の相対空間情報を特徴付けるためにデジタル病理画像を生成および処理するために、開示された主題に従って使用し得る相互作用システムまたはネットワーク100(例えば、特別に構成されたコンピュータシステム)を示す。
【0061】
デジタル病理画像生成システム105は、特定のサンプルに対応する1つ以上のデジタル画像を生成し得る。例えば、デジタル病理画像生成システム105によって生成された画像は、生検サンプルの染色された部分を含み得る。別の例として、デジタル病理画像生成システム105によって生成された画像は、液体サンプルのスライド画像(例えば、血液フィルム)を含み得る。別の例として、デジタル病理画像生成システム105によって生成された画像は、蛍光プローブが標的DNAまたはRNA配列に結合した後の蛍光インサイチュハイブリダイゼーション(FISH)を描写するスライド画像などの蛍光顕微鏡法を含み得る。
【0062】
いくつかの種類のサンプル(例えば、生検、固体サンプルおよび/または組織を含むサンプル)は、サンプル調製システム110によって処理されて、サンプルを固定および/または埋め込み得る。サンプル調製システム110は、固定剤(例えば、ホルムアルデヒド溶液などの液体固定剤)および/または包埋物質(例えば、組織学的ワックス)をサンプルに浸透させることを容易にし得る。例えば、固定サブシステムは、少なくとも閾値時間(例えば、少なくとも3時間、少なくとも6時間、または少なくとも12時間)にわたって、サンプルを固定剤にさらすことによってサンプルを固定し得る。脱水サブシステムは、サンプルを脱水し(例えば、固定サンプルおよび/または固定サンプルの一部を1以上のエタノール溶液にさらすことによって、)、潜在的に、透明化中間剤(例えば、エタノールおよび組織学的ワックスを含む)を使用して脱水されたサンプルを透明化し得る。埋め込みサブシステムは、加熱された(例えば、液体の)組織学的ワックスをサンプルに浸透させ得る(例えば、対応する所定の期間の1回以上)。組織学的ワックスは、パラフィンワックスおよび潜在的に1種以上の樹脂(例えば、スチレンまたはポリエチレン)を含み得る。次いで、サンプルおよびワックスを冷却し、ワックス浸透サンプルをブロックし得る。
【0063】
サンプルスライサー115は、固定され埋め込まれたサンプルを受け取り、切片のセットを作製し得る。サンプルスライサー115は、固定され埋め込まれたサンプルを冷所または低温に曝し得る。次いで、サンプルスライサー115は、冷却されたサンプル(またはそのトリミングされたバージョン)を切断して、切片のセットを作製し得る。各切片は、(例えば)100μm未満、50μm未満、10μm未満、または5μm未満の厚さを有し得る。各部分は、(例えば)0.1μmより大きい、1μmより大きい、2μmより大きい、または4μmより大きい厚さを有し得る。冷却されたサンプルの切断は、温水浴(例えば、少なくとも30℃、少なくとも35℃または少なくとも40℃の温度で)中で行い得る。
【0064】
自動染色システム120は、各切片を1つ以上の染色剤(例えば、ヘマトキシリンおよびエオシン、免疫組織化学、または特殊染色)に曝露することによって、サンプルの切片の1つ以上の染色を容易にし得る。各切片は、所定の期間にわたって所定量の染色剤に曝露され得る。特定の実施形態では、単一の切片を複数の染色剤に同時にまたは連続的に曝露する。
【0065】
1つ以上の染色された切片のそれぞれを、切片のデジタル画像を取り込み得るイメージスキャナ125に提示し得る。イメージスキャナ125は、顕微鏡カメラを有し得る。イメージスキャナ125は、複数の倍率(例えば、10倍対物レンズ、20倍対物レンズ、40倍対物レンズなどを使用する)でデジタル画像を取り込み得る。画像を操作して、所望の倍率範囲でサンプルの選択された部分を捕捉し得る。画像スキャナ125は、人間のオペレータによって識別された注釈および/または形態素をさらに取り込み得る。特定の実施形態では、切片を洗浄し、1つ以上の他の染色剤に曝露し、再び画像化し得るように、1つ以上の画像が捕捉された後、切片は自動染色システム120に戻される。複数の染色剤が使用される場合、第1の染色剤を大量に吸収した第1の切片に対応する画像の第1の領域を、第2の染色剤を大量に吸収した第2の切片に対応する画像の第2の領域(または異なる画像)と区別し得るように、異なる色プロファイルを有するように染色剤を選択し得る。
【0066】
デジタル病理画像生成システム105の1以上の構成要素は、特定の実施形態では、人間のオペレータに関連して動作され得ることが理解されよう。例えば、人間のオペレータは、様々なサブシステム(例えば、サンプル調製システム110またはデジタル病理画像生成システム105)にわたってサンプルを移動させ、および/またはデジタル病理画像生成システム105の1つ以上のサブシステム、システムまたは構成要素の動作を開始または終了させ得る。別の例として、デジタル病理画像生成システム(例えば、サンプル調製システム110の1つ以上のサブシステム)の1つ以上の構成要素の一部または全部を、人間のオペレータの動作で部分的または全体的に置き換えることが可能である。
【0067】
さらに、デジタル病理画像生成システム105の様々な説明および図示された機能および構成要素は、固体および/または生検サンプルの処理に関するが、他の実施形態は、液体サンプル(例えば、血液サンプル)に関し得ることが理解されよう。例えば、デジタル病理画像生成システム105は、ベーススライド、汚れた液体サンプルおよびカバーを含む液体サンプル(例えば、血液または尿)スライドを受け取るように構成し得る。次いで、画像スキャナ125は、サンプルスライドの画像を取り込み得る。デジタル病理画像生成システム105のさらなる実施形態は、本明細書に記載のFISHなどの高度な撮像技術を使用してサンプルの画像を捕捉することに関し得る。例えば、蛍光プローブをサンプルに導入し、標的配列に結合させると、さらなる分析のためにサンプルの画像を捕捉するために適切な画像処理を使用し得る。
【0068】
所与のサンプルは、1人以上のユーザ(例えば、1人以上の医師、検査技師および/または医療提供者)と関連付けられ得る。関連するユーザは、画像化されているサンプルを生成した検査または生検を命じた人および/または検査または生検の結果を受け取る許可を得た人を含み得る。例えば、ユーザは、医師、病理学者、臨床医、または対象(サンプルが採取された)に対応し得る。ユーザは、1つ以上の装置130を使用して、(例えば)サンプルがデジタル病理画像生成システム105によって処理され、得られた画像がデジタル病理画像処理システム135によって処理されるという1つ以上の要求(例えば、対象を識別する)を最初に提出し得る。
【0069】
特定の実施形態では、デジタル病理画像生成システム105は、画像スキャナ125によって生成されたデジタル病理画像をユーザ装置130に送り返し、ユーザ装置130は、デジタル病理画像の自動処理を開始するためにデジタル病理画像処理システム135と通信する。特定の実施形態では、デジタル病理画像生成システム105は、画像スキャナ125によって生成されたデジタル病理画像を、例えばユーザ装置130のユーザの指示で、デジタル病理画像処理システム135に直接提供する。図示しないが、他の中間装置(例えば、デジタル病理画像生成システム105またはデジタル病理画像処理システム135に接続されたサーバのデータストア)を使用し得る。さらに、簡単にするために、ネットワーク100には、ただ1つのデジタル病理画像処理システム135、デジタル病理画像生成システム105、およびユーザ装置130が示されている。本開示は、本開示の教示から必ずしも逸脱することなく、各タイプのシステムおよびその構成要素のうちの1つ以上の使用を予期する。
【0070】
デジタル病理画像処理システム135は、画像の空間特性を識別し、および/または生物学的物体の描写の空間的分布を特徴付けるように構成し得る。切片アライナーサブシステム140は、複数のデジタル病理画像および/または同じサンプルに対応するデジタル病理画像の領域を位置合わせするように構成され得る。例えば、複数のデジタル病理画像は、同じサンプルの同じ切片に対応し得る。各画像は、異なる染色剤で染色された切片を描写し得る。別の例として、複数のデジタル病理画像のそれぞれは、同じサンプルの異なる部分(例えば、それぞれが同じ染色剤に対応するか、または画像の異なるサブセットが異なる染色剤に対応する)に対応し得る。例えば、サンプルの交互の切片を異なる染色剤で染色し得る。
【0071】
切片アライナーサブシステム140は、単一のサンプルおよび/または単一の切片に対応するデジタル病理画像が位置合わせされるように、各デジタル病理画像が並進、回転、拡大および/または伸縮されるかどうかおよび/またはどのようにするかを決定し得る。アライメントは、(例えば)相関評価(例えば、相関を最大化するアラインメントを特定するために)を使用して決定し得る。
【0072】
生物学的物体検出器サブシステム145は、位置合わせされたデジタル病理画像のそれぞれにおける1つ以上の特定の種類の物体(例えば、生物学的物体)の描写を自動的に検出するように構成し得る。物体の種類は、例えば、生物学的構造の種類の細胞などを含み得る。例えば、生物学的物体の第1のセットは、第1の種類の細胞(例えば、免疫細胞、白血球、リンパ球、腫瘍浸潤リンパ球など)に対応することが可能であり、生物学的物体の第2のセットは、第2の種類の細胞(例えば、腫瘍細胞、悪性腫瘍細胞など)または生物学的構造のタイプ(例えば、腫瘍、悪性腫瘍など)に対応し得る。生物学的物体検出器サブシステム145は、位置合わせされたデジタル病理画像から、1つ以上の種類のそれぞれの生物学的物体の描写を検出し得る。デジタル病理画像は、単一のデジタル病理画像の様々な染色を描写し得る。そのようなデジタル病理画像は、複数の染色の各々で染色されたサンプルの切片に対応し得る単一の画像を含み得る。例えば、生物学的物体検出器サブシステム145は、単一のデジタル病理画像からリンパ球および腫瘍細胞の描写を検出し得る。生物学的物体検出器145は、例えば様々な染色に対応する様々なデジタル病理画像から生物学的物体の描写を検出し得る。
【0073】
例えば、リンパ球の描写は第1のデジタル病理画像で検出し得、腫瘍細胞の描写は第2のデジタル病理画像で検出し得る。第1のデジタル病理画像は、第1の染色剤で染色されたサンプルの切片の画像を描写し得、第2のデジタル病理画像は、第2の染色剤で染色され、再度画像化された同じ切片を描写し得る。生物学的物体検出器サブシステム145は、第1の染色剤で染色されたサンプルの切片に対応し得る第1のデジタル病理画像における第1の特定種類の生物学的物体の描写を検出し得る。生物学的物体検出器サブシステム145は、第2の染色剤で染色された同じ切片または第2の染色剤で染色されたサンプルの別の切片に対応し得る、第2のデジタル病理画像に示される第2の特定の種類の生物学的物体の描写を検出し得る。さらに、生物学的物体検出器サブシステム145は、空間的分布メトリックおよび対象レベルの結果を生成する目的で、同じサンプルと関連しない1つ以上のデジタル病理画像内の1つ以上の種類の生物学的物体の1つ以上の生物学的物体を検出し得る。
【0074】
生物学的物体検出器サブシステム145は、静的規則および/または訓練されたモデルを使用して、生物学的物体を検出および特性評価し得る。規則をベースとする生物学的物体検出は、1つ以上のエッジを検出すること、形状が十分に接続されて閉じられているエッジのサブセットを識別すること、および/または1つ以上の高強度領域またはピクセルを検出することを含み得る。例えば、閉じたエッジ内の領域の面積が所定の範囲内にある場合、および/または高強度領域が所定の範囲内のサイズを有する場合、デジタル病理画像の一部を決定して生物学的物体を描写し得る。訓練されたモデルを使用して生物学的物体の描写を検出することは、畳み込みニューラルネットワーク、深層畳み込みニューラルネットワーク、および/またはグラフベースの畳み込みニューラルネットワークなどのニューラルネットワークを使用することを含み得る。モデルは、物体の位置および/または境界を示す注釈を含む注釈付き画像を使用して訓練し得る。注釈付き画像は、データリポジトリ(例えば、公開データストア)から、および/または1つ以上の人間の注釈者に関連付けられた1つ以上の装置から受信し得る。モデルは、汎用画像または自然画像(例えば、デジタル病理学的使用または医学的使用のために一般に捕捉された画像だけでなく)を使用して訓練させ得る。これにより、異なる種類の生物学的物体を区別するモデルの能力を拡張させ得る。これは、特定の種類の物体を検出するようにモデルを訓練するために選択されたデジタル病理画像などの画像の特殊な訓練セットを使用して訓練されている可能性がある。
【0075】
規則をベースとする生物学的物体検出および訓練されたモデルの生物学的物体検出は、任意の組み合わせで使用し得る。例えば、規則をベースとする生物学的物体検出は、ある種類の生物学的物体描写を検出し得、訓練されたモデルは、別の種類の生物学的物体の描写を検出するために使用される。別の例は、訓練されたモデルによって出力された生物学的物体を使用して、規則をベースとする生物学的物体検出からの結果を検証すること、または規則をベースとする手法を使用して訓練されたモデルの結果を検証することを含み得る。さらに別の例は、初期物体検出として、規則をベースとする生物学的物体検出を使用すること、その後、より洗練された生物学的物体分析のために訓練されたモデルを使用すること、または、生物学的物体の初期セットの描写が訓練されたネットワークを介して検出された後に、規則をベースとする物体検出手法を画像に適用することを含み得る。
【0076】
生体物体検出はまた、(例えば)デジタル病理画像を前処理することを含み得る。前処理は、デジタル病理画像の解像度を目標解像度に変換し、1つ以上のカラーフィルタを適用し、および/またはデジタル病理画像を規則をベースとする生物学的物体検出方法または訓練されたモデルによる使用のために正規化し得る。例えば、自動染色システム120によって使用される染色剤のカラープロファイルに対応する色を通過させるカラーフィルタを適用し得る。規則をベースとする生物学的物体検出または訓練されたモデルの生物学的物体検出は、前処理された画像に適用し得る。
【0077】
検出された各生物学的物体について、生物学的物体検出器サブシステム145は、描写された生物学的物体の代表的な位置(例えば、重心点または中点)、描写された物体の縁部に対応するピクセルまたはボクセルのセット、および/または描写された生物学的物体の領域に対応するピクセルまたはボクセルのセットを識別し、記憶し得る。この生物学的物体データは、限定ではなく例として、生物学的物体の識別子(例えば、数値識別子)、対応するデジタル病理画像の識別子、対応するデジタル病理画像内の対応する領域の識別子、対応する対象の識別子、および/または物体の種類の識別子を含み得る生物学的物体のメタデータと共に記憶し得る。
【0078】
生物学的物体検出器サブシステム145は、デジタル病理画像を含み、画像内の検出された生物学的物体が描写されている場所を識別する1つ以上のオーバーレイをさらに含む注釈付きデジタル病理画像を生成し得る。複数の種類の生物学的物体が検出される特定の実施形態では、例えば、異なる色を使用して、異なる種類の注釈を表現し得る。
【0079】
生物学的物体分布検出器サブシステム150は、1つ以上の物体の空間分布を生成および/または特徴付けるように構成され得る。分布は、(例えば)1つ以上の静的規則(例えば、生物学的物体の点-位置表現の距離ベースのメトリックを適用する方法を識別するもの、デジタル病理画像のグリッド領域内の生物学的物体の絶対的または平滑化されたカウントまたは密度を使用する方法を識別するもの等)を使用することによって、および/または学習済みの機械学習モデル(例えば、初期物体描写データが、1つ以上のデジタル病理画像の予測品質を考慮して調整すべきことを予測できるもの)を使用して生成し得る。例えば、特徴付けは、特定の種類の生物学的物体が互いに密集して描かれている程度、特定の種類の生物学的物体の描写が画像の全部または一部にわたって広がる程度、特定の種類の生物学的物体の描写の近接性が(互いに対して)別の種類の生物学的物体の描写の近接性と比較する程度、1つ以上の他の種類の生物学的物体の描写に対する1つ以上の特定の種類の生物学的物体の描写の近接性、および/または1つ以上の特定の種類の生物学的物体の描写が1つ以上の他の種類の生物学的物体の1つ以上によって規定される領域内および/またはそれに近接する程度を示し得る。
図2に関連して以下でさらに詳細に説明するように、生物学的物体分布検出器サブシステム150は、特定のフレームワーク(例えば、空間点プロセス分析フレームワーク、空間領域分析フレームワーク、または地球統計分析フレームワークなど)を使用して生物学的物体の表現を最初に生成し得る。
【0080】
対象レベルのラベル生成サブシステム155は、空間的分布メトリックを使用して、1つ以上の対象レベルのラベルを生成し得る。対象レベルの標識は、個々の対象(例えば、患者)、定義された対象群(例えば、類似の特徴を有する患者)、治験の群などに対して決定された標識を含み得る。ラベルは、例えば、可能性のある診断、予後、処置の評価、処置の推奨、または処置の適格性判定に対応し得る。特定の実施形態では、ラベルは、事前定義されたまたは学習された規則を使用して生成し得る。例えば、ある規則は、所定の閾値を上回る空間的分布メトリックが特定の病状(例えば、潜在的診断として)に関連付けられるべきである一方で、閾値を下回るメトリックは特定の病状に関連付けられないことを指示し得る。別の例として、規則は、空間的分布メトリックが所定の範囲内にあるとき(例えば、他の方法ではなく)、特定の処置が推奨されるべきであることを示し得る。例示すると、距離ベースのメトリック(例えば、リンパ球描写の重心が腫瘍細胞描写の重心からどれだけ離れているかを特徴付ける)が所定の閾値を下回る場合、チェックポイント免疫療法が推奨され得る。さらに別の例として、規則は、最近収集されたデジタル病理画像に対応する空間的分布メトリックと、あまり最近収集されていないデジタル病理画像に対応する記憶されたベースライン空間的分布メトリックとの比に基づいて、治療有効性の異なる帯域を識別し得る。
【0081】
対象レベルのラベル生成サブシステム155は、例えば空間的分布メトリックと併せて、1つ以上のパターンまたはマスクをさらに使用して、1つ以上の対象レベルのラベルを生成し得る。特定の実施形態では、対象レベルのラベル生成器サブシステム155は、以前のラベルおよび/または対象の結果(ラベルを検証するのに役立ち得る)に関連付けられた1つ以上のパターンまたはマスクを検索または提供し得る。特定の実施形態では、対象レベルのラベル生成器サブシステム155は、1つ以上の規則に従って、または訓練されたモデルを使用してマスクを取り出し得る。例えば、規則は、デジタル病理画像に描かれた1つ以上の生物学的物体物の1つ以上のタイプの判定に対応して、特定のマスクまたはマスクのサブセットを検索してデジタル病理画像と比較することを示し得る。別の例として、規則は、特定のマスクまたはマスクのサブセットが、閾値を満たすか、または閾値を満たさないか、または閾値範囲を占有するか、または占有しない空間的分布メトリックの決定に応答して、検索され、デジタル病理画像と比較されるべきであることを示し得る。規則に関連する値は、対象レベルのラベル生成サブシステム155によって学習し得る。特定の実施形態では、本明細書に記載の1つ以上の機械学習プロセスを使用してモデルを訓練して、デジタル病理画像、それから導出されたデータ、およびそれに関連するメタデータの全体的特性に基づいてデジタル病理画像を検索し適用するパターンを識別し得る。
【0082】
デジタル病理画像処理システム135は、生成された空間的分布メトリック、対象レベルのラベルおよび/または注釈付き画像を出力し得る。出力は、ローカルプレゼンテーションまたは送信(例えば、ユーザ装置130へ)を含み得る。
【0083】
図1の各構成要素および/またはシステムは、(例えば)1つ以上のコンピュータ、1つ以上のサーバ、1つ以上のプロセッサ、および/または1つ以上のコンピュータ読み取り可能な媒体を含み得る。特定の実施形態では、単一のコンピューティングシステム(1つ以上のコンピュータ、1つ以上のサーバ、1つ以上のプロセッサ、および/または1つ以上のコンピュータ読み取り可能な媒体を有する)は、
図1に示す複数の構成要素を含み得る。例えば、デジタル病理画像処理システム135は、切片アライナーサブシステム140、生体物体検出器サブシステム145、生物学的物体分布検出器サブシステム150および対象レベルのラベル生成器サブシステム155の全ての機能を集合的に実装する単一のサーバおよび/またはサーバの集合を含み得る。
【0084】
様々な代替実施形態が企図されることが理解されよう。例えば、デジタル病理画像処理システム135は、対象レベルのラベル生成器サブシステム155を有していなくてもよく、および/または対象レベルのラベルを生成しなくてもよい。どちらかといえば、注釈付き画像(生物学的物体検出器サブシステム145によって生成された注釈付き)および/または(生物学的物体分布検出器サブシステム150によって生成された)1つ以上の空間分布的メトリックは、デジタル病理画像処理システム135によって出力し得る。次いで、ユーザは、出力データを考慮してラベル(例えば、診断、予後、処置の評価または処置の推奨に対応する)を識別し得る。
【0085】
図2は、本発明のいくつかの実施形態による、空間的分布メトリックを生成するための物体データを処理するための例示的な生物学的物体パターン計算システム200を示す。生物学的物体分布検出器サブシステム150は、システム200の一部または全部を含み得る。
【0086】
生物学的物体パターン計算システム200は、複数のサブシステム、すなわち、点処理サブシステム205、領域処理サブシステム210、および地球統計サブシステム215を含む。各サブシステムは、異なるフレームワーク、すなわち点処理分析フレームワーク225、領域分析フレームワーク230、または地球統計フレームワーク235に対応し、それらを使用して空間的分布メトリックまたはその構成データを生成する。点処理分析フレームワーク225は、物体固有の焦点を有し得、例えば、検出された生物学的物体描写ごとに点位置を特定し得る。領域分析フレームワーク230は、データ(例えば、描写された生物学的物体の位置)が個々の生物学的物体の描写によってではなく座標および/または空間格子を使用してインデックス付けされるフレームワークとし得る。地球統計分析フレームワーク235は、一組の位置のそれぞれにおける特定の種類の生物学的物体描写の有病率および/または観測確率の予測を提供し得る。各フレームワークは、1つ以上の種類のそれぞれの1つ以上の生物学的物体の描写にわたって形成された空間パターンおよび/または分布を特徴付ける1つ以上のメトリックの生成を支援し得る。
【0087】
例えば、点処理サブシステム205は、各生物学的物体の描写を画像内の点位置として表現し得る点処理分析フレームワーク225を使用し得る。特定の実施形態では、点位置は、生物学的物体の描写の重心、中間点、または質量中心などであり得る。いくつかの実施形態では、点位置は、(例えば、生物学的物体検出器サブシステム145によって)生物学的物体の描写を検出するときに検出される。いくつかの実施形態では、点処理サブシステム205は、(例えば、描写された生物学的物体の縁部および/または領域に関連する位置に基づいて)生物学的物体描写の位置を決定する。点処理サブシステム205は、生物学的物体描写間の1つ以上の距離を検出および処理するための距離検出器245と、1つ以上の種類のそれぞれの1つ以上の生物学的物体描写間の相互相関および/または自己相関を特徴付けるための点ベースクラスタ生成器250および相関検出器255と、画像の次元に対応する2次元空間にわたる(例えば、風景の第3次元が計算量を示す)生物学的物体描写の計算量に対応する3次元ランドスケープ生成器260を含み得る。交差相関および自己相関は、距離の関数として、第1の種類の生物学的物体描写(したがって、サンプル中の生物学的物体)を表す点が、観察された生物学的物体描写から離れて位置する確率を識別し得る。相互相関の場合、確率は、第2の種類の生物学的物体について計算される。自己相関の場合、確率は、第1の種類の生物学的物体について計算される。相互相関または自己相関は、1次元表現(例えば、x軸を距離に設定して)または2次元表現(例えば、x軸を水平距離に設定し、y軸を垂直距離に設定する)を含み得る。
【0088】
距離検出器245は、画像内の点および各点の位置を検出し得る。1つ以上の点の対(例えば、「点のペア」)のそれぞれについて、その対に関連付けられた点の位置間の距離(例えば、ユークリッド距離)が計算される。1つ以上の点の対のそれぞれは、同じ種類の生物学的物体の描写または異なる種類の生物学的物体の描写に対応し得る。例えば、所与の図示されたリンパ球に関して、距離検出器245は、図示されたリンパ球の位置と他の図示されたリンパ球との間の距離を識別し得、距離検出器245は、図示されたリンパ球の位置と各図示された腫瘍細胞との間の距離を識別し得る。距離検出器245は、統計に基づいて、1つ以上の空間的分布メトリックを生成し得る。例えば、空間的分布メトリックは、所与のタイプの生物学的物体の描写間の距離および/または1つ以上の異なるタイプの生物学的物体の描写間の距離の平均、中央値および/または標準偏差などとして、および/またはそれに基づいて定義し得る。例示すると、描写された全てのリンパ球の位置間の距離を検出し得、次いで平均距離を計算し得る。各リンパ球-腫瘍-細胞対の間の距離に基づいて同様の計算を行い得る。空間的分布メトリックは、第1の種類の生物学的物体の描写間の距離に基づいて生成された第1の統計量、および第2の種類の生物学的物体の描写間の距離に基づいて生成された第2の統計量に基づき得る。
【0089】
点ベースのクラスタ生成器250は、クラスタ分析(例えば、リプリーのK関数などの多距離空間クラスタ分析)を実行するために距離を使用し得る。例えば、リプリーのK関数を使用して生成されたK値は、生物学的物体描写の空間的分布が空間的にランダムな分布(例えば、1つまたは複数の空間クラスタを有する分布とは対照的に、)に対応する推定された程度を表し得る。
【0090】
相関検出器255は、距離および/または点位置を使用して、1つ以上の相関ベースのメトリックを生成し得る。相関ベースのメトリックは、ある位置における所与の種類の生物学的物体描写の存在が、所与の種類または別の種類の別の生物学的物体描写が別の位置に存在するかどうかを予測する程度を示し得る。他の位置は、例えば、生物学的物体描写を囲む所定の空間的増分または標的領域に基づいて指定し得る。例えば、クロスコレログラム(cross-correlogram)は、リンパ球の描写からの様々な距離のそれぞれの範囲内の腫瘍細胞描写を観察する確率を特定し得る。メトリックは、ゼロ距離から特定の距離までの距離にわたる確率の合計を識別し得る。相関ベースのメトリックは、ランダム化された依存係数または相関係数を含み得る。特定の実施形態では、相関ベースのメトリックは、相互相関図の最大値に関連付けられた距離値を示す。
【0091】
ランドスケープ生成器260は、所与の種類の生物学的物体描写のポイント位置を使用して、画像の水平および垂直位置ごとに、所与の種類の物体の描写が観察される確率を示す三次元「ランドスケープ」データ構造(例えば、ランドスケープ地図)を生成し得る。ランドスケープデータ構造は、1つ以上のアルゴリズムを適合させることによって識別し得る。例えば、ゼロ、1つ以上のガウス分布を表すように構成されたデータ構造(または他のピーク構造)を適合させ得る。ランドスケープ生成器260は、所与の種類の生物学的物体に対して生成されたランドスケープデータ構造を、別の種類の生物学的物体に対して生成された別のランドスケープデータ構造と比較するように構成し得る。例えば、ランドスケープ生成器260は、所与の種類の生物学的物体に対応するランドスケープの1つ以上のピークの位置、振幅および/または幅を、別の種類の生物学的物体に対応する別のランドスケープデータ構造の1つ以上のピークの位置、振幅および/または幅と比較し得る。ランドスケープは3次元で表現され、視覚化されたときに、ある種の物体が対応する領域に存在する確率が高いことを示すピークを含み得る。ランドスケープデータ表現では、3次元を介して物体の密度および/または数を表すが、代わりに、同じデータを他の視覚化手法(例えば、ヒートマップを介して)を使用して伝達もし得る。ランドスケープ生成器260によって生成された例示的なランドスケープデータ構造が、ランドスケープ表現420aおよび420bとして
図4に示されている。
【0092】
点プロセス分析フレームワーク225は、生物学的物体の個々の描写によってデータに索引付けし得るが、面分析フレームワーク230は、より抽象化された意味で座標および/または空間格子を使用してデータに索引付けし得る。領域処理サブシステム210は、領域分析フレームワーク230を適用して、画像領域に関連付けられた座標および/または領域のセットのそれぞれについて密度(または数)を識別し得る。密度は、格子ベースの分割器265、グリッドベースのクラスタモニタおよび/またはホットスポットモニタ275のうちの1つ以上を使用して識別し得る。
【0093】
格子ベースの分割器265は、画像上に描写された生物学的物体の位置の表現を含む、画像上に空間格子を課し得る。行のセットおよび列のセットを含む空間格子は、領域のセットを規定し得、各領域は行-列の組み合わせに対応する。空間格子の各領域が規定の面積を有し得るように、各行は規定の高さを有し得、各列は規定の幅を有し得る。
【0094】
格子ベースの分割器265は、生物学的物体描写の空間格子および点位置を使用して強度メトリックを決定し得る。例えば、各格子領域について、強度メトリックは、領域内に点位置(例えば、生物学的物体の描写の少なくとも閾値部分について)を有する1つ以上の種類のそれぞれの生物学的物体描写の量を示し得、および/またはそれに基づき得る。特定の実施形態では、強度メトリックは、デジタル病理画像内でおよび/またはサンプルについて検出された生物学的物体(例えば、所与のタイプの)の総数に基づいて、他のサンプルで検出された所与の種類の生物学的物体のカウントに基づいて、および/またはデジタル病理画像のスケールに基づいて、正規化および/または重み付けし得る。特定の実施形態では、強度メトリックは平滑化および/または他の方法で変換される。例えば、最終強度メトリックがバイナリであるように、初期カウントを閾値にし得る。例えば、バイナリメトリックは、格子領域が閾値(例えば、その領域に割り当てられた少なくとも5つの腫瘍細胞が存在するかどうか)を満たすいくつかの生物学的物体描写に関連付けられているかどうかの判定を含み得る。特定の実施形態では、格子ベースの分割器265は、(例えば)異なる種類の生物学的物体にわたる強度メトリックを比較することによって、面データを使用して1つ以上の空間的分布メトリックを生成し得る。
【0095】
グリッドベースのクラスタ生成器270は、1つ以上の種類の生物学的物体に関係するクラスタ関連データに基づいて、1つ以上の空間的分布メトリックを生成し得る。例えば、1つ以上の生物学的物体の種類のそれぞれについて、クラスタリングおよび/またはフィッティング技術を適用して、その種類の生物学的物体の描写が、例えば互いにおよび/または別の種類の生物学的物体の描写で空間的にクラスタリングされる程度を判定し得る。クラスタリングおよび/またはフィッティング技術は、生物学的体の描写が空間的に分散および/またはランダムに分布する程度を決定するためにさらに適用し得る。例えば、グリッドベースのクラスタ生成器270は、Morsita-Horn指数および/またはモラン指数を決定し得る。例えば、単一のメトリックは、1つの種類の生物学的物体の描写が空間的にクラスタ化され、および/または別の種類の物体の描写に近接する程度を示し得る。
【0096】
ホットスポット/コールドスポットモニタ275は、1つ以上の特定の種類の生物学的物体の描写が存在する可能性が高い「ホットスポット」の場所、または1つ以上の特定の種類の生物学的物体の描写が存在しない可能性が高い「コールドスポット」の場所を検出するための分析を実行し得る。特定の実施形態では、格子分割された強度メトリックを使用して、(例えば)局所強度極値(例えば、最大または最小)を識別し、および/またはホットスポットとして特徴付け得る1つ以上のピーク、またはコールドスポットとして特徴付け得る1つ以上の谷を適合させ得る。特定の実施形態では、Getis-Ordホットスポットアルゴリズムを使用して、任意のホットスポット(例えば、デジタル病理画像内の他の強度と比較して有意に異なるのに十分に高い隣接ピクセルのセットにわたる強度)または任意のコールドスポット(例えば、デジタル病理画像内の他の強度と比較して有意に異なるのに十分低い隣接ピクセルのセットにわたる強度)を識別し得る。特定の実施形態では、「有意に異なる」は、統計学的有意性の判定に対応し得る。物体の種類固有のホットスポットおよびコールドスポットが識別されると、ホットスポット/コールドスポットモニタ275は、ある種類の生物学的物体について検出された任意のホットスポットまたはコールドスポットの位置、振幅、および/または幅を、別の種類の生物学的物体について検出された任意のホットスポット/コールドスポットの位置、振幅、および/または幅と比較し得る。
【0097】
地球統計サブシステム215は、地球統計解析フレームワーク235を使用して、離散サンプルに基づく基礎となる平滑化分布を推定し得る。地球統計分析フレームワーク235は、1次元および/または分解能に対応するデータを2次元および/または分解能に変換するように構成し得る。例えば、生物学的物体描写の位置は、最初に、デジタル病理画像にわたって1mmの解像度を使用して定義され得る。次いで、位置データは、mm分解能に制約されない連続関数に適合させ得る。別の例として、最初に2次元座標として定義された生物学的物体描写の位置を変換して、行と列の組み合わせのセットのそれぞれの中の生物学的物体描写の数を含むデータ構造を生成し得る。地球統計分析フレームワーク235は、(所与のタイプの)特定の生物学的物体の描写の位置を特定する複数のデータ点を使用して関数を(例えば)適合させるように構成させ得る。例えば、生物学的物体の種類ごとにバリオグラムを生成し、一連の距離のそれぞれについて、距離の離れた同じ種類の2つの生物学的物体が検出されたかどうかを示し得る。より長い距離と比較して、単一のタイプの物体が短い分離距離で検出される可能性がより高くなり得る。次いで、バリオグラムデータを適合させることによってセミバリオグラムを生成し得る。次いで、観測された生物学的物体およびセミバリオグラムは、地球統計サブシステム215によって使用され、一組の位置のそれぞれにおける特定の種類の生物学的物体の描写の有病率および/または観測確率を予測する画像マップを生成し得る。画像マップの解像度および/またはサイズは、生物学的物体描写を最初に検出するために処理された1つ以上のデジタル病理画像と比較して、それぞれより高くおよび/またはより大きくし得る。地球統計サブシステム215は、(例えば)異なる種類の生物学的物体にわたって予測された生物学的物体の値(例えば、有病率および/または観測確率の予測)を比較すること、異なる種類の生物学的物体間の予測された生物学的物体値の空間相関を特徴付けること、個々の種類の生物学的物体の予測された物体値を使用して空間自己相関を特徴付けること、および/または異なるタイプの物体にわたる予測された物体値の空間クラスタ(またはホットスポット/コールドスポット)の位置を比較することによって、地球統計データを使用して1つ以上の空間的分布メトリックを生成し得る。
【0098】
様々なサブシステムは、図示されていない構成要素を含み得、明示的に説明されていない処理を実行し得ることが理解されよう。例えば、領域処理サブシステム210は、所与の領域内の第1の種類の生物学的物体の描写の位置に関する情報が、(同じまたは他の種類の)別の生物学的物体の描写が別の領域内の位置に存在するかどうかに関する不確実性を低減する程度を示すために、エントロピーベースの相互情報尺度に対応する空間分布的メトリックを生成し得る。例えば、相互情報メトリックは、1つの種類の生物学的物体の位置が別の種類の生物学的物体の位置に関する情報を提供する(したがって、エントロピーを低減する)ことを示し得る。そのような相互情報は、潜在的に、一方の種類の細胞が他の種類の細胞と散在している場合(例えば、腫瘍細胞内に散在する腫瘍浸潤リンパ球)と関連付け得る。
【0099】
別の例として、点処理サブシステム205は、所与の種類の生物学的物体の個々の生物学的物体検出点と、同じ種類の生物学的物体および/または別の種類の生物学的物体の生物学的物体描写に対応する1つ以上の最も近い他の点との間の距離(または距離統計)に基づいて、最近傍距離メトリックを生成し得る。例示すると、生物学的物体の各描写について、物体内タイプの距離値は、生物学的物体の描写の位置と同じ種類の生物学的物体の最も近い数の描写位置との間の平均距離を指し得る。生物学的物体の物体内タイプの距離統計値は、(例えば)物体の種類の全ての生物学的物体描写の物体内タイプの距離値の平均または中央値を参照し得る。物体種類間の距離値は、生物学的物体の描写の位置と、異なる種類の物体の最も近い数の描写の位置との間の平均距離を指し得る。物体間距離統計量は、(例えば)物体間距離値の平均または中央値とし得る。小さい/低い物体間タイプの距離統計は、異なる種類の生物学的物体の描写が互いに近接していることを示し得る。物体内タイプの距離統計は、(例えば)正規化目的のために、または所与のタイプの生物学的物体の一般的なクラスタリングを評価するために使用し得る。
【0100】
さらに別の例として、点処理サブシステム205は、対相関(クロスタイプ)関数またはマーク相関関数などの相互および/または自己相関関数に基づいて相関ベースのメトリックを生成し得る。相関関数は、(例えば)距離の関数として相関値を含み得る。ベースライン相関値は、ランダム分布に対応し得る。メトリックは、相関関数(または相関関数の平滑化バージョン)がベースライン相関値(またはベースライン相関値の何らかの調整バージョン、例えばベースライン相関値に一定量を加算して計算した閾値および/またはベースライン相関値に予め定義した係数を乗じたもの)を横断する空間距離を含み得る。
【0101】
生物学的物体パターン計算システム200は、様々な種類の複数(例えば、2つ以上、3つ以上、4つ以上、または5つ以上)の空間的分布メトリック(例えば、本明細書に開示されるものなど)の組み合わせを使用して結果(それ自体が空間的分布メトリックであり得る)を生成し得る。複数の空間的分布メトリックは、異なるフレームワークを使用して生成されたメトリック(例えば、点プロセス分析フレームワーク225、領域分析フレームワーク230、および地球統計フレームワーク235のうちの2つ以上、3つ以上、または全て)および/または異なるサブシステムによって生成されたメトリック(例えば、点処理サブシステム205、領域処理サブシステム210、および地球統計サブシステムのうちの2つ以上、3つ以上、または全て)を含み得る。例えば、空間的分布メトリックは、(空間点プロセス分析フレームワークを使用して生成された)距離ベースのメトリックおよび(空間領域分析フレームワークを使用して生成された)Morisita-Horn指標メトリックを使用して生成し得る。
【0102】
特定の実施形態では、複数のメトリックは、1つ以上のユーザ定義および/または事前定義された規則を使用して、および/または訓練されたモデルを使用して組み合わせ得る。例えば、機械学習(ML)モデルコントローラ295は、統合された空間的分布メトリックを生成するために様々な下位レベルメトリックがどのようにまとめて処理されるべきかを指定する1つ以上のパラメータ(例えば、重み)を学習するように機械学習モデルを訓練し得る。統合された空間的分布メトリックは、個々のパラメータのみよりも全体としてより正確であり得る。機械学習モデルのアーキテクチャは、MLモデルアーキテクチャデータストア296に格納し得る。例えば、機械学習モデルは、ロジスティック回帰、線形回帰、決定木、ランダムフォレスト、サポートベクターマシン、またはニューラルネットワーク(例えば、フィードフォワードニューラルネットワーク)を含み得、MLモデルアーキテクチャデータストア296は、モデルを定義する1つ以上の式を記憶し得る。場合により、MLモデルハイパーパラメータデータストア297は、モデルおよび/またはその訓練を定義するために使用されるが学習されない1つ以上のハイパーパラメータを記憶する。例えば、ハイパーパラメータは、隠れ層の数、ドロップアウト、学習率などを識別し得る。学習されたパラメータ(例えば、1つ以上の重み、閾値、係数などに対応する)は、MLモデルパラメータデータストア298に記憶し得る。
【0103】
特定の実施形態では、1つ以上のサブシステムの一部または全部は、MLモデルを訓練するために使用される訓練データと同じセットの一部または全部を使用して訓練される(それによって、MLモデルパラメータデータストア298内のMLモデルパラメータストアを学習する)。特定の実施形態では、MLモデルコントローラ295によって制御されるMLモデルと比較して、異なる訓練データセットが、1つ以上のサブシステムを訓練するために使用される。同様に、複数のフレームワーク、サブシステム、および/またはサブシステムコンポーネントを使用して、統合されて空間分布的メトリックを生成するメトリックを生成する場合、個々のフレームワーク、サブシステム、および/またはサブシステムコンポーネントは、他の訓練データセットに関して重複しない、部分的に重複する、完全に重複する、または同じ訓練データセットを使用して訓練し得る。
【0104】
図2には示されていないが、生物学的物体パターン計算システム200は、対象のサンプルの切片にわたって空間的分布メトリックを集約し、1つ以上の集約された空間的分布メトリックを生成するための1つ以上の構成要素をさらに含み得る。そのような集約されたメトリックは、(例えば)サブシステム内の構成要素(例えば、ホットスポットモニタ275)、サブシステムによって(例えば、点処理サブシステム205によって)、MLモデルコントローラ295によって、および/または生物学的物体パターン計算システム200によって生成し得る。集約された空間分布的メトリックは、(例えば)切片固有のメトリックのセットの合計、中央値、平均、最大値、または最小値を含み得る。
【0105】
図3Aおよび
図3Bは、いくつかの実施形態による、空間的分布メトリックを使用するデジタル病理画像の画像処理に基づく健康関連評価を提供するためのプロセス300aおよび300bを示す。より具体的には、デジタル病理画像は、例えば、デジタル病理画像処理システムによって処理されて、1つ以上の細胞型の空間パターンおよび/または分布を特徴付ける1つ以上のメトリックを生成し得、次いで、メトリックは、診断、予後、処置の評価、または処置の適格性の決定を知らせ得る。プロセスは工程310で開始し、ここで対象関連識別子をデジタル病理画像処理システム(例えば、デジタル病理画像処理システム135)によって受信し得る。対象関連識別子は、対象、サンプル、切片および/またはデジタル病理画像の識別子を含み得る。対象関連識別子は、ユーザ(例えば、対象の医療提供者および/または医師)によって提供され得る。例えば、ユーザは、デジタル病理画像処理システム135に識別子を送信し得るユーザ装置への入力として識別子を提供し得る。
【0106】
工程315において、デジタル病理画像処理システム135は、識別子に関連する染色された組織サンプルの1つ以上のデジタル病理画像にアクセスし得る。例えば、ローカルまたはリモートのデータストアは、識別子を使用して照会し得る。別の例として、識別子を含む要求を別のシステム(例えば、デジタル病理画像生成システム)に送信し得、応答は画像を含み得る。画像は、対象からのサンプルの染色切片を描写し得る。特定の実施形態では、第1のデジタル病理画像は、第1の染色剤で染色された切片を示し、第2のデジタル病理画像は、第2の染色剤で染色された切片を示す。特定の実施形態では、単一のデジタル病理画像は、複数の染色剤で染色された切片を示す。特定の実施形態では、デジタル病理画像は、分析工程300aの前または間に領域またはタイルに分離し得る。分離は、特定の領域に対するユーザ指示の焦点、検出された関心領域(例えば、機械学習された方法などに基づいて規則に従って検出される)に基づき得る。
【0107】
工程320において、第1の種類の生物学的物体描写の第1のセットおよび第2の種類の生物学的物体描写の第2のセットを、デジタル病理画像から検出し得る。特定の実施形態では、第1の種類の物体は、第1の染色剤に関連する生物学的物体に対応し得、第2の種類の物体は、第2の染色剤に関連する生物学的物体に対応し得る。第1の種類の物体は、第1の種類の生物学的物体(例えば、第1の細胞型)に対応し得、第2の種類の物体は、第2の種類の生物学的物体(例えば、第2の細胞型)に対応し得る。
【0108】
各生物学的物体は、デジタル病理画像内で物体が描写されている場所を示す位置メタデータと関連付けられ得る。位置メタデータは、(例えば)画像内の点に対応する座標のセット、生物学的物体描写の縁部または境界に対応する座標、および/または描写された物体の領域に対応する座標を含み得る。例えば、検出された生物学的物体の描写は、分析中の画像内の5×5の正方形のピクセルに対応し得る。位置メタデータは、生物学的物体描写の全ての25ピクセル、境界に沿った16ピクセル、または単一の代表点を識別し得る。単一の代表点は、(例えば)中間点であってもよく、または強度値を使用して25個のピクセルのそれぞれに事前重み付けし、次いで重み付けされた中心点を計算することによって生成され得る。また、コンテンツやコンテキストを考慮した重み付けなど、他の重み付けを適用し得る。
【0109】
工程325において、工程320で検出された生物学的物体描写に基づいてデータ構造が生成される。データ構造は、生物学的物体描写を特徴付ける物体情報を含み得る。検出された各生物学的物体描写について、データ構造は、例えば、生物学的物体描写の重心、生物学的物体描写の周囲に対応するピクセル、または生物学的物体描写の領域に対応するピクセルを識別し得る。データ構造は、各生物学的物体描写について、描写された生物学的物体に対応する生物学的物体のタイプ(例えば、リンパ球、腫瘍細胞など)をさらに識別し得る。
【0110】
工程330において、1つ以上の空間的分布メトリックが生成される。空間的分布メトリックは、生物学的物体描写の相対位置を特徴付ける。場合によっては、工程330は、例示的な工程320の検出された生物学的物体描写および物体の種類に基づいて空間的分布メトリックを生成することを含み得る。例えば、空間的分布メトリックは、特定の種類の物体の描写が互いにどの程度近いかおよび/またはクラスタ化されているか、および/または別の特定の種類の物体の描写に対してどの程度近いかを特徴付け得る。
【0111】
工程335において、工程330で生成された空間分布的メトリックは、ストレージエンティティ/データベース、ユーザインターフェース、またはサービスプラットフォームに出力される。サービスプラットフォームは、出力空間的分布メトリックを使用してさらなる分析を提供し得る。空間的分布メトリックは、(メトリックをユーザに提示し得る)ユーザ装置に送信し得、および/またはユーザインターフェースを介してローカルに提示させ得る。特定の実施形態では、検出された生物学的物体描写に対応する画像および/または注釈が追加的に出力される(例えば、送信および/または出力される)。
【0112】
特定の実施形態では、ユーザは、空間的分布メトリックを使用して、対象の診断、予後、処置の推奨、または処置の適格性の判断を知らせ得る。例えば、免疫療法および/またはチェックポイント免疫療法は、空間的分布メトリックがリンパ球が腫瘍細胞に近いおよび/または腫瘍細胞と共局在していることを示す場合、処置推奨として特定し得る。(例えば)リンパ球と腫瘍細胞との間の距離を表すメトリックが、同じ細胞型(例えば、リンパ球または腫瘍細胞)間の距離を表すメトリックと類似している(例えば、300%未満、200%未満、150%未満または110%未満)場合、リンパ球は腫瘍細胞に近いかまたは腫瘍細胞が散在していると判定し得る。画像内の個々の領域に割り当てられた各細胞型の量を表す強度値が類似している場合、リンパ球が腫瘍細胞に近いおよび/または腫瘍細胞が散在していると判定し得る。例えば、分析は、強度値が、細胞タイプが画像領域の同じまたは類似のサブセット内に密集して位置することを示すかどうかを判定し得る。
【0113】
ユーザは、診断、予後などを対象に提供し得る。例えば、診断、予後などは、対象に口頭で伝えることが可能であり、および/またはユーザの装置から対象の装置(例えば、安全なポータルを介して)に送信し得る。ユーザはさらに、ユーザ装置を使用して、診断、予後などを含むように対象の電子健康記録を更新し得る。
【0114】
推奨の結果として、対象の処置を開始、変更または停止し得る。例えば、特定の疾患を有する対象の診断に応答して、推奨される処置を開始し得、および/または特定の疾患の承認された処置を開始し得る。
【0115】
図3Bは、いくつかの実施形態による、空間的分布メトリックを使用するデジタル病理画像の画像処理に基づいて健康関連評価を提供するための別のプロセス300bを示す。プロセス300bの工程305~330は、プロセス300aの工程305~330とほぼ同様である。しかしながら、特定の実施形態では、デジタル病理画像処理システム135は、空間的分布メトリックを使用して、対象(例えば、工程347において)の診断、予後、処置の推奨、または処置の適格性決定を予測し得る。予測は、メトリックの1つ以上の閾値および/または範囲を識別する1つ以上の規則を使用して生成し得る。予測は、診断、予後または処置の推奨を表す結果を含み得る。結果は、(例えば)バイナリ値(例えば、対象が特定の病状を有するかどうかを予測すること):カテゴリ値(例えば、腫瘍病期を予測すること、または潜在的処置のセットの中から特定の処置を特定すること)または数値(例えば、対象が所与の状態を有する確率を識別すること、所与の処置が疾患の進行を遅らせる確率を予測すること、および/または状態が次の段階に進行するまでの期間を予測すること)であり得る。処置の推奨は、チェックポイント遮断療法または免疫療法(例えば、メトリックが、腫瘍細胞にリンパ球が散在していることを示す場合)の使用を含み得る。
【0116】
結果は、限定ではなく例として、訓練された回帰、決定木、またはニューラルネットワークモデルなどの訓練された機械学習モデルによって生成し得る。特定の実施形態では、空間的分布メトリックは、複数の異なるタイプのメトリックを含み、モデルは、マルチタイプデータを処理するように構成されている。例えば、メトリックタイプのセットは、K近傍解析に基づいて定義されたメトリック、リプリーのK関数に基づいて定義されたメトリック、Morisita-Horn指数、モラン指数、相関関数に基づいて定義されたメトリック、ホットスポット解析に基づいて定義されたメトリック、およびクリギング補間(例えば、通常のクリギングまたはインジケータクリギング)に基づいて定義されたメトリックを含み、結果は、メトリックタイプのセットのうちの少なくとも2つ、少なくとも3つ、または少なくとも4つのメトリックに基づいて生成され得る。
【0117】
工程348において、デジタル病理画像処理システム135は、予測を記憶エンティティ/データベース、ユーザインターフェース、またはサービスプラットフォームに出力し得る(結果を出力することを含み得る)。例えば、予測は、ローカルに提示し得、および/またはユーザ装置(例えば、予測を表示または提示し得る)に送信し得る。デジタル病理画像処理システム135は、空間的分布メトリック、デジタル画像、および/または検出された生物学的物体描写を識別する注釈データをさらに出力し得る(また、ユーザはさらに受信し得る)。
【0118】
次いで、ユーザは、確定診断、予後、処置の推奨、または処置の適格性の判定を識別し得る。確認された診断、予後などは、予測された診断、予後などと一致および/または対応し得る。デジタル病理画像処理システムによって生成された予測(および/または他のデータ)は、どの診断、予後または処置の推奨が識別されるかに関するユーザの決定を知らせ得る。特定の実施形態では、ユーザからデジタル病理画像処理システムにフィードバックを提供し得、フィードバックは、ユーザが識別した診断、予後または処置の推奨が予測のものと一致するかどうかを示す。そのようなフィードバックは、空間的分布メトリックを予測出力に関連付けるモデルを訓練し、および/または規則を更新するために使用し得る。
【0119】
図4は、空間パターンおよび分布メトリックを識別する様々な段階を示す。例えば、
図4は、初期デジタル病理画像、受信画像からの生物学的物体描写の検出結果、検出された生物学的物体描写に基づく画像の点プロセス分析、および受信画像で検出された生物学的物体描写の位置/強度を示す空的分布(ランドマーク評価として示される)を示す。空間的分布はランドマーク評価として示されており、検出された物体はリンパ球および腫瘍細胞である。
【0120】
図4は、対象の組織生検の例示的な染色切片のデジタル病理画像405を示す。組織生検を収集し、固定し、包埋し、切片にした。各切片をH&E染色剤で染色し、画像化し得る。染色液中のヘマトキシリンは、特定の細胞構造(例えば、細胞核)を第1の色に染色し得、染色液中のエオシンは、細胞外マトリックスおよび細胞質をピンク色に染色した。デジタル病理画像405を(ディープニューラルネットワークを使用して)処理して、リンパ球および腫瘍細胞の2種類の物体の描写を検出した。物体データを、様々な画像処理フレームワークおよび技術(後述)に従って処理して、空間的分布メトリック(後述)を生成した。
【0121】
いくつかの実施形態は、新規かつ修正されたフレームワークおよびメトリック、ならびにデジタル病理画像を処理するためのフレームワークおよびメトリックの新しい使用を含む。
【0122】
図4に示す表410は、複数の生物学的物体描写のそれぞれについて、生物学的物体に関連する対象識別子、撮像前にサンプルを染色するために使用された染色剤の種類、生物学的物体の種類(例えば、リンパ球または腫瘍細胞)、およびデジタル病理画像における生物学的物体描写の中心の座標を識別する例示的な生物学的物体データを含む。物体検出器(例えば、生体物体検出器サブシステム145)を使用して表410を作成し、各生体物体描写について単一の点の位置を特定した。単一の点位置は、生物学的物体描写の重心点であると定義された。表410に基づき、点プロセス分析フレームワークを実施した。
【0123】
リンパ球点画像415aは、検出された全てのリンパ球の描写についての腫瘍細胞座標におけるリンパ球の点表現417aを示す。腫瘍細胞点画像415bは、検出された全ての腫瘍細胞の描写の点座標における点表現417bを示す。
【0124】
例示的なランドスケープ表現420aおよび420bは、生物学的物体の特徴タイプ、この場合はそれぞれリンパ球および腫瘍細胞の特徴タイプの三次元のランドスケープデータをグラフィカルに示す。
【0125】
ランドスケープ表現420aおよび420bのための三次元のランドスケープデータは、二種類の生物学的物体(例えば、表410に示すように)のそれぞれの点データを使用して生成し得る。ランドスケープの表現420aのx軸およびy軸は、(例えば)画像405およびリンパ球点画像415aのx軸およびy軸に対応し得る。特定の実施形態では、ランドスケープの表現420bのx軸およびy軸は、デジタル画像405および腫瘍細胞点画像415bのx軸およびy軸に対応し得る。ランドスケープデータは、(x,y)座標に対応する領域内で検出された所与の種類の生物学的物体描写の計算量を特徴付けるz値をさらに含み得る。ランドスケープデータ内の各(x,y)座標対は、x値の範囲およびy値の範囲に対応する。したがって、z値は、x値の範囲(ランドスケープの全幅の一部に対応する)およびy値の範囲(ランドスケープの全長の一部に対応する)によって画定される領域にわたって位置する所与の種類の生物学的物体描写の数に基づいて決定し得る。
【0126】
3次元表現により、ピークの高さを視覚的に比較し得るという点で、画像の所与の部分における1つの種類の生物学的物体の描写の密度が別の種類の生物学的物体の描写の密度とどのように比較するかを決定することが容易になる。例えば、ランドスケープデータは、リンパ球および腫瘍細胞などの1つ以上の種類の生物学的物体のそれぞれについて生成し得る。したがって、リンパ球ランドスケープデータのピークは、ピークの位置に対応するデジタル病理画像の領域においてリンパ球の数が多いことを示し、腫瘍細胞ランドスケープデータのピークは、ピークの位置に対応するデジタル病理画像の領域内で腫瘍細胞が多いことを示し得る。第2の種類の生物学的物体のピークと比較して第1の種類の生物学的物体のピークを観測することは、生物学的物体の種類間の関係および/またはその描写を示し得る。例えば、リンパ球のピークを有する領域に対応する領域にある腫瘍細胞ランドスケープのピークを観察することは、腫瘍細胞にリンパ球が散在していることを示し得る。例えば、ランドスケープ表現420aのピーク425aは、ランドスケープ表現420bのピーク425bに対応し得る。ピーク430aはピーク430bに対応し得る。ランドスケープ表現420aおよびランドスケープ表現420bのピークは、一般に同じ位置にあり、したがって、生物学的物体の種類間の散在を示す。ピークの比較により、ピーク425aおよびピーク425bの位置での散在と比較した場合、ピーク430aおよびピーク430bの位置での散在が少ないことが示される。場合によっては、ピーク430aおよびピーク430bの位置に対応するデジタル病理位置に関心がもたれ、その画像位置に対応するより多くのデジタル病理画像データまたは追加の生体サンプルを収集するためのプロンプトを生成され得る。
【0127】
リプリーのK関数は、点のセット(例えば、生物学的物体描写の点代表画像位置に対応する点)における空間的均一性からの偏差を検出するための推定器として使用し得、多くの距離スケールで空間的クラスタリングまたは分散の程度を評価するために使用され得る。K関数(またはより具体的にはそのサンプルベースの推定値)は、以下のように定義し得る。
(式中、d
ijは、全n個の生物学的物体描写のうちのi番目とj番目との対ごとのユークリッド距離を示し、rは、探索半径であり、λは、生物学的物体描写の平均密度(例えば、n/A)であり、式中、Aは、全ての生物学的物体描写を包含する組織の面積である)であり、I(・)は、d
ij≦rである場合に1を有する指標関数であり、w
ijは、エッジ効果によるバイアス推定を回避するためのエッジ補正関数によるバイアス推定を回避するためのエッジ補正関数である。)
【0128】
効率的な機械学習方式を設計するために、K関数全体は、以下のメトリックを定式化することによって要約し得る。
1.曲線下面積:生物学的物体間距離r、rmaxの臨床的に意味のある最大値が特定され、0≦r≦rmaxについて観察されたK関数と理論値(例えば、同じまたは異なるタイプの生物学的物体が空間的に独立していると仮定する帰無仮説の下で)K関数間の面積を計算し得る。
2.r=rmaxにおける観察されたリプリーのK関数の観測値と理論値との差の点推定値。
上記の特徴は、第1の種類の生物学的物体および第2の種類の生物学的物体(例えば、腫瘍細胞およびリンパ球)について別々に導出し得る。さらに、交差型リプリーのK関数も同様に導出し得る。リプリーのK関数を使用して、生物学的物体の空間的クラスタリングまたは分散の程度を推定して出力することにより、生物学的物体の描写間でこのクラスタリングを理解し得る(例えば、第1の種類の生物学的物体と第2の種類の生物学的物体との浸透または分離を示す)。
【0129】
最近傍メトリックを識別するために、検出された生物学的物体描写の様々な対の位置間の距離を決定し得る。各距離は、異なる種類(例えば、各腫瘍細胞/リンパ球対の間)の生物学的物体描写の各対について計算し得る。所与の生物学的物体描写(例えば、個々のリンパ球の描写)に関して、最近傍物体描写のサブセットは、所与の種類であると識別され、所与の生物学的物体の描写に最も近いものとして描写されるものであると定義され得る。例えば、所与のリンパ球について、最近傍サブセットは、画像に示される他の腫瘍細胞と比較して、所与のリンパ球に最も近く示されるn個の腫瘍細胞を識別し得、nはプログラム可能な、ユーザ向けの、または機械学習された値であり得る。各サブセットについて、サブセットの生物学的物体描写位置の重心を計算し得る。重心と所与の生物学的物体の描写の位置との間の最近傍距離メトリックをそこから決定し得る。
【0130】
図5Aおよび
図5Bは、2つの例示的な最近傍サブセットを示す。例示的な生物学的物体描写の位置は、
図5Aおよび
図5Bのそれぞれにおいて、白丸データ点によって表されている。各生物学的物体描写(例えば、リンパ球)について、第2の種類(例えば、所定数の最近傍腫瘍生物学的物体の描写)の1つ以上の最近傍生物学的物体描写を識別し得る。図示の例では、5つの他の最近傍の生物学的物体描写が特定された。これらの最近傍の位置は、
図5Aおよび
図5Bにおいて、塗りつぶされたデータ点によって表されている。最近傍位置について、最近傍の重心を計算し得る。中間点は、例えば、最近傍位置についての平均、中央値、加重平均、質量中心などとして計算し得る。図示の例では、重心位置は、白丸から延びる線の端部の位置によって表されている。例示的な生物学的物体の位置および重心の間の最近傍距離メトリックは、
図5A~
図5Bにおいて、白丸から延びる線によって表されている。
【0131】
したがって、所与の生物学的物体について、第2の種類の生物学的物体の最近傍サブセットについて、最近傍距離メトリックを計算し得る。距離メトリックを使用して、生物学的物体を分類し得る。一例として、第1の生物学的物体がリンパ球であり、最も近い隣接生物学的物体が腫瘍細胞である場合、分類は隣接腫瘍リンパ球または腫瘍内リンパ球であるとし得る。分類は、学習されたまたは規則ベースの最近傍距離の評価に基づき得る。例えば、リンパ球は、距離メトリックが閾値を超える場合に隣接腫瘍リンパ球として分類され、距離メトリックが閾値を超えない場合に腫瘍内リンパ球として分類され得る。閾値は、1つ以上のデジタル病理画像に関連する距離メトリックに基づいて固定または定義され得る。特定の実施形態では、閾値は、デジタル病理画像に描写された全ての生物学的物体に関連する距離メトリックに、2成分ガウス混合モデルを当てはめることによって計算し得る。
図5Cは、この識別分析による、プロセスの文脈(例えば、生物学的物体描写の同一性、生物学的物体描写の数、生物学的物体描写の種類の同一性、生物学的物体描写の種類の数、最近傍距離の絶対値および相対値など)に依存する生物学的物体の例示的な特徴付けを示す。
図5Cに示す例では、黒い点は腫瘍細胞の描写を表す。青色の点は、腫瘍内リンパ球として分類されるリンパ球の描写を表す。緑色の点は、隣接腫瘍リンパ球として分類されるリンパ球の描写を表す。
【0132】
クロスタイプ対相関関数(PCF-cross)は、空間点プロセスにおける点(例えば、生物学的物体描写の点代表画像位置に対応する点)間の空間依存性の別の統計的測定値である。特定の実施形態では、PCFクロス関数は、第1の種類(例えば、リンパ球)の生物学的物体描写が第2の種類(例えば、腫瘍細胞)の生物学的物体描写によってどのように囲まれるかを定量化し得る。PCFクロスは、以下のように表し得る:
(式中λ、ω
ijおよびd
ijは同様にリプレーのK関数として定義され、k
h(・)は平滑化帯域幅h>0を有する平滑化カーネルである)
【0133】
PCFクロス全体は、以下のメトリックを定式化することによって要約し得る。
1.曲線下面積:生物学的物体から生物学的物体までの距離r、rmaxの臨床的に意味のある最大値を選択し得、0≦r≦rmaxについて観察されたPCFクロスと理論的な(例えば、同じまたは異なるタイプの生物学的物体が空間的に独立していると仮定する帰無仮説の下で)PCFクロスとの間の面積を計算した。
2.r=rmaxにおける観察されたPCF交差と理論的PCF交差との間の差の点推定値。
【0134】
マーク相関関数(MCF)により、生物学的物体描写の位置が近くの生物学的物体の描写の位置(例えば、異なるタイプの)に関して予想よりも多かれ少なかれ類似しているかどうか、またはそれらの位置が第2の種類の生物学的物体の描写から独立している(例えば、ランダム)かどうかの判定が容易になる。言い換えれば、第2の種類の生物学的物体描写の位置および存在が、第1の種類の生物学的物体描写の位置および存在に影響を及ぼすかどうかということである。マーク相関関数は、以下のように定義し得る:
(式中、E(s
i、s
j)は、距離r、M(s
i)、M(s
j)を隔てたデジタル病理画像位置s
iおよびs
jに生物学的物体描写が存在するとしたときの経験則的条件付き期待値を示す。)分母で、M、M’は、それらの周辺分布からランダムかつ独立して引き出された生物学的物体の種類であり、I(m1;m2)は、m1==m2の場合、1と定義される。
【0135】
以下のメトリックを定式化することによって、MCF全体を要約した:
1.曲線下面積:生物学的物体間距離r、rmaxの臨床的に意味のある最大値を選択し、0≦r≦rmaxについて観察されたMCFと理論的な(例えば、同じまたは異なる種類の生物学的物体が空間的に独立していると仮定する帰無仮説の下で)MCFとの間の面積を計算した。
2.r=rmaxにおける観察されたMCFと理論的MCFとの間の差の点推定値。
【0136】
生物学的物体描写のさらなる評価は、1つ以上の種類の生物学的物体描写の有病率の比較に基づき得る。例えば、特徴は、第1の種類の生物学的物体描写、および第2の種類の生物学的物体描写の量の比較から導出し得る。さらに、特徴は、特定の分類を有する生物学的物体描写(例えば、第1の種類または第2の種類)の比較によって強化し得る。
【0137】
例えば、腫瘍の空間的不均一性の統計分析に基づくリンパ球の描写の分類は、腫瘍細胞密度に対するリンパ球描写位置を特徴付け得る腫瘍内リンパ球比(ITLR)によって特徴付け得る。いくつかの実施形態では、評価は、関心領域(例えば、腫瘍領域)の注釈付けなどのデジタル病理画像注釈の使用によって誘導され得る。これらの各領域内で、各リンパ球の描写は、ユークリッド距離測定(本明細書に記載)に基づいて、隣接腫瘍リンパ球または腫瘍内リンパ球であると特徴付けられ得る。最も近いn個の腫瘍細胞を、各リンパ球の描写について特定し得る(例えば、セクションVI.A.3に記載されている技術などの最近傍技術を使用する)。上記において、nは、使用される近傍性の数に関する定義可能なパラメータである。第2に、n個の最も近い腫瘍細胞描写によって形成された凸包領域の重心座標を導出し得る。次いで、各リンパ球の描写から最も近い腫瘍細胞描写および凸包の重心までの距離を計算し、2成分ガウス混合モデルを適合させて、リンパ球を隣接腫瘍リンパ球または腫瘍内リンパ球にさらに識別し得る。リンパ球が腫瘍コア領域に浸潤している場合、重心までの距離は小さいはずである。対照的に、リンパ球が依然として腫瘍コア領域に移動している場合、距離はより大きい可能性が高い。ITLRの特徴は、以下のように定義された:
(式中、N
腫瘍内リンパ球は、腫瘍内リンパ球の総数を表し、N
腫瘍細胞は腫瘍細胞の総数を表す。)特定の種類の生物学的物体の特定の分類の文脈で説明されているが、BORは、それら自体の文脈依存特性を有する他の生物学的物体描写と同様の原理を使用して拡張し得る。
【0138】
Gクロス関数は、任意の所与の距離内の第1の種類の生物学的物体描写から第2の種類の最も近い生物学的物体描写までの距離の確率分布を計算する。具体的には、Gクロス関数は、所与の点(例えば、デジタル病理画像内の生物学的物体描写の点位置表現)を中心とする半径rの円内の少なくとも1つの生物学的物体描写(例えば、指定されたタイプの)を見つける確率を表す空間距離分布メトリックとみなし得る。これらの確率分布は、任意の2つの種類の生物学的物体描写の相対的な近さを定量化するために適用し得る。したがって、例えば、Gクロス関数は、浸透判定の定量的代用とし得る。数学的には、Gクロス関数は以下のように表される:
【0139】
(式中
、jは、第1の種類の生物学的物体描写の指標を表わし、I(・)は、d
i≦rである場合に1を有する指標関数であり、n
lymは、生物学的物体の総数である。)
【0140】
同様に、Gクロス関数全体は、以下のメトリックを定式化することによって要約し得る:
1.曲線下面積:生物学的物体間距離r、rmaxの臨床的に意味のある最大値を選択し、0≦r≦rmaxについて観察されたGクロス関数と理論的な(例えば、同じまたは異なるイプの生物学的物体が空間的に独立していると仮定する帰無仮説の下で)Gクロス関数との間の面積を計算した。
2.r=rmaxにおける観測されたGクロス関数と理論的Gクロス関数との間の差の点推定値。
【0141】
図6A~
図6Dは、いくつかの実施形態による、例示的なデジタル病理画像における生物学的物体描写の空間的配置を特徴付ける例示的な距離および強度に基づくメトリックを示す。デジタル病理画像に基づいて導出された4つの種類の空間的特徴メトリックのそれぞれについて、統計値がr値の範囲にわたってプロットされて示されている。
図6Aは、サンプルから計算された観測されたGクロス関数の(細い破線)、ならびに第1の種類の生物学的物体および第2の種類の生物学的物体が空間的に独立していると仮定した帰無仮説の下での理論Gクロス関数(太い破線)を示す。Gクロス関数は、本明細書に記載のように計算し得る。
図6Bは、第1の種対の生物学的物体描写について計算されたK関数、および第2の種類の生物学的物体描写について計算されたK関数の間の差(実線)を示す。K関数は、本明細書に記載のように計算した。
図6Cは、第1の種類の生物学的物体および第2の種類の生物学的物体が空間的に独立していると仮定する帰無仮説の下で計算された交差型対相関関数(点線)、または第1の種類の図示された生物学的物体の位置を第2の種類の図示された生物学的物体と比較することによって計算された交差型対相関関数(実線)を示す。本明細書に記載のように対相関を計算した。
図6Dは、第1の種類の生物学的物体および第2の種類の生物学的物体が空間的に独立していると仮定する帰無仮説の下で計算されたマーク相関関数(点線)、または第1の種類の図示された生物学的物体の位置を第2の種類の図示された生物学的物体と比較することによって計算されたマーク相関関数(実線)を示す。Mark相関は、本明細書に記載のように計算した。
【0142】
図6A~
図6Dのプロットは、この例では、第1の種類および第2の種類の生物学的物体の描写が客観的尺度に基づいて空間的に相関していることを示している。さらなる定量的特徴は、本明細書に開示されるアルゴリズムに基づいて導出し得る。
【0143】
図7は、領域分析フレームワーク230の適用を示す。特に、領域分析フレームワーク230を使用して、染色されたサンプルの切片のデジタル病理画像405を処理した。空間点プロセス分析フレームワークに関連して上述したように、特定の種類の生物学的物体(例えば、リンパ球および腫瘍細胞)の描写が検出された。領域分析フレームワーク230は、生物学的物体データをさらに生成し、その一例を表410に示す
【0144】
定義された数の列および定義された数の行を有する空間格子を使用して、デジタル病理画像405を領域に分割し得る。一例として、
図7に示すように、空間格子を使用して、デジタル病理画像405を22列および19行に分割した。空間格子は、418個の領域を含む。各生物学的物体描写は、領域に割り当てられ得る。特定の実施形態では、領域は、生物学的物体描写の中点または他の表現点を含む領域であり得る。生物学的物体の各種類および各格子領域について、領域に割り当てられた種類の生物学的物体のいくつかの生物学的物体描写を識別し得る。生物学的物体の各種類について、領域特異的な生物学的物体カウントの集合は、生物学的物体の特定の種類の格子データであると定義し得る。
図7は、第1の種類の生物学的物体描写のための格子データ715aおよび第2の種類の生物学的物体描写のための格子データ715bの特定の実施形態を示し、それぞれが染色された切片のデジタル病理画像405の表現上に重ねられる。格子データは、格子内の各領域について、全領域にわたる総カウントで除算された領域の等しいカウントに定義された有病率値を含むように定義され得る。したがって、所与の種類の生物学的物体が存在しない領域は、有病率値が0となり、所与の種類の少なくとも1つの生物学的物体が存在する領域は、0以外の正の有病率値を有する。
【0145】
2つの異なる状況(例えば、腫瘍)における同一の量の生物学的物体(例えば、リンパ球)は、特徴または特徴の程度(例えば、同じ免疫浸潤)を意味しない。代わりに、第1の種類の生物学的物体の描写が第2の種類の生物学的物体の描写に対してどのように分布するかは、場合によっては機能状態を示し得る。したがって、同じ種類および異なる種類の生物学的物体描写の近接性を特徴付けることは、より多くの情報を反映し得る。Morisita-Horn指数は、生物系または生態系における類似性(例えば、オーバーラップ)の生態学的尺度である。特定の実施形態では、生物学的物体描写の2つの集団(例えば、2つの種類の)間の二変量関係を特徴付けるMorisita-Horn指数(MH)は、以下のように定義され得る:
(式中、
は、それぞれ正方格子iにおける第1の種類の生物学的物体描写および第2の種類の生物学的物体描写の有病率を示す。)
図7において、格子データ715aは、格子点にわたる第1の種類の生物学的物体の描写の例示的な
を示し、格子データ715bは、格子点にわたる第2の種類の生物学的物体の描写の例示的な
を示す。
【0146】
Morisita-Horn指数は、個々の格子領域が両方の種類の生物学的物体の描写を含まない場合(異なる種類の生物学的物体の分布が空間的に分離されていることを示す)、0であると定義される。例えば、指数は、例示的な第1の格子データ720aに示される例示的な空間的に別個の分布を考慮すると0になる。Morisita-Horn指数は、格子領域にわたる第1種類の生物学的物体分布が格子領域にわたる第2の種類の生物学的物体の分布と一致する(またはスケーリングされたバージョンである)ときに1であると定義される。例えば、指数は、例示的な第2の格子データ720 bに示される例示的な高度に共局在化した分布を考慮すると、1に近い。
【0147】
図7に示す例では、格子データ715aおよび格子データ715bを用いて算出されたMorisita-Horn指数は0.47であった。インデックス値が高いということは、第1の種類および第2の種類の生物学的物体の描写が高度に共局在化されていることを示す。
【0148】
ジャッカード(Jaccard)指数(J)およびソレンセン(Sorensen)指数(L)は互いに類似しており、密接に関連している。特定の実施形態では、それらの指数は以下のように定義され得る:
(式中
は、それぞれ正方格子iにおける第1の種類の生物学的物体描写および第2の種類の生物学的物体描写の有病率を表し、min(a、b)は、aおよびbの間の最小値を返す。)
特定の実施形態では、生物学的物体描写の空間的分布を特徴付け得る別のメトリックは、空間的自己相関の尺度であるモラン指数である。一般に、モラン指数の統計量は、隣接する空間単位における第1の変数と第2の変数との間の関係についての相関係数である。
【0149】
特定の実施形態では、第1の変数は、第1の種類の生物学的物体描写の有病率として定義し得、第2の変数は、第2の種類の生物学的物体の描写の有病率として定義し得るので、2つの種類の生物学的物体の描写がデジタル病理画像に散在する程度を定量化し得る。いくつかの実施形態では、モラン指数Iは、以下のように定義され得る:
(式中、x
i、y
jは、面積単位iでの第1の種類(例えば、腫瘍細胞)の生物学的物体描写の標準化された有病率、および領域単位jでの第2の種類(例えば、リンパ球)の生物学的物体描写の標準化された有病率を表す。)ω
ijは面積単位iおよびjのバイナリウェイトであり、2つの単位が隣接する場合、重みは1であり、そうでない場合、0であり、近傍構造を定義するために一次スキームを使用し得る。モランIは、異なる種類の生物学的物体の生物学的物体描写のために別々に導出し得る。
【0150】
図8に示すように、モラン指数は、生物学的物体描写が格子(したがって、負の空間的自己相関を有する;「共局在シナリオ」820a)にわたって完全に分散している場合に-1に等しくなるように定義され、生物学的物体の描写が密集している場合(したがって、正の自己相関を有する;「分離シナリオ」820b)、1になるように定義されている。
【0151】
モラン指数は、物体の分布がランダムな分布と一致する場合に0と定義される。したがって、特定の種類の生物学的物体描写の領域表示は、各種類の生物学的物体のモラン指数の計算をサポートするグリッドを生成するのが容易になる。
格子データ715aを用いて算出したモラン指数は0.50であった。リンパ球格子データ715bを用いて算出したモラン指数は0.22であった。2種類の生物学的物体描写のそれぞれについて計算されたモラン指数間の差は、コロケーション(例えば、0に近い差はコロケーションを示す)の指標を提供し得る。
【0152】
ギアリーの連続性比としても知られるギアリーのCは、空間的自己相関の尺度、または同じ現象の隣接する観測値が相関しているかどうかを判定する試みである。ギアリーのCはモランのIと逆の関係にあるが、同一ではない。モランのIはグローバルな空間的自己相関の尺度であるが、ゲーリーのCは局所的な空間的自己相関に対してより敏感である。
(式中、z
iは、正方格子i、ω
i、jにおける第1の種類または第2の種類の生物学的物体描写のいずれかの有病率を表し、上記で定義されたものと同じである。)
【0153】
特定の実施形態では、格子データ715aおよび格子データ715bをさらに処理して、第1の種類の生物学的物体の検出された描写に対応するホットスポットデータ915aおよび第2の種類の生物学的物体の検出された描写に対応するホットスポットデータ915bをそれぞれ生成し得る。
図9において、ホットスポットデータ915aおよびホットスポットデータ915bは、検出された生物学的物体描写の種類ごとにホットスポットであると判定された領域を示す。ホットスポットとして検出された領域は赤いシンボル、ホットスポットではないと判定された領域は黒いシンボルで示す。ホットスポットデータ915a、915bは、物体数がゼロでないものと関連付けられた各領域に対して定義された。ホットスポットデータ915a、915bはまた、所与の領域がホットスポットであると識別されたか否かを示すバイナリ値を含み得る。ホットスポットデータおよび分析に加えて、コールドスポットデータおよび分析を行い得る。
【0154】
生物学的物体描写に関して、ホットスポットデータ915a、915bは、ゼロでない物体数に関連付けられた各領域のGetis-Ord局所統計値を決定することにより、生物学的物体の種類ごとに生成し得る。Getis-Ordホットスポット/コールドスポット分析を使用して、腫瘍細胞またはリンパ球の統計的に有意なホットスポット/コールドスポットを識別し得る。ここで、ホットスポットは、隣接する領域単位と比較して生物学的物体描写の有病率の統計的に有意に高い値を有する領域単位であり、コールドスポットは、隣接する領域単位と比較して生物学的物体描写の有病率の統計的に有意に低い値を有するエリア単位である。隣接領域と比較してホットスポット/コールドスポット領域を作る値および決定は、ユーザの好みに従って選択し得、特定の実施形態では、規則ベースの手法または学習済みモデルに従って選択し得る。例えば、検出された生物学的物体の数および/または種類、描写の絶対数、および他の要因を考慮し得る。Getis-Ord局所統計量はzスコアであり、正方格子iについて、以下のように定義し得る。
(式中、iは格子内の個々の領域(特定の行-列の組み合わせ)を表し、nは格子内の行および列の組み合わせ(すなわち、領域の数)の数であり、
はiとjとの間の空間的重みであり、z
jは領域内の所与の種類の生物学的物体描写の有病率であり、
は領域にわたる所与の種類の平均物体有病率である。)
【0155】
特定の実施形態では、それぞれの統計量が閾値を超えているかどうかを判定することによって、Getis-Ord局所統計量を2進値に変換し得る。例えば、閾値を0.16に設定し得る。閾値は、ユーザの好みに従って選択し得、特定の実施形態では、機械学習アプローチに基づく規則に従って設定し得る。
【0156】
特定の実施形態では、論理AND関数を使用して、生物学的物体の2つ以上の種類の描写のホットスポットであると識別される領域を識別し得る。例えば、共局在ホットスポットデータ920は、2つの種類の生物学的物体描写のホットスポットであると識別された領域を示す(赤いシンボルで示す)。所与の種類の物体について(例えば、腫瘍細胞物体の場合)識別されたホットスポット領域の数に対する、共局在化ホットスポットであると識別された領域の数の比率が高いことは、所与の種類の生物学的物体描写が他の種類の物体と空間特性を共有することを示し得る。一方、ゼロまたはそれに近い低い比率は、異なるタイプの生物学的物体の空間的分離と一致し得る。
【0157】
地球統計学は、もともと鉱業における空間的確率過程の確率分布を予測するために開発された数学的/統計学的手法の集合体である。地球統計学は、石油地質学、地球科学、農業、土壌科学、および環境曝露評価を含む多様な分野で広く適用されている。地球統計学の分野では、バリオグラムを使用してデータの空間的連続性を表現し得る。バリオグラムのフィッティングから特徴を生成するために、まず、経験的バリオグラムは、様々な距離で分離された点の対(例えば、生物学的物体描写の代表的な位置)間の変動性の尺度を使用して離散関数として計算し得る。第2に、経験的バリオグラムを推定し、理論的バリオグラムに適合させ得る。特定の実施形態では、Matern関数を理論的バリオグラムモデルとして使用し得る。
を考慮する。式中、Z(s)は位置sにおける腫瘍細胞またはリンパ球の有病率であり、Dはサンプル点s1、s2、...snのセットを表す。経験的バリオグラムは、以下のように計算し得る。
【0158】
図10の例では、H&E染色画像405(理論的バリオグラムプロットの点として
図10に示す)で検出された生物学的物体の描写に基づいて経験的バリオグラムが生成された。次いで、Matern関数を経験的バリオグラムに当てはめることによって、理論的バリオグラム1015を生成した。
【0159】
上記の計算では、合計は、ユークリッド距離hだけ離れたN(h)個の観測値のペア(例えば、生物学的物体の描写のペア)のみについて計算される。Matern関数からのパラメータは、この方法からの特徴として使用し得る。特徴は、第1の種類の生物学的物体(例えば、腫瘍細胞)の検出された描写および第2の種類の生物学的物体(例えば、リンパ球)の検出された描写のバリオグラムフィッティングから別々に取得し得る。あるいは、検出された生物学的物体描写を種類ごとに組み合わせる場合、指標バリオグラムフィッティングを行い得る。
【0160】
次いで、検出された生物学的物体推定値のバリオグラムおよび点位置を使用して、デジタル病理画像405の各領域(例えば、画素)について、特定の種類の生物学的物体がその領域に描写される確率を生成し得る。
図10に示すクリギングマップ1020は、デジタル病理画像405内の複数の領域のそれぞれについて、特定の種類の生物学的物体(例えば、腫瘍細胞)がその領域に描写される確率を示す。
【0161】
特定の実施形態では、回帰機械学習モデルは、デジタル病理画像から対象の状態の評価を予測するために、例えば対象からの生検切片のデジタル病理画像を処理するように訓練し得る。一例として、回帰機械学習モデルは、結腸直腸がんと診断された対象からの生検切片のデジタル病理画像に基づいて、癌が腫瘍DNA中でマイクロサテライト安定性を示すかどうか(対腫瘍DNA中のマイクロサテライト不安定性)を予測するように訓練し得る。マイクロサテライトの不安定性は、マイクロサテライト内の比較的多数の突然変異に関連し得る。
【0162】
生検は、疾患、この例では結腸直腸癌を有する複数の対象のそれぞれから生検を収集され得る。サンプルは、本明細書に開示される主題に従って固定、埋め込み、スライス、染色および画像化し得る。指定された種類の生物学的物体の描写、例えば腫瘍細胞およびリンパ球の生物学的物体描写は、例えば、生物学的物体検出器サブシステム145を使用して検出し得る。特定の実施形態では、生物学的物体検出器サブシステム145は、訓練された深層畳み込みニューラルネットワークを使用して、生物学的物体描写を認識および識別し得る。
【0163】
複数の対象のそれぞれについて、状態(例えば、癌)が指定された特徴(例えば、マイクロサテライト安定性対マイクロサテライト不安定性)を示したかどうかを示すようにラベルを生成し得る。グラウンドトゥルースラベルは、病理学者の評価およびアッセイに基づく試験結果に基づいて生成し得る。
各対象について、入力ベクトルは、空間的分布メトリックのセットを含むように定義され得る。空間的分布メトリックのセットは、本明細書に記載のメトリックの選択を含み得る。一例として、入力ベクトルに含まれるメトリックは、以下を含み得る:
-0から最大観察距離までの範囲の生物学的物体間の距離についての観察K関数および理論K関数の間の面積;
-最大の生物学的物体間距離で観察されたリプリーのK関数および理論的なリプリーのK関数の間の差の点推定値;
-0から最大観察距離までの範囲の生物学的物体間距離についてのGクロス関数の曲線下面積;
-最大の生物学的物体間距離で観察されたGクロス関数および理論的Gクロス関数の間の差の点推定値;
-0から最大観察距離までの範囲の生物学的物体間距離についての対相関関数(クロスタイプ)の曲線下面積;
-最大の生物学的物体間距離で観測された対相関関数および理論的な対相関関数の間の差の点推定値(クロスタイプ);
-0から最大観察距離までの範囲の生物学的物体間距離についてのマーク相関関数(クロスタイプ)の曲線下面積;
-最大の生物学的物体間距離で観測されたマーク相関関数および理論上のマーク相関関数の間の差の点推定値(クロスタイプ);
-腫瘍内リンパ球の比率;
-Morisita-Horn指数;
-ジャカード指数;
-ソレンセン指数;
-モラン指数;
-ギアリーのC;
-Getis-Ord局所統計を使用して定義されるスポット(例えば、ホットスポット、コールドスポット、有意でないスポット)を用い、第1の種類の生物学的物体描写についてのスポット(例えば、ホットスポット、コールドスポット、有意でないスポット)の数を超えた、種類の生物学的物体描写に対する非局所的スポット(例えば、ホットスポット、コールドスポット、有意でないスポット)の比率;および
-2種類の生物学的物体(例えば、腫瘍細胞およびリンパ球)描写のバリオグラムフィッティングによって得られた特徴。
【0164】
選択されたメトリックは、複数のフレームワーク(点プロセス分析フレームワーク、面プロセス分析フレームワーク、および地球統計フレームワーク)に対応する。特定の実施形態では、各対象について、表示された特徴(例えば、マイクロサテライト安定性)が観察されたかどうかを示すラベルを定義し得る。L1正則化されたロジスティック回帰モデルは、対になった入力データおよびラベルを使用し、ラッソ(lasso)による5倍交差検証を繰り返しながら、訓練および試験を行い得る。具体的には、5つのデータフォルダのそれぞれについて、モデルを残りの4つのフォルダで訓練し、残りのフォルダで試験して、ROC下の面積を計算し得る。
【0165】
図11は、5倍交差検証を使用して生成された例示的な中央受信者動作曲線(ROC)を示す。記載された例では、検証セットを使用して生成されたROC下の中央面積は0.931であった。95%信頼区間は(0.88,0.96)であった。L1正則化ロジスティック回帰モデルによって最も頻繁に選択された入力データセットからの変数は、どのメトリックが対象の状態の特定の特徴を最も予測すると考えられたかを示すために識別し得る。例えば、最も頻繁に選択されるメトリックは、これらのメトリックがマイクロサテライト不安定性を最も予測していることを示す、Getis-Ord局所統計を使用して計算されたペア相関関数およびホットスポット比の曲線下面積であり得る。デジタル病理画像を処理することで、特定の面倒で高価な検査の確実な代替として役立ち得る。例えば、本明細書で論じる例では、デジタル病理画像処理システムは、所与の対象の腫瘍がマイクロサテライト不安定性を示すかどうかを判定することに関して、処理がDNA分析を反映し得るかまたはそれを超え得ることを示し得る。したがって、本開示の主題による画像ベースの手法を使用することにより、DNAを収集するために対象から追加の生検サンプルを収集する必要性を排除し得、DNA分析を実行するための時間および費用をさらに節約し得る。
【0166】
特定の実施形態では、第1の対象および第2の対象のそれぞれについて、染色された生検切片のデジタル病理画像にアクセスされる。第1の種類の生物学的物体描写および第2の種類の生物学的物体(例えば、リンパ球および腫瘍細胞)描写は、本明細書に記載の技術に従って各画像内で検出し得る。本明細書で説明されるような入力ベクトルは、各対象について生成し得る。入力ベクトルは、本明細書に記載するように、訓練されたロジスティック回帰モデルによって別々に処理され得る。
【0167】
モデルは、第1の対象に関連付けられた入力ベクトルを処理することに応答して第1のラベルを出力する。第1のラベルは、例えば、第1の対象の癌がマイクロサテライト不安定性を示すという予測に対応し得る。
【0168】
モデルは、第2の対象と関連付けられた入力ベクトルを処理することに応答して第2のラベルを出力する。第2のラベルは、例えば、第2の対象の癌がマイクロサテライト安定性を示さないという予測に対応し得る。
【0169】
第1のラベルおよび第2のラベルのそれぞれは、処置の推奨規則に従って(別々に)処理し得る。規則は、対象の状態の特定の特徴、例えばマイクロサテライト不安定性を検出すると、特定の処置、例えば免疫療法(または免疫チェックポイント療法)処置を推奨するように、または対象の状態の特定の特徴を検出すると、他の処置、例えば免疫療法(または免疫チェックポイント療法)の処置の使用を推奨しないように構成し得る。規則処理からの結果は、例えば、免疫療法処置が第1の対象には推奨されるが、第2の対象には推奨されないことを示す可能性がある。
【0170】
特定の実施形態では、デジタル病理画像は、組織成分の空間構造およびそれらの微小環境相互作用を含む腫瘍微小環境を描写し得る。微小環境は、組織形成、恒常性、再生プロセス、および免疫応答などに関して非常に影響を及ぼし得る。
【0171】
非小細胞肺癌(NSCLC)は、世界的な健康上の大きな問題であり、世界中で癌関連死亡の主な原因である。利用可能な広範囲の処置の選択肢にもかかわらず、転移性(EGFRおよびALK陰性/未知)NSCLCを有する患者にとって、化学療法は依然として処置の中心である。しかし、免疫チェックポイント阻害剤は、この亜集団の処置アルゴリズムに革命をもたらしている。
【0172】
デジタル病理画像を用いて空間統計量(例えば、空間分布的メトリック)を算出し、その統計量が様々な処置法に対する全生存率をどの程度予測できるかを判断し得る。様々な処置の有効性を試験するために、臨床研究の群を確立し得る。例示的な治験を実施して、ステージIV非扁平上皮NSCLCを有する化学療法未経験の参加者におけるカルボプラチンおよびパクリタキセルおよびベバシズマブによる処置(例えば、「群CPB」)と比較して、ベバシズマブ(例えば、「群ABCP」)を伴うまたは伴わないカルボプラチンおよびパクリタキセル(例えば、「群ACP」)と併用したアテゾリズマブ(操作された抗プログラム死リガンド1[PD-L1]抗体)の安全性および有効性を評価した。参加者を、群ACP、群ACPBまたは群CPB(対照群)に対して1:1:1の比で無作為化した。
【0173】
組織サンプルをベースラインで収集した。各処置群の各対象について、ベースライン組織サンプルのデジタル病理(例えば、H&E病理)画像を捕捉し得る。組織サンプルのH&E染色スライドをスキャンし、デジタル化して、本明細書に記載の種類のデジタル病理画像を生成した。デジタル病理画像(全スライド画像または「WSI」とも呼ばれる)上の生物学的物体の1つ以上の描写に関連する領域に注釈を付けた。腫瘍細胞、免疫細胞、および他の間質細胞を含む特定の種類の生物学的物体の描写が検出された。例えば、本明細書に開示される主題に従って、それぞれの種類の生物学的物体の各描写の位置座標が生成された。一例では、異なる試験群の有効性を調査しながら、免疫浸潤物、腫瘍資源分布、および細胞-細胞相互作用を調査するために、例えばリンパ球および腫瘍細胞に焦点を当て得る。
【0174】
各画像について、例えば、空間点処理法(例えば、リプリーのK関数の特徴、G関数の特徴、ペア相関関数の特徴、マーク相関関数の特徴、および腫瘍内リンパ球比率)、空間格子処理法(例えば、Morisita-Hornインデックス、Jaccardインデックス、Sorensenインデックス、Moran’sI、Geary’sC、およびGetis-OrdHotspot)、および地球統計処理法(通常のクリギング機構、インジケータクリギング機構)を含む、本明細書で説明した空間統計(例えば、空間分布的メトリック)アルゴリズムに基づいて、検出された生物学的物体の状態および/またはそれらのそれぞれの関連位置に基づいて、多種多様な空間的特徴を導出し得る。
【0175】
さらに、治験の目的、転帰変数、例えば対象の全生存を同定し得る。
【0176】
一般に、本実施例で行われた分析は、各コホートの一部のみを考慮すると、ACPコホートとBCPコホートとの間の全生存の差がより顕著になるかどうかを決定するために行われ、その一部は、コホート内の他の対象と比較してより長い生存を有すると予測される個体として選択される。予測は、例えば、対象から採取されたサンプルのデジタル病理画像について生成された、本明細書に記載の空間的分布メトリックの1つ以上に基づき得る。特定の実施形態では、第1の分析は、ACP対BCPの処置意図集団を全生存と比較することを含んでいた。第2の分析は、モデルベースの予測的濃縮戦略を使用して、導出された空間的特徴と全生存期間(OS)との間の関連を調査することを含んでいた。NSCLC臨床研究を含む治験の予測エンリッチメント(enrichment)は、例えばオッズ比(OR)、相対リスク(RR)、またはハザード比(HR)によって測定された治療に対する平均よりも大きい応答を有する全患者集団Ω0中のレスポンダー亜集団が同定される。この亜集団に焦点を合わせることは、試験の効率または実現可能性を高め、全集団と比較して亜集団の対象の利益-リスク関係を高めるという利点を有する。エンリッチメントの戦略の1つは、非盲検単一群試験とそれに続くランダム化である。この設計では、治験処置は全ての対象に与えられ、予め指定された基準(例えば、試験エンドポイントまたはバイオマーカー)によって識別された応答者はプラセボ対照試験に無作為化される。
【0177】
モデルベースの方法を使用して、例えば、予測エンリッチメントの問題に対処し得る。特に、治験が既に行われている場合には、エンリッチメント(enrichment)モデルを遡及的に開発し得る。エンリッチメントモデルを遡及的に開発するために、データを各群(例えば、本明細書に開示される主題によれば)において60:20:20によって訓練、検証、およびテストセットに分割し得る。処置群に設定された訓練は、例えば、経験的設計における非盲検事前ランダム化段階をシミュレートするために使用し得る。空間統計的特徴を入力するCoxモデルまたは客観的応答モデルは、処置群、例えばACPの訓練セット上のL
1またはL
2正則化に適合させ得る。フィッティングされたCoxモデルからの予測リスクスコアまたは予測応答確率は、応答スコア
として使用し得、応答側基準は、サブセット条件の形式で指定し得る。
(式中、S
qは応答スコアのq分位数を示し、xは特徴ベクトルによって特徴付けられる被験者レベルの共変量を表す。)処置群と対照群とを組み合わせた検証セットは、無作為化前に募集した対象群をシミュレートするために使用し得る。サブセット条件を実施するために、同じqを有するが、それぞれ検証セット内の処置および対照群について分位点を計算し得、上記の式を使用して、それぞれ検証セット内の処置および対象のためにサブセットが取られる。この例における
生存データに対するログランク検定または客観的応答データに対する順列検定のいずれかを使用して、治療と対照との間の最も有意な差に向けてqを評価することによって推定することが可能であり、両方とも検証セットにおける応答者サブグループに対するサブセットである。
また事前特定応答閾値qを使用して推定し得る。
を用いたエンリッチメント条件は
となり、次いで、ハザード比またはオッズ比のときの試験セットと同じ方法で評価し得る。
【0178】
サンプルサイズが限られている実施形態では、ネストされたモンテカルロ交差検証(nMCCV)を使用して、モデル性能を評価し得る。同じエンリッチメント手順は、訓練、検証およびテストセット間で同じ割合でランダムに分割することによってB回繰り返されて、スコア関数および閾値
のアンサンブルを生成し得る。i番目の対象について、アンサンブルされたレスポンダー状態は、iがテストセットに無作為化される繰り返しの中で、iについてのレスポンダー群のメンバーシップを平均し、0.5で閾値化することによって評価し得る。ハザード比またはオッズ比は、95%信頼区間およびp値と共に、集約された試験対象に対して計算し得る。
【0179】
予測分析の全体的なワークフローは、
図12のフローチャートにまとめられている。より具体的には、試験コホート内の各対象にラベルを割り当てるために、入れ子式モンテカルロ交差検証(nMCCV)モデリング戦略を使用して、オーバーフィッティングを克服した。
【0180】
具体的には、各対象について、ブロック1205において、データセットを訓練、検証、および試験データ部分を60:20:20の割合で分割し得る。ブロック1210において、10倍交差検証Ridge-Cox(L2正則化Coxモデル)を、訓練セットを使用して実行して、(同じモデルアーキテクチャを有する)10個のモデルを生成し得る。10個の生成されたモデルにわたる特定のモデルを、10倍の訓練データに基づいて選択し、記憶し得る。ブロック1215において、特定のモデルを検証セットに適用して、指定された変数を調整し得る。例えば、変数は、リスクスコアの閾値を識別し得る。その後、ブロック1220において、閾値および特定のモデルを独立した試験セットに適用して、対象がより長いまたはより短い生存群に層別化されるかどうかを予測する対象に対する票を生成し得る。データ分割、訓練、カットオフ識別、および票生成(ブロック1205~1220)は、N回(例えば、=1000である。)繰り返し得る。その後、ブロック1225において、対象は、表に基づいて、より長い生存群またはより短い生存群の一方に割り当てられる。例えば、ブロック1225における工程は、どの群が表の大部分と関連付けられたかを判定することによって、対象をより長い生存群またはより短い生存群に割り当てることを含み得る。その後、ブロック1230において、より長い/より短い生存群の対象の生存分析を行い得る。目的の結果に基づいて、多種多様なラベルをデータに適用するための同様の手順を、任意の適切な臨床評価または適格性試験に適用し得ることが理解されよう。
【0181】
ACP対BCPの包括解析集団を全生存ハザード比(HR)0.85(95%CI 0.71-1.03)で比較したときの主な所見とは対照的に、提案したアプローチにより、本実施例のHR=0-64(95%CI 0-45-0.91;
図13)、ACPの識別群とBCPコホート間の明確な分離が得られることが示された。全生存ハザード比が1.0であれば、生存がコホート間で統計的に同じであることを示すことに留意されたい。したがって、この記載された例では、第2の分析アプローチ(その間、空間統計および/または空間分布測定基準に基づいて、より長い生存を有すると予測されたコホートの一部についてのみ統計が計算された)を使用して確保されたより低いハザード比は、第2の分析が、処置(ACP処置)が有効であろう対象をより良好に識別し得たことを示唆している。したがって、空間的分布メトリックの使用は、以前のアプローチよりも改善されたことを表す。
【0182】
この例の分析で使用される空間統計および空間的分布メトリックに基づく包括的なモデルは、組織病理画像を空間データとしてモデル化することによって、この場合は腫瘍微小環境の空間的不均一性のシステムレベルの知識を生成する分析パイプラインを強化した。結果は、空間統計に基づく方法により、標準治療と比較して、アテゾリズマブ処置から恩恵を受ける対象を層別化し得ることを示している。この効果は、この例で論じられる特定の処置評価に限定されるものではない。組織病理画像および他のデジタル病理画像を特徴付けるために空間統計を使用することは、治療転帰を予測し、したがって処置の選択を知らせるために臨床現場で有用であり得る。
【0183】
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0184】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0185】
その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の精神および範囲から逸脱することなく、要素の機能および配置に様々な変更を加える得ることが理解される。
【0186】
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態を実施できることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示し得る。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示され得る。
【手続補正書】
【提出日】1992-03-24
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0016
【補正方法】変更
【補正の内容】
【0016】
図4、図4A、図4B、および図4Cは、いくつかの実施形態による、ランドスケープベースの空間点プロセス分析フレームワークを使用して画像を処理するためのプロセスを示す。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】変更
【補正の内容】
【0019】
図7、図7A、図7B、および図7Cは、いくつかの実施形態による格子ベースの空間領域分析フレームワークを使用して画像を処理するためのプロセスを示す。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】変更
【補正の内容】
【0020】
図8、図8A、図8B、および図8Cは、いくつかの実施形態によるモラン指数を使用して画像を処理するためのプロセスを示す。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】変更
【補正の内容】
【0021】
図9、図9A、図9B、および図9Cは、いくつかの実施形態による、ホットスポットベースの空間エリア分析フレームワークを使用して画像を処理するためのプロセスを示す。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】変更
【補正の内容】
【0022】
【
図10】
図10、図10A、および図10Bは、いくつかの実施形態による、地球統計解析フレームワークを使用して画像を処理するためのプロセスを示す。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0119
【補正方法】変更
【補正の内容】
【0119】
図4は、空間パターンおよび分布メトリックを識別する様々な段階を示す。
図4A、図4B、および図4Cは、図4の画像のより大きなバージョンを示す。例えば、
図4は、初期デジタル病理画像、受信画像からの生物学的物体描写の検出結果、検出された生物学的物体描写に基づく画像の点プロセス分析、および受信画像で検出された生物学的物体描写の位置/強度を示す空的分布(ランドマーク評価として示される)を示す。空間的分布はランドマーク評価として示されており、検出された物体はリンパ球および腫瘍細胞である。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0143
【補正方法】変更
【補正の内容】
【0143】
図7は、領域分析フレームワーク230の適用を示す。
図7A、図7B、および図7Cは、図7の画像のより大きなバージョンを示す。特に、領域分析フレームワーク230を使用して、染色されたサンプルの切片のデジタル病理画像405を処理した。空間点プロセス分析フレームワークに関連して上述したように、特定の種類の生物学的物体(例えば、リンパ球および腫瘍細胞)の描写が検出された。領域分析フレームワーク230は、生物学的物体データをさらに生成し、その一例を表410に示す
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0150
【補正方法】変更
【補正の内容】
【0150】
図8(図8の画像のより大きなバージョンを示す対応する図8A~図8C)に示すように、生物学的物体描写が格子(したがって、負の空間自己相関を有する;「共局在シナリオ」820a)にわたって完全に分散されている場合、モランの指数は-1に等しくなるように定義される;生物学的物体描写が密集している場合(したがって、正の自己相関を有する;「分離シナリオ」820b)、1である。モラン指数は、物体の分布がランダムな分布と一致する場合に0と定義される。したがって、特定の種類の生物学的物体描写の領域表示は、各種類の生物学的物体のモラン指数の計算をサポートするグリッドを生成するのが容易になる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0153
【補正方法】変更
【補正の内容】
【0153】
特定の実施形態では、格子データ715aおよび格子データ715bをさらに処理して、第1の種類の生物学的物体の検出された描写に対応するホットスポットデータ915aおよび第2の種類の生物学的物体の検出された描写に対応するホットスポットデータ915bをそれぞれ生成し得る。
図9(図9の画像のより大きなバージョンを示す対応する図9A~図9C)において、ホットスポットデータ915aおよびホットスポットデータ915bは、検出された生物学的物体描写の種類ごとにホットスポットであると判定された領域を示す。ホットスポットとして検出された領域は赤いシンボル、ホットスポットではないと判定された領域は黒いシンボルで示す。ホットスポットデータ915a、915bは、物体数がゼロでないものと関連付けられた各領域に対して定義された。ホットスポットデータ915a、915bはまた、所与の領域がホットスポットであると識別されたか否かを示すバイナリ値を含み得る。ホットスポットデータおよび分析に加えて、コールドスポットデータおよび分析を行い得る。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0158
【補正方法】変更
【補正の内容】
【0158】
図10の例(図10の画像のより大きなバージョンを示す対応する図10Aおよび図10B)では、経験的バリオグラムは、H&E染色画像405(理論的バリオグラムプロットの点として
図10に示す)で検出された生物学的物体写に基づいて生成された。次いで、Matern関数を経験的バリオグラムに当てはめることによって、理論的バリオグラム1015を生成した。
【手続補正11】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【国際調査報告】