特表 2024-500100 デジタル病理学ワークフロー用のスライドの電子画像を処理するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-04

(54)【発明の名称】デジタル病理学ワークフロー用のスライドの電子画像を処理するためのシステム及び方法

(51)【国際特許分類】

   G16H 50/20 20180101AFI20231222BHJP

   G16H 15/00 20180101ALI20231222BHJP

【ＦＩ】

G16H50/20

G16H15/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023536426

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-07-05

(86)【国際出願番号】 US2021063982

(87)【国際公開番号】W WO2022133183

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/127,846

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518307592

【氏名又は名称】ペイジ．エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ゴートン， ダニエル

(72)【発明者】

【氏名】ラシティ， パトリシア

(72)【発明者】

【氏名】スー， ジリアン

(72)【発明者】

【氏名】ユーセフィ， ラジク

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

(57)【要約】

デジタル病理学においてサンプルを分類するために機械学習モデルを使用するコンピュータ実装方法は、それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例を受信することと、機械学習モデルを使用して、症例を閲覧準備完了として識別することと、症例の選択を受信することであって、症例が複数の部分を含む、受信することと、機械学習モデルを使用して、複数の部分が疑わしいか、それとも疑わしくないかを判断することと、複数の部分のうちの１つの部分の選択を受信することと、該１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、機械学習モデルを使用して、複数のスライドのうち、疑わしいスライドの集合体を決定することであって、機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、決定することとを含み得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

デジタル病理学においてサンプルを分類するために少なくとも１つの機械学習モデルを使用するコンピュータ実装方法であって、
それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、
前記機械学習モデルを使用して、前記１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、
前記症例の選択を受信することであって、前記症例が複数の部分を含む、前記受信することと、
前記機械学習モデルを使用して、前記複数の部分が疑わしいか、それとも疑わしくないかを判断することと、
前記複数の部分のうちの１つの部分の選択を受信することと、
前記１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、
前記機械学習モデルを使用して、前記複数のスライドのうち、疑わしいスライドの集合体を決定することであって、前記機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、前記決定することと、
前記疑わしいスライドの集合体に注釈を付けること、及び／または前記疑わしいスライドの集合体に基づいてレポートを生成することと
を含む、前記コンピュータ実装方法。

【請求項2】

症例を閲覧準備完了として識別することが、前記症例内のすべてのスライドが処理され、デジタルストレージデバイスにアップロードされていることを検証することを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記疑わしいスライドの集合体に注釈を付けることが、
疑わしい組織の周りの少なくとも１つの領域の輪郭を描くことと、
前記疑わしい組織の長さ及び／または面積を測定することと、
前記疑わしいスライドの集合体に注釈を出力することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記疑わしいスライドの集合体についての情報を前記レポートに入力することと、
前記レポートをユーザーに出力することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記疑わしいスライドの集合体についての情報が、病巣領域、コンテキスト領域、疑わしい組織の１つまたは複数の測定値、及び／または英数字出力を含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記英数字出力が、前記組織内の１つまたは複数のバイオマーカーの存在のバイナリ表示を含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

疑わしい組織の前記レポート及び／または視覚化が、検出パネル、数値化パネル、及び／または注釈ログを含む、請求項４に記載のコンピュータ実装方法。

【請求項8】

前記注釈ログが、症例レベルで及び部分レベルで検索可能である、請求項７に記載のコンピュータ実装方法。

【請求項9】

前記１つまたは複数の症例のそれぞれに関連付けられた複雑性を決定することと、
前記決定された複雑性に基づいて前記１つまたは複数の症例に優先順位を付けることと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項10】

前記機械学習モデルを使用して、前記複数の部分が疑わしいのか、それとも疑わしくないのかの前記判断に基づいて前記複数の部分を表示のために並べ替えること及び／またはフィルリングすること
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項11】

病理型を決定することと、
前記決定された病理型に基づいて前記レポートを生成することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項12】

前記機械学習モデルを使用して、前記症例に関連付けられた前記デジタル画像に基づいて複数の特徴を決定することと、
前記機械学習モデルを使用して、前記複数の特徴を使用して複数の部分的なレポートを決定することと、
前記複数の部分的なレポートに基づいて前記レポートを決定することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項13】

デジタル病理学においてサンプルを分類するために少なくとも１つの機械学習モデルを使用するためのシステムであって、
命令を格納する少なくとも１つのメモリと、
前記命令を実行して動作を実行するように構成された少なくとも１つのプロセッサと、
を備え、
前記動作は、
それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、
前記機械学習モデルを使用して、前記１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、
前記症例の選択を受信することであって、前記症例が複数の部分を含む、前記受信することと、
前記機械学習モデルを使用して、前記複数の部分が疑わしいか、それとも疑わしくないかを判断することと、
前記複数の部分のうちの１つの部分の選択を受信することと、
前記１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、
前記機械学習モデルを使用して、前記複数のスライドのうち、疑わしいスライドの集合体を決定することであって、前記機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、前記決定することと、
前記疑わしいスライドの集合体に注釈を付けること、及び／または前記疑わしいスライドの集合体に基づいてレポートを生成することと
を含む、前記システム。

【請求項14】

症例を閲覧準備完了として識別することが、前記症例内のすべてのスライドが処理され、デジタルストレージデバイスにアップロードされていることを検証することを含む、請求項１３に記載のシステム。

【請求項15】

前記疑わしいスライドの集合体に注釈を付けることが、
疑わしい組織の周りの少なくとも１つの領域の輪郭を描くことと、
前記疑わしい組織の長さ及び／または面積を測定することと、
前記疑わしいスライドの集合体に注釈を出力することと
をさらに含む、請求項１３に記載のシステム。

【請求項16】

前記動作が、
前記疑わしいスライドの集合体についての情報を前記レポートに入力することと、
前記レポートをユーザーに出力することであって、前記疑わしいスライドの集合体についての情報が、病巣領域、コンテキスト領域、前記疑わしい組織の１つまたは複数の測定値、及び／または英数字出力を含む、前記出力することと
をさらに含む、請求項１３に記載のシステム。

【請求項17】

前記動作が、
前記１つまたは複数の症例のそれぞれに関連付けられた複雑性を決定することと、
前記決定された複雑性に基づいて前記１つまたは複数の症例に優先順位を付けることと
をさらに含む、請求項１３に記載のシステム。

【請求項18】

前記動作が、
前記機械学習モデルを使用して、前記症例に関連付けられた前記デジタル画像に基づいて複数の特徴を決定することと、
前記機械学習モデルを使用して、前記複数の特徴を使用して複数の部分的なレポートを決定することと、
前記複数の部分的なレポートに基づいて前記レポートを決定することと
をさらに含む、請求項１３に記載のシステム。

【請求項19】

プロセッサによる実行時に、少なくとも１つの機械学習モデルを使用してタスク固有の予測を出力する方法を実行する命令を格納する非一時的なコンピュータ可読媒体であって、前記方法が、
それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、
前記機械学習モデルを使用して、前記１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、
前記症例の選択を受信することであって、前記症例が複数の部分を含む、前記受信することと、
前記機械学習モデルを使用して、前記複数の部分が疑わしいか、それとも疑わしくないかを判断することと、
前記複数の部分のうちの１つの部分の選択を受信することと、
前記１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、
前記機械学習モデルを使用して、前記複数のスライドのうち、疑わしいスライドの集合体を決定することであって、前記機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、前記決定することと、
前記疑わしいスライドの集合体に注釈を付けること、及び／または前記疑わしいスライドの集合体に基づいてレポートを生成することと
を含む、前記非一時的なコンピュータ可読媒体。

【請求項20】

前記疑わしいスライドの集合体に注釈を付けることが、
疑わしい組織の周りの少なくとも１つの領域の輪郭を描くことと、
前記疑わしい組織の長さ及び／または面積を測定することと、
前記疑わしいスライドの集合体に注釈を出力することと
をさらに含む、請求項１９に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０２０年１２月１８日に出願された米国仮特許出願第６３／１２７，８４６号の優先権を主張し、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示の様々な実施形態は、概して画像処理方法に関する。より具体的には、本開示の特定の実施形態は、人工知能（ＡＩ）視覚化属性を分類して、独自のＡＩ対応視覚化及びインタラクションのための再利用可能かつスケーラブルなフレームワークを作成し、その結果、診断を下す病理学者にとって役立つＡＩを活用したデジタルワークフローを生じさせるためのシステム及び方法に関する。

【背景技術】

【0003】

病理学的なレビュー及び診断を必要とする場合がある多岐にわたる組織及び外科標本のタイプがある。病理学者が見て、レビューし、診断する必要がある場合がある報告可能な特徴及びインスタンスの例は、膀胱、結腸、肺、皮膚科学、及び胃などの領域内の特徴及び例を含む場合がある。病理学者にとっていくつかの領域（例えば、膀胱、結腸、肺、皮膚科学、及び胃の特徴）の視覚化を提供することが有用な場合がある。

【0004】

本明細書に提供される背景の説明は、本開示の文脈を概して提示することを目的としている。本明細書に別段の指示がない限り、本項で説明される資料は、本出願の特許請求の範囲に対する先行技術ではなく、本項に含めることによって先行技術または先行技術の示唆であるとは認められない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の特定の態様によれば、デジタル病理学ワークフロー用のスライドの電子画像を処理するためのシステム及び方法が開示される。

【0006】

デジタル病理学においてサンプルを分類するために機械学習モデルを使用するコンピュータ実装方法は、それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、機械学習モデルを使用して、１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、症例の選択を受信することであって、症例が複数の部分を含む、受信することと、機械学習モデルを使用して、複数の部分が疑わしいか、それとも疑わしくないかを判断することと、複数の部分のうちの１つの部分の選択を受信することと、該１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、機械学習モデルを使用して、複数のスライドのうち、疑わしいスライドの集合体を決定することであって、機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、決定することと、疑わしいスライドの集合体に注釈を付けること、及び／または疑わしいスライドの集合体に基づいてレポートを生成することとを含み得る。

【0007】

症例を閲覧準備完了として識別することは、症例内のすべてのスライドが処理され、デジタルストレージデバイスにアップロードされていることを検証することを含み得る。本明細書に提示される技術で、疑わしいスライドの集合体に注釈を付けることは、疑わしい組織（または、代わりにもしくは疑わしい組織に加えて疑わしくない組織）の周りの少なくとも１つの領域の輪郭を描くことと、疑わしい組織（または疑わしくない組織）の長さ及び／または面積を測定することと、疑わしいスライドの集合体に注釈を出力することとをさらに含み得る。

【0008】

方法は、疑わしいスライド（及び／または疑わしくないスライド）の集合体についての情報をレポートに入力することと、レポートをユーザーに出力することとをさらに含み得る。疑わしいスライドの集合体についての情報は、病巣領域、コンテキスト領域、疑わしい組織の１つまたは複数の測定値、英数字出力、及び／または病巣領域、コンテキスト領域、及び／または測定値のすべてに基づいて編集されたレポートを含み得る。英数字出力は、組織内の１つまたは複数のバイオマーカーの存在のバイナリ表示を含む場合がある。疑わしい組織のレポート及び／または視覚化は、検出パネル、数値化パネル、及び／または注釈ログを含む場合がある。注釈ログは、症例レベルで、部分レベルで、及び／またはスライドレベルで検索可能であってよい。

【0009】

方法は、１つまたは複数の症例のそれぞれに関連付けられた複雑性を決定することと、決定された複雑性に基づいて１つまたは複数の症例に優先順位を付けることとをさらに含み得る。方法は、機械学習モデルを使用して、複数の部分が疑わしいのか、それとも疑わしくないのかの判断に基づいて複数の部分を表示のために並べ替えること及び／またはフィルタリングすることをさらに含み得る。方法は、病理型を決定することと、決定された病理型に基づいてレポートを生成することとをさらに含み得る。

【0010】

方法は、機械学習モデルを使用して、症例に関連付けられたデジタル画像に基づいて複数の特徴を決定することと、機械学習モデルを使用して、複数の特徴を使用して複数の部分的なレポートを決定することと、複数の部分的なレポートに基づいてレポートを決定することとをさらに含み得る。

【0011】

デジタル病理学においてサンプルを分類するために機械学習モデルを使用するためのシステムは、命令を格納する少なくとも１つのメモリと、命令を実行して動作を実行するように構成された少なくとも１つのプロセッサとを含み得る。動作は、それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、機械学習モデルを使用して、１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、症例の選択を受信することであって、症例が複数の部分を含む、受信することと、機械学習モデルを使用して、複数の部分が疑わしいか、それとも疑わしくないかを判断することと、複数の部分のうちの１つの部分の選択を受信することと、該１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、機械学習モデルを使用して、複数のスライドのうち、疑わしいスライドの集合体を決定することであって、機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、決定することと、疑わしいスライドの集合体に注釈を付けること、及び／または疑わしいスライドの集合体に基づいてレポートを生成することとを含み得る。

【0012】

症例を閲覧準備完了として識別することは、症例内のすべてのスライドが処理され、デジタルストレージデバイスにアップロードされていることを検証することを含み得る。疑わしいスライドの集合体に注釈を付けることは、疑わしい組織の周りの少なくとも１つの領域の輪郭を描くことと、疑わしい組織の長さ及び／または面積を測定することと、疑わしい組織の集合体に注釈を出力することをさらに含み得る。動作は、疑わしいスライドの集合体についての情報をレポートに入力することと、レポートをユーザーに出力することとをさらに含み得る。疑わしいスライドの集合体についての情報は、病巣領域、コンテキスト領域、疑わしい組織の１つまたは複数の測定値、及び／または英数字出力を含み得る。

【0013】

動作は、１つまたは複数の症例のそれぞれに関連付けられた複雑性を決定することと、決定された複雑性に基づいて１つまたは複数の症例に優先順位を付けることとをさらに含み得る。動作は、機械学習モデルを使用して、症例に関連付けられたデジタル画像に基づいて複数の特徴を決定することと、機械学習モデルを使用して、複数の特徴を使用して複数の部分的なレポートを決定することと、複数の部分的なレポートに基づいてレポートを決定することとをさらに含み得る。

【0014】

非一時的なコンピュータ可読媒体は、プロセッサによる実行時に、機械学習モデルを使用してタスク固有の予測を出力する方法を実行する命令を格納し得る。方法は、それぞれが病理標本のデジタル画像に関連付けられた１つまたは複数の症例をデジタルストレージデバイスで受信することと、機械学習モデルを使用して、１つまたは複数の症例のうちの１つの症例を閲覧準備完了として識別することと、症例の選択を受信することであって、症例が複数の部分を含む、受信することと、機械学習モデルを使用して、複数の部分が疑わしいか、それとも疑わしくないかを判断することと、複数の部分のうちの１つの部分の選択を受信することと、該１つの部分に関連付けられた複数のスライドが疑わしいか、それとも疑わしくないかを判断することと、機械学習モデルを使用して、複数のスライドのうち、疑わしいスライドの集合体を決定することであって、機械学習モデルが複数のトレーニング画像を処理することによって訓練されている、決定することと、疑わしいスライドの集合体に注釈を付けること、及び／または疑わしいスライドの集合体に基づいてレポートを生成することとを含み得る。

【0015】

疑わしいスライドの集合体に注釈を付けることは、疑わしい組織の周りの少なくとも１つの領域の輪郭を描くことと、疑わしい組織の長さ及び／または面積を測定することと、疑わしい組織の集合体に注釈を出力することをさらに含み得る。

【0016】

上述の説明と以下の詳細な説明はともに、例示で単に説明をしているものであり、開示の実施形態を限定するものではないという旨を理解すべきである。

【0017】

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、様々な例示的な実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。

【図面の簡単な説明】

【0018】

【図1A】本開示の例示的な実施形態による、人工知能（ＡＩ）視覚化属性を分類して、ＡＩを活用したデジタルワークフローのフレームワークを作成するためのシステム及びネットワークの例示的なブロック図を示す。

【図1B】本開示の例示的な実施形態による、疾患検出プラットフォームの例示的なブロック図を示す。

【図1C】本開示の例示的な実施形態による、スライド分析ツールの例示的なブロック図を示す。

【図2】本開示の例示的な実施形態による、例示的なＡＩユーザー臨床ワークフローを示す。

【図3】本開示の例示的な実施形態による、スライドレベル視覚化の例示的な図を示す。

【図4A】本開示の例示的な実施形態による、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【図4B】本開示の例示的な実施形態による、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【図4C】本開示の例示的な実施形態による、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【図4D】本開示の例示的な実施形態による、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【図4E】本開示の例示的な実施形態による、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【図5】本開示の例示的な実施形態による、ＡＩ対応視覚化のための全体的なフレームワークの例示的な図を示す。

【図6A】本開示の例示的な実施形態による、異なる組織型の共通の視覚化及びインタラクションがどのように適用され得るのかの例示的な図を示す。

【図6B】本開示の例示的な実施形態による、異なる組織型の共通の視覚化及びインタラクションがどのように適用され得るのかの例示的な図を示す。

【図6C】本開示の例示的な実施形態による、異なる組織型の共通の視覚化及びインタラクションがどのように適用され得るのかの例示的な図を示す。

【図6D】本開示の例示的な実施形態による、異なる組織型の共通の視覚化及びインタラクションがどのように適用され得るのかの例示的な図を示す。

【図7】本開示の例示的な実施形態による、報告可能な特徴の例示的な図を示す。

【図8】本明細書に提示される技術を実行し得る例示的なシステムを示す。

【発明を実施するための形態】

【0019】

これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を示すために、同じ参照番号が使用される。

【0020】

本明細書に開示されるシステム、デバイス、及び方法は、例として、図を参照してより詳細に説明される。本明細書に説明される例は例にすぎず、本明細書に説明される装置、デバイス、システム、及び方法の説明を助けるために提供される。図面に図示されるか、または以下に説明される特徴またはコンポーネントのいずれも、特に必須として指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の特定の実装に対して必須と解釈されるべきではない。

【0021】

また、説明されるあらゆる方法について、方法が流れ図と関連して説明されるかどうかに関わりなく、別段の指定がない限り、またはコンテキストによって要求されない限り、方法の実行で実行されるステップのいかなる明示的または暗黙的な順序付けも、それらのステップが提示される順序で実行されなければならないことを暗示するのではなく、代わりに異なる順序でまたは並行して実行され得ることを理解されたい。

【0022】

本明細書で使用される場合、用語「例示的な」は、「理想的」よりむしろ「例」の意味で使用される。さらに、本明細書における用語「ａ」及び「ａｎ」は、量の制限を意味するのではなく、むしろ言及された項目のうちの１つ以上が存在していることを意味する。

【0023】

図１Ａは、本開示の例示的な実施形態による、人工知能（ＡＩ）視覚化属性を分類して、ＡＩを活用したデジタルワークフローのフレームワークを作成するためのシステム及びネットワークの例示的なブロック図を示す。

【0024】

具体的には、図１Ａは、病院、研究室、及び／または診療所などでサーバに接続され得る電子ネットワーク１２０を示す。例えば、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５などはそれぞれ、１つまたは複数のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク１２０に接続され得る。本出願の例示的な実施形態によれば、電子ネットワーク１２０はまた、疾患検出プラットフォーム１００を実装するように構成された処理装置を含み得るサーバシステム１１０に接続され得、疾患検出プラットフォーム１００は、本開示の例示的な実施形態にしたがって、標本プロパティ、またはデジタル病理学画像（複数可）に関する画像プロパティの情報を決定し、機械学習を使用して、疾患または感染性因子が存在するかどうかを判断するためのスライド分析ツール１０１を含む。スライド分析ツール１０１は、液体ベースの腫瘍製剤中の「適切性」の迅速な評価を可能にし得、液体ベースの腫瘍製剤（細胞学、血液学／血液病理学）の診断を容易にし、液体ベースの製剤によって検出された様々な腫瘍で検出される可能性が高い分子所見を予測し得る。

【0025】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５は、１つまたは複数の患者の細胞学標本（複数可）、病理組織標本（複数可）、細胞学標本（複数可）のスライド（複数可）の画像、病理組織標本（複数可）のスライド（複数可）のデジタル化画像、またはそれらの任意の組み合わせを作成し得るか、またはそれ以外の場合取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５はまた、年齢、病歴、がん治療歴、家族歴、過去の生研情報または細胞学情報などの患者固有の情報の任意の組み合わせを取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５は、デジタル化されたスライド画像及び／または患者固有情報を、電子ネットワーク１２０を介してサーバシステム１１０に送信し得る。サーバシステム（複数可）１１０は、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５の少なくとも１つから受信された画像及びデータを格納するための１つまたは複数のストレージデバイス１０９を含み得る。サーバシステム１１０はまた、ストレージデバイス１０９に格納された画像及びデータを処理するための処理装置を含み得る。サーバシステム１１０は、１つまたは複数の機械学習ツール（複数可）または機械学習機能をさらに含み得る。例えば、処理装置は、一実施形態による、疾患検出プラットフォーム１００用の機械学習ツールを含み得る。代わりにまたはさらに、本開示（または本開示のシステム及び方法の部分）は、ローカル処理装置（例えば、ラップトップ）で実行され得る。

【0026】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５は、スライドの画像をレビューするために病理学者が使用するシステムを指す。病院の環境では、組織型情報は、研究室情報システム１２５に格納され得る。

【0027】

図１Ｂは、機械学習を使用して、標本特性またはデジタル病理学画像（複数可）に関する画像特性情報を決定するための疾患検出プラットフォーム１００の例示的なブロック図を示す。疾患検出プラットフォーム１００は、スライド分析ツール１０１、データ取り込みツール１０２、スライド取り込みツール１０３、スライドスキャナ１０４、スライドマネージャ１０５、ストレージ１０６、研究室情報システム（例えば、研究室情報システム１２５）、及び閲覧アプリケーションツール１０８を含み得る。

【0028】

スライド分析ツール１０１は、以下に説明されるように、デジタル病理学画像（複数可）に関するデータ変数特性または健康変数特性の情報を決定するためのプロセス及びシステムを指す。機械学習は、例示的な実施形態によれば画像を分類するために使用され得る。スライド分析ツール１０１はまた、以下の実施形態に説明されるように将来の関係を予測し得る。

【0029】

データ取り込みツール１０２は、例示的な実施形態によれば、デジタル病理学画像を分類及び処理するために使用される様々なツール、モジュール、コンポーネント、及びデバイスへのデジタル病理学画像の転送を容易にし得る。

【0030】

スライド取り込みツール１０３は、例示的な実施形態によれば、病理学画像を走査し、病理学画像をデジタル形式に変換し得る。スライドは、スライドスキャナ１０４で走査され得、スライドマネージャ１０５は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像をストレージ１０６に格納し得る。

【0031】

閲覧アプリケーションツール１０８は、例示的な実施形態によれば、標本特性またはデジタル病理学画像（複数可）に関する画像特性の情報をユーザーに提供し得る。情報は、様々な出力インターフェース（例えば、画面、モニタ、ストレージデバイス、及び／またはウェブブラウザなど）を介して提供され得る。

【0032】

スライド分析ツール１０１、及びそのコンポーネントの１つまたは複数は、デジタル化されたスライド画像及び／または患者情報を、ネットワーク１２０を介して、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５に送信及び／または受信し得る。さらに、サーバシステム１１０は、スライド分析ツール１０１、データ取り込みツール１０２、スライド取り込みツール１０３、スライドスキャナ１０４、スライドマネージャ１０５、及び閲覧アプリケーションツール１０８の少なくとも１つから受信された画像及びデータを格納するためのストレージデバイスを含み得る。サーバシステム１１０はまた、ストレージデバイスに格納された画像及びデータを処理するための処理装置を含み得る。サーバシステム１１０は、例えば処理装置のために、１つまたは複数の機械学習ツール（複数可）または機械学習機能をさらに含み得る。代わりにまたはさらに、本開示（または本開示のシステム及び方法の部分）は、ローカル処理装置（例えば、ラップトップ）で実行され得る。

【0033】

上記のデバイス、ツール、及びモジュールのいずれも、１つまたは複数のコンポーネント、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットまたはクラウドサービスプロバイダなどの電子ネットワークに接続され得るデバイス上に配置され得る。

【0034】

図１Ｃは、本開示の例示的な実施形態による、スライド分析ツール１０１の例示的なブロック図を示す。スライド分析ツール１０１は、トレーニング画像プラットフォーム１３１及び／または標的画像プラットフォーム１３５を含み得る。

【0035】

一実施形態によれば、トレーニング画像プラットフォーム１３１は、トレーニング画像取り込みモジュール１３２、データ分析モジュール１３３、及び組織識別モジュール１３４を含み得る。

【0036】

トレーニングデータプラットフォーム１３１は、一実施形態によれば、デジタル病理学画像を効果的に分析及び分類するように、機械学習モデルをトレーニングするために使用されるトレーニング画像を作成または受信し得る。例えば、トレーニング画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５のいずれか１つまたは任意の組み合わせから受信され得る。トレーニングのために使用される画像は、実際のソース（例えば、人間、動物など）から取得される場合もあれば、合成ソース（例えば、グラフィックレンダリングエンジン、３Ｄモデルなど）から取得される場合もある。デジタル病理学画像の例は、（ａ）Ｈ＆Ｅ、ヘマトキシリン単独、ＩＨＣ、分子病理学など（であるが、これらに限定されない）の様々な染色剤で染色されたデジタル化スライド、及び／または（ｂ）ｍｉｃｒｏＣＴなどの３Ｄ撮像装置からのデジタル化組織サンプルを含み得る。

【0037】

トレーニング画像取り込みモジュール１３２は、１つまたは複数の標本組織に対応する１つまたは複数のトレーニングデータセットを含むデータセットを作成または受信し得る。例えば、トレーニングデータセットは、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５のいずれか１つまたは任意の組み合わせから受信され得る。このデータセットは、デジタルストレージデバイスに保存され得る。データ分析モジュール１３３は、個々の細胞のセットが、関心のある細胞に属するのか、それともデジタル化画像の背景に属するのかを識別し得る。組織識別モジュール１３４は、デジタル化画像を分析し、細胞学サンプル内の個々のセルがさらなる分析を必要とするかどうかを判断し得る。個々のセルがさらなる分析を必要とするかどうかを識別し、これらの領域を統合することは有用であり、そのようなものの識別により、ユーザーへのアラートがトリガされ得る。

【0038】

一実施形態によれば、標的画像プラットフォーム１３５は、標的画像取り込みモジュール１３６、標本検出モジュール１３７、及び出力インターフェース１３８を含み得る。標的画像プラットフォーム１３５は、標的画像を受信し、受信した標的画像に機械学習モデルを適用して、標的データセットの特徴を決定し得る。例えば、標的データは、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または研究室情報システム１２５のいずれか１つまたは任意の組み合わせから受信され得る。標的画像取り込みモジュール１３６は、標的組織標本に対応する標的データセットを受信し得る。標本検出モジュール１３７は、機械学習モデルを標的データセットに適用して、組織標本の特徴を決定し得る。例えば、標本検出モジュール１３７は、組織標本内の疑わしい（及び／または疑わしくない）組織領域を検出し得る。標本検出モジュール１３７は、様々な特徴の存在及び／または不在を識別するように訓練されている人工知能（ＡＩ）システムを使用し得る。ＡＩシステムは、識別された特徴または特徴のインスタンスに関連するすべての領域を強調表示するマップ（例えば、組織マップ）を出力し得る。米国出願第１７／３１３，６１７号は、その全体が参照により本明細書に組み込まれる。標本検出モジュール１３７は、サイズ、形状、場所、他の識別された特徴への近接性、疾患の種類、色、染色剤の種類、バイオマーカーの種類、遺伝子シグナチャー、タンパク質の種類、血液マーカー、組織型、組織の質感、石灰化の存在またはレベル、炎症の存在またはレベルなどの特定の特徴に基づいて、識別された特徴が疑わしいか、それとも疑わしくないかを判断し得る。

【0039】

標本検出モジュール１３７はまた、機械学習モデルを標的データセットに適用して、標的組織標本の品質スコアを決定し得る。さらに、標本検出モジュール１３７は、機械学習モデルを標的画像に適用して、標的要素が組織標本内に存在するかどうかを判断し得る。

【0040】

出力インターフェース１３８は、標的組織見本及び関心のある組織領域についての情報を（例えば、画面、モニタ、ストレージデバイス、ウェブブラウザなどへ）出力するために使用され得る。

【0041】

以下に説明される例示的な実施形態の１つまたは複数は、ＡＩ視覚化タイプのセット及びインタラクションタイプのセットを提供し得る。１つまたは複数の例示的な実施形態は、組織型別に並べ替えられ、視覚化タイプ、及びＣｏｌｌｅｇｅ ｏｆ Ａｍｅｒｉｃａｎ Ｐａｔｈｏｌｏｇｉｓｔｓ（ＣＡＰ）の概要から抽出された報告可能な特徴に対しておそらく必要とされる任意のインタラクションタイプを提供し得る。１つまたは複数の例示的な実施形態は、臨床使用症例を取り込み得るが、１つまたは複数の定義された出力を利用し得るバイオマーカー製品にも適用し得る。

【0042】

部分レベル及び症例レベルの集合は、病理学者のワークフローを見るときの検討事項になる場合がある。病理学者は、部分レベル集合を使用して、部分レベルでの組織標本を報告及び診断し得る。ただし、病理学レポートはスライドレベルの観察を含まない場合がある。いくつかの場合、報告フィールドはスライドレベルでは表示されない場合がある。いくつかの報告フィールドは、例えば、非浸潤性乳管癌（ＤＣＩＳ）のある部分のスライド数など、部分レベルでのみ表示される場合がある。

【0043】

以下の定義は説明のみであり、限定的になることを意図していない。全スライド画像（ＷＳＩ）は、染色されたまたは未染色の組織の１つまたは複数の画像を指す場合がある。報告可能な特徴は、疑わしい組織の分類されたまたは標識が付けられた領域または病巣、及び診断に使用される組織の任意の観察を指す場合がある。特徴インスタンスは、その報告可能な特徴にとって固有である場合がある診断及び解剖学的特徴によって定義された報告可能な特徴の引用である場合がある。視覚化タイプは、特徴インスタンスの表示カテゴリを指す場合がある。インタラクションタイプは、ユーザーが２つ以上の特徴インスタンス間を移動し得る方法を指す場合がある。インスタンス定義は、インスタンス表示に含むために必要な場合がある１つまたは複数の解剖学的特徴を指す場合がある。ＡＩシステムまたはＡＩモジュールは、ＡＩ、機械学習技術、及び／または機械学習アルゴリズムを実装する１つまたは複数のモジュールを指す場合があり、単一のモジュール、デバイス、システム、プラットフォームなどに必ずしも限定されない場合がある。本明細書に開示される態様は、ＡＩまたは機械学習のシステム、モジュール、プラットフォーム、及び／または画像分析及び／またはプロセスシステムの任意のタイプまたは構成で使用され得る。様々な出力が統合され得る。機械学習モデルは、（例えば、パターンを認識するために）機械学習技術を実装するモデルまたはプロセスを指す場合があり、１つのモデルに限定されない場合がある。本明細書に開示される態様は、結合され得る複数の機械学習モデルを使用し得る、及び／または後に結合及び／または統合され得る個々の出力を生じさせ得る。

【0044】

図２は、例示的な実施形態による臨床設定における例示的なＡＩユーザーワークフロー２００を示す。例示的なワークフローは、症例トリアージ及び／または優先順位付けが行われ得る（臨床ユーザーワークフロー説明）ステップ２０２で始まり得る。ユーザーは、症例が閲覧準備完了になったとき、つまり症例に関連付けられたすべてのスライドが処理及び／またはシステムにアップロードされたとき、注意を喚起されることを希望する場合がある。ユーザーは、さらに、例えば複雑性に基づいてどの症例を優先すべきか、及び／またはどの症例によって、分子試験に送る、または再切断するなど追加の指示を必要とする場合があるのかを知ることを希望する場合がある。

【0045】

複雑性は、診断によって決定される場合がある（例えば、ＡＩシステムは、比較的に低い信頼度でスライドをグリソン３＋４＝７と分類する場合もあれば、グリソンパターン３のパーセンテージ可能性が４９．９％であると判断する場合があり、グリソンパターン４のパーセンテージは５０．１％であり、境界例を示す場合がある）、及び／または診断を決定するためのＨ＆Ｅスライドを超えた追加の試験の必要性によって決定される場合がある（例えば、症状が浸潤性であると考えられ、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）、ヒト硬膜外成長因子受容体１（ＨＥＲ２）のようなレビューのための追加の染色画像を必要とする場合）。

【0046】

複雑性は、ＡＩ出力と既知のワークフローの組み合わせ、及び病理学によって必要とされる試験ステップに基づいて決定され得る。複雑な症例は、当日早く優先される場合がある、及び／またはより経験豊かな病理学者に振り分けられる場合がある。

【0047】

ステップ２０４で、ワークフローは、例えばユーザーからの症例の選択を含む場合がある。

【0048】

ステップ２０６で、ワークフローは、トリアージ及び／または症例の概要を含み得る。ステップ２０２と同様に、ユーザーは、症例またはトリアージの情報の簡略な概要を見ることを希望する場合がある。２０２のこの概要ステップの間及び／または前に、識別された特徴及び任意の他のメタデータ（例えば、ユーザーが生成した注釈）は、要約され得る。

【0049】

ステップ２０８で、ワークフローは、一部分の選択を含み得る。選択には、その部分が疑わしく見えるのか、疑わしくなく見えるのか、または「その他」を知らせ得るインジケータが付いている場合があり、「その他」は、事前にプログラムされた質または未知の変数を示す場合がある。

【0050】

ステップ２１０で、ワークフローは、トリアージ及び／または部分概要のステップを含み得る。この概要は、部分インデックスを含み得る。ユーザーは、部分の中に何があるのかの概要を見ることを希望する場合があるが、スライドを見る必要はない場合がある。部分レベルに集中することによって、ユーザーは、病巣の重要な領域及び／または重要な領域の画像／視覚化を見ることができる場合がある。

【0051】

ステップ２１２で、ワークフローは、スライドを選択することを含み得る。その部分が疑わしく見えるのか、疑わしくなく見えるのか、それとも「その他」を知らせ得る付随するインジケータが利用可能であってよく、「その他」は、事前にプログラムされた特性または未知の変数を示す場合がある。

【0052】

ステップ２１４で、ワークフローは、部分レベルで診断することを含み得る。診断は、診断とともに部分インデックスを含む場合がある。ＡＩは、部分インデックスを作成するための病理標本の部分を統合し得る。ユーザーは、部分レベルでのレポートを作成する必要があるので、統合された部分レベルインデックスは、レポートを生成するためのユーザーのプロセスを合理化し得る。

【0053】

ステップ２１６で、ワークフローは症例サインアウトで終了し得る。

【0054】

症例ワークフローの実行中、ＡＩはさらに、調べられたスライド及び結果の診断についてレポートを生成し得る。ステップ２１８で、ワークフローは、部分レベル診断の結果に基づいて視覚化及び／または数値化パネルを表示することを含み得る。

【0055】

ステップ２２０で、視覚化及び／または数値化パネルは、編集され得る、及び／またはレポートに追加され得る。

【0056】

ステップ２２２で、ワークフローはユーザーにレポートを送信し得る。すべての報告は、部分レベルで起こる場合がある。報告可能な特徴は、組織型ごとに、及び組織型内での生検と切除との間で変わる場合がある。組織の型及び処置によって、どのスライドレベルのデータを部分レベルのレポートに送信し得るのかが決定される場合がある。報告のためには、スライド全体で変化するデータを平均することによって部分全体で統合することが必要である場合がある。さらに、特徴の存在または不在が報告され得る。スライドレベルで存在しない報告のいくつかの特徴がある場合がある。例えば、乳房組織検査では、病理学者は、部分のスライドの何枚にＤＣＩＳがあるのかを報告する場合がある。関連するスクリーンショット及び／または識別された領域など、ＡＩワークフローの注釈または出力は、レポートに追加され得る。

【0057】

さらに、ステップ２２４で、レポートは、研究室情報システム（ＬＩＳ）レポートを、ＰＤＦなどのエクスポート可能なフォーマットで入力するために使用され得る。

【0058】

表１は、スライドレベルの視覚化フレームワークの例を示す。スライドの病巣は、スライド自体の上の矩形のインジケータオーバレイを使用して説明され得、コンテキスト領域は、組織マップ、またはそれ以外の場合輪郭領域を使用して説明される。病巣内の解剖学的要素は、病巣領域に関連付けられた座標及びサイズ及び／またはズームレベルのセットだけではなく、表示の有効性に役立つ場合がある。メタデータは、スライドレベルの視覚化に付随する場合があり、病巣領域の名前（例えば、「石灰化」）、測定基準及び／またはテキスト出力、及び病巣領域のサイズを含む場合がある。

【0059】

インスタンスの数はいくつかの視覚化タイプにとって重要である場合があるので、コンテキスト領域は、スライド全体のいずれかまたはすべてのインスタンスを統合し得る。潜在的な付随メタデータは、コンテキスト領域の名前（「乳房サブタイプ」など）、ならびにサブタイプの名前、コンテキスト領域のサイズ及び／または測定値、コンテキスト領域に関連付けられたグレード、コンテキスト領域のアーキテクチャなどを含み得る測定基準及び／またはテキストの出力を含む場合がある。

【0060】

組織標本の測定値は、明確に標識が付けられたエンドポイントを有する線として視覚化に示され得る。測定値には、名前（例えば「前立腺」または「腫瘍長さ」など）ならびに測定基準及び／またはテキスト出力（線の数値測定値など）が付随する場合がある。

【0061】

また、テキストまたは数値出力をスライドレベル視覚化に含み得、視覚化に直接的に表示し得る。テキストまたは数値出力は、組織標本またはレビュー中にユーザーによって追加された独立した注釈に関連付けられた、名前または他の測定基準及び／またはテキスト出力などのメタデータを含み得る。メタデータは、例えば、検出されたバイオマーカーを含み得る。

【0062】

視覚化の編集されたレポートは、スライドレベル視覚化に含まれ得、外部ベンダーによってフォーマットされる場合がある。編集されたレポートは、ＷＳＩまたは特定の関心領域に関連付けられる場合がある。例えばＰＤＦレポートなどのレポートは、他の関連する情報の中でも、スライドＩＤ及びスライドの全体スコアを含み得る。

【表1】

【0063】

図３は、ＡＩ対応視覚化の全体的なフレームワークの例示的な図を示す。スライドレベル視覚化３００は、症例概要３０２、部分インデックス３０４、検出パネル３０６、数値化パネル３０８、１つまたは複数のエクスポート可能レポート３１０を含み得る。さらに、フレームワークは、ともにレポートイネーブラを形成し得る注釈ログ３１２及びレポートビルダ３１６を含み得る。

【0064】

症例概要３０２では、フレームワークは、ユーザーがスライドをレビューし始める前に、ユーザーが利用可能なＡＩ主導型の症例概要及びトリアージ情報を含み得る。症例の概要は、例えば、取得識別番号または他の種類の識別子、ステータス（例えば、準備完了、レビュー済み、準備完了していない）、アクセス日、患者名、医療記録番号またはＭＲＮ、組織の型（例えば、乳房、真皮（ｄｅｒｍｉｓ）もしくは皮膚（ｄｅｒｍ）、胃腸もしくは消化管、または前立腺）、標本タイプ（例えば、生検）、及びスライドの数を含み得る。症例概要の別の部分は、視覚化、スナップショット、またはスライドの「スライドトレイ」を含み得、「スライドトレイ」は、識別子（例えば、「右乳房」）、染色剤の種類（例えば、Ｈ＆Ｅ）、及び他の情報を含み得る。

【0065】

部分インデックス３０４は、ユーザーがスライドをレビューし始める前に、ユーザーが利用可能なＡＩ主導型の部分概要及びトリアージ情報を含み得る。

【0066】

検出パネル３０６は、疑わしいまたは疑わしくないとしての組織の２項分類を可能にし得るテンプレート化されたパネルであってよい。

【0067】

数値化パネル３０８は、組織特徴及び／または他の報告可能な特徴の数値化、並べ替え、及び／またはフィルタリングを含み得る。数値化、並べ替え、及び／またはフィルタリングは、疑わしい及び疑わしくないの判断、及び／または他の判断に基づき得る。数値化の例として、前立腺の症例では、腫瘍の量は、パーセンテージとして、及び／または例えばミリメートル（ｍｍ）単位の距離もしくは面積の測定基準として数値化され得る。特徴の個別のインスタンス（例えば、神経周囲の浸潤）はまた、インスタンスを検出するＡＩシステムに基づいて重症度の確率または可能性に従って並べ替えられ得る、及び／またはフィルタリングされ得る。例えば、フィルタリング中、低い（例えば、閾値よりも低い）重症度の確率を有する個別のインスタンスは、並べ替えられた、及び／またはフィルタリングされた特徴が出力される前に削除され得る。数値化パネル３０８は、１つのパネルとして検出パネル３０６と接合され得る。

【0068】

１つまたは複数のエクスポート可能なレポート３１０は、数値化パネル３０８及び検出パネル３０６から出力され得る。エクスポート可能なレポート３１０は、ＰＤＦの形式であってよい。

【0069】

注釈ログ３１２は、組織標本に関連付けられたすべてのユーザー生成メモの活動ログを含み得る。注釈ログ３１２は、症例レベルと部分レベルの両方で検索可能であってよく、各注釈またはユーザー生成メモは、タイムスタンプ、ユーザーの名前及び役割、サムネイル画像、及び／または１つまたは複数の追加のユーザーコメントを含み得る。

【0070】

注釈ログ３１２は、レポートイネーブラ３１４を作成するためにレポートビルダ３１６と結合され得る。レポートビルダ３１６は、事前に入力され得るのでＡＩコンポーネントと用いると価値がある場合がある。さらに、レポートビルダ３１６は編集可能である場合があり、注釈ログ３１２から情報及び注釈を引き出し得る。

【0071】

レポートイネーブラ３１４は、ユーザー生成注釈及びＡＩ事前入力レポートの部分レベル集合を含み得る。部分レベル集合及び／またはＡＩ事前入力レポートは、臨床システムと統合され、患者の医療記録に記録され得る。病理学者は、部分レベル集合及び／またはＡＩ事前入力レポートをレビューし、オン・キャンバス（ｏｎ－ｃａｎｖａｓ）の視覚化に編集または注釈を加え得る。報告可能な特徴カテゴリは要約報告フィールドに関連付けられ得るので、病理学者がこれらの編集または注釈を行うと、ＡＩ事前入力レポートは、編集に基づいて自動的に更新され得る。さらに、病理学者がこれらの編集または注釈を行うと、編集された特徴に関連する他の特徴（例えば、子供の特徴）は、編集に基づいて自動的に更新または調整され得る。

【0072】

病理学的なレビュー及び診断を必要とする場合がある多岐にわたる組織及び外科標本のタイプがある。図４Ａ～図４Ｅは、病理学者が見て、レビューし、診断する必要がある場合がある様々な報告可能な特徴及び例の例示的なレポートを示す。

【0073】

図４Ａは、膀胱組織標本の例示的なレポートを示す。例えば、組織標本が良性であるのか、ｉｎ ｓｉｔｕであるのか、浸潤性であるのかなどを含む、分類、浸潤の有無、及びサブタイプなどの少なくとも１つの第１の特徴が報告される。腫瘍悪性度、固有筋層の二値指標、及び／または浸潤の深さなどの１つまたは複数の第２の特徴もレポートに含まれてよい。ユーザーメモはまた、例示的なレポートに含まれてよい。

【0074】

同様に、図４Ｂは、第１の特徴及び第２の特徴を報告する、結腸組織標本の例示的なレポートを示す。第１の特徴は、がんの検出、肉芽腫と急性炎症の特定、及び非がん性サブタイプを含む場合がある。非がん性サブタイプは、正常、ポリープ、または炎症性としてさらに報告される場合があり、サブタイプポリープなどの追加情報もレポートに含め得る。第２の特徴は、Ｈ＆ＥのＭＭＲステータスの予測を含む場合がある。

【0075】

図４Ｃ、図４Ｄ、及び図４Ｅは、それぞれ肺組織、皮膚組織、及び胃組織の例示的なレポートを示す。例示的なレポートは、組織標本及び組織の分類またはサブタイプに応じて、報告された様々な第１の特徴及び第２の特徴を含み得る。

【0076】

図５は、ＡＩ対応視覚化の全体的なフレームワークの例示的な図を示す。全体的なフレームワークは、２つの異なる区分、いくつかのスライドレベル所見、及び全体的な症例レポートを作成するためのＡＩシステムによる所見の集合を含み得る。

【0077】

症例レポート５００は、当面の特定の症例におけるｎ個の部分を含む場合がある。各部分は、独自の対応する部分レポート５０２を有し得る。部分レポートは、スライドレベルの所見を含み得、関連付けられたメタデータを有するいくつかの報告可能な特徴５０４を含み得る。病理学者のレビューを最適化し得る報告可能な特徴間の関係がある場合、それらは視覚化に表示するために注記され得る。報告可能な特徴は、付随するメタデータを有する１つまたは複数の特徴インスタンス５０６を含み得る。各特徴インスタンスは、視覚化タイプ５０８及び／またはインタラクションタイプ５１０を含み得る。

【0078】

特徴インスタンス５０６は、組織によって別の報告可能な特徴に接続されていない報告可能な特徴５０４のインスタンスであってよい。報告可能な特徴５０４ごとのインスタンスは、診断及び解剖学によって定義され得る。スライド内の特徴インスタンス５０６は、いくつかの形式で統合され得る。ユーザーは、１つの場所で報告可能な特徴５０４のいくつかのまたはすべてのインスタンス（例えば、組織マップとしての全腫瘍及び浸潤性乳管癌（ＩＤＣ）、またはギャラリービューでのＤＣＩＳのすべての病巣）を閲覧し得る。特徴インスタンス５０６がメタデータに関連付けられている場合、メタデータは、報告可能な特徴のメタデータを作成するために統合され得る（例えば、５ｍｍのパターン３及び５ｍｍのパターン４は、全腫瘍線形範囲（１０ｍｍ）について統合される）。

【0079】

表２は、特徴インスタンス５０６及びインスタンス集合などの特徴インスタンスに関する関連情報をさらに示す。特徴インスタンス内で、ユーザーは、インスタンスを通して「組織ホップ」し得るか、またはスライド上のインスタンス間でジャンプし得る。スライドのコンテキストで分離されたインスタンスとして閲覧されるインスタンスは、高出力設定で閲覧され得る。対応する視覚化は、（複数の要素がインスタンスを含むために必要である場合）２つ以上の病巣領域、及び周囲のコンテキスト領域である場合がある。例は、複数の特徴インスタンスが閲覧するために必要とされる場合がある組織上の疾患の浸潤である場合がある。ユーザーはまた、ギャラリービューを使用して特徴インスタンスを閲覧し得る。ギャラリーは、ユーザーが、サムネイルを選択することによって特定のインスタンスにジャンプするオプションのある、迅速なレビューのために表示された特徴インスタンスのサムネイルを含む場合がある。ギャラリービューは、１つまたは複数の病巣領域に対応し得る（ただし、インスタンスを含むためには１つの病巣領域しか必要ではない場合がある）。

【0080】

インスタンス集合の場合、組織の型のすべての領域は、１つの凝集体グループに含まれ得る。その型のすべてのインスタンスは、ともに低出力で閲覧され得る。対応する視覚化タイプは、コンテキスト領域を含む場合がある。

【表2】

【0081】

特にレポートの有効化を考慮する際には、部分（または標本）レベル集合は病理学ワークフローにとって重要である場合がある。

【0082】

すべての視覚化は、表２に説明されるよう組織ホップを有する場合がある。組織ホップによって、ユーザーは、部分全体で検出された組織型の任意の視覚化の間で「ホップ」することが可能になり得る。例えば、１つの部分がＩＤＣの３つのインスタンスを含む場合、ＩＤＣは凝集体であっても、組織ホップによってユーザーはそれらの凝集体インスタンス間で移動できる。

【0083】

症例レポート５００は、編集可能である場合がある。任意のバイオマーカーは別にして、すべての英数字出力（メタデータまたはそれ以外のどちらか）は編集可能であってよい。例えば、測定エンドポイントは編集可能であってよく、測定値は、報告状態及び／または編集状態中に更新され得る。同様に、将来の状態の組織マップ領域が編集可能であってもよい。計算されたパーセンテージまたは測定された長さは、報告状態及び／または編集状態中に更新し得る。他のメタデータは再計算されない可能性がある。

【0084】

図５に示される全体的なフレームワークは、特定のＡＩまたは画像分析及び／または処理システムに限定されず、本明細書に開示される態様は、任意のタイプのＡＩまたは画像分析システムに使用され得る。例えば、複数のシステム及び／またはモジュールは、全体的なフレームワークで使用され得、複数のシステム出力は、画像、部分、症例、及び／または患者について視覚化及び統合され得る。

【0085】

図６Ａ～図６Ｄは、異なる組織型の共通の視覚化及びインタラクションがどのように適用され得るのかの例示的な図を示す。

【0086】

図６Ａは、一般的な組織標本の視覚化及び前立腺組織標本の組織化の例を示す。一般的な組織標本内では、小さい関心領域は病巣として識別される。代わりに、小さい関心領域及び大きい関心領域は、病巣として識別され得る。病巣は、コンテキストのなんらかの周囲領域を有する単一の関心点である場合がある。一般的な組織標本のコンテキスト領域は、重要な関心領域、及び／または組織マップを含む場合がある。これは、例えば（組織生検により適している場合がある）スライド上の隣接する腫瘍の長さなどの大きい関心領域として示される場合がある。定規ツールは、数値出力とともに、大きい関心領域または小さい関心領域のどちらかを測定するために使用され得る。定規は、標本組織内で１つまたは複数のバイオマーカーを測定するために使用され得る。スライドレベル視覚化で、英数字表示は、スライドをオーバーレイするテキスト出力及び数値出力を含み得る。これらの出力は、バイナリ、離散スコア、連続スコア、カテゴリ、確率、数値化（パーセンテージを含む）、及び／またはポータブルドキュメントフォーマット（ＰＤＦ）または他のフォーマットのレポート出力であってよい。ＰＤＦレポートの場合、ＰＤＦレポートは、容易に編集し得ない静的レポートである場合がある。ＰＤＦレポートは、例えば、分子検査、ＣＬＩＡ実験室試験結果、または未編集もしくは未操作のままとなることを目的とした他の試験結果もしくは研究室結果に関連付けられる場合がある。

【0087】

図６Ａの前立腺組織標本例の場合、複数の病巣の視覚化は、全腫瘍、及び１つまたは複数のパターンを含み得る。コンテキスト領域は、問題の病巣に応じて変わる場合があり、例えば、全腫瘍は、腫瘍の全長を含む場合があり、ユーザーは、必要な場合に合計された腫瘍の長さを測定し得る。パターンは、パターンによって覆われた組織のパーセンテージを含めるためにユーザーによって記述または測定され得る。さらに、英数字表示は、一次グリソンスコア及び／または二次グリソンスコアを出力し得る。

【0088】

図６Ｂは、乳房組織標本の例示的な視覚化を示す。図６Ａにおいてのように、病巣領域が選択され、測定され、英数字出力が取得される。膀胱組織、結腸組織、及び肺組織のさらなる例は、図６Ｃ及び図６Ｄに示される。

【0089】

図７は、本開示の例示的な実施形態による、報告可能な特徴の例示的な図を示す。例えば、浸潤性がんの特徴の場合、報告可能な特徴は、そのグレードが良好と見なされる範囲内にあるのか、中程度と見なされる範囲にあるのか、または不良と見なされる範囲にあるのかの表示を含むグレード、及び測定された特徴の長さを含み得る。結果として生じる切除インジケータは、組織標本の縁のみを切除するようにユーザーに指示する場合がある。図７は、他の様々な例示的な報告可能な特徴を含むが、より詳細な説明は以下の表３～表６に記載される。

【0090】

図８に示されるように、デバイス８００は、中央処理装置（ＣＰＵ）８２０を含み得る。ＣＰＵ８２０は、例えば任意のタイプの特殊目的または汎用目的のマイクロプロセッサデバイスを含む任意のタイプのプロセッサデバイスであってよい。当業者によって認識されるように、ＣＰＵ８２０はまた、マルチコア／マルチプロセッサシステム内の単一のプロセッサであってもよく、そのようなシステムは、単独で動作するか、またはクラスタもしくはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。ＣＰＵ８２０は、データ通信インフラストラクチャ８１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続され得る。

【0091】

デバイス８００はまた、メインメモリ８４０、例えば、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、また二次メモリ８３０を含んでもよい。例えば、読み取り専用メモリ（ＲＯＭ）などの二次メモリ８３０は、例えばハードディスクまたはリムーバブルストレージドライブであってよい。そのようなリムーバブルストレージドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例のリムーバブルストレージドライブは、周知の方法でリムーバブルストレージユニットから読み取る及び／またはリムーバブルストレージユニットに書き込む。リムーバブルストレージは、リムーバブルストレージドライブによって読み取られ、書き込まれるフロッピー（登録商標）ディスク、磁気テープ、光ディスクなどを含み得る。当業者によって認識されるように、そのようなリムーバブルストレージユニットは、一般に、コンピュータソフトウェア及び／またはデータが格納されたコンピュータ使用可能記憶媒体を含む。

【0092】

代替の実装では、二次メモリ８３０は、コンピュータプログラムまたは他の命令をデバイス８００にロードすることを可能にするための類似した手段を含み得る。そのような手段の例は、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲーム機器において見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）及び関連するソケット、及び他のリムーバブルストレージユニット、ならびにソフトウェア及びデータをリムーバブルストレージユニットからデバイス８００へと転送することを可能にするインターフェースを含み得る。

【0093】

デバイス８００はまた、通信インターフェース（「ＣＯＭ」）８６０を含み得る。通信インターフェース８６０は、ソフトウェア及びデータを、デバイス８００と外部デバイスとの間で転送することを可能にする。通信インターフェース８６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カードなど）、通信ポート、ＰＣＭＣＩＡスロット及びカードなどを含み得る。通信インターフェース８６０を経由して転送されるソフトウェア及びデータは、通信インターフェース８６０による受信が可能な電気信号、電磁信号、光信号、または他の信号であってよい信号の形式であってよい。これらの信号は、例えばワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装され得るデバイス８００の通信経路を介して通信インターフェース８６０に提供され得る。

【0094】

そのような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者はそれらに十分に精通していると推定される。デバイス８００はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力装置と接続するために入出力ポート８５０を含み得る。言うまでもなく、様々なサーバ機能は、処理負荷を分散するためにいくつかの類似したプラットフォーム上に分散方式で実装され得る。代わりに、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。

【0095】

本開示を通して、コンポーネントまたはモジュールに対する参照は、一般に、機能または関連機能のグループを実行するためにともに論理的にグループ化できる項目を指す。類似した参照番号は、一般に同じコンポーネントまたは類似したコンポーネントを指すことを意図している。コンポーネント及びモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実装され得る。

【0096】

上述のツール、モジュール、及び機能は、１つまたは複数のプロセッサによって実行され得る。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、またはそれらの関連モジュール（様々な半導体メモリ、テープドライブ、ディスクドライブなど）のいずれかまたはすべてを含み得、これらは、ソフトウェアプログラミングのためにいつでも非一時的な記憶を提供し得る。

【0097】

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通じて通信され得る。例えば、通信によって、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへソフトウェアをロードすることが可能になる。本明細書で使用する場合、非一時的で有形の「記憶」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を与えることに関与する任意の媒体を示している。

【0098】

上述の一般的な説明は、例示的及び説明的なものにすぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書の考慮及び本明細書に開示される本発明の実践から、当業者に明らかとなろう。明細書及び見本は例示としてのみ考慮されることを意図している。

【表3】

【表4-1】

【表4-2】

【表4-3】

【表5】

【表6-1】

【表6-2】

【表6-3】

【表6-4】

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【国際調査報告】