IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ペイジ.エーアイ インコーポレイテッドの特許一覧

特表2024-514907柔軟なアルゴリズム処理を用いて電子画像を処理するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-03
(54)【発明の名称】柔軟なアルゴリズム処理を用いて電子画像を処理するシステム及び方法
(51)【国際特許分類】
   G16H 10/40 20180101AFI20240327BHJP
   G16H 50/20 20180101ALI20240327BHJP
【FI】
G16H10/40
G16H50/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023563857
(86)(22)【出願日】2022-04-26
(85)【翻訳文提出日】2023-10-17
(86)【国際出願番号】 US2022026255
(87)【国際公開番号】W WO2022232078
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】63/179,852
(32)【優先日】2021-04-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】518307592
【氏名又は名称】ペイジ.エーアイ インコーポレイテッド
【氏名又は名称原語表記】PAIGE.AI, Inc.
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ユーセフィ, ラジク
(72)【発明者】
【氏名】シェフラー, ピーター
(72)【発明者】
【氏名】フレスノー, トーマス
(72)【発明者】
【氏名】ツェマ, アレクサンダー
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA26
(57)【要約】
方法は、患者に関連付けられた医療試料に対応する電子画像を処理し得る。方法は、1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、1つ以上の選択されたAIアルゴリズムを使用して、全スライド画像に対するタスクを実施することであって、全スライド画像が、第1のコンテナに記憶され、全スライド画像が、第1のユーザから発信され、タスクが、全スライド画像における医療試料の特性を決定することを含む、実施することと、全スライド画像の特性に基づいて、全スライド画像に関連付けられたメタデータを生成することと、第2のコンテナにメタデータを記憶することと、を含んでもよい。
【選択図】図1
【特許請求の範囲】
【請求項1】
患者に関連付けられた医療試料に対応する電子画像を処理するためのコンピュータ実装方法であって、
1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、
患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、
前記1つ以上の選択されたAIアルゴリズムを使用して、前記全スライド画像に対してタスクを実施することであって、前記全スライド画像が、第1のコンテナに記憶され、前記全スライド画像が、第1のユーザから発信され、前記タスクが、前記全スライド画像における前記医療試料の特性を決定することを含む、前記実施することと、
前記全スライド画像の前記特性に基づいて、前記全スライド画像に関連付けられたメタデータを生成することと、
前記メタデータを第2のコンテナに記憶することと、
を含む、前記方法。
【請求項2】
前記1つ以上の選択されたAIアルゴリズムが、クラウドコンピューティング環境において利用可能な複数のAIアルゴリズムに含まれる、請求項1に記載の方法。
【請求項3】
前記複数のAIアルゴリズムのうちの少なくとも1つが、第2のユーザによって開発されたものであり、前記複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムが、前記第2のユーザとは異なる第3のユーザによって開発されたものである、請求項2に記載の方法。
【請求項4】
前記第2のユーザは、前記第3のユーザとは異なる領域に位置する、請求項3に記載の方法。
【請求項5】
前記複数のAIアルゴリズムのうちのAIアルゴリズムを、前記1つ以上の選択されたAIアルゴリズムとして選択することを更に含む、請求項2に記載の方法。
【請求項6】
前記AIアルゴリズムを選択することは、
実施されるタスクのタイプを示す要求、
生成されるメタデータのタイプを示す要求、
特定のAIアルゴリズムについてのコマンド、
前記記憶された全スライド画像に関連付けられた追加の情報もしくはメタデータ、
前記第1のユーザによって受信された1つ以上のルールもしくはポリシー、
前記複数のAIアルゴリズムのうちの前記AIアルゴリズムに関連付けられた1つ以上のルールもしくはポリシー、及び/または
1人以上のユーザから受信された1つ以上のルールもしくはポリシーであって、前記1人以上のユーザが、前記複数のAIアルゴリズムのうちの前記AIアルゴリズムを開発している、前記1つ以上のルールもしくはポリシーに基づく、請求項5に記載の方法。
【請求項7】
前記選択されたAIアルゴリズムを適用して前記全スライド画像に対して前記タスクを実施する要求を、第2のユーザから受信することを更に含む、請求項1に記載の方法。
【請求項8】
前記AIアルゴリズムが、前記全スライド画像に関連付けられた補足情報を取り込み、前記補足情報が、全般的な患者プロファイル、患者履歴、関連するスライド画像、放射線データ、分子データ、及び/または臨床データを含む、請求項1に記載の方法。
【請求項9】
前記第2のコンテナに関連付けられた1つ以上のルールを決定することと、
前記第2のコンテナに関連付けられた前記1つ以上のルールに基づいて、(i)前記全スライド画像からデータを削除すること、及び/または前記メタデータの少なくともいくつかを削除すること、及び/または(ii)前記全スライド画像からデータを変更すること、及び/または前記メタデータの少なくともいくつかを変更することを実施することによって、修正された全スライド画像及び/または修正されたメタデータを生成することと、
前記修正された全スライド画像及び/または前記修正されたメタデータを前記ユーザに出力することと、を更に含む、請求項1に記載の方法。
【請求項10】
前記全スライド画像の自動人工知能ベースの取り込みを実施することによって、前記全スライド画像を第1のコンテナに記憶することであって、前記全スライド画像が、前記第1のユーザから受信されている、前記記憶することを更に含む、請求項1に記載の方法。
【請求項11】
デバイスから前記全スライド画像のうちの少なくとも1つのスライド画像についての要求を受信することと、
前記デバイスの場所を前記第1のユーザ及び/または患者の場所と比較することと、
前記比較された場所に基づいて、前記要求された少なくとも1つの全スライド画像及び前記メタデータを前記デバイスに送信することがルールによって許可されるかどうかを決定することと、を更に含む、請求項1に記載の方法。
【請求項12】
前記要求された少なくとも1つの全スライド画像及び前記メタデータを前記デバイスに送信することが許可されていることを決定することと、
前記要求された少なくとも1つの全スライド画像及び前記メタデータを前記デバイスに提供することと、を更に含む、請求項11に記載の方法。
【請求項13】
前記要求された少なくとも1つの全スライド画像を前記デバイスに送信することが許可されていることを決定することが、前記デバイスが前記第1のユーザと同じ施設に関連付けられていることを決定することを含む、請求項12に記載の方法。
【請求項14】
前記タスクを実施するために前記選択された人工知能アルゴリズムを適用することが、前記患者に関連付けられた患者メタデータに基づいて実施される、請求項1に記載の方法。
【請求項15】
メタデータを生成することが、
ヒートマップを決定することであって、前記ヒートマップが、前記医療標本における属性の尤度のグラフィカルな予測を含む、前記決定することを更に含む、請求項1に記載の方法。
【請求項16】
患者に関連付けられた医療試料に対応する電子画像を処理するためのシステムであって、
命令を記憶する少なくとも1つのメモリと、
前記命令を実行して動作を実施するように構成された少なくとも1つのプロセッサと、を備え、前記動作が、
1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、
患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、
前記1つ以上の選択されたAIアルゴリズムを使用して、前記全スライド画像に対してタスクを実施することであって、前記全スライド画像が、第1のコンテナに記憶され、前記全スライド画像が、第1のユーザから発信され、前記タスクが、前記全スライド画像における前記医療試料の特性を決定することを含む、前記実施することと、
前記全スライド画像の前記特性に基づいて、前記全スライド画像に関連付けられたメタデータを生成することと、
前記メタデータを第2のコンテナに記憶することと、
を含む、前記システム。
【請求項17】
前記1つ以上の選択されたAIアルゴリズムが、クラウドコンピューティング環境において利用可能な複数のAIアルゴリズムに含まれており、前記複数のAIアルゴリズムのうちの少なくとも1つが、第2のユーザによって開発されたものであり、前記複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムが、前記第2のユーザとは異なる第3のユーザによって開発されたものである、請求項16に記載のシステム。
【請求項18】
前記動作が、前記複数のAIアルゴリズムのうちのAIアルゴリズムを、前記1つ以上の選択されたAIアルゴリズムとして選択することを更に含み、前記AIアルゴリズムを選択することが、
実施されるタスクのタイプを示す要求、
生成されるメタデータのタイプを示す要求、
特定のAIアルゴリズムについてのコマンド、
前記記憶された全スライド画像に関連付けられた追加の情報もしくはメタデータ、
前記第1のユーザによって受信された1つ以上のルールもしくはポリシー、
前記複数のAIアルゴリズムのうちの前記AIアルゴリズムに関連付けられた1つ以上のルールもしくはポリシー、及び/または
1人以上のユーザから受信された1つ以上のルールもしくはポリシーであって、前記1人以上のユーザが、前記複数のAIアルゴリズムのうちの前記AIアルゴリズムを開発している、前記1つ以上のルールもしくはポリシーに基づく、請求項16に記載のシステム。
【請求項19】
命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令が、プロセッサによって実行されたとき、前記プロセッサに、患者に関連付けられた医療試料に対応する電子画像を処理するための動作を実施させ、前記動作が、
1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、
患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、
前記1つ以上の選択されたAIアルゴリズムを使用して、前記全スライド画像に対してタスクを実施することであって、前記全スライド画像が、第1のコンテナに記憶され、前記全スライド画像が、第1のユーザから発信され、前記タスクが、前記全スライド画像における前記医療試料の特性を決定することを含む、前記実施することと、
前記全スライド画像の前記特性に基づいて、前記全スライド画像に関連付けられたメタデータを生成することと、
前記メタデータを第2のコンテナに記憶することと、
を含む、前記非一時的なコンピュータ可読媒体。
【請求項20】
前記1つ以上の選択されたAIアルゴリズムが、クラウドコンピューティング環境において利用可能な複数のAIアルゴリズムに含まれており、前記複数のAIアルゴリズムのうちの少なくとも1つが、第2のユーザによって開発されたものであり、前記複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムが、前記第2のユーザとは異なる第3のユーザによって開発されたものである、請求項19に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、2021年4月26日に出願された米国仮出願第63/179,852号の優先権を主張し、その開示全体が参照によりその全体が本明細書に組み込まれる。
【0002】
本開示の様々な実施形態は、一般に、電子画像を処理するための計算病理ワークフローに関する。より具体的には、本開示の特定の実施形態は、がんの治療のために臨床グレードの製品を使用するワークフローのためのシステム及び方法に関する。
【背景技術】
【0003】
コンピュータを使用して病理医を支援するプロセスは、計算病理学として知られている。計算病理学の分野では、情報セキュリティ及びデータプライバシーは、個人データ及び健康関連情報が保護されることを保証する上で重要な考慮事項である。
【0004】
前述の一般的な説明と以下の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本明細書に提供される背景説明は、本開示の文脈を概略的に提示する目的のためのものである。本明細書に別段の指示がない限り、本節に記載されている内容は、本出願の特許請求の範囲の先行技術ではなく、本節に含まれることにより、先行技術または先行技術の示唆であることは認められない。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の特定の態様によれば、患者に関連付けられた医療試料に対応する電子画像を処理するため、及び/またはAIモジュールを選択するためのシステム及び方法が開示される。
【0006】
患者に関連付けられた医療試料に対応する電子画像を処理するための方法は、1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、1つ以上の選択されたAIアルゴリズムを使用して、全スライド画像に対してタスクを実施することであって、全スライド画像が、第1のコンテナに記憶され、全スライド画像が、第1のユーザから発信され、タスクが、全スライド画像における医療試料の特性を決定することを含む、実施することと、全スライド画像の特性に基づいて、全スライド画像に関連付けられたメタデータを生成することと、メタデータを第2のコンテナに記憶することと、を含み得る。
【0007】
1つ以上の選択されるAIアルゴリズムは、クラウドコンピューティング環境で利用可能な複数のAIアルゴリズムに含まれていてもよい。
【0008】
複数のAIアルゴリズムのうちの少なくとも1つは、第2のユーザによって開発されていてもよく、複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムは、第2のユーザとは異なる第3のユーザによって開発されていてもよい。第2のユーザは、第3のユーザとは異なる領域に位置してもよい。
【0009】
方法は、複数のAIアルゴリズムのうちのAIアルゴリズムを1つ以上の選択されたAIアルゴリズムとして選択することを含み得る。AIアルゴリズムを選択することは、実施されるタスクのタイプを示す要求、生成されるメタデータのタイプを示す要求、特定のAIアルゴリズムのためのコマンド、記憶された全スライド画像に関連付けられた追加の情報またはメタデータ、第1のユーザによって受信される1つ以上のルールまたはポリシー、複数のAIアルゴリズムのうちのAIアルゴリズムに関連付けられた1つ以上のルールまたはポリシー、及び/または複数のAIアルゴリズムのうちのAIアルゴリズムを開発した1人以上のユーザから受信される1つ以上のルールまたはポリシーに基づいてもよい。
【0010】
方法は、選択されたAIアルゴリズムを適用して全スライド画像に対してタスクを実施する要求を第2のユーザから受信することを更に含み得る。
【0011】
AIアルゴリズムは、全スライド画像に関連付けられた補足情報を取り込むことができる。補足情報は、全般的な患者プロファイル、患者履歴、関連するスライド画像、放射線データ、分子データ、及び/または臨床データを含み得る。
【0012】
方法は、第2のコンテナに関連付けられた1つ以上のルールを決定することと、第2のコンテナに関連付けられた1つ以上のルールに基づいて、(i)全スライド画像からデータを削除すること、及び/またはメタデータの少なくともいくつかを削除すること、及び/または(ii)全スライド画像からデータを変更すること、及び/またはメタデータの少なくともいくつかを変更すること、及び修正された全スライド画像及び/または修正されたメタデータをユーザに出力することを実施することによって、修正された全スライド画像及び/または修正されたメタデータを生成することと、を含む、方法。
【0013】
方法は、全スライド画像の自動人工知能に基づく取り込みを実施することによって、全スライド画像を第1のコンテナに記憶することを含んでもよい。全スライド画像は、第1のユーザから受信されていてもよい。
【0014】
方法は、デバイスから全スライド画像のうちの少なくとも1つの要求を受信することと、デバイスの場所を第1のユーザ及び/または患者の場所と比較することと、比較された場所に基づいて、要求された少なくとも1つの全スライド画像及びメタデータをデバイスに送信することがルールによって許可されているかどうかを決定することと、を含み得る。
【0015】
方法は、要求された少なくとも1つの全スライド画像及びメタデータをデバイスに送信することが許可されていることを決定し、要求された少なくとも1つの全スライド画像及びメタデータをデバイスに提供することを含み得る。
【0016】
要求された少なくとも1つの全スライド画像をデバイスに送信することが許可されていることを決定することは、デバイスが第1のユーザと同じ施設に関連付けられていることを決定することを含み得る。選択された人工知能アルゴリズムを適用してタスクを実施することは、患者に関連付けられた患者メタデータに基づいて実施され得る。
【0017】
メタデータを生成することは、ヒートマップを決定することを更に含み得る。ヒートマップは、医療標本における属性の尤度のグラフィカルな予測を含んでもよい。
【0018】
患者に関連付けられた医療試料に対応する電子画像を処理するためのシステムは、命令を記憶する少なくとも1つのメモリと、命令を実行して動作を実施するように構成された少なくとも1つのプロセッサとを含み得る。動作は、1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、1つ以上の選択されたAIアルゴリズムを使用して、全スライド画像に対してタスクを実施することであって、全スライド画像が、第1のコンテナに記憶され、全スライド画像が、第1のユーザから発信され、タスクが、全スライド画像における医療試料の特性を決定することを含む、実施することと、全スライド画像の特性に基づいて、全スライド画像に関連付けられたメタデータを生成することと、第2のコンテナにメタデータを記憶することと、を含み得る。
【0019】
1つ以上の選択されるAIアルゴリズムは、クラウドコンピューティング環境で利用可能な複数のAIアルゴリズムに含まれていてもよい。複数のAIアルゴリズムのうちの少なくとも1つは、第2のユーザによって開発されていてもよく、複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムは、第2のユーザとは異なる第3のユーザによって開発されていてもよい。
【0020】
動作は、複数のAIアルゴリズムのうちのAIアルゴリズムを、1つ以上の選択されたAIアルゴリズムとして選択することを含み得る。AIアルゴリズムを選択することは、実施されるタスクのタイプを示す要求、生成されるメタデータのタイプを示す要求、特定のAIアルゴリズムのためのコマンド、記憶された全スライド画像に関連付けられた追加の情報もしくはメタデータ、第1のユーザによって受信される1つ以上のルールもしくはポリシー、複数のAIアルゴリズムのうちのAIアルゴリズムに関連付けられた1つ以上のルールもしくはポリシー、及び/または複数のAIアルゴリズムのうちのAIアルゴリズムを開発した1人以上のユーザから受信される1つ以上のルールもしくはポリシーに基づいてもよい。
【0021】
非一時的なコンピュータ可読媒体は、プロセッサによって実行されたとき、プロセッサに、患者に関連付けられた医療試料に対応する電子画像を処理するための動作を実施させる命令を記憶し得、動作は、1つ以上の人工知能(AI)アルゴリズムの選択を受信することと、患者に関連付けられた医療試料の1つ以上の全スライド画像を受信することと、1つ以上の選択されたAIアルゴリズムを使用して、全スライド画像に対するタスクを実施することであって、全スライド画像が、第1のコンテナに記憶され、全スライド画像が、第1のユーザから発信され、タスクが、全スライド画像における医療試料の特性を決定することを含む、実施することと、全スライド画像の特性に基づいて、全スライド画像に関連付けられたメタデータを生成することと、メタデータを第2のコンテナに記憶することと、を含む。
【0022】
1つ以上の選択されるAIアルゴリズムは、クラウドコンピューティング環境で利用可能な複数のAIアルゴリズムに含まれていてもよい。複数のAIアルゴリズムのうちの少なくとも1つは、第2のユーザによって開発されていてもよく、複数のAIアルゴリズムのうちの少なくとも別のAIアルゴリズムは、第2のユーザとは異なる第3のユーザによって開発されていてもよい。
【0023】
上述の概略的な説明と以下の詳細な説明はともに、例示で単に説明をしているものであり、特許請求されている通りに、開示の実施形態を限定するものではないという旨を理解すべきである。
【0024】
添付の図面は、この明細書の一部に組み込まれ、これを構成し、種々の例示の実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。
【図面の簡単な説明】
【0025】
図1】例示的な実施形態による、デジタルスライドを処理するためのプラットフォームの例示的なグローバルアーキテクチャである。
【0026】
図2】例示的な実施形態による、人工知能(AI)出力を有するプラットフォームの使用のための例示的な方法を示すワークフローである。
【0027】
図3A図3A~3Bは、例示的な実施形態による、プラットフォームの使用のための例示的な方法を例解するフローチャートである。
図3B図3A~3Bは、例示的な実施形態による、プラットフォームの使用のための例示的な方法を例解するフローチャートである。
【0028】
図4A図4A~Cは、例示的な実施形態による、データ取り込みアプライアンスの例示的なアーキテクチャ及びデータ取り込みアプライアンスの統合化である。
図4B図4A~Cは、例示的な実施形態による、データ取り込みアプライアンスの例示的なアーキテクチャ及びデータ取り込みアプライアンスの統合化である。
図4C図4A~Cは、例示的な実施形態による、データ取り込みアプライアンスの例示的なアーキテクチャ及びデータ取り込みアプライアンスの統合化である。
【0029】
図5A図5A~Cは、例示的な実施形態による、臨床検査情報システム(LIS)の例示的なアーキテクチャ及びLISの統合化である。
図5B図5A~Cは、例示的な実施形態による、臨床検査情報システム(LIS)の例示的なアーキテクチャ及びLISの統合化である。
図5C図5A~Cは、例示的な実施形態による、臨床検査情報システム(LIS)の例示的なアーキテクチャ及びLISの統合化である。
【0030】
図6】例示的な実施形態による、スライドビューアの例示的なアーキテクチャである。
【0031】
図7A図7Aは、例示的な実施形態による、AIコンピュータの例示的なアーキテクチャであり、図7Bは、例示的なアーキテクチャを使用する例示的な方法のフローチャートである。
図7B図7Aは、例示的な実施形態による、AIコンピュータの例示的なアーキテクチャであり、図7Bは、例示的なアーキテクチャを使用する例示的な方法のフローチャートである。
【0032】
図8-1】本明細書で開示されるワークフロー及びプラットフォームアーキテクチャとともに使用するための例示的な推論アーキテクチャである。
図8-2】本明細書で開示されるワークフロー及びプラットフォームアーキテクチャとともに使用するための例示的な推論アーキテクチャである。
【0033】
図9】本明細書に提示された技術を実行し得る例示的なシステムを示す。
【0034】
図10A図10A~10Bは、例示的な実施形態による例示的な出力を示す。
図10B図10A~10Bは、例示的な実施形態による例示的な出力を示す。
図10C】説明なし。
【発明を実施するための形態】
【0035】
これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を示すために、同じ参照番号が使用される。
【0036】
本明細書で開示されるシステム、デバイス、及び方法は、がんの診断及び治療を変えることができる臨床グレードの製品とともに使用されるように構成された計算病理プロセス及びワークフローを提供する。本明細書に記載される計算病理ワークフローは、診断精度、信頼性、効率、及びアクセシビリティを改善し得る。例えば、デバイスのワークフローは、スライドにがんの疑いがあることを検出してもよく、病理医が最終診断を下す前に最初の評価を確認することを可能にしてもよい。本開示の計算病理プロセス及びワークフローは、ウェブブラウザを介したデジタル病理画像の取り込み、処理、及び閲覧を可能にする統合されたプラットフォームを使用してもよく、一方で、臨床検査情報システム(LIS)、顧客ベースの診断ツール、または任意の他のソフトウェア開発キット(SDK)アプリケーションと統合されてもよい。
【0037】
本明細書で開示されるシステム、デバイス、及び方法は、実施例によって、及び図を参照して詳細に説明される。本明細書で説明される実施例は、単なる例であり、本明細書で説明される装置、デバイス、システム、及び方法の説明を補助するために提供される。図面に示されているか、または以下で説明されている機能またはコンポーネントはいずれも、特に必須と指定されていない限り、これらのデバイス、システム、または方法のいずれかの特定の実施態様において必須とみなされるべきではない。
【0038】
また、記載された任意の方法について、方法がフロー図と併せて記載されているかどうかにかかわらず、別途指定されない限り、または文脈によって要求されない限り、方法の実行で実施されるステップの任意の明示的または暗黙的な順序付けは、それらのステップが提示された順序で実施されなければならないことを意味するのではなく、代わりに、異なる順序でまたは並行して実施され得ることを理解されたい。
【0039】
本明細書で使用される場合、「例示的」という用語は、「理想」ではなく「実施例」の意味で使用される。更に、本明細書における「a」及び「an」という用語は、量の制限を意味するのではなく、むしろ言及された項目のうちの1つ以上が存在していることを意味する。
【0040】
病理学は、疾患を診断するために使用される試験及び分析を実施することなどの疾患の研究を指す。例えば、組織試料は、組織試料を分析して何らかの異常が存在するかどうかを決定する病理医または医師によって顕微鏡下で見るためにスライド上に置かれる場合がある。病理標本は、病理医が検査しかつ診断を行うために複数の切片または切断レベルに切断またはスライスされ、スライドとして調製及び/またはスライド上に配置され、染色される場合がある。
【0041】
スライド上の診断所見が不確かな場合、病理医は、組織からより多くの情報を収集するために、追加の切断レベル、染色、または他の検査を指示する場合がある。その後、技術者(複数可)は、病理医が診断を行う際に使用する追加情報を含んでもよい新しいスライド(複数可)を作成する場合がある。追加のスライドを作成するこのプロセスは、組織のブロックを取り出し、それを切断して新しいスライドを作成し、次にスライドを染色することを伴う可能性があるだけでなく、複数の指示についてバッチ処理され得るため、時間がかかる場合がある。このプロセスは、病理医が下す最終診断を著しく遅らせる可能性がある。更に、遅延の後でさえ、病理医は、新しいスライド(複数可)が診断を下すのに十分な情報を有するかどうかまだ確信が持てない場合がある。
【0042】
病理医は、がん及び他の疾患スライドを単独で評価し得る。本明細書で開示されるシステム、デバイス、及び方法は、がん及び他の疾患の診断を改善するためのプラットフォームを提供する。プラットフォームは、例えば、スライド評価、タスク、画像分析、人工知能(AI)(例えば、がん検出AI)、アノテーション、コンサルテーション、及びレコメンデーションを1つのワークステーションに統合し得る。プラットフォームでは、様々な例示的なユーザインターフェースが利用可能であり、病理医の作業を迅速化及び改善するためにプラットフォームに統合され得るAIツールも利用可能であり得る。
【0043】
例えば、コンピュータは、組織試料の画像を分析して、特定の組織試料について追加の情報が必要とされ得るかどうかを迅速に識別し、及び/または病理医によりよく見るべきエリアを強調表示し得る。したがって、追加の染色されたスライド及び検査を得るプロセスは、病理医によって検討される前に自動的に行われてもよい。自動スライドセグメント化及び染色機と組み合わせると、完全に自動化されたスライド調製パイプラインが提供され得る。この自動化は、(1)スライドが診断を行うのに不十分であると判断する際に病理医が無駄にする時間を最小限に抑えるか、もしくは短縮すること、(2)追加の検査が指示されてから作成されるまでの追加の時間を回避または短縮することによって、標本取得から診断までの(平均合計)時間を最小限に抑えるか、もしくは短縮すること、(3)組織ブロック(例えば、病理標本)がカッティングデスクに入っている間に再切断を行うことを可能にすることによって、再切断当たりの時間及び無駄になる材料の量を削減するか、もしくは最小限に抑えること、(4)スライド調製中に無駄になる/廃棄される組織材料の量を削減するか、または最小限に抑えること、(5)手順を部分的または完全に自動化することによってスライド調製のコストを削減するか、または最小限に抑えること、(6)試料からより代表的で有益なスライドが得られるスライドの自動的なカスタマイズされた切断及び/または染色を可能にすること、(7)組織ブロックごとにより多くのスライドを生成することを可能にし、病理医の追加検査を要求するオーバーヘッドを削減することによって、より情報に基づいた及び/または正確な診断に貢献すること、及び/または(8)デジタル病理画像などの正しい特性(例えば、標本タイプに関連する特性)を識別もしくは検証する。
【0044】
計算病理学に使用される計算方法には、統計分析、自律学習または機械学習、及びAIが含まれ得るが、これらに限定されない。AIは、ディープラーニング、ニューラルネットワーク、分類、クラスタリング、及び回帰アルゴリズムを含み得るが、これらに限定されない。計算病理学は、病理医が診断の正確性、信頼性、効率、及びアクセシビリティを向上させるのを助けることによって、命を救うのに役立つ可能性がある。例えば、計算病理学は、がんの疑いのあるスライドの検出を支援するために使用されてもよく、それによって、病理医は、最終診断を下す前に、病理医の初期評価を確認して確定することを可能にする。
【0045】
病理組織学とは、スライド上に置かれた標本の研究を指す。例えば、デジタル病理画像は、標本(例えば、スミア)を含む顕微鏡スライドのデジタル化された画像から構成されてもよい。病理医がスライド上の画像を分析するために使用し得る1つの方法は、核を識別し、核が正常(すなわち、良性)であるか、または異常(すなわち、悪性)であるかを分類することである。病理医が核を識別及び分類するのを支援するために、組織学的染色を使用して、細胞を可視化し得る。過ヨウ素酸シッフ反応、マッソンのトリクローム、ニスル及びメチレンブルー、ならびにヘマトキシリン及びエオシン(H&E)を含む多くの染料ベースの染色システムが開発されている。医学的診断のために、H&Eは、広く使用されている染料ベースの方法であり、ヘマトキシリンは、染色細胞核を青く染色し、エオシンは、細胞質及び細胞外マトリックスをピンクに染色し、他の組織領域は、これらの色の同種の色を帯びる。
【0046】
しかしながら、多くの場合、H&E染色された組織学的調製物は、病理医が診断を助けるか、または治療を導くことができるバイオマーカーを視覚的に識別するのに十分な情報を提供しない。この状況では、免疫組織化学(IHC)、免疫蛍光、in situハイブリダイゼーション(ISH)、または蛍光in situハイブリダイゼーション(FISH)などの技術が使用され得る。IHC及び免疫蛍光は、例えば、組織内の特定の抗原に結合する抗体を使用して、対象となる特定のタンパク質を発現する細胞を視覚的に検出することを可能にすることを含み、これにより、H&E染色スライドを使用して確実に識別することができないバイオマーカーを明らかにすることができる。ISH及びFISHは、用いられるプローブの種類に応じて(例えば、遺伝子コピー数のためのDNAプローブ及びRNA発現の評価のためのRNAプローブ)遺伝子の多数のコピーまたは特定のRNA分子の存在量を評価するために用いられてもよい。これらの方法が、いくつかのバイオマーカーを検出するのに十分な情報を提供することができない場合、組織の遺伝子検査を使用して、バイオマーカーが存在するかどうかを確認してもよい(例えば、腫瘍における特定のタンパク質または遺伝子産物の過剰発現、がんにおける所与の遺伝子の増幅)。
【0047】
デジタル化された画像は、染色された顕微鏡スライドを示すように準備されてもよく、これにより、病理医は、スライド上の画像を手動で表示し、画像中の染色された異常な細胞の数を推定することができ得る。ただし、このプロセスは時間がかかる可能性があり、いくつかの異常を検出することが困難であるため、異常を識別する際のエラーにつながる可能性がある。計算プロセス及びデバイスは、他の場合には検出することが困難であり得る異常を検出することにおいて病理医を支援するために使用されてもよい。
【0048】
例えば、AIを使用して、H&E及び他の染料ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域からバイオマーカー(タンパク質及び/または遺伝子産物の過剰発現、増幅、特定の遺伝子の突然変異など)を予測してもよい。別の例として、AIを使用して、準備された組織試料のデジタル画像内の個々の領域からフローター(異常の一種)の存在を予測してもよい。組織の画像は、全スライド画像(WSI)、またはマイクロアレイ内の組織コアの画像、または組織切片内の選択された対象となるエリアであり得る。H&Eのような染色方法を使用する場合、これらのバイオマーカーは、追加の検査の助けなしにヒトが視覚的に検出または定量化することが困難でありことがある。AIを使用して組織のデジタル画像からこれらのバイオマーカーを推測すると、患者のケアが改善され、一方、処理がより高速になり、コストが安くなる可能性がある。
【0049】
本明細書で開示される計算病理プロセス及びデバイスは、ウェブブラウザまたは他のユーザインターフェースを介したデジタル病理画像のデータ取り込み、処理、及び表示を含む完全に自動化されたプロセスを可能にする統合されたプラットフォームを提供し、一方、臨床検査情報システム(LIS)と統合し得る。更に、臨床情報は、患者データのクラウドベースのデータ分析を使用して集約し得る。データは、病院、診療所、現場研究者などから得てもよく、データを機械学習、コンピュータビジョン、自然言語処理、及び/または統計アルゴリズムによって分析して、複数の地理的特異性レベルでの健康パターンのリアルタイムモニタリング及び予測を実施してもよい。
【0050】
上記のデジタル病理画像は、標本の特性またはデジタル病理画像の画像に関連するタグ及び/またはラベルとともに記憶されることがあり、そのようなタグ/ラベルは不正確または不完全である場合がある。したがって、本明細書で開示されるシステム、デバイス、及び方法は、デジタル病理画像の正しい特性(例えば、標本タイプに関連する特性)を識別及び/または検証し得る。本明細書で開示されるシステム、デバイス、及び方法は、記憶されたタグ/ラベルに頼ることなく、デジタル病理画像の標本または画像特性を自動的に予測し得る。更に、本明細書で開示されるシステム、デバイス、及び方法は、必ずしもLISまたは類似の情報データベースにアクセスすることなく、デジタル病理画像の標本タイプ、またはデジタル病理画像に関連する任意の情報を迅速かつ正確に識別及び/または検証し得る。
【0051】
一例では、システムは、以前のデジタル病理画像のデータセットに基づいて、デジタル病理画像の様々な特性を識別するように訓練されてもよい。訓練されたシステムは、デジタル病理画像に示される標本の分類を提供してもよい。分類は、標本に関連付けられた患者の治療または診断予測(複数可)を提供するのに役立ち得る。
【0052】
本明細書で開示されるシステム、デバイス、及び方法は、標本分類ツールの1つ以上の例を提供してもよい。ツールへの入力は、デジタル病理画像及び任意の関連する追加の入力を含んでもよい。ツールの出力は、標本に関するグローバル及び/またはローカル情報を含んでもよい。標本は、生検または外科的切除標本を含んでもよい。
【0053】
開示されたワークフロー(複数可)の例示的なグローバル出力は、標本タイプ、標本の切り出しの全体的な品質、ガラス病理スライド自体の全体的な品質、及び/または組織形態特性など、画像全体に関する情報を含んでもよい。例示的な局所出力は、画像の特定の領域における情報を示してもよく、例えば、特定の画像領域は、スライド内にぼけまたはクラックを有するものとして分類されてもよい。本明細書で開示されるシステム、方法、及びデバイスは、以下で更に詳細に説明されるように、開示される標本分類ツール(複数可)を使用してもよい。
【0054】
加えて、本明細書で開示されるシステム、方法、及びデバイスは、計算病理サービス及び製品の開発及び配信において、機密性が高く、法的に保護された情報を保護し得る。更に、本明細書で開示されるシステム、方法、及びデバイスは、設計アプローチによるセキュリティ及びプライバシー、ならびに医療行為、患者、及び/または顧客に属するデータを含む全てのデータに対する生産システム保護を提供し得る。
【0055】
本明細書で開示される技術的態様は、デジタル病理スライドを病理医及び科学者の広大なコミュニティに利用可能にし得、臨床現場または施設がデータ共有ポリシーをより良く制御し、データがセキュアに記憶され、匿名化されることを確実にすることを可能にする。その結果、臨床現場や施設は、世界中の研究者とよりうまく共同研究を行って、病理学及び最終的には患者に利益をもたらすAIソリューションを開発し得る。ユーザが研究グループまたは大学の一部である場合、本明細書で開示される技術的態様は、臨床パートナーのデータへのより簡単なアクセスを可能にし、既存のインフラストラクチャを活用して、ソフトウェア開発キット(SDK)を使用してカスタムアルゴリズムを構築し得る。
【0056】
統合コンピューティングプラットフォームを使用するワークフローは、(i)AIネイティブデジタル病理スライドビューア、(ii)AI製品のスイート、及び/または(iii)データ取り込みアプライアンスを提供し得る。AIネイティブデジタル病理スライドビューアは、インタラクティブユーザインターフェースまたは通知ダッシュボードを含み得る。ビューアは、スライド画像の共同研究及び共有を更にサポートしてもよい。AI製品のスイートは、身体の異なる部位(例えば、前立腺)のために設計された製品を含み得、これらの製品は、異なるワークフローステップに導入され、特定の診断目的またはタイプのがんのためにユーザカスタマイズされ得る。デジタル病理スライドの転送を容易にするためのデータ取り込みアプライアンスである。
【0057】
図1は、病院または臨床環境1、外部グループ研究施設または大学2、クラウドコンピューティングエコシステム3、及び別のまたは二次的な病院または臨床環境4の例示的な概略図を示す。病院または臨床環境1は、統合されたスキャナアプライアンス及びプラットフォーム1aを含んでもよい。プラットフォーム1aは、クラウドコンピューティングエコシステム3(例えば、アマゾンウェブサービスクラウド(AWS))と通信してもよい。クラウドコンピューティングエコシステム3は、外部グループ研究施設または大学2と通信し得る。更に、クラウドコンピューティングエコシステム3は、発信元の病院または臨床環境の外側の別の病院または臨床環境4と通信し得る。更に、外部グループ研究施設または大学2は、クラウドコンピューティングエコシステム3と通信してもよい。
【0058】
例示的なワークフローでは、病院の場所1に全スライド画像(WSI)のデータセットを持つ病理医が、外部研究グループまたは大学2の科学者及び研究者と研究プロジェクトで共同研究を行いたい場合がある。研究者グループは、プロジェクトで共同研究を行うために、病理医の匿名化されたデータセットにアクセスすることが必要になることがある。スケーラブルで信頼性が高く、セキュアなクラウドストレージ3eは、準拠及びセキュリティを維持しながら、制御されたデータ共有を可能にし得る。このストレージ3eが所定の位置に配置されると、研究者グループは、特定の研究課題または特定のタイプのWSI(例えば、前立腺癌スライドなど)にカスタマイズされた1つ以上のAIモジュールまたはソフトウェア開発キット(SDK)3a、3b、3c、3dを開発してもよい。1つ以上のAIモジュールまたはSDK3a、3b、3c、3d、または他のサービスの形態の様々なAIソリューションは、クラウドストレージ3eと同じセキュアクラウドコンピューティングエコシステム3に展開され得る。更に、1つ以上のAIモジュールもしくはSDK3a、3b、3c、3dは、プラットフォーム1a、大学2、及び/または二次病院設定4に利用可能にされてもよく、及び/またはそれらと通信してもよい。1つのクラウドストレージ3eが示されているが、複数のクラウドストレージ3eがあってもよく、各クラウドストレージ3eは、単一の施設(例えば、外部研究グループもしくは大学2、または別の外部グループ、病院、研究大学など)に対応し、及び/または専用であってもよく、施設間及び/または顧客間の漏洩を防ぐ。
【0059】
病院の場所1にいる病理医は、適切なツールを活用して1つ以上のサードパーティAIモジュール3a、3b、3c、3dの結果及び画像を表示してもよい。大学2の研究者は、貴重なフィードバックを収集してもよく、及び/またはクラウドコンピューティングエコシステム3からの他のサービスを使用してもよい。共同研究者は一緒に、セキュリティ及びプライバシーを維持しながら、1つ以上のサードパーティAIモジュール3a、3b、3c、3dを他の施設及び場所(例えば、二次病院4)に利用可能にし、様々な他の情報及びデータをワークフローに組み込むかどうかを決定し得る。共同研究者は、更に、自分の1つ以上のAIモジュール3a、3b、3c、及び3dを更新し、それらの更新をクラウドコンピューティングエコシステム3で利用可能にすることを決定し得る。病院の場所1にいる病理医、大学2にいる研究者、及び/またはアクセス権を持つ他の人などの異なるユーザは、異なるユーザ(例えば、異なる大学または他の第三者)によって開発された複数のAIモジュールまたはSDK3a、3b、3c、及び3dから選択、取得、及び/またはダウンロードすることができ、これらのAIモジュールまたはSDK3a、3b、3c、及び3dは、他のものと簡単に交換及び/または更新されてもよい。
【0060】
1つ以上のAIモジュールまたはSDK3a、3b、3c、3dは、単純であってもよく、使用可能であってもよく、技術的に健全であってもよい。1つ以上のAIモジュールまたはSDK3a、3b、3c、3dは、特定の使用事例についてのカスタマイズに必要な労力を少なくすることができ、自己完結型であってもよく、ローカルで起動することができてもよく、公開されるコードを削減または最小化してもよい。1つ以上のAIモジュールまたはSDK3a、3b、3c、3dは、容易に学習し得、開発者のワークフローに容易に統合し得、十分に文書化され得るが、文書化することなく使用することを可能にし得、例を提供し得、必要とするサポートを少なくし得る。1つ以上のAIモジュールまたはSDK3a、3b、3c、3dは、安定していてもよく、徹底的に検査されていてもよく、セキュアであってもよく、後方互換性があり、十分にパッケージ化されていてもよく、バージョン管理されていてもよい。1つ以上のAIモジュールまたはSDK3a、3b、3c、3dは、ユーザ(例えば、病理医、研究者など)の所望に応じて、及び1つ以上のAIモジュールまたはSDK3a、3b、3c、3dの所望される機能に応じて、いくつかの場所でプラットフォームアーキテクチャに導入されてもよい。
【0061】
本明細書で開示されるプラットフォーム1a及びワークフローは、ユーザ間の共同研究を強化し得る。共同研究は、施設(例えば、病院1)内のプラットフォーム1aのユーザと、同じ施設内のユーザ、別の施設(プラットフォーム1aへのアクセス権を有する)のユーザ、プラットフォーム1aへのアクセス権を有しない別の施設(例えば、二次病院4)の人、または外部の個人(例えば、外部の施設2にいる個人)との間で行われてもよい。プラットフォーム1aのユーザは、同じスライド及びケースを同時に開いて見ることができ得る。ユーザは更に、ケース及びスライドのリンクを送信してもよい。この場合、ケースとスライドは識別され、識別解除され、匿名化され、または公開または非公開でコメント及び注釈を付され得る。会議や会議のような環境では、グループは、同じケース及びスライドを検討することができ、リードユーザがスライドをナビゲートし、グループの残りのメンバーが個人の画面でスライドを見ることができ得る(マルチヘッド顕微鏡と同様)。他の環境では、ケース及びスライドのリンクは、施設のダウンロード制限(例えば、大学の学生)に基づいて受信及び/またはダウンロードされ得る。AIの結果は、共有オプションに含まれる場合がある。
【0062】
図2は、デジタルスライドを処理するためのプラットフォームの例示的なグローバルアーキテクチャ100を示す。このアーキテクチャは、図1で上述したように、1つ以上のSDKまたはサードパーティのAIモジュール3a、3b、3c、3dとともに使用されてもよい。1つまたは複数の実施形態は、サービスとしてのインフラストラクチャ(IaaS)及びサービスとしてのプラットフォーム(PaaS)プロバイダなどのクラウドプロバイダを使用して、スケーラブルで信頼性が高く、セキュアで、利用可能なサービスを世界規模で顧客に提供し得る。例示的なグローバルアーキテクチャ100は、領域101内のプロバイダによる使用を含んでもよく、デジタルスライド及び画像を欧州連合または米国などの他の領域に送信してもよい。領域は、異なるサイズ及び特性を有する場所を指し得る。例えば、領域は、国、都市、及び/または病院などに対応し得る。患者に関連する任意のメタデータもまた、暗号化され、その領域に記憶されてもよい。グローバルアーキテクチャ100は、任意の領域にわたってコンプライアンス、信頼性、セキュリティ、及びプライバシーを考慮して開発されてもよい。グローバルアーキテクチャ100は、メタデータが記憶されるデフォルトの領域が存在しないように構成されてもよい(例えば、患者が特定の領域101に住んでいるときのように、許可されない限り、メタデータが米国のような特定の領域101に自動的に記憶されないように)。
【0063】
領域または場所101におけるプロバイダ内で、グローバルアーキテクチャ100は、全スライド画像(WSI)システム102を含んでもよく、WSIはデジタル化され、ストレージ103にローカルに記憶されてもよい。WSIは、スライドスキャナ104によってスキャンされ得、スライドスキャナ104からスライドマネージャ105に送信され得る。デジタル化された画像は、WSIシステム102からデータ取り込みアプライアンス106または臨床検査情報システム(LIS)107のいずれかに送信されてもよい。画像がLIS107に送信される場合、ユーザは、画像がビューア108上で閲覧可能であることをJavaScript(登録商標)オブジェクト表記(JSON)通知によって通知されてもよい。ビューア108は、従来の光学顕微鏡法による手動視覚化に適切であろうデジタル化された病理スライドの表示及びナビゲーションを容易にするウェブベースのソフトウェア製品であってもよい。ビューア108は、in vitro診断使用のために構成されてもよい。
【0064】
画像が代わりにデータ取り込みアプライアンス106に送信される場合、画像は、更に、スライドの発信元領域101の外部に位置するウェブサービス112に、ウェブアプリケーションファイアウォール(WAF)110を介して送信されてもよい。画像は、ウェブサービス112からウェブサービスコンソール113に送信され、次いで、認証プロバイダ109による追加の処理、レビュー、または認証のために元の領域101に戻されてもよい。画像はまた、WAF110を介して、領域101内のプロバイダの外部のビューア108に送信されてもよい。
【0065】
代替として、画像は、データ取り込みアプライアンス106から一意の暗号化S3バケット111に送信されてもよい。暗号化S3バケット111は、例えば、欧州連合(EU)(ロンドンまたはフランクフルトなど)、ブラジル(サンパウロなど)、または米国(北バージニアなど)のいくつかの異なる領域またはプライバシー管轄区域に物理的に位置し得る。上述したように、領域は、異なるサイズ及び特性を有する場所を指し得る。プライバシー管轄区域とは、同じまたは類似のプライバシー法またはポリシーに従うエリア(EUまたは米国など)を指す場合がある。領域は、同じ情報にアクセスすることを許可されたエリアまたは場所(例えば、病院)であり得る。画像またはスライドのいずれかに関連付けられた保護された健康情報(PHI)は、異なる領域に位置する暗号化S3バケット111間を移動することを許可されてはならない。暗号化S3バケット111が米国内に位置する場合、画像は、ウェブサービス112との間で送受信されてもよく、ウェブサービス112は、更に、匿名の結果を保持するために、画像を別の暗号化S3バケット114に送信してもよい。これらの匿名化された結果は、前立腺などの身体の特定のエリアを対象とした診断ツールを含む他の製品115で使用されてもよい。
【0066】
画像(例えば、全スライド画像またはWSI)は、WSIスキャナ104によって自動的にスキャンされ、WSIスキャナ104によって自動的かつセキュアに取り込まれ、ローカルストレージ103に蓄積されてもよい。これらの画像は、セキュアなクラウドストレージに自動的にコピーされ得る(例えば、完全に自動化されたプロセス)。画像が受信されると、グローバルアーキテクチャ100は、クラウドコンピューティングの最新の進歩を活用して、大規模にAI計算を自動的に実施してもよい。グローバルアーキテクチャ100は、AI製品によって生成されたアップロードされた画像及び予測を閲覧する最先端の経験を提供してもよい。
【0067】
グローバルアーキテクチャ100は、患者情報がその発信元の地理を離れるのを防止することを含む、PHIの規制要件の厳格な実施を維持し得る。グローバルアーキテクチャ100及び/または製品アーキテクチャは、PHIが発信元領域に保持されるように、コンプライアンス、信頼性、セキュリティ、及びプライバシーを考慮して開発され得る。グローバルアーキテクチャ100は、アップロードされた画像及び/またはメタデータが特定の施設に専用のストレージに記憶され得るように構成され得る。
【0068】
図2に示すように、識別可能な患者情報は、診療が配置されている領域に保持され得る。全てのスキャンされた画像は、領域のうちのいずれかに物理的に位置する暗号化S3バケット111内に維持されてもよい。異なる施設からの病理データは、異なる施設からのデータを異なるバケットに記憶することによって互いに分離され得る。
【0069】
グローバルアーキテクチャ100は、データ取り込みのための適切に定義されたアプリケーションプログラミングインターフェース(API)エンドポイントを提供し得る。機密データの露出を低減または最小化するために、特定のエンドポイント(例えば、領域APIエンドポイント)及び一意のS3バケット111を提供して、作成されるべきファイアウォールルールの数を限定してもよい。このエンドポイントは、サービス中断のリスクを低減させるように安定し得る。
【0070】
グローバルアーキテクチャ100は、認証プロバイダ(複数可)を活用してもよい。グローバルアーキテクチャ100は、情報技術(IT)部門が許可されたアカウントの認証情報及びアクセスを管理することを可能にするプロトコル(例えば、セキュリティアサーションマークアップ言語(SAML)2.0プロトコル)を使用して認証プロバイダと統合し得る。
【0071】
グローバルアーキテクチャ100は、顧客の分別管理を提供するか、または可能にしてもよい。アップロードされた画像を施設専用のクラウドストレージに保存して、顧客間のデータ漏洩を防いでもよい。他のデータは、マルチテナントであってもよく、必ずしも他の顧客のデータからセグメント化されていなくてもよい。グローバルアーキテクチャ100は、定期的に顧客データのバックアップを実施し、所定の期間(例えば、6年間)記録を保持して、災害復旧機能を提供してもよい。所定の期間は、契約上の合意、ルール、ポリシーなどに基づいていてもよい。
【0072】
顧客は、自分のデータの所有者であり続けることができる。顧客のデータは、製品を改善し、プラットフォーム及び関連する製品及びサービスを更に開発するために使用される場合がある。
【0073】
一貫したデータ損失防止(DLP)ソリューションを展開して、潜在的なデータ侵害または漏洩を検出し、データフローを監視し、機密情報(例えば、顧客データや知的財産)を保護してもよい。セキュリティ基準は、選択された基準(例えば、HIPAA<ISO27001、GDPR、HITRUST)と一致してもよい。
【0074】
グローバルアーキテクチャ100は、キーカード管理システムを含んでもよく、物理的なオフィスへのアクセスは、キーカード管理システムによって制御されてもよい。キーカードへのアクセスも、制限されたオフィスエリアへの入場を制御する場合がある。キーカードシステムのログが、監視、アラート、及びイベント相関に使用されるセキュアなログ管理ツールに維持されてもよい。物理的なオフィスはまた、全ての物理的な出入口にビデオモニタリングを有する。
【0075】
グローバルアーキテクチャ100は、従業員の認証を必要とし、監査を可能にするバージョン管理システムを含んでもよく、ソースコードは、バージョン管理システムにセキュアに記憶されてもよい。コードの変更は、品質及び潜在的なセキュリティの問題についてピアレビューされてもよい。更に、コンポーネント及び製品のバージョン管理により、完全な追跡を可能にし得る。
【0076】
従来の検査及び/または正しさ、回帰、安定性、及び妥当性のための検査に加えて、グローバルアーキテクチャ100は、最終製品を形成する全てのコンポーネントについて、静的アプリケーションセキュリティ検査(SAST)及び動的アプリケーションセキュリティ検査(DAST)を実施し得るかまたは実施を可能にし得る。最大限の効率を上げるために、これらのツールは、ソフトウェア開発ライフサイクル(SDLC)内及び継続的統合プラットフォーム内に統合され得る。構想から納入まで、SDLC全体を通して、標準的な業界慣行を使用してもよい。ソースコードなどは、従業員認証を必要とし、監査可能にするバージョン管理システムにセキュアに保存されてもよい。全てのコード変更は、品質及び潜在的なセキュリティの問題についてピアレビューされてもよい。グローバルアーキテクチャは、完全な追跡を可能にし得る。
【0077】
グローバルアーキテクチャ100は、パッチ管理を含んでもよく、定期的なパッチ適用手順及びスケジュールを維持してもよい。グローバルアーキテクチャ100は、全ての管理システムに対して毎月オペレーティングシステムのパッチ適用を実施してもよい。グローバルアーキテクチャ100は、製品の開発全体にわたって製品及びサードパーティソフトウェアのパッチ適用を管理し、各リリースとともに展開してもよい。本明細書で開示されるグローバルアーキテクチャ100及び/またはプロセスは、品質管理システムを含み得る。品質管理システムは、適用可能な規格(ISO13485:2016など)及び規制に準拠して維持されてもよい。品質管理システムは、グローバルアーキテクチャ100に関連して実行されるプロセス、これらのプロセスのインタラクション、リスクアプローチを用いて評価される(例えば、ISO14971規格を満たす)品質管理システム及び製品品質に対するこれらのプロセスのリスク、これらのプロセスをサポート及び監視するためのリソース割り振り、プロセスに関連する測定及び分析活動の有効性、及びプロセスの継続的改善に関連するメカニズムを監視及び/または分析してもよい。
【0078】
グローバルアーキテクチャ100は、脆弱性管理を含んでもよい。グローバルアーキテクチャ100は、セキュリティツールを使用して、製品及び本番環境のアクティブなセキュリティ及び脆弱性スキャンを実施してもよい。グローバルアーキテクチャ100は、識別された問題を記録し、リスク評価を実施してもよい。セキュリティチームは、環境の定期的な評価、レビュー、監査を実施してもよい。更に、チームは脆弱性の問題を追跡して修復してもよい。
【0079】
グローバルアーキテクチャ100は、マルウェア防止を含み得、マルウェア防止は、ウイルス対策及びマルウェア検出ツールの使用を含み得る。グローバルアーキテクチャ100は、ネットワークトラフィックを制御及び監視するためのファイアウォールを含んでもよい。
【0080】
図3A及び図3Bは、例示的な実施形態による、AIアルゴリズムを有するプラットフォームの使用のための例示的な方法を示すワークフローである。例えば、AIは、自動的に、またはユーザによる要求に応答して、プラットフォームによって使用される完全なワークフローの多くの態様に適用され得る。図3Aは、方法300として説明されるメタデータを生成するワークフローの一部分を示し、図3Bは、方法350として説明される図3Aからの、WSI、WSIに関連付けられた補足情報、及び/またはWSIから生成されたメタデータを送信するワークフローの一部分を示す。いくつかの実施例では、方法300及び350は、単一の方法に組み合わせることができる。
【0081】
図3Aを参照すると、AI出力を有するプラットフォーム(例えば、図1のプラットフォーム1a)を使用するための例示的な方法300は、以下のステップのうちの1つ以上を含んでもよい。ステップ302では、方法300は、クラウドコンピューティング環境(例えば、図1のクラウドコンピューティングエコシステム3)において、第1の場所または領域(例えば、図1の病院1)における第1のユーザから、及び/または第1の場所及び/または領域における第1の患者に関連付けられた第1のユーザから、1つまたは複数の全スライド画像(WSI)を受信することを含んでもよい。WSIは、患者に関連付けられた医療試料を示し得る。スライドは、図2に上述されるように、スライドスキャナ104によってスキャンされ、WSIシステム102に記憶され得る。1つ以上のWSIを受信するステップ302はまた、WSI、医療試料、及び/または患者に関連付けられた追加情報もしくは補足情報を受信することを含んでもよい。
【0082】
ステップ304では、方法300は、全スライド画像を第1の領域における第1のコンテナに記憶することを含んでもよい。コンテナは、単純記憶サービス暗号化バケット(例えば、図2の暗号化S3バケット111)などの任意のデータ記憶サービスであってもよい。受信した全スライド画像を記憶することは、受信した全スライド画像の自動AIベースの取り込みを実施することを含んでもよい。
【0083】
ステップ306では、方法300は、1つ以上のWSI上でタスクを実施するために、ユーザ開発またはカスタマイズされた人工知能(AI)モデルまたはアルゴリズム(例えば、図1のサードパーティAIモジュール3a、3b、3c、3d)を適用することを含んでもよい。タスクは、WSI内の医療試料の特性を決定する少なくとも1つのステップを含んでもよい。AIは、スライド自体だけでなく、受信した遺伝子プロファイル、患者履歴、他の関連するスライド、放射線データ、分子データ、臨床データなどの関連する患者データも組み込んでもよい。
【0084】
ユーザが開発したAIモデルまたはアルゴリズムは、第2の場所または領域における第1のユーザ及び/または第2のユーザ(例えば、図1の施設2の研究者)によって開発され、受信されてもよい。このように、方法300は、ユーザが開発したAIモデルまたはアルゴリズムをクラウドコンピューティング環境(例えば、図1のクラウドコンピューティングエコシステム3)に受信するステップを含んでもよい。ユーザが開発したAIモデルまたはアルゴリズムは、クラウドコンピューティング環境に記憶された複数のユーザが開発したAIモデルまたはアルゴリズムに含まれてもよい。複数のAIモデルまたはアルゴリズムの各々は、病院1、施設2、追加の病院4、または病院1の外部の別の施設、組織、または病院など、異なる場所及び/または領域(例えば、第3、第4などの領域)における異なるユーザ(例えば、第3、第4などのユーザ)によって開発され得る。
【0085】
ユーザが開発したAIモデルまたはアルゴリズムを開発する際に、第2のユーザは、第1のユーザから匿名化されたスライドまたは関連付けられたデータ(例えば、スライドに関連付けられたメタデータ)を受信していてもよい。1つ以上の全スライド画像を受信するステップ302は、1つ以上の匿名化された全スライド画像を受信することを含んでもよく、及び/または方法300は、スライドもしくは関連データを匿名化するステップ、及び/または匿名化されたスライドもしくは関連データを第2のユーザに送信するステップを含んでもよい。
【0086】
ユーザが開発したAIモデルまたはアルゴリズムを適用するステップ306は、クラウドコンピューティング環境に記憶された複数のユーザが開発したAIモデルまたはアルゴリズムの中から1人以上のユーザが開発したAIモデルまたはアルゴリズムを選択することを含み得る。この選択は、受信された要求の種類(例えば、所望されるメタデータまたは情報)、特定のユーザが開発したAIモデル(複数可)についてのコマンド、WSIに既に関連付けられており、及び/またはステップ306の前に追加で受信された追加または補足情報もしくはメタデータ、第1のユーザによって受信されたルールもしくはポリシー、及び/または第2のユーザ及び/またはユーザが開発したAIモードをクラウドコンピューティング環境に提出したユーザによって受信されたルールもしくはポリシーに基づいてもよい(例えば、特定のユーザまたは施設は、ライセンス契約に基づいて他のユーザまたは施設がそれらのAIモデルを使用することを禁止することを望む場合がある)。例えば、方法300は、全スライド画像を分析するための要求、及び/またはユーザが開発したAIモデルまたはアルゴリズムを全スライド画像に適用するための要求を受信するステップを含んでもよい。
【0087】
ステップ308では、方法300は、1つ以上のWSIの決定された特性に基づいて、WSIに関連付けられたメタデータを生成することを含んでもよい。メタデータ出力は、スライドから生成され得る。メタデータは、受信された要求及び/または選択されたユーザ開発のAIモデルまたはアルゴリズムに従って生成され得る。
【0088】
メタデータ出力は、ユーザ(例えば、要求者)の希望または好みに従ってカスタマイズ可能であってもよく、(i)症例の割り当て、(ii)症例のワークリスト、(iii)症例の準備、(iv)スライドトレイ、(v)スライドビューア、及び/または(vi)病理レポートを含んでもよいが、これらに限定されない。症例割り当てメタデータを使用して、症例は、AI出力に基づいて専門の病理医に割り当てられてもよく、症例について病理医に自動的に通知し、及び/または症例を複数の病理医に割り当ててもよい。症例ワークリストメタデータを用いて、症例がワークリストに送信され、緊急度に応じて症例を整理または優先順位付けし、重要度に応じて症例を視覚化し、及び/または望ましい結果によって症例を検索し得る。
【0089】
症例準備メタデータを用いて、症例は、患者に必要な特別な染色を注文し、患者の臨床試験を提案し、及び/または例えば、不良なスライド品質に基づいて、スライドの再スキャンをトリガするように準備されることがある。スライドトレイメタデータを用いて、スライドを緊急度または重大度に従って症例内で整理し、スライドを重要度に従って視覚化し、及び/または検出された結果によって症例を検索してもよい。スライドビューアメタデータを用いて、スライドをグラフィカルなAI結果のオーバーレイとともに表示して、AI結果をテキストで要約し、及び/またはフォローアップ研究を提案またはトリガしてもよい。病理レポートメタデータを用いて、病理レポートにワークフローのAI結果が事前に入力されてもよい。
【0090】
メタデータは、図7を参照してより詳細に説明されるように、ヒートマップとして出力されてもよい。ヒートマップは、医療標本における属性の尤度のグラフィカルな予測を含んでもよい。AI及び/またはメタデータ出力は、プラットフォームと併せて使用されるユーザ開発のAIモデルまたはアルゴリズム(例えば、AIモジュールまたは図1のSDK3a、3b、3c、及び/または3d)に更に依存し得る。
【0091】
ステップ310では、方法300は、メタデータを第2のコンテナに記憶することを含んでもよい。第2のコンテナは、第1のコンテナとは異なってもよい。第2のコンテナは、第1の場所もしくは領域と同じであるか、あるいは代替的に、第2の場所もしくは領域及び/または第3の場所もしくは領域などの第1の場所もしくは領域とは異なる場所もしくは領域における単純記憶暗号化バケット(例えば、図2の追加の暗号化S3バケット111)などの任意のデータ記憶サービスであってもよい。いくつかの例では、ユーザが開発したAIモデルまたはアルゴリズムは、生成されたメタデータ及び/またはクラウドコンピューティング環境(例えば、図1のクラウドエコシステム3及び/またはストレージ3e)に受信された任意の追加情報(例えば、長期結果)に基づいて修正及び/または改良され得、ユーザが開発したAIモデルまたはアルゴリズムの精度及び効率が改善され得る。いくつかの実施例では、各施設、場所、領域などは、生成されたメタデータのための独自のコンテナまたはバケットを有し得る。
【0092】
図3Bを参照すると、方法350は、デバイス(例えば、コンピュータまたは他のモバイルデバイス、病院の画像システムなど)から1つ以上の全スライド画像の要求を受信するステップ312を含んでもよい。方法350は、デバイスの物理的な位置に基づいて、デバイスが全スライド画像、全スライド画像に関連付けられた補足情報、及び/または全スライド画像に関連付けられた生成されたメタデータを受信またはアクセスすることを許可されているかどうかを決定するステップ314を含んでもよい。ステップ314は、例えば、デバイスが、第1のコンテナ、第2のコンテナ、第1のユーザ(すなわち、クラウドコンピューティング環境への最初の全スライド画像の送信者)、及び/または患者の同じまたは異なる場所(例えば、病院)、領域(例えば、都市またはローカル病院システム)、及び/またはプライバシー管轄区域(例えば、米国)に位置するかどうかを決定することを含んでもよい。ステップ314は、デバイス及び/またはユーザが第1のコンテナ及び/または第2のコンテナ内の情報にアクセスすることを許可されているかどうかを決定することを含んでもよい。
【0093】
ステップ314はまた、要求者またはデバイスの識別情報及び/または認証情報に基づいて、及び/または任意のポリシー、許可、またはルールに基づいて、デバイスが認可されているかどうかを決定してもよい。ポリシー、許可、またはルールは、(i)第1のユーザ(例えば、図1の病院1)、(ii)メタデータを生成するために使用されるユーザが開発したAIモデルまたはアルゴリズムを作成した第2のユーザ、(iii)第2のコンテナ、及び/または(iii)プライバシー管轄区域内(例えば、患者、病院、及び/または第1もしくは第2のコンテナがEU内に位置する場合のGDPR)の外部ルール、規制、法律、またはポリシーに関連付けられてもよく、またはこれらから受信されてもよい。方法350は、上記のポリシー、許可、またはルールを受信、記憶、及び/または決定するステップを含んでもよい。代替として、またはそれに加えて、ステップ314は、許可を決定するために使用される上記の要因のいずれかに基づいて、全スライド画像、補足情報、及び/または生成されたメタデータを修正する必要があるかどうかを決定することを含んでもよい。
【0094】
方法350は、ステップ314において、デバイスが全スライド画像にアクセスすることが許可されたと決定された場合、ステップ316において、要求された全スライド画像をデバイスに送信または出力することを含んでもよい。例として、WSIは、第1のコンテナから送信されてもよい。代替として、またはそれに加えて、ステップ316は、ステップ314で決定された任意の修正に基づいて、全スライド画像を修正すること、及び/または新しい全スライド画像を生成することを含んでもよい。
【0095】
方法350は、ステップ314において、デバイスが任意のそのような補足情報にアクセスすることを許可されたと判断された場合、ステップ318において、デバイスにWSIに関連付けられた任意の補足情報を送信または出力することを含んでもよい。ステップ314は、補足情報のうちで認可された部分またはタイプ及び認可されていない部分またはタイプを決定することを含んでもよく、ステップ318は、補足情報のうちでそれらの認可された部分またはタイプのみを送信することを含んでもよい。補足情報は、第1のコンテナ及び/または保管から送信されてもよい。代替として、またはそれに加えて、ステップ318は、ステップ314で決定された任意の修正に基づいて、補足情報を修正すること、及び/または新しい補足情報を生成することを含んでもよい。
【0096】
方法350は、ステップ314において、デバイスが生成されたメタデータにアクセスすることを許可されたと決定された場合、ステップ320において、WSIに関連付けられた生成されたメタデータをデバイスに送信または出力することを含んでもよい。ステップ316と同様に、ステップ314は、生成されたメタデータのうちで許可された部分またはタイプ及び許可されていない部分またはタイプを決定することを含み得、ステップ320は、生成されたメタデータのうちでそれらの許可された部分またはタイプのみを送信することを含んでもよい。生成されたメタデータは、第2のコンテナから送信され得る。代替として、またはそれに加えて、ステップ320は、ステップ314で決定された任意の修正に基づいて、生成されたメタデータを修正すること、及び/または新しいメタデータを生成することを含んでもよい。
【0097】
316、318、及び320のうちのいずれか1つまたは全ては、ステップ314でなされた決定に基づいて実施されてもよい。例えば、デバイスは、ステップ302においてWSIを受信したのと同じ病院または医師のものであり、次いでステップ314は、病院がWSI及びWSIに関連付けられた全ての情報(補足及び生成メタデータの両方)にアクセスすることを許可されていると決定してもよく、ステップ316、318、及び320の全てが実施されてもよい。デバイスが研究者のものである場合、研究者と病院との間の共同研究契約、共同開発契約、法律などに基づき、研究者が病院によって提出された特定のWSI(例えば、がんに関連するもの)及び特定の補足データまたは生成されたメタデータにアクセスすることを許容するが、他の情報(例えば、識別情報)へのアクセスを許容しないポリシーがあり得るので、ステップ314は、研究者がWSI及び補足情報及び/または生成されたメタデータの一部または全てにアクセスすることを許可されていると決定し得、ステップ316は、それに応じてステップ318及び320とともに実施され得る。
【0098】
別の例では、デバイスは、ステップ314の間の決定に応じて、認識されていないかまたは許可されていない場所、領域、またはユーザのものである場合があり、ステップ316、318、320のいずれも実施されない場合もある。更に別の例では、いくつかのデバイスは、ユーザ識別情報に基づいて、ステップ314において、生成されたメタデータにはアクセスするが、WSI及び/または補足データにはアクセスすることは許可されていないと決定される場合があり、ステップ316は実施されない場合があるが、それに応じてステップ318及び320は実施され得る。
【0099】
図4A~4Cは、例示的な実施形態による、データ取り込みアプライアンスの例示的なアーキテクチャであり、データ取り込みアプライアンスのプラットフォームアーキテクチャへの統合である。データ取り込みアプライアンスの例示的なアーキテクチャは、スライドが画像としてデジタル化されるときに通知を受信することができるデータ取り込みアプライアンスを提供してもよく、次いで、新しい画像をキューに入れてアップロードしてもよい。準備ができたら、取得された画像は暗号化され(例えば、TLS1.2+を使用して)、それらが処理されるセキュアなクラウドストレージに送信されてもよい。
【0100】
データ取り込みアプライアンスは、スライドスキャナ104などの1つ以上のスキャナとシームレスに統合し得る。転送中データは、(例えば、業界標準のHTTPSを介して、AES-256暗号化を用いたTLS1.2+を使用して)暗号化されてもよい。データ取り込みアプライアンスは、オープン仮想アプライアンス(OVA)ファイルとして配布され得る。
【0101】
図4Aを参照すると、データ取り込みは、WSIシステム102、臨床検査情報システム(LIS)107、及びブリッジ120を含んでもよい。WSIシステム102は、画像管理システム(IMS)またはスライドマネージャ105、ストレージ103、及びスライドスキャナ104を更に備え得、全てのコンポーネントは、互いの間でスライド画像を通信及び送信することができる。
【0102】
ここで、LIS107とスライドマネージャ105との間の統合は、確立され得るか、または事前に存在し得る。このインターフェースは、デジタル化されたスライドをLIS107からアクセス可能にし得る。ブリッジ120は、WSIシステム102などのスキャナ104から構築されたインターフェースからの全ての情報を消費するように展開され、構成されてもよい。インターフェースは、ヘルスレベル7(HL7)、Fast Healthcare Interoperability Resources(FHIR)、データベース、Representational state transfer(REST)アプリケーションプログラミングインターフェース(API)などにおいて構築され得る。
【0103】
ブリッジ120は、スキャナ(複数可)104にローカルに、仮想アプライアンスとしてオンプレミスで容易にインストールされるスタンドアロンの製品またはモジュールとして設計されてもよい。ブリッジ120は、スライドがデジタル化されると、スライドをアップロードしてもよい。準備ができたら、取得された画像及び関連するメタデータは、処理されるためにセキュアなクラウドストレージ3eに送信されてもよい。ブリッジ120は、自動化が可能にされた全てのデジタルスライドスキャナ104とシームレスに統合するように構築され得る。全ての転送中データは、業界標準のHTTPSを介して、AES-256暗号化を用いたTLS1.2+を使用して暗号化されてもよい。ブリッジ120は、オープン仮想アプライアンス(OVA)ファイルとして配布され得る。
【0104】
任意の補足情報は、LIS107から取得されてもよい。画像及び関連する情報は、ブリッジ120からクラウド121に送信されてもよい。この例は、ブリッジ120が新しくデジタル化された画像を通知され、スキャナ104及び/またはスライドマネージャ105及びLIS107の組み合わせから関連するデータを取り出すことを可能にする。
【0105】
図4Bを参照すると、WSIシステム102の任意の部分とLIS107が統合されない場合がある。このオプションでは、WSIシステム102は、スライドマネージャ105を含まない。ここで、ブリッジ120は、スキャナ104及び出力ストレージ103からデジタル化された画像を消費するためのメインシステムとして展開及び構成されてもよい。ブリッジ120はまた、LIS107から患者及び症例メタデータを取得するために使用されてもよい。次いで、ブリッジ120は、デジタル化された画像に関するこの情報のいずれかをLIS107に送信するか、または画像及び関連情報をクラウド121に送信してもよい。この例は、ブリッジ120が、LIS107に新たにデジタル化された画像を通知され、LIS107との双方向統合を形成して、LIS107に記憶されたスキャンされた画像と情報を調和させることを可能にする。
【0106】
図4Cを参照すると、ここで、LIS107とWSIシステム102のスライドマネージャ105との間に統合が確立または事前に存在して、デジタル化されたスライドがLIS107からアクセス可能であることを可能にし得る。このインターフェースを介して、患者、症例、及びスライド情報が利用可能になり得る。ブリッジ120は、スキャナ104システムに対して構築されたインターフェースからの全ての情報を消費するように展開され、構成されてもよい。画像及び関連する情報は、ブリッジ120からクラウド121に送信されてもよい。LIS107とスライド管理システム105及び/またはスキャナ104との間の既存の統合を用いて、スライド管理システム105及び/またはスキャナ104から画像及び関連するメタデータを取り出す機構を開発してもよい。
【0107】
図5A~Cは、例示的な実施形態による、臨床情報システム(LIS)の例示的なアーキテクチャであり、LISのプラットフォームアーキテクチャまたは他の病院システムへの統合である。
【0108】
図5Aを参照すると、LIS107は、ビューア108と一方向で通信してもよい。ビューア108が自動的にまたはユーザからの要求に応答して開かれると、HTTPなどのプロトコルは、症例及び患者を識別するために全ての情報を転送することを要求してもよい。この情報は、LIS107によってウェブ製品115に検証のために送信されてもよい。情報は、SAMLまたは別の標準を使用して認証を交換することによって、病院の認証プロバイダ109に認証され得る。認証されると、画像及び任意の関連するAI結果は、ビューア108上にストリーミングまたは表示されてもよい。この例は、症例または画像への直接リンクがLIS107に組み込まれることを可能にし得、ビューア108が既存のワークフローの一部として開かれることを可能にする。
【0109】
図5Bを参照すると、LIS107は、ビューア108と直接通信してもよい。ウェブ製品115はまた、LIS107と直接通信して、LIS107の双方向統合を確立してもよい。ビューア108が自動的にまたはユーザからの要求に応答して開かれると、HTTPなどのプロトコルは、症例及び患者を識別するために全ての情報を転送することを要求してもよい。この情報は、LIS107によってウェブ製品115に検証のために送信されてもよい。情報は、SAMLまたは別の標準を使用して認証を交換することによって、病院の認証プロバイダ109に認証され得る。認証されると、画像及び任意の関連するAI結果は、ビューア108上にストリーミングまたは表示されてもよい。この例は、プラットフォーム(例えば、ステータスなど)からデータを取り出すために使用することができるAPI(例えば、REST API)のセットを可能にし、情報がLIS107または任意の他の既存の医療システムに伝播することを可能にしてもよい。LIS107は、ウェブ製品115が提供するREST APIから情報を取り出すことができる。
【0110】
図5Cを参照すると、LIS107は、ビューア108と直接通信してもよい。ウェブ製品115はまた、ブリッジ120を介してLIS107と通信して、LIS107の双方向統合を確立してもよい。ビューア108が自動的にまたはユーザからの要求に応答して開かれると、HTTPなどのプロトコルは、症例及び患者を識別するために全ての情報を転送することを要求してもよい。この情報は、LIS107によってウェブ製品115に検証のために送信されてもよい。情報は、SAMLまたは別の標準を使用して認証を交換することによって、病院の認証プロバイダ109に認証され得る。認証されると、画像及び任意の関連するAI結果は、ビューア108上にストリーミングまたは表示されてもよい。更に、ブリッジ120は、任意のプロトコルを介して、LIS107または電子医療記録(EMR)または病院システム130などの他のシステムへのより高度な書き込み動作のために使用されてもよい。この例は、ブリッジ120を使用して、プラットフォームからデータを取り出すのを可能にし、LIS107または任意の他の既存の健康システムに情報を伝播させることを可能にし得る。
【0111】
図6は、本開示の例示的な実施形態による、スライドビューアの例示的なアーキテクチャである。ビューアは、病理医が、関連する患者についての保護された健康情報(PHI)を含んでもよい、病理標本または症例のデジタル化された画像をレビュー及び解釈するための補助として、体外診断用に使用されてもよい。例えば、ビューアは、スライドのデジタル化された病理画像の視聴及びナビゲーションの改善を容易にするAIネイティブのウェブベースのソフトウェア製品を含んでもよい。例示的なアーキテクチャは、ユーザ(例えば、病理医)がデジタル化されたスライド画像または診断症例を見ることを可能にし得る。
【0112】
例示的なアーキテクチャ600は、ローカル環境におけるいくつかのコンポーネント、ならびにクラウド140などのクラウドコンピューティングサービスに基づくいくつかのコンポーネントを含んでもよい。ローカル設定内に、ウェブアプリケーション131、ワークリスト132、及び対応するユーザ、例えば、病理医、管理者などを有するマネージャ製品133などの製品が存在してもよい。ウェブアプリケーション131、ワークリスト132、及び/またはマネージャ製品133のいずれか1つは、スライド加入者137を介してスライドキュー136にスライドまたは他の情報を送信してもよい。更に、仮想マシン171を有する施設Aには、スライドスキャナ104、ファイルシステム134、及びデータベース138が存在し得る。仮想マシンは、スライドをスライドキュー136に送信する前に、ファイルシステム134またはデータベース138からスライドを取得し得るウォッチャー135を含んでもよい。
【0113】
クラウド140において、全ての画像がWAF110を介してスクリーニングされることが必要になってもよい。次いで、スライドは、クラウドベースのワークリストアプリケーション132、内部アプリケーションロードバランサ(ALB)146または外部ALB147、またはウェブフレームワーク172に送信されてもよい。
【0114】
画像が内部ALB146に送信される場合、内部ALB146は次いで、画像を施設API148に送信してもよい。次いで、施設API148は、画像をSQLインスタンス149に送信してもよく、画像は、そこに記憶されてもよい。施設API148はまた、画像を症例加入者152に送信してもよい。要求された場合、自動的に、またはユーザからの要求に応答して、症例API152は、メインデータベース154及び領域データベース155を含んでもよいクラスタ領域153に画像を送信する。
【0115】
画像が外部ALB147に送信される場合、画像は次いで、データ取り込みアプライアンス106及び/または領域トピック174に送信されてもよい。画像は、領域トピック174から、症例キュー150に送信され、次いで症例加入者151または症例API152に送信されてもよい。上述したように、症例API152は、メインデータベース154及び領域データベース155を含むクラスタ領域153に画像を送信してもよい。代替として、画像は、外部ALB147から症例152、またはインスタンスマネージャ149に直接送信されてもよい。更に、外部ALB147は、画像を症例キュー150に直接送信してもよい。
【0116】
外部ALBはまた、画像をワークリスト132またはサーバ141に送信してもよい。サーバ141は、ウェブアプリケーションビューア142及びファイルシステム143を含んでもよい。ファイルシステム143は、サーバ141上にスライド画像を記憶してもよい。サーバ141は、ユーザが認証された後に画像をウェブサービスコンソール113上に送信してもよく、次いでウェブサービスコンソール113は、クラウド140からアクティブディレクトリ170に画像を送信してもよい。
【0117】
画像はまた、ウェブアプリケーションビューア142から、アプリケーションログとともにプロジェクト及びユーザ情報を記憶するキャッシュ144に送信されてもよく、または2つのバケットのうちの一方に送信されてもよい。一方のバケットは、推論結果バケット145であってもよく、他方のバケットは、施設A101に関連付けられたバケット111であってもよい。代替として、ウェブアプリケーションビューアは、画像を内部ALB146に送り返してもよい。
【0118】
図7A及び図7Bに示されるように、1つ以上の実施形態は、計算病理プロセス及びデバイス(例えば、前立腺癌検出)のためのアーキテクチャを提供し得る。アーキテクチャを使用して、身体の部分(複数可)から取られた標本を含むスライドからの画像にAI及び機械学習モデルを適用し、AI及び機械学習モデルに関連する追加のメタデータ(例えば、ヒートマップ)を生成してもよい。ヒートマップは、計算病理プロセス及びデバイスの1つの可能な戻り値のみであってもよい。ヒートマップは以下に詳細に説明されるが、他の戻り値は、オーバーレイ画像、テキスト、または他の情報を含んでもよい。
【0119】
ヒートマップは、スライドからの画像の各エリアに対してがんの確率を識別する2次元(2D)画像であってもよい。例えば、画像の各ピクセルは、0~1の値を割り当てられ得、より高い数は、画像のその特定のエリアにおけるがんのより高い確率に対応する。
【0120】
図7Aを参照すると、開示された計算病理プロセス及びデバイスのアーキテクチャ700は、クラウドサービスプロバイダ140に基づいていてもよい。プロセスは、予測モジュール161にメッセージを送信し得るトリガ160への応答から開始してもよい。予測モジュール161は、予測をビューアヒートマップ164に送信してもよく、ビューアヒートマップ164は、予測を使用して追加のヒートマップ165またはヒートマップ166を作成してもよい。ヒートマップ166は、圧縮されて結果バケット168に送信されてもよく、更に結果バケット168からヒートマップをフェッチしてもよい。
【0121】
予測モジュール161はまた、アップロードされたスライドを予測分類モジュール162に送信してもよい。予測分類モジュール162は、スライドを追加の分類キュー163または予測分類167に送信し得る。アップロードされたヒートマップは、予測分類167から結果バケット168に送信されてもよい。代替として、予測分類167は、スライドバケット169から前立腺スライドをフェッチしてもよい。
【0122】
図7Bを参照すると、方法710は、トリガ(例えば、アップロードまたはスキャンされるファイルなどの図7Aのトリガ160、ユーザ入力など)に応答して、1つ以上のメッセージを受信するステップ702を含んでもよい。例えば、1つ以上のメッセージは、エンキューされる通知サービスに受信され得る。方法710は、1つ以上のメッセージを処理、送信、及び/または転送するステップ704を含んでもよい。例えば、ステップ704は、1つ以上のメッセージを処理し、1つ以上のメッセージを分類キューに送信し、1つ以上のメッセージを分類ワーカーサービスに転送することを含んでもよい。エラーが発生し、メッセージを処理できない場合、メッセージは、後で分析されるデッドレターキューに送信されてもよい。
【0123】
方法は、ステップ706において、訓練された機械学習モデルをスライドまたは全スライド画像に適用すること、及び/または訓練された機械学習モデルを使用して計算を実施して、関連する組織から対象となる1つ以上のバイオマーカーを識別し、分析から無関係の組織を除外することを含んでもよい。分類ワーカーサービスで受信したメッセージごとに、スライドまたはWSI(例えば、前立腺スライド)を取得してもよく、計算を実施してもよい。計算は、関連する組織(例えば、がん組織)から対象となるバイオマーカー(複数可)を識別するように訓練された機械学習モデルを使用して実施され得、無関係な組織は分析から除外される。
【0124】
方法710は、ステップ708において、戻り値を作成または決定することを含んでもよい。戻り値は、画像の任意の部分に疾患(例えば、がん)の可能性を示すヒートマップ(例えば、前立腺ヒートマップ)を含んでもよい。方法710は、ステップ712において、戻り値を(例えば、ヒートマップとして)電子記憶デバイス(例えば、クラウドコンピューティング環境における図1のストレージ3eまたは図1のクラウドコンピューティングエコシステム3)に出力またはアップロードすることを含んでもよい。更に、計算の後、分類ワーカーサービスは、戻り値(例えば、ヒートマップ)が準備されたかどうか、またはプロセスが失敗したかどうかを示す通知を通知サービスにプッシュバックしてもよい。方法710は、WAF(例えば、図2のWAF110)の背後で実施され得る。方法710は、1つ以上の管理リソース及び/または開発リソースから分離され得る。方法710は更に、顧客データの集合が、計算を実施する場所、戻り値を作成する場所、戻り値を出力する場所、または方法710の他のステップが行われる場所から離れることを禁止することを含んでもよい。
【0125】
更に、通知サービスは、分類ワーカーサービスから受信した通知に基づいて、ビューア戻り値キュー(例えば、ビューアヒートマップキュー)にメッセージを送信し得る。次いで、メッセージは、戻り値キューによって順次または並列に処理され、戻り値ワーカーサービス(例えば、ヒートマップワーカーサービス)に転送されてもよい。エラーが発生し、メッセージが処理できない場合、メッセージは、後で分析されるデッドレターキューに送信されてもよい。
【0126】
戻り値ワーカーサービスで受信したメッセージごとに、戻り値(例えば、ヒートマップ)が結果バケットから取り出され得、計算が実施され得る。例によれば、結果バケットからヒートマップを取り出した後、ヒートマップワーカーサービスは、圧縮されたBMPヒートマップ及びJSONメタデータを作成し、結果バケットにプッシュし得る。別の例によれば、ヒートマップワーカーサービスは、圧縮されたBMPヒートマップ及びJSONメタデータとともにヒートマップを結果バケットに送信してもよい。
【0127】
本明細書で開示される技術的態様は、以下の特徴のいずれかまたは全てを提供または実施し得る。(i)転送中のデータの暗号化(例えば、TLS1.2+を使用)、(ii)保存データの記憶、(iii)キー管理システム(KMS)に記憶された暗号化キー、及び/または(iv)フルディスク(プリブート)暗号化。転送中のデータを暗号化することは、データをそのサービスに送信すること、データをエコシステム内で送信すること、及びデータをユーザに送り返すことのいずれか1つまたはいずれかの組み合わせを含んでもよい。保存データを記憶することは、PHIを記憶すること(例えば、AES-256暗号化)を含んでもよい。KMSは、例えば、FIPS140-2規格に構築されたハードウェアモジュールを利用するセキュアでレジリエントなサービスであり得る。フルディスク(プリブート)暗号化を実施することは、顧客のデータが処理され、受信されるいずれかまたは全てのデバイスのフルディスク暗号化を実施することを含んでもよい。
【0128】
計算病理検出プロセス及びデバイスは、ウェブアプリケーションファイアウォール(WAF)(例えば、図2のWAF110)の背後にプロビジョニングされてもよく、これによって、着信HTTPトラフィックを監視し、許容されていないトラフィックをフィルタリングして、悪意のある攻撃(例えば、インジェクション、DDOSなど)から保護してもよい。
【0129】
セキュリティレベルの向上のために、本明細書で開示される技術的態様は、生産リソースを管理及び開発リソースから分離し得る。例えば、細かいアクセス制御を使用して、顧客データがプロダクションエンクレーブを離れることを禁止することができる。
【0130】
図8は、本開示において説明されるワークフロー及びプラットフォームで使用するための例示的な推論アーキテクチャである。推論モジュール内で、臨床スライドは、SNSプラットフォーム176に取り込まれ得る。スライドは、スケジューラキュー(例えば、単純キューサービス(SQS))177に送信されてもよく、そこで推論が起動されてもよい。推論は、スケジューラ178に送信されてもよく、及び/またはスケジューラ178から更に受信されてもよい。入力はまた、AIモジュール180から送信されてもよく、AIモジュール180は、結果コールバックAPI184とともにG4ノード182上のポッド上に提供されてもよい。AIモジュール180は、結果S3バケット186に結果をポストするか、または取り込みS3バケット188から入力を取得してもよい。
【0131】
スケジューラ178は、更に、K8ジョブAPI190に情報を送信するときに、ジョブを開始し、ジョブステータスを取得し、完了したジョブを削除し得る。K8ジョブAPI190は、次いで、AIモジュール設計に応じて、この情報をAIモジュール180に送信してもよい。スケジューラ178は、更に、状態を調整及び起動し、対応する情報をスケジューラデータベース192に送信してもよい。
【0132】
S3通知イベントは、結果S3バケット186から、S3イベントトランスレータキュー193(例えば、S3イベントトランスレータSQS)に送信されてもよい。通知イベントは、S3イベントトランスレータ194に送信されてもよく、及び/またはS3イベントトランスレータ194から更に受信されてもよい。イベントトランスレータ194は、更に、SNSプラットフォーム176にアップロードされた、アップロードされた推論結果を送信し得る。
【0133】
AIモジュール180は、アップロードされた結果コールバックを結果コールバックAPI184及び/または追加のAPI196に更にポストしてもよく、結果コールバックAPI184及び/または追加的なAPI196は、次いで、SNSプラットフォーム176に情報を送信してもよい。追加のAPI196は、AIモジュール180、結果S3バケット186、結果データベース181、及びSNSプラットフォーム176と通信してもよい。
【0134】
SNSプラットフォーム176は、更に、取り込まれた臨床スライドを加入者キュー177(例えば、加入者SQS)に送信してもよく、加入者キュー177は、推論結果を加入者モジュール181に送信してもよい。加入者モジュール181は、結果インデックス及び下された決定を書き込んでもよく、それらは、結果データベース181に送信されてもよい。結果データベース181はまた、追加のAPI196から情報を受信してもよく、及び/または追加のAPI196に情報を送信してもよく、追加のAPI196は、結果インデックス及び下された決定を読み取ってもよい。API196はまた、読み取り結果をS3結果バケット186に送信してもよい。
【0135】
図8に示されるように、SNSプラットフォーム176は、スケジューラキュー177及び/またはスケジューラ178ならびに加入者キュー179及び/または加入者181と通信してもよい(例えば、情報を送信してもよい)。SNSプラットフォーム176は、結果コールバックAPI184、スケジューラ178、加入者181、及びイベントトランスレータ194と通信してもよい(例えば、情報を受信してもよい)。
【0136】
図9に示すように、デバイス900(例えば、スキャナ104)は、中央処理ユニット(CPU)920を含んでもよい。CPU920は、例えば、任意のタイプの特殊目的の処理デバイスまたは汎用マイクロプロセッサデバイスを含む任意のタイプの処理デバイスであってもよい。関連技術分野の当業者によって理解されるように、CPU920はまた、マルチコア/マルチプロセッサシステム、単独で動作するそのようなシステム、またはクラスタもしくはサーバファーム内で動作するコンピューティングデバイスのクラスタにおける単一のプロセッサであってもよい。CPU920は、データ通信インフラストラクチャ910、例えば、バス、メッセージキュー、ネットワーク、またはマルチコアメッセージパッシングスキームに接続され得る。
【0137】
デバイス900はまた、メインメモリ940、例えば、ランダムアクセスメモリ(RAM)を含み得、セカンダリメモリ930も含んでもよい。セカンダリメモリ930、例えば、読み取り専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであり得る。そのようなリムーバブルストレージドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含んでもよい。この例のリムーバブルストレージドライブは、周知の方法でリムーバブルストレージユニットから読み取り、及び/またはリムーバブルストレージユニットに書き込む。リムーバブルストレージは、リムーバブルストレージドライブによって読み取られ、リムーバブルストレージドライブによって書き込まれるフロッピー(登録商標)ディスク、磁気テープ、光ディスクなどを含んでもよい。関連技術分野の当業者によって理解されるように、そのようなリムーバブルストレージユニットは、一般に、その中にコンピュータソフトウェア及び/またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
【0138】
代替の実装形態では、セカンダリメモリ930は、コンピュータプログラムまたは他の命令をデバイス900にロードすることを可能にするための同様の手段を含んでもよい。そのような手段の例は、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲームデバイスに見られるものなど)、リムーバブルメモリチップ(EPROMまたはPROMなど)及び関連するソケット、ならびに他のリムーバブルストレージユニット及びインターフェースを含んでもよく、これらは、ソフトウェア及びデータをリムーバブルストレージユニットからデバイス900に転送することを可能にする。
【0139】
デバイス900はまた、通信インターフェース(「COM」)1060を含んでもよい。通信インターフェース960は、ソフトウェア及びデータがデバイス900と外部デバイスとの間で転送されることを可能にする。通信インターフェース960は、モデル、ネットワークインターフェース(イーサネット(登録商標)カードなど)、通信、PCMCIAスロット及びカードなどを含んでもよい。通信インターフェース960を介して転送されるソフトウェア及びデータは、信号の形態であってもよく、このような信号は、通信インターフェース960によって受信されることができる電子、電磁、光、または他の信号であってもよい。これらの信号は、デバイス900の通信経路を介して通信インターフェース960に提供されてもよく、通信経路は、例えば、ワイヤまたはケーブル、光ファイバー、電話回線、携帯電話リンク、RFリンクまたは他の通信チャネルを使用して実装されてもよい。
【0140】
かかる機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は、それに十分に精通していると想定される。デバイス900はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入出力デバイスと接続するための入出力ポート650を含んでもよい。当然ながら、様々なサーバ機能は、いくつかの類似したプラットフォーム上に分散されるように実装され、処理負荷を分散させてもよい。代替として、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
【0141】
図1~9を参照すると、本明細書で開示されるデバイス、システム、及び方法は、組織病理スライドのデジタル画像上でがんの疑いのある病巣を特定し得る。疑わしい形態が検出されると、本明細書で開示されるデバイス、システム、及び方法は、がんの疑いのある病巣に病理医の注意を引くことができる。本明細書で開示されるシステムは、例えば、Memorial Sloan Kettering Cancer Center(MSKCC)において見られ診断されるデジタル化されたヘマトキシリン&エオシン(H&E)スライドを用いて訓練された決定論的ディープラーニングモデルを提供し得る。
【0142】
前立腺癌の文脈では、本明細書で開示されるデバイス、システム、及び方法(例えば、グローバルアーキテクチャ100、AIモジュール、もしくはSDK3a、3b、3c、3d)は、病理医のレビューのためにがんの疑いのあるデジタル化されたH&E前立腺針生検画像、もしくはその領域を識別、決定、もしくはフラグ付けしてもよい。
【0143】
例えば、AIモジュールまたはSDK3a、3b、3c、または3dは、前立腺癌検出モジュール3bを含んでもよい。前立腺癌検出モジュール3bは、前立腺組織または周囲エリアのデジタル画像(例えば、全側画像またはデジタル化されたH&E前立腺生検及び/または切除画像を含むWSI)を分析してもよい。前立腺癌検出モジュール3bは、受信された画像ががんの疑いがあるかどうか(及び/または受信された画像のうちのどの画像にがんの疑いがあるか)を識別または決定し、近くの組織ががんの疑いが最も高い対象となる点の場所を決定及び/または提供し、グレードまたはスコア(例えば、Gleasonスコア)決定または計算して、例えば、WSIの全腫瘍範囲及び割合など、WSIを定量化してもよい。前立腺癌検出モジュール3bは、対象となる点の場所及び/またはスコアに基づいてパターンを更に決定する。前立腺癌検出モジュール3bは、対象となる点の識別、決定、スコア、及び/または場所のいずれかを出力してもよい。前立腺癌検出モジュール3bは、がんの予測される尤度及び組織全体にわたって検出された各パターンを含む追加の画像を生成及び/または出力し得る。図10Aは、対象となるエリア(複数可)を示す出力を例示し、図10Bは、例示的な定量化の出力を例示する。
【0144】
別の例として、AIモジュールまたはSDK3a、3b、3c、または3dは、乳癌検出モジュール3cを含んでもよい。乳癌検出モジュール3cは、乳房組織または周囲エリアのデジタル画像(例えば、デジタル化されたH&E乳房生検及び切除画像を含む全スライド画像またはWSI)を分析し得る。乳癌検出モジュール3cは、受信された画像にがんの疑いがあるかどうか(及び/または受信された画像のうちのどの画像にがんの疑いがあるか)を識別または決定し、近くの組織ががんの疑いが最も高い対象となる点の場所を決定及び/または提供し、グレードまたはスコア(例えば、Gleasonスコア)を決定または計算してWSIの全腫瘍範囲及び割合など、WSIを定量化してもよい。乳癌検出モジュール3cは、対象となる点の場所及び/またはスコアに基づいてパターンを更に決定してもよい。乳癌検出モジュール3cは、対象となる点の識別、決定、スコア、及び/または場所のいずれかを出力してもよい。乳癌検出モジュール3cは、がんの予測される尤度及び組織全体にわたって検出された各パターンを含む追加の画像を生成及び/または出力し得る。図10Cは、ヒートマップの形態の出力を例示する。
【0145】
本明細書で開示される態様は、強力なソフトウェア開発キット(SDK)の開発、迅速な研究を可能にするツールの開発、AIソリューションの容易な試作及び納入、AIネイティブビューイングエコシステム、グローバル流通能力、様々な臨床パートナー及び他の当事者からの匿名化されたデジタル病理スライド画像の膨大なリポジトリ、スケーラブルでセキュアなストレージ、及びコンピューティングインフラストラクチャを可能にし、及び/または強化し得る。
【0146】
本明細書で開示される態様は、データ記憶及びアーカイブ、AI開発、視覚化及びアノテーション、ならびに共有及び共同研究を強化するためのAIネイティブ開発エコシステムを提供してもよい。
【0147】
本明細書で開示される態様は、流通、市場、分析、及び課金を提供し得る。本明細書で開示される技術的態様は、自動化された製品分析、使用及び消費に関するレポート、課金レポートの生成、世界中の製品の流通、ならびに研究のためのデータへのアクセス及び/または入手を提供または強化し得る。
【0148】
本明細書で開示される態様は、安定性、可用性及びサポート、セキュリティ及びコンプライアンス、大規模な推論、ならびにワークフロー及び相互運用性を強化することによって、製品化及び納入を強化し得る。
【0149】
本明細書で開示される態様は、全スライド画像(WSI)における匿名化及びPHI除去、データアクセス及び論理制御の管理、カスタムデータセットの作成及び広範な検索機能、アップロード及びダウンロード量の監視、ならびに外部の個人または研究グループとの間のデータの共有及び共同研究を提供することによって、データ記憶を強化し得る。
【0150】
本明細書で開示される態様は、様々なパートナー及び/または当事者が独自のアルゴリズムを設計及び開発することを可能にし、開発、検査、及び検証を可能にし、ローカルでの開発を可能にして大規模なディープラーニングの力を活用し、最先端のフレームワーク及びライブラリへのアクセスを提供または許容し、かつ最新のGPUハードウェアを利用することによって、AI開発を強化し得る。
【0151】
本明細書で開示される態様は、修正、視覚化、及びアノテーションを強化し得る。本明細書で開示される態様は、WSIをレビューまたは分析するときにインサイトを使用し得るか、または他者がインサイトを得ることを可能にし得る。インサイトは、ユーザと一緒に設計及び構築され、AIネイティブである可能性があり、より豊かな体験及びAI結果の簡単な表示を可能にする。本明細書で開示される技術的態様は、病理医に高度なアノテーション機能を提供するインサイトを提供し得る。本明細書で開示される技術的態様は、ワークフローの様々な段階で統合され得るAIソリューションを提供し得る。
【0152】
本明細書で開示される態様は、世界中の他の研究者及び科学者からのフィードバックの収集を強化し、様々なパートナー及び/または当事者が臨床施設と共同研究を行ってして病理医と解決策を共有し、改善のためのフィードバックを収集することを可能にすることによって、共有及び共同研究を強化し得る。
【0153】
本明細書で開示される態様は、スキャナ及び画像に依存しないエコシステムを提供することによって、ワークフロー及び/または相互運用性を強化し得る。データは、手動による介入なしにプラットフォームに自動的に取り込まれてもよい。LISシステムとのサポート統合は、APIのRESTfulセットを介して行われてもよい。
【0154】
本明細書で開示される態様は、医療デバイスの製品化に関する深い専門知識を提供または可能にし、誰がAIソリューションにアクセスするかについて細かい制御を提供することによって、当事者が世界中の様々な施設でソリューションを検証できるようにするグローバルクラウドフットプリントを提供することによって、大規模に推論を強化し得る。
【0155】
本明細書で開示される態様は、全ての転送中データ及び全ての保存データを暗号化することによって、セキュリティ及びコンプライアンスを強化し得る。画像は、顧客及び/または施設ごとに異なるバケットまたはコンテナに記憶され得る。本明細書で開示される技術的態様は、継続的なセキュリティ検査を提供し得、HIPAA、HITRUST、GDPR、SOC2、SOC3、及びISO27001準拠に向けて積極的に取り組み得る。
【0156】
本明細書で開示される態様は、高い稼働時間を有する安定した信頼性の高いインフラストラクチャを提供することによって、安定性及びサポートを強化し得る。
【0157】
本明細書で開示される態様は、ソフトウェア開発キット(SDK)の開発及び訓練、ならびに独自のアルゴリズム、カスタマイズされたアルゴリズム、及び/またはユーザ設計もしくはサードパーティアルゴリズムの開発及び実行を強化し得る。
【0158】
本明細書で開示される態様は、Pythonでの開発をサポートし得るSDKをサポート及び/または提供し得るが、本明細書で開示される態様は、プログラミング言語に限定されない。本明細書で開示される態様は、PyTorchライブラリを使用した機械学習及びディープラーニング開発を提供し得る。本明細書で開示される態様は、訓練のために高度なハードウェアを利用し得る。
【0159】
本明細書で開示される態様は、大規模な展開及び推論、Dockerコンテナ内のコンテナ化されたソリューション、ならびに推論のためにWSIを提供され、結果を表示することをサポートするコンテナを強化し得る。本明細書で開示される態様は、クラウドのエラスティシティを活用して、全世界の全てのユーザをサポートし得る。
【0160】
本開示を通して、コンポーネントまたはモジュールへの言及は、一般的に、機能または関連する機能のグループを実施するために論理的に一緒にグループ化することができるアイテムを指す。同じ参照番号は、一般に、同じまたは同様のコンポーネントを指すことを意図されている。コンポーネント及びモジュールは、ソフトウェア、ハードウェア、またはソフトウェア及びハードウェアの組み合わせで実装されてもよい。
【0161】
上記のツール、モジュール、及び機能は、1つ以上のプロセッサによって実施され得る。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリのいずれかもしくは全て、または様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連するモジュールを含んでもよく、ソフトウェアプログラミングのためにいつでも非一時的なストレージを提供してもよい。
【0162】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の通信ネットワークを介して通信され得る。例えば、通信は、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードすることを可能にし得る。本明細書で使用する場合、非一時的で有形の「記憶」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実施のためにプロセッサに命令を与えることに関与する任意の媒体を示している。
【0163】
前述の一般的な説明は、単に例示的かつ説明的なものであり、本開示を限定するものではない。本発明の他の実施形態は、本明細書の考慮及び本明細書で開示される実践から、当業者に明らかとなろう。本明細書及び実施例は、単に例示的なものとみなされることが意図される。
図1
図2
図3A
図3B
図4A
図4B
図4C
図5A
図5B
図5C
図6
図7A
図7B
図8-1】
図8-2】
図9
図10A
図10B
図10C
【国際調査報告】