(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-15
(54)【発明の名称】症例最適化を判定するための画像処理システム及び方法
(51)【国際特許分類】
G16H 70/00 20180101AFI20250107BHJP
G16H 30/00 20180101ALI20250107BHJP
【FI】
G16H70/00
G16H30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024532276
(86)(22)【出願日】2022-09-29
(85)【翻訳文提出日】2024-05-29
(86)【国際出願番号】 US2022077277
(87)【国際公開番号】W WO2023114566
(87)【国際公開日】2023-06-22
(32)【優先日】2021-12-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518307592
【氏名又は名称】ペイジ.エーアイ インコーポレイテッド
【氏名又は名称原語表記】PAIGE.AI, Inc.
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】スー, ジリアン
(72)【発明者】
【氏名】シーモア, サム
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA26
(57)【要約】
電子医用画像を処理して病理症例の検査順序を最適化するためのシステム及び方法について本明細書に説明する。例えば、複数の病理症例とともに、複数の変数及び1つまたは複数の制約が受信され得る。複数の病理症例の各症例は、患者に関連付けられた少なくとも1つの病理検体の1つまたは複数の医用画像を含んでもよい。各症例からの医用画像、複数の変数、及び1つまたは複数の制約が、訓練済みシステムへの入力として提供され得る。1つまたは複数の制約に基づいて複数の変数のうちの1つまたは複数を最適化するための複数の症例のユーザ検査の順序が、訓練済みシステムの出力として受信され得る。複数の症例の各症例が、順序に従って検査のためにユーザに自動的に提供され得る。
【選択図】
図2
【特許請求の範囲】
【請求項1】
電子医用画像を処理して病理症例の検査順序を最適化するためのコンピュータ実施方法であって、
複数の変数及び1つまたは複数の制約を受信することと、
複数の病理症例を受信することであって、前記複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、前記受信することと、
訓練済みシステムへの入力として、各症例からの前記1つまたは複数の医用画像、前記複数の変数、及び前記1つまたは複数の制約を提供することと、
前記訓練済みシステムの出力として、前記1つまたは複数の制約に基づいて前記複数の変数のうちの1つまたは複数を最適化するための前記複数の症例のユーザ検査の順序を受信することと、
前記順序に従って前記複数の症例の各症例を検査のためにユーザに自動的に提供することと、
を含む、前記コンピュータ実施方法。
【請求項2】
前記訓練済みシステムが、複数の潜在的順序と、前記複数の変数のうちの前記1つまたは複数の最適化レベルを示す前記複数の潜在的順序のそれぞれについてのスコアと、を判定し、出力として提供された前記順序が、最高スコアを有する前記複数の潜在的順序のうちの1つである、請求項1に記載の方法。
【請求項3】
前記複数の変数の少なくとも第1の変数及び第2の変数が最適化されるとき、前記訓練済みシステムが、前記複数の潜在的順序のそれぞれについての前記第1の変数の第1のスコア及び前記第2の変数の第2のスコアを判定し、出力として提供された前記順序が、前記第1のスコア及び前記第2のスコアに基づいて最大化された全体スコアを有する前記複数の潜在的順序のうちの1つである、請求項2に記載の方法。
【請求項4】
最適化される前記複数の変数のうちの前記1つまたは複数が、ユーザ選択変数である、請求項1に記載の方法。
【請求項5】
前記訓練済みシステムが、訓練済み機械学習システムまたは訓練済みルールベースシステムである、請求項1に記載の方法。
【請求項6】
前記複数の病理症例の各症例からの前記1つまたは複数の医用画像を処理して前記医用画像の1つまたは複数の特性を判定するように構成された訓練済み機械学習システムからの出力として、前記医用画像の判定された前記1つまたは複数の特性を受信することと、
前記医用画像の前記判定された1つまたは複数の特性を前記訓練済みシステムへのさらなる入力として提供することであって、前記判定された1つの特性が、症例の複雑度、症例の種類、医用画像あたりの、または症例あたりの関心領域の数、医用画像あたりの組織の量、画像品質を含む、前記提供することと、
をさらに含む、請求項1に記載の方法。
【請求項7】
1つまたは複数の追加の病理症例を受信することであって、前記1つまたは複数の追加の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、前記受信することと、
前記1つまたは複数の追加の病理症例のそれぞれからの前記1つまたは複数の医用画像を、前記訓練済みシステムへのさらなる入力として提供することと、
前記訓練済みシステムの出力として、更新された順序を受信することと、
をさらに含む、請求項1に記載の方法。
【請求項8】
前記訓練済みシステムが、複数のユーザのそれぞれに前記複数の症例のサブセットを割り当てるようにさらに構成され、前記訓練済みシステムからの出力として受信された前記順序が、前記複数の症例の各サブセットのユーザ検査の順序を含む、請求項1に記載の方法。
【請求項9】
前記訓練システムから受信した情報に基づいて前記変数の1つまたは複数の最適化を増大させるために1回または複数回の休憩をとるようにユーザに促すための通知を生成することをさらに含む、請求項1に記載の方法。
【請求項10】
前記順序に従って前記複数の症例の各症例を検査のために前記ユーザに自動的に提供することが、
最初の症例の検査が完了したとの標識に基づいて、前記順序に従って前記最初の症例から後続の症例へ自動的にナビゲートすることを含む、請求項1に記載の方法。
【請求項11】
前記標識が、前記ユーザから受信した入力または自動的に検出した症例検査完了に関連付けられたイベントである、請求項10に記載の方法。
【請求項12】
前記ユーザが前記複数の症例を検査しているときに、前記複数の変数に関連付けられた値を監視することと、
前記訓練済みシステムに前記値を提供することであって、前記訓練済みシステムが、将来の最適化のために前記値に基づいて再訓練される、前記提供することと、
をさらに含む、請求項1に記載の方法。
【請求項13】
電子医用画像を処理するためのシステムであって、前記システムが、
命令を記憶する少なくとも1つのメモリと、
前記命令を実行して動作を行うように構成された少なくとも1つのプロセッサと、を備え、前記動作が、
複数の変数及び1つまたは複数の制約を受信することと、
複数の病理症例を受信することであって、前記複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、前記受信することと、
訓練済みシステムへの入力として、各症例からの前記1つまたは複数の医用画像、前記複数の変数、及び前記1つまたは複数の制約を提供することと、
前記訓練済みシステムの出力として、前記1つまたは複数の制約に基づいて前記複数の変数のうちの1つまたは複数を最適化するための前記複数の症例のユーザ検査の順序を受信することと、
前記順序に従って前記複数の症例の各症例を検査のためにユーザに自動的に提供することと、
を含む、前記システム。
【請求項14】
前記訓練済みシステムが、複数の潜在的順序と、前記複数の変数のうちの前記1つまたは複数の最適化レベルを示す前記複数の潜在的順序のそれぞれについてのスコアと、を判定し、出力として提供された前記順序が、最高スコアを有する前記複数の潜在的順序のうちの1つである、請求項13に記載のシステム。
【請求項15】
前記複数の変数の少なくとも第1の変数及び第2の変数が最適化されるとき、前記訓練済みシステムが、前記複数の潜在的順序のそれぞれについての前記第1の変数の第1のスコア及び前記第2の変数の第2のスコアを判定し、出力として提供された前記順序が、前記第1のスコア及び前記第2のスコアに基づいて最大化された全体スコアを有する前記複数の潜在的順序のうちの1つである、請求項14に記載のシステム。
【請求項16】
最適化される前記複数の変数のうちの前記1つまたは複数が、ユーザ選択変数である、請求項13に記載のシステム。
【請求項17】
前記訓練済みシステムが、訓練済み機械学習システムまたは訓練済みルールベースシステムである、請求項13に記載のシステム。
【請求項18】
前記複数の病理症例の各症例からの前記1つまたは複数の医用画像を処理して前記医用画像の1つまたは複数の特性を判定するように構成された訓練済み機械学習システムからの出力として、前記医用画像の判定された前記1つまたは複数の特性を受信することと、
前記医用画像の前記判定された1つまたは複数の特性を前記訓練済みシステムへのさらなる入力として提供することであって、前記判定された1つの特性が、症例の複雑度、症例の種類、医用画像あたりの、または症例あたりの関心領域の数、医用画像あたりの組織の量、画像品質を含む、前記提供することと、
をさらに含む、請求項13に記載のシステム。
【請求項19】
命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、プロセッサにより実行されると、電子医用画像を処理する動作を行い、前記動作が、
複数の変数及び1つまたは複数の制約を受信することと、
複数の病理症例を受信することであって、前記複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、前記受信することと、
訓練済みシステムへの入力として、各症例からの前記1つまたは複数の医用画像、前記複数の変数、及び前記1つまたは複数の制約を提供することと、
前記訓練済みシステムの出力として、前記1つまたは複数の制約に基づいて前記複数の変数のうちの1つまたは複数を最適化するための前記複数の症例のユーザ検査の順序を受信することと、
前記順序に従って前記複数の症例の各症例を検査のためにユーザに自動的に提供することと、
を含む、前記コンピュータ可読媒体。
【請求項20】
前記訓練済みシステムが、複数の潜在的順序と、前記複数の変数のうちの前記1つまたは複数の最適化レベルを示す前記複数の潜在的順序のそれぞれについてのスコアと、を判定し、出力として提供された前記順序が、最高スコアを有する前記複数の潜在的順序のうちの1つである、請求項19に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本願は、2021年12月16日に出願された米国仮特許出願第63/290,479号に対する優先権を主張し、その全開示が、全体として参照により本明細書に組み込まれる。
【0002】
本開示の様々な実施形態は、概して画像処理システム及び方法に関する。より具体的には、本開示の特定の実施形態は、症例最適化を判定するための画像処理システム及び方法に関する。
【背景技術】
【0003】
病理学の分野では、手動のワークフローでは、病理医は、主に物理的なスライドトレイが机の上に積み重ねられた順序に基づいて症例を検査する。手動のワークフローの間、緊急検査の必要がある、「STAT」などの物理的なインジケータでマーク付けされた症例がいくつかある場合があり、それらは、最初に検査するために取り出される。デジタルワークフローでは、病理医は、例えば、異なる症例の状態、どの症例が自分に割り当てられているか、どの症例がさらなる情報待ちであるかなどを記した、デジタルワークリストまたは検査室情報システムにアクセスできる。しかしながら、検査のために割り当てられたこれらの症例の優先順位付けには時間がかかり、一貫性がない場合がある。
【0004】
本明細書で与えられる背景技術の説明は、開示の文脈を大まかに提示することを目的としている。本明細書で別段の指示がない限り、このセクションに記載されている資料は、本願の特許請求の範囲に対する先行技術ではなく、このセクションに含めることによって、先行技術である、または先行技術の示唆であるとは認められない。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示のある態様によれば、電子医用画像を処理するためのシステム及び方法が開示されている。一態様では、電子医用画像を処理して病理症例の検査順序を最適化するためのコンピュータ実施方法が開示される。方法は、複数の変数及び1つまたは複数の制約を受信することと、複数の病理症例を受信することであって、複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、受信することと、訓練済みシステムへの入力として、各症例からの1つまたは複数の医用画像、複数の変数、及び1つまたは複数の制約を提供することと、訓練済みシステムの出力として、1つまたは複数の制約に基づいて複数の変数のうちの1つまたは複数を最適化するための複数の症例のユーザ検査の順序を受信することと、順序に従って複数の症例の各症例を検査のためにユーザに自動的に提供することと、を含み得る。
【0006】
訓練済みシステムが、複数の潜在的順序と、複数の変数のうちの1つまたは複数の最適化レベルを示す複数の潜在的順序のそれぞれについてのスコアと、を判定してもよく、出力として提供された順序が、最高スコアを有する複数の潜在的順序のうちの1つである。
【0007】
複数の変数の少なくとも第1の変数及び第2の変数が最適化されるとき、訓練済みシステムが、複数の潜在的順序のそれぞれについて第1の変数の第1のスコア及び第2の変数の第2のスコアを判定してもよく、出力として提供された順序が、第1のスコア及び第2のスコアに基づいて最大化された全体スコアを有する複数の潜在的順序のうちの1つであってもよい。
【0008】
最適化される複数の変数のうちの1つまたは複数は、ユーザ選択変数であってもよい。訓練済みシステムは、訓練済み機械学習システムまたは訓練済みルールベースシステムであってもよい。
【0009】
方法は、複数の病理症例の各症例からの1つまたは複数の医用画像を処理して医用画像の1つまたは複数の特性を判定するように構成された訓練済み機械学習システムからの出力として、医用画像の判定された1つまたは複数の特性を受信することと、医用画像の判定された1つまたは複数の特性を訓練済みシステムへのさらなる入力として提供することであって、判定された1つの特性が、症例の複雑度、症例の種類、医用画像あたりの、または症例あたりの関心領域の数、医用画像あたりの組織の量、画像品質を含む、提供することと、をさらに含み得る。
【0010】
この方法は、1つまたは複数の追加の病理症例を受信することであって、1つまたは複数の追加の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、受信することと、1つまたは複数の追加の病理症例のそれぞれからの1つまたは複数の医用画像を、訓練済みシステムへのさらなる入力として提供することと、訓練済みシステムの出力として、更新された順序を受信することと、をさらに含み得る。
【0011】
訓練済みシステムが、複数のユーザのそれぞれに複数の症例のサブセットを割り当てるようにさらに構成されてもよく、訓練済みシステムからの出力として受信された順序が、複数の症例の各サブセットのユーザ検査の順序を含む。
【0012】
方法は、訓練システムから受信した情報に基づいて変数の1つまたは複数の最適化を増大させるために1回または複数回の休憩をとるようにユーザに促すための通知を生成することをさらに含み得る。
【0013】
順序に従って複数の症例の各症例を検査のためにユーザに自動的に提供することが、最初の症例の検査が完了したとの標識に基づいて、順序に従って最初の症例から後続の症例へ自動的にナビゲートすることを含み得る。
【0014】
標識が、ユーザから受信した入力または自動的に検出した症例検査完了に関連付けられたイベントであってもよい。
【0015】
方法は、ユーザが複数の症例を検査しているときに、複数の変数に関連付けられた値を監視することと、訓練済みシステムに値を提供することであって、訓練済みシステムが、将来の最適化のために値に基づいて再訓練される、提供することと、をさらに含み得る。
【0016】
本開示のある態様によれば、電子医用画像を処理するためのシステム及び方法が開示されている。別の態様では、電子デジタル医用画像を処理するためのシステムは、命令を記憶する少なくとも1つのメモリと、命令を実行して動作を行うように構成された少なくとも1つのプロセッサと、を備え得る。少なくとも1つのプロセッサは、複数の変数及び1つまたは複数の制約を受信することと、複数の病理症例を受信することであって、複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、受信することと、訓練済みシステムへの入力として、各症例からの1つまたは複数の医用画像、複数の変数、及び1つまたは複数の制約を提供することと、訓練済みシステムの出力として、1つまたは複数の制約に基づいて複数の変数のうちの1つまたは複数を最適化するための複数の症例のユーザ検査の順序を受信することと、順序に従って複数の症例の各症例を検査のためにユーザに自動的に提供することと、を含み得る。
【0017】
訓練済みシステムが、複数の潜在的順序と、複数の変数のうちの1つまたは複数の最適化レベルを示す複数の潜在的順序のそれぞれについてのスコアと、を判定し得る。出力として提供された順序が、最高スコアを有する複数の潜在的順序のうちの1つであってもよい。
【0018】
複数の変数の少なくとも第1の変数及び第2の変数が最適化されるとき、訓練済みシステムが、複数の潜在的順序のそれぞれについて第1の変数の第1のスコア及び第2の変数の第2のスコアを判定してもよく、出力として提供された順序が、第1のスコア及び第2のスコアに基づいて最大化された全体スコアを有する複数の潜在的順序のうちの1つである。
【0019】
最適化される複数の変数のうちの1つまたは複数は、ユーザ選択変数であってもよい。訓練済みシステムは、訓練済み機械学習システムまたは訓練済みルールベースシステムであってもよい。
【0020】
システムは、複数の病理症例の各症例からの1つまたは複数の医用画像を処理して医用画像の1つまたは複数の特性を判定するように構成された訓練済み機械学習システムからの出力として、医用画像の判定された1つまたは複数の特性を受信することと、医用画像の判定された1つまたは複数の特性を訓練済みシステムへのさらなる入力として提供することであって、判定された1つの特性が、症例の複雑度、症例の種類、医用画像あたりの、または症例あたりの関心領域の数、医用画像あたりの組織の量、画像品質を含む、提供することと、をさらに含み得る。
【0021】
本開示のある態様によれば、電子医用画像を処理するためのシステム及び方法が開示されている。別の態様では、プロセッサにより実行されると、電子デジタル医用画像を処理する動作を行う命令を記憶する非一時的コンピュータ可読媒体が、開示されている。動作は、複数の変数及び1つまたは複数の制約を受信することと、複数の病理症例を受信することであって、複数の病理症例の各症例が、患者に関連付けられた少なくとも1つの病理標本の1つまたは複数の医用画像を含む、受信することと、訓練済みシステムへの入力として、各症例からの1つまたは複数の医用画像、複数の変数、及び1つまたは複数の制約を提供することと、訓練済みシステムの出力として、1つまたは複数の制約に基づいて複数の変数のうちの1つまたは複数を最適化するための複数の症例のユーザ検査の順序を受信することと、順序に従って複数の症例の各症例を検査のためにユーザに自動的に提供することと、を含み得る。
【0022】
訓練済みシステムが、複数の潜在的順序と、複数の変数のうちの1つまたは複数の最適化レベルを示す複数の潜在的順序のそれぞれについてのスコアと、を判定し得る。出力として提供された順序が、最高スコアを有する複数の潜在的順序のうちの1つであってもよい。
【0023】
本明細書の一部に組み込まれ及びそれを構成する添付の図面は、様々な例示的実施形態を示し、その説明と一緒に、開示された実施形態の原理を説明する役割を果たす。
【図面の簡単な説明】
【0024】
【
図1A】本明細書に提示される技術による、画像を処理して最適の症例順序を判定するためのシステム及びネットワークの例示的なブロック図を示す。
【0025】
【
図1B】本明細書に提示される技術による、組織観察プラットフォームの例示的なブロック図を示す。
【0026】
【
図1C】本明細書に提示される技術による、スライド分析ツールの例示的なブロック図を示す。
【0027】
【
図2】本明細書に提示される技術による、訓練済みシステムを使用して最適化された症例順序を判定するための例示的なプロセスを示すフロー図である。
【0028】
【
図3A】本明細書に提示される技術による、臨床状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法のフローチャートである。
【0029】
【
図3B】本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して臨床状況で症例順序最適化を判定するための例示的な方法を示すフローチャートである。
【0030】
【
図4A】本明細書に提示される技術による、研究状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法のフローチャートである。
【0031】
【
図4B】本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して研究状況で症例順序最適化を判定するための例示的な方法を示すフローチャートである。
【0032】
【
図5A】本明細書に提示される技術による、教育状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法のフローチャートである。
【0033】
【
図5B】本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して教育状況で症例順序最適化を判定するための例示的な方法を示すフローチャートである。
【0034】
【
図6】1人または複数のユーザに表示される症例の順序を最適化するための例示的な方法を示すフローチャートである。
【0035】
【
図7】1つまたは複数の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。
【発明を実施するための形態】
【0036】
ここで、本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示される。可能な限り、図面全体を通して、同じまたは類似の部分を参照するために、同じ参照番号が使用される。
【0037】
本明細書に開示されるシステム、デバイス、及び方法は、例として、そして図面を参照して詳細に説明される。本明細書に説明される例は単なる例であり、本明細書に説明される装置、デバイス、システム、及び方法の説明を補助するために提供される。図面に示される、または下記に説明される特徴またはコンポーネントは、特に必須として指定されていない限り、これらのデバイス、システム、または方法のいかなる特定の実施態様にも必須と見なすべきではない。
【0038】
また、説明される任意の方法について、本方法がフロー図に関連して説明されるかどうかに関係なく、別段の指定がない限り、または文脈によって必要とされない限り、本方法の実行で行われるステップのいかなる明示的または暗示的な順序付けも、これらのステップが提示された順序で行われなければならないことを暗示していないが、異なる順序または並行して行われ得ることを理解されたい。
【0039】
本明細書で使用される場合、「例示的」という用語は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における「a」及び「an」という用語は、量の限定を示しているのではなく、むしろ言及された項目の1つまたは複数が存在していることを示している。
【0040】
本明細書で使用される場合、「機械学習モデル」は、概して、命令、データ、及び/またはモデルを包含し、モデルは、入力を受信し、重み、バイアス、分類、または分析のうちの1つまたは複数を入力に適用して、出力を生成するように構成される。出力は、例えば、入力の分類、入力に基づく分析、入力と関連付けられた設計、プロセス、予測、もしくは推奨、または任意の他の適当な種類の出力を含み得る。機械学習モデルは、概して、モデルの1つまたは複数の態様、例えば、重み、バイアス、または分類もしくはクラスタを形成するための基準などを確立、調整、または修正するために、モデルに供給される訓練データ、例えば経験データ及び/または入力データのサンプルを使用して訓練される。深層学習技術も採用されてもよい。機械学習モデルの態様は、ネットワーク(例えばニューラルネットワーク)を介して、または任意の適当な構成を介して、並行して、入力に対して線形に動作し得る。
【0041】
機械学習モデルの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブースティングマシン(GBM)、深層学習、及び/または深層ニューラルネットワークなどの1つまたは複数の機械学習技術の展開を含み得る。教師あり訓練及び/または教師なし訓練が採用され得る。例えば、教師あり学習は、訓練データ、及び訓練データに対応するラベルを、例えばグラウンドトルースとして提供することを含み得る。教師なし手法は、クラスタリングまたは分類などを含み得る。K平均クラスタリングまたはK近傍法も使用されてもよく、これらは教師ありまたは教師なしであってもよい。K近傍法及び教師なしクラスタ技術の組み合わせも使用されてもよい。例えば確率的、勾配ブースティング、ランダムシード、再帰型、エポックまたはバッチベースなど、任意の適当な種類の訓練が使用され得る。
【0042】
病理学の分野では、病理医は、デジタルワークフローを通してデジタル医用画像にアクセスし得る。デジタルワークフローでは、病理医は、異なる症例の状態、どの症例が自分に割り当てられているか、及びどの症例がさらなる情報待ちであるかなどを記した、デジタルワークリストまたは検査室情報システムにアクセスできる場合がある。これはやはり、ある症例のためのフィルタへの病理医からの入力を必要とし得る。例えば、病理医は、病理医特有の行動や経験に基づいてフィルタリングする場合がある(例えば、病理医は、切除にはより多くの時間がかかるため、切除を最初に観察したい場合がある)。別の例として、病理医は、部位に基づいてフィルタリングする場合がある(例えば、切迫した応答時間を考慮すると、生検は常にワークリストの一番上に押し出されるべきである)。
【0043】
病理医は、より短い応答時間内により多くの標本を検査するプレッシャーを受けていることがある。病理医は、本明細書で説明する技術を使用すると、ワークリストに戻って症例を探し、症例を開くのに数秒も費やす必要がない場合があるため、大幅に時間を節約し得る。加えて、本明細書に開示される技術は、効率が最大化され、疲労が軽減され、病理医及び管理者の選好が考慮されるような方法で、病理医に症例が提供されることを保証し得る。
【0044】
本明細書で説明する技術を用いると、病理医は、ワークリストを手動でキュレートもしくはカスタマイズしたり、または次の症例に進む前に毎回ワークリストを再検討したりする必要がなくなる場合がある。検査を完了し、症例の報告書または初期評価を作成した後、病理医は、自動的に次の症例の検査を始めてもよい。
【0045】
病理部門及び/または検査室も、彼らのクライアント(例えば、臨床医)に報告書を迅速かつ効率的に応答するプレッシャーにさらされている。システムは、病理医の選好、時間帯、臨床医の期待、検体の種類、診断などに基づいて検査のための最適な症例順序を作成することができ、応答時間の短縮を可能にし、検査室及びそのクライアントに有利であり得る。
【0046】
図1Aは、本開示の例示的技術による、画像を処理して最適の症例順序を判定するためのシステム及びネットワークのブロック図を示す。
【0047】
具体的には、
図1Aは、病院、検査室、及び/または診療所などのサーバに接続され得る電子ネットワーク120を示している。例えば、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125などはそれぞれ、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを通して、インターネットなどの電子ネットワーク120に接続され得る。本開示の例示的な実施形態によれば、電子ネットワーク120は、サーバシステム110にも接続されてもよく、サーバシステム110は、処理デバイス111を含み得る。処理デバイス111の1つまたは複数が、組織観察プラットフォーム100を実施するように構成されてもよく、組織観察プラットフォーム100は、本開示に記載された例示的な技術による、デジタル病理画像(複数可)に関する検体プロパティ情報または画像プロパティ情報を判定し、機械学習を使用して検体を分類するためのスライド分析ツール101を含む。組織観察プラットフォーム100は、また、本明細書に記載された例示的な技術に従って、1つまたは複数の制約を前提として1つまたは複数の変数を最適化するために、1人または複数のユーザ(例えば、1つまたは複数の病理医)に症例を提示する順序を判定するための、症例順序最適化ツール141を含み得る。他の例では、症例順序最適化ツール141は、組織観察プラットフォーム100とは別個に(例えば、異なるプラットフォームによって)動作され得る。
【0048】
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125は、1人または複数の患者の細胞診標本(複数可)の画像、病理組織標本(複数可)の画像、細胞診標本(複数可)のスライド(複数可)の画像、病理組織標本(複数可)のスライド(複数可)のデジタル化画像、またはそれらの任意の組み合わせを作成または取得し得る。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125は、年齢、病歴、がん治療歴、家族歴、過去の生検情報または細胞診情報などの患者固有情報の任意の組み合わせも取得し得る。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125は、デジタル化したスライド画像及び/または患者固有情報をサーバシステム110に電子ネットワーク120を経て送信し得る。サーバシステム110は、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125のうちの少なくとも1つから受信した画像及びデータを記憶するための1つまたは複数のストレージデバイス109を含み得る。サーバシステム110は、また、1つまたは複数のストレージデバイス109に記憶された画像及びデータを処理するための処理デバイス111を含み得る。サーバシステム110は、1つまたは複数の機械学習ツール(複数可)または機械学習能力をさらに含み得る。例えば、一実施形態によれば、処理デバイス111は、組織観察プラットフォーム100のための機械学習ツールを含み得る。代替として、または加えて、本開示(または本開示のシステム及び方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で行われてもよい。
【0049】
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125は、スライドの画像を検査するために病理医によって使用されるシステムを指す。病院環境では、組織種類情報は、検査室情報システム125のうちの1つに記憶され得る。
【0050】
図1Bは、組織観察プラットフォーム100の例示的なブロック図を示す。例えば、組織観察プラットフォーム100は、スライド分析ツール101、症例順序最適化ツール141、データ取込ツール102、スライド取入ツール103、スライドスキャナ104、スライドマネージャ105、ストレージ106、及び閲覧アプリケーションツール108を含み得る。
【0051】
例示的な実施形態によれば、スライド分析ツール101は、以下でより詳細に説明するように、デジタル病理スライド(例えば、スライドに載せられた組織標本または細胞診標本のデジタル化画像)を処理し、機械学習を使用して所与のスライドを分析するためのプロセス及びシステムを指す。
【0052】
症例順序最適化ツール141は、以下でより詳細に説明するように、デジタル病理スライド(例えば、スライドに載せられた履歴標本または細胞診標本のデジタル化画像)を処理し、1つまたは複数の制約を前提として1つまたは複数の変数を最適化するために1人または複数のユーザ(例えば、1人または複数の病理医)に症例を提示する順序を判定する機械学習システムまたはルールベースシステムを使用するためのプロセス及びシステムを指す。
【0053】
例示的な実施形態によれば、データ取込ツール102は、デジタル病理画像を分類及び処理するために使用される様々なツール、モジュール、コンポーネント、及びデバイスへのデジタル病理画像の転送を容易にするためのプロセス及びシステムを指す。
【0054】
例示的な実施形態によれば、スライド取入ツール103は、病理スライドをスキャンし、それらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ104でスキャンされてもよく、スライドマネージャ105が、スライド上の画像をデジタル化病理画像に処理し、デジタル化画像をストレージ106に記憶してもよい。
【0055】
例示的な実施形態によれば、閲覧アプリケーションツール108は、デジタル病理画像(複数可)に関する検体プロパティ情報または画像プロパティ情報をユーザ(例えば、病理医)に提供するためのプロセス及びシステムを指す。情報は、様々な出力インターフェース(例えば、スクリーン、モニタ、ストレージデバイス、及び/またはウェブブラウザなど)を通して提供され得る。
【0056】
スライド分析ツール101及びそのコンポーネントのうちの1つまたは複数が、電子ネットワーク120を経て、デジタル化スライド画像及び/または患者情報を、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125に送信及び/または受信し得る。さらに、サーバシステム110は、スライド分析ツール101、データ取込ツール102、スライド取入ツール103、スライドスキャナ104、スライドマネージャ105、及び閲覧アプリケーションツール108のうちの少なくとも1つから受信した画像及びデータを記憶するための1つまたは複数のストレージデバイス109を含み得る。サーバシステム110は、ストレージデバイス109に記憶された画像及びデータを処理するための処理デバイス111も含み得る。サーバシステム110は、例えば、処理デバイス111による、1つまたは複数の機械学習ツール(複数可)または機械学習能力をさらに含み得る。代替として、または加えて、本開示(または本開示のシステム及び方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で行われてもよい。
【0057】
上記のデバイス、ツール、及びモジュールのいずれも、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダなどの電子ネットワーク120に接続され得るデバイス上に位置し得る。
【0058】
図1Cは、本開示の例示的な実施形態による、スライド分析ツール101の例示的なブロック図を示す。スライド分析ツール101は、訓練画像プラットフォーム131及び/またはターゲット画像プラットフォーム135を含み得る。
【0059】
訓練画像プラットフォーム131は、一実施形態によれば、機械学習システムを訓練してデジタル病理画像を効果的に分析及び分類するために使用される訓練画像を作成または受信し得る。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125のいずれか1つまたは任意の組み合わせから受信され得る。訓練に使用される画像は、現実のソース(例えば、人間、動物など)に由来し得るか、または合成のソース(例えば、グラフィックスレンダリングエンジン、3Dモデルなど)に由来し得る。デジタル病理画像の例は、(a)H&E、ヘマトキシリン単独、IHC、分子病理学などの(これらに限定されない)様々な染色で染色されたデジタル化スライド、及び/または(b)マイクロCTなどの3D撮像デバイスからのデジタル化画像サンプルを含み得る。
【0060】
訓練画像取込モジュール132は、人間組織の画像及びグラフィックレンダリングされた画像の一方または両方に対応する1つまたは複数の訓練画像を含むデータセットを作成または受信し得る。例えば、訓練画像は、サーバシステム110、医師サーバ121、及び/または検査室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。このデータセットは、デジタルストレージデバイスに保持され得る。いくつかの例では、データセットは、複数のデータサブセットから構成されてもよく、各データサブセットは、複数の訓練症例からの訓練症例に対応し、訓練症例からの1つまたは複数の訓練画像を含む。訓練スライド特性モジュール133は、例えば、訓練画像が機械学習モデルを訓練するのに十分な品質レベルを有するかどうかを判定することが可能な1つまたは複数のコンピューティングデバイスを含み得る。訓練スライド特性モジュール133は、例えば、個々の細胞のセットが対象の細胞に属するか、またはデジタル化画像の背景に属するかを識別することが可能な1つまたは複数のコンピューティングデバイスをさらに含み得る。
【0061】
ターゲット画像プラットフォーム135は、ターゲットデータセットを受信すること、及び受信したターゲットデータセットに機械学習モデルを適用して、ターゲットデータセットの1つまたは複数の特性を判定することが可能な、1つまたは複数のコンピューティングデバイスを含み得る。いくつかの例では、ターゲットデータセットは、症例に含まれる1つまたは複数のターゲット画像を含み得る。ターゲットデータセットの特性は、症例の複雑度、症例の種類、スライドあたりの関心領域の数、スライドあたりの組織の量、及び/または画像品質を含み得るが、これらに限定されない。例えば、ターゲットデータセットは、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究所サーバ124、及び/または検査室情報システム125から受信されてもよい。ターゲット画像取込モジュール136は、例えばターゲットデータセットを受信することが可能な、1つまたは複数のコンピューティングデバイスを含み得る。スライド特性モジュール判定137は、例えば、機械学習モデルをターゲットデータセットに適用して、症例の複雑度、症例の種類、関心領域の数、スライドあたりの組織の量、及び/または画像品質を判定することが可能な、1つまたは複数のコンピューティングデバイスを含み得る。スライド特性モジュール判定137は、入力された症例に関連して1人または複数の病理医が検査する必要があり得る画像の量を識別する役割も担ってもよい。例えば、スライド特性モジュール判定137は、患者が有する全ての以前の症例のうち検査/再検討の必要があり得る症例を識別し得る。
【0062】
出力インターフェース138は、例えば、ターゲットデータセット及び判定された関係に関する情報を(例えば、スクリーン、モニタ、ストレージデバイス、ウェブブラウザなどに)出力することが可能な、1つまたは複数のコンピューティングデバイスを含み得る。いくつかの例では、出力インターフェース138は、症例の複雑度、症例の種類、関心領域の数、スライドあたりの組織の量、及び/または画像品質を、症例順序最適化ツール141に提供し、例えば、1つまたは複数の他のプロセスの入力として使用し得る。
【0063】
図2は、訓練済みシステムを使用して最適化された症例順序を判定するための例示的なプロセスを示すフロー
図200である。訓練済みシステムは、組織観察プラットフォーム100の症例順序最適化ツール141によって実施され得る。症例順序最適化ツール141は、訓練済みシステムを利用して、1つまたは複数の制約204 の境界内で1つまたは複数の変数202を最適化する、検査対象の複数の症例の各症例を提示するための順序を判定し得る。各症例は、1つまたは複数の症例画像205を含んでもよく、判定された順序は、症例画像205及び/またはその分析からの出力(例えば、スライド分析ツール101からの出力)にさらに基づき得る。
【0064】
例えば、症例順序最適化ツール141は、1つまたは複数の変数202を受信してもよい。変数202は、症例の順序を通知するために考慮すべき重要な要素を含み得る。変数202は、病理医、拠点、機関などによって異なる場合がある。変数202は、病理医の選好、1日に検査すべき症例数、病理医の専門知識、診断の質、時間帯、曜日、病理医の行動、クライアントの期待、及び/または検査室の考慮事項を含み得るが、これらに限定されず、それぞれについて以下で順に説明する。変数202は、数値(例えば、時間帯)またはテキストとして入力されてもよい。テキストとして入力される変数202の場合、受信した1つまたは複数のデータセットから情報を抽出するために、ルールベースのテキスト抽出システムが使用され得る。症例順序最適化ツール141は、ユーザ(例えば、病理医、部門マネージャ、管理者)が、本出願内で説明されている変数202のいずれかを入力することを可能にし得る。
【0065】
病理医の選好は、病理医が分析することを好む、及び/または好まない症例の種類を指してもよい。例えば、病理医は、前立腺がんの症例を検査することを好まない場合がある。いくつかの態様では、症例順序最適化ツール141は、症例の種類のリストを表示してもよく、ユーザは、リストから検査したい症例の種類の1つもしくは複数、及び/または検査したくない症例の種類の1つもしくは複数を選択し得る。さらに、ユーザは、最も高い選好度及び最も低い選好度によって症例の種類のランク付けが可能であってもよい。1日に検査すべき症例数は、特定の病理医が1日または一定期間内に検査し得る症例の所望の数量を指してもよく、それは、システム管理者または特定の病理医によって入力されてもよい。
【0066】
病理医の専門知識は、病理医が1つまたは複数の種類の症例に対して有する、専門知識のレベルを指してもよい。症例順序最適化ツール141は、病理医が、利用可能な全ての症例の種類から選択し、病理医が専門知識を有する症例を選択することを可能にし得る。さらに、病理医は、症例の種類ごとの専門知識レベルを示すスコア(例えば、1から10までの数)を提供することが可能であってもよい。追加として、症例順序最適化ツール141は、特定の個人の専門知識を更新するために、特定の病理医によって検査された症例を追跡し、またはログを取ってもよい。診断の質は、特定の種類の症例の診断が2回目の検査病理医によって覆される、及び/または否定される割合を指してもよい。診断の質の変数は、行われた全ての診断の全体的な評価、及び/または症例の種類ごとの評価であってもよい。
【0067】
時間は、どの時間帯か(例えば、午前か午後か)及び/または何曜日か(例えば、月曜日か金曜日か)を指してもよい。症例順序最適化ツール141は、どの時間帯か、及び/または何曜日かに応じて病理医の検査の質及び/または速度がどのように影響を受けるかに関する時間情報を受信及び/または生成し得る。症例メタデータは、症例の種類、デジタルスライドの数、各デジタルスライド上の組織の量、各デジタルスライド内の関心領域の数、及び/または同じ患者に関連付けられた過去の症例の数などの、患者の症例に関連付けられたデータを指してもよい。いくつかの例では、症例メタデータの一部は、ストレージデバイス109、臨床試験サーバ123、医師サーバ121、検査室情報システム125、研究所サーバ124、及び/または病院サーバ122から受信され得る。追加としてまたは代替として、症例メタデータの一部は、スライド分析ツール101の出力として受信されてもよい。
【0068】
病理医の行動は、病理医が、例えば症例を検査するために、閲覧アプリケーションツール108と対話する方法に関連するデータを指してもよい。データは、疲労及び/またはユーザの燃え尽き症候群を含む、閲覧アプリケーションツール108の一般的な使用状況、特定の種類のスライドを検査する合計時間に基づく検査の相対速度、入力速度(例えば、マウス、キーボード、タッチ、アイトラッキングなど)に基づいて取得された特定の種類の症例を検査する合計時間を含み得る。クライアントの期待は、症例が検査のために部門または検査室に転送された時間からの、病理医の報告書及び/または初期評価についての応答時間を指してもよい。いくつかの例では、応答時間は、症例にわたる標準的な期間であってもよい。しかしながら、ある個別の症例または症例の種類は、より高い重要度のもの及び/またはより時間的依存のものであってもよい。したがって、これらの個別の症例または症例の種類は、優先度が高いこと、及びそれによってクライアントが期待する応答時間がより短いことを示すためにデジタルマークされてもよい。一例では、このデジタルマークは、手動検査中に「Stat」としてマークされたある症例と等価であってもよい。他の例では、症例は、例えば、症例がデジタルマークされているかどうかに関係なく、症例の種類に基づいてより高い優先度として自動的に識別されてもよい。例えば、生検は、期待される応答時間が典型的にはより厳しいと仮定すると、より高い優先度として自動的に識別されてもよい。検査室の考慮事項は、診断、その日に対応可能な病理医の数、またはさらなる試験要件などの、特定の症例に関する考慮事項を指してもよい。例えば、ある症例が診断に基づいて追加の試験を必要とするとみられ、病理医が症例を診察する前にAIによってそのことが通知され得る場合、さらなる試験の必要性によって、いくつかの他の症例よりも優先されて、病理医のキューに追加される場合がある。
【0069】
症例順序最適化ツール141は、1つまたは複数の制約204をさらに受信し得る。制約204は、病理医が満たす必要があり得る目標または主要業績評価指標(KPI)を含み得る。制約の例は、検査に対応可能な病理医、病理医の資格、症例の期限、シフトまたは1日のうちの残り時間、及び/または部門目標を含み得るが、これらに限定されない。検査に対応可能な病理医は、全ての潜在的な病理医のリスト、及び/または特定の時間もしくは特定の日に対応可能な全ての潜在的な病理医の少なくとも人数を指してもよく、全ての潜在的な病理医は、一般的に症例の検査を行うことが可能であり得る。病理医の資格は、病理医(例えば、対応可能な病理医からの)が訓練されており、及び/または対処するための専門知識を有する、特定の種類の症例を含み得る。症例の期限とは、症例がそれまでに分析される必要がある特定の日及び/または時刻を指してもよい。一例では、症例の期限は、特定の症例と共に含まれるメタデータとして抽出されてもよい。症例の期限は、また、特定の症例の種類についての標準的な応答時間に基づいて自動的に判定されてもよい。期限は、高優先度としてマークされた症例を考慮して調整されてもよい(例えば、より優先度の高い症例に対してシステムが症例を受信した24時間以内に症例を分析しなければならない)。追加として、症例の期限は、症例/症例の負荷が入力されると病理医によって外部から入力及び/または修正され得る。
【0070】
シフトまたは1日のうちの残り時間は、対応可能な病理医及び/または資格のある病理医のうちの1人または複数がその日に症例を分析するために残った時間を指してもよい。例えば、各対応可能な及び/または資格のある病理医が仕事を開始及び終了する時間を含むシフトスケジュールが受信されてもよく、症例順序最適化ツール141が、終了時刻までのその日の残り時間を追跡してもよい。さらに、症例順序最適化ツール141は、シフトの残り時間から、設定された昼休みの時間及び/またはその他の義務付けられた休憩などの休憩時間を差し引いて、各病理医がシフトにどれだけの労働時間を残しているかを正確に反映してもよい。部門目標は、特定の種類の症例、または特定の期間内に分析される優先度の高い特定の患者の症例を指してもよい。部門目標はまた、個々の病理医及び検査室全体の症例総数などの、部門がある期間にわたって分析したいと考え得る症例総数を指してもよい。部門目標は、検査室が検査室内の全ての病理医にわたって達成しようとし得る平均正確度を指してもよい。
【0071】
変数202は、最適化されるオプション因子として本明細書で説明されており、制約204は、症例の割り当て及び順序付けの境界を制限または定義する、満たすべき要件として本明細書で説明されているが、本明細書で説明されている制約204の特定の例または種類は、場合によっては、ユーザ及び/または管理者によって変数202として指定されてもよく、その逆であってもよい。例えば、部門目標は、満たさなければならない制約204であってもよく、または他の変数202と比較して最適化される変数202として指定されてもよい。例えば、場合によっては、症例の検査に対応可能な病理医の数が、制約204であってもよい。他の場合に、他の病理医を援助のために呼ぶことが可能であってもよく、したがって、病理医の数は、最適化される変数202として選択または示されてもよい。
【0072】
症例順序最適化ツール141は、分析対象の複数の症例についての症例画像205をさらに受信し得る。症例画像205は、デジタル化病理画像を含み得る。上述したように、デジタル病理画像の例は、(a)(限定ではないが)H&E、ヘマトキシリン単独、IHC、分子病理学などの、様々な着色で染色されたデジタル化スライド、及び/または(b)micro-CTなどの3D撮像デバイスからデジタル化画像サンプルを含み得る。症例画像205は、全スライド画像(WSI)とも呼ばれ得る。症例順序最適化ツール141は、症例ごとに1つまたは複数の症例画像205を受信し得る。したがって、症例順序最適化ツール141は、1つまたは複数のWSIの複数のセットを受信してもよく、各セットは複数の症例の各症例に対応する。いくつかの例では、症例画像205に加えて、患者データなどの他の症例関連データが受信されてもよい。少なくとも症例画像205を含む症例関連データは、ストレージデバイス109、臨床試験サーバ123、医師サーバ121、検査室情報システム125、研究所サーバ124、病院サーバ122、または外部ネットワークからインポートされてもよい。さらに、これらの症例画像205は、フラッシュドライブなどの外部ストレージデバイスを通してインポートされてもよい。症例順序最適化ツール141は、新たな症例に対応する新たな症例画像205を継続的に受信し、新たな症例画像205が受信されると、新たな症例を組み込むように症例順序を更新することが可能であってもよい。
【0073】
いくつかの例では、症例順序最適化ツール141は、例えばスライド分析ツール101によって、実行された症例画像205の分析または評価からの出力も受信し得る。これらの分析及び/または評価出力は、オプションで変数202として受信及び/または実施されてもよい。例示的な分析または評価の出力は、症例の複雑度に対する、特定の症例を評価するために必要な時間、症例の種類、関心領域の数、スライドあたりの組織の量、症例内のスライドの数、及び/または患者の過去の症例のうち病理医が検査しなければならないものの数を判定し得るスライドのAI評価を含み得る。症例の複雑度は、関心領域(例えば、顕著領域)の数に基づいて部分的に判定され得る。顕著領域は、全体として参照により本明細書に組み込まれる、2021年5月6日に出願された米国特許出願第17/313,617号で説明されている技術に従って判定され得る。
【0074】
症例順序最適化ツール141は、訓練済みシステムを利用して、制約204の境界内で1つまたは複数の変数202を最適化しながら検査対象の複数の症例の各症例を提示するための順序を判定し得る。例えば、症例順序最適化ツール141は、症例画像205(及びオプションで、スライド分析ツール101からの対応する症例画像分析または評価出力)とともに、1つまたは複数の変数202及び制約204を、訓練済みシステムへの入力として提供してもよい。訓練済みシステムは、検査対象の複数の症例の各症例を提示するための順序を判定及び出力し得る。例えば、症例は、1人または複数の病理医に割り当てられてもよく、病理医に割り当てられた症例の負荷ごとに、症例の検査順序が判定されてもよい。
【0075】
症例順序の判定を行うとき、訓練済みシステムは、入力として受信した1つまたは複数の制約204に基づいて、入力として受信した変数202のうちの1つまたは複数を最適化してもよい。いくつかの例では、変数202は、自動的に最適化されてもよい。他の例では、最適化される変数は、ユーザ(例えば、病理医、部門マネージャ、管理者など)によって選択されてもよい。ユーザはまた、判定のための制約204を選択及び/または修正してもよい。一例として、訓練済みシステムは、制約204の範囲内で全て、複数の可能な症例割り当て及び割り当てごとの症例順序を生成してもよい。訓練済みシステムは、複数の可能な割り当てごとのスコア及び割り当てごとの症例順序を判定し得る。スコアは、最適化される変数202が満たされる程度またはレベルに基づいてもよい。症例の割り当て及びその割り当て内で最高スコアを有する症例の順序は、訓練済みシステムによって出力されてもよい。
【0076】
複数の変数202(例えば、1つより多くの変数)が最適化されるとき、複数の変数202のそれぞれの最適化された変数202にスコアが割り当てられてもよく、訓練済みシステムは、全体スコアを最大化する、その中の症例の割り当て及び順序を出力してもよい。例えば、割り当て及び症例の順序付けの1つのセットが、第1の変数に対して高いスコアを有するが第2の変数に対して低いスコアを有し、かつ割り当て及び症例の順序付けの第2のセットが、第1の変数に対して低いスコアを有するが第2の変数に対して高いスコアを有するとき、訓練済みシステムは、全体スコアが最も高いどちらかのセットを出力するために選択してもよい。訓練済みシステムは、選択時に、第1の変数及び第2の変数の示された優先順位がもしあれば、さらに考慮してもよい。示された優先順位は、制約204の観点からも考慮されてもよい。例えば、病理医の選好が前立腺がんを検査しないことである(例えば、第1の変数)が、前立腺がんの症例が多く、その日のうちにそれらを完了するという部門目標がある(例えば、制約)場合、訓練済みシステムはそれでもなお、制約が満たされる(例えば、結果として第1の変数を最適化しない)ことを確実にするために、いくつかの前立腺がんの症例を病理医に割り当ててもよい。このような場合、訓練済みシステムは、その代わりに、病理医が検査するのに最適な時間帯、または病理医に割り当てる前立腺がんの症例の種類など、第2の変数を最適化してもよい。訓練済みシステムは、任意の数の制約204に従ってもよく、例えば、特定の症例が救急症例である場合、症例の即時検査が制約として含まれてもよく、それに従ってその症例が優先されてもよい。
【0077】
いくつかの例では、訓練済みシステムは、訓練済み機械学習(ML)システムであってもよい。最適化された症例順序判定のために訓練及び実施され得るMLシステムの例示的な種類は、反応型マシン及びメモリ制限型マシンを含んでもよいが、これらに限定されない。いくつかの例では、MLシステムは、目的関数近似のためのニューラルネットワークを含み得る。MLシステムの訓練及び実施について、以下で詳細に説明する。追加としてまたは代替として、訓練済みシステムは、最適化された症例順序を判定するためのルールベースシステムであってもよい(例えば、ルールベースロジックを適用する)。いくつかの例では、訓練済みシステムがMLベースであるかまたはルールベースであるかが、最適化に依存してもよい。
【0078】
最適化された症例順序が判定されると、訓練済みシステムは、判定に基づいて症例208の1つまたは複数のリストを出力し得る。例えば、症例208の各リストは、検査する部門または検査室内の特定の病理医に固有のもの(例えば、その病理医に割り当てられたもの)であってもよい。リスト内の症例208の順序は、症例208が病理医によって検査されるべき最適化された症例順序を表し得る。いくつかの例では、症例208のリストは、以下でより詳細に説明するように、各症例についての1つまたは複数の症例画像205の自動検索及び提示を可能にするために、症例番号または他の識別子に基づいて症例を識別し得る。他の例では、症例208のリストは、各症例についての1つまたは複数の症例画像205を含んでもよい。訓練済みシステムは、追加の症例として症例208の更新されたリストを出力してもよく、そのそれぞれの症例画像205が受信される。いくつかの例では、新たな症例が受信されるたびに更新が実行されてもよい。他の例では、更新は、定期的な時間間隔で実行されてもよい。追加として、訓練済みシステムは、1つまたは複数の変数202及び/または制約204が修正されると、症例208の更新されたリストを出力してもよい。例えば、特定の検査室で以前は対応可能だった病理医が、所与の検査室で今は作業できなくなった場合、症例208のリストは、例えば、特定の検査室で対応可能な他の病理医に症例を再割り当てし、症例順序を更新するために、更新されてもよい。
【0079】
いくつかの例では、プロセス210において、各症例の症例画像205が、症例208のリストに提供された症例の順序に従って、ユーザに表示するために自動的に提供されてもよい。いくつかの例では、症例画像205は、閲覧アプリケーションツール108のユーザインターフェースを介して表示されてもよい。例えば、現在の症例(例えば、リスト内の次の症例の前)についての症例画像205の検査または分析が完了すると、症例208のリスト内の次の症例についての症例画像205が、ユーザインターフェースに自動的に表示されてもよい。いくつかの例では、病理医は、(例えば、マウスのタッチまたはクリックによって)「次の症例」ボタンまたは制御要素などの単一のユーザインターフェースオプションを選択してもよく、(例えば、キーボード上の)ホットキーを選択してもよく、及び/または、現在の症例の症例画像205の検査または分析が完了しており、かつリスト内の次の症例の症例画像205が表示され得ることを示すための他のジェスチャまたは指示を提供してもよい。他の例では、ユーザからの直接入力は必要なくてもよく、閲覧アプリケーションツール108は、現在の症例の検査または分析が完了したことを自動的に検出してもよい(例えば、症例検査完了に関連付けられたイベントが発生したことを自動的に検出してもよい)。例えば、ユーザが現在の症例の全ての症例画像205を閲覧したこと、及び/または報告書または初期評価を入力したことに基づいて、現在の症例の検査が完了したとの判定が行われてもよい。閲覧アプリケーションツール108のユーザインターフェースについて、病理医の検査のための順序で症例を表示するとして上述されているが、病理医が症例またはWSIを検査及び/または分析するために使用する任意のシステムのユーザインターフェースが、(例えば、閲覧アプリケーションツール108とは別の)組織観察プラットフォーム100の他のユーザインターフェースを含む、同じ機能を含むように構成されてもよい。
【0080】
いくつかの例では、症例からの1つまたは複数の症例画像205がユーザに表示されると、ユーザは、症例の範囲内から特定の画像を、以前指定された順序で受信してもよい。非限定的な一例として、症例がユーザに表示されると、その症例についての画像は、2020年5月29日に出願された米国特許出願第16/887,855号に説明されている優先順位付け技術に従って順序付けされてもよく、その出願はその全体が参照により本明細書に組み込まれる。
【0081】
さらなる例では、前述の通り、(例えば、スライド分析ツール101の)別個の機械学習システムを利用して、画像を1人または複数のユーザに表示する前に症例内の画像を分析してもよい。例えば、別個の機械学習システムは、1人または複数のユーザの関心領域を識別してもよく、関心領域は、症例順序最適化ツール141及び/または他のプロセスへの入力として提供されてもよい。関心領域は、2020年9月8日に出願された米国特許出願第17/014,532号に説明されている技術に従って判定されてもよく、その出願は、その全体が参照により本明細書に組み込まれる。さらに、画像自体は、米国特許出願第17/014,532号で説明されている技術に従って、ユーザに表示されてもよい。
【0082】
症例順序最適化ツール141は、臨床、研究、及び教育の状況を含む複数の異なる状況で動作され得る。いくつかの例では、最適化された症例順序を判定するための訓練済みシステムの訓練及び実施が、状況に依存してもよい。訓練済みシステムの訓練及び実施について、臨床、研究、及び教育の状況のそれぞれについて以下で順に説明する。
【0083】
図3Aは、本明細書に提示される技術による、臨床状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法300のフローチャートである。
図3Aの方法300は、例えば、症例順序最適化ツール141によって実行され得るステップを示している。代替として、方法300は、外部システムによって実行されてもよく、訓練済みシステムは、実施のために症例順序最適化ツール141に提供されてもよい。
【0084】
ステップ302において、複数の訓練データセットが受信され得る。訓練データセットは、変数202、制約204、及び/または症例画像205を含み得る。追加の訓練データセットは、アプリケーションの一般的な使用状況に関連するデータを含んでもよく、使用状況データは、病理医の疲労及び/またはユーザの燃え尽き症候群に関連する追跡データ(例えば、変数202)も含んでもよい。例えば、個々の病理医の相対的な検査速度(例えば、マウス速度、キーストローク速度、アイトラッキング速度、特定の種類のスライド検査の合計時間、特定の種類の症例検査の合計時間などで示される)は、症例の種類、その種類の症例の経験レベル、時間帯、病理医の最後の休憩からの時間、経験レベルなどに基づいて判定されてもよい。この種類のデータを訓練に利用することによって、訓練済みシステムは、例えば、病理医の疲労レベルを、全体的または個別に、瞬間ごとに、または1日全体を通した任意の時点で、予測することが可能となり、それらが最適化に考慮され得る。
【0085】
受信したデータセットは、例えば、病理医が病理スライドをどのようにナビゲートしているかを追跡する閲覧アプリケーションツール108からのデータ(例えば、変数202)も含み得る。一例では、データは、病理医が各スライドを調べる時間の測定値を含んでもよい。データは、ユーザが組織観察プラットフォーム100に関連付けられたアクションもしくはタスクを実行するためにショートカット及び/またはホットキーを使用しているかどうか、及び/またはユーザが病理スライドを注視している時間を追跡することをさらに含み得る。病理医についてより多くのデータが収集されるにつれて、システムは、個々の病理医に対する特異性を高めて症例の割り当て及び症例の順序付けの正確度を向上させることを可能にするために再訓練され得る。病理医についてデータが収集されていない場合(例えば、病理医が検査室または拠点に新しく来た場合)、一般的に訓練済みシステムを適用してもよい。この時点で、システムは、新しい医理医のデータの受信及び再訓練を開始してもよい。例えば、このデータが、特定のユーザの症例割り当て及び順序出力を更新するための変数202の情報として利用されてもよい。
【0086】
受信したデータセット(例えば、変数202)は、調査データ及び履歴データをさらに含んでもよい。調査データは、満足度、病理医の人口統計、経験レベル、ならびに病理医の選好及び嫌いなものから受信した任意の他のデータに関するデータを含んでもよい。履歴データは、病理医の過去のシフト(例えば、勤務日数及び勤務時間)、経験年数、一般的な経験レベル、特定の種類のスライドに関する経験、一般的な病理医の選好、ならびに診断の初期品質評価(例えば、最初の診断が2回目の検査によって否定されたかどうか)に関するデータを含み得る。履歴データは、一般的なサンプルの種類の割合(例えば、1日に受信するサンプルの平均数及び/または所与の種類のサンプル)ならびに特定の拠点でのサンプルの種類の割合(例えば、専門病院または臨床センタに近い位置に応じたある検査室は、一般的により多くの症例及び/またはより多くの特定の種類の症例を受信し得る)も含み得る。
【0087】
加えて、訓練データセットは、
図2を参照して前述した変数202及び/または制約204の種類のいずれかに関連付けられた情報を含んでもよい。
【0088】
オプションで、スライド分析ツール101は、例えば、1つまたは複数の機械学習システムを利用してスライドを評価し、例えば、症例の複雑度に対して評価に費やされた時間、症例の種類、関心領域とその数、スライドあたりの組織の量、症例中のスライドの数、及び/または病理医が検査しなければならない同じ患者に関連付けられた過去の症例の数を判定してもよい。いくつかの例では、スライド分析ツール101は、関心領域の数を判定すること(例えば、顕著領域を判定すること)によって、少なくとも部分的に症例の複雑度を判定し得る。
【0089】
ステップ304において、システムは、データセットのうちの1つまたは複数を使用して訓練され得る。例えば、システムは、AI評価画像及び/または受信したデータセットを使用して、臨床環境における1つまたは複数の制約を前提として複数の変数のうちの1つまたは複数を最適化する症例順序を判定するように構成されるように、システムを訓練してもよい。臨床環境または状況では、最適化された1つまたは複数の変数は、病理医の効率性と関連している場合がある。例えば、最適化された変数は、1日あたりに完了する症例数、(例えば、最初に正しい診断を高いパーセンテージで達成するための)初期評価の品質/診断の質、病理医の定着率、及び/または病理医の疲労を最小限に抑えての1日あたりの症例数を含み得る。
図2を参照して詳細に前述したように、訓練済みシステムは、訓練済みMLシステムであってもよく、または最適化に応じてルールベースロジックを適用してもよい。
【0090】
図3Bは、本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して臨床状況で症例順序最適化を判定するための例示的な方法350を示すフローチャートである。
図3Bの例示的な方法350(例えば、ステップ352~358)は、例えば、症例順序最適化ツール141によって実行され得るステップを示す。これらのステップは、自動的に、またはユーザ(例えば、病理医、部門もしくは検査室マネージャ、管理者など)からの要求に応じて行われ得る。代替として、方法350は、デバイス700などの、画像入力を受信することが可能であり、かつ
図3Aで説明した訓練済みシステムを記憶及び実行することが可能な、任意のコンピュータプロセスシステムによって行われ得る。
【0091】
ステップ352では、訓練済みシステムは、病理症例に関連付けられた病理スライドの複数の電子医用画像を受信し得る。受信した病理スライドの電子医用画像は、
図2からの症例画像205について説明したのと同じ種類のスライドに対応し、かつ同じ種類のスライドであってもよい。ステップ354では、訓練済みシステムは、任意の制約データ204及び/または変数データ202をさらに受信してもよい。制約データ204は、
図2で説明した制約データ204のいずれかであってもよい。変数データ202は、
図2で説明した変数データ202のいずれかであってもよい。
【0092】
ステップ356では、訓練済みシステムは、1人または複数のユーザによる検査のための病理症例の1つまたは複数の順序を判定し得る。いくつかの例では、症例のサブセットが、拠点の各対応可能なユーザ(例えば、病理医)に割り当てられてもよく、各サブセット内の症例の検査の順序が判定されてもよい。オプションで、順序は、各症例の画像についての順序も定義し得る。判定された順序は、受信した制約データからの1つまたは複数の制約を前提として、受信した変数データからの1つまたは複数の変数を最適化し得る。いくつかの例では、訓練済みシステムは、ユーザ選択変数及び/または最適化する変数を受信してもよい。他の例では、訓練済みシステムは、最適化される変数を自動的に選択してもよい。
【0093】
ステップ358では、訓練済みシステムは、(例えば、リスト内の)1人または複数の病理医による検査のための病理症例の判定された順序を出力し得る。いくつかの例では、
図2のプロセス210を参照してより詳細に説明したように、各症例の電子医用画像は、順序に従って自動的に表示されてもよい(例えば、自動的にナビゲートされてもよい)。
【0094】
いくつかの例では、新たな症例についての病理スライドの入力電子医用画像が、症例順序最適化ツール141によって受信されると、訓練済みシステムに提供されてもよい。訓練済みシステムは、最適化された順序を継続的に、または事前に定義された間隔で更新してもよい。
【0095】
一例では、訓練済みシステムは、1人または複数の個々の病理医に対して症例順序を最適化してもよい。別の例では、訓練済みシステムは、拠点またはグループ内の個々の病理医ではなく、病理医の拠点またはグループの症例順序を最適化してもよい。さらなる例では、訓練済みシステムは、個々の病理医データまたは拠点データを考慮することなく、症例順序をより全般的に最適化してもよい。
【0096】
いくつかの例では、症例順序最適化ツール141は、さらに、1人または複数のユーザが症例を検査しているとき、1人または複数のユーザに休憩を促す通知を生成し、表示させることが可能であってもよい。例えば、ツールは、一日のうちのある部分(複数可)を研究に充てるべき場合(例えば、制約204)に、ある時間が研究を行うのに適した時間であることを通知する警告を与えてもよい。追加として、ツールは、一日を通して検査の質が低下していることに気付いた場合、ツールは、休憩を促して、ユーザの検査の質の低下防止を試みてもよい。
【0097】
さらなる例では、症例順序最適化ツール141は、ユーザごとに、診断の質、1日あたりの検査症例数、1日を通して検査速度がどのように低下するか、満足度に関する調査データ、及びユーザの人口統計を監視してもよい。追加として、症例順序最適化ツール141は、個々の変数202を自動的にマッピングし、それらを再訓練のために訓練済みシステムに供給してもよく、それは、所定の間隔及び/またはユーザ定義の間隔で起こり得る。例えば、症例順序最適化ツール141は、症例検査セッションからユーザデータを取得し、そのデータを訓練済みシステムにフィードバックしてもよく、そのデータは、新たな病理医及び任意の特定のリピート病理医のための症例順序を判定するために使用される際に、出力がより正確であったり、より良い最適化をもたらしたりするように、その後訓練済みシステムを調整及び/または修正するために使用され得る。これは、スライドを分析した(例えば、スライド分析ツール101の)機械学習システムからの出力を活用すること、及び適切な症例を適切な病理医に与えることを含み得る。例えば、あるユーザ/スライドの種類が通常、セカンドオピニオン/検査を受ける場合、訓練済みシステムは、これらの症例を最適化された症例順序リスト内の早期に提供してもよい。システムは、追加で、どの病理医/ユーザが対応可能であるか、及び彼らがどのレベルの専門知識を有し得るかを考慮してもよい。訓練済みシステムはさらに、どの症例にセカンドオピニオンまたは検査が必要であるかを識別し得る。
【0098】
図4Aは、本明細書に提示される技術による、研究状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法400のフローチャートである。
図4Aの方法400は、例えば、
図1Cで上述した症例順序最適化ツール141によって実行され得るステップを示す。代替として、方法400は、外部システムによって行われてもよく、訓練済みシステムは、実施のために症例順序最適化ツール141に提供されてもよい。
【0099】
臨床研究及び臨床試験環境を含む研究状況では、症例検査の一部として診断を下す必要がない場合がある。例えば、ユーザは、病理スライドのある態様(例えば、ある特性またはパターン)を識別するタスクを課されることがあるが、これらの特性またはパターンに関連付けられた診断は重要ではないか、または既に知られていることがある。一つの例示的な例として、分子診断研究室の中で、ユーザは、病理スライドを検査して、腫瘍を丸で囲み、腫瘍を診断するのではなく、機械で何を削り取るべきかを判定してもよい。したがって、研究状況の中では、訓練済みシステムは、診断の質のためではなく、ある性能メトリックのために症例順序最適化を行ってもよい。例えば、症例順序最適化では、正確度変数よりも速度変数が優先されてもよい。
【0100】
一般に、方法400のステップ402~404で詳述される訓練段階は、方法300で説明したステップまたは特徴のいずれか(例えば、臨床状況での訓練段階)を組み込んでもよい。例えば、訓練済みシステムは、ステップ402で、
図3Aを参照して説明した方法300のステップ302で受信したデータセットのいずれかを含むデータセットを受信してもよい。
【0101】
ステップ404において、システムは、データセットのうちの1つまたは複数を使用して訓練されてもよい。例えば、システムは、AI評価画像及び/または受信したデータセットを利用して、研究環境における1つまたは複数の制約を前提として、複数の変数のうちの1つまたは複数を最適化する症例順序を判定するように構成されるように、システムを訓練してもよい。例えば、最適化される変数が異なる場合があることを除いて、システムは、ステップ304に類似のステップ404において訓練されてもよい。例えば、臨床研究及び/または臨床試験環境または状況では、最適化された1つまたは複数の変数が、病理医の効率または臨床研究に関連する任意の他の最適な変数に関連付けられてもよい。例えば、最適化される変数は、完了した症例の数、所定の期間内に検査された顕著領域の数、及び/または1日に検査されたスライドの数を含み得る。
図2を参照して詳細に前述したように、訓練済みシステムは、訓練済みMLシステムであってもよく、または最適化に応じてルールベースロジックを適用してもよい。
【0102】
図4Bは、本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して研究状況で症例順序最適化を判定するための例示的な方法450を示すフローチャートである。
図4Bの例示的な方法450(例えば、ステップ452~458)は、例えば、症例順序最適化ツール141によって実行され得るステップを示す。これらのステップは、自動的に、またはユーザ(例えば、病理医、部門もしくは検査室マネージャ、管理者など)からの要求に応じて行われ得る。代替として、方法450は、デバイス700などの、画像入力を受信することが可能であり、かつ
図4Aで説明した訓練済みシステムを記憶及び実行することが可能な、任意のコンピュータプロセスシステムによって行われ得る。
【0103】
一般に、方法450で説明されている製造段階は、
図3Bで説明されている方法350のステップまたは特徴のいずれかを組み込み得る。ステップ452では、訓練済みシステムは、病理症例に関連付けられた病理スライドの複数の電子医用画像を受信し得る。ステップ454では、訓練済みシステムは、さらに、任意の変数データ202及び/または任意の制約データ204を受信し得る。ステップ456では、訓練済みシステムは、研究環境において1人または複数のユーザによる検査のための病理症例の1つまたは複数の順序を判定し得る。いくつかの例では、症例のサブセットが、拠点の各対応可能なユーザ(例えば、病理医)に割り当てられてもよく、各サブセット内の症例の検査の順序が判定されてもよい。オプションで、順序は、各症例の画像についての順序も定義し得る。判定された順序は、受信した制約データからの1つまたは複数の制約を前提として、受信した変数データからの1つまたは複数の変数を最適化し得る。例えば、訓練済みシステムは、研究環境または状況における診断の質よりも病理医の性能メトリックに対して最適化されてもよい。例えば、症例順序最適化では、正確度変数よりも速度変数が優先されてもよい。いくつかの例では、ユーザは、このステップの間どの変数を最適化するかを具体的に選択し得る。他の例では、訓練済みシステムは、最適化される変数を自動的に選択してもよい。
【0104】
ステップ458では、訓練済みシステムは、(例えば、リスト内の)1人または複数の病理医による検査のための病理症例の判定された順序を出力し得る。いくつかの例では、
図2のプロセス210を参照してより詳細に説明したように、各症例の電子医用画像は、順序に従って自動的に表示されてもよい(例えば、自動的にナビゲートされてもよい)。
【0105】
図5Aは、本明細書に提示される技術による、教育状況で最適化された症例順序を判定するようにシステムを訓練するための例示的な方法500のフローチャートである。
図5Aの方法500は、例えば、
図1Cで上述した実施のために症例順序最適化ツール141によって実行され得るステップを示す。代替として、方法500は、外部システムによって行われてもよく、訓練済みシステムは、実施のために症例順序最適化ツール141に提供されてもよい。
【0106】
症例順序最適化ツール141は、ユーザ(例えば、病理医になる訓練中の学生及び/または訓練を継続している病理医)を訓練及び/またはテストするための教育状況の中で利用されてもよい。教育の観点から、ユーザの一般的な理解またはテストのために、症例の種類のバリエーションが必要である場合がある。追加として、改善が必要な領域に基づいて個々の学生に類似/同一の症例の種類を識別及び/または提示することも、役立つ場合がある。したがって、教育状況の中で症例順序判定のために最適化される変数は、正確度または速度ではなく、病理医の向上に関連する変数であってもよい。追加として、各症例に関連付けられた診断は、症例順序最適化ツール141によって既知であってもよい。
【0107】
さらに、症例順序最適化ツール141では、ユーザが、ある症例領域を実践のために選択することを可能にし得る。症例順序最適化ツール141は、品質が低下している場合(例えば、事前定義された期間内にユーザがもたらした誤った診断の数または症例の数がしきい値を超えている場合)に、自動的に休憩を提案してもよい。症例順序最適化ツール141は、経時的なユーザの進捗状況をさらに追跡し、個々のユーザの強み及び弱みを今後の使用のために記憶し得る。ユーザの強みは、ユーザが特定のしきい値を超える割合(例えば、診断が正しいときが 80%以上)で、またはユーザの全体的な診断率よりも高い割合で、診断を正しく識別する、特定の領域または病理学分野を指してもよい。ユーザの弱みは、ユーザが特定のしきい値を下回る割合(例えば、診断が正しくないときが50%以下)で、またはユーザの全体的な診断率よりも高い割合で、診断を誤って識別する、特定の領域または病理学分野を指してもよい。
【0108】
1つの例示的な場合に、症例順序最適化ツール141は、訓練済みシステムを利用して、一般診査またはさらに特定の専門診査などのテスト用に最適化された症例順序を提供し得る。訓練済みシステムは、診断の質及び/またはスライドに対する診断に重要であることが分かっている特徴の認識のために、症例順序を最適化し得る。追加として、テスト環境では、訓練済みシステムは、検出されたユーザの弱みまたは強みに基づいて、症例順序の中に含める症例を選択してもよい。代替として、訓練済みシステムは、全てのテスト受験者に新たなスライドを使用しながら、トピックを均等に分散させたり、トピックの選択セットを提供したりしてもよい。
【0109】
一般に、方法500のステップ502~504で詳述される訓練段階は、本明細書の他の実施形態(例えば、
図3A及び
図4A)で説明されている任意の訓練システムを組み込み得る。ステップ502では、訓練済みシステムは、他の例の中でも、診断及び/または対象特性を識別するために、ユーザ、病理医、及び/またはAIのいずれかによって以前に分析された病原体スライドを含むデータセットを受信し得る。診断データ及び/または特性データは、スライドとともに受信されてもよい。即ち、データセットは、注釈付きまたはラベル付きのデータセットであってもよい。追加として、
図3Aを参照して説明した方法300のステップ302で受信したデータセットのいずれかが、ステップ502でも受信され得る。オプションとして、データセットは、ユーザがスライドをどのようにナビゲートしているかを追跡する閲覧アプリケーションツール108からの情報をさらに含んでもよい。例えば、追跡データは、ユーザが特定のスライドを調べる時間、ショートカット/ホットキーを使用するかもしくは使用しない頻度の利用、及び/またはある注視期間などの測定値を含んでもよい。
【0110】
いくつかの例では、訓練済みシステムは、受信した病原体スライドを主題カテゴリ及びサブカテゴリでカテゴリ化してもよい。訓練スライドは、システムへの入力として提供されるときに、主題カテゴリまたはサブカテゴリでラベル付けされてもよい。
【0111】
ステップ504では、システムは、データセットのうちの1つまたは複数を使用して訓練され得る。例えば、システムは、AI評価画像及び/または受信したデータセットを利用して、教育環境における1つまたは複数の制約を前提として、複数の変数のうちの1つまたは複数を最適化する症例順序を判定するように構成されるように、システムを訓練してもよい。例えば、最適化される変数が異なる場合があることを除いて、システムは、ステップ304に類似のステップ504において訓練されてもよい。例えば、教育環境では、最適化される1つまたは複数の変数は、病理学の1つまたは複数の分野における診断の質の改善であってもよい。別の例では、最適化される変数は、顕著領域の識別の改善、正しい診断判定の改善の最大化、及び/または病理医の効率の改善の最大化であってもよい。
図2を参照して詳細に前述したように、訓練済みシステムは、訓練済みMLシステムであってもよく、または最適化に応じてルールベースロジックを適用してもよい。
【0112】
図5Bは、本明細書における1つまたは複数の例示的な実施形態による、訓練済みシステムを使用して教育状況で症例順序最適化を判定するための例示的な方法を示すフローチャートである。
図5Bの例示的な方法550(例えば、ステップ552~558)は、例えば、症例順序最適化ツール141によって実行され得るステップを示す。これらのステップは、自動的に、またはユーザ(例えば、病理医、部門もしくは検査室マネージャ、管理者など)からの要求に応じて行われ得る。代替として、方法550は、デバイス700などの、画像入力を受信することが可能であり、かつ
図5Aで説明した訓練済みシステムを記憶及び実行することが可能な任意のコンピュータプロセスシステムによって行われ得る。
【0113】
一般に、方法550は、本明細書の他の実施形態(例えば、
図3Bまたは
図4B)で説明したステップまたは特徴のいずれかを組み込み得る。ステップ502では、訓練済みシステムは、病理症例に関連付けられた病理スライドの複数の電子医用画像を受信し得る。これらのスライドは、病理学の種類(例えば、診断)及び関心領域を識別するために既に事前にラベル付けされていてもよい。別の例では、受信した病理スライドの電子画像は、
図2の症例画像205について説明したのと同じ種類のスライドに対応し、かつ同じ種類のスライドであってもよい。
【0114】
ステップ554では、訓練済みシステムは、任意の変数データ202及び制約データ204を受信し得る。例えば、変数データ202は、改善のための領域の識別または正確度の向上などの訓練に関連してもよい。追加として、制約データ204は、特定のユーザが研究、訓練、または食事/試験を受けなければならない場合がある時間量を含み得る。追加として、組織観察プラットフォーム100の使用中に、さらなる変数202のデータ及び制約データ204が、訓練済みシステムに提供されてもよく、及び/または症例順序最適化ツール141によって追跡されていてもよい。
【0115】
ステップ556では、訓練済みシステムは、教育環境における1人または複数のユーザ(例えば、1人または複数の訓練中の病理医または学生)による検査のための病理症例の1つまたは複数の順序を判定し得る。いくつかの例では、教育環境または教育状況において、症例順序は、顕著領域の識別の改善を最大化するため、正しい診断判定の改善を最大化するため、及び/または病理医の効率の改善を最大化するために最適化されてもよい。これらの変数202は、ユーザ/管理者によって選択されてもよく、または教育状況において最適化される好ましい変数202として既に設定されていてもよい。
【0116】
ステップ558では、訓練済みシステムは、(例えば、リスト内の)1人または複数の病理医による検査のための病理症例の判定された順序を出力し得る。いくつかの例では、
図2のプロセス210を参照してより詳細に説明したように、各症例の電子医用画像は、順序に従って自動的に表示されてもよい(例えば、自動的にナビゲートされてもよい)。
【0117】
オプションで、症例順序最適化ツール141は、ユーザに休憩を促すことがある。例えば、システムは、その日の教育目標(例えば、制約204)が達成され得るときに警告を与えてもよい。症例順序最適化ツール141は、全体及びあるカテゴリまたはサブカテゴリ内での総訓練時間及びユーザ正確度を追跡し得る。さらに、症例順序最適化ツール141は、個々の性能を自動的にマッピングし、そのデータを訓練済みシステムに供給してもよく、それは、所定の時間間隔/イベントでシステムを再訓練するために使用されてもよい。これは、症例が判定された順序でユーザに提示される訓練またはテストセッションからユーザデータを取得することと、それを訓練済みシステムにフィードバックし、それが、始めに次のユーザから、及び/または任意の特定のユーザに対してより良く最適化されるようにシステムを再訓練するためにその後使用されることと、を含み得る。
【0118】
一例では、訓練済みシステムは、特定のスライド上に位置する腫瘍の悪性度を識別するなどの、病理学内の特定の専門分野について1人または複数の個人を訓練するための最適化された症例順序を判定するように実施されてもよい。この場合、ステップ502の訓練データセット及びステップ552の受信した医用画像は、異なる悪性度の腫瘍を有する様々なスライドを含み得る。さらに、ステップ552の訓練データ及び/または挿入された医用画像は、腫瘍の位置及び悪性度を示すようにラベル付けされてもよい。症例順序最適化ツール141は、訓練済みシステムによって判定された最適化された症例順序に従って異なる悪性度の腫瘍がスライドの上に位置する様々なスライドをユーザに出力し得る。ユーザが前進する(例えば、より多くのスライドを分析する)につれて、症例順序最適化ツール141は、ユーザがどの悪性度の腫瘍を正しく識別しているか、及びユーザがどの種類を正しく識別していないかを識別し得る。症例順序最適化ツール141は、この情報を訓練済みシステムに提供してもよく、訓練済みシステムは、最適化された症例順序を更新して、ユーザがより高い割合で識別できなかった腫瘍悪性度を有する症例をより多くユーザに与えるように進行してもよい。この症例順序最適化ツール141は、ユーザが所定の正確度パーセンテージである悪性度の腫瘍を識別するまで、これらのある悪性度の腫瘍を有する症例を出力し続け得る。
【0119】
図6は、1人または複数のユーザに表示される症例の順序を最適化するための例示的な方法600を示すフローチャートである。ステップ602では、複数の変数及び1つまたは複数の制約が受信され得る。ステップ604では、複数の病理症例が受信され得る。複数の病理症例の各症例は、患者に関連付けられた少なくとも1つの病理検体の1つまたは複数の医用画像を含んでもよい。
【0120】
ステップ606では、各症例からの1つまたは複数の医用画像、複数の変数、及び1つまたは複数の制約が、訓練済みシステムに入力され得る。本明細書に説明した訓練済みシステムは、訓練済み機械学習システムであってもよい。例えば、訓練済み機械学習システムは、全ての可能な順序付けをランク付けするスコアリングシステムとは対照的に、依存関係の制約及び制約ソルバを使用して、依存関係の順序でスライドを提供してもよい。
【0121】
ステップ608では、複数の症例のユーザ検査のための順序が受信され得る。この順序は、1つまたは複数の制約に基づいて、複数の変数のうちの1つまたは複数を最適化するために使用され得る。ステップ610では、複数の症例の各症例が、順序に従って、検査のためにユーザに自動的に提供され得る。
【0122】
図7に示されるように、デバイス700は、中央処理装置(CPU)720を含み得る。CPU720は、例えば任意の種類の専用マイクロプロセッサデバイスまたは汎用マイクロプロセッサデバイスを含む、任意の種類のプロセッサデバイスであり得る。当業者には認識されるように、CPU720はまた、単独で動作するマルチコア/マルチプロセッサシステムにおけるシングルプロセッサ、またはクラスタもしくはサーバファームで動作するコンピューティングデバイスのクラスタにおけるシングルプロセッサであり得る。CPU720は、例えばバス、メッセージキュー、ネットワーク、またはマルチコアメッセージ受渡しスキームといったデータ通信インフラストラクチャ710に接続され得る。
【0123】
デバイス700はまた、例えばランダムアクセスメモリ(RAM)といったメインメモリ740を含んでもよく、二次メモリ730も含んでもよい。例えば読み取り専用メモリ(ROM)といった二次メモリ730は、例えばハードディスクドライブまたはリムーバブルストレージドライブであってもよい。このようなリムーバブルストレージドライブは、例えばフロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例のリムーバブルストレージドライブは、周知の方式でリムーバブルストレージユニットから読み出し、及び/またはこれに書き込む。リムーバブルストレージは、リムーバブルストレージドライブによって読み出され及びそれに書き込まれるフロッピー(登録商標)ディスク、磁気テープ、光ディスクなどを含み得る。当業者には認識されるように、このようなリムーバブルストレージユニットは通常、コンピュータソフトウェア及び/またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
【0124】
代替的な実施態様では、二次メモリ730は、コンピュータプログラムまたは他の命令がデバイス700にロードされることを可能にする同様の手段を含み得る。このような手段の例は、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲームデバイスに見られるものなど)、リムーバブルメモリチップ(EPROMまたはPROMなど)及び関連ソケット、ならびにリムーバブルストレージユニットからデバイス700にソフトウェア及びデータを転送することを可能にする他のリムーバブルストレージユニット及びインターフェースを含み得る。
【0125】
デバイス700はまた、通信インターフェース(「COM」)760を含み得る。通信インターフェース760は、デバイス700と外部デバイスとの間でソフトウェア及びデータを転送することを可能にする。通信インターフェース760は、モデム、ネットワークインターフェース(イーサネット(登録商標)カードなど)、通信ポート、PCMCIAスロット及びカードなどを含み得る。通信インターフェース760を介して転送されるソフトウェア及びデータは、信号の形態であってもよく、これは、通信インターフェース760により受信可能な電子信号、電磁信号、光信号、または他の信号であり得る。これらの信号は、デバイス700の通信経路を介して通信インターフェース760に提供されてもよく、デバイス700の通信経路は、例えばワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話リンク、RFリンク、または他の通信チャネルを使用して実装され得る。
【0126】
そのような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者はそれらに十分精通していると推定される。デバイス700は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力デバイスと接続するための入出力ポート650も含み得る。当然のことながら、処理負荷を分散させるために、様々なサーバ機能が、多数の同様のプラットフォームにおいて分散方式で実施され得る。代替として、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。
【0127】
本開示全体を通じて、コンポーネントまたはモジュールへの言及は、概して、機能または関連機能のグループを行うために論理的に一緒にグループ化され得るアイテムを指す。同様の参照番号は、概して、同一または同様のコンポーネントを指すことを意図している。コンポーネント及び/またはモジュールは、ソフトウェア、ハードウェア、またはソフトウェア及び/またはハードウェアの組み合わせで実装され得る。
【0128】
前述のツール、モジュール、及び/または機能は、1つ以上のプロセッサによって行われ得る。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連モジュールのいずれかまたは全てを含んでもよく、これらは、ソフトウェアプログラミングのためにいつでも非一時的ストレージを提供し得る。
【0129】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを経由して、通信され得る。例えば、通信によって、一方のコンピュータまたはプロセッサから、別のものにソフトウェアをロードすることを可能にし得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されていなければ、コンピュータ「可読媒体」または機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
【0130】
前述の概略的な説明は単に例示及び説明にすぎず、本開示を限定するものではない。他の実施形態は、本明細書に開示される発明の仕様及び実践を検討することから、当業者に明らかになり得る。仕様及び例は、単なる例示と見なされることを意図している。
【国際調査報告】