(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-07
(54)【発明の名称】デジタル病理学のために、画像を処理し、処理された画像を分類するためのシステムおよび方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20220531BHJP
【FI】
G01N33/48 M
G01N33/48 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021568008
(86)(22)【出願日】2020-05-15
(85)【翻訳文提出日】2021-12-24
(86)【国際出願番号】 US2020033161
(87)【国際公開番号】W WO2020232363
(87)【国際公開日】2020-11-19
(32)【優先日】2019-05-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518307592
【氏名又は名称】ペイジ.エーアイ インコーポレイテッド
【氏名又は名称原語表記】PAIGE.AI, Inc.
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】カプール, スプリヤ
(72)【発明者】
【氏名】カナン, クリストファー
(72)【発明者】
【氏名】フックス, トーマス
(72)【発明者】
【氏名】グラディー, レオ
【テーマコード(参考)】
2G045
【Fターム(参考)】
2G045AA24
2G045CB01
2G045FA19
2G045JA01
2G045JA05
2G045JA07
(57)【要約】
標的試料に対応する標的画像を受信するステップであって、標的試料は、患者の組織サンプルを備える、ステップと、機械学習モデルを標的画像に適用し、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を決定するステップであって、機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ステップと、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を出力するステップとのためのシステムおよび方法が、開示される。
【特許請求の範囲】
【請求項1】
試料に対応する画像を分析するためのコンピュータ実装方法であって、前記方法は、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
を含む、コンピュータ実装方法。
【請求項2】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、前記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測の信頼度値を決定することと、
前記信頼度値を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習モデルに従って決定される、ことと、
前記品質スコアを出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習モデルに従って決定される、ことと、
前記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
前記標的画像に関する品質スコアが前記所定の値未満であることに応答して、前記標的画像に関する品質スコアを増加させるための推奨を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項7】
前記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、請求項6に記載のコンピュータ実装方法。
【請求項8】
前記標的画像および前記機械学習モデルを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することをさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項9】
前記標的画像および前記機械学習モデルを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと、
前記標的試料が治療後であることを決定することに応じて、前記標的画像に基づいて、前記標的試料が治療されている予測される程度を決定することと、
前記標的試料が治療されている予測される程度を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項10】
試料に対応する画像を分析するためのシステムであって、前記システムは、
命令を記憶するメモリと、
プロセッサであって、前記プロセッサは、前記命令を実行することにより、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
を含むプロセスを実施する、プロセッサと
を備える、システム。
【請求項11】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項10に記載のシステム。
【請求項12】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、前記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、請求項10に記載のシステム。
【請求項13】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測の信頼度値を決定することと、
前記信頼度値を出力することと
をさらに含む、請求項10に記載のシステム。
【請求項14】
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習モデルに従って決定される、ことと、
前記品質スコアを出力することと
をさらに含む、請求項10に記載のシステム。
【請求項15】
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習モデルに従って決定される、ことと、
前記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
前記標的画像に関する品質スコアが前記所定の値未満であることに応答して、前記標的画像に関する品質スコアを増加させるための推奨を出力することと
をさらに含む、請求項10に記載のシステム。
【請求項16】
前記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、請求項15に記載のシステム。
【請求項17】
前記標的画像および前記機械学習モデルを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することをさらに含む、請求項10に記載のシステム。
【請求項18】
前記標的画像および前記機械学習モデルを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと、
前記標的試料が治療後であることを決定することに応じて、前記標的画像に基づいて、前記標的試料が治療されている予測される程度を決定することと、
前記標的試料が治療されている予測される程度を出力することと
をさらに含む、請求項10に記載のシステム。
【請求項19】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに、試料に対応する画像を分析するための方法を実施させ、前記方法は、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
【請求項20】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項19に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その開示全体が参照することによってその全体として本明細書に組み込まれる、2019年5月16日に出願された、米国仮出願第62/848,703号の優先権を主張する。
【0002】
本開示の種々の実施形態は、概して、画像ベースの試料分類および関連画像処理方法に関する。より具体的には、本開示の特定の実施形態は、組織試料の処理画像に基づいて、試料タイプまたは試料性質を識別または照合するためのシステムおよび方法に関する。
【背景技術】
【0003】
病院または研究環境内でデジタル病理学画像を使用するために、試料の組織タイプ、試料の入手元(例えば、前立腺針生検、乳房生検、乳房切除等)、および試料または画像の他の関連性質をカテゴリ化することが、重要であり得る。病院設定では、組織タイプ情報は、実験室情報システム(LIS)内に記憶されてもよい。しかしながら、正しい組織分類情報は、常時、画像コンテンツと対合されるわけではない。例えば、第三者は、LIS内に記憶される対応する試料タイプ標識を伴わずに、画像コンテンツへの匿名化されたアクセスを与えられ得る。LISコンテンツへのアクセスは、その取り扱いに注意を要するコンテンツに起因して、限定され得る。加えて、LISが、デジタル病理学画像のための試料タイプにアクセスするために使用される場合でも、本標識は、LISの多くの構成要素が、手動で入力され、大幅な許容誤差を残し得るという事実に起因して、正しくない場合がある。
【0004】
必ずしも、LISまたは関連情報データベースにアクセスせずに、デジタル病理学画像のために、正しくないまたは欠測試料タイプ標識のための解決策を提供する方法に関する所望が存在する。以下の開示は、組織試料をデジタル病理学画像から分類する本必要性に対処するためのシステムおよび方法を対象とする。
【0005】
前述の一般的説明および以下の詳細な説明は、例示的および説明的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項の先行技術ではなく、本節における含有によって、先行技術である、または先行技術の示唆と認められるものではない。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示のある側面によると、試料タイプまたは試料性質を組織試料の画像分析から識別または照合するためのシステムおよび方法が、開示される。
【0007】
試料に対応する画像を分析するための方法は、標的試料に対応する標的画像を受信するステップであって、標的試料は、患者の組織サンプルを備える、ステップと、機械学習モデルを標的画像に適用し、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を決定するステップであって、機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ステップと、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を出力するステップとを含む。
【0008】
試料に対応する画像を分析するためのシステムは、命令を記憶する、メモリと、命令を実行し、標的試料に対応する標的画像を受信するステップであって、標的試料は、患者の組織サンプルを備える、ステップと、機械学習モデルを標的画像に適用し、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を決定するステップであって、機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ステップと、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を出力するステップとを含む、プロセスを実施する、プロセッサとを含む。
【0009】
プロセッサによって実行されると、プロセッサに、試料に対応する画像を分析するための方法を実施させる、命令を記憶する、非一過性コンピュータ可読媒体であって、本方法は、標的試料に対応する標的画像を受信するステップであって、標的試料は、患者の組織サンプルを備える、ステップと、機械学習モデルを標的画像に適用し、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を決定するステップであって、機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ステップと、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を出力するステップとを含む。
【0010】
前述の一般的説明および以下の詳細な説明は両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
【図面の簡単な説明】
【0011】
本明細書内に組み込まれ、その一部を構成する、付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する、役割を果たす。
【0012】
【
図1A】
図1Aは、本開示の例示的実施形態による、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのシステムおよびネットワークの例示的ブロック図を図示する。
【0013】
【
図1B】
図1Bは、本開示の例示的実施形態による、疾患検出プラットフォーム100の例示的ブロック図を図示する。
【0014】
【
図1C】
図1Cは、本開示の例示的実施形態による、試料分類プラットフォームの例示的ブロック図を図示する。
【0015】
【
図2A】
図2Aおよび2Bは、本開示の1つ以上の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定し、試料を分類するための例示的方法を図示する、フローチャートである。
【
図2B】
図2Aおよび2Bは、本開示の1つ以上の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定し、試料を分類するための例示的方法を図示する、フローチャートである。
【0016】
【
図3】
図3は、本開示の例示的実施形態による、デジタル病理学画像に関する試料性質または画像性質情報を決定する、例示的実施形態のフローチャートである。
【0017】
【
図4】
図4は、本開示の例示的実施形態による、試料タイプ識別ツールを発生させ、使用する、例示的実施形態のフローチャートである。
【0018】
【
図5】
図5は、本開示の例示的実施形態による、画質制御および/または試料品質制御ツールを発生させ、使用する、例示的実施形態のフローチャートである。
【0019】
【
図6】
図6は、本開示の例示的実施形態による、以前の組織治療効果識別ツールを発生させ、使用する、例示的実施形態のフローチャートである。
【0020】
【
図7】
図7は、本明細書に提示される技法を実行し得る、例示的システムを描写する。
【発明を実施するための形態】
【0021】
ここで、本開示の例示的実施形態が詳細に参照され、その実施例は、付随の図面に図示される。可能な限り、同一参照番号が、同一または同様の部品を指すために、図面全体を通して使用されるであろう。
【0022】
本明細書に開示されるシステム、デバイス、および方法は、一例として、図を参照して詳細に説明される。本明細書で議論される実施例は、実施例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を補助するために提供される。図面に示される、または下記に議論される、特徴または構成要素のいずれも、必須として具体的に指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の具体的実装のために必須なものとして捉えられるべきではない。
【0023】
また、説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップの任意の明示的または暗示的順序付けは、それらのステップが、提示される順序で実施されなければならないことを含意するものではなく、代わりに、異なる順序において、または並行して実施されてもよいことを理解されたい。
【0024】
本明細書で使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。さらに、用語「a」および「an」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの1つ以上のものの存在を示す。
【0025】
病理学は、疾患の研究を指す。より具体的には、病理学は、疾患を診断するために使用される、試験および分析を実施することを指す。例えば、組織サンプルが、病理学者(例えば、組織サンプルを分析し、任意の異常が存在するかどうかを決定する、専門家である、医師)によって、顕微鏡下で視認されるために、スライド上に設置されてもよい。すなわち、病理学試料は、複数の断片に切断され、染色され、病理学者が、検査し、診断を与えるためのスライドとして調製され得る。診断の不確実性が、スライド上で見出されるとき、病理学者は、より多くの情報を組織から集めるために、付加的切断レベル、染色、または他の試験を指示し得る。技術者は、次いで、新しいスライドを作成し得、これは、病理学者が診断を行う際に使用するための付加的情報を含有し得る。付加的スライドを作成する本プロセスは、組織の塊を採取し、それを切断し、新しいスライドを作成し、次いで、スライドを染色するステップを伴い得るためだけではなく、また、複数の指示のために一括化され得るため、時間がかかり得る。これは、病理学者が与える、最終診断を有意に遅延させ得る。加えて、遅延後でも、依然として、新しいスライドが診断を与えるために十分な情報を有するであろう保証がない場合がある。
【0026】
病理学者は、分離して、癌および他の疾患病理学スライドを評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能(AI)、注釈、コンサルテーション、および推奨を1つのワークステーション内に統合し得る。特に、本開示は、ワークフロー内で利用可能な種々の例示的ユーザインターフェース、および病理学者の作業を促し、改良するためにワークフローの中に統合され得る、AIツールを説明する。
【0027】
例えば、コンピュータが、組織サンプルの画像を分析し、付加的情報が特定の組織サンプルについて必要とされ得るかどうかを迅速に識別し、および/または病理学者がより詳しく調べるべき面積をハイライトするために使用され得る。したがって、付加的染色されたスライドおよび試験を取得するプロセスは、病理学者によって精査される前に、自動的に行われ得る。自動スライド区画化および染色機械と対合されると、これは、完全に自動化されたスライド調製パイプラインを提供し得る。本自動化は、少なくとも、(1)病理学者が診断を行うために不十分なスライドを決定することによって無駄にされる時間量を最小限にする、(2)付加的試験が指示されたときとそれらが生成されたときとの間の付加的時間を回避することによって、試料入手から診断までの(平均総)時間を最小限にする、(3)再切断が組織塊(例えば、病理学試料)が切断台にある間に行われることを可能にすることによって、再切断あたりの時間量および無駄にされる材料の量を低減させる、(4)スライド調製の間に無駄にされる/廃棄される組織材料の量を低減させる、(5)部分的または完全に手技を自動化することによって、スライド調製のコストを低減させる、(6)サンプルからより代表的/有益なスライドをもたらすであろう、スライドの自動カスタマイズ切断および染色を可能にする、(7)病理学者にとっての付加的試験を要求する諸経費を低減させることによって、より大量のスライドが組織塊あたり発生されることを可能にし、より情報が多く/精密な診断に寄与する、および/または(8)デジタル病理学画像の正しい性質(例えば、試料タイプに関する)を識別または照合する等の利点を有する。
【0028】
病理学者を補助するためにコンピュータを使用するプロセスは、コンピュータ処理病理学として知られる。コンピュータ処理病理学のために使用されるコンピューティング方法は、限定ではないが、統計的分析、自律的または機械学習、およびAIを含み得る。AIは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタ化、および回帰アルゴリズムを含み得る。コンピュータ処理病理学を使用することによって、病理学者が、その診断正確度、信頼性、効率性、およびアクセス性を改良することに役立つことで、命が救われ得る。例えば、コンピュータ処理病理学は、癌が疑われるスライドを検出することを補助し、それによって、病理学者が、最終診断を与える前に、その初期査定をチェックおよび確認することを可能にするために使用されてもよい。
【0029】
組織病理学は、スライド上に設置されている、試料の研究を指す。例えば、デジタル病理学画像が、試料(例えば、塗抹標本)を含有する、顕微鏡スライドのデジタル化された画像から成ってもよい。病理学者がスライド上の画像を分析するために使用し得る、1つの方法は、核を識別し、核が正常(例えば、良性)であるかまたは異常(例えば、悪性)であるかを分類するものである。病理学者が核を識別および分類することを補助するために、組織学的染色が、細胞を可視化するために使用されてもよい。多くの色素ベースの染色システムが、開発されており、過ヨウ素酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン(H&E)を含む。医療診断のために、H&Eは、広く使用される色素ベースの方法であって、ヘマトキシリンは、細胞核を青色に染色し、エオジンは、細胞質および細胞外マトリクスを桃色に染色し、他の組織領域は、これらの色の変動を帯びる。しかしながら、多くの場合、H&E染色による組織学的調製は、病理学者が、診断を補助する、または治療を誘導し得る、バイオマーカを視覚的に識別するための十分な情報を提供しない。本状況では、免疫組織化学的性質(IHC)、免疫蛍光、原位置ハイブリダイゼーション(ISH)、または蛍光原位置ハイブリダイゼーション(FISH)等の技法が、使用されてもよい。IHCおよび免疫蛍光は、例えば、組織内の具体的抗原に結合し、具体的着目タンパク質を発現する細胞の視覚的検出を可能にする、抗体の使用を伴い、これは、H&E染色スライドの分析に基づいて、訓練された病理学者に確実に識別可能ではない、バイオマーカを明らかにし得る。ISHおよびFISHは、採用されるプローブのタイプ(例えば、遺伝子コピー数のためのDNAプローブおよびRNA発現の査定のためのRNAプローブ)に応じて、遺伝子のコピーの数または具体的RNA分子の存在量を査定するために採用されてもよい。これらの方法もまた、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカ(例えば、腫瘍内の具体的タンパク質または遺伝子産物の過剰発現、癌内の所与の遺伝子の増幅)が存在するかどうかを確認するために使用されてもよい。
【0030】
デジタル化された画像は、染色された顕微鏡スライドを示すように調製されてもよく、これは、病理学者が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、本プロセスは、いくつかの異常が検出することが困難であるため、時間がかかり得、異常を識別する際の誤差につながり得る。コンピュータ処理プロセスおよびデバイスが、病理学者が、そうでなければ検出することが困難であり得る、異常を検出することを補助するために使用されてもよい。例えば、AIが、バイオマーカ(タンパク質および/または遺伝子産物の過剰発現、増幅、または具体的遺伝子の突然変異体等)をH&Eおよび他の色素ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域から予測するために使用されてもよい。組織の画像は、全体的スライド画像(WSI)、マイクロアレイ内の組織コアの画像、または組織切片内の選択された着目面積であり得る。H&Eのような染色方法を使用すると、これらのバイオマーカは、ヒトが付加的試験の補助を伴わずに視覚的に検出または定量化することが困難であり得る。AIを使用して、これらのバイオマーカを組織のデジタル画像から推測することは、患者処置を改良する一方、また、より高速かつより安価となる潜在性を有する。
【0031】
検出されたバイオマーカまたは画像のみが、次いで、患者を治療するために使用されるべき具体的癌薬物または薬物組み合わせ療法を推奨するために使用され得、AIは、検出されたバイオマーカを治療オプションのデータベースと相関させることによって、成功する可能性が低い、薬物または薬物組み合わせを識別し得る。これは、患者の具体的癌を標的するための免疫療法薬物の自動推奨を促進するために使用されることができる。さらに、これは、患者の具体的サブセットおよび/またはより稀有な癌型のための個人化された癌治療を可能にするために使用され得る。
【0032】
今日の病理学の分野では、病理学試料調製に対する系統的品質制御(「QC」)および組織病理学ワークフロー全体を通した診断の品質に対する品質保証(「QA」)を提供することは困難であり得る。系統的品質保証は、2人の病理学者による複製労力を要求し得ることから、リソースおよび時間集約的であるため、困難である。品質保証のためのいくつかの方法は、(1)最初の診断癌症例の2回目の精査、(2)品質保証委員会による不一致または変更された診断の周期的精査、および(3)症例のサブセットのランダム精査を含む。これらは、非包括的で、主に、遡及的で、かつ手動である。自動化および系統的QCおよびQA機構を用いることで、品質が、症例毎に、ワークフロー全体を通して確実にされることができる。実験室品質制御およびデジタル病理学品質制御は、患者試料の取込、プロセス、診断、およびアーカイブの成功のために不可欠である。QCおよびQAに対する手動およびサンプリングアプローチは、実質的利点を与える。系統的QCおよびQAは、効率性を提供し、診断品質を改良する潜在性を有する。
【0033】
上記に説明されるように、本開示のコンピュータ処理病理学プロセスおよびデバイスは、統合されたプラットフォームを提供し、実験室情報システム(LIS)と統合しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にし得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して集約されてもよい。データは、病院、医院、現場研究者等から由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および/または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおいて、リアルタイム監視および健康パターンの予想を行ってもよい。
【0034】
上記に説明されるデジタル病理学画像は、デジタル病理学画像の試料または画像の性質に関するタグおよび/または標識とともに記憶されてもよく、そのようなタグ/標識は、正しくないまたは不完全である場合がある。故に、本開示は、デジタル病理学画像の正しい性質(例えば、試料タイプに関する)を識別または照合するためのシステムおよび方法を対象とする。特に、開示されるシステムおよび方法は、記憶されたタグ/標識に依拠せずに、デジタル病理学画像の試料または画像性質を自動的に予測し得る。さらに、本開示は、必ずしも、LISまたは類似情報データベースにアクセスせずに、デジタル病理学画像の試料タイプまたはデジタル病理学画像に関する任意の情報を迅速かつ正しく識別および/または照合するためのシステムおよび方法を対象とする。本開示の一実施形態は、以前のデジタル病理学画像のデータセットに基づいてデジタル病理学画像の種々の性質を識別するように訓練される、システムを含んでもよい。訓練されたシステムは、デジタル病理学画像に示される試料に関する分類を提供し得る。分類は、試料と関連付けられる患者に関する治療または診断予測を提供することに役立ち得る。
【0035】
本開示は、試料分類ツールの1つ以上の実施形態を含む。ツールへの入力は、デジタル病理学画像および任意の関連付加的入力を含んでもよい。ツールの出力は、試料についての大域的および/または局所的情報を含んでもよい。試料は、生検または外科手術切除試料を含んでもよい。
【0036】
開示されるツールの例示的大域的出力は、画像全体についての情報、例えば、試料タイプ、試料の断片の全体的品質、ガラス病理学スライド自体の全体的品質、および/または組織形態構造特性を含有してもよい。例示的局所的出力は、画像の具体的領域内の情報を示し得、例えば、特定の画像領域は、スライド内にぼけまたは亀裂を有するものとして分類され得る。本開示は、下記にさらに詳細に説明されるように、開示される試料分類ツールの開発および使用の両方に関する実施形態を含む。
【0037】
図1Aは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのシステムおよびネットワークのブロック図を図示する。
【0038】
具体的には、
図1Aは、病院、実験室、および/または医師の診療所等におけるサーバに接続され得る、電子ネットワーク120を図示する。例えば、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125等がそれぞれ、1つ以上のコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク120に接続されてもよい。本願の例示的実施形態によると、電子ネットワーク120はまた、サーバシステム110に接続されてもよく、これは、本開示の例示的実施形態による、疾患検出プラットフォーム100を実装するように構成される、処理デバイスを含み得、これは、機械学習を使用して、試料を分類するために、デジタル病理学画像に関する試料性質または画像性質情報を決定するための試料分類ツール101を含む。
【0039】
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、1つ以上の患者の細胞診試料の画像、組織病理学試料、細胞診試料のスライド、組織病理学試料のスライドのデジタル化された画像、またはそれらの任意の組み合わせを作成または別様に取得してもよい。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125はまた、年齢、医療既往歴、癌治療既往歴、家族歴、過去の生検、または細胞診情報等の患者特有の情報の任意の組み合わせを取得してもよい。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、電子ネットワーク120を経由して、デジタル化されたスライド画像および/または患者特有の情報をサーバシステム110に伝送してもよい。サーバシステム110は、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの少なくとも1つから受信される画像およびデータを記憶するための1つ以上の記憶デバイス109を含んでもよい。サーバシステム110はまた、記憶デバイス109内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム110はさらに、1つ以上の機械学習ツールまたは能力を含んでもよい。例えば、処理デバイスは、一実施形態による、疾患検出プラットフォーム100のための機械学習ツールを含んでもよい。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施されてもよい。
【0040】
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、スライドの画像を精査するために、病理学者によって使用されるシステムを指す。病院設定では、組織タイプ情報は、LIS125内に記憶されてもよい。しかしながら、正しい組織分類情報が、常時、画像コンテンツと対合されるわけではない。加えて、LISが、デジタル病理学画像に関する試料タイプにアクセスするために使用される場合でも、本標識は、LISの多くの構成要素が、手動で入力され、大幅な許容誤差を残し得るという事実に起因して、正しくない場合がある。本開示の例示的実施形態によると、試料タイプは、LIS125にアクセスする必要なく識別されてもよい、または可能性として、LIS125を補正するように識別されてもよい。例えば、第三者が、LIS内に記憶される対応する試料タイプ標識を伴わずに、画像コンテンツへの匿名化されたアクセスを与えられ得る。加えて、LISコンテンツへのアクセスは、その取り扱いに注意を要するコンテンツに起因して限定され得る。
【0041】
図1Bは、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するための疾患検出プラットフォーム100の例示的ブロック図を図示する。
【0042】
具体的には、
図1Bは、一実施形態による、疾患検出プラットフォーム100の構成要素を描写する。例えば、疾患検出プラットフォーム100は、試料分類ツール101と、データ取込ツール102と、スライド取込ツール103と、スライドスキャナ104と、スライド管理装置105と、記憶装置106と、視認アプリケーションツール108とを含んでもよい。
【0043】
下記に説明されるような試料分類ツール101は、例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定し、試料を分類するためのプロセスおよびシステムを指す。
【0044】
データ取込ツール102は、例示的実施形態による、デジタル病理学画像を分類および処理するために使用される、種々のツール、モジュール、構成要素、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
【0045】
スライド取込ツール103は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライドスキャナ104を用いて走査されてもよく、スライド管理装置105は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像を記憶装置106内に記憶してもよい。
【0046】
視認アプリケーションツール108は、例示的実施形態による、ユーザ(例えば、病理学者)に、デジタル病理学画像に関する試料性質または画像性質情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース(例えば、画面、モニタ、記憶デバイス、および/またはウェブブラウザ等)を通して提供されてもよい。
【0047】
試料分類ツール101およびその構成要素はそれぞれ、ネットワーク120を経由して、デジタル化されたスライド画像および/または患者情報を、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125に伝送し、および/またはそこから受信してもよい。さらに、サーバシステム110は、試料分類ツール101、データ取込ツール102、スライド取込ツール103、スライドスキャナ104、スライド管理装置105、および視認アプリケーションツール108のうちの少なくとも1つから受信される画像およびデータを記憶するための記憶デバイスを含んでもよい。サーバシステム110はまた、記憶デバイス内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム110はさらに、例えば、処理デバイスに起因して、1つ以上の機械学習ツールまたは能力を含んでもよい。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施されてもよい。
【0048】
上記のデバイス、ツール、およびモジュールのいずれかは、1つ以上のコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク120に接続され得る、デバイス上に位置してもよい。
【0049】
図1Cは、本開示の例示的実施形態による、試料分類ツール101の例示的ブロック図を図示する。試料分類ツール101は、訓練画像プラットフォーム131および/または標的画像プラットフォーム135を含んでもよい。
【0050】
一実施形態によると、訓練画像プラットフォーム131は、訓練画像取込モジュール132、品質スコア決定器モジュール133、および/または治療識別モジュール134を含んでもよい。
【0051】
訓練画像プラットフォーム131は、一実施形態によると、機械学習モデルを訓練し、デジタル病理学画像を効果的に分析および分類するために使用される、訓練画像を作成または受信してもよい。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、実際のソース(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックレンダリングエンジン、3Dモデル等)に由来してもよい。デジタル病理学画像の実施例は、(a)(限定ではないが)H&E、ヘマトキシリンのみ、IHC、分子病理学等の種々の染色で染色されたデジタル化されたスライド、および/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0052】
訓練画像取込モジュール132は、ヒト組織の画像およびグラフィック的にレンダリングされる画像の一方または両方に対応する、1つ以上の訓練画像を備える、データセットを作成または受信してもよい。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。品質スコア決定器モジュール133は、デジタル病理学画像の有用性に著しく影響を及ぼし得る、大域的または局所的レベルにおける訓練画像に関する品質制御(QC)問題点(例えば、不完全性)を識別してもよい。例えば、品質スコア決定器モジュールは、画像全体についての情報、例えば、試料タイプ、試料の断片の全体的品質、ガラス病理学スライド自体の全体的品質、または組織形態構造特性を使用して、画像に関する全体的品質スコアを決定してもよい。治療識別モジュール134は、組織の画像を分析し、治療効果を有する(例えば、治療後)デジタル病理学画像および治療効果を有していない画像(例えば、治療前)を決定してもよい。組織内の以前の治療効果が組織自体の形態構造に影響を及ぼし得るため、デジタル病理学画像が治療効果を有するかどうかを識別することは、有用である。大部分のLISは、本特性を明示的に追跡しておらず、したがって、以前の治療効果を伴う試料タイプを分類することが、所望され得る。
【0053】
一実施形態によると、標的画像プラットフォーム135は、標的画像取込モジュール136と、試料検出モジュール137と、出力インターフェース138とを含んでもよい。標的画像プラットフォーム135は、標的画像を受信し、機械学習モデルを受信された標的画像に適用し、標的試料の特性を決定してもよい。例えば、標的画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。標的画像取込モジュール136は、標的試料に対応する標的画像を受信してもよい。試料検出モジュール137は、機械学習モデルを標的画像に適用し、標的試料の特性を決定してもよい。例えば、試料検出モジュール137は、標的試料の試料タイプを検出してもよい。試料検出モジュール137はまた、機械学習モデルを標的画像に適用し、標的画像に関する品質スコアを決定してもよい。さらに、試料検出モジュール137は、機械学習モデルを標的試料に適用し、標的試料が治療前であるかまたは治療後であるかを決定してもよい。
【0054】
出力インターフェース138は、標的画像および標的試料についての情報を出力するために使用されてもよい(例えば、画面、モニタ、記憶デバイス、ウェブブラウザ等)。
【0055】
図2Aは、本開示の例示的実施形態による、試料を分類するためのツールの例示的方法を図示する、フローチャートである。例えば、例示的方法200(例えば、ステップ202-206)は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。
【0056】
一実施形態によると、試料を分類するための例示的方法200は、以下のステップのうちの1つ以上のものを含んでもよい。ステップ202では、本方法は、標的試料に対応する標的画像を受信するステップであって、標的試料は、患者の組織サンプルを備える、ステップを含んでもよい。例えば、標的画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。
【0057】
ステップ204では、本方法は、機械学習モデルを標的画像に適用し、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を決定するステップを含んでもよい。標的試料の特性を決定するステップは、標的試料の試料タイプを決定するステップを含んでもよい。さらに、一実施形態によると、標的試料の特性を決定するステップは、標的試料の試料タイプに対応する信頼度値を識別するステップを含んでもよい。例えば、機械学習モデルは、種々のパラメータに従って、試料タイプにおける信頼度のレベルを示してもよい。これは、限定ではないが、ニューラルネットワークを使用して、1つ以上の特性に関する確率スコアをコンピュータ処理し、その確率を閾値処理するステップを含む、ある範囲の手段を使用することによって行われてもよい。本アプローチの代替は、確率的機械学習システムによって生成される出力のエントロピを検査するものであって、高エントロピは、より高い不確実性を示す。加えて、標的画像の特性を決定するステップは、訓練画像毎に、品質スコアを識別するステップを含んでもよい。例えば、本方法は、訓練された機械学習モデルを適用し、品質制御(QC)問題点の存在を予測するステップを含んでもよい。例えば、本方法は、品質制御問題点(例えば、不良に切断された試料切片、走査アーチファクト、損傷されたスライド、スライド上のマーキング等)を識別するステップ、および/または問題点を緩和するための措置(例えば、画像の再走査、再切断、スライド再構成等)を推奨するステップを含んでもよい。一実施形態によると、標的画像の特性を決定するステップは、標的画像内の治療効果の量を識別するステップと、標的画像の組織が治療されている予測される程度を出力するステップとを含んでもよい。
【0058】
機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されていてもよく、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を含んでもよい。機械学習モデルは、分類および回帰のための機械学習方法を使用して実装されてもよい。訓練入力は、実際のまたは合成画像を含み得る。訓練入力は、強化される場合とそうではない場合がある(例えば、雑音を追加する、または反転/歪曲によって入力の異型を作成する)。例示的機械学習モデルは、限定ではないが、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍法のうちの任意の1つまたは任意の組み合わせを含んでもよい。畳み込みニューラルネットワークは、直接、特性を判別するために必要な画像特徴表現を学習することができ、これは、試料毎に訓練すべき大量のデータが存在するとき、非常に良好に機能し得る一方、他の方法は、従来のコンピュータビジョン特徴、例えば、SURFまたはSIFTのいずれかまたは訓練された畳み込みニューラルネットワークによって生成される学習された埋込(例えば、記述子)と併用されることができ、これは、訓練すべき小量のデータのみが存在するとき、利点をもたらし得る。訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。訓練するために使用される画像は、実際のソース(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックレンダリングエンジン、3Dモデル等)に由来してもよい。デジタル病理学画像の実施例は、(a)(限定ではないが)H&E、IHC、分子病理学等の種々の染色で染色されたデジタル化されたスライド、および/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0059】
ステップ206では、本方法は、標的試料の少なくとも1つの特性および/または標的画像の少なくとも1つの特性を出力するステップを含んでもよい。試料タイプを決定することが不可能である場合、本方法は、標的試料の試料タイプが識別不可能であることを示す、アラートを出力するステップを含んでもよい。
【0060】
図2Bは、本開示の例示的実施形態による、試料を分類するためのツールの例示的方法を図示する、フローチャートである。例えば、例示的方法208(例えば、ステップ210-250)は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。
【0061】
一実施形態によると、試料を分類するための例示的方法208は、以下のステップのうちの1つ以上のものを含んでもよい。ステップ210では、機械学習モデルは、ヒト組織の画像およびグラフィック的にレンダリングされる画像の一方または両方に対応する1つ以上の訓練画像を備える、データセットを作成または受信してもよい。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。訓練するために使用される画像は、実際のソース(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックレンダリングエンジン、3Dモデル等)に由来してもよい。デジタル病理学画像の実施例は、(a)(限定ではないが)H&E、IHC、分子病理学等の種々の染色で染色されたデジタル化されたスライド、および/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0062】
ステップ220では、機械学習モデルは、1つ以上のパラメータに基づいて、訓練画像の訓練試料の特性を予測するように訓練されてもよい。例えば、機械学習モデルは、訓練セット内の標識を予測するようにそのパラメータを適合させてもよく(例えば、逆伝搬を用いて訓練されたニューラルネットワーク)、これは、モデルが、デジタル病理学画像が入力として与えられるとき、正しい出力挙動(例えば、対応する標識)を復元することを可能にし得る。本機械学習モデルは、分類および回帰のための機械学習方法を使用して実装されてもよい。訓練入力は、実際のまたは合成画像を含み得る。訓練入力は、強化される場合とそうではない場合がある(例えば、雑音を追加する)。例示的機械学習モデルは、限定ではないが、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍法のうちの任意の1つまたは任意の組み合わせを含んでもよい。
【0063】
ステップ230では、本方法は、デジタル病理学画像(例えば、標的画像)を受信するステップを含んでもよい。例えば、標的画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。ステップ240では、本方法は、機械学習モデルを受信された標的画像に適用し、標的試料の特性を決定するステップを含んでもよい。標的試料の特性を決定するステップは、標的試料の試料タイプを決定するステップを含んでもよい。さらに、一実施形態によると、標的試料の特性を決定するステップは、標的試料の試料タイプに対応する信頼度値を識別するステップを含んでもよい。例えば、機械学習モデルは、種々のパラメータに従って、試料タイプにおける信頼度のレベルを示してもよい。加えて、標的画像の特性を決定するステップは、訓練画像毎に、品質スコアを識別するステップを含んでもよい。例えば、本方法は、訓練された機械学習モデルを適用し、品質制御(QC)問題点の存在を予測するステップを含んでもよい。本方法は、品質制御問題点(例えば、不良に切断された試料切片、走査アーチファクト、損傷されたスライド、スライド上のマーキング等)を識別するステップ、および/または問題点を緩和するための措置(例えば、画像の再走査、再切断、スライド再構成等)を推奨するステップを含んでもよい。一実施形態によると、標的画像の特性を決定するステップは、標的画像内の治療効果の量を識別するステップと、標的画像の組織が治療されている予測される程度を出力するステップとを含んでもよい。
【0064】
ステップ250では、本方法は、標的試料の特性を、モニタ、デジタル記憶デバイス等に出力するステップを含んでもよい。試料タイプを決定することが不可能である場合、本方法は、標的試料の試料タイプが識別不可能であることを示す、アラートを出力するステップを含んでもよい。
【0065】
図3は、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのツールの例示的方法を図示する。例えば、例示的方法300および320(例えば、ステップ301-325)は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。
【0066】
一実施形態によると、試料分類ツール101を開発するための例示的方法300は、以下のステップのうちの1つ以上のものを含んでもよい。ステップ301では、機械学習モデルは、1つ以上のデジタル病理学画像および対応する試料/組織タイプ標識を備える、データセットを作成または受信してもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。訓練するために使用される画像は、実際のソース(例えば、ヒト、動物等)に由来してもよい、または合成ソース(例えば、グラフィックレンダリングエンジン、3Dモデル等)に由来してもよい。デジタル病理学画像の実施例は、(a)(限定ではないが)H&E、IHC、分子病理学等の種々の染色で染色されたデジタル化されたスライド、および/または(b)マイクロCT等の3D撮像デバイスからのデジタル化された組織サンプルを含んでもよい。
【0067】
ステップ303では、機械学習モデルは、パラメータまたは非パラメータ機械学習モデルを訓練してもよく、例えば、その中で機械学習モデルは、画像のパラメータおよびデータセット内の対応する標識を識別してもよく、これは、モデルが、デジタル病理学画像が入力として与えられるとき、正しい出力挙動(例えば、対応する標識)を再現することを可能にし得る。本機械学習モデルは、分類および回帰のための機械学習方法を使用して実装されてもよい。訓練入力は、実際のまたは合成画像を含み得る。訓練入力は、強化される場合とそうではない場合がある(例えば、雑音を追加する)。例示的機械学習モデルは、限定ではないが、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍法のうちの任意の1つまたは任意の組み合わせを含んでもよい。
【0068】
ステップ305では、機械学習モデルは、例えば、機械学習モデルの1つ以上の識別されたパラメータに基づいて、病理学画像に関する局所的および大域的出力を生成するようにプロンプトされてもよい。そのような出力は、モニタ、デジタル記憶デバイス等に行われてもよい。
【0069】
一実施形態によると、試料分類ツール101を使用するための例示的方法320は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ321では、本方法は、デジタル病理学画像をユーザから受信するステップを含んでもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。ステップ323では、本方法は、訓練されたシステムをデジタル病理学画像に適用し、試料タイプを予測するステップを含んでもよい。ステップ325では、本方法は、試料タイプ予測をモニタ、デジタル記憶デバイス等に出力するステップを含んでもよい。
【0070】
さらに、ステップ325では、本方法は、予測される試料情報をLISまたはいずれかの場所内に提供される情報と比較するステップを含んでもよい。予測される情報が、記憶された情報に合致しない、または記憶された情報の所定の許容度内にない場合、アラートが、発生されてもよい、または本システムは、本不合致に起因して、入力のその処理挙動を改変し、および/または記憶された情報を補正してもよい。本方法は、ユーザ(例えば、組織ドナー)から受信された画像または関連情報を処理するために、予測される試料タイプを使用して、別の機械学習モデルまたは機械学習モデルを始動させるステップを含んでもよい。実施例は、自動化された診断を本具体的試料タイプから実施するための診断モデル、または文脈情報を多くの種類の組織から画像を処理することが可能なシステムに提供するステップを含んでもよい。試料タイプが、識別されることができない場合、本方法は、アラートをシステムまたはユーザに発生させるステップを含んでもよい。
【0071】
上記に説明される試料分類ツール101は、研究および/または生成/臨床/産業設定において使用可能な特定の用途または実施形態を含んでもよい。これらは、下記に詳細に説明される。
【0072】
試料タイプを識別する例示的方法は、デジタル病理学の多くの用途のために使用されてもよい。例えば、試料タイプを識別するステップは、画像情報または画像情報へのアクセスが(例えば、LISからの)対応する試料タイプ情報を欠いている、デジタル病理学画像へのアクセスを受信する、施設のために所望され得る。識別はまた、デジタル病理学画像が試料特有の診断または診断補助ツールに送信される必要がある場合、病院内部での使用のために所望され得る。識別は、LIS提供試料タイプ標識が実際に正しいことを確実にするための照合の形態として使用されてもよい。
【0073】
図4は、試料タイプ識別ツールのための例示的方法を図示する。例えば、例示的方法400は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。一実施形態によると、試料タイプ識別ツールを開発するための例示的方法400は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ401では、機械学習モデルは、デジタル病理学画像およびその対応する試料タイプ標識のデータセットを作成または受信してもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、モデルが分類するように意図される、1つ以上の試料タイプを含んでもよい。本ステップはまた、モデルが分類するように意図される、1つ以上の試料タイプを決定するステップを含んでもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。1つの試料タイプを伴う、データセットは、LIS提供試料タイプ標識を照合するために使用されてもよい。多くの試料タイプを伴う、データセットは、より広範な識別目的のために使用されてもよい。
【0074】
ステップ403では、機械学習モデルは、機械学習モデルを訓練し、その試料タイプに従って、各デジタル病理学画像を分類してもよい。本モデルは、デジタル病理学画像および対応する試料タイプ標識を入力としてとってもよい。本モデルは、任意の機械学習分類モデルを使用して実装されてもよい。実装の実施例は、限定ではないが、ニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、最近傍法、および密度推定アプローチのうちの任意の1つまたは任意の組み合わせを含んでもよい。畳み込みニューラルネットワークは、直接、試料タイプを判別するために使用される、画像特徴表現を学習してもよく、これは、試料毎に訓練すべき大量のデータが存在する場合、良好に機能し得る一方、他の方法は、従来のコンピュータビジョン特徴、例えば、SURFまたはSIFTのいずれかまたは訓練された畳み込みニューラルネットワークによって生成される学習された埋込(例えば、記述子)と併用されてもよく、これは、訓練すべきより小量のデータが存在する場合、利点をもたらし得る。ステップ405では、機械学習モデルは、個々の病理学画像に関する標識をデジタル記憶デバイスに出力するようにプロンプトされてもよい。
【0075】
一実施形態によると、試料タイプ識別ツールを使用するための例示的方法420は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ421では、本方法は、デジタル病理学画像を受信するステップを含んでもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。ステップ423では、本方法は、例示的試料タイプツールの訓練された機械学習モデルを受信されたデジタル病理学画像に適用するステップと、試料タイプを予測するステップとを含んでもよい。ステップ425では、本方法は、画像標識に関する試料タイプ予測を、例えば、画面、モニタ、記憶デバイス等に出力するステップを含んでもよい。機械学習モデルが、デジタル病理学画像に関する既存の試料タイプ標識を照合するために使用されている場合、機械学習モデルは、所与の標識に関する信頼度または適合のインジケーションを画面、モニタ、記憶デバイス等に出力してもよい。
【0076】
図5は、デジタル病理学画像の有用性に著しく影響を及ぼし得る、大域的または局所的レベルにおける品質制御(QC)問題点(例えば、不完全性)を識別するために使用され得る、試料分類ツール101の例示的実施形態を図示する。例えば、例示的方法500および520(例えば、ステップ501-525)は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。例示的方法500は、デジタル病理学画像に関するQC関連情報が、LISまたは任意のデジタル記憶デバイス内に記憶されなくてもよいことを前提として、有用であり得る。
【0077】
一実施形態によると、品質制御ツールを開発するための例示的方法500は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ501では、機械学習モデルは、QC問題点の実施例を含み、各画像に大域的または局所的標識を与え、QC問題点の存在を示し得る、実際のまたは合成のデータセットデジタル病理学画像を作成または受信してもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。QC標識は、限定ではないが、不良に切断された試料切片、走査アーチファクト、損傷されたスライド、スライド上のマーキング等を含んでもよい。
【0078】
ステップ503では、機械学習モデルは、機械学習モデルを訓練し、その品質に関連して、各デジタル病理学スライドを分類してもよい。本モデルは、デジタル化された病理学画像および対応するQC標識を入力としてとってもよい。例示的機械学習モデルは、限定ではないが、ニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍法のうちの任意の1つまたは任意の組み合わせを含んでもよい。ステップ505では、機械学習モデルは、個々の病理学画像に関するQC問題点の存在を示す標識をデジタル記憶デバイスに出力するようにプロンプトされてもよい。
【0079】
一実施形態によると、QCツールを使用するための例示的方法520は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ521では、本方法は、デジタル病理学画像を取得または受信するステップを含んでもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。ステップ523では、本方法は、QCツールの訓練された機械学習モデルを適用し、QC問題点の存在を予測するステップを含んでもよい。ステップ525では、本方法は、予測をデジタル記憶デバイス、例えば、画面、モニタ、記憶デバイス等に出力するステップを含んでもよい。本方法は、QC問題点(不良に切断された試料、走査アーチファクト等)のタイプおよび/または問題点を緩和するための措置(画像の再走査、再切断等)の推奨を、例えば、画面、モニタ、記憶デバイス等に出力するステップを含んでもよい。本方法は、画像上のQC問題が組織自体に影響を直接及ぼすかどうかを出力するステップを含んでもよい。これは、例えば、画面、モニタ、記憶デバイス等で、デジタル画像が依然として病理学者によって使用可能であるかどうかを理解するために有用であり得る。
【0080】
図6は、本開示の例示的実施形態による、以前の組織治療効果識別ツールを発生させ、使用する例示的実施形態を図示する。組織内の以前の治療効果は、組織自体の形態構造に影響を及ぼし得る。大部分のLISは、本特性を明示的に追跡しておらず、したがって、以前の治療効果を伴う試料タイプを分類することが、所望され得る。1つ以上の組織タイプにおける治療効果を検出するためのシステムは、下記に説明される。例えば、例示的方法600および620(例えば、ステップ601-625)は、ユーザ(例えば、医師)からの要求に応答して、試料分類ツール101によって実施されてもよい。
【0081】
一実施形態によると、以前の組織治療効果識別ツールを開発するための例示的方法600は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ601では、機械学習モデルは、治療効果を有する、組織の画像と、治療効果を有していない、組織の画像とを含む、デジタル病理学画像のデータセットを作成または受信してもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。本データセットは、単一組織タイプまたは複数の組織タイプのいずれかに関する画像を含有してもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。
【0082】
ステップ603では、機械学習モデルは、機械学習モデルを訓練し、各デジタル病理学画像を治療済み(例えば、治療後)または未治療(治療前)として分類してもよい。患者が、治療効果を有する場合、モデルはまた、治療効果の程度に関して訓練されてもよい。本モデルは、デジタル化された病理学画像および対応する治療効果標識を入力としてとってもよい。本モデルは、教師あり学習分類方法または教師なし密度推定または異常検出方法を使用して訓練されてもよい。教師あり学習実装の実施例は、ニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍法のうちの任意の1つまたは任意の組み合わせを含んでもよい。ステップ605では、機械学習モデルは、個々の病理学画像に関する治療効果の存在(例えば、治療後)を示す標識をデジタル記憶デバイスに出力するようにプロンプトされてもよい。
【0083】
一実施形態によると、以前の組織治療効果識別ツールを使用するための例示的方法620は、下記のステップのうちの1つ以上のものを含んでもよい。ステップ621では、本方法は、デジタル病理学画像を取得または受信するステップを含んでもよい。例えば、画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの任意の1つまたは任意の組み合わせから受信されてもよい。ステップ623では、本方法は、例示的な以前の治療効果ツールの訓練された機械学習モデルを適用し、治療効果の存在を予測するステップを含んでもよい。ステップ625では、本方法は、予測を、例えば、画面、モニタ、記憶デバイス等に出力するステップを含んでもよい。本方法は、病理学画像の組織が治療されている程度のインジケーションを、例えば、画面、モニタ、記憶デバイス等に出力するステップを含んでもよい。
【0084】
図7に示されるように、デバイス700は、中央処理ユニット(CPU)720を含んでもよい。CPU720は、例えば、任意のタイプの特殊目的または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってもよい。当業者によって理解されるであろうように、CPU720はまた、マルチコア/マルチプロセッサシステム内の単一プロセッサであってもよく、そのようなシステムは、単独で、またはクラスタまたはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。CPU720は、データ通信インフラストラクチャ710、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ通過スキームに接続されてもよい。
【0085】
デバイス700はまた、メインメモリ740、例えば、ランダムアクセスメモリ(RAM)を含んでもよく、また、二次メモリ730を含んでもよい。二次メモリ730、例えば、読取専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであってもよい。そのようなリムーバブル記憶ドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同等物を備えてもよい。リムーバブル記憶ドライブは、本実施例では、周知の様式において、リムーバブル記憶ユニットから読み取られ、および/またはその中に書き込む。リムーバブル記憶ユニットは、フロッピー(登録商標)ディスク、磁気テープ、光ディスク等を備えてもよく、これは、リムーバブル記憶ドライブによって読み取られる、そこに書き込まれる。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中に記憶されるコンピュータソフトウェアおよび/またはデータを有する、コンピュータ使用可能記憶媒体を含む。
【0086】
その代替実装では、二次メモリ730は、コンピュータプログラムまたは他の命令がデバイス700の中にロードされることを可能にするための他の類似手段を含んでもよい。そのような手段の実施例は、プログラムカートリッジおよびカートリッジインターフェース(ビデオゲームデバイスに見出されるもの等)、リムーバブルメモリチップ(EPROMまたはPROM等)および関連付けられるソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含んでもよく、これは、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス700に転送されることを可能にする。
【0087】
デバイス700はまた、通信インターフェース(「COM」)760を含んでもよい。通信インターフェース760は、ソフトウェアおよびデータが、デバイス700と外部デバイスとの間で転送されることを可能にする。通信インターフェース760は、モデム、ネットワークインターフェース(Ethernet(登録商標)カード等)、通信ポート、PCMCIAスロットおよびカード、または同等物を含んでもよい。通信インターフェース760を介して転送される、ソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース760によって受信されることが可能な電子、電磁、光学、または他の信号であってもよい。これらの信号は、デバイス700の通信経路を介して、通信インターフェース760に提供されてもよく、これは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、RFリンク、または他の通信チャネルを使用して実装されてもよい。
【0088】
ハードウェア要素、オペレーティングシステム、およびそのような機器のプログラミング言語は、性質上、従来的であって、当業者は、それに十分に精通していることが想定される。デバイス700はまた、入力および出力ポート750を含み、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続してもよい。当然ながら、種々のサーバ機能は、いくつかの類似プラットフォーム上に分散方式で実装され、処理負荷を分散させてもよい。代替として、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
【0089】
本開示全体を通して、構成要素またはモジュールの言及は、概して、論理的に、機能または関連機能の群を実施するためにともに群化され得る、アイテムを指す。同様の参照番号は、概して、同一または類似構成要素を指すことが意図される。構成要素およびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせ内に実装されることができる。
【0090】
上記に説明されるツール、モジュール、および機能は、1つ以上のプロセッサによって実施されてもよい。「記憶」タイプ媒体は、随時、ソフトウェアプログラミングのための非一過性記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のコンピュータ、プロセッサまたは同等物、またはその関連付けられるモジュールの有形メモリのいずれかまたは全てを含んでもよい。
【0091】
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信されてもよい。例えば、通信は、ソフトウェアを1つのコンピュータまたはプロセッサから別のものの中にロードすることを可能にし得る。本明細書で使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のための命令をプロセッサに提供することに関わる、任意の媒体を指す。
【0092】
前述の一般的説明は、例示的および説明的にすぎず、本開示の制限ではない。本発明の他の実施形態は、明細書の考慮および本明細書に開示される本発明の実践から当業者に明白となるであろう。明細書および実施例は、例示にすぎないものと見なされることが意図される。
【手続補正書】
【提出日】2021-12-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
試料に対応する画像を分析するためのコンピュータ実装方法であって、前記方法は、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習
システムを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習
システムは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
、
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習システムに従って決定される、ことと、
前記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
前記標的画像に関する品質スコアが前記所定の値未満であることに応答して、前記標的画像に関する品質スコアを増加させるための推奨を出力することと
を含む、コンピュータ実装方法。
【請求項2】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、前記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測の信頼度値を決定することと、
前記信頼度値を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記品質スコアを出力するこ
と
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、請求項
1に記載のコンピュータ実装方法。
【請求項7】
前記標的画像および前記機械学習
システムを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと、
前記標的試料が治療後であることを決定することに応じて、前記標的画像に基づいて、前記標的試料が治療されている予測される程度を決定することと、
前記標的試料が治療されている予測される程度を出力することと
をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項8】
試料に対応する画像を分析するためのシステムであって、前記システムは、
命令を記憶する
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、
前記少なくとも1つのプロセッサは、前記命令を実行することにより、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習
システムを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習
システムは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
、
前記標的画像に関する品質スコアを識別することであって、前記品質スコアは、前記機械学習システムに従って決定される、ことと、
前記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
前記標的画像に関する品質スコアが前記所定の値未満であることに応答して、前記標的画像に関する品質スコアを増加させるための推奨を出力することと
を含む
動作を実施する、
少なくとも1つのプロセッサと
を備える、システム。
【請求項9】
前記動作は、
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項
8に記載のシステム。
【請求項10】
前記動作は、
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、前記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、請求項
8に記載のシステム。
【請求項11】
前記動作は、
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測の信頼度値を決定することと、
前記信頼度値を出力することと
をさらに含む、請求項
8に記載のシステム。
【請求項12】
前記動作は、
前記品質スコアを出力するこ
と
をさらに含む、請求項
8に記載のシステム。
【請求項13】
前記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、請求項
8に記載のシステム。
【請求項14】
前記動作は、
前記標的画像および前記機械学習
システムを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと、
前記標的試料が治療後であることを決定することに応じて、前記標的画像に基づいて、前記標的試料が治療されている予測される程度を決定することと、
前記標的試料が治療されている予測される程度を出力することと
をさらに含む、請求項
8に記載のシステム。
【請求項15】
試料に対応する画像を分析するための
コンピュータ実装方法であって、前記方法は、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習
システムを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習
システムは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと
、
前記標的画像および前記機械学習システムを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと
を含む、
コンピュータ実装方法。
【請求項16】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記標的試料の試料タイプの予測を出力することと
をさらに含む、請求項15に記載のコンピュータ実装方法。
【請求項17】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測を決定することと、
前記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、前記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、請求項15に記載のコンピュータ実装方法。
【請求項18】
前記標的試料の少なくとも1つの特性に基づいて、前記標的試料の試料タイプの予測の信頼度値を決定することと、
前記信頼度値を出力することと
をさらに含む、請求項15に記載のコンピュータ実装方法。
【請求項19】
前記標的試料が治療後であることを決定することに応じて、前記標的画像に基づいて、前記標的試料が治療されている予測される程度を決定することと、
前記標的試料が治療されている予測される程度を出力することと
をさらに含む、請求項15に記載のコンピュータ実装方法。
【請求項20】
試料に対応する画像を分析するためのシステムであって、前記システムは、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサは、前記命令を実行することにより、
標的試料に対応する標的画像を受信することであって、前記標的試料は、患者の組織サンプルを備える、ことと、
機械学習システムを前記標的画像に適用し、前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を決定することであって、前記機械学習システムは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
前記標的試料の少なくとも1つの特性および/または前記標的画像の少なくとも1つの特性を出力することと、
前記標的画像および前記機械学習システムを使用して、前記標的試料が治療後であるかまたは治療前であるかを決定することと
を含む動作を実施する、少なくとも1つのプロセッサと
を備える、システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
前述の一般的説明および以下の詳細な説明は両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明は、例えば、以下を提供する。
(項目1)
試料に対応する画像を分析するためのコンピュータ実装方法であって、上記方法は、
標的試料に対応する標的画像を受信することであって、上記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを上記標的画像に適用し、上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を決定することであって、上記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、上記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を出力することと
を含む、コンピュータ実装方法。
(項目2)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目3)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、上記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目4)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測の信頼度値を決定することと、
上記信頼度値を出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目5)
上記標的画像に関する品質スコアを識別することであって、上記品質スコアは、上記機械学習モデルに従って決定される、ことと、
上記品質スコアを出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目6)
上記標的画像に関する品質スコアを識別することであって、上記品質スコアは、上記機械学習モデルに従って決定される、ことと、
上記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
上記標的画像に関する品質スコアが上記所定の値未満であることに応答して、上記標的画像に関する品質スコアを増加させるための推奨を出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目7)
上記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、項目6に記載のコンピュータ実装方法。
(項目8)
上記標的画像および上記機械学習モデルを使用して、上記標的試料が治療後であるかまたは治療前であるかを決定することをさらに含む、項目1に記載のコンピュータ実装方法。
(項目9)
上記標的画像および上記機械学習モデルを使用して、上記標的試料が治療後であるかまたは治療前であるかを決定することと、
上記標的試料が治療後であることを決定することに応じて、上記標的画像に基づいて、上記標的試料が治療されている予測される程度を決定することと、
上記標的試料が治療されている予測される程度を出力することと
をさらに含む、項目1に記載のコンピュータ実装方法。
(項目10)
試料に対応する画像を分析するためのシステムであって、上記システムは、
命令を記憶するメモリと、
プロセッサであって、上記プロセッサは、上記命令を実行することにより、
標的試料に対応する標的画像を受信することであって、上記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを上記標的画像に適用し、上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を決定することであって、上記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、上記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を出力することと
を含むプロセスを実施する、プロセッサと
を備える、システム。
(項目11)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目10に記載のシステム。
(項目12)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記予測の信頼度値が所定の閾値を超えないことを決定することに応答して、上記標的試料の試料タイプが識別不可能であることを示すアラートを出力することと
をさらに含む、項目10に記載のシステム。
(項目13)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測の信頼度値を決定することと、
上記信頼度値を出力することと
をさらに含む、項目10に記載のシステム。
(項目14)
上記標的画像に関する品質スコアを識別することであって、上記品質スコアは、上記機械学習モデルに従って決定される、ことと、
上記品質スコアを出力することと
をさらに含む、項目10に記載のシステム。
(項目15)
上記標的画像に関する品質スコアを識別することであって、上記品質スコアは、上記機械学習モデルに従って決定される、ことと、
上記標的画像に関する品質スコアが所定の値未満であるかどうかを決定することと、
上記標的画像に関する品質スコアが上記所定の値未満であることに応答して、上記標的画像に関する品質スコアを増加させるための推奨を出力することと
をさらに含む、項目10に記載のシステム。
(項目16)
上記推奨は、切断された試料、走査パラメータ、スライド再構成、およびスライドマーキングのうちの任意の1つまたは任意の組み合わせを備える、項目15に記載のシステム。
(項目17)
上記標的画像および上記機械学習モデルを使用して、上記標的試料が治療後であるかまたは治療前であるかを決定することをさらに含む、項目10に記載のシステム。
(項目18)
上記標的画像および上記機械学習モデルを使用して、上記標的試料が治療後であるかまたは治療前であるかを決定することと、
上記標的試料が治療後であることを決定することに応じて、上記標的画像に基づいて、上記標的試料が治療されている予測される程度を決定することと、
上記標的試料が治療されている予測される程度を出力することと
をさらに含む、項目10に記載のシステム。
(項目19)
非一過性コンピュータ可読媒体であって、上記非一過性コンピュータ可読媒体は、命令を記憶しており、上記命令は、プロセッサによって実行されると、上記プロセッサに、試料に対応する画像を分析するための方法を実施させ、上記方法は、
標的試料に対応する標的画像を受信することであって、上記標的試料は、患者の組織サンプルを備える、ことと、
機械学習モデルを上記標的画像に適用し、上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を決定することであって、上記機械学習モデルは、複数の訓練画像を処理し、少なくとも1つの特性を予測することによって発生されており、上記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生される画像を備える、ことと、
上記標的試料の少なくとも1つの特性および/または上記標的画像の少なくとも1つの特性を出力することと
を含む、非一過性コンピュータ可読媒体。
(項目20)
上記標的試料の少なくとも1つの特性に基づいて、上記標的試料の試料タイプの予測を決定することと、
上記標的試料の試料タイプの予測を出力することと
をさらに含む、項目19に記載の非一過性コンピュータ可読媒体。
【国際調査報告】