特表 2024-527831 画像マッチングの画像処理を行うためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】画像マッチングの画像処理を行うためのシステム及び方法

(51)【国際特許分類】

   G16H 30/20 20180101AFI20240719BHJP

   G06T 7/00 20170101ALI20240719BHJP

【ＦＩ】

G16H30/20

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503578

(86)(22)【出願日】2022-06-02

(85)【翻訳文提出日】2024-01-19

(86)【国際出願番号】 US2022031988

(87)【国際公開番号】W WO2023003643

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】63/225,373

(32)【優先日】2021-07-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518307592

【氏名又は名称】ペイジ．エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】カナン， クリストファー

(72)【発明者】

【氏名】グラディー， レオ

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096FA32

5L096GA34

5L096GA51

5L096HA11

5L096JA03

5L096KA04

5L099AA26

(57)【要約】

電子医用画像を処理するためのコンピュータ実施方法であって、方法は、１人の患者に関連付けられた医療検体の複数の電子医用画像を受信することを含む。複数の電子医用画像がトレーニング済み機械学習システムに入力され得、トレーニング済み機械学習システムは、複数の電子医用画像のそれぞれを相互に比較して、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている。トレーニング済み機械学習システムは、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを出力し得る。出力は格納され得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

電子医用画像を処理するためのコンピュータ実施方法であって、
患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、
前記複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、前記トレーニング済み機械学習システムは、前記複数の電子医用画像のそれぞれを相互に比較して、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、
前記トレーニング済み機械学習システムから、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、
前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することと、
を含む、前記方法。

【請求項2】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
前記複数の電子医用画像のそれぞれに関連付けられた１つ以上のベクトルを特定することと、
前記複数の電子医用画像のそれぞれに関連付けられた前記１つ以上のベクトルを、前記トレーニング済み機械学習システムに供給することと、
を含む、請求項１に記載の方法。

【請求項3】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータとして、マッチングスライドセット及び非マッチングスライドセットを生成することと、
バイナリ分類損失を利用して前記機械学習システムのトレーニングすることと、
を含む、請求項１に記載の方法。

【請求項4】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータセットを生成することであって、各セットは、アンカー画像、正例画像、及び負例画像を含む、前記生成することと、
トリプレット損失トレーニング技法を利用して前記機械学習をトレーニングすることと、
を含む、請求項１に記載の方法。

【請求項5】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータとして、マッチングスライドセット及び非マッチングスライドセットを生成することと、
前記複数の電子医用画像のそれぞれからベクトルを抽出することと、
前記複数の電子医用画像のそれぞれからの前記ベクトルを連結して、各画像の統合ベクトルを形成することと、
ペアワイズニューラルネットワーク分類を利用して前記機械学習システムをトレーニングすることと、
を含む、請求項１に記載の方法。

【請求項6】

前記トレーニング済み機械学習システムのトレーニングは、
前記複数の電子医用画像のそれぞれからベクトルを抽出することと、
前記複数の電子医用画像のそれぞれからの前記ベクトルを連結して、各画像の統合ベクトルを形成することと、
前記連結されたベクトルで前記機械学習システムをトレーニングすることと、
を含む、請求項１に記載の方法。

【請求項7】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
１人以上の個人に対応する複数の過去電子医用画像を受信すること、
を含む、請求項１に記載の方法。

【請求項8】

前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することは、さらに、
前記所定の類似度閾値外のあらゆる医用画像に、人間の技術者がレビューを行うためのフラグを立てること、
を含む、請求項１に記載の方法。

【請求項9】

電子デジタル医用画像を処理するためのシステムであって、
命令を格納する少なくとも１つのメモリと、
前記命令を実行して動作を行うように構成された少なくとも１つのプロセッサと、
を備え、前記動作は、
患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、
前記複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、前記トレーニング済み機械学習システムは、前記複数の電子医用画像のそれぞれを相互に比較して、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、
前記トレーニング済み機械学習システムから、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、
前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することと、
を含む、前記システム。

【請求項10】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
前記複数の電子医用画像のそれぞれに関連付けられた１つ以上のベクトルを特定することと、
前記複数の電子医用画像のそれぞれに関連付けられた前記１つ以上のベクトルを、前記トレーニング済み機械学習システムに供給することと、
を含む、請求項９に記載のシステム。

【請求項11】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータとして、マッチングスライドセット及び非マッチングスライドセットを生成することと、
バイナリ分類損失を利用して前記機械学習システムをトレーニングすることと、
を含む、請求項９に記載のシステム。

【請求項12】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータセットを生成することであって、各セットは、アンカー画像、正例画像、及び負例画像を含む、前記生成することと、
トリプレット損失トレーニング技法を利用して前記機械学習をトレーニングすることと、
を含む、請求項９に記載のシステム。

【請求項13】

前記トレーニング済み機械学習システムのトレーニングは、
トレーニングデータとして、マッチングスライドセット及び非マッチングスライドセットを生成することと、
前記複数の電子医用画像のそれぞれからベクトルを抽出することと、
前記複数の電子医用画像のそれぞれからの前記ベクトルを連結して、各画像の統合ベクトルを形成することと、
ペアワイズニューラルネットワーク分類を利用して前記機械学習システムをトレーニングすることと、
を含む、請求項９に記載のシステム。

【請求項14】

前記トレーニング済み機械学習システムのトレーニングは、
前記複数の電子医用画像のそれぞれからベクトルを抽出することと、
前記複数の電子医用画像のそれぞれからの前記ベクトルを連結して、各画像の統合ベクトルを形成することと、
前記連結されたベクトルで前記機械学習システムをトレーニングすることと、
を含む、請求項９に記載のシステム。

【請求項15】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
１人以上の個人に対応する複数の過去電子医用画像を受信すること、
を含む、請求項９に記載のシステム。

【請求項16】

前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することは、さらに、
前記所定の類似度閾値外のあらゆる医用画像に、人間の技術者がレビューを行うためのフラグを立てること、
を含む、請求項９に記載のシステム。

【請求項17】

命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサにより実行されたとき、電子デジタル医用画像を処理する動作を行い、前記動作は、
患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、
前記複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、前記トレーニング済み機械学習システムは、前記複数の電子医用画像のそれぞれを相互に比較して、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、
前記トレーニング済み機械学習システムから、前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、
前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することと、
を含む、前記コンピュータ可読媒体。

【請求項18】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
前記複数の電子医用画像のそれぞれに関連付けられた１つ以上のベクトルを特定することと、
前記複数の電子医用画像のそれぞれに関連付けられた前記１つ以上のベクトルを、前記トレーニング済み機械学習システムに供給することと、
を含む、請求項１７に記載のコンピュータ可読媒体。

【請求項19】

前記複数の電子医用画像をトレーニング済み機械学習システムに供給することは、さらに、
１人以上の個人に対応する複数の過去電子医用画像を受信すること、
を含む、請求項１７に記載のコンピュータ媒体。

【請求項20】

前記電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す前記出力を、出力すること及び／または格納することは、さらに、
前記所定の類似度閾値外のあらゆる医用画像に、人間の技術者がレビューを行うためのフラグを立てること、
を含む、請求項１７に記載のコンピュータ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願（複数可）
本出願は、２０２１年７月２３日に出願された米国仮特許出願第６３／２２５，３７３号に対する優先権を主張し、その開示内容全体は、参照により本明細書に組み込まれるものとする。

【0002】

本開示の様々な実施形態は、概して、電子画像を処理するための計算病理学ワークフローに関する。より具体的には、本開示の特定の実施形態は、病理スライドのデジタル画像が所定の類似度閾値内でマッチングするか（例えば同一の個人に対応するか）どうかを判定するためのシステム及び方法に関する。

【背景技術】

【0003】

計算病理学の分野では、病理医が正確な診断を行うために、エラーのないデータを有することが非常に重要であり得る。病理データには、多様なエラーが生じ得る。起こり得る最も重大なエラーの１つは、病理スライドが間違った患者に誤って関連付けられる場合である。スライドの物理的検体またはデジタル画像が患者に誤って割り当てられた場合、誤診が生じ得る。スライドのミスマッチは、スキャン中の間違い、ラボラトリ情報システムでの間違い、または他の領域での間違いに起因して生じ得る。

【0004】

前述の一般的な説明及び後述の詳細説明は、単なる例示及び解説であり、本開示を制限するものではない。本明細書で提供される背景技術の説明は、本開示の状況を一般的に提示することを目的とする。本明細書に別段の指示がない限り、本節で説明される構成材料は、本出願の特許請求の範囲に対する先行技術ではなく、本節に含めることで先行技術または先行技術を示唆するものであると認めることはない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の特定の態様によれば、電子医用画像を処理するためのシステム及び方法が開示され、システム及び方法は、患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、トレーニング済み機械学習システムは、複数の電子医用画像のそれぞれを相互に比較して、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を、出力すること及び／または格納することと、を含む。

【0006】

電子デジタル医用画像を処理するためのシステムであって、システムは、命令を格納する少なくとも１つのメモリと、命令を実行して動作を行うように構成された少なくとも１つのプロセッサと、を備え、動作は、患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、トレーニング済み機械学習システムは、複数の電子医用画像のそれぞれを相互に比較して、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を、出力すること及び／または格納することと、を含む。

【0007】

命令を格納する非一時的コンピュータ可読媒体であって、命令は、プロセッサにより実行されたとき、電子デジタル医用画像を処理する動作を行い、動作は、患者の医療サンプルに関連付けられた複数の電子医用画像を受信することと、複数の電子医用画像をトレーニング済み機械学習システムに供給することであって、トレーニング済み機械学習システムは、複数の電子医用画像のそれぞれを相互に比較して、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている、前記供給することと、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信することと、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を、出力すること及び／または格納することと、を含む。

【0008】

本明細書に組み込まれ、本明細書の一部を構成する添付図面は、様々な例示的な実施形態を示し、記述と共に、開示される実施形態の原理を説明する役割を果たす。

【図面の簡単な説明】

【0009】

【図1A】本明細書に提示される技法による、例えば画像マッチングなどの画像処理を行うためのシステム及びネットワークの例示的なブロック図を示す。

【図1B】本明細書に提示される技法による、組織観察プラットフォームの例示的なブロック図を示す。

【図1C】本明細書に提示される技法による、スライド分析ツールの例示的なブロック図を示す。

【図2A】本明細書に提示される技法による、画像マッチングのアルゴリズムをトレーニングするための方法を示すフローチャートである。

【図2B】本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。

【図3】本明細書に提示される技法による、１つ以上の画像をマッチングするプロセスを示す。

【図4A】本明細書に提示される技法による、画像マッチングのアルゴリズムをトレーニングするための方法を示すフローチャートである。

【図4B】本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。

【図5A】本明細書に提示される技法による、画像の画像マッチングを行うアルゴリズムをトレーニングするための方法を示すフローチャートである。

【図5B】本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。

【図6】本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。

【図7】１つ以上の実施形態による、本明細書に提示される技法を実行し得るコンピューティングデバイスの例を示す。

【発明を実施するための形態】

【0010】

本開示の特定の態様によれば、患者間でデジタル化スライドのマッチング（例えばスライドマッチングまたは画像マッチング）を行うように構成されたシステム／プロセスを提供する方法及びシステムが開示される。スライドマッチングまたは画像マッピングとは、入力された２つの医用デジタル化スライドが同一の個人に属するかどうかの可能性のインジケーションまたはパーセンテージを提供することを指し得る。下記でより詳細に論述されるように、方法及びシステムは、機械学習技術を利用し得る。

【0011】

病理学とは、疾病の研究を指す。より具体的には、病理学は、疾病を診断するために使われる試験及び分析を行うことを指し得る。例えば、組織サンプルがスライド上に配置され、病理学者（例えば組織サンプルを分析して何らかの異常が存在するかどうかを判定する専門家である医師）により顕微鏡下で観察され得る。すなわち、病理検体は、複数の切片に切断され、染色され、病理学者が検査して診断を行うためのスライドとして用意され得る。

【0012】

コンピュータを使用して病理学者を支援するプロセスは、計算病理学と称される。計算病理学に使用される計算方法は、統計分析、自律学習または機械学習、及び人工知能（ＡＩ）を含み得るが、これらに限定されない。ＡＩは、深層学習、ニューラルネットワーク、分類、クラスタリング、及び回帰アルゴリズムを含み得るが、これらに限定されない。計算病理学を使用して、病理学者の診断の精度、信頼性、効率、及びアクセス性の向上を促進することにより、多くの命が救われ得る。例えば、計算病理学を使用して、スライドが同一の患者に正しく対応するかどうかの検出を支援し得ることにより、病理学者が患者を正確に診断することが可能となる。

【0013】

病理組織学は、スライド上に置かれた検体の研究を指す。例えば、デジタル病理画像は、検体（例えば塗抹標本）を含む顕微鏡スライドのデジタル化画像から成り得る。病理学者がスライド上の画像を分析するために使用し得る１つの方法は、核を特定して、核が正常（例えば良性）であるか異常（例えば悪性）であるかを分類することである。核の特定及び分類では、病理学者を支援するために、組織学的染色を使用して細胞が可視化され得る。多くの染料ベースの染色システムが開発されており、これらには、過ヨウ素酸シッフ反応、マッソン三色染色、ニッスル及びメチレンブルー染色、ならびにヘマトキシリン及びエオシン（Ｈ＆Ｅ）染色が含まれる。

【0014】

染色された顕微鏡スライドを示すためにデジタル化画像が用意され得、これにより、病理学者は、手動でスライド上の画像を観察し、画像内の染色された異常細胞の数を推定することが可能となり得る。病理学者を支援するために、機械学習モデル及びデバイスを用いた計算プロセスを使用して、デジタル化画像が正しい個人に対応するかどうかが検出され得る。ＡＩを使用して、デジタル化スライドが記録された各個人に属することを検証することは、患者の治療を向上させ、より正確な分析を導く可能性を有する。

【0015】

下記でより詳しく論述されるように、本開示の計算病理学プロセス及びデバイスは、統合プラットフォームを提供し得、これは、ラボラトリ情報システム（ＬＩＳ）と統合すると同時に、ウェブブラウザまたは他のユーザインターフェースを介したデジタル病理画像のデータ取込、処理、及び表示を含む完全自動化プロセスを可能にする。さらに、臨床情報は、患者データのクラウドベースデータ分析を使用して集約され得る。データは、病院、診療所、現場研究者などから来る場合があり、機械学習、コンピュータビジョン、自然言語処理、及び／または統計アルゴリズムにより分析されて、複数の地理的特異性レベルで健康パターンのリアルタイム監視及び予測が行われ得る。

【0016】

病理学の分野では、診断を行うために病理学者が１人の患者の正しい情報を有することは、非常に重要であり得る。具体的に、可能性のある致命的な問題を１つ示すと、１人の患者のデータが別の患者のデータと混合される場合がある。これは、例えば、病理学者が同一の患者に対応しない複数の全スライド画像（「ＷＳＩ」）を受信したときに、スライドレベルで起こり得る。１人の個人に属するはずのＷＳＩセットを病理学者が受信し得、１つ以上のＷＳＩが別の個人に属し得ることは、起こり得る。例えば、個人の検体のスキャン中に生じた間違いに起因して、またはラボラトリ情報システム内の間違いに起因して、エラーは生じ得る。病理学者が患者の誤ったＷＳＩを分析する場合、誤診につながり得る。

【0017】

あらゆる個人は固有のＤＮＡを有し、これは、ｍＲＮＡに翻訳され、次いで組織サンプル内のタンパク質に翻訳され得る。各個人の組織は、本質的に特有のものであり、よって、視覚的にマッチングし得る。個人の組織の画像（すなわちＷＳＩ）が識別され、他の組織画像と比較されて、それらがマッチングするか、よって同一の個人に対応するかが判定され得る。

【0018】

下記でより詳しく論述されるように、様々な実施形態では、画像処理技術及び／または機械学習を利用して、１つ以上のスライドが同一の患者に属するかどうかを判定するためのシステム及び方法が説明される。

【0019】

さらに、様々な実施形態では、様々な機械学習技術を使用して患者のスライドのマッチングを行うためのシステム及び方法が説明される。例えば教師あり、半教師あり学習、または教師あり学習を介して、画像特性に基づいてＷＳＩのマッチングを行う方法を学習するように、１つ以上のスライドマッチングＡＩモデルをトレーニングすることにより、トレーニング済みスライドマッチングＡＩモデルは、入力されたスライドのうちのいずれかがマッチングせず、別の個人に対応するかどうかを出力することが可能となり得る。下記に説明されるように、システムを構築するための方法が複数存在し得る。

【0020】

ここで、本開示の例示的な実施形態に対して詳しく参照が行われ、これらの実施例は添付図面に示される。同一または同様の部分を指すために、可能な限り、図面を通して同一の参照番号が使用される。

【0021】

本明細書で開示されるシステム、デバイス、及び方法は、例として、図面を参照して詳細に説明される。本明細書で論述される実施例は、単なる例であり、本明細書に記載される装置、デバイス、システム、及び方法の説明を補助するために提供される。図面に示される、または下記に論述される特徴もしくは構成要素のいずれも、特に必須と指定されない限り、これらのデバイス、システム、または方法のうちのいずれかに関わるいずれの特定の実施態様にも、必須であるとみなされるべきではない。

【0022】

また、説明されるいずれの方法に関しても、方法がフロー図と併せて説明されるかどうかに関係なく、文脈により別段の指定または要求がない限り、方法の実行で行われるステップのいずれの明示的または暗示的な順序付けも、これらのステップが提示された順序で行われなければならないことを意味するのではなく、代わりに異なる順序で、または平行して行われてもよいことを、理解されたい。

【0023】

本明細書で使用される用語「例示的」は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における用語「ａ」及び「ａｎ」は、数量の制限を意味するのではなく、むしろ言及された項目のうちの１つ以上が存在することを意味する。

【0024】

本明細書に提示される技法は、検体及び／または対象物を再スキャンする必要なく、焦点が合っているとみなされ得る医用画像のパーセンテージを補正する及び／または増加させるために、コンピュータビジョン及び／または機械学習を使用して、ブラーの局所領域をパッチング及び／または修復することを説明する。

【0025】

本明細書に提示される技法は、同じ画像の複数のスキャンを使用し、画像処理技術及び／または機械学習を使用して、これらを１つのコヒーレントな低ブラー画像に組み合わせること、及び／またはブラーを埋める生成方法を使用することに関し得る。

【0026】

本明細書で使用される「機械学習モデル」は、概して、命令、データ、及び／またはモデルを包含し、モデルは、入力を受信し、重み、バイアス、分類、または分析のうちの１つ以上を入力に適用して、出力を生成するように構成される。出力には、例えば、入力の分類、入力に基づく分析、入力に関連する設計、プロセス、予測、もしくは推奨、または任意の他の適切なタイプの出力が含まれ得る。機械学習モデルは、通常、モデルの１つ以上の態様、例えば重み、バイアス、または分類もしくはクラスタを形成するための基準などを確立、調整、または修正するために、モデルに供給されるトレーニングデータ、例えば経験データ及び／または入力データのサンプルを使用して、トレーニングされる。深層学習技術も採用され得る。機械学習モデルの態様は、ネットワーク（例えばニューラルネットワーク）を介して、または任意の適切な構成を介して、入力に対して線形に並行して動作し得る。

【0027】

機械学習モデルの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブースティングマシン（ＧＢＭ）、深層学習、及び／または深層ニューラルネットワークなどの１つ以上の機械学習技術の展開を含み得る。教師ありトレーニング及び／または教師なしトレーニングが採用され得る。例えば、教師付き学習は、トレーニングデータ、及びトレーニングデータに対応するラベルを、例えばグラウンドトルースとして供給することを含み得る。教師なし手法は、クラスタリングまたは分類などを含み得る。Ｋ平均クラスタリングまたはＫ近傍法も使用され得、これらは教師ありまたは教師なしであり得る。Ｋ近傍法と教師なしクラスタ技法の組み合わせも使用され得る。例えば確率的、勾配ブースティング、ランダムシード、再帰型、エポックまたはバッチベースなど、任意の適切なタイプのトレーニングが使用され得る。

【0028】

図１Ａは、本開示の例示的な実施形態による、機械学習を使用して、画像を処理して低ブラー画像を生成するためのシステム及びネットワークのブロック図を示す。

【0029】

具体的には、図１Ａは、病院、ラボラトリ、及び／または医師のオフィスなどのサーバに接続され得る電子ネットワーク１２０を示す。例えば、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５などはそれぞれ、１つ以上のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク１２０に接続され得る。本開示の例示的な実施形態によれば、電子ネットワーク１２０は、サーバシステム１１０にも接続され得、サーバシステム１１０は、組織観察プラットフォーム１００を実施するように構成された処理デバイスを含み得、本開示の例示的な実施形態によれば、組織観察プラットフォーム１００は、デジタル病理画像（複数可）に関する検体属性情報または画像属性情報を特定し、機械学習を使用して検体を分類するためのスライド分析ツール２０１を含む。

【0030】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５は、１人以上の患者の細胞検体（複数可）の画像、病理組織検体（複数可）の画像、細胞検体（複数可）のスライド（複数可）の画像、病理組織検体（複数可）のスライド（複数可）のデジタル化画像、またはこれらの任意の組み合わせを、作成あるいは取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５はまた、年齢、病歴、がん治療歴、家族歴、過去の生検または細胞学情報などの患者固有情報の任意の組み合わせを取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５は、デジタル化スライド画像及び／または患者固有情報を、電子ネットワーク１２０を介してサーバシステム１１０に送信し得る。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５のうちの少なくとも１つから受信された画像及びデータを格納するための１つ以上のストレージデバイス１０９を含み得る。サーバシステム１１０はまた、１つ以上のストレージデバイス１０９に格納された画像及びデータを処理するための処理デバイスを含み得る。サーバシステム１１０はさらに、１つ以上の機械学習ツール（複数可）または機械学習能力を含み得る。一実施形態によれば、例えば処理デバイスは、組織観察プラットフォーム１００のための機械学習ツールを含み得る。代替的または付加的に、本開示（または本開示のシステム及び方法の部分）は、ローカル処理デバイス（例えばラップトップ）で実行され得る。

【0031】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５は、スライドの画像をレビューする病理医により使用されるシステムを指す。病院の設定では、組織タイプ情報は、ラボラトリ情報システム１２５のうちの１つに格納され得る。しかし、画像コンテンツと正しい組織分類情報が、必ずしもペアになるとは限らない。さらに、ラボラトリ情報システムを使用してデジタル病理画像の検体タイプにアクセスする場合であっても、ラボラトリ情報システムの多くのコンポーネントが手動で入力され得、エラーに関して大きな余地を残しているという面に起因して、このラベルは誤っている場合がある。本開示の例示的な実施形態によれば、ラボラトリ情報システム１２５にアクセスする必要なく検体タイプは識別され得、または検体タイプが識別されて、ラボラトリ情報システム１２５が訂正される可能性があり得る。例えば、第三者は、ラボラトリ情報システムに格納された対応検体タイプラベルのない画像コンテンツへ、匿名化アクセスを与えられ得る。さらに、ラボラトリ情報システムのコンテンツへのアクセスは、その機密内容により制限され得る。

【0032】

図１Ｂは、機械学習を使用して、デジタル病理画像（複数可）に関する画像属性情報の検体属性を特定するための組織観察プラットフォーム１００の例示的なブロック図を示す。例えば、組織観察プラットフォーム１００は、スライド分析ツール１０１、データ取込ツール１０２、スライド取込ツール１０３、スライドスキャナ１０４、スライドマネージャ１０５、ストレージ１０６、及び観察アプリケーションツール１０８を含み得る。

【0033】

例示的な実施形態によれば、後述されるように、スライド分析ツール１０１は、組織検体に関連付けられたデジタル画像を処理し、機械学習を使用してスライドを分析するためのプロセス及びシステムを指す。

【0034】

例示的な実施形態によれば、データ取込ツール１０２は、デジタル病理画像の分類及び処理に使用される様々なツール、モジュール、コンポーネント、及びデバイスへデジタル病理画像を転送することを促進するためのプロセス及びシステムを指す。

【0035】

例示的な実施形態によれば、スライド取込ツール１０３は、病理画像をスキャンし、これらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ１０４でスキャンされ得、スライドマネージャ１０５は、スライド上の画像をデジタル化病理画像に処理し、ストレージ１０６にデジタル化画像を格納し得る。

【0036】

例示的な実施形態によれば、観察アプリケーションツール１０８は、デジタル病理画像（複数可）に関する検体属性情報または画像属性情報をユーザ（例えば病理医）に提供するためのプロセス及びシステムを指す。情報は、様々な出力インターフェース（例えば画面、モニタ、ストレージデバイス、及び／またはウェブブラウザなど）を介して提供され得る。

【0037】

スライド分析ツール１０１及びそのコンポーネントのそれぞれは、電子ネットワーク１２０を介して、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５と、デジタル化スライド画像及び／または患者情報の送信及び／または受信を行い得る。さらに、サーバシステム１１０は、スライド分析ツール１０１、データ取込ツール１０２、スライド取込ツール１０３、スライドスキャナ１０４、スライドマネージャ１０５、及び観察アプリケーションツール１０８のうちの少なくとも１つから受信した画像及びデータを格納するための１つ以上のストレージデバイス１０９を含み得る。サーバシステム１１０はまた、ストレージデバイスに格納された画像及びデータを処理するための処理デバイスを含み得る。サーバシステム１１０はさらに、例えば処理デバイスにより、１つ以上の機械学習ツール（複数可）または機械学習能力を含み得る。代替的または付加的に、本開示（または本開示のシステム及び方法の部分）は、ローカル処理デバイス（例えばラップトップ）で実行され得る。

【0038】

上記のデバイス、ツール、及びモジュールのいずれも、１つ以上のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介してインターネットまたはクラウドサービスプロバイダなどの電子ネットワーク１２０に接続され得るデバイス上に、配置され得る。

【0039】

図１Ｃは、本開示の例示的な実施形態による、スライド分析ツール２０１の例示的なブロック図を示す。スライド分析ツールは、トレーニング画像プラットフォーム１３１及び／またはマッチング画像プラットフォーム１３５を含み得る。

【0040】

一実施形態によれば、トレーニング画像プラットフォーム１３１は、トレーニング画像を作成または受信し得、これらを使用して、機械学習システムは、デジタル病理画像を効果的に分析及び分類するようにトレーニングされる。例えば、トレーニング画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５のうちのいずれか１つ、またはこれらの任意の組み合わせから、受信され得る。トレーニングに使用される画像は、実際のソース（例えば人間、動物など）に由来し得るか、または合成ソース（例えばグラフィックレンダリングエンジン、３Ｄモデルなど）に由来し得る。デジタル病理画像の例としては、（ａ）Ｈ＆Ｅ、ヘマトキシリン単独、ＩＨＣ、分子病理学などの（これらに限定されない）様々な染色で染色されたデジタル化スライド、及び／または（ｂ）マイクロＣＴなどの３Ｄ撮像デバイスからのデジタル化画像サンプルが、挙げられ得る。

【0041】

トレーニング画像取込モジュール１３２は、人間組織の画像及びグラフィックレンダリングされた画像の一方または両方に対応する１つ以上のトレーニング画像を含むデータセットを作成または受信し得る。例えば、トレーニング画像は、サーバシステム１１０、医師サーバ１２１、及び／またはラボラトリ情報システム１２５のうちのいずれか１つ、またはこれらの任意の組み合わせから受信され得る。このデータセットは、デジタルストレージデバイスに保持され得る。トレーニングスライドマッチングモジュール１３３は、同一の個人または患者に関するスライド（例えばＷＳＩ）のマッチングに関するトレーニングデータを取り込み得る。例えば、トレーニングスライドマッチングモジュール１３３は、完全なＷＳＩを取り込み得るか、またはＷＳＩの１つ以上のタイルを取り込み得る。トレーニングスライドマッチングモジュール１３３は、入力されたＷＳＩをタイルに分割して、ＷＳＩの個々のタイルのさらなる分析を行う能力を含み得る。トレーニングスライドマッチングモジュール１３３は、本明細書に記載される機械学習技法のトレーニングの提供を促進するために、任意のバイナリ分類、トリプレット損失、またはＷＳＩの埋め込み／ベクトルを利用し得る（ペアワイズ組み合わせまたはシーケンスを使用することを含む）。スライド背景モジュール１３４は、組織の画像を分析して、デジタル病理画像内の背景を特定し得る。組織セグメントを確実に見落とさないようにするために、デジタル病理スライド内の背景を識別することは有用である。

【0042】

一実施形態によれば、マッチング画像プラットフォーム１３５は、マッチング画像取込モジュール１３６、スライドマッチングモジュール１３７、及び出力インターフェース１３８を含み得る。マッチング画像プラットフォーム１３５は、複数の電子画像を受信し、受信した複数の電子画像に機械学習モデルを適用して、複数の電子画像がマッチングするかどうか（例えば同一の個人に対応するかどうか）を判定し得る。例えば、複数の電子画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究所サーバ１２４、及び／またはラボラトリ情報システム１２５のうちのいずれか１つ、またはこれらの任意の組み合わせから、受信され得る。マッチング画像取込モジュール１３６は、１人以上の患者／個人に対応するＷＳＩを受信し得る。スライドマッチングモジュール１３７は、すべてのＷＳＩが同一の患者に対応するかどうかを判定するために、ＷＳＩ群に１つ以上の機械学習モデルを適用し得る。例えば、スライドマッチングモジュール１３７は、機械学習モデルを適用して、１つ以上のＷＳＩが同一の患者に対応するかどうかを判定し得る。スライドマッチングモジュール１３７は、２つのスライドがマッチングするかどうかのインジケーションを出力することが可能であり得る。インジケーションは、ｙｅｓまたはｎｏの回答、スライドがマッチングし得る確率、スライドの類似程度に対応する距離関数（例えばユークリッド距離）、または２つのスライドがマッチングするかどうかに関する任意の代替的なインジケータであり得る。距離関数が出力される場合、類似する２つの画像は短いユークリッド距離を有し得、マッチングしない２つの画像は長いユークリッド距離を有し得る。

【0043】

出力インターフェース１３８は、入力された画像に関する情報、及び入力された画像が同一の個人に属するかどうかに関する情報を、（例えば画面、モニタ、ストレージデバイス、ウェブブラウザなどに）出力するために使用され得る。出力情報は、比較された２つの特定のスライドに関する情報を含み得る。例えば、情報は、２つのスライドがマッチングするかどうか、２つのスライドがマッチングする確率、または距離関数であり得る。マッチング画像取込モジュール１３６に複数の画像が入力される別の実施形態では、出力インターフェースは、入力されたすべての画像がマッチングするかどうかに関する情報を提供することが可能であり得る。さらに、出力インターフェースは、複数の画像の大部分とマッチングしない任意の画像を示し得る。この出力は、前記画像がマッチングしないことを示すインジケータ、または閾値を下回る特定の画像がマッチングしないかどうかの確率であり得る。２つの画像がマッチングするかどうかは、距離関数に基づいて判定され得る。別の実施形態では、マッチング画像取込モジュール１３６は、２人以上の個人の複数の画像を、各スライド／画像が属する個人に関するインジケータとともに受信し得る。この実施形態では、出力インターフェースは、すべてのスライドが、それぞれの示された個人に正しくマッチングするかどうかを示し得る。これは、ｙｅｓ／ｎｏとして、または各スライドがそれぞれのグループに属する可能性のパーセンテージにより、行われ得る。

【0044】

図２Ａは、本明細書に提示される技法による、画像マッチングのアルゴリズムをトレーニングするための方法を示すフローチャートを示す。図２Ａのフローチャート２００は、例えば、図１Ｃで前述されたスライド分析ツール１０１のトレーニング画像プラットフォーム１３１により実行され得るステップを示す。あるいは、方法２００は、外部システムにより実行され得る。

【0045】

フローチャート２００は、ステップ２０２、２０４、及び２１０でさらに詳しく説明されるように、機械学習モジュールをトレーニングするための例示的なトレーニングステップを示す。機械学習モジュールは、下記でさらに論述されるように、「シャム」ニューラルネットワーク内のペアワイズ組み合わせを利用し得る。

【0046】

ステップ２０２にて、システム（例えばスライド分析ツール１０１のトレーニング画像取込モジュール１３２）は、例えばクラウド、ＲＡＭ、ハードドライブなどの電子ストレージに、患者からのデジタルＷＳＩの集合を受信し得る。これらのＷＳＩは、まとめてトレーニングデータと称され得る。トレーニングデータは、各スライドを特定の個人または参照番号と関連付けるラベルまたはデータを含み得る。あるいは、サーバシステム１１０またはネットワーク１２０は、各ＷＳＩが対応する個人に関する情報を記録し、格納し得る。トレーニングデータは、ＷＳＩまたはＷＳＩの分割されたタイル／画像パッチであり得る。

【0047】

ステップ２０４にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３７）は、機械学習モデルをトレーニングし得る。一実施形態では、機械学習モデルは、シャムニューラルネットワークであり得る。シャムニューラルネットワークは、２つ以上のサブネットワークを含み得る。サブネットワークは、ネットワークの大部分に対して同じ重み（すなわち共有重み）を使用し得、比較のためにネットワークの最上部では非共有重みが使用される。トレーニング中のパラメータ（例えば重みまたはレイヤ）の更新では、両方のサブネットワークにわたり同一の更新が行われ得る。この形態のネットワークは、顔照合などのタスクに優れ得、よって、患者のスライドがマッチングするかどうかを分析するために再利用することができる。

【0048】

システム内でシャムネットワークをトレーニングする複数の方法が存在し得る。第１の実施形態では、システムは、バイナリ分類技法２０６を使用してトレーニングされ得る。システムがバイナリ分類を利用してトレーニングされる場合、シャムネットワークは最初に、ステップ２０２からのトレーニングデータを使用して、２つのＷＳＩの１つ以上のセットを生成し得る。システムは、同一の患者に対応するマッチングスライドのセット（「マッチングセット」）、及び異なる患者に対応する非マッチングスライドのセット（「非マッチングセット」）を生成し得る。次に、これらのマッチングセット及び非マッチングセットを使用して、シャムネットワークがトレーニングされ得る。これを行うために、システムは最初に、０～１のランダム値ｐをサンプリングし得る。ｔはハイパーパラメータ閾値であり、ｐ＞ｔである場合、システムは、２人の異なる患者に属する２つのスライドをランダムに選択して、ペアがマッチングしないことを示す０に出力ラベルを設定することにより、非マッチングのセットを作成し得る。あるいは、システムは、同一の患者から２つのスライドを選択して、ペアがマッチングすることを示す１に出力ラベルを設定することにより、マッチングセットを作成し得る。システムは、シャムネットワークをトレーニングするために、必要に応じて多くのマッチング画像セット及び非マッチング画像セットを作成し得る。

【0049】

システムがトレーニングを開始すると、プラットフォームは、セットのうちの第１のＷＳＩを第１のサブネットワークに挿入し、同じセットのうちの第２のＷＳＩを第２のサブネットワークに挿入し得る。最初のセットは、マッチング画像セットまたは非マッチング画像セットのいずれでもよい。トレーニング中、マッチングセットと非マッチングセットの両方をシステムに入力して、システムはさらにトレーニングされ得る。サブネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスフォーマニューラルネットワーク、全結合型ニューラルネットワークなどであり得る。各サブネットワークは、ＷＳＩ全体を入力として受信することが可能であり得る。別の実施形態では、サブネットワークは、タイルに分割されたＷＳＩを受信し得る。システム（例えばトレーニング画像プラットフォーム１３１）は、ＷＳＩをラベル付きタイルに分割する中間ステップを含み得、次いで、タイル集合は、シャムネットワークのそれぞれのサブネットワークのうちの１つに供給され得る。システムが各セットから２つの画像を受信すると、システムは、２つの画像がマッチングであるか非マッチングであるかに基づいたグラウンドトルースからトレーニングされ得る。ネットワーク全体は、所望の任意の形態のバイナリ分類損失（例えばバイナリ交差エントロピー損失、ヒンジ損失など）でトレーニングされ得る。システムは、第１の画像及び第２の画像からの出力を使用して、損失を計算し得る。ネットワークトレーニングはさらに、勾配降下及び／または逆伝播を使用する（例えばモデルのグレードを計算するために逆伝播を利用する）と同時に、損失を十分に低減させてトレーニングデータ上でのエラーを最小化するまで、機械学習モデルの重みを更新することを含み得る。更新されたモデルは、次に、（例えばサーバシステム１１０内に）保存され得る。

【0050】

第２の実施形態では、シャムネットワークは、トリプレット損失関数２０８を利用してトレーニングされ得る。トリプレット損失トレーニングの目的は、システム（例えばトレーニング画像プラットフォーム１３１）にトリプレットを作成させることであり得る。トリプレットは、下記でさらに論述されるように、アンカー画像、正例画像、及び負例画像を含む３つの画像のセットであり得る。バイナリ分類トレーニングと同様に、サブネットワークは、ＷＳＩ全体またはＷＳＩのタイルを入力として受信することが可能であり得る。トリプレット損失トレーニングは、システムが最初に、ステップ２０２でインポートされたトレーニングデータから「アンカー」画像を選択することを含み得る。アンカー画像は、トレーニング中にマッチング目的で比較され得る参照入力であり得る。次に、トレーニング画像プラットフォーム１３１は、正例（アンカー画像と同一の患者からの別の画像）及び負例（アンカー画像とは異なる患者の画像）を見つけ得る。システムは、機械学習モデルをトレーニングするのに必要な数のトリプレットを作成し得る。機械学習モデルは、次いで、アンカー画像と正例との間の距離を最小化し、アンカー画像と負例との間の距離を最大化するように、トリプレットのセットでトレーニングされ得る。システムは、損失の説明を助長するために、ユークリッド距離関数を作成し得る。あるいは、コサイン距離などの任意の他の距離メトリックが利用されてもよい。トレーニング中、アンカー画像と正例画像との間の距離は、最小まで減少され得、アンカー画像と負例画像との間の距離は、増大され得る。機械学習モデルは、勾配降下／逆伝播を使用して、損失を十分に低減させてトレーニングデータ上でのエラーを最小化するまで、トレーニングされ得る。

【0051】

ステップ２１０にて、システムは、学習したパラメータを電子ストレージ（例えばストレージデバイス１０９、または例えばクラウド、ＲＡＭ、ハードドライブなどの代替的な電子ストレージ）に保存し得る。パラメータは、トレーニングされたニューラルネットワークに対する任意の更新された重みまたはバイアスを含み得る。

【0052】

図２Ｂは、本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像セットのスライドマッチング）を行うための方法を示すフローチャートである。図２Ｂは、図２Ａで説明されたトレーニング済みニューラルネットワークを利用した方法を示し得る。図２Ｂの例示的な方法２５０（例えばステップ２５２～２５８）は、例えば、スライド分析ツール１０１のマッチング画像プラットフォーム１３５により実行され得るステップを示す。これらのステップは、自動的に、またはユーザ（例えば医師、病理学者など）からの要求に応じて、実行され得る。あるいは、フローチャート／方法２５０で説明される方法は、デバイス７００など、画像入力を受信可能であり、図２Ａで説明されたシャムネットワークを含むまたはインポートすることが可能な任意のコンピュータプロセスシステムにより、実行され得る。

【0053】

ステップ２５２にて、システム（例えばマッチング画像取込モジュール１３６）は、患者／ユーザ／個人の医療サンプルに関連付けられた複数の電子医用画像を受信し得る。システムは、医用画像を、ストレージデバイス１０９または代替的な電子ストレージ、例えばクラウド、ＲＡＭ、ハードドライブなどに格納し得る。医用画像は、ＷＳＩであり得る。別の実施形態では、システムは、組み合わされるとＷＳＩを形成するタイルのセットを受信し得る。複数の電子医用画像は、単一検体の単一切片の画像であり得る。あるいは、複数の医用画像は、複数の切片であり得るが、特定個人の単一検体のものであり得る。別の実施形態では、複数の医用画像は、１人の個人に関連付けられた複数の異なる検体のものであり得る。

【0054】

入力されたＷＳＩに加えて、システムは、過去電子医用画像を受信する能力を有し得る。過去電子医用画像は、個人の１つ以上の検体に関する任意の以前の医用画像（例えばＷＳＩ）を指し得る。過去電子医用画像は、検体の同じ切片、同じ検体の異なる切片、または異なる検体の切片のものであり得る。例えば、過去電子医用画像は、個人が以前通院した時に格納した画像から受信され得る。これらの過去電子医用画像は、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、医師サーバ１２１、臨床試験サーバ１２３、または個人の過去の医用画像を有する任意の外部システムから、受信され得る。

【0055】

別の実施形態では、複数の医用画像は、２人以上のユーザからのものであり得る。この実施形態では、複数の医用画像は、異なるユーザのスライドを区別するためにマーク付けされ得る。例えば、システムは、異なる個人に属する複数の医用画像セットを受信し得る。これらの画像は、各医用画像に関連付けられた個人を示すようにマーク付けされ得るか、または各医用画像に関連付けられた個人を示すデータを含み得る。別の実施形態では、システムは、システムに入力された画像とともに、各患者／ユーザの過去の医用画像をインポートすることが可能であり得る。システムは、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、臨床試験サーバ１２３、もしくは医師サーバ１２１、または医用画像を提供できる任意の他の外部サーバから、これらの過去の医療ファイルをインポートし得る。

【0056】

ステップ２５４にて、システム（例えばスライド分析ツール１０１のスライドマッチングモジュール１３７）は、１人の患者に関する２つの画像のすべての組み合わせに対して、トレーニング済みシャムネットワーク（図２Ａで説明）を実行して、ニューラルネットワークの応答を記録し得る。例えば、システムが１人の患者に関する７つの医用画像を入力として受信した場合、相互比較される７つの像の２１個の組み合わせすべてに対して、トレーニング済みシャムネットワークが実行され得る。２つの画像にトレーニング済みシャムネットワークを適用することにより、システムは、距離（例えばユークリッド距離）を出力し得、短距離はマッチング画像に対応し、長距離は２つの非マッチング画像に対応する。システムは、２つの画像間の距離に基づいて、２つの画像がマッチングするかどうかを判定し得る。機械学習アルゴリズムは、所定の類似度閾値と称される閾値を有し得、２つの画像間の距離が所定の類似度閾値未満である場合には、システムは、２つの画像がマッチングすると判定し得る。あるいは、距離が所定の類似度閾値を超える場合、システムは、２つの画像がマッチングしないと判定し得る。

【0057】

別の実施形態では、スライド分析ツール１０１は、入力されたＷＳＩに加えて、患者から１つ以上の以前のスライド（例えば過去電子医用画像）をインポートして、ステップ２５４中に分析し得る。システムが同じ氏名及び同じ誕生日（または同様の誕生日）を有する以前の患者を見つけることができたときに、過去電子医用画像は選択され得る。あるいは、患者の過去電子医用画像は、ネットワーク１２０からシステムにインポートされ得る。ユーザは、入力されたＷＳＩを、見つかった過去電子医用画像と比較するかどうかを選択することが可能であり得る。ユーザは、以前の過去医用画像が受信されたときに、アクセス可能となり得る。

【0058】

この実施形態は、すべての挿入されたスライドが正しい個人に対応することを検証するために（例えば個人のファイル上の過去電子医用画像がその個人に実際に対応することを確認するために）、利用され得る。例えば、すべての挿入された医用画像が、相互にマッチングするが、過去電子医用画像とはマッチングしない場合、システムは、入力されたＷＳＩ及び過去電子医用画像に、手動レビューのフラグを立て得る（例えばフラグ付けを行い得る）。この実施形態では、システムは、マッチング中に過去画像を追跡し続け得る。過去画像を含まないすべてのペアがマッチングし（例えば所定の類似度閾値未満の距離を有し）、挿入されたＷＳＩと１つ以上の過去画像とのすべての組み合わせがマッチングしない（例えば所定の類似度閾値超過の距離を有する）場合、システムは、情報を記録し、挿入されたスライドが相互にマッチングするが、１つ以上の過去電子医用画像とはマッチングしないことを、システムのユーザに通知し得る。この実施形態は、患者の医用画像を経時的に追跡し続けるため、及び過去電子医用画像の過去の記録における潜在的エラー、または入力されたＷＳＩにおけるエラーを捕捉するために、利用され得る。

【0059】

ステップ２５６にて、システムは、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうか（例えば距離が閾値未満であるかどうか）を示す出力を受信し得る。システムは、すべてのスライドがマッチングするという通知、すべてのマッチングＷＳＩ及び非マッチングＷＳＩのリスト、または非マッチングとしてフラグが立てられた全スライドのリストを、出力し得る。

【0060】

ステップ２５８にて、任意で、システムは、特定の患者に属さない可能性があるあらゆるスライドに、フラグを立て得る。スライドにフラグを立てること、すなわちフラグ付けは、システム内にリストを作成すること、または各スライドと共にマッチング／非マッチングに対応する値を格納することを含み得るが、これらに限定されない。フラグ付けはまた、いずれかのスライド及び／またはすべてのスライドがマッチングしないことの視覚的通知を（例えば組織観察プラットフォーム１００を介して）ユーザに出力することも包含し得る。これにより、外部ユーザは、任意の入力されたスライド及び利用された任意の過去電子医用画像を、手動レビューすることが可能となり得る。別の実施形態では、フラグ付けは、マッチングしないあらゆるスライドのリストを作成し、リストを（例えば組織観察プラットフォーム１００を介して）ユーザに出力することを含み得る。あるいは、システムは、マッチングしないすべてのスライドを表示及び／または出力し得、適切なスライドが挿入されたかどうかを確認するために、第２の手動レビューを可能にし得る。

【0061】

本明細書に記載のシステム（例えばスライド分析ツール１０１）は、すべてのマッチングペア及び非マッチングペアを分析して、患者に対応するスライドを特定するアルゴリズムを含み得る。アルゴリズムは、下記でさらに詳しく説明されるように、方法２５０のステップ２５６または方法４５０のステップ４５８で実行され得る。アルゴリズムは、マッチングスライド及び非マッチングスライドをすべてのスライドと組み合わせた様々な組み合わせに基づいて、どのスライドが個人に対応し、どのスライドが個人に対応しないかを、特定することが可能であり得る。以下は、システムが遭遇し得るいくつかの例示的な状況である。

【0062】

第１の例では、システムは、１人の個人に対応するはずの７つの画像を受信し得るが、７つの画像のうちの１つは、実際にはその個人に対応していない。システムは、次に、７つのスライドの２１個の異なるペアリングをすべて、トレーニング済みニューラルネットワークに入力し得る。スライドのうちの６つが患者に対応し、１つのスライドが誤って挿入された場合、システムは、２１個の異なるペアリングのうちの１５個のペアで、マッチングを示す所定の類似度閾値を下回る距離を出力し、６個のペア（すべてのペアリングが誤ったスライドを含む）で、所定の類似度閾値を上回る距離を出力する。次に、システムは、類似度閾値を超える距離を出力したすべてのペアに、ある１つのスライドが含まれていたことを特定することにより、マッチングしないスライドを特定することが可能であり得る。次に、システムは、情報を格納し、その後、システムのユーザに対して、誤ったスライドにフラグを立て得る。

【0063】

第２の例では、システムは、１人の個人に対応するはずの７つの画像を受信し得るが、７つの画像のうちの２つは、実際にはその個人に対応していない。この例では、２つの非マッチングスライドが、同一の個人に対応していない。システムは、次に、７つのスライドの２１個の異なるペアリングをすべて、トレーニング済みニューラルネットワークに入力し得る。次に、システムは、１０個のマッチングペアと１１個の非マッチングペアとを出力し得る。次に、システムは、すべての非マッチングに、個人に対応しないスライドの２つが含まれていたことを特定することが可能であり、よって、これらの２つのペアにのみ、誤ったペアとフラグを立て得る。次に、システムは、この情報を格納し、システムのユーザに対して、誤ったスライドにフラグを立て得る。

【0064】

第３の例では、システムは、１人の個人に対応するはずの７つの画像を受信し得るが、７つの画像のうちの２つは、実際にはその個人に対応していない。この例では、２つの非マッチングスライドが、同一の個人に属する。システムは、次に、７つのスライドの２１個の異なるペアリングをすべて、トレーニング済みニューラルネットワークに入力し得る。次に、システムは、１１個のマッチングペアと１０個の非マッチングペアとを出力し得る。次に、スライド分析ツールは、すべての非マッチングに、個人に対応しないスライドの２つが含まれていたことを特定し、よって、これらの２つのペアにのみ、誤ったペアとフラグを立て得る。アルゴリズムでも、２つのスライドがすべての非マッチングに含まれ、相互にマッチングしていることが認識され得、これは、２つの誤ったスライドが同一の個人に対応することを意味する。次に、システムは、この情報（２つの非マッチングスライドが同一の個人に対応することを含む）を格納し、システムのユーザに対して、誤ったスライドにフラグを立て得る。

【0065】

第４の例では、システムは、１人の個人に対応するはずの７つの画像を受信し得、６つの画像は、ステップ２５２から新たに挿入された画像であり、１つの画像は、個人の医療ファイルから（例えばラボラトリ情報システム１２５から）インポートされたものである。インポートされた画像は、正しい画像とラベル付けされ得る。この例では、挿入されたスライドの６つすべてが、同一の誤った個人（過去電子医用画像と同じ個人ではない）に対応し得る。システムは、次に、７つのスライドの２１個の異なるペアリングをすべて、トレーニング済みニューラルネットワークに入力し得る。次に、システムは、１５個のマッチングペアと６個の非マッチングペアとを出力し得る（出力された距離値に基づいて）。このシナリオでは、システムは、非マッチングペアがすべて、インポートされた「正しい画像」に対応することを認識し得る。次に、システムは、この情報を格納し、すべてのインポートされたスライドが過去電子医用画像に対応しないというフラグを立て得る。

【0066】

図３は、本明細書に提示される技法による、１つ以上の画像をマッチングするプロセスを示す。図３では、トレーニング済みニューラルネットワーク３０４（例えばシャムニューラルネットワーク）に入力データ３０２が挿入され得る。入力データ３０２は、ステップ２５２で説明されたデータに対応し得る。トレーニング済みニューラルネットワーク３０４は、フローチャート２００に基づいてトレーニングされてステップ２５４で利用されるシャムネットワークに対応し得る。次に、ニューラルネットワーク３０４は、データ３０６を出力し得る。ステップ２５４及び２５６で説明されたように、出力データ３０６は、入力データが「マッチングする」（例えば同一の個人に対応する）かどうかに関する情報に対応し得る。

【0067】

図４Ａは、本明細書に提示される技法による、画像マッチングのアルゴリズムをトレーニングするための方法を示すフローチャートを示す。図４Ａ及び図４Ｂで説明されるプロセス及び技法は、スライドがマッチングするかどうかを判定するために、埋め込み（例えば画像のベクトル表現）を対比し得る。図４Ａの方法４００は、例えば、図１Ｃで前述されたスライド分析ツール１０１のトレーニング画像プラットフォーム１３１により実行され得るステップを示す。あるいは、方法４００は、外部システムにより実行され得る。

【0068】

フローチャート／方法４００は、ステップ４０２～４１０でさらに詳しく説明されるように、機械学習モジュールをトレーニングするためのトレーニングステップを示す。機械学習モジュールは、下記でさらに論述されるように、ペアワイズ組み合わせの埋め込みを利用し得る。

【0069】

ステップ４０２にて、システム（例えばトレーニング画像取込モジュール１３２）は、例えばクラウド、ＲＡＭ、ハードドライブなどの電子ストレージに、患者からのデジタルＷＳＩの集合を受信し得る。これらのＷＳＩは、まとめてトレーニングデータと称され得る。トレーニングデータは、各スライドを特定の個人または参照番号と関連付けるラベルまたはデータを含み得る。あるいは、サーバシステム１１０またはネットワーク１２０は、各ＷＳＩが対応する個人に関する情報を記録し、格納し得る。トレーニングデータは、ＷＳＩまたはＷＳＩのタイル／小部分であり得る。

【0070】

ステップ４０４にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３３）は、機械学習モデルをトレーニングするために利用するマッチングセットを生成し得る。マッチングセットは、図２Ａのステップ２０４でトレーニングに利用されたマッチングセットと同様であり得る。例えば、トレーニングスライドマッチングモジュール１３３は、０～１のランダム値ｐをサンプリングし得る。ｔはハイパーパラメータ閾値であり、ｐ＞ｔの場合、システムは、２人の異なる患者から２つのスライドをランダムに選び出し、ペアがマッチングしないことを示す０にラベルを設定し、あるいは、同一の患者から２つのスライドを選び、ペアがマッチングすることを示す１に出力ラベルを設定する。ステップ４０４は、トレーニングを行うのに適切な量のペアセットを作成するために、必要な回数だけ繰り返され得る。

【0071】

ステップ４０６にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３３）は、トレーニングデータ内のすべてのＷＳＩから埋め込みを抽出し得る。画像の埋め込みは、前記画像のベクトル表現であり得、これは、追加の画像埋め込みと比較することが可能である。スライド分析ツール１０１内の事前にトレーニングされたニューラルネットワークを利用して、ステップ４０４で作成されたすべてのトレーニングデータセットから埋め込みが抽出され得る。このニューラルネットワークは、埋め込み機械学習モジュールと称され得る。別の実施形態では、埋め込み機械学習モジュールは、トレーニングスライドマッチングモジュール１３３内に配置され得る。別の実施形態では、埋め込み機械学習モジュールは、スライド分析ツール１０１の外部に配置され、ネットワーク１２０を介してスライド分析ツール１０１によりアクセスされ得る。埋め込み機械学習モジュールは、画像から埋め込みを抽出するタスクを実行するように直接トレーニングされ得る。埋め込み機械学習モジュールは、教師あり、教師なし、または自己教師ありを介してトレーニングされ得る。画像の埋め込みが抽出されると、次に、トレーニングデータの画像ごとに、埋め込みを連結して単一統合ベクトルが形成され得る。

【0072】

ステップ４０８にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３３）は、機械学習モジュールをトレーニングし得る。ステップ４０４で割り当てられたラベルを利用することにより、各連結ベクトルが同一の患者からのものであるか、別の患者からのものであるかを、システムが判定し得るように、トレーニングは行われ得る。トレーニングは、ステップ４０２のトレーニングデータに対するトレーニングエラーが閾値を下回るまで行われ得る。この閾値は、所定のものであり得るか、またはシステムまたはシステム管理者により決定され得る。機械学習モジュールは、全結合型ネットワーク、サポートベクトルマシン、近傍法、ランダムフォレストなどであり得る。

【0073】

ステップ４１０にて、システムは、学習したパラメータを電子ストレージ（例えばストレージデバイス１０９、または代替的な電子ストレージ、クラウド、ＲＡＭ、ハードドライブなど）に保存し得る。パラメータは、トレーニングされたニューラルネットワークに対する任意の更新された重みまたはバイアスを含み得る。

【0074】

図４Ｂは、本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。図４Ｂは、図４Ａでトレーニングされたニューラルネットワークを利用した方法を示し得る。図４Ｂの例示的な方法４５０（例えばステップ４５２～４５８）は、例えばスライド分析ツール１０１のマッチング画像プラットフォーム１３５により実行され得るステップを示す。これらのステップは、自動的に、またはユーザ（例えば医師、病理学者など）からの要求に応じて、実行され得る。あるいは、フローチャート４５０で説明される方法は、デバイス７００など、画像入力を受信可能であり、図４Ａで説明されたニューラルネットワークを含むまたはインポートすることが可能な任意のコンピュータプロセスシステムにより、実行され得る。

【0075】

ステップ４５２にて、システム（例えばマッチング画像取込モジュール１３６）は、患者／ユーザ／個人の医療サンプルに関連付けられた複数の電子医用画像を受信し得る。システムは、医用画像を、ストレージデバイス１０９または代替的な電子ストレージ、例えばクラウド、ＲＡＭ、ハードドライブなどに格納し得る。医用画像は、ＷＳＩであり得る。別の実施形態では、システムは、組み合わされるとＷＳＩを形成するタイルのセットを受信し得る。複数の電子医用画像は、単一検体の単一切片の画像であり得る。あるいは、複数の医用画像は、複数の切片であり得るが、特定個人の単一検体のものであり得る。別の実施形態では、複数の医用画像は、１人の個人に関連付けられた複数の異なる検体のものであり得る。

【0076】

入力されたＷＳＩに加えて、システムは、過去電子医用画像を受信する能力を有し得る。過去電子医用画像は、個人に関連付けられた１つ以上の検体の任意の以前の医用画像（例えばＷＳＩ）を指し得る。過去電子医用画像は、検体の同じ切片、同じ検体の異なる切片、または異なる検体の切片のものであり得る。例えば、過去電子医用画像は、個人が以前通院した時に格納した画像から受信され得る。これらの過去電子医用画像は、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、医師サーバ１２１、臨床試験サーバ１２３、または個人の過去の医用画像を有する任意の外部システムから、受信され得る。

【0077】

別の実施形態では、複数の医用画像は、２人以上のユーザからのものであり得る。この実施形態では、複数の医用画像は、異なるユーザのスライドを区別するためにマーク付けされ得る。例えば、システムは、異なる個人に属する複数の医用画像セットを受信し得る。これらの画像は、各医用画像が属するはずの個人を示すようにマーク付けされ得るか、または各医用画像が属するはずの個人を示すデータを含み得る。別の実施形態では、システムは、システムに入力された画像とともに、各患者／ユーザの過去の医用画像をインポートすることが可能であり得る。システムは、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、臨床試験サーバ１２３、もしくは医師サーバ１２１、または医用画像を提供できる任意の他の外部サーバから、これらの過去の医療ファイルをインポートし得る。

【0078】

ステップ４５４にて、システム（例えばスライド分析ツール１０１のスライドマッチングモジュール１３７）は、ステップ４５２でシステムに挿入された複数の電子画像のすべてから、埋め込みを抽出し得る。システムは、トレーニングにおけるステップ４０６で説明されたニューラルネットワークと同様の事前にトレーニングされたニューラルネットワークを利用して、埋め込みの抽出を実行し得る。事前にトレーニングされたニューラルネットワークは、スライド分析ツール１０１内に配置され得、ステップ４５２で挿入された画像（例えばデジタルＷＳＩの集合）から埋め込みを抽出するために利用され得る。このニューラルネットワークは、埋め込み機械学習モジュールと称され得る。別の実施形態では、埋め込み機械学習モジュールは、スライドマッチングモジュール１３７内に配置され得る。別の実施形態では、埋め込み機械学習モジュールは、スライド分析ツール１０１の外部に配置され、ネットワーク１２０を介してスライド分析ツール１０１によりアクセスされ得る。埋め込み機械学習モジュールは、画像から埋め込みを抽出するタスクを実行するように直接トレーニングされ得る。埋め込み機械学習モジュールは、教師あり技法、教師なし技法、または自己教師あり技法を介してトレーニングされ得る。

【0079】

画像の埋め込みが抽出されると、画像ごとに、埋め込みを連結して単一統合ベクトルが形成され得る。統合ベクトルは、単一ベクトル内の画像に関するすべての顕著な情報を取り込み得る。それぞれの画像のこれらの単一統合ベクトルは、ストレージデバイス１０９を介して格納され得る。

【0080】

ステップ４５６にて、システム（例えばスライド分析ツール１０１、より具体的にはスライドマッチングモジュール１３７）は、１人の患者に関する２つの統合ベクトル（４５２で挿入された画像に対応する）のすべての組み合わせに対して、トレーニング済みペアワイズ組み合わせネットワーク（図４Ａで説明）を実行し、ニューラルネットワークの応答を記録し得る。例えば、システムが１人の患者に関する７つの医用画像を入力として受信した場合、相互比較される７つの連結埋め込みの２１個の組み合わせすべてに対して、トレーニング済みペアワイズ組み合わせネットワークが実行され得る。２つの画像にトレーニング済みペアワイズネットワークを適用することにより、システムは、距離（例えばユークリッド距離）を出力し得、短距離はマッチング画像に対応し、長距離は２つの非マッチング画像に対応する。システムは、２つの画像間の距離に基づいて、２つの画像がマッチングするかどうかを判定し得る。機械学習は、所定の類似度閾値を有し得、２つの画像間の距離が所定の類似度閾値未満である場合には、システムは、２つの画像がマッチングすると判定し得る。あるいは、距離が所定の類似度閾値を超える場合、システムは、２つの画像がマッチングしないと判定し得る。

【0081】

別の実施形態では、システム（例えばスライド分析ツール１０１）は、患者から１つ以上の以前のスライド（例えば過去電子医用画像）をインポートして、ステップ４５６中に利用し得る。この実施形態では、すべての挿入されたスライドが１人の誤った個人にマッチングしないこと、すなわち挿入されたスライドが相互にマッチングするが、過去電子医用画像とはマッチングしないことが、検証され得る。あるいは、この方法を使用して、過去電子医用画像が現在の患者／個人に正しく関連付けられていることが検証され得る。この実施形態では、システムは、マッチング中に過去画像を追跡し続け得る。過去画像を含まないすべてのペアがマッチングし（例えば所定の類似度閾値未満の距離を有し）、挿入されたＷＳＩと過去画像とのすべての組み合わせがマッチングしない（例えば所定の類似度閾値超過の距離を有する）場合、システムは、情報を記録し、システムのユーザに通知し得る。

【0082】

ステップ２５６と同様に、ステップ４５８にて、システムは、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうか（例えば距離が所定閾値未満であるかどうか）を示す出力を受信し得る。システムは、すべてのスライドがマッチングするという通知、すべてのマッチングＷＳＩ及び非マッチングＷＳＩのリスト、または非マッチングとしてフラグが立てられた全スライドのリストを、出力し得る。

【0083】

ステップ２５８と同様に、ステップ４６０にて、任意で、システムは、特定の患者に属さない可能性があるあらゆるスライドに、フラグを立て得る。スライドシステムは、すべてのマッチングペア及び非マッチングペアを分析して、患者に対応するスライドを特定するアルゴリズムを含み得る。アルゴリズムは、マッチングスライド及び非マッチングスライドをすべてのスライドと組み合わせた様々な組み合わせに基づいて、どのスライドが個人に対応し、どのスライドが個人に対応しないかを、特定することが可能であり得る。

【0084】

図５Ａは、本明細書に提示される技法による、画像マッチングのアルゴリズムをトレーニングするためのフローチャートを示す。図５Ａの方法５００は、例えば、図１Ｃで前述されたスライド分析ツール１０１のトレーニング画像プラットフォーム１３１により実行され得るステップを示す。あるいは、方法５００は、外部システムにより実行され得る。

【0085】

フローチャート／方法５００は、ステップ５０２～５０８でさらに詳しく説明されるように、機械学習モジュールをトレーニングするためのトレーニングステップを示す。機械学習モジュールは、下記でさらに論述されるように、データシーケンス（例えば埋め込み）を利用し得る。データシーケンス（例えば埋め込み）を利用することにより、機械学習モジュールは、単一ベクトルのような固定サイズの入力ではなく、可変数の入力（例えば埋め込み）を入力として受信することが可能となり得る。さらに、入力データは、機械学習モジュールに同時に供給され得、入力データに関する任意のシーケンシャル順序を必ずしも有さなくてもよい。

【0086】

ステップ５０２にて、システム（例えばトレーニング画像取込モジュール１３２）は、例えばクラウド、ＲＡＭ、ハードドライブなどの電子ストレージに、患者からのデジタルＷＳＩの集合を受信し得る。これらのＷＳＩは、まとめてトレーニングデータと称され得る。トレーニングデータは、各スライドを特定の個人または参照番号と関連付けるラベルまたはデータを含み得る。あるいは、サーバシステム１１０またはネットワーク１２０は、各ＷＳＩが対応する個人に関する情報を記録し、格納し得る。トレーニングデータは、ＷＳＩまたはＷＳＩの分割タイルであり得る。

【0087】

ステップ５０４にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３３）は、すべてのトレーニングデータから埋め込みを抽出し得る。画像の埋め込みは、前記画像のベクトル表現であり得、これは、追加の画像埋め込みと比較することが可能である。システム内の事前にトレーニングされたニューラルネットワークを利用して、ステップ４０４で作成されたすべてのトレーニングデータセットから埋め込みが抽出され得る。このニューラルネットワークは、埋め込み機械学習モジュールと称され得る。別の実施形態では、埋め込み機械学習モジュールは、スライド分析ツール１０１の外部に配置され、ネットワーク１２０を介してスライド分析ツール１０１によりアクセスされ得る。埋め込み機械学習モジュールは、画像から埋め込みを抽出するタスクを実行するように直接トレーニングされ得る。埋め込み機械学習モジュールは、教師あり技法、教師なし技法、または自己教師あり技法を介してトレーニングされ得る。画像の埋め込みが抽出されると、次に、画像ごとに、埋め込みを連結して単一統合ベクトルが形成され得る。

【0088】

ステップ５０６にて、システム（例えばスライド分析ツール１０１のトレーニングスライドマッチングモジュール１３３）は、「シーケンス」データを扱うことができる埋め込みでニューラルネットワークをトレーニングし得、例えば、トレーニングデータ内の各スライドからの埋め込みを入力として使用して、例えばリカレントニューラルネットワーク、トランスフォーマ、１次元畳み込みニューラルネットワークをトレーニングし得る。「シーケンス」データを扱うことは、可変数の埋め込み／ベクトルを入力として受信するシステムの能力を指し得る。トレーニング中、ニューラルネットワークは、埋め込みのうちの１つを、異なる患者からの別の埋め込みと、確率ｐでランダムに交換し得る。シーケンスの出力ラベルは、埋め込みを交換した後は、非マッチングを示すために０に設定され得、そうでない場合は、埋め込みがすべてマッチングすることを示すために１に設定される。出力は、例えばヒンジ損失、バイナリ交差エントロピー損失などのバイナリ分類の任意の所望の出力であり得る。

【0089】

ステップ５０８にて、システムは、学習したパラメータを電子ストレージ（例えばストレージデバイス１０９、または代替的な電子ストレージ、クラウド、ＲＡＭ、ハードドライブなど）に保存し得る。パラメータは、トレーニングされたニューラルネットワークに対する任意の更新された重みまたはバイアスを含み得る。

【0090】

図５Ｂは、本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。図５Ｂは、図５Ａでトレーニングされたニューラルネットワークを利用した方法を示し得る。図５Ｂの例示的な方法５５０（例えばステップ５５２～５６０）は、例えばスライド分析ツール１０１のマッチング画像プラットフォーム１３５により実行され得るステップを示す。これらのステップは、自動的に、またはユーザ（例えば医師、病理学者など）からの要求に応じて、実行され得る。あるいは、フローチャート５５０で説明される方法は、デバイス７００など、画像入力を受信可能であり、図５Ａで説明されたニューラルネットワークを含むまたはインポートすることが可能な任意のコンピュータプロセッサにより、実行され得る。

【0091】

ステップ５５２にて、システム（例えばマッチング画像取込モジュール１３６）は、患者／ユーザ／個人の医療サンプルに関連付けられた複数の電子医用画像を受信し得る。システムは、医用画像を、ストレージデバイス１０９または代替的な電子ストレージ、例えばクラウド、ＲＡＭ、ハードドライブなどに格納し得る。医用画像は、ＷＳＩであり得る。別の実施形態では、システムは、組み合わされるとＷＳＩを形成するタイルのセットを受信し得る。複数の電子医用画像は、単一検体の単一切片の画像であり得る。あるいは、複数の医用画像は、複数の切片であり得るが、特定個人の単一検体のものであり得る。別の実施形態では、複数の医用画像は、１人の個人に関連付けられた複数の異なる検体のものであり得る。

【0092】

入力されたＷＳＩに加えて、システムは、過去電子医用画像を受信する能力を有し得る。過去電子医用画像は、個人の１つ以上の検体に関する任意の以前の医用画像（例えばＷＳＩ）を指し得る。過去電子医用画像は、検体の同じ切片、同じ検体の異なる切片、または異なる検体の切片のものであり得る。例えば、過去電子医用画像は、個人が以前通院した時に格納した画像から受信され得る。これらの過去電子医用画像は、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、医師サーバ１２１、臨床試験サーバ１２３、または個人の過去の医用画像を有する任意の外部システムから、受信され得る。

【0093】

別の実施形態では、複数の医用画像は、２人以上のユーザからのものであり得る。この実施形態では、複数の医用画像は、異なるユーザのスライドを区別するためにマーク付けされ得る。例えば、システムは、異なる個人に属する複数の医用画像セットを受信し得る。これらの画像は、各医用画像が属するはずの個人を示すようにマーク付けされ得るか、または各医用画像が属するはずの個人を示すデータを含み得る。別の実施形態では、システムは、システムに入力された画像とともに、各患者／ユーザの過去の医用画像をインポートすることが可能であり得る。システムは、病院サーバ１２２、研究所サーバ１２４、ラボラトリ情報システム１２５、臨床試験サーバ１２３、もしくは医師サーバ１２１、または医用画像を提供できる任意の他の外部サーバから、これらの過去の医療ファイルをインポートし得る。

【0094】

ステップ５５４にて、システム（例えばスライド分析ツール１０１のスライドマッチングモジュール１３７）は、ステップ５５２でシステムに挿入された複数の電子画像のすべてから、埋め込みを抽出し得る。システムは、トレーニングにおけるステップ５０６で説明されたニューラルネットワークと同様の事前にトレーニングされたニューラルネットワークを利用して、埋め込みの抽出を実行し得る。事前にトレーニングされたニューラルネットワークは、スライド分析ツール１０１内に配置され得、ステップ５５２で挿入された画像から埋め込みを抽出するために利用され得る。このニューラルネットワークは、埋め込み機械学習モジュールと称され得る。別の実施形態では、埋め込み機械学習モジュールは、スライド分析ツール１０１の外部に配置され、ネットワーク１２０を介してスライド分析ツール１０１によりアクセスされ得る。埋め込み機械学習モジュールは、画像から埋め込みを抽出するタスクを実行するように直接トレーニングされ得る。埋め込み機械学習モジュールは、教師あり、教師なし、または自己教師ありを介してトレーニングされ得る。

【0095】

画像の埋め込みが抽出されると、画像ごとに、埋め込みを連結して単一統合ベクトルが形成され得る。それぞれの画像のこれらの単一統合ベクトルは、ストレージデバイス１０９を介して格納され得る。

【0096】

ステップ５５６にて、システム（例えばスライド分析ツール１０１のスライドマッチングモジュール１３７）は、ステップ５５４の埋め込み集合に対して、ステップ５０６で説明されたトレーニング済み機械学習システムを実行し得る。トレーニング済み機械学習システムに埋め込み集合を入力することにより、システムは、入力された埋め込みのうちのいずれかが非マッチングスライドに対応するかどうかを判定し得る。例えば、システムは、すべてのスライドがマッチングするか否かを示すバイナリ出力を提供し得る。

【0097】

ステップ２５６及びステップ４５８と同様に、ステップ５５８にて、システムは、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうか（例えば距離が閾値未満であるかどうか）を示す出力を受信し得る。

【0098】

ステップ２５８及びステップ４６０と同様に、ステップ５６０にて、任意で、システムは、特定の患者に属さない可能性があるあらゆるスライドに、フラグを立て得る。これには、システムが、マッチングしないすべてのスライドを表示すること及び／または出力することが含まれ得る。これにより、フラグ付けに基づいて、適切なスライドが挿入されたかどうかを確認するための第２の手動レビューが可能となり得る。
図６は、本明細書の１つ以上の例示的な実施形態による、画像処理（例えば画像マッチング）を行うための方法を示すフローチャートである。フローチャート６００は、ステップ６０２～６０８でさらに詳しく説明されるように、トレーニング済み機械学習モジュールを利用するステップを示す。
ステップ６０２にて、システム（例えばマッチング画像取込モジュール１３６）は、患者の医療サンプルに関連付けられた複数の電子医用画像を受信し得る。
ステップ６０４にて、システム（例えばスライドマッチングモジュール１３７）は、複数の電子医用画像をトレーニング済み機械学習システムに供給し得、トレーニング済み機械学習システムは、複数の電子医用画像のそれぞれを相互に比較して、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを判定するようにトレーニングされている。
ステップ６０６にて、システム（例えばスライドマッチングモジュール１３７）は、トレーニング済み機械学習システムから、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を受信し得る。

【0099】

ステップ６０８にて、システム（例えば出力インターフェース１３８）は、電子医用画像の各ペアが所定の類似度閾値内でマッチングするかどうかを示す出力を、出力及び／または格納し得る。

【0100】

本明細書で説明されるシステム及び方法の一実施形態では、システムは、ラボラトリ情報システムエラーを自動的に識別することが可能であり得る。システムがトレーニングされた後、特定の患者に関連付けられたすべてのスライドに対して、システムが実行され得る。システムが、いずれのスライドもマッチングせず、患者に対応しないと判定した場合、技術者は、エラーが起こっていないことを確認するために、手動レビューを行うフラグを立て得る。

【0101】

本明細書で説明されるシステム及び方法の別の実施形態では、システムは、挿入されたメディカルスライドを、患者または個人の過去データと比較することが可能であり得る。患者が、疾患対処中に医療検体を複数回採取されること（例えば医療検体を初診時に採取され、６か月経過診察時に再び採取されること）は、一般的であり得る。起こり得る問題は、医療検体または医療検体のＷＳＩが、別個の患者に関するものとして、各診察中に記録され得ることである。これは、患者が元々ある病院で診察され、その後、別の病院で診察された場合に起こり得る。システムのこの実施形態は、記録エラーまたは患者データが別個のデータベースに格納されているにもかかわらず、経時的に患者のＷＳＩを検証しマッチングするために使用され得る。個人のＷＳＩがマッチングすることを検証するために、トレーニング済み機械学習システムに、患者からのスライド画像が、同一の個人であり得る過去の患者（例えば同じ生年月日または非常に類似した名前を有する患者）からのスライド画像と共に、供給され得る。これらの患者が同じ患者であることを機械学習システムが示す場合、スライドを手動レビューして、スライドが同一の患者に対応するか否かが判定され得る。

【0102】

図７に示されるように、デバイス７００は、中央処理装置（ＣＰＵ）７２０を含み得る。ＣＰＵ７２０は、例えば任意の種類の専用マイクロプロセッサデバイスまたは汎用マイクロプロセッサデバイスを含む、任意の種類のプロセッサデバイスであり得る。当業者には認識されるように、ＣＰＵ７２０はまた、単独で作動するマルチコア／マルチプロセッサシステムにおけるシングルプロセッサ、またはクラスタもしくはサーバファームで作動するコンピューティングデバイスのクラスタにおけるシングルプロセッサであり得る。ＣＰＵ７２０は、例えばバス、メッセージキュー、ネットワーク、またはマルチコアメッセージ受渡しスキームといったデータ通信インフラストラクチャ７１０に接続され得る。

【0103】

デバイス７００はまた、例えばランダムアクセスメモリ（ＲＡＭ）といったメインメモリ７４０を含み得、二次メモリ７３０も含み得る。例えば読み取り専用メモリ（ＲＯＭ）といった二次メモリ７３０は、例えばハードディスクドライブまたはリムーバブルストレージドライブであり得る。このようなリムーバブルストレージドライブには、例えばフロッピディスクドライブ、磁気テープドライブ、光ディスクドライブ、またはフラッシュメモリなどが含まれ得る。この実施例におけるリムーバブルストレージドライブは、周知の手法でリムーバブルストレージユニットに対して読み出し及び／または書き込みを行う。リムーバブルストレージには、リムーバブルストレージドライブにより読み出し及び書き込みが行われるフロッピディスク、磁気テープ、光ディスクなどが含まれ得る。当業者には認識されるように、このようなリムーバブルストレージユニットは通常、コンピュータソフトウェア及び／またはデータを格納したコンピュータ使用可能記憶媒体を含む。

【0104】

代替的な実施態様では、二次メモリ７３０は、コンピュータプログラムまたは他の命令がデバイス７００にロードされることを可能にする同様の手段を含み得る。このような手段の例として、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに含まれるものなど）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）及び関連ソケット、ならびにリムーバブルストレージユニットからデバイス７００にソフトウェア及びデータが転送されることを可能にする他のリムーバブルストレージユニット及びインターフェースが挙げられ得る。

【0105】

デバイス７００はまた、通信インターフェース（「ＣＯＭ」）７６０を含み得る。通信インターフェース７６０は、デバイス７００と外部デバイスとの間でソフトウェア及びデータが転送されることを可能にする。通信インターフェース７６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カードなど）、通信ポート、またはＰＣＭＣＩＡスロット及びカードなどを含み得る。通信インターフェース７６０を介して転送されるソフトウェア及びデータは、信号の形態であり得、これは、通信インターフェース７６０により受信可能な電子信号、電磁信号、光信号、または他の信号であり得る。これらの信号は、デバイス７００の通信経路を介して通信インターフェース７６０に提供され得、デバイス７００の通信経路は、例えばワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装され得る。

【0106】

このような装置のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者はこれら十分に精通していると推定される。デバイス７００は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力デバイスと接続するための入出力ポート７５０も含み得る。当然のことながら、処理負荷を分散させるために、様々なサーバ機能が多数の同様のプラットフォームにおいて分散方式で実施され得る。あるいは、サーバは、１つのコンピュータハードウェアプラットフォームの好適なプログラミングにより実施され得る。

【0107】

この開示全体を通して、コンポーネントまたはモジュールへの言及は通常、機能または関連機能グループを実行するために論理的にまとめることができるアイテムを指す。同様の参照番号は通常、同一または類似のコンポーネントを指すことが意図される。コンポーネント及びモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせで、実装され得る。

【0108】

前述のツール、モジュール、及び機能は、１つ以上のプロセッサにより実行され得る。「記憶」型媒体は、コンピュータもしくはプロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、及びディスクドライブなどの有形メモリの関連モジュールのうちのいずれかまたはすべてを含み得、これらは、ソフトウェアプログラミングのためにいつでも非一時的ストレージを提供し得る。

【0109】

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを介して、通信され得る。例えば、通信により、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサに、ソフトウェアをロードすることが可能となり得る。本明細書で使用されるコンピュータ「可読媒体」またはマシン「可読媒体」などの用語は、非一時的有形「記憶」媒体に限定されない限り、プロセッサに命令を与えて実行させることに関与する任意の媒体を指す。

【0110】

前述の一般的な説明は、例示及び解説に過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書で開示される本発明の明細及び実践を考慮すれば、当業者には明らかであろう。明細及び実施例は、単なる例示とみなされることが意図される。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【国際調査報告】