特表 2024-536847 デジタル病理画像検討のために電子画像を処理して構造及びアーチファクトを選択的に隠蔽するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-08

(54)【発明の名称】デジタル病理画像検討のために電子画像を処理して構造及びアーチファクトを選択的に隠蔽するシステム及び方法

(51)【国際特許分類】

   G06T 5/77 20240101AFI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

   G06T 5/60 20240101ALI20241001BHJP

   G06T 7/11 20170101ALI20241001BHJP

   G06T 1/00 20060101ALI20241001BHJP

   G16H 30/00 20180101ALI20241001BHJP

【ＦＩ】

G06T5/77

G06T7/00 350B

G06T5/60

G06T7/11

G06T7/00 612

G06T1/00 290Z

G16H30/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024518647

(86)(22)【出願日】2022-09-23

(85)【翻訳文提出日】2024-04-03

(86)【国際出願番号】 US2022076968

(87)【国際公開番号】W WO2023049863

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】63/261,706

(32)【優先日】2021-09-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518307592

【氏名又は名称】ペイジ．エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】アレミ， ナヴィド

(72)【発明者】

【氏名】カナン， クリストファー

【テーマコード（参考）】

5B057

5L096

5L099

【Ｆターム（参考）】

5B057AA07

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE08

5B057DA03

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC13

5B057DC30

5B057DC40

5L096AA02

5L096AA06

5L096BA06

5L096CA02

5L096DA01

5L096DA02

5L096FA02

5L096FA23

5L096FA24

5L096FA33

5L096GA02

5L096GA51

5L096HA11

5L096KA04

5L099AA26

(57)【要約】

デジタル病理画像を処理するコンピュータにより実施される方法であって、方法は、少なくとも１つの病理標本の複数のデジタル病理画像を受信することを含み、病理標本は、患者と関連付けられる。方法は、機械学習システムを使用して、デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することを更に含み得る。アーチファクトまたは対象のオブジェクトが存在すると機械学習システムが決定すると、システムは、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域を決定し得る。アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域をシステムが決定すると、システムは、領域をインペイントまたは抑制するために機械学習システムを使用し得、インペイントまたは抑制されたアーチファクトまたは対象のオブジェクトを有するデジタル病理画像を出力し得る。
【選択図】図９

【特許請求の範囲】

【請求項1】

デジタル病理画像を処理するコンピュータにより実施される方法であって、
少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、前記病理標本は、患者と関連付けられる、前記受信することと、
機械学習システムを使用して、前記デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、
アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の１つ以上の領域を決定することと、
アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の前記領域を決定すると、前記領域をインペイントまたは抑制するために機械学習システムを使用することと、
インペイントまたは抑制された前記アーチファクトまたは前記対象のオブジェクトを有する前記デジタル病理画像を出力することと、
を含む、前記方法。

【請求項2】

アーチファクト及び対象のオブジェクトが存在するかどうかを決定するために使用される前記機械学習システムは、アーチファクトに依存しない学習技術を使用する、請求項１に記載の方法。

【請求項3】

前記アーチファクトに依存しない学習技術は、分類に基づく学習技術を適用することを含む、請求項２に記載の方法。

【請求項4】

前記アーチファクトに依存しない学習技術は、セグメント化に基づく学習技術を適用することを含む、請求項２に記載の方法。

【請求項5】

アーチファクト及びオブジェクトが存在するかどうかを決定するために使用される前記機械学習システムは、アーチファクトに特有の学習技術を使用する、請求項１に記載の方法。

【請求項6】

１人以上のユーザは、前記機械学習システムが探索及び除去する１つ以上のアーチファクトタイプを選択し得る、請求項５に記載の方法。

【請求項7】

前記アーチファクトに特有の技術を使用する前記機械学習システムは、１つ以上のアーチファクトの形状に基づいた学習技術を適用する、請求項５に記載の方法。

【請求項8】

前記アーチファクトに特有のアプローチを使用する前記機械学習システムは、１つ以上のアーチファクトの外観に基づいた学習技術を適用する、請求項５に記載の方法。

【請求項9】

前記デジタル病理画像上の１つ以上のアーチファクトの外観に基づいた前記アーチファクトに特有のアプローチは、前記複数のデジタル病理画像内のぼやけを検出するために使用され得る、請求項８に記載の方法。

【請求項10】

電子医療画像を処理するシステムであって、
命令を記憶する少なくとも１つのメモリと、
オペレーションを実行するように命令を実行するように構成された少なくとも１つのプロセッサと、を備え、前記オペレーションは、
少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、前記病理標本は、患者と関連付けられる、前記受信することと、
機械学習システムを使用して、前記デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、
アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の１つ以上の領域を決定することと、
アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の前記領域を決定すると、前記領域をインペイントまたは抑制するために機械学習システムを使用することと、
インペイントまたは抑制された前記アーチファクトまたは前記対象のオブジェクトを有する前記デジタル病理画像を出力することと、
を含む、前記システム。

【請求項11】

アーチファクト及び対象のオブジェクトが存在するかどうかを決定するために使用される前記機械学習システムは、アーチファクトに依存しない学習技術を使用する、請求項１０に記載のシステム。

【請求項12】

前記アーチファクトに依存しない学習技術は、分類に基づく学習技術を適用することを含む、請求項１１に記載のシステム。

【請求項13】

前記アーチファクトに依存しない学習技術は、セグメント化に基づく学習技術を適用することを含む、請求項１１に記載のシステム。

【請求項14】

アーチファクト及びオブジェクトが存在するかどうかを決定するために使用される前記機械学習システムは、アーチファクトに特有の学習技術を使用する、請求項１０に記載のシステム。

【請求項15】

１人以上のユーザは、前記機械学習システムが探索及び除去する１つ以上のアーチファクトタイプを選択し得る、請求項１４に記載のシステム。

【請求項16】

前記アーチファクトに特有の技術を使用する前記機械学習システムは、１つ以上のアーチファクトの形状に基づいた学習技術を適用する、請求項１４に記載のシステム。

【請求項17】

前記アーチファクトに特有のアプローチを使用する前記機械学習システムは、１つ以上のアーチファクトの外観に基づいた学習技術を適用する、請求項１４に記載のシステム。

【請求項18】

前記デジタル病理画像上の１つ以上のアーチファクトの外観に基づいた前記アーチファクトに特有のアプローチは、前記複数のデジタル病理画像内のぼやけを検出するために使用され得る、請求項１７に記載のシステム。

【請求項19】

プロセッサによって実行されるとき、電子デジタル医療画像を処理するオペレーションを実行する命令を記憶する非一時的コンピュータ可読媒体であって、前記オペレーションは、
少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、前記病理標本は、患者と関連付けられる、前記受信することと、
機械学習システムを使用して、前記デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、
アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の１つ以上の領域を決定することと、
アーチファクトまたは対象のオブジェクトを包含する、前記デジタル病理画像上の前記領域を決定すると、前記領域をインペイントまたは抑制するために機械学習システムを使用することと、
インペイントまたは抑制された前記アーチファクトまたは前記対象のオブジェクトを有する前記デジタル病理画像を出力することと、
を含む、前記コンピュータ可読媒体。

【請求項20】

アーチファクト及び対象のオブジェクトが存在するかどうかを決定するために使用される前記機械学習システムは、アーチファクトに依存しない学習技術を使用する、請求項１９に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、２０２１年９月２７日に出願された米国仮特許出願第６３／２６１，７０６号に対する優先権を主張するものであり、参照により、その全体が本明細書に組み込まれる。

【0002】

本開示の様々な実施形態は、概して画像処理方法に関する。より具体的には、本開示の特定の実施形態は、デジタル検討の間にアーチファクトを選択的に隠蔽するシステム及び方法に関する。

【背景技術】

【0003】

人間及び動物の病理では、顕微鏡による組織の視覚的検査は、例えば、がんを診断するために、または創薬において（毒性を評価する際）、診断薬に不可欠であり得る。現在の病理技術により、組織サンプルは、複数回の調合ステップを受け得、その結果、異なる組織構造は、人間の目によって視覚的に区別され得る。それらのステップは、（ｉ）フィクセーションを使用して組織を維持すること、（ｉｉ）パラフィンブロック内に組織を包埋すること、（ｉｉｉ）薄片（例えば、３～５マイクロメートルまたはμｍ）の中にパラフィンブロックを切断すること、（ｉｖ）ガラススライド上に片を取り付けること、及び（ｖ）重要な成分または構造をハイライトするために取り付けられた組織片を染色すること、から成り得る。染色及び染料の使用により、組織学は、病理医が、組織構造及び／または組織、細胞内の化学的要素、並びに微生物までをも視覚化することを可能にする。しかしながら、スライド上の及び／またはスライドの画像内に現れる一部の構造（例えば、髪の毛、インク、気泡など）は、視覚化経験により干渉し得る。

【0004】

本明細書で提示されている背景の記述は、一般に、本開示のコンテキストを提示する目的である。本明細書に別段の指示がない限り、このセクションに記載の資料は、本願の特許請求の範囲に対する従来技術ではなく、またこのセクションに含めることによって従来技術または従来技術の提案であると認められるわけではない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の或る態様により、少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、病理標本は、患者と関連付けられる、受信することと、機械学習システムを使用して、デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の１つ以上の領域を決定することと、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域を決定すると、領域をインペイントまたは抑制するために機械学習システムを使用することと、インペイントまたは抑制されたアーチファクトまたは対象のオブジェクトを有するデジタル病理画像を出力することと、を含む電子医療画像を処理するシステム及び方法が開示される。

【0006】

電子医療画像を処理するシステムであって、命令を記憶する少なくとも１つのメモリと、オペレーションを実行するように命令を実行するように構成された少なくとも１つのプロセッサと、を含み、オペレーションは、少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、病理標本は、患者と関連付けられる、受信することと、機械学習システムを使用して、デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の１つ以上の領域を決定することと、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域を決定すると、領域をインペイントまたは抑制するために機械学習システムを使用することと、インペイントまたは抑制されたアーチファクトまたは対象のオブジェクトを有するデジタル病理画像を出力することと、を含むシステム。

【0007】

プロセッサによって実行されるとき、電子デジタル医療画像を処理するオペレーションを実行する命令を記憶する非一時的コンピュータ可読媒体であって、オペレーションは、少なくとも１つの病理標本の複数のデジタル病理画像を受信することであって、病理標本は、患者と関連付けられる、受信することと、機械学習システムを使用して、デジタル病理画像上にアーチファクトまたは対象のオブジェクトが存在するかどうかを決定することと、アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の１つ以上の領域を決定することと、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域を決定すると、領域をインペイントまたは抑制するために機械学習システムを使用することと、インペイントまたは抑制されたアーチファクトまたは対象のオブジェクトを有するデジタル病理画像を出力することと、を含む。

【図面の簡単な説明】

【0008】

添付の図面は、この明細書の一部に組み込まれ、これを構成し、種々の例示の実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。

【0009】

【図1A】本明細書に提示される技術による、画像を処理する、例えば、組織観察のための、システム及びネットワークの例示的なブロック図を示す。

【0010】

【図1B】本明細書に提示される技術による、組織観察プラットフォームの例示的なブロック図を示す。

【0011】

【図1C】本明細書に提示される技術による、スライド分析ツールの例示的なブロック図を示す。

【0012】

【図2】本明細書に提示される技術による、デジタル画像の構造及びアーチファクトを隠蔽する工程を示す。

【0013】

【図3A】本明細書に提示される技術による、デジタル画像内のアーチファクトを識別するために分類に基づくアプローチを使用するアルゴリズムを訓練する方法の例を示すフローチャートである。

【0014】

【図3B】本明細書に提示される技術による、デジタル画像内のアーチファクトを識別するために分類に基づくアプローチを使用するアルゴリズムを使用する方法の例を示すフローチャートである。

【0015】

【図4A】本明細書に提示される技術による、デジタル画像内のアーチファクトを識別するためにセグメント化に基づくアプローチを使用するアルゴリズムを訓練する方法の例を示すフローチャートである。

【0016】

【図4B】本明細書に提示される技術による、デジタル画像内のアーチファクトを識別するためにセグメント化に基づくアプローチを使用するアルゴリズムを使用する方法の例を示すフローチャートである。

【0017】

【図5A】本明細書に提示される技術による、デジタル画像内の対象の構造を識別するようにシステムを訓練する方法の例を示すフローチャートである。

【0018】

【図5B】本明細書に提示される技術による、デジタル画像内の対象の構造を識別するためにシステムを使用する方法の例を示すフローチャートである。

【0019】

【図6】訓練のためのアーチファクト除去を選択するシステムの実施形態の例を示すフローチャートである。

【0020】

【図7】視覚化のためのアーチファクト除去を選択するシステムの実施形態の例を示すフローチャートである。

【0021】

【図8】視覚化のための無関係構造の除去を選択するシステムの実施形態の例を示すフローチャートである。

【0022】

【図9】本明細書における１つ以上の例示的な実施形態による、画像を処理する方法の例を示すフローチャートである。

【0023】

【図10】１つ以上の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。

【発明を実施するための形態】

【0024】

これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を示すために、同じ参照符号が使用される。

【0025】

本明細書に開示されるシステム、デバイス、及び方法は、例として、図面を参照して詳細に説明される。本明細書に記載の例は、単なる例であり、本明細書に記載の装置、デバイス、システム、及び方法の説明を補助するために提示される。図面に示されるまたは以下に説明される特徴または構成要素のいずれも、必須のものとして具体的に指定されていない限り、これらのデバイス、システム、または方法のいずれかの任意の特定の実装形態に必須のものとして解釈されるべきではない。

【0026】

また、記載されている任意の方法に関して、方法が流れ図に関連して記載されるかどうかに関わらず、方法の実行において実行されるステップのいずれかの明示的または暗黙的な順序は、特に明記されない限り、または文脈により要求されていない限り、それらのステップが提示された順序で実行されなければならないことを暗示しているのではなく、むしろ、異なる順序で、または並行して実行され得ることを理解されたい。

【0027】

本明細書で使用される場合、「例示的な」という用語は、「理想的な」ではなく、「例」の意味で使用される。更に、本明細書における「ａ」及び「ａｎ」という用語は、量の制限を意味するのではなく、むしろ言及された項目のうちの１つ以上が存在していることを意味する。

【0028】

本明細書に提示される技術は、コンピュータビジョン及び／または機械学習を使用して、デジタル画像内のアーチファクトまたは対象のオブジェクトの位置を決定し、領域の無関係画像をインペイントまたは抑制することを説明する。

【0029】

アーチファクトという用語は、外来の因子または外部ソースの結果として生じた、調製された顕微鏡スライド上の人工的構造または組織改編を指し得る。アーチファクトは、診断対象のオブジェクトではないオブジェクトを指し得る。アーチファクトは、組織の調製の間に生じ得、またはデジタル画像のスキャニングの間に生じ得る。例えば、アーチファクトは、外科的除去、フィクセーション、組織処理、包埋、並びにミクロトミ、染色、及び取り付け手順の間に発生し得る。プレフィクセーションアーチファクト、フィクセーションアーチファクト、骨組織に関連するアーチファクト、組織－処理アーチファクト、ミクロトミに関連するアーチファクト、フロテーション及び取り付けに関連するアーチファクト、染色アーチファクト、並びに取り付けアーチファクトなど、多くのタイプのアーチファクトが存在し得る。アーチファクトの例は、インク、髪の毛、ぼやけ、走査線、または気泡を含み得る。

【0030】

対象のオブジェクトは、病理医が選択することを望み得る医療デジタルスライドのオブジェクト及び／またはエリアを指し得る。対象のオブジェクトはまた、特定のタイプのアーチファクト（例えば、気泡）、全てのアーチファクト、組織、または特定の対象の組織構造（例えば、がん、神経など）を指し得る。

【0031】

インペイントは、有意の構造を有するデジタル画像内の破損した、損傷した、または望ましくない画素を置き換える工程を指し得る。有意の構造は、アーチファクトが存在しなく、有意の構造の観察を妨害しなかった場合、デジタル画像上に存在し得た構造を指し得る。インペイントすることは、デジタル画像からのアーチファクトの除去を結果としてもたらし得る。

【0032】

抑制は、対象の領域でないエリアを選択し、次いで、それらの領域のアルファ値またはアルファチャネルが代替レベルに設定され得るアルファブレンディングまたはアルファ合成などを通じて、それらの領域を視認不能または部分的に透過にする工程を指し得る。これは、以下で更に詳細に説明されるような抑制マスクの生成を含み得る。例えば、抑制技術は、１つ以上のデジタル画像内の特定の検出されたアーチファクトに対して利用され得、または１つ以上のデジタル画像の背景に適用され得る。

【0033】

本明細書に提示される技術は、アーチファクトまたは対象のオブジェクトを包含するデジタル医療画像の領域を抑制またはインペイントするために、医療画像を使用すると共に、画像処理技術及び／または機械学習を使用することに関し得る。

【0034】

本明細書で使用される「機械学習モデル」は、一般に、入力を受け取り、重み、バイアス、分類、または分析のうちの１つ以上を入力に適用して出力を生成するように構成された命令、データ、及び／またはモデルを包含する。出力は、例えば、入力の分類、入力に基づく分析、入力に関連する設計、工程、予測、もしくは推奨、または任意の他の適切なタイプの出力を含み得る。機械学習モデルは、一般に、モデルの１つ以上の態様、例えば、重み、偏り、分類またはクラスタを形成するための基準などを確立、調整、または修正するために、モデルに供給される訓練データ、例えば、経験データ及び／または入力データの標本を使用して訓練される。深層学習技術も採用され得る。機械学習モデルの態様は、線形的に、並列に、ネットワーク（例えば、ニューラルネットワーク）を介して、または任意の適切な構成を介して、入力に対して動作し得る。

【0035】

機械学習モデルの実行は、線形回帰、論理回帰、ランダムフォレスト、勾配ブースティングマシン（ＧＢＭ）、ディープラーニング、及び／またはディープニューラルネットワークなどの１つまたは複数の機械学習技術の展開を含み得る。教師あり及び／または教師なし訓練を用いてもよい。例えば、教師あり学習は、訓練データ及び訓練データに対応するラベルを、例えばグランドトゥルースとして与えることを含み得る。教師なし手法は、クラスタリング、分類などを含み得る。ｋ平均クラスタリングまたはｋ近傍法も使用され得る。これは教師ありでも教師なしでもよい。ｋ近傍法と教師なしクラスタ技法の組み合わせも使用できる。任意の適切なタイプの訓練、例えば、確率的、勾配強化、ランダムシード、再帰的、エポックまたはバッチベースなどを使用することができる。

【0036】

図１Ａは、本開示の例示的な実施形態による、機械学習を使用して、画像を処理してぼやけの低い画像を生成するシステム及びネットワークのブロック図を示す。

【0037】

特に、図１Ａは、病院、研究室、及び／または医院などのサーバに接続され得る電子ネットワーク１２０を示す。例えば、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５などは、それぞれ、１つ以上のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク１２０に接続され得る。本開示の例示的な実施形態によれば、電子ネットワーク１２０はまた、本開示の例示的な実施形態にしたがって、デジタル病理画像（複数可）に関する標本特性または画像特性情報を判定し、デジタル病理画像（複数可）を分類するために機械学習を使用するためのスライド分析ツール２０１を含む、組織観察プラットフォーム１００を実装するように構成される処理デバイスを含み得る、サーバシステム１１０に接続され得る。

【0038】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５は、１人または複数の患者の細胞診標本（複数可）の画像、組織病理標本（複数可）の画像、細胞診標本（複数可）のスライド（複数可）の画像、組織病理標本（複数可）のスライド（複数可）のデジタル化された画像、またはそれらの任意の組み合わせを作成またはさもなければ取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５はまた、年齢、病歴、がん治療歴、家族歴、過去の生検または細胞診情報などの患者固有の情報の任意の組み合わせを取得し得る。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５は、電子ネットワーク１２０を介して、デジタル化されたスライドの画像及び／または患者固有の情報を、サーバシステム１１０に送信することができる。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５のうちの少なくとも１つから受信された画像及びデータを記憶するための１つ以上の記憶デバイス１０９を含み得る。サーバシステム１１０はまた、１つ以上の記憶デバイス１０９に記憶された画像及びデータを処理するための処理デバイスを含むことができる。サーバシステム１１０は、１つ以上の機械学習ツールまたは機能を更に含み得る。例えば、処理デバイスは、一実施形態に係る、組織観察プラットフォーム１００用の機械学習ツールを含み得る。代替的にまたは追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で実行され得る。

【0039】

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５は、スライドの画像を検討するために病理医によって使用されるシステムを指す。病院の設定では、組織タイプ情報は、検査室情報システム１２５のうちの１つに記憶され得る。

【0040】

図１Ｂは、機械学習を用いて、デジタル病理画像（複数可）に関する画像特性情報の標本特性を判定するための組織観察プラットフォーム１００の例示的なブロック図を示す。例えば、組織観察プラットフォーム１００は、スライド分析ツール１０１と、データ取込ツール１０２と、スライド取込ツール１０３と、スライドスキャナ１０４と、スライドマネージャ１０５と、記憶装置１０６と、観察アプリケーションツール１０８とを含むことができる。

【0041】

スライド分析ツール１０１は、以下に説明するように、例示的な実施形態にしたがって、組織標本に関連するデジタル画像を処理し、機械学習を使用してスライドを分析するための工程及びシステムを指す。

【0042】

データ取込ツール１０２は、例示的な実施形態による、デジタル病理画像を分類し処理するために使用される様々なツール、モジュール、構成要素、及びデバイスへのデジタル病理画像の転送を容易にするための工程及びシステムを指す。

【0043】

スライド取込ツール１０３は、例示的な実施形態にしたがって、病理画像をスキャンし、それらをデジタル形式に変換するための工程及びシステムを指す。スライドは、スライドスキャナ１０４でスキャンされ得、スライドマネージャ１０５は、スライドの画像をデジタル化された病理画像に処理し、デジタル化された画像を記憶装置１０６に記憶し得る。

【0044】

観察アプリケーションツール１０８は、例示的な実施形態にしたがって、デジタル病理画像（複数可）に関する標本特性情報または画像特性情報をユーザ（例えば、病理医）に提供するための工程及びシステムを指す。情報は、様々な出力インタフェース（例えば、画面、モニタ、記憶デバイス、及び／またはウェブブラウザなど）を介して提供され得る。

【0045】

スライド分析ツール１０１及びその構成要素の各々は、電子ネットワーク１２０を介してサーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５に、デジタル化されたスライド画像及び／または患者情報を、送信及び／または受信することができる。更に、サーバシステム１１０は、スライド分析ツール１０１、データ取込ツール１０２、スライド取込ツール１０３、スライドスキャナ１０４、スライドマネージャ１０５、及び観察アプリケーションツール１０８のうちの少なくとも１つから受け取った画像及びデータを記憶するための１つまたは複数の記憶デバイス１０９を含み得る。サーバシステム１１０はまた、記憶デバイスに記憶された画像及びデータを処理するための処理デバイスを含むことができる。サーバシステム１１０は、例えば処理デバイスによる１つ以上の機械学習ツールまたは機能を更に含み得る。代替的にまたは追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で実行され得る。

【0046】

上記のデバイス、ツール及びモジュールのいずれも、１つまたは複数のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットまたはクラウドサービスプロバイダのような電子ネットワーク１２０に接続され得るデバイスに配置され得る。

【0047】

図１Ｃは、本開示の例示的な実施形態による、スライド分析ツール１０１の例示的なブロック図を示す。スライド分析ツールは、訓練画像プラットフォーム１３１及び／または推論プラットフォーム１３５を含み得る。

【0048】

訓練画像プラットフォーム１３１は、一実施形態によれば、機械学習システムを訓練してデジタル病理画像を効果的に分析及び分類するために使用される訓練画像を作成または受信することができる。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５のいずれか１つまたは任意の組み合わせから受信され得る。訓練に使用される画像は、現実のソース（例えば、ヒト、動物など）に由来し得るか、または合成のソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデルなど）に由来し得る。デジタル病理画像の例は、（ａ）Ｈ＆Ｅ、ヘマトキシリン単独、ＩＨＣ、分子病理などのような（これらに限定されない）様々な染色で染色されたデジタル化スライド、及び／または（ｂ）ｍｉｃｒｏ－ＣＴのような３Ｄ撮像デバイスからのデジタル化画像標本を含み得る。

【0049】

訓練画像取込モジュール１３２は、人間及び／または動物の組織の画像及びグラフィックでレンダリングされた画像の一方または両方に対応する１つまたは複数の訓練画像を含むデータセットを作成しまたは受信し得る。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、及び／または検査室情報システム１２５の任意の１つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶デバイスに保持され得る。訓練スライドモジュール１３３は、画像及び対応する情報を含む訓練データを取込み得る。例えば、訓練スライドモジュール１３３の訓練データは、人間または動物の１つ以上の画像（例えば、全スライド画像またはＷＳＩ）を受信することを含み得る。訓練スライドモジュール１３３はまた、訓練のために使用されるデジタル画像に対応する特定のアーチファクトのタイプ及び位置に関連する訓練データを受信し得る。訓練スライドモジュール１３３は、ＷＳＩの個々のタイルの更なる分析を実行するように、タイルの中に入力されたＷＳＩを分解する能力を含み得る。訓練スライドモジュール１３３は、本明細書で説明される機械学習技術のための訓練をもたらすことを支援するために、例えば、畳み込みニューラルネットワーク（「ＣＮＮ」）、ＣｏｏｒｄＣｏｎｖ、カプセルネットワーク、ランダムフォレストサポートベクトルマシン、適切な損失関数により直接訓練されたトランスフォーマを利用し得る。スライド背景モジュール１３４は、組織の画像を分析し得、デジタル病理画像内の背景を決定し得る。デジタル病理スライド内の背景を識別して、組織セグメントが見落とされないことを保証するために有用であり得る。

【0050】

一実施形態によれば、推論プラットフォーム１３５は、取込モジュール１３６、推論モジュール１３７、及び出力インタフェース１３８を含み得る。推論プラットフォーム１３５は、複数の電子画像／追加の情報を受信し得、対象の構造の１つ以上のアーチファクト、欠陥、またはギャップを識別し、次いで、識別された領域を抑制またはインペイントするために、受信された複数の電子画像に１つ以上の機械学習モデルを適用し得る。例えば、複数の電子画像または追加の情報は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究室サーバ１２４、及び／または検査室情報システム１２５のいずれか１つまたは任意の組み合わせから受信され得る。取込モジュール１３６は、１つ以上の患者／個人に対応するデジタル画像（例えば、全スライド画像）を受信し得る。更に、デジタル画像は、動物に対応し得る。更に、取込モジュールは、システムのユーザによって入力された、探索または識別するための１つ以上の特定のアーチファクトを識別する情報を受信し得る。推論モジュール１３７は、アーチファクト及び／または対象のエリアを識別するために、１つ以上のデジタル画像に１つ以上の機械学習モデルを適用し得る。推論モジュール１３７は更に、１つ以上の識別されたアーチファクト及び／または対象のエリアに対する抑制及び／またはインペイントを実行するために、１つ以上のデジタル画像に１つ以上の機械学習モデルを適用し得る。

【0051】

出力インタフェース１３８は、入力された画像（例えば、スクリーン、モニタ、記憶デバイス、ウェブブラウザなどへの）を更新するために使用され得る。出力インタフェース１３８は、画像に適用された抑制及び／またはインペイントが前にもたらされたデジタル画像を出力する能力を有し得る。デジタル画像上に位置するアーチファクトは、特に、出力されたデジタル画像に対してインペイントまたは抑制され得る。

【0052】

本開示のシステム及び方法は、病理医が必要性、使用、及び／または好みに従って画像を調節することを支援するために、機械学習及び画像処理ツールを使用し得る。本開示のシステム及び方法は、入力として１つ以上の全スライド画像（ＷＳＩ）または画像領域を取り得、病理医が必要性、使用、及び／または好みに従って画像の外観を調節するためのいくつかのツールを提供し得る。本開示の態様は、病理医がルーチンワークフローにおいてデジタル画像を観察するために使用する視覚化ソフトウェアの一部として使用され得る。

【0053】

組織調製は、典型的には、手動で行われ得、よって、デジタルスキャナによってスキャンされる組織の画像に大きな変動性を導入し得る。１つの組織調製ステップは、組織を染色することによって行われ得る、画像への視覚的コントラストを生じさせることであり得る。この工程の間、異なる細胞構造に境界を付ける、化学物質が組織内の異なる化合物に添付され得る。異なる染色は、異なる構造をハイライトし得、それらの解釈及び／または使用は、異なり得る。病気及びその根底となる振る舞いに応じて、１つのタイプの染色が、その他よりも病理医にとって好ましくなり得またはより望ましくなり得る。

【0054】

それらの染色を使用するための標準的なプロトコルが存在するが、この工程は、欠点を有し得る。プロトコルは、機関によって異なり、組織の過度な染色または染色不足が発生し得ることが多く、一部の情報を曖昧にし得る。その上、組織、例えば、ヘマトキシリン及びエオシン（Ｈ＆Ｅ）の両方により染色される組織内のいくつかの対象の構造をハイライトするために、複数の染色が一緒に使用され得る。

【0055】

病理医が慣習的な顕微鏡によりスライドを観察するとき、それらは、例えば、明度を高め、コントラストを調節し、特定の染色の量を調節するなどによって、画像の特性を改編することが可能でないことがある。しかし、画像処理及び人工知能（ＡＩ）－対応ツールは、デジタルＷＳＩのコンテキストにおけるそれらの調節を行うことを促進し得る。それらのツールは、アーチファクト（例えば、髪の毛、インク、気泡など）の除去など、意味に関して有意の方法において画像プロパティを病理医が調節することを可能にすることによって、病理医が、人間または動物の患者からの組織サンプルをより良好に分析することを有効にし得る。

【0056】

顕微鏡で組織サンプルを調査している病理医にとって、スライドの色の変化は障害となる場合がある。例えば、組織サンプルの１つの画像は、病理医が同日の間に観察していた他の画像とは対照的にピンクに見え得る。異なる構造を分離することが紛らわしくなり得るように、そのような分布外画像は、病理医が調査するのに困難であり得る。例えば、Ｈ&Ｅ画像内のリンパ球の主な特性は、暗い紫色であるが、一部の不良に染色された画像では、リンパ球は、他のセルと同様の色を有し得る。色調節のために医療画像分析ツールを適用することは、この課題を克服し得る。全体的に、より微細な詳細を視覚化すること、視野を鮮明化すること、画像の色を変化させること、及びオブジェクトを視覚化することは、現在のルーチンの病理医のワークフローでは実現可能であり得ない。

【0057】

本開示の態様は、ＷＳＩからアーチファクト及び対象のオブジェクト（例えば、特定の腺）を選択的に検出し、必要であり及び／または望まれる場合、検出された領域を再構築するために、人工知能（ＡＩ）及び画像処理技術を使用し得る。本開示の態様は、２つのステップ：１）アーチファクトまたは対象の形態学的構造の検出、及び２）関係のない画像領域の画像インペイントまたは抑制、を有する工程を提供し得る。

【0058】

図２は、本明細書に提示される技術による、デジタル画像の構造及び／またはアーチファクトを隠蔽する工程を示す。システムは、最初に、データ取込２０２を含み得る。データ取込２０２は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）の中に、１つ以上のデジタル医療画像（例えば、剖検病理標本のＷＳＩ、磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層映像（ＣＴ）、陽電子放出断層撮影（ＰＥＴ）、マンモグラムなど）を受信することを含み得る。

【0059】

ステップ２０４において、システムは、ステップ２０２の、デジタル病理画像などの受信されたデータから１つ以上のアーチファクトまたは対象のオブジェクトを検出し得る。以下で更に詳細に議論されるように、ステップ２０４は、アーチファクトに依存しないアプローチまたはアーチファクトに特有のアプローチのいずれかを使用して実行され得る。それらのアプローチは、機械学習技術を利用し得る。アーチファクトに依存しないアプローチは、セグメント化または分類技術を利用することを含み得る。アーチファクトに特有のアプローチは、例えば、（１）アーチファクトの外観もしくは形状、（２）対象のオブジェクト、または（３）アーチファクト及び／もしくは対象のオブジェクトの検出のための任意の構造を利用し得る。検出は、検出されたアーチファクトを含む各々のデジタル病理画像の領域に境界を付けるセグメント化マップを作成することを含み得る。

【0060】

ステップ２０６において、システムは、ステップ２０２の挿入された画像の１つ以上の画像のアーチファクト、対象のオブジェクト、及び／または無関係領域にインペイント及び／または抑制を適用し得る。それらは、ステップ２０４においてアーチファクト及び／または対象のオブジェクトを包含するとして識別された領域であり得る。様々なインペイントアルゴリズムは、有意の構造によりアーチファクトを包含するエリア内で充填するために利用され得る。それらの領域は、ユーザによって手動で選択され得、またはステップ２０４に基づいて自動で決定され得る。選択された領域は、インペイントアルゴリズムに入力され得る。インペイントアルゴリズムのうちの１つ以上は、それらに限定されないが、ローカルパッチ統計及びステアリングカーネル特徴、チャネル内およびチャネル間局所的分散、分数次微分及びフーリエ変換分数次微分及びフーリエ変換、Ｕｎｅｔのようなエンコーダ－デコーダアーキテクチャ、または敵対的生成ネットワーク（「ＧＡＮ」）を含み得る。代わりに、対象の領域は、以下で更に詳細に議論されるように、アーチファクト領域を視認不能または部分的に透過にするように調節された画像のアルファ値を有し得る。

【0061】

ステップ２０８において、システムは、インペイントまたは抑制が適用された１つ以上の画像を出力し得る。これは、セグメント化マップを出力することを含み得る。更に、システムは、図２のステップのいずれかをユーザが実行することを可能にする１つ以上のツールを出力する能力を有し得る。例えば、ユーザは、システムの中に画像を挿入することが可能であり得る。システムは次いで、アーチファクトまたは対象のエリアを探索する方法をユーザが決定することを可能にし得る。ユーザは更に、画像から除去するアーチファクトを選択し得る。代わりに、ユーザは、更なる分析のための対象のエリアを選択し、画像の残りを抑制させることが可能であり得る。ユーザは、それらのタスクを実行するために利用するアルゴリズム／技術を選択することも可能であり得る。

【0062】

前に言及されたように、ステップ２０４において、システムは、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために、アーチファクトに依存しないアプローチを利用し得る。システムは、２つの全体的なアプローチ：アーチファクトに依存しないアプローチ及びアーチファクトに特有のアプローチを利用し得る。アーチファクトに依存しないアプローチに関して、システムは、分類に基づくアプローチまたはセグメント化に基づくアプローチのいずれかを使用し得る。図３Ａ及び３Ｂは、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために、分類に基づくアプローチを訓練及び使用する方法を示す。図４Ａ及び４Ｂは、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために、セグメント化に基づくアプローチを訓練及び使用する方法を示す。アーチファクトに特有のアプローチに関して、システムは、以下で更に詳細に説明されるように、外観、形状、または任意の構造に基づいたアプローチのいずれかを使用し得る。更に、システムは、対象の構造を決定する能力を有し得る。図５Ａ及び５Ｂは、例えば、ＷＳＩなどのデジタル病理画像内の対象の構造を識別するために、システムを訓練及び使用する方法を示す。

【0063】

アーチファクトに依存しないアプローチは、ほぼ全てのアーチファクトを検出するために使用され得る学習アプローチを含み得る。セグメント化または分類パイプラインアプローチが使用され得る。アーチファクトに依存しないアプローチは、アーチファクトの種類またはタイプの中で（例えば、インク対髪の毛、気泡など）区別しないが、代わりに、全般「アーチファクト」カテゴリとして全てのアーチファクトを取り扱い得または分類し得る方法においてアーチファクトを探索することを伴い得る。

【0064】

図３Ａは、本明細書に提示される技術による、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために分類に基づくアプローチを使用するアルゴリズムを訓練する方法の例を示すフローチャートである。図３Ａに説明される工程及び技術は、デジタル病理画像のアーチファクトまたは対象のエリアを識別するように機械学習モデルを訓練するために使用され得る。図３Ａの方法３００は、例えば、図１Ｃに上記説明されたようなスライド分析ツール１０１の訓練画像プラットフォーム１３１によって実行され得るステップを示す。代わりに、方法は、外部システムによって実行され得る。フローチャート／方法３００は、ステップ３０２～３０６に更に詳細に説明されるような機械学習モデルを訓練する訓練ステップを示す。

【0065】

分類に基づくアーチファクト検出システムを訓練することによって、及び分類に基づくアーチファクト検出システムにより推論を行うことによって、アーチファクトを包含するデジタル病理画像の領域に境界を付けるために、分類に基づくアーチファクト検出が使用され得る。

【0066】

ステップ３０２において、システムは、例えば、ＷＳＩなどのデジタル病理画像に対してアーチファクトのデータセットを作成し得る。システムは、最初に、アーチファクトを含まない１つ以上のデジタル病理画像を受信し得る。次に、システムは、デジタル病理画像にアーチファクトを追加して訓練画像として利用するために、本明細書で説明される技術を利用し得る。このデータセットは、例えば、ポリゴン様式注釈または画素様式注釈により注釈付けられた各々のアーチファクトを有するデジタル病理画像を含み得る。ポリゴン様式注釈または画素様式注釈は、アーチファクトを表す全ての画素のセットを指し得る。訓練スライドは、インク、髪の毛、気泡、またはアーチファクトを指すものなど、１つまたは複数のアーチファクトを包含するスライドを含み得る。それらの注釈付けられたデジタル病理画像は、デジタルストレージ（例えば、クラウドストレージ、ＲＡＭ、ハードドライブなど）に受信され得る。それらのデータセットは、デジタル病理画像からアーチファクトのセットを手動でセグメント化し、ポリゴン様式注釈または画素様式注釈を記録することによって作成され得る。別の実施形態では、注釈の事前に保存された画素は、保存された画素の正確な位置を有するアーチファクトを包含しないデジタル病理画像上に配置され得る。

【0067】

次に、ステップ３０４において、システムは、セグメント化されたエリア及びアーチファクトを有さないエリアからパッチを抽出することと、メモリの中に抽出及び／またはセグメント化されたデータを保存することとを含み得る。パッチを抽出することは、例えば、Ｍ×Ｍの正方形にデジタル画像のエリアを分割することと（Ｍは整数である）、各々のエリアからパッチを抽出することとを含み得る。抽出されたパッチは、様々なサイズであり得、デジタル病理画像に依存し得る。特定のパッチは、例えば、アーチファクトを有するエリア（例えば、画素）及びアーチファクトを有さないエリアを包含し得る。

【0068】

ステップ３０６において、システムは、セグメント化されたデータに学習アプローチを適用することによって、分類に基づくアーチファクト検出システムを訓練し得る。それらの学習アプローチを適用することは、古典的な学習方法または深層モデルを含み得る。古典的な学習アプローチについて、特徴（例えば、外観に基づくまたは形状に基づく）が画像から抽出され得る。それらの特徴を分類するために、線形アプローチまたは非線形アプローチが使用され得る。それらのアプローチの一部は、例えば、サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰、ナイーブベース分類、ランダムフォレスト、ブースト分類器などを含み得る。更に、システムを訓練するために、深層モデルが使用され得る。深層モデルについて、画像タイルを分類するために、畳み込みニューラルネットワーク（ＣＮＮ）が使用され得る。例えば、Ｒｅｓｎｅｔ、Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ（ＶＧＧ）、ｓｑｕｅｅｚｅＮｅｔ、ｓｈｕｆｆｌｅＮｅｔなどが使用され得る。学習されたシステムは、各々の受信されたパッチまたはデジタル病理画像についてのスコアを出力するように訓練され得る。スコアは、アーチファクトがパッチまたはデジタル病理画像上に存在する可能性を表し得る。

【0069】

図３Ｂは、本明細書に提示される技術による、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために分類に基づくアプローチを使用するアルゴリズムを使用する方法の例を示すフローチャートである。図３Ｂの例示的な方法３５０（例えば、ステップ３５２～３６２）は、例えば、スライド分析ツール１０１の推論プラットフォーム１３５によって実行され得るステップを示す。それらのステップは、自動でまたはユーザ（例えば、医師、病理医など）からの要求に応答して実行され得る。代わりに、フローチャート３５０に説明される方法は、デバイス１０００などの画像入力を受信する能力を有し、図３Ａに説明されたニューラルネットワークを含めるまたはインポートする能力を有するいずれかのコンピュータ処理システムによって実行され得る。

【0070】

図３Ｂは、デジタル病理画像内のアーチファクトを識別するために、分類に基づくアプローチを使用することを示し得る。アーチファクトを識別することは、分類に基づくアーチファクト検出システムによる推論または決定（すなわち、「推論」または推論工程」）を行うために、図３Ａに説明された訓練された機械学習モデルを使用することを含み得る。

【0071】

最初に、ステップ３５２において、システム（例えば、取込モジュール１３６）は、入力として１つ以上のデジタル病理画像を受信し得る。デジタル病理画像は、ＷＳＩであり得、ＷＳＩは、調製された顕微鏡スライドのデジタル画像を指し得る。デジタル画像はまた、磁気共鳴イメージング（ＭＲＩ）画像、コンピュータ断層映像（ＣＴ）画像、陽電子放出断層撮影（ＰＥＴ）、またはマンモグラム画像であり得る。デジタル病理画像は次いで、電子ストレージ（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）に保存され得る。デジタル病理画像は、アーチファクトを含み得または含み得ない。

【0072】

ステップ３５４において、システムは、ステップ３５２において入力されたデジタル病理画像をパッチに最初に分割し得る。いくつかの実施例では、アーチファクトは、全スライド画像の非背景画素に対応するデジタル病理画像の特定の領域から除去されるだけであり得る。例えば、各々のデジタル病理画像は、複数のタイルから構成され得、タイルは、背景画素及び非背景画素の１つ以上を含む。一態様では、アーチファクトを識別する前に、デジタル病理画像の背景画素は、例えば、Ｏｔｓｕの方法（例えば、２つのクラス、前景及び背景に画素を分離する或るタイプの自動画像閾値処理）を使用して、またはタイルを除去することによって、除去され得る。よって、画素はデジタル病理画像からの分散が低いタイルを含む。したがって、デジタル病理画像の非背景画素は、特徴抽出のために残る。別の態様では、アーチファクトを識別する前に、デジタル病理画像は、低減した要約形式に変換され得る。低減した要約形式は、デジタル病理画像の非背景ＲＧＢ画素の集合またはデジタル病理画像の隣接した非背景パッチ（または、タイル）のセットを含み得る。したがって、デジタル病理画像の非背景画素は、アーチファクト識別のために残り得る。いくつかの例では、低減した要約形式を取得するために、デジタル病理画像は、画像タイルの集合または別個の画素のセットに分割され得る。

【0073】

ステップ３５６において、ステップ３５２からのデジタル病理画像またはステップ３５４からの非背景エリアのパッチのいずれかは、図３Ａに説明された方法によって生成された訓練済み学習モジュールに入力され得る。一実施形態では、システムを訓練するために古典的なアプローチが使用された場合（例えば、スケール不変特徴変換またはＳＩＦＴ、二次超音波場またはＳＵＲＦなど）、非背景エリアのパッチは、ステップ３０６からの機械学習モデルにフィードされ得る。別の実施形態では、ステップ３０６においてシステムを訓練するために深層モデルが使用された場合、ステップ３５２からの元の入力画像がステップ３０６からの訓練済み機械学習モデルにフィードされ得る。

【0074】

ステップ３５８において、システムは、受信された各々のパッチにスコアを割り当てるために、図３Ａにおいて訓練された機械学習システムを使用し得る。スコアは、アーチファクトが存在するかどうか（及び／または、アーチファクトが存在しないかどうか）を示し得る。スコアは、整数、有理数、割合、カテゴリ、またはいずれかの他の適切な形式であり得る。一実施形態では、スコアは、０～１の値を表し得、０は、アーチファクトが存在するとシステムが信じていないことを表し、１は、アーチファクトが存在する最高程度の確実性を表す。

【0075】

ステップ３６０において、スコアは、どのパッチがアーチファクトを有するかを決定するように閾値処理され得る。このステップにおいて、システムは、全てのパッチのスコアを検査し得、各々のパッチが閾値量を上回るかまたは下回る値を有するかどうかを決定し得る。閾値量は、事前に選択された値またはユーザにより入力された値であり得る。加えて、システムは、事前に保存された一定の閾値を有し得る。一例では、閾値を上回るスコアを有する全てのパッチは、アーチファクトを含むとしてマーク付けされ得または記録され得る。

【0076】

ステップ３６２において、各々の入力されたデジタル病理画像についてのアーチファクトのセグメント化マップが作成され得る。一例では、デジタル病理画像についてのアーチファクトのセグメント化マップを形成するように、各々のタイルについてのラベルがタイル位置と置き換えられ得る。出力されたマップは、電子ストレージ（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）に保存され得る。加えて、セグメント化マップは、１人以上のユーザに表示され得る。

【0077】

図４Ａは、本明細書に提示される技術による、例えば、ＷＳＩなどのデジタル病理画像内のアーチファクトを識別するために、セグメント化に基づくアプローチを使用するアルゴリズムを訓練する方法の例を示すフローチャートである。図４Ａに説明される工程及び技術は、デジタル病理画像のアーチファクトまたは対象のエリアを識別するように機械学習モデルを訓練するために使用され得る。図４Ａの方法４００は、例えば、図１Ｃに上記説明されたようなスライド分析ツール１０１の訓練画像プラットフォーム１３１によって実行され得るステップを示す。代わりに、方法は、外部システムによって実行され得る。フローチャート／方法４００は、ステップ４０２～４０８に更に詳細に説明されるような機械学習モデルを訓練する訓練ステップを示す。

【0078】

セグメント化に基づくアーチファクト検出システムを訓練し、セグメント化に基づくアーチファクト検出システムにより推論を行うことによって、アーチファクトを有する領域に境界を付けるために、セグメント化に基づくアーチファクト検出が使用され得る。

【0079】

ステップ４０２において、システムは、デジタル病理画像に対するアーチファクトのデータセットを作成し得る。システムは、存在するアーチファクトを有し得ない１つ以上のデジタル病理画像を最初に受信し得る。デジタル病理画像は次いで、訓練の目的のためにアーチファクトを挿入させ得る。このデータセットは、例えば、ポリゴン様式注釈または画素様式注釈により注釈付けられた各々のアーチファクトを有するデジタル病理画像を含み得る。ポリゴン様式注釈または画素様式注釈は、アーチファクトを表す全ての画素のセットを指し得る。訓練デジタル病理画像は、インク、髪の毛、気泡、またはアーチファクトを指すものなど、１つまたは複数のアーチファクトを包含するデジタル病理画像を含み得る。それらの注釈付けられたデジタル病理画像は、デジタルストレージ（例えば、クラウドストレージ、ＲＡＭ、ハードドライブなど）に受信され得る。それらのデータセットは、デジタル病理画像からアーチファクトのセットを手動でセグメント化し、ポリゴン様式注釈または画素様式注釈を記録することによって作成され得る。別の実施形態では、注釈の事前に保存された画素は、保存された画素の正確な位置を有するアーチファクトを包含しないデジタル病理画像上に配置され得る。

【0080】

ステップ４０４において、システムは、ステップ４０２から結果として生じるデジタル病理画像の各々からタイルを抽出し得る。タイルは、アーチファクト領域及び他の非アーチファクト領域から抽出され得る。タイルは、ステップ３０４に説明された技術を使用して抽出され得る。

【0081】

ステップ４０６において、システムは、ステップ４０４の抽出されたタイルからのセグメント化ＣＮＮモデルを訓練し得る。例えば、Ｓｅｇｎｅｔ、Ｕｎｅｔ、ＤｅｅｐｌａｂのようなＣＮＮなどが利用され得る。

【0082】

ステップ４０８において、学習済みセグメント化システムは、デジタルストレージ（例えば、クラウド、ハードドライブなど）に保存され得る。

【0083】

図４Ｂは、本明細書に提示される技術による、デジタル病理画像内のアーチファクトを識別するために、セグメント化に基づくアプローチを使用するアルゴリズムを使用する方法の例を示すフローチャートである。図４の例示的な方法４５０（例えば、ステップ４５２～４６０）は、例えば、スライド分析ツール１０１の推論プラットフォーム１３５によって実行され得るステップを示す。それらのステップは、自動でまたはユーザ（例えば、医師、病理医など）からの要求に応答して実行され得る。代わりに、フローチャート４５０に説明される方法は、デバイス１０００などの画像入力を受信する能力を有し、図４Ａに説明されたニューラルネットワークを含めるまたはインポートする能力を有するいずれかのコンピュータ処理システムによって実行され得る。

【0084】

ステップ４５２において、システムは、入力として１つ以上のデジタル画像を受信し得る。デジタル画像は、例えば、調製された顕微鏡スライドのデジタル画像を指し得るデジタル病理画像であり得る。デジタル病理画像は次いで、電子ストレージ（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）に保存され得る。デジタル病理画像は、アーチファクトを含み得または含み得ない。加えて、システムは、全デジタル病理画像に加えてデジタル画像のタイルを受信するように構成され得る。

【0085】

ステップ４５４において、システムは、１つ以上の入力されたデジタル病理画像を小型画像パッチに分割し得る。システムは、より小型の画像パッチ／タイルを作成するために、ステップ３５４に説明された技術を使用し得る。

【0086】

ステップ４５６において、システムは、セグメント化モデル（例えば、ステップ４０６において訓練されたモデル）に、ステップ４５４からの画像パッチをフィードし得る。

【0087】

ステップ４５８において、システムは、各々のタイル上のアーチファクト領域をセグメント化することを含み得る。これは、各々のタイルのセグメント化された領域及びセグメント化されていない領域についての画素情報を識別及び保存することを含み得る。訓練済みセグメント化モデルは、このアクションを実行し得る。

【0088】

ステップ４６０において、システムは、デジタル病理画像についてのセグメント化マップを構築するようにセグメント化されたパッチを結合することを含み得る。これは、全ての識別されたアーチファクトの位置を有する画素情報を含むマップを出力することを含み得る。それらのエリアは、閾値を上回るスコアを有する画素／エリアに対応し得る。出力されたマップは、電子ストレージ（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）に保存され得る。加えて、セグメント化マップは、１人以上のユーザに表示され得る。

【0089】

前に説明されたように、図２に示された方法のステップ２０４など、対象のエリアを検出するために、アーチファクトに特有のアプローチも適用され得る。アーチファクトに特有のアプローチは、低電力フィールド（例えば、低倍率）に対して適用され得、パッチ抽出ステップを伴い得ない。例えば、アーチファクトが相対的に大きなサイズのアーチファクトであり（例えば、気泡を有するデジタルスライド）、デジタル医療画像の相対的に低解像度のズームアウトされた観点において視認可能である場合、システムは、パッチ抽出ステップなしにアーチファクトを検出する能力を有し得る。アーチファクトに特有のアプローチは、学習アプローチよりもはるかに速いが、学習アプローチよりも精度が劣り得る。アーチファクトに特有のアプローチは、外観に基づくアプローチ及び形状に基づくアプローチを含み得る。

【0090】

外観に基づくアーチファクトに特有の方法により、マーキングまたはアーチファクトが一部の領域を遮断し得る場合、または他にスライドについての経験を視覚化することが妥協される場合、第２の検討または評価が使用され得る。第２の検討は、人間または別の代替的な機械学習システムによって実行され得る。画像内の他のアーチファクトは、髪の毛、ぼやけた領域、気泡、組織の折り畳み、及び焼けた組織を含み得る。アーチファクトは、画像タイルに対して古典的な画像分析方法を適用することによって、それらの色情報及び強度に基づいて検出され得る。これは、対象のアーチファクトを有する少数の画像を調査することと、アーチファクトを有する領域の赤－緑－青（ＲＧＢ）範囲（色スペクトル）を記録することと、識別された色スペクトルを有する領域を除去することとを含み得る。これは、グレースケールに変換した後の画像に対して閾値（例えば、Ｏｔｓｕ閾値）を適用すること、または色空間上の色相チャネルもしくは彩度チャネルに対して閾値（例えば、Ｏｔｓｕ閾値）を適用することを含み得る。

【0091】

形状に基づくアーチファクトに特有の方法により、それらの形状に基づいて一部のアーチファクトが除去され得る。例えば、気泡は、典型的には、丸形、円形、もしくは球形形状を有し、髪の毛は、細長いもしくはすっきりとした形状を有し得、または他のアーチファクトは、他に湾曲形状を有する画像上の核のクラスタの周りの欠落エリアなどによって、周囲の構造の典型的な形状への干渉または破壊を検出することによって検出され得る。それらのアーチファクトを除去する一部のアプローチは、円を検出するための円ハフ変換（ＣＨＴ）を使用すること、またはライン及びチューブ検出のためのフランジフィルタを使用することを含む。

【0092】

焦点が外れた（ぼやけた）領域について、デジタル病理画像は、パッチに分割され得る。それらのパッチまたはタイルにぼやけ検出アルゴリズムが適用され得る。ぼやけ検出アルゴリズムは、ぼやけ領域を識別するように深層モデルを訓練すること、及び／または勾配もしくはラプラシアン方式アプローチを使用することを含み得る。訓練済みぼやけ検出アルゴリズムは、入力として領域（例えば、パッチ）を見なし、ぼやけスコアを決定するようにニューラルネットワークを訓練することを含み得る。ぼやけスコアは、画像はぼやけているかまたはぼやけていないかどうかを示すバイナリ分類器であり得る。ぼやけ検出システムを訓練するためにラプラシアン方法が使用される場合、システムは、画像パッチの線形フィルタリングにラプラシアン演算子を提供し得る。次に、システムは、パッチ内のフィルタ応答の分散を計算し得る。システムは、ぼやけが存在するかどうかを決定するように、結果として生じる値を閾値処理し得る。出力されたぼやけ値に関して、より低いぼやけ値は、「ぼやけが少ない」画像に対応し得る。

【0093】

本明細書に開示されるシステム及び方法は、任意の構造を検出し得る。

【0094】

対象の構造を検出することは、ステップ２０４の一部であり得る。例えば、デジタル病理画像は、多くの構造及びオブジェクト、例えば、腺、血管、脂肪などを包含し得る。時に、１つのタイプのみの構造またはオブジェクトを視覚化することは有用であり得る。そのような視覚化は、更なる定量化を支援しえるだけでなく、特定のオブジェクトが組織微環境内でどのように広がるかを決定することをも支援し得る。例えば、悪性上皮及びリンパ球細胞を観察することは、免疫系ががんにどのように反応しているかを理解するのに有用であり得る。多くの他の細胞は、視覚的誤りを生じさせ得る。それらの視覚的誤りは、デジタル画像を使用し、画像に対してセグメント化技術を適用することによって調節または除去され得る。

【0095】

対象の構造を検出することは、図５Ａ及び５Ｂに更に開示されるように、システムを訓練することと、訓練済みシステムにより推論することとを含み得る。

【0096】

図５Ａは、本明細書に提示される技術による、デジタル病理画像内の対象の構造を識別するために、システムを訓練する方法の例を示すフローチャートである。図５Ａに説明される工程及び技術は、デジタル病理画像のアーチファクトまたは対象のエリアを識別するように機械学習モデルを訓練するために使用され得る。図５Ａの方法５００は、例えば、図１Ｃに上記説明されたようなスライド分析ツール１０１の訓練画像プラットフォーム１３１によって実行され得るステップを示す。代わりに、方法は、外部システムによって実行され得る。フローチャート／方法５００は、ステップ５０２～５０６に更に詳細に説明されるような機械学習モデルを訓練する訓練ステップを示す。

【0097】

ステップ５０２において、訓練のためにシステムに挿入された画像を手動でセグメント化することによって、セグメント化データセットが作成され得る。セグメント化データセットは、記録された画素位置によりセグメント化された対象の構造を有するデジタル病理画像を含み得る。それらは、ステップ３０２及び４０２に説明された技術を使用して作成されていたことがある。

【0098】

ステップ５０４において、システムは、セグメント化データセットを受信し得、次いで、対応するセグメント化画像を有する各々のデジタル病理画像からパッチを抽出し得る。システムは、ステップ３０４に説明された抽出技術を利用し得る。

【0099】

ステップ５０６において、システムは、画像パッチ及びそれらの対応するラベルに対するセグメント化のために、深層ニューラルネットワークを訓練し得る。セグメント化ネットワークは、例えば、Ｓｅｇｎｅｔ、Ｕｎｅｔ、Ｄｅｅｐｌａｂ、ＭａｓｋＲＣＮＮなどであり得る。学習済みシステムは、次いで、１つ以上の記憶デバイス１０９に保存され得、またはネットワーク１２０を通じて別のデジタルストレージシステムにアップロードされ得る。

【0100】

図５Ｂは、本明細書に提示される技術による、デジタル病理画像内の対象の構造を識別するために、システムを使用する方法の例を示すフローチャートである。図５Ｂの例示的な方法５５０（例えば、ステップ５５２～５５６）は、例えば、スライド分析ツール１０１の推論プラットフォーム１３５によって実行され得るステップを示す。それらのステップは、自動でまたはユーザ（例えば、医師、病理医など）からの要求に応答して実行され得る。代わりに、フローチャート５５０に説明される方法は、デバイス１０００などの画像入力を受信する能力を有し、図５Ａに説明されたニューラルネットワークを含めるまたはインポートする能力を有するいずれかのコンピュータ処理システムによって実行され得る。

【0101】

ステップ５５２において、システムは、１つ以上のデジタル病理画像を最初に受信し、次いで、受信された対象のデジタル病理画像を小型パッチに分割し得る。本明細書に議論される技術のいずれかは、デジタル病理画像を小型パッチに分割するために利用され得る。

【0102】

次に、ステップ５５４において、システムは、ステップ５０６に説明された深層ニューラルネットワークを使用してパッチをセグメント化し得る。セグメント化されたパッチは、デジタルストレージに記録及び保存され得る。

【0103】

最後に、ステップ５５６において、システムは、セグメント化された領域をマージして、デジタル病理画像レベルに対するセグメント化マップを作成し、各々のデジタル病理画像についてのセグメント化を出力及び／または保存し得る。システムは、セグメント化された領域をマージするように画像合成を実行する能力を有し得る。これは、１つのソース画像（例えば、セグメント化された領域のパッチ）を別のターゲット画像にペーストすることを含み得る。これは、ターゲット画像の画素をソース画像の画素と置き換えることによって実行され得る。画素が両方の画像にある場合（例えば、パッチがセグメント化された領域及び元の領域と重なる場合）、システムは、セグメント化された画素を使用し得るか、または両方の混合を使用し得るか（例えば、両方の画素の５０％が利用され得る）のいずれかである。加えて、システムは、セグメント化された領域をマージするために、ラップピラミッド、ＤＩＭ、インデックス、及び／または深層学習方法などの代替的な技術を使用する能力を有し得る。

【0104】

ステップ２０６において前に言及されたように、システムは、画像の１つ以上の無関係領域をインペイントまたは抑制し得る。

【0105】

本明細書に開示されるシステム及び方法を使用して、ユーザ（例えば、病理医）は、アーチファクトを除去するためのインペイントを使用し得る。これは、図１Ｃの推論モジュール１３７によって実行され得る。図２Ａに関して上記議論された方法のステップ２０４においてアーチファクトを有する領域を検出した後、ユーザは、それらの領域またはエリアを復元するオプションを選択し得る。有意の構造によりそれらのエリアを充填するために、様々なインペイントアルゴリズムが使用され得る。ユーザは、空のエリアを手動で選択し得、またはそれらのエリアは、２０４からのアーチファクトが検出された領域（もしくは代わりに、非アーチファクトが検出された領域）に基づいて自動で選択され得る。ユーザがエリアを手動で選択する場合、ユーザは、システムと相互作用するためのコンピュータインタフェースを使用して、座標／画素をタイプし得、及び／またはデジタル病理画像のエリアをハイライトし得る。選択された領域は、インペイントアルゴリズムへの入力として使用され得る。システムが適用し得る一部の有益なインペイントアルゴリズムは、局所的パッチ統計及び／またはステアリングカーネル特徴、チャネル内および／またはチャネル間局所的分散、分数次微分、フーリエ変換分数次微分、及び／またはフーリエ変換、Ｕｎｅｔのようなエンコーダ／デコーダアーキテクチャ、並びに敵対的生成ネットワーク（ＧＡＮ）を含む。システムは、インペイントアルゴリズムの１つを自動で適用し得、またはユーザ（例えば、病理医）がどのインペイントアルゴリズムを利用するかを選択することを可能にし得る。

【0106】

本明細書に開示されるシステム及び方法を使用して、ユーザ（例えば、病理医）は、任意のセルラ構造をハイライトするために、無関係画像領域の抑制を使用し得る。これは、図１Ｃの推論モジュール１３７によって実行され得る。対象の組織をハイライトし、デジタル病理画像の他の態様を抑制するために、本明細書に開示されるシステム及び方法は、対象の領域（例えば、特定の腺）を最初に検出し得、次いで、例えば、デジタル病理画像上の全ての他の組織及び領域についてのアルファ値またはアルファチャネルなどの透過値を代替レベルに設定し得る。例えば、透過値は、他の組織及び領域を視認不能にしたり、部分的に透過して見えないように設定され得る。

【0107】

図６は、訓練のためのアーチファクト除去を選択するシステムの実施形態の例を示すフローチャートである。これは、図２に説明された工程２００の例示的な実施形態であり得る。本明細書に開示されるシステム及び方法は、デジタル病理画像からアーチファクトを選択的に除去し得る。モデル開発のために、及び深層モデルを訓練するために、デジタル病理画像内のアーチファクトの存在は、信号対雑音比（ＳＮＲ）を減少させ得、性能低下につながり得る。この理由のために、機械学習システムを訓練するためにデジタル病理画像を使用する前に、デジタル病理画像からアーチファクトを除去することが有利であり得る。

【0108】

本明細書に開示されるシステム及び方法は、深層ニューラルネットワークまたは他の学習アプローチを訓練するために、クリーンな且つノイズがないデータセットをもたらすように、デジタル病理画像から１つ以上の望ましくないアーチファクトを除去することを支援し得る。最初に、ステップ６０２において、システムは、１つ以上のデジタル病理画像を受信し得る。ステップ６０２において、本明細書に議論される技術のいずれかを使用して、デジタル病理画像から画像パッチが抽出され得る。次に、ステップ６０４において、画像パッチがアーチファクト検出モジュール（例えば、ステップ２０４を実装するシステムのいずれか）に渡され得る。このステップにおいて、本明細書に議論される技術／アプローチのいずれかは、送信されたいずれかのアーチファクトの位置を検出及び記録するために使用され得る。

【0109】

ステップ６０６において、デジタル病理画像内のパッチが、存在するアーチファクトを有するとして検出される場合、パッチは、システムによって除去され得、更なる訓練のために使用され得ない。パッチがアーチファクトを有さないとして検出される場合、パッチは、機械学習システムを訓練するために使用され得る。任意選択で、アーチファクトが検出されるパッチについて、アーチファクトは、本明細書で説明される技術のいずれか（例えば、ステップ２０６を実装するシステムのいずれか）を使用して抑制／インペイントされ得る。アーチファクトが抑制及び／またはインペイントされる場合、それは訓練のために使用され得る。最後に、ステップ６０８において、アーチファクトがないことがある１つ以上のデータセットとしてスライドが出力され得る。スライドは、記憶デバイス１０９またはネットワーク１２０に出力され得る。それらのデジタル病理画像は次いで、１つ以上の機械学習システムを訓練するように送信され得る。

【0110】

図７は、視覚化のためにデジタル病理画像からアーチファクト除去を選択するシステムの実施形態の例を示すフローチャートである。これは、図２に説明された工程２００の例示的な実施形態であり得る。デジタル病理画像ビューワでは、ユーザ（例えば、病理医）は、デジタル病理画像からの除去のためのアーチファクトを選択するために、本明細書に開示されるシステム及び方法を使用し得、アーチファクト除去システムは、デジタル病理画像に対して適用され得る（例えば、ステップ２０６について議論された技術のいずれかを使用して）。

【0111】

例えば、ステップ７０２において、システムは、１つ以上のデジタル病理画像（例えば、ＷＳＩ）を受信し得る。次に、ステップ７０４において、システムは、ステップ２０４に議論された技術のいずれかを使用して、デジタル病理画像内のアーチファクトを識別し得る。一例では、システムは、アーチファクトを識別するために、事前に設定された技術を使用し得る。別の例では、ユーザは、デジタル病理画像上のアーチファクトを探索するためにどの技術を利用するかを選択するオプションを有し得る。例えば、共通アーチファクトである、ペンマーキング及び焼けた組織について、アーチファクトに依存しないアプローチよりもはるかに速くなり得る、アーチファクトに特有のアプローチが適用され得る。ステップ７０６において、アーチファクト検出器が適用された後、アーチファクト名のリストがグラフィカルユーザインタフェースに示され得、ユーザは、リストに提供されたアーチファクトの中からアーチファクトを選択し得る。更に、ユーザは、デジタル病理画像の領域内の全てのアーチファクトが選択され得る、デジタル病理画像のエリア／領域を選択することが可能であり得る。選択されたアーチファクトは次いで、ステップ７０８においてインペイントまたは抑制され得る。

【0112】

ステップ７０８において、システムは、ユーザによって選択された可能性があるアーチファクトを有するデジタル病理画像の領域をインペイントまたは再構築し得る。システムは、このステップを実行するために、ステップ２０６に関連して議論された技術のいずれかを利用し得る。ユーザは、１つ以上の有意の構造（例えば、背景、特殊な色、または組織）により検出されたエリアが充填されることを望むかどうかを選択し得る。例えば、ユーザは、提供されたチェックボックスからそのような構造を選択し得る。このオプションが有効にされる場合、インペイントアルゴリズムがそれらの領域に対して適用され得、画像が再構築され得る。ステップ７１０において、インペイントまたは抑制されたアーチファクトを有するデジタル病理画像は、記憶デバイス１０９またはネットワーク１２０に出力され得る。

【0113】

図８は、視覚化のためにデジタル病理画像から無関係構造の除去を選択するシステムの実施形態の例を示すフローチャートである。これは、図２に説明された工程２００の例示的な実施形態であり得る。ビューワ（例えば、デジタル病理画像ビューワ）内で或る構造を選択的に隠蔽及び表示することは、より良好な視覚化経験及び或るオブジェクトの周波数／空間分散のより良好な理解をもたらし得る。ステップ８０２において、システムは、医療標本と関連付けられた１つ以上のデジタル病理画像を受信し得る。ステップ８０４において、本明細書に開示されるシステム及び方法を使用して、ユーザは、本明細書に議論される技術のいずれかを使用して、無関係構造を隠蔽及び表示することを選択し得る（例えば、ステップ２０４に関連して議論された技術は、それらの構造を発見し得る）。代わりに、ユーザは、対象のデジタル病理画像のエリアを選択し得、エリアの残りは、無関係構造と考えられ得る。一実施形態では、無関係構造は、背景であり得、例えば、デジタル病理画像内の核のみが残り得る。ユーザは、腫瘍核などの或る核を隠蔽しないままにすること、または視覚化することを選択し得る。ステップ８０６において、対象の構造または無関係構造が選択されるとき、本明細書に議論されるシステム及び技術は、パッチを抽出するためにデジタル病理画像に適用され得る。ステップ８０８において、システムは、セグメント化マスク（例えば、無関係構造のエリア）を抽出するために、パッチに対して本明細書で説明されるいずれかの技術（例えば、ステップ２０６と関連付けられた技術）を使用し得る。ステップ８１０において、セグメント化された領域（例えば、無関係構造）は、ステップ２０６に関連して議論された技術のいずれかを使用してデジタル病理画像から除去され得る。

【0114】

本明細書に開示されるシステム及び方法は、アーチファクトを識別し得、デジタル病理画像からアーチファクトを除去するために、インペイントを使用し得る。本明細書に開示されるシステム及び方法は、デジタル病理画像内のセルラ構造を識別し得、デジタル病理画像内の異質な組織またはアーチファクトを有さないそれらの構造を表示及び／またはハイライトし得る。

【0115】

図９は、本明細書における１つ以上の例示的な実施形態による、デジタル病理画像を処理する方法（例えば、アーチファクト及び／または対象のエリアを検出し、画像ペイントまたは抑制を適用する）を示すフローチャートである。フローチャート９００は、ステップ９０２～９１０に更に詳細に説明するような訓練済み機械学習モジュールを利用するステップを示し得る。

【0116】

ステップ９０２において、システム（例えば、取込モジュール１３６）は、少なくとも１つの病理標本の複数のデジタル病理画像を受信し得、病理標本は、患者と関連付けられる。

【0117】

ステップ９０４において、システム（例えば、推論モジュール１３７）は、機械学習システムを使用して、アーチファクトまたは対象のオブジェクトがデジタル病理画像上に存在するかどうかを決定し得る。

【0118】

ステップ９０６において、システム（例えば、推論モジュール１３７）は、アーチファクトまたは対象のオブジェクトが存在すると決定すると、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の１つ以上の領域を決定し得る。

【0119】

ステップ９０８において、システム（例えば、推論モジュール１３７）は、アーチファクトまたは対象のオブジェクトを包含する、デジタル病理画像上の領域を決定すると、領域をインペイントまたは抑制するために機械学習システムを使用する。

【0120】

ステップ９１０において、システム（例えば、出力インタフェース１３８）は、インペイントまたは抑制されたアーチファクトまたは対象のオブジェクトを有するデジタル病理画像を出力し得る。

【0121】

図１０は、１つ以上の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。

【0122】

図１０に示すように、デバイス１０００は、中央処理装置（ＣＰＵ）１０２０を含むことができる。ＣＰＵ１０２０は、例えば、任意の種類の特定用途または汎用マイクロプロセッサデバイスを含む任意の種類のプロセッサデバイスであってもよい。当業者によって認識されるように、ＣＰＵ１０２０はまた、マルチコア／マルチプロセッサシステムにおける単一のプロセッサであってもよく、そのようなシステムは単独で動作するか、クラスタでまたはサーバーファーム内で動作するコンピューティングデバイスのクラスタで動作する。ＣＰＵ１０２０は、データ通信インフラストラクチャ１０１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続され得る。

【0123】

デバイス１０００はまた、メインメモリ１０４０、例えば、ランダムアクセスメモリ（ＲＡＭ）をも含んでもよく、また二次メモリ１０３０を含み得る。二次メモリ１０３０、例えば、読み出し専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたは取り外し可能な記憶ドライブであり得る。そのような取り外し可能な記憶ドライブは、例えばフロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同様のものを含み得る。この例での取り外し可能な記憶ドライブは、周知の手法で取り外し可能な記憶ユニットから読み出し、及び／またはこれに書き込む。取り外し可能な記憶装置は、取り外し可能な記憶ドライブによって読み出し及び書き込みされるフロッピー（登録商標）ディスク、磁気テープ、光ディスクなどを含み得る。当業者によって認識されるように、そのような取り外し可能な記憶ユニットは、概して、コンピュータソフトウェア及び／またはデータを格納したコンピュータ使用可能記憶媒体を含む。

【0124】

代替的な実装形態において、二次メモリ１０３０は、コンピュータプログラムまたは他の命令がデバイス１０００にロードされることを可能にする類似の手段を含み得る。かかる手段の例は、プログラムカートリッジ及びカートリッジインタフェース（ビデオゲーム機器において見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭ、またはＰＲＯＭなど）及び関連するソケット、及び他の取り外し可能な記憶ユニット及びソフトウェア及びデータが取り外し可能な記憶ユニットからデバイス１０００へと転送されることを可能にするインタフェースを含み得る。

【0125】

デバイス１０００はまた、通信インタフェース（「ＣＯＭ」）１０６０を含み得る。通信インタフェース１０６０は、ソフトウェア及びデータが、デバイス１０００と外部デバイスとの間で転送されることを可能にする。通信インタフェース１０６０は、モデム、ネットワークインタフェース（イーサネット（登録商標）カードなど）、通信ポート、ＰＣＭＣＩＡスロット及びカード、または同様のものを含み得る。通信インタフェース１０６０を経由して転送されるソフトウェア及びデータは、信号の形式であってもよく、これは通信インタフェース１０６０によって受信されることのできる電気、電磁、光、または他の信号であり得る。これらの信号は、デバイス１０００の通信経路を介して通信インタフェース１０６０に提供され得、それは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話のリンク、ＲＦリンクまたは他の通信チャネルを使用して実装され得る。

【0126】

そのような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は、それに十分に精通していると推定される。デバイス１０００はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどといった入出力デバイスと接続するための入出力ポート１０５０も含むことができる。もちろん、様々なサーバの機能は、処理負荷を分散させるために、多数の同様のプラットフォームで分散された形で実装され得る。あるいは、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。

【0127】

本開示全体を通して、構成要素またはモジュールに対して言及することは、一般に、論理的に一緒にグループ化されて、機能または関連する機能のグループを実行することができる項目を指す。同様の参照符号は、一般に、同じまたは同様の構成要素を指すことを意図する。構成要素及びモジュールは、ソフトウェア、ハードウェア、またはソフトウェア及びハードウェアの組み合わせで実装され得る。

【0128】

上述のツール、モジュール、及び機能は、１つ以上のプロセッサによって実行され得る。「記憶装置」の類の媒体は、コンピュータ、プロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連モジュールのいずれかまたはすべてを含み得て、これらは、ソフトウェアプログラミングのためにいつでも非一時的な記憶をもたらすことができる。

【0129】

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通じて通信され得る。例えば、通信は、１つのコンピュータまたはプロセッサから別のものへのソフトウェアのロードを可能にし得る。本明細書で使用する場合、非一時的で有形の「記憶」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を与えることに関与する任意の媒体を示している。

【0130】

前述の一般的な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書の考慮及び本明細書に開示される実践から、当業者にとって明らかである。本明細書及び例は、単に例として考えられることが意図される。

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】