特表 2024-526636 電子画像を処理してぼやけのロバスト性を与えるシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】電子画像を処理してぼやけのロバスト性を与えるシステム及び方法

(51)【国際特許分類】

   G16H 30/40 20180101AFI20240711BHJP

   G06V 10/82 20220101ALI20240711BHJP

   G06T 7/00 20170101ALI20240711BHJP

   G06T 1/00 20060101ALI20240711BHJP

【ＦＩ】

G16H30/40

G06V10/82

G06T7/00 Q

G06T7/00 350B

G06T1/00 290Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024500045

(86)(22)【出願日】2022-04-29

(85)【翻訳文提出日】2024-01-10

(86)【国際出願番号】 US2022026972

(87)【国際公開番号】W WO2023282960

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】63/203,033

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518307592

【氏名又は名称】ペイジ．エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＰＡＩＧＥ．ＡＩ， Ｉｎｃ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】レンティーニ， ロドリーゴ セバージョス

(72)【発明者】

【氏名】カナン， クリストファー

【テーマコード（参考）】

5B057

5L096

5L099

【Ｆターム（参考）】

5B057AA07

5B057CA08

5B057CA16

5B057CB08

5B057CB16

5B057CC03

5L096BA06

5L096BA13

5L096DA01

5L096GA02

5L096GA19

5L096GA55

5L096HA11

5L096KA04

5L096MA01

5L099AA26

(57)【要約】

電子医療画像を処理するコンピュータ実装方法であって、医療標本の複数の電子医療画像を受け取ることを含む方法。複数の電子医療画像の各々は、複数のタイルに分けることができる。複数のセットの整合タイルを判定することができ、各セットの中のタイルは、医療標本の複数の領域のうちの所与の領域に対応する。複数のセットの整合タイルの各タイルについて、タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定することができる。各セットの整合タイルに対して、ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定することができる。最も低いレベルのぼやけを示すぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む複合電子医療画像が、判定されて、表示のために提供され得る。
【選択図】図４

【特許請求の範囲】

【請求項1】

電子医療画像を処理するためのコンピュータ実装方法であって、
医療標本の複数の電子医療画像を受け取ること、
前記複数の電子医療画像の各々を複数のタイルに分けることであって、前記複数のタイルの各タイルは、所定のサイズである、前記分けること、
複数のセットの整合タイルを判定することであって、各セットの中の前記タイルは、前記医療標本の複数の領域のうちの所与の領域に対応する、前記判定すること、
前記複数のセットの整合タイルの各タイルについて、前記タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、
各セットの整合タイルに対して、前記ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、
複合電子医療画像を判定することであって、前記複合電子医療画像は、前記最も低いレベルのぼやけを示す前記ぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、前記判定すること、及び
表示用の前記複合電子医療画像を提供すること、を含む、前記方法。

【請求項2】

所与の位置におけるタイルの所定の閾値が不適切なぼやけ度スコアを有するか否かを判定すること、及び
前記所定の閾値を超えたと判定すると、前記対応する医療画像の再スキャンを命じること、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

総合的ぼやけ度スコアを判定することであって、前記総合的ぼやけ度スコアは、医療画像の中のすべてのタイルの前記ぼやけ度スコアの平均に対応し、前記総合的ぼやけ度スコアが閾値を上回る場合、前記対応する医療画像の再スキャンが命じられる、前記判定すること、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記ぼやけ度スコアは、前記複数のタイルを受け取る機械学習モデルによって出力され、前記機械学習モデルは、前記タイルに１つ以上の重み、バイアス、及び／または層を適用し、各タイルに対するぼやけ度スコアを出力する、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記複合電子医療画像を判定するステップが、機械学習モデルを使用して実行される、請求項１に記載のコンピュータ実装方法。

【請求項6】

セットの中の各タイルが閾値を超えるぼやけ度スコアを有すると判定すると、少なくとも１つの条件付き生成モデルを使用して、前記タイルのより高い解像度を生成することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

条件付き生成モデルを使用することは、前記最も低いぼやけ度スコアを有するタイルを、ぼやけ除去モデルの重み、バイアス、または層のうちの１つまたは複数に前記タイルデータを適用し、より低いぼやけ度スコアを有するタイルに対応するタイルを出力する、ぼやけ除去機械学習モデルに入力することを含む、請求項５に記載のコンピュータ実装方法。

【請求項8】

前記複合医療画像のどのタイルが変更されたかを示す対応するセマンティックマスクを提供することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

電子デジタル医療画像を処理するシステムであって、
命令を記憶する少なくとも１つのメモリ、及び
少なくとも１つのプロセッサであって、
医療標本の複数の電子医療画像を受け取ること、
前記複数の電子医療画像の各々を複数のタイルに分けることであって、前記複数のタイルの各タイルは、所定のサイズである、前記分けること、
複数のセットの整合タイルを判定することであって、各セットの中の前記タイルは、前記医療標本の複数の領域のうちの所与の領域に対応する、前記判定すること、
前記複数のセットの整合タイルの各タイルについて、前記タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、
各セットの整合タイルに対して、前記ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、
複合電子医療画像を判定することであって、前記複合電子医療画像は、前記最も低いレベルのぼやけを示す前記ぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、前記判定すること、及び
表示用の前記複合電子医療画像を提供すること、を含む動作を実行するための前記命令を実行するよう構成された前記少なくとも１つのプロセッサ、を含む、前記システム。

【請求項10】

所与の位置におけるタイルの所定の閾値が不適切なぼやけ度スコアを有するかどうかを判定することであって、前記対応する医療画像の再スキャンが命じられる、前記判定すること、をさらに含む、請求項９に記載のシステム。

【請求項11】

総合的ぼやけ度スコアを判定することであって、前記総合的ぼやけ度スコアは、医療画像の中のすべてのタイルの前記ぼやけ度スコアの平均に対応し、前記総合的ぼやけ度スコアが閾値を上回る場合、前記対応する医療画像の再スキャンが命じられる、前記判定すること、をさらに含む、請求項９に記載のシステム。

【請求項12】

前記ぼやけ度スコアは、前記複数のタイルを受け取る機械学習モデルによって出力され、前記機械学習モデルは、前記タイルに１つ以上の重み、バイアス、及び／または層を適用し、各タイルに対するぼやけ度スコアを出力する、請求項９に記載のシステム。

【請求項13】

前記複合電子医療画像を判定するステップが、機械学習モデルを使用して実行される、請求項９に記載のシステム。

【請求項14】

セットの中の各タイルが閾値を超えるぼやけ度スコアを有すると判定すると、少なくとも１つの条件付き生成モデルを使用して、前記タイルのより高い解像度を生成することをさらに含む、請求項９に記載のシステム。

【請求項15】

条件付き生成モデルを使用することは、前記最も低いぼやけ度スコアを有するタイルを、ぼやけ除去モデルの重み、バイアス、または層のうちの１つまたは複数に前記タイルデータを適用し、より低いぼやけ度スコアを有するタイルに対応するタイルを出力する、ぼやけ除去機械学習モデルに入力することを含む、請求項１４に記載のシステム。

【請求項16】

前記複合医療画像のどのタイルが変更されたかを示す対応するセマンティックマスクを提供することをさらに含む、請求項９に記載のシステム。

【請求項17】

非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、
医療標本の複数の電子医療画像を受け取ること、
前記複数の電子医療画像の各々を複数のタイルに分けることであって、前記複数のタイルの各タイルは、所定のサイズである、前記分けること、
複数のセットの整合タイルを判定することであって、各セットの中の前記タイルは、前記医療標本の複数の領域のうちの所与の領域に対応する、前記判定すること、
前記複数のセットの整合タイルの各タイルについて、前記タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、
各セットの整合タイルに対して、前記ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、
複合電子医療画像を判定することであって、前記複合電子医療画像は、前記最も低いレベルのぼやけを示す前記ぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、前記判定すること、及び
表示用の前記複合電子医療画像を提供することを含む、電子デジタル医療画像を処理する動作を実行する命令を記憶する、前記非一時的コンピュータ可読媒体。

【請求項18】

所与の位置におけるタイルの所定の閾値が不適切なぼやけ度スコアを有するか否かを判定すること、及び
前記所定の閾値を超えたと判定すると、前記対応する医療画像の再スキャンを命じること、をさらに含む、請求項１７に記載のコンピュータ可読媒体。

【請求項19】

前記ぼやけ度スコアは、前記複数のタイルを受け取る機械学習モデルによって出力され、前記機械学習モデルは、前記タイルに１つ以上の重み、バイアス、及び／または層を適用し、各タイルに対するぼやけ度スコアを出力する、請求項１７に記載のコンピュータ可読媒体。

【請求項20】

前記動作が、
前記複合医療画像のどのタイルが変更されたかを示す対応するセマンティックマスクを提供することをさらに含む、請求項１７に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、２０２１年７月６日に出願された米国仮特許出願第６３／２０３，０３３号に対する優先権を主張するものであり、参照により、その全体が本明細書に組み込まれる。

【0002】

本開示の様々な実施形態は、概して画像処理方法に関する。より具体的には、本開示の特定の実施形態は、画像の複数のスキャンを使用して画像を処理してぼやけの量を低減するためのシステム及び方法に関する。

【背景技術】

【0003】

画像処理の分野では、適切な分析または診断を行うために、画像は焦点が合っていて鮮明である必要があることがある。特に、医療画像（例えば、病理全スライド画像（ＷＳＩ）、コンピュータ断層撮影（ＣＴ）スキャンなど）を正確に診断または分析するためには、明瞭な医療画像が必要であり得る。画像のぼやけを含む画像は、分析を行う個人またはコンピュータシステムに対して問題を提起し得る。特に、ぼやけの量が多いほど、またはぼやけを伴う画像の場所が多いほど、画像は、診断及び治療を判定する上で、問題のより多くを提起し得る。かなりの量のぼやけが診断を妨げる可能性がある一方で、ぼやけが画像の小さな領域にのみ局所化される可能性がある。画像の小さな領域のみがぼやけを含む状況では、ぼやけた領域が修復されると画像が診断に適し得る。

【0004】

本明細書で提示されている背景の記述は、一般に、本開示のコンテキストを提示する目的である。本明細書に別段の指示がない限り、このセクションに記載の資料は、本願の特許請求の範囲に対する従来技術ではなく、またこのセクションに含めることによって従来技術または従来技術の提案であると認められるわけではない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の特定の態様によれば、電子医療画像を処理するためのシステム及び方法が開示され、方法は、医療標本の複数の電子医療画像を受け取ること、複数の電子医療画像の各々を複数のタイルに分けることであって、複数のタイルの各タイルは、所定のサイズである、分けること、複数のセットの整合タイルを判定することであって、各セットの中のタイルは、医療標本の複数の領域のうちの所与の領域に対応する、判定すること、複数のセットの整合タイルの各タイルについて、タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、各セットの整合タイルに対して、ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、複合電子医療画像を判定することであって、複合電子医療画像は、最も低いレベルのぼやけを示すぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、判定すること、及び表示用の複合電子医療画像を提供すること、を含む。

【0006】

電子デジタル医療画像を処理するシステムであって、システムは、命令を記憶する少なくとも１つのメモリ、及び少なくとも１つのプロセッサであって、医療標本の複数の電子医療画像を受け取ること、複数の電子医療画像の各々を複数のタイルに分けることであって、複数のタイルの各タイルは、所定のサイズである、分けること、複数のセットの整合タイルを判定することであって、各セットの中のタイルは、医療標本の複数の領域のうちの所与の領域に対応する、判定すること、複数のセットの整合タイルの各タイルについて、タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、各セットの整合タイルに対して、ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、複合電子医療画像を判定することであって、複合電子医療画像は、最も低いレベルのぼやけを示すぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、判定すること、及び表示用の複合電子医療画像を提供すること、を含む動作を実行するための命令を実行するよう構成された少なくとも１つのプロセッサ、を含む。

【0007】

非一時的コンピュータ可読媒体は、プロセッサによって実行されると、医療標本の複数の電子医療画像を受け取ること、複数の電子医療画像の各々を複数のタイルに分けることであって、複数のタイルの各タイルは、所定のサイズである、分けること、複数のセットの整合タイルを判定することであって、各セットの中のタイルは、医療標本の複数の領域のうちの所与の領域に対応する、判定すること、複数のセットの整合タイルの各タイルについて、タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定すること、各セットの整合タイルに対して、ぼやけ度スコアがぼやけの最も低いレベルを示すタイルを判定すること、複合電子医療画像を判定することであって、複合電子医療画像は、最も低いレベルのぼやけを示すぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む、判定すること、及び表示用の複合電子医療画像を提供することを含む、電子デジタル医療画像を処理する動作を実行する命令を記憶する。

【0008】

上述の概略的な説明と以下の詳細な説明は共に、例示で単に説明をしているものであり、クレームされているように、開示の実施形態を限定するものではないという旨を理解すべきである。

【図面の簡単な説明】

【0009】

添付の図面は、この明細書の一部に組み込まれ、これを構成し、種々の例示の実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。

【0010】

【図1】様々な程度のぼやけを有する３つの画像の図である。

【0011】

【図2A】本明細書に提示される技術による、画像を処理して軽度のぼやけの画像を生成するためのシステム及びネットワークの例示的なブロック図を示す。

【0012】

【図2B】本明細書に提示される技術による組織観察プラットフォームの例示的なブロック図を示す。

【0013】

【図2C】本明細書に提示される技術によるスライド分析ツールの例示的なブロック図を示す。

【0014】

【図3】本明細書に提示される技術による１つまたは複数の画像のぼやけ除去の工程を示す。

【0015】

【図4】本明細書に提示される技術による、画像のぼやけ除去の方法を示すフローチャートである。

【0016】

【図5】小さなぼやけのある同じ画像からの複数のスキャンを組み合わせて、ぼやけのない画像を生成する工程を示す。

【0017】

【図6】本明細書に提示される技術による、画像のぼやけ除去のためのアルゴリズムを訓練する方法を示すフローチャートを示す。

【0018】

【図7】本明細書に提示される技術による、ぼやけ除去アルゴリズムを訓練する工程を示す。

【0019】

【図8】１つまたは複数の実施形態による、本明細書に提示される技術を実行し得るコンピューティングデバイスの例を示す。

【0020】

【図9】１つ以上の実施形態による、機械学習モデルを訓練するためのフロー図を示す。

【発明を実施するための形態】

【0021】

本開示の特定の態様によれば、単一標本の複数の画像を編集／合成するためのシステム／工程を提供して、明瞭性／ぼやけの欠如の増大した新しい画像を作成するための方法及びシステムが開示される。従来、医療画像がぼやけていると、医療標本の再スキャンが必要となる。医療標本の再スキャンを必要とせずに、医療画像を固定して最小限の量のぼやけの医療画像をもたらす必要がある。したがって、医療標本の画像のぼやけ除去のために、画像処理及び機械学習の改善が必要である。

【0022】

以下でより詳細に説明するように、様々な実施形態では、画像処理技術及び／または機械学習を利用して、同じ医療標本の複数の画像を組み合わせて、最も高いレベルの明瞭度（例えば、最も低いレベルのぼやけ）の更新された医療画像を出力するためのシステム及び方法が説明される。これは、最適化された医療画像と呼ぶことができる。

【0023】

さらに、様々な実施形態では、システム及び方法は、ぼやけのある画像の中のぼやけを低減するために機械学習を使用するために説明される。例えば、教師あり、半教師あり、または教師あり学習を介して、１つ以上のぼやけ除去ＡＩモデルを訓練して、ぼやけている画像のセクションの中のぼやけがある画素をどのように修復するかを学習することによって、訓練されたぼやけ除去ＡＩモデルを使用して、当初はぼやけていたセクションを含む画像のより高い解像度のバージョンを生成することができる。

【0024】

これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を示すために、同じ参照符号が使用される。

【0025】

本明細書に開示されるシステム、デバイス、及び方法は、例として、図面を参照して詳細に説明される。本明細書に記載の例は、単なる例であり、本明細書に記載の装置、デバイス、システム、及び方法の説明を補助するために提示される。図面に示されるまたは以下に説明される特徴または構成要素のいずれも、必須のものとして具体的に指定されていない限り、これらのデバイス、システム、または方法のいずれかの任意の特定の実装形態に必須のものとして解釈されるべきではない。

【0026】

また、記載されている任意の方法に関して、方法が流れ図に関連して記載されるかどうかに関わらず、方法の実行において実行されるステップのいずれかの明示的または暗黙的な順序は、特に明記されない限り、または文脈により要求されていない限り、それらのステップが提示された順序で実行されなければならないことを暗示しているのではなく、むしろ、異なる順序で、または並行して実行され得ることを理解されたい。

【0027】

本明細書で使用される場合、「例示的な」という用語は、「理想的な」ではなく、「例」の意味で使用される。さらに、本明細書における「ａ」及び「ａｎ」という用語は、量の制限を意味するのではなく、むしろ言及された項目のうちの１つ以上が存在していることを意味する。

【0028】

本明細書に提示される技術は、標本及び／または対象を再スキャンする必要なく焦点が合っていると考えることができる医療画像を補正する及び／またはその割合を増加させるために、コンピュータビジョン及び／または機械学習を使用して、ぼやけの局所領域をパッチング及び／または修復することを記載する。

【0029】

本明細書で提示される技術は、同じ画像の複数のスキャンを使用すること、及び画像処理技術及び／または機械学習を使用して、それらを１つのコヒーレントなぼやけの少ない画像に組み合わせること、及び／または生成的な方法を使用して、ぼやけを埋めることに関し得る。

【0030】

本明細書で使用される「機械学習モデル」は、一般に、入力を受け取り、重み、バイアス、分類、または分析のうちの１つ以上を入力に適用して出力を生成するように構成された命令、データ、及び／またはモデルを包含する。出力は、例えば、入力の分類、入力に基づく分析、入力に関連する設計、工程、予測、もしくは推奨、または任意の他の適切なタイプの出力を含み得る。機械学習モデルは、一般に、モデルの１つ以上の態様、例えば、重み、偏り、分類またはクラスタを形成するための基準などを確立、調整、または修正するために、モデルに供給される訓練データ、例えば、経験データ及び／または入力データの標本を使用して訓練される。機械学習モデルの態様は、線形的に、並列に、ネットワーク（例えば、ニューラルネットワーク）を介して、または任意の適切な構成を介して、入力に対して動作し得る。

【0031】

機械学習モデルの実行は、線形回帰、論理回帰、ランダムフォレスト、勾配ブースティングマシン（ＧＢＭ）、ディープラーニング、及び／またはディープニューラルネットワークなどの１つまたは複数の機械学習技術の展開を含み得る。教師あり及び／または教師なし訓練を用いてもよい。例えば、教師あり学習は、訓練データ及び訓練データに対応するラベルを、例えばグランドトゥルースとして与えることを含み得る。教師なし手法は、クラスタリング、分類などを含み得る。ｋ平均クラスタリングまたはｋ近傍法も使用され得る。これは教師ありでも教師なしでもよい。ｋ近傍法と教師なしクラスタ技法の組み合わせも使用できる。任意の適切なタイプの訓練、例えば、確率的、勾配強化、ランダムシード、再帰的、エポックまたはバッチベースなどを使用することができる。

【0032】

組織の病んだ状態を診断または分析するために、医療撮像スキャナを利用して、人体内部に医療画像を生成することができる。本明細書に記載される工程及び技術は、医療画像に関連する特定の画像のフォーカシングの問題を解決するために利用され得る。例えば、組織のＷＳＩの問題は、ＷＳＩが複数の焦点面を有し得ることである。ＷＳＩが複数の焦点面を有する場合、重要な診断情報が、複数の焦点面のうちの１つ以上に位置し得る。すべての重要な診断情報が「合焦」であることが必要であり得る。ＷＳＩのすべてまたは複数のスキャン領域が合焦であることを保証することは困難であり得る。特に、ＷＳＩスキャナがスキャン速度と画質のバランスをとる必要があり得るため、病院または他の組織が１日当たりスキャンする数百枚または数千のスライドを有し得るため、これは困難であり得る。これらの制限に起因して、結果として得られるＷＳＩは、最善のケースのシナリオにおいて、いくらかの量のぼやけを有し得る。これは、スキャナでなされる妥協により、画像が、いくらかの小さいが無視できない割合、焦点から外れることになり得ることを意味し得る。患者の動き、乏しい較正及び／またはミスアライメントが画像の焦点外れ領域を引き起こし得る、大半の医療撮像技術において、同様の問題が生じ得る。例えば、図１（以下でより詳細に説明する）は、医療撮像の間に生じ得る様々な程度のぼやけがあるＷＳＩの部分を示す。

【0033】

典型的な医療診断ワークフローでは、画像の焦点外れ領域は、画像が許容可能な質ではないとき、または特に疑念を起こす領域が完全には焦点が合っていないとき、標本の再スキャンが実行されることを要求し得る。この問題は、画像の解析を実行するために人工知能または機械学習を利用する場合に特に関連し得るが、ぼやけがコンピュータビジョンアルゴリズムの検出能力に影響を及ぼし得る。ぼやけを検出及び／または修復する能力がなければ、ＡＩシステムがバックグラウンドで動作して医師の診断が正しいことを検証する質の管理（ＱＣ）のような適用、または医師が非良性型の画像のみを見るトリアージの適用をすることは、無効になり、展開するのに潜在的に安全でなくなる可能性がある。

【0034】

この問題に対する１つの解決策は、画像が診断に不十分な質のものであるときを検出するＱＣパイプラインを有して、及び再スキャンを命令することである（例えば、ＵＳ２０２００３８１１０４Ａ１に記載されているＱＣ方法など、これは参照によりその全体が組み込まれる）。しかしながら、これは、医療画像を取り込むのに必要な手順の一部または全体を潜在的に繰り返すことを含むので、費用がかかる。

【0035】

本明細書に提示される技術は、再スキャンを必要とする代替の解決策を提供することができる。ぼやけが特定の画像領域に限定され、局所化される場合（例えば、図１の領域パネル及び局所パネルに示されるように）、本明細書に記載されるシステムの１つ以上の実施形態は、画像が病理学者／医師／研究者及び／またはコンピュータ／ＡＩシステムによって検討され得るように、焦点の外れた画像領域を修復及び／または補正するために使用され得る。

【0036】

図１は、異なる程度のぼやけを有する３つのＷＳＩを示す。第１に、ＷＳＩ１０１は、「全体的なぼやけ」を有するＷＳＩを示す。全体的なぼやけは、ＷＳＩ全体がぼやけている、または焦点が外れていることを意味し得る。ＷＳＩ１０２は、ＷＳＩ上の領域内のぼやけを示す。領域内のぼやけは、ぼやけが特定のスライドの約２％～５０％に影響を及ぼすことを意味し得る。例えば、スライドの４０％にぼやけのあるＷＳＩは、領域内のぼやけがあると称することができる。ＷＳＩ１０３は、ＷＳＩ上の局所的なぼやけを示す。局所的なぼやけは、ＷＳＩの小さな領域のみがぼやけることを意味し得る。例えば、小さな領域は、画像全体の約２％以下であり得る。

【0037】

ＷＳＩは様々な程度のぼやけを有し得るので、ぼやけを補正するためにデジタル後処理を実行し得るシステム（例えば、焦点外れ問題）は、診断撮像準備パイプラインの貴重な部分であり得る。

【0038】

本明細書に提示される技術は、コンピュータビジョン及び／または機械学習技術を使用して、医療画像に存在する焦点の外れた／ぼやけた問題を修復し得る。ぼやけを有する画像は、情報が不足する位置を有すると考えられる。位置は、焦点が外れ、ボケ、被写界深度の問題を有し、不正確な焦点を有し、及び／または他の方法で明瞭性を欠き得る。画像は、アーチファクト、障害物、部分的障害物、不十分なまたは不適切な照明を有し得る。単純な画像処理技術、例えば、「不鮮明な」マスクを用いたシャープ化は、少量の局所的なぼやけであっても修復するには不十分であり得る。したがって、本明細書に提示される技術は、同じ組織の複数の画像にわたる情報を使用することによって、及び／または生成機械学習アルゴリズムを使用して、より高い解像度の画像タイルを作成することによって、画像を修復し得る。

【0039】

システムは、非常に特殊なタイプの画像、例えば、特定のスキャナでスキャンされたヘマトキシリン＆エオシン（Ｈ＆Ｅ）で染色されたＷＳＩ上で訓練され得るので、上記の技術は、臨床的な設定において良好に機能し得る。入力空間におけるこの一貫性は、いずれかの画像を鮮鋭化するより一般的なタスクと比較した場合に、この方法の結果を改善すると予想され得る。

【0040】

図２Ａは、本開示の例示的な実施形態による、機械学習を使用して、画像を処理して軽度のぼやけの画像を生成するためのシステム及びネットワークのブロック図を示す。

【0041】

具体的には、図２Ａは、病院、研究室、及び／または医院などのサーバに接続され得る電子ネットワーク２２０を示す。例えば、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５などは、それぞれ、１つ以上のコンピュータ、サーバ、及び／または手持ち式モバイルデバイスを介して、インターネットなどの電子ネットワーク２２０に接続され得る。本開示の例示的な実施形態によれば、電子ネットワーク２２０はまた、本開示の例示的な実施形態にしたがって、デジタル病理画像（複数可）に関する標本特性または画像特性情報を判定し、標本を分類するために機械学習を使用するためのスライド分析ツール２０１を含む、組織観察プラットフォーム２００を実装するように構成される処理デバイスを含み得る、サーバシステム２１０に接続され得る。

【0042】

医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５は、１人または複数の患者の細胞診標本（複数可）の画像、組織病理標本（複数可）の画像、細胞診標本（複数可）のスライド（複数可）の画像、組織病理標本（複数可）のスライド（複数可）のデジタル化された画像、またはそれらの任意の組み合わせを作成またはさもなければ取得し得る。医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５はまた、年齢、病歴、がん治療歴、家族歴、過去の生検または細胞診情報などの患者固有の情報の任意の組み合わせを取得し得る。医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５は、電子ネットワーク２２０を介して、デジタル化されたスライドの画像及び／または患者固有の情報を、サーバシステム２１０に送信することができる。サーバシステム２１０は、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５のうちの少なくとも１つから受信された画像及びデータを記憶するための１つ以上の記憶デバイス２０９を含み得る。サーバシステム２１０はまた、１つ以上の記憶デバイス２０９に記憶された画像及びデータを処理するための処理デバイスを含むことができる。サーバシステム２１０は、１つ以上の機械学習ツールまたは機能をさらに含み得る。例えば、処理デバイスは、一実施形態に係る、組織観察プラットフォーム２００用の機械学習ツールを含み得る。代替的にまたは追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で実行され得る。

【0043】

医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５は、スライドの画像を検討するために病理医によって使用されるシステムを指す。病院の設定では、組織タイプ情報は、検査室情報システム２２５のうちの１つに記憶され得る。しかし、正しい組織分類情報が、必ず画像内容と対にされるとは限らない。加えて、デジタル病理画像の標本タイプにアクセスするために検査室情報システムが使用される場合であっても、検査室情報システムの多くの構成要素が手動で入力され、エラーに対して大きなマージンを残し得るという面に起因して、このラベルは不正確であり得る。本開示の例示的な実施形態によれば、標本タイプは、検査室情報システム２２５にアクセスする必要なしに識別され得るか、または検査室情報システム２２５を修正する可能性があるように識別され得る。例えば、第３者は、検査室情報システムに記憶された対応する標本タイプのラベルなしに、画像内容への匿名化されたアクセスを与えられ得る。さらに、実験室情報システムの内容へのアクセスは、その機密内容に起因して制限され得る。

【0044】

図２Ｂは、機械学習を用いて、デジタル病理画像（複数可）に関する画像特性情報の標本特性を判定するための組織観察プラットフォーム２００の例示的なブロック図を示す。例えば、組織観察プラットフォーム２００は、スライド分析ツール２０１と、データ取込ツール２０２と、スライド取込ツール２０３と、スライドスキャナ２０４と、スライドマネージャ２０５と、記憶装置２０６と、観察アプリケーションツール２０８とを含むことができる。

【0045】

スライド分析ツール２０１は、以下に説明するように、例示的な実施形態にしたがって、組織標本に関連するデジタル画像を処理し、機械学習を使用してスライドを分析するための工程及びシステムを指す。

【0046】

データ取込ツール２０２は、例示的な実施形態による、デジタル病理画像を分類し処理するために使用される様々なツール、モジュール、構成要素、及びデバイスへのデジタル病理画像の転送を容易にするための工程及びシステムを指す。

【0047】

スライド取込ツール２０３は、例示的な実施形態にしたがって、病理画像をスキャンし、それらをデジタル形式に変換するための工程及びシステムを指す。スライドは、スライドスキャナ２０４でスキャンされ得、スライドマネージャ２０５は、スライドの画像をデジタル化された病理画像に処理し、デジタル化された画像を記憶装置２０６に記憶し得る。

【0048】

観察アプリケーションツール２０８は、例示的な実施形態にしたがって、デジタル病理画像（複数可）に関する標本特性情報または画像特性情報をユーザ（例えば、病理医）に提供するための工程及びシステムを指す。情報は、様々な出力インターフェース（例えば、画面、モニタ、記憶デバイス、及び／またはウェブブラウザなど）を介して提供され得る。

【0049】

スライド分析ツール２０１及びその構成要素の各々は、電子ネットワーク２２０を介してサーバシステム２１０、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５に、デジタル化されたスライド画像及び／または患者情報を、送信及び／または受信することができる。さらに、サーバシステム２１０は、スライド分析ツール２０１、データ取込ツール２０２、スライド取込ツール２０３、スライドスキャナ２０４、スライドマネージャ２０５、及び観察アプリケーションツール２０８のうちの少なくとも１つから受け取った画像及びデータを記憶するための１つまたは複数の記憶デバイス２０９を含み得る。サーバシステム２１０はまた、記憶デバイスに記憶された画像及びデータを処理するための処理デバイスを含むことができる。サーバシステム２１０は、例えば処理デバイスによる１つ以上の機械学習ツールまたは機能をさらに含み得る。代替的にまたは追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で実行され得る。

【0050】

上記のデバイス、ツール及びモジュールのいずれも、１つまたは複数のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを介して、インターネットまたはクラウドサービスプロバイダのような電子ネットワーク２２０に接続され得るデバイスに配置され得る。

【0051】

図２Ｃは、本開示の例示的な実施形態による、スライド分析ツール２０１の例示的なブロック図を示す。スライド分析ツールは、訓練画像プラットフォーム２３１及び／またはターゲット画像プラットフォーム２３５を含み得る。

【0052】

訓練画像プラットフォーム２３１は、一実施形態によれば、機械学習システムを訓練してデジタル病理画像を効果的に分析及び分類するために使用される訓練画像を作成または受信することができる。例えば、訓練画像は、サーバシステム２１０、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５のいずれか１つまたは任意の組み合わせから受信され得る。訓練に使用される画像は、現実のソース（例えば、ヒト、動物など）に由来し得るか、または合成のソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデルなど）に由来し得る。デジタル病理画像の例は、（ａ）Ｈ＆Ｅ、ヘマトキシリン単独、ＩＨＣ、分子病理などのような（これらに限定されない）様々な染色で染色されたデジタル化スライド、及び／または（ｂ）ｍｉｃｒｏ－ＣＴのような３Ｄ撮像デバイスからのデジタル化画像標本を含み得る。

【0053】

訓練画像取込２３２は、人間の組織の画像及びグラフィックでレンダリングされた画像の一方または両方に対応する１つまたは複数の訓練画像を含むデータセットを作成しまたは受信し得る。例えば、訓練画像は、サーバシステム２１０、医師サーバ２２１、及び／または検査室情報システム２２５の任意の１つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶装置デバイスに保持され得る。ぼやけ抽出モジュール２３３は、デジタル病理画像の有用性に大きく影響を与え得る訓練画像内のぼやけを識別することに関連する訓練データを取込み得る。例えば、ぼやけ抽出モジュール２３３は、画像全体に関する情報、例えば、標本のタイプ、標本の全体的な質、ガラス病理スライド自体または組織形態特性の全体的な質、画像の透明度、スライドの中に位置するぼやけのレベルを使用して、本明細書に記載される機械学習技術に対する訓練をもたらすのを助けることができる。スライド背景モジュール２３４は、組織の画像を分析し、デジタル病理画像内部の背景を判定することができる。組織セグメントが見過ごされないことを確実にするために、デジタル病理スライドの中の背景を同定することは有用である。

【0054】

一実施形態によれば、ターゲット画像プラットフォーム２３５は、ターゲット画像取込モジュール２３６、ぼやけ識別モジュール２３７、及び出力インターフェース２３８を含み得る。ターゲット画像プラットフォーム２３５は、ターゲット画像を受け取り、受け取ったターゲット画像に機械学習モデルを適用して、ターゲット標本の特性を判定することができる。例えば、ターゲット画像は、サーバシステム２１０、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または検査室情報システム２２５のいずれか１つまたは任意の組み合わせから受信され得る。ターゲット画像取込モジュール２３６は、ターゲット標本に対応するターゲット画像を受け取ることができる。ぼやけ識別モジュール２３７は、機械学習モデルをＷＳＩに適用して、ＷＳＩのぼやけ度スコアを判定し得る。例えば、ぼやけ度スコアモデル２３７は、機械学習モデルを適用して、ＷＳＩのぼやけ除去をし、ＷＳＩのぼやけ度スコアを判定し、医療画像のセクション／タイルの画素別分類を実行し、医療画像のタイル／セクションを組み合わせることができる。

【0055】

出力インターフェース２３８は、ターゲット画像及びターゲット標本に関する情報を（例えば、スクリーン、モニタ、記憶デバイス、ウェブブラウザなどに）出力するために使用され得る。

【0056】

図３は、方法４００においてより詳細に説明されるように、１つ以上のデジタル画像のセットのぼやけを修復するための工程３００を示す。工程３００は、スキャン及び／または取得工程３０４に入力される標本及び／または画像３０２を含むことができる。スキャン及び／または取得工程は、１つまたは複数のデジタル画像３０６を出力することができる。次いで、１つ以上のデジタル画像３０６は、以下の方法４００のステップ４０２～４１４で、より詳細に説明される後処理のぼやけ除去手順３０８に入力され得、それは１つ以上の修正されたデジタル画像３１０を出力する。後処理のぼやけ除去手順３０８は、例示的な方法４００でより詳細に説明され得る。凡例３２０は、工程の各々が取り得るフォームを示し得る。

【0057】

図４は、本明細書の１つ以上の例示的な実施形態による、画像をどのように処理する（例えば、画像のぼやけ除去）かという方法を示すフローチャートである。例示的な方法４００（例えば、ステップ４０２～４１４）は、自動的に、またはユーザ（例えば、医師、病理学者など）からの要求に応答して、スライド分析ツール２０１によって実行され得る。代替的に、方法４００は、以下でより詳細に説明するデバイス８００などの画像の入力を受け取ることができる任意のコンピュータ工程システムによって実行され得る。

【0058】

ステップ４０２において、スライド分析ツール２０１は、以下では一般に「システム」と呼ばれ、医療標本（例えば、組織標本）の複数の電子医療画像を受け取ることができる。一実施形態では、医療画像は、同じ視点からの画像であってもよい。別の実施形態では、医療標本の画像は、異なる視点からであってもよい。別の実施形態では、システムは、医療標本の単一の医療画像のみを受け取ることができる。医療画像は、電子記憶装置、例えば、クラウド記憶装置、ハードドライブ、ＲＡＭなどに記憶され得る。ステップ４０２で受け取られた医療画像は、図３のデジタル画像３０６と同等であってもよい。

【0059】

ステップ４０２において、システムは、単一の医療標本の画像を受け取り得る。代替的に、システムは、複数の医療標本の各々に対する１つ以上の画像を受け取り得る。システムが２つ以上の標本の画像を受け取る場合、システムは、どの医療標本をそれが表すかに基づいて、各画像をマークし、記録することができる。

【0060】

ステップ４０４において、システムは、複数の電子医療画像の各々を複数のタイルに分ける／分割し得、複数のタイルの各タイルは、所定のサイズである。複数のタイルは、電子画像として機能し得る。タイルは、Ｍ×Ｍのサイズであり得る。さらに、タイルのサイズは、医療画像が処理された倍率のレベルに依存し得る。これは、より低い倍率のレベルにおいて、Ｍ×Ｍ画素のタイルが、より高い倍率レベルにおけるＭ×Ｍのタイルよりも大きい領域を表し得ることを意味し得る。一実施形態では、スキャン倍率レベルの２０倍で、タイルは、２２４×２２４画素のような所定のサイズであり得る。別の実施形態では、ユーザは、様々な倍率レベルでのタイルの寸法のために様々なサイズから選択することができる場合がある。ステップ４０２から得たすべての入力画像がタイルに分割されると、システムは、医療画像のどのタイルが「バックグラウンドタイル」であるかを検出し得る。バックグラウンドタイルは、複数の画素が医療画像を示さないタイルを指し得る。例えば、画素は、医療標本が位置する表面であってもよい。一実施形態では、システムは、大津の手法を利用することによって、タイルが背景であるかどうかを判定することができる。バックグラウンドは、大津の手法または他の何らかのスキームを用いて検出することができる。あるいは、システムは、最大エントロピー閾値法などの、前景を背景から分離することができる任意の他の方法を使用してもよい。バックグラウンドタイルは、システムによってラベル付けまたはマーク付けされ得る。システムは、バックグラウンドスライドに対してそれ以上の分析を行わなくてもよく、ステップ４０６～４１２は、医療標本のタイルのみを指し得る。

【0061】

ステップ４０６において、システムは、複数のセットの整合タイルを判定することができ、各セットのタイルは、医療標本の複数の領域のうちの所与の領域に対応する。システムは、最初に、特定の医療標本に対していくつの電子画像Ａが存在するかを示すことができる。次に、システムは、医療標本に対する複数のセットを判定することができる。各セットは、その中にＡタイルを有し得、各医療画像のタイルに対応する。セットの数は、各医療標本に対して何個のタイルが存在するかに基づくことができる。

【0062】

例えば、システムは、医療標本の３つの画像を受け取り得る。次に、システムは、画像を各画像に対して２５×２５のタイルのグリッドに分割することによって、各画像をタイルに分割することができる。次いで、システムは、３つの整合タイルの６２５セットを作成することができる。

【0063】

ステップ４０６において、システムは、様々な方法で異なる医療画像から対応するタイル整合を判定することができる。一実施形態では、各タイルは、医療画像の４×７のタイルなどの列及び行に基づいてマークされ得る。次に、対応するタイルは、同じ医療標本の医療画像に対して４×７の各タイルとなる。あるいは、システムは、いずれかの他の識別情報を使用して、位置に基づいてタイルをマークし得る。別の実施形態では、対応マッチング技術を利用して、異なる医療画像からのタイルをマッチングしてもよい。例えば、システムは、次の対応する画像からの同じ点または特徴と一致する１つの画像で、点／特徴を作成することができる。これは、医療画像が異なる視点から得られる場合でも、システム内のコンピュータアルゴリズムによって、タイルが互いに関連付けられることを可能にし得る。

【0064】

別の実施形態では、対応するタイルを判定するために、画素別分類方法が利用され得る。例えば、システムは、機械学習モデルを利用して、各タイルの画素ごとの分類を実行することができる。画素別分類を実行する機械学習モデルは、教師あり、教師なし学習、または半教師あり学習を使用して訓練され得る。訓練は、一般的な画素別分類データを含み得る訓練データに基づき得る。一般的な画素別分類データは、グランドトゥルースの意味的分割マスクを指し得る。グランドトゥルース意味的分割マスクは、オリジナルスライド画像に関する情報と、各画素のカテゴリを記述する情報とを含むことができる。これは、各画素に対する正しい出力値を示す目標出力「画象」として定義することができる。訓練は、画素別分類（例えば、重み、バイアス、層など）を実行する機械学習モデルの構成要素が、訓練データ及び入力されたタイルに基づいて対応するタイルを出力するように調整されるように行うことができる。一度、画素別分類が適用されると、システムは、機械学習技術を通じて、タイルの画素別分類を整合させてセットを判定することができ得る。

【0065】

別の実施形態では、画像の位置合わせに関連する任意の形態または技術をシステムが利用して、対応するタイルを判定し、同じ医療標本の異なる医療画像からセットを作成することができる。

【0066】

ステップ４０８において、方法は、複数のセットの整合タイルの各々について、タイルの画像のぼやけのレベルに対応するぼやけ度スコアを判定することを含み得る。ぼやけ度スコアは、タイルの透明度を定める分数、比、数、または百分率であってもよい。ぼやけ度スコアは、より少ない明瞭なエッジを有するタイルに対して、及びより大きなぼやけであると考えられるタイルに対して、より高くなり得る。例えば、より高いぼやけ度スコアを有する画像は、より少ないエッジを有し得る。タイル当たりのぼやけ度スコアは、例えば、ぼやけを識別するために、訓練された畳み込みニューラルネットワークを用いて、ラプラス分散、フーリエ変換、ウェーブレット変換を使用して、計算され得る。

【0067】

一実施形態では、システムは、ラプラス分散を利用して、タイルのぼやけ度スコアを判定することができる。システムは、ラプラスフィルタを適用して、入力されたタイルのエッジを見つけることができる。任意選択に、システムは、ラプラス（「ラプラシアン」）フィルタを適用する前に、最初にタイルにグレースケールを適用してもよい。ラプラシアンフィルタは、画像の第２の導関数を計算するために利用されるエッジ検出器であり得る。次に、システムは、ラプラシアンフィルタを用いてタイルの分散を計算することができる。ぼやけ度スコアは、ラプラシアン分散に直接対応し得、より低い分散はより高いぼやけ度スコア（例えば、より大きなぼやけ度のタイル）に対応する。

【0068】

別の実施形態では、システムは、高速フーリエ変換（「ＦＦＴ」）を利用して、ぼやけ度スコアを判定し得る。この実施形態では、離散フーリエ変換を計算するための数学的アルゴリズムを、各タイルに適用することができる。これは、入力タイルを空間領域から周波数領域に変換し得る。次に、システムは、高域フィルタまたは帯域フィルタを適用して、高周波数に対応するエッジを判定することができる。次に、検出されたエッジを利用してぼやけ度スコアを計算することができ、より多くのエッジを有するタイルはより高いぼやけ度スコアを有することができ、より少ないエッジを有するタイルはより低いぼやけ度スコアを有することができる。

【0069】

一実施形態では、システムは、ウェーブレット変換を利用して、タイルのぼやけ度スコアを判定することができる。システムは、まず、タイルをＮ×Ｎ個の内部タイルに分離することができる。次に、システムは、２次元ハールウェーブレット変換のいくつかの反復を各内側タイルに適用することができる。次に、各内側タイルは、タイルクラスタへの顕著な変化を伴って、水平、垂直、及び斜めにグループ化され得る。ぼやけ度スコアは、クラスタの量に基づくことができる。例えば、小さなタイルクラスタを有するタイルは、より高いぼやけ度スコアに対応し得、大きなタイルクラスタを有するタイルは、低いぼやけ度スコアに対応し得る。代替的に、ぼやけ度スコアは、タイル全体と比較した、接続されたタイトルクラスタの総面積の比に基づくことができる。

【0070】

別の実施形態では、システムは、畳み込みニューラルネットワークなどの機械学習モデルを利用して、各タイルに対するぼやけ度スコアを判定することができる。ぼやけ度スコアを判定するための機械学習モデルは、教師あり、半教師あり、または教師なし学習を使用して訓練され得る。訓練は、全体的なぼやけ、領域内のぼやけ、及び局所的なぼやけを含む医療画像のタイルを含む訓練データに基づくことができる。訓練データは、所定のぼやけ度スコアを有するタイルを有することができる。訓練は、機械学習モデルの構成要素（例えば、重み、バイアス、層）が、訓練データ及び入力されたタイルに基づいてぼやけ度スコアを出力するように調整されるように行うことができる。ぼやけ度スコアを判定するための機械学習モデルは、入力としてタイルを受け取ることができる。機械学習モデルは、入力された各タイルに関連するぼやけ度スコアを出力することができる。

【0071】

ステップ４１０において、方法は、整合タイルの各セットに対して、ぼやけ度の最低レベル（例えば、ステップ４０８からの最低ぼやけ度スコア）を示すぼやけ度スコアのタイルを判定することを含み得る。例えば、システムが医療標本の３つの画像を受信し、各画像を２５×２５のタイル（画像当たり合計６２５のタイル）に分割した場合、６２５セットの３つのタイルが存在することになる。６２５セットの各々に対して、システムは、ランキングアルゴリズムを利用して、タイルの各々をぼやけ度スコアによってランク付けし得る。これは、システムが、医療標本のタイルの各セットに対する最高及び最低のぼやけ度スコアを記録することを可能にし得る。

【0072】

ステップ４１２において、方法は、複合電子医療画像を判定することを含むことができ、複合電子医療画像は、最も低いレベルのぼやけを示すぼやけ度スコアの整合タイルの各セットからの複数のタイルを含む。システムは、最も高いぼやけ度スコアに対応する、最も低いレベルのぼやけの各セットから、タイルを最初に識別することができる。同じセットからの対応するタイルが同じぼやけ度スコアを有する場合、タイルのいずれかが複合電子医療画像において利用され得る。次に、システムは、最も低いレベルのぼやけのすべてのタイルを組み合わせて、最も低いレベルのぼやけの複合電子医療画像を作成する。システムは、ステップ４０４で識別されたバックグラウンドタイルをさらに組み合わせることができる。システムは、バックグラウンドタイルが分析されないことがあるので、医療標本の任意の医療画像からのバックグラウンドタイルを利用することができる。すべてのタイルを組み合わせることは、医療標本の新たな完全な画像を形成するために、画像のすべてのまたは複数のタイルを一緒にコンパイル、圧縮、結合、接続、レンダリング、スティッチングすることなどを含み得る。次いで、システムは、交換／結合された任意のタイルの周りの完全な画像の１つ以上の継ぎ目の平滑化を実行することができる。言い換えれば、単一の時間平滑化は、最終的な医療画像が、同じ元の医療画像から生じたタイルが互いに接触する場合に、利用され得ない。

【0073】

ステップ４１２は、複合ＡＩモデルと呼ばれる機械学習モデルを利用することによって実行され得る。複合ＡＩモデルは、教師あり、半教師あり、自己教師あり、及び／または教師なし学習を用いて訓練され得る。これらの異なる訓練方法を組み合わせて、最終モデルを訓練することができる。訓練は、特定の画像の複数のタイルを含む訓練データに基づくことができる。訓練は、複合ＡＩモデルの構成要素（例えば、重み、バイアス、層など）が、出力画像を作成するタイルを分ける可能な限り少ない表示で合成された（スティッチング及び平滑化を通じて）画像を出力するように調整されるよう、行われ得る。したがって、モデルは、医療画像のセットのタイルをコンパイルしスティッチする方法を最も効果的に複合ＡＩモデルに教示するように訓練され得る。

【0074】

図５は、実行されているステップ４１２の例を示し得る。図５は、スキャン１及びスキャン２と呼ばれる同じ医療標本からの２つの医療画像に関する例を示す。医療画像は、タイルに分割され（例えば、４ｘ４で１６タイルに）、ぼやけのスコア（図示せず）が得られた。システムは、スキャン１がぼやけ領域５０２（スキャン２の対応するタイルよりも高いぼやけ度スコアを示す）のある２つのタイルを有すると判定し得る。スキャン１は、約１０％の総合的なぼやけを有し得る。システムは、さらに、スキャン２がぼやけ領域５０２のある６つのタイルを有すると判定し得、ぼやけ度スコアは、スキャン１よりもスキャン２において高い。スキャン２は、約２０％の総合的なぼやけを有し得る。システムは、すべての残りのタイルが同等のぼやけ度スコアを有すると判定することができる。次いで、システムは、図３に「出力」として示されている複合電子医療画像を作成することができる。複合電子医療画像は、整合タイルの各セットに対する選択領域５０１に対応する、最も低いぼやけ度スコアを有するタイルを選択することができる。したがって、複合電子医療画像（出力）は、スキャン１またはスキャン２と比較して、より少ない（またはぼやけがない）ものであり得る。

【0075】

一実施形態では、任意選択に、システムは、「総合的ぼやけ度スコア」を追跡し得る。総合的ぼやけ度スコアは、複合電子医療画像で利用されるすべてのタイルの組み合わされたぼやけ度スコアであってもよい。ぼやけ度スコアが数字である場合、総合的ぼやけ度スコアも数字であり得る。ぼやけ度スコアが比またはパーセンテージである場合、総合的ぼやけ度スコアは、すべてのタイルに対するぼやけ度スコアの比またはパーセンテージの平均であり得る。総合的ぼやけ度スコアが第１の閾値を超える場合、システムは、医療画像の再スキャンを命じることができる。これは、（図１に示すように）画像が全体的なぼやけを有する場合に生じ得る。あるいは、所与の位置における十分に多くのタイルが不適切なぼやけ度スコアを有する場合、システムは、医療画像の再スキャンを命じてもよい。例えば、総合的ぼやけ度スコアが第１の閾値を下回る場合であっても、複数の接続タイルが第２の閾値を上回る高いぼやけ度スコアを有する場合、システムは、医療画像の再スキャンを命じることができる。例えば、複合電子医療画像は、第１の閾値より低い総合的ぼやけ度スコアを有し得る。次いで、システムは、対応する継ぎ目に沿って接続された複数のタイル（例えば、４つのタイル）が、第２の閾値を上回るぼやけ度スコアを有すると判定し得、システムは、再スキャンを命じ得る。再スキャンが要求される場合、システムは、システムが医療標本の新たなスキャンを伴わずにぼやけを修復することができないとユーザに警告し得る。再スキャンに対する要求は、参照によりその全体が本明細書に組み込まれる米国特許出願公開第２０２００３８１１０４Ａ１号に開示される方法を用いて行うことができる。

【0076】

別の実施形態では、システムは、「二次総合的ぼやけ度スコア」を追跡し得る。この実施形態では、二次総合的ぼやけ度スコアは、すべてのタイルに基づいて、入力された電子医療画像ごとに計算され得る。システムは、医療標本に対するすべての医療画像の最低の二次総合的ぼやけ度スコアを判定し得る。次いで、システムは、上述のようにステップ４０６～４１０を実行することができる。次に、複合電子医療画像を判定するとき、システムは、最も低い二次総合的ぼやけ度スコアを有する初期医療画像から始めることができる。この実施形態では、特定の第３の閾値を上回るぼやけ度スコアを有するタイルのみが置き換えられ得る。タイルが第３の閾値を上回るぼやけ度スコアを有する場合、それらは、すべての対応するタイルの最低ぼやけ度スコアを有する対応するタイルと置き換えられ得る。次に、タイルは、上述のように組み合わされ、平滑化され得る。この実施形態は、より少ない計算能力、及びより少ないタイル全体のスティッチを必要とし得る。

【0077】

別の実施形態では、方法は、セットの中のすべてのタイルのぼやけ度スコアが依然として高すぎる場合（例えば、第１の閾値を超える）、条件付き生成モデル、超解像のための深層生成モデル（例えば、条件付き生成広告ネットワーク、条件付き変分自己符号器、フローベースの生成方法、人工ニューラルネットワークを使用する他の深層学習技術、識別モデルまたは生成モデルなど）を使用して、１つまたは複数の欠陥タイルの解像度を増加させることを含むことができる。条件付き生成手法を使用するこの方法は、「ぼやけ除去」と称することができる。「ぼやけ除去」は、以下でさらに詳細に説明するように、ぼやけ除去ＡＩモデルによって実行され得る。図６は、生成方法を使用してぼやけ除去のためのアルゴリズムを訓練する例示的な方法を提示することができる。さらに、図７は、以下にさらに詳細に説明するように、生成的なぼやけ除去方法を訓練するためのワークフローを示す。この実施形態では、ぼやけ除去は、最低のぼやけ度スコアを有するセットにおいて、タイルに適用され得る。代替的に、ぼやけ除去をセットの全タイルに適用し、新しいぼやけ度スコアを計算して、どのタイルを複合電子医療画像で使用すべきかを判定することができる。

【0078】

別の実施形態では、方法は、複合電子医療画像の任意のタイルのぼやけ度スコアが第２の閾値を上回る場合、第２の閾値を上回るタイルに対してぼやけ除去を実行することを含むことができる。次いで、これらの更新されたタイルは、それらの対応するタイルを置き換えて、複合電子医療画像に組み込まれ得る。

【0079】

訓練されると、生成的なぼやけ除去アルゴリズムは、ステップ４０２で受け取った医療標本の複数の電子医療画像に対応するデジタル画像７０２を受け取ることができる。ぼやけ除去アルゴリズムは、高いぼやけ度スコアを有するタイルに適用され、各タイルの解像度を高めることができる。これは、ぼやけ除去と称することができる。生成的なぼやけ除去は、医療標本に対するタイルのセットがすべて、第２の閾値を上回るぼやけ度スコアを有する場合に利用され得る。

【0080】

ステップ４１４において、方法は、表示用の複合電子医療画像を提供することを含み得る。医療画像は、図３からのデジタル画像３１０に対応し得る。方法は、どのタイルが変更されたかを示す対応するバイナリまたはセマンティックマスクを用いて、結果として得られた画像を電子記憶装置に保存することを含み得る。バイナリまたはセマンティックマスクは、複合電子医療画像の各タイルがどの初期医療画像に対応するか、ぼやけ度スコアを判定するためにどの方法が利用されたか、任意のタイルがぼやけ除去を適用されたか、及びどのタイルがぼやけ除去を適用されたかなどの情報を含み得る。複合電子画像は、図２Ｂの観察アプリケーションツール２０８に表示され得る。複合電子画像は、ファイル／画像として他の外部システムにエクスポートされ得る。さらに、システムは、どのタイルがどの医療画像から来たのか、及びどのタイルが生成されたのかを示すセマンティックマスクを保存し得る。別の実施形態では、システムは、複合電子医療画像に対応するバイナリマスクを保存することができ、バイナリマスクは、ぼやけが存在したか否かに関する情報を含む。

【0081】

図６は、本明細書の１つ以上の例示的な実施形態による、生成方法を使用してぼやけ除去のためのアルゴリズムを訓練する例示的な方法を示すフローチャートである。例示的な方法６００（例えば、ステップ６０２～６１４）は、セットの全タイルのぼやけ度スコアが第２の閾値を上回る場合に、スライド分析ツール２０１によって自動的に実行され得る。加えて、ユーザ（例えば、病理学者）は、複合電気医療画像の１つ以上のタイルを検査し、タイルのぼやけ度スコアに基づいて、ぼやけ除去を作動させるタイルを選択できるようにし得る。ユーザはさらに、ユーザが再スキャンにアクセスしないが、ぼやけがＷＳＩに存在する場合に、スライド画像全体または特定のタイルに対してぼやけ除去を開始できるようにし得る。例えば、スライドが失われた可能性があるか、スライドが元の機関に送り返された可能性があるか、再スキャンの待機時間が長すぎると判定された可能性があるか、またはスキャンが元のＷＳＩへのアクセスを有さない別のエンティティによって下流に保持される場合がある。

【0082】

ステップ６０２において、方法は、同じ医療標本の複数の電子医療訓練画像を受け取ることを含み得る。医療標本は、組織標本であってもよい。これらの医療画像は、電子記憶装置、例えば、クラウド記憶装置、ハードドライブ、ＲＡＭなどを介して保存され得る。ステップ４０２とは異なり、一実施形態では、複数の電子画像は、特定の量のぼやけを有する画像を含まないようにスクリーニングされ得る。

【0083】

ステップ６０４において、システムは、複数の電子医療訓練画像の各々を複数のタイルに分けることができ、複数のタイルの各タイルは、所定のサイズである。タイルは、Ｍ×Ｍのサイズであり得る。ステップ４０４と同様に、方法は、同様の技術を利用して画像をバックグラウンドタイルと非バックグラウンドタイルとに分割し得る。

【0084】

ステップ６０６において、方法は、画像のぼやけをシミュレートするために、１つ以上のぼやけフィルタをタイルの設定量に適用することを含み得る。これは、ＮｘＮの畳み込み、ガウシアンぼかし、または挿入された医療画像の中で「ぼやけ」を生成することができる任意の他の技術を適用するシステムによって実行され得る。例えば、システムがガウシアンぼかしを適用した場合、各画素に適用する変換を計算するためのガウシアン関数が計算される。ガウシアンぼかしは、１つ以上のタイルに適用され得る。複数のタイルに適用される場合、ガウシアンぼかしは、互いに隣接して位置するタイルに適用され得る。次に、システムは、ぼやけが適用された更新されたタイルを保存することができる。

【0085】

ステップ６０８において、方法は、訓練としてぼやけ除去ＡＩモデルを通じて、複数のぼやけ付きタイルを入力することを含み得る。任意選択に、方法は、隣接するぼやけのないタイル／画像、またはモデルがぼやけた画像をより良好に修復するのを助け得る全体的であるかまたは局所的でないコンテキストの何らかの他の形態を入力することを含み得る。これは、単一のタイル内部の情報が不十分な情報を含み得る状況におけるぼやけの修復を助け得る。隣接するタイルは、ｘ－ｙ位置に関して隣接し得るか、またはｚ位置に関して隣接し得、ｚ位置は、ブロックの前のレベル及び次のレベル（例えば、同じ医療サンプルの医療画像に対する対応するタイル）を意味する。ぼやけ除去ＡＩモデルは、教師なし、半教師あり、または教師なし学習を使用して訓練され得る。訓練は、ぼやけ除去ＡＩモデルの構成要素（例えば、重み、バイアス、層など）が、訓練データ（ぼやけ及び対応するぼやけのないタイル）に基づいてターゲット集団を出力するように調整されるように行われてもよい。

【0086】

ステップ６１０において、方法は、結果として生じるぼやけ除去ＡＩモデル出力及び初期のぼやけのないタイルを使用して、モデル損失を計算することを含み得る。

【0087】

ステップ６１２において、方法は、この損失を使用して、訓練中のモデルを最適化し、ぼやけのない入力画像と、結果として生じるぼやけ除去のされた画像との間の差を最小化することを含み得る。

【0088】

ステップ６１４において、方法は、モデルが修復における許容可能なレベルまたはエラーに十分に収束するまで方法を繰り返すことを含み得る。例えば、ステップ６１４は、方法４００のステップ４１２で説明したように、タイルが第２の閾値未満のぼやけ度スコアを受け取るまでモデルがタイルのぼやけ除去を訓練されるまで、必要に応じた数の訓練タイルを用いて実行することができる。

【0089】

図７は、上述の方法６００に記載されるような、生成的なぼやけ除去方法を訓練するためのワークフローを示す。デジタル画像７０２は、ステップ６０２で説明したように、ぼやけを含まない、または無視できる程度のぼやけを含む医療画像の訓練データを指し得る。次に、システムは、訓練データをタイルに分解した後、例えばＮｘＮの畳み込み、またはガウス平滑化などのステップ６０６で説明した方法のいずれかで、訓練データに人工的なぼやけ７０４を適用することができる。次に、システムは、人工的なぼやけ７０４が医療画像７０２に適用された後にぼやけデジタル画像７０６を有することができる。次に、ぼやけデジタル画像７０６は、訓練７０８（例えば、ステップ６０８で説明されたぼやけ除去ＡＩモデル）の下で後処理のぼやけ除去手順に供給され得る。後処理のぼやけ除去手順７０８は、人工的なぼやけ７０４によって適用されるぼやけを打ち消そうとするぼやけていないデジタル画像７１０を出力することができる。次いで、元の対応するデジタル画像７０２と共に、ぼやけのないデジタル画像７１０の両方が、損失関数７１２に入力され得る。損失関数７１２は、ぼやけの修復における誤差を最小限に抑えるように訓練手順を誘導することができる。損失関数は、ぼやけ除去システム７１４の最適化の間にモデルを最適化するために利用され得る。ぼやけ除去システム７１４の最適化は、次いで、訓練７０８の下で後処理のぼやけ除去手順を更新するために利用され得る。

【0090】

図８に示すように、デバイス８００は、中央処理装置（ＣＰＵ）８２０を含むことができる。ＣＰＵ８２０は、例えば、任意の種類の特定用途または汎用マイクロプロセッサデバイスを含む任意の種類のプロセッサデバイスであってもよい。当業者によって認識されるように、ＣＰＵ８２０はまた、マルチコア／マルチプロセッサシステム、単独でまたはコンピューティングデバイスのクラスタで、クラスタでまたはサーバーファーム内で動作するシステム内の単一のプロセッサであり得る。ＣＰＵ８２０は、データ通信インフラストラクチャ８１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続され得る。

【0091】

デバイス８００はまた、メインメモリ８４０、例えば、ランダムアクセスメモリ（ＲＡＭ）をも含んでもよく、また二次メモリ８３０を含み得る。二次メモリ８３０、例えば、読み出し専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたは取り外し可能な記憶ドライブであり得る。そのような取り外し可能な記憶ドライブは、例えばフロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同様のものを含み得る。この例での取り外し可能な記憶ドライブは、周知の手法で取り外し可能な記憶ユニットから読み出し、及び／またはこれに書き込む。取り外し可能な記憶装置は、取り外し可能な記憶ドライブによって読み出し及び書き込みされるフロッピー（登録商標）ディスク、磁気テープ、光ディスクなどを含み得る。当業者によって認識されるように、そのような取り外し可能な記憶ユニットは、概して、そこにコンピュータソフトウェア及び／またはデータを格納したコンピュータ使用可能記憶媒体を含む。

【0092】

代替的な実装形態において、二次メモリ８３０は、コンピュータプログラムまたは他の命令がデバイス８００にロードされることを可能にする類似の手段を含み得る。かかる手段の例は、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲーム機器において見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭ、またはＰＲＯＭなど）及び関連するソケット、及び他の取り外し可能な記憶ユニット及びソフトウェア及びデータが取り外し可能な記憶ユニットからデバイス８００へと転送されることを可能にするインターフェースを含み得る。

【0093】

デバイス８００はまた、通信インターフェース（「ＣＯＭ」）８６０を含み得る。通信インターフェース８６０は、ソフトウェア及びデータが、デバイス８００と外部デバイスとの間で転送されることを可能にする。通信インターフェース８６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カードなど）、通信ポート、ＰＣＭＣＩＡスロット及びカード、または同様のものを含み得る。通信インターフェース８６０を経由して転送されるソフトウェア及びデータは、信号の形式であってもよく、これは通信インターフェース８６０によって受信されることのできる電気、電磁、光、または他の信号であり得る。これらの信号は、デバイス１３００の通信経路を介して通信インターフェース８６０に提供され得、それは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話のリンク、ＲＦリンクまたは他の通信チャネルを使用して実装され得る。

【0094】

そのような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は、それに十分に精通していると推定される。デバイス８００はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどといった入出力デバイスと接続するための入出力ポート８５０も含むことができる。もちろん、様々なサーバの機能は、処理負荷を分散させるために、多数の同様のプラットフォームで分散された形で実装され得る。あるいは、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。

【0095】

図９は、１つ以上の実施形態に係る、画像のぼやけ除去の、ぼやけ度スコアを判定する、画像のタイルを組み合わせる、または画素別分類を実行するための機械学習モデルを訓練するための流れ図を示す。本明細書に開示される１つまたは複数の実装形態は、機械学習モデルを使用することによって適用され得る。本明細書に開示されるような機械学習モデルは、図７の流れ図７００、図４のフローチャート４００、及び／または図６の流れ図６００を使用して訓練され得る。図９の流れ図９００に示すように、訓練データ９１２は、訓練される機械学習モデルに関連するステージ入力９１４及び既知の結果９１８のうちの１つまたは複数を含むことができる。ステージ入力９１４は、図４、図６、または図７に記載される構成要素またはセットを含む、任意の適用可能なソースからのものであってもよい。既知の結果６１８は、教師ありまたは半教師ありの訓練に基づいて生成された機械学習モデルに含まれ得る。教師なし機械学習モデルは、既知の結果９１８を用いて訓練されなくてもよい。既知の結果９１８は、対応する既知の出力を有さないステージ入力９１４と同様のまたは同じカテゴリの将来の入力に対する既知のまたは所望の出力を含むことができる。

【0096】

訓練データ９１２及び訓練アルゴリズム９２０は、訓練データ９１２を訓練アルゴリズム９２０に適用して、ステップ６０８／訓練中の後処理のぼやけ除去手順７０８に記載されているぼやけ除去ＡＩモデル、ステップ６０８の訓練されたぼやけ度スコア機械学習モデル、ステップ４１２の複合ＡＩモデル、またはステップ４０４の訓練された画素別分類機械学習モデルを生成することができる訓練構成要素９３０に提供することができる。実装形態によれば、訓練構成要素９３０は、対応する機械学習モデルの以前の出力を比較して、以前の結果を適用して機械学習モデルを再訓練する比較結果９１６を提供され得る。比較結果９１６は、対応する機械学習モデルを更新するために訓練構成要素９３０によって使用され得る。訓練アルゴリズム９２０は、機械学習ネットワーク及び／またはモデルを利用することができ、これには、深層ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みネットワーク（ＦＣＮ）及び回帰型ニューラルネットワーク（ＲＣＮ）などの深層学習ネットワーク、ベイジアンネットワーク及びグラフィカルモデルなどの確率モデル、及び／または決定木及び最大マージン法などの識別モデルなどが含まれるが、これらに限定されない。流れ図９００の出力は、訓練７０８の下でステップ６０８／後処理のぼやけ除去手順で説明したぼやけ除去ＡＩモデルの中で使用されるモデル、ステップ６０８の訓練されたぼやけ度スコア機械学習モデル、またはステップ４０４の訓練された画素別分類機械学習モデルなどの訓練された機械学習モデルとすることができる。

【0097】

本明細書に提示される技術は、必ずしもそのようなシステムを作成するために使用され得る画像処理とコンピュータビジョンとの特定の組み合わせに関する必要はなく、むしろ、診断画像における焦点外れ問題をデジタル的に解決する目的のためにそのようなツールを使用するという着想に関する。

【0098】

先に説明したように、画像を単純に再スキャンすると、全体的に焦点外れ領域が少なくなる場合があり得るが、本明細書に提示される技術は、複数の画像を組み合わせて、任意の単一の画像よりもぼやけが少ないものを作成することができる。

【0099】

本開示全体を通して、構成要素またはモジュールに対して言及することは、一般に、論理的に一緒にグループ化されて、機能または関連する機能のグループを実行し得る項目を指す。同様の参照符号は、一般に、同じまたは同様の構成要素を指すことを意図する。構成要素及び／またはモジュールは、ソフトウェア、ハードウェア、またはソフトウェア及び／またはハードウェアの組み合わせで実装され得る。

【0100】

上述のツール、モジュール、及び／または機能は、１つ以上のプロセッサによって実行され得る。「記憶装置」の類の媒体は、コンピュータ、プロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連モジュールのいずれかまたはすべてを含み得て、これらは、ソフトウェアプログラミングのためにいつでも非一時的な記憶をもたらすことができる。

【0101】

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通じて通信され得る。例えば、通信は、１つのコンピュータまたはプロセッサから別のものへのソフトウェアのロードを可能にし得る。本明細書で使用する場合、非一時的で有形の「記憶」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を与えることに関与する任意の媒体を示している。

【0102】

前述の一般的な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書の考慮及び本明細書に開示される実践から、当業者にとって明らかとなり得る。本明細書及び例は、単に例として考えられることが意図される。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】