特表 2024-501642 画像内の注釈付きの関心領域の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-15

(54)【発明の名称】画像内の注釈付きの関心領域の検出

(51)【国際特許分類】

   G06T 7/90 20170101AFI20240105BHJP

   G06T 7/00 20170101ALI20240105BHJP

【ＦＩ】

G06T7/90 C

G06T7/00 630

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023536508

(86)(22)【出願日】2021-12-16

(85)【翻訳文提出日】2023-07-26

(86)【国際出願番号】 US2021063837

(87)【国際公開番号】W WO2022133104

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/126,298

(32)【優先日】2020-12-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】500213834

【氏名又は名称】メモリアル スローン－ケタリング キャンサー センター

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100176418

【弁理士】

【氏名又は名称】工藤 嘉晃

(72)【発明者】

【氏名】フックス トーマス

(72)【発明者】

【氏名】シュフラー ペーター ジェイ

(72)【発明者】

【氏名】ヤーラガッダ ディグ ヴィジャイ クマール

(72)【発明者】

【氏名】ヴァンダービルト チャド

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA06

5L096BA13

5L096CA24

5L096EA02

5L096EA05

5L096EA39

5L096FA06

5L096GA10

5L096GA30

5L096GA34

5L096GA40

5L096GA41

5L096GA51

5L096GA55

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

本開示は、画像内の関心領域（ＲＯＩ）を特定するためのシステム及び方法を対象とする。コンピューティングシステムは、ＲＯＩを画定する注釈を含む画像を特定し得る。画像は、第１の色空間内の複数のピクセルを有し得る。コンピューティングシステムは、複数のピクセルを第１の色空間から第２の色空間に変換して、注釈をＲＯＩから区別し得る。コンピューティングシステムは、注釈に対応するピクセルの第１のサブセットを、第２の色空間内のピクセルの第１のサブセットの色値に少なくとも基づいて選択し得る。コンピューティングシステムは、ピクセルの第１のサブセットを使用して、画像から、ＲＯＩに含まれるピクセルの第２のサブセットを特定し得る。コンピューティングシステムは、ピクセルの第２のサブセットと画像内の注釈によって画定されるＲＯＩとの間の関連付けを記憶し得る。
【選択図】図７

【特許請求の範囲】

【請求項1】

画像内の関心領域（ＲＯＩ）を特定する方法であって、
コンピューティングシステムによって、ＲＯＩを画定する注釈を含む画像を特定することであって、前記画像が、第１の色空間内の複数のピクセルを有する、特定することと、
前記コンピューティングシステムによって、前記複数のピクセルを前記第１の色空間から第２の色空間に変換して、前記注釈を前記ＲＯＩから区別することと、
前記コンピューティングシステムによって、前記複数のピクセルから、前記注釈に対応するピクセルの第１のサブセットを、前記第２の色空間内の前記ピクセルの第１のサブセット内の少なくとも１つのピクセルの色値に少なくとも基づいて選択することと、
前記コンピューティングシステムによって、前記ピクセルの第１のサブセットを使用して、前記画像から、前記ＲＯＩに含まれるピクセルの第２のサブセットを特定することと、
前記コンピューティングシステムによって、１つ以上のデータ構造に、前記ピクセルの第２のサブセットと前記画像内の前記注釈によって画定される前記ＲＯＩとの間の関連付けを記憶することと、を含む、方法。

【請求項2】

前記コンピューティングシステムによって、前記ピクセルの第２のサブセットを前記ＲＯＩとして特定する前記画像を提供して、画像分割、画像位置特定、又は画像分類のうちの少なくとも１つのために機械学習モデルをトレーニングすることを更に含む、請求項１に記載の方法。

【請求項3】

前記コンピューティングシステムによって、前記ピクセルの第２のサブセットと前記画像から特定される前景部分とに少なくとも基づいて、前記画像内の前記ＲＯＩのために定義するマスクを生成することを更に含む、請求項１に記載の方法。

【請求項4】

前記コンピューティングシステムによって、ピクセルの第４のサブセットを部分的に取り囲み、前記注釈に対応するピクセルの第３のサブセットにカーネルを適用して、前記ＲＯＩに対応する前記ピクセルの第４のサブセットを完全に取り囲む前記ピクセルの第１のサブセットを選択することを更に含む、請求項１に記載の方法。

【請求項5】

前記コンピューティングシステムによって、前記注釈のピクセルの閾値数を下回るピクセルの第３のサブセット内のピクセル数に少なくとも基づいて、前記ピクセルの第３のサブセットが、対応するものとして特定から除去されるべきであることを決定することを更に含む、請求項１に記載の方法。

【請求項6】

前記コンピューティングシステムによって、前記第１の色空間内の前記複数のピクセルを含む前記画像にフィルタを適用して、ノイズを低減するか又は前記画像の背景部分から前景部分を区別することを更に含む、請求項１に記載の方法。

【請求項7】

前記ピクセルの第１のサブセットを選択することが、前記第２の色空間内の前記ピクセルのサブセット内の少なくとも１つのピクセルの前記色値が、前記注釈の複数の閾値範囲のうちの少なくとも１つを満たすと判定することを更に含む、請求項１に記載の方法。

【請求項8】

前記ピクセルの第２のサブセットを特定することが、前記ピクセルの第１のサブセットによって画定された境界を抽出して、前記ピクセルの第１のサブセットによって取り囲まれた前記ピクセルの第２のサブセットを特定することを更に含む、請求項１に記載の方法。

【請求項9】

前記画像を特定することが、前記画像を第１の倍率レベルで特定することを更に含み、前記第１の倍率レベルが、前記第１の倍率レベルよりも大きい第２の倍率レベルの第２の画像から導出されたものである、請求項１に記載の方法。

【請求項10】

前記画像が、組織学的画像作製器を介したスライド上の試料組織の生物医学的画像を含み、前記試料組織が、前記ＲＯＩに対応する特徴を有し、前記スライドが、前記注釈を画定するマーカを使用して作られた指示を有する、請求項１に記載の方法。

【請求項11】

画像内の関心領域（ＲＯＩ）を特定するためのシステムであって、
メモリと結合された１つ以上のプロセッサを有するコンピューティングシステムを備え、前記コンピューティングシステムが、
ＲＯＩを画定する注釈を含む画像を特定することであって、前記画像が、第１の色空間内の複数のピクセルを有する、特定することと、
前記複数のピクセルを前記第１の色空間から第２の色空間に変換して、前記注釈を前記ＲＯＩから区別することと、
前記複数のピクセルから、前記注釈に対応するピクセルの第１のサブセットを、前記第２の色空間内の前記ピクセルの第１のサブセット内の少なくとも１つのピクセルの色値に少なくとも基づいて選択することと、
前記ピクセルの第１のサブセットを使用して、前記画像から、前記ＲＯＩに含まれるピクセルの第２のサブセットを特定することと、
１つ以上のデータ構造に、前記ピクセルの第２のサブセットと前記画像内の前記注釈によって画定される前記ＲＯＩとの間の関連付けを記憶することと、を行うように構成されている、システム。

【請求項12】

前記コンピューティングシステムが、前記ピクセルの第２のサブセットを前記ＲＯＩとして特定する前記画像を提供して、画像分割、画像位置特定、又は画像分類のうちの少なくとも１つのために機械学習モデルをトレーニングするように更に構成されている、請求項１１に記載のシステム。

【請求項13】

前記コンピューティングシステムが、前記ピクセルの第２のサブセットと前記画像から特定される前景部分とに少なくとも基づいて、前記画像内の前記ＲＯＩのために定義するマスクを生成するように更に構成されている、請求項１１に記載のシステム。

【請求項14】

前記コンピューティングシステムが、ピクセルの第４のサブセットを部分的に取り囲み、前記注釈に対応するピクセルの第３のサブセットにカーネルを適用して、前記ＲＯＩに対応する前記ピクセルの第４のサブセットを完全に取り囲む前記ピクセルの第１のサブセットを選択するように更に構成されている、請求項１１に記載のシステム。

【請求項15】

前記コンピューティングシステムが、前記注釈のピクセルの閾値数を下回るピクセルの第３のサブセット内のピクセル数に少なくとも基づいて、前記ピクセルの第３のサブセットが、前記注釈に対応するものとして特定から除去されるべきであることを決定するように更に構成されている、請求項１１に記載のシステム。

【請求項16】

前記コンピューティングシステムが、前記第１の色空間内の前記複数のピクセルを含む前記画像にフィルタを適用して、ノイズを低減するか又は前記画像の背景部分から前景部分を区別するように更に構成されている、請求項１１に記載のシステム。

【請求項17】

前記コンピューティングシステムが、前記第２の色空間内の前記ピクセルのサブセット内の少なくとも１つのピクセルの前記色値が、前記注釈の複数の閾値範囲のうちの少なくとも１つを満たすと判定するように更に構成されている、請求項１１に記載のシステム。

【請求項18】

前記コンピューティングシステムが、前記ピクセルの第１のサブセットによって画定された境界を抽出して、前記ピクセルの第１のサブセットによって取り囲まれた前記ピクセルの第２のサブセットを特定するように更に構成されている、請求項１１に記載のシステム。

【請求項19】

前記コンピューティングシステムが、前記画像を第１の倍率レベルで特定するように更に構成され、前記第１の倍率レベルが、前記第１の倍率レベルよりも大きい第２の倍率レベルの第２の画像から導出されたものである、請求項１１に記載のシステム。

【請求項20】

前記画像が、組織学的画像作製器を介したスライド上の試料組織の生物医学的画像を含み、前記試料組織が、前記ＲＯＩに対応する特徴を有し、前記スライドが、前記注釈を画定するマーカを使用して作られた指示を有する、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月１６日に出願された「Ｔｏｏｌ ｔｏ Ｄｅｔｅｃｔ ａｎｄ Ｅｘｔｒａｃｔ Ｐｅｎ Ａｎｎｏｔａｔｅｄ Ａｒｅａｓ ｉｎ Ｄｉｇｉｔａｌ Ｓｌｉｄｅｓ Ｉｍａｇｅｓ ｉｎｔｏ ａ Ｄｉｇｉｔａｌ Ｆｏｒｍａｔ」と題された米国仮特許出願第６３／１２６，２９８号の優先権の利益を主張し、その全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

画像は、内部に１つ以上の特徴を含み得る。画像内からそれらの特徴を自動的に検出するために、様々なコンピュータビジョン技術が使用され得る。

【発明の概要】

【0003】

本開示の態様は、画像内の関心領域（ＲＯＩ）を特定するためのシステム、方法、及びコンピュータ可読媒体を対象とする。コンピューティングシステムは、ＲＯＩを画定する注釈を含む画像を特定し得る。画像は、第１の色空間内の複数のピクセルを有し得る。コンピューティングシステムは、複数のピクセルを第１の色空間から第２の色空間に変換して、注釈をＲＯＩから区別し得る。コンピューティングシステムは、複数のピクセルから、注釈に対応するピクセルの第１のサブセットを、第２の色空間内のピクセルの第１のサブセット内の少なくとも１つのピクセルの色値に少なくとも基づいて選択し得る。コンピューティングシステムは、ピクセルの第１のサブセットを使用して、画像から、ＲＯＩに含まれるピクセルの第２のサブセットを特定し得る。コンピューティングシステムは、１つ以上のデータ構造に、ピクセルの第２のサブセットと画像内の注釈によって画定されるＲＯＩとの間の関連付けを記憶し得る。

【0004】

いくつかの実施形態では、コンピューティングシステムは、ピクセルの第２のサブセットをＲＯＩとして特定する画像を提供して、画像分割、画像位置特定、又は画像分類のうちの少なくとも１つのために機械学習モデルをトレーニングし得る。いくつかの実施形態では、コンピューティングシステムは、ピクセルの第２のサブセットと画像から特定される前景部分とに少なくとも基づいて、画像内のＲＯＩのために定義するマスクを生成し得る。

【0005】

いくつかの実施形態では、コンピューティングシステムは、ピクセルの第４のサブセットを部分的に取り囲み、注釈に対応するピクセルの第３のサブセットにカーネルを適用して、ＲＯＩに対応するピクセルの第４のサブセットを完全に取り囲むピクセルの第１のサブセットを選択し得る。いくつかの実施形態では、コンピューティングシステムは、注釈のピクセルの閾値数を下回るピクセルの第３のサブセット内のピクセル数に少なくとも基づいて、ピクセルの第３のサブセットが、対応するものとして特定から除去されるべきであることを決定し得る。

【0006】

いくつかの実施形態では、コンピューティングシステムは、第１の色空間内の複数のピクセルを含む画像にフィルタを適用して、ノイズを低減するか又は画像の背景部分から前景部分を区別し得る。いくつかの実施形態では、コンピューティングシステムは、第２の色空間内のピクセルのサブセット内の少なくとも１つのピクセルの色値が、注釈の複数の閾値範囲のうちの少なくとも１つを満たすと判定し得る。

【0007】

いくつかの実施形態では、コンピューティングシステムは、ピクセルの第１のサブセットによって画定された境界を抽出して、ピクセルの第１のサブセットによって取り囲まれたピクセルの第２のサブセットを特定し得る。いくつかの実施形態では、コンピューティングシステムは、画像を第１の倍率レベルで特定し得、第１の倍率レベルは、第１の倍率レベルよりも大きい第２の倍率レベルの第２の画像から導出されたものである。いくつかの実施形態では、画像は、組織学的画像作製器を介した、スライド上の試料組織の生物医学的画像を含み得る。試料組織は、ＲＯＩに対応する特徴を有し得る。スライドは、注釈を画定するマーカを使用して作られた指示を有し得る。

【図面の簡単な説明】

【0008】

【図1】デジタル化されたペン注釈の例。左：元のスライドガラス、スライドガラス上に、病理医によってペンで手動の注釈（青色）が付けられている。中央：ペン及び組織領域に基づく手順によって自動的に特定され注釈が付けられている。右：比較のために、病理医によってデジタルツールを用いて手動で、デジタルで注釈が付けられた領域（赤色）。この手動のデジタル注釈は時間がかかり冗長である。

【図2】注釈抽出パイプライン。上段左：入力として、デジタルペンのサムネイルが与えられる。ガウス平滑化フィルタが適用される。上段中央：画像はグレースケールされ、前景はＯｔｓｕ閾値法を使用して背景から分離される。下段左から右：画像はＨＳＶ色空間に変換される。ペン色のピクセルが残りのピクセルから分離され、ペンの輪郭線は小さな隙間を閉じるために伸張する。輪郭フィルタは、「内側」領域を特定する閉じた輪郭を塗りつぶす。ノイズフィルタが、サイズに基づいて小さい領域を除去する。次いで、ペンマスクが、注釈付きの領域の内容のみを取得するために輪郭マスクから取り去られる。上段右：出力は、前景マスクと注釈マスクとの組み合わせである。

【図3】デジタル化されたペン注釈の例。左：元のスライドガラス、スライドガラスに、病理医によって青色のペンを用いた手動の注釈が付けられている。中央：ペンと組織領域とに基づいた手順を用いて自動的に分割された、注釈付きの領域。右：比較のために、病理医によってデジタルツールを用いて作られたデジタルスライドの手動注釈（赤色）。この手動のデジタル注釈付けは時間がかかり冗長である。

【図4】注釈抽出パイプライン。上段左：ＷＳＩから、サムネイルは入力フォルダに抽出される必要がある。ステップ１：ガウス平滑化フィルタがサムネイルに適用される。ステップ２：画像がＨＳＶ色空間に変換される。ステップ３：閾値を使用して、組織が背景から分離される。ステップ４：ペン色のピクセルが残りのピクセルから分離され、ペンの輪郭線は小さな隙間を閉じるために伸張する。ステップ５：輪郭フィルタは、「内側」領域を特定する閉じた輪郭を塗りつぶす。ノイズフィルタが、サイズに基づいて小さい領域を除去する。ステップ６：次いで、ペンマスクが、注釈付きの領域の内容のみを取得するために輪郭マスクから取り去られる。ステップ７：組織マスク（ステップ３）と注釈マスク（ステップ６）とを乗算して、最終出力マスクを形成する。

【図5】提案された注釈抽出方法の性能メトリック。左：自動的に分割された注釈付きの領域の、病理医による手描きのマスクと比較したＤｉｃｅ係数（中央値＝０．９４２）、Ｊａｃｃａｒｄ指数（中央値＝０．８９１）、適合率（中央値＝０．９５５）、再現率（中央値＝０．９４３）、及びＫａｐｐａ（中央値＝０．９３２）。右：自動的に生成された注釈マスクと手描きの注釈マスクとの適合率／再現率曲線。すべての測定値は、ピクセルワイズで計算される。Ｎ＝３１９である。

【図6】２つの高スコア抽出の例（上段、Ｄｉｃｅ０．９８３及び０．９８１）、２つの中スコア抽出の例（中段、０．７５５及び０．７２８）、及び２つの低スコア抽出の例（下段、０．０７０及び０）。左：元の画像。注釈はスライドガラスにペンで描かれている。中央：自動的に分割された注釈。右：手動で分割された注釈。この方法は、テキストと組織の輪郭線とを区別できることに留意のこと。中スコアの注釈は、概して良好な分割を示すが、まばらな組織及び粗い手動のデジタル注釈に起因してスコアが低下する。２つの低スコアの例は、破損したカバースリップ、又はリング形状のペン注釈に起因して難解である。

【図7】例示的な実施形態による、画像内の関心領域（ＲＯＩ）を特定するためのシステムのブロック図を描写する。

【図8A】例示的な実施形態による、ＲＯＩを特定するためのシステム内の画像の色空間を変換するためのプロセスのブロック図を描写する。

【図8B】例示的な実施形態による、ＲＯＩを特定するためのシステム内のＲＯＩマスクを導出するためのプロセスのブロック図を描写する。

【図8C】例示的な実施形態による、ＲＯＩを特定するためのシステム内で注釈マークを作るためのプロセスのブロック図を描写する。

【図9】例示的な実施形態による、画像内の関心領域（ＲＯＩ）を特定する方法のフロー図を描写する。

【図10】例示的な実施形態による、サーバシステム及びクライアントコンピュータシステムのブロック図を描写する。

【発明を実施するための形態】

【0009】

以下は、画像内の注釈付きの関心領域（ＲＯＩ）を特定するためのシステム及び方法に関連する様々な概念並びにそれらの実施形態の、より詳細な記載である。上記で紹介し、以下で更に詳しく論じる様々な概念は、開示された概念が実装形態の特定の様式に限定されないため、数多くの方法の実装形態のいずれかで実施することができる。特定の実装形態及び用途の例は、主に例示的な目的のために提供される。

【0010】

セクションＡでは、デジタルスライド画像内のペン注釈付きのエリアを検出し、デジタルフォーマットに抽出するためのツールを記載する。

【0011】

セクションＢでは、画像内のマーク付き関心領域（ＲＯＩ）を特定するためのシステム及び方法を記載する。

【0012】

セクションＣでは、本明細書に記載される様々なコンピューティング関連の実施形態を実践するために有用であり得る、ネットワーク環境及びコンピューティング環境を記載する。

【0013】

Ａ．デジタルスライド画像内のペン注釈付きのエリアを検出し、デジタルフォーマットに抽出するためのツール
病理学における人工知能（ＡＩ）の開発は、しばしばデジタル注釈付きの全スライド画像（ＷＳＩ）に依存している。デジタルスライドビューアで病理医によって手描きされるこれらの注釈を作ることには、時間及び費用がかかる。それと同時に、病理医は、例えば組織の分子評価のために、がん領域に輪郭線を付けるためにスライドガラスにペンで注釈を付ける。いくつかのアプローチ下では、これらのペン注釈は、アーチファクトとみなされ計算モデリングから除外される可能性がある。

【0014】

本明細書に提示されるのは、以下を可能にする画像処理パイプラインである。（ｉ）デジタル化された病理スライド上のペン注釈を、色（例えば、とりわけ、黒色、青色、緑色、紫色、及び赤色のマーカ）にかかわらず検出すること、（ｉｉ）注釈が領域を一周している場合、その注釈の「内側」部分を分割すること、（ｉｉｉ）スライド上の前景（組織）及び背景（非組織、白いエリア）を特定すること、（ｉｖ）前景と注釈付きのエリアとを組み合わせること、及び（ｖ）「注釈マスク」として注釈が付けられた前景エリアをエクスポートすること。ステップ（ｖ）からの注釈マスクは、次いで、機械学習及びコンピュータビジョンパイプラインに使用することができる。

【0015】

ここで図１を参照すると、提案されたパイプラインは、ペン注釈付きの病理スライド（左）から、「内側」部分を電子フォーマット（すなわち、中央の、マスク）で検出し、分割することができる。比較のため及び代替として、病理医は、同じ結果を取り出すために、電子ツールを用いてこの内側部分に注釈を付ける（右）。この手動注釈付けは冗長かつ手間である。

【0016】

ここで図２を参照すると、注釈を抽出する個々のステップが強調されている。このパイプラインは、既に手動で注釈が付けられている多数の病理スライドを、電子ツールを用いて手動で再注釈を付ける必要なく使用することを可能にする。これらのペン注釈は、典型的にはがんの領域を強調し、したがって、このツールを使用して、より多くの注釈が付けられたデータへのアクセスを提供することによって、がん分類モデルをより迅速に開発することができる。

【0017】

１．導入
病理学における人工知能（ＡＩ）の開発は、しばしばデジタル注釈付きの全スライド画像（ＷＳＩ）に依存している。デジタルスライドビューアで病理医によって手描きされるこれらの注釈を作ることには、時間及び費用がかかる。それと同時に、病理医は、例えば組織の分子評価のために、がん領域に輪郭線を付けるためにスライドガラスにペンで注釈を付ける。これらのペン注釈は、いくつかのアプローチ下ではアーチファクトとみなされ、計算モデリングから除外される。

【0018】

Ａ．方法
提案されているのは、手描きのペン注釈を分割して塗りつぶし、それらをデジタルフォーマットに変換して、計算モデルにアクセスできるようにするための新しい方法である。この方法は、オープンソースで公開されているソフトウェアツールとしてＰｙｔｈｏｎで実装されている。

【0019】

Ｂ．結果
この方法は、ＷＳＩからペン注釈を抽出し、それらのペン注釈を注釈マスクとして保存することができる。ペンマーカを含む３１９個のＷＳＩのデータセットでは、注釈を分割するアルゴリズムは、全体的なＤｉｃｅメトリックが０．９４２、適合率が０．９５５、及び再現率が０．９４３で検証された。すべての画像の処理にかかった時間は、手動のデジタル注釈付けの時間が５時間であるのとは対照的に、１５分であった。更に、このアプローチは、テキスト注釈に対してロバストである。

【0020】

Ｃ．結論
この方法では、注釈が計算モデルのトレーニングに役立つであろうシナリオにおいて、既にペン注釈が付けられたスライドを利用できることが想定されている。デジタル化されている多くの病理学部門の大規模なアーカイブを考慮すると、この方法はそれらのデータから大量のトレーニング試料を回収するのに役立つことになる。

【0021】

２．コンテキスト
計算病理学におけるアルゴリズムは、注釈付きの画像データセットの助けによってトレーニングすることができる。いくつかのシナリオでは、モデルががん組織と周囲の正常組織との違いを学習するように設計されているため、画像上の腫瘍領域を知ることが有益である。したがって、病理学ＡＩ開発のための対応するパイプラインの大部分は、がん領域がデジタルアクセス可能となるように、スキャンされたＷＳＩに注釈付きのデータセットを作ることである。注釈は通常、病理医の助けによって取得され、コンピュータ画面のスキャンされた全スライド画像（ＷＳＩ）上にデジタルツールを用いて描かれる。機械学習パイプラインでは、それらの注釈付きのデータセットを生成することは、注釈の粒度のレベルに応じて、時間がかかり、煩雑で、誤差が発生しやすいため、ボトルネックを引き起こす可能性がある。

【0022】

それと同時に、多くのスライドガラスは、腫瘍領域又は他の関心領域に輪郭線を付けるために、病理医によってペンを用いて既に物理的に注釈が付けられている。例として、スライドガラスは一般に、分子評価のために、遺伝子分析及び配列決定用にサンプリングされる腫瘍領域に輪郭線を付けるために注釈が付けられる。したがって、元のパラフィン包埋検体からの組織は、スライドを検査した後に病理医がスライドガラスに示したのと同じ領域からサンプリングすることができる。しかしながら、これらのペン注釈は、スライドガラス上ではアナログであり、デジタルアルゴリズムによって利用可能なアドホックではない。これらの手描きのペン注釈はまだデジタル化されていない。

【0023】

本開示では、ＷＳＩからペン注釈を抽出し、それらを下流のデジタル処理のために利用できるようにするための方法が本明細書において提示される。図３に示されるように、スキャンされたＷＳＩのペン注釈（左）を用いて、この方法は、輪郭線が付けられた領域（中央、青のマスク）のバイナリデジタルマスクを抽出する。したがって、それにより、熟練した病理医から既に施された注釈を利用することが可能となり、図３の右（赤色の手描きのデジタル注釈）に示されるような、新たな手描きの注釈を回収する必要性を低減する。病理部門でアーカイブされた膨大な画像データを考慮すると、この方法により、何千ものそのような手描きの注釈にアクセスすることが可能となり、これらの注釈を初めて計算病理学のために利用できるようになる。

【0024】

いくつかのアプローチ下では、デジタルＷＳＩのペン注釈は通常アーチファクトとみなされ、下層組織を覆うか又は染色するため、下流の計算分析を妨げる。したがって、組織ひだ、焦点外れエリア、気泡、及び他のアーチファクトとともに、ＷＳＩのペン注釈を自動的に検出して分析から除外することを目的とした研究が存在する。代わりに、既に注釈が付けられたスライドガラスを利用し、抑制された情報をデジタル化して、計算アルゴリズムにアクセスできるようにすることが提案されている。

【0025】

３．方法
Ａ．ペン注釈の抽出
注釈抽出部は、Ｐｙｔｈｏｎ ３においてコマンドラインスクリプトとして実装されている。注釈抽出部の入力は、処理されるすべてのＷＳＩのサムネイル画像を含むフォルダである。記憶されたサムネイルは、処理前にＷＳＩにおいて抽出される。出力は、それらの画像のペン注釈マスクを検出した異なるフォルダであり、各マスクは、対応するサムネイル画像と同じ寸法である。図４に示されるように、７つの処理ステップが、入力フォルダ内のサムネイル画像ごとにワークフローを構成する。

【0026】

ステップ１では、不特定のノイズを低減するために、半径３のガウスぼかしフィルタがサムネイル画像に適用される。ステップ２では、ぼかされた画像がＨＳＶ（色相、彩度、明度）色空間に変換される。ＨＳＶ色空間を使用するのは、ＲＧＢ色空間が染色及びスキャン中に導入されたすべてのバリエーションを検出するのに十分ロバストではないことが判明したためである。更に、ＨＳＶは、生の輝度値に対処することによってマーカを分離するのにより適している。ステップ３では、ＨＳＶ画像を使用して、Ｈ＆Ｅ関連の色閾値で組織をマスクする。［１３５，１０，３０］～［１７０，２５５，２５５］のピクセル値は、ペンなしの組織とみなされる。

【0027】

ステップ４では、ペン色関連の閾値に基づいて、ペンストロークのマスクがＨＳＶ画像から抽出される。このデータセットは、黒色、青色、緑色の３つのペン色で構成されている。［０，０，０］～［１８０，２５５，１２５］のピクセル値は、黒色のペンに由来するとみなされる。［１００，１２５，３０］～［１３０，２５５，２５５］のピクセル値は、青色のペンに由来するとみなされる。そして、［４０，１２５，３０］～［７０，２５５，２５５］のピクセル値は、緑色のペンに由来するとみなされる。これらのＨＳＶ値は、対応する色のスペクトルを記述し、ペン注釈付きのピクセルをキャプチャするためにうまく機能していた。ペン色間の区別が実施されないため、３つの個々の色マスクは全体的なペンマスクに結び付けられる。他のペン色を追加するには、この方法の拡張として特定の色閾値を追加する必要があろうことに留意のこと。

【0028】

注釈付きのペン輪郭の隙間を閉じるために、円形のカーネルによる形態学的伸張がペンマスク全体に用いられる。この伸張により、所与のカーネルサイズだけペンの輪郭が太くなり、それによってマスクの穴が閉じられる。このステップは、細いペンの線、及び描かれた線の小さな隙間、例えば、円のほぼ閉じた端の隙間を考慮するために必要である。隙間が大きいほど、形状を閉じるためにカーネルサイズを大きくしなくてはならない。このアルゴリズムは、カーネルサイズを５、１０、１５、及び２０ピクセルに増やしながら、４ラウンドで実行される。各ラウンドにおいて、ペン注釈の隙間が大きすぎると空のマスクとなり（次のステップにおいて閉じた輪郭が見つからないため）、それらの画像はより大きなカーネルサイズによる次の実行に供される。

【0029】

ステップ５では、伸張したマスクは、輪郭抽出及び塗りつぶしに供される。塗りつぶされた輪郭のノイズを低減するために、３，０００ピクセル未満の構成要素はフィルタリングされる。この閾値は、組織の注釈を通過させながら、無関係なピクセル、小さな輪郭、及びテキスト領域などの小さな領域をフィルタリングすることによって、データセットで最も良好に機能したために選択された。ただし、サムネイルの寸法及び解像度に基づいて、可変フィルタサイズを探索することが提案されている。次いで、得られたマスクは、ステップ６で、内側領域のみを保存するために、塗りつぶされた輪郭マスクから取り去られる。

【0030】

ステップ６では、内側領域マスクは、組織ではない背景領域を除外するために、組織マスクと乗算される。ここでもノイズフィルタを適用して、注釈マスク生成時に入り込んだ小さな領域を除去し、その結果、ペン注釈が付けられた領域の最終的なマスクが生じる。

【0031】

最初の段階でスライドにペン注釈がない場合、最終的なペン注釈マスクは空になることに留意のこと。

【0032】

Ｂ．検証データセット及び手動注釈
本方法を評価するために、Ａｐｅｒｉｏ ＡＴ２スキャナ（Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ，Ｂｕｆｆａｌｏ Ｇｒｏｖｅ，Ｉｌｌｉｎｏｉｓ，ＵＳＡ）でスキャンされたペンマーカの付いたＷＳＩを利用する。ＷＳＩは、Ｍｉｃｒｏｓｏｆｔ Ｓｕｒｆａｃｅ Ｓｔｕｄｉｏにおいて社内開発されたデジタルスライドビューアを使用して、入力デバイスとしてデジタルペンを使用して病理医によって手動で注釈が付けられている。病理医は、完全なＷＳＩに可視ペンマーカの内側領域の概略を示した。病理医は、ビューア内の任意の倍率レベルを使用してＷＳＩに注釈を付けることができることに留意のこと。ペンの形状が粗いときは、ＷＳＩの低い倍率レベルでデジタルの手動注釈が付けられた。ペンの形状が細い又は狭い場合、病理医はＷＳＩに注釈を付けるためにより高い倍率レベルに拡大した。いずれの事例も、デジタル注釈マスクは、視認者によってＷＳＩの元の寸法で内部的に保存される。次いで手動注釈を、サムネイル画像のサイズにダウンスケールした。

【0033】

本方法の性能を評価するために、４つの類似性メトリック（例えば、自動的に生成された注釈マスクＡと手描きの注釈マスクＭとの間のＤｉｃｅ係数（又はＦスコア）、Ｊａｃｃａｒｄ指数（又は、共通部分／和集合（ＩｏＵ、Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ））、適合率、再現率、及びＣｏｈｅｎのＫａｐｐａ）が計算される。

【数1】

式中、ｐ₀は、ピクセルに割り当てられたラベルの一致の確率であり、ｐ_eは、両方の注釈がランダムに割り当てられている場合に予想される一致である。すべてのメトリックは、ＰｙｔｈｏｎのＳｃｉｋｉｔ学習パッケージを使用して計算した。これらの指標は類似しているが、わずかに異なる側面を強調している。Ｄｉｃｅ及びＪａｃｃａｒｄは、自動的に分割された領域と手動で分割された領域との間の相対的な重なり量を表す。適合率は、ペン注釈を有しないエリアを除外する機能を表す。再現率は、ペン注釈によって領域を含める機能を定量化する。Ｋａｐｐａ値は、自動的に分割された領域と手動で分割された領域との間の一致を確率として表す。Ｋａｐｐａを除くすべての値は、０（不完全な自動分割）～１（完全な自動分割）の範囲である。Ｋａｐｐａ値は－１～１の範囲にあり、０は、手動分割と自動分割との間に偶然レベルよりも良い一致がないことを意味し、１及び－１は、それぞれ完全な一致又は不一致を意味する。

【0034】

４．結果
３１９個のＷＳＩのデータセットにおける、自動分割の手描きとの類似性を定量化する。ＷＳＩのサムネイルは、４８５～１０２４ｐｘ（中央値＝１０２４ｐｘ）の幅、及び３８２～７６８ｐｘ（中央値＝７４９ｐｘ）の高さを有する。図５の左、及び表１に示されるように、自動的に分割されたペンマスクと手動ペンマスクとの間の、Ｄｉｃｅ係数の中央値は、０．９４２（平均値０．８６５±０．２０７）、Ｊａｃｃａｒｄ指数の中央値は、０．８９１（平均値０．８０３±０．２２７）、適合率の中央値は、０．９５５（平均値０．９２６±０．１４８）、再現率の中央値は、０．９４３（平均値０．８４４±０．２３７）、及びＫａｐｐａ値の中央値は、０．９３２（平均値０．８５２±０．２１６）である。図５の右は、それらのデータセットを説明する適合率／再現率曲線の概略を示している。適合率は、概して非常に高く（０．９０超）、再現率は、中央値０．９４３でより大きな範囲に分布することに留意のこと。これは、一部の手動注釈が見逃されていることを意味する。適合率及び再現率がゼロの極端な外れ値は、切り離された注釈を示し、次のセクションで論じられる。

【0035】

図６は、高スコアの２つの例（Ｄｉｃｅ０．９８３及び０．９８１、上段）、中スコアの２つの例（０．７５５及び０．７２８、中段）、及び低スコアの２つの例（０．０７０及び０、下段）を示す。最も簡単な注釈は、円又は多角形などの閉じた形状を有するものである。依然として、本方法によって注釈が処理しやすい場合でも、２つの中間の例に図示されるように、注釈内の組織がまばらであり、手動のデジタル注釈が粗い場合、スコアが低下する可能性がある。本方法の難解な注釈は、閉じていない、ひいては塗りつぶすことができない形状、破損したカバースリップ（図６の下から２段目）などのアーチファクトを有するスライド、又はリング形状の対象物（図６の下段）などの複雑な注釈である。これらの難解な事例は、図５の統計で示されているような、データセットの外れ値である。

【0036】

興味深い観察は、図６の上段に示されるように、テキスト注釈が、本方法によるすべての試料を通してロバストに無視されることである。これは、丸みを帯びた文字の小さな閉じたエリアを除去するサイズに基づいたノイズフィルタによって達成される。特定のテキスト認識プログラムは組み込まれていない。

【0037】

Ａ．注釈付けの時間
すべてのＷＳＩでの手動の粗いデジタル注釈付けに必要な時間は約５時間であり、スライド当たり平均１分であった。

【0038】

対照的に、本方法は、すべてのパラメータを確定した後、全スライドで、１５分で実行される。画像は順次処理されており、スクリプトは並列処理によって更に最適化され得ることに留意のこと。したがって、本方法を使用して利用可能な粗い注釈を抽出することが提案されている。

【0039】

この比較には制限があることに留意のこと。病理医は、例えば微細な切片を説明するために任意の倍率レベルで、ビューア内で注釈を付けることができるが、本方法は、微細な注釈のオプションなしでサムネイル上でのみ実行される。また、スライドガラス自体にペンで注釈を付けるのに必要な時間は不明であるため、ペンの注釈付けの時間と手動のデジタル注釈付けの時間との比較はできない。

【0040】

Ｂ．結論
全スライド画像には、病理医からのアナログの手描きのペン注釈が含まれる場合がある。これらの注釈は、一般に、分子フォローアップ又は遺伝子配列決定の対象となるがんエリアに輪郭線を粗く付けるために使用される。したがって、これらの注釈は、計算病理学における様々ながん分類モデルにとって非常に有益であり得る。しかしながら、ペン注釈は通常、不要な画像アーチファクトとみなされ、分析から除外される対象となる。代わりに、アルゴリズムによってアクセスできる場合にこれらの注釈が分類器にとって有益であろうシナリオが考慮される。このために、本明細書で提示されるのは、手描きのペン注釈の内側部分のデジタル抽出を可能にするツールである。本方法は、ペン領域を特定して分割し、輪郭を閉じて塗りつぶし、最終的に、取得したマスクをエクスポートする。

【0041】

アルゴリズムの性能を、３１９個のＷＳＩのペン注釈付きのデータセットで評価し、全体的なＤｉｃｅメトリックは０．９４２、全体的な適合率及び再現率はそれぞれ０．９５５及び０．９４３という結果であった。最も適したペン形状は、本方法によって容易に抽出可能であるため、閉じたエリアである。しかしながら、問題のあるペン注釈には、不適切に閉じられているか又は本質的に複雑な形状（例えば、それらの中央に穴がある）が含まれる。不適切に閉じられた形状は、希釈半径を手動で調整することで対処できる。ドーナツ形状の注釈などのより複雑な形状は、本方法の更なる改善を必要とするであろう。

【0042】

概して、アプローチは、他のデータセットに拡張することができ、例えば、ヘマトキシリン・エオジン（Ｈ＆Ｅ）とは異なる染色（例えば、ｈｅｍｏｓｉｄｅｒｉｎ染色、Ｓｕｄａｎ染色、Ｓｃｈｉｆｆ染色、Ｃｏｎｇｏ赤染色、Ｇｒａｍ染色、Ｚｉｅｈｌ－Ｎｅｅｌｓｅｎ染色、Ａｕｒａｍｉｎｅ－ｒｈｏｄａｍｉｎｅ染色、ｔｒｉｃｈｒｏｍｅ染色、Ｓｉｌｖｅｒ染色、及びＷｒｉｇｈｔ染色）でＷＳＩを処理するために、又はより多くのペン色を考慮するために、拡張することができる。これは、使用されるパラメータの潜在的な調整を必要とするため、完全に自動的なペン注釈抽出方法ではない。それでも、手描きをするのにより多くの時間を必要とするであろう一般的な注釈の大部分を取り込むことができることが示されている。更に、潜在的なパラメータを微調整するためのガイダンスが提供される。

【0043】

ペン注釈は非常に多様であり、様々な意味を有する可能性がある。本方法はテキストに対してロバストであるように見えた。これはおそらく、テキストには大きな閉じた形状が含まれず、典型的には組織ではなく白い背景上にあるからである。更に、本方法は、単純で閉じた形状で最もうまく機能するように見えた。

【0044】

しかしながら、ペン注釈はガラスに直接描かれるため、非常に不正確になる可能性があり、これが制限となる可能性がある。拡大せずにがん領域の正確な下宿人に輪郭線を描くことはほぼ不可能である。このツールを使用して注釈を抽出すると、同じ適合率でデジタル領域がもたらされることに留意する必要がある。

【0045】

本発明者らは、本方法の主要な使用事例は、ペン注釈付きの腫瘍領域が利用可能なシナリオでの病理ＡＩのトレーニング又は微調整のための濃縮腫瘍試料の収集であり得ると結論付ける。
表及びキャプション

【表1】

【0046】

Ｂ．画像内のマーク付き関心領域（ＲｏＩ）を特定するためのシステム及び方法
病理医は、腫瘍領域に輪郭線を付けるために、ガラスのスライドにペンで描くことがある。スライドをスキャンした後、ペン注釈がスライドでスキャンされる。しかし、機械学習又はコンピュータビジョンの場合、これらの注釈の「内側」及び「外側」を評価する必要があり、これは些細なことではない。したがって、病理医は、冗長で時間がかかるデジタルツールでスライドに再び注釈を付ける。本明細書に提示されるのは、デジタルスライド画像のペン注釈を検出し、「内側」領域（輪郭線が付けられた腫瘍領域）を特定し、この領域をデジタルフォーマットでエクスポートして、他の計算分析にアクセスできるようにすることができる、コンピュータ実装ツールである。

【0047】

ここで図７を参照すると、画像内の関心領域（ＲＯＩ）を特定するためのシステム７００のブロック図が描写されている。概説すると、システム７００は、少なくとも１つの画像処理システム７０５（本明細書ではコンピューティングシステムと称されることもある）、少なくとも１つのモデルトレーナシステム７１０、及び少なくとも１つの撮像デバイス７１５を含み得る。システム７００の構成要素は、少なくとも１つのネットワーク７２０を介して互いに通信可能に結合され得る。画像処理システム７０５は、とりわけ、少なくとも１つの画像プレッパー７２５、少なくとも１つの色解釈器７３０、少なくとも１つのマーク認識器７３５、少なくとも１つの領域探索器７４０、少なくとも１つの前景検出器７４５、少なくとも１つの注釈生成器７５０、及び少なくとも１つのデータベース７５５を含み得る。データベース７５５は、少なくとも１つのトレーニングデータセット７６０を有し得る。モデルトレーナシステム７１０は、少なくとも１つのモデル７６５を有し得る。システム７００内の構成要素（例えば、画像処理システム７０５及びそのサブ構成要素、並びにモデルトレーナシステム７１０及びそのサブ構成要素）の各々は、本明細書のセクションＣで詳述されるシステム１０００のような、ハードウェア、又はハードウェアとソフトウェアとの組み合わせを使用して、実行、処理、又は実装され得る。

【0048】

ここで、とりわけ図８Ａを参照すると、ＲＯＩを特定するためにシステム内の画像の色空間を変換するためのプロセス８００のブロック図が描写されている。プロセス８００は、画像を作製し、色空間を変換するためにシステム７００で実施される動作に対応し得る。プロセス８００の下で、画像処理システム７００で実行される画像作製器７２５は、ＲＯＩを検出又は特定するための少なくとも１つの画像８０２を取り出し、受信し、又は別様に特定し得る。いくつかの実施形態では、画像作製器７２５は、撮像デバイス７１５を介して取得された画像８０２を取り出すか又は受信し得る。撮像デバイス７１５は、画像処理システム７０５に送信するための画像８０２を取得又は生成し得る。撮像デバイス７１５による画像８０２の取得は、任意の倍率係数（例えば、２倍、４倍、１０倍、又は２５倍）での顕微鏡技術に従ってもよい。例えば、撮像デバイス７１５は、とりわけ、光学顕微鏡、共焦点顕微鏡、蛍光顕微鏡、リン光顕微鏡、電子顕微鏡を使用するなどの組織病理学的画像作製器であってもよい。いくつかの実施形態では、画像作製器７２５は、データベース７５５にアクセスして、トレーニングデータセット７６０をフェッチするか又は特定し得る。トレーニングデータセット７６０は、モデルトレーナシステム７１０上でモデル７６５をトレーニングするために使用される情報を含み得、撮像デバイス７１５を用いるのと同様に取得された画像８０２を特定するか又は含み得る。トレーニングデータセット７６０から、画像作製器７２５は、画像８０２を抽出又は特定し得る。画像８０２は、維持され、ファイルの形態（例えば、とりわけ、ＢＭＰ、ＴＩＦＦ、又はＰＮＧ）で記憶され得る。

【0049】

いくつかの実施形態では、画像作製器７２５は、元の画像の倍率係数とは異なる倍率係数で画像８０２を生成又は特定してもよい。元の画像は、撮像デバイス７１５を介して取得されてもよく、又はデータベース７５５上に維持されたトレーニングデータセット７６０から取得されてもよい。例えば、画像作製器７２５は、元の画像のサムネイルを画像８０２として生成して、画像処理システム７０５の他の構成要素に供給してもよい。サムネイルは、元の画像のリスケールされたバージョンであってもよく、寸法は、元の画像の寸法の２～５００倍小さい範囲である。倍率係数又はスケールを縮小することにより、画像８０２のより速い処理を容易にし得る。いくつかの実施形態では、撮像デバイス７１５から提供されるか又はデータベース７５５上のトレーニングデータセット７６０内にある画像８０２は、既に元の画像とは異なる倍率係数によるものであり得る。いくつかの実施形態では、元の画像の特定により、画像作製器７２５は、その倍率係数で（例えば、寸法縮小又はリスケーリングを使用して）画像８０２を生成し得る。

【0050】

画像８０２は、生体医学的画像などの、任意のタイプの画像であってもよい。本明細書では主に生物医学的画像として論じられるが、画像８０２は、任意のモダリティによる任意のタイプの画像であってもよい。いくつかの実施形態では、画像８０２の生物医学的画像は、少なくとも１つのスライド８０６上の少なくとも１つの試料８０４から導出されてもよい。例えば、画像８０２は、スライド８０６上の試料８０４に対応する試料組織のデジタル病理学のための全スライド画像（ＷＳＩ）であってもよい。試料８０４は、スライド８０６の一方の側に置かれても、位置しても、又は別様に配置されてもよい。スライド８０６は、試料８０４を保持、収容、又は別様に据えるための任意の材料（例えば、ガラス、金属、又はプラスチック）で構成され得る。例えば、スライド８０６は、試料８０４を一方の側に沿って保持するための顕微鏡スライドであってもよい。

【0051】

スライド８０６上で、試料８０４は、少なくとも１つの組織切片８０８（又は他の生物学的材料）を含み得る。組織切片８０８は、とりわけ、ヒト、動物、又は植物などの対象の任意の部分に由来してもよい。組織切片８０８は、撮像を容易にするために染色されてもよい。例えば、組織切片８０８は、とりわけ、ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色、Ｇｒａｍ染色、内胞子染色、Ｚｉｅｈｌ－Ｎｅｅｌｓｅｎ染色、Ｓｉｌｖｅｒ染色、又はＳｕｄａｎステートを用いた組織学的切片であってもよい。組織切片８０８は、少なくとも１つの特徴８１０を含み得る。特徴８１０は、特定の状態又はその他の関心のある組織切片８０８の一部分に対応し得る。状態は、試料８０４の組織切片８０８内の病変又は腫瘍（例えば、がん腫組織、良性上皮組織、間質組織、壊死組織、及び脂肪組織）などの様々な組織病理学的特徴に対応し得る。

【0052】

加えて、スライド８０６は、少なくとも１つのマーク付きインジケータ８１２（本明細書ではペンマーク又は注釈と呼ばれることもある）を有し得る。マーク付きインジケータ８１２は、試料８０４の組織切片８０８内の特徴８１０に対応する領域又はエリアを示すか又はそれらにラベル付けするためのマークであり得る。マーク付きインジケータ８１２は、組織切片８０８内の特徴８１０に対応するエリアを、少なくとも部分的に囲んでもよく、境界付けてもよく、又は別様に取り囲んでもよい。マーク付きインジケータ８１２は、特徴８１０に対応するエリアを実質的に（例えば、少なくとも８０％）取り囲んでもよく、又は完全に取り囲んでもよい。マーク付きインジケータ８１２は、組織切片８０８内の状態について試料８０４（又は画像８０２）を調べる視認者によって、手動で作製されてもよい。例えば、試料８０４を調べる臨床医（例えば、病理医）は、ペン又はマーカを使用して、組織切片８０８内の特徴８１０のエリアの周りに部分的に線を手描きすることができる。臨床医によって描かれた線は、マーク付きインジケータ８１２に対応し得る。マーク付きインジケータ８１２は、とりわけ、赤色、青色、緑色、又は黒色などの任意の色のものであり得る。マーク付きインジケータ８１２の色は、組織切片８０８、特徴８１０、及び試料８０４又はスライド８０６の残りの部分の色とは異なってもよい。いくつかの実施形態では、マーク付きインジケータ８１２は、スライド８０６の、試料８０４の組織切片８０８と対向する側にあってもよい。いくつかの実施形態では、マーク付きインジケータ８１２は、スライド８０６の、試料８０４の組織切片８０８と同じ側にあってもよい。加えて、スライド８０６は、マーク付きインジケータ８１２と同様に、ペン又はマーカを使用して作られた無関係なマークを有し得る。無関係なマークは、スライド８０６上のマーク付きインジケータ８１２から離れて位置してもよい。

【0053】

画像８０２は、ピクセル８１４Ａ～Ｎ（以下、ピクセル８１４と称する）のセットを有し得る。各ピクセル８１４は、画像８０２の一部分又は要素に対応し得る。画像８０２のピクセル８１４は、（例えば、描写されているように）二次元、又は三次元で配置されてもよい。画像８０２は、単一のサンプリング（例えば、スナップショット）又はビデオの少なくとも１つのフレーム画像に対応し得る。画像８０２のピクセル８１４の色値は、色空間に従ってもよい。色空間は、画像８０２内のピクセル８１４の色値の組織、範囲、又はパレットを指定、特定、又は画定し得る。画像８０２のピクセル８１４の初期色空間は、とりわけ、赤色、緑色、青色（ＲＧＢ）色モデル、シアン、マゼンタ、イエロー、及びキー（ＣＭＹＫ）色モデル、並びにＹＣｂＣｒ色モデルなど、取得時の元の色空間であってもよい。各ピクセル８１４の色値は、試料８０４の対応するサンプリングされた部分の色に対応し得る。

【0054】

画像８０２は、少なくとも１つの関心領域（ＲＯＩ）８１６を有し得る。ＲＯＩ８１６は、画像８０２内の対象物の様々な特徴を含む（ｃｏｎｔａｉｎ）、包含する、又は含む（ｉｎｃｌｕｄｅ）画像８０２内のエリア、セクション、又は体積に対応し得る。試料８０４に関連して、ＲＯＩ８１６は、組織切片８０８の特徴８１０に対応し得る。ピクセル８１４に関連して、ＲＯＩ８１６は、組織切片８０８内の特徴８１０を示すピクセル８１４内の色値に対応し得る。加えて、画像８０２は、少なくとも１つの注釈８１８を有し得る。注釈８１８は、ＲＯＩ８１６を少なくとも部分的に囲む囲い、境界、又は輪郭に対応し得る。注釈８１８は、画像８０２上のＲＯＩ８１６を、実質的に（例えば、少なくとも８０％だけ）又は完全に取り囲み得る。試料８０４に関連して、注釈８１８は、組織切片８０８内の特徴８１０を示す、スライド８０６上のマーク付きインジケータ８１２に対応し得る。ピクセル８１４に関して、注釈８１８は、マーク付きインジケータ８１２を示すピクセル８１４内の色値に対応し得る。ＲＯＩ８１６及び注釈８１８のピクセル位置は、画像処理システム７０５内の様々な構成要素を通して処理する前に、画像処理システム７０５に未知であってもよく、又は特定されなくてもよい。

【0055】

この特定により、画像作製器７２５は、画像８０２を初期化し、配置し、又は別様に修正するための１つ以上の前処理動作を実施して、画像処理システム７０５の他の構成要素に供給する少なくとも１つの画像８０２’を生成し得る。いくつかの実施形態では、画像作製器７２５は、画像８０２’を生成するために、画像８０２に少なくとも１つのフィルタを適用し得る。フィルタとは、画像８０２をノイズ除去するか、平滑化するか、又はぼかすことであり得る。フィルタは、とりわけ、ノイズ除去関数（例えば、トータルバリエーションノイズ除去又はウェーブレットノイズ除去）又はぼかしフィルタ（例えば、ガウスぼかし、Ａｎｉｓｏｔｒｏｐｉｃ拡散、又はバイラテラルフィルタ）、又はそれらの任意の組み合わせであってもよい。適用する際に、画像作製器７２５は、画像８０２をフィルタに供給して、画像８０２’を作るか又は出力し得る。フィルタ動作により、画像８０２’内のピクセル８１４の色値は、画像８０２内のピクセル８１４の元の色値とは異なってもよい。結果として、画像８０２’は、画像８０２よりもノイズが少ない場合がある。加えて、画像８０２’内の前景部分は、画像８０２内の対応する前景及び背景部分と相対して、画像８０２’の背景部分からより区別され得る。

【0056】

画像処理システム７００上で実行される色解釈器７３０は、画像８０２’内のピクセル８１４を初期色空間から異なる色空間に変形し、解釈し、又は別様に変換して、画像８０２”を作るか、出力するか、又は生成し得る。新たな色空間は、画像８０２”内の注釈８１８をＲＯＩ８１６から区別するものであり得る。概して、新たな色空間は、注釈８１８に対応するピクセル８１４の色値を変更して、画像８０２’内のＲＯＩ８１６に対応するピクセル８１４の色値からの色差を強調又は増加させ得る。色差は、注釈８１４に対するピクセル８１４内の２セットの色値と、ＲＯＩ８１６に対するピクセル８１４との間の距離に対応し得る。新たな色空間は、例えば、とりわけ、色相、彩度、明度（ｌｉｇｈｔｎｅｓｓ）（ＨＳＬ）色モデル、色相、彩度、明度（ｖａｌｕｅ）（ＨＳＶ）色モデル、又は色相、彩度、輝度（ＨＣＬ）色モデルなどであり得る。画像８０２”内のピクセル８１４の色値は、新たな色空間に従ってもよい。

【0057】

変換中、色解釈器７３０は、色マッピングを適用又は使用して、画像８０２’内のピクセル８１４の元の色値に基づいて、ピクセル８１４の新たな色値を割り当ててもよい。色マッピングは、元の色空間（例えば、ＲＧＢ）内の各対応する色値について、新たな色空間（例えば、ＨＳＶ）内の色値を指定し、特定し、又は画定し得る。色解釈器７３０は、画像８０２’のピクセル８１４のセットを横断してもよい。各ピクセル８１４について、色解釈器７３０は、元の色空間内のピクセル８１４の色値を特定し得る。色解釈器７３０は、特定された色値の色マッピングから新たな色値を特定し得る。この特定により、色解釈器７３０は、画像８０２’内のピクセル８１４に対応する（例えば、同じ位置にある）画像８０２”内のピクセル８１４に新たな色値を設定又は割り当てることができる。色解釈器７３０は、画像８０２’内のピクセル８１４のセットを通して特定及び割り当てのプロセスを繰り返して、画像８０２”を作ってもよい。完了すると、色解釈器７３０は、画像処理システム７０５内の他の構成要素による処理のために、新たな色空間内のピクセル８１４を画像８０２”に提供してもよい。

【0058】

ここで、とりわけ図８Ｂを参照すると、ＲＯＩを特定するためのシステム７００内のＲＯＩマスクを導出するためのプロセス８３０のブロック図が描写されている。プロセス８３０は、画像８０２”から注釈８１８及びＲＯＩ８１６を検出するためにシステム７００で実施される動作に対応し得る。プロセス８３０の下で、画像処理システム７０５上で実行されるマーク認識器７３５は、画像８０２”のピクセル８１４のセットから注釈ピクセル８３２Ａ～Ｎ（以下、概して注釈ピクセル８３２と称する）のセットを検出し、決定し、又は別様に選択し得る。注釈ピクセル８３２のセットは、注釈８１８に対応するピクセル８１４の総セットからサブセットを特定し得る。注釈ピクセル８３２のセットはまた、マーク付きインジケータ８１２と同様に、マーカを使用して作られた無関係なマークを最初に含み得る。注釈ピクセル８３２の選択は、変換された色空間内のピクセル８１４の１つ以上のピクセルの色値に基づいてもよい。注釈ピクセル８３２を使用して、画像８０２”内のＲＯＩ８１６のピクセル位置を取り囲み、境界付け、又は別様に画定してもよい。

【0059】

選択するために、マーク認識器７３５は、画像８０２”内の各ピクセル８１４の色値を、試料８０６内のマーク付きインジケータ８１２又は画像８０２”内の注釈８１８の１つ以上の閾値範囲と比較してもよい。閾値範囲は、スライド上のマーク付きインジケータ８１２に関連付けられた色値に基づいて設定され得る。上で論じたように、マーク付きインジケータ８１２は、スライド８０６上のマーカを使用して、視認者（例えば、臨床医）によって生成され得る。マーク付きインジケータ８１２の色は、組織切片８０８、特徴８１０、又は試料８０４若しくはスライド８０６の残りの部分とは異なる特定の色値（例えば、赤色、青色、緑色、又は黒色）であってもよい。新たな色空間内では、マーク付きインジケータ８１２に対応するピクセル８１４の色値は、ＲＯＩ８１６及び画像８０２”の残りの部分に対応するピクセル８１４の色値と更に区別され得る。ピクセル８１４の色値と比較するための各閾値範囲は、マーク付きインジケータ８１２に関連付けられた色値のうちの１つに対応してもよい。閾値範囲は、新たな色空間内で定義されてもよい。例えば、ＨＳＶ色空間内における黒色ペンの閾値範囲は、［０，０，０］～［１８０，２５５，１２５］の間であってもよく、青色ペンの閾値範囲は、［１００，１２５，３０］～［１３０，２５５，及び２５５］の間であってもよく、緑色ペンの閾値範囲は、［４０，１２５，３０］～［７０，２５５，２５５］の間であってもよい。

【0060】

この比較に基づいて、マーク認識器７３５は、画像８０２”内のピクセル８１４が注釈ピクセル８３２のうちの１つとして含まれるべきか又は選択されるべきかを決定し得る。比較する際に、マーク認識器７３５は、画像８０２”内のピクセル８１４のセットを横断してもよい。各ピクセル８１４について、マーク認識器７３５は、変換された色空間内の色値（例えば、ＨＳＶ値）を特定してもよい。この特定により、マーク認識器７３５は、色値が注釈８１８の閾値範囲のうちの少なくとも１つ内にあるかどうかを判定し得る。色値が閾値範囲のうちの少なくとも１つ内にある場合、マーク認識器７３５は、ピクセル８１４が注釈ピクセル８３２の一部であると判定し得る。いくつかの実施形態では、マーク認識器７３５は、注釈ピクセル８３２に含めるようにピクセル８１４を選択してもよい。一方、色値がすべての閾値範囲外にある場合、マーク認識器７３５は、ピクセル８１４が注釈ピクセル８３２の一部ではないと判定し得る。いくつかの実施形態では、マーク認識器７３５は、注釈ピクセル８３２からピクセル８１４を除外してもよい。マーク認識器７３５は、画像８０２”内のピクセル８１４のセットを通して、比較及び選択プロセスを繰り返してもよい。

【0061】

いくつかの実施形態では、マーク認識器７３５は、注釈ピクセル８３２の少なくとも１つの境界拡張８３４を決定又は生成し得る。境界拡張８３４は、ＲＯＩ８１６を画定又は包み込むために注釈ピクセル８３２の一部として含むための、追加のピクセル８１４に対応し得る。上述したように、画像８０２”において注釈８１８がＲＯＩ８１６を部分的に境界付けるか又は取り囲んでいる場合がある。境界拡張８３４は、マーク認識器７３５によって生成されて、注釈ピクセル８３２を伸張、拡大、又は別様に増加させて、ＲＯＩ８１６を完全に画定又は境界付けることができる。いくつかの実施形態では、マーク認識器７３５は、境界拡張８３４を生成するために、少なくとも１つのカーネル（又はフィルタ、又は関数）を少なくとも注釈ピクセル８３２に使用又は適用してもよい。カーネルは、注釈ピクセル８３２内の色値が、カーネルのサイズによって画定される画像８０２”内の隣接するピクセル８１４の数に割り当てられることを定義し得る。例えば、カーネルは、注釈ピクセル８３２の色値を隣接するピクセル８１４に拡大するために、５×５、１０×１０、１５×１５、又は２０×２０のピクセルサイズを有する円形フィルタであってもよい。マーク認識器７３５は、注釈ピクセル８３２を横断してカーネルを適用してもよい。適用する際に、マーク認識器７３５は、注釈ピクセル８３２の一部として含むように、カーネルに従って、隣接するピクセルの数を増加又は拡大してもよい。

【0062】

カーネルの適用により、マーク認識器７３５は、注釈ピクセル８３２が画像８０２”の一部分を完全に境界付けているか、又は取り囲んでいるかを判定することができる。注釈ピクセル８３２がＲＯＩ８１８を完全に境界付けている場合、画像８０２”は、少なくとも２つの部分に分けられ得、一方の部分は、注釈ピクセル８３２の境界内にあり、ＲＯＩ８１６に対応しており、もう一方の部分は、注釈ピクセル８３２の境界外にあり、画像８０２”の残りに対応している。マーク認識器７３５は、注釈ピクセル８３２を使用して、画像８０２”の部分を分け、区分化し、又は別様に特定し得る。注釈ピクセル８３２によって境界付けられた少なくとも１つの部分がある場合、マーク認識器７３５は、注釈ピクセル８３２がその部分を完全に取り囲んでいると判定し得る。それ以外の場合、注釈ピクセル８３２によって境界付けられた部分がない場合、マーク認識器７３５は、注釈ピクセル８３２がいかなる部分も完全に取り囲んでいないと判定し得る。マーク認識器７３５は、より大きいサイズのカーネルを再適用してもよく、判定を繰り返してもよい。

【0063】

いくつかの実施形態では、マーク認識器７３５は、注釈ピクセル８３２からピクセルのサブセットを選択解除、除外、又は別様に除去し得る。ピクセルのサブセットは、スライド８０６上の無関係なマークに対応し得る。上で論じたように、無関係なマークは、マーク付きインジケータ８１２を用いたのと同様にマーカで作られ得、したがって、閾値範囲に基づいて注釈ピクセル８３２のセットに最初に含まれ得る。無関係なマークに対応するピクセルのサブセットは、画像８０２”において注釈８１８に対応する注釈ピクセル８３２の残りの部分から離れて位置してもよい。ピクセルのサブセットを除去するために、マーク認識器７３５は、注釈ピクセル８３２のグループを計算、決定、又は特定し得る。各グループは、注釈ピクセル８３２の連続したサブセットを形成し得る。各サブセットについて、マーク認識器７３５は、グループ内のピクセル数を特定し得る。

【0064】

この特定により、マーク認識器７３５は、ピクセル数を注釈８１８の閾値数と比較してもよい。閾値数は、対応するピクセルのサブセットを注釈ピクセル８３２に含めるか又は注釈ピクセル８３２から除外するピクセル数の値を描写し得る。ピクセル数が閾値数を上回った（例えば、閾値以上の）場合、マーク認識器７３５は、注釈ピクセル８３２内の対応するピクセルのサブセットの包含を維持し得る。それ以外の場合、ピクセル数が閾値数を下回った（例えば、閾値未満の）場合、マーク認識器７３５は、注釈ピクセル８３２からピクセルのサブセットを除去し得る。

【0065】

注釈ピクセル８３２の特定により、マーク認識器７３５は、少なくとも１つのマーカマスク８３６を出力するか、作るか、又は別様に生成し得る。マーカマスク８３６の生成は、画像８０２”に基づいていてもよい。マーカマスク８３６は、画像８０２”上の注釈ピクセル８３２のピクセル位置を画定し得る。マーカマスク８３６内のピクセル位置の画定は、少なくとも１つの色値に従ってもよい。例えば、マーカマスク８３６は、注釈ピクセル８３２に対応する１つの色（例えば、黒色）と、注釈ピクセル８３２の外側のピクセル８１４に対応する別の色（例えば、無色又は白色）の、二色（例えば、黒色及び白色）であってもよい。いくつかの実施形態では、マーカマスク８３６は、画像８０２”と同じ寸法であり得る。いくつかの実施形態では、マーカマスク８３６は、画像８０２”の寸法とは異なる（例えば、画像８０２”より小さい）寸法であり得る。いくつかの実施形態では、マーク認識器７３５は、上で論じた画像８０２”の代わりに、マーカマスク８３６内の注釈ピクセル８３２にカーネルの適用を実施してもよい。

【0066】

いくつかの実施形態では、マーク認識器７３５は、マーカマスク８３６上で少なくとも１つのフィルタを使用又は適用し得る。フィルタとは、マーカマスク８３６をノイズ除去するか、平滑化するか、又はぼかすことであり得る。フィルタは、とりわけ、ノイズ除去関数（例えば、トータルバリエーションノイズ除去又はウェーブレットノイズ除去）又はぼかしフィルタ（例えば、ガウスぼかし、Ａｎｉｓｏｔｒｏｐｉｃ拡散、又はバイラテラルフィルタ）、又はそれらの任意の組み合わせであってもよい。適用する際に、画像作製器７２５は、マーカマスク８３６をフィルタに供給し得る。フィルタ動作に起因して、マーカマスク８３６内のノイズは更に低減され得る。この動作の結果、マーカマスク８３６内の注釈ピクセル８３２の画定は、マーカマスク８３６の残りの部分とより区別され得る。いくつかの実施形態では、マーク認識器７３５は、注釈ピクセル８３２からスライド上の無関係なマークに対応するピクセルを除去するためにフィルタを適用し得る。いくつかの実施形態では、マーク認識器７３５は、マーカマスク８３６又は注釈ピクセル８３２をデータベース７５５に記憶し、維持し得る。

【0067】

画像処理システム７０５上で実行される領域探索器７４０は、注釈ピクセル８３４を使用して、ＲＯＩピクセル８３８Ａ～Ｎ（以下、概してＲＯＩピクセル８３８と称する）のセットを検出、選択、又は別様に特定し得る。注釈ピクセル８３２（境界拡張８３４を含む）は、ＲＯＩ８１６に対応する画像８０２”の一部分を境界付けるピクセルを特定し得る。注釈ピクセル８３４を使用して、領域探索器７４０は、注釈ピクセル８３４によって境界付けられた画像８０２”内の一部分を特定し得る。特定された部分は、画像８０２”内のピクセル８１４の異なるサブセットに対応し得る。領域探索器７４０は、画像８０２”から特定された部分を、ＲＯＩマーカマスク８４０として割り当てるか又は使用してもよい。いくつかの実施形態では、領域探索器７４０は、注釈ピクセル８３２によって境界付けられたマーカマスク８３６の一部分を特定し得る。領域探索器７４０は、特定された部分を、ＲＯＩピクセル８３８として割り当てるか又は使用してもよい。

【0068】

注釈ピクセル８３４の特定により、領域探索器７４０は、少なくとも１つのＲＯＩマーカマスク８４０を出力するか、作るか、又は別様に生成し得る。ＲＯＩマーカマスク８４０は、画像８０２”内の注釈ピクセル８３２及びＲＯＩピクセル８３８の位置をピクセル化し得る。マーカマスク８３６内のピクセル位置の画定は、少なくとも１つの色値に従ってもよい。例えば、ＲＯＩマーカマスク８３６は、注釈ピクセル８３２又はＲＯＩピクセル８３８に対応する１つの色（例えば、黒色）と、注釈ピクセル８３２とＲＯＩピクセル８３８との外側のピクセル８１４に対応する別の色（例えば、無色又は白色）の、二色（例えば、黒色及び白色）であってもよい。ＲＯＩマーカマスク８４０を生成するために、領域探索器７４０は、マーカマスク８３６内にＲＯＩピクセル８３８を含んでもよい。いくつかの実施形態では、領域探索器７４０は、マーカマスク８３６内のピクセル位置に色値を設定又は割り当てて、ＲＯＩマーカマスク８４０を作るためのＲＯＩピクセル８３８を示し得る。いくつかの実施形態では、ＲＯＩマーカマスク８４０は、画像８０２”と同じ寸法であり得る。いくつかの実施形態では、ＲＯＩマーカマスク８４０は、画像８０２”の寸法とは異なる（例えば、画像８０２”より小さい）寸法であり得る。いくつかの実施形態では、領域探索器７４０は、データベース７５５に、ＲＯＩマーカマスク８４０、注釈ピクセル８３４、又はＲＯＩピクセル８３８を記憶し、維持し得る。

【0069】

ＲＯＩマーカマスク８４０を使用して、領域探索器７４０は、少なくとも１つのＲＯＩマスク８４２を出力するか、作るか、又は別様に生成し得る。ＲＯＩマスク８４２は、画像８０２”内のＲＯＩピクセル８３８の位置をピクセル化し得る。ＲＯＩマーカマスク８３６内のピクセル位置の画定は、少なくとも１つの色値に従ってもよい。例えば、ＲＯＩマーカマスク８３６は、ＲＯＩピクセル８３８に対応する１つの色（例えば、黒色）と、ＲＯＩピクセル８３８の外側のピクセル８１４に対応する別の色（例えば、無色又は白色）の、二色（例えば、黒色及び白色）であってもよい。ＲＯＩマスク８４２を生成するために、領域探索器７４０は、ＲＯＩマーカマスク８４０内の境界を削除、除去、又は別様に抽出し得る。境界は、ＲＯＩピクセル８３８を取り囲む注釈ピクセル８３４に対応してもよく、又は注釈ピクセル８３４によって画定され得る。いくつかの実施形態では、領域探索器７４０は、ＲＯＩマーカマスク８４０内のピクセル位置に色値を設定又は割り当てて、注釈ピクセル８３４を除去して、ＲＯＩマスク８４２を生成し得る。いくつかの実施形態では、ＲＯＩマスク８４２は、画像８０２”と同じ寸法であり得る。いくつかの実施形態では、ＲＯＩマスク８４２は、画像８０２”の寸法とは異なる（例えば、画像８０２”より小さい）寸法であり得る。いくつかの実施形態では、領域探索器７４０は、ＲＯＩマスク８４２又は注釈ピクセル８３４を、データベース７５５に記憶し、維持し得る。

【0070】

ここで、とりわけ図８Ｃを参照すると、ＲＯＩを特定するためのシステム７００内で注釈マークを作るためのプロセス８６０のブロック図が描写されている。プロセス８６０は、注釈８１８の特定を提供するためにシステム７００で実施される動作に対応し得る。プロセス８６０の下で、画像処理システム７０５上で実行される前景検出器７４５は、画像８０２’から少なくとも１つの前景８６２を検出し、決定し、又は別様に特定し得る。前景８６２は、概して、試料８０４内の組織切片８０８、特徴８１０、及びマーク付きインジケータ８１２に対応する、画像８０２’の１つ以上の部分に対応し得る。いくつかの実施形態では、前景検出器７４５は、画像８０２’から少なくとも１つの背景８６４を検出し、決定し、又は別様に特定し得る。背景８６４は、試料８０４内の組織切片８０８、特徴８１０、及びマーク付きインジケータ８１２の、外側の部分など、画像８０２’の前景８６２の外側の部分に対応し得る。前景８６２又は背景８６４の特定は、元の色空間内の画像８０２又は変換された色空間内の画像８０２”からであってもよい。

【0071】

前景８６２又は背景８６４（又はその両方）を特定するために、前景検出器７４５は、画像８０２’（又は画像８０２若しくは８０２”）に画像閾値化動作を適用又は使用し得る。閾値化動作は、とりわけ、Ｏｔｓｕ方式、バランスのとれたヒストグラム閾値化、又は適応閾値化を含み得る。例えば、前景検出器７４５は、Ｏｔｓｕ方式を使用して、前景８６２に対応するピクセル８１４を、画像８０２’内の背景８６４に対応するピクセル８１４から区別してもよい。例えば、Ｏｔｓｕ方式は、画像８０２’から前景８６２と背景８６４にピクセル８１４を分離する、単一の強度閾値を返すことができる。この閾値は、分類内の強度分散を最小化することによって、又は同等に、クラス間の分散を最大化することによって、決定され得る。

【0072】

この特定により、前景検出器７４５は、少なくとも１つの前景マスク８６６を出力するか、作るか、又は別様に生成し得る。前景マスク８６６は、画像８０２’（又は画像８０２若しくは８０２”）内の前景８６２のピクセル位置を画定し得る。前景マスク８６６内のピクセル位置の画定は、少なくとも１つの色値に従ってもよい。例えば、前景マスク８６６は、前景８６２に対応する１つの色（例えば、黒色）と、背景８６４（又は前景８６２以外）の外側のピクセル８１４に対応する別の色（例えば、無色又は白色）の、二色（例えば、黒色及び白色）であってもよい。いくつかの実施形態では、前景マスク８６６は、画像８０２”と同じ寸法であり得る。いくつかの実施形態では、前景マスク８６６は、画像８０２”の寸法とは異なる（例えば、画像８０２”より小さい）寸法であり得る。いくつかの実施形態では、マーク認識器７３５は、上で論じた画像８０２の代わりに、前景マスク８６６にフィルタの適用を実施して、ノイズ除去するか又はぼかしてもよい。

【0073】

画像処理システム７０５上で実行される注釈生成器７５０は、前景マスク８６６及びＲＯＩマスク８４２に基づいて、少なくとも１つの注釈マスク８６８を出力するか、作るか、又は別様に生成し得る。いくつかの実施形態では、注釈生成器７５０は、前景８６２及びＲＯＩピクセル８３８に対応するように特定されたピクセルに基づいて、注釈マスク８６８を生成し得る。注釈マスク８６８は、画像８０２（又は画像８０２若しくは８０２”）内のＲＯＩ８１８のピクセル位置、及び拡張により、試料８０４の組織切片８０８内の特徴８１０を画定し得る。注釈マスク８６８は、ＲＯＩピクセル８３８との共通部分である画像８０２’に反映されるように、特徴８１０内のヌル部分を含み得る。いくつかの実施形態では、注釈生成器７５０は、前景マスク８６６とＲＯＩマスク８４２とを組み合わせて、注釈マスク８６８を生成し得る。

【0074】

注釈マスク８６８は、画像８０２”上の注釈ピクセル８３２のピクセル位置を画定し得る。注釈マスク８６８内のピクセル位置の画定は、少なくとも１つの色値に従ってもよい。例えば、注釈マスク８６８は、ＲＯＩピクセル８３８と前景８６２との共通部分に対応する１つの色（例えば、黒色）と、ＲＯＩピクセル８３８の外側のピクセル８１４に対応する別の色（例えば、無色又は白色）の、二色（例えば、黒色及び白色）であってもよい。いくつかの実施形態では、注釈マスク８６８は、画像８０２”と同じ寸法であり得る。いくつかの実施形態では、注釈マスク８６８は、画像８０２”の寸法とは異なる（例えば、画像８０２”より小さい）寸法であり得る。

【0075】

この生成により、注釈生成器７５０は、１つ以上のデータ構造（例えば、テーブル、ヒープ、リンクされたリスト、配列、又はツリー）を使用して、注釈マスク８６８をデータベース７５５に記憶し、維持し得る。いくつかの実施形態では、注釈生成器７５０は、画像８０２内のＲＯＩピクセル８３８とＲＯＩ８１６との間の関連付けを生成し得る。関連付けはまた、とりわけ、ＲＯＩピクセル８３８、ＲＯＩ８１６、及び注釈マスク８６８のうちの２つ以上と画像８０２との間のものであり得る。関連付けは、とりわけ、試料８０８、スライド８０６、組織切片８０８、又は特徴８１０のうちの２つ以上の特定と、ＲＯＩ８１６、ＲＯＩピクセル８３８、画像８０２、又は注釈マスク８６８との間のものであり得る。生成されると、注釈生成器７５０は、データ構造を使用してデータベース７５５に関連付けを記憶し、維持し得る。いくつかの実施形態では、注釈生成器７５０は、データベース７５５にトレーニングデータセット７６０を備えた、データ構造を記憶し得る。加えて、注釈生成器７５０は、注釈マスク８６８をモデルトレーナシステム７１０に伝達し、送信し、又は別様に提供して、モデル７６０をトレーニングし得る。いくつかの実施形態では、注釈生成器７５０は、特定されたＲＯＩピクセル８３８をモデルトレーナシステム７１０に提供し得る。

【0076】

受信すると、モデルトレーナシステム７１０は、画像分割、画像位置特定、又は画像分類を実施することを学習するようにモデル７６０をトレーニングし得る。モデル７６０は、とりわけ、クラスタリングアルゴリズム（例えば、ｋ近傍アルゴリズム、階層クラスタリング、分布ベースのクラスタリング）、回帰モデル（例えば、線形回帰又はロジスティック回帰）、サポートベクタマシン（ＳＶＭ）、Ｂａｙｅｓｉａｎモデル、又は人工ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）、敵対的生成ネットワーク（ＧＡＮ）、再帰ニューラルネットワーク（ＲＮＮ）、又はトランスフォーマ）などの、機械学習（ＭＬ）モデル若しくは人工知能（ＡＩ）アルゴリズムであってもよい。概して、モデル７６０は、重みのセットを介して互いに関連する、入力のセット及び出力のセットを有し得る。入力は、画像８０２などの少なくとも１つの画像を含み得る。モデル７６０によって実行される機能のタイプに基づいて、出力は、とりわけ、ＲＯＩ８１６と同様の画像内の関心領域（ＲＯＩ）を特定する分割された画像、画像内にＲＯＩが存在することを特定するエリア（例えば、境界ボックス）、又は画像が導出される試料の分類を含み得る。モデルトレーナシステム７１０は、注釈マスク８６８（又はＲＯＩピクセル８３８）とともにトレーニングデータセット７６０を使用して、重みを設定し、修正し、又は別様に更新し得る。例えば、モデルトレーナシステム７１０は、出力とトレーニングデータセット７６０又は注釈マスク８６８との間の損失メトリックを計算してもよい。損失メトリックを使用して、モデルトレーナシステム７１０は、モデル７６０の重みを更新してもよい。

【0077】

異なる色空間及び閾値範囲を使用することによって、画像処理システム７０５は、画像８０２内のＲＯＩ８１６を特定し、画像８０２の注釈マスク８６８を作り得る。この特定及び製作は、とりわけ、エッジ検出、ブロブ検出、アフィン不変特徴検出、又は人工ニューラルネットワーク（ＡＮＮ）に依存するモデルなどの他のコンピュータビジョン技術と相対的に、計算上安価であり得る。画像処理システム７０５はまた、注釈８１８又はマーク付きインジケータ８１２をピクセルごとに手動で特定する必要性からユーザを解放し得る。これは、マーク付きインジケータ８１２を有するスライド８０６上のより多くの数の試料８０４、ひいては画像８０２を、様々なタスクを実施するためにモデル７６０をトレーニングする際に使用することを可能にし得、それにより、そのようなモデル７６０の性能を向上させる。

【0078】

ここで図９を参照すると、画像内の関心領域（ＲＯＩ）を特定する方法９００のフロー図が描写されている。方法９００は、本明細書に記載のシステム７００を、図７～図８Ｃ又は本明細書のセクションＣに詳述されているシステム１０００と併せて使用して実施されてもよく、又は実装されてもよい。方法９００の下で、コンピューティングシステム（例えば、画像処理システム７０５）は、画像（例えば、画像８０２）を特定し得る（９０５）。コンピューティングシステムは、画像を作製し得る（９１０）。コンピューティングシステムは、画像の色空間を変換し得る（９１５）。コンピューティングシステムは、ピクセル（例えば、ピクセル８１４）を特定し得る（９２０）。コンピューティングシステムは、ピクセルの色値が注釈（例えば、注釈８１８）の範囲内であるかどうかを判定し得る（９２５）。色値が範囲内である場合、コンピューティングシステムは、ピクセルを注釈の一部として選択し得る（９３０）。それ以外の場合、色値が範囲外である場合、コンピューティングシステムは、ピクセルを注釈の一部ではないと特定し得る（９３５）。

【0079】

続いて、コンピューティングシステムは、調べるための更なるピクセルが存在するかどうかを判定し得る（９４０）。更に存在する場合、コンピューティングシステムは、アクション（９２０）～（９３５）を繰り返し得る。そうでない場合、更なるピクセルが存在しない場合、コンピューティングシステムは、注釈の輪郭を拡張し得る（９４５）。コンピューティングシステムは、画像から前景（例えば、前景８６４）を特定し得る（９５０）。コンピューティングシステムは、輪郭内のピクセルを関心領域（ＲＯＩ）（例えば、ＲＯＩ８１６）として特定し得る（９５５）。コンピューティングシステムは、前景と組み合わせ得る（９６０）。コンピューティングシステムは、モデル（例えば、モデル７６０）をトレーニングするためのマスク（例えば、注釈マスク８６６）を生成し得る（９６５）。

【0080】

Ｃ．コンピューティング及びネットワーク環境
本明細書に記載される様々な動作は、コンピュータシステムで実装することができる。図１０は、本開示の特定の実施形態を実装するために使用可能な代表的なサーバシステム１０００、クライアントコンピューティングシステム１０１４、及びネットワーク１０２６の簡略化されたブロック図を示す。様々な実施形態では、サーバシステム１０００又は同様のシステムは、本明細書に記載されるサービス又はサーバ又はその一部分を実装することができる。クライアントコンピューティングシステム１０１４又は同様のシステムは、本明細書に記載されるクライアントを実装することができる。本明細書に記載されるシステム６００は、サーバシステム１０００と同様であり得る。サーバシステム１０００は、いくつかのモジュール１００２（例えば、ブレードサーバの実施形態におけるブレード）を組み込むモジュール設計を有することができ、２つのモジュール１００２が示されているが、任意の数を提供することができる。各モジュール１００２は、処理ユニット１００４及びローカル記憶装置１００６を含むことができる。

【0081】

処理ユニット１００４は、１つ以上のコアを有することができる単一のプロセッサ、又は複数のプロセッサを含むことができる。いくつかの実施形態では、処理ユニット１００４は、汎用プライマリプロセッサ、並びにグラフィックプロセッサ、デジタル信号プロセッサなどの１つ以上の特殊目的コプロセッサを含むことができる。いくつかの実施形態では、一部又はすべての処理ユニット１００４は、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされた回路を使用して実装することができる。いくつかの実施形態では、そのような集積回路は、回路自体に記憶された命令を実行する。他の実施形態では、処理ユニット１００４は、ローカル記憶装置１００６に記憶された命令を実行することができる。任意のタイプのプロセッサは任意の組み合わせで、処理ユニット１００４に含めることができる。

【0082】

ローカル記憶装置１００６は、揮発性記憶媒体（例えば、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなど）及び／又は不揮発性記憶媒体（例えば、磁気又は光ディスク、フラッシュメモリなど）を含むことができる。ローカル記憶装置１００６に組み込まれた記憶媒体は、必要に応じて、固定されていても、取り外し可能であっても、又はアップグレード可能であってもよい。ローカル記憶装置１００６は、物理的又は論理的に、システムメモリ、読み取り専用メモリ（ＲＯＭ）、及び永久記憶デバイスなどの様々なサブユニットに分けられ得る。システムメモリは、読み取り及び書き込みメモリデバイス、又は動的ランダムアクセスメモリなどの揮発性読み取り及び書き込みメモリであり得る。システムメモリは、処理ユニット１００４が実行時に必要とする命令及びデータの一部又はすべてを記憶することができる。ＲＯＭは、処理ユニット１００４によって必要とされる静的データ及び命令を記憶することができる。永久記憶装置は、モジュール１００２が電源を切られたときも依然として命令及びデータを記憶することができる、不揮発性読み取り及び書き込みメモリデバイスであることができる。本明細書で使用される場合、用語「記憶媒体」には、データが無期限に記憶され得る（上書き、電気的妨害、電力損失などの影響を受ける）任意の媒体が含まれ、無線で又は有線接続を介して伝播する搬送波及び一時的な電子信号は含まれない。

【0083】

いくつかの実施形態では、ローカル記憶装置１００６は、図５のシステム５００又は本明細書に記載される他のシステムの機能、又はシステム５００若しくは本明細書に記載される他のシステムに関連付けられた他のサーバなどの様々なサーバ機能を実装するオペレーティングシステム及び／又はプログラムなど、処理ユニット１００４によって実行される１つ以上のソフトウェアプログラムを記憶することができる。

【0084】

「ソフトウェア」は、概して、処理ユニット１００４によって実行されたときに、サーバシステム１０００（又はその部分）に様々な動作を実施させ、したがって、ソフトウェアプログラムの動作を実行し実施する１つ以上の特定のマシン実施形態を定義する一連の命令を指す。命令は、処理ユニット１００４による実行のために揮発性作業メモリに読み込むことができる不揮発性記憶媒体に記憶された読み取り専用メモリ及び／又はプログラムコードに常駐する、ファームウェアとして記憶することができる。ソフトウェアは、単一のプログラムとして、又は必要に応じてインタラクションする別個のプログラム若しくはプログラムモジュールの集合として実装することができる。処理ユニット１００４は、ローカル記憶装置１００６（又は以下で記載される非ローカル記憶装置）から、上述した様々な動作を実行するために、実行するプログラム命令及び処理するデータを取得することができる。

【0085】

いくつかのサーバシステム１０００において、複数のモジュール１００２は、バス又は他の相互接続１００８を介して相互接続され得、モジュール１００２とサーバシステム１０００の他の構成要素との間の通信をサポートするローカルエリアネットワークを形成する。相互接続１００８は、サーバラック、ハブ、ルータなどを含む様々な技術を使用して実装することができる。

【0086】

ワイドエリアネットワーク（ＷＡＮ）インターフェース１０１０は、ローカルエリアネットワーク（相互接続１００８）と、インターネットのようなネットワーク１０２６との間のデータ通信能力を提供することができる。有線（例えば、イーサネット、ＩＥＥＥ１００２．３規格）及び／又は無線技術（例えば、Ｗｉ－Ｆｉ、ＩＥＥＥ１００２．１１規格）を含む技術を使用することができる。

【0087】

いくつかの実施形態では、ローカル記憶装置１００６は、相互接続１００８上のトラフィックを低減しながら、処理されるプログラム及び／又はデータへの高速アクセスを提供する、処理ユニット１００４に作業メモリを提供することを意図している。相互接続１００８に接続することができる１つ以上の大容量記憶サブシステム１０１２によって、より大量のデータ向けの記憶域がローカルエリアネットワーク上に提供され得る。大容量記憶サブシステム１０１２は、磁気、光学、半導体、又は他のデータ記憶媒体に基づくことができる。ダイレクトアタッチドストレージ、ストレージエリアネットワーク、ネットワークアタッチドストレージなどを使用することができる。サービス又はサーバによって作られ、消費され、又は維持されるものとして本明細書に記載される任意のデータストア又は他のデータ集合体は、大容量記憶サブシステム１０１２に記憶され得る。いくつかの実施形態では、追加のデータ記憶リソースは、ＷＡＮインターフェース１０１０を介してアクセスされ得る（潜在的にレイテンシが増加する）。

【0088】

サーバシステム１０００は、ＷＡＮインターフェース１０１０を介して受信された要求に応答して動作することができる。例えば、モジュール１００２の１つは、受信された要求に応答して、監督機能を実装し、個別のタスクを他のモジュール１００２に割り当てることができる。作業割り当て技術が使用されてもよい。要求が処理されると、結果は、ＷＡＮインターフェース１０１０を介して要求者に返され得る。そのような動作は、概して自動化することができる。更に、いくつかの実施形態では、ＷＡＮインターフェース１０１０は、複数のサーバシステム１０００を互いに接続することができ、大量の活動を管理することができるスケーラブルなシステムを提供する。動的リソース割り当て及び再割り当てを含む、サーバシステム及びサーバファーム（協働するサーバシステムの集合）を管理するための他の技術を使用することができる。

【0089】

サーバシステム１０００は、インターネットなどの広域ネットワークを介して、様々なユーザ所有又はユーザ操作のデバイスとインタラクションすることができる。ユーザ操作デバイスの一例は、図１０にクライアントコンピューティングシステム１０１４として示される。クライアントコンピューティングシステム１０１４は、例えば、スマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡）、デスクトップコンピュータ、ラップトップコンピュータなどの消費者デバイスとして実装され得る。

【0090】

例えば、クライアントコンピューティングシステム１０１４は、ＷＡＮインターフェース１０１０を介して通信することができる。クライアントコンピューティングシステム１０１４は、処理ユニット１０１６、記憶デバイス１０１８、ネットワークインターフェース１０２０、ユーザ入力デバイス１０２２、及びユーザ出力デバイス１０２４などのコンピュータ構成要素を含むことができる。クライアントコンピューティングシステム１０１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、他のモバイルコンピューティングデバイス、ウェアラブルコンピューティングデバイスなどの様々なフォームファクタで実装されるコンピューティングデバイスであり得る。

【0091】

処理ユニット１０１６及び記憶デバイス１０１８は、上述した処理ユニット１００４及びローカル記憶装置１００６と同様であり得る。好適なデバイスは、クライアントコンピューティングシステム１０１４で発行される要望に基づいて選択されてもよく、例えば、クライアントコンピューティングシステム１０１４は、処理能力が限られた「シン（ｔｈｉｎ）」クライアントとして、又はハイパワーコンピューティングデバイスとして実施されてもよい。クライアントコンピューティングシステム１０１４は、処理ユニット１０１６によって実行可能なプログラムコードでプロビジョニングされて、サーバシステム１０００との様々なインタラクションを可能にすることができる。

【0092】

ネットワークインターフェース１０２０は、サーバシステム１０００のＷＡＮインターフェース１０１０も接続されている広域ネットワーク（例えば、インターネット）などのネットワーク１０２６への接続を提供することができる。様々な実施形態では、ネットワークインターフェース１０２０は、有線インターフェース（例えば、イーサネット）及び／又はＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、若しくはセルラデータネットワーク規格（例えば、３Ｇ、４Ｇ、ＬＴＥなど）といった様々なＲＦデータ通信規格を実装する無線インターフェースを含むことができる。

【0093】

ユーザ入力デバイス１０２２は、任意のデバイス（又は複数のデバイス）を含むことができ、それを介してユーザはクライアントコンピューティングシステム１０１４に信号を提供することができ、クライアントコンピューティングシステム１０１４は、特定のユーザ要求又は情報を示すものとして信号を解釈することができる。様々な実施形態では、ユーザ入力デバイス１０２２は、キーボード、タッチパッド、タッチスクリーン、マウス又は他のポインティングデバイス、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイクなどのいずれか又はすべてを含むことができる。

【0094】

ユーザ出力デバイス１０２４は、クライアントコンピューティングシステム１０１４がユーザに情報を提供することができる任意のデバイスを含むことができる。例えば、ユーザ出力デバイス１０２４は、クライアントコンピューティングシステム１０１４によって生成された、又はクライアントコンピューティングシステム１０１４に配信された画像を表示するための表示装置を含むことができる。表示装置は、様々な画像生成技術、例えば、液晶表示装置（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（ＣＲＴ）などを、支持電子機器（例えば、デジタル－アナログ又はアナログ－デジタル変換器、信号プロセッサなど）とともに組み込むことができる。いくつかの実施形態は、入力及び出力デバイスの両方として機能するタッチスクリーンなどのデバイスを含み得る。いくつかの実施形態では、表示装置に加えて、又は表示装置の代わりに、他のユーザ出力デバイス１０２４が提供され得る。例として、インジケータライト、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどが挙げられる。

【0095】

いくつかの実施形態は、コンピュータ可読記憶媒体にコンピュータプログラム命令を記憶するマイクロプロセッサ、記憶装置及びメモリなどの電子構成要素を含む。本明細書に記載される特徴の多くは、コンピュータ可読記憶媒体上に符号化されたプログラム命令のセットとして指定されたプロセスとして実施することができる。これらのプログラム命令が１つ以上の処理ユニットによって実行されたときに、それらの処理ユニットは、処理ユニットに、プログラム命令に示される様々な動作を実施させる。プログラム命令又はコンピュータコードの例として、コンパイラによって作られるようなマシンコード、及びインタプリタを使用してコンピュータ、電子構成要素、若しくはマイクロプロセッサによって実行される高レベルコードを含むファイルが挙げられる。好適なプログラミングを通じて、処理ユニット１００４及び１０１６は、サーバシステム１０００及びクライアントコンピューティングシステム１０１４に、サーバ若しくはクライアントによって実施されているものとして本明細書に記載される機能又は他の機能のいずれかを含む様々な機能を提供することができる。

【0096】

サーバシステム１０００及びクライアントコンピューティングシステム１０１４は例示的であり、変形形態及び修正形態が可能であることが理解されるであろう。本開示の実施形態に関連して使用されるコンピュータシステムは、本明細書に具体的に記載されていない他の能力を有することができる。更に、サーバシステム１０００及びクライアントコンピューティングシステム１０１４が特定のブロックを参照して記載されているが、これらのブロックが説明の便宜のために定義されており、構成要素部分の特定の物理的配置を暗示することを意図したものではないことが理解されよう。例えば、異なるブロックを同じ施設、同じサーバラック、又は同じマザーボードに位置させることができるが、必ずしもそこに位置させる必要はない。更に、ブロックは、物理的に別個の構成要素に対応する必要はない。ブロックは、例えば、プロセッサをプログラミングすることによって、又は適切な制御回路を提供することによって、様々な動作を実施するように構成することができ、様々なブロックは、初期構成が取得される方法に応じて再構成可能であっても、再構成可能でなくてもよい。本開示の実施形態は、回路及びソフトウェアの任意の組み合わせを使用して実装される電子デバイスを含む様々な装置において実現することができる。

【0097】

本開示は、特定の実施形態に関して説明されてきたが、当業者であれば、多数の修正が可能であることを認識するであろう。本開示の実施形態は、本明細書に記載される特定の実施例を含むがこれらに限定されない、様々なコンピュータシステム及び通信技術を使用して実現することができる。本開示の実施形態は、専用構成要素及び／又はプログラマブルプロセッサ及び／又は他のプログラマブルデバイスの任意の組み合わせを使用して実現することができる。本明細書に記載される様々なプロセスは、任意の組み合わせで同じプロセッサ又は異なるプロセッサで実施され得る。構成要素が特定の動作を実施するように構成されている、と記載される場合、そのような構成は、例えば、動作を実施するように電子回路を設計することによって、動作を実施するようにプログラム可能な電子回路（マイクロプロセッサなど）をプログラミングすることによって、又はそれらの任意の組み合わせによって達成することができる。更に、上述した実施形態は、特定のハードウェア及びソフトウェア構成要素を参照し得るが、当業者であれば、ハードウェア及び／又はソフトウェア構成要素の異なる組み合わせもまた使用され得ること、及びハードウェアに実装されていると記載される特定の動作が、ソフトウェアでも実装され得るかその逆もまた同様であり得ることを理解するであろう。

【0098】

本開示の様々な特徴を組み込んだコンピュータプログラムは、様々なコンピュータ可読記憶媒体に符号化され、記憶されてもよく、好適な媒体として、磁気ディスク又はテープ、コンパクトディスク（ＣＤ）若しくはＤＶＤ（デジタル多用途ディスク）などの光学記憶媒体、フラッシュメモリ、及び他の非一時的媒体が挙げられる。プログラムコードで符号化されたコンピュータ可読媒体は、互換性のある電子デバイスとともにパッケージ化されてもよく、又はプログラムコードは、電子デバイスとは別に（例えば、インターネットダウンロードを介して、又は別々にパッケージ化されたコンピュータ可読記憶媒体として）提供されてもよい。

【0099】

このように、本開示を特定の実施形態に関して説明してきたが、本開示が添付の特許請求の範囲内のすべての修正形態及び等価物を網羅することを意図していることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【国際調査報告】