特表 2024-522604 機械学習対応画像セグメンテーションのための注釈付き訓練データを生成するための階層的ワークフロー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-21

(54)【発明の名称】機械学習対応画像セグメンテーションのための注釈付き訓練データを生成するための階層的ワークフロー

(51)【国際特許分類】

   G16H 30/00 20180101AFI20240614BHJP

【ＦＩ】

G16H30/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023575703

(86)(22)【出願日】2022-06-10

(85)【翻訳文提出日】2024-02-02

(86)【国際出願番号】 US2022033068

(87)【国際公開番号】W WO2022261472

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】63/209,839

(32)【優先日】2021-06-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】チャン， ミャオ

(72)【発明者】

【氏名】モヴァ， ナガムラリ ケー．

(72)【発明者】

【氏名】アバスプール テヘラニ， マハディ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA26

(57)【要約】

人工知能（ＡＩ）対応ワークフローを使用して医療画像に注釈を付けるためのシステムおよび方法が、本明細書で開示される。いくつかの例示的な実施形態では、サンプルの画像が、ニューラルネットワークによって生成された注釈を使用してラベル付けされ得る。注釈は、画像中の特徴を表し得る。いくつかの事例では、ラベル付けされた画像は、正確さおよび／または完全性について素人および／または専門家によってレビューされ得、ラベル付けされた画像は、注釈付き画像を生成するためにレビューに基づいて更新され得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

特徴を有するサンプルの画像を受信することと、
ニューラルネットワークを使用して、前記特徴を表す注釈を生成することと、
前記ニューラルネットワークを使用して、前記注釈を含むラベル付けされた画像を生成することと、
画像補正インターフェースへの前記ラベル付けされた画像の提示を促すことと、
前記画像補正インターフェースから、第１のニューラルネットワークによって生成された前記注釈に関係するラベル補正データを受信することと、
前記ラベル付けされた画像の更新を含む注釈付き画像を生成するために、前記ラベル補正データを使用して、前記ラベル付けされた画像を更新することと
を含む、方法。

【請求項2】

前記更新が、前記特徴を表す前記注釈についての信頼性値を含む、請求項１に記載の方法。

【請求項3】

前記信頼性値とプリセット信頼性しきい値との比較に基づいて、前記注釈付き画像中の前記注釈を検証すること
をさらに含む、請求項２に記載の方法。

【請求項4】

前記特徴が、加齢黄斑変性（ＡＭＤ）を示すバイオマーカーを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ラベル補正データが、前記画像補正インターフェースにおいて受信されたラベルの確認、拒否、または修正の指示を含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記指示が、１人または複数の訓練されたユーザによって前記画像補正インターフェースに入力される、請求項５に記載の方法。

【請求項7】

前記サンプルが組織サンプルまたは血液サンプルである、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記注釈付き画像により前記ニューラルネットワークを訓練することをさらに含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

非一時的メモリと、
前記非一時的メモリと結合されたハードウェアプロセッサと
を備える、システムであって、前記ハードウェアプロセッサが、前記システムに、
特徴を有するサンプルの画像を受信することと、
ニューラルネットワークを使用して、前記特徴を表す注釈を生成することと、
前記ニューラルネットワークを使用して、前記注釈を含むラベル付けされた画像を生成することと、
画像補正インターフェースへの前記ラベル付けされた画像の提示を促すことと、
前記画像補正インターフェースから、第１のニューラルネットワークによって生成された前記注釈に関係するラベル補正データを受信することと、
前記ラベル付けされた画像の更新を含む注釈付き画像を生成するために、前記ラベル補正データを使用して、前記ラベル付けされた画像を更新することと
を含む動作を実施させるための命令を前記非一時的メモリから読み取るように構成された、システム。

【請求項10】

前記更新が、前記特徴を表す前記注釈についての信頼性値を含む、請求項９に記載のシステム。

【請求項11】

前記特徴が、加齢黄斑変性（ＡＭＤ）を示すバイオマーカーを含む、請求項９または１０に記載のシステム。

【請求項12】

前記ラベル補正データが、前記画像補正インターフェースにおいて受信されたラベルの確認、拒否、または修正の指示を含む、請求項９から１１のいずれか一項に記載のシステム。

【請求項13】

前記指示が、１人または複数の訓練されたユーザによって前記画像補正インターフェースに入力される、請求項１２に記載のシステム。

【請求項14】

前記注釈付き画像により前記ニューラルネットワークを訓練することをさらに含む、請求項９から１３のいずれか一項に記載のシステム。

【請求項15】

コンピュータ可読命令を記憶した非一時的コンピュータ可読媒体（ＣＲＭ）であって、前記コンピュータ可読命令が、コンピュータシステムに、
特徴を有するサンプルの画像を受信することと、
ニューラルネットワークを使用して、前記特徴を表す注釈を生成することと、
前記ニューラルネットワークを使用して、前記注釈を含むラベル付けされた画像を生成することと、
画像補正インターフェースへの前記ラベル付けされた画像の提示を促すことと、
前記画像補正インターフェースから、第１のニューラルネットワークによって生成された前記注釈に関係するラベル補正データを受信することと、
前記ラベル付けされた画像の更新を含む注釈付き画像を生成するために、前記ラベル補正データを使用して、前記ラベル付けされた画像を更新することと
を含む動作を実施させるために実行可能である、非一時的コンピュータ可読媒体（ＣＲＭ）。

【請求項16】

前記更新が、前記特徴を表す前記注釈についての信頼性値を含む、請求項１５に記載の非一時的ＣＲＭ。

【請求項17】

前記信頼性値とプリセット信頼性しきい値との比較に基づいて、前記注釈付き画像中の前記注釈を検証すること
をさらに含む、請求項１５または１６に記載の非一時的ＣＲＭ。

【請求項18】

前記特徴が、加齢黄斑変性（ＡＭＤ）を示すバイオマーカーを含む、請求項１５から１７のいずれか一項に記載の非一時的ＣＲＭ。

【請求項19】

前記ラベル補正データが、前記画像補正インターフェースにおいて受信された前記ラベルの確認、拒否、または修正の指示を含む、請求項１５から１８のいずれか一項に記載の非一時的ＣＲＭ。

【請求項20】

前記サンプルが組織サンプルまたは血液サンプルである、請求項１５から１９のいずれか一項に記載の非一時的ＣＲＭ。

【請求項21】

少なくとも１つのデータプロセッサと、
命令を記憶する少なくとも１つのメモリと
を備える、システムであって、前記命令が、前記少なくとも１つのデータプロセッサによって実行されたとき、
少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、
少なくとも第２の入力に基づいて、前記画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの前記第１のセットを更新することと、
少なくとも、ラベルの前記第１のセットおよび／またはラベルの前記第２のセットに基づいて、前記画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、
前記画像と、前記画像のためのグランドトゥルースラベルの前記セットとを含むように、訓練サンプルを生成することと、
少なくとも前記訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することと
を含む動作を生じる、システム。

【請求項22】

前記動作が、
前記画像をセグメント化するための予備ラベルのセットを生成するために前記機械学習モデルを適用することと、
少なくとも第３の入力に基づいて、ラベルの前記第１のセットを生成するために予備ラベルの前記セットを更新することと
をさらに含む、請求項２１に記載のシステム。

【請求項23】

前記動作が、
集約されたラベルセットを生成するためにラベルの前記第１のセットを組み合わせることと、
１つまたは複数のクライアントデバイスにおける表示のために、前記集約されたラベルセットを含むユーザインターフェースを生成することと
をさらに含む、請求項２１または２２に記載のシステム。

【請求項24】

真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムが、ラベルの前記第１のセットを組み合わせるために適用される、請求項２３に記載のシステム。

【請求項25】

ラベルの前記第１のセットが、第１のレビュー者によって前記画像中のピクセルに割り当てられた第１のラベルと、第２のレビュー者によって前記ピクセルに割り当てられた第２のラベルと、第３のレビュー者によって前記ピクセルに割り当てられた第３のラベルとを含む、請求項２３または２４に記載のシステム。

【請求項26】

前記集約されたラベルセットが、前記画像中の前記ピクセルについて、前記第１のラベルと前記第２のラベルと前記第３のラベルとの重み付けされた組合せに対応する第４のラベルを含む、請求項２５に記載のシステム。

【請求項27】

前記第１のラベルが、前記第１のレビュー者の第１の正確さに対応する第１の重みに関連し、前記第２のラベルが、前記第２のレビュー者の第２の正確さに対応する第２の重みに関連し、前記第３のラベルが、前記第３のレビュー者の第３の正確さに対応する第３の重みに関連する、請求項２６に記載のシステム。

【請求項28】

前記第２の入力が、前記第４のラベルを確認する、前記第４のラベルに異議を唱える、および／または前記第４のラベルを修正する、請求項２６または２７に記載のシステム。

【請求項29】

前記動作が、
異なるレビュー者によって前記画像中の同じピクセルに割り当てられた複数のラベル間の不一致のレベルを示すコンセンサスメトリックを決定すること
をさらに含む、請求項２１から２８のいずれか一項に記載のシステム。

【請求項30】

前記コンセンサスメトリックが、和集合の共通部分（ＩＯＵ）を含む、請求項２９に記載のシステム。

【請求項31】

前記動作は、
ラベルの前記第１のセットについての前記コンセンサスメトリックがしきい値を満たすことができないと決定すると、レビューのためにラベルの前記第１のセットをエスカレートすること
をさらに含む、請求項２９または３０に記載のシステム。

【請求項32】

グランドトゥルースラベルの前記セットが、前記画像内に存在する１つまたは複数の特徴を識別する、請求項２１から３１のいずれか一項に記載のシステム。

【請求項33】

グランドトゥルースラベルの前記セットが、前記画像内の各ピクセルについて、前記画像内に存在する前記１つまたは複数の特徴のうちの特徴に属するものとして前記ピクセルを識別するラベルを含む、請求項３２に記載のシステム。

【請求項34】

前記１つまたは複数の特徴が、前記画像中で示されている網膜中に存在する１つまたは複数の構造、異常、および／または形態学的変化を含む、請求項３２または３３に記載のシステム。

【請求項35】

前記１つまたは複数の特徴が、疾患のためのバイオマーカーを含む、請求項３２から３４のいずれか一項に記載のシステム。

【請求項36】

前記１つまたは複数の特徴が、発生期地図状萎縮（ｎＧＡ）および／または加齢黄斑変性（ＡＭＤ）の進行を予測するためのバイオマーカーを含む、請求項３２から３５のいずれか一項に記載のシステム。

【請求項37】

前記１つまたは複数の特徴が、ドルーゼン量と、最大ドルーゼン高さと、高反射病巣（ＨＲＦ）量と、最小外顆粒層（ＯＮＬ）厚さと、網膜色素上皮（ＲＰＥ）量とを含む、請求項３２から３６のいずれか一項に記載のシステム。

【請求項38】

前記機械学習モデルがニューラルネットワークを備える、請求項２１から３７のいずれか一項に記載のシステム。

【請求項39】

前記画像が、コンピュータ断層撮影（ＣＴ）画像と、光干渉断層撮影（ＯＣＴ）スキャンと、Ｘ線画像と、磁気共鳴イメージング（ＭＲＩ）スキャンと、超音波画像とのうちの１つまたは複数を含む、請求項２１から３８のいずれか一項に記載のシステム。

【請求項40】

前記第１の入力がレビュー者の第１のグループに関連し、前記第２の入力がレビュー者の第２のグループに関連する、請求項２１から３９のいずれか一項に記載のシステム。

【請求項41】

少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、
少なくとも第２の入力に基づいて、前記画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの前記第１のセットを更新することと、
少なくとも、ラベルの前記第１のセットおよび／またはラベルの前記第２のセットに基づいて、前記画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、
前記画像と、前記画像のためのグランドトゥルースラベルの前記セットとを含むように、訓練サンプルを生成することと、
少なくとも前記訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することと
を含む、コンピュータ実装方法。

【請求項42】

前記画像をセグメント化するための予備ラベルのセットを生成するために前記機械学習モデルを適用することと、
少なくとも第３の入力に基づいて、ラベルの前記第１のセットを生成するために予備ラベルの前記セットを更新することと
をさらに含む、請求項４１に記載の方法。

【請求項43】

動作が、
集約されたラベルセットを生成するためにラベルの前記第１のセットを組み合わせることと、
１つまたは複数のクライアントデバイスにおける表示のために、前記集約されたラベルセットを含むユーザインターフェースを生成することと
をさらに含む、請求項４１または４２に記載の方法。

【請求項44】

真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムが、ラベルの前記第１のセットを組み合わせるために適用される、請求項４３に記載の方法。

【請求項45】

ラベルの前記第１のセットが、第１のレビュー者によって前記画像中のピクセルに割り当てられた第１のラベルと、第２のレビュー者によって前記ピクセルに割り当てられた第２のラベルと、第３のレビュー者によって前記ピクセルに割り当てられた第３のラベルとを含む、請求項４３または４４に記載の方法。

【請求項46】

前記集約されたラベルセットが、前記画像中の前記ピクセルについて、前記第１のラベルと前記第２のラベルと前記第３のラベルとの重み付けされた組合せに対応する第４のラベルを含む、請求項４５に記載の方法。

【請求項47】

前記第１のラベルが、前記第１のレビュー者の第１の正確さに対応する第１の重みに関連し、前記第２のラベルが、前記第２のレビュー者の第２の正確さに対応する第２の重みに関連し、前記第３のラベルが、前記第３のレビュー者の第３の正確さに対応する第３の重みに関連する、請求項４６に記載の方法。

【請求項48】

前記第２の入力が、前記第４のラベルを確認する、前記第４のラベルに異議を唱える、および／または前記第４のラベルを修正する、請求項４６または４７に記載の方法。

【請求項49】

前記動作が、
異なるレビュー者によって前記画像中の同じピクセルに割り当てられた複数のラベル間の不一致のレベルを示すコンセンサスメトリックを決定すること
をさらに含む、請求項４１から４８のいずれか一項に記載の方法。

【請求項50】

前記コンセンサスメトリックが、和集合の共通部分（ＩＯＵ）を含む、請求項４９に記載の方法。

【請求項51】

前記動作は、
ラベルの前記第１のセットについての前記コンセンサスメトリックがしきい値を満たすことができないと決定すると、レビューのためにラベルの前記第１のセットをエスカレートすること
をさらに含む、請求項４９または５０に記載の方法。

【請求項52】

グランドトゥルースラベルの前記セットが、前記画像内に存在する１つまたは複数の特徴を識別する、請求項４１から５１のいずれか一項に記載の方法。

【請求項53】

グランドトゥルースラベルの前記セットが、前記画像内の各ピクセルについて、前記画像内に存在する前記１つまたは複数の特徴のうちの特徴に属するものとして前記ピクセルを識別するラベルを含む、請求項５２に記載の方法。

【請求項54】

前記１つまたは複数の特徴が、前記画像中で示されている網膜中に存在する１つまたは複数の構造、異常、および／または形態学的変化を含む、請求項５２または５３に記載の方法。

【請求項55】

前記１つまたは複数の特徴が、疾患のためのバイオマーカーを含む、請求項５２から５４のいずれか一項に記載の方法。

【請求項56】

前記１つまたは複数の特徴が、発生期地図状萎縮（ｎＧＡ）および／または加齢黄斑変性（ＡＭＤ）の進行を予測するためのバイオマーカーを含む、請求項５２から５５のいずれか一項に記載の方法。

【請求項57】

前記１つまたは複数の特徴が、ドルーゼン量と、最大ドルーゼン高さと、高反射病巣（ＨＲＦ）量と、最小外顆粒層（ＯＮＬ）厚さと、網膜色素上皮（ＲＰＥ）量とを含む、請求項５２から５６のいずれか一項に記載の方法。

【請求項58】

前記機械学習モデルがニューラルネットワークを備える、請求項４１から５７のいずれか一項に記載の方法。

【請求項59】

前記画像が、コンピュータ断層撮影（ＣＴ）画像と、光干渉断層撮影（ＯＣＴ）スキャンと、Ｘ線画像と、磁気共鳴イメージング（ＭＲＩ）スキャンと、超音波画像とのうちの１つまたは複数を含む、請求項４１から５８のいずれか一項に記載の方法。

【請求項60】

前記第１の入力がレビュー者の第１のグループに関連し、前記第２の入力がレビュー者の第２のグループに関連する、請求項４１から５９のいずれか一項に記載の方法。

【請求項61】

少なくとも１つのデータプロセッサによって実行されたとき、
少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、
少なくとも第２の入力に基づいて、前記画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの前記第１のセットを更新することと、
少なくとも、ラベルの前記第１のセットおよび／またはラベルの前記第２のセットに基づいて、前記画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、
前記画像と、前記画像のためのグランドトゥルースラベルの前記セットとを含むように、訓練サンプルを生成することと、
少なくとも前記訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することと
を含む動作を生じる命令を記憶する、非一時的コンピュータ可読媒体。

【請求項62】

前記動作が、請求項４１から６０のいずれか一項に記載の方法をさらに含む、請求項６１に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その開示全体が参照により本明細書に組み込まれる、２０２２年６月１１日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＮＮＯＴＡＴＩＮＧ ＭＥＤＩＣＡＬ ＩＭＡＧＥＳ ＵＳＩＮＧ ＡＮ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ （ＡＩ）－ＥＮＡＢＬＥＤ ＨＩＥＲＡＲＣＨＩＣＡＬ ＷＯＲＫＦＬＯＷ」と題する米国仮出願第６２／２０９，８３９号の優先権を主張する。

【0002】

本開示は、一般に、機械学習に関し、より詳細には、機械学習対応画像セグメンテーションのための注釈付き（ａｎｎｏｔａｔｅｄ）訓練データを生成することに関する。

【0003】

序論
人工知能（ＡＩ）は、ヘルスケア提供者が様々な疾患および症状についての患者の診断、進行監視、および治療においてビッグデータを活用することを可能にすることによってを含めて、ヘルスケアに革命を起こすことに、役立っている。ビッグデータの例は、様々なイメージングモダリティの医療画像を含む。医療画像は、患者の診断、進行監視、および治療を助ける特徴を識別するために、様々なタイプの機械学習モデルによる分析を受け得る。しかしながら、グランドトゥルースラベルで医療画像に注釈を付けることを含む、そのような機械学習モデルのための訓練データを生成することは、少なくとも、医療画像に注釈を付けるために主題の専門家が一般に必要とされるので、煩雑で費用がかかるタスクであり得る。さらに、注釈を生成するために主題の専門家を使用する手動注釈（ａｎｎｏｔａｔｉｏｎ）プロセスは、専門家は、専門家の訓練、使用される慣例、標準、視野、または人為的過誤の傾向が変動し得るので、信頼できないことがある。

【発明の概要】

【0004】

以下は、説明された技術の基本的理解を提供するために本開示のいくつかの実施形態を要約する。本発明の概要は、本開示のすべての企図された特徴の広範な概観ではなく、本開示のすべての実施形態の主要なまたは重要な要素を識別するものでも、本開示のいずれかまたはすべての実施形態の範囲を定めるものでもない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の１つまたは複数の実施形態のいくつかの概念を概要の形式で提示することである。

【0005】

医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するためのシステムと、方法と、コンピュータプログラム製品を含む製造品とが提供される。いくつかの例示的な実施形態では、少なくとも１つのプロセッサと少なくとも１つのメモリとを含むシステムが提供される。少なくとも１つのメモリは、少なくとも１つのプロセッサによって実行されたときに動作を提供するプログラムコードを含み得る。動作は、少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、少なくとも第２の入力に基づいて、画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの第１のセットを更新することと、少なくとも、ラベルの第１のセットおよび／またはラベルの第２のセットに基づいて、画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、画像と、画像のためのグランドトゥルースラベルのセットとを含むように、訓練サンプルを生成することと、少なくとも訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することとを含み得る。

【0006】

別の態様では、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するための方法が提供される。本方法は、少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、少なくとも第２の入力に基づいて、画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの第１のセットを更新することと、少なくとも、ラベルの第１のセットおよび／またはラベルの第２のセットに基づいて、画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、画像と、画像のためのグランドトゥルースラベルのセットとを含むように、訓練サンプルを生成することと、少なくとも訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することとを含み得る。

【0007】

別の態様では、命令を記憶する非一時的コンピュータ可読媒体を含むコンピュータプログラム製品が提供される。命令は、動作が少なくとも１つのデータプロセッサによって実行されることを引き起こし得る。動作は、少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、少なくとも第２の入力に基づいて、画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの第１のセットを更新することと、少なくとも、ラベルの第１のセットおよび／またはラベルの第２のセットに基づいて、画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、画像と、画像のためのグランドトゥルースラベルのセットとを含むように、訓練サンプルを生成することと、少なくとも訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することとを含み得る。

【0008】

方法、システム、および非一時的コンピュータ可読媒体のいくつかの変形形態では、以下の特徴のうちの１つまたは複数が、任意の実現可能な組合せで随意に含まれ得る。機械学習モデルは、画像をセグメント化するための予備ラベル（ｐｒｅｌｉｍｉｎａｒｙ ｌａｂｅｌ）のセットを生成するために適用され得る。ラベルの第１のセットを生成するための予備ラベルのセットは、少なくとも第３の入力に基づいて更新され得る。

【0009】

いくつかの変形形態では、ラベルの第１のセットは、集約（ａｇｇｒｅｇａｔｅ）されたラベルセットを生成するために組み合わせられ得る。集約されたラベルセットを含むユーザインターフェースが、１つまたは複数のクライアントデバイスにおける表示のために生成され得る。

【0010】

いくつかの変形形態では、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ：ｓｉｍｕｌｔａｎｅｏｕｓ ｔｒｕｔｈ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｌｅｖｅｌ ｅｓｔｉｍａｔｉｏｎ）アルゴリズムが、ラベルの第１のセットを組み合わせるために適用され得る。

【0011】

いくつかの変形形態では、ラベルの第１のセットは、第１のレビュー者（ｒｅｖｉｅｗｅｒ）によって画像中のピクセルに割り当てられた第１のラベルと、第２のレビュー者によってピクセルに割り当てられた第２のラベルと、第３のレビュー者によってピクセルに割り当てられた第３のラベルとを含み得る。

【0012】

いくつかの変形形態では、集約されたラベルセットは、画像中のピクセルについて、第１のラベルと第２のラベルと第３のラベルとの重み付けされた組合せに対応する第４のラベルを含み得る。

【0013】

いくつかの変形形態では、第１のラベルは、第１のレビュー者の第１の正確さに対応する第１の重みに関連し得、第２のラベルは、第２のレビュー者の第２の正確さに対応する第２の重みに関連し得、第３のラベルは、第３のレビュー者の第３の正確さに対応する第３の重みに関連し得る。

【0014】

いくつかの変形形態では、第２の入力は、第４のラベルを確認する、第４のラベルに異議を唱える、および／または第４のラベルを修正し得る。

【0015】

いくつかの変形形態では、異なるレビュー者によって画像中の同じピクセルに割り当てられた複数のラベル間の不一致のレベルを示すコンセンサスメトリックが決定され得る。

【0016】

いくつかの変形形態では、コンセンサスメトリックは、和集合の共通部分（ＩＯＵ：ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）を含み得る。

【0017】

いくつかの変形形態では、ラベルの第１のセットは、ラベルの第１のセットについてのコンセンサスメトリックがしきい値を満たすことができないと決定すると、レビュー（ｒｅｖｉｅｗ）のためにエスカレート（ｅｓｃａｌａｔｅ）され得る。

【0018】

いくつかの変形形態では、グランドトゥルースラベルのセットは、画像内に存在する１つまたは複数の特徴を識別し得る。

【0019】

いくつかの変形形態では、グランドトゥルースラベルのセットは、画像内の各ピクセルについて、画像内に存在する１つまたは複数の特徴のうちの特徴に属するものとしてピクセルを識別するラベルを含み得る。

【0020】

いくつかの変形形態では、１つまたは複数の特徴は、画像中で示されている網膜中に存在する１つまたは複数の構造、異常、および／または形態学的変化を含み得る。

【0021】

いくつかの変形形態では、１つまたは複数の特徴は、疾患のためのバイオマーカーであり得る。

【0022】

いくつかの変形形態では、１つまたは複数の特徴は、発生期地図状萎縮（ｎＧＡ：ｎａｓｃｅｎｔ ｇｅｏｇｒａｐｈｉｃ ａｔｒｏｐｈｙ）および／または加齢黄斑変性（ＡＭＤ）の進行を予測するためのバイオマーカーであり得る。

【0023】

いくつかの変形形態では、１つまたは複数の特徴は、ドルーゼン量（ｖｏｌｕｍｅ）と、最大ドルーゼン高さと、高反射病巣（ＨＲＦ：ｈｙｐｅｒｒｅｆｌｅｃｔｉｖｅ ｆｏｃｉ）量と、最小外顆粒層（ＯＮＬ）厚さと、網膜色素上皮（ＲＰＥ）量とを含み得る。

【0024】

いくつかの変形形態では、機械学習モデルはニューラルネットワークであり得る。

【0025】

いくつかの変形形態では、画像は、コンピュータ断層撮影（ＣＴ）画像と、光干渉断層撮影（ＯＣＴ）スキャンと、Ｘ線画像と、磁気共鳴イメージング（ＭＲＩ）スキャンと、超音波画像とのうちの１つまたは複数であり得る。

【0026】

いくつかの変形形態では、第１の入力はレビュー者の第１のグループに関連し得、第２の入力はレビュー者の第２のグループに関連する。

【0027】

本開示のいくつかの実施形態は、特徴を有するサンプルの画像を受信することを含む方法をさらに開示する。本方法は、ニューラルネットワークを使用して、特徴を表す注釈を生成することと、ニューラルネットワークを使用して、注釈を含むラベル付けされた画像を生成することとをさらに含む。さらに、本方法は、画像補正インターフェースへのラベル付けされた画像の提示を促すことを含む。さらに、本方法は、画像補正インターフェースから、第１のニューラルネットワークによって生成された注釈に関係するラベル補正データを受信することと、ラベル付けされた画像の更新を含む注釈付き画像を生成するために、ラベル補正データを使用して、ラベル付けされた画像を更新することとを含む。

【0028】

本開示のいくつかの実施形態は、非一時的メモリと、非一時的メモリと結合されたハードウェアプロセッサとを備える、システムであって、ハードウェアプロセッサが、システムに動作を実施させるための命令を非一時的メモリから読み取るように構成された、システムを開示する。いくつかの例示的な実施形態では、動作は、特徴を有するサンプルの画像を受信することを含む。動作は、ニューラルネットワークを使用して、特徴を表す注釈を生成することと、ニューラルネットワークを使用して、注釈を含むラベル付けされた画像を生成することとをさらに含む。さらに、動作は、画像補正インターフェースへのラベル付けされた画像の提示を促すことを含む。さらに、動作は、画像補正インターフェースから、第１のニューラルネットワークによって生成された注釈に関係するラベル補正データを受信することと、ラベル付けされた画像の更新を含む注釈付き画像を生成するために、ラベル補正データを使用して、ラベル付けされた画像を更新することとを含む。

【0029】

本開示のいくつかの実施形態は、コンピュータ可読命令を記憶した非一時的コンピュータ可読媒体（ＣＲＭ）であって、コンピュータ可読命令が、コンピュータシステムに動作を実施させるために実行可能である、非一時的コンピュータ可読媒体（ＣＲＭ）を開示する。いくつかの例示的な実施形態では、動作は、特徴を有するサンプルの画像を受信することを含む。動作は、ニューラルネットワークを使用して、特徴を表す注釈を生成することと、ニューラルネットワークを使用して、注釈を含むラベル付けされた画像を生成することとをさらに含む。さらに、動作は、画像補正インターフェースへのラベル付けされた画像の提示を促すことを含む。さらに、動作は、画像補正インターフェースから、第１のニューラルネットワークによって生成された注釈に関係するラベル補正データを受信することと、ラベル付けされた画像の更新を含む注釈付き画像を生成するために、ラベル補正データを使用して、ラベル付けされた画像を更新することとを含む。

【0030】

本主題の実装形態は、限定はしないが、本明細書で提供される説明に従う方法、ならびに、１つまたは複数の機械（たとえば、コンピュータなど）に、説明される特徴のうちの１つまたは複数を実装する動作を生じさせるように動作可能な、有形に具現された機械可読媒体を備える物品を含むことができる。同様に、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合された１つまたは複数のメモリとを含み得るコンピュータシステムも説明される。非一時的コンピュータ可読または機械可読記憶媒体を含むことができるメモリは、１つまたは複数のプロセッサに本明細書で説明される動作のうちの１つまたは複数を実施させる１つまたは複数のプログラムを、含むこと、符号化すること、記憶することなどを行い得る。本主題の１つまたは複数の実装形態に従うコンピュータ実装方法は、単一のコンピューティングシステムまたは複数のコンピューティングシステム中に存在する１つまたは複数のデータプロセッサによって実装され得る。そのような複数のコンピューティングシステムは、たとえば、ネットワーク（たとえば、インターネット、ワイヤレスワイドエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤードネットワークなど）上の接続へのものを含む、１つまたは複数の接続を介して、複数のコンピューティングシステムのうちの１つまたは複数の間の直接接続などを介して、接続され得、データおよび／あるいはコマンドまたは他の命令などを交換することができる。

【0031】

本明細書で説明される主題の１つまたは複数の変形形態の詳細は、添付の図面および以下の説明において記載される。本明細書で説明される主題の他の特徴および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。本開示の主題のいくつかの特徴は、例示の目的で、医療画像の機械学習対応セグメンテーションに関して説明されるが、そのような特徴は限定するものではないことが容易に理解されるべきである。本開示に従う特許請求の範囲は、保護される主題の範囲を定義するものである。

【0032】

本明細書で開示される原理およびそれらの利点のより完全な理解のために、次に、添付の図面とともに、以下の説明が参照される。

【図面の簡単な説明】

【0033】

【図1A】本開示の様々な実施形態による、画像注釈システムの一例を示すブロック図である。

【図1B】本開示の様々な実施形態による、画像注釈システムの一例を示すシステム図である。

【図2A】本開示の様々な実施形態による、医療画像に注釈を付けるためのプロセスの一例を示すフローチャートである。

【図2B】本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するための階層的ワークフローの一例を示すフローチャートである。

【図2C】本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するためのワークフローの様々な例を示す図である。

【図3】本開示の様々な実施形態による、ニューラルネットワークの一例を示す概略図である。

【図4A】本開示の様々な実施形態による、医療画像に注釈を付けるためのプロセスの一例を示すフローチャートである。

【図4B】本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するためのプロセスの一例を示すフローチャートである。

【図5】本開示の様々な実施形態による、コンピュータシステムの一例を示すブロック図である。

【図6】本開示の様々な実施形態による、セグメンテーションラベルで注釈を付けられた医療画像の一例を示す図である。

【図7A】本開示の様々な実施形態による、医療画像注釈の定性的評価を示す図である。

【図7B】本開示の様々な実施形態による、医療画像注釈の定量的評価を示す図である。

【図8】本開示の様々な実施形態による、訓練された機械学習モデルによって出力された生医療画像と注釈付き医療画像とセグメント化された医療画像との比較を示す図である。

【図9】本開示の様々な実施形態による、発生期地図状萎縮（ｎＧＡ）の進行を予測するためのバイオマーカーの例を示す図である。

【発明を実施するための形態】

【0034】

図は必ずしも一定の縮尺で描かれているとは限らず、また、図中のオブジェクトは必ずしも互いとの関係において一定の縮尺で描かれているとは限らないことを理解されたい。図は、本明細書で開示される装置、システム、および方法の様々な実施形態の明快さおよび理解をもたらすものとする描写である。可能な場合はいつでも、同じまたは同様の参照番号が、同じまたは同様の構造、特徴または要素を指すために図面全体にわたって使用される。その上、図面はいかなる形でも本教示の範囲を限定するものではないことを諒解されたい。

【0035】

医療イメージング技術は、ヘルスケア従事者がヘルスケア従事者の患者の医学的問題点をより良く可視化し、理解することを可能にする医療画像を作り出し、したがって、同じより正確な診断および治療選択肢を提供するために使用され得る強力なツールである。医療イメージング技術の非限定的な例は、コンピュータ断層撮影（ＣＴ）イメージング、光干渉断層撮影（ＯＣＴ）イメージング、Ｘ線イメージング、磁気共鳴イメージング（ＭＲＩ）イメージング、超音波イメージングなどを含む。そのようなイメージング技術は、医療分野の多様な分野にわたって使用され得る。たとえば、コンピュータ断層撮影（ＣＴ）スキャン画像または磁気共鳴イメージング（ＭＲＩ）画像は、腫瘍、脳組織損傷など、脳障害を診断するために使用され得、超音波画像は、肝臓（たとえば、病変、腫瘍など）、腎臓（たとえば、腎結石など）など、器官において生じる医学的問題点を調査するためのコスト効果的な手段であり得る。イメージング技法は、特定の医療分野に限定されないことがある。たとえば、上述のイメージング技術のいずれかが、限定はしないが、加齢黄斑変性（ＡＭＤ）の診断および治療などの場合に、眼科的調査のために適用され得る。

【0036】

医療画像は患者の健康状態に関する有益な情報を含むことができるが、医療画像から情報を抽出することは、多くのリソースを必要とする困難なタスクであり、医療画像中に含まれている情報に関して誤った結論が導かれることにつながり得る。たとえば、医療画像は、疾患または症状を示す特徴を有するサンプルの画像であり得、医療画像中の特徴を識別することは、難しいことがある。サンプルの医療画像に注釈を付け、サンプルの様々な特徴を識別するための、訓練されたレビュー者、特に、医療画像をレビューすることにおいて訓練された主題の専門家の使用は、結論の正確さを改善し得る。しかしながら、プロセスは、依然として面倒であることがあり、レビュー者間の固有の望ましくない変動性を有し得、特にコストがかかることがあり、ヘルスケア従事者の患者に適切な診断および治療を提供する際のヘルスケア従事者による使用のために医療画像中の有益な情報を識別または抽出するための効率的、コスト効果的、および正確な機構についてのヘルスケア提供者の必要を満たさないことがある。

【0037】

人工知能（ＡＩ）ベースシステムは、その医療画像中のサンプルの特徴を識別するように訓練され得、したがって、医療画像中の特徴をラベル付けするための注釈ツールとして好適であり得る。ニューラルネットワークなど、機械学習モデルを訓練するための１つの手法は、注釈付き訓練データセットを使用してニューラルネットワークが訓練される教師あり学習手法であり、注釈付き訓練データセットにおいて、各訓練サンプルは、いくつかの入力データ属性を呈し、対応するターゲット属性の１つまたは複数のグランドトゥルースラベルに関連する、医療画像である。すなわち、各訓練サンプルは、医療画像内に存在する特徴の１つまたは複数のグランドトゥルースラベルで注釈を付けられた医療画像であり得る。そのような特徴は、特定の疾患または症状の診断、進行監視、および治療のために使用され得るバイオマーカーであり得る。その場合、機械学習モデルの訓練は、機械学習モデルが訓練データセットに適用されるとき、機械学習モデルが、機械学習モデルの出力中に存在するエラーを最小限に抑えるように調整される、プロセスを含み得る。たとえば、機械学習モデルを訓練することは、各訓練サンプルに割り当てられたグランドトゥルースラベルと機械学習モデルによって決定された対応するラベルとの間の不一致を最小限に抑えるために、機械学習モデルの出力中に存在するエラーのバックプロパゲーションを通してなど、機械学習モデルによって適用される重みを調整することを含み得る。訓練を通して、機械学習モデルは、機械学習モデルが医療画像中の入力データ属性（たとえば、特徴）を１つまたは複数のターゲット属性（たとえば、ラベル）にマッピングすることを可能にする、訓練データセット内に存在するパターンを学習し得る。訓練されたニューラルネットワークは、次いで、患者の医療画像中に存在する関連のある特徴（たとえば、バイオマーカー）を識別するために、たとえば、臨床環境において、展開され得る。

【0038】

機械学習モデルのパフォーマンスおよび効率は訓練データセットの品質に依存し得るので、データセットの注釈は、注意して、および、少なくとも注釈の一部、注釈を実施するのに適格である主題の専門家によって、実施され得る。これは、プロセスを、医療画像中の特徴の専門家注釈に関して上記で説明されたように、コストがかかる、変動する、面倒なものにし得る。したがって、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するための改善された技法が望まれ得る。

【0039】

いくつかの例示的な実施形態では、注釈コントローラが、訓練サンプルに割り当てられたグランドトゥルースラベルがレビュー者の複数のグループからの入力に基づいて決定される、注釈付き訓練データを生成するための階層的ワークフローを実装するように構成され得る。たとえば、注釈付き訓練サンプルを生成するために、注釈コントローラは、レビュー者の第１のグループから受信された入力に基づいて、医療画像のためのラベルの第１のセットを決定し得る。ラベルの第１のセットは、医療画像内の１つまたは複数のピクセルに、各ピクセルによって示される解剖学的特徴に対応するラベルを割り当てる、１つまたは複数のピクセルごとセグメンテーションラベルを含み得る。いくつかの場合には、ラベルの第１のセットは、レビュー者の第１のグループからの入力に基づいて、後続の訓練を受けるものと同じまたは異なる機械学習モデルであり得る機械学習モデルによって決定された予備ラベルのセットを更新することによって、生成され得る。

【0040】

例として、注釈コントローラは、少なくとも１人のレビュー者から受信された入力に基づいて、医療画像のための第１のラベルまたはラベルの第１のセットを決定し得る。第１のラベル／ラベルの第１のセットは、医療画像内のピクセルに、ピクセルによって示される解剖学的特徴に対応するラベルを割り当てる、ピクセルごとセグメンテーションラベルを含み得る。いくつかの場合には、第１のラベル／ラベルの第１のセットは、第１のレビュー者からのａｎに基づいて、後続の訓練を受けるものと同じまたは異なる機械学習モデルであり得る機械学習モデルによって決定された予備ラベルまたは予備ラベルのセットを更新することによって、生成され得る。

【0041】

医療画像が光干渉断層撮影（ＯＣＴ）スキャンである場合、医療画像の１つまたは複数のピクセルは、内境界膜（ＩＬＭ）、外部または外網状層（ＯＰＬ）、網膜色素上皮（ＲＰＥ）、ブルッフ膜（ＢＭ）など、網膜構造に対応するラベルを割り当てられ得る。いくつかの場合には、医療画像の１つまたは複数のピクセルは、ドルーゼン、網状偽ドルーゼン（ＲＰＤ）、網膜高反射病巣（たとえば、網膜色素上皮よりも等しいかまたはより大きい反射率をもつ病変）、（たとえば、外網状層の境界内に出現する）低反射くさび形構造（ｈｙｐｏｒｅｆｌｅｃｔｉｖｅ ｗｅｄｇｅ－ｓｈａｐｅｄ ｓｔｒｕｃｔｕｒｅ）、脈絡膜高透過欠陥（ｃｈｏｒｏｉｄａｌ ｈｙｐｅｒｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｆｅｃｔ）などの存在など、異常および／または形態学的変化に対応するラベルをも割り当てられ得る。

【0042】

あるレベルの不一致がラベルの第１のセット内に存在すると決定すると、注釈コントローラは、少なくとも、レビュー者の第２のグループから受信された入力に基づいてラベルの第１のセットを更新することによって、医療画像のためのラベルの第２のセットを決定し得る。いくつかの場合には、注釈コントローラは、たとえば、ラベルの第１のセットが、しきい値未満（ｂｅｌｏｗ－ｔｈｒｅｓｈｏｌｄ）コンセンサスメトリック（たとえば、和集合の共通部分（ＩＯＵ）など）を有することによって、ラベルの第１のセットが、示されるようなしきい値超（ａｂｏｖｅ－ｔｈｒｅｓｈｏｌｄ）レベルの不一致を呈するとき、ラベルの第２のセットを決定し得る。代替的に、注釈コントローラは、たとえば、ラベルの第１のセットの間のしきい値超コンセンサスメトリックに基づいて、しきい値未満レベルの不一致がラベルの第１のセット内に存在するとき、ラベルの第２のセットを決定し得る。

【0043】

いくつかの例示的な実施形態では、注釈コントローラは、レビュー者の第２のグループから受信された入力がラベルの第１のセットの集約（ａｇｇｒｅｇａｔｅ）の補正を含むように、医療画像に関連するラベルの第１のセットの集約を表示するユーザインターフェース（たとえば、グラフィックユーザインターフェース（ＧＵＩ））を生成し得る。注釈コントローラは、様々なやり方でラベルの第１のセットの集約を決定し得る。たとえば、いくつかの場合には、注釈コントローラは、たとえば、レビュー者の第１のグループによって提供される個々のセグメンテーションの最適な組合せを推定し、対応するレビュー者のパフォーマンスに基づいて各セグメンテーションを重み付けすることによって、医療画像の真のセグメンテーションの確率的推定値を決定するために、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、ラベルの第１のセットを集約し得る。

【0044】

いくつかの例示的な実施形態では、注釈コントローラは、少なくともラベルの第２のセットに基づいて、医療画像のための１つまたは複数のグランドトゥルースラベルを決定し得る。医療画像、および医療画像に関連する１つまたは複数のグランドトゥルースラベルは、医療画像のセグメンテーションを実施するように、ニューラルネットワークなどの機械学習モデルを訓練するための注釈付き訓練サンプルを形成し得る。たとえば、医療画像内の各ピクセルに、ピクセルが、医療画像中で示されている解剖学的特徴の一部分を形成するかどうかを示すラベルを割り当てるように機械学習モデルを訓練するために、注釈付き訓練サンプルを含む訓練データセットが使用され得る。画像セグメンテーションを実施するように機械学習モデルを訓練することは、機械学習モデルの出力中に存在するエラーを最小限に抑えるように機械学習モデルを調整することを含み得る。たとえば、機械学習モデルは、少なくとも、機械学習モデルの出力中の間違ってラベル付けされたピクセルの数量を最小限に抑えるために、機械学習モデルによって適用される重みを調整することによって、訓練され得る。述べられたように、医療画像が患者の光干渉断層撮影（ＯＣＴ）スキャンである場合、医療画像に対して画像セグメンテーションを実施する訓練された機械学習モデルは、医療画像中で示されている網膜中の網膜構造、異常、および／または形態学的変化など、様々な特徴を識別し得る。いくつかの場合には、患者の年齢に加えて、加齢黄斑変性（ＡＭＤ）および発生期地図状萎縮（ｎＧＡ）など、患者における眼疾患の進行を予測するためのバイオマーカーのうちの少なくともいくつかは、それらの特徴（たとえば、ドルーゼン量、最大ドルーゼン高さ、高反射病巣（ＨＲＦ）量、最小外顆粒層（ＯＮＬ）厚さ、網膜色素上皮（ＲＰＥ）量など）のうちの１つまたは複数に基づいて決定され得る。

【0045】

本開示の様々な実施形態は、医療画像のセグメンテーションを実施するように機械学習モデルを訓練するための注釈付き訓練データを生成するための階層的ワークフローを対象とするシステムおよび方法を提供する。述べられたように、訓練された機械学習モデルは、少なくとも、医療画像内の各ピクセルに医療画像中で示されている特定の特徴（たとえば、網膜構造、異常、形態学的変化など）に属するものとしてピクセルを識別するラベルを割り当てることによって、医療画像をセグメント化し得る。階層的ワークフローは、レビュー者の第１のセットに関連するラベルの第１のセットに基づいて、または、ラベルの第１のセットがしきい値超不一致を呈する場合、ラベルの第１のセットの１つまたは複数の更新を含むレビュー者の第２のセットに関連するラベルの第２のセットに基づいて、医療画像のための１つまたは複数のグランドトゥルースラベルを決定することを含み得る。いくつかの場合には、ラベルの第１のセット自体が、レビュー者の第１のグループからの入力に基づいて、機械学習モデルによって決定された予備ラベルのセットを更新することによって、生成され得る。開示される階層的ワークフローは、機械学習モデルのための注釈付き訓練データを生成するために必要とされる時間およびリソースを低減し得る。いくつかの場合には、限られた数の訓練サイクルの後に、機械学習モデルは、機械学習モデルによって決定された予備ラベルがほとんどまたはまったく補正を必要としないときなど、十分なパフォーマンス（たとえば、分類正確さ）を達成し得、その場合、機械学習モデルは、最小のレビュー者監督および介入で、臨床環境において医療画像に注釈を付けることが可能であり得る。

【0046】

本開示は、これらの例示的な実施形態および適用例に、あるいは、例示的な実施形態および適用例が動作するかまたは本明細書で説明される様式に限定されない。その上、図は、簡略化された、または部分的なビューを示し得、図中の要素の寸法は、誇張されているか、または場合によっては比例していないことがある。

【0047】

要素のリスト（たとえば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、リストされた要素のいずれか１つを単独で含み、リストされた要素のすべてではない要素の任意の組合せを含み、および／またはリストされた要素のすべての組合せを含むものとする。本明細書におけるセクション分割は、レビューの容易さのためにすぎず、説明される要素の任意の組合せを限定しない。

【0048】

「被験者（ｓｕｂｊｅｃｔ）」という用語は、臨床試験の被験者、治療を受ける人または動物、抗癌療法を受ける人または動物、寛解または回復について監視されている人または動物、（たとえば、その医学的病歴により）予防的健康分析を受ける人または動物、あるいは関心の任意の他の人または患者または動物を指し得る。様々な場合において、「被験者」および「患者」は、本明細書では互換的に使用され得る。

【0049】

「医療画像」という用語は、限定はしないが、コンピュータ断層撮影（ＣＴ）イメージング技術、光干渉断層撮影（ＯＣＴ）イメージング技術、Ｘ線イメージング技術、磁気共鳴イメージング（ＭＲＩ）イメージング技術、超音波イメージング技術、共焦点走査レーザー検眼鏡検査（ｃＳＬＯ：ｃｏｎｆｏｃａｌ ｓｃａｎｎｉｎｇ ｌａｓｅｒ ｏｐｈｔｈａｌｍｏｓｃｏｐｙ）イメージング技術などを含む、医療イメージング技術または技法を使用してキャプチャされる、組織、器官などの画像を指し得る。「医療画像」という用語は、限定はしないが、診断、監視、治療、研究、臨床試験などを含む、医療目的で使用され得る（たとえば、医療イメージングのために特別に設計されないことがあるか、またはスマートフォンなどのパーソナルデバイス上に見つけられ得るカメラを含む）任意のタイプのカメラを使用してキャプチャされる、組織、器官、骨などの画像をも指し得る。

【0050】

「サンプル」という用語は、患者または被験者などのエンティティの組織、器官、骨などを指し得る。したがって、採取されているサンプルの医療画像に言及するとき、この用語は、その医療画像がキャプチャされる患者／被験者の組織、器官、骨などを指し得る。

【0051】

別段に定義されていない限り、本明細書で説明される本教示に関して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、コンテキストによって別段に必要とされていない限り、単数形の用語は複数形を含むものとし、複数形の用語は単数形を含むものとする。概して、本明細書で説明される、化学、生化学、分子生物学、薬理学および毒物学に関して、ならびにそれらの技法に関して利用される名称は、当技術分野でよく知られ、一般的に使用されるものである。

【0052】

本明細書で使用される「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」は、意図された目的で機能するのに十分、を意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的パフォーマンスにあまり影響を及ぼさないものなど、絶対のまたは完全な状態、寸法、測定値、結果などからの、小さい、有意でない変動を許容する。数値、あるいは数値として表され得るパラメータまたは特性に関して使用されるとき、「実質的に」は、１０パーセント以内を意味する。

【0053】

本明細書で使用される、数値、あるいは数値として表され得るパラメータまたは特性に関して使用される「約（ａｂｏｕｔ）」という用語は、数値の１０パーセント以内を意味する。たとえば、「約５０」は、両端値を含む、４５から５５までの範囲内の値を意味する。

【0054】

「もの（ｏｎｅｓ）」という用語は、２つ以上を意味する。

【0055】

本明細書で使用される「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０個、またはそれ以上であり得る。

【0056】

本明細書で使用される「のセット（ｓｅｔ ｏｆ）」という用語は、１つまたは複数を意味する。たとえば、項目のセットは、１つまたは複数の項目を含む。

【0057】

項目のリストとともに使用されるとき、本明細書で使用される「のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」という句は、リストされた項目のうちの１つまたは複数の異なる組合せが使用され得、リスト中の項目のうちの１つのみが必要とされ得ることを意味する。項目は、特定のオブジェクト、物、ステップ、動作、プロセス、またはカテゴリーであり得る。言い換えれば、「のうちの少なくとも１つ」は、項目の任意の組合せまたは任意の数の項目がリストから使用され得るが、リスト中の項目のすべてが必要とされるとは限らないことを意味する。たとえば、限定はしないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａと項目Ｂ、項目Ｂ、項目Ａと項目Ｂと項目Ｃ、項目Ｂと項目Ｃ、または項目Ａと項目Ｃを意味する。いくつかの場合には、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、限定はしないが、項目Ａのうちの２つと項目Ｂのうちの１つと項目Ｃのうちの１０個、項目Ｂのうちの４つと項目Ｃのうちの７つ、または何らかの他の好適な組合せを意味する。

【0058】

本明細書で使用される「モデル」は、１つまたは複数のアルゴリズム、１つまたは複数の数学的技法、１つまたは複数の機械学習（ＭＬ）アルゴリズム、またはそれらの組合せを含み得る。

【0059】

本明細書で使用される「機械学習」は、データをパースし、データから学習し、次いで、世界における何かに関する決定または予測を行うためにアルゴリズムを使用することの実践を含み得る。機械学習は、ルールベースプログラミングに依拠することなしにデータから学習することができるアルゴリズムを使用する。

【0060】

本明細書で使用される「人工ニューラルネットワーク」または「ニューラルネットワーク」（ＮＮ）は、算出のコネクショニスティック手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは算出モデルを指し得る。ニューラルネットと呼ばれることもあるニューラルネットワークは、受信された入力のための出力を予測するために、非線形ユニットの１つまたは複数の層を採用することができる。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク中の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、パラメータのそれぞれのセットの現在値に従って、受信された入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への参照は、１つまたは複数のニューラルネットワークへの参照であり得る。

【0061】

ニューラルネットワークは２つのやり方で情報を処理し得、すなわち、ニューラルネットワークが訓練されているとき、ニューラルネットワークは訓練モードにあり、ニューラルネットワークが学習したものをニューラルネットワークが実践に移すとき、ニューラルネットワークは推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力に一致するようにネットワークが中間隠れ層中の個々のノードの（その挙動を修正する）重み係数を調整することを可能にするフィードバックプロセス（たとえば、バックプロパゲーション）を通して学習し得る。言い換えれば、ニューラルネットワークは、訓練データを供給されること（例を学習すること）によって学習し得、ニューラルネットワークが入力の新しい範囲またはセットを提示されるときでも、正しい出力にどのように達するかを最終的に学習する。

【0062】

図１Ａ～図１Ｂは、本開示の様々な実施形態による、画像注釈システム１００の一例を示す。画像注釈システム１００は、サンプルの医療画像をキャプチャすること、前記キャプチャされた医療画像を処理すること、医療画像上のサンプルの特徴をラベル付けするための注釈の生成、ラベル補正フィードバックを含むラベル補正データをシステムインターフェースに入力することなどに関係する様々なプロセスを実施するように動作する複数のサーバおよび／またはソフトウェア構成要素を含むか、または実装し得る。例示的なサーバは、たとえば、ＭＩＣＲＯＳＯＦＴ（商標）ＯＳ、ＵＮＩＸ（商標）ＯＳ、ＬＩＮＵＸ（商標）ＯＳ、または他の好適なサーバベースオペレーティングシステムなど、サーバオペレーティングシステムを動作させるスタンドアロンサーバおよびエンタープライズクラスサーバを含み得る。図１Ａ～図１Ｂに示されているサーバが他のやり方で展開され得、そのようなサーバによって実施される動作および／または提供されるサービスが、所与の実装形態のために組み合わせられるかまたは分けられ得、より多数またはより少数のサーバによって実施され得ることが諒解され得る。１つまたは複数のサーバが、同じまたは異なるエンティティによって動作され、および／または維持され得る。

【0063】

いくつかの例示的な実施形態では、画像注釈システム１００は、イメージングシステム１０５と、セグメンテーションエンジン１２０と、注釈コントローラ１３５と、１つまたは複数のクライアントデバイス１３２とを実装する１つまたは複数のサーバを含み得る。図１Ａ～図１Ｂに示されているように、イメージングシステム１０５と、セグメンテーションエンジン１２０と、注釈コントローラ１３５と、１つまたは複数のクライアントデバイス１３２とは、ネットワーク１３０上で互いに通信可能に結合され得る。イメージングシステム１０５と、セグメンテーションエンジン１２０と、注釈コントローラ１３５とは、各々、本明細書で説明される様々なアプリケーション、データ、およびステップを実装するために１つまたは複数のコンピュータ可読媒体に記憶されたプログラムコードおよび／またはデータなどの命令を実行するための１つまたは複数の電子プロセッサ、電子メモリ、および他の適切な電子的構成要素を含み得る。たとえば、そのような命令は、画像注釈システム１００の様々な構成要素の内部および／または外部の、ならびに／あるいはネットワーク１３０上でアクセス可能な、メモリまたはデータ記憶デバイスなど、１つまたは複数のコンピュータ可読媒体に記憶され得る。イメージングシステム１０５、セグメンテーションエンジン１２０、および注釈コントローラ１３５の、単一のものが示されているが、各サーバの、２つ以上があり得る。

【0064】

いくつかの例示的な実施形態では、ネットワーク１３０は、単一のネットワークまたは複数のネットワークの組合せとして実装され得る。たとえば、様々な実施形態では、ネットワーク１３０は、インターネットまたは１つまたは複数のイントラネット、ランドラインネットワーク、ワイヤレスネットワーク、および／あるいは他の適切なタイプのネットワークを含み得る。別の例では、ネットワーク１３０は、インターネットなど、他の通信ネットワークと通信するように適応されたワイヤレス電気通信ネットワーク（たとえば、セルラー電話ネットワーク）を含み得る。

【0065】

いくつかの例示的な実施形態では、イメージングシステム１０５は、診断、監視、治療、研究、臨床試験などの目的で、患者または被験者の（本明細書ではまとめて「サンプル」と呼ばれる）組織、器官、骨などのサンプルの医療画像を取得するというタスクを与えられるエンティティによって維持され得る。たとえば、エンティティは、患者が患者の器官に関係して有し得る症状または疾患を診断する際に使用するためにその器官の医療画像を取得しようとするヘルスケア提供者であり得る。別の例として、エンティティは、被験者のサンプルに影響を及ぼす疾患の進行／退行、および／またはその疾患を治療するために被験者に投与される薬の効果の結果としての、サンプルの変化を監視するためにサンプルの医療画像を収集するというタスクを与えられる、臨床試験の管理者であり得る。上記の例が非限定的であり、イメージングシステム１０５が、上述のまたは任意の他の医療目的でサンプルの医療画像を取得するためにイメージングシステム１０５を使用し得る他のプロフェッショナルによって維持され得ることに留意されたい。

【0066】

いくつかの例示的な実施形態では、イメージングシステム１０５は、上述のまたは任意の他の医療目的で被験者のサンプルの画像をキャプチャするために使用され得る医療画像キャプチャ（ＭＩＣ）デバイス１１０を含み得る。たとえば、医療画像キャプチャデバイス１１０は、患者のサンプルの放射線写真医療画像をキャプチャするように構成された固定Ｘ線管をもつＸ線機械であり得る。別の例として、医療画像キャプチャデバイス１１０は、患者のサンプルのコンピュータ断層撮影（ＣＴ）医療画像をキャプチャするように構成された電動Ｘ線源をもつＸ線機械であり得、すなわち、医療画像キャプチャデバイス１１０は、コンピュータ断層撮影（ＣＴ）イメージングデバイスであり得る。

【0067】

いくつかの例示的な実施形態では、医療画像キャプチャデバイス１１０は、限定はしないが患者の網膜など、患者のサンプルをキャプチャするように構成された光干渉断層撮影（ＯＣＴ）システムであるか、またはそれを含むことができる。いくつかの事例では、光干渉断層撮影（ＯＣＴ）システムは、臨床環境において使用される大きい卓上構成、ポータブルまたはハンドヘルド専用システム、あるいはスマートフォンなどのユーザパーソナルデバイスに組み込まれた「スマート」光干渉断層撮影（ＯＣＴ）システムであり得る。いくつかの例示的な実施形態では、医療画像キャプチャデバイス１１０は、被験者または患者、あるいはそのサンプルの磁気共鳴イメージング（ＭＲＩ）画像をキャプチャするように構成された磁気共鳴イメージング（ＭＲＩ）スキャナまたは機械であり得る。いくつかの例示的な実施形態では、医療画像キャプチャデバイス１１０は、患者のサンプルの反射された音波に基づいてそのサンプルの超音波画像を生成するように構成された超音波機械であり得る。

【0068】

いくつかの例示的な実施形態では、医療画像キャプチャデバイス１１０は、網膜を含む眼の画像、すなわち、網膜画像をキャプチャするように構成された共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）機器を含み得る。いくつかの事例では、共焦点走査レーザー検眼鏡検査機器は、限定はしないが、フルオレセイン血管造影、インドシアニングリーン（ＩＣＧ）血管造影、眼底自発蛍光、カラー眼底など、網膜イメージングモダリティのために使用され得る。

【0069】

いくつかの例示的な実施形態では、イメージングシステム１０５は、ノイズを認識し、画像（たとえば、医療画像キャプチャデバイス１１０によってキャプチャされ、医療画像キャプチャデバイス１１０から受信された医療画像）から除去するように構成された画像ノイズ除去器（ｉｍａｇｅ ｄｅｎｏｉｓｅｒ）モジュール１１５を含み得、ここで、画像ノイズは、限定はしないが、画像によってキャプチャされたサンプル中に存在しないかまたはそのサンプルを正しく反映しない／示さない、ひずみ、漂遊マーク（ｓｔｒａｙ ｍａｒｋ）、輝度、色などの画像品質の変動を含むものとして、理解され得る。いくつかの事例では、画像ノイズ除去器モジュール１１５は、限定はしないが、空間領域フィルタ処理方法、変分ノイズ除去（ｖａｒｉａｔｉｏｎａｌ ｄｅｎｏｉｓｉｎｇ）方法など、空間領域方法またはアルゴリズムを含み得る。いくつかの事例では、画像ノイズ除去器モジュールは、（たとえば、フーリエ変換を使用する）変換領域方法またはアルゴリズムを含み得る。いくつかの例示的な実施形態では、画像ノイズ除去器モジュール１１５は、ＡＩ対応画像ノイズ除去器であるかまたはそれを含み得、たとえば、画像ノイズ除去器モジュール１１５は、画像中のノイズの存在を決定し、ノイズを除去または修正して、画像の品質を改善するように、画像の大きい訓練データセットに関して訓練される、ＡＩまたはＭＬアルゴリズムを含み得る。たとえば、画像ノイズ除去器モジュール１１５は、限定はしないが、多層知覚方法、深層学習方法などを含む、畳み込みニューラルネットワーク（ＣＮＮ）ベースノイズ除去方法またはアルゴリズムを含み得る。いくつかの例示的な実施形態では、医療画像キャプチャデバイス１１０によってキャプチャされた医療画像をノイズ除去するために使用される画像ノイズ除去器の画像ノイズ除去器モジュール１１５は、そのすべてが全体として参照により本明細書に組み込まれる、Ｒｅｉｓｍａｎら、「Ｅｎｈａｎｃｅｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｌａｙｅｒ Ｄｅｔｅｃｔｉｏｎ ｖｉａ Ａｖｅｒａｇｉｎｇ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ Ｉｍａｇｅｓ」、Ｉｎｖｅｓｔｉｇａｔｉｖｅ Ｏｐｈｔｈａｌｍｏｌｏｇｙ ＆ Ｖｉｓｕａｌ Ｓｃｉｅｎｃｅ、２０１０年４月、Ｖｏｌ．５１，３８５９において説明される拡張可視化および層検出アルゴリズムと、Ｊ．Ｙａｎｇら、「Ｕｎｉｖｅｒｓａｌ Ｄｉｇｉｔａｌ Ｆｉｌｔｅｒｉｎｇ Ｆｏｒ Ｄｅｎｏｉｓｉｎｇ Ｖｏｌｕｍｅｔｒｉｃ Ｒｅｔｉｎａｌ ＯＣＴ ａｎｄ ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ ｉｎ ３Ｄ Ｓｈｅａｒｌｅｔ Ｄｏｍａｉｎ」、Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．４５、Ｉｓｓｕｅ ３、６９４～６９７ページ（２０２０）において説明されるユニバーサルデジタルフィルタ処理アルゴリズムと、Ｚ．Ｍａｏら、「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃ ３Ｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ａｎｔｅｒｉｏｒ ｏｆ Ｌａｍｉｎａ Ｃｒｉｂｒｏｓａ ｉｎ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ Ｖｏｌｕｍｅｔｒｉｃ Ｓｃａｎｓ」、Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、Ｖｏｌ．１０、Ｉｓｓｕｅ １１、５８３２～５８５１ページ（２０１９）において説明される深層学習ベースノイズ低減アルゴリズムと、Ｊ．Ｌｅｈｔｉｎｅｎら、「Ｎｏｉｓｅ２Ｎｏｉｓｅ：Ｌｅａｒｎｉｎｇ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ｗｉｔｈｏｕｔ Ｃｌｅａｎ Ｄａｔａ」、Ａｒｘｉｖ：１８０３．０４１８９（２０１８）において説明されるＮｏｉｓｅ２Ｎｏｉｓｅノイズ除去器とを含む。

【0070】

いくつかの例示的な実施形態では、セグメンテーションエンジン１２０は、サンプルの医療画像をラベル付けするかまたはサンプルの医療画像に注釈を付けるというタスクを与えられるエンティティによって維持され得る。たとえば、エンティティは、イメージングシステム１０５を維持する、上記で説明されたヘルスケア提供者または臨床試験管理者であり得る。図１Ａ～図１Ｂはイメージングシステム１０５とセグメンテーションエンジン１２０とを２つの別個の構成要素として示すが、いくつかの例示的な実施形態では、イメージングシステム１０５とセグメンテーションエンジン１２０とは、同じシステムまたはモジュールの一部であり（たとえば、ヘルスケア提供者または臨床試験管理者など、同じエンティティによって維持され）得る。

【0071】

いくつかの例示的な実施形態では、セグメンテーションエンジン１２０は、単一のニューラルネットワーク、あるいは任意の数のニューラルネットワークまたはニューラルネットワークの任意の組合せを含むシステムを実装され得る、機械学習モデル１２５を含み得る。いくつかの場合には、機械学習モデル１２５を実装する１つまたは複数のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であり得る。しかしながら、機械学習モデル１２５が、たとえば、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ｎｅｕｒａｌ－ＯＤＥ）などを含む、様々な異なるタイプのニューラルネットワークを含み得ることを諒解されたい。

【0072】

いくつかの例示的な実施形態では、機械学習モデル１２５は、１つまたは複数のエンコーダ、デコーダ、またはオートエンコーダとして実装され得る。いくつかの場合には、１つまたは複数のエンコーダ、デコーダ、および／またはオートエンコーダは、１つまたは複数のニューラルネットワークを介して実装され得る。たとえば、いくつかの場合には、１つまたは複数のエンコーダ、デコーダ、および／またはオートエンコーダは、１つまたは複数の畳み込みニューラルネットワーク（ＣＮＮ）を使用して実装され得る。代替および／または追加として、１つまたは複数のエンコーダ、デコーダ、および／またはオートエンコーダは、Ｙ－Ｎｅｔ（Ｙ字形ニューラルネットワークシステム）またはＵ－Ｎｅｔ（Ｕ字形ニューラルネットワークシステム）として実装され得る。

【0073】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、セグメンテーションエンジン１２０から１つまたは複数の医療画像を受信し、注釈のために医療画像へのアクセスを医療画像レビュー者１４０、１４５に提供するというタスクを与えられるエンティティによって維持され得る。たとえば、図１Ａ～図１Ｂに示されているように、注釈コントローラ１３５は、レビュー者１４０、１４５が他のレビュー者および／または機械学習モデル１２５によって医療画像に対して実施された注釈をレビューし、および／または更新することができるように医療画像にセキュアにアクセスするために、レビュー者１４０、１４５が、たとえば、１つまたは複数のクライアントデバイス１３２など、レビュー者１４０、１４５のそれぞれのコンピューティングデバイスを介してログインすることができる、リモートサーバ（たとえば、クラウドコンピューティングサーバ）であり得る。いくつかの事例では、注釈コントローラ１３５は、セグメンテーションエンジン１２０と、いくつかの場合にはイメージングシステム１０５とを含む、組み合わせられたまたは統合されたシステムの一部であり得る。そのような場合、注釈コントローラ１３５は、ヘルスケア提供者、臨床試験管理者などのエンティティ、またはレビュー者１４０、１４５による注釈付き医療画像のレビューを容易にするというタスクを与えられた契約者などの任意の他のエンティティによって維持され得る。

【0074】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、データベース１５０と、インターフェース１５５と、評価器１６０と、集約器（ａｇｇｒｅｇａｔｏｒ）１６５とを含み得る。いくつかの事例では、注釈コントローラ１３５は、コンピューティングプラットフォームと、データベース１５０を有する記憶システムと、注釈コントローラ１３５のユーザが入力を提供することを可能にするように構成されたインターフェース１５５とを有するサーバであるか、またはそれを含み得る。たとえば、注釈コントローラ１３５は、セグメンテーションエンジン１２０から受信された注釈付き医療画像を記憶するように構成され得るデータベース１５０を含む記憶システムを含み得る。いくつかの例示的な実施形態では、データベース１５０を含む注釈コントローラ１３５の記憶システムは、健康保険の携行性と責任に関する法律（ＨＩＰＡＡ）に準拠した、患者データを扱うときのいくつかのセキュリティプロシージャを規定する、ＨＩＰＡＡのセキュリティ要件に準拠するように構成され得る。たとえば、データベース１５０への注釈付き医療画像の記憶は、暗号化および匿名化され得、すなわち、注釈付き医療画像は、医療画像が属する被験者の個人識別情報（ＰＩＩ）を除去し、および／または不明瞭にするように、暗号化され、ならびに処理され得る。

【0075】

いくつかの例示的な実施形態では、インターフェース１５５は、レビュー者１４０、１４５が、それぞれのクライアントデバイス１３２において表示されるインターフェース１５５を介して、他のレビュー者および／または機械学習モデル１２５によって医療画像に割り当てられたラベルをレビューおよび／または更新し得るように、レビュー者１４０、１４５が、それぞれのクライアントデバイス１３２を介して、データベース１５０に記憶された医療画像へのアクセスを取得することを可能にするように構成され得る。いくつかの事例では、注釈コントローラ１３５におけるインターフェース１５５は、入力（たとえば、注釈に関するフィードバック）を受信するように構成されたウェブブラウザ、アプリケーションインターフェース、ウェブベースユーザインターフェースなどであり得る。いくつかの場合には、インターフェース１５５は、たとえば、レビュー者１４０、１４５から、レビュー者１４０、１４５のそれぞれのクライアントデバイス１３２において表示されるインターフェース１５５を介して、リモートで入力を受信するように構成され得る。たとえば、インターフェース１５５は、ネットワーク１３０を利用する通信リンクを介したアクセスであり得る。いくつかの事例では、通信リンクは、ネットワーク１３０を利用し、証明を与えられたまたは許可されたコンピューティングデバイス（たとえば、レビュー者１４０、１４５のそれぞれのクライアントデバイス１３２）がインターフェース１５５にアクセスすることを可能にする、仮想プライベートネットワーク（ＶＰＮ）であり得る。いくつかの場合には、通信リンクはＨＩＰＡＡ準拠であり得る（たとえば、通信リンクは、エンドツーエンドで暗号化され、その中で送信されるＰＩＩデータを匿名化するように構成され得る）。

【0076】

いくつかの例示的な実施形態では、評価器１６０は、医療画像中のラベルまたは注釈に関するフィードバック（たとえば、レーティング）を提供するレビュー者１４０、１４５のパフォーマンスを特徴づけ、推定し、および／または測定し得る、アルゴリズムまたは方法を含み得る。いくつかの例示的な実施形態では、レビュー者１４０、１４５は、他のレビュー者および／または機械学習モデル１２５によって医療画像に割り当てられた注釈をレビューおよび／または更新するために、レビュー者１４０、１４５のそれぞれのクライアントデバイス１３２を介して、データベース１５０に記憶された医療画像にアクセスするようにタスクを与えられ得る。たとえば、いくつかの場合には、レビュー者１４０、１４５は、第１のラベルを補正し、および／または医療画像に第２のラベルを割り当てることによって、（たとえば、別のレビュー者および／または機械学習モデル１２５によって）医療画像に割り当てられた第１のラベルを更新し得る。いくつかの場合には、医療画像に割り当てられた第１のラベルを更新することに加えて、レビュー者１４０、１４５は、レビュー者１４０、１４５のそれぞれのクライアントデバイス１３２を介して、たとえば、医療画像に割り当てられた第１のラベルが、医療画像中で示されている１つまたは複数の対応する特徴を正しく識別するという点で、第１のラベルが正しいかどうかを示す１つまたは複数の入力を提供し得る。別の例として、レビュー者１４０、１４５からの１つまたは複数の入力は、第１のラベルの正確さのレベルを示すレーティングを含み得る。上記の例が非限定的であり、レビュー者１４０、１４５からの入力が、第１のラベルの品質（たとえば、正確さ、完全性など）を伝達するための任意の形式のものであり得ることに留意されたい。

【0077】

いくつかの例示的な実施形態では、評価器１６０は、ラベルまたは注釈に関するラベル補正データを提供することにおけるレビュー者１４０、１４５のパフォーマンスを特徴づけ、推定し、および／または測定するように構成され得る。いくつかの事例では、被験者のサンプルの医療画像をレビューするというタスクを与えられたレビュー者１４０の第１のセットは、サンプル、またはサンプルに関連する医学的問題点、症状、疾患などに関係する、医療分野における専門知識をもたないクラウドソーシングされた個人であり得る。たとえば、サンプルが網膜または眼組織である場合、レビュー者１４０の第１のセットは、眼科学の専門知識をほとんどまたはまったくもたない個人であり得る。いくつかの事例では、レビュー者１４０の第１のセットの任意の数があり得、すなわち、レビュー者１４０の第１のセットの数は、１人、２人、３人、４人、５人などであり得る。レビュー者１４５の第２のセットは、医療分野における主題の専門家（たとえば、上述の例では眼科医）であり得る。いくつかの事例では、レビュー者１４５の第２のセットの任意の数があり得、すなわち、レビュー者１４５の第２のセットの数は、１人、２人、３人、４人、５人などであり得る。そのような実施形態では、評価器１６０は、限定はしないが、レビュー者１４０の第１のセットによって行われた医療画像中の注釈に関するレーティングなど、フィードバックを提供することにおけるレビュー者１４０の第１のセットのパフォーマンスを測定または推定するように構成されたアルゴリズムを適用し得る。レビュー者１４０の第１のセットのパフォーマンスの測度（ｍｅａｓｕｒｅ）または推定値を含み得る、評価器１６０からの出力は、次いで、レビュー者１４０の第１のセットによって注釈を付けられたどの医療画像がレビュー者１４５の第２のセットによるレビューのためにエスカレートされるかを識別するために使用され得る。たとえば、いくつかの場合には、そのパフォーマンスがあるしきい値を満たすことができないレビュー者によって注釈を付けられた医療画像は、レビュー者１４５の第２のセットによるさらなるレビューから除外され得、そのパフォーマンスがしきい値を満たすレビュー者によって注釈を付けられたものは、レビュー者１４５の第２のセットによるさらなるレビューおよび検証を受け得る。

【0078】

いくつかの例示的な実施形態では、評価器１６０はまた、注釈のさらなるレビューにおけるレビュー者１４５の第２のセットのパフォーマンスを特徴づけるか、推定するか、または測定し得る。たとえば、アルゴリズムは、レビュー者１４０の第１のセットのパフォーマンス測度または推定値を生成し得、レビュー者１４５の第２のセットは、パフォーマンス測度または推定値に基づいて、レビュー者１４０の第１のセットによってレビューされた画像のうちのどれをさらにレビューすべきかを選択し得る。たとえば、高いパフォーマンス測度または推定値をもつレビュー者１４０の第１のセットは、医療画像中の注釈に関するより正確なフィードバックを提供することにおいてより信頼できることがあるので、レビュー者１４５の第２のセットは、しきい値を超えるパフォーマンス測度またはスコアを有するレビュー者１４０の第１のセット（たとえば、パフォーマンス測度またはスコアによって測定されたような、レビュー者１４０の第１のセットの上位５０％）によってレビューされたそれらの注釈付き医療画像をレビューするために、レビュー者１４５のそれぞれのクライアントデバイス１３２ｂを使用し得る。

【0079】

いくつかの例示的な実施形態では、評価器１６０は、レビュー者１４０の第１のセットのうちのレビュー者のパフォーマンス測度またはスコアを、（ｉ）そのレビュー者がレビューした、またはそのレビュー者がラベル補正フィードバックを提供した、補正されたラベル付けされた画像中の各特徴に関する、そのレビュー者のラベル補正フィードバックの和集合の共通部分（ＩＯＵ）を正規化することと、（ｉｉ）ラベル付けされた画像中の１つまたは複数の特徴のすべての正規化されたＩＯＵの重み付き和を算出することであって、ここで、重みが、１つまたは複数の特徴の重要性レベルに対応する、重み付き和を算出することと、次いで、（ｉｉｉ）そのレビュー者がラベル補正フィードバックを提供した複数の画像にわたって重み付き和を平均化することとによって、算出し得る。

【0080】

いくつかの例示的な実施形態では、レビュー者１４０の第１のセットによってレビューされたどの注釈付き医療画像がレビュー者１４５の第２のセットによってレビューされるべきであるかを選択するためにパフォーマンス測度またはスコアを使用することの代わりに、またはそれに加えて、注釈コントローラ１３５は、レビュー者１４０の第１のセットによってレビューされた注釈付き医療画像を、次いでレビュー者１４５の第２のセットによってレビューされ得るレビュー者１４０の第１のセットの一部または全部のフィードバックを含む１つまたは複数の医療画像に組み合わせるように構成された集約器１６５を含み得る。たとえば、レビュー者１４０の第１のセットのうちの５人のレビュー者が、医療画像中の注釈をレビューし、各々、そのレビュー者のそれぞれのフィードバックを提供した場合、アルゴリズムは、これらの５つのフィードバックを１つまたは複数の（たとえば、ただし５つよりも少ない）フィードバックに組み合わせ得、したがって、レビュー者１４５の第２のセットによってレビューされるべき注釈コントローラ１３５によって生成された１つまたは複数の医療画像が、組み合わせられた１つまたは複数のフィードバックを含む。レビュー者１４０の第１のセットによってレビューされた注釈付き医療画像を組み合わせるために、集約器１６５は、その全体が参照により本明細書に組み込まれる、Ｓ．Ｋ．Ｗａｒｆｉｅｌｄら、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｔｒｕｔｈ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ Ｌｅｖｅｌ Ｅｓｔｉｍａｔｉｏｎ （ＳＴＡＰＬＥ）：Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｖａｌｉｄａｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇ、２３（７）、９０３～９２１ページ、２００４年７月において説明された、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを含む、様々な技法を適用し得る。

【0081】

図２Ａは、本開示の様々な実施形態による、医療画像に注釈を付けるためのプロセス２００の一例を示すフローチャートを示す。図２Ａは、眼の網膜を示す光干渉断層撮影（ＯＣＴ）スキャン（たとえば、網膜医療画像）の例を示すが、網膜の様々な特徴を識別するラベルで光干渉断層撮影（ＯＣＴ）に注釈を付けることを対象とするワークフローは、異なるモダリティの医療画像を含み、他の解剖学的構造（たとえば、組織、器官、骨など）を示す、他のタイプの医療画像に注釈を付けることにも適用され得る。したがって、図２Ａに関して説明される医療画像の例と注釈ワークフローに関する対応する説明とは、非限定的な例示として意図され、同じまたは実質的に同様の方法ステップは、他のタイプの医療画像（たとえば、歯科用医療画像など）に注釈を付けるために適用され得る。

【0082】

いくつかの例示的な実施形態では、イメージングシステム１０５は、眼の網膜の光干渉断層撮影（ＯＣＴ）スキャンなど、画像をキャプチャし得る。イメージングシステム１０５は画像を処理し得、これは、たとえば、画像ノイズ除去器１１５が、網膜を示す医療画像２１５を生成するためにノイズおよび他のアーティファクトを除去することを含み得る。したがって、図２Ａに示されているプロセス２００の例では、イメージングシステム１０５は、網膜の光干渉断層撮影（ＯＣＴ）スキャンをキャプチャするように構成された光干渉断層撮影（ＯＣＴ）イメージングシステム、網膜の眼底自発蛍光（ＦＡＦ）画像をキャプチャするように構成された共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）イメージングシステムなどを含むことができる。医療画像２１５は、網膜の様々な領域ならびにそれらの間の１つまたは複数の境界を示す光干渉断層撮影（ＯＣＴ）スキャンおよび／または眼底自発蛍光（ＦＡＦ）画像であり得る。たとえば、医療画像２１５は、眼の硝子体、網膜の内境界膜（ＩＬＭ）、網膜の外部または外網状層（ＯＰＬ）、網膜の網膜色素上皮（ＲＰＥ）、眼のブルッフ膜（ＢＭ）などを示し得る。

【0083】

いくつかの例示的な実施形態では、医療画像２１５は、健康な眼の網膜中に存在しない１つまたは複数の異常および／または形態学的変化に対応する領域またはそれらの間の境界をも示し得る。そのような異常および／または形態学的変化の例は、沈着物（たとえば、ドルーゼン）、漏出などを含む。医療画像２１５中のそのような異常および／または形態学的変化の存在は、眼が何らかの眼科的疾患または症状によって影響を及ぼされていることを示し得る。疾患を示す異常および／または形態学的変化の他の例は、ひずみ、減衰、異常、消失した領域および境界などを含み得る。たとえば、医療画像２１５中の消失した網膜色素上皮（ＲＰＥ）は、網膜変性疾患の指示であり得る。眼組織、特に網膜中のいくつかの特徴の出現または消滅など、形態学的変化により現れる網膜変性疾患の一例は、加齢黄斑変性（ＡＭＤ）疾患である。

【0084】

加齢黄斑変性（ＡＭＤ）は、ある年齢を上回る（たとえば、５０歳以上の）患者における視力喪失の主要原因である。最初に、加齢黄斑変性（ＡＭＤ）は、萎縮型（ｄｒｙ ｔｙｐｅ）の加齢黄斑変性（ＡＭＤ）として現れてから、後の段階において滲出型（ｗｅｔ ｔｙｐｅ）に進行する。萎縮型では、ドルーゼンと呼ばれる小さい沈着物が、網膜色素上皮（ＲＰＥ）の基底膜と網膜のブルッフ膜（ＢＭ）の内側コラーゲン層との下に形成され、網膜を時間的に劣化させる。その進行段階において、萎縮加齢黄斑変性（ＡＭＤ）は、地図状萎縮（ＧＡ）として出現することがあり、これは、脈絡膜毛細血管と、網膜色素上皮（ＲＰＥ）と、光受容体との進行性および不可逆性喪失によって特徴づけられる。滲出型加齢黄斑変性（ＡＭＤ）は、眼の脈絡膜層において発生した異常血管が網膜の中に増殖し、血液からの体液を網膜の中に漏出させることにより、現れる。加齢黄斑変性（ＡＭＤ）およびその様々な徴候は、以下で説明されるように、医療画像２１５など、眼の医療画像を使用して監視および診断され得、医療画像２１５は、共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）イメージング、コンピュータ断層撮影（ＣＴ）スキャン、光干渉断層撮影（ＯＣＴ）画像、Ｘ線画像、磁気共鳴イメージング（ＭＲＩ）スキャンなどによって取得された眼底自発蛍光（ＦＡＦ）画像など、様々なモダリティのうちの１つである。

【0085】

いくつかの例示的な実施形態では、セグメンテーションエンジン１２０が、イメージングシステム１０５から、ノイズ除去され得る医療画像２１５を受信し得る。医療画像２１５は被験者のサンプルの画像であり得、サンプルは、たとえば、疾患の予後バイオマーカーであり得る特徴を含む。たとえば、医療画像２１５は、上述の領域、境界などの一部または全部を特徴（たとえば、ならびに、健康な眼の中で特徴が存在するロケーションにおける特徴の非存在）として含み得る、眼または網膜の画像であり得る。したがって、医療画像２１５は、限定はしないが、内境界膜（ＩＬＭ）、外部または外網状層（ＯＰＬ）、網膜色素上皮（ＲＰＥ）、ブルッフ膜（ＢＭ）など、前述の眼組織のいずれかの形態学的変化、ならびに、ドルーゼン、網状偽ドルーゼン（ＲＰＤ）、網膜高反射病巣（たとえば、網膜色素上皮（ＲＰＥ）よりも等しいかまたはより大きい反射率をもつ病変）、（たとえば、外網状層（ＯＰＬ）の境界内に出現する）低反射くさび形構造、脈絡膜高透過欠陥などの存在など、特徴を示し得る。言及された眼組織中の形態学的変化の例は、組織中のまたは組織の、形状／サイズひずみ、欠陥、減衰、異常、非存在などを含む。たとえば、医療画像は、減衰した、異常な、または非存在の網膜色素上皮（ＲＰＥ）を示し得、これは、医療画像２１５中で示されている網膜の特徴と見なされ得る。

【0086】

いくつかの例示的な実施形態では、上記で説明された特徴のうちの１つまたは複数を含む医療画像２１５を受信すると、セグメンテーションエンジン１２０は、特徴の各々を識別する注釈またはラベルを生成するために機械学習モデル１２５を適用し得る。いくつかの場合には、セグメンテーションエンジン１２０は、疾患、症状、健康状態などを示す、医療画像２１５中の特徴を識別するというタスクを与えられ得、セグメンテーションエンジン１２０は、セグメンテーションエンジン１２０が、それらの疾患、症状、健康状態などを示すと決定した、それらの特徴のための注釈を生成し得る。たとえば、セグメンテーションエンジン１２０が、加齢黄斑変性（ＡＭＤ）のインディクターまたは予後バイオマーカーである医療画像２１５上の特徴を識別し、その特徴に注釈を付けるかまたはその特徴をラベル付けするというタスクを与えられる場合、セグメンテーションエンジン１２０は、セグメンテーションエンジン１２０が加齢黄斑変性（ＡＭＤ）のインディクターまたは予後バイオマーカーであると見なす、医療画像２１５上のそれらの特徴を表す注釈およびラベルを生成し得る。たとえば、セグメンテーションエンジン１２０は、上述の眼組織のいずれかのための、ならびに眼組織に関連する領域および境界への、注釈を生成し得る。非限定的な例示的な例として、セグメンテーションエンジン１２０は、網膜中の沈着物（たとえば、ドルーゼン、網状偽ドルーゼン（ＲＰＤ）、網膜高反射病巣など）、網膜構造（たとえば、内境界膜（ＩＬＭ）、外網状層（ＯＰＬ）、網膜色素上皮（ＲＰＥ）、ブルッフ膜（ＢＭ））、および様々な網膜構造間のまたはその周りの境界（たとえば、眼の硝子体と内境界膜（ＩＬＭ）との間の境界、外網状層（ＯＰＬ）の外側境界、網膜色素上皮（ＲＰＥ）の内側境界、網膜色素上皮（ＲＰＥ）とブルッフ膜（ＢＭ）との間の境界など）のうちの１つまたは複数のための注釈を生成するために、機械学習モデル１２５（たとえば、ニューラルネットワークなど）を適用し得る。

【0087】

いくつかの例示的な実施形態では、セグメンテーションエンジン１２０は、上述の注釈を含むラベル付けされた画像２２５を生成するために機械学習モデル１２５を適用し得る。たとえば、セグメンテーションエンジン１２０は、ラベル付けされた画像２２５を生成するために、１つまたは複数の網膜構造、異常、および／または形態学的変化に関連するラベルを医療画像２１５に重ね合わせ得る。いくつかの事例では、それらのラベルは、対応するラベルに基づいて注釈付き特徴が互いに区別され得るとすれば、ラベル付けされた画像２２５上の任意の形式を有し得る。たとえば、注釈は、色分けされたマーキング、テキストなどであり得る。非限定的な例示的な例として、ラベル付けされた画像２２５は、様々な網膜構造間の境界を識別する様々な注釈２２７を示す。

【0088】

上記の説明は、医療画像２１５が眼の網膜を示し、識別されている特徴が加齢黄斑変性（ＡＭＤ）のためのバイオマーカーである、例を対象とするが、同じまたは同様の注釈ワークフローが、異なるモダリティの医療画像を含み、および／または異なる組織を示す、他のタイプの医療画像に適用され得ることを諒解されたい。たとえば、医療画像２１５が肝臓の超音波画像であり得、識別されている特徴が腫瘍であり得る、医療画像２１５が腎臓のコンピュータ断層撮影（ＣＴ）スキャンであり得、識別されている特徴が腎結石であり得る、医療画像２１５が歯のＸ線画像であり得、検出されている特徴が歯根管であり得る、などである。すなわち、限定はしないが、セグメンテーションエンジン１２０は、（たとえば、歯のＸ線画像中の歯根管などの）医療画像２１５中に存在する任意のタイプの特徴を表す注釈を、得られたラベル付けされた画像２２５がそのような特徴を識別するラベルを含むように、生成し得ることを理解されたい。

【0089】

いくつかの例示的な実施形態では、ラベル付けされた画像２２５上の特徴の注釈は、それらに関連する、注釈が特徴を正しく識別する、確率値、または信頼性のレベルを示す信頼性値を有し得る。すなわち、ラベル付けされた画像２２５を生成するとき、セグメンテーションエンジン１２０はまた、特徴を表すラベル付けされた画像２２５中の注釈のうちの１つまたは複数の各々についての信頼性値を生成し得、信頼性値は、その注釈がラベル付けされた画像２２５中の特徴を正しくラベル付けする信頼性のレベルを示す。いくつかの事例では、確率値または信頼性値は、任意の形式（たとえば、割合、範囲内の値など）のものであり得る。

【0090】

いくつかの例示的な実施形態では、セグメンテーションエンジン１２０は、注釈コントローラ１３５に、ラベル付けされた画像２２５を注釈コントローラ１３５のインターフェース１５５において提示するように促すために、ラベル付けされた画像２２５を注釈コントローラ１３５に提供し得る。いくつかの場合には、注釈コントローラ１３５は、ラベル付けされた画像２２５を、注釈コントローラ１３５と通信しているレビュー者１４０のそれぞれのクライアントデバイス１３２ａを介して、レビュー者１４０の第１のセットにとってアクセス可能にするように促され得、レビュー者１４０の第１のセットは、医療画像２１５、２２５によってキャプチャされたサンプルに関する正式な専門知識をほとんどまたはまったく有しないことがあり、ラベル付けされた医療画像２２５中の注釈またはラベルに関するラベル補正フィードバックを提供するというタスクを与えられ得る。たとえば、ラベル付けされた画像２２５は、セグメンテーションエンジン１２０の機械学習モデル１２５によって注釈を付けられた網膜の画像であり得、レビュー者１４０の第１のセットは、加齢黄斑変性（ＡＭＤ）、網膜などに関する経験または専門知識をほとんどまたはまったくもたない個人であり得る。いくつかの事例では、注釈コントローラ１３５のインターフェース１５５は、ウェブブラウザ、アプリケーションインターフェース、ウェブベースユーザインターフェースなどであり得、レビュー者１４０の第１のセットは、第１のクライアントデバイス１３２ａにおいて表示されるインターフェース１５５を介したラベル付けされた画像２２５へのアクセスを取得し、同様にインターフェース１５５を介してラベル補正フィードバックを提供し得る。

【0091】

いくつかの例示的な実施形態では、ラベル付けされた画像２２５に関して、第１のクライアントデバイス１３２ａにおいて表示されるインターフェース１５５を介してレビュー者１４０の第１のセットによって提供されたラベル補正フィードバックは、ラベル付けされた画像２２５中の特徴を表す注釈の確認、拒否、または修正を含むことができる。たとえば、レビュー者は、注釈が正しいまたは正しくないことを示し、および／あるいは注釈を修正し得る。たとえば、注釈が、ラベル付けされた画像中の領域をドルーゼンとしてラベル付けする場合、レビュー者１４０の第１のセットのうちの１人または複数からのラベル補正フィードバックは、注釈が正確であるという指示、注釈が不正確であるという指示、および／または注釈への修正（たとえば、領域の輪郭を描くマーキングのサイズ／形状などを変更すること）を含み得る。いくつかの場合には、レビュー者１４０の第１のセットのうちの１人または複数は、（たとえば、注釈に関して不確実である、または不確実性を示すとき）フィードバックを提供しないことがある。いくつかの事例では、レビュー者１４０の第１のセットの任意の数があり得、たとえば、レビュー者１４０の第１のセット中のレビュー者の数は、１人、２人、３人、４人、５人などであり得る。

【0092】

いくつかの例示的な実施形態では、レビュー者１４０の第１のセットは、補正されたラベル付けされた画像２７０を生成するために、ラベル付けされた画像２２５中の注釈の各々に関するラベル補正フィードバックを提供し得る。いくつかの事例では、レビュー者１４０の第１のセットは、選択された数の注釈に関するラベル補正フィードバックを提供し得る。たとえば、これらの選択された数の注釈は、しきい値超信頼性値または確率値に関連する注釈であり得る。したがって、セグメンテーションエンジン１２０が、ラベル付けされた画像２２５中の特徴を表す注釈が正しいという信頼性レベルを示す割合値を生成した場合、レビュー者１４０の第１のセットは、注釈をレビューし、生成された割合が最小信頼性しきい値に等しいかまたはそれよりも大きいとき、ラベル補正フィードバックを提供し得る。

【0093】

いくつかの例示的な実施形態では、補正されたラベル付けされた画像２７０と、レビュー者２５０の第１のセットからのラベル補正フィードバックとは、たとえば注釈コントローラ１３５によって、医療画像２１５、２２５、２７０によってキャプチャされたサンプルおよび関係する問題点に関する主題の専門家であり得るレビュー者１４５の第２のセットにとってアクセス可能にされ得る。たとえば、ラベル付けされた画像２２５が網膜を示すとき、レビュー者１４５の第２のセットは、網膜の医療画像中の加齢黄斑変性（ＡＭＤ）に関係する特徴を識別することにおける少なくとも何らかの専門知識を有する眼科医または放射線科医であり得る。いくつかの例示的な実施形態では、注釈コントローラ１３５はまた、たとえば評価器１６０を使用して、ラベル付けされた画像２２５中の注釈をレビューすることとラベル補正フィードバックを提供することとにおける、レビュー者１４０の第１のセットのパフォーマンスのレビュー者パフォーマンスアセスメント２４０を生成し得る。

【0094】

いくつかの例示的な実施形態では、レビュー者２５０の第１のセットのうちのレビュー者に関連するレビュー者パフォーマンスアセスメント２４０は、補正されたラベル付けされた画像２７０中の特徴の注釈に関する正確なラベル補正フィードバックを提供することにおけるそのレビュー者のパフォーマンスを測定するかまたは特徴づけるレビュー者パフォーマンススコアを含み得る。たとえば、レビュー者からのラベル補正フィードバックは、レビュー者が、補正されたラベル付けされた画像２７０上の特徴注釈を承認、拒否、または修正することを含み得る。そのような実施形態では、注釈コントローラ１３５のレビュー者パフォーマンスアセッサ（ａｓｓｅｓｓｏｒ）が、上記で説明されたように、そのレビュー者のレビュー者パフォーマンススコアを生成し得る。すなわち、レビュー者パフォーマンスアセッサは、レビュー者パフォーマンススコアを、（ｉ）レビュー者がレビューした、またはレビュー者がラベル補正フィードバックを提供した、補正されたラベル付けされた画像２７０中の各特徴に関する、レビュー者のラベル補正フィードバックの和集合の共通部分（ＩＯＵ）を正規化することと、（ｉｉ）ラベル付けされた画像２２５中の１つまたは複数の特徴のすべての正規化された和集合の共通部分（ＩＯＵ）の重み付き和を算出することであって、ここで、重みが、１つまたは複数の特徴の重要性レベルに対応する、重み付き和を算出することと、次いで、（ｉｉｉ）レビュー者がラベル補正フィードバックを提供した複数の画像にわたって重み付き和を平均化することとによって、生成し得る。

【0095】

いくつかの事例では、所与の特徴に関するレビュー者のラベル補正フィードバックの和集合の共通部分（ＩＯＵ）は、最初に、レビュー者１４０の第１のセットの、その特徴に対応する、和集合の共通部分（ＩＯＵ）スコアのメジアンおよび範囲を計算し、次いで、レビュー者の和集合の共通部分（ＩＯＵ）からメジアンを減算し、減算された和集合の共通部分（ＩＯＵ）を範囲で除算することによって、正規化され得る。さらに、重みは事前決定され得る。たとえば、第１の特徴（たとえば、ドルーゼン）は、疾患進行（たとえば、加齢黄斑変性（ＡＭＤ）進行）を示すことにおいて第２の特徴（たとえば、減衰した網膜色素上皮（ＲＰＥ））よりも重要であると考えられ、そのような場合、第１の特徴に付随する重みは、第２の特徴に付随する重みよりも高くなり得る。いくつかの例示的な実施形態では、注釈コントローラ１３５の評価器１６０によるレビュー者パフォーマンススコアの算出の後に、注釈コントローラ１３５は、レビュー者パフォーマンススコアを含むようにレビュー者パフォーマンスアセスメント２４０を生成し、補正されたラベル付けされた画像２７０と、ラベル補正フィードバックと、レビュー者パフォーマンスアセスメント２４０とへのアクセスをレビュー者１４５（たとえば、主題の専門家）の第２のセットに提供し得る。いくつかの事例では、レビュー者１４５の第２のセット中の任意の数のレビュー者があり得、すなわち、レビュー者１４５の第２のセット中のレビュー者の数は、１人、２人、３人、４人、５人などであり得る。

【0096】

いくつかの例示的な実施形態では、レビュー者１４５の第２のセットは、次いで、レビュー者１４５のそれぞれのクライアントデバイス１３２ｂを介した、補正されたラベル付けされた画像２７０と、ラベル補正フィードバックと、レビュー者パフォーマンスアセスメント２４０とへのアクセスを取得し、補正されたラベル付けされた画像２７０（たとえば、およびレビュー者１４０の第１のセットのラベル補正フィードバック）を評価し得る。たとえば、評価は、ラベル付けされた画像２２５上の注釈に関してレビュー者１４０の第１のセットによって提供されたラベル補正フィードバックが正しいか否かの指示を含み得る（たとえば、その指示は、低い／高いスコアが、ラベル補正フィードバックがあまり正確でない／より正確であることを示すスコアであり得る）。いくつかの事例では、レビュー者１４５の第２のセットによる評価は、レビュー者１４０の第１のセット全部のラベル補正フィードバックに基づき得る。しかしながら、いくつかの事例では、評価は、レビュー者パフォーマンススコア、すなわち、レビュー者１４０の第１のセットのうちのレビュー者のラベル補正フィードバックが、そのレビュー者のレビュー者パフォーマンススコアがしきい値パフォーマンススコアよりも小さいかどうかに依存し得るかどうかに基づき得る。たとえば、レビュー者２５０の第１のセットのうちのレビュー者のレビュー者パフォーマンススコアがしきい値パフォーマンススコアに等しいかまたはそれよりも高い場合、そのレビュー者のラベル補正フィードバックは、（たとえば、そのラベル補正フィードバックが十分に正確であると考えられ得るので）レビュー者１４５の第２のセットによって評価されないことがある。いくつかの事例では、レビュー者１４０の第１のセットの補正されたラベル付けされた画像２７０（たとえば、およびラベル補正フィードバック）は、レビュー者１４５の第２のセットによって評価されるべき１つまたは複数の画像に（たとえば、真値およびパフォーマンスレベル同時推定ＳＴＡＰＬＥアルゴリズムを適用することによって）組み合わせられ得る。いくつかの事例では、レビュー者１４０の第１のセットのラベル補正フィードバックと、レビュー者１４５の第２のセットによるそのラベル補正フィードバックの評価とは、ラベル補正データに組み合わせられ得、ラベル補正データは、セグメンテーションエンジン１２０の機械学習モデル１２５によって、ラベル付けされた画像２２５に割り当てられたラベルによる注釈への、レビュー者１４０、１４５によって実施される補正に関する情報を含む。

【0097】

いくつかの例示的な実施形態では、レビュー者１４５の第２のセットは、自動ソフトウェアであるか、または自動ソフトウェアを含むことができる。たとえば、自動ソフトウェアは、レビュー者１４５の第１のセットからのフィードバックをレビューまたは評価するようにプログラムされ得る。代替および／または追加として、自動ソフトウェアは、レビュー者１４５の第１のセットの大部分からのフィードバックが特徴の注釈に関して同意する場合、その注釈を承認するようにプログラムされ得る（たとえば、これは、医療画像に注釈を付けることにおけるレビュー者のパフォーマンススコアまたは評判に基づいて重み付けされ得る）。別の例として、自動ソフトウェアは、（たとえば、最小の和集合の共通部分（ＩＯＵ）しきい値を超えるなど）しきい値を満たす関連する和集合の共通部分（ＩＯＵ）値を有する第１のレビュー者フィードバックを、正確として示し得る。上記が非限定的な例であり、ソフトウェアが、正確さ、完全性などについてレビュー者１４０の第１のセットからのフィードバックを評価またはスコアリングする任意の機構または方法でプログラムされ得ることを諒解されたい。

【0098】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、注釈付き画像２７５を生成するために、ラベル補正データに関係する更新で、補正されたラベル付けされた画像２７０を更新し得る。いくつかの事例では、更新は、補正されたラベル付けされた画像２７０中の特徴注釈への補正を含み得、ここで、補正は、レビュー者１４５の第２のセットの評価に基づく。たとえば、セグメンテーションエンジン１２０の機械学習モデル１２５は、医療画像２１５の領域が網膜の特定の特徴（たとえば、ドルーゼン）に対応することを示すラベルで、その領域（たとえば、医療画像２１５の領域を形成する１つまたは複数のピクセル）に注釈を付けていることがある。そのような場合、レビュー者１４０の第１のセットは、それぞれの第１のクライアントデバイス１３２ａを介して、（たとえば、代わりに領域を網状偽ドルーゼン（ＲＰＤ）として識別するようにラベルを修正することによって）機械学習モデル１２５によって実施された注釈が正しくないことを示すラベル補正フィードバックを提供していることがあり、レビュー者１４５の第２のセットは、ラベル補正フィードバックの正確さを評価していることがある（たとえば、たとえばフィードバックの正確さをスコアリングすることによって、ラベル補正フィードバックが正確であることを示し得る）。そのような場合、注釈コントローラ１３５は、注釈付き画像２７５を生成するために、レビュー者１４５の第２のセットのラベル補正フィードバックおよび評価に基づいて、ラベル付けされた画像２７０を更新し得る。たとえば、領域の注釈は、領域が実際は網状偽ドルーゼン（ＲＰＤ）であり、機械学習モデル１２５によって実施された注釈によって示されるようなドルーゼンではないことを示すように、注釈付き画像２７５中で更新され得る。いくつかの事例では、注釈コントローラ１３５は、特徴の注釈に関係する信頼性値（たとえば、領域が実際は網状偽ドルーゼン（ＲＰＤ）であるかどうかに関する信頼性値）を算出し得る。

【0099】

いくつかの例示的な実施形態では、注釈付き画像２７５中の特徴の注釈についての信頼性値は、ラベル補正フィードバック、および／またはレビュー者１４５の第２のセットがそのラベル補正フィードバックに割り当てる指示に少なくとも部分的に基づいて、計算され得る。たとえば、注釈付き画像２７５中の特徴の信頼性値は、レビュー者１４０の第１のセットのラベル補正フィードバックが、レビュー者１４０の第１のセットのうちの少なくともしきい値数によるその特徴の注釈に関する同意を示し、レビュー者２６０の第２のセットのうちの少なくともしきい値数がそのラベル補正フィードバックを承認したことを示す場合、高くなり得る。上記が非限定的な例であり、特徴の注釈についての信頼性値が、特徴の注釈の正確さを測定する信頼性パラメータを生成する任意の他の方法に基づいて算出され得る（たとえば、主題の専門家であるレビュー者１４５の第２のセットによる評価は、レビュー者１４０の第１のセット中に含まれる非専門家によるラベル補正フィードバックと比較して、より高い重みを与えられ得る）ことに留意されたい。

【0100】

いくつかの例示的な実施形態では、注釈付き画像２７５は、注釈付き画像２７５が、機械学習モデル１２５を訓練および／または更新するために使用される注釈付き訓練データセットの一部であり得るように、セグメンテーションエンジン１２０に提供され得る。いくつかの事例では、機械学習モデル１２５が、連続訓練反復を受け、より多くの注釈付き訓練サンプルにさらされるにつれて、機械学習モデル１２５によって割り当てられるセグメンテーションラベルはより正確になり得、これは、それらのラベルのうちのより多くがレビュー者１４０のラベル補正フィードバックにおいてレビュー者１４０の第１のセットによって承認されること、および／またはレビュー者１４５の第２のセットによるそのラベル補正フィードバックの評価において反映され得る。そのような場合、階層的注釈ワークフローに関与するレビュー者１４０、１４５の数は、時間とともに低減され得、これは、機械学習モデル１２５の出力の正確さを維持しながら機械学習モデル１２５を訓練することの効率を改善する。

【0101】

図２Ｂは、本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するための階層的ワークフロー８００の一例を示すフローチャートを示す。ある例示的な実施形態では、注釈コントローラ１３５は、たとえば、イメージングシステム１０５から、画像８１０を、その生の形式で受信するか、または、図２Ｂに示されている階層的ワークフロー８００の例では、機械学習モデル（たとえば、機械学習モデル１２５または異なるモデル）によって決定された予備ラベル８２０を有する画像８１０の注釈付きバージョンを受信し得る。すなわち、いくつかの場合には、イメージングシステム１０５からの画像８１０の生バージョンは、レビュー者１４０の第１のグループおよび／またはレビュー者１４５の第２のグループによるさらなる注釈のために注釈コントローラ１３５にアップロードされる前に、機械学習対応事前ラベル付けを受け得る。

【0102】

再び図２Ｂを参照すると、注釈コントローラ１３５は、レビュー者１４０の第１のグループに関連する第１のクライアントデバイス１３２ａにおいて表示されるインターフェース１５５を介して、画像８１０のためのラベルのセットを受信し得る。いくつかの場合には、ラベルのそのセットは、レビュー者１４０の第１のグループからの入力に基づいて、セグメンテーションエンジン１２０の機械学習モデル１２５、または異なる機械学習モデルなど、機械学習モデルによって決定された予備ラベル８２０を更新することによって、生成され得る。注釈コントローラ１３５は、画像８１０のためのグランドトゥルースラベル８４０を生成するために、レビュー者１４５の第２のグループに関連する第２のクライアントデバイス１３２ｂにおいて表示されるインターフェース１５５を介して受信された入力に基づいて、ラベルのセットを更新し得る。いくつかの場合には、注釈コントローラ１３５は、少なくとも、レビュー者１４０の第１のグループからの入力に基づいて生成されたラベルを組み合わせることによって、集約ラベル８３０を生成し得る。たとえば、図２Ｂに示されている例では、集約ラベル８３０は、レビュー者１４０の第１のグループによって提供される個々のセグメンテーションの最適な組合せを推定し、対応するレビュー者のパフォーマンスに基づいて各セグメンテーションを重み付けすることによって、画像８１０の真のセグメンテーションの確率的推定値を決定するために、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、生成され得る。

【0103】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、少なくとも、レビュー者１４５の第２のグループの第２のクライアントデバイス１３２ｂから受信された入力に基づいて、集約されたラベル８３０を補正することによって、グランドトゥルースラベル８４０を生成し得る。その上、画像８１０は、グランドトゥルースラベル８３０とともに、機械学習モデル１２５を訓練するための注釈付き訓練サンプルとして提供され得る。図２Ｂに示されているように、訓練時に、機械学習モデル１２５は、機械学習モデル１２５の後続の訓練のために使用される画像を事前ラベル付けするために展開され得る。たとえば、いくつかの場合には、機械学習モデル１２５のセグメンテーションパフォーマンスは各連続訓練反復時に改善し得、各連続訓練反復中に、機械学習モデル１２５は、機械学習モデル１２５によって事前ラベル付けされた少なくともいくつかの訓練サンプルを使用して訓練される。

【0104】

機械学習モデル１２５のパフォーマンスが改善するにつれて、機械学習モデル１２５によって決定されたラベルと、レビュー者１４０の第１のグループおよび／またはレビュー者１４５の第２のグループからの入力に基づいて決定されたラベルとの間のコンセンサスが高まり、最終的に、機械学習モデル１２５によって決定されたラベルがさらなるレビューを受ける必要をなくし得る。さらに示すために、図２Ｃは、本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するためのワークフローの様々な例を示す。図２Ｃに示されているように、注釈コントローラ１３５は、（たとえば、機械学習モデル１２５または異なるモデルによる）機械学習ベース事前ラベル付けと、非専門家レビュー者の第１のグループ（たとえば、レビュー者１４０の第１のグループ）による注釈と、専門家レビュー者の第２のグループ（たとえば、レビュー者１４５の第２のグループ）による注釈との任意の組合せを含む、階層的注釈ワークフローを実装し得る。

【0105】

図２Ｃを参照すると、第１の例示的なワークフロー９１０において、画像８１０のためのグランドトゥルースラベル８４０は、レビュー者１４５（たとえば、専門家レビュー者）の第２のグループの第２のクライアントデバイス１３２ｂから受信された入力に基づいて決定され得る。第２の例示的なワークフロー９２０において、画像８１０のグランドトゥルースラベル８４０は、レビュー者１４０（たとえば、非専門家レビュー者）の第１のグループの第１のクライアントデバイス１３２ａから受信されたラベルの第１のセット、および／またはレビュー者１４５（たとえば、専門家レビュー者）の第２のグループの第２のクライアントデバイス１３２ｂから受信された、ラベルの第１のセットを更新するラベルの第２のセットに基づいて、決定され得る。第３の例示的なワークフロー９３０において、画像８１０のグランドトゥルースラベル８４０は、機械学習モデル（たとえば、機械学習モデル１２５または異なるモデル）によって決定された予備ラベルのセット、レビュー者１４０（たとえば、非専門家レビュー者）の第１のグループの第１のクライアントデバイス１３２ａから受信された、予備ラベルのセットを更新するラベルの第１のセット、および／またはレビュー者１４５（たとえば、専門家レビュー者）の第２のグループの第２のクライアントデバイス１３２ｂから受信された、ラベルの第１のセットを更新するラベルの第２のセットに基づいて、決定され得る。

【0106】

いくつかの例示的な実施形態では、上記のように訓練された機械学習モデル１２５は、患者の診断、進行監視、および／または治療のために使用され得る。たとえば、組織に関する医学的問題を有する患者を診断または治療するとき、上記で説明されたように訓練された機械学習モデル１２５は、入力として、組織の生のおよび／またはノイズ除去された画像を提供され得る。機械学習モデル１２５は、画像上の疾患の予後バイオマーカーである特徴を識別し、ラベルで画像に注釈を付け得る。非限定的な例として、機械学習モデル１２５は、網膜を示す医療画像をセグメント化し、加齢黄斑変性（ＡＭＤ）の予後バイオマーカーであり得る１つまたは複数の特徴を識別するように、上記で説明されたように訓練され得る。したがって、入力として眼または網膜の画像を提供されると、機械学習モデル１２５は、画像内で、加齢黄斑変性（ＡＭＤ）の予後バイオマーカーであり得る１つまたは複数の特徴（たとえば、ドルーゼンなど）に注釈を付け得る。このようにして、訓練された機械学習モデル１２５を適用することは、加齢黄斑変性（ＡＭＤ）について患者を診断し、治療することの正確さおよび効率を改善し得る。機械学習モデル１２５はまた、バイオマーカーを発見するために使用され得る。

【0107】

いくつかの例示的な実施形態では、患者を診断し、治療することの代わりに、またはそれに加えて、上記のように訓練された機械学習モデル１２５は、臨床試験のための候補として患者を識別し、および／または患者を異なるコホートに分けるために使用され得る。たとえば、臨床試験の管理者は、加齢黄斑変性（ＡＭＤ）の進行を調べるために複数の被験者を登録することを望み得る。したがって、管理者は、加齢黄斑変性（ＡＭＤ）の萎縮型をもつ被験者と、加齢黄斑変性（ＡＭＤ）の滲出型をもつ被験者とを識別することを望み得る。そのような場合、管理者は、様々な患者の医療画像に基づいて、加齢黄斑変性（ＡＭＤ）の萎縮型を示す１つまたは複数の特徴（たとえば、ドルーゼン）と、加齢黄斑変性（ＡＭＤ）の滲出型を示す１つまたは複数の特徴（たとえば、地図状萎縮（ＧＡ））とを識別するために、機械学習モデル１２５を利用し得る。したがって、加齢黄斑変性（ＡＭＤ）の萎縮型をもつ患者は、滲出型加齢黄斑変性（ＡＭＤ）をもつ患者と区別され得る。したがって、訓練された機械学習モデル１２５の使用は、臨床試験の効率的および正確な管理を可能にするか、または少なくとも容易にし得る。さらに、上記で説明されたように訓練された機械学習モデル１２５は、（たとえば、知られている予後バイオマーカーに加えて）（新しい）バイオマーカーをさらに発見し得る。そのようなバイオマーカー（および／または説明されたニューラルネットワーク）は、患者選択またはリアルタイム診断を支援し得る。一実施形態では、機械学習モデル１２５は、臨床試験をさらに容易にするかまたは治療勧告を提供するために、ユーザデバイスまたはモバイルデバイスにおいて展開され得る。

【0108】

再び図１Ａ～図１Ｂを参照すると、注釈コントローラ１３５は、訓練サンプルに割り当てられたグランドトゥルースラベルが、レビュー者１４０の第１のグループおよびレビュー者１４５の第２のグループなど、レビュー者の複数のグループからの入力に基づいて決定される、注釈付き訓練データを生成するための階層的ワークフローを実装し得る。たとえば、注釈付き訓練サンプルを生成するために、注釈コントローラ１３５は、レビュー者１４５の第１のグループに関連する第１のクライアントデバイス１３２ａから受信された入力に基づいて、医療画像のためのラベルの第１のセットを決定し得る。ラベルの第１のセットは、医療画像内の１つまたは複数のピクセルに、各ピクセルによって示される解剖学的特徴に対応するラベルを割り当てる、１つまたは複数のピクセルごとセグメンテーションラベルを含み得る。いくつかの場合には、ラベルの第１のセットは、レビュー者１４０の第１のグループからの入力に基づいて、セグメンテーションエンジン１２０の機械学習モデル１２５、または異なる機械学習モデルなど、機械学習モデルによって決定された予備ラベルのセットを更新することによって、生成され得る。

【0109】

いくつかの場合には、注釈コントローラ１３５は、レビュー者１４０の第１のグループから受信された入力に基づいて決定されたラベルの第１のセット内に、あるレベルの不一致が存在すると決定し得る。たとえば、注釈コントローラ１３５は、ラベルの第１のセットについての、和集合の共通部分（ＩＯＵ）など、コンセンサスメトリックを算出し得る。コンセンサスメトリックは、少なくとも、レビュー者１４０の第１のグループ内の異なるレビュー者によって医療画像の各ピクセルに割り当てられたラベル間の一致または不一致のレベルを示すことによって、ラベルの第１のセットの正確さを示し得、ラベルの第１のセットは、異なるレビュー者によって割り当てられたラベル間に不一致があまりないとき、より正確であると見なされる。ラベルの第１のセットについてのコンセンサスメトリックがしきい値を満たすことができない（たとえば、ラベルの第１のセットのコンセンサスメトリックがしきい値を下回る）場合、医療画像は、レビュー者１４５の第２のグループによる徹底的なレビューのためにエスカレートされ得る。すなわち、いくつかの場合には、ラベルの第１のセットは、ラベルの第１のセットに関連するコンセンサスメトリックが、いくつかのシナリオではしきい値を下回ること、別のシナリオではしきい値を上回ること、所与の範囲内にあること、または所与の範囲の外にあることによってなど、しきい値を満たすことができない場合、レビュー者１４５の第２のグループによるレビューを受け得る。いくつかの場合には、しきい値および範囲は、システム１００の適応学習を通して変化し得る。代替的に、ラベルの第１のセットは、ラベルの第１のセットについてのコンセンサスメトリックがしきい値を満たす場合（たとえば、ラベルの第１のセットのコンセンサスメトリックがしきい値を上回るとき）でも、レビュー者１４５の第２のグループによってレビューされ得る。しかしながら、それらの場合、ラベルの第１のセットは、ラベルの第１のセットのコンセンサスメトリックがしきい値を満たすことができない場合、より徹底的なレビューのためにフラグを付けられ得る。

【0110】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、少なくとも、レビュー者１４５の第２のグループに関連する第２のクライアントデバイス１３２ｂから受信された入力に基づいてラベルの第１のセットを更新することによって、医療画像のためのラベルの第２のセットを決定し得る。いくつかの例示的な実施形態では、注釈コントローラ１３５は、レビュー者１４５の第２のグループから受信された入力がラベルの第１のセットの集約の補正を含むように、医療画像に関連するラベルの第１のセットの集約を表示するためのインターフェース１５５（たとえば、グラフィックユーザインターフェース（ＧＵＩ））を生成し得る。注釈コントローラ１３５は、様々なやり方でラベルの第１のセットの集約を決定し得ることを諒解されたい。

【0111】

一例では、注釈コントローラ１３５は、レビュー者１４０の第１のグループによって提供される個々のセグメンテーションの最適な組合せを推定し、対応するレビュー者のパフォーマンスに基づいて各セグメンテーションを重み付けすることによって、医療画像の真のセグメンテーションの確率的推定値を決定するために、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、ラベルの第１のセットを集約し得る。たとえば、ラベルの第１のセットは、医療画像内のピクセルについて、少なくとも、レビュー者１４０の第１のグループからの第１のレビュー者によってピクセルに割り当てられた第１のラベル、レビュー者１４０の第１のグループからの第２のレビュー者によってピクセルに割り当てられた第２のラベル、およびレビュー者１４０の第３のグループからの第３のレビュー者によってピクセルに割り当てられた第３のラベルを含み得る。第１のラベル、第２のラベル、および第３のラベルの各々は、網膜構造、異常、形態学的変化など、医療画像中に存在する特徴に属するものとしてピクセルを識別し得る。第１のラベルと第２のラベルと第３のラベルとをピクセルのための単一の集約されたラベルに組み合わせるために、注釈コントローラ１３５は、対応する第１のレビュー者、第２のレビュー者、および第３のレビュー者の正確さに基づいて、第１のラベル、第２のラベル、および第３のラベルの各々を重み付けし得る。したがって、第１のラベルは、第１のレビュー者が、第３のレビュー者よりも高い正確さに関連するが、第２のレビュー者よりも低い正確さに関連する場合、第３のラベルよりも高く重み付けされるが、第２のラベルよりも低く重み付けされ得る。

【0112】

いくつかの例示的な実施形態では、注釈コントローラ１３５は、少なくともラベルの第２のセットに基づいて、医療画像のための１つまたは複数のグランドトゥルースラベルを決定し得る。たとえば、いくつかの場合には、医療画像のためのグランドトゥルースラベルは、注釈コントローラ１３５がレビュー者１４５の第２のセットから受信された入力に基づいてラベルの第１のセットを更新することによって生成される、ラベルの第２のセットに対応し得る。代替的に、注釈コントローラ１３５は、ラベルの第１のセットをラベルの第２のセットと組み合わせることによって、医療画像のためのグランドトゥルースラベルを生成し得る。たとえば、注釈コントローラ１３５は、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、ラベルの第１のセットをラベルの第２のセットと組み合わせ得る。述べられたように、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムは、各レビュー者によって提供される個々のセグメンテーションの最適な組合せを推定することによって、医療画像の真のセグメンテーションの確率的推定値を決定し得る。したがって、この場合、医療画像内のピクセルのためのグランドトゥルースラベルは、少なくとも、レビュー者１４０の第１のグループからの第１のレビュー者によってピクセルに割り当てられた第１のラベルと、レビュー者１４５の第２のグループからの第２のレビュー者によってピクセルに割り当てられた第２のラベルとの重み付けされた組合せに対応し得る。ラベルの第２のセットは、少なくとも、レビュー者１４５の第２のセットが、レビュー者１４０の第１のセットを形成する非専門家よりも高い正確さに関連する専門家であるので、ラベルの第１のセットよりも高く重み付けされ得る。

【0113】

医療画像、および医療画像に関連する１つまたは複数のグランドトゥルースラベルは、医療画像のセグメンテーションを実施するように、機械学習モデル１２５を訓練するための注釈付き訓練サンプルを形成し得る。たとえば、医療画像内の各ピクセルに、ピクセルが、医療画像中で示されている解剖学的特徴の一部分を形成するかどうかを示すラベルを割り当てるように機械学習モデル１２５を訓練するために、注釈付き訓練サンプルを含む訓練データセットが使用され得る。画像セグメンテーションを実施するように機械学習モデル１２５を訓練することは、機械学習モデル１２５の出力中に存在するエラーを最小限に抑えるように機械学習モデル１２５を調整することを含み得る。たとえば、機械学習モデル１２５は、少なくとも、機械学習モデル１２５の出力中の間違ってラベル付けされたピクセルの数量を最小限に抑えるために、機械学習モデル１２５によって適用される重みを調整することによって、訓練され得る。さらなる例示が図６において含まれ、図６は、本開示の様々な実施形態による、注釈付き画像を示す。

【0114】

述べられたように、いくつかの例示的な実施形態では、注釈コントローラ１３５は、レビュー者１４０の第１のグループおよびレビュー者１４５の第２のグループなど、レビュー者の複数のグループからの入力に基づいて、訓練サンプルに関連するグランドトゥルースラベルを決定し得る。たとえば、いくつかの場合には、レビュー者１４０の第１のグループは非専門家であり得、レビュー者１４５の第２のグループは専門家であり得る。注釈エンジン１３５は、ラベルの間の不一致を調和させ、そうする際に、ラベル中に存在し得るエラーを最小限に抑えるために、機械学習モデル（たとえば、機械学習モデル１２５または異なるモデル）によって生成された予備ラベル、レビュー者１４０の第１のグループからの入力に基づいて決定されたラベルの第１のセット、および／またはレビュー者１４５の第２のグループからの入力に基づいて決定されたラベルの第２のセットの、連続更新を含む、上述の階層的ワークフローを実装し得る。定性的評価の例が、図７Ａおよび図７Ｂにおいて提供される。

【0115】

いくつかの例示的な実施形態では、画像セグメンテーションを実施するように機械学習モデル１２５を訓練すると、訓練された機械学習モデル１２５は、医療画像をセグメント化するために展開され得、これは、医療画像内に存在する１つまたは複数の特徴を識別するために１つまたは複数のラベルを割り当てることを含む。たとえば、医療画像が光干渉断層撮影（ＯＣＴ）スキャンである場合、医療画像の１つまたは複数のピクセルは、内境界膜（ＩＬＭ）、外部または外網状層（ＯＰＬ）、網膜色素上皮（ＲＰＥ）、ブルッフ膜（ＢＭ）など、網膜構造に対応するラベルを割り当てられ得る。いくつかの場合には、医療画像の１つまたは複数のピクセルは、ドルーゼン、網状偽ドルーゼン（ＲＰＤ）、網膜高反射病巣（たとえば、網膜色素上皮よりも等しいかまたはより大きい反射率をもつ病変）、（たとえば、外網状層の境界内に出現する）低反射くさび形構造、脈絡膜高透過欠陥などの存在など、異常および／または形態学的変化に対応するラベルをも割り当てられ得る。生画像、注釈をもつラベル付けされた画像、および機械学習モデル１２５出力の例示が、図８において提供される。

【0116】

図３は、本開示の様々な実施形態による、機械学習モデル１２５を実装するために使用され得るニューラルネットワーク３００の一例を示す概略図を示す。示されているように、人工ニューラルネットワーク３００は、入力層３０２と、隠れ層３０４と、出力層３０６とを含み得る。層３０２、３０４、および３０６の各々は、１つまたは複数のノードを含み得る。たとえば、入力層３０２はノード３０８～３１４を含み、隠れ層３０４はノード３１６～３１８を含み、出力層３０６はノード３２２を含む。この例では、層中の各ノードは、隣接する層中のあらゆるノードに接続される。たとえば、入力層３０２中のノード３０８は、隠れ層３０４中のノード３１６、３１８の両方に接続される。同様に、隠れ層中のノード３１６は、入力層３０２中のノード３０８～３１４および出力層３０６中のノード３２２のすべてに接続される。人工ニューラルネットワーク３００のために１つの隠れ層のみが示されているが、機械学習モデル１２５の機械学習アルゴリズムを実装するために使用される人工ニューラルネットワーク３００が、必要なまたは所望のものと同数の隠れ層を含み得ることが企図された。

【0117】

この例では、人工ニューラルネットワーク３００は、入力値のセットを受信し、出力値を作り出す。入力層３０２中の各ノードは、別個の入力値に対応し得る。たとえば、人工ニューラルネットワーク３００が機械学習モデル１２５を実装するために使用されるとき、入力層３０２中の各ノードは、医療画像の別個の属性に対応し得る。

【0118】

いくつかの例示的な実施形態では、隠れ層３０４中のノード３１６～３１８の各々は、ノード３０８～３１４から受信された入力値に基づいて値を作り出す数学的算出（またはアルゴリズム）を含み得る表現を生成する。数学的算出は、ノード３０８～３１４から受信されたデータ値の各々に異なる重みを割り当てることを含み得る。ノード３１６および３１８は、ノード３１６～３１８の各々がノード３０８～３１４から受信された同じ入力値に基づいて異なる値を作り出し得るように、ノード３０８～３１４からのデータ変数に割り当てられた異なるアルゴリズムおよび／または異なる重みを含み得る。いくつかの例示的な実施形態では、最初にノード３１６～３１８の各々についての特徴（または入力値）に割り当てられる重みは、（たとえば、コンピュータランダマイザを使用して）ランダムに生成され得る。ノード３１６および３１８によって生成された値は、人工ニューラルネットワーク３００についての出力値を作り出すために、出力層３０６中のノード３２２によって使用され得る。機械学習モデル１２５を実装するために人工ニューラルネットワーク３００が使用されるとき、人工ニューラルネットワーク３００によって作り出された出力値は、画像中に存在する特徴を識別するラベルを含む注釈付き画像を含み得る。

【0119】

人工ニューラルネットワーク３００は、訓練データを使用することによって訓練され得る。たとえば、本明細書の訓練データは、サンプル（たとえば、網膜など、組織サンプル）の生画像、および／あるいはレビュー者によって補正された注釈またはラベルをもつ注釈付き画像であり得る。人工ニューラルネットワーク３００に訓練データを提供することによって、隠れ層３０４中のノード３１６～３１８は、訓練データに基づいて出力層３０６中で最適出力が作り出されるように訓練（調整）され得る。訓練データの異なるセットを連続的に提供し、人工ニューラルネットワーク３００の出力が間違っているとき（たとえば、訓練サンプルに割り当てられたラベルが特徴を間違って識別するとき）に人工ニューラルネットワーク３００にペナルティを科すことによって、人工ニューラルネットワーク３００は、データ分類におけるそのパフォーマンスを改善するように調整され得る。人工ニューラルネットワーク３００を調整することは、隠れ層３０４中の各ノードに関連する重みを調整することを含み得る。

【0120】

上記の説明は、機械学習の一例として人工ニューラルネットワークに関係するが、他のタイプの機械学習方法も、本開示の様々な態様を実装するのに好適であり得ることを理解されたい。たとえば、機械学習を実装するためにサポートベクターマシン（ＳＶＭ）が使用され得る。サポートベクターマシンは、分類および回帰のために使用される関係する教師あり学習方法のセットである。非確率的バイナリ線形分類器であり得るサポートベクターマシン訓練アルゴリズムは、新しい例が、あるカテゴリーに入るのか別のカテゴリーに入るのかを予測するモデルを作り得る。別の例として、機械学習を実装するためにベイジアンネットワークが使用され得る。ベイジアンネットワークは、ランダム変数のセットと、有向非巡回グラフ（ＤＡＧ）によるそれらの条件付き独立性とを表す非巡回確率的グラフィカルモデルである。ベイジアンネットワークは、ある変数と別の変数との間の確率的関係を提示し得る。別の例は、機械学習プロセスを行うためにデシジョンツリー学習モデルを採用する機械学習エンジンである。いくつかの事例では、デシジョンツリー学習モデルは、分類ツリーモデル、ならびに回帰ツリーモデルを含み得る。いくつかの例示的な実施形態では、機械学習エンジンは、回帰ツリーモデルとして勾配ブースティング機械（ＧＢＭ）モデル（たとえば、ＸＧＢｏｏｓｔ）を採用する。他の機械学習技法は、たとえばランダムフォレストまたは深層ニューラルネットワークを介して、機械学習エンジンを実装するために使用され得る。他のタイプの機械学習アルゴリズムは、簡単のために本明細書では詳細に説明されず、本開示が特定のタイプの機械学習に限定されないことを理解されたい。

【0121】

図４Ａは、本開示の様々な実施形態による、医療画像に注釈を付けるプロセス４００の一例を示すフローチャートを示す。上記でより詳細に説明された、プロセス４００の様々な動作は、１つまたは複数の電子プロセッサによって実施され得る。たとえば、プロセス４００の動作のうちの少なくともいくつかは、機械学習モデル１２５を実装するコンピュータまたはサーバのプロセッサによって実施され得る。さらに、追加の方法ステップが、以下で説明される動作４１０～４６０の前に、その間に、またはその後に実施され得ることを理解されたい。さらに、いくつかの例示的な実施形態では、動作４１０～４６０のうちの１つまたは複数はまた、省略されるか、または異なる順序で実施され得る。

【0122】

いくつかの例示的な実施形態では、プロセス４００は、特徴を有するサンプルの画像を受信する動作４１０を含む。いくつかの例示的な実施形態では、特徴は、加齢黄斑変性（ＡＭＤ）を示すバイオマーカーを含む。

【0123】

いくつかの例示的な実施形態では、プロセス４００は、機械学習モデル（たとえば、ニューラルネットワーク）を使用して、特徴を表す注釈を生成する動作４２０を含む。いくつかの例示的な実施形態では、サンプルは組織サンプルまたは血液サンプルである。たとえば、サンプルは網膜であり得る。

【0124】

いくつかの例示的な実施形態では、プロセス４００は、機械学習モデルを使用して、注釈を含むラベル付けされた画像を生成する動作４３０を含む。

【0125】

いくつかの例示的な実施形態では、プロセス４００は、画像補正インターフェースへのラベル付けされた画像の提示を促す動作４４０を含む。

【0126】

いくつかの例示的な実施形態では、プロセス４００は、画像補正インターフェースから、レビュー者の１つまたは複数の異なるセットによって生成された注釈に関係するラベル補正データを受信する動作４５０を含む。いくつかの例示的な実施形態では、ラベル補正データは、画像補正インターフェースにおいて受信されたラベルの確認、拒否、または修正の指示を含む。いくつかの例示的な実施形態では、指示は、１人または複数の訓練されたユーザによって画像補正インターフェースに入力される。

【0127】

いくつかの例示的な実施形態では、プロセス４００は、ラベル付けされた画像の更新を含む注釈付き画像を生成するために、ラベル補正データを使用して、ラベル付けされた画像を更新する動作４６０を含む。いくつかの例示的な実施形態では、更新は、特徴を表す注釈についての信頼性値を含む。いくつかの例示的な実施形態では、プロセス４００は、信頼性値とプリセット信頼性しきい値との比較に基づいて、注釈付き画像中の注釈を検証することをさらに含む。

【0128】

いくつかの例示的な実施形態では、プロセス４００は、注釈付き画像により機械学習モデルを訓練する動作４７０を含む。

【0129】

図４Ｂは、本開示の様々な実施形態による、医療画像の機械学習対応セグメンテーションのための注釈付き訓練データを生成するためのプロセス１２００の別の例を示すフローチャートを示す。いくつかの例示的な実施形態では、プロセス１２００は、たとえば、イメージングシステム１０５においてキャプチャされた様々なタイプの医療画像のセグメンテーションを実施するようにセグメンテーションエンジン１２０の機械学習モデル１２５を訓練するための注釈付き訓練データを生成するために、注釈コントローラ１３５によって実施され得る。述べられたように、機械学習モデル１２５は、たとえば、コンピュータ断層撮影（ＣＴ）イメージング、光干渉断層撮影（ＯＣＴ）イメージング、Ｘ線イメージング、磁気共鳴イメージング（ＭＲＩ）イメージング、超音波イメージングなどを含む、任意のモダリティの医療画像をセグメント化するように訓練され得る。

【0130】

１２０２において、画像をセグメント化するためのラベルの第１のセットが生成され得る。たとえば、いくつかの例示的な実施形態では、注釈コントローラ１３５は、レビュー者１４０の第１のセットの第１のクライアントデバイス１３２ａから受信された入力に基づいて、イメージングシステム１０５によって生成された画像をセグメント化するためのラベルの第１のセットを生成し得る。いくつかの場合には、画像は、眼の網膜の断面を示す光干渉断層撮影（ＯＣＴ）スキャンなど、組織を示す医療画像であり得る。したがって、ラベルの第１のセットは、画像内に各ピクセルについて、たとえば、１つまたは複数の網膜構造、異常、形態学的変化など、特定の特徴に属するものとしてピクセルを識別するラベルを含み得る。図２Ｂに示されているワークフロー８００の例においてなど、いくつかの場合には、画像は、注釈コントローラ１３５にアップロードされるより前に、機械学習ベース事前ラベル付けを受けていることがある。すなわち、画像の生バージョンの代わりに、注釈コントローラ１３５は、セグメンテーションエンジン１２０の機械学習モデル１２５、または異なる機械学習モデルなど、機械学習モデルによって生成された予備ラベルのセットを有する画像の注釈付きバージョンを受信し得る。それらの場合、ラベルの第１のセットは、画像に割り当てられた予備ラベルのセットの更新を含み得る。

【0131】

１２０４において、ラベルの第１のセットは、画像をセグメント化するためのラベルの第２のセットを生成するために更新され得る。いくつかの例示的な実施形態では、注釈コントローラ１３５は、たとえば、レビュー者１４０の第１のグループによって提供される個々のセグメンテーションの最適な組合せを推定し、対応するレビュー者のパフォーマンスに基づいて各セグメンテーションを重み付けすることによって、画像の真のセグメンテーションの確率的推定値を決定するために、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、ラベルの第１のセットを集約し得る。注釈コントローラ１３５は、たとえば、レビュー者１４５の第２のセットに関連する第２のクライアントデバイス１３２ｂにおいて表示されるインターフェース１５５を介して、得られた集約されたラベルセットを提示し得る。たとえば、インターフェース１５５は、集約されたラベルセットが上に重ね合わせられた画像を表示するために生成され得る。したがって、注釈コントローラ１３５は、インターフェース１５５を介して、ラベルの第１のセットに関してレビュー者１４５の第２のセットから１つまたは複数の入力を受信し得る。レビュー者１４５の第２のセットからの入力は、ラベルの第１のセットに関連する注釈を確認し、注釈に異議を唱え、および／または注釈を修正し得る。たとえば、画像内のピクセルが、ラベルの第１のセットに従って第１のラベルを割り当てられ得るが、レビュー者１４５の第２のセットからの１人または複数のレビュー者は、インターフェース１５５において表示されたラベルの第１のセットの集約に基づいて、第１のラベルを確認し、第１のラベルに異議を唱え、および／または第１のラベルを（たとえば、第２のラベルに）変更し得る。

【0132】

いくつかの場合には、ラベルの第１のセットは、ラベルの第１のセットのコンセンサスメトリックがしきい値を満たすことができない場合、レビュー者１４５の第２のセットによるレビューのためにエスカレートされ得る。たとえば、ラベルの第１のセットは、ラベルの第１のセットについての和集合の共通部分（ＩＯＵ）がしきい値を超えないとき、レビュー者の第２のセットによるレビューのためにエスカレートされ得る。いくつかの場合には、ラベルの第１のセットは、ラベルの第１のセットのコンセンサスメトリックがしきい値を満たすかどうかにかかわらず、レビュー者１４５の第２のセットによるレビューのためにエスカレートされ得る。しかしながら、それらの場合、ラベルの第１のセットは、ラベルの第１のセットのコンセンサスメトリックがしきい値を満たすことができない場合、より徹底的なレビューのためにフラグを付けられ得る。

【0133】

１２０６において、画像をセグメント化するためのグランドトゥルースラベルのセットが、少なくともラベルの第１のセットおよび／またはラベルの第２のセットに基づいて、生成され得る。いくつかの例示的な実施形態では、画像のために決定されたグランドトゥルースラベルは、レビュー者１４５の第２のセットから受信された入力に基づいてラベルの第１のセットを更新することによって生成される、ラベルの第２のセットに対応し得る。代替的に、いくつかの事例では、注釈コントローラ１３５は、ラベルの第１のセットをラベルの第２のセットと組み合わせることによって、画像のためのグランドトゥルースラベルを生成し得る。たとえば、注釈コントローラ１３５は、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって、ラベルの第１のセットをラベルの第２のセットと組み合わせ得る。それらの場合、画像内のピクセルのためのグランドトゥルースラベルは、少なくとも、レビュー者１４０の第１のグループからの第１のレビュー者によってピクセルに割り当てられた第１のラベルと、レビュー者１４５の第２のグループからの第２のレビュー者によってピクセルに割り当てられた第２のラベルとの重み付けされた組合せに対応し得、第２のラベルは、レビュー者１４５の第２のセットが、レビュー者１４０の第１のセットを形成する非専門家よりも高い正確さに関連する専門家であることを反映するために、第１のラベルよりも高く重み付けされる。

【0134】

１２０８において、画像と、画像のためのグランドトゥルースラベルのセットとを含むように、訓練サンプルが生成され得る。いくつかの例示的な実施形態では、注釈コントローラ１３５は、画像と、画像に関連するグランドトゥルースラベルとを含む訓練サンプルを生成し得る。

【0135】

１２１０において、画像と、画像のためのグランドトゥルースラベルのセットとを含む訓練サンプルに基づいて画像セグメンテーションを実施するように、機械学習モデルが訓練され得る。いくつかの例示的な実施形態では、注釈コントローラ１３５は、セグメンテーションエンジン１２０に、画像セグメンテーションを実施するように機械学習モデル１２５を訓練するための注釈付き訓練データセットの一部として訓練サンプルを提供し得る。機械学習モデル１２５の訓練は、機械学習モデル１２５の出力中に存在するエラーを最小限に抑えるように、機械学習モデル１２５によって適用された重みなど、機械学習モデル１２５を調整することを含み得る。機械学習モデル１２５の出力中に存在するエラーは、たとえば、間違ってラベル付けされたピクセルの数量を含み得る。間違ってラベル付けされたピクセルは、ピクセルのためのグランドトゥルースラベルに一致しないラベルを機械学習モデル１２５によって割り当てられたピクセルであり得る。

【0136】

いくつかの例示的な実施形態では、機械学習モデル１２５は、画像内で、疾患の診断、進行監視、および／または治療のためのバイオマーカーとして働くことができる１つまたは複数の特徴を識別するために画像をセグメント化するように訓練され得る。たとえば、機械学習モデル１２５は、光干渉断層撮影（ＯＣＴ）スキャン内に存在する１つまたは複数の網膜構造、異常、および／または形態学的変化を識別するために光干渉断層撮影（ＯＣＴ）スキャンをセグメント化するように訓練され得る。図９に示されているように、それらの特徴のうちの少なくともいくつかは、加齢黄斑変性（ＡＭＤ）および発生期地図状萎縮（ｎＧＡ）など、眼疾患の進行を予測するためのバイオマーカーとして働き得る。

【0137】

いくつかの例示的な実施形態では、機械学習モデル１２５は訓練の複数の反復を受け得、各連続訓練反復により、機械学習モデル１２５のパフォーマンスが改善する。たとえば、機械学習モデル１２５が、追加の訓練反復を受け、より多くの訓練サンプルにさらされるにつれて、機械学習モデル１２５によって決定されたラベルと、レビュー者１４０の第１のグループおよび／またはレビュー者１４５の第２のグループからの入力に基づいて決定されたラベルとの間のコンセンサスが高まり、最終的に、機械学習モデル１２５によって決定されたラベルがさらなるレビューを受ける必要をなくし得る。

【0138】

図５は、本明細書で説明される様々な方法およびデバイス、たとえば、イメージングシステム１０５、セグメンテーションエンジン１２０、注釈コントローラ１３５などを実装するのに好適なコンピュータシステム５００のブロック図である。様々な実装形態では、ステップを実施することが可能なデバイスは、イメージングシステム（たとえば、ｃＳＬＯイメージングシステム、ＭＲＩイメージングシステム、ＯＣＴイメージングシステムなど）、ネットワーク通信デバイス（たとえば、モバイルセルラー電話、ラップトップ、パーソナルコンピュータ、タブレット、ワークステーションなど）、ネットワークコンピューティングデバイス（たとえば、ネットワークサーバ、コンピュータプロセッサ、電子通信インターフェースなど）、または別の好適なデバイスを備え得る。したがって、上述のサーバおよびモジュールを実装することが可能なデバイス、ならびに上記で説明されたプロセス４００の様々な方法ステップが、以下のような様式でコンピュータシステム５００として実装され得ることを諒解されたい。

【0139】

本開示の様々な実施形態によれば、ネットワークサーバ、ワークステーション、コンピューティングデバイス、通信デバイスなど、コンピュータシステム５００は、情報を通信するためのバス構成要素５０２または他の通信機構を含み、これは、サブシステム、ならびに、コンピュータ処理構成要素５０４（たとえば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）など）、システムメモリ構成要素５０６（たとえば、ＲＡＭ）、静的記憶構成要素５０８（たとえば、ＲＯＭ）、ディスクドライブ構成要素５１０（たとえば、磁気または光）、ネットワークインターフェース構成要素５１２（たとえば、モデムまたはイーサネットカード）、ディスプレイ構成要素５１４（たとえば、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ））、入力構成要素５１６（たとえば、キーボード）、カーソル制御構成要素５１８（たとえば、マウスまたはトラックボール）、および画像キャプチャ構成要素５２０（たとえば、アナログまたはデジタルカメラ）など、構成要素を相互接続する。一実装形態では、ディスクドライブ構成要素５１０は、１つまたは複数のディスクドライブ構成要素を有するデータベースを備え得る。

【0140】

本開示の実施形態によれば、コンピュータシステム５００は、プロセッサ５０４がシステムメモリ構成要素５０６中に含まれている１つまたは複数の命令の１つまたは複数のシーケンスを実行することによって、特定の動作を実施する。そのような命令は、静的記憶構成要素５０８またはディスクドライブ構成要素５１０など、別のコンピュータ可読媒体からシステムメモリ構成要素５０６に読み取られ得る。他の実施形態では、ハードワイヤード回路が、本開示を実装するために、ソフトウェア命令の代わりに（またはソフトウェア命令と組み合わせて）使用され得る。いくつかの例示的な実施形態では、画像キャプチャデバイス１１０、画像ノイズ除去器１１５、評価器１６０、機械学習モデル１２５、インターフェース１５５などの様々な構成要素は、ユーザのためにコンテキストに適切なタスクを自動的に実施するためにプロセッサ５０４によって実行され得るソフトウェア命令の形態のものであり得る。

【0141】

論理は、実行のためにプロセッサ５０４に命令を提供することに参加する任意の媒体を指し得るコンピュータ可読媒体において符号化され得る。そのような媒体は、限定はしないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。一実施形態では、コンピュータ可読媒体は非一時的である。様々な実装形態では、不揮発性媒体は、ディスクドライブ構成要素５１０など、光または磁気ディスクを含み、揮発性媒体は、システムメモリ構成要素５０６など、ダイナミックメモリを含む。一態様では、実行命令に関係するデータおよび情報は、電波および赤外線データ通信中に生成されるものを含む、音響波または光波の形態でなど、伝送媒体を介してコンピュータシステム５００に送信され得る。様々な実装形態では、伝送媒体は、バス５０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバーを含み得る。

【0142】

コンピュータ可読媒体のいくつかの一般的な形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、ホールのパターンをもつ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、搬送波、あるいはコンピュータが読み取るように適応される任意の他の媒体を含む。これらのコンピュータ可読媒体はまた、上記で説明された、画像キャプチャデバイス１１０、画像ノイズ除去器１１５、評価器１６０、機械学習モデル１２５、インターフェース１５５などのためのプログラミングコードを記憶するために使用され得る。

【0143】

本開示の様々な実施形態では、本開示を実践するための命令シーケンスの実行は、コンピュータシステム５００によって実施され得る。本開示の様々な他の実施形態では、通信リンク５２２（たとえば、ＬＡＮ、ＷＬＡＮ、ＰＴＳＮ、および／あるいは、電気通信ネットワーク、モバイルネットワーク、およびセルラー電話ネットワークを含む、様々な他のワイヤードまたはワイヤレスネットワークなど、通信ネットワーク）によって結合された複数のコンピュータシステム５００は、互いに協調して本開示を実践するための命令シーケンスを実施し得る。

【0144】

コンピュータシステム５００は、通信リンク５２２および通信インターフェース５１２を通して、１つまたは複数のプログラム（すなわち、アプリケーションコード）を含む、メッセージ、データ、情報および命令を送信および受信し得る。受信されたプログラムコードは、受信されるとコンピュータプロセッサ５０４によって実行され、および／あるいは、実行のためにディスクドライブ構成要素５１０または何らかの他の不揮発性記憶構成要素に記憶され得る。通信リンク５２２および／または通信インターフェース５１２は、たとえば、イメージングシステム１０５とセグメンテーションエンジン１２０との間の、および／またはセグメンテーションエンジン１２０と注釈コントローラ１３５との間の電子通信を行うために使用され得る。

【0145】

図６は、本開示の様々な実施形態による、１つまたは複数のセグメンテーションラベルで注釈を付けられた画像６００の一例を示す。図６に示されている例では、画像６００は、眼の網膜の断面を示す光干渉断層撮影（ＯＣＴ）スキャンであり得る。したがって、画像６００は、画像６００内の各ピクセルについて、ピクセルが属する網膜の１つまたは複数の特徴を識別するラベルで注釈を付けられ得る。たとえば、いくつかの場合には、画像６００に注釈を付けることは、様々な網膜特徴の周りのおよび／またはそれらの間の境界を識別することを含み得る。図６に示されている例では、たとえば、画像６００は、画像６００中で示されている網膜の様々な層を分画する第１の境界６１０、第２の境界６２０、および第３の境界６３０で注釈を付けられ得る。そうすることは、画像６００を、その各々が、網膜構造（内境界膜（ＩＬＭ）、外部または外網状層（ＯＰＬ）、網膜色素上皮（ＲＰＥ）、ブルッフ膜（ＢＭ）など）、異常、および／または形態学的変化（たとえば、ドルーゼン、網状偽ドルーゼン（ＲＰＤ）、網膜高反射病巣、低反射くさび形構造、脈絡膜高透過欠陥など）に対応する、様々な部分にセグメント化し得る。

【0146】

図７Ａは、専門家レビュー者によって実施された医療画像注釈と（たとえば、真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムを適用することによって集約された）非専門家レビュー者によって実施された医療画像注釈の定性的評価を示す。たとえば、図７Ａに示されている第１の画像７００は、異なる専門家レビュー者によって行われた注釈を比較し、図７Ｂに示されている第２の画像７５０は、異なる専門家レビュー者によって行われた注釈、ならびに非専門家レビュー者によって行われた注釈の集約を比較する。一方、図７Ｂは、専門家レビュー者および非専門家レビュー者によって実施された医療画像注釈の定量的評価を示す。図７Ｂに示されている定量的評価は、レビュー者の専門家グループおよび非専門家グループ内から、およびそれらにわたって発生したラベルのコンセンサスメトリック（たとえば、和集合の共通部分（ＩＯＵ））の比較に基づく。

【0147】

図８は、生画像１０１０（たとえば、生光干渉断層撮影（ＯＣＴ）スキャン）と、高反射病巣（ＨＲＦ）およびドルーゼンが注釈を付けられたラベル付けされた画像１０２０と、たとえば、ラベル付けされた画像１０２０に基づいて訓練された機械学習モデル１２５の出力１０３０との一例を示す。図８に示されているように、出力１０３０は、訓練された機械学習モデル１２５が、高反射病巣（ＨＲＦ）、ドルーゼンなど、様々な網膜特徴に対応する、画像１０１０内の領域（たとえば、ピクセル）を識別することが可能であることを示す。ただし、画像１０１０に対して画像セグメンテーションを実施する訓練された機械学習モデル１２５は、画像１０１０中で示されている網膜中の網膜構造、異常、および／または形態学的変化など、様々な特徴を識別することが可能であり得ることを諒解されたい。たとえば、いくつかの場合には、患者の年齢に加えて、加齢黄斑変性（ＡＭＤ）および発生期地図状萎縮（ｎＧＡ）など、患者における眼疾患の進行を予測するためのバイオマーカーのうちの少なくともいくつかは、１つまたは複数の網膜特徴に基づいて決定され得る。

【0148】

図９は、ドルーゼン量と、最大ドルーゼン高さと、高反射病巣（ＨＲＦ）量と、最小外顆粒層（ＯＮＬ）厚さと、網膜色素上皮（ＲＰＥ）量とを含む、いくつかの例を示す。以下の表１は、患者における発生期地図状萎縮（ｎＧＡ）の進行を予測するための、カラー眼底写真（ＣＦＰ）画像から導出されたバイオマーカーと、光干渉断層撮影（ＯＣＴ）スキャンから導出されたバイオマーカーとの比較を示す。

【0149】

【0150】

適用可能な場合に、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せを使用して実装され得る。また、適用可能な場合に、本明細書に記載される様々なハードウェア構成要素および／またはソフトウェア構成要素は、本開示の趣旨から逸脱することなく、ソフトウェア、ハードウェア、および／またはその両方を備える複合構成要素に組み合わせられ得る。適用可能な場合に、本明細書に記載される様々なハードウェア構成要素および／またはソフトウェア構成要素は、本開示の範囲から逸脱することなく、ソフトウェア、ハードウェア、またはその両方を備える副構成要素に分けられ得る。さらに、適用可能な場合に、ソフトウェア構成要素がハードウェア構成要素として実装され得、その逆も同様であると考えられる。

【0151】

コンピュータプログラムコードおよび／またはデータなど、本開示による、ソフトウェアは、１つまたは複数のコンピュータ可読媒体に記憶され得る。本明細書で識別されるソフトウェアが、１つまたは複数の汎用または特定目的コンピュータおよび／またはコンピュータシステムを使用して実装され得る、ネットワーク化され得る、および／または他の場合も考えられる。適用可能な場合に、本明細書で説明される様々なステップの順序付けは、本明細書で説明される特徴を提供するために、変更され、複合ステップに組み合わせられ、および／またはサブステップに分けられ得る。画像キャプチャデバイス１１０、画像ノイズ除去器１１５、評価器１６０、機械学習モデル１２５、インターフェース１５５などの少なくとも一部分が、そのようなソフトウェアコードとして実装され得ることを理解されたい。

【0152】

本開示のいくつかの実施形態の具陳
実施形態１：特徴を有するサンプルの画像を受信することと、ニューラルネットワークを使用して、特徴を表す注釈を生成することと、ニューラルネットワークを使用して、注釈を含むラベル付けされた画像を生成することと、画像補正インターフェースへのラベル付けされた画像の提示を促すことと、画像補正インターフェースから、第１のニューラルネットワークによって生成された注釈に関係するラベル補正データを受信することと、ラベル付けされた画像の更新を含む注釈付き画像を生成するために、ラベル補正データを使用して、ラベル付けされた画像を更新することとを含む、方法。

【0153】

実施形態２：更新が、特徴を表す注釈についての信頼性値を含む、実施形態１に記載の方法。

【0154】

実施形態３：信頼性値とプリセット信頼性しきい値との比較に基づいて、注釈付き画像中の注釈を検証することをさらに含む、実施形態２に記載の方法。

【0155】

実施形態４：特徴が、加齢黄斑変性（ＡＭＤ）を示すバイオマーカーを含む、実施形態１から３のいずれか１つに記載の方法。

【0156】

実施形態５：ラベル補正データが、画像補正インターフェースにおいて受信されたラベルの確認、拒否、または修正の指示を含む、実施形態１から４のいずれか１つに記載の方法。

【0157】

実施形態６：指示が、１人または複数の訓練されたユーザによって画像補正インターフェースに入力される、実施形態５に記載の方法。

【0158】

実施形態７：サンプルが組織サンプルまたは血液サンプルである、実施形態１から６のいずれか１つに記載の方法。

【0159】

実施形態８：注釈付き画像によりニューラルネットワークを訓練することをさらに含む、実施形態１から７のいずれか１つに記載の方法。

【0160】

実施形態９：非一時的メモリと、非一時的メモリと結合されたハードウェアプロセッサとを備える、システムであって、ハードウェアプロセッサが、システムに、実施形態１から８のいずれか１つに記載の方法を実施させるための命令を非一時的メモリから読み取るように構成された、システム。

【0161】

実施形態１０：プログラムコードを記録した非一時的コンピュータ可読媒体（ＣＲＭ）であって、プログラムコードが、システムに、実施形態１から８のいずれか１つに記載の方法を実施させるためのコードを備える、非一時的コンピュータ可読媒体（ＣＲＭ）。

【0162】

実施形態１１：少なくとも第１の入力に基づいて、画像をセグメント化するためのラベルの第１のセットを決定することと、少なくとも第２の入力に基づいて、画像をセグメント化するためのラベルの第２のセットを生成するためにラベルの第１のセットを更新することと、少なくとも、ラベルの第１のセットおよび／またはラベルの第２のセットに基づいて、画像をセグメント化するためのグランドトゥルースラベルのセットを生成することと、画像と、画像のためのグランドトゥルースラベルのセットとを含むように、訓練サンプルを生成することと、少なくとも訓練サンプルに基づいて、画像セグメンテーションを実施するように機械学習モデルを訓練することとを含む、コンピュータ実装方法。

【0163】

実施形態１２：画像をセグメント化するための予備ラベルのセットを生成するために機械学習モデルを適用することと、少なくとも第３の入力に基づいて、ラベルの第１のセットを生成するために予備ラベルのセットを更新することとをさらに含む、実施形態１１に記載の方法。

【0164】

実施形態１３：集約されたラベルセットを生成するためにラベルの第１のセットを組み合わせることと、１つまたは複数のクライアントデバイスにおける表示のために、集約されたラベルセットを含むユーザインターフェースを生成することとをさらに含む、実施形態１１または１２に記載の方法。

【0165】

実施形態１４：真値およびパフォーマンスレベル同時推定（ＳＴＡＰＬＥ）アルゴリズムが、ラベルの第１のセットを組み合わせるために適用される、実施形態１３に記載の方法。

【0166】

実施形態１５：ラベルの第１のセットが、第１のレビュー者によって画像中のピクセルに割り当てられた第１のラベルと、第２のレビュー者によってピクセルに割り当てられた第２のラベルと、第３のレビュー者によってピクセルに割り当てられた第３のラベルとを含む、実施形態１３または１４に記載の方法。

【0167】

実施形態１６：集約されたラベルセットが、画像中のピクセルについて、第１のラベルと第２のラベルと第３のラベルとの重み付けされた組合せに対応する第４のラベルを含む、実施形態１５に記載の方法。

【0168】

実施形態１７：第１のラベルが、第１のレビュー者の第１の正確さに対応する第１の重みに関連し、第２のラベルが、第２のレビュー者の第２の正確さに対応する第２の重みに関連し、第３のラベルが、第３のレビュー者の第３の正確さに対応する第３の重みに関連する、実施形態１６に記載の方法。

【0169】

実施形態１８：第２の入力が、第４のラベルを確認する、第４のラベルに異議を唱える、および／または第４のラベルを修正する、実施形態１６または１７に記載の方法。

【0170】

実施形態１９：異なるレビュー者によって画像中の同じピクセルに割り当てられた複数のラベル間の不一致のレベルを示すコンセンサスメトリックを決定することをさらに含む、実施形態１１から１８のいずれか１つに記載の方法。

【0171】

実施形態２０：コンセンサスメトリックが、和集合の共通部分（ＩＯＵ）を含む、実施形態１９に記載の方法。

【0172】

実施形態２１：ラベルの第１のセットについてのコンセンサスメトリックがしきい値を満たすことができないと決定すると、レビューのためにラベルの第１のセットをエスカレートすることをさらに含む、実施形態１９または２０に記載の方法。

【0173】

実施形態２２：グランドトゥルースラベルのセットが、画像内に存在する１つまたは複数の特徴を識別する、実施形態１１から２１のいずれか１つに記載の方法。

【0174】

実施形態２３：グランドトゥルースラベルのセットが、画像内の各ピクセルについて、画像内に存在する１つまたは複数の特徴のうちの特徴に属するものとしてピクセルを識別するラベルを含む、実施形態２２に記載の方法。

【0175】

実施形態２４：１つまたは複数の特徴が、画像中で示されている網膜中に存在する１つまたは複数の構造、異常、および／または形態学的変化を含む、実施形態２２または２３に記載の方法。

【0176】

実施形態２５：１つまたは複数の特徴が、疾患のためのバイオマーカーを含む、実施形態２２から２４のいずれか１つに記載の方法。

【0177】

実施形態２６：１つまたは複数の特徴が、発生期地図状萎縮（ｎＧＡ）および／または加齢黄斑変性（ＡＭＤ）の進行を予測するためのバイオマーカーを含む、実施形態２２から２５のいずれか１つに記載の方法。

【0178】

実施形態２７：１つまたは複数の特徴が、ドルーゼン量と、最大ドルーゼン高さと、高反射病巣（ＨＲＦ）量と、最小外顆粒層（ＯＮＬ）厚さと、網膜色素上皮（ＲＰＥ）量とを含む、実施形態２２から２６のいずれか１つに記載の方法。

【0179】

実施形態２８：機械学習モデルがニューラルネットワークを備える、実施形態１１から２７のいずれか１つに記載の方法。

【0180】

実施形態２９：画像が、コンピュータ断層撮影（ＣＴ）画像と、光干渉断層撮影（ＯＣＴ）スキャンと、Ｘ線画像と、磁気共鳴イメージング（ＭＲＩ）スキャンと、超音波画像とのうちの１つまたは複数を含む、実施形態１１から２８のいずれか１つに記載の方法。

【0181】

実施形態３０：第１の入力がレビュー者の第１のグループに関連し、第２の入力がレビュー者の第２のグループに関連する、実施形態１１から２９のいずれか１つに記載の方法。

【0182】

実施形態３１：少なくとも１つのデータプロセッサと、命令を記憶する少なくとも１つのメモリとを備える、システムであって、命令が、少なくとも１つのデータプロセッサによって実行されたとき、実施形態１１から３０のいずれか１つに記載の方法を含む動作を生じる、システム。

【0183】

実施形態３２：少なくとも１つのデータプロセッサによって実行されたとき、実施形態１１から３０のいずれか１つに記載の方法を含む動作を生じる命令を記憶する、非一時的コンピュータ可読媒体。

【0184】

本教示は、様々な実施形態に関して説明されるが、本教示は、そのような実施形態に限定されるものではない。見方を変えれば、本教示は、当業者によって諒解されるように、様々な代替形態、修正、および等価物を包含する。

【0185】

様々な実施形態について説明する際に、本明細書は、ステップの特定のシーケンスとして方法および／またはプロセスを提示していることがある。しかしながら、方法またはプロセスが本明細書に記載されるステップの特定の順序に依拠しない範囲で、方法またはプロセスは、説明されるステップの特定のシーケンスに限定されるべきでなく、当業者は、シーケンスが、変動され、様々な実施形態の趣旨および範囲内に依然としてとどまり得ることを容易に諒解することができる。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【国際調査報告】