特表 2024-532766 心臓ＭＲＩセグメンテーションのためのメタラーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】心臓ＭＲＩセグメンテーションのためのメタラーニング

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20240903BHJP

   G06N 3/0895 20230101ALI20240903BHJP

   G06N 3/0455 20230101ALI20240903BHJP

   G06T 7/00 20170101ALI20240903BHJP

【ＦＩ】

G06N3/0985

G06N3/0895

G06N3/0455

G06T7/00 350B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024508390

(86)(22)【出願日】2022-08-03

(85)【翻訳文提出日】2024-02-08

(86)【国際出願番号】 US2022039350

(87)【国際公開番号】W WO2023018589

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】17/397,334

(32)【優先日】2021-08-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522423765

【氏名又は名称】メルク・シャープ・アンド・ドーム・リミテッド・ライアビリティ・カンパニー

【氏名又は名称原語表記】ＭＥＲＣＫ ＳＨＡＲＰ ＆ ＤＯＨＭＥ ＬＬＣ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ダニ キヤッセ

(72)【発明者】

【氏名】アントン チェン

(72)【発明者】

【氏名】アルバート ジョセフ スウィストン ジュニア

(72)【発明者】

【氏名】ロンホア チェン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096CA18

5L096DA01

5L096FA02

5L096HA11

5L096KA04

(57)【要約】

画像セグメンテーションのための方法及びシステムが説明される。機械学習モデルは、画像のセットに適用され、結果を生成する。結果は、画像のセット内の各画像の確率マップとして取得され得る。モデルは、ラベル付き画像のセットにアクセスすることによってトレーニングされ得、各画像は、それぞれの画像内の特徴の位置を示すラベルに関連付けられる。初期のパラメータのセットがアクセスされる。エンコーダは、初期のパラメータのセットで初期化される。エンコーダは、ラベル付き画像のセットに適用され、各画像内の特徴位置の予測を生成する。初期のパラメータのセットは、予測およびラベル付き画像に関連付けられたラベルに基づいて更新される。更新されたパラメータのセット、及びラベルなし画像のセットを使用して生成された追加のパラメータのセットが集約される。

【特許請求の範囲】

【請求項1】

画像のセットをセグメント化するコンピュータ実装方法であって、
機械学習モデルを前記画像のセットに適用して結果を生成するステップであって、前記機械学習モデルは、
第１のパラメータのセットで第１のエンコーダを初期化するステップと、
前記第１のエンコーダをラベルなし画像のセットに適用して、前記ラベルなし画像の表現のセットを生成するステップと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新するステップと、
第２のパラメータのセットで第２のエンコーダを初期化するステップと、
ラベル付き画像のセット内の各画像の特徴の位置の予測のセットを生成するために、前記第２のエンコーダを前記ラベル付き画像のセットに適用するステップであって、各々のそれぞれのラベルは、それぞれの前記ラベル付き画像内の前記特徴の前記位置に関連付けられる、前記適用するステップと、
前記予測のセットに基づいて前記第２のパラメータのセットを更新するステップと、
前記更新された第１のパラメータのセット及び前記更新された第２のパラメータのセットを集約されたパラメータのセットに集約するステップと、
前記集約されたパラメータのセットに基づいて前記第１のパラメータのセットを更新するステップと、
によってトレーニングされた、前記結果を生成するステップと、
前記機械学習モデルの前記結果を、前記画像のセット内の各画像の確率マップとして取得するステップと、
を含む方法。

【請求項2】

前記第２のパラメータのセットが、前記更新された第１のパラメータのセットである、請求項１に記載の方法。

【請求項3】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項１に記載の方法。

【請求項4】

前記第１のエンコーダを最適化するステップは、
１つまたは複数の変換演算子で前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成するステップと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成するステップと、
前記複数の拡張されたインスタンスの前記表現に類似性メトリックを適用するステップと、を含む、請求項３に記載の方法。

【請求項5】

前記第２のエンコーダは、クロスエントロピー損失関数に従って最適化される、請求項１に記載の方法。

【請求項6】

前記第２のエンコーダを最適化するステップは、
前記第２のエンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングするステップと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングするステップと、を含む、請求項５に記載の方法。

【請求項7】

前記第１のエンコーダは、第１のタスクに関連付けられ、前記第２のエンコーダは、第２のタスクに関連付けられる、請求項１に記載の方法。

【請求項8】

前記更新された第１のパラメータのセットと前記更新された第２のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項７に記載の方法。

【数1】

【請求項9】

前記更新された第１のパラメータのセットと前記更新された第２のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項７に記載の方法。

【数2】

【請求項10】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記方法は、前記機械学習モデルをテスト画像のセットでテストするステップをさらに含み、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項１に記載の方法。

【請求項11】

画像のセットをセグメント化するコンピュータ実装方法であって、
機械学習モデルを前記画像のセットに適用して結果を生成するステップであって、前記機械学習モデルは、
ラベル付き画像のセットにアクセスするステップであって、各画像は、それぞれの前記画像内の特徴の位置を示すラベルに関連付けられる、前記アクセスするステップと、
初期のパラメータのセットにアクセスするステップと、
前記初期のパラメータのセットでエンコーダを初期化するステップと、
前記エンコーダを前記ラベル付き画像のセットに適用して、各画像内の前記特徴の前記位置の予測を生成するステップと、
前記予測及び前記ラベル付き画像の前記セット内の各画像に関連付けられた前記ラベルに基づいて前記初期のパラメータのセットを更新するステップと、
前記更新されたパラメータのセットと追加のパラメータのセットを集約するステップであって、前記追加のパラメータのセットは、ラベルなし画像のセットを使用して生成される、前記集約するステップと、
によってトレーニングされた、前記結果を生成するステップと、
前記機械学習モデルの前記結果を、前記画像のセット内の各画像の確率マップとして取得するステップと、
を含む方法。

【請求項12】

前記初期のパラメータのセットが、前記追加のパラメータのセットである、請求項１１に記載の方法。

【請求項13】

前記初期のパラメータのセットを生成するステップは、
第１のパラメータのセットで第１のエンコーダを初期化するステップと、
前記第１のエンコーダを前記ラベルなし画像のセットに適用して、前記ラベルなし画像のセットの表現のセットを生成するステップと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新するステップと、を含む、請求項１１に記載の方法。

【請求項14】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項１３に記載の方法。

【請求項15】

前記第１のエンコーダを最適化するステップは、
１つまたは複数の変換演算子を用いて、前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成するステップと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成するステップと、
前記拡張されたインスタンスの前記表現に類似性メトリックを適用するステップと、を含む、請求項１４に記載の方法。

【請求項16】

前記エンコーダは、クロスエントロピー損失関数に従って最適化される、請求項１１に記載の方法。

【請求項17】

前記エンコーダを最適化するステップは、
前記エンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングするステップと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングするステップと、を含む、請求項１６に記載の方法。

【請求項18】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項１１に記載の方法。

【数3】

【請求項19】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項１１に記載の方法。

【数4】

【請求項20】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記方法は、前記機械学習モデルをテスト画像のセットでテストするステップをさらに含み、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項１１に記載の方法。

【請求項21】

トレーニングされたモデルを含む画像セグメンテーションシステムを格納する非一時的なコンピュータ可読記憶媒体であって、前記画像セグメンテーションシステムは、
ラベル付き画像のセットにアクセスすることであって、各画像は、それぞれの前記画像内の特徴の位置を示すラベルに関連付けられる、前記アクセスすること、
初期のパラメータのセットにアクセスすることと、
前記初期のパラメータのセットでエンコーダを初期化することと、
前記エンコーダを前記ラベル付き画像のセットに適用して、各画像の前記特徴の前記位置の予測を生成することと、
前記予測及び前記ラベル付き画像のセット内の各画像に関連付けられた前記ラベルに基づいて前記初期のパラメータのセットを更新することと、
前記更新されたパラメータのセットと追加のパラメータのセットを集約することであって、前記追加のパラメータのセットは、ラベルなし画像のセットを使用して生成される、前記集約することと、
を備える、プロセスによって製造された非一時的なコンピュータ可読記憶媒体。

【請求項22】

前記初期のパラメータのセットが、前記追加のパラメータのセットである、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項23】

前記初期のパラメータのセットを生成することは、
第１のパラメータのセットで第１のエンコーダを初期化することと、
前記第１のエンコーダを前記ラベルなし画像のセットに適用して、前記ラベルなし画像のセットの表現のセットを生成することと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新することと、を含む、請求項２２に記載の非一時的なコンピュータ可読記憶媒体。

【請求項24】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【請求項25】

前記第１のエンコーダを最適化することは、
１つまたは複数の変換演算子を用いて、前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成することと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成することと、
前記拡張されたインスタンスの前記表現に類似性メトリックを適用することと、を備えた、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【請求項26】

前記エンコーダは、クロスエントロピー損失関数に従って最適化される、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項27】

前記エンコーダを最適化することは、
前記エンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングすることと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングすることと、を備えた、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項28】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約することは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成することを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【数5】

【請求項29】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約することは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成することを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【数6】

【請求項30】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記方法は、前記機械学習モデルをテスト画像のセットでテストすることをさらに備え、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

記載される主題は、一般に画像処理の分野に関し、特に、心臓ＭＲＩセグメンテーションのためのメタラーニングに関する。

【背景技術】

【0002】

本出願は、２０２１年８月９日に出願された米国実用新案特許出願第１７／３９７，３３４号の利益を主張し、その全体が参照により本明細書に組み込まれる。

【0003】

教師あり学習のみを使用する現在のセグメンテーションシステムは、分布シフト、つまりトレーニングと評価に使用されるデータが異なる分布に属する現象に対して脆弱です。この現象は、ネットワーク性能の低下を引き起こし、スキャンが高度の変動性を示す心臓磁気共鳴画像法（ＭＲＩ）のコンテキストにおいて一般的である。そのような変動性は、異なる医療機関が使用する様々なモダリティ、異なるＭＲＩデバイスの異なる磁場強度、及び患者コホート及び人口統計の間の相違の結果である。一般的な回避策には、代表的なデータセットでセグメンテーションモデルを再トレーニングすること、および/または異なるターゲットデータセットのために複数の特殊なモデルをトレーニングすることが含まれる。しかしながら、患者のプライバシーの懸念および/またはラベル付き心臓スキャンの不足により、これらは常に可能であるとは限らない。

【発明の概要】

【0004】

本明細書に記載の画像セグメンテーションシステムは、分布シフト及びラベル付きデータの欠如によってもたらされる障害に取り組む。画像セグメンテーションシステムは、自己教師あり学習、半教師あり学習、およびメタラーニングを利用する。自己教師あり学習は、豊富なラベルなしデータから高レベルの表現を学習することを目的とし、半教師あり学習は、ラベル付きデータとラベルなしデータの両方を利用してタスク関連の表現を学習する。最後に、最適化ベースのメタラーニングは、ニューラルネットワークパラメータの初期化などのパラメータの初期化を学習し、関心のあるターゲットタスクに対する迅速な適応を可能にする。

【0005】

様々な実施形態では、画像をセグメント化するための方法は、トレーニングされた機械学習モデルを画像のセットに適用して結果を生成することを含む。方法は、画像のセット内の各画像の確率マップとして機械学習モデルの結果を取得することをさらに含む。いくつかの実施形態では、機械学習モデルは、第１のタスクに関連付けられたタスク固有の内部ループなどの第１のエンコーダを第１のパラメータセットで初期化することによってトレーニングされる。機械学習モデルは、第１のエンコーダをラベルなし画像のセットに適用してさらにトレーニングされ、表現のセットを生成する。パラメータの第１のセットは、表現のセットに基づいて更新される。例えば、パラメータの第１のセットは、対照的損失などのタスク固有の目的関数で更新され得る。

【0006】

機械学習モデルは、第２のパラメータのセットを有する第２のタスクに関連付けられたタスク固有の内部ループなどの第２のエンコーダを初期化することによってさらにトレーニングされる。第２のエンコーダは、ラベル付き画像のセットに適用され、ラベル付き画像のセット内の各画像内の特徴の位置の第２の予測のセットを生成する。第２のパラメータのセットは、第２の予測のセットに基づいて更新される。パラメータは、集約されたパラメータのセットに集約される。第１のパラメータのセットは、集約されたパラメータに基づいて更新される。

【図面の簡単な説明】

【0007】

本発明のさらなる特徴および利点は、添付の図を参照して、以下の本発明の詳細な説明から明らかになるであろう。

【図1】一実施形態による、画像セグメンテーションシステムのシステム環境の図を示す。

【図2】一実施形態による、画像セグメンテーションシステムのアーキテクチャのブロック図である。

【図3】一実施形態による、画像をセグメント化するための方法のフローチャートである。

【図4】一実施形態による、画像をセグメント化する追加の方法のフローチャートである。

【図5】一実施形態による、画像セグメンテーションシステムをトレーニングするための方法を示す相互作用図である。

【図6】一実施形態による、画像をセグメント化するための方法を示すブロック図である。

【図7】一実施形態による、図１の画像セグメンテーションシステムでの使用に適したコンピュータの例を示すブロック図である。

【発明を実施するための形態】

【0008】

図面および以下の説明は、例示のみを目的として特定の実施形態を説明する。当業者は、以下の説明から、説明された原理から逸脱することなく、構造および方法の代替実施形態を採用することができることを容易に認識するであろう。実行可能な限り、類似または同様の機能を示すために、類似または同様の参照番号が、図で使用される。要素が共通の数字を共有し、その後に別の文字が続く場合、これは要素が類似または同様であることを示す。文脈が別段の指示をしない限り、数字単独への言及は、一般に、そのような要素のいずれか１つまたはいずれかの組み合わせを指す。

【0009】

例示的なシステム
図１は、画像セグメンテーションシステム１２０のためのシステム環境１００の一実施形態を示す。示される実施形態では、システム環境は、クライアントデバイス１１０Ａ、１１０Ｂ、サーバ１３０に記憶された画像セグメンテーションシステム１２０、及びネットワーク１４０を含む。他の実施形態では、システム環境１００は、異なる及び／または追加の要素を含む。さらに、機能は、説明とは異なる方法で要素間に分散され得る。

【0010】

クライアントデバイス１１０Ａ、１１０Ｂは、ネットワーク１４０を介して、ユーザ入力を受信し、画像及び画像データを含むデータを受信及び／または送信し、様々な機械学習モデルをテスト、トレーニング、及び適用することができるコンピューティングデバイスである。クライアントデバイス１１０Ａ、１１０Ｂのユーザは、磁気共鳴撮像（ＭＲＩ）データ及びコンピュータ断層撮影（ＣＴ）データなどの画像及び画像データを生成及び分析する医療センター、研究施設、組織などであり得る。

【0011】

一実施形態では、クライアントデバイス１１０Ａ、１１０Ｂなどのクライアントデバイスは、デスクトップまたはラップトップコンピュータなどの従来のコンピュータシステムである。あるいは、クライアントデバイスは、スマートウォッチ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、スマートフォン、または別の適切なデバイスなどのコンピュータ機能を有するポータブルデバイスであり得る。クライアントデバイスは、ネットワーク１４０を介して通信するように構成される。一実施形態では、クライアントデバイス１１０Ａ、１１０Ｂは、クライアントデバイス１１０Ａ、１１０Ｂのユーザが画像セグメンテーションシステム１２０と相互作用することを可能にするアプリケーションを実行する。例えば、クライアントデバイス１１０Ａ、１１０Ｂは、ネットワーク１４０を介してクライアントデバイス１１０Ａ、１１０Ｂと画像セグメンテーションシステム１２０との間の相互作用を可能にするためにブラウザアプリケーションを実行する。別の実施形態では、クライアントデバイス１１０Ａ、１１０Ｂは、ＩＯＳ（登録商標）またはＡｎｄｒｏｉｄ（商標）などのクライアントデバイス１１０Ａ、１１０Ｂのネイティブオペレーティングシステム上で実行されるアプリケーションプログラミングインターフェース（ＡＰＩ）を介して画像セグメンテーションシステム１２０と相互作用する。

【0012】

クライアントデバイス１１０Ａ、１１０Ｂは、有線及び／または無線通信システムの両方を使用して、ローカルエリア及び／またはワイドエリアネットワークの任意の組み合わせを含み得るネットワーク１４０を介して通信するように構成される。一実施形態では、ネットワーク１４０は、標準的な通信技術及び／またはプロトコルを使用する。例えば、ネットワーク１４０は、イーサネット、８０２．１１、ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ（ＷｉＭＡＸ）、３Ｇ、４Ｇ、５Ｇ、符号分割多重アクセス方式（ＣＤＭＡ）、デジタル加入者回線（ＤＳＬ）などのような技術を使用する通信リンクを含む。ネットワーク１４０を介して通信するために使用されるネットワーキングプロトコルの例としては、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、及びファイル転送プロトコル（ＦＴＰ）が挙げられる。ネットワーク１４０を介して交換されたデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の適切なフォーマットを使用して表され得る。いくつかの実施形態では、ネットワーク１４０の通信リンクの全てまたは一部は、任意の適切な技法または技法を使用して暗号化され得る。

【0013】

サーバ１３０などの１つまたは複数のサーバに格納された画像セグメンテーションシステム１２０は、画像及び画像データに対して様々な分析を実行する。一態様では、画像セグメンテーションシステム１２０は、自己教師あり、半教師ありメタラーニングを使用して、画像（例えば、ＭＲＩ画像、ＣＴ画像など）をセグメント化し、及び／または画像セグメンテーションモデルを最適化する。いくつかの実施形態では、画像セグメンテーションシステム１２０は、サーバ１３０で画像セグメンテーションモデルの一部をトレーニングする。画像セグメンテーションシステム１２０の１つまたは複数のユーザは、画像セグメンテーションモデルのトレーニングされた一部をサーバ１３０から取得し得る。次いで、クライアントデバイス１１０Ａ、１１０Ｂを使用する１つまたは複数のユーザは、追加の画像データを用いて画像セグメンテーションモデルの１つまたは複数の追加の部分をトレーニングし得る。追加の画像データは、１つまたは複数のユーザにプライベートなものであってもよく、及び／または入手可能な画像データであってもよい。加えて、追加のデータは、ラベルなしか、またはラベル付きでもよい。ラベル付き画像などのラベル付きデータは、画像内の特徴の位置、特徴の強度、特徴の種類などを示すラベルを含み得る。ラベル付きデータは、教師ありおよび/または半教師ありトレーニング中に使用され得る。 いくつかの実施形態では、画像セグメンテーションシステム１２０は、ネットワーク１４０を介してクライアントデバイス１１０Ａ、１１０Ｂ上でローカルにトレーニングされた画像セグメンテーションモデルの部分を取得する。例えば、画像セグメンテーションシステム１２０は、ローカルトレーニング中に取得されたパラメータを取得し得る。画像セグメンテーションシステム１２０は、その後、モデルパラメータを集約し、画像セグメンテーションモデルを更新し、新しいセグメンテーションモデルなどを生成してもよく、これらは次いで、クライアントデバイス１１０Ａ、１１０Ｂによって取得されてもよい。

【0014】

分岐トレーニングは、ユーザが、１つまたは複数のユーザに利用可能な撮像装置、１つまたは複数のユーザの好ましい撮像設定及びモダリティ、撮影される画像のタイプ、画像の対象のチャンバタイプ（例えば、左心室心内膜、左心室心筋、右心室心内膜、左心房心内膜など）、画像内の対象の種（例えば、ヒト、ブタなど）、対象の人口統計学的特徴などに基づいて、画像セグメンテーションモデルを最適化することを可能にする。さらに、画像セグメンテーションモデルの一部をローカルにトレーニングすることによって、機密性の高い患者の健康情報へのモデルの直接アクセスを制限することによって、患者のプライバシーが保護される。

【0015】

代替的または追加的に、画像セグメンテーションシステム１２０は、画像セグメンテーションモデルのすべての部分をトレーニングおよびテストし得る。これらの実施形態では、クライアントデバイス１１０Ａ、１１０Ｂは、トレーニングされたモデルからモデルパラメータを受信し、ローカルに使用し得る。加えて、画像セグメンテーションシステム１２０は、１つまたは複数のクライアントデバイス１１０Ａ、１１０Ｂから画像、画像データ、モデルパラメータなどを取得および集約して、画像セグメンテーションモデルを反復的にトレーニングおよびテストし、追加のモデルを最適化および／または更新し、または同様にし得る。

【0016】

図２は、一実施形態による、画像セグメンテーションシステム１２０のアーキテクチャのブロック図である。示される実施形態では、画像セグメンテーションシステム１２０は、内部ループ最適化モジュール２１０、外部ループ最適化モジュール２２０、テストモジュール２３０、及びデータストア２４０を含む。画像セグメンテーションシステム１２０の機能は、説明された方法とは異なる方法で要素間に分散され得る。様々な実施形態では、画像セグメンテーションシステム１２０は、異なる、追加の、及び／またはより少ない構成要素を含み得る。様々なデータストアのそれぞれは、単一のストレージデバイス、複数のストレージデバイスを制御するサーバ、または複数のノード（例えば、クラウドストレージシステム）を介してアクセス可能な分散ネットワークであり得る。

【0017】

画像セグメンテーションシステム１２０は、メタラーニングを使用して、関心のあるタスク上のモデルの迅速な適応を可能にし得る。タスクには、分類、回帰などが含まれ得るが、これらに限定されない。タスクは、ラベル付きまたはラベルなしいずれかのデータで構成され得る。いくつかの実施形態では、メタラーニングは、メタトレーニング及びメタテストの２段階で構成される。

【0018】

メタトレーニングでは、学習タスクＴ、が定式化される。メタトレーニングは、複数の最適化ステップ、すなわち内部ループ最適化と外部ループ最適化で構成される。内部ループ最適化モジュール２１０は、タスク固有のデータに対して内部ループ最適化ステップを実行する。さらに、内部ループ最適化モジュール２１０は、自己教師あり学習スキーム及び半教師あり学習スキームの両方を利用し得る。外部ループ最適化モジュール２２０は、タスク間のデータに対して外部ループ最適化ステップを実行する。したがって、セグメンテーションシステム１２０は、自己教師を介して学習された高レベルの表現、教師を介して学習されたタスク関連の表現、およびメタラーニングによって浸透された高速採用特性から利益を得るために、自己教師あり、教師ありメタラーニングを呼び出す。

【0019】

【0020】

【数1】

【0021】

【0022】

【数2】

【0023】

【0024】

【0025】

【数3】

【0026】

いくつかの実施形態では、自己教師ありトレーニング及び教師ありトレーニングは、内部ループ最適化モジュール２１０などの同じモジュールによって実行される。追加および／または代替の実施形態では、トレーニングの１つまたは複数の部分は、１つの場所で実行され、トレーニングの１つまたは複数の部分は、１つまたは複数の異なる場所で実行される。例えば、自己教師ありトレーニングは、１つのサーバ上で実行され得、教師ありトレーニングは、１つまたは複数の異なるサーバ上および／またはクライアントデバイス１１０Ａ、１１０Ｂなどの１つまたは複数のクライアントデバイス上で実行され得る。

【0027】

いくつかの実施形態では、内部ループ最適化モジュール２１０は、教師あり対象物と同時に自己教師あり対象物を最適化する。他の実施形態では、内部ループ最適化モジュール２１０は、順次メタトレーニング手順を使用する。順次メタトレーニング手順において、内部ループ最適化モジュール２１０は、ラベルなしデータに対して自己教師ありメタトレーニングを実行する。次いで、自己教師ありメタトレーニングから学習されたパラメータを使用して、ラベル付きデータに対して教師ありメタトレーニングを実行する。

【0028】

【0029】

【0030】

【数4】

【0031】

【0032】

【数5】

【0033】

テストモジュール２３０は、内部ループ最適化モジュール２１０及び／または外部ループ最適化モジュール２２０をテストすることによって、画像セグメンテーションシステム１２０をテストする。テストモジュール２３０は、テストデータなどのデータストア２４０に格納されたデータを使用して画像セグメンテーションシステム１２０をテストし得る。追加的または代替的に、テストモジュール２３０は、クライアントデバイス１１０Ａ、１１０Ｂに格納されたデータなどのローカルに格納されたデータを使用して画像セグメンテーションシステム１２０をテストし得る。さらに、画像セグメンテーションシステム１２０の１つまたは複数の部分のテストは、別個に格納されたデータを使用してローカルに実行され得る。これらの実施形態では、１つまたは複数の医療センターは、医療センターによってローカルにまたは１つまたは複数の別個のサーバ上に保存されたテストデータを使用して、画像セグメンテーションシステム１２０の１つまたは複数の部分をそれぞれテストし得る。

【0034】

テストモジュール２３０は、内部ループ最適化モジュール２１０及び／または外部ループ最適化モジュール２２０によって学習されたパラメータをメタテストでテストし得る。テストモジュール２３０は、種（例えば、ヒト、ブタなど）、チャンバ（例えば、左心室心内膜、左心室心筋、右心室心内膜、左心房心内膜など）、モダリティ（例えば、シネ(cine)、後期ガドリニウム増強など）、医療センター、及び／またはそれらの任意の組み合わせにわたってテストを実行することができる。

【0035】

例えば、種にわたってテストするとき、テストモジュール２３０は、第１の種に関連付けられたデータ（例えば、ヒトデータ）上で学習されたモデルを使用して、第２の種に関連付けられたデータ（例えば、ブタデータ）に対してメタテストを実行し得る。チャンバにわたってテストするとき、テストモジュール２３０は、第１のチャンバに関連付けられたデータ上で学習されたモデルを使用して、第２のチャンバに関連付けられたデータに対してメタテストを実行し得る。さらに、テストモジュール２３０は、異なる複数のチャンバに関連付けられたデータ上で学習されたモデルを使用して、複数のチャンバに関連付けられたデータに対してメタテストを実行し得る。加えて、モダリティにわたってテストするとき、テストモジュール２３０は、第１のモダリティに関連付けられたデータで学習されたモデルを使用して、第２のモダリティに関連付けられたデータに対してメタテストを実行し得る。

【0036】

データストア２４０は、初期化パラメータ、タスク固有のパラメータ、集約されたパラメータなどのパラメータを格納する。データストア２４０はまた、トレーニング画像などのトレーニングデータを格納する。トレーニング画像は、ラベル付き画像及び／またはラベルなし画像であり得る。ラベル付き画像はそれぞれ、画像に関連付けられた特徴を示すラベルに関連付けられる。ラベルは、特徴の位置、特徴のサイズ、特徴の強度値などを含み得る。ラベル付き画像は、画像セグメンテーションシステム２００の教師ありトレーニング中に使用される。ラベルなし画像は、ラベルを含まず、画像セグメンテーションシステム１２０の自己教師ありトレーニング中に使用され得る。トレーニング画像は、特定の種、チャンバ、医療センター、及び／またはモダリティに関連付けられ得る。データストア２４０はまた、画像表現、セグメンテーションマップ、ピクセルごとのグラウンドトゥルースラベル、損失関数などを格納し得る。データストア２４０はまた、テスト画像などのテストデータを格納する。テスト画像は、ラベル付き画像及び／またはラベルなし画像を含み得る。テスト画像は、特定の種、チャンバ、医療センター、及び／またはモダリティに関連付けられ得る。

【0037】

例示的な方法
図３は、一実施形態による、画像をセグメント化するための方法３００のフローチャートである。示される方法３００では、機械学習モデルは、画像のセットに適用され３１０、結果を生成する。機械学習モデルは、第１のパラメータのセットを用いて、第１のタスクに関連付けられたタスク固有の内部ループなどの第１のエンコーダを初期化することによってトレーニングされる３１５。第１のエンコーダは、ラベルなし画像のセットに適用され３２０、表現のセットを生成する。第１のパラメータのセットは、表現のセットに基づいて更新される３２５。例えば、第１のパラメータのセットは、対照的損失などのタスク固有の目的関数で更新され得る。

【0038】

第２のタスクに関連付けられたタスク固有の内部ループなどの第２のエンコーダは、第２のパラメータのセットで初期化される３３０。第２のエンコーダは、ラベル付き画像のセットに適用され３３５、ラベル付き画像のセット内の各画像内の特徴の位置の予測のセットを生成する。第２のパラメータのセットは、予測のセットに基づいて更新される３４０。パラメータは、集約されたパラメータのセットに集約される３４５。第１及び第２のパラメータのセットは、集約されたパラメータに基づいて更新される３５０。機械学習モデルの結果は、画像のセット内の各画像の確率マップとして取得される３５５。

【0039】

図４は、一実施形態による、画像をセグメント化する追加の方法４００のフローチャートである。示される方法４００において、機械学習モデルは、画像のセットに適用され４１０、結果を生成する。機械学習モデルは、ラベル付き画像のセット及びパラメータの初期セットにアクセスすることによってトレーニングされる４１５。各ラベルは、それぞれの画像内の特徴の位置を示す。機械学習モデルは、タスク固有の内部ループなどの機械学習モデルのエンコーダをパラメータの初期セットで初期化することによってさらにトレーニングされる４２０。エンコーダは、ラベル付き画像のセットに適用され４２５、各画像内の特徴の位置のセット予測を生成する。パラメータの初期セットは、ラベル付き画像のセット内の各画像に関連付けられた予測及びラベルに基づいて更新される４３０。更新されたパラメータのセットは、追加のパラメータのセットと集約される４３５。追加のパラメータセットは、ラベルなし画像のセットを使用して生成される。例えば、追加のパラメータのセットは、自己教師あり学習を使用して生成され得る。機械学習モデルの結果は、セット画像内の各画像の確率マップとして取得される４４０。

【0040】

図５は、一実施形態による、画像セグメンテーションシステムをトレーニングするための方法を示す相互作用図である。示される図は、サーバｎ５１５を介した、第１のサーバであるサーバ１５０５、第２のサーバであるサーバ２５１０、及び追加のサーバ間の相互作用を示す。各サーバは、別個の医療センター、研究施設などの画像セグメンテーションシステム１２０の別個のユーザに関連付けられ得る。示される図において、サーバ１５０５は、第１のパラメータのセットを有する第１のエンコーダを初期化する５２０。サーバ１５０５は、第１のエンコーダをラベルなし画像のセットに適用し５２５、セット内のラベルなし画像の表現を生成する。サーバ１５０５は、表現に基づいて第１のパラメータのセットを更新して、タスク固有のパラメータを取得する。追加のサーバであるサーバ２５１０からサーバｎ５１５は、第１のサーバであるサーバ１５０５から更新されたパラメータのセットを受信する５３５。

【0041】

追加のサーバは、更新されたパラメータのセットでそれぞれのエンコーダを初期化する５４０Ａ、５４０Ｂ。追加のサーバは、対応するエンコーダをラベル付き画像のセットに適用して５４５Ａ、５４５Ｂ、ラベル付き画像による特徴の位置の予測を生成する。さらに、追加のサーバは、予測に基づいてパラメータのセットを更新し５５０Ａ、５５０Ｂ、各々のそれぞれのエンコーダに対応するタスク固有のパラメータを生成する。第１のサーバであるサーバ１５０５は、追加のサーバから更新されたパラメータのセットを受信し５５５Ａ、５５５Ｂ、集約して５６０、新しい初期化パラメータのセットを生成する。次いで、集約されたパラメータは、反復的にトレーニングされ得る。

【0042】

図６は、一実施形態による、画像をセグメント化するための方法を示すブロック図６００である。ブロック図６００は、メタラーニングの両方のステージ、すなわち、メタトレーニング６０５及びメタテスト６１０を示す。メタトレーニング６０５において、タスク１６１５及びタスク２６２０などのタスクは、解決されてタスク固有のパラメータが取得される。タスクは、自己教師ありまたは教師ありで解決され得る。示されるブロック図６００において、タスク１６１５は、自己教師ありで解決され、タスク２６２０は、教師ありで解決される。タスクは、互いに独立して解決され得る。代替的または追加的に、タスクソリューションは、互いに依存し得る。一実施形態では、第１のタスクのタスク固有のパラメータを使用して、第２のタスクに関連付けられたタスク固有のパラメータを取得し得る。例えば、タスク１６１５について解決されたタスク固有のパラメータは、タスク２６２０などのラベル付きデータからなるタスクの教師ありメタトレーニング中に使用され得る。

【0043】

いくつかの実施形態では、対照的学習アルゴリズムが使用され、自己教師あり学習を介してタスクを解決する。示されるように、インスタンス６２５は拡張され、２つの拡張されたインスタンス６３０及び６３５を生成する。拡張されたインスタンスは、図２に関して説明されるように、確率論的変換演算子を使用して生成され得る。タスク固有のパラメータθ_１６４０を使用して、拡張されたインスタンスの表現は、ＶＡ_１６４５及びＶＢ_１６５０で生成される。例えば、タスク固有のパラメータはθ_１６４０、ニューラルネットワークのパラメータであり得、１つまたは複数の画像は、ニューラルネットワークに供給されて、画像の表現（例えば、特徴ベクトル）を生成する。別個に、同時にまたは順次のいずれかで、インスタンス６５５などの他のインスタンスの表現は、タスク固有のパラメータを使用して生成され得る。示されるように、インスタンス６５５は、表現ＶＡ_２６６０によって表される。

【0044】

拡張されたインスタンスのペア、ＶＡ_１６４５及びＶＢ_１６５０の表現は、互いに類似することが推奨される。いくつかの実施形態では、表現は、図２に関して説明したような類似性メトリックを使用して互いに類似するように推奨され得る。これは、表現ＶＡ_１６４５とＶＢ_１６５０を接続する実線によぅて示される。加えて、拡張されたインスタンスのペア、ＶＡ_１６４５及びＶＢ_１６５０の表現は、インスタンス６５５の表現ＶＡ_２６６０などの他のインスタンスの表現とは異なることが推奨される。これは、表現ＶＡ_１６４５及びＶＡ_２６６０を接続する点線によぅて示される。

【0045】

タスク２６２０では、画像６６５などのラベル付き画像を使用して、第２のタスクに関連付けられたタスク固有のパラメータθ_２６７０を取得する。タスク固有のパラメータθ_２６７０を使用して、画像６６５などの画像の表現６７２が生成される。例えば、タスク固有のパラメータθ_２６７０は、画像６６５の特徴ベクトル表現６７２を生成するニューラルネットワークのパラメータであり得る。セグメンテーションマスク６７７は、デコーダ６７５を介して表現６７２から生成される。セグメンテーションマスクは、画像６６５内の各位置における特徴の確率を含む。タスク固有のパラメータは、すべてのタスクにわたって集約され、初期化パラメータの新しいセットθ_ｎｅｗ６８５を取得する。初期化パラメータの新しいセット、θ_ｎｅｗ６８５は、反復的にトレーニングされ得る。

【0046】

メタテスト６１０の間、初期化パラメータの新しいセット、θ_ｎｅｗ６８５を使用して、画像のセグメント化などのダウンストリームタスクを解決する。示されるように、初期化パラメータの新しいセットθ_ｎｅｗ６８５は、新しい画像６９０をセグメント化するために使用され、画像の表現Ｖ_ｎｅｗ６９０を生成する。デコーダ６７５は、画像Ｖ_ｎｅｗ６９０の表現からセグメンテーションマスク６９５を生成する。いくつかの実施形態では、メタテスト６１０の間、初期化パラメータの新しいセットθ_ｎｅｗ６８５を使用して、メタトレーニング６０５の間の画像から種、チャンバ、モダリティ、医療センターなどとは異なる種、チャンバ、モダリティ、医療センターなどに関連付けられた画像をセグメント化し得る。

【0047】

コンピューティングシステムアーキテクチャ
図７は、画像セグメンテーションシステムとしての使用に適した例示的なコンピュータ７００を示す高レベルのブロック図である。例示的なコンピュータ７００は、チップセット７０４に結合された少なくとも１つのプロセッサ７０２を含む。チップセット７０４は、メモリコントローラハブ７２０及び入力／出力（Ｉ／Ｏ）コントローラハブ７２２を含む。メモリ７０６及びグラフィックスアダプタ７１２は、メモリコントローラハブ７２０に結合され、ディスプレイ７１８は、グラフィックスアダプタ７１２に結合される。ストレージデバイス７０８、キーボード７１０、ポインティングデバイス７１４、及びネットワークアダプタ７１６は、Ｉ／Ｏコントローラハブ７２２に結合される。コンピュータ７００の他の実施形態は、異なるアーキテクチャを有する。

【0048】

図７に示される実施形態では、ストレージデバイス７０８は、ハードドライブ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、またはソリッドステートメモリデバイスなどの非一時的なコンピュータ可読記憶媒体である。メモリ７０６は、プロセッサ７０２によって使用される命令及びデータを保持する。ポインティングデバイス７１４は、マウス、トラックボール、タッチスクリーン、または他のタイプのポインティングデバイスであり、キーボード７１０（スクリーン上キーボードであってもよい）と組み合わせて使用され、コンピュータシステム７００にデータを入力する。グラフィックスアダプタ７１２は、ディスプレイ７１８上に画像および他の情報を表示する。ネットワークアダプタ７１６は、コンピュータシステム７００を１つまたは複数のコンピュータネットワークに接続する。

【0049】

図１～図２のエンティティによって使用されるコンピュータのタイプは、実施形態およびエンティティが必要とする処理能力に応じて変化し得る。例えば、画像セグメンテーションシステム２００は、一緒に動作する複数のブレードサーバを含み、説明された機能を提供し得る。さらに、コンピュータは、キーボード７１０、グラフィックスアダプタ７１２、及びディスプレイ７１８などの上述の構成要素のいくつかを欠くことができる。

【0050】

追加的な考慮事項
上記の説明のいくつかの部分は、アルゴリズムプロセスまたは動作の観点から実施形態を説明する。これらのアルゴリズムの説明および表現は、コンピューティング技術の当業者によって、その作業の内容を他の当業者に効果的に伝えるために一般的に使用される。これらの動作は、機能的、計算的、または論理的に説明されている一方で、プロセッサまたは等価電気回路、マイクロコードなどによる実行のための命令を含むコンピュータプログラムによって実装されると理解される。さらに、また、普遍性を失うことなく、ときにはこれらの機能操作の配置をモジュールと呼ぶことが便利な場合もある。

【0051】

本明細書で使用される場合、「一実施形態」または「実施形態」への言及は、その実施形態に関連して説明される特定の要素、特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。本明細書におけるさまざまな場所において、「一実施形態において」という表現の記載は、必ずしもすべてが同じ実施形態を参照しているわけではない。同様に、要素または構成要素の前にある「ａ」または「ａｎ」の使用は、単に便宜上のために行われる。この説明は、それ以外の意味であることが明らかでない限り、要素または構成要素のうちの１つまたは複数が存在することを意味すると理解されるべきである。

【0052】

値が「約」または「実質的に」（またはそれらの派生物）として説明される場合、文脈から別の意味が明らかでない限り、そのような値は正確な＋／－１０％と解釈されるべきである。例から、「約１０」は、「９～１１の範囲」を意味すると理解されるべきである。

【0053】

本明細書で用いられる場合、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」、またはそれらの任意の他の変形例は、非排他的な包含を含むことが意図されている。例えば、要素のリストを備えるプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されず、明示的に記載されていない、またはそのようなプロセス、方法、物品、または装置に内在する他の要素を含んでよい。さらに、明示的に反対の記載がない限り、「または」は、包括的な「または」を意味し、排他的な「または」を意味しない。例えば、条件ＡまたはＢは、以下のいずれか１つによって満たされる。Ａは真（または存在する）でＢは偽（または存在しない）であり、Ａは偽（または存在しない）で、Ｂは真（または存在する）であり、さらにＡおよびＢの両方が真（または存在する）である。

【0054】

この開示を読めば、当業者であれば、画像をセグメント化するためのシステムおよびプロセスのためのさらに追加の代替の構造的および機能的設計を理解するであろう。したがって、特定の実施形態及び用途が例示及び説明されているが、説明された主題は、開示された正確な構造及び構成要素に限定されないことを理解されたい。保護の範囲は、以下の特許請求の範囲によってのみ制限されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-02-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像のセットをセグメント化するコンピュータ実装方法であって、
機械学習モデルを前記画像のセットに適用して結果を生成するステップであって、前記機械学習モデルは、
第１のパラメータのセットで第１のエンコーダを初期化するステップと、
前記第１のエンコーダをラベルなし画像のセットに適用して、前記ラベルなし画像の表現のセットを生成するステップと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新するステップと、
第２のパラメータのセットで第２のエンコーダを初期化するステップと、
ラベル付き画像のセット内の各画像の特徴の位置の予測のセットを生成するために、前記第２のエンコーダを前記ラベル付き画像のセットに適用するステップであって、各々のそれぞれのラベルは、それぞれの前記ラベル付き画像内の前記特徴の前記位置に関連付けられる、前記適用するステップと、
前記予測のセットに基づいて前記第２のパラメータのセットを更新するステップと、
前記更新された第１のパラメータのセット及び前記更新された第２のパラメータのセットを集約されたパラメータのセットに集約するステップと、
前記集約されたパラメータのセットに基づいて前記第１のパラメータのセットを更新するステップと、
によってトレーニングされた、前記結果を生成するステップと、
前記機械学習モデルの前記結果を、前記画像のセット内の各画像の確率マップとして取得するステップと、
を含む方法。

【請求項2】

前記第２のパラメータのセットが、前記更新された第１のパラメータのセットである、請求項１に記載の方法。

【請求項3】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項１に記載の方法。

【請求項4】

前記第１のエンコーダを最適化するステップは、
１つまたは複数の変換演算子で前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成するステップと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成するステップと、
前記複数の拡張されたインスタンスの前記表現に類似性メトリックを適用するステップと、を含む、請求項３に記載の方法。

【請求項5】

前記第２のエンコーダは、クロスエントロピー損失関数に従って最適化される、請求項１に記載の方法。

【請求項6】

前記第２のエンコーダを最適化するステップは、
前記第２のエンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングするステップと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングするステップと、を含む、請求項５に記載の方法。

【請求項7】

前記第１のエンコーダは、第１のタスクに関連付けられ、前記第２のエンコーダは、第２のタスクに関連付けられる、請求項１に記載の方法。

【請求項8】

前記更新された第１のパラメータのセットと前記更新された第２のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項７に記載の方法。

【数1】

【請求項9】

前記更新された第１のパラメータのセットと前記更新された第２のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項７に記載の方法。

【数2】

【請求項10】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記方法は、前記機械学習モデルをテスト画像のセットでテストするステップをさらに含み、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項１に記載の方法。

【請求項11】

画像のセットをセグメント化するコンピュータ実装方法であって、
機械学習モデルを前記画像のセットに適用して結果を生成するステップであって、前記機械学習モデルは、
ラベル付き画像のセットにアクセスするステップであって、各画像は、それぞれの前記画像内の特徴の位置を示すラベルに関連付けられる、前記アクセスするステップと、
初期のパラメータのセットにアクセスするステップと、
前記初期のパラメータのセットでエンコーダを初期化するステップと、
前記エンコーダを前記ラベル付き画像のセットに適用して、各画像内の前記特徴の前記位置の予測を生成するステップと、
前記予測及び前記ラベル付き画像の前記セット内の各画像に関連付けられた前記ラベルに基づいて前記初期のパラメータのセットを更新するステップと、
前記更新されたパラメータのセットと追加のパラメータのセットを集約するステップであって、前記追加のパラメータのセットは、ラベルなし画像のセットを使用して生成される、前記集約するステップと、
によってトレーニングされた、前記結果を生成するステップと、
前記機械学習モデルの前記結果を、前記画像のセット内の各画像の確率マップとして取得するステップと、
を含む方法。

【請求項12】

前記初期のパラメータのセットが、前記追加のパラメータのセットである、請求項１１に記載の方法。

【請求項13】

前記初期のパラメータのセットを生成するステップは、
第１のパラメータのセットで第１のエンコーダを初期化するステップと、
前記第１のエンコーダを前記ラベルなし画像のセットに適用して、前記ラベルなし画像のセットの表現のセットを生成するステップと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新するステップと、を含む、請求項１１に記載の方法。

【請求項14】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項１３に記載の方法。

【請求項15】

前記第１のエンコーダを最適化するステップは、
１つまたは複数の変換演算子を用いて、前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成するステップと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成するステップと、
前記拡張されたインスタンスの前記表現に類似性メトリックを適用するステップと、を含む、請求項１４に記載の方法。

【請求項16】

前記エンコーダは、クロスエントロピー損失関数に従って最適化される、請求項１１に記載の方法。

【請求項17】

前記エンコーダを最適化するステップは、
前記エンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングするステップと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングするステップと、を含む、請求項１６に記載の方法。

【請求項18】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項１１に記載の方法。

【数3】

【請求項19】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約するステップは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成するステップを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項１１に記載の方法。

【数4】

【請求項20】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記方法は、前記機械学習モデルをテスト画像のセットでテストするステップをさらに含み、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項１１に記載の方法。

【請求項21】

トレーニングされたモデルを含む画像セグメンテーションシステムを格納する非一時的なコンピュータ可読記憶媒体であって、前記画像セグメンテーションシステムは、
ラベル付き画像のセットにアクセスすることであって、各画像は、それぞれの前記画像内の特徴の位置を示すラベルに関連付けられる、前記アクセスすること、
初期のパラメータのセットにアクセスすることと、
前記初期のパラメータのセットでエンコーダを初期化することと、
前記エンコーダを前記ラベル付き画像のセットに適用して、各画像の前記特徴の前記位置の予測を生成することと、
前記予測及び前記ラベル付き画像のセット内の各画像に関連付けられた前記ラベルに基づいて前記初期のパラメータのセットを更新することと、
前記更新されたパラメータのセットと追加のパラメータのセットを集約することであって、前記追加のパラメータのセットは、ラベルなし画像のセットを使用して生成される、前記集約することと、
を備える、プロセスによって製造された非一時的なコンピュータ可読記憶媒体。

【請求項22】

前記初期のパラメータのセットが、前記追加のパラメータのセットである、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項23】

前記初期のパラメータのセットを生成することは、
第１のパラメータのセットで第１のエンコーダを初期化することと、
前記第１のエンコーダを前記ラベルなし画像のセットに適用して、前記ラベルなし画像のセットの表現のセットを生成することと、
前記表現のセットに基づいて前記第１のパラメータのセットを更新することと、を含む、請求項２２に記載の非一時的なコンピュータ可読記憶媒体。

【請求項24】

前記第１のエンコーダは、自己教師あり損失関数に従って最適化される、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【請求項25】

前記第１のエンコーダを最適化することは、
１つまたは複数の変換演算子を用いて、前記ラベルなし画像のセット内の画像のインスタンスを拡張して、複数の拡張されたインスタンスを生成することと、
前記複数の拡張されたインスタンスを符号化して、前記複数の拡張されたインスタンスの表現を生成することと、
前記拡張されたインスタンスの前記表現に類似性メトリックを適用することと、を備えた、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【請求項26】

前記エンコーダは、クロスエントロピー損失関数に従って最適化される、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項27】

前記エンコーダを最適化することは、
前記エンコーダを用いて、前記ラベル付き画像のセットをＤ次元の表現にマッピングすることと、
デコーダを用いて、前記表現をクラスのセットで構成されるセグメンテーションマップにマッピングすることと、を備えた、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項28】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約することは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成することを含み、θは初期化パラメータ、αは学習率、ｔはタスク、θ_tはタスク固有のパラメータである、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【数5】

【請求項29】

前記更新されたパラメータのセットと前記追加のパラメータのセットを集約することは、以下のθの式によって定義される更新ステップに基づいて新しいパラメータを生成することを含み、θは初期化パラメータ、αは学習率、ＭはＴ個のタスクのセット内の各タスクｔに関連付けられた多様体である、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【数6】

【請求項30】

前記ラベルなし画像のセットおよび前記ラベル付き画像のセットはそれぞれ、第１の種、第１のチャンバ、または第１のモダリティのうちの少なくとも１つに関連付けられ、前記プロセスは、機械学習モデルをテスト画像のセットでテストすることをさらに備え、前記テスト画像のセットは、第２の種、第２のチャンバ、または第２のモダリティのうちの少なくとも１つに関連付けられる、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正の内容】

【0036】

データストア２４０は、初期化パラメータ、タスク固有のパラメータ、集約されたパラメータなどのパラメータを格納する。データストア２４０はまた、トレーニング画像などのトレーニングデータを格納する。トレーニング画像は、ラベル付き画像及び／またはラベルなし画像であり得る。ラベル付き画像はそれぞれ、画像に関連付けられた特徴を示すラベルに関連付けられる。ラベルは、特徴の位置、特徴のサイズ、特徴の強度値などを含み得る。ラベル付き画像は、画像セグメンテーションシステム１２０の教師ありトレーニング中に使用される。ラベルなし画像は、ラベルを含まず、画像セグメンテーションシステム１２０の自己教師ありトレーニング中に使用され得る。トレーニング画像は、特定の種、チャンバ、医療センター、及び／またはモダリティに関連付けられ得る。データストア２４０はまた、画像表現、セグメンテーションマップ、ピクセルごとのグラウンドトゥルースラベル、損失関数などを格納し得る。データストア２４０はまた、テスト画像などのテストデータを格納する。テスト画像は、ラベル付き画像及び／またはラベルなし画像を含み得る。テスト画像は、特定の種、チャンバ、医療センター、及び／またはモダリティに関連付けられ得る。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正の内容】

【0049】

図１～図２のエンティティによって使用されるコンピュータのタイプは、実施形態およびエンティティが必要とする処理能力に応じて変化し得る。例えば、画像セグメンテーションシステム１２０は、一緒に動作する複数のブレードサーバを含み、説明された機能を提供し得る。さらに、コンピュータは、キーボード７１０、グラフィックスアダプタ７１２、及びディスプレイ７１８などの上述の構成要素のいくつかを欠くことができる。

【国際調査報告】