特許 7566343 超音波データにラベル付けするためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】超音波データにラベル付けするためのシステム及び方法

(51)【国際特許分類】

   A61B 8/00 20060101AFI20241007BHJP

   G06T 7/00 20170101ALI20241007BHJP

【ＦＩ】

A61B8/00

G06T7/00 612

【請求項の数】 14

(21)【出願番号】P 2021573614

(86)(22)【出願日】2020-06-12

(65)【公表番号】

(43)【公表日】2022-08-18

(86)【国際出願番号】 US2020037519

(87)【国際公開番号】W WO2020252330

(87)【国際公開日】2020-12-17

【審査請求日】2023-06-09

(31)【優先権主張番号】62/860,403

(32)【優先日】2019-06-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504337958

【氏名又は名称】カーネギー メロン ユニバーシティ

(74)【代理人】

【識別番号】100107342

【弁理士】

【氏名又は名称】横田 修孝

(74)【代理人】

【識別番号】100155631

【弁理士】

【氏名又は名称】榎 保孝

(74)【代理人】

【識別番号】100137497

【弁理士】

【氏名又は名称】大森 未知子

(74)【代理人】

【識別番号】100207907

【弁理士】

【氏名又は名称】赤羽 桃子

(74)【代理人】

【識別番号】100217294

【弁理士】

【氏名又は名称】内山 尚和

(72)【発明者】

【氏名】ジョン、ガレオッティ

(72)【発明者】

【氏名】ジャーユエン、リ

(72)【発明者】

【氏名】ルイス、リカルド、ロドリゲス

(72)【発明者】

【氏名】ラジェンドラクマール、ゴータム、ガー

【審査官】清水 裕勝

(56)【参考文献】

【文献】国際公開第２０１８／２０９１９３（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１２７４９７（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４０５９６（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１９４１６１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

超音波データにラベル付けする方法であって、
超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、無線周波数（ＲＦ）波形データを含み、
前記ＣＮＮの複数のダウンサンプリング層において、それぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮへの入力として提供され、
前記ＣＮＮの出力であるセグメント化に使用する情報に基づいて、前記超音波データ内の組織をセグメント化し、
前記複数のダウンサンプリング層は、超音波画像符号化ブランチ及び複数のＲＦ符号化ブランチを含み、各ＲＦ符号化ブランチは、前記複数のＲＦ符号化ブランチの他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み、各ＲＦ符号化ブランチの前記それぞれのカーネルサイズは、それぞれの波長に対応し、
各ＲＦ符号化ブランチは、複数の畳み込みブロックを含み、各畳み込みブロックは、第１の畳み込み層、第１のバッチ正規化層、第１の活性化層、第２の畳み込み層、第２のバッチ正規化層、及び第２の活性化層を含み、前記複数の畳み込みブロックの少なくとも１つの畳み込みブロックは、最大プーリング層を含み、
前記ダウンサンプリングすることは、前記ＣＮＮの前記複数のＲＦ符号化ブランチの各ＲＦ符号化ブランチの前記ＲＦ入力をダウンサンプリングすること及び前記ＣＮＮの各超音波画像符号化ブランチの画像入力をダウンサンプリングすることを含み、前記画像入力は、前記超音波の複数のピクセルを含む、
方法。

【請求項2】

前記画像入力と前記ＲＦ入力は、実質的に同時に処理される、請求項１に記載の方法。

【請求項3】

前記超音波データ内の組織をセグメント化することは、前記複数のピクセルにラベル付けすることを含む、請求項１に記載の方法。

【請求項4】

前記複数のピクセルは、前記超音波の大半のピクセルを含む、請求項３に記載の方法。

【請求項5】

前記組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つを識別することを含む、請求項１に記載の方法。

【請求項6】

さらに、各ＲＦ符号化ブランチのＲＦ符号化ブランチ出力と前記超音波画像符号化ブランチの超音波画像符号化ブランチ出力を連結し、連結符号化ブランチ出力を提供し、
前記ＣＮＮの複数のアップサンプリング層で前記連結済みの符号化ブランチ出力をアップサンプリングする、請求項１に記載の方法。

【請求項7】

前記複数のアップサンプリング層は、復号ブランチを含み、前記復号ブランチは、複数の逆畳み込みブロックを含み、
前記ＣＮＮは、複数の残差接続をさらに含み、各残差接続は、前記複数の畳み込みブロックのそれぞれの畳み込みブロックを、前記それぞれの畳み込みブロックに対応するサイズを有するそれぞれの逆畳み込みブロックに接続する、請求項６に記載の方法。

【請求項8】

超音波データにラベル付けするシステムであって、
超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、周波数帯域（ＲＦ）波形データを含み、
前記ＣＮＮの複数のダウンサンプリング層のそれぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮへの入力として提供され、
前記ＣＮＮの出力に基づいて前記超音波データ内の組織をセグメント化する、ことを行うようにプログラムされる又は構成されるコンピューティングデバイスを少なくとも１つは有するシステムであって、
前記複数のダウンサンプリング層は、超音波画像符号化ブランチ及び複数のＲＦ符号化ブランチを含み、各ＲＦ符号化ブランチは、前記複数のＲＦ符号化ブランチの他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み、各ＲＦ符号化ブランチの前記それぞれのカーネルサイズは、それぞれの波長に対応し、
各ＲＦ符号化ブランチは、複数の畳み込みブロックを含み、各畳み込みブロックは、第１の畳み込み層、第１のバッチ正規化層、第１の活性化層、第２の畳み込み層、第２のバッチ正規化層、及び第２の活性化層を含み、前記複数の畳み込みブロックの少なくとも１つの畳み込みブロックは、最大プーリング層を含み、
前記ダウンサンプリングすることは、前記ＣＮＮの前記複数のＲＦ符号化ブランチの各ＲＦ符号化ブランチの前記ＲＦ入力をダウンサンプリングすること及び前記ＣＮＮの各超音波画像符号化ブランチの画像入力をダウンサンプリングすることを含み、前記画像入力は、前記超音波の複数のピクセルを含む、
システム。

【請求項9】

画像入力と前記ＲＦ入力は、実質的に同時に処理される、請求項８に記載のシステム。

【請求項10】

前記超音波データ内の組織をセグメント化することは、複数のピクセルにラベル付けすることを含む、請求項８に記載のシステム。

【請求項11】

前記複数のピクセルは、前記超音波の大半のピクセルを含む、請求項１０に記載のシステム。

【請求項12】

前記組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪それぞれ、又はそれらの任意の組合せの少なくとも１つを識別することを含む、請求項８に記載のシステム。

【請求項13】

前記超音波の複数のピクセルは、前記セグメント化において、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つとしてラベル付けされる、請求項１に記載の方法。

【請求項14】

前記超音波データの少なくとも１つの入力超音波画像は、複数のピクセルのファジーなオーバーラップラベルを含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
この出願は、２０１９年６月１２日に出願された米国仮特許出願第６２／８６０，４０３号明細書への優先権を主張し、同特許の開示は、その全体が参照により本明細書に組み込まれる。

【0002】

この開示は、概して、超音波画像処理に関し、非限定的な実施形態又は態様では、超音波データにラベル付けするためのシステム及び方法に関する。

【背景技術】

【0003】

超音波は、医療用画像処理において、ますます人気の高い技法となった。超音波は、例えば、リスクが比較的低く（例えば、潜在的な副作用及び／又は同様のものが比較的少ない）、比較的安価で（例えば、他のタイプの医療用画像処理と比べて）である場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、超音波ピクセル値は、介在組織を通る経路並びに反射性の組織界面の向き及び属性に依存し得るため、超音波（例えば、超音波画像及び／又は同様のもの）は、他の多くの医療用画像の様式より、分析の難易度が高くなり得る。従って、隣接する組織が同様の音響機械属性を有する際は特に、幅広い解剖学知識を有する専門家でさえ、超音波画像における組織界面間に正確な境界線を引くことは困難であることがある。例えば、超音波画像では、浅部皮下組織において、筋膜組織は、脂肪組織と類似して見えることがある。さらに、超音波画像における軟部組織を識別するための所定の方法は、血管系及び前立腺などの特定の対象を識別するアルゴリズムを使用する。そのような方法は、通常、制約のある限られた状況においてのみ正確であり、数種類の組織を確実に区別することはできない。

【課題を解決するための手段】

【0005】

非限定的実施形態又は態様によると、超音波データにラベル付けする方法であって、超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、無線周波数（ＲＦ）波形データを含み、前記ＣＮＮの複数のダウンサンプリング層において、それぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮの出力に基づいて前記超音波で組織をセグメント化する、方法を提供する。

【0006】

非限定的実施形態又は態様において、前記方法は、さらに、前記ＣＮＮの複数のダウンサンプリング層のそれぞれのダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含む。非限定的実施形態又は態様において、前記画像入力と前記ＲＦ入力は、実質的に同時に処理される。非限定的実施形態又は態様において、前記超音波で組織をセグメント化することは、前記複数のピクセルにラベル付けすることを含む。非限定的実施形態又は態様において、前記複数のピクセルは、前記超音波の大半のピクセルを含む。非限定的実施形態又は態様において、前記組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つを識別することを含む。

【0007】

非限定的実施形態又は態様において、前記複数のダウンサンプリング層は、超音波画像
符号化ブランチ及び複数のＲＦ符号化ブランチを含み、各ＲＦ符号化ブランチは、前記複数のＲＦ符号化ブランチの他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み、各ＲＦ符号化ブランチの前記それぞれのカーネルサイズは、それぞれの波長に対応する。追加又は代替として、各ＲＦ符号化ブランチは、複数の畳み込みブロックを含み、各畳み込みブロックは、第１の畳み込み層、第１のバッチ正規化層、第１の活性化層、第２の畳み込み層、第２のバッチ正規化層、及び第２の活性化層を含み、前記複数の畳み込みブロックの少なくとも１つの畳み込みブロックは、最大プーリング層を含む。追加又は代替として、ダウンサンプリングすることは、前記ＣＮＮの前記複数のＲＦ符号化ブランチの各ＲＦ符号化ブランチの前記ＲＦ入力をダウンサンプリングすること及び前記ＣＮＮの各超音波画像符号化ブランチの画像入力をダウンサンプリングすることを含み、前記画像入力は、前記超音波の複数のピクセルを含む。非限定的実施形態又は態様において、前記方法は、さらに、各ＲＦ符号化ブランチのＲＦ符号化ブランチ出力と前記超音波画像符号化ブランチの超音波画像符号化ブランチ出力を連結し、連結符号化ブランチ出力を提供し、前記ＣＮＮの複数のアップサンプリング層で前記連結済みの符号化ブランチ出力をアップサンプリングする。非限定的実施形態又は態様において、前記複数のアップサンプリング層は、復号ブランチを含み、前記復号ブランチは、複数の逆畳み込みブロックを含む。追加又は代替として、前記ＣＮＮは、複数の残差接続をさらに含み、各残差接続は、前記複数の畳み込みブロックのそれぞれの畳み込みブロックを、前記それぞれの畳み込みブロックに対応するサイズを有するそれぞれの逆畳み込みブロックに接続する。

【0008】

非限定的実施形態又は態様によると、超音波データにラベル付けするシステムであって、超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、周波数帯域（ＲＦ）波形データを含み、前記ＣＮＮの複数のダウンサンプリング層のそれぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮの出力に基づいて前記超音波で組織をセグメント化する、ことを行うようにプログラムされる又は構成されるコンピューティングデバイスを少なくとも１つは有するシステムを提供する。

【0009】

非限定的実施形態又は態様において、前記コンピューティングデバイスは、前記ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含む。非限定的実施形態又は態様において、前記画像入力と前記ＲＦ入力は、実質的に同時に処理される。非限定的実施形態又は態様において、前記超音波で組織をセグメント化することは、複数のピクセルにラベル付けすることを含む。非限定的実施形態又は態様において、前記複数のピクセルは、前記超音波の大半のピクセルを含む。非限定的実施形態又は態様において、組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪それぞれ、又はそれらの任意の組合せの少なくとも１つを識別することを含む。

【0010】

非限定的実施形態又は態様において、前記複数のダウンサンプリング層は、超音波画像符号化ブランチ及び複数のＲＦ符号化ブランチを含み、各ＲＦ符号化ブランチは、前記複数のＲＦ符号化ブランチの他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み、各ＲＦ符号化ブランチの前記それぞれのカーネルサイズは、それぞれの波長に対応する。追加又は代替として、各ＲＦ符号化ブランチは、複数の畳み込みブロックを含み、各畳み込みブロックは、第１の畳み込み層、第１のバッチ正規化層、第１の活性化層、第２の畳み込み層、第２のバッチ正規化層、及び第２の活性化層を含み、前記複数の畳み込みブロックの少なくとも１つの畳み込みブロックは、最大プーリング層を含む。追加又は代替として、ダウンサンプリングすることは、前記ＣＮＮの前記複数のＲＦ符号化ブランチの各ＲＦ符号化ブランチの前記ＲＦ入力をダウンサンプリングすること及び前記ＣＮＮの各超音波画像符号化ブランチの画像入力をダウンサンプリングすることを含み、前記画像入力は、前記超音波の複数のピクセルを含む。非限定的実施形態又は態様において、
前記コンピューティングデバイスは、さらに、各ＲＦ符号化ブランチのＲＦ符号化ブランチ出力と前記超音波画像符号化ブランチの超音波画像符号化ブランチ出力を連結し、連結符号化ブランチ出力を提供し、前記ＣＮＮの複数のアップサンプリング層で前記連結済みの符号化ブランチ出力をアップサンプリングする。非限定的実施形態又は態様において、前記複数のアップサンプリング層は、復号ブランチを含み、前記復号ブランチは、複数の逆畳み込みブロックを含む。追加又は代替として、前記ＣＮＮは、複数の残差接続をさらに含み、各残差接続は、前記複数の畳み込みブロックのそれぞれの畳み込みブロックを、前記それぞれの畳み込みブロックに対応するサイズを有するそれぞれの逆畳み込みブロックに接続する。

【0011】

非限定的実施形態又は態様において、超音波データにラベル付けするための方法であって、複数のピクセルによって表される超音波画像を受信し、前記複数のピクセルのうち大半のピクセルにラベル付けすることによって、前記超音波画像をセグメント化する方法を提供する。

【0012】

非限定的実施形態又は態様において、前記大半のピクセルが、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つとしてラベル付けされる。非限定的実施形態又は態様において、前記超音波画像は、畳み込みニューラルネットワーク（ＣＮＮ）に基づいてセグメント化され、超音波データに基づいて前記ＣＮＮを訓練することをさらに含み、前記超音波データの少なくとも１つの入力超音波画像は、複数のピクセルのファジーなオーバーラップラベルを含む。

【0013】

非限定的実施形態又は態様において、超音波データにラベル付けするためのシステムであって、複数のピクセルによって表される超音波画像を受信し、前記複数のピクセルのうち大半のピクセルにラベル付けすることによって、前記超音波画像をセグメント化するシステムを提供する。

【0014】

非限定的実施形態又は態様において、前記大半のピクセルが、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つとしてラベル付けされる。非限定的実施形態又は態様において、前記超音波画像は、畳み込みニューラルネットワーク（ＣＮＮ）に基づいてセグメント化され、超音波データに基づいて前記ＣＮＮを訓練することをさらに含み、前記超音波データの少なくとも１つの入力超音波画像は、複数のピクセルのファジーなオーバーラップラベルを含む。

【0015】

非限定的実施形態又は態様によると、超音波データにラベル付けするための方法であって、超音波データに基づいて人工ニューラルネットワーク（ＡＮＮ）を訓練し、前記超音波データは、超音波波形データを含み、前記ＡＮＮの出力に基づいて超音波における組織をセグメント化するか又はラベル付けする方法を、提供する。

【0016】

非限定的実施形態又は態様において、前記ＡＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）、カプセルネットワーク、確率的ネットワーク、回帰型ネットワーク、ディープネットワークそれぞれ、又はそれらの任意の組合せの少なくとも１つを含む。非限定的実施形態又は態様において、前記超音波波形データは、超音波画像、未加工の周波数帯域（ＲＦ）波形データ、ビーム形成ＲＦ波形データ、ＲＦ波形データから導出された中間表現それぞれ、又はそれらの任意の組合せの少なくとも１つを含む。非限定的実施形態又は態様において、前記超音波波形データは、周波数情報を維持する。非限定的実施形態又は態様において、前記ＡＮＮの複数のダウンサンプリング層の各ダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、前記超音波に対するＲＦ波形データを含むこと、又は、前記ＡＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含む
こと、の少なくとも一方をさらに含む。

【0017】

条項１：超音波データにラベル付けする方法であって、超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、無線周波数（ＲＦ）波形データを含み、前記ＣＮＮの複数のダウンサンプリング層において、それぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮの出力に基づいて前記超音波で組織をセグメント化する、方法。

【0018】

条項２：さらに、前記ＣＮＮの複数のダウンサンプリング層のそれぞれのダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含む、条項１に記載の方法。

【0019】

条項３：前記画像入力と前記ＲＦ入力は、実質的に同時に処理される、条項２に記載の方法。

【0020】

条項４：前記超音波で組織をセグメント化することは、前記複数のピクセルにラベル付けすることを含む、条項１に記載の方法。

【0021】

条項５：前記複数のピクセルは、前記超音波の大半のピクセルを含む、条項４に記載の方法。

【0022】

条項６：前記組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つを識別することを含む、条項１に記載の方法。

【0023】

条項７：前記複数のダウンサンプリング層は、超音波画像符号化ブランチ及び複数のＲＦ符号化ブランチを含み、各ＲＦ符号化ブランチは、前記複数のＲＦ符号化ブランチの他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み、各ＲＦ符号化ブランチの前記それぞれのカーネルサイズは、それぞれの波長に対応し、各ＲＦ符号化ブランチは、複数の畳み込みブロックを含み、各畳み込みブロックは、第１の畳み込み層、第１のバッチ正規化層、第１の活性化層、第２の畳み込み層、第２のバッチ正規化層、及び第２の活性化層を含み、前記複数の畳み込みブロックの少なくとも１つの畳み込みブロックは、最大プーリング層を含み、ダウンサンプリングすることは、前記ＣＮＮの前記複数のＲＦ符号化ブランチの各ＲＦ符号化ブランチの前記ＲＦ入力をダウンサンプリングすること及び前記ＣＮＮの各超音波画像符号化ブランチの画像入力をダウンサンプリングすることを含み、前記画像入力は、前記超音波の複数のピクセルを含む、条項１に記載の方法。

【0024】

条項８：さらに、各ＲＦ符号化ブランチのＲＦ符号化ブランチ出力と前記超音波画像符号化ブランチの超音波画像符号化ブランチ出力を連結し、連結符号化ブランチ出力を提供し、前記ＣＮＮの複数のアップサンプリング層で前記連結済みの符号化ブランチ出力をアップサンプリングする、条項７に記載の方法。

【0025】

条項９：前記複数のアップサンプリング層は、復号ブランチを含み、前記復号ブランチは、複数の逆畳み込みブロックを含み、前記ＣＮＮは、複数の残差接続をさらに含み、各残差接続は、前記複数の畳み込みブロックのそれぞれの畳み込みブロックを、前記それぞれの畳み込みブロックに対応するサイズを有するそれぞれの逆畳み込みブロックに接続する、条項８に記載の方法。

【0026】

条項１０：超音波データにラベル付けするシステムであって、超音波データに基づいて畳み込みニューラルネットワーク（ＣＮＮ）を訓練し、前記超音波データは、周波数帯域
（ＲＦ）波形データを含み、前記ＣＮＮの複数のダウンサンプリング層のそれぞれのダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、超音波に対応するＲＦ波形データを含み、前記ＣＮＮの出力に基づいて前記超音波で組織をセグメント化する、ことを行うようにプログラムされる又は構成されるコンピューティングデバイスを少なくとも１つは有するシステム。

【0027】

条項１１：前記コンピューティングデバイスは、前記ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含む、条項１０に記載のシステム。

【0028】

条項１２：前記画像入力と前記ＲＦ入力は、実質的に同時に処理される、条項１０－１１に記載のシステム。

【0029】

条項１３：前記超音波で組織をセグメント化することは、複数のピクセルにラベル付けすることを含む、条項１０－１２に記載のシステム。

【0030】

条項１４：前記複数のピクセルは、前記超音波の大半のピクセルを含む、条項１０－１３に記載のシステム。

【0031】

条項１５：組織をセグメント化することは、筋肉、筋膜、脂肪、移植脂肪それぞれ、又はそれらの任意の組合せの少なくとも１つを識別することを含む、条項１０－１４に記載のシステム。

【0032】

条項１６：超音波データにラベル付けするための方法であって、複数のピクセルによって表される超音波画像を受信し、前記複数のピクセルの大半のピクセルにラベル付けすることによって、前記超音波画像をセグメント化する方法。

【0033】

条項１７：前記大半のピクセルが、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せの少なくとも１つとしてラベル付けされる、条項１６に記載の方法。

【0034】

条項１８：前記超音波画像は、畳み込みニューラルネットワーク（ＣＮＮ）に基づいてセグメント化され、条項超音波データに基づいて前記ＣＮＮを訓練することをさらに含み、前記超音波データの少なくとも１つの入力超音波画像は、複数のピクセルのファジーなオーバーラップラベルを含む、条項１６－１７に記載の方法。

【0035】

条項１９：超音波データにラベル付けするためのシステムであって、複数のピクセルによって表される超音波画像を受信し、前記複数のピクセルの大半のピクセルにラベル付けすることによって、前記超音波画像をセグメント化するようにプログラムされるか又は構成されるコンピューティングデバイスを少なくとも１つ有するシステム。

【0036】

条項２０：前記大半のピクセルが、筋肉、筋膜、脂肪、移植脂肪、皮膚、腱、靭帯、神経、血管、骨、軟骨、針、手術器具それぞれ、又はそれらの任意の組合せの少なくとも１つとしてラベル付けされる、条項１９に記載のシステム。

【0037】

条項２１：前記超音波画像は、畳み込みニューラルネットワーク（ＣＮＮ）に基づいてセグメント化され、前記コンピューティングデバイスは、さらに、超音波データに基づいて前記ＣＮＮを訓練し、前記超音波データの少なくとも１つの入力超音波画像が、複数のピクセルのファジーなオーバーラップラベルを含む、条項１９－２０に記載のシステム。

【0038】

条項２２：超音波データにラベル付けするための方法であって、超音波データに基づい
て人工ニューラルネットワーク（ＡＮＮ）を訓練し、前記超音波データは、超音波波形データを含み、前記ＡＮＮの出力に基づいて超音波における組織をセグメント化するか又はラベル付けする方法。

【0039】

条項２３：前記ＡＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）、カプセルネットワーク、確率的ネットワーク、回帰型ネットワーク、ディープネットワークそれぞれ、又はそれらの任意の組合せの少なくとも１つを含む、条項２２に記載の方法。

【0040】

条項２４：前記超音波波形データは、超音波画像、未加工の周波数帯域（ＲＦ）波形データ、ビーム形成ＲＦ波形データ、ＲＦ波形データから導出された中間表現それぞれ、又はそれらの任意の組合せの少なくとも１つを含む、条項２２－２３に記載の方法。

【0041】

条項２５：前記超音波波形データは、周波数情報を維持する、条項２２－２４に記載の方法。

【0042】

条項２６：前記ＡＮＮの複数のダウンサンプリング層の各ダウンサンプリング層のＲＦ入力をダウンサンプリングし、前記ＲＦ入力は、前記超音波に対するＲＦ波形データを含むこと、又は、前記ＡＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力をダウンサンプリングし、前記画像入力は、前記超音波の複数のピクセルを含むことの少なくとも一方をさらに含む、条項２２－２５に記載の方法。

【0043】

本開示及び他の特徴及び特性のみならず、関連する構造要素の動作及び機能の方法や、製造の各部品と経済性の組合せは、そのすべてがこの明細書の一部を形成する添付の図面を参照し、以下の説明や添付の請求項を考慮することによって、より明らかになる。添付の図面では、同様の参照番号は、様々な図において、対応する部分を示す。しかし、図面は、単なる例示及び説明を目的とし、本発明の制限を意図するものではないことを明確に理解されたい。

【0044】

さらなる利点や詳細については、添付の図に示される非限定的な実施形態の例示を参照し、以下でさらに詳細に説明する。

【図面の簡単な説明】

【0045】

【図1】非限定的な実施形態又は態様による、超音波データにラベル付けするためのシステムを示す。

【図2】非限定的な実施形態又は態様と関係して使用されるコンピューティングデバイスのコンポーネントの例を示す。

【図3】非限定的な実施形態又は態様による、畳み込みニューラルネットワークの例示的な実装形態を示す。

【図4】非限定的な実施形態又は態様による、畳み込みニューラルネットワークの例示的な実装形態を示す。

【図5】非限定的な実施形態又は態様による、畳み込みニューラルネットワークの例示的な実装形態を示す。

【図6A】非限定的な実施形態又は態様による、実装形態の結果のテストデータを示す。

【図6B】非限定的な実施形態又は態様による、実装形態の結果のテストデータを示す。

【図6C】非限定的な実施形態又は態様による、実装形態の結果のテストデータを示す。

【図7】非限定的な実施形態又は態様による、超音波データにラベル付けするための方法のフロー図である。

【図8】非限定的な実施形態又は態様による、超音波データにラベル付けするための方法のフロー図である。

【発明を実施するための形態】

【0046】

実施形態は、それに反する明示的な示唆がある場合を除いて、様々な代替の変形形態及びステップシーケンスを想定し得ることを理解されたい。また、以下の仕様で説明される特定のデバイス及びプロセスは、単に、本開示の例示的な実施形態又は態様であることも理解されたい。従って、本明細書で開示される実施形態又は態様に関連する特定の寸法及び他の物理的な特性は、制限されるものと見なすべきではない。本明細書で使用されるどの態様、コンポーネント、要素、構造、行為、ステップ、機能、命令及び／又は同様のものは、明示的に説明がない限り、重要又は必須のものと解釈すべきではない。また、本明細書で使用される場合、「ａ」及び「ａｎ」の冠詞は、１つ又は複数のアイテムを含むことを意図し、「１つ又は複数の」及び「少なくとも１つの」と交換可能である。また、本明細書で使用される場合、「有する（「ｈａｓ」、「ｈａｖｅ」、「ｈａｖｉｎｇ」）」という用語又は同様のものは、制約のない用語であることが意図される。さらに、「～に基づいて」という記載は、別段の明示的な記載がない限り、「～に少なくとも部分的に基づいて」を意味することが意図される。

【0047】

本明細書で使用される場合、「コンピューティングデバイス」という用語は、データを処理するように構成された１つ又は複数の電子デバイスを指し得る。コンピューティングデバイスは、いくつかの例では、プロセッサ、ディスプレイ、メモリ、入力デバイス、ネットワークインタフェース及び／又は同様のものなど、データの受信、処理及び出力に必要なコンポーネントを含み得る。コンピューティングデバイスは、モバイルデバイスであり得る。また、コンピューティングデバイスは、デスクトップコンピュータ又は他の形態の非モバイルコンピュータであり得る。非限定的な実施形態又は態様では、コンピューティングデバイスは、Ａｐｐｌｅの「ニューラルエンジン」又はＧｏｏｇｌｅのテンソル処理ユニットなどの特定用途向け集積回路（ＡＳＩＣ）ニューラルエンジンや、ＡＩアクセラレータを含み得る。非限定的な実施形態又は態様では、コンピューティングデバイスは、ニューラルネットワークの各接続部を表す複数の個々の回路で構成され得、その結果、各回路は、ニューラルネットワークの各ノードからの入力を考察するように構成される。そのような構成では、ソフトウェア、プロセッサ又はメモリを必要とすることなく、論理ゲート及び／又はアナログ回路を使用することができる。

【0048】

非限定的な実施形態又は態様は、超音波の超音波波形データ（例えば、高周波（ＲＦ）波形データ、周波数波形データ）を使用して超音波データをセグメント化するためのシステム及び方法を提供する。非限定的な実施形態又は態様では、超音波で見える軟部組織の識別及びラベル付けを自動的に行うために、ディープラーニングコンピュータビジョン方法論が使用される。非限定的な実施形態又は態様は、筋肉、筋膜、脂肪及び移植脂肪の区別を可能にする。非限定的な実施形態又は態様は、がん治療による放射線障害の治療を含めて、形成外科手術（例えば、脂肪の追加又は除去）や、患者の脂肪から幹細胞を得る際に適用することができる。筋肉、脂肪及び移植脂肪は、超音波画像では類似して見えることがあり、自動的な区別の難易度が非常に高くなる。非限定的な実施形態又は態様は、ディープラーニング（例えば、畳み込みニューラルネットワーク（ＣＮＮ））を使用して、浅部皮下組織（例えば、筋肉、筋膜、脂肪、移植脂肪又はそれらの任意の組合せ）の超音波のセグメント化を可能にする。非限定的な実施形態又は態様は、背景ラベルを使用することなく、超音波画像の大半の（例えば、すべての、実質的にすべての及び／又は同様のもの）ピクセルにラベル付けすることによって、超音波のセグメント化を可能にする。非限定的な実施形態又は態様は、ＲＦ波形データと同時に画像ピクセルを扱うために（例えば、超音波のディープラーニング／ＣＮＮセグメンテーションのため）、ＣＮＮの修正を可能にする。非限定的な実施形態又は態様では、ＣＮＮは、ＲＦ畳み込みカーネルを学習
できるように作成される。そのような構成は、画像ピクセルサンプリングと比べて、垂直軸（例えば、「軸方向」又はＲＦ時間軸）と水平軸の両方にわたって、ＲＦ波形の異なるスケールを扱うことを伴い得る。例えば、エンコーダ／デコーダデコーダＣＮＮアーキテクチャは、画像（例えば、超音波画像）ダウンサンプリングブランチ（例えば、列、通路又はチャネルセット）及び少なくとも１つの並列ＲＦダウンサンプリングブランチ（各ＲＦダウンサンプリングブランチに対して異なるカーネルが学習される）や、超音波画像ブランチとＲＦブランチとの間の遅延融合を有する複数列エンコーダの形態を取り得るマルチチャネル畳み込みを有するように、修正することができる。非限定的な実施形態又は態様は、ＣＮＮに組み込むことができる複数の並列ＲＦ符号化ブランチを使用して超音波データをセグメント化するためのシステム及び方法を提供する。従って、非限定的な実施形態又は態様では、ＲＦ波形データは、超音波のセグメント化の精度及び効率を高めるために、超音波画像データと同時に処理すること（例えば、ダウンサンプリングすることなど）ができる。非限定的な実施形態又は態様は、ＲＦ波形データの深部をパディングするための新規の手法を含むデータパディングを提供する。従って、一定のデータアイテム（例えば、撮像深度、寸法及び／又は同様のもの）が異なるサイズである場合であっても、同じＣＮＮを使用して超音波データ（例えば、超音波画像、ＲＦ画像及び／又は同様のもの）を処理することができる。

【0049】

非限定的な実施形態は、超音波デバイスによって超音波データ出力を処理するために使用されるソフトウェアアプリケーションとして実装することができる。他の非限定的な実施形態では、超音波データにラベル付けするためのシステム及び方法は、ハードウェア及び／又はソフトウェアとして超音波デバイスに直接組み込むことができる。

【0050】

ここで図１を参照すると、非限定的な実施形態又は態様による、超音波データにラベル付けするためのシステム１００が示されている。システム１００は、超音波／ＲＦシステム１０２を含み得る。例えば、超音波／ＲＦシステム１０２は、超音波波形データ（例えば、ＲＦ波形データ）を物理的に捕捉するように構成された超音波デバイスを含み得る。非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２は、グレースケール超音波画像を作成するために使用することができるＲＦ波形データと関連付けられる一定のデータ（例えば、ＲＦ波形の振幅エンベロープ及び／又は同様のもの）を維持すること（例えば、格納すること、通信すること及び／又は同様のもの）ができる。例えば、未加工の要素単位のＲＦ波形を組み合わせて、ビーム形成ＲＦ波形にすることができ、ビーム形成ＲＦ波形のエンベロープは、グレースケール超音波画像の基盤を形成することができる（例えば、スクリーン及び／又は同様のものに表示するため）。それに加えて又はその代替として、超音波／ＲＦシステム１０２によって、周波数成分を使用して、ドップラーシフトを演算して速度を測定することができる（例えば、速度は色で表示することができる）。限定的な実施形態又は態様では、オリジナルのＲＦ波形データは、一定のデータ（例えば、エンベロープ、ドップラーシフト及び／又は同様のもの）が演算された（例えば、導出された、決定された及び／又は同様のもの）後に処分することができる。それに加えて又はその代替として、超音波／ＲＦシステム１０２は、追加の分析のためにＲＦ波形データを維持すること（例えば、ＲＦ波形データを保存すること、分析すること及び／又は同様のもの）ができる。非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２は、ＲＦ波形データ（例えば、ビーム形成ＲＦ波形データ、要素単位のＲＦ波形データ、ＲＦ波形の他の任意の適切な表現（例えば、周波数成分を維持するもの）、それらの任意の組合せ及び／又は同様のもの）を捕捉して維持する超音波デバイスを含み得る。それに加えて又はその代替として、ＲＦ波形データは、オンライン分析のためにリアルタイムで使用すること、後の分析のために保存すること、それらの任意の組合せ及び／又は同様のものが可能である。非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２は、結晶線形アレイスキャナ及び／又は同様のものなど、ポータブル超音波マシンを含み得る。例えば、超音波／ＲＦシステム１０２は、Ｃｌａｒｉｕｓ Ｌ７ポータブル超音波マシン
を含み得る。非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２は、少なくとも１人の患者から、少なくとも１つの超音波画像１０４ａ（例えば、グレースケール画像及び／又は同様のもの）、ＲＦ波形データ１０４ｂ（例えば、１０４ａに対応し得る少なくとも１つのＲＦ画像、ＲＦ波形セット及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを得るために使用することができる。例えば、臨床医は、超音波／ＲＦシステム１０２を使用してそのような画像を得ることができる。それに加えて又はその代替として、超音波／ＲＦシステム１０２は、超音波データ１０４を出力すること（例えば、通信すること及び／又は同様のもの）ができ、超音波データ１０４は、少なくとも１つの超音波画像１０４ａ、ＲＦ波形データ１０４ｂ、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２は、コンピューティングデバイス１０６、データベース１０８及び／又は同様のものからの情報の受信、並びに／或いは、コンピューティングデバイス１０６、データベース１０８及び／又は同様のものへの情報の通信が可能な１つ又は複数のデバイスを含み得る。

【0051】

コンピューティングデバイス１０６は、超音波システム／ＲＦシステム１０２、データベース１０８及び／又は同様のものからの情報の受信、並びに／或いは、超音波システム／ＲＦシステム１０２、データベース１０８及び／又は同様のものへの情報の通信が可能な１つ又は複数のデバイスを含み得る。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、少なくとも１つの畳み込みニューラルネットワーク（例えば、Ｗ－Ｎｅｔ、Ｕ－Ｎｅｔ、ＡＵ－Ｎｅｔ、ＳｅｇＮｅｔ、それらの任意の組合せ及び／又は同様のもの）を実装することができる。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、超音波／ＲＦシステム１０２から超音波データ１０４（例えば、超音波画像１０４ａ、ＲＦ波形データ１０４ｂ、それらの任意の組合せ及び／又は同様のもの）を受信することができる。それに加えて又はその代替として、コンピューティングデバイス１０６は、データベース１０８から超音波データ１０４（例えば、本明細書で説明されるように、少なくとも１つの超音波画像１０４ａ、ＲＦ波形データ１０４ｂ、少なくとも１つのラベル付けされた超音波画像１０４ｃ、それらの任意の組合せ及び／又は同様のものを含み得る過去の超音波データ）を受信すること（例えば、回収すること及び／又は同様のもの）ができる。

【0052】

非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、超音波データ１０４に基づいてＣＮＮを訓練することができる。それに加えて又はその代替として、コンピューティングデバイス１０６は、本明細書で説明されるように、コンピューティングデバイス１０６によって実装されるＣＮＮを用いて、超音波データ１０４（例えば、ＲＦ波形データ１０４ｂ、超音波画像１０４ａ、それらの任意の組合せ及び／又は同様のもの）をダウンサンプリングすることができる。例えば、コンピューティングデバイス１０６は、本明細書で説明されるように、ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層のＲＦ入力（例えば、超音波に対するＲＦ波形データ１０４ｂ及び／又は同様のもの）をダウンサンプリングすることができる。それに加えて又はその代替として、コンピューティングデバイス１０６は、本明細書で説明されるように、ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力（例えば、超音波の複数のピクセルを含む少なくとも１つの超音波画像１０４ａ）をダウンサンプリングすることができる。非限定的な実施形態又は態様では、画像入力（例えば、超音波画像１０４ａ及び／又は同様のもの）とＲＦ入力（例えば、ＲＦ波形データ１０４ｂ）は、本明細書で説明されるように、実質的に同時に処理することができる（例えば、ＣＮＮの並列ブランチを介して、ＣＮＮへの入力画像の別個のチャネルとして、それらの任意の組合せ及び／又は同様のもの）。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、ＣＮＮの出力に基づいて超音波における組織をセグメント化することができる。例えば、超音波における組織をセグメ
ント化することは、本明細書で説明されるように、超音波における複数のピクセル（例えば、大半のピクセル、すべてのピクセル及び／又は同様のものの）にラベル付けすることを含み得る。それに加えて又はその代替として、組織をセグメント化すること（例えば、ピクセルにラベル付けすること及び／又は同様のもの）は、本明細書で説明されるように、筋肉、筋膜、脂肪、移植脂肪、皮膚、腱、靭帯、神経、血管、骨、軟骨、針、手術器具、それらの任意の組合せ及び／又は同様のものの少なくとも１つを識別することを含み得る。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、セグメント化された超音波データ１１０（例えば、セグメント化された超音波画像及び／又は同様のもの）を出力することができる。

【0053】

非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、超音波／ＲＦシステム１０２から分離することができる。それに加えて又はその代替として、コンピューティングデバイス１０６は、超音波／ＲＦシステム１０２に組み込むことができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0054】

データベース１０８は、超音波／ＲＦシステム１０２、コンピューティングデバイス１０６及び／又は同様のものからの情報の受信、並びに／或いは、超音波／ＲＦシステム１０２、コンピューティングデバイス１０６及び／又は同様のものへの情報の通信が可能な１つ又は複数のデバイスを含み得る。非限定的な実施形態又は態様では、データベース１０８は、以前の超音波／ＲＦスキャン（例えば、超音波／ＲＦシステム１０２、他の超音波及び／又はＲＦシステム並びに／或いは同様のものによる）からの超音波データ１０４（例えば、過去の超音波データ）を格納することができる。例えば、超音波データ１０４（過去のもの）は、本明細書で説明されるように、少なくとも１つの超音波画像１０４ａ、ＲＦ波形データ１０４ｂ、少なくとも１つのラベル付けされた超音波画像１０４ｃ、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、臨床医は、ラベル付けされた超音波画像１０４ｃ用のラベルを提供することができる。それに加えて又はその代替として、そのようなラベル付けされた超音波画像１０４ｃは、本明細書で説明されるように、ＣＮＮの訓練及び／又はテスト（例えば、ＣＮＮの出力に基づいてセグメント化された組織が臨床医によって提供されたラベルにどれほど正確に対応するかを決定するため及び／又は同様のもの）を行うために使用することができる。

【0055】

非限定的な実施形態又は態様では、データベース１０８は、コンピューティングデバイス１０６から分離することができる。それに加えて又はその代替として、データベースは、コンピューティングデバイス１０６によって実装することができる（例えば、完全に、部分的に、など）。

【0056】

非限定的な実施形態又は態様では、超音波／ＲＦシステム１０２、コンピューティングデバイス１０６及びデータベース１０８は、単一のデバイス、単一のシステム及び／又は同様のものによって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0057】

ここで図２を参照すると、本明細書で説明される非限定的な実施形態によるシステム及び方法を実施及び実行するための、コンピューティングデバイス９００のコンポーネントの例の図が示されている。非限定的な実施形態又は態様では、デバイス９００は、図２に示されるものと比べて、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント又は異なる方法で配列されたコンポーネントを含み得る。デバイス９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージコンポーネント９０８、入力コンポーネント９１０、出力コンポーネント９１２及び通信インタフェース９１４を含み得る。バス９０２は、デバイス９００のコンポーネント間の通信を可能にするコンポーネントを含み得る。非限定的な実施形態又は態様では、プロセッサ９０４は、ハードウェア
、ファームウェア又はハードウェアとソフトウェアの組合せにおいて実装することができる。例えば、プロセッサ９０４は、プロセッサ（例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）など）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、及び／又は、機能を実行するようにプログラムすることができる任意の処理コンポーネント（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）を含み得る。メモリ９０６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、並びに／或いは、プロセッサ９０４による使用のために情報及び／又は命令を格納する別のタイプのダイナミック又はスタティック記憶装置（例えば、フラッシュメモリ、磁気メモリ、光メモリなど）を含み得る。

【0058】

続けて図２を参照すると、ストレージコンポーネント９０８は、デバイス９００の動作及び使用に関連する情報及び／又はソフトウェアを格納することができる。例えば、ストレージコンポーネント９０８は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、ソリッドステートディスクなど）及び／又は別のタイプのコンピュータ可読媒体を含み得る。入力コンポーネント９１０は、ユーザ入力を介してなど、デバイス９００が情報を受信できるようにするためのコンポーネント（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、マイクロフォンなど）を含み得る。それに加えて又はその代替として、入力コンポーネント９１０は、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、アクチュエータなど）を含み得る。出力コンポーネント９１２は、デバイス９００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、１つ又は複数の発光ダイオード（ＬＥＤ）など）を含み得る。通信インタフェース９１４は、有線接続、無線接続又は有線接続と無線接続の組合せを介してなど、デバイス９００が他のデバイスと通信できるようにするためのトランシーバのようなコンポーネント（例えば、トランシーバ、別個の受信機及び送信機など）を含み得る。通信インタフェース９１４は、デバイス９００が別のデバイスからの情報の受信及び／又は別のデバイスへの情報の提供を行えるようにすることができる。例えば、通信インタフェース９１４は、イーサネットインタフェース、光学インタフェース、同軸インタフェース、赤外線インタフェース、高周波（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉ（登録商標）インタフェース、セルラネットワークインタフェース及び／又は同様のものを含み得る。

【0059】

デバイス９００は、本明細書で説明される１つ又は複数のプロセスを実行することができる。デバイス９００は、プロセッサ９０４がメモリ９０６及び／又はストレージコンポーネント９０８などのコンピュータ可読媒体によって格納されたソフトウェア命令を実行することに基づいて、これらのプロセスを実行することができる。コンピュータ可読媒体は、いかなる非一時的なメモリデバイスも含み得る。メモリデバイスは、単一の物理的な記憶装置の中に位置するメモリスペース又は複数の物理的な記憶装置にわたって広がるメモリスペースを含む。ソフトウェア命令は、別のコンピュータ可読媒体から又は通信インタフェース９１４を介して別のデバイスからメモリ９０６及び／又はストレージコンポーネント９０８に読み込ませることができる。実行されると、メモリ９０６及び／又はストレージコンポーネント９０８に格納されたソフトウェア命令は、本明細書で説明される１つ又は複数のプロセスをプロセッサ９０４に実行させることができる。それに加えて又はその代替として、本明細書で説明される１つ又は複数のプロセスを実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、配線回路を使用することができる。従って、本明細書で説明される実施形態は、ハードウェア回路とソフトウェアの特定の組合せに限定されない。「プログラムされる又は構成される」という用語は、本明細書で使用される場合、１つ又は複数のデバイス上のソフトウェア、ハードウェア回路又はそれらの任意の組合せの構成を指す。

【0060】

ここで図３を参照すると、非限定的な実施形態又は態様による、例示的なＣＮＮ ３００（例えば、Ｗ－Ｎｅｔ ＣＮＮアーキテクチャ）が示されている。例えば、ＣＮＮ ３００は、コンピューティングデバイス１０６によって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。それに加えて又はその代替として、ＣＮＮ ３００は、少なくとも１つの他のコンピューティングデバイスによって実装すること（例えば、完全に、部分的に及び／又は同様のもの）、並びに／或いは、コンピューティングデバイス１０６から分離した又はコンピューティングデバイス１０６を含む回路（例えば、デジタル及び／又はアナログ）において直接実装することができる。

【0061】

図３に示されるように、ＣＮＮ ３００は、ダウンサンプリング層（例えば、超音波画像符号化ブランチ３３０、ＲＦ符号化ブランチ３４０（例えば、第１のＲＦ符号化ブランチ３４１、第２のＲＦ符号化ブランチ３４２、第３のＲＦ符号化ブランチ３４３、第４のＲＦ符号化ブランチ３４４）及び／又は同様のもの）、ボトルネックセクション３５０、アップサンプリング層（例えば、復号ブランチ３６０及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。

【0062】

続けて図３を参照すると、超音波画像符号化ブランチ３３０は、画像入力（例えば、超音波画像３０４ａ及び／又は同様のもの）をダウンサンプリングすることができる。例えば、超音波画像３０４ａは、超音波のグレースケール画像の複数のピクセルを含み得る。それに加えて又はその代替として、超音波画像３０４ａは、着色すること、カラードップラーオーバーレイを含むこと、それらの任意の組合せ及び／又は同様のものが可能である。非限定的な実施形態又は態様では、超音波画像符号化ブランチ３３０は、複数の畳み込みブロック（例えば、第１の畳み込みブロック３３０ａ、第２の畳み込みブロック３３０ｂ、第３の畳み込みブロック３３０ｃ及び／又は第４の畳み込みブロック３３０ｄ）を含み得る。各畳み込みブロック（例えば、３３０ａ、３３０ｂ、３３０ｃ及び／又は３３０ｄ）は、少なくとも１つの畳み込み層セット３２０を含み得る。例えば、各畳み込みブロック（例えば、３３０ａ、３３０ｂ、３３０ｃ及び／又は３３０ｄ）は、２つの畳み込み層セット３２０を含み得る。非限定的な実施形態又は態様では、各畳み込み層セット３２０は、畳み込み層、バッチ正規化層、活性化層、それらの任意の組合せ及び／又は同様のものを含み得る。それに加えて又はその代替として、各畳み込みブロック（例えば、３３０ａ、３３０ｂ、３３０ｃ及び／又は３３０ｄ）は、最大プール層３２２を含み得る。非限定的な実施形態又は態様では、第１の畳み込みブロック３３０ａの各畳み込み層セット３２０は、１６個の特徴マップを有し得る。それに加えて又はその代替として、第１の畳み込みブロック３３０ａの各畳み込み層セット３２０の寸法は、入力画像の寸法（例えば、７８４×１９２及び／又は同様のものの寸法を有し得る超音波画像３０４ａ）並びに／或いは特徴マップの数（例えば、１６個）に基づき得る。例えば、第１の畳み込みブロック３３０ａの各畳み込み層セット３２０の寸法は、７８４×１９２×１６であり得る。非限定的な実施形態又は態様では、第２の畳み込みブロック３３０ｂの各畳み込み層セット３２０が、第１の畳み込みブロック３３０ａのものより多く（例えば、２倍）の特徴マップ（例えば、３２個の特徴マップ）を有すること、及び／又は、第２の畳み込みブロック３３０ｂの他の寸法が、第１の畳み込みブロック３３０ａのものより小さいことが可能である。例えば、第２の畳み込みブロック３３０ｂの各畳み込み層セット３２０の寸法は、３９２×９６×３２であり得る。それに加えて又はその代替として、第３の畳み込みブロック３３０ｃの各畳み込み層セット３２０が、第２の畳み込みブロック３３０ｂのものより多く（例えば、２倍）の特徴マップ（例えば、６４個の特徴マップ）を有すること、及び／又は、第３の畳み込みブロック３３０ｃの他の寸法が、第２の畳み込みブロック３３０ｂのものより小さいことが可能である。例えば、第３の畳み込みブロック３３０ｃの各畳み込み層セット３２０の寸法は、１９６×４８×６４であり得る。それに加えて又はその代替として、第４の畳み込みブロック３３０ｄの各畳み込み層セット３２０が、第３の
畳み込みブロック３３０ｃのものより多く（例えば、２倍）の特徴マップ（例えば、１２８個の特徴マップ）を有すること、及び／又は、第４の畳み込みブロック３３０ｄの他の寸法が、第３の畳み込みブロック３３０ｃのものより小さいことが可能である。例えば、第４の畳み込みブロック３３０ｄの各畳み込み層セット３２０の寸法は、９８×２４×１２８であり得る。非限定的な実施形態又は態様では、超音波画像符号化ブランチ３３０の各畳み込み層セット３２０の活性化層は、正規化線形ユニット（ＲｅＬＵ）層を含み得る。

【0063】

非限定的な実施形態又は態様では、超音波データ（例えば、超音波画像３０４ａ、ＲＦ波形データ３０４ｂ、ラベル付けされた超音波画像及び／又は同様のもの）の少なくともいくつかのアイテムは、他とは異なる寸法を有し得る。例えば、超音波データの少なくともいくつかのアイテムは、５９２×１９２の寸法を有し得る。非限定的な実施形態又は態様では、ＣＮＮ ３００のアーキテクチャは、固定サイズ入力に限定され得、固定サイズ入力とは異なる寸法（例えば、少なくとも１つの寸法においてより小さいもの）を有する超音波データのアイテムは、入力サイズが一致するようにゼロパディングすることができる（例えば、その下部において）。それに加えて又はその代替として、ＲＦ波形データ（例えば、ＲＦ画像）をパディングする際に位相アーチファクトの導入を低減する（例えば、最小化する及び／又は同様のもの）ため、固定サイズ入力とは異なる寸法（例えば、少なくとも１つの寸法においてより小さいもの）を有するＲＦ画像は、波形の不連続性を回避してパディング値を埋めるために、各Ａスキャン／波形の最後の（例えば、最深の）ゼロ交差でミラーリングすること及び／又は反映することができる。非限定的な実施形態又は態様では、誤差メトリクス（例えば、訓練及び／又はテストのため）は、セグメンテーションタスクにおける特殊背景としてパディング済みの領域を処置すること及び／又は損失関数からパディング済みの領域を除外すること（例えば、ＣＮＮ ３００の訓練中）ができる。

【0064】

非限定的な実施形態又は態様では、第１の畳み込みブロック３３０ａの出力は、第２の畳み込みブロック３３０ｂへの入力として提供することができる。それに加えて又はその代替として、第２の畳み込みブロック３３０ｂの出力は、第３の畳み込みブロック３３０ｃへの入力として提供することができる。それに加えて又はその代替として、第３の畳み込みブロック３３０ｃの出力は、第４の畳み込みブロック３３０ｄへの入力として提供することができる。それに加えて又はその代替として、第４の畳み込みブロック３３０ｄの出力は、ボトルネックセクション３５０への入力として提供することができる。

【0065】

図３では、ＲＦ符号化ブランチ３４０は、複数のＲＦ符号化ブランチ（例えば、第１のＲＦ符号化ブランチ３４１、第２のＲＦ符号化ブランチ３４２、第３のＲＦ符号化ブランチ３４３及び／又は第４のＲＦ符号化ブランチ３４４）を含み得る。それに加えて又はその代替として、各ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）は、ＲＦ入力（例えば、ＲＦ波形データ３０４ｂ及び／又は同様のもの）をダウンサンプリングすることができる。非限定的な実施形態又は態様では、各ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）は、他のＲＦ符号化ブランチとは異なるそれぞれのカーネルサイズを含み得る。それに加えて又はその代替として、カーネルの少なくともいくつかは、単一の又は小さなセットの隣接する波形に沿って波形値の範囲を分析するために成形すること及び／又は方向付けることができる。例えば、リニアプローブの垂直Ａスキャン波形では、縦長の細い長方形のカーネルを使用することができる。例えば、第１のＲＦ符号化ブランチ３４１のカーネルサイズは、５１×９であり得、第２の符号化ブランチ３４２のカーネルサイズは、２１×５であり得、第３の符号化ブランチ３４３のカーネルサイズは、１１×３であり得、第４の符号化ブランチ３４４のカーネルサイズは、７×３であり得る。

【0066】

非限定的な実施形態又は態様では、各ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）のそれぞれのカーネルサイズは、それぞれの波長（例えば、ＲＦスペクトル及び／又は同様のものの）に対応し得る。例えば、異なるカーネルサイズを理由に、ＲＦ符号化ブランチ３４０は、ＲＦ波形分析を各ブランチの波長サポートに相当する異なる周波数帯域のビンに分類することができ、それにより、セグメンテーション（例えば、分類及び／又は同様のもの）を支援することができる。非限定的な実施形態又は態様では、ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）の少なくともいくつかの畳み込みブロックの重みは、例えば、ＲＦ入力を様々な周波数帯域のビンにより良く分類するために適切なガボールカーネルを学習するようにＣＮＮ ３００に促すために、局部周波数分析カーネル（例えば、ウェーブレット、垂直方向に並べられたガボールカーネル及び／又は同様のもの）で初期化することができる。例えば、初期のガボールフィルタは、σ_ｘ∈［３，５，１０，２５］及びσ_ｙ∈［１，２，４］の分散を有する［０．１，０．８５］の範囲の空間周波数を含み得、そのようなガボールフィルタは、３～８ＭＨｚの周波数分離（例えば、ポータブルポイントオブケア超音波（ＰＯＣＵＳ）の場合、標準的な臨床診療の範囲内であり得る）を有し得る。非限定的な実施形態又は態様では、各ＲＦ符号化ブランチの第１の２つの畳み込みブロックは、本明細書で説明されるように、例えば、７×３、１１×３、２１×５、５１×９のサイズ（１つのブランチあたり１つずつ）など、特定のサイズのガボールフィルタを保持するように設計されたカーネルを含み得る。例えば、１１×３のガボールフィルタは、２１×５のサイズの畳み込みカーネルに埋め込むことができる（例えば、１つの代わりに２つの標準偏差になる）。非限定的な実施形態又は態様では、カーネルサイズ（例えば、前述のカーネルサイズ）は、復号ブランチ３６０への接続３８０（例えば、残差接続、スキップ接続及び／又は同様のもの）が可能になる（例えば、超音波画像符号化ブランチ３３０の出力サイズが一致する）ように選ぶことができる。非限定的な実施形態又は態様では、１１×３、２１×５、５１×９のカーネルを有するＲＦ符号化ブランチは、本明細書で説明されるように、そのそれぞれの第４、第４及び第３の畳み込みブロックの最大プーリング（例えば、ダウンサンプリング）層３２２を有さない場合がある。例えば、最大プーリング（例えば、ダウンサンプリング）層３２２のこの省略は、入力画像境界ピクセルの欠損を補償することができる。

【0067】

非限定的な実施形態又は態様では、各ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）は、複数の畳み込みブロック（例えば、第１の畳み込みブロック（例えば、３４１ａ、３４２ａ、３４３ａ及び／又は３４４ａ）、第２の畳み込みブロック（例えば、３４１ｂ、３４２ｂ、３４３ｂ及び／又は３４４ｂ）、第３の畳み込みブロック（例えば、３４１ｃ、３４２ｃ、３４３ｃ及び／又は３４４ｃ）並びに／或いは第４の畳み込みブロック（例えば、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ））を含み得る。各畳み込みブロックは、本明細書で説明されるように、少なくとも１つの畳み込み層セット３２０（例えば、２つの畳み込み層セット３２０）を含み得、各畳み込み層セット３２０は、本明細書で説明されるように、畳み込み層、バッチ正規化層、活性化層、それらの任意の組合せ及び／又は同様のものを含み得る。それに加えて又はその代替として、少なくともいくつかの畳み込みブロック（例えば、各畳み込みブロック、畳み込みブロックのサブセット及び／又は同様のもの）は、本明細書で説明されるように、最大プール層３２２を含み得る。例えば、第１のＲＦ符号化ブランチ３４１の第３の畳み込みブロック３４１ｃ、第２のＲＦ符号化ブランチ３４２の第４の畳み込みブロック３４２ｄ及び／又は第３のＲＦ符号化ブランチ３４３の第４の畳み込みブロック３４３ｄが、最大プール層３２２を含まないこと、並びに／或いは、各ＲＦ符号化ブランチ（例えば、３４１、３４２、３４３及び／又は３４４）の他の畳み込みブロックの各々が、最大プール層３２２を含むことが可能である。非限定的な実施形態又は態様では、本明細書で説明されるように、第１の畳み込みブロック（例えば、３４１ａ、３４２ａ、３４３ａ及び／又は３４４ａ）の各畳み込み層セット３２０が、１６個の特徴マップを有すること、並びに／
或いは、第１の畳み込みブロック（例えば、３４１ａ、３４２ａ、３４３ａ及び／又は３４４ａ）の各畳み込み層セット３２０の寸法が、７８４×１９２×１６であることが可能である。それに加えて又はその代替として、第２の畳み込みブロック（例えば、３４１ｂ、３４２ｂ、３４３ｂ及び／又は３４４ｂ）の各畳み込み層セット３２０の寸法は、本明細書で説明されるように、３９２×９６×３２であり得る。それに加えて又はその代替として、第３の畳み込みブロック（例えば、３４１ｃ、３４２ｃ、３４３ｃ及び／又は３４４ｃ）の各畳み込み層セット３２０の寸法は、本明細書で説明されるように、１９６×４８×６４であり得る。それに加えて又はその代替として、第４の畳み込みブロック（例えば、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ）の各畳み込み層セット３２０の寸法は、本明細書で説明されるように、９８×２４×１２８であり得る。非限定的な実施形態又は態様では、ＲＦ符号化ブランチ３４０の各畳み込み層セット３２０の活性化層は、ＲｅＬＵ層を含み得る。

【0068】

非限定的な実施形態又は態様では、それぞれの第１の畳み込みブロック（例えば、３４１ａ、３４２ａ、３４３ａ及び／又は３４４ａ）の各々の出力は、それぞれの第２の畳み込みブロック（例えば、３４１ｂ、３４２ｂ、３４３ｂ及び／又は３４４ｂ）の各々への入力として提供することができる。それに加えて又はその代替として、それぞれの第２の畳み込みブロック（例えば、３４１ｂ、３４２ｂ、３４３ｂ及び／又は３４４ｂ）の各々の出力は、それぞれの第３の畳み込みブロック（例えば、３４１ｃ、３４２ｃ、３４３ｃ及び／又は３４４ｃ）の各々への入力として提供することができる。それに加えて又はその代替として、それぞれの第３の畳み込みブロック（例えば、３４１ｃ、３４２ｃ、３４３ｃ及び／又は３４４ｃ）の各々の出力は、それぞれの第４の畳み込みブロック（例えば、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ）の各々への入力として提供することができる。それに加えて又はその代替として、それぞれの第４の畳み込みブロック（例えば、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ）の各々の出力は、ボトルネックセクション３５０への入力として提供することができる。

【0069】

図３に示されるように、ボトルネックセクション３５０は、本明細書で説明されるように、少なくとも１つの畳み込み層セット３５２（例えば、２つの畳み込み層セット３５２）を含み得る。例えば、各畳み込み層セット３５２は、本明細書で説明されるように、畳み込み層、バッチ正規化層、活性化層、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、各畳み込み層セット３５２の活性化層は、ＲｅＬＵ層を含み得る。非限定的な実施形態又は態様では、各畳み込み層セット３５２が、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０の第４の畳み込みブロック（例えば、３３０ｄ、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ）のものより多く（例えば、２倍）の特徴マップ（例えば、７６８個の特徴マップ）を有すること、並びに／或いは、各畳み込み層セット３５２の他の寸法が、第４の畳み込みブロックのものより小さいことが可能である。例えば、各畳み込み層セット３５２の寸法は、４９×１２×７６８であり得る。

【0070】

非限定的な実施形態又は態様では、超音波画像符号化ブランチ３３０の第４の畳み込みブロック３３０ｄの出力及びＲＦ符号化ブランチ３４０のそれぞれの第４の畳み込みブロック（例えば、３４１ｄ、３４２ｄ、３４３ｄ及び／又は３４４ｄ）の各々の出力は、ボトルネックセクション３５０への入力として提供することができる。それに加えて又はその代替として、符号化ブランチからのそのような出力は、ボトルネックセクション３５０への入力として提供する前に、組み合わせること（例えば、連結すること、集約すること及び／又は同様のもの）ができる。

【0071】

非限定的な実施形態又は態様では、ボトルネックセクション３５０の出力は、復号ブランチ３６０への入力として提供することができる。

【0072】

続けて図３を参照すると、復号ブランチ３６０は、そこへの入力（例えば、ボトルネックセクション３５０からの出力及び／又は同様のもの）をアップサンプリングすることができる。非限定的な実施形態又は態様では、復号ブランチ３６０は、複数の逆畳み込みブロック（例えば、第１の逆畳み込みブロック３６０ａ、第２の逆畳み込みブロック３６０ｂ、第３の逆畳み込みブロック３６０ｃ及び／又は第４の逆畳み込みブロック３６０ｄ）を含み得る。各逆畳み込みブロック（例えば、３６０ａ、３６０ｂ、３６０ｃ及び／又は３６０ｄ）は、少なくとも１つの逆畳み込み層３６２（例えば、転置畳み込み層及び／又は同様のもの）並びに／或いは少なくとも１つの畳み込み層セット３６４を含み得る。例えば、各逆畳み込みブロック（例えば、３６０ａ、３６０ｂ、３６０ｃ及び／又は３６０ｄ）は、２つの逆畳み込み層３６２及び／又は２つの畳み込み層セット３６４を含み得る（例えば、順に、第１の逆畳み込み層３６２、第１の畳み込み層セット３６４、第２の逆畳み込み層３６２及び第２の畳み込み層セット３６４）。非限定的な実施形態又は態様では、各畳み込み層セット３６４は、畳み込み層、バッチ正規化層、活性化層、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、第１の逆畳み込みブロック３６０ａの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４は、２５６個の特徴マップを有し得る。それに加えて又はその代替として、第１の逆畳み込みブロック３６０ａの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４の寸法は、そこへの入力（例えば、ボトルネックセクション３５０の出力及び／又は同様のもの）の寸法、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０の第４の畳み込みブロックの寸法、並びに／或いは、特徴マップの数（例えば、２５６個）に基づき得る。例えば、第１の逆畳み込みブロック３６０ａの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４の寸法は、９８×２４×１６であり得る。非限定的な実施形態又は態様では、第２の逆畳み込みブロック３６０ｂの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４が、第１の逆畳み込みブロック３６０ａのものより少ない（例えば、半分）特徴マップ（例えば、１２８個の特徴マップ）を有すること、並びに／或いは、第２の逆畳み込みブロック３６０ｂの他の寸法が、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０の第３の畳み込みブロックの寸法に基づくことが可能である。例えば、第２の逆畳み込みブロック３６０ｂの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４の寸法は、１９６×４８×１２８であり得る。それに加えて又はその代替として、第３の逆畳み込みブロック３６０ｃの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４が、第２の逆畳み込みブロック３６０ｂのものより少ない（例えば、半分）特徴マップ（例えば、６４個の特徴マップ）を有すること、並びに／或いは、第３の逆畳み込みブロック３６０ｃの他の寸法が、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０の第２の畳み込みブロックの寸法に基づくことが可能である。例えば、第３の逆畳み込みブロック３６０ｃの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４の寸法は３９２×９６×６４であり得る。それに加えて又はその代替として、第４の逆畳み込みブロック３６０ｄの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４が、第３の逆畳み込みブロック３６０ｃのものより少ない（例えば、半分）特徴マップ（例えば、３２個の特徴マップ）を有すること、並びに／或いは、第４の逆畳み込みブロック３６０ｄの他の寸法が、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０の第１の畳み込みブロックの寸法に基づくことが可能である。例えば、第４の逆畳み込みブロック３６０ｄの各逆畳み込み層３６２及び／又は各畳み込み層セット３６４の寸法は、７８４×１９２×３２であり得る。非限定的な実施形態又は態様では、復号ブランチ３６０の各畳み込み層セット３６４の活性化層は、ＲｅＬＵ層を含み得る。

【0073】

非限定的な実施形態又は態様では、第１の逆畳み込みブロック３６０ａの出力は、第２の逆畳み込みブロック３６０ｂへの入力として提供することができる。それに加えて又はその代替として、第２の逆畳み込みブロック３６０ｂの出力は、第３の逆畳み込みブロッ
ク３６０ｃへの入力として提供することができる。それに加えて又はその代替として、第３の逆畳み込みブロック３６０ｃの出力は、第４の逆畳み込みブロック３６０ｄへの入力として提供することができる。それに加えて又はその代替として、第４の逆畳み込みブロック３６０ｄの出力は、出力層セット３７０への入力として提供することができる。

【0074】

非限定的な実施形態又は態様では、出力層セット３７０は、少なくとも１つの畳み込み層及び／又は少なくとも１つの活性化層を含み得る。非限定的な実施形態又は態様では、出力層セット３７０の活性化層は、ソフトマックス層を含み得る。非限定的な実施形態又は態様では、出力層セット３７０の寸法は、復号ブランチ３６０の第４の逆畳み込みブロック３６０ｄの寸法並びに／或いは入力超音波データ（例えば、超音波画像３０４ａ及び／又はＲＦ波形データ３０４ｂ）の寸法に基づき得る。例えば、出力層セット３７０の寸法は、７８４×１９２であり得る。非限定的な実施形態又は態様では、出力層セット３７０の活性化層は、分類層を含み得る。例えば、活性化層（例えば、分類層）は、セマンティックセグメンテーション（例えば、ラベルマップ及び／又は同様のもの）を提供するために、分類インデックス（例えば、整数クラスラベル及び／又は同様のもの）を超音波の各ピクセルに割り当てることができる。非限定的な実施形態又は態様では、クラスラベルは、セット｛１，２，３，４，５｝から選択することができ、以下の整数は、以下の組織タイプに相当し得、すなわち、（１）皮膚（例えば、表皮／真皮］、（２）脂肪、（３）脂肪筋膜／基質、（４）筋肉、（５）筋筋膜である。

【0075】

非限定的な実施形態又は態様では、ＣＮＮ ３００は、複数の接続３８０（例えば、スキップ接続、残差接続、フィードフォワード接続及び／又は同様のもの）を含み得る。例えば、各接続３８０は、符号化ブランチ（例えば、超音波画像符号化ブランチ３３０及び／又はＲＦ符号化ブランチ３４０）のそれぞれの畳み込みブロック（例えば、その出力）を復号ブランチ３６０の複数の逆畳み込みブロックのそれぞれの逆畳み込みブロック（例えば、その入力）に接続することができ、それぞれの逆畳み込みブロックは、それぞれの畳み込みブロックの寸法に対応する寸法を有し得る。非限定的な実施形態又は態様では、そのような残差接続３８０からの符号化済みの特徴データ（例えば、それぞれの畳み込みブロックの出力）は、それぞれの逆畳み込みブロックにおける入力と連結することができる。非限定的な実施形態又は態様では、各畳み込みブロックは、それに対応する（例えば、一致する、互換性のある及び／又は同様のもの）寸法を有するそれぞれの逆畳み込みブロックとの接続を有し得る。

【0076】

ここで図４を参照すると、非限定的な実施形態又は態様による、例示的なＣＮＮ ４００（例えば、Ｕ－Ｎｅｔ ＣＮＮアーキテクチャ）が示されている。例えば、ＣＮＮ ４００は、コンピューティングデバイス１０６によって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。それに加えて又はその代替として、ＣＮＮ ４００は、コンピューティングデバイス１０６から分離した又はコンピューティングデバイス１０６を含む少なくとも１つの他のコンピューティングデバイスによって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0077】

図４に示されるように、ＣＮＮ ４００は、ダウンサンプリング層（例えば、符号化ブランチ４３０及び／又は同様のもの）、ボトルネックセクション４５０、アップサンプリング層（例えば、復号ブランチ４６０及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。

【0078】

続けて図４を参照すると、符号化ブランチ４３０は、入力超音波データ４０４をダウンサンプリングすることができる。例えば、超音波データ４０４は、本明細書で説明されるように、少なくとも１つの超音波画像、ＲＦ波形データ、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、少なくとも１つの超音波画
像（例えば、シングルチャネル超音波画像）は、マルチチャネル入力画像（例えば、入力超音波データ４０４として使用するための）を形成するために、超音波画像に対応するＲＦ波形データ（例えば、シングルチャネルＲＦ画像）と組み合わせること（例えば、連結すること及び／又は同様のもの）ができる。

【0079】

非限定的な実施形態又は態様では、符号化ブランチ４３０は、複数の畳み込みブロック（例えば、第１の畳み込みブロック４３０ａ、第２の畳み込みブロック４３０ｂ、第３の畳み込みブロック４３０ｃ及び／又は第４の畳み込みブロック４３０ｄ）を含み得る。各畳み込みブロック（例えば、４３０ａ、４３０ｂ、４３０ｃ及び／又は４３０ｄ）は、少なくとも１つの畳み込み層セット４２０を含み得る。例えば、各畳み込みブロック（例えば、４３０ａ、４３０ｂ、４３０ｃ及び／又は４３０ｄ）は、２つの畳み込み層セット４２０を含み得る。非限定的な実施形態又は態様では、各畳み込み層セット４２０は、畳み込み層（例えば、３×３の畳み込み層及び／又は同様のもの）、バッチ正規化層、活性化層（例えば、ＲｅＬＵ層及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。それに加えて又はその代替として、各畳み込みブロック（例えば、４３０ａ、４３０ｂ、４３０ｃ及び／又は４３０ｄ）は、最大プール層４２２（例えば、２×２の最大プール層及び／又は同様のもの）を含み得る。非限定的な実施形態又は態様では、第１の畳み込みブロック４３０ａの各畳み込み層セット４２０は、３２個の特徴マップを有し得る。それに加えて又はその代替として、第１の畳み込みブロック４３０ａの各畳み込み層セット４２０の寸法は、本明細書で説明されるように、入力画像の寸法（例えば、７８４×１９２及び／又は同様のものの寸法を有し得る超音波画像及び／又はＲＦ画像）並びに／或いは特徴マップの数（例えば、６４個）に基づき得る。非限定的な実施形態又は態様では、本明細書で説明されるように、第２の畳み込みブロック４３０ｂの各畳み込み層セット４２０が、第１の畳み込みブロック４３０ａのものより多く（例えば、２倍）の特徴マップ（例えば、６４個の特徴マップ）を有すること、及び／又は、第２の畳み込みブロック４３０ｂの他の寸法が、第１の畳み込みブロック４３０ａのものより小さいことが可能である。それに加えて又はその代替として、本明細書で説明されるように、第３の畳み込みブロック４３０ｃの各畳み込み層セット４２０が、第２の畳み込みブロック４３０ｂのものより多く（例えば、２倍）の特徴マップ（例えば、１２８個の特徴マップ）を有すること、及び／又は、第３の畳み込みブロック４３０ｃの他の寸法が、第２の畳み込みブロック４３０ｂのものより小さいことが可能である。それに加えて又はその代替として、本明細書で説明されるように、第４の畳み込みブロック４３０ｄの各畳み込み層セット４２０が、第３の畳み込みブロック４３０ｃのものより多く（例えば、２倍）の特徴マップ（例えば、２５６個の特徴マップ）を有すること、及び／又は、第４の畳み込みブロック４３０ｄの他の寸法が、第３の畳み込みブロック４３０ｃのものより小さいことが可能である。非限定的な実施形態又は態様では、符号化ブランチ４３０の各畳み込み層セット４２０の活性化層は、ＲｅＬＵ層を含み得る。

【0080】

非限定的な実施形態又は態様では、第１の畳み込みブロック４３０ａの出力は、第２の畳み込みブロック４３０ｂへの入力として提供することができる。それに加えて又はその代替として、第２の畳み込みブロック４３０ｂの出力は、第３の畳み込みブロック４３０ｃへの入力として提供することができる。それに加えて又はその代替として、第３の畳み込みブロック４３０ｃの出力は、第４の畳み込みブロック４３０ｄへの入力として提供することができる。それに加えて又はその代替として、第４の畳み込みブロック４３０ｄの出力は、ボトルネックセクション４５０への入力として提供することができる。

【0081】

図４に示されるように、ボトルネックセクション４５０は、本明細書で説明されるように、少なくとも１つの畳み込み層セット４５２（例えば、２つの畳み込み層セット４５２）を含み得る。例えば、各畳み込み層セット４５２は、本明細書で説明されるように、畳み込み層（例えば、３×３の畳み込み層及び／又は同様のもの）、バッチ正規化層、活性
化層（例えば、ＲｅＬＵ層及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものであり得る。非限定的な実施形態又は態様では、各畳み込み層セット４５２の活性化層は、ＲｅＬＵ層を含み得る。非限定的な実施形態又は態様では、本明細書で説明されるように、各畳み込み層セット４５２が、第４の畳み込みブロック４０３ｄのものより多く（例えば、２倍）の特徴マップ（例えば、５１２個の特徴マップ）を有すること、及び／又は、各畳み込み層セット４５２の他の寸法が、第４の畳み込みブロック４３０ｄのものより小さいことが可能である。

【0082】

非限定的な実施形態又は態様では、符号化ブランチ４３０の第４の畳み込みブロック４３０ｄの出力は、ボトルネックセクション４５０への入力として提供することができる。それに加えて又はその代替として、ボトルネックセクション４５０の出力は、復号ブランチ４６０への入力として提供することができる。

【0083】

続けて図４を参照すると、復号ブランチ４６０は、そこへの入力（例えば、ボトルネックセクション４５０からの出力及び／又は同様のもの）をアップサンプリングすることができる。非限定的な実施形態又は態様では、復号ブランチ４６０は、複数の逆畳み込みブロック（例えば、第１の逆畳み込みブロック４６０ａ、第２の逆畳み込みブロック４６０ｂ、第３の逆畳み込みブロック４６０ｃ及び／又は第４の逆畳み込みブロック４６０ｄ）を含み得る。各逆畳み込みブロック（例えば、４６０ａ、４６０ｂ、４６０ｃ及び／又は４６０ｄ）は、少なくとも１つの逆畳み込み層４６２（例えば、転置畳み込み層及び／又は同様のもの）並びに／或いは少なくとも１つの畳み込み層セット４６４を含み得る。例えば、各逆畳み込みブロック（例えば、４６０ａ、４６０ｂ、４６０ｃ及び／又は４６０ｄ）は、１つの逆畳み込み層４６２及び／又は２つの畳み込み層セット４６４（例えば、順に、逆畳み込み層４６２、第１の畳み込み層セット４６４及び第２の畳み込み層セット４６４）を含み得る。非限定的な実施形態又は態様では、各畳み込み層セット４６４は、畳み込み層（例えば、３×３の畳み込み層及び／又は同様のもの）、バッチ正規化層、活性化層（例えば、ＲｅＬＵ層及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。非限定的な実施形態又は態様では、本明細書で説明されるように、第１の逆畳み込みブロック４６０ａの各逆畳み込み層４６２及び／又は各畳み込み層セット４６４が、２５６個の特徴マップを有すること、並びに／或いは、第１の逆畳み込みブロック４６０ａの各逆畳み込み層４６２及び／又は各畳み込み層セット４６４の寸法が、符号化ブランチ４３０の第４の畳み込みブロック４３０ｄの寸法に基づくことが可能である。それに加えて又はその代替として、第２の逆畳み込みブロック４６０ｂの各逆畳み込み層４６２及び／又は各畳み込み層セット４６４が、第１の逆畳み込みブロック４６０ａのものより少ない（例えば、半分）特徴マップ（例えば、１２８個の特徴マップ）を有すること、並びに／或いは、第２の逆畳み込みブロック４６０ｂの他の寸法が、符号化ブランチ４３０の第３の畳み込みブロック４３０ｃの寸法に基づくことが可能である。それに加えて又はその代替として、第３の逆畳み込みブロック４６０ｃの各逆畳み込み層４６２及び／又は各畳み込み層セット４６４が、第２の逆畳み込みブロック４６０ｂのものより少ない（例えば、半分）特徴マップ（例えば、６４個の特徴マップ）を有すること、並びに／或いは、第３の逆畳み込みブロック４６０ｃの他の寸法が、符号化ブランチ４３０の第２の畳み込みブロック４３０ｂの寸法に基づくことが可能である。それに加えて又はその代替として、第４の逆畳み込みブロック４６０ｄの各逆畳み込み層４６２及び／又は各畳み込み層セット４６４が、第３の逆畳み込みブロック４６０ｃのものより少ない（例えば、半分）特徴マップ（例えば、３２個の特徴マップ）を有すること、並びに／或いは、第４の逆畳み込みブロック４６０ｄの他の寸法が、符号化ブランチ４３０の第１の畳み込みブロック４３０ａの寸法に基づくことが可能である。

【0084】

非限定的な実施形態又は態様では、第１の逆畳み込みブロック４６０ａの出力は、第２の逆畳み込みブロック４６０ｂへの入力として提供することができる。それに加えて又は
その代替として、第２の逆畳み込みブロック４６０ｂの出力は、第３の逆畳み込みブロック４６０ｃへの入力として提供することができる。それに加えて又はその代替として、第３の逆畳み込みブロック４６０ｃの出力は、第４の逆畳み込みブロック４６０ｄへの入力として提供することができる。それに加えて又はその代替として、第４の逆畳み込みブロック４６０ｄの出力は、出力層セット４７０への入力として提供することができる。

【0085】

非限定的な実施形態又は態様では、出力層セット４７０は、少なくとも１つの畳み込み層及び／又は少なくとも１つの活性化層を含み得る。例えば、出力層セット４７０は、１×１の畳み込み層並びに活性化層（例えば、ソフトマックス層及び／又は同様のもの）を含み得る。非限定的な実施形態又は態様では、出力層セット４７０の寸法は、復号ブランチ４６０の第４の逆畳み込みブロック４６０ｄの寸法並びに／或いは入力超音波データ（例えば、超音波画像及び／又はＲＦ画像）の寸法に基づき得る。例えば、出力層セット４７０の寸法は、７８４×１９２であり得る。非限定的な実施形態又は態様では、出力層セット４７０の活性化層は、分類層を含み得る。例えば、活性化層（例えば、分類層）は、セマンティックセグメンテーション（例えば、ラベルマップ及び／又は同様のもの）を提供するために、分類インデックス（例えば、整数クラスラベル及び／又は同様のもの）を超音波の各ピクセルに割り当てることができる。

【0086】

非限定的な実施形態又は態様では、ＣＮＮ ４００は、複数の特徴フォワード接続４８０（例えば、スキップ接続、残差接続及び／又は同様のもの）を含み得る。例えば、各残差接続４８０は、符号化ブランチ４３０のそれぞれの畳み込みブロック（例えば、その出力）を復号ブランチ４６０のそれぞれの逆畳み込みブロック（例えば、その入力）に接続することができ、それぞれの逆畳み込みブロックは、それぞれの畳み込みブロックの寸法に対応する寸法を有し得る。非限定的な実施形態又は態様では、そのような残差接続４８０からの符号化済みの特徴データ（例えば、それぞれの畳み込みブロックの出力）は、それぞれの逆畳み込みブロックにおける入力と連結することができる。

【0087】

非限定的な実施形態又は態様では、ＣＮＮ ４００の分類出力は、訓練中に最適化することができる。例えば、ＣＮＮ ４００を訓練して、例えば、よりロバストな、より一般化されたＣＮＮを生み出し得る他のクラスの非最大応答に対する最大（例えば、最終出力）スコアの各ピクセルに対する大きな数値の隔たりを探し求めるため、出力層セット４７０の活性化層（例えば、最終ソフトマックス層及び／又は同様のもの）の前に、目的関数として交差エントロピー損失を使用することができる。

【0088】

非限定的な実施形態又は態様では、ＣＮＮ ４００は、その開示の全体が参照により本明細書に組み込まれるＲｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ．，Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ，２３４－２４１（２０１５）において説明されるＣＮＮと同様であり得る。

【0089】

ここで図５を参照すると、非限定的な実施形態又は態様による、例示的なＣＮＮ ５００（例えば、ＳｅｇＮｅｔ ＣＮＮアーキテクチャ）が示されている。例えば、ＣＮＮ ５００は、コンピューティングデバイス１０６によって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。それに加えて又はその代替として、ＣＮＮ ５００は、コンピューティングデバイス１０６から分離した又はコンピューティングデバイス１０６を含む少なくとも１つの他のコンピューティングデバイスによって実装することができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0090】

図５に示されるように、ＣＮＮ ５００は、ダウンサンプリング層（例えば、符号化ブランチ５３０及び／又は同様のもの）、アップサンプリング層（例えば、復号ブランチ５６０及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。

【0091】

続けて図５を参照すると、符号化ブランチ５３０は、入力超音波データをダウンサンプリングすることができる。例えば、超音波データは、本明細書で説明されるように、少なくとも１つの超音波画像、ＲＦ波形データ、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、少なくとも１つの超音波画像（例えば、シングルチャネル超音波画像）は、マルチチャネル入力画像（例えば、入力超音波データとして使用するための）を形成するために超音波画像に対応するＲＦ波形データ（例えば、シングルチャネルＲＦ画像）と組み合わせること（例えば、連結すること及び／又は同様のもの）ができる。

【0092】

非限定的な実施形態又は態様では、符号化ブランチ５３０は、複数の畳み込みブロック（例えば、第１の畳み込みブロック５３０ａ、第２の畳み込みブロック５３０ｂ、第３の畳み込みブロック５３０ｃ、第４の畳み込みブロック５３０ｄ及び／又は第５の畳み込みブロック５３０ｅ）を含み得る。各畳み込みブロック（例えば、５３０ａ、５３０ｂ、５３０ｃ、５３０ｄ及び／又は５３０ｅ）は、少なくとも１つの畳み込み層セット５２０を含み得る。例えば、各畳み込みブロック（例えば、５３０ａ、５３０ｂ、５３０ｃ及び／又は５３０ｄ）は、２つ又は３つの畳み込み層セット５２０を含み得る（例えば、第１の畳み込みブロック５３０ａ及び第２の畳み込みブロック５３０ｂの各々は、２つの畳み込み層セット５２０を含み得、第３の畳み込みブロック５３０ｃ、第４の畳み込みブロック５３０ｄ及び第５の畳み込みブロック５３０ｅの各々は、３つの畳み込み層セット５２０を含み得る）。非限定的な実施形態又は態様では、各畳み込み層セット５２０は、畳み込み層、バッチ正規化層、活性化層（例えば、ＲｅＬＵ層及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。それに加えて又はその代替として、各畳み込みブロック（例えば、５３０ａ、５３０ｂ、５３０ｃ、５３０ｄ及び／又は５３０ｅ）は、プーリング層５２２（例えば、最大プール層及び／又は同様のもの）を含み得る。

【0093】

非限定的な実施形態又は態様では、第１の畳み込みブロック５３０ａの出力は、第２の畳み込みブロック５３０ｂへの入力として提供することができる。それに加えて又はその代替として、第２の畳み込みブロック５３０ｂの出力は、第３の畳み込みブロック５３０ｃへの入力として提供することができる。それに加えて又はその代替として、第３の畳み込みブロック５３０ｃの出力は、第４の畳み込みブロック５３０ｄへの入力として提供することができる。それに加えて又はその代替として、第４の畳み込みブロック５３０ｄの出力は、第５の畳み込みブロック５３０ｅへの入力として提供することができる。それに加えて又はその代替として、第５の畳み込みブロック５３０ｅの出力は、復号ブランチ５６０への入力として提供することができる。

【0094】

続けて図５を参照すると、復号ブランチ５６０は、そこへの入力（例えば、符号化ブランチ５３０からの出力及び／又は同様のもの）をアップサンプリングすることができる。非限定的な実施形態又は態様では、復号ブランチ５６０は、複数のアップサンプリングブロック（例えば、第１のアップサンプリングブロック５６０ａ、第２のアップサンプリングブロック５６０ｂ、第３のアップサンプリングブロック５６０ｃ、第４のアップサンプリングブロック５６０ｄ及び／又は第５のアップサンプリングブロック５６０ｅ）を含み得る。各アップサンプリングブロック（例えば、５６０ａ、５６０ｂ、５６０ｃ、５６０ｄ及び／又は５６０ｅ）は、少なくとも１つのアップサンプリング層５６２及び／又は少なくとも１つの畳み込み層セット５６４を含み得る。例えば、各アップサンプリングブロ
ック（例えば、５６０ａ、５６０ｂ、５６０ｃ、５６０ｄ及び／又は５６０ｅ）は、１つのアップサンプリング層５６２及び２つ又は３つの畳み込み層セット５６４を含み得る（例えば、第１のアップサンプリングブロック５６０ａ、第２のアップサンプリングブロック５６０ｂ及び第３のアップサンプリングブロック５６０ｃの各々は、３つの畳み込み層セット５６４を含み得、第４のアップサンプリングブロック５６０ｄ及び第５のアップサンプリングブロック５６０ｅの各々は、３つの畳み込み層セット５２０を含み得る）。非限定的な実施形態又は態様では、各アップサンプリング層は、そこへの入力をアップサンプリングするために符号化ブランチ５３０ステップにおいて捕捉されて格納された最大プーリングインデックスを使用することができる。非限定的な実施形態又は態様では、各畳み込み層セット５６４は、畳み込み層、バッチ正規化層、活性化層（例えば、ＲｅＬＵ層及び／又は同様のもの）、それらの任意の組合せ並びに／或いは同様のものを含み得る。

【0095】

非限定的な実施形態又は態様では、第１のアップサンプリングブロック５６０ａの出力は、第２のアップサンプリングブロック５６０ｂへの入力として提供することができる。それに加えて又はその代替として、第２のアップサンプリングブロック５６０ｂの出力は、第３のアップサンプリングブロック５６０ｃへの入力として提供することができる。それに加えて又はその代替として、第３のアップサンプリングブロック５６０ｃの出力は、第４のアップサンプリングブロック５６０ｄへの入力として提供することができる。それに加えて又はその代替として、第４のアップサンプリングブロック５６０ｄの出力は、第５のアップサンプリングブロック５６０ｅへの入力として提供することができる。それに加えて又はその代替として、第５のアップサンプリングブロック５６０ｅの出力は、出力層セット５７０への入力として提供することができる。

【0096】

非限定的な実施形態又は態様では、出力層セット５７０は、少なくとも１つの活性化層を含み得る。例えば、活性化層は、ソフトマックス層を含み得る。非限定的な実施形態又は態様では、出力層セット５７０の寸法は、入力超音波データ（例えば、超音波画像及び／又はＲＦ画像）の寸法に基づき得る。例えば、出力層セット５７０の寸法は、７８４×１９２であり得る。非限定的な実施形態又は態様では、出力層セット５７０の活性化層は、分類層を含み得る。例えば、活性化層（例えば、分類層）は、セマンティックセグメンテーション（例えば、ラベルマップ及び／又は同様のもの）を提供するために、分類インデックス（例えば、整数クラスラベル及び／又は同様のもの）を超音波の各ピクセルに割り当てることができる。

【0097】

非限定的な実施形態又は態様では、ＣＮＮ ５００は、複数の特徴フォワード接続５８０（例えば、スキップ接続、残差接続及び／又は同様のもの）を含み得る。例えば、各接続５８０は、符号化ブランチ５３０のそれぞれの畳み込みブロック（例えば、その出力）を復号ブランチ５６０のそれぞれのアップサンプリングブロック（例えば、その入力）に接続することができ、それぞれのアップサンプリングブロックは、それぞれの畳み込みブロックの寸法に対応する寸法を有し得る。非限定的な実施形態又は態様では、そのような残差接続５８０からの符号化済みの特徴データ（例えば、それぞれの畳み込みブロックの出力）は、それぞれのアップサンプリングブロックにおける入力と連結することができる。

【0098】

非限定的な実施形態又は態様では、ＣＮＮ ５００は、その開示の全体が参照により本明細書に組み込まれるＢａｄｒｉｎａｒａｙａｎａｎ ｅｔ ａｌ．，Ｓｅｇｎｅｔ：Ａ
Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，３９ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２４８１－２４９５（２０１７）において説明されるＣＮＮと同様であり得る。

【0099】

ここで図６Ａを参照すると、非限定的な実施形態又は態様による、図３の例示的なＣＮＮ ３００の訓練エポックに対する、様々な組織クラスの平均損失及び平均交差オーバーユニオン（ｍＩｏＵ）メトリクスのグラフが示されている。第１の曲線６９１は、組織タイプにわたって平均化された損失関数値の例を示し、ＣＮＮ ３００の訓練過程において概して改善されている（小さくなる）。第２の曲線６９２は、組織タイプにわたって平均化されたｍＩｏＵメトリクス値の例を示し、ＣＮＮの訓練過程において概して改善されている（１．０に近くなる）。第３の曲線６９３は、皮膚組織をセグメント化するためのＣＮＮ ３００のｍＩｏＵの例を示し、訓練過程において概して改善されている。第４の曲線６９４は、脂肪筋膜組織をセグメント化するためのＣＮＮ ３００のｍＩｏＵの例を示し、訓練過程において概して改善されている。第５の曲線６９５は、脂肪組織をセグメント化するためのＣＮＮ ３００のｍＩｏＵの例を示し、初期の訓練中に概して改善されている（この特定の例では、脂肪筋膜／基質ｍＩｏＵ ３９４が改善するにつれて、脂肪ｍＩｏＵ ３９５は、最終的には、多少の悪化が見られる）。第６の曲線６９６は、筋筋膜組織をセグメント化するためのＣＮＮ ３００のｍＩｏＵの例を示し、訓練過程において概して改善されている。第７の曲線６９７は、筋肉組織をセグメント化するためのＣＮＮ
３００のｍＩｏＵの例を示し、初期の訓練中に概して改善されている（この特定の例では、筋筋膜ｍＩｏＵ ３９６が改善するにつれて、筋肉ｍＩｏＵ ３９７は、最終的には、多少の悪化が見られる）。これらの例の各々は例示であり、個々の訓練セッションは、これらの各々に対して異なる値／曲線を有することが期待される。

【0100】

ここで図６Ｂを参照すると、非限定的な実施形態又は態様による、様々な例示的なＣＮＮに対する、例示的なテスト入力画像、対応するラベル付けされた画像及びセグメント化された出力超音波画像が示されている。第１の列６０１は、４つの例示的な超音波画像（例えば、テスト入力超音波画像）を示し、第２の列６０２は、超音波画像に対応する４つの例示的なＲＦ画像（例えば、正と負の両方の波形値を示すためにカラーマップを使用して表示されたテスト入力ＲＦ画像）をそれぞれ示す。第３の列６０３は、４つの例示的なラベル付けされた画像（例えば、４つの例示的な超音波画像及び／又はＲＦ画像にそれぞれ基づいて、臨床医及び／又は同様のものによってラベル付けされたもの）を示す。第４の列６０４は、４つの超音波画像（例えば、４つのＲＦ画像を使用することなく）にそれぞれ基づく、Ｕ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの４つの例示的なセグメント化された出力超音波画像を示し、第５の列６０５は、４つの超音波画像及び４つのＲＦ画像にそれぞれ基づく、Ｕ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの４つの例示的なセグメント化された出力超音波画像を示す。第６の列６０４は、４つの超音波画像（例えば、４つのＲＦ画像を使用することなく）にそれぞれ基づく、Ａｔｔｅｎｔｉｏｎ Ｕ－Ｎｅｔ（ＡＵ－Ｎｅｔ）アーキテクチャ（例えば、その開示の全体が参照により本明細書に組み込まれるＯｋｔａｙ ｅｔ ａｌ．，Ａｔｔｅｎｔｉｏｎ Ｕ－Ｎｅｔ：Ｌｅａｒｎｉｎｇ Ｗｈｅｒｅ ｔｏ Ｌｏｏｋ ｆｏｒ ｔｈｅ Ｐａｎｃｒｅａｓ，１ｓｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＭＩＤＬ）（２０１８）において説明されるＣＮＮと同じもの又は同様のもの）を用いた例示的なＣＮＮからの４つの例示的なセグメント化された出力超音波画像を示し、第７の列６０７は、４つの超音波画像及び４つのＲＦ画像にそれぞれ基づく、ＡＵ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの４つの例示的なセグメント化された出力超音波画像を示す。第８の列６０８は、４つの超音波画像及び４つのＲＦ画像にそれぞれ基づく、Ｗ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの４つの例示的なセグメント化された出力超音波画像を示す。

【0101】

例示を目的として、表１は、様々な例示的なＣＮＮのピクセル単位の精度及びｍＩｏＵの例を示す（訓練のランダムな性質により、異なる訓練セッションからは、わずかに異なる及び／又はより発散した値が期待され得る）。

【0102】

【表1】

【0103】

ここで図６Ｃを参照すると、非限定的な実施形態又は態様による、様々な例示的なＣＮＮに対する、例示的なテスト入力画像、対応するラベル付けされた画像及びセグメント化された出力超音波画像が示されている。第１の行６１１は、５つの例示的な超音波画像（例えば、テスト入力超音波画像）を示し、第２の行６１２は、超音波画像に対応する５つの例示的なＲＦ画像（例えば、正と負の両方の波形値を示すためにカラーマップを使用して表示されたテスト入力ＲＦ画像）をそれぞれ示す。第３の行６１３は、５つの例示的なラベル付けされた画像（例えば、５つの例示的な超音波画像及び／又はＲＦ画像にそれぞれ基づいて、臨床医及び／又は同様のものによってラベル付けされたもの）を示す。第４の行６１４は、５つの超音波画像（例えば、５つのＲＦ画像を使用することなく）にそれぞれ基づく、Ｕ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの５つの例示的なセグメント化された出力超音波画像を示し、第５の行６１５は、５つの超音波画像（例えば、５つのＲＦ画像を使用することなく）にそれぞれ基づく、ＳｅｇＮｅｔアーキテクチャを用いた例示的なＣＮＮからの５つの例示的なセグメント化された出力超音波画像を示す。第６の行６１６は、５つの超音波画像及び５つのＲＦ画像にそれぞれ基づく、Ｕ－Ｎｅｔアーキテクチャを用いた例示的なＣＮＮからの５つの例示的なセグメント化された出力超音波画像を示し、第７の行６１７は、５つの超音波画像及び５つのＲＦ画像にそれぞれ基づく、ＳｅｇＮｅｔアーキテクチャを用いた例示的なＣＮＮからの５つの例示的なセグメント化された出力超音波画像を示す。

【0104】

例示を目的として、表２は、様々な例示的なＣＮＮのピクセル単位の精度及びｍＩｏＵの例を示す（訓練のランダムな性質により、異なる訓練セッションからは、わずかに異なる及び／又はより発散した値が期待され得る）。

【0105】

【表2】

【0106】

ここで図７を参照すると、非限定的な実施形態による、超音波データにラベル付けするための方法７００が示されている。図７に示されるステップの順番は、単なる例示を目的とし、非限定的な実施形態は、より多くのステップ、より少ないステップ、異なるステップ及び／又はステップの異なる順番を伴い得ることが理解されよう。その上、図７に示される例は、超音波データに関連するが、本明細書で説明されるように、本明細書で開示されるシステム及び方法は、他の多くの状況において使用することができる。非限定的な実施形態又は態様では、方法７００のステップのうちの１つ又は複数は、コンピューティングデバイス１０６によって実行することができる（例えば、完全に、部分的に及び／又は同様のもの）。非限定的な実施形態又は態様では、方法７００のステップのうちの１つ又は複数は、超音波／ＲＦシステム１０２、少なくとも１つの他のコンピューティングデバイス及び／又は同様のものなど、コンピューティングデバイス１０６から分離した又はコンピューティングデバイス１０６を含む別のシステム、別のデバイス、システムの別のグループ又はデバイスの別のグループによって実行することができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0107】

図７に示されるように、ステップ７０２では、方法７００は、本明細書で説明されるように、ＣＮＮを訓練することを含み得る。例えば、コンピューティングデバイス１０６は、超音波データ１０４に基づいてＣＮＮ（例えば、Ｗ－Ｎｅｔ、Ｕ－Ｎｅｔ、ＡＵ－Ｎｅｔ、ＳｅｇＮｅｔ、それらの任意の組合せ及び／又は同様のもの）を訓練することができ、超音波データ１０４は、少なくとも１つの超音波画像１０４ａ、ＲＦ波形データ１０４ｂ（例えば、少なくとも１つのＲＦ画像）、それらの任意の組合せ及び／又は同様のものを含み得る。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、超音波／ＲＦシステム１０２及び／又はデータベース１０８の少なくとも１つからＣＮＮを訓練するための超音波データを受信すること（例えば、回収すること、要求すること、得ること及び／又は同様のもの）ができる。例えば、コンピューティングデバイス１０６は、本明細書で説明されるように、データベース１０８からの過去の超音波データ（例えば、過去の超音波画像１０４ａ、ＲＦ波形データ１０４ｂ、ラベル付けされた超音波画像１０４ｃ、それらの任意の組合せ及び／又は同様のもの）に基づいてＣＮＮを訓練することができる。

【0108】

図７に示されるように、ステップ７０４では、方法７００は、本明細書で説明されるように、ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層のＲＦ入力（例え
ば、ＲＦ波形データ１０４ｂ及び／又は同様のもの）をダウンサンプリングすることを含み得る。例えば、コンピューティングデバイス１０６は、ダウンサンプリング層（例えば、本明細書で説明されるような、符号化ブランチ、ＲＦ符号化ブランチ及び／又は同様のもの）のＲＦ入力をダウンサンプリングすることができる。非限定的な実施形態又は態様では、ＲＦ入力は、本明細書で説明されるように、超音波／ＲＦシステム１０２及び／又はデータベース１０８の少なくとも１つから受信された超音波に対するＲＦ波形データ１０４ｂを含み得る。

【0109】

図７に示されるように、ステップ７０６では、方法７００は、本明細書で説明されるように、ＣＮＮの複数のダウンサンプリング層の各ダウンサンプリング層の画像入力（例えば、超音波画像１０４ａ及び／又は同様のもの）をダウンサンプリングすることを含み得る。例えば、コンピューティングデバイス１０６は、ダウンサンプリング層（例えば、本明細書で説明されるような、符号化ブランチ、超音波画像符号化ブランチ及び／又は同様のもの）の画像入力をダウンサンプリングすることができる。非限定的な実施形態又は態様では、画像入力は、本明細書で説明されるように、超音波／ＲＦシステム１０２及び／又はデータベース１０８の少なくとも１つから受信された超音波に対する少なくとも１つの超音波画像１０４ａを含み得る。それに加えて又はその代替として、画像入力は、本明細書で説明されるように、超音波の複数のピクセルを含み得る。

【0110】

非限定的な実施形態又は態様では、画像入力とＲＦ入力は、本明細書で説明されるように、実質的に同時に処理される。

【0111】

図７に示されるように、ステップ７０６では、方法７００は、本明細書で説明されるように、ＣＮＮの出力に基づいて超音波における組織をセグメント化することを含み得る。例えば、コンピューティングデバイス１０６は、本明細書で説明されるように、ＣＮＮの出力に基づいて超音波における組織をセグメント化する（例えば、そこで識別されたピクセルにラベル付けする）ことができる。非限定的な実施形態又は態様では、超音波における組織をセグメント化することは、本明細書で説明されるように、超音波における複数の（例えば、大半の、すべての及び／又は同様のものの）ピクセルにラベル付けすることを含み得る。非限定的な実施形態又は態様では、組織をセグメント化することは、本明細書で説明されるように、筋肉、筋膜、脂肪筋膜、筋筋膜、脂肪、移植脂肪、それらの任意の組合せ及び／又は同様のものの少なくとも１つを識別することを含み得る。

【0112】

ここで図８を参照すると、非限定的な実施形態による、超音波データにラベル付けするための方法８００が示されている。図８に示されるステップの順番は、単なる例示を目的とし、非限定的な実施形態は、より多くのステップ、より少ないステップ、異なるステップ及び／又はステップの異なる順番を伴い得ることが理解されよう。その上、図８に示される例は、超音波データに関連するが、本明細書で説明されるように、本明細書で開示されるシステム及び方法は、他の多くの状況において使用することができる。非限定的な実施形態又は態様では、方法８００のステップのうちの１つ又は複数は、コンピューティングデバイス１０６によって実行することができる（例えば、完全に、部分的に及び／又は同様のもの）。非限定的な実施形態又は態様では、方法８００のステップのうちの１つ又は複数は、超音波／ＲＦシステム１０２、少なくとも１つの他のコンピューティングデバイス及び／又は同様のものなど、コンピューティングデバイス１０６から分離した又はコンピューティングデバイス１０６を含む別のシステム、別のデバイス、システムの別のグループ又はデバイスの別のグループによって実行することができる（例えば、完全に、部分的に及び／又は同様のもの）。

【0113】

図８に示されるように、ステップ８０２では、方法８００は、複数のピクセルによって表される超音波画像を受信することを含み得る。例えば、コンピューティングデバイス１
０６は、本明細書で説明されるように、超音波／ＲＦシステム１０２及び／又はデータベース１０８の少なくとも１つから超音波画像１０４ａを受信することができる。

【0114】

図８に示されるように、ステップ８０４では、方法８００は、複数のピクセルの大半のピクセルにラベル付けすることによって、超音波画像をセグメント化することを含み得る。例えば、コンピューティングデバイス１０６は、本明細書で説明されるように、その大半のピクセルにラベル付けすることによって、超音波画像１０４ａをセグメント化することができる。非限定的な実施形態又は態様では、大半のピクセルは、本明細書で説明されるように、筋肉、筋膜、脂肪筋膜、筋筋膜、脂肪、移植脂肪、それらの任意の組合せ及び／又は同様のものの少なくとも１つとしてラベル付けすることができる。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、ＣＮＮ（例えば、入力として超音波画像１０４ａを使用することに基づいて生成されたその出力）に基づいて、超音波画像１０４ａをセグメント化することができる。非限定的な実施形態又は態様では、コンピューティングデバイス１０６は、本明細書で説明されるように、超音波データ１０４（例えば、データベース１０８からの過去の超音波データ、超音波／ＲＦシステム１０２から受信された超音波画像１０４ａ及び／又は同様のもの）に基づいてＣＮＮを訓練することができる。それに加えて又はその代替として、超音波データ１０４の少なくとも１つの入力超音波画像（例えば、ラベル付けされた超音波画像１０４ｃ及び／又は同様のもの）は、複数のピクセルのファジーなオーバーラップラベルを含み得る。

【0115】

例示を目的として実施形態を詳細に説明してきたが、そのような詳細はその目的のみを対象とすること、及びその開示は、開示される実施形態に限定されず、それどころか、添付の請求項の精神及び範囲内の変更形態及び同等の構成を包含することが意図されることを理解されたい。例えば、本開示は、可能な範囲で、任意の実施形態の１つ又は複数の特徴を他の任意の実施形態の１つ又は複数の特徴と組み合わせることが可能であることを企図することを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】