(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161915
(43)【公開日】2024-11-20
(54)【発明の名称】超音波診断装置及びデータ処理方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20241113BHJP
【ＦＩ】
A61B8/14
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2024075952
(22)【出願日】2024-05-08
(31)【優先権主張番号】63/500,847
(32)【優先日】2023-05-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/361,238
(32)【優先日】2023-07-28
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
２．ＵＮＩＸ
３．Ｍａｃ ＯＳ
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ティン シア
(72)【発明者】
【氏名】ジエン ジョウ
(72)【発明者】
【氏名】リヤン ツァイ
(72)【発明者】
【氏名】ジョウ ユウ
(72)【発明者】
【氏名】今村 智久
(72)【発明者】
【氏名】岩崎 亮祐
(72)【発明者】
【氏名】高橋 広樹
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601DE08
4C601EE04
4C601JB34
4C601JC06
(57)【要約】
【課題】画質を向上させること。
【解決手段】実施形態に係る超音波診断装置は、処理回路を備える。処理回路は、基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力し、前記第１の訓練超音波データを教師入力データとして、前記高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、前記複数の教師モデルの各教師モデルを訓練し、前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、前記訓練された教師モデルの各々から出力される前記対応する第１の推定データを評価することによって、前記複数の教師モデルのうちの、第１の特定の教師モデルを選択し、前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する。
【選択図】図４
【解決手段】実施形態に係る超音波診断装置は、処理回路を備える。処理回路は、基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力し、前記第１の訓練超音波データを教師入力データとして、前記高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、前記複数の教師モデルの各教師モデルを訓練し、前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、前記訓練された教師モデルの各々から出力される前記対応する第１の推定データを評価することによって、前記複数の教師モデルのうちの、第１の特定の教師モデルを選択し、前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する。
【選択図】図４
【特許請求の範囲】
【請求項1】
基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力し、前記第１の訓練超音波データを教師入力データとして、前記高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、前記複数の教師モデルの各教師モデルを訓練し、
前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、
前記訓練された教師モデルの各々から出力される前記対応する第１の推定データを評価することによって、前記複数の教師モデルのうちの、第１の特定の教師モデルを選択し、前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する、処理回路
を備える、超音波診断装置。
前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、
前記訓練された教師モデルの各々から出力される前記対応する第１の推定データを評価することによって、前記複数の教師モデルのうちの、第１の特定の教師モデルを選択し、前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する、処理回路
を備える、超音波診断装置。
【請求項2】
前記複数の訓練された教師モデルの各々が、前記生徒モデルとは異なるモデル構造および前記生徒モデルより多くのパラメータを有する、請求項１に記載の超音波診断装置。
【請求項3】
前記処理回路が、
前記複数の教師モデルの各教師モデルについて、前記第１の超音波データとは異なる第２の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第２の推定データを取得し、
前記第２の推定データを評価することによって、前記複数の教師モデルから第２の特定の教師モデルを選択し、
前記第２の超音波データを前記生徒入力データとして、前記選択された第２の特定の教師モデルの前記対応する第２の推定データを前記生徒ターゲットデータとして、前記生徒モデルを訓練する、請求項１に記載の超音波診断装置。
前記複数の教師モデルの各教師モデルについて、前記第１の超音波データとは異なる第２の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第２の推定データを取得し、
前記第２の推定データを評価することによって、前記複数の教師モデルから第２の特定の教師モデルを選択し、
前記第２の超音波データを前記生徒入力データとして、前記選択された第２の特定の教師モデルの前記対応する第２の推定データを前記生徒ターゲットデータとして、前記生徒モデルを訓練する、請求項１に記載の超音波診断装置。
【請求項4】
前記処理回路が、前記選択された第１の特定の教師モデルとは異なる前記第２の特定の教師モデルを選択する、請求項１に記載の超音波診断装置。
【請求項5】
前記処理回路が、入力超音波データを前記生徒モデルに入力することにより、前記高調波成分を含む出力超音波データを生成する、請求項１に記載の超音波診断装置。
【請求項6】
基本波成分および高調波成分を含む第１の超音波データを入力超音波データとして、前記高調波成分を含む第２の超音波データを前記第１の超音波データに対応するターゲット出力超音波データとして取得し、
教師出力超音波データを生成するために、前記第１の超音波データを以前に訓練された教師モデルに入力し、
生徒出力超音波データを生成するために、前記第１の超音波データを生徒モデルに入力し、
前記教師出力超音波データ、前記生徒出力超音波データ、および前記ターゲット出力超音波データに基づいて、損失関数の損失値を計算し、
前記損失値に基づいて前記生徒モデルのパラメータを更新する処理回路
を備える、超音波診断装置。
教師出力超音波データを生成するために、前記第１の超音波データを以前に訓練された教師モデルに入力し、
生徒出力超音波データを生成するために、前記第１の超音波データを生徒モデルに入力し、
前記教師出力超音波データ、前記生徒出力超音波データ、および前記ターゲット出力超音波データに基づいて、損失関数の損失値を計算し、
前記損失値に基づいて前記生徒モデルのパラメータを更新する処理回路
を備える、超音波診断装置。
【請求項7】
前記損失値の計算において、前記処理回路が、
前記生徒出力超音波データおよび前記ターゲット出力超音波データに基づいて、第１の損失関数の第１の損失値を計算し、
前記教師出力超音波データおよび前記生徒出力超音波データに基づいて、第２の損失関数の第２の損失値を計算し、
前記第１の損失値と前記第２の損失値との加重和として前記損失値を計算する、請求項６に記載の超音波診断装置。
前記生徒出力超音波データおよび前記ターゲット出力超音波データに基づいて、第１の損失関数の第１の損失値を計算し、
前記教師出力超音波データおよび前記生徒出力超音波データに基づいて、第２の損失関数の第２の損失値を計算し、
前記第１の損失値と前記第２の損失値との加重和として前記損失値を計算する、請求項６に記載の超音波診断装置。
【請求項8】
前記処理回路が、前記生徒モデルの前記パラメータが収束基準を満たすまで、異なる入力超音波データおよび対応する異なる第２の超音波データに対して、前記取得、入力、計算、および更新のステップを繰り返すようにさらに構成される、請求項６に記載の超音波診断装置。
【請求項9】
前記更新において、前記処理回路が、前記教師モデルのパラメータを更新することなく、前記生徒モデルの前記パラメータを更新する、請求項６に記載の超音波診断装置。
【請求項10】
前記処理回路が、入力超音波データを前記生徒モデルに入力することにより、前記高調波成分を含む出力超音波データを生成する、請求項６に記載の超音波診断装置。
【請求項11】
基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力し、前記第１の訓練超音波を教師入力データとして、前記高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、前記複数の教師モデルの各教師モデルを訓練し、
前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、
前記第１の推定データを評価することによって、前記複数の教師モデルから第１の特定の教師モデルを選択し、
前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する、データ処理方法。
前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、
前記第１の推定データを評価することによって、前記複数の教師モデルから第１の特定の教師モデルを選択し、
前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する、データ処理方法。
【請求項12】
基本波成分および高調波成分を含む第１の超音波データを入力超音波データとして、前記高調波成分を含む第２の超音波データを前記第１の超音波データに対応するターゲット出力超音波データとして取得し、
教師出力超音波データを生成するために、前記第１の超音波データを以前に訓練された教師モデルに入力し、
生徒出力超音波データを生成するために、前記第１の超音波データを生徒モデルに入力し、
前記教師出力超音波データ、前記生徒出力超音波データ、および前記ターゲット出力超音波データに基づいて、損失関数の損失値を計算し、
前記損失値に基づいて前記生徒モデルのパラメータを更新することと、
を含む、データ処理方法。
教師出力超音波データを生成するために、前記第１の超音波データを以前に訓練された教師モデルに入力し、
生徒出力超音波データを生成するために、前記第１の超音波データを生徒モデルに入力し、
前記教師出力超音波データ、前記生徒出力超音波データ、および前記ターゲット出力超音波データに基づいて、損失関数の損失値を計算し、
前記損失値に基づいて前記生徒モデルのパラメータを更新することと、
を含む、データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、超音波診断装置及びデータ処理方法に関する。
【背景技術】
【0002】
高次の高調波を用いた超音波イメージングを行うことで、アーチファクトを減少させ、コントラスト対ノイズ比を改善し、方位分解能を改善した画像を提供することができる。
また、近年、深層学習に基づく技術により、優れた画質および高速な画像取得で高調波イメージングを行うことができる。
また、近年、深層学習に基づく技術により、優れた画質および高速な画像取得で高調波イメージングを行うことができる。
【0003】
ここで、軽量モデルを開発するために、過去に多くの試みがなされてきた。しかし、これらのアプローチはいずれも、超音波イメージング特性に合わせた高調波超音波イメージング用に特別に設計されたものではない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第２０２３／００４０１８１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、画質を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る超音波診断装置は、処理回路を備える。処理回路は、基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力し、前記第１の訓練超音波データを教師入力データとして、前記高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、前記複数の教師モデルの各教師モデルを訓練し、前記複数の教師モデルの各教師モデルについて、第１の超音波データの前記教師モデルへの入力に応答して、前記教師モデルから出力される対応する第１の推定データを取得し、前記訓練された教師モデルの各々から出力される前記対応する第１の推定データを評価することによって、前記複数の教師モデルのうちの、第１の特定の教師モデルを選択し、前記第１の超音波データを生徒入力データとして、前記第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、超音波診断装置及びデータ処理方法の実施形態について詳細に説明する。
【0009】
図面において、同様の参照番号は、複数の図を通して同一または対応する部分を示す。
【0010】
超音波高調波イメージングにおいて、より高次の高調波を用いることにより、アーチファクトを著しく減少させ、コントラスト対ノイズ比を改善し、方位分解能を改善した画像を得ることができる。血管などのいくつかの解剖学的構造については、改善されたコントラストを有する高次高調波画像が所望される。例えば、３次高調波イメージングは、２次高調波画像と比較して、より少ないアーチファクトおよび改善された分解能を有する画像を提供し得る。例えば、図１Ａは従来の超音波画像を示している。これに対して、図１Ｂは、例示的な３次高調波画像を示している。
【0011】
超音波システムが病院および診療所においてより柔軟で手ごろな価格になるにつれ、高画質で加速されたイメージング速度による高調波イメージングを有することが望まれる。近年、深層学習に基づく技術が、優れた画質および高速な画像取得で高調波イメージングを改善するための良好な解決策を提供している。深層学習は、所望の位相を有するより少ないパルスを同じラインに沿って組織内に順次送信し、同時に取得フレームレートを改善することによって、高調波の画質を改善するのに役立ち得る。
【0012】
深層学習に基づくフレームワークは、第２または第３高調波（すなわちＩＱ２およびＩＱ３）を直接使用することができ、または代わりに、ＩＱ０、ＩＱ１およびＩＱ２などの、より基本的な周波数を含むＩＱデータを使用して、高次または複合高調波画像を得ることができる。このようなフレームワークは、特徴を認識し、深度に依存し、異なるＢＭＩおよび／または人口統計学的情報を有する患者用にカスタマイズすることができる。
【0013】
しかし、１つの問題は、通常、深層ニューラルネットワークは、膨大な計算コストおよびメモリコストを伴う、より深い、またはより広いネットワーク構造を必要とすることである。したがって、その大きなメモリコストおよび数値コストが、特に高フレームレートのリアルタイムイメージングに対して、深層ニューラルネットワークを実世界の解決策に適用することを妨げている。性能指標を大きく損なうことなくモデルサイズを縮小することは、時間およびメモリ効率の高い超音波イメージングにとって極めて重要である。これはまた、メモリサイズ、推論速度、およびネットワーク帯域幅のすべてが厳しく制約される携帯型超音波診断に特に有用である。
【0014】
軽量モデルを開発するために、効率的なアーキテクチャの使用、モデルの量子化、枝刈り、および知識蒸留を含む、他の分野で過去に多くの試みがなされてきた。しかし、これらのアプローチはいずれも、超音波イメージング特性に合わせた高調波超音波イメージング用に特別に設計されたものではない。
【0015】
例えば、現在の知識蒸留モデルのほとんどは、分類問題用に設計されている。加えて、生徒モデルと教師モデルのギャップが大きい場合、生徒モデルの性能が低下することがあり、生徒モデルは、データの多様性により、すべてのデータセットに対してではなく、いくつかのケースにおいてのみ最適でない可能性がある。これは、ユーザが走査深度、ビーム数、焦点、周波数、イメージング解剖学、ゲインなどを自由に変更することができる超音波イメージングに特に一般的である。したがって、超音波イメージングのタスクに対して、より優れた汎化能力を有する、よりロバストな生徒モデルを有することが望ましい。
【0016】
図２は、超音波イメージングシステムのためのシステム図である。超音波イメージングシステム２００は、様々なトランスデューサ２０２のいずれかを含むことができる。トランスデューサのタイプには、凸型、直線型、およびセクタ型、ならびに特別な目的のために設計されたものが含まれる。トランスデューサ２０２によって受信された信号は、コンピュータシステム２０４で処理される。超音波イメージングシステム２００は、個々のビームからの信号が隣接するビームからの重複するデータとマージされるマルチ高調波コンパウンディング（ｍｕｌｔｉ－ｈａｒｍｏｎｉｃ ｃｏｍｐｏｕｎｄｉｎｇ）を含むこともできる。
【0017】
超音波画像は、一般的に１から１０ＭＨｚ程度以上の、人間に聞こえる範囲を超える周波数の音波から作成される。トランスデューサ２０２は高周波を放射し、組織の界面から跳ね返ってくる反射波（基本周波数）を一連の時間領域信号として記録する。超音波画像の１つのタイプは、Ｂモード画像としても知られる輝度画像であり、これは被検体のグレースケール、強度ベースの表現である。
【0018】
トランスデューサ２０２が受信する生の信号は高周波領域であり、高周波（Radio Frequency、ＲＦ）データとして知られている。一連の信号処理ステップは、ＲＦデータからＢモード画像などの超音波画像に変換するためにコンピュータシステム２０４内で実行される。１つの前処理ステップは、ＲＦデータをベースバンドに復調し、データを格納するのに必要な帯域幅を低減するために信号を間引くことである。この新しい信号は同相／直交位相（In-phase and Quadrature phase、ＩＱ）信号と呼ばれ、一般的に複素数で表される。本開示では、ＩＱデータとＲＦデータは、どちらもトランスデューサからの生データを表すが、フォーマットが異なるため、互換的に使用される。加えて、本開示の深層ニューラルネットワークの実施形態は、ＩＱデータまたはＩＱデータに基づく超音波画像のいずれかを入力として取り込むように構成される。
【0019】
コンピュータシステム２０４は、携帯型超音波診断装置に組み込むことができ、リモートサーバとすることができ、またはインターネットを介してアクセスされるクラウドサービスとすることができる。超音波イメージングシステム２００は、１つ以上の超音波画像を表示するための少なくとも１つの表示デバイス２０６を含む。表示デバイス２０６は、ＬＣＤディスプレイ、ＬＥＤディスプレイ、有機ＬＥＤディスプレイなどのいずれかであることができる。ディスプレイサイズおよび解像度は、コンピュータシステム２０４によって出力される超音波画像を表示するのに十分である。
【0020】
上述したコンピュータシステム２０４によって、以下の処理方法を実行することができる。
【0021】
一実施形態では、以下により詳細に説明するように、複数の教師モデルのうち、最もよく訓練された教師モデルが知識蒸留のために使用される。このアイデアは、オフライン知識蒸留のために実施され、代替的に、オンライン自己知識蒸留のために使用することができる。
【0022】
一実施形態では、オフライン知識蒸留において、本方法はまず、大規模データセット上で重くて強力な深層ネットワークを使用して一連の教師モデルを訓練する。畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）は、視覚認識タスクで使用されている。ＣＮＮは、例えばＩｍａｇｅＮｅｔデータセットのように、１００万枚の訓練画像などの大規模な訓練画像セットで訓練することができる。ＩｍａｇｅＮｅｔは、８つの層および数百万のパラメータを有した。非常に重くて強力な深層畳み込みネットワークは、大規模な画像認識のために使用することができる。深層ニューラルネットワークは、例えば視覚用のあらゆる深層ニューラルネットワークであり得る。上述したように、畳み込みニューラルネットワークは優れた結果を示しており、特にＵ－Ｎｅｔアーキテクチャは、完全な畳み込みニューラルネットワークよりも少ないデータセットでの訓練を可能にする。また、多層パーセプトロンまたはビジョントランスフォーマを含む他のタイプの深層ニューラルネットワークを使用して、深層ニューラルネットワークを実装してもよい。
【0023】
次に、教師モデルの結果のうち、与えられた訓練データセットについて、最良の教師の知識は、小さなネットワーク、例えば、より少ない層およびパラメータを有する生徒モデルに転送される。生徒モデルの訓練には、与えられた入力に対する最良の教師モデルの結果のみが使用される。最良の教師モデルとは、例えば、最も高い精度を有するネットワークであるが、他の基準を使用することもできる。したがって、生徒は複数の教師から学習することができ、常に様々な訓練データのセットに対して既知の最良の教師から学習することが保証される。この戦略では、例えば、グランドトゥルースのターゲットデータが欠落している場合、生徒モデルの訓練のためにより多くの訓練データのペアを生成することもできる。これにより、データの多様性（例えば、様々なイメージング条件、周波数、イメージング深度、ビーム数など）を高めるための効果的なデータ増強が可能になる。
【0024】
一実施形態では、オンライン自己知識蒸留において、生徒ネットワークは、事前に訓練された「教師」ネットワークなしで、それ自身の知識を蒸留することによって漸進的に訓練される。最良の教師の概念を使用するために、生徒モデルは、現在のモデルの訓練プロセスを導くために、過去最良の生徒モデルを使用して更新される。この戦略は単純なネットワーク構造を使用し、モデルの汎化能力を向上させる。これは、生徒モデルと「教師」モデルとの間のギャップを縮小し、様々なイメージング条件においてよりロバストでありながらも軽量な構造のネットワークにするのに非常に有用である。
【0025】
図３は、超音波組織高調波イメージングの方法を示す図である。超音波の遠距離場画像でより多くの信号を得るために、２次高調波と３次高調波の両方の画像を取得することができる。上述したように、１つの方法はＤＴＨＩ法であり、この方法では、ｆ１およびｆ２と呼ばれる異なる周波数で同時に２つのパルスが送信される。特に、それらの第２高調波周波数（２ｆ１および２ｆ２）に加えて、送信周波数の和および差（それぞれｆ２＋ｆ１およびｆ２－ｆ１）が組織内で発生する。低い周波数（２ｆ１）および差の周波数（ｆ２－ｆ１）のそれぞれの第２高調波信号３１６は、トランスデューサによって検出される。しかし、この方法はパルス生成に長い時間間隔３１２を必要とする。その結果、フレームレートが遅くなり、特に組織に動きがある場合には低画質のイメージングにつながる。
【0026】
図４は、オフライン知識蒸留の一実施形態のフロー図である。
【0027】
ステップＳ４０２において、複数の重くて強力な深層教師モデル４５２が、様々なＩＱ入力データ４６２および所望の高調波ＩＱデータ／画像である出力データ４６４を使用して訓練される。一実施形態では、各教師モデルのための深層学習ベースのフレームワークは、トランスデューサ２０２によって受信され、コンピュータシステム２０４におけるデータ処理ステップを受ける、様々な異なる組み合わせのＩＱデータを入力し、改善された画質、より少ない近距離音場アーチファクト、改善されたコントラスト、およびより深い到達度（ｐｅｎｅｔｒａｔｉｏｎ）を有する所望の画像を出力するように構成される。深層学習に基づくフレームワークは、２次もしくは３次の高調波を直接使用することができ、または代わりに、基本周波数を含むデータを使用することもできる。入力ＩＱデータは、基本周波数信号、２次高調波信号、および３次高調波信号の組み合わせ（ＩＱ０）を含むことができる。ＩＱデータは、基本超音波周波数と３次高調波の組み合わせ（ＩＱ１）を含むことができる。入力ＩＱデータは、２次高調波信号（ＩＱ２）のみ、または３次高調波信号（ＩＱ３）のみを含むこともできる。また、入力ＩＱデータは、３次よりも大きい他の高次高調波であることもできる。
【0028】
ステップＳ４０６において、必要に応じてデータ増強を実行することができ、訓練された教師モデル４５２の各々は、様々なテストデータセット上で推論を実行する。各データセットについて、最良の出力結果／特徴マップを有する教師モデルが、そのデータセットの軽量な生徒モデル４７４を訓練するために使用される教師モデル４７２として選択される。
【0029】
ステップＳ４１０において、増強されたデータペア（ＩＱ入力データ４６２、および対応するＩＱ入力データ４６２の最良の教師モデルの出力データ４６４から生じる知識蒸留データ４６８）を使用して、生徒モデル４７４が高調波イメージングのために訓練される。
【0030】
オフライン知識蒸留プロセスを図６～図８のフローチャートにさらに示す。図６において、訓練プロセスは、ステップＳ６０２において、基本波成分および高調波成分を含む第１の訓練超音波データを複数の教師モデルの各々に入力することと、ステップＳ６０４において、第１の訓練超音波データを教師入力データとして、高調波成分を含む第２の訓練超音波データを教師ターゲットデータとして、複数の教師モデルの各教師モデルを訓練することとを含む。
【0031】
ステップＳ６０６において、本方法は、複数の訓練された教師モデルの各教師モデルについて、第１の超音波データの教師モデルへの入力に応答して、教師モデルから出力される対応する第１の推定データを取得することを含む。
【0032】
ステップＳ６０８において、本方法は、訓練された教師モデルの各々から出力される対応する第１の推定データを評価することによって、複数の訓練された教師モデルのうちの、第１の特定の教師モデルを選択することを含む。
【0033】
ステップＳ６１０において、第１の超音波データを生徒入力データとして、選択された第１の特定の教師モデルの対応する第１の推定データを生徒ターゲットデータとして、生徒モデルを訓練する。
【0034】
図７は、図６の方法のさらなるステップのフローチャートである。ステップＳ７０２において、本方法は、訓練された複数の教師モデルの各教師モデルについて、第１の超音波データとは異なる第２の超音波データの教師モデルへの入力に応答して、教師モデルから出力される対応する第２の推定データを取得することを含む。
【0035】
ステップＳ７０４において、本方法は、訓練された教師モデルの各々から出力される対応する第２の推定データを評価することによって、複数の訓練された教師モデルのうちの、第２の特定の教師モデルを選択することを含む。
【0036】
ステップＳ７０６において、本方法は、第２の超音波データを生徒入力データとして、選択された第２の特定の教師モデルの対応する第２の推定データを生徒ターゲットデータとして、生徒モデルを訓練することを含む。
【0037】
図８は、図６のさらなるステップのフローチャートである。ステップＳ８０２において、本方法は、入力超音波データを訓練された生徒モデルに入力することにより、高調波成分を含む出力超音波データを生成することを含む。
【0038】
図５は、オンライン自己知識蒸留訓練プロセスの一実施形態のフロー図である。
ステップＳ４０２において、ＩＱ入力データ４６２を前処理し、その後生徒モデル４７４に入力することができる。ＩＱ入力データ４６２に対応するターゲットＩＱデータは、図５に示す出力データ４６４である。ステップＳ４０４において、生徒モデルに入力されたのと同じＩＱ入力データ４６２が、以前の最良の生徒モデルである可能性のある擬似最良教師モデル４８２に入力される。ここで、生徒モデル４７４および擬似最良教師モデル４８２は、例えば、同じネットワーク構造およびパラメータ数を有することができる。生徒モデルの出力である知識蒸留データ４６８、擬似教師モデルの出力４８４、および所望／ターゲット出力データ４６４は、損失関数値を計算するために使用され、その後、生徒モデル４７４のパラメータを更新するために使用される。生徒モデル４７４の訓練中、擬似最良教師モデルのパラメータは固定されたままである。
ステップＳ４０２において、ＩＱ入力データ４６２を前処理し、その後生徒モデル４７４に入力することができる。ＩＱ入力データ４６２に対応するターゲットＩＱデータは、図５に示す出力データ４６４である。ステップＳ４０４において、生徒モデルに入力されたのと同じＩＱ入力データ４６２が、以前の最良の生徒モデルである可能性のある擬似最良教師モデル４８２に入力される。ここで、生徒モデル４７４および擬似最良教師モデル４８２は、例えば、同じネットワーク構造およびパラメータ数を有することができる。生徒モデルの出力である知識蒸留データ４６８、擬似教師モデルの出力４８４、および所望／ターゲット出力データ４６４は、損失関数値を計算するために使用され、その後、生徒モデル４７４のパラメータを更新するために使用される。生徒モデル４７４の訓練中、擬似最良教師モデルのパラメータは固定されたままである。
【0039】
一実施形態では、オンライン訓練プロセスは、以下の擬似コードで表すことができ、（ＦＳ，θＳ）は生徒モデル４７４を表し、θｓは訓練可能なパラメータのセットであり、（ＦＴ，θＴ）は擬似最良教師モデル４８２を表し、θＴは凍結パラメータ（ｆｒｏｚｅｎ ｐａｒａｍｅｔｅｒ）のセットであり、Ｌ（ＺＳ、ｙ’；θＳ）は、モデル入力ｘ’に対するグランドトゥルースｙ’（所望のＩＱ出力データ４６４）と生徒モデル出力ＺＳ（知識蒸留データ４６８）の間の損失であり、Ｌ（ＺＳ、ＺＴ；θＳ）は、擬似最良教師モデル出力ＺＴ（出力４８４）と生徒モデル出力ＺＳ（知識蒸留データ４６８）の間の損失であり、λは損失の重みである。
【0040】
【数1】
【0041】
ここで、損失関数の重みλは、一定のハイパーパラメータとすることもでき、またはλをエポックの関数として設定することもできる。例えば、ステップごと、指数的、線形成長である。さらに、ＭＳＥ、ＭＡＥ、特徴マップベース、またはノイズを含む教師から学習したターゲットの外れ値検出を考慮した損失関数など、加重損失を計算するために異なる損失関数を利用することができる。
【0042】
【0043】
訓練プロセスは、ステップＳ９０２において、基本波成分および高調波成分を含む第１の超音波データを入力超音波データとして、高調波成分を含む第２の超音波データを第１の超音波データに対応するターゲット出力超音波データとして取得することを含む。
【0044】
ステップＳ９０４において、本方法は、教師出力超音波データを生成するために、第１の超音波データを以前に訓練された教師モデルに入力することを含む。
【0045】
ステップＳ９０６において、本方法は、生徒出力超音波データを生成するために、第１の超音波データを生徒モデルに入力することを含む。
【0046】
ステップＳ９０８において、本方法は、生成された教師出力超音波データ、生成された生徒出力超音波データ、およびターゲット出力超音波データに基づいて、損失関数の損失値を計算することを含む。
【0047】
ステップＳ９１０では、本方法は、計算された損失値に基づいて生徒モデルのパラメータを更新することを含む。
【0048】
ステップＳ９１２において、本方法は、生徒モデルのパラメータが収束基準を満たすまで、異なる入力超音波データおよび対応する異なる第２の超音波データに対して、取得、入力、計算、および更新のステップを繰り返す。
【0049】
【0050】
ステップＳ１００２において、本方法は、生成された生徒出力超音波データおよびターゲット出力超音波データに基づいて、第１の損失関数の第１の損失値を計算することを含む。
【0051】
ステップＳ１００４において、本方法は、生成された教師出力超音波データおよび生成された生徒出力超音波データに基づいて、第２の損失関数の第２の損失値を計算することを含む。
【0052】
ステップＳ１００６において、本方法は、第１の損失値と第２の損失値との加重和として損失値を計算することを含む。
【0053】
図１１は、図９の更新ステップ（すなわち、ステップＳ９１０）のフローチャートである。ステップＳ１１０２では、訓練された教師モデルのパラメータを更新することなく、生徒モデルのパラメータを更新することを含む。
【0054】
図１２は、本開示の例示的な態様による、推論ステップのフローチャートである。ステップＳ１２０２において、本方法は、入力超音波データを訓練された生徒モデルに入力することにより、高調波成分を含む出力超音波データを生成することを含む。
【0055】
本開示では、異なる入力および要求される出力に基づいて、高調波イメージングのための知識蒸留を行う様々な方法があり、以下のものが含まれる。
【0056】
１．逆パルスシーケンスを直接使用して、ＩＱ１（基本波＋第３高調波）を得、深層学習技術を使用して第３高調波を抽出し、臨床で使用されている第２高調波イメージングを置き換える。次に、教師－生徒モデルを用いて、高速イメージングのためのコンパクトなネットワークを訓練する。
【0057】
２．第２および第３高調波ＩＱデータまたは画像を直接使用して、所望のターゲット高調波ＩＱデータ／画像を取得するための生徒ネットワークを訓練し、エンドツーエンドの訓練、およびフュージョンマップを訓練することを含み、フュージョンマップに基づいて損失を計算する。
【0058】
３．ＩＱ１（基本波＋第３高調波）およびＩＱ２（第２高調波）のデータまたは画像を直接使用して、ターゲットＩＱデータ／画像を取得するための生徒モデルを訓練し、エンドツーエンドの訓練、およびＩＱ１からＩＱ３を取得するためにネットワークを訓練することを含み、推定されたＩＱ３をＩＱ２とスマートに融合する。
【0059】
４．ＩＱ０（基本波＋第２高調波＋第３高調波）を直接使用して、ターゲット高調波ＩＱデータ／画像を取得し、エンドツーエンド訓練、およびＩＱ０からＩＱ２（第２高調波）とＩＱ３（第３高調波）を分割するようにネットワークを訓練することを含み、所望のＩＱデータ／画像を出力する。
【0060】
５．より高次の高調波については、フレームワークを拡張して、より高次の高調波ＩＱデータ／画像を取得することができる。
【0061】
開示された方法は、深層畳み込みニューラルネットワークの知識蒸留を使用して、加速され強化された超音波組織高調波イメージングを実行することを目的としている。知識蒸留に関する従来の研究は、ほとんどが従来のコンピュータビジョンの分類問題を対象としており、超音波イメージングおよび回帰問題には直接適していない。
【0062】
最良の教師モデルとしてのオフライン知識蒸留と、最良の教師のためのオンライン自己知識蒸留の両方が、高調波イメージングのための軽量生徒モデルを訓練するために提供される。オフライン訓練では、データの多様性に関係なく、生徒の訓練のために使用される複数の教師モデルの中で最高性能の教師が保証される。オンライン訓練では、教師ネットワークは重みを有する固定モデルではなく、訓練の進行に応じて動的に進化する。生徒と同じ構造を共有しているため、異なる構造の教師ネットワークを使用する場合と比較して、オンライン訓練の時間が節約される。
【0063】
その結果、このフレームワークは、教師と生徒の間のギャップを最小化するために最高性能の教師を提供し、また、軽量な生徒モデルの汎化能力を向上させる。これは、計算能力および帯域幅が限られたシステムであっても、様々な走査条件下で、様々なシステム上で超音波高調波イメージングのためのロバストで高速なＤＣＮＮネットワークを生成するために特に有用である。
【0064】
入力およびタスクの要件に応じて、本方法は、アーチファクトが少なく、コントラストが改善され、加速されたフレームレートでより深く到達する高調波を提供することができる。本方法は、高速な特徴認識型の深度依存性の高調波を提供することができ、これは必ずしも純粋な高調波または純粋な複合高調波である必要はなく、フレームレートを大幅に削減した拡張高調波（深度依存性、特徴認識型）とすることもできる。
【0065】
超音波高調波イメージングでは、より高次の高調波を取得するために、従来の複数のパルスシーケンス法ではフレームレートが制限され、モーションアーチファクトに悩まされる。深層学習に基づく方法は、特徴認識型の優れた高調波の画質を取得するための解決策を提供することができる。しかし、深層ネットワークを直接実装することは、膨大な計算能力およびメモリを必要とするため、使用できないことがある。この知識蒸留フレームワークは、加速されたイメージング速度で高度な超音波高調波イメージング問題を解決するためのロバストな解決策を提供する。高速超音波高調波イメージングのための知識蒸留フレームワークは、フレームレートを向上させながら高調波の画質を改善する。
【0066】
本開示では、訓練された生徒ネットワークを使用して、より少ないパルスシーケンスを送信する深層ネットワークで、より高次の高調波または強化された高調波を取得する。超音波高調波イメージングにおける知識蒸留のために、オフラインとオンライン両方の最良の教師の訓練フレームワークが提供される。このモデルは高調波イメージングを加速し、計算能力およびメモリに制限のある超音波システムに簡単に実装することができる。このモデルアーキテクチャは、高品質の高調波イメージングを実行するための携帯型超音波システムを含む、低コストの超音波システムに特に適している。
【0067】
図１３は、本開示の例示的な態様による機械学習訓練および推論方法を実施するための、例示的なコンピュータシステム２０４を示すブロック図である。コンピュータシステムは、例えばＵｂｕｎｔｕ Ｌｉｎｕｘ（登録商標）ＯＳ、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ、Ｕｎｉｘ ＯＳのバージョン、またはＭａｃ ＯＳ Ｓｅｒｖｅｒなどの、サーバのオペレーティングシステムを実行するＡＩワークステーションであってもよい。コンピュータシステム１３００は、複数のコアを有する１つ以上の中央処理装置（Central Processing Unit、ＣＰＵ）１３５０を含んでもよい。コンピュータシステム１３００は、複数のＧＰＵを有するグラフィックボード１３１２を含んでもよく、各ＧＰＵはＧＰＵメモリを有する。グラフィックボード１３１２は、開示された機械学習方法の数学的演算の多くを実行してもよい。他の実施形態では、コンピュータシステム１３００は、機械学習エンジンを含んでもよい。機械学習エンジンは、開示された機械学習方法の数学的演算の多くを実行してもよい。コンピュータシステム１３００は、ＣＰＵ１３５０およびＧＰＵ（グラフィックボード１３１２）によって実行されるソフトウェアを含むメインメモリ１３０２、典型的にはランダムアクセスメモリＲＡＭ、ならびにデータおよびソフトウェアプログラムを格納するための不揮発性記憶デバイス１３０４を含む。Ｉ／Ｏバスインターフェース１３１０、キーボード、タッチパッド、マウスなどの入力／周辺機器１３１８、ディスプレイアダプタ１３１６および１つ以上のディスプレイ１３０８（２０６）、ならびにネットワーク９９を介した有線または無線通信を可能にするネットワークコントローラ１３０６を含む、コンピュータシステム１３００と相互作用するためのいくつかのインターフェースが提供され得る。インターフェース、メモリ、およびプロセッサは、システムバス１３２６を介して通信してもよい。コンピュータシステム１３００は電源１３２１を含むが、これは冗長電源であってもよい。
【0068】
いくつかの実施形態では、コンピュータシステム１３００は、サーバＣＰＵと、ＧＰＵが複数のＣＵＤＡ（登録商標）コアを有するＮＶＩＤＩＡ（登録商標）によるグラフィックカードとを含み得る。
【0069】
上述したハードウェアの説明は、本明細書で説明する機能を実行するための対応する構造の非限定的な例である。また、実施形態は、超音波診断装置に限られず、その他の医用モダリティについてついても同様に適用可能である。また、超音波診断装置と独立した画像処理装置が、同様の処理を行ってもよい。
【0070】
上記の教示に照らして、本開示の多数の修正および変形が可能である。したがって、特許請求の範囲内で、本発明は、本明細書に具体的に記載された方法とは異なる方法でも実施され得ることを理解されたい。
【0071】
以上説明した少なくとも１つの実施形態によれば、画質を向上させることができる。
【0072】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0073】
４５２ 教師モデル
４６２ ＩＱ入力データ
４６４ 出力データ
４６８ 知識蒸留データ
４７２ 教師モデル
４７４ 生徒モデル
４８２ 擬似教師モデル
４８４ 出力
４６２ ＩＱ入力データ
４６４ 出力データ
４６８ 知識蒸留データ
４７２ 教師モデル
４７４ 生徒モデル
４８２ 擬似教師モデル
４８４ 出力
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】