特開 2024-149425 データ処理装置、データ処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024149425

(43)【公開日】2024-10-18

(54)【発明の名称】データ処理装置、データ処理方法及びプログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241010BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024060067

(22)【出願日】2024-04-03

(31)【優先権主張番号】18/296,840

(32)【優先日】2023-04-06

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】ティン シア

(72)【発明者】

【氏名】ジエン ジョウ

(72)【発明者】

【氏名】リヤン ツァイ

(72)【発明者】

【氏名】ジョウ ユウ

(72)【発明者】

【氏名】今村 智久

(72)【発明者】

【氏名】岩崎 亮祐

(72)【発明者】

【氏名】高橋 広樹

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601DE09

4C601EE04

4C601JC06

4C601KK12

(57)【要約】

【課題】画質を向上させること。
【解決手段】実施形態に係るデータ処理装置は、処理回路を備える。処理回路は、少なくとも１つの高調波成分を含む第１の超音波データを受信し、入力超音波データおよび前記入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に前記第１の超音波データを適用し、前記強化された超音波画像データを出力する。
【選択図】図６

【特許請求の範囲】

【請求項1】

少なくとも１つの高調波成分を含む第１の超音波データを受信し、
入力超音波データおよび前記入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に前記第１の超音波データを適用し、前記強化された超音波画像データを出力する処理回路を備える、データ処理装置。

【請求項2】

前記第１の超音波データは、基本周波数成分および３次高調波成分を含む、請求項１に記載のデータ処理装置。

【請求項3】

前記処理回路はさらに、
２次高調波成分を含む第２の超音波データを受信し、前記第１の超音波データおよび前記第２の超音波データを前記訓練済みニューラルネットワークモデルの入力に適用して、２次高調波画像と融合した３次高調波画像を含む前記強化超音波画像データを生成する、請求項２に記載のデータ処理装置。

【請求項4】

前記訓練済みニューラルネットワークは、前記入力された第１の超音波データに基づいて３次高調波画像を出力し、
前記処理回路はさらに、２次高調波成分を含む第２の超音波データを受信し、前記第２の超音波データを、ノイズ除去された２次高調波画像を出力する別の訓練済みニューラルネットワークモデルに適用し、
前記別のニューラルネットワークは、入力超音波データおよび前記入力超音波データに対応するノイズ除去された超音波データを含む訓練データを用いて訓練された、請求項２に記載のデータ処理装置。

【請求項5】

前記処理回路はさらに、前記３次高調波画像と前記ノイズ除去された２次高調波画像とを融合して融合画像を生成するように構成される、請求項４に記載のデータ処理装置。

【請求項6】

前記第１の超音波データは３次高調波成分を含み、
前記処理回路はさらに、２次高調波成分を含む第２の超音波データを受信し、前記第１の超音波データおよび前記第２の超音波データを前記訓練済みニューラルネットワークモデルの入力に適用して、２次高調波画像と融合した３次高調波画像を含む前記強化超音波画像データを発生する、請求項１に記載のデータ処理装置。

【請求項7】

前記第１の超音波データは、基本周波数成分と、２次高調波成分と、３次高調波成分とを含み、
前記処理回路はさらに、前記第１の超音波データを前記訓練済みニューラルネットワークに適用して前記強化超音波画像データを生成し、前記訓練済みニューラルネットワークモデルは、前記第１の超音波データから３次高調波データおよび２次高調波データを抽出し、前記強化超音波画像データを生成する、請求項１に記載のデータ処理装置。

【請求項8】

前記第１の超音波データは、３次より高次の高次高調波成分を含み、
前記訓練済みニューラルネットワークモデルは、ノイズを低減して前記第１の超音波データから推定高次画像を生成する、請求項１に記載のデータ処理装置。

【請求項9】

前記強化された超音波画像データは、所定の深さの位置の信号を強化する、請求項１に記載のデータ処理装置。

【請求項10】

前記対象超音波データは、所定の特徴を有するデータで構成される、請求項１に記載のデータ処理装置。

【請求項11】

前記強化された高調波画像は、肥満度の特定の範囲に関連する特徴を有する、請求項１に記載のデータ処理装置。

【請求項12】

前記強化された高調波画像は、特定の人口統計情報に関連する特徴を有する、請求項１に記載のデータ処理装置。

【請求項13】

前記強化された超音波画像データは、Ｂモード超音波画像である、請求項１に記載のデータ処理装置。

【請求項14】

少なくとも１つの高調波成分を含む第１の超音波データを受信し、
入力超音波データおよび前記入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に前記第１の超音波データを適用し、
前記強化された超音波画像データを出力する、データ処理方法。

【請求項15】

少なくとも１つの高調波成分を含む第１の超音波データを受信し、
入力超音波データおよび前記入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に前記第１の超音波データを適用し、
前記強化された超音波画像データを出力することを含む方法を処理回路に行わせるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、データ処理装置、データ処理方法及びプログラムに関する。

【背景技術】

【0002】

超音波組織ハーモニックイメージング（Ultrasound Tissue Harmonic Imaging：ＵＴＨＩ）は、超音波ビームが生体組織に照射されて、パルスエコー周期の送信フェーズにおいて非線形歪みから調和波を生成する信号処理技術である。組織高調波画像は、トランスデューサーによって周波数スペクトルを送信し、基本周波数の帯域（以下、基本周波数と呼ぶ）の基本エコーならびに生体内で発生する高調波を含む周波数スペクトルを受信することによって得られる。ハーモニックイメージングでは、組織で発生する高調波信号を収集し基本波エコー信号をフィルタリングすることによって高調波画像が得られ、より鮮明な画像を得ることができる。

【0003】

例えば、差分組織ハーモニックイメージング（Differential Tissue Harmonic Imaging：ＤＴＨＩ）では、２つのパルスが、ｆ_１、ｆ_２と呼ばれる異なる周波数で同時に送信される。特に、その第２高調波周波数（２ｆ_１、２ｆ_２）に加えて、送信周波数（ｆ_２＋ｆ_１、ｆ_２－ｆ_１）の和と差が組織内に発生する。低周波数の第２高調波信号（２ｆ_１）および差分周波数（ｆ_２－ｆ_１）がトランスデューサーによって検出される。その他の発生周波数成分は、トランスデューサーの帯域幅に収まらない。ＤＴＨＩを使用することによって、より高い解像度、より高い深達度、より少ないアーチファクトを実現できる。

【0004】

このように、超音波ハーモニックイメージングにおいて、高次高調波によって画像のアーチファクトの大幅な低減、コントラスト対ノイズ比の向上、位置分解能の向上が可能である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０２０／０３４２５９３号明細書

【特許文献2】米国特許出願公開第２０１８／０３３０５１８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、画質を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係るデータ処理装置は、処理回路を備える。処理回路は、少なくとも１つの高調波成分を含む第１の超音波データを受信し、入力超音波データおよび前記入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に前記第１の超音波データを適用し、前記強化された超音波画像データを出力する。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、従来技術に係る超音波画像の一例を示した図である。

【図1B】図１Ｂは、３次高調波画像の一例を示した図である。

【図2】図２は、超音波イメージングシステムについて示した図である。

【図3】図３は、超音波組織ハーモニックイメージングの従来の方法を示した図である。

【図4】図４は、本開示の例示的な態様による、超音波組織ハーモニックイメージングにおける解決策を示す図である。

【図5】図５は、本開示の例示的な態様による、残差ネットワークのアーキテクチャーを示した図である。

【図6】図６は、本開示の例示的な態様による、所望の強化された高調波ＩＱデータを生成するためのディープニューラルネットワークを示したブロック図である。

【図7】図７は、本開示の例示的な態様による、所望の強化された高調波ＢモードＩＱデータまたは超音波画像を生成するためのディープニューラルネットワークを示したブロック図である。

【図8】図８は、ＩＱ１（基本周波数および３次高調波）およびＩＱ２（２次高調波）の入力に基づくディープニューラルネットワークによって生成された超音波画像の例を示す図である。

【図9】図９は、図８とは別の組の超音波画像を示す図である。

【図10】図１０は、本開示の例示的な態様による、２次高調波画像および３次高調波画像において直接訓練されるディープニューラルネットワークのブロック図である。

【図11】図１１は、本開示の例示的な態様による、３次高調波を抽出するように訓練された代替的なディープニューラルネットワークと、抽出された３次高調波を２次高調波と融合させるように訓練された融合ネットワークモデルのブロック図である。

【図12】図１２は、本開示の例示的な態様による、ＩＱ１データ／画像および２次高調波において直接訓練される代替的なディープニューラルネットワークのブロック図である。

【図13】図１３は、本開示の例示的な態様による、抽出された３次高調波と浄化された２次高調波に基づいて訓練された代替的な融合ネットワークのブロック図である。

【図14】図１４は、本開示の例示的な態様による、ＩＱ０データ／画像から２次高調波および３次高調波を分割するように訓練された抽出ネットワークのブロック図である。

【図15】図１５は、本開示の例示的な態様による、機械学習訓練および推論方法を実施するための例示的なコンピューターシステム２０４を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、データ処理装置、データ処理方法及びプログラムの実施形態について詳細に説明する。

【0010】

いくつかの図において同様の参照符号は同一または対応する部品を示す。さらに、「ほぼ」、「近似の」、「約」および類似の用語は、一般的に、２０％、１０％、また好ましくは５％のマージン内の特定された値を含む範囲、およびそれらの間の任意の値を指す。

【0011】

高次ハーモニックイメージングにより、アーチファクトが減少し解像度が向上した画像が得られる。しかし、高次（２次高調波より高い）ハーモニックイメージングは高周波信号の減衰が早いため、到達深度に限界がある。例えば、図１Ａには、遠距離領域１０２を詳細に表す従来の超音波イメージングの一例が示されており、図１Ｂには、３次高調波を用いた詳細に表す従来の超音波イメージングを示している。図１Ｂの場合では、遠距離領域１０２は、図１Ａの場合と比較して詳細は示されていない、このように、３次高調波の場合、一般的に遠距離画像ではより多くの信号損失が発生する。一方で、２次高調波は、高次高調波に比べてより深くまで到達することができる。しかし、２次ハーモニックイメージングには、アーチファクトが多くなり、近距離場でのコントラスト対ノイズ比が低下するという問題がある。血管などの解剖学的構造物の場合、コントラストを向上させた高次高調波画像を得ることが望ましい。

【0012】

従来の超音波イメージングでは、高次高調波を得るために、超音波トランスデューサーは、逆相または所望の位相を持つ複数のパルスを組織内に順次同一線上に沿って送信する必要がある。その後、画像取得の時間が長くなり、フレームレートが低くなる。しかし、組織の動きが発生する場合にはその動きが画質に大きく影響するため、高いフレームレートが特に重要である。また、高次高調波に対する従来の超音波イメージングは、一般的にトランスデューサーで受信した信号に限定される。フィルターは、ある周波数帯をフィルタリングして所望の周波数に集中するために使用されることがある。しかし、フィルタリングだけでは超音波画像の品質を向上させることはできない。

【0013】

本開示の態様は、超音波画像のための強化されたハーモニックイメージングを生成する深層畳み込みニューラルネットワークのシステム、デバイス、および方法を対象とする。開示された方法は、超音波トランスデューサーによって受信された信号を使用して、アーチファクトの減少、コントラストの改善、深部への到達に加えて、フレームレートが大幅に増加した高調波を得る。開示された方法は、必ずしも純粋な高調波や純粋な複合高調波ではなく、画質向上のために強化された（特徴認識、深度依存、ノイズ除去のために訓練された）高調波である、特徴認識型で深度に依存する高調波画像を提供できる。すなわち、実施形態に係るデータ処理装置は、少なくとも１つの高調波成分を含む第１の超音波データを受信し、入力超音波データおよび入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に第１の超音波データを適用し、強化された超音波画像データを出力する処理回路を備える。入力画像に基本周波数データが含まれるとは限らない。開示された方法では、異なるデータ取得モード（以下さらに定義されるＩＱ０、ＩＱ１、ＩＱ２、ＩＱ３を含む）で異なる情報を利用する。開示されたディープラーニングフレームワークによって、訓練後のディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）は頑強となり、異なる超音波スキャン条件に適用できる。高調波または複合高調波のみを提供する従来の方法とは異なり、開示された方法は特徴認識型訓練戦略を利用し、多様なＢＭＩおよび／または人口統計情報によって様々な患者、例えば、肥満型／やせ型患者、体脂肪量が異なる患者等にカスタマイズすることができる。換言すると、訓練に利用される対象超音波データは、肥満度の特定の範囲に関連する、または特定の人口統計情報に関連する、など所定の特徴を有するデータで構成されてもよく、強化された高調波画像は、肥満度の特定の範囲に関連する特徴を有する、または、特定の人口統計情報に関連する特徴を有していてもよい。

【0014】

図２は、超音波イメージングシステムの系統図である。超音波撮像装置２００は、一連のトランスデューサー２０２のいずれかを含むことができる。トランスデューサーの種類には、凸型、直線型、セクター型のほか、特殊な用途に設計されたものがある。トランスデューサー２０２で受信された信号は、コンピューターシステム２０４で処理される。コンピューターシステム２０４が、上述のデータ処理装置の一例である。超音波撮像装置２００はさらに、個々のビームからの信号が隣接するビームからの重複データと合成されるマルチハーモニックコンパウンディングを含んでもよい。

【0015】

超音波画像は、人間が聞き取れる範囲より高い周波数、一般的には１～１０ＭＨｚ以上の音波から作成される。トランスデューサー２０２は高周波を放射し、組織内の界面からの反射波（基本周波数）を一連の時間領域信号として記録する。超音波画像の一種はＢモード画像としても知られる輝度画像であり、グレースケールで強弱を付けて対象物を表す。

【0016】

トランスデューサー２０２が受信する未処理の信号は無線周波数範囲にあり、無線周波数（Radio Frequency：ＲＦ）データとして知られる。一連の信号処理ステップは、ＲＦデータからＢモード画像などの超音波画像に変換するために、コンピューターシステム２０４で実行される。前処理ステップとして、ＲＦデータをベースバンドに復調し、データの保存に必要な帯域幅を狭めるために信号をデシメーションする。この新しい信号は同相直交位相（In-phase and Quadrature phase：ＩＱ）信号と呼ばれ、一般に複素数で表現される。本開示では、ＩＱおよびＲＦデータは、いずれもトランスデューサーからの生データを表すため互換的に使用されるが、フォーマットは異なる。さらに、本開示のディープニューラルネットワークの実施形態は、ＩＱデータまたはＩＱデータに基づく超音波画像のいずれかを入力として取り込むように構成される。

【0017】

コンピューターシステム２０４は、携帯型超音波装置に内蔵可能であり、リモートサーバー、またはインターネットを介してアクセスされるクラウドサービスとしても可能である。超音波撮像装置２００は、１つ以上の超音波画像を表示するための少なくとも１つの表示デバイス２０６を含む。表示装置２０６は、液晶ディスプレイ、ＬＥＤディスプレイ、有機ＬＥＤディスプレイ等のいずれでもよい。コンピューターシステム２０４が出力する超音波画像を表示するのに十分な表示サイズおよび解像度を有する。

【0018】

図３は、超音波組織ハーモニックイメージングの方法を示す。超音波遠距離画像においてより多くの信号を得るために、２次高調波と３次高調波両方の画像を得ることができる。上述したように、１つの方法として、ｆ_１、ｆ_２として表す異なる周波数で２つのパルスを同時に送信するＤＴＨＩ方式がある。特に、その第２高調波周波数（２ｆ_１、２ｆ_２）に加えて、送信周波数の和と差（それぞれｆ_２＋ｆ_１、ｆ_２－ｆ_１）が組織内に発生する。低周波（２ｆ_１）、差周波（ｆ_２－ｆ_１）それぞれの２次高調波信号３１６、及び信号３１８がトランスデューサーによって検出される。ここで、送信位相が０度で送信された超音波の信号と、送信位相が１８０度で送信された超音波の信号とを加算すると、第２高調波が抽出された２次高調波信号３１６（ＩＱ２）が得られる。また、送信位相が０度で送信された超音波の信号から、送信位相が１８０度で送信された超音波の信号を減算すると、基本波成分及び３次高調波成分が抽出された信号３１８（ＩＱ１）が得られる。しかし、この方法では、パルス発生に長い時間間隔３１２を要する。その後、フレームレートが遅くなり、特に組織の動きがある場合、低画質のイメージングとなる。なお、送信位相が０度で送信された超音波の信号と、送信位相が１２０度で送信された超音波の信号と、送信位相が２４０度で送信された超音波の信号とを加算すると、３次高調波が抽出された信号（ＩＱ３）が得られる。

【0019】

図４は、超音波組織ハーモニックイメージングにおける開示された解決策を示す。一実施形態において、解決策として、基本超音波周波数と３次高調波の組み合わせである信号４１４を取得し、同時に２次高調波４１６を取得することによって、短い時間間隔４１２にパルスを発生させる。すなわち、送信位相が０度で送信された超音波の信号と、送信位相が１８０度で送信された超音波の信号とを加算すると、第２高調波が抽出された２次高調波信号（ＩＱ２）である２次高調波４１６が得られる。また、送信位相が０度で送信された超音波の信号から、送信位相が１８０度で送信された超音波の信号を減算すると、基本波成分及び３次高調波成分が抽出された信号（ＩＱ１）である信号４１４が得られる。ディープニューラルネットワーク４２２は、組み合わせ信号から推定３次高調波を生成する。ディープニューラルネットワーク４２２は、得られた２次高調波から、ノイズ除去された２次高調波を効果的に生成するように訓練される。さらに、ディープニューラルネットワーク４２２は、推定された３次高調波とノイズ除去された２次高調波とを効果的に融合して臓器固有の融合画像を生成するように訓練される。

【0020】

パルス生成の時間間隔４１２が短いことによって、動きの影響を低減し、アーチファクトを減少できる。ディープニューラルネットワーク４２２は、より短い信号取得時間で画質向上が可能である。

【0021】

一実施形態において、ディープラーニングを用いたフレームワークは、トランスデューサー２０２によって受信された様々な異なる組み合わせのＩＱデータを入力し、コンピューターシステム２０４におけるデータ処理ステップが実行され、画質の向上、近距離場アーチファクトの減少、コントラストの向上および深部への到達が得られた、所望の画像を出力するように構成される。ディープラーニングを用いたフレームワークでは、２次または３次の高調波を直接利用することができ、また代わりに基本周波数を含むデータを利用できる。入力されたＩＱデータは、基本周波数信号、２次高調波信号、３次高調波信号の組み合わせ（ＩＱ０）を含むことができる。ＩＱデータは、基本超音波周波数と３次高調波（ＩＱ１）の組み合わせを含むことができる。入力されたＩＱデータは、２次高調波信号（ＩＱ２）のみ、または３次高調波信号（ＩＱ３）のみ含むこともできる。入力されたＩＱデータはまた、３次より高次の他の高次高調波となり得る。

【0022】

ディープラーニングを用いたフレームワークには、所望の高調波データや所望の種類の画像を含む、特定の対象に対する訓練方法が実行される。このフレームワークは、特徴認識、深度依存性を学習することができ、異なる肥満度（Body Mass Index：ＢＭＩ）および／または人口統計情報の患者を考慮してカスタマイズすることができる。例えば、ディープラーニングを用いた訓練後のフレームワークは、高調波ＩＱデータ、または深度依存型のフュージョンマップを出力するように訓練される。

【0023】

ディープラーニングを用いたフレームワークを、多層パーセプトロン、Ｕ－ｎｅｔ等の畳み込みニューラルネットワーク、または融合ネットワークを含む構造として構成できる。畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）は、視覚認識タスクに使用されてきた。ＣＮＮは、ＩｍａｇｅＮｅｔデータセットと同様、例えば１００万枚の訓練画像といった、大きな訓練画像の組を用いて訓練可能である。ＩｍａｇｅＮｅｔは、８つの層と数百万個のパラメータを有する。非常に深い畳み込みネットワークは、大規模な画像認識に利用できる。

【0024】

あるディープラーニングネットワークアーキテクチャー（ＵーＮｅｔ）は、はるかに少ない画像で訓練できる。何千枚もの画像を使った訓練は、一般的なバイオメディカルタスクでは通常到達できない。ＵーＮｅｔのアーキテクチャーはアップサンプリング部と多数の特徴チャネルを有するので、ネットワークはより高い解像度レイヤーにコンテキスト情報を伝搬させることができる。その後、元のＵーＮｅｔアーキテクチャーは縮小パスと拡張パスで構成され、拡張パスが縮小パスに対してある程度対称であるため、Ｕ字型アーキテクチャーとなる。

【0025】

縮小パスは、一般的な畳み込みニューラルネットワークのアーキテクチャーに準ずる。ここでは、２つの３×３コンボリューション（パッドなしコンボリューション）を繰り返し適用し、それぞれに正規化線形ユニット（Rectified Linear Unit：ＲｅＬＵ）とダウンサンプリングのストライド２を用いた２×２最大値プーリング演算が続く。各ダウンサンプリングステップにおいて、特徴チャネル数が２倍になる。

【0026】

拡張パスの各ステップは、特徴チャネル数を半分にする２×２コンボリューション（「アップコンボリューション」）が後に続く特徴マップのアップサンプリングと、縮小パスから対応して切り出された特徴マップとの連結、およびそれぞれにＲｅＬＵが続く２つの３×３コンボリューションで構成される。最後の層では、１×１コンボリューションを使用して各６４成分特徴ベクトルを所望の数のクラスにマッピングする。ＵーＮｅｔと同様の畳み込みニューラルネットワークは、残差ネットワーク（ＲｅｓＮｅｔ）である。残差ネットワークは、ＵーＮｅｔよりも深い箇所に対応できる。図５は、本開示の例示的な態様による、残差ネットワークのためのアーキテクチャーである。ディープニューラルネットワークの実施形態は、図５のような残差ネットワーク５００であってもよい。残差ネットワーク５００は、スキップ接続５０６を含むことによってより深い箇所に対応できる。残差ブロック５０２は、バッチ正規化層（Batch Normalization：ＢＮ）と活性化層正規化線形ユニット（ＲｅＬＵ）が後に続く１つの畳み込み層（Ｃｏｎｖ２Ｄ、３×３カーネルサイズ）と、ＢＮが後に続く他の畳み込み層によって構築される。畳み込みブロック５０４は、１つの畳み込み層によって構築される。

【0027】

視覚用の畳み込みニューラルネットワークに代わるものとして、ビジョントランスフォーマー（Vision Transformer：ＶｉＴ）等のトランスフォーマーネットワークがある。ビジョントランスフォーマーには、通常画像エンコーダー層が含まれる。また、ビジョンタスクのために、ハイブリッドの畳み込みトランスフォーマーネットワークが開発されている。ディープラーニングを用いたフレームワークの実施形態は、ビジョントランスフォーマーとして構成できる。

【0028】

図６は、本開示の例示的な態様による、所望の強化された高調波ＩＱデータを生成するためのディープニューラルネットワークのブロック図である。本明細書で使用されるように、所望の強化された高調波ＩＱデータならびに所望の強化された高調波画像という用語は、入力高調波ＩＱデータまたは入力高調波画像のどれよりも優れた解像度、入力データまたは画像よりも少ない近距離場アーチファクト、入力データまたは画像よりも優れたコントラスト、ならびに深度への到達を実現する、超音波画像を示す。所望の強化された高調波データまたは画像は、特徴を認識し、深度に依存し、異なる肥満度および／または人口統計情報で患者に基づいてカスタマイズされた、１つまたは複数の訓練対象として使用することができる。

【0029】

後述するように、ディープニューラルネットワークのハードウェア構成は、特殊な目的の機械学習処理ユニットを含む処理チップ、または少なくともマルチコア中央処理ユニットを有するコンピューターシステムにおいて実装できる。ディープニューラルネットワークを実装するためのソフトウェアとしては、ＰｙＴｏｒｃｈ、Ｔｅｎｓｏｒｆｌｏｗ、Ｋｅｒａｓなどの機械学習フレームワークや、Ｐｙｔｈｏｎ、Ｃ＃などのプログラミング言語における機械学習ライブラリーの利用を含むことができる。

【0030】

ディープニューラルネットワーク６０２は任意のディープニューラルネットワークであってよい。上述の通り、畳み込みニューラルネットワークは優れた結果を示しており、特にＵーＮｅｔアーキテクチャーでは、完全畳み込みニューラルネットワークよりも少ないデータセットで訓練が可能となる。また、多層パーセプトロンやビジョントランスフォーマーを含む他の種類のディープニューラルネットワークを使用して、ディープニューラルネットワーク６０２を実装できる。超音波画像を生成するための畳み込みニューラルネットワークの実施形態は、特徴を認識するように訓練され、深度に依存するように訓練され、さらに肥満度および／または人口統計情報に従って分類された患者等のクラスに従ってカスタマイズすることができる。畳み込みニューラルネットワークは、特定の特徴に向けた訓練を通じて特徴を認識し、例えば、訓練中の局所的な特徴精製が焦点となる。特徴を認識した画像として望ましいのは、アーチファクトが減少し、コントラストが高く、位置分解能が良好な画像である。本開示において、超音波画像の位置分解能は、細い超音波ビームを使用することによって向上させている。

【0031】

深層畳み込みネットワークは超高解像度の画像を生成するために利用できるが、そのためには画像１００万枚以上のオーダーによる非常に大きな訓練データセットが必要になる。いくつかの実施形態において、ＵーＮｅｔアーキテクチャーまたは残差ネットワークアーキテクチャーは、はるかに小さい訓練セットで訓練を簡素化するために使用される。

【0032】

後述の例で説明するように、ディープニューラルネットワーク６０２への入力６１２は、高次高調波データ、または基本周波数を含むＩＱデータの１つまたは複数であり得る。

【0033】

その出力は、所望の強化高調波ＩＱデータまたは超音波画像である。強化された高調波ＩＱデータは、必ずしも純粋な３次高調波画像（またはデータ）ではないが、近距離場アーチファクトがほぼない特定の到達深度で高い分解能を有する画像を含むことができる。強化された高調波ＩＱデータは、特定の到達深度に対する高解像度画像とすることができる。

【0034】

このように、ディープニューラルネットワーク６０２は、基本周波数信号と３次高調波成分から得られる画像を入力とし、特定の到達深度に対する高解像度画像を出力とすることができる。すなわち、処理回路としてのディープニューラルネットワーク６０２は、入力超音波データおよび当該入力超音波データに対応する対象超音波データを含む訓練データを用いて訓練された、強化された超音波画像データを出力する訓練済みニューラルネットワークモデルの入力に少なくとも一つの高調波成分を含む第１の超音波データ、例えば基本周波数成分及び３次高調波成分を含む超音波データを適用し、当該強化された超音波画像データを出力する。強化された超音波画像データは、所定の深さの位置の信号を強化してもよい。ディープニューラルネットワーク６０２を、ノイズを低減した２次または３次高調波画像を生成するように訓練できる。ディープニューラルネットワーク６０２を、患者の肥満度および／または特定の人口統計学に固有の超音波画像を生成するように訓練できる。

【0035】

図７は、本開示の例示的な態様による、所望の強化された高調波Ｂモード超音波画像を生成するためのディープニューラルネットワークのブロック図である。Ｂモード超音波は、リニアアレイトランスデューサーを使用して、体内の平面を同時スキャンする。これらのエコーは、超音波撮像装置によって２次元画像に変換される。上述したように、Ｂモード超音波画像は明暗画像であり、対象物をグレースケールで強弱を付けて表現したものである。

【0036】

ディープニューラルネットワーク７０２を、ノイズが低減された高調波Ｂモード画像７１４を生成するように訓練できる。ディープニューラルネットワーク７０２は、患者の肥満度および／または特定の人口統計学に固有の高調波Ｂモード超音波画像７１４を生成することができる。

【0037】

図８は、ＩＱ１データ（基本周波数および３次高調波）およびＩＱ２データ（２次高調波）の組み合わせ入力に基づくディープニューラルネットワークが生成する超音波画像の例を示す。ＩＱ１データおよびＩＱ２データは、いずれも超音波撮像装置２００を用いて取得される。出力画像例としては、推定ＩＱ３（３次高調波画像）、ＩＱ３ノイズ除去（３次高調波）画像などがある。本実施例では、ディープニューラルネットワークの訓練にＩＱ３対象画像を使用できる。

【0038】

図９は、超音波画像のもう１つの組を示す。ＩＱ１データおよびＩＱ２データは、いずれも超音波撮像装置２００を用いて取得される。出力画像例としては、推定ＩＱ３（３次高調波画像）、ＩＱ３ノイズ除去（３次高調波）画像などがある。本実施例では、ディープニューラルネットワークの訓練にＩＱ３対象画像を使用できる。

【0039】

ディープラーニングネットワークの実施形態は、複数の異なる超音波画像または複数の異なるＩＱデータとなり得る入力データに基づくフュージョンマップを生成するように訓練されるフュージョンアルゴリズムまたは融合ネットワークを有する、ディープラーニングを用いたフレームワークを含むことができる。ディープラーニングを用いたフレームワークは、特徴を認識した２次および３次高調波を融合して、解像度の向上、近距離場アーチファクトの減少、コントラストの向上、ならびに深部への到達を達成した所望の画像を得ることができる。一実施形態では、１つのディープサブネットを２次高調波を用いて訓練し、別のディープサブネットを３次高調波を用いて訓練し、得られた画像を融合ネットワークによって融合して、所望の対象高調波ＩＱデータ／画像を得ることができる。融合ネットワークの訓練は、深度依存型のフュージョンマップを訓練することと、フュージョンマップに基づく融合損失を計算することを含むことができる。

【0040】

フュージョンマップの訓練方法の１つとして、予測モデルに入力される特徴抽出ニューラルネットワークを配置する。予測モデルの出力において融合損失が計算され、特徴抽出ニューラルネットワークに伝搬される。フュージョンマップは、畳み込みニューラルネットワークの特徴抽出ニューラルネットワークの内部層フュージョンマップとすることができる。

【0041】

本開示において、エンドツーエンド（End-to-End：Ｅ２Ｅ）学習とは、パイプライン設計に通常存在する中間層を独立して訓練するのではなく、完全な機械学習システムを示す単一のモデル（通常ディープニューラルネットワーク）によって表される複合機械学習システムの訓練を指す。特に、完全な機械学習システムは、より大きなアーキテクチャーへの構成要素として機能する２つ以上のニューラルネットワークを有することができる。このアーキテクチャーをエンドツーエンドで訓練することは、すべての構成要素を同時に訓練すること、つまり単一のネットワークとして訓練することを意味する。

【0042】

いくつかの実施形態では、サブネット訓練を実行できる。サブネット訓練では、特徴抽出など任意のタスクを学習するために、１つまたは複数のサブネットを最初に訓練する。そして、訓練されたサブネットは、サブネットを構成要素とするより大きなアーキテクチャーの訓練で使用される。サブネットの訓練は、サブネットの訓練と機械学習システムの２つの別段階の訓練を含む。

【0043】

図１０は、本開示の例示的な態様による、２次高調波画像および３次高調波画像において直接訓練されるディープニューラルネットワークのブロック図である。深層畳み込みニューラルネットワークモデル１００２は、３次高調波画像１０１２および２次高調波画像１０１４を用いてエンドツーエンドで訓練されて、強化高調波画像１０１６を得ることができる。深層畳み込みニューラルネットワーク１００２のサブネット１００４は、フュージョンマップとして訓練できる。融合損失関数１０１８を強化高調波画像１０１６と対象高調波ＩＱデータ１０２２に基づいて計算し、その融合損失は深層畳み込みニューラルネットワークモデル１００２にフィードバックされる。すなわち、深層畳み込みニューラルネットワークモデル１００２を有する処理回路は、２次高調波成分を含む第２の超音波データを受信し、第１の超音波データとしての３次高調波画像１０１２（または基本周波数成分及び３次高調波成分を含むデータ）および第２の超音波データとしての２次高調波画像１０１４を訓練済みディープニューラルネットワークモデルとしての深層畳み込みニューラルネットワークモデル１００２の入力に適用して、２次高調波画像と融合した３次高調波画像を含む強化超音波画像データとしての強化高調波画像１０１６を生成する。

【0044】

図１１は、本開示の例示的な態様による、３次高調波を抽出するように訓練された代替的なディープニューラルネットワークと、抽出された３次高調波を２次高調波と融合させるように訓練された融合ネットワークモデルのブロック図である。いくつかの実施形態では、超音波トランスデューサーから、基本超音波周波数と３次高調波の組み合わせである信号が得られ、同時に２次高調波である信号が得られる。所望の強化高調波画像１１１６をサブネット（ＤＣＮＮ：深層畳み込みニューラルネットワークサブネット１１２０）を用いて求めることができる。深層畳み込みニューラルネットワークサブネット１１２２を、基本超音波周波数の画像および３次高調波画像１１１２から推定３次画像を抽出するように訓練できる。融合ネットワークモデルサブネット１１０２を、推定された３次高調波画像１１１２および２次高調波画像１１１４を用いて訓練し、強化高調波画像１１１６を取得できる。強化高調波画像１１１６と対象高調波ＩＱデータ１１２２に基づいて融合損失関数１１１８を計算し、その融合損失を融合ネットワークモデル１１０２にフィードバックする。

【0045】

図１２は、本開示の例示的な態様による、ＩＱ１データ／画像および２次高調波において直接訓練される代替的なディープニューラルネットワークのブロック図である。いくつかの実施形態では、超音波トランスデューサーから、基本超音波周波数と３次高調波の組み合わせである信号が得られ、同時に２次高調波である信号が得られる。融合ネットワークモデル１２０２を、基本超音波周波数および３次高調波１２１２の画像と、２次高調波画像１２１４とを用いてエンドツーエンドで訓練し、強化高調波画像１２１６を取得してもよい。強化高調波画像１２１６と対象高調波ＩＱデータ１２２２に基づいて融合損失関数１２１８を計算し、その融合損失は融合ネットワークモデル１２０２にフィードバックされる。

【0046】

図１３は、本開示の例示的な態様による、抽出された３次高調波と浄化された２次高調波に基づいて訓練された代替的な融合ネットワークのブロック図である。強化高調波画像１３２４をサブネットを用いて求めることができる。第１の深層畳み込みニューラルネットワークサブネット１３１４を、基本超音波周波数の画像および３次高調波画像１３１２から推定３次画像１３１６を抽出するように訓練できる。第２の深層畳み込みニューラルネットワークサブネット１３２０を、鮮明な２次高調波画像１３２２を得るために２次高調波画像１３１８からノイズを除去するように訓練できる。融合ネットワークモデルサブネット１３０２を、推定された３次高調波画像１３１６および鮮明な２次高調波画像１３２２を用いて訓練し、強化高調波画像１３２４を取得してもよい。強化高調波画像１３２４と対象高調波ＩＱデータ１３２８に基づいて融合損失関数１３２６を計算し、その融合損失は融合ネットワークモデル１３０２にフィードバックされる。一実施形態において、融合損失を第１の深層畳み込みニューラルネットワーク１３１４および第２の深層畳み込みニューラルネットワーク１３２０にフィードバックできる。すなわち、訓練済みニューラルネットワークに含まれるＤＣＮＮ１３１４は、入力された第１の超音波データに基づいて３次高調波画像を出力し、処理回路はさらに、２次高調波成分を含む第２の超音波データとしての２次高調波画像１３１８を受信し、第２の超音波データを、ノイズ除去された２次高調波画像を出力する別の訓練済みニューラルネットワークモデルとしてのＤＣＮＮ１３２０に適用し、当該別のディープニューラルネットワークは、入力超音波データおよび前記入力超音波データに対応するノイズ除去された超音波データを含む訓練データを用いて訓練される。融合ネットワークモデル１３０２を含む処理回路は、３次高調波画像としての推定３次高調波１３１６とノイズ除去された２次高調波画像としての浄化された２次高調波１３２２とを融合して、融合画像としての強化高調波画像１３２４を生成する。なお、ＤＣＮＮ１３１４に入力される第１の超音波データは、３次より高次の高次高調波成分を含み、訓練済ニューラルネットワークとしてのＤＣＮＮ１３１４は、ノイズを低減して第１の超音波データから推定高次画像を生成してもよい。

【0047】

図１４は、本開示の例示的な態様による、ＩＱ０データ／画像から２次高調波および３次高調波を分割するように訓練される抽出ネットワークのブロック図である。一実施形態において、ＩＱ０データまたは超音波画像をＩＱ２（２次高調波画像１４１６）および／またはＩＱ３（３次高調波画像１４１４）に分割するようにエンドツーエンドで訓練される、ディープニューラルネットワーク１４０２に、基本周波数、２次高調波、および３次高調波を直接入力する。一実施形態において、分割された２次高調波画像１４１６および３次高調波画像１４１４は、次に図１０の深層畳み込みニューラルネットワーク１００２等の畳み込みニューラルネットワークに入力されて、強調高調波画像１０１６を取得できる。すなわち、第１の超音波データ１４１２は、基本周波数成分と、２次高調波成分と、３次高調波成分とを含み、訓練済みニューラルネットワークモデルとしての抽出ネットワークモデル１４０２は、第１の超音波データ１４１２から３次高調波データとしての３次高調波画像１４１４および２次高調波データとしての２次高調波画像１４１６を抽出し、強化超音波画像データを生成する。

【0048】

いくつかの実施形態では、高次高調波が利用可能である場合、ディープニューラルネットワークを高次高調波ＩＱデータまたは超音波画像を得るように訓練してもよい。

【0049】

図１５は、本開示の例示的な態様による、機械学習訓練および推論方法を実施するための例示的なコンピューターシステム２０４を示すブロック図である。コンピューターシステムは、例えばＵｂｕｎｔｕ Ｌｉｎｕｘ（登録商標） ＯＳ、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ、Ｕｎｉｘ（登録商標） ＯＳのバージョン、またはＭａｃ（登録商標） ＯＳ Ｓｅｒｖｅｒなどのサーバーオペレーティングシステムを稼働するＡＩワークステーションであってもよい。コンピューターシステム１５００は、複数のコアを有する１つまたは複数の中央処理装置（Central Processing Unit：ＣＰＵ）１５５０を含んでもよい。コンピューターシステム１５００は、複数のＧＰＵを有するグラフィックボード１５１２を含んでもよく、各ＧＰＵはＧＰＵメモリーを有する。グラフィックボード１５１２は、開示された機械学習法の数学的演算の多くを実行してもよい。他の実施形態において、コンピューターシステム１５００は機械学習エンジン１５１２を含んでもよい。機械学習エンジン１５１２は、開示された機械学習法の数学的演算の多くを実行してもよい。コンピューターシステム１５００は、処理コア１５５０およびＧＰＵ１５１２によって実行されるソフトウェアを含むメインメモリー１５０２、典型的にはランダムアクセスメモリーＲＡＭ、ならびにデータおよびソフトウェアプログラムを格納するための不揮発性記憶装置１５０４を含む。Ｉ／Ｏバスインターフェース１５１０、キーボード、タッチパッド、マウスなどの入力／周辺機器１５１８、ディスプレイアダプター１５１６および１つまたは複数のディスプレイ１５０８（２０６）、およびネットワーク９９を介して有線または無線通信を可能にするネットワークコントローラー１５０６など、コンピューターシステム１５００と対話するためのインターフェースをいくつか提供してもよい。インターフェース、メモリーおよびプロセッサーは、システムバス１５２６を介して通信してもよい。コンピューターシステム１５００は電源１５２１を含む。この電源は冗長電源であってもよい。

【0050】

いくつかの実施形態において、コンピューターシステム１５００は、サーバーＣＰＵと、ＧＰＵが複数のＣＵＤＡ（登録商標）コアを有するＮＶＩＤＩＡ（登録商標）によるグラフィックスカードを含んでもよい。

【0051】

以上説明した少なくとも１つの実施形態によれば、画質を向上させることができる。

【0052】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0053】

２００ 超音波イメージングシステム
２０２ トランスデューサー
２０４ コンピューターシステム
２０６ 表示装置

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】