(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-02
(45)【発行日】2023-10-11
(54)【発明の名称】超音波信号の適応ビームフォーミングの方法及びシステム
(51)【国際特許分類】
A61B 8/14 20060101AFI20231003BHJP
【ＦＩ】
A61B8/14
【請求項の数】
15
(21)【出願番号】P 2021521781
(86)(22)【出願日】2019-10-22
(65)【公表番号】
(43)【公表日】2022-01-14
(86)【国際出願番号】 EP2019078739
(87)【国際公開番号】W WO2020083918
(87)【国際公開日】2020-04-30
【審査請求日】2022-08-16
(31)【優先権主張番号】18202469.5
(32)【優先日】2018-10-25
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】19164249.5
(32)【優先日】2019-03-21
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(72)【発明者】
【氏名】ライテン ウォウター マリヌス ベンジャミン
(72)【発明者】
【氏名】ファン スローン ルード ヨハネス ジェラルドゥス
(72)【発明者】
【氏名】デ ブルイン フレデリック ヤン
(72)【発明者】
【氏名】シュメッツ ハロルド アグネス ウィルヘルムス
【審査官】下村 一石
(56)【参考文献】
【文献】国際公開第２０１８／１６７１０１（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０３６３７２５（ＵＳ，Ａ１）
【文献】LUCHIES, Adam C., et al.，Deep Neural Networks for Ultrasound Beamforming，IEEE TRANSACTIONS ON MEDICAL IMAGING，米国，IEEE，2018年09月，VOL.37, NO.9，pp.2010-2021
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００－８／１５
(57)【特許請求の範囲】
【請求項1】
超音波信号の適応ビームフォーミングのための方法であって、ａ）超音波送信に応答して複数の超音波トランスデューサ素子によって取得されたＲＦ信号を受信するステップと、
ｂ）訓練済み人工ニューラルネットワークを前記ＲＦ信号に適用することによって、前記ＲＦ信号をビームフォーミングするためのコンテント適応アポダイゼーション重みを決定するステップと、
を有する方法。
【請求項2】
前記訓練済み人工ニューラルネットワークの入力ノードの数及び出力ノードの数は、寄与するＲＦ信号の数に対応する、請求項１に記載の方法。
【請求項3】
ｃ）前記コンテント適応アポダイゼーション重みを前記ＲＦ信号に適用して、ビームフォーミングされた出力信号を計算するステップ、を更に有する、請求項１又は２に記載の方法。
【請求項4】
前記訓練済み人工ニューラルネットワークは、正及び負の入力値の両方を無境界の出力値で伝播させる活性化関数を含む少なくとも１つの活性化層を有する、請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
前記訓練済み人工ニューラルネットワークは、入力値の前記正の部分と前記負の部分とを連結する活性化関数を含む少なくとも１つの活性化層を含む、請求項４に記載の方法。
【請求項6】
前記人工ニューラルネットワークが、最大で４つの完全結合層を有する、請求項１乃至５のいずれか１項に記載の方法。
【請求項7】
前記人工ニューラルネットワークは、最大で３つの活性化層を有する、請求項１乃至６のいずれか１項に記載の方法。
【請求項8】
前記ビームフォーミングされた出力信号は、視野の超音波画像を再構成するために使用され、前記超音波画像の１つ又は多くとも数ピクセルに関するＲＦデータが前記訓練済み人工ニューラルネットワークによって１つ又は複数のバッチで処理されるように、前記ＲＦ信号が、前記訓練済み人工ニューラルネットワークを適用する前に再配置される、請求項１乃至７のいずれか１項に記載の方法。
【請求項9】
前記訓練済み人工ニューラルネットワークが、１つ又は複数の完全結合層及び／又は少なくとも１つの畳み込み層を有する、請求項１乃至８のいずれか１項に記載の方法。
【請求項10】
前記訓練済み人工ニューラルネットワークは、反復ニューラルネットワークの一部である、請求項１乃至９のいずれか１項に記載の方法。
【請求項11】
前記訓練済み人工ニューラルネットワークの重みの一部又は全部が量子化され又は１～４ビットに量子化される、請求項１乃至１０のいずれか１項に記載の方法。
【請求項12】
前記訓練済み人工ニューラルネットワークは、前記訓練済み人工ニューラルネットワークの入力層及び／又は出力層よりも少ない数のノードを有する少なくとも１つの隠れ層を有する、請求項１乃至１１のいずれか１項に記載の方法。
【請求項13】
超音波信号のコンテント適応ビームフォーミングに有用な訓練済み人工ニューラルネットワークを提供する方法であって、（ａ）入力トレーニングデータ又は超音波送信に応答して複数の超音波トランスデューサ素子によって取得されたＲＦ信号を受信するステップと、
（ｂ）出力トレーニングデータを受信するステップであって、前記出力トレーニングデータは、コンテント適応アポダイゼーション重みであり、前記コンテント適応アポダイゼーション重みが、コンテント適応ビームフォーミングアルゴリズムによってＲＦ信号から計算されるか、又は前記出力トレーニングデータが前記コンテント適応ビームフォーミングアルゴリズムによって前記ＲＦ信号から計算されるビームフォーミングされた出力信号である、ステップと、
（ｃ）前記入力トレーニングデータ及び前記出力トレーニングデータを使用することによって人工ニューラルネットワークを訓練するステップと、
（ｄ）訓練済み人工ニューラルネットワークを提供するステップと、
を有する方法。
【請求項14】
コンピュータユニットによってコンピュータプログラムが実行される場合に、前記コンピュータユニットに請求項１乃至１３のいずれか１項に記載の方法を実行させる命令を有するコンピュータプログラム。
【請求項15】
超音波信号の適応ビームフォーミングのためのシステムであって、ａ）超音波送信に応答して複数の超音波トランスデューサ素子によって取得されるＲＦ信号を受信する第１のインターフェースと、
ｂ）前記ＲＦ信号に訓練済み人工ニューラルネットワークを適用し、それによって前記ＲＦ信号をビームフォーミングするためのコンテント適応アポダイゼーション重みが生成され、前記ＲＦ信号に前記コンテント適応アポダイゼーション重みを適用してビームフォーミングされた出力信号を計算するように構成された計算ユニットと、
ｃ）前記ビームフォーミングされた出力信号を出力する第２のインターフェースと、
を有するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波信号の適応ビームフォーミングのための方法、超音波信号の適応ビームフォーミングに有用な人工ニューラルネットワークを訓練する方法、並びに関連するコンピュータプログラム及びシステムに関する。
【背景技術】
【0002】
K. E. Thomenius, "Evolution of ultrasound beamformers," 1996 IEEE Ultrason. Symp. Proc., vol. 2, pp. 1615-1622, 1996に記載されているように、伝統的な超音波画像方法は通常、遅延和（ＤＡＳ）ビームフォーミングを使用するが、その理由はその複雑さが低く、再構成時間が速いからである。この方法は、受信チャネルに対して固定されたコンテント不変のアポダイゼーション重みを使用する。その再構成速度はリアルタイム撮像を可能にするが、ＤＡＳビームフォーミングは、コンテント適応アレイアポディゼーションがないため、最適な画像コントラストと解像度を提供しない。例えば、軸外成分からの後方散乱は、十分に補償されない。この比較的劣った品質を改善するために、改善された画像は、多くの場合、取得時間の増加を犠牲にして、複数の取得を合成すること、及び／又は集束ビームを使用することによって得られる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
適応ビームフォーミングアルゴリズムは、取得されたＲＦ信号に基づいて、最適なコンテント適応アポダイゼーション重みを決定し、それらを受信チャネルに適用することによって、これを改善する。しかしながら、これらの方法は、計算的により要求が厳しく、従って、かなり長い再構成時間をもたらす。従って、現在知られている適応ビームフォーミングアルゴリズムは、リアルタイム超音波画像には適していない。
【0004】
既知の適応ビームフォーミングアルゴリズムは、アポディゼーション後の受信信号の分散を最小にする一方で、所望の方向におけるユニティゲインを維持するようにアポディゼーション重みを連続的に最適化する最小分散（ＭＶ）ビームフォーマである。このプロセスは、典型的にはクラッタ画像につながる望ましくない方向からの干渉信号の電力を効果的に抑制する。ＭＶビームフォーミングは、ＤＡＳに比べて解像度とコントラストを大幅に向上させることができるが、ｎ×ｎの空間共分散行列を反転する必要があり、その計算量はｎ３（ｎはチャンネル数）と非常に重いことが知られている。それゆえ、ＭＶビームフォーミングは、リアルタイム画像には使用されない。
【0005】
ＭＶビームフォーミング方法は、例えばI. K. Holfort, Adaptive Beamforming for Medical Ultrasound Imaging, PhD Thesis, Technical University of Denmark, Lyngby, November, 2009及びJ. F. Synnevag, A. Austeng, and S. Holm, "Benefits of minimum-variance beamforming in medical ultrasound imaging," IEEE Trans. Ultrason. Ferroelectr. Freq. Control, vol. 56, no. 9, pp. 1868-1879, 2009に記載されている。ビームフォーミングの一般的な原理は例えば、Chapter Two of the PhD Thesis by I.K. Holfort, Adaptive Beamforming for Medical Ultrasound Imagingに記載されており、これは参照により本明細書に組み込まれる。ＭＶビームフォーミングでは、アポダイゼーション重みは、ｗＨａ＝１として、ｍｉｎ ｗＨＲｗを解くことによって決定される。ここで、ａは、ステアリングベクトルであり、Ｒは、入力アレイの共分散行列である。この最小化問題の解は、
である。共分散行列Ｒの反転は、特に大きな行列の場合、計算的に非常に高価であるため、リアルタイムの実行には適していない。
である。共分散行列Ｒの反転は、特に大きな行列の場合、計算的に非常に高価であるため、リアルタイムの実行には適していない。
【0006】
人工ニューラルネットワークは、画像形成及び特徴付けのための超音波イメージングのコンテキストにおいて提案されている（例えば、国際公開第２０１８／１２７４９８Ａ１号公報を参照のこと）。本文献によれば、超音波イメージングシステムは、エコー信号を取得するように構成された超音波トランスデューサ、及び取得されたエコー信号を記憶するように構成されたチャネルメモリを有することができる。システムはまた、チャネルメモリに結合され、取得されたエコー信号又はビームフォーミングされた信号のうちの１つ又は複数のサンプルを受信し、取得されたエコー信号のうちの１つ又は複数のサンプルに基づいて撮像データを提供するように構成されたニューラルネットワークを有する。ニューラルネットワークは、イメージングデータを生成するか、又は組織情報を抽出するように訓練される。
【0007】
Adam Luchies and Brett Byram, "Suppressing off-axis scattering using deep neural networks", Proceedings of SPIE 10580, Medical Imaging 2018: Ultrasonic Imaging and Tomography, 105800G, March 6, 2018によれば、超音波トランスデューサ素子から取得されたＲＦ信号（チャネルデータとも呼ばれる）は、短時間フーリエ変換され、深層ニューラルネットワークへの入力として使用され、従って、深層ニューラルネットワークは、周波数ドメインで演算を行う。出力は入力と同じ構造を有し、逆短時間フーリエ変換が、処理されたデータを時間ドメインに戻すように変換し、処理されたチャネルデータを生成するためにするために使用され、処理されたデータは、チャネルにわたって合計される。
【0008】
本発明の目的は、既知のコンテント適応ビームフォーミング方法と比較して、高い画質を提供すると同時に、計算コストを低減した適応ビームフォーミング方法を提供することである。特に、本発明の目的は、リアルタイム超音波画像に使用できる程度に計算時間を短縮しつつ、ＭＶビームフォーミングなどの従来の適応ビームフォーミングアルゴリズムと同等の高い画像品質を提供することができる解決策を提供することである。
【課題を解決するための手段】
【0009】
これらの目的は、請求項１に記載の超音波信号の適応ビームフォーミングのための方法、請求項１３に記載の訓練済み人工ニューラルネットワークを提供する方法、請求項１４に記載のコンピュータプログラム、及び請求項１５に記載のシステムによって満たされるか、又は超えられる。請求項に記載の方法に関連して本明細書で説明される任意の特徴、利点、又は代替の実施形態は、他の請求項のカテゴリ、特に請求項に記載のシステム、コンピュータプログラム、及び超音波画像デバイスにも適用可能である。特に、訓練済みニューラルネットワークは、請求項に記載された訓練方法によって適応されることができる。更に、人工ニューラルネットワークへの入力データは、入力トレーニングデータの有利な特徴及び実施形態を含むことができ、逆もまた同様である。更に、訓練済みニューラルネットワークの出力（コンテント適応アポダイゼーション重み）は、出力訓練データの有利な特徴及び実施形態を含むことができ、その逆も同様である。
【0010】
第１の態様によれば、本発明は超音波信号の適応ビームフォーミングのための方法を提供し、この方法は、（ａ）超音波送信に応答して複数の超音波トランスデューサ素子によって取得されたＲＦ信号を受信するステップと、（ｂ）訓練済み人工ニューラルネットワークをＲＦ信号に適用することによってＲＦ信号をビームフォーミングするためのコンテント適応アポダイゼーション重みを決定するステップとを含む。
【0011】
従って、本発明の方法は、ＭＶビームフォーミングのような今日の計算的に高価な方法の代替として人工ニューラルネットワーク（ＮＮ）を適用することによって、コンテント適応形式で最適な、又は最適に近いアポダイゼーション重みを得ることができる。この文脈における「コンテント適応（Content-adaptive）」は、アポダイゼーション重みが、取得されたＲＦ信号に依存すること、すなわち、それらが信号のコンテントに適応されることを意味する。超音波画像の場合、それらは、イメージングされた視野に適応される。先行技術とは対照的に、ＮＮの出力は、ＲＦ信号（チャネルデータ）又はビームフォーミングされた画像の形ではなく、出力は、各チャネルごとのアポディゼーション重みであり、よって、例えば乗算及び加算によって、通常の方法でビームフォーミングされた出力信号を生成するためにＲＦ信号に適用されることができる。従って、ＮＮへの入力はＲＦ信号であり、次いで、これらの同じ信号が、ＮＮの出力、すなわちアポディゼーション重みと乗算され、続いて、加算されて、ビームフォーミングされた出力信号を生成することができる。
【0012】
完全なコンテント適応ビームフォーミング又は画像再構成プロセスは、１）飛行時間補正、２）アポディゼーション重みの適応（及び適用）、３）エンベロープ検出の３ステップに分けられる。本発明の方法は、適応アポダイゼーション重みの計算に焦点を当てており、これは、上述の３つのステップのうち計算的に最も高価なものである。
【0013】
ＮＮへの入力は、人間又は動物の身体の部分などの媒体への超音波送信に応答して複数の超音波トランスデューサ素子によって取得される無線周波数（ＲＦ）信号である。取得されたＲＦ信号は、振幅と位相の両方を持つ。従って、ＮＮへの入力として使用されるＲＦ信号は、実数であっても複素表現であってもよい。超音波イメージングでは、超音波送信によって撮像される領域は、視野と呼ばれる。複数の超音波トランスデューサ素子は、アレイトランスデューサ、例えば、線形トランスデューサ、又は、フェーズドアレイの複数又はすべての素子でありうる。いくつかの実施形態では、アポディゼーション重みは、アレイ内のトランスデューサ素子から取得されたすべてのＲＦ信号について計算されるが、アレイ内のトランスデューサ素子のサブセットのみが、任意の所与の時点にＲＦ信号を受信するイメージング方法もある。
【0014】
有用な実施形態では、ＮＮへの入力が時間アラインされたＲＦ信号、すなわち、飛行時間補正後の時間シフトＲＦ信号又はＲＦ信号であり、ここで、飛行時間補正において適用される遅延は、トランスデューサの幾何学的形状に対して相対的である。このような時間補正は、ＤＡＳビームフォーミングと同様に行うことができる。好適には、この方法は、時間ドメインにおいて動作し、すなわち時間ドメインの信号に対して動作する。有用な実施形態に従って、ＮＮのための入力を形成することができる時間アラインされたＲＦ信号を生成するために、ピクセルごとの飛行時間補正が、受信されたＲＦ信号（生のＲＦ信号）に適用される。これにより、サイズＮのデータアレイが得られ、ここで、Ｎは、寄与するトランスデューサ素子の数に対応する。従って、本方法は時間アラインされた信号を生成するために、信号に対して飛行時間補正を実行するステップを更に有することができる。
【0015】
チャネルデータとも呼ばれるＲＦ信号は、「ニューラルネットワーク（neural network）」又はＮＮとも呼ばれる訓練済み人工ニューラルネットワークに供給される。人工ニューラルネットワーク（ＮＮ）は、ノードとも呼ばれる接続された人工ニューロンの集合に基づいており、各接続（エッジとも呼ばれる）は、１つのノードから別のノードに信号を送信することができる。信号を受信する各人工ニューロンは、信号を処理し、それに接続された更なる人工ニューロンに処理した信号を転送することができる。有用な実施形態では、本発明のＮＮの人工ニューロンが層状に配置される。入力信号（タイムアラインＲＦ信号など）は、入力層とも呼ばれる最初のレイヤから最後のレイヤである出力層まで伝わる。有用な実施形態では、ＮＮは、フィードフォワードネットワークであるが、それはまた、その内部状態を記憶し、それを一連の関連する入力の処理に使用することができるように、反復ニューラルネットワークの一部であってもよく、又は反復ニューラルネットワークであってもよい。有用な実施形態では、ＮＮが機械学習技術、特に深層学習に基づいて、例えばバックプロパゲーションによって訓練される。使用されるトレーニングデータは、トレーニングターゲットとしてのＭＶビームフォーマのような高品質適応ビームフォーミングアルゴリズムの出力、及び入力トレーニングデータとしての関連する時間アラインされたＲＦ信号でありうる。有用な実施形態では、本発明が、ニューラルネットワークを用いて計算要求の厳しい計算を行いながら、適応型ビームフォーマの構造を取り入れて設計されたＮＮアーキテクチャに対するモデルベースのアプローチを使用する。
【0016】
本発明による訓練済み人工ニューラルネットワークは、ソフトウェアプログラムの形態で提供されてもよいが、ハードウェアとして実現されてもよい。更に、訓練済みのＮＮは、訓練済みニューラルネットワークと全く同じように必ずしも構造化されていない訓練された関数の形成で提供されることができ、例えば、特定の接続／エッジが重み０を有する場合、訓練後、訓練済み人工ＮＮに基づく訓練済み関数を提供する際、そのような接続は省略されることができる。
【0017】
訓練後、本発明のＮＮを使用すると、ＭＶビームフォーミングの結果を上回るとまではいかないまでも、近似する高品質の画像が、わずかな計算時間で得られることがわかった。今日の実験では、その時間ゲインはおよそ５００分の１になる。従って、本発明は、ＭＶビームフォーマなどの既知の適応型ビームフォーミングアルゴリズムと同等の品質を、数分の１の計算コストで実現する、極めて高品質な適応型ビームフォーミング手法を提供する。そのため、本発明の方法では、超音波画像の品質をリアルタイムに向上させることができる。従って、本発明は、従来のハードウェアやＧＰＵアクセラレーションを用いて、適応型ビームフォーミング技術に匹敵する画質を、高速に提供する。
【0018】
有用な実施形態によれば、人工ニューラルネットワークの入力ノードの数及び人工ニューラルネットワークの出力ノードの数は、寄与するＲＦ信号の数に対応し、ここで、「寄与する」とは、寄与するＲＦ信号が例えば、特定のビームフォーミングされた出力信号、例えば、特定のビームフォーミングされたピクセルにそれぞれ寄与することを意味する。従って、入力ノードの数Ｎは受信超音波トランスデューサ素子の数に対応し、受信超音波トランスデューサ素子は、トランスデューサアレイ内のトランスデューサ素子のすべて、又はそのサブセットとすることができる。好適には、各出力ノードが、１つの特定の入力ノードに供給される１つのＲＦ信号に対するコンテント適応アポダイゼーション重みを供給する。従って、ほとんどの実施形態では、入力ノードの数がＮＮの出力ノードの数と同一又はほぼ同一である。
【0019】
有利な実施形態では、次のステップにおいて、ＮＮによって決定されるコンテント適応アポディゼーション重みが、ＲＦ信号、すなわち、ＮＮに供給される同じＲＦ信号に適用されて、ビームフォーミングされた出力信号を計算する。これは、入力（例えば時間アラインされたＲＦ信号）から乗算及び加算要素に加算される第２の接続によって行われてもよく、この場合、乗算は、時間アラインされた前記ＲＦ信号の各々と、ＮＮの出力に現れるアポダイゼーション重みの各々との間で行われる。ビームフォーミングされた出力信号は、視野の超音波画像内のピクセルに対応するＲＦ信号であることが好ましい。従って、有用な実施では、次々に１つのピクセルに対応する時間アラインされたＲＦ信号がニューラルネットワークを通して伝搬され、コンテント適応アポダイゼーション重みで重み付けされた同じＲＦ信号が、ビームフォーミングされた出力信号をピクセルごとに与えるように合計される。ビームフォーミングされた出力信号は、当技術分野で知られている更なる方法ステップ、特に包絡線検出によって、それぞれのピクセル値を生成するために更に処理されることができる。
【0020】
有用な実施形態では、本方法は、超音波送信に応答して視野から複数の超音波トランスデューサ素子によって取得された生のＲＦ信号を受信し、その後飛行時間補正を行って時間アラインされたＲＦ信号を生成するステップを含む。このような飛行時間補正は例えば、I. K. Holfort, Adaptive Beamforming for Medical Ultrasound Imaging, PhD Thesis, Technical University of Denmark, Lyngby, November, 2009による論文に記載されているように、当技術分野で知られている方法に従って行われることができる。時間アラインされたＲＦ信号は、典型的には１～５０ＭＨｚの範囲の周波数を有することができる。トランスデューサ素子によって取得される信号のサンプリングレートは典型的には５０ＭＨｚより高くなり、例えば、１００～４００ＭＨｚ、典型的には、２００ＭＨｚである。
【0021】
有用な実施形態によれば、本発明の方法は、超音波信号の適応ビームフォーミングのためのコンピュータ実現方法であり、該方法は、ａ）超音波送信に応答して、視野から超音波トランスデューサのアレイによって取得された生のＲＦ信号を受信するステップと、ｂ）生のＲＦ信号に対して飛行時間補正を実行し、時間アラインされたＲＦ信号を生成するステップと、ｃ）時間アラインされたＲＦ信号に訓練済み人工ニューラルネットワークを適用することによって、時間アラインされたＲＦ信号をビームフォーミングするためのコンテント適応アポダイゼーション重みを決定するステップと、ｄ）時間アラインされたＲＦ信号にコンテント適応アポダイゼーション重みを適用して、ビームフォーミングされた出力信号を計算するステップと、を有する。
【0022】
ニューラルネットワークは、好適には、隠れ層を含むいくつかの層を有し、従って、好適には、深層ネットワークである。（Ｎ＋１）番目の層のノードの値は、Ｎ番目の層のノードの値に基づいて計算される。これは、それぞれの接続／エッジの関連する重み（アポディゼーションの重みと混同しないように）にＮ番目の層の各ノードの数値を乗算し、（Ｎ＋１）番目の層の１つ又は複数のノードに追加することで行うことができる。この演算は、行列乗算と等価である。完全結合層は、完全結合層のノードと後続の層又は先行する層のノードとの間の大部分、特にすべてのエッジが存在するという事実によって定義されることができ、エッジのそれぞれの重みは個別に調整されることができる。更に、層の各ノードの値にバイアスを加えることができ、このバイアスもトレーニング可能なパラメータである。
【0023】
好適な実施形態では、人工ニューラルネットワークが最大で４つの完全結合層を含む。いくつかの実施形態では、２つ又は３つの完全結合層で十分であり得る。本発明者らは、比較的小さいニューラルネットワーク（従って、わずかな計算労力しか必要としない）が優れた結果を達成するのに十分であることを発見した。例えば、完全結合された入力層と、完全結合された出力層を有する１つ又は２つの完全結合された隠れ層とが存在し得る。あるいは、完全結合された入力層と、最後の完全結合された隠れ層が出力層に直接接続する２つ又は３つの完全結合された隠れ層とがありうる。有用な実施形態では、ＮＮは、最大で２つ又は３つの完全結合された隠れ層を含む。有用な実施形態では、ＮＮが活性化層も含み、これは好適には完全結合層の間に配置される。活性化層とは、各ノードの値に非線形関数（「活性化関数」又は「伝達関数」）を適用し、その出力を次の層の対応するノードに伝搬させるものである。名称によっては、活性化関数を層と呼ばず、一部を別の層（完全連結層）と考えられるが、本書では「活性化層」と呼ぶことにする。
【0024】
有用な実施形態では、前記人工ニューラルネットワークは、正と負の両方の入力値を無境界出力値で伝搬する活性化関数を含む少なくとも１つの活性化層を含む。「無境界」とは、活性化関数の出力値が特定の値（＋１や－１など）に限定されないことを意味する。好適には，原理的に任意の値を得ることができ，それによってＲＦ信号のダイナミックレンジを維持することができる。このような関数の例は、Shang et al., "Understanding and Improving Convolutional Neural Networks via Concatenated Rectifier Linear Unit", Proceedings of the 33rd International Conference on Machine Learning, New York, USA, 2016に記載されているように、反正規化（Antirectifier）関数又は連結正規化線形ユニット（Concatenated Rectifier Linear Unit, CReLU）であってもよい。
【0025】
ＮＮに供給されるＲＦ信号のダイナミックレンジは大きく、それに加えて正及び負の成分の両方を有するので、双曲線正接及び正規化線形ユニット（ＲｅＬＵ）のような従来の活性化関数は、本発明の適用には十分に適していない。ＲｅＬＵは、その正の無境界出力による勾配の消失を回避する。しかしながら、このような非線形性は、本質的に多くの不活性（dying）のノードにつながり、トレーニングプロセスを損なうので、ＲＦ入力データを扱うときには適切でないことがある。対照的に、双曲線正接活性化は、負の値を保存することができる。しかしながら、－１と１の間に有界であり、従って、大きなダイナミックレンジを有する信号に対して迅速に飽和する傾向があり、その結果、バックプロパゲーション中に消失勾配が生じる。代わりに、有用な実施形態では、本発明が負の信号成分及び信号のダイナミックレンジを維持しながら、非線形性を導入する活性化関数を使用する。このような活性化関数を用いることで、ビームフォーミングされた出力画像の品質が向上する。更に、ニューラルネットワークは、最小のネットワークサイズを有しながら、適応的にビームフォーミングされたターゲット画像を正確に再現するように設計されることができる。
【0026】
更なる有用な実施形態では、ニューラルネットワークが、入力値の正及び負の部分を連結する活性化関数を含む少なくとも１つの活性化層を含み、「入力値」は、活性化層に供給される値、すなわち活性化層のノードの値を意味する。従って、負及び正の値は、次の層の異なるノードに伝搬され、これら２つのノードのうちの少なくとも１つの値はゼロである。その結果、次の層のノード数は、活性化層のノード数の２倍になる。言い換えれば、活性化層の出力は、入力の２倍のサイズを有する。有用な実施形態では、出力は常に正であり、これは活性化がエネルギー情報を保存する、すなわち、信号のモジュールを維持するが、正及び負の信号情報の両方を保存するという利点を有する。有用な実施形態では、活性化関数は、F. Chollet, "Antirectifier," GitHub, 2018. [Online]に記述されるように、サンプル単位のＬ２正規化と２つのＲｅＬＵ活性化を組み合わせた反正規化関数であってもよく、それによって入力の正の部分と負の部分を連結する。以下が入手可能である：https://github.com/keras-team/keras/blob/4f2e65c385d60fa87bb143c6c506cbe428895f44/examples/antirectifier.py。この反正規化の演算は次のように記述されうる：
ここで、μｘは任意の時間に活性化層を通って伝播される入力値のベクトル又はバッチの平均であり、||ｘ－μｘ||は、Ｌ２ノルム又は分散である。従って、活性化関数は、活性化前にＬ２正規化を適用することが好ましい。この正規化は、活性化が信号に対してより対称的に働くことを可能にする。更に、Ｌ２正規化は、トレーニングがより迅速に収束するという利点を有する。
【0027】
有用な実施形態によれば、人工ニューラルネットワークは、最大３つの活性化層を有する。有用な実施形態では、活性化層が２つの完全結合層の間に配置され、好適には活性化層が完全結合層の各対の間に、すなわち、最後の層（好適には出力層に直接接続する）を除く完全結合層の各々の後に配置される。
【0028】
有用な実施形態では、ビームフォーミングされた出力信号が視野の超音波画像を再構成するために使用され、信号、好適には時間アラインされたＲＦ信号は、訓練済み人工ニューラルネットワークを適用する前に再構成され、その結果、超音波画像の１つ又は多くとも数個のピクセルに関連するＲＦ信号（ＲＦデータ）が、ＮＮによって１つ又は複数のバッチで処理される。ベクトルが、ＮＮの入力層に同時に供給される値の組である場合、バッチは、ビームフォーミングされた超音波画像内の１つ（又は数個）のピクセルを再構成するのに必要なデータのすべてを一緒に含む、そのようなベクトルのシーケンスである。換言すれば、ＮＮは、ピクセルごとにアポディゼーション重みを出力するように構成されることができる。これを行うために、幾つかの実現形態では、各ピクセルに寄与するＲＦ信号が互いに遅延されるように、時間アラインされたＲＦ信号を再配置することが有用であり、その結果、各ピクセルは独立に処理されることができる。ＮＮに供給されるデータの各バッチは、１つ（又は多くても数個）の特定のピクセルに関係し、ここで、ＲＦ信号の幾つかの部分は、幾つかのピクセルに寄与するため、再配置において複製されることができる。
【0029】
好適な実施形態では、超音波画像の１つの単一ピクセルに関するＲＦ信号が、ＮＮによって１バッチで処理され、それによって、入力ノードの数は、前記１つのピクセルに寄与するＲＦ信号の数に対応する。
【0030】
別の実施形態では、ＮＮは、ビームフォーミングプロセスにおいて隣接するピクセルも組み込むことによって、その視野を広げるために拡張される。これにより、いくつかの隣接するピクセル、例えば最大９個のピクセルに関するＲＦデータは、ニューラルネットワークによって１つのバッチで処理される。従って、ＮＮの入力ノード数が増加する。この実施形態は、クラッタ抑制を改善し、従って、ネットワークサイズが増加するという理由で、より高いハードウェア要件を犠牲にして、画質を更に向上させる。いくつかの隣接するピクセルは任意の方向、すなわち、超音波画像の平面内、又は撮像深度にわたって、互いに隣接していてもよい。
【0031】
別の実施形態では、人工ニューラルネットワークＮＮが１つ又はいくつかの完全結合層に加えて、又はその代わりに、少なくとも１つの畳み込み層を含む。このような畳み込み層は、時間アラインされたＲＦ信号にわたって適用されてもよく、又は入力空間にわたって適用されてもよい。畳み込みニューラルネットワークは通常、少なくとも畳み込み層及びプーリング層を含み、カーネルが畳み込み層に適用される。カーネル演算は、畳み込み層のノードのサブセット上で実行され、出力はプーリングレイヤ内の１つのノードに伝播される。通常、畳み込みニューラルネットワーク内では、畳み込み層のノードがｄ次元画像のようなｄ次元行列として配置されると考えることができる。畳み込み層を使用する利点は、入力値の特に局所的な相関が、ノード又はレイヤ間の局所的な接続性パターンを実施することによって、特に各ノードが先行するレイヤのノードの小さい領域のみに接続されることによって、活用され得ることである。
【0032】
従って、畳み込み層の使用は訓練可能なパラメータの量を減らし、訓練と予測の両方を高速化する。有用な実施形態では、完全結合層のうちの１つが、畳み込み層（及び場合によっては後続のプーリング層）によって置き換えられる。別の有用な実施形態では、すべての隠れ層は、畳み込み層（場合によってはプーリング層が続く）である。
【0033】
他の有用な実施形態では、ＮＮが反復ニューラルネットワーク（ＲＮＮ）であるか、又はその一部である。反復ネットワークでは、フィードバックはメモリ機能を生成し、それによってネットワークにメモリ特性を与える。このようなメモリ機能は、超音波画像の視野が１つの画像から次の画像に完全に変化しないように、トランスデューサが撮像された身体部分の上をゆっくりと動かされるリアルタイム超音波画像のような関連データのシーケンスを処理する際に有用であり得る。有用な実施形態では、ＲＮＮはいくつかのレイヤを有し、隠れ層のうちの少なくとも１つは、１の固定重みを使用して１組のコンテキストノードに接続される。各時間ステップにおいて、入力は、複数の層を介してフィードフォワードされる。固定バック接続は、コンテキストノード内の非表示ノードの以前の値のコピーを保存する。従って、ネットワークは、一種の状態を維持することができ、標準的なフィードフォワードＮＮの能力を超えるシーケンス予測などのタスクを実行することを可能にする。有用な実施形態によれば、人工ニューラルネットワークの重みの一部又は全部は、量子化され、特に１～４ビットに量子化される。従って、重みは、限られた数の可能な値のうちの１つ、例えば、２つの値（０及び１）のうちの１つ、又は４つ又は８つの値のうちの１つに丸められる。これにより、ＮＮのメモリ及び処理要件が低減される。有用な例では、重みは２進値のみを採用することができるように、１ビットに量子化される。この実施形態は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）上などのメモリ制約の実装にとって非常に有利である。驚くべきことに、このように重みのメモリサイズが制限されたとしても、良好な結果が得られることが示された。
【0034】
有用な実施形態では、本発明の訓練済みニューラルネットワークは、超音波トランスデューサから取得されたＲＦ信号を完全に処理して、例えば、最終的に再構成された画像を生成するか、又は画像上に分析データを提供する、より大きなニューラルネットワークの部分でありうる。好適には、本発明の訓練済みニューラルネットワークがコンテント適応ビームフォーミングにおいて有用なアポダイゼーション重みを提供する、より大きなニューラルネットワークの部分である。
【0035】
有益な実施形態によれば、訓練済みニューラルネットワークは、人工ニューラルネットワークの入力層及び／又はアウトプット層よりも少ないノード、例えば２－３２、好適にはより少ない２２－２４少ないノードを有する少なくとも１つの隠れ層を含む。有用な実施形態では、完全結合された隠れ層のすべてが、入力層及び出力層よりも少ないノードを有する。この次元削減により、ネットワークはデータのよりコンパクトな表現を見つけ出し、ノイズを抑制することができます。例えば、第１の完全結合された隠れ層は、入力層よりも２～１６倍、好適には４～８倍少ないノードを有することができる。更なる態様によれば、本発明は超音波信号のコンテント適応ビームフォーミングにおいて有用なトレーニングされた人工ニューラルネットワークを提供するための方法を提供し、この方法は（ａ）超音波送信に応答して複数の超音波トランスデューサ素子によって取得された入力トレーニングデータ、すなわち、時間アラインされたＲＦ信号を受信するステップと、（ｂ）出力トレーニングデータを受信するステップであって、この出力トレーニングデータはコンテント適応アポディゼーション重みであり、この場合、このようなコンテント適応アポディゼーション重みが、コンテント適応ビームフォーミングアルゴリズム、特に最小分散アルゴリズムによってＲＦ信号から計算されるか、又は出力トレーニングデータが、コンテント適応ビームフォーミングアルゴリズムによってＲＦ信号から計算されるビームフォーミングされた出力信号である、ステップと、（ｃ）入力トレーニングデータ及び出力トレーニングデータを使用して人工ニューラルネットワークを訓練するステップと、（ｄ）訓練済み人工ニューラルネットワークを提供するステップと、を有する。
【0036】
従って、第１の実施形態では、ＮＮは、トレーニングターゲットとしてビームフォーミングされたＲＦ信号を使用してトレーニングされる。これらのターゲット信号は、訓練済みのＮＮ（例えば、高い空間分解能、最小クラッタ又は最大コントラストを有する）を使用するときに生成される信号の所望の品質及び特性を表すべきである。これらのターゲット信号は、入力信号及び関連するビームフォーミングされた出力信号を提供する数値シミュレーションに由来することができる。代替的に又は付加的に、これらの入力信号は、所望の品質を有し、所望の特性を有するビームフォーミングされた出力信号を提供することが知られているビームフォーミングアルゴリズムで処理された、捕捉されたＲＦ信号に由来することができる。このビームフォーミングアルゴリズムは、特に最小分散ビームフォーミングアルゴリズムでコンテント適応ビームフォーミングアルゴリズムとすることができる。次いで、ＮＮは、コンテント適応の形式でアポダイゼーション重みを計算するように構成される。この実施形態では、好適にはアポダイゼーション重みが合計で１になるという制約がトレーニング中に使用され、その結果、１からのあらゆる偏差がコスト関数に加算することによってペナルティを課される。
【0037】
第２の実施形態では、ＮＮは、トレーニングターゲットとしてコンテント適応アポディゼーション重みを提供することによって訓練され、トレーニングターゲットは、最小分散アルゴリズムのような既知のコンテント適応ビームフォーミングアルゴリズムを使用して計算される。これらの既知の技術は、典型的には軸外クラッタを抑制するために利用可能なチャネルデータを適応的に処理し、及び／又は、回折限界を超えて横方向分解能をもたらすために、利用可能なチャネルデータを適応的に処理することを求めるデータ依存ビームフォーミング方法である。他の公知の適応ビームフォーミング技術は、（圧縮センシングで使用されるような）指定されたドメインにスパース性を強制する非線形反転方式、振幅及び位相推定（ＡＰＥＳ）、並びに開口ドメインモデル画像再構成（ＡＤＭＩＲＥ）を含む。しかしながら、これらのアルゴリズムは計算的に非常に高価であり、従って、実際のリアルタイム画像データではなく、トレーニングデータに対してのみ使用されることができる。例えば、最小分散ビームフォーミングのためには、画像の中のすべてのピクセルに対して行列反転を行わなければならない。
【0038】
人工ニューラルネットワークは上述のように構成されてもよく、すなわち、それはいくつかの層、好適には最大４つの完全結合層と、最大３つの活性化層とを有する深層ネットワークであってもよい。トレーニングは、バックプロパゲーションによって行うことができる。この方法では、時間アラインされたＲＦ信号がエッジの所定の重みを用いてＮＮを通して伝搬される。出力は誤差又はコスト関数を使用して出力トレーニングデータと比較され、その出力はＮＮを通ってバックプロパゲートされ、それによって、最小誤差をもたらすネットワーク重み（及び場合によってはバイアスなどの他のパラメータ）を見つけるために勾配を計算する。これは、エッジの重みを調整し、コスト関数の負の勾配に従うことによって行われることができる。ニューラルネットワークの重みは本発明によれば、非常に迅速に最小値に収束し、その結果、ＮＮは１つ又は少数の超音波画像のみに関連する非常に限られた数のデータに対して訓練され得ることが見出された。
【0039】
有用な実施形態では、ニューラルネットワークは、トレーニング中にドロップアウト層を使用する。これにより、ドロップアウト層内のあるノード／接続がランダムに選択され、値／重みが０に設定される。例えば、ドロップアウト層は、３０～８０％などの所定の割合のドロップアウトノードを有することができ、例えば、すべてのノードの５０％がドロップアウトされ、それらの値／重みが０に設定される。トレーニングデータの次のバックプロパゲーションでは、ドロップアウト層の異なるノードセットが０に設定される。これはトレーニング中にノイズを生成するが、トレーニングが有用な最小値に収束するという利点を有する。従って、ＮＮはドロップアウト層を使用する場合、はるかに良好に訓練可能である。有用な実施形態では、トレーニング中、１つ、２つ、又は３つの完全結合層の後にドロップアウト層が続く。ドロップアウト層を使用することによって、接続の数が低減され、バックプロパゲーションの各反復中に、サブネットワークのみがトレーニングされる。ただし、実際に使用されているネットワークは、完全なＮＮ（ドロップアウトレイヤなし）である。トレーニング中に、人工ニューラルネットワークが、Ｌ２正規化を用いた活性化関数を含む少なくとも１つの活性化層を含む場合、更に有用である。これは、訓練をより迅速に収束させる。
【0040】
更なる実施形態によれば、ＮＮによって生成されるアポダイゼーション重みは、ユニティゲインからの偏差にペナルティを課すコスト関数（損失関数とも呼ばれる）を実現することによって制約される。従って、ニューラルネットワークはアポダイゼーション重みを生成し、その合計は１に近い。有用な実施形態において、これは、ニューラルネットワークのトレーニング中に厳密には実現されないが、１の合計からのいかなる偏差も、コスト関数に加算することによってペナルティを課される。従って、本発明は、入力に比例するままの出力信号を生成するロバストなビームフォーマを有利に提供する。
【0041】
好適には、コンテント適応アポダイゼーション重みを決定する際に使用される訓練済み人工ニューラルネットワークが上記の方法で訓練される。更に好適には、本発明の方法の訓練済み人工ニューラルネットワークが上記の訓練方法によって提供される。
【0042】
本発明は、命令を含むコンピュータプログラムにも関連しており、このプログラムが計算ユニットによって実行されるとき、計算ユニットに本発明の方法を実行させることができる。これは適応ビームフォーミング方法と訓練方法の両方に当てはまる。代替として、ニューラルネットワークは例えば、チップ又は他の処理ユニット上の固定接続を有するハードウェアとして実現されてもよい。本発明の方法を実行することができる計算ユニットは、ＣＰＵ（中央処理ユニット）又はＧＰＵ（グラフィック処理ユニット）などの任意の処理ユニットとすることができる。計算ユニットは、コンピュータ、クラウド、サーバ、ラップトップ、タブレットコンピュータ、携帯電話、スマートフォンなどのモバイル装置の一部とすることができる。特に、計算ユニットは、超音波画像システムの一部でありうる。
【0043】
本発明はまた、計算ユニットによって実行されるとき、計算ユニットに本発明による方法を実行させる命令を含むコンピュータ可読媒体にも向けられる。このような計算可能媒体は、任意のデジタル記憶媒体、例えば、ハードディスク、サーバ、クラウドサーバ、光学又は磁気デジタル記憶媒体、ＣＤ－ＲＯＭ、ＳＳＤカード、ＳＤカード、ＤＶＤ又はＵＳＢ又は他のメモリスティックであってもよい。別の態様によれば、本発明はまた、超音波信号を適応ビームフォーミングするシステムに関連し、本システムは、ａ）超音波送信に応答して複数の超音波トランスデューサ素子によって取得されたＲＦ信号を受信するように構成された第１のインターフェースと、ｂ）訓練済み人工ニューラルネットワークをＲＦ信号に適用し、それによってＲＦ信号をビームフォーミングするためのコンテント適応アポダイゼーション重みが生成され、コンテント適応アポダイゼーション重みをＲＦ信号に適用してビームフォーミングされた出力信号を計算するように構成された計算ユニットと、ｃ）ビームフォーミングされた出力信号を出力するように構成された第２のインターフェースと、を有する。
【0044】
システムは、好適には超音波信号の適応ビームフォーミングのための本発明の方法を実行するように構成される。このようなシステムは超音波イメージングシステム上に実現されてもよく、例えば、ＧＰＵなどのその処理ユニットの１つ上に実現される。しかしながら、超音波画像システムの超音波トランスデューサによって取得されたＲＦ信号が例えば、インターネットを介して別の計算ユニット、ローカル又は遠隔に転送され、適応アポディゼーション重みがそこから逆に転送され、ビームフォーミングされた出力信号を計算する際に使用されることも考えられる。
【0045】
更に、本発明は、本発明のトレーニング方法によって人工ニューラルネットワークを訓練するシステムにも関する。
【0046】
更なる態様によると、本発明は、超音波信号を送受信するように構成された超音波トランスデューサアレイと、受信された超音波信号の少なくとも一部に基づいて、ＲＦ信号とも呼ばれるチャネルデータを送信するように構成された、前記超音波トランスデューサアレイに動作可能に結合された複数のチャネルと、前記複数のチャネルに動作可能に結合され、前記チャネルデータを時間アラインするように構成されたビームフォーマと、前記ビームフォーマに動作可能に結合され、前記ビームフォーマと、前記ビームフォーマに動作可能に結合された信号プロセッサであって、請求項１乃至１２のいずれか１項に記載の方法を実行するように構成されている信号プロセッサと、を有する超音波イメージングシステムに向けられる。前記方法の計算コストが低いため、このような信号プロセッサは、既存の超音波システムに組み込むことができる。
【0047】
本発明の有用な実施形態を添付の図面を参照して説明する。類似の構成要素又は特徴は、図面において同じ参照符号で示される。
【図面の簡単な説明】
【0048】
【図1】従来のＤＡＳビームフォーミング技術の概略図。
【図2】適応ビームフォーマの概略図。
【図3】本発明の一実施形態によるニューラルネットワークの簡略図。
【図4】本発明の方法の実施形態の実現例を示す概略図。
【図5】本発明の一実施形態による人工ニューラルネットワークを示す概略図。
【図6】本発明の一実施形態による、（Ａ）従来のＤＡＳビームフォーミング、（Ｂ）最小分散ビームフォーミング、（Ｃ）深層学習ベースのビームフォーマ、で得られた超音波画像を示す図。
【図7】本発明の一実施形態による超音波撮像システムを示す図。
【図8】代替的なニューラルネットワークベースのビームフォーミング方法の概要を示す図。
【図9】代替方法で使用される模擬ファントムからのトレーニングデータセットを示す図であって、原画像が左側に、代替ニューラルネットワーク方法で得られた画像が中央に、最小分散ビームフォーミング画像が右側に示されている図。
【図10】代替方法に係る模擬ファントムからの試験データセットを示し、オリジナル画像を左側に、代替ニューラルネットワーク法により得られた画像を途中で、最小分散ビームフォーミングされた画像を右側に示す。
【発明を実施するための形態】
【0049】
図１は、遅延和（ＤＡＳ）法による従来のビームフォーミングを示す。例えば、トランスデューサ素子のアレイ４によって送信される超音波パルスに応答して、エコー３は、視野内の点構造（焦点）２から反射される。エコー３は、超音波トランスデューサのアレイ４によって記録される。このようにして取得された生ＲＦ信号５は、チャネルデータとも呼ばれ、各生ＲＦ信号５は１つのトランスデューサ素子によって取得されており、従って１つのチャネルに関連する。図１の例は、８つのチャネルを示す。ビームフォーミングに関して、チャネルデータ５は、ステップ６で補正される飛行時間であり、すなわち、トランスデューサアレイ４及び焦点２の形状に応じて、アレイ４によってエコー３が取得された異なる時間シフトｔ１、ｔ２、・・・、ｔｎが補正される。これらの時間アラインされたＲＦ信号Ｓ１、・・・、Ｓｎは、ステップ７でアポダイゼーション重みｗ１、・・・、ｗｎと乗算される。従来のＤＡＳビームフォーミングでは、これらの重みは予め設定されており、超音波画像のコンテントに適応していない。すなわち、これらの重みはＲＦ信号に適応していない。重み付き信号８は、ステップ９で合計されて、ビームフォーミングされた出力信号１０を生成する。このビームフォーミングされた出力信号１０は、更に処理されて、１つのピクセルの画像データを生成することができる。
【0050】
図２に適応ビームフォーミング方法を示す。この方法では、時間アラインされたＲＦ信号１８ Ｓ１、Ｓ２、・・・、Ｓｎは、ビームフォーミングアルゴリズム１４によって、コンテント適応アポダイゼーション重み１２を計算するために使用され、そのため、コンテント適応アポダイゼーション重み１２は、ＤＡＳビームフォーマにおいてそうであるように事前に決定されることはない。むしろ、信号は適応ビームフォーマ１４、例えば最小分散ビームフォーマによって処理され、このビームフォーマは、画質を最大にするために最適重みを計算する。重み付けされたＲＦ信号は、ステップ９で合計され、その結果、ビームフォーミングされた出力信号となる。
【0051】
本発明によれば、従来の適応ビームフォーミングアルゴリズム／プロセッサ１４は、ニューラルネットワークに置き換えられる。このようなニューラルネットワーク１６の一例を図３に示す。この例示的なネットワークは層２０、２４、２６、２８、３２、３６に配置され、各層は多数のノードからなり、隣接する層間のノードはエッジによって接続される。各エッジ／接続は、第１のノードの値に対して実行される単純な演算に対応し、この演算の値は、接続されたノードの値に加算される。特に、ニューラルネットワークの各ノードには、実数又は複素数を値として割り当てることができる。
【0052】
ニューラルネットワーク１６は、入力として、複数の超音波トランスデューサから取得され、１ピクセルの計算に使用される時間アラインされたＲＦ信号１８ Ｓ１、Ｓ２、・・・、Ｓｎを受信する。入力層２０内のノード２１の数は、寄与するＲＦ信号の数であるｎに対応する。この実施形態では、出力層３６のノード３４の数ｎが入力層２０のノード２１の数ｎに対応する。コンテント適応アポディゼーション重みｗ１、・・・、ｗｎを計算するために、入力値信号Ｓ１、Ｓ２、・・・、Ｓｎがニューラルネットワークを通して伝搬される。
【0053】
この実施形態では入力層２０は、完全結合層であり、すなわち、入力層の各ノード２１はエッジ２２によって、次の層２４の各ノード２３に接続される。この演算は行列乗算に対応し、入力層２０の各値は、それを次の層２４のノード２３に接続するエッジの重みと乗算される。
【0054】
次の層は活性化層２４であり、この例では反正規化層である。この反正規化器は、負の信号成分及び入力のダイナミックレンジを保持しながら、非線形性を効果的に導入する。入力の正の部分と負の部分とを連結するので、各ノード２３は２つのエッジ２４ａ及び２４ｂによって示されるように、正の入力値を有するか負の入力値を有するかに応じて異なる出力を有するので、次の層２６におけるノード２５の数を事実上２倍にする。その他の点では、次の層２６に含まれるノード２５の構造は、活性化層２４のノード２３の構造と同等であり、すなわち、層２４内の隣接するノード２３間に相互接続はない。
【0055】
活性化層２４に続く層２６は、再び完全結合層であり、すなわち、この層の各ノード２５は次の層２８の各ノード２７に接続される。この後続の層２８は、前の層２６よりも著しく少ないノード２７を有する。ノードの数を減らすことによって、トレーニングされる必要があるパラメータ／重みの数が減らされる。これは、ネットワーク内の計算量を減少させ、オーバーフィッティングの制御につながる。例えば、３～６倍の次元削減があってもよく、図示の例ではファクタは３であり、すなわち、層２８は先行する層２６の３分の１のサイズを有する。有用な実施形態では、ファクタは５である。この場合も、層２８は活性化層、すなわち、反正規化層であり、これは、サンプリングごとのＬ２正規化を２つのＲｅＬＵ活性化と組み合わせ、それによって、入力の正の部分と負の部分とを連結する。これにより、次の層３２内のノード２９の数が２倍になる。層３２の各ノードは出力層３６の各ノード３４に接続されているので、この層３２も完全結合層である。出力層３６で出力される値は、コンテント適応アポディゼーション重みｗ１、・・・、ｗｎである。
【0056】
図３の実施形態ではニューラルネットワークが３つの完全結合層を有し（出力層３６は次の層に値を伝播しないので、１としてカウントしない）、完全結合層は２０、２６、及び３２と名付けられる。更に、ネットワークは２つの活性化層２３及び２８を有し、各々は、一対の完全結合層の間にある。他の有用な実施形態では、別の完全結合層と、それに続く活性化層、すなわち、合計４つの完全結合層及び３つの活性化層があってもよい。
【0057】
図４には、本発明の方法の可能な実施例の概略図が示されている。（生の）ＲＦ信号が４０で入力データとして示されており、データは、各々がいくつかの軸方向サンプルを有するいくつかのチャネルを有する。ステップ４２において、生のＲＦデータは従来の方法を使用して時間アラインされ、異なる平面は異なるチャネルのデータを表す。この実施形態では、ＲＦ信号の飛行時間補正が事前に計算され、バッファに格納される。代替的に、飛行時間補正は、ＧＰＵ内でオンザフライで計算することもでき、それによって、通信及びメモリオーバヘッドを低減する。更に、この実施態様では、１つのピクセルに関連する様々なチャネルからのすべてのデータ４３が、ステップ４４で新しいフォーマット４５に再配置され、その結果、各ピクセルのデータ４３は、ＮＮ内で単一のバッチとして処理されることができる。時間アラインされた及び再配置されたＲＦ信号４５にＮＮ１６を適用する次のステップは、４６で示されている。スキップ接続４８が入力（時間アラインされたＲＦ信号）から出力５０に追加され、ここで、時間アラインされたＲＦ信号は、ステップ５２で、ＮＮによって生成されたアポディゼーション重みと乗算される。その結果、１つのピクセル５４に関連するビームフォーミングされたデータ５５が得られ、これは、超音波画像５１を再構成するために使用される。ＮＮによるビームフォーミング後、ビームフォーミングピクセルはその空間位置に従って再配置される。
【0058】
この好適な実施形態のニューラルネットワーク１６は、図５により詳細に示されている。各層の上には、その出力サイズ（寄与する１２８個のＲＦ信号に対して）が示されている。完全結合層は暗い陰影で示され、反正規化層は白色で示され、ドロップアウト層（ネットワークのトレーニング中にのみ存在する）は明るい陰影で示されている。このＮＮ１６は、入力層及び出力層のための１２８個のノードと、内部層のための３２個のノードとを備える４つの完全結合層を備える。この次元削減５８は、第１の反正規化層に続いて８倍（２３）、又は入力層倍であり、ネットワークに、よりコンパクトなデータ表現を見つけさせる。完全結合層（最後の層を除く）の各々の後には、反正規化層が続く。最後の完全結合層６０は、出力層であるか、又は出力層（図示せず）に直接接続される。トレーニング中、完全結合層の各対の間に、例えば０．２の確率でドロップアウトが適用される。言い換えれば、トレーニング中に、ドロップアウトレイヤ内のノードの固定パーセンテージがドロップアウトされる。従って、ドロップアウト層は、ネットワークのトレーニング中にのみ存在する。ドロップアウトは、トレーニングデータに対するニューラルネットワークのオーバーフィッティングを低減するのに役立つ。
【0059】
ＮＮは、TensorFlow（Google、CA、USA）バックエンドを有するＫｅｒａｓ ＡＰＩを使用してＰｙｔｈｏｎで実現されてもよい。訓練のために、Adamオプティマイザが、０．００１の学習速度で使用され、それにより、単一画像に属するピクセルのバッチ全体にわたって確率的に最適化する。図５に示されるニューラルネットワークは、インビボ超音波画像データに対し実現され、訓練された。
【0060】
図５に示すニューラルネットワークを訓練する場合、従来のアルゴリズムを使用する公知の適応ビームフォーミング技術によって計算されたアポダイゼーション重みを出力トレーニングデータとして使用することができる。入力トレーニングデータは、対応する時間アラインされたＲＦ信号である。トレーニング中、ＮＮ１６が、計算された出力データを生成するためにトレーニング入力データに適用される。計算された出力データと出力トレーニングデータとの間の比較は、ニューラルネットワーク１６内の重みを、この場合、例えば０．０００５～０．０１の学習速度で再帰的に適応させるために使用される。オーバーフィッティングを防止するために、正規化の方法、すなわち、正規化に基づく人工的に計算されたデータ又は重み減衰を使用するノードのドロップアウト、が使用されることができる。
【0061】
図５のＮＮは、単一平面波伝送を用いて取得した画像についてテストされ、その結果が図６に示されている。Ａで示される画像は、ＤＡＳビームフォーマで再構成された画像を示す。画像Ｂは最小分散ビームフォーマを使用し、画像Ｃでは本発明の実現による深層学習ベースのビームフォーマが適用された。ＮＮビームフォーマは、ＭＶターゲットに匹敵する高コントラスト画像を著しく少ないクラッタで生成することができることが観察されることができる。更に、両方の適応技術は、ＤＡＳと比較してＣＮＲ（コントラスト対雑音比）及び解像度が向上しており、後者についてはＮＮがＭＶターゲットを上回る結果となっており、これは、ＮＮがトレーニングデータの統計量を平均化することで、ビームフォーミングプロセスに生成可能な事前情報を組み込むことができるためであると考えられる。より高品質の画像に関する訓練は、ＮＮの性能を更に向上させることを可能にする。本発明のこの実施形態による方法は解像度とコントラストを比較するために、シミュレートされた画像についてもテストされた。分解能は、すべての点散乱体の半値全幅（ＦＷＨＭ）の平均を評価することによって評価された。コントラストは無エコーのシストの平均ＣＮＲを用いて評価された。その結果を表１に示す。従って、ＮＮビームフォーマは、ＭＶターゲットよりも著しく少ないクラッタで、高コントラスト画像を生成することができる。
【0062】
図７は、本発明の一実施形態による、本発明の方法を実行するように構成された超音波システム１００の概略図である。超音波システム１００は、ＣＰＵ１０４、ＧＰＵ１０６及びデジタル記憶媒体１０８、例えばハードディスク又はソリッドステートディスクを有する通常の超音波ハードウェアユニット１０２を有する。コンピュータプログラムはＣＤ－ＲＯＭ１１０から、又はインターネット１１２を介して、ハードウェアユニットにロードされることができる。ハードウェアユニット１０２は、キーボード１１６及び任意選択でタッチパッド１１８を備えるユーザインターフェース１１４に接続される。また、タッチパッド１１８は、撮像パラメータを表示するための表示装置として機能してもよい。ハードウェアユニット１０２は超音波プローブ１２０に接続され、超音波トランスデューサ１２２のアレイを有し、これは、被検体又は患者（図示せず）からの生の超音波画像の取得を可能にする。超音波プローブ１２０で取得されたライブ画像１２４及びＣＰＵ１０４及び／又はＧＰＵによって実行される本発明の方法に従ってビームフォーミングされ、スクリーン１２６上に表示され、スクリーン１２６は、任意の市販の表示ユニット、例えばスクリーン、テレビセット、フラットスクリーン、プロジェクタなどであってもよい。
【0063】
更に、例えばインターネット１１２を介して、リモートコンピュータ又はサーバ１２８への接続が存在してもよい。本発明による方法は、ハードウェアユニット１０２のＣＰＵ１０４又はＧＰＵ１０６によって実行されてもよいが、遠隔サーバ１２８のプロセッサによって実行されてもよい。また、図８乃至図１０は、アポディゼーション重みを計算するためにＮＮを使用せず、適応的にビームフォーミングされたＲＦデータを出力する、本発明の代替の態様に関する。この代替態様の目的は、適応ビームフォーミングの効果を画像ドメインで純粋に学習するだけではなく、チャネルごとのデータ（すなわち、ＲＦ信号）及びビームフォーミングＲＦデータを含む適応ＢＦアルゴリズムの実際の数学的動作を学習することによって、所与の適応ビームフォーミング（ＢＦ）アルゴリズムの挙動をより正確に学習することとして記述されることができる。この代替態様は、ＭＶ又は上述の他の技術のような、計算的に高価な適応ビームフォーミングアルゴリズムを学習するために、多層パーセプトロン（ＭＬＰ）を含む機械学習フレームワークを提供する。しかしながら、この機械学習フレームワークは、元の画像と適応的にビームフォーミングされた画像のピクセル値の間のマッピングとは対照的に、整列された複雑なチャネルごとのデータと適応的にビームフォーミングされたＲＦデータの間のマッピングを学習することを目的とする。
【0064】
ＭＬＰは、フィードフォワード人工ニューラルネットワークであり、入力データの組を取り込み、適切な出力の組にマッピングする。ＭＬＰは、非線形活性化関数を持つニューロンの複数の層からなり、各層は次の層に完全に接続されている。任意の連続マッピングｙ＝ｆ（ｘ１，ｘ２，．．，ｘｎ）を表すために必要とされるレイヤの最小数は、入力層、隠れ層、及び出力層を有する３であることがすでに実証されている。３層ＭＬＰ（又は、同等に１隠れ層ＭＬＰ）は関数ｆ：Ｒｎ→Ｒ１であり、ここで、ｎは、入力ベクトルｘのサイズであり、ｌは、出力ベクトルｆ（ｘ）のサイズであり、行列表記において、以下のように表される：
ここで、ｂ（１）及びｂ（２）は、バイアスベクトルであり、Ｗ（１）及びＷ（２）は、重み行列であり、Ｇ及びｓは、活性化関数である。一般的に使用される活性化関数は、シグモイド関数の形である：
ここで、λは、０から１への遷移の傾きを示す。重み行列Ｗ（１）及びＷ（２）は、Levenberg‐Marquardtあるいはバックプロパゲーションアルゴリズムのような訓練アルゴリズムを用いて計算される。
【0065】
この代替態様で使用されるニューラルネットワークは、まず、Field IIシミュレーションによって生成されたトレーニングデータセットに基づいて適応ビームフォーミングアルゴリズムを学習するように訓練され、次に、訓練されたニューラルネットワークは、概念を証明するために２つの異なるテストデータセットに適用される。代替の態様は十分な量の入出力データ対が利用可能である限り、多くの他の計算的に高価な適応ビームフォーミング技法に一般化することができるフレームワークである。もう１つの態様は、限られた量のトレーニングデータセットから計算的に高価な適応ビームフォーミングアルゴリズムを学習し、推論を介してかなり低い計算コストで新しいデータセット上に学習したアルゴリズムを適用することができる機械学習フレームワークを提供する。本発明の代替的な側面は、時には平均以上の価格帯のＧＰＵを使用してもリアルタイムで実行することが非常に難しい、計算量の多い適応ビームフォーミングアルゴリズムのリアルタイム処理を可能にするものでありうる。本発明の別の態様の主な構成要素は、チャネル当たりの時間アラインされた複素ＲＦデータを複素ビームフォーミングされたＲＦデータにマッピングするニューラルネットワークである。多層パーセプトロン（ＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）、及び回帰及び／又は生成ネットワークなどのより高度なネットワークなどのいくつかのタイプのニューラルネットワークを使用して同様のタスクを実行することができるが、代替の態様はＭＬＰモデルを使用して、機械学習／深層学習フレームワークを使用して高度な適応ビームフォーミング技術を学習及び適用することの実現可能性を実証する。ＭＶビームフォーマはテストアルゴリズムとして使用されるが、ここで示したコア概念は他の適応ビームフォーミングアルゴリズムにも拡張できる。
【0066】
本発明の代替の態様においてニューラルネットワークを訓練する際に使用される入出力対は元のビームフォーマ画像及びＭＶビームフォーマ画像からのピクセルではなく、むしろ、入力データは所与の深度における時間アラインされた複素チャネルＲＦ信号から成り、出力データはＭＶビームフォーマのための対応する複素ビームフォーマ出力である。主なステップは図８に示されている。ステップ１では、ニューラルネットワークトレーニングのトレーニングデータセットが準備される。これは、入力としてのチャネル当たりの時間アラインされた複素データと、ターゲットとしての複素ＭＶビームフォーミングされたデータとからなる。Ｎチャネルシステムの場合、Ｍ個の入力－出力対が、所与のピクセル位置における２Ｎ個の入力／チャネルデータ（実数及び虚数）と、対応するＭＶビームフォーマ出力（実数及び虚数）とから得られる。入力及び出力データは共に実部及び虚部を有する。従って、入力データ行列はＭ×２Ｎであり、出力データ行列はＭ×２である。ＭＶビームフォーミングは、そのような入力－出力対を得るためにオフラインで実行されるべきである。ＭＶビームフォーミングはデータ準備段階で一度だけ実行されるので、それに関連する計算上の負担は本方法の制限ではない。
【0067】
ステップ２では、トレーニングデータセットを使用して学習アルゴリズムを訓練する。このステップは、マッピングエラーが所定のレベルに収束するまで反復的に実行される。この概念を証明するために、ＭＬＰモデルが使用された。しかし、畳み込みニューラルネットワークを含むより高度なネットワークアーキテクチャを使用することができる。これについては、後の実施形態としてより詳細に説明する。
【0068】
ステップ３では、学習アルゴリズムが以前には処理していなかった、チャネル当たりの時間アラインされた複素データの形のテストデータセットが導入される。訓練されたアルゴリズムは、入力データに作用して、その複素ＭＶビームフォーマ出力を予測（又は推論）する。推論ステップは、加算及び乗算のみを使用してＭＶＢＦにおける計算集約的な動作を近似するので、ＭＶＢＦの直接計算よりも著しく高速であることが期待される。例えば、標準ＤＡＳに関連する計算量は、要素数Ｏ（Ｎ）に対して線形である。しかしながら、ＭＶＢＦに対する計算量は、サブアレイサイズに比例し、最適開口重みを計算するために必要な行列反転によりＯ（Ｌ３）になる。しかし、ＭＬＰを使用すると、追加される計算負荷を大幅に低減することができ、潜在的に、リアルタイム処理をより実現可能にする。
【0069】
いくつかの予備シミュレーション結果を図９及び１０に示す。図９は，単一の大きな無響性嚢胞を含むファントムをシミュレートしたトレーニングデータセットで，原画像（左），ニューラルネットワーク画像（中），真のＭＶＢＦ画像（右）を示している．６４素子Ｐ４‐２位相ドアレイをシミュレートした。すべての画像は事前にスキャン変換された画像であり、すべての画像は６０ｄＢのダイナミックレンジで表示される。ＭＶＢＦ画像は、より微細なスペックルサイズ及び嚢胞内のサイドローブの減少した量を示すことに留意されたい。また、ニューラルネットワーク画像は嚢胞内のサイドローブが減少し、スペックルサイズがわずかに小さくなっていることを示している。
【0070】
図１０は、３つの小さい無エコーのシストを含む模擬ファントムからのテストデータセットを示す。原画像（左）、ニューラルネットワーク画像（中央）、及び真のＭＶＢＦ画像（右）が示されている。６４素子Ｐ４‐２位相アレイがシミュレートされた。すべての画像は、プリスキャンコンバート画像であり、すべての画像は、６０ｄＢのダイナミックレンジで表示される。ＭＶＢＦ画像は、無エコーのシストにおいて、より微細なスペックルサイズ及び減少したサイドローブを示すことに留意されたい。ニューラルネットワーク画像が同様の改善を示す。
【0071】
他のネットワークアーキテクチャが使用されることにより、適応ビームフォーミングアルゴリズムを学習することができる。重要なコンポーネントは、ネットワークが、チャネルごとの入力から、ビームフォーミングされた出力にマッピングすることである。例えば、畳み込みニューラルネットワークは、良好な結果を与えることが期待される。入力データは、チャネルごとの整列された実数（又は複素数）データである。処理は、ローカル（チャネルごとの関連データから１つのピクセル値を学習する）又はグローバル（アラインされたデータスタック全体からビームフォーミングされたＲＦフレーム全体を学習する）なものでありうる。ローカル処理は、入力データがいずれにせよローカルであるアルゴリズム（最小分散ビームフォーマなど）を模倣するのに適しているように思われる。十分なデータが提供されれば、グローバルアルゴリズムはまた、解剖学的構造情報を学習し、使用する可能性がなければならない。本発明のこの代替態様の理念に沿って、以下に、畳み込みニューラルネットワークを用いたローカルアプローチを説明する。各ピクセルごとのアラインされたチャネルごとのデータは、関心のあるサンプル深さのあたりで高速でクロッピングされ、（numTime*numElements）データ行列を生成する。時間のディメンジョンはステアリング効果に敏感であるように、典型的には数波長である。トレーニングデータセットサイズは、利用可能な画像の数におけるそのようなデータウィンドウの数によって決定される。１つの単一画像は、典型的には何十万もの独立したトレーニング入力－出力対をもたらすことができる。全入力データにわたる受信フィールドを有し、単一のスカラを出力する完全畳み込みニューラルネットワークは、関心のある深さで適応的にビームフォーミングされた値を学習するように訓練されることができる。
【0072】
上記の議論は単に本システムを例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものと解釈されるべきではない。従って、本システムは例示的な実施形態を参照して特に詳細に発明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システムのより広く意図された精神及び範囲から逸脱することなく、多数の修正及び代替実施形態を考案することができることも理解されたい。従って、本明細書及び図面は例示的なものであり、添付の請求項の範囲を限定することを意図したものではありません。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】