特許7515183低コスト、低サイズおよび低電力で超音波イメージングにおける画質を維持する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-04
(45)【発行日】2024-07-12
(54)【発明の名称】低コスト、低サイズおよび低電力で超音波イメージングにおける画質を維持する方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20240705BHJP
【ＦＩ】
A61B8/14
【請求項の数】
23
(21)【出願番号】P 2021533672
(86)(22)【出願日】2019-12-20
(65)【公表番号】
(43)【公表日】2022-03-15
(86)【国際出願番号】 US2019068004
(87)【国際公開番号】W WO2020139775
(87)【国際公開日】2020-07-02
【審査請求日】2021-11-10
(31)【優先権主張番号】62/785,315
(32)【優先日】2018-12-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520342725
【氏名又は名称】エコー イメージング，インク．
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(72)【発明者】
【氏名】ワーニック，マイルズ
(72)【発明者】
【氏名】アッカラジュ，サンディープ
(72)【発明者】
【氏名】ギュンター，ドレイク
(72)【発明者】
【氏名】ウスチュナー，クタイ
(72)【発明者】
【氏名】ハク，ユースフ
【審査官】蔵田 真彦
(56)【参考文献】
【文献】国際公開第２０１４／０６９５５８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０１７７４６１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０３７２１９３（ＵＳ，Ａ１）
【文献】特開２００８－１０００６８（ＪＰ，Ａ）
【文献】特開２０１１－０５６２４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００－８／１５
(57)【特許請求の範囲】
【請求項1】
医療用超音波イメージングの方法であって、該方法は、ａ）超音波画像シーケンスの第１のフレームを形成する工程であって、前記第１のフレームは高画質である工程と、
ｂ）超音波画像シーケンスの少なくとも１つのフレームを形成する工程であって、前記少なくとも１つのフレームは低画質である工程と、
ｃ）超音波画像シーケンスの第２のフレームを形成する工程であって、前記第２のフレームは高画質である工程と、
ｄ）前記超音波画像シーケンスの高画質の第１のフレーム及び前記超音波画像シーケンスの高画質の第２のフレームを利用して、前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質を向上させる工程と、
ｅ）医療用超音波イメージングが完了するまで、上記a）工程からｄ）工程を繰り返す工程と、
を含む、医療用超音波イメージングの方法において、
前記超音波画像シーケンスは、超音波トランスデューサを使用して形成された複数のフレームを含み、それぞれのフレームは、超音波画像シーケンスを生成するために異なる時点で生成され、前記超音波画像シーケンスの各Ｎ番目ごとのフレームは、高画質のフレームで構成され、前記超音波画像シーケンスの高画質の第１のフレームまたは前記超音波画像シーケンスの高画質の第２のフレームとして用いられ、それ以外のすべてのフレームは低画質である、
医療用超音波イメージングの方法。
【請求項2】
前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質が、前記超音波画像シーケンスの高画質の第１のフレームおよび前記超音波画像シーケンスの高画質の第２のフレームを使用して向上される、請求項１に記載の方法。
【請求項3】
前記超音波画像シーケンスの高画質の第１のフレームの質、または、前記超音波画像シーケンスの高画質の第２のフレームの質を向上させる工程をさらに含む、請求項１または２に記載の方法。
【請求項4】
画質は、空間分解能、コントラスト分解能、信号対ノイズ比、または信号ダイナミックレンジを含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
各フレームが、２次元画像、３次元画像、Ｂモード画像、カラードップラー画像、またはスペクトルドップラーストリップである、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記超音波画像シーケンスの高画質の第１のフレームまたは前記超音波画像シーケンスの高画質の第２のフレームを利用して、前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質を向上させる工程は、機械学習モデルの適用によって行われ、前記機械学習モデルは、畳み込み層、双方向畳み込みＬＳＴＭ層、一方向畳み込みＬＳＴＭ層のいずれかを含む、
請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記低画質は、前記超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、またはビームフォーミングプロセス中に使用される時間的遅延量子化の結果である、請求項１～６のいずれか一項に記載の方法
【請求項8】
前記低画質は、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、少数の伝達を送ること、または行間隔および集団長さを増加させることによって生じる、請求項１～７のいずれか一項に記載の方法
【請求項9】
前記低画質は、前記超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、ビームフォーミングプロセス中に使用される時間的遅延量子化、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、および少数の伝達を送ること、行間隔および集団長さを増加させること、からなるリストから選択される、画質低下に使用される２つ以上の技術の組み合わせによって生じる、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記超音波画像シーケンスの高画質の第１のフレーム、前記超音波画像シーケンスの低画質の少なくとも１つのフレーム、および、前記超音波画像シーケンスの高画質の第２のフレームは、超音波トランスデューサを使用して形成される、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記超音波トランスデューサは、ｐＭＵＴ装置、または１．２５Ｄ、１．５Ｄ、１．７５Ｄあるいは２Ｄアレイの素子を含む、請求項１０に記載の方法。
【請求項12】
医療用超音波イメージングシステムであって、該システムは、ｉ）超音波トランスデューサを含む医療用超音波イメージング装置と、
ｉｉ）少なくとも１つのプロセッサーと、を含み、
該システムは、
ａ）超音波トランスデューサを使用して、超音波画像シーケンスの第１のフレームを形成する工程であって、前記第１のフレームは高画質である工程と、
ｂ）超音波トランスデューサを使用して、超音波画像シーケンスの少なくとも１つのフレームを形成する工程であって、前記少なくとも１つのフレームは低画質である工程と、
ｃ）超音波トランスデューサを使用して、超音波画像シーケンスの第２のフレームを形成する工程であって、前記第２のフレームは高画質である工程と、
ｄ）前記超音波画像シーケンスの高画質の第１のフレーム及び前記超音波画像シーケンスの高画質の第２のフレームを利用して、前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質を向上させる工程と、
ｅ）医療用超音波イメージングが完了するまで、上記a）工程からｄ）工程を繰り返す工程と、
を含む機能を実行するように構成される、医療用超音波イメージングシステムにおいて、
前記超音波画像シーケンスは、複数のフレームを含み、それぞれのフレームは、超音波画像シーケンスを生成するために異なる時点で生成され、
前記超音波画像シーケンスの各Ｎ番目ごとのフレームは、高画質のフレームで構成され、前記超音波画像シーケンスの高画質の第１のフレームまたは前記超音波画像シーケンスの高画質の第２のフレームとして用いられ、それ以外のすべてのフレームは低画質である、
医療用超音波イメージングシステム。
【請求項13】
前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質が、前記超音波画像シーケンスの高画質の第１のフレームおよび前記超音波画像シーケンスの高画質の第２のフレームを使用して向上される、請求項１２に記載の医療用超音波イメージングシステム。
【請求項14】
前記超音波画像シーケンスの高画質の第１のフレームの質、または、前記超音波画像シーケンスの高画質の第２のフレームの質を向上させることを含む機能を実行するようにさらに構成される、請求項１２または１３に記載の医療用超音波イメージングシステム。
【請求項15】
画質は、空間分解能、コントラスト分解能、信号対ノイズ比、または信号ダイナミックレンジを含む、請求項１２～１４のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項16】
各フレームが、２次元画像、３次元画像、Ｂモード画像、カラードップラー画像、またはスペクトルドップラーストリップである、請求項１２～１５のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項17】
前記超音波画像シーケンスの高画質の第１のフレームまたは前記超音波画像シーケンスの高画質の第２のフレームを利用して、前記超音波画像シーケンスの低画質の少なくとも１つのフレームの質を向上させる工程は、機械学習モデルの適用によって行われ、前記機械学習モデルは、畳み込み層、双方向畳み込みＬＳＴＭ層、一方向畳み込みＬＳＴＭ層を含む、
請求項１２～１６のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項18】
前記低画質は、前記超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、またはビームフォーミングプロセス中に使用される時間的遅延量子化の結果である、請求項１２～１７のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項19】
前記低画質は、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、少数の伝達を送ること、または行間隔および集団長さを増加させることによって生じる、請求項１２～１８のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項20】
前記低画質は、前記超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、ビームフォーミングプロセス中に使用される時間的遅延量子化、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、および少数の伝達を送ること、行間隔および集団長さを増加させることからなるリストから選択される、画質低下に使用される２つ以上の技術の組み合わせによって生じる、請求項１２～１９のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項21】
前記超音波トランスデューサは、ｐＭＵＴ装置、または１．２５Ｄ、１．５Ｄ、１．７５Ｄあるいは２Ｄアレイの素子を含む、請求項１２～２０のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項22】
前記少なくとも１つのプロセッサーは、特定用途向け集積回路（ＡＳＩＣ）を含む、請求項１２～２１のいずれか一項に記載の医療用超音波イメージングシステム。
【請求項23】
前記少なくとも１つのプロセッサーは、医療用超音波イメージング装置と通信状態にあるモバイルコンピューティングデバイスを含む、請求項１２～２２のいずれか一項に記載の医療用超音波イメージングシステム。【発明の詳細な説明】
【技術分野】
【0001】
相互参照
本出願は、２０１８年１２月２７日に出願された米国出願シリアル番号第６２／７８５，３１５号の利益を主張し、それはその全体として本明細書に組み込まれている。
本出願は、２０１８年１２月２７日に出願された米国出願シリアル番号第６２／７８５，３１５号の利益を主張し、それはその全体として本明細書に組み込まれている。
【背景技術】
【0002】
超音波イメージングは、医療および非破壊検査の分野において広く使用される。
【発明の概要】
【0003】
典型的な超音波イメージング装置はかさばっており、高価であり、そこで小さく、ポータブル、および低コストの装置の必要性が存在する。超音波イメージング装置の携帯性は、その電力要件が最小限に抑えられることを要求する。
【0004】
超音波イメージング装置のコスト、サイズおよび消費電力は、超音波パルスが生成される、および検出されるプロセスの様々な変更を通じて減少されることができる。消費電力を減少する変更は、アクティブ・チャンネル・カウント、フロントエンドのゲインおよびバイアス、アナログ・デジタル変換（ＡＤＣ）サンプリングレート、側面のサンプリングレート、時間的サンプリングレート、平行の受信ビーム数、ビーム帯域幅産物、カーネル長さのフィルター、係数量子化レベルのフィルター、データ転送速度およびワード長さ、ドップラーのための集断長さ等を減少することを含む。しかしながら、そのような変更は、一般的に、低空間分解能、コントラスト分解能、時間的分離能、感度、浸透、およびダイナミックレンジ、またはイメージングおよびスペクトルのアーチファクトの増加の組み合わせの形態で低画質を引き起こす。現在の方法は、重要な診断情報を伝える微妙な画像詳細を正確に表示し損ねるという知覚リスクが存在する。
【0005】
低コスト、低機能、小さい波形率集積回路および低消費電力レベルのプロセッサーを用いて良好な画質を達成することができるように、画質の低下を中和する必要性が存在する。それに応じて、本明細書に記載される発明特定事項は、いくつかの実施形態では、超音波画像をより低いコスト、より低い電力、およびより小さい波形率装置で、関連の画質を劣化させずに生成されることを可能にするために機械学習を使用する。いくつかの実施形態では、本明細書に記載される発明特定事項は、高画質および低画質のフレームを利用する。さらなる実施形態では、本明細書に記載される発明特定事項は、高画質および低画質のフレームを交互に利用する。その際、本明細書に記載される発明特定事項は、そのような実施形態では、高画質の画像詳細がモデルに利用可能であると保証することによって、些細な画像詳細を正確に表明し損ねるリスクを最小限に抑えるために加工中に定期的に高画質の画像を取り込む。
【0006】
一態様では、本明細書に開示されるのは、コンピューターに実装された医療用超音波治療イメージンの方法であって、該方法は、高画質の超音波画像シーケンスの第１のフレームを形成する工程と、低画質の超音波画像シーケンスの少なくとも１つのフレームを形成する工程と、高画質の超音波画像シーケンスの第２のフレームを形成工程と、高画質の超音波画像シーケンスの第１および／または第２のフレームを利用して、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させる工程と、を含む。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を、高画質の超音波画像シーケンスの第１および第２のフレームを利用して、向上させる。いくつかの実施形態では、該方法は、高画質の超音波画像シーケンスの第１のフレーム、または高画質の超音波画像シーケンスの第２のフレームの質を向上させる工程をさらに含む。様々な実施形態では、画質は、空間分解能、コントラスト分解能、信号対ノイズ比、および／または信号ダイナミックレンジを含む。いくつかの実施形態では、各フレームは、２次元画像である。他の実施形態では、各フレームは、３次元画像である。いくつかの実施形態では、各フレームは、Ｂモード画像である。他の実施形態では、各フレームは、カラードップラー画像である。まだ他の実施形態では、各フレームは、スペクトルドップラーストリップである。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させることは、機械学習の適用によって達成される。いくつかの実施形態では、低画質は、少なくとも部分的にトランスデューサの少数の素子の使用によって引き起こされる低空間サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的に低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的に低空間周波数サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的にビームフォーミングプロセス中に使用される時間的遅延量子化の結果である。いくつかの実施形態では、低画質は、少なくとも部分的に相収差補正を実施しないことによって生じる。いくつかの実施形態では、低画質は、少なくとも部分的にアパーチャコヒーレンス関数ベースのイメージング技術を実施しないことによって生じる。いくつかの実施形態では、低画質は、少なくとも部分的に少数伝達（行間隔および集団長さ）によって生じる。様々な実施形態では、低画質は、超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、ビームフォーミングプロセス中に使用される時間的遅延量子化、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、および少数伝達（行間隔および集団長さ）からなるリストから選択された画質の低下に使用される２つ以上の技術の組み合わせによって生じる。いくつかの実施形態では、フレームは、トランスデューサを使用して形成され、およびトランスデューサは、ｐＭＵＴ装置を含む。いくつかの実施形態では、フレームは、トランスデューサを使用して形成され、およびトランスデューサは、１．２５Ｄ、１．５Ｄ、１．７５Ｄ、または２Ｄアレイを含む。
【0007】
別の態様では、本明細書に開示されるのは、医療用超音波イメージングシステムであって、該システムは、超音波トランスデューサを含む医療用超音波イメージング装置と、少なくとも１つのプロセッサーと、を含み、該システムは、超音波トランスデューサを使用して、高画質の超音波画像シーケンスの第１のフレームを形成することと、超音波トランスデューサを使用して、低画質の超音波画像シーケンスの少なくとも１つのフレームを形成することと、超音波トランスデューサを使用して、高画質の超音波画像シーケンスの第２のフレームを形成することと、高画質の超音波画像シーケンスの第１または第２のフレームを利用して、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を、少なくとも１つのプロセッサーを使用して、向上させることと、を含む機能を実行するために構成される。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質が、高画質の超音波画像シーケンスの第１および第２のフレームを利用して、向上される。いくつかの実施形態では、該システムは、高画質の超音波画像シーケンスの第１のフレーム、または高画質の超音波画像シーケンスの第２のフレームの質を向上させることを含む機能を実行するためにさらに構成される。様々な実施形態では、画質は、空間分解能、コントラスト分解能、信号対ノイズ比、および／または信号ダイナミックレンジを含む。いくつかの実施形態では、各フレームは、２次元画像である。他の実施形態では、各フレームは、３次元画像である。いくつかの実施形態では、各フレームは、Ｂモード画像である。いくつかの実施形態では、各フレームは、カラードップラー画像である。いくつかの実施形態では、各フレームは、スペクトルドップラーストリップである。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させることは、機械学習の適用によって達成される。いくつかの実施形態では、低画質は、超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリングの結果である。いくつかの実施形態では、低画質は、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリングの結果である。いくつかの実施形態では、低画質は、低空間周波数サンプリングの結果である。いくつかの実施形態では、低画質は、ビームフォーミングプロセス中に使用される時間的遅延量子化の結果である。いくつかの実施形態では、低画質は、相収差補正を実施しないことによって生じる。いくつかの実施形態では、低画質は、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないことによって生じる。いくつかの実施形態では、低画質は、少数伝達（行間隔および集団長さ）によって生じる。様々な実施形態では、低画質は、超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、ビームフォーミングプロセス中に使用される時間的遅延量子化、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、および少数伝達（行間隔および集団長さ）からなるリストから選択された画質低下に使用される２つ以上の技術の組み合わせによって生じる。いくつかの実施形態では、超音波トランスデューサはｐＭＵＴ装置を含む。いくつかの実施形態では、超音波トランスデューサは、１．２５Ｄ、１．５Ｄ、１．７５Ｄ、または２Ｄアレイの素子を含む。いくつかの実施形態では、少なくとも１つのプロセッサーは、特定用途向け集積回路（ＡＳＩＣ）を含む。いくつかの実施形態では、少なくとも１つのプロセッサーは、医療用超音波イメージング装置と通信状態にあるモバイルコンピューティング装置を含む。
【図面の簡単な説明】
【0008】
本主題の特徴と利点のより良い理解は、例証的な実施形態と添付の図面を説明する、以下の詳細な記載を参照することによって得られる。
【図1】は、２つのスキャン手順を示す：スキャン手順１では、各Ｎ番目のフレームは、高画質の画像であり、他のすべてのフレームは低画質の画像であり；および、スキャン手順２では、すべてのフレームは低画質の画像である。
【図2A】は、ＣｏｎｖおよびＢＣ－ＬＳＴＭモジュール（ＲｅＬＵは、修正された一次的単位を示す）を含む空間時間的予測モデルを示す。
【発明を実施するための形態】
【0009】
本明細書に開示されるのは、いくつかの実施形態では、コンピューターに実装された医療用超音波イメージングの方法であって、該方法は、高画質の超音波画像シーケンスの第１のフレームを形成する工程と、低画質の超音波画像シーケンスの少なくとも１つのフレームを形成する工程と、高画質の超音波画像シーケンスの第２のフレームを形成工程と、高画質の超音波画像シーケンスの第１および／または第２のフレームを利用して、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させる工程と、を含む。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質が、高画質の超音波画像シーケンスの第１および第２のフレームを利用して、向上される。いくつかの実施形態では、該方法は、高画質の超音波画像シーケンスの第１のフレーム、または高画質の超音波画像シーケンスの第２のフレームの質を向上させる工程をさらに含む。いくつかの実施形態では、画質は空間分解能を含む。いくつかの実施形態では、画質はコントラスト分解能を含む。いくつかの実施形態では、画質は信号対ノイズ比を含む。いくつかの実施形態では、画質は信号ダイナミックレンジを含む。いくつかの実施形態では、各フレームは、２次元画像である。他の実施形態では、各フレームは、３次元画像である。いくつかの実施形態では、各フレームは、Ｂモード画像である。他の実施形態では、各フレームは、カラードップラー画像である。まだ他の実施形態では、各フレームは、スペクトルドップラーストリップである。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させることは、機械学習の適用によって達成される。いくつかの実施形態では、低画質は、少なくとも部分的にトランスデューサの少数の素子の使用によって引き起こされる低空間サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的に低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的に低空間周波数サンプリングの結果である。いくつかの実施形態では、低画質は、少なくとも部分的にビームフォーミングプロセス中に使用される時間的遅延量子化の結果である。いくつかの実施形態では、低画質は、少なくとも部分的に相収差補正を実施しないことによって生じる。いくつかの実施形態では、低画質は、少なくとも部分的にアパーチャコヒーレンス関数ベースのイメージング技術を実施しないことによって生じる。いくつかの実施形態では、低画質は、少なくとも部分的に少数伝達（行間隔および集団長さ）によって生じる。いくつかの実施形態では、低画質は、少なくとも部分的に画質を低下するために使用される上記の技術に２つ以上の組み合わせによって生じる。いくつかの実施形態では、フレームは、トランスデューサを使用して形成され、および使用されるトランスデューサは、ｐＭＵＴ装置である。いくつかの実施形態では、フレームは、トランスデューサを使用して形成され、および使用されるトランスデューサは、１．２５Ｄ、１．５Ｄ、１．７５Ｄ、または２Ｄアレイである。
【0010】
さらに、本明細書に開示されるのは、いくつかの実施形態では、医療用超音波イメージングシステムであって、該システムは、超音波トランスデューサを含む医療用超音波イメージング装置と、少なくとも１つのプロセッサーと、を含み、該システムは、超音波トランスデューサを使用して、高画質の超音波画像シーケンスの第１のフレームを形成することと、超音波トランスデューサを使用して、低画質の超音波画像シーケンスの少なくとも１つのフレームを形成することと、超音波トランスデューサを使用して、高画質の超音波画像シーケンスの第２のフレームを形成することと、高画質の超音波画像シーケンスの第１または第２のフレームを利用して、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を、少なくとも１つのプロセッサーを使用して、向上させることと、を含む機能を実行するために構成される。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質が、高画質の超音波画像シーケンスの第１および第２のフレームを利用して、向上される。いくつかの実施形態では、該装置は、高画質の超音波画像シーケンスの第１のフレーム、または高画質の超音波画像シーケンスの第２のフレームの質を向上させることを含む機能を実行するためにさらに構成される。様々な実施形態では、画質は、空間分解能、コントラスト分解能、信号対ノイズ比、および／または信号ダイナミックレンジを含む。いくつかの実施形態では、各フレームは、２次元画像である。他の実施形態では、各フレームは、３次元画像である。いくつかの実施形態では、各フレームは、Ｂモード画像である。いくつかの実施形態では、各フレームは、カラードップラー画像である。いくつかの実施形態では、各フレームは、スペクトルドップラーストリップである。いくつかの実施形態では、低画質の超音波画像シーケンスの少なくとも１つのフレームの質を向上させることは、機械学習の適用によって達成される。いくつかの実施形態では、低画質は、超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリングの結果である。いくつかの実施形態では、低画質は、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリングの結果である。いくつかの実施形態では、低画質は、低空間周波数サンプリングの結果である。いくつかの実施形態では、低画質は、ビームフォーミングプロセス中に使用される時間的遅延量子化の結果である。いくつかの実施形態では、低画質は、相収差補正を実施しないことによって生じる。いくつかの実施形態では、低画質は、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないことによって生じる。いくつかの実施形態では、低画質は、少数伝達（行間隔および集団長さ）によって生じる。様々な実施形態では、低画質は、超音波トランスデューサの少数の素子の使用によって引き起こされる低空間サンプリング、低時間的サンプリングレートの使用によって引き起こされる低時間的サンプリング、低空間周波数サンプリング、ビームフォーミングプロセス中に使用される時間的遅延量子化、相収差補正を実施しないこと、アパーチャコヒーレンス関数ベースのイメージング技術を実施しないこと、および少数伝達（行間隔および集団長さ）からなるリストから選択される、画質の低下に使用される２つ以上の技術の組み合わせによって生じる。いくつかの実施形態では、超音波トランスデューサはｐＭＵＴ装置を含む。いくつかの実施形態では、超音波トランスデューサは、１．２５Ｄ、１．５Ｄ、１．７５Ｄ、または２Ｄアレイの素子を含む。いくつかの実施形態では、少なくとも１つのプロセッサーは、特定用途向け集積回路（ＡＳＩＣ）を含む。
【0011】
機械学習の用語
機械学習アルゴリズム（「モデル」）は、f（ｘ；ｗ）数学関数であり、その関数では、ｘ（「入力」）は、数学変数のベクトル（リスト）であり、ｙ（「ラベル」）は、数学変数のベクトルであり、およびｗ（「パラメータベクトル」）はモデルの数学パラメータのベクトルである。モデルは、多数対（「訓練セット」）｛ｘｉ，ｙｉ｝，ｉ＝１，．．．，Ｐに基づくパラメータベクトルのために値を選ぶことによって設計されており、ここで、ｘｉおよびｙｉは、それぞれｘおよびｙのために既知の換算値の例である。
機械学習アルゴリズム（「モデル」）は、f（ｘ；ｗ）数学関数であり、その関数では、ｘ（「入力」）は、数学変数のベクトル（リスト）であり、ｙ（「ラベル」）は、数学変数のベクトルであり、およびｗ（「パラメータベクトル」）はモデルの数学パラメータのベクトルである。モデルは、多数対（「訓練セット」）｛ｘｉ，ｙｉ｝，ｉ＝１，．．．，Ｐに基づくパラメータベクトルのために値を選ぶことによって設計されており、ここで、ｘｉおよびｙｉは、それぞれｘおよびｙのために既知の換算値の例である。
【0012】
【数1】
【0013】
【数2】
【0014】
特定の定義
他に定義されない限り、本明細書で使用される技術用語はすべて、本発明特定事項が属する分野における当業者により一般に理解されるものと同じ意味を有する。明細書および添付の請求項内で用いられる通り、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が他に明確に指示していない限り、複数の引用文を含む。「または」への任意の言及は、別段の定めがない限り、「および／または」を包含することを意図している。
他に定義されない限り、本明細書で使用される技術用語はすべて、本発明特定事項が属する分野における当業者により一般に理解されるものと同じ意味を有する。明細書および添付の請求項内で用いられる通り、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が他に明確に指示していない限り、複数の引用文を含む。「または」への任意の言及は、別段の定めがない限り、「および／または」を包含することを意図している。
【0015】
本明細書に使用されるように、「高画質の画像」は、超音波画像シーケンスのフレームであり、そのデータ収集パラメータが、装置の意図した適用でその装置の実作業において実行可能な方法で満足させる高画質を生成するような方法で選ばれた。
【0016】
本明細書で使用されるように、「低画質の画像」は、超音波画像シーケンスのフレームであり、そのフレームでは、低画質を犠牲にして、データ収集パラメータは、高画質の画像を取得するために必要とされた装置に対して装置の電力消費、サイズ、またはコストを減少するために慎重に選ばれた。
【0017】
本明細書で使用されるように、「復元画像」は、モデルを、低画質の画像において画質の損失を中和するために１つ以上の低画質の画像に適用することによって取得された超音波画像シーケンスのフレームであり、それによって、画質を高画質の画像の近似のものに復元する。復元画像は、モデルによって生成された予測ラベルを含む。
【0018】
本明細書で使用されるように、１つの「改善画質の画像」は、単にモデルを訓練する目的のために作成された超音波画像シーケンスのフレームであり、それは、イメージング装置の意図された適用では、その実作業において実行不可能な技術と設計パラメータの適用によって取得され、該適用は、１）作業において使用されるもの（かつそれはより優れた画質を提供する）と異なる装置でイメージングすること、（この装置は、必ずしも超音波装置である必要がなく、それは異なる物理療法：例えば、ＣＴ、ＭＲＩ、ＯＣＴなどであり得ることに注意されたい）、２）その意図した適用で、装置の実作業において実行不可能な計算要件に関与するアルゴリズムで高画質の画像の改善することと、または、３）その意図した適用で、装置の実作業において複製できない過度の電力、サイズ、またはコストを関与させるスキャンパラメータ、またはシステム構成でイメージングすることと、を含む。
【0019】
スキャン手順
図１に例示される、２つのスキャン手順が考慮される。スキャン手順１では、超音波装置は、収集された超音波画像シーケンスの各ｎ番目のフレームが高画質の画像であり、残りのフレームが低画質の画像であるようにデータを収集するためにプログラムされる。各ｎ番目のフレームが、「アンカーフレーム」として称される。スキャン手順２では、超音波装置は、収集された超音波画像シーケンスの各フレームが、低画質の画像であるように、プログラムされる。広範囲の画像サイズ／画質は、超音波装置が提供可能、または提供するために構成する画像サイズ／画質に応じて代替的に適切である。
図１に例示される、２つのスキャン手順が考慮される。スキャン手順１では、超音波装置は、収集された超音波画像シーケンスの各ｎ番目のフレームが高画質の画像であり、残りのフレームが低画質の画像であるようにデータを収集するためにプログラムされる。各ｎ番目のフレームが、「アンカーフレーム」として称される。スキャン手順２では、超音波装置は、収集された超音波画像シーケンスの各フレームが、低画質の画像であるように、プログラムされる。広範囲の画像サイズ／画質は、超音波装置が提供可能、または提供するために構成する画像サイズ／画質に応じて代替的に適切である。
【0020】
画質を復元するための機械学習モデルの使用
本明細書に記載される発明特定事項は、スキャン手順１またはスキャン手順２にしたがって超音波画像フレームを取得すること、その後に収集された画像に基づいて、復元画像を予側するためにモデルを適用することを含む。したがって、１つ以上の復元画像は、予側ラベルを含み、および１つ以上の収集された画像は、モデルへの入力を含む。
本明細書に記載される発明特定事項は、スキャン手順１またはスキャン手順２にしたがって超音波画像フレームを取得すること、その後に収集された画像に基づいて、復元画像を予側するためにモデルを適用することを含む。したがって、１つ以上の復元画像は、予側ラベルを含み、および１つ以上の収集された画像は、モデルへの入力を含む。
【0021】
１つの実施形態では、モデルは、スキャン手順１で低画質の各画像を、低画質の画像、およびシーケンス中でそれに最も近い（時間的に最も接近している）２つのアンカーフレームに基づいて、復元画像の予側によって、復元するために設計されている。
【0022】
別の実施形態では、モデルは、低画質の各画像を、過去でより遠い（時間的に最も接近していない）フレームに基づいて、復元画像の予側によって、復元するために設計されている。そのような実施形態では、過去のフレームは、１つ以上の前の高画質のフレーム、１つ以上の前の低画質のフレーム、および本明細書に記載される加工方法によってシーケンス中で予め生成された１つ以上のフレーム、およびその組み合わせを随意に含む。
【0023】
復元画像を予側するための例示的なモデルは、回旋状のニューラルネットワーク（Ｃｏｎｖ）層と双方向的で、回旋状で、長い短期記憶（ＢＣ－ＬＳＴＭ）層を含む、（図２Ｂで提供される詳細を有する）図２Ａで示される深層学習構造を使用して構築することができる。この実施形態では、ＣｏｎｖとＲｅＬＵの層の目的は、画像フレームの空間的特徴を捉えて分析することである。初期のＣｏｎｖ層は、画像の空間的特徴を決定するに効果を有する。ＢＣ－ＬＳＴＭ層は、低画質の画像を復元することを促進するために２つのアンカーフレームの情報を使用する。この実施形態では、ＢＣ－ＬＳＴＭは、画像フレーム間の時間的関係を利用する。最終のＣｏｎｖ層（図２Ａで最上部）は、復元画像を形成するためにＢＣ－ＬＳＴＭモジュールの出力を集約する。
【0024】
図２Ｂでは、すべての「ＢＣ－ＬＳＴＭモジュール」内の「後進的なＣｏｎｖＬＳＴＭ」モジュールは、同じパラメータを共有する一方、Ｃｏｎｖ層は必ずしも共通パラメータ値を共有しない。
【0025】
この実施形態では、モデルの訓練は、（図２Ａで見られるように）入力を形成するために２つのアンカーフレームおよび１つの低画質の画像を使用することによって実行され、正確なラベルは、モデルが復元しようとする低画質の画像と同じ画像内容を描いている高画質の画像または改善画質の画像である。作業では、モデルは、復元画像を含む、予側ラベルを生成する。
【0026】
この実施形態の変形では、モデルは、入力を形成するために、低画質の画像、および最も最近で収集されたアンカーフレームのみを使用し、予測ラベルは復元画像を含む。このアプローチは、原因処理（すなわち、それは低画質の画像の後に収集された画像を利用しない）に対する信頼の利点を有しており、したがって、画像を生成する際に潜伏（遅れ）を回避する。しかしながら、このアプローチは、１つのアンカーフレームのみを利用するという短所を有する。
【0027】
この実施形態のさらなる変形では、モデルは、入力を形成するために、長さＭの摺動時間窓中で収集されるすべての画像を使用し、出力は、時間窓中で収集されるすべての画像に対応する復元画像を含む。Ｍ＝Ｎの場合、収集された画像の時間窓は、１つのアンカーフレーム、およびＮ－１低画質の画像を含む。この例では、収集された画像のどれがアンカーフレームであるか識別するために、モデルに、入力変数を導入することは有益であり得る。
【0028】
この実施形態のさらなる変形では、モデルは、前方の時間的方向でのみ働く、一方向の回旋状のＬＳＴＭなどの一方向の時間的処理を使用する。
【0029】
この実施形態のさらなる変形では、モデルは、過去の情報に基づいて、連続的に自分を更新する、または各画像を独立して処理して、１回で１つの画像を処理する。
【0030】
この実施形態のさらなる変形では、スキャン手順２は、データを収集するために使用される。この場合、モデルは、入力を構築するために１つ以上の低画質の画像、および正確なラベルを構築するために１つ以上の対応する高画質の画像または改善画質の画像を使用することによって訓練される。
【0031】
これらの実施形態の各々では、ＬＳＴＭによって提供される時間的処理は、回旋状のニューラルネットワークと取り替えることができる。このネットワークは、モデルに含まれる時間的回旋が拡大した回旋である場合、画像シーケンスで見られた画像内容の長期記憶を示す場合がある。代替的に、空間的と時間的処理は、一体化空間時間的回旋状のニューラルネットワーク構造内に統合され得る。
【0032】
これらの実施形態の各々では、モデルは、訓練セットの適切な構築によって、高画質の画像、または改善画質の画像のいずれかを予側するように訓練され得る。
【0033】
これらの実施形態の各々では、モデルは、訓練セット中でラベルとして改善画質の画像を使用することによって、アンカーフレームの画質を改善するために使用され得る。
【0034】
本明細書に提供される発明特定事項の範囲内での、図２Ａで示される実施形態の代替物は、３次元回旋状のニューラルネットワーク層（例えば、ＢＣ－ＬＳＴＭでない）に基づき、これらの３次元のうちの２つの次元が空間座標であり、かつ第３の次元が時間座標である。この代替的な実施形態では、画像シーケンスの時間的性質はこの第３の次元によって捉えられる。
【0035】
画質に影響を与える省電力方法
受信チャネルカウントの減少
いくつかの実施形態では、フロントエンド・システム・ハードウェアは、アナログ信号調節、デジタル化、復調、デシメーション、ビームフォーミングなどを実施することができる。フロントエンドハードウェアによって消費される電力を減少する方法の１つは、処理されている受信チャネルの数を減少することである。これは、空間分解能、コントラスト分解能、および信号対ノイズ比（ＳＮＲ）の喪失として現れる。より小さなアパーチャが受信に使用される（６４素子対１２８素子）１つの場合、空間分解能は、方位角の次元で２の因数で減少される。別の実施形態では、受信素子の数は、偶または奇の素子の使用によって減少される。この方法は、方位角の空間分解能（同じ有効アパーチャサイズ）を維持するが、より低下した空間サンプリングによって誘導されたサイドローブおよびグレーティングローブは、結果として生じる画像のコントラスト分解能を減少させる。
受信チャネルカウントの減少
いくつかの実施形態では、フロントエンド・システム・ハードウェアは、アナログ信号調節、デジタル化、復調、デシメーション、ビームフォーミングなどを実施することができる。フロントエンドハードウェアによって消費される電力を減少する方法の１つは、処理されている受信チャネルの数を減少することである。これは、空間分解能、コントラスト分解能、および信号対ノイズ比（ＳＮＲ）の喪失として現れる。より小さなアパーチャが受信に使用される（６４素子対１２８素子）１つの場合、空間分解能は、方位角の次元で２の因数で減少される。別の実施形態では、受信素子の数は、偶または奇の素子の使用によって減少される。この方法は、方位角の空間分解能（同じ有効アパーチャサイズ）を維持するが、より低下した空間サンプリングによって誘導されたサイドローブおよびグレーティングローブは、結果として生じる画像のコントラスト分解能を減少させる。
【0036】
さらに、固定素子ピッチが、グレーティングローブおよび他の空間サンプリングアーチファクトのため、高い周波数でステアリング制限をもたらすシステムでは、そのようなアプローチは、画質を回復するのに使用され得ることを指摘すべきである。そのような実施形態では、増加した計算および「高画質」のフレームのための電力を犠牲にしてより高い空間サンプリングレートを達成し、その後、正常なアパーチャを低画質フレームに使用するために仮想素子が合成され得る。
【0037】
時間的サンプリング周波数の減少
フロントエンドＡＤＣの時間的サンプリング周波数の減少も電力を減少する。極端な場合では、サンプリング周波数減少は、超音波信号の時間的エイリアシングを引き起こし、画像のコントラストおよび分解能を減少する。
フロントエンドＡＤＣの時間的サンプリング周波数の減少も電力を減少する。極端な場合では、サンプリング周波数減少は、超音波信号の時間的エイリアシングを引き起こし、画像のコントラストおよび分解能を減少する。
【0038】
ビームフォーミング中の相／遅延量子化の減少
群遅延量子化レベルの減少、または優れた相整列を実施しないことなどの、ビームフォーミングプロセスの計算量の減少は、処理電力を減少する。しかしながら、この不完全な集束スキームは、点分布関数（空間分解能およびコントラスト分解能）を下げることによって、画質を減少する。
群遅延量子化レベルの減少、または優れた相整列を実施しないことなどの、ビームフォーミングプロセスの計算量の減少は、処理電力を減少する。しかしながら、この不完全な集束スキームは、点分布関数（空間分解能およびコントラスト分解能）を下げることによって、画質を減少する。
【0039】
伝達数の減少
電力を減少するこの方法では、伝達数は、伝達行間隔を増大させること、および／または伝達アパーチャの制限によって伝達ｆ／＃を増大させることによって減少される。全体的な効果は、伝達数を減少すること、したがって、１つのフレーム当たり計算されるべき処理行を受信することである。このアプローチの効果は、画像ＳＮＲ、空間分解能および画像コントラストの減少である。
電力を減少するこの方法では、伝達数は、伝達行間隔を増大させること、および／または伝達アパーチャの制限によって伝達ｆ／＃を増大させることによって減少される。全体的な効果は、伝達数を減少すること、したがって、１つのフレーム当たり計算されるべき処理行を受信することである。このアプローチの効果は、画像ＳＮＲ、空間分解能および画像コントラストの減少である。
【0040】
伝達数の減少の別の効果は、１つの伝達当たり処理された平行の受信ビーム数を増大させることである。しかしながら、１つの伝達当たりより多くの受信ビームを形成することは、画質の観点から好ましくない、マルチビーム、ブロックアーチファクトを引き起こす。本開示で概説されるアプローチは、これらの好ましくないイメージングアーチファクトに対処するために使用され得る。
【0041】
多数の焦点伝達（様々な伝達焦点深度）、または回顧の伝達／受信アパーチャ合成が、高画質の画像フレームを作成するために使用されるであろうという例は、本方法に含まれるであろう。
【0042】
伝達される電力の減少
低伝達電力（電圧レベル、伝達サイクル数、より弱い焦点／面波／分岐波）で伝達することは、ＳＮＲを減少させる。この場合、「高画質」のフレームは、恐らくコード化励起、および／またはパルス幅変調を使用して、より高い電圧レベルで伝達され、それはパルスリングダウンの減少という付加利益を有するであろう。
低伝達電力（電圧レベル、伝達サイクル数、より弱い焦点／面波／分岐波）で伝達することは、ＳＮＲを減少させる。この場合、「高画質」のフレームは、恐らくコード化励起、および／またはパルス幅変調を使用して、より高い電圧レベルで伝達され、それはパルスリングダウンの減少という付加利益を有するであろう。
【0043】
画像処理の複雑さの減少
１つの実施形態では、低画質の画像フレームは、適用される画像処理アルゴリズムの複雑さ（例えば、相収差補正、適応性のあるイメージング、アパーチャコヒーレンス関数ベースのイメージング技術、斑点減少、輪郭強調など）の観点から高画質の画像フレームと同じ方法で処理されない。これは、出力画像中の空間分解能、コントラスト分解能、および潜在的にＳＮＲを自然に減少する。
１つの実施形態では、低画質の画像フレームは、適用される画像処理アルゴリズムの複雑さ（例えば、相収差補正、適応性のあるイメージング、アパーチャコヒーレンス関数ベースのイメージング技術、斑点減少、輪郭強調など）の観点から高画質の画像フレームと同じ方法で処理されない。これは、出力画像中の空間分解能、コントラスト分解能、および潜在的にＳＮＲを自然に減少する。
【0044】
本主題の好ましい実施形態が本明細書中で示され、記載されてきたが、このような実施形態はほんの一例として提供されるものであることは、当業者には明らかであろう。多数の変形、変更、及び置換は、記載される方法および装置から逸脱することなく、当業者によって現在想到される。本明細書に記載される本主題の実施形態の様々な代案が、記載される方法およびシステムの実施において利用されるかもしれないことを理解されたい。
【図1】
【図2A】
【図2B】
