特許 7562936 自動壁追跡を伴う超音波システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】自動壁追跡を伴う超音波システム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241001BHJP

【ＦＩ】

A61B8/14

【請求項の数】 27

(21)【出願番号】P 2023126617

(22)【出願日】2023-08-02

(62)【分割の表示】P 2020563442の分割

【原出願日】2019-05-03

(65)【公開番号】P2023145684

(43)【公開日】2023-10-11

【審査請求日】2023-08-29

(31)【優先権主張番号】15/974,255

(32)【優先日】2018-05-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】399043060

【氏名又は名称】フジフィルム ソノサイト インコーポレイテッド

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】ホワイト、クリストファー、エー．

【審査官】宮川 数正

(56)【参考文献】

【文献】特表２０２１－５２４７６７（ＪＰ，Ａ）

【文献】特表２０１８－５２９４５３（ＪＰ，Ａ）

【文献】特開２０２２－１２３０７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

第１の撮像モダリティと前記第１の撮像モダリティとは異なる第２の撮像モダリティとを含む超音波信号を被検体に供給し、前記被検体から前記第１の撮像モダリティに対応する超音波エコー信号及び前記第２の撮像モダリティに対応する超音波エコー信号を受信するように構成されたトランスデューサであって、前記第１の撮像モダリティと前記第２の撮像モダリティがインターリーブされている、トランスデューサ；
前記第１の撮像モダリティの前記超音波エコー信号から超音波画像データを作成し、
前記第２の撮像モダリティの前記超音波エコー信号から超音波画像データを作成し、
訓練されたニューラルネットワークによって、前記超音波画像データに基づいて、超音波画像内の心内膜境界を識別するように構成された
プロセッサ；並びに
前記超音波画像と、前記心内膜境界に関連する１又は複数の生理学的パラメータと、を同時に表示するように構成されたディスプレイ、ここで、前記生理学的パラメータは前記超音波画像データからリアルタイムで計算される、
を含む、超音波撮像システムであって、
前記第２の撮像モダリティの前記超音波エコー信号からの前記超音波画像データは前記ディスプレイに示されない、
超音波撮像システム。

【請求項2】

前記プロセッサは、前記超音波画像のフレームが作成されると前記超音波画像データを前記訓練されたニューラルネットワークに供給するように構成されており、
前記ディスプレイは、前記超音波画像と前記１又は複数の生理学的パラメータとを同時に表示するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項3】

前記ディスプレイは、前記１又は複数の生理学的パラメータと、前記心内膜境界が識別された前記超音波画像と、を同時に表示するように更に構成されている、
請求項１に記載の超音波撮像システム。

【請求項4】

前記プロセッサは、呼吸センサから信号を受信し、前記被検体が呼吸中であると前記呼吸センサが示したときに前記超音波画像データの一部が取得された場合、前記超音波画像データの一部を無視するように更に構成されている、
請求項１に記載の超音波撮像システム。

【請求項5】

前記第１の撮像モダリティはＢモードであり、
前記第２の撮像モダリティはＭモードである、
請求項１に記載の超音波撮像システム。

【請求項6】

前記１又は複数の生理学的パラメータは、駆出率、短縮率、一回拍出量、及び心拍出量の１又は複数を含む、請求項５に記載の超音波撮像システム。

【請求項7】

前記プロセッサは、複数回の心周期にわたり前記１又は複数の生理学的パラメータを演算するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項8】

前記プロセッサは、前記複数回の心周期にわたる前記１又は複数の生理学的パラメータの少なくとも１の生理学的パラメータの平均を決定するように構成されており、
前記ディスプレイは、前記少なくとも１の生理学的パラメータの前記平均を表示するように構成されている、
請求項７に記載の超音波撮像システム。

【請求項9】

前記プロセッサは、少なくともパルスセンサに基づいて前記平均を決定するように構成されている、
請求項８に記載の超音波撮像システム。

【請求項10】

前記プロセッサは、前記１又は複数の生理学的パラメータの分散を決定するように構成されており、
前記ディスプレイは、前記１又は複数の生理学的パラメータの前記分散を表示するように構成されている、
請求項７に記載の超音波撮像システム。

【請求項11】

前記プロセッサは、前記１又は複数の生理学的パラメータを閾値と比較し、前記比較に基づいて警告を発するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項12】

前記プロセッサは、患者記録から前記閾値を読み取るように構成されている、
請求項１１に記載の超音波撮像システム。

【請求項13】

前記プロセッサは、前記１又は複数の生理学的パラメータを患者記録からの生理学的パラメータと比較するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項14】

前記プロセッサは、前記心内膜境界の少なくとも１の解剖学的測定を行うように構成され、
前記ディスプレイは、前記少なくとも１の解剖学的測定を表示するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項15】

前記プロセッサは、患者の心臓がいつ収縮期及び拡張期の少なくとも一方にあるかを判定するように更に構成されている、
請求項１に記載の超音波撮像システム。

【請求項16】

前記プロセッサは、前記超音波画像データを前記訓練されたニューラルネットワークに供給するように更に構成され、
前記訓練されたニューラルネットワークの訓練は、識別フィーチャを有する複数の超音波検査画像を供給することと、前記超音波検査画像からデータを取得することと、複数のフィルタ重みおよびバイアス値を決定することと、を含む、
請求項１に記載の超音波撮像システム。

【請求項17】

前記プロセッサは、前記超音波画像データを前記訓練されたニューラルネットワークに供給するように構成され、
前記訓練されたニューラルネットワークは、前記ニューラルネットワークの訓練に用いた複数の画像の複数のピクセルデータカラムと等しい複数のピクセルデータカラムを有する画像を受信し、各画像ピクセルデータカラムにおいて前記心内膜境界の位置として２つの最も可能性がある位置をマーキングする出力データセットを作成するように構成されている、
請求項１に記載の超音波撮像システム。

【請求項18】

前記プロセッサは、心筋の第１の内壁及び第２の内壁を識別し、画像の各カラムにおけるピクセル間の距離を分析することにより前記心筋の前記第１の内壁と前記第２の内壁と
の距離を測定するように更に構成されている、
請求項１に記載の超音波撮像システム。

【請求項19】

受信された第１の撮像モダリティの超音波エコー信号から超音波画像データを作成すること；
受信された、前記第１の撮像モダリティとは異なる第２の撮像モダリティの超音波エコー信号から超音波画像データを作成すること、ここで、前記受信された第１の撮像モダリティの超音波エコー信号と前記受信された第２の撮像モダリティの超音波エコー信号がインターリーブされている；
訓練されたニューラルネットワークによって、前記超音波画像データ内の心内膜境界を識別すること；
前記心内膜境界に基づいて被検体の１又は複数の生理学的パラメータを計算すること、ここで、前記生理学的パラメータは前記超音波画像データからリアルタイムで計算される；
前記１又は複数の生理学的パラメータがベースライン値からの閾値量を超えて変化する場合、警告を発すること；及び
前記１又は複数の生理学的パラメータと超音波画像とを同時に表示すること
を含む、
超音波撮像システムにおいてプロセッサを動作させる方法であって、
前記第２の撮像モダリティの前記超音波エコー信号からの前記超音波画像データはディスプレイに示されない、
方法。

【請求項20】

前記被検体について計算された過去の生理学的パラメータに基づいて、前記閾値量及びベースライン値の１又は複数を決定することを更に含む、
請求項１９記載の方法

【請求項21】

被検体の人種、年齢、性別、及び治療歴の少なくとも１種に基づいて前記ベースライン値及び前記閾値量の少なくとも１つを決定することを更に含む、
請求項２０に記載の方法。

【請求項22】

呼吸センサから信号を受信し、前記被検体が呼吸中であると前記呼吸センサが示したときに超音波撮像データの一部が取得された場合、前記超音波撮像データの一部を無視することを更に含む、
請求項１９に記載の方法

【請求項23】

ユーザが介入することなくリアルタイムに、前記呼吸センサからの前記信号に基づいて、前記超音波画像データにおいて開始点及び停止点を自動的に決定することを更に含む、
請求項２２に記載の方法。

【請求項24】

患者の心臓がいつ収縮期及び拡張期の少なくとも一方にあるかを判定することを更に含む
請求項１９に記載の方法。

【請求項25】

心筋の第１の内壁及び第２の内壁を識別すること；及び
画像の各カラムにおけるピクセル間の距離を分析することにより前記心筋の前記第１の内壁と前記第２の内壁との距離を測定すること
を更に含む、
請求項１９に記載の方法。

【請求項26】

前記警告は、患者の状態及びエコー信号の検出に伴う問題の少なくとも１つを示す、
請求項１９に記載の方法。

【請求項27】

前記心内膜境界を識別することは、前記超音波画像データを前記訓練されたニューラルネットワークに供給することを更に含み、
前記訓練されたニューラルネットワークは、識別フィーチャを有する複数の超音波検査画像を供給することと、前記超音波検査画像からデータを取得することと、複数のフィルタ重みおよびバイアス値を決定することと、を含む操作を用いて訓練される、
請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願との相互参照＞
本出願は、２０１８年５月８日に出願された米国特許出願第１５／９７４，２５５号に関連しその利益を主張し、参照によりその全体を本明細書に援用する。

【0002】

開示の技術は、超音波撮像システムに関し、とりわけ、超音波画像データからリアルタイムに生理学的測定値を提供する超音波システムに関する。

【背景技術】

【0003】

使い易く非電離放射線であるため、超音波はヒト及び動物を対象とする撮像モダリティとして益々使用が広がっている。超音波を用いて、体内組織の画像を提供することに加え、研究者又は医療提供者が使用し得る生理学的機能の定量的評価を提供することができる。このような定量的評価の一例として心機能に関するものがある。駆出率（ＥＦ）、短縮率（ＦＳ）、一回拍出量（ＳＶ）（ｓｔｏｋｅ ｖｏｌｕｍｅ）、及び心拍出量（ＣＯ）等の生理学的パラメータは、患者の診断及び病期分類に使用される周知の測定値である。４つの標準的な機能パラメータのうち、心臓がどの程度血液を送り出しているかを示す尺度である駆出率（ＥＦ）は、心不全の診断及び病期分類における１つの手掛かりである。これらのパラメータの各々は、超音波画像データから行われる測定から計算することができる。

【0004】

従来の超音波システムでは、心拍出量の表示を望む医師、超音波技師、又は他の熟練した医療提供者が最初に超音波検査を行う。超音波画像データを得て保存した後、オペレータは、画像データを確認し画像の特定の組織フィーチャに手動でマーカーを配置するか、又は、マーカーを配置するために画像を放射線科医に送る。次いで、これらのマーカー間の距離を用いて生理学的パラメータを計算する。被検体の検査中にこのような生理学的パラメータをリアルタイムに表示することが出来れば、医療提供者は、手動での測定を止めたり画像を放射線科に送ったりすることなく、より迅速に診断を行うことができるだろう。

【発明の概要】

【0005】

上述の問題及び他の問題に対処するために、開示の技術は、ニューラルネットワークを用いて超音波画像データ内のフィーチャの測定値からリアルタイムに生理学的パラメータを計算する超音波撮像システムに関する。一実施形態では、超音波撮像システムのプロセッサが、物理的フィーチャを識別する訓練されたニューラルネットワークに提供される超音波画像を作成する。物理的フィーチャが識別されると、プロセッサはフィーチャの測定値を決定し、１又は複数の生理学的パラメータを計算する。

【0006】

心機能パラメータは、傍胸骨長軸像から取得したＭモード画像を用いて計算することができる。典型的な方法は、収縮期（；ｓ）及び拡張期（；ｄ）両方での心室中隔（ＩＶＳ）又は右室壁（ＲＶＩＤ）の厚み、左室内径（ＬＶＩＤ）、左室後壁（ＬＶＰＷ）、及び心拍数の測定を含む。場合によっては、心機能の測定値を算出するために、収縮期及び拡張期両方でのＬＶＩＤ測定のみが必要とされる。これらの測定は静止（確認中；ｎｏｔ ｌｉｖｅ）画像について手動で行ってもよく、（画像からの直接的な、又は、利用可能であればＥＣＧ信号を用いることによる）心拍数の測定を含んでいてもよい。

【0007】

同様の解剖学的測定及び機能計算は、心臓前壁及び後壁境界（心内膜境界）の追跡を用いて行うこともできる。この場合、ＬＶＩＤ；ｄ及びＬＶＩＤ；ｓは、これら２つの追跡間の最小及び最大分離点で測定される。心拍数は、複数回の収縮期からの時間差、又は、可能であればＥＣＧ追跡を用いて取得することができる。

【0008】

開示の一実施形態では、超音波システム内のプロセッサは、超音波画像を取得するとリアルタイムに心拍出量パラメータを計算する。プロセッサは、Ｍモード超音波画像を、画像から心内膜境界を識別するように訓練されたニューラルネットワークに提供する。識別された心内膜の壁の位置から、プロセッサは、超音波画像データと共にリアルタイムで表示される心臓パラメータを計算することができる。このプロセスは、前臨床（マウス及びラット等の動物モデル）イメージングだけでなく、臨床（ヒト）イメージングにも適用することができる。

【0009】

開示の実施形態では、自動心内膜壁追跡によりオペレータを手動追跡の面倒な作業から解放し、また、サイクル平均化のために測定され得る複数の収縮期及び拡張期を提供する。更に、これはリアルタイム測定という選択を可能にし、それ以外では不可能であろう。

【図面の簡単な説明】

【0010】

【図1】Ｍモード超音波画像に手動で作成した一対の心内膜追跡（ＬＶ）の例を示す；

【図2】開示の技術の実施形態に従う、超音波画像データからリアルタイムに生理学的測定を行うための代表的な超音波システムを示す；

【図3】開示の技術の実施形態に従う、複数のテスト画像を用いたニューラルネットワークの訓練方法を示す；

【図4】開示の技術の実施形態に従う、訓練されたニューラルネットワークに入力され、ニューラルネットワークからの画像内の心内膜位置を示す出力データである、Ｍモード超音波画像の一部を示す；

【図5】開示の技術の実施形態に従う、ニューラルネットワークによって識別された物理的フィーチャからリアルタイムに計算された画像データ及び１又は複数の生理学的パラメータを示す超音波撮像システムの例示的なユーザインターフェースを示す；

【図6】前壁、腔（ｃｈａｍｂｅｒ）、及び後壁の代表的なＭモード厚み測定値を示す。

【発明を実施するための形態】

【0011】

上述のように、超音波画像データから生理学的パラメータを計算する従来の方法では、超音波画像に１又は複数のマーカーを手動で配置し、マーカーの配置に関連する測定値からパラメータを計算する。図１は、例として、複数回の心周期にわたり拍動しているマウス心臓の左心室のＭモード超音波画像１０を示す。画像は、画像データ内に見られた物理的フィーチャの輪郭にユーザが手動で配置した複数のマーカー（例えば、プラス「＋」記号）を含む。この例では、心周期の収縮期に互いに向かって縮み、心周期の拡張時に互いに離れて膨らむ、一対の対向する心内膜壁にマーカーが配置されている。超音波システム内のプロセッサは、スプライン等のカーブフィッティング法を用いて、手動で配置されたマーカーを結ぶ一対の曲線を計算する。心周期における収縮期及び拡張時での上部曲線と下部曲線との距離は、種々の心臓パラメータを計算することを可能にする。超音波画像１０はまた、超音波マシンに接続した他のセンサから得られるＥＫＧ及び呼吸情報を含む。

【0012】

図１に示すアプローチは生理学的パラメータの正確な計算を可能にするものの、あらかじめ取得した画像にユーザがマーカーを手動で配置する必要がある。物理的フィーチャが容易に識別された場合、マーキングは約３０秒で完了することができる。しかしながら、物理的フィーチャが画像内で見難い場合、処理が長引くことがある。以下に詳細に説明されるように、開示の技術は、ソフトウェア又はプログラマブルロジックを用いて画像内の物理的フィーチャを自動的に識別する超音波システムに関する。これにより、生理学的パラメータを計算しリアルタイムでオペレータに示すことが可能になる。

【0013】

図２は、開示の技術を実現することが可能な代表的な超音波システムを示す。超音波画像システム５０は、手持ち式、ポータブル、又はカート型撮像システムを備えていてもよい。超音波システム５０は、超音波信号を被検体（図示せず）に送り込み、対応するエコー信号を被検体から受信する１又は複数の超音波トランスデューサ５４と接続している。いくつかの実施形態では、超音波システム５０は、ＳＰＯ２センサ、ＥＫＧセンサ、呼吸センサ等の１又は複数の追加外部センサ５６から信号を受信してもよい。超音波撮像システム５０は、超音波データが表示される１又は複数のディスプレイを含む。ディスプレイは、オペレータがタッチコマンドを使用してシステムを操作することができるように、タッチスクリーン（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ ｄｉｓｐｌａｙ）を備えていてもよい。いくつかの実施形態では、オペレータとやりとりするための追加制御部（トラックボール、ボタン、キー、トラックパッド、音声作動制御部等）が設けられていてもよい。超音波撮像システム５０はまた、有線又は無線コンピュータ通信リンクを介して１又は複数の遠隔に位置するシステムに接続するための、通信回路を含む。

【0014】

超音波撮像システム５０は、超音波画像内の物理的フィーチャの位置をマークするために１又は複数のプロセッサ（例えば、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＡＳ ＩＣ、ＦＰＧＡ、又はそれらの組合せ）を備えた画像処理回路を含み、上記１又は複数のプロセッサは、プロセッサ可読メモリに保存済みのプログラムされた命令を実行するように構成されているか、又は、超音波画像データを分析するように訓練されたニューラルネットワークを実現するために所定の論理演算を実行する。開示の実施形態では、物理的フィーチャは左心室の容積を画定する一対の対向する心室壁（左室前壁／心室中隔及び左室後壁）である。この実施形態では、超音波画像は胸骨傍長軸像（ＰＬＡＸ）で取得したＭモード超音波画像である。開示の実施形態は対向する心室壁の位置の識別について記載されているが、開示の技術を、経食道イメージングの場合は血管壁、心臓弁、若しくは食道組織、又は、胃排出イメージングの場合は胃若しくは腸組織を含む、超音波画像データ内の他の組織構造の識別にも拡張可能であることが理解されるであろう。

【0015】

超音波撮像システム内のプロセッサは、超音波画像データを、所望の物理的フィーチャの位置を識別するように訓練されたニューラルネットワーク７０に提供するように構成されている。開示の実施形態では、ニューラルネットワーク７０は、超音波画像ピクセルデータのカラム内の心内膜壁と心室内部との上部境界及び下部境界を識別するように訓練される。超音波画像では、境界は一般に、非反射性の血液で満たされた部分（ｖｏｌｕｍｅ）を示す黒色領域に隣接した、比較的明るい反射部分によって特徴付けられる。しかしながら、超音波は、高周波数イメージング（例えば、２０＋ ＭＨｚ)で使用すると心室内の血球に反射されてしまい、これにより、境界領域を視覚的に検出することがより困難になる。

【0016】

ニューラルネットワーク７０を訓練するために、図３に示すように複数のテスト画像８０がニューラルネットワーク訓練エンジン１００に提供される。テスト画像８０は、識別されるフィーチャ（例えば、血管壁）が予め特別にマークされた超音波データの画像である。一実施形態では、画像は、各画素が８ビットの白黒輝度値を有する、幅２５６ピクセル×高さ１２８ピクセル等の均一サイズである。幅２５６ピクセル×高さ２５６ピクセル、又は、幅５１２ピクセル×高さ６４ピクセル等、他の画像サイズを使用してもよい。このデータ表現ではデータの各カラムが超音波データの取得ラインである。データはパルス繰り返し周波数（ＰＲＦ）で取得される。例えば、ＰＲＦが１０００Ｈｚであり画像が２５６ライン又はカラムのデータからなる場合、データセットは２５６ｍｓの時間枠からなる。小動物イメージングの場合これには複数回の心周期が含まれる。臨床イメージングの場合、使用するデータラインの数を増やすか、ＰＲＦを減少させて、１サイクル超のデータを含むようにしなければならない。各カラムの画素は、画像内の異なる深さでのサンプルを表す。各カラムの最初の画素は、最も浅い深度になる。一実施形態では、画像データは、１５００Ｈｚのパルス繰り返し周波数（ＰＲＦ）でのＭモード走査から得られる。他のＰＲＦ値を使用してもよく、例えば、１０００、１２５０、１７５０、２０００Ｈｚ以上であってもよい。

【0017】

機械学習における当業者によって理解されるように、多数（例えば、１，０００～１４，０００以上）の訓練画像がニューラルネットワーク訓練エンジン１００に供給され当該エンジンが多数のフィルタ重み及びバイアス値を決定することが可能になり、それにより、重み及びバイアス値を用いた畳み込みニューラルネットワークは、画像データのカラムにおいて心室壁を表すピクセル位置として最も可能性がある位置をリターンする。当業者にとって、訓練画像の総数はデータオーギュメンテーションを用いて増やすことができ、それにより、線形修正及び非線形修正であるもののイメージの初期ベースセットが増え、それにより追加訓練データを作成することも理解可能である。例えば、オーギュメンテーションは、線形及び非線形スケーリング又は輝度又はコントラスト変化を含んでいてもよい。

【0018】

一実施形態では、ニューラルネットワーク７０は、ニューラルネットワークを訓練したものと同じサイズの入力画像（例えば、２５６×１２８×１）を受信し、画像ピクセルデータの各カラムにおいて２つの心室壁境界の位置として最も可能性がある位置をマークする出力データセット（２５６×２）を作成するように構成される。５１２×１２８×１又は２５６×２５６×１等の他の入力画像サイズを、対応する５１２×２又は２５６×２の出力サイズと共に使用してもよい。

【0019】

一実施形態では、訓練データ画像が収集され、約７５０の追跡が手動でラベル付けされ、これは左室前壁及び左室後壁が追跡されたことを意味する。ラベル付けされた訓練データの数を増やすことにより、ニューラルネットワーク訓練中の問題の正確な一般化の可能性が高まる。これらのデータはＣ＋＋及びＰｙｔｈｏｎを用いてフォーマットした。データオーギュメンテーションを行い利用可能な訓練データの量を増加させた。オーギュメンテーションにより、セミユニークデータインスタンスの約２０～１の増加が、最初のラベル付けされたデータセットから得られた。

【0020】

Ｋｅｒａｓ、Ｔｅｎｓｏｒｆｌｏｗ、及びＰｙｔｈｏｎを使用するモデルフレームワークセットアップを使用した。多数の異なる機械学習モデルを試験した。当業者にとって、多数の異なる機械学習モデルが使用可能であることが理解される。例えばＶＧＧ５、ＶＧＧ１６（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ ａｔ Ｏｘｆｏｒｄ）、及びモバイルネット（Ｇｏｏｇｌｅ）等の自由に利用可能なモデルの変形モデルを使用することができる。カスタムモデルを開発することもできる。異なるモデルを使用することのトレードオフは、埋め込みデバイスの推論速度に影響を及ぼす予測精度及びサイズを含み得る。これらのモデルは、この特定の問題における入力サイズ及び出力要件に適合するように修正した。

【0021】

これらのモデルの各々について、入力データセットは、１５００Ｈｚの測定ＰＲＦで２５６ラインのＭモードデータからなるものであった。１０００、１２５０、１７５０、又は２０００Ｈｚ等の他のＰＲＦを使用してもよい。データを１２８の深さサンプルにリサンプリングした。６４サンプル又は２５６サンプル等の他の深さを使用してもよい。また、サンプルの数は２の累乗である必要はない。データは８ビット単一チャネルであった。マウスデータの場合、データ長は、心拍数にもよるが約１～２心周期に相当する。理解されるように、ヒトから取得したデータセット等の他の用途では、心拍数はずっと少ない。データは、同じ１～２心周期に適合するように適宜スケーリングされてもよく；異なる入力サイズのデータセットが使用されてもよく、異なるＰＲＦセッティングが使用されてもよい。ＰＲＦ又は入力サイズを変更すると、画像に表示される時間量が変わる。

【0022】

記載の実施形態では、超音波画像は、ビデオモニタにすぐに表示できるフォーマットのピクセルデータで構成されている。開示の技術は、プレスキャン変換画像データ又は生の超音波データ等の他のタイプの画像データと併用可能であることが理解されるであろう。したがって、本明細書において使用される場合、画像データという用語は対象領域を表す超音波データを指すものであり、スキャン変換された超音波データだけを指すものではない。

【0023】

出力データフォーマットは、２５６の入力ライン（図４参照）の各々についての２つのデータポイント（前壁境界及び後壁境界の位置）である。（出力データサイズ２５６×２）。さらなる実験では、より多くのラインを含むようにデータ長を拡張してもよい。

【0024】

ニューラルネットワークモデル自体は、一般に互換性があり、いくつか他よりも優れた利点を提供する。例えば、計算の複雑さ及び出力精度が考えられる。今回の優れた結果は、Ｍｏｂｉｌｅ Ｎｅｔ Ｖ１（Ｇｏｏｇｌｅ）モデルの変形モデルを使用して見出されている。以下に、入力画像サイズ（２５６×１２８）に適合するのに必要とされる、異なる層及び修正を示す上記モデルの例を示す。修正には、異なるモデルの使用、層数の変更、又はＤｅｎｓｅ層若しくは加算畳み込み層等の追加層の追加が含まれ得る。

【0025】

【数1】

【0026】

【数2】

【0027】

【数3】

【0028】

【数4】

【0029】

上に示したモデルは、正確な結果を作成し、比較的小規模で高速計算ができたため（例えば、ＣＰＵの２５６ライン画像当たり約３００ｍｓ）成功である。このモデルを、Ｋｅｒａｓ及びＴｅｎｓｏｒｆｌｏｗを用いたＰｙｔｈｏｎフレームワークを用い、準備したオーギュメンテーション済みデータを用いて訓練した。約１００万超の訓練例に対して可変学習率のＡｄａｍオプティマイザを採用した。他のオプティマイザ、例えばＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）を用いてもよい。異なるオプティマイザを使用するトレードオフには収束時間及び訓練速度が含まれる。２以上の異なるオプティマイザを併用してもよい。Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（ＡＷＳ）サーバ及びＫ８０ Ｎｖｉｄｉａ ＧＰＵを使用するとニューラルネットワーク７０を訓練する時間は約１２時間であった。

【0030】

元のデータセットの約１０％の分離セットを用いてモデルの精度を評価した。検査症例について心内膜壁識別の平均精度は９６％であることが立証された。

【0031】

上述のように、ニューラルネットワーク７０が訓練されると、ネットワークを超音波撮像システム５０に使用して超音波画像データ内の物理的フィーチャをリアルタイムに識別する準備が整う。いくつかの実施形態では、超音波システム５０のプロセッサは、訓練されたニューラルネットワーク７０を実行し、被検体から得られた画像データをニューラルネットワークに供給するようにプログラムされる。ニューラルネットワークは、識別するよう訓練された物理的フィーチャの位置として最も可能性がある位置をリターンする。図４は、ニューラルネットワーク７０によって識別された、心筋の前壁を表す上部追跡１４２及び後壁を表す下部追跡１４４を含む例示的なＭモード超音波画像１４０を示す。

【0032】

訓練されたニューラルネットワークによって追跡１４２、１４４が提供されると、プロセッサは追跡を分析して、追跡が１）互いに最も近づいたときの距離及び２）最も離れたときの距離を決定する。これらの距離は、心周期の収縮期及び拡張期での心筋を表す。一実施形態では、画像の各カラム内の距離（ピクセル）を分析することによって（例えば、画像カラムにおける最小及び最大ピクセルギャップを検索することによって）位置を決定してもよい。別の実施形態では、超音波データと同時に得られるＥＫＧ信号から心周期の収縮期及び拡張期を決定してもよい。カラム内の各ピクセル間に現れる時間差、組織内の超音波の速度、及び追跡１４２、１４４上の識別された位置間のカラム内のサンプル数を知ることにより、被検体内の心壁間の物理的距離がプロセッサによって計算される。

【0033】

距離が計算されると、追跡からの生理学的パラメータがプロセッサによって計算される。一実施形態では、心周期の様々な時点における心壁間距離を知ることにより、心臓パラメータを下記式及び正常な予測範囲に従い計算することができる：

【0034】

駆出率ＥＦ＝（Ｉｖｅｄｖ－Ｉｖｅｓｖ）／ｌｖｅｄｖ×１００。（男性＝５２～７２％）（女性＝５４～７４％) ＡＳＥ

【0035】

短縮率ＦＳ＝（Ｉｖｅｄｄ－ｌｖｅｓｄ）／ｌｖｅｄｄ×１００。（男性２７～４５％）（女性＝２５～４３％）

【0036】

一回拍出量ＳＶ＝ｌｖｅｄｖ－ｌｖｅｓｖ

【0037】

心拍出量ＣＯ＝一回拍出量×ＨＲ、正常範囲＝当業者に理解されるように（４．０～８．０Ｌ／分）

【0038】

心室壁測定値から計算される心室容積を解釈対象としてもよいが、それらは変化し得る。一実施形態では、それらは下記式により近似される。これらは例示的なものであり、検査対象の種類又は他の要因に応じて調整してもよい。

【0039】

Ｉｖｅｄｖは左室拡張終期容積であり、一実施形態では＝（７／（２．４＋ｌｖｅｄｄ））＊Ｉｖｅｄｄ＾３である

【0040】

Ｉｖｅｓｖは左室収縮終期容積であり、一実施形態では＝（７／（２．４＋Ｉｖｅｓｄ））＊Ｉｖｅｓｄ＾３である

【0041】

Ｉｖｅｄｄは左室拡張終期径（ｍｍ）である

【0042】

Ｉｖｅｓｄは左室収縮終期径（ｍｍ）である

【0043】

図６に示すように、プロセッサは、物理的フィーチャ間の距離、物理的フィーチャ同士の角度、フィーチャの領域等、検出した物理的フィーチャに関する測定値を計算し表示するための命令を実行する。図６に示す例では、収縮期及び拡張期での前室壁と後室壁との距離がミリメートル単位で計算され、表示されている。

【0044】

いくつかの実施形態では、プロセッサはまた、追加の左室評価のために外側２つの壁間の距離を計算するための命令を実行することができる。例えば、全４つの壁間の距離を測定すると、ＬＶ心筋重量（ＬＶ Ｍａｓｓ）を計算することができる。この例では、プロセッサは、全４つの心壁間の距離を同時に計算する。

【0045】

いくつかの実施形態では、超音波システム５０は、超音波画像の取得中に被検体が呼吸しているかどうかを超音波システムに示す呼吸モニタに接続される。呼吸中に得られる画像データは、生理学的パラメータの信頼性を低下させるモーションアーチファクトを含むことがある。したがって、いくつかの実施形態では、プロセッサは呼吸中に取得された超音波撮像データを無視するようにプログラムされる。これは、呼吸が大きなモーションアーチファクトをもたらす動物実験において特に当てはまる。ヒトが被検体の場合は、一般に被検者は画像取得中に呼吸を止めるよう求められる。

【0046】

いくつかの実施形態では、オペレータは、壁が追跡され生理学的パラメータが計算される領域を表すＭモードデータの開始点及び停止点を選択することができる。他の実施形態では、呼吸信号を用いて適切な開始点及び停止点を自動的に決定することができる。この場合、ユーザが介入することなく生理学的パラメータを自動的に計算することができる。これらはリアルタイムに計算することもできる。検出された出力点の分散を見る等、他の方法を用いて適切な開始点及び停止点の選択を決定することもできる。

【0047】

生理学的パラメータが計算されると、図５に示すようにパラメータの１又は複数がユーザインターフェース画面に表示される。この実施形態では、ディスプレイ１５０は検査されている組織の画像１６０を含み得る。このような画像１６０は、生理学的パラメータを計算するために使用する画像と同じであってもよい。例えば、Ｍモード画像データが訓練されたニューラルネットワークに提供され、生理学的パラメータが計算される場合、Ｍモード画像はディスプレイ１５０に表示されてもよい。いくつかの実施形態では、画像１６０は、ニューラルネットワークに提供される超音波画像を取得するのに使用される撮像モダリティとは異なる撮像モダリティ（Ｂモード、ドップラー、パワードップラー等）であってもよい。この実施形態では、超音波システムは撮像モダリティをインターリーブして、ユーザに表示されるＢモード画像と、バックグラウンドのニューラルネットワーク用のユーザには表示されないＭモード超音波画像とを作成する。

【0048】

ディスプレイ１５０は、ニューラルネットワークによって識別された物理的フィーチャを用いて計算される生理学的パラメータ１７０の１又は複数を含む。上記検討から理解されるように、生理学的パラメータは撮像システムにより作成された超音波画像データからリアルタイムで計算される。物理的フィーチャはリアルタイムでニューラルネットワークにより識別されるので、超音波システムのオペレータは取得した画像に手動でマーキングしたり、放射線科医に送ったりしなくてもよい。その結果、オペレータは生理学的パラメータ情報を用いて、被検体の身体状態についてより迅速に判断することができる。

【0049】

いくつかの実施形態では、プロセッサは、複数回の心周期にわたり生理学的パラメータを計算するようにプログラムされる。プロセッサによりＥＫＧ又は他のパルスセンサからの信号が読み取られて複数回の心周期を決定することができ、超音波画像フレームが訓練されたニューラルネットワークに供給されて組織フィーチャを識別し、識別された組織フィーチャから生理学的パラメータを計算することができる。異なる心周期からの計算値を平均し、オペレータに表示してもよい。他の実施形態では、計算値の分散、最大値、又は最小値等、他の統計的測定値を決定し、表示してもよい。

【0050】

いくつかの例では、プロセッサは、計算された生理学的パラメータの分散が閾値（例えば、ベースライン値から＋１－２％、＋／－５％、＋／－１０％以上、但しこれらに限定されない）を超えた場合、警告（視覚的、聴覚的、触覚的等）を発するようにプログラムされる。このような警告は、患者の状態又はエコーデータの検出に伴う問題（例えば、プローブのミスアライメント又は機能不良等）を示してもよい。ベースライン及び／又は閾値は、被検体について決定された正常範囲（種、年齢、人種、性別、体重、治療歴、服用薬剤等）又は同じ被検体からの過去若しくは最新の測定値に基づいていてもよい。このような情報は、超音波撮像マシンのオペレータによって入力されてもよいし、電子的な患者又は被検体記録（動物ケージのＲＦ ｉｄタグ、患者の手首にエンコードされた情報、バーコード、ＱＲコード等）からプロセッサにより読み取られてもよい。いくつかの実施形態では、最新の生理学的パラメータは、電子医療記録に保存された過去のパラメータと比較されるか、又は一緒に表示される。

【0051】

本明細書に記載の主題及びオペレーションの実施形態は、本明細書に開示の構造及びそれらの構造等価物を含む、デジタル電子回路、又は、コンピュータソフトウェア、ファームウェア、若しくはハードウェア、又は、それらの１若しくは複数の組み合わせで実現することができる。本明細書に記載の主題の実施形態は、データ処理装置による実行又はデータ処理装置の動作制御のためにコンピュータ記憶媒体にエンコードされる１又は複数のコンピュータプログラム、即ちコンピュータプログラム命令の１又は複数のモジュールとして、実現することができる。

【0052】

コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ若しくは装置、又はそれらの１又は複数の組み合わせであってもよいし、それらに内蔵されていてもよい。また、コンピュータ記憶媒体は伝搬信号ではないが、人工的に作成した伝搬信号にエンコードされたコンピュータプログラム命令の送信元又は送信先であってもよい。コンピュータ記憶媒体はまた、１又は複数の別個の物理的コンポーネント又は媒体（例えば、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、磁気ディスク、又は他の記憶装置）であってもよいし、それらに内蔵されていてもよい。本明細書に記載のオペレーションは、１又は複数のコンピュータ可読記憶装置に保存された命令又は他の送信元から受信した命令に基づいてデータ処理装置により実行されるオペレーションとして、実現することができる。

【0053】

用語「プロセッサ」は、データ処理用の装置、デバイス、及びマシンの全種を包含し、例として、プログラマブルプロセッサ、コンピュータ、チップ上システム、これらのいずれかを複数、又はこれらの組み合わせを含む。装置は、特殊目的論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ(特定用途向け集積回路）を含んでいてもよい。

【0054】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル言語又はインタプリタ言語、宣言型言語又は手続き型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラム又はモジュールとして、コンポーネント、サブルーティン、オブジェクト、又はコンピューティング環境での使用に適した他のユニットを任意の形態でデプロイすることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応していなくてもよい。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に保存された１又は複数のスクリプト）を保持するファイルの一部に、上記プログラム専用の単一のファイル又は複数の連携ファイル（例えば、１又は複数のモジュール、サブプログラム、又はコードの一部を保存する複数のファイル）に保存することができる。コンピュータプログラムは、超音波撮像システム内の１つのプロセッサ又は複数のプロセッサで実行されるようにデプロイされてもよい。

【0055】

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方を含む。一般にプロセッサは、命令及びデータを読み出し専用メモリ、ランダムアクセスメモリ、又はこれらの両方から受信する。コンピュータプログラム命令及びデータを保存するのに適したデバイスにはすべての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれ、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内部ハードディスク又はリムーバブルディスク；光磁気ディスク；並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、特殊目的論理回路で補われてもよいし、特殊目的論理回路に組み込まれてもよい。

【0056】

ユーザとやりとりするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）又はＯＬＥＤ（有機発光ダイオード）モニタと、ユーザがシステムに入力することができるようにするキーボード及びポインティングデバイス、例えば、マウス又はトラックボールと、を有する超音波撮像システムで実現することができる。いくつかの実施形態では、情報を表示しユーザからの入力を受け取るために、タッチスクリーンを用いてもよい。ユーザとやりとりするために他の種類のデバイスを使用してもよく、例えば、ユーザへのフィードバックは、任意の形態の感覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックであってもよく、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信することができる。

【0057】

以上より、本発明の特定の実施形態が例示の目的で本明細書に記載されているが、本発明の範囲から逸脱することなく種々の変更を行ってもよいことが理解されるであろう。従って、本発明は、添付の特許請求の範囲によって限定されるものを除いて限定されない。
［付記］
本開示は下記＜１＞～＜１８＞の態様も含む。
＜１＞
被検体に超音波信号を供給し、前記被検体から超音波エコー信号を受信するように構成されたトランスデューサ；
受信した超音波エコー信号から超音波画像データを作成し、前記超音波画像データを、前記画像データ内の１又は複数の物理的フィーチャの位置を識別するように構成された訓練されたニューラルネットワークに供給するように構成されたプロセッサ、ここで、前記プロセッサは、前記１又は複数の物理的フィーチャの識別位置から１又は複数の生理学的パラメータを計算するように更に構成されている；及び
前記計算された生理学的パラメータの１又は複数を表示するように構成されたディスプレイ、
を含む、超音波撮像システム。
＜２＞
前記プロセッサは、前記超音波画像データのフレームが作成されると前記超音波画像データを前記訓練されたニューラルネットワークに供給し、前記超音波画像データと前記生理学的パラメータの１又は複数とを同時に表示するように構成されている、＜１＞に記載の超音波撮像システム。
＜３＞
前記プロセッサは、前記１又は複数の生理学的パラメータと、前記ニューラルネットワークによって前記物理的フィーチャの位置が識別された超音波画像データと、を同時に表示するように更に構成されている、＜１＞に記載の超音波撮像システム。
＜４＞
前記プロセッサは、前記１又は複数の生理学的パラメータと、前記ニューラルネットワークに提供される前記超音波画像データを取得するのに使用される撮像モダリティとは異なる撮像モダリティで取得される超音波画像データと、を同時に表示するように更に構成されている、＜１＞に記載の超音波撮像システム。
＜５＞
前記１又は複数の物理的フィーチャは心室の壁であり、前記超音波画像データはＭモード超音波画像データである、＜１＞に記載の超音波撮像システム。
＜６＞
前記１又は複数の生理学的パラメータは、駆出率、短縮率、一回拍出量、及び心拍出量の１又は複数を含む、＜５＞に記載の超音波撮像システム。
＜７＞
前記プロセッサは、複数回の心周期にわたり前記生理学的パラメータを計算するように構成されている、＜１＞に記載の超音波撮像システム。
＜８＞
前記プロセッサは、前記複数回の心周期にわたり計算された生理学的パラメータの平均を表示するように構成されている、＜７＞に記載の超音波撮像システム。
＜９＞
前記プロセッサは、前記計算された生理学的パラメータの分散を表示するように構成されている、＜７＞に記載の超音波撮像システム。
＜１０＞
前記プロセッサは、前記計算された生理学的パラメータの１又は複数を閾値と比較し、前記比較に基づいて警告を発するように構成されている、＜１＞に記載の超音波撮像システム。
＜１１＞
前記閾値は、患者記録から読み取られる、＜１０＞に記載の超音波撮像システム。
＜１２＞
前記プロセッサは、前記計算された生理学的パラメータの１又は複数を、過去の患者記録からの生理学的パラメータと比較するように構成されている、＜１＞に記載の超音波撮像システム。
＜１３＞
前記プロセッサは、前記位置が識別された物理的フィーチャに関する測定値を表示するように構成されている、＜１＞に記載の超音波撮像システム。
＜１４＞
前記プロセッサは、呼吸センサから信号を受信するように構成され、前記プロセッサは、前記被検体が呼吸中であると前記呼吸センサが示したときに超音波撮像データが取得された場合、前記撮像データを無視するように構成されている、＜１＞に記載の超音波撮像システム。
＜１５＞
受信された超音波エコー信号から超音波画像データを作成し、前記超音波画像データを、前記画像データ内の１又は複数の物理的フィーチャの位置を識別するように構成された訓練されたニューラルネットワークに供給すること；
前記識別された１又は複数の物理的フィーチャの測定値から１又は複数の生理学的パラメータを計算すること；
前記１又は複数の計算された生理学的パラメータをベースライン値と比較すること；及び
前記生理学的パラメータの１又は複数が前記ベースラインからの閾値量を超えて変化する場合、警告を発すること、
を含む、超音波撮像システムにおいてプロセッサを動作させる方法。
＜１６＞
被検体について計算された過去の生理学的パラメータに基づいて、前記閾値及びベースラインの１又は複数を決定することを更に含む、＜１５＞に記載の方法
＜１７＞
被検体の人種、年齢、性別、及び治療歴の少なくとも１種に基づいて前記ベースラインを決定することを更に含む、＜１５＞に記載の方法。
＜１８＞
被検体の人種、年齢、性別、及び治療歴の少なくとも１種に基づいて前記閾値を決定することを更に含む、＜１６＞に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】