特表 2024-515664 心臓パラメータの計算

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-10

(54)【発明の名称】心臓パラメータの計算

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240403BHJP

   A61B 6/00 20240101ALI20240403BHJP

   A61B 6/03 20060101ALI20240403BHJP

   A61B 6/50 20240101ALI20240403BHJP

   G06T 7/00 20170101ALI20240403BHJP

   G06T 7/149 20170101ALI20240403BHJP

   G06T 7/11 20170101ALI20240403BHJP

   G06T 7/62 20170101ALI20240403BHJP

   G06T 7/70 20170101ALI20240403BHJP

【ＦＩ】

A61B8/14

A61B6/00 560

A61B6/03 560T

A61B6/50 500B

A61B6/03 560J

A61B6/00 550B

G06T7/00 350C

G06T7/149

G06T7/11

G06T7/00 616

G06T7/62

G06T7/70 B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023563855

(86)(22)【出願日】2022-04-18

(85)【翻訳文提出日】2023-12-01

(86)【国際出願番号】 US2022025244

(87)【国際公開番号】W WO2022225858

(87)【国際公開日】2022-10-27

(31)【優先権主張番号】17/234,468

(32)【優先日】2021-04-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】399043060

【氏名又は名称】フジフィルム ソノサイト インコーポレイテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ホワイト、クリストファー、アレクサンドル

(72)【発明者】

【氏名】ダフィ、トーマス、マイケル

(72)【発明者】

【氏名】ダット、デイヴィンダー、エス．

(72)【発明者】

【氏名】ペリ、アダム、ベンジャミン

(72)【発明者】

【氏名】ニードルス、ウィリアム、アンドリュー

【テーマコード（参考）】

4C093

4C601

5L096

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093DA02

4C093FD03

4C093FF16

4C093FF24

4C601DD15

4C601DD27

4C601JB34

4C601JC06

4C601JC09

4C601JC11

4C601KK28

5L096BA06

5L096EA33

5L096FA67

5L096FA70

5L096HA11

(57)【要約】

心臓パラメータを計算するための方法は、心臓の一連の２次元画像を受信することを含み、一連の画像は少なくとも１つの心周期をカバーする。本方法は、第１の収縮期画像内の心臓の向きおよび第１の収縮期画像内の心臓のセグメント化に基づいて第１の収縮期画像内の心臓の体積、および少なくとも第１の拡張期画像内の心臓の向きおよび第１の拡張期画像内の心臓のセグメント化に基づいて第１の拡張期画像内の心臓の体積を計算することと、第１の収縮期画像内の心臓の体積と第１の拡張期画像内の心臓の体積とに少なくとも基づいて心臓パラメータを決定することと、心臓パラメータの信頼スコアを決定することと、心臓パラメータおよび信頼スコアを表示することと、を含む。

【特許請求の範囲】

【請求項1】

心臓パラメータを計算するための方法であって、
１つ以上のコンピューティングデバイスによって、心臓の一連の２次元画像であって、前記一連の画像が、少なくとも１つの心周期をカバーする、一連の２次元画像を受信することと、
前記１つ以上のコンピューティングデバイスによって、前記心臓の収縮期に関連する前記一連の画像からの第１の収縮期画像、および前記心臓の拡張期に関連する前記一連の画像からの第１の拡張期画像を識別することと、
前記１つ以上のコンピューティングデバイスによって、前記第１の収縮期画像内の前記心臓の向きおよび前記第１の拡張期画像内の前記心臓の向きを計算することと、
前記１つ以上のコンピューティングデバイスによって、前記第１の収縮期画像内の前記心臓のセグメント化および前記第１の拡張期画像内の前記心臓のセグメント化を計算することと、
前記１つ以上のコンピューティングデバイスによって、前記第１の収縮期画像内の前記心臓の前記向きおよび前記第１の収縮期画像内の前記心臓の前記セグメント化に基づいて前記第１の収縮期画像内の前記心臓の体積、および少なくとも前記第１の拡張期画像内の前記心臓の前記向きおよび前記第１の拡張期画像内の前記心臓の前記セグメント化に基づいて前記第１の拡張期画像内の前記心臓の体積を計算することと、
前記１つ以上のコンピューティングデバイスによって、前記第１の収縮期画像内の前記心臓の前記体積および前記第１の拡張期画像内の前記心臓の前記体積に少なくとも基づいて前記心臓パラメータを決定することと、
前記１つ以上のコンピューティングデバイスによって、前記心臓パラメータの信頼スコアを決定することと、
前記１つ以上のコンピューティングデバイスによって、前記心臓パラメータおよび前記信頼スコアを表示することと、を含む、方法。

【請求項2】

前記一連の画像内の各画像の前記心臓の領域を含む前記心臓の領域を決定することをさらに含み、前記第１の収縮期画像を識別することが、前記領域の中の最小領域を識別することに基づき、前記最小領域が最小心臓体積を表す、請求項１に記載の方法。

【請求項3】

前記一連の画像内の各画像の前記心臓の領域を含む前記心臓の領域を決定することをさらに含み、前記第１の拡張期画像を識別することが、前記領域の中の最大領域を識別することに基づき、前記最大領域が最大の心臓体積を表す、請求項１に記載の方法。

【請求項4】

前記第１の収縮期画像内の前記心臓の前記向きおよび前記第１の拡張期画像内の前記心臓の前記向きを前記計算することが、深層学習アルゴリズムに基づく、請求項１に記載の方法。

【請求項5】

前記第１の収縮期画像および前記第１の拡張期画像の各々における前記心臓の基部および心尖部を識別することをさらに含み、前記第１の収縮期画像における前記心臓の前記向きおよび前記第１の拡張期画像における前記心臓の前記向きを前記計算することが、前記それぞれの画像における前記基部および前記心尖部に基づく、請求項１に記載の方法。

【請求項6】

前記第１の収縮期画像における前記心臓の前記セグメント化および前記第１の拡張期画像における前記心臓の前記セグメント化を前記計算することが、深層学習アルゴリズムに基づく、請求項１に記載の方法。

【請求項7】

前記第１の収縮期画像および前記第１の拡張期画像の各々における前記心臓の境界を決定することをさらに含み、前記第１の収縮期画像における前記心臓の前記セグメント化および前記第１の拡張期画像における前記心臓の前記セグメント化を前記計算することが、前記それぞれの画像における前記心臓の前記向きおよび前記それぞれの画像における前記心臓の前記境界に基づく、請求項１に記載の方法。

【請求項8】

複数のノードによって接続された変形可能なスプラインを含む前記心臓の壁トレースを生成することと、
前記心臓の前記壁トレースを前記第１の収縮期画像および前記第１の拡張期画像の一方に表示することと、をさらに含む、請求項１に記載の方法。

【請求項9】

前記壁トレースを修正するための少なくとも１つのノードのユーザ調整を受信することをさらに含む、請求項８に記載の方法。

【請求項10】

前記ユーザ調整に基づいて、前記第１の収縮期画像および前記第１の拡張期画像の他方における前記心臓の前記壁トレースを修正することをさらに含む、請求項９に記載の方法。

【請求項11】

前記心臓パラメータが駆出率を含む、請求項１に記載の方法。

【請求項12】

前記心臓パラメータを前記決定することが、前記心臓パラメータをリアルタイムで決定することを含む、請求項１に記載の方法。

【請求項13】

前記一連の２次元画像内の前記画像の品質メトリックを決定することと、
前記品質メトリックが閾値を上回っていることを確認することと、をさらに含む、請求項１に記載の方法。

【請求項14】

心臓パラメータを計算するための方法であって、
１つ以上のコンピューティングデバイスによって、心臓の一連の２次元画像であって、前記一連の画像が複数の心周期をカバーする、一連の２次元画像を受信することと、
前記１つ以上のコンピューティングデバイスによって、前記一連の画像であって、各々が前記心臓の収縮期に関連し、各々が前記心臓の拡張期に関連する、前記一連の画像から複数の収縮期画像および複数の拡張期画像を識別することと、
前記１つ以上のコンピューティングデバイスによって、前記収縮期画像の各々における各心臓の向きおよび前記拡張期画像の各々における前記心臓の向きを計算することと、
前記１つ以上のコンピューティングデバイスによって、前記収縮期画像の各々における前記心臓のセグメント化および前記拡張期画像の各々における前記心臓のセグメント化を計算することと、
前記１つ以上のコンピューティングデバイスによって、前記それぞれの収縮期画像内の前記心臓の前記向きおよび前記それぞれの収縮期画像内の前記心臓の前記セグメント化に基づいて、前記収縮期画像の各々における前記心臓の体積、および少なくとも前記それぞれの拡張期画像内の前記心臓の前記向きおよび前記それぞれの拡張期画像内の前記心臓の前記セグメント化に基づいて、前記拡張期画像の各々における前記心臓の体積を計算することと、
前記１つ以上のコンピューティングデバイスによって、少なくとも各収縮期画像内の前記心臓の前記体積および各拡張期画像内の前記心臓の前記体積に基づいて前記心臓パラメータを決定することと、
前記１つ以上のコンピューティングデバイスによって、前記心臓パラメータの信頼スコアを決定することと、
前記１つ以上のコンピューティングデバイスによって、前記心臓パラメータおよび前記信頼スコアを表示することと、を含む、方法。

【請求項15】

前記一連の画像が、６つの心周期をカバーし、前記方法が、６つの収縮期画像および６つの拡張期画像を識別することを含む、請求項１４に記載の方法。

【請求項16】

複数のノードによって接続された変形可能なスプラインを含む前記心臓の壁トレースを生成することと、
前記心臓の前記壁トレースを前記収縮期画像および前記拡張期画像の少なくとも一方に表示することと、をさらに含む、請求項１４に記載の方法。

【請求項17】

前記壁トレースを修正するための少なくとも一方のノードのユーザ調整を受信することをさらに含む、請求項１６に記載の方法。

【請求項18】

前記ユーザ調整に基づいて、１つ以上の他の画像内の前記心臓の前記壁トレースを修正することをさらに含む、請求項１７に記載の方法。

【請求項19】

前記心臓パラメータが駆出率を含む、請求項１４に記載の方法。

【請求項20】

ソフトウェアであって、実行時に、
少なくとも１つの心周期をカバーする心臓の一連の２次元画像を受信し、
前記心臓の収縮期に関連する前記一連の画像から第１の収縮期画像を識別し、前記心臓の拡張期に関連する前記一連の画像から第１の拡張期画像を識別し、
前記第１の収縮期画像における前記心臓の向きおよび前記第１の拡張期画像における前記心臓の向きを計算し、
前記第１の収縮期画像における前記心臓のセグメント化および前記第１の拡張期画像における前記心臓のセグメント化を計算し、
前記第１の収縮期画像内の前記心臓の前記向きおよび前記第１の収縮期画像内の前記心臓の前記セグメント化に基づいて前記第１の収縮期画像内の前記心臓の体積を計算し、少なくとも前記第１の拡張期画像内の前記心臓の前記向きおよび前記第１の拡張期画像内の前記心臓の前記セグメント化に基づいて前記第１の拡張期画像内の前記心臓の体積を計算し、
前記第１の収縮期画像内の前記心臓の前記体積と前記第１の拡張期画像内の前記心臓の前記体積とに少なくとも基づいて心臓パラメータを決定し、
前記心臓パラメータの信頼スコアを決定し、
前記心臓パラメータおよび前記信頼スコアを表示するように動作可能である、ソフトウェアを具現化する１つ以上のコンピュータ可読非一時的媒体。

【請求項21】

１つ以上のプロセッサと、前記プロセッサによって実行可能な命令を含む前記プロセッサであって、前記プロセッサが、前記命令を実行するときに、
少なくとも１つの心周期をカバーする心臓の一連の２次元画像を受信し、
前記心臓の収縮期に関連する前記一連の画像から第１の収縮期画像を識別し、前記心臓の拡張期に関連する前記一連の画像から第１の拡張期画像を識別し、
前記第１の収縮期画像における前記心臓の向きおよび前記第１の拡張期画像における前記心臓の向きを計算し、
前記第１の収縮期画像における前記心臓のセグメント化および前記第１の拡張期画像における前記心臓のセグメント化を計算し、
前記第１の収縮期画像内の前記心臓の前記向きおよび前記第１の収縮期画像内の前記心臓の前記セグメント化に基づいて前記第１の収縮期画像内の前記心臓の体積を計算し、少なくとも前記第１の拡張期画像内の前記心臓の前記向きおよび前記第１の拡張期画像内の前記心臓の前記セグメント化に基づいて前記第１の拡張期画像内の前記心臓の体積を計算し、
前記第１の収縮期画像内の前記心臓の前記体積と前記第１の拡張期画像内の前記心臓の前記体積とに少なくとも基づいて心臓パラメータを決定し、
前記心臓パラメータの信頼スコアを決定し、
前記心臓パラメータおよび前記信頼スコアを表示するように動作可能である、前記プロセッサに結合されたメモリと、を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０２１年４月１９日に出願された米国非仮出願第１７／２３４，４６８号の利益を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

開示の主題は、心臓パラメータを計算するための方法およびシステムに関する。特に、方法およびシステムは、心臓の一連の２次元画像から、駆出率などの心臓パラメータを計算することができる。

【背景技術】

【0003】

左心室（「ＬＶ」）分析は、ヒトの疾患を軽減することを目的とした研究において重要な役割を果たすことができる。ＬＶ分析によって明らかにされたメトリックは、研究者が研究している動物に実験手順がどのように影響しているかを理解することを可能にすることができる。ＬＶ分析は、重要な機能的心臓パラメータ（駆出率）の１つに関する重要な情報を提供することができ、これは心臓が血液をどの程度送出しているかを測定し、心不全の診断および病期分類に重要であり得る。ＬＶ分析はまた、体積および心拍出量を決定することができる。これらのパラメータを理解することは、研究者が有効で価値のある研究結果を生み出すのを助けることができる。

【0004】

駆出率（「ＥＦ」）は、心臓がどれだけ血液を送り込んでいるかの尺度である。計算は、拡張期（心臓が完全に弛緩し、ＬＶおよび右心室（「ＲＶ」）が血液で満たされているとき）および収縮期（心臓が収縮し、血液がＬＶおよびＲＶから動脈に送り込まれるとき）の体積に基づく。ＥＦの式を以下に示す。

【数1】

【0005】

駆出率は、しばしばポイントオブケア処置に必要とされる。駆出率は、心臓の３次元（「３Ｄ」）表現を使用して計算することができる。しかしながら、３Ｄ表現に基づいて駆出率を計算するには、心臓ゲーティング（例えば、ＭＲＩ、ＣＴ、３Ｄモータを備えた２Ｄ超音波、または３Ｄアレイ超音波トランスデューサ）を備えた３Ｄ撮像システムが必要であり、これは常に利用できるとは限らない。

【0006】

したがって、ポイントオブケア処置のために、駆出率などの心臓パラメータを計算するための方法およびシステムが必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0007】

開示された主題の目的および利点は、以下の説明に記載され、以下の説明から明らかになり、開示された主題の実施によって習得される。開示された主題のさらなる利点は、本明細書および特許請求の範囲において、ならびに添付の図面から特に指摘された方法およびシステムによって実現および達成される。これらおよび他の利点を達成するために、開示された主題の目的に従って、具現化され、広く説明されるように、開示された主題は、心臓の２次元（「２Ｄ」）画像を使用して、例えばリアルタイムで、駆出率などの心臓パラメータを計算するための方法およびシステムに関する。心臓パラメータをリアルタイムで表示する能力により、医療提供者は、手動で停止して測定を行う必要も放射線科医などの専門家に画像を送信する必要もなく、超音波介入中により迅速かつ正確に診断を行うことができる。

【課題を解決するための手段】

【0008】

一例では、心臓パラメータを計算する方法は、１つ以上のコンピューティングデバイスによって、少なくとも１つの心周期をカバーする心臓の一連の２次元画像を受信することと、１つ以上のコンピューティングデバイスによって、心臓の収縮期に関連する一連の画像からの第１の収縮期画像と、心臓の拡張期に関連する一連の画像からの第１の拡張期画像とを識別することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓の向きおよび第１の拡張期画像内の心臓の向きを計算することと、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓のセグメント化および第１の拡張期画像内の心臓のセグメント化を計算することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓の向きおよび第１の収縮期画像内の心臓のセグメント化に基づいて第１の収縮期画像内の心臓の体積を計算することと、少なくとも第１の拡張期画像内の心臓の向きおよび第１の拡張期画像内の心臓のセグメント化に基づいて第１の拡張期画像内の心臓の体積を計算することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓の体積および第１の拡張期画像内の心臓の体積に少なくとも基づいて心臓パラメータを決定することと、１つ以上のコンピューティングデバイスによって、心臓パラメータの信頼スコアを決定することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、心臓パラメータおよび信頼スコアを表示することを含む。

【0009】

開示された主題によれば、方法は、一連の画像内の各画像に対する心臓の領域を含む心臓の領域を決定することを含むことができ、第１の収縮期画像を識別することは、領域の中の最小領域を識別することに基づくことができ、最小領域は最小心臓体積を表す。この方法は、一連の画像内の各画像の心臓の領域を含む心臓の領域を決定することを含むことができ、第１の収縮期画像を識別することは、領域の中の最大領域を識別することに基づくことができ、最大領域は最大心臓体積を表す。

【0010】

第１の収縮期画像における心臓の向きおよび第１の拡張期画像における心臓の向きを計算することは、深層学習アルゴリズムに基づくことができる。本方法は、第１の収縮期画像および第１の拡張期画像の各々における心臓の基部および心尖部を識別することを含むことができ、第１の収縮期画像における心臓の向きおよび第１の拡張期画像における心臓の向きを計算することは、それぞれの画像における基部および心尖部に基づくことができる。第１の収縮期画像における心臓のセグメント化および第１の拡張期画像における心臓のセグメント化を計算することは、深層学習アルゴリズムに基づくことができる。本方法は、第１の収縮期画像および第１の拡張期画像の各々における心臓の境界を決定することを含むことができ、第１の収縮期画像における心臓のセグメント化および第１の拡張期画像における心臓のセグメント化を計算することは、それぞれの画像における心臓の向きおよびそれぞれの画像における心臓の境界に基づくことができる。

【0011】

本方法は、複数のノードによって接続された変形可能なスプラインを含む心臓の壁トレースを生成することと、第１の収縮期画像および第１の拡張期画像の一方に心臓の壁トレースを表示することと、を含むことができる。本方法は、壁トレースを修正するための少なくとも１つのノードのユーザ調整を受信することを含むことができる。本方法は、ユーザ調整に基づいて、第１の収縮期画像および第１の拡張期画像の他方における心臓の壁トレースを修正することをさらに含むことができる。心臓パラメータは、駆出率を含むことができる。心臓パラメータの決定はリアルタイムで行うことができる。本方法は、一連の２次元画像内の画像の品質メトリックを決定することと、品質メトリックが閾値を上回っていることを確認することと、を含むことができる。

【0012】

開示された主題によれば、心臓パラメータを計算するための方法は、１つ以上のコンピューティングデバイスによって、複数の心周期をカバーする心臓の一連の２次元画像を受信することと、１つ以上のコンピューティングデバイスによって、各々が心臓の収縮期に関連する、一連の画像からの複数の収縮期画像と、各々が心臓の拡張期に関連する、一連の画像からの複数の拡張期画像とを識別することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、各収縮期画像内の各心臓の向きおよび各拡張期画像内の心臓の向きを計算することと、１つ以上のコンピューティングデバイスによって、各収縮期画像内の心臓のセグメント化および各拡張期画像内の心臓のセグメント化を計算することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、それぞれの収縮期画像内の心臓の向きおよび各々の収縮期画像内の心臓のセグメント化に基づいて、それぞれの収縮期画像内の心臓の体積を計算することと、少なくとも各々の拡張期画像内の心臓の向きおよびそれぞれの拡張期画像内の心臓のセグメント化に基づいて、それぞれの拡張期画像内の心臓の体積を計算することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、各収縮期画像内の心臓の体積および各拡張期画像内の心臓の体積に少なくとも基づいて心臓パラメータを決定することと、１つ以上のコンピューティングデバイスによって、心臓パラメータの信頼スコアを決定することと、を含む。本方法はまた、１つ以上のコンピューティングデバイスによって、心臓パラメータおよび信頼スコアを表示することを含む。

【0013】

一連の画像は、６つの心周期をカバーすることができ、方法は、６つの収縮期画像および６つの拡張期画像を識別することを含むことができる。この方法は、複数のノードによって接続された変形可能なスプラインを含む心臓の壁トレースを生成することと、心臓の壁トレースを収縮期画像および拡張期画像の少なくとも一方に表示することと、を含むことができる。本方法は、壁トレースを修正するための少なくとも１つのノードのユーザ調整を受信することを含むことができる。本方法は、ユーザ調整に基づいて、１つ以上の他の画像内の心臓の壁トレースを修正することを含むことができる。心臓パラメータは、駆出率を含むことができる。

【0014】

開示された主題によれば、ソフトウェアを具現化する１つ以上のコンピュータ可読非一時的記憶媒体が提供される。ソフトウェアは、実行時に、少なくとも１つの心周期をカバーする心臓の一連の２次元画像を受信し、心臓の収縮期に関連する一連の画像から第１の収縮期画像を識別し、心臓の拡張期に関連する一連の画像から第１の拡張期画像を識別するように動作可能である。ソフトウェアは、実行時に、第１の収縮期画像内の心臓の向きおよび第１の拡張期画像内の心臓の向きを計算し、第１の収縮期画像内の心臓のセグメント化および第１の拡張期画像内の心臓のセグメント化を計算するように動作可能である。ソフトウェアは、実行時に、第１の収縮期画像内の心臓の向きおよび第１の収縮期画像内の心臓のセグメント化に基づいて第１の収縮期画像内の心臓の体積を計算し、少なくとも第１の拡張期画像内の心臓の向きおよび第１の拡張期画像内の心臓のセグメント化に基づいて第１の拡張期画像内の心臓の体積を計算するように動作可能である。ソフトウェアは、実行時に、少なくとも第１の収縮期画像内の心臓の体積および第１の拡張期画像内の心臓の体積に基づいて心臓パラメータを決定し、心臓パラメータの信頼スコアを決定するように動作可能である。ソフトウェアは、実行時に、心臓パラメータおよび信頼スコアを表示するように動作可能である。

【0015】

開示された主題によれば、１つ以上のプロセッサと、プロセッサによって実行可能な命令を含むプロセッサに結合されたメモリとを含むシステムが提供される。プロセッサは、命令を実行するときに、少なくとも１つの心周期をカバーする心臓の一連の２次元画像を受信し、心臓の収縮期に関連する一連の画像から第１の収縮期画像を識別し、心臓の拡張期に関連する一連の画像から第１の拡張期画像を識別するように動作可能である。プロセッサは、命令を実行するときに、第１の収縮期画像内の心臓の向きおよび第１の拡張期画像内の心臓の向きを計算し、第１の収縮期画像内の心臓のセグメント化および第１の拡張期画像内の心臓のセグメント化を計算するときに動作可能である。プロセッサは、命令を実行するときに、第１の収縮期画像内の心臓の向きおよび第１の収縮期画像内の心臓のセグメント化に基づいて第１の収縮期画像内の心臓の体積を計算し、少なくとも第１の拡張期画像内の心臓の向きおよび第１の拡張期画像内の心臓のセグメント化に基づいて第１の拡張期画像内の心臓の体積を計算するときに動作可能である。プロセッサは、命令を実行するときに、少なくとも第１の収縮期画像内の心臓の体積および第１の拡張期画像内の心臓の体積に基づいて心臓パラメータを決定し、心臓パラメータの信頼スコアを決定するように動作可能である。プロセッサは、命令を実行するときに、心臓パラメータおよび信頼スコアを表示するときに動作可能である。

【図面の簡単な説明】

【0016】

【図1】開示された主題による、圧縮および記憶することができる医療画像記録の階層を示す。

【図2】開示された主題による、心臓パラメータを計算するためのシステムのアーキテクチャを示す。

【図3】開示された主題による医療画像記録を示す。

【図4】開示された主題による、適用された２Ｄセグメント化モデルを有する医療画像記録を示す。

【図5】開示された主題によるエリアトレースのプロットを示す。

【図6】開示された主題による、向きおよびセグメント化を含む医療画像記録を示す。

【図7】開示された主題によるモデルアーキテクチャを示す。

【図8A】開示された主題による、壁トレースを含む医療画像記録を示す。

【図8B】開示された主題による、壁トレースを含む医療画像記録を示す。

【図9】開示された主題による、柔軟に変形可能なスプラインオブジェクトを含む医療画像記録を示す。

【図10】開示された主題による、心臓パラメータを計算する方法のフローチャートを示す。

【発明を実施するための形態】

【0017】

ここで、開示された主題の様々な例示的な実施形態を詳細に参照し、その例示的な実施形態を添付の図面に示す。限定ではなく例示を目的として、方法およびシステムは、心臓（ヒトまたは動物）のパラメータを決定することに関して本明細書に記載されているが、本明細書に記載の方法およびシステムは、経時的に変化する体積を有する任意の器官、例えば膀胱のパラメータを決定するために使用することができる。明細書および添付の特許請求の範囲で使用されるように、単数形、例えば「ａ」、「ａｎ」、「ｔｈｅ」および単数名詞は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図される。したがって、本明細書で使用する場合、画像という用語は、医療画像記録とすることができ、１つの医療画像記録、または複数の医療画像記録を指すことができる。例えば、限定ではなく例示を目的として図１を参照すると、本明細書で参照されるように、単一のダイコム（「ＤＩＣＯＭ」）サービスオブジェクトペア（「ＳＯＰ」）インスタンス（「ＤＩＣＯＭインスタンス」および「ＤＩＣＯＭ画像」とも呼ばれる）１（例えば、１Ａ～１Ｈ）、１つ以上のシリーズ２（例えば、２Ａ～Ｄ）の１つ以上のＤＩＣＯＭＳＯＰインスタンス１（例えば、１Ａ～１Ｈ）、１つ以上の研究３（例えば、３Ａ、３Ｂ）の１つ以上のシリーズ２（例えば、２Ａ～Ｄ）、および１つ以上の研究３（例えば、３Ａ、３Ｂ）を含むことができる医療画像記録。追加的または代替的に、画像という用語は、超音波画像を含むことができる。本明細書に記載の方法およびシステムは、ＰＡＣＳに記憶された医療画像記録と共に使用することができるが、様々な記録が本開示に適しており、記録は、任意のシステム、例えばベンダニュートラルアーカイブ（「ＶＮＡ」）に記憶することができる。開示されたシステムおよび方法は、自動化された方法（すなわち、方法が開始されるとユーザ入力が無しで）または半自動化された方法（すなわち、方法が開始されると、何らかのユーザ入力で）で実行することができる。

【0018】

限定ではなく例示の目的で図２を参照すると、開示されたシステム１００は、心臓パラメータを計算するように構成することができる。システム１００は、サーバ３０、ユーザワークステーション６０、および撮像モダリティ９０を定義する１つ以上のコンピューティングデバイスを含むことができる。ユーザワークステーション６０は、ネットワークによってサーバ３０に結合することができる。ネットワークは、例えば、ローカルエリアネットワーク（「ＬＡＮ」）、無線ＬＡＮ（「ＷＬＡＮ」）、仮想プライベートネットワーク（「ＶＰＮ」）、任意の無線周波数または無線タイプの接続を可能にする任意の他のネットワーク、またはそれらの組み合わせとすることができる。例えば、他の無線周波数または無線接続は、これらに限定するものではないが、モバイル通信用グローバルシステム（「ＧＳＭ（登録商標）」）、ユニバーサルモバイルテレコミュニケーションシステム（「ＵＭＴＳ」）、汎用パケット無線サービス（「ＧＰＲＳ」）、拡張データＧＳＭ（登録商標）環境（「ＥＤＧＥ」）、ロングタームエボリューション（「ＬＴＥ」）を含む第３世代パートナーシッププロジェクト（「３ＧＰＰ（登録商標）」）技術、ＬＴＥアドバンスト、３Ｇ技術、モノのインターネット（「ＩＯＴ」）、第５世代（「５Ｇ」）、または新無線（「ＮＲ」）技術などの１つ以上のネットワークアクセス技術を含むことができる。他の例は、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ ８０２．１１ ｂ／ｇ／ｎ、または任意の他の８０２．１１プロトコル、または任意の他の有線または無線接続を含むことができる。

【0019】

ワークステーション６０は、任意の既知のクライアントデバイスの形態をとることができる。例えば、ワークステーション６０は、ラップトップもしくはデスクトップコンピュータ、パーソナルデータもしくはデジタルアシスタント（「ＰＤＡ」）などのコンピュータ、またはモバイルデバイスもしくはモバイルポータブルメディアプレーヤなどの任意の他のユーザ機器もしくはタブレット、またはそれらの組み合わせとすることができる。サーバ３０は、処理、データベース、および通信設備を提供するサービスポイントとすることができる。例えば、サーバ３０は、専用のラックマウントサーバ、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、前述のデバイスの２つ以上の特徴などの様々な特徴を組み合わせた統合デバイスなどを含むことができる。サーバ３０は、構成または能力が大きく異なり得るが、１つ以上のプロセッサ、メモリ、および／またはトランシーバを含むことができる。サーバ３０はまた、１つ以上の大容量記憶デバイス、１つ以上の電源、１つ以上の有線もしくは無線ネットワークインターフェース、１つ以上の入力／出力インターフェース、および／または１つ以上のオペレーティングシステムを含むことができる。サーバ３０は、ＶＮＡ／ＰＡＣＳ５０、リモートＰＡＣＳ、ＶＮＡ、または他のベンダＰＡＣＳ／ＶＮＡなどの追加のデータ記憶デバイスを含むことができる。

【0020】

ワークステーション６０は、ＰＡＣＳを介して直接（例えば、ハードワイヤード接続を介して、）またはリモート（例えば、上記のネットワークを介して、）のいずれかで撮像モダリティ９０と通信することができる。撮像モダリティ９０は、超音波信号を体内（例えば、患者）に送信し、超音波信号に基づいて身体からの反射を受信し、受信した反射から超音波画像を生成する超音波マシンまたは超音波システムなどの超音波撮像デバイスを含むことができる。超音波撮像デバイスに関して説明したが、撮像モダリティ９０は、例えば、Ｘ線（またはＸ線のデジタル対応物（コンピュータ放射線撮影（「ＣＲ」）およびデジタル放射線撮影（「ＤＲ」））、マンモグラム、トモシンセシス、コンピュータ断層撮影（「ＣＴ」）、磁気共鳴画像（「ＭＲＩ」）、および陽電子放射断層撮影（「ＰＥＴ」））を含む任意の医療撮像モダリティを含むことができる。追加的または代替的に、撮像モダリティ９０は、心電図（「ＥＫＧ」）、呼吸信号、または他の同様のセンサシステムなど、患者から生理学的信号を生成するための１つ以上のセンサを含むことができる。

【0021】

ユーザは、医療専門家、医療技術者、研究者、または患者を含む、ワークステーション６０および／またはサーバ３０にアクセスすることを許可された任意の人とすることができる。いくつかの実施形態では、ワークステーション６０の使用および／またはサーバ３０との通信を許可されたユーザは、ワークステーション６０および／またはサーバ３０にログインまたはアクセスするために使用することができるユーザ名および／またはパスワードを有することができる。開示された主題によれば、１人以上のユーザは、開示されたシステム（またはその一部）のうちの１つ以上を操作することができ、開示された方法（またはその一部）のうちの１つ以上を実装することができる。

【0022】

ワークステーション６０は、ＧＵＩ６５、メモリ６１、プロセッサ６２、およびトランシーバ６３を含むことができる。ワークステーション６０によって受信された医療画像記録７１（例えば、７１Ａ、７１Ｂ）は、１つ以上のプロセッサ６２を使用して処理することができる。プロセッサ６２は、コンピュータプログラム命令を実行するために使用される任意のハードウェアまたはソフトウェアとすることができる。これらのコンピュータプログラム命令は、その機能を専用コンピュータ、特定用途向け集積回路（「ＡＳＩＣ」）、または他のプログラマブルデジタルデータ処理装置に変更するために汎用コンピュータのプロセッサに提供することができ、ワークステーション６０または他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、ブロック図または演算ブロック（単数または複数）で指定された機能／動作を実施し、それによって本明細書の実施形態に従ってそれらの機能を変換する。プロセッサ６２は、ポータブル埋め込み型マイクロコントローラまたはマイクロコンピュータとすることができる。例えば、プロセッサ６２は、中央処理装置（「ＣＰＵ」）、デジタル信号プロセッサ（「ＤＳＰ」）、ＡＳＩＣ、プログラマブルロジックデバイス（「ＰＬＤ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、デジタル拡張回路、または同等のデバイスもしくはそれらの組み合わせなどの任意の計算デバイスまたはデータ処理デバイスによって具現化することができる。プロセッサ６２は、単一のコントローラ、または複数のコントローラもしくはプロセッサとして実装することができる。プロセッサ６２は、本明細書に開示された方法のうちの１つ以上を実装することができる。

【0023】

ワークステーション６０は、トランシーバ６３を使用してサーバ３０から医療画像記録７１（例えば、７１Ａ、７１Ｂ）を送信および受信することができる。トランシーバ６３は、独立して、送信機、受信機、または送信機と受信機の両方、または送信と受信の両方のために構成され得るユニットまたはデバイスであり得る。言い換えれば、トランシーバ６３は、ワークステーション６０がサーバ３０と通信することを可能にする任意のハードウェアまたはソフトウェアを含むことができる。トランシーバ６３は、有線または無線トランシーバのいずれかであり得る。無線の場合、トランシーバ６３は、デバイス自体には位置しないが、マストに配置されるリモート無線ヘッドとして実装することができる。図２は単一のトランシーバ６３のみを示しているが、ワークステーション６０は１つ以上のトランシーバ６３を含むことができる。メモリ６１は、不揮発性記憶媒体、または非一時的コンピュータ可読媒体もしくは記憶媒体などの任意の他の適切な記憶デバイスとすることができる。例えば、メモリ６１は、ランダムアクセスメモリ（「ＲＡＭ」）、読み出し専用メモリ（「ＲＯＭ」）、ハードディスクドライブ（「ＨＤＤ」）、消去可能プログラマブル読み出し専用メモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブル読み出し専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、または他のソリッドステートメモリ技術とすることができる。メモリ６１はまた、コンパクトディスク読み出し専用光メモリ（「ＣＤ－ＲＯＭ」）、デジタル多用途ディスク（「ＤＶＤ」）、任意の他の光記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または所望の情報もしくはデータもしくは命令を有形に記憶するために使用することができ、コンピュータもしくはプロセッサによってアクセスすることができる任意の他の物理的もしくは材料的媒体であってもよい。メモリ６１は、取り外し可能であっても取り外し不能であってもよい。

【0024】

サーバ３０は、サーバプロセッサ３１およびＶＮＡ／ＰＡＣＳ５０を含むことができる。サーバプロセッサ３１は、コンピュータプログラム命令を実行するために使用される任意のハードウェアまたはソフトウェアとすることができる。これらのコンピュータプログラム命令は、その機能を専用、専用コンピュータ、ＡＳＩＣ、または他のプログラマブルデジタルデータ処理装置に変更するために汎用コンピュータのプロセッサに提供することができ、その結果、クライアントステーションまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、ブロック図または１つ以上の動作ブロックで指定された機能／動作を実施し、それによって本明細書の実施形態に従ってそれらの機能を変換する。開示された主題によれば、サーバプロセッサ３１は、ポータブル埋め込み型マイクロコントローラまたはマイクロコンピュータとすることができる。例えば、サーバプロセッサ３１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、デジタル拡張回路、または同等のデバイス、またはそれらの組み合わせなどの任意の計算またはデータ処理デバイスによって具現化することができる。サーバプロセッサ３１は、単一のコントローラとして、または複数のコントローラもしくはプロセッサとして実装することができる。
図３に示すように、画像は、シリーズ７０の２次元画像７１（画像７１Ａおよび７１Ｂのみが示されている）とすることができ、例えば、画像は、少なくとも１つの心周期、例えば、１から１０心周期をカバーする一連の超音波画像とすることができる。シリーズ７０の２次元画像７１（例えば、７１Ａおよび７１Ｂ）は、撮像デバイス９０から直接受信することができる。追加的または代替的に、シリーズ７０はシリーズ２とすることができ、２次元画像７１（例えば、７１Ａ、７１Ｂ）は複数のＤＩＣＯＭ ＳＯＰインスタンス１とすることができる。例えば、画像７１Ａおよび７１Ｂは、心周期の異なる時点におけるマウス心臓８０の超音波画像である（マウス心臓に関して記載されているが、本明細書に開示されるシステムおよび方法は、ヒト心臓の画像を含む他の動物心臓の画像と共に使用することができる）。画像７１（例えば、７１Ａ、７１Ｂ）は、平面を走査し、ＧＵＩ６５などの画面上の２次元画像として見ることができる画像を生成するためにトランスデューサのアレイ（例えば、線形またはフェーズドアレイ）を使用することができるＢモード（２Ｄモードと呼ばれることもある、明るいモード）超音波画像とすることができる。トランスデューサは、マトリックスアレイまたは湾曲線形アレイトランスデューサであってもよい。一例として、画像７１Ａは拡張期の心臓８０を示すことができ、画像７１Ｂは収縮期の心臓８０を示すことができる。心臓は、（左心室８１が大動脈弁８２Ａを介して大動脈８２Ｂに接続する左心室８１内の位置に対応する）基部８２および心尖部８３を含むことができる左心室８１を含むことができる。開示された主題はＢモード超音波画像に関して説明されているが、開示された主題はＭモード（動きモード）画像にも適用することができる。

【0025】

動作中、システム１００を使用して、シリーズ７０の画像７１（例えば、７１Ａ、７１Ｂ）に描写された心臓８０の駆出率などの心臓パラメータを検出することができる。システム１００は、心臓パラメータを検出するプロセスを自動化することができ、これにより、ヒトの主観の要素を除去することができ（誤差を除去することができ）、パラメータの迅速な計算を容易にすることができる（結果を得るために必要な時間を短縮する）。

【0026】

シリーズ７０の画像７１（例えば、７１Ａ、７１Ｂ）は、撮像モダリティ９０からリアルタイムでシステム１００によって受信することができる。システム１００は、それぞれ収縮期および拡張期に関連する画像７１（例えば、７１Ａ、７１Ｂ）を識別することができる。例えば、収縮期および拡張期は、各画像７１（例えば、７１Ａ、７１Ｂ）内の左心室８１の面積の計算を通じて画像７１（例えば、７１Ａ、７１Ｂ）から直接決定することができる。収縮期は、最小領域に関連する画像７１（例えば、７１Ｂ）（または数周期が提供される画像）とすることができ、拡張期は、最大領域に関連する画像７１（例えば、７１Ａ）（または数周期が提供される画像）とすることができる。面積は、左心室８１のセグメント化領域内の画素の合計として計算することができる。モデルは、シリーズ７０の各画像７１（例えば、７１Ａ、７１Ｂ）における左心室８１のリアルタイム識別およびトラッキングを実行するように訓練することができる。例えば、システム１００は、例えば図４の画像７１Ａおよび７１Ｂに示すように、２Ｄセグメント化モデルを使用してセグメント化領域を生成することができる。オブジェクトを識別およびセグメント化するためのセグメント化モデルの一例は、畳み込みニューラルネットワークを含む。システム１００は、ジッタおよびアーチファクトを除去するために領域の後処理およびフィルタリングを適用することができる。例えば、有限インパルス応答（ＦＩＲ）フィルタなどの移動平均窓を使用することができる。システム１００は、ピークおよび谷を識別するためにピーク検出アルゴリズムを適用することができる。例えば、閾値方法は、信号が閾値を横切り、最小値または最大値に達するときを決定することができる。システム１００は、例えば、図５に示すように、各左心室８１の面積をプロットすることができる。

【0027】

図５は、各フレーム（ｘ軸）における心室８１の面積（ｙ軸）のプロットを示し、少なくとも３つの全心周期を示す。心臓の体積は心臓の面積に関連することが理解される。例えば、円の面積は、面積＝π＊ｒ＊ｒであるので、円と同じ半径の球の体積は、体積＝４／３＊ｒ＊面積である。プロットは、ＬＶの体積に関連するトレース１０と、トレース１０の平滑化バージョンであるトレース１１と、極大値（したがって、拡張期に関連する画像７１（例えば、７１Ａ、７１Ｂ）（フレーム）を識別する。）である点１２と、極小値（したがって、収縮期に関連付けられた画像７１（例えば、７１Ａ、７１Ｂ）（フレーム）を識別する）である点１３とを含む。追加的または代替的に、利用可能であれば、受信したＥＣＧ信号から拡張期および収縮期を識別することができる。使用されるモデルは、最終ＬＶセグメント化モデル、または極めて迅速に実行するように設計されたより単純なバージョンとすることができる。セグメント化の精度は、拡張期および収縮期を表す最大値および最小値の決定にとって重要ではないため、リアルタイムで実行することはあまり正確ではなく、したがってより効率的であり得る。

【0028】

別の実施形態では、モデルは、画像特徴に基づいて、一連の画像から拡張期および収縮期を直接識別するように訓練することができる。例えば、リカレントニューラルネットワーク（「ＲＮＮ」）を使用して、一連の画像が入力として使用され、そのシーケンスから拡張期および収縮期に対応するフレームをマークすることができる。

【0029】

開示された主題によれば、システム１００は、一連の２次元画像内の画像の品質メトリックを決定することができる。システムは、品質メトリックが閾値を上回っていることを確認することができる。例えば、品質メトリックが閾値を上回っている場合、システム１００は、体積の計算に進むことができる。品質メトリックが閾値を下回る場合、画像はボリュームを決定するのに使用されない。

【0030】

拡張期および収縮期として識別された画像７１（例えば、７１Ａ、７１Ｂ）の各々に対する左心室８１の体積計算は、（１）フレームのセグメント化、および（２）向きの計算を含む２ステッププロセスとすることができる。例えば、図６に示すように、画像７１Ａの左心室８１は、複数のセグメント１４（例えば、１４Ａ、１４Ｂ、１４Ｃ）にセグメント化されており、長軸１５がプロットされており、これは左心室８１の向きを定義する。これらの２つの特徴は、向きが正しくない場合、例えば、以下に示す計算が誤った軸の周りで回転されるため、２Ｄ領域が正確な体積を正確に表すことができないため、重要であり得る。

【0031】

フレームおよび向きのセグメント化を計算するために、システム１００は、内部（心内膜）および心臓壁の境界を識別することができる。この情報は、心機能メトリックを計算するために必要な測定値を取得するために使用することができる。システム１００は、深層学習で訓練されたモデルを使用して計算を実行することができる。モデルは、（１）ラベル付き入力データの豊富さ、（２）適切な深層学習モデル、および（３）モデルパラメータの訓練の成功を使用して作成することができる。

【0032】

例えば、モデルは、胸骨傍長軸ビューにおいて収集された２，０００個のデータセット、または別の量、例えば１，０００個のデータセットまたは５，０００個のデータセットを使用して、数周期にわたって内壁境界を完全にトレースして訓練することができる。取得フレームレートは、使用されるトランスデューサおよび撮像設定に依存し得るが、２０から１，０００フレーム／秒（ｆｐｓ）まで変化し得る。したがって、各シネループについて３０から１００個の個々のフレームをトレースすることができる。当業者には明らかなように、より正確にラベル付けされた訓練データは、一般に、より良いＡＩモデルをもたらす。１５万を超える一意の画像の集合を訓練に使用することができる。訓練増強は、水平方向のフリップ、ノイズ、回転、せん断変換、コントラスト、輝度、および変形可能な画像ワープを含むことができる。いくつかの実施形態では、敵対的生成ネットワーク（「ＧＡＮＳ」）を使用して、追加の訓練データを生成することができる。２Ｄまたは３Ｄセットとして編成されたデータを使用するモデルを使用することができるが、２Ｄモデルはより単純な訓練を提供することができる。例えば、心周期を通して連続した一連の画像、または拡張期／収縮期フレームのシーケンスを入力として取得する３Ｄモデルを使用することができる。ヒト評価データセットは、１１２×１１２、または他の解像度、例えば、手動でセグメント化されたＬＶ領域を有する１２８×１２８または２５６×２５６画素の約１万の画像を含むことができる。当業者には理解されるように、異なる構成は、モデルの推論（実行）時間と精度とのバランスをとることができる。リアルタイムの状況では、ある程度の精度を犠牲にして処理速度を維持するために、より小さな画像が有益であり得る。

【0033】

１２８×１２８の入出力サイズを有するＵ－Ｎｅｔモデルは、内壁領域のセグメント化マップ上で訓練することができる。ＤｅｅｐＬａｂ、ＥｆｆｉｃｉｅｎｔＤｅｔ、またはＭｏｂｉｌｅＮｅｔフレームワーク、または他の適切なモデルを含む他のモデルを使用することができる。モデルアーキテクチャは、新規に設計することができ、または前述のモデルの修正バージョンとすることができる。当業者は、モデル内のパラメータの数が変化し得ることを認識するが、パラメータが多いほど、典型的には、推論時の処理時間が遅くなる。しかしながら、外部ＡＩプロセッサ、ハイエンドＣＰＵ、埋め込み型および個別ＧＰＵの使用は、処理効率を改善することができる。

【0034】

一例では、心臓の向きを識別するように構成された追加のモデルは、心臓の心尖部および基部の点、２つの流出点、または勾配／切片の対を識別することができる。モデルは、２つ以上のデータ点（例えば、ｘｙデータ対のセット）を出力することができ、または心臓の向きの勾配および切片点を直接出力することができる。さらに、またはあるいは、ＬＶセグメント化を計算するために使用されるモデルはまた、この情報を直接生成することもできる。例えば、セグメント化モデルは、方向線の心尖部および流出点または勾配および切片に対応するｘｙデータ対のセットを別個の出力として生成することができる。あるいは、別個の出力チャネルとしてのモデルは、後処理を使用してこれらの位置を識別することができる領域として心尖部および流出点を符号化することができる。

【0035】

訓練は、例えば、ＮＶＩＤＩＡ ＶＴ１００ ＧＰＵで実行することができ、ＴｅｎｓｏｒＦｌｏｗ／Ｋｅｒａｓベースの訓練フレームワークを使用することができる。当業者には理解されるように、他の深層学習対応プロセッサを訓練に使用することができる。同様に、ＰｙＴｏｒｃｈなどの他のモデルフレームワークを訓練に使用することもできる。他の訓練ハードウェアおよび他の訓練／モデルフレームワークが利用可能になり、交換可能である。

【0036】

深層学習モデルは、セグメント化および向きの識別をそれぞれ訓練するために別々のモデルを使用することができ、またはデータ型ごとに別個の出力で両方の特徴を識別するように訓練された結合モデルを使用することができる。訓練モデルは、各モデルが独立して訓練およびテストされることを可能にする。一例として、モデルは並列に実行することができ、効率を向上させることができる。追加的または代替的に、拡張期および収縮期フレームを決定するために使用されるモデルは、ＬＶセグメント化モデルと同じであってもよく、これは単純な解決策であるか、または異なり、拡張期／収縮期検出モデルの最適化を可能にすることができる。

【0037】

一例として、モデルは、図７のモデルアーキテクチャ２００に示すように組み合わせることができる。システムは、単一の入力（例えば、エコー画像２０１）および２つの出力（例えば、向きを表す断面勾配２０７、およびセグメント化２０８）を有することができる。あるいは、別個の出力チャネルとしてのモデルは、後処理を使用してこれらの位置を識別することができる領域として心尖部および流出点を符号化することができる。当業者には理解されるように、Ｕ－Ｎｅｔは、処理遅延がほとんどない医療画像上のセグメント化を生成するために、比較的少数のデータセットで訓練することができるモデルのクラスである。特徴モデル２０２は、エコー画像２０１から特徴ベクトルを生成するエンコーダを含むことができ、これは潜在空間ベクトル２０３として表される。例えば、特徴モデル２０２によって生成された特徴ベクトルは、潜在ベクトル空間に属する。特徴モデル２０２のエンコーダの一例は、漸進的にダウンサンプリングする複数の層を含み、したがって潜在空間ベクトル２０３を形成する畳み込みニューラルネットワークである。Ｕネット状デコーダ２０６は、潜在空間ベクトル２０３を漸進的にアップサンプリングしてセグメント化２０８を生成する対応する数の畳み込み層を含むことができる。実行速度を高めるために、特徴モデル２０２の層は、信号が特徴モデル２０２およびデコーダ２０６のすべての層を通って伝播するのではなく、スキップ接続２０４を介してデコーダ２０６の対応する層に接続することができる。高密度回帰ヘッド２０５は、特徴ベクトル（例えば、潜在空間ベクトル２０３）から断面勾配２０７を生成するためのネットワークを含むことができる。高密度回帰ヘッド２０５の一例は、整流線形活性化関数などの活性化関数からなる層が各々、後続する畳み込み層の複数の層を含む。

【0038】

モデルが２つ以上の出力ノードを含む場合、単一のパスで訓練することができる。あるいは、２つの別個のパスで訓練することができ、それによってセグメント化出力が最初に訓練され、その時点で符号化段階パラメータがロックされ、方向出力に対応するパラメータのみが訓練される。２つの別個のパスを使用することは、同様の寸法または形状もしくはタイプを共有しない２つの異なるタイプの出力を含むモデルで一般的な手法である。訓練モデルは、推論効率、精度、および実装の単純さに基づいて選択することができ、異なるハードウェアおよび構成に対して異なるものとすることができる。追加のモデルは、シーケンスネットワーク、ＲＮＮＳ、または埋め込み型ＬＳＴＭ、ＧＲＵ、もしくは他のリカレント層からなるネットワークを含むことができる。モデルは、現在のフレームの瞬間スナップショットではなく前のフレーム情報を利用することができるという点で有益であり得る。他の解決策は、入力チャネルが単一の入力フレームだけでなく、いくつかの前のフレームを含むことができる２Ｄモデルを利用することができる。一例として、前のフレームを提供する代わりに、前のセグメント化領域を提供することができる。追加の情報は、入力データオブジェクトへの追加のチャネルとして階層化することができる。

【0039】

セグメント化および向きを使用して、システム１００は、計算または「ディスクの方法」または「シンプソン法」などの他の近似を使用して体積を計算することができ、体積は、以下に示す式を使用したディスクの数の合計である。

【数2】

式中、ｄは各セグメンテーションの直径であり、ｈはその向きに沿った左心室８１の高さ（例えば、長軸）である。

【0040】

一連の収縮期および拡張期の複数の対を使用して、計算の全体的な精度を改善することができる。例えば、一連の収縮期－拡張期「Ｓ Ｄ Ｄ Ｓ Ｄ Ｓ」において、６つの別個の駆出率を計算することができ、計算の全体的な精度を向上させることができる。この手法はまた、標準偏差または分散などのメトリックの計算によって精度の尺度（本明細書では信頼スコアとも呼ばれる）をユーザに与えることができる。駆出率値または他のメトリックは、リアルタイムシナリオでユーザに直接提示することができる。例えば、信頼スコアは、検出値が正確であるかどうかをユーザに知らせるのに役立つことができる。例えば、標準偏差は、各周期当たりの測定値がどれだけ変化するかを測定する。大きな分散は、患者の心周期が急速に変化しすぎており、したがって測定値が不正確であることを示し得る。メトリックは、計算されたＥＦ値、または心臓体積、面積、もしくは位置などの他の測定値に基づくことができる。例えば、拡張期および収縮期のセグメント化領域のＩｏＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）計算によって測定されるように、心臓が一貫して同じ位置にある場合、計算が正確であるという信頼度は増加する。信頼スコアは、分散の直接尺度として表示することも、相対尺度として解釈して表示することもできる。例えば、「高品質」、「中品質」、「低品質」などである。いくつかの実施形態では、良好な心臓ビューを分類するように訓練された追加のモデルを訓練し、使用して、使用される心臓ビューに関する追加のメトリックおよびＥＦ計算に対するその適合性を提供することができる。

【0041】

本明細書で使用される場合、「リアルタイム」データ取得は、画像取得と同期して１００％である必要はない。例えば、画像の取得は、約３０ｆｐｓで行うことができる。完全な駆出率の計算はわずかに遅延する可能性があるが、ユーザに関連情報を提供することができる。例えば、短期間では駆出率値が劇的に変化しない。実際、測定としての駆出率は、全心周期（拡張期の体積および収縮期の体積）からの情報を必要とする。追加的または代替的に、駆出率が計算される前に、一連のいくつかの収縮期フレームを一緒にバッチ処理することができる。したがって、駆出率の値は、１つ以上の心周期だけ遅延させることができる。この遅延により、画像取得の３０ｆｐｓレートで実行できる場合よりも複雑なＡＩ計算を実行することができる。したがって、本明細書で使用される場合、例えば最大５秒（例えば１秒）遅延した値が「リアルタイム」と見なされる。しかしながら、すべてのフレームが体積計算に使用される必要はないことにさらに留意されたい。むしろ、収縮期または拡張期に関連する１つ以上のフレームを使用することができる。いくつかの実施形態では、１心周期の直後に初期結果を表示し、その後、より多くの心周期が取得され、計算が繰り返されるにつれて更新することができる。例えば、より多くの心周期が取得されるにつれて、以前の心周期の平均ＥＦを表示することができる。追加的または代替的に、心周期のセットのうち、１つ以上の心周期は、患者の動きまたはプローブの一時的な誤った位置決めのために誤った計算を提供する可能性がある。表示された心臓パラメータは、計算の精度を向上させる最終平均からこれらの周期を除外することができる。

【0042】

図８Ａ、８Ｂ、９を参照する。限定ではなく例示を目的として、セグメント化または心臓壁トレース１６（例えば、１６Ａ、１６Ｂ）をリアルタイムで１つ以上の収縮期および拡張期画像上に描写することができる。この情報は、ユーザに提示することができ、トレースが正しい領域に現れるという確信をユーザに提供することができる。開示された主題によれば、ユーザは、レビュー設定において計算を検証することができる。例えば、取得（撮像および初期駆出率分析）が完了したとき、休止前のある程度の時間（前の数秒または前の数分）のデータに基づくことができる以前の取得の最近の結果をユーザに提示することができる。データは、例えば、拡張期のマウス心臓を示す画像７１Ｃの図８Ａ、および収縮期のマウス心臓を示す画像７１Ｄの図８Ｂに示すように、各拡張期および収縮期フレームの単純化された壁トレース１６（例えば、１６Ａ、１６Ｂ）データで注釈を付けることができる。図９に示すように、トレース１６は、ベジエスプラインなどの柔軟に変形可能なスプラインオブジェクト１８に縮小することができる。例えば、変形可能スプラインオブジェクト１８には、９つの制御点１７（例えば、１７Ａ、１７Ｂ）およびスプライン１９（例えば、１９Ａ～１９Ｃ）が存在することができる。制御点１７の数（例えば、１７Ａ、１７Ｂ）は、例えばユーザの選択によって、所望に応じて減少または増加させることができる。任意の制御点１７（例えば、１７Ａ、１７Ｂ）を調整することにより、接続されたスプライン１９（例えば、１９Ａ～１９Ｃ）を移動させることができる。例えば、移動制御点１７Ａは、スプライン１９Ａおよび１９Ｂの位置を調整することができ、一方、制御点１７Ｂを移動させることにより、スプライン１９Ｂおよび１９Ｃの位置を調整することができる。追加的または代替的に、変形可能スプラインオブジェクト１８全体をサイズ変更、回転、または並進させて、必要に応じてその位置を調整することができる。この能力は、スプラインオブジェクト１８の形状を変更するための単純で迅速な方法を提供することができる。

【0043】

ユーザが任意の特定のスプラインオブジェクト１８の形状を調整すると、その変化を隣接する画像７１（例えば、７１Ａ～７１Ｅ）に伝播することができる。例えば、ユーザが収縮期を描写する画像７１Ｅのスプラインオブジェクト１８を調整する場合、収縮期を描写する隣接する画像７１（例えば、７１Ａ～７１Ｅ）のスプラインオブジェクト１８は、フレーム適応方法を使用して調整することができる。短期間内に、いくつかの心周期の範囲にわたって、収縮期（または拡張期）フレームのすべてが収縮期（または拡張期）を描写する他のフレームと同様であることが理解され得る。フレーム間の類似度を推定することができる。それらが類似している場合、１つのフレームの結果は、オプティカルフローなどの方法を使用して他のフレームに変換することができる。他のフレームは、ユーザによって初期フレームに適用されるのと同様の調整を必要とすることが理解され得るので、ユーザが調整したフレームは、オプティカルフローを使用して隣接する収縮期フレームにワープすることができる。開示された主題によれば、フレームが手動で調整されると、将来の伝播（自動）調整では調整されないという条件を追加することができる。

【0044】

開示された主題によれば、駆出率（例えば、ユーザが心臓を撮像している間に駆出率を提示することができるアルゴリズム）のリアルタイム計算のために構成されたアルゴリズムは、駆出率の後処理計算のために構成されたアルゴリズムよりも単純かつ高速であり得る。例えば、撮像中に、駆出率のリアルタイム計算をユーザに提示することができる。画像の取得を一時停止すると、システム１００は、より複雑なアルゴリズムを実行し、より複雑なアルゴリズムに基づいて駆出率の計算を提供することができる。したがって、システム１００は、単に画像を後処理するだけの従来のシステムが遅すぎて有用でない場合、駆出率などの心臓パラメータを生成することができる。さらに、システム１００は、従来のシステムよりも正確な心臓パラメータを生成し、上述したように、信頼スコアを介してその精度の表示を表示することができ、したがってオペレータによる誤差を低減することができる。

【0045】

駆出率は、収縮期および拡張期としての体積に基づいて計算されるが、心周期全体にわたる面積および体積の計算が有用であり得る。したがって、トレースオブジェクト１８は、すべてのフレーム（収縮期および拡張期を含む）について生成することができる。この生成は、上記のプロセスを繰り返すことによって行うことができ、（１）データセットの領域を選択して処理する（例えば、心周期の一部、心周期の全部、または複数の心周期）（２）各フレームのセグメント化を行う（３）フレーム内比較を実行して異常な推論結果を除去する（４）各フレームのエッジを計算する（５）心尖部と流出点を識別する（６）エッジマップから滑らかなスプラインを生成する、というワークフローを含むことができる。追加的または代替的に、オプティカルフローを使用して、既に計算された拡張期－収縮期フレーム対の間にフレームを生成することができる。このプロセスは、拡張期および収縮期スプラインオブジェクト１８に対してユーザによって行われた変更を組み込むことができる。

【0046】

図１０は、心臓パラメータを計算するための例示的な方法１０００を示す。方法１０００は、ハードウェア（例えば、回路、専用ロジックなど。）、ソフトウェア（汎用コンピュータシステムまたは専用マシン上で実行されるものなど）、ファームウェア（例えば、読み出し専用メモリにプログラムされたソフトウェア）、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。いくつかの実施形態では、方法１０００は、超音波マシンによって実行される。

【0047】

方法１０００は、ステップ１０１０で開始することができ、方法は、１つ以上のコンピューティングデバイスによって、心臓の一連の２次元画像を受信することを含み、一連の画像は、少なくとも１つの心周期をカバーする。ステップ１０２０において、本方法は、１つ以上のコンピューティングデバイスによって、心臓の収縮期に関連する一連の画像から第１の収縮期画像を、および心臓の拡張期に関連する一連の画像から第１の拡張期画像を識別することを含む。ステップ１０３０において、本方法は、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓の向きおよび第１の拡張期画像内の心臓の向きを計算することを含む。ステップ１０４０において、本方法は、１つ以上のコンピューティングデバイスによって、第１の収縮期画像における心臓のセグメント化および第１の拡張期画像における心臓のセグメント化を計算することを含む。ステップ１０５０において、本方法は、１つ以上のコンピューティングデバイスによって、第１の収縮期画像内の心臓の向きおよび第１の収縮期画像内の心臓のセグメント化に基づいて第１の収縮期画像内の心臓の体積を計算することと、少なくとも第１の拡張期画像内の心臓の向きおよび第１の拡張期画像内の心臓のセグメント化に基づいて第１の拡張期画像内の心臓の体積を計算することと、を含む。ステップ１０６０において、本方法は、１つ以上のコンピューティングデバイスによって、少なくとも第１の収縮期画像内の心臓の体積および第１の拡張期画像内の心臓の体積に基づいて心臓パラメータを決定することを含む。ステップ１０７０において、本方法は、１つ以上のコンピューティングデバイスによって、心臓パラメータの信頼スコアを決定することを含む。ステップ１０８０において、本方法は、心臓パラメータおよび信頼スコアを、１つ以上のコンピューティングデバイスによって表示することを含む。

【0048】

開示された主題によれば、本方法は、適切な場合には、図１０の方法の１つ以上のステップを繰り返すことができる。本開示は、図１０の方法の特定のステップを特定の順序で発生するものとして説明および図示しているが、本開示は、任意の適切な順序で発生する図１０の方法の任意の適切なステップを企図している。さらに、本開示は、図１０の方法の特定のステップを含む心臓パラメータを計算するための例示的な方法を説明および図示しているが、本開示は、任意の適切なステップを含む心臓パラメータを計算するための任意の適切な方法を企図しており、適切な場合には、図１０の方法のステップのすべて、一部、またはいずれも含まなくてもよい。さらに、本開示は、図１０の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明および図示しているが、本開示は、図１０の方法の任意の適切なステップを実行する任意の適切な構成要素、デバイス、またはシステムの任意の適切な組み合わせを企図している。

【0049】

特定の実施形態に関連して上述したように、例えば、サーバ３０およびワークステーション６０などの特定の構成要素は、コンピュータまたは複数のコンピュータ、プロセッサ、ネットワーク、モバイルデバイス、クラスタ、または様々な機能を実行するための他のハードウェアを含むことができる。さらに、開示の主題の特定の要素は、コンピュータ可読媒体（例えば、１つ以上の記憶メモリ）に記憶することができ、実行されるとプロセッサに本明細書に記載の特定の機能を実行させることができるコンピュータ可読コードで具現化することができる。これらの実施形態では、コンピュータおよび／または他のハードウェアは、心臓パラメータを計算するためのシステムおよび方法を可能にするのに重要な役割を果たす。例えば、コンピュータ、プロセッサ、メモリ、記憶デバイス、およびネットワークハードウェアの存在は、より効率的な方法で心臓パラメータを計算する能力を提供する。さらに、デジタル記録の記憶および保存は、そのような情報が電子形態でネットワークを介して受信されるため、ペンまたは紙で達成することができない。

【0050】

本明細書に記載された主題および動作は、本明細書に開示された構造およびそれらの構造的均等物を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの１つ以上の組み合わせで実施することができる。本明細書で説明される主題の実施形態は、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上に符号化された１つ以上のコンピュータプログラム、すなわちコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。

【0051】

コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセスもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらの１つ以上の組み合わせであり得るか、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号に符号化されたコンピュータプログラム命令のソースまたは宛先とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）であってもよく、またはそれらに含まれてもよい。

【0052】

プロセッサという用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または上記の複数のもの、または組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、およびマシンを包含する。装置は、例えばＦＰＧＡまたはＡＳＩＣなどの専用ロジック回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの１つ以上の組み合わせを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

【0053】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている）は、コンパイル言語またはインタプリタ言語、宣言型言語または手続き型言語を含む任意の形式のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境での使用に適した他のユニットとしてを含む任意の形式で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、対応する必要はない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語ドキュメントに記憶された１つ以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、または複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに配置された、または複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0054】

本明細書に記載されたプロセスおよびロジックフローは、入力データを操作して出力を生成することによって動作を実行するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。プロセスおよびロジックフローはまた、例えばＦＰＧＡまたはＡＳＩＣなどの専用ロジック回路によって実行することもでき、装置はまた、専用ロジック回路として実装することもできる。

【0055】

コンピュータプログラムの実行に適したプロセッサは、限定ではなく例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方を含むことができる。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、限定ではなく例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体、ならびにメモリデバイス、磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクなどを含むことができる。プロセッサおよびメモリは、専用ロジック回路によって補完され得るか、または専用ロジック回路に組み込まれ得る。

【0056】

さらに、特定の実施形態に関連して上述したように、特定の構成要素は、例えばネットワーク、例えばローカルエリアネットワークまたはインターネットを介して、特定の他の構成要素と通信することができる。上記で明示的に述べられていない限り、開示された主題は、送信および受信を含む各トランザクションの両側を包含することが意図されている。当業者であれば、上記の特徴に関して、１つの構成要素が別の構成要素に送信、送信、または利用可能にする場合、明示的に述べられているか否かにかかわらず、他の構成要素が受信または取得することを容易に理解するであろう。

【0057】

以下に特許請求される特定の実施形態に加えて、開示される主題はまた、以下に特許請求される従属特徴および上記に開示される従属特徴の任意の他の可能な組み合わせを有する他の実施形態に関する。したがって、従属請求項に提示され、上記で開示された特定の特徴は、他の可能な組み合わせで互いに組み合わせることができる。したがって、開示された主題の特定の実施形態の前述の説明は、例示および説明の目的で提示されている。網羅的であること、または開示された主題を開示された実施形態に限定することは意図されていない。

【0058】

開示された主題の趣旨または範囲から逸脱することなく、開示された主題の方法およびシステムにおいて様々な修正および変形を行うことができることは当業者には明らかであろう。したがって、開示された主題は、添付の特許請求の範囲およびそれらの均等物の範囲内にある修正および変形を含むことが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【国際調査報告】