特表 2023-517318 ニューラルネットワークを使用した心臓パラメータの評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-25

(54)【発明の名称】ニューラルネットワークを使用した心臓パラメータの評価

(51)【国際特許分類】

   A61B 8/14 20060101AFI20230418BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2022553614

(86)(22)【出願日】2021-03-05

(85)【翻訳文提出日】2022-11-04

(86)【国際出願番号】 GB2021050563

(87)【国際公開番号】W WO2021176237

(87)【国際公開日】2021-09-10

(31)【優先権主張番号】2003346.0

(32)【優先日】2020-03-06

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】2003347.8

(32)【優先日】2020-03-06

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】522352443

【氏名又は名称】ウルトロミクス・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】アリアン・ベキリ

(72)【発明者】

【氏名】アンドリュー・パーカー

(72)【発明者】

【氏名】ジュリアス・アズマティ・ムミス

(72)【発明者】

【氏名】ゲイリー・ウッドワード

(72)【発明者】

【氏名】デボラ・マーカム

(72)【発明者】

【氏名】ロス・アプトン

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601DD15

4C601DD27

4C601DE06

4C601EE11

4C601JC09

4C601JC11

4C601JC15

(57)【要約】

本発明の一実施形態は、超音波結果から人間の心臓のパラメータを自動的に導出するためのシステムを提供する。第1のニューラルネットワークは、複数の心エコー画像を受信し、画像を少なくとも二腔像および四腔像のうちの1つに分類するように構成される。第2のニューラルネットワークは、二腔または四腔像を含む心エコー画像を受信し、ビューごとに左心室(LV)の心内膜境界を識別するように構成される。次いで、収縮末期および拡張末期の画像が識別され、LV体積、駆出率、グローバル長軸方向ストレインおよび長軸方向の地域ひずみなどのパラメータが計算される。

【特許請求の範囲】

【請求項1】

人間の心臓のパラメータを提供するためのシステム(100;200)であって、
入力および出力を有する第1の訓練されたニューラルネットワーク(104;204)であり、前記第1のニューラルネットワークが、複数の心エコー画像を受信し、前記心エコー画像を、少なくとも二腔像および四腔像を含む少なくとも2つの異なるビューのうちの1つに分類するように構成されている、第1の訓練されたニューラルネットワーク(104;204)と、
入力および出力を有する第2の訓練されたニューラルネットワーク(112;224)であり、前記第2のニューラルネットワークが、前記二腔像または前記四腔像のうちの少なくとも1つから画像を受信し、ビューごとに左心室の心内膜境界を識別するように構成されている、第2の訓練されたニューラルネットワーク(112;224)と、
収縮末期および拡張末期の画像を識別するために、前記第2のニューラルネットワークの前記出力に応答する第1のレスポンダ(118、120;230、232)と、
前記心臓のパラメータを導出するために、前記収縮末期および拡張末期の画像に応答する第2のレスポンダ(126;238、240、246)と
を含むシステム(100;200)。

【請求項2】

前記心エコー画像の少なくとも1つの特性に基づいて、前記第2のニューラルネットワークに提供するのに適した心エコー画像を識別するための第3のレスポンダ(210、212)をさらに含む請求項1に記載のシステム。

【請求項3】

前記第2のレスポンダ(126;246)が、前記左心室の前記二腔および前記四腔の心内膜境界を組み合わせて、体積ベースのパラメータを導出するように構成されている、請求項1または請求項2に記載のシステム。

【請求項4】

前記パラメータが駆出率である、請求項1から3のいずれか一項に記載のシステム。

【請求項5】

前記パラメータがグローバル長軸方向ストレインである、請求項1から3のいずれか一項に記載のシステム。

【請求項6】

前記パラメータが地域ひずみである、請求項1または請求項2に記載のシステム。

【請求項7】

前記地域ひずみパラメータが6つの領域を含む、請求項6に記載のシステム。

【請求項8】

前記複数の心エコー画像が、複数の非造影画像を含む、請求項1から7のいずれか一項に記載のシステム。

【請求項9】

前記複数の心エコー画像が、複数の造影心エコー画像を含む、請求項1から8のいずれか一項に記載のシステム。

【請求項10】

前記ニューラルネットワークが、非造影データで訓練される、請求項1から8のいずれか一項に記載のシステムを訓練する方法。

【請求項11】

前記ニューラルネットワークが、造影データで訓練される、請求項1から7または請求項9のいずれか一項に記載のシステムを訓練する方法。

【請求項12】

心臓の病態を診断する方法であって、
対象者から複数の心エコー画像を受信するステップと、
前記心臓のパラメータを導出するために、前記複数の心エコー画像を分析するために、請求項1から9のいずれか一項に記載の前記システムを使用するステップと、
前記心臓の前記パラメータを少なくとも1つの所定のしきい値パラメータと比較するステップと、
前記心臓の前記パラメータと前記少なくとも1つの所定のしきい値パラメータとの間の差を検出するステップであり、前記差が、前記心臓の病態を示す、検出するステップと
を含む方法。

【請求項13】

心臓の病態を治療する方法であって、
前記心臓のパラメータを導出するために、複数の心エコー画像を分析するために、請求項1から9のいずれか一項に記載の前記システムを使用して、対象者から前記複数の心エコー画像を受信するステップと、
前記パラメータを少なくとも1つのしきい値パラメータと比較するステップと、
前記心臓の前記パラメータと前記少なくとも1つの所定のしきい値パラメータとの間の差を検出するステップであり、前記差が、前記心臓の病態を示す、検出するステップと、
前記対象者に治療上有効な量の薬物を投与するステップであり、前記薬物が、前記心臓の前記病態の1つまたは複数の症状を緩和する、投与するステップと
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の心エコー画像から人間の心臓のパラメータを決定するためのニューラルネットワークに関する。

【背景技術】

【0002】

心エコー検査は、心臓の状態を調査するための強力なツールであるが、従来は、専門家のX線技師による得られた画像の解釈に大きく依存していた。これは、遅延および費用をもたらす。

【0003】

心エコー検査では、通常、いくつかの異なる「ビュー」について、特定の患者の心臓の超音波データが収集され、これは、各ビューが患者の身体を通る異なる平面を表すように、患者の身体の周りの異なる点からプローブによって収集されたデータである。これらのビューは、心尖部四腔像、心尖部三腔像、心尖部二腔像、傍胸骨長軸および短軸像を含み得る。患者データにすべてのビューが存在する場合もあれば、サブセットのみが利用可能である場合もある。また、特定の患者に関する単一のビューに対して複数の超音波ビデオが存在する場合もある。超音波の結果は、DICOM(Digital Images and COmmunication in Medicine)ファイルによって通信されることが多いが、当業者は、他のフォーマットを利用可能であることを理解するであろう。

【0004】

たとえば、心臓の壁の輪郭を自動的に描くためなど、訓練されたニューラルネットワークを使用して個々の超音波ビューを解釈することに関して、いくつかの研究がすでに行われている。しかしながら、そのようなニューラルネットワークは、特定のビュー(たとえば、心尖部四腔像など)でのみ動作し、これは、任意の特定のネットワークしか、1つのタイプの入力データ(すなわち、1つの「ビュー」)に関連する超音波データを受け入れられないことを意味する。

【0005】

残念ながら、DICOMファイルなどの超音波ファイルは、典型的には、どのビューが任意の特定のデータセットに存在するかに関するいかなる情報も含まない。人間オペレータが、特定の患者からのすべての超音波データを分類して、正しいビューに関するデータが正しいニューラルネットワークに提供されることを確実にし、臨床的に適用可能な心臓測定値を導出するのに、20分以上かかる可能性がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】WO2017/216545

【非特許文献】

【0007】

【非特許文献1】Keras(Chollet, Francois et. Al. 2015, https://keras.io)

【非特許文献2】Google Tensorflow: A system for large-scale machine learning (Abadi, Martin et al., 2016 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16), page 265-283, https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf)

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、この欠点を改善することである。

【課題を解決するための手段】

【0009】

本発明の第1の態様によれば、人間の心臓のパラメータを提供するためのシステムが提供され、システムは、
入力および出力を有する第1の訓練されたニューラルネットワークであり、第1のニューラルネットワークが、複数の心エコー画像を受信し、心エコー画像を、少なくとも二腔像および四腔像を含む少なくとも2つの異なるビューのうちの1つに分類するように構成されている、第1の訓練されたニューラルネットワークと、
入力および出力を有する第2の訓練されたニューラルネットワークであり、第2のニューラルネットワークが、二腔または四腔像のうちの少なくとも1つから画像を受信し、ビューごとに左心室の心内膜境界を識別するように構成されている、第2の訓練されたニューラルネットワークと、
収縮末期および拡張末期の画像を識別するために、第2のニューラルネットワークの出力に応答する第1のレスポンダと、
心臓のパラメータを導出するために、収縮末期および拡張末期の画像に応答する第2のレスポンダと
を含む。

【0010】

ソースデータ内の関連するビューを自動的に検出し、左心室心内膜境界をセグメント化することによって、より正確で効率的なシステムが提供される。パラメータを自動的に提供することによって、医師または後続の自動システムは、患者をより容易に、かつ効率的に診断することができる。

【0011】

ほとんどのパラメータは、左心室の心内膜境界の輪郭を描くこと(セグメンテーション)を必要とし、少なくとも二腔像および四腔像を組み合わせて、駆出率などのパラメータを計算するためにさらに必要とされる心室容積を決定するためのシンプソンのバイプレーン法など、容積を形成する。

【0012】

左心室セグメンテーションから、駆出率(EF)およびグローバル長軸方向ストレイン(GLS)を含む適切なパラメータが導出される。追加または代替として、局所(地域(regional))ひずみ値が導出され得る。ビュー検出ネットワークは、どのビューが存在するかに関する決定とともに、信頼度測定を提供してもよい。この尺度は、任意の余分なビュー(すなわち、三腔心尖部およびSAX像)を排除するために、および/または同じタイプのビューの複数のセットからビューの1つのセットを選択するために使用され得る。

【0013】

第1のレスポンダは、収縮末期および拡張末期の画像を識別するために、第2のニューラルネットワークの出力に応答する手段であり得る。第2のレスポンダは、収縮末期および拡張末期の画像を識別するために、第2のニューラルネットワークの出力に応答する手段であり得る。

【0014】

本発明の第2の態様によれば、心臓の病態を診断する方法が提供され、方法は、
対象者から複数の心エコー画像を受信するステップと、
心臓のパラメータを導出するために、複数の心エコー画像を分析するために、第1の態様のシステムを使用するステップと、
心臓のパラメータを少なくとも1つの所定のしきい値パラメータと比較するステップと、
心臓のパラメータと少なくとも1つのしきい値パラメータとの間の差を検出するステップであり、差が、心臓の病態を示す、検出するステップと
を含む。

【0015】

本発明の第3の態様によれば、心臓の病態を治療する方法が提供され、方法は、
心臓のパラメータを導出するために、複数の心エコー画像を分析するために、第1の態様のシステムを使用して、対象者から複数の心エコー画像を受信するステップと、
心臓のパラメータを少なくとも1つの所定のしきい値パラメータと比較するステップと、
心臓のパラメータと少なくとも1つのしきい値パラメータとの間の差を検出するステップであり、前記差が、心臓の病態を示す、検出するステップと、
対象者に治療上有効な量の薬物を投与するステップであり、薬物が、心臓の病態の1つまたは複数の症状を緩和する、投与するステップと
を含む。

【0016】

本発明の方法およびシステムは、従来の心エコー検査デバイスに実装されてもよく、または心エコー検査データを受信するスタンドアロンシステムとして実装されてもよい。

【0017】

次に、以下の図面を参照しながら、本発明を例によって説明する。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態による、ニューラルネットワークの第1の構成を示すブロック概略図である。

【図2】直列に接続された6つの処理段階を含む本発明の第2の実施形態のブロック概略図である。

【図3】本発明の一実施形態を使用した左心室の輪郭を示す図である。

【図4】本発明の一実施形態によって識別される拡張末期および収縮末期フレームの選択プロセスを示す図である。

【図5】本発明の一実施形態によって識別される拡張末期および収縮末期フレームを示す図である。

【図6】本発明の一実施形態と、心臓画像データの従来の人間の処理との間の比較を示す図である。

【発明を実施するための形態】

【0019】

図1は、入力超音波画像102が第1の訓練されたニューラルネットワーク104に提供されるシステム100を示す。超音波画像を取得するための装置は、たとえば、WO2017/216545に示されており、周知の市販のシステムは、Philips, Siemens and General Electricを含む会社から入手可能である。この例では、実施形態への入力は、所与の対象者のDICOM画像検査による取得ビューの複数のインスタンスからなる複数の非造影心エコービデオクリップを含む。代替例では、実施形態への入力は、所与の対象者のDICOM画像検査による取得ビューの複数のインスタンスからなる複数の造影心エコービデオクリップを含む。当然、必要に応じて、他のイメージングフォーマットが使用されてもよい。

【0020】

2つの広いカテゴリのイメージングモダリティが心エコー検査の当業者に知られている。これらは、造影および非造影イメージングとして知られている。造影心エコー検査は、様々なイメージング手法を表し、そのすべては、音響的に活性であり、一定期間血管空間内に留まる造影剤の導入に依存する。本発明のいくつかの実施形態では、造影心エコー画像は、1つまたは複数の音響活性造影剤の導入中または導入後に取得された心エコー画像である。造影画像は、患者にマイクロバブルなどの造影剤を導入することによって取得され得る。造影剤は、一般に、造影剤を投与されていない対象者からキャプチャされた心エコー画像である非造影心エコー画像と比較して、心エコー画像における心室境界の検出を向上させる。非造影イメージングは、いかなる造影剤も存在しない場合の心エコー画像の収集を伴う。

【0021】

いくつかの実施形態では、本発明の任意の態様は、非造影心エコー画像を利用する。いくつかの他の実施形態では、本発明の任意の態様は、造影心エコー画像を利用する。いくつかの実施形態では、本発明の任意の態様は、造影心エコー画像と非造影心エコー画像の両方を利用する。本明細書に記載のシステムおよび方法、ならびにそれらの実施形態は、両方のイメージングモダリティに容易に適用される。

【0022】

第1のニューラルネットワーク104は、入力ビデオクリップが、システムの後続の段階に提供され、システムの後続の段階によって正しく処理できるように、どのビューに関連するかを決定するように構成される。

【0023】

好ましくは、第1のニューラルネットワークはまた、関連するビューの決定のための信頼性尺度、すなわち、ビューが実際に決定されたタイプのものである可能性の指示を提供する。

【0024】

この例では、二腔心尖部像および四腔心尖部像のみが必要である。したがって、三腔心尖部像またはSAX像など他のタイプのビューに関連する任意のビューは無視される。これは、2つの異なる方法で行われ得る。

【0025】

第1のニューラルネットワークは、任意の数の可能なビュー、たとえば、二腔心尖部像、三腔心尖部像、四腔心尖部像、および傍胸骨短軸(SAX)像を識別するように訓練され得る。その場合、二腔心尖部像および四腔心尖部像のみを後続の処理段階に渡すことは簡単である。

【0026】

代替的に、第1のニューラルネットワークは、二腔心尖部像および四腔心尖部像のみを、各々の信頼性尺度と一緒に識別するように訓練されてもよい。これは、たとえば、三腔心尖部像およびSAX像が、ニューラルネットワークによって二腔心尖部像または四腔心尖部像として(誤って)分類される可能性があることを意味する。しかしながら、これらの誤った分類に関連付けられた信頼性尺度は低いはずである。次いで、低い信頼性尺度を有するデータは無視され、これは、二腔心尖部データおよび四腔心尖部データのみが後続の処理段階に渡されることを意味する。

【0027】

したがって、二腔または四腔心尖部データ106が、各入力ビューの左心室の輪郭を描くように訓練された第2の畳み込みニューラルネットワーク112に提供される。データを第2のニューラルネットワークに提供するための他の方法は、当業者には明らかであろう。たとえば、画像データのすべてが第2のニューラルネットワークに提供されてもよいが、ニューラルネットワークは、ビュー検出ニューラルネットワーク104からの出力に応答して正しい画像を処理するためにのみ活性化される。第1のニューラルネットワーク104はまた、それが二腔像を検出したという指示108を提供し、それが四腔像を検出したという指示110を提供する。

【0028】

第2のネットワーク112は、それぞれの画像における左心室の心内膜境界の輪郭を決定する。図3は、心内膜境界の周りで追跡されるそのような輪郭の一例を示す。

【0029】

入力画像の各々について心内膜境界の輪郭が描かれると、二腔像114および四腔像116は、それぞれのサイクルおよびフレーム選択動作を行うことができる第1のレスポンダ118および120に提供される。言い換えれば、二腔像114および四腔像116は、それぞれのサイクルおよびフレーム選択手段118および120に提供される。第1のレスポンダは、画像データ内の収縮末期および拡張末期のフレームを決定するように構成される。一例では、画像データは、非造影画像データを含む。代替例では、画像データは、造影画像データを含む。次いで、完全に収縮したまたは完全に拡張した左心室に関連するフレームを知ることを使用して、対象者の心臓の駆出率(EF)およびグローバル長軸方向ストレイン(GLS)などの重要なパラメータを決定することができる。体積、主ひずみ、せん断ひずみ、地域ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のうちの任意の1つまたは複数などの他のパラメータも同じくまたは代替的に決定され得る。心臓は、ウシ、ウマ、ブタ、ネズミ、ネコ、イヌまたは霊長類であり得る。当業者は、心臓が、限定はしないが、家畜動物における心臓を含み得ることを理解する。当業者は、霊長類の心臓が、限定はしないが、人間の心臓を含み得ることをさらに理解する。

【0030】

二腔サイクルおよびフレーム選択のための第1のレスポンダ(すなわち、二腔サイクルおよびフレーム選択手段)118の第1の出力122、ならびに四腔サイクルおよびフレーム選択のための第1のレスポンダ(すなわち、四腔サイクルおよびフレーム選択手段)120の第2の出力124は、パラメータ計算を行うことができる第2のレスポンダ126に提供される。第2のレスポンダ126は、体積、駆出率、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、地域ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のいずれかから1つまたは複数のパラメータを計算する。言い換えれば、二腔サイクルおよびフレーム選択手段118からの出力122、ならびに四腔サイクルおよびフレーム選択手段120の出力124は、パラメータを計算するパラメータ計算手段126に提供される。たとえば、駆出率は、シンプソンのバイプレーン法などの体積推定値を使用して計算される。体積計算の他の方法も適用されてもよい。

【0031】

GLSでは、拡張末期(基線長)および収縮末期(短縮長)を使用して、以下のようにグローバル長軸方向ストレインを計算する。
グローバル長軸方向ストレイン(%)=((短縮長-基線長)/(基線長))×100

【0032】

GLSに加えて、地域ひずみパラメータが導出されてもよい。地域ひずみは、心尖点を中心とする2/4腔像の輪郭の左および右側(前壁と後壁)を3つのセグメントに分割し、合計で輪郭の6つのセグメントを作成することによって計算される。各セグメントの各時点での地域ひずみは、各輪郭セグメントの長さを取り、拡張末期におけるその輪郭セグメントの長さを引き、この差と拡張末期長さとの間の比率を取り、100を掛けてパーセンテージひずみを生成することによって計算される。これは形式的に次のように表される。

【0033】

【数1】

【0034】

式中、tは、t₀における拡張末期時間フレームに対する時間インデックスであり、l_iは、i番目の輪郭セグメントの長さである。

【0035】

時間の経過に伴う地域ひずみは、一般に、拡張末期の時点について、およそゼロの値で始まり、終わる曲線を生成する。次いで、これらは、誤差を考慮するために時間平滑化される。次いで、出力パラメータは、セグメントごとのひずみ曲線、セグメントごとのピークひずみ(すなわち、各曲線における最も負のひずみ値)、および「ピークまでの時間」と呼ばれる、開始拡張末期時点とピークひずみとの間の時間である。収縮末期ひずみ値はまた、識別された収縮末期および拡張末期のフレームから計算され得る。

【0036】

第1のレスポンダ118、120は、サイクルおよびフレーム選択手段であり得る。また、それは、ECGトレースなど他のデータを利用して、輪郭が描かれた画像データ内の収縮末期および拡張末期フレームを識別し得る。

【0037】

図1に示す2つのニューラルネットワークは、以下のように別々に訓練される。第1の(ビュー検出)ニューラルネットワークには、関連するビューが人間オペレータによって識別された訓練用超音波データが提供される。一例では、訓練用超音波データは、非造影超音波データを含む。代替例では、訓練用超音波データは、造影超音波データを含む。

【0038】

十分に大きい複数の対象者のDICOMデータセットから、いくつかの心尖部-四腔(A4C)、心尖部-三腔像(A3C)、心尖部-二腔(A2C)、および傍胸骨短軸僧帽弁(PSAX-MVまたはSAX)像が、各対象者のDICOM研究内に存在した。第1のニューラルネットワークは、入力として複数の心エコービデオクリップを受信するように構成されたマルチクラス畳み込みニューラルネットワーク(CNN)を含む。一例では、心エコービデオクリップは、非造影心エコービデオクリップを含む。代替例では、心エコービデオクリップは、造影心エコービデオクリップを含む。第1のニューラルネットワークは、画像が、心尖部-四腔(A4C)、心尖部-三腔(A3C)、心尖部-二腔(A2C)、および傍胸骨短軸僧帽弁(PSAX-MV)像であったかを決定するようにさらに構成される。一例では、これは、グレースケール画像入力を使用する複数の2D畳み込み層を使用することを含んだ。損失関数としてクロスエントロピーが使用された。表現されるビューごとの訓練データの不均一な分布に一致するように、クラス重み付け係数をデータに適用した。画像検査内のすべてのフレームに対して分類器モデルを使用した推論が実行されて、検査がどのビューであったかを評価し、分類器出力の合計がクラス投票戦略として使用された。心エコービデオクリップが非造影心エコービデオクリップから構成された一例における予備的検証のために、元のデータの10%から形成された見えない「ホールドアウト」データサブセットをビュー分類器に適用して、以下のTable 1(表1)に示されるビュー識別精度を生成した。縦軸上には真のラベルが配置され、横軸上には予測ラベル(ニューラルネットワークによる)が配置される。2C像と3C像との間には、わずかな誤分類があるだけであった。

【0039】

【表1】

【0040】

心エコービデオクリップが造影心エコービデオクリップから構成された一例における予備的検証のために、元のデータの10%から形成された見えない「ホールドアウト」データサブセットをビュー分類器に適用して、以下のTable 2(表2)に示されるビュー識別精度を生成した。Table 1(表1)と同様に、縦軸上には真のラベルが配置され、横軸上には予測ラベル(ニューラルネットワークによる)が配置される。2C像と3C像との間には、わずかな誤分類があるだけであった。

【0041】

【表2】

【0042】

心エコービデオクリップが非造影心エコービデオクリップから構成された一例では、ビュー分類器も独立した試験データセットを使用して試験され、結果はTable 3(表3)に示される通りであった。

【0043】

【表3】

【0044】

心エコービデオクリップが造影心エコービデオクリップから構成された一例では、ビュー分類器も独立した試験データセットを使用して試験され、結果はTable 4(表4)に示される通りであった。

【0045】

【表4】

【0046】

左心室(LV)セグメンテーションアルゴリズムは、A2CおよびA4C像をセグメント化するために、Python3.5とKeras(Chollet, Francois et. Al. 2015, https://keras.io)およびGoogle Tensorflow: A system for large-scale machine learning (Abadi, Martin et al., 2016 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16), page 265-283, https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf)バックエンドを使用して開発されたU-net畳み込みニューラルネットワーク(CNN)自動LVセグメンテーションフレームワークで構成された。一例では、非造影A2CおよびA4C像がセグメント化された。代替例では、造影A2CおよびA4C像がセグメント化された。画像を使用して、英国心エコー学会(BSE)認定心エコー検査士によって手動で最初に輪郭が描かれた(すなわち、LV心内膜境界トレースされた)U-net CNNを訓練した。一例では、非造影画像を使用してU-net CNNを訓練した。代替例では、造影画像を使用してU-net CNNを訓練した。画像は、それぞれ、A2C像およびA4C像のためのフレームを含んだ。CNNを訓練するために、両方のデータセットを、80%の訓練セットおよび20%の検証セットに分割した。生画像をフィルタリングし、正規化し、修正されたU-net CNNフレームワークに適用した。CNNは、時間を通して心内膜壁をスムーズに追跡することができた輪郭を生成する(図3)。ネットワークのセグメンテーション性能の有効性は、以下に示すように、出力輪郭(Y)と既知のグランドトゥルース輪郭(X)との交差の比率から計算されるソレンセンダイス係数(DC)を使用して評価された。
DC=2|X∩Y|/(|X|+|Y|)

【0047】

LV輪郭(セグメンテーション)は、このアルゴリズムの出力ならびにサイクルおよびフレーム選択段階の入力を表す。

【0048】

複数のLV輪郭が、先行するLVセグメンテーションアルゴリズムから導出された、サイクルおよびフレーム選択アルゴリズムに受信される。EFおよびGLSなどのパラメータを自動的に計算するために、生理学的測定を計算する前に、心周期ならびに拡張末期および収縮末期フレームを自動的に識別することが必要である。心拍数(DICOMタグとしてDICOMファイルで一般に利用可能)、フレームの数(DICOMタグとしてDICOMファイルで一般に利用可能)、検討中のビューについて1フレーム当たり1つの一連の輪郭の評価を含む画像クリップから、自動化された方法が確立された。この方法は、図4に要約されており、サイクルの分離、サイクルのフィルタリングおよび拡張末期(ED)および収縮末期(ES)フレームの抽出、ならびに収縮期サイクルのフィルタリングからなる。結果として得られる一連の輪郭は、単一の心周期からのものであってもよく、複数の心周期からのものであってもよい。第1のステップは、可能な場合、一連の輪郭を複数の心周期に分離することである。単純な公式を使用して完全な心周期の数を計算することが可能である。
numcycles=(timebetweenframes)×(heartrate)×(numframes)

【0049】

式中、「timebetweenframes」は、個々のフレーム間の時間である。ESフレームおよびEDフレームが識別されると、画像特徴は、解剖学的定量化アルゴリズムへの入力のためのこのアルゴリズムの出力として、ビューごとに生成された2つの輪郭から抽出される。

【0050】

一例では、訓練データのすべては、非造影心エコー図に基づいた。代替例では、訓練データのすべては、造影心エコー図に基づいた。

【0051】

図2は、主に各経路にクリップ選択アルゴリズムを含めることによって第1の実施形態とは異なる本発明の第2の実施形態を示す。図2は、6つの処理段階が入力ビューに適用される実施形態200を示す。複数の画像ファイル202が、図1を参照して前述したようにビュー検出を実行するように訓練された第1のニューラルネットワーク204に提供される。一例では、画像ファイルは、非造影画像から構成される。第2の例では、画像ファイルは、造影画像から構成される。第1のニューラルネットワーク204はまた、ビデオクリップが配置されたカテゴリが正しいという信頼度を示す信頼性尺度も提供し得る。この実施形態では、第1のニューラルネットワークは、二腔心尖部、三腔心尖部、四腔心尖部およびSAX像を使用して訓練されている。

【0052】

第1のネットワークの出力は、それぞれのビデオクリップ選択アルゴリズム210、212に提供される識別された二腔像206および識別された四腔像208を含む。一例では、ビデオクリップ選択アルゴリズムは、後続の処理段階に提供するために、ビューごとに最良の(可能な)複数の超音波ビデオを選択するように構成される。これは、信頼性尺度に基づいて行われ得る。代替例では、ビデオクリップ選択アルゴリズムは、後続の処理ステップに提供するために、ビューごとに複数の超音波ビデオのうちから、複数の超音波ビデオの適切なビデオを選択するように構成される。これは、心エコー画像の少なくとも1つの特性に基づいて行われ得る。少なくとも1つの特性は、信頼性尺度、利得、粒度、解像度、画像内の動きのレベル、視野、視野のサイズ、画像のサイズ、または所与のビュー内の腔の数のうちの少なくとも1つを含む。ビデオクリップ選択アルゴリズム210の出力214、216は、それぞれ、フレーム選択段階230および左心室(LV)セグメンテーションニューラルネットワーク224への入力に接続される。ビデオクリップ選択アルゴリズム212の出力218、220は、それぞれ、左心室(LV)セグメンテーションニューラルネットワーク224およびフレーム選択段階232への入力に接続される。このニューラルネットワークの出力226、228は、それぞれのサイクルおよびフレーム選択アルゴリズム230、232への入力として提供される。これらのアルゴリズムは、出力242、244を組合せアルゴリズム246に提供するそれぞれの解剖学的定量化アルゴリズム238、240への入力として、それらの出力234、236を提供する。組合せアルゴリズムは、出力パラメータ248を提供する。出力パラメータは、心室容積、駆出率、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、地域(局所)ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のうちの1つまたは複数であり得る。

【0053】

ニューラルネットワークの分離は、ネットワーク設計者が、後続のモデル訓練およびアプリケーションが、この例では、異なる心エコービュー、または前のステップで対処された任意の他の先行する交絡因子に関連付けられた変数を考慮したことを確信できることを意味する。

【0054】

図4は、EDおよびESフレームを識別するためのプロセスを以下のように示す。拡張末期および収縮末期の輪郭は、多くの可能性のある拡張末期および収縮末期の候補(上段の図)を考慮することによって、輪郭のセットから抽出される。このフィルタリングの後、最大の面積差を有する候補が選択される(図の最下段)。図5も参照されたい。

【0055】

このプロセスは、二腔心尖部像と四腔心尖部像の両方について繰り返される。

【0056】

サイクルおよびフレーム選択アルゴリズムから選択されたEDおよびESフレームを入力として取得して、体積、駆出率、またはグローバル長軸方向ストレインなどの生理学的パラメータが、説明したように計算され得る。追加または代替として、主ひずみ、せん断ひずみ、地域ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のうちの任意の1つまたは複数が計算され得る。

【0057】

駆出率およびグローバル長軸方向ストレインは、たとえば、心不全、冠動脈疾患、アミロイドーシス、および肥大型心筋症など対象者の心臓の異常を検出するのに有用な心エコー検査における周知のパラメータである。上記のシステムは、心臓異常を有する対象者の予後の指示を決定する方法において使用することができる。追加または代替として、上記のシステムは、心臓の病態を診断する方法において使用することができる。加えて、上記のシステムは、心臓の病態を治療する方法において使用することができる。対象者からの一連の心エコー画像は、パラメータを導出するために、上記で説明したシステムによって分析される。一例では、一連の心エコー画像は、一連の非造影画像を含む。代替例では、一連の心エコー画像は、一連の造影画像を含む。導出される心臓のパラメータは、当技術分野で知られている、体積、駆出率、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、地域ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のうちの1つまたは複数であり得る。一例では、1つまたは複数のパラメータがシステムによって導出されると、それらは参照データセットと比較される。この参照データセットは、しきい値パラメータを生成するために、以前にシステムによって分析された複数の参照造影心エコー画像を含むことができる。代替例では、1つまたは複数のパラメータがシステムによって導出されると、それらは、少なくとも1つの所定のしきい値パラメータと比較される。任意選択で、所定のしきい値パラメータは、しきい値パラメータを生成するためにシステムによって以前に分析された複数の参照非造影心エコー画像から導出される。任意選択で、代替例では、所定のしきい値パラメータは、しきい値パラメータを生成するために、以前にシステムによって分析された複数の参照造影心エコー画像から導出される。追加または代替として、一例では、少なくとも1つの所定のしきい値パラメータは、既知の医学的に定義されたパラメータから導出される。前に説明した例のいずれにおいても、所定のしきい値パラメータは、体積、駆出率、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、地域ひずみ、左心室質量、左心室面積、左心室長、矩形性、および固体性のうちの1つまたは複数であり得る。

【0058】

複数の参照心エコー画像は、心臓の病態を有さない対象者からのものであり得る。この例では、しきい値パラメータは、正常値を表し、この値からの偏差は、心臓の病態を示す。

【0059】

複数の参照心エコー画像は、心臓の既知の病態を有する対象者からのものであり得る。この例では、しきい値パラメータは、異常値を表し、システムが使用されている対象者のパラメータがしきい値の設定範囲内にある場合、これは、心臓の既知の病態を示す。

【0060】

複数の参照心エコー画像は、既知の病態を有する対象者、および既知の病態を有さない対象者からのものであり得る。所定のしきい値パラメータは、複数の参照心エコー画像から導出され得るので、所定のしきい値パラメータは、対象者における新たに診断された病態を反映するために、経時的に更新され得る。

【0061】

対象者について導出されたパラメータと、参照データセットから、または所定のしきい値パラメータから導出されたしきい値との間の比較は、医師によって実行され得、医師は、次いで、比較に基づいて、心臓の病態が対象者に存在するかどうか、および/または対象者の予後を決定する。代替的に、比較は、それ自体、その目的に適したシステムによって実行することができる。そのようなシステムは、WO2017/216545 A1に開示されている。心不全など心臓の病態の診断は、医師によって、システムによって、または2つの連携動作によって行うことができる。

【0062】

心臓の病態(たとえば、心不全)の診断が得られると、薬の処方および/または生活様式の変更など、改善のための処方が導出され得る。

【0063】

本発明はまた、対象者における心臓の病態を治療する方法も含み、方法は、上記のように対象者における心臓の病態の診断を得て、次いで、心臓の病態の症状を緩和するための治療有効量の薬物を対象者に投与することを含む。たとえば、上記のように心不全の診断を得ると、医師は、次いで、心不全のための適切な治療を施す。この治療は、アンギオテンシン変換酵素(ACE)阻害剤、アンギオテンシン受容体遮断薬、β遮断薬、ミネラルコルチコイド受容体拮抗薬、利尿薬、および心不全の治療のために一般的に使用される他の薬物のうちの1つまたは複数の投与を伴い得る。治療のための正確な選択および投与量は、対象者の臨床歴に依存するが、当業者には容易に明らかであろう。

【0064】

一例として、上記のようなシステムを使用して、医師は、患者の心臓の左心室の駆出率(EF)を導出し、それを、心臓の病態を有さない対象者の複数の参照心エコー画像から導出された参照データセットと比較する。駆出率は、参照データセットと比較してかなり減少し、心不全を示す。したがって、医師は、ラミプリル(ACE阻害剤)のコースを、1.25mg/日の初回投与量で投与し、これは、監視下で10mg/日に徐々に増加される。

【0065】

代替例として、上記のようなシステムを使用して、医師は、患者の心臓の左心室の駆出率(EF)を導出し、それを所定のしきい値パラメータと比較する。任意選択で、所定のしきい値パラメータは、心臓の病態を有さない対象者の複数の参照非造影心エコー画像から導出される。任意選択で、代替例では、所定のしきい値パラメータは、心臓の病態を有さない対象者の複数の参照造影心エコー画像から導出される。追加または代替として、一例では、少なくとも1つの所定のしきい値パラメータは、既知の医学的に定義されたパラメータから導出される。駆出率は、対応するしきい値パラメータと比較してかなり減少し、心不全を示す。したがって、医師は、ラミプリル(ACE阻害剤)のコースを、1.25mg/日の初回投与量で投与し、これは、監視下で10mg/日に徐々に増加される。

【0066】

連続的な一連のAIアルゴリズムを画像処理問題に適用することは、従来の心エコー定量化用途に存在する画像定量化における不十分な再現性の問題を克服する。これは、効率の向上(より少ない処理失敗)、および結果の向上(この場合、患者の利益)をもたらす。

【0067】

この例示のために、記載された実施形態の正確さおよび精度は、ルーチンの画像処理方法(すなわち、手動LVセグメンテーションおよび生理学的パラメータ計算による手動ビュー、サイクルおよびフレーム選択)を実行する従来の人間オペレータに対して評価された。様々な角度(ビュー)から心臓を視覚化する一連のDigital Imaging and COmmunications in Medicine(DICOM)フォーマットビデオからなるデータが収集された。照合されたデータセットから、上記で説明した手法を適用して、心尖部-四腔(A4C)および心尖部-二腔(A2C)ビデオを使用して、例示的な生理学的尺度(駆出率(EF)およびグローバル長軸方向ストレイン(GLS))を定量化した。加えて、同じ上記データを、資格のある心エコー検査者(オペレータ)による左心室(LV)定量化のために処理した。複数の異なるオペレータによって複数回処理されたデータを使用して、反復性(繰り返しを通して同じ画像検査を処理するオペレータによって提供される測定の差として定義される)を比較する。本研究から、自律的逐次AI画像処理がLV機能の2つの重要な評価者であるEFおよびGLSの変動性を劇的に減少させることを実証する(図6)。これは、心内膜境界の輪郭を描くときに完全自動化に依存することによって達成される。

【0068】

「ニューラルネットワーク」という用語は、本明細書では、データのセット上で訓練されるネットワークを示すために使用される。特定のネットワークの一部分がネットワークの残りから独立して訓練される場合、ネットワークのその部分は、「ニューラルネットワーク」と見なされ、全体的な特定のネットワークは、2つ(またはそれ以上)の「ニューラルネットワーク」を含むことになる。

【符号の説明】

【0069】

100 システム
102 入力超音波画像
104 第1の訓練されたニューラルネットワーク
106 心尖部データ
108 指示
110 指示
112 第2の畳み込みニューラルネットワーク
114 二腔像
116 四腔像
118 第1のレスポンダ
118 フレーム選択手段
120 第1のレスポンダ
120 フレーム選択手段
122 第1の出力
124 第2の出力
126 第2のレスポンダ
126 パラメータ計算手段
200 実施形態
202 画像ファイル
204 第1のニューラルネットワーク
206 二腔像
208 四腔像
210 ビデオクリップ選択アルゴリズム
212 ビデオクリップ選択アルゴリズム
214 出力
216 出力
218 出力
220 出力
224 左心室(LV)セグメンテーションニューラルネットワーク
226 出力
228 出力
230 フレーム選択段階、フレーム選択アルゴリズム
232 フレーム選択段階、フレーム選択アルゴリズム
234 出力
236 出力
238 解剖学的定量化アルゴリズム
240 解剖学的定量化アルゴリズム
242 出力
244 出力
246 組合せアルゴリズム
248 出力パラメータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2022-11-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

人間の心臓のパラメータを提供するためのシステム(100;200)であって、
複数の心エコー画像(102;202)を受信することと、
前記複数の心エコー画像(102;202)において、二腔像または四腔像(106;206、208)のうちの少なくとも1つを識別することと
を行うように構成された第1の訓練されたニューラルネットワーク(104;204)と、
所与のビューの信頼性尺度を決定することであり、前記信頼性尺度が、前記識別されたビューが正しいという信頼度を示す、決定することと、
所定のしきい値を超える前記信頼性尺度に基づいて、前記所与のビューの画像のサブセットを選択することと、
画像の前記サブセットに基づいて、第1の出力(214、216)を生成することと
を行うように構成された第3のレスポンダ(210、212)と、
前記第1の出力(214、216)を受信することと、
前記所与のビューについて左心室の心内膜境界を識別することによって、前記第1の出力(214、216)の輪郭を描くことと、
前記輪郭が描かれた第1の出力に基づいて、第2の出力(226、228)を生成することと
を行うように構成された第2の訓練されたニューラルネットワーク(112;224)と、
前記第2の出力(226、228)を受信することと、
前記第2の出力(226、228)に基づいて、収縮末期および拡張末期の画像を識別することと、
前記収縮末期および拡張末期の画像に基づいて、第3の出力(234、236)を生成することと を行うように構成された第1のレスポンダ(118、120;230、232)と、
前記第3の出力(234、236)を受信することと、
前記第3の出力(234、236)に基づいて、前記心臓の少なくとも1つの第1のパラメータ(248)を導出することであり、前記少なくとも1つの第1のパラメータ(248)が、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、または地域ひずみである、導出することと
を行うように構成された第2のレスポンダ(126、238;240、246)と
を含むシステム(100;200)。

【請求項2】

前記第1のレスポンダが、
1つまたは複数の心周期を識別することであり、前記第3の出力が、前記識別された1つまたは複数の心周期にさらに基づく、識別すること
を行うようにさらに構成されている、請求項1に記載のシステム。

【請求項3】

前記第2のレスポンダ(126;246)が、前記左心室の二腔および四腔の心内膜境界を組み合わせて、体積ベースのパラメータを導出するように構成されている、請求項1または請求項2に記載のシステム。

【請求項4】

前記第2のレスポンダが、
前記収縮末期および拡張末期の画像に基づいて、前記心臓の1つの第1のパラメータを導出することであり、前記1つの第1のパラメータが、グローバル長軸方向ストレイン、主ひずみ、せん断ひずみ、または地域ひずみである、導出することと、
前記収縮末期および拡張末期の画像に基づいて、前記心臓の第2のパラメータを導出することであり、前記心臓の前記第2のパラメータが、駆出率である、導出することと
を行うようにさらに構成されている、請求項1から3のいずれか一項に記載のシステム。

【請求項5】

前記地域ひずみパラメータが6つの領域を含む、請求項1に記載のシステム。

【請求項6】

前記複数の心エコー画像が、複数の非造影画像を含む、請求項1から5のいずれか一項に記載のシステム。

【請求項7】

前記複数の心エコー画像が、複数の造影心エコー画像を含む、請求項1から5のいずれか一項に記載のシステム。

【請求項8】

前記ニューラルネットワークが、非造影データで訓練される、請求項1から6のいずれか一項に記載のシステムを訓練する方法。

【請求項9】

前記ニューラルネットワークが、造影データで訓練される、請求項1から5または請求項7のいずれか一項に記載のシステムを訓練する方法。

【請求項10】

心臓の病態を診断する方法であって、
対象者から複数の心エコー画像を受信するステップと、
前記心臓のパラメータを導出するために、前記複数の心エコー画像を分析するために、請求項1から7のいずれか一項に記載の前記システムを使用するステップと、
前記心臓の前記パラメータを少なくとも1つの所定のしきい値パラメータと比較するステップと、
前記心臓の前記パラメータと前記少なくとも1つの所定のしきい値パラメータとの間の差を検出するステップであり、前記差が、前記心臓の病態を示す、検出するステップと
を含む方法。

【請求項11】

心臓の病態を治療する方法であって、
前記心臓のパラメータを導出するために、複数の心エコー画像を分析するために、請求項1から7のいずれか一項に記載の前記システムを使用して、対象者から前記複数の心エコー画像を受信するステップと、
前記パラメータを少なくとも1つのしきい値パラメータと比較するステップと、
前記心臓の前記パラメータと前記少なくとも1つの所定のしきい値パラメータとの間の差を検出するステップであり、前記差が、前記心臓の病態を示す、検出するステップと、
前記対象者に治療上有効な量の薬物を投与するステップであり、前記薬物が、前記心臓の前記病態の1つまたは複数の症状を緩和する、投与するステップと
を含む方法。

【国際調査報告】