ホーム > 特許ランキング > ゲイシンガー クリニック
特表2023-502983心臓のビデオを使用して患者のエンドポイントの予測を強化するためのディープニューラルネットワークのためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-26
(54)【発明の名称】心臓のビデオを使用して患者のエンドポイントの予測を強化するためのディープニューラルネットワークのためのシステムおよび方法
(51)【国際特許分類】
A61B 8/08 20060101AFI20230119BHJP
【ＦＩ】
A61B8/08
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022528557
(86)(22)【出願日】2020-11-16
(85)【翻訳文提出日】2022-07-01
(86)【国際出願番号】 US2020060800
(87)【国際公開番号】W WO2021097460
(87)【国際公開日】2021-05-20
(31)【優先権主張番号】62/936,377
(32)【優先日】2019-11-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】508246526
【氏名又は名称】ゲイシンガー クリニック
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ブランドン・ケー・フォーンウォルト
(72)【発明者】
【氏名】クリストファー・ハガティ
(72)【発明者】
【氏名】アルバロ・ウジョア・セルナ
(72)【発明者】
【氏名】クリストファー・グッド
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601BB03
4C601DD07
4C601DD15
4C601DD27
4C601EE09
4C601JB34
4C601JC06
4C601KK33
4C601KK49
4C601LL14
(57)【要約】
患者に関する臨床エンドポイントの予測リスクレベルを決定するための方法が、本開示によって提供される。方法は、心臓のビデオフレームを受信するステップであって、前記ビデオフレームが患者に関連付けられている、ステップと、患者に関連するいくつかの変数を含む電子健康記録データを受信するステップと、ビデオフレームと電子健康記録データとをトレーニング済みのニューラルネットワークに提供するステップと、トレーニング済みのニューラルネットワークからリスクスコアを受信するステップと、リスクスコアに基づくレポートをディスプレイまたはメモリのうちの少なくとも1つに出力するステップとを含む。
【特許請求の範囲】
【請求項1】
患者に関連する心臓の心エコービデオを受信するステップと、前記心エコービデオをトレーニング済みのニューラルネットワークに提供するステップであって、前記トレーニング済みのニューラルネットワークが、入力心エコービデオに基づいて死亡率リスクスコアを生成するようにトレーニングされている、ステップと、
前記トレーニング済みのニューラルネットワークから前記患者に関連する死亡率リスクスコアを受信するステップと、
医師またはヘルスケア管理者によって閲覧するために、前記患者に関連する前記死亡率リスクスコアをメモリまたはディスプレイの少なくとも1つに出力するステップと
を含む方法。
【請求項2】
前記患者に関連する前記死亡率リスクスコアが、前記心エコービデオが生成されたときからの所定の期間内に前記患者が死亡する尤度を示す、請求項1に記載の方法。
【請求項3】
前記患者に関連する前記死亡率リスクスコアが、前記患者が前記所定の期間内に全死因によって死亡する尤度を示す、請求項2に記載の方法。
【請求項4】
前記トレーニング済みのニューラルネットワークが、複数のビデオを含むトレーニングデータセットに基づいてトレーニングされ、前記複数のビデオの各ビデオが、いくつかの心エコービューの中から選択された心エコービューに関連付けられ、前記トレーニングデータセットの少なくとも一部が、cMERGEに従って明確な心不全に関連付けられる、請求項1に記載の方法。
【請求項5】
前記いくつかの心エコービューが、少なくとも1つの心エコービューを含む、請求項4に記載の方法。
【請求項6】
前記いくつかの心エコービューが、心尖部二腔ビュー、心尖部三腔ビュー、心尖部四腔ビュー、右心室に焦点を合わせた心尖部四腔ビュー、心尖部五腔ビュー、傍胸骨長軸ビュー、傍胸骨長下行大動脈ビュー、傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、傍胸骨長右心室流入ビュー、傍胸骨長ズーム大動脈弁ビュー、傍胸骨短大動脈弁ビュー、傍胸骨短肺動脈弁および肺動脈ビュー、傍胸骨短三尖弁ビュー、短軸心尖ビュー、短軸ベースビュー、短軸中央乳頭ビュー、肋骨下四腔ビュー、肋骨下肝静脈ビュー、肋骨下心房中隔ビュー、肋骨下下大静脈ビュー、肋骨下右心室ビュー、胸骨上窩ビュー、短軸中央乳頭ビュー、短軸心尖ビュー、心尖部三腔ズームビュー、心尖部二腔ズームビュー、または短軸ベースビューのうちの少なくとも1つを含む、請求項4に記載の方法。
【請求項7】
前記トレーニングデータセットが、複数の生存転帰をさらに含み、前記複数のビデオの各ビデオが、前記複数の生存転帰内に含まれる生存転帰に関連付けられている、請求項4に記載の方法。
【請求項8】
前記トレーニングデータセットが、電子健康記録データセットをさらに含み、前記複数のビデオの各ビデオが、前記電子健康記録データセットの一部に関連付けられている、請求項4に記載の方法。
【請求項9】
前記電子健康記録データセットが、何人かの患者に関連付けられ、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含む、請求項8に記載の方法。
【請求項10】
前記電子健康記録データセットが、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含む、請求項8に記載の方法。
【請求項11】
前記人口統計パラメータが、年齢と、性別と、喫煙状況とを含む、請求項10に記載の方法。
【請求項12】
前記バイタルパラメータが、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含む、請求項10に記載の方法。
【請求項13】
前記検査室測定パラメータが、低比重リポ蛋白レベルと、高比重リポ蛋白レベルとを含む、請求項10に記載の方法。
【請求項14】
前記心エコー図ベースのパラメータが、内科医が報告した左心室駆出分画、
大動脈弁閉鎖不全減速勾配、
大動脈弁閉鎖不全最大速度、
大動脈弁より遠位の流れの速度-時間積分、
大動脈弁より遠位の流れの最大速度、
大動脈弁より遠位の流れの平均速度、
大動脈基部の直径、
上行大動脈の直径、
左心室拡張終末期容積:心尖部二腔;修正楕円体、
左心室拡張終末期容積:心尖部四腔;修正楕円体、
左心室拡張終末期容積:心尖部二腔;単一平面、
左心室拡張終末期容積:心尖部四腔;単一平面、
左心室収縮終末期容積:心尖部二腔;修正楕円体、
左心室収縮終末期容積:心尖部四腔;修正楕円体、
左心室収縮終末期容積:心尖部二腔;単一平面、
左心室収縮終末期容積:心尖部四腔;単一平面、
拡張終末期における左心室中隔径、
左心房径、
心尖部二腔に由来する左心房容積;修正楕円体、
心尖部四腔に由来する左心房容積;修正楕円体、
閉塞に近位の速度-時間積分、
閉塞に近位の最大左心室速度、
閉塞に近位の平均左心室速度、
心尖部二腔に由来する拡張終末期における左心室面積、
心尖部四腔に由来する拡張終末期における左心室面積、
心尖部二腔に由来する収縮終末期における左心室面積、
心尖部四腔に由来する収縮終末期における左心室面積、
拡張終末期における左心室内法、
収縮終末期における左心室内法、
心尖部二腔に由来する拡張終末期における左心室長軸長、
心尖部四腔に由来する拡張終末期における左心室長軸長、
心尖部二腔に由来する収縮終末期における左心室長軸長、
心尖部四腔に由来する収縮終末期における左心室長軸長、
左心室流出路面積、
左心室流出路直径、
拡張終末期における左心室後壁厚、
僧帽弁逆流最大速度、
僧帽弁血流のa点最大速度、
僧帽弁血流のe点最大速度、
僧帽弁血流の最大速度、
僧帽弁減速勾配、
僧帽弁減速時間、
肺動脈弁より遠位の流れの最大速度、
肺動脈加速勾配、
肺動脈加速時間、
肺のr-r時間間隔、
右心房収縮終末期平均圧、
拡張終末期における右心室径、
三尖弁逆流最大速度、
大動脈弁逆流、
僧帽弁逆流、
三尖弁逆流、
肺動脈弁逆流、
大動脈弁狭窄、
僧帽弁狭窄、
三尖弁狭窄、
肺動脈狭窄、および
内科医が報告した拡張機能
を含む、請求項10に記載の方法。
【請求項15】
前記診断パラメータが、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに慢性腎臓病の診断を含む、請求項10に記載の方法。
【請求項16】
前記患者に関連する電子健康記録情報を受信するステップと、前記電子健康記録情報を前記トレーニング済みのニューラルネットワークに提供するステップであって、前記トレーニング済みのニューラルネットワークが、入力電子健康記録情報に基づいて前記死亡率リスクスコアを生成するようにさらにトレーニングされている、ステップと
をさらに含む、請求項1に記載の方法。
【請求項17】
前記電子健康記録情報が、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含み、前記値が、前記患者に関連付けられている、請求項16に記載の方法。
【請求項18】
前記電子健康記録情報が、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含む、請求項16に記載の方法。
【請求項19】
前記人口統計パラメータが、年齢と、性別と、喫煙状況とを含む、請求項18に記載の方法。
【請求項20】
前記バイタルパラメータが、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含む、請求項18に記載の方法。
【請求項21】
前記検査室測定パラメータが、低比重リポ蛋白レベルと、高比重リポ蛋白レベルとを含む、請求項18に記載の方法。
【請求項22】
前記心エコー図ベースのパラメータが、内科医が報告した左心室駆出分画、大動脈弁閉鎖不全減速勾配、大動脈弁閉鎖不全最大速度、大動脈弁より遠位の流れの速度-時間積分、大動脈弁より遠位の流れの最大速度、大動脈弁より遠位の流れの平均速度、大動脈基部の直径、上行大動脈の直径、左心室拡張終末期容積:心尖部二腔;修正楕円体、左心室拡張終末期容積:心尖部四腔;修正楕円体、左心室拡張終末期容積:心尖部二腔;単一平面、左心室拡張終末期容積:心尖部四腔;単一平面、左心室収縮終末期容積:心尖部二腔;修正楕円体、左心室収縮終末期容積:心尖部四腔;修正楕円体、左心室収縮終末期容積:心尖部二腔;単一平面、左心室収縮終末期容積:心尖部四腔;単一平面、拡張終末期における左心室中隔径、左心房径、心尖部二腔に由来する左心房容積;修正楕円体、心尖部四腔に由来する左心房容積;修正楕円体、閉塞に近位の速度-時間積分、閉塞に近位の最大左心室速度、閉塞に近位の平均左心室速度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および内科医が報告した拡張機能を含む、請求項18に記載の方法。
【請求項23】
前記診断パラメータが、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに慢性腎臓病の診断を含む、請求項18に記載の方法。
【請求項24】
前記患者に関連する前記心臓の前記心エコービデオが、単一の心エコービューに関連付けられている、請求項1に記載の方法。
【請求項25】
前記単一の心エコービューが、傍胸骨長軸ビューである、請求項24に記載の方法。
【請求項26】
前記死亡率リスクスコアに基づいてレポートを生成するステップであって、前記レポートが、前記患者に対する潜在的な治療に関する情報、または前記患者に対する前記潜在的な治療に関する情報へのリンクのうちの少なくとも1つを含み、
前記患者に対する前記潜在的な治療が、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、またはホスピスのうちの少なくとも1つを含む、
ステップをさらに含む、請求項1に記載の方法。
【請求項27】
前記患者に関連する前記死亡率リスクスコアが、前記医師またはヘルスケア管理者が前記患者に対する潜在的な治療についての決定を行うのに十分な情報を前記医師またはヘルスケア管理者に提供することができ、前記潜在的な治療が、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、またはホスピスのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項28】
前記決定が、前記治療に関する適格性である、請求項27に記載の方法。
【請求項29】
命令を含む少なくとも1つのメモリに結合された少なくとも1つのプロセッサを備えるシステムであって、前記少なくとも1つのプロセッサが、患者に関連する心臓の心エコービデオを受信し、
前記心エコービデオを、トレーニング済みのニューラルネットワークであって、前記トレーニング済みのニューラルネットワークが入力心エコービデオに基づいて死亡率リスクスコアを生成するようにトレーニングされている、トレーニング済みのニューラルネットワークに提供し、
前記トレーニング済みのニューラルネットワークから前記患者に関連する死亡率リスクスコアを受信し、
前記患者に関連する前記死亡率リスクスコアを、医師またはヘルスケア管理者によって閲覧するために、メモリまたはディスプレイのうちの少なくとも1つに出力する
ために前記命令を実行する、
システム。
【請求項30】
前記少なくとも1つのプロセッサが、前記患者に関連する電子健康記録情報を受信し、
前記電子健康記録情報を前記トレーニング済みのニューラルネットワークに提供するために前記命令をさらに実行し、前記トレーニング済みのニューラルネットワークが、入力電子健康記録情報に基づいて前記死亡率リスクスコアを生成するようにさらにトレーニングされており、
前記電子健康記録情報が、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含む、
請求項29に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年11月5日に出願した、米国仮出願第62/936,377号の優先権の利益を主張するものである。
本出願は、2019年11月5日に出願した、米国仮出願第62/936,377号の優先権の利益を主張するものである。
【背景技術】
【0002】
本発明は、心臓の解剖学的構造の分析のためのシステムおよび方法に関する。イメージングは、ほとんどの最新の医療専門分野における治療決定に不可欠であり、電子健康記録(EHR(electronic health record))の最もデータ量が多い構成要素の1つになっている。たとえば、心臓の単一の定期超音波検査(心エコー図)中、心臓の解剖学的構造および機能を評価するために、約10～50のビデオ(約3000の画像)が取得される。臨床診療において、心臓専門医は、臨床検査値、バイタルサイン、追加の画像検査(X線撮影、磁気共鳴画像法、核画像法、コンピュータ断層撮影法)、および他の診断(たとえば、心電図)などの多数の他のデータの流れの文脈の中で、これら3000の画像を解釈するために、現実的には10～20分を有する。これらの多数のデータソースは、より精密で正確な臨床予測の可能性を提供するが、人間は、意思決定におけるデータ統合の能力に限界がある。したがって、この多量のデータを管理し、最終的に内科医にインテリジェントなコンピュータ支援を提供するために、人工知能および機械学習などの技術を活用する必要性と実質的な機会の両方が存在する。
【0003】
したがって、必要とされるのは、心臓の解剖学的構造および機能を評価する際に内科医を支援し、将来の臨床事象について正確な予測を提供するために、心臓のビデオ、たとえば、心エコー検査、心臓磁気共鳴画像法(MRI)、または心臓コンピュータ断層撮影(CT)中に取得されたものを効率的かつ正確に分析するためのシステムである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、予後支援を提供することによって、心臓の解剖学的構造および機能を評価する際に内科医を支援するために、心臓のビデオを効率的かつ正確に分析するためのシステムおよび方法を含む。より具体的には、本開示は、心エコー検査ビデオならびに電子健康記録(EHR)を受信し、患者の予測される死亡率に関連する死亡率リスクスコアまたはレベルを出力することができるニューラルネットワークを提供する。
【課題を解決するための手段】
【0005】
本開示のいくつかの実施形態は、患者に関連する心臓の心エコービデオを受信するステップと、心エコービデオをトレーニング済みのニューラルネットワークに提供するステップであって、トレーニング済みのニューラルネットワークが、入力心エコービデオに基づいて死亡率リスクスコアを生成するようにトレーニングされている、ステップと、トレーニング済みのニューラルネットワークから患者に関連する死亡率リスクスコアを受信するステップと、医師またはヘルスケア管理者によって閲覧するために、患者に関連する死亡率リスクスコアをメモリまたはディスプレイの少なくとも1つに出力するステップとを含む方法を提供する。
【0006】
方法において、患者に関連する死亡率リスクスコアは、心エコービデオが生成されたときからの所定の期間内に患者が死亡する尤度を示すことができる。患者に関連する死亡率リスクスコアは、患者が所定の期間内に全死因によって死亡する尤度を示すことができる。
【0007】
方法において、トレーニング済みのニューラルネットワークは、複数のビデオを含むトレーニングデータセットに基づいてトレーニングされ得、複数のビデオの各ビデオは、いくつかの心エコービューの中から選択された心エコービューに関連付けられ、トレーニングデータセットの少なくとも一部は、cMERGEに従って明確な心不全に関連付けられる。いくつかの心エコービューは、少なくとも1つの心エコービューを含むことができる。いくつかの心エコービューは、心尖部二腔ビュー、心尖部三腔ビュー、心尖部四腔ビュー、右心室に焦点を合わせた心尖部四腔ビュー、心尖部五腔ビュー、傍胸骨長軸ビュー、傍胸骨長下行大動脈ビュー、傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、傍胸骨長右心室流入ビュー、傍胸骨長ズーム大動脈弁ビュー、傍胸骨短大動脈弁ビュー、傍胸骨短肺動脈弁および肺動脈ビュー、傍胸骨短三尖弁ビュー、短軸心尖ビュー、短軸ベースビュー、短軸中央乳頭ビュー、肋骨下四腔ビュー、肋骨下肝静脈ビュー、肋骨下心房中隔ビュー、肋骨下下大静脈ビュー、肋骨下右心室ビュー、胸骨上窩ビュー、短軸中央乳頭ビュー、短軸心尖ビュー、心尖部三腔ズームビュー、心尖部二腔ズームビュー、または短軸ベースビューのうちの少なくとも1つを含むことができる。トレーニングデータセットは、複数の生存転帰をさらに含むことができ、複数のビデオの各ビデオは、複数の生存転帰内に含まれる生存転帰に関連付けられている。トレーニングデータセットは、電子健康記録データセットをさらに含むことができ、複数のビデオの各ビデオは、電子健康記録データセットの一部に関連付けられ得る。電子健康記録データセットは、何人かの患者に関連付けられ得、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含むことができる。電子健康記録データセットは、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含むことができる。人口統計パラメータは、年齢と、性別と、喫煙状況とを含むことができる。バイタルパラメータは、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含むことができる。検査室測定パラメータは、低比重リポ蛋白レベルと、高比重リポ蛋白レベルとを含むことができる。心エコー図ベースのパラメータは、内科医が報告した左心室駆出分画、大動脈弁閉鎖不全減速勾配、大動脈弁閉鎖不全最大速度、大動脈弁より遠位の流れの速度-時間積分、大動脈弁より遠位の流れの最大速度、大動脈弁より遠位の流れの平均速度、大動脈基部の直径、上行大動脈の直径、左心室拡張終末期容積:心尖部二腔;修正楕円体、左心室拡張終末期容積:心尖部四腔;修正楕円体、左心室拡張終末期容積:心尖部二腔;単一平面、左心室拡張終末期容積:心尖部四腔;単一平面、左心室収縮終末期容積:心尖部二腔;修正楕円体、左心室収縮終末期容積:心尖部四腔;修正楕円体、左心室収縮終末期容積:心尖部二腔;単一平面、左心室収縮終末期容積:心尖部四腔;単一平面、拡張終末期における左心室中隔径、左心房径、心尖部二腔に由来する左心房容積;修正楕円体、心尖部四腔に由来する左心房容積;修正楕円体、閉塞に近位の速度-時間積分、閉塞に近位の最大左心室速度、閉塞に近位の平均左心室速度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および内科医が報告した拡張機能を含むことができる。診断パラメータは、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに慢性腎臓病の診断を含むことができる。
【0008】
方法は、患者に関連する電子健康記録情報を受信するステップと、電子健康記録情報をトレーニング済みのニューラルネットワークに提供するステップであって、トレーニング済みのニューラルネットワークが、入力電子健康記録情報に基づいて死亡率リスクスコアを生成するようにさらにトレーニングされている、ステップとをさらに含むことができる。電子健康記録情報は、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含み、値は、患者に関連付けられている。電子健康記録情報は、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含むことができる。人口統計パラメータは、年齢と、性別と、喫煙状況とを含むことができる。バイタルパラメータは、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含むことができる。検査室測定パラメータは、低比重リポ蛋白レベルと、高比重リポ蛋白レベルとを含むことができる。心エコー図ベースのパラメータは、内科医が報告した左心室駆出分画、大動脈弁閉鎖不全減速勾配、大動脈弁閉鎖不全最大速度、大動脈弁より遠位の流れの速度-時間積分、大動脈弁より遠位の流れの最大速度、大動脈弁より遠位の流れの平均速度、大動脈基部の直径、上行大動脈の直径、左心室拡張終末期容積:心尖部二腔;修正楕円体、左心室拡張終末期容積:心尖部四腔;修正楕円体、左心室拡張終末期容積:心尖部二腔;単一平面、左心室拡張終末期容積:心尖部四腔;単一平面、左心室収縮終末期容積:心尖部二腔;修正楕円体、左心室収縮終末期容積:心尖部四腔;修正楕円体、左心室収縮終末期容積:心尖部二腔;単一平面、左心室収縮終末期容積:心尖部四腔;単一平面、拡張終末期における左心室中隔径、左心房径、心尖部二腔に由来する左心房容積;修正楕円体、心尖部四腔に由来する左心房容積;修正楕円体、閉塞に近位の速度-時間積分、閉塞に近位の最大左心室速度、閉塞に近位の平均左心室速度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および内科医が報告した拡張機能を含むことができる。診断パラメータは、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに慢性腎臓病の診断を含むことができる。
【0009】
方法において、患者に関連する心臓の心エコービデオは、単一の心エコービューに関連付けられ得る。単一の心エコービューは、傍胸骨長軸ビューであり得る。
【0010】
方法は、死亡率リスクスコアに基づいてレポートを生成するステップであって、レポートが、患者に対する潜在的な治療に関する情報、または患者に対する潜在的な治療に関する情報へのリンクのうちの少なくとも1つを含み、患者に対する潜在的な治療が、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、またはホスピスのうちの少なくとも1つを含む、ステップをさらに含むことができる。
【0011】
方法において、患者に関連する死亡率リスクスコアは、医師またはヘルスケア管理者が患者に対する潜在的な治療についての決定を行うのに十分な情報を医師またはヘルスケア管理者に提供することができ、潜在的な治療は、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、またはホスピスのうちの少なくとも1つを含む。決定は、治療に関する適格性であり得る。
【0012】
本開示のいくつかの実施形態は、システムを提供する。システムは、命令を含む少なくとも1つのメモリに結合された少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、患者に関連する心臓の心エコービデオを受信し、心エコービデオを、トレーニング済みのニューラルネットワークであって、トレーニング済みのニューラルネットワークが入力心エコービデオに基づいて死亡率リスクスコアを生成するようにトレーニングされている、トレーニング済みのニューラルネットワークに提供し、トレーニング済みのニューラルネットワークから患者に関連する死亡率リスクスコアを受信し、患者に関連する死亡率リスクスコアを、医師またはヘルスケア管理者によって閲覧するために、メモリまたはディスプレイのうちの少なくとも1つに出力するために命令を実行する。
【0013】
システムにおいて、少なくとも1つのプロセッサは、患者に関連する電子健康記録情報を受信し、電子健康記録情報をトレーニング済みのニューラルネットワークに提供するために命令をさらに実行することができ、トレーニング済みのニューラルネットワークは、入力電子健康記録情報に基づいて死亡率リスクスコアを生成するようにさらにトレーニングされており、電子健康記録情報は、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含む。
【0014】
前述の目的および関連する目的の達成のために、本発明は、以下に完全に説明される特徴を含む。以下の説明および添付図面は、本発明のいくつかの例示的な態様を詳細に説明する。しかしながら、これらの態様は、本発明の原理が用いられ得る様々な方法のほんの一部を示しているだけである。本発明の他の態様、利点、および新規な特徴は、図面と併せて考慮すると、本発明の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0015】
【図1】心エコービデオおよび電子健康記録(EHR)データからの死亡率予測のためのニューラルネットワークアーキテクチャの図である。
【図2】心エコービューのみについての1年間の死亡率予測パフォーマンスランキングの図である。
【図3】4つの異なるニューラルネットワークアーキテクチャを用いたすべてのビューにわたる1年間の死亡率予測の曲線下面積(AUC(areas under the curve))として定量化されたモデルパフォーマンスのグラフである。
【図4】ネイティブ(×1)から4フォールド(×4)までの様々なレベルの低減された解像度を用いたすべてのビューにわたる1年間の死亡率予測のAUCのグラフである。
【図5】すべてのビューについての3、6、9、および12ヶ月における心エコービデオのみについての死亡率予測パフォーマンスのグラフである。
【図6A】機械と比較した2人の心臓専門医についての正解率のグラフである。
【図6B】予測パフォーマンスを実証する2人の心臓専門医および機械についての受信者動作特性曲線の図である。
【図7】完全な(158)EHR変数モデルについての、完全なEHR変数プラスビデオモデルと比較した学習曲線のグラフである。
【図8A】例示的な生のビデオの図である。
【図8B】例示的な注釈付きビデオの図である。
【図9】3、6、9、および12ヶ月の追跡調査を必要とした実験についての患者数のプロットである。
【図10】生のビデオのみを使用した場合(青色)、およびオプティカルフロー特徴とともに生のビデオを使用した場合(灰色)のすべての心エコービューについての1年間の死亡率予測パフォーマンスのグラフである。
【図11】心臓専門医が心エコー検査の1年後の生存を予測するために開発されたウェブアプリケーションのインターフェースの図である。
【図12】心エコー検査データならびにEHRデータに基づいて所定の期間(すなわち、1年間)の間の患者における全死因死亡率を予測するための例示的なプロセスの図である。
【図13】前述の開示を実装するための例示的なシステムの図である。
【図14】第1の調査のための例示的なインターフェースの図である。
【図15】ペア調査のためのインターフェースの図である。
【図16】第3の調査のモデル支援部分のためのインターフェースの図である。
【図17】例示的な第1のモデルおよび例示的な第2のモデルの図である。
【図18】例示的な第3のモデルおよび例示的な第4のモデルの図である。
【図19】例示的なトレーニング済みのモデルの図である。
【図20】所定の期間の間の患者における全死因死亡率などの関連する臨床エンドポイントを予測するための別の例示的なプロセスの図である。
【発明を実施するための形態】
【0016】
本発明は、様々な修正および代替形態が可能であるが、その特定の実施形態が図面中に例として示されており、本明細書において詳細に説明される。しかしながら、特定の実施形態の本明細書における説明は、開示されている特定の形態に本発明を限定することを意図しておらず、逆に、その意図は、添付の特許請求の範囲によって定義される本発明の要旨および範囲内に入るすべての修正、同等物、および代替物をカバーすることであることが理解されるべきである。
【0017】
ここで、本発明の様々な態様について、添付図面を参照して説明する。しかしながら、図面およびそれに関係する以下の詳細な説明は、特許請求されている主題を開示されている特定の形態に限定することを意図していないことが理解されるべきである。むしろ、その意図は、特許請求されている主題の要旨および範囲内に入るすべての修正、同等物、および代替物をカバーすることである。
【0018】
本明細書において使用される場合、「構成要素」、「システム」などの用語は、ハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかであるコンピュータ関連エンティティを指すことを意図している。たとえば、構成要素は、限定はしないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および/またはコンピュータであり得る。実例として、コンピュータ上で実行されるアプリケーションとコンピュータの両方が構成要素であり得る。1つまたは複数の構成要素は、実行のプロセスおよび/またはスレッド内に存在し得、構成要素は、1つのコンピュータ上にローカライズされ得、および/または2つ以上のコンピュータもしくはプロセッサ間で分散され得る。
【0019】
「例示的」という用語は、本明細書において、例、インスタンス、または例示として役立つことを意味するために使用される。本明細書において「例示的」として説明されている任意の態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。
【0020】
さらに、開示されている主題は、本明細書において詳述されている態様を実装するためにコンピュータまたはプロセッサベースのデバイスを制御するためのソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せを生成するために、プログラミングおよび/またはエンジニアリング技法を使用して、システム、方法、装置、または製品として実装され得る。本明細書において使用される「製品」(または、代替として「コンピュータプログラム製品」)という用語は、任意のコンピュータ可読デバイス、キャリア、または媒体からアクセス可能なコンピュータプログラムを包含することを意図している。たとえば、コンピュータ可読媒体は、限定はしないが、磁気記憶デバイス(ハードディスク、フロッピーディスク、磁気ストリップなど)、光ディスク(コンパクトディスク(CD)、デジタル多用途ディスク(DVD)など)、スマートカード、およびフラッシュメモリデバイス(カード、スティックなど)を含むことができる。代替として、電子メールを送信および受信する際、またはインターネットもしくはローカルエリアネットワーク(LAN)などのネットワークにアクセスする際に使用されるものなどの、コンピュータ可読電子データを搬送するために、搬送波が用いられ得ることが理解されるべきである。一時的なコンピュータ可読媒体(搬送波および信号ベース)は、上記で説明したものなどの非一時的なコンピュータ可読媒体とは別に考慮されるべきである。もちろん、当業者は、特許請求されている主題の範囲または要旨から逸脱することなく、多くの変更がこの構成になされ得ることを認識するであろう。
【0021】
以下、特に示されない限り、以下の用語および句は、説明されているように本開示において使用される。「プロバイダ」という用語は、本明細書において開示されているシステム全体を運用するエンティティを指すために使用され、サーバを動作させ、データベースを維持し、新しいデータタイプ、新しい医療および治療についての知見、ならびに他のニーズに対応するように、開示されているシステムを構成、維持、および適応させるために必要な多くの異なる知識や技能を有する人を雇用する企業または他のエンティティを含む。例示的なプロバイダの従業員は、研究者、臨床試験設計者、腫瘍学者、神経科医、精神科医、データサイエンティスト、および専門的知識や技能を有する他の多くの人々を含む場合がある。
【0022】
「内科医」という用語は、一般に、限定はしないが、プライマリケア内科医、専門医、腫瘍学者、神経科医、看護師、および医療助手などを含む医療提供者を指すために使用される。
【0023】
「研究者」という用語は、一般に、限定はしないが、放射線科医、データサイエンティスト、または他の医療提供者を含む、研究を実行する人を指すために使用される。ある人は、内科医と研究者の両方である場合があり、他の人は、そうした立場のうちの1つだけにおいて活動する場合がある。
【0024】
畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、リカレントニューラルネットワーク(RNN(Recurrent Neural Network))、ドロップアウト正則化、および適応的勾配降下アルゴリズムなどの「深層」学習(ディープニューラルネットワーク(DNN(deep neural network))技術における最近の進歩は、超並列計算ハードウェア(グラフィック処理ユニット)と組み合わせて、画像データ、時系列データ、およびビデオベースのデータのための最先端の予測モデルを可能にした。たとえば、DNNは、糖尿病性網膜症、皮膚がん、肺結節、脳微小出血、および心肥大の病因などの診断用途において有望であることを示している。しかし、機械学習による機会は、そのような診断タスクに限定されない。
【0025】
たとえば、将来の臨床事象の予測は、医療における機械学習の自然であるが比較的未開拓の拡張である。ほぼすべての医療上の決定は、正確な予測に依存する。診断は、同様の症状を有する患者の典型的な将来の臨床経過を確立するのに役立つので、患者に提供され、治療は、予測された将来の臨床経過にプラスの影響を与える方法の予測として提供される。したがって、将来の臨床事象を直接予測するためにコンピュータベースの方法を使用することは、この問題の固有の複雑さのためにコンピュータが人間の解釈を支援することができる可能性が高い重要なタスクである。たとえば、216221人の患者についての最近の論文は、ランダムフォレストモデルがどのように高い精度で院内死亡率を予測することができるかについて実証した。深層学習モデルは、最近では、緩和ケアの紹介を支援するために入院患者の間で死亡率リスクを予測するためにも使用されている。心臓病学において、電子健康記録から導出された変数が、冠状動脈コンピュータ断層撮影を受けた患者における2～5年間の全死因死亡率、一般臨床集団における5年間の心血管死亡率、および心エコー検査を受けた患者における最大5年間の全死因死亡率を予測するために使用されている。
【0026】
特に、心臓病学におけるこれらの初期転帰予測研究は、生の画像データを自動的に分析するのではなく、画像から人間が導出した特徴、すなわち「手作りの」特徴のみを使用した。この手作りの特徴の使用は、重要であるが、人間の意見によって偏らず、人間の知覚、パターン認識における人間の能力、および労力によって制限されない手法が、よりロバストである場合がある。すなわち、選択された臨床的なまたは臨床的に触発された少数の測定値ではなく、画像内のすべての利用可能なデータを活用する自動分析において強い可能性が存在する。さらに、心エコー検査のためのこの手法の潜在的な利点は、豊富な時間(ビデオ)データの追加の利用可能性によって強化される可能性がある。DNNは、この独自の手法を可能にする。しかしながら、ビデオデータを使用することはまた、技術的な複雑さを増加させ、したがって、心エコー検査に深層学習を適用する初期の取り組みは、ビデオ全体ではなく、個々の画像を取り入れることに焦点を合わせていた。
【0027】
本開示において、DNNが良好な精度で心エコービデオから直接、1年間の死亡率を予測することができることと、この精度が電子健康記録からの追加の臨床変数を組み込むことによって改善され得ることとが示される。これは、3次元DNNを使用して予測を行うために心エコービデオ全体を活用する技術的進歩によって行われる。この技術的進歩に加えて、DNNが2人の専門の内科医である心臓専門医と比較して1年間の死亡率を予測する際により正確であることを示すことによって、直接的な臨床的関連性が実証される。
【0028】
結果
この研究において、完全な3D畳み込みニューラルネットワーク(CNN)設計が利用される(図1)。CNNは、完全接続ネットワークが学習する必要があるパラメータの数を大幅に削減するために、画像における空間的コヒーレンスを利用するニューラルネットワークである。CNNは、人間の能力すら上回る、画像分類タスクにおける有望性を示している。試みられた追加のモデルアーキテクチャ(時分割2D CNN+長短期記憶ネットワーク[LSTM])の詳細について、「方法」の項において説明される。
この研究において、完全な3D畳み込みニューラルネットワーク(CNN)設計が利用される(図1)。CNNは、完全接続ネットワークが学習する必要があるパラメータの数を大幅に削減するために、画像における空間的コヒーレンスを利用するニューラルネットワークである。CNNは、人間の能力すら上回る、画像分類タスクにおける有望性を示している。試みられた追加のモデルアーキテクチャ(時分割2D CNN+長短期記憶ネットワーク[LSTM])の詳細について、「方法」の項において説明される。
【0029】
図1は、心エコー検査ビデオおよび電子健康記録(EHR)データからの死亡率予測のためのニューラルネットワークアーキテクチャ10である。畳み込み層(Conv)は、上のボックス内に実線の輪郭で示され、表形式のEHRデータ層(Tab)は、下のボックス内に破線の輪郭で示されている。畳み込み層は、畳み込みニューラルネットワーク(CNN)、バッチ正規化(Batch Norm.)、正規化線形ユニット(ReLU)、および3次元最大プーリング層(3D Max Pool)からなる。表形式の層は、シグモイド活性化を有する全連結層(高密度(Dense))およびドロップアウト層からなる。入力ビデオの寸法は、150×109×60ピクセルであり、すべての層の出力寸法が示される。死亡率予測は、患者の予測死亡率に関連付けられたリスクスコアとして出力される。
【0030】
患者がその時間フレーム内で生存していたか死亡していたかを知るために、少なくとも1年間の縦断追跡調査データにリンクされた27028人の患者から、723754の臨床的に取得された心エコービデオが取得された(約4500万画像)。全体として、このコホートにおける患者の16%が、心エコー図が取得されてから1年以内に死亡した。「方法」の項において詳述されている検出力計算に基づいて、検証および2人の独立した心臓専門医に対する比較のために、データが600人の患者から分離され、残りのデータは、5フォールド交差検証方式のために使用された。
【0031】
心エコー図の取得中(または、限定はしないが、心臓MRIまたはCTを使用して生成されたビデオを含む、心臓の他の医療ビデオ取得中)に、心臓および大血管の画像が、臨床ガイドラインに従って標準化された異なる2次元平面、または「ビュー」において取得される。21の標準心エコービューごとに個別のモデルが生成され、提案されたモデルが生のビデオデータのみを入力として使用して1年の生存を正確に予測することができたことを示した(図2)。選択された3D CNNアーキテクチャ(AUC範囲:0.695～0.784)は、ほとんどのビューについて2D CNN+LSTMアーキテクチャ(AUC範囲:0.703～0.752)よりも優れていた。両方の場合において、傍胸骨長軸(「PL DEEP」)ビューは、最高のパフォーマンスを有した。PL DEEPビューは、典型的には、心臓全体の健康の最も有益な「要約」ビューとして心臓専門医によって報告されるので、この結果は、臨床的直感と一致していた。これは、PL DEEPビューが、左心室、左心房、右心室、大動脈弁、および僧帽弁の要素、および、心膜液または左胸水が存在するか否かを、すべて単一のビュー内に含むためである。
【0032】
図2は、2D CNN+LSTMアーキテクチャ(灰色)と3D CNN(青色)モデルとを使用した、各心エコービューのみ(EHRデータなし)についての1年間の死亡率予測パフォーマンスランキングである。エラーバーは、5フォールドにわたる平均の上下の1標準偏差を示す。すべてのビューラベルの略語については、以下のTable 1(表1)を参照されたい。
【表1】
【0033】
これらの結果は、画像解像度に対して比較的鈍感であった(完全なネイティブ解像度画像(400×600ピクセル)を使用するモデルと低減した解像度の画像(100×150ピクセル)を使用するモデルとの間に有意差が観察されなかった;図4)。図4は、ネイティブ(×1)から4フォールド(×4)までの低減された解像度範囲の様々なレベルを用いた、すべてのビューにわたる1年間の死亡率予測のAUCのグラフである。同様に、導出されたオプティカルフロー速度マップをピクセルレベルのデータとともにモデルに追加することは、予測精度を改善しなかった(図10)。図10は、生のビデオのみを使用したすべての心エコービュー(青色)と、オプティカルフロー特徴を有する生のビデオを使用したすべての心エコービュー(灰色)とについての1年間の死亡率予測パフォーマンスランキングのグラフである。この解像度において実験を完了するために必要な計算時間のために、完全なネイティブ解像度のトレーニングは、選択されたビューに対してのみ行われたことに留意されたい。
【0034】
次に、モデルの予測精度は、心エコー検査後の3、6、9、および12ヶ月間隔を含む追加の生存間隔において調査された。モデルは、一般に、より長い間隔においてより良く機能したが、すべてのケースについてのAUCは、0.64よりも大きかった(図5)。
【0035】
図5は、すべてのビューについての3、6、9、および12ヶ月のみにおける心エコービデオについての死亡率予測パフォーマンスのグラフである。エラーバーは、5フォールドにわたる平均の上下の1標準偏差を示す。
【0036】
次いで、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白[LDL]、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含む臨床的(「EHR」)変数が、各患者から選択される。これらの10個の変数は、171510人の患者における1年の生存を予測するための95%を超える検出力を含むことが以前に示されており、これらの追加は、すべての心エコービューについて1年の生存を予測する精度を改善し、AUCは、(これらの10個のEHR変数なしの0.70～0.78と比較して)0.79～0.82の範囲であった。次に、臨床転帰を知らされなかった2人の独立した心臓専門医に、関心のある心エコービデオを10個の選択されたEHR変数とともに表示するために使用されたソフトウェアプラットフォームが開発された(以下の「方法」を参照)。心臓専門医は、提示されたデータに基づいて、600人の患者(傍胸骨長軸ビューの元のデータセットからランダムに抽出され、機械のトレーニングのために使用されなかった独立したテストセット)の各々が1年生存するかどうかを評価した。最終的にトレーニングされた(これらの600を除くすべてにおいてトレーニングされた)モデルも、同じ独立したテストセットに適用された。
【0037】
モデルの全体的な精度(75%)は、心臓専門医の全体的な精度(56%および61%、Bonferroni調整された事後分析によるp=4.2×10-11および6.9×10-7、図6A)よりも有意に高かった。心臓専門医は、生存の尤度を過大評価する傾向があることが分かり、高い特異度(それぞれ、97%および91%)をもたらすが、感度が低く(それぞれ、16%および31%)、モデルは、設計により、感度と特異度のバランスが取れていた(両方とも75%)。さらに、図6Bにおいて示されているように、個々の心臓専門医の動作点は、モデルの受信者動作特性曲線を下回り(この曲線上の異なる点に落ちるのとは対照的に)、このタスクにおける予測パフォーマンスが劣っていることを示唆した。
【0038】
図6Aおよび図6Bは、バランスの取れた有病率を有する600サンプルの1年死亡率予測についての心臓専門医対機械のパフォーマンスのグラフである。図6Aは、各心臓専門医および機械の正解率を示し、図6Bは、各心臓専門医および機械についての感度対特異度を示す。図6Aは、精度をバーにおいて示し、感度(赤色)および特異度(緑色)を三角形として示す。図6Bは、心臓専門医の動作点をオレンジ色の点として示し、機械のパフォーマンスについての受信者動作特性曲線を青色において示し機械の動作点を青色の点として示す。
【0039】
臨床専門家の比較のために選択された限られた入力を超えて、本発明者らは、データ入力の制限によって制約されないモデルパフォーマンスをさらに特徴付けるよう努めた。すなわち、構造化データ(なし、制限されたセット[上位10個のEHR変数]、完全なセット[以下の「方法」において説明されているように158個のEHR変数])および心エコービデオ(なし、単一のビュー、21個のビューすべて)の入力組合せを変更した追加の実験が完了した。ビデオなしのモデルは、構造化心エコー検査測定データベース(501449件の有効な研究)のあらゆる利用可能なデータを使用してトレーニングされ、ビデオありのモデルは、単一のビデオについては11020から22407個で、組合せについては26428個の、各ビューについて利用可能なすべてのビデオを用いてトレーニングされた。すべての場合において、テストセットは、臨床専門家との比較のために除外された600人の患者であった。
【0040】
以下のTable 2(表2)は、完全なEHR変数セットと組み合わされたすべてのビデオが、除外された600件の研究のテストセットにおいて最高のAUCを有したことを示し、すでに臨床的に優れたモデルのパフォーマンスをさらに高める可能性を示している。いくつかの一般的な傾向も指摘された。第1に、単一のビデオビューが、10個のEHR変数を入力として含むモデルを上回った。第2に、複数のビデオが、単一のビデオよりも高いパフォーマンスを有していた。第3に、マルチビデオ予測についての学習曲線(図7)は、膨大なデータセット(26428個の心エコービデオ)にアクセスできるにもかかわらず、サンプルが多いほどマルチビデオ予測についてより高いパフォーマンスをもたらす可能性があることを示した。対照的に、完全なEHRプラスビデオのモデルよりも一貫して劣っていた完全なEHRデータのみのモデルのパフォーマンスは、頭打ちになり始めていた。したがって、心エコー検査ビデオを含む新奇なマルチモーダルDNN手法は、(ビデオから人間によって導出された手作りの特徴を含む)EHRデータのみを使用して達成され得るものと比較して、この臨床的予測タスクについて向上したパフォーマンスを提供する。
【表2】
【0041】
Table 2(表2)は、心臓専門医と比較するために使用された600件の除外された研究におけるEHRおよびエコービデオの組合せの各データモダリティについてのAUCスコアを示す。「ビデオなし」モデルは、すべての利用可能な研究においてトレーニングされ、「単一ビデオ」および「すべてのビデオ」は、ビデオデータが利用可能だったサブセットにおいてトレーニングされた。「EHR変数なし」および「ビデオなし」のセルは、ランダムな推測を示す。
【0042】
図7は、完全なEHR変数プラスビデオと比較した完全な(158)EHR変数モデルについての学習曲線のグラフである。AUCは、トレーニングセットサイズの関数として600人の患者のセットについて報告され、その範囲は、10から、EHR変数については501449、完全なEHR+ビデオについては26428であった所与のデータ入力に対して利用可能なデータセットの最大数までであった。
【0043】
生のビデオデータと電子健康記録から抽出された関連する臨床データの両方を使用して、臨床的に関連するエンドポイント、たとえば、心エコー検査後の死亡率を心臓専門医が予測するのにDNNが役立つ可能性が示されている。DNNをトレーニングするために、約4500万個の画像からなる心臓の臨床的に取得された723754個のビデオのデータセットが活用された。1年の生存を識別するDNNの能力は、モデル入力が限られていても、トレーニングされた心臓専門医の能力を上回ることが示されており、これらのモデルが標準的な臨床的解釈を超える価値を付加できることを示唆している。本発明者らの知る限り、画像ピクセルレベルのデータから将来の臨床的に関連する事象を直接予測するためにディープニューラルネットワークをトレーニングする能力を実証した先行研究はない。追加の実験は、より多くのEHR変数を組み込み、すべての心エコー検査ビューを同時に使用し、モデルトレーニングに対してより多くのデータを活用して、さらなる大幅なパフォーマンス向上を達成する機会を示した。
【0044】
この最初の研究についての実現可能性を実証するために、非常に重要で容易に測定される臨床転帰として、1年の全死因死亡率が選択された。重要なことには、全死因死亡率は、心血管特異的死亡率などのエンドポイントに導入され得るバイアスのない明確に定義されたエンドポイントであり、国の死亡指数データベースに対して検証されたEHRから容易に抽出され得る。さらに、現在臨床的に使用される多数の臨床リスクスコア(フラミンガムスコア、TIMIスコア、およびGRACEスコアなど)によって明らかなように、死亡率予測は、心臓病学における多くのアプリケーションに非常に関連している。DNNは、1年以外、たとえば、6ヶ月、2年、3年、5年の期間にわたる全死因死亡率を予測するためにトレーニングされ得ることが理解される。さらに、DNNは、入院、将来の疾患の発病、治療への反応、ヘルスケアの利用など、他の多くの臨床的に関連するエンドポイントを予測するようにトレーニングされ得る。
【0045】
方法
画像収集および前処理
心エコー検査研究は、心臓の複数のビューを含むいくつかのビデオからなる。Philips iSiteとXceleraという2つの臨床データベースは、Geisingerにおいて収集されたすべての心エコー図を含んでいた。心エコー検査ビデオごとにDICOMファイルを取得するために、DCM4CHEE(バージョン2.0.29)およびAcuoMed(バージョン6.0)ソフトウェアが使用された。
画像収集および前処理
心エコー検査研究は、心臓の複数のビューを含むいくつかのビデオからなる。Philips iSiteとXceleraという2つの臨床データベースは、Geisingerにおいて収集されたすべての心エコー図を含んでいた。心エコー検査ビデオごとにDICOMファイルを取得するために、DCM4CHEE(バージョン2.0.29)およびAcuoMed(バージョン6.0)ソフトウェアが使用された。
【0046】
取得されたDICOMファイルは、(たとえば、ビュー名でマークされた)注釈付きビデオと、機器がそれを記憶するように構成されたときの生のビデオとを含んでいた。一般性を失うことなく、すべての分析について生のビデオが使用された。図8Aは、例示的な生のビデオであり、図8Bは、例示的な注釈付きビデオである。生のビデオは、バイトのストリームのフォーマットにおいて記憶されたビームフォーミングされた超音波画像のみを含み、注釈付きビデオは、生のビデオに加えて人工的な注釈を含んでいた。すべての生のビデオは、毎秒30フレームに線形補間された。
【0047】
ビデオデータとともに、DICOMファイルは、どの特定の画像の向きが取得されたかについてビューにラベル付けするタグを含んでいた。これらのビュータグは、同じタイプのビューについて研究間でわずかな違いを有した。たとえば、心尖部4腔ビューは、「a4」、「a4 2d」、または「ap4」とタグ付けされ得る。各ユニークなタグのサンプルは、視覚的に検査され、30個の共通のビューにグループ化された(Table 1(表1))。ビューグループからの各ビデオは、潜在的に異なる寸法を有する可能性があるので、すべてのビデオは、ビューから最も一般的な行および列の寸法に正規化された。各フレームは、ビューグループ内で最も一般的な寸法に一致するようにゼロでクロップ/パディングされた。最終的に、生のビデオとビューラベルとを有するPhilipsが生成したDICOMファイルが取得され、1秒未満のビデオは、除外された。
【0048】
電子健康記録データの前処理
EHRは、19年間(1998年2月から2018年9月まで)にわたって実行された272280人のユニークな患者からの594862件の心エコー図研究を含んでいた。研究ごとに、自動または内科医が報告した心エコー検査測定値(n=480)が、患者の人口統計(n=3)、バイタル(n=5)、検査室(n=2)、および問題リスト診断コード(n=90;国際疾病分類、第10回改訂版(ICD-10))とともに抽出された。空腹時LDL、HDL、血圧、心拍数、ならびに体重および身長測定値などの、心エコー検査研究以外で取られた測定値については、6ヶ月以内の最も近いもの(前または後)が取得された。
EHRは、19年間(1998年2月から2018年9月まで)にわたって実行された272280人のユニークな患者からの594862件の心エコー図研究を含んでいた。研究ごとに、自動または内科医が報告した心エコー検査測定値(n=480)が、患者の人口統計(n=3)、バイタル(n=5)、検査室(n=2)、および問題リスト診断コード(n=90;国際疾病分類、第10回改訂版(ICD-10))とともに抽出された。空腹時LDL、HDL、血圧、心拍数、ならびに体重および身長測定値などの、心エコー検査研究以外で取られた測定値については、6ヶ月以内の最も近いもの(前または後)が取得された。
【0049】
すべての連続変数は、入力エラーによって引き起こされた可能性がある生理学的な限界外の値を除去された。測定値に対して限界を定義できない場合、2つのルール、すなわち、1)平均値プラスマイナス3標準偏差を超える値と、2)25パーセンタイルマイナス3四分位範囲未満、または75パーセンタイルプラス3四分位範囲を超える値とを満たす極端な外れ値が削除された。削除された外れ値は、欠落として設定された。
【0050】
欠落データは、2つのステップにおいて連続変数から代入された。最初に、個々の患者のすべての利用可能な研究を使用して欠落測定値を埋めるために時間補間が行われ、すなわち、心エコー検査セッション間における欠落値は、完全な値が隣接する心エコー図において見つかった場合、線形補間された。次いで、連鎖方程式(MICE)による多変量補完を行って完全なデータセットを完成させるために、480個の心エコー検査測定変数のうちの、10%を超える非欠落測定値を有する115個が保持された。
【0051】
報告された拡張機能は、正常の場合は-1、機能障害の場合は0(グレードは報告されない)、拡張機能障害グレードI、II、およびIIIの場合は、それぞれ、1、2、および3を用いて、順序方式においてコード化された。連続測定値の代入後、欠落した拡張機能評価は、拡張機能が知られていた278160件の研究を使用して、1対他分類器フレームワークにおいて機能障害グレード(-1、1、2、または3)を予測するようにロジスティック回帰分類器をトレーニングすることによって代入された。
【0052】
代入に続いて、内科医は、左心室駆出分画(LVEF)に加えて57個の他の独立した非冗長な心エコー検査測定値(すなわち、他の測定値から導出された変数を除いて保持された;合計n=58の心エコー検査測定値)を報告した。
【0053】
患者の年齢および生存時間は、心エコー図の日付から計算された。患者の状態(死亡/生存)は、最後の分かっている生存時の遭遇または確認された死亡日に基づいており、それが取得されたEHRにおいて国の死亡指数データベースに対して毎月相互参照される。
【0054】
提案されたモデルにおいて使用される158個のEHR変数すべてのリストおよび説明は、以下のTable 3(表3)において提示されている。
【表3A】
【表3B】
【表3C】
【表3D】
【表3E】
【0055】
データの剪定
画像集および前処理は、27028人の患者に対して実行された31874件の研究から723754個のビデオ(研究あたり平均22.7個のビデオ)をもたらした。イメージングおよびEHRデータは、リンクされ、EHRデータのないイメージングは、破棄された。所与の生存実験(3、6、9、および12ヶ月)について、十分な追跡調査のない研究も削除された。その後、患者ごとに1件の研究をランダムにサンプリングすることによって、患者ごとに単一の研究が保持された。これは、トレーニング、検証、およびテストのグループ全体を通して、単一の患者からの画像が複数回現れることがないことを保証した。
画像集および前処理は、27028人の患者に対して実行された31874件の研究から723754個のビデオ(研究あたり平均22.7個のビデオ)をもたらした。イメージングおよびEHRデータは、リンクされ、EHRデータのないイメージングは、破棄された。所与の生存実験(3、6、9、および12ヶ月)について、十分な追跡調査のない研究も削除された。その後、患者ごとに1件の研究をランダムにサンプリングすることによって、患者ごとに単一の研究が保持された。これは、トレーニング、検証、およびテストのグループ全体を通して、単一の患者からの画像が複数回現れることがないことを保証した。
【0056】
モデルと2人の心臓専門医との間で予後精度を推定および比較するために、ピアソンのカイ二乗検定を使用するサンプルサイズ計算によって示されるように、少なくとも600人の患者(生存している300人、死亡した300人)が必要とされた。機械と心臓専門医との間の精度の10%の違い(80%対70%)、80%の検出力、5%の有意水準、および約40%の不一致が想定された。これは、検出力分析ソフトウェア(PASS v15)を使用して計算された。したがって、設定された実験しきい値内で生存した患者の300件の研究および死亡した患者の300件の研究が、ビューごとにランダムにサンプリングされ、後に2人の独立した心臓専門医に対して機械のパフォーマンスを比較するために、有効なサンプルとは別に設定された。傍胸骨長軸ビュー(最も性能のよいモデル、および最も包括的な単一ビューについての心臓専門医の好みを表す)のみが、最終的に心臓専門医の比較に使用された。実験およびビューごとの有効なサンプルの総数が、以下のTable 4(表4)および図9に示されている。図9は、(上記のTable 3(表3)において示されている)3、6、9、および12ヶ月の追跡調査を必要とした実験についての患者数、および死亡した患者の割合(斜線バー)のプロットである。
【表4】
【0057】
傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、短軸心尖ズームビュー、短軸中央乳頭ズームビュー、傍胸骨長弛緩部ビュー、心尖部3ズーム、および心尖部2ズームは、実験を行うのに十分な利用可能なサンプルがなかったため、除外された。
【0058】
モデル選択
心エコー検査ビデオの分類のために、4つの異なるアーキテクチャ、すなわち、1)長短期記憶(LSTM)付き時間分散型2次元畳み込みニューラルネットワーク(2D CNN)、2)グローバル平均プーリング(GAP(Global Average Pooling))付き時間分散型2D CNN、3)3D CNN、および4)GAP付き3D CNNが調査された。簡単にするために、4つの候補アーキテクチャは、2D CNN+LSTM、2D CNN+GAP、3D CNN、および3D CNN+GAPのように略される。
心エコー検査ビデオの分類のために、4つの異なるアーキテクチャ、すなわち、1)長短期記憶(LSTM)付き時間分散型2次元畳み込みニューラルネットワーク(2D CNN)、2)グローバル平均プーリング(GAP(Global Average Pooling))付き時間分散型2D CNN、3)3D CNN、および4)GAP付き3D CNNが調査された。簡単にするために、4つの候補アーキテクチャは、2D CNN+LSTM、2D CNN+GAP、3D CNN、および3D CNN+GAPのように略される。
【0059】
2D CNN+LSTMは、ビデオのすべてのフレームに分散された2D CNNブランチからなる。このアーキテクチャは、ビデオからのすべてのフレームが同じシーンまたはアクションに属するビデオ記述問題に使用された。心エコー検査ビデオのすべてのフレームが同じシーンまたはビューに属するので、静的特徴は、ビデオ全体で同じ2Dカーネルによって共通に見出されると想定することは正しい。この想定は、心エコー検査ビューの分類のために実践された。LSTM層は、シーケンス全体を表すベクトルを出力するために、CNNの特徴を経時的に集約する。
【0060】
2D CNN+GAP手法は、フレームの時間集約として、LSTM層を平均的なCNN特徴と交換した。GAP層は、2つの利点を提供する。それは、トレーニング可能なパラメータを必要とせず、LSTM層からの1008個のパラメータを節約し、特徴解釈を可能にする。GAP後の最終的な全結合層は、CNN特徴の加重平均を提供し、これは、最終決定においてビデオのどのセクションがより重み付けされたかを示すことができる。
【0061】
3D CNN手法は、入力データがネットワークを通って流れるときに時間的および空間的特徴を集約する。3D CNNは、ビデオ分類への応用の成功も示している。2D CNN手法とは対照的に、3D CNNは、すべての層において隣接するフレームからの情報を組み込み、時間-空間に依存する特徴を抽出する。
【0062】
3D CNN手法は、GAP層のための平坦化動作を置き換える。2D CNN+GAP手法と同様に、GAP層は、最終的な高密度層への入力特徴の数を減らし、したがって、パラメータ数を641から17に減らし、同時に、ビデオ特徴の寄与のトレースバックを可能にする。
【0063】
2Dおよび3D CNNの畳み込みユニットは、以下の構成、すなわち、CNN層、バッチ正規化、ReLU、CNN層、バッチ正規化、ReLU、および最大プーリングにおける7層のシーケンスとして定義された(図1を参照)。すべてのカーネルの次元は、3に設定され、最大プーリングは、2Dカーネルについては3×3ウィンドウ、3Dカーネルについては3×3×3において適用された。
【0064】
2D CNN+LSTMアーキテクチャのためのパラメータ数の詳細な説明は、以下のTable 5(表5)において示されており、2D CNN+GAPは、以下のTable 6(表6)において示されており、3D CNNは、以下のTable 7(表7)において示されており、3D CNN+GAPは、Table 8(表8)において示されている。
【表5】
【表6】
【表7】
【表8】
【0065】
4つの候補アーキテクチャのすべてが、1年死亡率ラベル付きの識別されたすべての心エコー検査ビューに適用され、3D CNNは、最高のパフォーマンスを一貫して示した(図3)。図3は、4つの異なるニューラルネットワークアーキテクチャ、すなわち、2D CNN+グローバル平均プーリング(GAP;暗い灰色)、2D CNN+長短期記憶(LSTM;明るい灰色)、3D CNN+GAP(明るい青色)、および3D CNN(暗い青色)によるすべてのビューにわたる1年死亡率予測のAUCのグラフである。
【0066】
同様に、パフォーマンス向上は、異なる画像解像度において評価された。ビデオ解像度は、2分の1、3分の1、および4分の1に低減された。すべてのビューにわたって一貫したパフォーマンスの有意な低下は、観察されなかった(図4)。したがって、計算コストを低減するために、4分の1に低減した解像度ですべての実験を行うことが決定された。
【0067】
EHRデータを予測に組み込むために、各層において10個の隠れユニットを有する3層の多層パーセプトロン(MLP(multi-layer perceptron))がトレーニングされた。次いで、CNNブランチを有する最後の10個の隠れユニットが連結された(図1を参照)。
【0068】
トレーニングアルゴリズム
RMSPropアルゴリズムは、LSTMカップリングを有するネットワークをトレーニングするために使用され、AdaGradは、3D CNNアーキテクチャに対して使用された。5フォールド交差検証の各反復は、トレーニング、検証、およびテストのセットを含んでいた。トレーニングセットおよびテストセットは、生存患者の同じ有病率を有するようにサンプリングされたが、検証セットは、バランスの取れた比率でサンプリングされた。検証セットは、トレーニングセットの10%で構成された。
RMSPropアルゴリズムは、LSTMカップリングを有するネットワークをトレーニングするために使用され、AdaGradは、3D CNNアーキテクチャに対して使用された。5フォールド交差検証の各反復は、トレーニング、検証、およびテストのセットを含んでいた。トレーニングセットおよびテストセットは、生存患者の同じ有病率を有するようにサンプリングされたが、検証セットは、バランスの取れた比率でサンプリングされた。検証セットは、トレーニングセットの10%で構成された。
【0069】
DNNがトレーニングされたとき、検証セットにおける損失(バイナリクロスエントロピー)が各エポックにおいて評価された。検証損失が10エポックを超えて減少しなかった場合、トレーニングは、停止され、テストセットのAUCにおけるパフォーマンスが報告された。エポックの最大数は、1000に設定され、ソフトウェアKeras(バージョン2.2)によって定義されたデフォルトのトレーニングパラメータを維持した。トレーニングは、エポックの最大数に達する前に常に終了した。
【0070】
各患者クラスの有病率は、不均衡である(約16%の死亡患者)ので、各クラスの重みは、以下のように設定された。
【数1】
【0071】
すべてのトレーニングは、NVIDIA DGX1プラットフォームにおいて実行された。各フォールドは、利用可能な8個のGPUの各々において個別に適合した。図2に示す主な実験は、完了するまでに合計6日かかった。
【0072】
オプティカルフロー入力の追加の効果
オプティカルフロー速度マップは、分類タスクのために元のビデオとともに有益であることが示されている。したがって、心エコー検査生ビデオの密なオプティカルフローベクトルは、OpenCV(バージョン2.4.13.7)ソフトウェアライブラリにおいて実装されているGunnar Farnebackのアルゴリズムを使用して計算された。ピラミッドスケールは、0.5に設定され、レベルの数は、3に設定され、ウィンドウサイズは、5ピクセルに設定された。次いで、ベクトルは、(HSV色空間におけるように)色が方向を示し、明るさが振幅を示すカラービデオに変換された。これは、生のビデオとともに独立した3D CNNブランチを通じてニューラルネットワークモデルに供給される画像ビデオを結果として生じた。図10において見られるように、オプティカルフロービデオと生のビデオのこの組合せは、生のビデオのみを使用するモデルと比較して、一貫して改善されたモデルパフォーマンスをもたらさなかった。したがって、オプティカルフローは、最終的な研究分析のために使用されなかった。
オプティカルフロー速度マップは、分類タスクのために元のビデオとともに有益であることが示されている。したがって、心エコー検査生ビデオの密なオプティカルフローベクトルは、OpenCV(バージョン2.4.13.7)ソフトウェアライブラリにおいて実装されているGunnar Farnebackのアルゴリズムを使用して計算された。ピラミッドスケールは、0.5に設定され、レベルの数は、3に設定され、ウィンドウサイズは、5ピクセルに設定された。次いで、ベクトルは、(HSV色空間におけるように)色が方向を示し、明るさが振幅を示すカラービデオに変換された。これは、生のビデオとともに独立した3D CNNブランチを通じてニューラルネットワークモデルに供給される画像ビデオを結果として生じた。図10において見られるように、オプティカルフロービデオと生のビデオのこの組合せは、生のビデオのみを使用するモデルと比較して、一貫して改善されたモデルパフォーマンスをもたらさなかった。したがって、オプティカルフローは、最終的な研究分析のために使用されなかった。
【0073】
心臓専門医の調査データセットにおけるバランスの取れた転帰の使用
データ剪定のセクションにおいて説明したように、心臓専門医およびモデルの精度を比較するために使用された600人の患者の調査は、パフォーマンスの差を検出するのに十分な検出力を保証するために、死亡率転帰に関して意図的にバランスが取られた(1年において300人が死亡し、300人が生存していた)。心臓専門医は、レビューの時点においてこの分布を知らされていなかった。
データ剪定のセクションにおいて説明したように、心臓専門医およびモデルの精度を比較するために使用された600人の患者の調査は、パフォーマンスの差を検出するのに十分な検出力を保証するために、死亡率転帰に関して意図的にバランスが取られた(1年において300人が死亡し、300人が生存していた)。心臓専門医は、レビューの時点においてこの分布を知らされていなかった。
【0074】
心臓専門医調査用ソフトウェア
図11に示すインターフェースを有するウェブアプリケーションが展開された。図11は、心エコー検査の1年後の生存を予測する心臓専門医のために開発されたウェブアプリケーションである。アプリケーションは、心臓専門医がアクセスのために自分の施設の認証情報を入力することを必要とした。10個のEHR変数、およびビデオの2つのバージョン（生、および注釈付き）が示されている。次いで、アプリケーションは、「生存」ボタンまたは「死亡」ボタンのいずれかをクリックしたときに心臓専門医の予測を記録した。
図11に示すインターフェースを有するウェブアプリケーションが展開された。図11は、心エコー検査の1年後の生存を予測する心臓専門医のために開発されたウェブアプリケーションである。アプリケーションは、心臓専門医がアクセスのために自分の施設の認証情報を入力することを必要とした。10個のEHR変数、およびビデオの2つのバージョン（生、および注釈付き）が示されている。次いで、アプリケーションは、「生存」ボタンまたは「死亡」ボタンのいずれかをクリックしたときに心臓専門医の予測を記録した。
【0075】
機械と心臓専門医との比較の統計分析
心臓専門医の回答は、2値であり、機械の回答は、連続的であった。最終的な比較実験を実行する前に、機械の応答のためのしきい値として0.5が設定された。すべての回答が同じサンプルに対して記録されているので、正しく分類されたサンプルの割合において3つの回答が有意に異なるかどうかを評価するために、コクランのQテストが行われた。このテストは、回答のうちの少なくとも1つが1.8e-15のp値で有意に異なるという十分な証拠があることを示した。3つの回答間のペアワイズ比較の事後分析は、心臓専門医1対心臓専門医2のペア、心臓専門医1対機械のペア、および心臓専門医2対機械のペアについて、それぞれ、0.003、4.2e-11、および6.9e-7のボンフェローニ調整されたp値を結果として生じた。
心臓専門医の回答は、2値であり、機械の回答は、連続的であった。最終的な比較実験を実行する前に、機械の応答のためのしきい値として0.5が設定された。すべての回答が同じサンプルに対して記録されているので、正しく分類されたサンプルの割合において3つの回答が有意に異なるかどうかを評価するために、コクランのQテストが行われた。このテストは、回答のうちの少なくとも1つが1.8e-15のp値で有意に異なるという十分な証拠があることを示した。3つの回答間のペアワイズ比較の事後分析は、心臓専門医1対心臓専門医2のペア、心臓専門医1対機械のペア、および心臓専門医2対機械のペアについて、それぞれ、0.003、4.2e-11、および6.9e-7のボンフェローニ調整されたp値を結果として生じた。
【0076】
ここで、図12ならびに図1に進むと、心臓のビデオ(この場合、心エコー検査データ)ならびに任意の追加の利用可能なEHRデータに基づいて、所定の期間(すなわち、1年間)の間の患者における全死因死亡率などの関連する臨床エンドポイントを予測するための例示的なプロセス100が示されている。プロセス100は、心エコービデオなどの心臓のビデオおよび上記で説明したEHR変数を使用してトレーニングされた、畳み込みニューラルネットワークなどのディープニューラルネットワークであり得るニューラルネットワークに基づいて、患者についてのリスクスコアを予測する。プロセス100は、患者を治療するため、または患者の集団レベル管理のために、内科医、たとえば、心不全の1万人の患者の集団全体にリソースを配備する内科医を含むケアチームによって使用される健康分析モジュールにおいて採用され得る。いくつかの実施形態において、プロセス100は、少なくとも1つのメモリ上に命令(たとえば、コンピュータ可読命令)として実装され、少なくとも1つのメモリに結合された1つまたは複数のプロセッサによって実行され得る。
【0077】
102において、プロセス100は、患者に関連付けられた心臓の心エコービデオを受信することができる。心エコービデオは、心エコー検査ビデオフレームを含むことができる。ビデオフレームは、患者の心臓の1つまたは複数のビューから取られたビデオフレームを含むことができる。たとえば、ビデオフレームは、心臓の21個の異なるビューにおいて取られたビデオフレームを含むことができる。いくつかの実施形態において、心エコービデオは、心尖部二腔ビュー、心尖部三腔ビュー、心尖部四腔ビュー、右心室に焦点を合わせた心尖部四腔ビュー、心尖部五腔ビュー、傍胸骨長軸ビュー、傍胸骨長下行大動脈ビュー、傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、傍胸骨長右心室流入ビュー、傍胸骨長ズーム大動脈弁ビュー、傍胸骨短大動脈弁ビュー、傍胸骨短肺動脈弁および肺動脈ビュー、傍胸骨短三尖弁ビュー、短軸心尖ビュー、短軸ベースビュー、短軸中央乳頭ビュー、肋骨下四腔ビュー、肋骨下肝静脈ビュー、肋骨下心房中隔ビュー、肋骨下下大静脈ビュー、肋骨下右心室ビュー、胸骨上窩ビュー、短軸中央乳頭ビュー、短軸心尖ビュー、心尖部三腔ズームビュー、心尖部二腔ズームビュー、および/または短軸ベースビューを含む1つまたは複数の心エコービューに関連付けられ得る。いくつかの実施形態において、心エコービデオは、心臓の単一のビューに関連付けられ得る。いくつかの実施形態において、単一のビューは、傍胸骨長軸ビューであり得る。傍胸骨長軸ビューは、上記で説明したように、他の単一のビューよりも優れていることが示されている。次いで、プロセス100は、104に進むことができる。
【0078】
104において、プロセス100は、患者に関連するパラメータのいくつかの値を含むEHRデータを受信することができる。EHRデータは、オプションであり、いくつかの実施形態において、プロセス100は、102において心エコービデオのみを受信することができる。EHRデータを使用することは、リスクスコア生成のパフォーマンスを改善することができる。いくつかの実施形態において、パラメータは、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白[LDL]、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むことができる。いくつかの実施形態において、変数は、上記のTable 3(表3)においてリストされた変数の少なくとも一部を含むことができる。いくつかの実施形態において、EHRデータは、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含むことができる。値は、患者に関連付けられ得る。いくつかの実施形態において、人口統計パラメータは、年齢、性別、および/または喫煙状況を含むことができる。いくつかの実施形態において、バイタルパラメータは、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含むことができる。いくつかの実施形態において、検査室測定パラメータは、低比重リポ蛋白レベルおよび/または高比重リポ蛋白レベルを含むことができる。いくつかの実施形態において、心エコー図ベースのパラメータは、内科医が報告した左心室駆出分画、大動脈弁閉鎖不全減速勾配、大動脈弁閉鎖不全最大速度、大動脈弁より遠位の流れの速度-時間積分、大動脈弁より遠位の流れの最大速度、大動脈弁より遠位の流れの平均速度、大動脈基部の直径、上行大動脈の直径、左心室拡張終末期容積:心尖部二腔、左心室拡張終末期容積:心尖部四腔、左心室拡張終末期容積:心尖部二腔、左心室拡張終末期容積:心尖部四腔、左心室収縮終末期容積:心尖部二腔、左心室収縮終末期容積:心尖部四腔、左心室収縮終末期容積:心尖部二腔、左心室収縮終末期容積:心尖部四腔、拡張終末期における左心室中隔径、左心房径、心尖部二腔に由来する左心房容積、心尖部四腔に由来する左心房容積、閉塞に近位の速度-時間積分、閉塞に近位の最大左心室速度、閉塞に近位の平均左心室速
度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および/または内科医が報告した拡張機能を含むことができる。いくつかの実施形態において、診断パラメータは、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに/または慢性腎臓病の診断を含むことができる。いくつかの実施形態において、診断パラメータは、cMERGEなどの所定のガイドライン内に含まれるパラメータであり得る。次いで、プロセス100は、106に進むことができる。
度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および/または内科医が報告した拡張機能を含むことができる。いくつかの実施形態において、診断パラメータは、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに/または慢性腎臓病の診断を含むことができる。いくつかの実施形態において、診断パラメータは、cMERGEなどの所定のガイドライン内に含まれるパラメータであり得る。次いで、プロセス100は、106に進むことができる。
【0079】
106において、プロセス100は、ビデオフレームをトレーニング済みのニューラルネットワークに提供することができる。いくつかの実施形態において、プロセス100は、ビデオフレームとEHRデータとをトレーニング済みのニューラルネットワークに提供することができる。上記で説明したように、トレーニング済みのニューラルネットワークは、畳み込みニューラルネットワークであり得る。いくつかの実施形態において、トレーニング済みのニューラルネットワークは、図1に示すニューラルネットワークアーキテクチャ10であり得る。いくつかの実施形態において、トレーニング済みのニューラルネットワークは、複数のビデオを含むトレーニングデータセットに基づいてトレーニングされ得、複数のビデオにおいて含まれる各ビデオは、いくつかの心エコービュー内に含まれる心エコービューに関連付けられている。いくつかの心エコービューは、1つまたは複数のビューを含むことができる。いくつかの実施形態において、いくつかの心エコービューは、心尖部二腔ビュー、心尖部三腔ビュー、心尖部四腔ビュー、右心室に焦点を合わせた心尖部四腔ビュー、心尖部五腔ビュー、傍胸骨長軸ビュー、傍胸骨長下行大動脈ビュー、傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、傍胸骨長右心室流入ビュー、傍胸骨長ズーム大動脈弁ビュー、傍胸骨短大動脈弁ビュー、傍胸骨短肺動脈弁および肺動脈ビュー、傍胸骨短三尖弁ビュー、短軸心尖ビュー、短軸ベースビュー、短軸中央乳頭ビュー、肋骨下四腔ビュー、肋骨下肝静脈ビュー、肋骨下心房中隔ビュー、肋骨下下大静脈ビュー、肋骨下右心室ビュー、胸骨上窩ビュー、短軸中央乳頭ビュー、短軸心尖ビュー、心尖部三腔ズームビュー、心尖部二腔ズームビュー、または短軸ベースビューのうちの少なくとも1つを含むことができる。トレーニングデータセットは、複数の生存転帰をさらに含むことができ、複数のビデオにおいて含まれる各ビデオは、複数の生存転帰内に含まれる生存転帰に関連付けられている。このようにして、ニューラルネットワークは、実際の患者の転帰に基づいてトレーニングされ得る。いくつかの実施形態において、トレーニングデータセットは、電子健康記録データセットをさらに含むことができ、複数のビデオにおいて含まれる各ビデオは、電子健康記録データセットの一部に関連付けられている。いくつかの実施形態において、電子健康記録データセットは何人かの患者に関連付けられ得、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能を含むいくつかのパラメータの値を含むことができる。上記で説明したように、これらのパラメータは、良好に機能することが示されており、これらの10個のパラメータは、良好な予測力を提供することが示されている。
【0080】
いくつかの実施形態において、電子健康記録データセットは、人口統計パラメータ、バイタルパラメータ、検査室測定パラメータ、心エコー図ベースのパラメータ、および診断パラメータを含むいくつかのパラメータの値を含むことができる。いくつかの実施形態において、人口統計パラメータは、年齢、性別、および/または喫煙状況を含むことができる。バイタルパラメータは、身長と、体重と、心拍数と、拡張期血圧と、収縮期血圧とを含むことができる。いくつかの実施形態において、検査室測定パラメータは、低比重リポ蛋白レベルおよび/または高比重リポ蛋白レベルを含むことができる。いくつかの実施形態において、心エコー図ベースのパラメータは、内科医が報告した左心室駆出分画、大動脈弁閉鎖不全減速勾配、大動脈弁閉鎖不全最大速度、大動脈弁より遠位の流れの速度-時間積分、大動脈弁より遠位の流れの最大速度、大動脈弁より遠位の流れの平均速度、大動脈基部の直径、上行大動脈の直径、左心室拡張終末期容積:心尖部二腔、左心室拡張終末期容積:心尖部四腔、左心室拡張終末期容積:心尖部二腔、左心室拡張終末期容積:心尖部四腔、左心室収縮終末期容積:心尖部二腔、左心室収縮終末期容積:心尖部四腔、左心室収縮終末期容積:心尖部二腔、左心室収縮終末期容積:心尖部四腔、拡張終末期における左心室中隔径、左心房径、心尖部二腔に由来する左心房容積、心尖部四腔に由来する左心房容積、閉塞に近位の速度-時間積分、閉塞に近位の最大左心室速度、閉塞に近位の平均左心室速度、心尖部二腔に由来する拡張終末期における左心室面積、心尖部四腔に由来する拡張終末期における左心室面積、心尖部二腔に由来する収縮終末期における左心室面積、心尖部四腔に由来する収縮終末期における左心室面積、拡張終末期における左心室内法、収縮終末期における左心室内法、心尖部二腔に由来する拡張終末期における左心室長軸長、心尖部四腔に由来する拡張終末期における左心室長軸長、心尖部二腔に由来する収縮終末期における左心室長軸長、心尖部四腔に由来する収縮終末期における左心室長軸長、左心室流出路面積、左心室流出路直径、拡張終末期における左心室後壁厚、僧帽弁逆流最大速度、僧帽弁血流のa点最大速度、僧帽弁血流のe点最大速度、僧帽弁血流の最大速度、僧帽弁減速勾配、僧帽弁減速時間、肺動脈弁より遠位の流れの最大速度、肺動脈加速勾配、肺動脈加速時間、肺のr-r時間間隔、右心房収縮終末期平均圧、拡張終末期における右心室径、三尖弁逆流最大速度、大動脈弁逆流、僧帽弁逆流、三尖弁逆流、肺動脈弁逆流、大動脈弁狭窄、僧帽弁狭窄、三尖弁狭窄、肺動脈狭窄、および/または内科医が報告した拡張機能を含むことができる。いくつかの実施形態において、診断パラメータは、急性リウマチ熱の診断、慢性リウマチ性心疾患の診断、高血圧性疾患の診断、虚血性心疾患の診断、肺心疾患および肺循環疾患の診断、急性心膜炎の診断、他の形態の心疾患の診断、急性心筋炎の診断、心筋症の診断、心停止の診断、発作性頻拍の診断、心房細動の診断、心不全の診断、脳血管疾患の診断、動脈、細動脈、および毛細血管の疾患の診断、静脈、リンパ管、およびリンパ節の疾患の診断、低血圧の診断、循環器系の他のおよび不特定の疾患の診断、糖尿病の診断、先天性心疾患の診断、脂質異常症の診断、ならびに/または慢性腎臓病の診断を含むことができる。いくつかの実施形態において、診断パラメータは、cMERGEなどの所定のガイドライン内に含まれるパラメータであり得る。次いで、プロセス100は、108に進むことができる。
【0081】
108において、プロセス100は、トレーニング済みのニューラルネットワークからリスクスコアを受信することができる。リスクスコアは、患者についての臨床転帰のリスクに関連付けられ得る。いくつかの実施形態において、リスクスコアは、死亡率リスクスコアであり得る。いくつかの実施形態において、死亡率リスクスコアは、全死因死亡率リスクスコアであり得る。いくつかの実施形態において、患者に関連する死亡率リスクスコアは、医師またはヘルスケア管理者が患者に対する潜在的な治療についての決定を行うのに十分な情報を医師またはヘルスケア管理者に提供することができる。いくつかの実施形態において、潜在的な治療は、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、またはホスピスのうちの少なくとも1つを含む。いくつかの実施形態において、決定は、潜在的な治療に関する適格性であり得る。次いで、プロセス100は、110に進むことができる。
【0082】
110において、プロセス100は、医師またはヘルスケア管理者によって閲覧するために、生のリスクスコアをメモリまたはディスプレイのうちの少なくとも1つに出力することができる。いくつかの実施形態において、プロセス100は、リスクスコアに基づいてレポートを生成および出力することができる。レポートは、生のリスクスコアを含むことができる。レポートは、リスクスコアに基づいて生成された任意の適切なグラフおよび/またはチャートを含むことができる。レポートは、コンピュータモニタ、またはタブレットコンピュータ、スマートフォン、ラップトップコンピュータなどに統合された画面などのディスプレイを使用して内科医に表示され得る。いくつかの実施形態において、レポートは、メモリを含む記憶デバイスに出力され得る。いくつかの実施形態において、レポートは、患者に対する潜在的な治療に関する情報、および/または患者に対する潜在的な治療に関する情報へのリンクを含むことができる。いくつかの実施形態において、リンクは、ハイパーリンクであり得る。いくつかの実施形態において、患者に対する潜在的な治療は、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、および/またはホスピスを含むことができる。いくつかの実施形態において、医師は、レポートに基づいて患者についての決定(たとえば、適格性の決定)を行い得る。
【0083】
ここで図13に進むと、前述の開示を実装するための例示的なシステムが示されている。システム210は、たとえば、インターネット、イントラネット、イーサネット、LAN、WANなどを介して互いに、ならびにサーバ214および1つまたは複数のデータベースまたは他のデータリポジトリ216と通信している1つまたは複数のコンピューティングデバイス212a、212bを含み得る。コンピューティングデバイスは、別個のネットワーク218を介して追加のコンピューティングデバイス212c、212dとも通信し得る。コンピューティングデバイス212aに特別な注意が払われているが、各コンピューティングデバイスは、プロセッサ220と、1つまたは複数のコンピュータ可読媒体ドライブ222と、ネットワークインターフェース224と、1つまたは複数のI/Oインターフェース226とを含み得る。デバイス212aはまた、プロセッサにオペレーティングシステム230を実行させるように構成された命令を含むメモリ228と、心エコー検査データなどのビデオデータならびに本明細書で説明したようなEHRデータに基づいて所定の期間(すなわち、1年間)の間の患者における全死因死亡率などの重要な臨床エンドポイントを予測するための健康分析モジュール232とを含み得る。健康分析モジュール232は、図12に関連して上記で説明したプロセス100の少なくとも一部を実行するために使用され得る。
【0084】
心エコービデオに基づいて、リスクスコア(たとえば、死亡率リスクスコア)、無増悪生存(PGS(progression-free survival))スコアなどを生成するための技法の追加の例について、ここで説明する。最初に、トレーニング済みのモデルのためのネットワークアーキテクチャを設計するために使用される実験について説明する。さらに以下では、トレーニング済みのモデルのパフォーマンスが、他の技法と比較される。
【0085】
モデル設計
電子健康記録データ処理
使用された施設の心エコー検査アーカイブは、2020年1月の時点で、過去22年間にわたって収集された305282人のユニークな患者からの合計683662件の心エコー検査研究を含んでいた。すべての構造化された内科医が報告した心エコー検査由来の測定値(n=58)が、これらの研究から抽出された。さらに、施設のフェノミクスイニシアチブデータベースを通じて、心エコー検査由来の測定値は、施設のEHR(Epic Systems;1996年～現在)からの患者の人口統計(3)、バイタル(5)、検査室(2)、および問題リストデータ(90;国際疾病分類、第10回改訂版(ICD-10)コード)にリンクされた。上記のTable 3(表3)は、研究において使用された158個の「EHR変数」すべてのリストおよび説明を示す。
電子健康記録データ処理
使用された施設の心エコー検査アーカイブは、2020年1月の時点で、過去22年間にわたって収集された305282人のユニークな患者からの合計683662件の心エコー検査研究を含んでいた。すべての構造化された内科医が報告した心エコー検査由来の測定値(n=58)が、これらの研究から抽出された。さらに、施設のフェノミクスイニシアチブデータベースを通じて、心エコー検査由来の測定値は、施設のEHR(Epic Systems;1996年～現在)からの患者の人口統計(3)、バイタル(5)、検査室(2)、および問題リストデータ(90;国際疾病分類、第10回改訂版(ICD-10)コード)にリンクされた。上記のTable 3(表3)は、研究において使用された158個の「EHR変数」すべてのリストおよび説明を示す。
【0086】
すべての連続変数は、(心臓専門医によって手動で定義された)生理学的な限界外の値を除去され、これらの値は、入力エラーを反映すると推定され、欠落として設定された。心エコー検査測定値において、各々が5つの弁逆流および狭窄の重症度レベル(評価なしを含む)を報告し、それらを40個のワンホット符号化バイナリ変数に変換した8個のカテゴリ変数が識別された。拡張機能を報告する順序変数も識別され、拡張機能を、正常の場合は-1、機能障害の場合は0(グレードは報告されない)、拡張機能障害グレードI、II、およびIIIの場合は、それぞれ、1、2、および3としてコード化した。LDL、HDL、血圧、心拍数(研究において取られなかった場合)、体重、身長の測定値などの、心エコー検査に由来しない測定値については、心エコー図取得日に対して1年以内の、最新の過去の測定値が取得された。
【0087】
患者の年齢および生存期間は、心エコー図の日付の時点で計算された。患者の状態(死亡または生存)は、最後の分かっている生存時の遭遇または確認された死亡日に基づいており、これは、国の死亡指数データベースに対して毎月相互参照される。1年死亡率をラベル付けするために、ポジティブサンプルが、患者の死亡日から1年以内の心エコー検査研究として定義された。ネガティブな1年死亡率ラベルが、(死亡している場合)死亡日の1年以上前に行われた心エコー検査研究、または(生存している場合)システム内での最後の分かっている身体的遭遇として定義された。死亡日または少なくとも1年間の追跡調査(身体的な遭遇)なしの研究は、除外された。
【0088】
画像収集および前処理
心エコー検査研究は、心臓の複数のビューを含むいくつかのビデオからなる。取得されたDICOMファイルは、注釈付きビデオと、機器がそれを記憶するように構成されたときの生のビデオとを含んでいた。図8Aおよび図8Bに示すように、生のビデオは、バイトのストリームのフォーマットにおいて記憶されたビームフォーミングされた超音波画像のみを含み、注釈付きビデオは、生のビデオに加えて注釈(ビュー名など)を含んでいた。すべての分析について生のビデオが使用された。生のフォーマットにおけるビデオは、研究によってフレームレートが異なるので、すべてのビデオは、毎秒30フレームに線形補間された。
心エコー検査研究は、心臓の複数のビューを含むいくつかのビデオからなる。取得されたDICOMファイルは、注釈付きビデオと、機器がそれを記憶するように構成されたときの生のビデオとを含んでいた。図8Aおよび図8Bに示すように、生のビデオは、バイトのストリームのフォーマットにおいて記憶されたビームフォーミングされた超音波画像のみを含み、注釈付きビデオは、生のビデオに加えて注釈(ビュー名など)を含んでいた。すべての分析について生のビデオが使用された。生のフォーマットにおけるビデオは、研究によってフレームレートが異なるので、すべてのビデオは、毎秒30フレームに線形補間された。
【0089】
ビデオデータとともに、DICOMファイルは、「ビュー」と呼ばれる場合がある、各画像にその画像が取得された特定の画像の向きを示すラベルを付けるタグを含んでいた。これらのビュータグは、同じタイプのビューについて研究間でわずかな違いを有した。たとえば、心尖部4腔ビューは、「a4」、「a4 2d」、または「ap4」とタグ付けされ得る。Table 9(表9)に示すように、各ユニークなタグのサンプルは、視覚的に検査され、共通のビューにグループ化された。交差検証コホート全体について、ネガティブサンプルのために利用可能なビューの平均数は、19.4であり、四分位数は、19および22であった。ポジティブサンプルについて、平均は、18.3個のビデオであり、四分位数は、サンプルあたり18個および22個のビデオであった。ビデオの中央値は、ポジティブサンプルとネガティブサンプルの両方について20であった。研究が同じビューからの複数のビデオを有していた場合、最も長い持続時間のビデオが選択された。
【表9】
【0090】
ビューグループからの各ビデオは、潜在的に異なる寸法を有する可能性があるので、すべてのビデオは、その対応するビューの最も一般的な行および列の寸法ペアに正規化された。各フレームは、ビームフォーミングされた画像を中心に保ちながら、ビューグループ内で最も一般的な寸法に一致するようにゼロでクロップ/パディングされた。標準的な心エコー検査ビューは、解剖学的関心領域を中心とするので、画像サイズの正規化(クロップおよびパディング)は、ビデオに対して最小限の影響しか与えなかったことに留意されたい。たとえば、PL DEEPビデオの3%未満が、6行を超えてクロップまたはパディングされ、その中から、17ケースのみがクロップされ、残りは、ゼロパディングであった。一般に、境界領域は、関心のある特徴を含まなかった。
【0091】
データ選択
心エコー検査研究は、(2011年2月以降に取得された)臨床イメージングアーカイブからこの分析のために研究用サーバに抽出され、利用可能な場合、これらの研究から生のビデオデータのみが保持された。全臨床アーカイブのこの抽出されたサブセットは、上記で説明した実験を行うために3つの異なるグループに分割された(各々の特徴については、以下のTable 10(表10)において説明する)。いずれの場合も、1年を超える追跡調査、または1年以内の死亡日が分かっていた。
心エコー検査研究は、(2011年2月以降に取得された)臨床イメージングアーカイブからこの分析のために研究用サーバに抽出され、利用可能な場合、これらの研究から生のビデオデータのみが保持された。全臨床アーカイブのこの抽出されたサブセットは、上記で説明した実験を行うために3つの異なるグループに分割された(各々の特徴については、以下のTable 10(表10)において説明する)。いずれの場合も、1年を超える追跡調査、または1年以内の死亡日が分かっていた。
【表10】
【0092】
1.交差検証実験:
この実験は、臨床心エコー検査アーカイブからの事前定義された患者選択基準なしで引き出された34362人の患者から収集された812278個のビデオを用いた42095件の研究を含む。
この実験は、臨床心エコー検査アーカイブからの事前定義された患者選択基準なしで引き出された34362人の患者から収集された812278個のビデオを用いた42095件の研究を含む。
【0093】
2.心臓専門医の調査:
これらの調査は、再び、未選択の臨床データ抽出から取られたが、バランスの取れた転帰ラベル(1年において300人が死亡し、300人が生存する)を有するように設定または事前に指定された交差検証実験から除外された、600人のユニークな患者から収集された11357個のビデオを用いた600件の研究を含んでいた。
これらの調査は、再び、未選択の臨床データ抽出から取られたが、バランスの取れた転帰ラベル(1年において300人が死亡し、300人が生存する)を有するように設定または事前に指定された交差検証実験から除外された、600人のユニークな患者から収集された11357個のビデオを用いた600件の研究を含んでいた。
【0094】
3.心不全実験:
この実験は、心エコー図の時点における「確実な」eMERGEアルゴリズム基準に基づく心不全の存在に基づいて臨床アーカイブから特に選択された2404人の患者から収集された58561個のビデオを用いた3384件の研究を含んでいた。交差検証セット内の42095件の研究は、以前に公開されたコホートのサブセットである。
この実験は、心エコー図の時点における「確実な」eMERGEアルゴリズム基準に基づく心不全の存在に基づいて臨床アーカイブから特に選択された2404人の患者から収集された58561個のビデオを用いた3384件の研究を含んでいた。交差検証セット内の42095件の研究は、以前に公開されたコホートのサブセットである。
【0095】
心臓専門医の調査
上記で説明したように、心エコー図後の1年死亡率に関する最も予測可能な臨床(「EHR」)変数のうちの10個は、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能である。心臓専門医のパフォーマンスを効率的に評価するために、心エコー図の日付の患者の状態の要約としての上位10個の変数。これらの10個の測定値とともに、傍胸骨長軸ビデオも提示された。このビューは、左心室、左心房、右心室、大動脈弁、および僧帽弁の要素、および心膜液または左胸水が存在するか否かを、すべて単一のビュー内に含むので、心臓全体の健康の最も有益な「要約」ビューとして、典型的には心臓専門医によって報告される。
上記で説明したように、心エコー図後の1年死亡率に関する最も予測可能な臨床(「EHR」)変数のうちの10個は、年齢、三尖弁逆流最大速度、心拍数、低比重リポ蛋白、左心室駆出分画、拡張期圧、肺動脈加速時間、収縮期圧、肺動脈加速勾配、および拡張機能である。心臓専門医のパフォーマンスを効率的に評価するために、心エコー図の日付の患者の状態の要約としての上位10個の変数。これらの10個の測定値とともに、傍胸骨長軸ビデオも提示された。このビューは、左心室、左心房、右心室、大動脈弁、および僧帽弁の要素、および心膜液または左胸水が存在するか否かを、すべて単一のビュー内に含むので、心臓全体の健康の最も有益な「要約」ビューとして、典型的には心臓専門医によって報告される。
【0096】
心臓専門医とモデルとの間の予後精度を推定および比較するためのサンプルサイズ計算(ピアソンのカイ二乗検定)に続いて、心臓専門医は、600サンプルの調査セットを完成させた。機械と心臓専門医との間の精度の10%の違い(80%対70%)、80%の検出力、5%の有意水準、および約40%の不一致が想定された。(検出力分析ソフトウェアPASS v15を使用して実行された)計算は、少なくとも600人の患者(300人が生存しており、300人が死亡している)が必要であったことを示した。したがって、傍胸骨長軸ビューを含む300件のポジティブ研究および300件のネガティブ研究がランダムにサンプリングされ、これらの患者が交差検証セット内に残らないことを保証した。
【0097】
第1の調査は、一度に1人の患者サンプルを提示し、心臓専門医の集約された識別能力をスコアリングするように設計された。図14は、第1の調査のためのインターフェースを示す。10個のEHR変数は、ビデオの2つのバージョン（生、および注釈付き）の表において表示された。次いで、アプリケーションは、心臓専門医が「生存」ボタンまたは「死亡」ボタンのいずれかをクリックしたときに心臓専門医の予測を記録した。
【0098】
第2の調査は、ペアのサンプルを提示し、死亡率の有病率を制御しながら、各心臓専門医の識別能力を評価するように設計された。性別、年齢(5年以内)、および左心室EF(10%以内)に基づいて300ペアが準備された。300のポジティブケースすべては、ネガティブケースとペアにされ、213のネガティブは、ユニークであり、残りの87ペアは、一致基準を維持するために、すでに使用されたネガティブを含まなければならなかった。したがって、すべてのポジティブケースは、ユニークであった。図15は、ビデオ、ならびに年齢、性別、およびEFが一致した2人の患者に関する10個のEHR変数が示されたペア調査のためのインターフェースを示す。
【0099】
第3の最後の調査は、個々のサンプルと、DNNモデルから抽出された追加情報を伴うそれと同じサンプルとを、続けて提示した。機械スコアおよびオクルージョンマップは、機械情報の包含が心臓専門医の集約されたスコアパフォーマンスを改善することができるかどうかを評価するために提示された。同じ600人の患者が2回提示された。最初に、個々のサンプルが図14に示すように表示され、直後に、同じサンプルが、モデルおよびオクルージョンマップからの較正されたリスクスコアとともに示された。次いで、心臓専門医は、自分の予測を修正するかまたは繰り返した。
【0100】
心臓専門医が調査を進めている間の増加的なパフォーマンス変化を回避するために、心臓専門医は、調査を行う前に、機械予測、オクルージョンマップ、および交差検証セットからの真の転帰を有する80個の例を提示された。80個の例は、心不全のみの病歴、心筋梗塞のみの病歴、両方の病歴、およびどちらもない病歴によってグループ化された、20例の4つのグループに分けられた。4つのグループの各々は、混同行列の4つの象限の各々に入る5個の例にさらに分割された。図16は、「機械予測」行およびオクルージョンマップビデオが追加された、第3の調査のモデル支援部分のためのインターフェースを示す。
【0101】
(その後の調査の結果と前の調査を通じて得られた知識とを混合するのを回避するために)任意の調査間に個々の患者レベルの応答フィードバックが心臓専門医に提示されず、所与の心臓専門医について調査間に最低15日が経過していることに留意されたい。
【0102】
ニューラルネットワークアーキテクチャ
ここで、4つの異なるアーキテクチャ、すなわち、1)LSTM付き時間分散型2次元畳み込みニューラルネットワーク(2D CNN)、2)グローバル平均プーリング(GAP)付き時間分散型2D CNN、3)3D CNN、および4)GAP付き3D CNNが提示されている。簡単にするために、4つの候補アーキテクチャは、2D CNN+LSTM、2D CNN+GAP、3D CNN、および3D CNN+GAPのように略される。
ここで、4つの異なるアーキテクチャ、すなわち、1)LSTM付き時間分散型2次元畳み込みニューラルネットワーク(2D CNN)、2)グローバル平均プーリング(GAP)付き時間分散型2D CNN、3)3D CNN、および4)GAP付き3D CNNが提示されている。簡単にするために、4つの候補アーキテクチャは、2D CNN+LSTM、2D CNN+GAP、3D CNN、および3D CNN+GAPのように略される。
【0103】
図17は、第1のモデル300と第2のモデル304とを示す。第1のモデル300は、LSTM付き2D CNNアーキテクチャであり得る。第2のモデル304は、GAP付き2D CNNであり得る。第1のモデル300と第2のモデル304の両方は、いくつかの畳み込み層308A～Fを含むことができる。畳み込み層308A～Fのいずれかとして使用され得る例示的な畳み込み層312が示されている。いくつかの実施形態において、畳み込み層312は、第1の2D CNN層316と、第1のバッチ正規化320と、第1のReLU324と、第2の2D CNN層328と、第2のバッチ正規化332と、第2のReLU336と、2D最大プーリング層340とを含むことができる。いくつかの実施形態において、第1のモデル300および第2のモデル304のカーネル次元は、3であり得、2D最大プーリング層340は、3×3ウィンドウにおいて適用され得る。いくつかの実施形態において、第1のモデル300および第2のモデル304のカーネル次元は、5であり得、2D最大プーリング層340は、5×5ウィンドウにおいて適用され得る。
【0104】
第1のモデル300は、平坦化層344と、LSTM層348と、リスクスコア356を出力する高密度層352とを含むことができる。いくつかの実施形態において、LSTM層348は、2つのLSTMユニットを含むことができる。第1のモデル300によって出力されたリスクスコア356は、ビデオリスクスコアと呼ばれる場合がある。第2のモデル304は、GAP層360と、リスクスコア368を出力する高密度層364とを含むことができる。第2のモデル304によって出力されたリスクスコア368は、ビデオリスクスコアと呼ばれる場合がある。第1のモデル300および/または第2のモデル304が受け取ることができる入力ビデオ372について、例示的なビデオ寸法が示されている。第1のモデル300および/または第2のモデル304を使用するアプリケーションに応じて、いくつかの層サイズおよび/またはビデオサイズが調整され得ることが理解される。
【0105】
図18は、第3のモデル400と第4のモデル404とを示す。第3のモデル400は、3D CNNであり得る。第4のモデル404は、GAP付き3D CNNであり得る。第3のモデル400と第4のモデル404の両方は、いくつかの畳み込み層408A～Fを含むことができる。畳み込み層408A～Fのいずれかとして使用され得る例示的な畳み込み層412が示されている。いくつかの実施形態において、畳み込み層412は、第1の3D CNN層416と、第1のバッチ正規化420と、第1のReLU424と、第2の3D CNN層428と、第2のバッチ正規化432と、第2のReLU436と、3D最大プーリング層440とを含むことができる。いくつかの実施形態において、第3のモデル400および第4のモデル404のカーネル次元は、3であり得、3D最大プーリング層440は、3×3ウィンドウにおいて適用され得る。いくつかの実施形態において、第3のモデル400および第4のモデル404のカーネル次元は、5であり得、3D最大プーリング層440は、5×5ウィンドウにおいて適用され得る。
【0106】
第3のモデル400は、平坦化層444と、リスクスコア452を出力する高密度層448とを含むことができる。第3のモデル400によって出力されたリスクスコア452は、ビデオリスクスコアと呼ばれる場合がある。
【0107】
第4のモデル404は、GAP層456と、リスクスコア464を出力する高密度層460とを含むことができる。第4のモデル404によって出力されたリスクスコア464は、ビデオリスクスコアと呼ばれる場合がある。第3のモデル400および/または第4のモデル404が受け取ることができる入力ビデオ468について、例示的なビデオ寸法が示されている。第3のモデル400および/または第4のモデル404を使用するアプリケーションに応じて、いくつかの層サイズおよび/またはビデオサイズが調整され得ることが理解される。
【0108】
いくつかの実施形態において、第1のモデル300、第2のモデル304、第3のモデル400、および/または第4のモデル404は、ニューラルネットワーク(たとえば、畳み込みニューラルネットワークおよび/またはディープニューラルネットワーク)であり得る。第1のモデル300、第2のモデル304、第3のモデル400、および第4のモデル404のための例示的なパラメータおよび層情報は、それぞれ、以下のTable 11(表11)、Table 12(表12)、Table 13(表13)、およびTable 14(表14)において示されている。
【表11】
【表12】
【表13】
【表14】
【0109】
テストにおいて、2Dおよび3D CNNの畳み込みユニットは、以下の構成、すなわち、CNN層、バッチ正規化、ReLU、CNN層、バッチ正規化、ReLU、および最大プーリングにおける7層のシーケンスとして定義された。すべてのカーネルの次元は、3に設定され、最大プーリングは、2Dカーネルについては3×3ウィンドウ、3Dカーネルについては3×3×3において適用された。カーネルサイズをすべての次元において3ピクセルから5ピクセルに増やすことによって、4つの追加のバージョンが追加され、心エコー検査ビューごとに合計8個の候補ビデオモデルが結果として生じた。
【0110】
一般に、モデル300、304、400、404は、低パラメータ設計である。低パラメータ設計は、提示された実験の高い計算コストのため、および過剰適合の可能性を減らすために選択された。2D CNN+LSTM(たとえば、第1のモデル300)は、ビデオのすべてのフレームに分散された2D CNNブランチからなる。このアーキテクチャは、ビデオからのすべてのフレームが同じシーンまたはアクションに属するビデオ記述問題に使用された。したがって、静的特徴は、ビデオ全体で同じ2Dカーネルによって共通に見出されると想定される。この想定は、心エコー検査ビューの分類のために実践された。LSTM層は、シーケンス全体を表すベクトルを出力するために、CNNの特徴を経時的に集約する。
【0111】
2D CNN+GAP手法(たとえば、第2のモデル304)は、フレームの時間集約として、LSTM層を平均的なCNN特徴と交換した。GAP層は、2つの利点を提供し、すなわち、トレーニング可能なパラメータを必要とせず、LSTM層からの10736個のパラメータを節約し、特徴解釈を可能にした。GAP後の最終的な全結合層は、CNN特徴の加重平均を提供し、これは、最終決定においてビデオのどのセクションがより重み付けされたかを示すことができる。3D CNN手法は、入力データがネットワークを通って流れるときに時間的および空間的特徴を集約した。
【0112】
2D CNN手法とは対照的に、3D CNNは、すべての層において隣接するフレームからの情報を組み込み、ビデオ分類に有用であることも証明されている時空間依存の特徴を抽出する。3D CNN手法において、GAP層は、全結合層入力を特徴マップサイズからフィルタ数に減らした。したがって、GAP層は、パラメータ数も641から17に減らした。
【0113】
上記で説明したように、低パラメータ設計は、提示された実験の高い計算コストのため、および過剰適合の可能性を減らすために選択された。すべての実験を完了するために、合計1152個のニューラルネットワークモデル(交差検証実験のための24ビュー×5フォールド×8モデルに加えて最終バージョンのための24ビュー×8モデル)が適合し、これは、約40日間NVIDIA DGX2における16個のGPUのすべてを完全に占有した。深層学習モデルは、典型的には、数百万のパラメータからなる。たとえば、インセプションモデルは、2500万パラメータを有し、ResNetは、4000万を超えるパラメータを有し、そのように大規模なネットワークをトレーニングする計算コストを法外なものにし、開示されたモデルにおいて実証されたパフォーマンスを考えると、潜在的に不必要である。比較的大規模な開示されたモデルでさえ、20000個を超えるパラメータを含んでいた。
【0114】
いくつかの実施形態において、モデルは、Pythonバージョン3.6.8、Tensorflowモジュールバージョン1.14、およびKerasモジュールバージョン2.2.4tfとともにdockerコンテナtensorflow:19.08py3(nvcr.io/nvidia/において利用可能)を使用して実装され得る。
【0115】
交差検証手順
【0116】
上記のTable 10(表10)に記載の交差検証セットを使用して、心エコー検査研究は、5フォールドに分割され、ここで、5つの反復の各々において、1つのフォールドが試験に使用され、残りがトレーニングに使用された。フォールドの内容に対して、2つの制約、すなわち、1)同じ患者からの研究が2つ以上のフォールド内に存在することができなかったこと、および2)各フォールドがデータセット全体と同様の(1年全死因死亡率の)陽性有病率を含んでいたことが課されていた。トレーニングセットごとに、内部検証のためのテストセットの代理として、バランスの取れた有病率で10分の1の研究が確保された。DNNがトレーニングされると、損失(バイナリクロスエントロピー)が、各エポックにおいて設定された内部検証において評価された。内部検証損失が10エポックを超えて減少しなかった場合、トレーニングは、停止され、モデルの重みは、最小の検証損失において回復された。
【0117】
すべてのビデオアーキテクチャは、トレーニングセット内のすべての利用可能なビューにおいてトレーニングされた。ビューごとに、最も高いAUCを有するアーキテクチャが内部検証セットにおいて選択され、そのモデルは、すべてのその後の実験においてそのビューについてのパフォーマンスを報告するために使用された。ビューごとに選択されたアーキテクチャの要約がTable 15(表15)に示されており、PL DEEPビューの例がTable 16(表16)に示されている。EHR由来の特徴およびビデオリスクスコアが、四分位範囲スケーラと、連鎖方程式による多変量補完と、XGboost分類子とからなる分類パイプラインに適合するように、ビューごとに連結された。このパイプラインは、各トレーニングフォールドにおいて適合し、出力リスクスコアを生成するためにその対応するテストセットに適用された。
【0118】
データセット全体における死亡率の有病率は、不均衡であった(患者の14.6%が心エコー検査研究の1年以内に死亡した)ので、各クラスの重みは、以下のように設定された。
【数2】
【0119】
テストにおいて、すべてのトレーニングは、16個の利用可能なGPUの各々において各モデルを独立して適合させることによって、NVIDIA DGX2プラットフォームにおいて実行された。
【表15】
【表16】
【0120】
統計分析
すべての生存分析において、カプラン-マイヤープロットおよびコックス比例ハザード比分析について生存確率を階層化するために、心エコー検査研究から死亡または最後の分かっている生存時の遭遇(打ち切り)までの時間、および予測されたラベルが使用された。分析は、lifelines pythonパッケージバージョン0.25.4を使用して行われた。DNNモデルとSHFモデルの両方についてのしきい値は、スコア範囲における中間点として選択された。
すべての生存分析において、カプラン-マイヤープロットおよびコックス比例ハザード比分析について生存確率を階層化するために、心エコー検査研究から死亡または最後の分かっている生存時の遭遇(打ち切り)までの時間、および予測されたラベルが使用された。分析は、lifelines pythonパッケージバージョン0.25.4を使用して行われた。DNNモデルとSHFモデルの両方についてのしきい値は、スコア範囲における中間点として選択された。
【0121】
フォールドごとのAUC推定値が得られた交差検証実験について、5フォールドにわたる平均、および±1.96σ/√5で計算された95%CIが報告された。
【0122】
単一のAUCのみが利用可能だった残りの実験(心不全および調査コホート)について、AUC推定値は、10000回の反復でブートストラップされ、2.5パーセンタイルおよび97.5パーセンタイルが95%CIとして報告された。
【0123】
予測パフォーマンスをペアの調査データと比較したときの有意差を報告するために、ペアの比率テストが、300個のサンプルのうちの正解数において行われた。4人の心臓専門医の各々をDNNモデルと比較する合計4つのテストが行われ、したがって、p値補正しきい値は、0.05/4であった。統計計算について、Pythonバージョン0.11.1のための統計モデルパッケージが使用された。
【0124】
シアトル心不全実装形態
収縮期血圧、ヘモグロビン、リンパ球の形態における白血球の割合、尿酸、総コレステロール、およびナトリウムが、将来における潜在的により近い測定値を使用する代わりに、心エコー図の日付またはそれよりも前(1年以内)の最新の利用可能な測定値として定義されたこと以外は、典型的なパラメータを用いて、SHFスコアが計算された。将来の事象を予測するために、DNNモデルとSHFモデルの両方は、心エコー図が取得された日以降に収集されたデータを知らされていなかった。
収縮期血圧、ヘモグロビン、リンパ球の形態における白血球の割合、尿酸、総コレステロール、およびナトリウムが、将来における潜在的により近い測定値を使用する代わりに、心エコー図の日付またはそれよりも前(1年以内)の最新の利用可能な測定値として定義されたこと以外は、典型的なパラメータを用いて、SHFスコアが計算された。将来の事象を予測するために、DNNモデルとSHFモデルの両方は、心エコー図が取得された日以降に収集されたデータを知らされていなかった。
【0125】
心不全のサブタイプの定義
心不全のタイプ(すなわち、駆出分画低下対駆出分画維持)は、1)任意のLVEF≦50%の場合、駆出分画が低下した心不全(HFrEF)、2)すべてのLVEF≧50%の場合、駆出分画が維持された心不全(HFpEF)、3)LVEFが報告されなかった場合、サブタイプが割り当てられない、のように、心不全診断の6ヶ月前までの過去のすべての利用可能な駆出分画測定値を用いて、サンプルごとに決定された。
心不全のタイプ(すなわち、駆出分画低下対駆出分画維持)は、1)任意のLVEF≦50%の場合、駆出分画が低下した心不全(HFrEF)、2)すべてのLVEF≧50%の場合、駆出分画が維持された心不全(HFpEF)、3)LVEFが報告されなかった場合、サブタイプが割り当てられない、のように、心不全診断の6ヶ月前までの過去のすべての利用可能な駆出分画測定値を用いて、サンプルごとに決定された。
【0126】
パフォーマンス評価
最初に、DNNモデルは、臨床的に取得された心エコー検査ビデオデータベース(812278個のビデオ)において交差検証された。独立したモデルは、個々のビュー(傍胸骨長軸、心尖部四腔など)のためにトレーニングされ、個々のビューモデルからの出力からなる特徴ベクトルを形成するために集約された。平均して、組み合わされたすべての心エコー検査ビデオビューを使用することは、58EDM(AUC:0.75、95%CI)、または58EDM、関連する心臓血管関連の診断、検査値、人口統計、およびバイタルサインを含む100個の追加の臨床変数の組合せ(AUC:0.81、95%CI)のいずれかを使用することよりも、1年死亡率を予測することについてより高いパフォーマンス(受信者動作特性曲線下面積(AUC):0.83、95%CI)をもたらした。すべてのビューと158個のEHR由来の測定値とを組み合わせた最大のモデルは、0.84のAUC、95%CIをもたらした。個々のビューモデルは、0.700.80のAUCのパフォーマンスの範囲であり、傍胸骨長軸ビューが最高の個々のパフォーマンスを生じた。最後に、将来の心血管疾患の臨床標準基準であるPCEスコアが、同じサンプルについて計算された。PCEスコアは、1年死亡率予測について0.64のAUC(95%CI)をもたらし、これは、テストされたすべてのDNNモデルよりも劣っていた。
最初に、DNNモデルは、臨床的に取得された心エコー検査ビデオデータベース(812278個のビデオ)において交差検証された。独立したモデルは、個々のビュー(傍胸骨長軸、心尖部四腔など)のためにトレーニングされ、個々のビューモデルからの出力からなる特徴ベクトルを形成するために集約された。平均して、組み合わされたすべての心エコー検査ビデオビューを使用することは、58EDM(AUC:0.75、95%CI)、または58EDM、関連する心臓血管関連の診断、検査値、人口統計、およびバイタルサインを含む100個の追加の臨床変数の組合せ(AUC:0.81、95%CI)のいずれかを使用することよりも、1年死亡率を予測することについてより高いパフォーマンス(受信者動作特性曲線下面積(AUC):0.83、95%CI)をもたらした。すべてのビューと158個のEHR由来の測定値とを組み合わせた最大のモデルは、0.84のAUC、95%CIをもたらした。個々のビューモデルは、0.700.80のAUCのパフォーマンスの範囲であり、傍胸骨長軸ビューが最高の個々のパフォーマンスを生じた。最後に、将来の心血管疾患の臨床標準基準であるPCEスコアが、同じサンプルについて計算された。PCEスコアは、1年死亡率予測について0.64のAUC(95%CI)をもたらし、これは、テストされたすべてのDNNモデルよりも劣っていた。
【0127】
DNNを用いた心エコー検査ビデオから1年死亡率を予測するための交差検証実験からのこの概念証明を考慮すると、DNNモデルは、交差検証実験からの812278個のビデオを使用して再トレーニングされ、患者の2つの新しい別個のグループにおけるパフォーマンスを評価した。第1のグループは、1年死亡率転帰についてバランスの取れた600人の患者(すなわち、心エコー検査後に1年間生存した300人の患者および1年以内に死亡した300人の患者)の独立したセット(調査セット)であった。第2のグループは、3384件の心エコー検査を受けた2404人の(eMERGEガイドラインによって「明確な」心不全として定義された)心不全患者のコホートであった。
【0128】
調査セットは、心エコー検査における4人の熟練した心臓専門医、3つのコア心臓血管トレーニングステートメント(COCATS(Core Cardiovascular Training Statement))レベル3、および1つのレベル2のパフォーマンスを評価するために使用された。心臓専門医は、心エコー図の1年後に各患者が生存しているかまたは死亡しているかを判定するように別々に盲検的に求められた。心臓専門医のパフォーマンスを効率的に評価するために、傍胸骨長軸ビュー(最も高いパフォーマンスの個別ビュー)からの単一のビデオの限られた入力セット、および10個のEHR変数が、それらのパフォーマンスを同じ入力セットにおいてトレーニングされたモデルと比較するために提示された。心臓専門医の回答からのリスクスコアは、患者ごとの陽性予測(1年以内に死亡した)の数を集約することによって作成された。DNNモデルは、0.84のAUC、95%CIをもたらし、集約された心臓専門医スコアは、劣った0.68のAUC、95%CIをもたらした。
【0129】
心臓専門医と比較されたDNNモデルのパフォーマンスをさらに評価するために、調査セットは、一致するペアを示すように再配置された。実験間に個人レベルのフィードバックは、心臓専門医に提供されなかった。第2の調査において、心臓専門医およびモデルは、一度に2つの研究を提示され、一方の研究は、心エコー図から1年以内に死亡した患者からのものであり、他方の研究は、心エコー図から1年を超えて生存した患者からのものであった。心臓専門医とモデルの両方は、各ペアから1年において死亡する可能性がより高い患者を選択するように求められた。300ペアが、性別、年齢(5年以内)、および左心室駆出分画(EF)(10%の絶対差以内)によって一致された。この調査は、転帰有病率を制御し、識別パフォーマンスを直接測定するように設計された。DNNモデルは、82%の精度をもたらし、4人の心臓専門医は、66、70、73、および76%を得点した。より高齢の患者またはより低いEFをポジティブサンプルとして選択するような単純なヒューリスティックは、それぞれ、43%(131サンプル)および36%(108サンプル)の精度を結果として生じたことに留意されたい。ペア割合テストを使用して、モデルは、多重比較について補正した後、4人の心臓専門医のうちの3人よりも有意に高いパフォーマンスを示した(p<0.05/4)。
【0130】
次に、心臓専門医がモデルによって支援されたときにそのパフォーマンスを改善したかどうかが評価された。第1の調査と同様に、一度に単一の研究が示され、心臓専門医の予測を収集し、次いで、機械予測スコアとともに同じ研究をすぐに提示した。集約された心臓専門医スコアAUCは、モデル予測からの支援によって0.72、95%CIから0.78、95%CIに改善し、これは、DNNパフォーマンスとわずかに重複する。調査において、平均して、心臓専門医は、その予測の10.3%を正しく変更し、その予測の3.8%を誤って変更した。感度は、13%上昇し、特異度は、平均1%未満低下した。
【0131】
完全にトレーニングされたDNNモデル(すべてのビュー+EHR)が適用された患者の第2のグループは、3384回の心エコー検査を受けた2404人の(eMERGEガイドラインによって「明確な」心不全として定義された)心不全患者のコホートであった。心不全は、蔓延しており、費用がかかり、心不全の管理は、SHFリスクスコアなどの生存予測モデルに大きく依存しているので、患者のこのグループは、重要な追加の臨床検証として選択された。このコホート内で、SHFスコアは、0.70のAUC、95%CIをもたらし、DNNモデルは、0.76のAUC、95% CIをもたらした。特に、DNNのこの優れたパフォーマンスは、EFが低下した患者(HFrEF)とEFが維持された患者(HFpEF)の両方について観察され、Table 16(表16)を参照されたい。
【0132】
予測は、高リスクと低リスクとを区別するために、DNNモデル(0.5)およびSHFスコア(1.5)のミッドレンジのしきい値に基づいて計算された。スコアの範囲は、DNNモデルについて0から1であり、SHFモデルについて1から4であった。
【0133】
最後に、DNNモデルが心エコー検査ビデオからどのような特徴を学習していたかが調査された。これを行うため、サンプルビデオは、10×10×10の三次元ボクセルを用いて閉塞され、その特定の領域を閉塞した結果として生じる尤度スコアの差が計算された。閉塞の結果は、ビデオであるので、第1のフレームおよび重ねられた赤色の領域は、少なくとも10フレームのリスクスコアの有意な変化(>2.5標準偏差)を示すために表示された。これらの閉塞実験は、1年以内に死亡した最も高い予測スコアを有する4人の患者、および1年を超えて生存した最も低い予測スコアを有する4人の患者を対象とした。これらの患者は、第1の交差検証実験フォールドのテストセットから選択された。高リスク患者について、閉塞は、リスクスコアを減少させ、低リスク患者について、閉塞は、リスクスコアを増加させることに留意されたい。一般に、最も影響力のある領域は、心臓の解剖学的に関連する領域、特に、左心房、左心室、ならびに僧帽弁面および大動脈弁面と一致したことが観察された。これらの領域は、より低いリスクのビデオにおいては、より制限され、局所化されているように見えたのに対し、より高いリスクのビデオは、周囲の解剖学的構造をさらに活用しているように見えたが、閉塞マップのいくつかの例を心臓専門医に提示したとき、心臓専門医は、患者の生存転帰をより良く識別するのに役立つパターンを特定できなかったと個人の見解に基づいて報告した。
【0134】
要約すると、1年全死因死亡率を予測する重要な臨床タスクで内科医を支援するニューラルネットワークの能力が実証された。1年死亡率を識別するDNNモデルの能力は、EHRからの画像由来の標準的な臨床測定値ならびに複数の既存の臨床リスクスコアのみを活用するモデルの能力を上回った。さらに、DNNモデルは、4人のトレーニングされた心臓専門医の予測パフォーマンスを向上させた。したがって、この心エコー検査ビデオベースのDNNモデルは、標準的な臨床的解釈を超える価値を付加することができる。
【0135】
生存は、非常に重要で明白な臨床転帰として選択され、PFSなどの他の転帰が使用され得る。心エコー検査における観察者の変動が、人間が定義した転帰を予測するために存在する場合がある場合であっても、死亡率ラベルの使用は、この課題を排除しないとしても最小限に抑えるのに役立つことができる。予測パフォーマンスを改善することは、待機的手術の前の患者リスク評価を直接改善する可能性があり、または外来患者の設定における心血管疾患の一次予防と二次予防の両方のための治療ガイダンスに影響をおよぼす可能性がある。また、集団レベルにおいて、心不全患者のEHR変数のみを使用して以前に実証されたように、改善された死亡率リスクモデルは、健康システムおよび保険業者が自身の患者集団をより良く理解し、リソースを最適に展開することを可能にする可能性がある。特に心不全について、心臓移植および耐久性のある機械的支援デバイスの埋め込みなどの高度な治療に対する患者候補を決定するための方法は、歴史的に、ピーク酸素消費量と侵襲的血行動態とに部分的に基づく死亡率リスク評価に依存している。心不全患者における除細動器配置に関する考慮事項も、1年を超える有意義な生存の合理的な期待に基づいている。より正確な死亡率ベースのリスクツールの実装は、付加的な利益を有する場合がある。最後に、1年死亡率の推定は、緩和ケアおよびホスピスへの移行を計画するために特に重要である。将来の入院、または弁置換などの大きな処置の必要性など、心臓病学における追加の臨床的に関連する転帰を予測するためにニューラルネットワークモデルのパフォーマンスを評価するために、さらなる研究が必要である。
【0136】
ここで図19を参照すると、例示的なトレーニング済みのモデル500が示されている。いくつかの実施形態において、モデル500は、患者に関連する少なくとも1個の心エコービデオ504および/またはEHRデータ508を受信することができる。いくつかの実施形態において、EHR情報は、Table 3(表3)におけるパラメータなどのいくつかの患者パラメータの値を含むことができる。いくつかの実施形態において、モデル500は、いくつかのトレーニング済みのビデオモデル512を含むことができる。いくつかのトレーニング済みのビデオモデル512に含まれる各ビデオモデルは、心エコービューに関連付けられ得る。いくつかの実施形態において、いくつかのトレーニング済みのビデオモデル512に含まれる各ビデオモデルは、Table 9(表9)および/またはTable 4(表4)内に含まれるユニークな心エコービューに関連付けられ得る。いくつかの実施形態において、いくつかのトレーニング済みのビデオモデル512は、第1のモデル300、第2のモデル304、第3のモデル400、および/または第4のモデル404を含むことができる。トレーニング済みのビデオモデル512内に含まれる各トレーニング済みのモデルは、各心エコービューごとに最高のパフォーマンス(たとえば、最高のAUC)のモデルアーキテクチャを決定することによって選択され得る。たとえば、第1の心エコービューについては、第1のモデル300が最良である場合があり、第2の心エコービューについては、第4のモデル400が最良である場合がある。
【0137】
いくつかの実施形態において、トレーニング済みのモデル500は、少なくとも1つの心エコービデオ504を受信し、少なくとも1つの心エコービデオ504内の各心エコービデオを、いくつかのトレーニング済みのビデオモデル512内のトレーニング済みのビデオモデルに提供し、いくつかのトレーニング済みのビデオモデル512の各々からリスクスコア(たとえば、ビデオリスクスコア)を受信することができる。いくつかの実施形態において、トレーニング済みのモデル500は、各リスクスコアおよび/またはEHRデータ508をトレーニング済みのサブモデル516に提供することができる。いくつかの実施形態において、トレーニング済みのサブモデル516は、各リスクスコアおよび/またはEHRデータ508を受信し、死亡率リスクスコア520(たとえば、全死因死亡率リスクスコア)および/または無増悪生存スコアなどの出力値を生成することができる。
【0138】
ここで図20を参照すると、心臓のビデオ(この場合、心エコー検査データ)ならびに任意の追加の利用可能なEHRデータに基づいて所定の期間(たとえば、1年間)の間の患者における全死因死亡率などの関連する臨床エンドポイントを予測するための別の例示的なプロセス600が示されている。いくつかの実施形態において、プロセス600は、上記で説明したように心エコービデオなどの心臓のビデオおよびEHR変数を使用してトレーニングされた、畳み込みニューラルネットワークなどのディープニューラルネットワークであり得るニューラルネットワークに基づいて、患者についてのリスクスコアを予測することができる。いくつかの実施形態において、プロセス600は、患者を治療するため、または患者の集団レベル管理のために、内科医、たとえば、心不全の1万人の患者の集団全体にリソースを配備する内科医を含むケアチームによって使用される健康分析モジュールにおいて採用され得る。いくつかの実施形態において、プロセス600は、少なくとも1つのメモリ上に命令(たとえば、コンピュータ可読命令)として実装され、少なくとも1つのメモリに結合された1つまたは複数のプロセッサによって実行され得る。
【0139】
602において、プロセス600は、患者に関連付けられた心臓のいくつかの心エコービデオを受信することができる。各心エコービデオは、心エコー検査ビデオフレームを含むことができる。ビデオフレームは、患者の心臓の1つまたは複数のビューから取られたビデオフレームを含むことができる。たとえば、ビデオフレームは、心臓の21個の異なるビューにおいて取られたビデオフレームを含むことができる。いくつかの実施形態において、心エコービデオは、心尖部二腔ビュー、心尖部三腔ビュー、心尖部四腔ビュー、右心室に焦点を合わせた心尖部四腔ビュー、心尖部五腔ビュー、傍胸骨長軸ビュー、傍胸骨長下行大動脈ビュー、傍胸骨長僧帽弁ビュー、傍胸骨長肺動脈弁ビュー、傍胸骨長右心室流入ビュー、傍胸骨長ズーム大動脈弁ビュー、傍胸骨短大動脈弁ビュー、傍胸骨短肺動脈弁および肺動脈ビュー、傍胸骨短三尖弁ビュー、短軸心尖ビュー、短軸ベースビュー、短軸中央乳頭ビュー、肋骨下四腔ビュー、肋骨下肝静脈ビュー、肋骨下心房中隔ビュー、肋骨下下大静脈ビュー、肋骨下右心室ビュー、胸骨上窩ビュー、短軸中央乳頭ビュー、短軸心尖ビュー、心尖部三腔ズームビュー、心尖部二腔ズームビュー、および/または短軸ベースビューを含む1つまたは複数の心エコービューに関連付けられ得る。次いで、プロセス600は、604に進むことができる。
【0140】
604において、プロセス600は、患者に関連するパラメータのいくつかの値を含むEHRデータを受信することができる。いくつかの実施形態において、604は、図12における104と実質的に同じであり得る。次いで、プロセス600は、606に進むことができる。
【0141】
606において、プロセス600は、いくつかの心エコービデオとEHRデータとをトレーニング済みのモデルに提供することができる。いくつかの実施形態において、トレーニング済みのモデルは、図19におけるモデル500であり得る。いくつかの実施形態において、プロセス600は、各心エコービデオを、トレーニング済みのモデル内に含まれる関連するトレーニング済みのビデオモデル(たとえば、ビデオと同じ心エコービューに関連付けられたトレーニング済みのビデオモデル)に提供することができる。いくつかの実施形態において、プロセス600は、心エコービデオに基づいてトレーニング済みのビデオモデルによって生成されたリスクスコア(ビデオリスクスコア)とともに、EHRデータをトレーニング済みのサブモデル(たとえば、モデル500内のサブモデル516)に提供することができる。606において、プロセス600は、トレーニング済みのモデルを使用して心臓の1つまたは複数の領域を分析することができる。いくつかの実施形態において、プロセス600は、左心室、左心室、僧帽弁、および/または大動脈弁を含む心臓の1つまたは複数の領域を分析することができる。次いで、プロセス600は、プロセス608に進むことができる。
【0142】
608において、プロセス600は、トレーニング済みのモデルからリスクスコアを受信することができる。いくつかの実施形態において、リスクスコアは、図19におけるリスクスコア520であり得る。いくつかの実施形態において、リスクスコアは、死亡率リスクスコアであり得る。いくつかの実施形態において、リスクスコアは、無増悪生存スコアであり得る。次いで、プロセス600は、610に進むことができる。
【0143】
610において、プロセス600は、医師またはヘルスケア管理者によって閲覧するために、生のリスクスコアをメモリまたはディスプレイのうちの少なくとも1つに出力することができる。いくつかの実施形態において、プロセス600は、リスクスコアに基づいてレポートを生成および出力することができる。レポートは、生のリスクスコアを含むことができる。レポートは、リスクスコアに基づいて生成された任意の適切なグラフおよび/またはチャートを含むことができる。レポートは、コンピュータモニタ、またはタブレットコンピュータ、スマートフォン、ラップトップコンピュータなどに統合された画面などのディスプレイを使用して内科医に表示され得る。いくつかの実施形態において、レポートは、メモリを含む記憶デバイスに出力され得る。いくつかの実施形態において、レポートは、患者に対する潜在的な治療に関する情報、および/または患者に対する潜在的な治療に関する情報へのリンクを含むことができる。いくつかの実施形態において、リンクは、ハイパーリンクであり得る。いくつかの実施形態において、患者に対する潜在的な治療は、心臓移植、機械的支援デバイスの埋め込み、除細動器の配置、緩和ケア、および/またはホスピスを含むことができる。いくつかの実施形態において、医師は、レポートに基づいて患者についての決定(たとえば、適格性の決定)を行い得る。
【0144】
結論として、ディープニューラルネットワークを用いて医療ビデオから臨床的に関連する予測情報を抽出するための方法論およびアーキテクチャが開示される。
【0145】
したがって、本明細書で説明されているように、本開示は、心臓の解剖学的構造および機能を評価し、将来の臨床事象を予測するために、心エコー検査中に取得されたビデオなどの心臓のビデオを効率的かつ正確に分析するためのシステムおよび方法を提供する。
【0146】
本開示は、様々な修正および代替形態が可能であり得るが、特定の実施形態が、図面において例として示され、本明細書において詳細に説明されている。しかしながら、本開示は、開示されている特定の形態に限定されることを意図していないことが理解されるべきである。むしろ、本開示は、以下の添付の特許請求の範囲によって定義される本開示の要旨および範囲内に入るすべての修正物、同等物、および代替物をカバーする。
【0147】
この書面の説明は、最良の形態を含めて、本開示を開示するため、また、任意のデバイスまたはシステムを作成および使用することと任意の組み込まれた方法を実行することとを含めて、本開示を当業者が実施することを可能にするために例を使用する。本開示の特許性を有する範囲は、特許請求の範囲によって定義され、当業者に思い浮かぶ他の例を含み得る。そのような他の例は、それらが特許請求の範囲の文言と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の文言と実質的な相違のない同等の構造要素を含む場合、特許請求の範囲内にあることを意図している。
【0148】
最後に、本明細書で説明されているプロセスまたはステップのいずれかが組み合わされ、排除され、または並べ替えられ得ることが明確に企図されている。したがって、この説明は、例としてのみ解釈されることを意図しており、この本開示の範囲を他の方法で限定することを意図していない。
【符号の説明】
【0149】
10 ニューラルネットワークアーキテクチャ
210 システム
212a コンピューティングデバイス、デバイス
212b コンピューティングデバイス
212c コンピューティングデバイス
212d コンピューティングデバイス
214 サーバ
216 データリポジトリ
218 ネットワーク
220 プロセッサ
222 コンピュータ可読媒体ドライブ
224 ネットワークインターフェース
226 I/Oインターフェース
228 メモリ
230 オペレーティングシステム
232 健康分析モジュール
300 第1のモデル
304 第2のモデル
308A～F 畳み込み層
312 畳み込み層
316 第1の2D CNN層
320 第1のバッチ正規化
324 第1のReLU
328 第2の2D CNN層
332 第2のバッチ正規化
336 第2のReLU
340 2D最大プーリング層
344 平坦化層
348 LSTM層
352 高密度層
356 リスクスコア
360 GAP層
364 高密度層
368 リスクスコア
372 入力ビデオ
400 第3のモデル
404 第4のモデル
408A～F 畳み込み層
412 畳み込み層
416 第1の3D CNN層
420 第1のバッチ正規化
424 第1のReLU
428 第2の3D CNN層
432 第2のバッチ正規化
436 第2のReLU
440 3D最大プーリング層
444 平坦化層
448 高密度層
452 リスクスコア
456 GAP層
460 高密度層
464 リスクスコア
468 入力ビデオ
500 トレーニング済みのモデル、モデル
504 心エコービデオ
508 EHRデータ
512 トレーニング済みのビデオモデル
516 トレーニング済みのサブモデル
520 死亡率リスクスコア
210 システム
212a コンピューティングデバイス、デバイス
212b コンピューティングデバイス
212c コンピューティングデバイス
212d コンピューティングデバイス
214 サーバ
216 データリポジトリ
218 ネットワーク
220 プロセッサ
222 コンピュータ可読媒体ドライブ
224 ネットワークインターフェース
226 I/Oインターフェース
228 メモリ
230 オペレーティングシステム
232 健康分析モジュール
300 第1のモデル
304 第2のモデル
308A～F 畳み込み層
312 畳み込み層
316 第1の2D CNN層
320 第1のバッチ正規化
324 第1のReLU
328 第2の2D CNN層
332 第2のバッチ正規化
336 第2のReLU
340 2D最大プーリング層
344 平坦化層
348 LSTM層
352 高密度層
356 リスクスコア
360 GAP層
364 高密度層
368 リスクスコア
372 入力ビデオ
400 第3のモデル
404 第4のモデル
408A～F 畳み込み層
412 畳み込み層
416 第1の3D CNN層
420 第1のバッチ正規化
424 第1のReLU
428 第2の3D CNN層
432 第2のバッチ正規化
436 第2のReLU
440 3D最大プーリング層
444 平坦化層
448 高密度層
452 リスクスコア
456 GAP層
460 高密度層
464 リスクスコア
468 入力ビデオ
500 トレーニング済みのモデル、モデル
504 心エコービデオ
508 EHRデータ
512 トレーニング済みのビデオモデル
516 トレーニング済みのサブモデル
520 死亡率リスクスコア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】