(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-27
(45)【発行日】2024-06-04
(54)【発明の名称】モバイルデバイスを用いたユーザの健康状態の継続的監視
(51)【国際特許分類】
A61B 5/00 20060101AFI20240528BHJP
A61B 5/02 20060101ALI20240528BHJP
A61B 5/0245 20060101ALI20240528BHJP
A61B 5/11 20060101ALI20240528BHJP
【ＦＩ】
A61B5/00 102A
A61B5/02 310A
A61B5/0245 100B
A61B5/11 200
【請求項の数】
19
(21)【出願番号】P 2021518617
(86)(22)【出願日】2019-10-04
(65)【公表番号】
(43)【公表日】2022-01-11
(86)【国際出願番号】 US2019054881
(87)【国際公開番号】W WO2020073012
(87)【国際公開日】2020-04-09
【審査請求日】2022-10-03
(31)【優先権主張番号】16/153,345
(32)【優先日】2018-10-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】512318556
【氏名又は名称】アライヴコア・インコーポレーテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アレクサンダー・ヴァイニウス・ヴァリス
(72)【発明者】
【氏名】フランク・ロサッソ・ペターソン
(72)【発明者】
【氏名】コナー・ダニエル・クロス・ギャロウェイ
(72)【発明者】
【氏名】デイヴィッド・イー・アルバート
(72)【発明者】
【氏名】ラヴィ・ゴパラクリシュナン
(72)【発明者】
【氏名】レヴ・コルジノヴ
(72)【発明者】
【氏名】フェイ・ワン
(72)【発明者】
【氏名】ユアン・トムソン
(72)【発明者】
【氏名】ヌプール・スリヴァスタヴァ
(72)【発明者】
【氏名】オマール・ダウッド
(72)【発明者】
【氏名】イマン・アブゼイド
【審査官】磯野 光司
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０２３８８１４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０２４２８６３（ＵＳ，Ａ１）
【文献】特表２０１８－５１９１２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－５／３９８
(57)【特許請求の範囲】
【請求項1】
処理デバイスと、前記処理デバイスに動作可能に結合されたフォトプレチスモグラフィ(「PPG」)センサと、
前記処理デバイスに動作可能に結合されたモーションセンサと、
前記処理デバイスに動作可能に結合されたメモリと
を備える、ユーザの異常な健康指標の存在を検出するためのスマートウォッチであって、前記メモリが、記憶された命令を有し、前記命令が、処理デバイスによって実行されると、
前記PPGセンサから生のPPG波形信号を受信する動作と、
前記モーションセンサからモーションセンサデータを受信する動作と、
前記生のPPG波形信号および前記モーションセンサデータを、前記ユーザの健康指標データが異常であるかどうかを検出するように以前の生のPPG波形信号および以前のモーションセンサデータに基づいて訓練された機械学習アルゴリズムに入力する動作と、
前記機械学習アルゴリズムによって、前記生のPPG波形信号および前記モーションセンサデータに基づいて前記ユーザの健康指標データが異常であることを検出する動作であって、前記ユーザの健康指標データが異常であることを検出することは、前記ユーザの健康指標データと前記機械学習アルゴリズムによって前記生のPPG波形信号および前記モーションセンサデータに基づいて予測される健康指標データとの差が正常とみなされるしきい値を超えることに基づく、動作と、
前記検出された異常な健康指標データの通知を生成する動作と
を前記処理デバイスに実行させる、
スマートウォッチ。
【請求項2】
前記処理デバイスが、前記生のPPG波形に基づいて心拍数波形信号を生成する動作と、
前記心拍数波形信号を前記生のPPG波形信号とともに前記機械学習アルゴリズムに入力する動作と
をさらに行うものである、請求項1に記載のスマートウォッチ。
【請求項3】
前記処理デバイスが、前記生のPPG波形から心拍変動(「HRV」)信号を抽出する動作と、
前記HRV信号を前記生のPPG波形とともに前記機械学習アルゴリズムに入力する動作と
をさらに行うものである、請求項1に記載のスマートウォッチ。
【請求項4】
前記処理デバイスが、前記生のPPG波形信号から1つまたは複数の特徴を抽出する動作と、
前記1つまたは複数の特徴を前記生のPPG波形とともに前記機械学習アルゴリズムに入力する動作と
をさらに行うものである、請求項1に記載のスマートウォッチ。
【請求項5】
前記処理デバイスに結合されたECGセンサをさらに備え、前記処理デバイスがさらに、前記異常な健康指標データの存在を検出したことに応答して、前記ECGセンサを使用してECGを記録するものである、請求項1に記載のスマートウォッチ。
【請求項6】
前記処理デバイスに結合されたECGセンサをさらに備え、前記処理デバイスが、前記検出された異常な健康指標を前記ユーザに通知する動作と、前記ECGセンサを使用してECGを記録する動作とをさらに行うものである、請求項1に記載のスマートウォッチ。
【請求項7】
前記異常な健康指標データが不整脈の指標である、請求項1に記載のスマートウォッチ。
【請求項8】
ユーザの健康指標を検出するための方法であって、処理デバイスによって、PPGセンサから心拍変動(HRV)信号を受信するステップと、
前記処理デバイスによって、モーションセンサからモーションセンサデータを受信するステップと、
前記処理デバイスによって、前記HRV信号および前記モーションセンサデータを、前記ユーザの健康指標データが異常であるかどうかを検出するように、以前のHRV信号および以前のモーションセンサデータに基づいて訓練された機械学習アルゴリズムに入力するステップと、
前記機械学習アルゴリズムによって、前記HRV信号および前記モーションセンサデータに基づいて前記ユーザの健康指標データが異常であることを検出するステップであって、前記ユーザの健康指標データが異常であることを検出することは、前記ユーザの健康指標データと前記機械学習アルゴリズムによって前記HRV信号および前記モーションセンサデータに基づいて予測される健康指標データとの差が正常とみなされるしきい値を超えることに基づく、ステップと、
前記検出された異常な健康指標データの通知を生成するステップと
を含む、方法。
【請求項9】
前記PPGセンサからの生のPPG波形信号に基づいて心拍数波形信号を生成するステップと、前記心拍数波形信号を前記生のPPG波形信号とともに前記機械学習アルゴリズムに入力するステップと
をさらに含む、請求項8に記載の方法。
【請求項10】
前記PPGセンサからの生のPPG波形信号から1つまたは複数の特徴を抽出するステップと、前記1つまたは複数の特徴を前記生のPPG波形とともに前記機械学習アルゴリズムに入力するステップと
をさらに含む、請求項8に記載の方法。
【請求項11】
前記異常な健康指標データの存在の検出に応答して、ECGセンサを使用してECGを記録するステップをさらに含む、請求項8に記載の方法。
【請求項12】
前記検出された異常な健康指標データを前記ユーザに通知し、ECGセンサを使用してECGを記録するステップをさらに含む、請求項8に記載の方法。
【請求項13】
前記異常な健康指標データが不整脈の指標である、請求項8に記載の方法。
【請求項14】
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、処理デバイスによって実行されると、PPGセンサから生のフォトプレチスモグラフィ(「PPG」)波形信号を受信する動作と、
モーションセンサからモーションセンサデータを受信する動作と、
前記生のPPG波形信号および前記モーションセンサデータを、ユーザの健康指標データが異常であるかどうかを検出するように、以前の生のPPG波形信号および以前のモーションセンサデータに基づいて訓練された機械学習アルゴリズムに入力する動作と、
前記機械学習アルゴリズムによって、前記生のPPG波形信号および前記モーションセンサデータに基づいて前記ユーザの健康指標データが異常であることを検出する動作であって、前記ユーザの健康指標データが異常であることを検出することは、前記ユーザの健康指標データと前記機械学習アルゴリズムによって前記生のPPG波形信号および前記モーションセンサデータに基づいて予測される健康指標データとの差が正常とみなされるしきい値を超えることに基づく、動作と、
前記検出された異常な健康指標データの通知を生成する動作と
を前記処理デバイスに実行させる、
非一時的コンピュータ可読記憶媒体。
【請求項15】
前記命令が、前記生のPPG波形信号に基づいて心拍数波形信号を生成する動作と、
前記心拍数波形信号を前記生のPPG波形信号とともに前記機械学習アルゴリズムに入力する動作と
を前記処理デバイスにさらに実行させる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記命令が、前記生のPPG波形信号から心拍変動(「HRV」)信号を抽出する動作と、
前記HRV信号を前記生のPPG波形信号とともに前記機械学習アルゴリズムに入力する動作と
を前記処理デバイスにさらに実行させる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記命令が、不整脈の存在の検出に応答して、ECGセンサを使用して前記処理デバイスにECGをさらに記録させる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記命令が、前記検出された異常な健康指標データをユーザに通知する動作と、ECGセンサを使用してECGを記録する動作とを前記処理デバイスにさらに実行させる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記モーションセンサデータを前記機械学習アルゴリズムに入力するために、前記命令は、前記モーションセンサデータに基づいて活動レベル信号を前記処理デバイスにさらに生成させる、請求項14に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、出願が参照により本明細書に組み込まれている、2013年12月12日に出願した米国仮出願第61/915,113号の利益を主張する、現在では2016年8月23日に発行された米国特許第9,420,956号である、2014年12月12日に出願した米国出願第14/569,513号の継続である、現在では2017年2月21日に発行された米国特許第9,572,499号である、2015年6月3日に出願した米国出願第14/730,122号の継続である、2016年12月28日に出願した米国出願第15/393,077号の一部継続である、2018年10月5日に出願した米国出願16/153,345号、出願が参照により本明細書に組み込まれている、2014年3月14日に出願した米国仮出願第61/953,616号、2014年3月21日に出願した米国仮出願第61/969,019号、2014年3月26日に出願した米国仮出願第61/970,551号、および出願が参照により本明細書に組み込まれている、2014年6月19日に出願した米国仮出願第62/014,516号の優先権を主張するものである。本出願はまた、その内容全体が参照により本明細書に組み込まれている、2017年10月6日に出願した米国仮出願第62/569,309号、およびその内容全体が参照により本明細書に組み込まれている、2017年11月21日に出願した米国仮出願第62,589,477号の利益を主張するものである。
本出願は、出願が参照により本明細書に組み込まれている、2013年12月12日に出願した米国仮出願第61/915,113号の利益を主張する、現在では2016年8月23日に発行された米国特許第9,420,956号である、2014年12月12日に出願した米国出願第14/569,513号の継続である、現在では2017年2月21日に発行された米国特許第9,572,499号である、2015年6月3日に出願した米国出願第14/730,122号の継続である、2016年12月28日に出願した米国出願第15/393,077号の一部継続である、2018年10月5日に出願した米国出願16/153,345号、出願が参照により本明細書に組み込まれている、2014年3月14日に出願した米国仮出願第61/953,616号、2014年3月21日に出願した米国仮出願第61/969,019号、2014年3月26日に出願した米国仮出願第61/970,551号、および出願が参照により本明細書に組み込まれている、2014年6月19日に出願した米国仮出願第62/014,516号の優先権を主張するものである。本出願はまた、その内容全体が参照により本明細書に組み込まれている、2017年10月6日に出願した米国仮出願第62/569,309号、およびその内容全体が参照により本明細書に組み込まれている、2017年11月21日に出願した米国仮出願第62,589,477号の利益を主張するものである。
【背景技術】
【0002】
個人の生理学的健康の指標(「健康指標」)、例えば、限定ではなく、2～3例を挙げると、心拍数、心拍数変動、血圧、およびECG(心電図)は、健康指標を測定するために収集されたデータから、任意の個別の時点において測定または計算され得る。多くの場合、特定の時点における健康指標の値は、時間経過に伴う変化は、個人の健康状態に関する情報を提供する。例えば、低いもしくは高い心拍数もしくは血圧、または心筋虚血を明確に示すECGは、即時介入の必要性を示している可能性がある。しかし、これらの指標の読み取り値、一連の読み取り値、または時間経過に伴う読み取り値の変化は、ユーザ、または医療専門家によってさえ、注意を必要とするものとして認識されない情報を提供する可能性がある。
【0003】
例えば、不整脈は、継続的に発生する場合があり、または断続的に発生する場合がある。継続的に発生する不整脈は、個人の心電図から最も明確に診断される場合がある。継続的な不整脈は、常に存在するので、不整脈を診断するために、いつでもECG分析が適用され得る。ECGは、断続的な不整脈を診断するためにも使用され得る。しかしながら、断続的な不整脈は、無症候性である可能性があり、および/または定義上継続的であるので、個人が不整脈を経験しているときにおいて診断技法を適用するという課題を提示する。したがって、継続的な不整脈の実際の診断は、悪名が高いほど困難である。この特定の困難は、米国における不整脈の40%近くを占める無症候性不整脈によって一層ひどくなる。Boriani G.およびPettorelli D.、Atrial Fibrillation Burden and Atrial Fibrillation type: Clinical Significance and Impact on the Risk of Stroke and Decision Making for Long-term Anticoagulation、Vascul Pharmacol.、83:26-35(2016年8月)、26頁。
【0004】
健康指標の頻繁なまたは継続的な監視および記録を可能にするセンサおよびモバイル電子技術が存在する。しかしながら、これらのセンサプラットフォームの能力は、それらが生成するデータを解釈する従来の医学の能力をしばしば超える。心拍数などの健康指標パラメータの生理学的重要性は、特定の医学的状況でのみ明確に定義されることが多く、例えば、心拍数は、通常、健康指標に影響を与える可能性がある他のデータ/情報からのコンテキスト外の単一のスカラー値として評価される。60～100拍/分(BPM)の範囲の安静時心拍数は、正常とみなされる可能性がある。ユーザは、一般に、ユーザの安静時心拍数を1日に1回または2回手動で測定し得る。
【0005】
モバイルセンサプラットフォーム(例えば、モバイル血圧カフ、モバイル心拍数モニタ、またはモバイルECGデバイス)は、限定はしないが、活動レベル、体位などのユーザに関する他のデータ、および気温、気圧、場所などの環境パラメータも同時に取得しながら、健康指標(例えば、心拍数)を継続的に監視することができ得、例えば、1秒または5秒毎に測定値を生成することができ得る。24時間の間に、これは、何千もの独立した健康指標の測定値をもたらす場合がある。1日に1回または2回の測定とは対照的に、「正常な」一連の数千の測定値がどのように見えるかについて、比較的少ないデータまたは医学的コンセンサスしか存在しない。
【0006】
ユーザ/患者の健康指標を継続的に測定するために現在使用されているデバイスは、かさばり、侵襲的で、不便なものから、単純なウェラブルまたはハンドヘルドモバイルデバイスまで及ぶ。現在、これらのデバイスは、人の健康状態を継続的に監視するためにデータを効果的に利用する能力を提供しない。ユーザの健康状態を判断するために、これらの健康指標に影響を与える可能性がある他の因子に照らして健康指標を評価するのは、ユーザまたは医療専門家の手に委ねられている。
【先行技術文献】
【特許文献】
【0007】
【文献】米国仮出願第61/872,555号
【文献】米国特許第9,351,654号
【文献】米国特許第9,247,911号
【文献】米国特許第9,254,095号
【文献】米国特許第8,509,882号
【文献】米国特許出願公開第2015/0018660号
【文献】米国特許出願公開第2015/0297134号
【文献】米国特許出願公開第2015/0320328号
【非特許文献】
【0008】
【文献】Boriani G.およびPettorelli D.、Atrial Fibrillation Burden and Atrial Fibrillation type: Clinical Significance and Impact on the Risk of Stroke and Decision Making for Long-term Anticoagulation、Vascul Pharmacol.、83:26-35(2016年8月)、26頁
【発明の概要】
【課題を解決するための手段】
【0009】
本明細書に記載の特定の特徴は、添付の特許請求の範囲において具体的に記載されている。開示された実施形態の特徴および利点のよりよい理解は、本明細書に記載の原理が利用される例示的な実施形態を明らかにする以下の詳細な説明と、その添付図面とを参照することによって得られる。
【図面の簡単な説明】
【0010】
【図1A】本明細書で説明されるいくつかの実施形態に従って使用され得る畳み込みニューラルネットワークを示す図である。
【図1B】本明細書で説明されるいくつかの実施形態に従って使用され得る畳み込みニューラルネットワークを示す図である。
【図2A】本明細書で説明されるいくつかの実施形態に従って使用され得るリカレントニューラルネットワークを示す図である。
【図2B】本明細書で説明されるいくつかの実施形態に従って使用され得るリカレントニューラルネットワークを示す図である。
【図3】本明細書で説明されるいくつかの実施形態に従って使用され得る代替のリカレントニューラルネットワークを示す図である。
【図4A】本明細書で説明されるいくつかの実施形態の適用を実証するための仮想的データプロットを示す図である。
【図4B】本明細書で説明されるいくつかの実施形態の適用を実証するための仮想的データプロットを示す図である。
【図4C】本明細書で説明されるいくつかの実施形態の適用を実証するための仮想的データプロットを示す図である。
【図5A】本明細書で説明されるいくつかの実施形態による代替のリカレントニューラルネットワークと、これらの実施形態のうちのいくつかを説明するために使用される仮想的プロットとを示す図である。
【図5B】本明細書で説明されるいくつかの実施形態による代替のリカレントニューラルネットワークと、これらの実施形態のうちのいくつかを説明するために使用される仮想的プロットとを示す図である。
【図5C】本明細書で説明されるいくつかの実施形態による代替のリカレントニューラルネットワークと、これらの実施形態のうちのいくつかを説明するために使用される仮想的プロットとを示す図である。
【図5D】本明細書で説明されるいくつかの実施形態による代替のリカレントニューラルネットワークと、これらの実施形態のうちのいくつかを説明するために使用される仮想的プロットとを示す図である。
【図5E】本明細書で説明されるいくつかの実施形態による代替のリカレントニューラルネットワークと、これらの実施形態のうちのいくつかを説明するために使用される仮想的プロットとを示す図である。
【図6】本明細書で説明されるいくつかの実施形態による展開されたリカレントニューラルネットワークを示す図である。
【図7A】本明細書で説明されるいくつかの実施形態によるシステムおよびデバイスを示す図である。
【図7B】本明細書で説明されるいくつかの実施形態によるシステムおよびデバイスを示す図である。
【図8】本明細書で説明されるいくつかの実施形態による方法を示す図である。
【図9A】本明細書で説明されるいくつかの実施形態による方法と、1つまたは複数の実施形態を実証するための心拍数対時間の仮想的プロットとを示す図である。
【図9B】本明細書で説明されるいくつかの実施形態による方法と、1つまたは複数の実施形態を実証するための心拍数対時間の仮想的プロットとを示す図である。
【図10】本明細書で説明されるいくつかの実施形態による方法を示す図である。
【図11】本明細書で説明されるいくつかの実施形態の適用を実証するための仮想的データプロットを示す図である。
【図12】本明細書で説明されるいくつかの実施形態によるシステムおよびデバイスを示す図である。
【発明を実施するための形態】
【0011】
大量のデータ、健康指標と他の因子との間の相互接続の複雑さ、および限られた臨床ガイダンスは、従来の医療行為に基づく特定の規則を通じて連続的および/または移動性のセンサデータにおける異常を検出しようとする任意の監視システムの有効性を制限する可能性がある。本明細書で説明される実施形態は、予測機械学習モデルを利用して、健康指標データの時間シーケンスから単独で、または(本明細書で定義される)他因子データと組み合わせて、教師なし方式で異常を検出することができるデバイス、システム、方法、およびプラットフォームを含む。
【0012】
心房細動(AFまたはAFib)は、一般人口の1～2%において見られ、AFの存在は、病的状態、ならびに脳卒中および心不全などの有害転帰のリスクを高める。Boriani G.およびPettorelli D.、Atrial Fibrillation Burden and Atrial Fibrillation type: Clinical Significance and Impact on the Risk of Stroke and Decision Making for Long-term Anticoagulation、Vascul Pharmacol.、83:26-35(2016年8月)、26頁。AF患者の40%程度と推定される多くの人におけるAFibは、無症候性である可能性があり、これらの無症候性患者は、症候性患者と同様の脳卒中および心不全のリスクプロファイルを有する。同文献を参照されたい。しかしながら、症候性患者は、否定的な結果のリスクを減らすために、抗凝血剤または他の薬を服用するなど、積極的な対策をとることができる。植込み型電気デバイス(CIED)の使用は、無症候性AF(いわゆるサイレントAFまたSAF)と、患者がAFである持続時間とを検出することができる。同文献。この情報から、これらの患者がAFで過ごす時間、すなわちAF負担が決定され得る。同文献。5～6分を超え、特に1時間を超えるAF負担は、脳卒中および他の否定的な健康状態結果のリスクの大幅な上昇に関連する。同文献。したがって、無症候性患者におけるAF負担を測定する能力は、早期の介入治療につながることができ、AFに関連する否定的な健康状態結果のリスクを軽減し得る。同文献。SAFの検出は、困難であり、典型的には、なんらかの形の継続的な監視を必要とする。現在、AFの継続的な監視は、かさばり、時には侵襲的で、高価なデバイスを必要とし、そのような監視は、高度な医療専門家の監視と再調査とを必要とする。
【0013】
多くのデバイスは、健康指標データの測定または計算を提供するためにデータを継続的に取得し、例えば、限定はしないが、FitBit(登録商標)、Apple Watch(登録商標)、Polar(登録商標)、スマートフォン、タブレットなどが、ウェアラブルデバイスおよび/またはモバイルデバイスの部類に入る。他のデバイスは、ユーザ/患者上またはその中の永続的または半永続的なデバイス(例えば、ホルタ)を含み、他のデバイスは、カートに乗っていることで移動可能であり得る、病院内のより大型のデバイスを含み得る。しかし、この測定されたデータを用いて、ディスプレイ上でそれを定期的に監視すること、または単純なデータしきい値を設定すること以外は、ほとんど行われない。訓練された医療専門家によっても、データの観察は、しばしば正常に見える場合があり、1つの主要な例外は、容易に識別可能な急性症状を有する場合である。より深刻な何かを示している可能性があるデータ内の異常および/または傾向を観察するために、医療専門家が健康指標を継続的に観察することは、非常に困難であり、実際には不可能である。
【0014】
本明細書で使用される場合、プラットフォームは、ローカルに、またはクラウドとインターネットとを含む分散ネットワークを介して互いに対話するように構成された1つまたは複数のカスタマイズされたソフトウェアアプリケーション(または「アプリケーション」)を含む。本明細書で説明されるプラットフォームのアプリケーションは、ユーザデータを収集および分析するように構成され、1つまたは複数のソフトウェアモデルを含み得る。プラットフォームのいくつかの実施形態において、プラットフォームは、1つまたは複数のハードウェア構成要素(例えば、1つまたは複数の感知デバイス、処理デバイス、またはマイクロプロセッサ)を含む。いくつかの実施形態において、1つもしくは複数のデバイスおよび/または1つもしくは複数のシステムと一緒に動作するように構成される。すなわち、本明細書で説明されるデバイスは、いくつかの実施形態において、組み込みプロセッサを使用してプラットフォームのアプリケーションを実行するように構成され、いくつかの実施形態において、プラットフォームは、プラットフォームの1つまたは複数のアプリケーションと対話するか、またはそれを実行する1つまたは複数のコンピューティングデバイスを備えるシステムによって利用される。
【0015】
本開示は、例えば、限定はしないが、(i)同様の他の因子の影響を受けた個人のグループ、または(ii)同様の他の因子によって影響を受けたユーザ自身のいずれかによって判断された、またはそれらと比較されたときにユーザが正常な健康状態を有するかどうかを判定するために、健康指標に影響を与える可能性がある因子(本明細書では、「他の因子」と呼ばれる)に関連する(例えば時間的に)対応するデータと組み合わせて、ユーザデバイスからの1つまたは複数の健康指標(例えば、限定はしないが、PPG信号、心拍数、または血圧)に関連するユーザデータを継続的に監視するためのシステム、方法、デバイス、ソフトウェア、およびプラットフォームについて説明する。いくつかの実施形態において、測定された健康指標データは、単独で、または他因子データと組み合わせて、訓練された機械学習モデルに入力され、機械学習モデルは、ユーザの測定された健康指標が健康な範囲内にあるとみなされる確率を決定し、そうでない場合、その旨をユーザに通知する。健康な範囲内にないユーザは、症候性または無症候性であり得る不整脈などの、診断を確定するための高忠実度情報を保証する健康イベントをユーザが経験している可能性がある尤度を高める可能性がある。通知は、例えば、ユーザにECGを取得するように要求するという形式をとり得る。他の高忠実度測定は、2つ例を挙げると、血圧、パルスオキシメータが要求され得、ECGは、単なる一例である。高忠実度測定、この実施形態ではECGは、通知または診断(本明細書では、医師のみが診断を行うことができることを認識して、総称して「診断」と呼ばれる)を行うために、アルゴリズムおよび/または医療専門家によって評価され得る。ECGの例では、診断は、AFib、またはECGを利用して診断された他の任意の数の周知の状態であり得る。
【0016】
さらなる実施形態において、診断は、他の因子のデータシーケンスを含み得る低忠実度データシーケンス(例えば、心拍数またはPPG)をラベル付けするために使用される。この高忠実度診断ラベル付きの低忠実度データシーケンスは、高忠実度機械学習モデルを訓練するために使用される。これらのさらなる実施形態では、高忠実度機械学習モデルの訓練は、教師なし学習によって訓練され得、または新しい訓練例を用いて随時更新され得る。いくつかの実施形態において、ユーザの測定された低忠実度健康指標データシーケンス、およびオプションで他の因子の(時間的に)対応するデータシーケンスは、高忠実度機械学習モデルが訓練された診断された状態をユーザが経験している、または経験した確率および/または予測を決定するために、訓練された高忠実度機械学習モデルに入力される。この確率は、イベントがいつ開始し、いつ終了するかの確率を含み得る。いくつかの実施形態は、例えば、ユーザの心房細動(AF)負担、またはユーザが経時的にAFを経験する時間の量を計算し得る。以前は、AF負担は、扱いにくく高価なホルタ、または埋込み型の連続ECG監視装置を使用してのみ決定することができた。したがって、本明細書で説明するいくつかの実施形態は、ユーザが装着するデバイスのみから得られた健康指標データ(例えば、限定はしないが、PPGデータ、血圧データ、および心拍数データ)を継続的に監視することによって、または他の因子に関する対応するデータと組み合わせて、ユーザの健康状態を継続的に監視し、健康状態の変化をユーザに通知することができる。本明細書で使用される「他の因子」は、健康指標に影響を与える可能性がある、および/または健康指標を表すデータ(例えば、PPGデータ)に影響を与える可能性があるものを含む。これらの他の因子は、例として、限定としてではなく、2、3例を挙げると、気温、高度、運動レベル、体重、性別、食事、立位、座位、転倒、臥位、天候、およびBMIなどの様々な因子を含み得る。いくつかの実施形態において、高忠実度測定値を取得するようにユーザに通知するタイミングを決定するために、機械学習モデルではなく、数学的または経験的モデルが使用され得、高忠実度測定値は、次いで、分析され、本明細書で説明する高忠実度機械学習モデルを訓練するために使用され得る。
【0017】
本明細書で説明されるいくつかの実施形態は、健康指標データの一次時間シーケンスを受信する動作と、健康指標データの一次時間シーケンスと時間的に対応する他因子データの1つまたは複数の二次時間シーケンスをオプションで受信する動作であって、二次時間シーケンスが、センサから、または外部データ源から(例えば、ネットワーク接続、コンピュータAPIなどを介して)来る場合がある、動作と、フィルタリング、キャッシング、平均化、時間的整合、バッファリング、アップサンプリング、およびダウンサンプリングなどの動作をデータに対して実行し得るプリプロセッサに一次および二次時間シーケンスを提供する動作と、未来の時間における一次シーケンスの次の値を予測するために、一次および二次時間シーケンスの値を利用するように訓練および/または構成された機械学習モデルにデータの時間シーケンスを提供する動作と、特定の時間tにおける機械学習モデルによって生成された予測された一次時間シーケンス値を、時間tにおける一次時間シーケンスの測定値と比較する動作と、予測された未来の時間シーケンスと測定された時間シーケンスとの間の差がしきい値または基準を超えた場合、ユーザに行動をとるように警告するまたは促す動作とによって、教師なし方式においてユーザの異常を検出することができる。
【0018】
したがって、本明細書で説明するいくつかの実施形態は、時間の経過に対するおよび/または観察されたデータの二次シーケンスに応答した生理学的データの一次シーケンスの観察された挙動が、モデルを訓練するために使用された訓練例が与えられて予測されたものと異なる場合を検出する。訓練例が正常な個人から、または特定のユーザに関して以前に正常として分類されたデータから収集された場合、システムは、異常検出器として機能することができる。データがいかなる他の分類もなしに特定のユーザから単に収集された場合、システムは、訓練データがキャプチャされた時間と比較して、一次シーケンスが測定されている健康指標データにおける変化を検出する変化検出器として機能することができる。
【0019】
本明細書で説明されるのは、他の因子(二次シーケンス)の影響下にあるユーザの測定された健康指標データ(一次シーケンス)が、同様の他の因子の影響下にある健康な集団(すなわち、グローバルモデル)に関する正常の範囲外、または同様の他の因子の影響下にあるその特定のユーザ(すなわち、パーソナライズされたモデル)に関する正常の範囲外である確率を予測または決定するために、訓練された機械学習モデルを生成および使用するためのソフトウェアプラットフォーム、システム、デバイス、および方法である。いくつかの実施形態において、ユーザは、低忠実度健康指標データのみを使用して異常またはイベントを予測または診断する能力を有する異なる訓練された高忠実度機械学習モデルを生成するために、以前に取得された低忠実度ユーザ健康指標データにラベル付けするために使用され得る追加の測定された高忠実度データを取得するように促され得、そのような異常は、典型的には、高忠実度データを使用してのみ識別または診断される。
【0020】
本明細書で説明されるいくつかの実施形態は、ユーザの健康指標データを入力する動作と、オプションで、他の因子の(時間的に)対応するデータを訓練された機械学習モデルに入力する動作とを含み得、訓練された機械学習モデルは、未来の時間ステップにおけるユーザの健康指標データまたは健康指標データの確率分布を予測する。いくつかの実施形態における予測は、予測の時間ステップにおいてユーザの測定された健康指標データと比較され、差の絶対値がしきい値を超える場合、ユーザは、ユーザの健康指標データが正常範囲外であることを通知される。この通知は、いくつかの実施形態において、何かを行うため、例えば、限定ではなく、追加の測定値を取得するため、または医療専門家に連絡するための診断または指示を含み得る。いくつかの実施形態において、健康な人々の集団からの健康指標データおよび他の因子の(時間的に)対応するデータが、機械学習モデルを訓練するために使用される。機械学習モデルを訓練するために使用される訓練例における他の因子は、集団の平均値でなくてもよく、他の因子の各々に関するデータは、訓練例における個人に関する健康指標データの収集物に時間的に対応することが理解されよう。
【0021】
いくつかの実施形態は、時間における離散的なデータポイントを受信し、入力から未来の時間における離散的なデータポイントを予測し、次いで、未来の時間における離散的な測定入力と未来の時間における予測値との間の損失がしきい値を超えるかどうかを判定するものとして説明される。当業者は、入力データおよび出力予測が、離散的なデータポイントまたはスカラー以外の形態をとり得ることを容易に理解するであろう。例えば、限定ではなく、健康指標データシーケンス(本明細書では一次シーケンスとも呼ばれる)および他のデータシーケンス(本明細書では二次シーケンスとも呼ばれる)は、時間のセグメントに分割され得る。当業者は、データがセグメント化される方法が設計上の選択の問題であり、多くの異なる形態をとり得ることを認識するであろう。
【0022】
いくつかの実施形態は、健康指標データシーケンス(本明細書では一次シーケンスとも呼ばれる)および他のデータシーケンス(本明細書では二次シーケンスとも呼ばれる)を2つのセグメント、特定の時間tよりも前のすべてのデータを表す過去と、時間t以降のすべてのデータを表す未来とに分割する。これらの実施形態は、過去の時間セグメントに関する健康指標データシーケンス、および過去の時間セグメントに関するすべての他のデータシーケンスを、健康指標データの最も可能性が高い未来のセグメント(または可能性のある未来のセグメントの分布)を予測するように構成された機械学習モデルに入力する。代替的には、これらの実施形態は、過去の時間セグメントに関する健康指標データシーケンス、過去の時間セグメントに関するすべての他のデータシーケンス、および未来のセグメントからの他のデータシーケンスを、健康指標データの最も可能性が高い未来のセグメント(または可能性のある未来のセグメントの分布)を予測するように構成された機械学習モデルに入力する。健康指標データの予測された未来のセグメントは、損失と、損失がしきい値を超えているかどうかとを判定するために、未来のセグメントにおけるユーザの測定された健康指標と比較され、損失がしきい値を超えている場合、なんらかのアクションがとられる。アクションは、例えば、限定ではなく、追加のデータ(例えば、ECGまたは血圧)を取得するようにユーザに通知する動作、医療専門家に連絡するようにユーザに通知する動作、または追加データの取得を自動的にトリガする動作を含み得る。追加データの自動取得は、例えば、限定ではなく、ユーザが装着するコンピューティングデバイスに(有線またはワイヤレスで)動作可能に結合されたセンサを介するECG取得、またはユーザの手首もしくは他の適切な身体部分の周囲にあり、ユーザが装着するコンピューティングデバイスに結合されたモバイルカフを介する血圧を含み得る。データのセグメントは、単一のデータポイント、時間期間にわたる多くのデータポイント、時間期間にわたるこれらのデータポイントの平均値を含み、平均値は、真の平均値、中央値、または最頻値を含み得る。いくつかの実施形態において、セグメントは、時間的に重複し得る。
【0023】
これらの実施形態は、(時間的に)対応する他の因子のデータのシーケンスの影響を受けた時間の経過に対する健康指標のデータのシーケンスの観察された挙動または測定が、訓練例から予想されるものと異なる場合を検出し、訓練例は、同様の他の因子の下で収集される。訓練例が、同様の他の因子の下で健康な個人から、または同様の他の因子の下で特定のユーザについて健康であると以前に分類されたデータから収集された場合、これらの実施形態は、それぞれ、健康な集団からまたは特定のユーザからの異常検出器として機能する。訓練例がいかなる他の分類もなしに特定のユーザから単に収集された場合、これらの実施形態は、訓練例が特定のユーザについて収集された時間と比較して、測定の時間における健康指標における変換を検出する変化検出器として機能する。
【0024】
本明細書で説明されるいくつかの実施形態は、1つまたは複数の他の因子の影響の下で人の健康指標を継続的に監視し、同様の他の因子の影響の下で健康として分類された集団を考慮して、人が健康であるかどうかを評価するために、機械学習を利用する。当業者が容易に理解するように、いくつかの異なる機械学習アルゴリズムまたはモデル(限定はしないが、ベイズ、マルコフ、ガウスプロセス、クラスタリングアルゴリズム、生成モデル、カーネル、およびニューラルネットワークアルゴリズムを含む)が、本明細書に記載の範囲を超えることなく使用され得る。当業者によって理解されるように、典型的なニューラルネットワークは、例として、限定ではなく、受信された入力に対する出力を予測するために非線形活性化関数の1つまたは複数の層を使用し、入力層および出力層に加えて1つまたは複数の隠れ層を含み得る。これらのネットワークのうちのいくつかにおける各隠れ層の出力は、ネットワーク内の次の層への入力として使用される。ニューラルネットワークの例は、例として、限定ではなく、生成ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークを含む。
【0025】
健康監視システムのいくつかの実施形態は、低忠実度データ(例えば、心拍数またはPPGデータ)として個人の心拍数および活動データを監視し、高忠実度データ(例えば、ECGデータ)を使用して通常検出される状態(例えば、AFib)を検出する。例えば、個人の心拍数は、センサによって連続的に、または離散的な間隔(5秒毎など)において提供され得る。心拍数は、PPG、パルスオキシメトリ、または他のセンサに基づいて決定され得る。いくつかの実施形態において、活動データは、歩数、感知された動きの量、または活動レベルを示す他のデータポイントとして生成され得る。低忠実度(例えば、心拍数)データおよび活動データは、次いで、高忠実度の結果の予測を決定するために機械学習システムに入力され得る。例えば、機械学習システムは、不整脈、またはユーザの心臓の健康状態の他の兆候を予測するために低忠実度データを使用し得る。いくつかの実施形態において、機械学習システムは、予測を決定するためにデータ入力のセグメントの入力を使用し得る。例えば、1時間の活動レベルデータおよび心拍数データが、機械学習システムに入力され得る。システムは、次いで、心房細動などの状態の予測を生成するためにデータを使用することができる。本発明の様々な実施形態について、以下でより完全に論じる。
【0026】
図1Aを参照すると、訓練された畳み込みニューラルネットワーク(CNN)100(フィードフォワードネットワークの一例)が、入力データ102(例えば、ボートの写真)を畳み込み層(別名、隠れ層)103に入れ、一連の訓練された重みまたはフィルタ104を、畳み込み層103の各々において入力データ103に適用する。第1の畳み込み層の出力は、第2の畳み込み層への入力である活性化マップ(図示せず)であり、この活性化マップに対し、訓練された重みまたはフィルタ(図示せず)が適用され、後続の畳み込み層の出力は、第1の層への入力データのますますより複雑な特徴を表す活性化マップを結果として生じる。各畳み込み層の後、非線形層(図示せず)が、非線形性を問題に導入するために適用され、非線形層は、tanh、シグモイド、またはReLUを含み得る。場合によっては、プーリング層(図示せず)が非線形層の後に適用され、プーリング層は、ダウンサンプリング層とも呼ばれ、基本的には、同じ長さのフィルタおよびストライドを用いて入力に適用し、フィルタが畳み込むすべてのサブ領域において最大数を出力する。プーリングのための他のオプションは、平均プーリングおよびL2-ノルムプーリングである。プーリング層は、入力ボリュームの空間的な寸法を低減し、計算コストを削減し、過剰適合を制御する。ネットワークの最後の層は、全結合層であり、全結合層は、最後の畳み込み層の出力を受け取り、予測されるべき量を表すn次元出力ベクトルを出力し、例えば、画像分類の確率、20%の自動車、75%のボート、5%のバス、および0%の自転車を出力し、すなわち、予測出力106(O*)を結果として生じ、例えば、これは、ボートの写真である可能性が高い。出力は、ネットワークによって予測されるスカラー値のデータポイントであり得、例えば、株価である。訓練された重み104は、以下でより完全に説明するように、畳み込み層103の各々について異なり得る。この実世界の予測/検出(例えば、それは、ボートである)を達成するために、ニューラルネットワークは、既知のデータ入力または訓練例に対して訓練される必要があり、訓練されたCNN100を結果として生じる。CNN100を訓練するために、多くの異なる訓練例(例えば、ボートの多くの写真)がモデルに入力される。ニューラルネットワークの当業者は、
上記の説明が現在の議論になんらかの文脈を提供するためにCNNのやや単純な見方を提供することを十分に理解し、任意のCNNの単独の、または他のニューラルネットワークと組み合わせての適用が、等しく適用可能であり、本明細書に記載のいくつかの実施形態の範囲内であることを十分に認識するであろう。
上記の説明が現在の議論になんらかの文脈を提供するためにCNNのやや単純な見方を提供することを十分に理解し、任意のCNNの単独の、または他のニューラルネットワークと組み合わせての適用が、等しく適用可能であり、本明細書に記載のいくつかの実施形態の範囲内であることを十分に認識するであろう。
【0027】
図1Bは、訓練CNN108を示す。図1Bにおいて、畳み込み層103は、畳み込み層105n-1までの個々の隠れ畳み込み層105、105'として示され、最後の第nの層は、全結合層である。最後の層は、2つ以上の全結合層であることが理解されよう。訓練例111は、畳み込み層103に入力され、非線形活性化関数(図示せず)および重み110、110'～110nが直列に訓練例111に適用され、任意の隠れ層の出力は、次の層に入力され、最後の第nの全結合層105nが出力114を生成するまで続く。出力または予測114は、訓練例111(例えば、ボートの写真)と比較され、出力または予測114と訓練例111との間の差116を結果として生じる。差または損失116がなんらかの事前設定された損失よりも小さい(例えば、出力または予測114は、オブジェクトがボートであると予測した)場合、CNNは、収束し、訓練されたとみなされる。CNNが収束していない場合、逆伝播の技法を使用し、重み110および110'～110nは、予測が既知の入力にどれくらい近いかに応じて更新される。当業者は、逆伝播以外の方法が重みを調整するために使用され得ることを理解するであろう。第2の訓練例(例えば、ボートの異なる写真)が入力され、プロセスは、更新された重みを用いて再び繰り返され、更新された重みは、次いで、第nの訓練例(例えば、第nのボートの第nの写真)が入力されるまで、再び更新される。これは、畳み込みニューラルネットワーク(CNN)が訓練されるか、または既知の入力に対する正しい出力に収束するまで、同じn個の訓練例を用いて何度も繰り返される。CNN108が訓練されると、重み110、110'～110nは、固定され、訓練されたCNN100において使用され、これらの重みは、図1Aに示すような重み104である。説明したように、各畳み込み層103と、全結合層の各々に対して異なる重みが存在する。訓練されたCNN100またはモデルは、次いで、上記で説明したように、それが予測/識別するように訓練されたもの(例えば、ボート)を決定または予測するために、画像データを供給される。任意の訓練されたモデル、CNN、RNNなどは、追加の訓練例を用いて、または次いで訓練例として使用されるモデルによって出力された予測データを用いてさらに訓練され得、すなわち、重みの修正が許可され得る。機械学習モデルは、「オフライン」で訓練され得、例えば、訓練されたモデルを使用/実行するプラットフォームとは別の計算プラットフォーム上で訓練された後、そのプラットフォームに転送され得る。代替的に、本明細書で説明される実施形態は、新たに取得された訓練データに基づいて、機械学習モデルを定期的または継続的に更新し得る。この更新された訓練は、ネットワーク接続を介して再訓練されたモデルを使用/実行するプラットフォームに更新された訓練モデルを送達する別の計算プラットフォーム上で発生し得、または訓練/再訓練/更新プロセスは、新たなデータが取得されるとプラットフォーム自体において発生し得る。当業者は、CNNが固定配列におけるデータ(例えば、写真、文字、単語など)、またはデータの時間シーケンスに適用可能であることを理解するであろう。例えば、順序付けられた健康指標データおよび他因子データが、CNNを使用してモデル化され得る。いくつかの実施形態は、予測された健康指標、例えば、心拍数、PPG、または不整脈に関する確率分布を決定するために、フィードフォワード、スキップ接続を有するCNN、およびガウス混合モデル出力を利用する。
【0028】
いくつかの実施形態は、他のタイプおよび構成のニューラルネットワークを利用することができる。畳み込み層の数は、全結合層の数と同様に、増加または減少され得る。一般に、畳み込み層と全結合層の最適な数および割合は、どの構成が所与のデータセットにおいて最高のパフォーマンスを与えるかを決定することによって、実験的に設定され得る。畳み込み層の数は、0に低減され、全結合ネットワークを残すことができる。畳み込み層の数および各フィルタの幅も、増加または減少され得る。
【0029】
ニューラルネットワークの出力は、一次時間シーケンスに対する正確な予測に対応する単一のスカラー値であり得る。代替的に、ニューラルネットワークの出力は、当業者によって容易に理解される任意の数の代替出力である一次時間シーケンス値の特定の範囲またはクラスに各カテゴリが対応するロジスティック回帰であり得る。
【0030】
いくつかの実施形態におけるガウス混合モデル出力の使用は、ネットワークを整形された確率分布を学習するように制約し、制限された訓練データにおける一般化を改善することを意図している。ガウス混合モデルにおけるいくつかの実施形態における複数の要素の使用は、モデルがマルチモーダル確率分布を学習することを可能にすることを意図している。異なるニューラルネットワークの結果を組み合わせるまたは集約する機械学習モデルも使用され得、結果も組み合わされ得る。
【0031】
後続の予測に適用するために以前の予測からの更新可能な記憶または状態を有する機械学習モデルは、シーケンスデータをモデル化するための別の手法である。本明細書で説明される特定のいくつかの実施形態において、リカーリングニューラルネットワークを利用する。図2Aの例を参照すると、訓練されたリカレントニューラルネットワーク(RNN)200の図が示されている。訓練されたRNN200は、更新可能な状態(S)202と、訓練された重み(W)204とを有する。入力データ206は、状態202に入力され、そこで重み(W)が適用され、予測206(P*)が出力される。線形ニューラルネットワーク(例えば、CNN100)とは対照的に、状態202は、入力データに基づいて更新され、それによって、順に次のデータを用いる次の予測のための前の状態からの記憶として機能する。状態を更新することは、RNNに循環またはループ機構を与える。よりよく実証するために、図2Bは、展開された訓練されたRNN200と、シーケンスデータへのその適用性とを示す。展開されると、RNNは、CNNに類似しているように見えるが、展開されていないRNNにおいて、一見類似している層の各々は、同じ重みがループの各反復において適用された、更新された状態を有する単一の層として現れる。説明を明確にするために単一の層がここに描かれているが、当業者は、単一の層自体がサブ層を有し得ることを認識するであろう。時間tにおける入力データ(It)208は、時間tにおける状態(St)210に入力され、訓練された重み204は、時間tにおけるセル(Ct)212内に適用される。Ct212の出力は、時間ステップt+1における予測
【0032】
【数1】
【0033】
214、および更新された状態St+1216である。同様に、Ct+1220において、It+1218は、St+1216に入力され、同じ訓練された重み204が適用され、Ct+1220の出力は、
【0034】
【数2】
【0035】
222である。上記のように、St+1は、Stから更新され、したがって、St+1は、前の時間ステップからのStからの記憶を有する。例えば、限定ではなく、この記憶は、1つまたは複数の以前の時間ステップからの以前の健康指標データまたは以前の他因子データを含み得る。このプロセスは、nステップの間継続し、It+n224がSt+n226に入力され、同じ重み204が適用される。セルCt+nの出力は、予測
【0036】
【数3】
【0037】
である。特に、状態は、以前の時間ステップから更新され、RNNに以前の状態からの記憶の利点を与える。この特性は、RNNを、いくつかの実施形態に関するシーケンスデータにおいて予測を行うための代替的な選択肢にする。しかし、上記で説明したように、CNNを含む、シーケンスデータにおいてそのような予測を実行するための他の適切な機械学習技法が存在する。
【0038】
RNNは、CNNのように、入力としてデータ列を処理し、予測されたデータ列を出力することができる。RNNを使用するこの態様を説明する簡単な方法は、自然言語予測の例を使用することである。空は青い(The sky is blue)というフレーズを使用する。単語(すなわち、データ)列は、文脈を有する。そのため、状態が更新されると、データ列は、反復毎に更新され、青を予測する文脈を提供する。今説明したように、RNNは、シーケンスデータにおいて予測を行う上で支援するための記憶構成要素を有する。しかしながら、RNNの更新された状態における記憶は、短期記憶と類似して、振り返ることができる範囲において制限され得る。長期記憶と類似して、より長い振り返りが望まれるシーケンスデータを予測する場合、これを達成するために、今説明したRNNの微調整が使用され得る。予測されるべき単語が直前または周囲の単語から不明確である文、メアリーは流暢なフランス語を話す(Mary speaks fluent French)は、説明するための再び簡単な例である。フランス語が正しい予測であることは、直前の単語からは不明確であり、すなわち、ある言語が正しい予測であることだけで、どの言語であるかは不明確である。正しい予測は、単一の単語列よりも大きいギャップによって区切られた単語の文脈にある可能性がある。長短期記憶(LSTM:Long Short Term Memory)ネットワークは、これらの(より)長期の依存関係を学習することができる特殊な種類のRNNである。
【0039】
上記で説明したように、RNNは、比較的単純な繰り返し構造を有し、例えば、それらは、非線形活性化関数(例えば、tanhまたはシグモイド)を有する単一の層を有し得る。LSTMは、同様に、チェーンのような構造を有するが、(例えば)1つではなく4つのニューラルネットワーク層を有する。これらの追加のニューラルネットワーク層は、セルゲートと呼ばれる構造を使用することによって、LSTMに、状態への情報を削除または追加する能力を与える。同文献。図3は、LSTM RNNのためのセル300を示す。ライン302は、セルの状態(S)を表し、情報ハイウェイとみなされ得、情報が変化しないセルの状態に沿って流れるのは比較的容易である。同文献。セルゲート304、306、および308は、状態を通って、または情報ハイウェイに沿ってどれくらい多くの情報が許可されるかを決定する。セルゲート304は、最初に、どれくらい多くの情報がセル状態Stから除去されるか、いわゆる忘却ゲート層を決定する。同文献。次に、セルゲート306および306'は、どの情報がセル状態に追加されるかを決定し、セルゲート308および308'は、予測
【0040】
【数4】
【0041】
として何がセル状態から出力されるかを決定する。情報ハイウェイまたはセル状態は、次のセルにおいて使用するために、ここでセル状態St+1に更新される。LSTMは、RNNがより永続的または(より)長期の記憶を有することを許可する。LSTMは、データがどのように順序付けられているかに応じて、より単純なRNN構造よりも長い空間または時間だけ入力データから分離された文脈を出力予測が考慮するという点で、RNNベースの機械学習モデルに追加の利点を提供する。
【0042】
RNNを利用するいくつかの実施形態において、一次および二次時間シーケンスは、各時間ステップにおいてベクトルとしてRNNに提供されない場合がある。代わりに、RNNは、予測区間内の二次時間シーケンスの将来の値または集約関数とともに、一次および二次時間シーケンスの現在の値のみを提供され得る。このようにして、RNNは、予測を行う際に使用するための前の値に関する情報を保持するために、永続的な状態ベクトルを使用する。
【0043】
機械学習は、モデルを訓練するために使用される訓練例と比較して、入力データにおける大小の異常または傾向を識別するための1つまたは複数の基準の継続的な監視によく適している。したがって、本明細書で説明されるいくつかの実施形態は、ユーザの健康指標データと、オプションで他因子データとを、訓練された機械学習モデルに入力し、訓練された機械学習モデルは、健康な人の健康指標データが次の時間ステップにおいてどのように見えるかを予測し、予測を、未来の時間ステップにおけるユーザの測定された健康指標データと比較する。差(例えば、以下で説明する損失)の絶対値がしきい値を超える場合、ユーザは、ユーザの健康指標データが正常または健康な範囲内にないことを通知される。しきい値は、設計者によって設定された数であり、いくつかの実施形態では、ユーザが通知感度を調整することを可能にするためにユーザによって変更され得る。これらの実施形態の機械学習モデルは、健康指標データのみにおいて、もしくは健康な人の集団からの(時間的に)対応する他因子データと組み合わせて訓練され得、またはモデルに関する設計ニーズに合うように他の訓練例において訓練され得る。
【0044】
心拍数データのような健康指標からのデータは、シーケンスデータであり、より具体的には、時間シーケンスデータである。心拍数は、例えば、限定ではなく、いくつかの異なる方法で測定され得、例えば、胸部ストラップからの電気信号を測定して測定され得、またはPPG信号から導出され得る。いくつかの実施形態は、デバイスから導出された心拍数を取得し、各データポイント(例えば、心拍数)は、ほぼ等しい間隔(例えば、5秒)において生成される。しかし、場合によっては、他の実施形態において、例えば、導出に必要なデータが信頼できない(例えば、デバイスが移動したので、または光害のために、PPG信号が信頼できない)ので、導出された心拍数は、ほぼ等しい時間ステップにおいて提供されない。モーションセンサまたは他因子データを収集するために使用される他のセンサからデータの二次シーケンスを取得することについても同じことが言える。
【0045】
生の信号/データ(EEC、胸部ストラップ、またはPPG信号からの電気信号)自体は、いくつかの実施形態に従って使用され得るデータの時間シーケンスである。明確にする目的のために、限定ではなく、この説明は、健康指標を表すデータを指すためにPPGを使用する。当業者は、健康指標に関するデータ、生のデータ、波形、または生のデータもしくは波形から導出された数のいずれかの形態が、本明細書で説明されるいくつかの実施形態に従って使用され得ることを容易に認識するであろう。
【0046】
本明細書で説明される実施形態で使用され得る機械学習モデルは、例として、限定ではなく、ベイズ、マルコフ、ガウスプロセス、クラスタリングアルゴリズム、生成モデル、カーネル、およびニューラルネットワークアルゴリズムを含む。いくつかの実施形態は、訓練されたニューラルネットワークに基づく機械学習モデルを利用し、他の実施形態は、リカレントニューラルネットワークを利用し、追加の実施形態は、LTSM RNNを使用する。明確にする目的のために、限定ではなく、リカレントニューラルネットワークは、本明細書のいくつかの実施形態を説明するために使用される。
【0047】
図4A～図4Cは、PPGの時間に対する仮想的プロット(図4A)、歩数の時間に対する仮想的プロット(図4B)、および気温の時間に対する仮想的プロット(図4C)を示す。PPGは、健康指標データの一例であり、歩数、活動レベル、および気温は、健康指標データに影響を与える可能性がある他の因子に関する他因子データの例である。当業者によって認識されるように、他のデータは、限定はしないが、GPSデータ、体重計、ユーザ入力などを含む多くの既知のソースのうちのいずれかから取得され得、限定はしないが、気温、活動(ランニング、ウォーキング、座る、サイクリング、転倒、階段を上る、歩みなど)、BMI、体重、身長、年齢などを含み得る。3つのプロットすべてを垂直に走る第1の点線は、訓練された機械学習モデル(以下で論じる)に入力するためのユーザデータが取得された時間tを表す。図4Aにおけるハッシュ化されたプロット線は、予測されたまたは可能性が高い出力データ402を表し、図4Aにおける実線404は、測定されたデータを表す。図4Bは、様々な時間におけるユーザの歩数の仮想プロットであり、図4Cは、様々な時間における気温の仮想プロットである。
【0048】
図5A～図5Bは、図4A～図4Cに示されている入力データ、すなわち、PPG(P)、歩数(R)、および気温(T)を受信するための訓練されたリカレントニューラルネットワーク500の概略図を示す。これらの入力データ(P、R、およびT)が健康指標データおよび他因子データの単なる例であることを再び強調する。2つ以上の健康指標に関するデータが入力および予測され得、2つよりも多いまたは少ない他因子データが使用され得、選択は、モデルが何のために設計されているかに依存することも理解されよう。健康指標データの収集または測定と時間的に対応するように他因子データが収集されることが、当業者によってさらに理解されるであろう。場合によっては、他因子データ、例えば、体重は、特定の時間期間にわたって比較的一定のままである。
【0049】
図5Aは、訓練されたニューラルネットワーク500をループとして示している。P、T、およびRは、RNN500の状態502に入力され、そこで体重Wが適用され、RNN500は、予測されたPPG504(P*)を出力する。ステップ506において、差P-P*(ΔP*)が計算され、ステップ508において、|ΔP*|がしきい値よりも大きいかどうかが判定される。そうである場合、ステップ510は、ユーザの健康指標が、正常として予測されたまたは健康な人について予測された境界/しきい値の外にあることをユーザに通知/警告する。警告/通知/検出は、例えば、限定ではなく、医師の診察/相談の提案、触覚フィードバックのような単純な通知、ECGのような追加の測定値をとる要求、または推奨なしの単純なメモ、またはそれらの任意の組合せであり得る。|ΔP*|がしきい値以下である場合、ステップ512は、何もしない。ステップ510とステップ512の両方において、処理は、次の時間ステップにおいて新しいユーザデータを用いて繰り返される。この実施形態では、状態は、予測されたデータの出力に続いて更新され、状態を更新する際に予測されたデータを使用し得る。
【0050】
図示されていない別の実施形態において、(例えば、PPG信号から導出された)心拍数データの一次シーケンスおよび他因子データの二次シーケンスが訓練された機械学習モデルに提供され、訓練された機械学習モデルは、RNN、CNN、他の機械学習モデル、またはモデルの組合せであり得る。この実施形態では、機械学習モデルは、
A.時間tにおける任意の健康指標データまででそれを含む最後の300の健康指標サンプル(例えば、1分あたりの心拍数)の長さ300のベクトル(VH)と、
B.VHにおける各サンプルのおおよその時間における最新の他因子データ、例えば、歩数を含む長さ300の少なくとも1つのベクトル(VO)と、
C.インデックスiにおけるエントリVDT(i)が健康指標サンプルVH(i)およびVH(i-1)のタイムスタンプ間の時間差を含む、長さ300のベクトル(VTD)と、
D.tからt+τまでの時間期間にわたって測定された平均の他因子率(例えば、ステップ率)を表すスカラー予測区間他因子率Orate(例えば、限定ではなく、ステップ率)であって、τが、例えば、限定ではなく、2.5分であり、未来の予測区間である、スカラー予測区間他因子率Orateと
を基準時間tにおいて入力として受信するように構成される。
A.時間tにおける任意の健康指標データまででそれを含む最後の300の健康指標サンプル(例えば、1分あたりの心拍数)の長さ300のベクトル(VH)と、
B.VHにおける各サンプルのおおよその時間における最新の他因子データ、例えば、歩数を含む長さ300の少なくとも1つのベクトル(VO)と、
C.インデックスiにおけるエントリVDT(i)が健康指標サンプルVH(i)およびVH(i-1)のタイムスタンプ間の時間差を含む、長さ300のベクトル(VTD)と、
D.tからt+τまでの時間期間にわたって測定された平均の他因子率(例えば、ステップ率)を表すスカラー予測区間他因子率Orate(例えば、限定ではなく、ステップ率)であって、τが、例えば、限定ではなく、2.5分であり、未来の予測区間である、スカラー予測区間他因子率Orateと
を基準時間tにおいて入力として受信するように構成される。
【0051】
この実施形態の出力は、例えば、tからt+τまでの時間期間にわたって測定された予測心拍数を特徴付ける確率分布であり得る。いくつかの実施形態において、機械学習モデルは、健康指標データの連続時間シーケンスと他因子データシーケンスとを含む訓練例を用いて訓練される。1つの代替実施形態では、通知システムは、t+τ/2の各予想健康指標(例えば、心拍数)分布にタイムスタンプを割り当て、したがって、予測区間(τ)内に予測分布を集中させる。通知ロジックは、この実施形態において、次いで、長さWL=2*(τ)またはこの例では5分のスライディングウィンドウ(W)内のすべてのサンプルを考慮し、3つのパラメータ、
1.時間ウィンドウ内のすべての健康指標シーケンスデータの平均値
1.時間ウィンドウ内のすべての健康指標シーケンスデータの平均値
【0052】
【数5】
【0053】
と、
2.予測タイムスタンプが時間ウィンドウ内に入る健康指標のすべてのモデル予測の平均値
2.予測タイムスタンプが時間ウィンドウ内に入る健康指標のすべてのモデル予測の平均値
【0054】
【数6】
【0055】
と、
3.時間ウィンドウ内の各予測健康指標分布の二乗平均平方根の中央値
3.時間ウィンドウ内の各予測健康指標分布の二乗平均平方根の中央値
【0056】
【数7】
【0057】
とを計算し、ここで、
4.一実施形態において、
4.一実施形態において、
【0058】
【数8】
【0059】
または
【0060】
【数9】
【0061】
の場合、通知が生成され、ここで、Ψは、しきい値である。
【0062】
この実施形態において、測定された健康指標が特定のウィンドウW内の予測された健康指標値の平均値から標準偏差の特定の倍数を超える場合、警告が生成される。ウィンドウWは、測定および予測された健康指標値のシーケンスにわたってスライド方式で適用され得、各ウィンドウは、設計者が指定した部分、例えば、0.5分だけ前のウィンドウと重複する。
【0063】
通知は、任意の数の異なる形態をとり得る。例えば、限定ではなく、ECGおよび/または血圧を取得するようにユーザに通知し得、ECGおよび/または血圧(例えば)を自動的に取得するようにコンピューティングシステム(例えば、ウェアラブルなど)に指示し得、医師の診断を受けるようにユーザに通知し得、または健康指標が正常ではないことを単にユーザに通知し得る。
【0064】
この実施形態における、モデルへの入力としてのVDTの選択は、モデルがVH内の健康指標データ間の可変間隔内に含まれる情報を利用することを可能にすることを意図しており、可変間隔は、一貫性のない生データから健康指標データを導出するアルゴリズムから生じ得る。例えば、心拍数サンプルは、信頼できる心拍数値を出力するのに十分に信頼性のある生のPPGデータを有する場合にのみ、Apple Watchアルゴリズムによって生成され、それは、心拍数サンプル間に不規則な時間ギャップを結果として生じる。同様に、この実施形態は、一次シーケンス(健康指標)と二次シーケンス(他因子)との間の異なる不規則なサンプルレートを処理するために、他のベクトルと同じ長さを有する他因子データに関するベクトル(VO)を利用する。二次シーケンスは、この実施形態では、一次時間シーケンスと同じ時点に再マッピングまたは補間される。
【0065】
さらに、いくつかの実施形態において、未来の予測時間間隔(例えば、t後)から機械学習モデルへの入力として提示される二次時間シーケンスからのデータの構成は、修正され得る。いくつかの実施形態において、予測区間にわたる平均他因子データレートを含む単一のスカラー値は、例えば、二次時間シーケンス毎に1つの、複数のスカラー値を用いて修正され得る。または、値のベクトルが予測区間にわたって使用され得る。加えて、予測区間自体が調整され得る。例えば、より短い予測区間は、変化に対するより速い応答と、基本的なタイムスケールが(より)短いイベントの改善された検出とを提供し得るが、モーションアーチファクトなどのノイズ源からの干渉に対してより敏感にもなり得る。
【0066】
同様に、機械学習モデル自体の出力予測は、スカラーである必要はない。例えば、いくつかの実施形態は、tとt+τとの間の時間間隔内の複数の時間tに対する予測の時系列を生成し得、警告ロジックは、これらの予測の各々を同じ時間間隔内の測定値と比較し得る。
【0067】
この先行する実施形態では、機械学習モデル自体は、例えば、7層のフィードフォワードニューラルネットワークを備え得る。最初の3つの層は、各々が24のカーネル幅と2のストライドとを有する32のカーネルを含む畳み込み層であり得る。第1の層は、入力として3つのチャネルにおけるアレイVH、VO、およびVTDを有し得る。最後の4つの層は、全結合層であり得、最後の層を除いてすべて双曲線正接活性化関数を利用する。第3の層の出力は、第1の全結合層への入力のために、1つのアレイにフラット化され得る。最後の層は、10個の混合物を有するガウス混合モデルをパラメータ化した30の値(各混合物について平均値、分散、および重み)を出力する。ネットワークは、層7への入力を生成するために層6の出力が層4の出力と合計されるように、第1の全結合層と第3の全結合層との間のスキップ接続を使用する。標準のバッチ正規化が、0.97の減衰で、最後の層を除くすべての層に対して使用され得る。スキップ接続およびバッチ正規化の使用は、ネットワークを介して勾配を伝播する能力を改善することができる。
【0068】
機械学習モデルの選択は、システムのパフォーマンスに影響を与える可能性がある。機械学習モデル構成は、2つのタイプの考慮事項に分けられ得る。第1は、モデルの内部アーキテクチャであり、モデルのタイプ(畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ランダムフォレストなど、一般化された非線形回帰)の選択、ならびにモデルの実装形態を特徴付けるパラメータ(一般に、パラメータの数、および/または層の数、決定木の数など)を意味する。第2は、モデルの外部アーキテクチャであり、モデルに供給されるデータの配置、およびモデルが解決を求められている問題の特定のパラメータである。外部アーキテクチャは、モデルに入力として提供されるデータの次元およびタイプ、そのデータが及ぶ時間範囲、ならびにデータに対して行われる前処理または後処理によって部分的に特徴付けられる。
【0069】
一般的に言えば、外部アーキテクチャの選択は、機械学習モデルの予測力を高め得る、パラメータの数と入力として提供される情報の量とを増加させることと、より大きいモデルを訓練および評価するための利用可能なストレージおよび計算能力と、過剰適合を防ぐのに十分な量のデータの可用性との間のバランスである。
【0070】
いくつかの実施形態において論じたモデルの外部アーキテクチャの多数のバリエーションが可能である。入力ベクトルの数、ならびにカバーされる絶対長(要素の数)および時間は、変更され得る。各入力ベクトルが同じ長さである必要はなく、または同じ期間をカバーする必要はない。データは、時間的に均等にサンプリングされる必要はなく、例えば、限定ではなく、心拍数データの6時間の履歴を提供し得、tの1時間未満前のデータは、1Hzのレートでサンプリングされ、tの1時間よりも前でtの2時間未満前のデータは、0.5Hzのレートでサンプリングされ、2時間よりも古いデータは、0.1Hzのレートでサンプリングされ、tは、基準時間である。
【0071】
図5Bは、展開された訓練されたRNN500を示す。入力データ513(Pt、Rt、およびTt)が時間tにおける状態(St)514に入力され、訓練された重み516が適用される。セル(Ct)518の出力は、時間t+1における予測
【0072】
【数10】
【0073】
520、および更新された状態St+1522である。同様に、Ct+1524において、入力データ(Pt+1、Rt+1、およびTt+1)513'がSt+1522に入力され、訓練された重み516が適用され、Ct+1524の出力は、
【0074】
【数11】
【0075】
523である。上記のように、St+1は、Stを更新した結果であり、したがって、St+1は、前の時間ステップにおけるセル(Ct)518における動作からのStからの記憶を有する。このプロセスは、nステップの間継続し、入力データ(Pn、Rn、およびTn)513''がSn530に入力され、訓練された重み516が適用される。セルCtの出力は、予測532
【0076】
【数12】
【0077】
である。特に、訓練されたRNNは、全体を通して同じ重みを適用するが、重要なことに、状態は、前の時間ステップから更新され、RNNに前の時間ステップからの記憶の利点を提供する。当業者は、依存する健康指標データを入力する時間の順序が変化する可能性があり、依然として所望の結果を生成するであろうことを理解するであろう。例えば、前の時間ステップからの測定された健康指標データ(例えば、Pt-1)および現在の時間ステップからの他因子データ(例えば、RtおよびTt)は、現在の時間ステップにおける状態(St)に入力され得、そこで、モデルは、現在の時間ステップにおける健康指標
【0078】
【数13】
【0079】
を予測し、その健康指標は、上記で説明したように、ユーザの健康指標が正常であるかまたは健康範囲内にあるかどうかを判定するために、現在の時間ステップにおける測定された健康指標データと比較される。
【0080】
図5Cは、ユーザの健康指標シーケンスデータ、この例ではPPGが、健康な人のバンドまたはしきい値内にあるかどうかを判定するための、訓練されたRNNの代替実施形態を示す。この実施形態における入力データは、線形結合
【0081】
【数14】
【0082】
であり、ここで、
【0083】
【数15】
【0084】
は、時間tにおける予測された健康指標値であり、Ptは、時間tにおける測定された健康指標である。この実施形態では、αは、損失(L)の関数として非線形的に0～1の範囲であり、ここで、損失およびαについては、以下でより詳細に論じる。ここで注目に値するのは、αがゼロに近い場合、測定されたデータPtがネットワークに入力され、αが1に近い場合、予測されたデータ
【0085】
【数16】
【0086】
が、次の時間ステップにおいて予測を行うためにネットワークに入力される。時間tにおける他因子データ(Ot)もオプションで入力され得る。
【0087】
ItおよびOtが状態Stに入力され、状態Stは、いくつかの実施形態では、時間ステップt+1における予測された健康指標データ
【0088】
【数17】
【0089】
の確率分布(β)、
【0090】
【数18】
【0091】
を出力し、ここで、β(p*)は、予測された健康指標(P*)の確率分布関数である。いくつかの実施形態において、確率分布関数は、t+1における予測された健康指標値
【0092】
【数19】
【0093】
を選択するためにサンプリングされる。当業者によって理解されるように、β(p*)は、ネットワーク設計者の目標に応じて異なる方法を使用してサンプリングされ得、その方法は、確率分布の平均値、最大値、またはランダムサンプリングをとることを含み得る。時間t+1において測定されたデータを使用してβt+1を評価することは、状態St+1が測定されたデータに対して予測したであろう確率を提供する。
【0094】
この概念を説明するために、図5Dは、時間t+1における仮想的健康指標データの範囲に対する仮想的確率分布を示す。この関数は、時間t+1における予測された健康指標
【0095】
【数20】
【0096】
を決定するために、例えば、最大確率0.95においてサンプリングされる。確率分布(βt+1)も、測定されたまたは実際の健康指標データ
【0097】
【数21】
【0098】
を使用して評価され、実際のデータがモデルに入力された場合にモデルが予測したであろう確率が決定される。この例では、
【0099】
【数22】
【0100】
は、0.85である。
【0101】
訓練された機械学習モデルによって予測されるように、ユーザの健康状態が正常範囲内にないことをユーザに通知するかどうかを決定するのを助けるために、損失が定義され得る。損失は、予測されたデータが実際のまたは測定されたデータにどれくらい近いかをモデル化するために選択される。当業者は、損失を定義する多くの方法を認識するであろう。本明細書で説明される他の実施形態において、例えば、予測されたデータと実際のデータとの間の差の絶対値(|ΔP*|)が損失である。いくつかの実施形態において、損失(L)は、L=-ln[β(p)]であり得、ここで、
【0102】
【数23】
【0103】
である。Lは、予測されたデータが測定されたまたは実際のデータにどれくらい近いかの尺度である。β(p)は、0から1までの範囲であり、ここで、1は、予測値および測定値が同じであることを意味する。したがって、低い損失は、予測値が測定値と同じかまたは近い可能性が高いことを示し、この文脈では、それは、測定データが、健康/正常な人からのものであるように見えることを意味する。いくつかの実施形態において、Lに関するしきい値が設定され、例えば、L>5であり、ここで、ユーザは、健康指標データが健康であるとみなされる範囲外であることを通知される。他の実施形態は、時間期間にわたる損失の平均をとり、その平均をしきい値と比較し得る。いくつかの実施形態において、しきい値自体は、予測値の統計的計算または予測値の平均の関数であり得る。いくつかの実施形態において、しきい値自体は、健康指標が健康範囲内にないことをユーザに通知するために、以下の式が使用され得、
【0104】
【数24】
【0105】
(Prange)は、測定された健康指標データを時間範囲にわたって平均化する方法によって決定され、
【0106】
【数25】
【0107】
は、予測された健康指標データを同じ時間範囲にわたって平均化する方法によって決定され、
【0108】
【数26】
【0109】
は、同じ時間範囲にわたるネットワークから導出された標準偏差のシーケンスの中央値であり、
【0110】
【数27】
【0111】
は、
【0112】
【数28】
【0113】
において評価された標準偏差の関数であり、しきい値として機能し得る。
【0114】
使用され得る平均化する方法は、限定ではない例として、平均、算術平均、中央値、および最頻値を含む。いくつかの実施形態において、計算された数値を歪めないように、外れ値が除去される。
【0115】
図5Cに示す実施形態に関する入力データ
【0116】
【数29】
【0117】
を参照すると、αtは、Lの関数として定義され、0から1までの範囲である。例えば、α(L)は、線形関数もしくは非線形関数であり得、またはLのある範囲にわたって線形であり、Lの別の範囲にわたって非線形であり得る。一実施形態において、図5Eに示すように、関数α(L)は、0と3との間のLについて線形であり、3と13との間のLについて二次であり、13よりも大きいLについて1である。この実施形態について、Lが0と3との間である場合(すなわち、予測された健康指標データおよび測定された健康指標データがほぼ一致する場合)、α-1がゼロに近くなるので、入力データIt+1は、ほぼ測定データPt+1になる。Lが大きい場合、例えば、13よりも大きい場合、α(L)は、1であり、これは、入力データ
【0118】
【数30】
【0119】
を、時間t+1における予測された健康指標にする。Lが1と13との間である場合、α(L)は、二次関数的に変化し、入力データに対する予測された健康指標データおよび測定された健康指標データの相対的な寄与も変化する。α(L)によって重み付けされた予測された健康指標データおよび測定された健康指標データの線形結合は、この実施形態では、任意の特定の時間ステップにおける予測データと測定データとの間で入力データに重み付けすることを可能にする。すべてのこれらの例において、入力データは、他因子データ(Ot)も含み得る。これは、セルフサンプリングの単なる一例であり、予測データおよび測定データのなんらかの組合せが、訓練されたネットワークへの入力として使用される。当業者は、多くの他のものが使用され得ることを理解するであろう。
【0120】
実施形態における機械学習モデルは、訓練された機械学習モデルを使用する。いくつかの実施形態において、機械学習モデルは、訓練されたRNNを必要とするリカレントニューラルネットワークを使用する。一例として、限定としてではなく、図6は、いくつかの実施形態によるRNNの訓練を実証するために、展開されたRNNを示す。セル602は、初期状態S0604と重み行列W606とを有する。時間ステップゼロにおけるステップレートデータR0、気温データT0、および初期PPGデータP0が状態S0に入力され、重みWが適用され、第1の時間ステップにおける予測されたPPG
【0121】
【数31】
【0122】
が、セル602から出力され、
【0123】
【数32】
【0124】
が、時間ステップ1において取得されたPPG(P1)を使用して計算される。セル602はまた、時間ステップ1における更新された状態608(S1)を出力し、この状態は、セル610に入る。時間ステップ1におけるステップレートデータR1、気温データT1、およびPPGデータP1が状態S1に入力され、重み606Wが適用され、時間ステップ2における予測されたPPG
【0125】
【数33】
【0126】
がセル610から出力され、
【0127】
【数34】
【0128】
が、時間ステップ2において取得されたPPG(P2)を使用して計算される。セル610はまた、時間ステップ2における更新された状態612(S2)を出力し、この状態は、セル614に入る。時間ステップ3におけるステップレートデータR3、気温データT3、およびPPGデータP3がS2に入力され、重み606Wが適用され、時間ステップ3における予測されたPPG
【0129】
【数35】
【0130】
がセル614から出力され、
【0131】
【数36】
【0132】
が、時間ステップ3において取得されたPPG(P3)を使用して計算される。これは、時間ステップnにおける状態616が出力され、
【0133】
【数37】
【0134】
が計算されるまで継続される。ΔP*'は、畳み込みニューラルネットワークの訓練と同様に、重み行列を調整するために逆伝播において使用される。しかしながら、畳み込みネットワークとは異なり、リカレントニューラルネットワークにおける同じ重み行列が各反復において適用され、訓練中の逆伝播においてのみ変更される。健康指標データおよび対応する他因子データを有する多くの訓練例が、RNN600が収束するまでRNN600に何度も入力される。前に論じたように、LTSM RNNは、そのようなネットワークの状態が入力データのより長期的な文脈分析を提供するいくつかの実施形態において使用され得、それは、ネットワークが(より)長期的な相関関係を学習するとき、よりよい予測を提供し得る。言及もされ、当業者が容易に理解するように、他の機械学習モデルは、本明細書で説明される実施形態の範囲内に入り、例として、限定ではなく、CNNまたは他のフィードフォワードネットワークを含み得る。
【0135】
図7Aは、ユーザの測定された健康指標が、同様の他因子の下にある健康な人の健康指標に関する正常のしきい値の範囲内にあるか、または範囲外にあるかを予測するシステム700を示す。システム700は、機械学習モデル702と、健康検出器704とを有する。機械学習モデル702に関する実施形態は、例えば(限定ではなく)、訓練された機械学習モデル、訓練されたRNN、CNN、または他のフィードフォワードネットワークを含む。訓練されたRNN、他のネットワーク、またはネットワークの組合せは、健康指標データおよび(時間的に)対応する他因子データが収集された健康な人の集団からの訓練例において訓練され得る。代替的に、訓練されたRNN、他のネットワーク、またはネットワークの組合せは、特定のユーザからの訓練例において訓練され得、パーソナライズされた訓練された機械学習モデルにし得る。当業者は、一般に訓練されたネットワークおよびシステムに関する用途または設計に応じて、異なる集団からの訓練例が選択され得ることを理解するであろう。当業者は、この実施形態および他の実施形態における健康指標データが1つまたは複数の健康指標であり得ることも容易に理解するであろう。例えば、限定ではなく、PPGデータ、心拍数データ、血圧データ、体温データ、血中酸素濃度データなどのうちの1つまたは複数が、モデルを訓練し、ユーザの健康を予測するために使用され得る。健康検出器704は、損失、または測定データを用いて予測出力を分析することによって決定された他のメトリックが、正常とみなされるしきい値を超え、したがって不健康であるかどうかを判定するために、機械学習モデル702からの予測708と、入力データ710とを使用する。システム700は、通知、またはユーザの健康の状態を出力する。この通知は、本明細書で論じるように多くの形態をとり得る。入力発生器706は、センサ(図示せず)を装着している、またはセンサと接触しているユーザからのセンサによるデータを継続的に取得し、データは、ユーザの1つまたは複数の健康指標を表す。(時間的に)対応する他因子データは、本明細書で説明するように、または当業者にとって容易に明らかであるように、別のセンサによって収集され得、または他の手段を介して取得され得る。
【0136】
入力発生器706はまた、他因子データを決定/計算するためにデータを収集し得る。入力発生器は、例えば、限定ではなく、スマートウォッチ、ウェアラブルもしくはモバイルデバイス(例えば、Apple Watch(登録商標)もしくはFitBit(登録商標)スマートフォン、タブレット、またはラップトップコンピュータ)、スマートウォッチおよびモバイルデバイスの組合せ、データをモバイルデバイスもしくは他のポータブルコンピューティングデバイスに送信する能力を有する外科的に埋め込まれたデバイス、または医療施設内のカート上のデバイスを含み得る。好ましくは、ユーザ入力発生器706は、1つまたは複数の健康指標に関連するデータを測定するためのセンサ(例えば、PPGセンサ、電極センサ)を有する。いくつかの実施形態のスマートウォッチ、タブレット、携帯電話、もしくはラップトップコンピュータは、センサを搭載し得、またはセンサは、リモートに配置され得(外科的に埋め込まれ得るか、モバイルデバイスから離れて身体に接触され得るか、またはなんらかの分離したデバイスであり得る)、これらのすべての場合において、モバイルデバイスは、健康指標データを収集するためにセンサと通信する。いくつかの実施形態において、システム700は、モバイルデバイス上に単独で、他のモバイルデバイスと組み合わせて、またはこれらのデバイスが通信し得るネットワークを介した通信を介して他のコンピューティングシステムと組み合わせて提供され得る。例えば、限定ではなく、システム700は、機械学習モデル702および健康検出器704がデバイス上、例えば、腕時計のメモリまたは腕時計上のファームウェアに配置された、スマートウォッチまたはウェアラブルであり得る。腕時計は、ユーザ入力発生器706を有し、直接通信、ワイヤレス通信(例えば、WiFi、音、Bluetooth（登録商標）など)、またはネットワーク(例えば、インターネット、イントラネット、エクストラネットなど)を介する、またはそれらの組合せを介して他のコンピューティングデバイス(例えば、携帯電話、タブレット、ラップトップコンピュータ、またはデスクトップコンピュータ)と通信し得、訓練された機械学習モデル702および健康検出器704は、他のコンピューティングデバイス上に配置され得る。当業者は、本明細書で説明する実施
形態の範囲を超えることなく、システム700の任意の数の構成が利用され得ることを理解するであろう。
形態の範囲を超えることなく、システム700の任意の数の構成が利用され得ることを理解するであろう。
【0137】
図7Bを参照すると、一実施形態によるスマートウォッチ712が示されている。スマートウォッチ712は、すべての回路およびマイクロプロセッサ、ならびに当業者に知られている処理デバイス(図示せず)を含む腕時計714を含む。腕時計714は、ユーザの健康指標データ718、この例では心拍数データが表示され得るディスプレイ716も含む。同様にディスプレイ716上に表示されるのは、正常または健康な集団に関する予測された健康指標バンド720であり得る。図7Bにおいて、ユーザの測定された心拍数データは、予測された健康バンドを超えないので、この特定の例では、通知は行われないであろう。腕時計714はまた、腕時計バンド722と、高忠実度センサ724、例えば、ECGセンサとを含み得る。代替的に、腕時計バンド722は、血圧を測定するための拡張可能なカフであり得る。例えば、心拍数データ、または血圧などの他のデータを導出するために使用され得る、PPGデータなどのユーザの健康指標データを収集するために、低忠実度センサ726(陰影で示す)が腕時計714の背面に設けられる。代替的に、当業者によって理解されるように、いくつかの実施形態において、FitBitまたはPolarなどのフィットネスバンドが使用され得、フィットネスバンドは、同様の処理能力と他因子測定デバイス(例えば、ppgおよび加速度計)を有する。
【0138】
図8は、ユーザの健康状態を継続的に監視するための方法800の一実施形態を示す。ステップ802は、ユーザ入力データを受信し、ユーザ入力データは、1つまたは複数の健康指標に関するデータ(別名、データの一次シーケンス)と、他因子に関する(時間的に対応する)データ(別名、データの二次シーケンス)とを含み得る。ステップ804は、ユーザデータを訓練された機械学習モデルに入力し、訓練された機械学習モデルは、訓練されたRNN、CNN、本明細書で説明されているような他のフィードフォワードネットワーク、または当業者に知られている他のニューラルネットワークを含み得る。いくつかの実施形態において、健康指標入力データは、本明細書のいくつかの実施形態で説明されているように、予測された健康指標データと測定された健康指標データのうちの1つまたは組合せ、例えば、線形結合であり得る。ステップ806は、時間ステップにおいて1つまたは複数の予測された健康指標に関するデータを出力し、その出力は、例として、限定ではなく、単一の予測値、予測値の関数としての確率分布を含み得る。ステップ808は、予測された健康指標に基づいて損失を決定し、ここで、例えば、限定ではなく、損失は、予測された健康指標と測定された健康指標との間の単純な差、または何か他の適切に選択された損失関数(例えば、測定された健康指標に関する値において評価された確率分布の負の対数)であり得る。ステップ810は、損失が正常または不健康とみなされるしきい値を超えるかどうかを判定し、ここで、しきい値は、例えば、限定ではなく、設計者によって選択された単純な数値、または予測に関連するなんらかのパラメータのより複雑な関数であり得る。しきい値よりも大きい場合、ステップ812は、ユーザの健康指標が正常または健康とみなされるしきい値を超えていることをユーザに通知する。本明細書で説明されているように、通知は、多くの形態をとり得る。いくつかの実施形態において、この情報は、ユーザに対して視覚化され得る。例えば、限定ではなく、情報は、(i)時間の関数としての測定された健康指標データ(例えば、心拍数)および他因子データ(例えば、歩数)と、(ii)機械学習モデルによって生成された予測された健康指標データ(例えば、予測された心拍数値)の分布とを示すグラフなどのユーザインターフェース上
に表示され得る。このようにして、ユーザは、測定されたデータポイントを予測されたデータポイントと視覚的に比較し、ユーザの心拍数が、例えば、機械学習モデルによって予想される範囲内に入るかどうかを、視覚的検査によって判定することができる。
に表示され得る。このようにして、ユーザは、測定されたデータポイントを予測されたデータポイントと視覚的に比較し、ユーザの心拍数が、例えば、機械学習モデルによって予想される範囲内に入るかどうかを、視覚的検査によって判定することができる。
【0139】
本明細書で説明されるいくつかの実施形態は、ユーザに通知するかどうかを決定するためにしきい値を使用することに言及している。これらの実施形態のうちの1つまたは複数において、ユーザは、ユーザの個人的な健康知識とより密接に一致するように、システムまたは方法を調整またはチューニングするためにしきい値を変更し得る。例えば、使用される生理学的指標が血圧であり、ユーザがより高い血圧を有する場合、実施形態は、ユーザの指標が健康な集団において訓練されたモデルからの正常または健康な範囲外であることをユーザに頻繁に警告/通知する可能性がある。したがって、特定の実施形態は、ユーザがしきい値を上げることを可能にするので、ユーザは、ユーザの健康指標が正常または健康とみなされるものを超えることをそれほど頻繁に通知されない。
【0140】
いくつかの実施形態は、好ましくは、健康指標に関する生のデータを使用する。生のデーが特定の測定値、例えば、心拍数を導出するために処理される場合、この導出されたデータは、実施形態に従って使用され得る。いくつかの状況において、健康監視装置の提供者は、生のデータを制御できず、受信されるものは、計算された健康指標、例えば、心拍数または血圧の形態において処理されたデータである。当業者によって理解されるように、機械学習モデルを訓練するために使用されるデータの形態は、ユーザから収集されて訓練されたモデルに入力されるデータの形式と一致すべきであり、そうでない場合、予測は、誤っていることが判明する可能性がある。例えば、Apple Watchは、不均等な時間ステップにおいて心拍数測定データを提供し、生のPPGデータを提供しない。この例において、ユーザは、不均等な時間ステップにおける心拍数データを用いてAppleのPPG処理アルゴリズムに従って心拍数データを出力するApple Watchを装着する。モデルは、このデータにおいて訓練される。心拍数データを提供するためのそのアルゴリズムを変更することを決定したAppleは、以前のアルゴリズムからのデータにおいて訓練されたモデルを、新しいアルゴリズムから入力されたデータにおいて使用するために用いられないものにする可能性がある。この潜在的な問題を考慮するために、いくつかの実施形態は、不規則な間隔のデータ(心拍数、血圧データ、またはECGデータなど)を規則的な間隔のグリッドに再サンプリングし、モデルを訓練するためにデータを収集するときに、規則的な間隔のグリッドからサンプリングする。Apple、またはデータの他の提供者がそのアルゴリズムを変更した場合、モデルは、新しく収集された訓練例において再訓練されることのみを必要とし、モデルは、アルゴリズムの変更を考慮して再構築される必要はない。
【0141】
さらなる実施形態において、訓練された機械学習モデルは、ユーザのデータにおいて訓練され得、その結果、パーソナライズされた訓練された機械学習モデルを生じる。この訓練されたパーソナライズされた機械学習モデルは、本明細書で説明される健康な人々の集団において訓練された機械学習モデルの代わりに、またはそれと組み合わせて使用され得る。単独で使用される場合、ユーザのデータは、パーソナライズされた訓練された機械学習モデルに入力され、このパーソナライズされた訓練された機械学習モデルは、次の時間ステップにおいてそのユーザにとって正常であるその個人の健康指標の予測を出力し、この予測は、次いで、ユーザの健康指標がそのユーザにとって正常であると予測されるものからなんらかのしきい値だけ異なっていたかどうかを判定するために、本明細書で説明される実施形態と一致する方法で、次の時間ステップからの実際の/測定されたデータと比較される。加えて、このパーソナライズされた機械学習モデルは、その個々のユーザにとって正常であると予測されたものと、健康な人々の集団にとって正常であると予測されたものの両方に関連する予測と関連する通知とを生成するために、健康な人々の集団からの訓練例において訓練された機械学習モデルと組み合わせて使用され得る。
【0142】
図9Aは、別の実施形態による方法900を示し、図9Bは、説明の目的のために、時間の関数としての心拍数(例として、限定ではなく)の仮想的プロット902を示す。ステップ904(図9A)は、ユーザの心拍数データ(または他の健康指標データ)と、オプションで、(時間的に)対応する他因子データとを受信し、このデータをパーソナライズされた訓練された機械学習モデルに入力する。いくつかの実施形態において、パーソナライズされた訓練されたモデルは、ユーザの個々の健康指標データと、オプションで、本明細書で説明されるように(時間的に)対応する他のデータとにおいて訓練される。したがって、ステップ906において、パーソナライズされた訓練された機械学習モデルは、他の因子の状態の下でのその個々のユーザに関する正常な心拍数データを予測し、ステップ908は、その特定のユーザに対して正常として予測されたものと比較して、ユーザの健康指標データにおける逸脱または異常を識別する。いくつかの実施形態は、ユーザにおけるウェアラブルデバイス(例えば、Apple Watch、スマートウォッチ、FitBit(登録商標)など)から、またはユーザにおけるセンサと通信する別のモバイルデバイス(例えば、タブレット、コンピュータなど)からユーザの健康指標データを受信し、これについては、本明細書全体を通して論じる。
【0143】
ユーザの測定データがその特定のユーザにとって正常であると予測されるものに対して異常であることをステップ908においてユーザに通知するかどうかを決定するのを助けるために、損失が定義され得る。損失は、予測が実際のまたは測定されたデータにどれくらい近いかをモデル化するために選択される。当業者は、損失を定義する多くの方法を認識するであろう。本明細書で説明され、ここでも等しく適用可能な他の実施形態において、例えば、予測された値と絶対値との間の差の絶対値|ΔP*|が損失の形態である。いくつかの実施形態において、損失(L)は、L=ln[β(p)]であり得、ここで、
【0144】
【数38】
【0145】
である。Lは、一般に、
予測データが測定データにどれくらい近いかの尺度である。β(p)、この例では確率分布は、0から1までの範囲であり、ここで、1は、予測データおよび測定データが同じであることを意味する。したがって、低い損失は、いくつかの実施形態では、予測データが測定データと同じかまたは近い可能性が高いことを示す。いくつかの実施形態において、Lに関するしきい値が設定され、例えば、L>5であり、ここで、ユーザは、その特定のユーザについて予測された状態から異常な状態が存在することを通知される。この通知は、本明細書の他の箇所で説明されているように、多くの形態をとり得る。本明細書の他の箇所でも説明されているように、他の実施形態は、時間期間にわたる損失の平均をとり、その平均をしきい値と比較し得る。いくつかの実施形態において、本明細書の他の箇所でより詳細に説明されているように、しきい値自体は、予測データの統計的計算または予測データの平均の関数であり得る。損失については、本明細書の他の箇所でより詳細に説明されており、簡潔にするために、ここでさらには論じない。当業者は、入力および予測データがスカラー値、または時間期間にわたるデータのセグメントであり得ることも理解するであろう。例えば、限定ではなく、システム設計者は、5分間のデータセグメントに関心を持つ可能性があり、時間tよりも前のすべてのデータと、t+5分間のすべての他のデータとを入力し、t+5分間の健康指標データを予測し、t+5分間のセグメントの測定された健康指標データとt+5分間のセグメントに対する予測された健康指標データとの間の損失を決定する。
予測データが測定データにどれくらい近いかの尺度である。β(p)、この例では確率分布は、0から1までの範囲であり、ここで、1は、予測データおよび測定データが同じであることを意味する。したがって、低い損失は、いくつかの実施形態では、予測データが測定データと同じかまたは近い可能性が高いことを示す。いくつかの実施形態において、Lに関するしきい値が設定され、例えば、L>5であり、ここで、ユーザは、その特定のユーザについて予測された状態から異常な状態が存在することを通知される。この通知は、本明細書の他の箇所で説明されているように、多くの形態をとり得る。本明細書の他の箇所でも説明されているように、他の実施形態は、時間期間にわたる損失の平均をとり、その平均をしきい値と比較し得る。いくつかの実施形態において、本明細書の他の箇所でより詳細に説明されているように、しきい値自体は、予測データの統計的計算または予測データの平均の関数であり得る。損失については、本明細書の他の箇所でより詳細に説明されており、簡潔にするために、ここでさらには論じない。当業者は、入力および予測データがスカラー値、または時間期間にわたるデータのセグメントであり得ることも理解するであろう。例えば、限定ではなく、システム設計者は、5分間のデータセグメントに関心を持つ可能性があり、時間tよりも前のすべてのデータと、t+5分間のすべての他のデータとを入力し、t+5分間の健康指標データを予測し、t+5分間のセグメントの測定された健康指標データとt+5分間のセグメントに対する予測された健康指標データとの間の損失を決定する。
【0146】
ステップ908は、異常が存在するかどうかを判定する。論じたように、これは、損失がしきい値を超えた場合に判定され得る。前述のように、しきい値は、設計者の選択によって、設計されているシステムの目的に基づいて設定される。いくつかの実施形態において、しきい値は、ユーザによって変更され得るが、この実施形態では、好ましくはそうではない。異常が存在しない場合、プロセスは、ステップ904において繰り返される。異常が存在する場合、ステップ910は、高忠実度測定値、例えば、限定ではなく、ECGまたは血圧の測定値を取得するようにユーザに通知または警告する。ステップ912において、高忠実度データは、アルゴリズム、医療専門家、またはその両方によって分析され、正常または正常でないとして記述され、正常でない場合、取得された高忠実度測定値に応じて、なんらかの診断、例えば、AFib、頻脈、徐脈、心房粗動、または高/低血圧が割り当てられ得る。明確にするために、高忠実度データを記録するための通知は、他の実施形態において、および上記で説明した一般的なモデルを使用する特定の実施形態において等しく適用可能であり、可能であることに留意されたい。高忠実度測定値は、いくつかの実施形態において、ECGまたは血圧システムなどのモバイル監視システムを使用してユーザによって直接取得され得、このモバイル監視システムは、いくつかの実施形態ではウェアラブルデバイスに関連付けられ得る。代替的には、通知ステップ910は、高忠実度測定値の自動取得を引き起こす。例えば、ウェアラブルデバイスは、センサと(有線または無線接続を介して)通信し、ECGデータを取得し得、またはウェアラブルデバイスは、血圧測定値を自動的に取得するために血圧カフシステム(例えば、ウェアラブルのリストバンド、またはアームバンドカフ)と通信し得、またはウェアラブルデバイスは、ペースメーカまたはECG電極などの埋込みデバイスと通信し得る。ECGをリモートで取得するためのシステムは、例えば、AliveCor社によって提供されており、そのようなシステムは(限定ではなく)、2つ以上の場所においてユーザに接触する1つまたは複数のセンサを含み、ここで、センサは、電気心臓データを収集し、この電気心臓データは、有線またはワイヤレスでモバイルコンピューティングデバイスに送信され、アプリ
が、データからECGストリップを生成し、ECGストリップは、アルゴリズム、医療専門家、またはその両方によって分析され得る。代替的には、センサは、血圧モニタであり得、血圧データは、有線またはワイヤレスのいずれかでモバイルコンピューティングデバイスに送信される。ウェアラブル自体は、健康指標データを測定する能力を有するカフを有する血圧システムであり得、オプションで、上記で説明したのと同様のECGセンサを有する。ECGセンサは、その内容が参照により本明細書に組み込まれる共有された米国仮出願第61/872,555号に記載されているものなどのECGセンサも含み得る。モバイルコンピューティングデバイスは、例えば、限定ではなく、コンピュータタブレット(例えば、iPad(登録商標))、スマートフォン(例えば、iPhone(登録商標))、ウェアラブル(例えば、Apple Watch)、または医療施設内の(おそらく、カート上に搭載されている)デバイスであり得る。モバイルコンピューティングデバイスは、いくつかの実施形態において、何か他のモバイルデバイスと通信するラップトップコンピュータまたはコンピュータであり得る。当業者は、ウェアラブルまたはスマートウォッチも、本明細書で説明される実施形態の文脈において提供される機能の観点から、モバイルコンピューティングデバイスとみなされることを理解するであろう。ウェアラブルの場合、センサは、ウェアラブルのバンド上に配置され得、そこでセンサがデータをワイヤレスもしくは有線でコンピューティングデバイス/ウェアラブルに送信し得、またはバンドは、血圧監視カフでもあり得、または前述のようにその両方であり得る。携帯電話の場合、センサは、電話に取り付けられたパッド、または電話から離れたパッドであり得、パッドは、電気的な心臓信号を感知し、そのデータをワイヤレスまたは有線でウェアラブルまたは他のモバイルコンピューティングデバイスに通信する。これらのシステムのいくつかに関するより詳細な説明は、米国特許第9,420,956号、同第9,572,499号、同第9,351,654号、同第9,247,911号、同第9,254,095号、ならびに同第8,509,882号のうちの1つまたは複数、および米国特許出願公開第2015/0018660号、同第2015/0297134号、および同第2015/0320328号のうちの1つまたは複数において提供され、これらのすべては、それらの全体において、すべての目的のために本明細書に組み込まれる。ステップ912は、前述のように、高忠実度データを分析し、説明または診断を提供する。
が、データからECGストリップを生成し、ECGストリップは、アルゴリズム、医療専門家、またはその両方によって分析され得る。代替的には、センサは、血圧モニタであり得、血圧データは、有線またはワイヤレスのいずれかでモバイルコンピューティングデバイスに送信される。ウェアラブル自体は、健康指標データを測定する能力を有するカフを有する血圧システムであり得、オプションで、上記で説明したのと同様のECGセンサを有する。ECGセンサは、その内容が参照により本明細書に組み込まれる共有された米国仮出願第61/872,555号に記載されているものなどのECGセンサも含み得る。モバイルコンピューティングデバイスは、例えば、限定ではなく、コンピュータタブレット(例えば、iPad(登録商標))、スマートフォン(例えば、iPhone(登録商標))、ウェアラブル(例えば、Apple Watch)、または医療施設内の(おそらく、カート上に搭載されている)デバイスであり得る。モバイルコンピューティングデバイスは、いくつかの実施形態において、何か他のモバイルデバイスと通信するラップトップコンピュータまたはコンピュータであり得る。当業者は、ウェアラブルまたはスマートウォッチも、本明細書で説明される実施形態の文脈において提供される機能の観点から、モバイルコンピューティングデバイスとみなされることを理解するであろう。ウェアラブルの場合、センサは、ウェアラブルのバンド上に配置され得、そこでセンサがデータをワイヤレスもしくは有線でコンピューティングデバイス/ウェアラブルに送信し得、またはバンドは、血圧監視カフでもあり得、または前述のようにその両方であり得る。携帯電話の場合、センサは、電話に取り付けられたパッド、または電話から離れたパッドであり得、パッドは、電気的な心臓信号を感知し、そのデータをワイヤレスまたは有線でウェアラブルまたは他のモバイルコンピューティングデバイスに通信する。これらのシステムのいくつかに関するより詳細な説明は、米国特許第9,420,956号、同第9,572,499号、同第9,351,654号、同第9,247,911号、同第9,254,095号、ならびに同第8,509,882号のうちの1つまたは複数、および米国特許出願公開第2015/0018660号、同第2015/0297134号、および同第2015/0320328号のうちの1つまたは複数において提供され、これらのすべては、それらの全体において、すべての目的のために本明細書に組み込まれる。ステップ912は、前述のように、高忠実度データを分析し、説明または診断を提供する。
【0147】
ステップ914において、高忠実度測定値の診断または分類は、コンピューティングシステムによって受信され、コンピューティングシステムは、いくつかの実施形態において、ユーザの心拍数データ(または他の健康指標データ)を収集するために使用されるモバイルまたはウェアラブルコンピューティングシステムであり得、ステップ916において、低忠実度健康指標データシーケンス(この例では、心拍数データ)は、診断でラベル付けされる。ステップ918において、ラベル付けされたユーザの低忠実度データシーケンスは、高忠実度機械学習モデルを訓練するために使用され、オプションで、他因子データシーケンスも、モデルを訓練するために提供される。訓練された高忠実度機械学習モデルは、いくつかの実施形態では、測定された低忠実度健康指標データシーケンス(例えば、心拍数データまたはPPGデータ)と、オプションで他因子データとを受信し、確率もしくは予測を提供するか、または典型的には高忠実度データを使用して診断または検出されるイベントをユーザが経験している場合を診断もしくは検出する能力を有する。訓練された高忠実度機械学習モデルは、高忠実度データの診断でラベル付けされたユーザの健康指標データ(およびオプションで他因子データ)において訓練されているので、これを行うことができる。したがって、訓練されたモデルは、測定された低忠実度健康指標入力データシーケンス、例えば、心拍数またはppgデータ(およびオプションで他因子データ)のみに基づいて、ユーザがラベル(例えば、Afib、高血圧など)のうちの1つまたは複数に関連付けられたイベントを有している場合を予測する能力を有する。当業者は、高忠実度モデルの訓練が、ユーザのモバイルデバイス上で、ユーザのモバイルデバイスから離れた場所で、その2つの組合せで、または分散ネットワークにおいて行われ得ることを理解するであろう。例えば、限定ではなく、ユーザの健康指標データは、クラウドシステム内に記憶され得、このデータは、ステップ914からの診断を使用してクラウドにおいてラベル付けされ得る。当業者は、この情報を記憶し、ラベル付けし、アクセスするための任意の数の方法および方式を容易に理解するであろう。代替的には、グローバルに訓練された高忠実度モデルが使用され得、このグローバルに訓練された高忠実度モデルは、典型的には高忠実度測定値を用いて診断または検出されるこれらの状態を経験している人の集団からのラベル付けされた訓練例において訓練される。これらのグローバル訓練例は、高忠実度測定値(例えば、医療専門家またはアルゴリズムによってECGから呼び出されたAfib)を使用して診断される状態でラベル付けされた低忠実度データシーケンス(例えば、心拍数)を提供する。
【0148】
ここで図9Bを参照すると、プロット902は、時間の関数としてプロットされた心拍数の概略図を示す。ユーザの正常な心拍数データからの異常920は、時間t1、t2、t3、t4、t5、t6、t7、t8において発生した。正常とは、上記で説明したように、この特定のユーザに関する予測データが測定データのしきい値内にあったことを意味し、異常は、しきい値外である。正常からの異常において、いくつかの実施形態は、より明確なまたは高忠実度の読み取り値、例として、限定ではなく、ECG1、ECG2、ECG3、ECG4、ECG5、ECG6、ECG7、ECG8として識別されるECG読み取り値を取得するようにユーザに促す。上記で説明したように、高忠実度読み取り値は、自動的に取得され得、ユーザは、それを取得し得、それは、ECG以外のもの、例えば、血圧であり得る。高忠実度読み取り値は、高忠実度データを正常/異常として識別するため、さらに、異常、例えば、限定ではなく、AFibを識別/診断するために、アルゴリズム、医療専門家、またはその両方によって分析される。この情報は、ユーザのシーケンスデータ内の異常920の箇所における健康指標データ(例えば、心拍数またはPPGデータ)にラベル付けするために使用される。
【0149】
高忠実度データと低忠実度データとの間の区別は、高忠実度データまたは測定値が典型的には決定、検出、または診断を行うために使用され、低忠実度データがそのようなものには容易に使用することができないというものである。例えば、不整脈を識別、検出、または診断するために、ECGスキャンが使用され得るが、心拍数またはPPGデータは、典型的にはこの機能を提供しない。当業者は、機械学習アルゴリズム(例えば、ベイズ、マルコフ、ガウスプロセス、クラスタリングアルゴリズム、生成モデル、カーネル、およびニューラルネットワークアルゴリズム)に関連する本明細書の説明が本明細書に記載のすべての実施形態に等しく適用されることを理解するであろう。
【0150】
いくつかの状況において、ユーザは、問題が存在する可能性があるにもかかわらず、無症候性のままであり、症状が存在する場合でも、診断または検出を行うために必要な高忠実度測定値を取得するのは非現実的である可能性がある。例えば、限定ではなく、不整脈、特にAFは、現れない場合があり、症状が現れる場合であっても、その瞬間にECGを記録することは、悪名が高いほど困難であり、高価で、かさばり、時には侵襲的である監視デバイスなしでは、ユーザを継続的に監視することは、非常に困難である。本明細書の別の箇所で論じているように、AFは、少なくとも、他の深刻な状態の中でも、脳卒中の要因となる可能性があるので、ユーザがAFを経験するときを理解することは、重要である。同様に、他の箇所で論じたように、AF負担は、同様の重要性を有する可能性がある。いくつかの実施形態は、心拍数またはppgなどの低忠実度健康指標データおよびオプションの他因子データの継続的な監視のみを使用して不整脈(例えば、AF)または他の深刻な状態の継続的な監視を可能にする。
【0151】
図10は、健康監視システムおよび方法のいくつかの実施形態による方法1000を示す。ステップ1002は、測定されたまたは実際のユーザの低忠実度健康指標データ(例えば、ウェアラブル上のセンサからの心拍数またはPPG)と、オプションで、本明細書で説明されるように健康指標データに影響を与える可能性がある(時間的に)対応する他因子データとを受信する。本明細書の他の箇所で論じられているように、低忠実度健康指標データは、スマートウォッチ、他のウェアラブル、またはコンピュータタブレットなどの、モバイルコンピューティングデバイスによって測定され得る。ステップ1004において、ユーザの低忠実度健康指標データ(およびオプションで他因子データ)は、訓練された高忠実度機械学習モデルに入力され、訓練された高忠実度機械学習モデルは、ステップ1006において、測定された低忠実度健康指標データ(およびオプションで(時間的に)対応する他因子データ)に基づいて、ユーザに対する予測された識別または診断を出力する。ステップ1008は、識別または診断が正常であるかどうかを尋ね、正常である場合、プロセスがやり直される。識別または診断が正常ではない場合、ステップ1010は、問題または検出をユーザに通知する。オプションで、システム、方法、およびプラットフォームは、ユーザ、家族、友人、医療専門家、緊急911などの任意の組合せに通知するように設定され得る。これらの人の誰に通知するかは、識別、検出、または診断に依存し得る。識別、検出、または診断が生命を脅かすものである場合、診断が生命を脅かさない場合には通知されない場合がある特定の人に連絡または通知される場合がある。加えて、いくつかの実施形態において、測定された健康指標データシーケンスは、訓練された高忠実度機械学習モデルに入力され、ユーザが異常なイベントを経験している時間の量(例えば、予測された異常なイベントの開始と停止との間の差)が計算され、ユーザの異常負担のよりよい理解を可能にする。特に、脳卒中および他の深刻な状態を予防する際に、AF負担を理解することが非常に重要である可能性がある。したがって、いくつかの実施形態は、低忠実度健康因子データと、オプションで他因子データのみを取得することができるモバイルコンピューティングデバイス、ウェアラブルコンピューティングデバイス、または他のポータブルデバイスを用いた異常イベントの継続監視を可能にする。
【0152】
図11は、本明細書に記載のいくつかの実施形態による、高忠実度出力予測または検出を生成するために低忠実度データに基づいて分析された例示的なデータ1100を示す。心房細動の検出を参照して説明されているが、低忠実度測定値に基づく高忠実度診断の追加の予測のために同様のデータが生成され得る。第1のチャート1110は、ユーザに関する時間経過に伴う心拍数計算を示す。心拍数は、PPGデータまたは他の心拍数センサに基づいて決定され得る。第2のチャート1120は、同じ時間期間中のユーザに関する活動データを示す。例えば、活動データは、歩数、またはユーザの動きの他の測定値に基づいて決定され得る。第3のチャート1130は、機械学習モデルから出力された分類子と、通知が生成されるときの水平しきい値とを示す。機械学習モデルは、低忠実度測定値の入力に基づいて予測を生成し得る。例えば、第1のチャート1110および第2のチャート1120におけるデータは、上記でさらに説明したように、機械学習システムによって分析され得る。機械学習システム分析の結果は、チャート1130に示す心房細動の確率として提供され得る。この場合には0.6を超える信頼度として示されている、確率がしきい値を超えた場合、健康監視システムは、ユーザ、医師、またはユーザに関連する他のユーザに対する通知または他の警報をトリガすることができる。
【0153】
いくつかの実施形態において、チャート1110および1120におけるデータは、連続測定値として機械学習システムに提供され得る。例えば、心拍数および活動レベルは、正確な測定のために、5秒毎の測定値として生成され得る。次いで、複数の測定値を有する時間のセグメントが、機械学習モデルに入力され得る。例えば、前の1時間のデータが、機械学習モデルへの入力として使用され得る。いくつかの実施形態において、1時間ではなく、より短いまたはより長い時間期間が提供され得る。図11に示すように、出力チャート1130は、ユーザが異常な健康イベントを経験している時間期間の指標を提供する。例えば、予測が特定の信頼レベルを超えている期間は、心房細動を判定するために健康監視システムによって使用され得る。この値は、次いで、測定された時間期間中のユーザにおける心房細動負担を決定するために使用され得る。
【0154】
いくつかの実施形態において、チャート1130における予測出力を生成するための機械学習モデルは、ラベル付けされたユーザデータに基づいて訓練され得る。例えば、ラベル付けされたユーザデータは、低忠実度データ(例えば、PPG、心拍数)および他のデータ(例えば、活動レベルまたは歩数)も利用可能な時間期間においてとられた高忠実度データ(ECG読み取り値など)に基づいて提供され得る。いくつかの実施形態において、機械学習モデルは、前の時間期間中に心房細動が存在した可能性が高いかどうかを判定するように設計される。例えば、機械学習モデルは、入力として1時間の低忠実度データをとり、インベントが存在した尤度を提供し得る。したがって、訓練データは、個人の集団に関する数時間の記録されたデータを含み得る。データは、高忠実度データに基づいて状態が診断されたときの健康イベントラベル付き時間であり得る。したがって、高忠実度データに基づく健康イベントラベル付き時間が存在した場合、機械学習モデルは、訓練されていない機械学習モデルに入力されたそのイベントを有する低忠実度データの任意の1時間ウィンドウが、健康イベントの予測を提供すべきであると判断し得る。訓練されていない機械学習モデルは、次いで、予測をラベルと比較することに基づいて更新され得る。数回の反復を繰り返し、機械学習モデルが収束したと判断した後、機械学習モデルは、低忠実度データに基づいてユーザの心房細動を監視するために健康監視システムによって使用され得る。様々な実施形態において、心房細動以外の他の状態が、低忠実度データを使用して検出され得る。
【0155】
図12は、コンピュータシステム1200の例示的な形態における機械の図式的な表現であり、コンピュータシステム1200の中で、本明細書で論じられている方法論のうちのいずれか1つまたは複数をマシンに実行させるための命令のセットが実行され得る。代替実施形態において、マシンは、ローカルエリアネットワーク(LAN)、イントラネット、エクストラネット、またはインターネット内の他のマシンに接続(例えば、ネットワーク化)され得る。マシンは、クライアントサーバネットワーク環境内のサーバもしくはクライアントマシンとして動作し得、またはピアツーピア(または分散)ネットワーク環境内のピアマシンとして動作し得る。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、ハブ、アクセスポイント、ネットワークアクセス制御デバイス、またはそのマシンによってとられるべきアクションを指定する命令のセット(逐次的またはその他)を実行することができる任意のマシンであり得る。さらに、単一のマシンのみが例示されているが、「マシン」という用語はまた、本明細書で論じられている方法論のうちのいずれか1つまたは複数を実行するために命令のセット(または複数のセット)を個別にまたは共同で実行するマシンの任意の集合体も含むと解釈されるべきである。一実施形態において、コンピュータシステム1200は、本明細書で説明されているように健康監視を実行するように構成されたサーバ、モバイルコンピューティングデバイス、ウェアラブルなどの典型であり得る。
【0156】
例示的なコンピュータシステム1200は、バス1230を介して互いに通信する、処理デバイス1202と、メインメモリ1204(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、ダイナミックランダムアクセスメモリ(DRAM))と、スタティックメモリ1206(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)と、データ記憶デバイス1218とを含む。本明細書に記載の様々なバスを介して提供される信号のいずれも、他の信号と時分割多重化され、1つまたは複数の共通バスを介して提供され得る。加えて、回路構成要素またはブロック間の相互接続は、バスまたは単一の信号線として示されている場合がある。バスの各々は、代替的には、1つまたは複数の単一の信号線であり、単一の信号線の各々は、代替的にバスであり得る。
【0157】
処理デバイス1202は、マイクロプロセッサ、中央処理装置、または他の処理デバイスなどの、1つまたは複数の汎用処理デバイスを表す。より具体的には、処理デバイスは、複雑命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組合せを実装するプロセッサであり得る。処理デバイス1202はまた、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサなどの、1つまたは複数の専用処理デバイスであり得る。処理デバイス1202は、処理ロジック1226を実行するように構成され、これは、本明細書で論じられている動作およびステップを実行するための健康モニタ1250および関連システムの一例であり得る。
【0158】
データ記憶デバイス1218は、機械可読記憶媒体1228を含み得、機械可読記憶媒体1228上には、本明細書で説明されているように健康モニタ1250および関連プロセスを処理デバイス1202に実行させるための命令を含む、本明細書に記載の機能の方法論のうちの任意の1つまたは複数を具体化する命令1222(例えば、ソフトウェア)の1つまたは複数のセットが記憶されている。命令1222は、コンピュータシステム1200によるその実行中に、メインメモリ1204内または処理デバイス1202内に、完全にまたは少なくとも部分的に存在し得、メインメモリ1204および処理デバイス1202は、機械可読記憶媒体も構成する。命令1222は、ネットワークインターフェースデバイス1208を介して、ネットワーク1220を介してさらに送信または受信され得る。
【0159】
機械可読記憶媒体1228はまた、本明細書で説明されているように、ユーザの健康を監視するための方法を実行するための命令を記憶するために使用され得る。機械可読記憶媒体1228は、単一の媒体であるように例示的な実施形態において示されているが、「機械可読記憶媒体」という用語は、命令の1つまたは複数のセットを記憶する単一の媒体または複数の媒体(例えば、集中型もしくは分散型データベース、または関連するキャッシュおよびサーバ)を含むように解釈されるべきである。機械可読媒体は、機械(例えば、コンピュータ)によって読み取り可能な形態(例えば、ソフトウェア、処理アプリケーション)において情報を記憶するための任意のメカニズムを含む。機械可読媒体は、限定はしないが、磁気記憶媒体(例えば、フロッピー（登録商標）ディスケット)、光記憶媒体(例えば、CD-ROM)、光磁気記憶媒体、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラム可能メモリ(例えば、EPROMおよびEEPROM)、フラッシュメモリ、または電子命令を記憶するのに適した別のタイプの媒体を含み得る。
【0160】
前述の説明は、本開示のいくつかの実施形態のよりよい理解を提供するために、特定のシステム、構成要素、方法などの例などの、多数の特定の詳細を記載している。しかしながら、本開示の少なくともいくつかの実施形態は、これらの特定の詳細なしで実施され得ることが、当業者には明らかであろう。他の例では、本開示を不必要に曖昧にすることを回避するために、周知の構成要素または方法について、詳細には説明せず、または単純なブロック図形式において提示する。したがって、記載されている特定の詳細は、単なる例示である。具体的な実施形態は、これらの例示的な詳細とは異なる場合があり、依然として本開示の範囲内であると考えられる。
【0161】
加えて、いくつかの実施形態は、機械可読媒体が2つ以上のコンピュータシステム上に格納され、および/または2つ以上のコンピュータシステムによって実行される、分散コンピューティング環境において実施され得る。加えて、コンピュータシステム間で転送される情報は、コンピュータシステムを接続する通信媒体を介してプルまたはプッシュされ得る。
【0162】
特許請求された主題の実施形態は、限定はしないが、本明細書に記載の様々な動作を含む。これらの動作は、ハードウェア構成要素、ソフトウェア、ファームウェア、またはそれらの組合せによって実行され得る。
【0163】
本明細書における方法の動作は、特定の順序において示され、説明されているが、各方法の動作の順序は、特定の動作が逆の順序で実行され得るように、または特定の動作が、少なくとも部分的に、他の動作と同時に実行され得るように変更され得る。別の実施形態において、別個の動作の命令またはサブ動作は、断続的または交互であり得る。
【0164】
要約に記載されているものを含む、本発明の例示された実装形態の上記の説明は、網羅的であること、および開示されている正確な形態に本発明を限定することを意図するものではない。本発明の特定の実装形態およびその例が、本明細書において例示目的のために説明されているが、当業者が認識するように、様々な同等の変更が本発明の範囲内で可能である。「例」または「例示的」という単語は、本明細書では、例、実例、または例示として機能することを意味するために使用される。「例」または「例示」として本明細書に記載されている任意の態様または設計は、必ずしも他の態様または設計よりも好ましい、または有利であると解釈されるべきではない。むしろ、「例」または「例示」という単語の使用は、概念を具体的に提示することを意図している。本出願で使用される場合、「または」という用語は、排他的な「または」ではなく、包括的な「または」を意味することを意図している。すなわち、特に明記されていない限り、または文脈から明らかでない限り、「XがAまたはBを含む」は、自然な包括的な順列のいずれかを意味することを意図している。すなわち、XがAを含む場合、XがBを含む場合、またはXがAとBの両方を含む場合、「XがAまたはBを含む」は、前述の例のいずれかの下で満たされる。加えて、本出願および添付の特許請求の範囲で使用される「a」および「an」という冠詞は、他に指定されない限り、または文脈から単数形に向けられていることが明らかでない限り、一般に「1つまたは複数」を意味すると解釈されるべきである。さらに、全体を通して「実施形態」もしくは「一実施形態」または「実装形態」もしくは「一実装形態」という用語の使用は、そのように説明されない限り、同じ実施形態または実装形態を意味することを意図していない。さらに、本明細書で使用される「第1の」、「第2の」、「第3の」、「第4の」などの用語は、異なる要素を区別するためのラベルとして意図され、必ずしも、それらの数値指定に従った順序的な意味を持たない場合がある。
【0165】
上記で開示された、および他の特徴および機能の変形、またはそれらの代替物は、多くの他の異なるシステムまたはアプリケーションに組み合わされ得る。その中の様々な現在予見されていないまたは予期されていない代替、修正、変形、または改善が、当業者によって後になされる可能性があり、それらは、以下の特許請求の範囲によって包含されることも意図している。特許請求の範囲は、ハードウェア、ソフトウェア、またはそれらの組合せにおける実施形態を包含し得る。上記で説明した実施形態に加えて、本開示は、限定ではなく、以下の例示的な実装形態を含む。
【0166】
いくつかの例示的な実装形態は、ユーザの心臓の健康を監視する方法を提供する。方法は、第1の時間におけるユーザの、測定された健康指標データと他因子データとを受信するステップと、処理デバイスによって、健康指標データと他因子データとを機械学習モデルに入力するステップであって、機械学習モデルが次の時間ステップにおける予測された健康指標データを生成する、ステップと、次の時間ステップにおけるユーザのデータを受信するステップと、処理デバイスによって、次の時間ステップにおける損失を決定するステップであって、損失が、次の時間ステップにおける予測された健康指標データと次の時間ステップにおけるユーザの測定された健康指標データとの間の測定値である、ステップと、損失がしきい値を超えているかどうかを判定するステップと、損失がしきい値を超えていると判断したことに応答して、ユーザへの通知を出力するステップとを含むことができる。
【0167】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルは、訓練された生成ニューラルネットワークである。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルは、フィードフォワードネットワークである。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルはRNNである。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルはCNNである。
【0168】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルは、健康な集団、心臓病の集団、およびユーザのうちの1つまたは複数からの訓練例において訓練されている。
【0169】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、次の時間ステップにおける損失は、次の時間ステップにおける予測された健康指標データと次の時間ステップにおけるユーザの測定された健康指標との間の差の絶対値である。
【0170】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、予測された健康指標データは、確率分布であり、次の時間ステップにおける予測された健康指標データは、確率分布からサンプリングされる。
【0171】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、次の時間ステップにおける予測された健康指標データは、最大確率における予測された健康指標データ、および確率分布から予測された健康指標データをランダムにサンプリングすることからなるグループから選択されたサンプリング技法に従ってサンプリングされる。
【0172】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、予測された健康指標データは、確率分布(β)であり、損失は、次の時間ステップにおけるユーザの測定された健康指標を用いて評価された次の時間ステップにおける確率分布の負の対数に基づいて決定される。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、方法は、確率分布の自己サンプリングをさらに含む。
【0173】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、方法は、時間ステップの期間にわたって予測された健康指標データを平均化するステップと、時間ステップの期間にわたってユーザの測定された健康指標データを平均化するステップと、予測された健康指標データと測定された健康指標データとの間の絶対値の差に基づいて損失を決定するステップとをさらに含む。
【0174】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、測定された健康指標データは、PPGデータを含む。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、測定された健康指標データは、心拍数データを含む。
【0175】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、方法は、不規則な間隔の心拍数データを規則的な間隔のグリッドに再サンプリングするステップをさらに含み、心拍数データは、規則的な間隔のグリッドからサンプリングされる。
【0176】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、測定された健康指標データは、PPGデータ、心拍数データ、パルスオキシメータデータ、ECGデータ、および血圧データからなるグループから選択された1つまたは複数の健康指標データである。
【0177】
いくつかの例示的な制限は、処理デバイスと、ディスプレイと、健康指標データセンサと、記憶された命令を有するメモリとを備えるモバイルコンピューティングデバイスを備える装置を提供し、命令は、処理デバイスによって実行されると、時間における健康指標データセンサから測定された健康指標データと、第1の時間における他因子データとを受信する動作と、健康指標データと他因子データとを訓練された機械学習モデルに入力する動作であって、訓練された機械学習モデルが次の時間ステップにおける予測された健康指標データを生成する、動作と、次の時間ステップにおける測定された健康指標データと他因子データとを受信する動作と、次の時間ステップにおける損失を決定する動作であって、損失が、次の時間ステップにおける予測された健康指標データと次の時間ステップにおける測定された健康指標データとの間の測定値である、動作と、次の時間ステップにおける損失がしきい値を超えた場合に通知を出力する動作とを処理デバイスに実行させる。
【0178】
任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、訓練された生成ニューラルネットワークを含む。任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、フィードフォワードネットワークを含む。任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、RNNである。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練された機械学習モデルは、CNNである。
【0179】
任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、健康な集団、心臓病の集団、およびユーザからなるグループの1つからの訓練例において訓練されている。
【0180】
任意の例示的な装置のいくつかの例示的な実装形態において、予測された健康指標データは、次の時間ステップにおけるユーザの健康指標の点予測であり、次の時間ステップにおける予測された健康指標データと測定された健康指標データとの間の差の絶対値である。
【0181】
任意の例示的な装置のいくつかの例示的な実装形態において、予測された健康指標データは、機械学習モデルから生成された確率分布からサンプリングされる。
【0182】
任意の例示的な装置のいくつかの例示的な実装形態において、予測された健康指標データは、最大確率、および確率分布からのランダムサンプリングからなるグループから選択されたサンプリング技法に従ってサンプリングされる。
【0183】
任意の例示的な装置のいくつかの例示的な実装形態において、予測された健康指標データは、確率分布(β)であり、損失は、次の時間ステップにおけるユーザの測定された健康指標を用いて評価されたβの負の対数に基づいて決定される。
【0184】
任意の例示的な装置のいくつかの例示的な実装形態において、処理デバイスは、0から1までの範囲の関数αをさらに定義するものであり、ユーザの測定された健康指標データと予測された健康指標データとの線形結合をαの関数として構成する。
【0185】
任意の例示的な装置のいくつかの例示的な実装形態において、処理デバイスは、さらに、確率分布の自己サンプリングを実行するものである。
【0186】
任意の例示的な装置のいくつかの例示的な実装形態において、処理デバイスは、さらに、平均化方法を使用して、時間ステップの期間にわたって、確率分布からサンプリングされた予測された健康指標データを平均化し、平均化方法を使用して、時間ステップの期間にわたって、ユーザの測定された健康指標データを平均化し、平均化された予測された健康指標データと測定された健康指標データとの間の絶対値の差に基づいて損失を定義するものである。
【0187】
任意の例示的な装置のいくつかの例示的な実装形態において、平均化方法は、平均を計算すること、算術平均を計算すること、中央値を計算すること、および最頻値を計算することからなるグループから選択された1つまたは複数の方法を含む。
【0188】
任意の例示的な装置のいくつかの例示的な実装形態において、測定された健康指標データは、PPG信号からのPPGデータを含む。任意の例示的な装置のいくつかの例示的な実装形態において、測定された健康指標データは、心拍数データである。任意の例示的な装置のいくつかの例示的な実装形態において、心拍数データは、不規則な間隔の心拍数データを規則的な間隔のグリッドに再サンプリングすることによって収集され、心拍数データは、規則的な間隔のグリッドからサンプリングされる。任意の例示的な装置のいくつかの例示的な実装形態において、測定された健康指標データは、PPGデータ、心拍数データ、パルスオキシメータデータ、ECGデータ、および血圧データからなるグループから選択された1つまたは複数の健康指標データである。
【0189】
任意の例示的な装置のいくつかの例示的な実装形態において、モバイルデバイスは、スマートウォッチ、フィットネスバンド、コンピュータタブレット、およびラップトップコンピュータからなるグループから選択される。
【0190】
任意の例示的な装置のいくつかの例示的な実装形態において、モバイルデバイスは、ユーザ高忠実度センサをさらに備え、通知は、高忠実度測定データを取得するようにユーザに要求し、処理デバイスは、さらに、高忠実度測定データの分析を受信し、ラベル付けされたユーザ健康指標データを生成するためにユーザの測定された健康指標データに分析でラベル付けし、訓練されたパーソナライズされた高忠実度機械学習モデルを訓練するために、ラベル付けされたユーザ健康指標データを訓練例として使用するものである。
【0191】
任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、メモリ上に記憶される。任意の例示的な装置のいくつかの例示的な実装形態において、訓練された機械学習モデルは、リモートメモリ上に記憶され、リモートメモリは、コンピューティングデバイスから分離され、モバイルコンピューティングデバイスは、ウェアラブルコンピューティングデバイスである。任意の例示的な装置のいくつかの例示的な実装形態において、訓練されたパーソナライズされた高忠実度機械学習モデルは、メモリ上に記憶される。任意の例示的な装置のいくつかの例示的な実装形態において、訓練されたパーソナライズされた高忠実度機械学習モデルは、リモートメモリ上に記憶され、リモートメモリは、コンピューティングデバイスから分離され、モバイルコンピューティングデバイスは、ウェアラブルコンピューティングデバイスである。
【0192】
任意の例示的な装置のいくつかの例示的な実装形態において、処理デバイスは、さらに、ユーザが心房細動を経験していることを予測し、ユーザの心房細動負担を決定するものである。
【0193】
いくつかの例示的な実装形態は、ユーザの心臓の健康を監視する方法を提供する。方法は、第1の時間における測定された低忠実度ユーザ健康指標データと他因子データとを受信するステップと、第1の時間におけるユーザ健康指標データおよび他因子データを含むデータを、パーソナライズされた高忠実度の訓練された機械学習モデルに入力するステップであって、パーソナライズされた高忠実度の訓練された機械学習モデルが、ユーザの健康指標データが異常であるかどうかを予測する、ステップと、予測が異常である場合、ユーザの健康が異常であるという通知を送信するステップとを含むことができる。
【0194】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、訓練されたパーソナライズされた高忠実度機械学習モデルは、高忠実度測定データの分析でラベル付けされた測定された低忠実度ユーザ健康指標データにおいて訓練されている。
【0195】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、高忠実度測定データの分析は、ユーザ固有の高忠実度測定データに基づく。
【0196】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、パーソナライズされた高忠実度機械学習モデルは、確率分布を出力し、予測は、確率分布からサンプリングされる。
【0197】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、予測は、最大確率における予測、および確率分布から予測をランダムサンプリングすることからなるグループから選択されたサンプリング技法に従ってサンプリングされる。
【0198】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、平均化された予測は、平均化方法を使用して、時間ステップの期間にわたる予測を平均化することによって決定され、平均化された予測は、ユーザの健康指標データが正常であるかまたは異常であるかを判定するために使用される。
【0199】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、平均化方法は、平均を計算すること、算術平均を計算すること、中央値を計算すること、および最頻値を計算することからなるグループから選択された1つまたは複数の方法を含む。
【0200】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、パーソナライズされた高忠実度の訓練された機械学習モデルは、ユーザのウェアラブルデバイスのメモリ内に記憶される。任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、測定された健康指標データおよび他因子データは、時間期間にわたるデータの時間セグメントである。
【0201】
任意の例示的な実装形態の方法のいくつかの例示的な実装形態において、パーソナライズされた高忠実度の訓練された機械学習モデルは、リモートメモリ内に記憶され、リモートメモリは、ユーザのウェアラブルコンピューティングデバイスから遠隔に配置される。
【0202】
いくつかの例示的な実装形態において、健康監視装置は、マイクロプロセッサと、ディスプレイと、ユーザ健康指標データセンサと、記憶された命令を有するメモリとを備えるモバイルコンピューティングデバイスを含み得、命令は、マイクロプロセッサによって実行されると、第1の時間における測定された低忠実度健康指標データと他因子データとを受信する動作であって、測定された健康指標データがユーザ健康指標データセンサによって取得される、動作と、第1の時間における健康指標データと他因子データとを含むデータを、訓練された高忠実度機械学習モデルに入力する動作であって、訓練された高忠実度機械学習モデルが、ユーザの健康指標データが正常であるかまたは異常であるかを予測する、動作と、予測が異常であることに応答して、ユーザの健康が異常であるという通知をユーザに送信する動作とを処理デバイスに実行させる。
【0203】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、訓練された高忠実度生成ニューラルネットワークである。任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、訓練されたリカレントニューラルネットワーク(RNN)である。任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、訓練されたフィードフォワードニューラルネットワークである。任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、CNNである。
【0204】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、ユーザ固有の高忠実度測定データに基づいてラベル付けされた測定されたユーザ健康指標データにおいて訓練されている。
【0205】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、訓練された高忠実度機械学習モデルは、高忠実度測定データに基づいてラベル付けされた低忠実度健康指標データにおいて訓練されており、低忠実度健康指標データおよび高忠実度測定データは、被験者の集団からのものである。
【0206】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、高忠実度機械学習モデルは、確率分布を出力し、予測は、確率分布からサンプリングされる。
【0207】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、予測は、最大確率における予測、および確率分布から予測をランダムサンプリングすることからなるグループから選択されたサンプリング技法に従ってサンプリングされる。
【0208】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、平均化された予測は、平均化方法を使用して、時間ステップの期間にわたる予測を平均化することによって決定され、平均化された予測は、ユーザの健康指標データが正常であるかまたは異常であるかを判定するために使用される。
【0209】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、測定された健康指標データおよび他因子データは、時間期間にわたるデータの時間セグメントである。
【0210】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、平均化方法は、平均を計算する、算術平均を計算する、中央値を計算する、および最頻値を計算するからなるグループから選択された1つまたは複数の方法を含む。
【0211】
任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、パーソナライズされた高忠実度の訓練された機械学習モデルは、メモリ内に記憶される。任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、パーソナライズされた高忠実度の訓練された機械学習モデルは、リモートメモリ内に記憶され、リモートメモリは、ウェアラブルコンピューティングデバイスから遠隔に配置される。任意の例示的な実装形態の健康監視装置のいくつかの例示的な実装形態において、モバイルデバイスは、スマートウォッチ、フィットネスバンド、コンピュータタブレット、およびラップトップコンピュータからなるグループから選択される。
【符号の説明】
【0212】
402 予測されたまたは可能性が高い出力データ
404 実線
500 訓練されたリカレントニューラルネットワーク、訓練されたニューラルネットワーク、RNN、展開された訓練されたRNN
502 状態
504 予測されたPPG
506 ステップ
508 ステップ
510 ステップ
512 ステップ
513 入力データ
513' 入力データ
513'' 入力データ
514 時間tにおける状態
516 訓練された重み
518 セル(Ct)
520 時間t+1における予測
522 更新された状態
523 P* t+2
524 Ct+1
530 Sn
532 予測
600 RNN
602 セル
604 初期状態S0
606 重み行列W、重み
608 時間ステップ1における更新された状態
610 セル
612 時間ステップ2における更新された状態
614 セル
616 時間ステップnにおける状態
700 システム
702 機械学習モデル、訓練された機械学習モデル
704 健康検出器
706 入力発生器、ユーザ入力発生器
708 予測
710 入力データ
712 スマートウォッチ
714 腕時計
716 ディスプレイ
718 ユーザの健康指標データ
720 健康指標バンド
722 腕時計バンド
724 高忠実度センサ
726 低忠実度センサ
900 方法
902 仮想的プロット、プロット
920 異常
1100 データ
1110 第1のチャート、チャート
1120 第2のチャート、チャート
1130 第3のチャート、チャート、出力チャート
1200 コンピュータシステム、コンピューティングシステム
1202 処理デバイス
1204 メインメモリ
1206 スタティックメモリ
1208 ネットワークインターフェースデバイス
1218 データ記憶デバイス
1220 ネットワーク
1222 命令
1226 処理ロジック
1228 機械可読記憶媒体
1230 バス
1250 健康モニタ
404 実線
500 訓練されたリカレントニューラルネットワーク、訓練されたニューラルネットワーク、RNN、展開された訓練されたRNN
502 状態
504 予測されたPPG
506 ステップ
508 ステップ
510 ステップ
512 ステップ
513 入力データ
513' 入力データ
513'' 入力データ
514 時間tにおける状態
516 訓練された重み
518 セル(Ct)
520 時間t+1における予測
522 更新された状態
523 P* t+2
524 Ct+1
530 Sn
532 予測
600 RNN
602 セル
604 初期状態S0
606 重み行列W、重み
608 時間ステップ1における更新された状態
610 セル
612 時間ステップ2における更新された状態
614 セル
616 時間ステップnにおける状態
700 システム
702 機械学習モデル、訓練された機械学習モデル
704 健康検出器
706 入力発生器、ユーザ入力発生器
708 予測
710 入力データ
712 スマートウォッチ
714 腕時計
716 ディスプレイ
718 ユーザの健康指標データ
720 健康指標バンド
722 腕時計バンド
724 高忠実度センサ
726 低忠実度センサ
900 方法
902 仮想的プロット、プロット
920 異常
1100 データ
1110 第1のチャート、チャート
1120 第2のチャート、チャート
1130 第3のチャート、チャート、出力チャート
1200 コンピュータシステム、コンピューティングシステム
1202 処理デバイス
1204 メインメモリ
1206 スタティックメモリ
1208 ネットワークインターフェースデバイス
1218 データ記憶デバイス
1220 ネットワーク
1222 命令
1226 処理ロジック
1228 機械可読記憶媒体
1230 バス
1250 健康モニタ
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】