(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-31
(54)【発明の名称】ミリ波レーダによる非接触心電図モニタリング方法
(51)【国際特許分類】
A61B 5/11 20060101AFI20241024BHJP
A61B 5/0507 20210101ALI20241024BHJP
【FI】
A61B5/11 110
A61B5/0507
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531547
(86)(22)【出願日】2022-11-23
(85)【翻訳文提出日】2024-05-27
(86)【国際出願番号】 CN2022133773
(87)【国際公開番号】W WO2023093770
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】202111454726.9
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】505383316
【氏名又は名称】中国科学技▲術▼大学
【氏名又は名称原語表記】UNIVERSITY OF SCIENCE AND TECHNOLOGY OF CHINA
【住所又は居所原語表記】96, Jinzhai Road, Baohe District, Hefei, Anhui 230026, P.R. China
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100161883
【氏名又は名称】北出 英敏
(72)【発明者】
【氏名】陳 彦
(72)【発明者】
【氏名】陳 金波
(72)【発明者】
【氏名】張 東恒
(72)【発明者】
【氏名】張 冬
(72)【発明者】
【氏名】孫 啓彬
(72)【発明者】
【氏名】呉 曼青
【テーマコード(参考)】
4C038
4C127
【Fターム(参考)】
4C038VA04
4C038VB25
4C038VB32
4C038VC20
4C127AA02
4C127AA10
4C127FF02
4C127GG01
4C127GG02
(57)【要約】
本開示は、ミリ波レーダによる非接触心電図モニタリング方法を提供し、ミリ波レーダを用いて測定対象にミリ波信号を送信してエコー信号を受信するステップS1と、受信したエコー信号に対して信号処理を行い、エコー信号に隠れている心臓機械活動データを抽出するステップS2と、抽出された心臓機械活動データに対して、エンドツーエンドのネットワークアーキテクチャを構築し、心臓機械活動から心臓電気活動へのクロスドメインマッピングを完成するステップS3と、心臓機械活動と心臓電気活動のクロスドメインマッピングを習得したディープラーニングネットワークアーキテクチャに基づいて、現在時刻で抽出された心臓機械活動データを入力し、現在時刻のECG測定結果を出力し、最終的に非接触心電図モニタリングを完成するステップS4と、を含む。
【特許請求の範囲】
【請求項1】
ミリ波レーダによる非接触心電図モニタリング方法であって、
ミリ波レーダを用いて測定対象にミリ波信号を送信してエコー信号を受信するステップS1と、
受信したエコー信号に対して信号処理を行い、エコー信号に隠れている心臓機械活動データを抽出するステップS2と、
抽出された心臓機械活動データに対して、エンドツーエンドのネットワークアーキテクチャを構築し、心臓機械活動から心臓電気活動へのクロスドメインマッピングを完成するステップS3と、を含む
ミリ波レーダによる非接触心電図モニタリング方法。
【請求項2】
前記ステップS2は、
ミリ波レーダアンテナの物理的配置を基に仮想アンテナアレー面を構築し、仮想アンテナアレー面におけるアンテナピッチ及び信号帯域幅に基づいて位相シフトベクトルを構築し、空間ビームフォーミングを計算し、レーダエコー信号の空間領域フィルタリングを完成するサブステップS21と、
空間領域フィルタリングされた全ての空間位置信号に対して位相を抽出し、位相に対して微動信号を抽出するサブステップS22と、
周期時間T毎に微動信号に対して周期テンプレートマッチングに基づく心臓微動関連性評価を行い、心臓微動に関する空間位置を探し出すサブステップS23と、
評価した微動信号に対して閾値スクリーニングを行い、閾値超過微動信号を保留し、残りの微動信号を取り除くサブステップS24と、
保留された微動信号に対して心臓機械活動データを抽出し、ミリ波レーダによる心臓機械活動の測定を完成するサブステップS25と、を含む
請求項1に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項3】
位相に最小分散に基づいて平滑化されたLanczos差分フィルタを用いて微動信号を抽出する
請求項2に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項4】
保留された微動信号に対してK-meansクラスタリングによる空間領域凝集フィルタリングを行って心臓機械活動データを抽出する
請求項2に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項5】
前記ステップS3は、
畳み込みニューラルネットワークを用いて心臓微動データの時間領域特徴を抽出するサブステップS31と、
空間的に疎な時間領域特徴に対して位置符号化を行い、マルチヘッドアテンションメカニズムを有するTransformerモジュールを用いて心臓微動データの空間領域特徴を抽出するサブステップS32と、
心臓微動の時間領域と空間領域特徴に対して要素ごとの乗算を行って心臓活動深層特徴の融合及び抽出を完成するサブステップS33と、を含む
請求項1に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項6】
前記ステップS3は、
心臓活動を時間自己回帰モデルとしてモデル化するサブステップS34をさらに含み、
【数1】
ここで、各時刻におけるECG測定結果x
tは、履歴時刻におけるECG測定結果(x
1,…,x
t-1)及び現在時刻における心臓活動深層特徴h
tの条件付き確率分布である
請求項5に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項7】
時間畳み込みネットワークを利用してシーケンスツーシーケンスのデコーダモデルを構築し、時間畳み込みネットワークにおける拡張畳み込み特性を利用して、デコーダモデルによる高いサンプリングレートレーダデータの長時間記憶を実現する
請求項5に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項8】
前記ステップS3は、
各時刻のECG予測結果と実際のECG測定結果にL2距離に基づく損失関数を用いて異なるドメイン間のマッピング関係を学習し、大量のデータのトレーニングを経た後、ディープラーニングネットワークアーキテクチャは心臓機械活動と心臓電気活動のクロスドメインマッピング関係を算出することができるサブステップS35をさらに含む
請求項5に記載のミリ波レーダによる非接触心電図モニタリング方法。
【請求項9】
心臓機械活動と心臓電気活動のクロスドメインマッピングを習得したディープラーニングネットワークアーキテクチャに基づいて、現在時刻で抽出された心臓機械活動データを入力し、現在時刻のECG測定結果を出力し、最終的に非接触心電図モニタリングを完成するステップS4をさらに含む
請求項1に記載のミリ波レーダによる非接触心電図モニタリング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、インテリジェントセンシング技術分野に関し、特に、ミリ波レーダによる非接触心電図モニタリング方法に関する。
【背景技術】
【0002】
心電図(ECG)は、心臓活動を記述するための現在最も重要な生体医学信号の1つであり、心疾患の診断に基礎情報を提供する。実験の証拠から明らかなように、持続的モニタリング、分析によって診断、制御及び予防を行えば、心疾患の発症率及び危害が明らかに低下する。従来の心電図モニタリング方法は、人体の皮膚に付着した電極によって、心筋収縮による電気的活動が身体の異なる部位に生じる微小電位変化を検出する。電極による心電図モニタリングは、臨床診断及び日常の予防に広く使用されているが、測定過程における人体接触要求により、実際の使用において依然として多くの制限があり、例えば、長時間の電極と皮膚との付着による異物感により、長時間の持続的モニタリングに対して患者が主観的に非常に抵抗し、若干の火傷、伝染病患者及び赤ちゃんに対して、電極と皮膚との貼り付きが困難になるなどの多くの制限がある。
【0003】
心臓活動プロセスは、心臓の機能的な機械運動によって完成されるため、心臓の機械活動自体も心臓電気活動の変化につながる。理論上、心臓機械活動と心臓電気活動は、同じ来源の情報の異なるドメインマッピングに属する。ミリ波レーダの発展に伴い、ますます正確な空間感知能力により、ミリ波レーダが非接触の正確な心臓機械活動のモニタリングを可能にする。しかしながら、電磁波の人体に対する反射が非常に複雑であり、干渉されやすく、かつ心臓活動自体による機械運動幅が非常に微弱である(通常、0.2-0.5ミリメートルの範囲程である)ため、常に幅がより大きい他の体動(例えば呼吸)に埋もれてしまう。従来の方法は主に人体の心拍数に対する推定などの粗粒度の心臓活動のモニタリングを実現するため、現在の方法の性能が非常に限られており、心臓機械活動の正確な測定を実現することが難しい。
【発明の概要】
【0004】
本開示は、ミリ波レーダによる非接触心電図モニタリング方法を提供し、ステップS1-ステップS3を含む。
ステップS1:ミリ波レーダを用いて測定対象にミリ波信号を送信してエコー信号を受信する。ステップS2:受信したエコー信号に対して信号処理を行い、エコー信号に隠れている心臓機械活動データを抽出する。ステップS3:抽出された心臓機械活動データに対して、エンドツーエンドのネットワークアーキテクチャを構築し、心臓機械活動から心臓電気活動へのクロスドメインマッピングを完成する。
【0005】
本開示の実施例によれば、ステップS2はサブステップS21-サブステップS25を含む。
サブステップS21:ミリ波レーダアンテナの物理的配置を基に仮想アンテナアレー面を構築し、仮想アンテナアレー面におけるアンテナピッチ及び信号帯域幅に基づいて位相シフトベクトルを構築し、空間ビームフォーミングを計算し、レーダエコー信号の空間領域フィルタリングを完成する。サブステップS22:空間領域フィルタリングされた全ての空間位置信号に対して位相を抽出し、位相に対して微動信号を抽出する。サブステップS23:周期時間T毎に微動信号に対して周期テンプレートマッチングに基づく心臓微動関連性評価を行い、心臓微動に関する空間位置を探し出す。サブステップS24:評価した微動信号に対して閾値スクリーニングを行い、閾値超過微動信号を保留し、残りの微動信号を取り除く。サブステップS25:保留された微動信号に対して心臓機械活動データを抽出し、ミリ波レーダによる心臓機械活動の測定を完成する。
【0006】
本開示の実施例によれば、位相に最小分散に基づいて平滑化されたLanczos差分フィルタを用いて微動信号を抽出する。
【0007】
本開示の実施例によれば、保留された微動信号に対してK-meansクラスタリングによる空間領域凝集フィルタリングを行って心臓機械活動データを抽出する。
【0008】
本開示の実施例によれば、ステップS3はサブステップS31-サブステップS33を含む。
サブステップS31:畳み込みニューラルネットワークを用いて心臓微動データの時間領域特徴を抽出する。サブステップS32:空間的に疎な時間領域特徴に対して位置符号化を行い、マルチヘッドアテンションメカニズムを有するTransformerモジュールを用いて心臓微動データの空間領域特徴を抽出する。サブステップS33:心臓微動の時間領域と空間領域特徴に対して要素ごとの乗算を行って心臓活動深層特徴の融合及び抽出を完成する。
【0009】
本開示の実施例によれば、ステップS3は、
心臓活動を時間自己回帰モデルとしてモデル化するサブステップS34をさらに含み、
【数1】
ここで、各時刻におけるECG測定結果x
tは、履歴時刻におけるECG測定結果(x
1,…,x
t-1)及び現在時刻における心臓活動深層特徴h
tの条件付き確率分布である。
【0010】
本開示の実施例によれば、時間畳み込みネットワークを利用してシーケンスツーシーケンスのデコーダモデルを構築し、時間畳み込みネットワークにおける拡張畳み込み特性を利用して、デコーダモデルによる高いサンプリングレートレーダデータの長時間記憶を実現する。
【0011】
本開示の実施例によれば、ステップS3は、
各時刻のECG予測結果と実際のECG測定結果にL2距離に基づく損失関数を用いて異なるドメイン間のマッピング関係を学習し、大量のデータのトレーニングを経た後、ディープラーニングネットワークアーキテクチャは心臓機械活動と心臓電気活動のクロスドメインマッピング関係を算出することができるサブステップS35をさらに含む。
【0012】
本開示の実施例によれば、ミリ波レーダによる非接触心電図モニタリング方法は、心臓機械活動と心臓電気活動のクロスドメインマッピングを習得したディープラーニングネットワークアーキテクチャに基づいて、現在時刻で抽出された心臓機械活動データを入力し、現在時刻のECG測定結果を出力し、最終的に非接触心電図モニタリングを完成するステップS4をさらに含む。
【0013】
本開示によって提供されるミリ波レーダによる非接触心電図モニタリング方法によれば、人体の心臓機械活動の安定、有効、正確な測定を完了することができ、心臓機械活動から心臓電気活動へのクロスドメイン情報マッピングを実現でき、測定時には非接触測定であり、より安全で便利である。従来技術におけるECGモニタリングが全て接触式測定方法によることによる不便及び欠点を緩和し、従来の非接触心臓測定技術において人体に対して粗粒度の心臓活動のモニタリング(例えば心拍数、心拍間隔など)のみを行うことができるなどの技術的問題を緩和する。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本開示の実施例に係るミリ波レーダによる非接触心電図モニタリング方法のフローチャート模式図である。
【
図2】
図2は、本開示の実施例に係る非接触心電図モニタリング過程における空間ビームフォーミングの結果模式図である。
【
図3】
図3は、本開示の実施例に係る人体胸腔近傍信号の位相及びフィルタリング後の微動信号模式図である。
【
図4】
図4は、本開示の実施例に係る非接触心電図モニタリング結果と同時にモニタリングされる接触時心電図結果との比較模式図である。
【
図5】
図5は、本開示の実施例における36名の被験者の非接触心電図モニタリング結果の基準時点における判定性能模式図(R波、T波ピーク時間)である。
【
図6】
図6は、本開示の実施例における36名の被験者の非接触心電図モニタリングの時間誤差と振幅二乗平均平方根誤差の累計統計結果の模式図である(Q Peak:Q波ピーク;R Peak:R波ピーク;S Peak:S波ピーク;T peak:T波ピーク)。
【
図7】
図7は、本開示の実施例に係るミリ波レーダによる非接触心電図モニタリングの動作原理及びアーキテクチャ模式図である。
【発明を実施するための形態】
【0015】
本開示は、ミリ波レーダによる非接触心電図モニタリング方法を提供し、ミリ波レーダとディープラーニングとの組み合わせは、非接触心電図のモニタリングのためにブリッジを構築し、その技術的コアは、如何にミリ波レーダを用いて人体心臓機械活動を安定的、効果的、正確的に測定するか、及び如何にレーダ感知データと心臓活動特性に対してディープラーニングネットワーク構造を設計し、深層特徴を掘削し、クロスドメイン情報のマッピングを実現し、最終的に心臓機械活動のレーダ観測記述から心臓電気活動の心電図記述までを完成する。従来の方法は、ミリ波レーダデータ特性及び複雑な心臓生理学的状態に対して、エンドツーエンドの心臓活動のクロスドメイン学習アーキテクチャを設計して実現していない。
【0016】
本開示の目的、技術案及び利点をより明確にするために、以下、具体的な実施例とともに、図面を参照して、本開示を更に詳細に説明する。
【0017】
本開示の実施例において、ミリ波レーダによる非接触心電図モニタリング方法を提供し、
図1および
図7に基づいて、前記ミリ波レーダによる非接触心電図モニタリング方法は、
ミリ波レーダを用いて測定対象にミリ波信号を送信してエコー信号を受信するステップS1と、
受信したエコー信号に対して信号処理を行い、エコー信号に隠れている心臓機械活動データを抽出するステップS2と、
抽出した心臓機械活動データに対して、エンドツーエンドのネットワークアーキテクチャを構築し、心臓機械活動から心臓電気活動へのクロスドメインマッピングを完成するステップS3と、を含む。
【0018】
本開示の実施例によれば、測定対象は、人又は他の動物である。
【0019】
本開示の実施例において、ステップS2は、サブステップS21-サブステップS25を含む。
【0020】
サブステップS21:ミリ波レーダアンテナの物理的配置を基に仮想アンテナアレー面を構築し、仮想アンテナアレー面におけるアンテナピッチ及び信号帯域幅に基づいて位相シフトベクトルを構築し、空間ビームフォーミングを計算し、レーダエコー信号の空間領域フィルタリングを完成し、その結果として、
図2に示すように、レーダ受信信号に対して空間領域フィルタリングを行った後、異なる空間位置の信号反射が成功に分離されることが分る。
【0021】
サブステップS22:空間領域フィルタリングされた全ての空間位置信号に対して位相を抽出し、位相に対して微動信号を抽出し、その結果として、
図3に示すように、胸腔近傍位置の位相情報は、その時の主な運動傾向が振幅がより大きい人体呼吸活動に由来することを表す。
【0022】
サブステップS23:周期時間T毎に微動信号に対して周期テンプレートマッチングに基づく心臓微動関連性評価を行い、心臓微動に関する空間位置を探し出す。
【0023】
サブステップS24:評価した微動信号に対して閾値スクリーニングを行い、閾値超過微動信号を保留し、残りの微動信号を取り除き、
図4に示すように、閾値超過微動信号は、幅が大きい動きの干渉を除去した。対応する時間の心電R波ピークとT波ピークとを対比し、この微動信号が心臓活動と同じ周期性を有することが分かる。
【0024】
サブステップS25:保留された微動信号に対して心臓機械活動データを抽出し、ミリ波レーダによる心臓機械活動の測定を完成する。
【0025】
より具体的には、ミリ波レーダアンテナの物理的配置を基に仮想アンテナアレー面を構築し、仮想アンテナアレー面におけるアンテナピッチ及び信号帯域幅に基づいて位相シフトベクトルを構築し、空間ビームフォーミングを計算し、レーダエコー信号の空間領域フィルタリングを完成する。空間位置(x,y,z)の時間tにおける信号S(x,y,z,t)は、
【数2】
として示される。
【0026】
ここで、Nは、受信アンテナの数であり、Mは、送信アンテナの数であり、yn,m,tは、n番目の受信アンテナ及びm番目の送信アンテナによって定義されたチャネルの時間tにおける受信信号であり、kは、送信周波数変化率を表し、λは、送信信号波長を表し、r(x,y,z,n,m)は、m番目の送信アンテナから目標位置(x,y,z)に至ってn番目の受信アンテナに戻るまでの往復距離を表し、cは、光速である。
【0027】
空間領域フィルタリング後の全ての空間位置信号に対して位相を抽出し、位相に対して、最小分散に基づいて平滑化されたLanczos差分フィルタを用いて微動信号を抽出する。
【0028】
周期時間T毎に微動信号に対して周期テンプレートマッチングによる心臓微動関連性評価を行い、心臓微動に関する空間位置を探し出す。続いて、評価した微動信号に対して閾値スクリーニングを行い、閾値超過微動信号を保留し、残りの微動信号を取り除く。保留された微動信号に対してK-meansクラスタリングに基づく空間領域凝集フィルタリングを行い、心臓機械活動データを抽出し、最終的にミリ波レーダによる心臓機械活動の測定を完成する。
【0029】
本開示の実施例において、ステップS3は、サブステップS31-サブステップS33を含む。
【0030】
サブステップS31:畳み込みニューラルネットワークを用いて心臓微動データの時間領域特徴を抽出する。
【0031】
サブステップS32:空間的に疎な時間領域特徴に対して位置符号化を行い、マルチヘッドアテンションメカニズムを有するTransformerモジュールを用いて心臓微動データの空間領域特徴を抽出する。
【0032】
サブステップS33:心臓微動の時間領域と空間領域特徴に対して要素ごとの乗算を行って心臓活動深層特徴の融合及び抽出を完成する。
【0033】
より具体的には、心臓機械活動データにおける時間と空間特性について、まず畳み込みニューラルネットワークを用いて心臓微動データの時間領域特徴を抽出し、その後、空間的に疎な時間領域特徴に対して位置符号化を行い、マルチヘッドアテンションメカニズムを有するTransformerモジュールを用いて心臓微動データの空間領域特徴を抽出する。続いて、心臓微動の時間領域と空間領域特徴に対して要素ごとの乗算を行って心臓活動深層特徴の融合及び抽出を完成する。
【0034】
本開示の実施例によれば、ステップS3は、心臓活動を時間自己回帰モデルとしてモデル化するサブステップS34をさらに含む。
【数3】
【0035】
各時刻におけるECG測定結果xtは、履歴時刻におけるECG測定結果(x1,…,xt-1)及び現在時刻における心臓活動深層特徴htの条件付き確率分布である。時間畳み込みネットワークを利用してシーケンスツーシーケンスのデコーダモデルを構築し、時間畳み込みネットワークにおける拡張畳み込み特性を利用して、デコーダモデルによる高いサンプリングレートレーダデータの長時間記憶を実現する。
【0036】
本開示の実施例によれば、ステップS3は、さらに、各時刻のECG予測結果と実際のECG測定結果(接触式測定)に対してL2距離に基づく損失関数を用いて異なるドメイン間のマッピング関係を学習し、大量のデータのトレーニングを経た後、ディープラーニングネットワークアーキテクチャが心臓機械活動と心臓電気活動のクロスドメインマッピング関係を算出することができるサブステップS35を含む。
【0037】
本開示の実施例において、
図1に示すように、ミリ波レーダによる非接触心電図モニタリング方法は、前記トレーニング済みの心臓機械活動と心臓電気活動のクロスドメインマッピングのディープラーニングネットワークアーキテクチャに基づいて、現在時刻で抽出された心臓機械活動データを入力し、現在時刻のECG測定結果を出力し、最終的に非接触心電図モニタリングを完成するステップS4をさらに含む。
【0038】
本開示の実施例において、検証を行う時、測定対象がベッド上で臥位姿勢を維持し、レーダが0.5m離れている場合(
図7に示すように)、本願が提供するアルゴリズムによる非接触心電図モニタリングの性能を示す。実験において、レーダは3送信4受信の動作状態であり、設定信号の開始周波数は78Ghzであり、帯域幅は4Ghzであり、Chirp間隔は45usであり、フレームレートは200Hzであり、サンプリング点は256である。合計として36人がテストされ、毎回に3minにおけるレーダと対応接触式心電図モニタリングデータを収集し、合計で810分間程度である。非接触心電図モニタリング性能の解析を
図5及び
図6に示す。
【0039】
以上、図面を参照して本開示の実施例を詳細に説明した。なお、添付図面又は明細書本文に図示又は説明されていない実現形態は、いずれも当業者に知られている形式であり、詳細な説明は省略する。また、上記の各素子及び方法に対する定義は、実施例で言及した各種の具体的な構造、形状又は形態に限定されず、当業者は、それを簡単に変更又は置換することができる。
【0040】
以上の説明から、当業者は、本開示に係るミリ波レーダによる非接触心電図モニタリング方法について明確に認識したはずである。
【0041】
以上のように、本開示は、ミリ波レーダによる非接触心電図モニタリング方法を提供し、ミリ波レーダによる心臓機械活動の測定と心臓電気活動とのクロスドメインディープラーニングの非接触心電図モニタリング方法であって、ミリ波レーダとディープラーニングとの組み合わせは、非接触心電図のモニタリングのためにブリッジを構築し、ミリ波レーダを用いて人体心臓機械活動を安定的、効果的、正確的に測定し、レーダ感知データと心臓活動特性に対してディープラーニングネットワーク構造を設計し、深層特徴を掘削し、クロスドメイン情報のマッピングを実現し、最終的に心臓機械活動のレーダ観測記述から心臓電気活動の心電図記述までを完成する。
【0042】
上述した本開示の具体的な実施形態は、本開示の保護範囲を限定するものではない。本開示の技術思想に基づいてなされた各種の他の相応な変更や変形は、いずれも本開示の請求項の保護範囲に含まれるべきである。
【国際調査報告】