特許 7199673 レーダ心拍検知方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-23

(45)【発行日】2023-01-06

(54)【発明の名称】レーダ心拍検知方法及びそのシステム

(51)【国際特許分類】

   A61B 5/0245 20060101AFI20221226BHJP

   A61B 5/0507 20210101ALI20221226BHJP

   G06N 3/02 20060101ALI20221226BHJP

【ＦＩ】

A61B5/0245 100A

A61B5/0507 100

A61B5/0245 200

G06N3/02

A61B5/0245 ZDM

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2021060918

(22)【出願日】2021-03-31

(65)【公開番号】P2022156964

(43)【公開日】2022-10-14

【審査請求日】2021-05-18

(73)【特許権者】

【識別番号】521136655

【氏名又は名称】艾陽科技股▲分▼有限公司

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】郭景明

(72)【発明者】

【氏名】林鼎

(72)【発明者】

【氏名】張佳芬

(72)【発明者】

【氏名】施添財

(72)【発明者】

【氏名】林謚翔

(72)【発明者】

【氏名】黄柏程

(72)【発明者】

【氏名】魏禹▲ブン▼

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】中国特許出願公開第１１２４０１８５６（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２０／０３９７３１０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１０４６９９（ＵＳ，Ａ１）

【文献】国際公開第２０１５／１２１９４９（ＷＯ，Ａ１）

【文献】特開２０２０－０４８６７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２４５

Ａ６１Ｂ ５／０５０７

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

レーダ心拍検知方法であって、
少なくとも１つのレーダセンサーを少なくとも１つの対象物に向けて位置合わせし、生信号を収集するステップと、
前記生信号を濾過処理し、濾過処理した信号を短時間フーリエ変換（ＳＴＦＴ）によって２次元イメージ情報に変換してから、ニューラルネットワークモデル中で、畳み込み層であった部分と縮小空間次元の部分とを平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）層に変換する処理を反復して次元削減を図った後に１層の２次元グローバル平均プーリング（Ｇｌｏｂａｌ ＡｖｇＰｏｏｌｉｎｇ）及び２層のデンス（Ｄｅｎｓｅ）を加えて最後の特徴抽出をする処理を通じて、残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）を当該ニューラルネットワークモデルに改良するとともに前記２次元イメージ情報を学習し、前記ニューラルネットワークモデルによりノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、心拍周波数を取出すステップと、を含むことを特徴とする、
レーダ心拍検知方法。

【請求項2】

前記レーダセンサーは１ミリメータレーダであることを特徴とする請求項１に記載のレーダ心拍検知方法。

【請求項3】

前記濾過処理は、ハイパスフィルタ又は／及びバンドパスフィルタにより前記生信号を人体の心拍周波数領域内に保留することを特徴とする請求項１に記載のレーダ心拍検知方法。

【請求項4】

信号サンプリングの正確性のために、まず、前記対象物が離れたか否かの検出及び判断を行うことを特徴とする請求項１に記載のレーダ心拍検知方法。

【請求項5】

少なくとも１つの対象物に向けて生信号を収集する少なくとも１つのレーダセンサーと、
前記レーダセンサーと接続された少なくとも１つのサーバ装置と、を含み、
前記サーバ装置は、前記生信号を受信し、前記生信号を濾過処理し、濾過処理した信号を短時間フーリエ変換（ＳＴＦＴ）によって２次元イメージ情報に変換してから、ニューラルネットワークモデル中で、畳み込み層であった部分と縮小空間次元の部分とを平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）層に変換する処理を反復して次元削減を図った後に１層の２次元グローバル平均プーリング（Ｇｌｏｂａｌ ＡｖｇＰｏｏｌｉｎｇ）及び２層のデンス（Ｄｅｎｓｅ）を加えて最後の特徴抽出をする処理を通じて、残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）を当該ニューラルネットワークモデルに改良するとともに前記２次元イメージ情報を学習し、前記ニューラルネットワークモデルによりノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、自動的に心拍周波数を取出すことを特徴とする、
レーダ心拍検知システム。

【請求項6】

前記サーバ装置は、
少なくとも１つのプロセッサと、
少なくとも１つのコンピュータ可読記憶媒体と、
を少なくとも含み、
複数の前記コンピュータ可読記憶媒体は、少なくとも１つのアプリケーションを記憶し、前記コンピュータ可読記憶媒体は、コンピュータ可読指令をさらに記憶し、
複数の前記プロセッサが前記コンピュータ可読指令を実行するとき、前記アプリケーションを実行し、前記濾過処理した生信号を前記２次元イメージ情報に変換してから、
前記２次元イメージ情報を前記ニューラルネットワークモデル中で学習し、前記ニューラルネットワークモデルにより前記ノイズを自動的に濾過し、
前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、
自動的に心拍周波数を取出す
ことを特徴とする請求項５に記載のレーダ心拍検知システム。

【請求項7】

前記アプリケーションは、
前記生信号を有する少なくとも１つのデータファイルを入力する入力モジュールと、
前記入力モジュールと接続し、前記生信号を濾過処理する濾過処理モジュールと、
前記濾過処理モジュールと接続され、前記短時間フーリエ変換（ＳＴＦＴ）を行って信号を前記２次元イメージ情報に変換する２次元イメージ変換モジュールと、
前記２次元イメージ変換モジュールと接続され、前記２次元イメージ情報をニューラルネットワーク学習モジュールに入力する前記ニューラルネットワーク学習モジュールと、
を含み、
前記ニューラルネットワーク学習モジュールは、前記平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）、前記１層の２次元グローバル平均プーリング（Ｇｌｏｂａｌ ＡｖｇＰｏｏｌｉｎｇ）、及び前記２層のデンス（Ｄｅｎｓｅ）を使用して残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）を前記ニューラルネットワークモデルに改良するとともに、前記２次元イメージ情報を前記ニューラルネットワークモデル中で学習し、
前記ニューラルネットワークモデルにより前記ノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習するとともに、心拍周波数を取出すことを特徴とする請求項６に記載のレーダ心拍検知システム。

【請求項8】

前記濾過処理モジュールは、ハイパスフィルタ又は／及びバンドパスフィルタにより前記生信号を人体の心拍周波数領域内に保留することを特徴とする請求項７に記載のレーダ心拍検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レーダ心拍検知方法及びそのシステムに関し、特に、ディープラーニングにより自動的に特徴を探し出す長所を有し、２次元イメージ情報中の心拍周波数とその他非心拍周波数との関連性をネットワーク自らが探し出すようにし、最終的に心拍を検出する方法及びそのシステムに関する。

【背景技術】

【0002】

人工知能時代の到来は、社会の構造を変化させ、直接又は間接的な方式により我々の日常生活に影響を与えた。我々は人工知能を通して問題を解決し、生活の質を向上させることを望んでいる。人工知能と医療との結合は、常に人気のトピックであり、疾病の判断、予測の応用も珍しくない。医療信号の複雑度及び求められる精度により、従来のアルゴリズム処理方式の使用には多くの制限がある。ビッグデータを利用して客観的データを提供し、ディープラーニングを組み合わせることにより、コンピュータは速やかに学習することができ、予測、判断、分類、決定をすることができる。このため、従来は病院へ行き、長期間トレーニングを受けた医者に診てもらわなければ疾病を診断してもらえなかったが、各種スマートウェアラブル装置及び家庭用測定装置により、専門的な診断を我々の日常生活に取り入れることができる場合、我々の生活の質を改善し早期予防の効果を達成することができ、医療の人的資源が不足している窮状を解決することができるだけでなく、測量機器の進歩の組み合わせにより、人類を越えた人工知能の判断が可能である。

【0003】

レーダの非接触式バイタルサイン（Ｖｉｔａｌ Ｓｉｇｎｓ）に基づく検出は、多くのレーダがこの応用を有する（例えば、ＵＷＢ、ＣＷ Ｄｏｐｐｌｅｒ Ｒａｄａｒ Ａｎｄ ＦＭＣＷ）。全ての方法は、コントロールされた環境及び一定の条件下でのみ正常に検出することができるが、実際の環境がもたらす不確実性を解決しなければ、レーダが十分な能力により各種領域において生命の兆候を検出することは依然できなかった。これらの不確実性には、未知の身体状態、センサーシェーキング及び部属、呼吸高調波の効果的な除去及び乱雑な環境でも信頼性のある検出を行うなどが含まれ、皆はこれら不確実性を解決するために、さらに多くの信号処理分析、さらに多くのレーダ又はレーダとその他センサとの結合を加えることが一般的であった。

【0004】

そのため、信頼性の高い測定及びモーション補償（ｍｅａｓｕｒｅｍｅｎｔｓ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を得るために、本案が提案するディープラーニングアルゴリズムは、短時間フーリエ変換（ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ、ＳＴＦＴ）により信号を２次元イメージ情報（Ｓｐｅｃｔｒｏｇｒａｍ）に変換するとともに、ディープラーニングにより自動的に特徴を探し出してから、ネットワークにより２次元イメージ情報（Ｓｐｅｃｔｒｏｇｒａｍ）中の心拍周波数とその他非心拍周波数との関連性を自ら探し出し、最終的に心拍を検出することができ、これにより上述したような不確実性を解決することができる。そのため、本発明は最良な解決策なはずである。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明のレーダ心拍検知方法は、（１）少なくとも１つのレーダセンサーを少なくとも１つの対象物に向けて位置合わせし、生信号を収集するステップと、（２）前記生信号を２次元イメージ情報に変換してから、ニューラルネットワークモデル中で前記２次元イメージ情報を学習し、前記ニューラルネットワークモデルによりノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、心拍周波数を取出すステップと、を含む。

【0006】

さらに詳細には、前記レーダセンサーは１ミリメータレーダである。

【0007】

さらに詳細には、前記生信号をまず濾過処理してから、フーリエ変換により信号を前記２次元イメージ情報に変換する。

【0008】

さらに詳細には、前記濾過処理は、ハイパスフィルタ又は／及びバンドパスフィルタにより前記生信号を人体の心拍周波数領域内に保留する。

【0009】

さらに詳細には、前記ニューラルネットワークモデルは、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）を使用して残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）を改良する。

【0010】

さらに詳細には、信号サンプリングの正確性のために、まず、前記対象物が離れたか否かの検出及び判断を行う。

【0011】

本発明のレーダ心拍検知システムは、少なくとも１つの対象物に向けて生信号を収集する少なくとも１つのレーダセンサーと、前記レーダセンサーと接続された少なくとも１つのサーバ装置と、を含み、前記サーバ装置は、前記生信号を受信し、前記生信号を２次元イメージ情報に変換してから、前記２次元イメージ情報をニューラルネットワークモデル中で学習し、前記ニューラルネットワークモデルによりノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、自動的に心拍周波数を取出す。

【0012】

さらに詳細には、前記サーバ装置は、少なくとも１つのプロセッサと、少なくとも１つのコンピュータ可読記憶媒体と、を少なくとも含み、複数の前記コンピュータ可読記憶媒体は、少なくとも１つのアプリケーションを記憶し、前記コンピュータ可読記憶媒体は、コンピュータ可読指令をさらに記憶し、複数の前記プロセッサが前記コンピュータ可読指令を実行するとき、前記アプリケーションを実行し、前記生信号を前記２次元イメージ情報に変換してから、前記２次元イメージ情報を前記ニューラルネットワークモデル中で学習し、前記ニューラルネットワークモデルにより前記ノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、自動的に心拍周波数を取出す。

【0013】

さらに詳細には、前記アプリケーションは、前記生信号を有する少なくとも１つのデータファイルを入力する入力モジュールと、前記入力モジュールと接続し、前記生信号を濾過処理する濾過処理モジュールと、前記濾過処理モジュールと接続され、フーリエ変換を行って信号を前記２次元イメージ情報に変換する２次元イメージ変換モジュールと、前記２次元イメージ変換モジュールと接続され、前記２次元イメージ情報をニューラルネットワーク学習モジュールに入力する前記ニューラルネットワーク学習モジュールと、を含み、前記ニューラルネットワーク学習モジュールは、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）を使用して残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）を前記ニューラルネットワークモデルに改良するとともに、前記２次元イメージ情報を前記ニューラルネットワークモデル中で学習し、前記ニューラルネットワークモデルにより前記ノイズを自動的に濾過し、前記２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習するとともに、心拍周波数を取出す。

【0014】

さらに詳細には、前記濾過処理モジュールは、ハイパスフィルタ又は／及びバンドパスフィルタにより前記生信号を人体の心拍周波数領域内に保留する。

【図面の簡単な説明】

【0015】

【図1】本発明のレーダ心拍検知方法及びそのシステムの流れ図である。

【図2】本発明のレーダ心拍検知方法及びそのシステムのシステム構成を示す図である。

【図3】本発明のレーダ心拍検知方法及びそのシステムのサーバ装置を示す図である。

【図4】本発明のレーダ心拍検知方法及びそのシステムのアプリケーションプログラムの構成を示す図である。

【図5A】従来のニューラルネットワークモデルを示す図である。

【図5B】本発明のレーダ心拍検知方法及びそのシステムの改良後のニューラルネットワークモデルを示す図である。

【図6A】１は、本発明のレーダ心拍検知方法及びそのシステムの生信号がフィルタ処理されていない生信号波形図である。２は、本発明のレーダ心拍検知方法及びそのシステムの生信号がフィルタ処理されていないフーリエ変換波形図である。３は、本発明のレーダ心拍検知方法及びそのシステムの生信号がフィルタ処理されず、変換後のスペクトログラム図である。

【図6B】１は、本発明のレーダ心拍検知方法及びそのシステムの生信号がハイパスフィルタ処理された生信号波形図である。２は、本発明のレーダ心拍検知方法及びそのシステムの生信号がハイパスフィルタ処理されたフーリエ変換波形図である。３は、本発明のレーダ心拍検知方法及びそのシステムの生信号がハイパスフィルタ処理された変換後のスペクトログラム図である。

【図6C】１は、本発明のレーダ心拍検知方法及びそのシステムの生信号がバンドパスフィルタ処理された生信号波形図である。２は、本発明のレーダ心拍検知方法及びそのシステムの生信号がバンドパスフィルタ処理されたフーリエ変換波形図である。３は、本発明のレーダ心拍検知方法及びそのシステムの生信号がバンドパスフィルタ処理された変換後のスペクトログラム図である。

【図7】本発明のレーダ心拍検知方法及びそのシステムの検出流れ図である。

【図8】本発明のレーダ心拍検知方法及びそのシステムの投票実施図である。

【発明を実施するための形態】

【0016】

本発明の他の技術内容、特徴及び効果について、以下、図面を參照しながら好適な実施例の詳細な説明で明らかにする。

【0017】

図１を参照する。図１は、本発明のレーダ心拍検知方法及びそのシステムの流れ図であり、図から分かるように、以下のステップを含む。
（１）少なくとも１つのレーダセンサーを少なくとも１つの対象物に向けて位置合わせし、生信号を収集する（１０１）。
（２）生信号を２次元イメージ情報に変換してから、ニューラルネットワークモデル中で２次元イメージ情報を学習し、ニューラルネットワークモデルを介してノイズを自動的に濾過し、２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、心拍周波数を取出す（１０２）。

【0018】

本案のレーダ心拍検知方法及びそのシステムは、図２～図４に示すように、以下を含む。
（１）少なくとも１つの対象物に向けて生信号を収集するために用いる少なくとも１つのレーダセンサー１であり、レーダセンサーは、１ミリメータレーダである。
（２）レーダセンサー１と接続された少なくとも１つのサーバ装置２であり、サーバ装置２は生信号を受信し得て、生信号を２次元イメージ情報に変換してから、２次元イメージ情報をニューラルネットワークモデル中で学習し、ニューラルネットワークモデルを介してノイズを自動的に濾過し、２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、自動的に心拍周波数を取出す。

【0019】

サーバ装置２は、少なくとも１つのプロセッサ２１と、少なくとも１つのコンピュータ可読記憶媒体２２と、を少なくとも含む。複数のコンピュータ可読記憶媒体２２は、少なくとも１つのアプリケーション２２１を記憶する。コンピュータ可読記憶媒体２２は、コンピュータ可読指令をさらに記憶する。複数のプロセッサ２１が複数のコンピュータ可読指令を実行するとき、アプリケーション２２１を実行し、生信号を２次元イメージ情報に変換してから、２次元イメージ情報をニューラルネットワークモデル中で学習し、ニューラルネットワークモデルを介してノイズを自動的に濾過し、２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習し、自動的に心拍周波数を取出す。

【0020】

アプリケーション２２１は、以下を含む。
（１）生信号を有する少なくとも１つのデータファイルを入力する入力モジュール２２１１。
（２）入力モジュール２２１１と接続され、生信号を濾過処理する濾過処理モジュール２２１２であり、濾過処理モジュールは、ハイパスフィルタ又は／及びバンドパスフィルタにより生信号を人体の心拍周波数領域内に保留する。
（３）濾過処理モジュール２２１２と接続され、フーリエ変換を行って信号を２次元イメージ情報に変換する２次元イメージ変換モジュール２２１３。
（４）２次元イメージ変換モジュール２２１３と接続され、２次元イメージ情報をニューラルネットワークモデル内に入力するニューラルネットワーク学習モジュール２２１４であって、ニューラルネットワーク学習モジュールは、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）を使用して残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）をニューラルネットワークモデルに改良するとともに、２次元イメージ情報をニューラルネットワークモデル中で学習し、ニューラルネットワークモデルによりノイズを自動的に濾過し、２次元イメージ情報の心拍周波数と非心拍周波数との関連性を学習するとともに、心拍周波数を取出すことができる。

【0021】

生信号（Ｒａｗ Ｓｉｇｎａｌ）は原信号で未処理の信号であるため、入力信号の品質を改善するために、それに対して高速フーリエ変換（ＦＦＴ）を行った後、この信号は０Ｈｚ近くに非常に大きなノイズ信号があることが分かる。そのため、我々は以下２つのステップを行う。
（１）ハイパスフィルタ（ｈｉｇｈ－ｐａｓｓ ｆｉｌｔｅｒ）は、非常に大きなノイズ信号を除去するが、その目的は、人体の心拍の０．８Ｈｚ以前の周波数領域を保留することにある。
（２）バンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）は、心拍数が毎分５０～１２０であるため、０．８Ｈｚ～２．０Ｈｚの間の周波数に変換し、ＢＰＦを介して全体の生信号（Ｒａｗ Ｓｉｇｎａｌ）全体を人体の心拍数０．８～２．０Ｈｚの周波数領域内にロックするため、このステップを利用すると、信号をこの周波数に制限し、心拍を算出することができる。

【0022】

本案は短時間フーリエ変換（ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ，ＳＴＦＴ）を利用し、信号を時間－周波数次元（Ｔｉｍｅ－Ｆｒｅｑｕｅｎｃｙ ｄｉｍｅｎｓｉｏｎ）に変換し、１Ｄ信号を２Ｄイメージに変換する時間－周波数図により、短時間フーリエ変換について以下説明する。
（１）短時間フーリエ変換は、ウィンドウ信号を加えた後にシリアル性のあるフーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍｓ）であり、時間の変化に伴って変化する信号の一部の正弦周波数及びフェーズを決定するために用い、それとフーリエ変換との最大の違いは、フーリエ変換では信号周波数が時間に伴って変化する如何なる情報も付与しないことである。
（２）簡単に述べると、連続時間の例では、このウィンドウ関数が時間軸に沿ってシフトし、得られた一連のフーリエ変換結果が２次元表現に形成され、数学的に、このような操作は以下のように書ける。

式中、ｗ（ｔ）はウィンドウ関数であり、ｘ（ｔ）は変換される信号である。Ｘ（ｔ， ｗ）はｗ（ｔ－τ）ｘ（τ）のフーリエ変換であり、ｔの変化に伴い、ウィンドウ関数が時間軸上で変位する。本案が短時間フーリエ変換を選択する原因は、生信号（Ｒａｗ Ｓｉｇｎａｌ）を変換した後に元の関数に逆変換するためであるが、ロスがほぼゼロであるため、時間－周波数分析（Ｔｉｍｅ－Ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｓｉｓ）を行うのに適合する。

【0023】

本案は、図５Ａに示すような残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）に基づいて改良を行い、元々折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）であった部分と縮小空間次元の部分を平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）に変換してトレーニングし、最終的に１層のグローバル平均プーリング（Ｇｌｏｂａｌ ＡｖｇＰｏｏｌｉｎｇ）２Ｄ及び２層のデンス（Ｄｅｎｓｅ）を加えて最後の特徴抽出を行う。例えば、図５Ｂに示すように、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）を使用する原因は、元々のアーキテクチャをイメージ中に使用するためである。イメージ上のピクセルアンドピクセル（ｐｉｘｅｌ ａｎｄ ｐｉｘｅｌ）は比較的関連性が無く、イメージ自体は非常に複雑な入力であるため、本案では、残差ブロック（Ｒｅｓ＿ｂｌｏｃｋ）が最大プーリング（ＭａｘＰｏｏｌｉｎｇ）を使用して次元削減することは信頼性が非常に高い次元削減の方式である。或いはピクセルアンドピクセル（ｐｉｘｅｌ ａｎｄ ｐｉｘｅｌ）の近隣間の関係を保留してもよいし、次元削減の任務を折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）に変えてもその効果は悪くなかった。
２種類の方式は、ネットワークをより速く畳み込むことができるが、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）を選択する原因は、我々の回帰任務のイメージがスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）であり、スペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）の各時間軸と次に時間軸とは関連性があるため、もし最大プーリング（ＭａｘＰｏｏｌｉｎｇ）を使用した場合、多くの特徴が失われるため、直感的には折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）が比較的良い。そのため、開始直後に折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）を選択して次元削減していたが、本案は、次元削減の任務を平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）に交換した所、元々使用していた折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）より効果が良いため、全ての折り畳み層（ｃｏｎｖｏｌｕｔｉｏｎ）の次元削減の任務を平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）に全て変えた所、データベース中でも好ましい結果が得られた。

【0024】

図５Ｂ中の＊８は、四角で囲んだ範囲内で８回重ねられることを表し、四角で囲んだ範囲内の下方の＋符号は、その位置を加えることを指す。

【0025】

本案の実施例中で使用する周波数変調連続波レーダ（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ Ｒａｄａｒ）をレーダセンサー１として用い、ミリメータ波（ｍｉｌｌｉｍｅｔｒｅ ｗａｖｅ）を利用して微小な信号特性を検出し、データベースに記録する。本実施例において、レーダセンサー１の架設高さは、心臓を基準として１．８メートル上の位置にあり、受取る範囲信号は２０ｃｍであり、測量角度はプラスマイナス２０度である上、脈拍計を組み合わせ、測定した脈拍を本実施例中のグランドトルゥース（ｇｒｏｕｎｄ ｔｒｕｔｈ）として用いる。

【0026】

本実施例では、まず、ハイパスフィルタ（ｈｉｇｈ－ｐａｓｓ ｆｉｌｔｅｒ）を介して０周波数に近い位置を隔絶し、０．８Ｈｚより前の部分を保留し、最終的にバンドパスフィルタ（ｂａｎｄ ｐａｓｓ ｆｉｌｔｅｒ）を利用して０．８～２．０Ｈｚ間を留めるとともに、マスク範囲外の一部の周波数を保留する。その目的は、ネットワークが広く見られるようにすることであり、さもなければ一部の心拍が０．８～１Ｈｚ又は１．８～２．０Ｈｚ間がフィルター（Ｆｉｌｔｅｒ）により元の帯域を失い、最終的に濾過された生信号（Ｒａｗ Ｓｉｇｎａｌ）が短時間フーリエ変換（ＳＴＦＴ）を使用してスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）に変換される。
例えば、図６Ａ－１、図６Ａ－２、図６Ａ－３、図６Ｂ－１、図６Ｂ－２、図６Ｂ－３、図６Ｃ－１、図６Ｃ－２、図６Ｃ－３のそれぞれは、フィルタを経ずに、ハイパスフィルタを経て、バンドパスフィルタを経た結果である。

【0027】

入力信号を前処理した後に変換してスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）を得た後、ニューラルネットワーク中でトレーニングし、本実施例中でアダム（Ａｄａｍ）オプティマイザを使用し、初期学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）を１０～３に設定し、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を２５に設定し、トータルトレーニングエポック（Ｔｒａｉｎｉｎｇ ｅｐｏｃｈｓ）を１００に設定し、バリデーションセットロス関数に基づき、患者（Ｐａｔｉｅｎｔ）が１０の早期打ち切り（ｅａｒｌｙ ｓｔｏｐ）を採用し、最終的に損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）が平均絶対誤差（ｍｅａｎ ａｂｓｏｌｕｔｅ ｅｒｒｏｒ（ＭＡＥ））を使用してロスを計算し、コールバックする。

【0028】

本実施例において、もし残差ネットワーク（Ｒｅｓ＿Ｎｅｔ）１８を得て、生信号（Ｒａｗ Ｓｉｇｎａｌ）に対して１Ｄ回帰する場合、効果が好ましくなく、畳み込むことは非常に困難であり、バンドパスフィルタ（Ｂａｎｄｐａｓｓ ｆｉｌｔｅｒ）の使用も改善が困難で畳み込むことが困難である事実があった。その原因は、生信号（Ｒａｗ Ｓｉｇｎａｌ）が複雑すぎるためであり、本実施例中では１Ｄの生信号（Ｒａｗ Ｓｉｇｎａｌ）を短時間フーリエ変換（ＳＴＦＴ）してスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）に変換した後、２Ｄの生信号（Ｒａｗ Ｓｉｇｎａｌ）を残差ネットワーク（Ｒｅｓ＿Ｎｅｔ）へ送ってトレーニングし、トレーニング結果が明らかに変化し、元々の過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）を畳み込むことができる。

【0029】

本案は、実際の心拍及び予測心拍を比較的代表することができる損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を探し出し、この損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）は平均絶対誤差（ＭＡＥ）であり、平均絶対誤差（ＭＡＥ）により我々は全てのテスト中の全体のグランドトルゥース（ｇｒｏｕｎｄ ｔｒｕｔｈ）の誤差を計算することができ、損失（ｌｏｓｓ）が低いほど、それは全体の結果が本当の心拍に近いことを表す。本実施例中で平均絶対誤差（ＭＡＥ）損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を認証に使い、適切にフィルター（ｆｉｌｔｅｒ）を前処理に加えると、ネットワークの畳み込み効果がさらに良くなり、これによりハイパスフィルタ（ＨＰＦ）及びバンドパスフィルター（ＢＰＦ）を前処理に利用すると効果的にニューラルネットワークを畳み込むことができることが証明される。

【0030】

下の表１は、我々が本実施例で記録したデータベース中を証明し（Ａｌｌ＿Ｄａｔａは、記録された全てのデータを指し、Ａｖｇ＿Ｄａｔａはランダムに選んで心拍平均データベースとして用いることを指す）、もし元の残差ネットワーク （Ｒｅｓ－Ｎｅｔ）が改良され、全て次元削減の仕事を平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）に渡すと好ましい結果が得られ、またさらにこれをもしレーダなどの複雑な任務かつサンプル率が低い状況に応用した場合、ニューラルネットワークが時間－周波数分析（Ｔｉｍｅ－Ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｓｉｓ）を行うために、さらに多くの依存情報を保留しなければならず、またさらにニューラルネットワークを特定の領域に特に注意を向けさせなければならず、さもなければ多くの特徴が失われて、最終的に学習結果が同じになった。また、実際値と予測値とを比較すると分かるように、本案が提出する方法を本実施例中で提出するデータベースに運用することは畳み込むことができ、ネットワークをグランドトルゥース（ｇｒｏｕｎｄ ｔｒｕｔｈ）にさらに近づけることができる。

【0031】

【表1】

様々なｌａｙｅｒを使用して次元削減により得た表現であり、表中のＣはＣｏｎｖ２Ｄに等しく、Ａは平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）に等しい。

【0032】

上述した実施例から分かるように、ハイパスフィルタ（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）及びバンドパスフィルタ（Ｂａｎｄｐａｓｓ ｆｉｌｔｅｒ）を利用すると、呼吸信号が心拍信号に与える影響を減らすことができるとともに、ニューラルネットワークトレーニングの効果が高まり、短時間フーリエ変換（Ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）により１Ｄ信号を２Ｄ信号に変換し、１Ｄ 残差ネットワーク （Ｒｅｓ－Ｎｅｔ）が畳み込むことが難しい問題を改善する。これとともに、改良後の残差ネットワーク（Ｒｅｓ－Ｎｅｔ）を特徴抽出に使用し、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）が２次元イメージ情報（Ｓｐｅｃｔｒｏｇｒａｍ）中で特徴を保留する役割を演じ、残差ネットワーク （Ｒｅｓ－Ｎｅｔ）のトレーニングを行うときに ２次元イメージ情報（Ｓｐｅｃｔｒｏｇｒａｍ）中の如何なる特徴も失うことがない。ニューラルネットワークは、２次元イメージ情報（Ｓｐｅｃｔｒｏｇｒａｍ） 中で精確に学習することができ、またより容易に畳み込むこともできる。

【0033】

また、信号サンプリングの正確性のために、まず、対象物が離れたか否かの検出及び判断を行わなければならない。図７に示すフローは以下の通りである。
（１）各組のオーバーオールシグナル（Ｏｖｅｒａｌｌ Ｓｉｇｎａｌ）は６秒間の信号であり、１秒毎の信号から２０個のサンプリングポイント（ｓａｍｐｌｉｎｇ）を得るため、読取った後に１２０個のサンプリングポイントがあり（７０１）、この入力した１２０個のサンプリングポイントに対して高速フーリエ変換（ＦＦＴ）を行い（７０２）、入力した６秒信号のスペクトラムが得られる。
（２）高速フーリエ変換（ＦＦＴ）カット（ｃｕｔ）のこの部分は０．２Ｈｚ－３．４Ｈｚの周波数を保留し、その残りをフィルタするステップ（７０３）であり、その理由は元の信号の０Ｈｚ付近に非常に大きなノイズがあることを発見したためであり、このステップにより我々に不要な信号を濾過しなければならない。
（３）その後、濾過されたスペクトラムに対して逆高速フーリエ変換（ＦＦＴ）を行い、濾過された信号を得て（７０４）、最終的に標準化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）し、後続の計算を行う（７０５）。
（４）標準化された信号に基づき、この６秒信号の平均値を計算した後、規定の閾値内にあるか否かを判断し（７０６）、もし平均値が閾値内にある場合、この６秒の信号が有人であると認定する。
（５）閾値の設定は、我々がデータベースに基づいて計算し（７０７）、データベース中の各データを平均値化した後、最大値及び最小値を探し出して我々はこの段階の閾値とする。
（６）閾値を利用して有人が問題を発生させているか否かを判断し、判断結果が不安定である虞があるため、投票メカニズムを利用してこの問題を解決する（７０８）。

【0034】

また、図８に示すように、上方の数字は時間点であり、下方の数字は投票数であり、投票数の初期値は０である。有人の時間点が０であるため、時間点が１であるときに票数１を加え、人が時間点１０になると離れるため、この時間帯の投票数には１が加えられ続け、最大値９になったときに１を加えることを止める。人がいるか否かの判断は、閾値が５票に達したときに有人である状況であると判定するため、時間点が５であるときに有人であると判断し続ける。人は、時間点が１０であるときに離れるため、時間点が１１の投票数を１減らし、投票数が閾値まで減ったときに誰もいないと認定する。

【0035】

本発明が提供するレーダ心拍検知方法及びそのシステムは、その他従来技術と比べ、以下の長所を有する。
（１）本発明の本案はディープラーニングアルゴリズムを提案し、短時間フーリエ変換により信号を２次元イメージ情報に変換し、ディープラーニングにより自動的に特徴を探し出す長所を有し、ネットワークによりスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）中の心拍数とその他非心拍数との関連性を自ら探し出し、最終的に心拍を検出することにより、上述した不確実性を解決することができる。
（２）本発明は、改良後の残差ネットワーク（Ｒｅｓ－Ｎｅｔ）を特徴抽出に使用し、平均プーリング（ＡｖｇＰｏｏｌｉｎｇ）がスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）中で特徴を保留する役割を演じ、残差ネットワーク（Ｒｅｓ－Ｎｅｔ）がトレーニングを行うときにスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）中の如何なる特徴も失うことなく、ニューラルネットワークは、スペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）中で精確に学習することができ、またより容易に畳み込むこともできる。

【0036】

本発明では実施例を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知するものなら誰でも、本発明の前述した技術的特徴及び実施例は、本発明の主旨と領域を逸脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の特許保護範囲は、本明細書に添付した請求項で特定した内容を基準とする。

【符号の説明】

【0037】

１ レーダセンサー
２ サーバ装置
２１ プロセッサ
２２ コンピュータ可読記憶媒体
２２１ アプリケーション
２２１１ 入力モジュール
２２１２ 濾過処理モジュール
２２１３ ２次元イメージ変換モジュール
２２１４ ニューラルネットワーク学習モジュール

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8】