(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023026955
(43)【公開日】2023-03-01
(54)【発明の名称】電子機器、電子機器の制御方法、及びプログラム
(51)【国際特許分類】
G01S 13/58 20060101AFI20230221BHJP
G01S 13/34 20060101ALI20230221BHJP
A61B 5/11 20060101ALI20230221BHJP
A61B 5/02 20060101ALI20230221BHJP
A61B 5/0245 20060101ALI20230221BHJP
【FI】
G01S13/58 210
G01S13/34
A61B5/11 110
A61B5/02 350
A61B5/0245 Z
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021132423
(22)【出願日】2021-08-16
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】黒田 淳
(72)【発明者】
【氏名】佐原 徹
(72)【発明者】
【氏名】山本 顕嗣
(72)【発明者】
【氏名】本間 拓也
(72)【発明者】
【氏名】童 方偉
【テーマコード(参考)】
4C017
4C038
5J070
【Fターム(参考)】
4C017AA02
4C017AA04
4C017AA14
4C017AB04
4C017AC40
4C017BC02
4C017BC16
4C038VA04
4C038VA20
4C038VB32
4C038VB33
4C038VC20
5J070AB18
5J070AB24
5J070AC01
5J070AC02
5J070AC06
5J070AC13
5J070AD05
5J070AD08
5J070AE09
5J070AF01
5J070AH12
5J070AH19
5J070AH31
5J070AH35
5J070AH45
5J070AH50
5J070AK22
(57)【要約】
【課題】電波の送受信により人体などの心拍を良好な精度で検出し得る電子機器、電子機器の制御方法、及びプログラムを提供する。
【解決手段】電子機器は、送信波を送信する送信アンテナと、送信波が反射された反射波を受信する受信アンテナと、送信波として送信される送信信号及び反射波として受信される受信信号に基づいて、送信波を反射する対象の心拍に起因する振動を検出する信号処理部と、を備える。信号処理部は、受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、対象の心拍を算出する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
送信波を送信する送信アンテナと、
前記送信波が反射された反射波を受信する受信アンテナと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出する信号処理部と、
を備え、
前記信号処理部は、前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出する、電子機器。
【請求項2】
前記信号処理部は、前記受信信号に距離及び速度方向の高速フーリエ変換をして算出されるレンジ-ドップラー平面において、前記対象が存在する領域を、所定の窓関数を用いて抽出する、請求項1に記載の電子機器。
【請求項3】
前記信号処理部は、前記所定の窓関数として、ハニング窓、ハミング窓、及びブラックマン-ハリス窓の少なくともいずれかを用いて、前記対象が存在する領域を抽出する、請求項2に記載の電子機器。
【請求項4】
前記信号処理部は、前記受信信号に距離及び速度方向の高速フーリエ変換をした結果を特異値分解することにより、前記対象の心音としての振動の要素を抽出する、請求項1から3のいずれかに記載の電子機器。
【請求項5】
前記信号処理部は、前記受信信号に距離及び速度方向の高速フーリエ変換をした結果を主成分分析することにより、前記対象の心音としての振動の要素を抽出する、請求項1から4のいずれかに記載の電子機器。
【請求項6】
前記信号処理部は、経験的ベイズ手法又はウェーブレットの手法による時系列波形のデノイズの処理を行う、請求項1から5のいずれかに記載の電子機器。
【請求項7】
前記信号処理部は、離散ウェーブレットによる手法を用いることにより、前記対象の心音の波形を抽出する、請求項1から6のいずれかに記載の電子機器。
【請求項8】
前記信号処理部は、前記対象の心音に似た波形を持つウェーブレット波形を用いることにより、離散ウェーブレット変換による多重解像度解析を行う、請求項7に記載の電子機器。
【請求項9】
前記信号処理部は、連続ウェーブレット変換によるスカログラムに基づいて、前記対象の心音の包絡波形を取得する、請求項8に記載の電子機器。
【請求項10】
前記信号処理部は、前記対象の第1心音及び第2心音を特定することにより、前記対象の心音の包絡波形を取得する、請求項9に記載の電子機器。
【請求項11】
前記信号処理部は、前記対象の心音のうち隣接する第1心音同士を特定することにより、前記対象の心音の包絡波形を取得する、請求項10に記載の電子機器。
【請求項12】
前記信号処理部は、ベイズ推定処理による方法を用いて、前記対象の心拍の間隔を補正する、請求項8から11のいずれかに記載の電子機器。
【請求項13】
送信アンテナから送信波として送信される送信信号及び前記送信波が反射された反射波として受信アンテナから受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出する電子機器であって、
前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出する、電子機器。
【請求項14】
送信アンテナから送信波を送信するステップと、
前記送信波が反射された反射波を受信アンテナから受信するステップと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出するステップと、
前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出するステップと、
を含む、電子機器の制御方法。
【請求項15】
電子機器に、
送信アンテナから送信波を送信するステップと、
前記送信波が反射された反射波を受信アンテナから受信するステップと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出するステップと、
前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。
【背景技術】
【0002】
例えば自動車に関連する産業などの分野において、自車両と所定の物体との間の距離などを測定する技術が重要視されている。特に、近年、ミリ波のような電波を送信し、障害物などの物体に反射した反射波を受信することで、物体との間の距離などを測定するレーダ(RADAR(Radio Detecting and Ranging))の技術が、種々研究されている。このような距離などを測定する技術の重要性は、運転者の運転をアシストする技術、及び、運転の一部又は全部を自動化する自動運転に関連する技術の発展に伴い、今後ますます高まると予想される。
【0003】
また、送信された電波が所定の物体に反射した反射波を受信することで、当該物体の存在などを検出する技術について、種々の提案がされている。例えば特許文献1は、マイクロ波を利用することで、人の存在及び人の生体情報を検出し得る装置を提案している。また、例えば特許文献2は、マイクロ波レーダの反射信号に基づいて、生体の呼吸又は心拍の周波数のようなバイタルサインを検出する装置を提案している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002-71825号公報
【特許文献2】特開2021-32880号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
人体などの心拍のような微弱な振動を、例えばミリ波のような電波の送受信により良好な精度で検出できれば、多種多様な分野において役立つことが期待できる。
【0006】
本開示の目的は、電波の送受信により人体などの心拍を良好な精度で検出し得る電子機器、電子機器の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
一実施形態に係る電子機器は、
送信波を送信する送信アンテナと、
前記送信波が反射された反射波を受信する受信アンテナと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出する信号処理部と、
を備える。
前記信号処理部は、前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出する。
【0008】
また、一実施形態に係る電子機器は、
送信アンテナから送信波として送信される送信信号及び前記送信波が反射された反射波として受信アンテナから受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出する。
前記電子機器は、前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出する。
【0009】
一実施形態に係る電子機器の制御方法は、
送信アンテナから送信波を送信するステップと、
前記送信波が反射された反射波を受信アンテナから受信するステップと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出するステップと、
前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出するステップと、
を含む。
【0010】
一実施形態に係るプログラムは、
電子機器に、
送信アンテナから送信波を送信するステップと、
前記送信波が反射された反射波を受信アンテナから受信するステップと、
前記送信波として送信される送信信号及び前記反射波として受信される受信信号に基づいて、前記送信波を反射する対象の心拍に起因する振動を検出するステップと、
前記受信信号に距離及び速度方向の高速フーリエ変換をした結果から所望の位置以外の振動成分を除去して得られる振動速度に基づいて、前記対象の心拍を算出するステップと、
を実行させる。
【発明の効果】
【0011】
一実施形態によれば、電波の送受信により人体などの心拍を良好な精度で検出し得る電子機器、電子機器の制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【
図1】一実施形態に係る電子機器の使用態様を説明する図である。
【
図2】一実施形態に係る電子機器の構成を概略的に示す機能ブロック図である。
【
図3】一実施形態に係る電子機器が処理する信号の構成を説明する図である。
【
図4】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図5】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図6】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図7】一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例及び動作原理を概略的に示す図である。
【
図8】一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例を示す図である。
【
図9】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図10】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図11】一実施形態に係る電子機器の動作の比較例を説明するフローチャートである。
【
図12】一実施形態に係る電子機器の動作を説明するフローチャートである。
【
図13】一実施形態に係る電子機器の動作を説明するフローチャートである。
【
図14】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図15】一実施形態に係る電子機器による信号の処理の例を説明する図である。
【
図16】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図17】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図18】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図19】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図20】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図21】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図22】一実施形態に係る電子機器による信号の処理の例を示す図である。
【
図23】一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例を示す図である。
【発明を実施するための形態】
【0013】
以下、一実施形態について、図面を参照して詳細に説明する。
【0014】
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)又は動物としてよい。ユーザは、一実施形態に係る電子機器を用いることで、人間などの対象の監視を行う者を含んでもよい。また、「対象」とは、一実施形態に係る電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、対象を含むものとしてもよい。
【0015】
一実施形態に係る電子機器は、当該電子機器の周囲に存在する人間などの対象の心拍を検出することができる。したがって、一実施形態に係る電子機器が利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係る電子機器が利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、対象の健康状態の把握及び/又は管理などが望まれるような任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係る電子機器が利用される場面は、屋内に限られず、屋外としてもよい。例えば、一実施形態に係る電子機器が利用される場面は、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。また、一実施形態に係る電子機器が利用される場面として、自動車、航空機、若しくは船舶などの移動体、ホテル、ユーザの自宅、自宅でのリビングルーム、お風呂、トイレ、又は寝室などとしてもよい。
【0016】
一実施形態に係る電子機器は、例えば、介護施設などにおいて、要看護者又は要介護者などのような対象の心拍を検出又は監視する用途で用いられてよい。また、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような対象の心拍に異常が認められる場合に、例えば本人及び/又は他の者に所定の警告を発してもよい。したがって、一実施形態に係る電子機器によれば、例えば本人及び/又は介護施設などのスタッフは、例えば要看護者又は要介護者などのような対象の脈拍に異常が認められることを認識し得る。一方、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような対象の心拍に異常が認められない(例えば正常と認められる)場合に、例えば本人及び/又は他の者にその旨を報知してもよい。したがって、一実施形態に係る電子機器によれば、例えば本人及び/又は介護施設などのスタッフは、例えば要看護者又は要介護者などのような対象の脈拍が正常であることを認識し得る。
【0017】
また、一実施形態に係る電子機器は、人間以外の他の動物を対象として、脈拍を検出してもよい。以下説明する一実施形態に係る電子機器は、一例として、ミリ波レーダのような技術に基づくセンサによって、人間の脈拍を検出するものとして説明する。
【0018】
一実施形態に係る電子機器は、任意の静止物に設置されてもよいし、任意の移動体に設置されてもよい。一実施形態に係る電子機器は、送信アンテナから、電子機器の周囲に送信波を送信することができる。また、一実施形態に係る電子機器は、受信アンテナから、送信波が反射された反射波を受信することができる。送信アンテナ及び受信アンテナの少なくとも一方は、電子機器に備えられるものとしてもよいし、例えばレーダセンサ等に備えられてもよい。
【0019】
以下、典型的な例として、一実施形態に係る電子機器は、静止しているものとして説明する。一方、一実施形態に係る電子機器が脈拍を検出する対象(人間)は、静止していてもよいし、移動していてもよいし、静止した状態で身体を動かしていてもよい。一実施形態に係る電子機器は、通常のレーダセンサと同様に、電子機器の周囲の物体が移動し得るような状況において、電子機器と当該物体との間の距離などを測定することができる。また、一実施形態に係る電子機器は、電子機器及び物体の双方が静止していても、電子機器と物体との間の距離などを測定することができる。
【0020】
一実施形態に係る電子機器について、以下、図面を参照して詳細に説明する。まず、一実施形態に係る電子機器による物体の検出の例を説明する。
【0021】
図1は、一実施形態に係る電子機器の使用態様の一例を説明する図である。
図1は、一実施形態に係る送信アンテナ及び受信アンテナを備えるセンサの機能を備える電子機器の例を示している。
【0022】
図1に示すように、一実施形態に係る電子機器1は、後述する送信部及び受信部を備えてよい。後述のように、送信部は送信アンテナアレイ24を備えてよい。また、受信部は受信アンテナアレイ31を備えてよい。電子機器1、送信部、及び受信部の具体的な構成については後述する。
図1は、見易さのために、電子機器1が送信アンテナアレイ24及び受信アンテナアレイ31を備える状況を示してある。また、電子機器1は、電子機器1に含まれる信号処理部10(
図2)の少なくとも一部など、他の機能部の少なくともいずれかを、適宜含んでもよい。また、電子機器1は、電子機器1に含まれる信号処理部10(
図2)の少なくとも一部など、他の機能部の少なくともいずれかを、電子機器1の外部に備えてもよい。
図1において、電子機器1は、移動していてもよいが、移動せずに静止していてよい。
【0023】
図1に示す例において、電子機器1は、送信アンテナアレイ24を備える送信部及び受信アンテナアレイ31を備える受信部を、簡略化して示してある。電子機器1は、例えば複数の送信部及び/又は複数の受信部を備えてもよい。送信部は、複数の送信アンテナから構成される送信アンテナアレイ24を備えてよい。また、受信部は、複数の受信アンテナから構成される受信アンテナアレイ31を備えてよい。ここで、送信部及び/又は受信部が電子機器1に設置される位置は、
図1に示す位置に限定されるものではなく、適宜、他の位置としてもよい。また、送信部及び/又は受信部の個数は、電子機器1による心拍の検出範囲及び/又は検出精度など各種の条件(又は要求)に応じて、1つ以上の任意の数としてよい。
【0024】
電子機器1は、後述のように、送信アンテナアレイ24から送信波として電磁波を送信する。例えば電子機器1の周囲に所定の物体(例えば
図1に示す対象200)が存在する場合、電子機器1から送信された送信波の少なくとも一部は、当該物体によって反射されて反射波となる。そして、このような反射波を例えば電子機器1の受信アンテナアレイ31によって受信することにより、電子機器1は、当該対象をターゲットとして検出することができる。
【0025】
送信アンテナアレイ24を備える電子機器1は、典型的には、電波を送受信するレーダ(RADAR(Radio Detecting and Ranging))センサとしてよい。しかしながら、電子機器1は、レーダセンサに限定されない。一実施形態に係る電子機器1は、例えば光波によるLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)の技術に基づくセンサとしてもよい。これらのようなセンサは、例えばパッチアンテナなどを含んで構成することができる。RADAR及びLIDARのような技術は既に知られているため、詳細な説明は、適宜、簡略化又は省略することがある。さらに、一実施形態に係る電子機器1は、例えば音波又は超音波を送受信して物体を検出する技術に基づくセンサとしてもよい。
【0026】
図1に示す電子機器1は、送信アンテナアレイ24から送信された送信波の反射波を受信アンテナアレイ31から受信する。このようにして、電子機器1は、電子機器1から所定の距離内に存在する所定の対象200をターゲットとして検出することができる。例えば、
図1に示すように、電子機器1は、電子機器1と所定の対象200との間の距離Lを測定することができる。また、電子機器1は、電子機器1と所定の対象200との相対速度も測定することができる。さらに、電子機器1は、所定の対象200からの反射波が、電子機器1に到来する方向(到来角θ)も測定することができる。
【0027】
図1において、XY平面は、例えば地表にほぼ平行な平面としてよい。この場合、
図1に示すZ軸の正方向は、鉛直上向きを示すものとしてよい。
図1において、電子機器1は、XY平面と平行な平面上に配置されているものとしてよい。また、
図1において、対象200は、例えば、XY平面にほぼ平行な地表に立っている状態としてよい。
【0028】
ここで、対象200とは、例えば電子機器1の周囲に存在する人間などとしてよい。また、対象200とは、例えば電子機器1の周囲に存在する動物など、人間以外の生物としてもよい。上述のように、対象200は、移動していてもよいし、停止又は静止していてもよい。本開示において、電子機器1が検出する物体は、任意の物体のような無生物の他に、人、犬、猫、及び馬、その他の動物などの生物も含む。本開示の電子機器1が検出する物体は、レーダ技術により検知される、人、物、及び動物などを含む物標を含んでもよい。以下、電子機器1の周囲に存在する対象200のような物体は、人間(又は動物)であることを想定して説明する。以下、「対象200」は、適宜、「被験者200」とも記す。
【0029】
図1において、電子機器1の大きさと、対象200の大きさとの比率は、必ずしも実際の比率を示すものではない。また、
図1において、送信部の送信アンテナアレイ24及び受信部の受信アンテナアレイ31は、電子機器1の外部に設置した状態を示してある。しかしながら、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の各種の位置に設置してよい。例えば、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の内部に設置して、電子機器1の外観に現れないようにしてもよい。
【0030】
以下、典型的な例として、電子機器1の送信アンテナは、ミリ波(30GHz以上)又は準ミリ波(例えば20GHz~30GHz付近)などのような周波数帯の電波を送信するものとして説明する。一方、電子機器1の送信アンテナは、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を有する電波を送信してもよい。
【0031】
図2は、一実施形態に係る電子機器1の構成例を概略的に示す機能ブロック図である。以下、一実施形態に係る電子機器1の構成の一例について説明する。
【0032】
ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ(以下、FMCWレーダ(Frequency Modulated Continuous Wave radar)と記す)が用いられることが多い。FMCWレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば79GHzの周波数帯の電波を用いるミリ波方式のFMCWレーダにおいて、使用する電波の周波数は、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を持つものとなる。79GHzの周波数帯のレーダは、例えば24GHz、60GHz、76GHzの周波数帯などの他のミリ波/準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このような実施形態について説明する。
【0033】
本開示で利用されるFMCWレーダレーダ方式は、通常より短い周期でチャープ信号を送信するFCM方式(Fast-Chirp Modulation)を含むとしてもよい。電子機器1が生成する信号は、FMCW方式の信号に限定されない。電子機器1が生成する信号は、FMCW方式以外の各種の方式の信号としてもよい。任意の記憶部に記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のFMCW方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は省略する。
【0034】
図2に示すように、一実施形態に係る電子機器1は、信号処理部10を備えている。信号処理部10は、信号発生処理部11、受信信号処理部12、心拍抽出部13、及び算出部14を備えてよい。心拍抽出部13は、例えば、マイクロドップラーの成分を抽出する処理を実行してよい。また、心拍抽出部13は、被験者200の心音の包絡を抽出する処理を実行してよい。算出部14は、例えば、被験者200の心拍間隔(RRI)を抽出する処理を実行してよい。また、算出部14は、抽出された被験者200の心拍間隔の時系列データの周波数解析を行う処理を実行してよい。また、算出部14は、心拍間隔の時系列データの周波数解析に基づいて、被験者200の心拍変動を算出する処理を実行してよい。信号発生処理部11、受信信号処理部12、心拍抽出部13、及び算出部14については、適宜、さらに後述する。本開示において、心音とは、例えばレーダで直接的に観測される胸の振動波形(
図20など参照)としてよく、胸部振動としてもよい。心拍とは、心臓の拍動自体である。心拍の動きから、心拍間隔、又は心拍数などが算出されるとしてよい。
【0035】
また、一実施形態に係る電子機器1は、送信部として、送信DAC21、送信回路22、ミリ波送信回路23、及び、送信アンテナアレイ24を備えている。また、一実施形態に係る電子機器1は、受信部として、受信アンテナアレイ31、ミキサ32、受信回路33、及び、受信ADC34を備えている。一実施形態に係る電子機器1は、
図2に示す機能部のうち少なくともいずれかを含まなくてもよいし、
図2に示す機能部以外の機能部を含んでもよい。
図2に示す電子機器1は、ミリ波帯域等の電磁波を用いた一般的なレーダと基本的に同様に構成した回路を用いて構成してよい。一方で、一実施形態に係る電子機器1において、信号処理部10による信号処理は、従来の一般的なレーダとは異なる処理を含んでよい。
【0036】
一実施形態に係る電子機器1が備える信号処理部10は、電子機器1を構成する各機能部の制御をはじめとして、電子機器1全体の動作の制御を行うことができる。特に、信号処理部10は、電子機器1が扱う信号について各種の処理を行う。信号処理部10は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)のような、少なくとも1つのプロセッサを含んでよい。信号処理部10は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。一実施形態において、信号処理部10は、例えばCPU(ハードウェア)及び当該CPUで実行されるプログラム(ソフトウェア)として構成してよい。信号処理部10は、信号処理部10の動作に必要な記憶部(メモリ)を適宜含んでもよい。
【0037】
信号処理部10の信号発生処理部11は、電子機器1から送信する信号を発生する。一実施形態に係る電子機器1において、信号発生処理部11は、例えばチャープ信号のような送信信号(送信チャープ信号)を生成してよい。特に、信号発生処理部11は、周波数が周期的に線形に変化する信号(線形チャープ信号)を生成してもよい。例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで線形の増大(アップチャープ)及び減少(ダウンチャープ)を周期的に繰り返す信号を生成してもよい。信号発生処理部11が生成する信号は、例えば信号処理部10において予め設定されていてもよい。また、信号発生処理部11が生成する信号は、例えば信号処理部10における任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号発生処理部11によって生成された信号は、送信DAC21に供給される。このため、信号発生処理部11は、送信DAC21に接続されてよい。
【0038】
送信DAC(デジタル・アナログ・コンバータ)21は、信号発生処理部11から供給されるデジタル信号をアナログ信号に変換する機能を有する。送信DAC21は、一般的なデジタル・アナログ・コンバータを含めて構成してよい。送信DAC21によってアナログ化された信号は、送信回路22に供給される。このため、送信DAC21は、送信回路22に接続されてよい。
【0039】
送信回路22は、送信DAC21によってアナログ化された信号を中間周波数(Intermediate Frequency:IF)の帯域に変換する機能を有する。送信回路22は、一般的なIF帯域の送信回路を含めて構成してよい。送信回路22によって処理された信号は、ミリ波送信回路23に供給される。このため、送信回路22は、ミリ波送信回路23に接続されてよい。
【0040】
ミリ波送信回路23は、送信回路22によって処理された信号を、ミリ波(RF波)として送信する機能を有する。ミリ波送信回路23は、一般的なミリ波の送信回路を含めて構成してよい。ミリ波送信回路23によって処理された信号は、送信アンテナアレイ24に供給される。このため、ミリ波送信回路23は、送信アンテナアレイ24に接続されてよい。また、ミリ波送信回路23によって処理された信号は、ミキサ32にも供給される。このため、このため、ミリ波送信回路23は、ミキサ32にも接続されてよい。
【0041】
送信アンテナアレイ24は、複数の送信アンテナをアレイ状に配列させたものである。
図2においては、送信アンテナアレイ24の構成を簡略化して示してある。送信アンテナアレイ24は、ミリ波送信回路23によって処理された信号を、電子機器1の外部に送信する。送信アンテナアレイ24は、一般的なミリ波レーダにおいて用いられる送信アンテナアレイを含めて構成してよい。
【0042】
このようにして、一実施形態に係る電子機器1は、送信アンテナ(送信アンテナアレイ24)を備え、送信アンテナアレイ24から送信波として送信信号(例えば送信チャープ信号)を送信することができる。
【0043】
例えば、
図2に示すように、電子機器1の周囲に被験者200のような物体が存在する場合を想定する。この場合、送信アンテナアレイ24から送信された送信波の少なくとも一部は、被験者200のような物体によって反射される。送信アンテナアレイ24から送信された送信波のうち、被験者200のような物体によって反射されるものの少なくとも一部は、受信アンテナアレイ31に向けて反射され得る。
【0044】
受信アンテナアレイ31は、反射波を受信する。ここで、当該反射波は、送信アンテナアレイ24から送信された送信波のうち被験者200のような物体によって反射されたものの少なくとも一部としてよい。
【0045】
受信アンテナアレイ31は、複数の受信アンテナをアレイ状に配列させたものである。
図2においては、受信アンテナアレイ31の構成を簡略化して示してある。受信アンテナアレイ31は、送信アンテナアレイ24から送信された送信波が反射された反射波を受信する。受信アンテナアレイ31は、一般的なミリ波レーダにおいて用いられる受信アンテナアレイを含めて構成してよい。受信アンテナアレイ31は、反射波として受信された受信信号を、ミキサ32に供給する。このため、受信アンテナアレイ31は、ミキサ32に接続されてよい。
【0046】
ミキサ32は、ミリ波送信回路23によって処理された信号(送信信号)と、受信アンテナアレイ31によって受信された受信信号とを、中間周波数(IF)の帯域に変換する。ミキサ32は、一般的なミリ波レーダにおいて用いられるミキサを含めて構成してよい。ミキサ32は、合成された結果として生成される信号を、受信回路33に供給する。このため、ミキサ32は、受信回路33に接続されてよい。
【0047】
受信回路33は、ミキサ32によってIF帯域に変換された信号をアナログ処理する機能を有する。受信回路33は、一般的なIF帯域に変換する受信回路を含めて構成してよい。受信回路33によって処理された信号は、受信ADC34に供給される。このため、受信回路33は、受信ADC34に接続されてよい。
【0048】
受信ADC(アナログ・デジタル・コンバータ)34は、受信回路33から供給されるアナログ信号をデジタル信号に変換する機能を有する。受信ADC34は、一般的なアナログ・デジタル・コンバータを含めて構成してよい。受信ADC34によってデジタル化された信号は、信号処理部10の受信信号処理部12に供給される。このため、受信ADC34は、信号処理部10に接続されてよい。
【0049】
信号処理部10の受信信号処理部12は、受信DAC34から供給されるデジタル信号に各種の処理を施す機能を有する。例えば、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、電子機器1から被験者200のような物体までの距離を算出する(測距)。また、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、被験者200のような物体の電子機器1に対する相対速度を算出する(測速)。さらに、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、被験者200のような物体の電子機器1から見た方位角を算出する(測角)。具体的には、受信信号処理部12には、I/Q変換されたデータが入力されてよい。このようなデータが入力されることにより、受信信号処理部12は、距離(Range)方向及び速度(Velocity)方向の高速フーリエ変換(2D-FFT)をそれぞれ行う。その後、受信信号処理部12は、UART(Universal Asynchronous Receiver Transmitter)、及び/又は、CFAR(Constant False Alarm Rate)などの処理による雑音点の除去による誤警報の抑制と一定確率化を行う。そして、受信信号処理部12は、CFARの基準を満たす点に対して到来角度推定を行うことにより、被験者200のような物体の位置を得ることとなる。受信信号処理部12によって測距、測速、及び測角された結果として生成される情報は、心拍抽出部13に供給されてよい。
【0050】
心拍抽出部13は、受信信号処理部12よって生成された情報から、心拍に関する情報を抽出する。心拍抽出部13による心拍に関する情報の抽出動作については、さらに後述する。心拍抽出部13によって抽出された心拍に関する情報は、算出部14に供給されてよい。
【0051】
算出部14は、心拍抽出部13から供給される心拍に関する情報に、各種の算出処理及び/又は演算処理などを行う。算出部14による各種の算出処理及び/又は演算処理などについては、さらに後述する。算出部14によって算出及び/又は演算処理などされた各種の情報は、例えば通信インタフェース50などに供給されてよい。このため、算出部14及び/又は信号処理部10は、通信インタフェース50に接続されてよい。算出部14によって算出及び/又は演算処理などされた各種の情報は、通信インタフェース50以外の他の機能部に供給されてもよい。
【0052】
通信インタフェース50は、信号処理部10から供給される情報を例えば外部機器60などに出力するインタフェースを含んで構成される。通信インタフェース50は、被験者200のような物体の位置、速度、及び角度の少なくともいずれかの情報を、例えばCAN(Controller Area Network)などの信号として、外部機器60などに出力してよい。例えば、被験者200のような物体の位置、速度、角度の少なくともいずれかの情報は、通信インタフェース50を経て、外部機器60などに供給されてよい。このため、通信インタフェース50は、外部機器60などに接続されてよい。
【0053】
図2に示すように、一実施形態に係る電子機器1は、通信インタフェース50を介して、外部機器60に有線又は無線によって接続されてよい。一実施形態において、外部機器60は、任意のコンピュータ及び/又は任意の制御機器などを含んで構成されてよい。
また、一実施形態に係る電子機器1は、外部機器60を含んで構成されてもよい。外部機器60は、電子機器1が検出する心拍及び/又は心音の情報が利用される態様に応じて、各種の構成とすることができる。したがって、外部機器60について、より詳細な説明は省略する。
【0054】
図3は、信号処理部10の信号発生処理部11が生成するチャープ信号の例を説明する図である。
【0055】
図3は、FCM(Fast-Chirp Modulation(高速チャープ変調))方式を用いた場合における1フレームの時間的構造を示す。
図3は、FCM方式の受信信号の一例を示している。FCMは、
図3においてc1,c2,c3,c4,…,cnのように示すチャープ信号を、短い間隔(例えば最大測距距離から算出される電磁波のレーダと物標との間の往復時間以上)で繰り返す方式である。FCMにおいては、受信信号の信号処理の都合上、
図3に示すようなサブフレーム単位に区分けして、送受信の処理を行うことが多い。
【0056】
図3において、横軸は経過する時間を表し、縦軸は周波数を表す。
図3に示す例において、信号発生処理部11は、周波数が周期的に線形に変化する線形チャープ信号を生成する。
図3においては、各チャープ信号を、c1,c2,c3,c4,…,cnのように示してある。
図3に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。
【0057】
図3に示す例において、c1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含めて、1つのサブフレームとしている。すなわち、
図3に示すサブフレーム1及びサブフレーム2などは、それぞれc1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含んで構成されている。また、
図3に示す例において、サブフレーム1,サブフレーム2,…,サブフレームNのようにいくつかのサブフレームを含めて、1つのフレーム(1フレーム)としている。すなわち、
図3に示す1フレームは、N個のサブフレームを含んで構成されている。また、
図3に示す1フレームをフレーム1として、その後に、フレーム2,フレーム3,…などが続いてよい。これらのフレームは、それぞれフレーム1と同様に、N個のサブフレームを含んで構成されてよい。また、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。
図3に示す1つのフレームは、例えば30ミリ秒から50ミリ秒程度の長さとしてよい。
【0058】
一実施形態に係る電子機器1において、信号発生処理部11は、任意の数のフレームとして送信信号を生成してよい。また、
図3においては、一部のチャープ信号は省略して示している。このように、信号発生処理部11が生成する送信信号の時間と周波数との関係は、例えば信号処理部10の記憶部などに記憶しておいてよい。
【0059】
このように、一実施形態に係る電子機器1は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係る電子機器1は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。
【0060】
以下、電子機器1は、
図3に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、
図3に示すようなフレーム構造は一例であり、例えば1つのサブフレームに含まれるチャープ信号は任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のチャープ信号を含むサブフレームを生成してよい。また、
図3に示すようなサブフレーム構造も一例であり、例えば1つのフレームに含まれるサブフレームは任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のサブフレームを含むフレームを生成してよい。信号発生処理部11は、異なる周波数の信号を生成してよい。信号発生処理部11は、周波数fがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。
【0061】
図4は、
図3に示したサブフレームの一部を、他の態様で示した図である。
図4は、信号処理部10の受信信号処理部12(
図2)において行う処理である2D-FFT(Two Dimensional Fast Fourier Transform)を行った結果として、
図3に示した送信信号を受信した受信信号の各サンプルを示したものである。
【0062】
図4に示すように、サブフレーム1,…,サブフレームNのような各サブフレームにおいて各チャープ信号c1,c2,c3,c4,…,cnが格納されている。
図4において、各チャープ信号c1,c2,c3,c4,…,cnは、それぞれ横方向に配列された升目によって示す各サンプルから構成されている。
図4に示す受信信号は、
図2に示した受信信号処理部12によって、2D-FFT、CFAR、及び/又は、各サブフレームの統合信号処理などが施される。
【0063】
図5は、
図2に示した受信信号処理部12において、2D-FFT、CFAR、及び各サブフレームの統合信号処理が施された結果、レンジ-ドップラー(距離-速度)平面上の点群が算出された例を示す図である。
【0064】
図5において、横方向はレンジ(距離)を表し、縦方向は速度を表している。
図5に示す、塗りつぶされた升目s1は、CFARの閾値処理を超えた信号を示す点群を示す。
図5に示す、塗りつぶされていない升s2は、CFARの閾値を超えなかった、点群のないbin(2D-FFTサンプル)を示す。
図5において算出されたレンジ-ドップラー平面上の点群は、方向推定によりレーダからの方位を算出されて、被験者200のような物体を示す点群として、2次元平面上の位置及び速度が算出される。ここで、方向推定は、ビームフォーマ及び/又は部分空間法により算出されてよい。代表的な部分空間法のアルゴリズムには、MUSIC(MUltiple SIgnal Classification)、及び、ESPRIT(Estimation of Signal Parameters via Rotation Invariance Technique)などがある。
【0065】
図6は、受信信号処理部12が、方向推定を行った後に、
図5に示したレンジ-ドップラー平面から、XY平面への点群座標の変換を行った結果の例を示す図である。
図6に示すように、受信信号処理部12は、XY平面上に点群PGをプロットすることができる。ここで、点群PGは、各点Pから構成されている。また、それぞれの点Pは、角度θ、及び、極座標における半径方向の速度Vrを有している。
【0066】
受信信号処理部12は、2D-FFT及び角度推定の結果の少なくともいずれかに基づいて、送信波Tが送信された範囲に存在する物体を検出する。受信信号処理部12は、それぞれ推定された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばDBSCAN(Density-based spatial clustering of applications with noise)などが知られている。これは、密度に準拠したクラスタリングを行うアルゴリズムである。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。受信信号処理部12において検出された物体の距離の情報、速度の情報、角度情報、及び電力の情報は、例えば、通信インタフェース50を介して、外部機器60などに供給されてもよい。
【0067】
以上のように、電子機器1は、送信アンテナ(送信アンテナアレイ24)と、受信アンテナ(受信アンテナアレイ31)と、信号処理部10とを備えてよい。送信アンテナアレイ24は、送信波Tを送信する。受信アンテナアレイ31は、送信波Tが反射された反射波Rを受信する。そして、信号処理部10は、送信波Tとして送信される送信信号、及び、反射波Rとして受信される受信信号に基づいて、送信波Tを反射する物体(例えば被験者200のような物体など)を検出する。
【0068】
次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の方向推定について、さらに説明する。
【0069】
図7は、一実施形態に係る電子機器1の受信アンテナアレイ31の構成、及び受信アンテナアレイ31による到来波の方向推定の原理を説明する図である。
図7は、受信アンテナアレイ31による電波の受信の例を示している。
【0070】
図7に示すように、受信アンテナアレイ31は、受信アンテナのようなセンサを一直線状に並べたものとしてよい。
図7に示すように、一実施形態において、受信アンテナアレイ31は、一直線に並べて配列される複数の受信アンテナを含んで構成されてよい。
図7において、受信アンテナアレイ31は、アンテナx
1、x
2、x
3、…、x
Mのような複数のアンテナを小円により示してある。受信アンテナアレイ31は、任意の複数のアンテナにより構成されてよい。また、
図7に示すように、受信アンテナアレイ31を構成する複数のアンテナは、それぞれアレイピッチdの間隔だけ離して並べたものとする。このように、各種物理的波動に対応するセンサ(アンテナ、超音波振動子、及びマイクロフォンなど)をアレイ状に配置したセンサアレイは、Uniform Linear Array(ULA)とも呼ばれる。
図7に示すように、物理的波動(電磁波及び音波など)は、例えばθ
1及びθ
2のような様々な方向から到来する。ここで、θ
1及びθ
2は、上述した到来角としてよい。このように、受信アンテナアレイ31のようなセンサアレイは、物理的波動の到来方向に応じてセンサ間の測定値に生じる位相差を利用して、到来方向(到来角)を推定することができる。このように、波動の到来方向を推定する手法を、到来角推定、又は到来方向推定(Direction of Arrival:DoA)とも記す。
【0071】
一実施形態に係る電子機器1において、送信アンテナアレイ24及び受信アンテナアレイ31の少なくとも一方は、複数のアンテナを直線状に配置したものとしてよい。これにより、例えばミリ波レーダにおいて電波の送受信の際の指向性を適切に狭めることができる。送信波を送信する際には、ビームフォーマにより、送信ビームの方向が制御されることが多い。一方、反射波を受信する際には、ビームフォーマよりも部分空間法(上述したMUSIC及びESPRITなど)により、反射波の到来方向が推定されることが多い。ビームフォーマ及び部分空間法では、
図7に示すようなULAにおいて、様々な方向から到来する電磁波に対して、その到来方向に応じてセンサ間の測定値に位相差が生じる。したがって、その位相差を利用して、反射波の到来方向が推定することができる。
【0072】
次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の2方向の角度推定について、さらに説明する。
【0073】
図8は、直交する2つの角度の到来方向を推定するためのアンテナの配置例を示す図である。
【0074】
図8に示すように、一実施形態に係る電子機器1において、送信アンテナアレイ24及び/又は受信アンテナアレイ31は、複数のパッチアンテナユニットのアレイを含んで構成してよい。
【0075】
図8に示す送信アンテナアレイ24において、1つのパッチアンテナユニットは、図に示す方向1の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d
1,tだけ離間して配置されてよい。
図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
【0076】
また、
図8に示すように、送信アンテナアレイ24は、複数のパッチアンテナユニットを、図に示す方向2の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d
2,tだけ離間して配置されてよい。一実施形態において、送信アンテナアレイ24は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
【0077】
図8に示すように、一実施形態において、受信アンテナアレイ31は、送信アンテナアレイ24における複数の素子の配置を変更したものとしてよい。すなわち、
図8に示す受信アンテナアレイ31において、1つのパッチアンテナユニットは、図に示す方向2の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d
2,sだけ離間して配置されてよい。
図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
【0078】
また、
図8に示すように、受信アンテナアレイ31は、複数のパッチアンテナユニットを、図に示す方向1の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d
1,sだけ離間して配置されてよい。一実施形態において、受信アンテナアレイ31は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
【0079】
送信アンテナアレイ24及び受信アンテナアレイ31に含まれる素子は全て同一平面上(例えば同一基板の表層上)に配置されてよい。また、送信アンテナアレイ24と受信アンテナアレイ31とは近接して配置されてよい(モノスタティック)。さらに、
図8に示す方向1と方向2とは、幾何学的に直交してよい。
【0080】
図8に示すような送信アンテナアレイ24及び受信アンテナアレイ31によって、送信アンテナ及び受信アンテナのそれぞれの指向性を適切に狭めることができる。また、
図8に示すような送信アンテナアレイ24を用いて、送信波(送信信号)を送信するタイミングごとに、それぞれの送信波を送信する方向を制御することにより、
図8に示す方向2の方向についてのビームフォーマを実現することができる。さらに、
図8に示すような受信アンテナアレイ31を用いることにより、
図8に示す方向1の方向について、反射波の到来方向の推定を実現することができる。このようにして、実質的に直交する2つの角度について反射波の到来方向の推定が可能となる。したがって、被験者200のような物体を示す点群を3次元的に取得することが可能になる。
【0081】
次に、一実施形態に係る電子機器1によって、被験者200の心拍を検出する手法について説明する。
【0082】
一実施形態に係る電子機器1は、ミリ波レーダなどの送信波を被験者200に対して送信し、被験者200の心臓が存在する胸部において反射した反射波を受信した結果に基づいて、被験者200の心拍を計測(推定)する。上述のように、被験者200は、人間としてもよいし、動物としてもよい。この場合、例えば、レーダにより検出される被験者200の存在位置の振動を周波数フィルタリングすることにより、心拍の包絡線と想定される成分を抽出することができる。そして、心拍の包絡線と想定される成分が抽出されたら、その包絡線のピーク同士の間隔を心拍間隔とすることにより、おおよその心拍間隔を算出することができる。ここで、心拍包絡のピークは、心電図のRピークにおおよそ一致するという近似を用いることができる。このため、「心拍間隔」とは、心電図などに用いられる用語と同様に、RR間隔又はRRI(RR interval)とも記す。
【0083】
ここで、上述した2D-FFT、CFAR処理、及び到来方向推定を行った結果などから、被験者200の心拍間隔を推定する手法について検討する。まず、
図4及び
図5において行った2D-FFTの結果として、人の心拍又は体動の発現の態様について説明する。
【0084】
図9は、被験者200に対して送信された送信波の反射波を受信して2D-FFTの処理を行った結果の例を示す図である。
図9は、2D-FFTの結果として、被験者200の心音及び体動を示すスペクトラムを示している。
図9において、横軸は距離(Range)を表し、縦軸は速度(Velocity)を表す。一実施形態に係る電子機器1の信号処理部10(例えば心拍抽出部13)は、例えば
図9に示すようなピークHmが、被験者200の心拍のような体動であるとして抽出してもよい。ここで、
図9のピークHmが示すスペクトル成分には、被験者200の心音及び心音の包絡線のみならず、体動も含まれている。心拍間隔を抽出するためには、体動などを抽出することが必要であるため、例えば周波数フィルタリングを行うことが想定される。ここで行う周波数フィルタリングとは、例えば、0.5Hz以上10Hz以下を対象としたバンドパスフィルタ、ハイパスフィルタ、及び/又はローパスフィルタなどが想定される。
【0085】
図10は、上述した周波数フィルタリングにより得られる心音の包絡波形に基づいてピークを検出する方法を説明する図である。
図10に示すグラフは、上述した周波数フィルタリングにより抽出した心音の包絡波形の時間変化の例を示している。
図10に示す包絡波形には、図示のように多数のピークが含まれる。一方、被験者200の鼓動は、1分間に50から130程度の範囲に収まることが知られている。このため、
図10に示すような多数のピークのうち、1分間の鼓動数の逆数である、時間間隔0.4秒から0.8秒までの間隔となるピークを選択することにより、被験者200のおおよその心音間隔を算出することができる。例えば、
図10において下向きの矢印によって示されるピークを、被験者200のおおよその心音間隔として選択してよい。
【0086】
図11は、上述した心拍間隔の推定動作の例を示すフローチャートである。以下、
図11を参照して、上述した心拍間隔の推定動作を概略的に説明する。
【0087】
図11は、一実施形態に係る電子機器1が、反射波を受信した後の動作について示している。すなわち、
図11に示す動作の前提として、
図2に示した電子機器1は、送信アンテナアレイ24から送信波(送信信号)を送信している。そして、電子機器1から送信された送信波の少なくとも一部は、被験者200(の胸部)に反射して反射波となる。そして、
図2に示した電子機器1は、このような反射波を、受信アンテナアレイ31から受信している。それから、
図11に示す動作が開始する。
【0088】
図11に示す動作が開始すると、まず、ステップS110において、電子機器1の信号処理部10は、受信した信号(受信信号)を処理する。ステップS110において行う信号処理とは、例えば、上述した2D-FFT、CFAR処理、及び/又は到来方向推定を含むものとしてよい。このような動作は、例えば信号処理部10の受信信号処理部12によって行われるものとしてよい。
【0089】
次に、ステップS120において、信号処理部10は、ステップS110にて処理された情報から振動源を抽出する。ステップS120において行う信号処理とは、例えば、2D-FFTの処理を行った結果のデータについてフィルタリングを行う処理を含むものとしてよい。ステップS120において、信号処理部10は、被験者200が存在する位置のみにおけるスペクトル成分を抽出してよい。ここで、被験者200が存在する位置の特定は、既知の種々の手法により行われてよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
【0090】
次に、ステップS130において、信号処理部10は、前段の処理結果を振動波形に変換する。ステップS130において行う処理とは、例えば、IQデータから位相情報を抽出する処理を含むものとしてよい。ステップS130において、信号処理部10は、ステップS120で抽出された被験者200の2D-FFT処理のスペクトル成分から、心音を含む振動データを抽出する処理を含むものとしてよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
【0091】
次に、ステップS140において、信号処理部10は、前段の処理結果から振動データを抽出する。ステップS140において行う処理とは、例えば、周波数フィルタリングを含むものとしてよい。ステップS140において、信号処理部10は、周波数フィルタリングを行うことにより、被験者200の心音の包絡線を含む低周波信号を抽出してよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
【0092】
次に、ステップS150において、信号処理部10は、前段の処理結果から被験者200の鼓動のピークを検出する。ステップS150において、信号処理部10は、被験者200の心音の包絡線を含む低周波信号のピークを検出してよい。このような動作は、例えば信号処理部10の算出部14によって行われるものとしてよい。
【0093】
次に、ステップS160において、信号処理部10は、前段の処理結果から被験者200のRR間隔(RRI)を算出する。ステップS160において、信号処理部10は、それぞれのピークの間隔(インターバル)を算出してよい。ステップS160において、信号処理部10は、ステップS150にて検出したピーク値の間隔を抽出することにより、RRIを算出してよい。このような動作は、例えば信号処理部10の算出部14によって行われるものとしてよい
【0094】
次に、ステップS170において、信号処理部10は、前段の処理結果からスペクトルを解析する。ステップS170において、信号処理部10は、RRIの時系列データのスペクトル密度を算出することにより、被験者200の心拍変動(Heart rate validity:HRV)を算出してよい。RRIの時系列データのパワースペクトル密度を算出する際には、例えばWelchの方法などが使用されてよい。このような動作は、例えば信号処理部10の算出部14によって行われるものとしてよい
【0095】
以上のように、一実施形態に係る電子機器1は、被験者200の存在位置における振動を周波数フィルタリングすることにより、心拍の包絡線と思われる成分を抽出して、その包絡線のピーク間を心拍間隔とする。このようにして、一実施形態に係る電子機器1は、被験者200のおおよその心拍間隔を算出することができる。
【0096】
上述のような心拍間隔の算出においては、例えば
図10に示したように、数10msの時間の間に数個のピークが存在する。したがって、心拍のピークを選択する際にある程度の不確定性が含まれる。このため、算出される心拍間隔の精度も、数10ms程度の誤差を持つことになる。例えば、上述した心拍間隔の算出においては、心電計により取得した瞬時のRRIと比較すると、最低でも20ms程度の誤差が発生する。この精度では、心拍変動(HRV)を算出して、人の自律神経及び/又は感情分析を行うことは困難である。すなわち、上述した心拍間隔の算出においては、心音を抽出することにより、より高度な医療的分析を行うことは困難である。
【0097】
そこで、例えば、心拍の時間間隔が0.4秒~0.8秒程度になるように、周波数フィルタリングにより、高周波側のピークをさらにカットすることも考えられる。しかしながら、
図10に示した信号の情報の精度は超えないため、数10ms程度の誤差を縮小することは困難と思われる。
【0098】
また、上述の心拍間隔の算出においては、心音を抽出しているわけではない。したがって、上述の手法においては、心音自体の音響的性質による診察(例えば診療などにおける聴診)に寄与する情報を得ることも困難と思われる。
【0099】
そこで、一実施形態に係る電子機器1は、上述した手法にさらに改善を施す。これにより、一実施形態に係る電子機器1は、例えばミリ波以上の高周波帯域を使ったレーダにより心音を抽出することにより、心音自体を分析して、正確な心拍間隔を抽出する。以下、このような手法について説明する。
【0100】
一実施形態に係る電子機器1は、被験者200の心音を高精度で抽出するために、電子機器1が受信する信号(チャープ信号)に適切な信号処理を適切な順序で行うことにより、被験者200の心音の信号成分が存在する部分空間及び部分空間基底を絞り込む。一実施形態に係る電子機器1は、被験者200の心音の信号が存在する線形空間において、異なる基底ベクトルを採用し、適切な座標系を用いて空間を記述しつつ、それぞれの座標に基づいて部分空間を抽出してよい。このような処理により、一実施形態に係る電子機器1は、被験者200の心音が存在する部分空間を探索することができる。一実施形態において、このような座標系は、目的に応じて適切なものを用いてよい。例えば、2D-FFT処理をした空間の座標系、チャープ信号の時間的縮約をとった時系列信号の座標系、そのフーリエ変換による座標系、又は、連続/離散ウェーブレットによる座標系、などのような座標系を用いてよい。
【0101】
一実施形態に係る電子機器1は、受信した信号について、以下のような特徴的な処理を、段階的な手順にしたがって実行してよい。以下、一実施形態に係る電子機器1による特徴的な処理の概略を、順番に示す。
【0102】
第1段階:次元の削減
第1段階においては、受信したチャープ信号の2D-FFT処理に適切な窓関数を作用させるとともに、到来方向推定により被験者200が存在する点群のもつマイクロドップラー成分のみを抽出する。
【0103】
第2段階:部分空間の次元の削減
第2段階においては、第1段階の処理で抽出した振動の時系列波形の集合の主成分分析及び/又は特異値分解などを、マイクロドップラー信号に対して行う。
【0104】
第3段階:部分空間の次元の削減
第3段階においては、短時間フーリエ変換、連続ウェーブレット変換、及びバンドパスフィルタの少なくともいずれかを用いることにより、周波数フィルタリングを行う。
【0105】
第4段階:部分空間の次元の削減
第4段階においては、心音に適切なウェーブレット関数及びスケーリング関数を用いて、離散ウェーブレット変換による多重解像度解析を行うことにより、心音を抽出する。
【0106】
一実施形態に係る電子機器1によれば、上述の各段階の処理を経て得られる心音の包絡波形を得ることにより、その正負のピークを検出し、その間隔を適切に算出することにより、RRIを高い精度で算出することができる。ここで、包絡波形を得る方法としては、例えば、連続ウェーブレット変換、又はヒルベルト変換による包絡波形の算出などを適用してよい。
【0107】
次に、一実施形態に係る電子機器1の動作について、より詳細に説明する。
【0108】
図12は、一実施形態に係る電子機器1が行う動作の例を示すフローチャートである。
図13は、
図12におけるステップS15の動作の例をより詳細に示すフローチャートである。以下、
図12及び
図13を参照して、一実施形態に係る電子機器1が行う動作の流れを概略的に説明する。
【0109】
図12に示すステップS11は、
図11に示したステップS110における動作と同様に行うことができる。すなわち、
図12に示す動作が開始すると、まず、ステップS11において、電子機器1の信号処理部10は、受信した信号(受信信号)を処理する。ステップS11において行う信号処理とは、例えば、上述した2D-FFT、CFAR処理、及び/又は到来方向推定を含むものとしてよい。このような動作は、例えば信号処理部10の受信信号処理部12によって行われるものとしてよい。
【0110】
次に、ステップS12において、信号処理部10は、ステップS11にて処理された情報から振動源を抽出する。ただし、ステップS12において行う振動源の抽出は、
図11に示したステップS120において行う振動源の抽出とは異なる処理としてよい。ステップS12において、信号処理部10は、2D-FFTにより計算したレンジ-ドップラー平面上において、被験者200が存在する領域だけを、適切な窓関数によって抽出してよい。ステップS12において、信号処理部10は、例えば、ハニング窓、ハミング窓、及びブラックマン-ハリス窓などの窓関数を用いてよい。
【0111】
ステップS12において、信号処理部10は、被験者200の心音及び/又は呼吸を含む体動を含む振動源の抽出を、例えば下記の手順に基づいて実行してよい。
【0112】
(第1手順)
信号処理部10は、レンジ-ドップラー平面上においてCFARの閾値を超える点群を、到来方向推定(
図5及び
図6参照)の結果に基づいて、予め定めた角度のエリアに分類する。例えば、
図6に示すようなxy平面上の角度をθとすると、次のような角度のエリアA乃至エリアCに分類してよい。
エリアA:-10deg.<θ<10deg.
エリアB:-20deg.<θ≦-10deg.
エリアC:10deg.≦θ<20deg.
【0113】
(第2手順)
信号処理部10は、第1手順で分類された、ある1つの角度のエリアのグループの中で、
図5のS1にしたようなレンジ-ドップラー平面上においてCFARの閾値を超える点群に対して、クラスタリングを適用する。ここで、クラスタリングとして、例えばDBSCANなどの手法を適用してよい。
【0114】
(第3手順)
信号処理部10は、第2手順でL個のクラスタが処理されたとして、l番目のクラスタに対して、ドップラー方向のビン数の偏差Ddev[l]を、ある式値Ddev,thと比較する。この比較の結果、信号処理部10は、Ddev[l]≧Ddev,thとなるものだけを、被験者200と判定して、フラグHF[l]を立てる。すなわち、信号処理部10は、例えば疑似コードで下記のような処理を行ってよい。
for l = 1 to L do
if Ddev[l] ≧ Ddev,th
HF[l] = 1
else
HF[l] = 0
end if
end do
【0115】
信号処理部10は、被験者200のフラグHF[l]が1であるクラスタの領域に対してのみ、以降の処理を行ってよい。信号処理部10は、HF[l]=1である番号lにおけるクラスタに対して、そのレンジ方向の中心のビンを中心とする窓関数を適用する。これにより、信号処理部10は、被験者200の心音、呼吸、及び/又は体動を含む振動を抽出することができる。以上のような動作は、例えば信号処理部10の受信信号処理部12又は心拍抽出部13によって行われるものとしてよい。
【0116】
次に、ステップS13において、信号処理部10は、ステップS12にて抽出された振動源の情報から、振動の要素を抽出する。ステップS13において、信号処理部10は、信号の雑音を前処理的に取り除くための特異値分解(Singular value decomposition:SVD)を行う。ステップS13において、信号処理部10は、低エネルギーであるノイズを除去してよい。また、ステップS13において、信号処理部10は、フーリエ変換の不確定性により紛れ込んだ振動データ(
図9に示したような所望の位置以外の振動データ)を除去してもよい。以上のような動作は、例えば信号処理部10の受信信号処理部12又は心拍抽出部13によって行われるものとしてよい。
【0117】
次のステップS14は、
図11に示したステップS130における動作と同様に行うことができる。すなわち、ステップS14において、信号処理部10は、前段の処理結果を振動波形に変換する。ステップS14において行う処理とは、例えば、IQデータから位相情報を抽出する処理を含むものとしてよい。このような動作は、例えば信号処理部10の受信信号処理部12又は心拍抽出部13によって行われるものとしてよい。
【0118】
ステップS13及びステップS14において行われる処理について、さらに説明する。
【0119】
ここで、2D-FFT平面において抽出された受信チャープ信号セットをS
vibと記す。S
vibを特異値分解すると、次の式(1)に示すような結果を得る。
【数1】
【0120】
式(1)において、左特異ベクトルの行列をUと記し、特異値を対角に並べた行列をΣと記し、右特異ベクトルを並べた行列をVと記す。また、式(1)において、*は、エルミート(Hermite)転置を示す。また、Nは1チャープ信号内のサンプル数を示し、Mはチャープのスナップショット数を示す。
【0121】
次に、上述の式(1)の左特異ベクトルの行の行ベクトル数を制限(U
ext)し、特異値の対角行列の対角要素数を制限(Σ
ext)する。これにより、不要なノイズ信号及び所望の位置以外の振動成分が除去される。その結果、S
vibの目的信号の部分空間に射影した信号S
extは、次の式(2)のように示される。
【数2】
【0122】
図14は、特異値分解における目的信号及びノイズ信号を表すそれぞれのランクの関係を例示する図である。S
extの1チャープ信号におけるサンプルの総数N、あるいは一部のサンプルで総和をとることにより、次の式(3)に示すような信号p
extを生成する。信号p
extは、マイクロドップラーを表す。
図14は、SVDの結果を特異値(エネルギーに相当するもの)の高い順番に、横軸をランクとし、縦軸を特異値として並べた図である。本開示では、ある特異値以上の信号を取り出すと目的信号になるという考え方を採用している。この場合、目的信号か否かの境目となる特異値のランクは、
図14のグラフ中で濃いグレー部分によって示される30以下のランク領域の部分である。
図14に示すように、30以下のランク領域の部分が、目的信号の領域となる。
図14では、この目的信号のランク部分は、1以上、30以下としている。このため、本開示においては、1以上、30以下のランク領域の左右特異値に相当する特異ベクトルを取り出すことになる。
【0123】
上記の例においては、目的信号のランク部分は1以上、30以下としている。ランク最大値は、基本的に経験的に決めてよい。また、ランク最大値(本開示では、ランク30)は、統計的手法で決定するとしてもよい。
図14のグラフにおいて、ランク130で特異値が急に減少しており、それより後のランクの信号は基本的にノイズとなる。このため、以降のランク信号は不要としてよい。
【0124】
図14のグラフで、ランク31~130のエリアの特異値に対応する左右特異ベクトル(信号の空間を張るベクトル)は、若干の目的信号成分も有している。この左右特異ベクトルは、不必要な微細な振動、及び/又は、レーダの信号処理により発生した人工的ノイズ(アーティファクト)などが主な要因と想定される。したがって、このような要素は、切り捨ててもよい。
【数3】
【0125】
複素信号(I/Q信号)p
extの位相をとり得た振動変位d
extは、次の式(4)のように示すことができる。
【数4】
【0126】
上記式(4)に示した振動変位d
extの時間微分をとることにより、次の式(5)に示すような振動速度v
extを算出することができる。
【数5】
【0127】
次に、
図12に示すステップS15において、信号処理部10は、ステップS14における処理結果から、心音、RRI、及び/又はHRVなどを抽出する。ステップS15は、いくつかの信号処理を含む。
図12のステップS15において行う信号処理をより詳細に示すのが、
図13に示すフローチャートである。
図13に示す動作又は処理は、例えば信号処理部10における算出部14が実行してよい。以下、
図13に示す動作又は処理について、さらに説明する。
【0128】
図12に示すステップS15の動作、すなわち
図13に示す動作が開始すると、ステップS21において、信号処理部10は、雑音(ノイズ)を除去する処理(デノイズ)を行う。ステップS21において行われるデノイズ処理には、種々の手法を採用してよい。例えば、ステップS21において、信号処理部10は、例えば経験的ベイズ手法又はウェーブレット(Wavelet)の手法などを用いた時系列波形のデノイズの処理を行ってよい。
【0129】
次に、ステップS22において、信号処理部10は、離散ウェーブレットによる手法(Maximum overlap discrete Wavelet transform:MODWT)などを用いることにより、目的信号波形(心音波形)の抽出を行う。
【0130】
ステップS21及び/又はステップS22において行われる処理について、さらに説明する。
【0131】
ステップS21において、信号処理部10は、信号速度ベクトルvextに対して、さらに不要な雑音除去の前処理を行う。
【0132】
ステップS21において、信号処理部10は、経験的ベイズ手法、及び/又は連続ウェーブレットによる帯域の制限によるデノイズ処理を行ってよい。また、ステップS21において、信号処理部10は、
図12のステップS11からステップS14までの非線形処理に伴うアーティファクトノイズなどに対するノイズプロファイルを用いた周波数サブトラクションにより、デノイズ処理を行ってもよい。
【0133】
信号処理部10は、前処理としてデノイズされた信号に、心音波形に似た波形を持つウェーブレット波形を採用して、離散ウェーブレット変換による多重解像度解析を実行してよい。このようにして、信号処理部10は、ステップS22において、経験的に被験者200の心音が存在する多重解像度解析のレベルの部分空間だけを抽出する。このようにして、信号処理部10は、ステップS22において、被験者200の心音を抽出してよい。具体的には、信号処理部10は、時間的分解能を向上させるために、最大重複多重解像度解析(MODWT)等を使用してよい。また、心拍の抽出に適切なウェーブレット基底は、例えばSymlet及びDaubechiesなどとしてよい。また、これらのオーダは、都度適切に設定してよい。
【0134】
ステップS21のデノイズ処理を信号速度ベクトルv
extに行った信号をv
dnと記し、この実部Re(v
dn)に対して、例えば
図15に示すような多重解像度解析を施してよい。
図15は、離散ウェーブレット変換による多重解像度解析を概念的に示す図である。そして、信号処理部10は、経験的に適切なレベルを次の式(6)のj
0∈Nに限定して再構成することにより、心音波形hを得ることができる。
【数6】
ここで、Φ
j0,k、Ψ
j,kは、それぞれスケール関数及びウェーブレット関数のベクトルを示し、c
k、d
j,kは、それぞれその係数を示す。
【0135】
上記式(6)によって得られる心音波形hは、被験者200の心音を高い精度で示すものとなる(後述する
図19及び
図20参照)。この結果は、そのまま心音の診療などに利用し得る程度の精度が期待できる。
【0136】
次に、ステップS23において、信号処理部10は、スカログラムで心音のピークを検出する。信号処理部10は、各時点におけるピークのパワー(レベル)を検出する。ここで、心音が位置付けられる時点は、ピークの位置として検出される。ステップS23において、信号処理部10は、ステップS22にて抽出された目的信号(心音波形)のエネルギーにおけるピークを検出(抽出)する。このため、信号処理部10は、連続ウェーブレット変換によるスカログラム及びその1次元化による包絡波形の抽出を行う。
【0137】
より詳細には、信号処理部10は、心音波形hの包絡波形を得るために、連続ウェーブレット変換によるスカログラムを得る。信号処理部10は、そのスカログラムの各時点における周波数軸方向の最大値をとることにより、1次元波形を得る。
【0138】
図16及び
図17は、離散ウェーブレット変換による多重解像度解析を説明する図である。
図16は、心音波形hのスカログラムの例を示す図である。また、
図17は、
図16に示した心音波形hのスカログラムを1次元化した例を示す図である。
【0139】
図16に示すようなスカログラムの絶対値を示す行列をS
h∈R
M×Lと記すと、
図17に示すような1次元化された波形は、次の式(7)乃至式(9)に示すようなforステートメントによって算出することができる。
for m = 1:M (7)
【数7】
end (9)
上記の式(7)において、Sh(m)は
図17に示すような心音波形hのスカログラムの1次元化におけるm番目の要素を示し、fはスカログラムの各周波数を示す。
【0140】
次に、ステップS24において、信号処理部10は、スカログラムのピークの粗さを制御する。ステップS24において、信号処理部10は、ステップS23にて抽出された心音の包絡波形のピークを適切に算出するため、適切な範囲で高周波成分をさらに除去する。
このため、信号処理部10は、Haarウェーブレットなどを用いた離散ウェーブレット変換により、包絡線の滑らかさを調整してよい。
【0141】
信号処理部10は、心音の包絡波形として求められたベクトルs
hに対して、さらにその滑らかさを適切に調整するために、離散ウェーブレット変換による多重解像度解析を用いて信号の再構成を行ってよい。ここで用いるのに適切なウェーブレット基底は、Haarウェーブレットなどとしてよい。多重解像度分解の概念は、例えば
図15に示したものと同様としてよい。また、多重解像度分解の再構成の式は、例えば上記式(6)に示したものと同様としてよい。このようにして、心音の包絡波形として求められたベクトルs
hが再構成されたものを、以下、s
h,rcと記す。
【0142】
次に、ステップS25において、信号処理部10は、ステップS25までの処理によって明確化された第1心音と第2心音の位置を特定する。ステップS25において、信号処理部10は、心音における第1心音S1及び第2心音S2をピックアップして、第1心音S1と第2心音S2とをペアリングしてよい。
【0143】
例えば
図17に示すように、心音の包絡波形として再構成されたベクトルs
h,rcは、第1心音及び第2心音を明示する程度の精度を有している。そこで、信号処理部10は、ステップS25において、第1心音S1同士の間隔を正確に計測するために、ペアとなる第1心音S1と第2心音S2とのペアリングを行ってよい。信号処理部10は、上述のようなペアリングを行うに際し、まず、s
h,rcの全ピークについてピーク検出を行ってよい。
【0144】
図18は、心拍包絡波形のピーク検出を行った例を示す図である。信号処理部10は、
図18に示すようなピーク検出を実行することにより、その時間リストの行ベクトルl
s1,s2∈R
Kを作成してよい。以下、行ベクトルl
s1,s2に対して、クラスタリングアルゴリズムであるDBSCANを用いる場合について説明する。信号処理部10は、DBACANのパラメータであるminPts(隣接する自分以外の最小データ点数)を1と設定する。また、信号処理部10は、DBACANのパラメータであるε(隣接するデータポイント間の距離)を時間で計量する。このようにして、信号処理部10は、時間で計量された数値を、第1心音S1と第2心音S2との標準的時間間隔を、0.2秒~0.4秒程度に設定する。
【0145】
このような処理により、第1心音S1と第2心音S2のペアが決定する。そこで、信号処理部10は、行ベクトルls1,s2に第2行を追加し、第1心音S1に対しては、その行クラスタ番号(ペア番号1以上の自然数)を与え、第2心音S2に対しては0の数値を与えることにより、リスト行列Ls1,s2を作成する。これにより、信号処理部10は、リスト行列Ls1,s2において、第1心音S1を明確に識別することができ、その順番を明確に示すこともできる。また、行ベクトルls1,s2又はリスト行列Ls1,s2において、S1がペアリングされない場合、信号処理部10は、ペアリングされないピークをS1としてリストアップしてもよい。
【0146】
次に、ステップS26において、信号処理部10は、心拍間隔RRIを算出する。ステップS26において、信号処理部10は、ステップS25にてペアリングされた最初のピーク同士、すなわち第1心音S1同士の間隔を算出することにより、RRIを算出してよい。
【0147】
信号処理部10は、リスト行列Ls1,s2において、隣接するS1同士の間隔をとることにより、RRIが算出される。ここで、算出されるRRI時系列データには、外れ値が発生することも想定される。このような外れ値は、例えば、第1心音S1の未検知、第1心音S1と第2心音S2との取違え、その他大きな体動によるノイズの影響などにより発生し得る。そこで、一実施形態において、信号処理部10は、上述のような事態に対応する補正処理を行ってもよい。
【0148】
ステップS26において、信号処理部10は、補正処理として、カルマン(Kalman)フィルタなどのベイズ推定手法による方法を用いてよい。心拍の応答は非線形であり、物理的にプラントのモデリングをすることが難しい。このため、ステップS26において、信号処理部10は、Unscentedカルマンフィルタ(UKF)などの統計的な手法に基づく補正処理を行ってよい。一方、近似的に線形カルマンフィルタを用いてもよいし、経験的モデリングに心拍間隔の推移をモデリングして拡張(Extended)カルマンフィルタ(EKF)を用いてもよい。
【0149】
ステップS26において得られるデータは、RRI時系列データsRRIとしてよい。
【0150】
次に、ステップS27において、信号処理部10は、スペクトルを解析する。ステップS27において、信号処理部10は、RRI(HRV)のスペクトログラムを算出してよい。ステップS27において、信号処理部10は、RRIの時系列データのパワースペクトル密度を、例えばWelchの方法などによって算出してよい。信号処理部10は、最終的に、s
RRIをWelchの方法などに従って、すなわち時間的に重複する窓関数により、FFT及びパワースペクトルの算出を行ってよい。このような処理によって、信号処理部10は、RRIのパワースペクトル密度を得ることができる(後述する
図22参照)。
【0151】
図19は、一実施形態に係る電子機器1によって得られる心音の時系列波形を示す図である。
図19は、上記式(6)によって得られる心音波形hを示すものとしてよい。
図20は、
図19において破線で囲んで示した領域の時間スパンを拡大して示す図である。
【0152】
図20に示すように、一実施形態に係る電子機器1によって得られる心音の時系列波形によれば、第1心音S1及び第2心音S2を明確に特定することができる。また、
図20に示すように、一実施形態に係る電子機器1によって得られる心音の時系列波形によれば、第1心音S1と第2心音S2との間隔から算出される心拍間隔RRIも明確に特定することができる。ここで、RRIと心拍間隔とは厳密に同じものではないが、近似的には一致すると考えられる。このため、本開示においては、RRIと心拍間隔とは同一のものを示すものとして説明する。
【0153】
図21は、
図19及び
図20に示したRRIの時系列波形の例を示す図である。
図21に示す結果は、
図19及び
図20にて正確に抽出された心音に基づいて算出されたものである。そのため、
図21に示す結果は、数msの精度を有する。
【0154】
図22は、RRIのパワースペクトル密度を示す図である。
図22は、
図21に示したRRIの時系列波形からWelchの方法を用いて算出したパワースペクトル密度の例を示す図である。一実施形態に係る電子機器1によれば、数msの精度を持つRRIに基づいて、RRIのパワースペクトル密度を算出することができる。このため、一実施形態に係る電子機器1によれば、心拍PSDのHFといわれる0.15Hzから0.4Hzの成分も正確に算出することができる。
【0155】
以上説明したように、一実施形態に係る電子機器1によれば、例えば
図19及び
図20に示すような詳細な心音波形、
図21に示すような正確なRRI時系列データ、及び
図22に示すような心拍間隔のパワースペクトル密度(PSD)を得ることができる。一実施形態に係る電子機器1によれば、電波の送受信により人体などの心拍を良好な精度で検出し得る。したがって、一実施形態に係る電子機器1によれば、人体などの心拍のような微弱な振動を、例えばミリ波のような電波の送受信により良好な精度で検出でき、多種多様な分野において役立つことが期待される。
【0156】
ここで、
図19乃至
図22の例においては、健常者に顕著な第1心音S1及び第2心音S2のみについて記述してある。しかしながら、一実施形態に係る電子機器1によれば、心拍の異常により発生する第3心音及び/又は第4心音が発生する場合でも、同様に処理することができる。
【0157】
(他の実施形態)
以下、他の実施形態について説明する。
【0158】
一実施形態において、電子機器1が備える送信アンテナアレイ24及び/又は受信アンテナアレイ31は、
図8に示したような配置に限定されない。例えば、一実施形態において、電子機器1が備える受信アンテナアレイ31は、
図23に示すような構成のものとしてもよい。
図23は、URA(Uniform rectangular array)受信アンテナの例を示す図である。
図23に示すようなURA受信アンテナを採用して、送信アンテナアレイ24においてビームフォーマによって指向性を変化させずに、URA受信アンテナのみによって2つの角度の到来方向推定を行ってもよい。
【0159】
また、
図2に示した電子機器1において、信号処理部10が、心拍抽出部13及び算出部14のような機能部を備えるものとして説明した。しかしながら、一実施形態において、心拍抽出部13及び/又は算出部14が行う処理は、外部のコンピュータ又はプロセッサなどによって行われるものとしてもよい。
【0160】
また、一実施形態において、
図12に示したステップS13における処理(SVD処理)は、他の部分空間法によって代用してもよい。
【0161】
また、一実施形態において、
図12に示したステップS13における処理(SVD処理)は、1チャープのサンプル数Nを大きい数とすることができる場合、又はその他ノイズの混入をハードウェアの手法などにより除外できる場合、省略してもよい。
【0162】
また、一実施形態において、
図13に示したステップS24における処理は、実施の状況によっては、省略してもよい。
【0163】
また、一実施形態において、
図13に示したステップS25における第1心音S1と第2心音S2とのペアリング後、第2心音S2同士の間隔をとることにより、RRIとしてもよい。
【0164】
以上説明したように、一実施形態に係る電子機器1は、例えば複数の送信アンテナ、及び複数の受信アンテナを備えるミリ波センサを使用して、心拍のような微弱振動を検知する。一実施形態に係る電子機器1は、対象を検出していない場合、送信アンテナのビームフォーミングパターンを、アンテナの送信位相を変えて行いながら、対象の体動を検出する。一方、一実施形態に係る電子機器1は、対象の体動を検知したら、その体動の方向にビームフォーミングを行い、心拍の検知を行う。このように、一実施形態に係る電子機器1によれば、人体の方向を自動的に検出することで、信号品質を向上することができる。したがって、一実施形態に係る電子機器1によれば、心拍の検出精度及び/又は検知範囲を向上することができる。このため、一実施形態に係る電子機器1によれば、人間の心拍を高い精度で検出することができる。
【0165】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能などは論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0166】
上述した実施形態は、電子機器1としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器1のような機器の制御方法として実施してもよい。さらに、例えば、上述した実施形態は、電子機器1のような機器が実行するプログラムとして実施してもよい。
【0167】
また、上述した実施形態に係る電子機器1は、送信アンテナアレイ24及び受信アンテナアレイ31など、いわゆるレーダセンサを構成する部品を含むものとして説明した。しかしながら、一実施形態に係る電子機器は、例えば信号処理部10のような構成として実施してもよい。この場合、信号処理部10は、例えば、送信アンテナアレイ24及び受信アンテナアレイ31などが扱う信号を処理する機能を有するものとして実施してよい。
【符号の説明】
【0168】
1 電子機器
10 信号処理部
11 信号発生処理部
12 受信信号処理部
13 心拍抽出部
14 算出部
21 送信DAC
22 送信回路
23 ミリ波送信回路
24 送信アンテナアレイ
31 受信アンテナアレイ
32 ミキサ
33 受信回路
34 受信ADC
50 通信インタフェース
60 外部機器