(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004379
(43)【公開日】2024-01-16
(54)【発明の名称】情報処理システム、情報処理装置、及び情報処理プログラム
(51)【国際特許分類】
G01S 13/52 20060101AFI20240109BHJP
G01S 13/34 20060101ALI20240109BHJP
A61B 5/0245 20060101ALI20240109BHJP
A61B 5/113 20060101ALI20240109BHJP
A61B 5/11 20060101ALN20240109BHJP
【FI】
G01S13/52
G01S13/34
A61B5/0245 100Z
A61B5/0245 200
A61B5/113
A61B5/11 110
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022104017
(22)【出願日】2022-06-28
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】瀧川 知昭
【テーマコード(参考)】
4C017
4C038
5J070
【Fターム(参考)】
4C017AA02
4C017AA14
4C017AC20
4C017BC14
4C017BC16
4C017BC21
4C017FF15
4C038VA04
4C038VB32
4C038VB33
4C038VC20
5J070AB17
5J070AB24
5J070AC02
5J070AC11
5J070AE09
5J070AF01
5J070AH35
5J070AK14
(57)【要約】
【課題】複数人のバイタルデータが混在したバイタルデータから各個人のバイタルデータを適切に特定することが可能な情報処理システム、情報処理装置、及び情報処理プログラムを提供する。
【解決手段】一態様に情報処理システムは、計測装置と、情報処理装置と、を有する。前記計測装置は、複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータ及び各人物の位置情報を取得する。また、前記情報処理装置は、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。
【選択図】
図12
【特許請求の範囲】
【請求項1】
計測装置と、
情報処理装置と、を有し、
前記計測装置は、複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータ及び各人物の位置情報を取得し、
前記情報処理装置は、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する、
情報処理システム。
【請求項2】
前記情報処理装置は、メモリを含み、
前記情報処理装置は、前記位置情報に基づいて、前記混在バイタルデータから各人物の前記個別バイタルデータを分離し、前記個別バイタルデータと、前記メモリに記憶された各人物の登録バイタルデータとを比較して、前記混在バイタルデータに含まれる各人物の前記個別バイタルデータを特定する、
請求項1記載の情報処理システム。
【請求項3】
前記第1電磁波は、周波数変調された送信波である、
請求項1記載の情報処理システム。
【請求項4】
前記計測装置は、前記第1反射波に基づいて、前記各人物の前記計測装置からの距離と、前記各人物の前記計測装置に対する角度とを算出することで、前記各人物の位置情報を取得する、
請求項3記載の情報処理システム。
【請求項5】
前記混在バイタルデータは、前記複数人物の第1心拍数を含み、
前記登録バイタルデータは、前記各人物の第2心拍数を含み、
前記情報処理装置は、前記混在バイタルデータに含まれる前記第1心拍数が、前記登録バイタルデータに含まれるいずれかの前記人物の前記第2心拍数の平均値よりも多いとき、前記混在バイタルデータに、前記複数人物の前記個別バイタルデータを含むことを確認する、
請求項2又は請求項3記載の情報処理システム。
【請求項6】
前記情報処理装置は、前記個別バイタルデータ及び前記登録バイタルデータに含まれる心音波形のタイミングに基づいて、前記混在バイタルデータに含まれる前記個別バイタルデータを特定する、
請求項2又は請求項3記載の情報処理システム。
【請求項7】
前記混在バイタルデータは、前記複数人物の心拍に関連する心拍データを含み、
前記個別バイタルデータは、前記各人物の心拍に関連する心拍データを含み、
前記登録バイタルデータは、前記各人物の心拍数の平均値と、前記各人物の心拍の一拍あたりの変化量を表す変動率とを含む心拍データを含み、
前記情報処理装置は、前記平均値に前記変動率を減算した減算値と、前記平均値に前記変動率を加算した加算値との間隔を当該人物の所定間隔とし、前記混在バイタルデータのうち、分離前の最後に心音ピークが発生したタイミングから、前記所定間隔内に、前記個別バイタルデータのうち、分離後に最初に心音ピークが発生するタイミングを有する前記個別バイタルデータが1つ存在するとき、当該個別バイタルデータを当該人物の前記個別バイタルデータとして特定する、
請求項6記載の情報処理システム。
【請求項8】
前記情報処理装置は、前記所定間隔内に、分離後に最初に心音ピークが発生するタイミングを有する前記個別バイタルデータが複数存在するとき、前記個別バイタルデータの統計データと、前記登録バイタルデータの統計データとに基づいて、前記各人物の前記個別バイタルデータを特定する、
請求項7記載の情報処理システム。
【請求項9】
前記登録バイタルデータは、各人物に向けて送信された第2電磁波の第2反射波を利用して前記計測装置において取得したバイタルデータである、
請求項2記載の情報処理システム。
【請求項10】
複数人物に向けて送信された第1電磁波の第1反射波を利用して取得した混在バイタルデータを計測装置から入力し、前記第1反射波に基づいて、各人物の位置情報を取得し、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する特定部、を有する
情報処理装置。
【請求項11】
情報処理システムに、
複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータを取得する処理と、
前記第1反射波に基づいて、各人物の位置情報を取得し、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する処理と、を実行させる
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、及び情報処理プログラムに関する。
【背景技術】
【0002】
従来から、人物に接触することなく、心拍数及び呼吸数など、人物のバイタルデータを計測する方法又は装置が提案されている。息を吸ったり吐いたりする動作、及び心臓が脈動する動作により、人体の表面(皮膚)は微小ながら変位する。例えば、人体に電波を照射させ、その反射波を利用することで、このような微小な変位を検出することができる。そして、当該変位を検出することで、非接触で、人物のバイタルデータを取得することができる。
【0003】
非接触でバイタルデータを取得する技術として、例えば、以下がある。すなわち、定在波レーダーから周波数掃引された電波を人体に向けて送信し、その反射波から距離スペクトルを求め、距離スペクトルの位相成分から平均心拍周期を求める心拍計測方法がある(例えば、以下の特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、正常なバイタルデータを取得するためには、被計測者に緊張を与えないことが望ましい。被計測者は自身が計測対象であることを意識することで緊張する場合がある。そこで、正常なバイタルデータを取得するためには、被計測者を緊張させないように、被計測者に計測していることを気づかせないような工夫がなされることが好ましい。そのような工夫の一例として、計測用の電波を被計測者の遠方から照射することで計測装置の存在に気づかせないようにすることが考えられる。
【0006】
なお、非接触でバイタルデータを取得する技術の適用先として病院や介護施設など、被計測者の身体に負担をかけることなくバイタルデータを取得することが望まれる場所が考えられる。病院や介護施設などにおいては、1つの部屋に複数人が存在し得る。このような状況において、上述した理由を踏まえ、計測者の遠方から電波を照射することにより特許文献1に記載の心拍計測方法を実施した場合、次のような課題が生じると考えられる。すなわち、計測用の電波が照射されたエリアに複数人が存在した場合、複数人のバイタルデータが混在したバイタルデータが得られてしまい、各個人のバイタルデータを適切に特定することが困難となる恐れがある。
【0007】
そこで、本開示は、複数人のバイタルデータが混在したバイタルデータから各個人のバイタルデータを適切に特定することが可能な情報処理システム、情報処理装置、及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
第1の態様に係る情報処理システムは、計測装置と、情報処理装置と、を有する情報処理システムである。前記計測装置は、複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータ及び各人物の位置情報を取得する。また、前記情報処理装置は、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。
【0009】
第2の態様に係る情報処理装置は、複数人物に向けて送信された第1電磁波の第1反射波を利用して取得した混在バイタルデータを計測装置から入力し、第1反射波に基づいて、各人物の位置情報を取得し、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する特定部を有する。
【0010】
第3の態様に係る情報処理プログラムは、情報処理システムに、複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータを取得する処理を実行させる。また、前記情報処理プログラムは、前記情報処理システムに、第1反射波に基づいて、各人物の位置情報を取得し、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する処理を実行させる。
【発明の効果】
【0011】
本開示によれば、複数人のバイタルデータが混在したバイタルデータから各個人のバイタルデータを適切に特定することが可能な情報処理システム、情報処理装置、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、第1実施形態に係る情報処理システムの構成例を表す図である。
【
図2】
図2は、第1実施形態に係る計測装置の構成例を表す図である。
【
図3】
図3は、第1実施形態に係るサーバの構成例を表す図である。
【
図4】
図4は、第1実施形態に係る全体の動作例を表す図である。
【
図5】
図5は、第1実施形態に係る初期登録処理の動作例を表す図である。
【
図6】
図6は、第1実施形態に係る心拍数の計測処理についての動作例を表す図である。
【
図7】
図7(A)は第1実施形態に係る心音波形の例、
図7(B)は第1実施形態に係る呼吸波形の例を夫々表す図である。
【
図8】
図8は、第1実施形態に係る呼吸数の計測処理についての動作例を表す図である。
【
図9】
図9(A)から
図9(C)は、第1実施形態に係る統計データの例を表す図である。
【
図12】
図12は、第1実施形態に係る個人特定処理の動作例を表す図である。
【
図13】
図13(A)から
図13(C)は、第1実施形態に係る統計データの例を表す図である。
【
図14】
図14は、第1実施形態に係るバイタルデータ分離処理の動作例を表す図である。
【
図15】
図15(A)は第1実施形態に係る心音波形の例、
図15(B)は第1実施形態に係る統計データの例を夫々表す図である。
【
図16】
図16(A)は第1実施形態に係る距離と角度との関係例、
図16(B)は第1実施形態に係るブロック分けの例、
図16(C)は第1実施形態に係るブロック毎の心拍データの例を夫々表す図である。
【
図17】
図17(A)と
図17(B)は第1実施形態に係る解析範囲の例、
図17(C)は第1実施形態に係る信号波形の例を夫々表す図である。
【
図18】
図18は、第1実施形態に係る人物特定処理の動作例を表す図である。
【
図20】
図20(A)から
図20(C)は、第1実施形態に係る統計データの例を表す図である。
【
図21】
図21は、第1実施形態に係る個人特定処理の動作例を表す図である。
【
図22】
図22(A)から
図22(C)は、第1実施形態に係る統計データの例を表す図である。
【発明を実施するための形態】
【0013】
[第1実施形態]
以下、図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0014】
(情報処理システムの構成例)
最初に、情報処理システム10の構成例について説明する。
【0015】
図1は、第1実施形態に係る情報処理システム10の構成例を表す図である。
図1に示すように、情報処理システム10は、計測装置100とサーバ200とを有する。
【0016】
第1実施形態に係る情報処理システム10では、計測装置100を利用して、電磁波が複数人物に送信される。複数人物の各人体の表面において電磁波が反射し、その反射波を、計測装置100において取得する。各人体では、呼吸によって皮膚が振動し、心臓の脈動によっても皮膚が振動する。呼吸及び脈をバイタルサインと呼ぶ。バイタルサインによる皮膚の振動により、各人体と計測装置100との間の距離が時間の経過とともに微小に変化する。計測装置100では、反射波を解析することで、このような微小な変位を検出することができる。計測装置100では、このような微小な変位を検出することで、呼吸数及び心拍数などのバイタルデータを取得することができる。そして、サーバ200では、バイタルデータに複数人物のバイタルデータが混在している場合、各人物のバイタルデータを特定するようにしている。
【0017】
計測装置100は、複数人物に向けて送信された電磁波(例えば第1電磁波)の反射波(例えば第1反射波)を利用して、混在バイタルデータを取得する。そのため、計測装置100では、電磁波を送信する送信部(又は照射部)と、反射波を受信する受信部(又は検出部)とを含んでもよい。計測装置100が送信する電磁波は、特に限定するものではないが、第1実施形態では、ミリ波(例えば、30GHz~300GHzの電磁波)を例にして説明する。計測装置100が送信する電磁波は、マイクロ波(例えば、0.3GHz~30GHzの電磁波)、又は電波(例えば、30Hz~3THzの電磁波)など、ミリ波以外の電磁波でもよい。
【0018】
なお、「混在バイタルデータ」とは、例えば、複数人物のバイタルデータが混在した(又は複数人物のバイタルデータを含む)バイタルデータのことである。
図1の例では、混在バイタルデータは、2人(「Aさん」と「Bさん」)のバイタルデータが混在したデータとなる。一方、各個人のバイタルデータ(「Aさん」のバイタルデータと「Bさん」のバイタルデータ)を「個別バイタルデータ」と称する場合がある。
【0019】
計測装置100は、取得した混在バイタルデータをサーバ200へ送信する。
【0020】
また、計測装置100は、複数人物に向けて送信された電磁波(例えば第1電磁波)の反射波(例えば第1反射波)を利用して、各人物の位置情報を取得する。具体的には、計測装置100は、反射波に基づいて、各人物の計測装置100からの距離情報と、各人物の計測装置100に対する角度情報とを算出する。距離と角度とにより位置が表される。従って、計測装置100は、距離情報と角度情報とを位置情報として取得する。位置情報には、各人物の位置情報が含まれる。位置情報の取得の詳細は動作例で説明する。計測装置100は、取得した位置情報をサーバ200へ送信する。
【0021】
サーバ200は、各人物の個別バイタルデータを特定する情報処理装置であってもよい。サーバ200は、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。具体的には、サーバ200は、位置情報に基づいて、混在バイタルデータから各人物の前記個別バイタルデータを分離する。そして、サーバ200は、個別バイタルデータと、サーバ200のメモリに記憶された各人物のバイタルデータとを比較して、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。詳細は動作例で説明する。
【0022】
なお、サーバ200のメモリに記録された各人物のバイタルデータを、「登録バイタルデータ」と称する場合がある。予め、メモリには、このような「登録バイタルデータ」が登録されているものとする。「登録バイタルデータ」は、初期登録処理においてメモリに登録される。初期登録処理の詳細は動作例で説明する。
【0023】
なお、情報処理システム10には、情報端末が含まれてもよい。情報端末は、特定対象の各人物が所有してもよい。情報端末は、サーバ200で取得したバイタルデータなどを、無線通信により、サーバ200から受信することができる。また、情報端末は、自律神経分析の結果をサーバ200から受信することも可能である。各人物は、情報端末の表示画面に表示されたバイタルデータ又は自律神経分析結果を見ることで、バイタルデータ又は自律神経分析結果を確認することが可能となる。
【0024】
また、情報処理システム10には、特定対象の各人物を撮像する撮像装置が含まれてもよい。撮像装置は、各人物の顔などを撮像することで、各人物の画像データを取得する。撮像装置は、取得した画像データをサーバ200へ送信する。サーバ200では、初期登録処理の際に、画像情報をメモリなどに登録する。撮像装置は、例えば、カメラ装置である。
【0025】
(FMCW方式)
ここで、FMCW方式について説明する。
【0026】
第1実施形態において、計測装置100では、FMCW(Frequency Modulated Continuous Wave:周波数変調連続波)方式を利用して、バイタルデータを取得する。FMCW方式とは、送信波(電磁波)と受信波との周波数差(ビート周波数)に基づいて、距離、速度、及び角度を算出する方式である。送信波は、周波数変調された送信波が用いられる。
【0027】
FMCW方式では、送信波と受信波とをミキシングして、周波数が変化しない中間周波数信号(又はIF(Intermediate Frequency)信号)が生成される。上述したようにバイタルサインによって人体の表面(皮膚)が動き、電磁波が人体の表面上を反射するタイミングによって、計測装置100では距離が異なる反射波を取得できる。そして、計測装置100では、距離の相違によって、異なる周波数を有する中間周波数信号を得る。FMCW方式では、このようにして得られた中間周波数信号に対してフーリエ変換(FFT)を施すことで、周波数が異なる周波数スペクトルを得ることができる。そして、FMCW方式では、周波数スペクトルから得られた各周波数fから、以下の式を用いて、計測装置100から人物までの距離Rを算出できる。
【0028】
【数1】
数1において、cは、光の速度を表す。なお、中間周波数信号から周波数スペクトルを得るためのフーリエ変換を、距離FFTと呼ぶ。
【0029】
距離FFT後の周波数スペクトルにおいては、同じ距離に位置する複数の物体については、同一の位置にピークが発生する。一方、距離FFT後の周波数スペクトルにおいては、位相情報がベクトルとして含まれる。例えば、計測装置100は、周期的に複数回、電磁波(送信波)を送信する。複数回電磁波を送信している間に移動した物体から得られた中間周波数信号は、位相変化が複数回繰り返されている。計測装置100では、この位相変化を累積し、距離FFT後の中間周波数信号に対して、更に、フーリエ変換することで、位相差に相当する速度Vを算出することができる。このフーリエ変換を、ドップラーFFTと呼ぶ。具体的には、計測装置100は、以下の式を用いて、速度Vを得る。
【0030】
【数2】
数2において、Tcは電磁波の送信間隔、λは中間周波数信号の波長、ωは中間周波数信号間の位相差(ドップラーFFTにより得られた角速度のピーク)を夫々表す。
【0031】
FMCW方式では、複数の受信アンテナが用意される。複数の受信アンテナから得られた受信信号の位相差から人物の計測装置100に対する角度を算出することが可能である。具体的には、計測装置100では、ドップラーFFT後の中間周波数信号に対して、更に、フーリエ変換を施し、角速度のピークωを検出する。このフーリエ変換を、角度FFTと呼ぶ。そして、計測装置100では、当該ピークωを利用して、以下の式から、計測装置100の人物に対する角度θを得る。
【0032】
【数3】
数3において、dは受信アンテナの間隔を表す。
【0033】
このように、FMCW方式では、反射波を利用して、物体までの距離、物体の速度、及び物体に対する角度を算出することができる。計測装置100では、FMCW方式を利用して、人物までの距離、人物の速度、及び人物に対する角度を算出する。ただし、計測装置100は、人物までの距離、人物の速度、及び人物に対する角度を算出することができれば、FMCW方式以外の方式を利用してもよい。例えば、計測装置100は、パルス方式を用いて人物までの距離を算出してもよいし、ドップラー方式を用いて人物の速度を算出してもよいし、MIMO(Multi Input Multi Output)を利用して受信アンテナ間で受信した受信信号の位相差から人物に対する角度を算出してもよい。
【0034】
(計測装置の構成例)
次に、第1実施形態に係る計測装置100の構成例について説明する。
図2は、計測装置100の構成例を表す図である。
【0035】
図2に示すように、計測装置100は、RF(Radio Frequency)部110と、解析部120と、通信モジュール140とを有する。RF部110は、シンセサイザ111と、送信アンテナ112と、受信アンテナ113と、ミキサ114とを有する。また、解析部120は、ADC(Analogue to Digital Converter)121と、DSP(Digital Signal Processor)122と、CPU(Central Processing Unit)123と、メモリ130とを有する。
【0036】
シンセサイザ111は、周波数変調された送信信号を出力する。送信信号は、例えば、時間の経過とともに周期的に周波数が増加及び/又は減少する信号である。送信信号は、例えば、チャープ信号又は周波数掃引信号などと称される場合がある。送信信号の周波数は、上述したように、例えば、ミリ波として用いられる周波数であってもよい。シンセサイザ111は、複数の送信信号を周期的に出力してもよい。シンセサイザ111は、送信信号を送信アンテナ112とミキサ114へ出力する。
【0037】
送信アンテナ112は、送信信号を送信する。送信アンテナ112から送信された送信信号は電磁波として、計測装置100の計測空間内に存在する人物へ送信される。各人物へ送信された電磁波は、各人物の表面で反射して、反射波として計測装置100へ向かう。
【0038】
受信アンテナ113は、所定の間隔dで配置された複数の受信アンテナを有する。受信アンテナ113は、反射波を受信し、受信した反射波を、受信信号としてミキサ114へ出力する。
【0039】
ミキサ114は、シンセサイザ111からの送信信号と、受信アンテナ113からの受信信号とを混合し、中間周波数帯の中間周波数信号(又はIF信号)を生成する。すなわち、ミキサ114では、送信波と受信波とを混合して、中間周波数信号を生成している。ミキサ114は、中間周波数信号を解析部120のADC121へ出力する。
【0040】
ADC121は、アナログ信号である中間周波数信号をデジタル信号の中間周波数信号へ変換する。ADC121は、デジタル信号へ変換した中間周波数信号をDSP122へ出力する。
【0041】
DSP122は、例えば、FMCW方式を利用して、反射波からバイタルデータを取得する。
【0042】
第1に、DSP122は、中間周波数信号に対して、FMCW方式における距離FFTを施し、計測装置100から人物への距離を算出する。距離FFT後の中間周波数信号を距離情報と称する場合がある。
【0043】
第2に、DSP122は、距離FFT後の中間周波数信号に対して、FMCW方式によるドップラーFFTを施し、人物の速度(人物のバイタルサインによる表面の速度)を算出する。ドップラーFFT後の中間周波数信号を速度情報と称する場合がある。DSP122は、速度情報に対し、心音に該当する所定の周波数でフィルタリングすることで、人物の心拍データを取得できる。また、DSP122は、速度情報に対し、呼吸に該当する所定の周波数でフィルタリングすることで人物の呼吸データを取得できる。
【0044】
第3に、DSP122は、ドップラーFFT後の中間周波数信号に対して、FMCW方式による角度FFTを施し、人物の計測装置100に対する角度を算出する。角度FFT後の中間周波数信号を角度情報と称する場合がある。
【0045】
DSP122は、心拍データと呼吸データとをCPU123へ出力する。以下では、心拍データと呼吸データとを含むデータをバイタルデータと称する場合がある。また、DSP122は、距離情報と角度情報とを、CPU123へ出力する。距離と角度とにより、物体の位置が特定される。そのため、DSP122では、距離情報と角度情報とを位置情報としてCPU123へ出力してもよい。
【0046】
CPU123は、計測装置100を制御する。CPU123は、DSP122から取得したバイタルデータと位置情報とを、通信モジュール140を介して、サーバ200へ送信する。CPU123は、バイタルデータに基づいて、平均値を計算したり、標準偏差を計算したり、バイタルデータについての統計データを計算することもできる。CPU123は、統計データをサーバ200へ送信する。統計データはバイタルデータ(又は混在バイタルデータ)の一例であってもよい。
【0047】
メモリ130は、各種データを記憶する。メモリ130は、CPU123が処理を行う際のワーキングメモリとして機能してもよい。メモリ130は、プログラムを記憶してもよい。CPU123は、当該プログラムをメモリ130から読み出して実行することで、統計データを算出する処理を実行してもよい。
【0048】
通信モジュール140は、サーバ200と通信を行う。通信モジュール140は、バイタルデータと位置情報とをサーバ200へ送信する。通信モジュール140は、CPU123から統計データを取得したときは、統計データをサーバ200へ送信する。
【0049】
(サーバの構成例)
次に、サーバ200の構成例を説明する。
【0050】
図3は、第1実施形態に係るサーバ200の構成例を示す図である。
図3に示すように、サーバ200は、通信モジュール210と、特定部220とを有する。特定部220は、CPU221とメモリ222とを含む。
【0051】
通信モジュール210は、計測装置100と通信を行う。通信モジュール210は、計測装置100から送信されたバイタルデータと位置情報とを受信する。また、通信モジュール210は、統計データを計測装置100から受信することもできる。通信モジュール210は、バイタルデータと位置情報と統計データとを特定部220へ出力する。通信モジュール210は、情報端末と通信することもできる。
【0052】
CPU221は、メモリ222に記憶されたプログラムを読み出して実行することで、特定部220としての機能を実現する。
【0053】
特定部220は、位置情報に基づいて、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。具体的には、特定部220は、位置情報に基づいて、混在バイタルデータから各人物の個別バイタルデータを分離する。そして、特定部220は、個別バイタルデータと登録バイタルデータとを比較して、混在バイタルデータに含まれる各人物の個別バイタルデータを特定する。詳細は動作例で説明する。メモリ222は、CPU221(又は特定部220)のワーキングメモリとして機能してもよい。特定部220は、CPU221とメモリ222とを含むコンピュータであってもよい。
【0054】
(第1実施形態の動作例)
次に、第1実施形態に係る動作例について説明する。
【0055】
(全体動作例)
図4は、第1実施形態に係る全体の動作例を表す図である。
【0056】
図4に示すように、情報処理システム10は、処理を開始すると(ステップS10)、最初に、初期登録処理を行う(ステップS20)。初期登録処理では、各人物のバイタルデータがサーバ200のメモリ222に登録バイタルデータとして記録される。具体的には、以下の処理が行われる。すなわち、計測装置100を利用して、各人物のバイタルデータが取得される。取得したバイタルデータは、サーバ200に送信される。サーバ200では、バイタルデータを登録バイタルデータとして、メモリ222に記憶する。初期登録処理の詳細は後述する。
【0057】
次に、情報処理システム10では、個人特定処理を行う(ステップS30)。個人特定処理では、混在バイタルデータに含まれる各個人の個別バイタルデータが特定される。具体的には、以下の処理が行われる。すなわち、計測装置100を利用して、混在バイタルデータと位置情報とが取得される。混在バイタルデータと位置情報とは、サーバ200へ送信される。サーバ200では、混在バイタルデータを、位置情報に基づいて、個別バイタルデータに分離し、分離した各個別バイタルデータと、メモリ222に記憶された登録バイタルデータとを比較することで、分離した個別バイタルデータはどの人物の個別バイタルデータであるかを特定する。これにより、サーバ200では、混在バイタルデータに含まれる各人物の個別バイタルデータを特定することができる。個人特定処理の詳細は後述する。
【0058】
そして、情報処理システム10は、一連の動作を終了する(ステップS40)。
【0059】
以下では、第1実施形態に係る動作例として、最初に、(1)初期登録処理について説明し、次に、(2)個人特定処理について説明する。
【0060】
(1)初期登録処理
図5は、第1実施形態に係る初期登録処理の動作例を表す図である。
【0061】
図5に示すように、ステップS21において、情報処理システム10は、初期登録処理を開始する。
【0062】
ステップS22において、計測装置100は、計測空間内において人物の有無を確認する。例えば、以下のようにして人物の有無を確認する。すなわち、計測装置100の送信アンテナ112は、計測空間内に存在する1人の人物に向けて電磁波(例えば第2電磁波)を送信する。受信アンテナ113は、当該人物の反射波(例えば第2反射波)を受信する。CPU123が、受信アンテナ113において反射波を受信したことを検出したときに、計測装置100は人物が存在することを確認してもよい。一方、受信アンテナ113が反射波を受信したことをCPU123が検出していないとき、計測装置100は人物が存在しないことを確認してもよい。
【0063】
ステップS23において、計測装置100は、人物が存在することを確認すると、計測処理を行う。計測処理は、各個人の心拍数を計測する計測処理を含む。また、計測処理は、各個人の呼吸数を計測する計測処理を含む。最初に、(1.1)心拍数の計測処理について説明し、次に、(1.2)呼吸数の計測処理について説明する。
【0064】
(1.1)心拍数の計測処理
図6は、第1実施形態に係る心拍数の計測処理についての動作例を表す図である。
【0065】
図6に示すように、ステップS230において、計測装置100は、心拍数の計測処理を開始する。
【0066】
ステップS231において、計測装置100はデータを取得する。例えば、ミキサ114において、中間周波数信号を取得することで、データを取得することとしてもよい。
【0067】
ステップS232において、DSP122は、速度情報を取得する。例えば、DSP122は、上述したように、中間周波数信号に対して距離FFTを実行し、距離FFT後の中間周波数信号に対してドップラーFFTを施すことで、ドップラーFFT処理後の中間周波数信号を速度情報として取得する。
【0068】
ステップS233において、DSP122は、速度情報を心音に該当する周波数(例えば、20Hz~200Hzのうちいずれかの周波数)でフィルタリングする。
【0069】
ステップS234において、DSP122は、ステップS233によるフィルタリングの結果、当該人物の心音波形を得る。
【0070】
そして、ステップS235において、DSP122は、心拍数を取得する。
【0071】
図7(A)は、第1実施形態に係る心音波形の例を表す図である。
図7(A)において、横軸は時間、縦軸は心音の大きさを夫々表す。
図7(A)に示すように、心音は、ほぼ一定間隔でピーク位置を有する。心拍間隔とは、心音のピーク位置の間隔のことである。DSP122は、心音波形から心音のピーク位置を取得し、心音のピーク位置から心拍間隔を取得する。そして、DSP122は、心拍間隔の逆数を算出することで、当該人物の心拍数を取得する。DSP122は、1つの心拍間隔から、1つの心拍数を取得する。
【0072】
図6に戻り、ステップS236において、計測装置100は、心拍数の計測処理を終了する。DSP122は、心拍数を心拍データとしてCPU123へ出力してもよい。
【0073】
(1.2)呼吸数の計測処理
図8は、第1実施形態に係る呼吸数の計測処理についての動作例を表す図である。
【0074】
図8に示すように、ステップS240において、計測装置100は、呼吸数の計測処理を開始する。
【0075】
ステップS231とステップS232は、
図6に示す心拍数の計測処理と同一処理である。
【0076】
ステップS241において、DSP122は、速度情報を、呼吸を表す周波数(例えば、0.1Hz~1Hzのうちのいずれかの周波数)でフィルタリングする。
【0077】
ステップS242において、DSP122は、ステップS241によるフィルタリングにより、当該人物の呼吸波形を取得する。
【0078】
そして、ステップS243において、DSP122は、当該人物の呼吸数を取得する。
【0079】
図7(B)は、第1実施形態に係る呼吸波形の例を表す図である。
図7(B)において、横軸は時間、縦軸は呼吸の圧力を夫々表す。
図7(B)に示すように、呼吸は、ほぼ一定間隔でピーク位置を有する。呼吸間隔とは、呼吸のピーク位置の間隔(又は呼吸の周期)のことである。DSP122は、呼吸波形からピーク位置を取得し、ピーク位置から呼吸間隔を取得する。そして、DSP122は、呼吸間隔の逆数を算出することで、当該人物の呼吸数を取得する。DSP122は、1つの呼吸間隔から1つの呼吸数を取得する。
【0080】
図8に戻り、ステップS244において、計測装置100は、呼吸数の計測処理を終了する。DSP122は、呼吸数を呼吸データとしてCPU123へ出力してもよい。
【0081】
以上の計測処理により、計測装置100は、当該人物の心拍数と呼吸数とを取得する。
【0082】
図5に戻り、ステップS25において、計測装置100は、心拍数と呼吸数とを統計データとして記録する。例えば、CPU123は、DSP122から取得した心拍数と呼吸数とから統計データを算出し、メモリ130に記録する。
【0083】
図9(A)から
図9(C)は、第1実施形態に係る統計データの例を表す図である。
図9(A)から
図9(C)は、「Aさん」の統計データの例を表している。このうち、
図9(A)は、心拍数に関する統計データの例を表している。
【0084】
図9(A)に示すように、心拍数に関する統計データは、「心拍数の平均値」と、「平均値+3σ」(σは心拍数の標準偏差を表す)と、「平均値-3σ」と、「変動率」とを含む。平均値は、所定期間における心拍数の平均値を表す。変動率とは、心拍が継続的に増加及び/又は減少した際の一拍あたりの変化量を表す。心拍数は必ずしも一定ではなく、運動又は自律神経によって変動する。例えば、安静時から立ち上がり時には、心拍数は変化する。変動率は、例えば、心拍数の平均値からの変化量を表している。
【0085】
例えば、CPU123は、以下のようにして各値を計算する。すなわち、CPU123は、DSP122から取得した一定期間内における心拍数を算出し、当該心拍数について複数期間における平均値を算出することで、「心拍数の平均値」を算出する。また、CPU123は、所定式を用いて、心拍数の平均値から心拍数の標準偏差σを算出することで、「平均値±3σ」を算出する。なお、「平均値±3σ」は、平均値を中心として、心拍数の99.7%が含まれる範囲を表している。更に、CPU123は、例えば、一定期間内の心拍数について、その平均値からの増減数を算出し、増減数の平均値を「変動率」として算出する。
【0086】
図9(B)は、「Aさん」の呼吸数に関する統計データの例を表している。
図9(B)に示すように、呼吸数に関する統計データは、「呼吸数の平均値」と、「平均値+3σ」と、「平均値-3σ」とを含む。例えば、CPU123は、以下のようにして各値を計算する。すなわち、CPU123は、DSP122から取得した一定期間内における呼吸数を算出し、当該呼吸数について複数期間における平均値を算出することで、「呼吸数の平均値」を算出する。また、CPU123は、所定式を用いて、呼吸数の平均値から呼吸数の標準偏差σを算出することで、「平均値±3σ」を算出する。
【0087】
図9(C)は、心拍と呼吸との分布情報を表す図である。
図9(C)では、分布情報が心拍と呼吸との一次関数(y=4x)として表され、その一次関数がグラフ形式で表されている。
図9(C)に示すグラフでは、横軸が心拍、縦軸が呼吸を夫々表している。CPU123は、心拍数の平均値と呼吸数の平均値とに基づいて、心拍と呼吸との一次関数を算出してもよいし、各心拍数と各呼吸数とに基づいて、一次関数を算出してもよい。CPU123は、算出した一次関数を、呼吸と心拍との分布情報の統計データとしてもよい。
【0088】
CPU123は、心拍数に関する統計データ(
図9(A)と、呼吸数に関する統計データ(
図9(B)と、呼吸と心拍との分布情報に関する統計データ(
図9(C))とを、1つの統計データとして、サーバ200へ送信する。
【0089】
図5に戻り、ステップS26において、サーバ200は、統計データと、IDと、ユーザ情報とを紐づけて、データベース(DB)に記録する。
【0090】
図10(A)と
図10(B)は、第1実施形態に係るDBの例を表す図である。このうち、
図10(A)は、「Aさん」の統計データを、「Aさん」のIDに紐づけたDBの例を表している。また、
図10(B)は、IDとユーザ情報とを紐づけたDBの例を表している。
【0091】
サーバ200の特定部220は、ID(
図10(A)では、「aaaa」)を発行し、計測装置100から取得した統計データに対して、発行したIDを割り当てることで、統計データとIDとを紐づける。そして、特定部220は、IDとユーザ情報とを紐づける。例えば、特定部220は、以下の処理により、IDとユーザ情報とを紐づける。
【0092】
すなわち、特定部220は、通信モジュール210を介して、「Aさん」が所有する情報端末に対して、「Aさん」のユーザ情報を入力するように促す情報を送信する。「Aさん」が情報端末に自身のユーザ情報を入力し、入力したユーザ情報が情報端末から通信モジュール210を介して特定部220へ送信される。特定部220は、ユーザ情報と、発行したIDとを紐づける。
【0093】
又は、サーバ200を操作する入力者により、直接、ユーザ情報がサーバ200に入力されるようにしてもよい。特定部220は、ユーザ情報と発行したIDとを紐づける。
【0094】
図10(A)と
図10(B)とに示すように、IDを介して、「Aさん」の統計データと、ユーザ情報とが紐づけられる。特定部220は、統計データと、IDと、ユーザ情報とを含むDBを、メモリ222に記録する。
【0095】
図5に戻り、ステップS27において、情報処理システム10は、初期登録処理を終了する。
【0096】
以上が初期登録処理(
図4のステップS20)の動作例である。初期登録処理により、例えば、
図9(A)から
図9(C)に示す統計データが、「Aさん」の統計データであるとして、メモリ222に記録される。
【0097】
初期登録処理によりメモリ222に記録された統計データが、登録バイタルデータであってもよい。或いは、初期登録処理によりメモリ222に記録された統計データに、登録バイタルデータが含まれるとしてもよい。
【0098】
なお、
図10(B)に示すユーザ情報は、測定対象となる人物(又はユーザ)の名前と性別とが含まれる例を表しているが、性別が含まれずに名前が含まれる例であってもよい。或いは、ユーザ情報には、人物の画像情報が含まれてもよい。特定部220は、通信モジュール210を介して、人物を撮像する撮像装置から画像情報を受信し、画像情報をユーザ情報に含めて、メモリ222に記録してもよい。
【0099】
次に、情報処理システム10は、計測空間に複数人物が存在する場合に取得した混在バイタルデータから、登録バイタルデータを利用して、混在バイタルデータに含まれる各個人のバイタルデータを特定する個人特定処理(
図4のステップS30)を行う。
【0100】
(2)個人特定処理
次に、個人特定処理の動作例について説明する。個人特定処理では、2つのシナリオを用いて、その動作例を説明する。
【0101】
図11(A)と
図11(B)は、第1実施形態に係るシナリオの例を表す図である。第1シナリオは、
図11(A)に示すように、計測装置100の計測空間には、最初に1人(「Aさん」)存在し、その後、別の1人(「Bさん」)が計測空間に入ってくるシナリオである。第2シナリオは、
図11(B)に示すように、最初から、二人(「Aさん」と「Bさん」)が計測空間に存在するシナリオである。最初に、第1シナリオでの個人特定処理の動作例について説明し、次に、第2シナリオでの個人特定処理の動作例について説明する。
【0102】
(2.1)第1シナリオでの個人特定処理
図12は、第1シナリオでの個人特定処理の動作例を表す図である。最初は、「Aさん」が測定空間に存在し、「Bさん」は測定空間には存在しない。
【0103】
図12に示すように、ステップS31において、情報処理システム10は、個人特定処理を開始する。
【0104】
ステップS32からステップS34は、「Aさん」個人に対するバイタルデータの取得処理(
図5のステップS22からステップS25)と夫々同一の処理が行われる。
【0105】
図13(A)から
図13(C)は、ステップS34により、計測装置100が算出した、「Aさん」の統計データの例を表す図である。
【0106】
図12に戻り、ステップS35において、計測装置100は、統計データをサーバ200へ送信し、サーバ200は、統計データとDBとを照合する。例えば、サーバ200の特定部220は、
図13(A)から
図13(C)に示す統計データと、DBとしてメモリ222に記録された、
図9(A)から
図9(C)に示す統計データとを照合する。
【0107】
図12に戻り、ステップS36において、特定部220は、
図13(A)から
図13(C)に示す統計データと、
図9(A)から
図9(C)に示す統計データとが同一であるため、ステップS34で算出した統計データが、「Aさん」の統計データであることを特定する。
【0108】
ステップS37において、計測空間に、他の人(「Bさん」)が入ってくる。
【0109】
ステップS38において、特定部220は、バイタルデータ分離処理を行う。
【0110】
すなわち、計測装置100では、「Bさん」が計測空間に入った後も、電磁波を送信し、その反射波に基づいて、バイタルデータを取得する。「Bさん」が計測空間に入る前は、「Aさん」が計測空間に存在するため、取得したバイタルデータは、「Aさん」のバイタルデータである(ステップS36)。一方、「Bさん」が計測空間に入った後に計測装置100で取得したバイタルデータは、「Aさん」のバイタルデータと、「Bさん」のバイタルデータとが混在した混在バイタルデータとなる。
【0111】
計測装置100は、取得した混在バイタルデータを、サーバ200へ送信する。サーバ200の特定部220は、混在バイタルデータに対して、バイタルデータ分離処理を行う。
【0112】
(2.1.1)バイタルデータ分離処理
図14は、第1実施形態に係るバイタルデータ分離処理の動作例を表す図である。
【0113】
図14に示すように、ステップS380において、情報処理システム10は、バイタルデータ分離処理を開始する。
【0114】
ステップS381において、特定部220は、他人が測定空間に入ってきたか否かを、心拍データから推定する。ここで、他人が測定空間に入ってきたか否かを特定する判定方法について説明する。
【0115】
図15(A)は、第1実施形態に係る心音波形の例を表す図である。例えば、特定部220は、計測装置100から取得した心拍数のバイタルデータ(心拍データ)に基づいて、
図15(A)に示す心音波形を再現できる。
図15(A)に示す心音波形は、横軸が時間、縦軸が心拍の大きさを夫々表す。なお、以下では、「心音波形」と「心拍データ」とを区別しないで用いる場合がある。
【0116】
図15(A)に示すように、中央の点線を境に、「Aさん」のみの心音波形から、「Aさん」と「Bさん」とが混在した心音波形へ変化する。
【0117】
第1に、心拍間隔(又は心拍数)に着目する。
図15(A)に示すように、「Aさん」と「Bさん」とが混在した心音波形の心拍間隔は、「Aさん」のみの心音波形の心拍間隔よりも短い。言い換えると、「Aさん」と「Bさん」とが混在した心音波形の心拍数(又は心拍数の平均値)は、「Aさん」のみ心拍数の平均値より多くなっている。すなわち、特定部220は、計測装置100から取得したバイタルデータに含まれる心拍数(例えば第1心拍数)が、登録バイタルデータに含まれる心拍数(例えば第2心拍数)の平均値よりも多いとき、取得したバイタルデータが混在バイタルデータであるとして、当該バイタルデータに複数人物の個別バイタルデータが含まれることを推定する。つまり、特定部220は、他の人が測定空間に入ってきたと判定する。混在バイタルデータには、複数人物の心拍数が混在しているため、その心拍数は、「Aさん」1人の心拍数よりも多くなるからである。第1心拍数は平均値により表されてもよい。
図15(B)は、「Aさん」の心拍数に関する統計データの例を表している。
図15(B)では、「Aさん」と「Bさん」とを含む心音波形の心拍間隔の平均値が、「Aさん」の心拍間隔の平均値よりも短いことを表している。
【0118】
第2に、1回の心音波形の時間的な長さに着目する。「Aさん」と「Bさん」とが混在した心音波形は、2人分の心音が1回の心音波形に表される場合がある。そのため、「Aさん」と「Bさん」とが混在した心音波形における1回の心音波形は、「Aさん」のみの心音波形と比較して、時間的に長い場合がある。そこで、特定部220では、心拍データから、所定の式を利用して、1回の心音波形の時間的な長さを算出する。そして、特定部220は、当該長さが閾値以上のとき、他の人が測定空間に入ってきたことを判定してもよい。
【0119】
図14に戻り、ステップS382において、計測装置100は、他の人(「Bさん」)が計測空間に入った後も、バイタルデータを取得する。
【0120】
ステップS383において、計測装置100は、計測空間内の距離情報と角度情報とを取得する。例えば、DSP122は、距離FFT処理後の中間周波数信号を距離情報として取得し、角度FFT処理後の中間周波数信号を角度情報として取得することができる。DSP122は、距離情報と角度情報とを位置情報として、CPU123を介して、サーバ200へ送信する。
【0121】
図16(A)は、第1実施形態に係る距離と角度との関係例を表す図である。
図16(A)に示すように、距離と角度とによって、位置を特定することができる。すなわち、2組の距離情報と角度情報とにより、2人(「Aさん」と「Bさん」)の位置を特定することができる。ただし、ここでは、どちらの位置が「Aさん」の位置を表し、どちらの位置が「Bさん」の位置を表すかまでは特定できないが、少なくとも2人が存在する位置を特定することは可能である。このように、距離情報と角度情報とにより、位置情報が表される。
【0122】
図14に戻り、ステップS384において、特定部220は、距離情報と角度情報とからブロック分けを行う。
【0123】
図16(B)は、第1実施形態に係るブロック分けの例を表す図である。
図16(B)に示すように、例えば、計測空間を6個のブロックに分割することで、ブロック分けを行う。特定部220は、予め決められた6個のブロックに分割することで、ブロック分けを行ってもよい。
【0124】
図14に戻り、ステップS385において、特定部220は、ブロック毎に心拍データを取得する。
図16(C)は、第1実施形態に係るブロック毎の心拍データの例を表す図である。特定部220では、ステップS383により、位置情報を取得しているため、当該位置情報により示された位置(距離と角度)から、2人の心拍データを得ることができる。
【0125】
図14に戻り、ステップS387において、特定部220は、心拍データを分離する。
図17(C)は、混在バイタルデータのうち、心拍データ(又は心拍波形)を、2つの心拍データ(又は心拍波形)に分離する例を表している。具体的には、例えば、以下のようにして分離が行われる。
【0126】
すなわち、計測装置100では、複数人物からの反射波から取得した(距離FFT後の)中間周波数信号に対して、FMCW方式におけるドップラーFFTを施すことで、各人物の計測装置100に対する速度情報を取得できる。すなわち、計測装置100では、中間周波数信号から、「Aさん」の速度情報と「Bさん」の速度情報とを個別に取得できる。計測装置100は、2つの速度情報を特定部220へ送信する。特定部220では、「Aさん」の速度情報に基づいて、「Aさん」の心拍数と呼吸数、すなわち、「Aさん」のバイタルデータを取得できる。また、特定部220では、「Bさん」の速度情報に基づいて、「Bさん」の心拍数と呼吸数、すなわち、「Bさん」のバイタルデータを取得できる。特定部220は、計測装置100から連続的に速度情報を取得することで、各人物のバイタルデータを取得できる。これにより、特定部220では、ブロック毎に心拍データを取得し(ステップS385)、心拍データを分離することができる(ステップS387)。なお、この段階では、特定部220は、混在バイタルデータから個別バイタルデータに分離できても、どちらの個別バイタルデータが「Aさん」のバイタルデータであるのか、又は「Bさん」のバイタルデータであるのかまでは、特定できていないものとする。
【0127】
図14に戻り、ステップS388において、特定部220は、バイタルデータの分離処理を終了する。
【0128】
図12に戻り、情報処理システム10は、バイタルデータの分離処理(ステップS38)を終了すると、ステップS40において、人物特定処理を行う。人物特定処理では、分離した個別バイタルデータがどの人物のバイタルデータであるかを特定する処理が行われる。例えば、
図17(C)に示す例では、分離した2つの個別バイタルデータ(又は心拍データ)について、どちらが「Aさん」のバイタルデータであり、どちらが「Bさん」のバイタルデータであるかが特定される。
【0129】
(2.1.2)人物特定処理
図18は、第1実施形態に係る人物特定処理の動作例を表す図である。
【0130】
図18に示すように、ステップS400において、特定部220は、人物特定処理を開始する。
【0131】
ステップS401において、特定部220は、「Aさん」の心音が発生する時間帯(T±ΔT)を予測する。
【0132】
図19(A)と
図19(B)は、第1実施形態に係る心音波形の例を表す図である。このうち、
図19(A)は、「Aさん」と「Bさん」とが混在した心音波形の例を表している。一方、
図19(B)は、「Aさん」の心音波形と「Bさん」の心音波形とに分離した心音波形の例を表している。なお、上述したように、分離した心音波形は、どちらが「Aさん」で、どちらが「Bさん」であるかは、この段階では把握されていない。仮に、
図19(B)における分離波形のうち、上側を「Xさん」の心音波形とし、下側の心音波形を「Yさん」の心音波形とする。
【0133】
Tは、いずれかの人物の登録バイタルデータに含まれる心拍数の平均値を表す。ΔTは、当該心拍数の変動率を表す。T及びΔTが、「Aさん」に関する心拍数の平均値及び変動率を夫々表すと仮定すると、
図9(A)に示す統計データを用いて、T=788msec、ΔT=218msecとなる。従って、時間帯(T-ΔT)は、788-218=570msecとなり、時間帯(T+ΔT)は、788+218=1006msecとなる。すなわち、「Aさん」の所定間隔は、570msecから1006msecまでの間の時間帯となる。
【0134】
このように、特定部220は、ある人物の心拍数の平均値に変動率を減算した減算値(T-ΔT)と、平均値に変動率を加算した加算値(T+ΔT)との間隔を、心音が発生する時間帯としている。当該時間帯を、以下では、当該人物の所定間隔と称する場合がある。
【0135】
図18に戻り、ステップS402において、特定部220は、心音波形のピークが、所定間隔(T±ΔT)にいくつ存在するかを判定する。すなわち、特定部220は、混在バイタルデータのうち、分離前の最後に心音ピークが発生したタイミングから、所定間隔内に、個別バイタルデータのうち、分離後に最初に心音ピークが発生するタイミングを有する個別バイタルデータがいくつ存在するかを判定する。
【0136】
図19(B)に示す例では、「Aさん」の所定間隔(570msec~1006msec)が破線四角で表され、分離前の最後に心音ピークが発生したタイミングは「Z」で表されている。特定部220は、「Z」を開始タイミング(0msec)として、2つの分離データについて、所定間隔(570msec~1006msec)内に、いくつ心音ピークが存在するかを判定している。
図19(B)の例では、「Xさん」の心音波形において、所定間隔内の835msecにおいて心音ピークが1つ存在する。他方、「Yさん」の心音波形においては、所定間隔内には心音ピークが存在しない。特定部220は、心音波形のピークが、所定間隔(T±ΔT)に「1つ」存在すると判定する。
【0137】
他方、仮に、
図19(B)に示す「Yさん」の心音波形においても、Aさんの所定間隔(570msec~1006msec)に1つ心音ピークが存在する場合、Aさんの所定間隔(570msec~1006msec)に2つのピークが存在することになる。「Xさん」の心音波形も「Yさん」の心音波形も、どちらも、「Aさん」の所定間隔内に心音のピークが存在すると、「Xさん」の心音波形と「Yさん」の心音波形とについて、どちらが「Aさん」の心音波形であるかを特定することができない。その場合は、特定部220は、統計データを利用して識別する処理(
図18のステップS404以降の処理)を行う。
【0138】
すなわち、ステップS402において、心音波形のピークが、Aさんの所定間隔(T±ΔT)に1つ存在するとき、処理は、ステップS403へ移行する。一方、ステップS402において、心音波形のピークが複数存在する(「2つ以上」)とき、処理は、ステップS404へ移行する。
【0139】
ステップS403において、特定部220は、該当する心音波形を「Aさん」の心音波形として特定する。すなわち、特定部220は、分離した「Xさん」の個別バイタルデータを、「Aさん」の個別バイタルデータとして特定する。
【0140】
なお、
図19(B)の例において、「Yさん」の心音波形については、「Bさん」の心拍データに基づいて、「Bさん」の心音波形として特定することができる。つまり、特定部220は、「Bさん」の心拍データから、「Bさん」の所定間隔(T±ΔT)を算出する。そして、特定部220は、分離前の最後に心音ピークが発生したタイミング「Z」を開始タイミング(0msec)として、「Yさん」の心音ピークが、「Bさん」の所定間隔内に存在することを確認する。これにより、分離後の「Yさん」の心音波形を、「Bさん」の心音波形として特定できる。
【0141】
このように、ステップS401からステップS403においては、特定部220は、個別バイタルデータ及び登録バイタルデータに含まれる心音波形のタイミングに基づいて、混在バイタルデータに含まれる個別バイタルデータを特定するようにしている。特定部220は、ステップS403の処理を行うと、ステップS407の処理を行う。
【0142】
一方、ステップS404において、特定部220は、「Xさん」の統計データと、「Yさん」の統計データとを、計測装置100から取得する。例えば、特定部220は、以下のようにして統計データを取得する。すなわち、特定部220は、計測装置100から取得した「Xさん」の速度情報から「Xさん」のバイタルデータを算出し、算出した「Xさん」のバイタルデータから「Xさん」の統計データを算出する。また、特定部220は、計測装置100から取得した「Yさん」の速度情報から「Yさん」のバイタルデータを算出し、算出した「Yさん」のバイタルデータから「Yさん」の統計データを算出する。
【0143】
ステップS405において、特定部220は、「Xさん」の統計データ及び「Yさん」の統計データと、DBに登録されている統計データ(又は登録バイタルデータ)とを比較する。
【0144】
ステップS406において、特定部220は、「Xさん」の統計データ及び「Yさん」の統計データのうち、「Aさん」の統計データに合致する方を、「Aさん」の心音波形として特定する。
【0145】
図20(A)から
図20(C)は、第1実施形態に係る統計データの例を表す図である。
図20(A)から
図20(C)に示す例では、心拍数の平均値も、呼吸数の平均値も、分布情報も、いずれも、「Xさん」の統計データは、「Yさん」の統計データよりも、「Aさん」の統計データに近いデータとなっている。従って、特定部220は、「Xさん」の心音波形を、「Aさん」の心音波形として特定する。
【0146】
図18に戻り、ステップS407において、特定部220は、「Aさん」以外の統計データ(すなわち、「Yさん」の統計データ)を、データベースに登録された統計データ(又は登録バイタルデータ)と照合する。
【0147】
ステップS408において、特定部220は、「Aさん」以外の統計データが、データベースに登録された照合可能な統計データと合致するか否かを判定する。「Aさん」以外の統計データが、照合可能な統計データと合致すれば(ステップS408でYes)、処理はステップS409へ移行する。一方、「Aさん」以外の統計データが照合可能な統計データと合致しないとき(ステップS408でNo)、処理はステップS411へ移行する。
【0148】
ステップS409において、特定部220は、「Aさん」以外の統計データが、照合可能な統計データとして「Bさん」の統計データと合致するときは、「Yさん」の心音波形を、「Bさん」の心音波形として特定する。
【0149】
そして、ステップS410において、特定部220は、人物特定処理を終了する。
【0150】
一方、ステップS411において、特定部220は、照合可能な統計データがDBには登録されていないため、「Yさん」の心音波形を、特定不可と判定する。そして、処理は、ステップS410へ移行する。
【0151】
このように、特定部220は、所定間隔内に、分離後に最初に心音ピークが発生するタイミングを有する個別バイタルデータが複数存在するとき(ステップS402で「2つ以上」のとき)、個別バイタルデータの統計データと、登録バイタルデータの統計データとに基づいて、各個人の個別バイタルデータを特定している。
【0152】
以上が、人物特定処理である。
【0153】
図12に戻り、特定部220は、人物特定処理(ステップS40)を終了すると、ステップS42において、バイタルデータをメモリ222に蓄積する。
【0154】
ステップS43において、特定部220は、蓄積したバイタルデータに基づいて、自律神経分析を行う。特定部220は、自律神経分析の結果を、通信モジュール210を介して、情報端末へ送信してもよい。
【0155】
そして、ステップS44において、情報処理システム10は、第1シナリオにおける個人特定処理を終了する。
【0156】
このように、第1シナリオにおける個人特定処理(
図12)では、最初に、「Aさん」が計測空間に存在するため、特定部220では、取得した統計データと、DBに登録された「Aさん」の統計データとを比較して、取得したバイタルデータが、「Aさん」のバイタルデータであることを特定する(ステップS33~ステップS36)。そして、計測空間に「Bさん」が入ってくることで、特定部220は、混在バイタルデータを取得すると、位置情報に基づいて、混在バイタルデータを分離するバイタルデータ分離処理を行う(ステップS38)。その後、特定部220は、分離した個別バイタルデータと、DBに登録された登録バイタルデータ(又は統計データ)とを比較して、分離した個別バイタルデータがどの人物のバイタルデータであるかを特定する(ステップS40)。
【0157】
従って、情報処理システム10は、混在バイタルデータであっても、各人物の個別バイタルデータを適切に特定することが可能である。
【0158】
(2.2)第2シナリオでの個人特定処理
第2シナリオは、計測空間に最初から複数の人物が存在するシナリオ(例えば
図11(B))である。
【0159】
図21は、第2シナリオにおける個人特定処理の動作例を表す図である。
【0160】
図21に示すように、ステップS51において、情報処理システム10は、第2シナリオにおける個人特定処理を開始する。
【0161】
ステップS52において、特定部220は、位置情報を取得する。特定部220は、第1シナリオにおける位置情報取得(
図14のステップS383)と同様に、計測装置100から位置情報を取得する。
【0162】
ステップS53において、特定部220は、位置情報に基づいて、混在バイタルデータを分離する。特定部220は、第1シナリオにおけるバイタルデータ分離処理(
図12のステップS38)と同様に、位置情報のうち、「Aさん」の速度情報と「Bさん」の速度情報とを用いて、混在バイタルデータを分離する。
【0163】
なお、分離したバイタルデータは、この段階では、「Aさん」のバイタルデータか、「Bさん」のバイタルデータかは把握することができない。例えば、特定部220では、「Xさん」のバイタルデータと、「Yさん」のバイタルデータとして、分離して管理してもよい。
【0164】
ステップS54において、計測装置100は、反射波から取得した中間周波数信号から、「Xさん」の速度情報と「Yさん」の速度情報を取得する。そして、計測装置100は、これらの速度情報に基づいて、「Xさん」に対応する心拍数と呼吸数とを計測し、「Yさん」に対応する心拍数と呼吸数とを計測する。
【0165】
ステップS55において、計測装置100は、「Xさん」に対応する統計データを算出し、「Yさん」に対応する統計データを算出する。
【0166】
図22(A)から
図22(C)は、第1実施形態に係る統計データの例を表す図である。
図22(A)から
図22(C)に示すように、計測装置100は、「Xさん」の心拍数と呼吸数とから統計データを算出する。また、計測装置100は、「Yさん」の心拍数と呼吸数とから「Yさん」の統計データを算出する。
【0167】
図21に戻り、ステップS56において、計測装置100は、2つの統計データ(又は個別バイタルデータ)をサーバ200へ送信し、各統計データをDBに登録された統計データ(又は登録バイタルデータ)と照合する。
【0168】
ステップS57において、サーバ200の特定部220は、「Xさん」の統計データと、DBに登録された「Aさん」の統計データ(又は登録バイタルデータ)とを照合して、一致すると、「Xさん」のバイタルデータ(ステップS53)は「Aさん」のバイタルデータであることを特定する。一方、特定部220は、「Yさん」の統計データと、DBに登録された「Bさん」の統計データ(又は登録バイタルデータ)とを照合して、一致すると、「Yさん」のバイタルデータ(ステップS53)は「Bさん」のバイタルデータであることを特定する。
【0169】
ステップS58において、特定部220は、「Aさん」のバイタルデータと、「Bさん」のバイタルデータとを、メモリ222に記録する。
【0170】
ステップS59において、特定部220は、記録した各バイタルデータに基づいて、自律神経分析を行う。
【0171】
そして、ステップS60において、情報処理システム10は、第2シナリオにおける個人特定処理を終了する。
【0172】
このように、第2シナリオにおける個人特定処理においても、特定部220が、混在バイタルデータを取得すると、当該混在バイタルデータを、位置情報に基づいて分離する(ステップS53)。そして、特定部220は、分離した個別バイタルデータと、DBに登録された登録バイタルデータとを比較して、分離した個別バイタルデータがどの人物のバイタルデータであるかを特定する(ステップS57)。
【0173】
従って、情報処理システム10は、第2シナリオにおける個人特定処理においても、混在バイタルデータの中から各人物の個別バイタルデータを適切に特定することが可能である。
【0174】
[その他の実施形態]
上述した実施形態に係る各処理又は各機能をコンピュータに実行させるプログラム(情報処理プログラム)が提供されてもよい。又は、上述した実施形態に係る各処理又は各機能を情報処理システム10に実行させるプログラム(例えば、情報処理プログラム)が提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。このような記録媒体は、計測装置100に含まれるメモリ130、及びサーバ200に含まれるメモリ222であってもよい。
【0175】
また、第1実施形態で説明したCPU123及び221に代えて、MPU(Micro Processor Unit)又はFPGA(Field-Programmable Gate Array)などのプロセッサ又はコントローラが用いられてもよい。
【0176】
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、矛盾しない範囲で、各実施形態、各動作例、又は各処理を組み合わせることも可能である。
【0177】
(付記)
(付記1)
計測装置と、
情報処理装置と、を有し、
前記計測装置は、複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータ及び各人物の位置情報を取得し、
前記情報処理装置は、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する、
情報処理システム。
【0178】
(付記2)
前記情報処理装置は、メモリを含み、
前記情報処理装置は、前記位置情報に基づいて、前記混在バイタルデータから各人物の前記個別バイタルデータを分離し、前記個別バイタルデータと、前記メモリに記憶された各人物の登録バイタルデータとを比較して、前記混在バイタルデータに含まれる各人物の前記個別バイタルデータを特定する、
付記1記載の情報処理システム。
【0179】
(付記3)
前記第1電磁波は、周波数変調された送信波である、
付記1又は付記2記載の情報処理システム。
【0180】
(付記4)
前記計測装置は、前記第1反射波に基づいて、前記各人物の前記計測装置からの距離と、前記各人物の前記計測装置に対する角度とを算出することで、前記各人物の位置情報を取得する、
付記1乃至付記3のいずれかに記載の情報処理システム。
【0181】
(付記5)
前記混在バイタルデータは、前記複数人物の第1心拍数を含み、
前記登録バイタルデータは、前記各人物の第2心拍数を含み、
前記情報処理装置は、前記混在バイタルデータに含まれる前記第1心拍数が、前記登録バイタルデータに含まれるいずれかの前記人物の前記第2心拍数の平均値よりも多いとき、前記混在バイタルデータに、前記複数人物の前記個別バイタルデータを含むことを確認する、
付記1乃至付記4のいずれかに記載の情報処理システム。
【0182】
(付記6)
前記情報処理装置は、前記個別バイタルデータ及び前記登録バイタルデータに含まれる心音波形のタイミングに基づいて、前記混在バイタルデータに含まれる前記個別バイタルデータを特定する、
付記1乃至付記5のいずれかに記載の情報処理システム。
【0183】
(付記7)
前記混在バイタルデータは、前記複数人物の心拍に関連する心拍データを含み、
前記個別バイタルデータは、前記各人物の心拍に関連する心拍データを含み、
前記登録バイタルデータは、前記各人物の心拍数の平均値と、前記各人物の心拍の一拍あたりの変化量を表す変動率とを含む心拍データを含み、
前記情報処理装置は、前記平均値に前記変動率を減算した減算値と、前記平均値に前記変動率を加算した加算値との間隔を当該人物の所定間隔とし、前記混在バイタルデータのうち、分離前の最後に心音ピークが発生したタイミングから、前記所定間隔内に、前記個別バイタルデータのうち、分離後に最初に心音ピークが発生するタイミングを有する前記個別バイタルデータが1つ存在するとき、当該個別バイタルデータを当該人物の前記個別バイタルデータとして特定する、
付記1乃至付記6のいずれかに記載の情報処理システム。
【0184】
(付記8)
前記情報処理装置は、前記所定間隔内に、分離後に最初に心音ピークが発生するタイミングを有する前記個別バイタルデータが複数存在するとき、前記個別バイタルデータの統計データと、前記登録バイタルデータの統計データとに基づいて、前記各人物の前記個別バイタルデータを特定する、
付記1乃至付記7のいずれかに記載の情報処理システム。
【0185】
(付記9)
前記登録バイタルデータは、各人物に向けて送信された第2電磁波の第2反射波を利用して前記計測装置において取得したバイタルデータである、
付記1乃至付記8のいずれかに記載の情報処理システム。
【0186】
(付記10)
複数人物に向けて送信された第1電磁波の第1反射波を利用して取得した混在バイタルデータを計測装置から入力し、前記第1反射波に基づいて、各人物の位置情報を取得し、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する特定部、を有する
情報処理装置。
【0187】
(付記11)
情報処理システムに、
複数人物に向けて送信された第1電磁波の第1反射波を利用して、混在バイタルデータを取得する処理と、
前記第1反射波に基づいて、各人物の位置情報を取得し、前記位置情報に基づいて、前記混在バイタルデータに含まれる各人物の個別バイタルデータを特定する処理と、を実行させる
情報処理プログラム。
【符号の説明】
【0188】
10 :情報処理システム 100 :計測装置
110 :RF部 111 :シンセサイザ
112 :送信アンテナ 113 :受信アンテナ
114 :ミキサ 120 :解析部
122 :DSP 123 :CPU
130 :メモリ 140 :通信モジュール
200 :サーバ(情報処理装置) 210 :通信モジュール
220 :特定部 221 :CPU
222 :メモリ