特許 7340801 バイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-31

(45)【発行日】2023-09-08

(54)【発明の名称】バイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20230901BHJP

   A61B 5/16 20060101ALI20230901BHJP

   A61B 5/0245 20060101ALI20230901BHJP

   H04N 21/2187 20110101ALI20230901BHJP

   H04N 21/258 20110101ALI20230901BHJP

【ＦＩ】

A61B5/00 G

A61B5/16 110

A61B5/0245 F

H04N21/2187

H04N21/258

【請求項の数】 12

(21)【出願番号】P 2019199403

(22)【出願日】2019-10-31

(65)【公開番号】P2021069813

(43)【公開日】2021-05-06

【審査請求日】2022-05-19

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】中村 剛

(72)【発明者】

【氏名】田中 義照

(72)【発明者】

【氏名】手塚 忠則

【審査官】北島 拓馬

(56)【参考文献】

【文献】特開２０１８－０６８４３１（ＪＰ，Ａ）

【文献】特開２０１６－０７７５３９（ＪＰ，Ａ）

【文献】特表２０１６－５１３５１７（ＪＰ，Ａ）

【文献】特開２０１８－００８０３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０３

Ａ６１Ｂ ５／０６ － ５／２２

(57)【特許請求の範囲】

【請求項1】

周囲に複数のカメラが配置されたユーザの生体情報を計測するバイタルデータ出力方法であって、
前記複数のカメラのうち少なくとも１つのカメラによって撮像された前記ユーザの撮像映像を取得し、
前記撮像映像に基づいて、前記ユーザの前記生体情報を含む生体信号を抽出し、
前記抽出された前記生体信号の信頼度を算出し、
算出された前記信頼度が所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、
前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、
バイタルデータ出力方法。

【請求項2】

算出された前記信頼度が前記所定の比較参照値以上となる条件を満たすまで、前記複数のカメラのうち少なくとも１つのカメラによって撮像された撮像映像に基づく生体信号の抽出と前記生体信号の信頼度の算出とを繰り返す、
請求項１に記載のバイタルデータ出力方法。

【請求項3】

前記信頼度の算出に要する時間は、前記生体情報の推定に要する時間よりも短い、
請求項１に記載のバイタルデータ出力方法。

【請求項4】

前記生体信号は周期性を有し、
前記信頼度を算出可能な周期数は、前記生体情報を推定可能な周期数より少ない、
請求項１に記載のバイタルデータ出力方法。

【請求項5】

前記信頼度の算出に要する時間は、前記生体情報の推定に要する時間よりも長い、
請求項１に記載のバイタルデータ出力方法。

【請求項6】

算出された前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記信頼度を算出する間に推定された生体情報は出力されない、
請求項５に記載のバイタルデータ出力方法。

【請求項7】

前記記憶されていないカメラがない場合、前記記憶されたカメラの情報をリセットする、
請求項１に記載のバイタルデータ出力方法。

【請求項8】

前記所定の比較参照値は、所定の閾値である、
請求項１に記載のバイタルデータ出力方法。

【請求項9】

前記所定の比較参照値は、前記ユーザを撮像する１以上の他のカメラによって撮像された撮像映像に基づいて抽出された生体信号の信頼度である、
請求項１に記載のバイタルデータ出力方法。

【請求項10】

前記複数のカメラは、１分以上に亘って前記ユーザを撮像する、
請求項１～９のいずれか１項に記載のバイタルデータ出力方法。

【請求項11】

複数のカメラが配置されたユーザの生体情報を計測するバイタルデータ出力装置であって、
前記複数のカメラのうち少なくとも１つの前記カメラによって撮像された撮像映像から前記ユーザの前記生体情報を含む生体信号と、前記生体信号の信頼度とを受信する通信部と、
前記通信部によって受信された前記信頼度が所定の比較参照値以上か否かを検定するプロセッサと、を備え、
前記プロセッサは、前記信頼度が前記所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、
バイタルデータ出力装置。

【請求項12】

複数のカメラとサーバとの間で通信可能に接続されたバイタルセンシングシステムであって、
前記複数のカメラのうち少なくとも１つのカメラは、
ユーザを撮像した撮像映像から前記ユーザの生体情報を含む生体信号を抽出し、
抽出された前記生体信号の信頼度を算出し、
前記生体信号と前記信頼度とを前記サーバに送信し、
前記サーバは、
受信された前記信頼度が所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、
前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、
バイタルセンシングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、バイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステムに関する。

【背景技術】

【0002】

特許文献１には、第１表示装置に接続された第１カメラによって撮影されるビデオ会議を制御するビデオ会議制御方法が開示されている。このビデオ会議制御方法は、プロセッサが、ユーザ環境において、第１カメラに対する顔の向きが、第２表示装置に接続されて
いる第２カメラに対する顔の向きよりも正面から離れている場合、又は、第１カメラにおいて顔の向きが検出できない場合に、第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、ビデオ会議を第２カメラに切り替える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１０８３６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した特許文献１の構成を、例えば複数のモニタを交互に見ながら仕事するユーザのマルチディスプレイ環境に適用しようとすると、次の課題が生じる可能性があった。具体的には、このようなマルチディスプレイ環境下ではユーザが複数のモニタのそれぞれを交互に見ながらデータ入力などの操作を行う可能性がある。このため、複数のカメラのそれぞれにより撮像されるユーザの顔の向きが一定時間にわたって安定しない可能性があった。したがって、マルチディスプレイ環境下のユーザの生体情報（例えば、脈拍あるいはストレス指数）を非接触で計測するためにユーザを撮像したカメラの撮像画像が必要となる場合に、ユーザの顔の向きが安定しないことで高精度な生体情報の計測が困難となるという課題があった。

【0005】

本開示は、上述した従来の事情に鑑みて案出され、ユーザの周囲に複数のカメラが配置された環境下において、ユーザの生体情報を高精度に計測するバイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、周囲に複数のカメラが配置されたユーザの生体情報を計測するバイタルデータ出力方法であって、前記複数のカメラのうち少なくとも１つのカメラによって撮像された前記前記ユーザの撮像映像を取得し、前記撮像映像に基づいて、前記ユーザの前記生体情報を含む生体信号を抽出し、前記抽出された前記生体信号の信頼度を算出し、算出された前記信頼度が所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、バイタルデータ出力方法を提供する。

【0007】

また、本開示は、複数のカメラとの間で通信可能に接続されたバイタルデータ出力装置であって、前記複数のカメラのうち少なくとも１つの前記カメラによって撮像された撮像映像からユーザの生体情報を含む生体信号と、前記生体信号の信頼度とを受信する通信部と、前記通信部によって受信された前記信頼度が所定の比較参照値以上か否かを検定するプロセッサと、を備え、前記プロセッサは、前記信頼度が前記所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、バイタルデータ出力装置を提供する。

【0008】

また、本開示は、周囲に複数のカメラが配置されたユーザの生体情報を計測するバイタルセンシングシステムであって、前記複数のカメラのうち少なくとも１つのカメラは、ユーザを撮像した撮像映像から前記ユーザの生体情報を含む生体信号を抽出し、抽出された前記生体信号の信頼度を算出し、前記生体信号と前記信頼度とを前記サーバに送信し、前記サーバは、受信された前記信頼度が所定の比較参照値以上となる条件を満たす場合に、前記生体信号に基づいて前記ユーザの前記生体情報を推定して出力し、前記信頼度が前記所定の比較参照値以上となる条件を満たさない場合、前記条件を満たさない前記信頼度が算出された前記カメラの情報を記憶して、前記記憶されていないカメラのうち少なくとも１つのカメラによって撮像された撮像映像を取得する、バイタルセンシングシステムを提供する。

【発明の効果】

【0009】

本開示によれば、ユーザの周囲に複数のカメラが配置された環境下において、ユーザの生体情報を高精度に計測できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係るバイタルセンシングシステムのユースケース例の説明図

【図2】実施の形態１に係るバイタルセンシングシステムのユースケース例を上から見た説明図

【図3】実施の形態１に係るバイタルセンシングシステムの内部構成例を示す図

【図4】色変化時系列信号の信頼度の算出例を説明する図

【図5】実施の形態１に係るバイタルセンシングシステムの脈拍推定手順例を示すシーケンス図

【図6】実施の形態１の変形例に係るバイタルセンシングシステムの脈拍推定手順例を説明する図

【図7】実施の形態１の変形例に係る色変化時系列信号の生成例を説明する図

【図8】実施の形態２に係るバイタルセンシングシステムの内部構成例

【図9】実施の形態２に係るバイタルセンシングシステムの脈拍推定手順例を示すシーケンス図

【図10】実施の形態２に係るバイタルセンシングシステムにおけるカメラの切り替えを説明する図

【発明を実施するための形態】

【0011】

（実施の形態１の内容に至る経緯）
従来、カメラによって撮影されるビデオ会議を制御するビデオ会議制御方法がある。このビデオ会議制御方法は、マルチディスプレイ環境において、第１モニタに接続された第１カメラに対する顔の向きが、第２モニタに接続されている第２カメラに対する顔の向きよりも正面から離れている場合、または、第１カメラにおいて顔の向きが検出できない場合に、第２モニタにおけるユーザ操作の有無あるいは所定の時間以上の通信が検出されたとき、ビデオ会議を第２カメラに切り替える。

【0012】

しかし、上述した特許文献１の構成を、例えば複数のモニタを交互に見ながら仕事するユーザのマルチディスプレイ環境に適用する場合、ユーザが複数のモニタのそれぞれを交互に見ながらデータ入力などの操作を行う可能性がある。これにより、複数のカメラのそれぞれにより撮像されるユーザの顔の向きが一定時間にわたって安定せず、ユーザの顔の向きの変更に応じてユーザを撮像するカメラが切り替わる可能性があった。したがって、マルチディスプレイ環境下のユーザの生体情報（例えば、脈拍あるいはストレス指数）を非接触で計測するためにユーザを撮像したカメラの撮像画像が必要となる場合に、ユーザの顔の向きが安定しないことで生体情報を計測可能な時間（例えば、数秒または１分）に亘ってユーザを撮像できず、さらに高精度な生体情報の計測が困難となるという課題があった。

【0013】

さらに、ユーザの生体情報を計測する場合、計測された生体情報は、照明配置などの環境条件により、ユーザを正面から撮像した撮像映像を用いるよりも、ユーザの側面（つまり横顔）あるいは斜めなどの他の方向から撮像した撮像映像を用いる方が、生体情報の計測精度が高くなることがある。

【0014】

よって、以下に示す各実施の形態においては、ユーザの周囲に複数のカメラが配置された環境下において、ユーザの生体情報を高精度に計測するバイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステムの例を説明する。

【0015】

以下、適宜図面を参照しながら、本開示に係るバイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0016】

また、以下の説明で使用される用語は、例示であり、限定を意図していない。例えば、用語「カメラ」は、このカメラによって撮像された撮像映像、および撮像映像に含まれる生体信号（例えば、色変化時系列信号）を含む。つまり、各実施の形態の説明で使用される「カメラの選択」は、このカメラによって撮像された撮像映像の選択、および撮像映像に含まれる生体信号（例えば、色変化時系列信号）の選択を含む。さらに、以下の説明で使用される「生体情報（脈拍、心拍、ストレス指数など）の推定」は、「生体情報（脈拍、心拍、ストレス指数など）の計測」を含み、限定を意図しない。

【0017】

（実施の形態１）
図１および図２を参照して、実施の形態１に係るバイタルセンシングシステム１００のユースケース例について説明する。図１は、実施の形態１に係るバイタルセンシングシステム１００のユースケース例の説明図である。図２は、実施の形態１に係るバイタルセンシングシステム１００のユースケース例を上から見た説明図である。実施の形態１に係るバイタルセンシングシステム１００は、端末装置Ｐ１とカメラＣ１との間で有線あるいは無線通信可能に接続され、また、端末装置Ｐ２とカメラＣ２との間で有線あるいは無線通信可能に接続され、データの送受信を行う。

【0018】

なお、図１において、端末装置の数およびカメラの数がそれぞれ２つの例（つまり、ユーザＨ１がデュアルディスプレイ環境である）を示すが、端末装置の数およびカメラの数は、例示された２つに限定されない。端末装置の数およびカメラの数は、例えば端末装置が３つ、カメラが３つ（つまり、マルチディスプレイ環境）であってもよいし、同数でなくてよい。また、実施の形態１に係るバイタルセンシングシステム１００の構成は、２以上のカメラを含み、かつ１以上のカメラが通信可能に接続された２以上の端末装置を含んでいればよい。また、カメラは、端末装置に内蔵されるカメラであってよい。

【0019】

端末装置Ｐ１は、例えばデスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であり、ネットワークＮＷを介してカメラＣ１との間で有線あるいは無線通信可能に接続される。端末装置Ｐ１は、カメラＣ１によって撮像されたユーザＨ１の顔の正面の撮像映像を受信し、受信された撮像映像に映るユーザＨ１の顔の位置を検出する。端末装置Ｐ１は、検出された顔の位置のうち脈拍データ（または心拍データ）の抽出を目的として顔表面の顔色変化を測定するための領域（以降、センシング領域と表記）を設定し、設定されたセンシング領域におけるユーザＨ１の顔表面の顔色変化を示す時系列信号（以降、色変化時系列信号と表記）を抽出する。端末装置Ｐ１は、色変化時系列信号の波形に基づいて、脈拍データの脈拍計測精度を推定するための信頼度を算出し、抽出された色変化時系列信号と、算出された信頼度とをサーバＳ１に送信するとともに、メモリ（図３参照）に記憶する。

【0020】

また、端末装置Ｐ１は、カメラＣ１によって撮像された撮像映像の撮像時刻とカメラＣ２によって撮像された撮像映像の撮像時刻とを合わせるため、端末装置Ｐ２と時刻の同期を実行する。なお、時刻の同期は、サーバＳ１から時刻の情報を受信することにより実行されてもよい。

【0021】

カメラＣ１は、端末装置Ｐ１との間で有線あるいは無線通信可能に接続される。カメラＣ１は、画角Ａｇ１内のユーザＨ１を撮像し、撮像されたユーザＨ１の撮像映像を端末装置Ｐ１に送信する。なお、図１および図２に示すカメラＣ１は、端末装置Ｐ１に外付けされた例を示しているが、端末装置Ｐ１に内蔵されるカメラであってもよい。

【0022】

端末装置Ｐ２は、例えばカメラＣ２を備えたノート型のＰＣであり、サーバＳ１との間でネットワークＮＷを介して有線あるいは無線通信可能に接続される。端末装置Ｐ２は、カメラＣ２によって撮像されたユーザＨ１の顔の側面（つまり横顔）の撮像映像を受信し、受信された撮像映像に映るユーザＨ１の顔の位置を検出する。端末装置Ｐ２は、検出された顔の位置を含み、脈拍データの抽出を目的として顔表面の顔色変化を測定するためのセンシング領域を設定し、設定されたセンシング領域におけるユーザＨ１の顔表面の顔色変化を示す時系列信号を抽出する。端末装置Ｐ２は、色変化時系列信号の波形に基づいて、脈拍データの脈拍計測精度を推定する信頼度を算出し、抽出された色変化時系列信号と、算出された信頼度とをサーバＳ１に送信するとともに、メモリ（図３参照）に記憶する。なお、センシング領域は、ユーザＨ１の顔の位置に応じて変更されてよい。

【0023】

また、端末装置Ｐ２は、カメラＣ２によって撮像された撮像映像の撮像時刻とカメラＣ１によって撮像された撮像映像の撮像時刻とを合わせるため、端末装置Ｐ１と時刻の同期を実行する。なお、時刻の同期は、サーバＳ１から時刻の情報を受信することにより実行されてもよい。

【0024】

カメラＣ２は、端末装置Ｐ２に備えられ、画角Ａｇ２内のユーザＨ１を撮像する。カメラＣ２は、画角Ａｇ２内のユーザＨ１を撮像し、撮像されたユーザＨ１の撮像映像を端末装置Ｐ２におけるプロセッサ（図３参照）に送信する。

【0025】

なお、複数の端末装置Ｐ１，Ｐ２のそれぞれは、ＰＣに限定されず、例えばスマートフォン、タブレット端末などであってよい。また、複数のカメラＣ１，Ｃ２のそれぞれは、例えばスマートフォン、タブレット端末が備えるカメラであっても、有線あるいは無線通信可能に接続されたカメラであってもよい。

【0026】

図３は、実施の形態１に係るバイタルセンシングシステム１００の内部構成例を示す図である。実施の形態１に係るバイタルセンシングシステム１００は、複数の端末装置Ｐ１，Ｐ２のそれぞれと、複数のカメラＣ１，Ｃ２のそれぞれと、サーバＳ１と、ネットワークＮＷと、を含んで構成される。なお、図３に示す例において、端末装置Ｐ１とカメラＣ１との間で有線通信可能に接続される例を示すが、これに限定されないことは言うまでもない。また、同様に、ネットワークＮＷを介した複数の端末装置Ｐ１，Ｐ２のそれぞれおよびサーバＳ１との間の通信方法は、図３に示す無線通信に限定されない。

【0027】

端末装置Ｐ１は、カメラＣ１およびサーバＳ１との間で通信可能に接続される。端末装置Ｐ１は、カメラＣ１によって撮像された撮像映像から抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷを介してサーバＳ１に送信する。端末装置Ｐ１は、通信部２０と、プロセッサ２１と、メモリ２２と、モニタ２３と、を含んで構成される。

【0028】

通信部２０は、カメラＣ１における通信部４０およびサーバＳ１における通信部１０との間で有線あるいは無線通信可能に接続される。ここでいう有線通信は、例えばＵＳＢ（Ｕｎｉｖｅｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル（不図示）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル（不図示）あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル（不図示）を用いた通信である。また、ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。

【0029】

通信部２０は、カメラＣ１における通信部４０から、ユーザＨ１を撮像した撮像映像を受信し、メモリ２２に記憶するとともにプロセッサ２１に出力する。また、通信部２０は、プロセッサ２１によって抽出されたユーザＨ１の顔表面の顔色変化を示す色変化時系列信号と、色変化時系列信号の波形に基づいて算出され、ユーザＨ１の脈拍データの脈拍計測精度を推定する信頼度とを、ネットワークＮＷを介してサーバＳ１における通信部１０に送信する。

【0030】

プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成されて、メモリ２２と協働して、各種の処理および制御を行う。具体的に、プロセッサ２１は、メモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、撮像映像からユーザＨ１の顔の位置を検出する機能、センシング領域からユーザＨ１の色変化時系列信号を抽出する機能、抽出された色変化時系列信号の信頼度を算出する機能などを実現する。

【0031】

プロセッサ２１は、カメラＣ１によって撮像された撮像映像から、ユーザＨ１の顔が映る領域を検出する。プロセッサ２１は、検出された顔の領域のうち、ユーザＨ１の顔表面の顔色変化を測定するためのセンシング領域を設定し、このセンシング領域からユーザＨ１の顔色の変化に基づく色変化時系列信号を抽出する。プロセッサ２１は、色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍データの脈拍計測精度を推定する信頼度を算出する。プロセッサ２１は、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷを介してサーバＳ１に送信するとともに、メモリ２２に記憶する。

【0032】

また、プロセッサ２１は、カメラＣ１によって撮像された撮像映像の撮像時刻とカメラＣ２によって撮像された撮像映像の撮像時刻とがずれないように、端末装置Ｐ２におけるプロセッサ３１あるいはサーバＳ１におけるプロセッサ１１との間で時刻の同期を実行する。

【0033】

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。メモリ２２は、カメラＣ１から受信された撮像映像、撮像映像から抽出された色変化時系列信号および算出された信頼度などを記憶する。

【0034】

モニタ２３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）もしくは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成される。モニタ２３は、抽出された色変化時系列信号を表示する。また、モニタ２３は、ネットワークＮＷを介して端末装置Ｐ２から抽出された色変化時系列信号を受信する場合、カメラＣ１によって撮像された撮像映像に基づいて抽出された色変化時系列信号と、カメラＣ２によって撮像された撮像映像に基づいて抽出された色変化時系列信号とを並べて表示してよい。さらに、サーバＳ１からユーザＨ１の脈拍の推定結果を受信する場合、モニタ２３は、この脈拍の推定結果を併せて表示してよい。ユーザＨ１は、モニタ２３に表示する表示対象（例えば、複数の色変化時系列信号、信頼度がより高い色変化時系列信号、脈拍、ストレス指数など）を入力操作により変更してよい。

【0035】

次に、端末装置Ｐ２の内部構成について説明する。端末装置Ｐ２は、通信部３０と、プロセッサ３１と、メモリ３２と、モニタ３３と、カメラＣ２と、を含んで構成される。

【0036】

通信部３０は、サーバＳ１における通信部１０との間で有線あるいは無線通信可能に接続される。なお、通信部３０は、端末装置Ｐ１における通信部２０との間でも同様に、通信可能に接続されてよい。ここでいう有線通信は、例えばＵＳＢケーブル（不図示）あるいはＬＡＮケーブル（不図示）を用いた通信である。ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。

【0037】

通信部３０は、プロセッサ３１によって抽出されたユーザＨ１の顔表面の顔色変化を示す色変化時系列信号と、色変化時系列信号の波形に基づいて算出され、ユーザＨ１の脈拍データの脈拍計測精度を推定する信頼度とを、ネットワークＮＷを介してサーバＳ１における通信部１０に送信する。

【0038】

プロセッサ３１は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ３２と協働して、各種の処理および制御を行う。具体的には、プロセッサ３１は、メモリ３２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、撮像映像からユーザＨ１の顔の検出する機能、センシング領域からユーザＨ１の色変化時系列信号を抽出する機能、抽出された色変化時系列信号の信頼度を算出する機能などを実現する。

【0039】

プロセッサ３１は、カメラＣ２によって撮像された撮像映像から、ユーザＨ１の顔が映る領域を検出する。プロセッサ３１は、検出された顔の領域のうち、ユーザＨ１の顔表面の顔色変化を測定するためのセンシング領域を設定し、このセンシング領域からユーザＨ１の顔色の変化に基づく色変化時系列信号を抽出する。プロセッサ３１は、色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍データの脈拍計測精度を推定する信頼度を算出する。なお、プロセッサ３１は、信頼度の算出を波形ごとあるいは所定の時間、所定の周期ごとに算出してよい。プロセッサ３１は、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷを介してサーバＳ１に送信するとともに、メモリ３２に記憶する。

【0040】

なお、プロセッサ３１は、カメラＣ２によって撮像された撮像映像の撮像時刻とカメラＣ２によって撮像された撮像映像の撮像時刻とを合わせるため、端末装置Ｐ１におけるプロセッサ２１あるいはサーバＳ１におけるプロセッサ１１との間で時刻の同期を実行する。

【0041】

メモリ３２は、例えばプロセッサ３１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ３１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ３１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ３１の動作を規定するプログラムが書き込まれている。メモリ３２は、カメラＣ２から入力された撮像映像、撮像映像から抽出された色変化時系列信号および算出された信頼度などを記憶する。

【0042】

モニタ３３は、例えばＬＣＤもしくは有機ＥＬを用いて構成される。モニタ３３は、抽出された色変化時系列信号を表示する。また、モニタ３３は、ネットワークＮＷを介して端末装置Ｐ１から抽出された色変化時系列信号を受信する場合、カメラＣ１によって撮像された撮像映像に基づいて抽出された色変化時系列信号と、カメラＣ２によって撮像された撮像映像に基づいて抽出された色変化時系列信号とを並べて表示してよい。さらに、サーバＳ１からユーザＨ１の脈拍の推定結果を受信する場合、モニタ３３は、この脈拍の推定結果を併せて表示してよい。ユーザＨ１は、モニタ３３に表示する表示対象（例えば、複数の色変化時系列信号、信頼度がより高い色変化時系列信号、心拍、脈拍、ストレス指数など）を入力操作により変更してよい。

【0043】

カメラＣ２は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラＣ２は、撮像された撮像映像をプロセッサ３１に出力する。

【0044】

次に、カメラＣ１について説明する。カメラＣ１は、端末装置Ｐ１との間で通信可能に接続され、撮像された撮像映像を端末装置Ｐ１に送信する。カメラＣ１は、通信部４０と、プロセッサ４１と、メモリ４２と、撮像部４３と、を含んで構成される。

【0045】

通信部４０は、端末装置Ｐ１における通信部２０との間でデータを有線あるいは無線通信可能に接続される。ここでいう有線通信は、例えばＵＳＢケーブル（不図示）、ＨＤＭＩ（登録商標）ケーブル（不図示）あるいはＬＡＮケーブル（不図示）を用いた通信である。また、ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。通信部４０は、撮像部４３によって撮像された撮像映像を端末装置Ｐ１に送信する。

【0046】

プロセッサ４１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ４２と協働して、各種の処理および制御を行う。プロセッサ４１は、撮像部４３によって撮像され、入力された撮像映像をメモリ４２に記憶するとともに、端末装置Ｐ１における通信部２０に送信する。

【0047】

メモリ４２は、例えばプロセッサ４１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ４１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ４１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ４１の動作を規定するプログラムが書き込まれている。メモリ４２は、撮像部４３によって撮像された撮像映像を記憶する。

【0048】

撮像部４３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤまたはＣＭＯＳの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部４３は、撮像された撮像映像をプロセッサ４１に出力する。

【0049】

次に、サーバＳ１の内部構成について説明する。サーバＳ１は、ネットワークＮＷ１を介して複数の端末装置Ｐ１，Ｐ２のそれぞれとの間で無線通信可能に接続される。サーバＳ１は、通信部１０と、プロセッサ１１と、メモリ１２と、を含んで構成される。

【0050】

通信部１０は、端末装置Ｐ１における通信部２０および端末装置Ｐ２における通信部３０との間で無線通信可能に接続される。ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。

【0051】

通信部１０は、端末装置Ｐ１における通信部２０からカメラＣ１によって撮像された撮像映像に基づくユーザＨ１の色変化時系列信号と、信頼度とを受信する。また、通信部１０は、端末装置Ｐ２における通信部３０からカメラＣ２によって撮像された撮像映像に基づくユーザＨ１の色変化時系列信号と、信頼度とを受信する。通信部１０は、これらの色変化時系列信号および信頼度をプロセッサ１１に出力するとともに、メモリ１２に記憶する。また、通信部１０は、プロセッサ１１によって推定されたユーザＨ１の脈拍の情報、ストレス指数の情報などを、ネットワークＮＷ１を介して複数の端末装置Ｐ１，Ｐ２のそれぞれに送信する。

【0052】

プロセッサ１１は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、撮像映像からユーザＨ１の顔の検出する機能、センシング領域からユーザＨ１の色変化時系列信号を抽出する機能、抽出された色変化時系列信号の信頼度を算出する機能などを実現する。

【0053】

プロセッサ１１は、端末装置Ｐ１から受信された信頼度と、端末装置Ｐ２から受信された信頼度とを検定する。具体的に、プロセッサ１１は、受信された複数の信頼度のそれぞれのうち、最も信頼度が大きい色変化時系列信号を検定して選択する。

【0054】

なお、抽出された色変化時系列信号が高精度に脈拍を推定可能な色変化時系列信号であるか否かを検定するため、プロセッサ１１は、閾値を用いて検定をしてもよい。プロセッサ１１は、検定の際に最も高く算出された信頼度が閾値を超えない場合、脈拍を推定せず、脈拍データを計測不可の旨をユーザＨ１に通知するアラートを生成し、複数の端末装置Ｐ１，Ｐ２のそれぞれに送信してよい。なお、閾値は、予め設定されてメモリ１２に記憶される。複数の端末装置Ｐ１，Ｐ２のそれぞれは、受信されたアラートをモニタに表示させて、ユーザＨ１に通知する。

【0055】

プロセッサ１１は、検定の結果選択された色変化時系列信号に基づいて、ユーザＨ１の脈拍を推定する。プロセッサ１１は、推定結果としてのユーザＨ１の脈拍データをメモリ１２に記憶する。また、プロセッサ１１は、ユーザＨ１の脈拍データを通信部１０に出力する。通信部１０に入力されたユーザＨ１の脈拍データは、ネットワークＮＷ１を介して、複数の端末装置Ｐ１，Ｐ２のそれぞれに送信される。なお、ユーザＨ１によって予めユーザＨ１の脈拍データを表示する端末装置が設定されている場合、プロセッサ１１により推定された脈拍データは、設定された端末装置のみに送信されてよい。

【0056】

プロセッサ１１は、推定されたユーザＨ１の脈拍データに基づいて、ユーザＨ１のストレス指数を算出する。また、プロセッサ１１は、色変化時系列信号および信頼度に基づいて、ユーザＨ１の在席／空席（不在）を判定してもよい。

【0057】

なお、プロセッサ１１は、複数のカメラＣ１，Ｃ２のそれぞれによって撮像された撮像映像の撮像時刻がずれないように、複数の端末装置Ｐ１，Ｐ２のそれぞれの時刻を同期させる制御指示を実行してよい。

【0058】

メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。メモリ１２は、各端末装置から受信された色変化時系列信号および信頼度と、推定された脈拍データ、ストレス指数あるいは在席／空席（不在）の情報とをユーザＨ１ごとに記憶する。

【0059】

ネットワークＮＷ１は、サーバＳ１および複数の端末装置Ｐ１，Ｐ２のそれぞれとの間で通信可能に接続される。

【0060】

図４は、色変化時系列信号の信頼度の算出例を説明する図である。図４に示すテーブルＴＢ１は、複数のカメラＣ１，Ｃ２のそれぞれによって撮像された撮像映像、顔位置（つまり顔の向き）、色変化時系列信号、検定結果を比較したテーブルである。

【0061】

撮像映像は、複数のカメラＣ１，Ｃ２のそれぞれによって撮像された撮像映像である。カメラＣ１は、ユーザＨ１の正面を撮像し、撮像された撮像映像を端末装置Ｐ１に送信する。カメラＣ２は、ユーザＨ１の側面（つまり横顔）を撮像し、撮像された撮像映像を端末装置Ｐ２に送信する。

【0062】

端末装置Ｐ１は、受信され撮像映像に映るユーザＨ１の顔位置を「正面」と判定し、ユーザＨ１の顔から色変化時系列信号を抽出するためのセンシング領域ＳＡｒ１を設定する。なお、設定されるセンシング領域ＳＡｒ１は、画像処理の実行により、ユーザＨ１の顔色変化が大きいと判定された領域であってよい。端末装置Ｐ１は、設定されたセンシング領域ＳＡｒ１から色変化時系列信号Ｖｔ１を抽出する。

【0063】

また、端末装置Ｐ２は、受信され撮像映像に映るユーザＨ１の顔位置を「側面」と判定し、ユーザＨ１の顔から色変化時系列信号を抽出するためのセンシング領域ＳＡｒ２を設定する。なお、センシング領域ＳＡｒ２設定は、画像処理の実行により、ユーザＨ１の顔色変化が大きいと判定された領域であってよい。端末装置Ｐ２は、設定されたセンシング領域ＳＡｒ２から色変化時系列信号Ｖｔ２を抽出する。

【0064】

なお、ここで抽出される色変化時系列信号Ｖｔ１，Ｖｔ２のそれぞれは、ストレス指数を算出可能な時間として時間Ｔ０以上に亘って抽出される。つまり、カメラＣ１によって撮像された撮像映像は、ストレス指数を算出可能に時間Ｔ０以上に亘って撮像される。なお、ここでストレス指数を算出可能な時間Ｔ０は、具体的に数秒または１分であるが、これに限定されずストレス指数を算出可能な時間であればよい。

【0065】

端末装置Ｐ１は、抽出された色変化時系列信号Ｖｔ１の信頼度を算出する。また、端末装置Ｐ２は、抽出された色変化時系列信号Ｖｔ２の信頼度を算出する。以下、信頼度の算出方法について説明する。

【0066】

信頼度は、生体信号（つまり色変化時系列信号）の信頼性を示す指標であり、例えば、生体信号の正確性、適格性、または、周期性を示す指標などである。信頼度は、例えば、色変化時系列信号の波形に基づいて、端末装置Ｐ１，Ｐ２のそれぞれによって算出される。まず、端末装置Ｐ１，Ｐ２のそれぞれは、センシング領域から抽出された色変化時系列信号の波形の周期が脈拍の周期の範囲内であるか否かを検定し、検定の結果、色変化時系列信号の波形の周期が脈拍の周期である場合、色変化時系列信号の波形の振幅および周期の二乗平均誤差を算出する。端末装置Ｐ１，Ｐ２のそれぞれは、算出された振幅および周期の二乗平均誤差の大きさに応じて、推定される色変化時系列信号の脈拍計測精度の程度を示す指標としての信頼度を算出する。

【0067】

なお、信頼度の算出方法は、上述された方法に限定されない。信頼度は、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）により学習された複数の色変化時系列信号の波形データおよび脈拍データのそれぞれを用いて学習されたモデル（以下、学習済モデル）に基づいて、算出されてよい。学習済みモデルは、端末装置Ｐ１，Ｐ２のそれぞれが備えるメモリに蓄積され、端末装置Ｐ１，Ｐ２におけるプロセッサにより実行されてよい。また、学習済みモデルは、サーバＳ１におけるメモリ１２蓄積された学習データによって生成され、端末装置Ｐ１，Ｐ２のそれぞれに送信されてもよい。学習済みモデルは、端末装置Ｐ１，Ｐ２のそれぞれが備えるメモリに記憶される。

【0068】

なお、ここで学習済みモデルの生成に用いられる複数の色変化時系列信号の波形データおよび脈拍データのそれぞれは、生体情報（脈拍、ストレス指数など）の計測対象となるユーザＨ１だけでなく、バイタルセンシングシステム１００を利用する複数のユーザのそれぞれから収集されてよい。これにより、バイタルセンシングシステム１００は、より多くの学習データから学習済みモデルを生成できるため、ユーザＨ１の生体情報（脈拍、ストレス指数など）を高精度に計測できる。

【0069】

さらに、学習済みモデルは、ユーザごとに生成されてよい。ユーザごとの学習済みモデルを用いた場合、複数の端末装置Ｐ１，Ｐ２のそれぞれは、例えばユーザＨ１が仕事をする位置（つまり撮像位置）における照明配置、自然光、他の物の配置、ユーザの顔の特徴（痣、傷、肌の色）などの環境条件が考慮（調整）された信頼度を算出できる。これにより、バイタルセンシングシステム１００は、ユーザＨ１の周囲に複数のカメラが配置された環境に応じて、ユーザＨ１の生体情報（脈拍、ストレス指数など）を高精度に計測できる。

【0070】

また、信頼度は、抽出された所定の時間帯の色変化時系列信号のうち、所定の時間あるいは周期ごとに複数算出されてもよいし、任意の時間ごとに算出されてよい。

【0071】

以上、信頼度の算出方法について説明したが、複数の色変化時系列信号のそれぞれのうちいずれの色変化時系列信号を用いるかの検定（選択）方法は、信頼度に基づく例に限定されない。信頼度は、標準偏差に基づいて算出されてもよいし、他の統計的推定方法により算出されてよい。また、信頼度は、例えば評価値、スコア、指標などの用語に置き換えられてよい。

【0072】

端末装置Ｐ１は、色変化時系列信号Ｖｔ１に基づいて算出された信頼度および色変化時系列信号Ｖｔ１を、ネットワークＮＷ１を介してサーバＳ１に送信する。また、端末装置Ｐ２は、色変化時系列信号Ｖｔ２に基づいて算出された信頼度および色変化時系列信号Ｖｔ２を、ネットワークＮＷ１を介してサーバＳ１に送信する。

【0073】

サーバＳ１は、受信された複数の信頼度のそれぞれのうち、最も高い信頼度を検定する。図４に示す例において、サーバＳ１は、ユーザＨ１の脈拍を推定可能な（つまり脈拍計測精度が所定の精度以上である）信号として、最も信頼度が高い色変化時系列信号Ｖｔ２を選択する。サーバＳ１は、色変化時系列信号Ｖｔ２に基づいて、ユーザＨ１の脈拍を推定し、推定された脈拍に基づいて、ストレス指数を算出する。

【0074】

ここで、信頼度の算出に要する色変化時系列信号の周期数および時間は、脈拍、心拍などの推定に要する周期数および時間よりも小さい（短い）。これにより、サーバＳ１は、色変化時系列信号の信頼度をより早く算出でき、算出された信頼度に基づいて、脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。このように、信頼度の算出に要する周期数あるいは時間が脈拍、心拍などの推定に要する時間より小さく（短く）することで、サーバＳ１は、例えばリアルタイムに生体情報（脈拍、ストレス指数など）を出力する場合、信頼度に閾値が設定されている場合などに、算出された信頼度に応じて、生体情報の推定（計測）に用いる色変化時系列信号の選択、カメラの選択などの処理を適応的かつ効率的に実行できる。

【0075】

また、信頼度の算出に要する色変化時系列信号の周期数および時間は、脈拍、心拍などの推定に要する周期数および時間よりも大きく（長く）てもよい。このような場合、サーバＳ１は、信頼度の算出精度そのものを向上できる。つまり、サーバＳ１は、高精度に算出された信頼度に基づいて、脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）でき、例えばリアルタイムにユーザＨ１の脈拍、心拍を推定しない場合において有用である。

【0076】

さらに、色変化時系列信号のうち、信頼度が閾値未満となった時間帯が限定的であって、信頼度が閾値以上である他の色変化時系列信号からユーザＨ１の脈拍、ストレス指数などを推定あるいは算出可能な場合、サーバＳ１は、信頼度が閾値以上である他の色変化時系列信号からユーザＨ１の脈拍、ストレス指数などを推定あるいは算出してよい。

【0077】

図５は、実施の形態１に係るバイタルセンシングシステム１００の脈拍推定手順例を示すシーケンス図である。図５において、サーバＳ１は、信頼度が最も高い色変化時系列信号から脈拍を推定する例について説明する。

【0078】

まず、端末装置Ｐ１が実行する処理について説明する。端末装置Ｐ１は、カメラＣ１からユーザＨ１を撮像した撮像映像を受信し、取得する（Ｓｔ１Ａ）。

【0079】

端末装置Ｐ１は、取得された撮像映像からユーザＨ１の顔位置を検出し（Ｓｔ２Ａ）、検出された顔の位置のうち脈拍の抽出を目的として顔表面の顔色変化を測定するためセンシング領域を抽出し（Ｓｔ３Ａ）、抽出されたセンシング領域におけるユーザＨ１の顔表面の色変化時系列信号を抽出する（Ｓｔ４Ａ）。なお、撮像映像においてユーザＨ１の顔の位置が変化する場合、センシング領域は、ユーザＨ１の顔の位置に応じて変更されてよい。

【0080】

端末装置Ｐ１は、抽出された色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍計測精度を示す信頼度を算出する（Ｓｔ５Ａ）。端末装置Ｐ１は、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ６Ａ）。

【0081】

次に、端末装置Ｐ２が実行する処理について説明する。端末装置Ｐ２は、カメラＣ２からユーザＨ１を撮像した撮像映像を受信し、取得する（Ｓｔ１Ｂ）。

【0082】

端末装置Ｐ２は、取得された撮像映像からユーザＨ１の顔位置を検出し（Ｓｔ２Ｂ）、検出された顔の位置のうち脈拍の抽出を目的として顔表面の顔色変化を測定するためセンシング領域を抽出し（Ｓｔ３Ｂ）、抽出されたセンシング領域におけるユーザＨ１の顔表面の色変化時系列信号を抽出する（Ｓｔ４Ｂ）。なお、撮像映像においてユーザＨ１の顔の位置が変化する場合、センシング領域は、ユーザＨ１の顔の位置に応じて変更されてよい。

【0083】

端末装置Ｐ２は、抽出された色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍データの脈拍計測精度を推定するための信頼度を算出する（Ｓｔ５Ｂ）。端末装置Ｐ２は、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ６Ｂ）。

【0084】

サーバＳ１は、端末装置Ｐ１から受信された信頼度と端末装置Ｐ２から受信された信頼度とを検定し、脈拍を推定するための色変化時系列信号として最も信頼度が高く算出された色変化時系列信号を選択する（Ｓｔ７）。

【0085】

サーバＳ１は、選択された色変化時系列信号からユーザＨ１の脈拍を推定する（Ｓｔ８）。

【0086】

以上により、実施の形態１に係るバイタルセンシングシステム１００は、周囲に複数のカメラＣ１，Ｃ２が配置されたユーザＨ１の脈拍（生体情報の一例）を計測する。バイタルセンシングシステム１００は、複数のカメラＣ１，Ｃ２のうち少なくとも１つのカメラによって撮像されたユーザＨ１の撮像映像を取得し、撮像映像に基づいて、ユーザの脈拍情報を含む色変化時系列信号(生体信号の一例)を抽出し、抽出された色変化時系列信号の信頼度を算出する。バイタルセンシングシステム１００は、算出された信頼度が所定の比較参照値（例えば、他のカメラから取得された色変化時系列信号の信頼度、信頼度について予め設定された閾値など）以上となる条件を満たす場合に、色変化時系列信号に基づいてユーザの脈拍を推定（計測）して出力する。

【0087】

これにより、実施の形態１に係るバイタルセンシングシステム１００は、ユーザＨ１の周囲に複数のカメラＣ１，Ｃ２のそれぞれが配置された環境下において、ユーザＨ１の生体情報（脈拍）をより高精度に計測できる。また、実施の形態１の変形例に係るバイタルセンシングシステム１００は、より信頼度が高い、つまり推定（計測）される脈拍データの脈拍計測精度が高い色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。

【0088】

また、実施の形態１に係るバイタルセンシングシステム１００は、信頼度の算出に要する時間が、生体情報（脈拍、ストレス指数など）の推定（計測）に要する時間よりも短い。これにより、実施の形態１に係るバイタルセンシングシステム１００は、信頼度を生体情報よりも早く算出できるため、例えばリアルタイムに生体情報（脈拍、ストレス指数など）を出力する場合、信頼度に閾値が設定されている場合、また後述する実施の形態２に係るバイタルセンシングシステム１００ａのように複数のカメラのそれぞれを切り替えて撮像する場合などに、算出された信頼度に応じて、生体情報の推定（計測）に用いる色変化時系列信号の選択、カメラの選択（切り替え）などを適応的かつ効率的に実行できる。よって、実施の形態１に係るバイタルセンシングシステム１００は、算出された信頼度に基づいて、脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。

【0089】

また、実施の形態１に係るバイタルセンシングシステム１００において抽出される生体信号（つまり、色変化時系列信号）は周期性を有する。ここで、生体信号に基づいて、信頼度を算出可能な周期数は、生体情報（脈拍）を推定可能な周期数より少ない。これにより、実施の形態１に係るバイタルセンシングシステム１００は、より少ない周期の生体信号から信頼度を算出できる。つまり、バイタルセンシングシステム１００は、信頼度を生体情報よりも早く算出できるため、例えばリアルタイムに生体情報（脈拍、ストレス指数など）を出力する場合、信頼度に閾値が設定されている場合、また後述する実施の形態２に係るバイタルセンシングシステム１００ａのように複数のカメラのそれぞれを切り替えて撮像する場合などに、算出された信頼度に応じて、生体情報の推定（計測）に用いる色変化時系列信号の選択、カメラの選択（切り替え）などを適応的かつ効率的に実行できる。よって、実施の形態１に係るバイタルセンシングシステム１００は、算出された信頼度に基づいて、脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。

【0090】

また、実施の形態１に係るバイタルセンシングシステム１００により算出される信頼度の算出に要する時間は、生体情報（脈拍、ストレス指数など）の推定（計測）に要する時間よりも長い。つまり、実施の形態１に係るバイタルセンシングシステム１００は、信頼度を長期間に亘って算出するため、算出された信頼度そのものが高精度となる。これにより、実施の形態１に係るバイタルセンシングシステム１００は、生体情報の推定（計測）に使用される信号の信頼度をより高精度に算出でき、この算出された信頼度に基づいて、脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。

【0091】

また、実施の形態１に係るバイタルセンシングシステム１００は、算出された信頼度が比較参照値未満（例えば、他のカメラから取得された色変化時系列信号の信頼度、信頼度について予め設定された閾値など）の場合、信頼度を算出する間に推定された生体情報（脈拍、ストレス指数など）は出力されない。これにより、実施の形態１に係るバイタルセンシングシステム１００は、例えば長期間に亘って脈拍データの脈拍計測精度が低いと算出された脈拍データの脈拍計測精度が高いと算出された色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。

【0092】

また、実施の形態１に係るバイタルセンシングシステム１００は、ユーザＨ１を撮像するカメラＣ１と１以上の他のカメラ（例えばカメラＣ２）によって撮像された撮像映像に基づいて抽出された色変化時系列信号の信頼度のそれぞれを比較する。これにより、実施の形態１に係るバイタルセンシングシステム１００は、より信頼度が高い色変化時系列信号を用いてユーザＨ１の生体情報（脈拍、ストレス指数など）を高精度に計測できる。

【0093】

（実施の形態１の変形例）
実施の形態１に係るバイタルセンシングシステム１００は、ストレス指数を算出可能な時間（具体的には、数秒または１分）以上に亘って抽出され、信頼度が最も高い１つの色変化時系列信号に基づいて、ユーザＨ１の脈拍を推定する例を示した。実施の形態１の変形例に係るバイタルセンシングシステム１００では、ストレス指数を算出可能な時間（具体的には、数秒または１分）以上に亘って抽出された複数の色変化時系列信号のそれぞれの信頼度が、少なくとも２つの区間で算出され、所定の区間において信頼度が最も高い色変化時系列信号に基づいて、ユーザＨ１の脈拍を推定する例について説明する。

【0094】

図６および図７を参照して、実施の形態１の変形例に係るバイタルセンシングシステム１００の脈拍推定手順および色変化時系列信号の生成例について説明する。図６は、実施の形態１の変形例に係るバイタルセンシングシステム１００の脈拍推定手順例を示すシーケンス図である。図７は、実施の形態１の変形例に係る色変化時系列信号の生成例を説明する図である。なお、図６に示す実施の形態１の変形例に係るバイタルセンシングシステム１００の脈拍推定手順例は、ステップＳｔ１～ステップＳｔ３およびステップＳｔ１Ａ～ステップＳｔ４Ａ、Ｓｔ１Ｂ～ステップＳｔ４Ｂにおいて、図５に示す実施の形態１に係るバイタルセンシングシステム１００の脈拍推定手順例とほぼ同一の処理が実行される。よって、実施の形態１と同一の操作手順あるいは動作手順については同一の符号を用いることで、その説明を省略する。また、図７に示す色変化時系列信号Ｖｔ３は、カメラＣ１によって撮像された撮像映像を用いて、端末装置Ｐ１によって抽出された例を示す。同様に、図７に示す色変化時系列信号Ｖｔ４は、カメラＣ２によって撮像された撮像映像を用いて、端末装置Ｐ２によって抽出された例を示す。

【0095】

端末装置Ｐ１は、抽出された色変化時系列信号Ｖｔ３の波形に基づいて、ユーザＨ１の脈拍計測精度を示す信頼度を所定の時間帯ｍ１，ｍ２，ｍ３，ｍ４，ｍ５ごとに算出する（Ｓｔ５１Ａ）。ここで、図７に示す複数の時間帯ｍ１～ｍ５のそれぞれは、プロセッサ２１によって設定され、抽出された色変化時系列信号Ｖｔ３の波形の周期性あるいは形状に基づいて、色変化時系列信号の波形が周期的である時間帯（つまり、信頼度が高く算出されることが推定される区間）と周期的でない時間帯（つまり、信頼度が低く算出されることが推定される区間）とを区分するように設定される。

【0096】

なお、信頼度を算出する区間は、上述した時間帯に限定されず、所定の時間帯ごとあるいは所定の周期ごとであってよい。また、図７において、複数の時間帯ｍ１～ｍ５のそれぞれが色変化時系列信号Ｖｔ３，Ｖｔ４のそれぞれにおいて同じ時間帯である例を示しているが、信頼度を算出する区間は抽出された色変化時系列信号ごとに設定されてよい。

【0097】

端末装置Ｐ１は、抽出された色変化時系列信号Ｖｔ３に、算出された信頼度のそれぞれを時間帯ごとに対応付けて記憶するとともに、色変化時系列信号Ｖｔ３と色変化時系列信号Ｖｔ３の時間帯ごとに算出された信頼度とを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ６１Ａ）。

【0098】

端末装置Ｐ２は、抽出された色変化時系列信号Ｖｔ４の波形に基づいて、ユーザＨ１の脈拍計測精度を示す信頼度を所定の時間帯ｍ１，ｍ２，ｍ３，ｍ４，ｍ５ごとに算出する（Ｓｔ５１Ｂ）。ここで、図７に示す複数の時間帯ｍ１～ｍ５のそれぞれは、プロセッサ３１によって設定され、抽出された色変化時系列信号Ｖｔ４の波形の周期性あるいは形状に基づいて、色変化時系列信号の波形が周期的である時間帯（つまり、信頼度が高く算出されることが推定される区間）と周期的でない時間帯（つまり、信頼度が低く算出されることが推定される区間）とを判定し、これらを区分するように設定される。

【0099】

端末装置Ｐ２は、抽出された色変化時系列信号Ｖｔ４に、算出された信頼度のそれぞれを時間帯ごとに対応付けて記憶するとともに、色変化時系列信号Ｖｔ４と色変化時系列信号Ｖｔ４の時間帯ごとに算出された信頼度とを、ネットワークＮＷ１を介してサーバＳ１に送信する（Ｓｔ６１Ｂ）。

【0100】

サーバＳ１は、端末装置Ｐ１から受信された色変化時系列信号Ｖｔ３に対応付けられた時間帯ごとの信頼度と、端末装置Ｐ２から受信された色変化時系列信号Ｖｔ４に対応付けられた時間帯ごとの信頼度とを検定し、脈拍を推定するための色変化時系列信号として信頼度がより高く算出された各時間帯の色変化時系列信号のそれぞれ（図７に示す色変化時系列信号Ｖｔ３における区間信号Ｖｔ３１，Ｖｔ３２のそれぞれ、および色変化時系列信号Ｖｔ４における区間信号Ｖｔ４１，Ｖｔ４２のそれぞれ）を抽出する。サーバＳ１は、抽出された各時間帯における色変化時系列信号のそれぞれから、１つの色変化時系列信号Ｖｔ５を生成する（Ｓｔ７Ｃ）。なお、生成される色変化時系列信号Ｖｔ５は、ストレス指数を算出可能に１分以上の長さを有する。

【0101】

また、複数の色変化時系列信号Ｖｔ３，Ｖｔ４のそれぞれに設定された時間帯（区間）が異なり、検定により重複する区間がある場合、サーバＳ１は、より高い信頼度を有する時間帯（区間）の信号を優先して抽出した１つの色変化時系列信号Ｖｔ５を生成してよい。

【0102】

サーバＳ１は、生成された色変化時系列信号Ｖｔ５に基づいて、ユーザＨ１の脈拍を推定する（Ｓｔ８）。

【0103】

以上により、実施の形態１の変形例に係るバイタルセンシングシステム１００は、ユーザの周囲に複数のカメラが配置された環境下において、複数の色変化時系列信号のうち、より信頼度が高い信号のみを抽出した色変化時系列信号を生成できる。これにより、実施の形態１の変形例に係るバイタルセンシングシステム１００は、信頼度が高い、つまり推定（計測）される脈拍データの脈拍計測精度が高い色変化時系列信号を用いてユーザＨ１の生体情報（脈拍）を推定（計測）できる。さらに、ストレス指数のように１分以上の色変化時系列信号を必要とする計測において、バイタルセンシングシステム１００は、１分以上にわたって信頼度が高い色変化時系列信号が抽出できない場合であっても、数秒の色変化時系列信号から色変化時系列信号の信頼度を判定することで、容易にユーザＨ１の生体情報（脈拍）を高精度に計測できる。

【0104】

（実施の形態２）
実施の形態１に係るバイタルセンシングシステム１００は、時間の同期を実行した複数のカメラのそれぞれから同時に撮像映像を取得する例を示した。実施の形態２に係るバイタルセンシングシステム１００ａでは、１つの端末装置に複数のカメラのそれぞれが通信可能に接続され、これら複数のカメラのそれぞれのうち撮像映像を取得するカメラが１つの例について説明する。

【0105】

図８は、実施の形態２に係るバイタルセンシングシステム１００ａの内部構成例を示す図である。図８に示す実施の形態２に係るバイタルセンシングシステム１００ａの内部構成例は、実施の形態１に係るバイタルセンシングシステム１００の内部構成例とほぼ同一の構成を有する。実施の形態１と同一の構成要素については同一の符号を用いることで、その説明を省略する。なお、図８に示す端末装置は１つであるが、この例に限定されないことは言うまでもない。例えば、実施の形態２に係るバイタルセンシングシステム１００ａは、１つの端末装置に複数のカメラのそれぞれが通信可能に接続されていればよい。

【0106】

実施の形態２に係るバイタルセンシングシステム１００ａにおける端末装置Ｐ１ａは、カメラＣ１との間で有線通信可能に接続され、カメラＣ２ａおよびサーバＳ１ａとの間で無線通信可能に接続される。端末装置Ｐ１ａは、通信部２０ａと、プロセッサ２１ａと、メモリ２２ａと、モニタ２３と、操作部２４と、を含んで構成される。なお、端末装置Ｐ１ａは、３つ以上のカメラと通信可能に接続されてよい。

【0107】

通信部２０ａは、カメラＣ１との間で有線通信可能に接続され、カメラＣ２ａおよびサーバＳ１ａとの間で無線通信可能に接続される。通信部２０ａは、カメラＣ１における通信部４０あるいはカメラＣ２ａにおける通信部５０のいずれか一方のカメラからユーザＨ１を撮像した撮像映像を受信し、メモリ２２ａに記憶するとともにプロセッサ２１に出力する。また、通信部２０ａは、プロセッサ２１ａによって抽出されたユーザＨ１の顔表面の顔色変化を示す色変化時系列信号と、色変化時系列信号の波形に基づいて算出され、ユーザＨ１の脈拍計測精度を示す信頼度とを、ネットワークＮＷを介してサーバＳ１ａにおける通信部１０に送信する。

【0108】

また、通信部２０ａは、サーバＳ１ａによって実行される色変化時系列信号に基づいて算出された信頼度の検定において、信頼度がサーバＳ１ａに設定された信頼度の閾値未満である場合、信頼度が閾値未満である旨の情報を通信部１０から受信する。通信部２０ａは、受信された信頼度が閾値未満である旨の情報をプロセッサ２１ａに出力する。

【0109】

プロセッサ２１ａは、予め設定されたカメラから受信された撮像映像からユーザＨ１の顔が映る領域を検出する。プロセッサ２１ａは、検出された顔の領域のうち、ユーザＨ１の顔表面の顔色変化を測定するためのセンシング領域を設定し、このセンシング領域からユーザＨ１の顔色の変化に基づく色変化時系列信号を抽出する。プロセッサ２１ａは、色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍計測精度を示す信頼度を算出する。プロセッサ２１ａは、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷを介してサーバＳ１ａに送信するとともに、撮像映像が撮像されたカメラの情報と関連付けてメモリ２２ａに記憶する。

【0110】

ここで、実施の形態２におけるプロセッサ２１ａの色変化時系列信号の抽出および信頼度の算出を実行するカメラの選択方法について説明する。プロセッサ２１ａは、操作部２４から入力され、ユーザＨ１によってメインカメラとして選択（設定）されたカメラを優先的に選択してもよいし、撮像映像に映るユーザＨ１の顔の向きが正面のカメラを優先的に選択してもよい。

【0111】

さらに、プロセッサ２１ａは、端末装置Ｐ１ａと複数のカメラＣ１，Ｃ２ａのそれぞれのうち、有線通信可能に接続されたカメラ（例えば、図８に示すカメラＣ１）を優先的に選択してもよい。これにより、プロセッサ２１ａは、無線通信方式ごとの規格に応じた圧縮処理が施されていないデータであって、生ログ（生データ）状態の撮像映像を受信できる。なお、端末装置Ｐ１ａがカメラを内蔵している場合、プロセッサ２１ａは、内蔵されたカメラを最優先に選択してよい。

【0112】

また、プロセッサ２１ａは、通信部２０ａから入力された信頼度が閾値未満である旨の情報に基づいて、信頼度が閾値未満である色変化時系列信号が抽出された撮像映像を撮像したカメラの情報を取得し、メモリ２２ａに記憶する。プロセッサ２１ａは、撮像映像を取得するカメラを、現在のカメラ（つまり、信頼度が閾値未満と検定されたカメラ）から信頼度の算出および検定が実行されていない（つまり、未検定である）他のカメラに切り替える。プロセッサ２１ａは、切り替えられた他のカメラをＯＮにして、ユーザＨ１の撮像を開始する。なお、他のカメラは、ユーザＨ１によって選択されてよい。

【0113】

プロセッサ２１ａは、他のカメラから取得された撮像映像に基づいて、再度色変化時系列信号の抽出および信頼度の算出を実行する。プロセッサ２１ａは、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷを介してサーバＳ１ａに送信するとともに、撮像映像が撮像された他のカメラの情報と関連付けてメモリ２２ａに記憶する。

【0114】

なお、プロセッサ２１ａは、端末装置Ｐ１ａに通信可能に接続されたすべてのカメラのそれぞれにおいて、サーバＳ１ａによって検定された信頼度が閾値未満となった場合、カメラの設置位置が不適である旨のアラートを生成し、モニタ２３ａに出力する。また、プロセッサ２１ａは、メモリ２２ａに記憶された検定済み、かつ信頼度が閾値未満と検定されたすべてのカメラの情報をリセットする制御指示を生成する。プロセッサ２１ａは、生成された制御指示をメモリ２２ａに出力し、検定済みカメラの情報をリセットさせる。

【0115】

メモリ２２ａは、端末装置Ｐ１ａと通信可能に接続された複数のカメラＣ１，Ｃ２ａのそれぞれを識別可能な情報を記憶し、複数のカメラＣ１，Ｃ２ａのそれぞれから受信された撮像映像、撮像映像から抽出された色変化時系列信号および信頼度などを記憶する。また、メモリ２２ａは、操作部２４から入力され、メインカメラとして選択（設定）されたカメラの情報を記憶する。

【0116】

さらに、メモリ２２ａは、信頼度の算出およびサーバＳ１ａによる信頼度の検定が実行された検定済みのカメラの情報を記憶する。なお、メモリ２２ａは、プロセッサ２１ａから検定済みカメラの情報をリセットする制御指示が入力された場合、この制御指示に基づいて、検定済みカメラの情報をリセットする。

【0117】

モニタ２３ａは、プロセッサ２１ａから入力されたアラートを表示する。なお、アラートは、スピーカ（不図示）から音声出力されてよい。

【0118】

操作部２４は、例えばユーザＨ１の入力操作を検出するユーザインターフェースであり、マウス、キーボードまたはタッチパネルなどを用いて構成される。操作部２４は、ユーザＨ１の入力操作に基づいて、ユーザＨ１を撮像するメインカメラの選択（設定）および切り替えを受け付ける。操作部２４は、受け付けたユーザＨ１の入力操作を信号に変換し、プロセッサ２１ａおよびメモリ２２ａのそれぞれに出力する。

【0119】

カメラＣ２ａは、端末装置Ｐ１ａとの間で無線通信可能に接続され、撮像された撮像映像を端末装置Ｐ１ａに送信する。カメラＣ２ａは、通信部５０と、プロセッサ５１と、メモリ５２と、撮像部５３と、を含んで構成される。

【0120】

通信部５０は、端末装置Ｐ１ａにおける通信部２０ａとの間でデータを無線通信可能に接続される。ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。通信部５０は、撮像部５３によって撮像された撮像映像を端末装置Ｐ１ａに送信する。

【0121】

プロセッサ５１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ５２と協働して、各種の処理および制御を行う。プロセッサ５１は、撮像部５３によって撮像され、入力された撮像映像をメモリ５２に記憶するとともに、端末装置Ｐ１ａおける通信部２０ａに送信する。

【0122】

メモリ５２は、例えばプロセッサ５１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ５１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ５１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ５１の動作を規定するプログラムが書き込まれている。メモリ５２は、撮像部５３によって撮像された撮像映像を記憶する。

【0123】

撮像部５３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤまたはＣＭＯＳの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部５３は、撮像された撮像映像をプロセッサ５１に出力する。

【0124】

実施の形態２に係るサーバＳ１ａは、ネットワークＮＷを介して端末装置Ｐ１ａとの間で無線通信可能に接続される。サーバＳ１ａは、通信部１０ａと、プロセッサ１１ａと、メモリ１２ａと、を含んで構成される。

【0125】

通信部１０ａは、端末装置Ｐ１ａにおける通信部２０ａから色変化時系列信号と、信頼度とを受信する。また、通信部１０ａは、プロセッサ１１ａから信頼度が閾値未満である旨の情報が入力されると、この情報を、ネットワークＮＷを介して端末装置Ｐ１ａにおける通信部２０ａに送信する。

【0126】

プロセッサ１１ａは、端末装置Ｐ１ａから受信された色変化時系列信号の信頼度と、予め設定され、メモリ１２ａに記憶された信頼度における閾値とを検定する。プロセッサ１１ａは、受信された信頼度が閾値以上の場合、受信された色変化時系列信号からユーザＨ１の脈拍を推定するとともに、推定された脈拍データに基づいて、ユーザＨ１のストレス指数を算出する。また、プロセッサ１１ａは、推定された脈拍データおよびストレス指数をメモリ１２ａに記憶する。一方、プロセッサ１１ａは、受信された信頼度が閾値未満の場合、信頼度が閾値未満である旨の情報を生成し、通信部２０ａに出力する。

【0127】

ここで、実施の形態２に係るバイタルセンシングシステム１００ａにおいて、信頼度の算出に要する色変化時系列信号の周期数および時間は、脈拍などの推定に要する周期数および時間よりも小さく（短く）てよい。これにより、サーバＳ１ａは、算出された信頼度が閾値を下回る場合、すぐにユーザＨ１を撮像するカメラを現在のカメラから他のカメラに切り替えることができる。

【0128】

さらに、色変化時系列信号のうち、信頼度が閾値未満となった時間帯が限定的であって、信頼度が閾値以上である他の色変化時系列信号からユーザＨ１の脈拍、心拍、ストレス指数などを推定あるいは算出可能な場合、サーバＳ１ａは、信頼度が閾値以上である他の色変化時系列信号からユーザＨ１の脈拍、ストレス指数などを推定あるいは算出してよい。

【0129】

メモリ１２ａは、予め設定され、ユーザの脈拍を推定可能あるいはストレス指数を算出可能な信頼度を記憶する。また、メモリ１２ａは、プロセッサ１１ａによって推定された脈拍データおよびストレス指数をユーザごとに記憶する。

【0130】

図９を参照して、実施の形態２に係るバイタルセンシングシステム１００ａの脈拍推定手順について説明する。図９は、実施の形態２に係るバイタルセンシングシステム１００ａの脈拍推定手順例を示すシーケンス図である。なお、図９において、ユーザＨ１によって選択（設定）されたカメラを最初にユーザＨ１を撮像するカメラとして選択する例を示すが、カメラの選択方法はこれに限定されないことは言うまでもない。

【0131】

端末装置Ｐ１ａは、通信可能に接続された複数のカメラＣ１，Ｃ２ａのそれぞれのうち、ユーザＨ１によって予め選択されたカメラＣ１をＯＮにし、ユーザＨ１の撮像を開始する（Ｓｔ１０）。端末装置Ｐ１ａは、カメラＣ１からユーザＨ１を撮像した撮像映像を受信し、取得する（Ｓｔ１１）。

【0132】

端末装置Ｐ１ａは、取得された撮像映像からユーザＨ１の顔位置を検出し（Ｓｔ１２）、検出された顔の位置のうち脈拍の抽出を目的として顔表面の顔色変化を測定するためセンシング領域を抽出し（Ｓｔ１３）、抽出されたセンシング領域におけるユーザＨ１の顔表面の色変化時系列信号を抽出する（Ｓｔ１４）。なお、撮像映像においてユーザＨ１の顔の位置が変化する場合、センシング領域は、ユーザＨ１の顔の位置に応じて変更されてよい。

【0133】

端末装置Ｐ１ａは、抽出された色変化時系列信号の波形に基づいて、ユーザＨ１の脈拍計測精度を示す信頼度を算出する（Ｓｔ１５）。端末装置Ｐ１ａは、抽出された色変化時系列信号と、算出された信頼度とを、ネットワークＮＷ１を介してサーバＳ１ａに送信する（Ｓｔ１６）。

【0134】

サーバＳ１ａは、端末装置Ｐ１ａから受信された色変化時系列信号の信頼度とメモリ１２ａに記憶された閾値とを検定する（Ｓｔ１７）。サーバＳ１ａは、ステップＳｔ１７の処理において、信頼度が閾値以上である場合（Ｓｔ１７，ＹＥＳ）、色変化時系列信号に基づいてユーザＨ１の脈拍を推定する（Ｓｔ１８）。

【0135】

一方、サーバＳ１ａは、ステップＳｔ１７の処理において、信頼度が閾値未満である場合（Ｓｔ１７，ＮＯ）、検定結果として受信された色変化時系列信号の信頼度が閾値未満である旨の情報を生成し、端末装置Ｐ１ａに送信する（Ｓｔ１９）。

【0136】

端末装置Ｐ１ａは、検定結果を受信すると、この検定結果をメモリ２２ａに出力するとともに、端末装置Ｐ１ａとの間で通信可能に接続されたすべてのカメラのそれぞれによって撮像された撮像映像の信頼度が検定済みであるか否かを判定する（Ｓｔ２０）。

【0137】

端末装置Ｐ１ａは、メモリ２２ａに記憶された検定済みのカメラの情報に基づいて、通信可能に接続されたすべてのカメラについて検定済みである場合（Ｓｔ２０，ＹＥＳ）、カメラの設置位置が不適である旨のアラートを生成し、モニタ２３ａに出力する（Ｓｔ２１）。また、端末装置Ｐ１ａは、メモリ２２ａに記憶された検定済みのカメラの情報をリセットし、通信可能に接続されたすべてのカメラを未検定状態にする（Ｓｔ２３）。以降、バイタルセンシングシステム１００ａは、ステップＳｔ１１の処理に戻る。

【0138】

一方、端末装置Ｐ１ａは、メモリ２２ａに記憶された検定済みのカメラの情報に基づいて、通信可能に接続されたすべてのカメラについて検定済みでない場合（Ｓｔ２０，ＮＯ）、現在ＯＮにしているカメラをＯＦＦにする（Ｓｔ２２）。また、端末装置Ｐ１ａは、検定済みでないいずれか１つのカメラをＯＮにする（Ｓｔ２４）。以降、バイタルセンシングシステム１００ａは、ステップＳｔ１１の処理に戻る。

【0139】

図１０は、実施の形態２に係るバイタルセンシングシステム１００ａにおけるカメラの切り替えを説明する図である。なお、図１０に示す色変化時系列信号において、説明をわかりやすくするために図示を省略しているが、各色変化時系列信号Ｖｔ６１，Ｖｔ６２，Ｖｔ７１，Ｖｔ７２の信号は、ストレス指数を算出可能な時間（つまり１分）以上の信号であり、実際にはカメラＣ１，Ｃ２ａの切り替えに伴う１秒程度の切り替え時間により非連続の信号である。

【0140】

図１０に示す例において、端末装置Ｐ１ａは、まず時間０（ゼロ）においてカメラＣ１をＯＮにし、カメラＣ１によって撮像された撮像映像を受信する。端末装置Ｐ１ａは、受信された撮像映像から抽出された色変化時系列信号Ｖｔ６１と信頼度とを、メモリ２２ａに記憶するとともに、サーバＳ１ａに送信する。ここで、算出された色変化時系列信号Ｖｔ６１の信頼度は、波形の形状および周期が規則的でなく（つまり、色変化時系列信号Ｖｔ６１の振幅および周期のばらつきが大きい）、閾値よりも低い値とする。

【0141】

サーバＳ１ａは、受信された色変化時系列信号Ｖｔ６１の信頼度と予め設定された閾値とを検定し、検定結果として色変化時系列信号Ｖｔ６１の信頼度が閾値未満である旨の情報を生成して、端末装置Ｐ１ａに送信する。

【0142】

端末装置Ｐ１ａは、受信された検定結果に基づいて、カメラＣ１の情報を検定済みのカメラとしてメモリ２２ａに記憶させる。端末装置Ｐ１ａは、カメラＣ１をＯＦＦにするとともに、時間Ｔ１においてメモリ２２ａに検定済みカメラとして記憶されていない未検定のカメラＣ２ａをＯＮにし、再度ユーザＨ１の撮像を開始する。

【0143】

端末装置Ｐ１ａは、カメラＣ２ａによって撮像された撮像映像を受信する。端末装置Ｐ１ａは、受信された撮像映像から抽出された色変化時系列信号Ｖｔ７１と信頼度とを、メモリ２２ａに記憶するとともに、サーバＳ１ａに送信する。ここで、算出された色変化時系列信号Ｖｔ７１の信頼度は、波形の形状および周期が規則的でなく（つまり、色変化時系列信号Ｖｔ７１の振幅および周期のばらつきが大きい）、閾値よりも低い値とする。

【0144】

サーバＳ１ａは、受信された色変化時系列信号Ｖｔ７１の信頼度と予め設定された閾値とを検定し、検定結果として色変化時系列信号Ｖｔ７１の信頼度が閾値未満である旨の情報を生成して、端末装置Ｐ１ａに送信する。

【0145】

端末装置Ｐ１ａは、受信された検定結果に基づいて、カメラＣ２ａの情報を検定済みのカメラとしてメモリ２２ａに記憶させる。ここで、端末装置Ｐ１ａは、端末装置Ｐ１ａとの間で通信可能に接続されたすべてのカメラＣ１，Ｃ２ａが検定済みであるため、メモリ２２ａに記憶された検定済みカメラの情報をリセットする。端末装置Ｐ１ａは、カメラＣ２ａをＯＦＦにするとともに、時間Ｔ２において再度カメラＣ１をＯＮにし、再度ユーザＨ１の撮像を開始する。また、端末装置Ｐ１ａは、カメラの設置位置が不適である旨のアラートを生成し、モニタ２３ａに出力する。

【0146】

端末装置Ｐ１ａは、カメラＣ１によって撮像された撮像映像を受信する。端末装置Ｐ１ａは、受信された撮像映像から抽出された色変化時系列信号Ｖｔ６２と信頼度とを、メモリ２２ａに記憶するとともに、サーバＳ１ａに送信する。ここで、算出された色変化時系列信号Ｖｔ６２の信頼度は、波形の形状および周期が規則的でなく（つまり、色変化時系列信号Ｖｔ６２の振幅および周期のばらつきが大きい）、閾値よりも低い値とする。

【0147】

サーバＳ１ａは、受信された色変化時系列信号Ｖｔ６２の信頼度と予め設定された閾値とを検定し、検定結果として色変化時系列信号Ｖｔ６２の信頼度が閾値未満である旨の情報を生成して、端末装置Ｐ１ａに送信する。

【0148】

端末装置Ｐ１ａは、受信された検定結果に基づいて、カメラＣ１の情報を検定済みのカメラとしてメモリ２２ａに記憶させる。端末装置Ｐ１ａは、カメラＣ１をＯＦＦにするとともに、時間Ｔ３においてメモリ２２ａに検定済みカメラとして記憶されていない未検定のカメラＣ２ａをＯＮにし、再度ユーザＨ１の撮像を開始する。

【0149】

端末装置Ｐ１ａは、カメラＣ２ａによって撮像された撮像映像を受信する。端末装置Ｐ１ａは、受信された撮像映像から抽出された色変化時系列信号Ｖｔ７２と信頼度とを、メモリ２２ａに記憶するとともに、サーバＳ１ａに送信する。ここで、算出された色変化時系列信号Ｖｔ７２の信頼度は、波形の形状および周期が規則的であり（つまり、色変化時系列信号Ｖｔ７２の振幅および周期のばらつきが小さい）、閾値よりも高い値とする。

【0150】

サーバＳ１ａは、受信された色変化時系列信号Ｖｔ７２の信頼度と予め設定された閾値とを検定する。サーバＳ１ａは、検定の結果、色変化時系列信号Ｖｔ７２の信頼度が閾値以上であるため、時間Ｔ４以降、算出された信頼度が閾値未満となるまで、カメラＣ２ａによるユーザＨ１の撮像を継続する。

【0151】

以上により、実施の形態２に係るバイタルセンシングシステム１００ａは、ユーザの周囲に複数のカメラが配置された環境下において、ユーザの生体情報を高精度に計測できる。また、バイタルセンシングシステム１００ａは、複数のカメラのそれぞれのうちいずれか１つのカメラを用いてユーザＨ１の撮像を実行し、センシング領域の設定および抽出、色変化時系列信号の抽出、信頼度の算出などの各処理を実行するため、サーバＳ１ａおよび端末装置Ｐ１ａの処理負荷を低減できる。

【0152】

また、実施の形態２に係るバイタルセンシングシステム１００ａは、算出された信頼度がメモリ１２ａに記憶された所定の閾値（つまり、比較参照値）以上となる条件を満たすまで、複数のカメラＣ１，Ｃ２ａのうち少なくとも１つのカメラによって撮像された撮像映像に基づく色変化時系列信号の抽出と色変化時系列信号の信頼度の算出とを繰り返す。これにより、実施の形態２に係るバイタルセンシングシステム１００ａは、ユーザＨ１の周囲に複数のカメラＣ１，Ｃ２ａが配置された環境下において、ユーザＨ１の生体情報（脈拍）を高精度に計測できる。

【0153】

また、実施の形態２に係るバイタルセンシングシステム１００ａは、信頼度が所定の閾値（つまり、比較参照値）以上となる条件を満たさない場合、条件を満たさない信頼度が算出されたカメラの情報をメモリ１２ａに記憶し、記憶されていないカメラ（つまり、未検定のカメラ）のうち少なくとも１つのカメラによってユーザＨ１の撮像を実行する。これにより、実施の形態２に係るバイタルセンシングシステム１００ａは、ユーザＨ１の周囲に複数のカメラＣ１，Ｃ２ａが配置された環境下において、ユーザＨ１の生体情報（脈拍）を高精度に計測できる。また、バイタルセンシングシステム１００ａは、複数のカメラのそれぞれのうちいずれか１つのカメラを用いてユーザＨ１の撮像を実行し、センシング領域の設定および抽出、色変化時系列信号の抽出、信頼度の算出などの各処理を実行するため、サーバＳ１ａおよび端末装置Ｐ１ａの処理負荷を低減できる。

【0154】

また、実施の形態２に係るバイタルセンシングシステム１００ａは、メモリ１２ａに記憶されていないカメラがない（つまり、端末装置Ｐ１ａとの間で通信可能に接続されたすべてのカメラが検定済みである）場合、メモリ１２ａに記憶された検定済みのカメラの情報をリセットする。これにより、実施の形態２に係るバイタルセンシングシステム１００ａは、ユーザＨ１の周囲に複数のカメラＣ１，Ｃ２ａが配置された環境下において、複数のカメラＣ１，Ｃ２ａのそれぞれを効率的に切り替え、より信頼度が高く算出される撮像映像を取得できる。

【0155】

また、実施の形態２に係るバイタルセンシングシステム１００ａは、撮像映像に基づいて抽出された色変化時系列信号の信頼度とメモリ１２ａに記憶された所定の閾値とを検定する。これにより、実施の形態２に係るバイタルセンシングシステム１００ａは、ユーザＨ１の周囲に複数のカメラＣ１，Ｃ２ａが配置された環境下において、信頼度が閾値（つまり、計測される脈拍データの脈拍計測精度における一定の計測精度を有することを示す）以上の色変化時系列信号に基づいて、ユーザＨ１の生体情報（脈拍）を高精度に計測できる。

【0156】

また、実施の形態２に係るバイタルセンシングシステム１００ａにおける複数のカメラは、１分以上に亘ってユーザＨ１を撮像する。これにより、実施の形態２に係るバイタルセンシングシステム１００ａは、ストレス指数の算出に必要な時間（１分）以上に亘って、ユーザＨ１を撮像でき、信頼度が閾値以上の色変化時系列信号に基づいて、ユーザＨ１の生体情報（脈拍、ストレス指数など）を高精度に計測できる。

【0157】

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0158】

本開示は、ユーザの周囲に複数のカメラが配置された環境下において、ユーザの生体情報を高精度に計測するバイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステムの提示として有用である。

【符号の説明】

【0159】

１０，２０，３０，４０，５０ 通信部
１１，２１，３１，４１，５１ プロセッサ
１２，２２，３２，４２，５２ メモリ
２３，３３ モニタ
２４ 操作部
４３，５３ 撮像部
Ｃ１，Ｃ２ カメラ
Ｈ１ ユーザ
Ｐ１，Ｐ２ 端末装置
ＮＷ ネットワーク
Ｓ１ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】