知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025154434
(43)【公開日】2025-10-10
(54)【発明の名称】心拍検出システム、心拍検出方法およびプログラム
(51)【国際特許分類】
A61B 5/0245 20060101AFI20251002BHJP
A61B 5/11 20060101ALI20251002BHJP
【ＦＩ】
A61B5/0245 100Z
A61B5/11 110
A61B5/11 120
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024057434
(22)【出願日】2024-03-29
(71)【出願人】
【識別番号】000204284
【氏名又は名称】太陽誘電株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中村 敦
(72)【発明者】
【氏名】砂川 隆一
【テーマコード（参考）】
4C017
4C038
【Ｆターム（参考）】
4C017AA10
4C017AC40
4C017EE01
4C038VB32
4C038VC05
(57)【要約】
【課題】被測定者が移動している状態においても非接触で精度良く心拍情報を検出する。
【解決手段】実施形態に係る心拍検出システムは、被測定者に非接触で、被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、被測定者を撮像した画像信号を生成する被測定者検出カメラと、画像信号から被測定者の位置である被測定者位置を特定する被測定者位置特定部と、被測定者位置に応じてセンサ装置の検知方向を制御する検知方向制御部と、センサ信号に基づき、心拍成分を表す心拍信号を生成し、心拍信号に基づき心拍情報を出力する心拍検出装置と、を備える。
【選択図】図１
【解決手段】実施形態に係る心拍検出システムは、被測定者に非接触で、被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、被測定者を撮像した画像信号を生成する被測定者検出カメラと、画像信号から被測定者の位置である被測定者位置を特定する被測定者位置特定部と、被測定者位置に応じてセンサ装置の検知方向を制御する検知方向制御部と、センサ信号に基づき、心拍成分を表す心拍信号を生成し、心拍信号に基づき心拍情報を出力する心拍検出装置と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、
前記被測定者を撮像した画像信号を生成する被測定者検出カメラと、
前記画像信号から前記被測定者の位置である被測定者位置を特定する被測定者位置特定部と、
前記被測定者位置に応じて前記センサ装置の検知方向を制御する検知方向制御部と、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき心拍情報を出力する心拍検出装置と、
を備える心拍検出システム。
前記被測定者を撮像した画像信号を生成する被測定者検出カメラと、
前記画像信号から前記被測定者の位置である被測定者位置を特定する被測定者位置特定部と、
前記被測定者位置に応じて前記センサ装置の検知方向を制御する検知方向制御部と、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき心拍情報を出力する心拍検出装置と、
を備える心拍検出システム。
【請求項2】
前記センサ装置は、前記被測定者との距離を位置毎に測定した距離信号を前記センサ信号として出力するミリ波レーダ装置であり、
前記検知方向制御部は、前記検知方向として、前記ミリ波レーダ装置における電磁波の出射方向を制御する
請求項１に記載の心拍検出システム。
前記検知方向制御部は、前記検知方向として、前記ミリ波レーダ装置における電磁波の出射方向を制御する
請求項１に記載の心拍検出システム。
【請求項3】
前記ミリ波レーダ装置の前記出射方向を移動させる移動制御機構をさらに備え、
前記検知方向制御部は、前記移動制御機構を制御することにより、前記ミリ波レーダ装置における電磁波の前記出射方向を制御する
請求項２に記載の心拍検出システム。
前記検知方向制御部は、前記移動制御機構を制御することにより、前記ミリ波レーダ装置における電磁波の前記出射方向を制御する
請求項２に記載の心拍検出システム。
【請求項4】
前記センサ装置は、前記被測定者を撮像した動画像信号を前記センサ信号として出力する心拍検出カメラであり、
前記検知方向制御部は、前記検知方向として、前記心拍検出カメラから取得される前記動画像信号の画角の方向を制御する
請求項１に記載の心拍検出システム。
前記検知方向制御部は、前記検知方向として、前記心拍検出カメラから取得される前記動画像信号の画角の方向を制御する
請求項１に記載の心拍検出システム。
【請求項5】
前記心拍検出カメラは、前記被測定者検出カメラよりも画角が狭い
請求項４に記載の心拍検出システム。
請求項４に記載の心拍検出システム。
【請求項6】
前記心拍検出カメラの画角の方向を移動させる移動制御機構をさらに備え、
前記検知方向制御部は、前記移動制御機構を制御することにより、前記心拍検出カメラの画角の方向を制御する
請求項５に記載の心拍検出システム。
前記検知方向制御部は、前記移動制御機構を制御することにより、前記心拍検出カメラの画角の方向を制御する
請求項５に記載の心拍検出システム。
【請求項7】
前記動画像信号から一部の画角の信号を切り出す切出部と、
前記切出部は、前記被測定者位置および前記検知方向に応じて信号を切り出す画角を変更する
請求項５に記載の心拍検出システム。
前記切出部は、前記被測定者位置および前記検知方向に応じて信号を切り出す画角を変更する
請求項５に記載の心拍検出システム。
【請求項8】
前記心拍検出装置は、
前記センサ信号に基づき、前記心拍信号を生成する心拍信号生成部と、
前記心拍信号におけるピーク点またはボトム点である頂点の時刻を表す複数の頂点データを生成する頂点データ生成部と、
前記複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出する有効データ抽出部と、
前記複数の有効頂点データの組の一部が欠落または誤っている場合、欠落または誤っている有効頂点データのエラー訂正をした前記複数の有効頂点データを心拍データ列として生成するエラー訂正部と、
前記心拍データ列に基づく前記心拍情報を出力する出力部と、
を備える請求項１から７の何れか１項に記載の心拍検出システム。
前記センサ信号に基づき、前記心拍信号を生成する心拍信号生成部と、
前記心拍信号におけるピーク点またはボトム点である頂点の時刻を表す複数の頂点データを生成する頂点データ生成部と、
前記複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出する有効データ抽出部と、
前記複数の有効頂点データの組の一部が欠落または誤っている場合、欠落または誤っている有効頂点データのエラー訂正をした前記複数の有効頂点データを心拍データ列として生成するエラー訂正部と、
前記心拍データ列に基づく前記心拍情報を出力する出力部と、
を備える請求項１から７の何れか１項に記載の心拍検出システム。
【請求項9】
心拍検出システムにおいて実行される心拍検出方法であって、
前記心拍検出システムは、
被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、
前記被測定者を撮像した画像信号を生成する被測定者検出カメラと、
情報処理装置と、
を備え、
前記情報処理装置が、
前記画像信号から前記被測定者の位置である被測定者位置を特定し、
前記被測定者位置に応じて前記センサ装置の検知方向を制御し、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき心拍情報を出力する
心拍検出方法。
前記心拍検出システムは、
被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、
前記被測定者を撮像した画像信号を生成する被測定者検出カメラと、
情報処理装置と、
を備え、
前記情報処理装置が、
前記画像信号から前記被測定者の位置である被測定者位置を特定し、
前記被測定者位置に応じて前記センサ装置の検知方向を制御し、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき心拍情報を出力する
心拍検出方法。
【請求項10】
コンピュータを被測定者の心拍を表す心拍情報を生成する情報処理装置として機能させるためのプログラムであって、
前記情報処理装置は、
前記被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置から、前記センサ信号を取得し、
前記被測定者を撮像した画像信号を生成する被測定者検出カメラから、前記画像信号を取得し、
前記コンピュータを、
前記画像信号から前記被測定者の位置である被測定者位置を特定する被測定者位置特定部と、
前記被測定者位置に応じて前記センサ装置の検知方向を制御する検知方向制御部と、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき前記心拍情報を出力する心拍検出装置と
して機能させるプログラム。
前記情報処理装置は、
前記被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置から、前記センサ信号を取得し、
前記被測定者を撮像した画像信号を生成する被測定者検出カメラから、前記画像信号を取得し、
前記コンピュータを、
前記画像信号から前記被測定者の位置である被測定者位置を特定する被測定者位置特定部と、
前記被測定者位置に応じて前記センサ装置の検知方向を制御する検知方向制御部と、
前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき前記心拍情報を出力する心拍検出装置と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、心拍検出システム、心拍検出方法およびプログラムに関する。
【背景技術】
【0002】
日本における科学技術政策の一つであるＳｏｃｉｅｔｙ５．０では、ＩｏＴ（Internet of Things）技術を利用し、あらゆる物がインターネットに接続される社会において、データを解析することで新たな価値創造を実現し、快適で活力に満ちた質の高い生活と経済発展と社会課題の解決の両立を目指している。また、ＩｏＴ技術は、人の分野にも応用され始めている。近年、Ｓｏｃｉｅｔｙ５．０の実現のために、人の健康および感情解析につながる、被測定者が意識せず非接触で心拍測定する技術が注目されている。例えば、特許文献１には、カメラにより非接触で利用者を観察するシステムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6134607号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
非接触で被測定者の心拍を検出する方法として、カメラにより撮像された画像を用いる方法が知られている。カメラにより撮像された画像から心拍を検出する方法は、カメラを用いるので取り扱いが容易であるという利点がある。また、非接触で被測定者の心拍を検出する方法として、ミリ波レーダ装置により測定された距離信号を用いる方法が知られている。ミリ波レーダ装置により測定された距離信号から心拍を検出する方法は、被測定者を撮像しなくてよいので、個人を判断することなく心拍を検出可能であり、被測定者のプライバシー侵害に考慮することができるという利点がある。
【0005】
しかし、非接触で被測定者の心拍を検出する方法は、心拍検出の原理から検出信号が非常に微弱であり、被測定者が歩いたり動いたりして移動している状態において心拍を検出することが困難であった。
【0006】
本発明は、上記に鑑みてなされたものであって、被測定者が移動している状態においても非接触で精度良く心拍情報を検出する心拍検出システム、心拍検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係る心拍検出システムは、被測定者に非接触で、前記被測定者の心拍成分を含むセンサ信号を検出するセンサ装置と、前記被測定者を撮像した画像信号を生成する被測定者検出カメラと、前記画像信号から前記被測定者の位置である被測定者位置を特定する被測定者位置特定部と、前記被測定者位置に応じて前記センサ装置の検知方向を制御する検知方向制御部と、前記センサ信号に基づき、前記心拍成分を表す心拍信号を生成し、前記心拍信号に基づき心拍情報を出力する心拍検出装置と、を備える。
【発明の効果】
【0008】
本発明によれば、被測定者が移動している状態においても非接触で精度良く心拍情報を検出することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、図面を参照しながら実施形態について説明する。
【0011】
（第１実施形態）
図１は、第１実施形態に係る心拍検出システム１０の構成を示す図である。心拍検出システム１０は、被測定者の心拍に関する情報を表す心拍情報を、被測定者に対して非接触で検出する。
図１は、第１実施形態に係る心拍検出システム１０の構成を示す図である。心拍検出システム１０は、被測定者の心拍に関する情報を表す心拍情報を、被測定者に対して非接触で検出する。
【0012】
第１実施形態に係る心拍検出システム１０は、ミリ波レーダ装置１１と、移動制御機構１２と、被測定者検出カメラ１３と、情報処理装置１４と、表示装置１５とを備える。
【0013】
ミリ波レーダ装置１１は、被測定者との距離を位置毎に測定した距離信号を出力する。ミリ波レーダ装置１１は、距離信号には被測定者の心拍に応じた振動成分が含まれている。従って、ミリ波レーダ装置１１は、被測定者に非接触で被測定者の心拍成分を含むセンサ信号を検出するセンサ装置の一例である。
【0014】
ミリ波レーダ装置１１は、ミリ波帯の電磁波を被測定者に出射し、被測定者からの反射波を検出することにより被測定者までの距離を測定する。本実施形態において、ミリ波レーダ装置１１は、人間の心拍の振動を検出可能な距離分解能を有する。例えば、ミリ波レーダ装置１１は、２４ＧＨｚ以上の周波数の電波を送受信する少なくとも１個のＭＩＭＯ（Multi Input Multi Output）方式のミリ波レーダを含む。なお、ミリ波レーダ装置１１は、ＭＩＭＯ方式に限らず他の方式の複数のミリ波レーダを含んでもよい。
【0015】
また、ミリ波レーダ装置１１は、一定の空間範囲における位置毎に距離を表す距離信号を所定の時間レートで出力する。従って、ミリ波レーダ装置１１は、被測定者の身体の一定範囲における位置毎の距離を表す時系列の距離信号を出力する。
【0016】
また、ミリ波レーダ装置１１は、例えば本体を回転させる回転機構等により、電磁波の出射方向を移動可能に設けられる。
【0017】
移動制御機構１２は、ミリ波レーダ装置１１による電磁波の出射方向を、情報処理装置１４による制御に応じて移動させる。例えば、移動制御機構１２は、回転機構を駆動することにより、ミリ波レーダ装置１１による電磁波の出射方向を移動させる。
【0018】
被測定者検出カメラ１３は、被測定者を撮像した画像信号である広角画像信号を生成する。被測定者検出カメラ１３は、比較的に広角の撮像範囲を有する。被測定者検出カメラ１３は、一例として、水平画角が１００°以上であってもよい。
【0019】
情報処理装置１４は、例えばコンピュータである。情報処理装置１４は、ネットワーク上におけるサーバ装置であってもよいし、ネットワーク上の複数のサーバ装置が連携して動作するクラウド等であってもよい。情報処理装置１４は、ネットワーク上におけるサーバ装置等である場合、ミリ波レーダ装置１１、被測定者検出カメラ１３および移動制御機構１２とネットワークを介して接続される。
【0020】
情報処理装置１４は、制御装置２２と、心拍検出装置２４とを備える。
【0021】
制御装置２２は、情報処理装置１４が制御プログラムを実行することにより、情報処理装置１４により実現される。すなわち、情報処理装置１４は、制御プログラムを実行することにより制御装置２２として機能する。
【0022】
制御装置２２は、被測定者位置特定部２５と、検知方向制御部２６とを含む。
【0023】
被測定者位置特定部２５は、被測定者検出カメラ１３から広角画像信号を取得する。例えば、被測定者位置特定部２５は、所定のフレームレートで広角画像信号を取得する。被測定者位置特定部２５は、広角画像信号に対して画像解析をして、広角画像信号の画角内における被測定者の位置を特定する。
【0024】
検知方向制御部２６は、広角画像信号の画角内における被測定者位置に応じて、移動制御機構１２を駆動させて、ミリ波レーダ装置１１による電磁波の出射方向を制御する。ミリ波レーダ装置１１による電磁波の出射方向は、被測定者に非接触で被測定者の心拍成分を含むセンサ信号を検出するセンサ装置の検知方向の一例である。
【0025】
より具体的には、検知方向制御部２６は、ミリ波レーダ装置１１による電磁波の出射方向が被測定者に向かう方向となるように、ミリ波レーダ装置１１による電磁波の出射方向を移動させる。被測定者検出カメラ１３により撮像された広角画像信号における画角の方向と、ミリ波レーダ装置１１による電磁波の出射方向との対応関係は、予め調整されている。従って、検知方向制御部２６は、広角画像信号における画角内の被測定者位置に対応する、ミリ波レーダ装置１１による電磁波の出射方向の位置を特定することができる。これにより、検知方向制御部２６は、ミリ波レーダ装置１１による電磁波の出射方向が被測定者に向かう方向となるように、ミリ波レーダ装置１１による電磁波の出射方向を移動させることができる。
【0026】
検知方向制御部２６は、被測定者が一定距離移動する毎に、ミリ波レーダ装置１１による電磁波の出射方向を移動させてもよいし、一定時間毎にミリ波レーダ装置１１による電磁波の出射方向を移動させてもよい。これにより、ミリ波レーダ装置１１は、被測定者が電磁波を出射可能な範囲内に位置する場合には、被測定者の移動に追従して、被測定者に電磁波を照射し続けることができる。
【0027】
心拍検出装置２４は、ミリ波レーダ装置１１から出力された距離信号を取得し、取得した距離信号に信号処理を行って、被測定者の心拍情報を出力する。心拍情報は、例えば心拍数であってもよいし、心拍周期であってもよいし、心拍の時刻を表す複数のデータを含む心拍データ列であってもよい。
【0028】
心拍検出装置２４は、被測定者の心拍情報を予め定められた時間間隔である単位時間毎に出力してもよい。単位時間毎に心拍情報を出力する場合、心拍検出装置２４は、時系列の距離信号から心拍情報を検出できない単位時間において、心拍情報が検出できなかったことを示すエラー情報を出力してもよい。
【0029】
表示装置１５は、心拍検出装置２４から心拍情報を取得して、モニタに表示する。これにより、表示装置１５は、測定者等に被測定者の心拍情報を認識させることができる。また、表示装置１５は、心拍検出装置２４からエラー情報を取得して、モニタに表示する。これにより、表示装置１５は、測定者等に被測定者の心拍情報の検出にエラーが発生したことを認識させることができる。なお、表示装置１５は、ＬＥＤ（Light Emitting Diode）等に、心拍情報およびエラー情報を表示させてもよい。
【0030】
なお、心拍検出システム１０は、表示装置１５に代えてまたは表示装置１５に加えて、印刷装置、音声出力装置、記憶装置または通信装置の少なくとも一つを備えてもよい。印刷装置は、心拍検出装置２４から心拍情報およびエラー情報を取得して、用紙等に印刷する。音声出力装置は、心拍検出装置２４から心拍情報およびエラー情報を取得して、音声出力する。記憶装置は、心拍検出装置２４から心拍情報およびエラー情報を取得して、記憶媒体に記憶させる。通信装置は、心拍検出装置２４から心拍情報およびエラー情報を取得して、ネットワークを介して他の装置に送信する。このような心拍検出システム１０は、印刷装置、音声出力装置、記憶装置または通信装置を備えることによっても、測定者等に被測定者の心拍情報およびエラーが発生したことを認識させることができる。
【0031】
図２は、ミリ波レーダ装置１１を収納する筐体１７の一例を示す図である。
【0032】
ミリ波レーダ装置１１、移動制御機構１２および被測定者検出カメラ１３は、図２に示すように、筐体１７内に一体的に収納されてもよい。例えば、筐体１７は、屋内の天井等に取り付けられる。このような筐体１７に一体的に収納されることにより、ミリ波レーダ装置１１および被測定者検出カメラ１３は、電磁波の出射方向と広角画像信号における画角の方向との対応関係を予め調整することができる。
【0033】
以上のような第１実施形態に係る心拍検出システム１０によれば、ミリ波レーダ装置１１の電磁波の出射方向を被測定者に追従して移動させるので、被測定者が移動している状態においても非接触で精度良く心拍情報を検出することができる。
【0034】
（第２実施形態）
つぎに、第２実施形態に係る心拍検出システム１０について説明する。第２実施形態に係る心拍検出システム１０は、第１実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第２実施形態に係る心拍検出システム１０については、第１実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第２実施形態に係る心拍検出システム１０について説明する。第２実施形態に係る心拍検出システム１０は、第１実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第２実施形態に係る心拍検出システム１０については、第１実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0035】
図３は、第２実施形態に係る心拍検出システム１０の構成を示す図である。
【0036】
第２実施形態に係る心拍検出システム１０は、ミリ波レーダ装置１１に代えて、心拍検出カメラ１８を備える。
【0037】
心拍検出カメラ１８は、被測定者を撮像し、被測定者を撮像した動画像信号を出力する。被測定者の肌が露出した領域を撮像した動画像信号には、被測定者の心拍に応じた振動成分が含まれている。従って、心拍検出カメラ１８は、被測定者に非接触で被測定者の心拍成分を含むセンサ信号を検出するセンサ装置の一例である。
【0038】
心拍検出カメラ１８は、光学式であり、例えば２Ｋ以上の解像度で３０ｆｐｓ以上のフレームレートで動画像信号を生成する。また、心拍検出カメラ１８は、被測定者検出カメラ１３よりも画角が狭い。
【0039】
また、心拍検出カメラ１８は、例えば本体を回転させる回転機構等により、画角の方向、すなわち、光軸の方向を移動可能に設けられる。
【0040】
移動制御機構１２は、心拍検出カメラ１８の画角の方向を、情報処理装置１４による制御に応じて移動させる。例えば、移動制御機構１２は、回転機構を駆動することにより、心拍検出カメラ１８の画角の方向を移動させる。
【0041】
情報処理装置１４は、ネットワーク上におけるサーバ装置等である場合、心拍検出カメラ１８、被測定者検出カメラ１３および移動制御機構１２とネットワークを介して接続される。
【0042】
本実施形態において、検知方向制御部２６は、広角画像信号の画角内における被測定者位置に応じて、移動制御機構１２を駆動させて、心拍検出カメラ１８の画角の方向を制御する。心拍検出カメラ１８の画角の方向は、被測定者に非接触で被測定者の心拍成分を含むセンサ信号を検出するセンサ装置の検知方向の一例である。
【0043】
より具体的には、検知方向制御部２６は、心拍検出カメラ１８の画角内に被測定者が含まれるように、心拍検出カメラ１８の画角の方向を移動させる。被測定者検出カメラ１３の画角の方向と、心拍検出カメラ１８の画角の方向との対応関係は、予め調整されている。従って、検知方向制御部２６は、広角画像信号における画角内の被測定者の位置に対応する、心拍検出カメラ１８の画角の方向を特定することができる。これにより、検知方向制御部２６は、心拍検出カメラ１８の画角内に被測定者が含まれるように、心拍検出カメラ１８の画角の方向を移動させることができる。
【0044】
検知方向制御部２６は、被測定者が一定距離移動する毎に、心拍検出カメラ１８の画角の方向を移動させてもよいし、一定時間毎に心拍検出カメラ１８の画角の方向を移動させてもよい。これにより、心拍検出カメラ１８は、被測定者が電磁波を出射可能な範囲内に位置する場合には、被測定者の移動に追従して、心拍検出カメラ１８の画角内に被測定者を含め続けることができる。
【0045】
本実施形態において、心拍検出装置２４は、心拍検出カメラ１８から出力された動画像信号を取得し、取得した動画像信号における被測定者の肌が露出した肌露出領域を特定する。そして、心拍検出装置２４は、肌露出領域の信号成分に対して信号処理を行って、被測定者の心拍情報を出力する。
【0046】
なお、心拍検出カメラ１８、移動制御機構１２および被測定者検出カメラ１３は、第１実施形態と同様に、筐体１７内に一体的に収納されてもよい。このような筐体１７に一体的に収納されることにより、心拍検出カメラ１８および被測定者検出カメラ１３は、動画像信号における画角の方向と広角画像信号における画角の方向との対応関係を予め調整することができる。
【0047】
以上のような第１実施形態に係る心拍検出システム１０によれば、ミリ波レーダ装置１１の電磁波の出射方向を被測定者に追従して移動させるので、被測定者が移動している状態においても非接触で精度良く心拍情報を検出することができる。
【0048】
以上のような第２実施形態に係る心拍検出システム１０によれば、心拍検出カメラ１８の画角内に被測定者が含まれるように心拍検出カメラ１８の画角の方向を移動させるので、被測定者が移動している状態においても非接触で精度良く心拍情報を検出することができる。
【0049】
（第３実施形態）
つぎに、第３実施形態に係る心拍検出システム１０について説明する。第３実施形態に係る心拍検出システム１０は、第２実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第３実施形態に係る心拍検出システム１０については、第１実施形態および第２実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第３実施形態に係る心拍検出システム１０について説明する。第３実施形態に係る心拍検出システム１０は、第２実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第３実施形態に係る心拍検出システム１０については、第１実施形態および第２実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0050】
図４は、第３実施形態に係る心拍検出システム１０の構成を示す図である。
【0051】
第３実施形態に係る制御装置２２は、切出部２８をさらに備える。
【0052】
切出部２８は、心拍検出カメラ１８から動画像信号を取得する。切出部２８は、取得した動画像信号から一部の画角の信号を切り出して、心拍検出装置２４に与える。
【0053】
切出部２８は、広角画像信号に基づき算出された被測定者の画角内の位置である被測定者位置、および、心拍検出カメラ１８の画角の方向であるセンサ方向に基づき、信号を切り出す画角を変更する。より具体的には、切出部２８は、少なくとも被測定者の肌露出領域が含まれるように、動画像信号から切り出す水平方向および垂直方向の範囲を決定し、決定した範囲の動画像信号を出力する。これにより、心拍検出装置２４は、動画像信号から効率良く肌露出領域の信号成分を抽出することができる。
【0054】
なお、第３実施形態に係る心拍検出システム１０は、移動制御機構１２を備えない構成であってもよい。この場合、切出部２８は、被測定者位置のみに基づき、動画像信号から切り出す水平方向および垂直方向の範囲を決定する。
【0055】
以上のような第３実施形態に係る心拍検出システム１０によれば、第２実施形態と同様に、被測定者が移動している状態においても非接触で精度良く心拍情報を検出することができる。
【0056】
（第４実施形態）
つぎに、第４実施形態に係る心拍検出システム１０について説明する。第４実施形態に係る心拍検出システム１０は、第１実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第４実施形態に係る心拍検出システム１０については、第１実施形態～第３実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第４実施形態に係る心拍検出システム１０について説明する。第４実施形態に係る心拍検出システム１０は、第１実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第４実施形態に係る心拍検出システム１０については、第１実施形態～第３実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0057】
【0058】
心拍検出装置２４は、距離信号取得部３２と、位置特定部３４と、第１検出信号生成部３６と、第２検出信号生成部３８と、差分信号生成部４０と、心拍信号生成部４２と、頂点データ生成部４４と、有効データ抽出部４６と、エラー訂正部４８と、記憶部５０と、位相差算出部５２と、エラー出力部５４と、出力部５６とを備える。
【0059】
距離信号取得部３２は、ミリ波レーダ装置１１から、一定の空間範囲内の位置毎に被測定者との距離を測定した距離信号を取得する。距離信号取得部３２は、後段の処理が適切に行われるように、距離信号に対して、所定の信号処理を行う。
【0060】
位置特定部３４は、距離信号取得部３２から距離信号を取得する。位置特定部３４は、取得した距離信号を信号解析し、距離信号における、第１位置および第２位置を特定する。
【0061】
第１位置は、被測定者における、心拍成分を検出し易い位置である。
【0062】
第２位置は、被測定者における、第１位置と異なる位置であって、第１位置よりも心拍成分を検出しにくい位置である。
【0063】
例えば、位置特定部３４は、距離信号に基づき、位置毎の振動成分を解析して、被測定者の心拍に応じた振動を位置毎に抽出する。そして、位置特定部３４は、被測定者の心拍成分を含む振動をする位置を第１位置として特定する。また、位置特定部３４は、第１位置よりも被測定者の心拍成分を含む振動が少ない位置を、第２位置として特定する。位置特定部３４は、第１位置よりも、心拍成分を含む振動が所定量または所定割合少ない位置を、第２位置として特定してもよい。なお、第２位置は、振動に心拍成分が全く含まれなくてもよい。
【0064】
第１検出信号生成部３６は、距離信号取得部３２から距離信号を取得する。また、第１検出信号生成部３６は、位置特定部３４から第１位置を特定する情報を取得する。第１検出信号生成部３６は、距離信号に基づき、被測定者の心拍成分を含む振動をする第１位置における距離を表す第１検出信号を生成する。第１検出信号は、心拍成分がレベルに含まれる信号である。例えば、第１検出信号生成部３６は、位置特定部３４から取得した第１位置を特定する情報に基づき、距離信号取得部３２から取得した距離信号における第１位置の信号成分を抽出し、抽出した信号成分に基づき第１検出信号を生成する。
【0065】
第２検出信号生成部３８は、距離信号取得部３２から距離信号を取得する。また、第２検出信号生成部３８は、位置特定部３４から第２位置を特定する情報を取得する。第２検出信号生成部３８は、距離信号に基づき第２位置における距離を表す第２検出信号を生成する。第２検出信号は、レベルに含まれる心拍成分が第１検出信号よりも少ない信号である。なお、第２検出信号は、心拍成分を全く含まなくてもよい。例えば、第２検出信号生成部３８は、位置特定部３４から取得した第２位置を特定する情報に基づき、距離信号取得部３２から取得した距離信号における第２位置の信号成分を抽出し、抽出した信号成分に基づき第２検出信号を生成する。
【0066】
差分信号生成部４０は、第１検出信号生成部３６から第１検出信号を取得し、第２検出信号生成部３８から第２検出信号を取得する。差分信号生成部４０は、第１検出信号と第２検出信号との差を表す差分信号を生成する。
【0067】
ここで、距離信号には、ミリ波レーダ装置１１の振動ノイズが含まれる。この振動ノイズは、第１検出信号および第２検出信号の両方に同相ノイズとして含まれる。すなわち、第１検出信号および第２検出信号のそれぞれには、ミリ波レーダ装置１１の振動がノイズとして含まれる。これに対して、第１検出信号は、第２検出信号よりも心拍成分を多く含む。従って、第１検出信号と第２検出信号との差を表す差分信号は、ミリ波レーダ装置１１の振動ノイズが相殺され、心拍成分が残存する。このため、差分信号は、ミリ波レーダ装置１１の振動に応じて発生するノイズが少なく、心拍成分を検出し易い信号となっている。
【0068】
心拍信号生成部４２は、差分信号生成部４０から差分信号を取得する。心拍信号生成部４２は、差分信号に基づき、心拍成分を表す心拍信号を生成する。心拍信号生成部４２は、差分信号から、ピーク点またはボトム点である頂点を検出したり、心拍の周波数より高い不要な高周波成分を除去したり、直流成分を除去したりすることにより、心拍信号を生成する。なお、心拍信号生成部４２における処理の流れの一例については、図６を参照して後述する。
【0069】
頂点データ生成部４４は、心拍信号生成部４２から心拍信号を取得する。頂点データ生成部４４は、心拍信号から複数の頂点データを生成する。複数の頂点データのそれぞれは、心拍信号におけるピーク点またはボトム点である頂点の時刻およびレベルを表す。本実施形態において、頂点データ生成部４４は、心拍信号を、単位時間、例えばＳ時間（Ｓは、正の整数）で分割して、単位時間毎に複数の頂点データを生成する。
【0070】
心拍波形は、１周期内に、短時間で急峻にレベルが増減する波形を１個含む。従って、頂点データ生成部４４により生成される複数の頂点データのそれぞれに含まれる時刻は、心拍波形における急峻にレベルが増減する波形が発生した時刻の候補となる。なお、頂点データ生成部４４における処理の流れの一例については、図８を参照して後述する。
【0071】
有効データ抽出部４６は、頂点データ生成部４４から複数の頂点データを取得する。有効データ抽出部４６は、複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出する。本実施形態において、有効データ抽出部４６は、単位時間毎に、複数の有効頂点データの組を抽出する。
【0072】
複数の頂点データの中には、ノイズ等により、心拍波形における急峻にレベルが増減する波形が発生した時刻を表していない頂点データも含まれる場合がある。複数の有効頂点データの組は、複数の頂点データの中から、ノイズ等により生じた頂点データを除去したデータ群である。人間の心拍周期の範囲および心拍の揺らぎの範囲は、予め知られている。従って、有効データ抽出部４６は、人間の心拍周期の範囲および心拍の揺らぎの範囲を考慮した所定のアルゴリズムにより、複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出することができる。
【0073】
また、複数の頂点データの中には、誤差等の影響により、一部の心拍周期における急峻にレベルが増減する波形が発生した時刻を表す頂点データを含まない場合がある。このような場合、複数の有効頂点データの組は、一部の心拍周期の時刻を表す有効頂点データが欠落していてもよい。すなわち、複数の有効頂点データの組により表される複数の心拍周期は、有効頂点データを含まない空白の心拍周期が存在していてもよい。
【0074】
また、本実施形態において、有効データ抽出部４６は、単位時間毎に、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数以上であるか否かを判断する。有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、エラーを表す通知を、エラー出力部５４に出力する。さらに、有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、その単位時間についての以後の処理を終了させる。
【0075】
なお、有効データ抽出部４６における処理の流れの一例については、図９を参照して後述する。
【0076】
エラー訂正部４８は、有効データ抽出部４６から複数の有効頂点データの組を取得する。本実施形態において、有効データ抽出部４６は、単位時間毎に、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が予め定められた個数以上である場合、有効データ抽出部４６から複数の有効頂点データの組を取得する。
【0077】
エラー訂正部４８は、複数の有効頂点データの組の一部が欠落または誤っている場合、欠落または誤っている有効頂点データのエラー訂正をした複数の有効頂点データを心拍データ列として生成する。例えば、エラー訂正部４８は、取得した複数の有効頂点データの組が、一部の心拍周期の時刻を表す有効頂点データが欠落しているか否かを判断する。エラー訂正部４８は、取得した複数の有効頂点データの組が一部の心拍周期の時刻を表す有効頂点データが欠落している場合、欠落している有効頂点データを表す新たな有効頂点データを複数の有効頂点データの組からエラー訂正することにより生成する。そして、エラー訂正部４８は、複数の有効頂点データの組に、エラー訂正により生成した新たな有効頂点データを追加した心拍データ列を生成する。
【0078】
本実施形態において、エラー訂正部４８は、単位時間毎に、このような心拍データ列を生成する。なお、エラー訂正部４８における処理の流れの一例については、図１２を参照して後述する。
【0079】
記憶部５０は、エラー訂正部４８から心拍データ列を取得し、記憶する。本実施形態において、記憶部５０は、単位時間毎に心拍データ列を取得して、記憶する。
【0080】
位相差算出部５２は、単位時間毎に、記憶部５０に記憶された心拍データ列と、エラー訂正部４８から新たに出力された心拍データ列との位相差を算出する。例えば、記憶部５０に記憶された心拍データ列の単位時間を第１単位時間とし、エラー訂正部４８から新たに出力された心拍データ列の単位時間を第２単位時間とした場合、第２単位時間は、第１単位時間よりも時間的に後の単位時間となる。この場合、位相差算出部５２は、第１単位時間の心拍データ列と、第２単位時間の心拍データ列との位相差を算出する。
【0081】
位相差算出部５２は、単位時間毎に、第１単位時間の心拍データ列である記憶部５０に記憶された心拍データ列と、第１単位時間の心拍データ列であるエラー訂正部４８から新たに出力された心拍データ列との位相差が、予め定められた値以上であるか否かを判断する。位相差算出部５２は、単位時間毎に、判断結果をエラー出力部５４および出力部５６に出力する。
【0082】
エラー出力部５４は、単位時間毎に、有効データ抽出部４６から、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が予め定められた個数より少なかったことを示すエラーの通知を取得したか否かを判断する。エラー出力部５４は、有効データ抽出部４６からエラーの通知を取得した場合、その単位時間において、心拍情報が検出できなかったことを示すエラー情報を表示装置１５に出力する。
【0083】
また、エラー出力部５４は、単位時間毎に、位相差算出部５２から、位相差が予め定められた値以上であるか否かの判断結果を取得する。エラー出力部５４は、位相差が予め定められた値以上である場合、第１単位時間について心拍情報が検出できなかったことを示すエラー情報を表示装置１５に出力する。すなわち、エラー出力部５４は、位相差が予め定められた値以上である場合、記憶部５０に記憶された心拍データ列について心拍情報が検出できなかったことを示すエラー情報を表示装置１５に出力する。
【0084】
出力部５６は、記憶部５０に記憶された心拍データ列に基づく心拍情報を生成し、生成した心拍情報を表示装置１５に出力する。出力部５６は、記憶部５０に記憶された心拍データ列に基づき心拍数および心拍周期の少なくとも一方を算出し、算出した心拍数および心拍周期の少なくとも一方を心拍情報として出力してもよい。また、出力部５６は、記憶部５０に記憶された心拍データ列を心拍情報として出力してもよい。
【0085】
本実施形態において、出力部５６は、単位時間毎に、位相差算出部５２から、位相差が予め定められた値以上であるか否かの判断結果を取得する。出力部５６は、単位時間毎に、位相差が予め定められた値以上ではない、すなわち、位相差が予め定められた値より小さい場合、第１単位時間についての心拍データ列である記憶部５０に記憶された心拍データ列に基づく心拍情報を出力する。また、出力部５６は、単位時間毎に、位相差が予め定められた値以上である場合、第１単位時間についての心拍データ列である記憶部５０に記憶された心拍データ列を削除し、心拍情報を出力しない。
【0086】
なお、位相差算出部５２および出力部５６における処理の流れの一例については、図１３を参照して後述する。
【0087】
図６は、心拍信号生成部４２の処理の流れの一例を示すフローチャートである。図７は、心拍信号生成部４２における頂点をつなぎ合わせる処理について説明をするための図である。心拍信号生成部４２は、例えば、図６に示す流れで処理を実行する。
【0088】
まず、Ｓ１１において、心拍信号生成部４２は、差動信号に対して移動平均をした移動平均信号を生成する。これにより、心拍信号生成部４２は、高周波のノイズ等を低減した信号を生成することができる。
【0089】
続いて、Ｓ１２において、心拍信号生成部４２は、移動平均信号からピーク点またはボトム点である頂点を検出し、頂点のレベルおよび時刻を表す頂点データ列を生成する。
【0090】
続いて、Ｓ１３において、心拍信号生成部４２は、頂点データ列に対して１階微分処理をした１階微分したデータ列を生成する。これにより、心拍信号生成部４２は、直流成分を除去したデータ列を生成することができる。なお、心拍信号生成部４２は、１階微分に代えて２回微分等の他の処理をして直流成分を除去してもよい。
【0091】
続いて、Ｓ１４において、心拍信号生成部４２は、１階微分したデータ列を表す信号における頂点を検出する。
【0092】
続いて、Ｓ１５において、心拍信号生成部４２は、Ｓ１４で検出した頂点を繋ぎ合わせた信号を生成する。例えば、図７に示すように、心拍信号生成部４２は、頂点を直線でつなぎ合わせた信号を生成する。心拍信号生成部４２は、直線に代えて、所定の関数により頂点を滑らかにつなぎ合わせた信号を生成してもよい。
【0093】
続いて、Ｓ１６において、心拍信号生成部４２は、頂点を繋ぎ合わせた信号に対してバンドパスフィルタリングをする。
【0094】
続いて、Ｓ１７において、心拍信号生成部４２は、バンドパスフィルタリングをした信号に対してトランスバーサルフィルタリングにより直流成分を除去する。
【0095】
以上のＳ１１からＳ１７の処理を実行することにより、心拍信号生成部４２は、差分信号からノイズ等を除去した心拍信号を生成することができる。
【0096】
【0097】
まず、Ｓ２１において、頂点データ生成部４４は、心拍信号を、単位時間、例えばＳ時間に分割する。そして、頂点データ生成部４４は、単位時間毎に、Ｓ２２とＳ２４との間のループ処理を実行する。
【0098】
単位時間毎のループ処理内では、Ｓ２３において、頂点データ生成部４４は、心拍信号からピーク点またはボトム点である頂点を検出する。そして、頂点データ生成部４４は、それぞれが、頂点の時刻およびレベルを表す複数の頂点データを生成する。頂点データ生成部４４は、被測定者に対する心拍の測定が終了するまで、Ｓ２２とＳ２４との間のループ処理を繰り返して実行する。
【0099】
以上のＳ２１からＳ２４の処理を実行することにより、頂点データ生成部４４は、単位時間毎に、心拍信号から複数の頂点データを生成することができる。
【0100】
図９は、有効データ抽出部４６の処理の流れの一例を示すフローチャートである。図１０は、複数の有効頂点データの組を抽出する処理を説明するための第１例を示す図である。図１１は、複数の有効頂点データの組を抽出する処理を説明するための第２例を示す図である。
【0101】
有効データ抽出部４６は、例えば、図９に示す流れで処理を実行する。
【0102】
まず、有効データ抽出部４６は、単位時間毎に、Ｓ３１とＳ３９との間のループ処理を繰り返し実行する。
【0103】
Ｓ３１とＳ３９との間のループ処理内において、まず、Ｓ３２において、有効データ抽出部４６は、次の単位時間についての複数の頂点データが存在するか否かを判断する。次の単位時間についての複数の頂点データが存在しない場合（Ｓ３２のＮｏ）、有効データ抽出部４６は、本フローを終了する。次の単位時間についての複数の頂点データが存在する場合（Ｓ３２のＹｅｓ）、有効データ抽出部４６は、処理をＳ３３に進める。
【0104】
Ｓ３３において、有効データ抽出部４６は、頂点データ生成部４４により生成された対応する単位時間の複数の頂点データから、振幅の大きい方から上位のＮ個の頂点データを選択する。頂点がピーク点である場合には、有効データ抽出部４６は、レベルが大きい方からＮ個の頂点データを選択する。また、頂点がボトム点である場合には、有効データ抽出部４６は、レベルが小さい方からＮ個の頂点データを選択する。
【0105】
なお、Ｎは、予め定められた２以上の整数である。一例として、Ｎは、単位時間であるＳ時間中に心拍が含まれる可能性のある最大値の有効頂点データが抽出可能な値である。
【0106】
続いて、Ｓ３４において、有効データ抽出部４６は、選択したＮ個の頂点データから、心拍としての周期性を満たす複数の有効頂点データの組を抽出する。
【0107】
例えば、図１０に示すように、有効データ抽出部４６は、選択したＮ個の頂点データのそれぞれについて、他の頂点データとの時間差（Ｔｘ）を算出する。そして、有効データ抽出部４６は、複数の有効頂点データのそれぞれの他の有効頂点データとの時間差が、平均周期（Ｔｘｓｎ）のｎ倍（ｎは、１以上の整数）に所定のマージンを加減算した値の範囲内となるように、複数の有効頂点データの組を抽出する。この場合において、有効データ抽出部４６は、平均周期（Ｔｘｓｎ）が、人間の心拍周期の範囲内となるように、複数の有効頂点データの組を抽出する。これにより、有効データ抽出部４６は、選択したＮ個の頂点データから、心拍としての周期性を満たす複数の有効頂点データの組を抽出することができる。
【0108】
なお、図１１に示すように、有効データ抽出部４６は、一部の心拍周期の時刻を表す有効頂点データが欠落した複数の有効頂点データを抽出してもよい。すなわち、有効データ抽出部４６は、有効頂点データを含まない空白の心拍周期が存在する複数の有効頂点データの組を抽出してもよい。
【0109】
続いて、Ｓ３５において、有効データ抽出部４６は、複数の有効頂点データの組に含まれる有効頂点データの個数が、Ｍ個以上であるか否かを判断する。
【0110】
なお、Ｍは、予め定められた２以上の整数であって、Ｎより小さい値である。本実施形態においては、Ｍは、Ｎ／２である。一例として、Ｍは、単位時間であるＳ時間中に心拍が含まれる可能性のある最小値から所定マージンを減算した値である。
【0111】
複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個以上ではない場合（Ｓ３５のＮｏ）、有効データ抽出部４６は、処理をＳ３６に進める。
【0112】
Ｓ３６において、有効データ抽出部４６は、現在の単位時間のデータを破棄する。すなわち、有効データ抽出部４６は、現在の単位時間における複数の有効頂点データの組を削除して、以降のその単位時間についての処理を終了させる。
【0113】
続いて、Ｓ３７において、有効データ抽出部４６は、複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個より少なかったことを示すエラーの通知を、エラー出力部５４に出力する。これにより、エラー出力部５４は、現在の単位時間において心拍情報が検出できなかったことを示すエラー情報を出力することができる。有効データ抽出部４６は、Ｓ３７を終了すると、次の単位時間について、Ｓ３２から処理を繰り返す。
【0114】
複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個以上である場合（Ｓ３５のＹｅｓ）、有効データ抽出部４６は、処理をＳ３８に進める。
【0115】
Ｓ３８において、有効データ抽出部４６は、複数の有効頂点データの組により表される心拍の平均周期を算出する。例えば、有効データ抽出部４６は、複数の有効頂点データの組を抽出するために用いた平均周期を取得してもよいし、抽出後の複数の有効頂点データの組から平均周期を算出してもよい。有効データ抽出部４６は、Ｓ３８を終了すると、次の単位時間について、Ｓ３２から処理を繰り返す。
【0116】
以上のＳ３１からＳ３９の処理を実行することにより、有効データ抽出部４６は、複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出することができる。また、有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、現在の単位時間において心拍情報が検出できなかったことを示すエラー情報をエラー出力部５４に出力させることができる。また、有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、現在の単位時間についての以後の処理を終了させることができる。
【0117】
図１２は、エラー訂正部４８の処理の流れの一例を示すフローチャートである。
【0118】
エラー訂正部４８は、例えば、図１２に示す流れで処理を実行する。
【0119】
まず、エラー訂正部４８は、単位時間毎に、Ｓ４１とＳ４９との間のループ処理を繰り返し実行する。
【0120】
Ｓ４１とＳ４９との間のループ処理内において、まず、Ｓ４２において、エラー訂正部４８は、現在の単位時間の複数の有効頂点データの組が存在するか否かを判断する。すなわち、エラー訂正部４８は、現在の単位時間の複数の有効頂点データの組が有効データ抽出部４６から出力されたか否かを判断する。現在の単位時間の複数の有効頂点データの組が存在しない場合（Ｓ４２のＮｏ）、エラー訂正部４８は、次の単位時間について、Ｓ４２から処理を繰り返す。現在の単位時間の複数の有効頂点データの組が存在する場合（Ｓ４２のＹｅｓ）、エラー訂正部４８は、処理をＳ４３とＳ４７との間のループ処理に進める。
【0121】
Ｓ４３とＳ４７との間のループ処理において、エラー訂正部４８は、複数の有効頂点データの組に含まれる、時刻が隣接する２個の有効頂点データ毎に処理を繰り返して実行する。時刻が隣接する２個の有効頂点データとは、中間に、他の有効頂点データが存在しない２個の有効頂点データの組である。
【0122】
Ｓ４３とＳ４７との間のループ処理内において、まず、Ｓ４４において、エラー訂正部４８は、処理対象となる時刻が隣接する２個の有効頂点データの時間差を算出する。
【0123】
続いて、Ｓ４５において、エラー訂正部４８は、時間差が第１時間範囲以内であるか否かを判断する。第１時間範囲は、平均周期の２倍に所定の第１マージン量（α１）を減少させた下限値から、平均周期の２倍に所定の第２マージン量（α２）を増加させた上限値までの範囲である。より具体的には、第１時間範囲は、（平均周期×２－α１）以上、（平均周期×２＋α２）以下であるの時間範囲である。なお、第１マージン量（α１）および第２マージン量（α２）は、人間の心拍の揺らぎの最大値以上の値である。第１マージン量（α１）および第２マージン量（α２）は、同一であってもよい。エラー訂正部４８は、Ｓ４５の処理を実行することにより、欠落している有効頂点データの位置を検出することができる。
【0124】
時間差が第１時間範囲以内ではない場合（Ｓ４５のＮｏ）、エラー訂正部４８は、処理をＳ４４に戻して、次の処理対象となる時刻が隣接する２個の有効頂点データに対する処理を進める。時間差が第１時間範囲以内である場合（Ｓ４５のＹｅｓ）、エラー訂正部４８は、処理をＳ４６に進める。
【0125】
Ｓ４６において、エラー訂正部４８は、処理対象の時刻が隣接する２個の有効頂点データの中点時刻を表す新たな有効頂点データを生成する。エラー訂正部４８は、Ｓ４６の処理を実行することにより、欠落している有効頂点データを表す新たな有効頂点データを生成することができる。エラー訂正部４８は、Ｓ４６の処理を終えると、処理をＳ４４に戻して、次の処理対象である時刻が隣接する２個の有効頂点データに対する処理を進める。
【0126】
エラー訂正部４８は、全ての時刻が隣接する２個の有効頂点データについてＳ４４からＳ４６の処理を終えると、処理をＳ４８に進める。
【0127】
Ｓ４８において、エラー訂正部４８は、複数の有効頂点データの組に、生成した全ての新たな有効頂点データを追加した心拍データ列を生成する。そして、エラー訂正部４８は、生成した心拍データ列を出力する。
【0128】
以上のＳ４１からＳ４９の処理を実行することにより、エラー訂正部４８は、複数の有効頂点データの組に一部の心拍周期の時刻を表す有効頂点データが欠落している場合、欠落している有効頂点データを表す新たな有効頂点データを複数の有効頂点データの組からエラー訂正することにより生成することができる。そして、エラー訂正部４８は、複数の有効頂点データの組に、エラー訂正により生成した新たな有効頂点データを追加した心拍データ列を生成することができる。
【0129】
図１３は、位相差算出部５２および出力部５６の処理の流れの一例を示すフローチャートである。
【0130】
位相差算出部５２および出力部５６は、例えば、図１３に示す流れで処理を実行する。
【0131】
まず、位相差算出部５２および出力部５６は、単位時間毎に、Ｓ５１とＳ６０との間のループ処理を繰り返し実行する。
【0132】
Ｓ５１とＳ６０との間のループ処理内において、まず、Ｓ５２において、位相差算出部５２は、現在の単位時間の心拍データ列が存在するか否かを判断する。すなわち、位相差算出部５２は、現在の単位時間の心拍データ列がエラー訂正部４８から出力されたか否かを判断する。現在の単位時間の心拍データ列が存在しない場合（Ｓ５２のＮｏ）、位相差算出部５２は、次の単位時間について、Ｓ５２から処理を繰り返す。現在の単位時間の心拍データ列が存在する場合（Ｓ５２のＹｅｓ）、位相差算出部５２は、処理をＳ５３に進める。
【0133】
Ｓ５３において、位相差算出部５２は、記憶部５０に記憶された過去の単位時間の心拍データ列が存在するか否かを判断する。記憶部５０に記憶された過去の単位時間の心拍データ列が存在しない場合（Ｓ５３のＮｏ）、位相差算出部５２は、処理をＳ５９に進める。記憶部５０に記憶された過去の単位時間の心拍データ列が存在する場合（Ｓ５３のＹｅｓ）、位相差算出部５２は、処理をＳ５４に進める。
【0134】
Ｓ５４において、位相差算出部５２は、単位時間毎に、記憶部５０に記憶された過去の単位時間の心拍データ列と、エラー訂正部４８から出力された現在の単位時間の心拍データ列との位相差を算出する。
【0135】
例えば、位相差算出部５２は、記憶部５０に記憶された過去の単位時間の心拍データ列のうちの最も後、すなわち、最も新しい有効頂点データの時刻と、エラー訂正部４８から出力された現在の単位時間の心拍データ列の最も前、すなわち、時間的に最も古い有効頂点データの時刻との時間差を算出する。続いて、位相差算出部５２は、算出した時間差と、エラー訂正部４８から出力された現在の単位時間の心拍データ列の平均周期との剰余を算出する。そして、位相差算出部５２は、算出した剰余と、心拍データ列の平均周期とに基づき位相差を算出する。例えば、位相差算出部５２は、平均周期に対する剰余の割合に基づき、位相差を算出する。
【0136】
続いて、Ｓ５５において、位相差算出部５２は、算出した位相差が、予め定められた値（β）以上であるか否かを判断する。位相差算出部５２は、位相差が、予め定められた値（β）以上である場合（Ｓ５５のＹｅｓ）、処理をＳ５６に進める。
【0137】
Ｓ５６において、出力部５６は、記憶部５０に記憶された過去の単位時間の心拍データ列を、記憶部５０から削除する。
【0138】
続いて、Ｓ５７において、位相差算出部５２は、記憶部５０に記憶された過去の単位時間の心拍データ列の位相差が予め定められた値（β）以上であることを示すエラーの通知を、エラー出力部５４に出力する。これにより、エラー出力部５４は、記憶部５０に記憶された過去の単位時間において心拍情報が検出できなかったことを示すエラー情報を出力することができる。位相差算出部５２は、Ｓ５７を終了すると、処理をＳ５９に進める。
【0139】
位相差算出部５２は、位相差が、予め定められた値（β）以上ではない場合（Ｓ５５のＮｏ）、処理をＳ５８に進める。
【0140】
Ｓ５８において、出力部５６は、記憶部５０に記憶された過去の単位時間の心拍データ列に基づく心拍情報を算出して、出力する。例えば、出力部５６は、心拍データ列に基づき心拍数を算出して、心拍情報として出力する。また、例えば、出力部５６は、心拍データ列に基づき心拍周期を算出して、心拍情報として出力する。また、例えば、出力部５６は、心拍データ列をそのまま心拍情報として出力してもよい。出力部５６は、Ｓ５８の処理を終えると、処理をＳ５９に進める。
【0141】
Ｓ５９において、出力部５６は、エラー訂正部４８から出力された現在の単位時間の心拍データ列を次の処理対象として記憶部５０に記憶させる。
【0142】
そして、位相差算出部５２および出力部５６は、Ｓ５９の処理を終えると、次の単位時間についての処理をＳ５２から繰り返す。
【0143】
以上のＳ５１からＳ６０の処理を実行することにより、位相差算出部５２および出力部５６は、単位時間毎に心拍情報を出力することができる。また、位相差算出部５２および出力部５６は、記憶部５０に記憶された過去の単位時間の心拍データ列と、エラー訂正部４８から出力された現在の単位時間の心拍データ列との位相差が予め定められた値以上である場合、記憶部５０に記憶された過去の単位時間の心拍データ列を削除するとともに、エラー出力部５４にエラー情報を出力させることができる。
【0144】
以上のように第４実施形態に係る心拍検出システム１０は、ミリ波レーダ装置１１により検出された距離信号に基づき、被測定者の心拍成分を含む振動をする第１位置における距離を表す第１検出信号、および、第１検出信号よりも含まれる心拍成分が少ない振動をする第２位置における距離を表す第２検出信号を生成する。そして、心拍検出システム１０は、第１検出信号と第２検出信号との差を表す差分信号に基づき心拍信号を生成する。
【0145】
これにより、第４実施形態に係る心拍検出システム１０は、距離信号から、ミリ波レーダ装置１１の振動ノイズを除去して、精度良く心拍情報を検出することができる。
【0146】
また、第４実施形態に係る心拍検出システム１０は、心拍信号から、心拍としての周期性を満たす複数の有効頂点データの組を抽出する。そして、心拍検出システム１０は、複数の有効頂点データの組が一部の心拍周期の時刻を表す有効頂点データが欠落している場合、欠落している有効頂点データを表す新たな有効頂点データを複数の有効頂点データの組からエラー訂正することにより生成し、複数の有効頂点データの組に新たな有効頂点データを追加した心拍データ列を生成する。
【0147】
これにより、第４実施形態に係る心拍検出システム１０は、差分信号に含まれる心拍信号の成分が微弱であっても、心拍情報を検出することができる。
【0148】
また、第４実施形態に係る心拍検出システム１０は、心拍信号から心拍としての周期性を満たす複数の有効頂点データの組を抽出することができない場合、および、第１単位時間の心拍データ列と第１単位時間より前の第２単位時間の心拍データ列との位相差が予め定められた値以上である場合、エラー情報を出力する。
【0149】
これにより、第４実施形態に係る心拍検出システム１０は、心拍情報が検出できない場合、測定者等に心拍情報が検出できないことを認識させることができる。
【0150】
（第５実施形態）
つぎに、第５実施形態に係る心拍検出システム１０について説明する。第５実施形態に係る心拍検出システム１０は、第４実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第５実施形態に係る心拍検出システム１０については、第４実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第５実施形態に係る心拍検出システム１０について説明する。第５実施形態に係る心拍検出システム１０は、第４実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第５実施形態に係る心拍検出システム１０については、第４実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0151】
図１４は、第５実施形態に係る心拍検出装置２４の構成を示す図である。
【0152】
第５実施形態に係る心拍検出装置２４は、１個の第２検出信号生成部３８を備えることに代えて、Ｐ個の第２検出信号生成部３８－１～３８－Ｐを備える。Ｐは、２以上の整数である。
【0153】
第５実施形態において、位置特定部３４は、１個の第１位置と、Ｐ個の第２位置を特定する。Ｐ個の第２位置のそれぞれは、第１位置と異なる位置であって、第１位置よりも含まれる心拍成分が少なく、心拍成分を検出しにくい位置である。また、Ｐ個の第２位置のそれぞれは、互いに異なる位置である。
【0154】
Ｐ個の第２検出信号生成部３８－１～３８－Ｐのそれぞれは、距離信号取得部３２から距離信号を取得する。
【0155】
また、Ｐ個の第２検出信号生成部３８－１～３８－Ｐのそれぞれは、位置特定部３４からＰ個の第２位置を特定する情報のうち何れか１個の情報を取得する。Ｐ個の第２検出信号生成部３８－１～３０－Ｐのそれぞれは、互いに異なる第２位置を特定する情報を取得する。
【0156】
Ｐ個の第２検出信号生成部３８－１～３８－Ｐのそれぞれは、距離信号に基づき、対応する第２位置における距離を表す第２検出信号を生成する。例えば、第２検出信号生成部３８は、位置特定部３４から取得した第２位置を特定する情報に基づき、距離信号取得部３２から取得した距離信号における、対応する第２位置の信号成分を抽出し、抽出した信号成分に基づき第２検出信号を生成する。
【0157】
なお、第５実施形態に係る心拍検出装置２４は、第５実施形態と同様に、振動センサ装置を備えてもよい。この場合、心拍検出装置２４は、第５実施形態と同様に、振動センサ信号取得部を備える。そして、この場合、Ｐ個の第２検出信号生成部３８－１～３８－Ｐのうちの何れか１個の第２検出信号生成部３８は、距離信号に代えて、振動センサ信号取得部からセンサ信号を取得し、取得したセンサ信号に基づき、ミリ波レーダ装置１１の振動を含む第２検出信号を生成する。
【0158】
第５実施形態に係る差分信号生成部４０は、Ｐ個の第２検出信号のそれぞれに対応し、第１検出信号と対応する第２検出信号との差を表す差分信号を生成する。従って、差分信号生成部４０は、Ｐ個の差分信号を生成する。
【0159】
第５実施形態に係る心拍信号生成部４２は、Ｐ個の差分信号のそれぞれについて、心拍信号を生成する。従って、心拍信号生成部４２は、Ｐ個の心拍信号を生成する。
【0160】
第５実施形態に係る頂点データ生成部４４は、単位時間毎に、Ｐ個の心拍信号のそれぞれについて、複数の頂点データを生成する。
【0161】
第５実施形態に係る有効データ抽出部４６は、単位時間毎に、Ｐ個の心拍信号の全ての複数の頂点データに基づき、複数の有効頂点データの組を抽出する。
【0162】
【0163】
第５実施形態において、有効データ抽出部４６は、例えば、図１５に示す流れで処理を実行する。
【0164】
まず、有効データ抽出部４６は、単位時間毎に、Ｓ７１とＳ８３との間のループ処理を繰り返し実行する。
【0165】
Ｓ７１とＳ８３との間のループ処理内において、まず、Ｓ７２において、有効データ抽出部４６は、次の単位時間についての複数の頂点データが存在するか否かを判断する。次の単位時間についての複数の頂点データが存在しない場合（Ｓ７２のＮｏ）、有効データ抽出部４６は、本フローを終了する。次の単位時間についての複数の頂点データが存在する場合（Ｓ７２のＹｅｓ）、有効データ抽出部４６は、処理をＳ７３とＳ７６との間のループ処理に進める。
【0166】
有効データ抽出部４６は、Ｐ個の心拍信号のそれぞれについて、Ｓ７３とＳ７６との間のループ処理を実行する。
【0167】
Ｓ７３とＳ７６との間のループ処理内において、まず、Ｓ７４において、有効データ抽出部４６は、対象の心拍信号から検出された複数の頂点データから、振幅の大きい方から上位のＮ個の頂点データを選択する。
【0168】
続いて、Ｓ７５において、有効データ抽出部４６は、選択したＮ個の頂点データから、心拍としての周期性を満たす複数の中間頂点データの組を抽出する。
【0169】
Ｐ個の心拍信号の全てについてＳ７３とＳ７６との間のループ処理を終えると、有効データ抽出部４６は、処理をＳ７７に進める。
【0170】
Ｓ７７において、有効データ抽出部４６は、Ｐ個の心拍信号のそれぞれについての複数の中間頂点データから、時間差が所定値以内のＱ個以上の中間頂点データの組を、複数選択する。なお、本実施形態において、Ｑは、Ｐ／２以上の整数である。
【0171】
例えば、図１６に示すように、心拍信号生成部４２が５種類の差分信号に基づき、５種類の心拍信号を生成したとする。このような場合、有効データ抽出部４６は、時間差が所定値以内の３個以上の中間頂点データを、一組として選択する。なお、所定値は、心拍のタイミングが一致しているとみなせる誤差の範囲を表す値である。
【0172】
続いて、Ｓ７８において、有効データ抽出部４６は、選択した複数の組のそれぞれ毎に、Ｑ個以上の中間頂点データに基づき複数の有効頂点データのうちの１個の有効頂点データを生成する。例えば、有効データ抽出部４６は、図１６に示すように、組毎に、その組に含まれるＱ個以上の有効頂点データを平均化して有効頂点データを生成する。
【0173】
続いて、Ｓ７９において、有効データ抽出部４６は、複数の有効頂点データの組に含まれる有効頂点データの個数が、Ｍ個以上であるか否かを判断する。
【0174】
複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個以上ではない場合（Ｓ７９のＮｏ）、有効データ抽出部４６は、処理をＳ８０に進める。
【0175】
Ｓ８０において、有効データ抽出部４６は、現在の単位時間における複数の有効頂点データの組を削除する。続いて、Ｓ８１において、有効データ抽出部４６は、複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個より少なかったことを示すエラーの通知を、エラー出力部５４に出力する。これにより、エラー出力部５４は、現在の単位時間において心拍情報が検出できなかったことを示すエラー情報を出力することができる。有効データ抽出部４６は、Ｓ８１を終了すると、次の単位時間について、Ｓ７２から処理を繰り返す。
【0176】
複数の有効頂点データの組に含まれる有効頂点データの個数がＭ（＝Ｎ／２）個以上である場合（Ｓ７９のＹｅｓ）、有効データ抽出部４６は、処理をＳ８２に進める。
【0177】
Ｓ８２において、有効データ抽出部４６は、複数の有効頂点データの組により表される心拍の平均周期を算出する。有効データ抽出部４６は、Ｓ８２を終了すると、次の単位時間について、Ｓ７２から処理を繰り返す。
【0178】
以上のＳ７１からＳ８３の処理を実行することにより、有効データ抽出部４６は、複数の頂点データの中から、心拍としての周期性を満たす複数の有効頂点データの組を抽出することができる。また、有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、現在の単位時間において心拍情報が検出できなかったことを示すエラー情報をエラー出力部５４に出力させることができる。また、有効データ抽出部４６は、抽出した複数の有効頂点データの組に含まれる有効頂点データの個数が、予め定められた個数より少ない場合、現在の単位時間についての以後の処理を終了させることができる。
【0179】
以上のように第５実施形態に係る心拍検出システム１０は、第４実施形態と同様に、距離信号から、ミリ波レーダ装置１１の振動ノイズを除去して、精度良く心拍情報を検出することができる。また、第５実施形態に係る心拍検出システム１０は、第４実施形態と同様に、差分信号に含まれる心拍信号の成分が微弱であっても、心拍情報を検出することができる。また、第５実施形態に係る心拍検出システム１０は、第４実施形態と同様に、心拍情報が検出できない場合、測定者等に心拍情報が検出できないことを認識させることができる。さらに、第５実施形態に係る心拍検出システム１０は、Ｐ個の差分信号を用いるので、より精度良く心拍情報を検出することができる。
【0180】
（第６実施形態）
つぎに、第６実施形態に係る心拍検出システム１０について説明する。第６実施形態に係る心拍検出システム１０は、第５実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第６実施形態に係る心拍検出システム１０については、第１実施形態から第５実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第６実施形態に係る心拍検出システム１０について説明する。第６実施形態に係る心拍検出システム１０は、第５実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。第６実施形態に係る心拍検出システム１０については、第１実施形態から第５実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0181】
【0182】
心拍検出装置２４は、取得部８２と、領域特定部８４と、検出信号生成部８８と、差分信号生成部４０と、心拍信号生成部４２と、頂点データ生成部４４と、有効データ抽出部４６と、エラー訂正部４８と、記憶部５０と、位相差算出部５２と、エラー出力部５４と、出力部５６とを備える。
【0183】
取得部８２は、心拍検出カメラ１８から被測定者を撮像した動画像信号を取得する。取得部８２は、後段の処理が適切に行われるように、動画像信号に対して、シャープネスおよび明るさ等を調整する画像処理を実行する。また、取得部８２は、さらに、動画像信号に対して、フレーム合成、コンポジット処理およびコントラスト補正等も実行してもよい。
【0184】
領域特定部８４は、取得部８２から動画像信号を取得する。領域特定部８４は、取得した動画像信号を画像解析し、動画像信号におけるフレーム毎に、第１部分領域および第２部分領域を特定する。
【0185】
第１部分領域は、被測定者の肌が露出した肌露出領域における、心拍成分を検出し易い領域である。
【0186】
第２部分領域は、被測定者の肌が露出した肌露出領域における、第１部分領域と異なる領域であって、第１部分領域よりも心拍成分を検出しにくい領域である。
【0187】
例えば、領域特定部８４は、動画像信号に基づき、被測定者の顔の輪郭検出、並びに、目、鼻および口等の特徴検出等を行って、被測定者の身体の肌が露出している予め定められた何れかの部分を識別し、識別した部分を第１部分領域として特定してもよい。また、領域特定部８４は、被測定者の身体の肌が露出している、第１部分領域とは異なる予め定められた何れかの部分を識別し、識別した部分を第２部分領域として特定してもよい。また、領域特定部８４は、動画像信号に基づき、被測定者の肌が露出した肌露出領域における位置毎の血流量を予め定められたアルゴリズムで検出して、血流量が多い部分を第１部分領域として特定し、血流量が第１部分領域よりも所定量または所定割合少ない部分を第２部分領域として特定してもよい。
【0188】
検出信号生成部８８は、取得部８２から動画像信号を取得する。検出信号生成部８８は、領域特定部８４から第１部分領域を特定する情報および第２部分領域を特定する情報を取得する。
【0189】
検出信号生成部８８は、動画像信号における被測定者の肌が露出した肌露出領域の信号成分に基づき、被測定者の心拍成分を含む第１検出信号、および、第１検出信号よりも含まれる心拍成分が少ない第２検出信号を生成する。第１検出信号および第２検出信号は、心拍成分がレベルに含まれる信号である。なお、第２検出信号は、心拍成分を全く含まなくてもよい。
【0190】
例えば、検出信号生成部８８は、領域特定部８４から取得した第１部分領域を特定する情報に基づき、取得部８２から取得した動画像信号における第１部分領域の信号成分を切り出し、切り出した信号成分に基づき第１検出信号および第２検出信号を生成する。
【0191】
または、検出信号生成部８８は、領域特定部８４から取得した第１部分領域を特定する情報に基づき、取得部８２から取得した動画像信号における第１部分領域の信号成分を切り出し、切り出した信号成分に基づき第１検出信号を生成する。この場合、さらに、検出信号生成部８８は、領域特定部８４から取得した第２部分領域を特定する情報に基づき、取得部８２から取得した動画像信号における第２部分領域の信号成分を切り出し、切り出した信号成分に基づき第２検出信号を生成する。
【0192】
差分信号生成部４０は、検出信号生成部８８から第１検出信号および第２検出信号を取得する。差分信号生成部４０は、第１検出信号と第２検出信号との差を表す差分信号を生成する。
【0193】
ここで、肌露出領域を撮像した動画像信号に含まれる光ノイズは、第１検出信号および第２検出信号の両方に同相ノイズとして含まれる。これに対して、第１検出信号は、第２検出信号よりも心拍成分を多く含む。従って、第１検出信号と第２検出信号との差を表す差分信号は、肌露出領域の信号成分に含まれる光ノイズが相殺され、心拍成分が残存する。このため、差分信号は、心拍検出カメラ１８により撮像することにより含まれるノイズが少なく、心拍成分を検出し易い信号となっている。
【0194】
以上のような第６実施形態に係る心拍検出システム１０は、被測定者を撮像した動画像信号における被測定者の肌が露出した肌露出領域の信号成分に基づき、被測定者の心拍成分を含む第１検出信号、および、第１検出信号よりも含まれる心拍成分が少ない第２検出信号を生成する。そして、心拍検出システム１０は、第１検出信号と第２検出信号との差を表す差分信号に基づき心拍信号を生成する。
【0195】
これにより、第６実施形態に係る心拍検出システム１０は、被測定者を撮像した動画像信号から、ノイズを除去して、精度良く心拍情報を検出することができる。
【0196】
また、第６実施形態に係る心拍検出システム１０は、心拍信号から、心拍としての周期性を満たす複数の有効頂点データの組を抽出する。そして、心拍検出システム１０は、複数の有効頂点データの組が一部の心拍周期の時刻を表す有効頂点データが欠落している場合、欠落している有効頂点データを表す新たな有効頂点データを複数の有効頂点データの組からエラー訂正することにより生成し、複数の有効頂点データの組に新たな有効頂点データを追加した心拍データ列を生成する。
【0197】
これにより、第６実施形態に係る心拍検出システム１０は、差分信号に含まれる心拍信号の成分が微弱であっても、心拍情報を検出することができる。
【0198】
また、第６実施形態に係る心拍検出システム１０は、心拍信号から心拍としての周期性を満たす複数の有効頂点データの組を抽出することができない場合、および、第１単位時間の心拍データ列と第１単位時間より前の第２単位時間の心拍データ列との位相差が予め定められた値以上である場合、エラー情報を出力する。
【0199】
これにより、第６実施形態に係る心拍検出システム１０は、心拍情報が検出できない場合、測定者等に心拍情報が検出できないことを認識させることができる。
【0200】
（第７実施形態）
つぎに、第７実施形態に係る心拍検出システム１０について説明する。第７実施形態に係る心拍検出システム１０は、第６実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第７実施形態に係る心拍検出システム１０については、第１実施形態～第６実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
つぎに、第７実施形態に係る心拍検出システム１０について説明する。第７実施形態に係る心拍検出システム１０は、第６実施形態に係る心拍検出システム１０と略同一の機能および構成を有する。従って、第７実施形態に係る心拍検出システム１０については、第１実施形態～第６実施形態と略同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き、詳細な説明を省略する。
【0201】
図１８は、第７実施形態に係る心拍検出装置２４の構成を示す図である。
【0202】
第７実施形態に係る検出信号生成部８８は、Ｐ種類の第１検出信号および第２検出信号の組を生成する。Ｐは、２以上の整数である。
【0203】
Ｐ種類の第１検出信号および第２検出信号の組のそれぞれは、第１検出信号および第２検出信号の少なくとも一方が他の組と異なる。この場合、Ｐ種類の第１検出信号および第２検出信号の組のそれぞれは、他の組とは異なる構成により算出する。
【0204】
第７実施形態に係る差分信号生成部４０は、Ｐ種類の第１検出信号および第２検出信号の組のそれぞれについて差分信号を生成する。従って、差分信号生成部４０は、Ｐ個の差分信号を生成する。Ｐ個の差分信号のそれぞれは、第１検出信号および第２検出信号の少なくとも一方が他の差分信号と異なる。
【0205】
第７実施形態に係る心拍信号生成部４２は、Ｐ個の差分信号のそれぞれについて、心拍信号を生成する。従って、心拍信号生成部４２は、Ｐ個の心拍信号を生成する。
【0206】
第７実施形態に係る頂点データ生成部４４は、単位時間毎に、Ｐ個の心拍信号のそれぞれについて、複数の頂点データを生成する。
【0207】
第７実施形態に係る有効データ抽出部４６は、単位時間毎に、Ｐ個の心拍信号の全ての複数の頂点データに基づき、複数の有効頂点データの組を抽出する。第７実施形態に係る有効データ抽出部４６は、図１５および図１６を参照して説明した第５実施形態と同様の処理を実行する。
【0208】
以上のような第７実施形態に係る心拍検出システム１０は、第６実施形態と同様に、被測定者を撮像した動画像信号から、ノイズを除去して、精度良く心拍情報を検出することができる。また、第７実施形態に係る心拍検出システム１０は、第６実施形態と同様に、差分信号に含まれる心拍信号の成分が微弱であっても、心拍情報を検出することができる。また、第７実施形態に係る心拍検出システム１０は、第６実施形態と同様に、心拍情報が検出できない場合、測定者等に心拍情報が検出できないことを認識させることができる。さらに、第７実施形態に係る心拍検出システム１０は、Ｐ個の差分信号を用いるので、より精度良く心拍情報を検出することができる。
【0209】
図１９は、情報処理装置１４のハードウェア構成を示す図である。情報処理装置１４は、一例として、図１９に示されるような一般のコンピュータと同様のハードウェア構成の装置により実現される。情報処理装置１４は、ＣＰＵ（Central Processing Unit）３０１と、操作装置３０２と、表示装置３０３と、主記憶装置３０５と、補助記憶装置３０６と、通信装置３０７と、バス３０９とを備える。各部は、バス３０９により接続される。
【0210】
ＣＰＵ３０１は、主記憶装置３０５の所定領域を作業領域として補助記憶装置３０６等に予め記憶された各種プログラムとの協働により各種処理を実行し、制御装置２２および心拍検出装置２４を構成する各部の動作を統括的に制御する。また、ＣＰＵ３０１は、プログラムとの協働により、操作装置３０２、表示装置３０３および通信装置３０７等を動作させる。
【0211】
操作装置３０２は、タッチパネル、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をＣＰＵ３０１に出力する。表示装置３０３は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。
【0212】
主記憶装置３０５は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。主記憶装置３０５は、ＣＰＵ３０１の作業領域として機能する。
【0213】
補助記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。補助記憶装置３０６は、制御に用いられるプログラムを記憶する。通信装置３０７は、他の装置とデータの送受信をする。
【0214】
制御装置２２および心拍検出装置２４で実行されるプログラムは、例えば、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供される。また、制御装置２２および心拍検出装置２４で実行されるプログラムは、持ち運び可能な記憶媒体等に予め組み込んで提供されてもよい。
【0215】
情報処理装置１４を制御装置２２として機能させるためのプログラムは、被測定者位置特定モジュールと、検知方向制御モジュールとを含むモジュール構成となっている。さらに、プログラムは、切出モジュールを含んでもよい。ＣＰＵ３０１は、記憶媒体等からこのようなプログラムを読み出して、上記各モジュールを主記憶装置３０５にロードする。そして、ＣＰＵ３０１は、このようなプログラムを実行することにより、被測定者位置特定部２５および検知方向制御部２６として機能する。また、ＣＰＵ３０１は、切出部２８として機能してもよい。また、ＣＰＵ３０１は、このようなプログラムを実行することにより、主記憶装置３０５または補助記憶装置３０６を、記憶部５０として機能させる。なお、被測定者位置特定部２５、検知方向制御部２６および切出部２８の一部または全部がハードウェアにより構成されていてもよい。
【0216】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、種々の変更を行うことができる。
【符号の説明】
【0217】
１０ 心拍検出システム、１１ ミリ波レーダ装置、１２ 移動制御機構、１３ 被測定者検出カメラ、１４ 情報処理装置、１５ 表示装置、１７ 筐体、１８ 心拍検出カメラ、２２ 制御装置、２４ 心拍検出装置、２８ 切出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】