特許 6248780 脈波検出装置、脈波検出方法及び脈波検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6248780

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】脈波検出装置、脈波検出方法及び脈波検出プログラム

(51)【国際特許分類】

   A61B 5/02 20060101AFI20171211BHJP

   A61B 5/00 20060101ALI20171211BHJP

【ＦＩ】

   A61B5/02 310Z

   A61B5/00 101A

【請求項の数】5

【全頁数】21

(21)【出願番号】特願2014-87553(P2014-87553)

(22)【出願日】2014年4月21日

(65)【公開番号】特開2015-205050(P2015-205050A)

(43)【公開日】2015年11月19日

【審査請求日】2017年1月10日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】大谷 拓郎

(72)【発明者】

【氏名】中田 康之

(72)【発明者】

【氏名】猪又 明大

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０１９５４７３（ＵＳ，Ａ１）

【文献】 特開２０１２−２３９６６１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２５１４９３（ＵＳ，Ａ１）

【文献】 国際公開第２００９／１５０７９３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／２２

(57)【特許請求の範囲】

【請求項1】

カメラによって撮像された画像を取得する取得部と、
取得された複数の画像ごとに当該画像内で脈波の検出に用いる関心領域を走査する走査部と、
画像ごとに走査された関心領域を複数の画像の間で組み合わされた組合せごとに当該組合せに含まれる関心領域が持つ画素値から第１の脈波波形を複数生成する生成部と、
複数生成された第１の脈波波形と、基準として設定された第２の脈波波形との間で類似度を算出する算出部と、
前記第２の脈波波形との間で前記類似度が最も高い第１の脈波波形を選択する選択部と
を有することを特徴とする脈波検出装置。

【請求項2】

前記脈波検出装置の移動量を取得する移動量取得部と、
前記画像から生体領域を抽出する抽出部と、
前記移動量取得部によって取得された移動量が所定の閾値以下であった画像から生体領域の位置と、前記複数の画像の撮像時に各画像から取得された移動量とを用いて、前記複数の画像ごとに当該画像に含まれる生体領域を推定する推定部とをさらに有し、
前記走査部は、前記推定部によって推定された生体領域内で前記関心領域を走査することを特徴とする請求項１に記載の脈波検出装置。

【請求項3】

前記第２の脈波波形は、前記移動量取得部によって取得される移動量が所定の閾値以下である期間が所定期間にわたって継続した場合に、当該期間で撮像された複数の画像から生成されることを特徴とする請求項２に記載の脈波検出装置。

【請求項4】

コンピュータが、
カメラによって撮像された画像を取得し、
取得された複数の画像ごとに当該画像内で脈波の検出に用いる関心領域を走査し、
画像ごとに走査された関心領域を複数の画像の間で組み合わされた組合せごとに当該組合せに含まれる関心領域が持つ画素値から第１の脈波波形を複数生成し、
複数生成された第１の脈波波形と、基準として設定された第２の脈波波形との間で類似度を算出し、
前記第２の脈波波形との間で前記類似度が最も高い第１の脈波波形を選択する
処理を実行することを特徴とする脈波検出方法。

【請求項5】

コンピュータに、
カメラによって撮像された画像を取得し、
取得された複数の画像ごとに当該画像内で脈波の検出に用いる関心領域を走査し、
画像ごとに走査された関心領域を複数の画像の間で組み合わされた組合せごとに当該組合せに含まれる関心領域が持つ画素値から第１の脈波波形を複数生成し、
複数生成された第１の脈波波形と、基準として設定された第２の脈波波形との間で類似度を算出し、
前記第２の脈波波形との間で前記類似度が最も高い第１の脈波波形を選択する
処理を実行させることを特徴とする脈波検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脈波検出装置、脈波検出方法及び脈波検出プログラムに関する。

【背景技術】

【0002】

血液の体積の変動、いわゆる脈波を検出する技術の一例として、利用者が撮影された画像から心拍を測定する心拍測定方法が提案されている。かかる心拍測定方法では、Ｗｅｂカメラによって撮像された画像から顔の領域を認識し、顔の領域内の輝度平均値をＲＧＢ成分ごとに算出する。そして、心拍測定方法では、ＲＧＢごとの輝度平均値の時系列データにＩＣＡ（Independent Component Analysis）を適用した上でＩＣＡ後の３つの成分波形のうち１つの成分波形にＦＦＴ（Fast Fourier Transform）を適用する。その上で、心拍測定方法では、ＦＦＴで求めたピーク周波数から心拍数を推定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１３０９９６号公報

【特許文献2】国際公開第２００９／１５０７９３号

【非特許文献】

【0004】

【非特許文献1】“Advancements in Non-contact、 Multiparameter Physiological Measurements Using a Webcam”，Vol.18，No.10，2010

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の技術では、以下に説明するように、脈波の検出精度の向上に自ずから限界がある。

【0006】

すなわち、上記の心拍測定方法では、顔の領域の認識に顔器官の検出が用いられるが、必ずしも心拍の測定に用いられる全ての画像から良好な検出結果が得られるとは限らず、画像上で顔ではない領域が顔と誤認識される場合がある。この場合、顔と誤認識された領域には心拍の成分が含まれないので、心拍の検出精度が低下する。このように、上記の心拍測定方法は、心拍の検出精度が顔の認識精度に依存するので、顔認識の精度が悪化するにしたがって心拍の検出精度も低下する。

【0007】

１つの側面では、本発明は、脈波の検出精度を向上させることができる脈波検出装置、脈波検出方法及び脈波検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

一態様の脈波検出装置は、カメラによって撮像された画像を取得する取得部と、取得された複数の画像ごとに当該画像内で脈波の検出に用いる関心領域を走査する走査部と、画像ごとに走査された関心領域を複数の画像の間で組み合わされた組合せごとに当該組合せに含まれる関心領域が持つ画素値から第１の脈波波形を複数生成する生成部と、複数生成された第１の脈波波形と、基準として設定された第２の脈波波形との間で類似度を算出する算出部と、前記第２の脈波波形との間で前記類似度が最も高い第１の脈波波形を選択する選択部とを有する。

【発明の効果】

【0009】

脈波の検出精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。

【図2】図２は、ピッチ、ロール及びヨーの３軸を示す図である。

【図3】図３は、時間及びセンサ値の関係の一例を示す図である。

【図4】図４は、ＲＯＩの一例を示す図である。

【図5】図５は、基準脈波波形の一例を示す図である。

【図6】図６は、顔領域の推定方法の一例を示す図である。

【図7】図７は、カップリングの一例を示す図である。

【図8】図８は、データ管理表の一例を示す図である。

【図9】図９は、データ管理表の一例を示す図である。

【図10】図１０は、基準脈波波形の一例を示す図である。

【図11】図１１は、データ管理表の一例を示す図である。

【図12】図１２は、補間前の入力脈波波形の一例を示す図である。

【図13】図１３は、補間後の入力脈波波形の一例を示す図である。

【図14】図１４は、脈拍数管理表の一例を示す図である。

【図15】図１５は、実施例１に係る基準脈波生成処理の手順を示すフローチャートである。

【図16】図１６は、実施例１に係る脈波検出処理の手順を示すフローチャートである。

【図17】図１７は、ＲＯＩの応用例を示す図である。

【図18】図１８は、ＲＯＩの応用例を示す図である。

【図19】図１９は、ＲＯＩの応用例を示す図である。

【図20】図２０は、ＲＯＩの応用例を示す図である。

【図21】図２１は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して本願に係る脈波検出装置、脈波検出方法及び脈波検出プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【実施例1】

【0012】

［脈波検出装置の構成］
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で人体に計測器具を接触させずに、生体が撮影された画像を用いて人体の脈波、すなわち心臓の拍動に伴う血液の体積の変動を検出する脈波検出処理を実行するものである。

【0013】

かかる脈波検出装置１０は、一態様として、上記の脈波検出処理がパッケージソフトウェアやオンラインソフトウェアとして提供される脈波検出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、タブレット端末やスレート端末などを含む携帯端末装置に上記の脈波検出プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、一例として、脈波検出装置１０が携帯端末装置として実装される場合を例示して以下の説明を行うが、パーソナルコンピュータを始めとする据置き型の端末装置に脈波検出プログラムをインストールさせることもできる。

【0014】

図１に示すように、脈波検出装置１０は、カメラ１１ａと、ジャイロセンサ１１ｂと、眼検出部１２と、ＲＯＩ（Region of Interest）設定部１３と、基準波形生成部１４と、基準波形記憶部１４ａとを有する。さらに、脈波検出装置１０は、推定部１５と、ＲＯＩ走査部１６と、入力波形生成部１７と、類似度算出部１８と、検出部１９とを有する。

【0015】

この脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、加速度センサをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

【0016】

カメラ１１ａは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。

【0017】

一実施形態として、カメラ１１ａには、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１ａの実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ１１ａを搭載する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１ａを有さずともよい。

【0018】

ここで、以下では、生体の一例として、顔が撮影されるとともに、カメラ１１ａの一実装例として、インカメラが用いられる場合を想定する。このようにカメラ１１ａを用いて顔を撮影させる場合には、図示しない表示デバイス、例えばタッチパネル等による表示や図示しない音声出力デバイスからの音声出力などを通じて、脈波を検出し易い画像がカメラ１１ａによって撮像されるように画像の撮影操作を案内することができる。例えば、上記の脈波検出プログラムは、カメラ１１ａを起動し、カメラ１１ａにカメラ１１ａの撮影範囲に収容された被写体の撮影を開始させる。このとき、脈波検出プログラムは、カメラ１１ａが撮像する画像をディスプレイに表示しつつ、脈波検出装置１０の利用者の鼻を映す目標位置を照準として表示させることもできる。これによって、利用者の眼、耳、鼻や口などの顔パーツの中でも利用者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、カメラ１１ａは、顔が撮像された画像を後段の機能部へ出力する。

【0019】

また、上記の脈波検出プログラムは、上記のガイダンスを必ずしも実行せずともよく、他のプログラム、例えばオペレーティングシステムやアプリケーションプログラムによる表示のバックグラウンドで利用者の顔を撮影させることもできる。例えば、ディスプレイに表示されたテキスト、文書、静止画や動画などを閲覧する利用者の顔を撮影することもできる。この場合には、利用者に撮影を意識させずに、日常の生活の中で画像を採取することができる。

【0020】

ジャイロセンサ１１ｂは、角速度を検出するセンサであり、ジャイロあるいは角速度センサとも呼ばれることがある。

【0021】

一実施形態として、ジャイロセンサ１１ｂには、ピッチ（Ｘ軸）、ロール（Ｙ軸）、ヨー（Ｚ軸）の３軸のジャイロセンサを採用することができる。図２は、ピッチ、ロール及びヨーの３軸を示す図である。図２に示すように、ジャイロセンサ１１ｂは、スクリーンの左右を軸とする回転の角速度、スクリーンの前後を軸とする回転の角速度およびスクリーンの上下を軸とする回転の角速度を検出する。一例として、ジャイロセンサ１１ｂが測定する角速度の単位は「deg/s」であることとし、角速度の正負の符号は右手系に従うこととする。なお、ここでは、３軸のジャイロセンサを採用する場合を例示したが、１軸または２軸のジャイロセンサを採用することとしてもかまわない。

【0022】

ここで、図１に示すカメラ１１ａ及びジャイロセンサ１１ｂ以外の機能部は、基準脈波波形に関する処理を実行する第１の処理系と、基準脈波波形と比較する入力脈波波形に関する処理を実行する第２の処理系とに大別できる。

【0023】

上記の「基準脈波波形」とは、入力脈波波形のレファレンスとする脈波波形を指す。例えば、基準脈波波形は、脈波検出装置１０が安定状態である場合にカメラ１１ａによって撮像された一連の画像から生成される。一方、上記の「入力脈波波形」とは、基準脈波波形と比較される脈波波形を指す。例えば、入力脈波波形は、カメラ１１ａから入力される一連の画像から生成される。このとき、一連の画像からは、複数の入力脈波波形が生成される。詳細は後述するが、各々の入力脈波波形の間では、脈波波形の生成に用いるＲＯＩの位置が一連の画像に含まれる少なくとも１つの画像で互いに異なる。

【0024】

以下、第１の処理系に含まれる各機能部を説明してから第２の処理系に含まれる各機能部についての説明を行うこととする。なお、図１には、第１の処理系及び第２の処理系の両方が１つの装置に実装される場合を例示したが、いずれか一方の処理系だけを実装することとしてもかまわない。

【0025】

第１の処理系には、眼検出部１２、ＲＯＩ設定部１３、基準波形生成部１４及び基準波形記憶部１４ａなどが含まれる。

【0026】

眼検出部１２は、画像から眼を検出する処理部である。

【0027】

一実施形態として、眼検出部１２は、カメラ１１ａによって撮像された画像に対し、テンプレートマッチング等の画像処理を実行することによって利用者の眼、例えば瞳の中心の座標を検出する。このとき、眼検出部１２は、画像に顔検出を実行することによって処理の実行範囲を顔領域に絞り込んでから眼検出を実行することもできる。なお、ここでは、一例として、眼を検出する場合を例示するが、眼以外の顔パーツ、例えば眉、鼻や口などを検出することとしてもよいし、顔領域を検出することとしてもかまわない。

【0028】

ＲＯＩ設定部１３は、ＲＯＩ、いわゆる関心領域を設定する処理部である。

【0029】

一実施形態として、ＲＯＩ設定部１３は、ジャイロセンサ１１ｂによって検出されるセンサ値が閾値以下であるか否かを判定する。このとき、ＲＯＩ設定部１３は、ピッチ、ロール及びヨーの３軸全てのセンサ値を判定に用いることもできるし、一部の軸のセンサ値に絞って判定に用いることもできる。複数の軸の各センサ値を判定に用いる場合には、全てのセンサ値が閾値以下であるかをＡＮＤ条件で判定するのが好ましい。また、上記の判定に用いる閾値の一例としては、スクリーンにタッチ操作がなされていないとみなすことができる程度の値が設定される。

【0030】

そして、センサ値が閾値以下である場合、ＲＯＩ設定部１３は、閾値以下のセンサ値が検出される期間が所定期間にわたって継続したか否かをさらに判定する。以下では、閾値以下のセンサ値が検出される期間のことを「安定期間」と記載する場合がある。また、上記の所定期間の一例としては、一拍分の周期を包含できる程度の長さが設定される。一般に、脈拍数は、遅くとも４０ｂｐｍ（beat per minute）程度である。そして、４０ｂｐｍの１周期は、１．５秒間に相当する。このことから、一例として、所定期間を１．５秒に設定できる。これによって、安定期間が１．５秒にわたって継続した場合には、安定期間の間に撮像された一連の画像の中に利用者の一拍分の輝度変化が収まっていると見做すことができる。

【0031】

ここで、安定期間が所定期間にわたって継続した場合、ＲＯＩ設定部１３は、安定期間の間に撮像された一連の画像に対し、眼検出を実行するように眼検出部１２へ指示する。この結果、一連の画像に眼検出が実行されると、ＲＯＩ設定部１３は、一連の画像の間で左右の瞳孔の代表位置を算出する。例えば、ＲＯＩ設定部１３は、一連の画像の間で瞳孔の座標を左右の眼ごとに平均することによって得た瞳孔の平均座標を各画像の瞳孔を代表する位置として求めることができる。かかる平均値以外にも、最頻値の座標を代表位置としたり、中央値の座標を代表位置として算出することもできる。そして、ＲＯＩ設定部１３は、瞳孔の代表位置から一連の画像に適用するＲＯＩを設定する。例えば、ＲＯＩ設定部１３は、左右の瞳孔の間隔Ｌを算出する。その上で、ＲＯＩ設定部１３は、一例として、両眼の中心位置を重心とし、瞳孔の間隔Ｌを高さ及び幅とする矩形状の領域をＲＯＩとして設定する。

【0032】

図３は、時間及びセンサ値の関係の一例を示す図である。図４は、ＲＯＩの一例を示す図である。図３に示すグラフの縦軸は、角速度の振幅を指し、グラフの横軸は、時刻を指す。図３には、ピッチ角における振幅の時間変化を実線で示すとともにロール角における振幅の時間変化を破線で示し、判定に用いる閾値を一点鎖線で示す。

【0033】

図３に示す例で言えば、時刻ｔ１よりも前の区間では、一時的にピッチ角及びロール角の角速度が閾値以下になったとしても、所定期間が経過するまでの間にピッチ角及びロール角ともに閾値を超える角速度が検出される。この場合、利用者がスクリーン上でタッチ操作を行っていたり、利用者がスクリーンを見ずに脈波検出装置１０を動かしていたりする可能性が高い。この結果、画像にそもそも顔が映っていなかったり、顔が映っていても揺れが原因となって顔や眼の検出に失敗する可能性も高まる。よって、時刻ｔ１よりも前の区間には、ＲＯＩの設定は実行されず、基準脈波波形の生成も実行されない。

【0034】

一方、時刻ｔ１の時点でピッチ角及びロール角の角速度が閾値以下になってからは、時刻ｔ１から所定期間、すなわち１．５秒にわたって両軸の角速度は閾値を超えていない。このため、時刻ｔ１から１．５秒が経過して時刻ｔ２になった時点で、時刻ｔ１から時刻ｔ２までの安定期間の間に撮像された一連の画像に対し、眼検出が実行される。これを受けて、一連の画像の間で左右の瞳孔の代表位置が算出される。その後、図４に示すように、画像２０における右の瞳孔の代表位置ＩＲ及び左の瞳孔の代表位置ＩＬの座標から瞳孔の間隔Ｌが算出されるとともに、両眼の中心位置ＩＣが算出される。その上で、両眼の中心位置ＩＣを重心とし、瞳孔の間隔Ｌを高さ及び幅とする矩形状の領域、図４に示された太枠の矩形がＲＯＩとして設定される。かかるＲＯＩの設定によって、体動が含まれやすい口元などをＲＯＩから除外できる結果、一連の画像に含まれる各ＲＯＩから良好な基準脈波波形を得ることを期待できる。

【0035】

基準波形生成部１４は、ＲＯＩ設定部１３によって設定されたＲＯＩの輝度変化から基準脈波波形を生成する処理部である。

【0036】

一実施形態として、基準波形生成部１４は、一連の画像に含まれる各画像ごとに、当該画像のうちＲＯＩに含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、基準波形生成部１４は、ＲＯＩ内の各画素のＲ成分の輝度値を平均する。この他、平均以外にも、中央値や最頻値を計算することとしてもよく、また、平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。また、Ｒ成分以外のＧ成分またはＢ成分の輝度値を用いることとしてもよいし、ＲＧＢの各波長成分の輝度値を用いることとしてもかまわない。これによって、画像ごとにＲＯＩを代表するＲ成分の輝度値が得られる。以下では、ＲＯＩを代表するＲ成分の輝度値のことを「Ｒ成分の代表輝度値」と記載する場合がある。このとき、Ｒ成分の代表輝度値の時系列データを基準脈波波形とすることもできるが、カメラ１１ａのフレーム周波数が低い場合には、サンプリング点が少なく脈波波形の形状が再現しきれないケースも考えられる。このため、基準波形生成部１４は、一例として、Ｒ成分の代表輝度値の時系列データにスプライン補間等を実行することによってリサンプリングすることもできる。かかるリサンプリングによって、基準脈波波形が生成されることになる。

【0037】

図５は、基準脈波波形の一例を示す図である。図５に示すグラフの縦軸は、振幅を指し、グラフの横軸は、時刻を指す。図５に示すグラフ上にプロットされた点は、一連の画像から得られたＲ成分の代表輝度値を指す。図５に示すように、カメラ１１ａのフレーム周波数にしたがって得られたＲ成分の代表輝度値は、一例として、３次のスプライン補間によって所定のサンプリング周波数を持つ正弦波の信号波形として補間される。このようにリサンプリングされた基準脈波信号が出力された後、基準脈波波形が基準波形記憶部１４ａに記憶される。例えば、スプライン補間によってリサンプリングされた補間時刻ごとにスプライン補間によって得られた補間後のＲ成分の代表輝度値が対応付けて基準波形記憶部１４ａに登録される。

【0038】

続いて、第２の処理系について説明する。第２の処理系には、推定部１５、ＲＯＩ走査部１６、入力波形生成部１７、類似度算出部１８及び検出部１９などが含まれる。

【0039】

推定部１５は、ジャイロセンサ１１ｂを用いて、顔領域を推定する処理部である。

【0040】

一実施形態として、推定部１５は、カメラ１１ａによって所定期間、例えば１．５秒間にわたって画像が撮像される度に、一連の画像の各フレーム間で移動する移動後の顔領域を推定する。例えば、推定部１５は、ジャイロセンサ１１ｂによって出力されるピッチ角、ロール角及びヨー角の各センサ値の正負から顔領域の移動方向を推定するとともに、各センサ値の大きさから顔領域の移動量を推定する。このとき、推定部１５は、基準脈波波形の生成時に検出された顔領域の位置を基準とし、そこからの移動方向および移動量を推定することができる。

【0041】

図６は、顔領域の推定方法の一例を示す図である。図６に示すように、利用者がスクリーンに表示された画像を閲覧する場合には、通常、顔とスクリーンの面を正対させる。例えば、基準脈波波形が生成される場合、すなわち脈波検出装置１０が安定状態にある場合には、上記の通常の姿勢がなされていると推定できる。これを基準として、ピッチ角及びロール角の各センサ値の正負から顔領域の移動方向が推定される。なお、図６には、顔領域の移動方向の推定にピッチ角及びロール角の各センサ値を用いる場合を例示するが、ヨー角のセンサ値をさらに用いることもできる。

【0042】

例えば、ピッチ角の角速度が正の値を計測する場合、すなわち図示の＋ｐ角の場合には、利用者が正対時よりもスクリーンを奥方向に倒した状態で閲覧していることがわかる。この場合、利用者の顔は、正対時にインカメラによって撮像される場合の顔の位置よりも下方向に顔が映ることが推定できる。また、ピッチ角の角速度が負の値を計測する場合、すなわち図示の−ｐ角の場合には、利用者が正対時よりもスクリーンを手前方向に傾けた状態で閲覧していることがわかる。この場合、利用者の顔は、正対時にインカメラによって撮像される場合の顔の位置よりも上方向に顔が映ることが推定できる。

【0043】

また、ロール角の角速度が正の値を計測する場合、すなわち図示の＋ｒ角の場合には、利用者が正対時よりもスクリーンを右方向に傾けた状態で閲覧していることがわかる。この場合、利用者の顔は、正対時にインカメラによって撮像される場合の顔の位置よりも右方向に顔が映ることが推定できる。また、ロール角の角速度が負の値を計測する場合、すなわち図示の−ｒ角の場合には、利用者が正対時よりもスクリーンを左方向に傾けた状態で閲覧していることがわかる。この場合、利用者の顔は、正対時にインカメラによって撮像される場合の顔の位置よりも左方向に顔が映ることが推定できる。

【0044】

これらの対応関係から、ピッチ角及びロール角の各センサ値の正負から顔領域の移動方向を推定し、各センサ値の多寡によって移動量を推定できる。

【0045】

ＲＯＩ走査部１６は、ＲＯＩを走査する処理部である。

【0046】

一実施形態として、ＲＯＩ走査部１６は、推定部１５によって一連の画像から推定された顔領域ごとに当該顔領域内でＲＯＩを移動させる。このとき、ＲＯＩ走査部１６は、ＲＯＩの一例として、ＲＯＩ設定部１３によって設定されたＲＯＩ、すなわち瞳孔の間隔Ｌを高さ及び幅とする矩形状の領域を用い、ラスタースキャン等の手法にしたがって顔領域内でＲＯＩを移動させることができる。

【0047】

入力波形生成部１７は、入力脈波波形を生成する処理部である。

【0048】

一実施形態として、入力波形生成部１７は、一連の画像の間でＲＯＩ走査部１６によって顔領域ごとに走査されるＲＯＩをカップリングする。例えば、一連の画像の数をｎとし、一連の画像に含まれる１つの画像の顔領域で走査されるＲＯＩの数をＳとしたとき、全ての組合せにわたってＲＯＩをカップリングする場合には、Ｓ^ｎ通りの組合せが得られることになる。このように、全ての組合せにわたってＲＯＩをカップリングすることもできるが、一連の画像に含まれる各顔領域の間で同一の相対位置を持つＲＯＩ同士をカップリングすることによってカップリング数をＳ通りまで低減することもできる。

【0049】

図７は、カップリングの一例を示す図である。図７には、一連の画像に含まれる画像のうち３つが抜粋して図示されている。図７に示す符号３０、符号３１及び符号３２は、いずれも一連の画像に含まれる画像である。また、図７に示す画像３０〜３２のうち、画像３０は、時刻ｔに撮像されたものであり、画像３１は、時刻ｔ＋１に撮像されたものであり、また、画像３２は、時刻ｔ＋２に撮像されたものである。また、図７に示す符号３０Ａ、符号３１Ａ及び符号３２Ａは、いずれも推定部１５によって推定された顔領域の推定結果を指す。さらに、図７に示す塗りつぶしは、顔領域３０Ａ〜３２Ａの間で同一の相対位置を持つＲＯＩを指す。図７に示すように、顔領域３０Ａ〜３２Ａで走査されるＲＯＩをカップリングする場合には、顔領域３０Ａ〜３２Ａの間で同一の相対位置を持つＲＯＩ同士をカップリングすることができる。これによって、全ての組合せにわたってＲＯＩをカップリングする場合よりも以降の処理で演算量を低減できる。

【0050】

その後、入力波形生成部１７は、ＲＯＩがカップリングされる度に、当該カップリングの組合せに含まれるＲＯＩごとに、当該ＲＯＩに含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、入力波形生成部１７は、ＲＯＩ内の各画素のＲ成分の輝度値を平均する。この他、平均以外にも、中央値や最頻値を計算することとしてもよく、また、平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。また、Ｒ成分以外のＧ成分またはＢ成分の輝度値を用いることとしてもよいし、ＲＧＢの各波長成分の輝度値を用いることとしてもかまわない。これによって、画像ごとに「Ｒ成分の代表輝度値」が得られる。このとき、Ｒ成分の代表輝度値の時系列データを入力脈波波形とすることもできるが、上記の基準脈波波形と同様に、Ｒ成分の代表輝度値の時系列データにスプライン補間等を実行することによってリサンプリングすることもできる。かかるリサンプリングによって、入力脈波波形が生成されることになる。

【0051】

このように、入力波形生成部１７は、一連の画像に含まれる各顔領域の間で同一の相対位置を持つＲＯＩ同士をカップリングすることによってＳ通りの入力脈波波形を生成する。

【0052】

類似度算出部１８は、基準脈波波形と入力脈波波形の類似度を算出する処理部である。

【0053】

一実施形態として、類似度算出部１８は、上記の類似度の一例として、基準脈波波形と入力脈波波形の間で相関係数を算出する。かかる相関係数は、一例として、下記の式（１）にしたがって算出することができる。下記の式（１）における「ｘ」は、入力脈波波形のＲ成分の代表輝度値を指し、「ｙ」は、基準脈波波形のＲ成分の代表輝度値を指す。また、下記の式（１）における「Ｎ」は、入力脈波波形及び基準脈波波形のデータ数、すなわちサンプリング数を指す。また、下記の式（１）における「ｘ」及び「ｙ」に付された上付きのバーは、その平均値を指す。このように、類似度算出部１８は、基準脈波波形とＳ個の入力脈波波形との間で各々の類似度を算出する。これによって、Ｓ個の入力脈波波形ごとに類似度が得られることになる。

【0054】

【数1】

【0055】

検出部１９は、入力脈波波形から脈波を検出する処理部である。

【0056】

一実施形態として、検出部１９は、入力波形生成部１７によって生成された入力脈波波形のうち類似度算出部１８によって算出された類似度が最高である入力脈波波形を選択する。その上で、検出部１９は、脈波の検出結果の一態様として、先に選択を行った入力脈波波形をそのまま出力することもできるし、入力脈波波形から求めた脈拍数を出力することもできる。例えば、脈拍数を計算する方法の一例として、入力脈波波形の振幅値が出力される度に、入力脈波波形のピーク検出、例えば微分波形のゼロクロス点の検出などを実行する。このとき、検出部１９は、ピーク検出によって入力脈波波形のピークが検出された場合に、当該ピーク、すなわち極大点が検出されたサンプリング時間を図示しない内部メモリに保存する。その上で、検出部１９は、ピークが出現した時点で、所定のパラメータｎ個前の極大点との時刻差を求め、それをｎで除算することによって脈拍数を検出することができる。なお、ここでは、ピーク間隔によって脈拍数を検出する場合を例示したが、入力脈波波形を周波数成分へ変換することによって脈波に対応する周波数帯、例えば４０ｂｐｍ以上１８０ｂｐｍ以下の周波数帯でピークをとる周波数から脈拍数を算出することもできる。

【0057】

このようにして得られる脈拍数や脈波波形は、脈波検出装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

【0058】

なお、上記の眼検出部１２、ＲＯＩ設定部１３、基準波形生成部１４、推定部１５、ＲＯＩ走査部１６、入力波形生成部１７、類似度算出部１８及び検出部１９は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに脈波検出プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0059】

また、上記の基準波形記憶部１４ａや内部メモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash Memory）、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

【0060】

［具体例］
続いて、図８〜図１４を用いて、脈波検出の具体例を説明する。図８、図９及び図１１は、データ管理表の一例を示す図である。図１０は、基準脈波波形の一例を示す図である。図１２は、補間前の入力脈波波形の一例を示す図である。図１３は、補間後の入力脈波波形の一例を示す図である。図１４は、脈拍数管理表の一例を示す図である。これら図８〜図１４の例では、説明の便宜上、カメラ１１ａのフレームレートを５００ｍｓとし、所定期間を１．５秒とし、基準脈波波形の生成および脈拍数の検出を実行する場合を例示するが、各パラメータは任意に変更できる。

【0061】

脈波検出の処理内容を説明する前に、データ管理表に含まれる項目について説明する。図８、図９及び図１１に示すデータ管理表には、時刻、画像ＩＤ、ジャイロセンサ値、状態変化フラグ、瞳孔間隔、ＲＯＩ、ＲＯＩ内部の平均Ｒ値及び顔領域などの項目が対応付けられたテーブルが採用される。なお、ここでは、１人の利用者のデータ管理表を例示するが、脈波検出装置１０の利用者ごとにデータ管理表を作成することもできる。

【0062】

上記の「時刻」には、一例として、「ｈｈ：ｍｍ：ｓｓ」を採用できるが、日次管理を行う場合には、年月日をさらに追加することもできる。また、時刻は、脈波検出装置１０が計測するローカルな経過時間であってもかまわない。かかる「時刻」の間隔は、カメラ１１ａのフレームレートに従うこととする。また、「画像ＩＤ」は、画像を識別する識別情報を指す。ここでは、カメラ１１ａによって画像が撮像される度に、シーケンス番号、いわゆる通し番号が採番される場合を想定するが、各画像を識別することができればよく、任意のＩＤの採番形態を採用できる。

【0063】

また、「ジャイロセンサ値」とは、ジャイロセンサ１１ｂによって測定されたセンサ値を指し、例えば、ピッチ角及びロール角の角速度（deg）が「（rol,pit）」と記述される。また、「状態変化フラグ」とは、脈波検出装置１０の状態変化の有無を表すフラグである。ここでは、一例として、ジャイロセンサ１１ｂのセンサ値が所定の閾値、例えば（10,10）未満である場合には「１」が設定される一方で、（10,10）以上である場合には「０」が設定されることとする。

【0064】

また、「瞳孔間隔」とは、カメラ１１ａによって撮像された画像から検出された左右の瞳孔の間隔を指し、例えば、ピクセル数によって表される。また、「ＲＯＩ」とは、画像のうち脈波検出に用いる関心領域を指し、上述のように、両眼の中心位置を重心とし、瞳孔の間隔Ｌを高さ及び幅とする矩形状の領域が設定される。ここでは、一例として、ＲＯＩの左上の頂点が持つ座標、ＲＯＩの高さ及びＲＯＩの幅によってＲＯＩが規定される場合を例示する。また、「ＲＯＩ内部の平均Ｒ値」とは、ＲＯＩ内部にある各画素のＲ成分の代表輝度値を指す。また、「顔領域」とは、画像のうち利用者の顔と推定された領域である。

【0065】

このようなデータ管理表が準備された状況の下、カメラ１１ａによって画像が撮像される度に、当該画像が撮像された時刻、当該画像に採番された画像ＩＤおよびジャイロセンサ値がデータ管理表に記録される。すると、各時刻のジャイロセンサ値と閾値（10,10）とを比較することによって状態変化フラグが設定される。図８に示す例で言えば、ロール角またはピッチ角のいずれかの角速度の絶対値が１０ｄｅｇ／ｓｅｃ以上を計測する画像ＩＤ「２」、「６」及び「８」のレコードには、状態変化フラグに「０」が設定される一方で、それ以外の画像ＩＤのレコードには、状態変化フラグに「１」が設定される。なお、瞳孔間隔には、ＲＯＩ設定部１３よって各画像から算出された瞳孔の間隔がそのまま保存される。

【0066】

そして、状態変化フラグ「１」が３つ連続する場合、すなわち安定期間が１．５秒にわたって継続した場合には、状態変化フラグ「１」が連続する３つのレコードを対象に、基準脈波波形の生成が開始される。図８に示す例で言えば、画像ＩＤ「３」〜「５」の一連の画像の間で瞳孔の座標を左右の眼ごとに平均することによって得た瞳孔の平均座標から瞳孔の間隔Ｌを求め、両眼の中心座標を基準にＲＯＩが設定される。すなわち、ＲＯＩの左上の頂点が持つ座標（50,200）、ＲＯＩの高さ「100」及びＲＯＩの幅「100」がＲＯＩとして設定される。その後、画像ＩＤ「３」〜「５」の一連の画像の各々に含まれるＲＯＩごとにＲ成分の代表輝度値「２００」、「２１０」、「２０５」が記録されるとともに、眼検出部１２によって各画像から検出された顔領域の左上の頂点が持つ座標と、顔領域の高さ及び幅とが記録される。

【0067】

続いて、画像ＩＤ「３」〜「５」におけるＲ成分の代表輝度値の時系列データに対し、スプライン補間が実行される。これによって、サンプリング間隔が０．０２秒であるＲ成分の代表輝度値の時系列データにリサンプリングされる。このようにしてリサンプリングされたＲ成分の代表輝度値の時系列データが図１０に示す基準脈波波形として記録される。

【0068】

そして、図１０に示すように、画像ＩＤ「３」〜「５」の区間、すなわちαの区間で基準脈波波形が生成された後に、画像ＩＤ「６」以降の区間、すなわちβの区間で脈波を検出する処理が開始される。かかるβの区間では、αの区間、すなわち基準脈波波形の生成が実行される画像ＩＤ「３」〜「５」の区間で得られた瞳孔間隔からＲＯＩの高さおよび幅として記入される。

【0069】

続いて、図１１に示すように、βの区間、例えば画像ＩＤ「６」〜「８」の区間でジャイロセンサ値から顔領域が推定される。すなわち、画像ＩＤ「６」〜「８」のジャイロセンサ値の正負から移動方向を推定するとともに、ジャイロセンサ値の多寡によって前フレームからの移動量を推定する。例えば、画像ＩＤ「６」の例で言えば、ロール角の角速度の符号が「正」である一方で、ピッチ角の角速度の符号が「負」であるので、画像ＩＤ「６」における顔領域は、画像ＩＤ「５」における顔領域よりも右上の方向に移動していると推定できる。さらに、例えば、ジャイロセンサ値に１０の変化があれば、顔領域を５０画素移動させる（ジャイロセンサ値：画素＝１：５）。この場合、画像ＩＤ「５」における顔領域の左上頂点の座標（160,280）に対し、ｘの値に１００（＝２０×５）を加える一方でｙの値から−１００（−２０×５）減算することによって画像ＩＤ「６」における顔領域の左上頂点の座標（260,180）が算出される。また、顔移動の高さ及び幅については、αの区間、すなわち脈波検出装置１０が安定状態にある区間に取得した平均値が用いられる。このようにして推定された画像ＩＤ「６」〜「８」の区間における顔領域がデータ管理表に記録される。

【0070】

続いて、画像ＩＤ「６」〜「８」の区間における顔領域ごとに当該顔領域内でＲＯＩが移動される。例えば、２画素ずつＲＯＩを走査し、当該ＲＯＩからＲ成分の代表輝度値が算出される。その上で、画像ＩＤ「６」〜「８」の区間に含まれる各顔領域の間で同一の相対位置を持つＲＯＩ同士をカップリングする。これによって、図１２に示すように、Ｓ個のＲ成分の代表輝度値の時系列データが得られる。これが補間前の入力脈波波形として記録される。その後、補間前の入力脈波波形にスプライン補間が実行される。これによって、図１３に示すように、サンプリング間隔が０．０２秒へ補間された補間後の入力脈波波形が記録される。そして、補間後の入力脈波波形、すなわち図１３に示す脈波ＩＤ「０１」〜「０Ｓ」の全ての脈波ＩＤの入力脈波波形ごとに脈拍数の算出が実行されると、図１４に示すように、脈波ＩＤ「０１」〜「０Ｓ」ごとの脈拍数が基準脈波波形との間で算出される相関係数とともに脈拍数管理表に記録される。その後、図１４に示す脈拍数管理表に記録された脈拍数のうち相関係数が最も高い脈波ＩＤを持つ脈拍数を選択する。

【0071】

このように、複数の入力脈波波形から最も高い相関係数の入力脈波波形を選択することによってＲＯＩの位置補正を実現できる。このため、画像の移動および眼の誤検出に関わらず、複数の入力脈波波形を用いてＲＯＩの位置補正を実現できるので、時間的に連続する顔画像から肌領域を安定して取得でき、入力脈波波形へ変換する時にＳ／Ｎ比が改善される。したがって、脈波の検出精度を向上させることができる。さらに、脈波検出装置１０の操作時による画像の移動および眼の誤検出に関わらず、顔の移動先を推定し、推定した顔の移動先に絞ってＲＯＩを走査するので、探索時間も短縮できる。

【0072】

［処理の流れ］
続いて、本実施例に係る脈波検出装置の処理の流れについて説明する。なお、ここでは、脈波検出装置１０によって実行される（１）基準波形生成処理を説明してから（２）脈波検出処理について説明することとする。

【0073】

（１）基準波形生成処理
図１５は、実施例１に係る基準脈波生成処理の手順を示すフローチャートである。この処理は、脈波検出プログラムがアクティブな状態にある場合に実行することもできるし、脈波検出プログラムがバックグラウンドで動作している場合にも実行することができる。なお、本処理は、後述の脈波検出処理と並行して実行することも可能である。

【0074】

図１５に示すように、カメラ１１ａによって撮像された画像が取得されるとともに、当該画像が撮像された時にジャイロセンサ１１ｂによって測定された角速度が取得される（ステップＳ１０１及びステップＳ１０２）。

【0075】

すると、ＲＯＩ設定部１３は、ステップＳ１０２で取得されたセンサ値が閾値以下であるか否かを判定する（ステップＳ１０３）。そして、センサ値が閾値以下である場合（ステップＳ１０３Ｙｅｓ）、ＲＯＩ設定部１３は、閾値以下のセンサ値が検出される期間、すなわち安定期間が所定期間にわたって継続したか否かをさらに判定する（ステップＳ１０４）。

【0076】

ここで、安定期間が所定期間にわたって継続した場合（ステップＳ１０４Ｙｅｓ）、眼検出部１２は、安定期間の間に撮像された一連の画像に対し、眼検出を実行する（ステップＳ１０５）。その後、ＲＯＩ設定部１３は、ステップＳ１０５で画像ごとに得られた瞳孔の座標を用いて一連の画像の間で瞳孔の代表位置を左右の眼ごとに算出し、左右の眼の瞳孔の代表位置から一連の画像に適用するＲＯＩを設定する（ステップＳ１０６）。

【0077】

その後、基準波形生成部１４は、一連の画像に含まれる各画像ごとに、当該画像に含まれるＲＯＩ内部でＲ成分の代表輝度値を算出することによって基準脈波波形を生成し（ステップＳ１０７）、当該基準脈波波形を基準波形記憶部１４ａへ登録し、処理を終了する。

【0078】

（２）脈波検出処理
図１６は、実施例１に係る脈波検出処理の手順を示すフローチャートである。この処理は、脈波検出プログラムがアクティブな状態にある場合に実行することもできるし、脈波検出プログラムがバックグラウンドで動作している場合にも実行することができる。なお、本処理は、上記の基準脈波生成処理と並行して実行することも可能である。

【0079】

図１６に示すように、カメラ１１ａによって撮像された画像が取得されるとともに、当該画像が撮像された時にジャイロセンサ１１ｂによって測定された角速度が取得される（ステップＳ３０１及びステップＳ３０２）。

【0080】

そして、前回に脈波の検出を実行してから所定期間、例えば１．５秒間が経過した場合（ステップＳ３０３Ｙｅｓ）には、推定部１５は、ステップＳ３０２で所定期間にわたって測定されたセンサ値を用いて、一連の画像に含まれる画像ごとに当該画像の顔領域を推定する（ステップＳ３０４）。

【0081】

続いて、ＲＯＩ走査部１６は、ステップＳ３０４で一連の画像から推定された顔領域ごとに当該顔領域内でＲＯＩを走査する（ステップＳ３０５）。その後、入力波形生成部１７は、ステップＳ３０５で走査されたＲＯＩ、すなわち同一の相対位置を持つＲＯＩをカップリングする（ステップＳ３０６）。そして、入力波形生成部１７は、ステップＳ３０６でカップリングされた組合せに含まれるＲＯＩごとに、当該ＲＯＩ内部でＲ成分の代表輝度値を算出することによって入力脈波波形を生成する（ステップＳ３０７）。

【0082】

その後、ＲＯＩの全組合せ、例えばＳ通りの組合せを対象に入力脈波波形を生成するまで（ステップＳ３０８Ｎｏ）、上記のステップＳ３０５〜ステップＳ３０７の処理を繰り返し実行する。

【0083】

そして、ＲＯＩの全組合せを対象に入力脈波波形を生成すると（ステップＳ３０８Ｙｅｓ）、類似度算出部１８は、基準波形記憶部１４ａに記憶された基準脈波波形と、入力波形生成部１７によって生成された入力脈波波形との間で類似度を算出する（ステップＳ３０９）。

【0084】

その後、全ての入力脈波波形について類似度を算出するまで（ステップＳ３１０Ｎｏ）、上記のステップＳ３０９の処理を繰り返し実行する。そして、全ての入力脈波波形について類似度を算出すると（ステップＳ３１０Ｙｅｓ）、検出部１９は、類似度が最高である入力脈波波形を選択する（ステップＳ３１１）。その後、検出部１９は、ステップＳ３１１で選択された入力脈波波形から脈拍数を検出する（ステップＳ３１２）。

【0085】

そして、上記のステップＳ３０１に戻り、ステップＳ３０１〜ステップＳ３１２までの処理を繰り返し実行する。

【0086】

［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、カメラ１１ａから入力される画像から複数の入力脈波波形を生成し、複数の入力脈波波形のうち端末安定時に生成された基準脈波波形との間で類似度が最高の入力脈波波形を選択する。したがって、本実施例に係る脈波検出装置１０によれば、脈波の検出精度を向上させることができる。

【実施例2】

【0087】

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

【0088】

［入力信号］
上記の実施例１では、入力信号としてＲＧＢ信号を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、ＨＳＶ信号を用いることとしてもよいし、あるいはＩＲおよびＮＩＲなどの信号を２つ用いることもできるし、また、３つ以上用いることもできる。

【0089】

［ＲＯＩの応用例］
上記の実施例１では、両眼の中心位置を重心とし、瞳孔の間隔Ｌを高さ及び幅とする矩形状の領域をＲＯＩとして例示したが、ＲＯＩには任意の形状や大きさを設定することができる。図１７〜図２０は、ＲＯＩの応用例を示す図である。例えば、図１７に示すように、顎から頭頂までの頭部全体をＲＯＩとして設定することもできるし、図１８に示すように、眉毛よりも上部の所定の範囲、例えば前髪等にかかりにくい範囲までをＲＯＩとして設定することもできる。また、図１９に示すように、上下は鼻から眉のあたりまで、左右は鼻の幅によって規定される範囲をＲＯＩとして設定することもできるし、図２０に示すように、頬の一部をＲＯＩとして設定することもできる。

【0090】

［基準脈波波形の更新］
基準脈波波形は、固定のデータではなく、任意の契機で更新することもできる。一例としては、図１５に示す処理で最新の基準脈波波形に更新することもできる。他の一例としては、図１６に示す処理で類似度が最高である入力脈波波形を基準脈波波形として更新することもできる。この場合、類似度が所定の閾値以上である場合、例えば相関係数が０．９以上である場合などに限って基準脈波波形を更新することもできる。

【0091】

［他の実装例］
上記の実施例１では、脈波検出装置１０が上記の脈波検出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、脈波検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に脈波検出処理を実行し、心拍の検出結果や検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービスを提供できる。

【0092】

［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２１を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。

【0093】

図２１は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図２１に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

【0094】

ＨＤＤ１７０には、図２１に示すように、上記の実施例１で示した眼検出部１２、ＲＯＩ設定部１３、基準波形生成部１４、推定部１５、ＲＯＩ走査部１６、入力波形生成部１７、類似度算出部１８及び検出部１９と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の眼検出部１２、ＲＯＩ設定部１３、基準波形生成部１４、推定部１５、ＲＯＩ走査部１６、入力波形生成部１７、類似度算出部１８及び検出部１９の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

【0095】

そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図２１に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１に示した眼検出部１２、ＲＯＩ設定部１３、基準波形生成部１４、推定部１５、ＲＯＩ走査部１６、入力波形生成部１７、類似度算出部１８及び検出部１９にて実行される処理、例えば図１５や図１６に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

【0096】

なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

【符号の説明】

【0097】

１０ 脈波検出装置
１１ａ カメラ
１１ｂ ジャイロセンサ
１２ 眼検出部
１３ ＲＯＩ設定部
１４ 基準波形生成部
１４ａ 基準波形記憶部
１５ 推定部
１６ ＲＯＩ走査部
１７ 入力波形生成部
１８ 類似度算出部
１９ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】