特許 7584617 脈波推定装置及び脈波推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-07

(45)【発行日】2024-11-15

(54)【発明の名称】脈波推定装置及び脈波推定方法

(51)【国際特許分類】

   A61B 5/02 20060101AFI20241108BHJP

   A61B 5/00 20060101ALI20241108BHJP

   A61B 5/11 20060101ALI20241108BHJP

【ＦＩ】

A61B5/02 310Z

A61B5/00 101A

A61B5/11 120

【請求項の数】 4

(21)【出願番号】P 2023500249

(86)(22)【出願日】2021-02-19

(86)【国際出願番号】 JP2021006237

(87)【国際公開番号】W WO2022176137

(87)【国際公開日】2022-08-25

【審査請求日】2023-06-06

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】村地 遼平

(72)【発明者】

【氏名】中村 雄大

【審査官】亀澤 智博

(56)【参考文献】

【文献】国際公開第２０１６／００６０２７（ＷＯ，Ａ１）

【文献】特開２０１６－１９３０２２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１６９９６（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１１５１３７０１（ＣＮ，Ａ）

【文献】特開２０１９－１７０８６８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０２９６６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０８５８９４（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１５８６２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／１４９５

(57)【特許請求の範囲】

【請求項1】

脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得する取得部と、
前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出する検出部と、
前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の動きが生じた後の位置を示すトラッキング点を設定するトラッキング部と、
前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき第１の計測領域の位置を設定する第１の設定部と、
前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記第１の計測領域と異なる第２の計測領域の位置を設定する第２の設定部と、
前記第１の設定部により設定された第１の画像フレーム内の第１の計測領域、及び、前記第２の設定部により設定された第２の画像フレーム内の第２の計測領域内の画素の輝度値を計測する計測部と、
前記計測された第１の画像フレーム内の第１の計測領域の輝度値と前記計測された第２の画像フレーム内の第２の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する推定部と、
を含む脈波推定装置。

【請求項2】

前記検出部及び前記トラッキング部は、それぞれ、前記顔器官点の検出、及び前記トラッキング点の設定を、各画像フレーム毎に行う請求項１記載の脈波推定装置。

【請求項3】

前記検出部及び前記トラッキング部は、それぞれ、前記顔器官点の抽出、及び前記トラッキング点の設定を、予め定められた数の画像フレーム毎に行う請求項１記載の脈波推定装置。

【請求項4】

取得部が、脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得し、
検出部が、前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出し、
トラッキング部が、前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の動きが生じた後の位置を示すトラッキング点を設定し、
第１の設定部が、前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき第１の計測領域の位置を設定し、
第２の設定部が、前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記第１の計測領域と異なる第２の計測領域の位置を設定し、
計測部が、前記第１の設定部により設定された第１の画像フレーム内の第１の計測領域、及び、前記第２の設定部により設定された第２の画像フレーム内の第２の計測領域内の画素の輝度値を計測し、
推定部が、前記計測された第１の画像フレーム内の第１の計測領域の輝度値と前記計測された第２の画像フレーム内の第２の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する、
脈波推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、脈波推定装置及び脈波推定方法に関する。

【背景技術】

【0002】

生体の状況、例えば、血圧を非接触で測定する特許文献１に記載の生体情報計測装置は、前記生体が撮像された複数の画像フレームの各々で、前記血圧を測定するための皮膚領域を顔器官内の画像に設定する必要がある。前記生体情報計測装置は、前記皮膚領域を設定すべく、例えば、一の画像フレーム内で前記顔器官の位置を検出するという顔器官検出処理を行う。前記生体情報計測装置は、他方で、前記一の画像フレームに後続する複数の画像フレームについては、上記した顔器官検出処理を行うことに代えて、現在の画像フレームでの皮膚領域の位置を、一つ前の画像フレームでの皮膚領域の位置を参照して設定するという、トラッキング処理を行う。

【0003】

上記したトラッキング処理を挟む前後の画像フレーム間に前記生体の顔器官に動きが生じると、例えば、顔の表情の変化、顔の位置の移動等が生じると、前記顔器官の動きが生じる前である、前記トラッキング処理前の画像フレームでの皮膚領域の位置と、前記顔器官の動きが生じた後である、前記後の画像フレームでの皮膚領域の位置との間に、ずれが生じる。従って、連続する複数の画像フレームにトラッキング処理を順次行うと、上記したずれが蓄積される。前記生体情報計測装置は、当該蓄積されたずれを解消すべく、即ち、リセットすべく、上記した顔器官検出処理であるリセット処理を、予め定められた数の画像フレーム毎に行う。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１９００２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記した生体情報計測装置では、上記した顔器官検出処理により検出された、一の画像フレームでの皮膚領域の位置と、前記一の画像フレームから上記した予め定められた数の画像フレーム以上に離れることなく後続していることにより前記リセット処理がまだ行われない他の画像フレームにおいて上記したトラッキング処理により検出された皮膚領域の位置との間には、前記一の画像フレーム及び前記他の画像フレーム間で前記トラッキング処理が順次行われることに起因して、上記した蓄積されたずれが生じるという問題があった。

【0006】

上記した生体情報測定装置では、また、上記したリセット処理を挟む前後の画像フレーム間で、前記リセット処理が行われる前の画像フレームにおける、前記蓄積されたずれを伴う皮膚領域の位置と、前記リセット処理が行われた後の画像フレームにおける、前記リセット処理の結果としてずれを伴わない皮膚領域の位置との間に、前記蓄積されたずれが生じるという問題もあった。

【0007】

本開示の目的は、上記した２つの問題のうち少なくとも一つを解決する脈波推定装置を提供することにある。

【課題を解決するための手段】

【0008】

上記した課題を解決すべく、本開示に係る脈波推定装置は、脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得する取得部と、前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出する検出部と、前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の動きが生じた後の位置を示すトラッキング点を設定するトラッキング部と、前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき第１の計測領域の位置を設定する第１の設定部と、前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記第１の計測領域と異なる第２の計測領域の位置を設定する第２の設定部と、前記第１の設定部により設定された第１の画像フレーム内の第１の計測領域、及び、前記第２の設定部により設定された第２の画像フレーム内の第２の計測領域内の画素の輝度値を計測する計測部と、前記計測された第１の画像フレーム内の第１の計測領域の輝度値と前記計測された第２の画像フレーム内の第２の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する推定部と、を含む。

【発明の効果】

【0009】

本開示に係る脈波推定装置によれば、トラッキング処理が順次行われることに伴い蓄積されたずれが生じるという事態を回避することができる。本開示に係る脈波推定装置によれば、また、リセット処理を挟む前後の画像フレーム間で蓄積されたずれが生じるという事態を回避することができる。従って、本開示に係る脈波推定装置は、上記した２つの蓄積されたずれのうち少なくとも一つが生じる脈波推定装置に比して高い精度で、前記対象者の脈波を推定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態の脈波推定装置１の機能ブロック図である。

【図2】実施形態の撮影部１１及び検出部１２の動作を示す。

【図3】実施形態の設定部１３の構成を示す。

【図4】実施形態の顔器官検出ユニット１３Ａの動作を示す。

【図5】実施形態のトラッキングユニット１３Ｂの動作を示す。

【図6】実施形態の脈波推定装置１の構成を示す。

【図7】実施形態の脈波推定装置１の動作を示すフローチャートである。

【図8】実施形態の脈波推定装置１の動作を示すタイムチャートである。

【図9】比較例の脈波推定装置の動作を示す。

【発明を実施するための形態】

【0011】

本開示に係る脈波推定装置の実施形態について説明する。

【0012】

実施形態１．
〈実施形態〉
〈実施形態の構成〉
図１は、実施形態の脈波推定装置１の機能ブロック図である。

【0013】

以下、実施形態の脈波推定装置１の機能について、図１を参照して説明する。

【0014】

実施形態の脈波推定装置１は、撮影された画像中の画素の輝度に基づき脈波を推定すべく、図１に示されるように、撮影部１１と、検出部１２と、設定部１３と、計測部１４と、推定部１５とを含む。

【0015】

撮影部１１は、「取得部」に対応し、計測部１４は、「計測部」に対応し、推定部１５は、「推定部」に対応する。設定部１３についての対応関係は、後述する。

【0016】

後述されるように、肌領域を検出する検出部１２は、顔器官点を検出する「検出部」に対応せず、他方で、顔器官検出処理及びトラッキング処理を行う設定部１３内の顔器官検出ユニット１３Ａが、「検出部」に対応し、かつ、「第１の設定部」にも対応する。

【0017】

以下では、説明及び理解を容易にすべく、符号に付された添え字が省略された符号を用いて総称することがある。例えば、画像フレームＦ１～Ｆｍを画像フレームＦと総称することがあり、また、肌領域Ｓ１～Ｓｍを肌領域Ｓと総称することがある。

【0018】

図２は、実施形態の撮影部１１及び検出部１２の動作を示す。

【0019】

撮影部１１は、例えば、カメラであり、図２に示されるように、脈波を推定すべき対象者Ｔの画像Ｇ、例えば、対象者Ｔの上半身、特に、対象者Ｔの顔を中心とする画像Ｇを撮影する。画像Ｇは、図２に示されるように、連続する複数の画像フレームＦ１、Ｆ２、Ｆ３、．．．、Ｆｍを含む。ここで、ｍは、２以上の整数である。

【0020】

例えば、画像フレームＦ１と画像フレームＦ２とは、相互に前後し、同様に、画像フレームＦ２と画像フレームＦ３とは、相互に前後する。

【0021】

撮影部１１は、撮影された複数の画像フレームＦ１～Ｆｍを検出部１２へ出力する。

【0022】

検出部１２は、図２に示されるように、例えば、画像フレームＦ１から、肌領域Ｓ１を検出する。肌領域Ｓ１は、画像フレームＦ１における、前記対象者Ｔの顔の全体の位置、形状、及びサイズ等を表す矩形領域である。

【0023】

検出部１２は、画像フレームＦ１から肌領域Ｓ１を検出することと同様に、他の画像フレームＦ２、Ｆ３、．．．、Ｆｍから、肌領域Ｓ２、Ｓ３、．．．、Ｓｍを検出する。

【0024】

以下では、説明及び理解を容易にすべく、例えば、肌領域Ｓ１自体、及び肌領域Ｓ１を示す情報の両者を、肌領域Ｓ１により総称する。他の肌領域Ｓ２～Ｓｍについても同様である。

【0025】

肌領域Ｓ１～Ｓｍは、上記した対象者Ｔの顔に代えて、対象者Ｔの他の部位、例えば、対象者Ｔの首、肩、腕、手等の位置等を表してもよい。肌領域Ｓ１～Ｓｍは、上記した対象者Ｔの顔の全体に代えて、対象者Ｔの顔の一部分、例えば、対象者Ｔの顔のうち額、眉、眼、鼻、口、頬、顎等の１つ以上を含む一部分の位置等を表してもよい。肌領域Ｓ１～Ｓｍは、上記した、対象者Ｔの顔の全体、及び対象者Ｔの顔の一部分についての個数が限定されない。より詳しくは、肌領域Ｓ１～Ｓｍは、１つ、例えば、対象者Ｔの顔の全体の位置等のみを表してもよく、また、２つ、例えば、対象者Ｔの右頬の位置等及び対象者Ｔの左頬等の位置等を表してもよく、さらに、３つ、例えば、対象者Ｔの鼻の位置等、対象者Ｔの口の位置等、及び対象者Ｔの顎の位置等を表してもよい。

【0026】

図１に戻り、検出部１２は、複数の画像フレームＦ１～Ｆｍ、及び、複数の肌領域Ｓ１～Ｓｍを設定部１３へ出力する。

【0027】

図３は、実施形態の設定部１３の構成を示す。

【0028】

設定部１３は、図３に示されるように、顔器官検出ユニット１３Ａと、トラッキングユニット１３Ｂとを有する。顔器官検出ユニット１３Ａは、「検出部」及び「第１の設定部」に対応し、トラッキングユニット１３Ｂは、「トラッキング部」及び「第２の設定部」に対応する。

【0029】

顔器官検出ユニット１３Ａは、前後する２つのフレーム間での輝度差、例えば、画像フレームＦ２と直後の画像フレームＦ３との間での輝度差を算出することができるようにすべく、前に位置する画像フレームＦ２について、顔器官検出処理を行う。

【0030】

トラッキングユニット１３Ｂは、顔器官検出ユニット１３Ａと同様に、前後する２つのフレーム間での輝度差を算出することができるようにするものの、顔器官検出ユニット１３Ａと相違し、例えば、画像フレームＦ２と直前の画像フレームＦ１との間の輝度差を算出することができるようにすべく、後に位置する画像フレームＦ２について、トラッキング処理を行う。

【0031】

上記した、顔器官検出ユニット１３Ａによる顔器官検出処理、及び、トラッキングユニット１３Ｂによるトラッキング処理を要約すれば、顔器官検出処理及びトラッキング処理は、各画像フレームＦ２、Ｆ３、．．．毎に、行われる。

【0032】

顔器官検出ユニット１３Ａは、例えば、検出部１２から受け取る肌領域Ｓ１に、対象者Ｔの脈波を推定するための輝度を計測すべき、１つ以上の矩形状である計測領域ＫＲ１（１）～ＫＲ１（ｎ）（図４に図示。）を設定する。ここで、ｎは、１以上の整数である。

【0033】

図４は、実施形態の顔器官検出ユニット１３Ａの動作を示す。

【0034】

顔器官検出ユニット１３Ａは、例えば、従来知られた顔器官検出方法のモデルである、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）を用いる。顔器官検出ユニット１３Ａは、前記したＣＬＭを用いて、顔器官検出処理を行い、具体的には、図４（左側の枠内）に示されるように、例えば、肌領域Ｓ１中で、複数の顔器官点ＫＫ１（１）～ＫＫ１（ｐ）の座標値を検出する。ここで、顔器官点ＫＫ１（１）～ＫＫ１（ｐ）は、対象者Ｔの顔を特定するための特徴点である。ｐは、２以上の整数である。

【0035】

前記顔器官検出処理に引き続き、顔器官検出ユニット１３Ａは、図４（右側の枠内）に示されるように、肌領域Ｓ１について検出された顔器官点ＫＫ１（１）～ＫＫ１（ｐ）を基準に（図４（左側の枠内）に図示。）、計測領域ＫＲ１（１）～ＫＲ１（ｎ）の座標値を設定する。

【0036】

顔器官検出ユニット１３Ａは、肌領域Ｓ１以外の他の肌領域Ｓ２～Ｓｍについても、肌領域Ｓ１に行う処理と同様の処理、即ち、顔器官点ＫＫの座標値を検出すること、及び、計測領域ＫＲの座標値を設定することを行う。

【0037】

顔器官検出ユニット１３Ａは、例えば、肌領域Ｓ２中で、複数の顔器官点ＫＫ２（１）、ＫＫ２（２）、、、、（図示せず。）の座標値を検出し、複数の計測領域ＫＲ２（１）、ＫＲ２（２）、、、、（図示せず。）の座標値を設定する。

【0038】

図５は、実施形態のトラッキングユニット１３Ｂの動作を示す。

【0039】

トラッキングユニット１３Ｂは、従来知られたトラッキング技術であるＫａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ（ＫＬＴ）トラッカーを用いて、前後の画像フレーム間でトラッキング処理を行う。

【0040】

トラッキングユニット１３Ｂは、図５に示されるように、例えば、画像フレームＦ１、当該画像フレームＦ１中の肌領域Ｓ１、及び、前記画像フレームＦ１に引き続く画像フレームＦ２に基づきトラッキング処理を行う。これにより、トラッキングユニット１３Ｂは、図５に示されるように、画像フレームＦ２の肌領域Ｓ２中に、対象者Ｔの顔を特定するための特徴点であるトラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、の座標値を設定する。

【0041】

当該トラッキング処理に引き続き、トラッキングユニット１３Ｂは、図５に示されるように、トラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、を基準に、計測領域ＫＲ２（１）、ＫＲ２（２）、ＫＲ２（３）、、、の座標値を設定する。

【0042】

顔器官検出ユニット１３Ａとトラッキングユニット１３Ｂとを比較すると、顔器官検出ユニット１３Ａは、上述した顔器官点ＫＫ１（１）～ＫＫ１（ｐ）（図４に図示。）を基準にし、他方で、トラッキングユニット１３Ｂは、上述したトラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、（図５に図示。）を基準にする。

【0043】

トラッキングユニット１３Ｂは、肌領域Ｓ２以外の他の肌領域Ｓ３～Ｓｍについても、肌領域Ｓ２に行う処理と同様の処理、即ち、トラッキング点ＴＲの座標値を設定すること、及び、計測領域ＫＲの座標値を設定することを行う。

【0044】

設定部１３は、図１に示されるように、計測領域ＫＲを、即ち、肌領域Ｓ１～Ｓｍについての計測領域ＫＲ１（１）、ＫＲ１（２）、．．．（図４に図示。）、ＫＲ２（１）、ＫＲ２（２）、．．．（図５に図示。）、ＫＲｍ（１）、ＫＲｍ（２）、．．．（図示せず。）を計測部１４へ出力する。

【0045】

図１に戻り、脈波推定装置１の構成の説明を続ける。

【0046】

計測部１４は、設定部１３から受け取った、前後画像フレームＦの計測領域ＫＲ間での各計測領域ＫＲに含まれる画素の輝度値を計測し、当該計測された輝度値の差分を時系列的に示す輝度信号を生成する。

【0047】

計測部１４は、例えば、図５に図示された画像フレームＦ１、Ｆ２については、例えば、画像フレームＦ１における計測領域ＫＲ１（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ２における、画像フレームＦ１の計測領域ＫＲ１（１）に対応する計測領域ＫＲ２（１）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。

【0048】

計測部１４は、引き続き、画像フレームＦ２における計測領域ＫＲ２（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ３（図示せず。）における、画像フレームＦ２の計測領域ＫＲ２（１）に対応する計測領域ＫＲ３（１）（図示せず。）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。

【0049】

計測部１４は、更に引き続き、画像フレームＦ３における計測領域ＫＲ３（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ４（図示せず。）における、画像フレームＦ３の計測領域ＫＲ３（１）に対応する計測領域ＫＲ４（１）（図示せず。）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。

【0050】

計測部１４は、上記した平均値に代えて、例えば、分散値を用いてもよい。

【0051】

計測部１４は、上記した画像フレームＦ１、Ｆ２、Ｆ３、Ｆ４の計測領域ＫＲ１（１）、ＫＲ２（１）、ＫＲ３（１）、ＫＲ４（１）以外の画像フレームＦの計測領域ＫＲについても、上記したと同様の処理を行う。計測部１４は、図１に示されるように、前後する画像フレームＦの計測領域ＫＲ間の画素の差分を示す輝度信号ＫＳを推定部１５へ出力する。

【0052】

推定部１５は、計測部１４から受け取る輝度信号ＫＳに基づき、脈波ＭＨを推定する。推定部１５は、さらに、前記推定された脈波ＭＨに基づき脈拍数ＭＳを算出する。推定部１５は、前記推定された脈波ＭＨ、及び、前記算出された脈拍数ＭＳのうちの少なくとも１つを出力する。

【0053】

図６は、実施形態の脈波推定装置１の構成を示す。

【0054】

実施形態の脈波推定装置１は、上述した機能を果たすべく、図６に示されるように、入力部１Ｎと、プロセッサ１Ｐと、出力部１Ｓと、記憶媒体１Ｋと、メモリ１Ｍと、を含む。

【0055】

入力部１Ｎは、例えば、カメラ、マイク、キーボード、マウス、タッチパネルから構成される。プロセッサ１Ｐは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部１Ｓは、例えば、液晶モニター、プリンタ、タッチパネルから構成される。メモリ１Ｍは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体１Ｋは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。

【0056】

記憶媒体１Ｋは、プログラム１ＰＲを記憶する。プログラム１ＰＲは、プロセッサ１Ｐが実行すべき処理の内容を規定する命令群である。

【0057】

脈波推定装置１における機能と構成との関係については、ハードウェア上で、プロセッサ１Ｐが、記憶媒体１Ｋに記憶されたプログラム１ＰＲを、メモリ１Ｍを用いつつ実行すると共に、必要に応じて、入力部１Ｎ及び出力部１Ｓの動作を制御することにより、撮影部１１～推定部１５の各部の機能を実現する。

【0058】

〈実施形態の動作〉
図７は、実施形態の脈波推定装置１の動作を示すフローチャートである。図８は、実施形態の脈波推定装置１の動作を示すタイムチャートである。以下、脈波推定装置１の動作について、図７のフローチャート及び図８のタイムチャートに沿って説明する。

【0059】

以下では、説明及び理解を容易にすべく、計測領域ＫＲに、添え字「（ＫＫ）」、「（ＴＲ）」を付する。添え字「（ＫＫ）」は、顔器官検出処理を意味し、他方で、添え字「（ＴＲ）」は、トラッキング処理を意味する。

【0060】

ステップＳＴ１１：撮影部１１は、図２に示されるように、脈波を推定すべき対象者Ｔの画像Ｇ、即ち、複数の画像フレームＦ１～Ｆｍを撮影する。撮影部１１は、撮影された複数の画像フレームＦ１～Ｆｍを検出部１２へ出力する。

【0061】

ステップＳＴ１２：検出部１２は、図２に示されるように、複数の画像フレームＦ１～Ｆｍから複数の肌領域Ｓ１～Ｓｍを抽出する。検出部１２は、複数の画像フレームＦ１～Ｆｍ、及び、複数の肌領域Ｓ１～Ｓｍを設定部１３へ順次、出力する。

【0062】

ステップＳＴ１３：検出部１２から画像フレームＦ１が出力されると、設定部１３では、画像フレームＦ１が１番めの画像フレームであることから、顔器官検出ユニット１３Ａが、図８に示されるように、画像フレームＦ１の肌領域Ｓ１中で、複数の顔器官点ＫＫ１（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された複数の顔器官点ＫＫ１の座標値を基準に、肌領域Ｓ１中に、例えば、図８に示されるように、計測領域ＫＲ１（ＫＫ）の座標値を設定する。

【0063】

ステップＳＴ１４Ａ：検出部１２から、画像フレームＦ１に引き続く画像フレームＦ２が出力されると、設定部１３では、画像フレームＦ２が２番めの画像フレームであることから、まず、トラッキングユニット１３Ｂが、図８に示されるように、画像フレームＦ１、肌領域Ｓ１、及び、画像フレームＦ２に基づきトラッキング処理を行う。これにより、トラッキングユニット１３Ｂは、画像フレームＦ２中の肌領域Ｓ２中に、複数のトラッキング点ＴＲ２（図示せず。）を設定する。トラッキングユニット１３Ｂは、設定された複数のトラッキング点ＴＲ２を基準に、図８に示されるように、計測領域ＫＲ１（ＫＫ）に対応すべき計測領域ＫＲ２（ＴＲ）の座標値を設定する。

【0064】

ステップＳＴ１４Ｂ：設定部１３では、次に、顔器官検出ユニット１３Ａが、図８に示されるように、画像フレームＦ２の肌領域Ｓ２中で、複数の顔器官点ＫＫ２（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された複数の顔器官点ＫＫ２の座標値を基準に、肌領域Ｓ２中に、図８に示されるように、計測領域ＫＲ２（ＫＫ）の座標値を設定する。

【0065】

ステップＳＴ１５Ａ：検出部１２から画像フレームＦ３が出力されると、設定部１３では、画像フレームＦ３が３番めの画像フレームであることから、まず、トラッキングユニット１３Ｂが、ステップＳＴ１４Ａと同様に、図８に示されるように、画像フレームＦ２、肌領域Ｓ２、及び、画像フレームＦ３に基づきトラッキングを行う。これにより、トラッキングユニット１３Ｂは、画像フレームＦ３中の肌領域Ｓ３中に、複数のトラッキング点ＴＲ３（図示せず。）を設定する。トラッキングユニット１３Ｂは、設定された複数のトラッキング点ＴＲ３を基準に、計測領域ＫＲ２（ＫＫ）に対応すべき計測領域ＫＲ３（ＴＲ）の座標値を設定する。

【0066】

ステップＳＴ１５Ｂ：設定部１３では、次に、顔器官検出ユニット１３Ａが、ステップＳＴ１４Ｂと同様に、図８に示されるように、画像フレームＦ３の肌領域Ｓ３中で、顔器官点ＫＫ３（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された顔器官点の座標値を基準に、肌領域Ｓ３中に、計測領域ＫＲ３（ＫＫ）の座標値を設定する。

【0067】

後続の画像フレームＦ４、画像フレームＦ６、．．．、画像フレームＦｍについても、上記したステップＳＴ１５Ａ、ＳＴ１５Ｂと同様な処理を行う。

【0068】

ステップＳＴ１６：計測部１４は、計測領域ＫＲの輝度値を計測し、具体的には、計測領域ＫＲ１（ＫＫ）、計測領域ＫＲ２（ＴＲ）、計測領域ＫＲ２（ＫＫ）、計測領域ＫＲ３（ＴＲ）、、、、を計測する。

【0069】

計測部１４は、上記した計測の後に、輝度差ＫＤを算出する。計測部１４は、例えば、図８に図示された計測領域ＫＲ１（ＫＫ）内の画素の輝度値の平均値、及び、図８に図示された計測領域ＫＲ２（ＴＲ）内の画素の輝度値の平均値を算出し、更に、両平均値間の差分、即ち、輝度差ＫＤ（１－２）を算出する。計測部１４は、同様にして、例えば、図８に図示された計測領域ＫＲ２（ＫＫ）内の画素の輝度値の平均値、及び、図８に図示された計測領域ＫＲ３（ＴＲ）内の画素の輝度値の平均値を算出し、更に、両平均値間の差分、即ち、輝度差ＫＤ（２－３）を算出する。計測部１４は、同様にして、他の画像フレームＦ３、画像フレームＦ４、、、、間の輝度差ＫＤを算出する。計測部１４は、輝度差ＫＤ（１－２）、輝度差ＫＤ（２－３）、、、、を示す輝度信号ＫＳを出力する。

【0070】

ステップＳＴ１７：計測部１４から輝度信号ＫＳが出力されると、推定部１５は、輝度信号ＫＳに基づき、脈波ＭＨを推定する。推定部１５は、また、前記推定された脈波ＭＨに基づき脈拍数ＭＳを算出する。推定部１５は、前記推定された脈波ＭＨ、及び、前記算出された脈拍数ＭＳのうちの少なくとも１つを出力する。

【0071】

〈実施形態の効果〉
上述したように、実施形態の脈波推定装置１によれば、顔器官検出ユニット１３Ａが、画像フレームＦ１について、顔器官点ＫＫ１に基づき計測領域ＫＲ１（ＫＫ）を設定する。また、トラッキングユニット１３Ｂが、画像フレームＦ１に後続する画像フレームＦ２について、トラッキング点ＴＲ２に基づき計測領域ＫＲ２（ＴＲ）を設定し、かつ、顔器官検出ユニット１３Ａが、画像フレームＦ２について、顔器官点ＫＫ２に基づき計測領域ＫＲ２（ＫＫ）を設定する。さらに、後続の画像フレームＦ３～Ｆｍについても、同様に計測領域ＫＲ（ＫＫ）、ＫＲ（ＴＲ）を設定する。前記した設定の後、計測部１４による計測領域ＫＲ（ＫＫ）、ＫＲ（ＴＲ）内の画素値の計測、及び、前後する計測領域ＫＲ間での前記計測された画素値の輝度差ＫＤの算出を経て、推定部１５が、輝度差ＫＤ（１－２）、ＫＤ（２－３）、、、、に基づき、脈波ＭＨを推定し、また、脈拍数ＭＳを算出する。

【0072】

これにより、トラッキングが順次行われ続けることに伴い、ずれが蓄積され続けるという事態を回避することができる。また、従来のリセット処理を挟む前後の画像フレーム間で、蓄積されたずれが生じるという事態も回避することができる。

【0073】

その結果、計測領域ＫＲ１（ＫＫ）とＫＲ２（ＴＲ）との間の輝度差ＫＤ、ＫＲ２（ＫＫ）とＫＲ３（ＴＲ）との間の輝度差ＫＤ、、、、を、従来に比して高い精度で計測することができる。その結果、対象者Ｔの脈波ＭＨの推定、及び脈拍数ＭＳの算出を、従来に比して高い精度で行うことができる。

【0074】

比較例．
〈比較例〉
図９は、比較例の脈波推定装置の動作を示す。

【0075】

比較例の脈波推定装置では、図９に示されるように、１番めの画像フレームＦ１のみに顔器官検出処理を行うことにより、計測領域ＫＲ１（ＫＫ）を設定し、他方で、後続する他の複数の画像フレームＦ２、Ｆ３、、、、に、顔器官検出処理を行うことなく、トラッキング処理を行うことにより、計測領域ＫＲ２（ＴＲ）、ＫＲ３（ＴＲ）、、、、を設定する。

【0076】

より詳しくは、１番めの画像フレームである画像フレームＦ１について、画像フレームＦ１に顔器官検出処理を行うことより、複数の顔器官点ＫＫ１（図示せず。）を検出し、検出された複数の顔器官点ＫＫ１を基準に、肌領域Ｓ１内で計測領域ＫＲ１（ＫＫ）を設定する。

【0077】

比較例の脈波推定装置では、画像フレームＦ１に引き続く画像フレームＦ２について、顔器官検出処理を行うことなく、画像フレームＦ１、肌領域Ｓ１、及び画像フレームＦ２に基づきトラッキング処理を行うことにより、複数のトラッキング点ＴＲ２（図示せず。）を検出し、検出されたトラッキング点ＴＲ２を基準に、肌領域Ｓ２内で計測領域ＫＲ２（ＴＲ）を設定する。比較例の脈波推定装置では、画像フレームＦ２に引き続く画像フレームＦ３、．．．、Ｆ（ｋ－１）についても、画像フレームＦ２についてと同様にトラッキング処理を継続することにより、計測領域ＫＲ３（ＴＲ）、．．．、ＫＲ（ｋ－１）（ＴＲ）を設定する。

【0078】

比較例の脈波推定装置では、他方で、概ねｋ個（ｋは、予め定められた正の整数）の画像フレーム毎にトラッキング処理を停止すべき、即ち、トラッキング処理をリセットすべき旨が定められている。それにより、比較例の脈波推定装置では、画像フレームＦ（ｋ）については、トラッキング処理を停止させ、即ち、トラッキング処理をリセットした上で、画像フレームＦ１について行った顔器官検出処理と同様に、画像フレームＦ（ｋ）に顔器官検出処理を行う。これにより、複数の顔器官点ＫＫ（ｋ）（図示せず。）を検出し、検出された複数の顔器官点ＫＫ（ｋ）を基準に肌領域Ｓ（ｋ）内で計測領域ＫＲ（ｋ）（ＫＫ）を設定する。比較例の脈波推定装置では、画像フレームＦ（ｋ）に引き続く画像フレームＦ（ｋ＋１）等について、画像フレームＦ１に引き続く画像フレームＦ２等と同様に、トラッキング処理を続けることにより、計測領域ＫＲ（ｋ＋１）（ＴＲ）等を設定する。

【0079】

比較例の脈波推定装置では、上述したように、画像フレームＦ１、Ｆ（ｋ）、、、、には顔器官検出処理を行い、他方で、画像フレームＦ１に後続する他の画像フレームＦ２、Ｆ３、、、、及び、画像フレームＦ（ｋ）に後続する画像フレームＦ（ｋ＋１）等には顔器官検出処理を行うことなく、トラッキング処理を行う。これにより、比較例の脈波推定装置では、画像フレームＦ２についてのトラッキング処理、画像フレームＦ３についてのトラッキング処理、画像フレームＦ４（図示せず。）についてトラッキング処理、、、、のようにトラッキング処理が順次行なわれる。トラッキング処理が順次行われることにより、計測領域ＫＲ２（ＴＲ）及び計測領域ＫＲ３（ＴＲ）間のずれ、計測領域ＫＲ３（ＴＲ）及び計測領域ＫＲ４（ＴＲ）間のずれ、、、、が蓄積される。その結果、例えば、顔器官検出処理が行われる画像フレームＦ（ｋ）の直前である画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置が、１番めの画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置と比較して、上記した蓄積されたずれに相当する距離だけ離れるという事態を招く。

【0080】

比較例の脈波推定装置では、また、トラッキング処理のリセットが行われる、即ち、顔器官検出処理のみが行われる画像フレームＦ（ｋ）についての計測領域ＫＲ（ｋ）（ＫＫ）の位置は、顔器官検出処理のみが行われる画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置と実質的に同一になる。従って、画像フレームＦ（ｋ）についての計測領域ＫＲ（ｋ）（ＫＫ）の位置と、画像フレームＦ（ｋ－１）についての計測領域ＫＲ（ｋ－１）（ＴＲ）の位置とが、上記したような計測領域ＫＲ１（ＫＫ）の位置と計測領域ＫＲ（ｋ－１）（ＴＲ）の位置との間の距離に概ね等しいだけ離れるという事態を招く。

【0081】

比較例の脈波推定装置とは対照的に、実施形態の脈波推定装置１は、上述したように、基本的に、画像フレームＦ１、Ｆ２、Ｆ３、、、、の各画像フレームＦ毎に、顔器官検出処理及びトラッキング処理を行う。従って、実施形態の脈波推定装置１は、画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置と、１番めの画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置との間に、上記した、ずれの蓄積である距離が生じるとの事態を回避することができる。同様に、画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置と、画像フレームＦ（ｋ）の計測領域ＫＲ（ｋ）（ＫＫ）の位置との間にも、上記した距離に概ね等しい距離が生じるとの事態を回避することができる。

【0082】

変形例．
〈変形例〉
変形例の脈波推定装置１は、上述した、顔器官検出処理及びトラッキング処理を各画像フレームＦ毎に、即ち、画像フレームＦ１、Ｆ２、Ｆ３、、、、の一つ一つに行うことに代えて、顔器官検出処理及びトラッキング処理を、予め定められた数の画像フレームＦ毎にのみ行い、他の画像フレームＦにはトラッキング処理のみを行うようにしてもよい。変形例の脈波推定装置１は、より詳細には、例えば、画像フレームＦ１に顔器官検出処理を行った後、後続する画像フレームＦについては、画像フレームＦ２、Ｆ３にトラッキング処理のみを行い、画像フレームＦ４に顔器官検出処理及びトラッキング処理の両処理を行い、画像フレームＦ５、Ｆ６にトラッキング処理のみを行い、画像フレームＦ７に顔器官検出処理及びトラッキング処理の両処理を行うようにしてもよい。

【0083】

実施形態の任意の構成要素の変形もしくは実施形態の任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0084】

本開示に係る脈波推定装置及び脈波推定方法は、例えば、脈波の推定、及び脈拍数の算出に利用可能である。

【符号の説明】

【0085】

１ 脈波推定装置、１１ 撮影部、１２ 検出部、１３ 設定部、１４ 計測部、１５ 推定部、１３Ａ 顔器官検出ユニット、１３Ｂ トラッキングユニット、１Ｎ 入力部、１Ｐ プロセッサ、１Ｓ 出力部、１Ｍ メモリ、１Ｋ 記憶媒体、１ＰＲ プログラム、Ｔ 対象者、Ｇ 画像、Ｆ 画像フレーム、Ｓ 肌領域、ＫＫ 顔器官点、ＴＲ トラッキング点、ＫＲ 計測領域、ＫＤ 輝度差、ＫＳ 輝度信号、ＭＨ 脈波、ＭＳ 脈拍数。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】