【文献】
Ming-Zher Poh et al.,Advancements in Noncontact, Multiparameter PhysiologicalMeasurements Using a Webcam,IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING,2011年,vol. 58, no. 1, pp.7-11
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【0012】
図1は、本発明の実施形態に係る脈波検出装置の機能構成例を示す図である。
図1に示す脈波検出装置100は、非接触で人の脈波及び脈拍数を検出する装置である。
【0013】
脈波検出装置100は、カメラ10、検出領域設定部20、色調変化検出部30、ノイズ除去部40、脈波波形生成部50、及び表示部60を備える。脈波検出装置100は、カメラ10を除いて例えば、ROM、RAM、CPU等からなるコンピュータで実現することができる。各機能構成部をコンピュータによって実現する場合、各機能構成部が有すべき機能の処理内容はプログラムによって記述される。
【0014】
カメラ10は、人の所定部分のカラー動画を撮影する。カラー動画のフレームレートは、例えば24fpsである。よって、1秒間のカラー動画は24枚の画像で構成される。なおフレームレートは、30fps又は60fpsであっても構わない。
【0015】
画像の解像度は、カメラ10の撮像素子の画素数によって決定される。画像の解像度は、例えば200万(1632×1224)画素である。画素数は、200万以下であっても良いしそれ以上であっても良い。カメラ10は、画素数も含め一般的なものである。
【0016】
カメラ10が撮影する人の所定部分は、例えば、人の顔の部分、又は手の平の部分である。この所定部分は、衣服に覆われていない皮膚が露出した部分である。人の所定部分は、衣服を脱げば、胸、又は腹等であっても構わない。
【0017】
図2は、カメラ10で撮影した人の所定部分を模式的に示す図である。
図2(a)は、所定部分が人の顔の場合を示す図である。
【0018】
図2(a)に示す参照符号11は、1枚の画像を示す。画像11は、例えば200万画素から成る画像である。
図2の左右方向をx、上下方向をyと定義する。画像11は、所定部分12、特定部位13、及び検出領域14を含む。
【0019】
(検出領域設定部)
検出領域設定部20は、カラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。検出領域設定部20は、例えば顔を識別する機械学習データを用いて所定部分12を検出する。そして、更に、鼻を識別する機械学習データを用いて特定部位13である鼻の位置を特定する。
【0020】
次に、検出領域設定部20は、特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。所定の色調とは、例えば肌色の色調のことである。なお、特定部位13は鼻でなくても構わない。目、眉毛、眉間等の顔のどの部分であっても良い。
【0021】
画像の左下隅の画素の座標(x,y)を(0,0)と定義すると、鼻の座標は、例えば(816,816)と特定することができる。鼻の座標から、x方向に例えば200画素離れた位置で且つ肌色の色調の複数の画素を検出領域14に設定する。検出領域14の画素数は、例えば100(10×10)である。所定部分12が顔の場合の検出領域14は、目より下で顎よりも上の領域(頬)に設定すると脈波の検出精度が向上する。
【0022】
図2(b)は、人の手の平の部分を撮影した所定部分12を示す図である。画像11、所定部分12、特定部分13、及び検出領域14の関係は、
図2(a)と同じである。
図2(b)において所定部分12は手の平であり、特定部分13は手の平の中心部分である。
図2(a),(b)に示す様に、検出領域14は、特定部分13から離れた複数の画素の範囲である。また、検出領域14は、所定部分12に含まれる所定の画素数の範囲である。
【0023】
図3は、検出領域14を模式的に示す図である。検出領域14は、例えば10×10の画素の範囲であると仮定する。
図3に示す一つの正方形は一つの画素を表す。
【0024】
検出領域14を構成する画素の座標(x,y)を画素14
xyで表す。画素14
00の座標(x,y)は、鼻からx方向に例えば200画素離れた位置である。
【0025】
カラー画像では、一つの画素の色をR(赤),G(緑),B(青)の3原色で表す。1画素のRGB要素のそれぞれは8ビットの画素値で表される。日本人の肌色の画素値は、日焼けしていなければ、Rが凡そ220〜250、Gが凡そ170〜220、Bが凡そ140〜210のそれぞれの範囲で分布する。
【0026】
なお、RGB要素の画素値は、HSV形式に変換しても良い。HSV形式は、色を「色相(Hue)」、「彩度(Saturation)」、「明度(Value・Brightness)」の3要素で表現する方式である。RGB要素の画素値は、一般的な変換ソフトでHSV形式に変換することができる。
【0027】
RGB要素の画素値で肌色を定義する場合は、RGBの組み合わせを一つずつ定義する必要がある。一方、HSV形式の肌色の範囲は、凡そ(H0,S30,V60)〜(H20,S150,V255)の範囲である。
【0028】
このように、HSV形式は肌色の範囲の定義が容易である。よって、肌色の範囲を特定するのにHSV形式は都合が良い。なお、後述するように、脈波の計測はRGB要素の画素値を用いて行う。
【0029】
図3に示す左下隅から右上隅までの4隅の画素の画素値は、それぞれ画素14
00(R240,G221,B182)、画素14
09(R240,G208,B182)、画素14
09(R240,G208,B182)、画素14
99(R234,G182,B143)であり、肌色の範囲である。しかし、検出領域14の全ての画素の画素値が肌色の範囲内であることはまれである。
【0030】
図3に示す様に、検出領域14には、黒子及びシミ等によって色調が異なる部分を含む場合がある。検出領域設定部20は、それらの色調の異なる部分を除いて所定の色調の複数の画素を検出領域14に設定する。
【0031】
図3に示す例では、黒子の領域である画素14
66,14
67、14
76、14
77と、シミの領域である画素14
52,14
62,14
63が除外される。この除外された7つの画素の代わりに14
101〜14
107の画素が検出領域14に設定されている。このように、検出領域14は、矩形形状に限定されない所定数の画素の範囲である。
【0032】
また、検出領域設定部20は、画像11に例えば顔以外の物体が含まれた場合でも検出領域14を適切に設定することができる。例えば、顔を撮影中の検出対象の人がよそ見をした場合、画像11に顔以外の物体(背景物)が含まれることが想定される。また、髭、耳、髪の毛等が含まれることが想定される。
【0033】
そのような場合でも、検出領域設定部20によって顔(所定の色調)以外の物体は除外され、所定の色調の複数の画素の範囲が検出領域14に設定される。
【0034】
(色調変化検出部)
色調変化検出部30は、検出領域14の色調の変化の振幅を検出する。検出領域14の皮膚の色調は、心臓の拍動に伴う血流によって変化する。皮膚の直下の毛細血管に止まる血液の量が多ければ、血液中のヘモグロビンが光を吸収するので反射光が減衰し、皮膚直下の血液の量が少なければ反射光が増加する。
【0035】
色調の変化は、RGBの3原色の全ての変化で検出しても良いし、一部の色の変化で検出しても良い。ヘモグロビンの吸光感度のピークの一つは緑のスペクトルに近いので、色調の変化は、カラー動画の画像のG成分に基づくものであると好適である。
【0036】
よって、人の所定部分のカラー動画を撮影する際の照明に緑色のライトを用いると良い。緑色のライトの反射を見ることで脈波の検出精度を向上させることができる。
【0037】
図4は、G成分の変化を示す実測データである。
図4の横軸は時間(s)、縦軸はG要素の画素値である。
【0038】
図4に示す様に、0.5程度の振幅の変化が検出できている。この振幅の変化は、血流の変化に基づくものであり血流を表す。この振幅の変化の一周期(t)を、1分間当たりの回数に換算した値(60/t)が脈拍数である。
【0039】
(ノイズ除去部)
ノイズ除去部40は、振幅の変化以外のノイズを除去する。ノイズ除去部40は、先ず画像11の検出領域14内のRGBのG成分の平均値を算出する。
【0040】
次に、G成分の平均値の変化に対して、ローパス、ハイパス、バンドパス、savizky golay等のフィルターを適用して脈波以外のノイズを除去する。メディアンフィルターやガウシアンフィルター等を用いても良い。更に、例えば、移動平均を求めG成分のノイズを平滑化する。
【0041】
図5は、3つの平均値を移動平均する様子を模式的に示す図である。
図5の横軸は時間、縦軸はG成分の画素値である。平均値を破線の○、移動平均した値を●で示す。
【0042】
図5に示す様に移動平均することで変化を平滑化することができる。
【0043】
(脈波波形生成部)
脈波波形生成部50は、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する。ノイズ除去部40でノイズを除去した平均値を時間軸上にプロットすると脈波が得られる。プロットする際にスプライン補間等を行って平均値の間を補間する。
【0044】
図6は、平均値の間をスプライン補間で補間して求めた脈波波形を模式的に示す図である。
図6の横軸は時間、縦軸は振幅である。平均値を●で示す。
【0045】
図6に示すように、平均値の間を補間した脈波波形が得られる。脈波波形の一周期から脈拍数が求められる。なお、脈拍数を求める際は、脈波波形を1回時間微分した速度脈波、又は2回時間微分した加速度脈波を用いると振幅のピークを分かり易くすることができる。振幅のピークを分かり易くすることで脈拍数を正確に算出することができる。
【0046】
脈波波形生成部50で生成された脈波波形は表示部60で表示される。表示部60は、脈波波形を表示する際に脈拍数を表示するようにしても良い。なお、表示部60は、脈波検出装置100と一体で構成する必要はない。表示部60は、携帯端末の表示部を用いて構成しても良い。表示部60を別体で構成した例については後述する。
【0047】
以上説明したように本実施形態に係る脈波検出装置100は、人の所定部分のカラー動画を撮影するカメラ10と、カラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する検出領域設定部20と、検出領域14の色調の変化の振幅を検出する色調変化検出部30と、振幅の変化以外のノイズを除去するノイズ除去部40と、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する脈波波形生成部50とを備える。これにより、人の例えば顔の動きによって脈の検出精度を悪化させない脈波検出装置を提供することができる。
【0048】
つまり、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。したがって、検出領域14に皮膚以外の画像が含まれることが無い。その結果、脈波及び脈拍数の検出精度を向上させることができる。
【0049】
(脈波検出方法)
図7は、上記の脈波検出装置100が実行する脈波検出方法の概略の処理手順を示すフローチャートである。
図7を参照して本実施形態に係る脈波検出方法について説明する。
【0050】
脈波検出装置100は、動作を開始すると測定対象の人の例えば顔のカラー動画の撮影を開始する(ステップS1)。撮影を開始した後に、顔の画像から個人を識別する個人認証を行っても良い。又は、QRコード等の識別子を入力させて個人認証を行っても良い。
【0051】
カラー動画の撮影を開始してからT秒間は人の姿勢等が不安定なため、撮影を開始してからT秒間の経過を待つ(ステップS2)。
【0052】
T秒経過する(ステップS2のYES)と、カラー動画を構成する画像の画像番号jを初期化する(ステップS3)。そして、脈波を検出する処理を開始する。脈波の検出は、例えば、フレームレートを30、撮影時間を20秒とした場合、600(30×20)枚の画像に対して行われる(ステップS4〜S11)。
【0053】
検出領域設定部20(
図1)は、画像番号j=1の画像11を取得する(ステップS5)。そして、取得した画像11内の顔を認識し、例えば「鼻」を画像認識する。画像認識は、上記のように機械学習データを用いることで容易に行える。
【0054】
「鼻」を画像認識してその座標が確定すると、前回の画像11の座標との差分が閾値m,nを越えたか否かを判定する(ステップS6)。閾値m,nは人の動きの有無を判定する閾値であり、mは例えばx方向の画素数、nは例えばy方向の画素数である。画像番号j=1の場合は、前回の画像が無いのでこのステップはスルーする。なお、j=1の場合の処理は
図7が複雑になるので省略している。
【0055】
前回の画像11の座標との差分が閾値m,n以下の場合(ステップS6のYES)、検出領域設定部20は、画像認識した「鼻」の座標を基準にして検出領域14を設定する(ステップS7)。検出領域14は、「鼻(特定部位13)」から離れた位置で且つ所定の色調の複数の画素の範囲である。
【0056】
次に、色調変化検出部30は、検出領域14の色調の変化の振幅を検出する(ステップS8)。画像番号j=1の場合は、検出領域14内の画素の例えばG成分の画素値の平均値を求めメモリ(RAM等)に記録する。
【0057】
次に、ノイズ除去部40は、色調変化検出部30で検出した振幅の変化以外のノイズを除去する(ステップS9)。そして、脈波波形生成部50は、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する(ステップS10)。ノイズを除去する方法、補間する方法は上記の通りである。
【0058】
脈波波形の生成が終了すると、制御部(図示せず)は画像番号jをインクリメントする(ステップS11)。検出領域設定部20、色調変化検出部30、ノイズ除去部40、及び脈波波形生成部50はステップS4からS11の処理を繰り返して脈波波形を生成する。
【0059】
検出領域設定部20は、脈波波形を生成する間、特定部位13(例えば「鼻」)の座標が人の動きの有無を判定する閾値m,nを越えて変化した場合(ステップS6のNO)に、検出領域14を再設定する(ステップS12)。
【0060】
図8は、検出領域14を設定する様子を模式的に示す図である。
図8に示すjは画像番号を示す。
【0061】
画像番号j=1とj=2の画像11の間では人は動いていない。よって、画像11内の認識された「鼻」の座標に変化が無い。したがって、脈波を検出する検出領域14の画像11内の位置も変化しない。この場合、j=2の検出領域14は前回(j=1)の特定部位13の座標基準で設定される。
【0062】
画像番号j=2とj=3の間で人が動いた場合を仮定する。その場合、画像11内の認識された「鼻」の座標は閾値m,nより大きく変化する(ステップS8のNO)。この場合は、今回(j=3)の特定部位13を基準にして検出領域14が再設定される(ステップS12)。
【0063】
そして、次の画像番号j=3とj=4の間で人が動かなければ画像番号j=3で設定された検出領域14内の画素の色調の変化が検出される。このように、人が動いた場合は新たに脈波の検出領域14が再設定される。
【0064】
画像11の画像番号jがインクリメントされると、再設定(j=3)された検出領域14と次の画像(j=4)の検出領域14との間の色調の変化が検出される。再設定される検出領域14は、所定の色調の複数の画素の範囲であるので、人が動いでも脈波の検出を安定させることができる。
【0065】
(脈波検出システム)
図9は、脈波検出装置100の機能構成部を分散させて構成した脈波検出システム200の構成例を示す図である。
図9に示す様に、ネットワーク110を介して複数のサーバに各機能部を分散させて脈波検出システム200を構成しても良い。
【0066】
脈波検出システム200は、カメラ10、ルータ80、ネットワーク110、脈波検出サーバ111、個人認識サーバ112、データ蓄積サーバ113、無線アクセスポイント90、及び表示デバイス70を備える。カメラ10は、参照符号から明らかな様に脈波検出装置100と同じである。
【0067】
ルータ80は、カメラ10とネットワーク110の間を中継する通信機器である。ルータ80には、他のデバイスの接続も可能である。
図9に示す例は、ルータ80と表示デバイス70が無線アクセスポイント90を介して接続される。無線アクセスポイント90は、ルータ80に内蔵されるWiFiであっても良い。
【0068】
脈波検出サーバ111は、カメラ10で撮影したカラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する検出領域設定部20と、検出領域14の色調の変化の振幅を検出する色調変化検出部30と、振幅の変化以外のノイズを除去するノイズ除去部40と、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する脈波波形生成部50とを備える。
【0069】
個人認証サーバ112は、人に関連付けられた識別子に基づいて個人を認識する。識別子は、カメラ10で撮影したQRコードであっても良いし、カメラ10で撮影した画像11から認識した画像(例えば顔)であっても良い。
【0070】
データ蓄積サーバ113は、識別子と脈波検出サーバ111で生成された脈波波形を関連付けて記憶する。
【0071】
表示デバイス70は、識別子で特定された個人に脈波波形を表示する。表示デバイス70は、例えば携帯電話等の携帯端末の表示である。
【0072】
以上説明した脈波検出システム200によれば、ネットワーク上に構成した脈波検出装置100の主要部と、利用者が所有する例えばスマートフォン等との組み合わせで非接触方式の脈波検出を実現することができる。また、脈波検出装置100に対してより多くの利用者に脈波検出を利用したサービスを提供することができる。
【0073】
以上説明したように本実施形態の脈波検出装置100、及び脈波検出システム200によれば、測定対象の人が動いた場合でも脈波の検出精度を悪化させない。
【0074】
なお、色調の変化の検出は、カラー動画の画像のG成分に基づく例を示したが本発明はこの例に限定されない。RGBの3成分を用いて独立主成分分析を行って脈波を検出しても良い。また、上記の画素値の範囲は、一例(R220〜250、G170〜220、B140〜210)であり、例えば日焼けの有無等で変化するものである。
【0075】
また、検出領域14の画素数は100個の例を示したが、それ以下でも以上でも構わない。また、検出領域14の形状は矩形に限定されない。
【0076】
また、
図7で説明した人の動きの有無の判定は、画像11内の所定部分12の座標の変化で行う方法を示したがこの例に限定されない。その判定は、人に装着した例えば加速度センサーの出力信号に基づいて行っても良い。このように本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【解決手段】人の所定部分のカラー動画を撮影するカメラ10と、カラー動画を構成する画像ごとに、所定部分に含まれる特定部位から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域に設定する検出領域設定部20と、検出領域の色調の変化の振幅を検出する色調変化検出部30と、振幅の変化以外のノイズを除去するノイズ除去部40と、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する脈波波形生成部50とを備える。