知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-19
(45)【発行日】2024-09-30
(54)【発明の名称】脈波推定装置、状態推定装置、及び、脈波推定方法
(51)【国際特許分類】
A61B 5/02 20060101AFI20240920BHJP
A61B 5/16 20060101ALI20240920BHJP
【ＦＩ】
A61B5/02 310Z
A61B5/16 130
【請求項の数】
10
(21)【出願番号】P 2024513659
(86)(22)【出願日】2022-04-08
(86)【国際出願番号】 JP2022017324
(87)【国際公開番号】W WO2023195149
(87)【国際公開日】2023-10-12
【審査請求日】2024-03-29
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】中村 雄大
(72)【発明者】
【氏名】村地 遼平
【審査官】藤原 伸二
(56)【参考文献】
【文献】特開２０１６－１９３０２１（ＪＰ，Ａ）
【文献】特開２０２０－０３９４８０（ＪＰ，Ａ）
【文献】特開２０２０－１６２８７３（ＪＰ，Ａ）
【文献】特開２０２１－１３２９９９（ＪＰ，Ａ）
【文献】特開２０１７－１０４４９１（ＪＰ，Ａ）
【文献】国際公開第２０１７／０８５８９５（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０５４１２２（ＷＯ，Ａ１）
【文献】特開２０１８－０６８７２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０２－５／０３
Ａ６１Ｂ ５／１６
(57)【特許請求の範囲】
【請求項1】
人を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定する計測領域設定部と、
前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得する模擬信号取得部と、
前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出する係数算出部と、
前記脈波元信号から前記係数を掛算した前記模擬信号を除去するノイズ除去部と、
前記ノイズ除去信号に基づいて前記人の前記脈波を推定する推定部
とを備えた脈波推定装置。
【請求項2】
前記模擬信号を生成する模擬信号生成部を備え、前記模擬信号取得部は、前記模擬信号生成部が生成した前記模擬信号を取得する
ことを特徴とする請求項１記載の脈波推定装置。
【請求項3】
前記模擬信号生成部は、前記計測領域の位置変化に基づき、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成することを特徴とする請求項２記載の脈波推定装置。
【請求項4】
前記模擬信号生成部は、前記計測領域の位置変化と、撮像範囲における環境光の分布モデルとに基づき、前記環境光のもとで、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成することを特徴とする請求項２記載の脈波推定装置。
【請求項5】
前記環境光は、前記撮像画像を撮像した撮像装置が備える照明部が照射する照明光であることを特徴とする請求項４記載の脈波推定装置。
【請求項6】
前記模擬信号生成部は、前記環境光が照射される状況に応じた複数の異なる前記環境光の前記分布モデルと前記計測領域の位置変化とに基づき、前記模擬信号を生成することを特徴とする請求項４記載の脈波推定装置。
【請求項7】
前記模擬信号生成部は、前記人の左右の動きによって生じる前記計測領域の前記輝度変化を示す信号のスケール、及び、前記人の前後の動きによって生じる前記計測領域の前記輝度変化を示す信号の前記スケール、を正規化した信号に基づき、前記模擬信号を生成することを特徴とする請求項２記載の脈波推定装置。
【請求項8】
請求項１から請求項７のうちのいずれか１項記載の脈波推定装置が推定した前記人の前記脈波に基づいて、前記人の覚醒度を推定する状態推定部を備えた状態推定装置。
【請求項9】
前記状態推定部は、前記人が覚醒していると想定される状態で前記脈波推定装置が推定した前記人の前記脈波に基づいて基準脈拍数を算出しておき、前記脈波推定装置が推定した前記脈波と、前記基準脈拍数との比較によって、前記人の前記覚醒度を推定することを特徴とする請求項８記載の状態推定装置。
【請求項10】
撮像画像取得部が、人を撮像した撮像画像を取得するステップと、肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
計測領域設定部が、前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定するステップと、
脈波元信号抽出部が、前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
模擬信号取得部が、前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得するステップと、
係数算出部が、前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出するステップと、
ノイズ除去部が、前記脈波元信号から前記係数を掛算した前記模擬信号を除去するステップと、
推定部が、前記ノイズ除去信号に基づいて前記人の前記脈波を推定するステップ
とを備えた脈波推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、脈波推定装置、状態推定装置、及び、脈波推定方法に関する。
【背景技術】
【0002】
撮像装置が撮像した撮像画像における人の肌を含む領域（以下「肌領域」という。）の輝度信号に基づいて脈波を推定することで、人の肌表面の微小な輝度変化から、非接触に人の脈波を推定する技術が知られている。その際、肌領域の輝度信号に、人の脈波を推定するにあたりノイズとなる信号が含まれていると、脈波の推定精度が低下するという問題がある。
そこで、従来、脈波を推定する対象となる人（以下「被験者」という。）の脈波を推定する際に、被験者の肌領域の輝度信号から、ノイズとなる信号を除去する技術が知られている。例えば、特許文献１には、撮像領域における顔領域の位置情報を周波数分析して得られた特定の周波数成分を、顔領域からの画像信号からノイズとして除去する脈拍検出装置が開示されている。
そこで、従来、脈波を推定する対象となる人（以下「被験者」という。）の脈波を推定する際に、被験者の肌領域の輝度信号から、ノイズとなる信号を除去する技術が知られている。例えば、特許文献１には、撮像領域における顔領域の位置情報を周波数分析して得られた特定の周波数成分を、顔領域からの画像信号からノイズとして除去する脈拍検出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－６８７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１に開示されている脈拍検出装置に代表される従来技術は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって、上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない可能性があるという課題があった。
【0005】
本開示は上記のような課題を解決するためになされたもので、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐ脈波推定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る脈波推定装置は、人を撮像した撮像画像を取得する撮像画像取得部と、撮像画像から人の肌領域を検出する肌領域検出部と、撮像画像上の、肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定する計測領域設定部と、撮像画像上の計測領域における輝度変化に基づき、脈波元信号を抽出する脈波元信号抽出部と、計測領域における輝度変化のノイズ成分と推定される、計測領域の輝度変化を模擬した模擬信号を取得する模擬信号取得部と、脈波元信号から模擬信号を除去した後のノイズ除去信号に、人の脈波を推定するための信号が残るように、模擬信号を調整するための係数を算出する係数算出部と、脈波元信号から係数を掛算した模擬信号を除去するノイズ除去部と、ノイズ除去信号に基づいて人の脈波を推定する推定部とを備えたものである。
【発明の効果】
【0007】
本開示によれば、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る脈波推定装置を備えた状態推定装置の構成例を示す図である。
【図2】実施の形態１に係る脈波推定装置の構成例を示す図である。
【図3】実施の形態１に係る脈波推定装置における脈波推定部の詳細な構成例を示す図である。
【図5】実施の形態１に係る脈波推定装置の動作について説明するためのフローチャートである。
【図7】実施の形態１に係る状態推定装置の動作について説明するためのフローチャートである。
【図9】実施の形態２に係る脈波推定装置を備えた状態推定装置の構成例を示す図である。
【図10】実施の形態２に係る脈波推定装置の構成例を示す図である。
【図11】実施の形態２において、環境光モデルに２次元ガウス分布を用いた場合の、撮像画像における、環境光モデルがあらわす環境光の分布の一例を示す図である。
【図12】実施の形態２に係る脈波推定装置の動作について説明するためのフローチャートである。
【図13】環境光の分布が不均一な場合に生じる、環境光の、撮像画像に基づく被験者の脈波推定に用いる信号への影響について説明するための図であって、図１３Ａは、環境光の分布が均一なシーンで撮像された撮像画像の一例を示す図であり、図１３Ｂは、環境光の分布が不均一なシーンで撮像された撮像画像の一例を示す図である。
【図14】実施の形態２における、模擬信号生成部による、複数の環境光モデルに基づく模擬信号の生成方法の一例について説明するための図である。
【図15】実施の形態２において、計測領域の外接矩形及びその中心座標の一例と、計測領域の一角の頂点座標と、それに対応した中心座標との距離のイメージとを示す図である。
【図16】実施の形態２において、模擬信号生成部が正規化用係数を掛けることで、スケールの差が揃った第１模擬信号及び第２模擬信号の一例を示す図である。
【発明を実施するための形態】
【0009】
【0010】
脈波推定装置１は、人を撮像した撮像画像に基づき、当該人の脈波を推定する。脈波推定装置１が脈波を推定する対象となる人を「被験者」という。
脈波推定装置１は、予め定められたフレームレートＦｒで、少なくとも、被験者の肌を含む領域である肌領域が存在すべき範囲（以下「肌存在範囲」という。）を撮像した、一連のフレームＩｍ（ｋ）からなる撮像画像を取得する。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。
実施の形態１では、肌領域は、被験者の顔に対応する領域とする。なお、これは一例に過ぎず、肌領域は、被験者の顔以外の領域であってもよい。例えば、肌領域は、被験者の目、眉、鼻、口、おでこ、頬、又は、顎のような、顔に属する部位、に対応する領域であってもよい。また、肌領域は、被験者の頭、肩、手、首、又は、足のような、顔以外の身体部位、に対応する領域であってもよい。肌領域は複数の領域であってもよい。
脈波推定装置１は、予め定められたフレームレートＦｒで、少なくとも、被験者の肌を含む領域である肌領域が存在すべき範囲（以下「肌存在範囲」という。）を撮像した、一連のフレームＩｍ（ｋ）からなる撮像画像を取得する。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。
実施の形態１では、肌領域は、被験者の顔に対応する領域とする。なお、これは一例に過ぎず、肌領域は、被験者の顔以外の領域であってもよい。例えば、肌領域は、被験者の目、眉、鼻、口、おでこ、頬、又は、顎のような、顔に属する部位、に対応する領域であってもよい。また、肌領域は、被験者の頭、肩、手、首、又は、足のような、顔以外の身体部位、に対応する領域であってもよい。肌領域は複数の領域であってもよい。
【0011】
そして、脈波推定装置１は、ある特定のフレーム数Ｔｐ毎に、一連のフレームＩｍ（ｋ－Ｔｐ＋１）～Ｉｍ（ｋ）から被験者の脈波を推定し、推定した脈波を示す情報（以下「脈波情報」という。）である脈波推定結果Ｐ（ｔ）を出力する。具体的には、脈波推定装置１は、一連のフレームＩｍ（ｋ－Ｔｐ＋１）～Ｉｍ（ｋ）における被験者の肌領域の輝度変化に基づく信号から、ノイズとなる信号を除去することで、被験者の脈波を推定する。
【0012】
ここで、ｔは、特定のフレーム数Ｔｐ毎に割り当てられる出力番号を示す。例えば、脈波推定結果Ｐ（ｔ）の次のタイミングで与えられる脈波推定結果は、脈波推定結果Ｐ（ｔ＋１）である。フレーム番号ｋ及び出力番号ｔは、１以上の整数である。フレーム数Ｔｐは、２以上の整数である。
【0013】
被験者の脈波を推定する際に用いる、被験者の肌領域の輝度変化を示す信号は、脈波に基づく信号の他、例えば、被験者の動きに基づく信号、又は、撮像範囲に照射される環境光等に基づく信号を含む。これらの信号は、被験者の脈波の推定精度を低下させるノイズとなる。そこで、脈波推定装置１は、これらの信号を、ノイズを示す信号として除去した上で、被験者の脈波を推定する。実施の形態１において、被験者の脈波を推定する上でノイズとみなす撮像画像上の輝度変化が生じる「被験者の動き」とは、被験者の頭の位置自体の移動を伴う動き、顔向きの変化を伴う動き、表情の動き（笑顔、会話で口元が動く等）、及び、輝度変化を示す信号を抽出するための領域（計測領域という。詳細は後述する）の検出誤差による動きのいずれかを含むものを指す。
実施の形態１において、脈波推定装置１は、ノイズとなる信号を、各種センサ等、脈波推定装置１の外部の装置（図１においては図示省略）から取得する。実施の形態１では、被験者の脈波を推定するにあたりノイズとなる信号を、「模擬信号」という。「模擬信号」は、計測領域の輝度変化を模擬した信号である。
実施の形態１において、脈波推定装置１は、ノイズとなる信号を、各種センサ等、脈波推定装置１の外部の装置（図１においては図示省略）から取得する。実施の形態１では、被験者の脈波を推定するにあたりノイズとなる信号を、「模擬信号」という。「模擬信号」は、計測領域の輝度変化を模擬した信号である。
【0014】
なお、撮像画像に含まれる人である被験者の数は、１人であっても複数人であってもよい。説明を簡単にするため、以下の実施の形態１では、撮像画像に含まれる被験者の数は、１人であるものとして説明する。
【0015】
状態推定装置２は、脈波推定装置１から脈波推定結果Ｐ（ｔ）を取得し、被験者の状態を推定する。なお、実施の形態１では、一例として、被験者の状態は、被験者が覚醒しているか否かの状態を想定している。状態推定装置２は、脈波推定結果Ｐ（ｔ）に基づき、被験者が覚醒しているか否かの度合いを示す覚醒度を推定する。
状態推定装置２は、推定した被験者の状態に関する状態情報Ｚ（ｔ）を出力装置３に出力する。例えば、状態推定装置２は、被験者の覚醒度が低下している場合に、被験者の覚醒度が低下している旨の状態情報Ｚ（ｔ）を、出力装置３に出力する。
状態推定装置２は、推定した被験者の状態に関する状態情報Ｚ（ｔ）を出力装置３に出力する。例えば、状態推定装置２は、被験者の覚醒度が低下している場合に、被験者の覚醒度が低下している旨の状態情報Ｚ（ｔ）を、出力装置３に出力する。
【0016】
出力装置３は、状態推定装置２から出力された状態情報Ｚ（ｔ）に基づく情報を出力する。出力装置３は、例えば、音声出力装置である。例えば、出力装置３は、状態推定装置２から、被験者の覚醒度が低下している旨の状態情報Ｚ（ｔ）が出力されると、覚醒度の低下を警告する警告音を出力する。
【0017】
実施の形態１では、一例として、脈波推定装置１、状態推定装置２、及び、出力装置３は車両（図示省略）に搭載されているものとし、被験者は車両のドライバとする。つまり、脈波推定装置１は、車両のドライバの脈波を推定する。また、状態推定装置２は、ドライバの状態を推定する。そして、出力装置３は、状態推定装置２が推定したドライバの状態に基づき、ドライバに対して警告音を出力する。
図１に示す状態推定装置２の構成例の詳細については後述することとし、まず、脈波推定装置１の構成例の詳細について説明する。
図１に示す状態推定装置２の構成例の詳細については後述することとし、まず、脈波推定装置１の構成例の詳細について説明する。
【0018】
図２は、実施の形態１に係る脈波推定装置１の構成例を示す図である。
図２に示すように、脈波推定装置１は、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、脈波元信号抽出部１４、模擬信号取得部１５、脈波推定部１６、及び、出力部１７を備える。
脈波推定部１６は、図３に示すように、係数算出部１６１、ノイズ除去部１６２、及び、推定部１６３を備える。
図２に示すように、脈波推定装置１は、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、脈波元信号抽出部１４、模擬信号取得部１５、脈波推定部１６、及び、出力部１７を備える。
脈波推定部１６は、図３に示すように、係数算出部１６１、ノイズ除去部１６２、及び、推定部１６３を備える。
【0019】
撮像画像取得部１１は、被験者を撮像した撮像画像を取得する。詳細には、撮像画像取得部１１は、車両に搭載されている撮像装置（図示省略）が車両のドライバを撮像した撮像画像を取得する。撮像装置は、ドライバの肌存在範囲を撮像可能に設置されている。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。
ここで、実施の形態１における撮像装置について説明する。撮像装置は、撮像部（図示省略）及び照明部（図示省略）を備えている。照明部は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で構成される。照明部は、撮像部の撮像範囲に光を照射する。撮像部は、照明部が発光することで光が照射された撮像範囲を撮像する。なお、照明部は、撮像装置に１つ備えられてもよいし、複数備えられてもよい。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。
ここで、実施の形態１における撮像装置について説明する。撮像装置は、撮像部（図示省略）及び照明部（図示省略）を備えている。照明部は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で構成される。照明部は、撮像部の撮像範囲に光を照射する。撮像部は、照明部が発光することで光が照射された撮像範囲を撮像する。なお、照明部は、撮像装置に１つ備えられてもよいし、複数備えられてもよい。
【0020】
肌領域検出部１２は、撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から、被験者の肌領域を検出する。肌領域検出部１２は、公知の手段を用いて肌領域を検出すればよい。例えば、肌領域検出部１２は、Ｈａａｒ－ｌｉｋｅ特徴量を使用したカスケード型の顔検出器を使用して、肌領域を検出できる。
肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成する。
肌領域情報Ｓ（ｋ）は、肌領域の検出の有無を示す情報と、検出された肌領域の撮像画像上における位置及びサイズを示す情報とを含むことができる。実施の形態１では、肌領域は撮像画像上の矩形領域であらわされるものとし、肌領域情報Ｓ（ｋ）は、当該矩形領域の撮像画像上における位置及びサイズを示す情報を含むものとする。
具体的には、肌領域が被験者の顔に対応する領域である場合、肌領域情報Ｓ（ｋ）は、例えば、被験者の顔の検出の有無と、撮像画像上で当該被験者の顔を囲む矩形の中心座標Ｆｃ（Ｆｃｘ，Ｆｃｙ）と、この矩形の幅Ｆｃｗ及び高さＦｃｈとを示す。被験者の顔の検出の有無は、例えば、検出できた場合は「１」、検出できなかった場合は「０」であらわされる。また、顔を囲む矩形の中心座標は、フレームＩｍ（ｋ）の座標系で表現される。なお、フレームＩｍ（ｋ）の左上を原点とし、フレームＩｍ（ｋ）の右向きをｘ軸の正方向、フレームＩｍ（ｋ）の下向きをｙ軸の正方向とする。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。
肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成する。
肌領域情報Ｓ（ｋ）は、肌領域の検出の有無を示す情報と、検出された肌領域の撮像画像上における位置及びサイズを示す情報とを含むことができる。実施の形態１では、肌領域は撮像画像上の矩形領域であらわされるものとし、肌領域情報Ｓ（ｋ）は、当該矩形領域の撮像画像上における位置及びサイズを示す情報を含むものとする。
具体的には、肌領域が被験者の顔に対応する領域である場合、肌領域情報Ｓ（ｋ）は、例えば、被験者の顔の検出の有無と、撮像画像上で当該被験者の顔を囲む矩形の中心座標Ｆｃ（Ｆｃｘ，Ｆｃｙ）と、この矩形の幅Ｆｃｗ及び高さＦｃｈとを示す。被験者の顔の検出の有無は、例えば、検出できた場合は「１」、検出できなかった場合は「０」であらわされる。また、顔を囲む矩形の中心座標は、フレームＩｍ（ｋ）の座標系で表現される。なお、フレームＩｍ（ｋ）の左上を原点とし、フレームＩｍ（ｋ）の右向きをｘ軸の正方向、フレームＩｍ（ｋ）の下向きをｙ軸の正方向とする。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。
【0021】
計測領域設定部１３は、撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、肌領域検出部１２が出力した肌領域情報Ｓ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域に、輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する。なお、計測領域設定部１３は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２を介して取得すればよい。
計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。計測領域情報Ｒ（ｋ）は、Ｒｎ（正の整数）個の計測領域の撮像画像上における位置及びサイズを示す情報を含む。各計測領域は、計測領域ｒｉ（ｋ）（ｉ＝１，２，・・・，Ｒｎ）とする。実施の形態１では、計測領域ｒｉ（ｋ）は、四辺形とし、計測領域ｒｉ（ｋ）の位置及びサイズは、撮像画像上における、四辺形の４つの頂点の座標値とする。
計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。計測領域情報Ｒ（ｋ）は、Ｒｎ（正の整数）個の計測領域の撮像画像上における位置及びサイズを示す情報を含む。各計測領域は、計測領域ｒｉ（ｋ）（ｉ＝１，２，・・・，Ｒｎ）とする。実施の形態１では、計測領域ｒｉ（ｋ）は、四辺形とし、計測領域ｒｉ（ｋ）の位置及びサイズは、撮像画像上における、四辺形の４つの頂点の座標値とする。
【0022】
ここで、図４Ａ、図４Ｂ及び図４Ｃは、実施の形態１に係る脈波推定装置１における、計測領域設定部１３による計測領域の設定方法の一例について説明するための図である。
図４を用いて、計測領域設定部１３が複数の計測領域を設定する方法の一例について説明する。
まず、図４Ａ及び図４Ｂに示されているように、計測領域設定部１３は、肌領域情報Ｓ（ｋ）で示されている肌領域ｓｒにおいて、目尻、目頭、鼻及び口等の顔器官のランドマークをＬｎ（正の整数）個検出する。図４Ａ及び図４Ｂでは、ランドマークは丸で示されている。計測領域設定部１３は、検出したランドマークの座標値を格納したベクトルをＬ（ｋ）とする。
なお、計測領域設定部１３は、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）と呼ばれるモデルを用いる等、公知の手段を用いて顔器官を検出すればよい。
図４を用いて、計測領域設定部１３が複数の計測領域を設定する方法の一例について説明する。
まず、図４Ａ及び図４Ｂに示されているように、計測領域設定部１３は、肌領域情報Ｓ（ｋ）で示されている肌領域ｓｒにおいて、目尻、目頭、鼻及び口等の顔器官のランドマークをＬｎ（正の整数）個検出する。図４Ａ及び図４Ｂでは、ランドマークは丸で示されている。計測領域設定部１３は、検出したランドマークの座標値を格納したベクトルをＬ（ｋ）とする。
なお、計測領域設定部１３は、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）と呼ばれるモデルを用いる等、公知の手段を用いて顔器官を検出すればよい。
【0023】
次に、計測領域設定部１３は、検出したランドマークを基準にして、計測領域ｒｉ（ｋ）の四辺形の頂点座標を設定する。例えば、計測領域設定部１３は、図４Ｃに示されているような四辺形の頂点座標を設定し、Ｒｎ個の計測領域ｒｉ（ｋ）を設定する。
【0024】
計測領域設定部１３が肌領域ｓｒの頬に対応する部分に計測領域ｒｉ（ｋ）を設定する例を挙げて説明すると、計測領域設定部１３は、顔の輪郭のランドマークＬＡ１と、鼻のランドマークＬＡ２を選択する。計測領域設定部１３は、まず、鼻のランドマークＬＡ２を選択し、当該鼻のランドマークＬＡ２から最も近い顔の輪郭のランドマークＬＡ１を選択すればよい。
そして、計測領域設定部１３は、ランドマークＬＡ１とランドマークＬＡ２との間の線分を４等分するように補助ランドマークａ１、ａ２、ａ３を設定する。
同様に、計測領域設定部１３は、顔の輪郭のランドマークＬＢ１と、鼻のランドマークＬＢ２とを選択する。また、計測領域設定部１３は、ランドマークＬＢ１とランドマークＬＢ２との間の線分を４等分するように補助ランドマークｂ１、ｂ２、ｂ３を設定する。なお、ランドマークＬＢ１、ＬＢ２は、それぞれ、例えば、ランドマークＬＡ１、ＬＡ２に隣接する顔の輪郭又は鼻のランドマークから選択されればよい。
計測領域設定部１３は、補助ランドマークａ１、ｂ１、ｂ２、ａ２で囲まれる四辺形領域を一つの計測領域Ｒ１として設定する。補助ランドマークａ１、ｂ１、ｂ２、ａ２は、それぞれ、計測領域Ｒ１に対応する頂点座標となる。
計測領域設定部１３は、同様に、補助ランドマークａ２、ｂ２、ｂ３、ａ３で囲まれる一つの計測領域Ｒ２及び当該計測領域Ｒ２の頂点座標を設定する。
そして、計測領域設定部１３は、ランドマークＬＡ１とランドマークＬＡ２との間の線分を４等分するように補助ランドマークａ１、ａ２、ａ３を設定する。
同様に、計測領域設定部１３は、顔の輪郭のランドマークＬＢ１と、鼻のランドマークＬＢ２とを選択する。また、計測領域設定部１３は、ランドマークＬＢ１とランドマークＬＢ２との間の線分を４等分するように補助ランドマークｂ１、ｂ２、ｂ３を設定する。なお、ランドマークＬＢ１、ＬＢ２は、それぞれ、例えば、ランドマークＬＡ１、ＬＡ２に隣接する顔の輪郭又は鼻のランドマークから選択されればよい。
計測領域設定部１３は、補助ランドマークａ１、ｂ１、ｂ２、ａ２で囲まれる四辺形領域を一つの計測領域Ｒ１として設定する。補助ランドマークａ１、ｂ１、ｂ２、ａ２は、それぞれ、計測領域Ｒ１に対応する頂点座標となる。
計測領域設定部１３は、同様に、補助ランドマークａ２、ｂ２、ｂ３、ａ３で囲まれる一つの計測領域Ｒ２及び当該計測領域Ｒ２の頂点座標を設定する。
【0025】
なお、ここでは、頬の対応する部分に計測領域ｒｉ（ｋ）を設定する例を説明したが、計測領域設定部１３は、例えば、頬の他の部分、及び、あごに対応する部分の肌領域ｓｒに対しても同様に、計測領域ｒｉ（ｋ）及び当該計測領域ｒｉ（ｋ）の頂点座標を設定する。なお、図４Ｃでは図示していないが、計測領域設定部１３は、被験者の肌領域ｓｒの額に対応する部分、又は、鼻先に対応する部分に、計測領域ｒｉ（ｋ）を設定してもよい。
【0026】
計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４に出力する。
【0027】
脈波元信号抽出部１４は、撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々から、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における輝度変化を示す脈波元信号を抽出する。なお、脈波元信号は、脈波の元となる信号である。脈波推定装置１は、脈波元信号を用いて被験者の脈波を推定する。被験者の脈波の推定は、脈波推定部１６が行う。脈波推定部１６の詳細は後述する。
脈波元信号抽出部１４は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
脈波元信号抽出部１４は、脈波元信号を抽出すると、抽出した脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。
脈波元信号抽出部１４は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
脈波元信号抽出部１４は、脈波元信号を抽出すると、抽出した脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。
【0028】
脈波元信号情報Ｗ（ｔ）は、計測領域ｒｉ（ｋ）で抽出された脈波元信号ｗｉ（ｔ）を示す情報を含む。脈波元信号ｗｉ（ｔ）は、Ｔｐ分の時系列データであり、例えば、過去Ｔｐ分のフレームＩｍ（ｋ－Ｔｐ＋１），Ｉｍ（ｋ－Ｔｐ＋２），・・・，Ｉｍ（ｋ）と、計測領域情報Ｒ（ｋ－Ｔｐ＋１），Ｒ（ｋ－Ｔｐ＋２），・・・，Ｒ（ｋ）とに基づいて抽出される。
脈波元信号ｗｉ（ｔ）を抽出するにあたっては、脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対して、各計測領域ｒｉ（ｋ）の輝度特徴量Ｇｉ（ｊ）（ｊ＝ｋ－Ｔｐ＋１，ｋ－Ｔｐ＋２，・・・，ｋ）を算出する。輝度特徴量Ｇｉ（ｊ）は、各計測領域ｒｉ（ｊ）に対し、撮像画像のフレームＩｍ（ｊ）上の輝度値に基づいて算出される値である。輝度特徴量Ｇｉ（ｊ）は、計測領域ｒｉ（ｊ）内に含まれる画素の輝度値の平均又は分散等である。実施の形態１では、一例として、輝度特徴量Ｇｉ（ｊ）は、計測領域ｒｉ（ｊ）に含まれる画素の輝度値の平均とする。脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対し算出した輝度特徴量Ｇｉ（ｊ）を時系列に並べて脈波元信号ｗｉ（ｔ）とする。すなわち、脈波元信号抽出部１４は、脈波元信号ｗｉ（ｔ）＝［Ｇｉ（ｋ－Ｔｐ＋１），Ｇｉ（ｋ－Ｔｐ＋２），・・・，Ｇｉ（ｋ）］とする。
脈波元信号ｗｉ（ｔ）を抽出するにあたっては、脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対して、各計測領域ｒｉ（ｋ）の輝度特徴量Ｇｉ（ｊ）（ｊ＝ｋ－Ｔｐ＋１，ｋ－Ｔｐ＋２，・・・，ｋ）を算出する。輝度特徴量Ｇｉ（ｊ）は、各計測領域ｒｉ（ｊ）に対し、撮像画像のフレームＩｍ（ｊ）上の輝度値に基づいて算出される値である。輝度特徴量Ｇｉ（ｊ）は、計測領域ｒｉ（ｊ）内に含まれる画素の輝度値の平均又は分散等である。実施の形態１では、一例として、輝度特徴量Ｇｉ（ｊ）は、計測領域ｒｉ（ｊ）に含まれる画素の輝度値の平均とする。脈波元信号抽出部１４は、撮像画像の各フレームＩｍ（ｋ）に対し算出した輝度特徴量Ｇｉ（ｊ）を時系列に並べて脈波元信号ｗｉ（ｔ）とする。すなわち、脈波元信号抽出部１４は、脈波元信号ｗｉ（ｔ）＝［Ｇｉ（ｋ－Ｔｐ＋１），Ｇｉ（ｋ－Ｔｐ＋２），・・・，Ｇｉ（ｋ）］とする。
【0029】
脈波元信号抽出部１４は、各計測領域ｒｉ（ｋ）における脈波元信号ｗｉ（ｔ）をまとめたものを脈波元信号情報Ｗ（ｔ）として生成する。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、脈波推定部１６に出力する。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、脈波推定部１６に出力する。
【0030】
なお、脈波元信号ｗｉ（ｔ）は、前述した脈波成分及び顔の動き成分以外にも様々なノイズ成分を含む。ノイズ成分としては、例えば、撮像装置の素子欠陥によるノイズ等がある。これらのノイズ成分を除去するためには、脈波元信号ｗｉ（ｔ）に対する前処理としてフィルタ処理が行われることが望ましい。例えば、脈波元信号抽出部１４は、当該フィルタ処理を行う。
フィルタ処理では、脈波元信号ｗｉ（ｔ）に対して、例えば、ローパスフィルタ、ハイパスフィルタ又はバンドパスフィルタを用いて、処理が施される。以下の説明では、バンドパスフィルタが施されたものとして説明する。
バンドパスフィルタとしては、例えば、バターワースフィルタ等を用いることができる。バンドパスフィルタのカットオフ周波数としては、例えば、低い方のカットオフ周波数は、０．５Ｈｚ、高い方のカットオフ周波数は５．０Ｈｚが望ましい。
フィルタ処理では、脈波元信号ｗｉ（ｔ）に対して、例えば、ローパスフィルタ、ハイパスフィルタ又はバンドパスフィルタを用いて、処理が施される。以下の説明では、バンドパスフィルタが施されたものとして説明する。
バンドパスフィルタとしては、例えば、バターワースフィルタ等を用いることができる。バンドパスフィルタのカットオフ周波数としては、例えば、低い方のカットオフ周波数は、０．５Ｈｚ、高い方のカットオフ周波数は５．０Ｈｚが望ましい。
【0031】
模擬信号取得部１５は、図示しない脈波推定装置１の外部の装置から、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における、計測領域の輝度変化を模擬した模擬信号を取得する。
模擬信号の取得元となる、脈波推定装置１の外部の装置を、以下「模擬信号取得元装置」という。模擬信号取得元装置は、例えば、車両の動き若しくは被験者の顔の動きを検知するジャイロセンサ、又は、撮像範囲における環境光の照度を検知する照度センサである。ジャイロセンサ及び照度センサは、車両に搭載されている。
例えば、模擬信号取得元装置がジャイロセンサである場合、模擬信号取得部１５は、ジャイロセンサが検知した車両の動きを示す信号、又は、被験者の顔の動きを示す信号を、模擬信号として取得する。なお、ジャイロセンサの設置位置及び検知範囲と、撮像装置の設置位置及び撮像範囲は予めわかっているので、ジャイロセンサが車両又は被験者の顔の動きを捉えた位置が、撮像画像上のどの計測領域に対応するかの対応付けが可能である。
また、例えば、模擬信号取得元装置が車室内の明るさを検知する照度センサである場合、模擬信号取得部１５は、照度センサが検知した環境光の強度を示す信号を、模擬信号として取得する。環境光は、撮像範囲に均一に照射されるものとする。
模擬信号取得部１５は、計測領域設定部１３から計測領域情報Ｒ（ｋ）を取得して、模擬信号取得元装置から取得した信号と、複数の計測領域ｒｉ（ｋ）との対応付けを行う。
模擬信号の取得元となる、脈波推定装置１の外部の装置を、以下「模擬信号取得元装置」という。模擬信号取得元装置は、例えば、車両の動き若しくは被験者の顔の動きを検知するジャイロセンサ、又は、撮像範囲における環境光の照度を検知する照度センサである。ジャイロセンサ及び照度センサは、車両に搭載されている。
例えば、模擬信号取得元装置がジャイロセンサである場合、模擬信号取得部１５は、ジャイロセンサが検知した車両の動きを示す信号、又は、被験者の顔の動きを示す信号を、模擬信号として取得する。なお、ジャイロセンサの設置位置及び検知範囲と、撮像装置の設置位置及び撮像範囲は予めわかっているので、ジャイロセンサが車両又は被験者の顔の動きを捉えた位置が、撮像画像上のどの計測領域に対応するかの対応付けが可能である。
また、例えば、模擬信号取得元装置が車室内の明るさを検知する照度センサである場合、模擬信号取得部１５は、照度センサが検知した環境光の強度を示す信号を、模擬信号として取得する。環境光は、撮像範囲に均一に照射されるものとする。
模擬信号取得部１５は、計測領域設定部１３から計測領域情報Ｒ（ｋ）を取得して、模擬信号取得元装置から取得した信号と、複数の計測領域ｒｉ（ｋ）との対応付けを行う。
【0032】
模擬信号取得部１５は、模擬信号取得元装置から、模擬信号を取得すると、取得した模擬信号を示す模擬信号情報Ｍ（ｔ）を生成する。
模擬信号情報Ｍ（ｔ）は、計測領域ｒｉ（ｋ）に対応する模擬信号ｍｉ（ｔ）を示す情報を含む。模擬信号ｍｉ（ｔ）は、Ｔｐ分の時系列データである。模擬信号取得部１５は、例えば、過去Ｔｐ分のフレームＩｍ（ｋ－Ｔｐ＋１），Ｉｍ（ｋ－Ｔｐ＋２），・・・，Ｉｍ（ｋ）が取得されるタイミングに応じて、模擬信号ｍｉ（ｔ）を取得する。
模擬信号取得部１５は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
模擬信号取得部１５は、模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
模擬信号情報Ｍ（ｔ）は、計測領域ｒｉ（ｋ）に対応する模擬信号ｍｉ（ｔ）を示す情報を含む。模擬信号ｍｉ（ｔ）は、Ｔｐ分の時系列データである。模擬信号取得部１５は、例えば、過去Ｔｐ分のフレームＩｍ（ｋ－Ｔｐ＋１），Ｉｍ（ｋ－Ｔｐ＋２），・・・，Ｉｍ（ｋ）が取得されるタイミングに応じて、模擬信号ｍｉ（ｔ）を取得する。
模擬信号取得部１５は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
模擬信号取得部１５は、模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
【0033】
脈波推定部１６は、脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）と、模擬信号取得部１５から出力された模擬信号情報Ｍ（ｔ）とに基づいて、被験者の脈波を推定する。すなわち、脈波推定部１６は、脈波元信号抽出部１４が抽出した脈波元信号ｗｉ（ｔ）と模擬信号取得部１５が取得した模擬信号ｍｉ（ｔ）とに基づいて、被験者の脈波を推定する。
具体的には、脈波推定部１６は、脈波元信号情報Ｗ（ｔ）と模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に掛ける係数（以下「除去用係数」という。）ｃｉ（ｔ）を算出し、脈波元信号ｗｉ（ｔ）から除去用係数ｃｉ（ｔ）を掛算した模擬信号ｍｉ（ｔ）をノイズとして除去した後の信号（以下「ノイズ除去信号」という。）に基づいて、被験者の脈波を推定する。
脈波推定部１６は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
脈波情報は、例えば、脈波推定部１６が推定した被験者の脈波の時系列データであってもよいし、被験者の脈拍数であってもよい。ここでは、説明を簡便にするため、脈波情報は、被験者の脈拍数（１分間当たりのはく数）とする。
具体的には、脈波推定部１６は、脈波元信号情報Ｗ（ｔ）と模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に掛ける係数（以下「除去用係数」という。）ｃｉ（ｔ）を算出し、脈波元信号ｗｉ（ｔ）から除去用係数ｃｉ（ｔ）を掛算した模擬信号ｍｉ（ｔ）をノイズとして除去した後の信号（以下「ノイズ除去信号」という。）に基づいて、被験者の脈波を推定する。
脈波推定部１６は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
脈波情報は、例えば、脈波推定部１６が推定した被験者の脈波の時系列データであってもよいし、被験者の脈拍数であってもよい。ここでは、説明を簡便にするため、脈波情報は、被験者の脈拍数（１分間当たりのはく数）とする。
【0034】
脈波推定部１６による被験者の脈波の推定方法の詳細について説明する。
上述のとおり、脈波推定部１６は、係数算出部１６１、ノイズ除去部１６２、及び、推定部１６３を備える。
係数算出部１６１は、脈波元信号情報Ｗ（ｔ）と模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に対する係数情報Ｃ（ｔ）を算出する。
係数情報Ｃ（ｔ）は、除去用係数ｃｉ（ｔ）に関する情報であり、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量を調整するための情報である。詳細には、脈波元信号ｗｉ（ｔ）から模擬信号ｍｉ（ｔ）を除去した後のノイズ除去信号ｅｉ（ｔ）が、被験者の脈波を推定するための信号として残るように、模擬信号を調整するための信号である。具体的には、係数情報Ｃ（ｔ）は、模擬信号を減らす信号である。
係数情報Ｃ（ｔ）の値が大きいと、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量は多くなり、係数情報Ｃ（ｔ）の値が小さいと、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量は少なくなる。
係数算出部１６１は、例えば、以下の式（１）を用いて係数情報Ｃ（ｔ）を算出する。
上述のとおり、脈波推定部１６は、係数算出部１６１、ノイズ除去部１６２、及び、推定部１６３を備える。
係数算出部１６１は、脈波元信号情報Ｗ（ｔ）と模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に対する係数情報Ｃ（ｔ）を算出する。
係数情報Ｃ（ｔ）は、除去用係数ｃｉ（ｔ）に関する情報であり、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量を調整するための情報である。詳細には、脈波元信号ｗｉ（ｔ）から模擬信号ｍｉ（ｔ）を除去した後のノイズ除去信号ｅｉ（ｔ）が、被験者の脈波を推定するための信号として残るように、模擬信号を調整するための信号である。具体的には、係数情報Ｃ（ｔ）は、模擬信号を減らす信号である。
係数情報Ｃ（ｔ）の値が大きいと、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量は多くなり、係数情報Ｃ（ｔ）の値が小さいと、脈波元信号情報Ｗ（ｔ）からノイズとして除去する模擬信号情報Ｍ（ｔ）の量は少なくなる。
係数算出部１６１は、例えば、以下の式（１）を用いて係数情報Ｃ（ｔ）を算出する。
【0035】
係数算出部１６１は、脈波元信号情報Ｗ（ｔ）と、係数情報Ｃ（ｔ）を模擬信号情報Ｍ（ｔ）に掛算した結果との差が小さくなるように係数情報Ｃ（ｔ）を算出する。これにより、脈波推定部１６は、脈波元信号情報Ｗ（ｔ）に含まれる模擬信号情報Ｍ（ｔ）の量を、係数情報Ｃ（ｔ）によって調整できる。なお、模擬信号情報Ｍ（ｔ）の量の、係数情報Ｃ（ｔ）を用いた調整は、ノイズ除去部１６２が行う。
係数算出部１６１は、算出した係数情報Ｃ（ｔ）を、ノイズ除去部１６２へ出力する。
係数算出部１６１は、算出した係数情報Ｃ（ｔ）を、ノイズ除去部１６２へ出力する。
【0036】
ノイズ除去部１６２は、脈波元信号情報Ｗ（ｔ）と模擬信号情報Ｍ（ｔ）と係数情報Ｃ（ｔ）とに基づいて、ノイズの除去を行う。そして、ノイズ除去部１６２は、ノイズ除去後の信号情報であるノイズ除去信号情報Ｅ（ｔ）を算出する。
ノイズ除去部１６２は、以下の式（２）を用いて、ノイズ除去信号情報Ｅ（ｔ）を算出する。
ノイズ除去部１６２は、以下の式（２）を用いて、ノイズ除去信号情報Ｅ（ｔ）を算出する。
【0037】
具体的には、ノイズ除去部１６２は、まず、模擬信号ｍｉ（ｔ）と除去用係数ｃｉ（ｔ）とを掛算する。そして、ノイズ除去部１６２は、脈波元信号ｗｉ（ｔ）から、模擬信号ｍｉ（ｔ）に除去用係数ｃｉ（ｔ）を掛けた信号を引き算することで、ノイズ除去信号ｅｉ（ｔ）を算出する。ノイズ除去信号ｅｉ（ｔ）は、計測領域ｒｉ（ｋ）における輝度変化からノイズを除去した信号となる。すなわち、ノイズ除去部１６２は、各計測領域ｒｉ（ｋ）に対してノイズ除去信号ｅｉ（ｔ）を算出する。
次に、ノイズ除去部１６２は、各計測領域ｒｉ（ｋ）に対応するノイズ除去信号ｅｉ（ｔ）を合算したノイズ除去信号情報Ｅ（ｔ）を算出する。
ノイズ除去部１６２は、算出したノイズ除去信号情報Ｅ（ｔ）を、推定部１６３へ出力する。
次に、ノイズ除去部１６２は、各計測領域ｒｉ（ｋ）に対応するノイズ除去信号ｅｉ（ｔ）を合算したノイズ除去信号情報Ｅ（ｔ）を算出する。
ノイズ除去部１６２は、算出したノイズ除去信号情報Ｅ（ｔ）を、推定部１６３へ出力する。
【0038】
推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）に基づいて、被験者の脈波を推定する。
具体的には、推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）に対し、フーリエ変換を行い、周波数パワースペクトルにおけるピーク周波数を脈拍数として算出する。推定部１６３は、算出した脈拍数に関する情報を、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）とする。
なお、推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）を、脈波推定結果Ｐ（ｔ）としてもよい。
推定部１６３は、脈波推定結果Ｐ（ｔ）を、出力部１７に出力する。
具体的には、推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）に対し、フーリエ変換を行い、周波数パワースペクトルにおけるピーク周波数を脈拍数として算出する。推定部１６３は、算出した脈拍数に関する情報を、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）とする。
なお、推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）を、脈波推定結果Ｐ（ｔ）としてもよい。
推定部１６３は、脈波推定結果Ｐ（ｔ）を、出力部１７に出力する。
【0039】
出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、状態推定装置２の脈波情報取得部２１に出力する。
なお、出力部１７の機能は脈波推定部１６に備えられていてもよい。
なお、出力部１７の機能は脈波推定部１６に備えられていてもよい。
【0040】
続いて、実施の形態１に係る状態推定装置２の構成例について説明する。
図１に示すように、状態推定装置２は、脈波推定装置１、脈波情報取得部２１、状態推定部２２、及び、出力部２３を備える。
図１に示すように、状態推定装置２は、脈波推定装置１、脈波情報取得部２１、状態推定部２２、及び、出力部２３を備える。
【0041】
脈波情報取得部２１は、脈波推定装置１から出力された脈波推定結果Ｐ（ｔ）を取得する。
脈波情報取得部２１は、取得した脈波推定結果Ｐ（ｔ）を状態推定部２２に出力する。
脈波情報取得部２１は、取得した脈波推定結果Ｐ（ｔ）を状態推定部２２に出力する。
【0042】
状態推定部２２は、脈波情報取得部２１から出力された脈波推定結果Ｐ（ｔ）に基づいて、言い換えれば、脈波推定装置１が推定した被験者の脈波に基づいて、被験者の状態を推定する。実施の形態１では、状態推定部２２は、脈波推定装置１が推定した被験者の脈拍数に基づいて、被験者の状態を推定する。詳細には、状態推定部２２は、被験者、言い換えれば、ドライバの脈拍数に基づいて、ドライバの状態として、ドライバの覚醒度を推定する。例えば、覚醒度は、２段階（１：眠い、２：覚醒している）の覚醒レベルであらわされる。
【0043】
状態推定部２２は、例えば、脈波情報取得部２１から脈波推定結果Ｐ（ｔ）が出力されるとこれを記憶するようにし、記憶しておいた脈波推定結果Ｐ（ｔ）に基づき、運転開始後１０分間の被験者の脈拍数を当該被験者の基準脈拍数として算出する。状態推定部２２は、運転が開始されたことを、例えば、車両の電源がオンにされたことで判定すればよい。また、状態推定部２２は、運転が開始されたことを、例えば、シフトポジションセンサ等、車両に搭載されている各種センサからの信号に基づいて判定してもよい。
一般に、人は、運転開始直後は覚醒している状態であると想定される。そこで、状態推定部２２は、運転開始後１０分間の被験者の脈拍数を、覚醒している状態であるか否かを判定する基準となる基準脈拍数として算出する。被験者の脈拍数が基準脈拍数より低下した場合、被験者の覚醒度は低下していると推定できる。
状態推定部２２は、脈波情報取得部２１から出力された脈波推定結果Ｐ（ｔ）、言い換えれば、脈波推定装置１が推定した被験者の脈拍数と、基準脈拍数との比較によって、被験者の覚醒度を推定する。状態推定部２２は、被験者の脈拍数が基準脈拍数から予め設定された閾値（以下「低下判定用閾値」という。）以上低下した場合、覚醒レベルが低下したとし、覚醒レベル「１」と推定する。
一般に、人は、運転開始直後は覚醒している状態であると想定される。そこで、状態推定部２２は、運転開始後１０分間の被験者の脈拍数を、覚醒している状態であるか否かを判定する基準となる基準脈拍数として算出する。被験者の脈拍数が基準脈拍数より低下した場合、被験者の覚醒度は低下していると推定できる。
状態推定部２２は、脈波情報取得部２１から出力された脈波推定結果Ｐ（ｔ）、言い換えれば、脈波推定装置１が推定した被験者の脈拍数と、基準脈拍数との比較によって、被験者の覚醒度を推定する。状態推定部２２は、被験者の脈拍数が基準脈拍数から予め設定された閾値（以下「低下判定用閾値」という。）以上低下した場合、覚醒レベルが低下したとし、覚醒レベル「１」と推定する。
【0044】
なお、実施の形態１では、状態推定部２２は、脈波情報取得部２１から出力された脈波推定結果Ｐ（ｔ）、言い換えれば、脈波推定装置１が推定した被験者の脈波に基づき、基準脈拍数を算出するようにしたが、これは一例に過ぎない。例えば、基準脈拍数には、予め、一般的な、人の覚醒状態での脈拍数が設定され、当該基準脈拍数が状態推定部２２に記憶されていてもよい。状態推定部２２は記憶している基準脈拍数に基づいて、被験者の覚醒度を推定する。ただし、状態推定部２２は、上述したように、脈波推定装置１から出力される脈波推定結果Ｐ（ｔ）に基づいて被験者に対する基準脈拍数を算出することで、個人差を考慮し、被験者に応じた覚醒度の推定を行うことができる。
【0045】
なお、状態推定部２２は、脈波推定結果Ｐ（ｔ）に基づいて被験者の覚醒度を推定する手法と、公知の覚醒度推定手法とを組み合わせて、被験者の覚醒度を推定してもよい。公知の覚醒度推定手法とは、閉眼時間割合が増加しているかを検出して覚醒度を推定する手法等を想定している。
【0046】
状態推定部２２は、推定した被験者の状態に関する状態情報Ｚ（ｔ）を出力部２３に出力する。
【0047】
出力部２３は、状態推定部２２から出力された状態情報Ｚ（ｔ）を、出力装置３に出力する。
なお、出力部２３の機能は状態推定部２２に備えられてもよい。
なお、出力部２３の機能は状態推定部２２に備えられてもよい。
【0048】
実施の形態１では、上述の通り、状態推定部２２が推定した被験者の状態に関する状態情報Ｚ（ｔ）は出力装置３に出力されるものとするが、これは一例に過ぎない。例えば、状態推定部２２が、状態情報Ｚ（ｔ）を記憶してもよい。この場合、状態推定装置２は、出力装置３と接続されていることを必須としない。また、状態推定装置２は、出力部２３を備えない構成とできる。
【0049】
実施の形態１に係る脈波推定装置１の動作について説明する。
図５は、実施の形態１に係る脈波推定装置１の動作について説明するためのフローチャートである。
図５は、実施の形態１に係る脈波推定装置１の動作について説明するためのフローチャートである。
【0050】
撮像画像取得部１１は、被験者を撮像した撮像画像を取得する（ステップＳＴ１）。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。
撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。
【0051】
肌領域検出部１２は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から肌領域を検出する（ステップＳＴ２）。
肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成する。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。
肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成する。
肌領域検出部１２は、生成した肌領域情報Ｓ（ｋ）を、計測領域設定部１３に出力する。
【0052】
計測領域設定部１３は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ２にて肌領域検出部１２が出力した肌領域情報Ｓ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域に、輝度変化を示す脈波元信号を抽出するための複数の計測領域を設定する（ステップＳＴ３）。
計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。
計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４及び模擬信号取得部１５に出力する。
計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。
計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４及び模擬信号取得部１５に出力する。
【0053】
脈波元信号抽出部１４は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ３にて計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づき、フレームＩｍ（ｋ）上の、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々から、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における輝度変化を示す脈波元信号を抽出する（ステップＳＴ４）。
脈波元信号抽出部１４は、脈波元信号を抽出すると、抽出した脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、脈波推定部１６に出力する。
脈波元信号抽出部１４は、脈波元信号を抽出すると、抽出した脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。
脈波元信号抽出部１４は、生成した脈波元信号情報Ｗ（ｔ）を、脈波推定部１６に出力する。
【0054】
模擬信号取得部１５は、模擬信号取得元装置から、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における、計測領域の輝度変化を模擬した模擬信号を取得する（ステップＳＴ５）。
模擬信号取得部１５は、模擬信号取得元装置から、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々に対応する信号を模擬信号とし、当該模擬信号をあわせて模擬信号情報Ｍ（ｔ）とする。
模擬信号取得部１５は、模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
模擬信号取得部１５は、模擬信号取得元装置から、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々に対応する信号を模擬信号とし、当該模擬信号をあわせて模擬信号情報Ｍ（ｔ）とする。
模擬信号取得部１５は、模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
【0055】
脈波推定部１６は、ステップＳＴ４にて脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）と、ステップＳＴ５にて模擬信号取得部１５から出力された模擬信号情報Ｍ（ｔ）とに基づいて、被験者の脈波を推定する（ステップＳＴ６）。
脈波推定部１６は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、状態推定装置２の脈波情報取得部２１に出力する。
脈波推定部１６は、推定した脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力部１７に出力する。
出力部１７は、脈波推定部１６から出力された脈波推定結果Ｐ（ｔ）を、状態推定装置２の脈波情報取得部２１に出力する。
【0056】
なお、図５に示すフローチャートでは、ステップＳＴ４、ステップＳＴ５の順に処理が行われるものとしているが、これは一例に過ぎない。ステップＳＴ４とステップＳＴ５の処理の順番は逆でもよいし、ステップＳＴ４の処理とステップＳＴ５の処理が並行して行われてもよい。
【0057】
図６は、図５のステップＳＴ６の詳細について説明するためのフローチャートである。
係数算出部１６１は、図５のステップＳＴ４にて脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）と、図５のステップＳＴ５にて模擬信号取得部１５から出力された模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に対する係数情報Ｃ（ｔ）を算出する（ステップＳＴ６１）。
係数算出部１６１は、算出した係数情報Ｃ（ｔ）を、ノイズ除去部１６２へ出力する。
係数算出部１６１は、図５のステップＳＴ４にて脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）と、図５のステップＳＴ５にて模擬信号取得部１５から出力された模擬信号情報Ｍ（ｔ）とに基づいて、模擬信号情報Ｍ（ｔ）に対する係数情報Ｃ（ｔ）を算出する（ステップＳＴ６１）。
係数算出部１６１は、算出した係数情報Ｃ（ｔ）を、ノイズ除去部１６２へ出力する。
【0058】
ノイズ除去部１６２は、図５のステップＳＴ４にて脈波元信号抽出部１４から出力された脈波元信号情報Ｗ（ｔ）と、図５のステップＳＴ５にて模擬信号取得部１５から出力された模擬信号情報Ｍ（ｔ）と、ステップＳＴ６１にて係数算出部１６１から出力された係数情報Ｃ（ｔ）とに基づいて、ノイズの除去を行う（ステップＳＴ６２）。具体的には、ノイズ除去部１６２は、脈波元信号ｗｉ（ｔ）から、模擬信号ｍｉ（ｔ）に除去用係数ｃｉ（ｔ）を掛けた信号を引き算することで、ノイズ除去後の信号情報であるノイズ除去信号情報Ｅ（ｔ）を算出する（ステップＳＴ６２）。
ノイズ除去部１６２は、算出したノイズ除去信号情報Ｅ（ｔ）を、推定部１６３へ出力する。
ノイズ除去部１６２は、算出したノイズ除去信号情報Ｅ（ｔ）を、推定部１６３へ出力する。
【0059】
推定部１６３は、ステップＳＴ６２にてノイズ除去信号情報Ｅ（ｔ）に基づいて、被験者の脈波を推定する（ステップＳＴ６３）。具体的には、推定部１６３は、ノイズ除去信号情報Ｅ（ｔ）に対し、フーリエ変換を行い、周波数パワースペクトルにおけるピーク周波数を脈拍数として算出する。
推定部１６３は、脈波推定結果Ｐ（ｔ）を、出力部１７に出力する。
推定部１６３は、脈波推定結果Ｐ（ｔ）を、出力部１７に出力する。
【0060】
実施の形態１に係る状態推定装置２の動作について説明する。
図７は、実施の形態１に係る状態推定装置２の動作について説明するためのフローチャートである。
図７は、実施の形態１に係る状態推定装置２の動作について説明するためのフローチャートである。
【0061】
脈波情報取得部２１は、脈波推定装置１から出力された脈波推定結果Ｐ（ｔ）を取得する（ステップＳＴ１１）。
脈波情報取得部２１は、取得した脈波推定結果Ｐ（ｔ）を状態推定部２２に出力する。
脈波情報取得部２１は、取得した脈波推定結果Ｐ（ｔ）を状態推定部２２に出力する。
【0062】
状態推定部２２は、ステップＳＴ１１にて脈波情報取得部２１から出力された脈波推定結果Ｐ（ｔ）に基づいて、被験者の状態を推定する（ステップＳＴ１２）。
状態推定部２２は、推定した被験者の状態に関する状態情報Ｚ（ｔ）を出力部２３に出力する。
出力部２３は、状態推定部２２から出力された状態情報Ｚ（ｔ）を、出力装置３に出力する。
状態推定部２２は、推定した被験者の状態に関する状態情報Ｚ（ｔ）を出力部２３に出力する。
出力部２３は、状態推定部２２から出力された状態情報Ｚ（ｔ）を、出力装置３に出力する。
【0063】
被験者の脈波を推定するのに用いる、被験者の肌領域の輝度変化に基づく輝度信号には、被験者の脈波の推定に用いるべき、被験者の真の脈波に基づく輝度信号と、ノイズとなる信号とが含まれている。従って、被験者の脈波を推定するにあたっては、肌領域の輝度変化に基づく輝度信号から上記ノイズとなる信号を除去することで、上記ノイズとなる信号以外の、被験者の真の脈波に基づく輝度信号を抽出する必要がある。
しかし、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうと、肌領域の輝度変化に基づく輝度信号に含まれている被験者の真の脈波に基づく輝度信号までもが、ノイズとなる信号とともに除去されてしまう。そうすると、被験者の脈波の推定に用いるべき、被験者の真の脈波に基づく輝度信号が十分に残らず、あるいは、当該輝度信号がどれぐらいであったかがわからない状態となり、被験者の脈波を推定できないことになる。
しかし、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうと、肌領域の輝度変化に基づく輝度信号に含まれている被験者の真の脈波に基づく輝度信号までもが、ノイズとなる信号とともに除去されてしまう。そうすると、被験者の脈波の推定に用いるべき、被験者の真の脈波に基づく輝度信号が十分に残らず、あるいは、当該輝度信号がどれぐらいであったかがわからない状態となり、被験者の脈波を推定できないことになる。
【0064】
これに対し、実施の形態１に係る脈波推定装置１は、撮像画像上の、被験者の肌領域に対応する領域に設定した計測領域ｒｉ（ｔ）における輝度変化に基づき脈波元信号ｗｉ（ｔ）を抽出し、計測領域ｒｉ（ｔ）における輝度変化のノイズ成分と推定される模擬信号ｍｉ（ｔ）を取得する。そして、脈波推定装置１は、脈波元信号ｗｉ（ｔ）から模擬信号ｍｉ（ｔ）を除去した後のノイズ除去信号ｅｉ（ｔ）に、被験者の脈波を推定するための信号が残るように、模擬信号ｍｉ（ｔ）を調整するための除去用係数ｃｉ（ｔ）を算出し、脈波元信号ｗｉ（ｔ）から除去用係数ｃｉ（ｔ）を掛算した模擬信号ｍｉ（ｔ）を除去すると、ノイズ除去信号ｅｉ（ｔ）に基づいて、被験者の脈波を推定する。
これにより、脈波推定装置１は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１は、高精度に被験者の脈波を推定することができる。
これにより、脈波推定装置１は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１は、高精度に被験者の脈波を推定することができる。
【0065】
以上の実施の形態１では、脈波推定装置１において、係数算出部１６１は、上述の式（１）を用いて係数情報Ｃ（ｔ）を算出していた。
しかし、係数算出部１６１が上述の式（１）を用いて係数情報Ｃ（ｔ）を算出した場合、その後、ノイズ除去部１６２が上述の式（２）を用いて算出したノイズ除去信号情報Ｅ（ｔ）が「０」に近い値となる可能性がある。
そこで、以上の実施の形態１において、係数算出部１６１は、以下の式（３）を用いて係数情報Ｃ（ｔ）を算出してもよい。
式（３）は、式（１）にλ||Ｃ（ｔ）||２の項を追加することで、||Ｃ（ｔ）Ｍ（ｔ）－Ｗ（ｔ）||２が「０」に近づく度合いを軽減することができる。
すなわち、係数算出部１６１は、式（３）を用いて係数情報Ｃ（ｔ）を算出することで、その後、ノイズ除去部１６２が算出するノイズ除去信号情報Ｅ（ｔ）の中に、脈波情報の推定に必要な信号成分が残らなくなるという事態をより抑制することができる。脈波推定装置１は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を、より防ぐことができる。その結果、脈波推定装置１は、高精度に被験者の脈波を推定することができる。
しかし、係数算出部１６１が上述の式（１）を用いて係数情報Ｃ（ｔ）を算出した場合、その後、ノイズ除去部１６２が上述の式（２）を用いて算出したノイズ除去信号情報Ｅ（ｔ）が「０」に近い値となる可能性がある。
そこで、以上の実施の形態１において、係数算出部１６１は、以下の式（３）を用いて係数情報Ｃ（ｔ）を算出してもよい。
式（３）は、式（１）にλ||Ｃ（ｔ）||２の項を追加することで、||Ｃ（ｔ）Ｍ（ｔ）－Ｗ（ｔ）||２が「０」に近づく度合いを軽減することができる。
すなわち、係数算出部１６１は、式（３）を用いて係数情報Ｃ（ｔ）を算出することで、その後、ノイズ除去部１６２が算出するノイズ除去信号情報Ｅ（ｔ）の中に、脈波情報の推定に必要な信号成分が残らなくなるという事態をより抑制することができる。脈波推定装置１は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を、より防ぐことができる。その結果、脈波推定装置１は、高精度に被験者の脈波を推定することができる。
【0066】
また、以上の実施の形態１では、脈波推定装置１において、計測領域設定部１３は、フレームＩｍ（ｋ）上の、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域に、複数の計測領域を設定したが、これは一例に過ぎない。例えば、計測領域設定部１３が設定する計測領域は１つであってもよい。
なお、計測領域設定部１３が計測領域を１つのみ設定する場合、設定される１つの計測領域は、会話による口の動き、又は、表情の変化による動き等、動きの少ない肌領域に設定されることが好ましい。ここでいう「肌領域の動き」とは、頭の位置自体の移動に伴ったものではなく、頭の位置自体の移動以外の要因で生じる「肌領域の動き」をいう。
例えば、計測領域設定部１３が計測領域を１つのみ設定する場合、設定される１つの計測領域は、頬又は額に対応する肌領域に設定されることが好ましい。ただし、額に対応する肌領域は前髪等で隠れる可能性があるため、額より頬に対応する肌領域の方が、より好ましい。
なお、計測領域設定部１３が計測領域を１つのみ設定する場合、設定される１つの計測領域は、会話による口の動き、又は、表情の変化による動き等、動きの少ない肌領域に設定されることが好ましい。ここでいう「肌領域の動き」とは、頭の位置自体の移動に伴ったものではなく、頭の位置自体の移動以外の要因で生じる「肌領域の動き」をいう。
例えば、計測領域設定部１３が計測領域を１つのみ設定する場合、設定される１つの計測領域は、頬又は額に対応する肌領域に設定されることが好ましい。ただし、額に対応する肌領域は前髪等で隠れる可能性があるため、額より頬に対応する肌領域の方が、より好ましい。
【0067】
また、以上の実施の形態１では、脈波推定装置１は状態推定装置２に備えられていたが、これは一例に過ぎない。脈波推定装置１は、状態推定装置２の外部に備えられ、状態推定装置２の外部にて状態推定装置２と接続されていてもよい。
また、以上の実施の形態１では、照明部は撮像装置に備えられていたが、これは一例に過ぎない。例えば、撮像装置の外部に照明装置が備えられ、照明装置が、撮像装置の外部から撮像範囲に光を照射してもよい。
また、以上の実施の形態１では、照明部は撮像装置に備えられていたが、これは一例に過ぎない。例えば、撮像装置の外部に照明装置が備えられ、照明装置が、撮像装置の外部から撮像範囲に光を照射してもよい。
【0068】
また、以上の実施の形態１では、被験者は、車両のドライバとしたが、これは一例に過ぎない。被験者は、車両のドライバ以外の乗員としてもよい。
【0069】
また、以上の実施の形態１では、脈波推定装置１及び状態推定装置２は車載装置とし、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、脈波情報取得部２１と、状態推定部２２と、出力部２３は、車載装置に備えられていた。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、脈波情報取得部２１と、状態推定部２２と、出力部２３のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、脈波情報取得部２１と、状態推定部２２と、出力部２３が全部サーバに備えられてもよい。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、脈波情報取得部２１と、状態推定部２２と、出力部２３のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、脈波情報取得部２１と、状態推定部２２と、出力部２３が全部サーバに備えられてもよい。
【0070】
また、以上の実施の形態１に係る脈波推定装置１及び状態推定装置２は、車両に搭載される車載装置に限らず、例えば、家電機器に適用することもできる。また、被験者は、車両の乗員に限らず、様々な人とできる。
具体例を挙げると、脈波推定装置１及び状態推定装置２は、住居においてリビングに設置されているテレビに搭載されてもよい。この場合、被験者は、住居の住人等のユーザである。脈波推定装置１は、テレビに搭載されている撮像装置が撮像した撮像画像に基づき、ユーザの脈波を推定する。なお、撮像装置は、少なくとも被験者の肌存在範囲を撮像可能になっていればよい。状態推定装置２は、例えば、脈波推定装置１が推定したユーザの脈波に基づく脈波推定結果Ｐ（ｔ）に基づいて、脈拍数の上昇又は下降からユーザの体調を推定し、記録する。
具体例を挙げると、脈波推定装置１及び状態推定装置２は、住居においてリビングに設置されているテレビに搭載されてもよい。この場合、被験者は、住居の住人等のユーザである。脈波推定装置１は、テレビに搭載されている撮像装置が撮像した撮像画像に基づき、ユーザの脈波を推定する。なお、撮像装置は、少なくとも被験者の肌存在範囲を撮像可能になっていればよい。状態推定装置２は、例えば、脈波推定装置１が推定したユーザの脈波に基づく脈波推定結果Ｐ（ｔ）に基づいて、脈拍数の上昇又は下降からユーザの体調を推定し、記録する。
【0071】
図８Ａ，図８Ｂは、実施の形態１に係る脈波推定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１は、環境光モデルを用いて被験者の脈波を推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。
実施の形態１において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１は、環境光モデルを用いて被験者の脈波を推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。
【0072】
処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。
【0073】
処理回路がプロセッサ１０４の場合、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の機能を実行する。すなわち、脈波推定装置１は、プロセッサ１０４により実行されるときに、上述の図５のステップＳＴ１～ステップＳＴ６が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0074】
なお、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１と出力部１７については専用のハードウェアとしての処理回路１０１でその機能を実現し、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、脈波推定装置１は、撮像装置等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
また、脈波推定装置１は、撮像装置等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
【0075】
実施の形態１に係る状態推定装置２のハードウェア構成の一例も、図８Ａ，図８Ｂに示すような構成である。
実施の形態１において、脈波情報取得部２１と、状態推定部２２と、出力部２３の機能は、処理回路１０１により実現される。すなわち、状態推定装置２は、脈波推定装置１が推定した被験者の脈波に関する脈波情報に基づいて、被験者の状態を推定する制御を行うための処理回路１０１を備える。
実施の形態１において、脈波情報取得部２１と、状態推定部２２と、出力部２３の機能は、処理回路１０１により実現される。すなわち、状態推定装置２は、脈波推定装置１が推定した被験者の脈波に関する脈波情報に基づいて、被験者の状態を推定する制御を行うための処理回路１０１を備える。
【0076】
処理回路がプロセッサ１０４の場合、脈波情報取得部２１と、状態推定部２２と、出力部２３の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、脈波情報取得部２１と、状態推定部２２と、出力部２３の機能を実行する。すなわち、状態推定装置２は、プロセッサ１０４により実行されるときに、上述の図７のステップＳＴ１１～ステップＳＴ１２が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、脈波情報取得部２１と、状態推定部２２と、出力部２３の処理の手順又は方法をコンピュータに実行させるものであるともいえる。
【0077】
なお、脈波情報取得部２１と、状態推定部２２と、出力部２３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、脈波情報取得部２１と出力部２３については専用のハードウェアとしての処理回路１０１でその機能を実現し、状態推定部２２についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、状態推定装置２は、脈波推定装置１又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
また、状態推定装置２は、脈波推定装置１又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
【0078】
以上のように、実施の形態１に係る脈波推定装置１は、人（被験者）を撮像した撮像画像を取得する撮像画像取得部１１と、撮像画像から人の肌領域を検出する肌領域検出部１２と、撮像画像上の、肌領域に対応する領域に、輝度変化を示す脈波元信号ｗｉ（ｔ）を抽出するための計測領域ｒｉ（ｋ）を設定する計測領域設定部１３と、撮像画像上の計測領域ｒｉ（ｋ）における輝度変化に基づき、脈波元信号ｗｉ（ｔ）を抽出する脈波元信号抽出部１４と、計測領域ｒｉ（ｋ）における輝度変化のノイズ成分と推定される、計測領域ｒｉ（ｋ）の輝度変化を模擬した模擬信号ｍｉ（ｔ）を取得する模擬信号取得部１５と、脈波元信号ｗｉ（ｔ）から模擬信号ｍｉ（ｔ）を除去した後のノイズ除去信号ｅｉ（ｔ）に、人の脈波を推定するための信号が残るように、模擬信号ｍｉ（ｔ）を調整するための係数（除去用係数ｃｉ（ｔ））を算出する係数算出部１６１と、脈波元信号ｗｉ（ｔ）から係数を掛算した模擬信号ｍｉ（ｔ）を除去するノイズ除去部１６２と、ノイズ除去信号ｅｉ（ｔ）に基づいて、人の脈波を推定する推定部１６３とを備えるように構成した。そのため、脈波推定装置１は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１は、被験者の脈波を高精度に推定できる。
【0079】
また、以上の実施の形態１に係る状態推定装置２は、上記構成を有する脈波推定装置１が推定した人（被験者）の脈波に基づいて、人の状態を推定するように構成した。そのため、状態推定装置２は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防いで、高精度に推定された脈波に基づいて被験者の状態を推定することができる。その結果、状態推定装置２は、高精度に被験者の状態を推定することができる。
【0080】
実施の形態２．
実施の形態１では、脈波推定装置は、模擬信号取得元装置から模擬信号を取得していた。
実施の形態２では、脈波推定装置が、模擬信号を生成する実施の形態について説明する。
実施の形態１では、脈波推定装置は、模擬信号取得元装置から模擬信号を取得していた。
実施の形態２では、脈波推定装置が、模擬信号を生成する実施の形態について説明する。
【0081】
図９は、実施の形態２に係る脈波推定装置１ａを備えた状態推定装置２の構成例を示す図である。
図９において、実施の形態１にて図１を用いて説明した状態推定装置２の構成例と同様の構成例については、同じ符号を付して重複した説明を省略する。
図９に示す状態推定装置２の構成例は、実施の形態１にて図１を用いて説明した状態推定装置２の構成例とは、状態推定装置２に備えられている脈波推定装置１ａの構成例が異なる。
図９において、実施の形態１にて図１を用いて説明した状態推定装置２の構成例と同様の構成例については、同じ符号を付して重複した説明を省略する。
図９に示す状態推定装置２の構成例は、実施の形態１にて図１を用いて説明した状態推定装置２の構成例とは、状態推定装置２に備えられている脈波推定装置１ａの構成例が異なる。
【0082】
図１０は、実施の形態２に係る脈波推定装置１ａの構成例を示す図である。
図１０において、実施の形態１にて図２を用いて説明した脈波推定装置１の構成例と同様の構成例については、同じ符号を付して重複した説明を省略する。
図１０に示す脈波推定装置１ａの構成例は、実施の形態１にて図２を用いて説明した脈波推定装置１の構成例とは、模擬信号生成部１８を備える点が異なる。
図１０において、実施の形態１にて図２を用いて説明した脈波推定装置１の構成例と同様の構成例については、同じ符号を付して重複した説明を省略する。
図１０に示す脈波推定装置１ａの構成例は、実施の形態１にて図２を用いて説明した脈波推定装置１の構成例とは、模擬信号生成部１８を備える点が異なる。
【0083】
模擬信号生成部１８は、撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づいて、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の輝度変化を模擬した模擬信号を生成する。なお、実施の形態２では、計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４及び模擬信号生成部１８に出力する。
【0084】
例えば、模擬信号生成部１８は、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における、計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号を生成する。
模擬信号生成部１８は、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々について上記模擬信号を生成する。
模擬信号生成部１８は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
模擬信号生成部１８は、計測領域ｒｉ（ｋ）の各々について模擬信号を生成すると、生成した模擬信号をあわせた模擬信号情報Ｍ（ｔ）を生成する。
模擬信号生成部１８は、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々について上記模擬信号を生成する。
模擬信号生成部１８は、撮像画像取得部１１が取得した撮像画像を、肌領域検出部１２及び計測領域設定部１３を介して取得すればよい。
模擬信号生成部１８は、計測領域ｒｉ（ｋ）の各々について模擬信号を生成すると、生成した模擬信号をあわせた模擬信号情報Ｍ（ｔ）を生成する。
【0085】
模擬信号情報Ｍ（ｔ）は、計測領域ｒｉ（ｋ）に対し生成された模擬信号ｍｉ（ｔ）を示す情報を含む。模擬信号ｍｉ（ｔ）は、Ｔｐ分の時系列データであり、例えば、過去Ｔｐ分のフレームＩｍ（ｋ－Ｔｐ＋１），Ｉｍ（ｋ－Ｔｐ＋２），・・・，Ｉｍ（ｋ）と、計測領域情報Ｒ（ｋ－Ｔｐ＋１），Ｒ（ｋ－Ｔｐ＋２），・・・，Ｒ（ｋ）と、環境光モデルとに基づいて生成される。
環境光モデルは、予め、模擬信号生成部１８に備えられている。
環境光モデルは、環境光が照射される範囲の空間的な輝度分布に基づき、撮像画像上の座標の輝度値を模擬した値を出力する環境光の分布モデルである。
環境光モデルは、予め、模擬信号生成部１８に備えられている。
環境光モデルは、環境光が照射される範囲の空間的な輝度分布に基づき、撮像画像上の座標の輝度値を模擬した値を出力する環境光の分布モデルである。
【0086】
例えば、撮像画像が撮像される際の環境光が、撮像装置の照明部の照明光とする。ここで、例えば、照明部による照明光は、撮像部の撮像範囲の中心付近に、一番強く照射されるとする。撮像部が撮像する撮像画像において、中央部の輝度が一番高くなり、当該中央部から撮像画像の端部にかけて輝度が低くなっていく。なお、実施の形態２において、「中央」は、厳密に「中央」であることに限定されず、略中央を含む。
このように、例えば、撮像画像において中央部が明るく周囲が暗くなるように当該撮像画像が撮像されるよう撮像範囲に照射される環境光の場合、環境光モデルは、次の式（４）で表すような２次元ガウス分布である。
ｑ_（ｘ，ｙ）は撮像画像上の座標（ｘ，ｙ）における輝度値を模擬した値であり、（ｘ_ｃ，ｙ_ｃ）は２次元ガウス分布の中心座標である。ａは、２次元ガウス分布の高さを決めるパラメータである。σは、２次元ガウス分布の拡がりを決めるパラメータである。２次元ガウス分布の中心座標は、照明部が照射した照明光を撮像部で取得した際の空間的な輝度分布に基づいて決定される。
このように、例えば、撮像画像において中央部が明るく周囲が暗くなるように当該撮像画像が撮像されるよう撮像範囲に照射される環境光の場合、環境光モデルは、次の式（４）で表すような２次元ガウス分布である。
ｑ_（ｘ，ｙ）は撮像画像上の座標（ｘ，ｙ）における輝度値を模擬した値であり、（ｘ_ｃ，ｙ_ｃ）は２次元ガウス分布の中心座標である。ａは、２次元ガウス分布の高さを決めるパラメータである。σは、２次元ガウス分布の拡がりを決めるパラメータである。２次元ガウス分布の中心座標は、照明部が照射した照明光を撮像部で取得した際の空間的な輝度分布に基づいて決定される。
【0087】
図１１は、実施の形態２において、環境光モデルに２次元ガウス分布を用いた場合の、撮像画像における、環境光モデルがあらわす環境光の分布の一例を示す図である。
図１１に示す環境光モデルは、環境光が撮像装置の照明部の照明光である場合の環境光モデルとしている。
図１１に示す環境光モデルは、環境光が撮像装置の照明部の照明光である場合の環境光モデルとしている。
【0088】
模擬信号生成部１８は、計測領域ｒｉ（ｋ）に含まれている撮像画像上の座標値（ｘ，ｙ）を、上記環境光モデルを用いて、模擬信号ｍｉ（ｔ）に変換する。
模擬信号ｍｉ（ｔ）を生成するにあたっては、模擬信号生成部１８は、撮像画像の各フレームＩｍ（ｋ）に対して、上記環境光モデルを用いて、各計測領域ｒｉ（ｋ）の中の座標における輝度値を模擬した値Ｖｉ（ｊ）（ｊ＝ｋ－Ｔｐ＋１，ｋ－Ｔｐ＋２，・・・，ｋ）を算出する。模擬信号生成部１８は、撮像画像の各フレームＩｍ（ｋ）に対し算出したＶｉ（ｊ）を時系列に並べて模擬信号ｍｉ（ｔ）とする。すなわち、模擬信号生成部１８は、模擬信号ｍｉ（ｔ）＝［Ｖｉ（ｋ－Ｔｐ＋１），Ｖｉ（ｋ－Ｔｐ＋２），・・・，Ｖｉ（ｋ）］とする。
そして、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）における模擬信号ｍｉ（ｔ）をまとめたものを模擬信号情報Ｍ（ｔ）として生成する。
模擬信号ｍｉ（ｔ）を生成するにあたっては、模擬信号生成部１８は、撮像画像の各フレームＩｍ（ｋ）に対して、上記環境光モデルを用いて、各計測領域ｒｉ（ｋ）の中の座標における輝度値を模擬した値Ｖｉ（ｊ）（ｊ＝ｋ－Ｔｐ＋１，ｋ－Ｔｐ＋２，・・・，ｋ）を算出する。模擬信号生成部１８は、撮像画像の各フレームＩｍ（ｋ）に対し算出したＶｉ（ｊ）を時系列に並べて模擬信号ｍｉ（ｔ）とする。すなわち、模擬信号生成部１８は、模擬信号ｍｉ（ｔ）＝［Ｖｉ（ｋ－Ｔｐ＋１），Ｖｉ（ｋ－Ｔｐ＋２），・・・，Ｖｉ（ｋ）］とする。
そして、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）における模擬信号ｍｉ（ｔ）をまとめたものを模擬信号情報Ｍ（ｔ）として生成する。
【0089】
なお、以上の説明では、環境光モデルは２次元ガウス分布としたが、これは一例に過ぎない。環境光モデルとして２次元ガウス分布以外の任意のモデルが用いられてもよい。例えば、環境光が撮像装置の照明部の照明光である場合、照明光の分布を実測したものが環境光モデルとして用いられてもよい。つまり、環境光モデルは、数式としてモデル化したものに限らず、撮像画像上のどの位置がどれぐらいの明るさになるかを実測して得られた値を元に生成されたものであってもよい。
また、模擬信号生成部１８は、模擬信号ｍｉ（ｔ）を、計測領域ｒｉ（ｋ）に対し、１つ算出してもよいし、各計測領域ｒｉ（ｋ）が持つ座標点数分算出してもよい。実施の形態２では、一例として、模擬信号生成部１８は、計測領域ｒｉ（ｋ）に対し、１つの模擬信号ｍｉ（ｔ）を算出するものとする。模擬信号生成部１８は、例えば、計測領域ｒｉ（ｋ）の四辺形の重心座標を用いて、計測領域ｒｉ（ｋ）に対し１つの模擬信号ｍｉ（ｔ）を算出する。
また、模擬信号生成部１８は、模擬信号ｍｉ（ｔ）を、計測領域ｒｉ（ｋ）に対し、１つ算出してもよいし、各計測領域ｒｉ（ｋ）が持つ座標点数分算出してもよい。実施の形態２では、一例として、模擬信号生成部１８は、計測領域ｒｉ（ｋ）に対し、１つの模擬信号ｍｉ（ｔ）を算出するものとする。模擬信号生成部１８は、例えば、計測領域ｒｉ（ｋ）の四辺形の重心座標を用いて、計測領域ｒｉ（ｋ）に対し１つの模擬信号ｍｉ（ｔ）を算出する。
【0090】
模擬信号生成部１８は、生成した模擬信号情報Ｍ（ｔ）を、模擬信号取得部１５へ出力する。
実施の形態２では、模擬信号取得部１５は、模擬信号生成部１８から出力された模擬信号情報Ｍ（ｔ）を取得し、当該模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
実施の形態２では、模擬信号取得部１５は、模擬信号生成部１８から出力された模擬信号情報Ｍ（ｔ）を取得し、当該模擬信号情報Ｍ（ｔ）を、脈波推定部１６へ出力する。
【0091】
なお、例えば、模擬信号生成部１８が、各計測領域ｒｉ（ｋ）において、座標点数分の模擬信号ｍｉ（ｔ）を算出する場合、ノイズ除去部１６２は、１つの計測領域ｒｉ（ｋ）に対して算出される模擬信号ｍｉ（ｔ）の数に応じた係数（以下「模擬信号用係数」という。）を各模擬信号ｍｉ（ｔ）に掛け算する。そして、ノイズ除去部１６２は、模擬信号用係数を掛けた後の模擬信号ｍｉ（ｔ）に除去用係数ｃｉ（ｔ）を掛けた信号を、脈波元信号ｗｉ（ｔ）から引き算する。
具体例を挙げると、例えば、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）において、座標点数分の模擬信号ｍｉ（ｔ）の振幅の最大値をｍｉ＿ａｍｐ（ｔ）、脈波元信号ｗｉ（ｔ）の振幅の最大値をｗｉ＿ａｍｐ（ｔ）とする。この場合、ノイズ除去部１６２は、各模擬信号ｍｉ（ｔ）に模擬信号用係数「ｗｉ＿ａｍｐ／ｍｉ＿ａｍｐ」を掛ける。そして、ノイズ除去部１６２は、「ｗｉ＿ａｍｐ／ｍｉ＿ａｍｐ」を掛けた後の各模擬信号ｍｉ（ｔ）を、脈波元信号ｗｉ（ｔ）から引き算する。
具体例を挙げると、例えば、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）において、座標点数分の模擬信号ｍｉ（ｔ）の振幅の最大値をｍｉ＿ａｍｐ（ｔ）、脈波元信号ｗｉ（ｔ）の振幅の最大値をｗｉ＿ａｍｐ（ｔ）とする。この場合、ノイズ除去部１６２は、各模擬信号ｍｉ（ｔ）に模擬信号用係数「ｗｉ＿ａｍｐ／ｍｉ＿ａｍｐ」を掛ける。そして、ノイズ除去部１６２は、「ｗｉ＿ａｍｐ／ｍｉ＿ａｍｐ」を掛けた後の各模擬信号ｍｉ（ｔ）を、脈波元信号ｗｉ（ｔ）から引き算する。
【0092】
実施の形態２に係る脈波推定装置１ａの動作について説明する。
図１２は、実施の形態２に係る脈波推定装置１ａの動作について説明するためのフローチャートである。
図１２において、ステップＳＴ２１～ステップＳＴ２４、ステップＳＴ２７の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図５のステップＳＴ１～ステップＳＴ４、ステップＳＴ６の具体的な動作と同様であるため、重複した説明を省略する。
図１２は、実施の形態２に係る脈波推定装置１ａの動作について説明するためのフローチャートである。
図１２において、ステップＳＴ２１～ステップＳＴ２４、ステップＳＴ２７の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図５のステップＳＴ１～ステップＳＴ４、ステップＳＴ６の具体的な動作と同様であるため、重複した説明を省略する。
【0093】
模擬信号生成部１８は、ステップＳＴ２１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ２３にて計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）とに基づき、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における、計測領域の輝度変化を模擬した模擬信号を生成する（ステップＳＴ２５）。
例えば、模擬信号生成部１８は、ステップＳＴ２１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ２３にて計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号を生成する。
なお、ステップＳＴ２３において、計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４及び模擬信号生成部１８に出力する。
そして、模擬信号生成部１８は、計測領域ｒｉ（ｋ）の各々について生成した模擬信号をあわせた模擬信号情報Ｍ（ｔ）を生成する。
模擬信号生成部１８は、生成した模擬信号情報Ｍ（ｔ）を、模擬信号取得部１５へ出力する。
例えば、模擬信号生成部１８は、ステップＳＴ２１にて撮像画像取得部１１が取得した撮像画像のフレームＩｍ（ｋ）と、ステップＳＴ２３にて計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号を生成する。
なお、ステップＳＴ２３において、計測領域設定部１３は、生成した計測領域情報Ｒ（ｋ）を、脈波元信号抽出部１４及び模擬信号生成部１８に出力する。
そして、模擬信号生成部１８は、計測領域ｒｉ（ｋ）の各々について生成した模擬信号をあわせた模擬信号情報Ｍ（ｔ）を生成する。
模擬信号生成部１８は、生成した模擬信号情報Ｍ（ｔ）を、模擬信号取得部１５へ出力する。
【0094】
模擬信号取得部１５は、ステップＳＴ２５にて模擬信号生成部１８から出力された模擬信号情報Ｍ（ｔ）を取得する（ステップＳＴ２６）。
模擬信号取得部１５は、取得した模擬信号情報Ｍ（ｔ）を、脈波推定部１６に出力する。
模擬信号取得部１５は、取得した模擬信号情報Ｍ（ｔ）を、脈波推定部１６に出力する。
【0095】
なお、図１２に示すフローチャートでは、ステップＳＴ２４、ステップＳＴ２５の順に処理が行われるものとしているが、これは一例に過ぎない。ステップＳＴ２４とステップＳＴ２５の処理の順番は逆でもよいし、ステップＳＴ２４の処理とステップＳＴ２５の処理が並行して行われてもよい。
【0096】
実施の形態２に係る状態推定装置２の動作は、実施の形態１にて図７に示すフローチャートを用いて説明した動作と同様であるため、重複した説明を省略する。
【0097】
このように、脈波推定装置１ａは、例えば、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号ｍｉ（ｔ）を生成することができる。そして、脈波推定装置１ａは、脈波元信号ｗｉ（ｔ）から、生成した模擬信号ｍｉ（ｔ）を除去した後の信号に、被験者の脈波を推定するための信号が残るように、模擬信号ｍｉ（ｔ）を調整するための除去用係数ｃｉ（ｔ）を算出し、脈波元信号ｗｉ（ｔ）から除去用係数ｃｉ（ｔ）を掛算した模擬信号ｍｉ（ｔ）を除去すると、除去した後のノイズ除去信号ｅｉ（ｔ）に基づいて、被験者の脈波を推定する。
これにより、脈波推定装置１ａは、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１ａは、高精度に被験者の脈波を推定することができる。
これにより、脈波推定装置１ａは、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１ａは、高精度に被験者の脈波を推定することができる。
【0098】
また、以上の実施の形態２では、脈波推定装置１ａは、上述のとおり、例えば、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号ｍｉ（ｔ）を生成する。
脈波推定装置１ａは、模擬信号を生成する際、環境光モデルを用いることで、撮像範囲における環境光の分布が不均一なシーンであっても、被験者の動きによるノイズを除去し、被験者の脈波を推定することができる。以下、詳細に説明する。
脈波推定装置１ａは、模擬信号を生成する際、環境光モデルを用いることで、撮像範囲における環境光の分布が不均一なシーンであっても、被験者の動きによるノイズを除去し、被験者の脈波を推定することができる。以下、詳細に説明する。
【0099】
上述したように、撮像装置で取得した撮像画像における人の肌領域の微小な輝度変化から、非接触に脈波を推定する手法が知られている。例えば、以下の参考文献１のように、被験者の顔画像上に複数の計測領域を設定し、各計測領域で取得された輝度信号の周波数パワースペクトルを算出し、当該周波数パワースペクトルのピーク周波数に応じて脈波を合成し、合成した脈波の周波数パワースペクトルのピークから脈拍数を推定する手法が知られている。
【0100】
［参考文献１］
Ｍａｙａｎｋ Ｋｕｍａｒ， ｅｔ ａｌ．，“ＤｉｓｔａｎｃｅＰＰＧ： Ｒｏｂｕｓｔ ｎｏｎ－ｃｏｎｔａｃｔ ｖｉｔａｌ ｓｉｇｎｓ ｍｏｎｉｔｏｒｉｎｇ ｕｓｉｎｇ ａ ｃａｍｅｒａ”，Ｂｉｏｍｅｄｉｃａｌ ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ，６（５），１５６５－１５８８，２０１５
Ｍａｙａｎｋ Ｋｕｍａｒ， ｅｔ ａｌ．，“ＤｉｓｔａｎｃｅＰＰＧ： Ｒｏｂｕｓｔ ｎｏｎ－ｃｏｎｔａｃｔ ｖｉｔａｌ ｓｉｇｎｓ ｍｏｎｉｔｏｒｉｎｇ ｕｓｉｎｇ ａ ｃａｍｅｒａ”，Ｂｉｏｍｅｄｉｃａｌ ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ，６（５），１５６５－１５８８，２０１５
【0101】
しかし、参考文献１に開示されているような手法では、被験者の顔が動くと脈波の推定精度が低下する問題がある。被験者の顔が動くと、顔の動きに相当する成分が周波数パワースペクトルのピークとして出現するため、脈波に相当する周波数成分ではなく、顔の動きに相当する成分を脈波として誤検出してしまうためである。
【0102】
このような問題に対し、上述のとおり、撮像領域における顔領域の位置情報を周波数分析して得られた特定の周波数成分を、顔領域からの画像信号からノイズとして除去する技術が知られている。
しかし、撮像範囲における環境光の分布が不均一なシーンも発生し得る。
例えば、撮像装置において、照明部による照明光は、撮像部の撮像範囲の中心付近に、一番強く照射されるとする。そうすると、撮像部が撮像する撮像画像において、中央部の輝度が一番高くなり、当該中央部から撮像画像の端部にかけて輝度が低くなっていく。すなわち、撮像範囲における環境光の分布が不均一になる。
撮像範囲における環境光の分布が不均一なシーンでは、撮像画像における被験者の肌領域の微小な輝度変化から推定される脈波は、肌領域の位置の変化だけでなく、環境光の影響を受ける。このことが考慮されていないと、ノイズ除去の際に、十分なノイズ除去効果が得られない可能性がある。
しかし、撮像範囲における環境光の分布が不均一なシーンも発生し得る。
例えば、撮像装置において、照明部による照明光は、撮像部の撮像範囲の中心付近に、一番強く照射されるとする。そうすると、撮像部が撮像する撮像画像において、中央部の輝度が一番高くなり、当該中央部から撮像画像の端部にかけて輝度が低くなっていく。すなわち、撮像範囲における環境光の分布が不均一になる。
撮像範囲における環境光の分布が不均一なシーンでは、撮像画像における被験者の肌領域の微小な輝度変化から推定される脈波は、肌領域の位置の変化だけでなく、環境光の影響を受ける。このことが考慮されていないと、ノイズ除去の際に、十分なノイズ除去効果が得られない可能性がある。
【0103】
図１３は、環境光の分布が不均一な場合に生じる、環境光の、撮像画像に基づく被験者の脈波推定に用いる信号への影響について説明するための図である。図１３Ａは、環境光の分布が均一なシーンで撮像された撮像画像の一例を示す図である。図１３Ｂは、環境光の分布が不均一なシーンで撮像された撮像画像の一例を示す図である。
図１３Ａ及び図１３Ｂにおいて、撮像画像を、それぞれ、ＩｍＡ、ＩｍＢで示している。図１３Ａ及び図１３Ｂに示す撮像画像上の色の濃さは、環境光に応じた輝度分布をあらわしている。色が薄いほど（白いほど）輝度が高く、色が濃くなるほど（黒くなるほど）輝度が低くなっていくことをあらわしている。
撮像画像には、被験者（図１３ＡではＳＡ、図１３ＢではＳＢで示す）が撮像される。
例えば、被験者は顔を動かしたため、時系列の複数の撮像画像のフレーム（Ｔｐ分のフレーム）において被験者の顔が図１３上左から右へ移動するとする。便宜上、図１３では１フレームの撮像画像のみ示し、時系列の複数の撮像画像のフレームにおける被験者の顔の位置の移動を矢印であらわしている。
図１３Ａに示すように、環境光が均一なシーンでは、被験者が顔を動かしても、言い換えれば、時系列の撮像画像の複数フレームにおいて被験者の顔がどの位置にあっても、顔の位置を示す信号及び顔の表面の輝度を示す信号は、ともに、環境光の影響を受けない。一方、図１３Ｂに示すように、環境光が不均一なシーンでは、被験者が顔を動かしても顔の位置を示す信号は環境光の影響を受けないのに対し、被験者が顔を動かすことにより、言い換えれば、時系列の撮像画像の複数フレームにおいて被験者の顔の位置が変わることにより、被験者の顔の表面の輝度を示す信号は、環境光の影響を受ける。被験者の顔が撮像画像の中央付近に近いほど、被験者の顔の表面の輝度は、環境光の影響を受け、高くなる。
図１３Ａ及び図１３Ｂにおいて、撮像画像を、それぞれ、ＩｍＡ、ＩｍＢで示している。図１３Ａ及び図１３Ｂに示す撮像画像上の色の濃さは、環境光に応じた輝度分布をあらわしている。色が薄いほど（白いほど）輝度が高く、色が濃くなるほど（黒くなるほど）輝度が低くなっていくことをあらわしている。
撮像画像には、被験者（図１３ＡではＳＡ、図１３ＢではＳＢで示す）が撮像される。
例えば、被験者は顔を動かしたため、時系列の複数の撮像画像のフレーム（Ｔｐ分のフレーム）において被験者の顔が図１３上左から右へ移動するとする。便宜上、図１３では１フレームの撮像画像のみ示し、時系列の複数の撮像画像のフレームにおける被験者の顔の位置の移動を矢印であらわしている。
図１３Ａに示すように、環境光が均一なシーンでは、被験者が顔を動かしても、言い換えれば、時系列の撮像画像の複数フレームにおいて被験者の顔がどの位置にあっても、顔の位置を示す信号及び顔の表面の輝度を示す信号は、ともに、環境光の影響を受けない。一方、図１３Ｂに示すように、環境光が不均一なシーンでは、被験者が顔を動かしても顔の位置を示す信号は環境光の影響を受けないのに対し、被験者が顔を動かすことにより、言い換えれば、時系列の撮像画像の複数フレームにおいて被験者の顔の位置が変わることにより、被験者の顔の表面の輝度を示す信号は、環境光の影響を受ける。被験者の顔が撮像画像の中央付近に近いほど、被験者の顔の表面の輝度は、環境光の影響を受け、高くなる。
【0104】
脈波推定装置１ａは、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、環境光のもとで、予め定められた期間、言い換えれば、フレーム数Ｔｐに対応する期間における計測領域の位置変化によって生じる当該計測領域の輝度変化を模擬した模擬信号ｍｉ（ｔ）を生成する。そして、脈波推定装置１ａは、生成した模擬信号ｍｉ（ｔ）を、ノイズ除去に利用する。そのため、脈波推定装置１ａは、撮像範囲における環境光の分布が不均一なシーンであっても、被験者の肌領域の位置変化によるノイズを除去し、被験者の脈波を推定することができる。そして、状態推定装置２は、撮像範囲における環境光の分布が不均一なシーンであっても、被験者の状態を推定することができる。
【0105】
なお、以上の説明では、環境光モデルは１つであることを想定していたが、環境光モデルは複数存在してもよい。
模擬信号生成部１８は、複数の環境光モデルを用いて模擬信号ｍｉ（ｔ）及び当該模擬信号ｍｉ（ｔ）をあわせた模擬信号情報Ｍ（ｔ）を生成できる。
この場合、脈波推定部１６において、係数算出部１６１は、脈波元信号情報Ｗ（ｔ）と、模擬信号生成部１８が複数の環境光モデルを用いて生成した複数の模擬信号情報Ｍ（ｔ）とに基づいて、上記式（１）を用いて、複数の環境光モデルに対する係数情報Ｃ（ｔ）を算出する。
ノイズ除去部１６２は、上記式（２）を用いて、脈波元信号情報Ｗ（ｔ）から、係数情報Ｃ（ｔ）を掛算した複数の模擬信号情報Ｍ（ｔ）を引き算して、ノイズ除去信号情報Ｅ（ｔ）を算出する。
模擬信号生成部１８は、複数の環境光モデルを用いて模擬信号ｍｉ（ｔ）及び当該模擬信号ｍｉ（ｔ）をあわせた模擬信号情報Ｍ（ｔ）を生成できる。
この場合、脈波推定部１６において、係数算出部１６１は、脈波元信号情報Ｗ（ｔ）と、模擬信号生成部１８が複数の環境光モデルを用いて生成した複数の模擬信号情報Ｍ（ｔ）とに基づいて、上記式（１）を用いて、複数の環境光モデルに対する係数情報Ｃ（ｔ）を算出する。
ノイズ除去部１６２は、上記式（２）を用いて、脈波元信号情報Ｗ（ｔ）から、係数情報Ｃ（ｔ）を掛算した複数の模擬信号情報Ｍ（ｔ）を引き算して、ノイズ除去信号情報Ｅ（ｔ）を算出する。
【0106】
図１４は、実施の形態２における、模擬信号生成部１８による、複数の環境光モデルに基づく模擬信号ｍｉ（ｔ）の生成方法の一例について説明するための図である。
図１４において、ＩｍＣは、夜間に走行中の車両にて撮像装置が撮像した撮像画像を示し、ＩｍＤは、昼間に、撮像画像上で左側の輝度が高くなるよう撮像範囲に光が入り込む環境で走行中の車両にて撮像装置が撮像した撮像画像を示し、ＩｍＥは、昼間に、撮像画像上で右側の輝度が高くなるよう撮像範囲に光が入り込む環境で走行中の車両にて撮像装置が撮像した撮像画像を示している。また、図１４において、８１ａは、ＩｍＣに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図であり、８１ｂは、ＩｍＤに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図であり、８１ｃは、ＩｍＥに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図である。８１ａ、８１ｂ、及び、８１ｃにおいて、環境光の強度は色の濃さで示しており、白いほど強度が高いことをあらわしている。なお、わかりやすさのため、図１４では、撮像装置が備える撮像部（図１４において４０１で示す）及び照明部（図１４において４０２で示す）を図示している。また、図１４において、Ｄｒは、被験者、ここでは、運転者の顔を示している。
図１４において、ＩｍＣは、夜間に走行中の車両にて撮像装置が撮像した撮像画像を示し、ＩｍＤは、昼間に、撮像画像上で左側の輝度が高くなるよう撮像範囲に光が入り込む環境で走行中の車両にて撮像装置が撮像した撮像画像を示し、ＩｍＥは、昼間に、撮像画像上で右側の輝度が高くなるよう撮像範囲に光が入り込む環境で走行中の車両にて撮像装置が撮像した撮像画像を示している。また、図１４において、８１ａは、ＩｍＣに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図であり、８１ｂは、ＩｍＤに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図であり、８１ｃは、ＩｍＥに示す撮像画像が撮像される状況における環境光に基づく環境光モデルがあらわす光の強度分布を示す図である。８１ａ、８１ｂ、及び、８１ｃにおいて、環境光の強度は色の濃さで示しており、白いほど強度が高いことをあらわしている。なお、わかりやすさのため、図１４では、撮像装置が備える撮像部（図１４において４０１で示す）及び照明部（図１４において４０２で示す）を図示している。また、図１４において、Ｄｒは、被験者、ここでは、運転者の顔を示している。
【0107】
例えば、夜間の走行シーンでは、環境光は撮像装置に備えられた照明部が照射する照明光のみとなる。
例えば、昼間の、撮像画像上で左側の輝度が高くなるよう車外から光が入り込む走行シーンでは、環境光は車外から入り込む光となる。また、昼間の、撮像画像上で右側の輝度が高くなるよう車外から光が入り込む走行シーンでは、環境光は車外から入り込む光となる。
例えば、模擬信号生成部１８が、予め、夜間の走行シーン及び昼間の走行シーンに応じた複数の環境光モデルを備えておき、複数の環境光モデルを用いて模擬信号ｍｉ（ｔ）及び模擬信号情報Ｍ（ｔ）を生成するよう構成することで、脈波推定装置１ａは、撮像範囲における環境光の分布が不均一な、様々なシーンに対応して、被験者の肌領域の動きによるノイズを除去し、被験者の脈波を推定できる。
例えば、昼間の、撮像画像上で左側の輝度が高くなるよう車外から光が入り込む走行シーンでは、環境光は車外から入り込む光となる。また、昼間の、撮像画像上で右側の輝度が高くなるよう車外から光が入り込む走行シーンでは、環境光は車外から入り込む光となる。
例えば、模擬信号生成部１８が、予め、夜間の走行シーン及び昼間の走行シーンに応じた複数の環境光モデルを備えておき、複数の環境光モデルを用いて模擬信号ｍｉ（ｔ）及び模擬信号情報Ｍ（ｔ）を生成するよう構成することで、脈波推定装置１ａは、撮像範囲における環境光の分布が不均一な、様々なシーンに対応して、被験者の肌領域の動きによるノイズを除去し、被験者の脈波を推定できる。
【0108】
なお、以上の実施の形態２では、脈波推定装置１ａにおいて、模擬信号生成部１８は、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）と、環境光モデルとに基づき、模擬信号ｍｉ（ｔ）を生成したが、これは一例に過ぎない。
模擬信号生成部１８は、例えば、環境光モデルを用いず、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）とに基づいて、計測領域の位置変化によって生じる計測領域の輝度変化を模擬した信号を、模擬信号ｍｉ（ｔ）として生成してもよい。
この場合も、脈波推定装置１ａは、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１ａは、高精度に被験者の脈波を推定することができる。
模擬信号生成部１８は、例えば、環境光モデルを用いず、撮像画像のフレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）とに基づいて、計測領域の位置変化によって生じる計測領域の輝度変化を模擬した信号を、模擬信号ｍｉ（ｔ）として生成してもよい。
この場合も、脈波推定装置１ａは、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１ａは、高精度に被験者の脈波を推定することができる。
【0109】
被験者の動きは、左右の動きに限らず、前後の動きもあり得る。そこで、以上の実施の形態２において、模擬信号生成部１８は、これを考慮して模擬信号ｍｉ（ｔ）及び当該模擬信号ｍｉ（ｔ）をあわせた模擬信号情報Ｍ（ｔ）を生成してもよい。
詳細には、模擬信号生成部１８は、例えば、被験者の左右の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化のスケール（振幅）、及び、被験者の前後の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化のスケールを正規化した信号に基づき、模擬信号ｍｉ（ｔ）を生成してもよい。
詳細には、模擬信号生成部１８は、例えば、被験者の左右の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化のスケール（振幅）、及び、被験者の前後の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化のスケールを正規化した信号に基づき、模擬信号ｍｉ（ｔ）を生成してもよい。
【0110】
模擬信号生成部１８は、以上の実施の形態２で説明したような方法で生成した模擬信号ｍｉ（ｔ）を、被験者の左右の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化を模擬した模擬信号ｍｉ（ｔ）（以下「第１模擬信号ｍｉ１（ｔ）」という。）とする。
模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）とは別に、被験者の前後の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化を模擬した模擬信号ｍｉ（ｔ）（以下「第２模擬信号ｍｉ２（ｔ）」という。）を生成する。
模擬信号生成部１８が第２模擬信号ｍｉ２（ｔ）を生成する具体的な方法について、説明する。
模擬信号生成部１８は、まず、すべての計測領域ｒｉ（ｋ）の外接矩形Ｒｅｃ（ｋ）を算出し、その中心座標Ｏ（ｋ）（ｘ，ｙ）＝（ｘｃ，ｙｃ）を求める。図１５の上側の図は、計測領域ｒｉ（ｋ）の外接矩形Ｒｅｃ（ｋ）、及び、その中心座標Ｏ（ｋ）の一例を示す図である。
次に、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）の各頂点座標と、前記中心座標Ｏ（ｋ）との距離Ｄｉｓ（ｋ）を算出する。例えば、計測領域ｒｉ（ｋ）の一角の頂点座標を（ｘ，ｙ）＝（ｘｉ_ｒｂ，ｙｉ_ｒｂ）とし、それに対応した前記中心座標Ｏ（ｋ）との距離をＤｉｓ_ｉ_ｒｂとした場合、模擬信号生成部１８は、Ｄｉｓ_ｉ_ｒｂを、以下の式（５）を用いて算出する。図１５の下側の図は、計測領域ｒｉ（ｋ）の一角の頂点座標と、それに対応した前記中心座標Ｏ（ｋ）との距離のイメージを示す図である。
模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）とは別に、被験者の前後の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化を模擬した模擬信号ｍｉ（ｔ）（以下「第２模擬信号ｍｉ２（ｔ）」という。）を生成する。
模擬信号生成部１８が第２模擬信号ｍｉ２（ｔ）を生成する具体的な方法について、説明する。
模擬信号生成部１８は、まず、すべての計測領域ｒｉ（ｋ）の外接矩形Ｒｅｃ（ｋ）を算出し、その中心座標Ｏ（ｋ）（ｘ，ｙ）＝（ｘｃ，ｙｃ）を求める。図１５の上側の図は、計測領域ｒｉ（ｋ）の外接矩形Ｒｅｃ（ｋ）、及び、その中心座標Ｏ（ｋ）の一例を示す図である。
次に、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）の各頂点座標と、前記中心座標Ｏ（ｋ）との距離Ｄｉｓ（ｋ）を算出する。例えば、計測領域ｒｉ（ｋ）の一角の頂点座標を（ｘ，ｙ）＝（ｘｉ_ｒｂ，ｙｉ_ｒｂ）とし、それに対応した前記中心座標Ｏ（ｋ）との距離をＤｉｓ_ｉ_ｒｂとした場合、模擬信号生成部１８は、Ｄｉｓ_ｉ_ｒｂを、以下の式（５）を用いて算出する。図１５の下側の図は、計測領域ｒｉ（ｋ）の一角の頂点座標と、それに対応した前記中心座標Ｏ（ｋ）との距離のイメージを示す図である。
【0111】
そして、模擬信号生成部１８は、上記のように求めた各計測領域ｒｉ（ｋ）の頂点座標と外接矩形Ｒｅｃ（ｋ）の中心座標Ｏ（ｋ）との距離Ｄｉｓ（ｋ）を第２模擬信号ｍｉ２（ｔ）とする。
【0112】
なお、上述の例では、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）の頂点座標と外接矩形Ｒｅｃ（ｋ）の中心座標Ｏ（ｋ）との距離を算出したが、これに限らない。例えば、模擬信号生成部１８は、各計測領域ｒｉ（ｋ）の重心座標と外接矩形Ｒｅｃ（ｋ）の中心座標Ｏ（ｋ）との距離を算出するようにしてもよい。
また、上述の例において、模擬信号生成部１８は、外接矩形Ｒｅｃ（ｋ）の中心座標Ｏ（ｋ）に代えて、各計測領域ｒｉ（ｋ）の頂点座標の平均値、言い換えれば、重心を用い、当該重心と、各計測領域ｒｉ（ｋ）の頂点座標との距離Ｄｉｓ（ｋ）を算出してもよい。模擬信号生成部１８は、各計測領域ｒｉ（ｋ）に対する基準座標を定めることができればよい。
また、上述の例において、模擬信号生成部１８は、外接矩形Ｒｅｃ（ｋ）の中心座標Ｏ（ｋ）に代えて、各計測領域ｒｉ（ｋ）の頂点座標の平均値、言い換えれば、重心を用い、当該重心と、各計測領域ｒｉ（ｋ）の頂点座標との距離Ｄｉｓ（ｋ）を算出してもよい。模擬信号生成部１８は、各計測領域ｒｉ（ｋ）に対する基準座標を定めることができればよい。
【0113】
次に、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）と、第２模擬信号ｍｉ２（ｔ）に、係数（以下「正規化用係数」という。）を掛けて、スケールを正規化する。言い換えれば、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）と、第２模擬信号ｍｉ２（ｔ）に、正規化用係数を掛けて、第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）のスケールの差を揃える。
例えば、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）と第２模擬信号ｍｉ２（ｔ）のいずれか一方に、正規化用係数を掛ける。例えば、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）の両方に正規化用係数を掛けてもよい。なお、正規化用係数は予め設定されている値としてもよいし、模擬信号生成部１８が、第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）のスケールの平均値が揃うように正規化用係数を算出してもよい。
図１６は、実施の形態２において、模擬信号生成部１８が正規化用係数を掛けることで、スケールの差が揃った第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）の一例を示す図である。
そして、模擬信号生成部１８は、正規化用係数を掛けた後の第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）をあわせて模擬信号ｍｉ（ｔ）とする。
例えば、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）と第２模擬信号ｍｉ２（ｔ）のいずれか一方に、正規化用係数を掛ける。例えば、模擬信号生成部１８は、第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）の両方に正規化用係数を掛けてもよい。なお、正規化用係数は予め設定されている値としてもよいし、模擬信号生成部１８が、第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）のスケールの平均値が揃うように正規化用係数を算出してもよい。
図１６は、実施の形態２において、模擬信号生成部１８が正規化用係数を掛けることで、スケールの差が揃った第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）の一例を示す図である。
そして、模擬信号生成部１８は、正規化用係数を掛けた後の第１模擬信号ｍｉ１（ｔ）及び第２模擬信号ｍｉ２（ｔ）をあわせて模擬信号ｍｉ（ｔ）とする。
【0114】
このように、模擬信号生成部１８が、被験者の左右の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化を模擬した信号（第１模擬信号ｍｉ１（ｔ））のスケール、及び、被験者の前後の動きによって生じる計測領域ｒｉ（ｋ）の輝度変化を模擬した信号（第２模擬信号ｍｉ２（ｔ））のスケールを正規化した信号に基づき、模擬信号ｍｉ（ｔ）を生成することで、脈波推定装置１ａは、被験者の前後の動きも考慮して、被験者の肌領域の位置変化によるノイズを除去し、被験者の脈波を推定することができる。
【0115】
また、以上の実施の形態２において、例えば、計測領域設定部１３が設定する計測領域は１つであってもよい。
また、脈波推定装置１ａにおいて、模擬信号生成部１８が、模擬信号を生成する際に、計測領域設定部１３が設定した複数の計測領域のうちから１つ計測領域を選択し、選択した１つの計測領域のみについて模擬信号を生成してもよい。
また、脈波推定装置１ａにおいて、模擬信号生成部１８が、模擬信号を生成する際に、計測領域設定部１３が設定した複数の計測領域のうちから１つ計測領域を選択し、選択した１つの計測領域のみについて模擬信号を生成してもよい。
【0116】
また、以上の実施の形態２では、脈波推定装置１ａは状態推定装置２に備えられていたが、これは一例に過ぎない。脈波推定装置１ａは、状態推定装置２の外部に備えられ、状態推定装置２の外部にて状態推定装置２と接続されていてもよい。
また、以上の実施の形態２では、照明部は撮像装置に備えられていたが、これは一例に過ぎない。例えば、撮像装置の外部に照明装置が備えられ、照明装置が、撮像装置の外部から撮像範囲に光を照射してもよい。
また、以上の実施の形態２では、照明部は撮像装置に備えられていたが、これは一例に過ぎない。例えば、撮像装置の外部に照明装置が備えられ、照明装置が、撮像装置の外部から撮像範囲に光を照射してもよい。
【0117】
また、以上の実施の形態２でも、被験者は、車両のドライバ以外の乗員としてもよい。
【0118】
また、以上の実施の形態２では、脈波推定装置１ａ及び状態推定装置２は車載装置とし、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８と、脈波情報取得部２１と、状態推定部２２と、出力部２３は、車載装置に備えられていた。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８と、脈波情報取得部２１と、状態推定部２２と、出力部２３のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８と、脈波情報取得部２１と、状態推定部２２と、出力部２３が全部サーバに備えられてもよい。
これに限らず、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８と、脈波情報取得部２１と、状態推定部２２と、出力部２３のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８と、脈波情報取得部２１と、状態推定部２２と、出力部２３が全部サーバに備えられてもよい。
【0119】
また、以上の実施の形態２に係る脈波推定装置１ａ及び状態推定装置２は、実施の形態１に係る脈波推定装置１及び状態推定装置２同様、車両に搭載される車載装置に限らず、例えば、家電機器に適用することもできる。また、被験者は、車両の乗員に限らず、様々な人とできる。
【0120】
実施の形態２に係る脈波推定装置１ａのハードウェア構成は、実施の形態１において図８Ａ及び図８Ｂを用いて説明した脈波推定装置１のハードウェア構成と同様である。
実施の形態２において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１ａは、被験者の脈波を推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。
処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の機能を実行する。すなわち、脈波推定装置１ａは、処理回路１０１により実行されるときに、上述の図１２のステップＳＴ２１～ステップＳＴ２７が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の処理の手順又は方法をコンピュータに実行させるものであるとも言える。
また、脈波推定装置１ａは、撮像装置等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
実施の形態２において、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の機能は、処理回路１０１により実現される。すなわち、脈波推定装置１ａは、被験者の脈波を推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。
処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の機能を実行する。すなわち、脈波推定装置１ａは、処理回路１０１により実行されるときに、上述の図１２のステップＳＴ２１～ステップＳＴ２７が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、脈波元信号抽出部１４と、模擬信号取得部１５と、脈波推定部１６と、出力部１７と、模擬信号生成部１８の処理の手順又は方法をコンピュータに実行させるものであるとも言える。
また、脈波推定装置１ａは、撮像装置等の装置と、有線通信又は無線通信を行う入力インタフェース装置１０２及び出力インタフェース装置１０３を備える。
【0121】
以上のように、実施の形態２に係る脈波推定装置１ａは、実施の形態１に係る脈波推定装置１の構成に加え、模擬信号ｍｉ（ｔ）を生成する模擬信号生成部１８を備えるように構成した。そのため、脈波推定装置１ａは、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。その結果、脈波推定装置１ａは、被験者の脈波を高精度に推定できる。
【0122】
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【0123】
以下、本開示の諸態様を付記としてまとめて記載する。
【0124】
（付記１）
人を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定する計測領域設定部と、
前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得する模擬信号取得部と、
前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出する係数算出部と、
前記脈波元信号から前記係数を掛算した前記模擬信号を除去するノイズ除去部と、
前記ノイズ除去信号に基づいて前記人の前記脈波を推定する推定部
とを備えた脈波推定装置。
（付記２）
前記模擬信号を生成する模擬信号生成部を備え、
前記模擬信号取得部は、前記模擬信号生成部が生成した前記模擬信号を取得する
ことを特徴とする付記１記載の脈波推定装置。
（付記３）
前記模擬信号生成部は、前記計測領域の位置変化に基づき、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記４）
前記模擬信号生成部は、前記計測領域の位置変化と、撮像範囲における環境光の分布モデルとに基づき、前記環境光のもとで、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記５）
前記環境光は、前記撮像画像を撮像した撮像装置が備える照明部が照射する照明光である
ことを特徴とする付記４記載の脈波推定装置。
（付記６）
前記模擬信号生成部は、前記環境光が照射される状況に応じた複数の異なる前記環境光の前記分布モデルと前記計測領域の位置変化とに基づき、前記模擬信号を生成する
ことを特徴とする付記４または付記５記載の脈波推定装置。
（付記７）
前記模擬信号生成部は、前記人の左右の動きによって生じる前記計測領域の前記輝度変化を示す信号のスケール、及び、前記人の前後の動きによって生じる前記計測領域の前記輝度変化を示す信号の前記スケール、を正規化した信号に基づき、前記模擬信号を生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記８）
付記１から付記７のうちのいずれか１つ記載の脈波推定装置が推定した前記人の前記脈波に基づいて、前記人の状態を推定する状態推定部
を備えた状態推定装置。
（付記９）
前記状態推定部は、前記人の状態として、前記人の覚醒度を推定する
ことを特徴とする付記８記載の状態推定装置。
（付記１０）
前記状態推定部は、前記人が覚醒していると想定される状態で前記脈波推定装置が推定した前記人の前記脈波に基づいて基準脈拍数を算出しておき、前記脈波推定装置が推定した前記脈波と、前記基準脈拍数との比較によって、前記人の前記覚醒度を推定する
ことを特徴とする付記９記載の状態推定装置。
（付記１１）
撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
計測領域設定部が、前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定するステップと、
脈波元信号抽出部が、前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
模擬信号取得部が、前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得するステップと、
係数算出部が、前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出するステップと、
ノイズ除去部が、前記脈波元信号から前記係数を掛算した前記模擬信号を除去するステップと、
推定部が、前記ノイズ除去信号に基づいて前記人の前記脈波を推定するステップ
とを備えた脈波推定方法。
人を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定する計測領域設定部と、
前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出する脈波元信号抽出部と、
前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得する模擬信号取得部と、
前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出する係数算出部と、
前記脈波元信号から前記係数を掛算した前記模擬信号を除去するノイズ除去部と、
前記ノイズ除去信号に基づいて前記人の前記脈波を推定する推定部
とを備えた脈波推定装置。
（付記２）
前記模擬信号を生成する模擬信号生成部を備え、
前記模擬信号取得部は、前記模擬信号生成部が生成した前記模擬信号を取得する
ことを特徴とする付記１記載の脈波推定装置。
（付記３）
前記模擬信号生成部は、前記計測領域の位置変化に基づき、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記４）
前記模擬信号生成部は、前記計測領域の位置変化と、撮像範囲における環境光の分布モデルとに基づき、前記環境光のもとで、前記計測領域の位置変化によって生じる前記計測領域の前記輝度変化を模擬した信号を、前記模擬信号として生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記５）
前記環境光は、前記撮像画像を撮像した撮像装置が備える照明部が照射する照明光である
ことを特徴とする付記４記載の脈波推定装置。
（付記６）
前記模擬信号生成部は、前記環境光が照射される状況に応じた複数の異なる前記環境光の前記分布モデルと前記計測領域の位置変化とに基づき、前記模擬信号を生成する
ことを特徴とする付記４または付記５記載の脈波推定装置。
（付記７）
前記模擬信号生成部は、前記人の左右の動きによって生じる前記計測領域の前記輝度変化を示す信号のスケール、及び、前記人の前後の動きによって生じる前記計測領域の前記輝度変化を示す信号の前記スケール、を正規化した信号に基づき、前記模擬信号を生成する
ことを特徴とする付記２記載の脈波推定装置。
（付記８）
付記１から付記７のうちのいずれか１つ記載の脈波推定装置が推定した前記人の前記脈波に基づいて、前記人の状態を推定する状態推定部
を備えた状態推定装置。
（付記９）
前記状態推定部は、前記人の状態として、前記人の覚醒度を推定する
ことを特徴とする付記８記載の状態推定装置。
（付記１０）
前記状態推定部は、前記人が覚醒していると想定される状態で前記脈波推定装置が推定した前記人の前記脈波に基づいて基準脈拍数を算出しておき、前記脈波推定装置が推定した前記脈波と、前記基準脈拍数との比較によって、前記人の前記覚醒度を推定する
ことを特徴とする付記９記載の状態推定装置。
（付記１１）
撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
計測領域設定部が、前記撮像画像上の、前記肌領域に対応する領域に、輝度変化を示す脈波元信号を抽出するための計測領域を設定するステップと、
脈波元信号抽出部が、前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記脈波元信号を抽出するステップと、
模擬信号取得部が、前記計測領域における前記輝度変化のノイズ成分と推定される、前記計測領域の前記輝度変化を模擬した模擬信号を取得するステップと、
係数算出部が、前記脈波元信号から前記模擬信号を除去した後のノイズ除去信号に、前記人の脈波を推定するための信号が残るように、前記模擬信号を調整するための係数を算出するステップと、
ノイズ除去部が、前記脈波元信号から前記係数を掛算した前記模擬信号を除去するステップと、
推定部が、前記ノイズ除去信号に基づいて前記人の前記脈波を推定するステップ
とを備えた脈波推定方法。
【産業上の利用可能性】
【0125】
本開示に係る脈波推定装置は、ノイズ除去の際に、被験者の肌領域の輝度信号に含まれる脈波信号までもがノイズ成分とみなされ除去されてしまうことによって上記被験者の脈波の推定に用いるべき上記被験者の肌領域の輝度信号を抽出できない事態を防ぐことができる。
【符号の説明】
【0126】
１，１ａ 脈波推定装置、１１ 撮像画像取得部、１２ 肌領域検出部、１３ 計測領域設定部、１４ 脈波元信号抽出部、１５ 模擬信号取得部、１６ 脈波推定部、１６１ 係数算出部、１６２ ノイズ除去部、１６３ 推定部、１７ 出力部、１８ 模擬信号生成部、２ 状態推定装置、２１ 脈波情報取得部、２２ 状態推定部、２３ 出力部、３ 出力装置、４０１ 撮像部、４０２ 照明部、１０１ 処理回路、１０２ 入力インタフェース装置、１０３ 出力インタフェース装置、１０４ プロセッサ、１０５ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】