知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023115492
(43)【公開日】2023-08-21
(54)【発明の名称】生体情報推定方法および生体情報推定装置
(51)【国際特許分類】
A61B 5/02 20060101AFI20230814BHJP
A61B 5/0245 20060101ALI20230814BHJP
A61B 5/022 20060101ALI20230814BHJP
【ＦＩ】
A61B5/02 310Z
A61B5/0245 C
A61B5/022 400H
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022017728
(22)【出願日】2022-02-08
(71)【出願人】
【識別番号】000004765
【氏名又は名称】マレリ株式会社
(74)【代理人】
【識別番号】100148301
【弁理士】
【氏名又は名称】竹原 尚彦
(74)【代理人】
【識別番号】100176991
【弁理士】
【氏名又は名称】中島 由布子
(74)【代理人】
【識別番号】100217696
【弁理士】
【氏名又は名称】川口 英行
(72)【発明者】
【氏名】江美 綾子
(72)【発明者】
【氏名】佐藤 晴彦
【テーマコード（参考）】
4C017
【Ｆターム（参考）】
4C017AA08
4C017AA09
4C017AB07
4C017AC27
4C017BC08
4C017BC16
4C017FF15
(57)【要約】
【課題】ノイズが含まれる画像から脈波を特定する。
【解決手段】生体情報推定方法は、運転者Ｄを撮影した画像ＩＭに複数の領域を設定する設定ステップと、連続して入力される画像ＩＭに対して、領域ごとに平均輝度値を算出し、平均輝度値の時系列データを得る算出ステップと、時系列データに対して周波数解析を行う解析ステップと、周波数解析の結果から、領域ごとにピーク周波数を検出する検出ステップと、複数の領域におけるピーク周波数から共通する周波数を探索して、運転者Ｄの脈波の周波数を特定する特定ステップと、を備える。
【選択図】図１３
【解決手段】生体情報推定方法は、運転者Ｄを撮影した画像ＩＭに複数の領域を設定する設定ステップと、連続して入力される画像ＩＭに対して、領域ごとに平均輝度値を算出し、平均輝度値の時系列データを得る算出ステップと、時系列データに対して周波数解析を行う解析ステップと、周波数解析の結果から、領域ごとにピーク周波数を検出する検出ステップと、複数の領域におけるピーク周波数から共通する周波数を探索して、運転者Ｄの脈波の周波数を特定する特定ステップと、を備える。
【選択図】図１３
【特許請求の範囲】
【請求項1】
ユーザを撮影した画像に複数の領域を設定する設定ステップと、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る算出ステップと、
前記時系列データに対して周波数解析を行う解析ステップと、
前記周波数解析の結果から、前記領域ごとにピーク周波数を検出する検出ステップと、
前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する特定ステップと、を備える生体情報推定方法。
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る算出ステップと、
前記時系列データに対して周波数解析を行う解析ステップと、
前記周波数解析の結果から、前記領域ごとにピーク周波数を検出する検出ステップと、
前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する特定ステップと、を備える生体情報推定方法。
【請求項2】
前記脈波の周波数が検出された２つの領域を選択する選択ステップと、
前記２つの領域の前記時系列データに、前記脈波の周波数に基づいて設定された周波数帯のバンドパスフィルタをかけて、前記ユーザの脈波データを取得するフィルタリングステップと、
前記２つの領域の脈波データにおける脈波のピーク時間差を求め、前記ピーク時間差に基づいて前記ユーザの血圧を推定する推定ステップと、を備える、請求項１記載の生体情報推定方法。
前記２つの領域の前記時系列データに、前記脈波の周波数に基づいて設定された周波数帯のバンドパスフィルタをかけて、前記ユーザの脈波データを取得するフィルタリングステップと、
前記２つの領域の脈波データにおける脈波のピーク時間差を求め、前記ピーク時間差に基づいて前記ユーザの血圧を推定する推定ステップと、を備える、請求項１記載の生体情報推定方法。
【請求項3】
前記設定ステップは、
前記画像から前記ユーザの顔の２つの特徴点を抽出し、前記２つの特徴点の距離に基づいて、前記ユーザを包含する全体領域のサイズを設定することと、
前記２つの特徴点のいずれかを中心として、前記画像における前記全体領域の端点の位置を設定することと、
前記全体領域を分割して、前記複数の領域を設定することと、を含む、請求項１記載の生体情報推定方法。
前記画像から前記ユーザの顔の２つの特徴点を抽出し、前記２つの特徴点の距離に基づいて、前記ユーザを包含する全体領域のサイズを設定することと、
前記２つの特徴点のいずれかを中心として、前記画像における前記全体領域の端点の位置を設定することと、
前記全体領域を分割して、前記複数の領域を設定することと、を含む、請求項１記載の生体情報推定方法。
【請求項4】
前記画像は、車両に設けられた撮像装置により、前記車両の運転者である前記ユーザを撮影したものであり、
前記設定ステップは、
前記画像から前記ユーザの顔を抽出し、前記ユーザの顔を包含する第１全体領域を設定することと、
前記画像から車両のステアリングホイールを抽出し、前記ステアリングホイールを包含する第２全体領域の位置を設定することと、
前記第１全体領域および前記第２全体領域を分割して、前記複数の領域を設定することと、を含む、請求項１記載の生体情報推定方法。
前記設定ステップは、
前記画像から前記ユーザの顔を抽出し、前記ユーザの顔を包含する第１全体領域を設定することと、
前記画像から車両のステアリングホイールを抽出し、前記ステアリングホイールを包含する第２全体領域の位置を設定することと、
前記第１全体領域および前記第２全体領域を分割して、前記複数の領域を設定することと、を含む、請求項１記載の生体情報推定方法。
【請求項5】
前記検出ステップは、前記周波数解析の結果から、前記領域ごとに、所定値以上のパワーを有する複数のピーク周波数を検出することを含む、請求項２記載の生体情報推定方法。
【請求項6】
前記選択ステップは、
前記脈波の周波数が検出された領域間の距離が最も大きい２つの領域を選択することを含む、請求項２記載の生体情報推定方法。
前記脈波の周波数が検出された領域間の距離が最も大きい２つの領域を選択することを含む、請求項２記載の生体情報推定方法。
【請求項7】
ユーザを撮影した画像に複数の領域を設定する領域設定部と、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る輝度算出部と、
前記領域ごとに輝度値を算出し、前記輝度値の時系列データに対して周波数解析を行い、前記周波数解析の結果から前記領域ごとにピーク周波数を検出し、前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する脈波特定部と、を備える生体情報推定装置。
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る輝度算出部と、
前記領域ごとに輝度値を算出し、前記輝度値の時系列データに対して周波数解析を行い、前記周波数解析の結果から前記領域ごとにピーク周波数を検出し、前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する脈波特定部と、を備える生体情報推定装置。
【請求項8】
前記複数の領域から、前記脈波の周波数が検出された２つの領域を選択し、前記２つの領域の前記時系列データに、前記脈波の周波数に基づいて設定された周波数帯のバンドパスフィルタをかけて、前記ユーザの脈波データを取得し、前記２つの領域の脈波データにおける脈波のピーク時間差を求め、前記ピーク時間差に基づいて前記ユーザの血圧を推定する血圧推定部を備える、請求項７記載の生体情報推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体情報推定方法および生体情報推定装置に関する。
【背景技術】
【0002】
車両の運転者の体調が運転中に悪化すると、事故の発生に繋がることがある。事故発生のリスクを低減するために、運転者の体調を示す血圧等の生体情報を推定することが提案されている。
特許文献１は、被験者を撮像した画像の輝度の変化から被験者の脈波を特定し、脈波から血圧の変化を推定する方法を開示している。
特許文献１は、被験者を撮像した画像の輝度の変化から被験者の脈波を特定し、脈波から血圧の変化を推定する方法を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１６／１５８６２４号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、車両の運転者を撮影した画像には、車両の振動、太陽光の移動、トンネルへの出入り等の様々な要因によって、多くのノイズが含まれている。このような画像から運転者の脈波を精度よく特定することが難しい。
【0005】
生体情報推定方法および生体情報推定装置において、ノイズが含まれる画像から脈波を特定する精度を向上させることが求められている。
【課題を解決するための手段】
【0006】
本発明に係る生体情報推定方法は、
ユーザを撮影した画像に複数の領域を設定する設定ステップと、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る算出ステップと、
前記時系列データに対して周波数解析を行う解析ステップと、
前記周波数解析の結果から、前記領域ごとにピーク周波数を検出する検出ステップと、
前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する特定ステップと、を備える。
ユーザを撮影した画像に複数の領域を設定する設定ステップと、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る算出ステップと、
前記時系列データに対して周波数解析を行う解析ステップと、
前記周波数解析の結果から、前記領域ごとにピーク周波数を検出する検出ステップと、
前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する特定ステップと、を備える。
【0007】
本発明に係る生体情報推定装置は、
ユーザを撮影した画像に複数の領域を設定する領域設定部と、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る輝度算出部と、
前記領域ごとに輝度値を算出し、前記輝度値の時系列データに対して周波数解析を行い、前記周波数解析の結果から前記領域ごとにピーク周波数を検出し、前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する脈波特定部と、を備える。
ユーザを撮影した画像に複数の領域を設定する領域設定部と、
連続して入力される前記画像に対して、前記領域ごとに輝度値を算出し、前記輝度値の時系列データを得る輝度算出部と、
前記領域ごとに輝度値を算出し、前記輝度値の時系列データに対して周波数解析を行い、前記周波数解析の結果から前記領域ごとにピーク周波数を検出し、前記複数の領域における前記ピーク周波数から共通する周波数を探索して、前記ユーザの脈波の周波数を特定する脈波特定部と、を備える。
【発明の効果】
【0008】
本発明によれば、ノイズが含まれる画像から脈波を特定する精度を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】（ａ）は、生体情報推定装置が搭載された車両を示す図であり、（ｂ）は、赤外線カメラで撮影される画像の一例を示す図である。
【図2】生体情報推定装置の概略的な構成を示すブロック図である。
【図3】画像における全体領域を説明する図である。
【図4】全体領域に設定される複数の領域を説明する図である。
【図5】周波数解析の結果の一例を示すグラフである。
【図7】共通するピーク周波数の探索結果を示す表である。
【図8】脈波検出領域を示す図である。
【図9】距離テーブルの一例を示す図である。
【図10】バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の周波数解析の結果を示す図である。
【図11】領域Ａ２０、Ａ６３の脈波データを示す図である。
【図12】ピーク時間差と血圧の関係を示すグラフである。
【図13】血圧推定処理を説明するフローチャートである。
【図14】領域設定処理の詳細を説明するフローチャートである。
【図15】脈波特定処理の詳細を説明するフローチャートである。
【図16】変形例１に係る複数の領域の設定例を説明する図である。
【図17】変形例１に係る領域設定処理を説明するフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を説明する。
実施形態では、生体情報推定方法を実施する装置（生体情報推定装置）を、車両に搭載する例を説明する。生体情報推定装置は、生体情報として、車両の運転者（ユーザ）の血圧を推定する。
図１の（ａ）は、生体情報推定装置１が搭載された車両を示す図であり、図１の（ｂ）は、赤外線カメラ２で撮影される画像ＩＭの一例を示す図である。
図２は、生体情報推定装置１の概略的な構成を示すブロック図である。
実施形態では、生体情報推定方法を実施する装置（生体情報推定装置）を、車両に搭載する例を説明する。生体情報推定装置は、生体情報として、車両の運転者（ユーザ）の血圧を推定する。
図１の（ａ）は、生体情報推定装置１が搭載された車両を示す図であり、図１の（ｂ）は、赤外線カメラ２で撮影される画像ＩＭの一例を示す図である。
図２は、生体情報推定装置１の概略的な構成を示すブロック図である。
【0011】
図１の（ａ）に示すように、生体情報推定装置１は、車両Ｖに搭載されている。生体情報推定装置１には、赤外線カメラ２（撮像装置）が撮影する画像ＩＭが連続して入力される。生体情報推定装置１は、この画像ＩＭを用いて、運転者Ｄの脈波を推定し、脈波から血圧を推定する。
生体情報推定装置１は、車室内に設けられたディスプレイ３またはスピーカ４等に、推定結果に基づいた情報を出力することができる。
生体情報推定装置１は、車室内に設けられたディスプレイ３またはスピーカ４等に、推定結果に基づいた情報を出力することができる。
【0012】
赤外線カメラ２は、近赤外領域の波長を検出可能な公知の赤外線カメラ２を用いることができる。赤外線カメラ２は、運転者Ｄのモニタリングに用いられる赤外線カメラ２を流用することができる。赤外線カメラ２は、近赤外線を連続的に照射することにより、グレースケール画像である画像ＩＭを撮影する。赤外線カメラ２は、昼夜を問わず、近赤外線を照射することにより撮影が可能である。これにより、ＲＧＢカメラによるカラー画像（ＲＧＢ画像）と比べて、画像に対する環境光の影響を抑制できる。
【0013】
車室内において赤外線カメラ２は、インストルメントパネルＩＰ等の運転席ＤＳの正面側に位置する部位に設置されている。赤外線カメラ２は、運転席ＤＳを向いて設置されている。赤外線カメラ２は、運転席ＤＳを含む車室内を撮影する。赤外線カメラ２の撮影範囲には、図１の（ｂ）に示すように、運転席ＤＳを含む車室の一部と、運転席ＤＳに座る運転者Ｄの上半身と、運転者Ｄが把持するステアリングホイールＳＷが含まれる。
【0014】
図２に示すように、生体情報推定装置１は、記憶部１０と、制御部１１と、を有している。図示は省略するが、記憶部１０は、ＲＯＭおよびＲＡＭ等のメモリから構成される。メモリには、生体情報推定装置１で実行される各種プログラムが格納されている。制御部１１は、ＣＰＵ（Central Processing Unit）等のプロセッサから構成される。プロセッサがメモリに格納されたプログラムを実行することで、図２に示す制御部１１の機能的な構成が実現される。
記憶部１０には、また、制御部１１の処理の過程で算出された値や、制御部１１の処理で用いられる参照値、テーブル等が記憶される。記憶部１０には、一例として、距離テーブル１０１と血圧テーブル１０２が記憶される。
記憶部１０には、また、制御部１１の処理の過程で算出された値や、制御部１１の処理で用いられる参照値、テーブル等が記憶される。記憶部１０には、一例として、距離テーブル１０１と血圧テーブル１０２が記憶される。
【0015】
制御部１１は、領域設定部１２、輝度算出部１３、脈波特定部１４、血圧推定部１５および通知部１６を有している。
【0016】
＜領域設定部：設定ステップ＞
図３は、画像ＩＭにおける全体領域ＷＡを説明する図である。
図４は、全体領域ＷＡに設定される複数の領域Ａ１～Ａ６４を説明する図である。
図３に示すように、領域設定部１２は、赤外線カメラ２から入力される画像ＩＭにおける全体領域ＷＡを設定する。図４に示すように、領域設定部１２は、全体領域ＷＡを分割して複数の領域Ａを設定する。
図３は、画像ＩＭにおける全体領域ＷＡを説明する図である。
図４は、全体領域ＷＡに設定される複数の領域Ａ１～Ａ６４を説明する図である。
図３に示すように、領域設定部１２は、赤外線カメラ２から入力される画像ＩＭにおける全体領域ＷＡを設定する。図４に示すように、領域設定部１２は、全体領域ＷＡを分割して複数の領域Ａを設定する。
【0017】
図３に示すように、全体領域ＷＡは、画像ＩＭの中の、運転者Ｄを包含する領域を意味する。全体領域ＷＡは、例えば、矩形の領域として設定される。全体領域ＷＡは、少なくとも、運転者Ｄの顔と、ステアリングホイールＳＷを把持する運転者Ｄの手を含むように設定される。
なお、画像ＩＭ上の位置は、画像ＩＭを構成する画素の位置を示すＸＹ座標系により特定することができる。Ｘ座標は、図３に示す画像ＩＭの左右方向の位置を示し、Ｙ座標は、図３に示す画像ＩＭの上下方向の位置を示す。
なお、画像ＩＭ上の位置は、画像ＩＭを構成する画素の位置を示すＸＹ座標系により特定することができる。Ｘ座標は、図３に示す画像ＩＭの左右方向の位置を示し、Ｙ座標は、図３に示す画像ＩＭの上下方向の位置を示す。
【0018】
領域設定部１２は、公知の顔認識処理により、画像ＩＭに写っている運転者Ｄの顔を抽出し、運転者Ｄの顔を基準として全体領域ＷＡを設定する。
領域設定部１２は、たとえば、公知の顔認識処理により、画像ＩＭから、運転者Ｄの顔の２箇所の特徴点を抽出する。顔の特徴点とは、例えば目、眉毛、鼻、唇等の顔を構成する部位のそれぞれにおける、特徴的な位置にある点である。領域設定部１２は、２箇所の特徴点の間の距離を算出する。
領域設定部１２は、たとえば、図３に示すように、画像ＩＭから運転者Ｄの目と鼻の特徴点を抽出して、鼻の特徴点と、左右の目のいずれか一つの特徴点との距離Ｄ１を算出する。
領域設定部１２は、たとえば、公知の顔認識処理により、画像ＩＭから、運転者Ｄの顔の２箇所の特徴点を抽出する。顔の特徴点とは、例えば目、眉毛、鼻、唇等の顔を構成する部位のそれぞれにおける、特徴的な位置にある点である。領域設定部１２は、２箇所の特徴点の間の距離を算出する。
領域設定部１２は、たとえば、図３に示すように、画像ＩＭから運転者Ｄの目と鼻の特徴点を抽出して、鼻の特徴点と、左右の目のいずれか一つの特徴点との距離Ｄ１を算出する。
【0019】
領域設定部１２は、距離Ｄ１に基づいて、全体領域ＷＡのサイズを決定する。画像ＩＭに写る運転者Ｄの目と鼻の距離Ｄ１は一定ではなく、運転者Ｄの体格や座る位置等によって変化する。距離Ｄ１が大きくなるほど、画像ＩＭに写る運転者Ｄのサイズも大きくなると考えられる。すなわち、距離Ｄ１が大きくなるほど、全体領域ＷＡのサイズも大きく設定される。
【0020】
全体領域ＷＡを矩形とする場合、全体領域ＷＡのサイズは、図３に示すように、横幅Ｌ（Length）と、縦幅Ｗ（Width）により表すことができる。横幅Ｌは、画像ＩＭ上のＸ座標系の長さを意味する。縦幅Ｗは、画像ＩＭ上のＹ座標系の長さを意味する。
【0021】
記憶部１０には、たとえば、目と鼻の距離Ｄ１から全体領域ＷＡのサイズを決定するためのアルゴリズムが記憶されている。領域設定部１２は、そのアルゴリズムを用いて、目と鼻の距離Ｄ１から全体領域ＷＡのサイズを算出することができる。あるいは、目と鼻の距離Ｄ１に対応する全体領域ＷＡのサイズを示すテーブルを予め作成し、記憶部１０に記憶させておいても良い。領域設定部１２は、テーブルを参照して、算出した距離Ｄ１に対応する全体領域ＷＡのサイズを取得することができる。
【0022】
領域設定部１２は、さらに、画像ＩＭにおける全体領域ＷＡの位置を設定する。全体領域ＷＡを矩形とした場合、全体領域ＷＡの位置は、４つの角部Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標（端点座標）で定義することができる。領域設定部１２は、たとえば、顔認識処理で検出した運転者Ｄの鼻の位置を全体領域ＷＡの中心として、端点座標を設定することができる。
【0023】
図３では、鼻の中心点の座標を（ｘ，ｙ）とした場合の４つの端点座標の設定例を示している。
右上の角部Ｐ１の端点座標は（ｘ＋Ｌ／２，ｙ－Ｗ／２）、左上の角部Ｐ２の端点座標は（ｘ－Ｌ／２，ｙ－Ｗ／２）、右下の角部Ｐ３の端点座標は（ｘ＋Ｌ／２，ｙ＋Ｗ／２）、左下の角部Ｐ４の端点座標は（ｘ－Ｌ／２，ｙ＋Ｗ／２）として設定される。
端点座標の設定例はこれに限定されず、例えば、全体領域ＷＡの中心を鼻の中心点以外の位置に設定しても良い。
右上の角部Ｐ１の端点座標は（ｘ＋Ｌ／２，ｙ－Ｗ／２）、左上の角部Ｐ２の端点座標は（ｘ－Ｌ／２，ｙ－Ｗ／２）、右下の角部Ｐ３の端点座標は（ｘ＋Ｌ／２，ｙ＋Ｗ／２）、左下の角部Ｐ４の端点座標は（ｘ－Ｌ／２，ｙ＋Ｗ／２）として設定される。
端点座標の設定例はこれに限定されず、例えば、全体領域ＷＡの中心を鼻の中心点以外の位置に設定しても良い。
【0024】
図４に示すように、領域設定部１２は、全体領域ＷＡを複数の領域に分割する。領域設定部１２は、たとえば、矩形の全体領域ＷＡを格子状に分割する。全体領域ＷＡの分割数は、予め設定されている。分割数は限定されないが、図４では、全体領域ＷＡを６４個（横幅８×縦幅８）の領域Ａ１～Ａ６４に分割した例を示している。各領域Ａ１～Ａ６４は同じサイズを有する。
【0025】
領域設定部１２は、領域Ａ１～Ａ６４の情報を記憶部１０に記憶させる。領域設定部１２は、領域Ａ１～Ａ６４の情報として、たとえば、各領域Ａ１～Ａ６４の識別子と端点座標を記憶部１０に記憶させる。
【0026】
＜輝度算出部：算出ステップ＞
輝度算出部１３は、領域設定部１２が設定した領域Ａ１～Ａ６４ごとに、輝度値の時系列データを算出する。
輝度算出部１３は、各領域を構成する画素の輝度を合算した値を、各領域の画素の総数で除算して、平均輝度値を算出する。輝度算出部１３は、算出した各領域Ａ１～Ａ６４の平均輝度値を記憶部１０に記憶させる。輝度算出部１３は、赤外線カメラ２から画像ＩＭが入力される度に、各領域Ａ１～Ａ６４の平均輝度値を算出し、順次記憶部１０に記憶させる。記憶部１０に平均輝度値のデータが蓄積されることで、各領域Ａ１～Ａ６４の平均輝度値の時系列データが得られる。
輝度算出部１３は、領域設定部１２が設定した領域Ａ１～Ａ６４ごとに、輝度値の時系列データを算出する。
輝度算出部１３は、各領域を構成する画素の輝度を合算した値を、各領域の画素の総数で除算して、平均輝度値を算出する。輝度算出部１３は、算出した各領域Ａ１～Ａ６４の平均輝度値を記憶部１０に記憶させる。輝度算出部１３は、赤外線カメラ２から画像ＩＭが入力される度に、各領域Ａ１～Ａ６４の平均輝度値を算出し、順次記憶部１０に記憶させる。記憶部１０に平均輝度値のデータが蓄積されることで、各領域Ａ１～Ａ６４の平均輝度値の時系列データが得られる。
【0027】
＜脈波特定部：解析ステップ、検出ステップ、特定ステップ＞
脈波特定部１４は、平均輝度値の時系列データから運転者Ｄの脈波を特定し、さらに複数の領域Ａ１～Ａ６４の中から、脈波が検出される領域（脈波検出領域）を特定する。
脈波特定部１４は、各領域Ａ１～Ａ６４について、記憶部１０に蓄積された一定時間Ｔ１分の平均輝度値の時系列データを取得する。脈波特定部１４は、時系列データに対して、高速フーリエ変換（ＦＦＴ、fast Fourier transform）により周波数解析を行う。
脈波特定部１４は、平均輝度値の時系列データから運転者Ｄの脈波を特定し、さらに複数の領域Ａ１～Ａ６４の中から、脈波が検出される領域（脈波検出領域）を特定する。
脈波特定部１４は、各領域Ａ１～Ａ６４について、記憶部１０に蓄積された一定時間Ｔ１分の平均輝度値の時系列データを取得する。脈波特定部１４は、時系列データに対して、高速フーリエ変換（ＦＦＴ、fast Fourier transform）により周波数解析を行う。
【0028】
図５は、周波数解析の結果の一例を示すグラフである。図５に示すように、周波数解析によって、各領域の輝度の変化が、周波数の振幅スペクトルとして示される。図５の（ａ）は、図４に示す領域Ａ１８の周波数解析の結果であり、図５の（ｂ）は、領域Ａ２０の周波数解析の結果であり、図５の（ｃ）は領域Ａ６３の周波数解析の結果である。いずれの領域においても、振幅が高い周波数であるピーク周波数を見出すことができる。
【0029】
ここで、運転者Ｄの皮膚を写した画像ＩＭは、運転者Ｄの脈波に応じて輝度が変化する。
脈波は、心臓が血液を送り出すことに伴い発生する血管の容積変化を波形として捉えたものである。血管の容積変化は、心拍数に応じて決まる周期で変動する。そのため、運転者Ｄの血管を流れる血流量は、血管の容積変化に連動して増減する。
脈波は、心臓が血液を送り出すことに伴い発生する血管の容積変化を波形として捉えたものである。血管の容積変化は、心拍数に応じて決まる周期で変動する。そのため、運転者Ｄの血管を流れる血流量は、血管の容積変化に連動して増減する。
【0030】
血液に含まれるヘモグロビンは、近赤外線を吸収する。そのため、運転者Ｄの皮膚を写した画像ＩＭは、血流量が多いときには輝度が低くなり、血流量が少ないときには輝度が高くなる傾向がある。すなわち、周期的に変化する運転者Ｄの脈波に応じて、輝度も周期的に変化する。環境の変化が少ない状態で撮影が行われた場合、平均輝度値の時系列データの周波数解析の結果からは、一般的には０．７～２．０Ｈｚの範囲に、脈波の周波数として推定可能なピーク周波数が検出される。
【0031】
しかしながら、車両Ｖの運転中は、車両Ｖの振動、太陽光の移動、トンネルへの出入り等の様々な環境の変化が生じる。赤外線カメラ２で撮影を行うことにより、環境光の影響を低減することはできるが、画像ＩＭには依然として多くのノイズが生じる。そのため、図５に示すように、画像ＩＭの周波数解析の結果からは、ノイズが要因と見られる多くのピーク周波数が検出される。これらのピーク周波数の中に、脈波の周波数も含まれていると考えられる。しかしながら、一般的な脈波の周波数の範囲である０．７～２．０Ｈｚにも複数のピーク周波数が検出されているため、どのピーク周波数が脈波の周波数か特定しにくい。
【0032】
ここで、実施形態では、図４に示すように、全体領域ＷＡが格子状に分割され、運転者Ｄを含む領域と含まない領域に切り分けられている。さらに、運転者Ｄを含む領域も細かく切り分けられ、運転者の露出した皮膚が写る領域と、写らない領域に細かく切り分けられている。
例えば、領域Ａ１８は運転者Ｄを含まない領域である。一方、領域Ａ２０には運転者Ｄの額の皮膚が写り、領域Ａ６３には運転者Ｄの左手の皮膚が写っている。
図５の（ａ）に示すように、運転者Ｄを含まない領域Ａ１８の周波数解析の結果には、０．７～２．０Ｈｚ以外の範囲にも多くのピーク周波数が含まれており、ノイズの影響を大きく受けていると考えられる。
一方、図５の（ｂ）および図５の（ｃ）に示すように、運転者の皮膚を写す領域Ａ２０、Ａ６３の周波数解析の結果には、複数のピーク周波数が見受けられるものの、大部分は０．７～２．０Ｈｚの範囲に収まっている。これらの領域は、比較的ノイズの影響が少なく、かつ脈波の周波数が含まれていると考えられる。
例えば、領域Ａ１８は運転者Ｄを含まない領域である。一方、領域Ａ２０には運転者Ｄの額の皮膚が写り、領域Ａ６３には運転者Ｄの左手の皮膚が写っている。
図５の（ａ）に示すように、運転者Ｄを含まない領域Ａ１８の周波数解析の結果には、０．７～２．０Ｈｚ以外の範囲にも多くのピーク周波数が含まれており、ノイズの影響を大きく受けていると考えられる。
一方、図５の（ｂ）および図５の（ｃ）に示すように、運転者の皮膚を写す領域Ａ２０、Ａ６３の周波数解析の結果には、複数のピーク周波数が見受けられるものの、大部分は０．７～２．０Ｈｚの範囲に収まっている。これらの領域は、比較的ノイズの影響が少なく、かつ脈波の周波数が含まれていると考えられる。
【0033】
このように、ノイズの多い画像ＩＭであっても、運転者Ｄが含まれる全体領域ＷＡを設定し、さらに複数の領域Ａ１～Ａ６４に細かく分割することで、ノイズの影響が少なく、かつ脈波の周波数が検出されやすい領域を切り分けることができる。
【0034】
脈波特定部１４は、領域Ａ１～Ａ６４の周波数の解析結果から共通するピーク周波数を探索する。ノイズによって生じたピーク周波数は、ランダムな要因で発生するため、同じものになりにくい。そのため、領域Ａ１～Ａ６４の複数のピーク周波数の中から共通する周波数を探索することで、脈波の周波数を特定することができる。
【0035】
図６の（ａ）は、各領域で検出されたピーク周波数を示す表であり、図６の（ｂ）は、四捨五入したピーク周波数を示す表である。図６の（ａ）および図６の（ｂ）は、領域Ａ１～Ａ６４の中の、一部の領域のピーク周波数を示している。
図７は、共通するピーク周波数の探索結果を示す表である。
図６の（ａ）に示すように、脈波特定部１４は、各領域Ａ１～Ａ６４の周波数解析の結果から、領域ごとに、ピーク周波数を検出する。脈波特定部１４は、各領域において、パワー（振幅）が大きい順に、複数の周波数を、ピーク周波数として検出する。脈波特定部１４は、たとえば、３つの周波数をピーク周波数として検出することができる。なお、図６の（ａ）の第１ピーク、第２ピーク、第３ピークは、パワーが大きい順を示すものではなく、ランダムに検出された順序を示している。
ピーク周波数には、下限値（所定値）を設定しても良い。脈波特定部１４は、領域の中で上位３位に入る周波数であっても、その周波数が下限値を下回る場合は、ピーク周波数として検出しない。
図７は、共通するピーク周波数の探索結果を示す表である。
図６の（ａ）に示すように、脈波特定部１４は、各領域Ａ１～Ａ６４の周波数解析の結果から、領域ごとに、ピーク周波数を検出する。脈波特定部１４は、各領域において、パワー（振幅）が大きい順に、複数の周波数を、ピーク周波数として検出する。脈波特定部１４は、たとえば、３つの周波数をピーク周波数として検出することができる。なお、図６の（ａ）の第１ピーク、第２ピーク、第３ピークは、パワーが大きい順を示すものではなく、ランダムに検出された順序を示している。
ピーク周波数には、下限値（所定値）を設定しても良い。脈波特定部１４は、領域の中で上位３位に入る周波数であっても、その周波数が下限値を下回る場合は、ピーク周波数として検出しない。
【0036】
脈波特定部１４は、さらに、各領域Ａ１～Ａ６４で検出されたピーク周波数の中から、共通するピーク周波数を探索する。
ここで、周波数解析の結果には誤差が生じることもあるため、共通するピーク周波数は、完全一致した周波数だけではなく、近似した周波数を含めても良い。脈波特定部１４は、たとえば、誤差が±０．０５の範囲であれば、共通するピーク周波数として抽出しても良い。あるいは、図６の（ｂ）に示すように、脈波特定部１４は、検出したピーク周波数の値の分解能が０．１になるように四捨五入して、近似した周波数が同じ値になるようにしても良い。
ここで、周波数解析の結果には誤差が生じることもあるため、共通するピーク周波数は、完全一致した周波数だけではなく、近似した周波数を含めても良い。脈波特定部１４は、たとえば、誤差が±０．０５の範囲であれば、共通するピーク周波数として抽出しても良い。あるいは、図６の（ｂ）に示すように、脈波特定部１４は、検出したピーク周波数の値の分解能が０．１になるように四捨五入して、近似した周波数が同じ値になるようにしても良い。
【0037】
脈波特定部１４は、複数の共通するピーク周波数が探索された場合は、図７に示すように、それぞれの探索個数をカウントする。脈波特定部１４は、最も探索された個数が多いピーク周波数を、脈波の周波数として特定する。図７の例では、最も探索された個数が多い１．３Ｈｚが、脈波の周波数として特定される。脈波特定部１４は、特定した脈波の周波数を記憶部１０に記憶させる。
【0038】
図８は、脈波検出領域を示す図である。
脈波特定部１４は、脈波の周波数が検出された領域を、脈波検出領域として選択する。図８では、脈波検出領域として選択された領域にハッチングを付している。図８の例では、運転者Ｄの顔を含む領域Ａ２０、Ａ２１、Ａ２８、Ａ２９、Ａ３６、Ａ３７と、運転者の首を含む領域Ａ４４、Ａ４５と、運転者Ｄの手を写す領域Ａ５８、Ａ５９、Ａ６２、Ａ６３が選択される。
脈波特定部１４は、脈波の周波数が検出された領域を、脈波検出領域として選択する。図８では、脈波検出領域として選択された領域にハッチングを付している。図８の例では、運転者Ｄの顔を含む領域Ａ２０、Ａ２１、Ａ２８、Ａ２９、Ａ３６、Ａ３７と、運転者の首を含む領域Ａ４４、Ａ４５と、運転者Ｄの手を写す領域Ａ５８、Ａ５９、Ａ６２、Ａ６３が選択される。
【0039】
脈波特定部１４は、脈波検出領域のそれぞれについて、他の脈波検出領域との距離Ｄ２を算出する。図８に示すように、脈波特定部１４は、たとえば、脈波検出領域の端点座標間の距離を、距離Ｄ２として算出する。
【0040】
脈波特定部１４は、算出した距離Ｄ２を記録した距離テーブル１０１を作成し、記憶部１０に記憶させる。
図９は、距離テーブル１０１の一例を示す図である。
図９に示すように、距離テーブル１０１は、距離Ｄ２が大きい順に、２つの脈波検出領域の組み合わせと、算出された距離Ｄ２の数値が記録されている。
図９の例では、図８に示す運転者Ｄの顔を写す領域Ａ２０と、運転者Ｄの左手を写す領域Ａ６３との距離Ｄ２が最も大きい。運転者Ｄの顔を写す領域Ａ２１と、運転者Ｄの右手を写す領域Ａ５８との距離Ｄ２が、２番目に大きい。この距離Ｄ２の算出は、脈波検出領域の中から、後記する血圧の推定に適した２つの領域を選択するために行われる。
図９は、距離テーブル１０１の一例を示す図である。
図９に示すように、距離テーブル１０１は、距離Ｄ２が大きい順に、２つの脈波検出領域の組み合わせと、算出された距離Ｄ２の数値が記録されている。
図９の例では、図８に示す運転者Ｄの顔を写す領域Ａ２０と、運転者Ｄの左手を写す領域Ａ６３との距離Ｄ２が最も大きい。運転者Ｄの顔を写す領域Ａ２１と、運転者Ｄの右手を写す領域Ａ５８との距離Ｄ２が、２番目に大きい。この距離Ｄ２の算出は、脈波検出領域の中から、後記する血圧の推定に適した２つの領域を選択するために行われる。
【0041】
＜血圧推定部：選択ステップ、フィルタリングステップ、推定ステップ＞
血圧推定部１５は、距離テーブル１０１を参照して、距離Ｄ２が最も大きい２つの脈波検出領域の組み合わせを選択する。血圧推定部１５は、２つの脈波推定領域の脈波に生じる時間差を用いて、血圧の推定を行う。
血圧推定部１５は、距離テーブル１０１を参照して、距離Ｄ２が最も大きい２つの脈波検出領域の組み合わせを選択する。血圧推定部１５は、２つの脈波推定領域の脈波に生じる時間差を用いて、血圧の推定を行う。
【0042】
前記したように、脈波は、心臓から送り出された血液による血管の容積変化を示すものである。ここで、心臓から送り出された血液が到達する時間は、心臓からの距離によって変化する。言い換えると、心臓からの距離に差がある領域では、脈波に生じる時間差も大きくなると考えられる。
【0043】
ここで、画像ＩＭ上における距離Ｄ２が大きい脈波推定領域は、心臓からの距離の差が大きいと考えられる。そのため、血圧推定部１５は、距離Ｄ２が最も大きい２つの脈波検出領域の組み合わせを選択して、血圧を推定する。
【0044】
血圧推定部１５は、記憶部１０から、距離Ｄ２が最も大きい領域Ａ２０、Ａ６３の平均輝度値の時系列データを取得し、高速フーリエ変換による周波数解析を行う。
血圧推定部１５は、領域Ａ２０、Ａ６３の平均輝度値の時系列データに対して、周波数解析を行う際に、バンドパスフィルタをかける。血圧推定部１５は、脈波特定部１４で特定された脈波の周波数に基づいて、バンドパスフィルタの周波数帯を設定する。バンドパスフィルタの周波数帯は、たとえば、脈波の周波数の±１０％に設定することができる。
血圧推定部１５は、領域Ａ２０、Ａ６３の平均輝度値の時系列データに対して、周波数解析を行う際に、バンドパスフィルタをかける。血圧推定部１５は、脈波特定部１４で特定された脈波の周波数に基づいて、バンドパスフィルタの周波数帯を設定する。バンドパスフィルタの周波数帯は、たとえば、脈波の周波数の±１０％に設定することができる。
【0045】
図１０は、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の周波数解析の結果を示す図である。図１０の（ａ）が領域Ａ２０の周波数解析の結果であり、図１０の（ｂ）が領域Ａ６３の周波数解析の結果である。
図１１は、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の時系列データを示す図である。
図１２は、ピーク時間差と血圧の関係を示すグラフである。
図１１は、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の時系列データを示す図である。
図１２は、ピーク時間差と血圧の関係を示すグラフである。
【0046】
図１０では、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の周波数解析の結果を、図５と同様に、振幅スペクトルとして表示している。
図５の（ｂ）および図５の（ｃ）に示すように、領域Ａ２０、Ａ６３の周波数解析の結果は、比較的ノイズの影響が少ないものの、ノイズの影響による複数のピーク周波数が見受けられた。
一方、図１０（ａ）および図１０の（ｂ）に示すように、バンドパスフィルタをかけられることによって、領域Ａ２０、Ａ６３の周波数解析の結果から、脈波の周波数１．３Ｈｚの±１０％を範囲とする周波数帯以外のピーク周波数が取り除かれる。すなわち、領域Ａ２０、Ａ６３の周波数解析の結果から、ノイズの影響によるピーク周波数が取り除かれる。
これによって、図１１に示すように、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の輝度値の時系列データは、周波数のピークが周期的に現れており、運転者Ｄの脈波の波形を反映している。すなわち、領域Ａ２０、Ａ６３の輝度値の時系列データに対して、脈波の周波数に基づいたバンドパスフィルタをかけることで、運転者Ｄの脈波データが得られる。さらに、バンドパスフィルタは脈波の周波数の±１０％という狭い周波数帯で設定されるため、ノイズの影響によるピーク周波数が取り除かれやすい。これによって、精度の高い脈波データが得られる。
図５の（ｂ）および図５の（ｃ）に示すように、領域Ａ２０、Ａ６３の周波数解析の結果は、比較的ノイズの影響が少ないものの、ノイズの影響による複数のピーク周波数が見受けられた。
一方、図１０（ａ）および図１０の（ｂ）に示すように、バンドパスフィルタをかけられることによって、領域Ａ２０、Ａ６３の周波数解析の結果から、脈波の周波数１．３Ｈｚの±１０％を範囲とする周波数帯以外のピーク周波数が取り除かれる。すなわち、領域Ａ２０、Ａ６３の周波数解析の結果から、ノイズの影響によるピーク周波数が取り除かれる。
これによって、図１１に示すように、バンドパスフィルタをかけられた領域Ａ２０、Ａ６３の輝度値の時系列データは、周波数のピークが周期的に現れており、運転者Ｄの脈波の波形を反映している。すなわち、領域Ａ２０、Ａ６３の輝度値の時系列データに対して、脈波の周波数に基づいたバンドパスフィルタをかけることで、運転者Ｄの脈波データが得られる。さらに、バンドパスフィルタは脈波の周波数の±１０％という狭い周波数帯で設定されるため、ノイズの影響によるピーク周波数が取り除かれやすい。これによって、精度の高い脈波データが得られる。
【0047】
図１１に示すように、領域Ａ２０と領域Ａ６３の波形は、概ね同様の周期を示しているが、ピークが出現するタイミングに時間差（ピーク時間差ＰＴＤ）がある。前記したように、領域Ａ２０に写る顔と、領域Ａ６３に写る手とでは、心臓からの距離が異なるため、心臓から送り出された血液が到達するまでの時間が異なる。そのため、このようなピーク時間差ＰＴＤが生じる。
図１２に示すように、ピーク時間差ＰＴＤは血圧によって変化する。血圧が高ければピーク時間差ＰＴＤは小さくなり、血圧が低ければピーク時間差ＰＴＤは大きくなる。
図１２に示すように、ピーク時間差ＰＴＤは血圧によって変化する。血圧が高ければピーク時間差ＰＴＤは小さくなり、血圧が低ければピーク時間差ＰＴＤは大きくなる。
【0048】
血圧推定部１５は、領域Ａ２０、Ａ６３のそれぞれのピークを検出する。血圧推定部１５は、領域Ａ２０の各ピークについて、領域Ａ６３の最も近接するピークとの時間差を算出する。血圧推定部１５は、算出した各ピーク時間差ＰＴＤの合計をピークの検出数で除して、ピーク時間差ＰＴＤの平均値を算出する。
【0049】
記憶部１０には、ピーク時間差ＰＴＤと血圧値の対応を示す血圧テーブル１０２（図２参照）が記憶されている。血圧推定部１５は、血圧テーブル１０２を参照して、算出したピーク時間差ＰＴＤの平均値に対応する血圧値を取得する。血圧推定部１５は、取得した血圧値を、運転者Ｄの血圧の推定値として記憶部１０に記憶させる。
【0050】
血圧推定部１５は、一定時間Ｔ２ごとに記憶部１０に蓄積された領域Ａ２０、Ａ６３の時系列データを取得して、前記した血圧推定処理を行い、推定した血圧値を順次記憶部１０に記憶させる。これによって、運転者Ｄの血圧の変化を示すデータが得られる。血圧推定部１５は、車両Ｖの走行中は、血圧推定処理を継続する。
【0051】
なお、血圧推定部１５の処理を継続している間に、領域Ａ２０、Ａ６３から脈波が検出できなくなる可能性がある。たとえば、運転者Ｄが左手の位置を動かして領域Ａ６３に左手が写らなくなった場合、領域Ａ６３から脈波が検出できなくなる。あるいは、領域Ａ２０に局所的に太陽光が差し込んだ場合、領域Ａ２０から、脈波によるものではないピークが検出される。このような場合、領域Ａ２０、Ａ６３の組み合わせから、適切なピーク時間差ＰＴＤが算出されない。
【0052】
血圧推定部１５は、適切なピーク時間差ＰＴＤが算出されなかった場合、血圧の推定に用いる脈波検出領域の組み合わせを変更することができる。
適切なピーク時間差ＰＴＤの判定となる基準値を予め設定して、記憶部１０に記憶させても良い。基準値は、ピーク時間差ＰＴＤが、血圧によって生じるものと推定できる許容値とすることができる。血圧推定部１５は、算出したピーク時間差ＰＴＤの平均値が基準値を超えた場合、脈波検出領域の組み合わせを変更することができる。
適切なピーク時間差ＰＴＤの判定となる基準値を予め設定して、記憶部１０に記憶させても良い。基準値は、ピーク時間差ＰＴＤが、血圧によって生じるものと推定できる許容値とすることができる。血圧推定部１５は、算出したピーク時間差ＰＴＤの平均値が基準値を超えた場合、脈波検出領域の組み合わせを変更することができる。
【0053】
血圧推定部１５は、距離テーブル１０１を参照し、２番目に距離Ｄ２が大きい脈波検出領域の組み合わせを選択する。図９の例では、運転者Ｄの顔を写す領域Ａ２１（図８参照）と、運転者Ｄの右手を写す領域Ａ５８（図８参照）が選択される。血圧推定部１５は、領域Ａ２１、Ａ５８のピーク時間差ＰＴＤを算出して、血圧の推定を行う。
なお、領域Ａ２１、Ａ５８からも適切なピーク時間差ＰＴＤが算出されない場合は、血圧推定部１５は、さらに次に距離Ｄ２が大きい脈波検出領域の組み合わせを選択して、適切なピーク時間差ＰＴＤが算出されるまで、ピーク時間差ＰＴＤの算出を行っても良い。
なお、領域Ａ２１、Ａ５８からも適切なピーク時間差ＰＴＤが算出されない場合は、血圧推定部１５は、さらに次に距離Ｄ２が大きい脈波検出領域の組み合わせを選択して、適切なピーク時間差ＰＴＤが算出されるまで、ピーク時間差ＰＴＤの算出を行っても良い。
【0054】
＜通知部＞
通知部１６は、たとえば、推定した血圧値を、車室内に設置されたディスプレイ３（図２参照）に表示させても良い。血圧値は、たとえば、数字で表示しても良く、グラフで表示しても良い。
通知部１６は、また、血圧値の変化をモニタリングして、血圧値に急激な上昇または下降が生じた場合に、アラームを出力しても良い。通知部１６は、アラームとして、たとえば運転中止等を勧告する文字をディスプレイ３に表示させても良い。通知部１６は、アラームとして、運転中止を勧告する音声またはブザー音を、車室内のスピーカ４（図２参照）から出力させても良い。
その場合は、血圧値の急激な上昇または下降を示す閾値を記憶部１０に記憶させておく。通知部１６は、閾値を参照して、アラームの出力の要否を判定することができる。
通知部１６は、あるいは、推定した血圧値を、運転者Ｄのスマートフォン等に送信しても良い。
通知部１６は、たとえば、推定した血圧値を、車室内に設置されたディスプレイ３（図２参照）に表示させても良い。血圧値は、たとえば、数字で表示しても良く、グラフで表示しても良い。
通知部１６は、また、血圧値の変化をモニタリングして、血圧値に急激な上昇または下降が生じた場合に、アラームを出力しても良い。通知部１６は、アラームとして、たとえば運転中止等を勧告する文字をディスプレイ３に表示させても良い。通知部１６は、アラームとして、運転中止を勧告する音声またはブザー音を、車室内のスピーカ４（図２参照）から出力させても良い。
その場合は、血圧値の急激な上昇または下降を示す閾値を記憶部１０に記憶させておく。通知部１６は、閾値を参照して、アラームの出力の要否を判定することができる。
通知部１６は、あるいは、推定した血圧値を、運転者Ｄのスマートフォン等に送信しても良い。
【0055】
以下、制御部１１が実施する処理を説明する。
図１３は、血圧推定処理を説明するフローチャートである。
図１４は、領域設定処理の詳細を説明するフローチャートである。
図１５は、脈波特定処理の詳細を説明するフローチャートである。
図１３は、血圧推定処理を説明するフローチャートである。
図１４は、領域設定処理の詳細を説明するフローチャートである。
図１５は、脈波特定処理の詳細を説明するフローチャートである。
【0056】
図１３に示すように、制御部１１は、血圧推定処理を行うために、領域設定処理（ステップＳ０１）および脈波特定処理（ステップＳ０２）を行う。領域設定処理は、たとえば、車両Ｖのイグニッションスイッチが操作され、赤外線カメラ２が撮影を開始したタイミングで行っても良い。あるいは、運転席ＤＳに着座センサまたはシートベルトセンサ等が設けられている場合は、センサの検出タイミングで領域設定処理を行っても良い。
【0057】
図１４に示すように、制御部１１の領域設定部１２は、赤外線カメラ２から画像ＩＭが入力されると（ステップＳ１０１：Ｙｅｓ）、顔認識処理を行い（ステップＳ１０２）、画像ＩＭから運転者Ｄの目と鼻を抽出する。
領域設定部１２は、画像ＩＭから運転者Ｄの目と鼻が抽出できない場合は（ステップＳ１０３：Ｎｏ）、ステップＳ１０１に戻り、次のフレームの画像ＩＭに対して顔認識処理を行う。
領域設定部１２は、画像ＩＭから目と鼻が抽出された場合は（ステップＳ１０３：Ｙｅｓ）、目と鼻の距離Ｄ１を算出する（ステップＳ１０４）。
領域設定部１２は、画像ＩＭから運転者Ｄの目と鼻が抽出できない場合は（ステップＳ１０３：Ｎｏ）、ステップＳ１０１に戻り、次のフレームの画像ＩＭに対して顔認識処理を行う。
領域設定部１２は、画像ＩＭから目と鼻が抽出された場合は（ステップＳ１０３：Ｙｅｓ）、目と鼻の距離Ｄ１を算出する（ステップＳ１０４）。
【0058】
領域設定部１２は、目と鼻の距離Ｄ１に基づいて、全体領域ＷＡのサイズを決定する（ステップＳ１０５）。領域設定部１２は、たとえば、記憶部１０に記憶されたアルゴリズムを用いて、距離Ｄ１から全体領域ＷＡの横幅Ｌおよび縦幅Ｗを算出する。
【0059】
領域設定部１２は、画像ＩＭにおける全体領域ＷＡの位置を設定する（ステップＳ１０６）。領域設定部１２は、たとえば、全体領域ＷＡを矩形とした場合、運転者Ｄの鼻の位置を中心として、４つの角部Ｐ１～Ｐ４の端点座標を設定する。
【0060】
領域設定部１２は、全体領域ＷＡを分割し、複数の領域Ａ１～Ａ６４を設定する（ステップＳ１０７）。領域設定部１２は、たとえば、矩形の全体領域ＷＡを、予め設定した分割数で格子状に分割する。領域設定部１２は、各領域Ａ１～Ａ６４の端点座標を記憶部１０に記憶させる。
【0061】
図１５に示すように、領域設定処理が完了すると、輝度算出部１３は、赤外線カメラ２から入力される画像ＩＭに対して、領域Ａ１～Ａ６４ごとに平均輝度値の算出を行う（ステップＳ２０１）。輝度算出部１３は、赤外線カメラ２から連続して入力される画像ＩＭに対して、順次領域Ａ１～Ａ６４ごとに平均輝度値を算出し、算出結果を記憶部１０に記憶させる。輝度算出部１３は継続して行われる。すなわち、輝度算出部１３は、赤外線カメラ２から画像ＩＭが入力される度に、平均輝度値の算出を行い、記憶部１０に記憶させる。これによって、記憶部１０には、領域Ａ１～Ａ６４ごとの平均輝度値の時系列データが蓄積される。
【0062】
脈波特定部１４は、制御部１１が備えるタイマの計測により一定時間Ｔ１が経過すると（ステップＳ２０２：Ｙｅｓ）、記憶部１０に蓄積された一定時間Ｔ１分の、平均輝度値の時系列データを取得する。脈波特定部１４は、時系列データに対して、高速フーリエ変換による周波数解析を行う（ステップＳ２０３）。
【0063】
脈波特定部１４は、各領域Ａ１～Ａ６４の周波数解析の結果から、ピーク周波数を検出する（ステップＳ２０４）。脈波特定部１４は、たとえば、各領域Ａ１～Ａ６４において、パワーが大きい順に、上位３つのピーク周波数（第１ピーク、第２ピーク、第３ピーク）を抽出する。
【0064】
脈波特定部１４は、各領域Ａ１～Ａ６４のピーク周波数の中から、共通するピーク周波数を探索する（ステップＳ２０５）。脈波特定部１４は、共通するピーク周波数を、脈波の周波数として特定する（ステップＳ２０６）。脈波特定部１４は、たとえば、複数の共通するピーク周波数が探索された場合は、最も探索された個数が多い、共通するピーク周波数を、脈波の周波数として特定する（図７参照）。脈波特定部１４は、特定した脈波の周波数を記憶部１０に記憶させる。
【0065】
図１５に示すように、脈波特定部１４は、脈波の周波数が抽出された領域（脈波検出領域）間の距離Ｄ２を算出する（ステップＳ２０７）。脈波検出領域は、距離Ｄ２が大きい順に、２つの脈波検出領域の組み合わせと、算出された距離Ｄ２の数値を記録した距離テーブル１０１を、記憶部１０に記憶させる。
【0066】
図１３に戻り、血圧推定部１５は、タイマの計測により一定時間Ｔ２が経過すると（ステップＳ０３：Ｙｅｓ）、距離テーブル１０１を参照する。血圧推定部１５は、脈波検出領域として記録された領域の中から、距離Ｄ２が最も大きい２つの領域Ａ２０、Ａ６３の組み合わせを選択する（ステップＳ０４）。
なお、わかりやすくするために、図８の例に沿って「２つの領域Ａ２０、Ａ６３」と表記しているが、「２つの領域」として選択されるのは、領域Ａ２０、Ａ６３に限定されないことは言うまでもない。
なお、わかりやすくするために、図８の例に沿って「２つの領域Ａ２０、Ａ６３」と表記しているが、「２つの領域」として選択されるのは、領域Ａ２０、Ａ６３に限定されないことは言うまでもない。
【0067】
血圧推定部１５は、記憶部１０に蓄積された、一定時間Ｔ２分の、２つの領域Ａ２０、Ａ６３の平均輝度値の時系列データを取得する（ステップＳ０５）。
血圧推定部１５は、記憶部１０に記憶された脈波の周波数を取得する。血圧推定部１５は、脈波の周波数に基づいて設定したバンドパスフィルタをかけて、２つの領域Ａ２０、Ａ６３の時系列データの周波数解析を行い（ステップＳ０６）、脈波データを取得する。血圧推定部１５は、たとえば、脈波の周波数の±１０％に設定したバンドパスフィルタをかけることができる。
血圧推定部１５は、記憶部１０に記憶された脈波の周波数を取得する。血圧推定部１５は、脈波の周波数に基づいて設定したバンドパスフィルタをかけて、２つの領域Ａ２０、Ａ６３の時系列データの周波数解析を行い（ステップＳ０６）、脈波データを取得する。血圧推定部１５は、たとえば、脈波の周波数の±１０％に設定したバンドパスフィルタをかけることができる。
【0068】
血圧推定部１５は、領域Ａ２０、Ａ６３の脈波データにおける周波数のピークを検出する。血圧推定部１５は、領域Ａ２０、Ａ６３の各ピークの時間差を算出し、時系列データにおけるピーク時間差ＰＴＤの平均値を算出する（ステップＳ０７）。
【0069】
血圧推定部１５は、適切なピーク時間差ＰＴＤの平均値が算出された場合（ステップＳ０８：Ｙｅｓ）、ピーク時間差ＰＴＤの平均値に基づいて、血圧を推定する（ステップＳ０９）。血圧推定部１５は、たとえば、算出したピーク時間差ＰＴＤの平均値を予め設定した基準値と比較し、基準値を以下であれば、ピーク時間差ＰＴＤが適切であると判定することができる。また、血圧推定部１５は、たとえば、記憶部１０の血圧テーブル１０２を参照し、ピーク時間差ＰＴＤの平均値に対応する血圧値を取得することができる。
【0070】
血圧推定部１５は、適切なピーク時間差ＰＴＤの平均値が算出されない場合（ステップＳ０８：Ｎｏ）、距離テーブル１０１を参照して、距離Ｄ２が次に大きい２つの領域Ａ２１、Ａ５８の組み合わせを選択し（ステップＳ１０）、ステップＳ０５に戻る。
【0071】
血圧推定部１５は、ステップＳ０９で推定した血圧値を記憶部１０に記憶させると、ステップＳ０３に戻り、以降、一定時間Ｔ２が経過するごとに蓄積された平均輝度値の時系列データを取得して、血圧の推定を行う。
【0072】
以上の通り、生体情報推定方法は、以下の処理を有している。
（１）生体情報推定方法は、
運転者Ｄ（ユーザ）を撮影した画像ＩＭに複数の領域Ａ１～Ａ６４を設定する設定ステップ（ステップＳ１０１～Ｓ１０７）と、
連続して入力される画像ＩＭに対して、領域Ａ１～Ａ６４ごとに平均輝度値（輝度値）を算出し、平均輝度値の時系列データを得る算出ステップ（ステップＳ２０１）と、
時系列データに対して周波数解析を行う解析ステップ（ステップＳ２０３）と、
周波数解析の結果から、領域Ａ１～Ａ６４ごとにピーク周波数を検出する検出ステップ（ステップＳ２０４）と、
複数の領域Ａ１～Ａ６４におけるピーク周波数から共通する周波数を探索して、運転者Ｄの脈波の周波数を特定する特定ステップ（ステップＳ２０５～Ｓ２０６）と、を備える。
（１）生体情報推定方法は、
運転者Ｄ（ユーザ）を撮影した画像ＩＭに複数の領域Ａ１～Ａ６４を設定する設定ステップ（ステップＳ１０１～Ｓ１０７）と、
連続して入力される画像ＩＭに対して、領域Ａ１～Ａ６４ごとに平均輝度値（輝度値）を算出し、平均輝度値の時系列データを得る算出ステップ（ステップＳ２０１）と、
時系列データに対して周波数解析を行う解析ステップ（ステップＳ２０３）と、
周波数解析の結果から、領域Ａ１～Ａ６４ごとにピーク周波数を検出する検出ステップ（ステップＳ２０４）と、
複数の領域Ａ１～Ａ６４におけるピーク周波数から共通する周波数を探索して、運転者Ｄの脈波の周波数を特定する特定ステップ（ステップＳ２０５～Ｓ２０６）と、を備える。
【0073】
生体情報推定方法により、ノイズが含まれる画像ＩＭから脈波を特定する精度を向上させることができる。
具体的には、画像ＩＭを複数の領域Ａ１～Ａ６４に分割することで、画像ＩＭから、運転者Ｄの皮膚を写した、脈波の周波数が検出されやすい領域を切り分けることができる。運転者Ｄの皮膚を含まれる領域には、脈波の周波数が共通して含まれる。一方、ノイズによるピーク周波数は、ランダムな要因で発生するため、同じ周波数とはなりにくい。そのため、複数の領域Ａ１～Ａ６４から共通のピーク周波数を探索することで、ノイズが含まれる画像ＩＭを用いた場合でも、脈波の周波数を特定する精度を高めることができる。
具体的には、画像ＩＭを複数の領域Ａ１～Ａ６４に分割することで、画像ＩＭから、運転者Ｄの皮膚を写した、脈波の周波数が検出されやすい領域を切り分けることができる。運転者Ｄの皮膚を含まれる領域には、脈波の周波数が共通して含まれる。一方、ノイズによるピーク周波数は、ランダムな要因で発生するため、同じ周波数とはなりにくい。そのため、複数の領域Ａ１～Ａ６４から共通のピーク周波数を探索することで、ノイズが含まれる画像ＩＭを用いた場合でも、脈波の周波数を特定する精度を高めることができる。
【0074】
（２）生体情報推定方法は、
脈波の周波数が検出された２つの領域Ａ２０、Ａ６３を選択する選択ステップ（ステップＳ０４）と、
２つの領域Ａ２０、Ａ６３の時系列データに、脈波の周波数に基づいて設定された周波数帯のバンドパスフィルタをかけて、運転者Ｄの脈波データを取得するフィルタリングステップ（ステップＳ０５～Ｓ０６）と、
２つの領域Ａ２０、Ａ６３の脈波データにおける脈波のピーク時間差ＰＴＤを求め、ピーク時間差ＰＴＤに基づいて運転者Ｄの血圧を推定する推定ステップ（ステップＳ０７～Ｓ０８）と、を備える。
脈波の周波数が検出された２つの領域Ａ２０、Ａ６３を選択する選択ステップ（ステップＳ０４）と、
２つの領域Ａ２０、Ａ６３の時系列データに、脈波の周波数に基づいて設定された周波数帯のバンドパスフィルタをかけて、運転者Ｄの脈波データを取得するフィルタリングステップ（ステップＳ０５～Ｓ０６）と、
２つの領域Ａ２０、Ａ６３の脈波データにおける脈波のピーク時間差ＰＴＤを求め、ピーク時間差ＰＴＤに基づいて運転者Ｄの血圧を推定する推定ステップ（ステップＳ０７～Ｓ０８）と、を備える。
【0075】
生体情報推定装置１において、２つの異なる領域Ａ２０、Ａ６３の脈波データに生じる脈波のピーク時間差ＰＴＤから、血圧が推定される。ここで、ピーク時間差ＰＴＤは大きい数値ではないため、２つの領域Ａ２０、Ａ６３で得られる脈波データの精度が低いと、血圧の推定精度に影響を与える可能性がある。
ノイズの少ない画像ＩＭが取得できる場合は、平均輝度値の時系列データに対して周波数解析をする際に０．７～２．０Ｈｚの周波数帯でバンドパスフィルタをかけることで、脈波データが得られる。しかしながら、ノイズが多く含まれる画像ＩＭの場合は、０．７～２．０Ｈｚの周波数帯にも、脈波以外の要因によるピーク周波数が含まれるため、一般的な範囲でバンドパスフィルタをかけても精度の高い脈波データが得られない。
ノイズの少ない画像ＩＭが取得できる場合は、平均輝度値の時系列データに対して周波数解析をする際に０．７～２．０Ｈｚの周波数帯でバンドパスフィルタをかけることで、脈波データが得られる。しかしながら、ノイズが多く含まれる画像ＩＭの場合は、０．７～２．０Ｈｚの周波数帯にも、脈波以外の要因によるピーク周波数が含まれるため、一般的な範囲でバンドパスフィルタをかけても精度の高い脈波データが得られない。
【0076】
実施形態では、脈波特定部１４が特定した脈波の周波数に基づいてバンドパスフィルタの周波数帯を設定している。周波数帯を、たとえば、脈波の周波数の±１０％という狭い範囲に設定することで、脈波以外の要因によるピーク周波数を取り除くことができ、精度の高い脈波データを得ることができる。
これにより２つの領域Ａ２０、Ａ６３のピーク時間差ＰＴＤの算出精度を高め、血圧の推定精度を高めることができる。
これにより２つの領域Ａ２０、Ａ６３のピーク時間差ＰＴＤの算出精度を高め、血圧の推定精度を高めることができる。
【0077】
（３）設定ステップは、
画像ＩＭから運転者Ｄの顔から２つの特徴点を抽出し、２つの特徴点の距離Ｄ１に基づいて、運転者Ｄを包含する全体領域ＷＡのサイズを設定すること（ステップＳ１０２～Ｓ１０５）と、
前記２つの特徴点のいずれかを中心として、画像ＩＭにおける全体領域ＷＡの端点の位置を設定すること（ステップＳ１０６）と、
全体領域ＷＡを分割して、複数の領域Ａ１～Ａ６４を設定すること（ステップＳ１０７）と、を含む。
画像ＩＭから運転者Ｄの顔から２つの特徴点を抽出し、２つの特徴点の距離Ｄ１に基づいて、運転者Ｄを包含する全体領域ＷＡのサイズを設定すること（ステップＳ１０２～Ｓ１０５）と、
前記２つの特徴点のいずれかを中心として、画像ＩＭにおける全体領域ＷＡの端点の位置を設定すること（ステップＳ１０６）と、
全体領域ＷＡを分割して、複数の領域Ａ１～Ａ６４を設定すること（ステップＳ１０７）と、を含む。
【0078】
運転者Ｄを包含する全体領域ＷＡを設定し、全体領域ＷＡの中で複数の領域Ａ１～Ａ６４を設定することで、領域Ａ１～Ａ６４の中で運転者Ｄの皮膚を含む領域の割合が多くなり、脈波の周波数を示す共通のピーク周波数が検出されやすくなる。これによって、脈波の周波数を特定する精度を高めることができる。
また、運転者Ｄの顔から２つの特徴点、たとえば目と鼻の特徴点を抽出し、それらの距離Ｄ１に基づいて全体領域ＷＡのサイズを決定し、運転者Ｄの鼻の特徴点を中心として全体領域ＷＡの端点座標を決定することで、画像ＩＭにおいて運転者Ｄが写る場所に全体領域ＷＡを設定されやすくなる。
また、運転者Ｄの顔から２つの特徴点、たとえば目と鼻の特徴点を抽出し、それらの距離Ｄ１に基づいて全体領域ＷＡのサイズを決定し、運転者Ｄの鼻の特徴点を中心として全体領域ＷＡの端点座標を決定することで、画像ＩＭにおいて運転者Ｄが写る場所に全体領域ＷＡを設定されやすくなる。
【0079】
（４）検出ステップは、周波数解析の結果から、領域Ａ１～Ａ６４ごとに所定値（下限値）以上のパワーを有する複数のピーク周波数を検出すること（ステップＳ２０４）を含む。
【0080】
脈波の周波数を含む領域であっても、脈波の周波数よりも高いノイズによるピーク周波数が検出されることがある。検出ステップにおいて、複数のピーク周波数を検出することで、脈波の周波数が含まれやすくなる。実施形態では、パワー（振幅）が大きい順に３つのピーク周波数を検出する例を説明したが、検出するピーク周波数は３つに限定されず、例えば２つとしても良い。
【0081】
（５）選択ステップは、
脈波検出領域（脈波の周波数が検出された領域）間の距離Ｄ２が最も大きい２つの領域Ａ２０、Ａ６３を選択すること（ステップＳ０４）を含む。
脈波検出領域（脈波の周波数が検出された領域）間の距離Ｄ２が最も大きい２つの領域Ａ２０、Ａ６３を選択すること（ステップＳ０４）を含む。
【0082】
前記したように、ピーク時間差ＰＴＤは大きな値で無いためノイズの影響を受けやすい。ここで、２つの領域のそれぞれの心臓からの距離の差が大きいほど、ピーク時間差ＰＴＤが大きくなりやすい。たとえば、運転者Ｄの顔と手は、心臓からの距離の差が大きくなりやすい。選択ステップにおいて、画像ＩＭ上の距離Ｄ２が大きい２つの領域Ａ２０、Ａ６３を選択した場合、運転者Ｄの顔を含む領域と手を含む領域との組み合わせが選択されやすい。すなわち、心臓からの距離の差が大きい２つの領域Ａ２０、Ａ６３が選択されるため、ピーク時間差ＰＴＤが大きくなり、ノイズの影響を低減することができる。これによって、血圧の推定精度を高めることができる。
【0083】
前記した処理を実施する生体情報推定装置１も、同様の効果を得ることができる。
【0084】
［変形例１］
図１６は、変形例１に係る複数の領域の設定例を説明する図である。
前記した実施形態では、領域設定部１２は、画像ＩＭにおいて運転者Ｄ全体を包含する全体領域ＷＡを設定した。変形例１では、領域設定部１２は、運転者Ｄの顔を包含する第１全体領域ＷＡ１と、ステアリングホイールＳＷを含む第２全体領域ＷＡ２を設定する。
図１６は、変形例１に係る複数の領域の設定例を説明する図である。
前記した実施形態では、領域設定部１２は、画像ＩＭにおいて運転者Ｄ全体を包含する全体領域ＷＡを設定した。変形例１では、領域設定部１２は、運転者Ｄの顔を包含する第１全体領域ＷＡ１と、ステアリングホイールＳＷを含む第２全体領域ＷＡ２を設定する。
【0085】
領域設定部１２は、公知の顔認識処理により、画像ＩＭに写っている運転者Ｄの顔を抽出する。図１６に示すように、領域設定部１２は、抽出した運転者Ｄの顔を包含する領域を、第１全体領域ＷＡ１として設定する。領域設定部１２は、さらに、公知の画像処理により、画像ＩＭに写っているステアリングホイールＳＷを抽出する。領域設定部１２は、抽出したステアリングホイールＳＷを包含する領域を、第２全体領域ＷＡ２として設定する。運転者Ｄは車両Ｖの運転中はステアリングホイールＳＷを把持している時間が長い。そのため、ステアリングホイールＳＷを包含する領域を設定することで、運転者Ｄの手が含まれる可能性が高い領域を設定することができる。
【0086】
実施形態の例で説明したように、画像ＩＭにおいて運転者Ｄの顔と手が含まれる領域からは、脈波の周波数が検出されやすい。さらに、顔と手は、心臓からの距離が異なるためピーク時間差ＰＴＤが生じやすく、血圧推定に用いる領域に適している。
すなわち、第１全体領域ＷＡ１と第２全体領域ＷＡ２を設定することで、脈波の周波数が検出されやすい領域を予め絞り込むことができる。これによって、脈波特定部１４が共通するピーク周波数を探索する際の処理量を低減することができる。
すなわち、第１全体領域ＷＡ１と第２全体領域ＷＡ２を設定することで、脈波の周波数が検出されやすい領域を予め絞り込むことができる。これによって、脈波特定部１４が共通するピーク周波数を探索する際の処理量を低減することができる。
【0087】
第１全体領域ＷＡ１および第２全体領域ＷＡ２は、たとえば、矩形の領域とすることができる。領域設定部１２は、運転者Ｄの顔が包含されるように第１全体領域ＷＡ１のサイズを設定し、端点座標を設定する。領域設定部１２は、ステアリングホイールＳＷが包含されるように第２全体領域ＷＡ２のサイズを設定し、端点座標を設定する。
【0088】
領域設定部１２は、第１全体領域ＷＡ１と第２全体領域ＷＡ２のそれぞれを分割して、複数の領域を設定する。領域設定部１２は、たとえば、矩形の第１全体領域ＷＡ１および第２全体領域ＷＡ２を、予め設定した分割数で格子状に分割する。領域設定部１２は、複数の領域の端点座標を記憶部１０に記憶させる。
【0089】
図１７は、変形例１に係る領域設定処理を説明するフローチャートである。変形例１の領域設定処理以外の処理は実施形態と同様であるため、詳細な説明は省略する。
図１７に示すように、制御部１１の領域設定部１２は、赤外線カメラ２から画像ＩＭが入力されると（ステップＳ１１１：Ｙｅｓ）、公知の顔認識処理、画像処理を行う（ステップＳ１１２）。領域設定部１２は、画像ＩＭから運転者Ｄの顔を抽出し、運転者Ｄの顔を含む第１全体領域ＷＡ１の位置を設定する（ステップＳ１１３）。領域設定部１２は、画像処理により、画像ＩＭからステアリングホイールＳＷを含む第２全体領域ＷＡ２の位置を設定する（ステップＳ１１４）。
図１７に示すように、制御部１１の領域設定部１２は、赤外線カメラ２から画像ＩＭが入力されると（ステップＳ１１１：Ｙｅｓ）、公知の顔認識処理、画像処理を行う（ステップＳ１１２）。領域設定部１２は、画像ＩＭから運転者Ｄの顔を抽出し、運転者Ｄの顔を含む第１全体領域ＷＡ１の位置を設定する（ステップＳ１１３）。領域設定部１２は、画像処理により、画像ＩＭからステアリングホイールＳＷを含む第２全体領域ＷＡ２の位置を設定する（ステップＳ１１４）。
【0090】
領域設定部１２は、第１全体領域ＷＡ１および第２全体領域ＷＡ２のそれぞれを分割して、複数の領域を設定する（ステップＳ１１５）。領域設定部１２は、各領域の識別子と端点座標を記憶部１０に記憶させる。
【0091】
以上の通り、変形例１の生体情報推定方法は、以下の処理を含む。
（３）画像ＩＭは、車両Ｖに設けられた赤外線カメラ２（撮像装置）により、車両Ｖの運転者Ｄであるユーザを撮影したものである。
生体情報推定方法において、
設定ステップは、
画像ＩＭからユーザの顔を抽出し、ユーザの顔を包含する第１全体領域ＷＡ１を設定すること（ステップＳ１１２、Ｓ１１３）と、
画像ＩＭから車両ＶのステアリングホイールＳＷを抽出し、ステアリングホイールＳＷを包含する第２全体領域ＷＡ２の位置を設定すること（ステップＳ１１４）と、
第１全体領域ＷＡ１および第２全体領域ＷＡ２を分割して、複数の領域を設定すること（ステップＳ１１５）と、を含む。
（３）画像ＩＭは、車両Ｖに設けられた赤外線カメラ２（撮像装置）により、車両Ｖの運転者Ｄであるユーザを撮影したものである。
生体情報推定方法において、
設定ステップは、
画像ＩＭからユーザの顔を抽出し、ユーザの顔を包含する第１全体領域ＷＡ１を設定すること（ステップＳ１１２、Ｓ１１３）と、
画像ＩＭから車両ＶのステアリングホイールＳＷを抽出し、ステアリングホイールＳＷを包含する第２全体領域ＷＡ２の位置を設定すること（ステップＳ１１４）と、
第１全体領域ＷＡ１および第２全体領域ＷＡ２を分割して、複数の領域を設定すること（ステップＳ１１５）と、を含む。
【0092】
画像ＩＭに写る運転者Ｄの中で、顔と手は皮膚が露出している可能性が高く、脈波が検出されやすい領域である。運転者Ｄの顔を包含する第１全体領域ＷＡ１と、手を包含する第２全体領域ＷＡ２を設定することで、脈波が検出されやすい領域を絞り込むことができるため、脈波の特定精度を高めることができる。
【0093】
また、運転者Ｄは、運転中はステアリングホイールＳＷを把持している時間が長い。また、位置が固定された輪状のステアリングホイールＳＷは、画像処理によって抽出しやすい。そのため画像処理によって抽出したステアリングホイールＳＷを包含する領域を第２全体領域ＷＡ２とすることで、手を包含する全体領域ＷＡを設定することができる。
【0094】
さらに、運転者Ｄの顔と手は心臓からの距離が異なるため、ピーク時間差ＰＴＤを算出しやすい。第１全体領域ＷＡ１と第２全体領域ＷＡ２を設定した場合、第１全体領域ＷＡ１に含まれる領域と、第２全体領域ＷＡ２に含まれる領域との組み合わせが、領域間の距離Ｄ２が大きくなりやすい。すなわち、血圧推定部１５によって、ピーク時間差ＰＴＤが生じやすい２つの領域が選択されやすくなるため、血圧の推定精度を高めることができる。
【0095】
［その他の変形例］
前記した実施形態では、生体情報推定装置１が運転者Ｄの血圧を推定する態様を説明したが、車両Ｖの他の乗員の血圧を推定しても良い。その場合は、他の乗員を撮影できるように、赤外線カメラ２の位置または撮影範囲を変更する。生体情報推定装置１は、他の乗員を撮影した画像ＩＭから、他の乗員の血圧を推定することができる。
前記した実施形態では、生体情報推定装置１が運転者Ｄの血圧を推定する態様を説明したが、車両Ｖの他の乗員の血圧を推定しても良い。その場合は、他の乗員を撮影できるように、赤外線カメラ２の位置または撮影範囲を変更する。生体情報推定装置１は、他の乗員を撮影した画像ＩＭから、他の乗員の血圧を推定することができる。
【0096】
生体情報推定装置１を設置する場所は、車両Ｖに限定されない。生体情報推定装置１は、車両Ｖ以外の、画像ＩＭにノイズが多く含まれる撮影環境下でも、ユーザの血圧の推定精度を高めることができる。生体情報推定装置１は、たとえば、電車、船舶、自動二輪車、自転車等に設置しても良い。
【0097】
前記した実施形態では、生体情報推定装置１が生体情報として血圧を推定する例を説明したが、この態様に限定されない。生体情報推定装置１は、脈波を生体情報として出力しても良く、脈波から血圧以外の生体情報を推定して出力しても良い。
【0098】
前記した実施形態では、生体情報推定装置１が、運転者Ｄの顔の特徴点として、目と鼻の特徴点を抽出し、それらの距離Ｄ１から、全体領域ＷＡのサイズを決定する例を説明したが、これに限定されない。
生体情報推定装置１は、たとえば、運転者Ｄの右目と左目の特徴点の距離を算出し、その距離から全体領域ＷＡのサイズを決定しても良い。あるいは、生体情報推定装置１は、運転者Ｄの顔の輪郭を特徴点として抽出し、顔の輪郭のサイズから全体領域ＷＡのサイズを決定しても良い。
生体情報推定装置１は、目と鼻の距離Ｄ１が算出できなかった場合に、これらの他の方法により全体領域ＷＡのサイズを決定しても良い。さらに、運転者Ｄがマスク、サングラス、帽子等を着用していて、いずれの方法でも全体領域ＷＡのサイズを決定できなかった場合は、予め設定しておいた全体領域ＷＡのサイズに決定しても良い。
生体情報推定装置１は、たとえば、運転者Ｄの右目と左目の特徴点の距離を算出し、その距離から全体領域ＷＡのサイズを決定しても良い。あるいは、生体情報推定装置１は、運転者Ｄの顔の輪郭を特徴点として抽出し、顔の輪郭のサイズから全体領域ＷＡのサイズを決定しても良い。
生体情報推定装置１は、目と鼻の距離Ｄ１が算出できなかった場合に、これらの他の方法により全体領域ＷＡのサイズを決定しても良い。さらに、運転者Ｄがマスク、サングラス、帽子等を着用していて、いずれの方法でも全体領域ＷＡのサイズを決定できなかった場合は、予め設定しておいた全体領域ＷＡのサイズに決定しても良い。
【0099】
以上の通り、本発明の実施形態および変形例を説明した。本件発明は、上記した実施形態及び変形例に示した態様にのみ限定されない。本件発明の技術的思想の範囲内で適宜変更可能である。
【符号の説明】
【0100】
１ 生体情報推定装置
２ 赤外線カメラ
３ ディスプレイ
４ スピーカ
１０ 記憶部
１１ 制御部
１２ 領域設定部
１３ 輝度算出部
１４ 脈波特定部
１５ 血圧推定部
１６ 通知部
Ｖ 車両
ＩＭ 画像
ＷＡ 全体領域
ＷＡ１ 第１全体領域
ＷＡ２ 第２全体領域
Ａ１～Ａ６４ 領域
２ 赤外線カメラ
３ ディスプレイ
４ スピーカ
１０ 記憶部
１１ 制御部
１２ 領域設定部
１３ 輝度算出部
１４ 脈波特定部
１５ 血圧推定部
１６ 通知部
Ｖ 車両
ＩＭ 画像
ＷＡ 全体領域
ＷＡ１ 第１全体領域
ＷＡ２ 第２全体領域
Ａ１～Ａ６４ 領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】