特開 2022-70107 生体情報取得装置、状態監視装置、およびドライバー監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022070107

(43)【公開日】2022-05-12

(54)【発明の名称】生体情報取得装置、状態監視装置、およびドライバー監視装置

(51)【国際特許分類】

   A61B 5/02 20060101AFI20220502BHJP

   A61B 5/18 20060101ALI20220502BHJP

【ＦＩ】

A61B5/02 310Z

A61B5/18

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2020179142

(22)【出願日】2020-10-26

(71)【出願人】

【識別番号】516317182

【氏名又は名称】ＯＦＩＬＭ．Ｊａｐａｎ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】酒本 章人

【テーマコード（参考）】

4C017

4C038

【Ｆターム（参考）】

4C017AA09

4C017AA10

4C017AB06

4C017AC28

4C017BC16

4C017BD04

4C017FF05

4C038PP01

4C038PP03

4C038PP05

4C038PQ03

4C038PS00

(57)【要約】      （修正有）

【課題】生体情報などの対象者の状態を非接触で取得できる生体情報取得装置、状態監視装置、およびドライバー監視装置を提供する。
【解決手段】生体情報取得装置４は、光学レンズ５と、固体撮像素子６と、照射装置７と、抽出部８と、脈波検出部９と、を備える。固体撮像素子６は、フレーム間隔ごとに対象者の複数の撮像イメージを取得する。固体撮像素子６は、走査方向に順次感光することで各々の撮像イメージを取得する。照射装置７は、固体撮像素子６の走査時間より短い周期で時間的に変調する照射光を対象者に照射する。抽出部８は、各々の撮像イメージについて、照射装置７の時間的な変調により明部および暗部のうち、明部の輝度成分を背景光および照射光による輝度成分とし、暗部の輝度成分を背景光による輝度成分として、照射光による輝度成分を抽出する。脈波検出部９は、抽出部８が抽出した輝度成分の変動に基づいて、対象者の脈波を検出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

背景光を含む光を受けた対象者からの散乱光を受ける光学レンズと、
前記光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、前記複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、
前記固体撮像素子において前記開始端から前記終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光を前記対象者に照射する照射装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
前記複数の撮像イメージの各々について、前記照射装置の時間的な変調により前記開始端から前記終了端までの間に生じる明部および暗部のうち、前記明部の輝度成分を前記背景光および前記照射光による輝度成分とし、前記暗部の輝度成分を前記背景光による輝度成分として、前記照射光による輝度成分を抽出する抽出部と、
前記抽出部が抽出した前記照射光による輝度成分の前記撮影時間における変動に基づいて前記対象者の脈波を検出する脈波検出部と、
を備える
生体情報取得装置。

【請求項2】

前記抽出部は、前記複数の撮像イメージの各々についての輝度の頻度分布が前記明部に対応する第１ピークおよび前記暗部に対応する第２ピークを有する場合に、前記第１ピークに対応する輝度を前記明部の輝度成分とし、前記第２ピークに対応する輝度を前記暗部の輝度成分とし、前記明部の輝度成分から前記暗部の輝度成分を差し引くことで前記照射光による輝度成分を抽出する
請求項１に記載の生体情報取得装置。

【請求項3】

前記抽出部は、前記複数の撮像イメージの各々について、前記開始端から前記終了端までの走査方向に関する輝度の空間分布において複数の極大値および複数の極小値を抽出し、前記複数の極大値の平均値を前記明部の輝度成分とし、前記複数の極小値の平均値を前記暗部の輝度成分とし、前記明部の輝度成分から前記暗部の輝度成分を差し引くことで前記照射光による輝度成分を抽出する
請求項１に記載の生体情報取得装置。

【請求項4】

前記抽出部は、前記複数の撮像イメージの各々について、前記開始端から前記終了端までの走査方向に関する輝度の空間分布において複数の極大値および複数の極小値を抽出し、前記複数の極大値の各々を前記明部の輝度成分とし、前記複数の極小値の各々を前記暗部の輝度成分とし、前記複数の極大値および前記複数の極小値の組合せのうち最近傍の組合せについての輝度の差の平均をとることで前記照射光による輝度成分を抽出する
請求項１に記載の生体情報取得装置。

【請求項5】

背景光を含む光を受けた対象者からの散乱光を受ける光学レンズと、
前記光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、前記複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、
前記固体撮像素子において前記開始端から前記終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光を前記対象者に照射する照射装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
前記複数の撮像イメージの各々について、前記照射装置の時間的な変調により前記開始端から前記終了端までの間に生じる明部および暗部のうち、前記暗部を前記背景光による輝度成分、ならびに前記明部を前記背景光および前記照射光による輝度成分として、前記照射光による輝度成分を抽出する抽出部と、
前記抽出部が抽出した前記照射光による輝度成分の前記撮影時間における変動に基づいて前記対象者の脈波を検出する脈波検出部と、
前記脈波検出部によって検出された前記対象者の脈波に基づいて前記対象者の活動状態を前記対象者の状態として取得する状態取得部と、
を備える
状態監視装置。

【請求項6】

前記抽出部は、前記複数の撮像イメージの各々についての輝度の頻度分布が前記明部に対応する第１ピークおよび前記暗部に対応する第２ピークを有する場合に、前記第１ピークに対応する輝度を前記明部の輝度成分とし、前記第２ピークに対応する輝度を前記暗部の輝度成分とし、前記明部の輝度成分から前記暗部の輝度成分を差し引くことで前記照射光による輝度成分を抽出する
請求項５に記載の状態監視装置。

【請求項7】

前記抽出部は、前記複数の撮像イメージの各々について、前記開始端から前記終了端までの走査方向に関する輝度の空間分布において複数の極大値および複数の極小値を抽出し、前記複数の極大値の平均値を前記明部の輝度成分とし、前記複数の極小値の平均値を前記暗部の輝度成分とし、前記明部の輝度成分から前記暗部の輝度成分を差し引くことで前記照射光による輝度成分を抽出する
請求項５に記載の状態監視装置。

【請求項8】

前記抽出部は、前記複数の撮像イメージの各々について、前記開始端から前記終了端までの走査方向に関する輝度の空間分布において複数の極大値および複数の極小値を抽出し、前記複数の極大値の各々を前記明部の輝度成分とし、前記複数の極小値の各々を前記暗部の輝度成分とし、前記複数の極大値および前記複数の極小値の組合せのうち最近傍の組合せについての輝度の差の平均をとることで前記照射光による輝度成分を抽出する
請求項５に記載の状態監視装置。

【請求項9】

前記光学レンズは、前記対象者の顔に向けて配置され、
前記照射装置は、
予め設定されたパターンによって空間的に前記照射光を変調させる空間変調部
を備え、
前記情報処理装置は、
前記複数の撮像イメージの各々について、前記照射光の時間的な変調の影響を除いた第１イメージ、および前記照射光の空間的な変調の影響を除いた第２イメージを生成する分離部と、
前記分離部が生成した前記第１イメージにおける前記パターンの変形に基づいて前記対象者の顔の立体配置を検出する配置検出部と、
を備え、
前記抽出部は、前記分離部が生成した前記第２イメージから前記照射光による輝度成分を抽出する
請求項５から請求項８のいずれか一項に記載の状態監視装置。

【請求項10】

前記情報処理装置は、
前記配置検出部が検出した立体配置に基づいて前記対象者の顔の方向を検出する方向検出部
を備え、
前記状態取得部は、前記方向検出部が検出した顔の方向を前記対象者の状態として取得する
請求項９に記載の状態監視装置。

【請求項11】

前記情報処理装置は、
前記配置検出部が検出した立体配置に基づいて前記対象者の目の開度を検出する開度検出部
を備え、
前記状態取得部は、前記開度検出部が検出した目の開度を前記対象者の状態として取得する
請求項９または請求項１０に記載の状態監視装置。

【請求項12】

ドライバーが車両を運転する運転席の前方に配置され、前記運転席において背景光を含む光を受けた前記ドライバーからの散乱光を受ける光学レンズと、
前記光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、前記複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、
前記固体撮像素子において前記開始端から前記終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光を前記ドライバーに照射する照射装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
前記複数の撮像イメージの各々について、前記照射装置の時間的な変調により前記開始端から前記終了端までの間に生じる明部および暗部のうち、前記暗部を前記背景光による輝度成分、ならびに前記明部を前記背景光および前記照射光による輝度成分として、前記照射光による輝度成分を抽出する抽出部と、
前記抽出部が抽出した前記照射光による輝度成分の前記撮影時間における変動に基づいて前記ドライバーの脈波を検出する脈波検出部と、
前記脈波検出部によって検出された前記ドライバーの脈波に基づいて前記ドライバーの活動状態を前記ドライバーの状態として取得する状態取得部と、
を備える
ドライバー監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体情報取得装置、状態監視装置、およびドライバー監視装置に関する。

【背景技術】

【0002】

特許文献１は、生体情報取得装置の例を開示する。生体情報取得装置は、発光素子およびカメラセンサを備える。生体情報取得装置は、カメラセンサで撮影した対象者の皮膚の色に基づいて脈拍を測定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－３６４１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の生体情報取得装置において、カメラセンサは、対象者の皮膚に接触する面に配置される。このため、当該生体情報取得装置は、生体情報などの対象者の状態を非接触で取得できない。

【0005】

本開示は、このような課題の解決に係るものである。本開示は、生体情報などの対象者の状態を非接触で取得できる生体情報取得装置、状態監視装置、およびドライバー監視装置を提供する。

【課題を解決するための手段】

【0006】

本開示に係る生体情報取得装置は、背景光を含む光を受けた対象者からの散乱光を受ける光学レンズと、光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、固体撮像素子において開始端から終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光を対象者に照射する照射装置と、情報処理装置と、を備え、情報処理装置は、複数の撮像イメージの各々について、照射装置の時間的な変調により開始端から終了端までの間に生じる明部および暗部のうち、明部の輝度成分を背景光および照射光による輝度成分とし、暗部の輝度成分を背景光による輝度成分として、照射光による輝度成分を抽出する抽出部と、抽出部が抽出した照射光による輝度成分の撮影時間における変動に基づいて対象者の脈波を検出する脈波検出部と、を備える。

【0007】

本開示に係る状態監視装置は、背景光を含む光を受けた対象者からの散乱光を受ける光学レンズと、光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、固体撮像素子において開始端から終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光を対象者に照射する照射装置と、情報処理装置と、を備え、情報処理装置は、複数の撮像イメージの各々について、照射装置の時間的な変調により開始端から終了端までの間に生じる明部および暗部のうち、暗部を背景光による輝度成分、ならびに明部を背景光および照射光による輝度成分として、照射光による輝度成分を抽出する抽出部と、抽出部が抽出した照射光による輝度成分の撮影時間における変動に基づいて対象者の脈波を検出する脈波検出部と、脈波検出部によって検出された対象者の脈波に基づいて対象者の活動状態を対象者の状態として取得する状態取得部と、を備える。

【0008】

本開示に係るドライバー監視装置は、ドライバーが車両を運転する運転席の前方に配置され、運転席において背景光を含む光を受けたドライバーからの散乱光を受ける光学レンズと、光学レンズを通過した光を受け、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを、複数の撮像イメージの各々の開始端から終了端まで走査するように順次感光することで取得する固体撮像素子と、固体撮像素子において開始端から終了端までの走査にかかる走査時間より短い周期で時間的に変調する照射光をドライバーに照射する照射装置と、情報処理装置と、を備え、情報処理装置は、複数の撮像イメージの各々について、照射装置の時間的な変調により開始端から終了端までの間に生じる明部および暗部のうち、暗部を背景光による輝度成分、ならびに明部を背景光および照射光による輝度成分として、照射光による輝度成分を抽出する抽出部と、抽出部が抽出した照射光による輝度成分の撮影時間における変動に基づいてドライバーの脈波を検出する脈波検出部と、脈波検出部によって検出されたドライバーの脈波に基づいてドライバーの活動状態をドライバーの状態として取得する状態取得部と、を備える。

【発明の効果】

【0009】

本開示に係る生体情報取得装置、状態監視装置、またはドライバー監視装置であれば、生体情報などの対象者の状態を非接触で取得できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る状態監視装置の構成図である。

【図2】実施の形態１に係る撮像イメージの例を示す図である。

【図3】実施の形態１に係る撮像イメージの例を示す図である。

【図4】実施の形態１に係る撮像イメージの輝度の頻度分布の例を示す図である。

【図5】実施の形態１に係る撮像イメージの輝度成分の変動の例を示す図である。

【図6】実施の形態１に係る撮像イメージの輝度成分の変動の例を示す図である。

【図7】実施の形態２に係る撮像イメージの輝度の空間分布の例を示す図である。

【図8】実施の形態３に係る状態監視装置の構成図である。

【図9】実施の形態３に係る状態監視装置による状態の取得の例を示す図である。

【図10】実施の形態３に係る方向検出部による顔の方向の検出の例を示す図である。

【図11】実施の形態３に係る開度検出部による目の開度の検出の例を示す図である。

【発明を実施するための形態】

【0011】

本開示を実施するための形態について添付の図面を参照しながら説明する。各図において、同一または相当する部分には同一の符号を付して、重複する説明は適宜に簡略化または省略する。

【0012】

実施の形態１．
図１は、実施の形態１に係る状態監視装置１の構成図である。

【0013】

状態監視装置１は、対象者の状態を監視する装置である。状態監視装置１は、例えばドライバー監視装置である。ドライバー監視装置は、車両の運転席において運転を行うドライバーを対象者としてドライバーの状態を監視する装置である。車両は、例えば自動車などである。状態取得装置が監視する対象者の状態は、例えば活動状態などを含む。活動状態は、例えば対象者の眠気の強さなどの情報を含む。

【0014】

状態監視装置１は、情報処理装置２を備える。情報処理装置２は、ハードウェアとして、例えばプロセッサおよびメモリを備えた処理回路を有する。プロセッサは、例えばＣＰＵ、演算装置、マイクロプロセッサ、またはマイクロコンピュータなどである。メモリは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭおよびＥＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、もしくはＤＶＤなどが該当する。メモリは、例えばソフトウェアまたはファームウェアとしてのプログラムなどを記憶する。そして、情報処理装置２は、メモリに記憶されたプログラムなどをプロセッサが実行することによって予め設定された処理を実施し、ハードウェアとソフトウェアとが協働した結果として各機能を実現する。情報処理装置２の各機能は、それぞれ処理回路で実現されてもよい。あるいは、情報処理装置２の各機能の一部または全部は、まとめて処理回路で実現されてもよい。また、処理回路は、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、もしくはＦＰＧＡ、またはこれらの組み合わせで実現されてもよい。

【0015】

状態監視装置１は、状態取得部３を備える。状態取得部３は、対象者の生体情報などに基づいて、対象者の状態を取得する部分である。対象者の生体情報は、例えば対象者の脈波の情報などを含む。状態取得部３は、情報処理装置２に搭載される。

【0016】

ここで、対象者は、背景光を含む光を顔などの体表に受ける。背景光は、例えば対象者の例であるドライバーが運転する車両の外部から、当該車両の運転席に差し込む外光などである。対象者に当たる光は、対象者の体表面または体内などにおいて散乱される。例えば近赤外などの赤外線を含む光が対象者に当たる場合に、対象者からの散乱光の強さは、対象者の体内でのヘモグロビンなどによる吸収の影響を受ける。このため、対象者の脈波などの生体情報は、光を受けた対象者からの散乱光によって計測されうる。

【0017】

状態監視装置１は、生体情報取得装置４を内部に含む。あるいは、状態監視装置１は、生体情報取得装置４を独立した装置として含んでもよい。生体情報取得装置４は、対象者の脈波などの生体情報を取得する装置である。生体情報取得装置４は、光学レンズ５と、固体撮像素子６と、照射装置７と、抽出部８と、脈波検出部９と、を備える。

【0018】

光学レンズ５は、対象者に向けて配置される。この例において、光学レンズ５は、対象者の顔に向けて配置される。状態監視装置１がドライバー監視装置である場合に、光学レンズ５は、車両の運転席の前方からドライバーに向けて配置される。光学レンズ５は、光を受けた対象者からの散乱光を受ける。なお、光学レンズ５は、対象者の顔の他の体表に向けて配置されていてもよい。この例において、光学レンズ５は、赤外線を通過させるレンズである。

【0019】

固体撮像素子６は、光学レンズ５の焦点位置に配置される。固体撮像素子６は、動画像の撮影を行う機能を搭載する。動画像の撮影は、撮影開始から撮影終了までの撮影時間において、フレーム間隔ごとの複数の撮像イメージを取得することによって行われる。撮影時間は、対象者の脈波を複数周期含みうるように予め設定される。フレーム間隔は、予め設定されたフレームレートの逆数として表される時間間隔である。動画像の撮影は、例えば予め設定された周期で行われる。あるいは、動画像の撮影は、生体情報取得装置４の内部または外部からのトリガ信号の入力によって開始されてもよい。固体撮像素子６は、ローリングシャッターによって各々の撮像イメージを取得する。すなわち、固体撮像素子６は、撮像イメージの開始端から終了端まで走査するように順次感光することで当該撮像イメージを取得する。この例において、固体撮像素子６は、赤外線によって撮像イメージを取得する。撮像イメージの形状は、例えば矩形である。このとき、撮像イメージの開始端および終了端は、当該撮像イメージの互いに対向する辺である。撮像イメージの開始端は、例えば当該撮像イメージの上端である。このとき、撮像イメージの終了端は、当該撮像イメージの下端である。ここで、固体撮像素子６において開始端から終了端までの走査にかかる時間を走査時間と称する。この例において、走査時間はフレーム間隔より短い。

【0020】

照射装置７は、撮影時間の間に照射光を対象者に照射する装置である。照射装置７は、発光素子１０と、発振器１１と、駆動回路１２と、を備える。発光素子１０は、照射光を発する素子である。発光素子１０は、対象者に向けて配置される。この例において、発光素子１０は、対象者の顔に向けて配置される。状態監視装置１がドライバー監視装置である場合に、発光素子１０は、車両の運転席の前方からドライバーに向けて配置される。発光素子１０は、例えばＬＥＤ素子（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などである。ＬＥＤ素子は、例えば赤外線を含む照射光を発する。この例において、ＬＥＤ素子は、照射光として可視光を発しない。発振器１１は、周期的に振動する信号を発生させる機器である。発振器１１が発生させる信号の周期は、固体撮像素子６の走査時間より短い。駆動回路１２は、ＬＥＤ素子による発光を制御する回路である。駆動回路１２は、発振器１１が発生させる信号によってＬＥＤ素子の発光を時間的に変調させる。このとき、照射光の強度は、発振器１１が発生させる信号の周期で時間的に振動する。あるいは、照射光は、例えば発振器１１が発生させる信号の周期で点滅してもよい。

【0021】

撮影時間の間に照射装置７が照射光を対象者に照射するので、対象者は、背景光および照射光を体表に受ける。このため、固体撮像素子６によって撮影時間に取得された各々の撮像イメージは、照射光による輝度成分および背景光による輝度成分を含む。照射光による輝度成分は、撮像イメージにおいて照射光からの散乱光が寄与する成分である。背景光による輝度成分は、撮像イメージにおいて背景光からの散乱光が寄与する成分である。

【0022】

抽出部８は、撮影時間に取得された各々の撮像イメージについて、照射光による輝度成分を抽出する部分である。脈波検出部９は、抽出部８が抽出した照射光による輝度成分の撮影時間における変動に基づいて、対象者の脈波を検出する部分である。抽出部８および脈波検出部９は、情報処理装置２に搭載される。

【0023】

図２は、実施の形態１に係る撮像イメージの例を示す図である。
図２において、一様で平坦な面を撮影対象として動画像を撮影するときに取得される撮像イメージの例が示される。
図２において、撮像イメージの開始端は、当該撮像イメージの上端である。また、撮像イメージの終了端は、当該撮像イメージの下端である。このとき、固体撮像素子６における走査方向は、上方から下方に向かう方向である。

【0024】

撮影対象が一様である場合においても、固体撮像素子６の走査時間の間に照射装置７による照射光の強度が周期的に変動するので、走査方向に垂直な線を含む縞模様が撮像イメージに現れる。すなわち、撮像イメージは、走査方向について明部および暗部が交互に現れるイメージとなる。明部は、時間的に変調する照射光の強度が強いときに感光した部分である。明部において、照射光および背景光の両方からの散乱光が寄与している。暗部は、時間的に変調する照射光の強度が弱いときに感光した部分である。暗部において、背景光からの散乱光が寄与している。

【0025】

ここで、撮像イメージに現れる明部および暗部の本数密度は、固体撮像素子６の走査時間に対する照射光の変調の周期によって定まる。このため、照射光の変調の周期は、固体撮像素子６の走査時間、および生体情報の取得に必要な明部ならびに暗部の本数密度などに応じて予め設定される。生体情報の取得に必要な本数密度は、例えば撮像イメージ上の対象者の画像において明部および暗部がそれぞれ複数現れる本数密度などである。例えば撮影対象が対象者の顔である場合に、生体情報の取得に必要な本数密度は、撮像イメージ上の対象者の頬、額、鼻、目、および口などの顔の部分ごとに明部および暗部がそれぞれ複数現れる本数密度などである。この例において、撮像イメージのうちの顔の画像の範囲にわたって明部および暗部がそれぞれ１０本程度以上現れるように、照射光の変調の周期が予め設定される。

【0026】

図３は、実施の形態１に係る撮像イメージの例を示す図である。
図３において、対象者の顔を撮影対象として動画像を撮影するときに取得される撮像イメージの例が示される。
図３において、撮像イメージの開始端は、当該撮像イメージの上端である。また、撮像イメージの終了端は、当該撮像イメージの下端である。このとき、固体撮像素子６における走査方向は、上方から下方に向かう方向である。

【0027】

撮影対象が対象者の顔である場合においても同様に、照射光の時間的な変調による縞模様が撮像イメージに現れる。抽出部８は、このように照射光の時間的な変調によって開始端から終了端までの間に生じた縞模様を用いて、例えば次のように照射光による輝度成分を抽出する。

【0028】

抽出部８は、撮像イメージの顔画像のうちから、対象領域を検出する。対象領域は、例えば対象者の皮膚が映る凹凸の少ない領域などである。対象領域は、例えば対象者の顔の頬の部分などである。抽出部８は、例えば顔認識などの既知の方法によって対象領域を検出してもよい。この例において、矩形の対象領域が検出される。

【0029】

抽出部８は、撮影時間に取得された各々の撮像イメージについて、検出した対象領域における輝度の頻度分布を算出する。

【0030】

図４は、実施の形態１に係る撮像イメージの輝度の頻度分布の例を示す図である。
図４の横軸は、輝度を表す。図４の縦軸は、対象領域に含まれる画素のうち各々の輝度の値をとる画素の数、すなわち各々の輝度の頻度を表す。

【0031】

各々の撮像イメージにおいて、明部および暗部は走査方向について十分高い本数密度で交互に現れる。このため、輝度についての頻度分布は、背景光および照射光によって対象者を撮影した場合の撮像イメージにおける明部の頻度分布と、背景光によって対象者を撮影した場合の撮像イメージにおける暗部の頻度分布と、を重ね合わせたものになる。

【0032】

このとき、各々の撮像イメージの輝度についての頻度分布は、第１ピークおよび第２ピークを有する。第１ピークおよび第２ピークは、頻度分布において頻度が極大となる点である。第１ピークに対応する輝度は、第２ピークに対応する輝度より高い。第１ピークに対応する輝度は、照射光および背景光の両方からの散乱光が寄与する明部に対応する。第２ピークに対応する輝度は、背景光からの散乱光が寄与する暗部に対応する。

【0033】

抽出部８は、第１ピークに対応する輝度を明部の輝度成分とする。抽出部８は、第２ピークに対応する輝度を暗部の輝度成分とする。このとき、抽出部８は、明部の輝度成分から暗部の輝度成分を差し引くことで、照射光による輝度成分を抽出する。なお、抽出部８は、上記の方法に限らず、各々の撮像イメージの走査方向などのピクセル方向における輝度の極大値および極小値を求め、それぞれの和の差分を取って平均化することによって照射光による輝度成分を抽出してもよい。あるいは、抽出部８は、各々の撮像イメージのピクセル方向における輝度の極大値および極小値を求め、再近傍の極大値と極小値の差を積算して平均化することによって照射光による輝度成分を抽出してもよい。

【0034】

図５および図６は、実施の形態１に係る撮像イメージの輝度成分の変動の例を示す図である。
図５および図６の横軸は、時間を表す。図５および図６の縦軸は、対象領域の輝度成分を表す。

【0035】

図５において、第１ピークに対応する輝度、すなわち明部の輝度成分が実線で表される。また、第２ピークに対応する輝度、すなわち暗部の輝度成分が破線で示される。

【0036】

暗部の輝度成分は、背景光からの散乱光の寄与に対応する。撮影時間の間において、対象者の周囲の環境も変化しうる。例えば対象者が車両のドライバーである場合に、運転席の外部から差し込む外光を含む背景光は、車両の走行に伴って変動する。暗部の輝度成分の変動は、このような背景光の変動に対応する。

【0037】

一方、照射光からの散乱光の寄与は、照射装置７によって照射光が照射される対象者自身の変化に対応する。すなわち、照射光からの散乱光の寄与は、対象者の脈波に対応する。明部の輝度成分は照射光および散乱光の両方からの散乱光が寄与したものであるため、明部の輝度成分の変動は、背景光の変動および対象者の脈波による変動の重ね合わせに対応する。

【0038】

このため、抽出部８は、明部の輝度成分から暗部の輝度成分を差し引くことで、照射光による輝度成分を抽出することができる。このように抽出部８が抽出した照射光による輝度成分は、対象者の脈波による変動に対応する。

【0039】

図６において、抽出部８が抽出した照射光による輝度成分の変動が示される。

【0040】

脈波検出部９は、抽出部８が抽出した照射光による輝度成分の変動を、脈波の情報として検出する。脈波検出部９は、例えば輝度成分の変動の波形を対象者の脈波の波形として検出する。あるいは、脈波検出部９は、例えば輝度成分の変動の周波数に基づいて、対象者の脈拍を検出してもよい。脈波検出部９は、検出した対象者の脈波の情報を状態取得部３に出力する。

【0041】

状態取得部３は、対象者の生体情報である脈波の情報に基づいて、対象者の活動状態を取得する。状態取得部３は、例えば対象者の脈拍が遅くなるときに、対象者の眠気が強くなったと判定する。あるいは、状態取得部３は、例えば対象者の脈拍が速くなるときに、対象者の緊張が高まったと判定してもよい。また、状態取得部３は、脈拍の揺らぎなどにもとづいて対象者の眠気の強さなどの活動状態を取得してもよい。状態取得部３は、取得した活動状態に基づいて、対象者の状態を監視する。

【0042】

この例において、状態取得部３は、対象者の状態に応じて、取得した状態の情報を外部に出力する。例えば状態監視装置１がドライバー監視装置である場合に、状態取得部３は、対象者の状態を車両に出力する。対象者の眠気が強くなったことを表す情報は、例えば運転席のシートベルトの振動などを通じたドライバーへの注意喚起に用いられてもよい。

【0043】

なお、状態監視装置１は、ドライバーの他の対象者の状態を監視してもよい。状態監視装置１は、例えば席についてデスクワークなどを行う作業者の作業状態を監視する装置であってもよい。作業状態は、例えば作業者の集中、緊張、および疲労の程度などを表す。このとき、照射装置７、光学レンズ５、および撮像素子は、例えば作業者の机上に配置される。状態監視装置１は、例えば講義などを受講する受講者の受講状態を監視する装置であってもよい。状態監視装置１は、例えば遠隔医療などにおいて対象者の健康状態を監視する装置であってもよい。健康状態は、生体情報そのものであってもよい。

【0044】

また、情報処理装置２は、複数のハードウェアによって構成されていてもよい。情報処理装置２の一部または全部は、照射装置７、光学レンズ５、および固体撮像素子６などと異なる場所に配置されていてもよい。このとき、情報処理の一部または全部は、インターネットなどの通信網を通じて互いに接続される機器であってもよい。

【0045】

また、発光素子１０は、可視光を発する素子であってもよい。このとき、発光素子１０は、例えば対象者の体表のうち顔ではない部分に向けて配置される。また、光学レンズ５は、対象者の体表のうち発光素子１０が向けられた部分に向けて配置される。また、固体撮像素子６は、発光素子１０が発する光と同じ波長の光を含む散乱光によって撮像イメージを取得する。

【0046】

また、発振器１１が発生させる信号は、固体撮像素子６におけるフレームごとの走査と同期していてもよい。例えば、固体撮像素子６は、開始端からの走査を開始するときに、同期信号を発振器１１に出力する。このとき、発振器１１は、固体撮像素子６から同期信号を受けるときの位相が同一となるように信号を発生させる。これにより、各々の撮像イメージにおいて明部および暗部が同じ位置に出現するようになる。

【0047】

以上に説明したように、実施の形態１に係る生体情報取得装置４は、光学レンズ５と、固体撮像素子６と、照射装置７と、情報処理装置２と、を備える。光学レンズ５は、背景光を含む光を受けた対象者からの散乱光を受ける。固体撮像素子６は、光学レンズ５を通過した光を受ける。固体撮像素子６は、撮影開始から撮影終了までの撮影時間において予め設定されたフレーム間隔ごとの複数の撮像イメージを取得する。固体撮像素子６は、開始端から終了端まで走査するように順次感光することで各々の撮像イメージを取得する。照射装置７は、走査時間より短い周期で時間的に変調する照射光を対象者に照射する。走査時間は、固体撮像素子６において開始端から終了端までの走査にかかる時間である。情報処理装置２は、抽出部８と、脈波検出部９と、を備える。抽出部８は、各々の撮像イメージについて、照射光による輝度成分を抽出する。ここで、各々の撮像イメージにおいて、照射装置７の時間的な変調により開始端から終了端までの間に明部および暗部が生じている。抽出部８は、明部の輝度成分を背景光および照射光による輝度成分とし、暗部の輝度成分を背景光による輝度成分として、抽出を行う。脈波検出部９は、抽出部８が抽出した照射光による輝度成分の撮影時間における変動に基づいて、対象者の脈波を検出する。
また、実施の形態１に係る状態監視装置１は、光学レンズ５と、固体撮像素子６と、照射装置７と、情報処理装置２と、を備える。情報処理装置２は、抽出部８と、脈波検出部９と、状態取得部３と、を備える。状態取得部３は、脈波検出部９によって検出された対象者の脈波に基づいて、対象者の活動状態を対象者の状態として取得する。
また、実施の形態１に係るドライバー監視装置は、ドライバーを対象者とする状態監視装置１である。ドライバー監視装置において、光学レンズ５は、ドライバーが車両を運転する運転席の前方に配置される。

【0048】

通常、固体撮像素子６に非接触で取得された撮像イメージは、背景光からの散乱光の影響を受ける。一方、生体情報取得装置４および状態監視装置１において、照射装置７および固体撮像素子６によって明部および暗部を含む撮像イメージが取得されるので、明部および暗部の差異から撮像イメージごとに照射光からの散乱光が寄与する輝度成分が抽出される。生体情報取得装置４および状態監視装置１は、このように抽出された輝度成分の変動に基づいて対象者の脈波を検出するので、背景光の変動の影響が抑えられ、生体情報などの対象者の状態が非接触で取得できる。また、明部および暗部は受光部である固体撮像素子６側で発生するので、明部および暗部の縞模様は撮影対象である対象者の立体配置などによって歪まない。このため、撮像イメージにおいて明部および暗部が容易に検出される。このため、照射光による輝度成分の抽出が容易に行われる。また、状態監視装置１は、非接触で対象者の状態を取得できるので、対象者に煩わしさを感じさせにくい。ドライバー監視装置としての状態監視装置１において、車両を運転するドライバーの顔の位置が変わりにくいので、対象者の状態がより精度よく取得される。

【0049】

また、各々の撮像イメージについての輝度の頻度分布は、明部に対応する第１ピークおよび暗部に対応する第２ピークを有する。この場合に、抽出部８は、第１ピークに対応する輝度を明部の輝度成分とし、第２ピークに対応する輝度を暗部の輝度成分として、抽出を行う。抽出部８は、明部の輝度成分から暗部の輝度成分を差し引くことで照射光による輝度成分を抽出する。

【0050】

このような構成により、輝度の頻度分布に基づいて、抽出部８による輝度成分の抽出がより容易に行われる。

【0051】

実施の形態２．
実施の形態２において、実施の形態１で開示される例と相違する点について特に詳しく説明する。実施の形態２で説明しない特徴については、実施の形態１で開示される例のいずれの特徴が採用されてもよい。

【0052】

実施の形態２において、各々の撮像イメージにおいて検出された対象領域から他の方法によって照射光による輝度成分を抽出する抽出部８の例を説明する。

【0053】

図７は、実施の形態２に係る撮像イメージの輝度の空間分布の例を示す図である。
図７において、撮像イメージの画素のうち走査方向に沿ったいずれか一列における輝度の空間分布の例が示される。図７の横軸は、撮像イメージにおける走査方向の位置を表す。図７の縦軸は、撮像イメージにおける輝度の値を表す。

【0054】

図７の実線で示されるように、輝度の空間分布は、明部に対応する複数の輝度の極大値Ｍ_１，Ｍ_２，…，Ｍ_Ｋ，…，Ｍ_Ｎを含む。ここで、整数Ｋは、１以上Ｎ以下の整数である。整数Ｎは、輝度の極大値の個数である。輝度の値Ｍ_Ｋは、Ｋ番目の極大値である。同様に、輝度の空間分布は、暗部に対応する複数の輝度の極小値ｍ_１，ｍ_２，…，ｍ_ｋ，…，ｍ_ｎを含む。ここで、整数ｋは、１以上ｎ以下の整数である。整数ｎは、輝度の極小値の個数である。輝度の値ｍ_ｋは、ｋ番目の極小値である。

【0055】

抽出部８は、例えば撮像イメージの列ごとにこれら複数の極大値および複数の極小値を抽出する。抽出部８は、例えば輝度の空間分布を走査方向に微分することで、微分値が０になる点として極大値および極小値を抽出してもよい。抽出部８は、複数の極大値の輝度の平均値を算出する。このとき、抽出部８は、例えば対象領域の全ての列から抽出された極大値を用いて平均値を算出する。また、抽出部８は、複数の極小値の輝度の平均値を算出する。このとき、抽出部８は、例えば対象領域の全ての列から抽出された極小値を用いて平均値を算出する。抽出部８は、算出した極大値の平均値を明部の輝度成分とする。抽出部８は、算出した極小値の平均値を暗部の輝度成分とする。抽出部８は、算出した極大値の平均値から極小値の平均値を差し引くことで、照射光による輝度成分ｖを例えば次の式（１）のように抽出する。

【0056】

【数1】

【0057】

なお、例えば各々の撮像イメージについて抽出部８が抽出する極大値の個数Ｎおよび極小値の個数ｎが等しい場合などに、抽出部８は、抽出した複数の極大値の少なくともいずれかから複数の極小値の少なくともいずれかを差し引いた後に、平均値を算出してもよい。抽出部８は、次の式（２）に示されるように、再近傍の極大値および極小値の組合せについての輝度の差を積算して平均をとることで照射光による輝度成分ｖを抽出してもよい。ここで、最近傍の極大値および極小値の組合せは、例えば走査方向に隣接する極大値および極小値の組合せなどである。

【0058】

【数2】

【0059】

あるいは、抽出部８は、各々の極大値の輝度から、その両隣の極小値の輝度の平均値を差し引いた値を算出してもよい。抽出部８は、ここで算出した値の対象領域の全体にわたる平均値を照射光による輝度成分としてもよい。

【0060】

以上に説明したように、実施の形態２に係る生体情報取得装置４および状態監視装置１において、抽出部８は、各々の撮像イメージについて、開始端から終了端までの走査方向に関する輝度の空間分布において複数の極大値および複数の極小値を抽出する。抽出部８は、複数の極大値の平均値を明部の輝度成分とし、複数の極小値の平均値を暗部の輝度成分として抽出を行う。抽出部８は、明部の輝度成分から暗部の輝度成分を差し引くことで照射光による輝度成分を抽出する。あるいは、抽出部８は、各々の極大値を明部の輝度成分とし、各々の極小値を暗部の輝度成分として抽出を行ってもよい。このとき、抽出部８は、極大値および極小値の組合せのうち最近傍の組合せについての輝度の差の平均をとることで、照射光による輝度成分を抽出する。

【0061】

このような構成により、輝度の空間分布に基づいて、抽出部８による輝度成分の抽出がより容易に行われる。

【0062】

実施の形態３．
実施の形態３において、実施の形態１および実施の形態２で開示される例と相違する点について特に詳しく説明する。実施の形態１または実施の形態２で説明しない特徴については、実施の形態１または実施の形態２で開示される例のいずれの特徴が採用されてもよい。

【0063】

図８は、実施の形態３に係る状態監視装置１の構成図である。

【0064】

ドライバー監視装置などの状態監視装置１において、光学レンズ５は、対象者の顔に向けて配置される。

【0065】

照射装置７は、空間変調部１３を備える。空間変調部１３は、照射光を空間的に変調させる部分である。空間変調部１３は、フォトマスク１４と、投影レンズ１５と、を備える。フォトマスク１４において、照射光の空間変調のパターンが予め適用されている。フォトマスク１４のパターンは、例えば発光素子１０が発する光の透過領域および不透過領域が等間隔で交互に現れる縞模様のパターンである。フォトマスク１４は、例えば縞模様の各々の線が固体撮像素子６の走査方向に垂直に並ぶように配置される。この例において、照射光の時間的な変調によって各々の撮像イメージに横縞模様が現れるので、フォトマスク１４は照射光が縦縞模様の空間変調となるように配置される。投影レンズ１５は、フォトマスク１４によって空間的に変調された光を対象者に投影するレンズである。

【0066】

状態監視装置１は、分離部１６と、配置検出部１７と、方向検出部１８と、開度検出部１９と、を備える。分離部１６は、撮影時間の間に取得された各々の撮像イメージを第１イメージおよび第２イメージに分離する部分である。第１イメージは、撮像イメージから照射装置７による照射光の時間的な変調の影響を除いたイメージである。第２イメージは、撮像イメージから空間変調部１３による照射光の空間的な変調の影響を除いたイメージである。配置検出部１７は、分離部１６が分離した第１イメージに基づいて、対象者の顔の立体配置を検出する部分である。顔の立体配置は、立体空間における顔表面の位置、および形状などの情報を含む。方向検出部１８は、対象者の顔の立体配置に基づいて対象者の顔全体の向きを検出する部分である。開度検出部１９は、対象者の顔の立体配置に基づいて対象者の目の開度を検出する部分である。目の開度は、対象者の目が開いている程度を表す量である。分離部１６、配置検出部１７、方向検出部１８、および開度検出部１９は、情報処理装置２に搭載される。

【0067】

図９は、実施の形態３に係る状態監視装置１による状態の取得の例を示す図である。
状態監視装置１は、例えば次のように対象者の状態を取得する。

【0068】

各々の撮像イメージにおいて、照射光の時間的な変調による横縞と、空間的な変調による縦縞とを組み合わせた格子模様が表れている。固体撮像素子６が取得した各々の撮像イメージは、分離部１６に入力される。

【0069】

分離部１６は、入力された撮像イメージを例えば次のように第１イメージおよび第２イメージに分離する。分離部１６は、入力された撮像イメージについて２次元フーリエ変換を行う。分離部１６は、２次元フーリエ変換を行ったイメージを縦変調除去フィルタに通す。縦変調除去フィルタは、明部および暗部の繰り返し周期に対応する縦方向の周波数成分を除去するフィルタである。分離部１６は、縦変調除去フィルタを通したイメージについて２次元逆フーリエ変換を行う。これにより、分離部１６は、照射光の時間的な変調の影響が除かれた第１イメージを得る。また、分離部１６は、２次元フーリエ変換を行ったイメージを横変調除去フィルタに通す。縦変調除去フィルタは、空間変調部１３のパターンに対応する横方向の周波数成分を除去するフィルタである。分離部１６は、横変調除去フィルタを通したイメージについて２次元逆フーリエ変換を行う。これにより、分離部１６は、照射光の空間的な変調の影響が除かれた第２イメージを得る。

【0070】

配置検出部１７は、分離部１６が分離した第１イメージに基づいて、対象者の顔の立体配置を検出する。配置検出部１７は、パターン光投影法などのアクティブステレオ法、またはモアレトポグラフィなどの手法によって対象者の顔に投影されたパターンの変形から立体配置を検出する。配置検出部１７は、例えば対象者の顔の表面を複数の表面要素として検出する。配置検出部１７は、例えば各々の表面要素の立体空間における位置、形状、および向きとして、対象者の顔の立体配置を検出する。

【0071】

方向検出部１８は、検出された立体配置に基づいて、対象者の顔の方向を検出する。状態取得部３は、検出された対象者の顔の方向に基づいて、対象者の状態を取得する。状態取得部３が取得する対象者の状態は、例えばよそ見の有無などを含む。状態取得部３は、例えば対象者の顔の方向が前方を向いていないときに、対象者がよそ見をしていると判定してもよい。

【0072】

開度検出部１９は、検出された立体配置に基づいて、対象者の目の開度を検出する。状態取得部３は、検出された対象者の目の開度に基づいて、対象者の状態を取得する。状態取得部３が取得する対象者の状態は、例えば眠気の強さなどを含む。状態取得部３は、例えば対象者の目の開度が低くなるときに、対象者の眠気が強くなったと判定する。状態取得部３は、例えば目の開度に基づいて対象者の瞬きの状態を判定してもよい。状態取得部３は、例えば瞬きの速度が遅くなるときに、対象者の眠気が強くなったと判定する。

【0073】

抽出部８は、分離部１６が分離した第２イメージから、照射光による輝度成分を抽出する。脈波検出部９は、抽出部８が抽出した照射光による輝度成分から、対象者の脈波を検出する。状態取得部３は、検出された脈波に基づいて、対象者の状態を取得する。

【0074】

図１０は、実施の形態３に係る方向検出部１８による顔の方向の検出の例を示す図である。
方向検出部１８は、例えば次のように顔の方向を検出する。

【0075】

方向検出部１８は、顔の立体配置として位置などが検出された各々の表面要素について、法線ベクトルを取得する。法線ベクトルの向きは、表面要素の法線方向である。法線ベクトルの大きさは、例えば表面要素の面積に対応する。方向検出部１８は、各々の表面要素の法線ベクトルの総和を合成ベクトルとして算出する。方向検出部１８は、合成ベクトルの方向を対象者の顔の方向として検出する。

【0076】

図１１は、実施の形態３に係る開度検出部１９による目の開度の検出の例を示す図である。
開度検出部１９は、例えば次のように目の開度を検出する。

【0077】

開度検出部１９は、顔の立体配置に基づいて、目、鼻、および口などのランドマークを検出する。開度検出部１９は、検出されたランドマークに基づいて、撮像イメージにおける対象者の目の位置および向きなどを判定する。開度検出部１９は、判定した目の位置および向きなどを用いて、対象者の目の開度を検出する。

【0078】

以上に説明したように、実施の形態３に係る状態監視装置１において、光学レンズ５は、対象者の顔に向けて配置される。照射装置７は、空間変調部１３を備える。空間変調部１３は、予め設定されたパターンによって空間的に照射光を変調させる。情報処理装置２は、分離部１６と、配置検出部１７と、を備える。分離部１６は、各々の撮像イメージについて、照射光の時間的な変調の影響を除いた第１イメージ、および照射光の空間的な変調の影響を除いた第２イメージを生成する。配置検出部１７は、分離部１６が生成した第１イメージにおけるパターンの変形に基づいて、対象者の顔の立体配置を検出する。抽出部８は、分離部１６が生成した第２イメージから照射光による輝度成分を抽出する。

【0079】

このような構成により、状態監視装置１は、脈波に加え対象者の顔の立体配置の情報を同時に取得する。これにより、より詳細な対象者の状態の監視ができるようになる。

【0080】

また、情報処理装置２は、方向検出部１８を備える。方向検出部１８は、配置検出部１７が検出した立体配置に基づいて、対象者の顔の方向を検出する。状態取得部３は、方向検出部１８が検出した顔の方向を対象者の状態として取得する。

【0081】

このような構成により、非接触で検出された立体配置に基づいて対象者の顔の向きが検出される。このため、より高い精度で対象者の状態の監視ができるようになる。

【0082】

また、情報処理装置２は、開度検出部１９を備える。開度検出部１９は、配置検出部１７が検出した立体配置に基づいて、対象者の目の開度を検出する。状態取得部３は、開度検出部１９が検出した目の開度を対象者の状態として取得する。

【0083】

このような構成により、非接触で検出された顔の立体配置に基づいて、対象者の目の開度が検出される。このため、対象者の顔の向きが動く場合などにおいても、より高い精度で対象者の状態の監視ができるようになる。

【符号の説明】

【0084】

１ 状態監視装置、 ２ 情報処理装置、 ３ 状態取得部、 ４ 生体情報取得装置、 ５ 光学レンズ、 ６ 固体撮像素子、 ７ 照射装置、 ８ 抽出部、 ９ 脈波検出部、 １０ 発光素子、 １１ 発振器、 １２ 駆動回路、 １３ 空間変調部、 １４ フォトマスク、 １５ 投影レンズ、 １６ 分離部、 １７ 配置検出部、 １８ 方向検出部、 １９ 開度検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】