特開 2022-179438 非接触型状態検出装置及び非接触型状態検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179438

(43)【公開日】2022-12-02

(54)【発明の名称】非接触型状態検出装置及び非接触型状態検出プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20221125BHJP

   A61B 5/113 20060101ALI20221125BHJP

   A61B 5/02 20060101ALI20221125BHJP

   A61B 5/01 20060101ALI20221125BHJP

   G06T 7/20 20170101ALI20221125BHJP

   A61B 5/11 20060101ALI20221125BHJP

【ＦＩ】

A61B5/16 110

A61B5/16 120

A61B5/113

A61B5/02 G

A61B5/02 310B

A61B5/01 350

G06T7/20 300Z

A61B5/11 120

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022082273

(22)【出願日】2022-05-19

(31)【優先権主張番号】P 2021084812

(32)【優先日】2021-05-19

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】515020533

【氏名又は名称】カミエンス・テクノロジー株式会社

(71)【出願人】

【識別番号】519157705

【氏名又は名称】Ｚｅｒｏ Ｔｏ Ｉｎｆｉｎｉｔｙ株式会社

(74)【代理人】

【識別番号】100099634

【弁理士】

【氏名又は名称】平井 安雄

(72)【発明者】

【氏名】川瀬 英路

(72)【発明者】

【氏名】佐川 亜希

【テーマコード（参考）】

4C017

4C038

4C117

5L096

【Ｆターム（参考）】

4C017AA02

4C017AA09

4C017AA14

4C017AA16

4C017AB07

4C017AC26

4C017BC11

4C017BC21

4C038VA04

4C038VB03

4C038VB33

4C038VB40

4C038VC05

4C117XA01

4C117XB01

4C117XB18

4C117XD04

4C117XD10

4C117XE13

4C117XE14

4C117XE23

4C117XE26

4C117XE30

4C117XE43

4C117XE48

5L096CA04

5L096CA18

5L096FA09

5L096FA69

5L096GA08

(57)【要約】

【課題】対象者の生体情報を非接触で撮像した動画情報から取得し、当該対象者の状態を推定することで、遠隔地に居るの対象者の健康状態や心理状態を画面越しに把握して容易に管理することが可能となる非接触型状態検出装置を提供する。
【解決手段】対象者１１が撮像された動画情報から生体情報を測定するための測定領域を特定する測定領域抽出部３２と、測定領域の肌領域において、前記動画情報のフレーム間の輝度値の変化に基づいて前記対象者１１の脈波を検出する検出部３４と、検出部３４の検出結果に基づいて対象者１１の状態を推定する状態推定部３５とを備える。また必要に応じて、動画情報のフレーム間で検出される肩部領域の上下位置の変化に基づいて対象者１１の呼吸を検出したり、顔領域において、動画情報のフレーム間で検出される所定の特徴点の変化に基づいて対象者１１の表情の変化を検出する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象者が撮像された動画情報から生体情報を測定するための測定領域を特定する測定領域特定手段と、
前記測定領域の肌領域において、前記動画情報のフレーム間の輝度値の変化に基づいて前記対象者の脈波を検出する検出手段と、
前記検出手段の検出結果に基づいて前記対象者の状態を推定する状態推定手段とを備えることを特徴とする非接触型状態検出装置。

【請求項2】

請求項１に記載の非接触型状態検出装置において、
前記検出手段が、前記測定領域の肩部領域において、前記動画情報のフレーム間で検出される前記肩部領域の上下位置の変化に基づいて前記対象者の呼吸を検出する非接触型状態検出装置。

【請求項3】

請求項１又は２に記載の非接触型状態検出装置において、
前記検出手段が、前記測定領域の顔領域において、前記動画情報のフレーム間で検出される所定の特徴点の変化に基づいて前記対象者の表情の変化を検出する非接触型状態検出装置。

【請求項4】

請求項１又は２に記載の非接触型状態検出装置において、
前記検出手段がフレーム間における微細な変化をベクトル増幅により拡張して前記変化を検出する非接触型状態検出装置。

【請求項5】

請求項１又は２に記載の非接触型状態検出装置において、
状態に応じた適正な動作の情報を記憶する動作情報記憶手段と、
前記状態推定手段が推定した状態に応じた適正な動作情報を前記動作情報記憶手段から抽出する動作情報抽出手段と、
抽出した前記動作情報をディスプレイに表示する表示制御手段とを備える非接触型状態検出装置。

【請求項6】

請求項５に記載の非接触型状態検出装置において、
前記動作情報記憶手段に記憶された前記動作の情報が、前記対象者の副交感神経を優位にするための副交感神経優位動作情報と、前記対象者の交感神経を優位にするための交感神経優位動作情報とに区分されている非接触型状態検出装置。

【請求項7】

請求項５に記載の非接触型状態検出装置において、
前記動作情報記憶手段に記憶された前記動作の情報が、長期的な状態に対して適正な動作である長期動作情報と、短期的な状態に対して適正な動作である短期動作情報とに区分されている非接触型状態検出装置。

【請求項8】

請求項１又は２に記載の非接触型状態検出装置において、
サーマルセンサで撮像された前記対象者の温度情報を取得する温度情報取得手段と、
前記温度情報に基づいて前記対象者の体温領域を抽出する体温領域抽出手段とを備え、
前記測定領域特定手段が、前記体温領域抽出手段で抽出された体温領域を前記動画情報に重ねて前記測定領域を特定することを特徴とする非接触型状態検出装置。

【請求項9】

対象者が撮像された動画情報から生体情報を測定するための測定領域を特定する測定領域特定手段、
前記測定領域の肌領域において、前記動画情報のフレーム間の輝度値の変化に基づいて前記対象者の脈波を検出する検出手段、
前記検出手段の検出結果に基づいて前記対象者の状態を推定する状態推定手段としてコンピュータを機能させることを特徴とする非接触型状態検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、非接触で生体情報を検出する非接触型状態検出装置に関し、特に取得した生体情報から対象者の状態を推定する非接触型状態検出装置に関する。

【背景技術】

【0002】

対象者から取得される生体情報等に基づいて当該対象者のストレスや感情などの状態を推定する技術が知られている。特許文献１に示す技術は、被測定人が健常な状態であるときに、ストレスを印加する前とストレスを印加した状態で被測定人をカメラで撮影し、撮影された被測定人の身体の画像データから特徴点を抽出し、これらの特徴点の座標を標準データベースに格納し、標準データベースに格納された被測定人の健常な状態であるときの特徴点の座標と測定時の特徴点の座標の差をベクトルで表し、このベクトルから被測定人が被測定時に受けているストレスを評価するものである。

【0003】

また、特許文献２に示す技術は、入力インターフェースは、対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付け、プロセッサは、第一生体信号に対応する第一の値と第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の状態の量に対応する複数の状態値を含む第二データセットに変換し、ストレージは、当該複数の状態の各々に対応付けられた色を記憶し、表示装置は、第一生体信号に対応する第一座標軸と第二生体信号に対応する第二座標軸により形成される座標平面を表示し、プロセッサは、第一データセットにより定まる座標平面上の位置に標識を表示させるとともに、前記複数の状態値のうち最大値を有する一つに対応付けられた色を表示装置に表示させるものである。

【0004】

一方、人間の視覚では捉えられないような微細は変化を動画データを使って拡張し、視覚化する技術が知られている。これらの技術では、血流変化による僅かな肌の色変化を拡張することで脈拍を視覚化したり、クレーンの微細な振動を拡張することでクレーンの振動状態を視覚化することが可能となっている（非特許文献１を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１７６７６２号公報

【特許文献2】特開２０２０－１８５１３８号公報

【非特許文献】

【0006】

【非特許文献1】マサチューセッツ工科大学、“Video Magnification”、[online]、２０１５年６月最終更新、[２０２１年２月１２日検索]、インターネット＜URL: http://people.csail.mit.edu/mrub/vidmag/＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に示す技術は、ストレスを印加する前と印加した状態で所定の特徴点を抽出し、その座標ベクトルからストレスを評価するものであるが、ストレス印加の前後のデータを予め大量に収集しなければならず、手間が掛かってしまうという問題がある。

【0008】

また、指や心臓近くの胸から心拍を取得することが記載されているが、その場合心拍を取得するのに接触型のセンサが必要になってしまう。例えば、精神的な障碍を持つ対象者の中には体にセンサが接触するのを極端に嫌がる人などがおり、接触型のセンサを使用せずに生体情報を取得することが望まれる状況において、特許文献１に示す技術を利用するのが難しくなってしまうという課題を有する。

【0009】

特許文献２に示す技術は、脈拍と脳波から状態を推定する技術であるが、脈拍や脳波を取得するのにセンサを体に付ける必要があり、上記と同様の理由で適用が難しい場合があり得るという課題を有する。

【0010】

非特許文献１に示す技術は、非接触状態でカメラ撮影することで脈拍の視覚化などを実現しているものの、その対象者の感情やストレスなどの状態について判定できるようなものではない。

【0011】

本発明は、対象者の生体情報を非接触で撮像した動画情報から取得し、当該対象者の状態を推定することで、遠隔地に居るの対象者の健康状態や心理状態を画面越しに把握して容易に管理することが可能となる非接触型状態検出装置を提供する。

【課題を解決するための手段】

【0012】

本発明に係る非接触型状態検出装置は、対象者が撮像された動画情報から生体情報を測定するための測定領域を特定する測定領域特定手段と、前記測定領域の肌領域において、前記動画情報のフレーム間の輝度値の変化に基づいて前記対象者の脈波を検出する検出手段と、前記検出手段の検出結果に基づいて前記対象者の状態を推定する状態推定手段とを備えるものである。

【0013】

このように、本発明に係る非接触型状態検出装置においては、対象者が撮像された動画情報から生体情報を測定するための測定領域を特定し、当該測定領域の肌領域において、動画情報のフレーム間の輝度値の変化に基づいて対象者の脈波を検出し、検出結果に基づいて対象者の状態を推定するため、非接触でカメラ越しに撮像した動画情報を取得するだけで簡単に対象者の状態を推定することが可能となり、対象者の健康状態や心理状態を把握することができるという効果を奏する。

【0014】

本発明に係る非接触型状態検出装置は、前記検出手段が、前記測定領域の肩部領域において、前記動画情報のフレーム間で検出される前記肩部領域の上下位置の変化に基づいて前記対象者の呼吸を検出するものである。

【0015】

このように、本発明に係る非接触型状態検出装置においては、測定領域の肩部領域において、動画情報のフレーム間で検出される肩部領域の上下位置の変化に基づいて対象者の呼吸を検出するため、脈波と呼吸の情報から対象者の状態をより正確に推定することが可能になるという効果を奏する。

【0016】

また、状態の変化に対する脈波の変化と状態の変化に対する呼吸の変化には相関性があることから、仮に脈波の情報を取得できない状態が生じた場合であっても呼吸で補完することができるという効果を奏する。

【0017】

本発明に係る非接触型状態検出装置は、前記検出手段が、前記測定領域の顔領域において、前記動画情報のフレーム間で検出される所定の特徴点の変化に基づいて前記対象者の表情の変化を検出するものである。

【0018】

このように、本発明に係る非接触型状態検出装置においては、測定領域の顔領域において、前記動画情報のフレーム間で検出される所定の特徴点の変化に基づいて前記対象者の表情の変化を検出するため、脈波と表情の変化の情報から対象者の状態をより正確に推定することが可能になるという効果を奏する。

【0019】

本発明に係る非接触型状態検出装置は、前記検出手段がフレーム間における微細な変化をベクトル増幅により拡張して前記変化を検出するものである。

【0020】

このように、本発明に係る非接触型状態検出装置においては、前記検出手段がフレーム間における微細な変化をベクトル増幅により拡張して前記変化を検出するため、血流による肌領域の微細な変化、呼吸による肩領域の微細な上下振動、表情の微細な変化等を拡張して明確な変化として捉えることができるという効果を奏する。

【0021】

本発明に係る非接触型状態検出装置は、状態に応じた適正な動作の情報を記憶する動作情報記憶手段と、前記状態推定手段が推定した状態に応じた適正な動作情報を前記動作情報記憶手段から抽出する動作情報抽出手段と、抽出した前記動作情報をディスプレイに表示する表示制御手段とを備えるものである。

【0022】

このように、本発明に係る非接触型状態検出装置においては、状態に応じた適正な動作の情報を記憶する動作情報記憶手段と、状態推定手段が推定した状態に応じた適正な動作情報を前記動作情報記憶手段から抽出する動作情報抽出手段と、抽出した前記動作情報をディスプレイに表示する表示制御手段とを備えるため、推定された対象者の状態に応じたバイオフィードバックが可能になり、対象者の精神状態を安定することができるという効果を奏する。

【0023】

本発明に係る非接触型状態検出装置は、前記動作情報記憶手段に記憶された前記動作の情報が、前記対象者の副交感神経を優位にするための副交感神経優位動作情報と、前記対象者の交感神経を優位にするための交感神経優位動作情報とに区分されているものである。

【0024】

このように、本発明に係る非接触型状態検出装置においては、前記動作情報記憶手段に記憶された前記動作の情報が、前記対象者の副交感神経を優位にするための副交感神経優位動作情報と、前記対象者の交感神経を優位にするための交感神経優位動作情報とに区分されているため、例えば現在の状態から少し気持ちを興奮状態（交感神経優位の状態）に移行したい場合や気持ちを落ち着けたい場合（副交感神経優位の状態）などに、それぞれに適した動作情報が提示されることで、様々な局面に適応できるように対象者の気持ちを制御することが可能になるという効果を奏する。

【0025】

本発明に係る非接触型状態検出装置は、前記動作情報記憶手段に記憶された前記動作の情報が、長期的な状態に対して適正な動作である長期動作情報と、短期的な状態に対して適正な動作である短期動作情報とに区分されているものである。

【0026】

このように、本実施形態に係る非接触型状態検出装置においては、動作情報記憶手段に記憶された前記動作の情報が、長期的な状態に対して適正な動作である長期動作情報と、短期的な状態に対して適正な動作である短期動作情報とに区分されているため、例えば心身症のような長期的な対処が必要な状態に対する適した動作と、短期的に受けるような過度のストレスに対して適した対処動作とを区分して対応することで、より適正な対処が可能になるという効果を奏する。

【0027】

本発明に係る非接触型状態検出装置は、サーマルセンサで撮像された前記対象者の温度情報を取得する温度情報取得手段と、前記温度情報に基づいて前記対象者の顔領域を抽出する顔抽出手段とを備え、前記測定領域特定手段が、前記顔抽出手段で抽出された顔領域を前記動画情報に重ねて前記測定領域を特定するものである。

【0028】

このように、本実施形態に係る非接触型状態検出装置においては、サーマルセンサで撮像された前記対象者の温度情報を取得する温度情報取得手段と、前記温度情報に基づいて前記対象者の顔領域を抽出する顔抽出手段とを備え、前記測定領域特定手段が、前記顔抽出手段で抽出された顔領域を前記動画情報に重ねて前記測定領域を特定するため、対象者の顔領域を（例えばＡＩを用いたような）画像認識等の複雑な処理を行うことなく、温度分布から容易に抽出して処理を軽くすることができるという効果を奏する。

【図面の簡単な説明】

【0029】

【図1】第１の実施形態に係る非接触型状態検出装置を用いた非接触型状態検出システムのシステム構成図である。

【図2】第１の実施形態に係る状態検出装置の構成を示す機能ブロック図である。

【図3】第１の実施形態に係る状態検出装置において脈波を検出する場合の処理を示すイメージ図である。

【図4】第１の実施形態に係る状態検出装置において呼吸情報を検出する場合の処理を示すイメージ図である。

【図5】第１の実施形態に係る状態検出装置においてベクトル拡張した場合の動画像の一例を示す第１の図である。

【図6】第１の実施形態に係る状態検出装置においてベクトル拡張した場合の動画像の一例を示す第２の図である。

【図7】第１の実施形態に係る状態検出装置においてベクトル拡張した場合の動画像の一例を示す第３の図である。

【図8】第１の実施形態に係る状態検出装置の推定処理におけるローレンツプロットの一例を示す図である。

【図9】第１の実施形態に係る状態検出装置の処理を示すフローチャートである。

【図10】第２の実施形態に係る状態検出装置の構成を示す機能ブロック図である。

【図11】第２の実施形態に係る状態検出装置の処理を示すフローチャートである。

【図12】第３の実施形態に係る状態検出装置におけるセンサ部の構成を示す図である。

【図13】第３の実施形態に係る状態検出装置においてサーマルセンサを用いて測定領域を特定する処理を示す図である。

【図14】第４の実施形態に係る状態検出装置を職場において使用した場合の処理概要を示す図である。

【図15】第４の実施形態に係る状態検出装置を教育現場において使用した場合の処理概要を示す図である。

【図16】図１４又は図１５で処理を行った場合に管理者端末に表示される画面の一例を示す図である。

【発明を実施するための形態】

【0030】

（本発明の第１の実施形態）
本実施形態に係る非接触型状態検出装置について図１ないし図９を用いて説明する。本実施形態に係る非接触型状態検出装置は、対象者の生体情報を非接触で検出し、検出された生体情報から対象者の状態を推定して管理するものである。

【0031】

図１は、本実施形態に係る非接触型状態検出装置を用いた非接触型状態検出システムのシステム構成図である。非接触型状態検出システム１は、対象者１１を撮像するカメラ１２と、対象者１１がインターネットなどの電気通信回線を通じて対話している相手、又はカメラ１２で撮像された対象者１１自身の撮像情報を表示するディスプレイ１３とを少なくとも有する対象者端末１０を備える。

【0032】

また、非接触型状態検出システム１は、システム全体を管理する管理者２１を撮像するカメラ２２と、インターネットなどの電気通信回線を通じて対話している対象者１１の撮像情報を表示するディスプレイ２３とを少なくとも有する管理者端末２０を備える。

【0033】

さらに、非接触型状態検出システム１は、対象者端末１０のカメラ１２で撮像された対象者１１の撮像情報を受信し、受信した撮像情報を用いて対象者１１の状態推定処理を行ったり、その処理結果等を含む様々な情報を各対象者端末１０や管理者端末２０に送信する処理等を行う非接触型状態検出装置３０（以下、省略して状態検出装置３０という）を備える。

【0034】

なお、図１における管理者端末２０は必須の構成ではなく、対象者１１は必ずしも管理者２１とディスプレイ１３越しに対話を行う必要はないが、ここでは一例として、管理者２１との対話をしながら対象者１１の生体情報を取得したり、状態を推定する場合を前提として説明する。

【0035】

対象者１１と管理者２１とが１対１で対話しながら、対象者端末１０のカメラ１２が対象者１１の動画像を撮像し、撮像された動画像の情報が状態検出装置３０に送信される。状態検出装置３０では、対象者端末１０から送信された動画像の情報から対象者１１の生体情報が検出される。動画像情報から生体情報を検出する処理については、詳細を後述する。

【0036】

状態検出装置３０は、検出された生体情報から対象者１１の状態を推定する。対象者１１の状態とは、例えばストレス過多の状態、リラックス状態、不安な状態、興奮状態等のような精神的な要素を含む状態である。これらの状態は、対象者１１の健康状態として日々管理され、健康管理に利用される。

【0037】

管理者２１と対象者１１とが対話可能である場合は、管理者端末２０に対話相手となっている対象者１１の生体情報や状態に関する情報が状態検出装置３０から送信され、それらの情報がディスプレイ２３に表示可能となっている。管理者２１は、ディスプレイ２３に表示されている対象者１１の生体情報や精神的な状態等を参照しながら対象者１１と対話を行うことが可能となっている。

【0038】

なお、管理者２１と対象者１１の関係は、例えば上司と部下、先生と生徒、使用者と労働者、主催者と参加者等が該当し、部下、生徒、労働者、参加者等の健康管理（特に精神的な部分の健康管理）を面談しながら日々管理することが可能となっている。特に、テレワークなどの電気通信回線を利用した遠隔でのコミュニケーションが拡大しており、対象者１１をカメラで撮像する機会が増えることで、本実施形態に係る非接触型状態検出装置の利用頻度も高まり、対象者１１の健康管理を容易に行うことが可能となる。

【0039】

また、上記以外にも例えば、電気通信回線を通じて行う就職のための面接、お見合いなどでも適用することができ、相手の気持ちが感情を図りながら対応することが可能となる。

【0040】

図２は、本実施形態に係る状態検出装置３０の構成を示す機能ブロック図である。状態検出装置３０は、対象者端末１０のカメラ１２で撮像された対象者１１の動画像情報を受信する入力部３１と、対象者１１の生体情報を測定するために必要な領域に関する情報、生体情報の検出に必要な情報、及び／又は推定演算に必要なパラメータなどの基本情報が記憶されている基本情報記憶部３３の情報に基づいて、入力された対象者１１の動画像情報から生体情報を測定するのに必要な測定領域を抽出する測定領域抽出部３２と、抽出された測定領域の動画像情報のフレーム間の変化から対象者１１の生体情報を検出する検出部３４と、検出された生体情報に基づいて対象者１１の状態を推定する状態推定部３５と、推定された対象者１１の状態や生体情報を記憶する状態情報記憶部３６と、対象者１１の状態や生体情報を対象者端末１０や管理者端末２０に出力する出力制御部３７とを備える。

【0041】

本実施形態においては非接触で検出可能な生体情報として、例えば脈波、呼吸数、表情、体温等があり、これらの少なくとも１つ以上の情報が動画像情報から検出される。検出する生体情報に応じて動画像情報から抽出する測定領域が設定されており、それらの情報は基本情報記憶部３３に記憶されている。測定領域抽出部３２は、検出する生体情報の種別に応じて、抽出対象となる測定領域を基本情報記憶部３３の情報に基づいて抽出する。

【0042】

具体的には、例えば脈波の情報を検出する場合は、血流により生じる皮膚表面の微小な輝度値の変化を捉える必要があるため、少なくとも肌領域を測定領域として抽出する必要があり、一般的にはカメラ１２で撮像した場合に、肌が露出している可能性が高い対象者１１の顔領域が抽出される。なお、顔の中でも特に肌を抽出しやすいのが頬やおでこの領域であるが、頬の場合はマスクなどをしていると肌領域の抽出が難しかったり、おでこの場合は前髪などで肌領域の抽出が難しい場合があるため、両方の領域を抽出しておいていずれかの箇所又は双方の箇所で肌領域を抽出するのが望ましい。

【0043】

また、呼吸数を検出する場合は、肩の上下微振動を捉える必要があるため、対象者１１の肩領域が測定領域として抽出される。表情を検出する場合は、顔領域が測定領域として抽出される。体温を検出する場合は、肌領域が測定領域として抽出される。なお、体温については、通常のカメラではなく体表面の温度が測定可能なサーマルセンサを用いる必要がある。

【0044】

上記のことから、脈波、呼吸数、表情、体温等を検出するための測定領域としては、肩から上の領域が抽出できれば十分であり、対象者１１の全身や背面などを撮像する必要がなく、カメラ１２すなわち対象者端末１０の前に座っておくだけで上記生体情報を検出することが可能となる。

【0045】

検出部３４は、測定領域抽出部３２が抽出した測定領域における動画像のフレーム間の変化から上記生体情報を抽出する。図３は、脈波を検出する場合の処理を示すイメージ図である。ここでは、図３（Ａ）に示すような動画像情報における各フレームから図３（Ｂ）に示すような測定領域（ここでは、肌領域における頬の部分）を抽出して輝度値を取得し、図３（Ｃ）に示すように輝度値の変化から脈波の波形を検出するまでの処理を示している。図３に示すように、輝度値の変化を捉えることで単に脈拍数を検出するだけではなく、図３（Ｃ）に示すような波形として脈波の情報（ピーク間隔、脈の強弱等）を検出することが可能となる。このような脈波情報は、次段の状態推定部３５で利用されると共に、状態情報記憶部３６に記憶されて健康管理する際の情報として活用される。

【0046】

また、検出部３４は、必要に応じて呼吸数を検出する。図４は、呼吸情報を検出する場合の処理を示すイメージ図である。呼吸数については上述したように、対象者１１の呼吸に応じて上下に微振動する肩領域の動きの変化を捉えて検出する。図４（Ａ）が動画像情報を示し、図４（Ｂ）が測定領域である肩領域の上下移動の変化を検出している処理を示し、図４（Ｃ）が肩領域の上下移動の変化から呼吸の波形を検出する処理を示している。ここでも単に呼吸数だけでなく、図４に示すような呼吸の間隔（普通の呼吸／深呼吸／荒い呼吸等）や強弱を波形として検出することが可能である。このような呼吸情報は、次段の状態推定部３５で利用することが可能であると共に、状態情報記憶部３６に記憶されて健康管理する際の情報として活用するようにしてもよい。

【0047】

さらに、検出部３４は、必要に応じて表情を検出する。表情の検出については、例えば目じりの上下変化や口元の上下左右の変化などに応じて検出することが可能であり、一般的に知られている表情検出の技術を使うことができる。体温についても、一般的に知られている赤外線を用いたサーマルセンサで対象者１１を撮像することで検出することが可能である。このような表情や体温の情報は、次段の状態推定部３５で利用することができると共に、状態情報記憶部３６に記憶されて健康管理する際の情報として活用するようにしてもよい。

【0048】

なお、検出部３４は、ベクトル拡張の技術を用いて生体情報をより確実に検出できるようにしてもよい。図５ないし図７は、ベクトル拡張した場合の動画像の一例を示す図である。図５は肌領域の輝度値の変化を拡張したもの、図６は肩領域の上下移動の変化を拡張したもの、図７は表情の変化を拡張したものの一例であり、各図の（Ａ）はベクトル増幅しない場合の動画像、（Ｂ）はベクトル増幅した場合の動画像を示している。

【0049】

図５の場合は、動画像情報におけるフレーム間の輝度値の変化を拡張して色の変化の度合いを大きくすることで、ベクトル増幅しない場合は認識不可能な脈拍による皮膚表面の微細な色変化を認識可能な状態で表示することができる。図６の場合は、動画像情報におけるフレーム間の肩領域の上下移動の変化を拡張して大きくすることで、ベクトル増幅しない場合はほぼ認識不可能な呼吸による肩領域の上下振動を認識可能な状態で表示することができる。図７の場合は、動画像情報におけるフレーム間の表情の変化を拡張することで、僅かな表情の変化であっても誇張した表情変化にすることができる。なお、図５ないし図７では、対象者１１における実際の変化に対してベクトル増幅をしない場合とベクトル増幅をした場合とを比較してどのように誇張されるかのイメージを一例として示したものであり、ベクトル増幅による誇張のさせ方は適宜設定できるものとする。

【0050】

図７の表情の変化については、特に知的障碍者などに見られる感情に応じて表情がほとんど変化しないような対象者１１に対しては、変化が誇張されることで感情を推定しやすくなる。さらに、動画像における変化が誇張されることで、図５ないし図７に示すように視認により容易に生体情報の変化を確認することが可能となる。

【0051】

状態推定部３５は、検出部３４が検出した生体情報から対象者１１の状態を推定する。例えば、検出された脈波の情報からローレンツプロットにより自律神経系の分析を行う。より具体的には、例えば図８に示すように、ローレンツプロットからＬ（長軸長）／Ｔ（短軸長）の値を算出し、このＬ／Ｔに応じた感情を判定する。なお、図８（Ｂ）に示すＬ／Ｔと対象者１１の状態との関係を示す表は、管理者２１等が任意に設定可能であり、基本情報記憶部３３に格納されている。ここでは、苛立ち状態、緊張状態、安心状態、リラックス状態を判定するように設定されている。これ以外にも、例えば交感神経優位／副交感神経優位の判定、集中状態／注意散漫状態の判定等を行うことができる。推定された対象者１１の状態に関する情報は、状態情報記憶部３６に記憶され、健康管理する際の情報として活用することができる。

【0052】

呼吸に関する情報が検出されている場合は、呼吸情報を用いたローレンツプロットを作成して対象者１１の状態を推定してもよいし、脈波が検出できないような場合に呼吸情報を使ってローレンツプロットを作成するようにしてもよい。また、脈波の情報も呼吸の情報も双方とも検出できている場合は、予め設定された優先順位に従って一方の情報のみを使用してもよいし、図８（Ｂ）に示したような表をＬ／Ｔ（脈波）＋Ｌ／Ｔ（呼吸）について作成しておき、Ｌ／Ｔ（脈波）＋Ｌ／Ｔ（呼吸）と状態との関係を求めるようにしてもよい。

【0053】

さらに、表情に関する情報が検出されている場合は、その表情に応じた数値化を行うことで状態の推定を行うようにしてもよい。例えば、目尻の上げ下げ具合や口元の広がり具合に応じて笑顔や怒り顔の強さを数値化（例えば、怒った状態から喜び状態を－１０～１０で数値化）し、それを正規化して上記Ｌ／Ｔに反映することで、より正確に対象者１１の状態を推定することができる。体温についても同様に、高温であれば緊張状態、低温であればリラックス状態として数値化し、最終的には正規化して上記Ｌ／Ｔに反映することで、より正確に対象者１１の状態を推定することができる。

【0054】

なお、上記においては脈波、呼吸、表情及び体温等の情報を正規化して一つのパラメータとする場合について説明したが、それぞれの生体情報ごとに異なる指標に基づいた状態を推定するようにしてもよい。例えば、脈波と呼吸からは「緊張状態」～「リラックス状態」を推定し、表情からは「喜怒哀楽」を推定し、体温からは「興奮状態」～「通常状態」を推定することで、複数の指標で状態を推定してもよい。

【0055】

出力制御部３７は、検出部３４が検出した生体情報や状態推定部３５が推定した対象者１１の状態を対象者端末１０や管理者端末２０に送信する。対象者端末１０や管理者端末２０に送信された生体情報や状態情報は、それぞれの端末のディスプレイに表示されて対象者１１や管理者２１に参照される。

【0056】

管理者２１は、対象者１１とディスプレイ越しに遠隔で対話する際に対象者の生体情報や状態をリアルタイムに確認しながら対話を行うことができるため、そのときの対象者１１の状態に適した対応を行うことが可能となる。例えば、対象者１１が興奮状態にあると判断される場合には、できるだけゆっくり話し掛けながらリラックス状態に移行できるような対応が可能となる。また、対象者１１は、自身の生体情報や状態を確認することで、自分の状態を把握することができ、精神状態が安定するように意識した行動を取ることが可能になる。

【0057】

また、管理者２０は状態情報記憶部３６に記憶されている対象者１１の生体情報や状態情報を定期的（例えば、半年ごと、１年ごと）に確認することで、対象者１１の健康管理を行うことが可能となる。

【0058】

次に、状態検出装置の動作について説明する。図９は、本実施形態に係る状態検出装置の動作を示すフローチャートである。まず、対象者端末１０から送信される対象者１１を撮像した動画像情報を入力部３１が入力して取得する（Ｓ１）。測定領域抽出部３２が、取得した動画像情報から測定領域となる顔領域（特に肌領域）や肩領域を抽出する（Ｓ２）。検出部３４が、抽出した測定領域における動画像情報のフレーム間の変化やサーマルセンサから、脈波、呼吸、表情及び／又は体温等の生体情報を検出する（Ｓ３）。状態推定部３５が、検出された生体情報から対象者１１の状態を推定する（Ｓ４）。検出された生体情報や対象者１１の状態情報を管理者端末２０や対象者端末１０に出力（送信）して（Ｓ５）処理を終了する。

【0059】

このように、本実施形態に係る状態検出装置においては、対象者１１が撮像された動画像情報から生体情報を測定するための測定領域を特定し、当該測定領域の肌領域において、動画像情報のフレーム間の輝度値の変化に基づいて対象者１１の脈波を検出し、検出結果に基づいて対象者の状態を推定するため、非接触でカメラ越しに撮像した動画像情報を取得するだけで簡単に対象者１１の状態を推定することが可能となり、対象者１１の健康状態や心理状態を把握することができる。

【0060】

また、測定領域の肩部領域において、動画像情報のフレーム間で検出される肩部領域の上下位置の変化に基づいて対象者１１の呼吸を検出するため、脈波と呼吸の情報から対象者の状態をより正確に推定することが可能になる。さらに、対象者１１の状態の変化に対する脈波の変化と状態の変化に対する呼吸の変化にはある程度の相関性があることから、仮に脈波の情報を取得できない状態が生じた場合であっても呼吸で補完することができる。

【0061】

さらにまた、測定領域の顔領域において、前記動画像情報のフレーム間で検出される所定の特徴点の変化に基づいて前記対象者の表情の変化を検出するため、脈波と表情の変化の情報から対象者１１の状態をより正確に推定することが可能になる。

【0062】

さらにまた、検出部３４がフレーム間における微細な変化をベクトル増幅により拡張して前記変化を検出するため、血流による肌領域の微細な変化、呼吸による肩領域の微細な上下振動、表情の微細な変化等を誇張して明確な変化として捉えることができる。

【0063】

なお、脈波、呼吸、表情及び体温以外にも、例えば瞳孔の開き具合で自律神経の状態を検出することが可能である。この場合は、瞳の画像を抽出し、瞳孔の大きさを検出することで交感神経優位／副交感神経優位といった状態を推定することが可能となる。そして、上記と同様に、瞳孔の大きさ（日常における通常状態からの変化）に応じた数値化を行い、正規化して上記Ｌ／Ｔに反映するようにしてもよい。

【0064】

（本発明の第２の実施形態）
本実施形態に係る非接触型状態検出装置について図１０及び図１１を用いて説明する。本実施形態に係る非接触型状態検出装置は、生体情報に基づいて推定された対象者１１の状態に応じて、適正な対処法を抽出して対象者１１に提示するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。

【0065】

対象者１１には、例えば健常者、障碍者、子供、高齢者、病気の症状がある人、健康体の人、精神的な疾患を抱えた人、やる気がある人、やる気がない人、緊張しやすい人、落ち着いた人など様々な特徴の人がなり得る。この中でも、比較的状態が安定している人は、すぐに対処の必要はないが、状態が不安定な人は、できるだけ状態が安定するような感情や自律神経に移行できることが望ましい。また、現時点では特に精神的にも肉体的にも何ら症状がなくても、日頃から精神状態や自律神経を安定させることで、長く健康を維持することができる。本実施形態においては、精神状態や自律神経の状態を安定化させるための対処法を対象者１１に具体的に提示することで、精神状態や自律神経の状態の安定化を図るものである。

【0066】

図１０は、本実施形態に係る状態検出装置３０の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、対象者１１の状態に応じた対処方法に関する情報を記憶する対処情報記憶部８１と、状態推定部３５が推定した状態に応じて適正な対処法を対処情報記憶部８１から抽出する対処情報抽出部８２とを備えることである。

【0067】

対処情報記憶部８１に記憶されている対処情報には、対象者１１の状態に応じて交感神経を優位に移行するための動作を当該対象者１１に実行させるための交感神経優位動作情報と、副交感神経を優位に移行するための動作を当該対象者に実行させるための副交感神経優位動作情報とを有しており、対象者１１の状態に応じて適正な対処情報が抽出される。例えば、状態推定部３５が対象者１１が極めて興奮状態にありリラックスさせる必要がある場合（例えば、働き過ぎて緊張度が高まっている場合や人間関係でストレスを抱えているような場合）は、副交感神経優位動作情報が抽出され、逆に極めてリラックス状態にあり早急に緊張度を上げる必要がある場合（例えば、部屋に引きこもってリラックスし過ぎている場合）は、交感神経優位動作情報が抽出される。

【0068】

交感神経優位に移行するための動作としては、例えば呼吸数が必然的に早まる動作や発汗作用が高まる動作などがあり、具体的には、手、腕、足、胴体などに力を入れる（指をグーにする）、体操を行う、興奮しやすい映像を見る等が考えられる。一方、副交感神経優位に移行するための動作としては、例えば呼吸数を遅くしたりリラックス状態になる動作があり、具体的には、全身の力を抜く、指を開く（指をパーにする）、マッサージをする、読書をする、クラシックを聴く、深呼吸・腹式呼吸をする、ガムを噛む等が挙げられる。

【0069】

なお、一般的にはリラックス状態となる副交感神経優位に移行することが好ましいとされることが多いが、交感神経と副交感神経はどちらが優位になり過ぎても体調不良等を引き起こしてしまうため、バランス良く保たれることが望ましい。例えば、緊急事態宣言などが発令されたことにより外出が規制され、一日中家に滞在せざるを得ない状況が続いた場合には、気持ちは十分にリラックスしているものの体調不良を起こすことがある。つまり、上記のように交感神経優位動作情報と副交感神経優位動作情報と区分した上で、それぞれに適した対処情報が提示されることで、自律神経のバランスを保つことが可能となる。

【0070】

また、対処情報記憶部８１に記憶されている対処情報には、対象者１１の状態に応じて長期的に対処するための動作を当該対象者１１に実行させるための長期動作情報と、短期的に対処するための動作を当該対象者１１に実行させるための短期動作情報とを有しており、対象者１１の状態に応じて適正な対処情報が抽出される。例えば、状態推定部３５が対象者１１が長期的に対処する必要がある状態（例えば、ストレスなどの蓄積により心身症（鬱状態、頭痛、アトピー性皮膚炎、過敏性腸症候群等）が発症している状態等）だと推定した場合は、長期動作情報が抽出され、逆に短期的に対処する必要がある状態（例えば、上司に叱責されて頭に血が上っている、クレーム対応により極度に緊張している状態等）だと推定した場合は、短期動作情報が抽出される。

【0071】

長期動作としては、例えば日常生活において習慣的に行っている動作の中で、特に体調を整えるのに役に立つ動作があり、具体的には、体内時計に合わせた生活を送る（起床時間、就寝時間を固定する）、普段から水を飲む、姿勢を正す、笑顔で過ごす、就寝３時間前に夕食を摂る、適温でゆっくり湯舟に浸かる、部屋の片づけをする等が挙げられる。一方、短期的動作としては、例えばその場ですぐに実行することができ、場所や時間を多く取らない動作があり、上述した交感神経優位に移行するための動作及び副交感神経優位に移行するための動作以外にも、難解な問題を短時間で解く、簡単な問題をストレスなく解く、空を見上げる、興奮／リラックスする色を見る等が挙げられる。

【0072】

なお、長期動作及び短期動作のそれぞれを更に細分化して、交感神経を優位にする長期動作、副交感神経を優位にする長期動作、交感神経を優位にする短期動作、及び副交感神経を優位にする短期動作に区分してもよい。このように区分することで、対象者１１の状態により適合した対処情報を提示することが可能となる。

【0073】

対処情報記憶部８１には、上記のような交感神経を優位にする動作、副交感神経を優位にする動作、長期的に対処するための動作、短期的に対処するための動作を対象者１１に実行させるための情報が記憶されている。すなわち、例えば、力を入れたり抜いたりする動作を実行させたい場合は、文字又は音声でその旨をアナウンスすると共に、推奨される実行時間を提示する。また、興奮／リラックスする映像／音楽、グー／パーの映像や音声、笑顔を作るための動画や音声、適正な呼吸数に応じたカウンターの映像や音声、その他上述したような各動作に伴った映像や音声が記憶され、これらに基づいて上記動作に適した実行方法（真似る、視聴する、指示通りに動く／動かす等）が抽出される。

【0074】

対処情報抽出部８２で抽出された上記各対処情報は、出力制御部３７により対象者端末１０に送信され、ディスプレイ１３に表示される。対象者１１はディスプレイ１３に表示されている対処情報を参考にしながら、その動作を実際に実行する。例えば、「所定のリズムで深呼吸を行う」という対処情報が抽出された場合は、所定のリズムに合わせた表示や音が対象者端末１０のディスプレイ１３（音の場合はスピーカー）に出力される。対象者１１は、その音や表示に合わせて深呼吸を行うことで、副交感神経を優位にしてリラックス状態に移行することが可能となる。

【0075】

なお、必要に応じて、対象者１１が行った対処動作（特に、その場で確認可能な短期動作）を評価する評価手段を備えるようにしてもよい。例えば、笑顔を作る対処動作が提示された場合に、対象者１１が実際に作った笑顔をＡＩで判定し、十分な笑顔であるかどうかを評価する（点数を付ける）ようにしてもよい。また、指示通りのタイミングで呼吸がなされたかどうか（肩の動きをベクトル増幅で確認）や、映像をきちんと視聴したかどうか（目線が画面に向いているかどうか）について評価することも可能である。対象者１１は、それらの評価結果を受けて、より適正な対処動作を行うことが可能となる。

【0076】

次に、本実施形態に係る状態検出装置の動作について説明する。図１１は、本実施形態に係る状態検出装置の動作を示すフローチャートである。Ｓ１からＳ４までの処理は、前記第１の実施形態における図９と同じであるため説明は省略する。Ｓ４で対象者１１の状態が推定されると、対処情報抽出部８２が、対象者１１の状態に対する適正な対処情報を対処情報記憶部８１から抽出する（Ｓ５）。出力制御部３７が、抽出された対処情報を状態情報と共に対象者端末１０に出力（送信）して（Ｓ６）、処理を終了する。

【0077】

このように、本実施形態に係る状態検出装置においては、推定された対象者１１の状態に応じたバイオフィードバックが可能になり、対象者１１の精神状態を安定することができる。すなわち、呼吸数や表情などの意図的にコントロールできる生体情報を、提示された指示に従って実行することで心拍数、体温、自律神経等の意図的なコントロールが難しい生体情報を安定化させることが可能になる。また、無自覚な対象者１１に対して、ストレス度合いや影響を自覚させて将来的に起こり得る様々な心身症などを出来るだけ防止することができる。

【0078】

さらに、例えば現在の状態から少し気持ちを興奮状態（交感神経優位の状態）に移行したい場合や気持ちを落ち着けたい場合（副交感神経優位の状態）などに、それぞれに適した動作情報が提示されることで、様々な局面に適応できるように対象者の気持ちを制御することが可能になる。

【0079】

さらにまた、例えば心身症のような長期的な対処が必要な状態に対する適した動作と、短期的に受けるような過度のストレスに対して適した対処動作とを区分して対応することで、より適正な対処が可能になる。

【0080】

なお、対象者端末１０のディスプレイ１３に対処情報を提示する際に、上記第１の実施形態において説明したベクトル増幅の技術を活用してもよい。具体的には、例えば顔の表情をリラックスさせるために笑顔を作ることが対処情報として抽出された場合に、ディスプレイ１３にベクトル増幅した参考となる笑顔の動画を表示することで、提示内容を強調させることが可能となる。また、参考となる笑顔の動画と共に、対象者１１自身を撮像した動画像をディスプレイ１３に対処情報として表示させることで、自身の表情をベクトル増幅させて誇張した表示が可能となり、自身の強調された表情変化を意識した対処情報を実行することができる。

【0081】

（本発明の第３の実施形態）
本実施形態に係る状態検出装置について図１２及び図１３を用いて説明する。本実施形態に係る状態検出装置は、測定領域抽出部３２が対象者の温度情報から測定領域を抽出することで、処理の負荷を軽減するものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。

【0082】

図１２は、対象者端末１０のセンサ部の構成を示す図である。第１の実施形態においては、対象者端末１０にカメラ１２が備え付けられる構成を説明したが、本実施形態においては、対象者端末１０（カメラ１２の有無は問わない）と図１２に示すセンサ部とが一体として対象者端末１０を構成している。図１２において、センサ部４０は、対象者を可視光で撮像するカメラ４１（少なくともカメラ１２と同等の機能を有する）と、温度（遠赤外線）を検知するためのサーマルセンサ４２と、近赤外線撮像用の光を照射する近赤外ＬＥＤ４３と、各センサの動作を制御する制御部４４と、外部機器との入出力を行うための入出力インターフェース４５と、外部機器と有線又は無線で通信を行うための通信インターフェース４６とを備える。

【0083】

なお、対象者端末１０をセンサ部４０のみで構成するようにしてもよい。すなわち、対象者端末１０はディスプレイやキーボードなどの入出力デバイスがなく、センサ部４０のみで一つの装置として構成されてもよい。この場合、外部の他の装置との入出力や通信は入出力インターフェース４５や通信インターフェース４６を介して直接行われるようにしてもよい。

【0084】

カメラ４１は、対象者とその周囲の領域を撮像する画像センサであり、太陽光や蛍光灯などの可視光を光源とする撮像や、近赤外ＬＥＤ４３を光源とする近赤外線撮像を行う。可視光を光源とする撮像を行う場合は近赤外光をカットするフィルタを通しており、夜間などに暗視撮像を行う場合は近赤外ＬＥＤ４３を光源として近赤外光をカットするフィルタを外すことで撮像を行う。

【0085】

サーマルセンサ４２は、遠赤外線を検知してその強さに応じて温度を検知するものである。一般的には遠赤外線が強いほど温度が高くて赤く表示され、遠赤外線が弱いほど温度が低くて青く表示される。第１の実施形態においては対象者の体温測定のためにサーマルセンサ４２を備える構成について述べているが、本実施形態においては、体温情報の収集に加えて、測定された温度情報を用いた測定領域の特定が行われる。

【0086】

図１３は、本実施形態に係る状態検出装置において、サーマルセンサを用いて測定領域を特定する処理を示す図である。図１３（Ａ）に示すように、サーマルセンサ４２で対象者を撮像することで、対象者におけるある程度決まった範囲にある体温（３５℃～３７℃程度、必要に応じて洋服部分による温度低下を含めた２５℃～）の領域、つまり対象者の体温領域を検出することができる。また一方で、図１３（Ｂ）に示すように、カメラ４１により対象者が撮像される。サーマルセンサ４２で撮像された図１３（Ａ）の体温領域とカメラ４１で撮像された図１３（Ｂ）とを重ね合わせることで、図１３（Ｃ）に示すように、カメラ４１の撮像画像における対象者の測定領域を特定することが可能となる。このような方法に因らなければ、例えばＡＩなどで対象者（ヒトの顔）を認識し、その上で測定領域を抽出する必要があるが、本実施形態においてはサーマルセンサ４２の所定の温度領域を検出するだけで済むため、処理を格段に軽くすることができる。

【0087】

また、本実施形態においては、上記第１の実施形態及び第２の実施形態において説明した脈波、呼吸数、表情、体温、自律神経の状態（交感神経／副交感神経）以外にも、複数の生体情報を検出又は求めることが可能となっている。

【0088】

具体的には、例えば近赤外ＬＥＤ４３を照射した対象者をカメラ４１で暗視モード（近赤外光をカットするフィルタを外した状態のモード）で撮像することにより、対象者の血糖値を測定することが可能である。すなわち、カメラ４１で撮像された近赤外画像から対象者の肌の部分の吸光度を測定した場合に、糖（グルコース）が多い部分で近赤外光が多く吸収されて黒が強くなる。そのため、糖が検出される部分と糖が検出されない部分との濃淡の差で血糖値を求めることが可能となる。血糖値の測定は、従来では実際に血液を採取する必要があるが、本実施形態のように非破壊で検討値を求めることで、対象者の肉体的な負担を格段に低減することが可能となる。なお、血糖値の測定ではできるだけ体表面に近い血管が撮像されることが望ましいため、例えば対象者に対して腕の内側領域などの血管が見えやすい領域をカメラ４１に向けるように音声や文字で提示してもよい。

【0089】

また、例えば取得した脈波の情報から対象者の血圧を算出することが可能である。脈波から血圧を算出する手法はいくつか知られているが、例えば以下のようにして求めることができる。血管弾性率Ｅは

【0090】

【数1】

【0091】

ここで、Ｅ_０は無圧力時の血管弾性率、ａは補正係数、Ｐは血圧である。この式より血圧Ｐは、

【0092】

【数2】

【0093】

で求めることができる。血管弾性率については統計的に得られる既知の値を利用してもよいし、脈波を１次微分して得られる速度脈波や２次微分して得られる加速度脈波によって求めるようにしてもよい。

【0094】

さらに、例えば対象者の血中酸素濃度を求めることも可能である。近赤外ＬＥＤ４３で照射される近赤外光は生体組織を透過しつつ血中のヘモグロビンに吸収される性質を有する。すなわち、血中のヘモグロビンの濃度を測定することで血中酸素濃度を求めることが可能となる。なお、酸素化ヘモグロビンと脱酸素化ヘモグロビンの相対的な濃度を測定するために、異なる波長帯の近赤外光が照射されるようにしてもよい。このとき、異なる波長の複数の近赤外ＬＥＤ４３を用いるようにしてもよいし、波長を可変することができる近赤外ＬＥＤ４３を用いて交互に異なる波長帯の近赤外光を照射してもよい。

【0095】

さらにまた、例えば対象者の集中度合いを推定することも可能である。ＲＲＩ（Ｒ波の間隔）と集中力との相関が知られており、ＲＲＩが上昇する場合には集中力が下がっており、ＲＲＩが安定している場合は集中力が維持されている。すなわち、脈波をモニタリングすることで集中力の有無を推定することが可能である。

【0096】

センサ部４０における上記各生体情報の収集や送信は制御部４４により制御される。例えば、対象者を認識したり体温を取得する場合にはサーマルセンサ４２を動作させてセンシングを行い、血糖値や血中酸素濃度を測定する場合や夜間の時間の撮像を行う場合には、近赤外ＬＥＤ４３を動作させて光源としながらカメラ４１により暗視モードでの撮像を行う。

【0097】

センサ部４０で取得された情報は通信インターフェース４６を介して状態検出装置３０に送信され、対象者の状態が推定される。前記第１の実施形態においては、取得した生体情報を用いて状態推定部３５がローレンツプロットにより対象者の状態を推定する方法を一例として説明したが、本実施形態においては、主に人工知能（ＡＩ）により対象者の情報を推定する。本実施形態においては、前記各実施形態における各生体情報に加えて上記のような複数種類の生体情報を取得又は演算することが可能となっている。そこで、これらの多数の生体情報を入力とする人工知能（ＡＩ）により対象者の状態を推定する。なお、各生体情報ごとに特有のローレンツプロットを作成し、それらを総合的に判断することで対象者の状態を推定するようにしてもよい。

【0098】

例えば、児童施設や障碍者施設などで働いてサービスを提供している職員は、各サービス対象者を一目見ただけで今日の機嫌や感情などを判断できることがある。これはベテラン職員の経験に基づいて、サービス対象者が発する雰囲気（例えば外観、声、表情、動き、服装等）を総合的に瞬時に判断することで推定されているものと思われるが、論理付けて説明したり数値化することが非常に難しい。そのため、上記のような様々な生体情報に基づいて対象者の状態を学習したＡＩを用いることで、このようなベテラン職員と同様の推定を行うことが可能となる。なお、上記ＡＩはサービス対象者全体に対して推定を行うものであってもよいし、サービス対象者の個人ごとに個別に推定を行うものであってもよい。

【0099】

状態推定部３５のＡＩ機能で推定される対象者の状態として、第１の実施形態において説明したような感情の状態に加えて、例えば上記各生体情報から判断される健康状態（肉体的な健康状態＋精神的な健康状態）、癇癪が起こる前兆、躁鬱状態、疲労の度合い、機嫌等を推定することが可能となる。

【0100】

（本発明の第４の実施形態）
ここでは、本発明に係る非接触型状態検出装置の使用形態について、いくつか具体例を挙げて説明する。なお、本実施形態において前記各実施形態と重複する説明は省略する。

【0101】

まずは一例として、職場において非接触型状態検出システム１を使用した場合について説明する。職場で非接触型状態検出システム１を採用することで、後述するような職場環境の改善や生産性向上に役立てることができる。図１４は、職場において非接触型状態検出システム１を使用した場合の処理概要を示す図である。図１４において、工場やオフィスで作業する作業者に関して、作業内容や作業場所などを予め設定する（図１４（Ａ））。対象者端末１０のカメラ１２で作業者の作業の様子を撮像する（図１４（Ｂ））。顔認証で作業者を認識して特定し、モニタリングする（図１４（Ｃ））。作業者の状態を上記各実施形態において説明した処理により監視しながら情報を蓄積する。また併せて、作業者の集中力が低下した場合にアラートを出力する（図１４（Ｄ））。

【0102】

このように、作業者の集中力が下がっていると推定される場合にアラートが出力されることで、危険な作業を行っている場合などのリスク管理として事故防止や安全対策を講じることが可能となる。また、蓄積された情報を解析することで、対象となる作業者がどのような作業を行っているときに状態が安定して且つ集中力が維持されているかがわかるため、適正な作業内容や作業量の配分に役立てることができる。さらに、どのような作業環境の場合に作業者の状態が安定し且つ集中力が持続されているかがわかるため、職場環境の改善に役立てることが可能となる。

【0103】

他の例として、教育現場において非接触型状態検出システム１を使用した場合について説明する。教育現場で非接触型状態検出システム１を採用することで、後述するような教室の環境改善や学習力向上に役立てることができる。図１５は、教育現場において非接触型状態検出システム１を使用した場合の処理概要を示す図である。なお、図１５では学校などの教室で使用する場合について説明するが、オンラインによる個別授業の場合やｅラーニングなどにも応用可能である。図１５において、学校の教室で授業を受ける生徒に関して、学習内容や教室の場所などを予め設定する（図１５（Ａ））。対象者端末１０のカメラ１２で生徒の授業の様子を撮像する（図１５（Ｂ））。顔認証で生徒個人を認識して特定し、モニタリングする（図１５（Ｃ））。生徒の状態を上記各実施形態において説明した処理により監視しながら情報を蓄積する。また併せて、生徒の集中力が低下した場合に先生が使用する管理者端末２０にアラートを出力する（図１５（Ｄ））。

【0104】

このように、生徒の集中力が下がっていると推定される場合に、どの生徒がどれくらいの集中力で授業を受けているかを管理者である先生が把握できるため、授業の進め方を臨機応変に変更しながら効果的な授業を実現することが可能となる。また、蓄積された情報を解析することで、対象となる生徒がどのような授業をどのような先生から受けているときに、生体情報や自律神経がどのように変化しているかが詳細にわかるため、学習の進め方や授業内容、得意科目、不得意科目等に応じたきめ細かなサポートが可能になる。

【0105】

また、学校としては、生徒の状態変化を細かく察知して体や心の健康状態の変化に素早く対応することが可能となる。生徒の状態が把握されることで成績アップにつなげる工夫を施すことも可能となる。さらに、本人も気づいていないような潜在的な興味や関心を引き出すことが可能となり、生徒の新たな可能性を見い出したり受講する授業や進路選択などを提案することができる。さらにまた、各生徒がどのような教室の環境でどのような時間帯に状態が安定し且つ集中力が持続しているかがわかるため、教室環境の改善に役立てることが可能となる。

【0106】

さらに、生徒にとってはきめ細かいサポートが受けられることで、自分では気づいていない可能性を見い出してもらったり、成績アップにつなげることができる。

【0107】

図１６は、図１４や図１５で処理を行った場合に管理者端末２０に表示される画面の一例を示す図である。図１６（Ａ）は職場や教室などの監視対象区域全体における監視対象者ごとの状態変化のヒートマップを示しており、図１６（Ｂ）は監視対象者ごとに時間に対する状態変化のヒートマップを示している。

【0108】

図１６（Ａ）のヒートマップでは、監視対象区域（職場や教室など）の中で、どの領域にいる監視対象者（作業者や生徒など）は状態が安定しており、どの領域にいる監視対象者は状態が不安定であるかが一目でわかる。つまり、配置（例えば、人の行き来が多い、窓際、エアコンに近い、前方の席、後方の席、所定の人物が近くにいる、上司や先生が近くにいる、仲が良い人が近くにいる等）による状態変化が現れている場合であれば、順次配置転換を行うことで監視対象者の状態をできるだけ安定化させることができる。

【0109】

図１６（Ｂ）のヒートマップでは、各監視対象者ごとの経時的な状態変化をリアルタイムに確認することが可能となるため、監視対象者ごとに適した対応を取ることができる。例えば、集中力が下がっている場合は休憩を促す、蓄積されている情報から苦手な作業を行っていることで状態が不安定であると判断される場合は得意な作業に変更する、学校の授業であればリラックスできる話をするといった対応を行うことで、監視対象者の状態を安定させる。

【0110】

このように、本実施形態に係る非接触型状態検出装置を用いることで、具体的には職場や学校などの環境改善に役立てたり、作業者や生徒に対して安全性を確保した効率的な作業や授業が実現できるようきめ細かな監視が可能になる。

【0111】

（その他の実施形態）
上記各実施形態において、並列処理を行うことで限りなくリアルタイムに近い状態で画面越しに相手の生体情報を確認しながらコミュニケーションを図ることができる。例えば、対象者端末１０から取得した動画像情報のフレームを分割し、色の抽出をＣＰＵのコアごとに並列処理することで、脈波の検出をほぼリアルタイムで行うことが可能である。実際に発明者らが開発したシステムにおいては、０．５秒～１．５秒のタイムラグの範囲で脈波を検出することができた。

【0112】

このように、動画像情報のフレームを適宜分割して色や動きの情報抽出をＣＰＵコアごとに並列処理されることで、リアルタイムに生体情報を検出して画面で確認することが可能になる。

【符号の説明】

【0113】

１ 非接触型状態検出システム
１０ 対象者端末
１１ 対象者
１２ カメラ
１３ ディスプレイ
２０ 管理者端末
２１ 管理者
２２ カメラ
２３ ディスプレイ
３０ 非接触型状態検出装置（状態検出装置）
３１ 入力部
３２ 測定領域抽出部
３３ 基本情報記憶部
３４ 検出部
３５ 状態推定部
３６ 状態情報記憶部
３７ 出力制御部
４０ センサ部
４１ カメラ
４２ サーマルセンサ
４３ 近赤外ＬＥＤ
４４ 制御部
４５ 入出力インターフェース
４６ 通信インターフェース
８１ 対処情報記憶部
８２ 対処情報抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】