特開 2022-100538 生体情報取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022100538

(43)【公開日】2022-07-06

(54)【発明の名称】生体情報取得装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20220629BHJP

   A61B 5/11 20060101ALI20220629BHJP

【ＦＩ】

A61B5/16 130

A61B5/11 320

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020214567

(22)【出願日】2020-12-24

(71)【出願人】

【識別番号】516317182

【氏名又は名称】ＯＦＩＬＭ．Ｊａｐａｎ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】酒本 章人

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP05

4C038PQ04

4C038PS07

4C038VA04

4C038VA15

4C038VB04

4C038VB05

4C038VC05

(57)【要約】      （修正有）

【課題】より高い精度の対象者の生体情報を取得できる生体情報取得装置を提供する。
【解決手段】生体情報取得装置１は、撮影部２と、鼻長検出部１３と、第１開度検出部１４と、顔長検出部１２と、推定部９と、を備える。撮影部２は、対象者の顔の画像を撮影する。鼻長検出部１３は、対象者の顔の画像に基づいて、目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する。第１開度検出部１４は、対象者の顔の画像に基づいて、顔の縦方向における口の開き幅を口の開度として検出する。顔長検出部１２は、対象者の顔の画像に基づいて、目の中心部から顎の先端部までの顔の縦方向における距離を顔長として検出する。推定部９は、対象者の鼻長に対する口の開度の割合、または鼻長に対する顔長の割合の少なくとも一方を用いて、対象者のあくび状態を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者の顔の画像を撮影する撮影部と、
前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する鼻長検出部と、
前記撮影部が撮影する画像に基づいて、前記対象者の顔の縦方向における口の開き幅を口の開度として検出する第１開度検出部と、
前記鼻長検出部が検出した鼻長に対する前記第１開度検出部が検出した口の開度の割合を用いて、前記対象者のあくび状態を推定する推定部と、
を備える生体情報取得装置。

【請求項2】

前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から顎の先端部までの顔の縦方向における距離を顔長として検出する顔長検出部
を備え、
前記推定部は、前記鼻長検出部が検出した鼻長に対する前記顔長検出部が検出した顔長の割合を用いて、前記対象者のあくび状態を推定する
請求項１に記載の生体情報取得装置。

【請求項3】

対象者の顔の画像を撮影する撮影部と、
前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する鼻長検出部と、
前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から顎の先端部までの顔の縦方向における距離を顔長として検出する顔長検出部と、
前記鼻長検出部が検出した鼻長に対する前記顔長検出部が検出した顔長の割合を用いて、前記対象者のあくび状態を推定する推定部と、
を備える生体情報取得装置。

【請求項4】

前記推定部は、前記対象者のあくび状態としてあくびの頻度または長さを推定し、推定したあくび状態を用いて前記対象者の注意力を推定する
請求項１から請求項３のいずれか一項に記載の生体情報取得装置。

【請求項5】

前記撮影部が撮影する画像に基づいて、前記対象者の顔の縦方向における目の開き幅を目の開度として検出する第２開度検出部
を備え、
前記推定部は、前記第２開度検出部が検出した目の開度を用いて前記対象者の注意力の程度を推定する
請求項１から請求項４のいずれか一項に記載の生体情報取得装置。

【請求項6】

前記推定部が推定する前記対象者の注意力の程度が予め設定された基準を下回るときに、前記対象者に警告を与える警告部
を備える
請求項４または請求項５に記載の生体情報取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体情報取得装置に関する。

【背景技術】

【0002】

特許文献１は、生体情報取得装置の例を開示する。生体情報取得装置は、対象者を撮影した画像に基づいて、対象者の眠気度合および集中度合などの状態を推定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２３２１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の生体情報取得装置は、瞬きの回数および目を閉じている時間などの対象者の目の状態に基づいて、対象者の眠気度合などの状態を推定する。一方、空気の乾燥などの対象者の周囲の状況によって、目の開度は影響を受けうる。このため、対象者の状態などの生体情報の推定の精度が影響を受ける可能性がある。

【0005】

本開示は、このような課題の解決に係るものである。本開示は、より高い精度の対象者の生体情報を取得できる生体情報取得装置を提供する。

【課題を解決するための手段】

【0006】

本開示に係る生体情報取得装置は、対象者の顔の画像を撮影する撮影部と、前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する鼻長検出部と、前記撮影部が撮影する画像に基づいて、前記対象者の顔の縦方向における口の開き幅を口の開度として検出する第１開度検出部と、前記鼻長検出部が検出した鼻長に対する前記第１開度検出部が検出した口の開度の割合を用いて、前記対象者のあくび状態を推定する推定部と、を備える。
本開示に係る生体情報取得装置は、対象者の顔の画像を撮影する撮影部と、前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する鼻長検出部と、前記撮影部が撮影する画像に基づいて、前記対象者の顔の目の中心部から顎の先端部までの顔の縦方向における距離を顔長として検出する顔長検出部と、前記鼻長検出部が検出した鼻長に対する前記顔長検出部が検出した顔長の割合を用いて、前記対象者のあくび状態を推定する推定部と、を備える。

【発明の効果】

【0007】

本開示に係る生体情報取得装置であれば、より高い精度の対象者の生体情報を取得できる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る生体情報取得装置の構成図である。

【図2】実施の形態１に係る撮像イメージの例を示す図である。

【図3】実施の形態１に係る撮像イメージの例を示す図である。

【図4】実施の形態１に係る生体情報取得装置による生体情報の取得の例を示す図である。

【発明を実施するための形態】

【0009】

本開示を実施するための形態について添付の図面を参照しながら説明する。各図において、同一または相当する部分には同一の符号を付して、重複する説明は適宜に簡略化または省略する。

【0010】

実施の形態１．
図１は、実施の形態１に係る生体情報取得装置１の構成図である。

【0011】

生体情報取得装置１は、対象者の生体情報を取得する装置である。対象者は、例えば車両の運転席において車両の運転を行うドライバーなどである。車両は、例えば自動車などである。生体情報は、対象者の注意力の程度の情報などを含む。注意力の程度の情報は、例えば、対象者の疲労の程度、または眠気の程度などを含む。生体情報取得装置１は、撮影部２と、制御部３と、を備える。

【0012】

撮影部２は、対象者の顔の画像を撮影する部分である。撮影部２は、対象者の顔を正面から撮影しうる位置に配置される。撮影部２は、例えば車両の運転席の前方に配置される。撮影部２は、レンズ４と、撮像素子５と、発光素子６と、を備える。

【0013】

レンズ４は、対象者の顔に向けて配置される。レンズ４は、例えば可視光または近赤外線などの光を透過させる。

【0014】

撮像素子５は、レンズ４の焦点位置に配置される。撮像素子５は、動画像の撮影を行う機能を搭載する。動画像の撮影は、フレーム間隔ごとの複数の撮像イメージを取得することによって行われる。フレーム間隔は、予め設定されたフレームレートの逆数として表される時間間隔である。撮像素子５は、レンズ４を透過した光によって感光することで各々の撮像イメージを取得する。撮像素子５は、例えば可視光または近赤外線などの光によって撮像イメージを取得する。

【0015】

発光素子６は、例えば可視光または近赤外線などの光を発する機能を搭載する。発光素子６は、対象者の顔に向けて配置される。発光素子６は、例えばＬＥＤ素子（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などである。なお、撮像素子５が対象者の画像を撮影できる十分な環境光が見込める場合に、撮影部２は、発光素子６を有していなくてもよい。

【0016】

制御部３は、ハードウェアとして、例えばプロセッサおよびメモリを備えた処理回路を有する。プロセッサは、例えばＣＰＵ、演算装置、マイクロプロセッサ、またはマイクロコンピュータなどである。メモリは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭおよびＥＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、もしくはＤＶＤなどが該当する。メモリは、例えばソフトウェアまたはファームウェアとしてのプログラムなどを記憶する。そして、制御部３は、メモリに記憶されたプログラムなどをプロセッサが実行することによって予め設定された処理を実施し、ハードウェアとソフトウェアとが協働した結果として各機能を実現する。制御部３の各機能は、それぞれ処理回路で実現されてもよい。あるいは、制御部３の各機能の一部または全部は、まとめて処理回路で実現されてもよい。また、処理回路は、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、もしくはＦＰＧＡ、またはこれらの組み合わせで実現されてもよい。制御部３は、撮影制御部７と、画像処理部８と、推定部９と、警告部１０と、を備える。

【0017】

撮影制御部７は、撮影部２による対象者の顔の画像の撮影を制御する部分である。撮影制御部７は、例えば発光素子６による発光、レンズ４および撮像素子５の配置などの調整、および撮像素子５による撮像イメージの取得などの制御を行う。

【0018】

画像処理部８は、撮影部２によって撮影された対象者の顔の画像から情報の抽出などの情報処理を行う部分である。画像処理部８は、特徴点検出部１１と、顔長検出部１２と、鼻長検出部１３と、第１開度検出部１４と、第２開度検出部１５と、を備える。特徴点検出部１１は、対象者の顔の画像から特徴点を検出する部分である。特徴点は、例えば対象者の顔の器官の位置を表す点などである。特徴点は、例えば、両目の中心部の位置、両目の上瞼の位置、両目の下瞼の位置、鼻の先端部の位置、口の上唇の位置、口の下唇の位置、および、顎の先端部の位置などを含む。特徴点は、例えば顔の輪郭上の複数の点などを含んでもよい。目の中心部の位置は、例えば上瞼の位置および下瞼の位置の中間位置などである。顔長検出部１２は、特徴点検出部１１が検出した特徴点に基づいて、対象者の顔長を検出する部分である。鼻長検出部１３は、特徴点検出部１１が検出した特徴点に基づいて、対象者の鼻長を検出する部分である。第１開度検出部１４は、特徴点検出部１１が検出した特徴点に基づいて、対象者の口の開度を検出する部分である。第２開度検出部１５は、特徴点検出部１１が検出した特徴点に基づいて、対象者の目の開度を検出する部分である。

【0019】

推定部９は、画像処理部８が抽出した情報に基づいて対象者の生体情報を推定する部分である。推定部９は、対象者の生体情報として、例えばあくび状態などの情報を取得する。あくび状態は、対象者の注意力の程度を反映する情報の例である。あくび状態は、対象者のあくびの頻度またはあくびの長さなどの情報を含む。あくびの頻度は、例えば単位時間あたりのあくびの回数である。あくびの長さは、あくびが継続する時間の長さなどである。あくびの長さは、１回のあくびの長さ、または複数回のあくびの長さの平均などである。推定部９は、あくび状態を用いて対象者の注意力の程度を推定する。推定部９は、例えば対象者のあくびの頻度が高いほど、あるいは、対象者のあくびの長さが長いほど、対象者の眠気の程度または疲労の程度が高いと推定する。推定部９は、対象者の眠気の程度または疲労の程度が高くなるほど、対象者の注意力の程度が低下していると推定する。推定部９は、例えば注意力の程度を「正常」、「注意力が低下」、および「注意力が著しく低下」などの複数段階の状態によって評価する。注意力の程度は、２段階または４段階以上の状態であってもよい。あるいは、推定部９は、注意力の程度を数値によって連続的に評価してもよい。

【0020】

警告部１０は、推定部９が推定した対象者の生体情報に基づいて、対象者に警告を与える部分である。警告部１０は、対象者の注意力の程度が予め設定された基準を下回るときに、対象者に警告を与える。警告部１０は、例えば対象者の注意力の程度が「注意力が低下」または「注意力が著しく低下」となったときに、対象者に警告を与える。あるいは、警告部１０は、注意力の程度を表す数値が予め設定された閾値を下回るときに、対象者に警告を与えてもよい。警告部１０は、例えば図示されないスピーカーなどから警告音または音声メッセージを発することによって、対象者に警告を与える。あるいは、警告部１０は、例えば図示されない振動発生装置を振動させることによって、対象者に警告を与えてもよい。警告部１０は、生体情報取得装置１の外部のスピーカーまたは振動発生装置などに制御信号を出力することによって、対象者に警告を与えてもよい。生体情報取得装置１の外部の機器は、例えば車両に設けられた機器などであってもよい。

【0021】

続いて、図２から図４を用いて、生体情報取得装置１の動作の例を説明する。
図２および図３は、実施の形態１に係る撮像イメージの例を示す図である。
図４は、実施の形態１に係る生体情報取得装置１による生体情報の取得の例を示す図である。

【0022】

図２において、あくびをしていないときの対象者の顔の撮像イメージの例が示される。

【0023】

特徴点検出部１１は、対象者の顔の画像の各々の撮像イメージについて、特徴点を検出する。顔長検出部１２は、目の中心部から顎の先端部までの縦方向における距離を顔長Ｈ１として検出する。ここで、目の中心部の高さは、例えば左目の中心部の高さおよび右目の中心部の高さの平均などである。顔長検出部１２は、目の中心部の高さと顎の先端部の高さとの差を顔長Ｈ１として検出する。鼻長検出部１３は、目の中心部から鼻の先端部までの縦方向における距離を鼻長Ｈ２として検出する。鼻長検出部１３は、目の中心部の高さと鼻の先端部の高さとの差を鼻長Ｈ２として検出する。第１開度検出部１４は、縦方向における口の開き幅を口の開度Ｍとして検出する。第１開度検出部１４は、例えば上唇の高さと下唇の高さとの差を口の開度Ｍとして検出する。第２開度検出部１５は、縦方向における目の開き幅を目の開度Ｅとして検出する。ここで、目の開き幅は、例えば左目の開き幅および右目の開き幅の平均などである。第２開度検出部１５は、例えば上瞼の高さと下瞼の高さとの差を目の開度Ｅとして検出する。画像処理部８は、特徴点検出部１１が検出した特徴点に基づいて、対象者の顔幅Ｗを検出してもよい。画像処理部８は、例えば顔の輪郭上の複数の点のうち左端の点と右端の点との左右方向における距離を顔幅Ｗとして検出する。

【0024】

図３において、あくびをしているときの対象者の顔の撮像イメージの例が示される。

【0025】

あくびをするときに、対象者の口は大きく開かれる。このとき、対象者の顔長Ｈ１および口の開度Ｍは大きくなる。一方、対象者の鼻長Ｈ２はあくびによって大きく変化しない。

【0026】

このため、推定部９は、対象者の鼻長Ｈ２に対する割合を算出することによって対象者の顔長Ｈ１、口の開度Ｍ、および目の開度Ｅを規格化する。

【0027】

図４において、各々の撮像イメージから取得される情報の時間変化の例が示される。図４の横軸は、時間を表す。図４の縦軸は、鼻長Ｈ２で規格化された対象者の顔の顔長Ｈ１、口の開度Ｍ、または目の開度Ｅなどの長さを表す。

【0028】

対象者があくびをしていない通常状態にあるときに、瞬きが繰り返される。このとき、目の開度は、一度低下したあと速やかにもとの開度に戻る。また、対象者があくびをしていないので、口の開度は小さい値で推移する。

【0029】

一方、対象者が疲労または眠気を感じるときなどに、あくびをする場合がある。このとき、口の開度は一時的に大きくなる。また、長いあくびをするときに、口の開度は大きい値があくびの間維持される。また、対象者の顔長の変化は口の開閉に対応するため、顔長も口の開度と同様に変化する。また、対象者が疲労または眠気を感じるときなどに、瞬きの頻度が高くなることがある。あるいは、瞬きの長さが長くなることがある。また、対象者は、あくびとともに目を閉じることがある。

【0030】

推定部９は、このような変化に基づいて、対象者の疲労の程度または眠気の程度などを推定する。推定部９は、例えば、予め設定された期間より長い期間、鼻長で規格化された口の開度が予め設定された閾値を継続して超えるときに、対象者があくびをしていると推定する。推定部９は、規格化された口の開度が閾値を超えている期間をあくびの長さとして推定する。同様に、推定部９は、予め設定された期間より長い期間、鼻長で規格化された顔長が予め設定された閾値を継続して超えるときに、対象者があくびをしていると推定してもよい。このとき、推定部９は、規格化された顔長が閾値を超えている期間をあくびの長さとして推定する。また、推定部９は、予め設定された期間より長い期間、鼻長で規格化された口の開度および顔長の両方がそれぞれに対して予め設定された閾値を継続して超えるときに、対象者があくびをしていると推定してもよい。また、推定部９は、対象者が目を閉じている場合に、より高い確度で対象者があくびをしていると推定してもよい。

【0031】

推定部９は、対象者の疲労の程度または眠気の程度などの推定に目の開度も用いてもよい。推定部９は、目の開度の時間変化に基づいて対象者の瞬きを検出する。推定部９は、例えば、対象者の瞬きの頻度が高いほど、対象者の眠気の程度または疲労の程度が高いと推定する。あるいは、推定部９は、例えば、目の開度が予め設定された閾値を継続して下回る期間が長いほど、対象者の眠気の程度または疲労の程度が高いと推定する。

【0032】

警告部１０は、推定部９が推定した対象者の生体情報に基づいて、対象者に警告を与える。警告部１０は、推定部９が推定した対象者の注意力の程度に応じて、警告の方法を切り替えてもよい。

【0033】

以上に説明したように、実施の形態１に係る生体情報取得装置１は、撮影部２と、鼻長検出部１３と、第１開度検出部１４と、顔長検出部１２と、推定部９と、を備える。撮影部２は、対象者の顔の画像を撮影する。鼻長検出部１３は、撮影部２が撮影する画像に基づいて、対象者の顔の目の中心部から鼻の先端部までの顔の縦方向における距離を鼻長として検出する。第１開度検出部１４は、撮影部２が撮影する画像に基づいて、対象者の顔の縦方向における口の開き幅を口の開度として検出する。顔長検出部１２は、撮影部２が撮影する画像に基づいて、対象者の顔の目の中心部から顎の先端部までの顔の縦方向における距離を顔長として検出する。推定部９は、鼻長検出部１３が検出した鼻長に対する第１開度検出部１４が検出した口の開度の割合を用いて、対象者のあくび状態を推定する。推定部９は、鼻長検出部１３が検出した鼻長に対する顔長検出部１２が検出した顔長の割合を用いて、対象者のあくび状態を推定する。

【0034】

このような構成により、生体情報取得装置１は、目の開度によらずに対象者の生体情報としてあくび状態を取得できる。あくび状態は、空気の乾燥などの対象者の目の開度に影響を及ぼす周囲の状況によらないので、生体情報取得装置１はより高い精度の生体情報を取得できるようになる。また、生体情報取得装置１は、鼻長で規格化した口の開度または顔長の少なくとも一方に基づいて生体情報を取得する。このため、撮影部２および対象者の距離の変化によって、取得される生体情報は影響を受けにくくなる。また、対象者がサングラスなどの目の撮影を妨げうるものを着用している場合においても、生体情報取得装置１は生体情報を取得できるようになる。なお、生体情報取得装置１は、第１開度検出部１４または顔長検出部１２のいずれか一方のみを備えていてもよい。

【0035】

また、推定部９は、対象者のあくび状態としてあくびの頻度または長さを推定する。推定部９は、推定したあくび状態を用いて対象者の注意力を推定する。

【0036】

このような構成により、あくびの頻度または長さなどの定量化可能な指標によって対象者の注意力が推定される。このため、注意力の程度の推定値が定量化できるようになる。これにより、注意力の程度の推定値に応じた処理が可能になる。

【0037】

また、生体情報取得部は、第２開度検出部１５を備える。第２開度検出部１５は、撮影部２が撮影する画像に基づいて、対象者の顔の縦方向における目の開き幅を目の開度として検出する。推定部９は、第２開度検出部１５が検出した目の開度を用いて対象者の注意力の程度を推定する。

【0038】

このような構成により、生体情報取得装置１は、対象者の顔全体の情報を用いて注意力の程度を推定できるようになる。

【0039】

また、生体情報取得部は、警告部１０を備える。警告部１０は、推定部９が推定する対象者の注意力の程度が予め設定された基準を下回るときに、対象者に警告を与える。

【0040】

このような構成により、生体情報取得装置１は、注意力が低下した対象者に対して警告を与えることで、例えば休憩などの対応を促すことができるようになる。

【符号の説明】

【0041】

１ 生体情報取得装置、 ２ 撮影部、 ３ 制御部、 ４ レンズ、 ５ 撮像素子、 ６ 発光素子、 ７ 撮影制御部、 ８ 画像処理部、 ９ 推定部、 １０ 警告部、 １１ 特徴点検出部、 １２ 顔長検出部、 １３ 鼻長検出部、 １４ 第１開度検出部、 １５ 第２開度検出部

【図1】

【図2】

【図3】

【図4】