特開 2023-131010 注意喚起装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131010

(43)【公開日】2023-09-21

(54)【発明の名称】注意喚起装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230913BHJP

   A61B 5/16 20060101ALI20230913BHJP

   A61B 5/18 20060101ALI20230913BHJP

   A61B 3/113 20060101ALI20230913BHJP

【ＦＩ】

G08G1/16 F

A61B5/16 130

A61B5/18

A61B3/113

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022035650

(22)【出願日】2022-03-08

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山本 大介

(72)【発明者】

【氏名】森岡 良輔

(72)【発明者】

【氏名】田村 誠

【テーマコード（参考）】

4C038

4C316

5H181

【Ｆターム（参考）】

4C038PP05

4C038PQ04

4C038PS07

4C316AA22

4C316AA28

4C316AB16

4C316FC28

4C316FZ01

4C316FZ03

5H181AA01

5H181CC02

5H181CC04

5H181FF27

5H181FF32

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】利用者の注意散漫状態の内容に応じた推定を行い、注意散漫状態の内容に応じた報知を行うことができる注意喚起を提供する。
【解決手段】注意喚起装置は、運転者（利用者）の注視点の位置を計測する視点位置計測部（計測手段）と、眼球のサッカードによって発生したサッカード距離とサッカード間隔とを計測するサッカード計測部（計測手段）と、瞳孔径を計測する瞳孔径計測部（計測手段）と、視点位置計測部とサッカード計測部と瞳孔径計測部との計測結果に基づいて、運転者が注意散漫状態であるか否かと、注意散漫状態の内容とを推定する注意散漫状態推定部（推定手段）と、注意散漫状態推定部が、運転者が注意散漫状態であると推定した場合に、当該運転者に対して、推定された注意散漫状態の内容に応じた報知を行う報知制御部（報知手段）と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

利用者の注視点の位置と、眼球のサッカードによって発生したサッカード距離とサッカード間隔と、瞳孔径とをそれぞれ計測する計測手段と、
前記計測手段の計測結果に基づいて、前記利用者が注意散漫状態であるか否かと、注意散漫状態の内容とを推定する推定手段と、
前記推定手段が、前記利用者が注意散漫状態であると推定した場合に、当該利用者に対して、推定された注意散漫状態の内容に応じた報知を行う報知手段と、
を備える注意喚起装置。

【請求項2】

前記推定手段は、前記利用者の注視点の位置が、第１の時間に亘って第１の範囲の外まで動かない場合に、当該利用者は第１の注意散漫状態であると推定する、
請求項１に記載の注意喚起装置。

【請求項3】

前記推定手段は、前記利用者のサッカード距離が、第２の時間に亘って第１の距離を超えない場合に、当該利用者は第２の注意散漫状態であると推定する、
請求項１または請求項２に記載の注意喚起装置。

【請求項4】

前記推定手段は、前記利用者の瞳孔径が、第３の時間に亘って、前記利用者の顔面照度から推定される瞳孔径を基準として、所定の割合よりも小さい場合に、当該利用者は第３の注意散漫状態であると推定する、
請求項１から請求項３のいずれか１項に記載の注意喚起装置。

【請求項5】

前記報知手段は、前記利用者が第１の注意散漫状態または第２の注意散漫状態であると推定された場合に、前記利用者の注意を引きつける報知を行う、
請求項２または請求項３に記載の注意喚起装置。

【請求項6】

前記報知手段は、前記利用者が第３の注意散漫状態であると推定された場合に、前記利用者を覚醒させる報知を行う、
請求項４に記載の注意喚起装置。

【請求項7】

前記報知手段は、音、光、映像、振動の少なくとも１つを用いて、前記利用者に報知を行う、
請求項１から請求項６のいずれか１項に記載の注意喚起装置。

【請求項8】

前記推定手段は、車両の車速が高いほど、前記利用者が注意散漫状態であると判定する閾値を、注意散漫状態であると判定しやすくなるように設定する、
請求項１から請求項７のいずれか１項に記載の注意喚起装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、注意喚起装置に関する。

【背景技術】

【0002】

近年、人間の生体情報に基づいて、精神状態を推定することが行われている。例えば、特許文献１では、瞳孔の面積に基づいて、眠気を推定している。特許文献２では、眼球の跳躍運動であるサッカード距離に基づいて、監視対象者の状態を推定している。特許文献３では、サッカード距離と瞳孔径とに基づいて、喜怒哀楽の感情を推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４８９９０５９号公報

【特許文献2】特許第６２７３８２３号公報

【特許文献3】特許第５３０２１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転中の運転者の注意散漫状態には、見るべき物を見ていない状態や、運転以外のことを考えている状態があることが知られており、これらの注意散漫状態を漏らさずに推定できるのが望ましい。しかしながら、特許文献１にあっては、瞳孔の面積という単一パラメータで人間の状態を推定しており、特許文献２にあっては、サッカード距離という単一パラメータで人間の状態を推定している。したがって、単にこれらの手法を適用しただけでは、運転中の運転者の注意散漫状態を網羅的に推定することはできない。また、特許文献３では、サッカード距離と瞳孔径とを組み合わせて、人間の精神状態を推定しているが、注意散漫状態を推定している訳ではない。

【0005】

本開示は、利用者の注意散漫状態の内容に応じた推定を行い、注意散漫状態の内容に応じた報知を行うことができる注意喚起を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る注意喚起装置は、利用者の注視点の位置と、眼球のサッカードによって発生したサッカード距離とサッカード間隔と、瞳孔径とをそれぞれ計測する計測手段と、前記計測手段の検出結果に基づいて、前記利用者が注意散漫状態であるか否かと、注意散漫状態の内容とを推定する推定手段と、前記推定手段が、前記利用者が注意散漫状態であると推定した場合に、当該利用者に対して、推定された注意散漫状態の内容に応じた報知を行う報知手段と、を備える。

【発明の効果】

【0007】

本開示に係る注意喚起装置によれば、利用者の注意散漫状態の内容に応じた推定を行い、注意散漫状態の内容に応じた報知を行うことができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態の注意喚起装置の概略構成を示す第１の図である。

【図1B】図１Ｂは、実施形態の注意喚起装置の概略構成を示す第２の図である。

【図2A】図２Ａは、注視点の位置を説明する図である。

【図2B】図２Ｂは、サッカードについて説明する図である。

【図2C】図２Ｃは、サッカードによる注視点の移動を説明する図である。

【図2D】図２Ｄは、瞳孔径について説明する図である。

【図3】図３は、実施形態の注意喚起装置のハードウエア構成の一例を示すハードウエアブロック図である。

【図4】図４は、実施形態の注意喚起装置の機能構成の一例を示す機能ブロック図である。

【図5】図５は、注意喚起装置が行う処理の流れの一例を示すフローチャートである。

【図6】図６は、視線の動き追跡処理の流れの一例を示すフローチャートである。

【図7】図７は、サッカード追跡処理の流れの一例を示すフローチャートである。

【図8】図８は、実施形態の変形例の注意喚起装置が行う処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（実施形態）
以下、図面を参照しながら、本開示に係る注意喚起装置１１の実施形態について説明する。

【0010】

（注意喚起装置の概略構成）
図１Ａ，図１Ｂを用いて、注意喚起装置１１の概略構成を説明する。図１Ａは、実施形態の注意喚起装置の概略構成を示す第１の図である。図１Ｂは、実施形態の注意喚起装置の概略構成を示す第１の図である。

【0011】

車両１０に搭載された注意喚起装置１１は、図１Ａに示すように、運転席１３に着座して、ステアリング１４を把持して運転動作を行っている運転者３０の注意散漫状態を検出して、検出された注意散漫状態の内容に応じた報知を行う。なお、運転者３０は、本開示における利用者の一例である。

【0012】

運転者３０の正面やや下方には、運転者３０の方向を向いたカメラ１５が設置されている。カメラ１５は、運転者３０の眼球を含む画角φの範囲の画像データを撮像する。

【0013】

注意喚起装置１１は、カメラ１５が撮像した画像を解析することによって、運転者３０の注視点の位置と、眼球のサッカードによって発生した注視点の移動角度と、瞳孔径とをそれぞれ計測する。詳しい計測方法は後述する。

【0014】

また、注意喚起装置１１は、計測された情報に基づいて、運転者３０が注意散漫状態にあるか否かを推定する。更に、注意喚起装置１１は、運転者３０が注意散漫状態にあると推定された場合に、注意散漫状態の内容を推定する。

【0015】

ここで、注意散漫状態とは、意識の脇見とも呼ばれる状態であり、運転中に注意を払わなくてはいけない対象に注意を払っていない状態を表す。なお、注意散漫状態には、本来注意を払わなくてはいけないこと以外に注意を払っている状態、即ち見るべきものを見ていない状態（視覚性注意散漫状態）と、運転以外の考え事をしている状態（認知性注意散漫状態）と、覚醒度が低下した状態（覚醒度低下状態）とがあることが知られている。注意喚起装置１１は、視覚性注意散漫状態と、認知性注意散漫状態と、覚醒度低下状態とを識別して推定する。

【0016】

図１Ｂに示すように、カメラ１５は車両１０の計器盤に設置されている。そして、カメラ１５の近傍には、近赤外照明１６と、照度センサ１７とが設置されている。近赤外照明１６は、例えばＩＲＥＤ（Ｉｎｆｒａｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。近赤外照明１６は、カメラ１５が運転者３０の顔面領域を撮像する際の照明の役割を果たす。近赤外照明１６は運転者３０に感知されないため、運転者３０の視認行動には影響を与えない。なお、使用される近赤外照明１６は、カメラ１５の撮像素子の感度範囲の中に入っている発光波長のものが使用される。照度センサ１７は、運転者３０の顔面照度を計測する。

【0017】

車両１０のセンタークラスタには、モニタ１８が設置されている。また、車両１０のＡピラーには、スピーカ１９と可視光照明２０とが設置されている。また、車両１０のステアリング１４には、振動アクチュエータ２１が内蔵されている。

【0018】

モニタ１８と、スピーカ１９と、可視光照明２０と、振動アクチュエータ２１とは、注意喚起装置１１が、運転者３０が注意散漫状態にあると推定した場合に、運転者３０に対して、注意散漫状態の内容に応じた報知を行う。

【0019】

例えば、モニタ１８は、文字情報や画像情報、映像情報で報知を行う。スピーカ１９は、音情報や音声情報で報知を行う。可視光照明２０は、点灯または点滅することによって報知を行う。振動アクチュエータ２１は、振動することによって報知を行う。

【0020】

なお、モニタ１８と、スピーカ１９と、可視光照明２０と、振動アクチュエータ２１とは、全てが揃っている必要はなく、必要に応じて、適宜選択して使用される。

【0021】

（計測する眼球特徴）
図２Ａ，図２Ｂ，図２Ｃ，図２Ｄを用いて、注意喚起装置１１が計測する、運転者３０の眼球特徴を説明する。図２Ａは、注視点の位置を説明する図である。図２Ｂは、サッカードについて説明する図である。図２Ｃは、サッカードによる注視点の移動を説明する図である。図２Ｄは、瞳孔径について説明する図である。

【0022】

注意喚起装置１１は、図２Ａに示す注視点の位置を計測する。注視点の位置とは、眼球Ｅの中心から瞳孔Ｐの中心に向かって延びる半直線（以下、視線方向Ｄ１と呼ぶ）と、所定の平面や曲面との交点の位置である。なお、現実世界における注視点の位置は、左右の眼球の輻輳角によって決定し、奥行方向に３次元的に変化するため、正確に計測するのは困難である。そのため、本実施形態では、注視点の位置を視線方向Ｄ１で代用する。

【0023】

視線方向Ｄ１を計測する方法は各種提案されており、その実現方法は問わない。本実施形態では、例えば、カメラ１５が撮影した運転者３０の顔面を含む画像の中から、眼球Ｅの領域と瞳孔Ｐの位置とを抽出して、眼球Ｅの領域と瞳孔Ｐとの位置関係に基づいて、視線方向Ｄ１を決定する。

【0024】

眼球Ｅの領域は、例えば、予め用意された人間の顔面モデルと、実際の撮像された画像とを比較することによって検出する。瞳孔Ｐの位置は、検出された眼球Ｅの領域の中から、強膜（いわゆる白目）の領域と虹彩（いわゆる黒目）の領域とを識別することによって行う。

【0025】

また、視線方向Ｄ１は、瞳孔Ｐの位置と、近赤外照明１６の角膜反射光の位置との相対関係に基づいて計測してもよい。

【0026】

更に、視線方向Ｄ１は、機械学習によって形成された認識モデルに基づいて計測してもよい。

【0027】

これらの方法によって、例えば、図２Ａの下に示す眼球Ｅに対しては、視線方向Ｄ２を計測することができる。

【0028】

なお、運転中の運転者３０の視線方向Ｄ１は広い範囲に亘って移動する。更に、運転者３０は、頭部を動かして対象物を視認する場合もある。したがって、注意喚起装置１１は、複数のカメラ１５を備えて、視線方向Ｄ１の計測範囲を拡大させてもよい。

【0029】

運転者３０の眼球Ｅは、図２Ｂに示すように、非常に短い時間の間に、視線方向Ｄを大きく変化させる場合がある。このような視線の動きは、サッカードと呼ばれている。サッカードは、一般に視対象を変化させる場合に発生する。例えば、前方を見ていた運転者３０が、速度計を確認するために視線の向きを移動させた場合に発生する。このような場合、運転者が認識する画像情報は、前方の景色から、瞬時に速度計の画像情報に変化する。そして、サッカードが発生している間の視覚情報は遮断される。

【0030】

図２Ｃは、サッカードが発生した際の視線方向Ｄの時間推移の一例を示す。図２Ｃにおいて、時刻ｔ１と時刻ｔ２でサッカードが発生している。時刻ｔ１において、視線方向Ｄは、ごく短時間の間に、視線方向Ｄ１から視線方向Ｄ２まで大きく変化している。また、時刻ｔ２において、視線方向Ｄは、ごく短時間の間に、視線方向Ｄ２から視線方向Ｄ１まで大きく変化している。これは、時刻ｔ１および時刻ｔ２において、運転者３０が視対象を変化させていることを示す。

【0031】

なお、図２Ｃにおいて、時刻ｔ１と時刻ｔ２の間隔をサッカード間隔Ｓｉと呼ぶ。また、視線方向Ｄ１と視線方向Ｄ２との差をサッカード距離Ｓｄと呼ぶ。なお、サッカード距離Ｓｄは、サッカードによって発生した注視点の移動角度を表す。

【0032】

サッカード間隔Ｓｉとサッカード距離Ｓｄとは、覚醒度と相関があることが知られている。

【0033】

注意喚起装置１１は、更に、図２Ｄに示す瞳孔径Ｐｄを計測する。瞳孔径Ｐｄは瞳孔Ｐの直径を表す。瞳孔Ｐは、虹彩Ｉとともに、いわゆる黒目の領域を形成する。瞳孔径Ｐｄは顔面照度に応じて変化する。即ち、顔面照度が高くなると瞳孔径Ｐｄは小さくなり（縮瞳）、顔面照度が低くなると瞳孔径Ｐｄは大きくなる（散瞳）。また、瞳孔径Ｐｄは、人間の精神状態、例えば覚醒度によっても変化することが知られている。

【0034】

なお、注意喚起装置１１は、これらの眼球特徴の他にまばたき（瞬目）の検出も行う。まばたきが発生したことは、例えばカメラ１５が撮像した画像の中から眼球Ｅの領域が検出されないことによって判定することができる。そして、注意喚起装置１１は、まばたきが発生する前後の注視点の位置（視線方向Ｄ）を線形補間する。

【0035】

注意喚起装置１１は、計測されたこれらの複数の眼球特徴の時間変化を分析することによって、運転者３０の注意散漫状態を評価する。具体的には、注意喚起装置１１は、複数の眼球特徴を組み合わせることによって、上述した視覚性注意散漫状態と、認知性注意散漫状態と、覚醒度低下状態とを識別して推定する。

【0036】

注意喚起装置１１は、運転者３０の視線方向Ｄ（注視点の位置）が、第１の時間に亘って第１の範囲の外まで動かない場合に、運転者３０は視覚性注意散漫状態にあると推定する。第１の時間は、例えば１０～３０秒である。第１の範囲は、例えば、有効視野角と呼ばれる２０°の範囲である。なお、視覚性注意散漫状態は、本開示における第１の注意散漫状態の一例である。

【0037】

また、注意喚起装置１１は、運転者３０のサッカード距離Ｓｄ（注視点の移動角度）が、第２の時間に亘って第１の距離を超えない場合に、運転者３０は認知性注意散漫状態にあると推定する。第２の時間は、例えば１０～３０秒である。第１の距離は、例えば７°である。なお、認知性注意散漫状態は、本開示における第２の注意散漫状態の一例である。

【0038】

また、注意喚起装置１１は、運転者３０の瞳孔径Ｐｄが、第３の時間に亘って、運転者３０の顔面照度から推定される瞳孔径Ｐｄｒｅｆを基準として、所定の割合よりも小さい場合に、運転者３０は覚醒度低下状態にあると推定する。第３の時間は、例えば１０秒である。所定の割合は、例えば、そのときの運転者３０の顔面照度から推定される瞳孔径Ｐｄｒｅｆを基準として５０％以下である。なお、覚醒度低下状態は、本開示における第３の注意散漫状態の一例である。

【0039】

（注意喚起装置のハードウエア構成）
図３を用いて、注意喚起装置１１のハードウエア構成を説明する。図３は、実施形態の注意喚起装置のハードウエア構成の一例を示すハードウエアブロック図である。

【0040】

注意喚起装置１１は、当該注意喚起装置１１の全体の動作を制御するＥＣＵ１２と、当該ＥＣＵ１２に接続される各種周辺機器とを備える。

【0041】

各種周辺機器は、いずれも上述した、カメラ１５と、近赤外照明１６と、照度センサ１７と、モニタ１８と、スピーカ１９と、可視光照明２０と、振動アクチュエータ２１である。

【0042】

また、注意喚起装置１１は、車速センサ２２を備える。車速センサ２２は、車両１０の車速を検出する。ＥＣＵ１２は、車速センサ２２が検出した車両１０の車速が０でない場合、即ち車両１０が走行している場合に、運転者３０の注意散漫状態の推定を行う。

【0043】

（注意喚起装置の機能構成）
図４を用いて、注意喚起装置１１の機能構成を説明する。図４は、実施形態の注意喚起装置の機能構成の一例を示す機能ブロック図である。

【0044】

注意喚起装置１１のＥＣＵ１２は、図４に示す視点位置計測部３１と、サッカード計測部３２と、瞳孔径計測部３３と、顔面照度計測部３４と、瞬目検出部３５と、注意散漫状態推定部３６と、報知制御部３７と、車両状態検出部３８とを機能部位として実現する。これらの機能部位は、注意喚起装置１１が予め記憶している制御プログラムを実行することによって実現される。なお、これらの機能部位は、専用ハードウエアによって実現されてもよい。また、例えば、ＥＣＵ１２に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）もしくはその両方で、これらの機能部位を実現してもよい。

【0045】

視点位置計測部３１は、運転者３０の眼球のサッカードによって発生した注視点の移動角度（サッカード距離Ｓｄ）とサッカード間隔Ｓｉを計測する。なお、視点位置計測部３１は、本開示における計測手段の一例である。

【0046】

サッカード計測部３２は、運転者３０の眼球Ｅのサッカードによって発生したサッカード距離Ｓｄとサッカード間隔Ｓｉとを計測する。なおサッカード計測部３２は、本開示における計測手段の一例である。

【0047】

瞳孔径計測部３３は、運転者３０の瞳孔径Ｐｄを計測する。なお、瞳孔径計測部３３は、本開示における計測手段の一例である。また、瞳孔径計測部３３は、顔面照度計測部３４が計測した運転者３０の顔面照度から推定される瞳孔径Ｐｄｒｅｆを算出する。

【0048】

顔面照度計測部３４は、運転者３０の顔面照度を計測する。具体的には、顔面照度計測部３４は、照度センサ１７の出力をモニタすることによって、運転者３０の顔面照度を計測する。

【0049】

瞬目検出部３５は、運転者３０の眼球Ｅのまばたきの発生を検出する。

【0050】

注意散漫状態推定部３６は、上述した各計測部の計測結果に基づいて、前記利用者が注意散漫状態であるか否かと、注意散漫状態の内容とを推定する、なお、注意散漫状態推定部３６は、本開示における推定手段の一例である。

【0051】

具体的には、注意散漫状態推定部３６は、運転者３０の注視点の位置が、第１の時間に亘って第１の範囲の外まで動かない場合に、運転者３０は視覚性注意散漫状態であると推定する。また、注意散漫状態推定部３６は、運転者３０の眼球のサッカードによって発生した注視点の移動角度が、第２の時間に亘って第１の距離を超えない場合に、運転者３０は認知性注意散漫状態であると推定する。また、注意散漫状態推定部３６は、運転者３０の瞳孔径Ｐｄが、第３の時間に亘って、運転者３０の顔面照度から推定される瞳孔径Ｐｄｒｅｆを基準として、所定の割合よりも小さい場合に、運転者３０は覚醒度低下状態であると推定する。

【0052】

報知制御部３７は、注意散漫状態推定部３６が、運転者３０が注意散漫状態であると推定した場合に、運転者３０に対して、推定された注意散漫状態の内容に応じた報知を行う。なお、報知制御部３７は、本開示における報知手段の一例である。

【0053】

具体的には、報知制御部３７は、運転者３０が視覚性注意散漫状態または認知性注意散漫状態であると推定された場合に、運転者３０の注意を引きつける報知を行う。また、報知制御部３７は、運転者３０が第３の覚醒度低下状態であると推定された場合に、運転者３０を覚醒させる報知を行う。

【0054】

車両状態検出部３８は、車両１０が走行しているか否かを検出する。具体的には、車両状態検出部３８は、車速センサ２２が検出した車両１０の車速に基づいて、車両１０が走行しているか否かを検出する。

【0055】

（注意喚起装置が行う処理の流れ）
図５を用いて、注意喚起装置１１が行う処理の流れを説明する。図５は、注意喚起装置が行う処理の流れの一例を示すフローチャートである。

【0056】

車両状態検出部３８は、車両１０の車速が０でないかを判定する（ステップＳ１１）。車両１０の車速が０でないと判定される（ステップＳ１１：Ｙｅｓ）とステップＳ１２およびステップＳ１３に進む。一方、車両１０の車速が０でないと判定されない（ステップＳ１１：Ｎｏ）、即ち車両１０の車速が０であると判定されると、ステップＳ１１を繰り返す。

【0057】

ステップＳ１１において、車両１０の車速が０でないと判定されると、注意散漫状態推定部３６は、視点位置計測部３１、瞬目検出部３５と連携して、視線の動き追跡処理を行う（ステップＳ１２）。また、注意散漫状態推定部３６は、サッカード計測部３２、瞳孔径計測部３３、顔面照度計測部３４、瞬目検出部３５と連携して、サッカード追跡処理を行う（ステップＳ１３）。なお、ステップＳ１２の視線の動き追跡処理と、ステップＳ１３のサッカード追跡処理とは、同時並行的に実行される。なお、視線の動き追跡処理の詳細（図６参照）、およびサッカード追跡処理の詳細（図７参照）は後述する。

【0058】

ステップＳ１２およびステップＳ１３に続いて、車両状態検出部３８は、車両１０の運転が終了したかを判定する（ステップＳ１４）。車両１０の運転が終了したと判定される（ステップＳ１４：Ｙｅｓ）と、注意喚起装置１１は、図５の処理を終了する。一方、車両１０の運転が終了したと判定されない（ステップＳ１４：Ｎｏ）とステップＳ１１に戻る。

【0059】

（視線の動き追跡処理の流れ）
図６を用いて、注意喚起装置１１が行う視線の動き追跡処理の流れを説明する。図６は、視線の動き追跡処理の流れの一例を示すフローチャートである。

【0060】

視点位置計測部３１は、運転者３０の注視点の位置を計測する（ステップＳ２１）。

【0061】

瞬目検出部３５は、運転者３０がまばたきをしたかを判定する（ステップＳ２２）。運転者３０がまばたきをしたと判定される（ステップＳ２２：Ｙｅｓ）とステップＳ２３に進む。一方、運転者３０がまばたきをしたと判定されない（ステップＳ２２：Ｎｏ）とステップＳ２４に進む。

【0062】

ステップＳ２２において、運転者３０がまばたきをしたと判定されると、視点位置計測部３１は、まばたきの前後の運転者３０の注視点の位置を線形補間する（ステップＳ２３）。その後、ステップＳ２４に進む。

【0063】

ステップＳ２２において、運転者３０がまばたきをしたと判定されない場合、またはステップＳ２３に続いて、注意散漫状態推定部３６は、運転者３０の注視点が、所定範囲（例えば２０°の範囲）から動かない状態が一定時間（例えば１０～３０秒）継続しているかを判定する（ステップＳ２４）。運転者３０の注視点が、所定範囲から動かない状態が一定時間継続していると判定される（ステップＳ２４：Ｙｅｓ）とステップＳ２５に進む。一方、運転者３０の注視点が、所定範囲から動かない状態が一定時間継続していると判定されない（ステップＳ２４：Ｎｏ）と、メインルーチンである図５のステップＳ１４に戻る。

【0064】

ステップＳ２４において、運転者３０の注視点が、所定範囲から動かない状態が一定時間継続していると判定されると、報知制御部３７は、運転者３０の注意を引きつけて、注意を運転に戻す報知を行う（ステップＳ２５）。その後、メインルーチンである図５のステップＳ１４に戻る。なお、運転者３０の注意を引きつける報知は、例えば、断続音や点滅表示等である。ステップＳ２５で出力された報知は、所定時間経過した後に終了してもよいし、視線の動き追跡処理を継続して、ステップＳ２４において、運転者３０の注視点が、所定範囲から動かない状態が一定時間継続していると判定されない場合に報知を終了させてもよい。

【0065】

（サッカード追跡処理の流れ）
図７を用いて、注意喚起装置１１が行うサッカード追跡処理の流れを説明する。図７は、サッカード追跡処理の流れの一例を示すフローチャートである。

【0066】

サッカード計測部３２は、運転者３０の眼球Ｅのサッカードを検出して、サッカードによって発生したサッカード距離Ｓｄとサッカード間隔Ｓｉとを計測する（ステップＳ３１）。

【0067】

瞬目検出部３５は、運転者３０がまばたきをしたかを判定する（ステップＳ３２）。運転者３０がまばたきをしたと判定される（ステップＳ３２：Ｙｅｓ）とステップＳ３３に進む。一方、運転者３０がまばたきをしたと判定されない（ステップＳ３２：Ｎｏ）とステップＳ３４に進む。

【0068】

ステップＳ３２において、運転者３０がまばたきをしたと判定されると、サッカード計測部３２は、処理を一時停止する（ステップＳ３３）。その後、ステップＳ３１に戻る。

【0069】

ステップＳ３２において、運転者３０がまばたきをしたと判定されないと、注意散漫状態推定部３６は、サッカード距離Ｓｄが、一定時間（例えば１０～３０秒）に亘って所定値（例えば７°）を超えないかを判定する（ステップＳ３４）。なお、ステップＳ３３において、処理を停止していた時間は、前記した一定時間から除かれる。サッカード距離Ｓｄが、一定時間に亘って所定値を超えないと判定される（ステップＳ３４：Ｙｅｓ）とステップＳ３５に進む。一方、サッカード距離Ｓｄが、一定時間に亘って所定値を超えないと判定されない（ステップＳ３４：Ｎｏ）とステップＳ３６に進む。

【0070】

ステップＳ３４において、サッカード距離Ｓｄが、一定時間に亘って所定値を超えないと判定されると、報知制御部３７は、運転者３０の注意を引きつけて、注意を運転に戻す報知を行う（ステップＳ３５）。その後、メインルーチンである図５のステップＳ１４に戻る。なお、運転者３０の注意を引きつける報知は、例えば、断続音や点滅表示等である。ステップＳ３５で出力された報知は、所定時間経過した後に終了してもよいし、サッカード追跡処理を継続して、ステップＳ３４において、サッカード距離Ｓｄが、一定時間に亘って所定値を超えないと判定されない場合に報知を終了させてもよい。

【0071】

一方、ステップＳ３４において、サッカード距離Ｓｄが、一定時間に亘って所定値を超えないと判定されないと、顔面照度計測部３４は、運転者３０の顔面照度を計測する（ステップＳ３６）。

【0072】

瞳孔径計測部３３は、運転者３０の顔面照度から推定される瞳孔径Ｐｄｒｅｆを算出する（ステップＳ３７）。

【0073】

瞳孔径計測部３３は、運転者３０の瞳孔径Ｐｄを計測する（ステップＳ３８）。

【0074】

注意散漫状態推定部３６は、運転者３０の瞳孔径Ｐｄが、ステップＳ３７で推定された瞳孔径Ｐｄｒｅｆの所定割合（例えば５０％）以下となる状態が一定時間（例えば１０秒）継続したかを判定する（ステップＳ３９）。運転者３０の瞳孔径Ｐｄが、ステップＳ３７で推定された瞳孔径Ｐｄｒｅｆの所定割合以下となる状態が一定時間継続したと判定される（ステップＳ３９：Ｙｅｓ）とステップＳ４０に進む。一方、運転者３０の瞳孔径Ｐｄが、ステップＳ３７で推定された瞳孔径Ｐｄｒｅｆの所定割合以下となる状態が一定時間継続したと判定されない（ステップＳ３９：Ｎｏ）と、メインルーチンである図５のステップＳ１４に戻る。

【0075】

ステップＳ３９において、運転者３０の瞳孔径Ｐｄが、ステップＳ３７で推定された瞳孔径Ｐｄｒｅｆの所定割合以下となる状態が一定時間継続したと判定されると、報知制御部３７は、運転者３０の覚醒を促す報知を行う（ステップＳ４０）。その後、メインルーチンである図５のステップＳ１４に戻る。なお、運転者３０の覚醒を促す報知は、例えば、大きめの音の出力や点滅表示等である。なお、運転者３０の覚醒を促す報知は、所定時間経過した後に終了してもよいし、瞳孔径Ｐｄの計測を継続して、ステップＳ３９において、運転者３０の瞳孔径Ｐｄが、ステップＳ３７で推定された瞳孔径Ｐｄｒｅｆの所定割合以下となる状態が一定時間継続したと判定されない場合に報知を終了させてもよい。

【0076】

（実施の形態の作用効果）
以上説明したように、本実施形態に係る注意喚起装置１１は、運転者３０（利用者）の注視点の位置を計測する視点位置計測部３１（計測手段）と、眼球のサッカードによって発生したサッカード距離Ｓｄとサッカード間隔Ｓｉとを計測するサッカード計測部３２（計測手段）と、瞳孔径Ｐｄを計測する瞳孔径計測部３３（計測手段）と、視点位置計測部３１とサッカード計測部３２と瞳孔径計測部３３との計測結果に基づいて、運転者３０が注意散漫状態であるか否かと、注意散漫状態の内容とを推定する注意散漫状態推定部３６（推定手段）と、注意散漫状態推定部３６が、運転者３０が注意散漫状態であると推定した場合に、当該運転者３０に対して、推定された注意散漫状態の内容に応じた報知を行う報知制御部３７（報知手段）と、を備える。したがって、運転者３０の注意散漫状態の内容に応じた推定を行い、推定された注意散漫状態の内容に応じた報知を行うことができる。

【0077】

また、本実施形態に係る注意喚起装置１１において、注意散漫状態推定部３６（推定手段）は、運転者３０（利用者）の注視点の位置が、第１の時間に亘って第１の範囲の外まで動かない場合に、当該利用者は視覚性注意散漫状態（第１の注意散漫状態）にあると推定する。したがって、運転者３０が視覚性注意散漫状態にあることを、確実に推定することができる。

【0078】

また、本実施形態に係る注意喚起装置１１において、注意散漫状態推定部３６（推定手段）は、運転者３０（利用者）のサッカード距離Ｓｄが、第２の時間に亘って第１の距離を超えない場合に、当該利用者は認知性注意散漫状態（第２の注意散漫状態）にあると推定する。したがって、運転者３０が認知性注意散漫状態にあることを、確実に推定することができる。

【0079】

また、本実施形態に係る注意喚起装置１１において、注意散漫状態推定部３６（推定手段）は、運転者３０（利用者）の瞳孔径Ｐｄが、第３の時間に亘って、前記利用者の顔面照度から推定される瞳孔径を基準として、所定の割合よりも小さい場合に、運転者３０は覚醒度低下状態（第３の注意散漫状態）にあると推定する。したがって、運転者３０が覚醒度低下状態にあることを、確実に推定することができる。

【0080】

また、本実施形態に係る注意喚起装置１１において、報知制御部３７（報知手段）は、運転者３０（利用者）が視覚性注意散漫状態（第１の注意散漫状態）または認知性注意散漫状態（第２の注意散漫状態）にあると推定された場合に、運転者３０の注意を引きつける報知を行う。したがって、運転者３０の注意を運転に引き戻すことができる。

【0081】

また、本実施形態に係る注意喚起装置１１において、報知制御部３７（報知手段）は、運転者３０（利用者）が覚醒度低下状態（第３の注意散漫状態）にあると推定された場合に、運転者３０を覚醒させる報知を行う。したがって、運転者３０を覚醒させることができる。

【0082】

また、本実施形態に係る注意喚起装置１１において、報知制御部３７（報知手段）は、音、光、映像、振動の少なくとも１つを用いて、運転者３０（利用者）に報知を行う。したがって、運転者３０の注意を引きつけたり、運転者３０を覚醒させる報知を行うことができる。

【0083】

（実施形態の変形例）
実施形態の変形例の注意喚起装置は、車両１０の車速が高いほど、運転者３０が注意散漫状態にあると推定しやすくなるように設定する。なお、実施形態の変形例の注意喚起装置のハードウエア構成は、図３に示した注意喚起装置１１のハードウエア構成と同じである。また、実施形態の変形例の注意喚起装置は、図４に示した注意喚起装置１１の機能構成とほぼ同じであるが、注意散漫状態推定部３６は、更に、車両１０の車速が高いほど、運転者３０が注意散漫状態にあると推定する際に使用する各種閾値を、注意散漫状態にあると判定しやすくなるように設定する機能を備える。

【0084】

運転者３０が注意散漫状態にあると推定する際に使用する各種閾値とは、上述した実施形態で説明した、注意散漫状態推定部３６が、運転者３０の注視点の位置を分析する際に使用する第１の時間と第１の範囲と、注意散漫状態推定部３６が、運転者３０の眼球のサッカードによって発生した注視点の移動角度を分析する際に使用する第２の時間と第１の距離と、注意散漫状態推定部３６が、運転者３０の瞳孔径Ｐｄを分析する際に使用する第３の時間と所定の割合である。実施形態の変形例の注意喚起装置は、車両１０の車速が高いほど、これらの閾値を、運転者３０が注意散漫状態にあると判定しやすくなるように設定する。

【0085】

以下、図８を用いて、実施形態の変形例の注意喚起装置を行う処理の流れを説明する。図８は、実施形態の変形例の注意喚起装置が行う処理の流れの一例を示すフローチャートである。

【0086】

車両状態検出部３８は、車両１０の車速が０でないかを判定する（ステップＳ５１）。車両１０の車速が０でないと判定される（ステップＳ５１：Ｙｅｓ）とステップＳ５２およびステップＳ５４に進む。一方、車両１０の車速が０でないと判定されない（ステップＳ５１：Ｎｏ）、即ち車両１０の車速が０であると判定されると、ステップＳ５１を繰り返す。

【0087】

ステップＳ５１において、車両１０の車速が０でないと判定されると、注意散漫状態推定部３６は、運転者３０の視線の動きに基づいて運転者３０が注意散漫状態にあると判定する閾値を、車速が高いほど注意散漫状態にあると判定しやすくなるように設定する（ステップＳ５２）。

【0088】

注意散漫状態推定部３６は、視点位置計測部３１、瞬目検出部３５と連携して、視線の動き追跡処理を行う（ステップＳ５３）。その後、ステップＳ５６に進む。

【0089】

また、ステップＳ５１において、車両１０の車速が０でないと判定されると、注意散漫状態推定部３６は、運転者３０のサッカードおよび瞳孔径Ｐｄに基づいて運転者３０が注意散漫状態にあると判定する閾値を、車速が高いほど注意散漫状態にあると判定しやすくなるように設定する（ステップＳ５４）。

【0090】

注意散漫状態推定部３６は、サッカード計測部３２、瞳孔径計測部３３、顔面照度計測部３４、瞬目検出部３５と連携して、サッカード追跡処理を行う（ステップＳ５５）。その後、ステップＳ５６に進む。なお、ステップＳ５３の視線の動き追跡処理と、ステップＳ５５のサッカード追跡処理とは、同時並行的に実行される。なお、視線の動き追跡処理の詳細、およびサッカード追跡処理の詳細は、前述した通りである（図６，図７参照）。

【0091】

ステップＳ５３およびステップＳ５５に続いて、車両状態検出部３８は、車両１０の運転が終了したかを判定する（ステップＳ５６）。車両１０の運転が終了したと判定される（ステップＳ５６：Ｙｅｓ）と、注意喚起装置は、図８の処理を終了する。一方、車両１０の運転が終了したと判定されない（ステップＳ５６：Ｎｏ）とステップＳ５１に戻る。

【0092】

以上説明したように、実施形態の変形例の注意喚起装置において、注意散漫状態推定部３６（推定手段）は、車両状態検出部３８が検出した車速が高いほど、運転者３０（利用者）が注意散漫状態であると判定する閾値を、注意散漫状態であると判定しやすくなるように設定する。したがって、車両１０の車速が高いほど、運転者３０の注意散漫状態に移行しつつある段階で、早めの報知を行うことができる。

【0093】

以上、本発明の実施の形態について説明したが、上述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0094】

１０ 車両
１１ 注意喚起装置
１３ 運転席
１５ カメラ
１６ 近赤外照明
１７ 照度センサ
１８ モニタ
１９ スピーカ
２０ 可視光照明
２１ 振動アクチュエータ
２２ 車速センサ
３０ 運転者（利用者）
３１ 視点位置計測部（計測手段）
３２ サッカード計測部（計測手段）
３３ 瞳孔径計測部（計測手段）
３４ 顔面照度計測部
３５ 瞬目検出部
３６ 注意散漫状態推定部（推定手段）
３７ 報知制御部（報知手段）
３８ 車両状態検出部
Ｄ，Ｄ１，Ｄ２ 視線方向
Ｅ 眼球
Ｐ 瞳孔
Ｐｄ，Ｐｄｒｅｆ 瞳孔径
Ｓｉ サッカード間隔
Ｓｄ サッカード距離

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】