特許 7192668 覚醒度判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】覚醒度判定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221213BHJP

   G06T 7/20 20170101ALI20221213BHJP

   G06T 7/254 20170101ALI20221213BHJP

【ＦＩ】

G08G1/16 F

G06T7/20 300Z

G06T7/254

【請求項の数】 8

(21)【出願番号】P 2019107255

(22)【出願日】2019-06-07

(65)【公開番号】P2020013554

(43)【公開日】2020-01-23

【審査請求日】2021-08-25

(31)【優先権主張番号】P 2018128257

(32)【優先日】2018-07-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】澤井 佑樹

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１５－０９６４１３（ＪＰ，Ａ）

【文献】特開２０１２－１６４０４０（ＪＰ，Ａ）

【文献】特開２００９－２１３６３６（ＪＰ，Ａ）

【文献】特開２０１０－１２８６４９（ＪＰ，Ａ）

【文献】特開２０００－１１３１６４（ＪＰ，Ａ）

【文献】特開２０１８－０４５３８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０８Ｂ １９／００ － ２１／２４

Ｂ６０Ｋ ２５／００ － ２８／１６

(57)【特許請求の範囲】

【請求項1】

車両を運転する運転者の覚醒度を判定する覚醒度判定装置（１，２）であって、
前記運転者について、人体の動きの大きさを示す体動量を検出するように構成された検出部（１２，３０）と、
前記運転者の覚醒度を判定するように構成された判定部（１４）と、
を備え、
前記判定部は、前記体動量が減少傾向にある場合に前記運転者が覚醒度低下の初期段階にあると判定し、
前記判定部は、前記体動量が減少傾向から増加傾向へ転じた場合に前記運転者が覚醒度低下の進行段階にあると判定する、
覚醒度判定装置。

【請求項2】

前記検出部は、前記運転者の実際の動きの大きさに基づき検出される前記体動量から、前記車両の周辺状況に応じた前記運転者の適正な動作に起因する動きの大きさとして推測される値を差し引くことにより、前記体動量を補正する、請求項１に記載の覚醒度判定装置。

【請求項3】

車両を運転する運転者の覚醒度を判定する覚醒度判定装置（１，２）であって、
前記運転者について、人体の動きの大きさを示す体動量を検出するように構成された検出部（１２，３０）と、
前記運転者の覚醒度を判定するように構成された判定部（１４）と、
を備え、
前記判定部は、前記体動量が減少傾向にある場合に前記運転者が覚醒度低下の初期段階にあると判定し、
前記検出部は、前記運転者の実際の動きの大きさに基づき検出される前記体動量から、前記車両の周辺状況に応じた前記運転者の適正な動作に起因する動きの大きさとして推測される値を差し引くことにより、前記体動量を補正する、
覚醒度判定装置。

【請求項4】

前記検出部は、前記運転者を時系列に沿って撮像することにより得られる画像を差分処理することにより、前記画像上の前記運転者の動きの量を前記体動量として検出する、請求項１～請求項３のいずれか一項に記載の覚醒度判定装置。

【請求項5】

前記車両の走行状態に関する情報及び前記車両に対する操作の情報のうち少なくとも一方に基づき、前記判定部が前記体動量に基づいて前記運転者の覚醒度を判定するか否かを決定するように構成された決定部（１３）を更に備える、請求項１～請求項４のいずれか一項に記載の覚醒度判定装置。

【請求項6】

前記決定部は、前記車両の車速が所定のしきい値以下である場合に前記運転者の覚醒度を判定しないと決定する請求項５に記載の覚醒度判定装置。

【請求項7】

前記決定部は、前記車両の操舵角が所定のしきい値よりも大きい場合に前記運転者の覚醒度を判定しないと決定する請求項５又は請求項６に記載の覚醒度判定装置。

【請求項8】

前記検出部は、前記運転者の実際の動きの大きさに基づき検出される前記体動量から、前記車両の挙動に起因する前記運転者の動きの大きさとして推測される値を差し引くことにより、前記体動量を補正する、請求項１～請求項７のいずれか１項に記載の覚醒度判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両を運転する運転者の覚醒度を判定する覚醒度判定装置に関する。

【背景技術】

【0002】

車両を運転する運転者が居眠り運転する予兆を検出するために運転者の覚醒度の低下を判定する装置がある。
下記特許文献１には、手の動作、首の動作、ため息、深呼吸、及びあくびなどの居眠りに至るまでの副次的動作の経時変化から、覚醒度の低下を検出することが記載されている。これは、覚醒度の低下に伴い運転者ができる限り覚醒しようと努力するためこうした副次的動作の頻度が高くなる一方、睡魔に勝てずに更に覚醒度が低下すると副次的動作の頻度が低くなるという知見に基づくものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２０４９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

居眠り運転の発生を抑制するためには運転者の覚醒度の低下をできる限り早い段階で検出することが望ましい。しかしながら、発明者の詳細な検討の結果、上記特許文献１に記載されている方法では覚醒度低下の初期段階を検出するには十分でないことが判明した。すなわち、覚醒努力として上記副次的動作が生じるのは運転者が強い眠気を感じてそれに抗おうとするためである。そのため、副次的動作の頻度が高くなった段階ではすでに運転者の覚醒度が相当低下していると考えられる。

【0005】

本開示の１つの局面は、覚醒度低下の初期段階を検出することができる覚醒度判定装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様は、車両を運転する運転者の覚醒度を判定する覚醒度判定装置（１，２）であって、検出部（１２，３０）と、判定部（１４）と、を備える。検出部は、運転者について、人体の動きの大きさを示す体動量を検出するように構成される。判定部は、運転者の覚醒度を判定するように構成される。また、判定部は、体動量が減少傾向にある場合に運転者が覚醒度低下の初期段階にあると判定する。

【0007】

このような構成によれば、副次的動作の頻度が高くなる段階よりも早い段階で、運転者の覚醒度低下を検出することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の覚醒度判定装置の構成を示すブロック図である。

【図2】画像における体動量の検出範囲を示す図である。

【図3】覚醒度判定装置における処理手順の一例を示す図である。

【図4】覚醒度判定装置における処理手順の一例を示す図である。

【図5】運転者の体動量の変化を示す図とその平均体動量の変化を示す図である。

【図6】第２実施形態の覚醒度判定装置の構成を示すブロック図である。

【図7】第２実施形態の検出部の構成を示すブロック図である。

【図8A】撮像部から取得される画像の一例を示す図である。

【図8B】画像における車外環境情報の検出範囲を示す図である。

【図8C】対象物を視認する運転者の動作の一例を示す図である。

【図9A】カーブした道路を走行中における運転者の体動の一例を示す図である。

【図9B】減速中又は加速中における運転者の体動の一例を示す図である。

【図10】第２実施形態の体動量検出の処理手順の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１－１．構成］
図１に示す覚醒度判定装置１は、自動車などの車両に搭載され、車両を運転する運転者の覚醒度を判定する装置である。

【0010】

覚醒度判定装置１が搭載される車両には、覚醒度判定装置１以外に、撮像部２１と、車両センサ２２と、が搭載されている。
撮像部２１は、車両の室内の前方に、運転席と対向する位置に設けられ、運転席に着座した状態の運転者を正面から撮像するように構成されている。撮像部２１は、運転者を時系列に沿って撮像することが可能である。すなわち、撮像部２１は、運転者を所定時間ごとに撮像することが可能である。撮像部２１としてはカメラが挙げられる。

【0011】

車両センサ２２は、車両の走行状態に関する情報や車両に対する操作の情報などの車両情報を検出するためのものである。車両センサ２２が検出した車両情報は、後述する決定部１３での処理に用いられる。本実施形態では、車両の走行状態に関する情報を検出する車両センサ２２として、車両の走行速度を検出する車速センサ２２ａを備える。また、本実施形態では、車両に対する操作を検出する車両センサ２２として、ステアリングの操舵角を検出する操舵角センサ２２ｂを備える。

【0012】

覚醒度判定装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ及びこれらの構成を接続するバスラインなどを含むマイクロコンピュータを中心に構成されており、各種処理を実行する。覚醒度判定装置１は、ＲＯＭに記憶されているプログラムを実行することにより実現される機能ブロック、すなわち、仮想的な構成要素として、図１に示すように、取得部１１と、検出部１２と、決定部１３と、判定部１４と、を備える。覚醒度判定装置１に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

【0013】

取得部１１は、車両センサ２２が検出した車両情報を取得するように構成されている。取得部１１は、車両情報を車両センサ２２から直接、又は、ＣＡＮ（登録商標）などの車載ネットワークを通じて取得する。

【0014】

検出部１２は、運転者の体動量を検出するように構成されている。体動量とは、人体の動きの大きさを示す値である。検出部１２において検出された体動量は、後述する判定部１４において、運転者の覚醒度を判定する際に使用される。検出部１２は、撮像部２１から得られた画像を差分処理することによって、画像上の運転者の動きの量を体動量として検出する。

【0015】

具体的に、検出部１２はまず、撮像部２１から画像を取得する。
次いで、図２に示すように、検出部１２は、得られた画像５１上で運転者とその周辺部分を検出範囲５２として切り出す。このとき、運転者の少なくとも腕及び頭の動きを検出できるように、運転者の上半身が検出範囲５２に含まれることが好ましい。また、運転者の動きが検出範囲５２内で検出されるように、運転席にきちんと着座した状態の運転者が検出可能な最小範囲よりも広く、その運転者の周辺領域も検出範囲５２として切り出すことが好ましい。検出範囲５２は、運転者の動きが検出できるように実験的に求められた範囲をあらかじめ設定したものであってもよいし、運転者ごとに検出範囲５２を変えられるようにその場で適宜設定される範囲であってもよい。一方、背景内でその検出範囲５２内に含まれうる運転者以外の動体が入り込む領域、例えば、運転席横の窓の枠内の領域や後部座席の窓の枠内の領域などは、後述する差分処理の対象とならないように、除外範囲５３として検出範囲５２から除外される。

【0016】

次いで、検出部１２は、所定の時刻に撮像された画像内の検出範囲とその時刻よりも一つ前の時刻に撮像された画像内の検出範囲との間で差分処理を行うことにより、両画像間の検出範囲内で変化した領域を抽出する。検出部１２は、変化した領域として特定された画素群について、運転者の動きによるものと考えられる領域の面積を求めて体動量とする。変化した領域として、明るさの変動などの理由によるノイズが検出されたり、運転席の背後の人物や助手席の人物等の動きが検出されたりすることがある。しかし、主たる検出対象である運転者の位置や大きさを考慮することで、変化した領域の中から運転者の動きによるものを抽出することができる。

【0017】

決定部１３は、判定部１４が覚醒度を判定するか否かを決定するように構成されている。本実施形態において、決定部１３は、検出部１２から入力された体動量について判定部１４における覚醒度の判定に使用するか否かを決定するように構成されている。すなわち、決定部１３は、検出部１２から入力された体動量について判定部１４が覚醒度の判定を行うか否かを決定している。また、決定部１３は、判定部１４が覚醒度を判定するか否かの決定を、取得部１１によって入力された車両情報に基づいて行う。本実施形態においては、車速センサ２２ａが検出した車速及び操舵角センサ２２ｂが検出した操舵角に基づいて、判定部１４が覚醒度を判定するか否かを決定する。決定部１３における処理については後に詳述する。

【0018】

判定部１４は、覚醒度の判定を行うように構成されている。具体的には、体動量が減少傾向にある場合に運転者が覚醒度低下の初期段階にあると判定する。これは、本発明者が見いだした、運転者の覚醒度と体動量と関係に基づくものである。

【0019】

本発明者は、運転者の覚醒度を文献に記載の方法（すなわち、「自動車運転時の眠気の予測方法についての研究 第１報 眠気表情の評定法と眠気変動の予測に有効な指標について」、北島洋樹ら著、日本機械学会論文集（Ｃ集）６３巻、６１３号、ＰＰ９３－１００、１９９７）に基づいて評価し、運転者の覚醒度と体動量との関係を調べた。具体的には、運転者の覚醒度を、上記文献に記載の眠気レベル０～眠気レベル４の５段階、すなわち、眠気レベル０の「全く眠くなさそう」、眠気レベル１の「やや眠そう」、眠気レベル２の「眠そう」、眠気レベル３の「かなり眠そう」、及び眠気レベル４の「非常に眠そう」の５段階の基準で、本発明者は評価した。

【0020】

その結果、眠気レベル０から眠気レベル２への遷移段階では、眠気レベルの上昇に伴い運転者の体動量が減少する傾向にあることが判明した。これは、覚醒度が低下することにより無意識下で運転者の身体動作の鈍化が起こっているためと考えられる。一方、眠気レベル３以上の覚醒度が進行した段階になると、運転者の体動量が増加する傾向にあった。これは、運転者が眠気を知覚し、意識的な覚醒努力を行うことによって、様々な身体動作が発現するためと考えられる。

【0021】

本実施形態の覚醒度判定装置１は、このような知見に基づき、体動量が減少傾向にある場合に運転者が覚醒度低下の初期段階にあると判定する。また、覚醒度判定装置１は、体動量が減少傾向から増加傾向へ転じた場合に運転者が覚醒度低下の進行段階にあると判定する。判定部１４における処理については後に詳述する。

【0022】

［１－２．処理］
覚醒度判定装置１が実行する処理について、図３及び図４のフローチャートを用いて説明する。

【0023】

まず、図３に示す処理について説明する。図３の処理は、車両のイグニッションスイッチがオンされた後、所定の時間ごとに繰り返し実行される。
まず、Ｓ１０１で、覚醒度判定装置１は、体動量を検出する。なお、Ｓ１０１は検出部１２としての処理に相当する。

【0024】

続いて、覚醒度判定装置１は、Ｓ１０２～Ｓ１０５の処理を行う。Ｓ１０２～Ｓ１０５は決定部１３としての処理に相当する。
まず、Ｓ１０２で、覚醒度判定装置１は、車両が走行状態にあるか否かを判定する。覚醒度判定装置１は、Ｓ１０２で車両が走行状態にあると判定した場合には、Ｓ１０３へ移行する。一方、覚醒度判定装置１は、Ｓ１０２で車両が走行状態にないと判定した場合には、Ｓ１０５に移行し、検出部１２が検出した体動量について判定部１４における覚醒度の判定に使用しないと決定した後、図３の処理を終了する。

【0025】

すなわち、覚醒度判定装置１は、車両が走行状態になく停止している場合には、検出部１２が検出した体動量を覚醒度の判定に使用しないと決定する。これは、運転中の運転者の体動量のみを抽出することを意図している。車両が停止している場合は、運転者の注意が運転から逸れ、助手席に置いてある荷物をあさるなど運転者が他の行動を取る可能性がある。そのため、検出された体動量には、覚醒度の低下によって生じている体動以外の他の動作による体動が反映されてしまうことがある。そこで、本実施形態では、車両が走行状態にない場合には、検出された体動量は覚醒度の判定には使用しないこととしている。なお、本実施形態においては、車両が走行状態にあるか否かを、車速が０以下であるか否かで判定する。

【0026】

続いて、Ｓ１０３で、覚醒度判定装置１は、操舵角がしきい値以下であるか否かを判定する。具体的には、直進状態の操舵角である基準操舵角を０とした場合の基準操舵角に対する操舵角の大きさ、換言すれば操舵角の絶対値が、あらかじめ決められているしきい値以下であるか否かが判定される。つまり、Ｓ１０３では、操舵角が、基準操舵角を含む所定の範囲以内であるか否かが判定される。覚醒度判定装置１は、Ｓ１０３で操舵角がしきい値以下であると判定した場合には、Ｓ１０４へ移行し、検出部１２が検出した体動量について判定部１４における覚醒度の判定に使用すると決定し、図３の処理を終了する。一方、覚醒度判定装置１は、Ｓ１０３で操舵角がしきい値以下でない、換言すれば、しきい値よりも大きいと判定した場合には、Ｓ１０５へ移行し、検出部１２が検出した体動量を覚醒度の判定に使用しないと決定した後、図３の処理を終了する。

【0027】

すなわち、覚醒度判定装置１は、操舵角がしきい値よりも大きい場合には検出された体動量を覚醒度の判定に使用しないと決定する。これは、ハンドル操作によって生じる大きな体動を除外することを意図している。例えば、右折や左折をする際に、運転者が大きくハンドルをきることによって運転者の腕が大きく動くことがある。そのため、検出された体動量には、ハンドル操作によって生じる体動が反映されてしまうことがある。そこで、本実施形態においては、ハンドル操作による体動が生じているか否かを操舵角で判断し、ハンドル操作が大きい場合には、その期間において検出された体動量は覚醒度の判定には使用しないこととしている。

【0028】

Ｓ１０４において覚醒度の判定に使用すると決定された体動量ＢＭは、図５に示すように、時系列の体動量として保存される。そして、時系列の体動量は、単位時間あたりの平均体動量（ＢＭバーと呼ぶ）に変換される。単位時間あたりの平均体動量に変換することで、体動量の変化傾向を検出しやすい。ここでの単位時間は、体動量の変化傾向を適切に捉えることができるように設定された値であり、実験によりあらかじめ求めることができる。

【0029】

次に、図４に示す処理について説明する。図４の処理は、検出部１２が検出した体動量に基づいて覚醒度の判定を行う処理である。図４の処理は、イグニッションスイッチがオンされた後、所定の時間ごとに繰り返し実行される。また、図４の処理は、判定部１４としての処理に相当する。

【0030】

図４の処理の内容について図５を用いて説明する。図５の時系列の平均体動量に示すように、期間Ｔ１は体動量が一定傾向にあり、運転者が覚醒している状態にある期間である（覚醒段階と呼ぶ）。覚醒段階における運転者の覚醒度は、上述の基準によれば、眠気レベル０の「全く眠くなさそう」である。眠気レベル０では、運転者の上瞼は開いており、また、瞬きの速度が速い。この段階から運転者の覚醒度が低下していくと体動量が減少し始める。これは、覚醒度が低下することにより無意識下で運転者の身体動作の鈍化が起こっているためと考えられる。期間Ｔ２は、体動量が減少傾向にある期間である。この段階は、運転者が無意識下で眠くなり始めた段階、すなわち覚醒度低下の初期段階である。初期段階における運転者の覚醒度は、眠気レベル１の「やや眠そう」～眠気レベル２の「眠そう」である。眠気レベル１～眠気レベル２では、運転者の上瞼が少し下がったり、目が半目になったりしている。また、瞬きの速度も速い期間と遅い期間とが混在している。この段階からさらに覚醒度が低下していくと、体動量が減少傾向から増加傾向に転じる。これは、運転者が眠気を知覚し、意識的な覚醒努力を行うことによって、様々な身体動作が発現するためと考えられる。期間Ｔ３は、体動量が減少傾向から増加傾向に転じた後、引き続き増加傾向にある期間である。この段階は、運転者の覚醒度が低下しきっており運転者が眠くなった段階、すなわち、覚醒度低下の進行段階である。進行段階における運転者の覚醒度は、眠気レベル３の「かなり眠そう」である。眠気レベル３では、運転者の目が閉じるまではいかないまでも上瞼が瞳孔にかかっており、瞬きの速度が遅い。

【0031】

判定部１４は、期間Ｔ２のように、運転者の体動量が減少傾向にある場合に、運転者が覚醒度低下の初期段階にあると判定する。また、判定部１４は、体動量が減少傾向から増加傾向へ転じた場合、すなわち、期間Ｔ２を経て期間Ｔ３に突入した場合に、運転者が覚醒度低下の進行段階にあると判定する。

【0032】

図４の処理は、具体的には以下のように行う。
まず、Ｓ２０１で、覚醒度判定装置１は、過去の所定期間ｔ２内の体動量が減少傾向にあるか、一定傾向にあるか、又は増加傾向にあるかを判定する。減少傾向とは、長期的に見て減少の方向に向かっている状態をいう。一時的な減少は必ずしも減少傾向に当たらず、逆に、一時的な増加があっても減少傾向に当たり得る。例えば、時系列的に連続する平均体動量の差分をとり、所定期間における、減少を示す平均体動量の割合、連続数、減少の度合いなどの条件に基づき、減少傾向にあるか否かを判定してもよい。増加傾向についても同様である。いずれにも該当しない場合、一定傾向にあると判定してもよい。

【0033】

覚醒度判定装置１は、Ｓ２０１で体動量が減少傾向にあると判定した場合には、Ｓ２０２へ移行する。この場合、運転者の覚醒度が図５における期間Ｔ２にある、すなわち覚醒度低下の初期段階にあると推定される。

【0034】

続いて、覚醒度判定装置１は、Ｓ２０２で、その所定期間ｔ２よりも一つ前の所定期間ｔ１内の体動量が減少傾向にあるか否かを判定する。覚醒度判定装置１は、Ｓ２０２で一つ前の所定期間ｔ１内の体動量が減少傾向にあると判定した場合には、Ｓ２０５へ移行し、運転者の覚醒度が眠気レベル２であると判定した後、図４の処理を終了する。この場合、期間ｔ１及び期間ｔ２で減少傾向が続いているため、覚醒度低下の初期段階の中でも、運転者の覚醒度が低い段階にあると推測される。一方、覚醒度判定装置１は、Ｓ２０２で一つ前の所定期間ｔ１内の体動量が減少傾向にないと判定した場合には、Ｓ２０６へ移行し、運転者の覚醒度が眠気レベル１であると判定した後、図４の判定処理を終了する。この場合、期間ｔ１では体動量が減少傾向にないため、覚醒度低下の初期段階の中でも、運転者の覚醒度が高い段階にあると推測される。

【0035】

一方、覚醒度判定装置１は、Ｓ２０１で所定期間ｔ２内の体動量が一定傾向にあると判定した場合には、Ｓ２０３へ移行し、その所定期間ｔ２よりも一つ前の所定期間ｔ１内の体動量が減少傾向にあるか否かを判定する。

【0036】

覚醒度判定装置１は、Ｓ２０３で一つ前の所定期間ｔ１内の体動量が減少傾向にあると判定した場合には、Ｓ２０７へ移行し、運転者の覚醒度が眠気レベル１であると判定した後、図４の処理を終了する。この場合、期間ｔ１では体動量が減少傾向にあるため、運転者の覚醒度が図５における期間Ｔ２にある、すなわち覚醒度低下の初期段階にあると推定される。ただし、続く期間ｔ２ではその減少が収まっているため、覚醒度低下の初期段階の中でも、運転者の覚醒度は低い段階、すなわち眠気レベル１であると推測される。

【0037】

一方、覚醒度判定装置１は、Ｓ２０３で一つ前の所定期間ｔ１内の体動量が減少傾向にないと判定した場合には、Ｓ２０８へ移行し、運転者の覚醒度が眠気レベル０であると判定した後、図４の処理を終了する。この場合、運転者の覚醒度が図５における期間Ｔ１にある、すなわち覚醒段階にあると推定される。

【0038】

さらに、覚醒度判定装置１は、Ｓ２０１で所定期間ｔ２内の体動量が増加傾向にあると判定した場合には、Ｓ２０４へ移行し、その所定期間ｔ２よりも一つ前の所定期間ｔ１内の体動量が減少傾向にあるか否かを判定する。

【0039】

覚醒度判定装置１は、Ｓ２０４で一つ前の所定期間ｔ１内の体動量が減少傾向にあると判定した場合には、Ｓ２０９へ移行し、運転者の覚醒度が眠気レベル３以上であると判定した後、図４の処理を終了する。この場合、運転者の覚醒度が図５における期間Ｔ３にある、すなわち覚醒度低下の進行段階にあると推定される。Ｓ２０９で運転者の覚醒度が眠気レベル３以上であると判定された場合には、図４の処理の繰り返しは中断され、車両は運転者が覚醒するように促す行動をとる。車両がとる行動としては、例えば、運転者に覚醒度が低下していることを音で報知すること、路肩へ自動運転により待避することが挙げられる。覚醒度判定装置１は、運転者が覚醒したことが確認されたのちに、中断していた図４の処理を再開する。

【0040】

一方、覚醒度判定装置１は、Ｓ２０４で一つ前の所定期間ｔ１内の体動量が減少傾向にないと判定した場合には、Ｓ２１０へ移行し、運転者の覚醒度が眠気レベル０であると判定した後、図４の処理を終了する。この場合、運転者の覚醒度が図５における期間Ｔ１にある、すなわち覚醒段階にあると推定される。

【0041】

［１－３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）運転者の体動量が減少傾向にあることを検出するため、運転者の覚醒度低下を、副次的動作の頻度が高くなる段階よりも早い段階で検出することができる。

【0042】

（１ｂ）運転者の覚醒努力として生じるあくび等の副次的動作の出現には個人差が大きく、あらかじめ定義されている副次的動作があまり生じない人の場合には、覚醒度の低下を見落とす可能性がある。本実施形態では、体の動きを全体的に捉えた体動量を使用して覚醒度を判定するため、定義されていない副次的動作であっても体動として検出することが可能となる。

【0043】

（１ｃ）覚醒度の他の判定方法には、運転者の顔を撮像し、瞼の動きから閉眼率を算出したり、口の動きからあくびを検出したりする方法がある。しかし、これらの方法では、サングラスをかけたりマスクをつけたりした運転者の場合、瞼や口の動きを画像で認識することができず、覚醒度の判定が困難になる場合がある。これに対し、本実施形態によれば、様々な格好の運転者の覚醒度を判定することができる。

【0044】

（１ｄ）車両が走行状態にない場合に覚醒度の判定をしないことで、覚醒度の判定の精度を高めることができる。
（１ｅ）操舵角がしきい値よりも大きい場合に覚醒度の判定をしないことで、覚醒度の判定の精度を高めることができる。

【0045】

（１ｆ）体動量の変化傾向に応じて、運転者の覚醒度を多段階で判定することができる。多段階の判定結果は、その段階に応じて運転者に覚醒を促す種々の手法に使用することができる。例えば、運転者の覚醒度が眠気レベル１～眠気レベル２と判定された場合には、運転者に弱い冷風を当てるなど車両側の軽い介入によって運転者の覚醒を促す一方、運転者の覚醒度が眠気レベル３以上と判定された場合には、運転者に音で報知するなど積極的に運転者に覚醒を促すことが考えられる。

【0046】

［２．第２実施形態］
［２－１．構成］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。共通する構成については同一の符号を付す。

【0047】

図６に示す第２実施形態の覚醒度判定装置２は、図１に示す第１実施形態の覚醒度判定装置１と比較すると、検出部１２に代えて検出部３０を備える点、及び、取得部１１からの車両情報が決定部１３に加え検出部３０にも入力される点、で相違する。

【0048】

図７に示すように、検出部３０は、実測検出部３１と、第１ノイズ算出部３２と、第２ノイズ算出部３３と、差分算出部３４と、を備える。まず、これら各部の機能の概要について説明する。

【0049】

実測検出部３１は、第１実施形態の検出部１２と同じ機能を有する。すなわち、実測検出部３１は、撮像部２１から得られた画像を差分処理することによって、画像上の運転者の動きの量、換言すれば、運転者の実際の動きの大きさに基づき検出される体動量を、実測体動量として検出するように構成されている。

【0050】

第１ノイズ算出部３２は、撮像部２１から得られた画像に基づき、車両の周辺状況に応じた運転者の適正な動作に起因する動きの大きさとして推測される体動量を、第１基礎体動量として算出するように構成されている。

【0051】

第２ノイズ算出部３３は、取得部１１から入力された車両情報に基づき、車両の挙動に起因する運転者の動きの大きさとして推測される体動量を、第２基礎体動量として算出するように構成されている。

【0052】

差分算出部３４は、実測体動量から第１基礎体動量及び第２基礎体動量を差し引くことにより、眠気に起因する体動量を算出するように構成されている。つまり、第１基礎体動量及び第２基礎体動量は、眠気を原因としない体動のベースラインとなる。

【0053】

このように、第２実施形態の検出部３０は、運転に必要な動作や、車両の挙動によって意図せず生じる運転者の動作など、運転中に生じる眠気を原因としない体動分を、実際の体動量からノイズとして差し引くことにより、体動量を補正する。その結果、運転中の眠気と眠気を原因とする体動量との関係がより適切に切り出され、眠気推定精度が向上する。

【0054】

次に、第１ノイズ算出部３２、第２ノイズ算出部３３及び差分算出部３４の具体的な機能について説明する。
第１ノイズ算出部３２は、車両の周辺状況に応じた運転者の適正な動作に起因する動きの大きさとして推測される第１基礎体動量を算出する。

【0055】

例えば、隣の車線を走行している他車両を追い抜く状況において、当該他車両を視認する運転者の動作、具体的には、他車両の方に顔を向け、その後に顔の向きを正面に戻す動作は、車両の周辺状況に応じた適正な動作である。また例えば、路肩に停車中の他車両の横を通過する状況において、当該他車両を視認する運転者の動作も同様に、車両の周辺状況に応じた適正な動作である。ここでは他車両を例に挙げたが、歩行者などの場合も同様である。このような運転者の動作に起因する体動量は、眠気に起因する体動量を算出する上ではノイズとなる。

【0056】

そこで、第１ノイズ算出部３２は、車両の周辺の他車両や人など、運転者が運転中に視認する可能性のある対象物に関する情報を、車外環境情報として検出する。そして、第１ノイズ算出部３２は、車外環境情報に基づいて推測される体動量を、第１基礎体動量として算出する。

【0057】

具体的には、第１ノイズ算出部３２はまず、撮像部２１から画像を取得する。例えば、図８Ａに示す画像６１が取得される。
次いで、第１ノイズ算出部３２は、得られた画像上で車両の外部の状況を特定可能な領域を検出範囲として切り出す。図８Ｂに示す例では、画像６１における左右の窓の枠内の領域が検出範囲６２として切り出される。

【0058】

次いで、第１ノイズ算出部３２は、検出範囲の画像から、車両の外部の対象物を認識する。図８Ｂに示す例では、運転者の右側の窓越しに撮像された車両外部の環境から対象物６３が認識される。

【0059】

次いで、第１ノイズ算出部３２は、認識した対象物から、運転中に運転者が当該対象物を認識する動作に起因する動きの大きさとして推測される第１基礎体動量を算出する。図８Ｃに示す例では、車両の右側に存在する対象物６３を視認する運転者の動作に相当する体動量が算出される。ここで、対象物と第１基礎体動量との関係は、眠気を伴わない運転者の車室内画像データを元に、機械学習であらかじめ学習しておくことが可能である。例えば、撮像部２１と同条件で撮像された画像から認識される対象物と、当該画像から検出される体動量と、の相関関係が学習される。体動量の検出は、第１実施形態の検出部１２と同様の手法で行うことが可能である。また、画像としては、時系列に沿って連続して撮像された複数の画像を用いることが可能である。この場合、車両に対する対象物の相対的な移動状況が特定される。例えば、隣の車線を走行している他車両と路肩に停車中の他車両とが識別される。

【0060】

なお、本実施形態では、運転者を正面から撮像するカメラである撮像部２１を用いて、車両の外部の対象物を認識しているが、例えば車両の前方を撮像するカメラや、車両の周囲に存在する物体を検出するレーダなど、他の装置を用いて対象物を認識してもよい。

【0061】

第２ノイズ算出部３３は、車両の挙動に起因する運転者の意図しない動きの大きさとして推測される体動量を、第２基礎体動量として算出する。
例えば、カーブした道路を走行している状況においては、図９Ａに示すように、運転者の身体が遠心力のかかる方向に傾く。また例えば、減速中又は加速中には、図９Ｂに示すように、運転者の身体が前後方向に傾く。特に、減速後の停止時には、運転者の身体が前方につんのめるように振動することがある。このような運転者の意図しない動きに起因する体動量も、眠気に起因する体動量を算出する上ではノイズとなる。

【0062】

そこで、第２ノイズ算出部３３は、車両情報に基づき車両の挙動を検出し、車両の挙動に起因する運転者の動きの大きさとして推測される体動量を、第２基礎体動量として算出する。

【0063】

具体的には、第２ノイズ算出部３３はまず、取得部１１から入力された車両情報に基づき、車両の挙動を検出する。例えば、車速センサ２２ａが検出した車速及び操舵角センサ２２ｂが検出した操舵角に基づいて、カーブした道路を車両が走行している状態が車両の挙動として検出される。また例えば、車速センサ２２ａが検出した車速に基づいて、車両の減速状態又は加速状態が車両の挙動として検出される。

【0064】

次いで、第２ノイズ算出部３３は、検出された挙動から、車両の挙動に起因する運転者の動きの大きさとして推測される第２基礎体動量を算出する。ここで、車両の挙動と第２基礎体動量との関係は、車両情報と眠気を伴わない運転者の車室内画像データとを元に、機械学習であらかじめ学習しておくことが可能である。例えば、車両センサ２２と同条件で検出された車両情報から検出される車両の挙動と、撮像部２１と同条件で撮像された画像から検出される体動量と、の相関関係が学習される。体動量の検出は、第１実施形態の検出部１２と同様の手法で行うことが可能である。また、車両情報としては、時系列に沿って連続して検出された複数の車両情報を用いることが可能である。

【0065】

差分算出部３４は、実測体動量から第１基礎体動量及び第２基礎体動量を差し引くことにより、眠気に起因する体動量を算出する。本実施形態では、下記式（１）に従い、眠気に起因する体動量が求められる。

【0066】

Ｃ＝Ａ－α１×Ｂ１－α２×Ｂ２ …（１）
なお、上記式（１）中、Ａは実測体動量、Ｂ１は第１基礎体動量、Ｂ２は第２基礎体動量、Ｃは眠気に起因する体動量、α１，α２は重みパラメータである。

【0067】

［２－２．処理］
第２実施形態の覚醒度判定装置２が実行する処理は、第１実施形態の覚醒度判定装置１が実行する処理、すなわち図３及び図４に示す処理と比較すると、図３のＳ１０１の処理に代えて図１０のフローチャートに示す処理が実行される点で相違する。

【0068】

図１０の処理が開始されると、まず、Ｓ３０１で、覚醒度判定装置２は、撮像部２１から画像を取得する。
続いて、Ｓ３０２で、覚醒度判定装置２は、取得部１１から車両情報を入力する。

【0069】

続いて、Ｓ３０３で、覚醒度判定装置２は、実測体動量Ａを検出する。Ｓ３０３は実測検出部３１としての処理に相当する。
続いて、Ｓ３０４で、覚醒度判定装置２は、第１基礎体動量Ｂ１を算出する。Ｓ３０４は第１ノイズ算出部３２としての処理に相当する。

【0070】

続いて、Ｓ３０５で、覚醒度判定装置２は、第２基礎体動量Ｂ２を算出する。Ｓ３０５は第２ノイズ算出部３３としての処理に相当する。
続いて、Ｓ３０６で、覚醒度判定装置２は、眠気に起因する体動量Ｃを算出し、図１０の処理を終了する。Ｓ３０６は差分算出部３４としての処理に相当する。

【0071】

［２－３．効果］
以上詳述した第２実施形態によれば、第１実施形態と同様の効果に加え、以下の効果が得られる。

【0072】

（２ａ）検出部３０は、運転者の実際の動きの大きさに基づき検出される実測体動量から、車両の周辺状況に応じた運転者の適正な動作に起因する動きの大きさとして推測される値である第１基礎体動量を差し引くことにより、体動量を補正する。したがって、車両の周辺状況に応じて運転者が動作するような状況においても、運転者の覚醒度低下を精度よく検出することができる。

【0073】

（２ｂ）検出部３０は、運転者の実際の動きの大きさに基づき検出される実測体動量から、車両の挙動に起因する運転者の動きの大きさとして推測される値である第２基礎体動量を差し引くことにより、体動量を補正する。したがって、車両の挙動に応じて運転者の身体が動くような状況においても、運転者の覚醒度低下を精度よく検出することができる。

【0074】

［３．変形例］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0075】

（３ａ）上記実施形態では、決定部１３は、車両の走行状態及び操舵角に基づいて判定部１４が覚醒度を判定するか否かを決定しているが、これらのうち片方の情報に基づいてその決定を行ってもよい。

【0076】

（３ｂ）上記実施形態では、決定部１３は、判定部１４が覚醒度を判定するか否かを決定する際に、車両に対する操作の情報として操舵角を使用しているが、判定部１４が考慮する車両に対する操作の情報はこれに限定されない。例えば、車両に対する操作の情報としてウィンカの操作の有無を使用してもよい。すなわち、決定部１３は、運転者によるウィンカへの操作が確認されてから所定の期間は、判定部１４が覚醒度を判定しないと決定してもよい。

【0077】

（３ｃ）上記実施形態では、車両が走行状態にあるか否かを車速センサ２２ａが検出する車速に基づいて判定しているが、ドライブレコーダなどから取得された、車両外を撮像した画像に基づいて車両が走行状態にあるか否かを判定してもよい。

【0078】

（３ｄ）上記実施形態では、車速が０以下である場合に運転者の覚醒度を判定しないと決定しているが、車両が低速である場合には運転者に運転以外の行動をする余地が生まれるとみなし、車速が所定のしきい値以下である場合に運転者の覚醒度を判定しないと決定してもよい。

【0079】

（３ｅ）上記実施形態では、図４の処理において、運転者の覚醒度を、過去の所定期間ｔ２内と、その所定期間ｔ２よりも一つ前の所定期間ｔ１内との２つの期間での体動量の変化傾向に基づいて判定している。運転者の覚醒度を判定する際に、３つ以上の期間の体動量の変化傾向を考慮してもよい。

【0080】

（３ｆ）上記実施形態では、決定部１３が、検出部１２から入力された体動量について判定部１４における覚醒度の判定に使用するか否かを決定することにより、判定部１４が覚醒度の判定を行うか否かを決定している。しかし、判定部１４が体動量に基づいて覚醒度の判定を行うか否かの決定方法はこれに限定されない。例えば、決定部１３が、検出部１２が体動量自体を検出するか否かを決定するように構成されていてもよい。

【0081】

（３ｇ）上記実施形態において、体動量の変化傾向を、ＬＳＴＭ（すなわち、Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙ）を備えたＲＮＮ（すなわち、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などのニューラルネットワークを用いた機械学習アルゴリズムに従って把握することにより、覚醒度の判定の精度を高めてもよい。

【0082】

（３ｈ）上記実施形態において、他の覚醒度の判定方法と組み合わることで、覚醒度の判定の精度を高めてもよい。
（３ｉ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

【0083】

（３ｊ）上述した覚醒度判定装置１の他、当該覚醒度判定装置１を構成要素とするシステム、当該覚醒度判定装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、覚醒度判定方法など、種々の形態で本開示を実現することもできる。

【符号の説明】

【0084】

１，２…覚醒度判定装置、１２，３０…検出部、１３…決定部、１４…判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図10】