特許 6973928 瞼開閉判定装置および眠気検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6973928

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】瞼開閉判定装置および眠気検知装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211118BHJP

   G08G 1/16 20060101ALI20211118BHJP

   G08B 21/06 20060101ALI20211118BHJP

   A61B 5/16 20060101ALI20211118BHJP

【ＦＩ】

   G06T7/00 660A

   G08G1/16 F

   G08B21/06

   A61B5/16

【請求項の数】5

【全頁数】8

(21)【出願番号】特願2017-216842(P2017-216842)

(22)【出願日】2017年11月10日

(65)【公開番号】特開2019-87170(P2019-87170A)

(43)【公開日】2019年6月6日

【審査請求日】2020年8月27日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】林 修平

【審査官】 小池 正彦

(56)【参考文献】

【文献】 特開２０１０−１３４４９０（ＪＰ，Ａ）

【文献】 特開２０１０−１３４６０８（ＪＰ，Ａ）

【文献】 特開２００９−２１９５５５（ＪＰ，Ａ）

【文献】 特開２００８−１７１０６５（ＪＰ，Ａ）

【文献】 特開２０１６−１１５１１７（ＪＰ，Ａ）

【文献】 特開２００９−０４５４１８（ＪＰ，Ａ）

【文献】 特開２０１１−１５２２１８（ＪＰ，Ａ）

【文献】 特開平７−２９６２９９（ＪＰ，Ａ）

【文献】 特開２０１１−０４８５３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｇ０８Ｂ ２１／０６

Ａ６１Ｂ ５／１６

(57)【特許請求の範囲】

【請求項1】

利用者の顔を撮像する撮像手段と、
前記撮像手段による撮像によって得られた顔画像に基づいて瞼開閉度を算出する開閉度算出手段と、
前記顔画像に基づいて顔の角度を検出する顔角度検出手段と、
前記顔画像に基づいて瞼と眉毛との距離を算出する距離算出手段と、
前記瞼開閉度を所定のしきい値と比較することにより瞼開閉の有無を判定する瞼開閉判定手段と、
前記顔角度検出手段によって検出された顔の角度と前記距離算出手段によって算出された距離とに基づいて前記瞼開閉度を補正する開閉度補正手段と、
を備えることを特徴とする瞼開閉判定装置。

【請求項2】

前記開閉度補正手段は、前記顔の角度に基づいて判定した顔の向きが第１の基準よりも下方を向いているときであって、前記距離算出手段によって算出された距離が第２の基準よりも短いときに、前記瞼開閉度を大きな値に補正することを特徴とする請求項１に記載の瞼開閉判定装置。

【請求項3】

前記開閉度補正手段は、前記第２の基準を、前記顔の角度に基づいて変更することを特徴とする請求項２に記載の瞼開閉判定装置。

【請求項4】

前記開閉度算出手段は、前記顔画像に含まれる上瞼と下瞼の幅の値を前記瞼開閉度として算出することを特徴とする請求項１〜３のいずれか一項に記載の瞼開閉判定装置。

【請求項5】

請求項１〜４のいずれか一項に記載された前記瞼開閉判定手段による判定結果に基づいて利用者の眠気を判定する眠気判定手段を備えることを特徴とする眠気検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラによって運転者の瞼の開閉状態を検出するようにした瞼開閉判定装置および眠気検知装置に関する。

【背景技術】

【0002】

従来から、車両を運転中の運転者の目の領域をカメラで撮像し、目の開度に基く瞬き検出を行うことにより、運転者の覚醒度を算出して眠気度を推定するようにした眠気検知装置が知られている（例えば、特許文献１参照。）。この装置では、運転者が下方のメータ等を見る下方視に伴って運転者の覚醒度が実際よりも低下することを、下方視判定を行うことにより補正して相殺している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１７１０６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に開示された眠気検知装置では、カメラで上瞼の最高点と下瞼の最下点との距離を瞼の開度として算出しているが、下方視等によって運転者が下方を向いている場合には、瞼を開いているときと閉じているときの開度の差が少なくなって、瞼が開いているか閉じているかの判断が難しく、瞼の開閉状態の誤判定が生じやすいという問題があった。この誤判定は、その後の運転者の覚醒度の算出や眠気の推定にも影響を与えることになる。また、上述した特許文献１では、下方視が考慮されて覚醒度が補正されているが、瞼の開閉状態の誤判定による影響までを補正することはできないため、開閉状態の判定精度を上げる工夫が望まれる。

【0005】

本発明は、このような点に鑑みて創作されたものであり、その目的は、利用者（運転者）の瞼の開閉状態の判定精度を上げることができる瞼開閉判定装置および眠気検知装置を提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の瞼開閉判定装置は、利用者の顔を撮像する撮像手段と、撮像手段による撮像によって得られた顔画像に基づいて瞼開閉度を算出する開閉度算出手段と、顔画像に基づいて顔の角度を検出する顔角度検出手段と、顔画像に基づいて瞼と眉毛との距離を算出する距離算出手段と、瞼開閉度を所定のしきい値と比較することにより瞼開閉の有無を判定する瞼開閉判定手段と、顔角度検出手段によって検出された顔の角度と距離算出手段によって算出された距離とに基づいて瞼開閉度を補正する開閉度補正手段とを備えている。

【0007】

顔が下向きになると瞼の開閉状態が確認しにくくなるが、反対に瞼の開閉に伴って瞼と眉毛との間の距離の変化が大きくなるため、瞼開閉度をこの距離に基づいて補正することにより、瞼の開閉状態の判定精度を上げることができる。

【0008】

また、上述した開閉度補正手段は、顔の角度に基づいて判定した顔の向きが第１の基準よりも下方を向いているときであって、距離算出手段によって算出された距離が第２の基準よりも短いときに、瞼開閉度を大きな値に補正することが望ましい。これにより、顔が下向きのときに瞼が開いた状態を確実に判定することが可能となる。

【0009】

また、上述した開閉度補正手段は、第２の基準を、顔の角度に基づいて変更することが望ましい。顔の角度に応じて瞼と眉毛の間の長さが変化することを考慮することにより、瞼の開閉状態の判定精度をさらに上げることができる。

【0010】

また、上述した開閉度算出手段は、顔画像に含まれる上瞼と下瞼の幅の値を瞼開閉度として算出することが望ましい。上瞼と下瞼の幅の値を瞼開閉度とすることにより、瞼の開閉状態を判定することが容易となる。

【0011】

また、本発明の眠気検知装置は、上述した瞼開閉判定手段による判定結果に基づいて利用者の眠気を判定する眠気判定手段を備えている。瞼の開閉状態の判定精度を上げることにより、その判定結果を用いた利用者の眠気判定の精度も向上させることが可能となる。

【図面の簡単な説明】

【0012】

【図1】一実施形態の眠気検知装置の構成を示す図である。

【図2】瞼の開閉度算出の説明図である。

【図3】顔画像を撮像して運転者の瞼の開閉状態に基づいて眠気判定を行う動作手順を示す流れ図である。

【発明を実施するための形態】

【0013】

以下、本発明を適用した一実施形態の眠気検知装置について、図面を参照しながら説明する。

【0014】

図１は、一実施形態の眠気検知装置の構成を示す図である。図１に示すように、本実施形態の眠気検知装置１は、瞼開閉判定装置１０、眠気判定部６０、警報部７０を備えている。この眠気検知装置１は、例えば車両に搭載されており、利用者としての運転者の眠気を検知したときに運転者に対して覚醒を促す所定の警報動作を行う。

【0015】

瞼開閉判定装置１０は、運転者の瞼の開閉状態（瞼が開いているか閉じているか）を判定する。このために、カメラ２０、画像メモリ２２、開閉度算出部３０、顔角度検出部３２、距離算出部３４、開閉度補正部４０、瞼開閉判定部５０を含んで構成されている。

【0016】

カメラ２０は、運転者前方の所定位置に取り付けられており、運転者の顔、特に目と眉毛を含む所定範囲を撮像する。カメラ２０は、例えば、ステアリングシャフト近傍、速度計の近傍、ダッシュボード上などに取り付けらており、走行中の車両の運転者の目と眉毛を少なくとも撮像する。画像メモリ２２は、カメラ２０の撮像によって得られた顔画像を所定のフレームレート（例えば、３０フレーム／秒）で格納する。

【0017】

開閉度算出部３０は、カメラ２０によって撮像されて画像メモリ２２に格納された顔画像に基づいて瞼開閉度を算出する。例えば、開閉度算出部３０は、顔画像に含まれる目の部分を抽出し、上瞼と下瞼の幅（上瞼の輪郭形状の最上位点と下瞼の輪郭形状の最下位点との上下方向の間隔）の値を瞼開閉度として算出する。

【0018】

図２は、瞼の開閉度算出の説明図である。図２に示すように、目の上瞼の輪郭線の最上位点と下瞼の最下位点との間隔Ａが瞼開閉度Ａとして算出される。なお、図２に示す例では、左目について説明したが、同様にして右目についても瞼開閉度Ａが算出される。

【0019】

顔角度検出部３２は、カメラ２０によって撮像されて画像メモリ２２に格納された顔画像に基づいて顔の角度を検出する。例えば、顔画像に含まれる顔のパーツ（目や口など）の輪郭線の形状（凹凸形状など）に基づいて顔の角度Ｂが検出される。

【0020】

距離算出部３４は、カメラ２０によって撮像されて画像メモリ２２に格納された顔画像に基づいて、瞼と眉毛との間の距離を算出する。例えば、距離算出部３４は、顔画像に含まれる上瞼の輪郭形状の最上位点と、この最上位点から上下方向に沿った眉毛下部までの間隔Ｃが、瞼と眉毛との間の距離Ｃとして算出される（図２参照）。

【0021】

開閉度補正部４０は、顔角度検出部３２によって検出された顔の角度と距離算出部３４によって算出された瞼と眉毛との距離Ｃとに基づいて、開閉度算出部３０によって算出された瞼開閉度Ａの値を補正する。具体的には、開閉度補正部４０は、顔の角度Ｂに基づいて判定した顔の向きが第１の基準よりも下方を向いているときであって、距離算出部３４によって算出した距離Ｃが第２の基準よりも短いときに、開閉度算出部３０によって算出した瞼開閉度Ａを大きな値に補正する。例えば、瞼開閉度Ａに所定値ａを加算した結果を新たな瞼開閉度Ａとする補正処理が行われる。

【0022】

瞼開閉判定部５０は、開閉度補正部４０による補正がなされた後の瞼開閉度Ａを所定のしきい値Ａ０と比較することにより、瞼開閉の有無を判定する。

【0023】

また、眠気判定部６０は、瞼開閉判定装置１０内の瞼開閉判定部５０の判定結果に基づいて、利用者の眠気を判定する。例えば、瞼が閉状態から開状態に移行するまでの瞬き時間が長い場合などには、運転者が眠気を感じているものして判定される。

【0024】

警報部７０は、眠気判定部６０によって運転者が眠気を感じている旨の判定が行われたときに、運転者に対して所定の警報動作を行う。例えば、覚醒を促すための警報音が出力される。

【0025】

上述したカメラ２０が撮像手段に、開閉度算出部３０が開閉度算出手段に、顔角度検出部３２が顔角度検出手段に、距離算出部３４が距離算出手段に、瞼開閉判定部５０が瞼開閉判定手段に、開閉度補正部４０が開閉度補正手段に、眠気判定部６０が眠気判定手段にそれぞれ対応する。

【0026】

本実施形態の眠気検知装置１はこのような構成を有しており、次にその動作を説明する。

【0027】

図３は、顔画像を撮像して運転者の瞼の開閉状態に基づいて眠気判定を行う動作手順を示す流れ図である。

【0028】

カメラ２０によって運転者の顔が撮像されて顔画像が画像メモリ２２に格納されると（ステップ１００）、開閉度算出部３０は、運転者の目の瞼開閉度Ａ（図２）を算出する（ステップ１０２）。例えば、左右の目について瞼開閉度が算出されてその平均値が瞼開閉度Ａとして採用される。

【0029】

次に、顔角度検出部３２は、画像メモリ２２に格納された顔画像に基づいて、運転者の顔の角度Ｂを算出する（ステップ１０４）。また、距離算出部３４は、画像メモリ２２に格納された顔画像に基づいて、運転者の顔の瞼と眉毛との間の距離Ｃ（図２）を算出する（ステップ１０６）。なお、上述した瞼開閉度Ａ、顔の角度Ｂ、瞼と眉毛の距離Ｃの算出は、順番を入れ替えたり、並行して行ってもよい。

【0030】

次に、開閉度補正部４０は、顔の角度Ｂが基準値Ｂ０より大きいか否かを判定する（ステップ１０８）。この判定は、顔の角度Ｂに基づいて判定した顔の向き（角度Ｂを有する顔の向き）が第１の基準よりも下方を向いているか否かを判定するためのものであり、角度の取り方や基準値Ｂ０の設定の仕方によっては、Ｂ＞Ｂ０の判定式の代わりにＢ＜Ｂ０の判定式を用いる場合もある。Ｂ＞Ｂ０であって運転者の顔の向きが第１の基準よりも下方を向いている場合（想定している向きよりも下向きの場合）には肯定判断が行われる。

【0031】

次に、開閉度補正部４０は、瞼と眉毛の距離Ｃが基準値Ｃ０より小さいか否かを判定する（ステップ１１０）。この判定は、瞼を開けることに伴って瞼と眉毛との間隔が第２の基準よりも短くなっているか否かを判定するためのものである。Ｃ＜Ｃ０の場合であって瞼と眉毛との間隔が短くなっている場合には肯定判断が行われる。

【0032】

次に、開閉度補正部４０は、瞼開閉度Ａに所定値ａを加算した結果を新たな瞼開閉度Ａとする補正処理を行う（ステップ１１２）。なお、ステップ１０８において否定判断が行われた場合（運転者の顔が下向きでない場合）やステップ１１０において否定判断が行われた場合（瞼と眉毛との間隔が短くなっていない場合）には瞼開閉度Ａに対する所定値ａの加算処理は行われない。

【0033】

次に、瞼開閉判定部５０は、開閉度補正部４０による補正がなされた後の瞼開閉度Ａを所定のしきい値Ａ０と比較することにより、瞼開閉の有無（瞼が開いているか閉じているか）を判定する（ステップ１１４）。

【0034】

例えば、運転者の顔が下向きでない場合に瞼を閉じている場合の瞼開閉度Ａの平均値が２０、瞼が開いている場合の瞼開閉度Ａの平均値が８０とする。一方、運転者の顔が下向きの場合に瞼を閉じている場合の瞼開閉度Ａの平均値が２０、瞼が開いている場合の瞼開閉度Ａの平均値が４０とする。しきい値Ａ０が５０に設定されているものとすると、顔が下向きでない場合には、このしきい値Ａ０を用いることにより瞼の開閉状態を正確に判定することができる。しかし、顔が下向きの場合には、補正前の瞼開閉度Ａは瞼が開いた状態でも４０にしかならないため、このしきい値Ａ０を用いると瞼の開閉状態を判定することができなくなる。本実施形態では、顔が下向きの場合であって瞼と眉毛との間隔が短い場合（瞼が開いているであろう場合）には瞼開閉度Ａに所定値ａ（例えばａ＝２０）が加算されて、補正後の瞼開閉度Ａは瞼が開いた状態で６０になるため、上述したしきい値Ａ０を用いて正確に瞼の開閉状態を判定することが可能となる。

【0035】

このようにして瞼の開閉状態が判定された後、眠気判定部６０は、この判定結果に基づいて、利用者の眠気を判定する（ステップ１１６）。そして、必要に応じて警報部７０によって、眠気を感じている利用者に対して警報動作が行われる。

【0036】

このように、本実施形態の眠気検知装置１では、運転者の顔が下向きになると瞼の開閉状態が確認しにくくなるが、反対に瞼の開閉に伴って瞼と眉毛との間の距離の変化が大きくなるため、瞼開閉度をこの距離に基づいて補正することにより、瞼の開閉状態の判定精度を上げることができる。

【0037】

特に、顔の向きが第１の基準よりも下方を向いているときであって、瞼と眉毛の距離が第２の基準よりも短いときに、瞼開閉度を大きな値に補正することにより、顔が下向きのときに瞼が開いた状態を確実に判定することが可能となる。また、顔画像に含まれる上瞼と下瞼の幅の値を瞼開閉度として算出することにより、瞼の開閉状態を判定することが容易となる。瞼の開閉状態の判定精度の向上に伴って、その判定結果を用いた利用者の眠気判定の精度も向上させることが可能となる。

【0038】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、開閉度補正部４０は、瞼と眉毛の距離Ｃが第２の基準よりも短いとき（Ｃ＜Ｃ０であって図３のステップ１１０の判定において肯定判断されたとき）に瞼開閉値Ａを補正するようにしたが、この第２の基準としての基準値Ｃ０を、顔角度検出部３２によって検出された顔角度Ｂに応じて変更するようにしてもよい。顔の下向きの程度が大きくなるほど、瞼を閉じた状態での瞼と眉毛の距離Ｃが短くなる場合には、基準値Ｃ０をその分小さな値に変更することが望ましい。このように、顔の角度に応じて瞼と眉毛の間の長さが変化することを考慮することにより、瞼の開閉状態の判定精度をさらに上げることができる。

【0039】

また、上述した実施形態では、車両の運転者について瞼の開閉状態や眠気を判定したが、車両運転中以外の利用者についてこれらの判定を行うようにしてもよい。

【産業上の利用可能性】

【0040】

上述したように、本発明によれば、顔が下向きになると瞼の開閉状態が確認しにくくなるが、反対に瞼の開閉に伴って瞼と眉毛との間の距離の変化が大きくなるため、瞼開閉度をこの距離に基づいて補正することにより、瞼の開閉状態の判定精度を上げることができる。

【符号の説明】

【0041】

１ 眠気検知装置
１０ 瞼開閉判定装置
２０ カメラ
２２ 画像メモリ
３０ 開閉度算出部
３２ 顔角度検出部
３４ 距離算出部
４０ 開閉度補正部
５０ 瞼開閉判定部
６０ 眠気判定部
７０ 警報部

【図1】

【図2】

【図3】