2025-171835 判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025171835

(43)【公開日】2025-11-20

(54)【発明の名称】判定装置

(51)【国際特許分類】

   B60W 40/08 20120101AFI20251113BHJP

【ＦＩ】

B60W40/08

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024077548

(22)【出願日】2024-05-10

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】原 健一郎

(72)【発明者】

【氏名】津川 優太郎

(72)【発明者】

【氏名】根本 広海

(72)【発明者】

【氏名】藤野 次郎

(72)【発明者】

【氏名】佐倉 衛

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA70

3D241CD12

3D241CE05

3D241DC54

3D241DD04

(57)【要約】

【課題】ドライバの顔に太陽の光が当たっている逆光状態をドライバが居眠りをしていると誤って判定しないように、ドライバの居眠りを判定できる判定装置を提供する。
【解決手段】判定装置は、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、基準差を超えないと判定された場合、ドライバは居眠りしていると判定し、並びに、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えると判定された場合、ドライバは居眠りしていないと判定する第３判定部を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であるか否かを判定する第１判定部と、
ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えるか否かを判定する第２判定部と、
前記第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、前記基準開眼度以下であると判定され、且つ、前記第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記基準差を超えないと判定された場合、ドライバは居眠りしていると判定し、並びに、前記第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、前記基準開眼度以下であると判定され、且つ、前記第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記判定期間の間、前記基準差を超えると判定された場合、ドライバは居眠りしていないと判定する第３判定部と、
を有する、ことを特徴とする判定装置。

【請求項2】

更に、前記判定期間内における、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が大小に変動する変動数を検出する検出部と、
前記検出部により検出された前記変動数が基準数を超えたか否かを判定する第４判定部と、を有し、
前記第３判定部は、前記第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、前記基準開眼度以下であると判定され、且つ、前記第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記判定期間の間、前記基準差を超えると判定され、且つ、前記第４判定部によって、前記変動数が前記基準数を超えたと判定された場合、ドライバは居眠りしていないと判定する、請求項１に記載の判定装置。

【請求項3】

前記第３判定部は、ドライバは居眠りをしていないと判定した時点から基準時間以内に、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記判定期間の間、前記基準差を超えると判定された場合、ドライバは居眠りをしていないと判定する、請求項１に記載の判定装置。

【請求項4】

更に、ドライバの顔の明るさが第１基準輝度を超えるか否かを判定する第５判定部を有し、
前記第３判定部は、前記第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、前記基準開眼度以下であると判定され、且つ、前記第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記判定期間の間、前記基準差を超えると判定され、且つ、前記第５判定部によって、ドライバの顔の明るさが前記第１基準輝度を超えると判定された場合、ドライバは居眠りしていないと判定する、請求項１に記載の判定装置。

【請求項5】

更に、ドライバの顔の明るさが第２基準輝度を超えるか否かを判定する第６判定部と、
前記第６判定部によって、ドライバの顔の明るさが前記第２基準輝度を超えると判定された場合、前記基準差を小さくするように変更する変更部と、を有し、
前記第２判定部は、前記変更部によって変更された前記基準差を用いて、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、前記判定期間の間、前記基準差を超えるか否かを判定する、請求項１から４の何れか一項に記載の判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、判定装置に関する。

【背景技術】

【0002】

従来、車両に搭載される監視装置は、ドライバの状態を監視する。例えば、監視装置は、ドライバが居眠りをしていないかを監視する。

【0003】

監視装置は、ドライバの顔の画像に基づいて開眼度を調べて、居眠りしているかを判定する。監視装置は、開眼度の低い状態（目を閉じた状態）が所定の時間継続して検出された場合、ドライバは居眠りしていると判定して、警告をドライバへ通知する。

【0004】

車両の進行方向に太陽があると、ドライバの顔に太陽の光が当たる逆光状態となるので、ドライバの開眼度は低くなる。そのため、ドライバは居眠りしていると誤って判定されるおそれがある。

【0005】

例えば、特許文献１は、右眼及び左眼のそれぞれの眼の周囲の光量を取得して、両眼の光量が設定した値以上に上昇し、且つ、眼の縦幅が閾値以下になった場合、ドライバの眼に直射光が当たっていると判定する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６－２５１９２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１に開示されている技術では、ドライバが本当に居眠りをしている場合、ドライバが居眠りしていることを検出できないおそれがある。

【0008】

そこで、本開示は、ドライバの顔に太陽の光が当たっている逆光状態をドライバが居眠りをしていると誤って判定しないように、ドライバの居眠りを判定できる判定装置を提供することを課題とする。

【課題を解決するための手段】

【0009】

（１）一の実施形態によれば、判定装置が提供される。この判定装置は、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であるか否かを判定する第１判定部と、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えるか否かを判定する第２判定部と、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、基準差を超えないと判定された場合、ドライバは居眠りしていると判定し、並びに、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えると判定された場合、ドライバは居眠りしていないと判定する第３判定部と、を有する、ことを特徴とする。

【0010】

（２）（１）の判定装置において、更に、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が大小に変動する変動数を検出する検出部と、検出部により検出された変動数が基準数を超えたか否かを判定する第４判定部と、を有し、第３判定部は、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えると判定され、且つ、第４判定部によって、変動数が基準数を超えたと判定された場合、ドライバは居眠りしていないと判定することが好ましい。

【0011】

（３）（１）又は（２）の判定装置において、第３判定部は、ドライバは居眠りをしていないと判定した時点から基準時間以内に、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えると判定された場合、ドライバは居眠りをしていないと判定することが好ましい。

【0012】

（４）（１）から（３）の何れかの判定装置において、更に、ドライバの顔の明るさが第１基準輝度を超えるか否かを判定する第５判定部を有し、第３判定部は、第１判定部によって、ドライバの左眼の開眼度及び右眼の開眼度が、基準開眼度以下であると判定され、且つ、第２判定部によって、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えると判定され、且つ、第５判定部によって、ドライバの顔の明るさが第１基準輝度を超えると判定された場合、ドライバは居眠りしていないと判定することが好ましい。

【0013】

（５）（１）から（４）の何れかの判定装置において、更に、ドライバの顔の明るさが第２基準輝度を超えるか否かを判定する第６判定部と、第６判定部によって、ドライバの顔の明るさが第２基準輝度を超えると判定された場合、基準差を小さくするように変更する変更部と、を有し、第２判定部は、変更部によって変更された基準差を用いて、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えるか否かを判定することが好ましい。

【発明の効果】

【0014】

本開示に係る判定装置は、ドライバの顔に太陽の光が当たっている逆光状態をドライバが居眠りをしていると誤って判定しないように、ドライバの居眠りを判定できる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態の監視装置の動作の概要を説明する図であり、（Ａ）は、車室内を表す図であり、（Ｂ）は、左眼の開眼度の変化を表す図であり、（Ｃ）は、右眼の開眼度の変化を表す図であり、（Ｄ）は、開眼度の差の絶対値の変化を表す図である。

【図2】第１実施形態の監視装置が実装される車両の概略構成図である。

【図3】第１実施形態の監視装置の監視処理に関する動作フローチャートの一例である。

【図4】第２実施形態の監視装置の監視処理に関する動作フローチャートの一例である。

【図5】第３実施形態の監視装置の監視処理に関する動作フローチャートの一例である。

【図6】第４実施形態の監視装置の監視処理に関する動作フローチャートの一例である。

【発明を実施するための形態】

【0016】

図１（Ａ）から図１（Ｄ）は、第１実施形態の監視装置の動作の概要を説明する図である。図１（Ａ）は、車室内を表す図であり、図１（Ｂ）は、左眼の開眼度の変化を表す図であり、図１（Ｃ）は、右眼の開眼度の変化を表す図であり、図１（Ｄ）は、開眼度の差の絶対値の変化を表す図である。

【0017】

図１（Ａ）に示すように、車両１０は監視装置１１を有する。車両１０の車室１０Ａ内では、ドライバ３０は運転席４０に着座する。監視カメラ２が、例えばダッシュボード上に配置される。

【0018】

監視装置１１は、監視カメラ２により取得された監視画像に基づいて、ドライバ３０を監視する。監視装置１１は、判定装置の一例である。車両１０は、自動運転車両であってもよい。

【0019】

監視カメラ２は、ドライバ３０の顔を表す画像を取得可能である。監視装置１１は、監視カメラ２により取得された監視画像に基づいて、ドライバ３０の左眼の開眼度及び右眼の開眼度を検出する。

【0020】

監視装置１１は、ドライバ３０の左眼の開眼度及び右眼の開眼度、並びに、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値に基づいて、ドライバ３０が居眠りをしているか否かを判定する。ドライバ３０は居眠りしていると判定された場合、監視装置１１は、ユーザインタフェース（ＵＩ）４を介して、ドライバ３０へ警告を通知する。

【0021】

車両１０の進行方向に太陽があると、ドライバ３０の顔に太陽の光が当たる逆光状態となるので、ドライバ３０は眼を細める。そのため、ドライバ３０は居眠りしていると誤って判定されるおそれがある。

【0022】

ドライバが３０居眠りをしていると誤って判定されることを防ぐには、ドライバ３０は逆光状態にあるのか又は居眠りをしているのかを、正しく判定できることが望ましい。

【0023】

本開示の発明者は、逆光状態のドライバについて、調査を行った。その結果、本開示の発明者は、逆光状態のドライバは眼を細めるが何とかして前方を見ようとしているので、逆光状態のドライバの左右の眼の開眼度に差があることを知見した。なお、逆光状態ではない時には、ドライバの左右の眼の開眼度に差はほぼない。

【0024】

そこで、ドライバ３０が閉眼していると判定された場合、監視装置１１は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値に基づいて、ドライバ３０が居眠りをしているか否かを判定する。

【0025】

ドライバ３０の開眼度が、基準開眼度以下であると判定された場合、監視装置１１は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値を調べる。監視装置１１は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、所定の差判定期間の間、基準差を超えると判定された場合、ドライバ３０は居眠りしていないと判定する。

【0026】

図１（B）及び図１（Ｃ）に示すように、ドライバ３０は逆光状態となったので、ドライバ３０の左眼の開眼度は、時刻Ｔ１に基準開眼度Ｔｈ１以下となり、ドライバ３０の右眼の開眼度も、時刻Ｔ１に基準開眼度Ｔｈ１以下となった。そして、図１（Ｄ）に示すように、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間Ｔｍの間、基準差Ｔｈ２を超えた。

【0027】

運転中のドライバ３０は、逆光状態にあるので左眼及び右眼を細めているが、何とかして前方を見ようとするので、左右の眼の開眼度に差が生じた状態にある。

【0028】

ドライバ３０が閉眼していると判定されても、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、判定期間の間、基準差を超えている場合、ドライバ３０は逆光状態にあると推定される。ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値を調べることにより、逆光状態のドライバ３０を居眠りしていると誤って判定することが防止される。

【0029】

また、ドライバ３０の開眼度が、基準開眼度以下であると判定され、且つ、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間Ｔｍの間、基準差を超えないと判定された場合、監視装置１１は、ドライバ３０は居眠りしていると判定する。

【0030】

監視装置１１は、ドライバ３０は居眠りしていると判定した場合、ＵＩ４を介して、ドライバ３０へ警告を通知して、運転に関与する程度を増大させる。

【0031】

以上説明したように、本実施形態の監視装置１１は、ドライバ３０の顔に太陽の光が当たっている逆光状態をドライバ３０が居眠りをしていると誤って判定しないように、ドライバ３０の居眠りを判定できる。

【0032】

図２は、本実施形態の監視装置１１が実装される車両１０の概略構成図である。車両１０は、監視カメラ２と、ユーザインターフェース（ＵＩ）４と、監視装置１１等とを有する。

【0033】

監視カメラ２と、ＵＩ４と、監視装置１１とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク１２を介して通信可能に接続される。

【0034】

監視カメラ２は、車両１０を運転するドライバ３０の顔を含む監視画像を取得可能に、車室１０Ａ内に配置される。監視カメラ２は、画像取得部の一例である。例えば、監視カメラ２は、運転席４０の近傍の画像を取得可能に配置される。図１に示すように、監視カメラ２は、例えば、ダッシュボードの上に配置される。監視画像は、ドライバの顔を表す第１情報から第３情報の一例である。

【0035】

監視カメラ２は、例えば所定の周期を有する画像取得時刻に監視画像を取得する。監視カメラ２は、監視画像を取得する度に、監視画像及び画像取得時刻を、車内ネットワーク１２を介して監視装置１１へ出力する。所定の周期として、例えば、０．１～０．５秒とすることができる。

【0036】

監視カメラ２は、ＣＣＤあるいはＣ－ＭＯＳ等、赤外線に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮像対象となる領域の像を結像する撮像光学系を有する。監視カメラ２は、２次元検出器と共に、投光器を有していることが好ましい。投光器は、例えば撮像光学系の両側に配置された二個の近赤外ＬＥＤ（発光ダイオード）である。ドライバ３０に近赤外光を照射することによって、夜間等の低照度時においてもドライバ３０に不快感を与えることなくドライバ３０の顔を撮像することができる。

【0037】

ＵＩ４は、通知部の一例である。ＵＩ４は、監視装置１１に制御されて、警告等をドライバ３０へ通知する。ＵＩ４は、警告等を表示するために、液晶ディスプレイ又はタッチパネル等の表示装置４ａを有する。また、ＵＩ４は、警告等をドライバ３０へ通知するための音響出力装置（図示せず）を有していてもよい。また、ＵＩ４は、ドライバ３０から車両１０への操作情報を入力する入力装置として、例えば、タッチパネル又は操作ボタンを有する。ＵＩ４は、入力された操作情報を、車内ネットワーク１２を介して監視装置１１へ出力する。

【0038】

監視装置１１は、検出処理と、判定処理と、制御処理と、変更処理とを実行する。そのために、監視装置１１は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、監視装置１１を車内ネットワーク１２に接続するためのインターフェース回路を有する。

【0039】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。メモリ２２には、監視カメラ２から入力された監視画像が、画像取得時刻と関連付けられて記憶される。

【0040】

監視装置１１が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ２３は、検出部２３１と、判定部２３２と、制御部２３３と、変更部２３４とを有する。判定部２３２は、第１判定部から第６判定部の一例である。プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。

【0041】

プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。監視装置１１は、例えば、電子制御装置（Electronic Contorol Unit:ECU）である。

【0042】

検出部２３１は、所定の周期を有する開眼度検出時刻に、複数の監視画像に基づいて、ドライバ３０の開眼度を求める。周期は、例えば、０．１秒から５秒とすることができる。

【0043】

検出部２３１は、監視画像を入力して、眼の領域を検出するように学習した識別器を有する。この識別器は、監視画像を入力して、監視画像に含まれる眼の領域を検出する。

【0044】

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有するディープニューラルネットワーク（ＤＮＮ）である。予め眼を含む画像を教師データとして用いてＤＮＮに入力し学習を行うことにより、ＤＮＮは眼の領域を検出する識別器として動作する。また、識別器として、サポートベクターマシン、ランダムフォレスト等の機械学習モデルを用いてもよい。

【0045】

また、検出部２３１は、監視カメラ２からドライバ３０の顔までの距離を求める。例えば、検出部２３１は、画像に表される標準的な人の顔の大きさと距離との関係を参照して、監視画像に表されたドライバ３０の顔の大きさに基づいて、監視カメラ２とドライバ３０の顔との距離を求める。監視画像内のドライバ３０の顔の領域は、顔の領域を検出するように学習した識別器を用いて検出される。

【0046】

検出部２３１は、監視カメラ２からドライバ３０の顔までの距離と、監視画像における上まぶたと下まぶたとの間の画素数に基づいて、開眼度を求める。例えば、検出部２３１は、上まぶたと下まぶたとの間の最大の画素数を求めてもよい。開眼度は、例えば、ｍｍの単位で表される。検出部２３１は、ドライバの右眼及び左眼のそれぞれの開眼度を判定部２３２へ通知する。図１（Ｂ）及び図１（Ｃ）に示すように、判定部２３２は、ドライバ３０の左眼の開眼度及び右眼の開眼度について、時系列変化を得る。

【0047】

開眼度を正確に検出する観点からは、監視カメラ２による取得される監視画像の解像度を上げること、及び、ドライバ３０の左右の眼の部分が大きく表されるようにて監視画像が取得することが挙げられる。

【0048】

また、検出部２３１は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値を求めて、判定部２３２へ通知する。図１（Ｄ）に示すように、検出部２３１及び判定部２３２は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値の時系列変化を得る。

【0049】

図３は、本実施形態の監視装置１１の監視処理に関する動作フローチャートの一例である。次に、図３を参照しながら、監視装置１１の監視処理について、以下に説明する。監視装置１１は、所定の周期を有する監視時刻に、図３に示される動作フローチャートに従って監視処理を実行する。

【0050】

まず、判定部２３２は、ドライバ３０の開眼度の平均値を求める（ステップＳ１０１）。例えば、判定部２３２は、ドライバ３０の左右の眼のそれぞれについて、直近の一定期間内に得られた開眼度の平均値を求める。直近の一定期間として、１０秒から３０秒とすることができる。

【0051】

次に、判定部２３２は、ドライバ３０の開眼度に基づいて、ドライバ３０が閉眼状態にあるか否かを判定する（ステップＳ１０２）。例えば、ドライバ３０の左眼の開眼度及び右眼の開眼度のそれぞれの平均値が、基準開眼度以下である場合、判定部２３２は、ドライバ３０は閉眼状態にあると判定する。基準開眼度として、例えば、３ｍｍとすることができる。通常、人の開眼度は、１０ｍｍから３０ｍｍの範囲にある。

【0052】

ドライバ３０の左右の眼の開眼度の平均値の内、少なくとも１つの平均値が基準開眼度以下ではない場合、判定部２３２は、ドライバ３０は閉眼状態にはないと判定する。

【0053】

ドライバ３０は閉眼状態にあると判定された場合（ステップＳ１０２－Ｙｅｓ）、判定部２３２は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間の間、基準差を超えるか否かを判定する（ステップＳ１０３）。

【0054】

基準差として、例えば０．５ｍｍとすることができる。逆光状態にない場合、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値は、０．１ｍｍ程度である。開眼度の精度は、０．１ｍｍ程度はあるので、基準差を０．５ｍｍとすることで、逆光状態にあるドライバ３０の開眼度の状態を判定可能である。差判定期間として、例えば、３秒から５秒とすることができる。差判定期間は、判定期間の一例である。

【0055】

例えば、差判定期間は、ドライバ３０は閉眼状態にあると判定された時刻から開始してもよい。また、差判定期間は、ドライバ３０は閉眼状態にあると判定された時刻を含むようにしてもよい。

【0056】

開眼度の差の絶対値が基準差を超える場合（ステップＳ１０３－Ｙｅｓ）又はドライバ３０は閉眼状態にないと判定された場合（ステップＳ１０２－Ｎｏ）、判定部２３２は、ドライバ３０は居眠りをしていないと判定して（ステップＳ１０４）、一連の処理を終了する。

【0057】

一方、開眼度の差の絶対値が基準差を超えない場合（ステップＳ１０３－Ｎｏ）、判定部２３２は、ドライバ３０は居眠りをしていると判定する（ステップＳ１０５）。

【0058】

なお、ステップＳ１０３とステップＳ１０５との間に、更に閉眼状態であるか否かを判定する処理を行ってもよい。判定部２３２は、所定の時間（例えば、３秒から５秒）の間、ドライバ３０が閉眼状態であると判定した後に、ステップＳ１０５へ進むようにしてもよい。この間にドライバ３０が閉眼状態ではないと判定された場合、一連の処理を終了する。

【0059】

次に、制御部２３３は、ＵＩ４を介して、ドライバ３０へ警告を通知して（ステップＳ１０６）、一連の処理を終了する。例えば、制御部２３３は、ＵＩ４を介して、警告を表示装置４ａに表示すると共に大きな警告音を出力する。これにより、監視装置１１は、ドライバ３０に対して、運転に関与する程度を増大させる。

【0060】

次に、図１（Ｂ）から図１（Ｄ）を参照して、監視装置１１の動作を以下に説明する。図１（Ｂ）の縦軸は左眼の開眼度を示し、横軸は時間を示す。図１（Ｃ）の縦軸は右眼の開眼度を示し、横軸は時間を示す。図１（Ｄ）の縦軸は開眼度の差の絶対値を示し、横軸は時間を示す。

【0061】

図１（Ｂ）及び図１（Ｃ）に示すように、逆光状態となったドライバ３０の左眼の開眼度は、時刻Ｔ１に基準開眼度Ｔｈ１以下となり、ドライバ３０の右眼の開眼度も、時刻Ｔ１に基準開眼度Ｔｈ１以下となった。

【0062】

そして、図１（Ｄ）に示すように、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間Ｔｍの間、基準差Ｔｈ２を超えた。図１（Ｂ）及び図１（Ｃ）に示すように、差判定期間Ｔｍの間、ドライバ３０の左眼の開眼度及び右眼の開眼度も、基準開眼度Ｔｈ１以下の状態にある。

【0063】

運転中のドライバ３０は、逆光状態にあるので左眼及び右眼を細めているが、何とかして前方を見ようとする。通常、ドライバ３０の利目の方が、利目でない眼より大きく開くので、左右の眼の開眼度に差が生じた状態にある。このように、逆光状態では、ドライバ３０の左眼の開眼度と右眼の開眼度とに差が生じる。

【0064】

ドライバ３０が閉眼していると判定されても、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間の間、基準差を超えている場合、ドライバ３０は逆光状態にあると推定される。ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値を調べることにより、逆光状態のドライバ３０を居眠りしていると誤って判定することが防止される。

【0065】

以上詳述した本実施形態の監視装置によれば、ドライバの顔に太陽の光が当たっている逆光状態をドライバが居眠りをしていると誤って判定しないように、ドライバの居眠りを判定できる。

【0066】

次に、上述した本実施形態の監視装置１１の変形例を以下に説明する。本変形例では、ドライバ３０の顔の明るさに基づいて、基準差が変更される。

【0067】

検出部２３１は、監視画像に基づいて、ドライバ３０の顔の明るさを検出する。検出部２３１は、監視画像を入力して、顔の領域を検出するように学習した識別器を有する。この識別器は、監視画像を入力して、監視画像に含まれる顔の領域を検出する。

【0068】

検出部２３１は、所定の輝度判定期間における、監視画像の顔の領域の画素の輝度の平均値を求める。監視画像がグレースケースで表される場合、輝度の平均値は、０から２５５の数値で表される。監視画像がカラー画像の場合、輝度の平均値は、赤画素の輝度と、緑画像の輝度と、青画素の輝度との平均値として求めてもよい。また、輝度の平均値は、監視画像の画素の輝度の平均値と、監視カメラ２のシャッタースピード等の露光時間に関するパラーメータとに基づいて求められてもよい。輝度判定期間として、例えば１秒から３秒とすることができる。

【0069】

検出部２３１は、輝度判定期間に取得された監視画像のそれぞれについて、監視画像の顔の領域の画素の輝度の平均値を、監視画像の輝度として求める。さらに、検出部２３１は、輝度判定期間に取得された複数の監視画像の輝度の平均値を求める。

【0070】

検出部２３１は、輝度判定期間に取得された複数の監視画像の輝度の平均値を、監視画像の顔の領域の画素の輝度の平均値として、判定部２３２へ通知する。判定部２３２は、輝度判定期間における、監視画像の顔の領域の画素の輝度の平均値を、ドライバ３０の顔の明るさとして用いる。

【0071】

監視装置１１は、所定の周期を有する変更時刻に、変更処理を実行する。判定部２３２は、輝度判定期間における、監視画像の顔の領域の画素の輝度の平均値が、所定の基準輝度を超えるか否かを判定する。基準輝度は、例えば、２００から２３０とすることができる。

【0072】

ドライバ３０の顔の明るさが所定の基準輝度を超える場合、ドライバ３０は逆光状態にあると推定される。基準輝度は、ドライバ３０が逆光状態にある時の顔の明るさを判定できるように決定されることが好ましい。この基準輝度は、第２基準輝度の一例である。

【0073】

ドライバ３０の顔の明るさが基準輝度を超える場合、変更部２３４は、基準差を小さくするように変更する。例えば、変更部２３４は、基準差を０．５ｍｍから０．３ｍｍに変更する。

【0074】

ドライバ３０は逆光状態であることが判明しているので、ドライバ３０の左眼の開眼度と右眼の開眼度との差があることを検出し易くなるように、基準差を変更するものである。

【0075】

一方、ドライバ３０の顔の明るさが基準輝度を超えない場合、変更部２３４は、基準差を初期値（０．５ｍｍ）のままとする。

【0076】

判定部２３２は、変更部２３４によって変更された基準差を用いて、検出部２３１によって検出されたドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、基準差を超えるか否かを判定する。

【0077】

以上詳述した本変形例の監視装置によれば、ドライバ３０が逆光状態にあることをより正確に判定できる。

【0078】

次に、本明細書に開示する第２実施形態から第４実施形態の監視装置について、図４から図６を参照しながら、以下に説明する。本実施形態の監視装置について、特に説明しない点については、上述した第１実施形態の監視装置に対する説明が適宜適用される。

【0079】

図４は、第２実施形態の監視装置１１の監視処理に関する動作フローチャートの一例である。本実施形態では、ステップＳ２０４の処理が追加されている点が、上述した第１実施形態とは異なる。ステップＳ２０１からＳ２０３、Ｓ２０５からＳ２０７の処理は、上述したステップＳ１０１からＳ１０６と同様である。

【0080】

本実施形態では、検出部２３１は、差判定期間内において、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値の大小に変動する変動数を検出する。検出部２３１は、開眼度との差の絶対値の極大値及び極小値を検出する。検出部２３１は、開眼度の差の絶対値が、時間の経過と共に極小値から増大して極大値を示した後低減して極小値を示すまでの変動を１回とカウントする。検出部２３１は、差判定期間内の変動数を、判定部２３２へ通知する。

【0081】

図１（Ｄ）に示す例では、開眼度の差の絶対値は、極小値Ｐ１を示し、次に極大値Ｐ２を示し、次に極小値Ｐ３を示し、次に極大値Ｐ４を示した後、極小値Ｐ５を示す。

【0082】

極小値Ｐ１から極小値Ｐ３までの変動、及び、極小値Ｐ３から極小値Ｐ５までの変動のそれぞれは、１回の変動としてカウントされる。なお、開眼度の差の絶対値の変動を検出する方法はこれに制限されない。例えば、検出部２３１は、開眼度の差の絶対値が、時間の経過と共に極大値から低減して極小値を示した後増大して極第値を示すまでの変動を１回とカウントしてもよい。

【0083】

本実施形態では、開眼度の差の絶対値が基準差を超える場合（ステップＳ２０３－Ｙｅｓ）、判定部２３２は、差判定期間内の変動数が基準数を超えたか否かを判定する（ステップＳ２０４）。

【0084】

本開示の発明者は、逆光状態のドライバについて、調査を行った。その結果、本開示の発明者は、逆光状態のドライバの左右の眼の開眼度は、逆光状態ではない時よりも激しく変動することを知見した。

【0085】

基準数は、逆光状態のドライバの左右の眼の開眼度の差の変動数と、逆光状態ではないドライバの左右の眼の開眼度の差の変動数とを明確に判定できるように決定されることが好ましい。基準数は、開眼度の差の絶対値の変動を検出する方法に応じて適宜決定され得る。

【0086】

変動数が基準数を超えた場合（ステップＳ２０４－Ｙｅｓ）、判定部２３２は、ドライバ３０は居眠りをしていないと判定して（ステップＳ２０５）、一連の処理を終了する。

【0087】

一方、変動数が基準数を超えない場合（ステップＳ２０４－Ｎｏ）、判定部２３２は、ドライバ３０は居眠りをしていると判定する（ステップＳ２０６）。そして、処理はステップＳ２０７へ進む。変動数が基準数を超えない場合、ドライバ３０は逆光状態にはない可能性もあるので、安全をより確保するために、ドライバ３０は居眠りをしていると判定する。

【0088】

以上詳述したように、本実施形態の監視装置によれば、開眼度の差の絶対値の変動数も判定することにより、ドライバ３０の顔に太陽の光が当たっている逆光状態をより正確に判定できる。また、本実施形態の監視装置によれば、上述した第１実施形態と同様の効果が奏される。

【0089】

図５は、第３実施形態の監視装置１１の監視処理に関する動作フローチャートの一例である。本実施形態では、ステップＳ３０５及びＳ３０６の処理が追加されている点が、上述した第１実施形態とは異なる。ステップＳ３０１からＳ３０４、Ｓ３０７及びＳ３０８の処理は、上述したステップＳ１０１からＳ１０６と同様である。

【0090】

ドライバ３０は居眠りをしていないと判定された場合（ステップＳ３０４）、判定部２３２は、ドライバ３０の左眼の開眼度と右眼の開眼度との差の絶対値が、差判定期間の間、基準差を超えるか否かを判定する（ステップＳ３０５）。

【0091】

開眼度の差の絶対値が基準差を超える場合（ステップＳ３０５－Ｙｅｓ）、判定部２３２は、ドライバ３０は居眠りをしていないと判定した時点から基準時間以内であるか否かを判定する（ステップＳ３０６）。判定部２３２は、開眼度の差の絶対値が、差判定期間の間、基準差を超えると判定された時刻が、ドライバ３０は居眠りをしていないと判定した時点から基準時間以内であるか否かを判定する。基準時間として、例えば、３秒から１０秒とすることができる。

【0092】

基準時間以内である場合（ステップＳ３０６－Ｙｅｓ）、判定部２３２は、ドライバ３０は居眠りをしていないと判定（ステップＳ３０４）する。その後、処理は、ステップＳ３０５へ進む。

【0093】

一方、開眼度の差の絶対値が基準差を超えない場合（ステップＳ３０５－Ｎｏ）、又は、基準時間以内ではない場合（ステップＳ３０６－Ｎｏ）、一連の処理を終了する。

【0094】

本実施形態では、ドライバ３０は居眠りをしていないと判定された場合、ドライバ３０は逆光状態にあると推定される。そこで、本実施形態では、閉眼状態を判定することなく、ドライバ３０の逆光状態の判定を続ける。

【0095】

以上詳述したように、本実施形態の監視装置によれば、監視装置の処理量を低減することができる。また、本実施形態の監視装置によれば、上述した第１実施形態と同様の効果を奏する。

【0096】

図６は、第４実施形態の監視装置１１の監視処理に関する動作フローチャートの一例である。本実施形態では、ステップＳ４０４の処理が追加されている点が、上述した第１実施形態とは異なる。ステップＳ４０１からＳ４０３、Ｓ４０５からＳ４０７の処理は、上述したステップＳ１０１からＳ１０６と同様である。

【0097】

本実施形態では、開眼度の差の絶対値が基準差を超える場合（ステップＳ４０３－Ｙｅｓ）、判定部２３２は、ドライバ３０の顔の明るさが所定の基準輝度を超えるか否かを判定する（ステップＳ４０４）。

【0098】

判定部２３２は、輝度判定期間における監視画像の顔の領域の画素の輝度の平均値を、検出部２３１から取得する。判定部２３２は、輝度判定期間における監視画像の顔の領域の画素の輝度の平均値が、基準輝度を超えるか否かを判定する。この基準輝度は、第１基準輝度の一例である。基準輝度は、例えば、２００から２３０とすることができる。輝度判定期間として、例えば１秒から３秒とすることができる。

【0099】

ドライバ３０の顔の明るさが基準輝度を超える場合（ステップＳ４０４－Ｙｅｓ）、判定部２３２は、ドライバ３０は居眠りをしていないと判定して（ステップＳ４０５）、一連の処理を終了する。

【0100】

一方、ドライバ３０の顔の明るさが基準輝度を超えない場合（ステップＳ４０４－Ｎｏ）、判定部２３２は、ドライバ３０は居眠りをしていると判定する（ステップＳ４０６）。そして、処理はステップＳ２０７へ進む。ドライバ３０の顔の明るさが基準輝度を超えない場合、ドライバ３０は逆光状態にはない可能性もあるので、安全をより確保するために、ドライバ３０は居眠りをしていると判定する。

【0101】

以上詳述したように、本実施形態の監視装置によれば、ドライバの顔の明るさに基づいて、逆光状態にあることをより正確に検出できる。また、本実施形態の監視装置によれば、上述した第１実施形態と同様の効果が奏される。

【0102】

本開示では、上述した実施形態の判定装置は、本開示の趣旨を逸脱しない限り適宜変更が可能である。また、本開示の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0103】

例えば、上述した実施形態において、ドライバの開眼度を求める処理は一例であり、これに限定されるものではない。また、上述した実施形態において、ドライバの左眼の開眼度と右眼の開眼度との差の絶対値の変動数を検出する処理は一例であり、これに限定されるものではない。更に、上述した実施形態において、ドライバの顔の明るさを検出する処理は一例であり、これに限定されるものではない。

【符号の説明】

【0104】

２ 監視カメラ
４ ユーザインターフェース
４ａ 表示装置
１０ 車両
１１ 監視装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 検出部
２３２ 判定部
２３３ 制御部
２３４ 変更部
１２ 車内ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】