特許 7700811 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-23

(45)【発行日】2025-07-01

(54)【発明の名称】ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250624BHJP

   G06T 7/20 20170101ALI20250624BHJP

   G06T 7/00 20170101ALI20250624BHJP

【ＦＩ】

G08G1/16 F

G06T7/20 300B

G06T7/00 650Z

【請求項の数】 12

(21)【出願番号】P 2023029606

(22)【出願日】2023-02-28

(65)【公開番号】P2024122190

(43)【公開日】2024-09-09

【審査請求日】2024-03-14

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】藤野 次郎

(72)【発明者】

【氏名】原 健一郎

【審査官】西堀 宏之

(56)【参考文献】

【文献】特開２０２１－１３６００１（ＪＰ，Ａ）

【文献】特開２０１７－０７３１０７（ＪＰ，Ａ）

【文献】特開２０１０－０１５４５１（ＪＰ，Ａ）

【文献】特開２０２２－０４７５８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定する表情判定部と、
前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行う処理部と、
前記ドライバによる不適切な運転を示すイベントを検出するイベント検出部と
を有し、
前記処理部は、前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された場合には、前記閾値を小さくし、又は前記頻度を算出するときに前記ドライバの表情が驚きの表情であると判定されたことの前記頻度に対する重みを大きくする、ドライバ監視装置。

【請求項2】

前記処理部は前記頻度の過去データに基づいて前記閾値を設定する、請求項１に記載のドライバ監視装置。

【請求項3】

前記イベント検出部は前記車両の周辺環境情報に基づいて危険な運転シーンを前記イベントとして検出する、請求項１に記載のドライバ監視装置。

【請求項4】

前記危険な運転シーンは、前記車両と前記車両の周囲の移動物体との間の距離が所定距離以下となるシーンを含む、請求項３に記載のドライバ監視装置。

【請求項5】

前記イベント検出部は前記ドライバによる前記車両の操作情報に基づいて前記ドライバによる急操作を前記イベントとして検出する、請求項１に記載のドライバ監視装置。

【請求項6】

前記処理部は、前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された頻度が所定値に達した場合には、前記所定の処理よりも警告の強度が高い別の処理を行う、請求項１に記載のドライバ監視装置。

【請求項7】

前記処理部は、前記所定の処理として、前記ドライバに警告を通知する、請求項１から６のいずれか１項に記載のドライバ監視装置。

【請求項8】

前記処理部は、前記所定の処理として、前記ドライバ以外の人に警告を通知する、請求項１から６のいずれか１項に記載のドライバ監視装置。

【請求項9】

前記処理部は、前記所定の処理として、前記車両に搭載された運転支援機能における運転支援操作の実施条件を緩和する、請求項１から６のいずれか１項に記載のドライバ監視装置。

【請求項10】

前記処理部は、前記所定の処理として、前記車両においてアダプティブクルーズコントロールが作動されるときの設定車間距離を最大値に固定する、請求項１から６のいずれか１項に記載のドライバ監視装置。

【請求項11】

コンピュータにより実行されるドライバ監視方法であって、
車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定することと、
前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行うことと、
前記ドライバによる不適切な運転を示すイベントを検出することと、
前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された場合には、前記閾値を小さくし、又は前記頻度を算出するときに前記ドライバの表情が驚きの表情であると判定されたことの前記頻度に対する重みを大きくすることと
を含む、ドライバ監視方法。

【請求項12】

車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定することと、
前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行うことと、
前記ドライバによる不適切な運転を示すイベントを検出することと、
前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された場合には、前記閾値を小さくし、又は前記頻度を算出するときに前記ドライバの表情が驚きの表情であると判定されたことの前記頻度に対する重みを大きくすることと
をコンピュータに実行させる、ドライバ監視用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、運転開始前のドライバの顔を撮像した撮像データと、ドライバの発話内容を表す発話音データとの少なくとも一方を用いてドライバの不随意反応を検出し、この検出結果に基づいてドライバによる運転の危険度を診断することが記載されている。

【0003】

特許文献２には、運転装置の操作量が所定の閾値を超えるときの車載機器の操作頻度に基づいてドライバの認知制御能力を判定することと、ドライバの負担度が高く且つドライバの認知制御能力が低い場合に視線走査密度の範囲が狭くなることとが記載されている。

【0004】

特許文献３には、ドライバの運転状況に関する４つの判断項目に基づいて危険点数を算出し、危険点数が閾値を超えた場合にはドライバに運転免許証の自主返納を促すと共に車外の関係者にドライバの認知機能の低下を通知することが記載されている。

【0005】

特許文献４には、ドライバの生体情報に基づいてドライバの衝突警戒車両に対する認知可能度を特定し、認知可能度が所定レベルよりも低下した場合に、衝突警戒車両の接近に対する認知支援出力を行うことが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－０３０５５２号公報

【文献】特開２００９－２３７７７６号公報

【文献】特開２０２１－１４９３７７号公報

【文献】特開２０１０－０８３２０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ドライバの認知機能を精度良く判定し、認知機能が低下しているおそれのあるドライバの安全性を高めるための手法には改善の余地がある。

【0008】

そこで、上記課題に鑑みて、本発明の目的は、認知機能が低下しているおそれのあるドライバの安全性を高めることにある。

【課題を解決するための手段】

【0009】

本開示の要旨は以下のとおりである。

【0010】

（１）車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定する表情判定部と、前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行う処理部とを有する、ドライバ監視装置。

【0011】

（２）前記処理部は前記頻度の過去データに基づいて前記閾値を設定する、上記（１）に記載のドライバ監視装置。

【0012】

（３）前記ドライバによる不適切な運転を示すイベントを検出するイベント検出部を更に有し、前記処理部は、前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された場合には、前記閾値を小さくし、又は前記頻度を算出するときに前記ドライバの表情が驚きの表情であると判定されたことの前記頻度に対する重みを大きくする、上記（１）又は（２）に記載のドライバ監視装置。

【0013】

（４）前記イベント検出部は前記車両の周辺環境情報に基づいて危険な運転シーンを前記イベントとして検出する、上記（３）に記載のドライバ監視装置。

【0014】

（５）前記危険な運転シーンは、前記車両と前記車両の周囲の移動物体との間の距離が所定距離以下となるシーンを含む、上記（４）に記載のドライバ監視装置。

【0015】

（６）前記イベント検出部は前記ドライバによる前記車両の操作情報に基づいて前記ドライバによる急操作を前記イベントとして検出する、上記（３）から（５）のいずれか１つに記載のドライバ監視装置。

【0016】

（７）前記処理部は、前記ドライバの表情が驚きの表情であると判定され且つ前記イベントが検出された頻度が所定値に達した場合には、前記所定の処理よりも警告の強度が高い別の処理を行う、上記（３）から（６）のいずれか１つに記載のドライバ監視装置。

【0017】

（８）前記処理部は、前記所定の処理として、前記ドライバに警告を通知する、上記（１）から（７）のいずれか１つに記載のドライバ監視装置。

【0018】

（９）前記処理部は、前記所定の処理として、前記ドライバ以外の人に警告を通知する、上記（１）から（８）のいずれか１つに記載のドライバ監視装置。

【0019】

（１０）前記処理部は、前記所定の処理として、前記車両に搭載された運転支援機能における運転支援操作の実施条件を緩和する、上記（１）から（９）のいずれか１つに記載のドライバ監視装置。

【0020】

（１１）前記処理部は、前記所定の処理として、前記車両においてアダプティブクルーズコントロールが作動されるときの設定車間距離を最大値に固定する、上記（１）から（１０）のいずれか１つに記載のドライバ監視装置。

【0021】

（１２）コンピュータにより実行されるドライバ監視方法であって、車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定することと、前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行うこととを含む、ドライバ監視方法。

【0022】

（１３）車両のドライバの顔を撮影する撮像装置によって生成された画像から前記ドライバの表情を判定することと、前記ドライバの表情が驚きの表情であると判定された頻度を算出し、前記頻度が所定の閾値以上である場合に、前記ドライバの安全性を高めるための所定の処理を行うこととをコンピュータに実行させる、ドライバ監視用コンピュータプログラム。

【発明の効果】

【0023】

本発明によれば、認知機能が低下しているおそれのあるドライバの安全性を高めることができる。

【図面の簡単な説明】

【0024】

【図1】図１は、本発明の第一実施形態に係るドライバ監視装置を含む車両制御システムの概略的な構成図である。

【図2】図２は、撮像装置が設けられた車両の内部を概略的に示す図である。

【図3】図３は、第一実施形態におけるＥＣＵのプロセッサの機能ブロック図である。

【図4】図４は、本発明の第一実施形態におけるドライバ監視処理の制御ルーチンを示すフローチャートである。

【図5】図５は、第二実施形態におけるＥＣＵのプロセッサの機能ブロック図である。

【図6】図６は、本発明の第二実施形態におけるドライバ監視処理の制御ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

【0026】

＜第一実施形態＞
以下、図１～図４を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を含む車両制御システム１の概略的な構成図である。車両制御システム１は、車両に搭載され、車両の各種制御を実行する。

【0027】

図１に示されるように、車両制御システム１は、撮像装置２、周辺情報検出装置３、ＧＮＳＳ（Global Navigation Satellite System）受信機４、地図データベース５、車両挙動検出装置６、車両操作検出装置７、アクチュエータ８、出力装置９、通信装置１０、乗員検出装置１１及び電子制御ユニット（ＥＣＵ：Electronic Control Unit）２０を備える。撮像装置２、周辺情報検出装置３、ＧＮＳＳ受信機４、地図データベース５、車両挙動検出装置６、車両操作検出装置７、アクチュエータ８、出力装置９、通信装置１０及び乗員検出装置１１は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク等を介してＥＣＵ２０に電気的に接続される。

【0028】

撮像装置２は、車両のドライバの顔を撮影し、ドライバの顔が表された画像を生成する。撮像装置２の出力、すなわち撮像装置２によって生成された画像はＥＣＵ２０に送信される。なお、撮像装置２はドライバモニタカメラとも称される。以下、撮像装置２の構成の具体例について説明する。

【0029】

撮像装置２はカメラ及び投光器を有する。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられてもよい。

【0030】

図２は、撮像装置２が設けられた車両３０の内部を概略的に示す図である。撮像装置２は、車両３０のドライバの顔を撮影するように車室内に設けられる。例えば、図２に示されるように、撮像装置２は車両３０のステアリングコラム３１の上部に設けられる。図２には、撮像装置２の投影範囲が破線で示されている。なお、撮像装置２は、車両３０のステアリングホイール３２、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、車両制御システム１は複数の撮像装置を備えていてもよい。

【0031】

周辺情報検出装置３は、車両３０の周囲のデータ（画像、点群データ等）を取得し、車両３０の周辺情報（例えば、周辺車両、車線、歩行者、自転車、信号機、標識等）を検出する。例えば、周辺情報検出装置３は、カメラ（単眼カメラ又はステレオカメラ）、ミリ波レーダ、ライダ（ＬＩＤＡＲ：Laser Imaging Detection And Ranging））、若しくは超音波センサ（ソナー）、又はこれらの任意の組み合わせを含む。なお、周辺情報検出装置３は、照度センサ、レインセンサ等を更に含んでいてもよい。周辺情報検出装置３の出力、すなわち周辺情報検出装置３によって検出された車両３０の周辺情報はＥＣＵ２０に送信される。

【0032】

ＧＮＳＳ受信機４は、複数（例えば３つ以上）の測位衛星から得られる測位情報に基づいて、車両３０の現在位置（例えば車両３０の緯度及び経度）を検出する。具体的には、ＧＮＳＳ受信機４は、複数の測位衛星を捕捉し、測位衛星から発信された電波を受信する。そして、ＧＮＳＳ受信機４は、電波の発信時刻と受信時刻との差に基づいて測位衛星までの距離を算出し、測位衛星までの距離及び測位衛星の位置（軌道情報）に基づいて車両３０の現在位置を検出する。ＧＮＳＳ受信機４の出力、すなわちＧＮＳＳ受信機４によって検出された車両３０の現在位置はＥＣＵ２０に送信される。ＧＰＳ（Global Positioning System）受信機はＧＮＳＳ受信機の一例である。

【0033】

地図データベース５は地図情報を記憶している。ＥＣＵ２０は地図データベース５から地図情報を取得する。なお、地図データベースが車両３０の外部（例えばサーバ等）に設けられ、ＥＣＵ２０は車両３０の外部から地図情報を取得してもよい。

【0034】

車両挙動検出装置６は車両３０の挙動情報を検出する。車両挙動検出装置６は、例えば、車両３０の速度を検出する車速センサ、車両３０のヨーレートを検出するヨーレートセンサ等を含む。車両挙動検出装置６の出力、すなわち車両挙動検出装置６によって検出された車両の挙動情報はＥＣＵ２０に送信される。

【0035】

車両操作検出装置７はドライバによる車両３０の操作情報を検出する。車両操作検出装置７は、例えば、車両３０のアクセル開度を検出するアクセルポジションセンサ、車両３０のブレーキペダルの位置を検出するブレーキポジションセンサ、車両３０の操舵量を検出する舵角センサ等を含む。車両操作検出装置７の出力、すなわち車両操作検出装置７によって検出された車両３０の操作情報はＥＣＵ２０に送信される。

【0036】

アクチュエータ８は車両３０を動作させる。例えば、アクチュエータ８は、車両３０の加速のための駆動装置（例えば内燃機関及び電動機の少なくとも一方）、車両３０の制動（減速）のためのブレーキアクチュエータ、車両３０の操舵のための操舵アクチュエータ等を含む。ＥＣＵ２０はアクチュエータ８を制御して車両３０の挙動を制御する。

【0037】

出力装置９は車両３０の乗員（例えばドライバ）に対して情報を出力する。出力装置９は、ディスプレイ、スピーカ、光源、振動ユニット等を含む。ＥＣＵ２０の出力は出力装置９を介して車両３０の乗員に通知される。なお、出力装置９は、車両３０の乗員によって情報が入力される入力部（例えば、タッチパネル、操作ボタン、操作スイッチ、マイクロフォン等）を更に有する入出力装置（例えばヒューマン・マシン・インターフェース（ＨＭＩ：Human Machine Interface1））であってもよい。

【0038】

通信装置１０は、車両３０の外部と通信可能であり、車両３０と車両３０の外部との通信を可能とする。例えば、通信装置１０は、キャリア網及びインターネット網のような通信ネットワークを介して車両３０と車両３０の外部（例えばサーバ）との広域通信を可能とする広域通信機と、所定の周波数帯を用いて車両３０と周辺車両との車車間通信を可能とする車車間通信機と、所定の周波数帯を用いて車両３０と路側機との路車間通信を可能とする路車間通信機とを含む。ＥＣＵ１０は通信装置１０を介して車両３０の外部と通信する。

【0039】

乗員検出装置１１はドライバ以外の車両３０の乗員を検出する。乗員検出装置１１は、車室内を撮影する車内カメラ、助手席又は後部座席に設けられたシートベルトセンサ又は着座センサ等を含む。乗員検出装置１１の出力、すなわちドライバ以外の乗員の検出結果はＥＣＵ２０に送信される。

【0040】

ＥＣＵ２０は車両の各種制御を実行する。図１に示されるように、ＥＣＵ２０は、通信インターフェース２１、メモリ２２及びプロセッサ２３を備える。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。なお、本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０はドライバ監視装置の一例である。

【0041】

通信インターフェース２１は、ＥＣＵ２０を車内ネットワークに接続するためのインターフェース回路を有する。ＥＣＵ２０は通信インターフェース２１を介して他の車載機器に接続される。

【0042】

メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用されるプログラム、データ等を記憶する。

【0043】

プロセッサ２３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。

【0044】

図３は、第一実施形態におけるＥＣＵ２０のプロセッサ２３の機能ブロック図である。本実施形態では、プロセッサ２３は表情判定部２５及び処理部２６を有する。表情判定部２５及び処理部２６は、ＥＣＵ２０のメモリ２２に記憶されたコンピュータプログラムをＥＣＵ２０のプロセッサ２３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ２３に設けられた専用の演算回路によって実現されてもよい。

【0045】

表情判定部２５は、車両３０のドライバの顔を撮影する撮像装置２によって生成された画像（以下、「ドライバの顔画像」と称する）からドライバの表情を判定する。例えば、表情判定部２５は、ドライバの顔画像から表情の種類を出力するように予め学習された識別器に顔画像のデータを入力することによってドライバの表情を判定する。斯かる識別器の学習では、教師データとして、例えば、顔面動作符号化システム（ＦＡＣＳ：Facial Action Coding System）に基づく表情分析の手法を用いて６つの表情（怒り、嫌悪、悲しみ、軽蔑、驚き及び恐怖）のうちの一つの表情がタグ付けされた画像が用いられる。識別器の具体例として、ニューラルネットワーク（例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが挙げられる。なお、表情判定部２５はパターンマッチングのような機械学習以外の画像認識の手法を用いてドライバの表情を判定してもよい。

【0046】

ドライバは運転中に車両の周囲の状況等に応じて様々な表情を示す。近年の研究の結果、認知機能が低下した軽度認知障害者のドライバでは、認知機能に問題のない健常者のドライバに比べて、運転中に驚きの表情を示す割合が高くなることが分かってきた。このため、ドライバが運転中に驚きの表情を示す頻度が高い場合には、ドライバの認知機能の低下が疑われる。

【0047】

そこで、本実施形態では、処理部２６は、ドライバの表情が驚きの表情であると判定された頻度を算出し、頻度が所定の閾値以上である場合に、ドライバの安全性を高めるための所定の処理を行う。このことによって、認知機能が低下しているおそれのあるドライバの安全性を高めることができる。

【0048】

以下、図４を参照して、上述した制御について詳細に説明する。図４は、本発明の第一実施形態におけるドライバ監視処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、表情判定部２５及び処理部２６を有するＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。

【0049】

最初に、ステップＳ１０１において、表情判定部２５はドライバの顔画像を取得する。ドライバの顔画像は撮像装置２によって所定の撮影周期（例えば１／３０秒～１／１０秒）で繰り返し生成され、表情判定部２５は撮像装置２からドライバの顔画像を取得する。次いで、ステップＳ１０２において、表情判定部２５はドライバの顔画像に基づいてドライバの表情を判定する。

【0050】

次いで、ステップＳ１０３において、処理部２６は、表情判定部２５によって判定された表情が驚きの表情であるか否かを判定する。表情判定部２５によって判定された表情が驚きの表情ではないと判定された場合、本制御ルーチンは終了する。一方、表情判定部２５によって判定された表情が驚きの表情であると判定された場合、本制御ルーチンはステップＳ１０４に進む。

【0051】

ステップＳ１０４では、処理部２６は、ドライバの表情が驚きの表情であると判定された頻度ＦＲを算出する。頻度ＦＲは、例えば、所定の算出時間の間にドライバの表情が驚きの表情であると判定された回数として算出される。なお、頻度ＦＲは、所定の走行距離の間にドライバの表情が驚きの表情であると判定された回数として算出されてもよい。この場合、車両３０の走行距離は例えば車両挙動検出装置６の車速センサの出力等に基づいて算出される。

【0052】

次いで、ステップＳ１０５において、処理部２６は、頻度ＦＲが所定の閾値ＴＨ以上であるか否かを判定する。閾値ＴＨは、例えば、予め定められた固定値である。なお、閾値ＴＨは、予め登録されたドライバ情報（例えば、年齢、性別等）に応じてドライバ毎に設定されてもよい。

【0053】

例えば、閾値ＴＨが１０回／ｈｏｕｒである場合には、１時間の間にドライバの表情が驚きの表情であると判定された回数が１０回に達したときに頻度ＦＲが閾値ＴＨ以上であると判定される。別の例として、閾値ＴＨが５回／１０ｋｍである場合には、車両３０が１０ｋｍ走行するまでの間にドライバの表情が驚きの表情であると判定された回数が５回に達したときに頻度ＦＲが閾値ＴＨ以上であると判定される。

【0054】

ステップＳ１０５において頻度ＦＲが閾値ＴＨ未満であると判定された場合、本制御ルーチンは終了する。一方、ステップＳ１０５において頻度ＦＲが閾値ＴＨ以上であると判定された場合、本制御ルーチンはステップＳ１０６に進む。

【0055】

ステップＳ１０６では、処理部２６は、ドライバの認知機能が低下していると判定し、ドライバの安全性を高めるための所定の処理を行う。処理部２６は例えば以下のような安全支援処理を行う。第１の安全支援処理として、処理部２６はドライバに警告を通知する。この場合、処理部２６は出力装置９を介してドライバに視覚的、聴覚的又は触覚的な警告を通知する。視覚的な警告の例は、出力装置９のディスプレイに表示される警告メッセージ（例えば、「認知機能が低下しているので、運転に注意し下さい。」のようなメッセージ）又は警告画像、出力装置９の光源から発せられる警告灯等である。聴覚的な警告の例は、出力装置９のスピーカから出力される警告音声又は警告音等である。触覚的な警告の例は、出力装置９の振動ユニットから出力される振動（例えばステアリングホイール３２の振動）等である。なお、処理部２６は二種類以上の警告（例えば視覚的な警告及び聴覚的な警告）をドライバに通知してもよい。

【0056】

上記のようにドライバに警告が通知されたとしても、認知機能が低下しているという指摘をドライバが受け入れないおそれがある。このため、第２の安全支援処理として、処理部２６はドライバ以外の人に警告を通知する。このことによって、ドライバ以外の人の支援により、認知機能が低下しているおそれのあるドライバの安全性を高めることができる。車両３０の外部の人（例えば、ドライバの家族、周辺車両のドライバ、医師、警察官等）に警告が通知される場合、処理部２６は、通信装置１０を介して、車両３０のドライバの認知機能が低下していることを示す警告信号を車両３０の外部（携帯端末、サーバ、周辺車両等）に送信する。また、乗員検出装置１１によってドライバ以外の乗員が検出された場合には、処理部２６はドライバ以外の乗員に視覚的な警告を通知してもよい。視覚的な警告を通知することによって、ドライバに気付かれずにドライバの認知機能の低下をドライバ以外の乗員に通知することができる。この場合、例えば、処理部２６は、ドライバ以外の乗員の前方等に設けられたディスプレイに、車両３０のドライバの認知機能が低下していることを示す警告メッセージを表示する。

【0057】

また、ドライバの認知機能が低下している場合には、車両制御によってドライバの運転を支援することが望ましい。このため、第３の安全支援処理として、処理部２６は、車両３０に搭載された運転支援機能における運転支援操作の実施条件を緩和する。すなわち、処理部２６は、車両３０に搭載された運転支援機能における運転支援操作が実施されやすくする。例えば、プリクラッシュセーフティ（ＰＣＳ：Pre-crash Safety）における運転支援操作（例えば警告又は制動制御）が衝突余裕時間（ＴＴＣ：Time To Collision）が所定値以下になったときに実施される場合、処理部２６は所定値を長くする。また、プロアクティブドライビングアシスト（ＰＤＡ：Proactive Driving Assist）又はレーンディパーチャアラート（ＬＤＡ：Lane Departure Alert）のような運転支援機能における運転支援操作の実施条件が緩和されてもよい。

【0058】

また、第４の安全支援処理として、処理部２６は、運転支援機能としてアダプティブクルーズコントロール（ＡＣＣ：Adaptive Cruise Control）が作動されるときの設定車間距離を最大値に固定する。例えば、ＡＣＣにおける設定車間距離が三段階（短距離、中距離及び長距離）に設定可能である場合、処理部２６は設定車間距離を長距離に固定する。このことによって、先行車の不測の動作への対応が容易となり、ドライバの認知機能が低下している場合であっても、ＡＣＣが作動されたときのドライバの安全性を高めることができる。

【0059】

なお、処理部２６は、頻度ＦＲが閾値ＴＨ以上であると判定された場合に、第１～第４の安全支援処理のうちの一つ又は任意の組み合わせを実施することができる。また、ドライバの安全性を高めるための処理であれば、処理部２６は第１～第４の安全支援処理以外の処理を実施してもよい。ステップＳ１０６の後、本制御ルーチンは終了する。

【0060】

なお、処理部２６は、所定時間又は所定の走行距離に亘って、ドライバの表情が驚きの表情であると判定された頻度が所定の閾値以上である場合に、ドライバの安全性を高めるための所定の処理を行ってもよい。この場合、例えば、閾値が１０回／ｈｏｕｒである場合には、処理部２６は、１時間の間にドライバの表情が驚きの表情であると判定された回数が１０回に達する状態が１０時間維持されたときに、所定の処理を行う。別の例として、閾値ＴＨが５回／１０ｋｍである場合には、処理部２６は、車両３０が１０ｋｍ走行するまでの間にドライバの表情が驚きの表情であると判定された回数が５回に達する状態が１００ｋｍ維持されたときに、所定の処理を行う。

【0061】

また、処理部２６は、ドライバの表情が驚きの表情であると判定された頻度の過去データに基づいて閾値を設定してもよい。この場合、閾値は、頻度の過去の平均値よりも高い値に設定される。例えば、頻度の過去の平均値がＥＣＵ２０のメモリ２２等に記憶され、車両３０のイグニッションスイッチがオンにされたときに、頻度の過去の平均値に係数（例えば２～５）を乗算することによって閾値が算出される。また、１トリップ（車両３０のイグニッションスイッチがオンされてからオフされるまでの期間）における最初の所定時間（例えば３０分）における頻度の平均値に係数（例えば２～５）を乗算することによって１トリップのその後の期間における閾値が算出されてもよい。

【0062】

＜第二実施形態＞
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

【0063】

図５は、第二実施形態におけるＥＣＵ２０のプロセッサ２３の機能ブロック図である。第二実施形態では、プロセッサ２３は、表情判定部２５及び処理部２６に加えて、イベント検出部２７を有する。イベント検出部２７は、車両３０のドライバによる不適切な運転を示すイベントを検出する。表情判定部２５、処理部２６及びイベント検出部２７は、ＥＣＵ２０のメモリ２２に記憶されたコンピュータプログラムをＥＣＵ２０のプロセッサ２３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ２３に設けられた専用の演算回路によって実現されてもよい。

【0064】

ドライバは車両３０の運転中に様々な要因により驚きの表情を示す。ドライバの運転に起因する驚きの表情は、ドライバの運転以外（例えば、他の乗員との会話、ラジオの内容等）に起因する驚きの表情と比べて、ドライバの認知能力の低下と強い相関がある。このため、ドライバによる不適切な運転を示すイベント（以下、単に「イベント」と称する）が生じたときにドライバの驚きの表情が検出された場合には、より早期の段階でドライバの安全性を高めるための処理を行うことが望ましい。

【0065】

そこで、第二実施形態では、処理部２６は、表情判定部２５によってドライバの表情が驚きの表情であると判定され且つイベント検出部２７によってイベントが検出された場合には、所定の処理を行うときの閾値を低くする。すなわち、イベントが検出された場合には、イベントが検出されない場合と比べて、ドライバの表情が驚きの表情であると判定された頻度が低い状態で所定の処理が行われる。このことによって、ドライバの認知機能の低下をより適切に検知することができ、認知機能が低下しているおそれのあるドライバをより適切なタイミングで支援することができる。

【0066】

図６は、本発明の第二実施形態におけるドライバ監視処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、表情判定部２５、処理部２６及びイベント検出部２７を有するＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。

【0067】

ステップＳ２０１～Ｓ２０３は図４のステップＳ１０１～Ｓ１０３と同様に実行される。ステップＳ２０３において表情判定部２５によって判定された表情が驚きの表情であると判定された場合、本制御ルーチンはステップＳ２０４に進む。

【0068】

ステップＳ２０４では、処理部２６は、驚きの表情を含むドライバの顔画像が取得された時点までの所定時間内に、イベント検出部２７によってイベントが検出されたか否かを判定する。イベント検出部２７は、危険な運転シーン、ドライバによる急操作等をイベントして検出する。例えば、イベント検出部２７は車両３０の周辺環境情報に基づいて危険な運転シーンを検出する。車両３０の周辺環境情報は周辺情報検出装置３によって検出され、イベント検出部２７は周辺情報検出装置３から車両３０の周辺環境情報を取得する。

【0069】

危険な運転シーンは、車両３０と車両３０の周囲の移動物体（例えば、歩行者、周辺車両、自転車等）との間の距離が所定距離以下となるシーンを含む。危険な運転シーンの具体例として、交差点から人が飛び出すシーン、周辺車両の陰から人が飛び出すシーン、車線変更時に車両３０が後方車両と接近するシーン等が挙げられる。また、危険な運転シーンは、車両３０の信号無視、一時停止違反等を含む。信号機及び一時停止標識の位置情報は地図データベース５から取得されてもよい。

【0070】

また、イベント検出部２７はドライバによる車両３０の操作情報に基づいてドライバによる急操作（急加速、急減速又は急操舵）を検出する。ドライバによる車両３０の操作情報は車両操作検出装置７によって検出され、イベント検出部２７は車両操作検出装置７からドライバによる車両３０の操作情報を取得する。ドライバによる急加速はアクセルポジションセンサの出力に基づいて検出され、ドライバによる急減速はブレーキポジションセンサの出力に基づいて検出され、ドライバによる急操舵は舵角センサの出力に基づいて検出される。なお、イベント検出部２７は危険な運転シーン及びドライバによる急操作の一方のみをイベントとして検出してもよい。

【0071】

ステップＳ２０４においてイベントが検出されたと判定された場合、本制御ルーチンはステップＳ２０５に進む。ステップＳ２０５では、イベント検出部２７は閾値ＴＨを変更する。例えば、イベント検出部２７は閾値ＴＨを所定の標準値から所定値だけ小さくする。一方、ステップＳ２０４においてイベントが検出されていないと判定された場合、本制御ルーチンはステップＳ２０５をスキップしてステップＳ２０６に進む。この場合、閾値ＴＨとして標準値が用いられる。

【0072】

ステップＳ２０６～Ｓ２０８は図４のステップＳ１０４～Ｓ１０６と同様に実行される。ステップＳ２０８の後、本制御ルーチンは終了する。なお、図６の制御ルーチンは図４の制御ルーチンと同様に変形可能である。例えば、ドライバの表情が驚きの表情であると判定された頻度の過去データに基づいて閾値の標準値が設定されてもよい。

【0073】

また、処理部２６は、表情判定部２５によってドライバの表情が驚きの表情であると判定され且つイベント検出部２７によってイベントが検出された場合には、ドライバの表情が驚きの表情であると判定された頻度を算出するときに、ドライバの表情が驚きの表情であると判定されたことの頻度に対する重みを大きくしてもよい。例えば、ドライバの表情が驚きの表情であると判定されたときにイベントが検出されていない場合には、ドライバの表情が驚きの表情であると判定された回数として１が加算され、ドライバの表情が驚きの表情であると判定されたときにイベントが検出された場合には、ドライバの表情が驚きの表情であると判定された回数として１よりも大きな数（例えば２～８）が加算される。

【0074】

また、イベントが生じたときにドライバが驚きの表情を示すことが頻繁に生じる場合には、ドライバの認知能力が著しく低下しているおそれがある。このため、処理部２６は、表情判定部２５によってドライバの表情が驚きの表情であると判定され且つイベント検出部２７によってイベントが検出された頻度が所定値に達した場合には、所定の処理よりも警告の強度が高い別の処理（以下、「緊急処理」と称する）を行ってもよい。このことによって、ドライバの認知能力の低下度合いに応じてドライバを適切に支援することができる。

【0075】

この場合、例えば、処理部２６は、緊急処理として、警告の常時通知、強制停車、救援要請、車速制限（例えば速度標識により規定される規制速度以下）又はハザードランプの常時点灯を行う。緊急処理は、認知能力検査又は運転能力検査の結果の提示等によって、携帯端末（スマートフォン、タブレット端末等）上で作動するアプリケーション上で又は自動車販売店において解除可能であってもよい。

【0076】

＜その他の実施形態＞
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

【0077】

例えば、図１に示される車両制御システム１の構成の一部が省略されてもよい。また、車両３０は、運転支援機能を有しない車両であってもよい。

【0078】

また、ＥＣＵ２０のプロセッサ２３が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリである。

【符号の説明】

【0079】

２ 撮像装置
２０ 電子制御ユニット（ＥＣＵ）
２３ プロセッサ
２５ 表情判定部
２６ 処理部
３０ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】