特許 7501548 ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240611BHJP

   B60R 11/02 20060101ALI20240611BHJP

【ＦＩ】

G08G1/16 F

B60R11/02 Z

【請求項の数】 7

(21)【出願番号】P 2022005818

(22)【出願日】2022-01-18

(65)【公開番号】P2023104680

(43)【公開日】2023-07-28

【審査請求日】2023-08-16

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】原 健一郎

【審査官】上野 博史

(56)【参考文献】

【文献】特開２０１６－００９２５６（ＪＰ，Ａ）

【文献】特開２０２０－１２３３８０（ＪＰ，Ａ）

【文献】特開２０１８－００５１６３（ＪＰ，Ａ）

【文献】特開２０２１－０８９６５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｒ ９／００－１１／０６

(57)【特許請求の範囲】

【請求項1】

車両に設けられた撮像部により生成された前記車両の車室内の画像から前記車両のドライバの顔の位置及び前記ドライバの顔の向きの少なくとも一方を前記ドライバの姿勢として検出する姿勢検出部と、
検出した前記ドライバの姿勢が異常判定条件を満たす場合に前記ドライバに異常が生じたと判定する異常判定部と、
前記車両に設けられた音声取得部により取得された、前記車両の車室内の音声信号に基づいて、前記車両のドライバが発した異常音を検出するとともに、前記ドライバが異常音を発したときの前記ドライバの状態による前記異常音の種別を判定する異常音検出部と、
前記異常音が検出された場合における前記異常判定条件を、前記異常音が検出されていない場合における異常判定条件よりも緩和する条件設定部と、
を有し、
前記異常判定条件は、前記ドライバの顔の向きまたは前記ドライバの顔の位置が所定の正常範囲から外れている期間が所定の時間閾値以上であることであり、
前記条件設定部は、前記異常音の種別に応じて、前記異常音が検出された場合における前記正常範囲を設定するドライバモニタ装置。

【請求項2】

前記条件設定部は、前記異常音が検出された場合における前記正常範囲を、前記異常音が検出されていない場合における前記正常範囲よりも狭くし、あるいは、前記異常音が検出された場合における前記時間閾値を、前記異常音が検出されていない場合における前記時間閾値よりも短くする、請求項１に記載のドライバモニタ装置。

【請求項3】

前記条件設定部は、検出された前記異常音の種別が前記ドライバの咳の音、または、前記ドライバの睡眠時無呼吸症候群によるいびきの音である場合における、前記正常範囲としての前記ドライバの顔の基準方向に対する下向きの角度範囲を、前記異常音が検出されていない場合の前記下向きの角度範囲よりも狭くする、請求項２に記載のドライバモニタ装置。

【請求項4】

前記条件設定部は、検出された前記異常音の種別が前記ドライバの脳梗塞によるいびきの音である場合における、前記正常範囲としての前記ドライバの顔の基準方向に対する左右方向の角度範囲を、前記異常音が検出されていない場合の前記左右方向の角度範囲よりも狭くする、請求項２に記載のドライバモニタ装置。

【請求項5】

前記条件設定部は、検出された前記異常音の種別が前記ドライバの嗚咽の音である場合における、前記正常範囲としての前記ドライバの顔の基準方向に対する下向きの角度範囲を、前記異常音が検出されていない場合の前記下向きの角度範囲よりも狭くし、かつ、検出された前記異常音の種別が前記ドライバの嗚咽の音である場合における、前記正常範囲としての前記ドライバの顔の位置の基準位置から下限位置までの距離を、前記異常音が検出されていない場合の前記距離よりも短くする、請求項２に記載のドライバモニタ装置。

【請求項6】

車両に設けられた撮像部により生成された前記車両の車室内の画像から前記車両のドライバの顔の位置及び前記ドライバの顔の向きの少なくとも一方を前記ドライバの姿勢として検出し、
検出した前記ドライバの姿勢が異常判定条件を満たす場合に前記ドライバに異常が生じたと判定し、
前記車両に設けられた音声取得部により取得された、前記車両の車室内の音声信号に基づいて、前記車両のドライバが発した異常音を検出するとともに、前記ドライバが異常音を発したときの前記ドライバの状態による前記異常音の種別を判定し、
前記異常音が検出された場合における前記異常判定条件を、前記異常音が検出されていない場合における異常判定条件よりも緩和する、
ことを含み、
前記異常判定条件は、前記ドライバの顔の向きまたは前記ドライバの顔の位置が所定の正常範囲から外れている期間が所定の時間閾値以上であることであり、
前記異常音が検出された場合における前記異常判定条件を、前記異常音が検出されていない場合における異常判定条件よりも緩和することは、前記異常音の種別に応じて、前記異常音が検出された場合における前記正常範囲を設定することを含む、
ドライバモニタ方法。

【請求項7】

車両に設けられた撮像部により生成された前記車両の車室内の画像から前記車両のドライバの顔の位置及び前記ドライバの顔の向きの少なくとも一方を前記ドライバの姿勢として検出し、
検出した前記ドライバの姿勢が異常判定条件を満たす場合に前記ドライバに異常が生じたと判定し、
前記車両に設けられた音声取得部により取得された、前記車両の車室内の音声信号に基づいて、前記車両のドライバが発した異常音を検出するとともに、前記ドライバが異常音を発したときの前記ドライバの状態による前記異常音の種別を判定し、
前記異常音が検出された場合における前記異常判定条件を、前記異常音が検出されていない場合における異常判定条件よりも緩和する、
ことを前記車両に搭載されたプロセッサに実行させ、
前記異常判定条件は、前記ドライバの顔の向きまたは前記ドライバの顔の位置が所定の正常範囲から外れている期間が所定の時間閾値以上であることであり、
前記異常音が検出された場合における前記異常判定条件を、前記異常音が検出されていない場合における異常判定条件よりも緩和することは、前記異常音の種別に応じて、前記異常音が検出された場合における前記正常範囲を設定することを含む、
ドライバモニタ用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のドライバをモニターするドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラムに関する。

【背景技術】

【0002】

車両のドライバを監視して、ドライバの状態が車両の運転に適した状態か否かを判定する技術が提案されている（特許文献１を参照）。

【0003】

特許文献１に開示された技術では、自律走行を行う自動運転モードを備える自動運転車は、運転者及び／または乗車者の所定の疾病又は症状による健康状態の異変を検出し、健康状態の異変を検出した所定の疾病又は症状を特定する。そして自動運転車は、特定した疾病または症状についての専門医のいる病院及び／または専門設備のある病院を行先として決定し、決定した行先に自動運転モードで移動する。この自動運転車は、車内を撮影する１以上のカメラからの撮影画像情報、車内の音または音声を収音するマイクロホンからの音声情報、または自動運転車に設けられた１以上のセンサからのセンサ情報の少なくとも何れかを、健康状態の異変の検出に利用する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１７３８３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

Society of Automotive Engineers(SAE)の定義によるレベル３の自動運転が車両に適用されている場合のように、所定の条件下でドライバに対して運転に関与することが要求されずに車両が自動運転制御されていることがある。このような状況下では、ドライバが運転に適した姿勢（以下、単に運転姿勢と呼ぶことがある）とは異なる姿勢をとることが許容される。ドライバが運転姿勢と異なる姿勢をとっている場合、ドライバを撮影することで得られた画像に基づいて、ドライバに何らかの異常が生じているか否かを判定することが困難となることがある。このような場合、上記の従来技術のように、マイクロホンからの音声情報をドライバの状態を判定するために参照するとしても、ドライバに生じた異常を検出するためには、比較的長時間にわたって得られたドライバが写った画像を解析する必要がある。

【0006】

そこで、本発明は、ドライバに生じた異常を適切に検出できるドライバモニタ装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、ドライバモニタ装置が提供される。このドライバモニタ装置は、車両に設けられた撮像部により生成された車両の車室内の画像から車両のドライバの姿勢を検出する姿勢検出部と、検出した姿勢が異常判定条件を満たす場合にドライバに異常が生じたと判定する異常判定部と、車両に設けられた音声取得部により取得された、車両の車室内の音声信号に基づいて、車両のドライバが発した異常音を検出する異常音検出部と、異常音が検出された場合における異常判定条件を、異常音が検出されていない場合における異常判定条件よりも緩和する条件設定部とを有する。

【0008】

このドライバモニタ装置において、姿勢検出部は、ドライバの顔の位置及びドライバの顔の向きの少なくとも一方をドライバの姿勢として検出し、異常判定条件は、ドライバの顔の向きまたはドライバの顔の位置が所定の正常範囲から外れている期間が所定の時間閾値以上であることであり、条件設定部は、異常音が検出された場合における正常範囲を、異常音が検出されていない場合における正常範囲よりも狭くし、あるいは、異常音が検出された場合における時間閾値を、異常音が検出されていない場合における時間閾値よりも短くすることが好ましい。

【0009】

この場合において、異常音検出部は、ドライバが異常音を発したときのドライバの状態による異常音の種別をさらに判定し、条件設定部は、異常音の種別に応じて、異常音が検出された場合における正常範囲を設定することが好ましい。

【0010】

例えば、条件設定部は、検出された異常音の種別がドライバの咳の音、または、ドライバの睡眠時無呼吸症候群によるいびきの音である場合における、正常範囲としてのドライバの顔の基準方向に対する下向きの角度範囲を、異常音が検出されていない場合の下向きの角度範囲よりも狭くすることが好ましい。

【0011】

あるいは、条件設定部は、検出された異常音の種別がドライバの脳梗塞によるいびきの音である場合における、正常範囲としてのドライバの顔の基準方向に対する左右方向の角度範囲を、異常音が検出されていない場合の左右方向の角度範囲よりも狭くすることが好ましい。

【0012】

あるいはまた、条件設定部は、検出された異常音の種別がドライバの嗚咽の音である場合における、正常範囲としてのドライバの顔の基準方向に対する下向きの角度範囲を、異常音が検出されていない場合の下向きの角度範囲よりも狭くし、かつ、検出された異常音の種別がドライバの嗚咽の音である場合における、正常範囲としてのドライバの顔の位置の基準位置から下限位置までの距離を、異常音が検出されていない場合の距離よりも短くすることが好ましい。

【0013】

他の実施形態によれば、ドライバモニタ方法が提供される。このドライバモニタ方法は、車両に設けられた撮像部により生成された車両の車室内の画像から車両のドライバの姿勢を検出し、検出した姿勢が異常判定条件を満たす場合にドライバに異常が生じたと判定し、車両に設けられた音声取得部により取得された、車両の車室内の音声信号に基づいて、車両のドライバが発した異常音を検出し、異常音が検出された場合における異常判定条件を、異常音が検出されていない場合における異常判定条件よりも緩和する、ことを含む。

【0014】

さらに他の実施形態によれば、ドライバモニタ用コンピュータプログラムが提供される。このドライバモニタ用コンピュータプログラムは、車両に設けられた撮像部により生成された車両の車室内の画像から車両のドライバの姿勢を検出し、検出した姿勢が異常判定条件を満たす場合にドライバに異常が生じたと判定し、車両に設けられた音声取得部により取得された、車両の車室内の音声信号に基づいて、車両のドライバが発した異常音を検出し、異常音が検出された場合における異常判定条件を、異常音が検出されていない場合における異常判定条件よりも緩和することを、車両に搭載されたプロセッサに実行させる命令を含む。

【発明の効果】

【0015】

本開示に係るドライバモニタ装置は、ドライバに生じた異常を適切に検出できるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】ドライバモニタ装置を含む、車両制御システムの概略構成図である。

【図2】ドライバモニタ装置の一例であるＥＣＵのハードウェア構成図である。

【図3】ドライバモニタ処理に関する、ＥＣＵのプロセッサの機能ブロック図である。

【図4】（ａ）は、ドライバの発した異常音が検出されていない場合のドライバの異常判定の一例を示す図であり、（ｂ）は、ドライバによる異常音が検出されていない場合のドライバの異常判定の一例を示す図である。

【図5】車両のＥＣＵのプロセッサにより実行される、ドライバモニタ処理を含む車両制御処理の動作フローチャートである。

【発明を実施するための形態】

【0017】

以下、図を参照しつつ、ドライバモニタ装置、及び、ドライバモニタ装置にて実行されるドライバモニタ方法及びドライバモニタ用コンピュータプログラムについて説明する。このドライバモニタ装置は、車室内の音声信号に基づいてドライバが発した異常音を検出すると、車室内の画像から検出したドライバの姿勢に基づく異常判定の条件を、異常音が検出されないときよりも緩和する。これにより、このドライバモニタ装置は、ドライバに異常が生じていないにもかかわらず、ドライバが運転に適した姿勢（以下、単に運転姿勢と呼ぶことがある）を取っていないときにドライバに異常が生じたとして誤検出することを抑制する。さらに、このドライバモニタ装置は、ドライバの異常音が検出されたときには異常判定の条件を緩和することで、ドライバに生じた異常を適切に検出することを可能とする。

【0018】

図１は、ドライバモニタ装置を含む、車両制御システムの概略構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、マイクロホン２と、ドライバモニタカメラ３と、通知機器４と、ドライバモニタ装置の一例である電子制御装置(ＥＣＵ)５とを有する。マイクロホン２、ドライバモニタカメラ３及び通知機器４と、ＥＣＵ５とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。なお、車両制御システム１は、車両１０の周辺の領域を撮影してその周辺の領域が表された画像を生成する車外カメラ（図示せず）を有していてもよい。あるいは、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する距離センサ（図示せず）を有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星からの信号に基づいて車両１０の位置を測位するための測位機器（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の自動運転制御において参照される地図情報を記憶するストレージ装置（図示せず）を有していてもよい。

【0019】

車両制御システム１は、SAEの定義によるレベル３の運転制御レベル、すなわち、ドライバによるアクセル、ブレーキ及びステアリングの操作及び車両周囲の監視を必要としない運転制御レベルにて車両１０を制御することが可能となっている。そしてＥＣＵ５は、レベル３の運転制御レベルにて車両１０を制御している間、ドライバモニタ処理を実行する。しかし、これに限られず、ＥＣＵ５は、ドライバが車両１０の運転に関与する運転制御レベル、例えば、SAEの定義によるレベル０～２の運転制御レベルにて車両１０の制御が行われている間においても、ドライバモニタ処理を実行してもよい。

【0020】

マイクロホン２は、音声取得部の一例であり、車両１０の車室内に設置される。特に、ドライバが発した音声を収音できるように、マイクロホン２は、ドライバの近傍、例えば、インスツルメンツパネルの周囲に設置される。そしてマイクロホン２は、車室内で生じた音声を集音してその音声を表す音声信号を生成する。マイクロホン２は、生成した音声信号をＥＣＵ５へ出力する。

【0021】

ドライバモニタカメラ３は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ３は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ３は、車両１０のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバを撮影し、ドライバが写った画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ３により得られたドライバ画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ３は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ５へ出力する。

【0022】

通知機器４は、車両１０の車室内に設けられ、ドライバに対して、光、音声、振動、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器４は、例えば、スピーカ、光源、振動子あるいは表示装置の少なくとも何れかを有する。そして通知機器４は、ＥＣＵ５からドライバへの警告を表す通知を受け取ると、スピーカからの音声、光源の発光または点滅、振動子の振動、あるいは、表示装置への警告メッセージの表示により、ドライバへその警告を通知する。

【0023】

ＥＣＵ５は、車両１０に適用される運転制御レベルに従って車両１０を運転制御する。さらに、ＥＣＵ５は、マイクロホン２から受信した音声信号及びドライバモニタカメラ３から受け取ったドライバ画像に基づいて、ドライバをモニターするとともに、ドライバに生じた異常を検出する。そしてＥＣＵ５は、ドライバに異常が生じたと判定した場合に、ドライバに対して警告し、あるいは、車両１０を緊急停止するよう、車両１０を制御する。

【0024】

図２は、ＥＣＵ５のハードウェア構成図である。図２に示されるように、ＥＣＵ５は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0025】

通信インターフェース２１は、ＥＣＵ５を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、マイクロホン２から受信した音声信号をプロセッサ２３へわたす。また、通信インターフェース２１は、ドライバモニタカメラ３からドライバ画像を受信する度に、受信したドライバ画像をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、プロセッサ２３からドライバへの警告を表す通知といった、通知機器４を介してドライバへ通知される情報を受け取ると、その情報を通知機器４へ出力する。

【0026】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ５のプロセッサ２３により実行されるドライバモニタ処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、ドライバの姿勢の検出及びドライバが発した異常音の検出などに利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、ドライバに異常が生じたか否かを判定するための判定条件（以下、単に異常判定条件と呼ぶことがある）を規定するためのパラメータを記憶する。さらにまた、メモリ２２は、音声信号、ドライバ画像及びドライバモニタ処理の途中で生成される各種のデータを一時的に記憶する。さらにまた、メモリ２２は、車両１０を運転制御するために利用される各種のパラメータ及び各種のデータを記憶する。そのようなデータには、車外カメラにより生成された画像、距離センサにより生成された測距信号、GPS受信機により生成された車両１０の位置を表す測位信号、ナビゲーション装置により生成された走行予定ルート、及び、地図情報が含まれる。

【0027】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、所定の周期ごとに、ドライバモニタ処理を含む車両の運転制御処理を実行する。

【0028】

図３は、ドライバモニタ処理を含む車両の運転制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、異常音検出部３１と、条件設定部３２と、姿勢検出部３３と、異常判定部３４と、警告処理部３５と、車両制御部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。なお、プロセッサ２３が有するこれらの各部のうち、異常音検出部３１、条件設定部３２、姿勢検出部３３及び異常判定部３４により実行される処理がドライバモニタ処理に対応する。

【0029】

異常音検出部３１は、マイクロホン２により取得され、プロセッサ２３が受け取った音声信号に基づいて、ドライバが発した異常音を検出するとともに、検出した異常音の種別を判別する。

【0030】

本実施形態において、ドライバが発した異常音とは、ドライバが車両１０の運転に支障をきたす状態、すなわち、ドライバに異常が生じている状態となっている可能性が有る場合にドライバが発する音である。そのような異常音は、例えば、嗚咽、咳、うめき声、脳梗塞時のいびき、あるいは、睡眠時無呼吸症候群(SAS)によるいびきにより生じる音とすることができる。

【0031】

異常音検出部３１は、直近の所定期間（例えば、数秒間～数10秒間）の音声信号を、音声信号から異常音を検出するように予め学習された検出器に入力することで、ドライバが異常音を発したか否かを判定する。異常音検出部３１は、そのような検出器として、例えば、いわゆるディープニューラルネットワーク(DNN)を用いることができる。異常音検出用の検出器として利用されるDNNは、例えば、リカレントニューラルネットワーク(RNN)あるいはコンボリューショナルニューラルネットワーク(CNN)とすることができる。RNNに基づいて検出器が構成される場合、その検出器は、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった再帰的な演算を実行する再帰演算層を有する。また、CNNに基づいて検出器が構成される場合、その検出器は、所定のフィルタ範囲ごとに畳み込み演算を実行する畳み込み層を少なくとも一つ有する。検出器は、全結合層及びプーリング演算を実行するプーリング層といった、他の演算を実行する演算層をさらに有してもよい。そして検出器は、それらの層により算出された演算結果に対してソフトマック演算あるいはシグモイド演算を実行することで、ドライバが異常音を発した確からしさを表す確信度を、異常音の種別ごとに出力する出力層をさらに有する。そして異常音検出部３１は、確信度が所定の検出閾値以上となる種別の異常音が存在する場合に、その種別の異常音を検出する。一方、何れの種別の異常音についても確信度が検出閾値未満となる場合、異常音検出部３１は、ドライバは異常音を発していないと判定する。なお、検出器の出力層が確信度を算出する異常音の種別の一つとして、正常音が含まれていてもよい。そしてこの場合には、異常音検出部３１は、確信度が最も高い種別の異常音を検出する。すなわち、異常音検出部３１は、各種別の異常音のうち、正常音について算出された確信度が最も高い場合には、ドライバは異常音を発していないと判定する。

【0032】

異常音検出部３１は、検出器を利用する代わりに、異常音の種別ごとに予め設定された異常音検出条件を、ドライバが発した異常音を検出するために利用してもよい。そして異常音検出部３１は、音声信号が何れかの異常音検出条件を満たした場合に、その異常音検出条件に対応する異常音をドライバが発したと判定する。この場合、異常音検出部３１は、音声信号を所定の時間長（例えば、100m秒～数100m秒）を持つフレーム単位に分割し、フレームごとに高速フーリエ変換を実行することでフレームごとの音声信号の周波数スペクトルを算出する。そして異常音検出部３１は、各フレームの音声信号の周波数スペクトルに含まれる個々の周波数成分を、検出すべき異常音の種別に応じて設定された閾値と比較することで、ドライバが発した異常音を検出してもよい。すなわち、異常音検出部３１は、個々の周波数成分が、何れかの種別の異常音について設定された閾値以上となる場合、その種別の異常音をドライバが発したことを検出する。あるいはまた、異常音検出部３１は、音声信号の時間変化波形の包絡線を算出し、その包絡線と、異常音の種別ごとに予め用意された異常音波形とを比較することで、ドライバが発した異常音を検出してもよい。例えば、音声信号の時間変化波形の包絡線が何れかの異常音波形との正規化相互相関値が所定の検出閾値以上となる場合、異常音検出部３１は、その異常音波形に対応する種別の異常音をドライバが発したことを検出する。

【0033】

異常音検出部３１は、ドライバの発した異常音が検出された場合、異常音が検出されたこと及び検出された異常音の種別を条件設定部３２へ通知する。

【0034】

条件設定部３２は、ドライバ画像から検出される、ドライバの姿勢に対して適用される異常判定条件を設定する。本実施形態では、条件設定部３２は、異常音検出部３１からドライバの発した異常音が検出されたときの異常判定条件を、ドライバの発した異常音が検出されていないときの異常判定条件よりも緩和する。

【0035】

詳細は後述するように、ドライバに生じた異常は、ドライバの顔の位置または顔の向きで判断される。すなわち、異常判定条件として設定した、ドライバの顔の位置の正常範囲からドライバの顔の位置が外れている期間が時間閾値以上継続すると、ドライバに異常が生じたと判定される。あるいは、ドライバの顔の向きの正常範囲からドライバの顔の向きが外れている期間が時間閾値以上継続すると、ドライバに異常が生じたと判定される。そこで、条件設定部３２は、異常判定条件として、顔の位置の正常範囲、顔の向きの正常範囲及び時間閾値を設定する。

【0036】

例えば、条件設定部３２は、顔の位置の正常範囲を、ドライバが車両１０を運転している場合の顔の位置として想定される位置に対応するドライバ画像上の基準位置を中心とする円形領域または楕円領域として設定する。その際、条件設定部３２は、ドライバの発した異常音が検出されたときの基準位置から正常範囲の外縁までの半径を、ドライバの発した異常音が検出されていないときの基準位置から正常範囲の外縁までの半径よりも小さくする。すなわち、条件設定部３２は、ドライバの発した異常音が検出されたときの顔の位置の正常範囲を、ドライバの発した異常音が検出されていないときの顔の位置の正常範囲よりも狭くする。

【0037】

また、条件設定部３２は、顔の向きの正常範囲を、ドライバが車両１０の正面方向を向いており、かつ、車両１０の底面に対して顔が垂直となっているときのドライバの顔の向きである基準方向を中心とする角度範囲として設定する。その際、条件設定部３２は、ドライバの発した異常音が検出されたときの正常範囲の外縁に相当する、基準方向に対する角度の閾値を、ドライバの発した異常音が検出されていないときの正常範囲の外縁に相当する、基準方向に対する角度の閾値よりも小さくする。すなわち、条件設定部３２は、ドライバの発した異常音が検出されたときの顔の向きの正常範囲を、ドライバの発した異常音が検出されていないときの顔の向きの正常範囲よりも狭くする。例えば、条件設定部３２は、ドライバの発した異常音が検出されたときの角度閾値を20～30°に設定し、ドライバの発した異常音が検出されていないときの角度閾値を35～45°に設定する。なお、条件設定部３２は、顔の向きに応じて異なる角度閾値を設定してもよい。例えば、条件設定部３２は、基準方向に対して顔が下向きまたは上向きとなる方向（すなわち、ピッチ方向）の角度閾値と、基準方向に対して顔が左向きまたは右向きとなる方向（すなわち、ヨー方向）の角度閾値とを別個に設定してもよい。さらに、条件設定部３２は、ピッチ方向またはヨー方向の角度閾値と、基準方向を中心とする回転方向（すなわち、ロール方向）の角度閾値とを別個に設定してもよい。この場合も、条件設定部３２は、ドライバの発した異常音が検出されたときの何れかの方向の角度閾値を、ドライバの発した異常音が検出されていないときの何れかの方向の角度閾値よりも小さい値に設定すればよい。

【0038】

さらに、条件設定部３２は、ドライバの発した異常音が検出されたときの時間閾値を、ドライバの発した異常音が検出されていないときの時間閾値よりも小さくする。例えば、条件設定部３２は、ドライバの発した異常音が検出されたときの時間閾値を2～3秒に設定し、ドライバの発した異常音が検出されていないときの時間閾値を、5～10秒に設定する。

【0039】

なお、条件設定部３２は、検出された異常音の種別に応じて、異常判定条件の緩和のしかたを変更してもよい。例えば、ドライバが咳き込んでいる場合、ドライバは顔を俯けている可能性が高い。そこで、条件設定部３２は、検出された異常音の種別が咳による異常音である場合、下向きのピッチ角に対する角度閾値を、ドライバの発した異常音が検出されていない場合のその角度閾値よりも小さくする。また、ドライバがSASに起因していびきをかいている場合も、ドライバは顔を俯けている可能性が高い。そこで、条件設定部３２は、検出された異常音の種別がSASによるいびきの異常音である場合も、下向きのピッチ角に対する角度閾値を、ドライバの発した異常音が検出されていない場合のその角度閾値よりも小さくする。例えば、条件設定部３２は、咳またはSASのいびきによる異常音が検出されている場合、下向きのピッチ角に対する角度閾値を20～30°に設定し、ドライバの発した異常音が検出されていない場合のその角度閾値を35～45°に設定する。条件設定部３２は、下向きのピッチ角以外の角度方向に対する角度閾値及び顔の位置の正常範囲については、咳またはSASのいびきによる異常音が検出されている場合とドライバが発した異常音が検出されていない場合とで同じとしてもよい。

【0040】

また、ドライバが脳梗塞に起因していびきをかいている場合、ドライバは顔を左右何れかの方向へ向けている可能性が高い。そこで、条件設定部３２は、検出された異常音の種別が脳梗塞によるいびきの異常音である場合、ヨー角に対する角度閾値を、ドライバの発した異常音が検出されていない場合のその角度閾値よりも小さくする。例えば、条件設定部３２は、脳梗塞のいびきによる異常音が検出されている場合、ヨー角に対する角度閾値を20～30°に設定し、ドライバの発した異常音が検出されていない場合のその角度閾値を35～45°に設定する。条件設定部３２は、ヨー角以外の角度方向に対する角度閾値及び顔の位置の正常範囲については、脳梗塞のいびきによる異常音が検出されている場合とドライバが発した異常音が検出されていない場合とで同じとしてもよい。

【0041】

さらにまた、ドライバが嗚咽している場合、ドライバは前傾姿勢をとって顔を俯けている可能性が高い。そこで、条件設定部３２は、検出された異常音の種別が嗚咽による異常音である場合、下向きのピッチ角に対する角度閾値を、ドライバの発した異常音が検出されていない場合のその角度閾値よりも小さくする。さらに、条件設定部３２は、検出された異常音の種別が嗚咽による異常音である場合、基準位置から顔の位置の正常範囲の下限位置までの距離を、ドライバの発した異常音が検出されていない場合のその距離よりも短くする。条件設定部３２は、下向きのピッチ角以外の角度方向に対する角度閾値及び顔の位置の正常範囲の下限方向以外の範囲については、嗚咽による異常音が検出されている場合とドライバが発した異常音が検出されていない場合とで同じとしてもよい。

【0042】

条件設定部３２は、設定した異常判定条件を異常判定部３４へ通知する。

【0043】

姿勢検出部３３は、ドライバモニタカメラ３からＥＣＵ５が受け取った最新のドライバ画像から、ドライバの姿勢を検出する。本実施形態では、姿勢検出部３３は、ドライバの姿勢を表す情報として、ドライバの顔の位置及びドライバの顔の向きを検出する。

【0044】

姿勢検出部３３は、例えば、ドライバ画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。姿勢検出部３３は、そのような識別器として、例えば、CNN型のアーキテクチャを持つDNNまたはAdaBoost識別器を利用することができる。さらに、姿勢検出部３３は、ドライバ画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、姿勢検出部３３は、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、姿勢検出部３３は、例えば、CNN型のアーキテクチャを持つDNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。なお、顔領域検出用の識別器と顔の特徴点検出用の識別器は一体的に構成されてもよい。この場合には、姿勢検出部３３は、ドライバ画像を識別器に入力することで、顔領域と顔の個々の特徴点のそれぞれを検出することができる。あるいは、姿勢検出部３３は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の個々の特徴点を検出してもよい。

【0045】

姿勢検出部３３は、検出した顔の個々の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして姿勢検出部３３は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、姿勢検出部３３は、画像に表された顔の向きを判定する他の手法に従って、ドライバ画像に基づいてドライバの顔の向きを検出してもよい。

【0046】

さらに、姿勢検出部３３は、ドライバ画像における顔領域の重心位置を、ドライバの顔の位置として検出する。

【0047】

姿勢検出部３３は、ドライバ画像ごとに、そのドライバ画像に対するドライバの姿勢の検出結果、すなわち、ドライバの顔の位置及び顔の向きの検出結果を異常判定部３４へ通知する。

【0048】

異常判定部３４は、姿勢検出部３３により検出されたドライバの姿勢が異常判定条件を満たす場合にドライバに異常が生じたと判定する。上記のように、本実施形態では、ドライバの姿勢はドライバの顔の位置及びドライバの顔の向きにより表される。また、異常判定条件は、ドライバの顔の位置または顔の向きが正常範囲から外れた状態が時間閾値以上継続することである。そこで、異常判定部３４は、姿勢検出部３３からドライバの顔の位置及び顔の向きが通知される度に、その顔の位置及び顔の向きが、条件設定部３２により設定された正常範囲に含まれるか否か判定する。そして異常判定部３４は、ドライバの顔の位置または顔の向きが正常範囲から外れた状態が時間閾値以上継続すると、ドライバに異常が生じたと判定する。

【0049】

異常判定部３４は、ドライバに異常が生じたか否かの判定結果を警告処理部３５及び車両制御部３６に通知する。

【0050】

図４（ａ）は、ドライバの発した異常音が検出されていない場合のドライバの異常判定の一例を示す図であり、図４（ｂ）は、ドライバによる異常音が検出されていない場合のドライバの異常判定の一例を示す図である。図４（ａ）及び図４（ｂ）において、横軸は時間を表す。

【0051】

図４（ａ）に示される例では、ドライバの発した異常音が検出されていないため、ドライバの顔４００の顔の向きに対する正常範囲４１０が相対的に広く設定されている。また、時間閾値T1も相対的に長く設定されている。そのため、ドライバの顔４００の向き４０１が基準方向４１１に対して相対的に大きく傾いた状態が継続した期間P1が比較的長い時間閾値T1以上となることでドライバの異常が検出される。

【0052】

これに対して、図４（ｂ）に示される例では、ドライバの発した異常音が検出されているため、ドライバの顔４００の顔の向きに対する正常範囲４２０が相対的に狭く設定されている。また、時間閾値T2も時間閾値T1よりも小さい値に設定されている。そのため、ドライバの顔４００の向き４０２が基準方向４１１に対してそれほど大きく傾いていなくても、顔の向き４０２は正常範囲４２０から外れることになる。また、顔の向き４０２が正常範囲４２０から外れた状態が継続する期間P2が図４（ａ）に示される期間P1よりも短くても、期間P2は時間閾値T2以上となる。そのため、ドライバの異常が検出され易くなり、かつ、早期に検出される。

【0053】

警告処理部３５は、異常判定部３４から、ドライバに異常が生じたとの判定結果を受け取ると、所定の警告処理を実施する。例えば、警告処理部３５は、通知機器４が有するスピーカに、ドライバに運転姿勢を取ることを要求する音声信号あるいは警告音を発声させる。あるいは、警告処理部３５は、通知機器４が有するディスプレイに、ドライバに運転姿勢を取ることを要求する警告メッセージを表示させる。あるいはまた、警告処理部３５は、通知機器４が有する振動子を振動させる。

【0054】

警告処理部３５は、通知機器４を介してドライバへ運転姿勢を取ることを要求する警告処理を実施した後に、異常判定部３４からドライバに異常が生じていないとの判定結果を受け取ると、警告処理の実行を停止する。

【0055】

車両制御部３６は、異常判定部３４から、ドライバに異常が生じたとの判定結果を受け取るまでは、車両１０に適用される運転制御レベルに従って車両１０を制御する。車両１０に適用される運転制御レベルが、ドライバが車両１０の運転に関与しない運転制御レベルである場合、車両制御部３６は、車両１０が走行中の自車線に沿って走行するよう、車両１０を制御する。そのために、車両制御部３６は、車外カメラにより生成された画像から自車線と隣接車線とを区画する車線区画線、及び、車両１０の周囲を走行する他の車両といった移動物体を検出する。そして車両制御部３６は、検出された車線区画線と地図情報とを照合することで、車両１０の位置及び姿勢を推定する。そして車両制御部３６は、車両１０の位置及び姿勢の推定結果と、車両１０の周囲の個々の移動物体の検出結果とに基づいて、車両１０が個々の移動物体と衝突せず、かつ、自車線に沿って走行するように車両１０を制御する。

【0056】

また、異常判定部３４からドライバに異常が生じたとの判定結果を継続して一定期間にわたって受け取ると、車両制御部３６は、車両１０を緊急停車させるように車両１０を制御する。なお、車両制御部３６は、異常判定部３４からドライバに異常が生じたとの判定結果を受け取ると直ちに車両１０を緊急停車させるように車両１０を制御してもよい。その際、車両制御部３６は、車両１０の位置及び姿勢の推定結果、車両１０の周囲の個々の移動物体の検出結果、及び、地図情報に基づいて、車両１０を路肩に移動させてから停車させてもよい。

【0057】

図５は、プロセッサ２３により実行される、ドライバモニタ処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って車両制御処理を実行すればよい。

【0058】

プロセッサ２３の異常音検出部３１は、プロセッサ２３がマイクロホン２から受信した音声信号に基づいて、ドライバが発した異常音を検出するとともに、検出した異常音の種別を判別する（ステップＳ１０１）。

【0059】

プロセッサ２３の条件設定部３２は、ドライバの発した異常音が検出されたか否か判定する（ステップＳ１０２）。ドライバの発した異常音が検出された場合（ステップＳ１０２－Ｙｅｓ）、条件設定部３２は、相対的に緩和した異常判定条件を設定する（ステップＳ１０３）。一方、ドライバの発した異常音が検出されなかった場合（ステップＳ１０２－Ｎｏ）、条件設定部３２は、緩和していない通常通りの異常判定条件を設定する（ステップＳ１０４）。

【0060】

プロセッサ２３の姿勢検出部３３は、ドライバモニタカメラ３からＥＣＵ５が受け取った最新のドライバ画像から、ドライバの姿勢としてドライバの顔の位置及び顔の向きを検出する（ステップＳ１０５）。そしてプロセッサ２３の異常判定部３４は、ドライバの顔の位置または顔の向きが異常判定条件を満たすか否か判定する（ステップＳ１０６）。すなわち、異常判定部３４は、ドライバの顔の位置または顔の向きが正常範囲から外れた期間が時間閾値以上継続したか否か判定する。ドライバの顔の位置または顔の向きが異常判定条件を満たす場合（ステップＳ１０６－Ｙｅｓ）、異常判定部３４は、ドライバに異常が生じたと判定する。そしてプロセッサ２３の警告処理部３５は、通知機器４を介してドライバに運転姿勢を取ることを要求する警告を通知する（ステップＳ１０７）。また、プロセッサ２３の車両制御部３６は、車両１０を緊急停車させるよう、車両１０を制御する（ステップＳ１０８）。

【0061】

一方、ステップＳ１０６において、ドライバの顔の位置及び顔の向きが異常判定条件を満たさない場合（ステップＳ１０６－Ｎｏ）、車両制御部３６は、車両１０に適用される運転制御レベルに従って車両１０を制御する（ステップＳ１０９）。

【0062】

ステップＳ１０８またはステップＳ１０９の後、プロセッサ２３は、車両制御処理を終了する。なお、プロセッサ２３は、ステップＳ１０１～Ｓ１０４の処理と、ステップＳ１０５の処理の実行順序を入れ替えてもよく、あるいは、ステップＳ１０１～Ｓ１０４の処理と、ステップＳ１０５の処理とを並列に実行してもよい。

【0063】

以上に説明してきたように、このドライバモニタ装置は、車室内の音声信号に基づいてドライバが発した異常音を検出すると、ドライバ画像から検出したドライバの姿勢に基づく異常判定条件を、異常音が検出されないときの異常判定条件よりも緩和する。これにより、このドライバモニタ装置は、ドライバが異常音を発していないときには相対的に異常判定条件を厳しくすることができるので、ドライバが運転姿勢を取っていないときにドライバに異常が生じたとして誤検出することを抑制できる。さらに、このドライバモニタ装置は、ドライバの異常音が検出されたときには異常判定の条件を緩和して、ドライバの異常を検出し易くするので、比較的短時間でドライバに生じた異常を検出することができる。そのため、このドライバモニタ装置は、ドライバに生じた異常を適切に検出することができる。

【0064】

変形例によれば、異常判定条件は、ドライバの顔の向きまたはドライバの顔の位置の何れか一方に対してのみ設定されてもよい。この場合には、姿勢検出部３３は、ドライバの顔の位置及び顔の向きのうち、異常判定条件が設定される方についてのみ検出すればよい。

【0065】

他の変形例によれば、条件設定部３２は、ドライバの発した異常音が検出された場合の異常判定条件に関して、正常範囲または時間閾値の何れか一方のみを、異常音が検出されない場合と比較してドライバの異常が検出され易くなるように設定してもよい。例えば、条件設定部３２は、ドライバの発した異常音が検出された場合の顔の向きまたは顔の位置に対する正常範囲を、ドライバの発した異常音が検出されない場合の正常範囲よりも狭くする。しかし、条件設定部３２は、ドライバの発した異常音の検出有無にかかわらず、時間閾値を一定の値に設定する。あるいは、条件設定部３２は、ドライバの発した異常音が検出された場合の時間閾値を、ドライバの発した異常音が検出されない場合の時間閾値よりも短く設定する。しかし、条件設定部３２は、ドライバの発した異常音の検出有無にかかわらず、顔の向きまたは顔の位置に対する正常範囲を一定の範囲に設定する。

【0066】

また、上記の実施形態または変形例による、ＥＣＵ５のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【0067】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0068】

１ 車両制御システム
２ マイクロホン
３ ドライバモニタカメラ
４ 通知機器
５ 電子制御装置(ドライバモニタ装置)
１０ 車両
１１ 携帯機器
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 異常音検出部
３２ 条件設定部
３３ 姿勢検出部
３４ 異常判定部
３５ 警告処理部
３６ 車両制御部

【図1】

【図2】

【図3】

【図4】

【図5】