特開 2024-103261 ドライバ状態検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103261

(43)【公開日】2024-08-01

(54)【発明の名称】ドライバ状態検出装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240725BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023007500

(22)【出願日】2023-01-20

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100167461

【弁理士】

【氏名又は名称】上木 亮平

(72)【発明者】

【氏名】赤穂 大輔

(72)【発明者】

【氏名】前原 亮

(72)【発明者】

【氏名】若園 隆

(72)【発明者】

【氏名】友末 和寛

(72)【発明者】

【氏名】星野 剛志

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181LL01

5H181LL04

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】ドライバが脇見をしていないにもかかわらず、脇見をしていると判定してしまうことを抑制する。
【解決手段】ドライバ状態検出装置１００は、車両のドライバの顔を撮影してドライバの顔画像を生成するドライバモニタカメラ１と、制御装置４と、を備える。制御装置４は、顔画像に基づいて、ドライバの顔向き又は視線方向を検出し、ドライバの顔向き又は視線方向が、ドライバの顔向き又は視線方向として許容される許容範囲の外側に所定時間以上維持されたときにドライバが脇見をしていると判定し、車両のステアリングホイールの操舵操作と相関関係にある操舵パラメータ及び車両の速度と相関関係にある車速パラメータに基づいて許容範囲を設定するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両のドライバの外観を撮影して前記ドライバの外観画像を生成するドライバモニタカメラと、
制御装置と、
を備えるドライバ状態検出装置であって、
前記制御装置は、
前記外観画像に基づいて、前記ドライバの顔向き又は視線方向を検出し、
前記ドライバの顔向き又は視線方向が、前記ドライバの顔向き又は視線方向として許容される許容範囲よりも外側の範囲に所定時間以上維持されたときに、前記ドライバが脇見をしていると判定し、
前記車両のステアリングホイールの操舵操作と相関関係にある操舵パラメータと、前記車両の速度とに基づいて、前記許容範囲を設定するように構成される、
ドライバ状態検出装置。

【請求項2】

前記制御装置は、
前記操舵パラメータが前記車両の速度に応じて設定される拡張閾値未満であれば、前記許容範囲を第１許容範囲に設定し、
前記操舵パラメータが前記拡張閾値以上であれば、前記許容範囲を前記第１許容範囲よりも範囲が広い第２許容範囲に設定し、
前記前記車両の速度が高いときは、低いときと比べて前記拡張閾値を小さくするように構成される、
請求項１に記載のドライバ状態検出装置。

【請求項3】

前記制御装置は、
前記許容範囲を前記第２許容範囲に設定するときは、前記操舵操作によって変更された前記車両の進行方向側の範囲を所定量だけ前記第１許容範囲よりも広くするように構成される、
請求項２に記載のドライバ状態検出装置。

【請求項4】

ドライバに通知を行うための出力機器をさらに備え、
前記制御装置は
前記ドライバが脇見をしていると判定したときは、前記出力機器を介して前記ドライバに対して脇見に関する通知を実施するように構成される、
請求項１から請求項３までのいずれか１項に記載のドライバ状態検出装置。

【請求項5】

前記操舵パラメータは、前記ステアリングホイールの操舵角又は前記車両の転舵輪の転舵角である、
請求項１から請求項３までのいずれか１項に記載のドライバ状態検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライバ状態検出装置に関する。

【背景技術】

【0002】

特許文献１には、従来のドライバ状態検出装置として、ドライバの顔向き又は視線として許容される左右方向の範囲を、前方の道路形状がカーブである場合にカーブの方向に所定量だけ拡張し、ドライバの顔向き又は視線が前記範囲から外れた場合にドライバが脇見をしていると判定するように構成されたものが開示されている。

【0003】

特許文献２には、従来のドライバ状態検出装置として、ドライバの顔向き又は視線として許容される左右方向の範囲を、ウィンカ操作が行われた場合など、車線変更が行われる可能性が高いときに車線変更が行われる方向に所定量だけ拡張し、ドライバの顔向き又は視線が前記範囲から外れた場合にドライバが脇見をしていると判定するように構成されたものが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－８７１４３号公報

【特許文献2】特開２０１９－８７０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、前述した特許文献１に記載の従来のドライバ状態検出装置の場合、前方の道路形状の情報が取得できないときには、ドライバの顔向き又は視線として許容される左右方向の範囲の拡張を行うことができないので、操舵操作をして車両の進行方向を左右に変更する際に、ドライバがカーブの方向を目視しているにもかかわらず、脇見をしていると判定してしまうおそれがある。

【0006】

また特許文献２に記載の従来のドライバ状態検出装置の場合、ウィンカ操作といった、場合によっては実施されない操作をトリガーとしてドライバの顔向き又は視線として許容される左右方向の範囲の拡張を行っているので、そのようなトリガーとなる操作を実施せずに操舵操作が行われて車両の進行方向が変更されたときに、その進行方向（車線変更時の隣接車線の方向）を目視しているにもかかわらず、脇見をしていると判定してしまうおそれがある。

【0007】

本発明は、このような問題点に着目してなされたものであり、ドライバが脇見をしていないにもかかわらず脇見をしていると判定してしまうことを抑制することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様によるドライバ状態検出装置は、車両のドライバの外観を撮影して前記ドライバの外観画像を生成するドライバモニタカメラと、制御装置と、を備える。制御装置は、外観画像に基づいてドライバの顔向き又は視線方向を検出し、ドライバの顔向き又は視線方向が、ドライバの顔向き又は視線方向として許容される許容範囲よりも外側の範囲に所定時間以上維持されたときにドライバが脇見をしていると判定し、車両のステアリングホイールの操舵操作と相関関係にある操舵パラメータと、車両の速度とに基づいて、許容範囲を設定するように構成される。

【発明の効果】

【0009】

本発明のこの態様によれば、カーブ区間を走行しているときに実行される必須の操作であるステアリングホイールの操舵操作と連動して許容範囲を拡張することができる。そのため、カーブ区間を走行しているときに確実に許容範囲を拡張して、ドライバが脇見をしていないにもかかわらず脇見をしていると判定してしまうことを抑制することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態によるドライバ状態検出装置の概略構成図である。

【図2】本発明の一実施形態による脇見判定処理の詳細について説明するフローチャートである。

【図3】許容範囲について説明する図である。

【図4】許容範囲について説明する図である。

【図5】本発明の一実施形態による許容範囲設定処理の内容について説明するフローチャートである。

【図6】操舵角と車両速度とに基づいて許容範囲を第１許容範囲又は第２許容範囲に設定するためのマップを示す図である。

【図7】ドライバは車両速度が高くなるほど遠方を目視する傾向があることについて説明する図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

【0012】

図１は、本発明の一実施形態によるドライバ状態検出装置１００の概略構成図である。

【0013】

ドライバ状態検出装置１００は、車両に搭載されて当該車両のドライバの状態を検出するための装置であって、ドライバモニタカメラ１と、出力機器２と、センサ類３と、制御装置４と、を備える。

【0014】

ドライバモニタカメラ１は、所定のフレームレート（例えば、１０［Ｈｚ］～４０［Ｈｚ］）でドライバの顔を含む外観を撮影し、ドライバの外観が写ったドライバ外観画像を生成する。ドライバモニタカメラ１は、ドライバ外観画像を生成する度に、生成したドライバ外観画像を制御装置４に送信する。ドライバモニタカメラ１は、例えば、ステアリングコラム上に取り付けられる。

【0015】

出力機器２は、ドライバの体感覚（例えば、視覚、聴覚及び触覚など）を通じてドライバに通知を行うための機器である。本実施形態では、出力機器２として、ドライバが視認できる位置に配置されるディスプレイ２１（例えば、メーターディスプレイ、センターディスプレイ又はヘッドアップディスプレイなど）と、車内に音声を出力するスピーカ２２と、を備える。ディスプレイ２１は、制御装置４から出力された表示信号に応じた情報（例えば、文字情報や画像情報）を表示する。スピーカ２２は、制御装置４から出力された音声信号に応じた音声を出力する。

【0016】

センサ類３は、後述するドライバの顔向き又は視線方向として許容される許容範囲の設定を行うために必要なデータを取得する。本実施形態では、センサ類３として、ステアリングホイールの回転角度（以下「操舵角」という。）を検出するための操舵角センサ３１と、車両速度を検出するための車両速度センサ３２と、を備える。

【0017】

制御装置４は、通信部４１と、記憶部４２と、処理部４３と、を備えるＥＣＵ（Electronic Control Unit）である。

【0018】

通信部４１は、制御装置４を車内ネットワーク５に接続するためのインターフェース回路を備える。通信部４１は、車内ネットワーク５を介してドライバモニタカメラ１やセンサ類３から受信したデータを処理部４３に供給する。また通信部４１は、処理部４３から出力された表示信号及び音声信号を、車内ネットワーク５を介して出力機器２に送信する。

【0019】

記憶部４２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid Disk Drive）、半導体メモリ等の記憶媒体を有し、処理部４３での処理に用いられる各種のコンピュータプログラムやデータ等を記憶する。

【0020】

処理部４３は、一又は複数個のＣＰＵ（Central Processing Unit）及びその周辺回路を有し、記憶部４２に格納された各種のコンピュータプログラムを実行してドライバ状態検出装置１００の全体的な動作を統括的に制御するものであり、例えばプロセッサである。処理部４３が実施する処理の一例を挙げると、例えば処理部４３は、ドライバの状態としてドライバが脇見をしているかを検出し、ドライバが脇見をしていると判断できるときには出力機器２を介してドライバに警告を行う。以下、この処理部４３、ひいては制御装置４が実施する脇見判定処理の内容について、図２等を参照して説明する。

【0021】

図２は、本実施形態による脇見判定処理の詳細について説明するフローチャートである。制御装置４は、本ルーチンを、例えばドライバモニタカメラ１からドライバ外観画像を受信するたびに実施する。

【0022】

ステップＳ１において、制御装置４は、ドライバモニタカメラ１から受信したドライバ外観画像に基づいて、ドライバの顔向き、ドライバの視線方向及びドライバモニタカメラ１からドライバの顔までの距離を検出する。

【0023】

これらの検出方法は特に限られるものではないが、制御装置４は、例えば、ドライバの外観画像を解析してドライバの目や鼻、口などの顔の特徴点の各部位を検出し、それらの位置を記憶部４２に記憶された標準的な顔の３次元モデルと照合することによって、顔の特徴点の各部位の位置が最も適合する３次元モデルの顔向きを、ドライバの顔向きとして検出することができる。また制御装置４は、例えば、ドライバの外観画像を解析して動点となる瞳孔中心の位置（すなわちドライバの視点位置）と、基準点となるプルキニエ像（角膜反射像）の位置と、を検出し、プルキニエ像と瞳孔中心との位置関係（基準点に対する動点の位置）に基づいてドライバの視線方向を検出することができる。また制御装置４は、例えば、ドライバの外観画像を解析してドライバの顔のサイズを検出し、それを記憶部４２に記憶された顔の標準サイズと比較することによって、ドライバモニタカメラ１からドライバの顔までの距離を検出することができる。ドライバの外観画像の解析は、例えば、ドライバ外観画像を入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）に入力することで行うことができる。

【0024】

ステップＳ２において、制御装置４は、ドライバの顔向き又は視線方向として許容される許容範囲の設定処理を実施する。以下、図３及び図４を参照して許容範囲について説明するとともに、図５を参照して許容範囲の設定処理の詳細について説明する

【0025】

本実施形態による制御装置４は、図３の（Ａ）に示すように、ドライバの顔向きの方向に向かって延びる視線ベクトル、又はドライバの目の位置（視点位置）から視線方向に向かって延びる視線ベクトルが、車両進行方向の前方の所定位置に設定されて所定の高さと幅を有する許容範囲を通過していれば、ドライバは脇見をしていないと判定し、一方で図３の（Ｂ）に示すように、視線ベクトルが許容範囲を通過していなければ、ドライバは脇見をしていると判定するように構成されている。

【0026】

ここで、図４の（Ａ）に示すように、カーブ区間（右左折区間も含む）を走行しているときは、直線区間を走行しているときと比較して、ドライバの視線方向がカーブの方向側に向けて移動する傾向にある。そのため、直線区間を走行しているときと、カーブ区間を走行しているときとで許容範囲を同一にしてしまうと、カーブ区間を走行しているときに視線ベクトルが許容範囲を通過せずにその外側の範囲を通過しやすくなって、前方の車両を目視しているにもかかわらず（脇見をしていないにもかかわらず）、脇見をしていると判定されるおそれがある。そのため、カーブ区間を走行しているときには、図４の（Ｂ）に示すように、カーブの方向側（図４の（Ｂ）では右側）に許容範囲を拡張することが望ましい。

【0027】

そこで本実施形態では、カーブ区間の特性（例えば曲率など）にあわせて実行される必須の操作であるステアリングホイールの操舵操作と相関関係にある操舵パラメータに基づいて、許容範囲を拡張できるようにしている。

【0028】

図５は、許容範囲設定処理の内容について説明するフローチャートである。

【0029】

ステップＳ２１において、制御装置４は、ステアリングホイールの操舵操作と相関関係にある操舵パラメータの一つである操舵角と、車両速度と、を取得する。操舵角以外の操舵パラメータとしては、例えば、車両の左右の前輪（転舵輪）の角度（転舵角）を挙げることができる。なお車両速度についても、車両速度と相関関係にある他のパラメータに置き換えてもよい。

【0030】

ステップＳ２２において、制御装置４は、予め実験等によって設定された図６のマップを参照し、操舵角と車両速度とに基づいて、許容範囲を第１許容範囲又は第２許容範囲に設定する。第１許容範囲は、直線区間を走行しているときの許容範囲として予め実験等によって最適化された範囲とされる。第２許容範囲は、カーブ区間を走行しているときの許容範囲として予め実験等によって最適化された範囲とされ、例えば、第１許容範囲よりもカーブの方向側に所定量だけ許容範囲が拡張されたものとされる。

【0031】

なお、図６のマップに示すように、許容範囲は、操舵角が、車両速度に応じて設定される拡張閾値未満であれば第１許容範囲に設定され、拡張閾値以上であれば第２許容範囲に設定される。拡張閾値は、基本的に車両速度が高くなるほど小さくなるように設定される。これは、図７に示すように、ドライバは、基本的に車両速度が高くなるほど遠方を目視する傾向があり、したがって、車両速度が高くなるほど、カーブの曲率が小さくても（すなわち操舵角が小さくても）、視線ベクトルがカーブの方向側（すなわち操舵操作によって変更された車両の進行方向側）に向きやすくなるためである。

【0032】

なお、図６のマップはあくまで一例であり、車種の操舵特性やハンドル形状（円型、Ｄ字型、Ｕ字型等）などに応じて適宜設定することができる。

【0033】

図２に戻り、ステップＳ３において、制御装置４は、ドライバの顔向きを検出することができたか否かを判定する。制御装置４は、ドライバの顔向きを検出することができた場合は、ステップＳ４の処理に進む。一方で制御装置４は、ドライバの顔向きを検出することができなかった場合は、ステップＳ１５の処理に進む。

【0034】

ステップＳ４において、制御装置４は、ドライバの視線方向を検出することができたか否かを判定する。制御装置４は、ドライバの視線方向を検出することができた場合は、ステップＳ４の処理に進む。一方で制御装置４は、ドライバの視線方向を検出することができなかった場合は、ステップＳ７の処理に進む。

【0035】

ステップＳ５において、制御装置４は、ドライバモニタカメラ１からドライバの顔までの距離が所定距離以上になるとドライバの視線方向の検出精度が悪化する傾向にあることを考慮して、ドライバモニタカメラ１からドライバの顔までの距離が所定距離未満であれば、ステップＳ６の処理に進む。一方で制御装置４は、ドライバモニタカメラ１からドライバの顔までの距離が所定距離以上であればステップＳ７の処理に進む。

【0036】

ステップＳ６において、制御装置４は、ドライバの視線方向に基づいて視線ベクトルを設定する。本実施形態では制御装置４は、ドライバの目の位置（視点位置）から視線方向に向かって延びるベクトルを視線ベクトルに設定する。

【0037】

ステップＳ７において、制御装置４は、ドライバの顔向きに基づいて視線ベクトルを設定する。本実施形態では制御装置４は、ドライバの顔向きの方向に向かって延びるベクトルを、視線ベクトルに設定する。

【0038】

ステップＳ８において、制御装置４は、視線ベクトルが、ステップＳ２で設定された許容範囲を通過しているか否かを判定する。制御装置４は、視線ベクトルが許容範囲を通過していれば、ドライバは脇見をしていないと判定してステップＳ１４の処理に進む。一方で制御装置４は、視線ベクトルが許容範囲を通過していなければ、ドライバは脇見をしていると判定してステップＳ９の処理に進む。

【0039】

ステップＳ９において、制御装置４は、脇見継続フラグＦが１に設定されているか否かを判定する。脇見継続フラグＦは、脇見を開始したときに１に設定されるフラグである。脇見継続フラグＦの初期値は０に設定される。制御装置４は、脇見継続フラグＦが１に設定されている場合（すなわち前回の処理から継続して脇見が行われている場合）は、ステップＳ１１の処理に進む。一方で制御装置４は、脇見継続フラグＦが０に設定されている場合（すなわち今回の処理で初めて脇見が検出された場合）は、ステップＳ１０の処理に進む。

【0040】

ステップＳ１０において、制御装置４は、脇見継続フラグＦを１に設定する。

【0041】

ステップＳ１１において、制御装置４は、脇見継続時間Ｔを所定時間ΔＴだけ大きくする。本実施形態では、所定時間ΔＴはドライバモニタカメラ１の１フレームに相当する時間である。

【0042】

ステップＳ１２において、制御装置４は、脇見継続時間Ｔが脇見判定時間Ｔｔｈｒ以上になったか否かを判定する。脇見判定時間Ｔｔｈｒは任意の値とすることができ、本実施形態では２秒としている。制御装置４は、脇見継続時間Ｔが脇見判定時間Ｔｔｈｒ以上であれば、ステップＳ１３の処理に進む。一方で制御装置４は、脇見継続時間Ｔが脇見判定時間Ｔｔｈｒ未満であれば、今回の処理を終了する。

【0043】

ステップＳ１３において、制御装置４は、出力機器２を介してドライバに対して脇見警報を実施する。脇見警報の方法や内容は特に限られるものではなく、例えば脇見をしていることを音声によるアナウンスを実施することによって警告してもよいし、警告音を発することによって警告してもよいし、ディスプレイに画像情報や文字情報を表示することによって警告してもよいし、これらの組み合わせによって警告してもよい。

【0044】

ステップＳ１４において、制御装置４は、脇見継続フラグＦを０に設定する。

【0045】

ステップＳ１５において、制御装置４は、出力機器２を介してドライバに対して顔の認識ができていないことの警報を実施する。この警報の方法や内容も特に限られるものではなく、例えば脇見警報と同様の警報の方法で行うことができる。

【0046】

以上説明した本実施形態によるドライバ状態検出装置１００は、車両のドライバの外観を撮影してドライバの外観画像を生成するドライバモニタカメラ１と、制御装置４と、を備える。制御装置４は、ドライバの外観画像に基づいて、ドライバの顔向き又は視線方向を検出し、ドライバの顔向き又は視線方向が、ドライバの顔向き又は視線方向として許容される許容範囲の外側に所定時間以上維持されたときにドライバが脇見をしていると判定し、車両のステアリングホイールの操舵角（ステアリングホイールの操舵操作と相関関係にある操舵パラメータ）と、車両の速度とに基づいて、許容範囲を設定するように構成される。

【0047】

このように本実施形態では、カーブ区間を走行しているときに、カーブ区間の特性（例えば曲率など）にあわせて実行される必須の操作であるステアリングホイールの操舵操作と連動して許容範囲を拡張することができる。そのため、カーブ区間を走行しているときに確実に許容範囲を拡張することができ、ドライバが脇見をしていないにもかかわらず脇見をしていると判定してしまうことを抑制することができる。

【0048】

また本実施形態では、制御装置４は、ステアリングホイールの操舵角が車両の速度に応じて設定される拡張閾値未満であれば許容範囲を第１許容範囲に設定し、ステアリングホイールの操舵角が拡張閾値以上であれば、許容範囲を第１許容範囲よりも範囲が広い第２許容範囲に設定し、車両の速度が高いときは、低いときと比べて拡張閾値を小さくするように構成される。

【0049】

前述したように、ドライバは、基本的に車両速度が高くなるほど遠方を目視する傾向があり、したがって、視線ベクトルは、車両速度が高くなるほど、カーブの曲率が小さくても（すなわち操舵角が小さくても）、カーブの方向側（すなわち操舵操作によって変更された車両の進行方向側）に向く傾向がある。したがって、車両の速度が高いときは、低いときと比べて拡張閾値を小さくすることで、車両の速度に応じて適切に許容範囲を拡張することができる。

【0050】

また本実施形態では、制御装置４は、許容範囲を第２許容範囲に設定するときは、操舵操作によって変更された車両の進行方向側の範囲を所定量だけ第１許容範囲よりも広くするように構成されるので、許容範囲を適切に拡張することができる。

【0051】

また本実施形態によるドライバ状態検出装置１００は、ドライバに通知を行うための出力機器２をさらに備え、制御装置４はドライバが脇見をしていると判定したときは、出力機器２を介してドライバに対して脇見に関する通知を実施するように構成されるので、ドライバに継続して脇見を実施させないようにすることができる。

【0052】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【0053】

例えば、上記の実施形態において、制御装置４において実行されるコンピュータプログラム（脇見判定処理）は、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【符号の説明】

【0054】

１ ドライバモニタカメラ
２ 出力機器
４ 制御装置
１００ ドライバ状態検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】