特許 7358958 運転意識推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-02

(45)【発行日】2023-10-11

(54)【発明の名称】運転意識推定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231003BHJP

   B60W 40/08 20120101ALI20231003BHJP

   B60W 40/02 20060101ALI20231003BHJP

   B60W 50/14 20200101ALI20231003BHJP

   G06T 7/00 20170101ALI20231003BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

B60W40/02

B60W50/14

G06T7/00 660A

【請求項の数】 12

(21)【出願番号】P 2019223994

(22)【出願日】2019-12-11

(65)【公開番号】P2021093033

(43)【公開日】2021-06-17

【審査請求日】2021-11-17

【前置審査】

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】岸 浩司

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０１８－２０３１６９（ＪＰ，Ａ）

【文献】特開２０１１－０１８２４０（ＪＰ，Ａ）

【文献】特開２０１８－１８０６８９（ＪＰ，Ａ）

【文献】特開２０１２－００８７９０（ＪＰ，Ａ）

【文献】特開２０１８－１７６９１３（ＪＰ，Ａ）

【文献】特開２００５－１８６６７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

自車両のドライバの、自動運転時の脇見時間及び覚醒度の少なくとも何れかを含んだ状態を推定するドライバ状態推定部と、
手動運転時の前記自車両の走行状態、手動運転時の前記自車両の周囲の走行環境、及び手動運転時の前記ドライバの反応の少なくとも何れかに基づいて、前記ドライバの手動運転能力を推定する手動運転能力推定部と、
前記ドライバ状態推定部により推定された前記ドライバの状態及び前記手動運転能力推定部により推定された前記ドライバの手動運転能力に基づいて、前記自動運転から引き継がれる手動運転への切替準備の適否の判定に用いられる、前記ドライバの運転意識に関する運転構え度を算出する運転構え度算出部と、を備える、運転意識推定装置。

【請求項2】

前記手動運転能力推定部は、車線変更時又は合流点の進入時における前記ドライバの側方視認時間に基づいて、前記手動運転能力を推定する、請求項１に記載の運転意識推定装置。

【請求項3】

前記手動運転能力推定部は、車線変更時又は合流点の進入時において前記自車両の周囲の所定範囲内に他車両が存在していない場合に、前記手動運転能力を推定する、請求項２に記載の運転意識推定装置。

【請求項4】

前記手動運転能力推定部は、追従走行時における前方車両との車間距離及び前記ドライバの脇見時間に基づいて、前記手動運転能力を推定する、請求項１～３の何れか一項に記載の運転意識推定装置。

【請求項5】

前記手動運転能力推定部は、カーブ進入時における前記ドライバの視線の位置に基づいて、前記手動運転能力を推定する、請求項１～４の何れか一項に記載の運転意識推定装置。

【請求項6】

前記手動運転能力推定部は、障害物の側方を通過時における前記自車両の操舵量及び車速に基づいて、前記手動運転能力を推定する、請求項１～５の何れか一項に記載の運転意識推定装置。

【請求項7】

前記手動運転能力推定部は、カーブ走行時又は制動時における前記自車両の最大加速度及び最大ジャークに基づいて、前記手動運転能力を推定する、請求項１～６の何れか一項に記載の運転意識推定装置。

【請求項8】

前記自車両のドライバに要求される指標であるタスクディマンドを推定するタスクディマンド推定部と、
前記タスクディマンド及び前記運転構え度に基づいて、ドライバの手動運転への切替準備の適否を判定する手動運転適否判定部と、を備える、請求項１～７の何れか一項に記載の運転意識推定装置。

【請求項9】

前記手動運転適否判定部で手動運転への切替準備に適していないと判定した場合に、前記ドライバに刺激を付与する刺激付与部を備える、請求項８に記載の運転意識推定装置。

【請求項10】

前記手動運転適否判定部の判定結果を表示する表示部を備える、請求項８又は９に記載の運転意識推定装置。

【請求項11】

前記自車両の手動運転時において、前記手動運転能力推定部は前記手動運転能力を推定する、請求項１～１０の何れか一項に記載の運転意識推定装置。

【請求項12】

前記自車両の自動運転時において、前記ドライバ状態推定部は前記ドライバの状態を推定し、前記運転構え度算出部は前記運転構え度を算出する、請求項１～１１の何れか一項に記載の運転意識推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転意識推定装置に関する。

【背景技術】

【0002】

運転意識推定装置に関する技術として、特許文献１に記載された装置が知られている。特許文献１に記載された運転意識推定装置では、車両の運転者（ドライバ）の画像に基づいて、運転者の運転意識に関する運転構え度を算出する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１９９２７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、運転構え度には、例えばドライバの手動運転能力に起因する個人差が存在する。加えて、運転構え度には、同じドライバであっても、例えば手動運転能力に係る調子（頭の冴え、手の疲れなど）の良し悪しによって日内変動が存在する。しかし、上記の運転意識推定装置では、このような運転構え度の特徴について十分に考慮されておらず、運転構え度を精度よく算出することが困難な場合があった。

【0005】

本発明は、運転構え度を精度よく算出することが可能な運転意識推定装置を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る運転意識推定装置は、自車両のドライバの状態を推定するドライバ状態推定部と、自車両の走行状態、自車両の周囲の走行環境、及びドライバの反応の少なくとも何れかに基づいて、ドライバの手動運転能力を推定する手動運転能力推定部と、ドライバの状態及びドライバの手動運転能力に基づいて、ドライバの運転意識に関する運転構え度を算出する運転構え度算出部と、を備える。

【0007】

この運転意識推定装置では、ドライバの手動運転能力に基づいて運転構え度を算出するため、従来に比して、例えば上述したドライバの個人差及び日内変動を考慮して運転構え度を算出できる。したがって、運転構え度を精度よく算出することが可能となる。

【0008】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、車線変更時又は合流点の進入時におけるドライバの側方視認時間に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの空間認知能力に特に基づいて、運転構え度を算出することができる。

【0009】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、自車両の周囲の所定範囲内に他車両が存在していない場合に、手動運転能力を推定してもよい。これにより、他車両の存在に起因して側方視認時間が延長し、手動運転能力を誤って推定しまうのを防ぐことができる。

【0010】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、追従走行時における前方車両との車間距離及びドライバの脇見時間に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの空間注意能力に特に基づいて、運転構え度を算出することができる。

【0011】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、カーブ進入時におけるドライバの視線の位置に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの行動プランニング能力に特に基づいて、運転構え度を算出することができる。

【0012】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、障害物の側方を通過時における自車両の操舵量及び車速に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの判断能力（行動選択能力）に特に基づいて、運転構え度を算出することができる。

【0013】

本発明の一態様に係る運転意識推定装置では、手動運転能力推定部は、カーブ走行時又は制動時における自車両の最大加速度及び最大ジャークに基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの操作能力に特に基づいて、運転構え度を算出することができる。

【0014】

本発明の一態様に係る運転意識推定装置では、自車両のドライバに要求される指標であるタスクディマンドを推定するタスクディマンド推定部と、タスクディマンド及び運転構え度に基づいて、ドライバの手動運転への切替準備の適否を判定する手動運転適否判定部と、を備えていてもよい。これにより、タスクディマンド及び運転構え度を利用して、手動運転への切替準備の適否を精度よく判定することが可能となる。

【0015】

本発明の一態様に係る運転意識推定装置では、手動運転適否判定部で手動運転への切替準備に適していないと判定した場合に、ドライバに刺激を付与する刺激付与部を備えていてもよい。これにより、ドライバが手動運転への切替準備に適していないと判定した場合、運転構え度を高めるようにドライバに働きかけることができる。

【0016】

本発明の一態様に係る運転意識推定装置では、手動運転適否判定部の判定結果を表示する表示部を備えていてもよい。これにより、手動運転の適否の判定結果をドライバ等にフィードバックすることができる。

【0017】

本発明の一態様に係る運転意識推定装置では、自車両の手動運転時において、手動運転能力推定部はドライバの手動運転能力を推定してもよい。これにより、手動運転能力を精度よく推定することができる。

【0018】

本発明の一態様に係る運転意識推定装置では、自車両の自動運転時において、ドライバ状態推定部はドライバの状態を推定し、運転構え度算出部は運転構え度を算出してもよい。これにより、自動運転中に得られたドライバの状態及び運転構え度を、当該自動運転から引き継がれる手動運転への切替準備の適否の判定に用いることが可能となる。

【発明の効果】

【0019】

本発明によれば、運転構え度を精度よく算出することができる運転意識推定装置を提供することが可能となる。

【図面の簡単な説明】

【0020】

【図1】図１は、実施形態に係る運転意識推定装置を示すブロック図である。

【図2】図２は、図１の手動運転能力推定部による空間注意能力の推定を説明する表である。

【図3】図３（ａ）は、側方視認時間を記録する視線エリアを説明する図である。図３（ｂ）は、図１の手動運転能力推定部による空間認知能力の推定を説明するグラフである。

【図4】図４は、運転構え度を算出するための第１テーブルを示す図である。

【図5】図５は、タスクディマンドの判定の一例を説明する表である。

【図6】図６は、ドライバの手動運転への切替準備の適否を判定するための第２テーブルを示す図である。

【図7】図７は、図１のＥＣＵによる処理の例を示すフローチャートである。

【図8】図８は、図１の手動運転能力推定部の処理の例を示すフローチャートである。

【図9】図９は、図１の手動運転能力推定部の処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態について図面を参照して説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明は省略する。

【0022】

図１に示されるように、運転意識推定装置１００は、装置を統括的に管理するＥＣＵ[Electronic Control Unit]１０を備える。ＥＣＵ１０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子制御ユニットから構成されていてもよい。

【0023】

ＥＣＵ１０には、ドライバモニタカメラ１、外部センサ２、内部センサ３、ＧＰＳ[Global Positioning System]受信部４、地図データベース５、ＨＭＩ６が接続されている。ＥＣＵ１０は、自動運転ＥＣＵ７と接続されている。

【0024】

ドライバモニタカメラ１は、自動車等の自車両５０のステアリングコラムのカバー上で自車両５０のドライバ（以下、単に「ドライバ」ともいう）の正面の位置に設けられ、ドライバの頭部を撮像する。ドライバモニタカメラ１は、ドライバを複数方向から撮像するため、複数個設けられていてもよい。ドライバモニタカメラ１は、ドライバを撮像したドライバ画像をＥＣＵ１０へ送信する。

【0025】

外部センサ２は、自車両５０の周辺環境を検出する検出機器である。外部センサ２は、カメラ及びレーダセンサを含む。カメラは、例えば、自車両５０のフロントガラスの裏側に設けられ、自車両５０の前方を撮像する。カメラは、自車両５０の背面及び側面に設けられていてもよい。カメラは、自車両５０の周囲の撮像情報をＥＣＵ１０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。

【0026】

レーダセンサは、電波（例えばミリ波）又は光を利用して自車両５０の周辺の障害物を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダー又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を自車両５０の周辺に送信し、障害物で反射された電波又は光を受信することで障害物を検出する。レーダセンサは、検出した障害物情報をＥＣＵ１０へ送信する。

【0027】

内部センサ３は、自車両５０の走行状態を検出する検出機器である。内部センサ３は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、自車両５０の速度を検出する検出器である。車速センサとしては、例えば、自車両５０の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報（車輪速情報）をＥＣＵ１０に送信する。

【0028】

加速度センサは、自車両５０の加速度を検出する検出器である。加速度センサは、例えば、自車両５０の前後方向の加速度を検出する前後加速度センサと、自車両５０の横加速度を検出する横加速度センサとを含んでいる。加速度センサは、例えば、自車両５０の加速度情報をＥＣＵ１０に送信する。ヨーレートセンサは、自車両５０の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自車両５０のヨーレート情報をＥＣＵ１０へ送信する。

【0029】

ＧＰＳ受信部４は、３個以上のＧＰＳ衛星から信号を受信することにより、自車両５０の位置（例えば自車両５０の緯度及び経度）を測定する。ＧＰＳ受信部４は、測定した自車両５０の位置情報をＥＣＵ１０へ送信する。なお、運転意識推定装置１００は、外部センサ２の検出結果と地図情報を用いたＳＬＡＭ［Simultaneous Localization and Mapping］技術により自車両５０の位置情報を取得してもよい。

【0030】

地図データベース５は、地図情報を記憶するデータベースである。地図データベース５は、例えば、自車両５０に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、道路の幅情報、道路の高さ情報、交差点、合流点及び分岐点の位置情報、及び建物の位置情報等が含まれる。地図情報には、案内板、標識等の道路上の設置物に関する位置情報が含まれていてもよい。なお、地図データベース５は、自車両と通信可能な管理センター等の施設のコンピュータに記憶されていてもよい。

【0031】

ＨＭＩ６は、運転意識推定装置１００とドライバとの間で情報の入出力を行うためのインターフェイスである。ＨＭＩ６は、例えば、自車両５０の表示部（ディスプレイ）及びスピーカを備えている。ＨＭＩ６は、ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力及びスピーカからの音声出力を行う。ＨＭＩ６は、ＨＵＤ［Head Up Display］を備えていてもよい。

【0032】

自動運転ＥＣＵ７は、自車両５０に搭載され、自車両５０の自動運転を実行するための電子制御ユニットである。自動運転とは、ドライバが運転操作をすることなく、自動で自車両５０を走行させる車両制御である。自動運転ＥＣＵ７は、ＧＰＳ受信部４の自車両５０の位置情報、地図データベース５の地図情報、後述する自車両５０の走行環境及び走行状態に基づいて、予め設定された目的ルートに沿った走行計画を生成する。ここでの目的ルートは、ナビゲーションシステムによって設定される。自動運転ＥＣＵ７は、走行計画に沿って自動運転を実行する。自動運転ＥＣＵ７は、自車両５０のアクチュエータ（エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータ等）に制御信号を送信することで自動運転を実行する。自動運転ＥＣＵ７は、周知の手法により走行計画を生成すると共に自動運転を実行する。自動運転ＥＣＵ７は、先行車に追従させる走行制御を行い、先行車に対して追従走行を行うように自車両５０を自動運転させてもよい。

【0033】

自動運転ＥＣＵ７は、自動運転時（自動運転の実行中）において、例えばオーバーライド操作が行なわれた場合、自動運転の実行を解除して手動運転に移行する（つまり、自車両５０の運転を自動運転から手動運転へ切り替える）。オーバーライド操作とは、自車両５０の運転を自動運転から手動運転に移行するための、ドライバによる介入操作である。自動運転ＥＣＵ７は、自車両５０のアクチュエータへの制御指令値を徐々に減らしてゼロにすることで手動運転に移行する。なお、手動運転には、ドライバの運転を支援する周知の運転支援制御が実行されている場合も含まれる。

【0034】

次に、ＥＣＵ１０の機能的構成について説明する。

【0035】

ＥＣＵ１０は、ドライバ状態推定部１１、手動運転能力推定部１２、運転構え度算出部１３、タスクディマンド推定部１４及び手動運転適否判定部１５を含む。なお、ＥＣＵ１０の機能の一部は、自車両５０と通信可能な管理センター等の施設のコンピュータ及び／又は自動運転ＥＣＵ７において実行される態様であってもよい。ＥＣＵ１０は、自動運転ＥＣＵ７と一体であってもよい。

【0036】

ドライバ状態推定部１１は、自車両５０のドライバの状態を推定する。ドライバ状態推定部１１は、自車両５０の自動運転時において、ドライバの状態を推定する。ドライバ状態推定部１１は、ドライバの状態として、ドライバの反応時間（反応遅れ）を推定する。反応時間は、周辺視反応時間及び車両挙動反応時間を含む。ドライバ状態推定部１１は、視認対象がドライバから見えるタイミングからドライバが視認対象を視認するまでの反応時間を、周辺視反応時間として認識する。ドライバ状態推定部１１は、視認対象がドライバから見えるタイミングからドライバが視認対象に対する車両挙動を実行するまでの反応時間を、車両挙動反応時間として認識する。反応時間の認識手法は特に限定されず、周知の種々の手法を採用できる。

【0037】

視認対象は、自車両５０の周囲の走行環境から認識できる。自車両５０の周囲の走行環境は、例えば外部センサ２の検出結果、ＧＰＳ受信部４の位置情報、地図データベース５の地図情報、及び自動運転ＥＣＵ７の自動運転に関する情報の少なくとも何れかに基づいて認識される。自車両５０の周囲の走行環境を認識は、周知の種々の手法により実現できる。走行環境には、自車両５０の周囲の障害物の状況及び道路状況が含まれる。自車両５０の周囲の障害物の状況には、自車両５０に対する障害物の位置、自車両５０に対する障害物の相対速度、自車両５０に対する障害物の移動方向等が含まれる。障害物には、ガードレール、道路上の設置物、建物などの固定障害物の他、歩行者、自転車、他車両などの移動障害物が含まれる。道路状況には、自車両５０の前方の道路形状（カーブ、交差点、合流区間等）が含まれる。視認対象には、障害物及び道路形状の少なくとも何れかが含まれる。ドライバの視線は、ドライバモニタカメラ１で取得したドライバ画像（以下、単に「ドライバ画像」という）から検出できる。ドライバの視線は、周知の手法によりドライバ画像からドライバの眼球及び眼球の動きを検出することで検出できる。車両挙動は、走行中の自車両５０の走行状態から検出できる。走行中の自車両５０の走行状態は、例えば内部センサ３の検出結果に基づいて認識される。走行状態には、自車両５０の車速、自車両５０の加速度、自車両５０のヨーレートが含まれる。

【0038】

ドライバ状態推定部１１は、ドライバの状態として、ドライバの脇見が連続する時間である脇見時間を推定する。ドライバ状態推定部１１は、例えばドライバ画像に基づいて、脇見時間を認識する。脇見時間の認識手法は特に限定されず、周知の種々の手法を採用できる。

【0039】

ドライバ状態推定部１１は、ドライバの状態として、ドライバの覚醒度を推定する。ドライバ状態推定部１１は、例えばドライバ画像に基づいて、ドライバの毎分の閉眼率、眼の開眼の状況、まばたきの頻度、又は、眼球運動等からドライバの覚醒度を認識する。ドライバ状態推定部１１は、例えば自車両５０の走行状態に基づいて、ドライバの覚醒度を認識してもよい。覚醒度とは、ドライバが睡眠不足等により意識が朦朧とした状態ではなく覚醒していることを示す度合いである。覚醒度の認識手法は特に限定されず、周知の種々の手法を採用できる。覚醒度は、ドライバのステアリングホイールのグリップ圧、アームレストへの押圧力、心拍数、筋電の情報及び脳波パターンの少なくとも何れかを内包する指標であってもよい。ステアリングホイールのグリップ圧、アームレストへの押圧力、心拍数、筋電の情報及び脳波パターンは、各種の公知センサを用いて取得可能である。

【0040】

ドライバ状態推定部１１が推定するドライバの状態は、例えば、良い状態から悪い状態の順に、「高」、「中」、「低」の３段階に分けることができる。一例として、ドライバ状態推定部１１は、以下のようにドライバの状態を３段階に分けることができる。

【0041】

ドライバ状態推定部１１は、認識する反応時間を、良い状態から悪い状態の順に、「高」、「中」、「低」の３段階に分ける。具体的には、反応時間が第１反応時間閾値以下の場合に反応時間を「高」とし、反応時間が第１反応時間閾値よりも大きい第２反応時間閾値以上の場合に反応時間を「低」とし、それ以外の場合に反応時間を「中」とする。ドライバ状態推定部１１は、認識する脇見時間を、例えば、良い状態から悪い状態の順に、「高」、「中」、「低」の３段階に分ける。具体的には、脇見時間が第１脇見時間閾値以下の場合に脇見時間を「高」とし、脇見時間が第１脇見時間閾値よりも大きい第２脇見時間閾値以上の場合に脇見時間を「低」とし、それ以外の場合に脇見時間を「中」とする。ドライバ状態推定部１１は、認識する覚醒度を、例えば、良い状態から悪い状態の順に、「高」、「中」、「低」の３段階に分ける。具体的には、覚醒度が第１覚醒度閾値以下の場合に覚醒度を「低」とし、覚醒度が第１覚醒度閾値よりも大きい第２覚醒度閾値以上の場合に覚醒度を「高」とし、それ以外の場合に覚醒度を「中」とする。そして、ドライバ状態推定部１１は、反応時間、脇見時間及び覚醒度の各状態の段階の中で、最も悪い段階又は最も良い段階をドライバの状態とする。或いは、ドライバ状態推定部１１は、反応時間、脇見時間及び覚醒度の各状態の段階の中で、最も多く存在する段階をドライバの状態とする。ドライバの状態の表現の仕方は特に限定されず、数値であってもよいし、複数の段階に分けられていてもよい。

【0042】

なお、ドライバの状態としては、上記に限定されない。ドライバの状態として、反応時間、脇見時間及び覚醒度の少なくとも何れかを含んでいてもよいし、その他の状態を含んでいてもよい。ドライバの状態として、例えば視野の広さ及び閉眼時間率の少なくとも何れかを含んでいてもよい。

【0043】

手動運転能力推定部１２は、自車両５０の走行状態、自車両５０の周囲の走行環境、及びドライバの反応の少なくとも何れかに基づいて、ドライバの手動運転能力を推定する。手動運転能力は、「Competence」とも称される。手動運転能力は、例えば最大限発揮できる運転能力である。ドライバの反応は、例えばドライバ画像及び内部センサ３の検出結果の少なくとも何れかに基づいて認識される。手動運転能力推定部１２は、自車両５０の手動運転時において、ドライバの手動運転能力を推定する。手動運転能力は、例えば、空間注意能力、空間認知能力、行動プランニング能力、判断能力（行動選択能力）、及び、操作能力に分類することができる。

【0044】

空間注意能力は、タスクディマンドに応じた前方への注意配分ができているか（例えば、車間が短いとき又は車速が高いとき、脇見は短いか）に関する能力である。手動運転能力推定部１２は、追従走行時における前方車両との車間距離及びドライバの脇見時間に基づいて、空間注意能力を推定する。例えば、手動運転能力推定部１２は、THW（TimeHead Way）が１秒以内の走行シーンのケースを抽出し、その走行シーンにおいて１回の平均脇見時間を算出する。算出した１回の平均脇見時間が１秒以下の場合に空間注意能力が「高」と推定し、算出した１回の平均脇見時間が１秒よりも大きければ空間注意能力が「低」と推定する（例えば、図２参照）

【0045】

空間認知能力は、空間認知の早さに関する能力である。手動運転能力推定部１２は、レーンチェンジ時（車線変更時）又は合流点の進入時におけるドライバの側方視認時間に基づいて、空間認知能力を推定する。手動運転能力推定部１２は、側方視認時間の所定時間からの逸脱量が少ない場合には、空間認知能力が「高」と推定し、それ以外の場合には、手動運転能力が「低」と推定する。

【0046】

例えば、手動運転能力推定部１２は、自車両５０がレーンチェンジしたと判定した場合に、ドライバの側方視認時間を記録する。側方視認時間を記録する視線エリアは、右側の車線へレーンチェンジする場合には、正面に対して右側にずれた矩形エリアであって、右ドアミラーを含むエリアＡＡである（図３（ａ）参照）。そして、手動運転能力推定部１２は、記録した側方視認時間に基づき、図３（ｂ）に示すグラフを用いて、空間認知能力としての手動運転能力の高低を推定する。側方視認時間が下限時間α１よりも短い場合と上限時間α２よりも長い場合には、手動運転能力が「低」と推定することができ、それ以外の場合には手動運転能力が「高」と推定することができる。手動運転能力推定部１２は、このような手動運転能力の推定を、自車両５０の周囲の所定範囲内に他車両が存在していない場合に実行してもよい。所定範囲は、予め定められて設定された値であり、固定値であってもよいし変動値であってもよい。

【0047】

行動プランニング能力は、操舵の前に目標コース立案ができているかに関する能力である。行動プランニング能力は、ＦＦ(フィードフォワード)主体の運転又はＦＢ(フィードバック)主体の運転ができているかに関する能力である。手動運転能力推定部１２は、自車両５０のカーブ進入時におけるドライバの視線の位置に基づいて、行動プランニング能力を推定する。例えば、手動運転能力推定部１２は、自車両５０のカーブ進入時において、ドライバがT/P(Tangent Point)にサッケードで視線が向けられる（ＦＦ主体の運転ができている）確率を算出する。算出した確率が所定値よりも高い場合には、行動プランニング能力が「高」と推定し、それ以外の場合には、行動プランニング能力が「低」と推定する。

【0048】

判断能力は、後述の操作能力及びリスクに基づく行動選択ができているかに関する能力である。手動運転能力推定部１２は、障害物の側方通過時における自車両５０の操舵量及び車速に基づいて、判断能力を推定する。例えば、手動運転能力推定部１２は、自車両５０が障害物の側方を通過する障害物側方通過時において、ドライバの操舵の乱れ量と自車両５０の車速との逆相関の度合いが大きい場合には、判断能力が「高」と推定し、それ以外の場合には、判断能力が「低」と推定する。

【0049】

操作能力は、操舵及びブレーキ操作の乱れの少なさに関する能力である。手動運転能力推定部１２は、カーブ走行時又は制動時における自車両５０の最大加速度及び最大ジャークに基づいて、操作能力を推定する。例えば、手動運転能力推定部１２は、自車両５０のカーブ進入時又は制動時において、自車両５０の最大ジャークを最大加速度で割った値が所定値よりも小さい場合には、操作能力が「高」と推定し、それ以外の場合には、操作能力が「低」と推定する。

【0050】

手動運転能力推定部１２は、空間注意能力、空間認知能力、行動プランニング能力、判断能力、及び、操作能力の中で、最も悪い段階又は最も良い段階をドライバの手動運転能力とする。或いは、手動運転能力推定部１２は、空間注意能力、空間認知能力、行動プランニング能力、判断能力、及び、操作能力の中で、最も多く存在する段階をドライバの手動運転能力とする。手動運転能力の表現の仕方は特に限定されず、数値であってもよいし、複数の段階に分けられていてもよい。

【0051】

運転構え度算出部１３は、ドライバ状態推定部１１で推定したドライバの状態、及び、手動運転能力推定部１２で推定したドライバの手動運転能力に基づいて、ドライバの運転意識に関する運転構え度を算出する。運転構え度算出部１３は、自車両５０の自動運転時において運転構え度を算出する。運転構え度とは、ドライバの運転への情報処理能力の度合いである。運転構え度とは、ドライバの運転意識の高さに応じた度合いである。運転意識とは、ドライバが車を操縦する時の、認知、予測、判断、操作を含む心的活動の総称である。

【0052】

運転構え度とは、ドライバの運転に対する準備のレベルである。運転構え度は、「Readiness」とも称される。ドライバの運転意識及び自車両５０の走行環境に対する備えの度合いが高いほど、運転構え度の値が大きくなる。ここでの運転構え度は、一例として、値の小さい方から大きい方の順に、Ｌｏｗ（低い）、Ｍｅｄｉｕｍ（普通）、及び、Ｈｉｇｈ（高い）の３段階に分けられている。運転構え度の表現の仕方は特に限定されず、数値であってもよいし、複数の段階に分けられていてもよい。

【0053】

運転構え度算出部１３は、第１テーブルＴ１（図４参照）を参照して、運転構え度を算出できる。第１テーブルＴ１は、予め定められ、例えばＥＣＵ１０の記憶部（ＲＯＭ又はＲＡＭ）に記憶されている。図４の第１テーブルＴ１の運転構え度では、「Ｌ」がＬｏｗを表し、「Ｍ」がＭｅｄｉｕｍを表し、「Ｈ」がＨｉｇｈを表す（以下、同様）。第１テーブルＴ１では、手動運転能力が「低」で且つドライバ状態が「低」の場合に運転構え度は「Ｌ」となり、手動運転能力が「高」で且つドライバ状態が「高」の場合に運転構え度は「Ｈ」となり、それ以外の場合に運転構え度は「Ｍ」となる。

【0054】

タスクディマンド推定部１４は、自車両５０のドライバに要求される指標であるタスクディマンドを推定する。タスクディマンド推定部１４は、タスクディマンドがＨｉｇｈ（高い）か、Ｍｅｄｉｕｍ（普通）か、Ｌｏｗ（低い）を判定する。タスクディマンドは、自車両５０の運転が自動運転から手動運転へ切り替わった後に必要な能力である。タスクディマンド推定部１４は、自車両５０の周囲の走行環境、及び、自車両５０の走行状態に基づいて、タスクディマンドを判定する。

【0055】

図５は、タスクディマンドの判定の一例を説明する表である。図５に示されるように、タスクディマンド推定部１４は、自車両５０が先行車（前方車両）に対して追従走行する追従走行時であって、当該先行車との車間時間である前方車間時間を１．０秒以上であることを、タスクディマンド推定要素（ａ）とする。タスクディマンド推定部１４は、自車両５０がカーブ走行時であって、横加速度が２ｍ／ｓ^２未満であることが現在の車速から予想されることを、タスクディマンド推定要素（ｂ）とする。タスクディマンド推定部１４は、タスクディマンド推定要素（ａ），（ｂ）の両方が当てはまる場合、タスクディマンドを「Ｌ（Ｌｏｗ）」と判定する。タスクディマンド推定部１４は、タスクディマンド推定要素（ａ），（ｂ）の何れか一方が当てはまる場合、タスクディマンドを「Ｍ（Ｍｅｄｉｕｍ）」と判定する。タスクディマンド推定部１４は、タスクディマンド推定要素（ａ），（ｂ）の両方が当てはまらない場合、タスクディマンドを「Ｈ（Ｈｉｇｈ）」と判定する。

【0056】

手動運転適否判定部１５は、タスクディマンド及び運転構え度に基づいて、ドライバの手動運転への切替準備の適否を判定する。手動運転適否判定部１５は、運転構え度がタスクディマンド以上の場合に、ドライバの手動運転への切替準備が適していると判定する。手動運転適否判定部１５は、運転構え度がタスクディマンド未満の場合に、ドライバの手動運転への切替準備が適していない（不適である）と判定する。

【0057】

手動運転適否判定部１５は、第２テーブルＴ２（図６参照）を参照して、ドライバの手動運転の適否を算出できる。第２テーブルＴ２は、予め定められ、例えばＥＣＵ１０の記憶部（ＲＯＭ又はＲＡＭ）に記憶されている。図６の第２テーブルＴ２では、「〇」がドライバの手動運転への切替準備が適していることを表し、「×」がドライバの手動運転への切替準備が適していないことを表す。第２テーブルＴ２では、運転構え度が「Ｈ」の場合には、ドライバの手動運転が「〇」となり、運転構え度が「Ｍ」でタスクディマンドが「Ｌ」又は「Ｍ」の場合には、ドライバの手動運転が「〇」となり、運転構え度が「Ｌ」でタスクディマンドが「Ｌ」の場合には、ドライバの手動運転が「〇」となり、それ以外の場合にはドライバの手動運転が「×」となる。

【0058】

図１に戻り、ＨＭＩ６は、手動運転適否判定部１５で手動運転できないと判定した場合に、ドライバに刺激を付与する。ＨＭＩ６は、ドライバに対して振動及び匂いの少なくとも一方で刺激を付与可能なとき、手動運転適否判定部１５により手動運転できないと判定した場合に、運転構え度がタスクディマンド以上となるように当該刺激をドライバに付与する。ＨＭＩ６は、手動運転適否判定部１５の判定結果を表示する。ＨＭＩ６は、刺激付与部及び表示部を構成する。

【0059】

次に、ＥＣＵ１０の上述した各機能の処理について、自車両５０の手動運転時に自動運転を開始及び終了する例を挙げて説明する。

【0060】

図７に示すように、例えばドライバの操作により自車両５０が始動され、手動運転が開始された後において、手動運転能力推定部１２によりドライバの手動運転能力を推定する（ステップＳ１）。自動運転が開始されているか否かを判定する（ステップＳ２）。上記ステップＳ２でＮＯの場合、上記ステップＳ１の処理に戻る。上記ステップＳ２でＹＥＳの場合、タスクディマンド推定部１４によりタスクディマンドを推定する（ステップＳ３）。ドライバ状態推定部１１によりドライバの状態を推定する（ステップＳ４）。運転構え度算出部１３により運転構え度を算出する（ステップＳ５）。

【0061】

続いて、手動運転適否判定部１５により、例えば上記第２テーブルＴ２を用いて、運転構え度がタスクディマンド以上か否かを判定する（ステップＳ６）。上記ステップＳ６でＹＥＳの場合、ドライバの手動運転への切替準備が適していると判定する（ステップＳ７）。上記ステップＳ６でＮＯの場合、ドライバの手動運転への切替準備が不適と判定する（ステップＳ８）。自動運転が終了されているか否かを判定する（ステップＳ９）。上記ステップＳ９でＮＯの場合、上記ステップＳ３の処理に戻る。上記ステップＳ９でＹＥＳの場合、自車両５０の運転が終了されているか否かを判定する（ステップＳ１０）。上記Ｓ１０でＮＯの場合、上記ステップＳ１の処理に戻る。上記Ｓ１０でＹＥＳの場合、処理を終了する。

【0062】

次に、手動運転能力推定部１２による手動運転能力の推定（上記ステップＳ１）の処理例について、具体的に説明する。

【0063】

図８に示すように、自車両５０の走行状態及び走行環境に基づき、自車両５０がレーンチェンジしたか否かを判定する（ステップＳ１１）。上記ステップＳ１１でＹＥＳの場合、ドライバの側方視認時間を記録する（ステップＳ１２）。記録した側方視認時間から、手動運転能力を推定する（ステップＳ１３）。上記ステップＳ１１でＮＯの場合、上記ステップＳ１１の処理に戻る。

【0064】

或いは図９に示すように、自車両５０の走行状態及び走行環境に基づき、自車両５０がレーンチェンジしたか否かを判定する（ステップＳ２１）。上記ステップＳ２１でＹＥＳの場合、ドライバの側方視認時間を記録する（ステップＳ２２）。自車両５０の走行環境に基づき、自車両５０の周囲の所定範囲内に他車両が存在しているか否かを判定する（ステップＳ２３）。所定範囲は、例えばレーンチェンジする車線側における自車両５０から所定距離後方までの範囲である。所定範囲は、ＢＳＭ（Blind Spot Monitor）により検出してもよい。上記ステップＳ２３でＮＯの場合に、記録した側方視認時間から、手動運転能力を推定する（ステップＳ２４）。上記ステップＳ２１でＮＯの場合又は上記ステップＳ２３でＹＥＳの場合、上記ステップＳ２１の処理に戻る。

【0065】

以上、運転意識推定装置１００では、ドライバの手動運転能力に基づいて運転構え度を算出する。そのため、従来に比して、例えばドライバの手動運転能力に起因する個人差、及び、手動運転能力に係る調子（頭の冴え、手の疲れなど）の良し悪しによる日内変動を考慮して、運転構え度を算出できる。したがって、運転構え度を精度よく算出することが可能となる。

【0066】

運転意識推定装置１００では、手動運転能力推定部１２は、車線変更時又は合流点の進入時におけるドライバの側方視認時間に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの空間認知能力に特に基づいて、運転構え度を算出することができる。

【0067】

このとき、運転意識推定装置１００では、手動運転能力推定部１２は、自車両５０の周囲の所定範囲内に他車両が存在していない場合に、手動運転能力を推定してもよい。これにより、他車両の存在に起因して（例えば他車両までの距離を見積もってレーンチェンジしてよいか判断するために）側方視認時間が延長し、手動運転能力を誤って推定しまうのを防ぐことができる。誤って側方視認時間が長いと判断し、手動運転能力を低く見積もってしまうことを防ぐことができる。

【0068】

運転意識推定装置１００では、手動運転能力推定部１２は、追従走行時における前方車両との車間距離及びドライバの脇見時間に基づいて、手動運転能力を推定してもよい。の場合、ドライバの手動運転能力のうちの空間注意能力に特に基づいて、運転構え度を算出することができる。

【0069】

運転意識推定装置１００では、手動運転能力推定部１２は、カーブ進入時におけるドライバの視線の位置に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの行動プランニング能力に特に基づいて、運転構え度を算出することができる。

【0070】

運転意識推定装置１００では、手動運転能力推定部１２は、障害物の側方を通過時における自車両５０の操舵量及び車速に基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの判断能力（行動選択能力）に特に基づいて、運転構え度を算出することができる。

【0071】

運転意識推定装置１００では、手動運転能力推定部１２は、カーブ走行時又は制動時における自車両５０の最大加速度及び最大ジャークに基づいて、手動運転能力を推定してもよい。この場合、ドライバの手動運転能力のうちの操作能力に特に基づいて、運転構え度を算出することができる。

【0072】

運転意識推定装置１００では、タスクディマンドを推定するタスクディマンド推定部１４と、タスクディマンド及び運転構え度に基づいてドライバの手動運転への切替準備の適否を判定する手動運転適否判定部１５と、を備える。これにより、タスクディマンド及び運転構え度を利用して、手動運転への切替準備の適否を精度よく判定することが可能となる。

【0073】

運転意識推定装置１００では、ＨＭＩ６は、手動運転能力推定部１２で手動運転への切替準備に適していないと判定した場合に、ドライバに刺激を付与する。これにより、ドライバが手動運転への切替準備に適していないと判定した場合、運転構え度を高めるようにドライバに働きかけることができる。

【0074】

運転意識推定装置１００では、ＨＭＩ６は、手動運転適否判定部１５の判定結果を表示する。これにより、手動運転への切替準備の適否の判定結果を、ドライバ等にフィードバックすることができる。

【0075】

運転意識推定装置１００では、自車両５０の手動運転時において、手動運転能力推定部１２はドライバの手動運転能力を推定する。これにより、手動運転能力を精度よく推定することができる。

【0076】

運転意識推定装置１００では、自車両５０の自動運転時において、ドライバ状態推定部１１はドライバの状態を推定し、運転構え度算出部１３は運転構え度を算出する。これにより、自動運転中に得られたドライバの状態及び運転構え度を、当該自動運転から引き継がれる手動運転への切替準備の適否の判定に用いることが可能となる。

【0077】

以上、本発明の一態様に係る実施形態について説明したが、本発明の一態様は上述した実施形態に限定されるものではない。本発明の一態様は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0078】

上記実施形態では、必ずしも自動運転ＥＣＵ７と接続されている必要はなく、自動運転システムの一部を構成する必要はない。本発明の一態様は、自動運転を実行しない自車両に対しても適用することができる。上記実施形態では、予め設定されたテーブルを用いて運転構え度を推定したが、予め設定された演算式を用いて運転構え度を推定してもよい。上記実施形態において、運転意識推定装置１００は、自車両５０の自動運転を実行する自動運転システムの一部を構成していてもよい。

【符号の説明】

【0079】

１…ドライバモニタカメラ、２…外部センサ、３…内部センサ、４…ＧＰＳ受信部、５…地図データベース、６…ＨＭＩ（刺激付与部，表示部）、７…自動運転ＥＣＵ、１０…ＥＣＵ、１１…ドライバ状態推定部、１２…手動運転能力推定部、１３…運転構え度算出部、１４…タスクディマンド推定部、１５…手動運転適否判定部、５０…自車両、１００…運転意識推定装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】