知財求人 - 知財ポータルサイト「IP Force」
▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-02
(45)【発行日】2023-03-10
(54)【発明の名称】運転支援方法及び運転支援装置
(51)【国際特許分類】
B60W 50/029 20120101AFI20230303BHJP
B60W 50/14 20200101ALI20230303BHJP
G08G 1/16 20060101ALI20230303BHJP
【ＦＩ】
B60W50/029
B60W50/14
G08G1/16 C
【請求項の数】
16
(21)【出願番号】P 2019058005
(22)【出願日】2019-03-26
(65)【公開番号】P2020157871
(43)【公開日】2020-10-01
【審査請求日】2021-11-09
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】海老名 亮彦
(72)【発明者】
【氏名】三浦 宏明
(72)【発明者】
【氏名】高松 敦
【審査官】楠永 吉孝
(56)【参考文献】
【文献】特開２０１７－１３２２８５（ＪＰ，Ａ）
【文献】特開２０１７－２１４０３６（ＪＰ，Ａ）
【文献】特開２０１７－０２４６５３（ＪＰ，Ａ）
【文献】国際公開第２０１７／１８７６２２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ ３０／００～６０／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援方法であって、コントローラが、
前記センサが前記物体を検出できない非検出状態であるか否かを判定する処理と、
前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向に応じて前記自動運転車両の複数の乗員のいずれかを選択し、選択した前記乗員に前記自動運転車両の周囲の物体を監視する監視権限を付与する処理と、
前記監視権限が付与された乗員による監視結果に応じて、前記自動運転車両に前記運転行動を実行させる処理と、
を行うことを特徴とする運転支援方法。
【請求項2】
前記コントローラは、前記監視権限が付与された乗員による前記運転行動の承認に応じて、前記自動運転車両に前記運転行動を実行させる処理を行うことを特徴とする請求項１に記載の運転支援方法。
【請求項3】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援方法であって、
コントローラが、
前記センサが前記物体を検出できない非検出状態であるか否かを判定する処理と、
前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向及び前記運転行動に応じて、前記自動運転車両の複数の乗員のうちどの乗員に前記自動運転車両の周囲の物体を監視する監視権限を付与するかを決定する処理と、
前記監視権限が付与された乗員による監視結果に応じて、前記自動運転車両に前記運転行動を実行させる処理と、
を行うことを特徴とする運転支援方法。
【請求項4】
前記コントローラは、前記所定の検出方向、前記運転行動、及び前記乗員が座る座席の位置に応じて、前記監視権限を付与する乗員を決定する処理を行うことを特徴とする請求項３に記載の運転支援方法。
【請求項5】
前記コントローラは、前記所定の検出方向、前記運転行動、及び前記乗員が座る座席の向きに応じて、前記監視権限を付与する乗員を決定する処理を行うことを特徴とする請求項３又は４に記載の運転支援方法。
【請求項6】
前記コントローラは、前記乗員の属性に応じて前記監視権限を付与するか否かを決定する処理を行うことを特徴とする請求項１～５のいずれか一項に記載の運転支援方法。
【請求項7】
前記コントローラは、前記乗員の状態に応じて前記監視権限を付与するか否かを決定する処理を行うことを特徴とする請求項１～６のいずれか一項に記載の運転支援方法。
【請求項8】
前記コントローラは、前記監視権限が付与された乗員に前記非検出状態を知らせる処理を行うことを特徴とする請求項１～７のいずれか一項に記載の運転支援方法。
【請求項9】
前記コントローラは、前記監視権限が付与された乗員が障害物の有無を確認したことを指示する入力を受け付ける処理を行うことを特徴とする請求項１～８のいずれか一項に記載の運転支援方法。
【請求項10】
前記コントローラは、前記自動運転車両に対する操作権限を有する乗員に前記監視結果を通知する処理を行うことを特徴とする請求項１～９のいずれか一項に記載の運転支援方法。
【請求項11】
前記コントローラは、前記操作権限を有する乗員が前記運転行動を承認する入力を受け付ける処理を行うことを特徴とする請求項１０に記載の運転支援方法。
【請求項12】
前記コントローラは、前記運転行動の前に、前記監視権限が付与された乗員に刺激を与える処理を行うことを特徴とする請求項１～１１のいずれか一項に記載の運転支援方法。
【請求項13】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援方法であって、
コントローラが、
前記センサが前記物体を検出できない非検出状態であるか否かを判定する処理と、
前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向に応じて、前記自動運転車両の複数の乗員のいずれかに前記自動運転車両の周囲の物体を監視する監視権限を付与する処理と、
前記監視権限が付与された複数の乗員のうち、最も監視時間が長い乗員の監視結果に応じて、前記自動運転車両に前記運転行動を実行させる処理と、
を行うことを特徴とする運転支援方法。
【請求項14】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援装置であって、前記センサが前記物体を検出できない非検出状態であるか否かを判定し、前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向に応じて前記自動運転車両の複数の乗員のいずれかを選択し、選択した前記乗員に前記自動運転車両の周囲の物体を監視する監視権限を付与し、前記監視権限が付与された乗員による監視結果に応じて、前記自動運転車両に前記運転行動を実行させるコントローラを備えることを特徴とする運転支援装置。
【請求項15】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援装置であって、
前記センサが前記物体を検出できない非検出状態であるか否かを判定し、前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向及び前記運転行動に応じて、前記自動運転車両の複数の乗員のうちどの乗員に前記自動運転車両の周囲の物体を監視する監視権限を付与するかを決定し、前記監視権限が付与された乗員による監視結果に応じて、前記自動運転車両に前記運転行動を実行させるコントローラを備えることを特徴とする運転支援装置。
【請求項16】
自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて、前記自動運転車両の運転行動を決定する運転支援装置であって、
前記センサが前記物体を検出できない非検出状態であるか否かを判定し、前記センサが前記非検出状態であると判定した場合は、前記所定の検出方向に応じて、前記自動運転車両の複数の乗員のいずれかに前記自動運転車両の周囲の物体を監視する監視権限を付与し、前記監視権限が付与された複数の乗員のうち、最も監視時間が長い乗員の監視結果に応じて、前記自動運転車両に前記運転行動を実行させるコントローラを備えることを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援方法及び運転支援装置に関する。
【背景技術】
【0002】
特許文献１には、自動走行の機能を実施することが困難である原因が、この機能に情報を提供する第１のセンサであり、かつ搭乗者が運転を引き継ぐことが困難な場合に、第２のセンサの情報を用いて停車や減速するなどの一時的に走行制御を行う自動運転制御システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７‐１６５２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１において第２のセンサの代用は、手動運転へ引き継ぐまでの一時的な措置であり、継続して自動運転で車両を走行し続けるには不十分であった。
本発明は、自動運転車両の周囲の物体を検出するセンサが物体を検出できない非検出状態になっても自動運転の継続を可能とすることを目的とする。
本発明は、自動運転車両の周囲の物体を検出するセンサが物体を検出できない非検出状態になっても自動運転の継続を可能とすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、自動運転車両の周囲の物体を所定の検出方向で検出するセンサの検出結果に基づいて自動運転車両の運転行動を決定する運転支援方法が与えられる。運転支援方法では、コントローラが、センサが物体を検出できない非検出状態であるか否かを判定する処理と、センサが非検出状態であると判定した場合は、所定の検出方向に応じて、自動運転車両の複数の乗員のいずれかに自動運転車両の周囲の物体を監視する監視権限を付与する処理と、監視権限が付与された乗員による監視結果に応じて、自動運転車両に運転行動を実行させる処理とを行う。
【発明の効果】
【0006】
本発明の一態様によれば、自動運転車両の周囲の物体を検出するセンサが物体を検出できない非検出状態になっても自動運転を継続できる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態の運転支援装置の一例の概略構成図である。
【図2A】監視権限者用情報提示画像の一例を示す図である。
【図2B】操作権限者用画像提示画像の一例を示す図である。
【図4A】乗員状態表示画像の一例を示す図である。
【図4B】乗員状態表示画像の一例を示す図である。
【図4C】乗員状態表示画像の一例を示す図である。
【図4D】乗員状態表示画像の一例を示す図である。
【図5】監視権限者が座る座席の判定方法の一例の説明図である。
【図6】監視権限者が座る座席の判定方法の一例の説明図である。
【図7】監視権限者が座る座席の判定方法の一例の説明図である。
【図8】監視権限者が座る座席の判定方法の一例の説明図である。
【図9】監視権限者が座る座席の判定方法の一例の説明図である。
【図10】監視権限者に権限を付与する際の操作権限者用画像提示画像の一例を示す図である。
【図11A】操作権限者による運転行動の承認又は否認を待つ間の監視権限者用情報提示画像の一例を示す図である。
【図11B】操作権限者による運転行動の承認を知らせる監視権限者用情報提示画像の一例を示す図である。
【図12A】運転行動の承認権限を監視権限者に付与した場合の監視権限者用情報提示画像の一例を示す図である。
【図12B】運転行動の承認権限を監視権限者に付与した場合の操作権限者用情報提示画像の一例を示す図である。
【図13A】監視権限者による運転行動の承認又は否認をシステムが受け付ける間の監視権限者用情報提示画像の一例を示す図である。
【図13B】監視権限者による運転行動の承認をシステムが受け付けたことを知らせる監視権限者用情報提示画像の一例を示す図である。
【図14A】実施形態の運転支援装置の動作の一例を示すフローチャートである。
【図14B】実施形態の運転支援装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
（構成）
図１を参照する。運転支援装置１は、運転支援装置１を搭載する自動運転車両（以下、「自車両」と表記する）の周囲の走行環境に基づいて、運転者が関与せずに自車両を自動で運転する自動運転制御や、運転者による自車両の運転を支援する運転支援制御を行う。
運転支援制御には、自動操舵、自動ブレーキ、定速走行制御、車線維持制御、合流支援制御などの走行制御のほか、運転者に操舵操作や減速操作を促すメッセージを出力することを含んでよい。
図１を参照する。運転支援装置１は、運転支援装置１を搭載する自動運転車両（以下、「自車両」と表記する）の周囲の走行環境に基づいて、運転者が関与せずに自車両を自動で運転する自動運転制御や、運転者による自車両の運転を支援する運転支援制御を行う。
運転支援制御には、自動操舵、自動ブレーキ、定速走行制御、車線維持制御、合流支援制御などの走行制御のほか、運転者に操舵操作や減速操作を促すメッセージを出力することを含んでよい。
【0010】
運転支援装置１は、周囲環境センサ２と、地図データベース３と、車両センサ４と、乗員センサ５と、ユーザインタフェース６ＦＲ、６ＦＬ、６ＲＲ、６ＲＬと、ナビゲーションシステム７と、コントローラ８と、車両制御アクチュエータ９を備える。図面において地図データベースを「地図ＤＢ」と表記する。
周囲環境センサ２は、例えば、自車両に搭載されて自車両の周囲環境、自車両の周囲の物体を検出するセンサ群であってよい。周囲環境センサ２は、例えば自車両の左側方の物体を検出する左側方センサ、左後方の物体を検出する左後方センサ、左前方の物体を検出する左前方センサ、右側方の物体を検出する右側方センサ、右後方の物体を検出する右後方センサ、右前方の物体を検出する右前方センサ、前方の物体を検出する前方センサ、後方の物体を検出する後方センサを含んでよい。
周囲環境センサ２は、例えば、自車両に搭載されて自車両の周囲環境、自車両の周囲の物体を検出するセンサ群であってよい。周囲環境センサ２は、例えば自車両の左側方の物体を検出する左側方センサ、左後方の物体を検出する左後方センサ、左前方の物体を検出する左前方センサ、右側方の物体を検出する右側方センサ、右後方の物体を検出する右後方センサ、右前方の物体を検出する右前方センサ、前方の物体を検出する前方センサ、後方の物体を検出する後方センサを含んでよい。
【0011】
すなわち、左側方センサ、左後方センサ、左前方センサ、右側方センサ、右後方センサ、右前方センサ、前方センサ及び後方センサの検出方向は、それぞれ自車両の左側方、左後方、左前方、右側方、右後方、右前方、前方及び後方である。
これらのセンサは、例えば測距装置やカメラを含んでよい。
測距装置及びカメラは、自車両周囲に存在する物体、自車両と物体との相対位置、自車両と物体との距離等の自車両の周囲環境を検出する。
これらのセンサは、例えば測距装置やカメラを含んでよい。
測距装置及びカメラは、自車両周囲に存在する物体、自車両と物体との相対位置、自車両と物体との距離等の自車両の周囲環境を検出する。
【0012】
測距装置は、例えば、レーザレンジファインダ（ＬＲＦ：Laser Range-Finder）やレーダであってよい。カメラは、例えばステレオカメラであってよい。
カメラは、単眼カメラであってもよく、単眼カメラにより複数の視点で同一の物体を撮影して、物体までの距離を計算してもよい。また、単眼カメラによる撮像画像から検出された物体の接地位置に基づいて、物体までの距離を計算してもよい。
周囲環境センサ２は、検出した周囲環境の情報である周囲環境情報をコントローラ８へ出力する。
カメラは、単眼カメラであってもよく、単眼カメラにより複数の視点で同一の物体を撮影して、物体までの距離を計算してもよい。また、単眼カメラによる撮像画像から検出された物体の接地位置に基づいて、物体までの距離を計算してもよい。
周囲環境センサ２は、検出した周囲環境の情報である周囲環境情報をコントローラ８へ出力する。
【0013】
なお、周囲環境センサ２は、自車両の周囲の物体を検出するセンサであればよく、自車両に搭載されるセンサに限定されない。例えば周囲環境センサ２は、自車両の周囲の他車両や、自車両が走行する走行路などのインフラストラクチャに設けられたセンサでもよい。コントローラ８は、これらのセンサによる周囲環境情報を車車間通信や路車間通信を介して取得してもよい。
【0014】
地図データベース３は、自動運転用の地図として好適な高精度地図データ（以下、単に「高精度地図」という。）を記憶してよい。高精度地図は、ナビゲーション用の地図データ（以下、単に「ナビ地図」という。）よりも高精度の地図データであり、道路単位の情報よりも詳細な車線単位の情報を含む。
例えば、高精度地図は車線単位の情報として、車線基準線（例えば車線内の中央の線）上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。
例えば、高精度地図は車線単位の情報として、車線基準線（例えば車線内の中央の線）上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。
【0015】
車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、車線の種類、車線の幅員、車線境界線の種類、車線の形状、車線区分線の形状、車線基準線の形状を含む。高精度地図は更に、車線上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道等の地物の種類及び位置座標と、地物の位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の、地物の情報を含む。
【0016】
高精度地図は、車線単位のノード及びリンク情報を含むため、走行ルートにおいて自車両が走行する車線を特定可能である。高精度地図は、車線の延伸方向及び幅方向における位置を表現可能な座標を有する。高精度地図は、３次元空間における位置を表現可能な座標（例えば経度、緯度及び高度）を有し、車線や上記地物は３次元空間における形状として記述されてもよい。
【0017】
車両センサ４は、自車両の走行状態を検出するセンサと、運転者により行われた運転操作を検出するセンサとを含む。
自車両の走行状態を検出するセンサには、車速センサと、加速度センサと、ジャイロセンサが含まれる。
運転操作を検出するセンサには、操舵角センサと、アクセルセンサと、ブレーキセンサが含まれる。なお、自車両に運転席が設けられない場合には、運転操作を検出するセンサを省略できる。
自車両の走行状態を検出するセンサには、車速センサと、加速度センサと、ジャイロセンサが含まれる。
運転操作を検出するセンサには、操舵角センサと、アクセルセンサと、ブレーキセンサが含まれる。なお、自車両に運転席が設けられない場合には、運転操作を検出するセンサを省略できる。
【0018】
車速センサは、自車両の車輪速を検出し、車輪速に基づいて自車両の速度を算出する。
加速度センサは、自車両の前後方向の加速度、車幅方向の加速度及び上下方向の加速度を検出する。
ジャイロセンサは、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの自車両の回転角度の角速度を検出する。
加速度センサは、自車両の前後方向の加速度、車幅方向の加速度及び上下方向の加速度を検出する。
ジャイロセンサは、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの自車両の回転角度の角速度を検出する。
【0019】
操舵角センサは、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。
アクセルセンサは、自車両のアクセル開度を検出する。例えばアクセルセンサは、自車両のアクセルペダルの踏み込み量をアクセル開度として検出する。
アクセルセンサは、自車両のアクセル開度を検出する。例えばアクセルセンサは、自車両のアクセルペダルの踏み込み量をアクセル開度として検出する。
【0020】
ブレーキセンサは、運転者によるブレーキ操作量を検出する。例えばブレーキセンサは、自車両のブレーキペダルの踏み込み量をブレーキ操作量として検出する。
車両センサ４が検出した自車両の速度、加速度、角速度、操舵角、アクセル開度、ブレーキ操作量の情報を総称して「車両センサ情報」と表記する。車両センサ４は車両センサ情報をコントローラ８へ出力する。
車両センサ４が検出した自車両の速度、加速度、角速度、操舵角、アクセル開度、ブレーキ操作量の情報を総称して「車両センサ情報」と表記する。車両センサ４は車両センサ情報をコントローラ８へ出力する。
【0021】
乗員センサ５は、自車両に乗っている乗員の着座位置及びその乗員の状態を検出するセンサである。乗員センサ５は、自車両に乗っている乗員やその周囲を撮影する車内カメラであってよい。また例えば、また、乗員センサ５は、乗員の体重や体表の動きを検出する圧力センサ、乗員の体や顔の向きを検出するセンサであってもよい。
乗員センサ５が撮影した映像、乗員の体重や体動の情報を総称して「乗員センサ情報」と表記する。乗員センサ５は、乗員センサ情報をコントローラ８へ出力する。
乗員センサ５が撮影した映像、乗員の体重や体動の情報を総称して「乗員センサ情報」と表記する。乗員センサ５は、乗員センサ情報をコントローラ８へ出力する。
【0022】
ユーザインタフェース６ＦＲ、６ＦＬ、６ＲＲ及び６ＲＬは、それぞれ、右前方席、左前方席、右後方席及び左後方席の乗員とコントローラと乗員との間で情報を授受するためのインタフェース装置である。ユーザインタフェース６ＦＲ、６ＦＬ、６ＲＲ及び６ＲＬを「ユーザインタフェース６」と総称することもある。
ユーザインタフェース６は、運転支援装置１や自車両のインテリアに固定設置されていてもよく、運転支援装置１と別体の端末装置（例えばタブレット端末）であってもよい。
ユーザインタフェース６は、運転支援装置１や自車両のインテリアに固定設置されていてもよく、運転支援装置１と別体の端末装置（例えばタブレット端末）であってもよい。
【0023】
ユーザインタフェース６は、各々入力装置、表示装置、音声信号出力装置を備える。
入力装置は、乗員によるコントローラ８への操作を受け付ける。入力装置は、例えばボタン、ダイヤル、スライダなどであってよく、表示装置に設けられたタッチパネルであってもよい。入力装置は、乗員の音声による指示や情報入力を受け付けるマイクロフォンであってもよい。
入力装置は、乗員によるコントローラ８への操作を受け付ける。入力装置は、例えばボタン、ダイヤル、スライダなどであってよく、表示装置に設けられたタッチパネルであってもよい。入力装置は、乗員の音声による指示や情報入力を受け付けるマイクロフォンであってもよい。
【0024】
表示装置は、コントローラ８により提供される様々な視覚的情報を出力する。
また、ユーザインタフェース６は、乗員の五感のうち視覚以外の感覚による刺激を与えるインタフェース装置を備えてもよい。例えば、ユーザインタフェース６は、触覚や嗅覚による刺激を乗員に与えるインタフェース装置を備えてもよい。
音声信号出力装置は、コントローラ８により提供される様々な聴覚的情報を出力する。
また、ユーザインタフェース６は、乗員の五感のうち視覚以外の感覚による刺激を与えるインタフェース装置を備えてもよい。例えば、ユーザインタフェース６は、触覚や嗅覚による刺激を乗員に与えるインタフェース装置を備えてもよい。
音声信号出力装置は、コントローラ８により提供される様々な聴覚的情報を出力する。
【0025】
なお、ユーザインタフェース６の数は４個に限定されず、自車両の座席数に応じて増減してもよい。また、全ての座席に設けずに一部の座席に設けてもよい。一部の乗員のみが利用できるようにユーザインタフェース６を設ける座席を制限してもよく（例えば、右前方席及び左前方席のみ設ける）、複数の乗員で１個のユーザインタフェース６を共用するように設けてもよい。
【0026】
ナビゲーションシステム７は、全地球型測位システム（ＧＮＳＳ）受信機を備え、複数の航法衛星から電波を受信して自車両の現在位置を測定する。ＧＮＳＳ受信機は、例えば地球測位システム（ＧＰＳ）受信機等であってよい。ナビゲーションシステム７は、例えばオドメトリにより自車両の現在位置を測定してもよい。
【0027】
乗員がナビゲーションシステム７を操作して目的地を入力すると、ナビゲーションシステム７は、ダイキストラ法やＡ＊などのグラフ探索理論に基づく手法により、現在位置から目的地まで自車両がこれから走行する予定経路を設定する。ナビゲーションシステム７は、設定した予定経路に基づく経路案内を乗員に提示する。
例えば、ナビゲーションシステム７は、予定経路と経路案内をユーザインタフェース６の表示装置に表示してよい。
また、ナビゲーションシステム７は、設定した予定経路の情報と自車両の現在位置情報をコントローラ８へ出力する。
例えば、ナビゲーションシステム７は、予定経路と経路案内をユーザインタフェース６の表示装置に表示してよい。
また、ナビゲーションシステム７は、設定した予定経路の情報と自車両の現在位置情報をコントローラ８へ出力する。
【0028】
コントローラ８は、自車両の自動運転制御と運転支援制御を行う電子制御ユニット（ＥＣＵ：Electronic Control Unit）である。コントローラ８は、プロセッサ１２と、記憶装置１３等の周辺部品とを含む。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）であってよい。
記憶装置１３は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置１３は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
記憶装置１３は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置１３は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
【0029】
以下に説明するコントローラ８の機能は、例えばコントローラ８のプロセッサ１２が、記憶装置１３に格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ８を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。
例えば、コントローラ８は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ８はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。
なお、コントローラ８を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。
例えば、コントローラ８は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ８はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。
【0030】
コントローラ８は、周囲環境センサ２から入力した周囲環境情報と、地図データベース３に記憶される高精度地図（ナビゲーションシステム７が備えるナビ地図を使用してもよい、以下同様）と、車両センサ４から入力した車両センサ情報と、ナビゲーションシステム７から入力した自車両の現在位置と、に基づいて、ナビゲーションシステム７により設定された予定経路を自車両に走行させる運転行動計画を生成する。
【0031】
ここで運転行動計画とは、自車両を走行させるレーン（車線）と、このレーンを走行させるのに要する運転行動とを定めた、中長距離の範囲におけるレーンレベル（車線レベル）での運転行動の計画である。例えば運転行動計画は、前方に存在する交差点を右折するシーンにおいて、交差点の手前何ｍ地点で右折レーンに車線変更するか等の運転行動を定めた計画である。
【0032】
コントローラ８は、運転行動計画及び自車両の運動特性などに基づいて自車両を走行させるための軌道候補を生成する。コントローラ８は、軌道候補の各々の将来リスクを評価して、最適な軌道を選択し、自車に走行させる走行軌道として設定する。走行軌道は、目標操舵角のほか、速度計画やそのための加減速を含む。
コントローラ８は、設定した走行軌道を自車両が走行するように車両制御アクチュエータ９を駆動して自動的に自車両を走行させる。
コントローラ８は、設定した走行軌道を自車両が走行するように車両制御アクチュエータ９を駆動して自動的に自車両を走行させる。
【0033】
車両制御アクチュエータ９は、コントローラ８からの制御信号に応じて、自車両の操舵機構、アクセル開度及びブレーキ装置を操作して、自車両の車両挙動を発生させる。車両制御アクチュエータ９は、例えば、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備えてよい。
ステアリングアクチュエータは、自車両のステアリング機構の操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両のブレーキ装置の制動動作を制御する。
ステアリングアクチュエータは、自車両のステアリング機構の操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両のブレーキ装置の制動動作を制御する。
【0034】
次に、コントローラ８による自車両の自動運転制御に対する乗員による操作指示を説明する。
乗員は、コントローラ８による自動運転制御に対して様々な操作指示を行うことが可能である。自動運転制御に対する操作指示には、例えば、自車両の運転行動（例えば、前方の交差点の右左折、車線変更や加減速などの指示）や運転行動計画を指定する指示が含まれる。
また例えば、自車両に対する操作指示は、自車両の目的地又は経由地を指定する指示を含んでもよい。
乗員は、コントローラ８による自動運転制御に対して様々な操作指示を行うことが可能である。自動運転制御に対する操作指示には、例えば、自車両の運転行動（例えば、前方の交差点の右左折、車線変更や加減速などの指示）や運転行動計画を指定する指示が含まれる。
また例えば、自車両に対する操作指示は、自車両の目的地又は経由地を指定する指示を含んでもよい。
【0035】
乗員は、運転行動、運転行動計画、目的地、経由地などを指定する操作指示を、ユーザインタフェース６を介してコントローラ８に入力する。
また例えば、自車両に対する操作指示は、自車両の自動運転制御に対するオーバライド操作であってもよい。乗員は、例えばステアリングホイール、アクセルペダル、ブレーキペダルによりオーバライド操作をコントローラ８に入力してよい。
また例えば、自車両に対する操作指示は、自車両の自動運転制御に対するオーバライド操作であってもよい。乗員は、例えばステアリングホイール、アクセルペダル、ブレーキペダルによりオーバライド操作をコントローラ８に入力してよい。
【0036】
コントローラ８は、乗員に付与されている自車両に対する操作指示の権限（以下、「操作権限」と表記する）を記憶する。
乗員による操作指示が行われた場合、コントローラ８は、操作指示を行った乗員が、操作権限が付与されている者、すなわち操作権限者であるか否かを判定する。
操作権限者が操作指示を行った場合には、コントローラ８は操作指示に従って自車両の走行を制御する。すなわち、操作指示に従って運転行動、運転行動計画、目的地、又は経由地を設定する。若しくは、オーバライド操作に従って自車両の車両挙動を発生させる。
操作権限者以外の乗員が操作指示を行った場合には、コントローラ８は操作指示を破棄する。
乗員による操作指示が行われた場合、コントローラ８は、操作指示を行った乗員が、操作権限が付与されている者、すなわち操作権限者であるか否かを判定する。
操作権限者が操作指示を行った場合には、コントローラ８は操作指示に従って自車両の走行を制御する。すなわち、操作指示に従って運転行動、運転行動計画、目的地、又は経由地を設定する。若しくは、オーバライド操作に従って自車両の車両挙動を発生させる。
操作権限者以外の乗員が操作指示を行った場合には、コントローラ８は操作指示を破棄する。
【0037】
次に、故障や汚れの付着などの原因により、周囲環境センサ２のいずれかが自車両の周囲の物体を検出できない状態（すなわち非検出状態）となった場合について説明する。
周囲環境センサ２のいずれかが非検出状態となった場合には、コントローラ８は、検出状態である残りのセンサの周囲環境情報に基づいて運転行動計画を生成する。
そして、コントローラ８は、非検出状態のセンサの検出方向を監視する監視権限を乗員に付与する。以下、非検出状態のセンサを「非検出状態センサ」と表記することがある。
コントローラ８は、例えば、非検出状態センサの検出方向と、これから自車両が行う予定の運転行動と、乗員の座席に応じて、監視権限を付与する乗員を決定する。
周囲環境センサ２のいずれかが非検出状態となった場合には、コントローラ８は、検出状態である残りのセンサの周囲環境情報に基づいて運転行動計画を生成する。
そして、コントローラ８は、非検出状態のセンサの検出方向を監視する監視権限を乗員に付与する。以下、非検出状態のセンサを「非検出状態センサ」と表記することがある。
コントローラ８は、例えば、非検出状態センサの検出方向と、これから自車両が行う予定の運転行動と、乗員の座席に応じて、監視権限を付与する乗員を決定する。
【0038】
コントローラ８は、監視権限を付与した乗員（以下「監視権限者」と表記する）に、非検出状態センサと、監視権限者が監視すべき監視対象（例えば、監視すべき自車両周囲の範囲や監視すべき方向）を通知する。
図２Ａを参照する。例えばコントローラ８は、監視権限者が利用するユーザインタフェース６の表示装置に、監視権限者用情報提示画像２０を表示する。
図２Ａを参照する。例えばコントローラ８は、監視権限者が利用するユーザインタフェース６の表示装置に、監視権限者用情報提示画像２０を表示する。
【0039】
監視権限者用情報提示画像２０は、例えば、非検出状態センサ表示２１と、監視対象表示２２と、付与権限表示２３と、運転行動表示２４と、第１確認ボタン画像２５と、第２確認ボタン画像２６を含んでよい。
非検出状態センサ表示２１は、非検出状態センサを指示する。図２Ａの例では、非検出状態センサ表示２１は左前方センサが非検出状態となっていることを示す。
非検出状態センサ表示２１は、非検出状態センサを指示する。図２Ａの例では、非検出状態センサ表示２１は左前方センサが非検出状態となっていることを示す。
【0040】
監視対象表示２２は、監視権限者が監視すべき監視対象を指示する。図２Ａの例では、監視対象表示２２は、監視権限者が自車両の左前方の領域（又は左前方の方向）を監視すべきことを示している。
付与権限表示２３は、現在、監視権限が付与されていることを示す。運転行動表示２４は、自車両がこれから行う予定の運転行動を表示する。
第１確認ボタン画像２５及び第２確認ボタン画像２６は、監視権限者が監視対象での監視結果を指示する入力を受け付ける。
付与権限表示２３は、現在、監視権限が付与されていることを示す。運転行動表示２４は、自車両がこれから行う予定の運転行動を表示する。
第１確認ボタン画像２５及び第２確認ボタン画像２６は、監視権限者が監視対象での監視結果を指示する入力を受け付ける。
【0041】
障害物がある場合には、第１確認ボタン画像２５が押される（又は押すジェスチャーが行われる）ことにより、コントローラ８は、監視対象に障害物があることを確認した指示の入力を受け付ける。反対に、障害物がない場合には、第２確認ボタン画像２６が押される（又は押すジェスチャーが行われる）ことにより、監視対象に障害物が無いことを確認した指示の入力を受け付ける。
【0042】
なお、非検出状態センサ、監視対象、付与権限の通知は、画像表示による通知に限定されない。例えば、音声信号によって非検出状態センサと監視対象を通知してもよい。同様に、監視結果の入力も、ボタン操作などの手入力に限定されるものではなく、例えば、音声入力によって監視結果を入力してもよい。
【0043】
監視権限者による監視結果が入力されると、コントローラ８は、入力された監視結果を操作権限者に通知する。
図２Ｂを参照する。例えばコントローラ８は、操作権限者が利用するユーザインタフェース６の表示装置に、操作権限者用情報提示画像３０を表示する。
操作権限者用情報提示画像３０は、例えば、非検出状態センサ表示３１と、監視対象表示３２と、乗員状態表示画像３３と、付与権限表示３４と、運転行動表示３５と、監視結果表示３６と、承認ボタン画像３７と、否認ボタン画像３８を含んでよい。
図２Ｂを参照する。例えばコントローラ８は、操作権限者が利用するユーザインタフェース６の表示装置に、操作権限者用情報提示画像３０を表示する。
操作権限者用情報提示画像３０は、例えば、非検出状態センサ表示３１と、監視対象表示３２と、乗員状態表示画像３３と、付与権限表示３４と、運転行動表示３５と、監視結果表示３６と、承認ボタン画像３７と、否認ボタン画像３８を含んでよい。
【0044】
非検出状態センサ表示３１及び監視対象表示３２は、図２Ａに示す非検出状態センサ表示２１及び監視対象表示２２と同様である。
乗員状態表示画像３３は、乗員の状態を表示する。図２Ｂの例では、アイコン３３ＦＲ、３３ＦＬ、３３ＲＲ及び３３ＲＬが、それぞれ、右前方席、左前方席、右後方席及び左後方席に座る乗員の状態を表す。
乗員状態表示画像３３は、乗員の状態を表示する。図２Ｂの例では、アイコン３３ＦＲ、３３ＦＬ、３３ＲＲ及び３３ＲＬが、それぞれ、右前方席、左前方席、右後方席及び左後方席に座る乗員の状態を表す。
【0045】
例えばアイコン３３ＦＲ～３３ＲＬは、アイコン３３ＦＲ～３３ＲＬに設けられた突起の方向により、乗員の座席の向きを表示する。
また、例えばアイコン３３ＦＬに表示された網掛けのハッチングにより、左前方席に座る乗員が監視権限者であることを表示する。
なお、図２Ｂに示す表示態様は一例であり、乗員の状態表示の態様はこれに限定されない。アイコンの色、線種、大きさを変えることによって乗員の状態を表示してもよい。また、画像ではなく文字情報で乗員の状態を表示してもよい。
また、例えばアイコン３３ＦＬに表示された網掛けのハッチングにより、左前方席に座る乗員が監視権限者であることを表示する。
なお、図２Ｂに示す表示態様は一例であり、乗員の状態表示の態様はこれに限定されない。アイコンの色、線種、大きさを変えることによって乗員の状態を表示してもよい。また、画像ではなく文字情報で乗員の状態を表示してもよい。
【0046】
また、乗員の座席の向きや監視権限者だけでなく、乗員のその他の状態を表示してもよい。例えば、乗員状態表示画像３３は、監視対象の監視に適した状態（すなわち監視権限を付与できる状態）であるか否かを表示してもよい。
例えば、乗員が集中力を有しており、安心若しくは安定した状態である場合に、監視対象の監視に適した状態であることを表示してよい。
例えば、乗員が集中力を有しており、安心若しくは安定した状態である場合に、監視対象の監視に適した状態であることを表示してよい。
【0047】
反対に、乗員が睡眠状態にあるか、集中力を欠いた漫然状態であるか、又は不安定若しくは不安な状態である場合に、監視対象の監視に適した状態でないことを表示してよい。
また、乗員状態表示画像３３は、乗員が監視対象の監視に適した属性（すなわち監視権限を付与できる属性）を有するか否かを表示してもよい。例えば乗員が子供である場合に、監視対象の監視に適した属性を有しないことを表示してよい。また、例えば運転免許証を有しない場合に、監視対象の監視に適した属性を有しないことを表示してよい。
また、乗員状態表示画像３３は、乗員が監視対象の監視に適した属性（すなわち監視権限を付与できる属性）を有するか否かを表示してもよい。例えば乗員が子供である場合に、監視対象の監視に適した属性を有しないことを表示してよい。また、例えば運転免許証を有しない場合に、監視対象の監視に適した属性を有しないことを表示してよい。
【0048】
付与権限表示３４は、現在、監視権限者に監視権限が付与されていることを表示する。運転行動表示３５は、自車両がこれから行う予定の運転行動を表示する。監視結果表示３６は、監視権限者による監視結果が表示する。
これらの表示によって、操作権限者は、周囲環境センサ２のいずれかが非検出状態であっても、残りのセンサの周囲環境情報に基づいて決定された運転行動が安全であるか否かを判断できる。
これらの表示によって、操作権限者は、周囲環境センサ２のいずれかが非検出状態であっても、残りのセンサの周囲環境情報に基づいて決定された運転行動が安全であるか否かを判断できる。
【0049】
承認ボタン画像３７及び否認ボタン画像３８は、それぞれ操作権限者による運転行動の承認及び否認を指示する入力を受け付ける。
運転行動を承認する場合には、承認ボタン画像３７が押される（又は押すジェスチャーが行われる）ことにより、コントローラ８は、運転行動を承認する指示の入力を受け付ける。反対に、否認する場合には、否認ボタン画像３８が押される（又は押すジェスチャーが行われる）ことにより、コントローラ８は、運転行動を否認する指示の入力を受け付ける。
運転行動を承認する場合には、承認ボタン画像３７が押される（又は押すジェスチャーが行われる）ことにより、コントローラ８は、運転行動を承認する指示の入力を受け付ける。反対に、否認する場合には、否認ボタン画像３８が押される（又は押すジェスチャーが行われる）ことにより、コントローラ８は、運転行動を否認する指示の入力を受け付ける。
【0050】
なお、非検出状態センサ、監視対象の通知、乗員状態、付与権限、運転行動及び監視結果の通知は、画像表示による通知に限定されない。例えば、音声信号によってこれらの通知を行ってもよい。同様に、運転行動の承認及び否認も、ボタン操作などの手入力に限定されるものではなく、例えば、音声入力によって運転行動の承認及び否認を入力してもよい。
【0051】
運転行動が承認された場合に、コントローラ８は、承認された運転行動を自車両に実行させる。これにより自動運転制御による自車両の走行が継続する。運転行動が承認された場合に、コントローラ８は、自車両の走行によるリスクを減らすリスク最小運転を実行する。例えば、リスク最小運転は、自車両を路肩に停車させる運転や、速度を落として走行する運転であってよい。
【0052】
次に図３を参照して、コントローラ８の機能を詳しく説明する。コントローラ８は、立体物行動予測部４０と、マップ生成部４１と、運転行動計画生成部４２と、軌道生成部４３と、走行制御部４４と、周囲環境判定部５０と、乗員情報取得部５１と、センサ状態判定部５２と、乗員状態推定部５３と、乗員属性判定部５４と、権限管理部５５と、表示状態制御部５６と、運転行動承認部５７と、警報生成部５８を備える。
【0053】
立体物行動予測部４０は、周囲環境センサ２から入力した周囲環境情報と、地図データベース３に記憶される高精度地図に基づいて、自車両周囲の移動体の行動を予測する。
マップ生成部４１は、周囲環境情報と、高精度地図と、立体物行動予測部４０による予測結果に基づいて、自車両周囲の経路や物体の有無を表現する経路空間マップと、走行場の危険度を数値化したリスクマップを生成する。
マップ生成部４１は、周囲環境情報と、高精度地図と、立体物行動予測部４０による予測結果に基づいて、自車両周囲の経路や物体の有無を表現する経路空間マップと、走行場の危険度を数値化したリスクマップを生成する。
【0054】
運転行動計画生成部４２は、これら経路空間マップ及びリスクマップに基づいて運転行動計画を生成する。
軌道生成部４３は、運転行動計画生成部４２が生成した運転行動計画、自車両の運動特性、経路空間マップに基づいて自車両を走行させるための軌道候補を生成する。軌道生成部４３は、リスクマップに基づいて軌道候補の各々の将来リスクを評価して、最適な軌道を選択し、自車に走行させる走行軌道として設定する。
走行制御部４４は、軌道生成部４３が設定した走行軌道を自車両が走行するように車両制御アクチュエータ９を駆動して自動的に自車両を走行させる。
軌道生成部４３は、運転行動計画生成部４２が生成した運転行動計画、自車両の運動特性、経路空間マップに基づいて自車両を走行させるための軌道候補を生成する。軌道生成部４３は、リスクマップに基づいて軌道候補の各々の将来リスクを評価して、最適な軌道を選択し、自車に走行させる走行軌道として設定する。
走行制御部４４は、軌道生成部４３が設定した走行軌道を自車両が走行するように車両制御アクチュエータ９を駆動して自動的に自車両を走行させる。
【0055】
周囲環境判定部５０は、自車両周囲の環境を判定する。例えば周囲環境判定部５０は、自車両の周囲に存在する周囲物体を識別し、周囲物体が存在する方向、周囲物体までの距離、周囲物体との相対距離、周囲物体の種類、属性（例えば静止物体であるか移動物体出るかや、車両であるか歩行者であるか等）を判定する。周囲環境判定部５０は判定結果を乗員状態推定部５３へ出力する。
【0056】
乗員情報取得部５１は、乗員センサ５からの乗員センサ情報や、乗員がユーザインタフェース６の入力装置で入力した入力情報に基づいて乗員情報を取得し、乗員を認識する。
例えば乗員情報取得部５１は、乗員センサ５が備える車内カメラで撮影した映像に基づいて、乗員の位置（着座位置）、人数、乗員の姿勢、乗員の座席の向き、乗員の視線の方向、顔や体の方向、開眼率、心拍、乗員の近くにある物体、成人であるか子供であるか等の情報を、乗員情報として取得してよい。
例えば乗員情報取得部５１は、乗員センサ５が備える車内カメラで撮影した映像に基づいて、乗員の位置（着座位置）、人数、乗員の姿勢、乗員の座席の向き、乗員の視線の方向、顔や体の方向、開眼率、心拍、乗員の近くにある物体、成人であるか子供であるか等の情報を、乗員情報として取得してよい。
【0057】
また例えば乗員情報取得部５１は、乗員センサ５が備える圧力センサで検出した乗員の体重や体表の動きに基づいて、乗員の姿勢や心拍を乗員情報として取得してもよい。
また例えば乗員情報取得部５１は、ユーザインタフェース６の入力装置による入力情報に基づいて、乗員の運転免許の有無や年齢を乗員情報として取得してもよい。乗員情報取得部５１は、車内カメラにより運転免許証の画像（乗員毎の運転免許の有無）を取得してもよい。
乗員情報取得部５１は、取得した乗員情報を乗員状態推定部５３と乗員属性判定部５４と表示状態制御部５６へ出力する。
また例えば乗員情報取得部５１は、ユーザインタフェース６の入力装置による入力情報に基づいて、乗員の運転免許の有無や年齢を乗員情報として取得してもよい。乗員情報取得部５１は、車内カメラにより運転免許証の画像（乗員毎の運転免許の有無）を取得してもよい。
乗員情報取得部５１は、取得した乗員情報を乗員状態推定部５３と乗員属性判定部５４と表示状態制御部５６へ出力する。
【0058】
センサ状態判定部５２は、周囲環境センサ２のいずれかが非検出状態となったか否かを判定する。例えば、センサ状態判定部５２は、周囲環境センサ２から周囲環境情報が出力されなくなった場合に周囲環境センサ２が非検出状態となったと判定してよい。
また例えば、センサ状態判定部５２は、周囲環境センサ２から出力される周囲環境情報が変化しない状態が所定時間継続した場合に周囲環境センサ２が非検出状態となったと判定してよい。
センサ状態判定部５２は、判定結果を権限管理部５５へ出力する。
また例えば、センサ状態判定部５２は、周囲環境センサ２から出力される周囲環境情報が変化しない状態が所定時間継続した場合に周囲環境センサ２が非検出状態となったと判定してよい。
センサ状態判定部５２は、判定結果を権限管理部５５へ出力する。
【0059】
乗員状態推定部５３は、周囲環境判定部５０の判定結果と乗員情報取得部５１が取得した乗員情報とに基づいて、乗員の状態、具体的には乗員が自車両の周囲状況を確認できる状態にあるか否か、すなわち、監視対象の監視に適した状態（監視権限を付与できる状態）である否かを推定する。
例えば乗員状態推定部５３は、周囲環境判定部５０が識別した周囲物体の危険度を判断し、乗員の姿勢、乗員の視線の方向及び顔の方向に基づいて、危険度の高い周囲物体に乗員が適切に反応しているか否かを判定する。
例えば乗員状態推定部５３は、周囲環境判定部５０が識別した周囲物体の危険度を判断し、乗員の姿勢、乗員の視線の方向及び顔の方向に基づいて、危険度の高い周囲物体に乗員が適切に反応しているか否かを判定する。
【0060】
危険度の高い周囲物体に乗員が適切に反応している場合に、乗員状態推定部５３は、乗員が集中力を有しており、監視対象の監視に適した状態にあると推定する。危険度の高い周囲物体に乗員が適切に反応していない場合に、乗員状態推定部５３は、乗員が集中力を欠いた漫然状態にあり、監視対象の監視に適した状態にないと推定する。
また例えば乗員状態推定部５３は、乗員の開眼率に基づいて乗員が集中力を有しているか漫然状態にあるかを判定し、監視対象の監視に適した状態にあるか否かを推定する。
また例えば乗員状態推定部５３は、乗員の開眼率に基づいて乗員が集中力を有しているか漫然状態にあるかを判定し、監視対象の監視に適した状態にあるか否かを推定する。
【0061】
また例えば乗員状態推定部５３は、乗員の心拍数が閾値を超えていたり又は心拍が安定していない場合は、乗員が不安定又は不安な状態であり監視対象の監視に適した状態にないと推定する。乗員の心拍数が閾値以下であり且つ心拍が安定している場合は、乗員が安定又は安心な状態であり監視対象の監視に適した状態にあると推定する。
また例えば乗員状態推定部５３は、乗員の画像に基づいて乗員が覚醒状態にあるか睡眠状態にあるかを判定し、睡眠状態にある場合に監視対象の監視に適した状態にないと推定する。
乗員状態推定部５３は、推定結果を権限管理部５５と表示状態制御部５６へ出力する。
また例えば乗員状態推定部５３は、乗員の画像に基づいて乗員が覚醒状態にあるか睡眠状態にあるかを判定し、睡眠状態にある場合に監視対象の監視に適した状態にないと推定する。
乗員状態推定部５３は、推定結果を権限管理部５５と表示状態制御部５６へ出力する。
【0062】
また例えば乗員状態推定部５３は、乗員の画像や、乗員の周囲にある物体（例えば、スマートホン、ゲーム、本、飲食物）に基づいて、乗員が監視以外の目を使う活動を行っているか否かを判定する。監視以外の目を使う活動とは、例えばスマートホンの操作、ゲーム、読書、飲食であってよい。
乗員状態推定部５３は、乗員が監視以外の目を使う活動を行っているか否かの情報を権限管理部５５へ出力する。
乗員状態推定部５３は、乗員が監視以外の目を使う活動を行っているか否かの情報を権限管理部５５へ出力する。
【0063】
乗員属性判定部５４は、乗員情報取得部５１が取得した乗員情報に基づいて乗員の属性を判定する。具体的には監視対象の監視に適した属性を乗員が有しているか否かを判定する。
監視対象の監視に適した属性は、例えば運転免許の所有や成人であること等を含んでよい。監視対象の監視に適さない属性は、例えば運転免許の未所有や子供であること等を含んでよい。
監視対象の監視に適した属性は、例えば運転免許の所有や成人であること等を含んでよい。監視対象の監視に適さない属性は、例えば運転免許の未所有や子供であること等を含んでよい。
【0064】
例えば、乗員属性判定部５４は、ユーザインタフェース６の入力装置による入力情報に基づいて乗員が運転免許を有しているか否かを判定する。乗員属性判定部５４は、乗員情報取得部５１が取得した運転免許証の画像に基づいて、乗員が運転免許を有しているか否かを判定してもよい。あるいは、乗員が運転免許を有するか否かは、乗員が乗車時に予めユーザインタフェース６を用いて運転免許の有無を入力し、入力された情報を不図示のメモリに着座位置と共に記憶しておき、乗員属性判定部５４はメモリに記憶された情報を読み出して判定しても良い。
また、乗員属性判定部５４は、ユーザインタフェース６の入力装置による入力情報に基づいて乗員が成人であるか子供であるかを判定する。あるいは、乗員が成人であるか子供であるかの種別は、乗員センサ５によって検出した体重や体格に基づいて判定しても良い。
乗員情報取得部５１が画像から乗員が成人であるか子供であるかの情報を取得した場合、乗員属性判定部５４は、この情報を乗員情報取得部５１から取得してもよい。
乗員属性判定部５４は、判定結果を権限管理部５５と表示状態制御部５６へ出力する。
また、乗員属性判定部５４は、ユーザインタフェース６の入力装置による入力情報に基づいて乗員が成人であるか子供であるかを判定する。あるいは、乗員が成人であるか子供であるかの種別は、乗員センサ５によって検出した体重や体格に基づいて判定しても良い。
乗員情報取得部５１が画像から乗員が成人であるか子供であるかの情報を取得した場合、乗員属性判定部５４は、この情報を乗員情報取得部５１から取得してもよい。
乗員属性判定部５４は、判定結果を権限管理部５５と表示状態制御部５６へ出力する。
【0065】
表示状態制御部５６は、乗員情報取得部５１が取得した乗員情報、乗員状態推定部５３の推定結果、乗員属性判定部５４の判定結果に基づいて、乗員状態表示画像３３を生成する。
例えば表示状態制御部５６は、乗員状態表示画像３３のアイコン３３ＦＲ～３３ＲＬの表示及び非表示により、どの座席に乗員が座っているかを表してよい。
また例えば、乗員情報取得部５１が取得した乗員の座席の向きに応じて、乗員状態表示画像３３のアイコン３３ＦＲ～３３ＲＬの向き（すなわちアイコン３３ＦＲ～３３ＲＬに設けられた突起の方向）を設定することにより、乗員の座席の向きを表示してもよい。
例えば表示状態制御部５６は、乗員状態表示画像３３のアイコン３３ＦＲ～３３ＲＬの表示及び非表示により、どの座席に乗員が座っているかを表してよい。
また例えば、乗員情報取得部５１が取得した乗員の座席の向きに応じて、乗員状態表示画像３３のアイコン３３ＦＲ～３３ＲＬの向き（すなわちアイコン３３ＦＲ～３３ＲＬに設けられた突起の方向）を設定することにより、乗員の座席の向きを表示してもよい。
【0066】
例えば、右前方席、左前方席、右後方席及び左後方席の全てが前方を向いている場合、表示状態制御部５６は図２Ｂに示す乗員状態表示画像３３を表示する。
図４Ａ～図４Ｄを参照する。図４Ａの乗員状態表示画像３３は、右前方席及び左前方席が後方を向き、右後方席及び左後方席が前方を向いている状態、すなわち各座席が前後方向に内側を向いている状態を示す。
図４Ａ～図４Ｄを参照する。図４Ａの乗員状態表示画像３３は、右前方席及び左前方席が後方を向き、右後方席及び左後方席が前方を向いている状態、すなわち各座席が前後方向に内側を向いている状態を示す。
【0067】
図４Ｂの乗員状態表示画像３３は、右前方席及び左前方席が前方を向き、右後方席及び左後方席が後方を向いている状態、すなわち各座席が前後方向に外側を向いている状態を示す。
図４Ｃの乗員状態表示画像３３は、右前方席及び右後方席が左側を向き、左前方席及び左後方席が右側を向いている状態、すなわち各座席が横方向（車幅方向）に内側を向いている状態を占めす。
図４Ｃの乗員状態表示画像３３は、右前方席及び右後方席が左側を向き、左前方席及び左後方席が右側を向いている状態、すなわち各座席が横方向（車幅方向）に内側を向いている状態を占めす。
【0068】
図４Ｄの乗員状態表示画像３３は、右前方席及び右後方席が右側を向き、左前方席及び左後方席が左側を向いている状態、すなわち、各座席が横方向に外側を向いている状態を占めす。
また、表示状態制御部５６は、乗員状態推定部５３の推定結果に基づいて乗員が監視対象の監視に適した状態であるか否かを表示してもよい。表示状態制御部５６は、乗員属性判定部５４の判定結果に基づいて乗員が監視対象の監視に適した属性を有するか否かを表示してもよい。
また、表示状態制御部５６は、乗員状態推定部５３の推定結果に基づいて乗員が監視対象の監視に適した状態であるか否かを表示してもよい。表示状態制御部５６は、乗員属性判定部５４の判定結果に基づいて乗員が監視対象の監視に適した属性を有するか否かを表示してもよい。
【0069】
図３を参照する。権限管理部５５は、乗員に付与されている操作権限を記憶する。すなわちどの乗員が操作権限者であるかを記憶する。
権限管理部５５は、操作権限者の情報を表示状態制御部５６と運転行動承認部５７へ出力する。
また、周囲環境センサ２のいずれかが非検出状態である場合、権限管理部５５は、複数の乗員のいずれかに自車両の周囲の物体を監視する監視権限を付与する。
権限管理部５５は、操作権限者の情報を表示状態制御部５６と運転行動承認部５７へ出力する。
また、周囲環境センサ２のいずれかが非検出状態である場合、権限管理部５５は、複数の乗員のいずれかに自車両の周囲の物体を監視する監視権限を付与する。
【0070】
権限管理部５５は、非検出状態センサの検出方向（搭載位置でもよい）と、運転行動計画生成部４２が決定したこれから行われる予定の運転行動とに応じて、監視権限を付与する乗員（すなわち監視権限者）が座る座席の位置を決定する。
図５～図９を参照して以下に説明する決定方法では、権限管理部５５は、非検出状態センサの検出方向と、これから行われる予定の運転行動と、乗員が座る座席の向きとに応じて、監視権限者を決定する。
図５～図９を参照して以下に説明する決定方法では、権限管理部５５は、非検出状態センサの検出方向と、これから行われる予定の運転行動と、乗員が座る座席の向きとに応じて、監視権限者を決定する。
【0071】
図５～図９は、様々な道路環境（例えば、信号交差点、踏切、片側複数車線路、交差点、狭路、駐車場、高速道路、分岐区間、合流区間）における運転行動と、非検出状態センサの検出方向に応じた監視権限者の座席の候補を示す。
図５は各座席が前方を向いている場合（図２Ｂ）の候補を示し、図６は各座席が前後方向に内側を向いている場合（図４Ａ）の候補を示し、図７は各座席が前後方向に外側を向いている場合（図４Ｂ）の候補を示し、図８は各座席が横方向に内側を向いている場合（図４Ｃ）の候補を示し、図９は各座席が横方向に外側を向いている場合（図４Ｄ）の候補を示す。
図５は各座席が前方を向いている場合（図２Ｂ）の候補を示し、図６は各座席が前後方向に内側を向いている場合（図４Ａ）の候補を示し、図７は各座席が前後方向に外側を向いている場合（図４Ｂ）の候補を示し、図８は各座席が横方向に内側を向いている場合（図４Ｃ）の候補を示し、図９は各座席が横方向に外側を向いている場合（図４Ｄ）の候補を示す。
【0072】
二重丸は監視権限者の座席の第１優先候補を示し、一重丸は第２優先候補を示す。例えば、図５（各座席が前方を向いている場合）では、検出方向が左後方である左後方センサが非検出状態であり、これから行う予定の運転行動が左車線への変更（左車線変更）である場合には、左後方席が第１優先候補として選択され、左前方席が第２優先候補として選択される。
【0073】
また、検出方向が右側方である右側方センサが非検出状態であり、これから行う予定の運転行動が右折又は分岐区間における右分岐路への進出（右方離脱）である場合には、右前方席と右後方席の両方が第１優先候補として選択される。
また、図８（各座席が横方向に内側を向いている場合）では、検出方向が左側方である左側方センサが非検出状態であり、これから行う予定の運転行動が左折又は分岐区間における左分岐路への進出（左方離脱）である場合には、左前方席と左後方席の両方が第１優先候補として選択され、右前方席と右後方席の両方が第２優先候補として選択される。
また、図８（各座席が横方向に内側を向いている場合）では、検出方向が左側方である左側方センサが非検出状態であり、これから行う予定の運転行動が左折又は分岐区間における左分岐路への進出（左方離脱）である場合には、左前方席と左後方席の両方が第１優先候補として選択され、右前方席と右後方席の両方が第２優先候補として選択される。
【0074】
第１優先候補と第２優先候補が選択されている場合、権限管理部５５は、まず第１優先候補の座席に乗員が座っているか否かを判定する。
第１優先候補の座席に乗員が座っている場合、権限管理部５５は、第１優先候補の座席に座っている乗員を監視権限者の候補とする。第１優先候補の座席に乗員が座っていない場合、権限管理部５５は、第２優先候補の座席に乗員が座っているか否かを判定する。
第２優先候補の座席に乗員が座っている場合、権限管理部５５は、第２優先候補の座席に座っている乗員を監視権限者の候補とする。第２優先候補の座席に乗員が座っていない場合には、監視権限者を指定しない。
第１優先候補の座席に乗員が座っている場合、権限管理部５５は、第１優先候補の座席に座っている乗員を監視権限者の候補とする。第１優先候補の座席に乗員が座っていない場合、権限管理部５５は、第２優先候補の座席に乗員が座っているか否かを判定する。
第２優先候補の座席に乗員が座っている場合、権限管理部５５は、第２優先候補の座席に座っている乗員を監視権限者の候補とする。第２優先候補の座席に乗員が座っていない場合には、監視権限者を指定しない。
【0075】
複数の第１優先候補が選択されており、これら複数の第１優先候補の座席のそれぞれに乗員が座っている場合、権限管理部５５は、これらの乗員のいずれかを監視権限者の候補としてもよく、複数の乗員を監視権限者の候補としてもよい。
また、複数の第２優先候補が選択されており、第１優先候補の座席に乗員が座っておらず、これら複数の第２優先候補の座席のそれぞれに乗員が座っている場合、権限管理部５５は、これらの乗員のいずれかを監視権限者の候補としてもよく、複数の乗員を監視権限者の候補としてもよい。
また、複数の第２優先候補が選択されており、第１優先候補の座席に乗員が座っておらず、これら複数の第２優先候補の座席のそれぞれに乗員が座っている場合、権限管理部５５は、これらの乗員のいずれかを監視権限者の候補としてもよく、複数の乗員を監視権限者の候補としてもよい。
【0076】
次に、権限管理部５５は、乗員属性判定部５４の判定結果に基づいて、監視権限者の候補が監視対象の監視に適した属性を有するか否かを判定する。また、権限管理部５５は、乗員状態推定部５３の推定結果に基づいて、監視権限者の候補が監視対象の監視に適した状態であるか否かを判定する。
権限管理部５５は、監視対象の監視に適した属性を有し、且つ監視対象の監視に適した状態である候補を、監視権限者の最終候補者として指定する。監視権限者の候補のいずれもが、監視対象の監視に適した属性を有しないか監視対象の監視に適した状態でない場合、権限管理部５５は、監視権限者を指定しない。
権限管理部５５は、監視権限者の最終候補者の情報を表示状態制御部５６へ出力する。
権限管理部５５は、監視対象の監視に適した属性を有し、且つ監視対象の監視に適した状態である候補を、監視権限者の最終候補者として指定する。監視権限者の候補のいずれもが、監視対象の監視に適した属性を有しないか監視対象の監視に適した状態でない場合、権限管理部５５は、監視権限者を指定しない。
権限管理部５５は、監視権限者の最終候補者の情報を表示状態制御部５６へ出力する。
【0077】
権限管理部５５が監視権限者の最終候補者を指定すると、表示状態制御部５６は、操作権限者が最終候補者に付与する権限を選択する入力を受け付ける画像を、操作権限者用情報提示画像３０に表示する。
図１０を参照する。操作権限者用情報提示画像３０には、権限管理部５５が指定した監視権限者の最終候補者を示す候補者表示６０と、第１権限付与ボタン画像６１と、第２権限付与ボタン画像６２と、キャンセルボタン画像６３が表示される。図１０の例では、左前方席の乗員が監視権限者の最終候補者として示されている。
図１０を参照する。操作権限者用情報提示画像３０には、権限管理部５５が指定した監視権限者の最終候補者を示す候補者表示６０と、第１権限付与ボタン画像６１と、第２権限付与ボタン画像６２と、キャンセルボタン画像６３が表示される。図１０の例では、左前方席の乗員が監視権限者の最終候補者として示されている。
【0078】
監視権限を付与する場合には、第１権限付与ボタン画像６１が押される（又は押すジェスチャーが行われる）ことにより、権限管理部５５は、最終候補者に監視権限のみを付与する指示の入力を受け付ける。権限管理部５５は、候補者表示６０に示されている最終候補者を、監視権限のみを有する監視権限者として決定する。
監視権限だけでなく運転行動を承認する承認権限を付与する場合には、第２権限付与ボタン画像６２が押される（又は押すジェスチャーが行われる）。
監視権限だけでなく運転行動を承認する承認権限を付与する場合には、第２権限付与ボタン画像６２が押される（又は押すジェスチャーが行われる）。
【0079】
これにより、権限管理部５５は、最終候補者に監視権限と承認権限を付与する指示の入力を受け付ける。権限管理部５５は、候補者表示６０に示されている最終候補者を、監視権限と承認権限とを有する監視権限者として決定する。
一方で、キャンセルボタン画像６３が押される（又は押すジェスチャーが行われる）と、権限管理部５５は、最終候補者に監視権限及び承認権限のいずれも付与しない指示として受け付ける。権限管理部５５は監視権限者を決定せず、監視権限者は不在になる。
権限管理部５５は、決定した監視権限者の情報を、表示状態制御部５６と運転行動承認部５７と警報生成部５８へ出力する。
一方で、キャンセルボタン画像６３が押される（又は押すジェスチャーが行われる）と、権限管理部５５は、最終候補者に監視権限及び承認権限のいずれも付与しない指示として受け付ける。権限管理部５５は監視権限者を決定せず、監視権限者は不在になる。
権限管理部５５は、決定した監視権限者の情報を、表示状態制御部５６と運転行動承認部５７と警報生成部５８へ出力する。
【0080】
権限管理部５５が監視権限のみを有する監視権限者を決定すると、表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図２Ａに示す監視権限者用情報提示画像２０を表示する。
表示状態制御部５６は、監視権限者が監視権限者用情報提示画像２０上で監視結果を指示する入力を受け付ける。
表示状態制御部５６は、監視権限者が監視権限者用情報提示画像２０上で監視結果を指示する入力を受け付ける。
【0081】
監視権限者による監視結果が入力されると、表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に、図２Ｂに示す操作権限者用情報提示画像３０を表示する。なお、非検出状態センサ表示３１と監視対象表示３２は、監視結果の入力以前から（例えばセンサが非検出状態であると判定した時点で）表示してもよい。乗員状態表示画像３３は、監視結果の入力以前から（例えば乗員を検出した時点で）表示してもよい。付与権限表示３４は、監視結果の入力以前から（例えば監視権限者を決定した時点で）表示してもよい。
【0082】
なお、複数の監視権限者が監視結果を入力した場合、表示状態制御部５６は、最も監視時間が長い監視権限者による監視結果を選択して操作権限者用情報提示画像３０に表示してよい。表示状態制御部５６は、例えば、乗員情報取得部５１が取得した乗員情報（乗員の姿勢、乗員の視線の方向、顔の方向）に基づいて、監視権限者が監視対象を監視しているか否かを判定してよい。
【0083】
一方で、表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図１１Ａに示す監視権限者用情報提示画像２０を表示する。監視権限者用情報提示画像２０は、操作権限者が運転行動の承認操作又は否認操作を行うのを待っていることを示す表示７０を含む。この表示７０により監視権限者は、引き続き監視対象を監視すべきであることを認識できる。
【0084】
図３を参照する。運転行動承認部５７は、操作権限者が操作権限者用情報提示画像３０上で運転行動の承認又は否認を指示する入力を受け付ける。
運転行動の承認を受け付けると、運転行動承認部５７は、運転行動計画生成部４２により決定された運転行動を承認する承認信号を軌道生成部４３へ出力する。
運転行動の承認を受け付けると、運転行動承認部５７は、運転行動計画生成部４２により決定された運転行動を承認する承認信号を軌道生成部４３へ出力する。
【0085】
一方で表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図１１Ｂに示す監視権限者用情報提示画像２０を表示する。監視権限者用情報提示画像２０は、操作権限者による運転行動の承認が完了したことを示す表示７１を含む。この表示７１により監視権限者は、監視対象の監視を止めてもよいことを認識できる。
一方で、運転行動の否認を受け付けると、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
一方で、運転行動の否認を受け付けると、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
【0086】
また、運転行動承認部５７は、運転行動を自車両が行う所定時間前に、監視権限者が監視権限を付与されたことに気づいたか否かを判定する。所定時間は例えば１０秒であってよい。
例えば、運転行動承認部５７は、乗員情報取得部５１が取得した乗員情報（乗員の姿勢、乗員の視線の方向、顔の方向）に基づいて、監視権限者が監視権限者用情報提示画像２０を見たか否かを判定してよい。
例えば、運転行動承認部５７は、乗員情報取得部５１が取得した乗員情報（乗員の姿勢、乗員の視線の方向、顔の方向）に基づいて、監視権限者が監視権限者用情報提示画像２０を見たか否かを判定してよい。
【0087】
運転行動承認部５７は、監視権限者が監視権限者用情報提示画像２０を見たか否かに応じて監視権限者が監視権限を付与されたことに気づいたか否かを判定してよい。
また、運転行動承認部５７は、監視権限者用情報提示画像２０を表示した際に、ユーザインタフェース６で所定の操作を行ったか否か、所定の音声入力を行ったか否かに応じて監視権限を付与されたことに気づいたか否かを判定してよい。
自車両が運転行動を行う所定時間前に、監視権限者が監視権限を付与されたことに気づいていない場合に、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
また、運転行動承認部５７は、監視権限者用情報提示画像２０を表示した際に、ユーザインタフェース６で所定の操作を行ったか否か、所定の音声入力を行ったか否かに応じて監視権限を付与されたことに気づいたか否かを判定してよい。
自車両が運転行動を行う所定時間前に、監視権限者が監視権限を付与されたことに気づいていない場合に、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
【0088】
また、運転行動承認部５７は、監視権限者用情報提示画像２０に運転行動表示２４が表示されてから所定の時間内に、監視権限者が監視結果を入力したか否かを判定する。運転行動表示２４が表示されてから所定の時間内に監視結果が入力されない場合、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
【0089】
一方で、権限管理部５５が監視権限及び承認権限を有する監視権限者を決定すると、表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図１２Ａに示す監視権限者用情報提示画像２０を表示する。
監視権限者用情報提示画像２０は、承認ボタン画像７２と否認ボタン画像７３を含んでよい。
監視権限者用情報提示画像２０は、承認ボタン画像７２と否認ボタン画像７３を含んでよい。
【0090】
承認ボタン画像７２及び否認ボタン画像７３は、それぞれ監視権限者による運転行動の承認及び否認を指示する入力を受け付ける。
運転行動を承認する場合には、承認ボタン画像７２が押される（又は押すジェスチャーが行われる）ことにより、運転行動承認部５７は、運転行動を承認する指示の入力を受け付ける。反対に、否認する場合には、否認ボタン画像７３が押される（又は押すジェスチャーが行われる）ことにより、運転行動承認部５７は、運転行動を否認する指示の入力を受け付ける。
運転行動を承認する場合には、承認ボタン画像７２が押される（又は押すジェスチャーが行われる）ことにより、運転行動承認部５７は、運転行動を承認する指示の入力を受け付ける。反対に、否認する場合には、否認ボタン画像７３が押される（又は押すジェスチャーが行われる）ことにより、運転行動承認部５７は、運転行動を否認する指示の入力を受け付ける。
【0091】
一方で、表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に、図１２Ｂに示す操作権限者用情報提示画像３０を表示する。
監視権限者に承認権限が付与されている場合、操作権限者用情報提示画像３０から承認ボタン画像３７及び否認ボタン画像３８を省略してよい。そのかわりに、操作権限者用情報提示画像３０は、監視権限者が運転行動の承認操作又は否認操作を行うのを待っていることを示す表示６４を含んでもよい。
監視権限者に承認権限が付与されている場合、操作権限者用情報提示画像３０から承認ボタン画像３７及び否認ボタン画像３８を省略してよい。そのかわりに、操作権限者用情報提示画像３０は、監視権限者が運転行動の承認操作又は否認操作を行うのを待っていることを示す表示６４を含んでもよい。
【0092】
監視権限者による運転行動の承認又は否認が入力されると、表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図１３Ａに示す監視権限者用情報提示画像２０を表示する。監視権限者用情報提示画像２０は、監視権限者による運転行動の承認入力又は否認入力を運転行動承認部５７が処理中であることを示す表示７４を含む。この表示７４により監視権限者は、引き続き監視対象を監視すべきであることを認識できる。
【0093】
監視権限者による運転行動の承認が入力されると、運転行動承認部５７は運転行動を承認する承認信号を軌道生成部４３へ出力する。承認信号の出力が完了すると、表示状態制御部５６は、監視権限者が利用するユーザインタフェース６の表示装置に、図１３Ｂに示す監視権限者用情報提示画像２０を表示する。監視権限者用情報提示画像２０は、運転行動の承認入力の受付が完了したことを示す表示７５を含む。表示７５により監視権限者は、監視対象の監視を止めてもよいことを認識できる。
【0094】
一方で、運転行動の否認を受け付けると、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
また、自車両が運転行動を行う所定時間前に、監視権限者が監視権限を付与されたことに気づいていない場合に、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
運転行動表示２４が表示されてから所定の時間内に監視結果が入力されない場合、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
また、自車両が運転行動を行う所定時間前に、監視権限者が監視権限を付与されたことに気づいていない場合に、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
運転行動表示２４が表示されてから所定の時間内に監視結果が入力されない場合、運転行動承認部５７は、運転行動を否認する否認信号を軌道生成部４３へ出力する。
【0095】
運転行動承認部５７が軌道生成部４３へ運転行動を承認する承認信号を出力すると、軌道生成部４３は、運転行動計画生成部４２が生成した運転行動計画に従って生成した走行軌道を走行制御部４４へ出力する。これにより、自動運転制御による自車両の走行が継続する。
運転行動承認部５７が軌道生成部４３へ運転行動を否認する否認信号を出力すると、軌道生成部４３は、リスク最小運転を行うための走行軌道を生成して走行制御部４４へ出力する。これにより自車両はリスク最小運転を実行する。
運転行動承認部５７が軌道生成部４３へ運転行動を否認する否認信号を出力すると、軌道生成部４３は、リスク最小運転を行うための走行軌道を生成して走行制御部４４へ出力する。これにより自車両はリスク最小運転を実行する。
【0096】
図３を参照する。権限管理部５５は、乗員が監視以外の目を使う活動を行っているか否かの情報を乗員状態推定部５３から取得する。権限管理部５５は、監視権限者が監視以外の目を使う活動を行っているか否かを判定する。権限管理部５５は判定結果を警報生成部５８へ出力する。
【0097】
監視権限者が監視以外の目を使う活動を行っている場合には、警報生成部５８は、視覚以外の感覚による刺激による警報を発生させ、ユーザインタフェース６を介して監視権限者に与える。例えば警報生成部５８は、聴覚、触覚、嗅覚のいずれかの刺激による警報を発生させてよい。これにより、監視対象を監視すべきことを監視権限者に知らせることができ、監視権限者に監視を促すことができる。
【0098】
（動作）
次に、図１４Ａ及び図１４Ｂを参照して実施形態の運転支援装置１の動作の一例を説明する。
ステップＳ１においてセンサ状態判定部５２は、周囲環境センサ２のいずれかが非検出状態となったか否かを判定する。周囲環境センサ２のいずれかが非検出状態となった場合（ステップＳ１：Ｙ）に処理はステップＳ３へ進む。周囲環境センサ２のいずれも非検出状態でない場合（ステップＳ１：Ｎ）に処理はステップＳ２へ進む。
次に、図１４Ａ及び図１４Ｂを参照して実施形態の運転支援装置１の動作の一例を説明する。
ステップＳ１においてセンサ状態判定部５２は、周囲環境センサ２のいずれかが非検出状態となったか否かを判定する。周囲環境センサ２のいずれかが非検出状態となった場合（ステップＳ１：Ｙ）に処理はステップＳ３へ進む。周囲環境センサ２のいずれも非検出状態でない場合（ステップＳ１：Ｎ）に処理はステップＳ２へ進む。
【0099】
ステップＳ２において運転行動承認部５７は、運転行動計画生成部４２により決定された運転行動を承認する承認信号を軌道生成部４３へ出力する。これにより自動運転制御による自車両の走行を継続する。その後に処理はステップＳ２３へ進む。
ステップＳ３において権限管理部５５は、非検出状態センサの検出方向と自車両がこれから行われる予定の運転行動とに応じて、監視権限を付与する乗員の座席を選択する。
ステップＳ３において権限管理部５５は、非検出状態センサの検出方向と自車両がこれから行われる予定の運転行動とに応じて、監視権限を付与する乗員の座席を選択する。
【0100】
ステップＳ４において乗員情報取得部５１は、乗員を検出する。
ステップＳ５において権限管理部５５は、ステップＳ３で選択した座席に乗員が座っているか否かを判定する。ステップＳ３で選択した座席に乗員が座っている場合（ステップＳ５：Ｙ）に、権限管理部５５はこの乗員を監視権限の候補とする。その後に処理はステップＳ７へ進む。
ステップＳ５において権限管理部５５は、ステップＳ３で選択した座席に乗員が座っているか否かを判定する。ステップＳ３で選択した座席に乗員が座っている場合（ステップＳ５：Ｙ）に、権限管理部５５はこの乗員を監視権限の候補とする。その後に処理はステップＳ７へ進む。
【0101】
ステップＳ３で選択した座席に乗員が座っていない場合（ステップＳ５：Ｎ）に処理はステップＳ６へ進む。
ステップＳ６において運転行動承認部５７は、運転行動計画生成部４２により決定された運転行動を承認する否認信号を軌道生成部４３へ出力する。これにより自車両は、自車両の走行によるリスクを減らすリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
ステップＳ６において運転行動承認部５７は、運転行動計画生成部４２により決定された運転行動を承認する否認信号を軌道生成部４３へ出力する。これにより自車両は、自車両の走行によるリスクを減らすリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
【0102】
ステップＳ７において権限管理部５５は、監視権限の候補が監視に適した属性を有するか否かを判定する。監視権限の候補が監視に適した属性を有する場合（ステップＳ７：Ｙ）に処理はステップＳ９へ進む。監視権限の候補が監視に適した属性を有さない場合（ステップＳ７：Ｎ）に処理はステップＳ８へ進む。
ステップＳ８において運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
ステップＳ８において運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
【0103】
ステップＳ９において権限管理部５５は、監視権限の候補が監視に適した状態であるか否かを判定する。監視権限の候補が監視に適した状態である場合（ステップＳ９：Ｙ）に処理はステップＳ１１へ進む。監視権限の候補が監視に適した状態でない場合（ステップＳ９：Ｎ）に処理はステップＳ１０へ進む。
ステップＳ１０にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
ステップＳ１０にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
【0104】
ステップＳ１１において表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に図１０に示す操作権限者用情報提示画像３０を表示する。操作権限者が監視権限の候補に監視権限を付与すると、監視権限を与えられた乗員は監視権限者となる。
表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に図２Ａに示す監視権限者用情報提示画像２０を表示する。
表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に図２Ａに示す監視権限者用情報提示画像２０を表示する。
【0105】
ステップＳ１２において権限管理部５５は、監視権限者が監視以外の目を使う活動を行っているか否かを判定する。監視権限者が監視以外の目を使う活動を行っている場合（ステップＳ１２：Ｙ）に処理はステップＳ１３へ進む。ない場合（ステップＳ１２：Ｎ）にステップＳ１３をスキップして処理はステップＳ１４へ進む。
ステップＳ１３において警報生成部５８は、視覚以外の感覚による刺激による警報を発生させ、ユーザインタフェース６を介して監視権限者に与える。その後に処理はステップＳ１４へ進む。
ステップＳ１３において警報生成部５８は、視覚以外の感覚による刺激による警報を発生させ、ユーザインタフェース６を介して監視権限者に与える。その後に処理はステップＳ１４へ進む。
【0106】
ステップＳ１４において運転行動承認部５７は、自車両が運転行動を行う所定時間前に監視権限者が監視権限を付与されたことに気づいたか否かを判定する。運転行動を行う所定時間前に監視権限を付与されたことに気づいた場合（ステップＳ１４：Ｙ）に処理はステップＳ１６へ進む。運転行動を行う所定時間前に監視権限を付与されたことに気づいていない場合（ステップＳ１４：Ｎ）に処理はステップＳ１５へ進む。
ステップＳ１５にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
ステップＳ１５にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
【0107】
ステップＳ１６において運転行動承認部５７は、監視権限者用情報提示画像２０に運転行動表示２４が表示されてから所定の時間内に、監視権限者が監視結果を入力したか否かを判定する。運転行動表示２４が表示されてから所定の時間内に監視結果を入力した場合（ステップＳ１６：Ｙ）に処理はステップＳ１８へ進む。運転行動表示２４が表示されてから所定の時間内に監視結果を入力しない場合（ステップＳ１６：Ｎ）に処理はステップＳ１７へ進む。
ステップＳ１７にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
ステップＳ１７にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２３へ進む。
【0108】
ステップＳ１８において表示状態制御部５６は、操作権限者が利用するユーザインタフェース６の表示装置に、図２Ｂに示す操作権限者用情報提示画像３０を表示する。操作権限者用情報提示画像３０は、監視権限者による監視結果を示す監視結果表示３６を含む。
ステップＳ１９において運転行動承認部５７は、自車両がこれから行う予定の運転行動を操作権限者が承認したか否かを判定する。
ステップＳ１９において運転行動承認部５７は、自車両がこれから行う予定の運転行動を操作権限者が承認したか否かを判定する。
【0109】
操作権限者が運転行動を承認した場合（ステップＳ１９：Ｙ）に処理はステップＳ２０へ進む。操作権限者が運転行動を承認しない場合（ステップＳ１９：Ｎ）に処理はステップＳ２１へ進む。
ステップＳ２０において運転行動承認部５７は、運転行動を承認する承認信号を軌道生成部４３へ出力する。これにより自動運転制御による自車両の走行を継続する。その後に処理はステップＳ２２へ進む。
ステップＳ２１にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２２へ進む。
ステップＳ２０において運転行動承認部５７は、運転行動を承認する承認信号を軌道生成部４３へ出力する。これにより自動運転制御による自車両の走行を継続する。その後に処理はステップＳ２２へ進む。
ステップＳ２１にて運転行動承認部５７は、否認信号を軌道生成部４３へ出力する。これにより自車両はリスク最小運転を実行する。その後に処理はステップＳ２２へ進む。
【0110】
ステップＳ２２において表示状態制御部５６は、監視権限者用情報提示画像２０に、操作権限者による運転行動の承認又は否認が完了したことを示す表示７１を表示する。
ステップＳ２３において、自車両のイグニッションスイッチ（ＩＧＮ）がオフになったか否かを判定する。イグニッションスイッチがオフになっていない場合（ステップＳ２３：Ｎ）に処理はステップＳ１へ戻る。イグニッションスイッチがオフになった場合（ステップＳ２３：Ｙ）に処理は終了する。
ステップＳ２３において、自車両のイグニッションスイッチ（ＩＧＮ）がオフになったか否かを判定する。イグニッションスイッチがオフになっていない場合（ステップＳ２３：Ｎ）に処理はステップＳ１へ戻る。イグニッションスイッチがオフになった場合（ステップＳ２３：Ｙ）に処理は終了する。
【0111】
（実施形態の効果）
（１）コントローラ８は、自動運転車両の周囲の物体を所定の検出方向で検出する周囲環境センサ２の検出結果に基づいて自動運転車両の運転行動を決定する。コントローラ８は、周囲環境センサ２のいずれかが物体を検出できない状態の非検出状態センサであるか否かを判定する処理と、周囲環境センサ２のいずれかが非検出状態センサであると判定した場合は、非検出状態センサの所定の検出方向に応じて、自動運転車両の複数の乗員のいずれかに自動運転車両の周囲の物体を監視する監視権限を付与する処理と、監視権限が付与された乗員による監視結果に応じて、自動運転車両に運転行動を実行させる処理とを行う。
（１）コントローラ８は、自動運転車両の周囲の物体を所定の検出方向で検出する周囲環境センサ２の検出結果に基づいて自動運転車両の運転行動を決定する。コントローラ８は、周囲環境センサ２のいずれかが物体を検出できない状態の非検出状態センサであるか否かを判定する処理と、周囲環境センサ２のいずれかが非検出状態センサであると判定した場合は、非検出状態センサの所定の検出方向に応じて、自動運転車両の複数の乗員のいずれかに自動運転車両の周囲の物体を監視する監視権限を付与する処理と、監視権限が付与された乗員による監視結果に応じて、自動運転車両に運転行動を実行させる処理とを行う。
【0112】
これにより、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、監視権限が付与された乗員（監視権限者）の監視結果に基づいて、残りのセンサの周囲環境情報に基づいて決定された運転行動が安全であるか否かを判断できる。このため、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、自動運転制御による自車両の運転を継続できる。
【0113】
（２）コントローラ８は、監視権限が付与された乗員（監視権限者）による運転行動の承認に応じて、自動運転車両に運転行動を実行させる処理を行う。
これにより、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、監視権限が付与された乗員（監視権限者）の監視結果に基づいて、残りのセンサの周囲環境情報に基づいて決定された運転行動を承認できる。このため、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、自動運転制御による自車両の運転を継続できる。
これにより、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、監視権限が付与された乗員（監視権限者）の監視結果に基づいて、残りのセンサの周囲環境情報に基づいて決定された運転行動を承認できる。このため、周囲環境センサ２のいずれかが物体を検出できない非検出状態になっても、自動運転制御による自車両の運転を継続できる。
【0114】
（３）コントローラ８は、非検出状態センサの所定の検出方向及び運転行動に応じて、監視権限を付与する乗員を決定する処理を行う。これにより、非検出状態センサにより物体を検出すべきだった検出方向に関して行われる運転行動が安全か否かを判断できる。
【0115】
（４）コントローラ８は、非検出状態センサの所定の検出方向、運転行動、及び乗員が座る座席の位置に応じて、いずれの乗員に監視権限を付与するかを決定する処理を行う。これにより、非検出状態センサが物体を検出すべきだった検出方向を監視しやすい乗員に監視権限を付与することができる。
【0116】
（５）コントローラ８は、非検出状態センサの所定の検出方向、運転行動、及び乗員が座る座席の向きに応じて、いずれの乗員に監視権限を付与するかを決定する処理を行う。これにより、乗員が無理な姿勢をとらずに自然な姿勢で監視できるように監視権限者を決定できる。
【0117】
（６）コントローラ８は、乗員の属性に応じて監視権限を付与するかを決定する処理を行う。これにより監視に適する属性を有する乗員に監視権限を付与することができる。このため、交通ルールに基づいて走行することができる。
（７）コントローラ８は、乗員の状態に応じて監視権限を付与するかを決定する処理を行う。これにより監視に適する状態にある乗員に監視権限を付与することができる。このため、交通ルールに基づいて走行することができる。
（７）コントローラ８は、乗員の状態に応じて監視権限を付与するかを決定する処理を行う。これにより監視に適する状態にある乗員に監視権限を付与することができる。このため、交通ルールに基づいて走行することができる。
【0118】
（８）コントローラ８は、監視権限が付与された乗員（監視権限者）に非検出状態を知らせる処理を行う。これにより、監視権限者が、センサによる検出が十分でない領域を知ることができる。
（９）コントローラ８は、監視権限が付与された乗員（監視権限者）が障害物の有無を確認したことを指示する入力を受け付ける処理を行う。これにより、監視権限者が障害物の有無を確認したことを、自動運転車両に対する操作権限を有する乗員（操作権限者）に通知することが可能となる。
（９）コントローラ８は、監視権限が付与された乗員（監視権限者）が障害物の有無を確認したことを指示する入力を受け付ける処理を行う。これにより、監視権限者が障害物の有無を確認したことを、自動運転車両に対する操作権限を有する乗員（操作権限者）に通知することが可能となる。
【0119】
（１０）コントローラ８は、自動運転車両に対する操作権限を有する乗員（操作権限者）に監視結果を通知する処理を行う。これにより操作権限者は、監視権限が付与された乗員による監視結果を知ることができる。
（１１）コントローラ８は、操作権限を有する乗員が運転行動を承認したことを指示する入力を受け付ける処理を行う。これにより、監視権限者による監視結果を認識した操作権限者の承認に基づいて車両を走行させることができる。
（１１）コントローラ８は、操作権限を有する乗員が運転行動を承認したことを指示する入力を受け付ける処理を行う。これにより、監視権限者による監視結果を認識した操作権限者の承認に基づいて車両を走行させることができる。
【0120】
（１２）コントローラ８は、運転行動の前に、監視権限を有する乗員（監視権限者）に刺激を与える処理を行う。これにより、監視権限者に監視を促すことができる。
（１３）コントローラ８は、監視権限が付与された複数の乗員（監視権限者）のうち、最も監視時間が長い乗員の監視結果に応じて、自動運転車両に運転行動を実行させる。これにより確認時間がより長くより確度の高い監視権限者の判断を優先することができる。
（１３）コントローラ８は、監視権限が付与された複数の乗員（監視権限者）のうち、最も監視時間が長い乗員の監視結果に応じて、自動運転車両に運転行動を実行させる。これにより確認時間がより長くより確度の高い監視権限者の判断を優先することができる。
【符号の説明】
【0121】
１…運転支援装置、２…周囲環境センサ、３…地図データベース、４…車両センサ、５…乗員センサ、６、６ＦＬ、６ＦＲ、６ＲＬ、６ＲＲ…ユーザインタフェース、７…ナビゲーションシステム、８…コントローラ、９…車両制御アクチュエータ、１２…プロセッサ、１３…記憶装置、２０…監視権限者用情報提示画像、３０…操作権限者用情報提示画像、３３…乗員状態表示画像、４０…立体物行動予測部、４１…マップ生成部、４２…運転行動計画生成部、４３…軌道生成部、４４…走行制御部、５０…周囲環境判定部、５１…乗員情報取得部、５２…センサ状態判定部、５３…乗員状態推定部、５４…乗員属性判定部、５５…権限管理部、５６…表示状態制御部、５７…運転行動承認部、５８…警報生成部
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】