特許第6439667号(P6439667)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧
<>
  • 特許6439667-車載警告システム 図000002
  • 特許6439667-車載警告システム 図000003
  • 特許6439667-車載警告システム 図000004
  • 特許6439667-車載警告システム 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6439667
(24)【登録日】2018年11月30日
(45)【発行日】2018年12月19日
(54)【発明の名称】車載警告システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20181210BHJP
   B60R 16/02 20060101ALI20181210BHJP
   B60W 50/14 20120101ALI20181210BHJP
【FI】
   G08G1/16 C
   G08G1/16 E
   G08G1/16 F
   B60R16/02 650A
   B60R16/02 660B
   B60W50/14
【請求項の数】1
【全頁数】13
(21)【出願番号】特願2015-242543(P2015-242543)
(22)【出願日】2015年12月11日
(65)【公開番号】特開2017-107502(P2017-107502A)
(43)【公開日】2017年6月15日
【審査請求日】2017年12月22日
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】松山 学
【審査官】 黒嶋 慶子
(56)【参考文献】
【文献】 特開2014−106854(JP,A)
【文献】 特開2007−299048(JP,A)
【文献】 特開2011−227663(JP,A)
【文献】 特開2012−048345(JP,A)
【文献】 特開2015−151870(JP,A)
【文献】 特開2015−032054(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00−99/00
B60W 10/00,30/00−50/00
B60R 16/00−17/00,21/00
G08B 19/00−21/24
B62D 1/00−1/28
(57)【特許請求の範囲】
【請求項1】
自動運転による走行中に、車両の運転操作を行う位置にいる運転者に警告を行う車載警告システムであって、
前記運転者の状態を推定するためのデータを検出する運転者センサと、
前記運転者センサにより検出されたデータに基づいて前記運転者の状態を推定し、前記運転者がハンドルを把持しているか否かを示す情報と、前記運転者の視線が前方を向いているか否かを示す情報とを取得する運転者状態情報取得手段と、
前記車両の周辺の状況を判断するためのデータを検出する周辺センサと、
前記周辺センサにより検出されたデータに基づいて前記車両の周辺の状況を判断し、前記車両の周辺の交通状況に関する情報を取得する周辺状況情報取得手段と、
前記周辺状況情報取得手段により取得された前記交通状況に関する情報に基づいて、前記車両の自動運転の継続が可能か否かを判定する自動運転可否判定手段と、
前記自動運転可否判定手段により、前記車両の自動運転の継続が可能でないと判定された場合において、
前記運転者状態情報取得手段により、前記運転者がハンドルを把持していることを示す情報と、前記運転者の視線が前方を向いていることを示す情報とが取得された場合には、ヘッドアップディスプレイを用いて警告を行い、
前記運転者状態情報取得手段により、前記運転者がハンドルを把持していないことを示す情報及び前記運転者の視線が前方を向いていないことを示す情報のうちのいずれか一方または両方が取得された場合には、前記ヘッドアップディスプレイに加えて、音声出力デバイスまたは振動出力デバイスの少なくともいずれかを用いて警告を行うよう制御する警告制御手段とを有することを特徴とする車載警告システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載警告システムに関する。
【背景技術】
【0002】
従来より、走行中の車両において運転者の状態を監視し、運転に支障をきたす状態であると判断した場合に、運転者に対して警告を行う車載警告システムが知られている。当該車載警告システムでは、種々のセンサを用いて運転者の状態を監視することで警告の要否を判断している。
【0003】
一方で、自動運転システムが搭載された車両の場合、自動運転による走行中であれば、運転操作を行う位置にいる者(以下、このような者も運転者と称して説明する)の状態によらず、車両の走行を適切に制御することが可能である。このため、運転者の状態が、仮に手動運転中であったならば運転に支障をきたすような状態であったとしても、車載警告システムでは警告の要否を判断する必要がない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−175895号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、自動運転システムの場合、自動運転による走行中に車両の周辺状況(例えば、交通状況)等が変化することで、自動運転の継続が可能でないと判定されるケースが想定される。このようなケースでは、車載警告システムが、運転者に対して自動運転の継続が可能でないことを報知する警告を行う必要がある。このとき、運転者の状態によらず一律な警告方法により警告を行うことは適切でなく、運転者の状態に応じて警告方法を変えることが望ましい。運転者の状態によっては、警告に対する気づきやすさも異なってくるからである。
【0006】
例えば、自動運転による走行中に、運転者が前方から視線を外し、警告に対して気づきにくい状態となっている場合には、表示による警告を行うだけでなく、音声や振動等による警告を行うことが望ましい。一方で、自動運転による走行中であっても、運転者の視線が前方を向いており(つまり、周辺状況等を把握できる状態にあり)、かつ、運転者がハンドルを把持しているような場合には、音声や振動等による警告は、かえって運転者にとって煩わしい。
【0007】
そこで、本開示は、自動運転システムが搭載された車両において、自動運転の継続が可能でないことを報知する警告を、運転者の状態に応じた警告方法により行うことが可能な車載警告システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一局面によれば、車載警告システムは以下のような構成を有する。すなわち、
自動運転による走行中に、車両の運転操作を行う位置にいる運転者に警告を行う車載警告システムであって、
前記運転者の状態を推定するためのデータを検出する運転者センサと、
前記運転者センサにより検出されたデータに基づいて前記運転者の状態を推定し、前記運転者がハンドルを把持しているか否かを示す情報と、前記運転者の視線が前方を向いているか否かを示す情報とを取得する運転者状態情報取得手段と、
前記車両の周辺の状況を判断するためのデータを検出する周辺センサと、
前記周辺センサにより検出されたデータに基づいて前記車両の周辺の状況を判断し、前記車両の周辺の交通状況に関する情報を取得する周辺状況情報取得手段と、
前記周辺状況情報取得手段により取得された前記交通状況に関する情報に基づいて、前記車両の自動運転の継続が可能か否かを判定する自動運転可否判定手段と、
前記自動運転可否判定手段により、前記車両の自動運転の継続が可能でないと判定された場合において、
前記運転者状態情報取得手段により、前記運転者がハンドルを把持していることを示す情報と、前記運転者の視線が前方を向いていることを示す情報とが取得された場合には、ヘッドアップディスプレイを用いて警告を行い、
前記運転者状態情報取得手段により、前記運転者がハンドルを把持していないことを示す情報及び前記運転者の視線が前方を向いていないことを示す情報のうちのいずれか一方または両方が取得された場合には、前記ヘッドアップディスプレイに加えて、音声出力デバイスまたは振動出力デバイスの少なくともいずれかを用いて警告を行うよう制御する警告制御手段とを有することを特徴とする。
【0009】
上記車載警告システムによれば、運転者センサが、運転者の状態を推定するためのデータを検出し、運転者状態情報取得手段が、運転者センサが検出したデータに基づいて運転者の状態を推定し、運転者がハンドルを把持しているか否かを示す情報と、運転者の視線が前方を向いているか否かを示す情報とを取得する。また、周辺センサが、車両の周辺の状況を判断するためのデータを検出し、周辺状況情報取得手段が、周辺センサが検出したデータに基づいて車両の周辺の状況を判断し、車両の周辺の交通状況に関する情報を取得する。更に、自動運転可否判定手段が、交通状況に関する情報に基づいて、車両の自動運転の継続が可能か否かを判定する。
【0010】
これにより、上記車載警告システムでは、自動運転による走行中に、自動運転の継続が可能であるか否かを判定することができるとともに、判定時の運転者の状態を認識することができる。
【0011】
また、上記車載警告システムによれば、車両の自動運転の継続が可能でないと判定した場合であって、運転者がハンドルを把持していることを示す情報と、運転者の視線が前方を向いていることを示す情報とを取得した場合には、ヘッドアップディスプレイを用いて警告を行う。
【0012】
これにより、運転者がハンドルを把持しており、かつ、運転者の視線が前方を向いていた場合に、運転者に対して煩わしい警告方法で警告が行われることを回避することができる。
【0013】
また、上記車載警告システムによれば、車両の自動運転の継続が可能でないと判定した場合であって、運転者がハンドルを把持していないことを示す情報及び運転者の視線が前方を向いていないことを示す情報のいずれか一方または両方を取得した場合には、ヘッドアップディスプレイに加えて、音声出力デバイスまたは振動出力デバイスの少なくともいずれかを用いて警告を行う。
【0014】
これにより、運転者がハンドルを把持していないか、運転者の視線が前方を向いていない場合には、複数の出力デバイスを用いた警告方法により警告を行うことが可能となり、運転者にとっては警告がより気づきやすくなる。
【発明の効果】
【0015】
本開示によれば、自動運転システムが搭載された車両において、自動運転の継続が可能でないことを報知する警告を、運転者の状態に応じた警告方法により行うことが可能な車載警告システムを提供できる。
【図面の簡単な説明】
【0016】
図1】車載警告システムの全体構成の一例を示す図である。
図2】HMI割り当て情報の概要を説明するための図である。
図3】HMI割り当て情報の具体例を示す図である。
図4】警告処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【0018】
<車載警告システムの全体構成>
はじめに、本実施形態における車載警告システムの全体構成について説明する。図1は、車載警告システムの全体構成の一例を示す図である。
【0019】
図1に示すように、車載警告システム100は、自動運転システムと、動的HMI(Human Machine Interface)制御装置140と、HMIシステムとを有する。
【0020】
自動運転システムは、車両の自動運転を実現するためのシステムである。自動運転システムは、運転者状態(本実施形態では、運転操作を行う位置にいる者の状態)を推定するためのセンサ111(運転者センサ)と、車両状態を判断するためのセンサ112とを有する。また、自動運転システムは、周辺状況を判断するためのセンサ113(周辺センサ)と、周辺状況を判断するための機器114と、自動運転ECU(Electronic Control Unit)120と、運転を制御する駆動・制御装置130とを有する。
【0021】
運転者状態を推定するためのセンサ111は、運転者の状態を推定するためのデータを検出するセンサである。センサ111には、ハンドルスイッチ検出センサ、ハンドル把持センサ、運転者モニタカメラ等が含まれる。ハンドルスイッチ検出センサは、運転者がハンドルを把持した状態で操作可能なハンドルスイッチが操作されたことを検出する。ハンドル把持センサは、運転者がハンドルを把持していることを検出する。運転者モニタカメラは、運転者を撮影する。
【0022】
車両状態を判断するためのセンサ112は、車両状態を判断するためのデータを検出するセンサである。センサ112には、車速センサ、操舵角センサ、トルクセンサ(ステアリング)等が含まれる。車速センサは、車載警告システム100が搭載される車両の車速を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。また、トルクセンサ(ステアリング)は、運転者により加えられる操舵力を検出する。
【0023】
周辺状況を判断するためのセンサ113は、周辺状況を判断するためのデータを検出するセンサである。センサ113には、ステレオカメラ、ミリ波レーダ、レーザ装置等が含まれる。ステレオカメラは、主に車両の前方を複数の異なる方向から同時に撮影することで、車両の前方の障害物の有無の判定や障害物までの距離の算出等に用いられる画像データを検出する。ミリ波レーダは、ミリ波帯の電波を送信し、車両の周辺の障害物からの反射波を受信することで、車両の周辺の障害物の有無の判定や障害物までの距離の算出等に用いられるデータを検出する。レーザ装置は、レーザ光を送信し、車両の周辺の障害物からの反射光を受光することで、車両の周辺の障害物の有無の判定や障害物までの距離の算出等に用いられるデータを検出する。
【0024】
周辺状況を判断するための機器114は、周辺状況を判断するためのデータを取得する機器である。機器114には、通信用機器が含まれる。通信用機器は、外部との通信により、車両の周辺の種々の状況(渋滞情報等の交通状況)を示すデータを取得する。
【0025】
自動運転ECU120は自動運転機能を有しており、各種センサ(111〜113)にて検出されたデータ及び各種機器(114)にて取得されたデータに基づいて、運転を制御する駆動・制御装置130を制御し、車両の自動運転を実現する。
【0026】
また、自動運転ECU120は情報提供機能を有しており、各種センサ(111〜113)にて検出されたデータ及び各種機器(114)にて取得されたデータに基づいて、動的HMI制御装置140にて処理される情報を提供する。また、HMIシステムを介して運転者に伝達される各種出力情報を提供する。
【0027】
なお、自動運転ECU120により実現される上記機能(自動運転機能、情報提供機能)のうち、以下では、情報提供機能について詳説する(特に、動的HMI制御装置140にて処理される情報を提供する情報提供機能について詳説する)。
【0028】
自動運転ECU120は、情報提供機能として、運転者状態情報取得部121と、車両状態情報取得部122と、周辺状況情報取得部123と、システム状態判定部124とを有する。
【0029】
運転者状態情報取得部121は、運転者状態を推定するためのセンサ111にて検出されたデータに基づいて、運転者の状態を推定し、運転者状態情報を取得する。例えば、センサ111にて検出されるデータには、運転者の手の位置を推定するためのデータや、運転者の視線の方向を推定するためのデータが含まれる。このため、運転者状態情報取得部121では、運転者の手の位置を推定することで、運転者がハンドルを把持しているか否かを判定し、判定結果を運転者状態情報として取得する。また、運転者状態情報取得部121では、運転者の視線の方向を推定することで、運転者の視線が前方を向いているか否かを判定し、判定結果を運転者状態情報として取得する。運転者状態情報取得部121では、取得した運転者状態情報(運転者がハンドルを把持しているか否かを示す情報及び運転者の視線が前方を向いているか否かを示す情報)を、動的HMI制御装置140に送信する。
【0030】
車両状態情報取得部122は、車両状態を判断するためのセンサ112にて検出されたデータに基づいて、車両の状態を判断し、車両状態情報を取得する。例えば、センサ112にて検出されるデータには、車速を示すデータや、ステアリングの操舵角を示すデータ、運転者の操舵力を示すデータが含まれる。このため、車両状態情報取得部122では、センサ112にて検出されたこれらのデータに基づいて、現在の車両の状態を判断し、判断結果を車両状態情報として取得する。車両状態情報取得部122では、取得した車両状態情報を、システム状態判定部124に通知する。
【0031】
周辺状況情報取得部123は、周辺状況を判断するためのセンサ113にて検出されたデータ及び周辺状況を判断するための機器114にて取得されたデータのいずれか一方または両方に基づいて車両の周辺の状況を判断し、判断結果を周辺状況情報として取得する。例えば、センサ113にて検出されるデータには、他車両の有無の判定や他車両までの距離の算出等に用いられるデータが含まれる。また、機器114にて取得されるデータには、現在位置の渋滞情報等が含まれる。このため、周辺状況情報取得部123では、センサ113にて検出されたデータ及び機器114にて取得されたデータのうちのいずれか一方または両方に基づいて、車両の周辺の交通量を判断し、判断結果を周辺状況情報として取得する。周辺状況情報取得部123では、取得した周辺状況情報をシステム状態判定部124に通知する。
【0032】
システム状態判定部124は、車両状態情報取得部122より通知された車両状態情報及び周辺状況情報取得部123より通知された周辺状況情報のいずれか一方または両方に基づいて、現在の自動運転の状態が、リスクが高い状態にあるか否かを判定する。
【0033】
システム状態判定部124では、例えば、通知された周辺状況情報が、車両の周辺の交通量が多いことを示す情報であった場合には、現在の自動運転の状態が、リスクが高い状態にあると判定する。この場合、システム状態判定部124では、システム状態情報として、自動運転システムの信頼度が低いことを示す情報を、動的HMI制御装置140に送信する。一方、通知された周辺状況情報が車両の周辺の交通量が少ないことを示す情報であった場合には、現在の自動運転の状態が、リスクが低い状態にあると判定する。この場合、システム状態判定部124では、システム状態情報として、自動運転システムの信頼度が高いことを示す情報を、動的HMI制御装置140に送信する。
【0034】
動的HMI制御装置140は、自動運転システムから送信された運転者状態情報とシステム状態情報とに基づいて、HMIシステムにおいて動作させるデバイスを切り替える装置である。動的HMI制御装置140は、自動運転可否判定部141と、切り替え部142と、警告制御部143とを有する。
【0035】
自動運転可否判定部141は、システム状態判定部124から送信されたシステム状態情報に基づいて、自動運転の継続が可能か否かを判定する。システム状態判定部124より、システム状態情報として、自動運転システムの信頼度が高いことを示す情報が送信された場合、自動運転可否判定部141では、自動運転の継続が可能であると判定し、判定結果を切り替え部142に通知する。一方、システム状態判定部124より、システム状態情報として、自動運転システムの信頼度が低いことを示す情報が送信された場合、自動運転可否判定部141では、自動運転の継続が可能でないと判定し、判定結果を警告制御部143に通知する。
【0036】
切り替え部142は、自動運転可否判定部141より、自動運転の継続が可能である旨の判定結果を受信した場合に、運転者状態情報取得部121より送信された運転者状態情報に基づいて、HMIシステムにおいて動作させるデバイスを切り替える。なお、HMIシステムにおいて動作させるデバイスは、HMI割り当て情報格納部144に格納されたHMI割り当て情報にて定義されているものとする。このため、切り替え部142では、自動運転可否判定部141からの判定結果を受信すると、運転者状態情報取得部121から送信された運転者状態情報に基づいて、HMI割り当て情報格納部144を参照する。そして、HMI割り当て情報に基づいて、動作させるデバイスを識別したうえでデバイスを切り替える。これにより、切り替え部142では、自動運転による走行中に自動運転ECU120から送信された各種出力情報を、切り替え後の出力デバイス(運転者の状態に応じた出力デバイス)を介して、運転者に伝達することができる。また、切り替え部142では、自動運転による走行中に、自動運転ECU120に対して運転者が入力する各種入力情報を、切り替え後の操作デバイス(運転者の状態に応じた操作デバイス)を介して受け付けることができる。
【0037】
警告制御部143は、自動運転可否判定部141より、自動運転の継続が可能でない旨の判定結果を受信した場合に、HMIシステムに警告情報を送信することで、運転者に対して警告を行う。警告制御部143では、自動運転の継続が可能でない旨の判定結果を受信した場合に、運転者状態情報取得部121より送信された運転者状態情報に基づいて、HMIシステムにおいて動作させる出力デバイスを切り替える。
【0038】
なお、警告制御部143においても、運転者状態情報取得部121から送信された運転者状態情報に基づいて、HMI割り当て情報格納部144を参照し、動作させるデバイスを識別したうえで出力デバイスを切り替える。これにより、警告制御部143では、自動運転可否判定部141により自動運転の継続が可能でないと判定された場合に、運転者に対して、切り替え後の出力デバイス(運転者の状態に応じた出力デバイス)を介して警告を行うことができる。
【0039】
HMIシステムは、表示出力デバイス151と、音声出力デバイス152と、振動出力デバイス153と、操作デバイス154とを有する。
【0040】
表示出力デバイス151は、自動運転ECU120から送信される各種出力情報や、動的HMI制御装置140から送信される警告情報を表示する。表示出力デバイス151には、HUD(Head Up Display:ヘッドアップディスプレイ)、メータパネル、センタディスプレイ等が含まれる。
【0041】
音声出力デバイス152は、自動運転ECU120から送信される各種出力情報や、動的HMI制御装置140から送信される警告情報を、音または音声(以下、説明の簡略化のため、"音声"と称す)により出力する。音声出力デバイス152には、スピーカが含まれる。
【0042】
振動出力デバイス153は、自動運転ECU120から送信される各種出力情報や、動的HMI制御装置140から送信される警告情報を、振動により出力する。振動出力デバイス153には、振動子が含まれる。
【0043】
操作デバイス154は、運転者が入力する各種入力情報を受け付ける。操作デバイス154には、メータ操作用デバイス(ハンドルスイッチ)、センタディスプレイ操作デバイス(タッチパネル、遠隔操作機)、音声認識デバイス等が含まれる。なお、図1には記載されていないが、操作デバイス154には、ジェスチャ認識デバイス等が含まれていてもよい。運転者がハンドルを把持していない状態で各種入力情報を入力する場合等に有用だからである。
【0044】
<HMI割り当て情報>
次に、HMI割り当て情報格納部144に格納されるHMI割り当て情報の概要について説明する。図2は、HMI割り当て情報の概要を説明するための図である。
【0045】
図2に示すように、HMI割り当て情報200には、情報の項目として、"運転者状態"と"システム状態"とが含まれる。
【0046】
"運転者状態"には、運転者の状態を示す情報が格納される。図2の例は、運転者の状態を示す情報として、運転者状態"A"、"B"、"C"、"D"、・・・が格納されたことを示している。
【0047】
"システム状態"には、自動運転の状態を示す情報が格納される。図2の例は、自動運転の状態を示す情報として、システム状態"a"、"b"、・・・が格納されたことを示している。
【0048】
また、図2に示すように、HMI割り当て情報200には、"運転者状態"と"システム状態"との組み合わせごとに、それぞれ、HMIシステムにおいて動作させるデバイスを定義した定義情報が格納されている。
【0049】
図2の例は、運転者状態="A"かつシステム状態="a"の場合に、動作させるデバイスを定義した定義情報として、"HMI−Aa"が格納されていることを示している。また、運転者状態="A"かつシステム状態="b"の場合に、動作させるデバイスを定義した定義情報として、"HMI−Ab"が格納されていることを示している。以下、図2の例は、運転者状態="D"かつシステム状態="b"の場合に動作させるデバイスを定義した定義情報までがHMI割り当て情報200に格納されていることを示している。
【0050】
<HMI割り当て情報の具体例>
次に、HMI割り当て情報の具体例について説明する。上述したとおり、運転者状態情報取得部121では、運転者がハンドルを把持しているか否かを示す情報及び運転者の視線が前方を向いているか否かを示す情報を、運転者状態情報として動的HMI制御装置140に送信する。したがって、本実施形態の場合、HMI割り当て情報の"運転者状態"には、運転者状態情報取得部121から送信される運転者状態情報の組み合わせに基づいて導出される4通りの状態情報が格納されることになる。
【0051】
また、上述したとおり、システム状態判定部124では、自動運転システムの信頼度が高いことを示す情報及び低いことを示す情報を、システム状態情報として動的HMI制御装置140に送信する。したがって、本実施形態の場合、HMI割り当て情報の"システム状態"には、システム状態判定部124から送信される2通りの状態情報が格納されることになる。
【0052】
図3は、HMI割り当て情報の具体例を示す図である。図3において、運転者状態="A"とは"正常状態"である。"正常状態"とは、運転者の手がハンドルを把持し、運転者の視線が前方を向いている状態をいう。
【0053】
また、運転者状態="B"とは"手放し運転"の状態である。"手放し運転"の状態とは、運転者の手がハンドル以外の位置にあり(すなわち、運転者がハンドルを把持しておらず)、運転者の視線が前方を向いている状態をいう。
【0054】
また、運転者状態="C"とは"よそ見運転"の状態である。"よそ見運転"の状態とは、運転者の手がハンドルを把持しているが、運転者の視線が前方を向いていない状態をいう。
【0055】
また、運転者状態="D"とは"セカンドタスク"の状態である。"セカンドタスク"の状態とは、運転者の手がハンドル以外の位置にあり(すなわち、運転者がハンドルを把持しておらず)、運転者の視線が前方を向いていない状態をいう。例えば、自動運転による走行中に、運転者がスマートフォンを操作したり、TVを視聴したりしている状態がこれにあたる。
【0056】
更に、図3において、システム状態="a"とは"自動運転システムの信頼度が高い状態"である。また、システム状態="b"とは"自動運転システムの信頼度が低い状態"である。
【0057】
システム状態="a"の場合、切り替え部142では、各種出力情報を運転者に伝達するにあたり、または、各種入力情報を運転者から受け付けるにあたり、HMI−Aa〜HMI―Daの各定義情報に規定された出力デバイス及び操作デバイスを動作させる。また、システム状態="b"の場合、警告制御部143では、運転者に警告を行うにあたり、HMI−Ab〜HMI−Dbの各定義情報に規定された出力デバイスを動作させる。
【0058】
HMI割り当て情報300の場合、定義情報="HMI−Aa"には、出力デバイスとしてHUDが規定されている。運転者の視線が前方を向いている場合、視線移動が少ない方が望ましいからである。また、HUDを動作させるにあたり、青色等の光をHUDに点灯することが規定されていてもよい。これにより、運転者は自動運転システムの信頼度が高い状態にあることを、色により認識することができるようになる。なお、定義情報="HMI−Aa"の規定に基づいて出力される各種出力情報は、必要最低限の情報のみとする。更に、定義情報="HMI−Aa"には、操作デバイスとして、ハンドルスイッチが規定されている。運転者がハンドルを把持したまま操作できるようにするためである。
【0059】
また、HMI割り当て情報300の場合、定義情報="HMI−Ab"には、出力デバイスとしてHUDが規定されている。運転者の視線が前方を向いている場合、視線移動が少ない方が望ましいからである。また、HUDを動作させるにあたり、黄色等の光をHUDに点灯することが規定されていてもよい。これにより、運転者は自動運転システムの信頼度が低いことを、色により認識することができるようになる。
【0060】
また、HMI割り当て情報300の場合、定義情報="HMI−Ba"には、出力デバイスとしてHUDが規定されている。運転者の視線が前方を向いている場合、視線移動が少ない方が望ましいからである。更に、定義情報="HMI−Ba"には、操作デバイスとして音声認識デバイスが規定されている。運転者の手の位置がハンドル以外にある場合には(運転者がハンドルを把持していない場合には)、音声による操作を受け付けられるようにした方が望ましいからである。
【0061】
また、HMI割り当て情報300の場合、定義情報="HMI−Bb"には、出力デバイスとして、HUDに加えてスピーカが規定されている。運転者に対して警告情報以外の情報を更に伝達する必要がある場合に都合がよいからである。なお、警告情報以外の情報には、例えば、周辺状況情報や、運転者に対してハンドルの把持を促す情報等が含まれる。
【0062】
また、HMI割り当て情報300の場合、定義情報="HMI−Ca"、"HMI−Cb"には、出力デバイスとして、HUDに加えてスピーカが規定されている。運転者の視線が前方を向いていない場合、HUDに表示しただけでは、各種出力情報または警告情報が出力されたことを運転者が気づかないこともあり得るからである。
【0063】
また、HMI割り当て情報300の場合、定義情報="HMI−Da"、"HMI−Db"には、出力デバイスとして、HUDに加えて、スピーカ及び振動子が規定されている。運転者がセカンドタスクを行っている状態の場合、HUDに表示しただけでは各種出力情報または警告情報が出力されたことを運転者が気づかない可能性が高いからである。また、運転者に対して警告情報以外の情報を更に伝達する必要がある場合に都合がよいからである。なお、警告情報以外の情報には、例えば、周辺状況情報や、運転者に対してハンドルを把持したうえで前方を見るよう促す情報等が含まれる。
【0064】
このように、図3に示すHMI割り当て情報300の場合、システム状態="b"において警告情報を出力する際に動作させるデバイスは、運転者状態="A"(正常状態)の場合と、運転者状態="A"以外(正常状態以外)の場合とに大別することができる。
【0065】
すなわち、運転者状態="A"(正常状態)の場合には、HUDを用いて警告を行うことで、複数の出力デバイスを用いた煩わしい警告方法により警告が行われることを回避する。一方で、運転者状態="A"以外(正常状態以外)の場合には、HUDに加えて、HUD以外の出力デバイス(音声出力デバイスまたは振動出力デバイスの少なくともいずれか)を用いて警告を行う。つまり、複数の出力デバイスを用いて警告を行うことで、HUDのみを用いて警告を行う場合と比較して、運転者が警報をより気づきやすくなる。
【0066】
<警告処理の流れ>
次に、自動運転による走行中に実行される車載警告システム100による警告処理(自動運転の継続が可能でないことを報知する警告処理)の流れについて説明する。図4は、車載警告システムによる警告処理の流れを示すフローチャートである。自動運転システムにおいて自動運転が開始されると、図4に示す処理が開始される。
【0067】
ステップS401において、車両状態情報取得部122は車両状態情報を取得し、周辺状況情報取得部123は周辺状況情報を取得する。
【0068】
ステップS402において、システム状態判定部124は、車両状態情報及び周辺状況判定情報のいずれか一方または両方に基づいて、自動運転の状態を判定し、判定結果に応じたシステム状態情報を送信する。また、自動運転可否判定部141は、システム状態判定部124より送信されたシステム状態情報を受信し、自動運転の継続が可能か否かを判定する。自動運転の継続が可能であると判定した場合には、ステップS401に戻る。
【0069】
一方、自動運転の継続が可能でないと判定した場合には、ステップS403に進む。ステップS403において、自動運転可否判定部141は、判定結果を警告制御部143に通知する。また、警告制御部143は、自動運転可否判定部141より判定結果を受信すると、運転者状態情報取得部121より、運転者状態情報(運転者がハンドルを把持しているか否かを示す情報及び運転者の視線が前方を向いているか否かを示す情報)を受信する。
【0070】
ステップS404において、警告制御部143は、運転者状態情報に基づいて、運転者の状態が正常状態か否かを判定する。運転者状態情報に、運転者がハンドルを把持していることを示す情報と、運転者の視線が前方を向いていることを示す情報とが含まれている場合、警告制御部143では、運転者の状態が正常状態であると判定し、ステップS405に進む。
【0071】
ステップS405において、警告制御部143は、HMI割り当て情報300を参照し、定義情報=HMI−Abで定義された第1のHMI(例えばHUD)を介して、自動運転の継続が可能でないことを報知する警告を行う。
【0072】
一方、運転者状態情報に、運転者がハンドルを把持していないことを示す情報か、運転者の視線が前方を向いていないことを示す情報の少なくともいずれか一方が含まれている場合、警告制御部143では、運転者の状態が正常状態でないと判定する。この場合、ステップS406に進む。
【0073】
ステップS406において、警告制御部143は、HMI割り当て情報300を参照し、定義情報=HMI−Bb〜Dbのいずれかで定義された第2のHMI(例えば、HUDと音声出力デバイス)を介して、自動運転の継続が可能でないことを報知する警告を行う。
【0074】
<まとめ>
以上の説明から明らかなように、本実施形態における車載警告システムでは、
・運転者状態を推定するためのセンサにより検出されたデータに基づいて、運転者状態情報取得部が、運転者状態情報として、運転者がハンドルを把持しているか否かを示す情報と、運転者の視線が前方を向いているか否かを示す情報とを取得する。
・車両状態を判断するためのセンサにより検出されたデータに基づいて、車両状態情報取得部が、車両状態情報を取得する。また、周辺状況を判断するためのセンサにより検出されたデータ及び周辺状況を判断するための機器により取得されたデータのうちのいずれか一方または両方に基づいて、周辺状況情報取得部が、車両の周辺の交通状況に関する情報を取得する。更に、システム状態判定部が、車両状態情報及び交通状況に関する情報のいずれか一方または両方に基づいて、自動運転の状態を判定し、自動運転システムの信頼度が高いことを示す情報または低いことを示す情報を送信する。
・自動運転システムの信頼度が低いことを示す情報を受信した場合、自動運転可否判定部が、自動運転の継続が可能でないと判定し、警告制御部が、自動運転の継続が可能でないことを報知する警告を行う。
・運転者状態情報取得部が、運転者がハンドルを把持していることを示す情報と運転者の視線が前方を向いていることを示す情報とを取得した場合、警告制御部では、ヘッドアップディスプレイを用いて警告を行う。
・運転者状態情報取得部が、運転者がハンドルを把持していないことを示す情報、または、運転者の視線が前方を向いていないことを示す情報を取得した場合、警告制御部では、ヘッドアップディスプレイに加えて、音声出力デバイスを用いて警告を行う。あるいは、ヘッドアップディスプレイに加えて、振動出力デバイスを用いて警告を行う。あるいは、ヘッドアップディスプレイに加えて、音声出力デバイス及び振動出力デバイスを用いて警告を行う。
【0075】
これにより、自動運転システムが搭載された車両において、自動運転の継続が可能でないことを報知する警告を、運転者の状態に応じた警告方法により行うことが可能な車載警告システムを提供できる。
【0076】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0077】
100 :車載警告システム
120 :自動運転ECU
121 :運転者状態情報取得部
122 :車両状態情報取得部
123 :周辺状況情報取得部
124 :システム状態判定部
140 :動的HMI制御装置
141 :自動運転可否判定部
142 :切り替え部
143 :警告制御部
144 :HMI割り当て情報格納部
151 :表示出力デバイス
152 :音声出力デバイス
153 :振動出力デバイス
154 :操作デバイス
図1
図2
図3
図4