(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御部は、前記認識状況表示モードで前記表示部を表示させる場合、前記自動運転システムによって認識された前記車両の走行車線及び当該走行車線の認識の確信度を前記表示部に表示させる請求項1に記載の情報提示システム。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
【0011】
図1は、実施形態に係る情報提示システムを備える車両の構成を説明するブロック図である。
図1に示すように、乗用車などの車両Vには、自動運転システム100が搭載されている。自動運転システム100は、例えば、車両Vを自動運転により走行車線の車線中央で走行させる走行制御(操舵制御)や、設定車速及び設定車間距離に基づいて自動運転により車両Vを先行車両に追従走行させる走行制御(速度制御)を行うシステムである。一例として、自動運転システム100は、情報提示システム1を備えている。情報提示システム1は、自動運転システム100を搭載した車両Vの乗員に情報を提示する。乗員は、車両Vに搭乗している人であり、例えば運転者である。以下では、一例として乗員が運転者である場合を説明する。
【0012】
自動運転システム100は、外部センサ2、GPS(Global Positioning System)受信部3、内部センサ4、地図データベース5、表示切替スイッチ6、ナビゲーションシステム7、HMI(Human Machine Interface)8、アクチュエータ9、及び、ECU10を備えている。
【0013】
外部センサ2は、車両Vの周辺情報である外部状況を検出する。外部センサ2は、例えば、カメラ、レーダー(Radar)、及びライダー(LIDER:Laser Imaging Detection and Ranging)のうち少なくとも一つを含む。
【0014】
カメラは、車両Vの外部状況を撮像する撮像器である。カメラは、例えば、車両Vのフロントガラスの裏側に設けられている。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、例えば両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、奥行き方向の情報も含まれている。カメラは、車両Vの外部状況に関する撮像情報をECU10へ出力する。
【0015】
レーダーは、電波を利用して車両Vの外部の物体を検出する検出器である。電波は、例えばミリ波である。レーダーは、電波を車両Vの周囲に送信し、物体で反射された電波を受信して物体を検出する。レーダーは、例えば物体の有無、物体までの距離、車両Vに対する物体の相対速度(車両Vと先行車両との速度差)又は方向を物体情報として出力することができる。レーダーは、検出した物体情報をECU10へ出力する。
【0016】
ライダーは、光を利用して車両Vの外部の物体を検出する検出器である。ライダーは、光を車両Vの周囲に送信し、物体で反射された光を受信することで反射点までの距離を計測し、物体を検出する。ライダーは、例えば物体の有無、物体までの距離、車両Vに対する物体の相対速度(車両Vと先行車両との速度差)又は方向を物体情報として出力することができる。ライダーは、検出した物体情報をECU10へ出力する。なお、カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。
【0017】
GPS受信部3は、3個以上のGPS衛星から信号を受信して、車両Vの位置を示す位置情報を取得する。位置情報には、例えば緯度及び経度が含まれる。GPS受信部3は、測定した車両Vの位置情報をECU10へ出力する。なお、GPS受信部3に代えて、車両Vが存在する緯度及び経度が特定できる他の手段を用いてもよい。
【0018】
内部センサ4は、車両Vの走行状態に応じた情報を検出する。内部センサ4は、車両Vの走行状態に応じた情報を検出するために、例えば、速度センサ、加速度センサ、及びヨーレートセンサのうち少なくとも一つを含む。
【0019】
速度センサは、車両Vの速度を検出する検出器である。速度センサとしては、例えば、車両Vの車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。速度センサは、車両Vの速度を含む速度情報(車輪速情報)をECU10へ出力する。
【0020】
加速度センサは、車両Vの加速度を検出する検出器である。加速度センサは、例えば、車両Vの前後方向の加速度を検出する前後加速度センサと、車両Vの横加速度を検出する横加速度センサとを含んでいる。加速度センサは、車両Vの加速度を含む加速度情報をECU10へ出力する。
【0021】
ヨーレートセンサは、車両Vの重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、車両Vのヨーレートを含むヨーレート情報をECU10へ出力する。
【0022】
地図データベース5は、地図情報を備えたデータベースである。地図データベース5は、例えば、車両Vに搭載されたHDD(Hard disk drive)内に形成されている。地図情報には、例えば、道路の位置情報、道路形状の情報、交差点及び分岐点の位置情報が含まれる。道路形状の情報には、例えばカーブ、直線部の種別、カーブの曲率などが含まれる。なお、地図データベース5は、車両Vと通信可能な情報処理センターなどの施設のコンピュータに記憶されていてもよい。
【0023】
表示切替スイッチ6は、車両Vの運転者により操作される入力装置である。表示切替スイッチ6は、車両Vの運転者の表示切替操作に応じて、後述する表示部8bの表示モードを切り替える表示切替指示を示す信号をECU10へ出力する。なお、表示切替スイッチ6は、ハードウェアとして構成されてもよいし、タッチパネルなどによりソフトウェアと組み合わせ構成されてもよい。あるいは、自動運転システム100は、表示切替スイッチ6の替わりにジェスチャー認識装置又は音声認識装置などを備えてもよい。この場合、ジェスチャー認識装置又は音声認識装置は、認識結果に基づいて表示部8bの表示モードを切り替える表示切替指示をECU10へ出力してもよい。
【0024】
ナビゲーションシステム7は、車両Vの運転者によって地図上に設定された目的地までの案内を車両Vの運転者に対して行う装置である。ナビゲーションシステム7は、GPS受信部3によって測定された車両Vの位置情報と地図データベース5の地図情報とに基づいて、車両Vの走行するルートを算出する。ルートは、例えば複数車線の区間において車両Vが走行する走行車線を特定したルートでもよい。ナビゲーションシステム7は、例えば、車両Vの位置から目的地に至るまでの目標ルートを演算し、後述するHMI8を用いて目標ルートの報知を運転者に対して行う。また、ナビゲーションシステム7は、例えば車両Vの目標ルートの情報をECU10へ出力する。なお、ナビゲーションシステム7は、車両Vと通信可能な情報処理センターなどの施設のコンピュータに記憶された情報を用いてもよい。また、ナビゲーションシステム7により行われる処理の一部が、施設のコンピュータによって行われてもよい。
【0025】
HMI8は、車両Vの運転者と自動運転システム100との間で情報の出力及び入力をするためのインターフェイスである。HMI8は、出力インターフェイスとして、例えば、音声出力部8a及び表示部8bを備えている。音声出力部8aは、音声を出力する装置であり、例えばスピーカなどである。音声出力部8aは、聴覚を通じて運転者に情報を提示する。表示部8bは、例えば車両Vに搭載され、文字、図形、画像又は映像などの情報を表示する装置である。表示部8bとして、例えば、ナビゲーションシステム7に接続されたナビ画面表示装置、インストルメントパネルに設けられたディスプレイ、フロントガラスに情報を投影するHUD[Head Up Display]などを用いることができる。表示部8bは、ECU10の制御信号に基づいて、種々の情報を表示することができる。例えば、表示部8bは、ECU10の制御信号に基づいて、複数の表示モードで情報を表示する。複数の表示モードについては後述する。
【0026】
HMI8は、入力インターフェイスとして、例えば、運転者が入力操作を行うための操作ボタン又はタッチパネルなどを備えている。例えば、HMI8は、自動運転開始の要求操作を入力する入力部である自動運転ON/OFFスイッチを含む。自動運転ON/OFFスイッチは、運転者により自動運転終了に係る要求操作を入力できる構成であってもよい。自動運転ON/OFFスイッチは、運転者により自動運転の開始又は終了に係る要求操作がなされると、自動運転開始又は終了を示す情報をECU10へ出力する。また、HMI8は、自動運転時の車両Vの目標速度、目標車間距離などの設定を入力できる構成であってもよい。なお、HMI8は、スイッチに限られるものではなく、運転者の意図を判断可能な情報を入力できるものであれば何でもよい。例えば、HMI8は、自動運転開始ボタン、自動運転終了ボタンなどであってもよいし、運転者が操作可能な画面に表示されたスイッチ又はボタンのオブジェクトであってもよい。HMI8は、無線で接続された携帯情報端末を利用して、運転者に対する情報の出力を行ってもよく、携帯情報端末を利用して運転者による入力操作を受け付けてもよい。
【0027】
アクチュエータ9は、車両Vの走行制御を実行する装置である。アクチュエータ9は、例えば、スロットルアクチュエータ、ブレーキアクチュエータ、及びステアリングアクチュエータを少なくとも含む。スロットルアクチュエータは、ECU10からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、車両Vの駆動力を制御する。なお、車両Vがハイブリッド車又は電気自動車である場合には、スロットルアクチュエータを含まず、動力源としてのモータにECU10からの制御信号が入力されて当該駆動力が制御される。
【0028】
ブレーキアクチュエータは、ECU10からの制御信号に応じてブレーキシステムを制御し、車両Vの車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。ステアリングアクチュエータは、電動パワーステアリングシステムのうちステアリングトルクを制御するアシストモータの駆動を、ECU10からの制御信号に応じて制御する。これにより、ステアリングアクチュエータは、車両Vのステアリングトルクを制御する。
【0029】
ECU10は、車両Vを制御する。ECU10は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、CAN(Controller Area Network)通信回路などを有する電子制御ユニットである。ECU10は、例えばCAN通信回路を用いて通信するネットワークに接続され、上述した車両Vの構成要素と通信可能に接続されている。ECU10は、例えば、CPUが出力する信号に基づいて、CAN通信回路を動作させてデータを入出力し、入力データをRAMに記憶し、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行することで、後述するECU10の構成要素の機能を実現する。なお、ECU10は、複数の電子制御ユニットから構成されていてもよい。
【0030】
ECU10は、外部状況認識部11、車両位置認識部12、走行状態認識部13、走行計画生成部14、走行制御部15、表示制御部16及び取得部17を備えている。
【0031】
外部状況認識部11は、車両Vの周辺情報を取得する。周辺情報とは、車両Vの所定範囲内の環境又は状況を示す情報である。例えば、外部状況認識部11は、車両Vの周辺情報として、外部センサ2の検出結果を取得する。外部センサ2の検出結果には、例えばカメラの撮像情報、レーダーの物体情報、又はライダーの物体情報などが含まれる。外部状況認識部11は、例えば、物体までの距離(車間距離)を含む物体情報(センサ値)をECU10に備わる記憶部に記憶する。なお、後述するように、物体までの距離(車間距離)は、自動運転システム100の動作時における走行情報として表示部8bに表示され得る。
【0032】
外部状況認識部11は、取得した情報に基づいて、車両Vの外部状況を認識する。車両Vの外部状況は、例えば、走行道路の車線数、レーン境界線、中央線、分岐、合流地点、交通規制、車線中心の位置、道路幅及び道路の形状を含んでもよい。道路の形状は、例えば、走行車線の曲率、外部センサ2の見通し推定に有効な路面の勾配変化、うねりなどであってもよい。さらに、外部状況認識部11は、物体情報に基づいて、他車両の有無及び位置を認識してもよい。外部状況認識部11は、例えば、走行道路の車線数、レーン境界線の位置、中央線の位置、他車両の有無及び位置などを含む外部状況をECU10に備わる記憶部に記憶する。なお、後述するように、車両Vの外部状況は、自動運転システム100の動作時における認識結果情報として表示部8bに表示され得る。
【0033】
外部状況認識部11は、車両Vの外部状況を認識する際に、認識の確信度を認識結果に対応付けて算出してもよい。認識の確信度とは、認識の確からしさを示す度合いである。例えば、外部状況認識部11は、車両Vの外部状況を認識するために用いるデータの信頼性、データの数、センサ性能などに応じて、認識の確信度を認識結果に対応付けて算出する。このような認識の確信度の算出手法については、周知の手法を用いることができる。外部状況認識部11は、例えば、走行道路の車線数、レーン境界線の位置、中央線の位置などを含む認識結果と認識の確信度とを関連付けてECU10に備わる記憶部に記憶する。
【0034】
車両位置認識部12は、GPS受信部3で受信した車両Vの位置情報、及び地図データベース5の地図情報に基づいて、地図上における車両Vの車両位置を認識する。なお、車両位置認識部12は、ナビゲーションシステム7で用いられる車両位置を該ナビゲーションシステム7から取得して認識してもよい。車両位置認識部12は、道路などの外部に設置されたセンサで車両位置が測定され得る場合、このセンサから通信によって車両位置を取得してもよい。車両位置認識部12は、例えば、地図上における車両Vの車両位置を含む認識結果をECU10に備わる記憶部に記憶する。なお、車両Vの車両位置は、自動運転システム100の動作時における認識結果情報として表示部8bに表示され得る。
【0035】
車両位置認識部12は、認識した車両位置及び地図データベース5の地図情報、又は、外部状況認識部11の認識結果に基づいて、走行車線を認識(推定)してもよい。車両位置認識部12は、同一の走行方向に複数の車線を有する道路(片側複車線の道路)を車両Vが走行しているか否かを判定する。そして、車両位置認識部12は、車両Vが片側複車線の道路を走行していると判定した場合、例えば車両Vの車両位置及び地図情報に基づいて、複数の車線の中から車両Vの走行車線を認識してもよい。車両位置認識部12は、外部状況認識部11の認識結果(カメラによる走行道路の撮像結果)に基づいて、車両Vの走行車線を認識してもよい。車両位置認識部12は、例えば、車両Vの走行車線の認識結果をECU10に備わる記憶部に記憶する。なお、後述するように、車両Vの走行車線は、自動運転システム100の動作時における認識結果情報として表示部8bに表示され得る。
【0036】
また、車両位置認識部12は、例えば、車両位置認識部12が認識した車両位置及び地図データベース5の地図情報に基づいて、走行車線における車両Vの横位置を認識してもよい。車両位置認識部12は、例えば、車両Vの横位置をECU10に備わる記憶部に記憶する。なお、車両Vの横位置は、自動運転システム100の動作時における認識結果情報として表示部8bに表示され得る。
【0037】
車両位置認識部12は、車両Vの走行車線又は車両Vの横位置を認識する際に、認識の確信度を認識結果に対応付けて算出してもよい。例えば、車両位置認識部12は、車両Vの走行車線又は車両Vの横位置を認識するために用いるデータの信頼性、データの数、センサ性能などに応じて、認識の確信度を認識結果に対応付けて算出する。このような認識の確信度の算出手法については、周知の手法を用いることができる。車両位置認識部12は、例えば、車両Vの走行車線又は車両Vの横位置の認識結果と認識の確信度とを関連付けてECU10に備わる記憶部に記憶する。
【0038】
走行状態認識部13は、例えば内部センサ4の検出結果に基づいて、車両Vの走行状態を認識する。走行状態とは車両Vの挙動であり、例えば内部センサ4で検出される値である。走行情報は、1種類の値(例えば速度)のみを含んでもよいし、複数種類の値(例えば速度と加速度)を含んでもよい。内部センサ4の検出結果には、例えば速度センサの速度情報、加速度センサの加速度情報、ヨーレートセンサのヨーレート情報などが含まれる。走行状態認識部13は、例えば、車両Vの速度を含む走行状態(センサ値)をECU10に備わる記憶部に記憶する。なお、後述するように、車両Vの速度は、自動運転システム100の動作時における走行情報として表示部8bに表示され得る。
【0039】
走行計画生成部14は、例えば、ナビゲーションシステム7で演算された目標ルート、車両位置認識部12で認識された車両位置、及び、外部状況認識部11で認識された車両Vの外部状況(車両位置、方位を含む)に基づいて、車両Vの進路を生成する。進路は、目標ルートにおいて車両Vが進む軌跡である。走行計画生成部14は、目標ルート上において車両Vが安全、法令順守、走行効率などの基準を満たした走行をするように進路を生成する。さらに、走行計画生成部14は、車両Vの周辺の物体の状況に基づき、物体との接触を回避するように車両Vの進路を生成する。なお、目標ルートには、目的地の設定が運転者から明示的に行われていない際に、外部状況や地図情報に基づき自動的に生成される走行ルートも含まれる。
【0040】
走行計画生成部14は、生成した進路に応じた走行計画を生成する。すなわち、走行計画生成部14は、少なくとも車両Vの周辺情報である外部状況と地図データベース5の地図情報とに基づいて、地図上に予め設定された目標ルートに沿った走行計画を生成する。走行計画には、例えば自動運転システム100が車両制御をする際に目標とする制御目標値(目標値の一例)が含まれる。例えば、走行計画は、目標ルートに沿った進路を車両Vが走行する際における、車両Vの目標速度、目標加減速度、又はステアリングの目標操舵トルクなどを含んでもよい。例えば、走行計画は、車両Vの速度パターン、加減速度パターン及び操舵トルクパターンの少なくとも一つを含んでいてもよい。
【0041】
速度パターンとは、例えば、進路上に所定間隔(例えば1m)で設定された制御目標位置(目標横位置を含む)に対して、目標制御位置ごとに時間に関連付けられて設定された目標速度からなるデータである。加減速度パターンとは、例えば、進路上に所定間隔(例えば1m)で設定された目標制御位置に対して、目標制御位置ごとに時間に関連付けられて設定された目標加減速度からなるデータである。操舵トルクパターンとは、例えば、進路上に所定間隔(例えば1m)で設定された目標制御位置に対して、目標制御位置ごとに時間に関連付けられて設定された目標操舵トルクからなるデータである。
【0042】
走行計画生成部14は、例えば自動運転ON/OFFスイッチから自動運転開始を示す情報を取得した場合に、走行計画を生成する。また、走行計画生成部14は、生成した走行計画を、走行制御部15が参照可能な記憶部へ出力する。
【0043】
走行制御部15は、例えば走行計画生成部14によって生成された走行計画を用いて走行制御を行う。走行制御とは、車両Vを自動運転状態で走行させることをいう。具体的には、走行制御は、自動運転状態での速度制御、及び、自動運転状態での操舵制御の少なくとも一方が含まれる。走行制御部15は、速度制御及び操舵制御のうちの一つのみを実行してもよいし、組み合わせて実行してもよい。自動運転状態での速度制御とは、運転者が加減速操作を行うことなく、自動運転システム100の制御のみで車両Vの速度又は車間距離の調整が実現されている状態である。自動運転状態での操舵制御とは、運転者が操舵操作を行うことなく、自動運転システム100の制御のみで車両Vの横位置の調整が実現している状態である。
【0044】
なお、走行制御部15による走行制御は、走行計画を用いた走行制御に限定されるものではない。例えば、走行制御部15は、目標値として目標速度(あるいは上限速度)及び目標車間距離(あるいは許容車間距離)を設定した自動速度調整(速度制御)を行ってもよい。これらの目標値は、走行環境や法令に従って定められた一定値であってもよいし、運転者によって設定された値であってもよいし、時間又は距離に応じて可変な値であってもよいし、走行計画生成部14(自動運転システム100)が走行状況に応じて設定した値であってもよい。走行制御部15が用いる設定情報(運転者又は自動運転システム100によって設定された自動運転の設定情報)については、例えば、ECU10に備わる記憶部に記憶されている。自動速度調整は、車両Vの速度を自動で制御する運転状態である。例えば、自動速度調整は、車両Vの前方に先行車両が存在しない場合は予め設定された目標速度で車両Vを定速走行させる定速制御を行い、車両Vの前方に先行車両が存在する場合には、予め設定された目標車間距離となるように、先行車両との車間距離に応じて車両Vの速度を調整する追従制御を行う運転状態である。自動速度調整は、走行制御部15により出力された制御信号に基づいてアクチュエータ9が動作することで実現される。自動速度調整により、運転者が加減速操作(アクセル操作(例えばアクセルペダルの操作)又はブレーキ操作(例えばブレーキペダルの操作))をしない場合であっても、自動で車両Vの速度調整が行なわれる。
【0045】
あるいは、走行制御部15は、目標値として目標横位置を設定した自動操舵調整(操舵制御)を行ってもよい。目標値は、走行環境に従って定められた一定値(例えば車線中央)であってもよいし、運転者によって設定された値であってもよいし、時間又は距離に応じて可変な値であってもよいし、走行計画生成部14(自動運転システム100)が走行状況に応じて設定した値であってもよい。走行制御部15が用いる設定情報(運転者又は自動運転システム100によって設定された自動運転の設定情報)については、例えば、ECU10に備わる記憶部に記憶されている。自動操舵調整は、車両Vの横位置が目標横位置となるように(あるいは車両Vの走行車線から逸脱しないように)自動で車両Vの操舵を行う運転状態である。自動操舵調整は、走行制御部15により出力された制御信号に基づいてアクチュエータ9が動作することで実現される。自動操舵調整により、運転者が操作操作(ステアリング操作)をしない場合であっても、走行車線に沿って自動で車両Vの操舵が行なわれる。
【0046】
表示制御部16は、表示部8bに接続され、所定の表示モードで表示部8bを表示させる。具体的な一例としては、表示制御部16は、設定状況表示モード、動作状況表示モード及び認識状況表示モードの何れかの表示モードで表示部8bを表示させる。なお、「何れかの表示モードで表示部8bを表示させる」とは、表示制御部16が少なくとも設定状況表示モード、動作状況表示モード及び認識状況表示モードで表示部8bを表示させることができればよいことを意味する。つまり、表示制御部16は、設定状況表示モード、動作状況表示モード及び認識状況表示モード以外の表示モードで表示部8bを表示させてもよい。例えば、表示制御部16は、車両Vを俯瞰した俯瞰画像表示モードで表示部8bを表示させることもできる。表示制御部16は、例えば、ECU10に備わる記憶部を参照し、車両Vの自動運転に関する情報を所定の表示モードで表示部8bに表示させる。
【0047】
以下、表示制御部16の制御信号に基づいた表示部8bの表示モードを説明する。
【0048】
(1)設定状況表示モード
設定状況表示モードは、運転者又は自動運転システム100によって設定された自動運転の設定情報が表示される表示モードである。設定情報は、自動運転システム100が自動運転を実現するために運転者又は自動運転システム100によって設定が必要なパラメータである。例えば自動運転が速度制御である場合には、設定情報は、目標速度、上限速度、設定車間距離などである。例えば自動運転が操舵制御である場合には、設定情報は、目標横位置などである。表示制御部16は、ECU10に備わる記憶部を参照して設定情報を取得し、表示部8bに表示させる。
【0049】
図2は、表示部8bが設定状況表示モードで表示した画面の一例である。
図2は、速度制御の設定情報を表示する設定状況表示画面GA1を一例として示している。設定状況表示画面GA1は、車両のアイコンa1、走行車線の境界線アイコンa2,a3、設定情報を表示していることを表すテキストa4及び設定状況を示す設定状況テキストa5(設定情報)を含んでいる。ここでは、表示部8bが、上限速度を示す「速度:100km」、設定車間距離を示す「距離:70m」を、設定状況テキストa5として表示している。設定情報の表示は、テキスト形式に限定されず、図形であってもよい。なお、設定状況表示画面GA1は、少なくとも設定情報であるアイコン又はテキストを含んでいればよい。テキストa4の内容は音声出力部8aによって音声で提示されてもよい。車両のアイコンa1、走行車線の境界線アイコンa2,a3は、表示されなくてもよい。あるいは、車両のアイコンa1、走行車線の境界線アイコンa2,a3は、表示部8bの装置の種類に応じて表示しなくてもよい。例えば、ナビゲーションシステム7に接続されたナビ画面表示装置又はインストルメントパネルに設けられたディスプレイを表示部8bとして採用した場合には、車両のアイコンa1、走行車線の境界線アイコンa2,a3を含む設定状況表示画面GA1を表示すればよい。例えば、HUDを表示部8bとして採用した場合には、車両のアイコンa1、走行車線の境界線アイコンa2,a3を省略し、テキストa4及び設定状況テキストa5の虚像をフロントガラス上に投影してもよい。
【0050】
(2)動作状況表示モード
動作状況表示モードは、自動運転システム100の動作時における走行情報が表示される表示モードである。自動運転システム100の動作時における走行情報は、自動運転システム100の制御結果である走行状態に関する情報である。走行情報は、例えば、設定情報に対応した制御対象のセンサ値(検出値)である。例えば自動運転が速度制御である場合には、走行情報は、速度、車間距離などの検出値である。例えば自動運転が操舵制御である場合には、走行情報は、横位置の認識結果などである。表示制御部16は、ECU10に備わる記憶部を参照して走行情報を取得し、表示部8bに表示させる。
【0051】
図3は、表示部8bが動作状況表示モードで表示した画面の一例である。
図3は、速度制御の走行情報を表示する走行状況表示画面GB1を一例として示している。走行状況表示画面GB1は、車両のアイコンa1、走行車線の境界線アイコンa2,a3、動作中の自動運転の種別を表すテキストa6及び走行状況を示す走行状況テキストa7(走行情報)を含んでいる。ここでは、表示部8bが、速度制御(先行車両追従制御)が作動中であることを示す「ACC」(Adaptive Cruise Control)及び操舵制御(車線維持制御)が作動中であることを示す「LKA」(Lane Keeping Assist)をテキストa6として表示している。そして、表示部8bは、現在の速度を示すセンサ値「速度:96km」、現在の車間距離を示すセンサ値「距離:65m」を、走行状況テキストa7として表示している。横位置の表示は省略している。走行情報の表示は、テキスト形式に限定されず、図形であってもよい。なお、走行状況表示画面GB1は、少なくとも走行情報であるアイコン又はテキストを含んでいればよい。テキストa6の内容は音声出力部8aによって音声で提示されてもよい。車両のアイコンa1、走行車線の境界線アイコンa2,a3は、表示されなくてもよい。あるいは、車両のアイコンa1、走行車線の境界線アイコンa2,a3は、表示部8bの装置の種類に応じて表示しなくてもよい。例えば、ナビゲーションシステム7に接続されたナビ画面表示装置又はインストルメントパネルに設けられたディスプレイを表示部8bとして採用した場合には、車両のアイコンa1、走行車線の境界線アイコンa2,a3を含む走行状況表示画面GB1を表示すればよい。例えば、HUDを表示部8bとして採用した場合には、車両のアイコンa1、走行車線の境界線アイコンa2,a3を省略し、テキストa6及び走行状況テキストa7の虚像をフロントガラス上に投影してもよい。
【0052】
(3)認識状況表示モード
認識状況表示モードは、自動運転システム100の認識結果情報が表示される表示モードである。自動運転システム100の認識結果情報は、例えば、車両位置、走行車線、又は、外部状況の認識結果である。外部状況の認識結果には、車両Vの前方の他車両の認識結果又は車線の認識結果が含まれる。表示制御部16は、ECU10に備わる記憶部を参照して認識結果情報を取得し、表示部8bに表示させる。
【0053】
認識状況表示モードでは、自動運転システム100の認識結果情報を、実景、実景を撮像した画像もしくは映像、又は、地図情報と対応付けて表示してもよい。このように構成した場合、実景又は地図と認識結果との対応関係を運転者に提示することになるため、自動運転システムの認識の程度を運転者に把握しやすくすることができる。このような対応付けを行う表示については、周知の手法を用いることができる。例えば、ナビゲーションシステム7に接続されたナビ画面表示装置又はインストルメントパネルに設けられたディスプレイを表示部8bとして採用した場合には、表示制御部16は、カメラ(外部センサ2の一例)により撮像された画像又は映像のレイヤーと、認識結果情報であるアイコン又はテキストなどが表示された画像のレイヤーとを表示部8bに重畳表示させればよい。あるいは、表示制御部16は、地図情報に基づいて描画された画像(例えば走行車線の前方画像)のレイヤーと、認識結果情報であるアイコン又はテキストなどが表示された画像のレイヤーとを表示部8bに重畳表示させればよい。また、表示制御部16は、レイヤーに分けることなくカメラ(外部センサ2の一例)により撮像された画像又は映像にアイコン又はテキストを埋め込んだ画像を生成して表示させてもよい。なお、HUDを表示部8bとして採用した場合には、カメラ(外部センサ2の一例)により撮像された画像又は映像は不要となる。表示制御部16は、HUDを表示部8bとして採用した場合には、運転者の視線の先にある実景と認識結果情報とが運転者目線で重なるように、認識結果情報の虚像をフロントガラス上に投影させればよい。これにより、実景と認識結果情報とが重畳表示される。
【0054】
表示制御部16は、認識状況表示モードで表示部8bを表示させる場合、自動運転システム100によって認識された車両Vの走行車線及び当該走行車線の認識の確信度を表示部8bに表示させてもよい。
【0055】
図4は、表示部8bが認識状況表示モードで表示した画面の一例である。
図4の(A)では、カメラ(外部センサ2の一例)により車両Vの前方を撮像した映像に対して車両Vの前方を走行する他車両の認識結果を示すオブジェクトを重畳表示した認識状況表示画面GC1を一例として示している。ここでは、車両Vが片側二車線の道路を走行しており、車両Vの前方には他車両V1〜V3が走行している。また、車両Vは片側二車線の道路の左側の走行車線を走行している。以下説明では、左の車線を第1車線R1とし、右の車線を第2車線R2として説明する。外部状況認識部11は、例えば、他車両V2,V3を認識し、認識結果及び認識の確信度を関連付けてECU10に備わる記憶部に記憶している。また、走行状態認識部13は、例えば、車両Vの走行車線が第1車線R1であるとした認識結果と認識の確信度とを関連付けてECU10に備わる記憶部に記憶している。
【0056】
表示制御部16は、例えば、カメラ映像と、ECU10に備わる記憶部を参照して得られた情報とに基づいて、認識状況表示画面GC1を表示部8bに表示させる。例えば、表示制御部16は、カメラ映像と、他車両の認識結果を示す矩形オブジェクトT1,T2と、走行車線の認識結果を示すオブジェクトP1,P2とを、それぞれ異なるレイヤーで作成し、複数のレイヤーを重ねることで認識状況表示画面GC1を構成する。
【0057】
図4の(B)は、カメラ映像H1の一例である。
図4の(C)は、他車両の認識結果を示す矩形オブジェクトT1,T2を含む画像H2である。表示制御部16は、認識の確信度に応じて他車両の認識結果のオブジェクトを変更してもよい。例えば、表示制御部16は、認識の確信度に応じてオブジェクトを生成してもよいし、認識の確信度とオブジェクトとを関連付けてECU10に備わる記憶部に記憶しておき、認識の確信度に応じて記憶部から読み出してもよい。ここでは、表示制御部16は、認識の確信度が所定値より低い場合には破線の矩形オブジェクト、認識の確信度が所定値以上の場合には実線の矩形オブジェクトを採用している。
図4の(C)の例では、他車両V2の認識の確信度が所定値以上であるため、他車両V2の認識結果情報としては実線の矩形オブジェクトT2が採用される。一方、他車両V3の認識の確信度が所定値より低いため、他車両V3の認識結果情報としては破線の矩形オブジェクトT3が採用される。なお、表示制御部16は、確信度に応じてオブジェクトの色を変更してもよいし、確信度を数値表示してもよい。
【0058】
図4の(D)は、走行車線の認識結果を示すオブジェクトP1,P2を含む画像H3である。オブジェクトP1,P2は、その表示面積によって何れの車線が走行車線であるかを示す。左側のオブジェクトP1の面積が右側のオブジェクトP2の面積よりも大きい場合には、走行車線は第1車線R1であることを示している。右側のオブジェクトP2の面積が左側のオブジェクトP1の面積よりも大きい場合には、走行車線は第1車線R1であることを示している(例えば
図4の(E))。表示制御部16は、認識の確信度に応じて他車両の認識結果のオブジェクトを変更してもよい。ここでは、表示制御部16は、認識の確信度に応じてオブジェクトの色の濃さ又は透明度を変更している。例えば、表示制御部16は、認識の確信度が高いほどオブジェクトの色を濃くしてもよいし、透明度を低くしてもよい。なお、表示制御部16は、確信度に応じてオブジェクトの色を変更してもよいし、確信度を数値表示してもよい。
【0059】
表示制御部16は、
図4の(B)〜(D)に示すカメラ映像H1及び画像H2,H3を重畳表示することで、
図4の(A)に示す認識状況表示画面GC1を構成する。これにより、自動運転システム100の認識結果を実景と対応させて表示させることができる。よって、自動運転システム100が他車両V1を認識しておらず他車両V2,V3を認識していること、他車両V3の認識の確信度は低いこと、走行車線は第1車線R1であると認識していることを実景と対応させて運転者に提示することができる。
【0060】
図5は、表示部8bが認識状況表示モードで表示した画面の一例である。
図5の(A)では、カメラ(外部センサ2の一例)により車両Vの前方を撮像した映像に対して車両Vの車線の認識結果を示すオブジェクトを重畳表示した認識状況表示画面GD1を一例として示している。
図5の(A)は、
図4の(A)と同一シーンであり、説明理解の容易性のために他車両V1〜V3は省略している。ここでは、車両Vが片側二車線の道路を走行している。また、車両Vは片側二車線の道路の第1車線R1を走行している。外部状況認識部11は、例えば、第1車線R1の境界線L1,L2、第2車線R2の境界線L2,L3を認識し、認識結果及び認識の確信度を関連付けてECU10に備わる記憶部に記憶している。また、走行状態認識部13は、例えば、車両Vの走行車線が第1車線R1であるとした認識結果と認識の確信度とを関連付けてECU10に備わる記憶部に記憶している。
【0061】
表示制御部16は、例えば、カメラ映像と、ECU10に備わる記憶部を参照して得られた情報とに基づいて、認識状況表示画面GD1を表示部8bに表示させる。例えば、表示制御部16は、カメラ映像と、車線の境界線の認識結果を示すオブジェクトT3〜T5と、走行車線の認識結果を示すオブジェクトP1,P2とを、それぞれ異なるレイヤーで作成し、複数のレイヤーを重ねることで認識状況表示画面GD1を構成する。
【0062】
図5の(B)は、カメラ映像H4の一例である。
図5の(C)は、車線の境界線の認識結果を示すオブジェクトT3〜T5を含む画像H5である。表示制御部16は、認識の確信度に応じて他車両の認識結果のオブジェクトを変更してもよい。例えば、表示制御部16は、認識の確信度に応じてオブジェクトを生成してもよいし、認識の確信度とオブジェクトとを関連付けてECU10に備わる記憶部に記憶しておき、認識の確信度に応じて記憶部から読み出してもよい。ここでは、表示制御部16は、認識の確信度が所定値より低い場合には破線の矩形オブジェクト、認識の確信度が所定値以上の場合には実線の矩形オブジェクトを採用している。
図5の(C)の例では、境界線L1の認識の確信度が所定値以上であるため、境界線L1の認識結果情報としては実線のオブジェクトT3が採用される。一方、境界線L2,L3の認識の確信度が所定値より低いため、境界線L2,L3の認識結果情報としては破線のオブジェクトT4,T5が採用される。なお、表示制御部16は、確信度に応じてオブジェクトの色を変更してもよいし、確信度を数値表示してもよい。
【0063】
図5の(D)は、走行車線の認識結果を示すオブジェクトP1,P2を含む画像H6である。画像H6は、
図4の(D)に示す画像H3と同一の手法で作成される。
【0064】
表示制御部16は、
図5の(B)〜(D)に示すカメラ映像H4及び画像H5,H6を重畳表示することで、
図5の(A)に示す認識状況表示画面GD1を構成する。これにより、自動運転システム100の認識結果を実景と対応させて表示させることができる。よって、自動運転システム100が車線の境界線L1〜L3を認識していること、境界線L2,L3の認識の確信度は低く、さらに境界線L2は位置がずれて認識されていること、走行車線は第1車線R1であると認識していることを運転者に提示することができる。
【0065】
図6は、表示部8bが認識状況表示モードで表示した画面の一例である。
図6の(A)では、地図情報の道路画像に対して車両Vの走行車線の認識結果を示すオブジェクトを重畳表示した認識状況表示画面GE1を一例として示している。
図6の(A)は、
図4の(A)と同一シーンである。ここでは、車両Vが片側二車線の道路を走行している。また、車両Vは片側二車線の道路の第1車線R1を走行している。走行状態認識部13は、例えば、車両Vの走行車線が第1車線R1であるとした認識結果と認識の確信度とを関連付けてECU10に備わる記憶部に記憶している。
【0066】
表示制御部16は、例えば、地図データベース5から得られた地図情報と、ECU10に備わる記憶部を参照して得られた情報とに基づいて、認識状況表示画面GE1を表示部8bに表示させる。例えば、表示制御部16は、道路画像と、走行車線の認識結果を示すオブジェクトP1,P2とを、それぞれ異なるレイヤーで作成し、それぞれのレイヤーを重ねることで認識状況表示画面GE1を構成する。
【0067】
図6の(B)は、道路画像H7の一例である。
図6の(C)は、走行車線の認識結果を示すオブジェクトP1,P2を含む画像H8である。画像H8は、
図4の(D)に示す画像H3と同一の手法で作成される。
【0068】
表示制御部16は、
図6の(B),(C)に示す道路画像H7及び画像H8を重畳表示することで、
図6の(A)に示す認識状況表示画面GE1を構成する。これにより、自動運転システム100の認識結果を地図と対応させて表示させることができる。よって、走行車線は第1車線R1であると認識していることを運転者に提示することができる。
【0070】
図1に示す取得部17は、表示部8bの表示モードを切り替える運転者の表示切替指示を取得する。取得部17は、例えば、表示切替スイッチ6の出力信号に基づいて、運転者の表示切替指示を取得する。
【0071】
表示制御部16は、取得部17により運転者の表示切替指示が取得された場合、運転者の表示切替指示に基づいて表示部8bの表示モードを切り替える。表示切替指示は、切替後の表示モードを指定する指示であってもよいし、予め定められた順番などにより切替後の表示モードが特定可能である場合には、単に表示モードを切り替える指示であってもよい。例えば、設定状況表示モード、動作状況表示モード及び認識状況表示モードの順で切り替えられるように設定されている場合には、表示制御部16は、取得部17により運転者の表示切替指示が取得されたときに、運転者の表示切替指示に基づいて表示部8bの表示モードを切り替える。また、表示制御部16は、所定の表示モードで表示部8bを動作させている場合であっても、他の表示モードで表示するために必要な情報をバックグラウンドで演算していてもよい。このように、各表示モードでの表示画面を並行して生成しておくことで、表示の切替を迅速に行うことができる。
【0072】
情報提示システム1は、例えば、上述した表示制御部16、取得部17及び表示部8bを備えて構成されている。
【0073】
次に、情報提示システムの表示切替処理を説明する。
図6は、情報提示システムの表示切替処理のフローチャートである。
図6に示すフローチャートは、例えば車両Vの自動運転(速度制御及び操舵制御の少なくとも一方)が実行中であり、表示部8bが所定の表示モードで表示している場合にECU10によって開始される。
【0074】
図6に示すように、情報提示システム1の取得部17は、判定処理(S10)として、運転者の表示切替指示の有無を判定する。取得部17は、例えば、表示切替スイッチから信号を取得した場合には、運転者の表示切替指示が有ると判定する。この場合、切替処理(S12)へ処理が移行する。
【0075】
表示制御部16は、切替処理(S12)として、表示モードを変更する。つまり、表示部8bの表示モードを変更する。切替処理が終了すると、
図7に示す表示切替処理を終了する。また、判定処理(S10)において、取得部17は、例えば、表示切替スイッチから信号を取得できない場合には、運転者の表示切替指示が無いと判定し、
図7に示す表示切替処理を終了する。
【0076】
図7に示す表示切替処理が終了した場合、再度S10から処理が順に実行される。つまり、
図7に示す表示切替処理は繰り返し実行される。なお、例えば車両Vの自動運転が終了した場合には、表示切替処理が終了した場合であっても表示切替処理は繰り返し実行されない。
【0077】
以上で
図7に示す表示切替処理を終了する。
図8は、表示切替処理を説明する概念図である。
図7に示す表示切替処理を実行することで、例えば
図8に示すように、運転者の表示切替指示OP1〜OP5が取得される度に、表示モードが順次切り替わる。つまり、所定の表示モードで表示された画面が表示切替指示OP1〜OP5に基づいて他の表示モードで表示された画面に切り替わる。このように、画面遷移させることで、各表示モードの画面同士を対比させながら、運転者に自動運転システム100に関する情報を提示することができる。このため、自動運転システム100に関する情報を運転者に理解しやすい態様で提供することができる。
【0078】
以上、本実施形態に係る情報提示システム1では、表示制御部16により、設定状況表示モード、動作状況表示モード、及び、認識状況表示モードの何れかの表示モードで表示部8bが表示を行い、取得部17により乗員の表示切替指示が取得された場合、表示制御部16により、運転者の表示切替指示に基づいて表示部8bの表示モードが切り替わる。このため、この情報提示システム1は、乗員の指示に基づいて、自動運転システム100の認識情報を自動運転システム100の設定情報及び走行情報と対応付けて乗員に提示することができる。
【0079】
また、本実施形態に係る情報提示システム1では、表示制御部16は、認識状況表示モードで表示部8bを表示させる場合、自動運転システム100によって認識された車両Vの走行車線及び当該走行車線の認識の確信度を表示部8bに表示させてもよい。この場合、この情報提示システム1は、乗員の指示に基づいて、自動運転システム100によって認識された車両Vの走行車線及び当該走行車線の認識の確信度を自動運転システム100の設定情報及び車両の走行情報と対応付けて乗員に提示することができる。
【0080】
以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限られない。本発明は、上述した実施形態に対して当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。