【実施例】
【0014】
以下、本発明を適用した表示装置の実施例について説明する。
図1は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺のリスクに関する情報等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御の妥当性を検証することができる。
また、後述するように、表示装置は、自車両後方から他車両が接近した際に、これをユーザに認識させる機能を有する。
【0015】
図1に示すように、車両1は、エンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、電動パワーステアリング(EPS)制御ユニット40、自動運転制御ユニット50、環境認識ユニット60、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120、画像生成ユニット200、ディスプレイ210等を備えている。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
【0016】
エンジン制御ユニット10は、車両1の走行用動力源であるエンジン及びその補機類を統括的に制御するものである。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
【0017】
トランスミッション制御ユニット(TCU)20は、エンジンの回転出力を変速するとともに、車両の前進、後退を切り替える図示しない変速機及び補機類を統括的に制御するものである。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
【0018】
トランスミッション制御ユニット20には、前後進切替アクチュエータ21、レンジ検出センサ22等が接続されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
【0019】
挙動制御ユニット30は、左右前後輪にそれぞれ設けられた液圧式サービスブレーキのホイルシリンダ液圧を個別に制御することによって、アンダーステアやオーバステア等の車両挙動を抑制する挙動制御や、制動時のホイルロックを回復させるアンチロックブレーキ制御を行うものである。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
【0020】
HCU31は、液圧式サービスブレーキの作動流体であるブレーキフルードを加圧する電動ポンプ、及び、各車輪のホイルシリンダに供給される液圧を個別に調節するバルブ等を有する。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
【0021】
電動パワーステアリング(EPS)制御ユニット40は、ドライバによる操舵操作を電動モータによってアシストする電動パワーステアリング装置、及び、その補機類を統括的に制御するものである。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
【0022】
モータ41は、車両の操舵系にアシスト力を付与してドライバによる操舵操作をアシストし、あるいは、自動運転時に舵角を変更する電動アクチュエータである。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
【0023】
自動運転制御ユニット50は、自動運転モードが選択されている場合に、上述したエンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、EPS制御ユニット40等に制御指令を出力し、車両を自動的に走行させる自動運転制御を実行するものである。
【0024】
自動運転制御ユニット50は、自動運転モードが選択された時に、環境認識ユニット60から提供される自車両周辺の状況に関する情報、及び、図示しないドライバからの指令等に応じて、自車両が進行すべき目標走行軌跡を設定し、車両の加速(発進)、減速(停止)、前後進切替、転舵などを自動的に行い、予め設定された目的地まで車両を自動的に走行させる自動運転を実行する。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
【0025】
自動運転制御ユニット50には、入出力装置51が接続されている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
【0026】
環境認識ユニット60は、自車両周囲の情報を認識するものである。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
【0027】
ステレオカメラ制御ユニット70は、車両の周囲に複数組設けられるステレオカメラ71を制御するとともに、ステレオカメラ71から伝達される画像を画像処理するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット70は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
レーザスキャナ制御ユニット80は、レーザスキャナ81を制御するとともに、レーザスキャナ81の出力に基づいて車両周囲の車両や障害物等の各種物体を3D点群データとして認識するものである。
【0028】
後側方レーダ制御ユニット90は、車両の左右側部にそれぞれ設けられる後側方レーダ91を制御するとともに、後側方レーダ91の出力に基づいて自車両後側方に存在する物体を検出するものである。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
【0029】
図2は、実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
【0030】
ナビゲーション装置100は、例えばGPS受信機等の自車両位置測位手段、予め準備された地図データを蓄積したデータ蓄積手段、自車両の前後方向の方位を検出するジャイロセンサ等を有する。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、インストルメントパネルに組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
【0031】
路車間通信装置110は、所定の規格に準拠する通信システムによって、図示しない地上局と通信し、渋滞情報、交通信号機点灯状態、道路工事、事故現場、車線規制、天候、路面状況などに関する情報を取得するものである。
【0032】
車車間通信装置120は、所定の規格に準拠する通信システムによって、図示しない他車両と通信し、他車両の位置、方位角、加速度、速度等の車両状態に関する情報や、車種、車両サイズ等の車両属性に関する情報を取得するものである。
【0033】
画像生成ユニット200は、環境認識ユニット60から伝達される環境認識結果に基づいて、ディスプレイ210により表示される自車両周辺の環境に関する情報を含む画像(環境画像)を生成するものである。
【0034】
ディスプレイ210は、車両の乗員と対向して配置された画像表示装置である。
ディスプレイ210は、例えば、インストルメントパネル等の内装部材に組み込まれたLCDを有する。
【0035】
次に、実施例の表示装置における画像表示時の動作、及び、画面表示の例について説明する。
図3は、実施例の表示装置の動作を示すフローチャートである。
以下、
図3のステップ毎に順を追って説明する。
【0036】
<ステップS01:自車両周囲環境認識>
環境認識ユニット60は、自車両周囲の道路形状、車線形状、他車両等の障害物等に関する情報を取得する環境認識処理を行う。
他車両に関する情報は、例えば、自車両に対する相対位置、及び、相対速度に関する情報等を含む。
その後、ステップS02に進む。
【0037】
<ステップS02:後方車両接近判断>
環境認識ユニット60は、自車両の後方に、自車両との相対距離が所定の閾値以下であり、かつ、自車両に対して接近する相対速度を有する他車両が存在するか判別する。
このような他車両が検出された場合は、ステップS04に進み、その他の場合はステップS03に進む。
【0038】
<ステップS03:仮想視点見上げ角θ=θ1>
画像生成ユニット200は、自車両1を上方側かつ後方側に設定された仮想視点Pから見たときの俯瞰図を生成する際の、自車両1から仮想視点Pを見上げた角度である仮想視点見上げ角θを、予め設定された所定値であるθ1に設定する。
図4は、実施例の表示装置における仮想視点見上げ角を示す図である。
仮想視点見上げ角θ(
図4におけるθ1、θ2)は、自車両1と仮想視点Pとを結んだ直線が、水平面(平坦路走行時における路面)に対してなす角度である。
ここで、自車両1側の基準となる点は、例えば、車体のいずれかの部位に任意に設けられた基準点を用いることができる。例えば、車両1の重心点や、車体寸法上の中央部等に基準点を設定することができる。
その後、ステップS05に進む。
【0039】
<ステップS04:仮想視点見上げ角θ=θ2>
画像生成ユニット200は、仮想視点見上げ角θを、予め設定された所定値でありかつθ1よりも大きいθ2に設定する。
その後、ステップS05に進む。
【0040】
<ステップS05:俯瞰画像生成>
画像生成ユニット200は、ステップS03又はS04において設定された見上げ角を有する仮想視点Pから、自車両及び道路、他車両等を見た俯瞰図を、例えばディテールを省略して簡素化、模式化してレンダリングしたコンピュータグラフィックスにより生成する。
画像生成ユニット200は、このような処理が可能なレンダリング手段を有する。
その後、ステップS06に進む。
【0041】
<ステップS06:画像表示出力>
画像生成ユニット200は、生成された画像データを出力し、ディスプレイ210によって表示画像211として表示させ、ユーザに提示させる。
その後、一連の処理を終了(リターン)させる。
【0042】
以下、実施例の表示装置における表示例について説明する。
図5は、実施例の表示装置における通常時の画面表示の一例を模式的に示す図である。
図5に示す例においては、自車両1は、右側から順に追越車線LP、第1走行車線L1、第2走行車線L2を有する片側三車線の直線道路において、中央に設けられた第1走行車線L1を走行している。(
図6,7において同じ)
図5に示す通常時(後方から接近する他車両が検出されない場合)においては、仮想視点見上げ角θは比較的小さく設定され、その結果、表示画像211は、道路の比較的遠方までを見通せる構図となっているが、反面自車両1の後方の視野は限定されたものとなっている。
【0043】
図6は、実施例の表示装置における他車両接近時の画面表示の一例を模式的に示す図である。
図6に示す例においては、仮想視点見上げ角θを大きくするとともに、自車両1が表示画像211内において占める位置を上方とすることによって、自車両1の後方における視野(表示領域)を拡大している。
図6に示す例においては、追越車線LPを走行する他車両V1が、自車両1を追い越す直前の状態を示している。
なお、仮想視点見上げ角θを、θ1からθ2まで増加させる際に、例えば仮想視点Pの自車両1からの距離を遠ざけたり、視野角を広角化することによって、自車両1の後方の視野を拡大させるようにしてもよい。
【0044】
また、画像生成ユニット200は、仮想視点見上げ角θを、θ1からθ2へ変更する場合には、仮想視点見上げ角θを除変させるようにする。
さらに、仮想視点見上げ角θを増加させる際の単位時間あたり増加率(増加速度)は、検出された他車両の自車両に接近する相対速度の増加に応じて大きくなるように設定される。
すなわち、相対速度が大きく緊急性が高い場合には、仮想視点Pの移動が早期に完了するようになっている。
【0045】
また、
図7は、実施例の表示装置における他車両接近時の画面表示の他の例を模式的に示す図である。
図7においては、
図6に対して、他車両V1が走行する追越車線LPが、表示画像211の左右方向における中央部寄りとなるように、表示内容を全体にオフセットしている。
このような表示は、他車両V1が自車両1に対して追い越しを行うことが予想される場合に、ユーザのより高いレベルの注意を喚起できるため好ましい。
【0046】
以上説明した実施例によれば、以下の効果を得ることができる。
(1)自車両1の後方から接近する他車両V1を検出した際に、表示画像211内において自車両1を俯瞰する角度である仮想視点見上げ角θを増加させることによって、ユーザに対して自車両1の後方に変化点が生じていることを直感的に認識させ、後方からの他車両V1の接近状況を容易に把握させることができる。
(2)仮想視点見上げ角θの増加とともに、自車両1が表示画像211内で占める位置を上方側(前方側)に変化させることによって、表示画像211内において後方から接近する他車両V1をより早期に表示してユーザに認識させることができる。
(3)仮想視点見上げ角θを除変させ、表示画像211内における俯瞰の角度が徐々に変化することによって、ユーザに対して何らかの変化が生じていることを直感的に認識させることができる。
(4)仮想視点見上げ角θを除変させる際の変化速度を他車両V1の相対速度増加に応じて大きくすることによって、他車両V1の接近速度が速く自車両1に接近するまでの時間的余裕に乏しい場合に、俯瞰する角度の変化を早期に終了させて他車両V1を確実に表示することができる。
(5)他車両V1が自車両1を追い越す際に、ユーザの注意をひきやすい表示画像211の中央部に他車両V1を表示することによって、ユーザにより高レベルの注意を喚起することができる。
【0047】
(変形例)
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、GPS等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。