(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御手段は、前記第1の表示画像は前記危険判定手段の判定結果に関わらず表示し、前記第2の表示画像は前記危険判定手段が前記危険状態を判定した場合にのみ表示すること
を特徴とする請求項1又は請求項2に記載の画像表示装置。
【発明を実施するための形態】
【0013】
以下、本発明を適用した画像表示装置の実施形態について説明する。
実施形態の画像表示装置は、例えば乗用車等の自動車に設けられ、車体後側方をカメラによって撮像した画像等を、ドライバ等のユーザに提示するカメラモニタリングシステムである。
【0014】
図1は、実施形態の画像表示装置の構成を示すブロック図である。
画像表示装置1は、後側方画像処理ユニット10、後方カメラ11、左後側方カメラ12、右後側方カメラ13、ステレオカメラ処理ユニット20、左前方カメラ21、右前方カメラ22、環境認識ユニット30、左後側方レーダ31、右後側方レーダ32、ドライバモニタリングユニット40、ドライバモニタリングカメラ41、表示画像生成ユニット50、表示制御ユニット60、LCD70等を有して構成されている。
【0015】
後側方画像処理ユニット10は、後方カメラ11、左後側方カメラ12、右後側方カメラ13の出力信号を処理し、画像データとして出力するデジタル信号処理装置である。
後側方画像処理ユニット10が出力する映像信号は、環境認識ユニット30及び表示画像生成ユニット50に伝達される。
後方カメラ11、左後側方カメラ12、右後側方カメラ13は、車両周囲の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
【0016】
図2は、実施形態の画像表示装置における後側方カメラ等の配置を示す模式的斜視図である。
後方カメラ11は、車体Bの後端部における車幅方向中央部に、光軸方向を車両後方側に向けて配置される。
左後側方カメラ12は、車体Bの左側面部に、光軸方向を後方側かつ車幅方向外側に向けて配置されている。
左後側方カメラ12は、例えば、サイドミラー130に隣接した箇所に配置される。
左後側方カメラ12の視野(撮像可能範囲)F12は、後方カメラ11の視野F11と部分的にラップし、自車両の後方から左側方に至る範囲の全てが少なくともいずれかのカメラによって、実質的に死角がないように撮像されるようになっている。
右後側方カメラ13(
図2においては不図示)は、左後側方カメラ12と実質的に左右対称に配置されている。
【0017】
ステレオカメラ処理ユニット20は、左前方カメラ21、右前方カメラ22がそれぞれ撮像した映像に公知のステレオカメラ処理を施し、自車両前方の物体及びその自車両からの距離を検出するものである。
ステレオカメラ処理ユニット20の出力は、環境認識ユニット30に伝達される。
左前方カメラ21、右前方カメラ22は、車両前方の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
左前方カメラ21、右前方カメラ22は、例えば、車室内におけるフロントウインドウガラス上端部付近に、左右方向に離間して配置されている。
【0018】
環境認識ユニット30は、後側方画像処理ユニット10、ステレオカメラ処理ユニット20、左後側方レーダ31、右後側方レーダ32等から提供される情報に基づいて、自車両周囲の環境を認識するものである。
環境認識ユニット30は、左後側方レーダ31、右後側方レーダ32と協働して本発明にいう環境認識手段及び危険判定手段として機能する。
ここで、認識される環境として、自車両が走行する自車両走行車線の車線形状、自車両走行車線に隣接する隣接車線の車線形状、自車両の周囲を走行する他車両、歩行者、建造物(例えば、建物、ガードレール、標識、信号機、橋げた、トンネル、中央分離帯、路側帯等)等の障害物等を含む。
【0019】
左後側方レーダ31、右後側方レーダ32は、自車両の後側方に存在する他車両等の物体を検出するものである。
左後側方レーダ31、右後側方レーダ32として、例えば、ミリ波レーダを用いることができる。
左後側方レーダ31、右後側方レーダ32は、他車両が存在する場合に自車両に対する他車両の相対位置を検出することが可能であり、この相対位置の推移に基づいて、他車両の自車両に対する相対速度を算出することが可能である。
左後側方レーダ31、右後側方レーダ32は、車体後部における左右(例えばリアバンパ内部等)に配置されている。
【0020】
ドライバモニタリングユニット40は、ドライバモニタリングカメラ41が撮像した画像に基づいて、ユーザ(手動運転時におけるドライバ)の姿勢、挙動、視線方向等を検出するものである。
ドライバモニタリングカメラ41は、車室内におけるドライバの前方側に設けられている。
【0021】
表示画像生成ユニット50は、後側方画像処理ユニット10、環境認識ユニット30、ドライバモニタリングユニット40からの入力に基づいて、LCD70に表示される表示画像を生成するものである。
表示画像生成ユニット50の機能及び生成される表示画像の例については、後に詳しく説明する。
なお、表示画像は、後方カメラ11、左後側方カメラ12、右後側方カメラ13が撮像した映像に所定の画像処理を施した実写画像であってもよく、また、実写画像に対応する情報を表示するコンピュータグラフィックス等であってもよい。また、実写画像とコンピュータグラフィックスとを重畳するなどして合成して用いてもよい。
【0022】
表示制御ユニット60は、表示画像生成ユニット50が生成する表示画像を、LCD70に表示させるディスプレイ駆動装置である。
LCD70は、ユーザ(乗員・手動運転時における運転者)の前方側に設けられ、表示画像をユーザに対して表示する表示手段である。
車室内におけるLCD70の配置については、後に詳しく説明する。
【0023】
図3は、実施形態の画像表示装置を有する車両におけるユーザ視界の一例を示す図である。
図3に示すように、車両は、フロントガラス110、フロントドアガラス120、サイドミラー130、インストルメントパネル140、ステアリングホイール150、Aピラー160、ルーフ170、ルームミラー180等を有する。
【0024】
フロントガラス110は、ドライバの前方側に配置されている。
フロントガラス110は、実質的に横長の矩形状に形成され、前方が凸となる方向に湾曲した2次曲面ガラスである。
フロントガラス110は、上端部が下端部に対して車両後方側となるように後傾して配置されている。
【0025】
フロントドアガラス120は、乗員の乗降に用いられる左右フロントドアの上部であって、ドライバの側方に設けられている。
フロントドアガラス120は、昇降式の本体部121、及び、本体部121の前部に設けられた固定式の三角窓部122を有する。
【0026】
サイドミラー130は、ドライバが左右後方視界を確認するものである。
サイドミラー130は、左右フロントドアのアウタパネルから車幅方向外側に突出している。
ユーザ視界において、サイドミラー130は、例えば、フロントドアガラス120の本体部121の前端部近傍に見えるようになっている。
【0027】
インストルメントパネル140は、車室内においてフロントガラス110の下方に設けられた内装部材である。
インストルメントパネル140は、各種計器類、表示装置、スイッチ類、空調装置、助手席エアバッグ装置、膝部保護エアバッグ装置等が収容される筐体としても機能する。
インストルメントパネル140は、コンビネーションメータ141、マルチファンクションディスプレイ142、ナビゲーション装置ディスプレイ143等が設けられる。
【0028】
コンビネーションメータ141は、運転席の正面に設けられ、速度計、エンジン回転計、距離計などの各種計器類をユニット化したものである。
コンビネーションメータ141には、LCD70が内蔵されている。
マルチファンクションディスプレイ142は、インストルメントパネル140の車幅方向中央部における上部に設けられた例えばLCD等の画像表示手段である。
ナビゲーション装置ディスプレイ143は、インストルメントパネル140の車幅方向中央部における下部に設けられている。
【0029】
ステアリングホイール150は、ドライバが手動運転時に操舵操作を入力する環状の操作部材である。
ステアリングホイール150は、ドライバの前方に実質的に正対して設けられる。
コンビネーションメータ141は、ユーザ視界において、ステアリングホイール150の上半部における内径側から目視可能となっている。
【0030】
Aピラー160は、フロントガラス110の側端部及びフロントドアガラス120の前端部に沿って配置された柱状の車体構造部材である。
Aピラー160の車室内側の面部は、樹脂製のピラートリムによってカバーされている。
【0031】
ルーフ170は、フロントガラス110の上端部から後方にのびて形成されている。
ルーフ170の車室内側の面部は、樹脂製のルーフトリムによってカバーされている。
ルーフ170の車幅方向中央部における前端部には、左前方カメラ21、右前方カメラ22が収容されるステレオカメラ収容部171が設けられている。
【0032】
ルームミラー180は、車室内に設けられた後方確認用のミラーである。
ルームミラー180は、図示しないステーを介してフロントガラス110の車幅方向中央部における上端部近傍に設けられている。
【0033】
車両は、以下説明する運転制御装置を備えている。
この運転制御装置は、環境認識ユニット30による認識結果に応じて、操舵、加減速等の運転動作を自動的に行う自動運転機能を備えた自動運転システムを構成する。
図4は、実施形態の画像表示装置を有する車両に設けられる運転制御装置の構成を示すブロック図である。
図4に示すように、運転制御装置は、自動運転制御ユニット200、エンジン制御ユニット210、トランスミッション制御ユニット220、挙動制御ユニット230、電動パワーステアリング(EPS)制御ユニット240等を備えている。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス及びこれらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
【0034】
自動運転制御ユニット200は、ユーザにより自動運転モードが選択されている場合に、エンジン制御ユニット210、トランスミッション制御ユニット220、挙動制御ユニット230、EPS制御ユニット240等に制御指令を出力し、車両を自動的に走行させる自動運転制御を実行するものである。
【0035】
自動運転制御ユニット200は、自動運転モードが選択された時に、環境認識ユニット30から提供される自車両周辺の状況に関する情報、及び、図示しないドライバからの指令等に応じて、自車両が進行すべき目標走行軌跡を設定する。
自動運転制御ユニット200は、自車両の実際の走行軌跡が目標走行軌跡に実質的に一致するよう、車両の加速(発進)、減速(停止)、前後進切替、転舵などを自動的に行い、予め設定された目的地まで車両を自動的に走行させる自動運転を実行する。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
【0036】
自動運転制御ユニット200には、入出力装置201が接続されている。
入出力装置201は、自動運転制御ユニット200からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置201は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
入出力装置201は、例えば、LCD70、マルチファンクションディスプレイ142等をタッチパネルとして、これと兼用することが可能である。
【0037】
エンジン制御ユニット210は、車両の走行用動力源であるエンジン及びその補機類を統括的に制御するものである。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)210は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット210は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両が自動運転を行う場合には、エンジン制御ユニット210は、自動運転制御ユニット200からの指令に応じてエンジンの出力を制御する。
【0038】
トランスミッション制御ユニット(TCU)220は、エンジンの回転出力を変速するとともに、車両の前進、後退を切り替える図示しない変速機及び補機類を統括的に制御するものである。
車両が自動運転を行う場合には、トランスミッション制御ユニット220は、自動運転制御ユニット200からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、デュアルクラッチトランスミッション、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
【0039】
トランスミッション制御ユニット220には、前後進切替アクチュエータ221、レンジ検出センサ222等が接続されている。
前後進切替アクチュエータ221は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ221は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ222は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
【0040】
挙動制御ユニット230は、左右前後輪にそれぞれ設けられた液圧式サービスブレーキのホイルシリンダ液圧を個別に制御することによって、アンダーステアやオーバステア等の車両挙動を抑制する挙動制御や、制動時のホイルロックを回復させるアンチロックブレーキ制御を行うものである。
挙動制御ユニット230には、ハイドロリックコントロールユニット(HCU)231、車速センサ232等が接続されている。
【0041】
HCU231は、液圧式サービスブレーキの作動流体であるブレーキフルードを加圧する電動ポンプ、及び、各車輪のホイルシリンダに供給される液圧を個別に調節するバルブ等を有する。
車両が自動運転を行う場合には、HCU231は、自動運転制御ユニット200からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ232は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
【0042】
電動パワーステアリング(EPS)制御ユニット240は、ドライバによる操舵操作を電動モータによってアシストする電動パワーステアリング装置、及び、その補機類を統括的に制御するものである。
EPS制御ユニット240には、モータ241、舵角センサ242等が接続されている。
【0043】
モータ241は、車両の操舵系にアシスト力を付与してドライバによる操舵操作をアシストし、あるいは、自動運転時に舵角を変更する電動アクチュエータである。
車両が自動運転を行う場合には、モータ241は、自動運転制御ユニット200からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ242は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ242は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
【0044】
以下、実施形態の画像表示装置の動作について説明する。
図5は、実施形態の画像表示装置の動作を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
【0045】
<ステップS01:車両周囲環境認識>
環境認識ユニット30は、各カメラ、レーダ等のセンサを用いて、自車両周囲の環境を認識する。
環境認識ユニット30は、例えば、自車両走行車線、隣接車線の車線形状、走行中や停車中の他車両、歩行者、自転車、建築物等の障害物を検出する。
環境認識ユニット30は、各障害物の属性、自車両に対する相対位置、自車両に対する相対速度等を認識する。
その後、ステップS02に進む。
【0046】
<ステップS02:側方リスク対象物有無判断>
環境認識ユニット30は、ステップS01において認識された障害物から、自車両の側方に存在し、自車両と衝突する可能性(リスクポテンシャル)が所定値以上である障害物(側方リスク対象物)を抽出する。
側方リスク対象物が存在しない場合は危険状態ではないとしてステップS03に進み、側方リスク対象物が存在する場合は危険状態であるとしてステップS04に進む。
【0047】
<ステップS03:俯瞰表示を表示>
環境認識ユニット30は、表示画像生成ユニット50に指示を出し、自車両を後方側かつ斜め上方から見た俯瞰表示(鳥瞰(バードビュー)図)を表示画像I1(
図6参照)として生成させ、LCD70に表示させる。
俯瞰表示については、後に詳しく説明する。
その後、一連の処理を終了(リターン)する。
【0048】
<ステップS04:危険領域設定>
環境認識ユニット30は、自車両が進入すると側方リスク対象物と接触、衝突するリスクが高くなることから進入することが危険な領域を自車両の側方に危険領域として設定する。
例えば、側方リスク対象物が隣接車線を自車両の後方側から自車両以上の高速で接近している場合には、自車両が隣接車線へ車線変更を行うと追突されるリスクが高まることから、自車両の側方における隣接車線上等を危険領域として設定する。
その後、ステップS05に進む。
【0049】
<ステップS05:俯瞰表示+後側方表示を表示>
環境認識ユニット30は、自車両後側方の状況を示す後側方画像である表示画像I2(
図7参照)の表示を、表示画像生成ユニット50に指示する。
表示画像生成ユニット50は、俯瞰表示である表示画像I1と隣接して、後側方画像である表示画像I2をLCD70に表示させる。
このとき、表示画像I1、I2には、ステップS04において設定された危険領域がそれぞれ表示される。
その後、一連の処理を終了する。
【0050】
以下、俯瞰表示及び後側方表示の具体例について詳細に説明する。
図6は、実施形態の画像表示装置における俯瞰表示の一例を示す図である。
俯瞰表示の表示画像I1には、例えば、自車両310、自車両走行車線320、隣接車線330、他車両340等が表示されている。
このような俯瞰図は、各カメラが撮像した画像を、所定の画像処理を施したうえで合成するか、あるいは、環境認識ユニット30の環境認識結果に基づいて、表示画像生成ユニット50において、コンピュータグラフィックスとしてレンダリングすることによって生成される。
また、このような俯瞰図(鳥瞰図)に代えて、例えば自車両及びその実質的に全方位を含む周辺を直上から見た状態を示す平面図としてもよい。
【0051】
図6においては、自車両310が、同一方向に並走する自車両走行車線320、隣接車線330を有する片側2車線の高規格道路(高速道路等)を走行している状態を示している。
自車両310は、自車両走行車線320を走行している。
隣接車線330は、自車両走行車線320の右側に隣接し、並行して設けられている。
【0052】
他車両340は、隣接車線330を、自車両310と同一方向に走行する乗用車等の自動車である。
他車両340は、
図6に示す状態においては、自車両310に対して後方を、自車両310よりも高速で走行しており、自車両310の側方に並びかけようとしている。
この状態においては、他車両340が側方リスク対象物として認識され、自車両310の隣接車線330側の側方には、危険領域350が設定されている。
危険領域350は、それ以外の領域とは表示色などの表示態様を異ならせて表示され、ユーザに注意を喚起するようになっている。
【0053】
図7は、実施形態の画像表示装置における後側方表示の一例を示す図である。
図7においては、右後側方カメラ13によって撮像された自車両310の右後側方の状況を示す側方状況画像I2が表示されている。
側方状況画像I2は、自車両310の前後方向における位置が自車両とラップする範囲における隣接車線330の少なくとも一部を表示範囲内に含み、実質的にサイドミラー130と同等の視界をカバー可能となっている。
このような側方状況画像I2は、例えば右後側方カメラ13が撮像した画像に明度、輝度、コントラスト、色調等の調整や、レンズ収差に起因する歪みの補正などの画像処理を施した実写画像を用いることができる。
また、右後側方カメラ13が撮像した画像や、右後側方レーダ32の出力に基づいてレンダリングしたコンピュータグラフィックスを用いてもよい。
なお、実施形態において、側方状況画像は、一般的なサイドミラー130を用いて後側方を視認する際の見え方に対して違和感を生じさせないため、左右逆像となっている。
図7においても、自車両310、自車両走行車線320、隣接車線330、他車両340、危険領域350が表示されている。
【0054】
以上説明した実施形態によれば、以下の効果を得ることができる。
(1)自車両310の側方の情報を示す表示画像I2を、自車両の実質的に全方位の状態を示す表示画像I1と隣接させて表示することによって、表示画像I2に表示された他車両340等が自車両310に対してどの位置に存在するのか直感的に理解することができ、自車両310側方の状況を直感的かつ正確に把握することが可能となる。
(2)危険領域350を設定して他の領域とは異なった表示態様で表示することによって、自車両310の進入を避けるべき領域をユーザに直感的に理解させることが可能となり、他車両340等の障害物との接触を適切に回避することができる。
(3)表示画像I1を常時表示するとともに、側方リスク対象物が認識された場合にのみ表示画像I2を表示することによって、通常時は表示画像I1により自車両310周囲の実質的に全方位の状況を最低限の視線移動によって監視することができ、危険状態が判定された場合には表示画像I2の出現によって危険状態にあることをユーザに把握させ、表示画像I2により他車両340等のリスク対象物を目視させることができる。
(5)表示画像I1,I2が表示されるLCD70をユーザの前面に設けたことによって、ユーザが側方や後方に振り向くことなく適切に車両周囲の監視を行うことができ、ユーザの身体的負担を軽減することができる。
【0055】
(変形例)
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)画像表示装置やこれが搭載される車両の構成は、上述した実施形態に限定されず、適宜変更することができる。
例えば、カメラ、レーダ類の数量や配置は適宜変更することができる。実施形態においては、後方カメラ及び左右の後側方カメラをそれぞれ1つ備えているが、複数備える構成としてもよい。また、例えば単一の広角カメラを用いて、後方カメラと後側方カメラとを兼用する構成としてもよい。
(2)実施形態においては、ユーザ(手動運転時のドライバ)の正面に設けられるLCD70に表示画像を表示しているが、これに限らず、インストルメントパネルの中央部に設けられた表示装置(例えばマルチファンクションディスプレイ142、ナビゲーション装置ディスプレイ143等)により表示してもよい。
また、例えばヘッドアップディスプレイ装置を用いて、フロントガラスに投影するようにしてもよい。
(3)実施形態においては、自車両周囲における危険度が所定以上の領域を危険領域として設定し、他の領域とは異なる表示態様で表示しているが、これに代えて、自車両周囲における安全度が所定以上の領域を自車両の移動が可能な移動可能領域(安全領域)として設定し、移動可能領域を他の領域とは異なる表示態様で表示してもよい。
(4)実施形態においては、側方リスク対象物が存在する場合に、上述した後側方表示を表示しているが、これに代えて、あるいは、これと併用して、自車両の側方を示す側方表示を表示するようにしてもよい。例えば、自車両側方を撮像可能でありかつ光軸方向を実質的に車幅方向に沿わせて配置された超広角カメラを用いて撮像された画像、又は、この画像に基づいて生成されたコンピュータグラフィックス等を側方表示用として用いることができる。
この場合、隣接車線を走行する他車両は、実質的に側面視として表示される構成とすることができる。