特開2018-174399(P2018-174399A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マツダ株式会社の特許一覧
特開2018-174399車両用画像表示装置及び画像処理方法
<>
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000003
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000004
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000005
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000006
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000007
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000008
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000009
  • 特開2018174399-車両用画像表示装置及び画像処理方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-174399(P2018-174399A)
(43)【公開日】2018年11月8日
(54)【発明の名称】車両用画像表示装置及び画像処理方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20181012BHJP
   B60R 1/00 20060101ALI20181012BHJP
   G06T 1/00 20060101ALI20181012BHJP
   G06T 3/00 20060101ALI20181012BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G06T1/00 330Z
   G06T3/00 710
   H04N7/18 U
【審査請求】有
【請求項の数】7
【出願形態】OL
【全頁数】15
(21)【出願番号】特願2017-70304(P2017-70304)
(22)【出願日】2017年3月31日
(71)【出願人】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
【住所又は居所】広島県安芸郡府中町新地3番1号
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100059959
【弁理士】
【氏名又は名称】中村 稔
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100088694
【弁理士】
【氏名又は名称】弟子丸 健
(72)【発明者】
【氏名】松葉 慶暁
【住所又は居所】広島県安芸郡府中町新地3番1号 マツダ株式会社内
(72)【発明者】
【氏名】大坪 智範
【住所又は居所】広島県安芸郡府中町新地3番1号 マツダ株式会社内
(72)【発明者】
【氏名】中村 誠之
【住所又は居所】広島県安芸郡府中町新地3番1号 マツダ株式会社内
(72)【発明者】
【氏名】橋本 直朋
【住所又は居所】広島県安芸郡府中町新地3番1号 マツダ株式会社内
【テーマコード(参考)】
5B057
5C054
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD12
5B057DA16
5C054ED11
5C054FC12
5C054FD00
5C054HA30
(57)【要約】      (修正有)
【課題】広角レンズのカメラにより撮像した画像をドライバに表示する際にドライバの注意力が低下することを防止し、ドライバの安全運転を支援する車両用画像表示装置を提供する。
【解決手段】車両2に搭載され、ドライバの運転を支援する車両用画像表示装置であって、車両外部の側方部に外方向に向けて設置され、広角レンズを介して車両側方を撮像するサイドカメラ7、9と、このサイドカメラにより撮像された広角画像を補正して平面画像を生成すると共に、この平面画像を処理して処理画像を生成する処理部と、処理部から送信された画像を画面上に表示する表示部とを有する。平面画像は、設定車速の車両が停止するまでの間に車両が走行可能な移動区間53、55上の、走行路面部分Aの画像と移動区間外の周辺路面部分Bの画像とを含む。処理部は、平面画像に対して周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行して、処理画像を生成する。
【選択図】図7
【特許請求の範囲】
【請求項1】
車両に搭載され、ドライバの運転を支援する車両用画像表示装置であって、
前記車両外部の側方部に外方向に向けて設置され、広角レンズを介して車両側方を撮像するサイドカメラと、
このサイドカメラにより撮像された広角画像を補正して平面画像を生成すると共に、この平面画像を処理して処理画像を生成する処理部と、
前記処理部から送信された画像を画面上に表示する表示部と、を有し、
前記平面画像は、設定車速の前記車両が停止するまでの間に前記車両が走行可能な移動区間上の走行路面部分の画像と、前記移動区間外の周辺路面部分の画像とを含み、
前記処理部は、前記平面画像に対して前記周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行して前記処理画像を生成する、ことを特徴とする車両用画像表示装置。
【請求項2】
前記少なくとも一部の周辺路面部分の画像は、前記設定車速の前記車両が停止するときの前記車両の車両進行方向の到達位置より遠方側の画像である、請求項1に記載の車両用画像表示装置。
【請求項3】
前記車両進行方向の到達位置は、前記設定車速に基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車両進行方向の空走距離とドライバが制動動作を開始してから前記車両が停止するまでの車両進行方向の制動距離に基づき規定される、請求項2に記載の車両用画像表示装置。
【請求項4】
前記少なくとも一部の周辺路面部分の画像は、前記設定車速の前記車両が停止するときの前記車両の車幅方向の到達位置より外側の画像である、請求項1乃至3に記載の車両用画像表示装置。
【請求項5】
前記車幅方向の到達位置は、前記設定車速及び前記最大舵角に基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車幅方向の空走距離とドライバが制動動作を開始してから前記車両が停止するまでの車幅方向の制動距離に基づき規定される、請求項4に記載の車両用画像表示装置。
【請求項6】
前記広角レンズの光軸は、前記走行路面部分の画像におけるコントラスト比が30パーセント以上となるように前記走行路面部分の所定位置に向けて設定されている、請求項1乃至5の何れか1項に記載の車両用画像表示装置。
【請求項7】
ドライバの運転を支援する車両用画像表示装置の画像処理方法であって、
車両側方を撮像するサイドカメラにより広角レンズを介して撮像された広角画像を受信する工程と、
前記広角画像を補正して平面画像を生成すると共に、この平面画像を処理して処理画像を生成する工程と、
前記平面画像は、設定車速の前記車両が停止するまでの間に前記車両が走行可能な移動区間上の走行路面部分の画像と、前記移動区間外の周辺路面部分の画像とを含み、
前記処理部は、前記平面画像に対して前記周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行して前記処理画像を生成する工程と、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用画像表示装置及び画像処理方法に係り、特に車両に搭載され、ドライバの運転を支援する車両用画像表示装置及び画像処理方法に関する。
【背景技術】
【0002】
従来から、車外に設けられたカメラにて車両周囲を撮像し、撮像した画像を車内に設置されたモニタに表示することにより、ドライバの運転を支援する車両用画像表示装置が知られている。この装置は、例えばドライバが駐車を行う際に、カメラにてドライバの死角となる車両周囲を撮像してモニタに表示することによって、ドライバの車両周囲の安全確認を支援している。そのために、カメラは、広い範囲を撮像することができる広角レンズ(魚眼レンズ等)を備えたものが使用されている。
【0003】
この広角レンズのカメラで撮像された画像は、光軸から離れるほど画像が圧縮されて「歪み」が発生する。この「歪み」により、画像の周辺部の視認が難しかった。この問題を解消するために、広角レンズのカメラで撮像された画像を座標変換し、「歪み」のない平面画像としてモニタに表示する車両用画像表示装置が知られている(例えば、特許文献1又は2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016−143381号公報
【特許文献2】特開2016−167792号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、広角レンズのカメラで撮像された画面を座標変換した平面画像は、画像周辺部が中央部に比べて少ない画素数で構成されているため、光軸から離れた部分に「ぼやけ」が発生する。このため依然としてドライバは周辺部を視認し難いという問題がある。また、車両に対するカメラの設置位置は、車両外観デザインや周辺部品との兼ね合いで決められており、モニタに表示される画像の「ぼやけ」に対する考慮はされていなかった。即ち、ドライバが安全上注視すべき車両周囲がモニタに表示されていても、その部分に「ぼやけ」が発生している場合があり、ドライバが視認し難いという問題があった。また、ドライバは、「ぼやけ」が発生している部分を確認することに気を取られ、ドライバの運転に対する注意力が低下する恐れがあるという問題があった。
【0006】
従って、本発明は、広角レンズのカメラにより撮像した画像をドライバに表示する際に、ドライバの注意力が低下することを防止し、ドライバの安全運転を支援することができる車両用画像表示装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の車両用画像表示装置は、車両に搭載され、ドライバの運転を支援する車両用画像表示装置であって、車両外部の側方部に外方向に向けて設置され、広角レンズを介して車両側方を撮像するサイドカメラと、このサイドカメラにより撮像された広角画像を補正して平面画像を生成すると共に、この平面画像を処理して処理画像を生成する処理部と、処理部から送信された画像を画面上に表示する表示部と、を有し、平面画像は、設定車速の車両が停止するまでの間に車両が走行可能な移動区間上の走行路面部分の画像と移動区間外の周辺路面部分の画像とを含み、処理部は、平面画像に対して周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行して処理画像を生成することを特徴とする。
【0008】
このように構成された本発明においては、ドライバが安全上注視すべき走行路面部分外であり、「ぼやけ」が発生し得る周辺路面部分の画像の少なくとも一部を含まないように加工処理した処理画像を表示する。したがって、ドライバが周辺路面部分に気を取られず、走行路面部分を視認することでき、ドライバの注意力が散乱することを防止し、ドライバの安全運転を支援することができる。
【0009】
また、本発明において、好ましくは、少なくとも一部の周辺路面部分の画像は、設定車速の車両が停止するときの車両の車両進行方向の到達位置より遠方側の画像である。このように構成された本発明においては、車両進行方向の到達位置より遠方側の周辺路部分の画像を含まないように加工処理することができる。
【0010】
また、本発明において、好ましくは、車両進行方向の到達位置は、設定車速に基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車両進行方向の空走距離とドライバが制動動作を開始してから車両が停止するまでの車両進行方向の制動距離に基づき規定される。このように構成された本発明においては、車両進行方向の走行路面部分を精度良く定めることができ、周辺路部分を含まないように加工処理することができる。
【0011】
また、本発明において、好ましくは、少なくとも一部の周辺路面部分の画像は、設定車速の車両が停止するときの車両の車幅方向の到達位置より外側の画像である。このように構成された本発明においては、車幅方向の到達位置より外側の周辺路部分の画像を含まないように加工処理することができる。
【0012】
本発明において、好ましくは、車幅方向の到達位置は、設定車速及び最大舵角に基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車幅方向の空走距離とドライバが制動動作を開始してから車両が停止するまでの車幅方向の制動距離に基づき規定される。このように構成された本発明においては、車幅方向の走行路面部分を精度良く定めることができ、周辺路部分を含まないように加工処理することができる。
【0013】
また、本発明において、好ましくは、広角レンズの光軸は、走行路面部分の画像におけるコントラスト比が30パーセント以上となるように走行路面部分の所定位置に向けて設定されている。このように構成された本発明においては、画面上に表示される走行路面部分に「ぼやけ」が発生しておらず、ドライバは「ぼやけ」がない状態で走行路面部分を視認することができる。
【0014】
上述した課題を解決するために、本発明の画像処理方法は、ドライバの運転を支援する車両用画像表示装置の画像処理方法であって、車両側方を撮像するサイドカメラにより広角レンズを介して撮像された広角画像を受信する工程と、広角画像を補正して平面画像を生成すると共に、この平面画像を処理して処理画像を生成する工程と、平面画像は、設定車速の車両が停止するまでの間に車両が走行可能な移動区間上の走行路面部分の画像と、移動区間外の周辺路面部分の画像とを含み、処理部は、平面画像に対して周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行して処理画像を生成する工程と、を有することを特徴とする。
【0015】
このように構成された本発明においては、ドライバが安全上注視すべき走行路面部分以外であり、「ぼやけ」が発生し得る周辺路面部分の画像の少なくとも一部を含まないように加工処理を実行する画像処理方法が提供される。したがって、ドライバが周辺路面部分に気を取られず、走行路面部分を視認することでき、ドライバの注意力が散乱することを防止し、ドライバの安全運転を支援することができる。
【発明の効果】
【0016】
本発明の車両用画像表示装置及び画像処理方法は、広角レンズのカメラにより撮像した画像をドライバに表示する際に、ドライバの注意力が低下することを防止し、ドライバの安全運転を支援することができる。
【図面の簡単な説明】
【0017】
図1図1(a)は、本発明の実施形態の車両用画像表示装置を搭載した車両全体を示す側面図であり、図1(b)は、図1(a)の平面図である。
図2】本発明の実施形態による車両用画像表示装置を示す基本構成図である。
図3図3(a)は、本実施形態による車両用画像表示装置を使用している際の車両状態を表す図であり、図3(b)は、図3(a)の際の液晶画面の表示状態を表す図である。
図4図4(a)は、広角レンズのカメラにより撮像した広角画像を補正した平面画像のイメージを示す図であり、図4(b)は、図4(a)の平面画像に加工処理をした処理画像のイメージを示す図である。
図5】「ぼやけ」とコントラスト比との関係を説明するための図である。
図6】本発明の実施形態による車両用画像表示装置の車両の走行路面部分について示す後面図である。
図7図6の平面図である。
図8】本発明の実施形態による画像処理方法を示すフローチャートである。
【0018】
以下、添付図面を参照して、本発明の実施形態を説明する。
まず、図1及び2を参照して、本発明の実施形態による車両用画像表示装置の基本構成について説明する。図1(a)は車両用画像表示装置を搭載した車両全体を示す側面図、図1(b)は図1(a)の平面図である。図2は車両用画像表示装置を示す基本構成図である。
【0019】
本明細書においては、車両が前進する側を前、車両が後進する側を後、前を向いて車両の車幅方向を左右、鉛直方向を上下、車幅方向において車両と離れる側を外、近づく側を内と呼んでいる。
【0020】
図1及び2に示すように、車両用画像表示装置1は、車両2に搭載され、フロントカメラ3、リアカメラ5、左サイドカメラ7、右サイドカメラ9、表示部11、スイッチ13、処理部15を備えている。車両用画像表示装置1は、各種センサから各センサデータを取得する。各種センサは、ギヤポジションセンサ17、車速センサ19、ステアリング舵角センサ21を含む。
【0021】
図1を参照して、フロントカメラ3は、車両2外部の前方部4で、車両2の前端且つ車幅方向中央に設置される。具体的には、フロントカメラ3は、前方部4の左右ヘッドライトの間に配置されるオーナメントの上方に設置される。フロントカメラ3は、広角レンズを備え、前方且つ下方を向くように設置されている。広角レンズは、例えば魚眼レンズ、超広角レンズ等が用いられ、ドライバの視界の画角より広い画角範囲(約180度)の広角画像を撮像可能である。これにより、フロントカメラ3は、広角レンズを介して車両2の前方の車両周囲を広範囲で撮像することができる。また、フロントカメラ3は、処理部15と通信可能に接続され、撮像した広角画像データを処理部15に送信する。
【0022】
リアカメラ5は、車両2外部の後方部6で、車両2の後端且つ車幅方向中央に設置される。具体的には、リアカメラ5は、後方部6の左右バックライトの間に配置されるナンバープレートの上方に設置される。換言すると、リアカメラ5は、リアガラス8の下縁と略同じ高さ位置、即ちドライバがリアガラス8を見たとき死角領域となる後方部6の後端の最上縁(死角領域と死角外領域との境界)付近に設置される。これにより、ドライバがリアガラス8を介して死角領域を視認しているような画像を撮像することができる。また、リアカメラ5は、フロントカメラ3と同じ仕様の広角レンズを備え、後方且つ下方を向くように設置される。これにより、リアカメラ5は、広角レンズを介して車両2の後方の車両周囲を広範囲で撮像することができる。また、リアカメラ5は、処理部15と通信可能に接続され、撮像した広角画像データを処理部15に送信する。
【0023】
左サイドカメラ7及び右サイドカメラ9は、車両2外部の側方部12に配置される左右両方のドアミラー10の下部に設置される。また、左右サイドカメラ7、9は、フロントカメラ3と同じ仕様の広角レンズを備え、外方向且つ下方を向くように設置されている。これにより、左右サイドカメラ7、9は、広角レンズを介して車両2の側方の車両周囲を広い範囲で撮像することができる。また、左右サイドカメラ7、9は、処理部15と通信可能に接続され、撮像した広角画像データを処理部15に送信する。
【0024】
表示部11は、画像を表示する液晶画面を備え、車内前方のダッシュボード上に設置される。この表示部11は、カーナビゲーションシステム用の液晶画面を兼用してもよい。この液晶画面は、運転席を向いており、運転中のドライバが画面を視認できるように設置されている。また、表示部11は、処理部15と通信可能に接続され、処理部15を介して画像データを受信する。
【0025】
ギヤポジションセンサ17は、複数のギヤを備える変速機構と電気的に接続している。変速機構は、車両2が後進するためのバックギヤと、車両が前進するための複数のドライブギヤとを備えている。運転者が操作レバーを操作して一つギヤを選択すると、選択された車両進行方向及び速度により車両2は走行する。ギヤポジションセンサ17は、処理部15と通信可能に接続され、操作レバーの位置を検知し、ギヤ位置のデータを処理部15に送信する。
【0026】
車速センサ19は、車両2の絶対速度を検知する。車速センサ19は、処理部15と通信可能に接続され、車両2の絶対速度のデータを処理部15に送信する。
【0027】
ステアリング舵角センサ21は、ステアリングの操舵角を検知する。ステアリング舵角センサ21は、処理部15と通信可能に接続され、ステアリングの操舵角のデータを処理部15に送信する。
【0028】
スイッチ13は、表示部11又は車内の運転席近傍に設置され、表示部11及び各種カメラを起動又は終了させる電源スイッチ18と、表示部11の画像の種類を切り替える画像切替スイッチ20とを備える。操作レバーがドライブギヤに入っている場合、ドライバは、画像切替スイッチ20によって、フロントカメラ3により撮像された前方画像又はより広範囲を撮像した前方広域画像又は左右サイドカメラ7、9により撮像された側方画像の何れかを選択して液晶画面上に表示することができる。操作レバーがバックギヤに入っている場合、ドライバは、画像切替スイッチ20によって、リアカメラ5により撮像した後方画像又はより広範囲を撮像した後方広域画像の何れかを選択して液晶画面上に表示することができる。各スイッチは、処理部15と通信可能に接続され、各スイッチからデータを処理部15に送信する。
【0029】
処理部15は、各信号と各データを統合するCMU(コネクティビティマスタユニット)又は/及びECU(Electronic Control Unit)である。処理部15は、各種カメラにて撮像された広角画像データを受信する。処理部15は、この広角画像を座標変換して補正を行うことにより平面画像をリアルタイムで生成する。同時に、処理部15は、左右サイドカメラ7、9により撮像された平面画像に対して加工処理を実行することにより処理画像を生成する。次いで、処理部15は、この処理画像の画像データを表示部11に送信する。これにより、左右サイドカメラ7、9により撮像された画像は、処理画像として表示部11に表示される。更に、処理部15は、各種センサ、スイッチ13からの各データに基づいて、表示部11の液晶画面上に表示する各カメラ画像の種別と内容を制御する。なお、本実施形態においては、処理部15は、加工処理の一例としてマスク処理を実行する。
【0030】
次いで、図3及び4を参照して、本発明の本実施形態による車両用画像表示装置の基本概念について説明する。図3(a)は車両用画像表示装置を使用している際の車両状態を表す図、図3(b)は図3(a)の際の液晶画面の表示状態を表す図である。図4(a)は広角レンズのカメラにより撮像した広角画像を補正した平面画像のイメージを示す図、図4(b)は図4(a)の平面画像に加工処理をした処理画像のイメージを示す図である。
【0031】
図3に示すように、車両用画像表示装置1は、例えばドライバが車両2を縁石16に沿って幅寄せするときに使用される(図3(a)参照)。車両用画像表示装置1は、ドライバが電源スイッチ18をオンにすることにより起動される。次いで、ドライバが操作レバーをドライブギヤに入れると、処理部15は、サイドカメラ7、9によって撮像された車両2の側方の周囲画像を表示部11に表示する。表示部11の液晶画面には、各種画像を表示する各方向画像表示部24と、使用状態を示すアイコン26と、電源スイッチ18及び画像切替スイッチ20とが表示される(図3(b)参照)。
【0032】
各方向画像表示部24には、フロントカメラ3又はリアカメラ5、左右サイドカメラ7、9により撮像された画像が表示される。図3(b)の各方向画像表示部24には左右サイドカメラ7、9により撮像された左右側方画像が並んで表示されている。この側方画像には、車両平行線28及び車両前端線30が含まれている。車両平行線28は、ドアミラー10を含んだ車幅の目安を示す線である。車両前端線30は、車両2の前端の目安を示す線である。各方向画像表示部24に表示される画像は、画像切替スイッチ20により前方画像又は前方広域画像に切り替えることができる。また、ドライバが操作レバーをバックギヤに入れると、画像切替スイッチ20に応じて、後方画像又は後方広域画像を表示することができる。
【0033】
アイコン26は、各方向画像表示部24に表示中の画像を撮像しているカメラを表している。
【0034】
このように、各種カメラにより撮像したドライバの死角となる車両周囲画像は、表示部11の液晶画面に表示される。これにより、ドライバは表示部11の液晶画面により車両周囲の安全を確認しながら車両2を運転することができる。
【0035】
また、望ましくは、処理部15は、車速センサ19が検知する絶対車速が15km/hを超えたと判断すると、表示部11の画面表示を停止する。これにより各方向画像表示部24の画像はオフになる。
【0036】
車両用画像表示装置1のカメラに用いられるレンズは、広角レンズ、例えば魚眼レンズ、超広角レンズ等であり、撮像された広角画像は円形画像で表示される。広角画像の周辺部は、中心部と比べ画像が圧縮されているため、光軸から離れるほど「歪み」が生じている。これにより、広角画像は、「歪み」が生じている周辺部において視認が難しくなっている。
【0037】
図4(a)に示すように、広角画像の「歪み」を解消するために、処理部15により広角画像を座標変換による補正をして平面画像を生成する。図4(a)の平面画像37は、広角画像を補正した平面画像の一部を表示したものである。平面画像37の周辺領域40は、中心領域38に比べ少ない画素数で構成されているため、座標変換による補正をすると画素数が不足する。このため、平面画像37は、光軸(図示せず)から離れるほど「ぼやけ」が生じている。即ち、周辺領域40は、コントラスト比が30パーセントより小さく「ぼやけ」が生じているため、ドライバが撮像体を視認するのに適していない領域である。また、平面画像37の中央領域38は、コントラスト比が30パーセント以上であり「ぼやけ」が殆ど生じていないため、ドライバが撮像体を視認するのに適している領域である。
【0038】
平面画像37において、中央領域38はドライバが撮像体を視認するのに適しており、周辺領域40はドライバが撮像体を視認するのに適していない。中央領域38にドライバが運転する際に注視すべき走行路面部分が表示されている場合、ドライバはこの走行路面部分を瞬時に視認することができる。しかしながら、周辺領域40に走行路面部分外の周辺路面部分が表示されている場合、周辺領域40には「ぼやけ」が生じているため、ドライバは周辺路面部分の確認に気を取られ、運転に対する注意力が低下する恐れがある。
【0039】
図4(b)は、処理部15により平面画像37を加工処理した際の処理画像42である。処理画像42は、周辺領域40に含まれる周辺路面部分の一部の画像が加工部分44として隠されており、中央領域38に含まれる走行路面部分の画像はそのまま表示されている。この場合の加工されている周辺路面部分の一部は、車両2の側方部12から車幅方向に所定距離離れた位置より外側の画像である。これにより、ドライバは「ぼやけ」が生じている周辺路面部分の確認に気を取られることなく走行路面部分を視認することができる。
【0040】
次いで、図5を参照して、本実施形態による「ぼやけ」の定義について説明する。図5は「ぼやけ」とコントラスト比との関係を説明するための図である。
【0041】
「ぼやけ」は、例えばコントラスト比により定義される。コントラスト比は、任意の境界から所定幅範囲内の画素の最小輝度値Lminを所定幅範囲内の画素の最大輝度値Lmaxで除した値である(コントラスト比(%)=Lmin/Lmax×100)。図5に示すように、コントラスト比が100%の場合(図5(a))、「ぼやけ」が生じておらず、ドライバは鮮明に撮像体を視認することができる。コントラスト比が50%の場合(図5(b))、「ぼやけ」が多少生じているが、ドライバが鮮明に撮像体を視認できる限界である。コントラスト比が10%の場合(図5(c))、「ぼやけ」がかなり生じており、ドライバは撮像体を視認することが難しい。即ち、コントラスト比が30%以上であれば、ドライバは撮像体を視認するのに適している。
【0042】
本実施形態において、ドライバの視認に適するコントラスト比の閾値を30%としたが、閾値は撮像体の大きさ等により変更することができ、例えば小さな撮像体をカメラで撮像する場合には30%より大きく設定することが望ましい。
【0043】
次いで、図6及び7を参照して、本発明の本実施形態による車両用画像表示装置の特徴について説明する。図6は本発明の実施形態による車両用画像表示装置の車両の走行路面部分について示す後面図である。図7図6の平面図である。
【0044】
図6、7に示すように、側方部12のドアミラー10の下部には左右サイドカメラ7、9が設置されている。左右サイドカメラ7、9が撮像する範囲における路面51には、左方向の最大舵角で設定車速の車両2が前進して停止するまでの間に車両2が移動し得る左側移動区間53と、右方向の最大舵角で設定車速の車両2が前進して停止するまでの間に車両2が移動し得る右側移動区間55とが設定されている。
【0045】
左側移動区間53は、前端線52、後端線57、外端線54、内端線59とで囲まれる区間である。また、右側移動区間55は、前端線61、後端線58、外端線56、内端線60とで囲まれる領域である。この左側移動区間53及び右側移動区間55は、車両2を幅寄せする際に、左右サイドカメラ7、9が撮像する範囲において、ドライバが安全上注視すべき走行路面部分Aである。また、この移動区間53、55(走行路面部分A)外は、周辺路面部分Bであり、車両2を幅寄せする際にドライバが注視する必要性が比較的低い路面である。
【0046】
前端線52、61は、設定車速の車両2が前進してから停止するまで(車両2が或る基準位置aから位置bに移動するまで)に、車両2の前端が到達し得る車両進行方向の到達位置である。前端線52、61は、その到達位置において、車両2の前方部4の外郭線と平行に車幅方向に延びている。
【0047】
左側の外端線54は、左方向の最大舵角で設定車速の車両2が前進してから停止するまで(車両2が或る基準位置aから位置cに移動するまで)に、前方部4と側方部12の角部が到達し得る車幅方向の到達位置である。左側の外端線54は、その到達位置において、車両2の側方部12の外郭線と平行に車両進行方向に延びている。
【0048】
右側の外端線56は、右方向の最大舵角で設定車速の車両2が前進してから停止するまで(車両2が或る基準位置aから位置dに移動するまで)に、前方部4と側方部12の角部が到達し得る車幅方向の到達位置である。右側の外端線56は、その到達位置において、車両2の側方部12の外郭線と平行に車両進行方向に延びている。
【0049】
後端線57、58は、最大舵角で設定車速の車両2が前進してから停止するまで(車両2が或る基準位置aから位置c又はdに移動するまで)に車両2の側方部12が移動する軌跡を表す線である。
【0050】
移動区間53、55の内端線59、60は、車両2の側方部12の側端の位置であり、側方部12の外郭線に沿って車両進行方向に延びる線である。また、この線より車幅方向内側は車両2で隠れるため、内端線59、60は、左右サイドカメラ7、9が路面51を撮像できる車幅方向内側の限界を表す線である。
【0051】
移動区間53、55の車両進行方向の最大距離Lは、車両2の前端から前端線52、61(車両進行方向の到達位置)までの距離である。具体的に、最大距離Lは、設定車速Vで前進中に或る基準位置aでドライバが対象物を認識し制動動作を開始してから車両2が位置bで停止するまでの間において、車両2の前端が移動する距離である。
【0052】
更に、最大距離Lは、設定車速Vに基づいて得られ、ドライバが対象物を認知して制動動作を開始するまでの車両進行方向の空走距離L1とドライバが制動動作を開始してから車両2が停止するまでの車両進行方向の制動距離L2の和により算出される(L=L1+L2)。
【0053】
設定車速Vは、予め規定される固定値であり、幅寄せする場合を想定して15km/hと設定される。
【0054】
空走距離L1は、ドライバが液晶画面を見てから対象物を認知するまでの時間t1とドライバが対象物を認知してから制動動作を開始するまでの時間t2との和に対して設定車速Vを乗じた距離である(L2=(t1+t2)×V)。t1とt2は、予め規定される固定値であり、それぞれ0.5sと0.75sと設定される。
【0055】
制動距離L2は、設定速度Vを、摩擦係係数μに重力加速度Gを乗じて二掛けした値によって除した距離である(L2=V/(2×μ×G))。
【0056】
移動区間53、55の車幅方向の最大距離Wは、内端線59、60から外端線54、56までの距離である。具体的に、最大距離Wは、設定車速V及び最大舵角で前進中に或る基準位置aでドライバが対象物を認識し制動動作を開始してから車両2が位置c又はdで停止するまでの間において、前方部4と側方部12の角部が車幅方向に移動する距離である。
【0057】
更に、最大距離Wは、設定車速V及び最大舵角に基づいて得られ、ドライバが対象物を認知して制動動作を開始するまでの車幅方向の空走距離W1とドライバが制動動作を開始してから車両2が停止するまでの車幅方向の制動距離W2の和により算出される(W=W1+W2)。
【0058】
図6、7に示すように、左右サイドカメラ7、9の広角レンズの光軸62、64は、走行路面部分Aの全面が、平面画像37の中央領域38に含まれるように、鉛直線に対して所定角度傾け、走行路面部分Aの所定位置に向けて設定されている。換言すれば、光軸62、64は、表示部11に表示される走行路面部分Aの画像におけるコントラスト比が30パーセント以上となるように、走行路面部分Aの所定位置に向けて設定されている。
【0059】
更に、広角レンズの光軸62、64は、走行路面部分Aにおける車両進行方向(前後方向)及び車幅方向(左右方向)の略中央の中央部分と交差するように、前方且つ外方向に向くように設定されている。このような広角レンズを介して撮像された平面画像37は、中央領域38に走行路面部分Aが含まれ、周辺領域40に周辺路面部分Bが含まれる。
【0060】
この平面画像37に対して、処理部15は、周辺路面部分Bの画像の少なくとも一部を含まないように加工処理を実行し、処理画像42を生成する。具体的に、処理部15は、外端線54、56より外側の周辺路面部分Bの画像を加工部分44として隠し、走行路面部分Aの画像を表示する。なお、外端線54、56より外側の周辺路面部分Bの画像のみを加工部分として隠す実施形態には限定されず、前端線52、61より前側(遠方側)の画像を加工部分として隠しても、周辺路面部分Bの全てを加工部分と隠しても良い。
【0061】
次いで、図8を参照して本発明の実施形態による処理部15の画像処理方法について説明する。図8は画像処理方法を示すフローチャートである。図8において、Sは各工程を示す。
【0062】
図8に示すように、まず、S1では、処理部15は、広角レンズを介して左右サイドカメラ7、9により撮像された車両周囲の広角画像のデータを受信する。
【0063】
次いで、S2では、処理部15は、S1で受信した広角画像を座標変換による補正をして平面画像を生成する。
【0064】
S3では、処理部15は、車両2の設定車速V(例えば、15km/h)及び最大舵角に基づき、車両進行方向の最大移動距離L及び車幅方向の最大移動距離Wを算出する。次いで、ドライバが対象物を認知してから設定車速Vの車両2が停止するまでの間に車両2が走行可能な移動区間53、55上の走行路面部分Aを設定する。換言すれば、この移動区間53、55(走行路面部分A)外は、ドライバが幅寄せする際に注視する必要性が比較的低い周辺路面部分Bとして設定される。
【0065】
次いで、S4では、処理部15は、平面画像37に対して、少なくとも一部の周辺路面部分Bの画像を含まないように加工処理を実行し、処理画像42を生成する。これにより、周辺路面部分Bの少なくとも一部は加工部分44として隠される。具体的には、外端線54、56より外側の周辺路面部分Bの画像が加工部分44として隠される。なお、外端線54、56より外側の周辺路面部分Bの画像のみを加工部分として隠す実施形態には限定されず、前端線52、61より前側(遠方側)の画像を加工部分として隠しても、周辺路面部分Bの全てを加工部分と隠しても良い。
【0066】
S5では、処理部15は、処理画像42を表示装置11に送信する。これで画像処理方法のフローを完了する。
【0067】
次いで、本実施形態の(作用)効果について説明する。
本実施形態の車両用画像表示装置1は、車両2外部の側方部12に外方向に向けて設置され、広角レンズを介して車両側方を撮像するサイドカメラ7、9と、このサイドカメラ7、9により撮像された広角画像を補正して平面画像37を生成すると共に、この平面画像37を処理して処理画像42を生成する処理部15と、処理部15から送信された画像を画面上に表示する表示部11と、を有し、平面画像37は、設定車速Vの車両2が停止するまでの間に車両2が走行可能な移動区間53、55上の走行路面部分Aの画像と移動区間外の周辺路面部分Bの画像とを含み、処理部15は、平面画像37に対して周辺路面部分Bの画像の少なくとも一部を含まないように加工処理を実行して処理画像42を生成する。
【0068】
このよう本実施形態においては、ドライバが安全上注視すべき走行路面部分A外であり、「ぼやけ」が発生し得る周辺路面部分Bの画像の少なくとも一部を含まないように加工処理した処理画像42を表示する。したがって、ドライバが周辺路面部分Bに気を取られず、走行路面部分Aを視認することでき、ドライバの注意力が散乱することを防止し、ドライバの安全運転を支援することができる。
【0069】
また、本実施形態において、好ましくは、少なくとも一部の周辺路面部分Bの画像は、設定車速Vの車両2が停止するときの車両2の車両進行方向の到達位置(前端線52、61)より遠方側の画像である。このように構成された本実施形態においては、車両進行方向の到達位置より遠方側の周辺路部分の画像を含まないように加工処理することができる。
【0070】
本実施形態において、好ましくは、車両進行方向の到達位置(前端線52、61)は、設定車速Vに基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車両進行方向の空走距離L1とドライバが制動動作を開始してから車両が停止するまでの車両進行方向の制動距離L2に基づき規定される。このように構成された本実施形態においては、車両進行方向の走行路面部分Aを精度良く定めることができ、周辺路部分Bを含まないように加工処理することができる。
【0071】
また、本実施形態において、好ましくは、少なくとも一部の周辺路面部分Bの画像は、設定車速Vの車両2が停止するときの車両2の車幅方向の到達位置(外端線54、56)より外側の画像である。このように構成された本実施形態においては、車幅方向の到達位置より外側の周辺路部分の画像を含まないように加工処理することができる。
【0072】
本実施形態において、好ましくは、車幅方向の到達位置(外端線54、56)は、設定車速V及び最大舵角に基づいて得られる、ドライバが対象物を認知して制動動作を開始するまでの車幅方向の空走距離W1とドライバが制動動作を開始してから車両が停止するまでの車幅方向の制動距離W2に基づき規定される。このように構成された本実施形態においては、車幅方向の走行路面部分Aを精度良く定めることができ、周辺路部分Bを含まないように加工処理することができる。
【0073】
また、本実施形態において、好ましくは、広角レンズの光軸62、64は、走行路面部分Aの画像におけるコントラスト比が30パーセント以上となるように走行路面部分Aの所定位置に向けて設定されている。このように構成された本実施形態においては、画面上に表示される走行路面部分Aに「ぼやけ」が発生しておらず、ドライバは「ぼやけ」がない状態で走行路面部分Aを視認することができる。
【0074】
本実施形態の画像処理方法は、ドライバの運転を支援する車両用画像表示装置の画像処理方法であって、車両2側方を撮像するサイドカメラ7、9により広角レンズを介して撮像された広角画像を受信する工程と、広角画像を補正して平面画像37を生成すると共に、この平面画像37を処理して処理画像42を生成する工程と、平面画像37は、設定車速Vの車両2が停止するまでの間に車両2が走行可能な移動区間53、55上の走行路面部分Aの画像と、移動区間53,55外の周辺路面部分Bの画像とを含み、処理部15は、平面画像37に対して周辺路面部分Bの画像の少なくとも一部を含まないように加工処理を実行して処理画像42を生成する工程を有する。
【0075】
このように構成された本実施形態においては、ドライバが安全上注視すべき走行路面部分A以外であり、「ぼやけ」が発生し得る周辺路面部分Bの画像の少なくとも一部を含まないように加工処理を実行する画像処理方法が提供される。したがって、ドライバが周辺路面部分Bに気を取られず、走行路面部分Aを視認することでき、ドライバの注意力が散乱することを防止し、ドライバの安全運転を支援することができる。
【0076】
本発明の上述した実施形態に限定されることなく、特許請求の範囲に記載された技術的思想の範囲内で種々の変更、変形が可能である。
【符号の説明】
【0077】
1 車両用画像表示装置
2 車両
7、9 サイドカメラ
11 表示部
15 処理部
37 平面画像
38 中央領域
40 周辺領域
42 処理画像
44 加工部分
53 左側移動区間
55 右側移動区間
62、64 広角レンズの光軸
A 走行路面部分
B 周辺路面部分
図1
図2
図3
図4
図5
図6
図7
図8