特許第6504529号(P6504529)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マツダ株式会社の特許一覧
<>
  • 特許6504529-車両用表示装置 図000002
  • 特許6504529-車両用表示装置 図000003
  • 特許6504529-車両用表示装置 図000004
  • 特許6504529-車両用表示装置 図000005
  • 特許6504529-車両用表示装置 図000006
  • 特許6504529-車両用表示装置 図000007
  • 特許6504529-車両用表示装置 図000008
  • 特許6504529-車両用表示装置 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6504529
(24)【登録日】2019年4月5日
(45)【発行日】2019年4月24日
(54)【発明の名称】車両用表示装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20190415BHJP
   B60R 1/00 20060101ALI20190415BHJP
   G06T 1/00 20060101ALI20190415BHJP
   B60R 11/02 20060101ALN20190415BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G06T1/00 330A
   !B60R11/02 C
【請求項の数】5
【全頁数】14
(21)【出願番号】特願2017-196564(P2017-196564)
(22)【出願日】2017年10月10日
【審査請求日】2018年3月23日
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100059959
【弁理士】
【氏名又は名称】中村 稔
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100088694
【弁理士】
【氏名又は名称】弟子丸 健
(74)【代理人】
【識別番号】100168871
【弁理士】
【氏名又は名称】岩上 健
(72)【発明者】
【氏名】松葉 慶暁
(72)【発明者】
【氏名】大坪 智範
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 国際公開第2009/104675(WO,A1)
【文献】 国際公開第2011/070640(WO,A1)
【文献】 国際公開第2011/007683(WO,A1)
【文献】 特開2014−060646(JP,A)
【文献】 特開2014−197818(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
G06T 1/00
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
車両周辺の画像を表示する車両用表示装置であって、
画像を表示する表示手段と、
車両の周辺を撮影するカメラと、
前記カメラにより撮影された画像に、車体を模擬した半透明の部分と、車両の窓を模擬した部分であって前記車体を模擬した部分よりも透過率が低い部分とを含むマスク画像を重畳して表示画像を生成し、前記表示画像を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする車両用表示装置。
【請求項2】
前記カメラは、車両の後方を撮影する後方カメラと、車両の側方を撮影する側方カメラとを含み、
前記表示制御手段は、車両の後退時に、前記後方カメラにより撮影された後方画像と前記側方カメラにより撮影された側方画像とを合成して単一画像を生成し、前記単一画像に、車両のリアサイドウィンドウを模擬した部分を含み、前記リアサイドウィンドウを模擬した部分の透過率は前記車体を模擬した部分の透過率よりも低い前記マスク画像を重畳する、請求項1に記載の車両用表示装置。
【請求項3】
前記カメラは、車両の前方を撮影する前方カメラと、車両の側方を撮影する側方カメラとを含み、
前記表示制御手段は、車両の前進時に、前記前方カメラにより撮影された前方画像と前記側方カメラにより撮影された側方画像とを合成して単一画像を生成し、前記単一画像に、車両のフロントウインドシールドを模擬した部分を含み、前記フロントウインドシールドを模擬した部分の透過率は前記車体を模擬した部分の透過率よりも低い前記マスク画像を重畳する、請求項1又は2に記載の車両用表示装置。
【請求項4】
車速を検出する車速検出手段を備え、
前記表示制御手段は、車速が所定の閾値以下の場合、前記カメラにより撮影された画像に、前記車両の窓を模擬した部分を含む前記マスク画像を重畳し、車速が前記閾値より大きい場合、前記カメラにより撮影された画像に、前記車両の窓を模擬した部分を含まない前記マスク画像を重畳する、請求項1から3の何れか1項に記載の車両用表示装置。
【請求項5】
前記マスク画像は、車両の後端部を模擬した部分を含み、前記車両の後端部を模擬した部分において車両のリアウィンドウに相当する部分は透明である、請求項1から4の何れか1項に記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用表示装置に係わり、特に、自車両周辺の画像を表示する車両用表示装置に関する。
【背景技術】
【0002】
従来、車両周囲に設置されたカメラで撮影した画像を用いて、自車両周辺の画像を表示する表示装置が知られている。
【0003】
例えば、特許文献1には、車両周囲に設置した複数のカメラで撮影した画像を視点変換して、あたかも上空から自車両を撮影したような俯瞰映像を作成し、視点変換していない画像と同時に表示するようにした映像表示装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−251681号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したような従来の表示装置においては、人間が本来見ることのできない俯瞰画像を表示する。したがって、その俯瞰画像を見たドライバが、自車両と周辺の他車両や障害物との位置関係を把握、認識するためには、経験や推測に基づく脳内での情報処理が必要となる。即ち、従来の表示装置による画像では、自車両周辺を直接視認した場合と比較して、周辺の他車両や障害物と自車両との位置関係や距離を直感的に把握しにくいという問題がある。
【0006】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、車両に設けられたカメラにより撮影した自車両周辺の画像を表示するときに、他車両や障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる、車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の車両用表示装置は、車両周辺の画像を表示する車両用表示装置であって、画像を表示する表示手段と、車両の周辺を撮影するカメラと、カメラにより撮影された画像に、車体を模擬した半透明の部分と、車両の窓を模擬した部分であって車体を模擬した部分よりも透過率が低い部分とを含むマスク画像を重畳して表示画像を生成し、表示画像を表示手段に表示させる表示制御手段と、を備えることを特徴とする。
このように構成された本発明においては、表示制御手段は、カメラにより撮影された画像に、車体を模擬した半透明の部分と、車両の窓を模擬した部分であって車体を模擬した部分よりも透過率が低い部分とを含むマスク画像を重畳して表示画像を生成するので、ドライバが直感的に把握し易いドライバ視点の画像において、自車両周辺の他車両や障害物を表示しつつ、それらの他車両や障害物と自車両との位置関係を、車体を模擬したマスク画像との関係で表すことができると同時に、ドライバが窓を通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、他車両や障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
【0008】
また、本発明において、好ましくは、カメラは、車両の後方を撮影する後方カメラと、車両の側方を撮影する側方カメラとを含み、表示制御手段は、車両の後退時に、後方カメラにより撮影された後方画像と側方カメラにより撮影された側方画像とを合成して単一画像を生成し、単一画像に、車両のリアサイドウィンドウを模擬した部分を含み、リアサイドウィンドウを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像を重畳する。
このように構成された本発明においては、表示制御手段は、車両の後退時に、後方カメラにより撮影された後方画像と側方カメラにより撮影された側方画像とを合成した単一画像に、車両のリアサイドウィンドウを模擬した部分を含み、リアサイドウィンドウを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像を重畳するので、後退時に自車両後方や側方の他車両や障害物を表示しつつ、ドライバがリアサイドウィンドウを通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
【0009】
また、本発明において、好ましくは、カメラは、車両の前方を撮影する前方カメラと、車両の側方を撮影する側方カメラとを含み、表示制御手段は、車両の前進時に、前方カメラにより撮影された前方画像と側方カメラにより撮影された側方画像とを合成して単一画像を生成し、単一画像に、車両のフロントウインドシールドを模擬した部分を含み、フロントウインドシールドを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像を重畳する。
このように構成された本発明においては、表示制御手段は、車両の前進時に、前方カメラにより撮影された前方画像と側方カメラにより撮影された側方画像とを合成した単一画像に、車両のフロントウインドシールドを模擬した部分を含み、フロントウインドシールドを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像を重畳するので、前進時に自車両前方や側方の他車両や障害物を表示しつつ、ドライバがフロントウインドシールドを通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、前方車両や前方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
【0010】
また、本発明において、好ましくは、車両用表示装置は、車速を検出する車速検出手段を備え、表示制御手段は、車速が所定の閾値以下の場合、カメラにより撮影された画像に、車両の窓を模擬した部分を含むマスク画像を重畳し、車速が閾値より大きい場合、カメラにより撮影された画像に、車両の窓を模擬した部分を含まないマスク画像を重畳する。
このように構成された本発明においては、表示制御手段は、車速が閾値より大きい場合、カメラにより撮影された画像に、車両の窓を模擬した部分を含まないマスク画像を重畳するので、車速が高い場合にはより多くの情報を含む画像を表示することができ、ドライバが自車両周辺の状況をより詳細に認識可能な画像を表示することができる。
【0011】
また、本発明において、好ましくは、マスク画像は、車両の後端部を模擬した部分を含み、車両の後端部を模擬した部分において車両のリアウィンドウに相当する部分は透明である。
このように構成された本発明においては、マスク画像は、車両の後端部を模擬した部分を含み、車両の後端部を模擬した部分において車両のリアウィンドウに相当する部分は透明であるので、自車両周辺の他車両や障害物と自車両との位置関係を、自車両の後端部を模擬したマスク画像との関係で表しつつ、リアウィンドウに相当する部分において自車両後方の状況をクリアに表示することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
【発明の効果】
【0012】
本発明による車両用表示装置によれば、車両に設けられたカメラにより撮影した自車両周辺の画像を表示するときに、他車両や障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
【図面の簡単な説明】
【0013】
図1】本発明の実施形態による車両用表示装置が備える複数のカメラの配置を示す平面図である。
図2】本発明の実施形態による車両用表示装置が適用された車両のインストルメントパネル周辺を示す正面図である。
図3】本発明の実施形態による車両用表示装置の電気的構成を示すブロック図である。
図4】本発明の実施形態による車両用表示装置が実行する表示処理のフローチャートである。
図5】本発明の実施形態による車両用表示装置が実行する後方画像表示処理のフローチャートである。
図6】右側カメラ、左側カメラ及び後方カメラから得られた画像を合成して単一画像を生成する過程における画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図である。
図7】本発明の実施形態による車両用表示装置が実行する前方画像表示処理のフローチャートである。
図8】右側カメラ、左側カメラ及び前方カメラから得られた画像を合成して単一画像を生成する過程における画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照しながら本発明の実施形態による車両用表示装置を説明する。
まず、図1〜3により、本発明の実施形態による車両用表示装置の構成を説明する。図1は、本発明の実施形態による車両用表示装置が備える複数のカメラの配置を示す平面図であり、図2は、本発明の実施形態による車両用表示装置が適用された車両のインストルメントパネル周辺を示す正面図であり、図3は、本発明の実施形態による車両用表示装置の電気的構成を示すブロック図である。
【0015】
図1において、符号1は本発明の実施形態による車両用表示装置を示し、車両用表示装置1は、車両2の前端部に取り付けられた前方カメラ4、車両2の右側サイドミラーの下部に取り付けられた右側カメラ6、車両2の左側サイドミラーの下部に取り付けられた左側カメラ8及び車両2の後端部に取り付けられた後方カメラ10を備えている。これらのカメラ4、6、8、10は魚眼レンズを使用しており、前方カメラ4は車両2の前方に向けられ、右側カメラ6及び左側カメラ8は車両2の側方に向けられ、後方カメラ10は車両2の後方に向けられている。これにより、前方カメラ4は車両2の前方を撮影し、右側カメラ6及び左側カメラ8は車両2の側方を撮影し、後方カメラ10は車両2の後方を撮影する。これらのカメラ4、6、8、10により、車両2の前後からサイドミラーの側方にわたる広い範囲を撮像することができ、ドライバの視界に含まれない範囲も漏れなく撮像することができる。
【0016】
次に、図2に示すように、車両2の車室の前部には、フロントウインドシールド12と、フロントウインドシールド12の下方において車幅方向に延びるインストルメントパネル14とが設けられている。
車両用表示装置1は、フロントウインドシールド12上端の車幅方向中央部に設けられ車両2後方に向けられたディスプレイ16aを有する電子ルームミラー16と、インストルメントパネル14の車幅方向中央部に設けられ車両2後方に向けられたディスプレイ18aを有するセンターディスプレイ18とを備えている。
【0017】
また、図3に示すように、車両用表示装置1は、各カメラ4、6、8、10により撮影された画像から単一画像を生成して電子ルームミラー16やセンターディスプレイ18に表示させる、表示制御部20を備えている。また、表示制御部20には、車両2の変速機の変速段(シフトポジション)を検出するシフトポジションセンサ22、及び、車速を検出する車速センサ24からのデータが入力される。
表示制御部20は、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのROMやRAMの如き内部メモリを備えるコンピュータにより構成される。
【0018】
次に、図4により、車両用表示装置1が実行する表示処理を説明する。
図4は、本発明の実施形態による車両用表示装置1が実行する表示処理のフローチャートである。
【0019】
図4に示す表示処理は、車両2のイグニッションがオンにされたときに起動され、所定周期(例えば200ms毎)で繰り返し実行される。
【0020】
図4に示すように、表示処理が開始されると、ステップS1において、表示制御部20は、シフトポジションセンサ22及び車速センサ24から入力されたデータに基づき、車両2のシフトポジション及び車速を取得する。
【0021】
次に、ステップS2において、表示制御部20は、シフトポジションがリバースか否かを判定する。
その結果、シフトポジションがリバースである場合、ステップS3に進み、後方画像表示処理を実行する。一方、シフトポジションがリバースではない場合、ステップS4に進み、表示制御部20は、前方画像表示処理を実行する。
ステップS3又はS4の処理の後、表示制御部20は表示処理を終了する。
【0022】
次に、図5、6により、車両用表示装置1が実行する後方画像表示処理を説明する。
図5は、本発明の実施形態による車両用表示装置1が実行する後方画像表示処理のフローチャートである。図6は、複数のカメラ6、8、10から得られた画像を合成して単一画像を生成する過程における画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図であり、(a)は魚眼レンズを用いた各カメラ6、8、10により撮影された画像を示す図、(b)は(a)に示した各画像を展開した画像を示す図、(c)は(b)に示した画像をトリミングして合成した単一画像を示す図、(d)はマスク画像を単一画像に重畳してセンターディスプレイ18に表示した画像を示す図である。
【0023】
図5に示すように、後方画像表示処理が開始されると、ステップS11において、表示制御部20は、右側カメラ6及び左側カメラ8により撮影された車両2の側方の画像(側方画像SV)と、後方カメラ10により撮影された車両2後方の画像(後方画像RV)を取得する。上述したように各カメラ6、8、10は魚眼レンズを使用しているので、取得された画像は図6(a)に示すように歪んでいる。また、表示制御部20は、図6(a)に示すように、各カメラ6、8、10の設置位置から実際に見える景色を左右反転した画像を取得する。
【0024】
次に、ステップS12において、表示制御部20は、取得した各画像の補正を行う。具体的には、表示制御部20は、右側カメラ6及び左側カメラ8により撮影された側方画像SVを、中心軸線が車両2上下方向に延びる仮想円筒面C(図1において円弧により示す)に展開する処理(円筒面展開)を行うと共に、後方カメラ10により撮影された後方画像RVを、車両2の前後方向に垂直な仮想平面P1(図1において直線により示す)に展開する処理(平面展開)を行う。これにより、図6(b)に示すように、各画像の歪みが補正される。さらに表示制御部20は、展開した各画像を、ドライバ視点の画像に射影変換する。
【0025】
次に、ステップS13において、表示制御部20は、ステップS12で補正した画像のトリミングを行う。後方カメラ10の撮像範囲と、右側カメラ6及び左側カメラ8の撮像範囲とは、一部重複しているので、その重複部分を取り除く必要がある。また、各画像には、ドライバが車両2の後方を確認する際には不要な領域も含まれている。そこで、表示制御部20は、例えば座標情報を用いて予め定められた境界により、各画像をトリミングする。図6(b)の例では、表示制御部20は各画像から矩形の境界(図6(b)において一点鎖線で示す)に囲まれた領域を切り出す。
【0026】
次に、ステップS14において、表示制御部20は、ステップS13においてトリミングされた画像を単一の画像に合成する。これにより、図6(c)に示すように、車両2の後方から側方にわたる広い範囲を示す単一画像ITが得られる。
【0027】
次に、ステップS15において、表示制御部20は、図4の表示処理のステップS1で取得した車速が所定の閾値Vs以下か否かを判定する。
その結果、車速が閾値Vs以下である場合、ステップS16に進み、表示制御部20は、ステップS14において合成した単一画像ITに、予め作成されメモリ等に記憶されている、サイドウィンドウ部分が不透明なマスク画像MRを重畳する。
マスク画像MRは、図6(d)に示すように、車両2の天井を模擬した部分M1、ピラーを模擬した部分M2、車両2の後端部にあるリアゲートを模擬した部分M3、リアクォーターパネルを模擬した部分M4、アンダーボディを模擬した部分(車両2の平面形状を表す部分)M5、後輪を模擬した部分M6、車両2のアンダーボディにおける後端の車幅方向両端から上方に延びる車両2の後左角部及び後右角部を模擬した部分M7、リアサイドウィンドウを模擬した部分M8を含む。この内、車両2の最後部のピラーを模擬した部分M2、アンダーボディを模擬した部分M5、車両2の後左角部及び後右角部を模擬した部分M7、リアサイドウィンドウを模擬した部分M8は不透明であり、その他の部分は半透明となっている。また、車両2の最後部のピラーを模擬した部分M2及び車両2の後左角部及び後右角部を模擬した部分M7は、ステップS14において合成された各画像の境界Bに重なる位置に配置される。
このステップS16において単一画像ITに重畳されるマスク画像MRには、リアウィンドウに相当する部分が含まれていないので、このマスク画像MRが重畳された表示画像では、図6(d)に示すように、リアウィンドウに相当する部分が透明になっている。
【0028】
一方、ステップS15において車速が閾値Vs以下ではない場合(閾値Vsより大きい場合)、ステップS17に進み、表示制御部20は、ステップS14において合成した単一画像ITに、予め作成されメモリ等に記憶されている、サイドウィンドウ部分が透明なマスク画像MRを重畳する。
この場合、マスク画像MRは、図6(d)に示したマスク画像MRと同様に、車両2の天井を模擬した部分M1、ピラーを模擬した部分M2、車両2の後端部にあるリアゲートを模擬した部分M3、リアクォーターパネルを模擬した部分M4、アンダーボディを模擬した部分M5、後輪を模擬した部分M6、車両2のアンダーボディにおける後端の車幅方向両端から上方に延びる車両2の後左角部及び後右角部を模擬した部分M7を含むが、にリアサイドウィンドウに相当する部分は含まない。したがって、このマスク画像MRが重畳された表示画像Dでは、リアウィンドウに相当する部分及びリアサイドウィンドウに相当する部分が透明になっている。
【0029】
ステップS16又はS17の後、ステップS18に進み、表示制御部20は、ステップS16又はステップS17でマスク画像MRを重畳した表示画像Dを、センターディスプレイ18のディスプレイ18aに表示させる。
マスク画像MRには、アンダーボディを模擬した部分M5、後輪を模擬した部分M6、車両2の後左角部及び後右角部を模擬した部分M7が含まれているので、自車両2後方や側方の他車両や障害物と自車両2との位置関係を、車両2の構造を模擬したマスク画像MRとの関係で表すことができ、自車両2周辺の他車両や障害物と自車両2との位置関係や距離をドライバがより直感的に把握することが可能となる。
また、車速が所定の閾値Vs以下の場合には、表示画像Dにおいてリアサイドウィンドウに相当する部分をマスク画像MRにより不透明とするので、ドライバが顔を僅かに左右に振ることでリアサイドウィンドウを通して目視により確認可能な領域はマスク画像MRにより隠し、ドライバが認識すべき情報量を低減することができる。一方、ドライバが後方に向かって体を大きく回さなければ目視することのできないリアウィンドウに相当する部分は透明に表示されるので、自車両後方の状況をクリアに表示することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識することが可能となる。
また、マスク画像MRにおける車両2の天井を模擬した部分M1及び車両2の最後部のピラーを模擬した部分M2が、ステップS14において合成された各画像間の境界Bを覆っているので、各画像間の境界Bを跨ぐ位置に後方車両が位置した場合でも、境界B近傍における二重像や歪みはマスク画像MRにより隠される。したがって、境界B近傍で後方車両の二重像や歪みが発生することにより後方車両と自車両2との位置関係や後方車両までの距離をドライバが誤って把握することが防止される。
ステップS18の後、表示制御部20は後方画像表示処理を終了し、メインルーチンである表示処理に戻る。
【0030】
次に、図7、8により、車両用表示装置1が実行する前方画像表示処理を説明する。
図7は、本発明の実施形態による車両用表示装置1が実行する前方画像表示処理のフローチャートである。図8は、前方カメラ4、右側カメラ6、左側カメラ8から得られた画像を合成して単一画像を生成する過程における画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図であり、(a)は魚眼レンズを用いた前方カメラ4、右側カメラ6、左側カメラ8により撮影された画像を示す図、(b)は(a)に示した画像を展開した画像を示す図、(c)は(b)に示した画像をトリミングして合成した単一画像を示す図、(d)は(c)に示した単一画像にマスク画像を重畳してセンターディスプレイ18に表示した表示画像を示す図である。
【0031】
図7に示すように、前方画像表示処理が開始されると、ステップS21において、表示制御部20は、前方カメラ4により撮影された車両2の前方の画像(前方画像FV)と、右側カメラ6及び左側カメラ8により撮影された車両2の側方及び前方の画像(前側方画像SV)とを取得する。上述したように各カメラ4、6、8は魚眼レンズを使用しているので、取得された画像は図8(a)に示すように歪んでいる。
【0032】
次に、ステップS22において、表示制御部20は、取得した各画像の補正を行う。具体的には、表示制御部20は、前方カメラ4により撮影された前方画像FVを、車両2の前後方向に垂直な仮想平面P2(図1において直線により示す)に展開し、右側カメラ6及び左側カメラ8により撮影された前側方画像SVを、車両2の前後方向に垂直な仮想平面P3(図1において直線により示す)に展開する処理(平面展開)を行う。これにより、図9(b)に示すように、画像の歪みが補正される。さらに表示制御部20は、展開した画像を、ドライバ視点の画像に射影変換する。
【0033】
次に、ステップS23において、表示制御部20は、ステップS22で補正した画像のトリミングを行う。前方カメラ4の撮像範囲と、右側カメラ6及び左側カメラ8の撮像範囲とは、一部重複しているので、その重複部分を取り除く必要がある。また、ステップS21で取得した画像には、ドライバが車両2の前方を確認する際には不要な領域も含まれている。そこで、表示制御部20は、例えば座標情報を用いて予め定められた境界により、各画像をトリミングする。図8(b)の例では、表示制御部20はステップS22で補正した各画像から矩形の境界(図8(b)において一点鎖線で示す)に囲まれた領域を切り出す。
【0034】
次に、ステップS24において、表示制御部20は、ステップS23においてトリミングした画像を単一の画像に合成する。これにより、図8(c)に示すように、車両2の前方から側方にわたる広い範囲を示す単一画像ITが得られる。
【0035】
次に、ステップS25において、表示制御部20は、ステップS24において合成した単一画像ITに、予め作成されメモリ等に記憶されている、車両2の前部構造を模擬したマスク画像MFを重畳する。
マスク画像MFは、図8(d)に示すように、前輪を模擬した部分M11、アンダーボディを模擬した部分(車両2の平面形状を表す部分)M12、車両2のアンダーボディにおける前端の車幅方向両端から上方に延びる車両2の前左角部及び前右角部を模擬した部分M13、フロントクォーターパネルを模擬した部分M14、車両2のインストルメントパネル14を模擬した部分M15、車両2のボンネットを模擬した部分M16、ピラーを模擬した部分M17、フロントウインドシールド12を模擬した部分M18、フロントサイドウィンドウを模擬した部分M19を含む。この内、車両2のアンダーボディを模擬した部分M12、車両2の前左角部及び前右角部を模擬した部分M13、ピラーを模擬した部分M17、フロントウインドシールド12を模擬した部分M18、フロントサイドウィンドウを模擬した部分M19は不透明であり、その他の部分は半透明となっている。
【0036】
次に、ステップS26において、表示制御部20は、ステップS25でマスク画像MFを重畳した表示画像Dを、センターディスプレイ18のディスプレイ18aに表示させる。
マスク画像MFには、前輪を模擬した部分M11、アンダーボディを模擬した部分M12、車両2の前左角部及び前右角部を模擬した部分M13が含まれているので、自車両2前方の他車両や障害物と自車両2との位置関係を、車両2の構造を模擬したマスク画像MFとの関係で表すことができ、ドライバの視野の死角にある自車両2周辺の他車両や障害物と自車両2との位置関係や距離をドライバがより直感的に把握することが可能となる。
また、表示画像Dにおいてフロントウインドシールド12に相当する部分をマスク画像MFにより不透明とするので、ドライバが目視により確認可能な領域はマスク画像MFにより隠し、ドライバが認識すべき情報量を低減することができる。これにより、ドライバの視野の死角にある前方車両や前方障害物との位置関係や距離をドライバがより直観的に認識することが可能となる。
ステップS26の後、表示制御部20は前方画像表示処理を終了し、メインルーチンである表示処理に戻る。
【0037】
次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態においては、表示制御部20は、画像をセンターディスプレイ18のディスプレイ18aに表示させると説明したが、電子ルームミラー16に表示させるようにしてもよい。
【0038】
また、前方画像表示処理において、車速が閾値Vs以下の場合には、フロントウインドシールド12に相当する不透明の部分を含むマスク画像MFを単一画像ITに重畳し、車速が閾値Vsより大きい場合には、フロントウインドシールド12に相当する部分を含まないマスク画像MFを単一画像ITに重畳するようにしてもよい。
これにより、車速が閾値Vs以下の場合には、ドライバがフロントウインドシールド12を通して目視により確認可能な領域をマスク画像MFにより隠し、ドライバが認識すべき情報量を低減することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識することが可能となる。また、車速が閾値Vsより高い場合には、フロントウインドシールド12に相当する部分においても自車両2の前方の状況をクリアに表示することができ、ドライバが自車両周辺の状況をより詳細に認識可能な画像を表示することができる。
【0039】
また、上述した実施形態においては、マスク画像MRの内、車両2の最後部のピラーを模擬した部分M2、車両2の後左角部及び後右角部を模擬した部分M7、リアサイドウィンドウを模擬した部分M8は不透明であると説明したが、リアクォーターパネルを模擬した部分M4よりも透過率の低い半透明としてもよい。
【0040】
また、上述した実施形態においては、マスク画像MFの内、車両2の前左角部及び前右角部を模擬した部分M13、ピラーを模擬した部分M17、フロントウインドシールド12を模擬した部分M18、フロントサイドウィンドウを模擬した部分M19は不透明であると説明したが、フロントクォーターパネルを模擬した部分M14よりも透過率の低い半透明としてもよい。
【0041】
また、マスク画像MR、MFの形状を車両2の構造に応じて適宜変更することができる。例えば、セダンタイプの車両2の場合には、リアゲートを模擬した部分M3に代えて車両2の後端部にあるトランクを模擬した部分を設けてもよい。また、前後のドアパネルを模擬した部分を加えてもよい。また、マスク画像MR、MFは、必ずしも車両2の天井、ピラー、リアゲート、リアクォーターパネル、ボンネット、フロントクォーターパネル等を模擬していなくてもよい。
【0042】
また、上述した実施形態においては、車両2の右側サイドミラーの下部に右側カメラ6が取り付けられ、左側サイドミラーの下部に左側カメラ8が取り付けられていると説明したが、サイドミラーの上部や端部に取り付けてもよく、車両2側面の他の場所に取り付けてもよい。
【0043】
また、上述した実施形態においては、各カメラ4、6、8、10は魚眼レンズを使用していると説明したが、魚眼レンズ以外の広角レンズを使用してもよい。
【0044】
次に、上述した本発明の実施形態及び本発明の実施形態の変形例による車両用表示装置1の効果を説明する。
【0045】
まず、表示制御部20は、カメラにより撮影された画像に、車体を模擬した半透明の部分と、車両2の窓を模擬した部分であって車体を模擬した部分よりも透過率が低い部分とを含むマスク画像MR、MFを重畳して表示画像Dを生成するので、ドライバが直感的に把握し易いドライバ視点の画像において、自車両2周辺の他車両や障害物を表示しつつ、それらの他車両や障害物と自車両2との位置関係を、車体を模擬したマスク画像MR、MFとの関係で表すことができると同時に、ドライバが窓を通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、他車両や障害物との位置関係や距離をドライバがより直観的に認識可能な自車両2周辺の画像を表示することができる。
【0046】
また、表示制御部20は、車両2の後退時に、後方カメラ10により撮影された後方画像RVと右側カメラ6及び左側カメラ8により撮影された側方画像SVとを合成した単一画像ITに、車両2のリアサイドウィンドウを模擬した部分を含み、リアサイドウィンドウを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像MRを重畳するので、後退時に自車両2後方や側方の他車両や障害物を表示しつつ、ドライバがリアサイドウィンドウを通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両2周辺の画像を表示することができる。
【0047】
また、表示制御部20は、車両の前進時に、前方カメラ4により撮影された前方画像FVと側方カメラにより撮影された側方画像SVとを合成した単一画像ITに、車両2のフロントウインドシールド12を模擬した部分を含み、フロントウインドシールドを模擬した部分の透過率は車体を模擬した部分の透過率よりも低いマスク画像MFを重畳するので、前進時に自車両2前方や側方の他車両や障害物を表示しつつ、ドライバがフロントウインドシールド12を通して目視により確認可能な領域は透過率を低くし、ドライバが認識すべき情報量を低減することができる。これにより、前方車両や前方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両2周辺の画像を表示することができる。
【0048】
また、表示制御部20は、車速が閾値より大きい場合、カメラにより撮影された画像に、車両2の窓を模擬した部分を含まないマスク画像を重畳するので、車速が高い場合にはより多くの情報を含む画像を表示することができ、ドライバが自車両2周辺の状況をより詳細に認識可能な画像を表示することができる。
【0049】
また、マスク画像MRは、車両2の後端部を模擬した部分M3を含み、車両2の後端部を模擬した部分M3において車両のリアウィンドウに相当する部分は透明であるので、自車両2周辺の他車両や障害物と自車両との位置関係を、自車両2の後端部を模擬したマスク画像M3との関係で表しつつ、リアウィンドウに相当する部分において自車両2後方の状況をクリアに表示することができる。これにより、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両2周辺の画像を表示することができる。
【符号の説明】
【0050】
1 車両用表示装置
2 車両
4 前方カメラ
6 右側カメラ
8 左側カメラ
10 後方カメラ
12 フロントウインドシールド
14 インストルメントパネル
16 電子ルームミラー
16a、18a ディスプレイ
18 センターディスプレイ
20 表示制御部
22 シフトポジションセンサ
24 車速センサ
SV 側方画像
RV 後方画像
FV 前方画像
C 仮想円筒面
P1、P2、P3 仮想平面
IT 単一画像
D 表示画像
MR、MF マスク画像
M1 天井を模擬した部分
M2 ピラーを模擬した部分
M3 リアゲートを模擬した部分
M4 リアクォーターパネルを模擬した部分
M5 アンダーボディを模擬した部分
M6 後輪を模擬した部分
M7 後左角部及び後右角部を模擬した部分
M8 リアサイドウィンドウを模擬した部分
M11 前輪を模擬した部分
M12 アンダーボディを模擬した部分
M13 前左角部及び前右角部を模擬した部分
M14 フロントクォーターパネルを模擬した部分
M15 インストルメントパネルを模擬した部分
M16 ボンネットを模擬した部分
M17 ピラーを模擬した部分
M18 フロントウインドシールドを模擬した部分
M19 フロントサイドウィンドウを模擬した部分
B 境界
【要約】
【課題】車両に設けられたカメラにより撮影した自車両周辺の画像を表示するときに、他車両や障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる車両用表示装置を提供する。
【解決手段】車両用表示装置(1)は、車両2周辺の画像を表示する車両用表示装置であって、画像を表示するディスプレイ(18a)と、車両の周辺を撮影するカメラ(4, 6, 8, 10)と、カメラにより撮影された画像に、車体を模擬した半透明の部分(M3, M4, M14, M16)と、車両の窓を模擬した部分であって車体を模擬した部分よりも透過率が低い部分(M8, M18, M19)とを含むマスク画像(MR, MF)を重畳して表示画像(D)を生成し、表示画像をディスプレイに表示させる表示制御部(20)とを備える。
【選択図】図8
図1
図2
図3
図4
図5
図6
図7
図8