特許 7521345 車両用表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】車両用表示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240717BHJP

   B60R 1/26 20220101ALI20240717BHJP

   B60R 1/24 20220101ALI20240717BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 100

B60R1/24

【請求項の数】 3

(21)【出願番号】P 2020154280

(22)【出願日】2020-09-15

(65)【公開番号】P2022048455

(43)【公開日】2022-03-28

【審査請求日】2023-03-14

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100133916

【弁理士】

【氏名又は名称】佐藤 興

(72)【発明者】

【氏名】菅原 大智

(72)【発明者】

【氏名】村田 晃一

(72)【発明者】

【氏名】堀 恵里花

(72)【発明者】

【氏名】大坪 智範

(72)【発明者】

【氏名】松葉 慶暁

【審査官】塚本 丈二

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２８２９０９（ＵＳ，Ａ１）

【文献】特開２０１９－０７１５４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００－５／４２

Ｂ６０Ｒ １／００－１／３１

(57)【特許請求の範囲】

【請求項1】

車両周辺の画像を表示するために車両に搭載された車両用表示装置であって、
車両の周辺を撮影する撮影部と、
前記撮影部により撮影された画像を車室内から車両周辺を見た画像であるビュー画像に変換する画像処理部と、
前記画像処理部により生成されたビュー画像を表示する表示部とを備え、
前記画像処理部は、前記ビュー画像として、車室内に位置する第１仮想視点から車両後方を見たときに得られる後方ビュー画像と、車室内において前記第１仮想視点よりも後側に位置する第２仮想視点から車両前方を見たときに得られる前方ビュー画像とを生成可能であり、
前記表示部は、車両の後退時に前記後方ビュー画像を、車両の前進時に前記前方ビュー画像をそれぞれ表示するとともに、当該両ビュー画像を略同一の画角で表示し、
前記第１仮想視点は、運転席に着座したドライバーのアイポイントよりも上方かつ前方の位置に設定されるとともに、側面視において、車両の後端から徐行時の制動距離だけ離れた路面上の第１ターゲット位置と前記ドライバーのアイポイントとを通る第１傾斜ライン上に設定され、
前記第２仮想視点は、前記ドライバーのアイポイントよりも上方かつ後方の位置に設定されるとともに、側面視において、車両の前端から徐行時の制動距離だけ離れた路面上の第２ターゲット位置と前記ドライバーのアイポイントとを通る第２傾斜ライン上に設定される、ことを特徴とする車両用表示装置。

【請求項2】

請求項１に記載の車両用表示装置において、
前記画像処理部は、前記撮影部により撮影された画像を前記第１仮想視点または前記第２仮想視点を投影中心として予め定められた仮想的な投影面に投影することにより、前記後方ビュー画像または前記前方ビュー画像を生成し、
前記投影面は、路面上に設定された平面投影面と、平面投影面の外周から立ち上がる立体投影面とを有し、
前記第１ターゲット位置および前記第２ターゲット位置は、前記立体投影面の下縁の近傍に設定される、ことを特徴とする車両用表示装置。

【請求項3】

請求項１または２に記載の車両用表示装置において、
前記画像処理部は、自車両の後部の部品群を表す第１模擬画像を前記後方ビュー画像に透過状態で重畳表示するとともに、自車両の前部の部品群を表す第２模擬画像を前記前方ビュー画像に透過状態で重畳表示し、
前記第１模擬画像には、自車両の後部の最外郭を規定する部品の画像が含まれ、
前記第２模擬画像には、自車両の前部の最外郭を規定する部品の画像が含まれる、ことを特徴とする車両用表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺の画像を表示するために車両に搭載された車両用表示装置に関する。

【背景技術】

【0002】

上記車両用表示装置の一例として、下記特許文献１のものが知られている。この特許文献１の車両用表示装置は、車両の周囲を撮影する複数のカメラと、当該複数のカメラで撮影された画像から特定の視野角に含まれる画像を合成、加工した合成画像を生成する画像処理装置と、当該画像処理装置により生成された合成画像を表示する表示装置とを備えている。画像処理装置は、上記合成画像として、所定の仮想視点から見た車両の周辺領域を示す周辺画像と、車室内の各種部品（例えばダッシュボードやピラー等）を透過状態で示す車室画像とを重畳した画像を生成し、生成した当該合成画像を表示装置に表示させる。

【0003】

上記のように構成された特許文献１の車両用表示装置によれば、自車両周辺の障害物等の情報を自車両との位置関係を把握しながら認識できるという利点がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１９７８１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記特許文献１では、視野方向を車両前方とした場合の合成画像（以下、前方ビュー画像という）と、視野方向を車両後方とした場合の合成画像（以下、後方ビュー画像という）とが、ドライバーの操作に応じて選択的に表示されるようになっている。前方ビュー画像を生成するときの仮想視点と、後方ビュー画像を生成するときの仮想視点とは、いずれも運転席位置に設定される。

【0006】

しかしながら、上記のように運転席位置に固定的に設定された仮想視点を基準に前方ビュー画像および後方ビュー画像を生成した場合には、両ビュー画像の少なくとも一方において、ドライバーにとって死角となる車両前部または車両後部の左右の近傍領域（死角領域）を十分に表示できなくなる可能性がある。この場合において、死角領域の表示が十分になるように前方ビュー画像および後方ビュー画像の各画角を適宜広げることが考えられるが、その結果として両ビュー画像の画角が互いに異なるようになれば、例えば後方ビュー画像から前方ビュー画像に（あるいはその逆に）切り替わったときにドライバーが違和感を覚え、切り替え後の画像の視認性が悪化するおそれがある。

【0007】

本発明は、上記のような事情に鑑みてなされたものであり、死角領域を含めた必要十分な範囲のビュー画像を視認性に優れた態様で表示することが可能な車両用表示装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

前記課題を解決するためのものとして、本発明は、車両周辺の画像を表示するために車両に搭載された車両用表示装置であって、車両の周辺を撮影する撮影部と、前記撮影部により撮影された画像を車室内から車両周辺を見た画像であるビュー画像に変換する画像処理部と、前記画像処理部により生成されたビュー画像を表示する表示部とを備え、前記画像処理部は、前記ビュー画像として、車室内に位置する第１仮想視点から車両後方を見たときに得られる後方ビュー画像と、車室内において前記第１仮想視点よりも後側に位置する第２仮想視点から車両前方を見たときに得られる前方ビュー画像とを生成可能であり、前記表示部は、車両の後退時に前記後方ビュー画像を、車両の前進時に前記前方ビュー画像をそれぞれ表示するとともに、当該両ビュー画像を略同一の画角で表示し、前記第１仮想視点は、運転席に着座したドライバーのアイポイントよりも上方かつ前方の位置に設定されるとともに、側面視において、車両の後端から徐行時の制動距離だけ離れた路面上の第１ターゲット位置と前記ドライバーのアイポイントとを通る第１傾斜ライン上に設定され、前記第２仮想視点は、前記ドライバーのアイポイントよりも上方かつ後方の位置に設定されるとともに、側面視において、車両の前端から徐行時の制動距離だけ離れた路面上の第２ターゲット位置と前記ドライバーのアイポイントとを通る第２傾斜ライン上に設定される、ことを特徴とするものである（請求項１）。

【0009】

本発明によれば、車両の後退時に、車室内において相対的に前側に位置する第１仮想視点から車両後方を見た画像である後方ビュー画像が表示部に表示されるので、遠く引いた位置から車両後方を俯瞰したかのような画像を後方ビュー画像として得ることができ、車両後部の左右の近傍に存在する死角領域を含めた必要十分な範囲を後方ビュー画像により表示することができる。これにより、例えばドライバーが車両を後向き駐車させる運転操作を行っているときのように、後退中の自車両に障害物（他車両や歩行者など）が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の後側方（死角領域）の障害物をドライバーに的確に認識させることができ、このような障害物との衝突（巻き込み）を回避し得る安全な運転を行うようドライバーをアシストすることができる。

【0010】

同様に、車両の前進時には、車室内において相対的に後側に位置する第２仮想視点から車両前方を見た画像である前方ビュー画像が表示部に表示されるので、遠く引いた位置から車両前方を俯瞰したかのような画像を前方ビュー画像として得ることができ、車両前部の左右の近傍に存在する死角領域を含めた必要十分な範囲を前方ビュー画像により表示することができる。これにより、例えばドライバーが車両を前向き駐車させる運転操作を行っているときのように、前進中の自車両に障害物（他車両や歩行者など）が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の前側方（死角領域）の障害物をドライバーに的確に認識させることができ、このような障害物との衝突（巻き込み）を回避し得る安全な運転を行うようドライバーをアシストすることができる。

【0011】

また、後方ビュー画像および前方ビュー画像の画角が略同一に設定されるので、両ビュー画像の視認性を良好に確保することができる。例えば、後方ビュー画像と前方ビュー画像との間で画角が大きく異なっていた場合には、後方ビュー画像から前方ビュー画像に（あるいはその逆に）切り替わったときにドライバーが違和感を覚え、切り替え後の画像がドライバーに瞬時に理解されないおそれがある。これに対し、後方ビュー画像および前方ビュー画像の画角が略同一とされた本発明によれば、前記のような違和感が生じるのを回避することができ、各ビュー画像をドライバーに瞬時に理解させることができる。

【0013】

しかも、運転席に着座したドライバーのアイポイントよりも上方かつ前方の位置に第１仮想視点が設定されるとともに、ドライバーのアイポイントよりも上方かつ後方の位置に第２仮想視点が設定されるので、ドライバーの目線に近い方向視で後方ビュー画像および前方ビュー画像を表示することができ、各ビュー画像をドライバーにとって直観的に認識し易いものとすることができる。

【0015】

より具体的に、第１仮想視点は、側面視において、車両の後端から徐行時の制動距離だけ離れた路面上の第１ターゲット位置とドライバーのアイポイントとを通る第１傾斜ライン上に設定されるので、車両後方の第１ターゲット位置にドライバーが実際に視線を向けたときに見える画に近い画像を後方ビュー画像として表示することができ、例えばドライバーが車両を後向き駐車する操作を行っているときに、第１ターゲット位置上の障害物を後方ビュー画像を通じてドライバーに的確に認識させることができる。同様に、第２仮想視点は、側面視において、車両の前端から徐行時の制動距離だけ離れた路面上の第２ターゲット位置とドライバーのアイポイントとを通る第２傾斜ライン上に設定されるので、車両前方の第２ターゲット位置にドライバーが実際に視線を向けたときに見える画に近い画像を前方ビュー画像として表示することができ、例えばドライバーが車両を前向き駐車する操作を行っているときに、第２ターゲット位置上の障害物を前方ビュー画像を通じてドライバーに的確に認識させることができる。車両から徐行時の制動距離だけ離れた第１・第２ターゲット位置は、衝突回避のための重要な位置（ドライバーが注意を向けるべき位置）といえるから、このような第１・第２ターゲット位置にある障害物をドライバーに的確に認識させることにより、当該障害物との衝突の可能性を低減することができる。

【0016】

前記構成において、より好ましくは、前記画像処理部は、前記撮影部により撮影された画像を前記第１仮想視点または前記第２仮想視点を投影中心として予め定められた仮想的な投影面に投影することにより、前記後方ビュー画像または前記前方ビュー画像を生成し、前記投影面は、路面上に設定された平面投影面と、平面投影面の外周から立ち上がる立体投影面とを有し、前記第１ターゲット位置および前記第２ターゲット位置は、前記立体投影面の下縁の近傍に設定される（請求項２）。

【0017】

このように、立体投影面の下縁（換言すれば平面投影面の外周）の近傍に第１ターゲット位置および第２ターゲット位置を設定した場合には、各ターゲット位置に障害物があったときに当該障害物の画像を主に立体投影面に投影した状態で表示することができる。立体投影面は、平面投影面よりも投影時に生じる歪みが少ないので、各ターゲット位置上の障害物の画像をこのような立体投影面に主に投影することにより、障害物の視認性を高めることができ、当該障害物との衝突の可能性をより低減することができる。

【0018】

好ましくは、前記画像処理部は、自車両の後部の部品群を表す第１模擬画像を前記後方ビュー画像に透過状態で重畳表示するとともに、自車両の前部の部品群を表す第２模擬画像を前記前方ビュー画像に透過状態で重畳表示し、前記第１模擬画像には、自車両の後部の最外郭を規定する部品の画像が含まれ、前記第２模擬画像には、自車両の前部の最外郭を規定する部品の画像が含まれる（請求項３）。

【0019】

このように、自車両の後部（前部）の部品群を透過状態で示す第１模擬画像（第２模擬画像）を後方ビュー画像（前方ビュー画像）に重畳して表示するようにした場合には、各ビュー画像に表示される障害物等の情報を、自車両との位置関係を把握しながらドライバーに認識させることができる。しかも、第１模擬画像には自車両の後部の最外郭を規定する部品の画像が含まれ、第２模擬画像には自車両の前部の最外郭を規定する部品の画像が含まれるので、車両の後側方および前側方にある障害物と、当該障害物と最初に衝突する可能性のある部品との位置関係をドライバーに的確に認識させることができ、当該障害物との衝突の可能性をより低減することができる。

【発明の効果】

【0020】

以上説明したように、本発明の車両用表示装置によれば、死角領域を含めた必要十分な範囲のビュー画像を視認性に優れた態様で表示することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態にかかる車両用表示装置を備えた車両の平面図である。

【図2】上記車両における車室の前部を後方から見た斜視図である。

【図3】上記車両用表示装置の制御系統を示すブロック図である。

【図4】上記車室の前部を側方から見た側面図である。

【図5】車室内に設定される仮想視点（第１仮想視点および第２仮想視点）と、当該仮想視点から見たビュー画像を生成する際に用いられる投影面とを示す斜視図である。

【図6】車両の運転中に画像処理部により実行される制御の内容を示すフローチャートである。

【図7】図６のステップＳ４で実行される後方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。

【図8】図６のステップＳ８で実行される前方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。

【図9】人間の注視安定視野について説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。

【図10】後方ビュー画像の生成時に使用される画像データの範囲を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。

【図11】後方ビュー画像の生成時に使用される第１仮想視点の位置を説明するための側面図である。

【図12】前方ビュー画像の生成時に使用される画像データの範囲を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。

【図13】前方ビュー画像の生成時に使用される第２仮想視点の位置を説明するための側面図である。

【図14】視点変換の処理を説明するための模式図であり、（ａ）は投影面よりも仮想視点から遠い撮影対象を撮影する場合を、（ｂ）は投影面よりも仮想視点に近い撮影対象を撮影する場合を、それぞれ示している。

【図15】後方ビュー画像の一例を示す図である。

【図16】前方ビュー画像の一例を示す図である。

【発明を実施するための形態】

【0022】

（１）全体構成
図１は、本発明の一実施形態にかかる車両用表示装置１（以下、表示装置１という）を備えた車両の平面図であり、図２は、当該車両における車室の前部を示す斜視図であり、図３は、表示装置１の制御系統を示すブロック図である。本図に示すように、表示装置１は、車両の周辺を撮影する車外撮影装置２（図１、図３）と、車外撮影装置２で撮影された画像に種々の画像処理を施す画像処理部３（図３）と、画像処理部３で処理された画像を表示する車内ディスプレイ４（図２、図３）とを備えている。なお、車外撮影装置２は、本発明における「撮影部」の一例に該当し、車内ディスプレイ４は、本発明における「表示部」の一例に該当する。

【0023】

車外撮影装置２は、車両の前方を撮影する前カメラ２ａと、車両の後方を撮影する後カメラ２ｂと、車両の左方を撮影する左カメラ２ｃと、車両の右方を撮影する右カメラ２ｄとを備えている。図１に示すように、前カメラ２ａは、車両前端のフロントフェイス部１１に取り付けられ、車両前方の角度範囲Ｒａ内の画像を取得し得るように構成されている。後カメラ２ｂは、車両後部のバックドア１２の後面に取り付けられ、車両後方の角度範囲Ｒｂ内の画像を取得し得るように構成されている。左カメラ２ｃは、車両の左側のサイドミラー１３に取り付けられ、車両左方の角度範囲Ｒｃ内の画像を取得し得るように構成されている。右カメラ２ｄは、車両の右側のサイドミラー１４に取り付けられ、車両右方の角度範囲Ｒｄ内の画像を取得し得るように構成されている。これら前後左右の各カメラ２ａ～２ｄは、いずれも視野が広い魚眼レンズ付きカメラにより構成されている。

【0024】

車内ディスプレイ４は、車室前部のインストルメントパネル２０（図２）の中央部に配置されている。車内ディスプレイ４は、例えばフルカラーの液晶パネルからなり、乗員による操作や車両の走行状態に応じて種々の画面を表示することが可能である。具体的に、車内ディスプレイ４は、車外撮影装置２（カメラ２ａ～２ｄ）で撮影された画像を表示する機能に加えて、例えば車両の目的地までの走行経路を案内するナビゲーション画面や、車両に備わる各種機器の設定を行うための設定画面等を表示する機能を有している。なお、図示の車両は右ハンドル車であり、車内ディスプレイ４の右側にはステアリングホイール２１が配置されている。また、ステアリングホイール２１の後方には、車両を運転するドライバーが着座するシートである運転席７（図１）が配置されている。

【0025】

画像処理部３は、車外撮影装置２（カメラ２ａ～２ｄ）で撮影された画像に種々の画像処理を施すことにより、車室内から車両周辺を見たときに得られる画像（以下、これをビュー画像という）を生成し、生成したビュー画像を車内ディスプレイ４に表示させる。詳細は後述するが、画像処理部３は、車室内から車両後方を見たときに得られる後方ビュー画像と、車室内から車両前方を見たときに得られる前方ビュー画像とのいずれかを条件に応じて生成し、生成したビュー画像を車内ディスプレイ４に表示させる。

【0026】

図３に示すように、画像処理部３には、車速センサＳＮ１、シフトポジションセンサＳＮ２、およびビュースイッチＳＷ１が電気的に接続されている。

【0027】

車速センサＳＮ１は、車両の走行速度を検出するセンサである。

【0028】

シフトポジションセンサＳＮ２は、車両に備わる自動変速機（図示略）のシフトポジションを検出するセンサである。自動変速機は、少なくともＤ（ドライブ）、Ｎ（ニュートラル）、Ｒ（リバース）、Ｐ（パーキング）の４つのシフトポジションを達成可能であり、このうちのいずれのポジションが達成されているかがシフトポジションセンサＳＮ２によって検出される。なお、Ｄポジションは車両の前進時に選択させるシフトポジション（前進レンジ）であり、Ｒポジションは車両の後退時に選択させるシフトポジション（後退レンジ）であり、Ｎ，Ｐの各ポジションは車両の非走行時に選択されるシフトポジションである。

【0029】

ビュースイッチＳＷ１は、シフトポジションがＤポジションのとき（つまり車両の前進時）にビュー画像の表示を許可するか否かを決定するためのスイッチである。詳細は後述するが、当実施形態では、シフトポジションがＲポジション（後退レンジ）のときは自動的に車内ディスプレイ４に後方ビュー画像が表示される一方で、シフトポジションがＤポジション（前進レンジ）のときはビュースイッチＳＷ１が操作されているとき（つまりドライバーの要求時）にのみ車内ディスプレイ４に前方ビュー画像が表示されるようになっている。画像処理部３は、車内ディスプレイ４に前方／後方ビュー画像のいずれを表示するか、または双方を表示しないかを、ビュースイッチＳＷ１の操作状況と、シフトポジションセンサＳＮ２による検出結果とに応じて決定する。なお、ビュースイッチＳＷ１は、例えばステアリングホイール２１に設けることが可能である。

【0030】

（２）画像処理部の詳細
画像処理部３の構成についてより詳しく説明する。画像処理部３は、図３に示すように、判定部３１と、画像抽出部３２と、画像変換部３３と、アイコン設定部３４と、表示制御部３５とを機能的に有している。

【0031】

判定部３１は、画像処理を行うにあたって必要な各種判定を行うモジュールである。

【0032】

画像抽出部３２は、前後左右のカメラ２ａ～２ｄの撮影画像を所要範囲で抽出する処理を行うモジュールである。具体的に、画像抽出部３２は、車両が後退しているか前進しているかに応じて使用するカメラを切り替える。例えば、車両の後退時（シフトポジションがＲレンジであるとき）には、少なくとも後カメラ２ｂを含む複数のカメラが使用され、車両の前進時（シフトポジションがＤレンジであるとき）には、少なくとも前カメラ２ａを含む複数のカメラが使用される。なお、使用される各カメラから抽出される画像の範囲は、最終的に車内ディスプレイ４に表示される画像（後述するビュー画像）の画角に応じた範囲とされる。

【0033】

画像変換部３３は、画像抽出部３２により抽出された各カメラの撮影画像を合成しつつ視点変換の処理を行うことにより、車室内から車両周辺を見た画像であるビュー画像を生成するモジュールである。視点変換に際しては、図５に示す投影面Ｐと、図１、図４および図５に示す第１仮想視点Ｖ１および第２仮想視点Ｖ２とが用いられる。投影面Ｐは、お椀状を呈する仮想的な面であり、車両が水平な路面上を走行していると仮定したときの当該路面上に設定された平面投影面Ｐ１と、平面投影面Ｐ１の外周から立ち上がる立体投影面Ｐ２とを含む。平面投影面Ｐ１は、車両を取り囲むことが可能な直径を有する円形の投影面である。立体投影面Ｐ２は、上側ほど（平面投影面Ｐ１の外周から離れるほど）直径が大きくなるように上拡がり状に形成されている。第１仮想視点Ｖ１および第２仮想視点Ｖ２（図１、図４）は、投影面Ｐに投影する際の投影中心となる点であり、いずれも車室内に設定される。第１仮想視点Ｖ１は第２仮想視点Ｖ２よりも前側に位置している。画像変換部３３は、抽出した各カメラの撮影画像を、第１仮想視点Ｖ１または第２仮想視点Ｖ２を投影中心として投影面Ｐに投影したビュー画像に変換する。変換可能なビュー画像には、少なくとも、第１仮想視点Ｖ１から車両後方を見た場合の投影画像（カメラ画像を投影面Ｐにおける後側領域に投影した画像）である後方ビュー画像と、第２仮想視点Ｖ２から車両前方を見た場合の投影画像（カメラ画像を投影面Ｐにおける前側領域に投影した画像）である前方ビュー画像とが含まれる。

【0034】

アイコン設定部３４は、上記ビュー画像（後方ビュー画像または前方ビュー画像）に重畳表示される第１自車両アイコンＧ１（図１５）および第２自車両アイコンＧ２（図１６）を設定する処理を行うモジュールである。第１自車両アイコンＧ１は、第１仮想視点Ｖ１から車両後方を見たときに映る自車両の各種部品（車輪や車室部品）を透過状態で表示するグラフィック画像であり、第２自車両アイコンＧ２は、第２仮想視点Ｖ２から車両前方を見たときに映る自車両の各種部品を透過状態で表示するグラフィック画像である。第１自車両アイコンＧ１は、本発明における「第１模擬画像」に相当し、第２自車両アイコンＧ２は、本発明における「第２模擬画像」に相当する。

【0035】

表示制御部３５は、第１または第２自車両アイコンＧ１，Ｇ２が重畳されたビュー画像を車内ディスプレイ４に表示させる処理を行うモジュールである。すなわち、表示制御部３５は、画像変換部３３により生成された後方ビュー画像に対し、アイコン設定部３４により設定された第１自車両アイコンＧ１を重畳し、その重畳後のビュー画像を車内ディスプレイ４に表示させる。同様に、表示制御部３５は、画像変換部３３により生成された前方ビュー画像に対し、アイコン設定部３４により設定された第２自車両アイコンＧ２を重畳し、その重畳後のビュー画像を車内ディスプレイ４に表示させる。

【0036】

（３）制御動作
図６は、車両の運転中に画像処理部３により実行される制御の内容を示すフローチャートである。本図に示す制御がスタートすると、画像処理部３（判定部３１）は、車速センサＳＮ１により検出された車速が予め定められた閾値速度Ｘ１以下であるか否かを判定する（ステップＳ１）。なお、閾値速度Ｘ１は、例えば１５ｋｍ／ｈ程度とすることができる。

【0037】

上記ステップＳ１でＹＥＳと判定されて車速が閾値速度Ｘ１以下であることが確認された場合、画像処理部３（判定部３１）は、シフトポジションセンサＳＮ２により検出されたシフトポジションがＲポジション（後退レンジ）であるか否かを判定する（ステップＳ２）。

【0038】

上記ステップＳ２でＹＥＳと判定されてシフトポジションがＲポジションであることが確認された場合（換言すれば車両の後退時）、画像処理部３は、後述するステップＳ４で生成される後方ビュー画像の画角を設定する（ステップＳ３）。具体的に、このステップＳ３では、水平方向の画角が９０度に、垂直方向の画角が４５度に設定される。

【0039】

上記ステップＳ３で設定される画角は、人間の注視安定視野に基づいている。注視安定視野とは、頭部の運動（首振り運動）が眼球運動を助けることで無理なく視認することができる範囲のことである。注視安定視野は、一般に、水平方向において左４５度から右４５度までの角度範囲を有するとともに、垂直方向において上３０度から下４０度までの角度範囲を有するとされている。すなわち、図９（ａ）（ｂ）に示すように、注視安定視野の水平方向の最大角度（水平最大角度）をθ１、垂直方向の最大角度（垂直最大角度）をθ２とすると、水平最大角度θ１は９０度、垂直最大角度θ２は７０度である。また、注視安定視野の内側には、水平３０度、垂直２０度の角度範囲を有する有効視野が存在し、この有効視野内の情報であれば眼球運動だけで正確に判別できると言われている。逆に、有効視野の外側の情報は、見えてはいても十分な精度で判別することが難しく、細かな変化に気づき難い。有効視野の外側の情報を精度よく視認（注視）するには、頭部の運動（首振り）による助けが必要となる。一方で、有効視野の外側であっても注視安定視野の内側であれば、無理のないわずかな頭部運動を伴うだけで情報を正確に判別でき、細かな変化にも比較的迅速に対応できると考えられている。

【0040】

上記の点を考慮して、当実施形態では、後方ビュー画像の画角が水平９０度、垂直４５度に設定されている。すなわち、後方ビュー画像の水平方向の画角が、注視安定視野の水平最大角度θ１と同じ９０度に設定されるとともに、後方ビュー画像の垂直方向の画角が、注視安定視野の垂直最大角度θ２（＝７０度）よりも小さい４５度に設定されている。

【0041】

次いで、画像処理部３は、車室内の第１仮想視点Ｖ１から車両後方を見たときに得られる後方ビュー画像を生成して車内ディスプレイ４に表示する制御を実行する（ステップＳ４）。この制御の詳細については後述する。

【0042】

次に、上記ステップＳ２でＮＯと判定された場合、つまり自動変速機のシフトポジションがＲポジション（後退レンジ）でなかった場合の制御について説明する。この場合、画像処理部３（判定部３１）は、シフトポジションセンサＳＮ２により検出されたシフトポジションがＤポジション（前進レンジ）であるか否かを判定する（ステップＳ５）。

【0043】

上記ステップＳ５でＹＥＳと判定されてシフトポジションがＤポジションであることが確認された場合（換言すれば車両の前進時）、画像処理部３（判定部３１）は、ビュースイッチＳＷ１からの信号に基づいて、当該ビュースイッチＳＷ１がＯＮ状態にあるか否かを判定する（ステップＳ６）。

【0044】

上記ステップＳ６でＹＥＳと判定されてビュースイッチＳＷ１がＯＮ状態であることが確認された場合、画像処理部３は、後述するステップＳ８で生成される前方ビュー画像の画角を設定する（ステップＳ７）。このステップＳ７で設定される前方ビュー画像の画角は、上述したステップＳ３で設定される後方ビュー画像の画角と同一であり、当実施形態では水平９０度、垂直４５度に設定される。

【0045】

次いで、画像処理部３は、車室内の第２仮想視点Ｖ２から車両前方を見たときに得られる前方ビュー画像を生成して車内ディスプレイ４に表示する制御を実行する（ステップＳ８）。この制御の詳細については後述する。

【0046】

図７は、上述したステップＳ４で実行される後方ビュー画像の生成・表示制御の詳細を示すサブルーチンである。本図に示す制御がスタートすると、画像処理部３（画像抽出部３２）は、後カメラ２ｂ、左カメラ２ｃ、および右カメラ２ｄの撮影画像から所要範囲の画像データを取得する（ステップＳ１１）。

【0047】

図１０（ａ）（ｂ）は、上記ステップＳ１１で取得される画像データの範囲を説明するための模式図であり、車両とその周囲の投影面Ｐとを平面視および側面視で示している。既に述べたとおり、後方ビュー画像は、第１仮想視点Ｖ１を投影中心として水平９０度、垂直４５度の角度範囲でカメラ画像を後方に投影した画像である。したがって、このような後方ビュー画像を得るのに必要な画像データは、少なくとも、第１仮想視点Ｖ１から水平９０度、垂直４５度の角度で後方に拡がる立体扇型状の撮影領域Ｗ１の画像データである。そこで、上記ステップＳ１１では、後カメラ２ｂ、左カメラ２ｃ、および右カメラ２ｄの各撮影画像のデータから、当該撮影領域Ｗ１内の画像に対応するデータをそれぞれ取得する。

【0048】

この点についてより詳しく説明する。当実施形態では、図１０（ａ）に示すように、第１仮想視点Ｖ１が車両中心軸Ｌｃ（車両中心Ｃを通って前後方向に延びる軸線）上に設定されるとともに、この第１仮想視点Ｖ１から真っ直ぐ後方を見たときに得られる画像が後方ビュー画像として生成される。このため、撮影領域Ｗ１は、平面視において、第１仮想視点Ｖ１から水平９０度（車両中心軸Ｌｃの左右に４５度ずつ）の角度範囲をもって後方に拡がる扇型の領域、つまり第１仮想視点Ｖ１から左後方に４５度の角度で延びる第１ラインｋ１１と第１仮想視点Ｖ１から右後方に４５度の角度で延びる第２ラインｋ１２とで画成される扇型の領域となる。このような撮影領域Ｗ１内の撮影データを得るために、上記ステップＳ１１では、撮影領域Ｗ１を平面視で３つの領域Ｗ１１～Ｗ１３（図１０（ａ））に分割し、各領域Ｗ１１～Ｗ１３の画像データを異なるカメラから取得する。領域Ｗ１１を第１領域、領域Ｗ１２を第２領域、領域Ｗ１３を第３領域とすると、当実施形態では、第１領域Ｗ１１の画像データを後カメラ２ｂから取得し、第２領域Ｗ１２の画像データを左カメラ２ｃから取得し、第３領域Ｗ１３の画像データを右カメラ２ｄから取得する。

【0049】

具体的に、第１領域Ｗ１１は、上述した撮影領域Ｗ１（第１ラインｋ１１と第２ラインｋ１２とで画成される領域）のうち、後カメラ２ｂから水平１７０度（車両中心軸Ｌｃの左右に８５度ずつ）の角度範囲をもって後方に拡がる扇型の領域と重複する領域である。言い換えると、第１領域Ｗ１１は、後カメラ２ｂから左後方に８５度の角度で延びる第３ラインｋ１３と、後カメラ２ｂから右後方に８５度の角度で延びる第４ラインｋ１４と、第１ラインｋ１１のうち第３ラインｋ１３との交点ｊ１１よりも後側に位置する部分と、第２ラインｋ１２のうち第４ラインｋ１４との交点ｊ１２よりも後側に位置する部分とにより画成される領域である。第２領域Ｗ１２は、撮影領域Ｗ１の左半分から第１領域Ｗ１１の分を除いた残余の領域である。第３領域Ｗ１３は、撮影領域Ｗ１の左半分から第１領域Ｗ１１の分を除いた残余の領域である。なお、第２・第３領域Ｗ１２，Ｗ１３のうち車両の直ぐ後側にあたる領域は左右のカメラ２ｃ，２ｄで撮影できない領域となるが、この領域の画像は所定の補間処理（例えば死角領域に隣接する領域の画像を引き延ばす処理）によって補われる。

【0050】

以上のようにして各カメラ２ｂ，２ｃ，２ｄから所要範囲の画像を取得した後、画像処理部３（画像変換部３３）は、後述するステップＳ１５で後方ビュー画像を生成する際に用いる第１仮想視点Ｖ１を設定する（ステップＳ１２）。図４および図１０（ａ）に示すように、第１仮想視点Ｖ１は、車室に含まれる位置であって、平面視で車両中心軸Ｌｃに一致しかつ側面視でドライバーの頭部Ｄ１よりも前方にずれた位置に設定される。

【0051】

第１仮想視点Ｖ１の詳しい位置について図１１を参照しつつ説明する。図１１において、点Ｔ１は、車両の後端Ｍ１から距離ｄｔだけ離れた路面上（より正確には平面投影面Ｐ１と同一平面をなす仮想の路面上）の点であり、以下ではこれを第１ターゲット位置という。車両の後端Ｍ１から第１ターゲット位置Ｔ１までの距離ｄｔは、徐行時（車速が５ｋｍ／ｈのとき）の制動距離、つまりドライバーが危険に気付いてから車両をブレーキ操作により停止させるまでの車両の移動距離に相当しており、例えば２ｍに設定される。また、図１１における点Ｅ（図４にも記載）は、運転席７に着座したドライバーの目の位置、つまりアイポイントである。なお、この場合におけるドライバーは、米国成人男性の５０パーセンタイルのダミー人形であるＡＭ５０と同じ体格を有するものとし、また、ドライバーが着座する運転席７（図４）のシートポジションは、ＡＭ５０相当のドライバーが適切な運転姿勢をとれるポジションに設定されているものとする。

【0052】

図１１に示すように、第１仮想視点Ｖ１は、側面視において、路面上の第１ターゲット位置Ｔ１とドライバーのアイポイントＥとを通る第１傾斜ラインＬ１上に位置し、かつアイポイントＥよりも車両前方に距離ｄｖだけずれるように設定される。言い換えると、第１仮想視点Ｖ１は、車室内においてドライバーのアイポイントＥよりも上方かつ前方に位置するように設定される。このような位置に設定された第１仮想視点Ｖ１は、図４に示す側面視において、運転席７のシートバック７ａよりも前側の領域におけるルーフパネル８の下側の近傍に位置している。なお、アイポイントＥから第１仮想視点Ｖ１までの前後方向の距離ｄｖは、例えば２００ｍｍ程度に設定することができる。

【0053】

次いで、画像処理部３（画像変換部３３）は、後述するステップＳ１５で後方ビュー画像を生成する際に用いる投影面Ｐを設定する（ステップＳ１３）。図５を用いて既に説明したとおり、投影面Ｐは、車両を内包するお椀状の投影面であって、平面投影面Ｐ１と立体投影面Ｐ２とを含む。当実施形態では、平面視において投影面Ｐ（平面投影面Ｐ１）の中心が図１０（ａ）に示す車両中心Ｃ（車両の前後方向および車幅方向の中心）と一致するものとする。すなわち、ステップＳ１３において、画像処理部３（画像変換部３３）は、車両中心Ｃと同じ中心を有する円形の平面投影面Ｐ１を設定するとともに、この平面投影面Ｐ１の外周から所定の曲率で拡径しつつ立ち上がる立体投影面Ｐ２を設定する。また、図１１に示すように、平面投影面Ｐ１の半径は、第１ターゲット位置Ｔ１が平面投影面Ｐ１の外周（換言すれば立体投影面Ｐ２の下縁）の近傍に位置するように設定される。具体的に、当実施形態では、第１ターゲット位置Ｔ１が平面投影面Ｐ１の外周（立体投影面Ｐ２の下縁）の後端から若干（例えば２００ｍｍほど）後方にずれた位置に存在するように、平面投影面Ｐ１の半径が例えば４～５ｍ程度に設定されている。

【0054】

次いで、画像処理部３（アイコン設定部３４）は、後述するステップＳ１６で後方ビュー画像とともに重畳表示される第１自車両アイコンＧ１（図１５）を設定する（ステップＳ１４）。ここで設定される第１自車両アイコンＧ１は、図１５に示すように、第１仮想視点Ｖ１から後方を見たときに映る自車両の各種部品を表すアイコンであって、車両の後輪ｇ１や車両後部の外郭部品（リヤフェンダーｇ３等）を透過状態で表示するグラフィック画像を含むものとされる。このような第１自車両アイコンＧ１は、画像処理部３に予め記憶されているグラフィック画像を、第１仮想視点Ｖ１と投影面Ｐとの位置関係から定まる縮尺率で拡大または縮小する等により生成することができる。

【0055】

次いで、画像処理部３（画像変換部３３）は、上記ステップＳ１１で取得した各カメラ２ｂ，２ｃ，２ｄの撮影画像を合成するとともに、その合成後の画像に対し、上記ステップＳ１２，Ｓ１３で設定した第１仮想視点Ｖ１および投影面Ｐを用いて視点変換の処理を行うことにより、第１仮想視点Ｖ１から車両後方を見たときに得られる後方ビュー画像を生成する（ステップＳ１５）。すなわち、画像処理部３（画像変換部３３）は、後カメラ２ｂが撮影した第１領域Ｗ１１の画像、左カメラ２ｃが撮影した第２領域Ｗ１２の画像、および右カメラ２ｄが撮影した第３領域Ｗ１３の画像（それぞれ図１０（ａ）参照）を合成する。そして、この合成後の画像を、第１仮想視点Ｖ１を投影中心として投影面Ｐの後側の一部、つまり投影面Ｐ（平面投影面Ｐ１および立体投影面Ｐ２）における上記領域Ｗ１１～Ｗ１３に対応する範囲である後側領域Ｐ１ｗに投影する視点変換の処理を行う。これにより、第１仮想視点Ｖ１から車両後方を見たときに得られる後方ビュー画像を生成することができる。

【0056】

なお、上述した視点変換（投影面Ｐへの投影）の処理は、例えば次のようにして行うことができる。まず、合成後のカメラ画像の各画素に３次元（Ｘ，Ｙ，Ｚ）の座標が定められる。次に、各画素の座標が、第１仮想視点Ｖ１と投影面Ｐの後側領域Ｐ１ｗとの位置関係から定まる所定の演算式等を用いて、投影後の座標に変換される。例えば、図１４（ａ）に示すように、投影面Ｐよりも第１仮想視点Ｖ１から遠い撮影対象を撮影して得られた画像がＡ１であり、この画像Ａ１における特定の画素の座標がａ１，ａ２であったとすると、各画素の投影後の座標は、それぞれ投影面Ｐ上の座標ａ１ｉ，ａ２ｉとなる。逆に、図１４（ｂ）に示すように、投影面Ｐよりも第１仮想視点Ｖ１に近い撮影対象を撮影して得られた画像がＢ１であり、この画像Ｂ１における特定の画素の座標がｂ１，ｂ２であったとすると、各画素の投影後の座標は、それぞれ投影面Ｐ上の座標ｂ１ｉ，ｂ２ｉとなる。そして、このような変換後の座標と元の座標との関係に基づき撮影画像が加工される。例えば、図１４（ａ）のケースでは、撮影対象の画像Ａ１が加工されて画像Ａ１ｉに変換され、図１４（ｂ）のケースでは、撮影対象の画像Ｂ１が加工されて画像Ｂ１ｉに変換される。画像処理部３（画像変換部３３）は、以上のような手順で視点変換（投影面Ｐへの投影）の処理を行うことにより、第１仮想視点Ｖ１から車両後方を見たときに得られる後方ビュー画像を生成する。

【0057】

次いで、画像処理部３（表示制御部３５）は、上記ステップＳ１５で生成された後方ビュー画像を、上記ステップＳ１４で設定された第１自車両アイコンＧ１を重畳した状態で車内ディスプレイ４に表示させる（ステップＳ１６）。図１５は、その表示の一例を模式的に示す図である。この例において、後方ビュー画像には、自車両の後方に位置する駐車車両（他車両）Ｑ１，Ｑ２の画像と、駐車スペースを確定するために路面に付された白線Ｕ１の画像とが含まれている。また、第１自車両アイコンＧ１には、左右の後輪ｇ１，ｇ１と、サスペンション部品ｇ２と、各後輪ｇ１，ｇ１の周囲に位置するリヤフェンダーｇ３，ｇ３と、リヤガラスｇ４と、左右のリヤランプｇ５とをそれぞれ透過状態で表示するグラフィック画像が含まれている。これらの部品のうち、リヤフェンダーｇ３，ｇ３は、車両後部の最外郭（最も車幅方向の外側に位置する面）を規定する部品である。

【0058】

次に、図８を用いて、上述したステップＳ８（図６）で実行される前方ビュー画像の生成・表示制御の詳細について説明する。図８に示す制御がスタートすると、画像処理部３（画像抽出部３２）は、前カメラ２ａ、左カメラ２ｃ、および右カメラ２ｄの撮影画像から所要範囲の画像データを取得する（ステップＳ２１）。

【0059】

図１２（ａ）（ｂ）は、上記ステップＳ２１で取得される画像データの範囲を説明するための模式図であり、車両とその周囲の投影面Ｐとを平面視および側面視で示している。既に述べたとおり、前方ビュー画像は、第２仮想視点Ｖ２を投影中心として水平９０度、垂直４５度の角度範囲でカメラ画像を前方に投影した画像である。したがって、このような前方ビュー画像を得るのに必要な画像データは、少なくとも、第２仮想視点Ｖ２から水平９０度、垂直４５度の角度で前方に拡がる立体扇型状の撮影領域Ｗ２の画像データである。そこで、上記ステップＳ２１では、前カメラ２ａ、左カメラ２ｃ、および右カメラ２ｄの各撮影画像のデータから、当該撮影領域Ｗ２内の画像に対応するデータをそれぞれ取得する。

【0060】

上記ステップＳ２１で前方の撮影領域Ｗ２内の画像を取得する方法は、上述したステップＳ１１（図７）の方法、つまり後方の撮影領域Ｗ１（図１０）内の画像を取得する方法と同様である。すなわち、上記ステップＳ２１では、図１２（ａ）に示すように、平面視において第２仮想視点Ｖ２から水平９０度（車両中心軸Ｌｃの左右に４５度ずつ）の角度範囲をもって前方に拡がる扇型の領域、つまり第２仮想視点Ｖ２から左前方に４５度の角度で延びる第１ラインｋ２１と第２仮想視点Ｖ２から右前方に４５度の角度で延びる第２ラインｋ２２とで画成される扇型の領域を、撮影領域Ｗ２として規定する。そして、この撮影領域Ｗ２を平面視で３つの領域Ｗ２１～Ｗ２３に分割し、各領域Ｗ２１～Ｗ２３の画像データを異なるカメラから取得する。領域Ｗ２１を第１領域、領域Ｗ２２を第２領域、領域Ｗ２３を第３領域とすると、当実施形態では、第１領域Ｗ２１の画像データを前カメラ２ａから取得し、第２領域Ｗ２２の画像データを左カメラ２ｃから取得し、第３領域Ｗ２３の画像データを右カメラ２ｄから取得する。

【0061】

具体的に、第１領域Ｗ２１は、上述した撮影領域Ｗ２（第１ラインｋ２１と第２ラインｋ２２とで画成される領域）のうち、前カメラ２ａから水平１７０度（車両中心軸Ｌｃの左右に８５度ずつ）の角度範囲をもって前方に拡がる扇型の領域と重複する領域である。言い換えると、第１領域Ｗ２１は、前カメラ２ａから左前方に８５度の角度で延びる第３ラインｋ２３と、前カメラ２ａから右前方に８５度の角度で延びる第４ラインｋ２４と、第１ラインｋ２１のうち第３ラインｋ２３との交点ｊ２１よりも前側に位置する部分と、第２ラインｋ２２のうち第４ラインｋ２４との交点ｊ２２よりも前側に位置する部分とにより画成される領域である。第２領域Ｗ２２は、撮影領域Ｗ２の左半分から第１領域Ｗ２１の分を除いた残余の領域である。第３領域Ｗ２３は、撮影領域Ｗ２の左半分から第１領域Ｗ２１の分を除いた残余の領域である。なお、第２・第３領域Ｗ２２，Ｗ２３のうち車両の直ぐ前側にあたる領域は左右のカメラ２ｃ，２ｄで撮影できない領域となるが、この領域の画像は所定の補間処理（例えば死角領域に隣接する領域の画像を引き延ばす処理）によって補われる。

【0062】

以上のようにして各カメラ２ａ，２ｃ，２ｄから所要範囲の画像を取得した後、画像処理部３（画像変換部３３）は、後述するステップＳ２５で前方ビュー画像を生成する際に用いる第２仮想視点Ｖ２を設定する（ステップＳ２２）。図４および図１２（ａ）に示すように、第２仮想視点Ｖ２は、車室に含まれる位置であって、平面視で車両中心軸Ｌｃに一致しかつ側面視でドライバーの頭部Ｄ１よりも後方にずれた位置に設定される。

【0063】

第２仮想視点Ｖ２の詳しい位置について図１３を参照しつつ説明する。図１３において、点Ｔ２は、車両の前端Ｍ２から徐行時（車速が５ｋｍ／ｈのとき）の制動距離に相当する距離ｄｔ（例えば２ｍ）だけ離れた路面上（より正確には平面投影面Ｐ１と同一平面をなす仮想の路面上）の点であり、以下ではこれを第２ターゲット位置という。

【0064】

図１３に示すように、第２仮想視点Ｖ２は、側面視において、路面上の第２ターゲット位置Ｔ２とドライバーのアイポイントＥとを通る第２傾斜ラインＬ２上に位置し、かつアイポイントＥよりも車両後方に距離ｄｖ（例えば２００ｍｍ）だけずれるように設定される。言い換えると、第２仮想視点Ｖ２は、車室内においてドライバーのアイポイントＥよりも上方かつ後方に位置するように設定される。このような位置に設定された第２仮想視点Ｖ２は、図４に示す側面視において、運転席７のシートバック７ａよりも後側の領域におけるルーフパネル８の下側の近傍に位置している。

【0065】

次いで、画像処理部３（画像変換部３３）は、後述するステップＳ２５で前方ビュー画像を生成する際に用いる投影面Ｐを設定する（ステップＳ２３）。この投影面Ｐは、既に述べた後方ビュー画像の生成時に用いる投影面Ｐ（上記ステップＳ１３）と同じであり、車両中心Ｃと同じ中心を有する円形の平面投影面Ｐ１と、平面投影面Ｐ１の外周から所定の曲率で拡径しつつ立ち上がる立体投影面Ｐ２とを含むものとされる。これにより、図１３に示すように、第２ターゲット位置Ｔ２が平面投影面Ｐ１の外周（換言すれば立体投影面Ｐ２の下縁）に近接する。具体的に、第２ターゲット位置Ｔ２は、平面投影面Ｐ１の外周（立体投影面Ｐ２の下縁）の前端から若干（例えば２００ｍｍほど）前方にずれた位置に設定される。

【0066】

次いで、画像処理部３（アイコン設定部３４）は、後述するステップＳ２６で前方ビュー画像とともに重畳表示される第２自車両アイコンＧ２（図１６）を設定する（ステップＳ２４）。ここで設定される第２自車両アイコンＧ２は、図１６に示すように、仮想視点Ｖから前方を見たときに映る自車両の各種部品を表すアイコンであって、車両の前輪ｇ１１や車両前部の外郭部品（フロントフェンダーｇ１３等）を透過状態で表示するグラフィック画像を含むものとされる。このような第２自車両アイコンＧ２は、画像処理部３に予め記憶されているグラフィック画像を、第２仮想視点Ｖ２と投影面Ｐとの位置関係から定まる縮尺率で拡大または縮小する等により生成することができる。

【0067】

次いで、画像処理部３（画像変換部３３）は、上記ステップＳ２１で取得した各カメラ２ａ，２ｃ，２ｄの撮影画像を合成するとともに、その合成後の画像に対し、上記ステップＳ２２，Ｓ２３で設定した第２仮想視点Ｖ２および投影面Ｐを用いて視点変換の処理を行うことにより、第２仮想視点Ｖ２から車両前方を見たときに得られる前方ビュー画像を生成する（ステップＳ２５）。すなわち、画像処理部３（画像変換部３３）は、前カメラ２ａが撮影した第１領域Ｗ２１の画像、左カメラ２ｃが撮影した第２領域Ｗ２２の画像、および右カメラ２ｄが撮影した第３領域Ｗ２３の画像（それぞれ図１２（ａ）参照）を合成する。そして、この合成後の画像を、第２仮想視点Ｖ２を投影中心として投影面Ｐの前側の一部、つまり投影面Ｐ（平面投影面Ｐ１および立体投影面Ｐ２）における上記領域Ｗ２１～Ｗ２３に対応する範囲である前側領域Ｐ２ｗに投影する視点変換の処理を行う。これにより、第２仮想視点Ｖ２から車両前方を見たときに得られる前方ビュー画像を生成することができる。なお、視点変換の処理の詳細は既に述べた後方ビュー画像の生成時と同様であるので、ここではその説明を省略する。

【0068】

次いで、画像処理部３（表示制御部３５）は、上記ステップＳ２５で生成された前方ビュー画像を、上記ステップＳ２４で設定された第２自車両アイコンＧ２を重畳した状態で車内ディスプレイ４に表示させる（ステップＳ２６）。図１６は、その表示の一例を模式的に示す図である。この例において、前方ビュー画像には、自車両の前方に位置する駐車車両（他車両）Ｑ１１，Ｑ１２の画像と、駐車スペースを確定するために路面に付された白線Ｕ１１の画像とが含まれている。また、第２自車両アイコンＧ２には、左右の前輪ｇ１１，ｇ１１と、サスペンション部品ｇ１２と、各前輪ｇ１１，ｇ１１の周囲に位置するフロントフェンダーｇ１３，ｇ１３と、フロントグリルｇ１４と、フロントガラスｇ１５とをそれぞれ透過状態で表示するグラフィック画像が含まれている。これらの部品のうち、フロントフェンダーｇ１３，ｇ１３は、車両前部の最外郭（最も車幅方向の外側に位置する面）を規定する部品である。

【0069】

（４）作用効果
以上説明したように、当実施形態では、車外撮影装置２（カメラ２ａ～２ｄ）により撮影された画像に基づいて、車室内の第１仮想視点Ｖ１から車両後方を見た画像である後方ビュー画像と、車室内において第１仮想視点Ｖ１よりも後側に位置する第２仮想視点Ｖ２から車両前方を見た画像である前方ビュー画像とを生成可能であり、車両の後退時には後方ビュー画像が、車両の前進時には前方ビュー画像が、それぞれ車内ディスプレイ４に表示される。また、後方ビュー画像および前方ビュー画像は、互いに同一の画角（水平９０度、垂直４５度）で表示される。このような構成によれば、死角領域を含めた必要十分な範囲の後方／前方ビュー画像を視認性に優れた態様で表示できるという利点がある。

【0070】

すなわち、上記実施形態では、車両の後退時に、車室内において相対的に前側に位置する第１仮想視点Ｖ１から車両後方を見た画像である後方ビュー画像が車内ディスプレイ４に表示されるので、遠く引いた位置から車両後方を俯瞰したかのような画像を後方ビュー画像として得ることができ、車両後部の左右の近傍に存在する死角領域を含めた必要十分な範囲を後方ビュー画像により表示することができる。これにより、例えばドライバーが車両を後向き駐車させる運転操作を行っているときのように、後退中の自車両に障害物（他車両や歩行者など）が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の後側方（死角領域）の障害物をドライバーに的確に認識させることができ、このような障害物との衝突（巻き込み）を回避し得る安全な運転を行うようドライバーをアシストすることができる。

【0071】

同様に、車両の前進時には、車室内において相対的に後側に位置する第２仮想視点Ｖ２から車両前方を見た画像である前方ビュー画像が車内ディスプレイ４に表示されるので、遠く引いた位置から車両前方を俯瞰したかのような画像を前方ビュー画像として得ることができ、車両前部の左右の近傍に存在する死角領域を含めた必要十分な範囲を前方ビュー画像により表示することができる。これにより、例えばドライバーが車両を前向き駐車させる運転操作を行っているときのように、前進中の自車両に障害物（他車両や歩行者など）が衝突することが懸念されるシーンにおいて、ドライバーが見落とすおそれの高い車両の前側方（死角領域）の障害物をドライバーに的確に認識させることができ、このような障害物との衝突（巻き込み）を回避し得る安全な運転を行うようドライバーをアシストすることができる。

【0072】

また、後方ビュー画像および前方ビュー画像の画角が統一されているので、両ビュー画像の視認性を良好に確保することができる。例えば、後方ビュー画像と前方ビュー画像との間で画角が大きく異なっていた場合には、後方ビュー画像から前方ビュー画像に（あるいはその逆に）切り替わったときにドライバーが違和感を覚え、切り替え後の画像がドライバーに瞬時に理解されないおそれがある。これに対し、後方ビュー画像および前方ビュー画像の画角が統一されている上記実施形態によれば、上記のような違和感が生じるのを回避することができ、各ビュー画像をドライバーに瞬時に理解させることができる。

【0073】

また、上記実施形態では、運転席７に着座したドライバーのアイポイントＥよりも上方かつ前方に第１仮想視点Ｖ１が、アイポイントＥよりも上方かつ後方に第２仮想視点Ｖ２がそれぞれ設定されるので、ドライバーの目線に近い方向視で各ビュー画像を表示することができ、各ビュー画像をドライバーにとって直観的に認識し易いものとすることができる。

【0074】

また、上記実施形態では、側面視において、車両の後端Ｍ１から徐行時の制動距離に相当する距離ｄｔだけ離れた路面上の第１ターゲット位置Ｔ１とドライバーのアイポイントＥとを通る第１傾斜ラインＬ１上に第１仮想視点Ｖ１が設定されるので、例えば車両を後向き駐車する操作を行っているドライバーに第１ターゲット位置Ｔ１上の障害物を的確に認識させることができ、当該障害物との衝突の可能性を低減することができる。すなわち、ドライバーが後向き駐車の操作を行っているときに仮に第１ターゲット位置Ｔ１に障害物が存在したとしても、車両から当該障害物まで徐行時の制動距離だけ離れていることから、当該障害物との衝突はドライバーのブレーキ操作によってぎりぎり回避され得る。逆に言えば、第１ターゲット位置Ｔ１は、そこにある障害物を確実に認識できるようにドライバーが注意を向けるべき位置であり、衝突回避のための重要な位置であるといえる。これに対し、上記のように第１傾斜ラインＬ１上に第１仮想視点Ｖ１が設定された上記実施形態によれば、第１ターゲット位置Ｔ１にドライバーが実際に視線を向けたときに見える画に近い画像が後方ビュー画像として表示されることになるので、当該後方ビュー画像を通じて第１ターゲット位置Ｔ１にある障害物を的確にドライバーに認識させることができ、当該障害物との衝突の可能性を低減することができる。

【0075】

同様に、上記実施形態では、側面視において、車両の前端Ｍ２から距離ｄｔ（徐行時の制動距離）だけ離れた路面上の第２ターゲット位置Ｔ２とドライバーのアイポイントＥとを通る第２傾斜ラインＬ２上に第２仮想視点Ｖ２が設定されるので、このような第２仮想視点Ｖ２から見た前方ビュー画像を通じて、例えば車両を前向き駐車する操作を行っているドライバーに第２ターゲット位置Ｔ２上の障害物を的確に認識させることができ、当該障害物との衝突の可能性を低減することができる。

【0076】

また、上記実施形態では、後方ビュー画像および前方ビュー画像の生成時に第１・第２仮想視点Ｖ１，Ｖ２を投影中心としてカメラ画像が投影面Ｐ（平面投影面Ｐ１および立体投影面Ｐ２）に投影されるとともに、第１ターゲット位置Ｔ１および第２ターゲット位置Ｔ２が立体投影面Ｐ２の下縁（平面投影面Ｐ１の外周）に近接するように設定されるので、各ターゲット位置Ｔ１，Ｔ２に障害物があったときに当該障害物の画像を主に立体投影面Ｐ２に投影した状態で表示することができ、各ターゲット位置Ｔ１，Ｔ２上の障害物の視認性をより高めることができる。すなわち、図１４（ｂ）に示したように、平面投影面Ｐ１に投影した後の画像には大きな歪みが生じ易いのに対し、立体投影面Ｐ２に投影した後の画像に生じる歪みは小さく、視認性がよい。このため、上記のように各ターゲット位置Ｔ１，Ｔ２上の障害物の画像が主に立体投影面Ｐ２に投影されるように構成した場合には、当該障害物の視認性を高めることができ、当該障害物との衝突の可能性をより低減することができる。

【0077】

また、上記実施形態では、車両後部の部品群を透過状態で示す第１自車両アイコンＧ１が後方ビュー画像に重畳して表示されるとともに、車両前部の部品群を透過状態で示す第２自車両アイコンＧ２が前方ビュー画像に重畳して表示されるので、各ビュー画像に表示される障害物等の情報を、自車両との位置関係を把握しながらドライバーに認識させることができる。しかも、第１自車両アイコンＧ１には車両後部の最外郭を規定する部品（リヤフェンダーｇ３）の画像が含まれ、第２自車両アイコンＧ２には車両前部の最外郭を規定する部品（フロントフェンダーｇ１３）の画像が含まれるので、車両の後側方および前側方にある障害物と、当該障害物と最初に衝突する可能性のある部品との位置関係をドライバーに的確に認識させることができ、当該障害物との衝突の可能性をより低減することができる。

【0078】

（５）変形例
上記実施形態では、後方ビュー画像および前方ビュー画像の水平方向の画角を、人間の注視安定視野の水平最大角度θ１（＝９０度）と同一の９０度に設定したが、注視安定視野の広さに多少の個人差があることなどを考慮すれば、各ビュー画像の水平方向の画角は９０度から多少ずれた値であってもよい。言い換えると、各ビュー画像の水平方向の画角は、９０度もしくはこれに近い値（略９０度）であればよく、例えば８５度以上９５度以下の範囲の適宜の値に設定可能である。

【0079】

上記実施形態では、後方ビュー画像および前方ビュー画像の垂直方向の画角を４５度に設定したが、各ビュー画像の垂直方向の画角は、人間の注視安定視野の垂直最大角度θ２（＝７０度）以下で、かつ４０度以上であればよい。すなわち、後方ビュー画像および前方ビュー画像の垂直方向の画角は、４０度以上７０度以下の範囲の適宜の値に設定可能である。

【0080】

上記実施形態では、後方ビュー画像および前方ビュー画像の画角を互いに同一（水平９０度、垂直４５度）に設定したが、両ビュー画像の画角は完全同一でなくてもよく、多少ずれていてもよい。具体的に、後方ビュー画像および前方ビュー画像の画角の差が５度以下であれば、両ビュー画像の画角は略同一であるといえ、本発明はこのような態様をも含むものである。

【0081】

上記実施形態では、後方ビュー画像および前方ビュー画像の生成時にカメラ画像が投影される投影面Ｐの中心を、平面視において車両中心Ｃに一致させるようにしたが、投影面Ｐは車両を内包するように設定すればよく、車両中心Ｃからずれた位置に投影面Ｐの中心を設定してもよい。例えば、投影面Ｐの中心を第１仮想視点Ｖ１または第２仮想視点Ｖ２に一致させるようにしてもよい。より詳しくは、後方ビュー画像の生成時には第１仮想視点Ｖ１を中心とした投影面を設定し、前方ビュー画像の生成時には第２仮想視点Ｖ２を中心とした投影面を設定するようにしてもよい。

【0082】

上記実施形態では、車両の後端Ｍ１から徐行時の制動距離に相当する距離ｄｔ（例えば２ｍ）だけ離れた第１ターゲット位置Ｔ１と、車両の前端Ｍ２から同じ距離ｄｔだけ離れた第２ターゲット位置Ｔ２とが、それぞれ投影面Ｐにおける立体投影面Ｐ２の下縁（平面投影面Ｐ１の外周）に対しわずかに外側（車両から離れる側）に位置するように、平面投影面Ｐ１の半径を設定したが、各ターゲット位置Ｔ１，Ｔ２は立体投影面Ｐ２の下縁の近傍にあればよく、その限りにおいて種々の位置に変更可能である。例えば、各ターゲット位置Ｔ１，Ｔ２は、立体投影面Ｐ２の下縁と一致する位置にあってもよいし、立体投影面Ｐ２の下縁からわずかに内側（車両に近づく側）に離れた位置にあってもよい。各ターゲット位置Ｔ１，Ｔ２と立体投影面Ｐ２の下縁との距離は±５０ｃｍまで許容される。言い換えると、当該距離が±５０ｃｍ以下であれば、各ターゲット位置Ｔ１，Ｔ２は立体投影面Ｐ２の下縁の近傍にあるといえる。

【符号の説明】

【0083】

１ ：車両用表示装置
２ ：車外撮影装置（撮影部）
３ ：画像処理部
４ ：車内ディスプレイ（表示部）
Ｅ ：（ドライバーの）アイポイント
Ｇ１ ：第１自車両アイコン（第１模擬画像）
Ｇ２ ：第２自車両アイコン（第２模擬画像）
ｇ３ ：リヤフェンダー（車両後部の最外郭を規定する部品）
ｇ１３：フロントフェンダー（車両前部の最外郭を規定する部品）
Ｍ１ ：車両の後端
Ｍ２ ：車両の前端
Ｌ１ ：第１傾斜ライン
Ｌ２ ：第２傾斜ライン
Ｐ ：投影面
Ｐ１ ：平面投影面
Ｐ２ ：立体投影面
Ｔ１ ：第１ターゲット位置
Ｔ２ ：第２ターゲット位置
Ｖ１ ：第１仮想視点
Ｖ２ ：第２仮想視点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】