特開 2025-153466 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025153466

(43)【公開日】2025-10-10

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20251002BHJP

   B60R 11/02 20060101ALI20251002BHJP

   G08G 1/00 20060101ALI20251002BHJP

   G06T 1/00 20060101ALI20251002BHJP

【ＦＩ】

H04N7/18 J

B60R11/02 Z

G08G1/00 D

G06T1/00 330A

H04N7/18 V

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024055963

(22)【出願日】2024-03-29

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】渡邊 一矢

【テーマコード（参考）】

3D020

5B057

5C054

5H181

【Ｆターム（参考）】

3D020BA20

3D020BC13

3D020BE03

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE08

5B057CE09

5B057DA16

5C054CA04

5C054CC02

5C054FD03

5C054GB01

5C054GB06

5C054HA30

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF10

5H181FF14

5H181FF27

5H181FF33

(57)【要約】

【課題】駐車スペースまでの移動が長いロングレンジ駐車を行う場合であっても、車両の近傍に限られることなくこれから走行する走行経路周辺の状況を示すことを可能にした運転支援装置を提供する。
【解決手段】車両に設置された前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納し、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像４８を生成する一方、車両の走行予定経路を取得し、走行予定経路沿いの経路周辺画像４８を車両の現在位置を示す自車アイコン画像５１とともに表示するように構成する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

車両に設置された撮像装置によって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する画像格納手段と、
累積的に格納された前記撮像画像を前記車両情報に基づいて合成することで、前記車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する画像合成手段と、
前記経路周辺画像を表示する画像表示手段と、を有する運転支援装置。

【請求項2】

前記画像格納手段は、
前記撮像装置により撮像された撮像画像を上空に位置する仮想視点から鉛直下方に見下ろした俯瞰画像に変換し、
前記俯瞰画像の内、前記車両の進行方向と左右側方の３方から前記車両を囲むＵ字形状の領域の画像を抽出して格納する請求項１に記載の運転支援装置。

【請求項3】

前記画像表示手段は、
前記車両の移動に伴って表示対象となる前記経路周辺画像を順次切り替えて前記車両の現在位置を示す車両画像とともに表示する請求項１又は請求項２に記載の運転支援装置。

【請求項4】

前記画像表示手段は、前記経路周辺画像を一画面上に表示する請求項１又は請求項２に記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転支援を行う運転支援装置に関する。

【背景技術】

【0002】

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。ここで、車両の周囲には運転者の位置から視認困難な死角となるエリアが存在し、特に駐車操作や出庫操作などの特殊な操作が行われる場合においてはそのような死角の状況を運転者に把握させる為に、車両に設置されたカメラで撮像された周辺画像を液晶ディスプレイに表示することが行われていた。

【0003】

例えば特開２０２３－１７６５４８号公報には、車両を駐車スペースへと駐車させる駐車支援を行う場合において、車両の外壁に設置された複数のカメラで夫々周囲環境を撮像するとともに、撮像した撮像画像を合成することで車両の進行方向を示す進行方向画像や上空から車両周辺を見下ろした俯瞰画像を生成し、液晶ディスプレイに表示する技術について開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２３－１７６５４８号公報（段落００７１－００８８）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１において表示される進行方向画像や俯瞰画像では自車両の近傍のエリアの状況しか示すことができない問題がある。また、自車両の今後の進路（駐車軌道）についても自車両の近傍のエリアしか表示できない問題についても同様に存在する。このような特許文献１の技術では、自車両の近くにある駐車スペースへの駐車支援であれば対応可能であるが、例えば広い敷地内で予め決められた遠方の駐車スペースに移動して駐車を行うロングレンジ駐車では、駐車スペースまでの走行経路周辺の状況を案内できないことから、ユーザに対する支援を十分にすることができない問題が生じていた。

【0006】

本発明は前記従来における問題点を解消するためになされたものであり、過去に車両が走行した際に撮像した撮像画像を合成することで生成した経路周辺画像を表示することで、例えば駐車スペースまでの移動が長いロングレンジ駐車を行う場合であっても、車両の近傍に限られることなくこれから走行する走行経路周辺の状況を示すことを可能にした運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するため本発明に係る運転支援装置は、車両に設置された撮像装置によって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する画像格納手段と、累積的に格納された前記撮像画像を前記車両情報に基づいて合成することで、前記車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する画像合成手段と、前記経路周辺画像を表示する画像表示手段と、を有する。
尚、「周辺環境を撮像した撮像画像」は、カメラなどの撮像装置で撮像した画像そのものであっても良いし、撮像した画像を加工した画像であっても良い。例えば、複数台のカメラで撮影した画像を合成した画像であったり視点変換した画像であっても良い。

【発明の効果】

【0008】

前記構成を有する本発明に係る運転支援装置によれば、過去に車両が走行した際に撮像した撮像画像を合成することで生成した経路周辺画像を表示することで、例えば駐車スペースまでの移動が長いロングレンジ駐車を行う場合であっても、車両の近傍に限られることなくこれから走行する走行経路周辺の状況を示すことが可能となる。更に、経路周辺画像内に車両画像を表示することとすれば、走行経路における現在の自車位置についても容易に把握させることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る車両の概略構成図である。

【図2】本実施形態に係る運転支援装置の構成を示したブロック図である。

【図3】本実施形態に係る経路周辺画像生成処理プログラムのフローチャートである。

【図4】俯瞰画像の生成方法について説明した図である。

【図5】生成された俯瞰画像を示した図である。

【図6】累積的に格納する対象となる俯瞰画像の範囲を示した図である。

【図7】累積的に格納された俯瞰画像の一部を合成することで生成される経路周辺画像を示した図である。

【図8】経路周辺画像の一例を示した図である。

【図9】本実施形態に係る駐車支援処理プログラムのフローチャートである。

【図10】液晶ディスプレイに表示される経路周辺画像の一例を示した図である。

【図11】液晶ディスプレイに表示される経路周辺画像の一例を示した図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る運転支援装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援装置１を搭載した車両２について以下説明する。図１は本実施形態に係る車両２の概略構成図である。

【0011】

ここで、車両２は、例えば内燃機関（エンジン等）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ等）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車種については問わず、普通車であっても良いし、商業用の大型トラック、バス、建設機械などであっても良い。また、以下の説明では４輪自動車とするが２輪や３輪の車両であっても良い。

【0012】

但し、車両２はユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行が可能な車両とする。

【0013】

また、自動運転支援は例えば駐車時や出庫時等の特定の状況下でのみ行うようにしても良いし、全ての道路区間に対して行っても良いし、特定の道路区間（例えば境界にゲート（有人無人、有料無料は問わない）が設けられた高速道路）を車両が走行する間のみ行う構成としても良い。以下の説明では車両の自動運転支援が行われる自動運転区間は、一般道や高速道路を含む全ての道路区間に加えて駐車場も含むこととし、更にユーザにより自動運転支援を行うことが選択され（例えば自動運転開始ボタンをＯＮする）、且つ自動運転支援による走行を行わせることが可能と判定された状況でのみ行うこととする。一方で、車両２は自動運転支援による支援走行のみ可能な車両としても良い。或いは、車両が駐車を行う際の駐車スペースまでの走行（即ち駐車支援）のみを対象にして自動運転支援による支援走行を行うようにしても良い。

【0014】

そして、本実施形態の自動運転支援における車両制御では、例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。特に駐車支援を行う場合においては、センサやカメラの検出結果を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御が自動で行われる。更に、上記通常の駐車支援に加えて、例えば自宅のガレージや駐車場内の月極契約した駐車スペースなどの遠方の駐車スペースを目標として駐車を行うロングレンジ駐車にも対応しており、ロングレンジ駐車に対する駐車支援では、遠方の予め設定された駐車スペースまでの移動並びに駐車を完了させる車両制御が自動で行われる。但し、上記駐車支援ではステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。或いは駐車スペースへの駐車軌道の案内或いは車両操作の案内のみを行い、駐車スペースへの駐車操作は手動でユーザに行わせるようにしても良い。一方で、上記自動運転支援では、車載のディスプレイに車両に設置されたカメラで過去に撮像された車両周辺の風景（実景）から生成された現在走行する経路沿いの実景の映像である経路周辺画像を表示することについて行う。

【0015】

また、図１に示すように車両２は、乗員からの操作を受け付ける操作部３と、乗員に対して後述の経路周辺画像やその他の運転支援に係る情報を表示する液晶ディスプレイ４と、運転支援に関する音声ガイダンスを出力するスピーカ５と、車両周辺を撮像する為の前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂと、車両周辺の障害物を検出する超音波センサ９Ａ～９Ｌと、入力された情報に基づいて各種の演算処理を行う運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１０と、を有する。尚、上記運転支援ＥＣＵ１０を始めとした各構成要素を含めて運転支援装置１とする。

【0016】

以下に、車両２が備える各構成要素について説明する。先ず、操作部３は例えばハンドル（ステアリングホイールともいう）の前面に配置されており、自動運転支援を開始する際に操作される操作ボタン等を含む。ユーザは操作部３を操作することによって、ユーザの運転操作に基づいて走行する手動運転走行と、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行とを切り替えることが可能となる。尚、操作部３は液晶ディスプレイ４の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

【0017】

液晶ディスプレイ４は、車両２のインストルメントパネルに備え付けられ、車両が現在走行する経路沿いの実景の映像である経路周辺画像を表示する。ここで、経路周辺画像は前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂの各カメラにより過去に撮像した撮像画像の一部を合成処理することにより生成され、車両が走行した経路沿いの周辺環境を示す実景画像（所謂ストリートビュー）である。従って、過去に車両が走行したことのある経路と同じ経路を車両が走行する場合であれば、既に走行した経路部分に加えてこれから走行する予定の経路部分を含めて経路沿いの経路周辺画像を表示することが可能である。また、車両２の周辺に歩行者などの警告対象物がある場合には、経路周辺画像内の警告対象物の位置に警告対象物の存在を示す警告画像についても表示するようにしても良い。また、駐車支援を行う際には駐車候補となる駐車スペースや駐車スペースまでの駐車軌道を液晶ディスプレイ４に表示された経路周辺画像内に示すことも可能である。尚、液晶ディスプレイ４はナビゲーション装置に使用するものと兼用してもよい。

【0018】

また、スピーカ５は、車両２のインストルメントパネルに備え付けられ、運転支援に関する案内音声や警告音等を出力する。尚、スピーカ５は、ナビゲーション装置に使用するものと兼用してもよい。

【0019】

また、前方カメラ６は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２のフロントバンパの上方やルームミラーの裏側等に光軸方向を車両の進行方向前方に向けて設置される。

【0020】

後方カメラ７は、同じくＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、光軸方向を車両の後方に向けて設置される。

【0021】

更に側方カメラ８Ａ，８Ｂは、同じくＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２の左右のサイドミラーに取り付けられ、光軸方向を車両の側方に向けて設置される。

【0022】

そして、運転支援ＥＣＵ１０は、上記前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂの各カメラにより撮像した撮像画像の内、特に走行中に各カメラにより撮像された撮像画像の一部を撮像時の車両情報（車速、自車位置座標など）とともに累積格納し、累積格納された画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する。また、自動運転支援実行中においては撮像画像に対する画像認識処理を行うことによって車両周辺にある区画線や駐車枠線や障害物（他車両、歩行者、自転車、壁、ガードレール、その他構造物）を検出し、検出結果に基づいて自動運転支援を実行する。特に、駐車支援を行う場合においては、上記カメラによる障害物の検出結果を用いて、駐車スペースの特定や周囲の状況確認等についても行う。

【0023】

一方、超音波センサ９Ａ～９Ｌは、車両の前部、後部及び側部に夫々所定間隔で配置され、車両２の周囲に対して探査波として超音波を送信するとともに、送信された探査波が車両の周囲にある対象物によって反射した反射波を受信することで、探査波を反射した対象物を検知する。具体的には、送信してから受信するまでの時間を計測することによって探査波を反射した対象物までの距離（測距値）を検出可能な測距センサの一種である。また、超音波センサ９Ａ～９Ｌは、受信波の受信結果に対応する出力信号（検出した対象物までの距離を含む）を生成して制御部に出力可能に構成されている。尚、超音波センサ９Ａ～９Ｌによって検出対象となる対象物は例えば人、自転車、他車両、壁などの車両２が走行する上で回避する必要のある障害物、或いは駐車スペースを形成する障害物が挙げられる。尚、測距センサとしては超音波センサの代わりにミリ波センサやレーザセンサを用いても良い。

【0024】

また、各超音波センサ９Ａ～９Ｌの設置位置や設置方向については適宜設定可能であるが、本実施形態では車両２の進行方向前方、後方及び左右側方の全方位を対象物の検出範囲とするために、例えば超音波センサ９Ａ～９Ｄは探査波の送信方向が車両の進行方向前方となるように車両２の前面に進行方向に向けて設置される。また、超音波センサ９Ｅ、９Ｆは探査波の送信方向が車両の進行方向左側となるように車両２の左側面に左方向に向けて設置される。また、超音波センサ９Ｇ、９Ｈは探査波の送信方向が車両の進行方向右側となるように車両２の右側面に右方向に向けて設置される。また、超音波センサ９Ｉ～９Ｌは探査波の送信方向が車両の後方となるように車両２の後面に進行方向と逆方向に向けて設置される。各超音波センサ９Ａ～９Ｌの地表面からの高さは同程度とする。

【0025】

そして、本実施形態において超音波センサ９Ａ～９Ｌの内、特に車両２の前面の超音波センサ９Ａ～９Ｄと車両２の後面の超音波センサ９Ｉ～９Ｌについては、隣接するセンサ間で互いに反射波を間接波として受信可能な位置に設置されているので、受信波として直接波と間接波を受信することにより、対象物まで距離だけではなく、三角測量を用いて対象物の具体的な位置（車両に対する相対位置）を特定可能となっている。側方の超音波センサ９Ｅ～９Ｈについては互いに離間されて設置されているので間接波の受信はできないが、車両が移動することで前回位置の測距距離と今回位置の測距距離とその間の移動距離を用いた三角測量により対象物の具体的な位置（車両に対する相対位置）を同じく特定可能となっている。

【0026】

一方、運転支援ＥＣＵ１０は、自動運転支援に関する各種処理を行う電子制御ユニットである。例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御を行う。特に駐車支援を行う場合においては、前述した前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂ、超音波センサ９Ａ～９Ｌの検出結果を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御を行う。一方、ロングレンジ駐車に対する駐車支援を行う場合においては、予め登録された自宅のガレージや駐車場内の月極契約した駐車スペースなどの遠方の駐車スペースまでの移動を含めた駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御を行う。また、走行中に各カメラにより撮像された撮像画像の一部を撮像時の車両情報（自車位置座標、方位、進行方向）とともに累積格納し、累積格納された画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成し、自動運転支援ではそれらの生成した経路周辺画像を表示することも行う。運転支援ＥＣＵ１０はＣＡＮ等の車載ネットワークを介して、上述した操作部３、液晶ディスプレイ４、スピーカ５、前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂ、超音波センサ９Ａ～９Ｌと接続されている。また、車両２に搭載された車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の各種センサや車載器であるナビゲーション装置等とも接続されている。尚、運転支援ＥＣＵ１０の詳細な構成については後述する。

【0027】

また、車両２は、図１に示す構成要素の他にも車両２としての基本的な構成要素を備えているが、自動運転支援の制御に関わる構成、並びに当該構成に関わる制御についてのみ説明することとする。

【0028】

続いて、上述した車両２が備える運転支援装置１の内、特に運転支援ＥＣＵ１０の詳細について説明する。図２は本実施形態に係る運転支援装置１の構成を示したブロック図である。

【0029】

図２に示すように、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１０は、運転支援装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、走行軌道が算出されたときの走行軌道データ等が記憶されるＲＡＭ３２、制御用のプログラムのほか、後述の経路周辺画像生成処理プログラム（図３参照）及び駐車支援処理プログラム（図９参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムを記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、運転支援ＥＣＵ１０は、処理アルゴリズムとしての各種手段を有する。例えば、画像格納手段は、車両に設置された前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する。画像合成手段は、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する。画像表示手段は、経路周辺画像を表示する。

【0030】

また、運転支援ＥＣＵ１０は車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の車両の挙動を検出する為の各種センサ３７や、ステアリング、ブレーキ、アクセル、トランスミッション等の車両の各駆動部３８とも接続されており、それらのセンサ３７の検出結果に基づいて車両の現在の挙動を検出しつつ、各駆動部３８を制御することにより車両２の自動運転支援を実施する。具体的な自動運転支援の内容としては、例えば車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御を行う。但し、ステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。

【0031】

また、フラッシュメモリ３４には車両情報ＤＢ３５及撮像画像ＤＢ３６を含む。車両情報ＤＢ３５には車両２に関する各種情報が格納されている。例えば、車両２に設置されているカメラや超音波センサ９Ａ～９Ｌの設置位置（地上面からの高さ、左右方向の位置）や検出軸（カメラに関しては光軸）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。これらの情報は予め乗員や車両メーカー側の人間が入力するようにする。

【0032】

一方、撮像画像ＤＢ３６は、走行中にカメラにより撮像された撮像画像の一部を撮像時の車両情報とともに累積して記憶する為の記憶手段である。尚、車両情報は撮像画像ＤＢ３６に格納されている撮像画像を撮像した際における車両の位置座標、方位、進行方向（前進／後退）であり、それらの車両情報は例えば上記各種センサ３７により取得された車速、車輪速、車輪速パルス積算値、操舵角などから推定される。

【0033】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ１０が実行する経路周辺画像生成処理プログラムについて図３に基づき説明する。図３は本実施形態に係る経路周辺画像生成処理プログラムのフローチャートである。ここで、経路周辺画像生成処理プログラムは車両２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、車両２が備えるカメラにより撮像された撮像画像の一部を累積して記憶するとともに、それらの記憶された撮像画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成するプログラムである。但し、経路周辺画像を生成する対象を駐車場内に限定するのであれば、自車両が駐車場内に進入したことを契機に経路周辺画像生成処理プログラムを実行するようにしても良い。或いは、経路周辺画像を生成する期間を自動運転支援による走行中に限定するのであれば、自動運転支援が開始されたことを契機に経路周辺画像生成処理プログラムを実行するようにしても良い。尚、以下の図３や図９にフローチャートで示されるプログラムは、運転支援装置１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

【0034】

尚、以下Ｓ１～Ｓ６の処理は車両が走行を終了するまで前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂにより撮像される１画像単位で実施される。例えば本実施形態の前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂはフレームレートが３０ｆｐｓ（１秒間当たり３０枚の画像を撮像）であるので、３３ｍｓ毎に直近に撮像された画像を対象にして以下の処理が実行される。但し、プログラムの実行間隔は必ずしも３３ｍｓである必要はなく、例えば１０枚の画像に対してまとめて処理を行うのであれば３３０ｍｓ毎に実行しても良い。

【0035】

先ず、ステップ（以下、Ｓと略記する）１においてＣＰＵ３１は、前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂにより直近に撮像された撮像画像を夫々取得する。尚、前述したように本実施形態で前方カメラ６は車両２のフロントバンパの上方やルームミラーの裏側等に光軸方向を車両の進行方向前方に向けて設置される。また、後方カメラ７は車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、光軸方向を車両の後方に向けて設置される。更に、側方カメラ８Ａ，８Ｂは、車両２の左右のサイドミラーに取り付けられ、光軸方向を車両の側方に向けて設置されている。車両２の前後左右の全方位の周辺環境を撮像した撮像画像が取得される。

【0036】

続いて、Ｓ２においてＣＰＵ３１は、前記Ｓ１で取得した前方カメラ６、後方カメラ７及び側方カメラ８Ａ，８Ｂによって撮像されたリアルタイムの撮像画像に基づいて、上空から垂直下方に車両周辺を見下ろした俯瞰画像を生成する。以下に一例として俯瞰画像の生成方法について説明すると、図４に示すように各カメラによって撮像されたリアルタイムの撮像画像を、地表面の高さに対応する水平面である仮想投影面に投影し、仮想投影面に投影された撮像画像を車両２の上方から鉛直方向に見下ろす仮想視点から見た画像に変換することで各カメラの俯瞰画像を生成する。尚、仮想視点から見た画像への変換（視点変換）については、カメラの光軸に対して垂直な面に沿って設定した撮像画像座標系の各座標を、先ず地表面に沿って設定した地面座標系の各座標に変換し、更に俯瞰画像座標系の各座標に変換することにより行う。尚、各座標変換に用いる変換式については既に公知であるので説明は省略する。その上で、図５に示すように前方カメラ６の撮像画像を視点変換した俯瞰画像４１と、後方カメラ７の撮像画像を視点変換した俯瞰画像４２と、側方カメラ８Ａの撮像画像を視点変換した俯瞰画像４３と、側方カメラ８Ｂの撮像画像を視点変換した俯瞰画像４４とを合成し（繋ぎ合わせ）、更に各俯瞰画像４１～４４の間に自車両を模式的に示すイラスト画像４５を挿入することで俯瞰画像が生成される。但し、Ｓ２では表示対象とする俯瞰画像を生成するわけではないので、イラスト画像４５についてはあえて挿入する必要はない。

【0037】

次に、Ｓ３においてＣＰＵ３１は、前記Ｓ２で生成された俯瞰画像の内、一部を抽出（トリミング）する。ここで、俯瞰画像を抽出する範囲は図６に示す抽出範囲４６とする。抽出範囲４６は、自車両の進行方向（前進中であれば前方、後退中であれば後方）と左右側方の３方から車両を囲むＵ字形状（カタカナのコの字形状）の領域とする。図６は特に自車両が前進中の場合において抽出される抽出範囲４６を示し、後端を後輪軸の位置とした、自車両の影が含まれない範囲で自車両のできる限り近傍を囲む領域とする。後退中の場合は前進とは逆のＵ字形状の領域となり、前端を後輪軸の位置とした、自車両の影が含まれない範囲で自車両のできる限り近傍を囲む領域とする。抽出範囲４６の後端を後輪の車軸付近とすることで、車両が旋回した際の俯瞰画像を後述のように進行方向に沿って繋げた（Ｓ８）場合であっても車両が走行した経路周辺を隙間なく埋めることが可能となる。尚、抽出範囲４６を左右に広げれば後述の経路周辺画像において表示可能な領域も広がるが、自車両から離れるほど俯瞰画像における画像の伸びや歪みが生じている可能性が高くなるので、左右方向にはできる限り広げないようにするのが望ましい。

【0038】

一方で、抽出範囲４６の幅ａは抽出した俯瞰画像を後述のように進行方向に沿って繋げた（Ｓ８）際に間に画像の隙間が生じない幅とする。例えば駐車場内での撮像を想定すると、車両の走行速度が２０ｋｍ／ｈと仮定した場合に１フレーム間（３３ｍｓ）で車両が進む距離は０．１８３ｍであるので、ａ＝０．２ｍ程度とすれば画像に隙間が生じないこととなる。尚、ａを長くすれば車両が高速で走行しても画像の隙間は生じないこととなるが、自車両から離れた範囲を含むと俯瞰画像における画像の伸びや歪みが生じている可能性が高くなるので、画像の隙間が生じない範囲でａはできる限り短くするのが望ましい。

【0039】

但し、上記ａの値はあくまで一例であり、車速や車両が走行する道路の種別によっても変更しても良い。例えば、車両が低速で走行することが推定される駐車場内であればａの値は小さくし、高速で走行することが推定される一般道ではａの値をより大きな値に設定しても良い。また、本実施形態では抽出範囲４６は左右対称の形状としているが、左右非対称の形状としても良い。例えば、左側走行の国では一般道を走行する車両２に対して左側にある路肩に駐車車両が駐車されていると推定されるので、それらの駐車車両を抽出範囲に含める為に左側の抽出範囲４６を右側の抽出範囲４６よりも広く設定しても良い。

【0040】

尚、本実施形態では地表面に投影された撮像画像を車両２の上方から鉛直方向に見下ろす仮想視点から見た画像に視点変換した俯瞰画像を生成した上で、図６に示す抽出範囲４６に対応する俯瞰画像を抽出しているが、俯瞰画像ではなく斜め下方に見下ろした鳥瞰画像を生成した上で同様に図６に示す抽出範囲４６を抽出しても良い。また、投影面についても必ずしも地表面である必要はない。

【0041】

次に、Ｓ４においてＣＰＵ３１は、ＣＡＮを介して接続された車両が備える各種センサ３７から、車速、車輪速、車輪速パルス積算値、操舵角などの車両の挙動を示す各検出値を取得する。

【0042】

続いて、Ｓ５においてＣＰＵ３１は、前記Ｓ４で取得された各検出値に基づいて、現時点の車両の位置座標、方位、進行方向（前進／後退）を推定する。尚、前記Ｓ５で推定される各情報は、前記Ｓ３で抽出された俯瞰画像を撮像した際における車両情報として車両の位置座標、方位、進行方向（前進／後退）を推定した情報となる。また、前記Ｓ５で推定される位置座標や方位については、基準となる位置や方位に対する相対的な値となる。この基準となる位置や方位は例えば今回の走行での俯瞰画像の累積記憶を開始したタイミング（例えばＡＣＣ電源がオン、駐車場進入時点、自動運転開始時点など）での車両２の位置や方位となる。

【0043】

その後、Ｓ６においてＣＰＵ３１は、前記Ｓ３で抽出された俯瞰画像の一部を前記Ｓ５で推定された車両情報に紐づけて撮像画像ＤＢ３６に累積的に格納する。具体的には、俯瞰画像の一部を時系列に沿って（或いは撮像時の自車両の座標に沿った並びで）格納する。

【0044】

更に、Ｓ７においてＣＰＵ３１は、今回の車両の走行が完了したか否かを判定する。具体的には、車両のシフト位置が「Ｐ」に変更されることで車両の走行が完了したと判定される。基本的には駐車スペースへの駐車が完了したタイミングとなる。

【0045】

そして、車両の走行が完了したと判定された場合（Ｓ７：ＹＥＳ）には、Ｓ８へと移行する。それに対して、車両の走行が完了していないと判定された場合（Ｓ７：ＮＯ）にはＳ１へと戻り、俯瞰画像の生成及びＤＢへの格納を継続して行う。

【0046】

Ｓ８においてＣＰＵ３１は、前記Ｓ６で撮像画像ＤＢ３６に格納された複数の俯瞰画像を紐づけられた車両情報に基づいて合成することで、車両が走行した経路沿いの経路周辺画像を生成する。

【0047】

具体的には、図７に示すように前記Ｓ３で抽出された俯瞰画像の一部（以下、抽出俯瞰画像４７という）を、撮像時の自車両の位置座標と方位と進行方向に合わせて繋ぎ合わせることで経路周辺画像４８を生成する。尚、繋ぎ合わせることで抽出俯瞰画像４７に重複範囲が生じた場合については重複範囲は新しい画像を優先して上書きする。図８は抽出俯瞰画像４７を繋ぎ合わせることにより生成された経路周辺画像４８のイメージ図である。尚、生成された経路周辺画像４８は、経路周辺画像４８を生成する際に車両が走行した経路情報、即ち車両がどのような経路を走行した際に生成された経路周辺画像４８であるのかを特定する情報も含まれている。また、前記Ｓ８で生成された経路周辺画像４８は経路情報と併せてフラッシュメモリ３４に格納される。

【0048】

尚、フラッシュメモリ３４に格納された経路周辺画像４８は、後述のようにロングレンジ駐車の駐車支援を行う場合に表示される一方で、サムネイル画像として用いることも可能である。例えば、駐車対象となる駐車スペースが複数あってユーザがいずれの駐車スペースに対して駐車するかを選択する場合に、駐車スペース毎にその駐車スペースまでの走行経路沿いの経路周辺画像４８の全体或いは一部をサムネイル画像として表示することが可能である。そして、ユーザは表示されたサムネイル画像を参照して車両を駐車する駐車スペースを選択することが可能となる。

【0049】

また、本実施形態では走行が終了した時点で今回の走行において取得された抽出俯瞰画像４７を撮像画像ＤＢ３６から読み出し、今回の走行において車両が走行した経路沿いの経路周辺画像４８を一括して生成しているが、経路周辺画像４８を生成するタイミングは走行中であっても良い。例えば抽出俯瞰画像４７を新たに取得する度に取得した時点で既存の経路周辺画像４８に繋ぎ合わせて経路周辺画像４８を生成しても良い。即ちリアルタイムで車両の現在位置よりも後方を対象にして車両が現在走行する経路沿いの経路周辺画像４８を生成しても良い。

【0050】

リアルタイムで車両の現在位置よりも後方を対象にして車両が現在走行する経路沿いの経路周辺画像４８を生成する仕様では、自車両の現在位置よりも後方に限定されるが、新たな経路を走行中であっても車両が現在走行する経路沿いの経路周辺画像４８についても表示可能となる。また、周辺の状況（例えば他車両の位置）についてもリアルタイムに反映した経路周辺画像４８についても表示可能となる。但し、後述のようにロングレンジ駐車支援では進行方向先にある駐車スペースまでの経路周辺画像４８を表示することが重要であるので、本実施形態では走行終了時に経路周辺画像４８を一括して生成する仕様とする。

【0051】

尚、既に経路周辺画像４８が生成された経路と同じ経路を車両が再度走行する場合については上述した経路周辺画像４８を生成する必要は基本的にはないが、例えば駐車支援実行時においてより現在に近い周辺状況を反映した経路周辺画像４８を表示したい場合については、経路周辺画像４８を再度生成して更新するようにしても良い。

【0052】

ここで、従来技術の問題点としてカメラで撮像した撮像画像について視点を変更して俯瞰画像や鳥瞰画像として表示する場合に、撮像画像中の立体物が本来の形状に対して歪んだり伸びが生じて表示される問題点があるが、本実施形態では図６に示すように生成された俯瞰画像の内、自車両近傍のごく狭い範囲のみを対象に抽出し、同様に抽出された俯瞰画像を繋ぎ合わせることで図８に示す経路周辺画像４８を生成するので、生成された経路周辺画像４８では立体物が含まれていたとしても本来の形状に対して歪んだり伸びが生じることを防止できる。

【0053】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ１０が実行する駐車支援処理プログラムについて図９に基づき説明する。図９は本実施形態に係る駐車支援処理プログラムのフローチャートである。ここで、駐車支援処理プログラムは車両２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、自動運転支援の一つとして特に車両が駐車する際の駐車支援を行うプログラムである。尚、以下の説明では車両がロングレンジ駐車を行う場合の駐車支援について説明する。

【0054】

ここで、ロングレンジ駐車とは例えば自宅のガレージや駐車場内の月極契約した駐車スペースなどの遠方にある予め決められた駐車スペースを目標として行う駐車であり、目標とする駐車スペースまでの比較的長距離の移動が前提となる駐車である。また、以下の説明では前述の経路周辺画像生成処理プログラム（図３）によって上記ロングレンジ駐車を行う為の駐車スペースまでの走行経路を車両が過去に走行しており、駐車スペースまでの走行経路添いの経路周辺画像４８が既に生成されていることを前提とする。

【0055】

先ず、Ｓ１１においてＣＰＵ３１は、ロングレンジ駐車の駐車支援を開始するか否かを判断する。特に本実施形態の駐車支援の内容は、車両を駐車する為の駐車スペースへの車両の移動を自動で行うとともに、前記経路周辺画像生成処理プログラム（図３）で生成された経路周辺画像４８を表示することとする。

【0056】

例えば、ユーザが操作部３を操作して駐車支援を開始することを選択した場合に駐車支援を開始するとしても良いし、自宅に接近した場合に駐車支援を開始するとしても良いし、車両が予め登録された駐車場に進入したことを検出した場合、或いは予め登録された駐車スペースに接近したことを契機として自動で駐車支援を開始するようにしても良い。また、駐車候補となる駐車スペースが複数あって、夫々の駐車スペースまでの走行経路沿いの経路周辺画像４８がフラッシュメモリ３４に格納されている場合については、駐車スペース毎にその駐車スペースまでの走行経路沿いの経路周辺画像４８の全体或いは一部をサムネイル画像として一覧に表示しても良い。その場合には、ユーザは表示されたサムネイル画像を参照して車両を駐車する駐車スペースを選択することが可能となる。尚、サムネイル画像として経路周辺画像４８を表示する場合については、後述の経路画像５２や目標駐車位置画像５３は併せて表示されるが、自車アイコン画像５１については表示対象から除外される（図１０、図１１参照）。また、サムネイル画像として表示する場合については、対象の駐車スペースまでの経路がどのような経路かをユーザに一見して把握させる為に、図１０に示すように経路全体の経路周辺画像４８を一画面上で表示するのが望ましい。

【0057】

そして、ロングレンジ駐車の駐車支援を開始すると判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１２へと移行する。それに対して、ロングレンジ駐車の駐車支援を開始しないと判定された場合（Ｓ１１：ＮＯ）には、当該駐車支援処理プログラムを終了する。

【0058】

Ｓ１２においてＣＰＵ３１は、今回のロングレンジ駐車において駐車対象となる駐車スペース（駐車位置）を取得する。本実施形態では駐車対象となる駐車スペースは予めユーザによって登録された駐車スペースとする。尚、車両の現在位置から駐車スペースまでの走行経路（走行予定経路）についても併せて取得される。尚、前述したように本実施形態では駐車スペースまでの走行経路添いの経路周辺画像４８が既に生成されていることを前提としており、経路周辺画像４８は前述したように経路周辺画像４８を生成する際に車両が走行した経路情報、即ち車両がどのような経路を走行した際に生成された経路周辺画像４８であるのかを特定する情報も含まれている。従って、経路周辺画像４８と併せて記憶された経路情報を読み出すことによって、車両の現在位置から駐車スペースまでの走行経路について取得される。即ち、過去に駐車した際と同じ走行経路を走行することを前提に、今回の走行予定経路について取得される。但し、駐車を行う度に駐車スペースまでの走行経路を算出することも可能である。

【0059】

Ｓ１３においてＣＰＵ３１は、前記経路周辺画像生成処理プログラム（図３）で生成された経路周辺画像４８の内、前記Ｓ１２で取得された駐車スペースまでの走行経路と対応する経路周辺画像４８、即ち自車両がこれから走行する走行予定経路沿いの経路周辺画像４８を読み出す。

【0060】

Ｓ１４においてＣＰＵ３１は、ＣＡＮを介して接続された車両が備える各種センサ３７から、車速、車輪速、車輪速パルス積算値、操舵角などの車両の挙動を示す各検出値を取得し、現時点の車両の位置座標、方位、進行方向（前進／後退）を特定する。

【0061】

その後、Ｓ１５においてＣＰＵ３１は、前記Ｓ１３で読み出した経路周辺画像４８を車両の現在位置、方位、進行方向に合わせた態様で液晶ディスプレイ４に描画する。即ち車両の現在位置の座標、方位、進行方向と対応して設定された仮想視点から視認する経路周辺画像４８を液晶ディスプレイ４に描画する。尚、経路周辺画像４８の描画をする際の仮想視点の設定（どの視点からどの方向を見た経路周辺画像４８を描画するか）は適宜設定可能である。

【0062】

例えば一例として、図１０では車両の現在位置の上方から鉛直下方に経路全体を見下ろした俯瞰画像とする例を示す。具体的には車両の現在位置から駐車スペースまでの走行予定経路全体を対象にした経路周辺画像４８の俯瞰画像を一画面上に表示する。図１０に示す例では駐車スペースまでの経路全体及び周辺環境を客観的に表示することが可能である。但し、必ずしも経路全体ではなく自車両の現在位置を中心とした一部の経路のみを対象に俯瞰画像を表示するようにしても良い。一方で、図１１は車両の現在位置よりも後方の上空に仮想視点を設定し上空から駐車スペースのある方向を斜め下方に見下ろした鳥瞰画像とする例を示す。図１１に示す例では駐車スペースまでの経路及び周辺環境を自車両側からの視点で主観的に表示することが可能となる。尚、図１０に示す俯瞰画像と図１１に示す鳥瞰画像をユーザの操作に基づいて切り替えて表示可能にしても良い。

【0063】

更に、Ｓ１６においてＣＰＵ３１は、前記Ｓ１５で描画された経路周辺画像４８に対して、自車両の現在位置及び方位に対応させて自車両の位置と方位を示す自車アイコン画像５１を重畳して液晶ディスプレイ４に描画する。自車アイコン画像５１は自車両の外観を模した画像であり、図１０及び図１１に示すように自車アイコン画像５１を描画することによって、ユーザは車両周辺の環境を自車の現在位置や方位と対応付けて把握することが可能となる。また、図１０に示すような経路全体を示す俯瞰画像では、自車アイコン画像５１を表示することで駐車スペースまでの走行経路において自車両が現時点で経路全体のどの程度の位置にあるかを示すことも可能となる。尚、液晶ディスプレイ４には経路周辺画像４８とは別に、駐車スペースまでの移動の進捗状況を示す情報を表示しても良い。例えば、駐車支援の開始位置から駐車スペースまでの経路長を１００とした場合の駐車支援の開始位置から自車両の現在位置までの経路長の割合を示すメータを液晶ディスプレイ４に表示するようにしても良い。ユーザはメータを確認することで後どの程度で駐車が完了するかを容易に把握することが可能となる。

【0064】

また、前記Ｓ１６でＣＰＵ３１は、経路周辺画像４８に対して過去に走行した際の自車両の走行経路（今回の走行予定経路にも相当）を示す経路画像５２についても描画する。尚、経路周辺画像４８における過去に走行した際の自車両の走行経路の具体的な軌道の位置や形状は、撮像画像ＤＢ３６に格納された車両情報から特定することが可能である。車両情報は撮像画像ＤＢ３６に格納されている撮像画像を撮像した際における車両の位置座標、方位、進行方向（前進／後退）を特定した情報である。

【0065】

更に、前記Ｓ１６でＣＰＵ３１は、経路周辺画像４８に対して目標とする駐車スペースの位置を示す目標駐車位置画像５３についても描画する。尚、目標駐車位置画像５３は例えば図１０及び図１１では車両の外観形状を模した画像としているが、旗の画像としたり、枠の画像とすることも可能である。

【0066】

ユーザは経路周辺画像４８に重畳して描画された経路画像５２及び目標駐車位置画像５３を視認することで、今後にどのような経路を通って駐車位置へと移動するかを容易に把握することが可能となる。

【0067】

尚、図１１に示す経路周辺画像４８では、車両の現在位置が変化すると表示対象となる経路周辺画像４８の範囲も変わるので、車両の移動に伴って描画範囲が順次切り替えて表示される。一方、図１０に示す俯瞰画像では経路周辺画像４８は固定となる。また、前記Ｓ１６で液晶ディスプレイ４に描画された自車アイコン画像５１については、車両の現在位置や方位が変化するとそれに伴って経路周辺画像４８における表示位置や向きが変化する。

【0068】

ここで、従来技術の問題点としてカメラで撮像した撮像画像について視点を変更して俯瞰画像や鳥瞰画像として表示する場合に、撮像画像中の立体物が本来の形状に対して歪んだり伸びが生じて表示される問題点があるが、本実施形態では前述したように自車両近傍のごく狭い範囲のみを対象に抽出しているので、上記のように仮想視点を任意の位置に視点変換して表示した際に経路周辺画像４８に駐車車両などの立体物が含まれていたとしても本来の形状に対して歪んだり伸びが生じて表示されることを防止できる。

【0069】

続いて、Ｓ１７においてＣＰＵ３１は、前記Ｓ１２で取得された駐車スペースへと自車を駐車する為の走行軌道である駐車軌道を算出する。ここで、ロングレンジ駐車を行う際の駐車軌道は、駐車スペースの近傍まで移動する為に駐車場内や敷地内の通路などを走行する軌道と、駐車スペースの近傍から実際に旋回や後退を交えて駐車スペースへと進入する為の軌道とを含む。尚、前述したように本実施形態では駐車スペースまでの走行経路添いの経路周辺画像４８が既に生成されていることを前提としており、経路周辺画像４８は前述したように経路周辺画像４８を生成する際に車両が走行した経路情報、即ち車両がどのような経路を走行した際に生成された経路周辺画像４８であるのかを特定する情報も含まれている。従って、経路周辺画像４８と併せて記憶された経路情報に基づいて駐車軌道を取得しても良い。即ち、過去に駐車した際と同じ駐車軌道を今回の駐車軌道として取得しても良い。

【0070】

その後、Ｓ１８においてＣＰＵ３１は、前記Ｓ１７で算出した駐車軌道に従って駐車支援を開始する。具体的には、自車両の現在位置を随時検出し、生成された駐車軌道に沿って、指定された速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。また、シフト位置の切り替えも自動で行われる。

【0071】

但し、駐車軌道に従った車両の移動ではステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。或いは、車両の移動については自動運転で行わずに手動運転により行わせるようにしても良い。その場合には、駐車支援として、駐車スペースや駐車軌道を液晶ディスプレイ４に表示したり、ハンドルを旋回するタイミングを音声で案内する。

【0072】

続いて、Ｓ１９においてＣＰＵ３１は、車両の駐車が完了したか否かを判定する。具体的には、前記Ｓ１２で取得された駐車スペース内に設定された目標駐車位置に車両が位置し、車両のシフト位置が「Ｐ」に変更されることで車両の駐車が完了したと判定される。

【0073】

そして、車両の駐車が完了したと判定された場合（Ｓ１９：ＹＥＳ）には、当該駐車支援処理プログラムを終了する。それに対して、車両の駐車が完了していないと判定された場合（Ｓ１９：ＮＯ）には駐車支援を継続して行う。

【0074】

以上詳細に説明した通り、本実施形態に係る運転支援装置１及び運転支援装置１で実行されるコンピュータプログラムによれば、車両に設置された前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納し（Ｓ６）、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像４８を生成する（Ｓ８）一方、経路周辺画像４８を表示する（Ｓ１５、Ｓ１６）ので、例えば駐車スペースまでの移動が長いロングレンジ駐車を行う場合であっても、車両の近傍に限られることなくこれから走行する走行経路周辺の状況を示すことが可能となる。更に、経路周辺画像内に車両画像を表示することとすれば、走行経路における現在の自車位置についても容易に把握させることが可能となる。
また、前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂにより撮像された撮像画像を上空に位置する仮想視点から鉛直下方に見下ろした俯瞰画像に変換し（Ｓ２）、俯瞰画像の内、車両の進行方向と左右側方の３方から車両を囲むＵ字形状の領域の画像を抽出して格納する（Ｓ６）ので、任意の仮想視点から見た俯瞰画像や鳥瞰画像を表示する場合であっても立体物が本来の形状に対して歪んだり伸びが生じずに表示することが可能となる。
また、車両の移動に伴って表示対象となる経路周辺画像４８を順次切り替えて車両の現在位置を示す自車アイコン画像５１とともに表示するので、走行経路及び周辺環境を自車両側からの視点で主観的に表示することが可能となる。
また、走行予定経路は車両の駐車位置までの経路であって、経路周辺画像４８を一画面上に表示するので、経路全体及び周辺環境を客観的に表示することが可能である。

【0075】

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば本実施形態では前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂにより撮像した撮像画像を俯瞰画像に変換した上で、俯瞰画像の一部を累積して格納し、それらを合成した経路周辺画像４８を生成しているが、俯瞰画像ではなく鳥瞰画像の一部を格納して経路周辺画像４８を生成しても良い。また、俯瞰画像の一部を格納する際には図６に示すようなＵ字形状としているが、車両から大きく離れた範囲でなければＵ字形状以外の形状としても良い。

【0076】

また、本実施形態では図１０や図１１に示す経路周辺画像４８が液晶ディスプレイ４に表示されるのは自動運転支援による駐車支援が行われている間であることを前提としているが、駐車支援以外の自動運転支援が行われている間に表示するようにしても良い。更に、手動運転で走行を行っている間においても図１０や図１１に示す経路周辺画像４８を液晶ディスプレイ４に表示するようにしても良い。

【0077】

また、本実施形態では図１０や図１１に示す経路周辺画像４８を表示するのは車載のディスプレイとしているが、車外にある端末のディスプレイに表示しても良い。それによって、例えば車外にいるユーザがリモコンによる遠隔操作で駐車支援を行う場合に、現時点の駐車完了までの進捗状況を容易に把握することが可能となる。

【0078】

また、本実施形態では、経路周辺画像生成処理プログラム（図３）や駐車支援処理プログラム（図９）の処理を運転支援装置１の運転支援ＥＣＵ１０が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ４の制御部、車両制御ＥＣＵ、ナビゲーション装置の制御部、その他の車載器が実行する構成としても良い。

【符号の説明】

【0079】

１…運転支援装置、２…車両、３…操作部、４…液晶ディスプレイ、６…前方カメラ（撮像装置）、７…後方カメラ（撮像装置）、８Ａ，８Ｂ…側方カメラ（撮像装置）、１０…運転支援ＥＣＵ、３１…ＣＰＵ、３６…撮像画像ＤＢ、４６…抽出範囲、４７…抽出俯瞰画像、４８…経路周辺画像、５１…自車アイコン画像（車両画像）、５２…経路画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】