特開 2025-153467 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025153467

(43)【公開日】2025-10-10

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20251002BHJP

   B60R 11/02 20060101ALI20251002BHJP

   G08G 1/00 20060101ALI20251002BHJP

   G06T 1/00 20060101ALI20251002BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 U

B60R11/02 Z

G08G1/00 D

G06T1/00 330A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024055964

(22)【出願日】2024-03-29

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】渡邊 一矢

【テーマコード（参考）】

3D020

5B057

5C054

5H181

【Ｆターム（参考）】

3D020BA20

3D020BC13

3D020BE03

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE08

5B057CE09

5B057DA16

5B057DB02

5B057DB09

5C054CA04

5C054CC02

5C054FD03

5C054FE12

5C054GB01

5C054GB06

5C054HA30

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF10

5H181FF27

5H181FF33

5H181LL09

(57)【要約】

【課題】任意の仮想視点から見た俯瞰画像や鳥瞰画像を表示する場合であっても立体物が本来の形状に対して歪んだり伸びが生じずに表示することを可能にした運転支援装置を提供する。
【解決手段】車両に設置された側方カメラ８Ａ，８Ｂによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納し、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像４４を生成し、車両が現在走行する経路沿いの経路周辺画像４４を表示する一方で、側方カメラ８Ａ，８Ｂは、車両に対して側方に位置する側方領域を含んで撮像されるよう設置され、撮像された撮像画像の内、車両に対して側方に位置する側方領域を含む一部のみを抽出して格納するように構成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両に設置された撮像装置によって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する画像格納手段と、
累積的に格納された前記撮像画像を前記車両情報に基づいて合成することで、前記車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する画像合成手段と、
前記車両が現在走行する経路沿いの前記経路周辺画像を表示する画像表示手段と、を有し、
前記撮像装置は、前記車両に対して側方に位置する側方領域を含んで撮像されるよう設置され、
前記画像格納手段は、前記撮像装置により撮像された撮像画像の内、前記側方領域を含む一部のみを抽出して格納する運転支援装置。

【請求項2】

前記画像格納手段は、前記撮像装置により撮像された撮像画像の内、前記車両の前後方向に延在する車軸に対して垂直な長尺の矩形領域の画像を抽出して格納する請求項１に記載の運転支援装置。

【請求項3】

前記画像格納手段は、前記車両から離れるほど地表面から離間する湾曲面を投影面とした前記撮像画像を格納する請求項１に記載の運転支援装置。

【請求項4】

前記画像合成手段は、前記車両の現在位置よりも進行方向とは逆方向を対象にして前記車両が現在走行する経路沿いの前記経路周辺画像を生成し、
前記画像表示手段は、前記車両の現在位置よりも進行方向とは逆方向を対象にして前記車両が現在走行する経路沿いの前記経路周辺画像を表示する請求項１乃至請求項３のいずれかに記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転支援を行う運転支援装置に関する。

【背景技術】

【0002】

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。ここで、車両の周囲には運転者の位置から視認困難な死角となるエリアが存在し、特に駐車操作や出庫操作などの特殊な操作が行われる場合においてはそのような死角の状況を運転者に把握させる為に、車両に設置されたカメラで撮像された周辺画像を液晶ディスプレイに表示することが行われていた。

【0003】

例えば特開２０１２－１７８６３９号公報には、車両を駐車スペースへと駐車させる為の駐車支援を行う場合において、車両の外壁に設置された複数のカメラで夫々周囲環境を撮像した撮像画像の内、車両の進行方向に対応するカメラで撮像画像した撮像画像を液晶ディスプレイに表示する技術について開示されている。ここで、車両に設置されるカメラは死角をなくしてより広範囲を撮像する為に広角レンズを使用しており、撮像された画像はレンズの特性によって画像に歪みが生じる。撮像した画像をそのまま表示するとユーザに違和感を与えることになるので、歪み補正を行うことで画像の歪みを低減した上で表示することが行われている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１７８６３９号公報（段落００２８－００４０、図６）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、車両の周辺環境をユーザに対して表示する際に、上記特許文献１のようにカメラで撮像した画像をそのまま表示するのではなく、より視認性を高くするために複数の画像を合成した上で視点変換した画像を表示することも行われている。その結果、例えばカメラ視点でなく上空の任意の仮想視点から見下ろした俯瞰画像や鳥瞰画像を表示することも可能となるが、このような視点の変換は、立体物を含む撮像画像についてもそれを立体物とみなさずに平坦な投影面（地表面）に投影して張り付けて行うので、地表よりも高い位置は実際よりも遠方に投影されてしまい、撮像画像中の立体物が本来の形状に対して歪んだり伸びが生じて表示される。その結果、立体物が本来の形状よりも拡大して表示されたり、大きく歪んだ形状で表示される問題がある。上記特許文献１の技術ではレンズにより生じた撮像画像の歪みを補正することは可能であるが、上記のような視点の変換における歪みや伸びを解消することはできなかった。

【0006】

本発明は前記従来における問題点を解消するためになされたものであり、撮像装置により撮像された撮像画像の内、車両の車両領域の一部のみを抽出して累積記憶し、累積記憶した画像を合成することによって生成した経路周辺画像を表示するので、任意の仮想視点から見た俯瞰画像や鳥瞰画像を表示する場合であっても立体物が本来の形状に対して歪んだり伸びが生じずに表示することを可能にした運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するため本発明に係る運転支援装置は、前記車両に設置された撮像装置によって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する画像格納手段と、累積的に格納された前記撮像画像を前記車両情報に基づいて合成することで、前記車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する画像合成手段と、前記車両が現在走行する経路沿いの前記経路周辺画像を表示する画像表示手段と、を有し、前記撮像装置は、前記車両に対して側方に位置する側方領域を含んで撮像されるよう設置され、前記画像格納手段は、前記撮像装置により撮像された撮像画像の内、前記側方領域を含む一部のみを抽出して格納する。
尚、「周辺環境を撮像した撮像画像」は、カメラなどの撮像装置で撮像した画像そのものであっても良いし、撮像した画像を加工した画像であっても良い。例えば、複数台のカメラで撮影した画像を合成した画像であったり視点変換した画像であっても良い。

【発明の効果】

【0008】

前記構成を有する本発明に係る運転支援装置によれば、撮像装置により撮像された撮像画像の内、車両に対して側方に位置する車両領域の一部のみを抽出して累積格納し、累積格納した画像を合成することによって生成した経路周辺画像を表示するので、任意の仮想視点から見た俯瞰画像や鳥瞰画像を表示する場合であっても立体物が本来の形状に対して歪んだり伸びが生じずに表示することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る車両の概略構成図である。

【図2】本実施形態に係る運転支援装置の構成を示したブロック図である。

【図3】本実施形態に係る経路周辺画像生成処理プログラムのフローチャートである。

【図4】累積的に格納する対象となる撮像画像の範囲を示した図である。

【図5】累積的に格納する対象となる撮像画像の投影面を示した図である。

【図6】累積的に格納された撮像画像の一部を合成することで生成される経路周辺画像を示した図である。

【図7】経路周辺画像の一例を示した図である。

【図8】本実施形態に係る駐車支援処理プログラムのフローチャートである。

【図9】液晶ディスプレイに表示される経路周辺画像を示した図である。

【図10】変形例について説明した図である。

【図11】変形例について説明した図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る運転支援装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援装置１を搭載した車両２について以下説明する。図１は本実施形態に係る車両２の概略構成図である。

【0011】

ここで、車両２は、例えば内燃機関（エンジン等）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ等）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車種については問わず、普通車であっても良いし、商業用の大型トラック、バス、建設機械などであっても良い。また、以下の説明では４輪自動車とするが２輪や３輪の車両であっても良い。

【0012】

但し、車両２はユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行が可能な車両とする。

【0013】

また、自動運転支援は例えば駐車時や出庫時等の特定の状況下でのみ行うようにしても良いし、全ての道路区間に対して行っても良いし、特定の道路区間（例えば境界にゲート（有人無人、有料無料は問わない）が設けられた高速道路）を車両が走行する間のみ行う構成としても良い。以下の説明では車両の自動運転支援が行われる自動運転区間は、一般道や高速道路を含む全ての道路区間に加えて駐車場も含むこととし、更にユーザにより自動運転支援を行うことが選択され（例えば自動運転開始ボタンをＯＮする）、且つ自動運転支援による走行を行わせることが可能と判定された状況でのみ行うこととする。一方で、車両２は自動運転支援による支援走行のみ可能な車両としても良い。或いは、車両が駐車を行う際の駐車スペースまでの走行（即ち駐車支援）のみを対象にして自動運転支援による支援走行を行うようにしても良い。

【0014】

そして、本実施形態の自動運転支援における車両制御では、例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。特に駐車支援を行う場合においては、センサやカメラの検出結果を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御が自動で行われる。但し、ステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。或いは駐車スペースへの駐車軌道の案内或いは車両操作の案内のみを行い、駐車スペースへの駐車操作は手動でユーザに行わせるようにしても良い。更に、上記自動運転支援では、車載のディスプレイに車両に設置されたカメラで過去に撮像された車両周辺の風景（実景）から生成された現在走行する経路沿いの実景の映像である経路周辺画像を表示することについて行う。

【0015】

また、図１に示すように車両２は、乗員からの操作を受け付ける操作部３と、乗員に対して後述の経路周辺画像やその他の運転支援に係る情報を表示する液晶ディスプレイ４と、運転支援に関する音声ガイダンスを出力するスピーカ５と、車両周辺を撮像する為の前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂと、車両周辺の障害物を検出する超音波センサ９Ａ～９Ｌと、入力された情報に基づいて各種の演算処理を行う運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１０と、を有する。尚、上記運転支援ＥＣＵ１０を始めとした各構成要素を含めて運転支援装置１とする。

【0016】

以下に、車両２が備える各構成要素について説明する。先ず、操作部３は例えばハンドル（ステアリングホイールともいう）の前面に配置されており、自動運転支援を開始する際に操作される操作ボタン等を含む。ユーザは操作部３を操作することによって、ユーザの運転操作に基づいて走行する手動運転走行と、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行とを切り替えることが可能となる。尚、操作部３は液晶ディスプレイ４の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

【0017】

液晶ディスプレイ４は、車両２のインストルメントパネルに備え付けられ、車両が現在走行する経路沿いの実景の映像である経路周辺画像を表示する。ここで、経路周辺画像は前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂの各カメラにより過去に撮像した撮像画像の一部を合成処理することにより生成され、車両が走行した経路沿いの周辺環境を示す実景画像（所謂ストリートビュー）である。例えば、過去に車両が走行したことのある経路と同じ経路を車両が走行する場合であれば、既に走行した経路部分に加えてこれから走行する予定の経路部分を含めて経路沿いの経路周辺画像を表示することが可能である。一方で過去に車両が走行したことのない経路を車両が走行する場合であれば、車両の現在位置よりも進行方向とは逆方向（例えば前進中であれば後方、後退中であれば前方）、即ち既に走行した経路部分のみを対象に経路沿いの経路周辺画像を表示することが可能である。また、車両２の周辺に歩行者などの警告対象物がある場合には、経路周辺画像内の警告対象物の位置に警告対象物の存在を示す警告画像についても表示するようにしても良い。また、駐車支援を行う際には駐車候補となる駐車スペースや駐車スペースまでの駐車軌道を液晶ディスプレイ４に表示された経路周辺画像内に示すことも可能である。尚、液晶ディスプレイ４はナビゲーション装置に使用するものと兼用してもよい。

【0018】

また、スピーカ５は、車両２のインストルメントパネルに備え付けられ、運転支援に関する案内音声や警告音等を出力する。尚、スピーカ５は、ナビゲーション装置に使用するものと兼用してもよい。

【0019】

また、前方カメラ６は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２のフロントバンパの上方やルームミラーの裏側等に光軸方向を車両の進行方向前方に向けて設置される。

【0020】

後方カメラ７は、同じくＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２の後方に装着されたナンバープレートの上中央付近に取り付けられ、光軸方向を車両の後方に向けて設置される。

【0021】

更に側方カメラ８Ａ，８Ｂは、同じくＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両２の左右のサイドミラーに取り付けられ、光軸方向を車両の側方に向けて設置される。特に、側方カメラ８Ａ，８Ｂは車両２に対して側方に位置する側方領域を含む領域を撮像領域とする。

【0022】

そして、運転支援ＥＣＵ１０は、上記前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂの各カメラにより撮像した撮像画像の内、特に走行中に側方カメラ８Ａ，８Ｂにより撮像された撮像画像の一部を撮像時の車両情報（車速、自車位置座標など）とともに累積格納し、累積格納された画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する。また、自動運転支援実行中においては撮像画像に対する画像認識処理を行うことによって車両周辺にある区画線や駐車枠線や障害物（他車両、歩行者、自転車、壁、ガードレール、その他構造物）を検出し、検出結果に基づいて自動運転支援を実行する。特に、駐車支援を行う場合においては、上記カメラによる障害物の検出結果を用いて、駐車スペースの特定や周囲の状況確認等についても行う。

【0023】

一方、超音波センサ９Ａ～９Ｌは、車両の前部、後部及び側部に夫々所定間隔で配置され、車両２の周囲に対して探査波として超音波を送信するとともに、送信された探査波が車両の周囲にある対象物によって反射した反射波を受信することで、探査波を反射した対象物を検知する。具体的には、送信してから受信するまでの時間を計測することによって探査波を反射した対象物までの距離（測距値）を検出可能な測距センサの一種である。また、超音波センサ９Ａ～９Ｌは、受信波の受信結果に対応する出力信号（検出した対象物までの距離を含む）を生成して制御部に出力可能に構成されている。尚、超音波センサ９Ａ～９Ｌによって検出対象となる対象物は例えば人、自転車、他車両、壁などの車両２が走行する上で回避する必要のある障害物、或いは駐車スペースを形成する障害物が挙げられる。尚、測距センサとしては超音波センサの代わりにミリ波センサやレーザセンサを用いても良い。

【0024】

また、各超音波センサ９Ａ～９Ｌの設置位置や設置方向については適宜設定可能であるが、本実施形態では車両２の進行方向前方、後方及び左右側方の全方位を対象物の検出範囲とするために、例えば超音波センサ９Ａ～９Ｄは探査波の送信方向が車両の進行方向前方となるように車両２の前面に進行方向に向けて設置される。また、超音波センサ９Ｅ、９Ｆは探査波の送信方向が車両の進行方向左側となるように車両２の左側面に左方向に向けて設置される。また、超音波センサ９Ｇ、９Ｈは探査波の送信方向が車両の進行方向右側となるように車両２の右側面に右方向に向けて設置される。また、超音波センサ９Ｉ～９Ｌは探査波の送信方向が車両の後方となるように車両２の後面に進行方向と逆方向に向けて設置される。各超音波センサ９Ａ～９Ｌの地表面からの高さは同程度とする。

【0025】

そして、本実施形態において超音波センサ９Ａ～９Ｌの内、特に車両２の前面の超音波センサ９Ａ～９Ｄと車両２の後面の超音波センサ９Ｉ～９Ｌについては、隣接するセンサ間で互いに反射波を間接波として受信可能な位置に設置されているので、受信波として直接波と間接波を受信することにより、対象物まで距離だけではなく、三角測量を用いて対象物の具体的な位置（車両に対する相対位置）を特定可能となっている。側方の超音波センサ９Ｅ～９Ｈについては互いに離間されて設置されているので間接波の受信はできないが、車両が移動することで前回位置の測距距離と今回位置の測距距離とその間の移動距離を用いた三角測量により対象物の具体的な位置（車両に対する相対位置）を同じく特定可能となっている。

【0026】

一方、運転支援ＥＣＵ１０は、自動運転支援に関する各種処理を行う電子制御ユニットである。例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御を行う。特に駐車支援を行う場合においては、前述した前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂ、超音波センサ９Ａ～９Ｌの検出結果を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御を行う。また、走行中に側方カメラ８Ａ，８Ｂにより撮像された撮像画像の一部を撮像時の車両情報（自車位置座標、方位、進行方向）とともに累積格納し、累積格納された画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成し、自動運転支援ではそれらの生成した経路周辺画像を表示することも行う。運転支援ＥＣＵ１０はＣＡＮ等の車載ネットワークを介して、上述した操作部３、液晶ディスプレイ４、スピーカ５、前方カメラ６、後方カメラ７、側方カメラ８Ａ，８Ｂ、超音波センサ９Ａ～９Ｌと接続されている。また、車両２に搭載された車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の各種センサや車載器であるナビゲーション装置等とも接続されている。尚、運転支援ＥＣＵ１０の詳細な構成については後述する。

【0027】

また、車両２は、図１に示す構成要素の他にも車両２としての基本的な構成要素を備えているが、自動運転支援の制御に関わる構成、並びに当該構成に関わる制御についてのみ説明することとする。

【0028】

続いて、上述した車両２が備える運転支援装置１の内、特に運転支援ＥＣＵ１０の詳細について説明する。図２は本実施形態に係る運転支援装置１の構成を示したブロック図である。

【0029】

図２に示すように、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１０は、運転支援装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、走行軌道が算出されたときの走行軌道データ等が記憶されるＲＡＭ３２、制御用のプログラムのほか、後述の経路周辺画像生成処理プログラム（図３参照）及び駐車支援処理プログラム（図８参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムを記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、運転支援ＥＣＵ１０は、処理アルゴリズムとしての各種手段を有する。例えば、画像格納手段は、車両に設置されたカメラによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納する。画像合成手段は、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成する。画像表示手段は、車両が現在走行する経路沿いの経路周辺画像を表示する。

【0030】

また、運転支援ＥＣＵ１０は車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の車両の挙動を検出する為の各種センサ３７や、ステアリング、ブレーキ、アクセル、トランスミッション等の車両の各駆動部３８とも接続されており、それらのセンサ３７の検出結果に基づいて車両の現在の挙動を検出しつつ、各駆動部３８を制御することにより車両２の自動運転支援を実施する。具体的な自動運転支援の内容としては、例えば車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御を行う。但し、ステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。

【0031】

また、フラッシュメモリ３４には車両情報ＤＢ３５及撮像画像ＤＢ３６を含む。車両情報ＤＢ３５には車両２に関する各種情報が格納されている。例えば、車両２に設置されているカメラや超音波センサ９Ａ～９Ｌの設置位置（地上面からの高さ、左右方向の位置）や検出軸（カメラに関しては光軸）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。これらの情報は予め乗員や車両メーカー側の人間が入力するようにする。

【0032】

一方、撮像画像ＤＢ３６は、走行中に側方カメラ８Ａ，８Ｂにより撮像された撮像画像の一部を撮像時の車両情報とともに累積して記憶する為の記憶手段である。尚、車両情報は撮像画像ＤＢ３６に格納されている撮像画像を撮像した際における車両の位置座標、方位、進行方向（前進／後退）であり、それらの車両情報は例えば上記各種センサ３７により取得された車速、車輪速、車輪速パルス積算値、操舵角などから推定される。

【0033】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ１０が実行する経路周辺画像生成処理プログラムについて図３に基づき説明する。図３は本実施形態に係る経路周辺画像生成処理プログラムのフローチャートである。ここで、経路周辺画像生成処理プログラムは車両２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、車両２が備えるカメラにより撮像された撮像画像の一部を累積して記憶するとともに、それらの記憶された撮像画像を合成することで車両が走行した経路沿いの周辺環境を示す経路周辺画像を生成するプログラムである。但し、経路周辺画像を生成する対象を駐車場内に限定するのであれば、自車両が駐車場内に進入したことを契機に経路周辺画像生成処理プログラムを実行するようにしても良い。或いは、経路周辺画像を生成する期間を自動運転支援による走行中に限定するのであれば、自動運転支援が開始されたことを契機に経路周辺画像生成処理プログラムを実行するようにしても良い。尚、以下の図３や図８にフローチャートで示されるプログラムは、運転支援装置１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

【0034】

尚、以下の処理は側方カメラ８Ａ，８Ｂにより撮像される１画像単位で実施される。例えば本実施形態の側方カメラ８Ａ，８Ｂはフレームレートが３０ｆｐｓ（１秒間当たり３０枚の画像を撮像）であるので、３３ｍｓ毎に直近に撮像された画像を対象にして以下の処理が実行される。但し、プログラムの実行間隔は必ずしも３３ｍｓである必要はなく、例えば１０枚の画像に対してまとめて処理を行うのであれば３３０ｍｓ毎に実行しても良い。

【0035】

先ず、ステップ（以下、Ｓと略記する）１においてＣＰＵ３１は、側方カメラ８Ａ，８Ｂにより直近に撮像された撮像画像を取得する。尚、前述したように本実施形態で側方カメラ８Ａ，８Ｂは、車両２の左右のサイドミラーに取り付けられ、車両の側方に向けて設置されている。従って、図４に示すように車両２の側方の周辺環境を撮像した撮像画像が取得される。

【0036】

続いて、Ｓ２においてＣＰＵ３１は、前記Ｓ１で取得された側方カメラ８Ａ，８Ｂの撮像画像の内、一部を抽出（トリミング）する。ここで、撮像画像を抽出する範囲は車両に対して側方に位置する側方領域の一部とし、例えば側方カメラ８Ａ，８Ｂの撮像画像に対して抽出をする場合については、図４に示す抽出範囲４１Ａ、４１Ｂとする。抽出範囲４１Ａと抽出範囲４１Ｂとは左右対称で同じ形状となるので抽出範囲４１Ａを例に挙げて説明すると、側方カメラ８Ａによる撮像範囲の内の車両の前後方向に延在する車軸に対して垂直な長尺の矩形領域とする。尚、図４では側方カメラ８Ａの位置から車両の側面に対して垂直方向としているがその領域には限られない。より具体的には、矩形形状の左右方向の範囲は自車両のできる限り近傍を開始点とし、自車両が駐車場内の通路を走行する場合に少なくとも自車両が走行する通路と左右に駐車された駐車車両が入る範囲とし、例えば長さａは５ｍ程度とする。尚、抽出範囲４１Ａには自車両のできる限り近傍を含めるのが望ましいが、自車両の影が入らないような範囲とするのが望ましい。尚、ａを長くしてより離れた領域も抽出範囲４１Ａに含めれば後述の経路周辺画像において表示可能な領域も広がるが、自車両から離れるほど後述の投影面に投影した際に画像の伸びや歪みが生じている可能性が高くなるので、自車両が走行する路面や左右に駐車された駐車車両が入る範囲でａはできる限り短くするのが望ましい。

【0037】

一方で、抽出範囲４１Ａの矩形形状の前後方向の幅は抽出した撮像画像を後述のように進行方向に沿って繋げた（Ｓ６）際に間に画像の隙間が生じない幅とする。例えば駐車場内での撮像を想定すると、車両の走行速度が２０ｋｍ／ｈと仮定した場合に１フレーム間（３３ｍｓ）で車両が進む距離は０．１８３ｍであるので、ｂ＝０．２ｍ程度とすれば画像に隙間が生じないこととなる。尚、ｂを長くすれば車両が高速で走行しても画像の隙間は生じないこととなるが、光軸方向から離れるほど後述の投影面に投影した際に画像の伸びや歪みが生じている可能性が高くなるので、画像の隙間が生じない範囲でｂはできる限り短くするのが望ましい。

【0038】

但し、上記ａ、ｂの値はあくまで一例であり、車速や車両が走行する道路の種別によっても変更しても良い。例えば、車両が低速で走行することが推定される駐車場内であればａ、ｂの値は小さくし、高速で走行することが推定される一般道ではａ、ｂの値をより大きな値に設定しても良い。また、本実施形態では抽出範囲４１Ａと抽出範囲４１Ｂとは左右対称で同じ形状としているが、抽出範囲４１Ａと抽出範囲４１Ｂとで範囲を変えても良い。例えば、左側走行の国では一般道を走行する車両２に対して左側にある路肩に駐車車両が駐車されていると推定されるので、それらの駐車車両を抽出範囲に含める為に左側の抽出範囲４１Ａを右側の抽出範囲４１Ｂよりも広く設定しても良い。

【0039】

また、前記Ｓ２で上記抽出範囲４１Ａと抽出範囲４１Ｂの撮像画像を抽出する際には、図５に示すように車両から離れるほど地表面から離間する湾曲面を投影面４２Ａ、４２Ｂとして撮像画像を投影（変換）した映像を対象に抽出範囲４１Ａと抽出範囲４１Ｂを抽出する。図５に示すように投影面４２Ａ、４２Ｂを高さ方向に湾曲させることで、前記Ｓ２で抽出した画像は路面だけではなく自車両から見て側面方向の環境も示す画像とすることが可能となる。投影面４２Ａ、４２Ｂの湾曲角度や高さは適宜変更可能である。

【0040】

一方で、投影面４２Ａ、４２Ｂを湾曲させた面ではなく地表面（水平面）とすることも可能である。更に、地表面に投影された撮像画像を車両２の上方から鉛直方向に見下ろす仮想視点から見た画像に視点変換した俯瞰画像を生成した上で、図４に示す抽出範囲４１Ａと抽出範囲４１Ｂに対応する俯瞰画像を抽出するようにしても良い。特に、カメラの設置位置にて車両前後方向の車軸に対して垂直な方向を含むように矩形形状で画像をトリミングすると変形が歪みのない画像をトリミング可能となる。

【0041】

次に、Ｓ３においてＣＰＵ３１は、ＣＡＮを介して接続された車両が備える各種センサ３７から、車速、車輪速、車輪速パルス積算値、操舵角などの車両の挙動を示す各検出値を取得する。

【0042】

続いて、Ｓ４においてＣＰＵ３１は、前記Ｓ３で取得された各検出値に基づいて、現時点の車両の位置座標、方位、進行方向（前進／後退）を推定する。尚、前記Ｓ４で推定される各情報は、前記Ｓ２で抽出された撮像画像を撮像した際における車両情報として車両の位置座標、方位、進行方向（前進／後退）を推定した情報となる。また、前記Ｓ４で推定される位置座標や方位については、基準となる位置や方位に対する相対的な値となる。この基準となる位置や方位は例えば今回の走行での撮像画像の累積記憶を開始したタイミング（例えばＡＣＣ電源がオン、駐車場進入時点、自動運転開始時点など）での車両２の位置や方位となる。

【0043】

その後、Ｓ５においてＣＰＵ３１は、前記Ｓ２で抽出された撮像画像の一部を前記Ｓ４で推定された車両情報に紐づけて撮像画像ＤＢ３６に累積的に格納する。具体的には、側方カメラ８Ａで撮像された撮像画像の一部と側方カメラ８Ｂで撮像された撮像画像の一部とを区分して、時系列に沿って（或いは撮像時の自車両の座標に沿った並びで）格納する。

【0044】

更に、Ｓ６においてＣＰＵ３１は、前記Ｓ５で撮像画像ＤＢ３６に格納された複数の撮像画像を紐づけられた車両情報に基づいて合成することで、車両が走行した経路沿いの経路周辺画像を生成する。

【0045】

具体的には、図６に示すように前記Ｓ２で抽出された側方カメラ８Ａで撮像された撮像画像の一部（以下、左撮像画像４３Ａという）と、同じく前記Ｓ２で抽出された側方カメラ８Ｂで撮像された撮像画像の一部（以下、右撮像画像４３Ｂという）と、を撮像時の自車両の位置座標と方位と進行方向に合わせて繋ぎ合わせることで経路周辺画像４４を生成する。尚、繋ぎ合わせることで左撮像画像４３Ａや右撮像画像４３Ｂに重複範囲が生じた場合については重複範囲は新しい画像を優先して上書きする。図７は左撮像画像４３Ａ及び右撮像画像４３Ｂを繋ぎ合わせることにより生成された経路周辺画像４４のイメージ図である。尚、生成された経路周辺画像４４は、経路周辺画像４４を生成する際に車両が走行した経路情報、即ち車両がどのような経路を走行した際に生成された経路周辺画像４４であるのかを特定する情報も含まれている。また、前記Ｓ６で生成された経路周辺画像４４は経路情報と併せてフラッシュメモリ３４に格納される。

【0046】

尚、左撮像画像４３Ａと右撮像画像４３Ｂの間には自車両の車幅分の隙間が生じることとなるが、その隙間については路面が存在することとなるので、路面の画像を生成して補間しても良いし、前方カメラ６や後方カメラ７の撮像画像で補間しても良い。

【0047】

また、図６に示す例では左撮像画像４３Ａや右撮像画像４３Ｂを新たに取得する度に取得した時点で既存の経路周辺画像４４に繋ぎ合わせて経路周辺画像４４を生成している。即ちリアルタイムで車両の現在位置よりも進行方向とは逆方向（例えば前進中であれば後方、後退中であれば前方）を対象にして車両が現在走行する経路沿いの経路周辺画像４４を生成しているが、経路周辺画像４４を生成するタイミングは走行を終了した時点としても良い。例えば、Ｓ１～Ｓ５までの処理を走行中に繰り返し行い、駐車を完了した時点でＳ６の処理を実行するようにしても良い。その場合には、駐車を完了した時点で今回の駐車を完了するまでの走行において取得された左撮像画像４３Ａ及び右撮像画像４３Ｂを撮像画像ＤＢ３６から読み出し、今回の駐車を完了するまでの走行において車両が走行した経路沿いの経路周辺画像４４を一括して生成することとなる。

【0048】

但し、駐車完了時に経路周辺画像４４を一括して生成する仕様では、過去に自車両が走行し経路周辺画像４４が生成された経路以外の新たな経路を走行中の場合については、車両が現在走行する経路沿いの経路周辺画像４４を表示することができない問題がある。一方で、リアルタイムで車両の現在位置よりも進行方向とは逆方向（例えば前進中であれば後方、後退中であれば前方）を対象にして車両が現在走行する経路沿いの経路周辺画像４４を生成する仕様では、自車両の現在位置よりも進行方向とは逆方向に限定されるが、新たな経路を走行中であっても車両が現在走行する経路沿いの経路周辺画像４４についても表示可能となる。また、周辺の状況（例えば他車両の位置）についてもリアルタイムに反映した経路周辺画像４４についても表示可能となる。

【0049】

尚、既に経路周辺画像４４が生成された経路と同じ経路を車両が再度走行する場合については上述した経路周辺画像４４を生成する必要は基本的にはないが、例えば駐車支援実行時において上記したような周辺の状況についてリアルタイムに反映した経路周辺画像４４を表示したい場合については、経路周辺画像４４を再度生成するようにしても良い。

【0050】

尚、従来技術の問題点としてカメラで撮像した撮像画像について視点を変更して俯瞰画像や鳥瞰画像として表示する場合に、撮像画像中の立体物が本来の形状に対して歪んだり伸びが生じて表示される問題点があるが、本実施形態では図４に示すように車両の前後方向に延在する車軸に対して垂直なごく狭い範囲のみを対象に抽出し、同様に抽出された撮像画像を繋ぎ合わせることで図７に示す経路周辺画像４４を生成するので、生成された経路周辺画像４４では立体物が含まれていたとしても本来の形状に対して歪んだり伸びが生じることを防止できる。

【0051】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ１０が実行する駐車支援処理プログラムについて図８に基づき説明する。図８は本実施形態に係る駐車支援処理プログラムのフローチャートである。ここで、駐車支援処理プログラムは車両２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、自動運転支援の一つとして特に車両が駐車する際の駐車支援を行うプログラムである。尚、図８に示す駐車支援処理プログラムと前述の経路周辺画像生成処理プログラム（図３）は夫々並行して実行されているとする。即ち、駐車支援を実行しつつ車両が走行した経路を対象に経路周辺画像４４についても生成されている。但し、既に経路周辺画像４４が生成された経路を車両が再度走行する場合については経路周辺画像生成処理プログラムについては実行しないように制御しても良い。

【0052】

先ず、Ｓ１１においてＣＰＵ３１は、駐車支援を開始するか否かを判断する。特に本実施形態の駐車支援の内容は、車両を駐車する為の駐車スペースへの車両の移動を自動で行うとともに、前記経路周辺画像生成処理プログラム（図３）で生成された経路周辺画像４４を表示することとする。

【0053】

例えば、ユーザが操作部３を操作して駐車支援を開始することを選択した場合に駐車支援を開始するとしても良いし、車両が駐車場に進入したことを検出した場合、設定された目的地に到着判定された場合、或いは駐車場に接近したことを契機として自動で駐車支援を開始するようにしても良い。

【0054】

そして、駐車支援を開始すると判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１２へと移行する。それに対して、駐車支援を開始しないと判定された場合（Ｓ１１：ＮＯ）には、当該駐車支援処理プログラムを終了する。

【0055】

Ｓ１２においてＣＰＵ３１は、ＣＡＮを介して接続された車両が備える各種センサ３７から、車速、車輪速、車輪速パルス積算値、操舵角などの車両の挙動を示す各検出値を取得し、現時点の車両の位置座標、方位、進行方向（前進／後退）を特定する。

【0056】

その後、Ｓ１３においてＣＰＵ３１は、前記経路周辺画像生成処理プログラム（図３）で生成された経路周辺画像４４を車両の現在位置、方位、進行方向に合わせた態様で液晶ディスプレイ４に描画する。即ち車両の現在位置の座標、方位、進行方向と対応する経路周辺画像４４をフラッシュメモリ３４から読み出して液晶ディスプレイ４に描画する。尚、経路周辺画像４４の描画をする際の仮想視点の設定（どの視点からどの方向を見た経路周辺画像４４を描画するか）は適宜設定可能である。例えば過去に自車両が走行し経路周辺画像４４が生成された経路を再度走行する場合については、車両の前方の経路周辺画像４４も表示可能であるので、例えば車両の現在位置よりも進行方向とは逆方向（例えば前進中であれば後方、後退中であれば前方）の上空に仮想視点を設定し上空から進行方向を斜め下方に見下ろした鳥瞰画像とすることも可能である。或いは、車両の現在位置の上方から鉛直下方に見下ろした俯瞰画像とすることも可能である。一方で、過去に自車両が走行し経路周辺画像４４が生成された経路以外を走行する場合については、車両の進行方向とは逆方向（例えば前進中であれば後方、後退中であれば前方）の既に走行した経路部分の経路周辺画像４４のみ表示可能であるので、例えば車両の現在位置よりも進行方向前方の上空に仮想視点を設定し上空から進行方向の逆方向を斜め下方に見下ろした鳥瞰画像とすることが可能である。

【0057】

尚、過去に自車両が走行し経路周辺画像４４が生成された経路を再度走行する場合については、経路周辺画像４４に対して過去に走行した際の自車両の走行経路を示す経路画像についても描画するようにしても良い。尚、経路周辺画像４４における過去に走行した際の自車両の走行経路の具体的な軌道の位置や形状は、撮像画像ＤＢ３６に格納された車両情報から特定することが可能である。車両情報は撮像画像ＤＢ３６に格納されている撮像画像を撮像した際における車両の位置座標、方位、進行方向（前進／後退）を特定した情報である。

【0058】

ここで、従来技術の問題点としてカメラで撮像した撮像画像について視点を変更して俯瞰画像や鳥瞰画像として表示する場合に、撮像画像中の立体物が本来の形状に対して歪んだり伸びが生じて表示される問題点があるが、本実施形態では前述したように車両の前後方向に延在する車軸に対して垂直なごく狭い範囲のみを対象に抽出しているので、上記のように仮想視点を任意の位置に視点変換して表示した際に経路周辺画像４４に駐車車両などの立体物が含まれていたとしても本来の形状に対して歪んだり伸びが生じて表示されることを防止できる。

【0059】

更に、Ｓ１４においてＣＰＵ３１は、前記Ｓ１３で描画された経路周辺画像４４に対して、自車両の現在位置及び方位に対応させて自車両の位置と方位を示す自車アイコン画像５１を重畳して液晶ディスプレイ４に描画する。図９は自車アイコン画像５１を重畳して描画した経路周辺画像４４を示した図である。自車アイコン画像５１は自車両の外観を模した画像であり、自車アイコン画像５１を描画することによって、ユーザは車両周辺の環境を自車の現在位置や方位と対応付けて把握することが可能となる。尚、図９は車両が前進している場合に表示される経路周辺画像４４の例であり、例えば車両が後退している場合には車両の現在位置よりも前方の範囲の経路周辺画像４４が表示されることとなる。

【0060】

前記Ｓ１３で液晶ディスプレイ４に描画された経路周辺画像４４は、車両の現在位置が変化するとそれに伴って描画範囲が順次切り替えて表示される。また、前記Ｓ１４で液晶ディスプレイ４に描画された自車アイコン画像５１についても、車両の現在位置や方位が変化するとそれに伴って経路周辺画像４４における表示位置や向きが変化する。

【0061】

その後、Ｓ１５においてＣＰＵ３１は、車両を駐車する為の駐車スペースを特定する。尚、駐車スペースの特定については、例えばユーザが液晶ディスプレイ４に表示された経路周辺画像４４において駐車を希望する駐車スペースを任意に指定することで特定しても良いし、予め駐車する駐車スペース（例えば自宅ガレージ）をユーザが登録しておくことで登録された駐車スペースを、車両を駐車する為の駐車スペースとして特定することも可能である。或いは、超音波センサ９Ａ～９Ｌやカメラを用いて自車両周辺にある空き状態にある駐車スペースをリアルタイムで検出し、空き状態にあると検出された駐車スペースを車両を駐車する為の駐車スペースとして特定するようにしても良い。

【0062】

尚、超音波センサ９Ａ～９Ｌやカメラを用いて空き状態にある駐車スペースを検出した場合には、液晶ディスプレイ４に表示された経路周辺画像４４において図９に示すように駐車枠５２を表示するようにしても良い。それによって、自車両の現在位置周辺にある空き駐車スペースの様子を確認することが可能となる。特に自車両が既に通過してしまった位置（乗員からは死角となる位置）に空き状態の駐車スペースがある場合においても経路周辺画像４４で容易に確認することが可能となる。

【0063】

続いて、Ｓ１６においてＣＰＵ３１は、前記Ｓ１５で特定された駐車スペースへと自車を駐車する為の走行軌道である駐車軌道を算出する。例えば縦列駐車を行う場合の駐車軌道の算出を例に挙げて説明すると、現在の自車位置から後退開始位置まで前進する準備軌道と、後退開始位置から転舵位置まで旋回する前半軌道と、転舵位置から目標駐車位置まで旋回する後半軌道と、目標駐車位置への到達後に必要に応じて行われる切り返しによる切り返し軌道（切り返し軌道は必須ではない）との組合せによって構成される。そして、車両２は駐車軌道に沿って走行することにより、駐車スペース内の目標駐車位置へと車両２を進入させ、適切な車両方位で目標駐車位置に車両２を位置させることが可能となる。

【0064】

尚、駐車軌道が算出された場合には、液晶ディスプレイ４に表示された経路周辺画像４４において図９に示すように駐車軌道５３を表示するようにしても良い。

【0065】

その後、Ｓ１７においてＣＰＵ３１は、前記Ｓ１６で算出した駐車軌道に従って駐車支援を開始する。具体的には、自車両の現在位置を随時検出し、生成された駐車軌道に沿って、指定された速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。また、シフト位置の切り替えも自動で行われる。

【0066】

但し、駐車軌道に従った車両の移動ではステアリング操作のみを自動で行い、駆動源やブレーキの制御は手動操作に基づいて行うようにしても良い。或いは、車両の移動については自動運転で行わずに手動運転により行わせるようにしても良い。その場合には、駐車支援として、駐車スペースや駐車軌道を液晶ディスプレイ４に表示したり、ハンドルを旋回するタイミングを音声で案内する。

【0067】

続いて、Ｓ１８においてＣＰＵ３１は、車両の駐車が完了したか否かを判定する。具体的には、前記Ｓ１５で特定された駐車スペース内に設定された目標駐車位置に車両が位置し、車両のシフト位置が「Ｐ」に変更されることで車両の駐車が完了したと判定される。

【0068】

そして、車両の駐車が完了したと判定された場合（Ｓ１８：ＹＥＳ）には、当該駐車支援処理プログラムを終了する。それに対して、車両の駐車が完了していないと判定された場合（Ｓ１８：ＮＯ）には駐車支援を継続して行う。

【0069】

以上詳細に説明した通り、本実施形態に係る運転支援装置１及び運転支援装置１で実行されるコンピュータプログラムによれば、車両に設置された側方カメラ８Ａ，８Ｂによって周辺環境を撮像した撮像画像を、該撮像画像を撮像した際の車両情報に対応付けて累積的に格納し（Ｓ５）、累積的に格納された撮像画像を車両情報に基づいて合成することで、車両が走行した経路沿いの周辺環境を示す経路周辺画像４４を生成し（Ｓ６）、車両が現在走行する経路沿いの経路周辺画像４４を表示する（Ｓ１３）一方で、側方カメラ８Ａ，８Ｂは、車両に対して側方に位置する側方領域を含んで撮像されるよう設置され、撮像された撮像画像の内、側方領域を含む一部のみを抽出して格納するので、任意の仮想視点から見た俯瞰画像や鳥瞰画像を表示する場合であっても立体物が本来の形状に対して歪んだり伸びが生じずに表示することが可能となる。
また、側方カメラ８Ａ，８Ｂにより撮像された撮像画像の内、車両の前後方向に延在する車軸に対して垂直な長尺の矩形領域の画像を抽出して格納するので、抽出した画像内に立体物が含まれていたとしても、本来の形状に対して歪んだり伸びが生じずに表示することが可能となる。
また、車両から離れるほど地表面から離間する湾曲面を投影面４２Ａ、４２Ｂとした撮像画像を格納するので、路面だけではなく自車両から見て側面方向の環境も示す画像を表示することが可能となる。
また、車両の現在位置よりも進行方向とは逆方向を対象にして車両が現在走行する経路沿いの経路周辺画像を生成し、車両の現在位置よりも進行方向とは逆方向を対象にして車両が現在走行する経路沿いの経路周辺画像を表示するので、過去に自車両が走行していない新たな経路を走行する場合であっても、自車両の現在位置よりも進行方向とは逆方向に限定されるが、車両が現在走行する経路沿いの経路周辺画像を表示可能となる。また、周辺の状況（例えば他車両の位置）についてもリアルタイムに反映した経路周辺画像を表示可能となる。

【0070】

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば本実施形態では側方カメラ８Ａ，８Ｂにより撮像した撮像画像の内、車両の前後方向に延在する車軸に対して垂直な長尺の矩形領域の画像を抽出して累積格納し、それらを合成した経路周辺画像４４を生成しているが、抽出する画像の領域は車両に対して側方に位置する側方領域を含む一部の領域であれば必ずしも車軸に対して垂直でなくともよい。また、抽出する画像の領域は車両に対して側方に位置する側方領域を含む一部の領域であれば側方カメラ８Ａ，８Ｂにより撮像した撮像画像である必要もなく、前方カメラ６や後方カメラ７により撮像した撮像画像の一部であっても良い。例えば、前方カメラ６の撮像画像に対して抽出をする場合については、図１０に示す抽出範囲１０１Ａ、１０１Ｂとする。一方、後方カメラ７の撮像画像に対して抽出をする場合については、図１１に示す抽出範囲１０２Ａ、１０２Ｂとする。尚、前方カメラ６や後方カメラ７については画角が広い広角レンズを用いているので、側方領域についても撮像範囲に含めることが可能となる。

【0071】

また、本実施形態では図９に示す経路周辺画像４４が液晶ディスプレイ４に表示されるのは自動運転支援による駐車支援が行われている間であることを前提としているが、駐車支援以外の自動運転支援が行われている間に表示するようにしても良い。更に、手動運転で走行を行っている間においても図９に示す経路周辺画像４４を液晶ディスプレイ４に表示するようにしても良い。

【0072】

また、本実施形態では図９に示す経路周辺画像４４を表示するのは車載のディスプレイとしているが、車外にある端末のディスプレイに表示しても良い。それによって、例えば車外にいるユーザがリモコンによる遠隔操作で駐車支援を行う場合に、現時点の駐車完了までの進捗状況を容易に把握することが可能となる。

【0073】

また、本実施形態では、経路周辺画像生成処理プログラム（図３）や駐車支援処理プログラム（図８）の処理を運転支援装置１の運転支援ＥＣＵ１０が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ４の制御部、車両制御ＥＣＵ、ナビゲーション装置の制御部、その他の車載器が実行する構成としても良い。

【符号の説明】

【0074】

１…運転支援装置、２…車両、３…操作部、４…液晶ディスプレイ、６…前方カメラ（撮像装置）、７…後方カメラ（撮像装置）、８Ａ，８Ｂ…側方カメラ（撮像装置）、１０…運転支援ＥＣＵ、３１…ＣＰＵ、３６…撮像画像ＤＢ、４１Ａ，４１Ｂ…抽出範囲、４２Ａ，４２Ｂ…投影面、４３Ａ…左撮像画像、４３Ｂ…右撮像画像、４４…経路周辺画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】