特許 5914114 駐車支援装置、及び駐車支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5914114

(24)【登録日】2016年4月8日

(45)【発行日】2016年5月11日

(54)【発明の名称】駐車支援装置、及び駐車支援方法

(51)【国際特許分類】

   B60R 21/00 20060101AFI20160422BHJP

   B60R 1/00 20060101ALI20160422BHJP

【ＦＩ】

   B60R21/00 628D

   B60R21/00 626G

   B60R1/00 A

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2012-82917(P2012-82917)

(22)【出願日】2012年3月30日

(65)【公開番号】特開2013-212723(P2013-212723A)

(43)【公開日】2013年10月17日

【審査請求日】2015年2月20日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(74)【代理人】

【識別番号】100100549

【弁理士】

【氏名又は名称】川口 嘉之

(74)【代理人】

【識別番号】100090516

【弁理士】

【氏名又は名称】松倉 秀実

(74)【代理人】

【識別番号】100106622

【弁理士】

【氏名又は名称】和久田 純一

(74)【代理人】

【識別番号】100113608

【弁理士】

【氏名又は名称】平川 明

(74)【代理人】

【識別番号】100085006

【弁理士】

【氏名又は名称】世良 和信

(72)【発明者】

【氏名】久井 茂幸

(72)【発明者】

【氏名】丸野 浩明

(72)【発明者】

【氏名】井口 裕介

(72)【発明者】

【氏名】▲高▼須賀 礼文

【審査官】 神田 泰貴

(56)【参考文献】

【文献】 国際公開第２００６／０９５６８９（ＷＯ，Ａ１）

【文献】 特開２０１１−１３５２５３（ＪＰ，Ａ）

【文献】 特開２０１１−０６６６５７（ＪＰ，Ａ）

【文献】 特開２０１２−００１１０１（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０７８２０１（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０１６９２５（ＷＯ，Ａ１）

【文献】 特開２００３−２６７１７１（ＪＰ，Ａ）

【文献】 特開２０１２−０２７５３４（ＪＰ，Ａ）

【文献】 特開２００８−０３７３２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｂ６０Ｒ ２１／３４ − ２１／３８

Ｂ６０Ｒ １／００ − １／０４

Ｂ６０Ｒ １／０８ − １／１２

Ｇ０８Ｇ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影する撮影手段により撮影された映像を、車両の上方に設定した仮想視点から車両側を見たときの上方視点俯瞰映像、及び、車両の後方に設定した仮想視点から車両側を見たときの後方視点俯瞰映像に変換する映像変換手段と、
前記車両の進行方向として後進が選択されたことを示す後進信号が検出されたら、前記後方視点俯瞰映像に切り換え、前記後進信号及び前記車両が駐車する駐車枠が検出されたら、前記上方視点俯瞰映像に切り換える映像切換手段と、
を備えることを特徴とする駐車支援装置。

【請求項2】

前記後方視点俯瞰映像における仮想視点は、前記駐車枠内の所定の位置に設定され、当該駐車枠から前記車両が進入してくる方向を見たときの視点である請求項１に記載の駐車支援装置。

【請求項3】

前記撮影手段は、前記車両から後方を見たときの後方映像を撮影し、
前記映像切換手段は、前記後進信号及び前記車両が駐車する駐車枠線が検出されたら、前記上方視点俯瞰映像と共に前記後方映像を表示するように切り換える請求項１又は２に記載の駐車支援装置。

【請求項4】

車両の周辺を撮影する撮影手段を備える駐車支援装置が、
前記撮影手段により撮影された映像を車両の上方に設定した仮想視点から車両側を見たときの上方視点俯瞰映像、及び、車両の後方に設定した仮想視点から車両側を見たときの後方視点俯瞰映像に変換するステップと、
前記車両の進行方向として後進が選択されたことを示す後進信号が検出されたら、前記後方視点俯瞰映像に切り換え、前記後進信号及び前記車両が駐車する駐車枠が検出されたら、前記上方視点俯瞰映像に切り換えるステップと、
を実行する駐車支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、駐車支援装置、及び駐車支援方法に関する。

【背景技術】

【0002】

駐車場にて車両を後進させて駐車枠内に駐車する場合、運転者は運転席から直接又はミラーを介して間接的に後方を確認しながら駐車を行う。

【0003】

しかし、後方の視界は狭く、死角が多いため、障害物が近接している場合や、駐車スペースに余裕が無いような場合には、後方の確認が容易でないことがある。このため、カメラで撮影した車両後方の画像を表示部に表示させて駐車の支援を行うシステムも提案されている。

【0004】

例えば、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした映像、所謂俯瞰映像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−２８４３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

前述のように、単一のカメラで車両後方の画像を表示するシステムでは、撮影画角内の限られた範囲でしか確認できないため、撮影画角外から接近する障害物等に気付き難いという問題点があった。

【0007】

また、俯瞰画像を表示するシステムでは、車両周囲の障害物等の位置を知ることができるが、俯瞰画像は、運転者の視点とは異なる視点の画像であるため、一般的な運転者にとって障害物等の種類や移動方向といった詳細な情報を直感的に把握できるものではない。

【0008】

本件は、駐車の際、自車両周辺の障害物等の確認を容易にする技術を提供する。

【課題を解決するための手段】

【0009】

本件の一観点による駐車支援装置は、車両の周辺を撮影する撮影手段により撮影された映像を、車両の上方に設定した仮想視点から車両側を見たときの上方視点映像、及び、車両の後方に設定した仮想視点から車両側を見たときの後方視点映像に変換する映像変換手段と、前記車両の進行方向として後進が選択されたことを示す後進信号が検出されたら、前記後方視点映像に切り換え、前記後進信号及び前記車両が駐車する駐車枠が検出されたら、前記上方視点映像に切り換える映像切換手段と、を備える。

【0010】

前記後方視点映像における仮想視点は、前記駐車枠内の所定の位置に設定され、当該駐車枠から前記車両が進入してくる方向を見たときの視点としてもよい。前記撮影手段は、前記車両から後方を見たときの後方視点映像を撮影し、前記映像切換手段は、前記後進信号及び前記車両が駐車する駐車枠線が検出されたら、前記上方視点映像と共に前記後方視点映像を表示するように切り換えるようにしてもよい。

【0011】

本件の一観点による駐車支援方法は、車両の周辺を撮影する撮影手段を備える駐車支援装置が、前記撮影手段により撮影された映像を車両の上方に設定した仮想視点から車両側を見たときの上方視点映像、及び、車両の後方に設定した仮想視点から車両側を見たときの後方視点映像に変換するステップと、前記車両の進行方向として後進が選択されたことを示す後進信号が検出されたら、前記後方視点映像に切り換え、前記後進信号及び前記車両が駐車する駐車枠が検出されたら、前記上方視点映像に切り換えるステップと、を実行する。

【0012】

また、本発明は、上記駐車支援方法をコンピュータに実行させるための駐車支援プログラムであっても良い。更に、本発明は、この駐車支援プログラムをコンピュータが読み取り可能に記録した記録媒体であっても良い。コンピュータに、この記録媒体の駐車支援プログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0013】

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

【0014】

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

【発明の効果】

【0015】

本発明によれば、駐車の際、自車両周辺の障害物等の確認を容易にする技術を提供することが可能になる。

【図面の簡単な説明】

【0016】

【図1】駐車支援装置の構成を示すブロック図

【図2】車載カメラが車両に配置される位置を示す図

【図3】車両の左側のサイドカメラがハウジング内に収容されたサイドカメラユニットの外観構成を示す図

【図4】合成画像を生成する手法を説明するための図

【図5】駐車支援装置が実行する駐車支援方法の説明図

【図6】駐車支援方法を実行する際のタイミングチャート

【図7】車両が前進している際の説明図

【図8】車両が後進している際の説明図

【図9】車両が駐車枠に位置した際の説明図

【図10】駐車枠位置から自車両周辺を見た場合の誘導者視線映像の表示例

【図11】駐車枠位置から自車両周辺を見た場合の誘導者視線映像の表示例

【図12】駐車枠位置から自車両周辺を見た場合の誘導者視線映像の表示例

【図13】本変形例において、駐車支援装置が実行する駐車支援方法の説明図

【発明を実施するための形態】

【0017】

以下、図面を参照して、実施形態に係る駐車支援装置について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

【0018】

〈実施形態１〉
〈全体構成〉
図１は、駐車支援装置１２０の構成を示すブロック図である。この駐車支援装置１２０
は、車両（本実施形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内に設けた表示装置２１に出力する機能を有している。駐車支援装置１２０のユーザ（代表的にはドライバ）は、この駐車支援装置１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

【0019】

図１に示すように、駐車支援装置１２０は、車両の周辺を示す周辺画像を生成してナビゲーション部２０などの表示装置に画像情報を出力する画像処理部１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。

【0020】

ナビゲーション部２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、ナビゲーション部２０の各部を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション部２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

【0021】

ナビゲーション部２０は、画像処理部１００と通信可能に接続され、画像処理部１００との間で各種の制御信号の送受信や、画像処理部１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション部２０単体の機能に基づく画像が表示されるが、所定の条件下において画像処理部１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション部２０は、画像処理部１００で生成された周辺画像を受信して表示する表示装置としても機能する。

【0022】

画像処理部１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理部１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の所定位置に配置されるが詳細は後述する。

【0023】

画像処理部１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション部２０との間で通信を行うナビ通信部４２とを主に備えている。

【0024】

ナビゲーション部２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理部１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理部１００は、ナビゲーション部２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。

【0025】

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。

【0026】

合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。

【0027】

画像範囲選択部３２は、撮影部５のサイドカメラ５３で取得された撮影画像に基づいて、画像の所定範囲を選択して切り出す。

【0028】

画像情報出力部３３は、画像範囲選択部３２で選択された画像情報をナビ通信部４２を介してナビゲーション部２０に出力する。なお、画像情報の出力は制御部１に基づいて行われる。

【0029】

また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション部２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション部２０のディスプレイ２１に表示されることになる。本実施形態においてディスプレイ２１は、表示手段の一形態であり、ナビゲーションのための画像や駐車支援のための映像を切り換えて表示する。このように駐車支援のための表示手段をナビゲーションのためのディスプレイと兼用することで、装置の簡素化や省スペース化を図っている。なお、駐車支援のための表示手段は、ナビゲーション部２０のディスプレイ２１と兼用する構成に限らず、他の装置と兼用しない構成や、ヘッドアップディスプレイやメータパネル等の他の表示装置と兼用する構成としても良い。

【0030】

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。

【0031】

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示をドアミラーの開閉状態、および、車種ごとのパラメータの情報に基づいて行う。

【0032】

また、画像処理部１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

【0033】

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。

【0034】

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

【0035】

メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理部１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカ
ードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、駐車支援装置１２０を異なる種別の車両に対応させることも可能である。

【0036】

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、駐車支援装置１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、及び、ミラー駆動装置８４などから、各種情報を示す信号が制御部１に入力される。

【0037】

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

【0038】

方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。

【0039】

また、ミラー駆動装置８４は、ドライバの操作に応答して車両のドアミラーを格納／展開（開閉）する。ミラー駆動装置８４からは、ドアミラーの状態（格納／展開）が入力される。

【0040】

＜撮影部＞
次に、画像処理部１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

【0041】

撮影部５は、撮影手段の一形態として車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

【0042】

図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。

【0043】

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

【0044】

これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となって
いる。なお、車載カメラ５１，５２，５３は、４つに限らず、車両の後方を含む所要周囲を撮影できれば、４つよりも少なく又は多く設けても良い。

【0045】

図３は、車両９の左側のサイドカメラ５３がハウジング内に収容されたサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。

【0046】

サイドカメラ５３は、レンズと撮像素子とを備えて構成されている。サイドカメラ５３は、ハウジング内に配置され、光軸が車両９の外側に向けられている。サイドカメラ５３は、この光軸の方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジングに固定される。

【0047】

＜画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。

【0048】

撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

【0049】

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

【0050】

また、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

【0051】

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

【0052】

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

【0053】

そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を
示す合成画像が生成されることになる。

【0054】

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

【0055】

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
＜動作モード＞
次に、駐車支援装置１２０の動作モードについて説明する。駐車支援装置１２０は、通常モードＭ１、バックモードＭ２、及び、駐車モードＭ３の３つの動作モードを有している。これらの動作モードは、ユーザによるシフトレバーの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。

【0056】

通常モードＭ１は、シフトポジションがＲ（後退）以外の場合に選択されるモードであり、ナビゲーション部２０の機能によるナビゲーション案内用の地図画像などをディスプレイ２１に表示する。なお、ナビゲーション部２０が、テレビジョン放送の電波を受信して表示する機能や、音楽を再生すると共に曲名を表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送や再生中の曲名など、ユーザに選択された画像が表示されても良い。

【0057】

バックモードＭ２は、画像処理部１００の機能を利用して、車両９の後方に設けた仮想視点ＶＰ２から車両側を見た場合の誘導者視線映像ＣＰ２をディスプレイ２１に表示するモードである。

【0058】

駐車モードＭ３は、画像処理部１００の機能を利用して、バックカメラ５２で撮影したリア映像と、車両９の情報に設けた仮想視点ＶＰ１から見下ろした場合の俯瞰映像ＣＰ１とをディスプレイ２１に二画面表示するモードである。

【0059】

＜動作＞
図５は、本実施形態の駐車支援装置１２０が実行する駐車支援方法の説明図である。

【0060】

ＡＣＣスイッチをＯＮする等の操作により電力が供給されると、駐車支援装置１２０は、図５の処理を開始し、先ず、シフトポジションが後進”Ｒ”か否かを判定する(ステップＳ１０)。シフトセンサ８１から受信したシフトポジションを示す信号が”Ｒ”以外であった場合(ステップＳ１０，Ｎｏ)、駐車支援装置１２０は通常モードＭ１を選択し、ナビゲーション部２０による地図画像などをディスプレイ２１に表示させて(ステップＳ１５)、図５の駐車支援処理を終了する。即ち、シフトポジションを示す信号が、前進”Ｄ”や中立”Ｎ”停止”Ｐ”といった”Ｒ”以外の場合、ナビゲーション部２０による地図等の表示を行う。なお、シフトポジションを示す信号が”Ｒ”以外であった場合、ナビゲーション部２０による地図等の表示に限らず、オーディオ画面やＤＴＶ画面、前方方向を撮像したカメラ画像であってもよく、車両９を後進させる際に利用されるカメラ画像とは異なる表示が行われる。

【0061】

一方、シフトポジションを示す情報が”Ｒ”であった場合(ステップＳ１０，Ｙｅｓ)、撮影部５で撮影した映像から駐車枠を検知する処理を行う(ステップＳ２０)。

【0062】

駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像を合成し、俯瞰映像及び誘導者視線映像に変換する(ステップＳ３０)。

【0063】

また、駐車支援装置１２０は、舵角センサで検出した操舵角に基づいて進行方向を求め、ガイド線を表示させる(ステップＳ４０)。

【0064】

次に、駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像から駐車枠を認識する(ステップＳ５０)。

【0065】

駐車枠を認識した場合(ステップＳ５０，Ｙｅｓ)、駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像から自車位置を判定する(ステップＳ６０)。例えば不揮発性メモリ４０に記憶された車種別データ４ａに含まれる各カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に基づいて撮影された駐車枠との相対位置を求める。そして、この相対位置から自車が駐車枠に対して所定の位置関係となったか、例えば自車が駐車枠内に入ったか否かを判定する(ステップＳ７０)。なお、所定の位置関係とは、自車が駐車枠内に入ったことに限らず、自車と駐車枠との距離が所定値以内となった場合でも良い。

【0066】

ステップＳ５０で駐車枠が認識されなかった場合や(ステップＳ５０，Ｎｏ)、ステップＳ７０で駐車枠に入っていない(ステップＳ７０，Ｎｏ)と判定した場合、バックモードＭ２を選択して、仮想視点ＶＰ２を自車後方位置に設定した誘導者視線映像を出力する(ステップＳ９０)。

【0067】

また、ステップＳ７０で駐車枠に入った(ステップＳ７０，Ｙｅｓ)と判定した場合、駐車モードＭ３を選択し俯瞰映像とリア映像の二分割映像を出力する(ステップＳ８０)。

【0068】

駐車支援装置１２０は、ディスプレイ２１へ出力する映像信号を画像生成部３からの映像信号に切り替えて（ステップＳ１００）、二分割映像或いは誘導者視線映像をディスプレイ２１に表示させ（ステップＳ１１０）、図５の処理を終了させる。なお、図５の処理は、ＡＣＣスイッチがＯＦＦとされるなど、駐車支援装置１２０への電力供給が無くなるまで繰り返し実行する。

【0069】

図６は、図５に示した駐車支援方法を実行する際のタイミングチャートである。図６に示すタイミングＴ１では、シフトポジションが“Ｄ”であり、図７（Ａ）に示すように車両９が駐車枠９１で区切られた駐車スペース前を前進している。この場合、通常モードＭ１が選択され、図７（Ｂ）のようにナビゲーション部２０による地図画像９６等がディスプレイ２１に表示される（ステップＳ１５）。

【0070】

図６に示すタイミングＴ２では、後進信号“Ｒ”を検出し、これに伴い誘導者視線映像及び俯瞰映像を生成するために各カメラ５１，５２，５３で撮影した映像の合成処理を開始する（ステップＳ２０，Ｓ３０）。この場合、図８（Ａ）に示すように車両９が駐車スペース前を後進し、バックモードＭ２が選択されて、図８（Ｂ）のように誘導者視線映像９７がディスプレイ２１に表示される（ステップＳ９０−Ｓ１１０）。駐車支援装置１２０は、図８（Ａ）において、撮影部５の各カメラ５１，５２，５３で駐車スペースを含む車両周辺の画像を撮影して合成し、図４と同様に立体曲面ＳＰ２に投影して車両９の後方に設けた仮想視点ＶＰ２から車両側を見た場合の視野Ｖａに含まれる画像のデータを前記不揮発性メモリ４０のテーブルの対応関係に基づいて、前記合成した撮影画像から抽出する。この視野Ｖａに含まれる画像のデータを連続して表示した例が、図８（Ｂ）の誘導者視線映像９７である。なお、図８（Ｂ）に示す車両９は、前記不揮発性メモリ４０の車種別データ４ａに含まれているポリゴンデータに基づいて表示している。なお、車両９の表示は、ポリゴンデータに基づくものに限らず、車両の向きや大きさ示すものであれば、矢印や単純な図形等のアイコンであっても良い。また、図８（Ｂ）では、車両９の外観を示しているが、これに限らず図８（Ｃ）に示すように、車両の外形を半透明あるいは輪郭線（図８（Ｃ）中の点線）で示し、車両内にタイヤの図を表示しても良い。駐車支援装置１２０は、図８（Ｃ）に示すように、舵角センサ８５で検出した舵角に基づいて、自車のタイヤの向きと一致するようにタイヤの図を表示する。これによってユーザは、切り返しのタイミング等を適切に知ることができる。

【0071】

駐車支援装置１２０は、タイミングＴ３で駐車枠が検知されると、自車位置が駐車枠内に位置したか否かの判定（ステップＳ７０）を行い、駐車枠内で無ければ(ステップＳ７０，Ｎｏ)、モードＭ２を選択して誘導者視線映像を表示する(ステップＳ９０−Ｓ１１０)。そして、図９（Ａ）のように車両９が駐車枠内に位置し、これをタイミングＴ４で検知した場合（ステップＳ７０，Ｙｅｓ）、駐車モードＭ３が選択されて、図９（Ｂ）のように俯瞰映像９８とリア映像９９がディスプレイ２１に表示される（ステップＳ８０，Ｓ１００，Ｓ１１０）。図９（Ｂ）において、俯瞰映像９８は、車両９と駐車枠９１との位置関係を明確に示すことができ、ユーザは車両をどのように進めたら良いかを容易に知ることができる。また、リア映像９９は、車両止め（不図示）や駐車枠後端までの距離を示すことができ、ユーザは車両をどこまでバックさせれば良いかを知ることができる。

【0072】

以上のように、本実施形態によれば、後進時に、自車の後方に設定した仮想視点から自車両とその周囲の映像を車内のディスプレイに表示させることができるので、ドライバは車外で誘導している感覚で安全確認ができる。このように自車両周辺の表示を行うことで、後進時の死角及び周辺からの接近物や障害物の把握が容易になる。

【0073】

また、自車両が駐車枠内に入った場合には、俯瞰映像とリア映像に切り替わるので、自車両と駐車枠との間隔を見ながら駐車を行うことができる。

【0074】

＜変形例＞
前述の実施形態では、自車両の後方に仮想視点ＶＰ２を設けたが、これに限らず、自車両と離れた位置に仮想視点を設定し、自車両と自車両周辺とをできればよい。本変形例では、駐車枠を検出した際、駐車枠の中央や先端等、駐車枠に対して所定の位置に仮想視点ＶＰ２を設定し、駐車枠位置から見た自車両周辺の映像を誘導者視線映像とする。なお、その他の構成は、前述の実施形態と同じである。

【0075】

図１０−図１２は、この駐車枠位置から自車両周辺を見た場合の誘導者視線映像の表示例、図１３は、本変形例において、駐車支援装置１２０が実行する駐車支援方法の説明図である。

【0076】

ＡＣＣスイッチをＯＮする等の操作により電力が供給されると、駐車支援装置１２０は、図１３の処理を開始し、先ず、シフトポジションが後進”Ｒ”か否かを判定する(ステップＳ１０)。シフトセンサ８１から受信したシフトポジションを示す信号が”Ｒ”以外であった場合(ステップＳ１０，Ｎｏ)、駐車支援装置１２０は通常モードＭ１を選択し、ナビゲーション部２０による地図画像などをディスプレイ２１に表示させて(ステップＳ１５)、図１３の駐車支援処理を終了する。

【0077】

一方、シフトポジションを示す情報が”Ｒ”であった場合(ステップＳ１０，Ｙｅｓ)、撮影部５で撮影した映像から駐車枠を検知する処理を行う(ステップＳ２０)。

【0078】

駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像を合成し、俯瞰映像及び誘導者視線映像に変換する(ステップＳ３０)。

【0079】

また、駐車支援装置１２０は、舵角センサで検出した操舵角に基づいて進行方向を求め、ガイド線を表示させる(ステップＳ４０)。

【0080】

次に、駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像から駐車枠を認識する(ステップＳ５０)。

【0081】

ステップＳ５０で駐車枠が認識されなかった場合（図６のＴ２〜Ｔ３の期間）、駐車支援装置１２０は、バックモードＭ２を選択して、自車後方位置に仮想視点ＶＰ２を設定した誘導者視線映像を出力する(ステップＳ９０)。

【0082】

一方、ステップＳ５０で駐車枠を認識した場合(ステップＳ５０，Ｙｅｓ)、駐車支援装置１２０は、撮影部５の各カメラ５１，５２，５３で撮影した映像から自車位置を判定する(ステップＳ６０)。例えば不揮発性メモリ４０に記憶された車種別データ４ａに含まれる各カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に基づいて、撮影された駐車枠に対する自車の相対位置を求める。そして、この相対位置から自車が駐車枠に対して所定の位置関係となったか、例えば自車が駐車枠内に入ったか否かを判定する(ステップＳ７０)。

【0083】

ステップＳ５０で駐車枠を認識した後、ステップＳ７０で駐車枠に入っていない(ステップＳ７０，Ｎｏ)と判定した場合（図６のＴ３〜Ｔ４の期間）、駐車支援装置１２０は、仮想視点ＶＰ２を駐車枠位置に設定した誘導者視線映像を出力する(ステップＳ７５)。

【0084】

ステップＳ７０で駐車枠に入った(ステップＳ７０，Ｙｅｓ)と判定した場合、駐車モードＭ３を選択し俯瞰映像とリア映像の二分割映像を出力する(ステップＳ８０)。

【0085】

駐車支援装置１２０は、ディスプレイ２１へ出力する映像信号を画像生成部３からの映像信号に切り替えて（ステップＳ１００）、二分割映像或いは誘導者視線映像をディスプレイ２１に表示させ（ステップＳ１１０）、図１３の処理を終了させる。なお、図１３の処理は、ＡＣＣスイッチがＯＦＦとされるなど、駐車支援装置１２０への電力供給が無くなるまで繰り返し実行する。

【0086】

図１０は、駐車枠が認識された直後、即ち図６のＴ３直後の状態を示す図であり、図１０（Ａ）は駐車枠位置に設けた仮想視点ＶＰ２と自車の位置関係を示し、図１０（Ｂ）は誘導者視線映像の表示例を示す。

【0087】

図１０（Ａ）に示すように、各カメラ５１，５２，５３の撮影画像を合成して立体曲面ＳＰ２に投影した場合の範囲（合成映像エリア）に駐車枠９１の先端が入ると、ステップＳ５０で駐車枠が認識される。駐車枠を認識した駐車支援装置１２０は、ステップＳ６０で求めた相対位置に基づいて仮想視点ＶＰ２を駐車枠９１の位置に設定する。この図１０（Ａ）に示す仮想視点ＶＰ２から見た誘導者視線映像の表示例が図１０（Ｂ）である。図１０（Ａ），図１０（Ｂ）では、駐車枠に車両を駐車する際の進入方向、例えば駐車枠の長手方向に通る中心線の方向と、仮想視点ＶＰ２からの視線（視野の中心）Ｖｂとを一致させている。このため、ユーザは、図１０（Ｂ）の誘導者視線映像を見て、車両９が画面の駐車枠９１へ向けて手前側へ真っ直ぐに入るように運転する。

【0088】

図１１（Ａ），図１１（Ｂ）は、図１０（Ａ），図１０（Ｂ）の位置から少し後進した状態（駐車枠に近づいた状態）を示し、図１２（Ａ），図１２（Ｂ）は、更に後進して車両９が駐車枠９１内に入る直前（図６のＴ４直前）の状態を示す。

【0089】

図１０（Ａ）〜図１２（Ａ）に示すように車両の移動に伴って、車両９と駐車枠９１との位置関係が変化するので、駐車支援装置１２０は、この位置関係に基づいて、ステップＳ７５で仮想視点ＶＰ２を設定し、切り出す画像の位置を変えている。

【0090】

これにより、図１０（Ｂ）〜図１２（Ｂ）の誘導者視線映像では、画面手前の駐車枠９１が略固定され、車両９が駐車枠９１へ近づいてくるような映像となる。

【0091】

本変形例によれば、駐車枠位置に立って車両を誘導する感覚で、周囲の状況を把握できる。

【0092】

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0093】

１ 制御部
３ 画像生成部
４ａ 車種別データ
５ 撮影部
９ 車両
１０ 本体部
１１ 画像制御部
２０ ナビゲーション部
２１ ディスプレイ（表示装置）
２２ 操作部
２３ 制御部
３１ 合成画像生成部
３２ 画像範囲選択部
３３ 画像情報出力部
４０ 不揮発性メモリ
４１ 信号入力部
４２ ナビ通信部
４３ 切替スイッチ
４４ カード読取部
５１，５２，５３ 車載カメラ
８１ シフトセンサ
８２ 車速度センサ
８３ 方向指示器
９３ ドアミラー
１００ 画像処理部
１２０ 駐車支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】