特許 5696872 車両周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5696872

(24)【登録日】2015年2月20日

(45)【発行日】2015年4月8日

(54)【発明の名称】車両周辺監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20150319BHJP

   B60R 1/00 20060101ALI20150319BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2010-72326(P2010-72326)

(22)【出願日】2010年3月26日

(65)【公開番号】特開2011-205514(P2011-205514A)

(43)【公開日】2011年10月13日

【審査請求日】2012年7月25日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100107308

【弁理士】

【氏名又は名称】北村 修一郎

(74)【代理人】

【識別番号】100114959

【弁理士】

【氏名又は名称】山▲崎▼ 徹也

(72)【発明者】

【氏名】三好 英彦

(72)【発明者】

【氏名】長嶺 昇

(72)【発明者】

【氏名】三浦 健次

(72)【発明者】

【氏名】山本 欣司

(72)【発明者】

【氏名】後藤 謙二郎

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００９−２３９６７４（ＪＰ，Ａ）

【文献】 特開２００８−２５４７１０（ＪＰ，Ａ）

【文献】 特開２００２−０１９５５６（ＪＰ，Ａ）

【文献】 特開２００７−２３５５２９（ＪＰ，Ａ）

【文献】 特開２００８−３０１０９１（ＪＰ，Ａ）

【文献】 国際公開第２００８／１４６６６０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
前記画像処理部は、前記モニタに対して複数の前記カメラの何れかで撮影された撮影画像が表示される主表示領域と、俯瞰画像が表示される俯瞰画像表示領域とを形成すると共に、人為操作により前記主表示領域及び前記俯瞰画像表示領域の少なくとも何れか一方を拡大表示領域とする設定が可能に構成され、
前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、指定された分割領域の画像を拡大対象画像とし、この拡大対象画像を前記拡大表示領域のサイズまで拡大して前記拡大表示領域に表示する拡大表示手段とを備えており、
前記拡大表示手段は、前記指定された分割領域のサイズと前記拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定されている車両周辺監視装置。

【請求項2】

複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定する請求項１記載の車両周辺監視装置。

【請求項3】

前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。

【請求項4】

前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。

【請求項5】

前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示する請求項１〜４のいずれか一項に記載の車両周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺監視装置に関し、詳しくは、カメラの撮影画像をモニタに表示し、このモニタに表示されている撮影画像を拡大表示する技術に関する。

【背景技術】

【0002】

上記のように構成された車両周辺監視装置として特許文献１には、複数のカメラの撮影画像から車両周辺の俯瞰画像を生成してモニタ（文献中はディスプレイ）に表示すると共に、この俯瞰画像を車両の周辺領域を複数の領域に分割し、この複数の領域の何れかをタッチパネルによりユーザが選択した場合には、選択した領域の俯瞰画像をモニタに拡大表示する処理形態が記載されている。

【0003】

この特許文献１では、モニタにおいて俯瞰画像が表示される領域と拡大画像が表示される領域を別個に設定しており、拡大画像としては俯瞰画像を拡大するモードと、選択された領域を撮影するカメラの撮影画像（カメラ視点の画像）を拡大するモードとの選択を行える点も記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９‐２３９６７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

俯瞰画像の一部を拡大してモニタに表示する際には、拡大された画像が単純にモニタに表示される場合には、何れの部位を拡大画像であるのか判別し難いものである。また、特許文献１に記載されるように比較的狭い領域を指定し、その領域が拡大されるものでは、誤った操作により、運転者が望まない領域の画像を拡大してしまうこともある。このような誤った操作が行われた場合には、適正な操作を改めて行う必要があるだけではなく、誤操作に気付くまで時間を要することもあり改善の余地がある。

【0006】

本発明の目的は、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置を合理的に構成する点にある。

【課題を解決するための手段】

【0007】

本発明の特徴は、車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
前記画像処理部は、前記モニタに対して複数の前記カメラの何れかで撮影された撮影画像が表示される主表示領域と、俯瞰画像が表示される俯瞰画像表示領域とを形成すると共に、人為操作により前記主表示領域及び前記俯瞰画像表示領域の少なくとも何れか一方を拡大表示領域とする設定が可能に構成され、
前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、指定された分割領域の画像を拡大対象画像とし、この拡大対象画像を前記拡大表示領域のサイズまで拡大して前記拡大表示領域に表示する拡大表示手段とを備えており、
前記拡大表示手段は、前記指定された分割領域のサイズと前記拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定されている点にある。

【0008】

この構成によると、分割領域が指定された場合には、その分割領域の画像が拡大表示領域に表示される。また、拡大表示領域は主表示領域及び俯瞰画像表示領域のうち人為操作により設定された少なくとも何れか一方である。つまり、主表示領域あるいは俯瞰画像表示領域が拡大表示領域に設定されることや、主表示領域と俯瞰画像表示領域の双方が一つの拡大表示領域となる。この拡大が行われる際には、分割領域のサイズと拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、この複数の中間画像から小さい中間画像から順次表示する処理が実行される。この処理の初期には指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定される。このような表示形態から指定された分割画像を起点として中間画像が連続してズームアップされる形態で最終的な拡大画像が拡大表示領域に表示される。
特に、分割領域の指定としては、人為的な指定だけではなく、例えば、障害物が検出された際に自動制御による指定を含むものである。
その結果、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置が構成された。

【0011】

本発明は、複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定しても良い。

【0012】

これによると、２つのカメラの撮影画像から生成された俯瞰画像を合成した俯瞰画像が分割領域に表示されている状態で、この俯瞰画像が拡大対象画像に設定された場合には合成された俯瞰画像が拡大されることになる。

【0013】

本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定しても良い。

【0014】

これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域に表示されている俯瞰画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像は俯瞰画像であるので、車両を上方から見下ろす視点から車両周辺の状況を把握できる。

【0015】

本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定しても良い。

【0016】

これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像はカメラの撮影画像であるので、カメラを視点にした車両周辺の状況を把握できる。

【0017】

本発明は、前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示しても良い。

【0018】

これによると、中間画像が順次表示される際にも、中間画像と既に表示されている画像との境界が明瞭となり、何れの分割領域を元にして拡大表示が行われたのか容易に判断できる。

【図面の簡単な説明】

【0019】

【図1】車両の構成の概要を示す平面図である。

【図2】車両の構成の示す一部切り欠き斜視図である。

【図3】制御系のブロック回路図である。

【図4】車両周辺監視処理のフローチャートである。

【図5】分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。

【図6】分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。

【図7】分割領域の俯瞰画像を主表示領域に拡大する処理を連続的に示す図である。

【図8】分割領域の俯瞰画像をモニタの全画面に拡大する処理を連続的に示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車両１に備えられた複数のカメラの撮影画像から車両１の周辺を上方から見下ろした形態となる俯瞰画像を生成してモニタ２１に表示する車両周辺監視装置を備えている。特に、この車両周辺監視装置は、車両の近傍位置の障害物Ｘを検出した際には、モニタ２１に表示されている俯瞰画像を複数に分割して分割領域Ｄ１〜Ｄ４を設定しており、障害物Ｘを含む分割領域Ｄ１〜Ｄ４を特定するための強調表示を行うと共に、障害物Ｘが存在する領域の画像をモニタ２１に拡大表示する制御（以下、拡大処理と称する）を実行するものであり、この制御形態と制御構成とを以下に説明する。

【0021】

〔基本構成〕
図１及び図２に示すように、乗用車としての車両１には左右の前車輪２と、左右の後車輪３とを備えている。車両１の前部位置にはヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車両１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車両１の後端にはハッチバック式のバックドア８を備えている。

【0022】

車両１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足元にはアクセルペダル１７と、前車輪２及び後車輪３のブレーキ装置ＢＫを操作して前車輪２及び後車輪３に制動力を作用させるブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。

【0023】

運転座席１３の近傍で、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１のハウジング２１Ｈにはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。尚、モニタ２１はナビゲーションシステムの表示装置として用いるものを兼用しているが、車両周辺監視表示のために専用のものを備えても良い。

【0024】

左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられている。車両１の前端に前部カメラ２７が備えられ、車両１の後端には後部カメラ２８が備えられている。

【0025】

特に、左サイドカメラ２５と右サイドカメラ２６とは撮影方向が下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。前部カメラ２７と後部カメラ２８とは、撮影方向が斜め下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。

【0026】

これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。

【0027】

モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー１９をリバース（後進）位置に操作した際には、後部カメラ２８の撮影画像が表示される。特に、後部カメラ２８の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚でモニタ２１の表示内容を視認できるようにしている。

【0028】

車両前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車両前部にはエンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。変速機構Ｔはシフトレバー１９の操作によって前後進の切り換えと、走行速度の変速とが行われる。

【0029】

車両１には運転操作や、車両１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。

【0030】

後車輪３の近傍には後車輪３の回転量から車両１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車両１の移動量とステアリング量とを検出するように構成しても良い。

【0031】

〔制御構成〕
車両１の中央部には、本発明の車両周辺監視装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。

【0032】

このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声情報は音声出力モジュール３４からスピーカ２２に出力される。

【0033】

このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、車両近傍の障害物Ｘを検知する障害物検出部３８（障害物検出手段の一例）と、車両周辺監視処理を実現する画像処理部３９とを備えている。

【0034】

ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。

【0035】

駐車支援制御部３７は、画像処理部３９によってモニタ２１に表示される画像に対して車両１を駐車位置に導く予想進路イメージＹ（図６（ａ）を参照）を重畳表示する。運転者はモニタ２１に表示される予想進路イメージＹに基づいてステアリング操作を行うことにより、車両１を駐車目標位置に容易に導入できることになる。

【0036】

画像処理部３９は、車両周辺監視処理においてモニタ２１に対して図５（ａ）に示すレイアウトで主表示領域２１Ａと副表示領域２１Ｂ（俯瞰画像表示領域の一例）とを配置し、主表示領域２１Ａに上部位置にはこの領域の画像を撮影したカメラを示すカメラアイコン２１Ｃを表示する。

【0037】

また、画像処理部３９は、前述した複数のカメラの撮影画像から車両１を上方から見下ろした形態となる俯瞰画像を生成する俯瞰画像生成手段３９Ａと、モニタ２１に表示された俯瞰画像を複数の分割領域Ｄ１〜Ｄ４に分割して管理する分割領域管理手段３９Ｂと、複数の分割領域Ｄ１〜Ｄ４のうち障害物Ｘが表示されている領域であることを特定する情報として、複数の枠状部Ｆ１〜Ｆ４のうち、障害物Ｘが存在する分割領域Ｄに対応する枠状部Ｆを強調表示する特定情報出力手段３９Ｃと、拡大対象画像と拡大表示領域とを設定する拡大モード設定手段３９Ｄと、拡大対象画像を拡大表示領域に拡大する拡大表示手段３９Ｅとを備えている。図５（ａ）に示す如く、分割領域Ｄ１と分割領域Ｄ２とは車両前部の左側と右側とに対応し、分割領域Ｄ３と分割領域Ｄ４とは車両後部の左側と右側とに対応する。これと同様に枠状部Ｆ１〜Ｆ４も同図に示す如く、分割領域Ｄ１〜Ｄ４に対応している。尚、分割領域Ｄ１〜Ｄ４の上位概念として、分割領域Ｄと記し、枠状部Ｆ１〜Ｆ４の上位概念として枠状部Ｆと記す。

【0038】

ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。

【0039】

センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とから運転操作情報や移動状態を検出する情報が入力する。

【0040】

通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１と間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とからの情報を取得する。

【0041】

画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。

【0042】

〔制御形態〕
車両周辺監視表示処理の処理形態を図４のフローチャートに示しており、この処理の実行時にモニタ２１の表示内容を図５〜図８に示している。

【0043】

つまり、車両周辺監視処理が選択されている状態でシフトレバー１９が前進位置にセットされた場合には図５（ａ）に示すように主表示領域２１Ａに前部カメラ２７の撮影画像が表示される。この主表示領域２１Ａの上部位置には前部カメラ２７の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される。これとは逆に、シフトレバー１９が後進位置にセットされた場合には図６（ａ）に示すように主表示領域２１Ａに後部カメラ２８の撮影画像が表示される。この主表示領域２１Ａの上部位置には後部カメラ２８の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される（＃１０１、＃１０２ステップ）。

【0044】

具体的な処理形態として、シフトレバー１９が前進位置にセットされた場合には主表示領域２１Ａに対しては前部カメラ２７の撮影画像が表示される。これに対して、シフトレバー１９が後進位置にセットされた場合には後部カメラ２８の撮影画像が取得され、この撮影画像の左右を入れ替えた鏡面反転画像が生成され、この画像がモニタ２１に表示される。

【0045】

副表示領域２１Ｂに表示される俯瞰画像は、俯瞰画像生成手段３９Ａが左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像を取得し、上方から見下ろした形態となる投影画像に変換し、これらの投影画像を車両イメージを取り囲む位置の仮想平面にマッピングすることで路面上に配置される単一の俯瞰画像として生成される。

【0046】

このように表示された俯瞰画像は、破線で示す区画ラインＬで区画するように４つの分割領域Ｄ１〜Ｄ４に分割して管理される。尚、同図に示す区画ラインＬは画面に表示されることはないが、この区画ラインＬを画面に表示するように処理形態を設定しても良い。

【0047】

特に、副表示領域２１Ｂに表示される俯瞰画像は４つのカメラの撮影画像から生成されるものであるが、区画ラインＬで区画された４つの分割領域Ｄ１〜Ｄ４それぞれの俯瞰画像は２つのカメラの撮影画像の合成によって生成される。つまり、車両１の前後位置の角部の外方位置に２つのカメラの撮影画像における重複領域Ｗ（図１を参照）が形成され、この重複領域において境界部位を目立たなくする合成が行われる。そして、このように合成された俯瞰画像が拡大対象画像に設定された場合には拡大表示領域のサイズに拡大されることになる。

【0048】

また、シフトレバー１９が後進位置にセットされた場合に、駐車支援制御を併せて実行することも可能であり、このように駐車支援制御が実行される場合には、図６（ａ）に示すように、主表示領域２１Ａと副表示領域２１Ｂとに予想進路イメージＹが重畳表示される。

【0049】

予想進路イメージＹは、現在のステアリング量で車両１を後進させた場合に車両１が移動する経路を表すものであり、モニタ２１に表示される撮影画像に対応する遠近感で、路面と同じ仮想平面上に生成される。この進路予想イメージは車両１の幅と同じ幅となる一対の車幅ラインＹａと、車両１が設定量だけ後進した際に達する位置を示す複数の距離ラインＹｂとで枠状に形成される。

【0050】

前述した障害物検出部３８は、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とにおける撮影領域で重複する重複領域Ｗの画像から視差を生ずる立体物を障害物Ｘとして抽出するソフトウエアとして構成されている。このように立体物を抽出する処理の概要は以下のように説明できる。つまり、２つのカメラの撮影画像における重複領域Ｗの画像を同一の背景となる仮想平面に投影変換し、投影変換後の夫々の画像の同じ背景が一致する位置関係で夫々を重ね合わせる。このように重ね合わせた際に一致しない画像が立体物であり、その立体物を障害物Ｘとして推定し、障害物Ｘの位置を特定することになる。

【0051】

このように２つのカメラの撮影領域の重複領域Ｗは運転者から死角になる領域でもあり、この領域に存在する障害物Ｘだけを検出対象とすることは合理的である。尚、この障害物Ｘの検出領域を拡大するために４つ以上のカメラを車両に備えても良い。更に、この障害物検出部３８を、オプティカルフローの技術により障害物Ｘを検出するソフトウエアで構成しても良い。

【0052】

特に、障害物検出部３８として、超音波型等の障害物センサを車両１の前端や後端等の複数箇所に備えても良い。このように障害物Ｘを検出するために障害物センサによって障害物検出部３８を構成することで、車両１の全周の障害物Ｘの検出も可能となる。

【0053】

障害物検出部３８で障害物Ｘが検出された場合には、具体的には分割領域Ｄ１〜Ｄ４のうち、図５に示すように分割領域Ｄ２に障害物Ｘが存在する場合には、分割領域Ｄ２（検出された障害物Ｘを含む分割領域Ｄ）が指定され、この分割領域Ｄ２の外周の枠状部Ｆ２が強調表示され（図面ではハッチングで示している）、これと同時に、障害物Ｘが存在する分割領域Ｄ２の色調を変更し、スピーカ２２から警報音を出力する（＃１０３、＃１０４ステップ）。なお、Ｄ２の色調は変更しなくても良い。この場合において、中間画像のみ色調を変更しても良い。

【0054】

この処理は、分割領域管理手段３９Ｂで管理される分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄ２について、特定情報出力手段３９Ｃが枠状部Ｆ２の輝度を高めることや、彩度を高めること、あるいは、異なる色相に変更することで強調表示を実現している。このような強調表示と併せて枠状部Ｆ２の表示を明滅させるように変更しても良い。また、障害物Ｘが存在する分割領域Ｄ２の色調を異なるものに変更する処理として、例えば、分割領域Ｄ２の画像の各ピクセルの３原色のうちＢ（青）の成分について輝度を高めることや輝度を減ずる程度の処理が考えられる。更に、スピーカ２２から出力される警報音として電子音だけではなく、人の言葉によるメッセージであっても良い。

【0055】

次に、副表示領域２１Ｂに運転者の指等を接触させる接触操作が検知された場合には、この接触操作をトリガーとして既に指定されている分割領域Ｄ２の画像（俯瞰画像又はカメラの撮影画像）を拡大対象画像とし、その拡大対象画像を拡大表示領域に拡大する拡大処理が行われる（＃１０５、＃１０６ステップ）。

【0056】

この処理は、拡大モード設定手段３９Ｄで設定された拡大モードに従って拡大表示手段３９Ｅが拡大処理を実行する。この拡大モードでは、拡大対象画像と拡大表示領域とが設定される。拡大対象画像として障害物Ｘが存在する分割領域Ｄ２に表示されている俯瞰画像と、この障害物Ｘを撮影しているカメラの一方の撮影画像（カメラ視点となる画像）との何れか一方が設定される。また、拡大表示領域として、副表示領域２１Ｂを設定する通常拡大モードと、主表示領域２１Ａを設定する別画面拡大モードと、モニタ２１の全画面を設定する全画面拡大モードとの何れか１つが設定される。

【0057】

この拡大モードを設定する手続としては、モード設定画面をモニタ２１に表示して人為操作により予め設定される。

【0058】

〔制御形態：通常拡大モード〕
拡大表示手段３９Ｅが、通常拡大モードで拡大処理を行う際には、拡大対象画像（図面では分割領域Ｄの俯瞰画像）を設定し、拡大表示領域として図５及び図６に示す副表示領域２１Ｂを設定すると共に、分割領域Ｄ２・Ｄ３（図５ではＤ２、図６ではＤ３の意味）と拡大表示領域（副表示領域２１Ｂ）との間に拡大表示軌跡（図示せず）を設定する。

【0059】

次に、図５（ｂ）、図６（ｂ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ２・Ｄ３サイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ２・Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の全てを覆う位置で副表示領域２１Ｂの俯瞰画像に重畳表示する。この直後に、図５（ｃ）、図６（ｃ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。この場合、先に表示している中間画像Ｍを消去して次の中間画像Ｍを表示する処理が行われ、この通常拡大モードでは、先に表示した中間画像Ｍの全てを覆う位置関係で副表示領域２１Ｂの俯瞰画像に次の中間画像Ｍが重畳表示される。

【0060】

このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図５（ｄ）、図６（ｄ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状で路面に重複しないサイズ（車両イメージには重複するサイズ）に設定され、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。

【0061】

〔制御形態：別画面拡大モード〕
拡大表示手段３９Ｅが、別画面拡大モードで拡大処理を行う際には、拡大対象画像（図７では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域として主表示領域２１Ａを設定すると共に、分割領域Ｄ３と拡大表示領域（主表示領域２１Ａ）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。

【0062】

次に、図７（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図７（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。

【0063】

このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図７（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。

【0064】

この別画面拡大モードでは、拡大表示領域（主表示領域２１Ａ）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像が副表示領域２１Ｂの領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。

【0065】

〔制御形態：全面拡大モード〕
拡大表示手段３９Ｅが、全画面拡大モードで拡大処理を行う際には、拡大対象画像（図８では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域としてモニタ２１の表示領域を設定すると共に、分割領域Ｄ３と拡大表示領域（モニタ２１の表示領域）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。

【0066】

次に、図８（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図８（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。

【0067】

このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図８（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。

【0068】

この全画面拡大モードでも、拡大表示領域（モニタ２１の表示領域）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像がモニタ２１の表示領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。

【0069】

このように何れの拡大モードで拡大処理を行っても、分割領域Ｄの位置を起点として中間画像Ｍの表示位置が拡大表示軌跡に沿って移動する形態（図５及び図６の通常拡大モードでは中間画像Ｍの隅の位置は移動しない）で拡大されることから、拡大される元の画像の位置（分割領域Ｄの位置）を明らかにしながら、ズームアップする形態での拡大が実現する。そして、拡大画像の隅に表示される領域アイコン２１Ｄの形態や、領域アイコン２１Ｄの表示位置からも拡大画像が何れの領域の画像であるかを認識できることになる。

【0070】

尚、いずれの拡大モードで拡大処理を行う場合でも、動画レイヤに対して中間画像Ｍを形成する処理を行うことで重畳表示が実現し、この重畳表示した状態では俯瞰画像であっても撮影画像であってもリアルタイムで車両１と障害物Ｘとの位置関係の変化を表示できる。また次に説明するように拡大画像を消去して、元に表示に戻す場合にも動画レイヤの画像を消去することで済む。

【0071】

次に、モニタ２１の何れかの領域に運転者の指等を接触させる接触操作が検知された場合、又は、障害物検出部３８で障害物Ｘが検出しない状態に達した場合には、拡大画像を消去し、＃１０１ステップの処理に移行することで、モニタ２１の主表示領域２１Ａには撮影画像が表示され、副表示領域２１Ｂには俯瞰画像が表示される制御に復帰する（＃１０７〜＃１０９ステップ）。

【0072】

そして、この車両周辺監視表示処理は制御を中止する選択が行われるまで継続して行われることになる（＃１１０ステップ）。

【0073】

このように本発明では、車両１を駐車位置に導入する場合や、フェンスや駐車状態の車両等の障害物Ｘが存在する路面で車両１を移動させる場合には、モニタ２１の主表示領域２１Ａにカメラの撮影画像を表示し、モニタ２１の副表示領域２１Ｂに対して俯瞰画像を表示する。これにより障害物Ｘが運転者から死角の位置にあっても車両１と、車両の近傍の障害物Ｘとの位置関係の確認できるものにしている。

【0074】

また、障害物Ｘに接近した場合には、俯瞰画像の分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄの外周の枠状部Ｆ１〜Ｆ４のうち対応する枠状部Ｆの明度を高くする強調表示が行われ、この表示と同時に障害物Ｘが存在する分割領域Ｄの色調を変更する表示が行われ、スピーカ２２から警報音が出力されることで障害物Ｘが存在する領域を把握できる。

【0075】

このように障害物Ｘの存在位置を把握できる状態で副表示領域２１Ｂに指等を接触させることで、分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄが拡大表示領域まで拡大され、障害物Ｘと車両１との位置関係を拡大画像で確認できる。

【0076】

特に、複数の分割領域Ｄ１〜Ｄ４の何れかの画像が拡大表示領域に拡大される際には、障害物Ｘが存在する分割領域Ｄを起点としてサイズが異なる複数の中間画像Ｍを小さいサイズものから大きいサイズのものに遷移させるように拡大表示軌跡に沿って順次移動する形態で表示が行われる。このように拡大されることで、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を明らかにしながらズームアップする形態での拡大を実現している。

【0077】

そして、障害物Ｘが存在する領域の俯瞰画像、又は、障害物Ｘを撮影したカメラの撮影画像が拡大表示される結果、障害物Ｘと車両１との位置関係を拡大された画像から把握できることになり障害物Ｘと接触を避ける形態での車両１の移動を実現する。

【0078】

〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

【0079】

（ａ）拡大表示手段３９Ｅが中間画像Ｍを形成する際に、この中間画像Ｍと既に表示されている画像との境界を明瞭にするために高輝度の境界ラインを表示する。このように境界ラインを表示する際には、背景となる画像の色相を取得し、この色相に対して、補色等の異なる色相を設定するように処理形態を設定しても良い。このように中間画像Ｍに境界ラインを表示することで中間画像Ｍの輪郭を形成することになり、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を一層明らかにしながらズームアップする形態での拡大を実現する。

【0080】

（ｂ）俯瞰画像を複数の分割領域Ｄに分割して管理する際には２分割や６分割のように４分割以外の数に分割して管理しても良い。特に、この分割数をユーザが任意に設定できるように構成しても良い。また、多くの数に分割した場合には車両１の周辺の局部的な領域に対する障害物Ｘの接近を認識できると共に、その部位を拡大して表示することが可能となる。

【0081】

（ｃ）障害物Ｘが検出されている状況においては、タッチパネル２１Ｔにより副表示領域２１Ｂの表示領域の何れの部位を接触しても障害物Ｘが検出されている分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行い、障害物Ｘが検出されていない状況においては、タッチパネル２１Ｔにより選択された分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行うように制御形態を設定しても良い。また、分割領域Ｄの数に対応した専用の拡大ボタンをモニタ２１に表示しても良く、拡大表示を終了させるための専用のボタンをモニタ２１に表示しても良い。

【0082】

（ｄ）拡大モード設定手段３９Ｄによる拡大処理で拡大対象画像を設定する際に、前述の（ｃ）で説明したように前部の分割領域Ｄが人為操作で指定された場合、又は、前部位置で障害物Ｘが検出された場合には、俯瞰画像を拡大対象画像に設定する。これとは逆に、前述の（ｃ）で説明したように後部の分割領域Ｄが人為操作で指定された場合、又は、後部位置で障害物Ｘが検出された場合には、カメラの撮影画像を拡大対象画像に設定する。

【0083】

つまり、車両１の前端側の領域は、運転者が体を乗り出す姿勢をとることで視認が可能になることもあり、このように視認が可能である領域については、俯瞰画像を拡大対象画像に設定することで運転者の目から見える領域と異なる方向から見た画像を表示することが有効となる。また、車両１の後端側の領域は、運転者から見えないことが多く、カメラの撮影画像を直接的に見た感覚に近い画像となる撮影画像を拡大対象画像に設定することが有効となる。

【0084】

（ｅ）前述した別実施の形態（ｄ）において、カメラの撮影画像を拡大対象画像とする場合、ステアリングホイール１６の操作方向が車両１の進行方向が撮影領域（障害物Ｘ）に接近する方向であることを判定した場合にはサイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像を表示対象画像に設定する。車両１の進行方向が撮影領域（障害物Ｘ）から離間する方向であることを判定した場合には車両１の端部のカメラ（前部カメラ２７又は後部カメラ２８）の撮影画像を表示対象に設定する。

【0085】

このようにステアリング方向に基づいて撮影画像を取得するカメラの選択を行うことにより、車両１を障害物Ｘ等に接近させる方向に僅かに移動させた場合でも、サイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像から障害物Ｘ等と車両１との相対的な位置関係の変化を容易に把握できる。また、車両１が障害物Ｘ等から離間する方向に移動する場合には、車両１の端部のカメラの撮影画像から車両１の進行方向の広い領域をモニタ２１に表示して進行方向の確認を可能にする。

【0086】

（ｆ）尚、「俯瞰画像表示領域（副表示領域）に接触があった」ことを検出するとは、タッチパネル２１Ｔ（俯瞰画像領域）に触れていない状態から、触れたことへの接触状態の変化を検出するものでも良く、タッチパネル２１Ｔ（俯瞰画像領域）に指等が触れている状態から、指等が離れた状態への状態変化を検出するものであっても良い。

【産業上の利用可能性】

【0087】

本発明は、車両に備えた複数のカメラの撮影画像から俯瞰画像を生成してモニタに表示する画像処理系を有している車両全般に利用することができる。

【符号の説明】

【0088】

１ 車両
２１ モニタ
２１Ｂ 俯瞰画像表示領域（副表示領域）
２１Ｔ タッチパネル
２５ カメラ（左サイドカメラ）
２６ カメラ（右サイドカメラ）
２７ カメラ（前部カメラ）
２８ カメラ（後部カメラ）
３９ 画像処理部
３９Ａ 俯瞰画像生成手段
３９Ｅ 拡大表示手段
Ｄ 分割領域
Ｍ 中間画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】