知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】周辺監視装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20240228BHJP
B60R 1/20 20220101ALI20240228BHJP
B60R 1/27 20220101ALI20240228BHJP
【ＦＩ】
H04N7/18 J
B60R1/20 100
B60R1/27
【請求項の数】
1
(21)【出願番号】P 2019166660
(22)【出願日】2019-09-12
(65)【公開番号】P2021044751
(43)【公開日】2021-03-18
【審査請求日】2022-07-19
【前置審査】
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山本 欣司
(72)【発明者】
【氏名】渡邊 一矢
(72)【発明者】
【氏名】平田 誠
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１８－１８４０９１（ＪＰ，Ａ）
【文献】特開２０１８－２０３０３１（ＪＰ，Ａ）
【文献】特開２０１７－１１４２１８（ＪＰ，Ａ）
【文献】国際公開第２００７／０１５４４６（ＷＯ，Ａ１）
【文献】特表２０１８－５２３１９４（ＪＰ，Ａ）
【文献】国際公開第２０１８／０６１２９４（ＷＯ，Ａ１）
【文献】特開２０１８－１１０３２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ １／２０
Ｂ６０Ｒ ９９／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両の現在の舵角を取得する取得部と、前記車両の周辺を撮像する撮像部から撮像画像を取得する画像取得部と、
前記車両の周辺の物体の検知情報を取得する検知部と、
前記車両を示す車両画像と、前記撮像画像に基づいた前記車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、
を備え、
前記制御部は、前記合成画像のほぼ中央に非拡大の状態で前記車両画像を表示し、前記現在の舵角で前記車両が所定距離進んだ場合の進路上に前記物体を検知した場合、前記合成画像内において、前記車両画像で示された前記車両の位置を基準とした前記物体までの進路上に前記車両の形状を示す仮想的な仮想車両画像を重畳表示させるとともに、前記合成画像を、前記物体が検知される前の表示状態より拡大表示し、前記現在の舵角に基づく旋回時の車両左右方向のうち旋回方向とは逆方向および前記車両の進行時の車両前後方向のうち進行方向とは逆方向に、前記車両画像の表示位置をずらして表示するずらし表示を実行する、周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【0002】
撮像部によって車両の周辺を撮像して得られる撮像画像に基づいて、車両の周辺に存在する物体（障害物等）を検出するとともに、車輪の予想進路を算出して、物体が予想進路上に存在する場合に、報知する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００８－９０６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両に対して接触する可能性のある物体（注意が必要な物体）が発見された場合は、単に報知を行うだけでなく、車両がこのまま進行した場合の物体と車両との位置関係をより直感的に利用者（運転者等）が認識できる状態で提供できれば、接触の回避等をよりスムーズかつ安全に実行させやすくなる。
【0005】
そこで、実施形態の課題の一つは、注意が必要な物体が検出された場合に、その物体と車両（自車）との位置関係を直感的に利用者に把握させやすい周辺監視装置を提供することである。
【課題を解決するための手段】
【0006】
実施形態の周辺監視装置は、例えば、車両の現在の舵角を取得する取得部と、車両の周辺を撮像する撮像部から撮像画像を取得する画像取得部と、車両の周辺の物体の検知情報を取得する検知部と、車両を示す車両画像と、撮像画像に基づいた車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備え、制御部は、現在の舵角で車両が所定距離進んだ場合の進路上に物体を検知した場合、合成画像内において、車両画像で示された車両の位置を基準とした物体までの進路上に車両の形状を示す仮想的な仮想車両画像を車両の輪郭から内側に向かうに従って透過率を高くした画像として重畳表示させる。この構成によれば、例えば、仮想車両画像が合成画像に表示されているか否かによって、現在の舵角で車両が進んだ場合に、その進路上に、注意を必要とする物体が存在するか否かを、利用者に直感的に認識させ易い表示ができる。また、仮想車両画像に基づき、車両の未来の位置を運転者に認識させ易い表示ができる。また、仮想車両画像が重なる部分の視認が可能になり周囲状況の視認性が低下することを抑制しやすくなる。
【0007】
また、実施形態の周辺監視装置において、仮想車両画像は、例えば、車両の位置から物体の位置に向かって移動可能であってもよい。この構成によれば、例えば、仮想車両画像の存在を運転者に認識させやすい表示、つまり、進路上に注意を必要とする物体が存在することを認識させやすい表示を行うことができる。また、仮想車両画像が物体に向かい移動することによって、物体の位置をより認識させ易い表示ができる。
【0008】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像内において物体と接触する部分画像の表示態様を変化させ、かつ合成画像内において、車両が前記物体に接触する位置、または接触する手前の位置まで進んだ位置において仮想車両画像の移動を停止させてもよい。この構成によれば、例えば、仮想車両画像に基づき、車両の車体のうち物体と接触する位置または接触する手前の位置を運転者に認識させ易く、車両を運転し易くさせるような表示ができる。また、物体と接触する位置またはその手前の位置で仮想車両画像を停止させるので、物体の位置をより認識させ易い表示が可能となり、検知された物体と車両との接触を回避させ易い表示ができる。
【0009】
また、実施形態の周辺監視装置の仮想車両画像は、例えば、ポリゴンで構成される車両の形状を示す画像であり、部分画像は、仮想車両画像を構成するポリゴンのうち、物体と接触する部分のポリゴンであってもよい。この構成によれば、例えば、仮想車両画像に基づき、車両の車体のうち物体が接触する可能性のある位置を運転者に認識させ易く、車両を運転し易くさせるような表示ができる。また、検知された物体と車両との接触を回避させ易い表示ができる。
【0010】
また、実施形態の周辺監視装置の制御部は、例えば、物体の位置と仮想車両画像で示された車両の位置の間の距離に応じて部分画像の表示態様を変更してもよい。この構成によれば、例えば、部分画像の表示態様の変化を確認することで、車両と物体との位置関係をより詳細に把握させることが可能となり、検知された物体に車両が接触しないような運転を、より容易に運転者に実行させることができる。
【0011】
また、実施形態の周辺監視装置の制御部は、例えば、距離が所定値以下になった場合、部分画像の表示態様を接触を示唆する第１表示態様に変更し、距離が所定値以下の状態から所定値を超えるように変化した場合、表示態様を第１表示態様から接触回避を示唆する第２表示態様に変更するようにしてもよい。この構成によれば、例えば、物体に接触する可能性があるか非接触となるかの判断を車両の運転者に行わせ易い表示ができる。
【0012】
また、実施形態の周辺監視装置において、車両画像は、例えば、車両の俯瞰画像であってもよい。この構成によれば、例えば、車両とその周辺の物体との位置関係を運転者に正確に把握させ易い表示ができる。
【0013】
また、実施形態の周辺監視装置において、仮想車両画像は、例えば、車両の三次元の形状を示す画像であってもよい。この構成によれば、例えば、よりリアリティのある仮想車両画像を表示部に表示することができる。
【0014】
また、実施形態の周辺監視装置において、仮想車両画像は、例えば、車両の形状を示す半透明の画像であってもよい。この構成によれば、例えば、仮想車両画像と車両画像との区別を運転者にさせ易い表示ができる。また、仮想車両画像が、車両の未来の位置を示す画像であることを運転者に直感的に認識させ易い表示ができる。
【0015】
また、実施形態の周辺監視装置において、仮想車両画像は、例えば、車両の輪郭を強調表示した画像であってもよい。この構成によれば、例えば、仮想車両画像に基づき、車両の未来の位置を運転者に認識させ易い表示ができる。また、仮想車両画像が重なる部分の視認が可能になり周囲状況の視認性が低下することを抑制しやすくなる。
【0017】
また、実施形態の周辺監視装置の制御部は、例えば、検知部によって物体が検知された場合、合成画像を、物体が検知される前の表示状態より拡大表示するようにしてもよい。この構成によれば、例えば、拡大表示により物体が検知されて周囲の状況に注意を払う必要が生じたことを直感的に運転者に認識させ易い表示ができる。また、拡大表示により周囲状況の細部を運転者に確認させ易く、安心感を与え易い表示ができる。
【0018】
また、実施形態の周辺監視装置の制御部は、例えば、拡大表示を実行するときに、車両が後退可能な状態の場合、後退可能な状態以外の場合より拡大表示の程度を小さくするようにしてもよい。この構成によれば、例えば、車両が後退可能な場合、拡大表示により物体の検出を直感的に認識させ易い表示ができるとともに、後退以外の場合より車両の周囲の表示範囲を広げて、広範囲の確認を行わせ易い表示ができる。
【0019】
また、実施形態の周辺監視装置の制御部は、例えば、合成画像が拡大表示される場合、現在の舵角に基づく旋回方向とは逆方向に車両画像の表示位置をずらして表示するずらし表示を実行するようにしてもよい。この構成によれば、例えば、旋回方向の表示領域が増加するので、これから向かおうとする方向の状況把握を運転者に行わせ易い表示ができる。
【0020】
また、実施形態の周辺監視装置の制御部は、例えば、車両が後退可能な状態の場合、ずらし表示を非実行とするようにしてもよい。この構成によれば、例えば、車両が後退可能な状態の場合、車両の周囲全域に関する状況の認識を運転者に行わせ易い表示ができる。
【0021】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像を非表示とする場合、合成画像を物体が検知される前の表示状態に復帰させるようにしてもよい。この構成によれば、例えば、仮想車両画像の表示終了を運転者に認識させ易い表示ができる。また、物体との接触の可能性が低減、または解消されたことを運転者に直感的に認識させ易い表示ができる。
【0022】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像の表示を一時的に非表示とし、所定の条件が満たされた場合に、非表示を解除するようにしてもよい。この構成によれば、例えば、仮想車両画像の表示が不要の場合、非表示とすることができるとともに、非表示の状態が継続されてしまうことが抑制できる。
【0023】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像の表示を一時的に非表示とした場合、非表示期間中に限り再表示を実行可能とするようにしてもよい。この構成によれば、例えば、仮想車両画像を非表示としている場合でも、必要に応じて再表示が可能で、使い勝手の向上ができる。
【0024】
また、実施形態の周辺監視装置の制御部は、例えば、車両が物体に接触する位置、または接触する手前の位置において仮想車両画像の移動を停止させた後、舵角が現在の舵角から変更され、車両が物体に非接触となる場合、変更された舵角にしたがう方向に仮想車両画像の移動を再開可能としてもよい。この構成によれば、例えば、舵角を変更することで物体との接触が解消できること、また解消されたことを、より明確に運転者に認識させることができる。また、さらに先の領域について、他の物体との接触可能性に注視しながら継続して走行させ易い表示ができる。なお、物体と接触しないことが確認できた場合、所定期間後に仮想車両画像を非表示としてもよい。
【0025】
また、実施形態の周辺監視装置は、例えば、仮想車両画像が表示部に表示されるか否かを切り替え可能な操作スイッチをさらに備え、制御部は、現在の舵角で車両が所定距離進んだ場合の進路上に物体を検知しない場合であって、かつ操作スイッチの操作により仮想車両画像が表示部に表示可能な場合に、車両画像の表示態様を変化させてもよい。この構成によれば、例えば、進路上に物体が検知される前の状態でも、車両画像の表示態様が変化し、仮想車両画像の表示スタンバイ状態であることを表示することができる。したがって、進路上に物体が検知された場合には、仮想車両画像により直ちに通知される状態であることを運転者に認識させやすく、安心感を与え易い表示ができる。
【0026】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像を表示する場合、仮想車両画像の車長方向の長さと、車幅方向の長さの少なくとも一方を車両画像の対応する長さより拡大するようにしてもよい。この構成によれば、例えば、表示される仮想車両画像の大きさが車両画像より大きく表示される。つまり、物体（例えば障害物）を考慮して車両を移動させる場合に安全かつ適切な余裕距離（安全マージン）を含んだ状態で仮想車両画像の表示ができる。その結果、物体に接触したり、接近し過ぎたりすることを回避させ易い表示ができる。また、逆に必要以上の余裕距離を取ってしまうことを抑制させ易い表示が実現できる。
【0027】
また、実施形態の周辺監視装置の制御部は、例えば、仮想車両画像の車幅方向の長さのみを拡大するようにしてもよい。例えば、車両を前進および旋回させる場合、車両長さ方向の安全マージンは認識しやすい、一方、車幅方向の安全マージンは、車両長さ方向より認識し難い傾向がある。この構成によれば、例えば、車両を直進させる場合、および旋回させる場合、車幅方向について、必要最小限で安全かつ適切な余裕距離を確保させることが可能になり、より適切な移動経路を運転者に提示しやすい表示ができる。
また、実施形態の周辺監視装置は、例えば、車両の現在の舵角を取得する取得部と、車両の周辺を撮像する撮像部から撮像画像を取得する画像取得部と、車両の周辺の物体の検知情報を取得する検知部と、車両を示す車両画像と、撮像画像に基づいた車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備え、制御部は、合成画像のほぼ中央に非拡大の状態で車両画像を表示し、現在の舵角で車両が所定距離進んだ場合の進路上に物体を検知した場合、合成画像内において、車両画像で示された車両の位置を基準とした物体までの進路上に車両の形状を示す仮想的な仮想車両画像を重畳表示させるとともに、合成画像を、物体が検知される前の表示状態より拡大表示し、現在の舵角に基づく旋回時の車両左右方向のうち旋回方向とは逆方向および車両の進行時の車両前後方向のうち進行方向とは逆方向に、車両画像の表示位置をずらして表示するずらし表示を実行する。この構成によれば、例えば、仮想車両画像が合成画像に表示されているか否かによって、現在の舵角で車両が進んだ場合に、その進路上に、注意を必要とする物体が存在するか否かを、利用者に直感的に認識させ易い表示ができる。さらに、例えば、拡大表示により物体が検知されて周囲の状況に注意を払う必要が生じたことを直感的に運転者に認識させ易い表示ができる。また、拡大表示により周囲状況の細部を運転者に確認させ易く、安心感を与え易い表示ができる。また、旋回方向の表示領域が増加するので、これから向かおうとする方向の状況把握を運転者に行わせ易い表示ができる。
また、実施形態の周辺監視装置は、例えば、車両の現在の舵角を取得する取得部と、車両の周辺を撮像する撮像部から撮像画像を取得する画像取得部と、車両の周辺の物体の検知情報を取得する検知部と、車両を示す車両画像と、撮像画像に基づいた車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備え、制御部は、合成画像のほぼ中央に非拡大の状態で車両画像を表示し、現在の舵角で車両が所定距離進んだ場合の進路上に物体を検知した場合、合成画像内において、車両画像で示された車両の位置を基準とした物体までの進路上に車両の形状を示す仮想的な仮想車両画像を重畳表示させるとともに、合成画像を、物体が検知される前の表示状態より拡大表示し、現在の舵角に基づく旋回時の車両左右方向のうち旋回方向とは逆方向および車両の進行時の車両前後方向のうち進行方向とは逆方向に、車両画像の表示位置をずらして表示するずらし表示を実行する。この構成によれば、例えば、仮想車両画像が合成画像に表示されているか否かによって、現在の舵角で車両が進んだ場合に、その進路上に、注意を必要とする物体が存在するか否かを、利用者に直感的に認識させ易い表示ができる。さらに、例えば、拡大表示により物体が検知されて周囲の状況に注意を払う必要が生じたことを直感的に運転者に認識させ易い表示ができる。また、拡大表示により周囲状況の細部を運転者に確認させ易く、安心感を与え易い表示ができる。また、旋回方向の表示領域が増加するので、これから向かおうとする方向の状況把握を運転者に行わせ易い表示ができる。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
【0030】
（全体システムの説明）
図１は、実施形態にかかる周辺監視装置を搭載する車両１の車室２ａの一部が透視された状態の例示的かつ模式的な斜視図である。本実施形態にかかる周辺監視装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
図１は、実施形態にかかる周辺監視装置を搭載する車両１の車室２ａの一部が透視された状態の例示的かつ模式的な斜視図である。本実施形態にかかる周辺監視装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
【0031】
図１に例示されるように、車両１の車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。
【0032】
また、車室２ａ内には、表示装置（表示部）８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員(利用者)は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【0033】
図２は、本実施形態にかかる周辺監視装置を搭載する車両１の例示的かつ模式的な平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。
【0034】
車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
【0035】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられて、車両１の後方領域の状況を撮像する。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられて、車両１の右前方、右側方、右後方を含む領域の状況を撮像する。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられて、車両１の前方領域の状況を撮像する。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられて、車両１の左前方、左側方、左後方を含む領域の状況を撮像する。周辺監視装置を構成するＥＣＵ１４(図３参照)は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。
【0036】
また、車両１は、車両１の外部に存在する物体との距離を計測可能な測距部として、複数のレーダー１６を有する。レーダー１６は、例えば、ミリ波レーダー等であり、車両１の進行方向に存在する物体との距離を計測可能である。本実施形態では、車両１は、複数のレーダー１６ａ～１６ｄを有する。レーダー１６ａは、例えば、車両１のリアバンパの左側の端部に設けられ、車両１の左後方に存在する物体との距離を計測可能である。また、レーダー１６ｂは、車両１のリアバンパの右側の端部に設けられ、車両１の右後方に存在する物体との距離を計測可能である。レーダー１６ｃは、車両１のフロントバンパの右側の端部に設けられ、車両１の右前方に存在する物体との距離を計測可能である。また、レーダー１６ｄは、車両１のフロントバンパの左側の端部に設けられ、車両１の左前方に存在する物体との距離を計測可能である。
【0037】
また、車両１は、車両１から比較的近距離に存在する外部の物体との距離を超音波を用いて計測可能なソナー１７を有する。本実施形態では、車両１は、複数のソナー１７ａ～１７ｈを有する。ソナー１７ａ～１７ｄは、車両１のリアバンパに設けられ、車両の後方に存在する物体との距離を計測可能である。ソナー１７ｅ～１７ｈは、車両１のフロントバンパに設けられ、車両１の前方に存在する物体との距離を計測可能である。
【0038】
図３は、本実施形態にかかる周辺監視装置を含む車両１の制御システム１００の機能構成を示す例示的かつ模式的なブロック図である。図３に例示されるように、制御システム１００は、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、レーダー１６、ソナー１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ（Global Positioning System）受信機２５、方向指示器２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、レーダー１６、ソナー１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ受信機２５等の検出結果や、操作入力部１０や方向指示器２６の操作レバーの操作信号等を、受け取ることができる。
【0039】
操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
【0040】
ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
【0041】
舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
【0042】
シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。ＧＰＳ受信機２５は、人工衛星から受信した電波に基づいて、車両１の現在位置を取得する。方向指示器２６は、例えば、左右のドアミラー２ｇに設けられる。運転者が操作する可動部（操作レバー等）の操作信号は、ＥＣＵ１４に送信されるとともに、方向指示器２６に送信され、点滅または点灯することで、車両１がこれから旋回しようとする方向を周囲に通知する。
【0043】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【0044】
ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていてもよい。
【0045】
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理の演算および制御を実行することができる。また、ＣＰＵ１４ａは、撮像部１５で得られた広角画像の撮像画像データ（湾曲した画像のデータ）に演算処理や画像処理を施して歪みを補正する歪み補正処理を実行したり、撮像部１５が撮像した撮像画像データに基づき、車両１を示す車両画像（自車アイコン）を例えば中心位置に表示する俯瞰画像（周辺画像）を生成して、表示装置８に表示させたりすることができる。また、ＣＰＵ１４ａは、俯瞰画像を生成する際に、仮想視点の位置を変更し、真上から車両画像を臨むような俯瞰画像や斜め方向から車両画像を臨むような俯瞰画像を生成することができる。
【0046】
ＣＰＵ１４ａは、現在の舵角で車両１が所定距離進んだ場合の進路上に、撮像画像データの解析や、レーダー１６やソナー１７による測距データの解析等により物体を検知した場合、俯瞰画像内に車両画像で示された車両１の位置を基準として移動可能な、車両１の形状を示す仮想的な仮想車両画像を重畳表示させる処理を実行することができる。また、別の実施形態では、ＣＰＵ１４ａは、現在の舵角で車両１が所定距離進んだ場合の進路上に物体を検知した場合、進路上における物体の位置、および俯瞰画像内（後述する合成画像内）において車両画像で示された車両１の位置の間に仮想車両画像を重畳表示させてもよい。つまり、物体を検知した場合、進路上の所定の位置（例えば、車両１の前方２ｍに相当する位置）に仮想車両画像が出現するような表示を行ってもよい。なお、車両１が所定距離進んだ場合の進路とは、実際の車両１の移動軌跡と完全一致する必要はなく、例えば、所定量のマージン（誤差や余裕）を持たせた進路としてもよい。
【0047】
ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
【0048】
図４は、実施形態にかかる周辺監視装置をＣＰＵ１４ａで実現する場合の構成を例示的かつ模式的に示すブロック図である。図４に示すように、ＣＰＵ１４ａは、画像取得部４００、取得部４０１、検知部４０２、および制御部４０３と、を備える。ＣＰＵ１４ａは、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視プログラムを実行することにより、画像取得部４００、取得部４０１、検知部４０２、および制御部４０３の機能を実現する。なお、画像取得部４００、取得部４０１、検知部４０２、および制御部４０３の一部または全部を回路等のハードウェアによって構成してもよい。また、図４では、図示を省略しているが、ＣＰＵ１４ａは、車両１の走行に必要な各種モジュールを実現してもよい。
【0049】
画像取得部４００は、撮像部１５により車両１の周辺を撮像して得られる撮像画像を取得する。取得部４０１は、車両１の現在の舵角を取得する。取得部４０１は、舵角センサ１９により検出される操舵量を、車両１の現在の舵角として取得する。
【0050】
検知部４０２は、車両１に接触する可能性のある物体の検知情報を取得可能である。具体的には、検知部４０２は、撮像部１５によって車両１の進行方向を撮像して得られる撮像画像や、レーダー１６により計測される距離（車両１と、当該車両１の進行方向に存在する物体との間の距離）等に基づいて、現在の舵角で車両１が所定距離進んだ場合の進路上に、車両１に接触する可能性のある物体を検知する。検知部４０２は、車両１に接触する可能性がある物体として、静止物や車両１に接近してきて接触する可能性がある動体の両方の検知情報を取得（検知）することができる。
【0051】
例えば、検知部４０２は、撮像部１５の撮像により得られる撮像画像に対する画像処理（例えば、オプティカルフロー）によって、車両１に接触する可能性がある物体を検知する。または、検知部４０２は、レーダー１６により計測される距離の変化に基づいて、車両１に接触する可能性がある物体を検知する。
【0052】
検知部４０２は、撮像部１５の撮像により得られる撮像画像またはレーダー１６による距離の計測結果に基づいて、車両１に接触する可能性がある物体を検知しているが、車両１から比較的近距離に存在する物体を検知してもよい。この場合、ソナー１７による距離の計測結果に基づいて、車両１に接触する可能性がある物体を検知することができる。
【0053】
検知部４０２は、車両１が有する図示しない検知スタートスイッチの操作に応じて、動作状態（ＯＮ）または非動作状態（ＯＦＦ）へと遷移する。ここで、動作状態は、車両１に接触する物体を検知する状態である。一方、非動作状態は、車両１に接触する物体を検知しない状態である。
【0054】
検知部４０２は、検知スタートスイッチの操作に応じて、動作状態または非動作状態に遷移しているが、これに限定するものではない。例えば、検知部４０２は、車輪速センサ２２による車輪３の回転数の検出結果等に基づく車両１の速度が予め設定された速度（例えば、１２ｋｍ／ｈ）以下となった場合に、自動的に（検知スタートスイッチの操作によらずに）、動作状態に遷移してもよい。また、検知部４０２は、車両１の速度が予め設定された速度より速くなった場合に、自動的に（検知スタートスイッチの操作によらずに）、非動作状態に遷移してもよい。
【0055】
制御部４０３は、撮像部１５によって車両１の進行方向を撮像して得られる撮像画像と、車両画像および周辺画像を含む合成画像と、を含む表示画面を、表示制御部１４ｄを介して、表示装置８に表示させる。本実施形態において、制御部４０３は、合成画像と、撮像画像とを含む表示画面を表示装置８に表示させているが、少なくとも、合成画像を含む表示画面を表示装置８に表示させるものであればよい。
【0056】
ここで、車両画像は、車両１を示す画像である。車両画像は、車両１を上空から見下ろした俯瞰画像である。これにより、車両１とその周辺の物体との位置関係を正確に把握することができる。車両画像は、ビットマップ形式の画像であってもよいし、複数のポリゴンで構成される車両１の形状を示す画像であってもよい。ここで、複数のポリゴンで構成される車両画像とは、複数のポリゴン（例えば、三角形のポリゴン）により表現された立体的な車両１の形状である。
【0057】
また、周辺画像は、撮像部１５によって車両１の周囲を撮像して得られる撮像画像に基づいて生成される、車両１の周辺（周囲）を表した画像である。周辺画像は、車両１の周辺（周囲）を上空から見下ろした俯瞰画像である。また、周辺画像は、車両画像の例えば後輪軸の中央を中心とする、車両１の周辺の俯瞰画像である。
【0058】
また、制御部４０３は、検知部４０２によって、車両１が現在の舵角で所定距離進んだ場合の進路上に物体が検知された場合、合成画像内において車両画像で示された位置を基準として移動可能な、車両１の形状を示す仮想的な仮想車両画像を重畳表示させることができる。例えば、画像取得部４００は、車両画像の位置から現在の舵角に基づく進路に沿って仮想車両画像を所定距離まで移動させるような表示を行うことができる。一方、制御部４０３は、検知部４０２によって、車両１が現在の舵角で所定距離進んだ場合の進路上に物体が検知されない場合、仮想車両画像を表示させないようにすることができる。これにより、車両１の運転者は、表示装置８に表示される表示画面に仮想車両画像が含まれるか否かに基づいて、車両１が現在の舵角で進んだ場合の進路上に接触する可能性のある物体が存在すか否かを容易に認識することができる。なお、前述したように、制御部４０３は、検知部４０２によって、車両１が現在の舵角で所定距離進んだ場合の進路上に物体が検知された場合、進路上の所定の位置に仮想車両画像を出現させるようにしてもよい。
【0059】
ここで、所定距離は、予め設定された距離であり、例えば、１．０～２．０ｍとすることができるが、適宜設定変更可能である。また、現在の舵角は、車両１の現在位置における舵角である。制御部４０３は、取得部４０１により取得される舵角を、車両１の現在位置における舵角として取得する。
【0060】
また、仮想車両画像は、複数のポリゴンで構成される車両１の形状を示す仮想的な画像とすることができる。複数のポリゴンで構成される仮想車両画像とは、複数のポリゴン（例えば、三角形のポリゴン）により表示された立体的な車両１の形状（車両１の三次元の形状）である。これにより、よりリアリティのある仮想車両画像を表示装置８に表示させることができる。
【0061】
制御部４０３は、複数のポリゴンで構成される車両１の形状を示す画像を、仮想車両画像として合成画像に含めているが、例えば、ビットマップ形式の車両１の形状を示す画像を仮想車両画像として合成画像に含めることも可能である。
【0062】
制御部４０３は、検知部４０２が動作状態にありかつシフトセンサ２１によって変速操作部７の位置がＤレンジにあることが検出された場合で、車両１が現在の舵角で所定距離前進した場合の進路上に物体を検知した場合、車両１の前方に仮想車両画像を表示させる。例えば、現在の舵角で決定される進路に沿って、車両画像から仮想車両画像を離脱させるように移動させる。これにより、車両１の前方の進路上に存在する物体を運転者に認識させやすい表示が実現できる。
【0063】
同様に、制御部４０３は、検知部４０２が動作状態にありかつシフトセンサ２１によって変速操作部７の位置がＲレンジにあることが検出された場合で、車両１が現在の舵角で所定距離後進した場合の進路上に物体を検知した場合、車両１の後方に仮想車両画像を表示させる。これにより、車両１の後方の進路上に存在する物体を運転者に認識させやすい表示が実現できる。
【0064】
一方、制御部４０３は、検知部４０２によって、車両１が所定距離進んだ場合の進路上に接触する物体が検知されなかった場合には、合成画像内において仮想車両画像は非表示とする。すなわち、制御部４０３は、車両１が現在の舵角で所定距離進んだ場合の進路上には、車両１と接触する可能性のある物体が存在しないことを示唆する表示を実現することができる。なお、後述するが、仮想車両画像が既に表示されている状態で、進路上に物体が存在しなくなった場合、例えば、舵角を変更したり、物体自体が移動したりする場合である。この場合、仮想車両画像は直ちに非表示とするのではなく、所定期間経過した後に非表示とするようにしてもよい。仮想車両画像を所定期間表示させることで、進路周辺で物体が存在する場合に、仮想車両画像の非表示と表示が短時間で繰り返し切り替わるような煩わしい表示が行われることを回避することができる。
【0065】
また、制御部４０３は、検知部４０２によって、車両１に接触する物体が検知された場合、仮想車両画像内において、検知された物体と接触する部分の画像（以下、部分画像と言う）の表示態様を変化させるようにしてもよい。また、制御部４０３は、部分画像を点滅させたり、表示色を変化させたり、部分画像の輪郭を強調表示させたりして、部分画像を、仮想車両画像の他の部分と異なる表示態様に変化させてもよい。また、制御部４０３は、仮想車両画像がポリゴンで構成される場合、仮想車両画像を構成するポリゴンのうち、物体と接触する部分のポリゴンを部分画像として特定することができる。そして、制御部４０３は、特定したポリゴンの表示態様を変化させるようにしてもよい。
【0066】
これにより、表示された仮想車両画像から現在の舵角で走行した場合に車両１の車体のうちどの部分が物体に接触するかを車両１の運転者に認識させ易い表示ができる。その結果、検知された物体と車両１との接触を回避する走行操作をさせ易い表示ができる。
【0067】
また、制御部４０３は、車両１に接触する物体が検知された場合、合成画像内において、車両１が物体に接触する接触位置まで仮想車両画像を移動させた後、当該接触位置から仮想車両画像を移動させないようにすることができる。つまり、制御部４０３は、仮想車両画像の移動が可能な所定距離以下である場合も物体との接触位置で、仮想車両画像を停止させる。制御部４０３は、車両１に接触する物体が検知された場合、合成画像内において車両１が物体に接触する接触位置から仮想車両画像を移動させずに固定しているが、これに限定するものではない。例えば、制御部４０３は、接触位置の手前の位置で、仮想車両画像の移動を停止させ、その位置から仮想車両画像を移動させずに固定してもよい。すなわち、制御部４０３は、車両１が進んだ場合の位置として、車両１が物体と接触する接触位置、または接触前の位置まで進んだ場合の位置に、仮想車両画像を重畳表示する。これにより、車両１の運転者は、現在の舵角に基づく進路上のどの位置において車両１が物体と接触するかを容易に認識することができる。
【0068】
また、車両１に接触する物体が検知されて、仮想車両画像を接触位置で固定（停止）させた後、現在の舵角が変更されて車両１の進行方向が変わり、検知部４０２によって、新たな進路上に車両１と接触する物体が検知されなくなった（物体と非接触となった）とする。この場合、制御部４０３は、舵角変更前において接触位置で固定（停止）させていた仮想車両画像の固定を解除してもよい。そして、制御部４０３は、変更された舵角にしたがう進路に沿って仮想車両画像の移動を再開可能としてもよい。その結果、制御部４０３は、車両１の舵角の変更に伴って、合成画像内における仮想車両画像の位置を移動させることができる。これにより、舵角を変更することで物体との接触が解消できること、また接触の可能性が解消されたことをより明確に運転者に認識させ易い表示ができる。また、さらに先の領域については、他の物体との接触可能性に注視しながら車両１の走行を継続させ易くなる。なお、舵角の変更や物体（移動体）の移動により車両１と物体とが接触しないことが確認できた場合、仮想車両画像を非表示としてもよい。この場合、例えば、車両１と物体とが接触しないことが確認できてから、所定期間経過後、例えば、所定時間経過後や所定距離走行後に仮想車両画像を非表示とするようにしてもよい。
【0069】
さらに、制御部４０３は、検知部４０２により車両１が所定距離進んだ場合の進路に対して接近してくる物体が検知された場合、合成画像内の車両画像で示された車両１の進行方向に対して接近物指標（方向指標）を表示させてもよい。これにより、車両１の運転者は、表示装置８に表示される表示画面に接近物指標が含まれるか否かに基づいて、車両１に接近する物体が存在すること、およびその接近方向を、表示装置８に表示される表示画面に基づいて容易に認識させることができる。
【0070】
ここで、接近物指標は、車両１に対して物体が接近してくる方向（以下、接近方向と言う）を識別可能とする指標である。接近物指標は、接近方向を指し示す例えば矢印である。また、接近物指標は、車両１に接触する可能性がある物体のうち動体の接近方向を識別可能とする指標である。
【0071】
そして、制御部４０３は、検知部４０２によって車両１に接近する物体が検知された場合、接近物指標の表示態様を変更する。これにより、車両１の運転者は、表示態様が変更された接近物指標を視認することによって、車両１に接触する可能性がある物体がいずれの方向から接近しているのかを容易に認識することができる。制御部４０３は、接近物指標の色を変えたり、点滅させたりすることによって、車両１に接近する物体が検知されていない場合と検知されている場合とで、接近物指標の表示態様と異ならせてもよい。
【0072】
上述した例では、制御部４０３は、車両１に接触する可能性がある物体として静止物が検知された場合には、仮想車両画像内の部分画像の表示態様を変更する。また、制御部４０３は、車両１に接触する可能性がある物体として動体が検知された場合には、接近物指標の表示態様を変更している。他の実施形態では、車両１に接触する可能性がある物体として動体が検知された場合に、仮想車両画像内の部分画像の表示態様を変更するようにしてもよい。この場合、制御部４０３は、接近物指標を合成画像に含めてもよいし、接近物指標を合成画像に含めなくてもよい。
【0073】
【0074】
（第１実施形態）
図５は、第１実施形態にかかる周辺監視装置による表示画面の例示的かつ模式的な図である。図５では、シフトセンサ２１によって変速操作部７の位置がＤレンジにあることが検出された場合における表示画面の表示処理について説明する。第１実施形態において、制御部４０３は、車両画像Ｇ１および周辺画像Ｇ２を含む合成画像Ｇ３と、撮像部１５によって車両１の進行方向（例えば、車両１の前方）を撮像して得られる撮像画像Ｇ４と、を含む表示画面Ｇを表示装置８に表示させる。
図５は、第１実施形態にかかる周辺監視装置による表示画面の例示的かつ模式的な図である。図５では、シフトセンサ２１によって変速操作部７の位置がＤレンジにあることが検出された場合における表示画面の表示処理について説明する。第１実施形態において、制御部４０３は、車両画像Ｇ１および周辺画像Ｇ２を含む合成画像Ｇ３と、撮像部１５によって車両１の進行方向（例えば、車両１の前方）を撮像して得られる撮像画像Ｇ４と、を含む表示画面Ｇを表示装置８に表示させる。
【0075】
そして、検知部４０２が動作状態にある場合で、取得部４０１により取得される現在の舵角で車両１が所定距離進んだ場合の進路上に物体を検知した場合、制御部４０３は、周辺画像Ｇ２内において、車両画像Ｇ１が示す位置を基準として、現在位置Ｐ１における舵角で車両１が例えば所定距離進んだ場合の位置Ｐ２に、仮想車両画像Ｇ５を前進させるように重畳表示させる。ここで、仮想車両画像Ｇ５は、図５に示すように、車両１の形状を示す半透明の画像である。これにより、仮想車両画像Ｇ５と車両画像Ｇ１とを容易に区別させることができ、かつ仮想車両画像Ｇ５が、車両１の未来の位置Ｐ２を示す画像であることを車両１の運転者に直感的に認識させることが可能となる。
【0076】
なお、制御部４０３は、車両１の輪郭から内側に向かうに従って透過率を高くした画像を仮想車両画像Ｇ５として表示してもよい。この表示により、仮想車両画像Ｇ５と車両画像Ｇ１とをより容易に区別させることができ、かつ仮想車両画像Ｇ５が、車両１の未来の位置を示す画像であることを車両１の運転者に直感的に認識させ易い表示を行うことができる。
【0077】
さらに、制御部４０３は、仮想車両画像Ｇ５の輪郭を、当該仮想車両画像Ｇ５の他の部分とは異なる表示態様（例えば、異なる色、点滅、枠線の重畳）で表示して、当該輪郭を強調表示させてもよい。これにより、仮想車両画像Ｇ５の視認性が向上し、運転者に車両１の未来の位置を認識させ易い表示ができる。
【0078】
このように、仮想車両画像Ｇ５を半透明で表示したり、輪郭表示したりすることにより、仮想車両画像Ｇ５と重なる部分（合成画像Ｇ３）でもその位置の視認が可能になり周囲状況の視認性が低下することを抑制しやすくなる。
【0079】
また、検知部４０２が動作状態にある場合、制御部４０３は、図５に示すように、周辺画像Ｇ２内において、車両画像Ｇ１の進行方向（例えば、車両１の前方１ｍに相当する左右の位置）に、接近物指標Ｇ６を表示させてもよい。その際、制御部４０３は、検知部４０２によって物体が検知されていない場合、接近物指標Ｇ６をグレースケールで表示するものとする。
【0080】
図６は、第１実施形態にかかる周辺監視装置による表示画面の他の表示例を示す図である。検知部４０２によって、現在の舵角で車両１が所定距離進んだ場合の進路上に物体が検知されていない場合、制御部４０３は、周辺画像Ｇ２内において仮想車両画像Ｇ５を非表示とする。一方、検知部４０２によって、現在の舵角で車両１が所定距離進んだ場合の進路上に車両１に接触する物体Ｏ（例えば、壁や垣根）が検知された場合、制御部４０３は、図６に示すように、周辺画像Ｇ２内において、車両画像Ｇ１から検知された物体Ｏに接触する接触位置Ｐ３まで、仮想車両画像Ｇ５を移動させる。その後、制御部４０３は、車両１が、現在の舵角のまま移動したとしても、接触位置Ｐ３から仮想車両画像Ｇ５を移動させずに固定する。
【0081】
その際、制御部４０３は、図６に示すように、仮想車両画像Ｇ５内において検知された物体Ｏと接触する部分画像ＰＧの表示態様を、仮想車両画像Ｇ５の他の部分の表示態様と異ならせる。例えば、物体Ｏと仮想車両画像Ｇ５との距離が所定値以下になった場合、部分画像ＰＧの表示態様を接触を示唆する第１表示態様に変更する。例えば、制御部４０３は、部分画像ＰＧを赤色で表示し、仮想車両画像Ｇ５内の部分画像ＰＧ以外の部分を白色で表示する。これにより、車両１の運転者は、現在の舵角で車両１を走行させた場合に、車両１の車体２のうちどの部分が、検知された物体Ｏに接触するかを把握できる。その結果、検知された物体Ｏに車両１が接触しないようにするためには、どのような運転操作をすればよいか、運転者に判断させ易い表示ができる。
【0082】
また、制御部４０３は、検知された物体Ｏの位置と仮想車両画像Ｇ５の位置との間の距離に応じて、部分画像ＰＧの表示態様を変更することも可能である。これにより、部分画像ＰＧの表示態様の変化を確認することで、車両１と物体Ｏとの位置関係をより詳細に把握できる。具体的には、制御部４０３は、検知された物体Ｏの位置と仮想車両画像Ｇ５で示す位置との間の距離が短くなるに従って、例えば、赤色で表示された部分画像ＰＧの赤みを増したり、部分画像ＰＧを点滅させたりして、部分画像ＰＧを強調表示する。その結果、運転者に物体への注意をより強くイメージさせ易くなる。
【0083】
逆に、制御部４０３は、検知された物体Ｏの位置と仮想車両画像Ｇ５で示す位置との距離が長くなるに従って仮想車両画像Ｇ５の部分画像ＰＧの赤みを減らしたり、赤色以外の例えば黄色に変化させたり、部分画像ＰＧの点滅の間隔を長くしたりして、部分画像ＰＧの強調表示を解除する。車両１の運転者が操舵部４を操舵して車両１の進行方向が変わり、検知部４０２によって車両１に接触する物体Ｏが検知されなくなった場合、制御部４０３は、部分画像ＰＧの表示態様を、仮想車両画像Ｇ５の他の部分と同じ表示態様に戻す。さらに、制御部４０３は、接触位置Ｐ３での仮想車両画像Ｇ５の固定を解除して、再び、車両１の移動に伴って、合成画像Ｇ３内における仮想車両画像Ｇ５の位置を移動させる。その結果、運転者に物体Ｏとの接触が解消されたことをより明確に認識させることができるとともに、さらに、先の領域について、他の物体との接触可能性に注視しながら走行を継続させ易くさせる表示ができる。なお、図６の場合も、変更後の舵角で車両１が所定距離進んだ場合の進路上に物体を検知されなくなったことが確認された場合、所定期間後、例えば所定時間経過後や所定距離走行後に仮想車両画像Ｇ５を非表示としてもよい。
【0084】
ここでは、検知部４０２によって検知された物体Ｏが壁や垣根等の静止物であることを想定しているため、制御部４０３は、仮想車両画像Ｇ５内の部分画像ＰＧの表示態様を変化させているが、接近物指標Ｇ６の表示態様を変更していない。つまり、車両１の運転者は、接近物指標Ｇ６の表示状態を確認することで、検知部４０２により検知された物体が、静止している物体なのか若しくは車両１に向かって接近してくる動体なのかを識別することができる。
【0085】
図６の場合、制御部４０３は、接近物指標Ｇ６の表示態様を、検知部４０２によって車両１に接触する可能性がある動体が検知されていない際の接近物指標Ｇ６の表示態様であるグレースケールで表示している。ただし、検知部４０２により検知された物体が他の車両や歩行者等の動体である場合には、制御部４０３は、周辺画像Ｇ２に含まれる接近物指標Ｇ６のうち、検知された動体が存在する方向の接近物指標Ｇ６の表示態様を変更させる。その際、制御部４０３は、接近物指標Ｇ６の表示態様を変更させるとともに、現在の舵角で車両１が所定距離進んだ場合の進路上に動体が存在する場合、仮想車両画像Ｇ５内において、検知された動体と接触する部分画像ＰＧの表示態様も変更してもよい。
【0086】
なお、検知部４０２により検知された物体が、車両１に向かって接近してくる動体である場合、制御部４０３は、上述したように、接近物指標Ｇ６のうち、検知された物体が接近してくる方向に存在する接近物指標Ｇ６の表示態様を変更する。例えば、制御部４０３は、検知された物体が接近してくる方向に存在する接近物指標Ｇ６の色を黄色等に変更したり、接近物指標Ｇ６を点滅させたりする。または、各接近物指標Ｇ６が複数の矢印を含む場合、制御部４０３は、検知された動体が存在する方向に表示される接近物指標Ｇ６が含む複数の矢印を、仮想車両画像Ｇ５から遠い矢印から順に表示態様を変更するアニメーションで表示して、スクロールするように表示してもよい。
【0087】
図７および図８は、第１実施形態にかかる周辺監視装置による仮想車両画像の表示方法の一例を説明するための図である。図７において、Ｘ軸は、車両１の車幅方向に対応する軸であり、Ｚ軸は、車両１の進行方向に対応する軸であり、Ｙ軸は、車両１の高さ方向に対応する軸である。仮想車両画像Ｇ５が複数のポリゴンＰＬで構成される場合、制御部４０３は、図７および図８に示すように、各ポリゴンＰＬが有する頂点Ｖ１，Ｖ２，Ｖ３の法線ベクトルｎのＹ軸の方向（路面に垂直な方向）における値（以下、Ｙ成分と言う）を求める。そして、制御部４０３は、法線ベクトルｎのＹ成分に基づいて、ポリゴンＰＬの透過率を決定する。
【0088】
具体的には、制御部４０３は、ポリゴンＰＬが有する頂点Ｖ１，Ｖ２，Ｖ３の法線ベクトルｎのＹ成分を求める。次いで、制御部４０３は、頂点Ｖ１，Ｖ２，Ｖ３の法線ベクトルｎのＹ成分に基づいて、ポリゴンＰＬに含まれる画素を決定する。その際、制御部４０３は、法線ベクトルｎのＹ成分が大きくなるに従って、透過率を高くするものとする。つまり、制御部４０３は、地面に平行な箇所（ルーフ部やボンネット部等）の透過率を高くすることができる。その結果、車両１の輪郭から内側に向かうに従って透過したような画像を仮想車両画像Ｇ５として表示することが可能となる。本実施形態では、ポリゴンＰＬを構成する画素の色を白色としているが、これに限定するものではなく、例えば、車両１のボディーの色などの任意の色とすることも可能である。
【0089】
図９は、第１実施形態にかかる周辺監視装置による仮想車両画像を構成するポリゴンの色の決定方法の一例を説明するための図である。図９において、横軸は、仮想車両画像Ｇ５を構成するポリゴンが有する頂点を構成する色の種類（例えば、ＲＧＢ）を表し、縦軸は、仮想車両画像Ｇ５を構成するポリゴンが有する頂点を構成する色の値（例えば、ＲＧＢ値）を表す。本実施形態では、現在の舵角で車両１が所定距離進んだ場合の進路上に物体を検知して仮想車両画像Ｇ５が表示されている場合で、さらに、物体と仮想車両画像Ｇ５との距離が所定値以下になって場合、制御部４０３は、仮想車両画像Ｇ５内において、物体と接触する部分画像ＰＧの表示態様を、仮想車両画像Ｇ５の他の部分の表示態様を異ならせる。
【0090】
具体的には、現在の舵角で車両１が所定距離進んだ場合の進路上に物体を検知しているものの、物体と仮想車両画像Ｇ５との距離が所定値より大きい場合、制御部４０３は、図９に示すように、仮想車両画像Ｇ５を構成するポリゴンが有する各頂点のＲＧＢ各色の値を等しくする。そして、制御部４０３は、ポリゴンが有する各頂点のＲＧＢ各色の値に基づいて、各頂点で囲まれるポリゴン内の領域の色を、線形補間等によって補間して、ポリゴン全体の色を決定する。これにより、制御部４０３は、仮想車両画像Ｇ５を白色で表示することができる。
【0091】
一方、進路上で検知された物体と仮想車両画像Ｇ５との距離が所定値以下になった場合、制御部４０３は、図９に示すように、仮想車両画像Ｇ５を構成するポリゴンのうち部分画像を構成するポリゴンが有する各頂点の例えばＧＢの値を、当該各頂点のＲの値より小さくする。この場合も、制御部４０３は、ポリゴンが有する各頂点のＲＧＢ各色の値に基づいて、当該各頂点で囲まれるポリゴン内の領域の色を、線形補間等によって補間して、ポリゴン全体の色を決定する。これにより、制御部４０３は、部分画像ＰＧを赤色で表示することができる。
【0092】
本実施形態では、制御部４０３は、部分画像ＰＧを構成するポリゴンが有する各頂点のＧＢの値を、当該各頂点のＲの値より小さくし、部分画像を赤色で表示させることで、部分画像ＰＧを強調表示させているが、これに限定するものではない。例えば、制御部４０３は、部分画像ＰＧを構成するポリゴンが有する各頂点のＲＢの値を、当該各頂点のＧの値より小さくし、部分画像ＰＧを緑色で表示させることで、部分画像ＰＧを強調表示させてもよい。
【0093】
その際、制御部４０３は、検知された物体の位置と仮想車両画像Ｇ５の位置との間の距離が短くなるに従って、仮想車両画像Ｇ５の部分画像ＰＧを構成するポリゴンが有する各頂点のＧＢの値を小さくすることも可能である。これによって、制御部４０３は、部分画像ＰＧの赤みを増して、部分画像ＰＧを強調表示する。これにより、車両１の車体のいずれの位置が物体と接触するかをより認識させ易くすることができるとともに、車両１を移動させた際の注意の程度を認識させやすくすることができる。なお、制御部４０３は、仮想車両画像Ｇ５を構成するポリゴンのうち部分画像ＰＧ以外のポリゴンが有する各頂点のＲＧＢ各色の値は等しいままとする。これにより、制御部４０３は、部分画像ＰＧ以外のポリゴンを白色で表示することができる。
【0094】
図１０は、第１実施形態にかかる周辺監視装置による表示画面の一例を示す図である。例えば、図１０に示すように、時刻ｔ１において、現在の舵角で車両１が所定距離進んだ場合の進路上に存在する物体Ｏ（静止物）が、検知部４０２によって検知された場合、制御部４０３は、仮想車両画像Ｇ５を車両画像Ｇ１の位置を基準として、所定距離まで前進するように周辺画像Ｇ２上に重畳表示する。そして、仮想車両画像Ｇ５の前進に伴い、検知した物体Ｏとの距離が縮まり、所定値以下になった場合、物体Ｏと接触する仮想車両画像Ｇ５の部分画像ＰＧを、物体Ｏとの接触を示唆する第１表示態様（例えば赤色の強調表示）に変更する。なお、図１０において、ガイド線ｍは、現在の舵角で車両１が移動した場合に予測される車両画像Ｇ１の移動予想軌跡であり、例えば、車両画像Ｇ１の車幅に所定のマージンを持たせた位置に表示されている。なお、ガイド線ｍは非表示としてもよい。
【0095】
具体的には、制御部４０３は、路面に平行なＸＺ平面（図７参照）における、部分画像ＰＧを構成するポリゴンの各頂点から物体Ｏまでのユークリッド距離を求める。次いで、制御部４０３は、部分画像ＰＧを構成するポリゴンの各頂点と物体Ｏとの間のユークリッド距離に応じて、各頂点のＧＢの値を、各頂点のＲの値より小さくする。そして、制御部４０３は、部分画像ＰＧを構成するポリゴンの各頂点のＲＧＢ値に基づいて、フラグメントシェーダによって、部分画像ＰＧを構成するポリゴンに含まれる画素の色を決定する。また、制御部４０３は、ポリゴンが有する各頂点のＲＧＢ各色の値に基づいて、各頂点で囲まれるポリゴン内の領域の色を、線形補間等によって補間して、ポリゴン全体の色を決定する。これにより、制御部４０３は、部分画像ＰＧを赤色で表示する。また、仮想車両画像を構成するポリゴンのＲＧＢ値を計算する際に、当該ポリゴンが有する各頂点と物体との間の距離に応じて部分画像を構成するポリゴンのＲＧＢ値を同時に計算してもよい。これにより、仮想車両画像Ｇ５および部分画像ＰＧを分けずに生成することができる。
【0096】
その後、車両１が移動し続けて、時刻ｔ１より後の時刻ｔ２において、仮想車両画像Ｇ５が物体Ｏに接触する接触位置Ｐ３またはその直前の位置に達した場合、制御部４０３は、接触位置Ｐ３で仮想車両画像Ｇ５を一旦停止させるとともに、その位置での表示を継続する。この場合、時刻ｔ２で示すように、物体Ｏからの距離に応じて部分画像ＰＧの表示色を変化させてもよい。例えば、物体により接近したことを示唆するように、部分画像ＰＧの色味を強く（赤みを強く）してもよい。あるいは、物体Ｏからの距離が所定値以下の箇所は赤色の色味を強くし、距離が所定値を超えている箇所は黄色の色味を強くしてもよい。
【0097】
そして、時刻ｔ２より後の時刻ｔ３には、車両１の舵角が変更されて、車両１が物体Ｏに接触する可能性が無くなった場合、すなわち、変更後の舵角による進路において、検知部４０２により物体Ｏが検知されなくなった場合が示されている。時刻ｔ３では、物体Ｏと仮想車両画像Ｇ５との接触が回避可能となり、制御部４０３は、図１０に示すように、接触位置Ｐ３における仮想車両画像Ｇ５の固定を解除し、時刻ｔ３における車両画像Ｇ１が示す車両１の位置を基準として、所定距離進んだ場合の位置Ｐ２に仮想車両画像Ｇ５を表示する。すなわち、仮想車両画像Ｇ５の移動の再開を許可する。その結果、さらに先の領域について、他の物体との接触可能性に注視しながらの走行を継続させ易い表示になる。
【0098】
その際、制御部４０３は、仮想車両画像Ｇ５内の部分画像ＰＧを、物体Ｏと仮想車両画像Ｇ５との接触を示唆する第１表示態様の例えば赤色から接触回避を示唆する第２表示態様の黄色に変化させてもよい。また、別の実施形態では、赤色で表示する強調表示を解除してもよい。すなわち、制御部４０３は、時刻ｔ３において、仮想車両画像Ｇ５内の部分画像ＰＧの表示態様を、仮想車両画像Ｇ５の他の部分と同じ表示態様（例えば白色）に戻す。これにより、車両１の運転者に、車両１の現在の舵角（変更後の舵角）で、物体Ｏとの接触が回避可能であることを示す表示を提供できる。
【0099】
図１１および図１２は、第１実施形態にかかる周辺監視装置によって部分画像ＰＧを強調表示する処理の一例を説明するための図である。検知部４０２によって物体Ｏが検知されると、制御部４０３は、図１１に示すように、まず、仮想車両画像Ｇ５内の部分画像ＰＧを構成するポリゴンが有する各頂点ＶからＸＺ面１１００（図７に示すＸ軸およびＺ軸により定義される平面）に対する垂線１１０１が、ＸＺ面１１００と交わる点Ｖ´を求める。次いで、制御部４０３は、ＸＺ面１１００における、点Ｖ´と、物体Ｏの位置とのユークリッド距離Ｌを求める。
【0100】
次に、制御部４０３は、図１２に示す強度分布１２００に従って、求めたユークリッド距離Ｌに対応する強調表示の度合いを特定する。ここで、強度分布１２００は、部分画像を強調表示する際の強調表示の度合いの分布であり、ユークリッド距離Ｌが短くになるに従って、強調表示の度合いが大きくなる。
【0101】
本実施形態では、強度分布１２００は、物体Ｏの位置を中心として、ユークリッド距離Ｌが遠くなるに従って強調表示の度合いを小さく低くする同心円状の強度分布である。例えば、強度分布１２００は、ユークリッド距離Ｌが予め設定された距離（例えば、１．７～３．０ｍ）以下となった際に強調表示の度合いが急峻に上がる高次曲線により表される。例えば、強度分布１２００は、ユークリッド距離Ｌが予め設定された距離以下となった際にＧＢの値が急峻に下がりＲが強調される強度分布である。
【0102】
これにより、制御部４０３は、図１２に示すように、仮想車両画像Ｇ５を構成するポリゴンのうち物体Ｏまでのユークリッド距離Ｌが近いポリゴンになるほど、赤色で強調表示される。その結果、制御部４０３は、図１２に示すように、仮想車両画像Ｇ５を構成するポリゴンのうち部分画像ＰＧを構成するポリゴンを赤色によって強調表示することが可能となる。
【0103】
このように、第１実施形態にかかる車両１によれば、表示装置８に表示される表示画面に仮想車両画像Ｇ５が含まれるか否かに基づいて、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏが存在か否かを、運転者に認識させやすい表示ができる。
【0104】
（第２の実施形態）
第２実施形態は、撮像部によって車両の進行方向を撮像して得られる撮像画像に代えて、車両の周辺の三次元画像を含む表示画面を表示装置に表示させる例である。以下の説明では、第１実施形態と同様の構成については説明を省略する。
第２実施形態は、撮像部によって車両の進行方向を撮像して得られる撮像画像に代えて、車両の周辺の三次元画像を含む表示画面を表示装置に表示させる例である。以下の説明では、第１実施形態と同様の構成については説明を省略する。
【0105】
図１３および図１４は、第２実施形態にかかる車両１が有する周辺監視装置による表示画面の一例を示す図である。第２実施形態では、制御部４０３は、図１３に示すように、合成画像Ｇ３と、車両１およびその周辺の三次元の画像（以下、三次元周辺画像と言う）Ｇ７と、を含む表示画面Ｇを表示装置８に表示させる。これにより、合成画像Ｇ３に加えて、三次元周辺画像Ｇ７を視認させることで、車両１とその周辺の物体との位置関係をより詳細に把握させ易くすることができる。
【0106】
ここで、三次元周辺画像Ｇ７は、上述したように、車両１およびその周辺の三次元の画像である。本実施形態では、三次元周辺画像Ｇ７は、撮像部１５によって車両１の周辺を撮像して得られる画像を、お椀状または円筒状の三次元の面に貼り付けて生成される画像である。また、本実施形態では、三次元周辺画像Ｇ７には、図１３に示すように、車両１の三次元の画像である三次元車両画像Ｇ８が含まれる。本実施形態では、三次元車両画像Ｇ８は、仮想車両画像Ｇ５と同様に、複数のポリゴンで構成され、車両１の三次元の形状を示す画像である。
【0107】
また、本実施形態では、制御部４０３は、三次元周辺画像Ｇ７内の路面に対して、三次元車両画像Ｇ８の位置を識別可能とする車両位置情報Ｉを表示させる。例えば、車両位置情報Ｉは、三次元周辺画像Ｇ７内の路面上において、三次元車両画像Ｇ８が存在する位置をグレースケールや三次元車両画像Ｇ８が存在する位置を囲む線（例えば、破線）で表示する情報である。
【0108】
そして、制御部４０３は、図１４に示すように、第１実施形態と同様に、周辺画像Ｇ２内に接近物指標Ｇ６を表示させるとともに、三次元周辺画像Ｇ７に対しても接近物指標Ｇ９を表示させる。その際、制御部４０３は、図１４に示すように、三次元周辺画像Ｇ７に含める接近物指標Ｇ９をグレースケールで表示するものとする。制御部４０３は、車両画像Ｇ１と周囲の物体との位置関係を把握し易くするため、三次元周辺画像Ｇ７には、仮想車両画像Ｇ５を表示しないが、これに限定するものではなく、三次元周辺画像Ｇ７に対して仮想車両画像Ｇ５を表示することも可能である。
【0109】
図１５および図１６は、第２実施形態にかかる周辺監視装置による表示画面の一例を示す図である。本実施形態では、検知部４０２によって車両１に接近してくる物体（例えば、車両１の進行方向の左側から接近してくる物体）が検知された場合、制御部４０３は、図１５に示すように、周辺画像Ｇ２に含まれる接近物指標Ｇ６および三次元周辺画像Ｇ７に含まれる接近物指標Ｇ９のうち、検知された物体が接近してくる方向（例えば、左側）に存在する接近物指標Ｇ６，Ｇ９の表示態様を変更する。
【0110】
また、検知部４０２によって車両１の進行方向の左右両方から接近してくる場合、制御部４０３は、図１６示すように、車両１の進行方向（例えば、前方）の左右両方に存在する接近物指標Ｇ６，Ｇ９の表示態様の色を黄色等に変更したり、当該接近物指標Ｇ６，Ｇ９を点滅させたりする。または、接近物指標Ｇ６，Ｇ９が複数の矢印を含む場合、制御部４０３は、検知された動体が存在する方向に表示される接近物指標Ｇ６，Ｇ９が含む複数の矢印を、仮想車両画像Ｇ５から遠い矢印から順に表示態様を変更するアニメーションで表示してスクロールさせてもよい。
【0111】
第２実施形態では、検知部４０２が動作状態である場合で、車両１に接近してくる物体が検知されていない場合、接近物指標Ｇ６，Ｇ９をグレースケール等で予め表示しておくことにより、検知部４０２によって車両１に接近してくる物体が検知可能であることを示す表示が可能である。また、車両１に接近してくる物体が検知された場合には、接近物指標Ｇ６，Ｇ９の表示態様が変更される。その表示態様の変更によって、車両１の運転者が、車両１に接近してくる物体が検知されたことを容易に認識することができる。第２実施形態では、制御部４０３は、仮想車両画像Ｇ５および接近物指標Ｇ６，Ｇ９の両方を表示画面Ｇに表示させているが、少なくとも、仮想車両画像Ｇ５が表示されていればよい。
【0112】
このように、第２実施形態にかかる周辺監視装置によれば、合成画像Ｇ３に加えて、三次元周辺画像Ｇ７を視認することで、車両１とその周辺の物体との位置関係をより詳細に把握することができる。
【0113】
（第３の実施形態）
第３実施形態は、上述した仮想車両画像Ｇ５および車両画像Ｇ１の周囲の状況をより認識させやすい状態で表示させる例である。以下の説明では、第１実施形態と同様の構成については説明を省略する。
第３実施形態は、上述した仮想車両画像Ｇ５および車両画像Ｇ１の周囲の状況をより認識させやすい状態で表示させる例である。以下の説明では、第１実施形態と同様の構成については説明を省略する。
【0114】
第３実施形態において、制御部４０３は、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏが検知部４０２によって検知された場合、合成画像Ｇ３を、物体Ｏが検知される前より拡大表示（ズームイン）する。合成画像Ｇ３の拡大は、例えば仮想視点を車両画像Ｇ１に近づけることで実行できる。拡大表示を実行することにより、車両１の運転者は、車両１に接触する可能性のある物体Ｏが検知されて、周囲の状況に注意を払う必要が生じたことを直感的に認識し易くなる。また、拡大表示により車両画像Ｇ１や仮想車両画像Ｇ５の周囲状況の細部がより明確に表示される。その結果、車両１の運転者に、周囲状況の確認がし易く、安心感を与え易い表示を提供できる。
【0115】
また、第３実施形態において、制御部４０３は、合成画像Ｇ３が拡大表示される場合、現在の舵角に基づく旋回方向とは逆方向に、表示位置（例えば、車両画像Ｇ１の表示位置）をずらして表示するずらし表示を実行する。例えば、仮想視点の位置を旋回方向とは逆方向に移動させて、合成画像Ｇ３の表示をずらす。合成画像Ｇ３の拡大表示を表示装置８の限られた表示領域で実行する場合、車両画像Ｇ１や仮想車両画像Ｇ５の周囲の細部が認識し易くなる反面、車両画像Ｇ１や仮想車両画像Ｇ５を中心とする表示範囲（視野）が狭くなる。車両１が旋回する場合、旋回方向とは逆方向に関しては、既に検知されている物体Ｏと接触しないことが確認できれば、車両１の通過は可能である。一方、旋回方向には、他の物体が存在する可能性がある。そこで、制御部４０３は、旋回方向とは逆方向に、車両画像Ｇ１の表示位置をずらして、旋回方向の表示範囲（視野）を広げて、より広範囲の表示ができるようにする。
【0116】
また、第３実施形態において、制御部４０３は、合成画像Ｇ３の拡大表示が実行されている場合に、物体Ｏから遠ざかった場合、拡大表示を解除する（例えば拡大前の表示サイズに戻す）とともに、仮想車両画像Ｇ５を非表示としてもよい。車両画像Ｇ１を元の表示サイズに復帰（ズームアウト）させるとともに、仮想車両画像Ｇ５を非表示とすることで、合成画像Ｇ３全体に顕著な変化が生じ、車両１の運転者が仮想車両画像Ｇ５の表示終了を認識し易い表示ができる。また、車両１の運転者が、物体Ｏとの接触の可能性が低減、または解消されたことを直感的に認識させ易い表示ができる。なお、後述するが、拡大表示中の仮想車両画像Ｇ５は、運転者の操作によって一時的に非表示としてもよい。
【0117】
図１７は、第３実施形態にかかる車両１が周辺監視装置による表示画面の一例を示す図である。図１７の時刻ｔ１は、現在の舵角で車両１が所定距離進んだ場合の進路上に、物体Ｏが検知部４０２により検知される前の状態であり、拡大表示が実行される前の通常サイズの表示状態を示している。進路上に物体が検知される前において、車両画像Ｇ１は、合成画像Ｇ３のほぼ中央に非拡大の状態で表示されている。
【0118】
時刻ｔ２は、車両画像Ｇ１（車両１）が時刻ｔ１より前進し、進路上に物体Ｏが検知され、仮想車両画像Ｇ５の表示が開始されるとともに、車両画像Ｇ１および仮想車両画像Ｇ５の拡大表示が実行された状態である。この場合、車両画像Ｇ１および仮想車両画像Ｇ５を含む合成画像Ｇ３の拡大率は例えば「２」である。この場合、制御部４０３は、例えば車両画像Ｇ１を基準に仮想視点を車両画像Ｇ１に近づける。その結果、俯瞰画像である合成画像Ｇ３をズームインするような表示変更が実行される。また、このとき、制御部４０３は、取得部４０１が取得した車両１の現在の舵角に基づき旋回方向とは逆方向、図１７の場合、図中左方向に、仮想視点をずらし、車両画像Ｇ１や仮想車両画像Ｇ５および物体Ｏの表示位置、すなわち、合成画像Ｇ３の表示位置を変更するずらし表示を実行する。拡大表示処理の実行によって、車両画像Ｇ１および仮想車両画像Ｇ５の周囲状況、例えば物体Ｏとの距離等をより認識させやすくすることができる。また、ずらし表示処理の実行によって、車両画像Ｇ１および仮想車両画像Ｇ５の現在の舵角にしたがう旋回方向である図中右方向の表示領域が広がり、旋回方向における別の物体の有無等を確認させやすい表示ができる。
【0119】
なお、制御部４０３は、合成画像Ｇ３（車両画像Ｇ１や仮想車両画像Ｇ５等を含む画像）を拡大するときの倍率を、上述したように固定値でもよいし、物体Ｏと仮想車両画像Ｇ５（車両画像Ｇ１）との距離に応じて変化するようにしてもよい。例えば、仮想車両画像Ｇ５（車両画像Ｇ１）が物体Ｏに遠いほど、拡大率を小さくしてもよい。拡大率が小さいほど、広い視野が確保可能であり、車両画像Ｇ１および仮想車両画像Ｇ５の周囲全体の状況をより把握させ易い表示を行うことができる。一方、仮想車両画像Ｇ５（車両画像Ｇ１）が物体Ｏに近づくほど、拡大率を大きくする。この場合、視野が狭くなる反面、拡大表示されるため、車両画像Ｇ１や仮想車両画像Ｇ５の直近の状況を、遠方に位置していた場合より把握させ易い表示ができる。その結果、運転者は、物体Ｏに注意を払いながら、物体Ｏとの接触を回避するための転舵の方向や舵角量を決定し易くなる。
【0120】
また、制御部４０３は、合成画像Ｇ３を拡大するときの倍率を、車両１の車速に応じて変化するようにしてもよい。例えば、低速で物体Ｏに接近していく場合（例えば、駐車のために壁等に接近していく場合等）、物体Ｏに近いほど拡大率を大きくして、物体Ｏとの位置関係をより詳細に認識し易くする。一方、物体から遠い位置で、車両１を所定速度以上（例えば、１２ｋｍ／ｈ以上）で走行させる場合、拡大率を小さくして、広い視野の合成画像Ｇ３を表示するようにする。この場合、より広い視野の確保が可能になり進行方向の状況を低速時（拡大率が大きい場合）より把握させ易く、安心感を与え易い表示を行うことができる。
【0121】
また、時刻ｔ２は、物体Ｏと仮想車両画像Ｇ５の距離が所定値以下になり、物体Ｏと接触する可能性のある仮想車両画像Ｇ５の部分画面ＰＧの表示態様が、物体Ｏとの接触を示唆する第１表示態様（例えば、赤色）に変更された状態が示されている。この場合、現在の舵角で車両１を走行させた場合、車両１のどの位置が物体Ｏと接触する可能性があるかを運転者に認識させ易い表示ができる。
【0122】
図１７の時刻ｔ３は、図１０で説明した非拡大の場合と同様であり、仮想車両画像Ｇ５は、物体Ｏとの距離が短くなるに従って、赤色で表示された部分画像ＰＧの赤みを増し、運転者に物体Ｏの接近を認識させ易くしている例である。また、時刻ｔ２より仮想車両画像Ｇ５が物体Ｏに接近したことにより、仮想車両画像Ｇ５と物体Ｏとが接触する可能性のある仮想車両画像Ｇ５上の位置がより絞られ、接触する可能性の高い位置がより赤みの増した表示になっている状態が示されている。このように、合成画像Ｇ３が拡大表示され、さらに、接触する可能性の高い部分領域ＰＧの表示態様を変化させることによって，物体Ｏに対する接近状態をより詳細に運転者に認識させることができる。
【0123】
時刻ｔ４では、舵角の変更により車両画像Ｇ１の移動予測軌跡を示すガイド線ｍが物体Ｏより手前に移動した状態が表示されている。この場合、仮想車両画像Ｇ５も舵角の変更による進路変更により物体Ｏから離れ、接触が回避した状態（通過可能な状態）に移行する様子が示されている。この場合も合成画像Ｇ３が拡大表示されていることで、物体Ｏと仮想車両画像Ｇ５（車両画像Ｇ１）が接触する可能性が低減したことを運転者に認識させ易い表示となる。また、時刻ｔ４では、舵角の変更により、物体Ｏと仮想車両画像Ｇ５との距離が所定値を超えて、接触が回避された状態が示されている。この場合、時刻ｔ３において表示されていた、仮想車両画像Ｇ５の部分画像ＰＧの表示色は、接触を示唆する第１表示態様（例えば赤色）から、接触回避を示唆するする第２表示態様（例えば白色）に変更されている。仮想車両画像Ｇ５の部分画像ＰＧの表示態様が変化することによっても、現在の舵角（変更後の舵角）により物体Ｏとの接触が回避できたことを運転者に認識させ易くなる。
【0124】
時刻ｔ５は、現在の舵角（変更後の舵角）の維持によって、検知部４０２が検知した物体Ｏとの接触が回避され、走行を継続することが可能になったことを示す表示例である。この場合、合成画像Ｇ３の拡大表示を解除している。この場合、広範囲（広い視野）で車両画像Ｇ１および仮想車両画像Ｇ５の周辺を表示できるようになる。制御部４０３は、合成画像Ｇ３の拡大表示を解除し、縮小（時刻ｔ１と同じ拡大率「１」）に戻す。その結果、運転者は、舵角を変更することで物体Ｏとの接触が解消できること、また解消されたことがより明確に認識できる。また、仮想車両画像Ｇ５の表示が継続することにより、さらに先の領域について、他の物体との接触可能性に注視しながら走行を継続させ易くなる。この状態で、物体Ｏと仮想車両画像Ｇ５との距離は、所定値を超えて広がることになるので、仮想車両画像Ｇ５の部分画像ＰＧは、接触が回避されたことを示唆する第２表示態様（例えば、白色）で表示されることになる。したがって、仮想車両画像Ｇ５の部分画像ＰＧの表示色によっても、物体Ｏとの接触が回避できたことを、運転者に認識させやすい表示がされる。なお、この場合、ずらし表示処理は、解除するように設定しても、解除しないように設定してもよい。
【0125】
時刻ｔ５において、車両１の速度が所定の速度、例えば、１２ｋｍ／ｈ以上になった場合や、物体Ｏの接触が回避された後、所定の期間が過ぎた場合、例えば、所定時間の経過後（例えば２秒経過後）、所定の距離（例えば５ｍ）を走行した場合、仮想車両画像Ｇ５の表示を終了し、非表示としてもよい。つまり、現在の舵角（変更後の舵角）で車両１が所定距離進んだ場合の進路上には、接触する可能性のある物体が存在しないことを示してもよい。なお、進路上に新たに物体が検知された場合は、時刻ｔ２で示したように、仮想車両画像Ｇ５が表示されるとともに、合成画像Ｇ３に対して拡大表示およびずらし表示等が行われる。
【0126】
図１８は、車両１の変速操作部７のシフト状態に応じて、合成画像Ｇ３（車両画像Ｇ１、仮想車両画像Ｇ５等を含む画像）の表示態様を変化させる例を示している。
【0127】
中央に示すシーンＳ１は、現在の舵角で車両１が所定距離進んだ場合の進路上には物体Ｏが検知部４０２によって検知されていない非検知の場合で、合成画像Ｇ３（車両画像Ｇ１を含む画像）が拡大表示されていない状態（拡大率「１」）である。一方、シーンＳ２は、変速操作部７が前進（Ｄ）レンジまたはパーキング（Ｐ）レンジの場合、つまり、車両１が後退走行可能な状態ではない場合で、例えば右に操舵され車両１が現在の舵角に基づき右旋回しようとしている状態である。そして、検知部４０２によって、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏが検知された例である。このように右旋回で前進走行する場合、運転者が主として注視する必要がある領域は、旋回方向とは逆方向の車両左前端部の領域であり、特に、物体Ｏとの相対距離である。したがって、このような場合、図１７で示したように、制御部４０３は、合成画像Ｇ３を例えば、高い拡大率、例えば拡大率「２」で、拡大表示する。これに加え、運転者は、旋回方向に存在する可能性のある他の物体についても注意を払う必要がある。そこで、制御部４０３は、舵角で定まる旋回方向とは逆方向に合成画像Ｇ３の表示位置をずらす、ずらし表示処理を実行する。この場合、制御部４０３は、例えば、検知した物体Ｏと車両画像Ｇ１および仮想車両画像Ｇ５が表示領域内に収まるように、ずらし量を決定してもよいし、それらが収まるような予め定められた拡大率で処理を実行してもよい。その結果、車両１の運転者は、前方の物体Ｏとの距離（接触の有無）を拡大された画像を確認しながら、旋回方向の広い領域に注意を払いながら走行を継続させることができる。
【0128】
一方、シーンＳ３は、変速操作部７が後退（Ｒ）レンジの場合、つまり、車両１が後退走行可能な状態の場合で、例えば右に操舵され車両１が現在の舵角に基づいて右旋回しながら後退しようとしている状態である。そして、検知部４０２によって、現在の舵角で車両１が所定距離進んだ（後退した）場合の進路上に物体Ｏ（例えば柱）が検知され、車両１の左側方には、物体Ｏ（例えば壁）が検知された例である。このように右旋回で後退走行する場合、運転者が主として注視する必要がある領域は、旋回方向とは逆方向の領域の車両左前端部および旋回方向で車両右後端部の領域となる。つまり、車両画像Ｇ１（仮想車両画像Ｇ５）の前後の対角方向の領域に注視する必要がある。そこで、図１８のシーンＳ３に示すように、制御部４０３は、合成画像Ｇ３の拡大率を例えば、前進時より小さい「１．５」等にして拡大表示する。また、車両１が後退走行可能なときには、ずらし表示処理を非実行として、車両画像Ｇ１の左右の表示領域を略均等に確保する。このような、拡大率の抑制およびずらし表示処理の非実行により、車両画像Ｇ１（仮想車両画像Ｇ５）の周囲（左側および右側）を前進時より広い範囲（広い視野）で周囲を確認させながら、後退走行が易い表示を実行することができる。
【0129】
ところで、上述したように、現在の舵角で車両１が所定距離進んだ場合の進路上に物体が検知された場合に、車両画像Ｇ１の位置を基準として仮想車両画像Ｇ５を表示して、さらに進路に沿って移動させることで、接触する可能性のある物体に注視しやすくさせる効果がある。一方、一度、進路上の物体を認識した運転者は、仮想車両画像Ｇ５が表示し続けられると煩わしさを感じる場合がある。また、物体と仮想車両画像Ｇ５との距離が小さくなった場合、仮想車両画像Ｇ５によって物体の周囲の詳細が確認しにくくなる場合がある。また、物体に接近したことで部分画像ＰＧが強調色に変更されると、物体の周辺の細部が確認しにくくなる場合がある。そこで、制御部４０３は、仮想車両画像Ｇ５の表示を一時的に非表示にすることができる。制御部４０３は、例えば、図１９のシーンＳ４に示すように、仮想車両画像Ｇ５の非表示スイッチ３０（例えば、Ghost Offスイッチ）を、表示している仮想車両画像Ｇ５に関連する位置、例えば、仮想車両画像Ｇ５上に重畳表示することができる。運転者は、仮想車両画像Ｇ５の表示が不要であると判断した場合、例えば、既に物体Ｏの存在を把握していたり、物体Ｏと仮想車両画像Ｇ５（車両画像Ｇ１、車両１）との相対的な位置関係を認識していたりする。この場合、非表示スイッチ３０を操作（押下）することにより、仮想車両画像Ｇ５を一時的に非表示として、物体Ｏの周辺の視認性を向上させることができる。なお、非表示スイッチ３０の表示位置は、表示画面Ｇ上のいずれの位置でもよいし、表示画面Ｇ以外の位置に設けてもよいが、仮想車両画像Ｇ５に関連する位置に設けることが望ましい。例えば仮想車両画像Ｇ５に重ねて非表示スイッチ３０を表示することにより、仮想車両画像Ｇ５の存在つまり、接触しそうな物体が存在することを運転者に認識させた上で、仮想車両画像Ｇ５を非表示にする操作を行わせることが可能であり、仮想車両画像Ｇ５を有効に利用させつつ、物体の周辺の視認性を向上させることができる。
【0130】
非表示スイッチ３０が操作（押下）されることにより、拡大表示されていた合成画像Ｇ３（車両画像Ｇ１，仮想車両画像Ｇ５を含む画像）は、図１９のシーンＳ５に示すように、非拡大状態に戻してもよいし、拡大状態のまま仮想車両画像Ｇ５を非表示とするのみでもよい。また、拡大表示時にずらし表示処理が実行されていた場合は、ずらし表示処理も解除され、車両画像Ｇ１は合成画像Ｇ３の略中央の位置に戻され、車両画像Ｇ１の周辺全体が略均一の確認できるような表示に戻る。
【0131】
非表示スイッチ３０の操作によって、仮想車両画像Ｇ５が非表示にされている場合、所定の条件が満たされた場合には、仮想車両画像Ｇ５の非表示が解除される。つまり、現在の舵角で車両１が所定距離進んだ場合の進路上に物体が存在し続けている場合は、再度仮想車両画像Ｇ５が表示される。例えば、車両１の停止が確認された場合、例えば、変速操作部７によりシフト状態が変更された場合、例えば「シフトＰ」が選択された場合、非表示スイッチ３０の操作により非表示になってから、所定期間経過した後、例えば、所定時間経過した場合や所定距離走行した場合等は、仮想車両画像Ｇ５を再表示させる。つまり、接触しそうな物体の存在を、運転者に再認識させるようにすることができる。このように、非表示スイッチ３０が操作された場合でも，所定条件が満たされることで、仮想車両画像Ｇ５が表示可能状態に復帰する。その結果、例えば、仮想車両画像Ｇ５が恒久的に非表示の状態になってしまうことを回避することができる。
【0132】
なお、非表示スイッチ３０は、仮想車両画像Ｇ５が表示されていることを条件に利用可能とする例を示したが、仮想車両画像Ｇ５が表示される前の段階から利用可能としてもよい。例えば、駐車の場合等、後方の状況を熟知している場合もある。また、仮想車両画像Ｇ５が表示され出すタイミングも運転者は既知である場合がある。このような場合は、仮想車両画像Ｇ５が表示される前に、仮想車両画像Ｇ５の表示を一時的にキャンセルできるようにしてもよい。この場合も、非表示スイッチ３０の操作による仮想車両画像Ｇ５の非表示は、一時的であり、所定の条件が満たされた場合は、仮想車両画像Ｇ５を表示可能な状態に戻すことで、恒久的な非表示になることを回避することができる。
【0133】
また、非表示スイッチ３０の操作によって仮想車両画像Ｇ５が非表示にされた場合、図１９のシーンＳ５に示すように、仮想車両画像Ｇ５の非表示期間中に限り、仮想車両画像Ｇ５の再表示を実行可能とする復帰スイッチ３２（例えば、Ghost ONスイッチ）を設けてもよい。復帰スイッチ３２は、例えば、仮想車両画像Ｇ５が非表示となってから変速操作部７によりシフトが変更されるまで、例えば、車両画像Ｇ１上に重畳表示することができる。復帰スイッチ３２を設けることにより、非表示にしている仮想車両画像Ｇ５を所望のタイミングで復帰させ、仮想車両画像Ｇ５を用いた周囲状況の確認を容易に再開させることができる。なお、復帰スイッチ３２の表示位置は、表示画面Ｇ上のいずれの位置でもよいし、表示画面Ｇ以外の位置に設けてもよいが、車両画像Ｇ１に関連する位置に設けることで、仮想車両画像Ｇ５の再表示のための作業をスムーズに行わせることができる。なお、シーン５の場合、仮想車両画像Ｇ５が非表示になっているとともに、車両画像Ｇ１は、非拡大の状態に戻っている。別の実施形態では、復帰スイッチ３２とは別に、合成画像Ｇ３の拡大表示を行う拡大スイッチを設けてもよい。この場合、仮想車両画像Ｇ５を非表示とした状態で車両画像Ｇ１と物体Ｏとの位置関係の確認を行わせ易い表示ができる。
【0134】
このように、第３実施形態の周辺監視装置によれば、車両１の進行方向に応じて、合成画像Ｇ３（車両画像Ｇ１、仮想車両画像Ｇ５等を含む画像）の拡大率やずらし表示処理の実行の有無を決定する。また、運転者の操作によって、仮想車両画像Ｇ５の表示の一時的に非表示や再表示を可能にしている。その結果、車両１の走行状態や運転者の操作応じて、そのときの状況に適した周囲の確認を可能にする表示を実現でき、運転者の安心感を向上させ易くなる。
【0135】
上述した実施形態において、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏを検知した場合に仮想車両画像Ｇ５が表示され始める例を示した。他の実施形態では、ＣＰＵ１４ａは、仮想車両画像Ｇ５を合成画像Ｇ３（俯瞰画像）に表示させるか否かを切り替える仮想表示用のメインスイッチ１０ａ（操作スイッチ）の操作状態に基づいて決定してもよい。メインスイッチ１０ａは、図３に例示するように、例えば、モニタ装置１１に設定される操作入力部１０（タッチセンサ式のスイッチ）の一部として設けてもよいし、別途機械的な物理スイッチとして設けてもよい。ＣＰＵ１４ａは、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏを検知しない場合であって、かつメインスイッチ１０ａの操作により仮想車両画像Ｇ５が表示装置８に表示可能な場合（メインスイッチがＯＮの場合）に、車両画像Ｇ１を、メインスイッチ１０ａがＯＦＦの場合と異なる態様にて表示する。例えば、図２０に示すように車両画像Ｇ１の表示色を車両１に対応する車色から他の色（例えば、緑色）に変化させたり、点滅表示させたりして、仮想車両画像Ｇ５が表示スタンバイ状態であることを表示する。この場合の表示態様に変更は、仮想車両画像Ｇ５が表示スタンバイ状態であることを運転者等に認識させることができればよく、車両画像Ｇ１の表示輝度を変更したり表示透過率を変更したりしてもよく、表示態様は適宜変更できる。また、メインスイッチ１０ａがＯＮ状態であることに基づき車両画像Ｇ１の表示態様を変更する場合、仮想車両画像Ｇ５の表示スタンバイ状態であることを報知するメッセージを合成画像Ｇ３や他の表示領域に表示してもよいし、音声や報知音を出力させて運転者が認識できるようにしてもよい。このように、車両画像Ｇ１の表示態様をメインスイッチ１０ａの操作状態に基づいて変化させるようにすることで、進路上に物体Ｏが検知された場合には、直ちに仮想車両画像Ｇ５によって物体Ｏの存在が通知される状態であることを運転者に認識させやすく、安心感を与え易い表示ができる。なお、図１９で説明した非表示スイッチ３０の場合、非表示スイッチ３０の操作により仮想車両画像Ｇ５が非表示となった場合でも、所定条件が満たされれば表示可能状態に復帰する。一方、メインスイッチ１０ａがＯＦＦの場合は、進路上の物体Ｏの存在の有無に拘わらず、仮想車両画像Ｇ５は非表示となる。この場合、運転者の要望に従う仮想車両画像Ｇ５の非表示が可能であり、シンプルな合成画像Ｇ３を提供することができる。
【0136】
また、本第３実施形態において、制御部４０３は、物体Ｏが検知される前より合成画像Ｇ３を拡大表示（ズームイン）することにより、車両画像Ｇ１の周囲状況、仮想車両画像Ｇ５の周囲状況等を認識し易い状態で表示する例を示した。ところで、運転者が実際に車両１を走行させる場合、移動時における車両１が、周囲に存在する物体Ｏに対して安全かつスムーズに通過できるように操舵する必要がある。つまり、仮想車両画像Ｇ５が物体Ｏに対して、必要十分な余裕距離（安全マージン）が確保できるように転舵する必要がある。余裕距離が不足すると、物体Ｏに接近し過ぎたり、接触したりしてしまう不都合が生じる。逆に、余裕距離を必要以上に取り過ぎると、適切な移動経路から乖離してしまうという不都合を生じる。また、この場合、余裕距離を考慮した方向とは逆側で余裕距離が減少してしまう場合もあり、逆側で接触の可能性が増加したり、狭い空間から抜け出せなくなったりする場合もあった。このように、余裕距離の適切な確保は、運転者の経験や技量等に左右される場合があり、適切に余裕距離が設定できていない場合は、運転者に不安感を与える原因になってしまう場合があった。また、合成画像Ｇ３を生成する場合に使用する画像を撮像する撮像部１５に取付誤差が存在している場合や、路面の傾斜状態等により周辺画像Ｇ２の表示位置に誤差が生じている場合がある。このような場合も適切に余裕距離が設定できていない原因になり、運転者に不安感を与える原因になってしまう場合があった。
【0137】
そこで、制御部４０３は、仮想車両画像Ｇ５を表示する場合に、仮想車両画像Ｇ５の車長方向の長さと、車幅方向の長さの少なくとも一方を、現在表示中の車両画像Ｇ１の対応する長さより拡大して表示するマージン拡大処理を実行する。この場合にマージン拡大率は、車種ごとに予め実験等により決定しておくことが可能であり、車両１の大きさに対応して表示されている車両画像Ｇ１の例えば、１．３倍等に設定することができる。このマージン拡大率は、一例であり、運転者等が適宜設定変更できるようにしてもよい。なお、マージン拡大処理は、合成画像Ｇ３に表示されている車両画像Ｇ１や周辺画像Ｇ２とは独立して仮想車両画像Ｇ５のみを拡大する処理である。
【0138】
図２１は、表示中の車両画像Ｇ１に対して仮想車両画像Ｇ５に対するマージン拡大処理の実行を説明する例示的かつ模式的な図である。図２１に示すシーンＳ６は、合成画像Ｇ３に車両画像Ｇ１のみが表示されている状態である。すなわち、車両画像Ｇ１と周辺画像Ｇ２は、同じ拡大率で表示されている。
【0139】
制御部４０３は、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏを検知した場合で、仮想車両画像Ｇ５を表示する場合、シーンＳ７で示すように、仮想車両画像Ｇ５の車長方向の長さＬ１と、車幅方向の長さＷ１の少なくとも一方（図２１のシーンＳ７の場合は両方）を所定拡大率に基づき拡大する。例えば、マージン拡大処理前の車両画像Ｇ１の車長方向の長さをＬ０とした場合、仮想車両画像Ｇ５の車長方向の長さを、例えば、１．３倍の長さＬ１に拡大する。同様に、マージン拡大処理前の車両画像Ｇ１の車幅方向の長さＷ０とした場合、仮想車両画像Ｇ５の車幅方向の長さを、例えば、１．３倍の長さＷ１に拡大する。この場合、車両画像Ｇ１と周辺画像Ｇ２に含まれる物体Ｏとの距離関係は、概ね実際の距離関係に対応するように表示されている。一方、仮想車両画像Ｇ５は車両画像Ｇ１より車長方向および車幅方向において拡大表示されている。したがって、物体Ｏに接触しないように仮想車両画像Ｇ５が移動する場合、所定の安全マージンが含まれた（考慮された）状態で、仮想車両画像Ｇ５が表示さる。その結果、運転者は、ガイド線ｍ（図１２等参照）が物体Ｏに接触しないように舵角を決定すれば、運転者の経験や技量、撮像部１５の取付状態、路面の傾斜状態等に拘わらず、安全マージンが適切に確保された状態が実現される。つまり、物体Ｏを回避して通過する場合に、物体Ｏに接近し過ぎたり、逆に遠ざかり過ぎたりするという不都合が回避され、運転者に安心感を与え易い表示ができる。
【0140】
なお、制御部４０３がマージン拡大処理を行う場合、車長方向の拡大基点は、例えば、車両画像Ｇ１（車両１）の前後方向における中心位置とすることができる。同様に、車幅方向の拡大基点は、例えば、車両画像Ｇ１（車両１）における車幅方向の中心位置とすることができる。また、シーンＳ７のように、車長方向および車幅方向の拡大を行う場合は、車両画像Ｇ１（車両１）における前後左右の中心位置とすることができる。
【0141】
ところで、例えば、物体Ｏが車両画像Ｇ１（車両１）の右前方に存在し、物体Ｏを避けながら車両画像Ｇ１（車両１）を右旋回させる場合、少なくとも、車両画像Ｇ１（車両１）における左前コーナー部と物体Ｏとの余裕距離が確保できていれば、物体Ｏの回避は可能となる。また、車両１を前進および旋回させる場合、車両長さ方向の安全マージンは認識しやすい、一方、車幅方向の安全マージンは、車両１の長さ方向より認識し難い傾向がある。したがって、物体Ｏを避けながら車両画像Ｇ１（車両１）を旋回させる場合のマージン拡大処理は、図２１のシーンＳ８に示すように、車幅方向の長さのみを拡大するようにしてもよい。すなわち、仮想車両画像Ｇ５の車長方向の長さは、マージン拡大処理前の車両画像Ｇ１の車長方向の長さＬ０を維持した長さＬ０のままとする。一方、車幅方向の長さは、マージン拡大処理前の車両画像Ｇ１の車幅方向の長さＷ０より、例えば、１．３倍に拡大した長さＷ２とする。その結果、旋回時に車両画像Ｇ１（車両１）の周囲（前後方向）に安全マージンを取り過ぎてしまうことが抑制できる。
【0142】
なお、車両画像Ｇ１（車両１）が前進する場合、制御部４０３は、車長方向におけるマージン拡大処理を仮想車両画像Ｇ５の前方のみに施すようにしてもよい。同様に、車両画像Ｇ１（車両１）が後退する場合、制御部４０３は、車長方向におけるマージン拡大処理を仮想車両画像Ｇ５の後方のみに施すようにしてもよい。また、車幅方向の安全マージンについても車両の進行方向（旋回方向）等に応じて、必要な方向のみに施すようにしてもよい。
【0143】
制御部４０３により、仮想車両画像Ｇ５のマージン拡大処理を実行する場合、仮想車両画像Ｇ５は、瞬時に目標の大きさに拡大してもよいが、運転者等にマージン拡大処理が実行されていることを認識し易くするために、徐々に拡大処理を実行することが望ましい。また、仮想車両画像Ｇ５のマージン拡大処理を実行する場合、仮想車両画像Ｇ５を車両１が所定距離進んだ場合の進路上を移動させながら目標の大きさに拡大してもよいが、運転者等にマージン拡大処理が実行されていることを認識し易くするために、マージン拡大処理が完了してから仮想車両画像Ｇ５の移動を開始するようにすることが望ましい。
【0144】
また、図１７等で示したように、合成画像Ｇ３を拡大表示する場合、制御部４０３は、合成画像Ｇ３の拡大処理が完了してから仮想車両画像Ｇ５に対するマージン拡大処理を実行するようにしてもよいし、合成画像Ｇ３の拡大処理を実行する際に仮想車両画像Ｇ５のマージン拡大処理を同時に実行してもよい。この場合、車両画像Ｇ１および周辺画像Ｇ２とは異なる拡大率で、仮想車両画像Ｇ５が拡大されることになる。
【0145】
仮想車両画像Ｇ５に対するマージン拡大処理を実行する場合、制御部４０３は、仮想車両画像Ｇ５の表示態様をマージン拡大処理の非実行時と異ならせてもよい。例えば、表示色の変更を行ったり、点滅表示を行ったりして運転者にマージン拡大処理の実行を認識させるようにしてもよい。
【0146】
なお、上述した実施形態において、仮想車両画像Ｇ５は、車両１が所定距離進んだ場合の進路上に物体Ｏが検知された場合に表示され、その際に、マージン拡大処理が実行される例を示した。変形例では、物体Ｏ（障害物）の有無に拘わらず、運転者によるメインスイッチ１０ａ等を用いた操作により、任意のタイミングで仮想車両画像Ｇ５を表示するようにしてもよい。そして、その際にマージン拡大処理を実行するようにしてもよい。
【0147】
また、上述した実施形態では、合成画像Ｇ３を拡大する処理を実行し、さらにＧ５のマージン拡大処理を実行する例を示した。別の実施形態では、合成画像Ｇ３の拡大処理は非
実行とし、仮想車両画像Ｇ５のマージン拡大処理のみを実行するようにしてもよい。この場合も、合成画像Ｇ３に表示された進路上の物体Ｏに対する余裕距離（安全マージン）を適切に確保する表示を行い、同様な効果を得ることができる。
実行とし、仮想車両画像Ｇ５のマージン拡大処理のみを実行するようにしてもよい。この場合も、合成画像Ｇ３に表示された進路上の物体Ｏに対する余裕距離（安全マージン）を適切に確保する表示を行い、同様な効果を得ることができる。
【0148】
(変形例)
上述した各実施形態の場合、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏを検知した場合に仮想車両画像Ｇ５を表示する例を示した。図２２に示す変形例では、舵角に拘わらず、方向指示器２６（図３参照）を使用した場合に仮想車両画像Ｇ５を表示するようにしてもよい。例えば、道路外の領域から道路に出る場合等は、運転者は、操舵部４（ステアリングホイール）の操作により舵角を決定する前に方向指示器２６を操作する。つまり、操舵部４の操作方向が予め推定できる。そこで、方向指示器２６が操作された場合、取得部４０１は、操舵角「０」（中立位置）と、方向指示器２６の指示方向の最大舵角との間で物体の探索を行う。つまり、これから車両１が走行する可能性のある領域について、順次進路を設定して物体の探索を行う。その結果、物体が検知された場合、図２２に示すように、現在の舵角に拘わらず、検知された物体を含む経路を設定し、その経路にしたがって、車両画像Ｇ１から仮想車両画像Ｇ５を移動させる。そして、物体と接触位置またはその手前の位置で仮想車両画像Ｇ５を停止するような表示を行う。この場合、上述したように、車両画像Ｇ１や仮想車両画像Ｇ５を拡大表示するとともに、方向指示器２６で指示する方向とは逆の方向にずらし表示処理を実行する。また、仮想車両画像Ｇ５と物体との距離に応じて部分画像ＰＧの表示色を例えば赤色に変化させてもよい。
上述した各実施形態の場合、現在の舵角で車両１が所定距離進んだ場合の進路上に物体Ｏを検知した場合に仮想車両画像Ｇ５を表示する例を示した。図２２に示す変形例では、舵角に拘わらず、方向指示器２６（図３参照）を使用した場合に仮想車両画像Ｇ５を表示するようにしてもよい。例えば、道路外の領域から道路に出る場合等は、運転者は、操舵部４（ステアリングホイール）の操作により舵角を決定する前に方向指示器２６を操作する。つまり、操舵部４の操作方向が予め推定できる。そこで、方向指示器２６が操作された場合、取得部４０１は、操舵角「０」（中立位置）と、方向指示器２６の指示方向の最大舵角との間で物体の探索を行う。つまり、これから車両１が走行する可能性のある領域について、順次進路を設定して物体の探索を行う。その結果、物体が検知された場合、図２２に示すように、現在の舵角に拘わらず、検知された物体を含む経路を設定し、その経路にしたがって、車両画像Ｇ１から仮想車両画像Ｇ５を移動させる。そして、物体と接触位置またはその手前の位置で仮想車両画像Ｇ５を停止するような表示を行う。この場合、上述したように、車両画像Ｇ１や仮想車両画像Ｇ５を拡大表示するとともに、方向指示器２６で指示する方向とは逆の方向にずらし表示処理を実行する。また、仮想車両画像Ｇ５と物体との距離に応じて部分画像ＰＧの表示色を例えば赤色に変化させてもよい。
【0149】
例えば、路側に設けられたガードレールの隙間を通って道路に出る場合、ガードレールの端部に接触しないように、舵角を決定する必要がある。図２２に示す表示例のように、操舵部４の操作により舵角を決定する前に、仮想車両画像Ｇ５が移動を開始し、検知した物体との接触位置（例えば、ガードレールの端部との接触位置）で仮想車両画像Ｇ５の表示を固定する。その結果、物体に接触することなく道路に出るために必要な舵角を運転者に認識させやすくなる。つまり、操舵部４を操作して、表示されている仮想車両画像Ｇ５に対応する舵角になる前の位置で舵角を決定すればよい。この場合、方向指示器２６の操作により表示された仮想車両画像Ｇ５とは別に、操舵部４の操作によって変化する舵角に対応する仮想車両画像Ｇ５を表示してもよい。この場合、先に表示されている仮想車両画像Ｇ５に、舵角に対応する仮想車両画像Ｇ５が重ならないように舵角を調整することで、物体との接触を回避できる舵角を決定することができる。その結果、物体との接触を回避したスムーズな発進を行うことができる。
【0150】
なお、方向指示器２６の操作によって表示された仮想車両画像Ｇ５に対応する舵角を運転者に通知するようにしてもよい。例えば、物体に接触しないような最大舵角を表示や音声で提示して運転者に操作させたり、自動操舵で操舵部４の操作量を決定したりしてもよい。また、図５に示すように、接近物指標Ｇ６を併せて表示して、車両１に接近してくる物体、例えば、歩行者や自転車、他車等を、その存在や接近方向を運転者が認識し易い状態で表示してもよい。なお、方向指示器２６の操作によって仮想車両画像Ｇ５を表示しようとする場合に、最大舵角まで探索しても接触する可能性のある物体が検知できない場合、仮想車両画像Ｇ５は、最大舵角に対応する方向に移動するように表示してもよいし、非表示としてもよい。この場合、例えば、「最大舵角に操作しても、物体との接触の可能性は低いです。」等の表示やメッセージを出力するようにしてもよい。また、図２１で説明したように、仮想車両画像Ｇ５に対して、マージン拡大処理を併せて実行してもよい。この場合、大きく旋回しながら走行する際の運転者の安心感を向上させやすい表示ができる。
【0151】
本実施形態のＣＰＵ１４ａで実行される周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0152】
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0153】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0154】
１…車両、８…表示装置、１０…操作入力部、１０ａ…メインスイッチ、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１５…撮像部、１６…レーダー、１７…ソナー、４００…画像取得部、４０１…取得部、４０２…検知部、４０３…制御部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】