知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6972938
(24)【登録日】2021年11月8日
(45)【発行日】2021年11月24日
(54)【発明の名称】周辺監視装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20211111BHJP
B60R 1/00 20060101ALI20211111BHJP
B60D 1/00 20060101ALI20211111BHJP
【ＦＩ】
H04N7/18 J
H04N7/18 V
B60R1/00 A
B60D1/00 Z
【請求項の数】8
【全頁数】24
(21)【出願番号】特願2017-214709(P2017-214709)
(22)【出願日】2017年11月7日
(65)【公開番号】特開2019-87875(P2019-87875A)
(43)【公開日】2019年6月6日
【審査請求日】2020年10月15日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】山本 欣司
(72)【発明者】
【氏名】渡邊 一矢
(72)【発明者】
【氏名】丸岡 哲也
(72)【発明者】
【氏名】中所 孝之
(72)【発明者】
【氏名】福島 いつ子
【審査官】
鈴木 隆夫
(56)【参考文献】
【文献】
特開２０１２−１０５１５８（ＪＰ，Ａ）
【文献】
特開２００２−０４６５３３（ＪＰ，Ａ）
【文献】
特表２０１０−５２０１０８（ＪＰ，Ａ）
【文献】
特開２０１５−１５４４０６（ＪＰ，Ａ）
【文献】
特開２０１６−１１９５２６（ＪＰ，Ａ）
【文献】
国際公開第２０１６／０２４４４４（ＷＯ，Ａ１）
【文献】
特開２００９−０６０４９９（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ １／００
Ｂ６０Ｄ １／００
(57)【特許請求の範囲】
【請求項1】
被牽引車両を連結可能な牽引車両に前記被牽引車両が連結されているか否かを判定する連結判定部と、
前記牽引車両に前記被牽引車両が連結されている場合に、少なくとも前記被牽引車両を移動させる際の目標となる移動目標位置を設定する目標設定部と、
前記牽引車両に設けられた撮像部によって撮像される周辺画像のうち前記移動目標位置を含む画像を移動目標画像として保存する保存制御部と、
保存された前記移動目標画像を、前記撮像部によって撮像されて表示装置に現在表示されている現在画像に含まれる前記牽引車両または前記被牽引車両と関連付けて表示させる画像制御部と、
を備える周辺監視装置。
前記牽引車両に前記被牽引車両が連結されている場合に、少なくとも前記被牽引車両を移動させる際の目標となる移動目標位置を設定する目標設定部と、
前記牽引車両に設けられた撮像部によって撮像される周辺画像のうち前記移動目標位置を含む画像を移動目標画像として保存する保存制御部と、
保存された前記移動目標画像を、前記撮像部によって撮像されて表示装置に現在表示されている現在画像に含まれる前記牽引車両または前記被牽引車両と関連付けて表示させる画像制御部と、
を備える周辺監視装置。
【請求項2】
前記保存制御部は、前記移動目標位置が設定されたときに撮像された前記移動目標画像を少なくとも保存する請求項１に記載の周辺監視装置。
【請求項3】
前記保存制御部は、前記移動目標位置が設定されたときに前記移動目標画像の保存を開始する請求項１または請求項２に記載の周辺監視装置。
【請求項4】
前記移動目標位置が、前記撮像部の撮像領域において前記被牽引車両による死角領域に入るか否かを判定する死角判定部をさらに含み、
前記画像制御部は、前記移動目標位置が前記死角領域に入る場合に、保存された前記移動目標画像を前記牽引車両または前記被牽引車両と関連付けて表示させる請求項１から請求項３のいずれか１項に記載の周辺監視装置。
前記画像制御部は、前記移動目標位置が前記死角領域に入る場合に、保存された前記移動目標画像を前記牽引車両または前記被牽引車両と関連付けて表示させる請求項１から請求項３のいずれか１項に記載の周辺監視装置。
【請求項5】
前記画像制御部は、前記現在画像において前記移動目標位置が前記死角領域に入る場合、前記死角領域の中で少なくとも前記移動目標位置に対応する領域に、保存された前記移動目標画像に含まれる少なくとも前記移動目標位置の画像を重畳する請求項４に記載の周辺監視装置。
【請求項6】
前記画像制御部は、前記死角領域に前記移動目標画像を重畳する場合、当該移動目標画像を透過態様で重畳する請求項５に記載の周辺監視装置。
【請求項7】
前記画像制御部は、前記移動目標位置が設定されたときに保存された第一の移動目標画像の画像内容と、前記移動目標位置が前記死角領域に入る直前に保存された第二の移動目標画像の画像内容との間に所定値以上の差異がある場合、前記第二の移動目標画像を前記現在画像と関連付けて表示させる請求項４から請求項６のいずれか１項に記載の周辺監視装置。
【請求項8】
前記移動目標位置の設定が行われたときの前記牽引車両の位置を基準として当該牽引車両の現在位置を取得する位置取得部と、
前記牽引車両と前記被牽引車両との連結角度を取得する角度取得部と、
前記現在画像に重畳可能で、前記被牽引車両の大きさに対応するトレーラ指標を取得する指標取得部と、
をさらに備え、
前記画像制御部は、保存された前記移動目標画像を前記現在画像に関連付けて表示する場合、前記牽引車両の前記現在位置と前記連結角度とに基づき前記トレーラ指標の表示姿勢を決定し、前記トレーラ指標を前記現在画像に重畳表示させる請求項１から請求項７のいずれか１項に記載の周辺監視装置。
前記牽引車両と前記被牽引車両との連結角度を取得する角度取得部と、
前記現在画像に重畳可能で、前記被牽引車両の大きさに対応するトレーラ指標を取得する指標取得部と、
をさらに備え、
前記画像制御部は、保存された前記移動目標画像を前記現在画像に関連付けて表示する場合、前記牽引車両の前記現在位置と前記連結角度とに基づき前記トレーラ指標の表示姿勢を決定し、前記トレーラ指標を前記現在画像に重畳表示させる請求項１から請求項７のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【0002】
従来、牽引車両（トラクタ）の後部に旋回自在に連結されて牽引される被牽引車両（トレーラ）が知られている。牽引車両が被牽引車両を連結していない場合、牽引車両に搭乗する運転者は、サイドミラー等を視認したり、牽引車両の後部に設けられた撮像部（カメラ）で撮像した画像を運転席の表示装置を介して視認したりすることで後方確認を行うことができる。しかしながら、牽引車両が被牽引車両を連結している場合、被牽引車両の連結角度によっては、サイドミラー等の視認領域や撮像部の撮像領域の一部または全てが被牽引車両によって遮られて死角になってしまう場合がある。そこで、被牽引車両の側面に撮像部を新たに設け、撮像した画像を牽引車両の表示装置に表示することにより、被牽引車両の連結角度に拘わらず被牽引車両の後方をサイドミラー等で見たときと同様な状況把握ができるようにする後方確認装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第３４３６４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら従来技術の場合、被牽引車両ごとに撮像部を設ける必要があるとともに、被牽引車両側で撮像した画像を牽引車両側に伝送する伝送線や被牽引車両の連結の有無によって伝送線の接離を可能にする接離装置等が必要になりコストが増加してしまうという問題があった。また、牽引車両は仕様の異なる様々な被牽引車両と接続される場合がある。そのため、牽引車両側の表示システムと、被牽引車両側の撮像システムや伝送システムとの仕様の共通化が必要となり、システムの導入が困難な場合があった。
【0005】
そこで、本発明の課題の一つは、コストの増加を抑制しつつ、また被牽引車両の仕様に拘わらず周囲の状況把握、特に被牽引車両の後方等の状況把握が容易にできる周辺監視装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の実施形態にかかる周辺監視装置は、例えば、被牽引車両を連結可能な牽引車両に上記被牽引車両が連結されているか否かを判定する連結判定部と、上記牽引車両に上記被牽引車両が連結されている場合に、少なくとも上記被牽引車両を移動させる際の目標となる移動目標位置を設定する目標設定部と、上記牽引車両に設けられた撮像部によって撮像される周辺画像のうち上記移動目標位置を含む画像を移動目標画像として保存する保存制御部と、保存された上記移動目標画像を、上記撮像部によって撮像されて表示装置に現在表示されている現在画像に含まれる上記牽引車両または上記被牽引車両と関連付けて表示させる画像制御部と、を備える。この構成によれば、例えば、保存しておいた移動目標画像を現在画像において、牽引車両や被牽引車両と関連付けて表示可能なので、現在画像の内容に拘わらず保存された移動目標画像により移動目標位置と牽引車両または被牽引車両との相対関係を示すことができる。つまり、周囲の状況把握を容易な構成で行わせ易くなる。
【0007】
また、実施形態にかかる周辺監視装置の上記保存制御部は、例えば、上記移動目標位置が設定されたときに撮像された上記移動目標画像を少なくとも保存するようにしてもよい。この構成によれば、例えば、被牽引車両が移動することが確実となったときの移動目標画像が保存できる。その結果、無駄な画像の保存による記憶装置の記憶容量の圧迫を回避しつつ、利用可能性の高い画像を確実に保存することができる。
【0008】
また、実施形態にかかる周辺監視装置の上記保存制御部は、例えば、上記移動目標位置が設定されたときに上記移動目標画像の保存を開始するようにしてもよい。この構成によれば、例えば、被牽引車両が移動することが確実となったときから複数の移動目標画像の保存ができる。その結果、移動目標位置を含む複数の移動目標画像の保存が可能になり、記憶装置の記憶容量の圧迫を回避しつつ、複数の画像の中から移動目標位置と牽引車両または被牽引車両との相対関係を適切に示せるような移動目標画像の選択がと可能なる。その結果、保存された移動目標画像を用いたより適切な周囲状況の把握を行わせやすくなる。
【0009】
また、実施形態にかかる周辺監視装置は、例えば、上記移動目標位置が、上記撮像部の撮像領域において上記被牽引車両による死角領域に入るか否かを判定する死角判定部をさらに含み、上記画像制御部は、上記移動目標位置が上記死角領域に入る場合に、保存された上記移動目標画像を上記牽引車両または上記被牽引車両と関連付けて表示させるようにしてもよい。この構成によれば、被牽引車両の旋回状態（連結角度）によって移動目標位置が隠されるような死角が撮像範囲に形成された場合でも、保存しておいた移動目標画像によって死角領域を補完することができる。その結果、移動目標位置を表示し続けることが可能になり視認性の維持ができる。
【0010】
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記現在画像において上記移動目標位置が上記死角領域に入る場合、上記死角領域の中で少なくとも上記移動目標位置に対応する領域に、保存された上記移動目標画像に含まれる少なくとも上記移動目標位置の画像を重畳するようにしてもよい。この構成によれば、例えば、現在画像に死角領域が形成される場合でも、保存していた移動目標画像を死角領域に対応するように重畳するので、あたかも死角領域が存在しないような違和感の軽減された画像を形成可能となり、表示画像の視認性を向上できる。
【0011】
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記死角領域に上記移動目標画像を重畳する場合、当該移動目標画像を透過態様で重畳するようにしてもよい。この構成によれば、例えば、移動目標画像が保存された後に移動目標位置の周囲状況が変化した場合、例えば、歩行者が進入してきた場合、現在画像で表示される歩行者等をそのまま表示した状態で、例えば薄い表示態様の移動目標画像が重畳できる。その結果、現在の状況を把握させつつ、移動目標位置の周辺の状況も把握させやすくすることができる。また死角領域が存在すること、および死角領域が移動目標画像によって補完されていることを認識させやすく、注意喚起させやすくなる。
【0012】
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記移動目標位置が設定されたときに保存された第一の移動目標画像の画像内容と、上記移動目標位置が上記死角領域に入る直前に保存された第二の移動目標画像の画像内容との間に所定値以上の差異がある場合、上記第二の移動目標画像を上記現在画像と関連付けて表示させるようにしてもよい。この構成によれば、第一の移動目標画像の画像内容と第二の移動目標画像の画像内容との間の差異が所定値以上の場合、第一の移動目標画像の保存から第二の移動目標画像を保存するまでの間に、移動目標位置の周辺で、移動体が進退するような変化が生じたと推定することができる。例えば、歩行者が進入したり移動目標位置の隣接領域に他車両が駐車したりする等の変化が生じたと推定できる。この場合、現在画像に関連付ける画像として第二の移動目標画像を用いることで、直近の状況を反映させた画像を表示することができる。一方、第一の移動目標画像の画像内容と第二の移動目標画像の画像内容との間の差異が所定値未満の場合、第一の移動目標画像の保存から第二の移動目標画像を保存するまでの間に、移動目標位置の周辺で状況の変化が実質的になかったと推定することができる。この場合、運転者が移動目標位置を最初に認識したときの画像（第一の移動目標画像）、例えば、移動目標位置を側方の撮像部で正面の近い位置から撮像したような品質の高い画像を現在画像に関連付ける画像として用いる。その結果、画像を表示する際の移動目標位置を認識させやすくすることができる。
【0013】
また、実施形態にかかる周辺監視装置は、例えば、上記移動目標位置の設定が行われたときの上記牽引車両の位置を基準として当該牽引車両の現在位置を取得する位置取得部と、上記牽引車両と上記被牽引車両との連結角度を取得する角度取得部と、上記現在画像に重畳可能で、上記被牽引車両の大きさに対応するトレーラ指標を取得する指標取得部と、をさらに備え、上記画像制御部は、保存された上記移動目標画像を上記現在画像に関連付けて表示する場合、上記牽引車両の上記現在位置と上記連結角度とに基づき上記トレーラ指標の表示姿勢を決定し、上記トレーラ指標を上記現在画像に重畳表示させるようにしてもよい。この構成によれば、現在画像上で被牽引車両の旋回方向や旋回角度等の姿勢確認をしやすくすることができるとともに、周辺に物体（障害物や歩行者等）が存在する場合、その物体と被牽引車両との位置関係をより正確に認識させやすくなる。
【図面の簡単な説明】
【0014】
【図7】図７は、実施形態にかかる周辺監視装置において、駐車目標位置を設定した際に保存される駐車目標画像（移動目標画像）の一例であり、現在画像に表示するときの駐車目標画像のトリミング領域の一例を説明する模式図である。
【発明を実施するための形態】
【0015】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【0016】
図１は、実施形態の周辺監視装置を搭載する牽引車両１０および牽引車両１０に牽引される被牽引車両１２が示された側面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図２は、図１に示す牽引車両１０および被牽引車両１２の上面図である。また、図３は、牽引車両１０に搭載される周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。
【0017】
牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は図１に示されるようなスポーツ用多目的車両（Sport Utility Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【0018】
牽引車両１０のリヤバンパ１６の例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａを備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。
【0019】
被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、駆動輪や操舵輪を含まない従動輪として一対のトレーラ車輪２２を備える従動車両である。
【0020】
また、図１、図２に例示されるように、牽引車両１０には、複数の撮像部２４として、例えば四つの撮像部２４ａ〜２４ｄが設けられている。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部２４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部２４は、牽引車両１０が移動可能な路面や物体（障害物として、例えば、歩行者、車両等）を含む牽引車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
【0021】
撮像部２４ａ（後方撮像部）は、例えば、牽引車両１０の後側のリヤハッチ１０ａの下方の壁部に位置される。撮像部２４ａは、牽引車両１０の後端部（リヤバンパ１６）、牽引装置１８、連結部材２０および被牽引車両１２の少なくとも前端部を含む領域（例えば、二点鎖線で示す範囲、図１参照）、被牽引車両１２の側方から臨む被牽引車両１２の後方領域等を撮影可能である。撮像部２４ａによって撮像された撮像画像データは、被牽引車両１２の認識および、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。この場合、撮像部２４ａの撮像した撮像画像データに基づき牽引車両１０と被牽引車両１２との連結状態や連結角度が取得できるので、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。
【0022】
また、撮像部２４ｂ（左側方撮像部）は、例えば、牽引車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、牽引車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像する。撮像部２４ｃ（前方撮像部）は、例えば、牽引車両１０の前側、すなわち車両前後方向の前方側の端部、例えばフロントグリル１０ｃやフロントバンパ等に設けられて、牽引車両１０の前方を含む前方画像を撮像する。撮像部２４ｄ（右側方撮像部）は、例えば、牽引車両１０の右側の端部、例えば右側のドアミラー１０ｄに設けられて、牽引車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像する。複数の撮像部２４で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、牽引車両１０を上方から見た仮想的な俯瞰画像（平面画像)を生成したりすることができる。
【0023】
牽引車両１０車室内には、図３に示されるように、表示装置２６や、音声出力装置２８が設けられている。表示装置２６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置２８は、例えば、スピーカである。また、表示装置２６は、例えば、タッチパネル等、透明な操作入力部３０で覆われている。乗員（例えば、運転者）は、操作入力部３０を介して表示装置２６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置２６の表示画面に表示される画像に対応した位置で手指等で操作入力部３０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置２６や、音声出力装置２８、操作入力部３０等は、例えば、牽引車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置３２に設けられている。モニタ装置３２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置３２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【0024】
また、図１、図２に例示されるように、牽引車両１０は、例えば、四輪自動車であり、左右二つの前輪１４Ｆと、左右二つの後輪１４Ｒとを有する。これら四つの車輪１４は、いずれも転舵可能に構成されうる。図３に示されるように、牽引車両１０は、少なくとも二つの車輪１４を操舵する操舵システム３４を有している。操舵システム３４は、アクチュエータ３４ａと、トルクセンサ３４ｂとを有する。操舵システム３４は、ＥＣＵ３６（electronic control unit）等によって電気的に制御されて、アクチュエータ３４ａを動作させる。操舵システム３４は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム３４は、アクチュエータ３４ａによってステアリングホイールにトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ３４ａによって車輪１４を転舵したりする。この場合、アクチュエータ３４ａは、一つの車輪１４を転舵してもよいし、複数の車輪１４を転舵してもよい。また、トルクセンサ３４ｂは、例えば、運転者がステアリングホイールに与えるトルクを検出する。
【0025】
また、図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ３６や、モニタ装置３２、操舵システム３４等の他に、ブレーキシステム３８、舵角センサ４０、アクセルセンサ４２、シフトセンサ４４、車輪速センサ４６等が、電気通信回線としての車内ネットワーク４８を介して電気的に接続されている。車内ネットワーク４８は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ３６は、車内ネットワーク４８を通じて制御信号を送ることで、操舵システム３４、ブレーキシステム３８等を制御することができる。また、ＥＣＵ３６は、車内ネットワーク４８を介して、トルクセンサ３４ｂ、ブレーキセンサ３８ｂ、舵角センサ４０、アクセルセンサ４２、シフトセンサ４４、車輪速センサ４６等の検出結果や、操作入力部３０の操作信号等を、受け取ることができる。
【0026】
ＥＣＵ３６は、例えば、ＣＰＵ３６ａ（central processing unit）や、ＲＯＭ３６ｂ（read only memory）、ＲＡＭ３６ｃ（random access memory）、表示制御部３６ｄ、音声制御部３６ｅ、ＳＳＤ３６ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ３６ａは、ＲＯＭ３６ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ３６ａは、例えば、表示装置２６で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ３６ａは、撮像部２４が撮像した撮像画像データに演算処理や画像処理を実行して、周辺画像（例えば、俯瞰画像）を生成する。
【0027】
ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３６ｄは、ＥＣＵ３６での演算処理のうち、主として、表示装置２６で表示される画像データの合成等を実行する。また、音声制御部３６ｅは、ＥＣＵ３６での演算処理のうち、主として、音声出力装置２８で出力される音声データの処理を実行する。ＳＳＤ３６ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３６の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３６ａや、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３６は、ＣＰＵ３６ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３６ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ３６ｆやＨＤＤは、ＥＣＵ３６とは別に設けられてもよい。
【0028】
ブレーキシステム３８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の牽引車両１０の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム３８は、アクチュエータ３８ａを介して、車輪１４ひいては牽引車両１０に制動力を与える。また、ブレーキシステム３８は、左右の車輪１４の回転差などからブレーキのロックや、車輪１４の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ３８ｂは、例えば、ブレーキペダルの可動部の位置を検出するセンサである。
【0029】
舵角センサ４０は、例えば、ステアリングホイールの操舵量を検出するセンサである。ＥＣＵ３６は、運転者によるステアリングホイールの操舵量や、自動操舵時の各車輪１４の転舵量等を、舵角センサ４０から取得して各種制御を実行する。アクセルセンサ４２は、例えば、アクセルペダルの可動部の位置を検出するセンサである。シフトセンサ４４は、例えば、シフト操作部の可動部の位置を検出するセンサである。車輪速センサ４６は、車輪１４の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ４６は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ３６は、車輪速センサ４６から取得したセンサ値に基づいて牽引車両１０の移動量などを演算し、各種制御を実行する。
【0030】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【0031】
表示装置２６は、例えば、牽引車両１０に被牽引車両１２が連結されている場合で、設定した移動目標位置に被牽引車両１２を移動させる場合に、予め保存された移動目標位置を含む移動目標画像を、当該移動目標画像が保存されたタイミングとは別のタイミングで表示することができる。例えば、移動目標位置を設定した後に牽引車両１０を移動目標位置に向かって移動させる過程で、表示装置２６に現在表示されている現在画像に映っていた移動目標位置が、牽引車両１０に対して旋回可能な被牽引車両１２が牽引車両１０の移動方向とは異なる移動方向に移動することによって遮られて見えなくなった（死角領域に入ってしまった）とする。このような場合、保存しておいた移動目標画像を用いて、死角領域に入った移動目標位置の表示を行う。つまり、画像の補完を行う。その結果、被牽引車両１２が連結された牽引車両１０を移動させる場合、設定した移動目標位置の確認を良好かつ容易に行うことが可能になり運転負荷の軽減に寄与できる。
【0032】
以下の説明では、被牽引車両１２が連結された牽引車両１０を移動させる場合の周辺監視の一例として、被牽引車両１２を所定の駐車スペースに駐車する場合を説明する。したがって、以下の説明では、「移動目標位置」を「駐車目標位置」として説明し、「移動目標画像」を「駐車目標画像」として説明する。なお、運転者が被牽引車両１２を移動させる場合、まず、駐車スペースの入口部分を認識し、そこを駐車目標位置とする場合がある。したがって、本実施形態では、一例として、図５に示すように、駐車スペースＰの入口の幅を定める一対の立体物である例えばパイロン５８ａ，５８ｂで規定される領域を駐車目標位置Ｔとして説明する。この場合、パイロン５８ａとパイロン５８ｂの少なくとも一方が死角領域に入り視認できない場合、駐車目標位置Ｔの幅が不定となり、駐車目標位置Ｔが認識できないことになる。したがって、本実施形態において、「駐車目標画像」とは、駐車目標位置Ｔを規定するパイロン５８ａ，５８ｂの両方が写った画像であり、当該パイロン５８ａ，５８ｂで規定される駐車スペースＰの入口の領域を含む画像とすることができる。
【0033】
なお、駐車目標位置Ｔは、上述のように広さを持った領域に限らず、例えば、駐車スペースＰの幅を規定するパイロン５８ａやパイロン５８ｂ、区画線６０ａや区画線６０ｂ、駐車スペースＰの入口の幅の中央位置等のピンポイントの位置であってもよい。また、本実施形態では、駐車の形態として、駐車スペースＰに所定の姿勢（例えば、区画線６０ａ，６０ｂと実質的に平行な姿勢）で被牽引車両１２を移動させて、牽引車両１０は、そこで被牽引車両１２を切り離して、駐車スペースＰに被牽引車両１２のみを駐車する例を説明する。
【0034】
ＥＣＵ３６に含まれるＣＰＵ３６ａは、上述したような予め保存しておいた駐車目標画像（過去画像）を用いた周辺監視を実現する表示処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ３６ａがＲＯＭ３６ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ３６ａは、図４に示されるように、取得部５０、目標設定部５２、判定部５４、制御部５６等のモジュールを備える。
【0035】
取得部５０は、周辺監視を実現するための各種情報を取得するために、周辺監視要求取得部５０ａ、画像取得部５０ｂ、連結角度取得部５０ｃ、自車位置取得部５０ｄ、誘導経路取得部５０ｅ、トレーラ諸元取得部５０ｆ、指標取得部５０ｇ等を含む。
【0036】
周辺監視要求取得部５０ａは、例えば、運転者が被牽引車両１２を連結した牽引車両１０を運転中に、操作入力部３０を用いて駐車のための周辺監視の実行を要求した際に、その要求信号を受け付ける。また、別の実施形態では、被牽引車両１２を連結した牽引車両１０が駐車場等に進入したことがＧＰＳ（global positioning system）等を用いて検出された場合、周辺監視要求取得部５０ａは、駐車のための周辺監視の実行が要求されたと見なして、要求信号を受け付けてもよい。
【0037】
画像取得部５０ｂは、周辺監視要求取得部５０ａが要求信号を取得した場合、少なくとも牽引車両１０の周囲状況を表示するために必要な画像情報を取得する。例えば、画像取得部５０ｂは、牽引車両１０の周辺を撮像する撮像部２４ａ〜２４ｄから、複数の撮像画像データ（例えば、前方画像、左側方画像、右側方画像、後方画像等のデータ）を取得する。取得した画像は、実画像としてそのままの態様で表示装置２６に逐次表示される場合と、視点変換等が施されて俯瞰画像の態様で表示装置２６に逐次表示される場合とがある。また、ＲＡＭ３６ｃやＳＳＤ３６ｆ等の記憶装置に過去画像として一時的に保存されて、後のタイミングで表示装置２６に表示されている画像（現在画像）とともに表示される場合がある。
【0038】
連結角度取得部５０ｃは、牽引車両１０と被牽引車両１２との連結角度θ、つまり、牽引装置１８を支点とする連結部材２０の角度を取得する。この連結角度θは、種々の方法で取得可能である。例えば、撮像部２４ａが撮像した撮像画像データに基づく画像から牽引装置１８（牽引車両１０）に対する連結部材２０の連結角度θを検出することができる。例えば、図２に示すように、連結部材２０において被牽引車両１２の前後方向に延びる直線のうちカプラ２０ａを通る直線を検出して、この直線を連結部材２０の連結中心軸Ｍとする。また、撮像部２４ａが撮像した画像上で牽引車両１０の車両中心軸Ｎは既知なので、車両中心軸Ｎと連結中心軸Ｍとから連結角度θが検出できる。なお、本実施形態の場合、撮像部２４ａは、牽引装置１８の直上、すなわち、車両中心軸Ｎと同軸上に配置されている例を示している。つまり、連結部材２０をほぼ真上から俯瞰できるため、車両中心軸Ｎと連結中心軸Ｍとの成す連結角度θの検出が容易である。一方、牽引車両１０の構造上の都合や他の理由により撮像部２４ａを牽引装置１８の直上に設置できない場合がある。例えば、リヤハッチ１０ａの中央から左右いずれかの方向にずれた位置に撮像部２４ａが設置される場合がある。この場合、撮像部２４ａが撮像した画像の二次元座標を牽引装置１８（ヒッチボール１８ａ）の地上高（仕様書等に基づく既知の値）に基づき三次元座標に変換し、車両中心軸Ｎと連結中心軸Ｍとに基づき連結角度θを検出することができる。
【0039】
また、別の実施形態では、連結角度取得部５０ｃは、連結部材２０や被牽引車両１２の前方壁面に付されたマーカの位置を撮像した画像を解析して連結角度θを検出してもよい。また、別の実施形態では、牽引装置１８に角度センサを設けて、検出された連結部材２０の角度を連結角度θとして取得してもよい。連結角度取得部５０ｃによって取得された連結角度θは、被牽引車両１２によって形成される死角領域に駐車目標位置が入るか否かの判定を行う場合や、図５に示すように、被牽引車両１２を駐車スペースＰに導くための誘導経路Ｒの算出を行う場合に利用される。また、被牽引車両１２が表示装置２６上で表示される場合に視認性を向上するために表示するトレーラ指標（トレーラアイコン）の表示角度（表示姿勢）を決定する場合等に利用される。
【0040】
自車位置取得部５０ｄは、牽引車両１０の停車中および走行中の現在の位置（自車位置）を取得する。また、自車位置取得部５０ｄは、例えば、駐車目標位置Ｔを設定したときの牽引車両１０の位置を原点とする座標系を設定する。そして、自車位置取得部５０ｄは、舵角センサ４０から取得できる舵角に基づく牽引車両１０の旋回半径、車輪速センサ４６から取得できる速度に基づく牽引車両１０の移動量、シフトセンサ４４から取得できる牽引車両１０の進行方向等から上述の座標系における牽引車両１０の位置を推定することができる。また、別の実施形態では、自車位置取得部５０ｄは、画像取得部５０ｂが取得した撮像画像データに基づく画像による画像認識によって自車位置を推定することができる。この場合、例えば、撮像部２４から逐次出力される撮像画像データを用いてオプティカルフローを作成し、作成したオプティカルフローに基づいて牽引車両１０の現在位置を演算することができる。また、ＧＰＳを用いて現在位置を特定してもよい。
【0041】
なお、以下の説明では、一例として、上述したように、駐車目標位置Ｔを設定したときの牽引車両１０の位置を原点とする座標系を用いて種々の位置特定を行う。例えば、駐車目標位置Ｔの特定や、現在画像に対して、保存しておいた駐車目標画像を関連付ける場合の位置の特定等をこの座標系の座標で行うものとする。また、自車位置取得部５０ｄにより取得された自車位置は、牽引車両１０と駐車目標位置Ｔとの相対位置の認識や被牽引車両１２によって形成される死角領域に駐車目標位置Ｔが入るか否かを判定する場合等に利用しうる。また、被牽引車両１２を駐車スペースＰに導くための誘導経路Ｒの算出を行う場合等にも利用されうる。
【0042】
誘導経路取得部５０ｅは、例えば、図５に示すように、牽引車両１０の現在位置から駐車スペースＰに含まれる駐車目標位置Ｔに牽引車両１０を誘導するための誘導経路Ｒを例えば、駐車目標位置Ｔを設定したときに定めた座標系上（Ｘ−Ｚ座標）で取得する。例えば牽引車両１０の左右の後輪１４Ｒを連結する車軸の略中央部に誘導基準点Ｂを設定し、この誘導基準点Ｂを、誘導開始に先立ち設定した誘導目標点Ｃに実質的に一致するように誘導する誘導経路Ｒを算出する。本実施形態の場合、駐車スペースＰの入口に設けられたパイロン５８ａ，５８ｂで規定される駐車目標位置Ｔの中央位置を誘導目標点Ｃとしている。牽引車両１０の誘導基準点Ｂを誘導目標点Ｃに移動させることにより、牽引車両１０の後部に連結した被牽引車両１２を駐車スペースＰに収めることができる。誘導経路Ｒの取得（算出）は周知の方法が利用可能であり、詳細な説明は省略するが、牽引車両１０の現在位置を示す誘導基準点Ｂを誘導目標点Ｃまで最短でかつ切り返し回数を最小として、被牽引車両１２を所定の姿勢で駐車スペースＰに移動させることができるような牽引車両１０の誘導経路Ｒを算出する。ここで、所定の姿勢とは、例えば、駐車スペースＰに対する被牽引車両１２の左右方向と前後方向の隙間の大きさが所定範囲内であることと、駐車スペースＰの前後方向の中心線と被牽引車両１２の前後方向の中心線とのなす角度が所定値以下であること等である。なお、誘導経路Ｒは、例えば、牽引車両１０の現在位置（誘導基準点Ｂ）と誘導目標点Ｃとを、外部システム（例えば、駐車場管理システム）等に送信し、そこで算出した誘導経路Ｒを誘導経路取得部５０ｅが取得するようにしてもよい。
【0043】
トレーラ諸元取得部５０ｆは、被牽引車両１２の諸元（例えば、被牽引車両１２の各サイズ等）を取得する。図５に示すように、被牽引車両１２が連結された牽引車両１０が駐車スペースＰの前を通過するときに、牽引車両１０の右側面に配置された撮像部２４ｄは、駐車スペースＰに含まれる駐車目標位置Ｔ（パイロン５８ａ，５８ｂを含む領域）を撮像することができる。一方、図６に示すように、被牽引車両１２を連結した牽引車両１０が誘導経路Ｒ（図５参照）にしたがい移動する場合、被牽引車両１２の連結角度θが変化して、被牽引車両１２が表示装置２６に表示されている駐車目標位置Ｔの一部または全てを隠してしまう場合がある。図６の場合、駐車目標位置Ｔに含まれるパイロン５８ａが被牽引車両１２により形成される死角領域Ｄに入り、表示装置２６上で確認できなくなっている。この場合、運転者は駐車目標位置Ｔの一方端が確認できず、駐車スペースＰの状況（駐車スペースＰの大きさや隣接する駐車スペースＰ１に駐車されている被牽引車両１２ａ（図５参照）との位置関係が把握しにくくなる場合がある。駐車目標位置Ｔ（パイロン５８ａ）が死角領域Ｄに入ったか否かを判定する場合に、被牽引車両１２の実際の大きさが必要になる。そこで、トレーラ諸元取得部５０ｆは、操作入力部３０を介して入力された被牽引車両１２の前後方向の長さ、被牽引車両１２の車幅等の情報を取得する。
【0044】
なお、誘導経路取得部５０ｅは、被牽引車両１２を駐車目標位置Ｔで規定される駐車スペースＰに移動させるような誘導経路Ｒを算出するために、牽引車両１０に牽引装置１８を介して旋回可能に連結された被牽引車両１２の挙動を把握する必要がある。牽引車両１０に対して旋回可能な被牽引車両１２は、牽引車両１０が後退走行する場合に、牽引車両１０と同じ挙動を示す場合と異なる挙動を示す場合がある。例えば、牽引車両１０と被牽引車両１２とがいわゆる「釣合状態」である場合に、牽引車両１０と被牽引車両１２との挙動が一致する。すなわち、牽引車両１０と被牽引車両１２とを一体物と見なして移動状態を把握することができる。例えば、牽引車両１０の車両中心軸Ｎと被牽引車両１２の連結中心軸Ｍとが実質的に一致して重なる（実質的に一直線になる）場合に釣合状態になる。また、車両中心軸Ｎと連結中心軸Ｍとが一致しない場合でも、牽引車両１０の旋回中心位置と被牽引車両１２の旋回中心位置とが実質的に一致している場合に釣合状態になる。牽引車両１０の旋回中心位置は、牽引車両１０の現在の舵角および牽引車両１０のホイールベースの長さに基づき取得することができる。一方、被牽引車両１２の旋回中心位置は、牽引車両１０と被牽引車両１２の連結角度θと、被牽引車両１２のホイールベースの長さとに基づいて取得することができる。被牽引車両１２のホイールベースの長さは、牽引装置１８から連結部材２０を含んだ被牽引車両１２のトレーラ車輪２２の車軸までの長さである。ただし、牽引車両１０には、種々の仕様（長さ）の被牽引車両１２が連結可能であり、被牽引車両１２の仕様によりホイールベースの長さが異なる。したがって、トレーラ諸元取得部５０ｆは、釣合状態の判定に必要な被牽引車両１２のホイールベースの長さを、被牽引車両１２の前後方向の長さや車幅等の情報とともに、例えば、操作入力部３０を介して運転者等に直接入力させることにより取得する。なお、運転者が上述したような各諸元を入力する場合は、例えば被牽引車両１２の仕様書等を参考に行うことができる。
【0045】
指標取得部５０ｇは、トレーラ諸元取得部５０ｆが取得した被牽引車両１２の前後方向の長さや車幅に対応した大きさおよび形状のトレーラ指標（トレーラアイコン）を、例えばＲＯＭ３６ｂ等の記憶装置に記憶されたリストから読み出す。撮像部２４で撮像した画像に視点変換や合成処理等の画像処理を施して、俯瞰画像等を形成する場合、各種補正処理を施しても、画像の歪みや形状の延び等が充分に解消できない場合がある。例えば、視点から遠ざかるにつれて被牽引車両１２が延びたり、変形したりして周囲の物体（例えばパイロン５８ａ，５８ｂ）との位置関係が把握しにくくなる場合がある。このような場合、実際の形状に対応するトレーラアイコンを現在画像に重畳することにより、被牽引車両１２と周囲の物体との位置関係を把握しやすくすることができる。なお、指標取得部５０ｇは、俯瞰画像を表示する場合に撮像部２４で撮像した撮像画像データに基づいて表示できない自車（牽引車両１０）を示す自車アイコンも取得する。自車アイコンとトレーラアイコンとは、連結角度取得部５０ｃが取得した連結角度θに基づいて連結姿勢が変化するように表示することができる。
【0046】
目標設定部５２は、周辺監視要求取得部５０ａが周辺監視の要求信号を取得した場合、駐車目標位置Ｔの設定を可能とする。例えば、周辺監視の要求に基づき、画像取得部５０ｂが取得する撮像画像データに基づく画像が表示装置２６に表示されると、運転者は操作入力部３０により表示装置２６上の位置を指定可能となる。運転者は、駐車を希望する場所が表示装置２６に表示された場合に、その位置を操作入力部３０で指定する。ＣＰＵ３６ａにより、その位置が被牽引車両１２の駐車に適した場所であると判定された場合に、目標設定部５２は、駐車目標位置Ｔとして設定する。運転者の指定する場所が被牽引車両１２の駐車に適しているか否かは、周知の技術により判定できる。例えば、撮像部２４が撮像した画像を画像解析することによりパイロン５８ａとパイロン５８ｂとで形成する間隔が被牽引車両１２の車幅より所定値以上大きく、駐車スペースＰの奥行きが被牽引車両１２の前後方向の長さより所定値以上長いこと等により判定することができる。なお、牽引車両１０がソナー等の測距装置を備える場合、測距の結果に基づき指定された空間に駐車目標位置Ｔの設定の可否を判定してもよい。また、目標設定部５２は、駐車目標位置Ｔが設定可能な駐車スペースＰの候補を一個、または複数個、表示装置２６に提示して運転者にその中から駐車希望位置を選択させるようにしてもよい。
【0047】
判定部５４は、牽引車両１０と被牽引車両１２の連結状態の判定を行う連結判定部５４ａと、駐車目標位置Ｔが被牽引車両１２の死角に入ったか否かを判定する死角判定部５４ｂ等を含む。
【0048】
連結判定部５４ａは、例えば、牽引車両１０の運転者が被牽引車両１２を連結した場合に操作入力部３０等を操作することで入力した入力情報に基づき連結判定を行うことができる。また、画像取得部５０ｂが取得した牽引車両１０の後方領域を示す撮像画像データに基づく画像に画像処理を施して被牽引車両１２が認識できた場合に、その認識情報に基づき連結判定を行ってもよい。また、牽引装置１８にセンサを設け、牽引装置１８と連結部材２０との連結が検出できた場合の検出情報に基づき連結判定を行ってもよい。また、牽引車両１０と被牽引車両１２とが連結された場合、牽引車両１０の制御に基づき被牽引車両１２の後端部に設けられたストップランプや方向指示器、車幅灯等の点灯制御が行われる。この場合、牽引車両１０と被牽引車両１２との間で制御線の接続が行われる。連結判定部５４ａは、この制御線の接続が成立したことを示す信号に基づき連結判定を行ってもよい。
【0049】
死角判定部５４ｂは、表示装置２６に表示された画像上で駐車目標位置Ｔが被牽引車両１２によって隠されたか否かを判定する。図６に示すように、例えば、牽引車両１０の右側では、撮像部２４ｄの画角や設置姿勢等により撮像範囲が決まっている（一点鎖線）。一方、死角領域Ｄ（ハッチングの範囲）は、牽引車両１０に対する被牽引車両１２の連結角度θ（車両中心軸Ｎと連結中心軸Ｍとの角度）によって変化する（二点鎖線）。したがって、例えば、俯瞰画像上（駐車目標位置Ｔを設定したときの牽引車両１０の位置を原点とする座標系上）で被牽引車両１２の連結角度θおよび被牽引車両１２の長さと車幅とが分かれば、死角領域Ｄの形成範囲が確定する。また、牽引車両１０の現在位置と駐車目標位置Ｔとの座標系における相対位置が分かれば、駐車目標位置Ｔの端部を規定するパイロン５８ａやパイロン５８ｂが死角領域Ｄに入るか否かを判別することができる。つまり、駐車目標位置Ｔが死角領域Ｄに入るか否かの判定をリアルタイムで実行することができる。また、別の実施形態では、死角判定部５４ｂは、周知の画像差分法や相関値算出法（ＮＣＣ：Normalized Cross-Correlationを用いたテンプレートマッチング法等）を用いて複数の画像間の類似度を算出することで、駐車目標位置Ｔが死角領域Ｄに入ったか否かの判定ができる。例えば、駐車目標位置Ｔを含む基準画像（例えば、駐車目標位置Ｔを設定したときの画像）と現在取得した最新の駐車目標位置Ｔを含むはずの参照画像とに対して視点変換等を施し、比較可能な状態とした上で比較することで、基準画像で存在する例えば、パイロン５８ａが参照画像で消えているか否かを判定することができる。この場合も、駐車目標位置Ｔが死角領域Ｄに入るか否かの判定をリアルタイムで実行することができる。
【0050】
制御部５６は、保存制御部６２と画像制御部６４とを含む。保存制御部６２は、画像取得部５０ｂが取得する撮像部２４が撮像した撮像画像データの保存タイミングの制御を実行する。例えば、撮像部２４が撮像した撮像画像データを全て保存する場合、ＲＡＭ３６ｃやＳＳＤ３６ｆの必要記憶容量が膨大になりコスト増加の原因になるとともに、保存した撮像画像データの処理負荷も高くなる。本実施形態では、上述したように、駐車目標位置Ｔを含む駐車目標画像を現在画像の牽引車両１０や被牽引車両１２と関連付けて表示する。例えば、死角領域Ｄの補完等に利用する。そこで、保存制御部６２は、駐車が実際に実行されることが確定したとき、例えば、駐車目標位置Ｔが設定されたときに、当該駐車目標位置Ｔを設定したときの牽引車両１０の位置を原点とする座標系における駐車目標位置Ｔの座標とともに、画像取得部５０ｂが取得した撮像画像データに基づく画像を駐車目標画像として保存する。なお、駐車目標位置Ｔの設定は、一例として運転者が駐車に適した領域を発見したとき（認識したとき）に運転者自身に実行させることができる。この場合、駐車目標位置Ｔは、撮像部２４から認識しやすい角度や近い距離で撮像されている可能性が高い。図７は、駐車目標位置Ｔを設定した際に保存される駐車目標画像（実画像ＲＶ）の一例である。図７に示すように、例えば、撮像部２４ｄにより撮像される場合、駐車目標位置Ｔやパイロン５８ａ，５８ｂ、駐車スペースＰ等を正面から近い位置で撮像できる可能性が高く、表示のために画像処理を加えた場合でも解像度の高い品質のよい画像が得られる可能性が高い。
【0051】
なお、被牽引車両１２を駐車スペースＰに移動させる場合、一般的に牽引車両１０は一度駐車スペースＰを通り過ぎた後、後退走行しながら駐車スペースＰに向かう。したがって、駐車目標画像の保存を、例えば牽引車両１０を後退させるときに開始した場合、保存される画像が不鮮明になってしまう場合がある。例えば、駐車目標位置Ｔが既に被牽引車両１２による死角領域Ｄに入ってしまっていたり、駐車目標位置Ｔまでの距離が遠くなっていたりする場合がある。この場合、駐車スペースＰ（駐車目標位置Ｔ）を最初に確認したときに撮像した画像に比べて不鮮明になってしまう場合がある。したがって、より高品質の画像を取得するという点においても駐車目標位置Ｔを最初に確認したときの画像を駐車目標画像として保存することが有利となる。
【0052】
また、駐車目標位置Ｔが設定され、その駐車目標画像が保存された後に、例えば、歩行者が駐車スペースＰに進入したり、隣接する駐車スペースＰ１の被牽引車両１２ａの駐車状態が変化したりする場合がある。このような駐車スペースＰ（駐車目標位置Ｔ）の周辺の状況変化を把握するために、保存制御部６２は、駐車目標位置Ｔが設定されたときから画像取得部５０ｂが取得した撮像画像データに基づく画像を駐車目標位置Ｔの座標とともに駐車目標画像として保存を開始するようにしてもよい。なお、この場合、牽引車両１０が移動中のみ駐車目標画像の逐次保存を行い、停車している間は牽引車両１０や被牽引車両１２に対する駐車目標位置Ｔの相対位置が変化しないため、駐車目標画像は保存しないようにしてもよい。その結果、駐車目標画像の保存に必要な記憶容量の低減に寄与できる。
【0053】
なお、死角判定部５４ｂは、駐車目標位置Ｔ（例えばパイロン５８ａやパイロン５８ｂ）が死角領域Ｄに入るタイミングの判別が可能なので、保存制御部６２は、駐車目標位置Ｔが設定されたときの駐車目標画像と、駐車目標位置Ｔが死角領域Ｄに入る直前の駐車目標画像とを区別して保存することができる。例えば、保存制御部６２は、駐車目標位置Ｔ（移動目標位置）が設定されたときの画像を駐車目標位置Ｔの座標とともに第一の駐車目標画像（移動目標画像）として保存可能である。また、保存制御部６２は、駐車目標位置Ｔが死角領域Ｄに入る直前の画像を駐車目標位置Ｔの座標とともに第二の駐車目標画像として保存可能である。第二の駐車目標画像の利用についての詳細は後述する。
【0054】
画像制御部６４は、画像取得部５０ｂが取得した撮像画像データに基づく画像や保存制御部６２に保存された駐車目標画像の各種画像処理を実行するために、画像変換制御部６４ａ、合成制御部６４ｂ、比較制御部６４ｃ等を含む。
【0055】
画像変換制御部６４ａは、画像取得部５０ｂが取得した撮像画像データに視点変換等を施して、図８に示すような牽引車両１０や被牽引車両１２を上方から見た仮想的な俯瞰画像ＴＶ（平面画像)を生成する。俯瞰画像ＴＶには、被牽引車両１２に対応するトレーラアイコン６６ａと牽引車両１０に対応する自車アイコン６６ｂおよびパイロン５８ｂ等が表示されている。なお、図８の場合、便宜上被牽引車両１２によって形成される死角領域Ｄがハッチングで示され、死角領域Ｄによって隠されるパイロン５８ａが破線で表示されているが、パイロン５８ａは、この時点では、実際には表示されない。図８は、撮像部２４が現在撮像している撮像画像データに基づく画像を表示装置２６に表示している例であり、俯瞰画像ＴＶと並べて、撮像部２４ａで撮像した牽引車両１０の後方を示す後方画像である実画像ＲＶが表示されている。図８の場合、実画像ＲＶには、下端側に牽引車両１０のリヤバンパ１６および牽引装置１８が表示されるとともに、リヤバンパ１６より上方の表示領域に連結部材２０と被牽引車両１２の前端壁が表示されている。その他、被牽引車両１２によって形成される死角領域Ｄに入っていないパイロン５８ｂが表示されている。
【0056】
また、画像変換制御部６４ａは、保存制御部６２によって保存された駐車目標画像を、死角領域Ｄを含む現在画像と関連付けて表示する際に合成しやすいようにするための画像変換を行う。例えば、図７に示すように、保存制御部６２によって保存された駐車目標画像（実画像ＲＶ）に含まれる駐車目標位置Ｔの部分をトリミングしたり、駐車目標位置Ｔに対して視点変換を施して表示装置２６に現在表示されている俯瞰画像ＴＶと対応するような画像に変換したり、回転処理したり、拡縮調整したりすることができる。
【0057】
合成制御部６４ｂは、図８に示すように表示装置２６に俯瞰画像ＴＶが表示される場合に、指標取得部５０ｇが取得したトレーラ指標（トレーラアイコン６６ａ）や自車アイコン６６ｂを俯瞰画像ＴＶ上に重畳表示する。また、連結角度取得部５０ｃで取得する現在の牽引車両１０と被牽引車両１２との連結角度θに対応するように、俯瞰画像ＴＶ上でのトレーラアイコン６６ａと自車アイコン６６ｂとの連結角度をリアルタイムで変化させる。なお、上述したように、撮像部２４で撮像した撮像画像データに基づき俯瞰画像ＴＶを生成する場合、例えば、被牽引車両１２に対応する画像が後方に向かい長く延びてしまうことがある。このような場合に、トレーラアイコン６６ａを表示することにより、俯瞰画像ＴＶ上での被牽引車両１２の姿勢や形状、牽引車両１０との連結状態や周囲状況との関係をより理解させやすくすることができる。
【0058】
また、合成制御部６４ｂは、図８に示すように、例えば、駐車目標位置Ｔを規定するパイロン５８ａが被牽引車両１２によって形成される死角領域Ｄに入った（駐車目標位置Ｔが隠された）ことが死角判定部５４ｂによって判定された場合、図９や図１０に示すように、死角領域Ｄを補完して、駐車目標位置Ｔを視認し易い表示になるような合成画像を生成することができる。
【0059】
例えば、図９は、図８において表示装置２６に表示されていたい実画像ＲＶに替えて、俯瞰画像ＴＶにおいて駐車目標位置Ｔの一部を隠している死角領域Ｄ付近の拡大図を表示している例である。駐車目標位置Ｔを設定したときの牽引車両１０の位置を原点とする座標系において、牽引車両１０の現在位置の座標および駐車目標位置Ｔの座標は取得可能である。また、保存制御部６２は、駐車目標位置Ｔを設定したときの駐車目標画像（駐車目標位置Ｔが良好に写っている画像）を保存する際に駐車目標位置Ｔの座標を併せて保存している。したがって、合成制御部６４ｂは、死角判定部５４ｂにより駐車目標位置Ｔが死角領域Ｄに入ったことが判定されたら、表示装置２６に拡大表示された現在画像の駐車目標位置Ｔに対応する部分に保存制御部６２で保存された駐車目標位置Ｔの設定時の駐車目標画像に対して画像変換制御部６４ａで視点変換、トリミング、回転、拡縮等の処理を施した駐車目標画像を重畳する。この場合、現在画像の駐車目標位置Ｔに対応する部分の座標と保存された駐車目標画像の座標を一致させるように重畳することで、違和感の少ない合成画像が生成できる。
【0060】
図９の表示例の場合、被牽引車両１２によって駐車目標位置Ｔ（パイロン５８ａ）が隠された現状の俯瞰画像ＴＶと、保存された駐車目標画像によって死角領域Ｄに入っていた駐車目標位置Ｔ（パイロン５８ａ）が視認可能になった補完俯瞰画像ＴＶ１とが並べて別ウインドウで表示される。この場合、運転者は、駐車目標位置Ｔが隠される死角領域Ｄが存在することを認識しつつ、表示装置２６上で補完された部分（保存されていた駐車目標画像の表示部分）の認識をすることができる。また、併せて駐車目標位置Ｔと被牽引車両１２の位置関係を理解させやすくすることができる。その結果、被牽引車両１２の移動（牽引車両１０の運転）をより容易にかつ安心感を持たせやすい状態で行わせることができる。
【0061】
図１０は、図８において表示装置２６に表示されている俯瞰画像ＴＶにおいて、死角領域Ｄで隠されている部分を、保存制御部６２で保存された駐車目標画像で補完する別の表示例である。図１０においては、駐車目標位置Ｔ（パイロン５８ａ）が死角領域Ｄに入っている状態を示す実画像ＲＶはそのまま表示されている。合成制御部６４ｂは、死角判定部５４ｂにより駐車目標位置Ｔが死角領域Ｄに入ったことが判定されたら、表示装置２６の俯瞰画像ＴＶで表示された現在画像の駐車目標位置Ｔに対応する部分に保存制御部６２で保存された駐車目標画像を重畳する。この場合も合成制御部６４ｂは、駐車目標位置Ｔの設定時の駐車目標画像に対して、視点変換、トリミング、回転、拡縮等の処理を施す。そして、合成制御部６４ｂは、現在画像の座標と重畳する駐車目標画像の座標を一致させるように重畳する。合成制御部６４ｂは、重畳する駐車目標画像を現在画像の全体に適用するのではなく、誘導経路Ｒによって隠された必要最低限の部分を補完するように、トリミングされた駐車目標画像を用いる。その結果、現在画像の全体が駐車目標位置Ｔの設定時に戻ってしまうような不都合を解消することができる。また、このとき、合成制御部６４ｂは、重畳する駐車目標画像の透過率を変化させてもよい。例えば、重畳する駐車目標画像の透過率を低くした状態で駐車目標画像を重畳すれば、死角領域Ｄが存在しないように見える合成画像を表示することができる。逆に、重畳する駐車目標画像の透過率を高くした場合、現在画像が維持されつつ、薄い表示態様で保存された駐車目標画像が表示可能となる。その結果、例えば、駐車目標画像が保存された後に駐車目標位置Ｔの周囲状況が変化した場合、例えば、歩行者が進入してきたり、隣接する駐車スペースＰ１の駐車状況が変化したりした場合等に、最新の駐車目標位置Ｔの周辺の状況変化を合成画像に反映させることができる。また、透過態様で駐車目標画像が表示されることで、誘導経路Ｒが存在することおよび誘導経路Ｒが駐車目標画像によって補完されていることを運転者に認識させやすく、運転者の注意喚起にも寄与できる。なお、透過率の設定は、例えば操作入力部３０等を用いて運転者が適宜変更できるようにしてもよいし、固定値とされてもよい。
【0062】
図１０の表示例の場合、周辺監視の表示が開始されたときと同様な構成の俯瞰画像ＴＶおよび実画像ＲＶの表示が継続され、死角判定部５４ｂにより駐車目標位置Ｔが死角領域Ｄに入ったことが判定された場合に、死角領域Ｄで見えなくなった部分およびその周辺のみが保存されていた駐車目標画像により補完される。その結果、表示されている画像の急な切り替わりが行われることなく、駐車目標位置Ｔの周辺情報が継続的に表示可能となる。また、画像内容の大きな変化を伴わないので、違和感なく画像の視認を継続させることができる。さらに、図１０の表示例の場合、図９のようにアイコンを伴う加工画面のみの表示ではなく、実画像ＲＶの表示が継続されるので、実画像ＲＶの表示による安心感を提供することができる。なお、図９に示すような表示態様にするか図１０に示すような表示態様にするかは、運転者に選択させるようにしてもよいし、そのときの状況に応じて制御部５６で決定してもよい。
【0063】
このように、例えば、駐車目標位置Ｔが死角領域Ｄに入ったことを契機に保存していた駐車目標画像により現在画像を補完するので、補完後は、スムーズな画像表示が行われ、死角領域Ｄによる影響が出た場合に、直ちにその影響が軽減できる。その結果、現在画像の表示に違和感が出ることを抑制しつつ、被牽引車両１２の移動（牽引車両１０の運転）をより容易にかつ安心感を持たせやすい状態で行わせることができる。
【0064】
比較制御部６４ｃは、保存制御部６２が保存している複数の駐車目標画像を比較することにより、現在画像に関連付ける駐車目標画像を選択することにより、上述した透過率の変更と同様に駐車目標位置Ｔの周辺の状況変化を現在画像に反映させることができる。上述したように保存制御部６２は、駐車目標位置Ｔが設定されたときに駐車目標画像の保存を開始する。したがって、駐車目標位置Ｔの周辺の状況変化が時系列的に保存される。そこで、比較制御部６４ｃは、駐車目標位置Ｔが設定されたときに保存された第一の駐車目標画像の画像内容と、死角判定部５４ｂによって駐車目標位置Ｔが死角領域Ｄに入ったと判定される直前に保存された第二の駐車目標画像の画像内容とを比較する。この比較には、例えば、ＮＣＣ（Normalized Cross-Correlation：正規化相互相関）やＳＡＤ（Sum of Absolute Difference：輝度値の差の絶対値の合計を用いる)等の一般的な画像認識手法が利用可能である。
【0065】
比較制御部６４ｃは、第一の駐車目標画像と第二の駐車目標画像を比較した結果、両者の間に所定値以上の差異がある場合、現在画像に関連付けて表示する画像として第二の駐車目標画像を選択する。すなわち、第一の駐車目標画像と第二の駐車目標画像との間に所定値以上の差異がある場合、駐車目標位置Ｔが死角領域Ｄに入るまでに、駐車目標位置Ｔの周辺状況に変化が生じたと見なせる。例えば、歩行者が進入してきたり、隣接する駐車スペースＰ１の駐車状況が変化したりしたと推定できる。合成制御部６４ｂは、死角判定部５４ｂによって駐車目標位置Ｔが死角領域Ｄに入ったと判定された場合に、比較制御部６４ｃが選択した第二の駐車目標画像を現在画像に関連付けて表示する。その結果、合成制御部６４ｂは、第一の駐車目標画像（駐車目標位置Ｔが設定されたときに保存された画像）を関連付ける場合に比べて、現在の周辺状況をより正確に再現した補完画像を合成することができる。また、第二の駐車目標画像の透過率を高める必要がなくなるので、透過率を高める場合に比べて駐車目標位置Ｔが濃く表示され、より違和感が低減された認識しやすい合成画像を生成することができる。
【0066】
第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との間の差異が所定値未満の場合、第一の駐車目標画像の保存から第二の駐車目標画像を保存するまでの間に、駐車目標位置Ｔの周辺で状況変化が実質的に無かったと推定することができる。この場合、運転者が移動目標位置を最初に認識したときに保存した第一の駐車目標画像を現在画像に関連付ける画像として用いる。第一の駐車目標画像は、前述したように、駐車目標位置Ｔを側方の撮像部２４ｄ等で正面から近い距離で撮像した画像である可能性が高い。そのため、現在画像と関連付けるための視点変換等の画像処理を施しても解像度に大きな低下を伴うことなく、現在画像と合成することができる。その結果、第二の駐車目標画像を用いた場合に比べて、見やすい合成画像を得やすい。なお、この場合、駐車目標位置Ｔの周辺で状況変化が実質的にないと推定できるので、第一の駐車目標画像の透過率は低いままでもよい。
【0067】
上述したように、第二の駐車目標画像は、牽引車両１０（被牽引車両１２）が駐車のために移動している間に撮像される画像になるので、第一の駐車目標画像に比べて駐車目標位置Ｔから撮像位置が遠かったり、駐車目標位置Ｔを撮像範囲の周縁領域で捕らえた画像であったりする可能性がある。この場合、現在画像と関連付けて表示するために視点変換処理等を施すと解像度等が低下し、画像品質が駐車目標位置Ｔに近い位置で正面から撮像した可能性のある第一の駐車目標画像より劣る場合がある。したがって、透過率を高めて薄い表示になるものの解像度が高い可能性のある第一の駐車目標画像を用いた表示を行うか、解像度が劣る可能性はあるが濃い見やすい表示が可能な第二の駐車目標画像を用いた表示を行うかは、操作入力部３０等を介して運転者に選択させるようにしてもよい。
【0068】
上述のように構成される周辺監視装置（周辺監視システム１００）による表示処理の詳細を図１１、図１２のフローチャートに基づいて説明する。なお、図１１は処理の前半部分を説明するフローチャートであり、図１２は、処理の後半部分を説明するフローチャートである。図１１、図１２に示す処理は、例えば、牽引車両１０のイグニッションスイッチがＯＮの場合に所定の処理周期で実行される。
【0069】
まず、ＣＰＵ３６ａは、連結判定部５４ａを介して牽引車両１０に被牽引車両１２が連結済みか否かの確認を行う（Ｓ１００）。連結判定部５４ａによる被牽引車両１２の連結確認ができない場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、連結判定部５４ａによる被牽引車両１２の連結確認ができた場合（Ｓ１００のＹｅｓ）、ＣＰＵ３６ａは、トレーラ諸元取得部５０ｆによる被牽引車両１２の諸元が取得済みか否か確認する（Ｓ１０２）。例えば、操作入力部３０等を介して被牽引車両１２の諸元が入力されていない場合（Ｓ１０２のＮｏ）、トレーラ諸元取得部５０ｆは、表示装置２６に被牽引車両１２の諸元の入力を促す画面を表示させ、被牽引車両１２の諸元を運転者に入力させて取得する（Ｓ１０４）。トレーラ諸元取得部５０ｆが既に被牽引車両１２の諸元を取得済みの場合（Ｓ１０２のＹｅｓ）、Ｓ１０４の処理をスキップする。
【0070】
続いて、ＣＰＵ３６ａは、周辺監視要求取得部５０ａが周辺監視を開始する旨を示す要求信号を取得したか確認し、要求信号を取得していない場合（Ｓ１０６のＮｏ）、このフローを一旦終了する。周辺監視要求取得部５０ａが周辺監視を開始する旨を示す要求信号を取得している場合（Ｓ１０６のＹｅｓ）、画像取得部５０ｂは、各撮像部２４（２４ａ〜２４ｄ）による撮像される撮像画像データ（画像）を取得する（Ｓ１０８）。画像変換制御部６４ａは、画像取得部５０ｂが取得した撮像画像データに視点変換等の画像処理を施し、例えば図８に示すような俯瞰画像ＴＶを生成する。また、制御部５６は、通常画面として表示装置２６に表示されていたナビゲーション画面やオーディオ画面から、例えば、画像変換制御部６４ａが生成する俯瞰画像ＴＶおよび撮像部２４ａが撮像した後方画像である実画像ＲＶを表示する周辺監視画面に切り替え、牽引車両１０の周辺画像を表示する（Ｓ１１０）。なお、この場合、指標取得部５０ｇは、自車アイコン６６ｂをＲＯＭ３６ｂ等から読出し俯瞰画像ＴＶの所定の位置に表示する。
【0071】
ＣＰＵ３６ａは、周辺監視を開始すると、目標設定部５２により駐車目標位置Ｔの設定が行われたか否かの確認を行い、駐車目標位置Ｔがまだ設定されていない場合（Ｓ１１２のＮｏ）、一旦このフローを終了する。一方、目標設定部５２による駐車目標位置Ｔの設定が行われた場合（Ｓ１１２のＹｅｓ）、保存制御部６２は、駐車目標位置Ｔの設定が行われたときの当該駐車目標位置Ｔを含む画像を駐車目標画像として保存するとともに、駐車目標位置Ｔの座標を関連付けて保存する（Ｓ１１４）。そして、保存制御部６２は、駐車目標位置Ｔを含む駐車目標画像の継続的な保存を開始する。
【0072】
なお、駐車目標位置Ｔは、当該駐車目標位置Ｔが設定されたときの牽引車両１０の現在位置を原点とする座標上で、原点に対する相対座標で示される。自車位置取得部５０ｄは、座標上での牽引車両１０の現在位置を取得（推定）する（Ｓ１１６）。また、誘導経路取得部５０ｅは、図５で説明したように、牽引車両１０の現在位置（例えば、後輪１４Ｒの車軸の中央部分である誘導基準点Ｂ）から駐車目標位置Ｔに対応して設定される誘導目標点Ｃに至る誘導経路Ｒを取得（算出）する（Ｓ１１８）。ＣＰＵ３６ａは、取得した誘導経路Ｒに沿って誘導基準点Ｂ（牽引車両１０）が移動するような経路誘導を実行する（Ｓ１２０）。なお、この経路誘導は、操舵やアクセル操作、ブレーキ操作等の運転者が行うべき操作を表示装置２６に表示したり音声出力装置２８を用いた音声出力したりすることにより、運転者の操作で牽引車両１０を誘導経路Ｒに沿って移動させてもよい。また、別の実施形態では、ＣＰＵ３６ａは、牽引車両１０に搭載された各種センサやアクチュエータにより操舵やアクセル操作、ブレーキ操作等の全ての運転操作を自動的に実行することで、牽引車両１０を誘導経路Ｒに沿って移動させてもよい。また、ＣＰＵ３６ａは、一部の操作を自動で実行し、残りの操作を運転者に表示や音声で提供して行わせるようにしてもよい。
【0073】
経路誘導が開始されて牽引車両１０および被牽引車両１２が移動を開始すると、連結角度取得部５０ｃは、牽引車両１０と被牽引車両１２との連結角度の取得を開始する（Ｓ１２２）。また、指標取得部５０ｇは、俯瞰画像ＴＶに表示されている被牽引車両１２の俯瞰画像に重畳するトレーラアイコン６６ａをトレーラ諸元取得部５０ｆの取得した被牽引車両１２の諸元に基づきＲＯＭ３６ｂ等から読み出し、合成制御部６４ｂは俯瞰画像ＴＶに重畳表示する（Ｓ１２４）。なお、被牽引車両１２の俯瞰画は、俯瞰画像ＴＶが表示される場合に、撮像画像データを視点変換することにより表示可能であるが、形状が延びる等不正確な表示となることがある。したがって、指標取得部５０ｇは経路誘導の開始の有無に拘わらず、俯瞰画像ＴＶが表示された時点でトレーラアイコン６６ａを取得し、合成制御部６４ｂはトレーラアイコン６６ａを表示されてもよい。
【0074】
また、死角判定部５４ｂは、牽引車両１０（被牽引車両１２）の移動中、駐車目標位置Ｔが死角領域Ｄに入るか否かの死角判定を実行する（Ｓ１２６）。そして、駐車目標位置Ｔが死角領域Ｄに入った場合（Ｓ１２８のＹｅｓ）、比較制御部６４ｃは、保存制御部６２が駐車目標位置Ｔの設定時に保存した第一の駐車目標画像の画像内容と駐車目標位置Ｔが死角領域Ｄに入る直前の第二の駐車目標画像の画像内容との比較を行う（Ｓ１３０）。比較の結果、第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との差異が所定値以上ではない場合（Ｓ１３２のＮｏ）、合成制御部６４ｂは、駐車目標位置Ｔが設定時の第一の駐車目標画像を選択する（Ｓ１３４）。そして、合成制御部６４ｂは、選択した第一の駐車目標画像（過去画像）を表示装置２６に現在表示されている現在画像に関連付けて表示する（Ｓ１３６）。すなわち、図９、図１０に示す例のように、死角領域Ｄによって隠された駐車目標位置Ｔを当該駐車目標位置Ｔが設定されたときに保存された比較的鮮明な状態の高画質の駐車目標画像で補完し、牽引車両１０および被牽引車両１２と駐車目標位置Ｔとの位置関係や駐車スペースＰに対する被牽引車両１２の移動状況等を認識しやすくする。
【0075】
Ｓ１３２において、比較の結果、第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との差異が所定値以上の場合（Ｓ１３２のＹｅｓ）、合成制御部６４ｂは、駐車目標位置Ｔが死角領域Ｄに入る直前に保存制御部６２が保存した第二の駐車目標画像を選択する（Ｓ１３８）。そして、合成制御部６４ｂは、選択した第二の駐車目標画像（過去画像）を現在表示装置２６に表示されている現在画像に関連付けて表示する（Ｓ１３６）。すなわち、駐車目標位置Ｔが死角領域Ｄによって隠される直前の駐車目標位置Ｔの周辺状況を反映した駐車目標画像で現在画像を補完する。その結果、駐車目標位置Ｔが設定されてから死角領域Ｄに入るまでに例えば歩行者等が駐車目標位置Ｔや駐車スペースＰに進入している場合でも、その状況を反映させた合成画像が生成される。この場合、前述したように、第二の駐車目標画像の解像度が低下している可能性はあるものの、最新の周囲状況を反映させた合成画像により牽引車両１０および被牽引車両１２と駐車目標位置Ｔとの位置関係や駐車スペースＰに対する被牽引車両１２の移動状況等を認識させることができる。
【0076】
なお、Ｓ１２８において、駐車目標位置Ｔが死角領域Ｄに入っていない場合（Ｓ１２８のＮｏ）、Ｓ１３０〜Ｓ１３８の処理をスキップする。そして、ＣＰＵ３６ａは、牽引車両１０（誘導基準点Ｂ）が駐車目標位置Ｔ（誘導目標点Ｃ）に到達したか否かの判定を行い、到達している場合（Ｓ１４０のＹｅｓ）、周辺監視を終了する（Ｓ１４２）。すなわち、制御部５６は、表示装置２６の表示を周辺監視画面から通常のナビゲーション画面やオーディオ画面等を表示する通常表示に戻す。一方、牽引車両１０（誘導基準点Ｂ）が駐車目標位置Ｔ（誘導目標点Ｃ）に到達していない場合（Ｓ１４０のＮｏ）、Ｓ１１４に移行して、Ｓ１１４以降の処理を実行する。なお、この場合、現在の牽引車両１０の移動位置における駐車目標画像の保存を行うとともに、牽引車両１０の現在位置の再取得を行い、牽引車両１０の位置と保存画像との対応ずれを解消する。また、牽引車両１０の現在位置から誘導目標点Ｃまでの誘導経路Ｒを再取得し誤差修正を行う。
【0077】
図１１、図１２に示すフローチャートは一例であり、駐車目標位置Ｔが死角領域Ｄに入った場合に、事前に保存した駐車目標位置Ｔを含む駐車目標画像を用いて、現在表示している現在画像を補完することができれば、処理ステップの入れ替えや処理ステップの増減等が適宜可能で、同様の効果を得ることができる。例えば、Ｓ１３０〜Ｓ１３８の処理に代えて、駐車目標位置Ｔを設定したときに保存した駐車目標画像の透過度を変化させて現在画像に関連付けて表示するようにしてもよい。
【0078】
このように、本実施形態の周辺監視装置（周辺監視システム１００）によれば、牽引車両１０に既に搭載されている撮像部２４（２４ａ〜２４ｄ）を利用したシステムにより、コストの増加を抑制しつつ、また被牽引車両１２の仕様に拘わらず周囲の状況把握が容易にできる周辺監視画像が提供できる。そして、この周辺監視画像を運転者に提供することにより、運転者に被牽引車両１２を容易に、かつ安心して駐車スペースＰに進入させることができる。
【0079】
上述した実施形態では、駐車スペースＰに被牽引車両１２のみを駐車する例を説明した。すなわち、被牽引車両１２の駐車後、牽引車両１０は被牽引車両１２を切り離して移動する例を示したが、被牽引車両１２と共に牽引車両１０が駐車スペースＰに駐車されるようにしてもよい。この場合、駐車スペースＰまたは駐車目標位置Ｔの設定時に、駐車スペースＰが牽引車両１０および被牽引車両１２が収まる広さであるか否かの判定が行われ、被牽引車両１２および牽引車両１０を駐車スペースＰに収めるような誘導経路Ｒが算出される。この場合も上述した実施形態と同様の効果を得ることができる。
【0080】
また、上述した実施形態では、被牽引車両１２を駐車スペースＰに移動させる例を示したが、上述した周辺監視装置は、駐車に限定されず、被牽引車両１２を幅寄せさせたり、方向転換する際に移動させたりする際にも適用可能である。すなわち、駐車以外においても被牽引車両１２の移動により形成された死角領域Ｄに視覚化が可能であり、上述した実施形態と同様の効果を得ることができる。
【0081】
また、上述した実施形態では、保存制御部６２は、画像取得部５０ｂが取得した撮像画像データを駐車目標画像としてそのまま保存する例を示したが、例えば、画像処理を施して俯瞰画像等現在画像に関連付けやすい形態で保存してもよい。また、上述した実施形態では、保存制御部６２が保存した駐車目標画像を駐車目標位置Ｔが誘導経路Ｒに入った場合に表示する例を示したが、別の実施形態では、駐車目標位置Ｔが設定された後、表示装置２６に例えば別ウインドウを開き、そこに常時表示するようにしてもよい。
【0082】
本実施形態のＣＰＵ３６ａで実行される周辺監視のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0083】
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0084】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0085】
１０…牽引車両、１２…被牽引車両、２４，２４ａ，２４ｂ，２４ｃ，２４ｄ…撮像部、２６…表示装置、３０…操作入力部、３６…ＥＣＵ、３６ａ…ＣＰＵ、５０…取得部、５０ａ…周辺監視要求取得部、５０ｂ…画像取得部、５０ｃ…連結角度取得部、５０ｄ…自車位置取得部、５０ｅ…誘導経路取得部、５０ｆ…トレーラ諸元取得部、５０ｇ…指標取得部、５２…目標設定部、５４…判定部、５４ａ…連結判定部、５４ｂ…死角判定部、５６…制御部、６２…保存制御部、６４…画像制御部、６４ａ…画像変換制御部、６４ｂ…合成制御部、６４ｃ…比較制御部、６６ａ…トレーラアイコン、６６ｂ…自車アイコン、１００…周辺監視システム、Ｂ…誘導基準点、Ｃ…誘導目標点、Ｄ…死角領域、Ｐ…駐車スペース、Ｒ…誘導経路、ＲＶ…実画像、Ｔ…駐車目標位置、ＴＶ…俯瞰画像、ＴＶ１…補完俯瞰画像。