特許 7293722 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-12

(45)【発行日】2023-06-20

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230613BHJP

   B60R 1/26 20220101ALI20230613BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 K

B60R1/26 100

【請求項の数】 10

(21)【出願番号】P 2019035399

(22)【出願日】2019-02-28

(65)【公開番号】P2020141254

(43)【公開日】2020-09-03

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】村角 美紀

(72)【発明者】

【氏名】森山 親一

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１８－１３３７１２（ＪＰ，Ａ）

【文献】特開２０１１－０１６５１４（ＪＰ，Ａ）

【文献】特表２０１７－５０２８６６（ＪＰ，Ａ）

【文献】特開２００６－０９６３１２（ＪＰ，Ａ）

【文献】特開２０１９－０１４２７６（ＪＰ，Ａ）

【文献】特開２０１６－１５０６１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

被牽引車両と連結される連結部を備える牽引車両に搭載される運転支援装置であって、
前記連結部を含む撮影範囲を撮影するカメラから撮影画像を取得する撮影画像取得部と、
前記被牽引車両に設けられ前記連結部と連結される被連結部の位置を検出する位置検出部と、
前記牽引車両の舵角に基づき、前記連結部が通過すると予想される進路予想線を生成する予想線生成部と、
前記被連結部の位置および前記進路予想線に基づき、前記被連結部と前記進路予想線との前記被牽引車両の車幅方向のずれ量を算出するずれ量算出部と、
前記ずれ量算出部で算出したずれ量を減少させるためのサポート画像を生成するサポート画像生成部と、
前記進路予想線と前記サポート画像を、前記撮影画像と合成して合成画像を生成し表示装置に出力する画像合成部と、を備え、
前記サポート画像生成部は、前記ずれ量を示す画像を前記サポート画像として生成し、
前記サポート画像は、前記被連結部が設けられている前記被牽引車両の車体側面と平行に、前記被連結部から前記被牽引車両の車幅方向に伸びる距離線である運転支援装置。

【請求項2】

請求項１に記載の運転支援装置であって、
前記距離線は、前記被連結部に対応する位置を始点とし前記被連結部に対し前記進路予想線がずれている方向に伸びる運転支援装置。

【請求項3】

請求項１または２に記載の運転支援装置であって、
前記位置検出部は、前記牽引車両と被牽引車両との距離を計測し、
前記サポート画像生成部は、前記距離と前記進路予想線の長さを比較し、前記進路予想線の長さが前記距離以下の場合は、前記進路予想線の線上に前記距離線を配置する運転支援装置。

【請求項4】

請求項１乃至３のいずれかに記載の運転支援装置であって、
前記サポート画像は、前記ずれ量を示す数値を含む画像である運転支援装置。

【請求項5】

請求項１に記載の運転支援装置であって、
前記サポート画像生成部は、前記距離線とともに、前記ずれ量を０にするために必要な操作を示す操作画像を前記サポート画像として生成する運転支援装置。

【請求項6】

請求項５に記載の運転支援装置であって、
前記操作画像は、前記ずれ量を０にするために必要なステアリングの操作情報を示す画像である運転支援装置。

【請求項7】

請求項６に記載の運転支援装置であって、
前記操作画像は、前記ずれ量を０にするために必要なステアリングの回転方向と回転角度を示す画像である運転支援装置。

【請求項8】

請求項５に記載の運転支援装置であって、
前記操作画像は、前記ずれ量を０にするために必要な前記進路予想線の移動方向と移動させる量を示す画像である運転支援装置。

【請求項9】

請求項１乃至８のいずれかに記載の運転支援装置であって、
前記位置検出部は、前記撮影画像に基づき前記被連結部を認識することで前記被連結部の位置を第１の位置として検出すると共に、前記表示装置上におけるユーザーの操作位置を検出すると、前記操作位置に基づき前記被連結部の位置を第２の位置として検出し、前記第２の位置が検出されたときは前記第２の位置を前記第１の位置より優先させる運転支援装置。

【請求項10】

被牽引車両と連結される連結部を備える牽引車両に搭載される運転支援装置の制御方法であって、
前記連結部を含む撮影範囲を撮影するカメラから撮影画像を取得するステップと、
前記被牽引車両に設けられ前記連結部と連結される被連結部の位置を検出するステップと、
前記牽引車両の舵角に基づき、前記連結部が通過すると予想される進路予想線を生成するステップと、
前記被連結部の位置および前記進路予想線に基づき、前記被連結部と前記進路予想線との前記被牽引車両の車幅方向のずれ量を算出するステップと、
前記ずれ量を減少させるためのサポート画像として、前記ずれ量を示す画像を生成するステップと、
前記進路予想線と前記サポート画像を、前記撮影画像と合成して合成画像を生成し表示装置に出力するステップと、を備え、
前記サポート画像は、前記被連結部が設けられている前記被牽引車両の車体側面と平行に、前記被連結部から前記被牽引車両の車幅方向に伸びる距離線である運転支援装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被牽引車両を牽引する牽引車両に搭載される運転支援装置に関する。

【背景技術】

【0002】

被牽引車両を牽引車両と連結する際に、牽引車両に取り付けられたトーイングやヒッチなどと称される連結部の予想進路を表示する運転支援装置が提案されている。

【0003】

特許文献１に係る運転支援装置は、牽引車両に搭載されたリアカメラにより撮影された撮影画像に、操舵角に応じて連結部が通過すると予想される連結部の進路予想線を表示している。

【0004】

しかし、特許文献１に係る運転支援装置は、牽引車両の連結部と、その連結部に連結される被牽引車両の被連結部とのずれがどれほどあるのか、定量的に理解しずらい。また、特許文献１に係る運転支援装置は、そのずれをなくすためにステアリングをどのように操作すればよいのかといった、連結部と被連結部とのずれに関する情報を提供できない。そのため、特許文献１に係る運転支援装置は、連結部の連結作業を容易にするという点で改善の余地があった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１３３７１２号

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記問題点に鑑み、本発明は、牽引車両の運転者が牽引車両を被牽引車両に容易に連結できる運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための運転支援装置は、被牽引車両と連結される連結部を備える牽引車両に搭載される運転支援装置であって、運転支援装置は、撮影画像取得部と、位置検出部と、予想線生成部と、ずれ量算出部と、サポート画像生成部と、画像合成部とを備える。撮影画像取得部は、連結部を含む撮影範囲を撮影するカメラから撮影画像を取得する。位置検出部は、被牽引車両に設けられ連結部と連結される被連結部の位置を検出する。予想線生成部は、牽引車両の舵角に基づき、連結部が通過すると予想される進路予想線を生成する。ずれ量算出部は、被連結部の位置および進路予想線に基づき、被連結部と進路予想線との被牽引車両の車幅方向のずれ量を算出する。サポート画像生成部は、ずれ量算出部で算出したずれ量を減少させるためのサポート画像を生成する。画像合成部は、進路予想線とサポート画像を、撮影画像と合成して合成画像を生成し表示装置に出力する。サポート画像は、ずれ量を示す画像であって、被連結部が設けられている被牽引車両の車体側面と平行に、被連結部から被牽引車両の車幅方向に伸びる距離線である。

【発明の効果】

【0008】

本発明によれば、牽引車両の運転者が牽引車両を被牽引車両に容易に連結できる運転支援装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態に係る運転支援装置が搭載された車両の構成を示す機能ブロック図である。

【図2】本発明の第１の実施の形態に係る運転支援装置の構成を示す機能ブロック図である。

【図3】本発明の第１の実施の形態に係る運転支援装置がバックガイドモードに設定されているときの合成画像の例を示す図である。

【図4】本発明の第１の実施の形態に係る位置検出部が被連結部の位置を検出するための説明図である。

【図5】本発明の第１の実施の形態に係るずれ量算出部が進路予想線のずれ量を算出するための説明図である。

【図6】本発明の第１の実施の形態に係るサポート画像の例を示す図である。

【図7】本発明の第１の実施の形態に係るサポート画像の他の例を示す図である。

【図8】本発明の第１の実施の形態に係る運転支援装置の動作の概略を説明する図である。

【図9】本発明の第１の実施の形態に係る運転支援装置の動作を示すフローチャートである。

【図10】本発明の第２の実施の形態に係る合成画像を示す図（比較例）である。

【図11】本発明の第２の実施の形態に係る運転支援装置の構成を示す機能ブロック図である。

【図12】本発明の第２の実施の形態に係る合成画像を示す図である。

【図13】本発明の第２の実施の形態に係る運転支援装置の動作を示すフローチャートである。

【図14】本発明の第３の実施の形態に係る合成画像を示す図である。

【図15】本発明の第３の実施の形態に係る合成画像の他の例を示す図である。

【図16】本発明の第３の実施の形態に係る運転支援装置の動作を示すフローチャートである。

【図17】本発明の第４の実施の形態に係る運転支援装置の構成を示す機能ブロック図である。

【図18】本発明の第４の実施の形態に係る合成画像を示す図である。

【図19】本発明の第４の実施の形態に係る合成画像を示す図である。

【図20】本発明の第４の実施の形態に係る運転支援装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

【0011】

［１．車両Ｖの構成］
図１は、本発明の実施の形態に係る運転支援装置１０を搭載する車両Ｖの構成を示す機能ブロック図である。図１を参照して、車両Ｖは、被牽引車両Ｔを牽引する牽引車両である。被牽引車両Ｔは、例えば、ボートトレーラやキャンピングトレーラである。車両Ｖは、車両Ｖの後部に設けられた連結部であるトーイング３を被牽引車両Ｔの前部に設けられた被連結部Ｃと連結することにより、被牽引車両Ｔを牽引する。

【0012】

図１に示す車両Ｖにおいて、運転支援装置１０に関連する機能ブロック以外の構成の表示を省略している。

【0013】

車両Ｖは、車体１と、左前輪１ＦＬと、右前輪１ＦＲと、左後輪１ＢＬと、右後輪１ＢＲと、車軸２Ｆ及び２Ｂと、トーイング３と、舵角センサ４と、リアカメラ５と、カーナビゲーション装置６とを備える。

【0014】

左前輪１ＦＬは、車体１の左前方に配置される。右前輪１ＦＲは、車体１の右前方に配置される。左前輪１ＦＬ及び右前輪１ＦＲは、車体１の前方に配置された車軸２Ｆを回転軸として回転する。車軸２Ｆは、車両Ｖのドライブシャフトであり、図示しないエンジンの出力を左前輪１ＦＬ及び右前輪１ＦＲに伝える。左前輪１ＦＬ及び右前輪１ＦＲは、車両Ｖの操舵輪であり、図示しないステアリングホイールの回転に応じて、舵角を変化させる。

【0015】

左後輪１ＢＬは、車体１の左後方に配置される。右後輪１ＢＲは、車体１の右後方に配置される。左後輪１ＢＬ及び右後輪１ＢＲは、車体１の後方に配置された車軸２Ｂを回転軸として回転する。

【0016】

トーイング３は、車両Ｖの後部に固定され、被牽引車両Ｔの被連結部Ｃと連結される。本実施の形態において、車両Ｖを上から見た場合、トーイング３の取付位置は、車両Ｖの中心を通り、車両Ｖの前後方向に延びる中心線と一致する。なお、トーイング３が、中心線とずれた位置に取り付けられることは妨げられない。

【0017】

舵角センサ４は、操舵輪である左前輪１ＦＬの舵角βを検出し、その検出した舵角βを運転支援装置１０に出力する。

【0018】

リアカメラ５は、車両Ｖの後方に配置され、車両Ｖの後方の景色を撮影する。具体的には、リアカメラ５は、トーイング３を含む撮影範囲を撮影して撮影画像ｉｍＢを生成し、その生成した撮影画像ｉｍＢを運転支援装置１０に出力する。

【0019】

カーナビゲーション装置６は、カーナビゲーション用の制御部（図示せず）により目的地までの経路を表示装置２０に表示することで車両Ｖの運転者であるユーザーに案内するなどのナビゲーション制御を行う。また、車両Ｖが被牽引車両と連結しようとする時に、カーナビゲーション装置６は、車両Ｖと被牽引車両Ｔとの連結を支援する合成画像５０を生成し、その生成した合成画像５０を表示装置２０に表示する。合成画像５０の詳細については、後述する。

【0020】

カーナビゲーション装置６は、運転支援装置１０と、表示装置２０とを備える。運転支援装置１０は、リアカメラ５から受けた撮影画像ｉｍＢを用いて合成画像５０を生成する。生成された合成画像５０は、表示装置２０に出力される。表示装置２０は、車両Ｖの車室内に配置され、運転支援装置１０から出力された合成画像５０を表示する。表示装置２０は、その表示部にトーイングモードスイッチ８と透明電極からなるタッチスイッチ９を備えており、ユーザーが操作したときのそれらのスイッチ情報７を運転支援装置１０に出力する。

【0021】

［２．運転支援装置１０の構成］
図２は、本発明の第１の実施の形態に係る運転支援装置１０の構成を示す機能ブロック図である。図２を参照して、運転支援装置１０は、撮影画像取得部１１と、画像合成部１２と、モード切換部１３と、トーイング制御部３０と、バックガイド制御部４０とを備える。

【0022】

撮影画像取得部１１は、撮影画像ｉｍＢをリアカメラ５から取得する。撮影画像取得部１１は、その取得した撮影画像ｉｍＢをフレーム単位で画像合成部１２に出力する。以下、撮影画像ｉｍＢのフレームを「後方フレーム２１」と記載する。

【0023】

トーイング制御部３０は、運転支援装置１０が後述するトーイングモードに設定されたときに動作を開始する。トーイング制御部３０は、ユーザーがトーイング３を被連結部Ｃに連結するためのサポート画像２３、およびトーイング３の進路予想線を示す予想線画像２２を生成し画像合成部１２に出力する連結支援制御を行う。トーイング制御部３０の詳細は後述する。

【0024】

バックガイド制御部４０は、運転支援装置１０が後述するバックガイドモードに設定されたときに動作を開始しバックガイド制御を行う。具体的には、バックガイド制御部４０は、車両Ｖの図示せぬシフト位置センサよりシフト位置情報を取得する。バックガイド制御部３０は、取得したシフト位置情報が後退位置を示すとき、舵角センサ４から舵角βを取得する。バックガイド制御部４０は、取得した舵角βに応じて車両Ｖが通過すると予想される進行予測曲線等のバックガイド用画像２４を生成し、画像合成部１２に出力する。

【0025】

画像合成部１２は、後方フレーム２１を撮影画像取得部１１から受け、サポート画像２３と予想線画像２２をトーイング制御部３０から受け、バックガイド用画像２４をバックガイド制御部４０から受ける。画像合成部１２は、その受けたサポート画像２３と、予想線画像２２及びバックガイド用画像２４の少なくとも一方とを後方フレーム２１に重畳することにより合成し、合成画像５０を生成する。生成された合成画像５０は、表示装置２０に出力されて表示される。

【0026】

モード切換部１３は、表示装置２０の表示部に表示されているトーイングモードスイッチ８の操作情報を取得する。モード切替部１３は、取得したトーイングモードスイッチ８の操作情報に応じて、運転支援装置１０の制御モードをトーイングモードとバックガイドモードのいずれかに切り換える。具体的には、車両Ｖの図示せぬイグニッションスイッチがオンされることにより運転支援装置１０が起動すると、モード切換部１３は運転支援装置１０の制御モードをバックガイドモードに初期設定する。これにより、バックガイド制御装置４０が起動し、以降、運転支援装置１０はバックガイドモードで動作する。

【0027】

尚、運転支援装置１０がバックガイドモードに設定されていても、シフト位置が後退位置でない場合は、バックガイド制御装置４０はバックガイド制御を行わない。シフト位置が後退位置でない場合、カーナビゲーション用の制御部（図示せず）によりナビゲーション制御が実行される。

【0028】

図３は、本発明の第１の実施の形態に係る運転支援装置１０が、バックガイドモードに設定されているときの合成画像５０の例を示す図である。

【0029】

図３は、後方フレーム２１に、車両Ｖの後端面Ｂ１と、そこに固定されたトーイング３が映っており、さらに被連結部Ｃを備えた被牽引車両Ｔが映っている状態を示す。バックガイド制御装置４０で生成された進行予測曲線４１を含むバックガイド用画像２４が、後方フレーム２１と合成され、合成画像５０として表示装置２０に表示される。合成画像５０には、トーイングモードスイッチ８が表示される。

【0030】

モード切換部１３は、トーイングモードスイッチ８の操作情報をスイッチ情報７として周期的に取得する。モード切替部１３は、トーイングモードスイッチ８がオン操作されたことを検出した場合、運転支援装置１０の制御モードをバックガイドモードからトーイングモードに切り換える。これによりトーイング制御部３０が起動される。尚、モード切換部１３は、トーイングモードにおいてトーイングモードスイッチ８が再度オン操作されたことを検出すると、トーイングモードからバックガイドモードに切り換える。

【0031】

図２に戻り、トーイング制御部３０は、位置検出部３１、予想線生成部３２、ずれ量算出部３３、サポート画像生成部３４を備える。

【0032】

位置検出部３１は、被牽引車両Ｔに設けられトーイング３と連結される被連結部Ｃの位置を検出する。具体的には、位置検出部３１は、撮影画像取得部１１から後方フレーム２１を取得し、取得した後方フレーム２１に映る被牽引車両Ｔの被連結部Ｃの位置を検出する。被連結部Ｃの位置は、被連結部Ｃのトーイング３に対する座標、および角度θを含む。角度θは、被牽引車両Ｔの被連結部Ｃが設けられる車体側面である前端面と車両Ｖのトーイング３が設けられる車体側面である後端面とがなす角度θである。位置検出部３１は、座標検出部３１１、角度検出部３１２を備え、これらにより被連結部Ｃの位置が検出される。

【0033】

座標検出部３１１は、被連結部Ｃのトーイング３に対する相対座標を検出し、その検出した相対座標をずれ量算出部３３およびサポート画像生成部３４に出力する。角度検出部３１２は、被牽引車両Ｔの前端面と車両Ｖの後端面とがなす角度θを検出し、その検出した角度θをずれ量算出部３３およびサポート画像生成部３４に出力する。ここで、図４を用いて被連結部Ｃの位置の検出方法を具体的に説明する。

【0034】

図４は、本発明の第１の実施の形態に係る位置検出部が被連結部の位置を検出するための説明図であり、リアカメラ５で撮影した後方フレーム２１の例を示す。座標検出部３１１は、後方フレーム２１を基にパターンマッチング等の画像認識により、後方フレーム２１内に存在する被連結部Ｃを検出する。座標検出部３１１は、後方フレーム２１内に被連結部Ｃを検出すると、後方フレーム２１における画素位置から被連結部Ｃの位置を検出する。

【0035】

具体的には、ワールド座標系において、車両Ｖの車幅方向、すなわち車両Ｖの左右方向をＸ軸とし、車両Ｖの前後方向、すなわち車両Ｖの進行方向をＹ軸とし、トーイング３を原点に設定する。このとき、座標検出部３１１は、ワールド座標系におけるトーイング３に対する被連結部Ｃの相対座標（ｘ１、ｙ１）を被連結部Ｃの画素位置から算出する。換言すれば、座標検出部３１１は、後方フレーム２１の所定の画素位置（例えば左上済の画素位置）を原点としたカメラ座標系における被連結部Ｃの座標からワールド座標系に変換することで被連結部Ｃの相対座標（ｘ１、ｙ１）を算出する。

【0036】

なお、パターンマッチングで被連結部Ｃの位置を検出する場合、被連結部Ｃが映る被牽引車両Ｔの画像を図示せぬ記憶装置である不揮発性メモリに予め記憶しておき、座標検出部３１１は、記憶されている画像を基にパターンマッチングを行うことが望ましい。それにより、被連結部Ｃの検出精度が向上する。

【0037】

角度検出部３１２は、後方フレーム２１に映る被牽引車両Ｔの前端面Ｔ１と車両Ｖの後端面Ｂ１とがなす角度θを検出する。具体的には、被牽引車両Ｔの前端面Ｔ１を通り鉛直方向に伸びる第1平面と車両Ｖの後端面Ｂ１を通り鉛直方向に伸びる第２平面とがなす角度θを検出する。より詳細には、角度検出部３１２は、被牽引車両Ｔの前端面Ｔ１の下端を後方フレーム２１からエッジ抽出により検出し、前端面Ｔ１の下端を通る直線Ｙ１を導出する。この直線Ｙ１は、被牽引車両Ｔの前端面Ｔ１を通り鉛直方向に伸びる平面が地面と交差する直線と平行な直線である。

【0038】

一方、角度検出部３１２は、車両Ｖの後端面Ｂ１を通り鉛直方向に伸びる平面が地面と交差する直線を、被牽引車両Ｔの方向に平行移動した直線Ｙ２を導出する。

【0039】

角度検出部３１２は、導出した直線Ｙ１とＹ２のなす角度θを算出する。この角度θが、被牽引車両Ｔの前端面Ｔ１と車両Ｖの後端面Ｂ１とがなす角度となる。尚、車両Ｖの後端面はＸ軸と平行であるため、角度検出部３１２は、直線Ｙ２を導出することなく、直線Ｙ１のＸ軸に対する傾きを検出することで角度θを算出すればよい。以下、角度θを「被牽引車両Ｔの角度θ」と記載する場合がある。

【0040】

尚、被連結部Ｃの位置を検出する手法は、後方フレーム２１による画像認識に限らない。例えば、位置検出部３１は、レーザレーダやミリ波レーダ等のレーダにより被連結部Ｃの位置を検出してもよい。

【0041】

図２に戻り、予想線生成部３２は、舵角センサ４から出力される舵角βを取得し、舵角βに基づき、トーイングが通過すると予想される進路予想線２２１を生成し、予想線画像２２として画像合成部１２に出力する。予想線生成部３２は、ずれ量算出部３３が進路予想線２２１のずれ量を算出するために必要な情報として、進路予想線２２１の関数情報をずれ量算出部３３に出力する。

【0042】

ずれ量算出部３３は、被連結部Ｃの位置および進路予想線２２１に基づき、被連結部Ｃと進路予想線２２１との被牽引車両Ｔの車幅方向のずれ量Ｄを算出する。具体的には、ずれ量算出部３３は、被連結部Ｃの座標、被牽引車両Ｔの角度θおよび進路予想線２２１の関数情報に基づき、ずれＤ量を算出する。ここで、図５を用いてずれ量Ｄの算出方法を具体的に説明する。

【0043】

図５は、本発明の第１の実施の形態に係るずれ量算出部３３が進路予想線２２１のずれ量を算出するための説明図である。図５に示す２次元座標は、直交するＸ軸とＹ軸とによって定義される。Ｘ軸は、車両Ｖのトーイング３の連結中心点Ｏを通り後端面Ｂ１と平行に車両Ｖの車幅方向に延びる。Ｙ軸は、トーイング３の連結中心点Ｏを通り、車両Ｖの前後方向に延びる。Ｘ軸の正方向は、車両Ｖの左後輪１ＢＬから右後輪１ＢＲを見た方向である。Ｙ軸の正方向は、車両Ｖの左前輪１ＦＬから左後輪１ＢＬを見た方向である。

【0044】

図５を参照して、ずれ量算出部３３は、座標検出部３１１から取得した座標情報を被牽引車両Ｔの被連結部Ｃの連結中心点Ｃ１の座標（ｘ1、ｙ1）として設定する。ずれ量算出部３３は、角度検出部３１２から取得した角度θに基づき、連結中心点Ｃ１を通り傾きθの直線Ｙ３を算出する。ずれ量算出部３３は、予想線生成部３２から取得した進路予想線２２１の関数情報に基づき、進路予想線２２１と直線Ｙ３との交点Ｃ２の座標（ｘ2、ｙ2）を算出する。ずれ量算出部３３は、連結中心点Ｃ１の座標（ｘ1、ｙ1）と交点Ｃ２の座標（ｘ2、ｙ2）に基づき、Ｃ１－Ｃ２間の距離Ｄを算出する。この距離Ｄが被連結部Ｃと進路予想線２２１との被牽引車両Ｔの車幅方向のずれ量Ｄとなる。

【0045】

尚、ずれ量Ｄは、被連結部Ｃを基準に図５に示す＋Ｘ方向か－Ｘ方向かを示すずれ方向の情報を含む。例えば、図５に示す例では、ずれ量Ｄが３０ｃｍである場合、進路予想線２２１が、連結中心点Ｃ１より＋Ｘ方向に３０ｃｍずれているため、Ｄ＝３０ｃｍとなる。進路予想線２２１が、連結中心点Ｃ１より－Ｘ方向に３０ｃｍずれている場合は、Ｄ＝－３０ｃｍとなる。

【0046】

図２に戻り、ずれ量算出部３３は、算出したずれ量Ｄをサポート画像生成部３４に出力する。

【0047】

サポート画像生成部３４は、ずれ量算出部３３で算出したずれ量Ｄを減少させるためのサポート画像２３を生成する。具体的には、サポート画像生成部３４は、取得した被連結部Ｃの座標、被牽引車両の角度θ、ずれ量Ｄとに基づき、ずれ量を示す画像をサポート画像２３として生成し、画像合成部１２に出力する。

【0048】

図６は、本発明の第１の実施の形態に係るサポート画像２３の例を示す図である。図６に示すサポート画像２３では、トーイング３と、被牽引車両Ｔと、進路予想線２２１と、サポート画像２３との位置関係を分かりやすく示すために、トーイング３、後端面Ｂ１、進路予想線２２１、及び被牽引車両Ｔを破線で示している。

【0049】

サポート画像２３は、被牽引車両Ｔの車幅方向と平行に配置される距離線２３１とずれ量を示すずれ数値部２３２で構成される。距離線２３１は、被連結部Ｃが設けられている被牽引車両Ｔの車体側面である前端面Ｔ１と平行に、被連結部Ｃから被牽引車両Ｔの車幅方向に伸び、複数の目盛Ｍが付与される。図６の例は、目盛Ｍの間隔は例えば１０ｃｍであり、ずれ量を示すずれ数値部２３２は、ずれ量Ｄが「２０ｃｍ」であることを示している。距離線２３１の中央部の目盛Ｍ０はずれ量が０であることを示す目盛であり、ずれ量が０であることを強調するために他の目盛Ｍよりも長くなっている。また、距離線２３１は、ずれ量Ｄ以上の長さになるよう調整される。これにより、進路予想線２２１が距離線２３１と確実に交差することになり、ユーザーは進路予想線２２１のずれ量を把握しやすくなる。

【0050】

なお、距離線２３１は、進路予想線２２１との交点の左右に目盛Ｍが配置される範囲で最も短くなるよう設定されることが望ましい。例えば、ずれ量Ｄが２５ｃｍである場合、距離線２３１の+Ｘ方向の長さは３０ｃｍ分あればよく、距離線２３１の目盛Ｍは１０ｃｍ、２０ｃｍ、３０ｃｍの位置にあればよい。これにより、後方フレーム２１が距離線２３１と合成される領域が少なくなり、被牽引車両Ｔの周囲に存在する物体をユーザーが確認しやすくなる。

【0051】

サポート画像生成部３４は、角度θに基づき、距離線２３１を左右方向であるＸ軸に対し角度θだけ傾ける。またサポート画像生成部３４は、被連結部Ｃの座標情報に基づき、距離線２３１の中央部の目盛Ｍ０が被連結部Ｃの座標位置またはその近傍に位置するように距離線２３１を配置する。これにより、距離線２３１は、ずれ量０を示す目盛Ｍ０が被連結部Ｃの位置に配置され、かつ被牽引車両Ｔの前端面Ｔ１と平行に配置されるため、ユーザーは進路予想線２２１が被連結部Ｃに対しどれだけずれているかを直感的に理解できる。しかも、距離線２３１は１本のみでよいため、ずれ量Ｄを示すサポート画像２３の情報量を少なくすることができる。これにより、後方フレーム２１がサポート画像２３と合成される領域が少なくなり、ユーザーは後方フレーム２１に映る被牽引車両Ｔの周囲を見やすくなる。

【0052】

図７は、本発明の第１の実施の形態に係るサポート画像２３の他の例を示す図である。図７に示すサポート画像２３でも図６と同様に、トーイング３と、被牽引車両Ｔと、進路予想線２２１と、サポート画像２３との位置関係を分かりやすく示すために、トーイング３、後端面Ｂ１、進路予想線２２１、及び被牽引車両Ｔを破線で示している。

【0053】

図７に示すサポート画像２３は、被連結部Ｃに対応する位置を始点とし被連結部Ｃに対し進路予想線２２１がずれている方向に伸びる距離線２３３とずれ数値部２３２で構成される。具体的には、サポート画像２３は、被連結部Ｃの座標位置またはその近傍に位置するずれ量０を示す目盛Ｍ０を始点として、進路予想線２２１が被連結部Ｃに対してずれている方向にのみ伸びる距離線２３３で構成される。距離線２３３の他の構成は距離線２３１と同様である。図７の例では、進路予想線２２１が被連結部Ｃに対して右側にずれているため、被連結部Ｃの右側にのみ距離線２３３が配置されている。進路予想線２２１が被連結部Ｃに対して左側にずれているのであれば、被連結部Ｃの左側にのみ距離線２３３が配置される。

【0054】

図６に示すように、進路予想線２２１が被連結部Ｃに対して右側にずれているのであれば、距離線２３１の内、被連結部Ｃの左側に存在する部分は、ずれ量をユーザーに知らせるという点では必要性が低く、かえって見にくくなる恐れがある。その点、図７に示す距離線２３３は、ずれの方向と反対方向に距離線部分がなく、ずれの方向にのみ距離線部分が存在するため、合成画像を表示したときに見やすくなる。

【0055】

［３．運転支援装置１０動作］
［３．１．動作概略］
車両Ｖのユーザーは、車両Ｖを被牽引車両Ｔと連結させる場合、図３に示すカーナビゲーション装置６の表示装置２０に表示されるトーイングモードスイッチ８をオン操作して、連結支援画面の表示をカーナビゲーション装置６に指示する。モード切換部１３は、トーイングモードスイッチ８がオンされたことを検出すると、運転支援装置１０の制御モードをバックガイドモードからトーイングモードに切り換える。これにより、トーイング制御部３０が起動して連結支援のためのサポート画像２３の生成を開始し、合成画像５０が、連結支援画面として表示装置２０に表示される。

【0056】

図８は、本発明の第１の実施の形態に係る運転支援装置１０の動作の概略を説明する図である。図８を参照して、撮影画像取得部１１は、撮影画像ｉｍＢをリアカメラ５から取得する。本実施の形態において、撮影画像ｉｍＢは動画像であり、複数の後方フレーム２１を含む。

【0057】

図８に示す後方フレーム２１において、被牽引車両Ｔ及び車両Ｖの後端面Ｂ１以外の被写体の表示を省略している。図８以外の図においても、被牽引車両Ｔ及び車両Ｖの後端面Ｂ１以外の被写体の表示が省略されている場合がある。

【0058】

予想線生成部３２は、舵角センサ４から出力される舵角βを取得し、その取得した舵角βに応じてトーイング３の進路予想線２２１を生成する。予想線生成部３２は、生成した進路予想線２２１を含む画像を予想線画像２２として画像合成部１２に出力すると共に、進路予想線２２１の関数情報をずれ量算出部３３に出力する。尚、図８に示す予想線画像２２では、トーイング３と、被牽引車両Ｔと、進路予想線２２１との位置関係を分かりやすく示すために、トーイング３、後端面Ｂ１及び被牽引車両Ｔを破線で示している。

【0059】

座標検出部３１１は、後方フレーム２１に映る被牽引車両Ｔの被連結部Ｃの座標を検出し、角度検出部３１２は、後方フレーム２１に映る被牽引車両Ｔの角度θを検出する。

【0060】

ずれ量算出部３３は、被連結部Ｃの座標、被牽引車両Ｔの角度θおよび進路予想線２２１の関数情報に基づき、図５を用いて説明した手法により被連結部Ｃと進路予想線２２１との被牽引車両Ｔの車幅方向のずれ量Ｄを算出する。

【0061】

サポート画像生成部３４は、被連結部Ｃの座標、被牽引車両Ｔの角度θ、およびずれ量Ｄに基づき、距離線２３１およびずれ数値部２３２からなるサポート画像２３を生成する。

【0062】

画像合成部１２は、予想線生成部３２により生成された予想線画像２２と、サポート画像生成部３４により生成されたサポート画像２３を、撮影画像取得部１１により取得された後方フレーム２１に重畳して、合成画像５０を生成する。合成画像５０は、連結支援画像として表示装置２０に出力され表示される。

【0063】

［３．２．動作詳細］
図９は、本発明の第１の実施の形態に係る運転支援装置１０の動作を示すフローチャートである。運転支援装置１０は、図示せぬイグニッションスイッチがオンになって運転支援装置１０に電源が供給されると、定期的に図９に示す処理を実行する。

【0064】

モード切換部１３は、トーイングモードスイッチ８の操作情報を取得し（ステップＳ１１）、その取得した操作情報に基づいて、トーイングモードスイッチ８がオンされたか否かを判断する。トーイングモードスイッチ８がオフである場合、モード切換部１３は、図示せぬメモリに記憶されているモードフラグを“０”に設定する。モードフラグの“０”は、運転支援装置１０の制御モードがバックガイドモードであることを示す。モード切換部１３は、トーイングモードスイッチ８がオンされた場合、モードフラグを“１”に設定する。モードフラグの“１”は、運転支援装置１０の制御モードがトーイングモードであることを示す。以後、モード切換部１３は、トーイングモードスイッチ８がオンされる都度、モードフラグを“０”と“１”に交互に切り換える。

【0065】

モード切換部１３は、モードフラグの状態を判断し、制御モードがトーイングモードであるか否かを判断する（ステップＳ１２）。モード切換部１３は、制御モードがトーイングモードでなく、バックガイドモードであると判断すると（ステップＳ１２ ＮＯ）、バックガイド制御部４０を起動する。これにより、バックガイド制御部４０はバックガイド制御を実行する（ステップＳ１３）。

【0066】

ステップ１３において、バックガイド制御部４０は、図示せぬシフト位置が後退位置であることを検出しなければ、バックガイド制御を行わずにステップ１３の処理を終了する。バックガイド制御部４０は、シフト位置が後退位置であることを検出すると、進行予測曲線４１を含むバックガイド用画像２４を生成し画像合成部１２に出力する。画像合成部１２は、バックガイド用画像２４を後方フレーム２１と合成し、合成画像５０として表示装置２０に出力する。これにより図３に示すようにバックガイド用の合成画像５０が表示装置２０に表示され後退支援が行われる。

【0067】

モード切換部１３は、制御モードがトーイングモードであると判断すると（ステップＳ１２ ＹＥＳ）、トーイング制御部３０を起動する。トーイング制御部３０は、ステップ１４以降の連結支援制御を実行する。

【0068】

座標検出部３１１は、撮影画像取得部１１から後方フレーム２１を取得し（ステップＳ１４）、後方フレーム２１に映る被牽引車両Ｔの被連結部Ｃのトーイング３に対する相対座標を検出する（ステップＳ１５）。座標検出部３１１は、検出した座標情報をずれ量算出部３３とサポート画像生成部３４に出力する。

【0069】

角度検出部３１２は、後方フレーム２１に基づき被牽引車両Ｔの前端面Ｔ１と車両Ｖの後端面Ｂ１とがなす被牽引車両の角度θを検出する（ステップＳ１６）。角度検出部３１２は、検出した角度θをずれ量算出部３３とサポート画像生成部３４に出力する。

【0070】

予想線生成部３２は、舵角センサ４から出力される舵角βを取得し、取得した舵角βに応じてトーイング３の進路予想線２２１を生成する（ステップＳ１７）。予想線生成部３２は、進路予想線２２１を予想線画像２２として画像合成部１２に出力すると共に、進路予想線２２１の関数情報をずれ量算出部３３に出力する。

【0071】

ずれ量算出部３３は、被連結部Ｃの座標、被牽引車両Ｔの角度θおよび進路予想線２２１の関数情報に基づき、図５で説明した手法により被連結部Ｃと進路予想線２２１との被牽引車両Ｔの車幅方向のずれ量Ｄを算出し、サポート画像生成部３４に出力する（Ｓ１８）。

【0072】

サポート画像生成部３４は、被連結部Ｃの座標、被牽引車両の角度θ、およびずれ量Ｄに基づき、ずれ量を示す画像をサポート画像２３として生成し、画像合成部１２に出力する（ステップＳ１９）。

【0073】

画像合成部１２は、サポート画像２３と進路予想線２２１を後方フレーム２１の上に重畳することにより、合成画像５０を生成し表示装置２０に出力する（ステップＳ２０）。

【0074】

これにより、図８で説明したように連結支援用の合成画像５０が表示装置２０に表示されるため、ユーザーは表示装置２０に映る連結支援用の合成画像５０を確認することで、現在の舵角と被連結部Ｃとのずれ量を定量的にかつ直感的に把握することができる。よって、ユーザーは、ステアリングをどの方向にどれほど回転させればよいかを把握しやすくなる。

【0075】

以上、詳細に説明したように、第１の実施の形態に係る運転支援装置１０は、被牽引車両Ｔと連結される連結部３を備える牽引車両Ｖに搭載される運転支援装置１０であって、連結部３を含む撮影範囲を撮影するカメラ５から撮影画像を取得する撮影画像取得部１１と、被牽引車両Ｔに設けられ連結部３と連結される被連結部Ｃの位置を検出する位置検出部３１と、牽引車両Ｖの舵角θに基づき、連結部３が通過すると予想される進路予想線２２１を生成する予想線生成部３２と、被連結部Ｃの位置および進路予想線２２１に基づき、被連結部Ｃと進路予想線２２１との被牽引車両Ｖの車幅方向のずれ量Ｄを算出するずれ量算出部３３と、ずれ量算出部３３で算出したずれ量Ｄを減少させるためのサポート画像２３を生成するサポート画像生成部３４と、進路予想線２２１とサポート画像２３を、撮影画像と合成して合成画像５０を生成し表示装置２０に出力する画像合成部１２とを備える。

【0076】

これにより、牽引車両のユーザーは牽引車両を被牽引車両に容易に連結できる。

【0077】

また、第１の実施の形態に係る運転支援装置１０では、サポート画像生成部３４は、ずれ量を示す画像２３をサポート画像として生成する。

【0078】

これにより、ユーザーは、進路予想線と被連結部とのずれ量を定量的にかつ直感的に把握することができる。

【0079】

また、第１の実施の形態に係る運転支援装置１０では、サポート画像２３は、被連結部Ｃが設けられている被牽引車両Ｔの車体側面Ｔ１と平行に、被連結部Ｃから被牽引車両Ｔの車幅方向に伸びる距離線２３１である。

【0080】

これにより、ユーザーは、進路予想線と被連結部とのずれ量を定量的にかつ直感的に把握することができる。

【0081】

また、第１の実施の形態に係る運転支援装置１０では、距離線は、被連結部Ｃに対応する位置を始点とし、被連結部Ｃに対し進路予想線２２１がずれている方向に伸びる距離線２３３とすることができる。

【0082】

これにより、進路予想線２２１のずれの方向と反対方向に距離線部分がなく、ずれの方向にのみ距離線部分が存在するため、合成画像を表示したときに見やすくなる。

【0083】

また、第１の実施の形態に係る運転支援装置１０では、サポート画像は、ずれ量を示す数値を含む画像である。

【0084】

これにより、ユーザーはずれ量を正しく把握できる。

【0085】

［４．第２の実施の形態］
前述した第１の実施の形態では、サポート画像生成部３４は、距離線２３１を被連結部Ｃの位置に表示する。一方で進路予想線２２１の長さは予め設定された長さになっている。そのため、図１０に示すように、被連結車両Ｔと牽引車両Ｖとの距離が進路予想線２２１の長さより長い場合、進路予想線２２１の車両Ｖから最も遠い端点Ｐが距離線２３１と交わらないため、進路予想線２２１と距離線２３１との交点位置が不明となり、ユーザーは直感的に進路予想線２２１のずれ量を把握しづらくなる。

【0086】

第２の実施の形態では、この点を改善し、被連結車両Ｔと牽引車両Ｖとの距離が進路予想線２２１の長さより長い場合であっても、ユーザーが直感的に進路予想線２２１のずれ量を把握しやすくする。

【0087】

［４．１．運転支援装置１０の構成］
図１１は、本発明の第２の実施の形態にかかる運転支援装置１０の構成を示す機能ブロック図である。図１１において、図２と同じ構成については同じ符号を付し、その説明を省略する。図１１では、位置検出部３１が距離検出部３１３を備え、サポート画像生成部３４Ｂにおけるサポート画像の生成手法が図２のサポート画像生成部３４と異なっている。

【0088】

距離検出部３１３は、牽引車両Ｖと被牽引車両Ｔとの距離を計測する。具体的には、距離検出部３１３は、トーイング３から被連結部Ｃまでの距離Ｌを、座標検出部３１１で算出された被連結部Ｃの座標に基づき検出し、サポート画像生成部３４に出力する。なお、本実施の形態では、合成画像５０上で距離Ｌと進路予想線２２１の長さを比較すれば足りるため、座標検出部３１１は、被連結部Ｃの座標としてカメラ座標系の座標を距離検出部３１３に出力する。距離検出部３１３は、カメラ座標系の被連結部Ｃの座標に基づき、カメラ座標系の長さＬを検出する。

【0089】

サポート画像生成部３４Ｂは、距離Ｌに応じたサポート画像２３を生成する。具体的には、サポート画像生成部３４Ｂは、距離Ｌと進路予想線２２１の長さを比較し、進路予想線２２１の長さが距離Ｌ以下の場合と距離Ｌ以上の場合とで表示形態が異なるサポート画像を生成する。第２の実施の形態では、サポート画像生成部３４Ｂは、距離Ｌと進路予想線２２１の長さとの関係に応じて、距離線の表示形態を変更する。なお、進路予想線２２１の長さは予め設定されているため、進路予想線２２１の長さ情報は固定値として図示せぬ不揮発性メモリに記憶されている。サポート画像生成部３４Ｂは、当該メモリより進路予想線２２１の長さ情報を取得する。

【0090】

より具体的には、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以上の場合、図２のサポート画像生成部３４の処理と同様に、図６や図７に示した距離線２３１や距離線２３３を含むサポート画像２３を生成する。以下、本実施の形態では、サポート画像生成部３４Ｂは、距離線２３１を生成するものとして説明を進める。この場合の距離線２３１は、被連結部Ｃの位置に配置される。進路予想線２２１は、距離線２３１と必ず交差するため、ユーザーは進路予想線２２１のずれ量を確実に把握できる。以下、距離線２３１を「第１の距離線２３１」と記載し、第１の距離線２３１を含むサポート画像を「第１のサポート画像２３」と記載する場合がある。

【0091】

サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌより短い場合、距離線２３１の配置位置や大きさを変更することで表示形態が異なる距離線２３４を生成する。図１２を用いて、進路予想線２２１の長さが距離Ｌより短い場合のサポート画像の生成方法について説明する。

【0092】

図１２は、本発明の第２の実施の形態に係る合成画像５０を示す図である。図１２において、被連結部Ｃとのずれが０である場合の進路予想線２２２を一点鎖線で仮想的に示し、またトーイング３と被連結部Ｃとの距離Ｌを二点鎖線で仮想的に示している。

【0093】

進路予想線２２１の長さが距離Ｌより短い場合、図１２に示すように進路予想線２２１の端点Ｐが被連結車両Ｔに届かない。そのため、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌより短い場合、距離線２３４が進路予想線２２１と交差するように、距離線２３４を生成する。具体的には、サポート画像生成部３４Ｂは、距離線２３４が進路予想線２２１と交差するように、距離線２３４を生成し、進路予想線２２１の線上に配置する。またサポート画像生成部３４Ｂは、距離線２３４の近傍にずれ量を示すずれ数値部２３２を配置する。図１２は、サポート画像生成部３４Ｂが距離線２３４を進路予想線２２１の端点Ｐと交差する位置に配置している状態を示している。

【0094】

また、サポート画像生成部３４Ｂは、図６に示した距離線２３１と同様、角度θに基づき、距離線２３４を左右方向であるＸ軸に対し角度θだけ傾ける。すなわち、距離線２３４は、距離線２３１と同様、被牽引車両Ｔの前端面Ｔ１と平行に配置される。また、サポート画像生成部３４Ｂは、距離線２３４におけるずれ量０を示す目盛Ｍ０を、ずれ量０を示す進路予想線２２２の線上に配置する。

【0095】

更に、進路予想線２２１とずれ量が０の場合の進路予想線２２２との左右方向の間隔は、図１２に示すように車両Ｖに近いほど狭くなるため、サポート画像生成部３４Ｂは、距離線２３４の左右方向の縮尺を距離線２３４の配置位置に応じて調整する。具体的には、サポート画像生成部３４Ｂは、進路予想線２２１と距離線２３４との交点（図１２では端点Ｐ）が、ずれ量Ｄ（例えば２０ｃｍ）の目盛位置となるよう距離線２３４の縮尺を調整する。より具体的には、サポート画像生成部３４Ｂは、距離線２３４の配置位置を車両Ｖに近づけるほど、距離線２３４の目盛間隔が短くなるように距離線２３４の左右方向の縮尺を調整する。距離線２３４は進路予想線２２１と交差する位置であればどこに配置してもよいが、進路予想線２２１の端点Ｐと交差する位置に距離線２３４を配置することが望ましい。距離線２３４の目盛間隔は、端点Ｐの位置が最も広くなり見やすくなるからである。以下、距離線２３４を「第２の距離線２３４」と記載し、第２の距離線２３４を含むサポート画像を「第２のサポート画像２３’」と記載する場合がある。

【0096】

このように、サポート画像生成部３４Ｂは、距離Ｌに応じて表示形態を変更した第１の距離線２３１または第２の距離線２３４を生成する。サポート画像生成部３４Ｂは、第１の距離線２３１で構成される第１のサポート画像２３、または第２の距離線２３４で構成される第２のサポート画像２３’を画像合成部１２に出力する。

【0097】

以上の第２の実施の形態では、サポート画像生成部３４Ｂは、距離Ｌに応じて距離線の表示形態を変更したサポート画像を生成したが、距離Ｌに応じて進路予想線２２１の長さを変更したサポート画像を生成してもよい。この場合、図１１において、予想線生成部３２は、進路予想線画像２２を画像合成部１２ではなく、サポート画像生成部３４Ｂに出力する。サポート画像生成部３４Ｂは、距離線２３１と進路予想線２２１を含む画像をサポート画像として画像合成部１２に出力する。

【0098】

具体的には、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以上の場合、図６に示した距離線２３１と予想線生成部３２から入力された進路予想線２２１とを第１のサポート画像２３として生成する。サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以下の場合、図６に示した距離線２３１と交差するように進路予想線２２１の長さを延長する。そして、サポート画像生成部３４Ｂは、図６に示した距離線２３１と延長した進路予想線２２１とを第２のサポート画像２３’として生成する。画像合成部１２は、第１のサポート画像２３または第２のサポート画像２３’を後方フレーム２１と合成し表示装置２０に出力する。

【0099】

［４．２．動作詳細］
図１３は、本発明の第２の実施の形態に係る運転支援装置１０の動作を示すフローチャートである。図１３のフローチャートは、図９のフローチャートに対し、ステップＳ２１が追加された点と、図９のステップＳ１９がステップＳ２２とステップＳ２３に置き換わった点で相違し、他のステップの処理内容は図９と同じである。図１３のフローチャートにおいて図９と同じステップについては、説明を省略する。

【0100】

ステップＳ１６で角度検出部３１２が被牽引車両の角度θを検出した後、ステップＳ２１において距離検出部３１３は、ステップＳ１５で検出された被連結部Ｃの座標に基づきトーイング３から被連結部Ｃまでの距離Ｌを算出する。

【0101】

ステップＳ２２において、サポート画像生成部３４Ｂは、ステップＳ１７で生成された進路予想線２２１の長さとステップＳ２１で算出された距離Ｌを比較し、ステップＳ２３に移る。

【0102】

ステップＳ２３において、サポート画像生成部３４Ｂは、ステップＳ２２での比較結果に応じて距離線の表示形態を変更する。具体的には、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以上の場合、図６に示した第１の距離線２３１とずれ数値部２３２を含む第１のサポート画像２３を生成し、画像合成部１２に出力する。

【0103】

一方、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以下の場合、図１２に示した第２の距離線２３４とずれ数値部２３２を含む第２のサポート画像２３’を生成し、画像合成部１２に出力する。

【0104】

次いでステップＳ２０において、画像合成部１２は、サポート画像２３またはサポート画像２３’を後方フレーム２１の上に重畳することにより、合成画像５０を生成し表示装置２０に出力する。

【0105】

以上、詳細に説明したように、第２の実施の形態に係る運転支援装置１０では、位置検出部３１は、牽引車両Ｖと被牽引車両Ｔとの距離Ｌを計測し、サポート画像生成部３４Ｂは、距離Ｌと進路予想線２２１の長さを比較し、進路予想線２２１の長さが距離Ｌ以下の場合と距離Ｌ以上の場合とで表示形態が異なるサポート画像を生成する。

【0106】

これにより、進路予想線２２１の長さが距離Ｌより短い場合であっても、ユーザーは、進路予想線と被連結部とのずれ量を定量的にかつ直感的に把握することができる。

【0107】

また、第２の実施の形態に係る運転支援装置１０では、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以下の場合は、距離線２３４が進路予想線２２１と交差するように、距離線２３４を生成する。

【0108】

これにより、進路予想線２２１の長さが距離Ｌより短い場合であっても、進路予想線２２１は距離線２３４と必ず交差することになり、ユーザーは、進路予想線と被連結部とのずれ量を確実に把握することができる。

【0109】

また、第２の実施の形態に係る運転支援装置１０では、サポート画像生成部３４Ｂは、進路予想線２２１の長さが距離Ｌ以下の場合は、距離線２３１が進路予想線２２１と交差するように、進路予想線２２１の長さを延長する。

【0110】

これにより、進路予想線２２１の長さが距離Ｌより短い場合であっても、進路予想線２２１は距離線２３１と必ず交差することになり、ユーザーは、進路予想線と被連結部とのずれ量を確実に把握することができる。

【0111】

［５．第３の実施の形態］
前述した第１の実施の形態、および第２の実施の形態では、サポート画像は距離線およびずれ数値部で構成されていた。第３の実施の形態では、これらの距離線、ずれ数値部に代えて、あるいは距離線、ずれ数値部に加えて、ずれ量を０にするために必要なユーザーの操作を示す操作画像をサポート画像として生成する

【0112】

［５．１．運転支援装置１０の構成］
第３の実施の形態にかかる運転支援装置１０の構成を示す機能ブロック図は、基本的に図２または図１１に示す機能ブロック図と同じであり、サポート画像生成部３４（図２）またはサポート画像生成部３４Ｂ（図１１）での処理内容のみが異なる。以下、図２に示す機能ブロック図に基づき第３の実施の形態を説明する。

【0113】

サポート画像生成部３４は、ずれ量算出部３３で算出されたずれ量Ｄに基づき、ずれ量を０にするために必要な操作を示す操作画像をサポート画像２３として生成する。以下、かかるサポート画像について説明する。

【0114】

図１４は、本発明の第３の実施の形態に係る合成画像５０を示す図である。図１４ではサポート画像２３は、距離線２３２とずれ数値部２３２に加え、操作画像２３５を含む。

【0115】

操作画像２３５は、ずれ量Ｄを０にするために必要な操作を示す画像であり、具体的には、操作画像２３５は、ずれ量Ｄを０にするために必要なステアリングの操作情報を示す画像である。より具体的には、操作画像２３５は、ずれ量Ｄを０にするために必要なステアリングの回転方向と回転角度を示す画像である。

【0116】

サポート画像生成部３４は、ずれ量Ｄを０にするために必要な補正操作量として、ステアリングの操作量、すなわちステアリングの回転方向と回転角を演算により求める。なお、ずれ量Ｄに対してずれ量Ｄを０にするために必要なステアリングの回転方向、回転角度を予め計測しておき、マップとして図示せぬ不揮発性メモリに記憶しておいてもよい。この場合、サポート画像生成部３４は、ずれ量Ｄを基にマップよりステアリングの回転方向と回転角を読み出せばよい。

【0117】

ずれ量Ｄが２０ｃｍであり、ステアリングを４５度左側に回転させることにより、ずれ量Ｄが０になると仮定する。この仮定の場合、図１４に示すように、サポート画像生成部３４は、ステアリングを模した画像２３５ａ、ステアリングの回転方向を示す矢印２３５ｂ、４５度左への回転を示す補助線２３５ｃ、およびステアリングを４５度左に回転するよう指示するメッセージ２３５ｄを操作画像２３５として生成する。サポート画像生成部３４は、かかる操作画像２３５を含む画像をサポート画像２３として画像合成部１２に出力する。これにより、ユーザーは、ずれ量Ｄを０にするための操作内容を直感的に理解でき、また操作画像２３５の指示に従いステアリングを操作するだけで、ずれ量Ｄを０にすることができる。

【0118】

図１５は、本発明の第３の実施の形態に係る合成画像５０の他の例を示す図である。図１５における操作画像２３６は、ずれ量Ｄを０にするために必要な操作を示す画像である。具体的には、図１５における操作画像２３６は、ずれ量Ｄを０にするために必要な補正操作量として、進路予想線２２１の移動方向と移動させる量を示す画像である。より具体的には、操作画像２３６は、ずれ量Ｄを０にするために必要な進路予想線２２１の移動方向を示す矢印２３６ａと、移動させる方向と移動させる量を示すメッセージ２３６ｂを示す画像である。

【0119】

図１５のように進路予想線２２１が被連結部Ｃに対し右側に２０ｃｍずれていると仮定する。この場合、サポート画像生成部３４は、進路予想線２２１を左側に２０ｃｍ移動させる必要があることを示すために、左向き矢印２３６ａと「左へ２０ｃｍ」のメッセージ２３６ｂからなる操作画像２３６を生成する。サポート画像生成部３４は、かかる操作画像２３６を含む画像をサポート画像２３として画像合成部１２に出力する。尚、この場合、図６で示したずれ数値部２３２は、操作画像２３６と重複するため生成しなくてもよい。これにより、ユーザーは、ずれ量Ｄを０にするための操作内容を直感的に理解でき、また操作画像２３６の指示に従い進路予想線２２１を移動させるようステアリングを操作するだけで、ずれ量Ｄを０にすることができる。

【0120】

［５．２．動作詳細］
図１６は、本発明の第３の実施の形態に係る運転支援装置１０の動作を示すフローチャートである。図１６のフローチャートは、ステップＳ２４が追加された点と、図９のステップＳ１９がステップＳ２５に置き換わった点で図９のフローチャートと相違し、他のステップの処理内容は図９のフローチャートと同じである。図１６のフローチャートにおいて図９と同じステップについては、説明を省略する。

【0121】

ステップＳ１８で、ずれ量算出部３３がずれ量Ｄを算出した後、ステップＳ２４において、サポート画像生成部３４は、ずれ量Ｄを０にするために必要な補正操作量を算出する。

【0122】

次いで、ステップＳ２５において、サポート画像生成部３４は、補正操作量を基に図１４に示す操作画像２３５、または図１５に示す操作画像２３６を含むサポート画像２３を生成し、画像合成部１２に出力する。

【0123】

次いでステップＳ２０において、画像合成部１２は、サポート画像２３を後方フレーム２１の上に重畳することにより、合成画像５０を生成し表示装置２０に出力する。

【0124】

以上、詳細に説明したように、第３の実施の形態に係る運転支援装置１０では、サポート画像生成部３４は、ずれ量Ｄを０にするために必要な操作を示す操作画像をサポート画像２３として生成する。これにより、ユーザーは操作画像に示される情報を参考に車両部位を操作すれば、ずれ量を０にすることができるため、トーイングの連結作業が容易になる。

【0125】

また、第３の実施の形態に係る運転支援装置１０では、操作画像は、ずれ量Ｄを０にするために必要なステアリングの操作情報を示す画像である。これにより、ユーザーは操作画像に示される情報を参考にステアリングを操作すれば、ずれ量を０にすることができるため、トーイングの連結作業が容易になる。

【0126】

また、第３の実施の形態に係る運転支援装置１０では、操作画像は、ずれ量Ｄを０にするために必要なステアリングの回転方向と回転角度を示す画像である。これにより、ユーザーは、ずれ量Ｄを０にするための操作内容を直感的に理解でき、また操作画像の指示に従いステアリングを操作すれば、ずれ量を０にすることができるため、トーイングの連結作業が一層容易になる。

【0127】

また、第３の実施の形態に係る運転支援装置１０では、操作画像は、ずれ量Ｄを０にするために必要な進路予想線２２１の移動方向と移動させる量を示す画像である。これにより、ユーザーは、ずれ量Ｄを０にするための操作内容を直感的に理解でき、また操作画像の指示に従い進路予想線２２１を移動させるようステアリングを操作すれば、ずれ量を０にすることができるため、トーイングの連結作業が容易になる。

【0128】

［６．第４の実施の形態］
前述した実施の形態では、位置検出部３１が後方フレーム２１の画像認識により被連結部Ｃの位置を検出した。しかしながら、画像認識だけでは被連結部Ｃの位置を正しく検出できない恐れもある。そこで、第４の実施の形態では、ユーザーが表示装置２０の画面に映る被牽引車両Ｔを見ながら、被連結部Ｃの位置を表示装置２０の画面上でタッチすることで被連結部Ｃの位置を検出する。

【0129】

［６．１．運転支援装置１０の構成］
図１７は、本発明の第４の実施の形態にかかる運転支援装置１０の構成を示す機能ブロック図である。図１７において、図２と同じ構成については同じ符号を付し、その説明を省略する。図１７では、タッチスイッチ９が入力情報として追加されている点、図２の座標検出部３１１およびサポート画像生成部３４がそれぞれ座標検出部３１１’ およびサポート画像生成部３４Ｃに変更になっている点で図２と相違する。

【0130】

タッチスイッチ９は、表示装置２０の表示部に設けられる透明電極からなり、ユーザーがタッチした表示部の位置座標情報を座標検出部３１１’に出力する。この位置座標情報は、カメラ座標系の座標である。

【0131】

座標検出部３１１’は、図２の座標検出部３１１と同様、後方フレーム２１の画像認識により被連結部Ｃの位置を第１の位置として検出する。第１の位置は、カメラ座標系の座標とワールド座標系の座標を含む。

【0132】

座標検出部３１１’は、タッチスイッチ９から表示部の位置座標情報を取得したときは、その位置が被連結部Ｃの位置であるとみなし、表示部の位置座標に基づき被連結部Ｃの位置を第２の位置として検出する。第２の位置は、カメラ座標系の座標とワールド座標系の座標を含む。

【0133】

座標検出部３１１’は、第１の位置と第２の位置のどちらか一方が検出されたときは、検出された位置を被連結部Ｃの位置として決定する。座標検出部３１１’は、第１の位置と第２の位置の両方を検出したときは、第２の位置を優先させる。座標検出部３１１’について、図１８を参照しながらより具体的に説明する。

【0134】

図１８は、本発明の第４の実施の形態に係る合成画像５０を示す図である。図１８では、後方フレーム２１に被牽引車両Ｔおよび被連結部Ｃが映っている。

【0135】

座標検出部３１１’は、運転支援装置１０がトーイングモードに切り換わると、第１の一定時間Ｔ１の間、後方フレーム２１に基づき被連結部Ｃの位置を第１の位置として検出する。このとき、ユーザーに検出結果を知らせるために、第１の位置の座標情報（以下、「暫定座標」と記載する場合がある）をサポート画像生成部３４Ｃに出力する。なお、サポート画像生成部３４Ｃに出力する暫定座標はカメラ座標系の座標である。後述するように、サポート画像生成部３４Ｃは後方フレーム２１の暫定座標の位置に図１８に示すマーカＣを配置するサポート画像２３を生成するため、カメラ座標系の座標の方がワールド座標系の座標より処理が少なくなるためである。

【0136】

一方、ユーザーが図１８に示す表示装置２０に表示されている合成画像５０において、被連結部Ｃの位置をタッチすると、タッチスイッチ９から表示部の座標情報が座標検出部３１１’に出力される。

【0137】

座標検出部３１１’は、一定時間Ｔ１以内にタッチスイッチ９から表示部の座標情報を取得した場合は、その座標位置が被連結部Ｃの位置であるとみなし、表示部の座標位置に基づき被連結部Ｃの位置を第２の位置として検出する。座標検出部３１１’は、第２の位置を検出したときは、その位置を被連結部Ｃの位置として確定し、その座標（以下、「確定座標」と記載する場合がある）をずれ量算出部３３とサポート画像生成部３４Ｃに出力する。

【0138】

座標検出部３１１’は、タッチスイッチ９から表示部の座標情報を取得することなく一定時間Ｔ１が経過したときは、第１の位置を被連結部Ｃの位置として確定し、その確定座標をずれ量算出部３３とサポート画像生成部３４Ｃに出力する。

【0139】

なお、ずれ量算出部３３に出力する第１の位置または第２の位置の確定座標はワールド座標系の座標であり、サポート画像生成部３４Ｃに出力する第１の位置または第２の位置の確定座標はカメラ座標の座標である。

【0140】

ここで、第１の位置は後方フレーム２１の画像認識により検出するものであるため、車両周囲の明るさや、障害物で被連結部Ｃがさえぎられるなどの理由により、第１の位置が検出できない場合がある。そのため、座標検出部３１１’は、タッチスイッチ９から表示部の座標情報を取得することなく一定時間Ｔ１が経過したときは、第１の位置を検出できているか否かを確認する。

【0141】

具体的には、座標検出部３１１’は、一定時間Ｔ１が経過した時点で第１の位置を検出できている場合は、第１の位置を確定座標に決定する。座標検出部３１１’は、一定時間Ｔ１が経過した時点で第１の位置を検出できていない場合は、その時点で被連結部Ｃの位置が特定できていないことを意味するため、ユーザーに手動による被連結部Ｃの位置の設定を促すようサポート画像生成部３４Ｃに指示する。すなわち、座標検出部３１１’は、表示装置２０の表示部に映る被連結部Ｃの位置をユーザーが画面上でタッチするようサポート画像生成部３４Ｃに指示する。以下、かかる指示を「手動設定指示」と記載する場合がある。

【0142】

手動設定指示を出力した座標検出部３１１’は、第２の一定時間Ｔ２以内に、タッチスイッチ９から表示部の座標情報を取得できれば、その座標情報はユーザーが画面上でタッチした被連結部Ｃの位置であると判断する。座標検出部３１１’は、取得した表示部の座標情報を基に第２の位置を検出し、確定座標に決定する。座標検出部３１１’は、一定時間Ｔ２が経過しても表示部の座標情報を入手できない場合は、被連結部Ｃの位置を特定できないため、トーイングモードを終了する。

【0143】

サポート画像生成部３４Ｃは、座標検出部３１１’から暫定座標を取得すると、その座標情報に基づき、図１８に示すように後方フレーム２１の画素位置、すなわち被連結部Ｃの位置にマーカ６０を配置した画像をサポート画像２３として生成し、画像合成部１２に出力する。これにより、マーカ６０が画像合成部１２において後方フレーム２１と合成され、図１８に示すように表示装置２０に表示される。したがって、ユーザーは、運転支援装置１０が被連結部Ｃを正しく検出できているか否かを判断できる。

【0144】

サポート画像生成部３４Ｃは、座標検出部３１１’から確定座標を取得した場合も同様にマーカ６０を配置した画像をサポート画像２３として生成する。この場合、サポート画像生成部３４Ｃは、暫定座標と確定座標とでマーカ６０の表示形態を切り替えることが望ましい。例えば、サポート画像生成部３４Ｃは、被連結部Ｃの位置が暫定座標の場合マーカ６０を点滅させ、確定座標の場合マーカ６０の点滅を終了させる。あるいはサポート画像生成部３４Ｃは、マーカ６０の色や輝度を暫定座標か確定座標かに応じて切り替えてもよい。これにより、ユーザーは、検出された被連結部Ｃの位置が確定したものであるか否かを容易に理解できる。

【0145】

サポート画像生成部３４Ｃは、座標検出部３１１’から手動設定指示を受けると、ユーザーに手動による被連結部Ｃの位置の設定を促す指示画像６１をサポート画像２３として生成し、画像合成部１２に出力する。これにより、指示画像６１が画像合成部１２において後方フレーム２１と合成され、図１９に示すように表示装置２０に表示される。

【0146】

図１９は、本発明の第４の実施の形態に係る合成画像５０を示す図である。図１９では、後方フレーム２１に被牽引車両Ｔおよび被連結部Ｃが映っているが、座標検出部３１１’は被連結部Ｃの位置を検出できていないため、マーカ６０は表示されていない。代わりに、被連結部Ｃの位置をタッチするよう指示画像６１が表示される。

【0147】

したがって、ユーザーは、運転支援装置１０が被連結部Ｃを正しく検出できなかったことがわかる。また、ユーザー自らが指示画像６１の指示に従って表示装置２０の画面上で被連結部Ｃの位置をタッチすれば、座標検出部３１１’によって、正しい被連結部Ｃの位置が検出される。

【0148】

［６．２．動作詳細］
図２０は、本発明の第４の実施の形態に係る運転支援装置１０の動作を示すフローチャートである。図２０のフローチャートは、ステップＳ３１～ステップＳ４２が追加された点と、ステップＳ１９の処理内容がステップＳ１９’に変更になっている点で図２のフローチャートと相違し、他のステップの処理内容は図２と同じである。図２０のフローチャートにおいて図２と同じステップについては、説明を省略する。

【0149】

運転支援装置１０がトーイングモードに移行すると（ステップＳ１２ ＹＥＳ）、座標検出部３１１’は、被連結部Ｃの位置が確定したか否かを判断する（ステップＳ３１）。トーイングモードに移行した時点では、被連結部Ｃの位置は確定していないため、処理はステップＳ１５に移る。

【0150】

座標検出部３１１’は後方フレーム２１の画像認識により被連結部Ｃの座標を第１の位置として検出する（ステップＳ１５）。座標検出部３１１’は、被連結部Ｃの座標を検出できれば、その座標を暫定座標としてサポート画像生成部３４Ｃに出力する。

【0151】

次いで、ステップＳ３２では、サポート画像生成部３４Ｃおよび画像合成部１２により後方フレーム２１の暫定座標位置にマーカ６０が配置された合成画像５０が生成され、表示装置２０に表示される。

【0152】

具体的には、ステップＳ３２において、サポート画像生成部３４Ｃは、暫定座標が入力された場合は、その座標位置にマーカ６０を暫定座標であることを示す表示形態で配置した画像をサポート画像２３として生成し、画像合成部１２に出力する。画像合成部１２は、マーカ６０が配置されたサポート画像２３を後方フレーム２１と合成し、合成画像５０として表示装置２０に出力する。これにより、暫定座標が正しく検出されている場合は、図１８に示したようにマーカ６０が被連結部Ｃの上に重畳して表示される。

【0153】

なお、サポート画像生成部３４Ｃは、暫定座標が入力されない場合は、当然のことながらマーカ６０を配置したサポート画像を生成しない。

【0154】

次いで、座標検出部３１１’は、タッチスイッチ９から座標情報が入力されたか否かに基づき、ユーザーによる手動設定がなされたか否かを判断する（ステップＳ３３）。座標検出部３１１’は、タッチスイッチ９から座標情報が入力されたとき、手動設定がなされたと判断する。

【0155】

ユーザーによる手動設定がなされていない場合（ステップＳ３３ ＮＯ）、座標検出部３１１’は、トーイングモードに切り換わってからの経過時間が第１の一定時間Ｔ１を経過したか否かを判断する（ステップＳ３４）。経過時間が一定時間Ｔ１を経過していない場合（ステップＳ３４ ＮＯ）、ステップＳ１５に戻る。これにより、経過時間が一定時間Ｔ１を経過するまで、あるいは経過時間が一定時間Ｔ１以内にユーザーによる手動設定がなされるまで、ステップＳ１５による被連結部Ｃの位置の検出とステップＳ３２によるマーカ６０の表示が繰り返される。

【0156】

なお、被連結部Ｃの位置が暫定座標である間は、ステップＳ１６～ステップＳ１８の処理が実行されないため、これまでの実施の形態で説明したずれ量Ｄを減少させるためのサポート画像は合成画像５０に含まれない。しかしながら、被連結部Ｃの位置が暫定座標であっても、暫定座標を基にずれ量Ｄを算出し、ずれ量Ｄを減少させるためのサポート画像をマーカ６０と併せて生成してもよい。この場合は、ステップＳ３２の処理内容に、ステップＳ１６～Ｓ１８の処理内容を含めればよい。

【0157】

ステップＳ３４で、トーイングモードに移行してからの経過時間が一定時間Ｔ１を経過した場合（ステップＳ３４ ＹＥＳ）、座標検出部３１１’は、被連結部Ｃの位置を検出できているか否かを確認する（ステップＳ３５）。座標検出部３１１’は、被連結部Ｃの位置を検出できていれば（ステップＳ３５ ＹＥＳ）、その座標を第１の位置として確定し、確定座標としてサポート画像生成部３４Ｃに座標情報を出力する（ステップＳ３６）。

【0158】

また、トーイングモードに移行してからの経過時間が一定時間Ｔ１を経過するまでに、ユーザーによる手動設定がなされた場合（ステップＳ３３ ＹＥＳ）、座標検出部３１１’は、タッチスイッチ９から入力されたユーザーのタッチ位置である表示部の座標情報が被連結部Ｃの位置であるとみなす。座標検出部３１１’は、その座標情報に基づき被連結部Ｃの位置を第２の位置として検出し、確定座標としてサポート画像生成部３４Ｃに座標情報を出力する（ステップＳ３７）。従って、第２の位置は第１の位置より優先して確定座標となる。

【0159】

ステップＳ３３とステップＳ３７の処理が有効となるケースは、次の状況が考えられる。例えば、ステップＳ１５とステップＳ３２により、画像認識で被連結部Ｃの位置が暫定座標として検出されマーカ６０が表示部に表示されるが、座標検出部３１１’が被連結部Ｃを間違って検出した場合、図１８のようにマーカ６０が被連結部Ｃの位置に正しく表示されず、被連結部Ｃと異なる位置にマーカ６０が表示される。

【0160】

ユーザーは、マーカ６０が表示される位置を確認することで、被連結部Ｃが間違って検出されていることを知ることができる。その場合、ユーザーが自ら被連結部Ｃの位置を表示部上でタッチすれば、ステップＳ３３からステップＳ３７に移り、被連結部Ｃの位置が正しく検出される。

【0161】

ステップＳ３６またはステップＳ３７で、被連結部Ｃの位置が確定すると、サポート画像生成部３４Ｃは、ステップＳ１６で検出される被牽引車両Ｔの角度θ、ステップＳ１７で生成される進路予想線２２１、およびステップＳ１８で算出されるずれ量Ｄに基づき、これまでの実施の形態で説明したずれ量Ｄを減少させるためのサポート画像２３を生成する（ステップＳ１９’）。

【0162】

なお、ステップＳ１９’では、被連結部Ｃの座標が確定座標であるため、サポート画像生成部３４Ｃは、図１８に示したマーカ６０を確定座標であることを示す表示形態で生成し、ずれ量Ｄを減少させるためのサポート画像と併せて生成する。なお、マーカ６０の生成は、被連結部Ｃの座標が確定した後の所定時間のみであってよい。

【0163】

ステップＳ３６またはステップＳ３７で、被連結部Ｃの位置が確定した後は、次回以降の処理ルーチンにおいて、座標検出部３１１’は被連結部Ｃの位置が確定したと判定し（ステップＳ３１ ＹＥＳ）、被連結部Ｃの座標の検出を継続し（ステップＳ３８）、ステップ１６以降の処理を繰り返す。

【0164】

尚、ステップＳ３８は、被連結部Ｃの位置が確定した後に行う被連結部の位置検出処理であるが、座標検出部３１１’は、ステップＳ１５と同様に後方フレーム２１の画像認識により被連結部の位置を検出する。しかしながら、被連結部Ｃの位置が確定した後に、座標検出部３１１’が被連結部Ｃの位置を検出できなくなる可能性がある。

【0165】

そこで、ステップＳ３８では、座標検出部３１１’は、被連結部Ｃの位置を検出できない場合は、検出できていた前回の後方フレーム２１における被連結部Ｃの位置に対して、牽引車両Ｖの移動量から今回の後方フレーム２１における被連結部Ｃの位置を推定する。牽引車両Ｖの移動量は、図示せぬ車速センサによる車速と舵角βを基に算出すればよい。

【0166】

このように、被連結部Ｃの位置が確定した後も、運転支援装置１０は、ずれ量Ｄを減少させるためのサポート画像２３を生成し連結支援を行う。

【0167】

一方、トーイングモードに切り換わってからの経過時間が一定時間Ｔ１を経過したとき（ステップＳ３４ ＹＥＳ）、座標検出部３１１’が被連結部Ｃの位置を検出できていない場合は（ステップＳ３５ ＮＯ）、ステップＳ３９に移る。

【0168】

ステップＳ３９では、座標検出部３１１’、サポート画像生成部３４Ｃおよび画像合成部１２により、ユーザーに被連結部Ｃの位置を表示部上でタッチしてもらうよう、手動設定のメッセージを含む合成画像５０が生成され、表示装置２０に表示される。

【0169】

具体的には、ステップＳ３９において、座標検出部３１１’は、ユーザーに被連結部Ｃの位置を表示部上でタッチしてもらうよう、サポート画像生成部３４Ｃに手動設定指示を出力する。ステップＳ３９では、次いで、サポート画像生成部３４Ｃは、手動設定指示を受けて図１９に示した指示画像６１を含む画像をサポート画像２３として生成し、画像合成部１２に出力する。ステップＳ３９では、次いで、画像合成部１２は、指示画像６１を含む画像サポート画像２３を後方フレーム２１と合成し、合成画像５０として表示装置２０に出力する。これにより、図１９に示したように指示画像６１が表示部に表示される。

【0170】

次いで、座標検出部３１１’は、タッチスイッチ９から座標情報が入力されたか否かに基づき、ユーザーによる手動設定がなされたか否かを判断する（ステップＳ４０）。座標検出部３１１’は、タッチスイッチ９から座標情報が入力されたとき、手動設定がなされたと判断する。

【0171】

ユーザーによる手動設定がなされていない場合（ステップＳ４０ ＮＯ）、座標検出部３１１’は、ステップＳ３９で手動設定のメッセージを表示してからの経過時間が一定時間Ｔ２を経過したか否かを判断する（ステップＳ４１）。経過時間が第２の一定時間Ｔ２を経過していない場合（ステップＳ４１ ＮＯ）、座標検出部３１１’は、ステップＳ４０に戻り、ユーザーによる手動設定がなされるのを待つ。

【0172】

経過時間が一定時間Ｔ２を経過するまでにユーザーによる手動設定がなされた場合（ステップＳ４０ ＹＥＳ）、座標検出部３１１’は、ステップＳ３７に移り、ユーザーのタッチ操作により入力された表示部の座標情報に基づき、被連結部Ｃの位置を第２の位置として検出し、確定座標としてサポート画像生成部３４Ｃに座標情報を出力する。これにより、座標検出部３１１’が画像認識による被連結部Ｃの位置検出に失敗したとしても、確実に被連結部Ｃの位置を検出することができる。

【0173】

一方、ステップＳ３９で手動設定のメッセージを表示してからの経過時間が一定時間Ｔ２を経過した場合（ステップＳ４１ ＹＥＳ）、座標検出部３１１’が被連結部Ｃの位置検出に失敗し、かつユーザーによる手動設定もなされなかったことを意味する。この場合、座標検出部３１１’が被連結部Ｃの位置を特定できないため、運転支援装置１０は連結支援を行うことができない。よって、モード切換部１３は、トーイングモードを終了させ、バックガイドモードに切り換える。

【0174】

以上、詳細に説明したように、第４の実施の形態に係る運転支援装置１０では、位置検出部３１は、撮影画像に基づき被連結部Ｃを認識することで被連結部Ｃの位置を第１の位置として検出すると共に、表示装置２０上におけるユーザーの操作位置を検出すると、操作位置に基づき被連結部Ｃの位置を第２の位置として検出し、第２の位置が検出されたときは第２の位置を第１の位置より優先させる。これにより、画像認識による被連結部Ｃの位置の検出が正しく行われない場合であっても、被連結部Ｃの位置を確実に正しく検出することができる。

【0175】

［７．変形例］
上記実施の形態において、舵角センサ４が左前輪１ＦＬの舵角βを検出する例を説明したが、これに限られない。舵角センサ４は、車両Ｖのステアリングホイールの回転量を検出してもよい。この場合、操舵輪の舵角が、ステアリングホイールの回転量に基づいて、算出される。

【0176】

また、上記実施の形態において、運転支援装置１０の各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0177】

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0178】

また、運転支援装置１０により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0179】

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

【0180】

例えば、運転支援装置１０の各機能ブロックを、ソフトウェアにより実現する場合、図１１に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

【0181】

また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。

【0182】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0183】

以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

【符号の説明】

【0184】

Ｖ 車両（牽引車両）
Ｔ 被牽引車両
４ 舵角センサ
５ リアカメラ
１０ 運転支援装置
１１ 撮影画像取得部
１２ 画像合成部
１３ モード切換部
３０ トーイング制御部
３１ 位置検出部
３２ 予想線生成部
３３ ずれ量算出部
３４、３４Ｂ、３４Ｃ サポート画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】