特開 2024-141497 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141497

(43)【公開日】2024-10-10

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241003BHJP

   B60R 1/27 20220101ALI20241003BHJP

   B60D 1/36 20060101ALI20241003BHJP

【ＦＩ】

H04N7/18 J

B60R1/27

B60D1/36

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023053190

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】渡邊 一矢

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FD03

5C054FE14

5C054FE18

5C054HA30

(57)【要約】

【課題】撮像装置がヒッチボールの真上に設置されていなかったとしても、連結地点の位置を運転者に正確に把握させることを可能にした運転支援装置を提供する。
【解決手段】牽引車２に設置された後方カメラ９により牽引車の周辺を撮像した撮像画像を取得するとともに、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する一方で、俯瞰画像中において、牽引車２により牽引される対象となる被牽引車３が備えるカプラー７と牽引車２が備えるヒッチボール５とを連結する連結地点の位置を後方カメラ９とヒッチボール５との位置関係に基づいて算出し、算出された連結地点の位置にアイコン６４を重畳させた俯瞰画像を、車両操作を支援する支援画像として表示するように構成する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

牽引車において運転者が行う車両操作を支援する運転支援装置であって、
前記牽引車に設置された撮像装置により前記牽引車の周辺を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像に基づいて上方より前記牽引車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像中において、前記牽引車により牽引される対象となる被牽引車が備えるカプラーと前記牽引車が備えるヒッチボールとを連結する連結地点の位置を算出する地点算出部と、
前記連結地点の位置にアイコンを重畳させた前記俯瞰画像を、車両操作を支援する支援画像として前記牽引車が備える画像表示装置に表示する画像表示部と、を有し、
前記地点算出部は、前記撮像装置と前記ヒッチボールとの位置関係に基づいて前記俯瞰画像中の前記連結地点の位置を算出する運転支援装置。

【請求項2】

前記俯瞰画像生成部は、前記撮像画像を地表面に投影した画像について視点位置を変更することで前記俯瞰画像を生成する請求項１に記載の運転支援装置。

【請求項3】

前記牽引車のステアリング角を取得するステアリング角取得部と、
前記ステアリング角に基づいて前記連結地点の今後の移動軌跡を算出する軌跡算出部と、を有し、
前記画像表示部は、前記連結地点の移動軌跡を前記俯瞰画像に重畳して表示する請求項１又は請求項２に記載の運転支援装置。

【請求項4】

前記画像表示部は、
前記俯瞰画像と併せて前記撮像画像についても前記支援画像として前記画像表示装置に表示し、
前記画像表示装置に表示された前記俯瞰画像と前記撮像画像の内、少なくとも前記俯瞰画像に対して前記アイコンを重畳して表示する請求項１又は請求項２に記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転支援を行う運転支援装置に関する。

【背景技術】

【0002】

従来より被牽引車（トレーラ）を牽引する牽引車（トラクタ）について知られている。ここで、牽引車で被牽引車を牽引する際には、先ず牽引車の後方に設置されたヒッチボールと、被牽引車の前方に設置されたカプラーを物理的に接続する必要がある。このヒッチボールとカプラーの接続は、一般的に牽引車に乗車した運転者が牽引車を後退させ、ヒッチボールの位置を停車状態にある被牽引車のカプラーの位置に合わせることにより行う。

【0003】

しかしながら、車両の後方は運転者にとって死角であり、牽引車を後退させつつヒッチボールとカプラーの位置を合わせることは高度な運転技術が要求されていた。そこで例えば特開２００２－３１２７６８号公報には牽引車に設置されたカメラで後方を撮像した後方画像を車内のディスプレイに表示するとともに、後方画像においてヒッチボールの位置、即ち被牽引車が備えるカプラーと牽引車が備えるヒッチボールとを連結するためにカプラーを位置させる必要がある地点（以下、連結地点という）の位置を示すガイド線を表示することでヒッチボールとカプラーの位置合わせを容易化した技術について提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－３１２７６８号公報（段落００４９、図１１）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記特許文献１ではカメラで撮像した撮像画像中のヒッチボールの位置を連結地点の位置とみなしているが、撮像画像中でのヒッチボールの位置と実際の連結地点の位置との間にはズレが生じる問題があった。即ち図１２に示すように牽引車１０１に対してヒッチボール１０２は後方に突出した位置にあるので、基本的に牽引車１０１に設置されるカメラ１０３はヒッチボール１０２の真上には設置できず、斜め方向からヒッチボールを撮像することとなる。その結果、図１２に示すようにヒッチボール１０２と重なる位置、即ちカプラー１０４とヒッチボール１０２とを連結するためにカプラー１０４を位置させる必要がある連結地点にカプラー１０４があったとしても撮像画像１０５では連結地点にカプラー１０４が届いていないように映ることとなる。

【0006】

尚、図１２に示す例はカメラ１０３がヒッチボール１０２の真上から前後方向にずれて設置されている場合であるが、左右方向にずれて設置されている場合においても撮像画像１０５中のヒッチボール１０２の位置と実際の連結地点の位置との間には同様のズレが生じることとなる。

【0007】

本発明は前記従来における問題点を解消するためになされたものであり、撮像装置がヒッチボールの真上に設置されていなかったとしても、連結地点の位置を運転者に正確に把握させることを可能にした運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

前記目的を達成するため本発明に係る運転支援装置は、牽引車において運転者が行う車両操作を支援する運転支援装置であって、前記牽引車に設置された撮像装置により前記牽引車の周辺を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいて上方より前記牽引車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像中において、前記牽引車により牽引される対象となる被牽引車が備えるカプラーと前記牽引車が備えるヒッチボールとを連結する連結地点の位置を算出する地点算出部と、前記連結地点の位置にアイコンを重畳させた前記俯瞰画像を、車両操作を支援する支援画像として前記牽引車が備える画像表示装置に表示する画像表示部と、を有し、前記地点算出部は、前記撮像装置と前記ヒッチボールとの位置関係に基づいて前記俯瞰画像中の前記連結地点の位置を算出する。

【発明の効果】

【0009】

前記構成を有する本発明に係る運転支援装置によれば、撮像装置とヒッチボールとの位置関係に基づいて俯瞰画像中の連結地点の位置を算出するとともに、算出された連結地点の位置にアイコンを表示することで、撮像装置がヒッチボールの真上に設置されていなかったとしても、連結地点の位置を運転者に正確に把握させることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る牽引車及び被牽引車を示した図である。

【図2】牽引車の牽引装置付近を拡大して示した図である。

【図3】ヒッチボールとカプラーとを接続した状態での牽引車と被牽引車の動きを示した図である。

【図4】本実施形態に係る運転支援装置の構成を示したブロック図である。

【図5】本実施形態に係る運転支援処理プログラムのフローチャートである。

【図6】Ｓ２で液晶ディスプレイに表示される支援画像の一例を示した図である。

【図7】俯瞰画像の表示条件となる牽引車からカプラーまでの距離を示した図である。

【図8】撮像画像から俯瞰画像への変換方法について説明した図である。

【図9】連結地点の算出方法について説明した図である。

【図10】連結地点の算出方法について説明した図である。

【図11】Ｓ１１で液晶ディスプレイに表示される支援画像の一例を示した図である。

【図12】従来技術の問題点について説明した図である。

【発明を実施するための形態】

【0011】

以下、本発明に係る運転支援装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援装置１を搭載した牽引車（トラクタ）２と牽引車２によって牽引される被牽引車（トレーラ）３について以下説明する。図１は牽引車２及び被牽引車３を示した図であり、特に上図は牽引車２と被牽引車３とが連結した状態を示し、下図は牽引車２と被牽引車３が連結前の分離した状態を示す。

【0012】

ここで、牽引車２は、トラクタとも呼ばれ、被牽引車３を牽引して走行可能に構成されている。牽引車２は、例えば、内燃機関（エンジン等）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ等）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車種については問わず、後述の牽引装置４を備えていれば普通車であっても良いし、商業用の大型トラクタ（トレーラーヘッド）であっても良い。

【0013】

また、図１に示すように牽引車２のリヤバンパの例えば車幅方向の中央部の下部からは、被牽引車３を牽引するための牽引装置４（ヒッチ）が突出するように配置されている。図２は特に牽引装置４付近を拡大して示した図である。

【0014】

図２に示すように牽引装置４は牽引車２の例えばフレームに固定されている。牽引装置４は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール５を備え、このヒッチボール５に、被牽引車３に固定された連結部材６の先端部に設けられたカプラー７が覆い被さることで、ヒッチボール５とカプラー７とが接続され、その結果、牽引車２と被牽引車３とが連結される。但し、ヒッチボール５やカプラー７の形状については図２に示す形状に限られることなく、牽引車２と被牽引車３とが連結可能な形状であればどのような形状であっても良い。

【0015】

そして、ヒッチボール５とカプラー７とが接続された状態では、牽引車２の動きに合わせてヒッチボール５は被牽引車３（連結部材６）側に前後左右の動きを伝えることになる。また、図３に示すようにヒッチボール５に対してカプラー７が接続された状態であってもヒッチボール５に対してカプラー７の角度は自由（但し上限あり）に変位可能となっており、牽引車２に対して被牽引車３が車幅方向に揺動（旋回）可能となっている。

【0016】

一方、図１に示すように牽引車２の後側のリヤハッチの壁部には、後方カメラ（撮像装置）９が設置されている。後方カメラ９は、例えば、ＣＣＤやＣＩＳ等の撮像素子を内蔵するデジタルカメラである。後方カメラ９は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。後方カメラ９は、広角レンズまたは魚眼レンズを有し、光軸方向は斜め下方に向けて設定され、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。従って、後方カメラ９は、被牽引車３が連結されていない状態では路面を含む牽引車２の後方周辺の広い範囲を撮像した撮像画像のデータを出力可能である。

【0017】

また、上記後方カメラ９の撮像可能な範囲には、牽引車２の後端部にある牽引装置４及びヒッチボール５を少なくとも含む。また、被牽引車３が連結されていない状態であっても牽引車２の後方近くに被牽引車３があれば、被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても撮像対象となる。後方カメラ９によって撮像された撮像画像データは、被牽引車３の認識に加えて、例えば牽引車２と被牽引車３の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。特に本実施形態では後述のように牽引車２と被牽引車３との連結を支援する接続支援モードにある場合において牽引車２から被牽引車３が備えるカプラー７までの距離の検出や、被牽引車３が備えるカプラー７と牽引車２が備えるヒッチボール５とを連結するためにカプラー７を位置させる必要がある連結地点の位置の検出にも用いられる。また、後方カメラ９によって撮像された撮像画像データは、同じく接続支援モードにある場合において牽引車２の車内にあるディスプレイに表示され乗員が視認可能となる。更に後方カメラ９によって撮像された撮像画像データは、上方より牽引車周辺を俯瞰した俯瞰画像の生成にも用いられる。尚、俯瞰画像の生成の詳細については後述する。

【0018】

一方、被牽引車３はトレーラとも呼ばれ、上記の牽引車２に牽引されて走行する。従って、基本的には牽引車２と異なり駆動源としてのエンジンやモータは有していない。例えば、内部に居住空間を有するキャンピングトレーラー、車や船を載せて運ぶライトトレーラー等が該当する。被牽引車３は、本体部と、複数（本実施形態では２個）のトレーラ車輪と、連結部材６と、カプラー７とを備える。

【0019】

ここで、連結部材６は図１に示すように被牽引車３の本体部の車幅方向の中央部の下部に設けられており、本体部の前端部から前方（進行方向）へと突出するように配置されている。

【0020】

また、図２に示すようにカプラー７は、連結部材６の前端部に設けられており、ヒッチボール５を覆う球状の凹部が形成されている。そして、カプラー７がヒッチボール５を覆うことによって、前述したように被牽引車３は牽引車２に対して旋回可能に連結される（図３参照）。尚、連結部材６の長さや地表面からの高さ（即ち被牽引車３におけるカプラー７の位置）については被牽引車３の種類によって様々である。但し、本実施形態では少なくとも牽引車２が備えるヒッチボール５と連結可能な位置にカプラー７が位置するとする。

【0021】

続いて、牽引車２が備える運転支援装置１について説明する。運転支援装置１は上述した牽引車２と被牽引車３との連結を行う為に牽引車２を後退させる際に運転者が行う車両操作を支援する為の装置である。図４は本実施形態に係る運転支援装置１の構成を示したブロック図である。

【0022】

図４に示すように、本実施形態に係る運転支援装置１は、牽引車２の乗員からの操作を受け付ける操作部１４と、牽引車２の乗員に対して後方カメラ９の撮像画像やその他の運転支援に係る情報を表示する液晶ディスプレイ１５と、運転支援に関する音声ガイダンスを出力するスピーカ１６と、牽引車２や被牽引車３に関する各種のデータが記録された車両情報ＤＢ２１と、入力された情報に基づいて各種の演算処理を行う運転支援ＥＣＵ２３と、を有する。また、運転支援装置１はＣＡＮ等の車載ネットワークを介して、牽引車２に対して設置された後方カメラ９、牽引車２に対する各種制御を行う車両制御ＥＣＵ２４、車速センサ２５、ステアリングセンサ２６、シフト位置センサ２７等の各種センサとも接続されている。

【0023】

操作部１４は、牽引車２のインストルメントパネルやハンドルに設けられ、例えば後述の接続支援モードへの移行操作、牽引車２や被牽引車３に関する各種パラメータを入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、運転支援ＥＣＵ２３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

【0024】

液晶ディスプレイ１５は、牽引車２のインストルメントパネルに設けられ、牽引車２と被牽引車３との連結を支援する接続支援モード移行時において後方カメラ９によって撮像された撮像画像データを表示する。また、所定条件を満たした場合には撮像画像データに基づいて生成された俯瞰画像についても表示される。尚、液晶ディスプレイ１５は、ナビゲーション装置に使用するものと兼用してもよい。

【0025】

また、スピーカ１６は、運転支援ＥＣＵ２３からの指示に基づいて同じく接続支援モード移行時において走行を案内する音声ガイダンス等を出力する。尚、スピーカ１６は、ナビゲーション装置に使用するものと兼用してもよい。

【0026】

また、車両情報ＤＢ２１は、牽引車２や被牽引車３に関する各種情報が格納される記憶手段である。例えば、牽引車２について後方カメラ９の設置位置（地上面からの高さ、左右方向の位置、車両後端からの距離）や光軸方向、ヒッチボール５の設置位置（地上面からの高さ、車両後端からの距離）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。一方、被牽引車３についてはカプラー７の設置位置（地上面からの高さ、車両先端からの距離）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。これらの情報は予め乗員や車両メーカー側の人間が操作部１４を用いて入力しても良いし、後方カメラ９や各種センサによって検出した値を自動で入力しても良い。尚、牽引する被牽引車３については必ずしも固定とは限らないので、牽引対象となる被牽引車３が変われば上記パラメータも変更する必要がある。車両情報ＤＢ２１の記憶媒体としては例えばメモリーカードを使用することができる。更に、運転支援ＥＣＵ２３内の記憶領域（例えば、ＲＡＭやフラッシュメモリ）に設けることとしても良い。

【0027】

一方、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）２３は、運転支援装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ３２、制御用のプログラムのほか、後述の運転支援プログラム（図５参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムを記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、運転支援ＥＣＵ２３は、処理アルゴリズムとしての各種制御部を有する。例えば、撮像画像取得部は、牽引車２に設置された後方カメラ９により牽引車２の周辺を撮像した撮像画像を取得する。俯瞰画像生成部は、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する。地点算出部は、俯瞰画像中において、牽引車２により牽引される対象となる被牽引車３が備えるカプラー７と牽引車２が備えるヒッチボール５とを連結する連結地点の位置を算出する。画像表示部は、連結地点の位置にアイコンを重畳させた俯瞰画像を、車両操作を支援する支援画像として牽引車２が備える液晶ディスプレイ１５に表示する。

【0028】

また、車両制御ＥＣＵ２４は、牽引車２の制御を行う電子制御ユニットである。また、車両制御ＥＣＵ２４はステアリング、ブレーキ、アクセル等の車両の各駆動部と接続されており、本実施形態では例えば後述の接続支援モード移行時やその他の例えば駐車スペースへの駐車を支援する駐車支援モード移行時において、各駆動部を制御することにより牽引車２の自動運転支援を実施することも可能である。具体的には、運転支援ＥＣＵ２３は、接続支援モード実行時や駐車支援モード実行時にＣＡＮを介して車両制御ＥＣＵ２４に対して運転支援装置１で生成された自動運転支援に関する各種支援情報を送信する。そして、車両制御ＥＣＵ２４は受信した各種支援情報を用いて走行開始後の自動運転支援を実施する。支援情報としては例えば牽引車２や被牽引車３の走行が推奨される走行軌道、走行軌道に従って走行する際の車速やステアリング角を示す情報等がある。尚、自動運転支援ではステアリングの操作のみ自動で行っても良いし、駆動源、ブレーキの制御も自動で行うようにしても良い。一方で牽引車２において上記自動運転支援の搭載は必須ではなく、牽引車２は手動運転のみ可能な車両としても良い。

【0029】

また、車速センサ２５は、牽引車２の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して速度信号を出力する。また、ステアリングセンサ２６は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号を出力する。更に、シフト位置センサ２７は、シフトレバーに内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。

【0030】

運転支援ＥＣＵ２３は、上記各種センサからの出力信号に基づいて、現在の牽引車２の車速、走行距離、ステアリング角、シフト位置等を取得することが可能である。

【0031】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ２３が実行する運転支援処理プログラムについて図５に基づき説明する。図５は本実施形態に係る運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは牽引車２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、牽引車２を後退させて被牽引車３との連結を行う際の運転者が行う車両操作を支援するプログラムである。尚、以下の図５にフローチャートで示されるプログラムは、運転支援装置１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

【0032】

先ず、ステップ（以下、Ｓと略記する）１においてＣＰＵ３１は、牽引車２と被牽引車３との連結を支援する接続支援モードに移行したか否かを判定する。ここで、接続支援モードは例えばシフト位置が「Ｐ」或いは「Ｒ」にある状態で、且つ牽引車２の乗員が操作部１４において所定のモード移行操作を行った場合に移行する。但し、シフト位置についてはモード移行の条件から除いても良い。また、現時点で被牽引車３が連結されていないことをモード移行の条件に加えても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。更に、被牽引車３が連結されていない状態で車両が後退を開始した時点で自動的に接続支援モードに移行するようにしても良い。

【0033】

そして、牽引車２と被牽引車３との連結を支援する接続支援モードに移行したと判定された場合（Ｓ１：ＹＥＳ）には、Ｓ２へと移行する。それに対して、接続支援モードに移行していないと判定された場合（Ｓ１：ＮＯ）には、当該運転支援処理プログラムを終了する。

【0034】

Ｓ２においてＣＰＵ３１は、後方カメラ９によって撮像されたリアルタイムの撮像画像（より具体的には所定のフレームレートで撮像された動画データ（撮像画像データ））を、車両操作を支援する支援画像として液晶ディスプレイ１５に対して出力する（第１の表示態様）。ここで、後方カメラ９は図１に示すように牽引車２の後側のリヤハッチの壁部に設置され、光軸方向は斜め下方に向けて設定されており、広角レンズや魚眼レンズを使用し、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。従って、後方カメラ９は、被牽引車３が連結されていない状態では路面を含む牽引車２の後方周辺の広い範囲を撮像した撮像画像のデータを出力可能である。以後、接続支援モードを終了する（Ｓ４：ＹＥＳ又はＳ９：ＹＥＳ）まで継続して後方カメラ９によって撮像された撮像画像を表示する。

【0035】

ここで、図６は前記Ｓ２で液晶ディスプレイ１５に表示される支援画像５１の一例を示した図である。図６に示すように支援画像５１には牽引車２の後端部にある牽引装置４及びヒッチボール５を少なくとも含む。また、被牽引車３が連結されていない状態で牽引車２の後方近くに被牽引車３があれば、図６に示すように被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても支援画像５１に含まれる。尚、後方カメラ９によって撮像された撮像画像の内、特定のエリアのみ（例えばヒッチボール５周辺のみ）をトリミングして支援画像５１として表示しても良い。

【0036】

また、ＣＰＵ３１はステアリングセンサ２６からの検出信号に基づいて牽引車２の現在のステアリング角を取得し、取得したステアリング角に基づいてヒッチボール５の今後の移動軌跡５２を算出して支援画像５１に重畳して表示する。尚、移動軌跡５２は現時点のステアリング角に基づいて算出されるので、運転者がステアリング角を変位させればそれに伴って移動軌跡５２の軌道もリアルタイムで変位することとなる。また、ヒッチボール５の移動軌跡に加えて或いは代えて後輪車両の移動軌跡を表示するようにしても良い。また、支援画像５１においてはこれらの移動軌跡５２の表示は必須ではなく撮像画像のみを表示するようにしても良い。

【0037】

牽引車２の運転者は、液晶ディスプレイ１５に表示された支援画像５１を視認することによって自車のヒッチボール５と牽引対象となる被牽引車３のカプラー７の位置関係を容易に把握することが可能となる。そして、ヒッチボール５とカプラー７の位置を合わせるようにステアリングを操作し牽引車２の後退を行うことで、ヒッチボール５とカプラー７を互いに近づけることが可能となる。特に移動軌跡５２が表示された状態では移動軌跡５２がカプラー７を通過するようにステアリング角を調整することでより容易にヒッチボール５とカプラー７の位置を合わせることが可能となる。

【0038】

その後、Ｓ３においてＣＰＵ３１は、図７に示すように牽引車２からカプラー７までの距離が閾値未満となったか否かを判定する。また、カプラー７までの距離ではなく被牽引車３までの距離としても良い。カプラー７までの距離や被牽引車３までの距離については、例えば牽引車２が備えるセンサやカメラなどを用いて検出しても良いし、液晶ディスプレイ１５に表示された支援画像５１中に含まれるカプラーの位置をユーザに選択させ、選択された位置までの距離を検出しても良い。尚、閾値については適宜設定可能であるが、例えば３ｍとする。尚、閾値についてユーザが操作部１４を用いて任意の値を設定可能としても良い。

【0039】

そして、牽引車２からカプラー７までの距離が閾値未満となったと判定された場合（Ｓ３：ＹＥＳ）には、Ｓ５へと移行する。それに対して、牽引車２からカプラー７までの距離が閾値以上であると判定された場合（Ｓ３：ＮＯ）にはＳ４へと移行する。

【0040】

Ｓ４においてＣＰＵ３１は、接続支援モードを終了するか否かを判定する。ここで、接続支援モードの終了は、例えば牽引車２の乗員が操作部１４において所定のモード終了操作を行ったことを条件としても良いし、シフト位置が「Ｐ」に移行されたことやエンジンがオフされたことを条件としても良い。また、被牽引車３が連結されたことをモード終了の条件としても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。

【0041】

そして、接続支援モードが終了したと判定された場合（Ｓ４：ＹＥＳ）には、当該運転支援処理プログラムを終了する。それに対して、接続支援モードが終了していないと判定された場合（Ｓ４：ＮＯ）にはＳ２へと戻り、第１の表示態様による支援画像の表示を継続して行う。即ち、本実施形態ではカプラー７までの距離が閾値以上の状態では、後述の第２の表示態様へ移行することなく支援画像を第１の表示態様で継続して表示することとなる。

【0042】

但し、仮に牽引車２からカプラー７までの距離が閾値以上であると判定された場合（Ｓ３：ＮＯ）であっても、牽引車２の乗員から俯瞰画像の表示を行う為の所定の操作を受け付けた場合については、乗員の意思を優先して俯瞰画像の表示を行う為にＳ５へ移行するのが望ましい。例えば、操作部１４に液晶ディスプレイ１５に表示された支援画像について俯瞰画像への切り替えを行う為の専用のボタンを配置し、そのボタンが操作された場合については牽引車２からカプラー７までの距離が閾値以上であっても以後はＳ５へ強制的に移行するようにする。

【0043】

一方、Ｓ５においてＣＰＵ３１は、図８に示すように後方カメラ９によって撮像されたリアルタイムの撮像画像を、地表面の高さに対応する水平面である仮想投影面に投影し、仮想投影面に投影された撮像画像を牽引車２の上方から鉛直方向に見下ろす仮想視点から見た画像に変換することで俯瞰画像を生成する。但し、仮想投影面の高さについては地表面ではなくヒッチボール５或いはカプラー７の高さに対応する水平面としても良い。尚、仮想投影面の高さをヒッチボール５或いはカプラー７の高さに対応する水平面とした場合については、後述の連結地点にアイコンを表示する際の表示位置の補正は不要となる（俯瞰画像中のヒッチボール５の位置が連結地点の位置となる）。ヒッチボール５或いはカプラー７の高さについては車両情報ＤＢ２１に格納されている。

【0044】

尚、前記Ｓ５の仮想視点から見た画像への変換については、後方カメラ９の光軸に対して垂直な面に沿って設定した撮像画像座標系の各座標を、先ず地表面に沿って設定した地面座標系の各座標に変換し、更に俯瞰画像座標系の各座標に変換することにより行う。尚、各座標変換に用いる変換式については既に公知であるので説明は省略する。

【0045】

次に、Ｓ６においてＣＰＵ３１は、ヒッチボール５及び後方カメラ９の位置情報を車両情報ＤＢ２１から取得する。尚、車両情報ＤＢ２１には、牽引車２に関する各種情報が記憶されており、例えば後方カメラ９の設置位置（地上面からの高さ、左右方向の位置、車両後端からの距離）や光軸方向、ヒッチボール５の設置位置（地上面からの高さ、左右方向の位置、車両後端からの距離）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。

【0046】

続いて、Ｓ７においてＣＰＵ３１は、前記Ｓ６で取得したヒッチボール５及び後方カメラ９の位置情報に基づいて、前記Ｓ５で生成された俯瞰画像中の連結地点の位置を算出する。尚、連結地点とは、被牽引車３が備えるカプラー７と牽引車２が備えるヒッチボール５とを連結するためにカプラー７を位置させる必要がある地点であり、基本的にはヒッチボール５と重なる位置となる。しかしながら、従来技術の説明で図１２を用いて説明したように後方カメラ９がヒッチボール５の真上にない状況下では撮像画像中のヒッチボール５の位置と連結地点の位置との間にはズレを生じる。従って、前記Ｓ５で生成された俯瞰画像中のヒッチボール５の位置についても連結地点の位置との間にズレが生じており、前記Ｓ７ではこのズレを考慮して前記Ｓ５で生成された俯瞰画像中の連結地点の位置を算出する。但し、前述したように俯瞰画像の仮想投影面の高さをヒッチボール５或いはカプラー７の高さに対応する水平面とした場合についてはこのズレを無視できるので、俯瞰画像中のヒッチボール５の位置が連結地点の位置となる。

【0047】

以下に、前記Ｓ７における俯瞰画像中の連結地点の位置の算出方法について説明する。
図９に示すように鉛直上方から見て後方カメラ９とヒッチボール５の位置を結ぶ線分が車両の長さ方向（進行方向）となす角度をα、側方（車幅方向）から見て後方カメラ９とヒッチボール５の位置を結ぶ線分が鉛直方向となる角度をβとする。尚、α及びβは前記Ｓ６で取得したヒッチボール５及び後方カメラ９の位置情報に基づいて以下の式（１）及び（２）により算出される。
α＝atan（ａ／ｂ＋ｃ）・・・・（１）
β＝atan（ｂ＋ｃ／ｄ－ｅ）・・・・（２）
ａ：後方カメラ９からヒッチボール５（即ち車幅中央）までの車幅方向の距離
ｂ：車両後端から後方カメラ９までの車両長さ方向の距離
ｃ：車両後端からヒッチボール５までの車両長さ方向の距離
ｄ：後方カメラ９の地表面からの高さ
ｅ：ヒッチボール５の地表面からの高さ

【0048】

そして、図１０に示すように前記Ｓ５で生成された俯瞰画像５５に直交座標系を設定し、俯瞰画像５５中のヒッチボール５の位置を（ｘ１，ｙ１）とすると、以下の式（３）～（６）を用いて俯瞰画像５５中の連結地点の位置（ｘ２，ｙ２）が算出される。
ｙ２＝ｙ１＋Ｌ１・・・・（３）
Ｌ１＝ｄ×tanβ・・・・（４）
ｘ２＝ｘ１＋Ｌ２・・・・（５）
Ｌ２＝Ｌ１×tanα・・・・（６）
俯瞰画像５５中のヒッチボール５の位置（ｘ１，ｙ１）については後方カメラ９で撮像した撮像画像に対して画像認識処理を行うことにより特定しても良いし、車両情報ＤＢ２１に格納されたヒッチボール５の位置情報に基づいて推定しても良い。また、液晶ディスプレイ１５に俯瞰画像５５を表示して画面上でユーザに指定させても良い。尚、上記例ではヒッチボール５の位置を連結地点の位置として算出する場合について説明したが、連結のために接近する際は被牽引車３のカプラー７はヒッチボール５よりも高い位置となる。計算式中のｅについては連結する際のカプラー７の高さで設定してもよい。

【0049】

次に、Ｓ８においてＣＰＵ３１は、俯瞰画像中の連結地点の位置に対して描画する為のアイコンを生成する。尚、本実施形態ではアイコンは少なくともヒッチボール５と同程度或いはヒッチボール５よりもやや大きいサイズとし、カプラー７方向（牽引車２の後方）に開いたＵ字形状とする。但し、形状についてはＵ字形状に限られることなく適宜変更可能である。例えば円や三角形状としても良い。表示色は例えば赤色或いは緑色などの路面と識別容易な色とする。

【0050】

続いて、Ｓ９においてＣＰＵ３１は、前記Ｓ５で生成された俯瞰画像を、車両操作を支援する支援画像として液晶ディスプレイ１５に対して出力する（第２の表示態様）。更に、俯瞰画像中の前記Ｓ７で算出された連結地点の位置には前記Ｓ８で生成されたアイコンを重畳して表示する。具体的には、連結地点にアイコンの中心が位置するように表示する。尚、２画面構成にして第１の表示態様にて表示されていた後方カメラ９の撮像画像については一方の画面で継続して表示しても良いし、俯瞰画像の表示に伴って後方カメラ９の撮像画像については非表示（俯瞰画像への表示の切り替え）としても良い。また、俯瞰画像については実写の映像をそのまま表示するのではなく牽引車２と被牽引車３を模式的に示すイラスト画像に変換して表示しても良い。

【0051】

ここで、特に本実施形態では俯瞰画像のヒッチボール５の位置と異なる位置に連結地点の位置を示すアイコンを表示することとなるので、牽引車２の運転者を混乱させないために牽引車２及び牽引車２に設置されたヒッチボール５については俯瞰画像で表示しないようにトリミングして除き、代わりに牽引車を模したイラスト画像を表示するようにするのが望ましい。以後、接続支援モードを終了する（Ｓ１０：ＹＥＳ）まで継続してリアルタイムの撮像画像に基づく前記Ｓ５の俯瞰画像の生成、前記Ｓ６及びＳ７の連結地点の算出、Ｓ８及びＳ９の俯瞰画像の表示を行う。

【0052】

ここで、図１１は前記Ｓ９で液晶ディスプレイ１５に表示される支援画像の一例を示した図である。図１１に示すように支援画像は左画面に表示される第１の支援画像６１と右画面に表示される第２の支援画像６２とに分割され、第１の支援画像６１としては後方カメラ９によって撮像された撮像画像が継続して表示される。一方、第２の支援画像６２としては俯瞰画像が表示される。尚、俯瞰画像には牽引車２と対応する位置に牽引車を模したイラスト画像６３が表示される。尚、ヒッチボールについては基本的には表示しないこととするが連結地点に合わせてヒッチボールのイラスト画像を表示するようにしても良い。また、前述したように俯瞰画像の表示は牽引車２からカプラー７までの距離が閾値未満となったことを条件とするので、図１１に示すように被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても基本的に俯瞰画像に含まれる。

【0053】

また、第２の支援画像６２については前記Ｓ７で算出された連結地点の位置にアイコン６４が重畳して表示される。アイコン６４はカプラー７方向（牽引車２の後方）に開いたＵ字形状とする。

【0054】

また、ＣＰＵ３１はステアリングセンサ２６からの検出信号に基づいて牽引車２の現在のステアリング角を取得し、取得したステアリング角に基づいてヒッチボール５の今後の移動軌跡５２を算出して第１の支援画像６１に重畳して表示する。また、同じく取得したステアリング角に基づいて連結地点の今後の移動軌跡６５を算出して第２の支援画像６２に重畳して表示する。尚、移動軌跡５２、６５は現時点のステアリング角に基づいて算出されるので、運転者がステアリング角を変位させればそれに伴って移動軌跡５２、６５の軌道もリアルタイムで変位することとなる。また、ヒッチボール５や連結地点の移動軌跡に加えて或いは代えて後輪車両の移動軌跡を表示するようにしても良い。また、支援画像においてこれらの移動軌跡５２、６５の表示は必須ではなく撮像画像や俯瞰画像のみを表示するようにしても良い。

【0055】

そして、牽引車２の運転者は、液晶ディスプレイ１５に表示された第１の支援画像６１及び第２の支援画像６２を視認することによって自車のヒッチボール５と牽引対象となる被牽引車３のカプラー７の位置関係を容易に把握することが可能となる。特に第２の支援画像６２では真上から見下ろした俯瞰図となり、更に連結させる為にカプラー７を位置させる必要のある連結地点の位置にアイコン６４が表示されるので、位置関係がより明確となる。そして、ヒッチボール５とアイコン６４の位置を合わせるようにステアリングを操作し牽引車２の後退を行うことで、図２に示すようにヒッチボール５とカプラー７をズレなく接続することが可能となる。特に移動軌跡５２、６５が表示された状態では移動軌跡５２、６５がカプラー７を通過するようにステアリング角を調整することでより容易にヒッチボール５とカプラー７の位置を合わせることが可能となる。

【0056】

尚、第２の支援画像６２として俯瞰画像を表示する際には、前記Ｓ５で生成された俯瞰画像の内、特定のエリアのみをトリミングし、更にトリミングした画像を拡大した後に表示するのが望ましい。例えば、少なくともヒッチボール５とカプラー７の先端付近を含む最小のエリアでトリミングを行い、拡大して表示する。その結果、牽引車２からカプラー７の先端までの距離に応じて俯瞰画像が拡大して表示されることとなり（牽引車２からカプラー７の先端までの距離が短いほどより拡大した俯瞰画像が表示される）、ヒッチボール５とアイコン６４が接近した状態では俯瞰画像に基づいてヒッチボール５とアイコン６４の位置関係をより詳細に特定することが可能となる。尚、俯瞰画像の拡大及び縮小についてユーザの操作に基づいて行うようにしても良い。

【0057】

その後、Ｓ１０においてＣＰＵ３１は、接続支援モードを終了するか否かを判定する。ここで、接続支援モードの終了は、例えば牽引車２の乗員が操作部１４において所定のモード終了操作を行ったことを条件としても良いし、シフト位置が「Ｐ」に移行されたことやエンジンがオフされたことを条件としても良い。また、被牽引車３が連結されたことをモード終了の条件としても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。

【0058】

そして、接続支援モードが終了したと判定された場合（Ｓ１０：ＹＥＳ）には、当該運転支援処理プログラムを終了する。それに対して、接続支援モードが終了していないと判定された場合（Ｓ１０：ＮＯ）にはＳ５へと戻り、第２の表示態様による支援画像の表示を継続して行う。

【0059】

以上詳細に説明した通り、本実施形態に係る運転支援装置１及び運転支援装置１で実行されるコンピュータプログラムによれば、牽引車２に設置された後方カメラ９により牽引車の周辺を撮像した撮像画像を取得するとともに、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する（Ｓ５）一方で、俯瞰画像中において、牽引車２により牽引される対象となる被牽引車３が備えるカプラー７と牽引車２が備えるヒッチボール５とを連結するためにカプラー７を位置させる必要がある連結地点の位置を後方カメラ９とヒッチボール５との位置関係に基づいて算出し（Ｓ７）、算出された連結地点の位置にアイコン６４を重畳させた俯瞰画像を、車両操作を支援する支援画像として表示する（Ｓ９）ので、後方カメラ９がヒッチボール５の真上に設置されていなかったとしても、連結地点の位置を運転者に正確に把握させることが可能となる。
また、俯瞰画像の生成では、撮像画像を地表面に投影した画像について視点位置を変更することで俯瞰画像を生成する（Ｓ５）ので、路面を明確に表示し、且つ周囲の障害物との距離感も違和感のない俯瞰画像とすることが可能となる。
また、牽引車のステアリング角を取得し、ステアリング角に基づいて連結地点の今後の移動軌跡を算出し、連結地点の移動軌跡を俯瞰画像に重畳して表示する（Ｓ９）ので、移動軌跡がカプラーを通過するようにステアリング角を調整することでより容易にヒッチボールとカプラーの位置を合わせることが可能となる。
また、俯瞰画像と併せて撮像画像についても支援画像として液晶ディスプレイ１５に表示し（Ｓ９）、液晶ディスプレイ１５に表示された俯瞰画像と撮像画像の内、少なくとも俯瞰画像に対してアイコン６４を重畳して表示するので、俯瞰画像に基づいて連結地点の位置を運転者に正確に把握させることが可能となる。

【0060】

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば本実施形態では運転支援処理プログラム（図５）において液晶ディスプレイ１５に支援画像（図６、図１１）の表示を行っているが、支援画像の表示に加えて自動運転支援による車両制御を行っても良い。例えば、ＣＰＵ３１は、接続支援モード実行時にＣＡＮを介して車両制御ＥＣＵ２４に対して運転支援装置１で生成された自動運転支援に関する各種支援情報を送信する。そして、車両制御ＥＣＵ２４は受信した各種支援情報を用いて後退開始後の自動運転支援を実施する。支援情報としては例えばヒッチボール５とカプラー７を接続する為の推奨される走行軌道、走行軌道に従って走行する際の車速やステアリング角を示す情報等がある。尚、自動運転支援ではステアリングの操作のみ自動で行っても良いし、駆動源、ブレーキの制御も自動で行うようにしても良い。尚、牽引車２において上記自動運転支援の搭載は必須ではなく、牽引車２は手動運転のみ可能な車両としても良い。

【0061】

また、ＣＰＵ３１は後方カメラ９により撮像された撮像画像に対して画像認識処理を行うことによって、撮像画像に牽引対象となる被牽引車３が含まれているか否かを判定し、撮像画像に牽引対象となる被牽引車３が含まれていると判定された場合にのみＳ５以降に進む、即ち俯瞰画像を表示するようにしても良い。尚、ＣＰＵ３１は後方カメラ９で撮像した撮像画像中にある被牽引車３を検出する為に、路面と路面上にある構造物を輝度差に基づいて輝度補正を行う。その後、構造物を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と構造物との境界線を検出する。その後に、例えば公知のテンプレートマッチング処理や特徴点検出処理等を用い、路面上にある構造物が牽引対象となる被牽引車３か否かを判定する。但し、撮像画像に対する画像認識処理については上記例に限られることなく、例えば機械学習を用いて行っても良い。

【0062】

また、前記Ｓ３では牽引車２からカプラー７までの距離ではなく牽引車２から被牽引車３（より具体的には被牽引車３の先端）までの距離を取得しても良い。カプラー７までではなく被牽引車３までの距離を取得する場合においては、カプラー７の識別が不要であるので、ミリ波レーダやレーザセンサ等の対象物までの距離を検出可能なセンサを牽引車２に搭載し、それらのセンサを用いて距離を検出しても良い。

【0063】

また、本実施形態では、第２の表示態様で支援画像を表示する際に、俯瞰画像のみに連結地点の位置を示すアイコン６４を表示しているが、撮像画像にもアイコン６４を表示するようにしても良い。尚、撮像画像にアイコン６４を表示する場合においても撮像画像中のヒッチボールと連結地点の位置のずれを考慮して表示するのが望ましい。

【0064】

また、本実施形態では、第２の表示態様で支援画像を表示する際に、俯瞰画像では実写の映像をそのまま表示するのではなく牽引車２については模式的に示すイラスト画像に置き換えて表示しているが、実写の牽引車２をそのまま表示しても良い。

【0065】

また、本実施形態では、運転支援処理プログラム（図５）の処理を運転支援装置１の運転支援ＥＣＵ２３が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ１５の制御部、車両制御ＥＣＵ、ナビゲーション装置の制御部、その他の車載器が実行する構成としても良い。

【符号の説明】

【0066】

１…運転支援装置、２…牽引車、３…被牽引車、４…牽引装置、５…ヒッチボール、６…連結部材、７…カプラー、９…後方カメラ、１５…液晶ディスプレイ、３１…ＣＰＵ、３２…ＲＡＭ、３３…ＲＯＭ、５１…支援画像、５２…ヒッチボールの移動軌跡、６１…第１の支援画像、６２…第２の支援画像、６４…アイコン、６５…連結地点の移動軌跡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】