特開 2024-145479 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145479

(43)【公開日】2024-10-15

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   B60W 50/14 20200101AFI20241004BHJP

   B60R 1/20 20220101ALI20241004BHJP

   H04N 7/18 20060101ALI20241004BHJP

【ＦＩ】

B60W50/14

B60R1/20 100

H04N7/18 J

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023057848

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】今井 規夫

(72)【発明者】

【氏名】友澤 元克

(72)【発明者】

【氏名】▲高▼畠 理

(72)【発明者】

【氏名】飯島 健

(72)【発明者】

【氏名】森木 達夫

(72)【発明者】

【氏名】石塚 太佑

【テーマコード（参考）】

3D241

5C054

【Ｆターム（参考）】

3D241BA50

3D241BA60

3D241BB04

3D241BB14

3D241BC01

3D241BC02

3D241CA15

3D241CD12

3D241DC02Z

3D241DC29Z

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC13

5C054FC15

5C054FD03

5C054FD07

5C054FE06

5C054FE12

5C054FE25

5C054FF03

5C054HA30

(57)【要約】

【課題】画像認識によって牽引車から被牽引車が備えるカプラーまでの正確な距離を取得可能であり、安定したより適切なタイミングで俯瞰画像の表示を行うことを可能にした運転支援装置を提供する。
【解決手段】牽引車２に設置された後方カメラ９により牽引車の周辺を撮像した撮像画像を取得するとともに、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する一方で、牽引車２により牽引される対象となる被牽引車３が牽引車２と接続する為に備えるカプラー７を、撮像画像に対する画像認識により検出し、更に牽引車２から検出されたカプラー７の先端までの距離を取得し、牽引車２からカプラー７の先端までの距離が閾値以上では俯瞰画像を表示対象に含まない第１の表示態様で支援画像を表示し、牽引車２からカプラー７の先端までの距離が閾値未満では俯瞰画像を表示対象に含む第２の表示態様で支援画像を表示するように構成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

牽引車において運転者が行う車両操作を支援する運転支援装置であって、
前記牽引車に設置された撮像装置により前記牽引車の周辺を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像に基づいて上方より前記牽引車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
前記撮像画像と前記俯瞰画像の少なくとも一方を、車両操作を支援する支援画像として前記牽引車が備える画像表示装置に表示する画像表示部と、
前記牽引車により牽引される対象となる被牽引車が前記牽引車と接続する為に備えるカプラーを、前記撮像画像に対する画像認識により検出する画像認識部と、
前記牽引車から検出された前記カプラーの特定地点までの距離を取得する距離取得部と、を有し、
前記画像表示部は、
前記牽引車から前記カプラーの特定地点までの距離が閾値以上では前記支援画像について前記俯瞰画像を表示対象に含まない第１の表示態様で表示し、
前記牽引車から前記カプラーの特定地点までの距離が閾値未満では前記支援画像について前記俯瞰画像を表示対象に含む第２の表示態様で表示する運転支援装置。

【請求項2】

前記画像表示部は、前記画像認識部によって前記カプラーを検出できない状態では、前記支援画像を前記第１の表示態様で表示する請求項１に記載の運転支援装置。

【請求項3】

前記運転者の操作を受け付ける操作受付部を有し、
前記画像表示部は、前記牽引車から前記カプラーの特定地点までの距離が閾値以上であっても前記運転者の所定の操作を受け付けた場合には、前記支援画像の表示態様を前記第１の表示態様から前記第２の表示態様に切り替える請求項１に記載の運転支援装置。

【請求項4】

前記画像表示部は、前記支援画像を前記第２の表示態様で表示する場合に、前記牽引車から前記カプラーの特定地点までの距離に応じて前記俯瞰画像を拡大して表示する請求項１に記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転支援を行う運転支援装置に関する。

【背景技術】

【0002】

従来より被牽引車（トレーラ）を牽引する牽引車（トラクタ）について知られている。ここで、牽引車で被牽引車を牽引する際には、先ず牽引車の後方に設置されたヒッチボールと、被牽引車の前方に設置されたカプラーを物理的に接続する必要がある。このヒッチボールとカプラーの接続は、一般的に牽引車に乗車した運転者が牽引車を後退させ、ヒッチボールの位置を停車状態にある被牽引車のカプラーの位置に合わせることにより行う。

【0003】

しかしながら、車両の後方は運転者にとって死角であり、牽引車を後退させつつヒッチボールとカプラーの位置を合わせることは高度な運転技術が要求されていた。そこで例えば特開２０１８－１４４５２６号公報には牽引車に設置されたカメラで後方を撮像した後方画像を車内のディスプレイに表示するとともに、特に車両の現在位置からユーザの後方画像へのタッチ操作で位置の特定されたヒッチボールとカプラーが連結可能な位置までの後退経路を特定し、特定した後退経路に従って後退するように自動操舵を行うとともに、ヒッチボールからカプラーまでの距離が所定距離未満となった時点で後方画像を車両の上方から見た俯瞰画像に切り替えて表示することでヒッチボールとカプラーの位置合わせを容易化した技術について提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１４４５２６号公報（段落００６０－００６５、００７１－００７４、００８７－００９６）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記特許文献１では後方画像から俯瞰画像へと切り替わるタイミングは、後退経路に沿ったヒッチボールからカプラーまでの距離が所定距離未満となったタイミングとなる。しかしながら、後退経路は後退開始時点の牽引車と被牽引車の相対位置や相対角度によって様々に変化し、大きく蛇行したり湾曲した軌道にもなり得る。その結果、俯瞰画像が表示されるタイミングが一定でなく状況によって大きく異なるのでユーザにとっては使い難い問題がある。また、引用文献１では後方画像内におけるヒッチボールやカプラーの位置を後方画像に対するユーザのタッチ操作に基づいて特定しており、ヒッチボールからカプラーまでの正確な距離の算出が難しい問題もある。

【0006】

本発明は前記従来における問題点を解消するためになされたものであり、画像認識によって牽引車から被牽引車が備えるカプラーまでの正確な距離を取得可能であり、安定したより適切なタイミングで俯瞰画像の表示を行うことを可能にした運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するため本発明に係る運転支援装置は、牽引車において運転者が行う車両操作を支援する運転支援装置であって、前記牽引車に設置された撮像装置により前記牽引車の周辺を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいて上方より前記牽引車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、前記撮像画像と前記俯瞰画像の少なくとも一方を、車両操作を支援する支援画像として前記牽引車が備える画像表示装置に表示する画像表示部と、前記牽引車により牽引される対象となる被牽引車が前記牽引車と接続する為に備えるカプラーを、前記撮像画像に対する画像認識により検出する画像認識部と、前記牽引車から検出された前記カプラーの特定地点までの距離を取得する距離取得部と、を有し、前記画像表示部は、前記牽引車から前記カプラーの特定地点までの距離が閾値以上では前記支援画像について前記俯瞰画像を表示対象に含まない第１の表示態様で表示し、前記牽引車から前記カプラーの特定地点までの距離が閾値未満では前記支援画像について前記俯瞰画像を表示対象に含む第２の表示態様で表示する。
尚、「カプラーの特定地点」としては、例えばカプラーの先端、或いはカプラーに対してヒッチボールが連結する箇所（より具体的にはヒッチボールのボール形状の部分が差し込まれる箇所）が挙げられる。

【発明の効果】

【0008】

前記構成を有する本発明に係る運転支援装置によれば、牽引車の周辺を撮像した撮像画像に対する画像認識を行うことにより、牽引車から被牽引車が備えるカプラーの特定地点までの正確な距離を取得可能となる。そして、取得した距離が閾値未満であることを条件に俯瞰画像の表示を行うので、従来に比べると安定したより適切なタイミングで俯瞰画像の表示を行うことが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る牽引車及び被牽引車を示した図である。

【図2】牽引車の牽引装置付近を拡大して示した図である。

【図3】ヒッチボールとカプラーとを接続した状態での牽引車と被牽引車の動きを示した図である。

【図4】本実施形態に係る運転支援装置の構成を示したブロック図である。

【図5】本実施形態に係る運転支援処理プログラムのフローチャートである。

【図6】Ｓ２で液晶ディスプレイに表示される支援画像の一例を示した図である。

【図7】俯瞰画像の表示条件となる牽引車からカプラーまでの距離を示した図である。

【図8】撮像画像から俯瞰画像への変換方法について説明した図である。

【図9】Ｓ８で液晶ディスプレイに表示される支援画像の一例を示した図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る運転支援装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援装置１を搭載した牽引車（トラクタ）２と牽引車２によって牽引される被牽引車（トレーラ）３について以下説明する。図１は牽引車２及び被牽引車３を示した図であり、特に上図は牽引車２と被牽引車３とが連結した状態を示し、下図は牽引車２と被牽引車３が連結前の分離した状態を示す。

【0011】

ここで、牽引車２は、トラクタとも呼ばれ、被牽引車３を牽引して走行可能に構成されている。牽引車２は、例えば、内燃機関（エンジン等）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ等）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車種については問わず、後述の牽引装置４を備えていれば普通車であっても良いし、商業用の大型トラクタ（トレーラーヘッド）であっても良い。

【0012】

また、図１に示すように牽引車２のリヤバンパの例えば車幅方向の中央部の下部からは、被牽引車３を牽引するための牽引装置４（ヒッチ）が突出するように配置されている。図２は特に牽引装置４付近を拡大して示した図である。

【0013】

図２に示すように牽引装置４は牽引車２の例えばフレームに固定されている。牽引装置４は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール５を備え、このヒッチボール５に、被牽引車３に固定された連結部材６の先端部に設けられたカプラー７が覆い被さることで、ヒッチボール５とカプラー７とが接続され、その結果、牽引車２と被牽引車３とが連結される。但し、ヒッチボール５やカプラー７の形状については図２に示す形状に限られることなく、牽引車２と被牽引車３とが連結可能な形状であればどのような形状であっても良い。

【0014】

そして、ヒッチボール５とカプラー７とが接続された状態では、牽引車２の動きに合わせてヒッチボール５は被牽引車３（連結部材６）側に前後左右の動きを伝えることになる。また、図３に示すようにヒッチボール５に対してカプラー７が接続された状態であってもヒッチボール５に対してカプラー７の角度は自由（但し上限あり）に変位可能となっており、牽引車２に対して被牽引車３が車幅方向に揺動（旋回）可能となっている。

【0015】

一方、図１に示すように牽引車２の後側のリヤハッチの壁部には、後方カメラ（撮像装置）９が設置されている。後方カメラ９は、例えば、ＣＣＤやＣＩＳ等の撮像素子を内蔵するデジタルカメラである。後方カメラ９は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。後方カメラ９は、広角レンズまたは魚眼レンズを有し、光軸方向は斜め下方に向けて設定され、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。従って、後方カメラ９は、被牽引車３が連結されていない状態では路面を含む牽引車２の後方周辺の広い範囲を撮像した撮像画像のデータを出力可能である。

【0016】

また、上記後方カメラ９の撮像可能な範囲には、牽引車２の後端部にある牽引装置４及びヒッチボール５を少なくとも含む。また、被牽引車３が連結されていない状態であっても牽引車２の後方近くに被牽引車３があれば、被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても撮像対象となる。後方カメラ９によって撮像された撮像画像データは、被牽引車３の認識に加えて、例えば牽引車２と被牽引車３の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。特に本実施形態では後述のように牽引車２と被牽引車３との連結を支援する接続支援モードにある場合において牽引車２から被牽引車３が備えるカプラー７までの距離の検出にも用いられる。また、後方カメラ９によって撮像された撮像画像データは、同じく接続支援モードにある場合において牽引車２の車内にあるディスプレイに表示され乗員が視認可能となる。更に後方カメラ９によって撮像された撮像画像データは、上方より牽引車周辺を俯瞰した俯瞰画像の生成にも用いられる。尚、俯瞰画像の生成の詳細については後述する。

【0017】

一方、被牽引車３はトレーラとも呼ばれ、上記の牽引車２に牽引されて走行する。従って、基本的には牽引車２と異なり駆動源としてのエンジンやモータは有していない。例えば、内部に居住空間を有するキャンピングトレーラー、車や船を載せて運ぶライトトレーラー等が該当する。被牽引車３は、本体部と、複数（本実施形態では２個）のトレーラ車輪と、連結部材６と、カプラー７とを備える。

【0018】

ここで、連結部材６は図１に示すように被牽引車３の本体部の車幅方向の中央部の下部に設けられており、本体部の前端部から前方（進行方向）へと突出するように配置されている。

【0019】

また、図２に示すようにカプラー７は、連結部材６の前端部に設けられており、ヒッチボール５を覆う球状の凹部が形成されている。そして、カプラー７がヒッチボール５を覆うことによって、前述したように被牽引車３は牽引車２に対して旋回可能に連結される（図３参照）。尚、連結部材６の長さや地表面からの高さ（即ち被牽引車３におけるカプラー７の位置）については被牽引車３の種類によって様々である。但し、本実施形態では少なくとも牽引車２が備えるヒッチボール５と連結可能な位置にカプラー７が位置するとする。

【0020】

続いて、牽引車２が備える運転支援装置１について説明する。運転支援装置１は上述した牽引車２と被牽引車３との連結を行う為に牽引車２を後退させる際に運転者が行う車両操作を支援する為の装置である。図４は本実施形態に係る運転支援装置１の構成を示したブロック図である。

【0021】

図４に示すように、本実施形態に係る運転支援装置１は、牽引車２の乗員からの操作を受け付ける操作部１４と、牽引車２の乗員に対して後方カメラ９の撮像画像やその他の運転支援に係る情報を表示する液晶ディスプレイ１５と、運転支援に関する音声ガイダンスを出力するスピーカ１６と、牽引車２や被牽引車３に関する各種のデータが記録された車両情報ＤＢ２１と、入力された情報に基づいて各種の演算処理を行う運転支援ＥＣＵ２３と、を有する。また、運転支援装置１はＣＡＮ等の車載ネットワークを介して、牽引車２に対して設置された後方カメラ９、牽引車２に対する各種制御を行う車両制御ＥＣＵ２４、車速センサ２５、ステアリングセンサ２６、シフト位置センサ２７等の各種センサとも接続されている。

【0022】

操作部１４は、牽引車２のインストルメントパネルやハンドルに設けられ、例えば後述の接続支援モードへの移行操作、牽引車２や被牽引車３に関する各種パラメータを入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、運転支援ＥＣＵ２３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

【0023】

液晶ディスプレイ１５は、牽引車２のインストルメントパネルに設けられ、牽引車２と被牽引車３との連結を支援する接続支援モード移行時において後方カメラ９によって撮像された撮像画像データを表示する。また、所定条件を満たした場合には撮像画像データに基づいて生成された俯瞰画像についても表示される。尚、液晶ディスプレイ１５は、ナビゲーション装置に使用するものと兼用してもよい。

【0024】

また、スピーカ１６は、運転支援ＥＣＵ２３からの指示に基づいて同じく接続支援モード移行時において走行を案内する音声ガイダンス等を出力する。尚、スピーカ１６は、ナビゲーション装置に使用するものと兼用してもよい。

【0025】

また、車両情報ＤＢ２１は、牽引車２や被牽引車３に関する各種情報が格納される記憶手段である。例えば、牽引車２について後方カメラ９の設置位置（地上面からの高さ、左右方向の位置、車両後端からの距離）や光軸方向、ヒッチボール５の設置位置（地上面からの高さ、左右方向の位置、車両後端からの距離）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。一方、被牽引車３についてはカプラー７の設置位置（地上面からの高さ、左右方向の位置、車両先端からの距離）、全長、車幅、ホイールベース、最小旋回半径等が記憶される。これらの情報は予め乗員や車両メーカー側の人間が操作部１４を用いて入力しても良いし、後方カメラ９や各種センサによって検出した値を自動で入力しても良い。尚、牽引する被牽引車３については必ずしも固定とは限らないので、牽引対象となる被牽引車３が変われば上記パラメータも変更する必要がある。車両情報ＤＢ２１の記憶媒体としては例えばメモリーカードを使用することができる。更に、運転支援ＥＣＵ２３内の記憶領域（例えば、ＲＡＭやフラッシュメモリ）に設けることとしても良い。

【0026】

一方、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）２３は、運転支援装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ３２、制御用のプログラムのほか、後述の運転支援プログラム（図５参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムを記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、運転支援ＥＣＵ２３は、処理アルゴリズムとしての各種制御部を有する。例えば、撮像画像取得部は、牽引車２に設置された後方カメラ９により牽引車２の周辺を撮像した撮像画像を取得する。俯瞰画像生成部は、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する。画像表示部は、撮像画像と俯瞰画像の少なくとも一方を、車両操作を支援する支援画像として牽引車２が備える液晶ディスプレイ１５に表示する。画像認識部は、牽引車２により牽引される対象となる被牽引車３が牽引車２と接続する為に備えるカプラー７を、撮像画像に対する画像認識により検出する。距離取得部は、牽引車２から検出されたカプラー７の特定地点までの距離を取得する。

【0027】

また、車両制御ＥＣＵ２４は、牽引車２の制御を行う電子制御ユニットである。また、車両制御ＥＣＵ２４はステアリング、ブレーキ、アクセル等の車両の各駆動部と接続されており、本実施形態では例えば後述の接続支援モード移行時やその他の例えば駐車スペースへの駐車を支援する駐車支援モード移行時において、各駆動部を制御することにより牽引車２の自動運転支援を実施することも可能である。具体的には、運転支援ＥＣＵ２３は、接続支援モード実行時や駐車支援モード実行時にＣＡＮを介して車両制御ＥＣＵ２４に対して運転支援装置１で生成された自動運転支援に関する各種支援情報を送信する。そして、車両制御ＥＣＵ２４は受信した各種支援情報を用いて走行開始後の自動運転支援を実施する。支援情報としては例えば牽引車２や被牽引車３の走行が推奨される走行軌道、走行軌道に従って走行する際の車速やステアリング角を示す情報等がある。尚、自動運転支援ではステアリングの操作のみ自動で行っても良いし、駆動源、ブレーキの制御も自動で行うようにしても良い。一方で牽引車２において上記自動運転支援の搭載は必須ではなく、牽引車２は手動運転のみ可能な車両としても良い。

【0028】

また、車速センサ２５は、牽引車２の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して速度信号を出力する。また、ステアリングセンサ２６は、ステアリング装置の内部に取り付けられており、ステアリングホイールを転舵した場合の舵角を検出して操舵角信号を出力する。更に、シフト位置センサ２７は、シフトレバーに内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（２速）」、「Ｌ（ロー）」のいずれの位置となっているかを検出する。

【0029】

運転支援ＥＣＵ２３は、上記各種センサからの出力信号に基づいて、現在の牽引車２の車速、走行距離、ステアリング角、シフト位置等を取得することが可能である。

【0030】

続いて、前記構成を有する運転支援装置１において運転支援ＥＣＵ２３が実行する運転支援処理プログラムについて図５に基づき説明する。図５は本実施形態に係る運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは牽引車２のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、牽引車２を後退させて被牽引車３との連結を行う際の運転者が行う車両操作を支援するプログラムである。尚、以下の図５にフローチャートで示されるプログラムは、運転支援装置１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

【0031】

先ず、ステップ（以下、Ｓと略記する）１においてＣＰＵ３１は、牽引車２と被牽引車３との連結を支援する接続支援モードに移行したか否かを判定する。ここで、接続支援モードは例えばシフト位置が「Ｐ」或いは「Ｒ」にある状態で、且つ牽引車２の乗員が操作部１４において所定のモード移行操作を行った場合に移行する。但し、シフト位置についてはモード移行の条件から除いても良い。また、現時点で被牽引車３が連結されていないことをモード移行の条件に加えても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。更に、被牽引車３が連結されていない状態で車両が後退を開始した時点で自動的に接続支援モードに移行するようにしても良い。

【0032】

そして、牽引車２と被牽引車３との連結を支援する接続支援モードに移行したと判定された場合（Ｓ１：ＹＥＳ）には、Ｓ２へと移行する。それに対して、接続支援モードに移行していないと判定された場合（Ｓ１：ＮＯ）には、当該運転支援処理プログラムを終了する。

【0033】

Ｓ２においてＣＰＵ３１は、後方カメラ９によって撮像されたリアルタイムの撮像画像（より具体的には所定のフレームレートで撮像された動画データ（撮像画像データ））を、車両操作を支援する支援画像として液晶ディスプレイ１５に対して出力する（第１の表示態様）。ここで、後方カメラ９は図１に示すように牽引車２の後側のリヤハッチの壁部に設置され、光軸方向は斜め下方に向けて設定されており、広角レンズや魚眼レンズを使用し、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。従って、後方カメラ９は、被牽引車３が連結されていない状態では路面を含む牽引車２の後方周辺の広い範囲を撮像した撮像画像のデータを出力可能である。以後、接続支援モードを終了する（Ｓ４：ＹＥＳ又はＳ９：ＹＥＳ）まで継続して後方カメラ９によって撮像された撮像画像を表示する。

【0034】

ここで、図６は前記Ｓ２で液晶ディスプレイ１５に表示される支援画像５１の一例を示した図である。図６に示すように支援画像５１には牽引車２の後端部にある牽引装置４及びヒッチボール５を少なくとも含む。また、被牽引車３が連結されていない状態で牽引車２の後方近くに被牽引車３があれば、図６に示すように被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても支援画像５１に含まれる。尚、後方カメラ９によって撮像された撮像画像の内、特定のエリアのみ（例えばヒッチボール５周辺のみ）をトリミングして支援画像５１として表示しても良い。

【0035】

牽引車２の運転者は、液晶ディスプレイ１５に表示された支援画像５１を視認することによって自車のヒッチボール５と牽引対象となる被牽引車３のカプラー７の位置関係を容易に把握することが可能となる。そして、ヒッチボール５とカプラー７の位置を合わせるようにステアリングを操作し牽引車２の後退を行うことで、ヒッチボール５とカプラー７を互いに近づけることが可能となる。

【0036】

尚、ステアリングセンサ２６からの検出信号に基づいて牽引車２の現在のステアリング角を取得し、牽引車２の今後の移動軌跡を算出して支援画像５１に重畳して表示するようにしても良い。尚、支援画像５１に重畳して表示する移動軌跡としては牽引車２の後輪のタイヤ、或いは車体の左右端の移動軌跡としても良いし、ヒッチボール５の移動軌跡としても良い。

【0037】

続いて、Ｓ３においてＣＰＵ３１は、後方カメラ９により撮像された撮像画像に対して画像認識処理を行うことによって、撮像画像に牽引対象となる被牽引車３が含まれているか否かを判定する。例えばＣＰＵ３１は後方カメラ９で撮像した撮像画像中にある被牽引車３を検出する為に、路面と路面上にある構造物を輝度差に基づいて輝度補正を行う。その後、構造物を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と構造物との境界線を検出する。その後に、例えば公知のテンプレートマッチング処理や特徴点検出処理等を用い、路面上にある構造物が牽引対象となる被牽引車３か否かを判定する。但し、撮像画像に対する画像認識処理については上記例に限られることなく、例えば機械学習を用いて行っても良い。

【0038】

そして、撮像画像に牽引対象となる被牽引車３が含まれていると判定された場合（Ｓ３：ＹＥＳ）には、Ｓ５へと移行する。それに対して、撮像画像に牽引対象となる被牽引車３が含まれていないと判定された場合（Ｓ３：ＮＯ）には、Ｓ４へと移行する。

【0039】

Ｓ４においてＣＰＵ３１は、接続支援モードを終了するか否かを判定する。ここで、接続支援モードの終了は、例えば牽引車２の乗員が操作部１４において所定のモード終了操作を行ったことを条件としても良いし、シフト位置が「Ｐ」に移行されたことやエンジンがオフされたことを条件としても良い。また、被牽引車３が連結されたことをモード終了の条件としても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。

【0040】

そして、接続支援モードが終了したと判定された場合（Ｓ４：ＹＥＳ）には、当該運転支援処理プログラムを終了する。それに対して、接続支援モードが終了していないと判定された場合（Ｓ４：ＮＯ）にはＳ２へと戻り、第１の表示態様による支援画像の表示を継続して行う。即ち、本実施形態では撮像画像に基づいて被牽引車３（被牽引車３に設置されたカプラーを含む）を検出できない状態では、後述の第２の表示態様へ移行することなく支援画像を第１の表示態様で継続して表示することとなる。

【0041】

一方、Ｓ５においてＣＰＵ３１は、後方カメラ９により撮像された撮像画像に対して画像認識処理を行うことによって、撮像画像に含まれている被牽引車３の特にカプラー７を検出する。カプラー７の検出については例えば公知のテンプレートマッチング処理や特徴点検出処理等を用いることにより行う。尚、車両情報ＤＢ２１に被牽引車３におけるカプラー７の設置位置を特定する情報が含まれていれば、それらの情報についても参照するのが望ましい。但し、撮像画像に対する画像認識処理については上記例に限られることなく、例えば機械学習を用いて行っても良い。

【0042】

更に、前記Ｓ５においてＣＰＵ３１は、牽引車２から検出されたカプラー７までの距離Ｌを取得する。本実施形態では特に図７に示すように牽引車２の後端からカプラー７の先端までの距離を取得する。但し、距離Ｌの基準は適宜変更可能であり、牽引車２の牽引装置４の先端からカプラー７の先端までの距離としても良いし、牽引車２のヒッチボール５からカプラー７の先端までの距離としても良い。また、カプラー７の先端までではなく、カプラー７においてヒッチボール５を覆う球状の凹部（図２参照）までの距離としても良い。尚、カプラー７の先端や凹部の位置についても上記画像認識処理により特定することが可能である。

【0043】

尚、牽引車２からカプラー７までの距離Ｌについては、後方カメラ９が単眼カメラであっても例えば後方カメラ９の画角やレンズ特性やカプラー７に関する情報を用い、後方カメラ９で撮像した撮像画像に含まれるカプラー７の位置（カプラー７を表示する画素が占める領域）から検出することが可能である。例えば、被写体までの距離と撮影画像の画素位置で収差（ぼけ）に特徴があることを利用して距離による画像のぼけの形状変化を機械学習で学習し、撮像画像中のカプラー７までの距離Ｌを推定することが可能である。また、車両情報ＤＢ２１に記憶されている後方カメラ９の光軸及び位置とカプラー７の位置（特に地表面からの高さ）を特定する情報を用いて、撮像画像中のカプラー７までの距離Ｌを推定することが可能である。一方で、後方カメラ９をステレオカメラとすることで検出することも可能である。更に、ミリ波レーダやレーザセンサ等の対象物までの距離を検出可能なセンサを組み合わせて用いても良い。

【0044】

その後、Ｓ６においてＣＰＵ３１は、牽引車２からカプラー７までの距離Ｌが閾値未満となったか否かを判定する。尚、閾値については適宜設定可能であるが、例えば３ｍとする。尚、閾値についてユーザが操作部１４を用いて任意の値を設定可能としても良い。

【0045】

そして、牽引車２からカプラー７までの距離Ｌが閾値未満となったと判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行する。それに対して、牽引車２からカプラー７までの距離Ｌが閾値以上であると判定された場合（Ｓ６：ＮＯ）にはＳ４へと移行し、前述した接続支援モードの終了判定を行う。

【0046】

但し、仮に牽引車２からカプラー７までの距離Ｌが閾値以上であると判定された場合（Ｓ６：ＮＯ）であっても、牽引車２の乗員から俯瞰画像の表示を行う為の所定の操作を受け付けた場合については、乗員の意思を優先して俯瞰画像の表示を行う為にＳ７へ移行するのが望ましい。例えば、操作部１４に液晶ディスプレイ１５に表示された支援画像について俯瞰画像への切り替えを行う為の専用のボタンを配置し、そのボタンが操作された場合については牽引車２からカプラー７までの距離Ｌが閾値以上であっても以後はＳ７へ強制的に移行するようにする。

【0047】

Ｓ７においてＣＰＵ３１は、図８に示すように後方カメラ９によって撮像されたリアルタイムの撮像画像を、地表面の高さに対応する水平面である仮想投影面に投影し、仮想投影面に投影された撮像画像を牽引車２の上方から鉛直方向に見下ろす仮想視点から見た画像に変換することで俯瞰画像を生成する。但し、仮想投影面の高さについては地表面ではなくヒッチボール５或いはカプラー７の高さに対応する水平面としても良い。ヒッチボール５或いはカプラー７の高さについては車両情報ＤＢ２１に格納されている。

【0048】

尚、前記Ｓ７の仮想視点から見た画像への変換については、後方カメラ９の光軸に対して垂直な面に沿って設定した撮像画像座標系の各座標を、先ず地表面に沿って設定した地面座標系の各座標に変換し、更に俯瞰画像座標系の各座標に変換することにより行う。尚、各座標変換に用いる変換式については既に公知であるので説明は省略する。

【0049】

続いて、Ｓ８においてＣＰＵ３１は、前記Ｓ７で生成された俯瞰画像を、車両操作を支援する支援画像として液晶ディスプレイ１５に対して出力する（第２の表示態様）。尚、２画面構成にして第１の表示態様にて表示されていた後方カメラ９の撮像画像については一方の画面で継続して表示しても良いし、俯瞰画像の表示に伴って後方カメラ９の撮像画像については非表示（俯瞰画像への表示の切り替え）としても良い。また、俯瞰画像については実写の映像をそのまま表示するのではなく牽引車２と被牽引車３を模式的に示すイラスト画像に変換して表示しても良い。以後、接続支援モードを終了する（Ｓ９：ＹＥＳ）まで継続してリアルタイムの撮像画像に基づく前記Ｓ７の俯瞰画像の生成と生成した俯瞰画像の表示を行う。

【0050】

ここで、図９は前記Ｓ８で液晶ディスプレイ１５に表示される支援画像の一例を示した図である。図９に示すように支援画像は左画面に表示される第１の支援画像５２と右画面に表示される第２の支援画像５３とに分割され、第１の支援画像５２としては後方カメラ９によって撮像された撮像画像が継続して表示される。一方、第２の支援画像５３としては俯瞰画像が表示される。尚、俯瞰画像には牽引車２の後端部にある牽引装置４及びヒッチボール５を少なくとも含む。また、前述したように俯瞰画像の表示は牽引車２からカプラー７までの距離Ｌが閾値未満となったことを条件とするので、図９に示すように被牽引車３及び被牽引車３が備える連結部材６とカプラー７についても基本的に俯瞰画像に含まれる。

【0051】

そして、牽引車２の運転者は、液晶ディスプレイ１５に表示された第１の支援画像５２及び第２の支援画像５３を視認することによって自車のヒッチボール５と牽引対象となる被牽引車３のカプラー７の位置関係を容易に把握することが可能となる。特に第２の支援画像５３ではヒッチボール５とカプラー７を真上から見下ろした俯瞰図となるので、位置関係がより明確となる。そして、ヒッチボール５とカプラー７の位置を合わせるようにステアリングを操作し牽引車２の後退を行うことで、図２に示すようにヒッチボール５とカプラー７を接続することが可能となる。

【0052】

尚、第２の支援画像５３として俯瞰画像を表示する際には、前記Ｓ７で生成された俯瞰画像の内、特定のエリアのみをトリミングし、更にトリミングした画像を拡大した後に表示するのが望ましい。例えば、少なくともヒッチボール５とカプラー７の先端付近を含む最小のエリアでトリミングを行い、拡大して表示する。その結果、牽引車２からカプラー７の先端までの距離に応じて俯瞰画像が拡大して表示されることとなり（牽引車２からカプラー７の先端までの距離が短いほどより拡大した俯瞰画像が表示される）、ヒッチボール５とカプラー７が接近した状態では俯瞰画像に基づいてヒッチボール５とカプラー７の位置関係をより詳細に特定することが可能となる。尚、俯瞰画像の拡大及び縮小についてユーザの操作に基づいて行うようにしても良い。

【0053】

尚、ステアリングセンサ２６からの検出信号に基づいて牽引車２の現在のステアリング角を取得し、牽引車２の今後の移動軌跡を算出して第１の支援画像５２及び第２の支援画像５３の一方或いは両方に重畳して表示するようにしても良い。尚、第１の支援画像５２や第２の支援画像５３に重畳して表示する移動軌跡としては牽引車２の後輪のタイヤ、或いは車体の左右端の移動軌跡としても良いし、ヒッチボール５の移動軌跡としても良い。

【0054】

その後、Ｓ９においてＣＰＵ３１は、接続支援モードを終了するか否かを判定する。ここで、接続支援モードの終了は、例えば牽引車２の乗員が操作部１４において所定のモード終了操作を行ったことを条件としても良いし、シフト位置が「Ｐ」に移行されたことやエンジンがオフされたことを条件としても良い。また、被牽引車３が連結されたことをモード終了の条件としても良い。尚、牽引車２と被牽引車３の連結の有無の検出には例えば後方カメラ９で撮像した撮像画像を用いることができる。

【0055】

そして、接続支援モードが終了したと判定された場合（Ｓ９：ＹＥＳ）には、当該運転支援処理プログラムを終了する。それに対して、接続支援モードが終了していないと判定された場合（Ｓ９：ＮＯ）にはＳ７へと戻り、第２の表示態様による支援画像の表示を継続して行う。

【0056】

以上詳細に説明した通り、本実施形態に係る運転支援装置１及び運転支援装置１で実行されるコンピュータプログラムによれば、牽引車２に設置された後方カメラ９により牽引車の周辺を撮像した撮像画像を取得するとともに、撮像画像に基づいて上方より牽引車２周辺を俯瞰した俯瞰画像を生成する（Ｓ７）一方で、牽引車２により牽引される対象となる被牽引車３が牽引車２と接続する為に備えるカプラー７を、撮像画像に対する画像認識により検出し（Ｓ５）、更に牽引車２から検出されたカプラー７の先端までの距離を取得し（Ｓ５）、牽引車２からカプラー７の先端までの距離が閾値以上では俯瞰画像を表示対象に含まない第１の表示態様で支援画像を表示し（Ｓ２）、牽引車２からカプラー７の先端までの距離が閾値未満では俯瞰画像を表示対象に含む第２の表示態様で支援画像を表示する（Ｓ８）ので、牽引車の周辺を撮像した撮像画像に対する画像認識を行うことにより、牽引車から被牽引車が備えるカプラーの先端までの正確な距離を取得可能となる。そして、取得した距離が閾値未満であることを条件に俯瞰画像の表示を行うので、従来に比べると安定したより適切なタイミングで俯瞰画像の表示を行うことが可能となる。
また、カプラーを検出できない状態では、支援画像を第１の表示態様で表示する（Ｓ２）ので、俯瞰画像によってヒッチボールとカプラーの位置関係を特定することが可能な状況でのみ俯瞰画像を表示することが可能となる。
また、運転者の操作を受け付ける操作部１４を有し、牽引車２からカプラー７の先端までの距離が閾値以上であっても運転者の所定の操作を受け付けた場合には、支援画像の表示態様を第１の表示態様から第２の表示態様に切り替える（Ｓ８）ので、牽引車２からカプラー７の先端までの距離に基づく支援画像の表示態様の切り替えを行いつつも、必要時には運転者の意思を優先した支援画像の切り替えも可能となる。
また、支援画像を第２の表示態様で表示する場合に、牽引車２からカプラー７の先端までの距離に応じて俯瞰画像を拡大して表示する（Ｓ８）ので、必要に応じて拡大された俯瞰画像に基づいてヒッチボールとカプラーの位置関係をより詳細に特定することが可能となる。

【0057】

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば本実施形態では運転支援処理プログラム（図５）において液晶ディスプレイ１５に支援画像（図６、図９）の表示を行っているが、支援画像の表示に加えて自動運転支援による車両制御を行っても良い。例えば、ＣＰＵ３１は、接続支援モード実行時にＣＡＮを介して車両制御ＥＣＵ２４に対して運転支援装置１で生成された自動運転支援に関する各種支援情報を送信する。そして、車両制御ＥＣＵ２４は受信した各種支援情報を用いて後退開始後の自動運転支援を実施する。支援情報としては例えばヒッチボール５とカプラー７を接続する為の推奨される走行軌道、走行軌道に従って走行する際の車速やステアリング角を示す情報等がある。尚、自動運転支援ではステアリングの操作のみ自動で行っても良いし、駆動源、ブレーキの制御も自動で行うようにしても良い。尚、牽引車２において上記自動運転支援の搭載は必須ではなく、牽引車２は手動運転のみ可能な車両としても良い。

【0058】

また、本実施形態では、牽引車２からカプラー７の先端までの距離について後方カメラ９で撮像した撮像画像に基づいて検出することとしているが、ミリ波レーダやレーザセンサ等の対象物までの距離を検出可能なセンサを牽引車２に搭載し、それらのセンサを用いて牽引車２からカプラー７の先端までの距離を検出しても良い。

【0059】

また、本実施形態では、運転支援処理プログラム（図５）の処理を運転支援装置１の運転支援ＥＣＵ２３が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ１５の制御部、車両制御ＥＣＵ、ナビゲーション装置の制御部、その他の車載器が実行する構成としても良い。

【符号の説明】

【0060】

１…運転支援装置、２…牽引車、３…被牽引車、４…牽引装置、５…ヒッチボール、６…連結部材、７…カプラー、９…後方カメラ、１５…液晶ディスプレイ、３１…ＣＰＵ、３２…ＲＡＭ、３３…ＲＯＭ、５１…支援画像、５２…第１の支援画像、５３…第２の支援画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】