特開 2023-96390 牽引支援装置及び牽引支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023096390

(43)【公開日】2023-07-07

(54)【発明の名称】牽引支援装置及び牽引支援方法

(51)【国際特許分類】

   G01B 11/26 20060101AFI20230630BHJP

   B60R 11/02 20060101ALI20230630BHJP

   B60R 11/04 20060101ALI20230630BHJP

   B60D 1/24 20060101ALI20230630BHJP

   B62D 53/00 20060101ALI20230630BHJP

   G01B 11/00 20060101ALI20230630BHJP

   G01B 11/255 20060101ALI20230630BHJP

   H04N 7/18 20060101ALI20230630BHJP

【ＦＩ】

G01B11/26 H

B60R11/02 C

B60R11/04

B60D1/24

B62D53/00 Z

G01B11/00 H

G01B11/255 H

H04N7/18 D

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021212108

(22)【出願日】2021-12-27

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】宮下 彩乃

【テーマコード（参考）】

2F065

3D020

5C054

【Ｆターム（参考）】

2F065AA03

2F065AA17

2F065AA32

2F065AA46

2F065BB15

2F065BB28

2F065CC11

2F065DD03

2F065FF04

2F065QQ31

2F065QQ43

2F065SS13

3D020BA04

3D020BA20

3D020BB06

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054FD03

5C054FE14

5C054HA26

(57)【要約】

【課題】被牽引車のマーカー取り付け位置にかかわらず、牽引車と被牽引車が連結して直進しているときのマーカーの中心位置を精度良く設定すること。
【解決手段】牽引車１００と被牽引車２００とがなす折れ角θを求め、折れ角情報をドライバーに提示する牽引支援装置であって、車載カメラ１０と、マーカー中心探索部３１と、オフセット補正値推定処理部３２と、回転軸位置推定処理部３３と、折れ角演算部３６と、を備える。オフセット補正値推定処理部３２は、牽引車１００と被牽引車２００が直進走行しているときのマーカー２２０の中心位置を蓄積し、蓄積したマーカー２２０の中心位置の収束値を求め、求めた収束値をオフセット補正値に設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

牽引車と被牽引車とがなす折れ角を求め、折れ角情報をドライバーに提示する牽引支援装置であって、
前記牽引車に設置され、前記牽引車と前記被牽引車との連結軸と、前記被牽引車に取り付けられたマーカーと、を含む画像情報を取得する車載カメラと、
前記車載カメラからの画像情報に基づいて、前記マーカーの中心位置を画像探索により取得するマーカー中心探索部と、
前記車載カメラからの画像情報に基づいて、前記牽引車と前記被牽引車とを連結している連結軸の位置を画像探索により取得する回転軸位置推定処理部と、
前記マーカーの中心位置に基づいて、前記牽引車と前記被牽引車とが直進しているときの前記マーカーの中心位置と、前記連結軸を通る前記牽引車の前後方向を中心としたときの中心線との差をオフセット補正値として推定するオフセット補正値推定処理部と、
前記マーカーの中心位置と、前記連結軸の位置と、前記オフセット補正値と、を用いて、前記牽引車と、前記非牽引車との折れ角を演算する折れ角演算部と、
を備え、
前記オフセット補正値推定処理部は、前記牽引車と前記被牽引車が直進走行しているときの前記マーカーの中心位置を蓄積し、蓄積した前記マーカーの中心位置の収束値を求め、求めた前記収束値を前記オフセット補正値に設定する
ことを特徴とする牽引支援装置。

【請求項2】

請求項１に記載された牽引支援装置において、
前記オフセット補正値推定処理部は、前記マーカーの中心位置の座標のｘ軸、ｙ軸、それぞれについてヒストグラム化して最頻値を求め、前記最頻値を前記オフセット補正値として設定する
ことを特徴とする牽引支援装置。

【請求項3】

請求項１又は請求項２に記載された牽引支援装置において、
前記回転軸位置推定処理部は、
蛇行走行しているときの前記マーカーの中心位置を蓄積し、所定値以上前記マーカーの中心位置が蓄積したとき、最小二乗法により回転軸座標を計算して蓄積し、
蓄積した前記回転軸座標が閾値以上集まると、前記蓄積した前記回転軸座標のｘ軸、ｙ軸それぞれについて収束する収束値を求め、求めた前記収束値を、前記回転軸位置に設定する
ことを特徴とする牽引支援装置。

【請求項4】

請求項１から請求項３までの何れか一項に記載された牽引支援装置において、
前記オフセット補正値推定処理部が求めた前記マーカーの中心位置と、前記連結軸位置推定処理部が求めた前記連結軸の位置と、を記憶する記憶部と、を備える
ことを特徴とする牽引支援装置。

【請求項5】

請求項４に記載された牽引支援装置において、
前記記憶部に保存されている最新の前記マーカーの中心位置と、前記連結軸の位置とを用いて回転半径を算出する回転半径算出部を備える
ことを特徴とする牽引支援装置。

【請求項6】

請求項１から請求項５までの何れか一項に記載された牽引支援装置において、
前記車載カメラで撮影した前記連結部分の画像情報を、前記連結部分を上方から視た俯瞰画像に視点変換する視点変換処理部を備え、
前記マーカー中心探索部は、前記俯瞰画像に基づいて、前記マーカーの中心位置を探索し、前記回転軸位置推定処理部は、前記俯瞰画像に基づいて、前記連結軸の回転軸位置を推定処理する
ことを特徴とする牽引支援装置。

【請求項7】

車載カメラと、牽引車と被牽引車との連結軸と、前記被牽引車に取り付けられたマーカーと、を備え、前記マーカーの中心位置と前記連結軸の回転軸位置とに基づいて、前記牽引車と前記被牽引車とがなす折れ角を求め、折れ角情報をドライバーに提示する牽引支援方法であって、
前記車載カメラからの画像情報に基づいて、前記マーカーの中心位置を画像探索により取得し、
前記車載カメラからの画像情報に基づいて、前記牽引車と前記被牽引車とを連結している連結軸の位置を画像探索により取得し、
前記マーカーの中心位置に基づいて、前記牽引車と前記被牽引車とが直進しているときの前記マーカーの中心位置と、前記連結軸を通る前記牽引車の前後方向を中心としたときの中心線との差をオフセット補正値として推定し、
前記マーカーの中心位置と、前記連結軸の位置と、前記オフセット補正値と、を用いて、前記牽引車と、前記非牽引車との折れ角を演算し、
前記オフセット補正値を推定する際、前記牽引車と前記被牽引車が直進走行しているときの前記マーカーの中心位置を蓄積し、蓄積した前記マーカーの中心位置の収束値を求め、求めた前記収束値を前記オフセット補正値に設定する
ことを特徴とする牽引支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、牽引支援装置及び牽引支援方法に関するものである。

【背景技術】

【0002】

従来、牽引車（トラクタ）と被牽引車（トレーラー）とを連結した連結軸の中心位置である回転中心位置を精度良く設定することで、折れ角を精度よく求める牽引支援装置が知られている（特許文献１を参照）。従来の牽引支援装置は、被牽引車が、連結軸の回りの少なくとも３つの回転角度位置にあるときにそれぞれ車載カメラで撮影された画像におけるマーカーの位置に基づいて、連結軸の中心の位置である回転中心の位置を設定する。そして、設定された回転中心の位置と、マーカーの中心の位置と、に基づいて、折れ角を求めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１９９１５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、牽引車と被牽引車とは、これらを連結する連結軸の中心回りに回転する。そして、牽引車に対する被牽引車の向きの差異を表す折れ角は、被牽引車に取り付けられたマーカーを用い、連結軸の中心回りにマーカーの中心位置が回転する回転角度で求められる。このとき、牽引車と被牽引車との折れ角を求めるために用いられるマーカーは、被牽引車毎の取り付けであり、被牽引車の中央位置に取り付けられているとは限らない。このため、牽引車と被牽引車との折れ角を正確に求めるには、牽引車と被牽引車が連結して直進しているときの折れ角（略ゼロ度）でのマーカーの中心位置による角度を、折れ角の基準角度として予め規定しておく必要がある。

【0005】

本発明は、上記課題に着目してなされたもので、被牽引車のマーカー取り付け位置にかかわらず、牽引車と被牽引車が連結して直進しているときの折れ角（略ゼロ度）でのマーカーの中心位置を精度良く設定することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するために本発明は、牽引車と被牽引車とがなす折れ角を求め、折れ角情報をドライバーに提示する牽引支援装置であって、車載カメラと、マーカー中心探索部と、オフセット補正値推定処理部と、回転軸位置推定処理部と、折れ角演算部と、を備える。オフセット補正値推定処理部は、マーカーの中心位置に基づいて、牽引車と被牽引車とが直進しているときのマーカーの中心位置と、連結軸を通る牽引車の前後方向を中心としたときの中心線との差をオフセット補正値として推定する。オフセット補正値の推定処理は、牽引車と被牽引車が直進走行しているときのマーカーの中心位置を蓄積し、蓄積したマーカーの中心位置の収束値を求め、求めた収束値をオフセット補正値に設定する。

【発明の効果】

【0007】

本発明は、上記構成を採用したため、被牽引車のマーカー取り付け位置にかかわらず、牽引車と被牽引車が連結して直進しているときの折れ角（略ゼロ度）でのマーカーの中心位置を精度良く設定することができる。

【図面の簡単な説明】

【0008】

【図1】実施例１の牽引支援装置及び牽引支援方法が適用された牽引支援システムを示すブロック図である。

【図2】実施例１の牽引支援装置及び牽引支援方法が適用された牽引車と被牽引車との連結構造を模式的に示す斜視図である。

【図3】図２に示した牽引車と被牽引車との折れ角を示す連結部平面図である。

【図4】被牽引車の被連結部材に取り付けられたマーカーを示す平面図である。

【図5】蛇行走行をすると連結軸の回転軸位置を中心として被連結部材に設けられたマーカー中心位置が円弧上に移動することを模式的に示す平面図である。

【図6A】オフセット位置の算出において所定時間経過前の画像座標（ｘ軸）に対するデータ数の度数分布を示すヒストグラム図である。

【図6B】オフセット位置の算出において所定時間経過後の画像座標（ｘ軸）に対するデータ数の度数分布を示すヒストグラム図である。

【図6C】オフセット位置の算出において画像座標範囲を狭くしたときの画像座標（ｘ軸）に対するデータ数の度数分布を示すヒストグラム図である。

【図7】折れ角演算部による牽引車に対して被牽引車がなす折れ角の演算手法を示す連結部平面図である。

【図8A】カメラＥＣＵ（Electronic Control Unit）において実行される折れ角演算処理動作のメインロジックの流れを示すフローチャートである。

【図8B】カメラＥＣＵにおいて実行されるキャリブレーション動作のメインロジックの流れを示すフローチャートである。

【図8C】カメラＥＣＵにおいて実行されるオフセット補正値推定処理の流れを示すフローチャートである。

【図8D】カメラＥＣＵにおいて実行される回転軸位置推定処理の流れを示すフローチャートである。

【図9】直進時にマーカーの中心位置と連結軸の回転軸位置がｙ軸上の位置にある場合を示す連結部平面図である。

【図10】直進時にマーカーの中心位置と連結軸の回転軸位置がｙ軸からオフセットした位置にある場合とを示す連結部平面図である。

【発明を実施するための形態】

【0009】

以下、本発明による牽引支援装置及び牽引支援方法を実施するための形態を、図面に示す実施例１に基づいて説明する。

【実施例0010】

実施例１の牽引支援装置及び牽引支援方法が適用された牽引支援システムＡは、トレーラー特有のジャックナイフ現象に至るのを未然に防止することを目的とし、折れ角情報を牽引車のドライバーに対して提示するトレーラー向け運転支援システムの一つである。

【0011】

ここで、「ジャックナイフ現象」とは、駐車時の後退旋回走行などにおいて、牽引車と被牽引車とが大きく折れ曲がるトレーラーに特有の現象をいう。また、ドライバーに対する提示は、画面表示とアナウンス音声や警報音などにより視角と聴覚に訴える提示としている。なお、ハンドル振動などによる触覚に訴える提示を加えても良い。

【0012】

まず、図１～図７を参照し、実施例１の牽引支援システムＡの詳しい構成を説明する。

【0013】

図１は、実施例１の牽引支援装置及び牽引支援方法が適用された牽引支援システムＡを示すブロック図である。牽引支援システムＡは、図１に示すように、車載カメラ１０と、カメラＥＣＵ３と、モニタ９０と、を備え、これらはトラクタなどの牽引車１００に搭載されている。

【0014】

図２は、牽引車１００と被牽引車２００とを模式的に示す斜視図、図３は、図２に示した牽引車１００と被牽引車２００との折れ角θを説明する平面図である。

【0015】

牽引車１００は、その後部に、後方に延びた連結部材１１０を備えている。連結部材１１０は、後方側の先端部に鉛直方向に延びた連結軸１２０を備えている。被牽引車２００は、その前部に、前方に延びた被連結部材２１０を備えている。連結軸１２０は、被連結部材２１０の前方側の先端部に形成された連結孔（図示省略）に挿入し、被連結部材２１０と連結部材１１０と、を連結する。そして、連結部材１１０に被連結部材２１０が連結された状態で、被牽引車２００は牽引車１００に連結されて、連結軸１２０の回転軸位置１３０の回りに回転可能な状態で牽引される。

【0016】

被牽引車２００は、図３に示すように、連結軸１２０の回転軸位置１３０の回りに回転することによって、被牽引車２００の向きが牽引車１００の向きに対してずれる。「折れ角θ」とは、被牽引車２００の向きが牽引車１００の向きに対してずれている状態を、連結軸１２０の回転軸位置１３０の回りの角度として表したものをいう。また、「折れ角がゼロ度」とは、牽引車１００と被牽引車２００とが連結して直進しているときの折れ角であり、厳密にゼロ度をいうのではなく、直進走行での横振れによるゼロ度前後の許容角度範囲を含む略ゼロ度となっている状態をいう。

【0017】

図４は被連結部材２１０に設けられたマーカー２２０を示す平面図である。被連結部材２１０の上面には、図４に示すように、マーカー２２０が取り付けられている。マーカー２２０は、略正方形状の外形である。マーカー２２０は、互いに直交するｘ軸及びｙ軸にそれぞれ平行に延びた仮想の直線により、４つの矩形の領域２２１，２２２，２２３，２２４に仕切られている。ｘ軸に平行に延びた仮想の直線とｙ軸に平行に延びた仮想の直線とは、マーカー２２０の中心位置２２５をそれぞれ通過する。なお、水平面上にｘ軸とｙ軸との直交座標で定義された世界座標（ｘｙ座標）の原点は、例えば、車載カメラ１０の中心とする。

【0018】

マーカー２２０の４つの領域２２１～２２４のうち、領域２２１及び領域２２４は白色、領域２２２及び領域２２３は黒色で形成されている。したがって、４つの領域２２１～２２４は、同色の領域がｘ軸方向及びｙ軸方向にそれぞれ隣接しない配置の市松模様（a checkered pattern）状の柄となっている。なお、マーカー２２０の中心位置２２５を特定して検出し得るようなものであれば、市松模様の柄に限定されず、他の模様等を適用することも可能である。

【0019】

車載カメラ１０は、図２に示すように、牽引車１００の後部の、連結部材１１０よりも上方の部位に、その光軸が牽引車１００の後方斜め下方を向いた状態で取り付けられている。これにより、車載カメラ１０は、図２の破線で示すように、連結部材１１０及び被連結部材２１０の上面の略全面を撮影範囲とし、被連結部材２１０の上面に設けられたマーカー２２０も車載カメラ１０により撮影される。即ち、車載カメラ１０は、牽引車１００に設置され、牽引車１００と被牽引車２００との連結軸１２０と、被牽引車２００に取り付けられたマーカー２２０と、を含む連結部分の画像情報を取得する。

【0020】

カメラＥＣＵ３は、図１に示すように、視点変換処理部３０と、マーカー中心探索部３１と、オフセット補正値推定処理部３２と、回転軸位置推定処理部３３と、記憶部３４と、回転半径算出部３５と、折れ角演算部３６と、を備える。

【0021】

視点変換処理部３０は、車載カメラ１０で撮影した連結部分のカメラ画像を、連結部分を上方から平面視で視たと想定される俯瞰画像に変換する視点変換処理を行う。そして、視点変換処理部３０において視点変換処理された俯瞰画像は、モニタ９０のモニタ画面９１に表示される。

【0022】

マーカー中心探索部３１は、視点変換処理部３０からの連結部分の俯瞰画像に基づいて、マーカー２２０の中心位置２５５の二次元座標データであるマーカー中心座標データを画像探索により取得する。

【0023】

マーカー中心探索部３１でのマーカー中心座標データの画像探索について説明する。まず、俯瞰画像に含まれるマーカー２２０の画像（例えば、図４を参照）において、探索エリアを規定して黒白の二値化をし、ｘ軸方向とｙ軸方向とについてそれぞれスキャンする。そして、画素の信号値（白色の領域２２１，２２４の画素の信号値は大きく、黒色の領域２２２，２２３の画素の信号値は小さい）の勾配が大きくなるｘ軸に交差するエッジとｙ軸に交差するエッジとをそれぞれ検出する。そして、ｘ軸に交差するエッジを直線で近似し、ｙ軸に交差するエッジを直線で近似する。これら近似した２つの直線同士の交点座標を、マーカー中心座標データとして探索する。

【0024】

オフセット補正値推定処理部３２は、牽引車１００と被牽引車２００とが直列（折れ角が略ゼロ度）に連結されている状態でのマーカー２２０の中心位置が、連結軸１２０を通る車両前後方向中心軸（ｙ軸）からオフセットしているときのオフセット補正値を推定する。具体的には、マーカー中心座標データに基づいて、直進走行条件が成立するときのマーカー中心座標データを蓄積する。そして、蓄積データが閾値以上集まると、ｘ軸とｙ軸のそれぞれでヒストグラム化して最頻値と分散値を計算し、計算が収束すると最頻値をオフセット補正値として求める。オフセット補正値推定処理部３２は、閾値以上の蓄積データを座標軸毎のｘ軸座標データとｙ軸座標データに分け、分けた座標データのそれぞれが収束する収束値を決定する。そして、決定した座標軸毎の収束値を、牽引車１００が直進走行しているときのマーカー２２０のマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］に設定する。さらに、設定したマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］は、記憶部３４に記憶保存する。ここで、オフセット補正値として、マーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］とする例を示したが、オフセット補正値としては、マーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］を折れ角に換算した基準折れ角θｏとする例としても良い。なお、直進走行条件は、設定車速以下の走行車速であって、舵角中立位置付近のハンドル舵角を維持したままというハンドル保舵走行条件などにより与える。

【0025】

オフセット補正値推定処理部３２での収束値を決定する具体例を、図６Ａ～図６Ｃに示す画像座標に対するデータ数の度数分布のヒストグラム図に基づいて説明する。取得した座標データをヒストグラム化すると、座標データの取得開始から所定時間が経過する前の低車速域においては、図６Ａに示すように、データ数が最も多い最頻度のマーカー中心画像座標値が座標値ｘｏｃ１になる。そして、座標データの取得開始から所定時間が経過すると、図６Ｂに示すように、データ数が最も多い最頻度のマーカー中心画像座標値が座標値ｘｏｃ１から座標値ｘｏｃ２へと変化する。座標データ数が所定時間を経過したときの所定の座標データ数によりヒストグラム化したときの分散値が閾値以下であれば、そのときに最頻度になるｘ軸のマーカー中心画像座標値ｘｏｃ２を、ｘ軸の収束値ｘｏｃに決定する。

【0026】

一方、取得した所定の座標データ数によりヒストグラム化したときの分散値が閾値を超えていると、閾値以下の分散値になるまでマーカー中心画像の座標データ数を増加させて蓄積する。しかし、マーカー中心画像の座標データ数を所定数以上蓄積しても分散値が閾値以下にならないときは、図６Ｃに示すように、分散値を求める画像座標範囲を、最頻度のマーカー中心画像座標値である座標値ｘｏｃ２を中心とする所定の画像座標範囲まで狭くする。このように画像座標範囲を狭くすることで分散値が閾値以下になる。

【0027】

なお、ヒストグラム化したときのデータ数分布特性がｘ軸分布特性とは異なるｙ軸の収束値については、上述したｘ軸での収束値の決定処理とは並行して別に行われるｙ軸での収束値の決定処理によりｙ軸の収束値を決定する。ｙ軸での収束値の決定処理は、図６Ａ～図６Ｃに示すｘ軸での収束値の決定処理と同様の処理としている。

【0028】

回転軸位置推定処理部３３は、マーカー中心座標データに基づいて、蛇行走行条件が成立するときのマーカー中心座標データを集める。そして、回転軸座標を計算できるデータ（折れ角が異なる３つ以上のデータ）が集まると最小二乗法により回転軸座標を計算する。そして、計算した回転軸座標を蓄積し、蓄積データが閾値以上集まると、ｘ軸とｙ軸でヒストグラム化し、最頻値となる二次元座標データを回転軸位置として更新する。回転軸位置推定処理部３３は、閾値以上の蓄積データを座標軸毎のｘ軸データとｙ軸データに分け、分けた座標データのそれぞれが収束する収束値を決定する。そして、決定した座標軸毎の収束値を、連結軸１２０の回転軸位置１３０の回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］に設定する。さらに、設定した回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］は、記憶部３４に記憶保存する。なお、蛇行走行条件は、設定車速以下の走行車速であって、ハンドルを一方向に所定角度以上切った後、逆方向に中立位置を超えて切り戻すというハンドル切り戻し走行条件などにより与える。

【0029】

また、回転軸位置推定処理部３３での収束値の決定は、オフセット補正値推定処理部３２での収束値の決定と同様に、取得した座標データをヒストグラム化し、最頻値を収束値として決定する。

【0030】

記憶部３４は、折れ角θの検出に用いる位置情報として、折れ角θがゼロ度でのマーカー２２０のマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］と、連結軸１２０の回転軸位置１３０の回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］と、を記憶しておく。加えて、測定値又は既定値によるカメラ位置と回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］との距離パラメータと、回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］とマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］の距離パラメータ（＝回転半径ｒ）と、測定値や規定値等によるマーカー２２０の高さパラメータを記憶しておく。即ち、オフセット補正値推定処理部３２と回転軸位置推定処理部３３は、被牽引車２００の変更などにより折れ角θの演算に用いる位置情報の書き替え要求により状態フラグがキャリブ系になると、オフセット補正値推定処理と回転軸位置推定処理とが実施される。そして、オフセット補正値推定処理と回転軸位置推定処理とが実施されると、推定処理結果が記憶部３４に書き替え保存される。

【0031】

回転半径算出部３５は、記憶部３４に保存されている最新のマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］と、連結軸１２０の回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］と、によりマーカー軌道半径である回転半径ｒを算出する。回転半径ｒは、俯瞰画像での画素単位であるピクセル（ｐｉｘ）により表される。

【0032】

折れ角演算部３６は、牽引車１００に対する被牽引車２００の折れ角θを演算する。以下、図７に基づいて、折れ角θの演算処理を説明する。折れ角演算部３６は、記憶部３４に記憶保存されている最新の折れ角θがゼロ度でのマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］と、回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］とを読み出す。そして、マーカー中心探索部３１からのマーカー中心位置座標［Ｐｎ（ｘｎ，ｙｎ）］を用い、車載カメラ１０により撮影された時点での牽引車１００に対する被牽引車２００の折れ角θを求める。

【0033】

折れ角演算部３６は、折れ角θがゼロ度でのマーカー中心位置座標［Ｐｏ（ｘｏ，ｙｏ）］と、回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］とに基づいて、折れ角θがゼロ度でのマーカー２２０の中心位置２２５が、ｙ軸に交差する回転角度θｏを求める。この回転角度θｏは、
θｏ＝arctan（（ｘｏ－ｘｃ）／（ｙｏ－ｙｃ））……（１）
の式により算出される。

【0034】

折れ角θがゼロ度の状態で、マーカー２２０の中心位置２２５がｙ軸を通過するようにマーカー２２０が精度よく設けられている場合は、ｘｏ＝０であるため、θｏ＝０となる。しかし、マーカー２２０は、その中心位置２２５が必ずしもｙ軸（ｘｏ＝０）を通るように設けられているとは限らない（ｘｏ≠０）。したがって、カメラＥＣＵ３は、そのように、マーカー２２０の中心位置２２５が必ずしもｙ軸（ｘｏ＝０）を通るように設けられてはいないことを前提とする。この前提にしたがって、折れ角θがゼロ度の状態におけるマーカー２２０の中心位置２２５とｙ軸との位置ずれの角度が、回転角度θｏ（図７においてはｙ軸に重なっている）として算出される。つまり、回転角度θｏは、折れ角θがゼロ度のときの基準角度である。

【0035】

次に、折れ角演算部３６は、折れ角θがゼロ度以外の、実際に折れ角θを求めようとするとき、車載カメラ１０により撮影された時点でのマーカー２２０の中心位置２２５が、ｙ軸に交差する回転角度θｎを算出する。回転角度θｎは、車載カメラ１０で撮影された画像におけるマーカー２２０のマーカー中心位置座標［Ｐｎ（ｘｎ，ｙｎ）］と、回転軸位置座標［Ｐｃ（ｘｃ，ｙｃ）］とに基づいて求められる。この回転角度θｎは、
θｎ＝arctan（（ｘｎ－ｘｃ）／（ｙｎ－ｙｃ））……（２）
の式により算出される。

【0036】

式（２）により求められた回転角度θｎは、ｙ軸に対するマーカー２２０の位置ずれ（回転角度θｏ）を含んだ状態での折れ角である。したがって、折れ角演算部３６が下記式（３）に示すように、式（２）で算出された回転角度θｎを、式（１）で算出された回転角度θｏにより基準角度からの角度に補正する。これにより、ｙ軸に対するマーカー２２０の位置ずれ（回転角度θｏ）を含まない折れ角θを算出することができる。折れ角θは、
θ＝θｎ－θｏ、又は、θ＝θｎ＋θｏ……（３）
の式により算出される。なお、折れ角θがゼロ度での回転角度θｏが被牽引車２００の折れ方向と同方向の角度であるときは（θ＝θｎ－θｏ）の式を用い、折れ角θがゼロ度での回転角度θｏが被牽引車２００の折れ方向とは反対方向の角度であるときは（θ＝θｎ＋θｏ）の式を用いる。また、図７に示すように、ｙ軸を通過するようにマーカー２２０が設けられている場合であって、直進時の回転角度θｏがゼロ度（θｏ＝０）のときは、θ＝θｎになる。

【0037】

図８Ａは、カメラＥＣＵ３において実行される折れ角演算処理動作のメインロジックの流れを示すフローチャートである。
折れ角演算処理動作が開始されると、映像を取得し（Ｓ１）、高さパラメータを用いて俯瞰変換し（Ｓ２）、状態フラグを判定する（Ｓ３）。Ｓ３にて状態フラグが通常であると、距離パラメータを用いて市松マーカー中心探索をし（Ｓ４）、折れ角θを算出する（Ｓ５）。一方、Ｓ３にて状態フラグがキャリブ系であると、市松マーカーのキャリブレーションをする（Ｓ６）。そして、終了へ進む。

【0038】

図８Ｂは、カメラＥＣＵ３において実行されるキャリブレーション動作のメインロジックの流れを示すフローチャートである。キャリブレーションが開始されると（Ｓ６０）、状態フラグが何であるかが判定される（Ｓ６１）。状態フラグが初回と判定されると、初期化し（Ｓ６２）、状態フラグをオフセット補正に変更し（Ｓ６３）、キャリブレーションを終了する（Ｓ６６）。状態フラグがオフセット補正と判定されると、市松マーカー探索に基づいてオフセット補正値を推定し（Ｓ６４）、キャリブレーションを終了する（Ｓ６６）。状態フラグが回転軸補正と判定されると、市松マーカー探索に基づいて回転軸位置を推定し（Ｓ６５）、キャリブレーションを終了する（Ｓ６６）。

【0039】

図８Ｃは、カメラＥＣＵ３において実行されるオフセット補正値推定処理の流れを示すフローチャートである。オフセット補正値推定を開始すると（Ｓ６００）、距離パラメータを用いて市松マーカー中心を探索し（Ｓ６０１）、市松マーカー中心座標を収束判定用配列へ蓄積する（Ｓ６０２）。直進走行条件が成立するときの蓄積データが閾値以上集まったか否かを判断する（Ｓ６０３）。ＮＯであるとオフセット補正値推定終了（Ｓ６１０）へ進む。ＹＥＳであるとｘ軸、ｙ軸それぞれのヒストグラムの最頻値と分散値を計算し（Ｓ６０４）、収束したか否かを判断する（Ｓ６０５）。ＮＯであると最頻値から離れたデータを削除し（Ｓ６０９）、オフセット補正値推定終了（Ｓ６１０）へ進む。ＹＥＳであると最頻値（市松マーカー中心のｘｙ座標値）をオフセット補正値として保存し（Ｓ６０６）、距離パラメータである回転半径ｒを更新し（Ｓ６０７）、状態フラグを回転軸補正に変更し（Ｓ６０８）、オフセット補正値推定終了（Ｓ６１０）へ進む。

【0040】

図８Ｄは、カメラＥＣＵ３において実行される回転軸位置推定処理の流れを示すフローチャートである。回転軸位置推定を開始すると（Ｓ７００）、距離パラメータを用いて市松マーカー中心を探索し（Ｓ７０１）、回転軸座標を計算できるデータ（折れ角が異なる3以上の位置でのデータ）が集まったか否かを判断する（Ｓ７０２）。ＮＯであると回転軸位置推定終了（Ｓ７１１）へ進む。ＹＥＳであると最小二乗法に基づき回転軸座標を計算し（Ｓ７０３）、回転軸座標を収束判定用配列へ蓄積する（Ｓ７０４）。蛇行走行条件が成立するときの蓄積データが閾値以上集まったか否かを判断する（Ｓ７０５）。ＮＯであると回転軸位置推定終了（Ｓ７１１）へ進む。ＹＥＳであるとｘ軸、ｙ軸それぞれのヒストグラムの最頻値と分散を計算し（Ｓ７０６）、収束したか否かを判断する（Ｓ７０７）。ＮＯであると最頻値から離れたデータを削除し（Ｓ７１０）、回転軸位置推定終了（Ｓ７１１）へ進む。ＹＥＳであると最頻値（ｘｙ座標値）を回転軸位置として更新し（Ｓ７０８）、状態フラグを通常に変更し（Ｓ７０９）、回転軸位置推定終了（Ｓ７１１）へ進む。

【0041】

図８Ａの処理にしたがって算出された折れ角θは、モニタ９０に出力されてのモニタ画面９１に表示される。また、折れ角θが所定角より大きくなったり、折れ角θの上昇変化速度が所定速度以上になったりすると、アナウンス音声や警報音が加えられる。これにより、運転者が被牽引車２００を牽引した牽引車１００を運転する際（特に、駐車のために旋回しながら後退する際）に、モニタ９０に表示された折れ角θを考慮し、大きな折れ角θに移行するのを未然に防止する運転操作を行うことができる。

【0042】

図９は、折れ角がゼロ度でのマーカーの中心位置と連結軸の回転軸位置がｙ軸上の位置にある場合を示す連結部平面図である。図１０は、折れ角がゼロ度でのマーカーの中心位置がｙ軸からオフセットした位置にある場合と連結軸の回転軸位置がｙ軸からオフセットした位置にある場合とを示す連結部平面図である。以下、背景技術の課題、及び、課題を解決するオフセットのずれ相殺作用を説明する。

【0043】

まず、図９に示すように、折れ角がゼロ度でのマーカーの中心位置と連結軸の回転軸位置がｙ軸上の位置にある場合、折れ角がゼロ度でのマーカーの中心位置と、連結軸の回転軸位置とのｙ軸からのオフセットずれは発生しない。

【0044】

しかし、例えば、図１０に示すように、被連結部材が平面視において二等辺三角形の２辺のように牽引車側に延びてｙ軸上において１本に結合され、全体としてＹ字状を呈しているとする。このような形状の被連結部材は、被牽引車に接続される部分がｙ軸上に存在しないため、その部分にマーカーが設けられた場合、折れ角がゼロ度でのマーカーの中心位置がｙ軸からのオフセットずれが発生する。このため、牽引車と被牽引車との間で折れが生じない直進走行状態において、折れ角（＝回転角度θｏ）が求められ、常に折れ角が生じているとドライバーに提示してしまう。

【0045】

これに対し、例えば、図９に示す被牽引車から図１０に示す被牽引車に変更された場合には、所定時間の直進走行を経験すると、直進走行でのマーカー２２０の中心位置２２５の座標がオフセット補正量として算出される。つまり、オフセット補正値推定処理部３２において、折れ角がゼロ度でのマーカー２２０の中心位置２２５が算出され、算出値が記憶部３４に書き替え保存される。よって、折れ角がゼロ度の状態においてマーカー２２０の中心位置２２５がオフセットしてずれた場合であっても、折れ角演算部３６において、上記式（１）～（３）により折れ角θ（＝θｎ±θｏ）が精度よく求められる。つまり、マーカー２２０の中心位置２２５の算出値を書き替えることにより、マーカー２２０の中心位置２２５のオフセットずれを相殺できる。

【0046】

また、図１０に示すように、例えば、連結軸の回転軸位置が破線に示す位置までずれていると、直進走行や旋回走行にかかわらず、常に角度φｏが生じているとドライバーに提示してしまう。これに対し、例えば、図９に示す被牽引車から図１０に示す被牽引車に変更された場合、所定時間の蛇行走行を経験すると、蛇行走行での連結軸１２０の回転軸位置１３０が算出される。つまり、回転軸位置推定処理部３３において、マーカー２２０が円弧上を往復移動する蛇行走行時の連結軸１２０の回転軸位置１３０が算出され、算出値が記憶部３４に書き替え保存される。よって、連結軸１２０の回転軸位置１３０がずれた場合であっても、算出値の書き替えにより回転軸位置１３０のオフセットずれを相殺できる。加えて、連結軸の回転軸位置のずれに対し、所定数のマーカー位置情報が取得される毎にずれ補正する場合に比べてずれ補正の頻度が減少し、常時補正による誤差の影響を受けるのが抑えられる。

【0047】

以上説明したように、実施例１の牽引支援装置及び牽引支援方法にあっては、下記に列挙する効果が得られる。

【0048】

（１）牽引車１００と被牽引車２００とがなす折れ角θを求め、折れ角情報をドライバーに提示する牽引支援装置であって、車載カメラ１０と、マーカー中心探索部３１と、オフセット補正値推定処理部３２と、回転軸位置推定処理部３３と、折れ角演算部３６と、を備える。オフセット補正値推定処理部３２は、マーカー２２０の中心位置に基づいて、牽引車１００と被牽引車２００とが直進しているときのマーカー２２０の中心位置と、連結軸１２０を通る牽引車１００の前後方向を中心としたときの中心線との差をオフセット補正値として推定する。オフセット補正値の推定処理は、牽引車１００と被牽引車２００が直進走行しているときのマーカー２２０の中心位置を蓄積し、蓄積したマーカー２２０の中心位置の収束値を求め、求めた収束値をオフセット補正値に設定する。即ち、直進走行するシーンに着目し、折れ角θがゼロ度でのマーカー２２０の中心位置２２５を画像座標の収束値により設定する構成を採用した。このため、被牽引車２００のマーカー取り付け位置にかかわらず、牽引車１００と被牽引車２００が連結して直進しているときの折れ角θでのマーカー２２０の中心位置２２５を精度良く設定する牽引支援装置を提供することができる。この結果、トレーラー向け運転支援システムにおける制御が安定し、システムへの信頼度が向上する。

【0049】

（２）オフセット補正値推定処理部３２は、マーカー２２０の中心位置の座標のｘ軸、ｙ軸、それぞれについてヒストグラム化して最頻値を求め、最頻値をオフセット補正値として設定する。このため、牽引車１００と被牽引車２００が連結して直進しているときのマーカー２２０の中心位置２２５の設定精度が高くなり、牽引支援制御がより安定する。

【0050】

（３）回転軸位置推定処理部３３は、蛇行走行しているときのマーカー２２０の中心位置を蓄積し、所定値以上マーカー２２０の中心位置が蓄積したとき、最小二乗法により回転軸座標を計算して蓄積する。蓄積した回転軸座標が閾値以上集まると、蓄積した回転軸座標のｘ軸、ｙ軸それぞれについて収束する収束値を求め、求めた収束値を、回転軸位置に設定する。即ち、蛇行走行しているときに取得されるマーカー中心座標データに基づいて、連結軸１２０の回転軸位置が設定される。このため、被牽引車２００の変更にかかわらず、連結軸１２０の回転軸位置を精度良く設定することができる。この結果、マーカー中心位置算出処理と併せて回転軸位置算出処理を実施することで、トレーラー向け運転支援システムにおける制御がより安定し、システムへの信頼度がさらに向上する。

【0051】

（４）オフセット補正値推定処理部３２が求めたマーカー２２０の中心位置と、回転軸位置推定処理部３３が求めた連結軸１２０の位置と、を記憶する記憶部３４と、を備える。このため、マーカー中心探索部３１での探索処理や折れ角演算部３６での折れ角演算処理に記憶部３４の記憶情報（マーカー２２０の中心位置情報と、連結軸１２０の位置情報）を活用することができる。

【0052】

（５）記憶部３４に保存されている最新のマーカー２２０の中心位置と、連結軸１２０の位置とを用いて回転半径ｒを算出する回転半径算出部３５を備える。このため、マーカー中心探索部３１によりマーカー２２０の中心位置情報を取得するとき、マーカー回転軌跡を規定する回転半径ｒを用いる補正により絶対誤差の少ないマーカー２２０の中心位置の情報を出力することができる。

【0053】

（６）車載カメラ１０で撮影した連結部分の画像情報を、連結部分を上方から視た俯瞰画像に視点変換する視点変換処理部３０を備える。マーカー中心探索部３１は、俯瞰画像に基づいて、マーカー２２０の中心位置を探索し、回転軸位置推定処理部３３は、俯瞰画像に基づいて、連結軸１２０の回転軸位置を推定処理する。例えば、車載カメラ１０で撮影した斜めからのカメラ画像を用いて位置算出処理を行うと、取得される多数の位置データのそれぞれに対し座標変換処理を行う必要がある。これに対し、カメラ画像そのものを俯瞰画像に視点変換処理すると、俯瞰画像に描かれるｘ軸とｙ軸による二次元座標面で位置や距離を特定できる。このため、マーカー２２０の中心位置２２５のオフセット補正値推定処理と、連結軸１２０の回転軸位置推定処理とを容易に実施することができる。

【0054】

（７）車載カメラ１０と、牽引車１００と被牽引車２００との連結軸１２０と、被牽引車２００に取り付けられたマーカー２２０と、を備える。マーカー２２０の中心位置２２５と連結軸１２０の回転軸位置１３０とに基づいて、牽引車１００と被牽引車２００とがなす折れ角θを求め、折れ角情報をドライバーに提示する牽引支援方法である。マーカー２２０の中心位置に基づいて、牽引車１００と被牽引車２００とが直進しているときのマーカー２２０の中心位置と、連結軸１２０を通る牽引車１００の前後方向を中心としたときの中心線との差をオフセット補正値としたとき、オフセット補正値を推定する際、牽引車１００と被牽引車２００が直進走行しているときのマーカー２２０の中心位置を蓄積し、蓄積したマーカー２２０の中心位置の収束値を求め、求めた収束値をオフセット補正値に設定する。このため、被牽引車２００のマーカー取り付け位置にかかわらず、牽引車１００と被牽引車２００が連結して直進しているときのマーカー２２０の中心位置２２５を精度良く設定する牽引支援方法を提供することができる。

【0055】

以上、本発明の牽引支援装置及び牽引支援方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではない。特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。

【0056】

実施例１では、オフセット補正値推定処理部３２として、閾値以上の蓄積データについて座標軸毎にヒストグラム化し、最頻度のデータ数による座標値を収束値に決定する例を示した。しかし、オフセット位置算出処理部としては、最頻度のデータ数による座標値を収束値に決定する例に限られない。例えば、マーカー中心画像の二次元座標データに対して重み付け平均などで収束値を決定する例としても良い。

【0057】

実施例１では、回転軸位置推定処理部３３として、連結軸１２０の回転軸位置１３０を算出する際、蛇行走行しているときのデータに基づいて、連結軸１２０の回転軸位置を推定する例を示した。しかし、回転軸位置算出処理部としては、蛇行走行しているときのデータに基づいて推定する例に限られない。例えば、先行技術文献に記載されているように、被牽引車が、連結軸の回りの少なくとも３つの回転角度位置にあるときにそれぞれ車載カメラで撮影された画像におけるマーカーの位置に基づいて、連結軸の回転軸位置を設定する例としても良い。

【0058】

実施例１では、牽引支援装置及び牽引支援方法を、一般にトレーラーと呼ばれる牽引自動車に搭載した牽引支援システムＡに適用する例を示した。しかし、本発明の牽引支援装置及び牽引支援方法は、牽引車と被牽引車とが軸連結された車両であれば、例えば、カーゴトラック、コンテナトラック、トレーラーを牽引する乗用車などにおいても適用することができる。

【符号の説明】

【0059】

１０ 車載カメラ
３ カメラＥＣＵ
１００ 牽引車
１２０ 連結軸
１３０ 回転軸位置
２００ 被牽引車
２２０ マーカー
２２５ 中心位置
θ 折れ角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9】

【図10】