特開 2024-114280 角度検出装置、角度検出用コンピュータプログラム及び角度検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114280

(43)【公開日】2024-08-23

(54)【発明の名称】角度検出装置、角度検出用コンピュータプログラム及び角度検出方法

(51)【国際特許分類】

   G01B 11/26 20060101AFI20240816BHJP

【ＦＩ】

G01B11/26 H

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023019945

(22)【出願日】2023-02-13

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】川端 真広

(72)【発明者】

【氏名】田邊 健

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA32

2F065CC11

2F065FF04

2F065JJ03

2F065JJ26

2F065QQ31

(57)【要約】

【課題】牽引車両に対する被牽引車両の角度を容易に求めることができる角度検出装置を提供する。
【解決手段】角度検出装置は、牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に垂直な第1平面内に存在する牽引車両の後方の一部を示す第1点、第1平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが第1点と同じである第2点、連結部の長手方向に垂直な第2平面内に存在する被牽引車両の前方の一部を示す第3点及び第2平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが第3点と同じである第4点を検出し、第1点から第4点を、地面に対して平行な投影平面上に投影して、第1点から第4点に対応する、第5点から第8点を求め、投影平面内において、第5点及び第6点を結んだ第1直線と、第7点及び第8点を結んだ第2直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める。
【選択図】図３

【特許請求の範囲】

【請求項1】

牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出装置であって、
牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、前記第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが前記第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、前記第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが前記第３点と同じである第４点を検出する検出部と、
前記検出部により検出された前記第１点、前記第２点、前記第３点、及び、前記第４点を、地面に対して平行な投影平面上に投影して、前記第１点、前記第２点、前記第３点、及び、前記第４点に対応する、第５点、第６点、第７点、及び、第８点を求める投影部と、
前記投影平面内において、前記第５点及び前記第６点を結んだ第１直線と、前記第７点及び前記第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める角度算出部と、
を有する、ことを特徴とする角度検出装置。

【請求項2】

前記検出部は、前記画像から、牽引車両の前後方向に対して垂直な前記第１平面内に存在する牽引車両の後方の一部を示す前記第１点、前記第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが前記第１点と同じである前記第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す前記第３点、及び、前記第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが前記第３点と同じである前記第４点を識別するように学習した識別器を用いて、前記画像から前記第１点、前記第２点、前記第３点、及び、前記第４点を検出する、請求項１に記載の角度検出装置。

【請求項3】

前記第１点及び前記第２点は、牽引車両の後方の下端の位置を表しており、
前記投影部は、画像座標系で表された前記第１点、前記第２点、前記第３点、及び、前記第４点を、牽引車両の後方の下端の位置の高さを用いて、カメラ座標系で表された前記第１点、前記第２点、前記第３点、及び、前記第４点に変換し、カメラ座標系で表された前記第１点、前記第２点、前記第３点、及び、前記第４点を、世界座標系で表された前記第１点、前記第２点、前記第３点、及び、前記第４点に変換した後、世界座標系で表された前記第１点、前記第２点、前記第３点、及び、前記第４点を、前記投影平面上に投影して、前記第５点、前記第６点、前記第７点、及び、前記第８点を求める、請求項１又は２に記載の角度検出装置。

【請求項4】

牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出用コンピュータプログラムであって、
牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、前記第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが前記第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、前記第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが前記第３点と同じである第４点を検出し、
前記第１点、前記第２点、前記第３点、及び、前記第４点を、地面に対して平行な投影平面上に投影して、前記第１点、前記第２点、前記第３点、及び、前記第４点に対応する、第５点、第６点、第７点、及び、第８点を求め、
前記投影平面内において、前記第５点及び前記第６点を結んだ第１直線と、前記第７点及び前記第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める、
ことを含む処理をプロセッサに実行させる、ことを特徴とする角度検出用コンピュータプログラム。

【請求項5】

牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出方法であって、
角度検出装置が、
牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、前記第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが前記第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、前記第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが前記第３点と同じである第４点を検出し、
前記第１点、前記第２点、前記第３点、及び、前記第４点を、地面に対して平行な投影平面上に投影して、前記第１点、前記第２点、前記第３点、及び、前記第４点に対応する、第５点、第６点、第７点、及び、第８点を求め、
前記投影平面内において、前記第５点及び前記第６点を結んだ第１直線と、前記第７点及び前記第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める、
ことを実行する、ことを特徴とする角度検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、角度検出装置、角度検出用コンピュータプログラム及び角度検出方法に関する。

【背景技術】

【0002】

自動制御システムは、牽引車両（乗用車）に搭載される場合がある。牽引車両は、牽引車両（トレーラ）が連結されて、この被牽引車両を牽引して走行する。

【0003】

牽引車両に搭載される自動制御システムは、牽引車両に対する被牽引車両の位置関係を検出して、被牽引車両の位置関係に基づいて牽引車両を制御する。

【0004】

牽引車両に対する被牽引車両の位置関係を表す情報として、牽引車両に対する被牽引車両の角度がある。自動制御システムは、牽引車両に対する被牽引車両の角度に基づいて、カーブした道路を走行する時の牽引車両の動作を制御する。また、自動制御システムは、後退しながら駐車する時、牽引車両に対する被牽引車両の角度に基づいて、牽引車両の動作を制御する。

【0005】

例えば、特許文献１報は、ステレオカメラで撮影した撮影した２つの画像に基づいて、牽引車両に対する被牽引車両の角度を求めることを提案している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１３－２５６１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術では、２つの画像を用いて牽引車両に対する被牽引車両の角度が求められるので、この角度を求める処理が複雑になるという問題があった。

【0008】

そこで、本開示は、牽引車両に対する被牽引車両の角度を容易に求めることができる角度検出装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）一の実施形態によれば、角度検出装置が提供される。この角度検出装置は、牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出装置であって、牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが第３点と同じである第４点を検出する検出部と、検出部により検出された第１点、第２点、第３点、及び、第４点を、地面に対して平行な投影平面上に投影して、第１点、第２点、第３点、及び、第４点に対応する、第５点、第６点、第７点、及び、第８点を求める投影部と、投影平面内において、第５点及び第６点を結んだ第１直線と、第７点及び第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める角度算出部と、を有する、ことを特徴とする。

【0010】

（２）（１）の角度検出装置では、検出部は、画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが第３点と同じである第４点を識別するように学習した識別器を用いて、画像から第１点、第２点、第３点、及び、第４点を検出することが好ましい。

【0011】

（３）（１）又は（２）の角度検出装置では、第１点及び第２点は、牽引車両の後方の下端の位置を表しており、
投影部は、画像座標系で表された第１点、第２点、第３点、及び、第４点を、牽引車両の後方の下端の位置の高さを用いて、カメラ座標系で表された第１点、第２点、第３点、及び、第４点に変換し、カメラ座標系で表された第１点、第２点、第３点、及び、第４点を、世界座標系で表された第１点、第２点、第３点、及び、第４点に変換した後、世界座標系で表された第１点、第２点、第３点、及び、第４点を、投影平面上に投影して、第５点、第６点、第７点、及び、第８点を求めることが好ましい。

【0012】

（４）他の実施形態によれば、角度検出用コンピュータプログラムが提供される。この角度検出用コンピュータプログラムは、牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出用コンピュータプログラムであって、牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが第３点と同じである第４点を検出し、第１点、第２点、第３点、及び、第４点を、地面に対して平行な投影平面上に投影して、第１点、第２点、第３点、及び、第４点に対応する、第５点、第６点、第７点、及び、第８点を求め、投影平面内において、第５点及び第６点を結んだ第１直線と、第７点及び第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める、ことを含む処理をプロセッサに実行させる、ことを特徴とする。

【0013】

（５）また他の実施形態によれば、角度検出方法が提供される。この角度検出方法は、牽引車両に配置された連結部を介して回動自在に連結される被牽引車両と、牽引車両との相対角度を求める角度検出方法であって、角度検出装置が、牽引車両の後方及び被牽引車両の前方を含む画像から、牽引車両の前後方向に対して垂直な第１平面内に存在する牽引車両の後方の一部を示す第１点、第１平面内に存在する牽引車両の後方の他の一部を示し且つ地上からの高さが第１点と同じである第２点、連結部の長手方向に対して垂直な第２平面内に存在する被牽引車両の前方の一部を示す第３点、及び、第２平面内に存在する被牽引車両の前方の他の一部を示し且つ地上からの高さが第３点と同じである第４点を検出し、第１点、第２点、第３点、及び、第４点を、地面に対して平行な投影平面上に投影して、第１点、第２点、第３点、及び、第４点に対応する、第５点、第６点、第７点、及び、第８点を求め、投影平面内において、第５点及び第６点を結んだ第１直線と、第７点及び第８点を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する相対角度として求める、ことを実行する、ことを特徴とする。

【発明の効果】

【0014】

本開示に係る角度検出装置は、牽引車両の後方及び被牽引車両の前方を含む一枚の画像に基づいて、被牽引車両の牽引車両に対する相対角度を容易に求めることができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態の角度検出装置の動作の概要を説明しており、（Ａ）は、牽引車両及び被牽引車両の平面図であり、（Ｂ）は、後方画像の一例を示す図である。

【図2】本実施形態の角度検出装置の動作の概要を説明しており、角度を求めることを説明する図である。

【図3】本実施形態の角度検出装置が実装される車両のハードウエア構成図である。

【図4】本実施形態の角度検出装置の角度検出処理に関する動作フローチャートの一例である。

【図5】本実施形態の角度検出装置の座標変換処理に関する動作フローチャートの一例である。

【図6】本実施形態の角度検出装置の投影処理を説明する図である。

【発明を実施するための形態】

【0016】

図１（Ａ）、図１（Ｂ）及び図２は、本実施形態の角度検出装置の動作の概要を説明する図である。図１（Ａ）は、車両１０及び被牽引車両３０の平面図であり、図１（Ｂ）は、後方画像の一例を示す図である。図２は、角度を求めることを説明する図である。以下、図１（Ａ）、図１（Ｂ）及び図２を参照しながら、本明細書に開示する角度検出装置１２の角度検出処理に関する動作の概要を説明する。

【0017】

牽引車両１０（以下、単に車両１０ともいう）は、被牽引車両３０を牽引する。被牽引車両３０は、所定の方向に伸びる連結部４０を介して、車両１０に回動自在に連結される。

【0018】

車両１０は、自動制御装置１１及び角度検出装置１２を有する。角度検出装置１２は、被牽引車両３０の車両１０に対する相対角度を検出する。自動制御装置１１は、この相対角度に基づいて、被牽引車両３０を牽引して走行するように車両１０の動作を制御する。車両１０は、自動運転車両であってもよい。

【0019】

連結部４０は、全体として棒状の形状を有する。連結部４０は、車両１０の後面１０ａの下端における幅方向の中央と、被牽引車両３０の前面３０ａの下端における幅方向の中央とを連結する。幅方向は、それぞれの車両の前後方向に対して垂直な方向である。車両１０が被牽引車両３０を牽引して直進している場合、車両１０の前後方向と、被牽引車両３０の前後方向とは一致する。また、車両１０が被牽引車両３０を牽引して直進している場合、連結部４０の長手方向は、車両１０及び被牽引車両３０の前後方向と一致する。

【0020】

連結部４０の一方の端部は、例えば中空の半球形状であり、車両１０の球状の嵌合部（図示せず）に回転可能に嵌合する。連結部４０の他方の端部は、被牽引車両３０に固定される。連結部４０は、被牽引車両３０の前面３０ａに対して垂直に伸びている。なお、連結部４０は、所定の方向に伸びる異方形状を有していれば棒形状でなくてもよい。

【0021】

地面と平行な平面内において、牽引車両１０の後面１０ａに垂直な方向に対して、連結部４０のなす角度θが、被牽引車両３０の車両１０に対する相対角度となる。車両１０が直進する時には、相対角度はほぼゼロである。以下、この相対角度を、単に、牽引車両１０に対する被牽引車両３０の相対角度ともいう。

【0022】

図１（Ａ）に示す例では、車両１０は左側へ旋回している。車両１０の旋回にともなって、被牽引車両３０は、車両１０に対して相対的な角度θを有して牽引される。

【0023】

自動制御装置１１は、牽引車両１０に対する被牽引車両３０の相対角度に基づいて、カーブした道路を走行する時に、被牽引車両３０が安全に牽引されるように車両１０の動作を制御する。また、自動制御装置１１は、後退しながら駐車区画に駐車する時、牽引車両１０に対する被牽引車両３０の相対角度に基づいて、被牽引車両３０が駐車区画におさまるように車両１０の動作を制御する。

【0024】

カメラ３は、車両１０の後方及び被牽引車両３０の前方を含む後方画像を撮影する。例えば、図１（Ｂ）に示すように、後方画像１００は、車両１０の後面１０ａの下端及び被牽引車両３０の前面３０ａの下端を含むように撮影される。

【0025】

角度検出装置１２は、後方画像１００から、牽引車両１０の前後方向に対して垂直な第１平面内に存在する牽引車両１０の後方の一部を示す第１点Ｐ１、第１平面内に存在する牽引車両１０の後方の他の一部を示し且つ地上からの高さが第１点Ｐ１と同じである第２点Ｐ２を検出する。

【0026】

また、角度検出装置１２は、後方画像１００から、連結部４０の長手方向に対して垂直な第２平面内に存在する被牽引車両３０の前方の一部を示す第３点Ｐ３、及び、第２平面内に存在する被牽引車両３０の前方の他の一部を示し且つ地上からの高さが第３点Ｐ３と同じである第４点Ｐ４を検出する。

【0027】

図１（Ｂ）に示す例では、第１面は、車両１０の後面１０ａに対応する。第１点Ｐ１及び第２点Ｐ２は、後面１０ａの下端の左右の端の位置に対応する。また、第２面は、被牽引車両３０の前面３０ａに対応する。第３点Ｐ３及び第４点Ｐ４は、前面３０ａの左右の端の位置に対応する。第１点Ｐ１、第２点Ｐ２、第３点Ｐ３、及び、第４点Ｐ４は、例えば、カメラ３の撮像面に原点を有するカメラ座標系で表される。

【0028】

図２に示すように、角度検出装置１２は、第１点Ｐ１、第２点Ｐ２、第３点Ｐ３、及び、第４点Ｐ４を、地面に対して平行な投影平面Ｗ上に投影して、第１点Ｐ１、第２点Ｐ２、第３点Ｐ３、及び、第４点Ｐ４に対応する、第５点Ｐ５、第６点Ｐ６、第７点Ｐ７、及び、第８点Ｐ８を求める。第５点Ｐ５、第６点Ｐ６、第７点Ｐ７、及び、第８点Ｐ８は、例えば、実空間における所定の基準位置を原点とする世界座標系で表される。

【0029】

角度検出装置１２は、投影平面Ｗ内において、第５点Ｐ５及び第６点Ｐ６を結んだ第１直線Ｌ１と、第７点Ｐ７及び第８点Ｐ８を結んだ第２直線Ｌ２とがなす角度θを、被牽引車両３０の車両１０に対する相対角度として求める。相対角度θは、連結部４０が、車両１０の後面１０ａから伸びる方向と一致する。

【0030】

角度検出装置１２は、相対角度θを自動制御装置１１へ通知する。自動制御装置１１は、この相対角度θに基づいて、被牽引車両３０を牽引して走行するように車両１０の動作を制御する。

【0031】

以上詳述したように、角度検出装置１２は、車両１０の後方及び被牽引車両３０の前方を含む一枚の後方画像１００に基づいて、被牽引車両３０の車両１０に対する相対角度を容易に求めることができる。

【0032】

図３は、本実施形態の角度検出装置１２が実装される車両１０のハードウエア構成図である。車両１０は、前方カメラ２と、後方カメラ３と、自動制御装置１１と、角度検出装置１２等とを有する。更に、車両１０は、LiDARセンサといった、車両１０の周囲の物体までの距離等を測定するための他の測距センサ（図示せず）を有してもよい。

【0033】

前方カメラ２と、後方カメラ３と、自動制御装置１１と、角度検出装置１２とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク１３を介して通信可能に接続される。

【0034】

前方カメラ２は、車両１０の前方を向くように、車両１０に取り付けられる。前方カメラ２は、例えば所定の周期で、車両１０の前方の所定の領域の環境が表された前方画像を撮影する。前方画像には、車両１０の前方の所定の領域内に含まれる道路と、その路面上の車線区画線等の道路特徴物が表わされ得る。前方カメラ２により撮影される前方画像には、車両１０の前方に位置する他車両が表され得る。前方カメラ２は、ＣＣＤあるいはＣ－ＭＯＳ等、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。

【0035】

前方カメラ２は、前方画像を撮影する度に、前方画像及び前方画像が撮影されたカメラ画像撮影時刻を、車内ネットワーク１３を介して、自動制御装置１１へ出力する。カメラ画像は、自動制御装置１１において、車両１０の周囲の物体を検出する処理に使用される。

【0036】

後方カメラ３は、車両１０の後方を向くように、車両１０に取り付けられる。後方カメラ３は、例えば所定の周期で、車両１０の前方の所定の領域の環境が表された後方画像を撮影する。後方画像には、車両１０の後方の所定の領域内に含まれる環境が表わされる。

【0037】

後方カメラ３は、車両１０の後面１０ａの上端において、被牽引車両３０の前面３０ａを向くように、車両１０に取り付けられることが好ましい。また、後方カメラ３は、その視野に車両１０の後面１０ａの下端及び被牽引車両３０の前面３０ａの下端が含まれるように、車両１０に取り付けられることが好ましい。

【0038】

後方カメラ３は、ＣＣＤあるいはＣ－ＭＯＳ等、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。後方カメラ３は、魚眼画像を撮影可能な魚眼カメラであることが、広い視野の後方画像を撮影する観点から好ましい。

【0039】

後方カメラ３は、後方画像を撮影する度に、後方画像及び後方画像が撮影された後方画像撮影時刻を、車内ネットワーク１３を介して、角度検出装置１２等へ出力する。後方画像は、角度検出装置１２において、被牽引車両３０の車両１０に対する相対角度として求める処理に使用される。

【0040】

自動制御装置１１は、車両１０の走行を含む動作を制御する。自動制御装置１１は、前方カメラ２により撮影された前方画像に基づいて、車両１０の周囲の環境を認識する。また、自動制御装置１１は、認識された車両１０の周囲の環境、及び、車両１０に対する被牽引車両３０の相対角度等に基づいて、操舵、駆動、制動等の動作を制御する運転計画を生成する。ここで、自動制御装置１１は、角度検出装置１２から出力される、車両１０に対する被牽引車両３０の相対角度に基づいて、車両１０の走行にともなって被牽引車両３０に生じる状態に対する制限の範囲内で、運転計画を生成する。車両１０の走行にともなって被牽引車両３０に生じる状態に対する制限として、加速度、減速度、ヨーレート、角加速度等が挙げられる。自動制御装置１１は、この運転計画に基づいた自動制御信号を、車内ネットワーク１３を介して、操舵輪を制御するアクチュエータ（図示せず）、駆動装置（図示せず）又はブレーキ（図示せず）へ出力する。

【0041】

角度検出装置１２は、検出処理と、変換処理と、投影処理と、算出処理とを実行する。そのために、角度検出装置１２は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、角度検出装置１２を車内ネットワーク１３に接続するためのインターフェース回路を有する。

【0042】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。また、メモリ２２は、後方カメラ３の光軸方向、撮像光学系の焦点距離及び画角といった内部パラメータ及び後方カメラ３の取り付け位置及び姿勢といった外部パラメータ等を記憶する。

【0043】

角度検出装置１２が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ２３は、検出部２３１と、変換部２３２と、投影部２３３と、算出部２３４とを有する。あるいは、プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。角度検出装置１２は、例えば、電子制御装置（Electronic Contorol Unit:ECU）である。角度検出装置１２の動作の詳細については、後述する。

【0044】

図３では、自動制御装置１１と、角度検出装置１２とは、別々の装置として説明されているが、これらの装置の全て又は一部は、一つの装置として構成されていてもよい。

【0045】

図４は、本実施形態の角度検出装置１２の角度検出処理に関する動作フローチャートの一例である。以下、図４を参照しながら、角度検出装置１２の角度検出処理について説明する。角度検出装置１２は、所定の周期で設定される角度検出時刻に、図４に示される動作フローチャートに従って角度検出処理を実行する。

【0046】

まず、検出部２３１は、後方カメラ３により撮影された後方画像を取得する（ステップＳ１０１）。後方画像には、車両１０の後面１０ａの下端及び被牽引車両３０の前面３０ａの下端が含まれることが好ましい。

【0047】

次に、検出部２３１は、後方画像から、車両１０の前後方向に対して垂直な第１平面内に存在する車両１０の後方の一部を示す第１点Ｐ１、第１平面内に存在する車両１０の後方の他の一部を示し且つ地上からの高さが第１点Ｐ１と同じである第２点Ｐ２、連結部４０の長手方向に対して垂直な第２平面内に存在する被牽引車両３０の前方の一部を示す第３点Ｐ３、及び、第２平面内に存在する被牽引車両３０の前方の他の一部を示し且つ地上からの高さが第３点Ｐ３と同じである第４点Ｐ４を検出する（ステップＳ１０２）。

【0048】

第１点、第２点、第３点及び第４点は、後方画像内の位置を表す画像座標系で表される。この画像座標系は、後方画像の左上の端を原点として、直交する２つの軸上の位置を表す座標で表される。

【0049】

検出部２３１は、後方画像から、牽引車両１０の前後方向に対して垂直な第１平面内に存在する車両１０の後方の一部を示す第１点、第１平面内に存在する車両１０の後方の他の一部を示し且つ地上からの高さが第１点と同じである第２点、連結部４０の長手方向に対して垂直な第２平面内に存在する被牽引車両３０の前方の一部を示す第３点、及び、第２平面内に存在する被牽引車両３０の前方の他の一部を示し且つ地上からの高さが第３点と同じである第４点を識別するように学習した識別器を有する。

【0050】

検出部２３１は、後方画像を、この識別器に入力することにより、第１点Ｐ１、第２点Ｐ２、第３点Ｐ３及び第４点Ｐ４を検出する。

【0051】

この識別器として、例えば、入力された画像から、その画像に表された第１点、第２点、第３点及び第４点を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。

【0052】

識別器を学習するための教師画像として、牽引車両の後面下端の左の端の位置、牽引車両の後面下端の右の端の位置、又は、牽引車両の後面下端の中央の位置を、第１点及び第２点として含み、被牽引車両の前面下端の左の端の位置、被牽引車両の前面下端の右の端の位置、又は、被牽引車両の前面下端の中央の位置を、第３点及び第４点として含む画像を用いることができる。また、教師画像として、被牽引車両の前面上端の左の端の位置、被牽引車両の前面上端の右の端の位置、又は、被牽引車両の前面上端の中央の位置を、第３点及び第４点として含む画像を用いることができる。なお、第１点及び第２点は、地上からの高さが同じであれば、幅方向の中央から対称な位置でなくてもよい。同様に、第３点及び第４点は、地上からの高さが同じであれば、幅方向の中央から対称な位置でなくてもよい。

【0053】

また、検出部２３１が第１点、第２点、第３点及び第４点を検出する方法は、これに限定されない。例えば、後方画像は、高さ方向において、上側、中側、下側の領域に分割され、第１点及び第２点は、下側の領域に含まれており、第３点及び第４点は、中側の領域に含まれているとする。

【0054】

検出部２３１は、後方画像の下側の領域からエッジを抽出して、エッジが形成する直線を検出する。検出部２３１は、エッジが形成する２つの直線が９０度の角度で交差している交差位置を検出する。そして、検出部２３１は、交差位置を形成する２つの直線のうちの一つの直線を共有する一対の交差位置を、第１点及び第２点として検出してもよい。

【0055】

同様にして、検出部２３１は、後方画像の中側の領域からエッジを抽出して、エッジが形成する直線を検出する。検出部２３１は、エッジが形成する２つの直線が９０度の角度で交差している交差位置を検出する。そして、検出部２３１は、交差位置を形成する２つの直線のうちの一つの直線を共有する一対の交差位置を、第３点及び第４点として検出してもよい。

【0056】

次に、変換部２３２は、画像座標系で表された第１点、第２点、第３点及び第４点の位置を、実空間における所定の基準位置を原点とする世界座標系の位置に変換する（ステップＳ１０３）。この座標変換処理については、図５を参照して後述する。

【0057】

次に、投影部２３３は、世界座標系で表された第１点、第２点、第３点及び第４点を、地面に対して平行な投影平面上に投影して、第１点、第２点、第３点、及び、第４点に対応する、第５点、第６点、第７点、及び、第８点を求める（ステップＳ１０４）。世界座標系は、空間における所定の基準位置を原点とし、地面に対して垂直な方向をｚ軸として、ｚ軸と直交する２つの方向をｘ軸及びｙ軸とする。例えば、原点として、車両１０の先端の位置を用いてもよい。

【0058】

ここで、後方カメラ３が取り付けられる車両１０は、水平な地面上に位置すると仮定して、投影部２３３は、投影平面を求めてもよい。この場合、地面に対して平行な投影平面は、ｚ軸に垂直な面が選択される。また、車両１０が水平度を測定するセンサを備えている場合には、測定された車両１０の水平度に基づいて、投影部２３３は、投影平面を求めてもよい。

【0059】

また、投影平面は、車両１０の前後方向に垂直な面に垂直であり、且つ、車両１０の前後方向を含む面に垂直な面であってもよい。このような投影面は、後方カメラ３の外部パラメータ等に基づいて設定され得る。

【0060】

次に、算出部２３４は、投影平面内において、第５点及び第６点を結んだ第１直線と、第７点及び第８点を結んだ第２直線とがなす角度を、被牽引車両３０の車両１０に対する相対角度として求めて（ステップＳ１０５）、一連の処理を終了する。算出部２３４は、角度算出部の一例である。算出部２３４は、相対角度を、自動制御装置１１へ出力する。自動制御装置１１は、この相対角度に基づいて、被牽引車両３０を牽引して走行するように車両１０の動作を制御する。

【0061】

次に、図５を参照して、ステップＳ１０３の座標変換処理について、以下に説明する。図５は、本実施形態の角度検出装置１２の座標変換処理に関する動作フローチャートの一例である。

【0062】

まず、変換部２３２は、魚眼画像である後方画像を、平面画像へ変換する（ステップＳ２０１）。魚眼画像を平面画像に変換する技術として、公知の技術を用いることができる。この変換に用いられる魚眼レンズの設計情報等は、メモリ２２に記憶されている。なお、後方カメラ３が魚眼カメラではない場合、この処理は省略される。

【0063】

次に、変換部２３２は、画像座標系で表される、平面画像上の第１点、第２点、第３点及び第４点の位置を、カメラ座標系の位置に変換する（ステップＳ２０２）。カメラ座標系は、後方カメラ３の位置を原点とし、後方カメラ３の光軸方向を一つの軸方向とする。画像座標系は、後方カメラ３の光軸方向に対して垂直な面内に配置される。そのような変換式は、後方カメラ３の内部パラメータと、投影を表す投影行列とにより得られる。また、この変換は、２次元から３次元への変換になるので、カメラ座標系では、高さを表す座標として、車両１０の後面１０ａの下端の地面からの高さ、又は、被牽引車両３０の前面３０ａの下端の地面からの高さの位置を用いることが好ましい。これらの高さは、後方カメラ３の内部パラメータ及び外部パラメータを用いて、カメラ座標系で表すことができる。なお、画像座標系からカメラ座標系への変換では、平面画像上の位置を、画像座標系から正規化画像系へ変換した後、カメラ座標系へ変換してもよい。

【0064】

次に、変換部２３２は、カメラ座標系で表される第１点、第２点、第３点及び第４点の位置を、世界座標系の位置に変換して（ステップＳ２０３）、一連の処理を終了する。そのような変換は、座標系間の回転を表す回転行列と座標系間の平行移動を表す並進ベクトルとの組み合わせで表される。この変換式は、車両１０の現在位置及び外部パラメータ等に基づいて得られる。なお、カメラ座標系から世界座標系への変換では、カメラ座標系の位置を、カメラ座標系から車両座標系へ変換した後、世界座標系へ変換してもよい。

【0065】

以下、上述した角度検出処理について、図１（Ｂ）、図２及び図６を参照しながら、以下に説明する。

【0066】

図１（Ｂ）は、後方画像の一例を示す。後方画像１００は、車両１０の後面１０ａの下端及び被牽引車両３０の前面３０ａの下端を表している。

【0067】

車両１０の後面１０ａは、牽引車両１０の前後方向に対して垂直な第１平面の一例である。第１点Ｐ１及び第２点Ｐ２は、後面１０ａの下端の左右の端の位置として検出される。後面１０ａの下端の左右の端は、後面１０ａ内に存在する。後面１０ａの下端の左右の端は、地上からの高さが同じである。

【0068】

被牽引車両３０の前面３０ａは、連結部４０の長手方向に対して垂直な第２平面の一例である。第３点Ｐ３及び第４点Ｐ４は、前面３０ａの下端の左右の端の位置として検出される。前面３０ａの下端の左右の端は、前面３０ａ内に存在する。前面３０ａの下端の左右の端は、地上からの高さが同じである。

【0069】

図６は、本実施形態の角度検出装置１２の投影処理を説明する図である。第１点Ｐ１、第２点Ｐ２、第３点Ｐ３及び第４点Ｐ４は、世界座標系で表されている。第１点Ｐ１及び第２点Ｐ２は、車両１０の後面１０ａの下端の左右の端の位置を示す。第３点Ｐ３及び第４点Ｐ４は、被牽引車両３０の前面３０ａの下端の左右の端の位置を示す。

【0070】

図６では、第５点Ｐ５、第６点Ｐ６、第７点Ｐ７、及び、第８点Ｐ８は、世界座標系で表された第１点Ｐ１、第２点Ｐ２、第３点Ｐ３及び第４点Ｐ４が、地面に対して平行な投影平面Ｗ上に投影された点を示す。第５点Ｐ５、第６点Ｐ６、第７点Ｐ７、及び、第８点Ｐ８は、第１点Ｐ１、第２点Ｐ２、第３点Ｐ３、及び、第４点Ｐ４に対応する。

【0071】

図２に示すように、算出部２３４は、投影平面Ｗ内において、第５点Ｐ５及び第６点Ｐ６を結んだ第１直線Ｌ１を得る。また、算出部２３４は、投影平面Ｗ内において、第７点Ｐ７及び第８点Ｐ８を結んだ第２直線Ｌ２を得る。

【0072】

算出部２３４は、第１直線Ｌ１と、第２直線Ｌ２との交点Ｃにおいて、第１直線Ｌ１と、第２直線Ｌ２とがなす内角θを、被牽引車両３０の車両１０に対する相対角度として求める。

【0073】

内角θが、被牽引車両３０の車両１０に対する相対角度となることを、以下に説明する。まず、図２において、第５点Ｐ５と第６点Ｐ６とを結ぶ線分Ｐ５Ｐ６の中点を、点Ｑとする。また、線分Ｐ５Ｐ６に垂直に、点Ｑから伸びる直線が、第７点Ｐ７と第８点Ｐ８とを結ぶ線分Ｐ７Ｐ８と交差する点を点Ｓとする。また、点Ｃから線分Ｐ７Ｐ８に下ろした垂線の足を点Ｒとする。ここで、点Ｑと点Ｒとを結んだ線分ＱＲの向きは、連結部４０の長手方向と一致する。

【0074】

三角形ＳＣＱ及び三角形ＳＱＲは直角三角形であり、三角形ＳＣＱの∠ＱＳＣと三角形ＳＱＲの∠ＲＳＱとは同じであるので、三角形ＳＣＱと三角形ＳＱＲとは相似の関係にある。従って、三角形ＳＣＱの∠ＳＣＱと、三角形ＳＱＲの∠ＳＱＲとは等しい。

【0075】

∠ＳＱＲは、被牽引車両３０の車両１０に対する相対角度であり、上述した∠ＳＣＱは内角θを表す。従って、∠ＳＣＱである内角θは、被牽引車両３０の車両１０に対する相対角度となる

【0076】

以上、詳述したように、本実施形態の角度検出装置は、牽引車両の後方及び被牽引車両の前方を含む一枚の画像に基づいて、被牽引車両の牽引車両に対する相対角度を容易に求めることができる。

【0077】

本開示では、上述した実施形態の角度検出装置、角度検出用コンピュータプログラム及び角度検出方法は、本開示の趣旨を逸脱しない限り適宜変更が可能である。また、本開示の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0078】

例えば、上述した実施形態では、第１点Ｐ１及び第２点Ｐ２は、牽引車両の後方下端の左右の端の位置であったが、第１点Ｐ１及び第２点Ｐ２は、牽引車両の後方下端の左右の端の位置、及び、牽引車両の後方下端の中央の位置（例えば、連結部の位置）のうちの２点であってもよい。

【0079】

また、上述した実施形態では、第３点Ｐ３及び第４点Ｐ４は、被牽引車両の前方下端の左右の端の位置であったが、第３点Ｐ３及び第４点Ｐ４は、被牽引車両の前方下端の左右の端の位置、及び、被牽引車両の前方下端の中央の位置（例えば、連結部の位置）のうちの２点であってもよい。

【0080】

また、検出部は、牽引車両の後方及び被牽引車両の前方を含む画像から、第１平面内で地上からの高さが同じ牽引車両の３つ以上の位置、並びに、第２平面内で、地上からの高さが同じ被牽引車両の３つ以上の位置を検出して、算出部は、投影平面内において、３つ以上の位置を結んだ第１直線と、３つ以上の位置を結んだ第２直線とがなす角度を、被牽引車両の牽引車両に対する角度として求めてもよい。これにより、角度検出装置は、相対角度を精度よく求めることができる。

【符号の説明】

【0081】

２ 前方カメラ
３ 後方カメラ
１０ 牽引車両
１１ 自動制御装置
１２ 角度検出装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２３１ 検出部
２３２ 変換部
２３３ 投影部
２３４ 算出部
１３ 車内ネットワーク
３０ 被牽引車両
４０ 連結部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】