特表 2023-536468 車両－トレーラ角度推定のための長期視覚的トレーラ追跡器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-25

(54)【発明の名称】車両－トレーラ角度推定のための長期視覚的トレーラ追跡器

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230818BHJP

   B62D 53/00 20060101ALI20230818BHJP

【ＦＩ】

G06T7/70 B

B62D53/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023505930

(86)(22)【出願日】2021-07-29

(85)【翻訳文提出日】2023-03-24

(86)【国際出願番号】 US2021071051

(87)【国際公開番号】W WO2022027061

(87)【国際公開日】2022-02-03

(31)【優先権主張番号】63/058,317

(32)【優先日】2020-07-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522165131

【氏名又は名称】コンチネンタル オートノマス モビリティ ユーエス，エルエルシー

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｉｔｙ ＵＳ， ＬＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， ＭＩ ４８３２６， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】エドゥアルド ホセ ラミレス リャノス

(72)【発明者】

【氏名】ジュリアン イプ

(72)【発明者】

【氏名】ビクトル マヌエル カマチョ ルイス

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA02

5L096FA18

5L096FA34

5L096FA67

5L096GA51

5L096JA11

(57)【要約】

車両－トレーラ角度推定の視覚的トレーラ追跡方法であって、この方法は、（ａ）カメラから画像を受信し、直前に受信した各画像を目下の画像として識別して、以前に識別された目下の画像と置き換えるステップと、（ｂ）走行操作中、目下の画像から視覚的特徴を抽出し、目下の画像からトレーラ角度を計算し、目下の画像を基準画像として、トレーラ角度をトレーラ角度基準として、抽出された視覚的特徴を視覚的基準特徴として格納するステップと、（ｃ）目下の画像からの視覚的特徴を視覚的基準特徴とマッチさせるステップとを含む。マッチ数が閾値を下回っているならば、オペレーション（ｃ）を繰り返して、基準画像、トレーラ角度基準および視覚的基準特徴を更新する。この方法は、トレーラ角度基準に部分的に基づき、目下の画像内のトレーラ表現と、基準画像内のトレーラ表現との間のトレーラ角度を計算するステップを含む。

【特許請求の範囲】

【請求項1】

車両－トレーラ角度推定のための視覚的トレーラ追跡方法であって、当該方法は、
（ａ）データ処理ハードウェアによって、牽引車両に接続されているトレーラに面した、該牽引車両の後部に配置されたカメラから画像を受信し、直前に受信した各画像を目下の画像として識別して、以前に識別された目下の画像と置き換えるステップと、
（ｂ）走行操作中、前記データ処理ハードウェアによって、前記目下の画像から前記トレーラの表現の視覚的特徴を抽出し、前記データ処理ハードウェアによって、前記目下の画像から前記牽引車両に対し相対的な前記トレーラのトレーラ角度を計算し、前記目下の画像を基準画像として、前記トレーラ角度をトレーラ角度基準として、抽出された前記視覚的特徴を視覚的基準特徴として、前記データ処理ハードウェアに結合されたメモリに格納するステップと、
（ｃ）（ｂ）に続いて、前記データ処理ハードウェアによって、最近受信した画像を前記目下の画像として識別した後に、前記データ処理ハードウェアによって、前記目下の画像から前記トレーラの表現の視覚的基準特徴を抽出し、前記データ処理ハードウェアによって、前記目下の画像からの前記視覚的特徴を前記基準画像の前記視覚的基準特徴とマッチさせるステップと、
（ｄ）前記マッチングが第１の所定の閾値を下回っているならば、前記データ処理ハードウェアによって（ｃ）を繰り返して、前記基準画像、前記トレーラ角度基準および前記視覚的基準特徴を更新するステップと、
（ｅ）前記データ処理ハードウェアによって、前記トレーラ角度基準に部分的に基づき、前記目下の画像内の前記トレーラ表現と、前記基準画像内の前記トレーラ表現との間のトレーラ角度を計算するステップと、
（ｆ）前記データ処理ハードウェアから１つまたは複数の車両システムに、計算された前記トレーラ角度を送信すること
を含むオペレーションを実施させる、
車両－トレーラ角度推定のための視覚的トレーラ追跡方法。

【請求項2】

（ｂ）に先立ち、前記データ処理ハードウェアによってバウンディングボックスを受信または決定するステップをさらに含み、（ｂ）における前記トレーラ表現の前記視覚的特徴を抽出するステップは、前記目下の画像の前記バウンディングボックス内の前記視覚的特徴を抽出するステップを含み、当該方法は、前記データ処理ハードウェアによって、マッチした前記視覚的特徴を含むように前記バウンディングボックスを更新するステップをさらに含む、請求項１記載の方法。

【請求項3】

（ｂ）に先立ち、ゼロ角度操作中、前記牽引車両および前記トレーラがほぼ直線の経路を移動するときに、前記データ処理ハードウェアにおいて、前記ゼロ角度操作中に受信した前記画像から前記トレーラ表現の視覚的特徴を決定し、該視覚的特徴をゼロ角度基準特徴として前記メモリに格納するステップをさらに含む、請求項１記載の方法。

【請求項4】

前記データ処理ハードウェアによって、前記目下の画像から前記トレーラ表現の視覚的特徴を抽出し、前記目下の画像の抽出された前記視覚的特徴を前記ゼロ角度基準特徴と比較し、該比較を通して得られた距離が第２の所定の閾値を下回っているならば、前記トレーラ角度基準をゼロに設定し、かつ前記トレーラ角度をゼロに設定するステップをさらに含む、請求項３記載の方法。

【請求項5】

前記目下の画像からの前記視覚的特徴を前記視覚的基準特徴とマッチさせるステップは、前記目下の画像からの前記視覚的特徴と前記視覚的基準特徴との相関、総当たりマッチング法（Brute-Force matcher）、またはＦＬＡＮＮベースのマッチング法を実施するステップを含む、請求項１記載の方法。

【請求項6】

オペレーション（ｅ）において前記トレーラ角度を計算するステップは、前記目下の画像内の前記トレーラ表現の前記視覚的特徴および前記視覚的基準特徴の深度に部分的に基づく、請求項１記載の方法。

【請求項7】

車両－トレーラ角度推定の視覚的トレーラ追跡システムであって、当該システムは、
データ処理ハードウェアと、
該データ処理ハードウェアと通信するメモリハードウェアとを含み、該メモリハードウェアは命令を格納しており、該命令は、前記データ処理ハードウェア上で実行されると、該データ処理ハードウェアに以下のことを含むオペレーションを実施させる、すなわち、
（ａ）牽引車両に接続されているトレーラに面した、該牽引車両の後部に配置されたカメラから画像を受信し、直前に受信した各画像を目下の画像として識別して、以前に識別された目下の画像と置き換えること、
（ｂ）走行操作中、前記目下の画像から前記トレーラの表現の視覚的特徴を抽出し、前記目下の画像から前記牽引車両に対し相対的な前記トレーラのトレーラ角度を計算し、前記目下の画像を基準画像として、前記トレーラ角度をトレーラ角度基準として、抽出された前記視覚的特徴を視覚的基準特徴として、前記データ処理ハードウェアに結合された前記メモリハードウェアに格納すること、
（ｃ）（ｂ）に続き、最近受信した画像を前記目下の画像として識別した後に、前記目下の画像から前記トレーラの表現の視覚的基準特徴を抽出し、前記目下の画像からの前記視覚的特徴を前記基準画像の前記視覚的基準特徴とマッチさせること、
（ｄ）前記マッチングが第１の所定の閾値を下回っているならば、前記データ処理ハードウェアによって（ｃ）を繰り返して、前記基準画像、前記トレーラ角度基準および前記視覚的基準特徴を更新すること、
（ｅ）前記トレーラ角度基準に部分的に基づき、前記目下の画像内の前記トレーラ表現と、前記基準画像内の前記トレーラ表現との間のトレーラ角度を計算すること、および
（ｆ）前記データ処理ハードウェアから１つまたは複数の車両システムに、計算された前記トレーラ角度を送信すること
を含むオペレーションを実施させる、
車両－トレーラ角度推定の視覚的トレーラ追跡システム。

【請求項8】

前記オペレーションは、（ｂ）に先立ち、バウンディングボックスを受信または決定することをさらに含み、（ｂ）における前記トレーラ表現の前記視覚的特徴を抽出することは、前記目下の画像の前記バウンディングボックス内の前記視覚的特徴を抽出することを含み、前記オペレーションは、マッチした前記視覚的特徴を含むように前記バウンディングボックスを更新することをさらに含む、請求項７記載のシステム。

【請求項9】

前記オペレーションは、（ｂ）に先立ち、ゼロ角度操作中、前記牽引車両および前記トレーラがほぼ直線の経路を移動するときに、前記データ処理ハードウェアにおいて、前記ゼロ角度操作中に受信した前記画像から前記トレーラ表現の視覚的特徴を決定し、該視覚的特徴をゼロ角度基準特徴として前記メモリハードウェアに格納することをさらに含む、請求項７記載のシステム。

【請求項10】

前記オペレーションは、前記目下の画像から前記トレーラ表現の視覚的特徴を抽出し、前記目下の画像の抽出された前記視覚的特徴を前記ゼロ角度基準特徴と比較し、該比較を通して得られた距離が第２の所定の閾値を下回っているならば、前記トレーラ角度基準をゼロに設定し、かつ前記トレーラ角度をゼロに設定することをさらに含む、請求項９記載のシステム。

【請求項11】

前記目下の画像からの前記視覚的特徴を前記視覚的基準特徴とマッチさせることは、前記目下の画像からの前記視覚的特徴と前記視覚的基準特徴との相関、総当たりマッチング法、またはＦＬＡＮＮベースのマッチング法を実施することを含む、請求項７記載のシステム。

【請求項12】

オペレーション（ｅ）において前記トレーラ角度を計算することは、前記目下の画像内の前記トレーラ表現の前記視覚的特徴および前記視覚的基準特徴の深度に部分的に基づく、請求項７記載のシステム。

【請求項13】

前記牽引車両の後部に配置された前記カメラをさらに含み、該カメラは、前記データ処理ハードウェアに通信可能に結合されている、請求項７記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２０年７月２９日出願の米国特許仮出願第６３／０５８，３１７号の優先権を主張するものであり、この参照をもってその開示内容が本明細書に取り込まれるものとする。

【0002】

本開示は、車両－トレーラ角度に対する長期視覚的トレーラ追跡器のためのシステムおよび方法に関する。

【0003】

背景
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラ、およびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成された他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に据え付けられており、これがトレーラヒッチと連結されて連結が形成される。トレーラヒッチを、ボールおよびソケット、予備車輪およびグースネック、またはトレーラジャッキとすることができる。他の取り付けメカニズムを使用することもできる。

【0004】

牽引車両の運転者が直面する厄介な作業のうちのいくつかは、トレーラが牽引車両に取り付けられた状態で、牽引車両の操作を行うことである。いくつかの例では、特定の場所に向かって牽引車両を操作するために２人以上の人が必要とされる場合がある。車両－トレーラユニットはヒッチを中心に水平方向に旋回し、これによって車両－トレーラユニットはコーナーを回って移動できるようになるため、車両が移動する際、車両はトレーラを押したり引いたりする。運転者は、たとえば後退時など、トレーラの望ましい方向変化を得るにはどの向きに車両のステアリングホイールを回したらよいのか、混乱してしまうことがよくある。車両に不適切な操舵角を加えると、トレーラがジャックナイフ状態を引き起こし、それによってトレーラがコースを外れてしまうおそれもある。いくつかの牽引車両は、ジャックナイフ検出機能を含み、これによれば牽引車両は、後退走行時、牽引車両に対し相対的なトレーラの角度が所定の角度を超えたことを検出し、車両運転者に警告を発するか、またはこれに応答してジャックナイフ状況の発生を回避するように、牽引車両を自律的に操作する。

【0005】

よって、トレーラが取り付けられた牽引車両の運転者が直面する厄介な作業を克服するシステムを提供するのが望まれる。

【0006】

発明の概要
１つまたは複数の例示的な実施形態によれば、車両－トレーラ角度推定のための視覚的トレーラ追跡方法が開示される。この方法は、（ａ）データ処理ハードウェアによって、牽引車両に接続されているトレーラに面した、この牽引車両の後部に配置されたカメラから画像を受信し、直前に受信した各画像を目下の画像として識別して、以前に識別された目下の画像と置き換えるステップと、（ｂ）走行操作中、データ処理ハードウェアによって、目下の画像からトレーラの表現の視覚的特徴を抽出し、データ処理ハードウェアによって、目下の画像から牽引車両に対し相対的なトレーラのトレーラ角度を計算し、目下の画像を基準画像として、トレーラ角度をトレーラ角度基準として、抽出された視覚的特徴を視覚的基準特徴として、データ処理ハードウェアに結合されたメモリに格納するステップとを含む。（ｂ）に続いて、データ処理ハードウェアによって、最近受信した画像を目下の画像として識別した後に、この方法は、（ｃ）データ処理ハードウェアによって、目下の画像からトレーラの表現の視覚的基準特徴を抽出し、データ処理ハードウェアによって、目下の画像からの視覚的特徴を基準画像の視覚的基準特徴とマッチさせるステップを含む。マッチングが第１の所定の閾値を下回っているならば、この方法は、（ｄ）データ処理ハードウェアによって（ｃ）を繰り返して、基準画像、トレーラ角度基準および視覚的基準特徴を更新するステップを含む。この方法は、（ｅ）データ処理ハードウェアによって、トレーラ角度基準に部分的に基づき、目下の画像内のトレーラ表現と、基準画像内のトレーラ表現との間のトレーラ角度を計算するステップをさらに含む。この方法は、（ｆ）データ処理ハードウェアによって、計算されたトレーラ角度を１つまたは複数の車両システムに送信するステップを含む。

【0007】

この方法は、（ｂ）に先立ち、データ処理ハードウェアによってバウンディングボックスを受信または決定するステップを含むことができ、（ｂ）におけるトレーラ表現の視覚的特徴を抽出するステップは、目下の画像のバウンディングボックス内の視覚的特徴を抽出するステップを含み、この方法は、データ処理ハードウェアによって、マッチした視覚的特徴を含むようにバウンディングボックスを更新するステップをさらに含む。

【0008】

（ｂ）に先立ち、ゼロ角度操作中、牽引車両およびトレーラがほぼ直線の経路を移動するときに、この方法は、データ処理ハードウェアにおいて、ゼロ角度操作中に受信した画像からトレーラ表現の視覚的特徴を決定し、視覚的特徴をゼロ角度基準特徴としてメモリに格納するステップを含む。この方法は、データ処理ハードウェアによって、目下の画像からトレーラ表現の視覚的特徴を抽出し、目下の画像の抽出された視覚的特徴をゼロ角度基準特徴と比較し、この比較を通して得られた距離が第２の所定の閾値を下回っているならば、トレーラ角度基準をゼロに設定し、かつトレーラ角度をゼロに設定するステップをさらに含む。

【0009】

１つの実装形態において、目下の画像からの視覚的特徴を視覚的基準特徴とマッチさせるステップは、目下の画像からの視覚的特徴と視覚的基準特徴との相関、総当たりマッチング法、または近似最近傍探索のための高速ライブラリ（ＦＬＡＮＮ）ベースのマッチング法を実施するステップを含む。

【0010】

１つの実装形態において、オペレーション（ｅ）においてトレーラ角度を計算するステップは、目下の画像内のトレーラ表現の視覚的特徴および視覚的基準特徴の深度に部分的に基づく。

【0011】

１つの例示的な実施形態によれば、車両－トレーラ角度推定の視覚的トレーラ追跡システムが開示され、このシステムは、データ処理ハードウェアと、このデータ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは命令を格納しており、この命令は、データ処理ハードウェア上で実行されると、データ処理ハードウェアに上述の方法を成すオペレーションを実施させる。このシステムは、牽引車両の後部に配置されたカメラを含み、このカメラは、データ処理ハードウェアに通信可能に結合されている。

【図面の簡単な説明】

【0012】

【図1A】トレーラに連結された例示的な牽引車両の概略図である。

【図1B】所定の角度でトレーラに連結された例示的な牽引車両の概略図である。

【図2】１つの例示的な実施形態による、角度検出システムを有する例示的な牽引車両の概略図である。

【図3】１つの例示的な実施形態による、カメラによってキャプチャされた画像中に現れる視覚的特徴のマッチングの例である。

【図4】１つの例示的な実施形態による、カメラによってキャプチャされた画像中に現れる視覚的特徴のマッチングの例である。

【図5】１つの例示的な実施形態による、長期視覚的トレーラ追跡を用いた車両－トレーラ角度推定方法を示すフローチャートである。

【0013】

様々な図面における同じ参照符号は同じ要素を指す。

【0014】

詳細な説明
以下に限定されるものではないが、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）といった牽引車両を、トレーラを牽引するように構成することができる。牽引車両は、トレーラヒッチに取り付けられた車両カプラ、たとえばトレーラヒッチカプラに取り付けられた車両牽引ボールによって、トレーラに接続される。牽引車両のために望ましいのは、牽引車両に取り付けられたトレーラを追跡するように構成された長期視覚的トレーラ追跡システムを含むことである。

【0015】

図１Ａ～図２を参照すると、いくつかの実装形態において、車両－トレーラシステム１００は、トレーラ１０４に連結された牽引車両１０２を含む。牽引車両は、トレーラ１０４のトレーラヒッチバー１０８によって支持されたトレーラヒッチカプラ１０６に取り付けられている車両牽引ボールを含む。牽引車両１０２は、牽引車両１０２に関連づけられた走行システム１１０を含み、この走行システム１１０は牽引車両１０２を操作し、ひいては、たとえばｘ成分、ｙ成分およびｚ成分を有する走行操作または走行命令に基づき、路面と交差して車両－トレーラシステム１００を操作する。走行システム１１０は、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃ、および左後輪１１２、１１２ｄを含む。これに加え、走行システム１１０は、トレーラ１０４に関連づけられた車輪（図示せず）を含むことができる。走行システム１１０は、これとは別の車輪構成も同様に含むことができる。走行システム１１０はモータまたはエンジンを含むことができ、これは１つのエネルギー形態を機械エネルギーに変換し、これによって車両１０２を移動させることができる。走行システム１１０は他の構成要素（図示せず）を含み、それらの構成要素は、車輪１１２およびエンジンと連携しそれらと連結されていて、車両１０２を移動させることができ、これによりひいてはトレーラ１０４も同様に移動させる。走行システム１１０は、各車輪１１２、１１２ａ～ｄに関連づけられたブレーキを含むブレーキシステム（図示せず）を含むこともでき、この場合、各ブレーキは車輪１１２ａ～ｄに関連づけられており、車輪１１２ａ～ｎの回転を減速させるまたは停止させるように構成されている。いくつかの実施例において、ブレーキシステムは、トレーラ１０４により支持された１つまたは複数のブレーキに接続されている。走行システム１１０は、牽引車両１０２ひいては車両－トレーラシステム１００の速度を調節するように構成された加速システム（図示せず）、および牽引車両１０２ひいては車両－トレーラシステム１００の方向を調節するように構成されたステアリングシステム（図示せず）を含むこともできる。車両－トレーラシステム１００は、これとは別のシステムも同様に含むことができる。

【0016】

牽引車両１０２により規定される互いに垂直な３つの軸線すなわち左右軸線Ｘ_Ｖ、前後軸線Ｙ_Ｖおよび中央垂直軸線Ｚ_Ｖに対し相対的な運動の様々な組み合わせによって、牽引車両１０２は路面と交差して移動することができる。左右軸線Ｘ_Ｖは、牽引車両１０２の右側Ｒと左側との間に延在している。前後軸線Ｙ_Ｖに沿った前進走行方向がＦ_Ｖで表されており、これを前進運動とも称する。これに加え、前後軸線Ｙ_Ｖに沿った後ろ向き走行方向または後退走行方向がＲ_Ｖで表されており、これを後退運動とも称する。いくつかの実施例において、牽引車両１０２はサスペンションシステム（図示せず）を含み、このサスペンションシステムは、調節されると、牽引車両１０２をＸ_Ｖ軸線および／またはＹ_Ｖ軸線の周りで傾斜させるか、または中央垂直軸線Ｚ_Ｖに沿って移動させる。牽引車両１０２が移動すると、トレーラ１０４は牽引車両１０２の経路に沿って追従する。よって、牽引車両１０２が前進方向Ｆ_Ｖで移動しながら旋回するならば、トレーラ１０４はそれに沿って追従する。旋回中、牽引車両１０２とトレーラ１０４とは、トレーラ角度αを成す。

【0017】

さらに、トレーラ１０４により規定される互いに垂直な３つの軸線すなわちトレーラ左右軸線Ｘ_Ｔ、トレーラ前後軸線Ｙ_Ｔおよびトレーラ中央垂直軸線Ｚ_Ｔに対し相対的な運動の様々な組み合わせによって、トレーラ１０４は路面と交差して牽引車両１０２を追従する。トレーラ左右軸線Ｘ_Ｔは、トレーラ旋回軸線１０５に沿ってトレーラ１０４の右側と左側との間に延在している。いくつかの実施例において、トレーラ１０４は、前車軸線（図示せず）および後車軸線１０５を含む。この事例では、トレーラ左右軸線Ｘ_Ｔは、前車軸線および後車軸線の中点（すなわち仮想旋回軸線）に沿って、トレーラ１０４の右側と左側との間に延在している。トレーラ前後軸線Ｙ_Ｔに沿った前進走行方向がＦ_Ｔで表されており、これを前進運動とも称する。これに加え、前後軸線Ｙ_Ｔに沿ったトレーラ後ろ向き走行方向またはトレーラ後退走行方向がＲ_Ｔで表されており、これを後退運動とも称する。したがって車両－トレーラシステム１００の運動には、牽引車両１０２の左右軸線Ｘ_Ｖ、前後軸線Ｙ_Ｖおよび中央垂直軸線Ｚ_Ｖに沿った牽引車両１０２の運動、ならびにトレーラ１０４のトレーラ左右軸線Ｘ_Ｔ、トレーラ前後軸線Ｙ_Ｔおよびトレーラ中央垂直軸線Ｚ_Ｔに沿ったトレーラ１０４の運動が含まれる。よって、牽引車両１０２が前進方向Ｆ_Ｖで移動しながら旋回するならば、トレーラ１０４はそれに沿って追従する。旋回中、牽引車両１０２とトレーラ１０４とは、車両前後軸線Ｙ_Ｖとトレーラ前後軸線Ｙ_Ｔとの間の角度であるトレーラ角度αを成す。

【0018】

車両１０２は、センサシステムデータ１３６を供給するセンサシステム１３０を含み、このデータを使用して、トレーラ角度αなど１つまたは複数の測定値を求めることができる。いくつかの実施例において、車両１０２を自律型または半自律型とすることができ、このためセンサシステム１３０は、信頼性が高くロバストな自律走行のためのセンサデータ１３６を供給する。センサシステム１３０は、センサシステムデータ１３６を供給し、牽引車両の周囲環境またはその一部の知覚を生成するために、別個にまたは他のセンサと共に使用可能な種々のタイプのセンサを含むことができ、車両－トレーラシステム１００はこの知覚を使用して、自身の周囲環境における物体を識別し、かつ／またはいくつかの実施例では自律的に走行し、センサシステム１３０により検出された物体および障害物に基づきインテリジェントな判断を下す。いくつかの実施例において、センサシステム１３０は、牽引車両１０２の後部によって支持された１つまたは複数のセンサ１３２を含み、このセンサ１３２によって、牽引車両１０２の後方に位置する物体に関連づけられたセンサシステムデータ１３６が供給される。牽引車両１０２がセンサシステム１３０を支持することができる一方、他の実施例ではセンサシステム１３０は、車両１０２とトレーラ１０４とにより支持される。

【0019】

センサシステム１３０は、カメラデータ１３３を供給する１つまたは複数のカメラ１３２ａ～１３２ｃを含む。１つまたは複数のカメラ１３２ａ～１３２ｃは、単眼カメラを含むことができ、この場合、画像上の各ポジションはそれぞれ異なる光量を示すが、異なる色相を示さない。いくつかの実施例において、カメラ１３２ａ～１３２ｃは魚眼レンズを含むことができ、これは超広角レンズを含み、これによってワイドなパノラマ画像または半球画像１３３の生成を意図した強い視覚的ゆがみがもたらされる。魚眼カメラは、極端にワイドな画角を有する画像１３３をキャプチャする。車両およびトレーラの周囲環境の画像１３３をキャプチャするために、他のタイプのカメラを用いることもできる。カメラデータ１３３は付加的なデータ１３３を含むことができ、たとえば固有パラメータ（たとえば焦点距離、イメージセンサフォーマットおよび主点）、ならびに付帯的パラメータ（たとえば３Ｄワールド座標から３Ｄカメラ座標への座標系変換、換言すれば付帯的パラメータは、ワールド座標におけるカメラセンターポジションおよびカメラの向きを定義する）を含むことができる。これに加え、カメラデータ１３３は、地面に対するカメラ１３２ａ～１３２ｃの最小／最大／平均高さ（たとえば車両の積載時および非積載時）と、カメラ１３２ａ～１３２ｃと牽引車両ヒッチボールとの間の長手方向距離とを含むことができる。

【0020】

センサシステム１３０は、以下に限定されるものではないが、レーダ、ソナー、ＬＩＤＡＲ（光検出と測距、これは遠隔の目標の距離および／または他の情報を見出すために散乱光の特性を測定する光学的遠隔センシングを必然的に伴う場合がある）、ＬＡＤＡＲ（レーザ検出と測距）、超音波などを含むことができる。センサシステム１３０はセンサシステムデータ１３６を供給し、このセンサシステムデータ１３６は、１つまたは複数のカメラ１３２ａ～１３２ｃからの画像１３３、および１つまたは複数の他のセンサからのセンサ情報１３５のうちの一方または両方を含む。したがってセンサシステム１３０は、車両の周囲環境または周囲環境の一部の情報を受信するために、さらには運転者によって、あるいは半自律的または自律的な条件の下で動作可能な車両－トレーラシステム１００における安全性を高めるために、特に有用である。いくつかの実装形態において、第１のカメラ１３２ｂおよび第２のカメラ１３２ｃは、車両１０２の各々の側に配置されている。これに加え、後ろ向きの第３のカメラ１３２ｃを車両１０２の後部に取り付けることができ、たとえばテールゲートに沿って、または牽引車両１０２がピックアップトラックであるならばセンターハイマウントストップライト（ＣＨＭＳＬ）と共に、取り付けることができる。

【0021】

牽引車両１０２は、ディスプレイなどのユーザインタフェース１４０を含むことができる。ユーザインタフェース１４０は、運転者に情報を表示するように構成されている。いくつかの実施例において、ユーザインタフェース１４０は、１つまたは複数の入力メカニズムまたはタッチスクリーンディスプレイを介して、１つまたは複数のユーザ命令を運転者から受け取り、かつ／または１つまたは複数の通知を運転者に表示するように構成されている。いくつかの実施例において、ユーザインタフェース１４０はタッチスクリーンディスプレイである。別の実施例において、ユーザインタフェース１４０はタッチスクリーンではなく、運転者は、以下に限定されるものではないが、回転つまみまたはマウスなどの入力デバイスを使用して選択を行うことができる。いくつかの実施例において、トレーラパラメータ検出システム１６０は、１つまたは複数のトレーラパラメータ１６２を表示するようにユーザインタフェース１４０に命令する。

【0022】

ユーザインタフェース１４０は車両コントローラ１５０と通信し、この車両コントローラ１５０は、コンピューティングプロセッサ上で実行可能な命令を格納可能な非一時的メモリおよび／またはメモリハードウェア１５４（たとえばハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信するコンピューティングデバイス（またはデータ処理ハードウェア）１５２（たとえば１つまたは複数のコンピューティングプロセッサを有する中央処理ユニット）を含む。いくつかの実施例において、非一時的メモリ１５４は、データ処理ハードウェア１５２上で実行されると、車両コントローラ１５０が信号を１つまたは複数の他の車両システムに送信するよう指示する命令を格納する。図示されているように、車両コントローラ１５０は牽引車両１０２によって支持されている。ただし車両コントローラ１５０を牽引車両１０２から分離し、ネットワーク（図示せず）を介して車両コントローラ１５０が牽引車両１０２と通信するようにしてもよい。これに加え、車両コントローラ１５０は、センサシステム１３０と通信し、センサシステム１３０からセンサシステムデータ１３６を受信する。いくつかの実施例において、車両コントローラ１５０は、センサシステム１３０から受信したセンサシステムデータ１３６を処理するように構成されている。

【0023】

いくつかの実装形態において、車両コントローラ１５０は、単一の単眼カメラ１３２ａのみを使用して、牽引車両１０２に取り付けられているトレーラ１０４を追跡するように構成されたトレーラ追跡システム１６０を実行する。追跡システム１６０を、たとえば、特にジャックナイフ検出機能を実行する牽引車両１０２のトレーラ後退時アシストシステムの一部とすることができ、かつ／またはそれと共に使用することができる。トレーラ追跡システム１６０の追跡アルゴリズム１６２は、長期間にわたり（たとえば複数の旋回を伴うすべての駐車操作中）トレーラ１０４を追跡するように構成されている。追跡システム１６０はまた、たとえトレーラ１０４が部分的に車両カメラから隠れている場合であっても、車両－トレーラシステムのトレーラ角度αを計算する。計算されたトレーラ角度αを、牽引車両１０２およびトレーラ１０４が後退走行しているときに、ジャックナイフ検出オペレーションにおいて使用することができる。

【0024】

追跡アルゴリズム１６２は、較正手順において取得されたゼロ基準を使用することによって、累積ドリフトを経時的に補正する。アルゴリズム１６２のロバスト性を改善するために、このアルゴリズムは他の車両情報を使用することができ、たとえば車両ステアリングホイール角度、ホイールティック、車両速度、ギア、および／または他のセンサ１３４から受信したＩＭＵ情報などを使用することができる。トレーラ追跡システム１６０は、たとえトレーラ１０４のボディがカメラ１３２ａから部分的または完全に隠されている場合であっても、依然として機能することができる。ボディが部分的に隠されている場合、アルゴリズム１６２は、車両－トレーラシステムからハイアングルを推定する。１つの利点は、アルゴリズム１６２が、ハイエンドＣＰＵまたはＧＰＵを必要とする著しく複雑な深層学習またはアルゴリズムの使用を要求しないことである。

【0025】

トレーラ追跡システム１６０は、後部単眼カメラ１３２ａのみを使用して、牽引車両１０２に取り付けられているトレーラ１０４を視覚的に追跡する。

【0026】

トレーラ追跡システム１６０および／またはその追跡アルゴリズム１６２は、トレーラ追跡およびトレーラ角度計算を実行する際に使用するための複数のモジュールを含む。図２を参照すると、追跡アルゴリズム１６２は、カメラ１３２によってキャプチャされた画像１３３から視覚的特徴を抽出する視覚的特徴抽出器１６４を含む。１つの実装形態において、抽出された視覚的特徴は、画像１３３各々におけるトレーラ１０４の表現の視覚的特徴である。抽出される視覚的特徴および／または視覚的特徴記述子はたとえば、勾配ヒストグラム（ＨＯＧ）、または方向付きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）を含むことができる。これらの視覚的特徴および／または特徴記述子（以下では「視覚的特徴」）は、公知のコンピュータビジョン法を用いて抽出される。抽出された視覚的特徴は、車両コントローラ１５０のメモリ１５４内に保持される。

【0027】

トレーラ追跡アルゴリズムはさらに、２つの画像、たとえば後ろ向きカメラ１３２ａによってキャプチャされた目下の画像と基準画像、の視覚的特徴をマッチさせる視覚的特徴マッチングモジュール１６６を含む。視覚的特徴マッチングアルゴリズム１６６は、畳み込み技術、総当たりマッチング法、または近似最近傍探索のための高速ライブラリ（ＦＬＡＮＮ）ベースのマッチング法など、複数の視覚的特徴マッチングアプローチのうち任意のものを利用することができる。１つの実装形態において、マッチさせるべき視覚的特徴は、キャプチャされた対応する画像内のトレーラ１０４の表現を取り囲むバウンディングボックス内にある視覚的特徴である。

【0028】

トレーラ追跡アルゴリズム１６２はさらにバウンディングボックス追跡モジュール１６８を含み、このモジュールは、１つの実装形態において、画像１３３内のトレーラ１０４の表現を追跡し、追跡されたトレーラ表現を取り囲むバウンディングボックスを生成する。生成されたバウンディングボックスを、本明細書で説明するように、キャプチャされた画像内の視覚的特徴の抽出およびマッチングに使用することができる。

【0029】

これに加え、トレーラ追跡アルゴリズム１６２は、２つの画像間のトレーラ角度αを計算するトレーラ角度計算モジュール１７０を含む。１つの実装形態において、トレーラ角度計算器１７０は、目下の画像と基準画像との間の相対角度を計算する。トレーラ角度をたとえば、画像の抽出された視覚的特徴の深度が既知であることに部分的に基づき計算することができる。トレーラ角度計算モジュール１７０は、特徴の深度の推定および較正フェーズにおいてキャプチャされた他のパラメータに基づき、単一の点を使用することができる。

【0030】

トレーラ追跡アルゴリズム１６２はさらに、目下の画像とゼロ角度操作中に撮影された画像といったような、２つの異なる画像の視覚的特徴を比較および／またはマッチさせるドリフト補正モジュール１７２を含む。マッチング／比較はたとえば、畳み込み演算、総当たりマッチング法、またはＦＬＡＮＮベースのマッチング法を含むことができる。

【0031】

ビジュアルトレーラ追跡およびトレーラ角度計算のための方法５００を、図５を参照して説明する。５０２において、後部カメラ１３２ａによってキャプチャされた画像が、データ処理ハードウェア１５２に供給される。トレーラ角度基準値がゼロに設定される。５０４において、ゼロ角度操作が実行され、その際にシステムは、牽引車両１０２の前後軸線Ｙ_Ｖとトレーラ１０４の前後軸線Ｙ_Ｔとが整列するまで（つまりそれらの間の角度がゼロになるまで）、１つの直線内でかつ／または１つの直線経路に沿って、牽引車両１０２を接続されたトレーラ１０４と共に走行させることによって、ゼロ基準値を決定する。牽引車両１０２とトレーラ１０４とが整列させられると、データ処理ハードウェア１５２は、キャプチャされた画像１３３に現れる、トレーラ１０４の表現の視覚的基準特徴を決定またはさもなくば抽出し、この場合、外れ値はフィルタ除去される。このブロック５０４は、視覚的特徴抽出器モジュール１６４の使用を含むことができる。これに加え、ステアリングホイール角度、ホイールティック、車両速度および加速度などの車両情報を使用して、視覚的特徴の抽出のロバスト性を高めることができる。抽出された視覚的特徴および／または記述子は、ゼロ基準視覚的特徴としてメモリ１５４に保存される。

【0032】

ゼロ角度操作の前、その間および／またはそれに続いて、方法５００の初期部分内のある時点において、データ処理ハードウェア１５２は、目下の画像（つまりデータ処理ハードウェア１５２によって受信された直前にキャプチャされた画像）から、初期バウンディングボックスを受信、取得または決定する。１つの態様において、ユーザインタフェース１４０を使用して目下の画像内のトレーラ１０４の表現の周囲にバウンディングボックスを描画することにより、バウンディングボックスをユーザによって定義することができる。別の態様によれば、初期バウンディングボックスをデータ処理ハードウェア１５２によって決定することができる。

【0033】

ゼロ角度操作に続いて、データ処理ハードウェア１５２が、後部カメラ１３２ａによってキャプチャされた画像を受信し続けているときに、方法５００はさらに、５０６においてトレーラ角度基準オペレーションを実施するステップを含み、このステップにおいて、トレーラ１０４の表現の視覚的特徴が目下の画像から抽出される。抽出された視覚的特徴は、目下の画像に適用されるバウンディングボックス内の領域から抽出される。この抽出は、視覚的特徴抽出器モジュール１６４を使用することができる。目下の画像は基準画像として格納され、これらの抽出された視覚的特徴は視覚的基準特徴として格納される。これに加え、トレーラ角度αを目下の画像から決定することができ、トレーラ角度基準として格納することができる。

【0034】

この方法はさらに、５０８において、視覚的特徴マッチングモジュール１６６を使用して、目下の画像内のトレーラ表現の抽出された視覚的特徴を、ブロック５０６からの基準画像内のトレーラ表現の抽出された視覚的特徴とマッチさせるステップを含む。このマッチングはたとえば、マッチングを実行する際に畳み込み関数、総当たりマッチング法、またはＦＬＡＮＮベースのマッチング法を含むことができる。自明のとおり、マッチングまたは比較のための他の技術を付加的にまたは択一的に使用することができる。

【0035】

図３に示されている５０８のマッチングオペレーションの結果によれば、比較的多くの個数またはパーセンテージの抽出された視覚的特徴が首尾よくマッチしている。図面左側部分の画像３０２は基準画像であり、図面右側部分の画像３０４は目下の画像である。図面の下側中央部分の画像には、マッチした基準特徴が示されている。基準画像と目下の画像とからのマッチした基準特徴は、それらの間に配置された線分によっても識別される。これに加え、５１０において目下のバウンディングボックス３０８が生成され、この目下のバウンディングボックス３０８は、マッチさせられた視覚的特徴を取り囲む画像３０４および画像３０６に示されている。

【0036】

図４に示されている５０８のマッチングオペレーションの結果によれば、目下の画像３０４がトレーラ表現の一部を示しているにすぎないことから、もっと僅かな個数またはパーセンテージの抽出された視覚的特徴しかマッチしていない。この図からわかるように、トレーラ表現の右側部分に現れる抽出された視覚的特徴だけしか、基準画像３０２と目下の画像３０４との間でマッチしていない。

【0037】

再び図５を参照すると、５１２において、基準画像と目下の画像との間で首尾よくマッチした視覚的特徴の個数またはパーセンテージが、マッチした視覚的特徴の低いレベルまたは低い品質を表す所定の閾値未満であるならば、データ処理ハードウェア１５２はブロック５０６に戻り、視覚的特徴抽出器モジュール１６４を使用して、新たな基準画像および対応する視覚的基準特徴を決定する。新たな基準画像および対応する抽出された視覚的基準特徴を生成することが必要とされる可能性があるのは、たとえば、陰影が強くなったり弱くなったりするなど、照明が変化したときであり、それによって抽出された視覚的特徴のいっそう高品質のマッチングが発生する可能性が低くなる。さらに、図４に示されているマッチングの結果、データ処理ハードウェア１５２がブロック５０６に戻り、新しい基準画像、対応する抽出された視覚的特徴およびトレーラ角度基準値を生成する場合がある。

【0038】

トレーラ表現のマッチした抽出された視覚的特徴の個数および／またはパーセンテージが、所定の閾値を超えているならば、データ処理ハードウェア１５２は５１４において、トレーラ角度計算モジュール１７０を使用することによって、目下の画像と基準画像との間のトレーラ角度αを計算する。トレーラ角度αは、このブロックにおいて計算されたトレーラ角度と、ブロック５０６において決定されたトレーラ基準角度との合計である。

【0039】

データ処理ハードウェア１５２は、５１６において、（視覚的特徴抽出器モジュール１６４を使用してこのブロックにおいて決定された）目下の画像の抽出された視覚的特徴を、ブロック５０４におけるゼロ角度操作中に格納された視覚的特徴と比較することによって、ドリフト補正オペレーションを部分的に実行する。この比較に対応する距離が第２の所定の閾値を下回っており、これによってトレーラ１０４がゼロトレーラ角度に配置された状態にあるゼロトレーラ角度交差が表されているならば、目下のトレーラ角度αおよびトレーラ角度基準値が、５１８において各々ゼロに設定される。ブロック５１８を終えた後、方法はブロック５０８に戻る。ブロック５１６および５１８は、経時的にゼロ角度基準のドリフトを補正するために用いられる。目下のトレーラ角度αを、トレーラジャックナイフ事象の発生を阻止する際に使用するための、牽引車両１０２のトレーラ後退時アシストシステムなど、１つまたは複数の他の車両システムに送信することができる。

【0040】

距離が第２の所定の閾値よりも大きいならば、ブロック５１８が実施されることなく、この方法はブロック５１０８に戻る。

【0041】

トレーラ追跡アルゴリズム１６２は以下の入力を受信する。すなわち、ａ）後ろ向き単眼カメラ１３２ａからの画像、ｂ）画像内のトレーラの表現を含む初期バウンディングボックス、およびｃ）任意選択的に、ステアリングホイール角度、ホイールエンコーダ、ギア、ＩＭＵなどの車両情報。トレーラ追跡アルゴリズム１６２は以下を出力する。すなわち、ａ）目下の画像内のトレーラ１０４の正面を追跡するバウンディングボックス、およびｂ）車両－トレーラシステムのトレーラ角度α。

【0042】

先に述べたように、後部カメラ１３２に関連づけられた固有パラメータ（たとえば焦点距離、画像センサフォーマットおよび主点）などの付加的なデータ１３３は既知である。

【0043】

本明細書で説明するシステムおよび技術の様々な実装形態を、ディジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせとして実現することができる。これらの様々な実装形態は、プログラミング可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムとしての実装形態を含むことができ、この場合、プログラミング可能なシステムは、少なくとも１つのプログラミング可能なプロセッサを含み、このプロセッサを特定の目的または汎用の目的のものとすることができ、データおよび命令をストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスから受信するように、およびそれらに送信するように、接続することができる。

【0044】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラミング可能なプロセッサのための機械命令を含み、高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、自動コード生成を伴うモデルベースデザイン、および／またはアセンブリ言語／機械語として実装することができる。本明細書で用いられる用語「機械読み取り可能媒体」および「コンピュータ読み取り可能媒体」とは、プログラミング可能なプロセッサへ、機械命令および／またはデータを供給するために用いられる任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））のことを指し、これには機械読み取り可能な信号として機械命令を受け取る機械読み取り可能媒体が含まれる。用語「機械読み取り可能な信号」とは、プログラミング可能なプロセッサへ機械命令および／またはデータを供給するために用いられる任意の信号のことを指す。

【0045】

本明細書において述べられている保護対象および機能的オペレーションの実装を、本明細書で開示されている構造およびそれらの構造的等価物を含む、ディジタル電子回路あるいはコンピュータソフトウェア、ファームウェアまたはハードウェアとして、あるいはこれらのうちの１つまたは複数の組み合わせとして、実現することができる。さらに、本明細書において述べられている保護対象を、１つまたは複数のコンピュータプログラム製品として実装することができ、つまりデータ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体にコーディングされているコンピュータプログラム命令のうちの１つまたは複数のモジュールとして、実装することができる。コンピュータ可読媒体を、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝播信号に作用する組成物、またはこれらのうちの１つまたは複数の組み合わせとすることができる。用語「データ処理装置」、「コンピューティングデバイス」および「コンピューティングプロセッサ」は、データを処理するためのあらゆる装置、デバイスおよび機械を包含し、例を挙げるとこれらには、プログラミング可能なプロセッサ、コンピュータ、またはマルチプロセッサまたはマルチコンピュータが含まれる。装置はハードウェアに加え、対象となるコンピュータプログラムのための実行環境を生成するコードを含むことができ、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つまたは複数の組み合わせを構成するコードを含むことができる。伝播信号は人工的に生成される信号であって、たとえば機械により生成される電気的、光学的または電磁的な信号であり、この信号は適切な受信装置へ送信する目的で情報をコーディングするために生成される。

【0046】

同様に、図面には特定の順序でオペレーションが描かれているけれども、このことを、図示された特定の順序または逐次的な順序でかかるオペレーションを実施しなければならないと捉えるべきではなく、あるいは所望の結果を達成するためには図示されたすべてのオペレーションを実施しなければならないと捉えるべきではない。いくつかの環境では、マルチタスクおよび並列処理が有利になる可能性がある。しかも、上述の実施態様における様々なシステム構成要素の分離を、すべての実施態様においてかかる分離を行わなければならないと捉えるべきではなく、既述のプログラム構成要素およびシステムを通例、単一のソフトウェア製品にまとめて統合することができる、または複数のソフトウェア製品にパッケージングすることができる、と捉えるべきである。

【0047】

これまで多数の実装形態について説明してきたが、自明のとおり本開示の着想および範囲を逸脱することなく、様々な変形を行うことができる。よって、その他の実装形態は以下の特許請求の範囲内に含まれる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】