▶ コンチネンタル オートノマス モビリティ ユーエス，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-25
(54)【発明の名称】射影幾何学による車両トレーラ角度推定
(51)【国際特許分類】
B62D 13/06 20060101AFI20230818BHJP
B62D 53/00 20060101ALI20230818BHJP
【ＦＩ】
B62D13/06
B62D53/00 B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023505931
(86)(22)【出願日】2021-07-29
(85)【翻訳文提出日】2023-03-24
(86)【国際出願番号】 US2021071049
(87)【国際公開番号】W WO2022027059
(87)【国際公開日】2022-02-03
(31)【優先権主張番号】63/058,250
(32)【優先日】2020-07-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522165131
【氏名又は名称】コンチネンタル オートノマス モビリティ ユーエス，エルエルシー
【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｉｔｙ ＵＳ， ＬＬＣ
【住所又は居所原語表記】Ｏｎｅ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， ＭＩ ４８３２６， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】エドゥアルド ホセ ラミレス リャノス
(72)【発明者】
【氏名】ジュリアン イプ
(72)【発明者】
【氏名】ドミニク フレーリヒ
(57)【要約】
牽引車両とこの牽引車両に取り付けられているトレーラとの間のトレーラ角度を決定する方法であって、データ処理ハードウェア装置により、牽引車両の後部に配置されたカメラから画像を受信するステップと、画像から視覚的特徴を決定するステップと、牽引車両およびトレーラが移動している間、視覚的特徴を追跡するステップと、データ処理ハードウェアにおいて視覚的特徴に基づきトレーラ角度を計算するステップとを含む。次いでトレーラ角度は、データ処理ハードウェアから１つまたは複数の車両システムに伝送される。
【特許請求の範囲】
【請求項1】
牽引車両と該牽引車両に取り付けられているトレーラとの間のトレーラ角度を決定する方法であって、当該方法は、データ処理ハードウェアにおいて、前記牽引車両の後部に配置されたカメラから画像を受信するステップと、
前記データ処理ハードウェアにおいて、前記画像から視覚的特徴を決定するステップと、
前記データ処理ハードウェアにおいて、前記牽引車両および前記トレーラが移動している間、前記視覚的特徴を追跡するステップと、
前記データ処理ハードウェアにおいて、前記視覚的特徴に基づき前記トレーラ角度を計算するステップと、
前記データ処理ハードウェアから、該データ処理ハードウェアと通信する１つまたは複数の車両システムに、前記トレーラ角度を伝送するステップと
を含む、
トレーラ角度を決定する方法。
【請求項2】
前記牽引車両および前記トレーラが直線的に移動している間にゼロ角度を決定するステップをさらに含む、請求項１記載の方法。
【請求項3】
前記データ処理ハードウェアにおいて、牽引車両オペレーションを表す情報に基づき、前記牽引車両および前記トレーラが直線的に移動していると判定するステップをさらに含む、請求項１記載の方法。
【請求項4】
前記画像から前記視覚的特徴を決定するステップは、実質的に１つの共通の平面内にある複数の前記画像から特徴を選択するステップをさらに含む、請求項１記載の方法。
【請求項5】
前記画像から前記視覚的特徴を決定するステップは、予め定義された個数の特徴マッチを有する１つの共通の平面を選択するステップをさらに含む、請求項４記載の方法。
【請求項6】
前記視覚的特徴を決定するステップは、前記画像内の空間ロケーションに従い視覚的特徴をグループ化し、該グループ化が１つの共通の平面内にあるという計算された確率に基づき、視覚的特徴の１つのグループを選択するステップをさらに含む、請求項４記載の方法。
【請求項7】
前記視覚的特徴に基づき前記トレーラ角度を計算するステップは、前記データ処理ハードウェアにおいて、前記視覚的特徴の前記画像間で射影変換を実行するステップをさらに含む、請求項１記載の方法。
【請求項8】
前記射影変換計算は、前記トレーラに対し相対的な前記カメラの第１の向きにおける画像から成る１つの集合から選択された視覚的特徴と、前記トレーラに対し相対的な前記カメラの第２の向きにおける画像から成る第２の集合から選択された視覚的特徴と間の線形変換を含む、請求項７記載の方法。
【請求項9】
前記射影変換は、各共通平面について回転行列を抽出するステップを含む、請求項８記載の方法。
【請求項10】
前記牽引車両に対し相対的な前記トレーラの相対回転を、前記牽引車両と前記トレーラとの間のヒッチポイントに対応する回転に外挿するステップをさらに含む、請求項８記載の方法。
【請求項11】
牽引車両と該車両に取り付けられているトレーラとの間のトレーラ角度を決定するシステムであって、当該システムは、データ処理ハードウェア装置を含み、該データ処理ハードウェア装置は、
前記牽引車両の後部に配置されたカメラから画像を受信し、
前記画像から視覚的特徴を決定し、
前記牽引車両および前記トレーラが移動している間、前記視覚的特徴を追跡し、
前記視覚的特徴に基づき前記トレーラ角度を計算し、
前記データ処理ハードウェア装置と通信する１つまたは複数の車両システムに、前記トレーラ角度を伝送する
ように構成されている、
トレーラ角度を決定するシステム。
【請求項12】
前記データ処理ハードウェア装置は、前記牽引車両および前記トレーラが直線的に移動している間に、前記牽引車両と前記トレーラとの間のゼロ角度を決定するように構成されている、請求項１１記載のシステム。
【請求項13】
前記データ処理ハードウェア装置は、前記牽引車両のオペレーションに関する情報を収集するセンサから情報を受信し、少なくとも部分的に、前記牽引車両が直線的に移動していることを表す情報を供給する前記センサに基づき、前記牽引車両と前記トレーラとが前記ゼロ角度にあると判定するように構成されている、請求項１２記載のシステム。
【請求項14】
前記データ処理ハードウェア装置は、１つの実質的に共通の平面内に配置された複数の前記画像から視覚的特徴を選択するように構成されている、請求項１１記載のシステム。
【請求項15】
前記データ処理ハードウェア装置は、選択された前記視覚的特徴を含む第１の画像と、異なるロケーションにある選択された前記視覚的特徴の第２の画像とに対し、射影変換計算を実行し、前記第１の画像および前記第２の画像の前記射影変換計算を通して得られた角度に基づき、前記牽引車両と前記トレーラとの間の角度を計算するように構成されている、請求項１１記載のシステム。
【請求項16】
前記射影変換計算は、各共通平面について回転行列を抽出することを含む、請求項１５記載のシステム。
【請求項17】
前記牽引車両の後部構造に取り付けられたカメラをさらに含む、請求項１１記載のシステム。
【請求項18】
前記牽引車両の向きを表す情報を前記データ処理ハードウェア装置に伝達する、前記牽引車両内に配置された少なくとも１つのセンサをさらに含む、請求項１７記載のシステム。
【請求項19】
データ処理ハードウェアによって実行可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、牽引車両の後部に配置されたカメラからトレーラの画像を受信するために、前記データ処理ハードウェアによって実行される命令と、
前記画像から視覚的特徴を決定するために、前記データ処理ハードウェアによって実行される命令と、
前記牽引車両および前記トレーラが移動している間、前記視覚的特徴を追跡するために、前記データ処理ハードウェアによって実行される命令と、
前記視覚的特徴に基づき前記トレーラ角度を計算するために、前記データ処理ハードウェアによって実行される命令と、
前記データ処理ハードウェアと通信する１つまたは複数の車両システムに、前記トレーラ角度を伝送するために、前記データ処理ハードウェアによって実行される命令とを含む、
非一時的コンピュータ可読媒体。
【請求項20】
前記トレーラに対し相対的な前記カメラの第１の向きにおける画像から成る１つの集合から選択された視覚的特徴と、前記トレーラに対し相対的な前記カメラの第２の向きにおける画像から成る第２の集合から選択された視覚的特徴との間の線形変換を含む、射影変換計算を実行するために、前記データ処理ハードウェアによって実行される命令をさらに含む、請求項１９記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２０年７月２９日出願の米国特許仮出願第６３／０５８，２５０号の優先権を主張するものであり、この参照をもってその開示内容が本明細書に取り込まれるものとする。
本願は、２０２０年７月２９日出願の米国特許仮出願第６３／０５８，２５０号の優先権を主張するものであり、この参照をもってその開示内容が本明細書に取り込まれるものとする。
【0002】
本開示は、射影幾何学による車両トレーラ角度推定のためのシステムおよび方法に関する。
【0003】
背景
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラ、およびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成された他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に据え付けられており、これがトレーラヒッチと連結されて連結が形成される。トレーラヒッチを、ボールおよびソケット、予備車輪およびグースネック、またはトレーラジャッキとすることができる。トレーラと動力車両との間の機械的接続に加えて、いくつかの例によれば、トレーラは牽引車両と電気的に接続される。このようにすれば電気的接続によって、トレーラは動力車両のリアライト回路から給電を受けることができ、これによってトレーラは、動力車両のライトと同期したテールライト、ウィンカおよびブレーキライトを有することができる。
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラ、およびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成された他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に据え付けられており、これがトレーラヒッチと連結されて連結が形成される。トレーラヒッチを、ボールおよびソケット、予備車輪およびグースネック、またはトレーラジャッキとすることができる。トレーラと動力車両との間の機械的接続に加えて、いくつかの例によれば、トレーラは牽引車両と電気的に接続される。このようにすれば電気的接続によって、トレーラは動力車両のリアライト回路から給電を受けることができ、これによってトレーラは、動力車両のライトと同期したテールライト、ウィンカおよびブレーキライトを有することができる。
【0004】
牽引車両の運転者が直面する厄介な作業のうちのいくつかは、トレーラが牽引車両に取り付けられた状態で、牽引車両の操作を行うことである。いくつかの例では、特定の場所に向かって牽引車両を操作するために２人以上の人が必要とされる場合がある。車両－トレーラユニットはヒッチを中心に水平方向に旋回し、これによって車両－トレーラユニットはコーナーを回って移動できるようになるため、車両が移動する際、車両はトレーラを押したり引いたりする。運転者は、たとえば後退時など、トレーラの望ましい方向変化を得るにはどの向きに車両のステアリングホイールを回したらよいのか、混乱してしまうことがよくある。車両に不適切な操舵角を加えると、トレーラがジャックナイフ状態を引き起こし、それによってトレーラがコースを外れてしまうおそれもある。車両機器メーカは、コストおよびハードウェア要件を低減する一方で、オペレーションの改善を模索し続けている。
【0005】
ここに記載した背景技術の説明は、本開示の状況を概略的に提示するのが目的である。背景技術のセクションに記載されているかぎりにおいて本願発明者の業績は、また、出願時点では別段、従来技術とはみなされていない説明の態様も、本開示に対する従来技術であるとは明示的にも暗黙的にも認められない。
【0006】
概要
開示された１つの実施形態による、牽引車両とこの牽引車両に取り付けられているトレーラとの間のトレーラ角度を決定する方法はとりわけ、データ処理ハードウェアにおいて、牽引車両の後部に配置されたカメラから画像を受信するステップと、データ処理ハードウェアにおいて、画像から視覚的特徴を決定するステップと、データ処理ハードウェアにおいて、牽引車両およびトレーラが移動している間、視覚的特徴を追跡するステップと、データ処理ハードウェアにおいて、視覚的特徴に基づきトレーラ角度を計算するステップと、データ処理ハードウェアから、このデータ処理ハードウェアと通信する１つまたは複数の車両システムに、トレーラ角度を伝送するステップとを含む。
開示された１つの実施形態による、牽引車両とこの牽引車両に取り付けられているトレーラとの間のトレーラ角度を決定する方法はとりわけ、データ処理ハードウェアにおいて、牽引車両の後部に配置されたカメラから画像を受信するステップと、データ処理ハードウェアにおいて、画像から視覚的特徴を決定するステップと、データ処理ハードウェアにおいて、牽引車両およびトレーラが移動している間、視覚的特徴を追跡するステップと、データ処理ハードウェアにおいて、視覚的特徴に基づきトレーラ角度を計算するステップと、データ処理ハードウェアから、このデータ処理ハードウェアと通信する１つまたは複数の車両システムに、トレーラ角度を伝送するステップとを含む。
【0007】
上述の方法の別の実施形態は、牽引車両およびトレーラが直線的に移動している間にゼロ角度を決定するステップをさらに含む。
【0008】
上述の方法のうちいずれか１つの方法の別の実施形態は、データ処理ハードウェアにおいて、牽引車両オペレーションを表す情報に基づき、牽引車両およびトレーラが直線的に移動していると判定するステップをさらに含む。
【0009】
上述の方法のうちいずれか１つの方法の別の実施形態において、画像から視覚的特徴を決定するステップは、実質的に１つの共通の平面内にある複数の画像から特徴を選択するステップをさらに含む。
【0010】
上述の方法のうちいずれか１つの方法の別の実施形態は、以下のような画像から視覚的特徴を決定するステップをさらに含み、すなわちこのステップは、予め定義された個数の特徴マッチ（feature matches）を有する１つの共通の平面を選択するステップをさらに含む。
【0011】
上述の方法のうちいずれか１つの方法の別の実施形態は、以下のような視覚的特徴を決定するステップをさらに含み、すなわちこのステップは、画像内の空間ロケーションに従い視覚的特徴をグループ化し、このグループ化が１つの共通の平面内にあるという計算された確率に基づき、視覚的特徴の１つのグループを選択するステップをさらに含む。
【0012】
上述の方法のうちいずれか１つの方法の別の実施形態は、視覚的特徴に基づきトレーラ角度を計算するステップをさらに含み、このステップは、データ処理ハードウェアにおいて、視覚的特徴の画像間で射影変換を実行するステップをさらに含む。
【0013】
上述の方法のうちいずれか１つの方法の別の実施形態であって、この場合、射影変換計算は、トレーラに対し相対的なカメラの第１の向きにおける画像から成る１つの集合から選択された視覚的特徴と、トレーラに対し相対的なカメラの第２の向きにおける画像から成る第２の集合とから選択された視覚的特徴と間の線形変換を含む。
【0014】
上述の方法のうちいずれか１つの方法の別の実施形態であって、この場合、射影変換は、各共通平面について回転行列を抽出するステップを含む。
【0015】
上述の方法のうちいずれか１つの方法の別の実施形態は、牽引車両に対し相対的なトレーラの相対回転を、牽引車両とトレーラとの間のヒッチポイントに対応する回転に外挿するステップをさらに含む。
【0016】
開示された別の実施形態による、牽引車両とこの牽引車両に取り付けられているトレーラとの間のトレーラ角度を決定するシステムはとりわけ、データ処理ハードウェア装置を含み、このデータ処理ハードウェア装置は、牽引車両の後部に配置されたカメラから画像を受信し、画像から視覚的特徴を決定し、牽引車両およびトレーラが移動している間、視覚的特徴を追跡し、視覚的特徴に基づきトレーラ角度を計算し、データ処理ハードウェア装置と通信する１つまたは複数の車両システムに、トレーラ角度を伝送するように構成されている。
【0017】
トレーラ角度を決定する上述のシステムの開示された別の実施形態において、データ処理ハードウェア装置は、牽引車両およびトレーラが直線的に移動している間に、牽引車両とトレーラとの間のゼロ角度を決定するように構成されている。
【0018】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態において、データ処理ハードウェア装置は、牽引車両のオペレーションに関する情報を収集するセンサから情報を受信し、少なくとも部分的に、牽引車両が直線的に移動していることを表す情報を供給するセンサに基づき、牽引車両とトレーラとがゼロ角度にあると判定するように構成されている。
【0019】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態において、データ処理ハードウェア装置は、１つの実質的に共通の平面内に配置された複数の画像から視覚的特徴を選択するように構成されている。
【0020】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態において、データ処理ハードウェア装置は、選択された視覚的特徴を含む第１の画像と、異なるロケーションにある選択された視覚的特徴の第２の画像とに対し、射影変換計算を実行し、第１の画像および第２の画像の射影変換計算を通して得られた角度に基づき、牽引車両とトレーラとの間の角度を計算するように構成されている。
【0021】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態において、射影変換計算は、各共通平面について回転行列を抽出することを含む。
【0022】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態は、牽引車両の後部構造に取り付けられたカメラをさらに含む。
【0023】
トレーラ角度を決定する上述のシステムのうちいずれか１つのシステムの開示された別の実施形態は、牽引車両の向きを表す情報をデータ処理ハードウェア装置に伝達する、牽引車両内に配置された少なくとも１つのセンサをさらに含む。
【0024】
開示された別の例示的な実施形態による、データ処理ハードウェアによって実行可能な命令を含む非一時的コンピュータ可読媒体はとりわけ、牽引車両の後部に配置されたカメラからトレーラの画像を受信するために、データ処理ハードウェアによって実行される命令と、画像から視覚的特徴を決定するために、データ処理ハードウェアによって実行される命令と、牽引車両およびトレーラが移動している間、視覚的特徴を追跡するために、データ処理ハードウェアによって実行される命令と、視覚的特徴に基づきトレーラ角度を計算するために、データ処理ハードウェアによって実行される命令と、データ処理ハードウェアと通信する１つまたは複数の車両システムに、トレーラ角度を伝送するために、データ処理ハードウェアによって実行される命令とを含む。
【0025】
上述の非一時的コンピュータ可読媒体の開示された別の実施形態は、トレーラに対し相対的なカメラの第１の向きにおける画像から成る１つの集合から選択された視覚的特徴と、トレーラに対し相対的なカメラの第２の向きにおける画像から成る第２の集合から選択された視覚的特徴との間の線形変換を含む、射影変換計算を実行するために、データ処理ハードウェアによって実行される命令をさらに含む。
【0026】
種々の実施例は、図面に示された特定の構成要素を有するけれども、本開示の実施形態は、これらの特定の組み合わせに限定されるものではない。複数の実施例のうち１つの実施例からの構成要素または特徴の一部を、複数の実施例のうち別の１つの実施例からの特徴または構成要素と組み合わせて使用することができる。
【0027】
本明細書において開示されるこれらの特徴および他の特徴については、以下の明細書および図面から最もよく理解することができ、以下はその簡単な説明である。
【図面の簡単な説明】
【0028】
【図1A】トレーラに連結された例示的な牽引車両の概略図である。
【図1B】所定の角度でトレーラに連結された例示的な牽引車両の概略図である。
【図2】角度検出システムを有する例示的な牽引車両の概略図である。
【図3】例示的な射影幾何学である。
【0029】
様々な図面における同じ参照符号は同じ要素を指す。
【0030】
詳細な説明
以下に限定されるものではないが、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）といった牽引車両を、トレーラを牽引するように構成することができる。牽引車両は、トレーラヒッチに取り付けられた車両カプラ、たとえばトレーラヒッチカプラに取り付けられた車両牽引ボールによって、トレーラに接続される。トレーラ後退システムおよび走行システムを含む車両は、オペレーションのために牽引車両とトレーラとの間の角度を検出し、それを利用する。
以下に限定されるものではないが、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）といった牽引車両を、トレーラを牽引するように構成することができる。牽引車両は、トレーラヒッチに取り付けられた車両カプラ、たとえばトレーラヒッチカプラに取り付けられた車両牽引ボールによって、トレーラに接続される。トレーラ後退システムおよび走行システムを含む車両は、オペレーションのために牽引車両とトレーラとの間の角度を検出し、それを利用する。
【0031】
図１Ａ、図１Ｂおよび図２を参照すると、いくつかの実装形態において、車両－トレーラシステム１００は、トレーラ１０４に連結された牽引車両１０２を含む。牽引車両１０２は、トレーラ１０４のトレーラヒッチバー１０８によって支持されたトレーラヒッチカプラ１０６に取り付けられている車両牽引ボールを含む。牽引車両１０２は、牽引車両１０２に関連づけられた走行システム１１０を含み、この走行システム１１０は牽引車両１０２を操作し、ひいては、たとえばｘ成分、ｙ成分およびｚ成分を有する走行操作または走行命令に基づき、路面と交差して車両－トレーラシステム１００を操作する。
【0032】
牽引車両１０２は、右前輪１１２ａ、左前輪１１２ｂ、右後輪１１２ｃ、および左後輪１１２ｄを含む。これに加え、走行システム１１０が、トレーラ１０４に関連づけられた車輪１１４ａおよび１１４ｂから成るようにしてもよい。走行システム１１０は、これとは別の車輪構成も同様に含むことができる。走行システム１１０はモータまたはエンジンを含むことができ、これは１つのエネルギー形態を機械エネルギーに変換し、これによって車両１０２を移動させることができる。走行システム１１０は他の構成要素（図示せず）を含み、それらの構成要素は、車輪１１２ａ～ｄおよびエンジンと連携しそれらと連結されていて、車両１０２を移動させることができ、これによりひいてはトレーラ１０４も同様に移動させる。走行システム１１０は、各車輪１１２ａ～ｄに関連づけられたブレーキを含むブレーキシステム（図示せず）を含むこともでき、この場合、各ブレーキは車輪１１２ａ～ｄに関連づけられており、車輪１１２ａ～ｄの回転を減速させるまたは停止させるように構成されている。いくつかの実施例において、ブレーキシステムは、トレーラ１０４により支持された１つまたは複数のブレーキに接続されている。走行システム１１０は、牽引車両１０２ひいては車両－トレーラシステム１００の速度を調節するように構成された加速システム（図示せず）、および牽引車両１０２ひいては車両－トレーラシステム１００の方向を調節するように構成されたステアリングシステム（図示せず）を含むこともできる。車両－トレーラシステム１００は、おおまかに１１６で表された別のシステムも同様に含むことができる。
【0033】
牽引車両１０２により規定される互いに垂直な３つの軸線すなわち左右軸線ＸＶ、前後軸線ＹＶおよび中央垂直軸線ＺＶに対し相対的な運動の様々な組み合わせによって、牽引車両１０２は路面と交差して移動することができる。左右軸線ＸＶは、牽引車両１０２の右側Ｒと左側との間に延在している。前後軸線ＹＶに沿った前進走行方向がＦＶで表されており、これを前進運動とも称する。これに加え、前後軸線ＹＶに沿った後ろ向き走行方向または後退走行方向がＲＶで表されており、これを後退運動とも称する。
【0034】
いくつかの実施例において、牽引車両１０２はサスペンションシステム（図示せず）を含み、このサスペンションシステムは、調節されると、牽引車両１０２をＸＶ軸線および／またはＹＶ軸線の周りで傾斜させるか、または中央垂直軸線ＺＶに沿って移動させる。牽引車両１０２が移動すると、トレーラ１０４は牽引車両１０２の経路に沿って追従する。よって、牽引車両１０２が前進方向ＦＶで移動しながら旋回するならば、トレーラ１０４はそれに沿って追従する。旋回中、牽引車両１０２とトレーラ１０４とは、トレーラ角度１６６を成す。
【0035】
さらに、トレーラ１０４により規定される互いに垂直な３つの軸線すなわちトレーラ左右軸線ＸＴ、トレーラ前後軸線ＹＴおよびトレーラ中央垂直軸線ＺＴに対し相対的な運動の様々な組み合わせによって、トレーラ１０４は路面と交差して牽引車両１０２を追従する。トレーラ左右軸線ＸＴは、トレーラ旋回軸線１０５に沿ってトレーラ１０４の右側と左側との間に延在している。いくつかの実施例において、トレーラ１０４は、前車軸線（図示せず）および後車軸線１０５を含む。この事例では、トレーラ左右軸線ＸＴは、前車軸線および後車軸線の中点（すなわち仮想旋回軸線）に沿って、トレーラ１０４の右側と左側との間に延在している。トレーラ前後軸線ＹＴに沿った前進走行方向がＦＴで表されており、これを前進運動とも称する。これに加え、前後軸線ＹＴに沿ったトレーラ後ろ向き走行方向またはトレーラ後退走行方向がＲＴで表されており、これを後退運動とも称する。したがって車両－トレーラシステム１００の運動には、牽引車両１０２の左右軸線ＸＶ、前後軸線ＹＶおよび中央垂直軸線ＺＶに沿った牽引車両１０２の運動、ならびにトレーラ１０４のトレーラ左右軸線ＸＴ、トレーラ前後軸線ＹＴおよびトレーラ中央垂直軸線ＺＴに沿ったトレーラ１０４の運動が含まれる。よって、牽引車両１０２が前進方向ＦＶで移動しながら旋回するならば、トレーラ１０４はそれに沿って追従する。旋回中、牽引車両１０２とトレーラ１０４とは、車両前後軸線ＹＶとトレーラ前後軸線ＹＴとの間の角度であるトレーラ角度１６６（図１Ｂ）を成す。
【0036】
一部の実装形態において、車両１０２は、センサシステムデータ１２４を供給するセンサシステム１３０を含み、このデータを使用して、トレーラ角度１６６（図１Ｂ）など１つまたは複数の測定値を求めることができる。いくつかの実施例において、車両１０２を自律型または半自律型とすることができ、このためセンサシステム１３０によって、信頼性が高くロバストな自律走行がもたらされる。センサシステム１３０は、センサシステムデータ１２４を供給し、牽引車両の周囲環境またはその一部の知覚を生成するために、別個にまたは他のセンサと共に使用可能な種々のタイプのセンサ１１８，１２０，１３４および１３８を含むことができ、車両－トレーラシステム１００はこの知覚を使用して、自身の周囲環境における物体を識別し、かつ／またはいくつかの実施例では自律的に走行し、センサシステム１３０により検出された物体および障害物に基づきインテリジェントな判断を下す。いくつかの実施例において、センサシステム１３０は、牽引車両１０２の後部によって支持された１つまたは複数のカメラ１３６を含み、このカメラ１３６によって、牽引車両１０２の後方に位置する物体に関連づけられたセンサシステムデータ１３３が供給される。牽引車両１０２がセンサシステム１３０を支持することができる一方、他の実施例ではセンサシステム１３０は、車両１０２とトレーラ１０４とにより支持される。
【0037】
センサシステム１３０は、カメラデータ１３３を供給する１つまたは複数のカメラ１３２，１３６を含む。１つまたは複数のカメラ１３２，１３６は、単眼カメラを含むことができ、この場合、画像上の各ポジションはそれぞれ異なる光量を示すが、異なる色相を示さない。いくつかの実施例において、カメラ１３２，１３６は魚眼レンズを含むことができ、これは超広角レンズを含み、これによってワイドなパノラマ画像または半球画像１３３の生成を意図した強い視覚的ゆがみがもたらされる。魚眼カメラは、極端にワイドな画角を有する画像１３３をキャプチャする。車両およびトレーラの周囲環境の画像１３３をキャプチャするために、他のタイプのカメラを用いることもできる。カメラデータ１３３は付加的なデータ１３３を含むことができ、たとえば固有パラメータ（たとえば焦点距離、イメージセンサフォーマットおよび主点）、ならびに付帯的パラメータ（たとえば３Ｄワールド座標から３Ｄカメラ座標への座標系変換、換言すれば付帯的パラメータは、車両座標におけるカメラセンターポジションおよびカメラの向きを定義する）を含むことができる。これに加え、カメラデータ１３３は、地面に対するカメラ１３２の最小／最大／平均高さ（たとえば車両の積載時および非積載時）と、カメラ１３２と牽引車両ヒッチボールとの間の長手方向距離とを含むことができる。開示されたこの実施例において、カメラ１３２は、牽引車両のサイドビューミラー上に配置されている。カメラ１３６は、牽引車両１０２の後部に配置されており、トレーラ１０４の前方を向いた表面の画像を供給する。
【0038】
センサシステム１３０は、以下に限定されるものではないが、レーダ、ソナー、ＬＩＤＡＲ（光検出と測距、これは遠隔の目標の距離および／または他の情報を見出すために散乱光の特性を測定する光学的遠隔センシングを必然的に伴う場合がある）、ＬＡＤＡＲ（レーザ検出と測距）、超音波などを含むことができ、これらは概略的に１３８で表されている。センサシステム１３０はさらに、車輪１１２ａ～ｄ各々における車輪速度を表す情報を供給するために各車輪に配置された車輪速度センサ１１８ａ～ｂを含むことができる。センサシステム１３０は、ステアリングホイールの向きを表す情報を供給するステアリングセンサ１２０を含むこともできる。自明のとおり、他のセンシングデバイスを、例示的なセンシングシステム１３０の一部として設けることもでき、それらのセンシングデバイスは、本開示の範囲および意図に包含されるものである。
【0039】
センサシステム１３０はセンサシステムデータ１２４を供給し、このセンサシステムデータ１２４は、１つまたは複数のカメラ１３２，１３６からの画像１３３、および１つまたは複数の他のセンサ１１８，１２０，１３４および１３８からのセンサ情報１３５のうちの一方または両方を含む。したがってセンサシステム１３０は、車両の周囲環境または周囲環境の一部の情報を受信するために、さらには運転者によって、あるいは半自律的または自律的な条件の下で動作可能な車両－トレーラシステム１００における安全性を高めるために、特に有用である。いくつかの実装形態において、第１のカメラ１３２ａおよび第２のカメラ１３２ｂは、車両１０２の各々の側に配置されている。これに加え、後ろ向きの第３のカメラ１３６を車両１０２の後部に取り付けることができる。
【0040】
牽引車両１０２は、ディスプレイなどのユーザインタフェース１４０を含むことができる。ユーザインタフェース１４０は、運転者に情報を表示するように構成されている。いくつかの実施例において、ユーザインタフェース１４０は、１つまたは複数の入力メカニズムまたはタッチスクリーンディスプレイを介して、１つまたは複数のユーザ命令を運転者から受け取り、かつ／または１つまたは複数の通知を運転者に表示するように構成されている。いくつかの実施例において、ユーザインタフェース１４０はタッチスクリーンディスプレイである。別の実施例において、ユーザインタフェース１４０はタッチスクリーンではなく、運転者は、以下に限定されるものではないが、回転つまみまたはマウスなどの入力デバイスを使用して選択を行うことができる。いくつかの実施例において、トレーラパラメータ検出システム１６０は、１つまたは複数のトレーラパラメータ１６２を表示するようにユーザインタフェース１４０に命令する。
【0041】
ユーザインタフェース１４０は車両コントローラ１５０と通信し、この車両コントローラ１５０は、コンピューティングプロセッサ上で実行可能な命令を格納可能な非一時的メモリまたはメモリハードウェア１５４（たとえばハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信するコンピューティングデバイス（またはデータ処理ハードウェア）１５２（たとえば１つまたは複数のコンピューティングプロセッサを有する中央処理ユニット）を含む。いくつかの例示的な実施例において、非一時的メモリ１５４は、データ処理ハードウェア１５２上で実行されると、車両コントローラ１５０が信号を１つまたは複数の他の車両システム１１０，１１６に送信するよう指示する命令１６４を格納する。図示されているように、車両コントローラ１５０は牽引車両１０２によって支持されている。ただし車両コントローラ１５０を牽引車両１０２から分離し、ネットワーク（図示せず）を介して車両コントローラ１５０が牽引車両１０２と通信するようにしてもよい。これに加え、車両コントローラ１５０は、センサシステム１３０と通信し、センサシステム１３０からセンサシステムデータ１２４を受信する。いくつかの実施例において、車両コントローラ１５０は、センサシステム１３０から受信したセンサシステムデータ１２４を処理するように構成されている。
【0042】
いくつかの実装形態において、車両コントローラ１５０は、トレーラ角度１６６を出力する角度検出システム１６０を含む。角度検出システム１６０は、車両１０２に取り付けられているトレーラ１０４の角度１６６を推定するアルゴリズム１６２を実行する。射影幾何学を用いて、角度検出システム１６０は、車両－トレーラシステム１００の相対角度を推定する。換言すれば、角度検出システム１６０は、カメラ１３６を使用して、取り付けられているトレーラ１０４と牽引車両１０２との間の角度１６６を決定する。この実施例の場合、カメラ１３６は単眼カメラであり、任意選択的に車両情報として、車両ステアリングホイール角度、ホイールティック、車両速度、ギア、および／またはＩＭＵ情報などが挙げられる。
【0043】
角度検出システム１６０は、後部カメラ１３６によって供給された画像から選択された特徴を利用して、決定されたゼロ角度と比較された、牽引車両１０２に対するトレーラ１０４の相対角度を決定する。開示された角度検出システム１６０は、カメラに面した表面上の特徴を選択することによって、平坦および非平坦なトレーラ表面に対して機能する。選択された特徴は、１つの共通のまたは実質的に共通の平面内にある複数の点を含む。したがって例示的な角度検出システム１６０は、格納された画像に基づくのではなく、リアルタイムの画像から選択された特徴および点を使用する。
【0044】
図１Ａ、図１Ｂおよび図２を引き続き参照しながら、図３を参照すると、角度検出システム１６０は、牽引車両１０２に取り付けられている単一のカメラ１３６からの画像１３３と、センサ１１８、１２０、１３４および１３８から受信した、ステアリングホイール角度、ホイールエンコーダ、ギア、ＩＭＵなどのセンサデータ１３５とを利用して、アルゴリズム１６２を実行する。図３は、トレーラ面１７０の選択された部分に対する１３６ａにおけるカメラの第１のポジションおよび１３６ｂにおけるカメラの第２のポジションを示す概略的な描写である。カメラ１３６は、牽引車両１０２上の自身のロケーションから物理的に移動しない。そうではなく図３に示されている概略的なビューは、旋回中または他の操作中に発生する、カメラ１３６とトレーラ１０４の部分１７０との相対的な向きの変化を示している。
【0045】
例示的な角度検出アルゴリズム１６２は、牽引車両１０２とトレーラ１０４との間のヨー方向における角度を出力する。角度検出アルゴリズムが、ピッチ軸線およびロール軸線の相対角度を表す情報を供給できることも、本開示の意図に包含されるものである。焦点距離、イメージセンサフォーマットおよび主点といった、カメラ１３６の構成および特定のパラメータに関する情報は、既知である。
【0046】
オペレーション中、カメラ１３６から画像を受信するために、例示的なコントローラ１５０のようなデータ処理ハードウェアデバイスによって、例示的なアルゴリズム１６２が実行される。これらの画像から、視覚的特徴１７２ａ～ｄが選択されて生成される。図３は、角度１６６を決定するために利用される射影幾何学の概略的な描写である。この実施例の場合、選択された視覚的特徴１７２ａ～ｄは複数の画像から取得され、トレーラ１０４の前方を向いた表面上の実質的に平坦な部分１７０内にある。部分１７０が中央に位置している必要はなく、またはいずれかの特定のロケーションにある必要はない。システム１６０は、最も適した平面内にある視覚的特徴１７２ａ～ｄに基づき、部分１７０を選択する。システム１６０は、画像シーケンスから視覚的特徴を周期的に抽出して、角度１６６を決定するために利用される画像を更新する。
【0047】
特徴１７２ａ～ｄが選択されると、角度１６６を決定する際に用いられるベースライン角度を供給するために、ゼロ角度操作が行われる。システム１６０は、牽引車両センサシステム１３０からの情報を用いて、ゼロ角度基準軸線１６８を計算する。ゼロ角度基準軸線１６８を、システム１６０が（ゼロ角度で）整列させられるまで、車両－トレーラシステム１００を直線走行させることによって、計算することができる。たとえばしばらく直線走行した後、システム１６０が整列させられると、アルゴリズム１６２は視覚的基準特徴１７２ａ～ｄを計算する。視覚的基準特徴の選択および計算により、最終的に選択された残りの視覚的特徴１７２ａ～ｄと一致しない逸脱した外れ点がフィルタリング除去される。牽引車両１０２は、センサ１１８，１２０，１３４および１３８からの情報１３５、ならびに直線的な移動の確認を表す他の何らかの牽引車両情報に基づき、直線的に移動していると決定される。この実施例の場合、車両情報は、ステアリングセンサ１２０からのステアリングホイール角度、車輪速度センサ１１８ａ～ｄからの車輪回転、車両速度、および加速度などの情報、ならびにゼロ角度決定のロバスト性を高めるために使用可能な他の何らかの利用可能な情報を含む。ゼロ角度決定は自動的に実行され、ゼロ角度精度を維持および確認するために、これを周期的に更新することができる。
【0048】
ゼロ角度軸線１６８が決定され、視覚的特徴１７０ａ～ｄが選択されると、システム１６０はこれらの視覚的特徴を追跡する。視覚的特徴の追跡には、カメラによりキャプチャされた画像の周期分析が含まれる。視覚的特徴の追跡を継続的に実施してもよいし、または牽引車両１０２とトレーラ１０４との間の向きが変化しているという指標に応答して行わせてもよい。旋回操作中、視覚的特徴１７０ａ～ｄが追跡される。
【0049】
視覚的特徴１７２ａ～ｄの追跡は自動的に実行され、これによりトレーラ角度１６６（図１Ｂ）を決定するために必要とされる角度計算が提供される。
【0050】
初期のゼロ角度決定および目下の特徴を考慮し、射影幾何学を用いて、ホモグラフィ行列が計算される。ホモグラフィ行列を完成させるために、視覚的特徴１７２ａ～ｄのうちの少なくとも４つが利用される。ホモグラフィ行列は、２つの平面間の変換に関係する３×３行列である。
【0051】
トレーラ１０４の正面は、平坦であってもなくてもよい。システム１６０は、部分１７０のような局所的に平坦な表面について、トレーラの前部を一般化する。部分１７０は、平坦なまたはほぼ平坦な表面における視覚的特徴１７２ａ～ｄによって定義される。
【0052】
局所的に平坦な表面に属する特徴を取得するために、システムは、視覚的特徴１７２ａ～ｄのうちマッチの種々の部分集合について、ホモグラフィ行列を計算する。自身に関連する十分な所定量の特徴マッチを有していないホモグラフィ行列は利用されない。ある１つのホモグラフィ行列にどの特徴マッチが関連しているのかを決定するために、システムは、最小二乗最適化、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）、サポートベクターマシン（ＳＶＮ）、最小中央値ロバスト法などの方法を、適用可能な特徴を検証するための他の既知の統計的パラメータと共に利用する。トレーラの角度計算に先立ち、選択されたホモグラフィ行列と適合しない特徴をフィルタリングすることにより、再射影誤差が低減される。勾配降下法、レーベンバーグ・マーカート法、または他の公知の方法などの最適化方法も、計算されたホモグラフィ行列を精緻化するために利用することができる。
【0053】
ある１つのホモグラフィ行列について視覚的特徴１７２ａ～ｄが決定されると、ホモグラフィ行列は４つの解を供給する。負の変換を有する２つの解は破棄される。残りの正の解から回転行列が抽出される。回転行列は、ゼロ角度決定によって与えられる初期ポジションとトレーラ１０４の目下のポジションとの間の空間回転を表す値を供給する。
【0054】
回転行列は、平面
１７４の法線とカメラフレーム１７８ａ，ｂの法線とにより与えられるシステムの幾何学を見ることによって、トレーラ角度１６６を与える。２つの平面１７８ａと１７８ｂとの間の角度は、視覚的特徴１７２ａ～ｄから求められたホモグラフィ行列の各々について決定され、予め定義された判定基準に基づき１つの解が決定される。この判定基準を、角度の平均、および／または視覚的特徴１７２ａ～ｂの各々に対応する角度１７６ａ～ｂの中央値とすることができる。
【数1】
【0055】
本明細書で説明するシステムおよび技術の様々な実装形態を、ディジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせとして実現することができる。これらの様々な実装形態は、プログラミング可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムとしての実装形態を含むことができ、この場合、プログラミング可能なシステムは、少なくとも１つのプログラミング可能なプロセッサを含み、このプロセッサを特定の目的または汎用の目的のものとすることができ、データおよび命令をストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスから受信するように、およびそれらに送信するように、接続することができる。
【0056】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラミング可能なプロセッサのための機械命令を含み、高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、自動コード生成を伴うモデルベースデザイン、および／またはアセンブリ言語／機械語として実装することができる。本明細書で用いられる用語「機械読み取り可能媒体」および「コンピュータ読み取り可能媒体」とは、プログラミング可能なプロセッサへ、機械命令および／またはデータを供給するために用いられる任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））のことを指し、これには機械読み取り可能な信号として機械命令を受け取る機械読み取り可能媒体が含まれる。用語「機械読み取り可能な信号」とは、プログラミング可能なプロセッサへ機械命令および／またはデータを供給するために用いられる任意の信号のことを指す。
【0057】
本明細書において述べられている保護対象および機能的オペレーションの実装を、本明細書で開示されている構造およびそれらの構造的等価物を含む、ディジタル電子回路あるいはコンピュータソフトウェア、ファームウェアまたはハードウェアとして、あるいはこれらのうちの１つまたは複数の組み合わせとして、実現することができる。さらに、本明細書において述べられている保護対象を、１つまたは複数のコンピュータプログラム製品として実装することができ、つまりデータ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体にコーディングされているコンピュータプログラム命令のうちの１つまたは複数のモジュールとして、実装することができる。コンピュータ可読媒体を、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝播信号に作用する組成物、またはこれらのうちの１つまたは複数の組み合わせとすることができる。用語「データ処理装置」、「コンピューティングデバイス」および「コンピューティングプロセッサ」は、データを処理するためのあらゆる装置、デバイスおよび機械を包含し、例を挙げるとこれらには、プログラミング可能なプロセッサ、コンピュータ、またはマルチプロセッサまたはマルチコンピュータが含まれる。装置はハードウェアに加え、対象となるコンピュータプログラムのための実行環境を生成するコードを含むことができ、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つまたは複数の組み合わせを構成するコードを含むことができる。伝播信号は人工的に生成される信号であって、たとえば機械により生成される電気的、光学的または電磁的な信号であり、この信号は適切な受信装置へ送信する目的で情報をコーディングするために生成される。
【0058】
同様に、図面には特定の順序でオペレーションが描かれているけれども、このことを、図示された特定の順序または逐次的な順序でかかるオペレーションを実施しなければならないと捉えるべきではなく、あるいは所望の結果を達成するためには図示されたすべてのオペレーションを実施しなければならないと捉えるべきではない。いくつかの環境では、マルチタスクおよび並列処理が有利になる可能性がある。しかも、上述の実施態様における様々なシステム構成要素の分離を、すべての実施態様においてかかる分離を行わなければならないと捉えるべきではなく、既述のプログラム構成要素およびシステムを通例、単一のソフトウェア製品にまとめて統合することができる、または複数のソフトウェア製品にパッケージングすることができる、と捉えるべきである。
【0059】
種々の非限定的な実施形態が、特定の構成要素またはステップを有するものとして示されているが、本開示の実施形態は、それらの特定の組み合わせに限定されるものではない。非限定的な実施形態のいずれかからの構成要素または特徴の一部を、他の非限定的な実施形態のいずれかからの特徴または構成要素と組み合わせて使用することができる。
【0060】
複数の図面すべてにわたり、同じ参照番号は対応する要素または類似の要素を同定している、という点を理解されたい。これらの例示的な実施形態において、ある１つの特定の構成要素の配置が開示および図示されているけれども、他の配置であっても本開示の教示の恩恵を受けることができる、ということを理解されたい。
【0061】
これまで述べてきた説明は、例示的なものとして解釈されるべきであり、いかなる限定的な意味でも解釈されるべきではない。当業者であれば、ある程度の変更は本開示の範囲内に入り得る、ということを理解するであろう。これらの理由で、本開示の正確な範囲および内容を判断するにあたっては、以下の請求項を考察されたい。
【0062】
これまで多数の実装形態について説明してきたが、自明のとおり本開示の着想および範囲を逸脱することなく、様々な変形を行うことができる。よって、その他の実装形態は以下の特許請求の範囲内に含まれる。
【図1A】
【図1B】
【図2】
【図3】
【国際調査報告】