▶ コンチネンタル オートモーティブ システムズ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-15
(45)【発行日】2022-08-23
(54)【発明の名称】トレーラ牽引カプラの中心を求める装置および方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220816BHJP
【ＦＩ】
G06T7/00 650
【請求項の数】
18
(21)【出願番号】P 2020560265
(86)(22)【出願日】2019-04-26
(65)【公表番号】
(43)【公表日】2021-08-30
(86)【国際出願番号】 US2019029310
(87)【国際公開番号】W WO2019210142
(87)【国際公開日】2019-10-31
【審査請求日】2020-12-16
(31)【優先権主張番号】62/663,354
(32)【優先日】2018-04-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/395,190
(32)【優先日】2019-04-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】313005662
【氏名又は名称】コンチネンタル オートモーティブ システムズ インコーポレイテッド
【氏名又は名称原語表記】ＣＯＮＴＩＮＥＮＴＡＬ ＡＵＴＯＭＯＴＩＶＥ ＳＹＳＴＥＭＳ， ＩＮＣ．
【住所又は居所原語表記】１ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， Ｍｉｃｈｉｇａｎ ４８３２６－１５８１， ＵＳＡ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ジョイス チェン
(72)【発明者】
【氏名】シン ユー
(72)【発明者】
【氏名】ジュリアン イプ
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２００７－１０８１５９（ＪＰ，Ａ）
【文献】特開２００５－１１２００４（ＪＰ，Ａ）
【文献】特開２０１６－２０３９７２（ＪＰ，Ａ）
【文献】特表２０１７－５０２８６６（ＪＰ，Ａ）
【文献】特開２０１７－０７６８３３（ＪＰ，Ａ）
【文献】特開２００２－３１２７６８（ＪＰ，Ａ）
【文献】特開２００２－３０８０２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ７／１８
Ｇ０８Ｇ １／００
Ｂ６０Ｒ ２１／００
(57)【特許請求の範囲】
【請求項1】
牽引車両の後方に配置されているターゲットの位置を求める方法であって、データ処理ハードウェアで、前記牽引車両の後部に配置されており、かつ前記データ処理ハードウェアと通信するカメラから、前記ターゲットが含まれている画像を受け取るステップと、
前記データ処理ハードウェアによって、１つまたは複数のフィルターバンクを前記画像に適用するステップと、
前記データ処理ハードウェアによって、適用された前記フィルターバンクに基づいて、各画像内の、前記ターゲットが含まれている関心領域を決定するステップと、
前記データ処理ハードウェアによって、前記関心領域内の前記ターゲットを識別するステップと、
前記データ処理ハードウェアによって、現実世界の座標系における位置を含む、前記ターゲットのターゲット位置を求めるステップと、
前記データ処理ハードウェアから、前記車両によって支持されており、かつ前記データ処理ハードウェアと通信する駆動システムに指示を伝送するステップと、
を含み、
前記指示によって、前記現実世界の座標系における前記位置に向かう、前記牽引車両の自律的な操縦が行われ、
前記方法はさらに、
前記データ処理ハードウェアで、前記データ処理ハードウェアと通信するハードウェアメモリ内に格納されているトレーニング画像を受け取るステップと、
前記データ処理ハードウェアによって、受け取った各画像内の、ターゲットが含まれているトレーニング関心領域を決定するステップと、
前記データ処理ハードウェアによって、各トレーニング関心領域内の前記１つまたは複数のフィルターバンクを決定するステップと、
を含む、方法。
【請求項2】
さらに、識別された前記ターゲットに向かう、前記牽引車両の自律的な操縦の間、前記データ処理ハードウェアによって、前記ターゲットを追跡するステップと、
前記データ処理ハードウェアによって、更新されたターゲット位置を求めるステップと、
前記データ処理ハードウェアから、更新された指示を前記駆動システムに伝送するステップと、
を含み、
前記更新された指示によって、前記更新されたターゲット位置に向かう、前記牽引車両の自律的な操縦が行われる、
請求項１記載の方法。
【請求項3】
前記カメラは、魚眼画像を捕捉する魚眼カメラを含む、請求項１または２記載の方法。
【請求項4】
さらに、前記データ処理ハードウェアによって、前記１つまたは複数のフィルターバンクを適用する前に、前記魚眼画像を修正するステップを含む、請求項３記載の方法。
【請求項5】
さらに、前記データ処理ハードウェアによって、前記ターゲットの中心を識別するステップを含み、前記ターゲット位置は前記ターゲットの前記中心の位置を含む、請求項１から４までのいずれか１項記載の方法。
【請求項6】
前記ターゲットは、トレーラによって支持されている牽引バー・カプラのカプラである、請求項１から５までのいずれか１項記載の方法。
【請求項7】
前記画像は、前記牽引バー・カプラのトップダウンビューである、請求項６記載の方法。
【請求項8】
前記ターゲットは前記牽引車両の後方に配置されているトレーラであり、前記ターゲット位置は牽引バーでのトレーラ底部中心の位置である、請求項１から７までのいずれか１項記載の方法。
【請求項9】
前記画像は、前記トレーラの斜視図である、請求項８記載の方法。
【請求項10】
牽引車両の後方に配置されているターゲットの位置を求めるシステムであって、データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアと、
を含み、
前記メモリハードウェアは、前記データ処理ハードウェア上で実行されると、前記データ処理ハードウェアに動作を実行させる指示を格納し、
前記動作は、
前記牽引車両の後部に配置されており、かつ前記データ処理ハードウェアと通信するカメラから、前記ターゲットを含む画像を受け取ることと、
１つまたは複数のフィルターバンクを前記画像に適用することと、
適用された前記フィルターバンクに基づいて、各画像内の、前記ターゲットを含む関心領域を決定することと、
前記関心領域内の前記ターゲットを識別することと、
現実世界の座標系における位置を含む、前記ターゲットのターゲット位置を求めることと、
前記車両によって支持されており、かつ前記データ処理ハードウェアと通信する駆動システムに指示を伝送することと、
を含み、
前記指示によって、前記現実世界の座標系における前記位置に向かう、前記牽引車両の自律的な操縦が行われ、
前記動作はさらに、
前記データ処理ハードウェアと通信するハードウェアメモリ内に格納されているトレーニング画像を受け取ることと、
受け取った各画像内の、ターゲットを含むトレーニング関心領域を決定することと、
各トレーニング関心領域内の前記１つまたは複数のフィルターバンクを決定することと、
を含む、システム。
【請求項11】
前記動作はさらに、識別された前記ターゲットに向かう、前記牽引車両の自律的な操縦の間、前記ターゲットを追跡することと、
更新されたターゲット位置を求めることと、
更新された指示を前記駆動システムに伝送することと、
を含み、
前記更新された指示によって、前記更新されたターゲット位置に向かう、前記牽引車両の自律的な操縦が行われる、
請求項１０記載のシステム。
【請求項12】
前記カメラは、魚眼画像を捕捉する魚眼カメラを含む、請求項１０または１１記載のシステム。
【請求項13】
前記動作はさらに、前記１つまたは複数のフィルターバンクを適用する前に、前記魚眼画像を修正することを含む、請求項１２記載のシステム。
【請求項14】
前記動作はさらに、前記ターゲットの中心を識別することを含み、前記ターゲット位置には前記ターゲットの前記中心の位置を含む、請求項１０から１３までのいずれか１項記載のシステム。
【請求項15】
前記ターゲットは、トレーラによって支持されている牽引バー・カプラのカプラである、請求項１０から１４までのいずれか１項記載のシステム。
【請求項16】
前記画像は、前記牽引バー・カプラのトップダウンビューである、請求項１５記載のシステム。
【請求項17】
前記ターゲットは前記牽引車両の後方に配置されているトレーラであり、前記ターゲット位置は牽引バーでのトレーラ底部中心の位置である、請求項１０から１６までのいずれか１項記載のシステム。
【請求項18】
前記画像は、前記トレーラの斜視図である、請求項１７記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、トレーラ牽引カプラの中心を求める装置および方法に関する。
【0002】
背景
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラおよびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成されている他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に装備されており、これがトレーラヒッチと接続されて接続が形成される。
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラおよびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成されている他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に装備されており、これがトレーラヒッチと接続されて接続が形成される。
【0003】
いくつかの例では、トレーラは、カプラタング（すなわちトレーラヒッチ）、カプラタングをトレーラに接続する牽引バー、トレーラホイールの車軸中心を中心に旋回する、車両に接続する前にトレーラを支持するためのジャッキ支持を含んでいる。トレーラの接続および特徴は非常に多様である。たとえば、トレーラ・牽引バー・カプラの特徴には、様々な形状、色、牽引バーのタイプ、カプラのタイプ、ジャッキ支持のタイプ、トレーラのフレームへのタングのアタッチメント、ジャッキ支持の位置、トレーラが支持する追加の物体、トレーラのサイズ、可搬重量および車軸の数が含まれる。したがって、上述の特徴の様々な組み合わせによって、多くの異なるトレーラモデルが生じ、これによってトレーラタイプは非常に多様になる。さらに、いくつかの例では、トレーラの所有者は自身のトレーラをパーソナライズする。これによって、トレーラはさらに多様になる。したがって、車両の後方に配置されているトレーラを識別するように構成されているトレーラ検出システムを有する車両は、利用可能なトレーラのタイプが様々であるため、トレーラまたはトレーラヒッチを識別するのに困難を伴う場合がある。さらに、識別を難しくする、草地、未舗装道路、浜辺等の、手入れの行き届いた道路以外の様々な表面にトレーラが配置される可能性があるため、車両識別システムは、車両の後方に配置されているトレーラを識別するのに困難を伴う場合がある。現在のトレーラ識別システムでは、識別システムがそれ以前にこの種の環境を格納していない場合、識別システムはトレーラを識別することができない。さらに、視覚ベースのアプローチを使用してトレーラを検出する現在のトレーラ識別システムは、トレーラ特徴、すなわち牽引バー、カプラの特徴を一般化する傾向があり、その結果、一般的でない特徴を有しているトレーラまたはカスタマイズされたトレーラまたは一般的でない環境（すなわち、手入れの行き届いた道路とは異なる環境）にあるパーソナライズされたトレーラを検出することができない。さらに、種々のトレーラを検出するためのトレーラ識別システムハードウェアの製造は、大量のデータ処理が必要となるため、非常にコストがかかる。したがって、現在のトレーラ検出システムは、トレーラが複数あるシナリオにおいて、特定のトレーラの組み合わせを区別することができない。
【0004】
形状およびその上にトレーラが配置されている表面に関係なく、トレーラ・牽引バー・カプラの組み合わせを迅速かつ容易に識別することによって、上述の問題に取り組むシステムを有することが望ましい。
【0005】
概要
本開示の一態様は、牽引車両の後方に配置されているターゲットの位置を求める方法を提供する。この方法は、データ処理ハードウェアで、牽引車両の後部に配置されており、かつデータ処理ハードウェアと通信するカメラから画像を受け取ることを含んでいる。画像にはターゲットが含まれている。この方法は、データ処理ハードウェアによって、１つまたは複数のフィルターバンクを画像に適用することも含んでいる。この方法は、データ処理ハードウェアによって、適用されたフィルターバンクに基づいて、各画像内の関心領域を決定することを含んでいる。関心領域にはターゲットが含まれている。この方法は、データ処理ハードウェアによって、関心領域内のターゲットを識別することも含んでいる。この方法は、データ処理ハードウェアによって、現実世界の座標系における位置を含んでいる、ターゲットのターゲット位置を求めることも含んでいる。この方法は、データ処理ハードウェアから、車両によって支持されており、かつデータ処理ハードウェアと通信する駆動システムに指示を伝送することも含んでいる。この指示によって、現実世界の座標系における位置に向かう、牽引車両の自律的な操縦が行われる。
本開示の一態様は、牽引車両の後方に配置されているターゲットの位置を求める方法を提供する。この方法は、データ処理ハードウェアで、牽引車両の後部に配置されており、かつデータ処理ハードウェアと通信するカメラから画像を受け取ることを含んでいる。画像にはターゲットが含まれている。この方法は、データ処理ハードウェアによって、１つまたは複数のフィルターバンクを画像に適用することも含んでいる。この方法は、データ処理ハードウェアによって、適用されたフィルターバンクに基づいて、各画像内の関心領域を決定することを含んでいる。関心領域にはターゲットが含まれている。この方法は、データ処理ハードウェアによって、関心領域内のターゲットを識別することも含んでいる。この方法は、データ処理ハードウェアによって、現実世界の座標系における位置を含んでいる、ターゲットのターゲット位置を求めることも含んでいる。この方法は、データ処理ハードウェアから、車両によって支持されており、かつデータ処理ハードウェアと通信する駆動システムに指示を伝送することも含んでいる。この指示によって、現実世界の座標系における位置に向かう、牽引車両の自律的な操縦が行われる。
【0006】
本開示の実施形態は、以降の任意の特徴のうちの１つまたは複数を含んでいてよい。いくつかの実施形態では、この方法はさらに、識別されたターゲットに向かう、牽引車両の自律的な操縦の間、データ処理ハードウェアによって、ターゲットを追跡することを含んでいる。この方法は、データ処理ハードウェアによって、更新されたターゲット位置を求めることも含んでいてよい。いくつかの例では、この方法は、データ処理ハードウェアから、更新された指示を駆動システムに伝送することを含んでいる。更新された指示によって、更新されたターゲット位置に向かう、牽引車両の自律的な操縦が行われる。
【0007】
いくつかの実施形態では、カメラは、魚眼画像を捕捉する魚眼カメラを含んでいる。いくつかの例では、この方法はさらに、データ処理ハードウェアによって、１つまたは複数のフィルターバンクを適用する前に、魚眼画像を修正することを含んでいる。
【0008】
いくつかの実施形態では、この方法は、データ処理ハードウェアで、データ処理ハードウェアと通信するハードウェアメモリ内に格納されているトレーニング画像を受け取り、データ処理ハードウェアによって、受け取った各画像内のトレーニング関心領域を決定することを含んでいる。トレーニング関心領域にはターゲットが含まれている。この方法は、データ処理ハードウェアによって、各トレーニング関心領域内の１つまたは複数のフィルターバンクを決定することを含んでいてよい。いくつかの例では、この方法はさらに、データ処理ハードウェアによって、ターゲットの中心を識別することを含んでおり、ここで、ターゲット位置にはターゲットの中心の位置が含まれている。
【0009】
ターゲットは、トレーラによって支持されている牽引バー・カプラのカプラであってよい。画像は、牽引バー・カプラのトップダウンビューであってよい。いくつかの例では、ターゲットは牽引車両の後方に配置されているトレーラであり、ターゲット位置は牽引バーでのトレーラ底部中心の位置である。画像はトレーラの斜視図である。
【0010】
本開示の別の態様は、牽引車両の後方に配置されているターゲットの位置を求めるシステムを提供する。このシステムには、データ処理ハードウェアおよびデータ処理ハードウェアと通信するメモリハードウェアが含まれる。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる指示を格納している。動作には、牽引車両の後部に配置されており、かつデータ処理ハードウェアと通信するカメラから画像を受け取ることが含まれる。画像にはターゲットが含まれている。動作には、１つまたは複数のフィルターバンクを画像に適用することが含まれる。動作には、適用されたフィルターバンクに基づいて、各画像内の関心領域を決定することが含まれる。関心領域にはターゲットが含まれている。動作には、関心領域内のターゲットを識別すること、および現実世界の座標系における位置を含んでいる、ターゲットのターゲット位置を求めることが含まれる。動作には、車両によって支持されており、かつデータ処理ハードウェアと通信する駆動システムに指示を伝送することが含まれる。この指示によって、現実世界の座標系における位置に向かう、牽引車両の自律的な操縦が行われる。
【0011】
本開示のこの態様の実施形態は、以降の任意の特徴のうちの１つまたは複数を含んでいてよい。いくつかの実施形態では、動作にはさらに、識別されたターゲットに向かう、牽引車両の自律的な操縦の間、ターゲットを追跡することが含まれる。動作には、更新されたターゲット位置を求めること、および更新された指示を駆動システムに伝送することが含まれていてよい。更新された指示によって、更新されたターゲット位置に向かう、牽引車両の自律的な操縦が行われる。
【0012】
いくつかの実施形態では、カメラは、魚眼画像を捕捉する魚眼カメラを含んでいる。動作には、１つまたは複数のフィルターバンクを適用する前に、魚眼画像を修正することが含まれていてよい。
【0013】
いくつかの例では、動作にはさらに、データ処理ハードウェアと通信するハードウェアメモリ内に格納されているトレーニング画像を受け取ること、および受け取った各画像内のトレーニング関心領域を決定することが含まれる。トレーニング関心領域にはターゲットが含まれている。動作には、各トレーニング関心領域内の１つまたは複数のフィルターバンクを決定することも含まれていてよい。動作にはさらに、ターゲットの中心を識別することが含まれており、ここで、ターゲット位置にはターゲットの中心の位置が含まれている。
【0014】
いくつかの例では、ターゲットは、トレーラによって支持されている牽引バー・カプラのカプラである。画像は、牽引バー・カプラのトップダウンビューであってよい。ターゲットは牽引車両の後方に配置されているトレーラであってよく、ターゲット位置は牽引バーでのトレーラ底部中心の位置である。画像はトレーラの斜視図である。
【0015】
本開示の１つまたは複数の実施形態の詳細を、添付の図面および以降の説明に記載する。他の態様、特徴および利点は、明細書および図面ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0016】
【図1】トレーラから距離を置いた例示的な牽引車両の概略的な上面図である。
【図2】例示的な車両の概略図である。
【図3】トレーニング段階中に実行される動作の例示的な段取りの概略図である。
【図4A】牽引バーおよびカプラを含んでいる例示的な画像の概略図である。
【図4B】牽引車両から異なる距離にあるトレーラを含んでいる例示的な画像の概略図である。
【図4C】牽引車両から異なる距離にあるトレーラを含んでいる例示的な画像の概略図である。
【図5】関心領域提案を決定するための動作の例示的な段取りの概略図である。
【図5A】後方の車両カメラによって捕捉されたトレーラの例示的な画像の概略図である。
【図6】例示的なトレーラカプラ検出器および例示的なトラッカーの概略図である。
【図7A】それらの間の異なる距離で車両の後方に配置されているトレーラの概略的な側面図である。
【図7B】それらの間の異なる距離で車両の後方に配置されているトレーラの概略的な側面図である。
【図7C】それらの間の異なる距離で車両の後方に配置されているトレーラの概略的な側面図である。
【図7D】ビューポートの異なる位置を示す、車両の後方に配置されているトレーラの概略的な上面図である。
【図8】カプラの位置およびトレーラの底部の中心を求めるための動作の例示的な段取りの概略図である。
【図9】適応型牽引ボール高さ変化検出器によって実行される動作の例示的な段取りの概略図である。
【図10】ターゲットを決定し、牽引車両をターゲットに向かわせるための動作の例示的な段取りの概略図である。
【0017】
種々の図面における同様の参照記号は、同じ要素を示している。
【0018】
詳細な説明
乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）等であるがこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、車両によって支持されているトレーラヒッチボールとトレーラヒッチカプラとを介してトレーラに接続する。トレーラの牽引バーを検出し、トレーラの牽引バー上に配置されているトレーラヒッチカプラの中心を検出し、位置を求めることができる牽引車両を有することが望ましい。さらに、車両がトレーラに向かって逆方向に動いている間、牽引車両が牽引バーを検出し、トレーラカプラの中心を検出し、位置を求めることが望まれる。このように、検出モジュールを備えた牽引車両は、逆方向においてトレーラに向かう牽引車両の（運転者による、または自律的な）駆動を助ける情報を運転者および／または車両に提供する。検出モジュールは、牽引バーおよびトレーラのカプラを有するトレーラを検出する方法を学習するように構成されており、学習したデータに基づいて、検出モジュールは、牽引車両がトレーラに接近する間、高い歪み率を有する、魚眼カメラ等のカメラから画像を受け取り、牽引バーの位置とカプラの中心の位置とを求めてよい。さらに、検出モジュールを含んでいる牽引車両は、形状およびその上にトレーラが配置されている表面に関係なく、トレーラ・牽引バー・カプラの組み合わせを容易に識別する。学習段階の間、検出モジュールは任意の形状の牽引バーおよび任意の形状のカプラを検出することを学習し、検出段階の間、検出モジュールは、カプラの中心および／またはトレーラのキーポイントの位置を正確に求めるために、学習したデータを使用することができる。いくつかの例では、学習段階および検出段階は、トレーラ・牽引バー・カプラの組み合わせの堅固に接続された構成要素（たとえばボックス、Ｖノーズ、ボート等のトレーラ本体。その上にボルトで固定される、トレーラ本体用の２つ以上の車輪を備えたトレーラフレーム、およびカプラタングがフレームの一部である場合もあれば、牽引バー上にボルトで固定される別個の構成要素である場合もある。）に対するカスケードアプローチの使用を含んでおり、カプラの中心の位置決定の信頼度を、これらの構成要素間の関係によって向上させることができる。たとえば、カスケードアプローチは、最初にトレーラ本体を検出し、次に牽引バー・カプラの組み合わせを検出し、次にズームインしてカプラ中心とその周辺の特徴とを詳しく調べ、最後にカプラタングを検出するアルゴリズムを実行する。ズーム比は、カプラ中心ＬＣＣＰを識別するために使用できる十分な特徴がある限り、１．５～２．５のいずれかであってよい。検出モジュールは、トレーラ駐車場等の、ある場面において、並んで駐車されているトレーラ・牽引バー・カプラの組み合わせの複数のクラスを区別することもできる。
乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）等であるがこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、車両によって支持されているトレーラヒッチボールとトレーラヒッチカプラとを介してトレーラに接続する。トレーラの牽引バーを検出し、トレーラの牽引バー上に配置されているトレーラヒッチカプラの中心を検出し、位置を求めることができる牽引車両を有することが望ましい。さらに、車両がトレーラに向かって逆方向に動いている間、牽引車両が牽引バーを検出し、トレーラカプラの中心を検出し、位置を求めることが望まれる。このように、検出モジュールを備えた牽引車両は、逆方向においてトレーラに向かう牽引車両の（運転者による、または自律的な）駆動を助ける情報を運転者および／または車両に提供する。検出モジュールは、牽引バーおよびトレーラのカプラを有するトレーラを検出する方法を学習するように構成されており、学習したデータに基づいて、検出モジュールは、牽引車両がトレーラに接近する間、高い歪み率を有する、魚眼カメラ等のカメラから画像を受け取り、牽引バーの位置とカプラの中心の位置とを求めてよい。さらに、検出モジュールを含んでいる牽引車両は、形状およびその上にトレーラが配置されている表面に関係なく、トレーラ・牽引バー・カプラの組み合わせを容易に識別する。学習段階の間、検出モジュールは任意の形状の牽引バーおよび任意の形状のカプラを検出することを学習し、検出段階の間、検出モジュールは、カプラの中心および／またはトレーラのキーポイントの位置を正確に求めるために、学習したデータを使用することができる。いくつかの例では、学習段階および検出段階は、トレーラ・牽引バー・カプラの組み合わせの堅固に接続された構成要素（たとえばボックス、Ｖノーズ、ボート等のトレーラ本体。その上にボルトで固定される、トレーラ本体用の２つ以上の車輪を備えたトレーラフレーム、およびカプラタングがフレームの一部である場合もあれば、牽引バー上にボルトで固定される別個の構成要素である場合もある。）に対するカスケードアプローチの使用を含んでおり、カプラの中心の位置決定の信頼度を、これらの構成要素間の関係によって向上させることができる。たとえば、カスケードアプローチは、最初にトレーラ本体を検出し、次に牽引バー・カプラの組み合わせを検出し、次にズームインしてカプラ中心とその周辺の特徴とを詳しく調べ、最後にカプラタングを検出するアルゴリズムを実行する。ズーム比は、カプラ中心ＬＣＣＰを識別するために使用できる十分な特徴がある限り、１．５～２．５のいずれかであってよい。検出モジュールは、トレーラ駐車場等の、ある場面において、並んで駐車されているトレーラ・牽引バー・カプラの組み合わせの複数のクラスを区別することもできる。
【0019】
図１Ａ～図４を参照すると、いくつかの実施形態では、牽引車両１００の運転者は、牽引車両１００の後方に配置されているトレーラ２００を牽引することを望んでいる。牽引車両１００は、選択されたトレーラ２００に関連付けられた、運転者の選択の表示を受け取るように構成されていてよい。いくつかの例では、運転者は、牽引車両１００を選択されたトレーラ２００に向かって操縦し、他の例では、牽引車両１００は、選択されたトレーラ２００に自律的に向かう。牽引車両１００は、たとえば、ｘ、ｙおよびｚ成分を有する駆動命令に基づいて、路面を横切るように牽引車両１００を操縦する駆動システム１１０を含んでいてよい。示されているように、駆動システム１１０は、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃおよび左後輪１１２、１１２ｄを含んでいる。駆動システム１１０は、同様に他の車輪配置を含んでいてよい。駆動システム１１０は、各車輪１１２、１１２ａ～ｄに関連付けられたブレーキを含んでいるブレーキシステム１１４および牽引車両１００の速度および方向を調整するように構成されている加速システム１１６も含んでいてよい。さらに、駆動システム１１０は、サスペンションシステム１１８を含んでいてよく、これは各車輪１１２、１１２ａ～ｄに関連付けられたタイヤと、タイヤの空気と、ばねと、衝撃吸収装置と、連結部とを含んでおり、この連結部は、牽引車両１００をその車輪１１２、１１２ａ～ｄに接続し、牽引車両１００と車輪１１２、１１２ａ～ｄとの間の相対運動を可能にする。サスペンションシステム１１８は、牽引車両１００の高さを調整するように構成されていてよく、これによって牽引車両ヒッチ１２０（たとえば牽引車両ヒッチボール１２２）を、トレーラ牽引バー２１４によって支持されているトレーラヒッチ２１０（たとえばカプラ・牽引バーの組み合わせ２１０）と整列させることが可能になり、これによって牽引車両１００とトレーラ２００との間の接続が可能になる。
【0020】
牽引車両１００は、牽引車両１００によって規定された３つの相互に鉛直な軸、すなわち横軸Ｘｖ、前後軸Ｙｖおよび中心垂直軸Ｚｖに対する動きの様々な組み合わせによって路面を横切って移動してよい。横軸Ｘｖは、牽引車両１００の右側と左側との間に延在している。前後軸Ｙｖに沿った前進駆動方向はＦｖとして示されており、前進運動とも称される。さらに、前後方向Ｙｖに沿った、後部または逆駆動方向はＲｖとして示されており、後方運動または逆方向運動とも称される。サスペンションシステム１１８が牽引車両１００のサスペンションを調整するとき、牽引車両１００は、Ｘｖ軸および／またはＹｖ軸を中心として傾斜するか、または中心垂直軸Ｚｖに沿って動いてよい。
【0021】
牽引車両１００は、ディスプレイ等のユーザインターフェース１３０を含んでいてよい。ユーザインターフェース１３０は、１つまたは複数の入力機構またはタッチスクリーンディスプレイ１３２を介して運転者から１つまたは複数のユーザ命令を受け取る、かつ／または運転者への１つまたは複数の通知を表示する。ユーザインターフェース１３０は車両コントローラー１５０と通信し、また車両コントローラーはセンサーシステム１４０と通信する。いくつかの例では、ユーザインターフェース１３０は、牽引車両１００の環境の画像を表示する。これによって、１つまたは複数の動作の実行を開始させる１つまたは複数の命令が（運転者から）ユーザインターフェース１３０によって受け取られる。いくつかの例では、ユーザディスプレイ１３２は、牽引車両１００の後方に配置されているトレーラ２００の１つまたは複数の表現１３６を表示する。この場合、運転者は、どのトレーラ２００の表現１３６をコントローラー１５０が識別すべきかの選択１３４を行い、コントローラー１５０は、選択されたトレーラ２００に関連付けられたカプラ２１２の中心を検出し、その位置を決定すべきである。他の例では、コントローラー１５０は、１つまたは複数のトレーラ２００を検出し、１つまたは複数のトレーラのトレーラカプラ２１２の中心を検出し、その位置を求める。車両コントローラー１５０は、コンピューティングデバイス（またはプロセッサ）１５２（たとえば、１つまたは複数のコンピューティングプロセッサを有する中央処理装置）を含んでおり、これは、非一時的なメモリ１５４（たとえばハードディスク、フラッシュメモリ、ランダムアクセスメモリ、メモリハードウェア）と通信し、コンピューティングプロセッサ１５２上で実行可能な指示を格納することができる。
【0022】
牽引車両１００は、信頼性が高く、ロバストな駆動を提供するセンサーシステム１４０を含んでいてよい。センサーシステム１４０は、牽引車両１００の環境の認識を作り出すために、別々にまたは相互に使用され得る異なるタイプのセンサーを含んでいてよい。これは、牽引車両１００に対して、駆動のために、およびセンサーシステム１４０によって検出された物体および障害物に基づいて運転者が知的判定を行うのを支援するために、または駆動システム１１０が牽引車両１００を自律的に操縦するのを支援するために使用される。センサーシステム１４０は、レーダー、ソナー、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、これは遠隔ターゲットの距離および／またはその他の情報を検出するために、散乱光の特性を測定する光学リモートセンシングを伴うことができる）、ＬＡＤＡＲ（Ｌａｓｅｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、超音波センサー等を含んでいてよいが、これに限定されない。
【0023】
いくつかの実施形態では、センサーシステム１４０は、車両によって支持されている１つまたは複数のカメラ１４２、１４２ａ～ｎを含んでいる。いくつかの例では、センサーシステム１４０は、リアビューカメラ１４２ａを含んでいる。これは牽引車両１００の後部駆動経路を見ることができるように取り付けられている。リアビューカメラ４１０は、広いパノラマ画像または半球状の画像を作成することを目的とした強い視覚的歪みを生成する超広角レンズを含んでいる魚眼レンズを含んでいてよい。魚眼カメラ１４２ａは、非常に広い画角の画像を捕捉する。さらに、魚眼カメラ１４２ａによって捕捉された画像は、特徴的な凸状の非直線的な外見を有する。
【0024】
検出モジュール１６０
【0025】
車両コントローラー１５０は、後方カメラ４１０ａから画像１４４（すなわち魚眼画像）を受け取り、牽引バー２１４の位置およびカプラ２１２の位置、たとえば、画像内１４４内およびワールド座標におけるカプラ２１２の中心を求める検出モジュール１６０を含んでいる。いくつかの例では、検出モジュール１６０は、牽引車両１００とトレーラ２００との間の遠距離、中距離および近距離の距離で、牽引バー２１４およびカプラ２１２の中心を求める。いくつかの実施形態では、検出モジュール１６０は、トレーニング／学習段階１７０とそれに続く検出段階１８０とを含んでいる。トレーニング／学習段階１７０の間、検出モジュール１６０は、トレーラおよびカプラトレーニングモジュール１７２を動作させる。さらに、検出段階１８０の間、検出モジュール１６０は、以下のものを動作させる。すなわち、ＲＯＩ提案決定器１８２、トレーラおよびカプラ検出器１８４、ポーズおよびスケール推定器１８６、カルマンマルチチャネル相関フィルター（ＭＣＣＦ）トラッカー１８８、信頼度計算モジュール１９０、適応型牽引ボール高さ変化検出器１９２および現実世界位置推定モジュール１９４を動作させる。
【0026】
トレーニング／学習段階１７０
【0027】
図３および図４Ａ～図４Ｃは、トレーニング／学習段階１７０を示している。図３を参照すると、検出モジュール１６０は、カルマンＭＣＣＦトラッカー１８８にカプラ２１２および牽引バー２１４を検出する方法を教えるために、トレーラおよびカプラトレーナモジュール１７２を動作させる。図３を参照すると、トレーナモジュール１７２は、後方カメラ４１０ａ、すなわち魚眼カメラによって捕捉された入力画像１４４を受け取る。入力画像１４４は、トレーラ２００またはカプラ・牽引バーの組み合わせ２１０（カプラ２１２および牽引バー２１４を含んでいる）のいずれかの関心領域（ＲＯＩ）４００を含んでいる。図４Ａを参照すると、入力画像１４４は、画像１４４内のカプラ２１２の中心のピクセル位置ＬＣＣＰおよびカプラ・牽引バーの組み合わせ２１０を含んでいる。なぜなら、この場合には、トレーラおよびカプラトレーナモジュール１７２がカプラ・牽引バーの組み合わせ２１０ ＲＯＩ４００ｃ内のカプラ２１２を検出する方法を学習しているからである。また図４Ｂおよび図４Ｃは、トレーラ２００を示している。トレーニング画像１４４における、カプラ２１２の中心のピクセル位置ＬＣＣＰ（図４Ａ）または牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰは、トレーニング／学習段階１７０の前に、事前に決定されており、たとえば、（１００×１００ピクセルの）トレーニング画像１４４におけるピクセル（６４，４２）である。いくつかの例では、ＲＯＩ４００、４００ｃ、４００ｔは、トレーニングおよび学習段階１７０のために、固定されたピクセルのサイズ、たとえば（１００×１００ピクセル）に再スケーリングされる。トレーナモジュール１７２は、特定の範囲のピクセルに対して、トレーニング画像１４４におけるカプラ２１２の中心ＬＣＣＰまたは牽引バー２１４でのトレーラの底部中心ＬＴＣＰが画像１４４内の同じ位置に保たれることを維持する。
【0028】
図４Ａは、リアビューカメラ１４２ａによって捕捉された画像１４４に基づく、修正されたトップダウン画像１４６を示している。コントローラー１５０は、受け取った画像１４４を調整して、魚眼カメラである後方カメラ１４２ａによって引き起こされる歪みを除去する。カメラ１４２ａは、路面に対してカプラ・牽引バーの組み合わせ２１０の上方に位置しているので、カプラ・牽引バーの組み合わせ２１０のカメラ１４２ａによって捕捉された画像１４４は、一般的に、カプラ・牽引バーの組み合わせ２１０のトップダウンビューである。さらに、トレーナモジュール１７２は、カプラ・牽引バーの組み合わせ２１０を含んでいる、修正された画像１４６内の関心領域（ＲＯＩ）４００、４００ｃを決定する。
【0029】
図４Ｂおよび図４Ｃは、トレーラ２００を含んでいる、修正された画像１４６の異なる距離での斜視図である。図４Ｂは、トレーラ２００からの第１の距離で捕捉された画像１４４に関連付けされた、修正された画像１４６ｂのものであり、図４Ｃは、トレーラ２００からの第２の距離で捕捉された別の画像１４４に関連付けされた、修正された画像１４６ｃものであり、第２の距離は第１の距離よりも長い。トレーラ２００は牽引車両１００の後方に配置されているので、カメラ１４２ａは、トレーラ２００の真っ直ぐ前方の画像１４４を捕捉してよい。したがって、真っ直ぐ前方の画像１４４に基づいている修正された画像１４６ｂ、１４６ｃも真っ直ぐ前方の眺めである。いくつかの例では、トレーナモジュール１７２は、トレーラ２００を含んでいる、修正された画像１４６ｂ、１４６ｃ内のトレーラＲＯＩ４００ｔを決定する。示されているように、修正された画像１４６ｂ、１４６ｃは、トレーナモジュール１７２によって識別されるＲＯＩ４００ｔでもある。
【0030】
上述のように、トレーナモジュール１７２は、捕捉された画像１４４を修正する。いくつかの例では、カプラ・牽引バーの組み合わせ２１０の図４Ａに示されるトップダウンビューにおいて、カプラ・牽引バーの組み合わせ２１０の牽引バー・カプラの外見（すなわち、形状のアスペクト比）は変化しない。上からのカプラ・牽引バーの組み合わせ２１０のスケール変化は、カプラ・牽引バーの組み合わせ２１０の高さの変化を示している。図４Ｂおよび図４Ｃにおいて示されている後方斜視図において、トレーラ２００の外見は、固定されたピッチ角のもとで変化しない。しかし、ピッチ角が変化すると、トレーラ２００の外見は変化する。いくつかの例では、トレーラピッチ角の変化による上述の外見の変化は、固定されたピッチ角を有する基準画像パスのもとでトレーラピッチ角を推定するために使用されてよい。画像パスは、トレーラの周りにある。
【0031】
さらに、上述した外見の変化は、固定されたヨー角を伴う基準パッチのもとでトレーラヨー角（すなわち配向）を推定するために使用されてよい。テスト画像がトレーニングされた画像と一致する場合、相関エネルギーが最大になる。図３に戻ると、ステップ３０２で、トレーナモジュール１７２は、ＲＯＩ４００、４００ｃ、４００ｔに対して正規化関数を実行して、照明変動を低減させる。次に、ステップ３０４で、トレーナモジュール１７２は、たとえば、ＲＯＩ４００、４００ｃ、４００ｔ内のｘ方向およびｙ方向の両方における画像ピクセル値の差を求めることによって、勾配関数を実行する。トレーナモジュール１７２は、以下の式から大きさおよび配向を求める。
大きさ：（ｓｑｒｔ（Ｇｘ２＋Ｇｙ２））（１）
配向：（ａｒｃｔａｎ２（Ｇｙ／Ｇｘ））（２）
トレーナモジュール１７２は、受け取った画像ＲＯＩ４００、４００ｃ、４００ｔにおける強度または色の方向変化を求めるために、かつ勾配のヒストグラムを求めるために、ｘ方向の勾配（Ｇｘ）およびｙ方向の勾配（Ｇｙ）から式（１）および（２）を決定してよい。
大きさ：（ｓｑｒｔ（Ｇｘ２＋Ｇｙ２））（１）
配向：（ａｒｃｔａｎ２（Ｇｙ／Ｇｘ））（２）
トレーナモジュール１７２は、受け取った画像ＲＯＩ４００、４００ｃ、４００ｔにおける強度または色の方向変化を求めるために、かつ勾配のヒストグラムを求めるために、ｘ方向の勾配（Ｇｘ）およびｙ方向の勾配（Ｇｙ）から式（１）および（２）を決定してよい。
【0032】
勾配のヒストグラム（ＨＯＧ）は、画像内の１つまたは複数の物体を特徴付けるためにコンピュータビジョンおよび画像処理において使用される特徴記述子である。ＨＯＧは、画像の、位置決定された部分の勾配の配向のビンの数（たとえば５つのビン）を決定する。各ビンは特定の配向範囲を表す。
【0033】
ステップ３０４で、ＨＯＧに基づいて、トレーナモジュール１７２は、ＨＯＧに関連付けされたビンの数を決定する。トレーナモジュール１７２は、セルごとの正規化関数およびブロックごとの正規化関数を実行する。セルごとの正規化関数の間に、各セルにわたった勾配の大きさおよび勾配の配向の平均が求められる。セルのサイズはたとえば（５×５ピクセル）である。トレーナモジュール１７２は、ＲＯＩ４００、４００ｃ、４００ｔのサイズ（たとえば１００×１００ピクセル）をセルのサイズ（たとえば（５×５））で割ったものに基づいて、セルの数、たとえば（２０×２０ピクセル）を決定する。トレーナモジュール１７２が、特定のセルにおける平均の勾配の大きさが０未満であると決定すると、トレーナモジュール１７２は、セルの値を０に設定する。トレーナモジュール１７２が、特定のセルにおいて、平均の勾配の配向が０未満であると決定すると、トレーナモジュール１７２は、セルの値を０に設定する。トレーナモジュール１７２は、平均の勾配の配向に基づいて平均の勾配の配向のビンを決定し、次に、平均の勾配の配向のビンに、平均の勾配の大きさ＋０．１の反転を掛ける。ブロックごとの正規化関数の間に、セルごとの正規化が行われた勾配の配向のすべてのチャネルが、トレーナモジュール１７２によって二乗され、合計され、セルのサイズ（たとえば（５×５））にわたって平均化される。トレーナモジュール１７２は、勾配二乗ビンの総計（ＧＳｓｕｍ）を、ＧＳｓｕｍが０未満の場合、０に設定する。トレーナモジュール１７２は、ＧＳｓｕｍを平方根化することによって、勾配の最終的な総計（Ｇｓｕｍ）を得る。トレーナモジュール１７２は、最終的なＨＯＧビンをＧｓｕｍによって正規化し、ここで、セル正規化された勾配ビンは、再びＧｓｕｍ＋０．１によって除算される。ブロック３０４のステップは、照明および環境の変動に対応する。
【0034】
ステップ３０６で、トレーナモジュール１７２は、（以下の方程式における「ｐｏｓ」である）カプラの中心ＬＣＣＰまたは牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰであるターゲット位置の周りにガウシアンフィルターを適用する。
ｒｓｐ（ｉ，ｊ）＝ｅｘｐ（－（（ｉ－ｐｏｓ（１））２＋（ｊ－ｐｏｓ（２））２）／（２＊Ｓ２））（３）
Ｓはシグマであり、調整可能なパラメータである。これは学習ステップであるので、トレーナモジュール１７２は、画像内のカプラ２１２の位置を知っており、したがって、既知の位置の周りにガウシアンフィルターを適用する。（周波数領域における画像１４４のサイズである）「ｒｓｐ＿ｆ」としての周波数領域におけるガウス応答を得るための高速の計算時間のために、ガウス応答、「ｒｓｐ」である画像パッチのサイズも周波数領域に変換される。
ｒｓｐ（ｉ，ｊ）＝ｅｘｐ（－（（ｉ－ｐｏｓ（１））２＋（ｊ－ｐｏｓ（２））２）／（２＊Ｓ２））（３）
Ｓはシグマであり、調整可能なパラメータである。これは学習ステップであるので、トレーナモジュール１７２は、画像内のカプラ２１２の位置を知っており、したがって、既知の位置の周りにガウシアンフィルターを適用する。（周波数領域における画像１４４のサイズである）「ｒｓｐ＿ｆ」としての周波数領域におけるガウス応答を得るための高速の計算時間のために、ガウス応答、「ｒｓｐ」である画像パッチのサイズも周波数領域に変換される。
【0035】
ステップ３０８で、トレーナモジュール１７２は、パフォーマンスを改善するマスクをＲＯＩ４００、４００ｃ、４００ｔに適用する。トレーナモジュール１７２は、マスクを適用して、トレーラ２００またはカプラ・牽引バーの組み合わせ２１０を取り囲む領域をマスクする。ステップ３１０で、トレーナモジュール１７２は、セル／ブロック正規化されたＨｏＧチャネルにコサイン窓関数を適用して、修正された画像１４６（すなわちＲＯＩ４００）の画像境界の高い周波数を低減し、ＨｏＧ＿ｆ（ＨＯＧ周波数）を得るための高速の計算時間のために、ＨｏＧチャネルを周波数領域に変換する。ステップ３１２で、トレーナモジュール１７２は、自己相関エネルギーおよび相互相関エネルギー、ｘｘＦおよびｘｙＦをそれぞれ計算する。自己相関エネルギーｘｘＦは、ＨｏＧ＿ｆにＨｏＧ＿ｆの転置を掛けることによって得られる。相互相関エネルギーｘｙＦは、ｒｓｐ＿ｆにＨｏＧ＿ｆの転置を掛けることによって得られる。ステップ３１４で、トレーナモジュール１７２は、同じ範囲内の複数のＲＯＩ４００にわたって、自己相関エネルギーｘｘＦおよび相互相関エネルギーｘｙＦを別個に合計する。ステップ３１６で、トレーナモジュール１７２は方程式
ＭＣＣＦ＝ｌｓｑｒ（ｘｘＦ＋ｌａｍｂｄａ，ｘｙＦ）（４）
を解く。
ステップ３１８で、式（４）は、フィルターバンク３２２（すなわちＭＣＣＦ）について解かれ、周波数領域から画像領域に戻る。フィルターバンク３２２は、トレーラまたはカプラ・牽引バーの組み合わせ２１０（すなわちトレーラヒッチ２０１）の特徴を提供するマルチチャネル相関フィルターバンク３２２である。したがって、フィルターバンク３２２は、後に、画像１４４内でのトレーラ２００またはカプラ２１２の位置が未知である検出段階１８０中に、捕捉された画像１４４内のトレーラ２００またはカプラ２１２の位置を求めるために使用される。ステップ３２０で、トレーナモジュール１７２は、トレーラ２００および式（４）によって決定されたカプラ・牽引バーの組み合わせ２１０に関連付けされたフィルターバンク３２２（すなわちＭＣＣＦ）をメモリハードウェア１５４内に格納する。
ＭＣＣＦ＝ｌｓｑｒ（ｘｘＦ＋ｌａｍｂｄａ，ｘｙＦ）（４）
を解く。
ステップ３１８で、式（４）は、フィルターバンク３２２（すなわちＭＣＣＦ）について解かれ、周波数領域から画像領域に戻る。フィルターバンク３２２は、トレーラまたはカプラ・牽引バーの組み合わせ２１０（すなわちトレーラヒッチ２０１）の特徴を提供するマルチチャネル相関フィルターバンク３２２である。したがって、フィルターバンク３２２は、後に、画像１４４内でのトレーラ２００またはカプラ２１２の位置が未知である検出段階１８０中に、捕捉された画像１４４内のトレーラ２００またはカプラ２１２の位置を求めるために使用される。ステップ３２０で、トレーナモジュール１７２は、トレーラ２００および式（４）によって決定されたカプラ・牽引バーの組み合わせ２１０に関連付けされたフィルターバンク３２２（すなわちＭＣＣＦ）をメモリハードウェア１５４内に格納する。
【0036】
いくつかの実施形態では、トレーナモジュール１７２は、各画像１４４内のトレーラ２００、カプラ・牽引バーの組み合わせ２１０の外見、解像度およびスケールの変化に対応するために、遠距離、中距離および近距離内で捕捉された画像１４４上で図３のステップを実行することによって、３つのフィルターバンク３２２を別々に決定する。
【0037】
いくつかの実施形態では、トレーニング／トレーニングおよび学習段階１７０は、たとえば、動的な駆動シナリオにおいて、トレーラ２００からの特定の距離で配向角度が０である車両中心線Ｙに沿って、監視されて、生の魚眼画像１４４上で実行されてよい。いくつかの例では、トレーニング／トレーニングおよび学習段階１７０は、単一の画像フレームまたは少数の画像フレームを使用することによってさらに単純化されてよい。いくつかの例では、捕捉された魚眼画像１４４は、図４Ａ～図４Ｃで説明されるように修正される。トレーナ１７２は、カプラ・牽引バーの組み合わせ２１０に関連付けされたフィルター学習のためにトップダウンビューを使用し、またトレーナ１７２は、トレーラ２００のフィルター学習のために前方斜視図を使用する。いくつかの例では、学習画像１４４はメモリ１５４内に格納される。学習画像１４４は、トラック牽引ボール１２２の位置が既知である、連結された位置にあるトレーラ２００と牽引車両とを含んでいてよい。修正された画像１４６に基づいてトレーニングおよび学習段階１７０の間に学習させたフィルターバンク３２２が、リアルタイム動作中に、トレーラ２００の中心位置ＬＣＣＰおよび牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰを求めるために、修正された画像１４６に適用されてよい。いくつかの例では、トレーラ２００の中心位置ＬＣＣＰは、前方斜視図（図４Ｂおよび図４Ｃ）において、画像１４４を捕捉することによって求められる。カプラ中心は、近距離でのトップダウンビュー（図４Ａ）において画像１４４を捕捉することによって求めてよい。いくつかの実施形態では、トレーニングおよび学習段階１７０は、連結されていない位置にあるトレーラ２００および牽引車両１００の画像も含んでいてよい。いくつかの例では、トレーラ２００の画像１４４は、牽引車両１００から３～４メートル離れて捕捉されてよい。画像１４４は、牽引車両１００に面するトレーラ２００の側面を含んでいてよい。
【0038】
いくつかの例では、トレーニングおよび学習段階１７０の間、修正された画像１４６内のトレーラ２００およびカプラ・牽引バーの組み合わせ２１０は、ランダムに配向されておらず、たとえば、０°または９０°等の既知の配向角度を有している。さらに、トレーラ２００とカプラ・牽引バーの組み合わせ２１０とは、実際のそれらの接続と同様に、前方斜視図（図４Ｂおよび図４Ｃ）およびトップダウンビュー（図４Ａ）の捕捉された画像１４４内で互いに直交して接続されている。
【0039】
いくつかの実施形態では、トレーナモジュール１７２は、牽引バー・カプラＲＯＩ４００ｃが牽引車両１００に対して、すなわち、牽引車両１００がトレーラ２００に連結されている間の牽引車両１００の長手方向軸Ｙに対してゼロ配向になるように、牽引バー・カプラＲＯＩ４００ｃの捕捉された上面図画像１４６ａを修正する。さらに、トレーナは、トレーラＲＯＩ４００ｂが牽引車両１００に対して、すなわち、牽引車両１００がトレーラ２００に連結されている間の牽引車両１００の長手方向軸Ｙに対してゼロ配向になるように、トレーラ２００の斜視画像１４６ｂ、１４６ｃを修正する。
【0040】
いくつかの例では、学習プロセス１７０中に学習させたフィルターバンク３２２を使用して、トレーラ２００のトレーラピッチが推定される。トレーナモジュール１７２は、カプラ・牽引バーの組み合わせ２１０またはトレーラ２００ではない、画像１４４内の領域をマスクしてよい。したがって、トレーナモジュール１７２は、画像１４４のＲＯＩ４００内のカプラ・牽引バーの組み合わせ２１０またはトレーラ２００領域のみを使用し、周囲の領域は、トレーニング中はマスクされており、トレーニングされたＲＯＩ４００が、一貫した結果を伴う様々な環境条件において使用されてよい。このアプローチは、メモリ１５４内に格納されているトレーニングデータの量を減らす。
【0041】
いくつかの実施形態では、トレーナモジュール１７２は、カプラ２１２の中心ＬＣＣＰまたは牽引バー２１４でのトレーラの底部中心ＬＴＣＰ以外の付加的な画像キーポイントを分析する。したがって、検出段階１８０の間、コントローラー１５０は、信頼値を決定するために、リアルタイム動作中に付加的なキーポイントからの相関エネルギーを使用することができる。したがって、検出段階１８０の信頼度を高めるために、トレーニングＲＯＩ４００内のキーポイントが、リアルタイムで捕捉された画像において識別されたキーポイントと一致されてよい。
【0042】
いくつかの実施形態では、トレーナモジュール１７２は、トレーニングおよび学習段階１７０中に、トレーラ２００、牽引バー２１４およびカプラ２１２の３次元（３Ｄ）ビューを生成してよい。さらに、トレーナモジュール１７２は、測定スケールで３Ｄビューを生成してよく、そのためトレーナモジュール１７２は、物理的なトレーラ構成要素と正規化されたＲＯＩ４００との間のスケールを求めることができる。いくつかの例では、トレーナモジュール１７２は、トレーラ２００およびカプラ・牽引バーの組み合わせ２１０の形状特徴を決定および学習する。
【0043】
いくつかの例では、トレーナモジュール１７２は、牽引車両１００の最初の使用時に、牽引車両１００の運転者に対して実行される。したがって、トレーナモジュール１７２は、運転者の、牽引車両の最初の使用の間に、受け取った１つまたは複数の画像１４４に基づいてフィルターバンク３２２を決定する。いくつかの例では、フィルターバンク３２２を、オンライン適応学習プロセスでも使用することができ、または牽引車両１００は、オンラインシステムから付加的なフィルターバンク３２２を受け取ってよい。
【0044】
いくつかの例では、トレーニングおよび学習段階１７０は、牽引車両１００とは別個に配置されているクラウドコンピューティングハードウェアデバイス上で実行される。たとえば、牽引車両１００の後方カメラ１４２ａは、車両の後方環境の画像１４４を捕捉し、無線インターネット接続を介して、捕捉された画像１４４をクラウドコンピューティングハードウェアデバイスに伝送する。クラウドコンピューティングハードウェアデバイスは、トレーナモジュール１７２を実行し、フィルターバンク３２２が決定されると、クラウドコンピューティングハードウェアデバイスは、無線インターネット接続を介してフィルターバンク３２２を牽引車両１００に送り返す。牽引車両１００は、フィルターバンク３２２を受け取り、フィルターバンク３２２をメモリハードウェア１５４内に格納する。
【0045】
検出段階１８０
【0046】
トレーニングおよび学習段階１７０が実行されて完了すると、検出段階１８０が実行可能である。検出モジュール１６０は、以下のものを動作させる。すなわち、ＲＯＩ提案決定器１８２、トレーラおよびカプラ検出器１８４、ポーズおよびスケール推定器１８６、カルマンマルチチャネル相関フィルター（ＭＣＣＦ）トラッカー１８８、信頼度計算モジュール１９０、適応型牽引ボール高さ変化検出器１９２および現実世界位置推定モジュール１９４を動作させる。任意に実装されていてよいＲＯＩ提案決定器１８２は、捕捉された画像１４４を分析し、カプラ・牽引バーの組み合わせ２１０またはトレーラ２００を含んでいるＲＯＩ提案４００ｐを出力する。次に、トレーラおよびカプラ検出器１８４は、ＲＯＩ提案４００ｐを分析し、図４Ａ～図４ＣのＲＯＩ４００ｃ、４００ｔを使用して、トレーラ（遠い場合）および牽引バー・カプラ（近い場合）の位置を突きとめる。ポーズおよびスケール推定器１８６は、画像全体を分析し、トレーラ２００のポーズを求める。次に、カルマンＭＣＣＦトラッカー１８８は、牽引車両１００がトレーラ２００に向かって動いている間、位置が突きとめられた（トレーラおよびカプラ検出器１８４によって位置が突きとめられた）トレーラまたは牽引バー・カプラを追跡する。信頼度計算器１９０は、カプラの位置を求めるために信頼度を計算する。いくつかの例では、適応型車両牽引ボール高さ変化検出器１９２は、現在のトレーラヒッチ２１０の位置に基づいて、車両牽引ボールの高さの変化をチェックする。適応型車両牽引ボール高さ変化検出器１９２は、トレーラ２００および牽引車両１００が連結された位置にある間に実行されてよく、したがって、適応型車両牽引ボール高さ変化検出器は、牽引ボールの高さの変化をチェックし、メモリハードウェア１５４内に格納されているトレーニング／学習した情報が、現在の牽引ボールの高さから学習した特徴と一致することを検証し、次の連結の試みにおいて潜在的な衝突が回避され得る。最後に、現実世界位置推定モジュール１９４は、現実世界の座標における上述のモジュール１８２～１９２に基づいて、カプラ２１２の位置を求める。
【0047】
ＲＯＩ提案決定器１８２
【0048】
図５は、受け取った画像１４４に基づいて１つまたは複数のＲＯＩ提案４００ｐを決定し、カプラ・牽引バーの組み合わせ２１０またはトレーラ２００の周りに、ぴったり合ったバウンディングボックス（ＲＯＩ）を適用することによって、受け取った画像１４４内のカプラ・牽引バーの組み合わせ２１０またはトレーラ２００を自動的に検出するために、ＲＯＩ提案決定器１８２によって実行される方法５００を示している。ブロック５０２で、ＲＯＩ提案決定器１８２は、１つまたは複数の画像１４４を受け取る。ブロック５０４で、ＲＯＩ提案決定器１８２は、受け取った画像１４４を分析し、分析のための有効なエリアを決定する。たとえば、図５Ａを参照すると、カプラ２１２を検出するために、ＲＯＩ提案決定器１８２は、カメラ較正に基づいて有効な領域５３０を決定し、地平線より上のエリアおよび牽引車両１００の本体を含んでいるエリアを除外する。同様に、トレーラを検出するために、ＲＯＩ提案決定器１８２は、カメラ較正に基づいて有効な領域５３０を決定し、トレーラ２００より上のエリアおよびトレーラ２００より下のエリアを除外する。
【0049】
続いて、ＲＯＩ提案決定器１８２は、ＲＯＩ提案４００ｐを決定するために、３つの方法のうちの１つを実行してよい（すなわちＲＯＩ提案４００ｐは、カプラＲＯＩ４００ｃまたはトレーラＲＯＩ４００ｔを含んでいてよい）。方法１：ブロック５０６で、ＲＯＩ提案決定器１８２は、最大ピークが発見されるまで、画像領域５３０をカバーする一連の走査ウィンドウにわたって、学習したフィルターバンク３２２（すなわちＭＣＣＦ）を繰り返し適用する。この第１の方法は、力ずくの検索方法として知られており、実行時間が問題にならない場合に使用されてよい。
【0050】
方法２：ＲＯＩ提案決定器１８２は、ＲＯＩ提案５２０を決定するために方法２を実行してよい。ブロック５０８で、ＲＯＩ提案決定器１８２は、ＳＬＩＣ（Ｓｉｍｐｌｅ Ｌｉｎｅａｒ Ｉｔｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ）を使用して、画像１４４の受け取った領域５３０をセグメント化し、最初にスーパーピクセルを見つけ、次に、ＲＡＧ（Ｒｅｇｉｏｎ Ａｄｊａｃｅｎｔ Ｇｒａｐｈ：領域隣接グラフ）を作成して、類似性のある領域をマージする。ピクセルの類似性は、強度、距離、色、エッジおよびテクスチャに基づいていてよい。ブロック５１０で、ＲＯＩ提案決定器１８２は、ブロック５０８のセグメント化に基づいて領域隣接グラフ（ＲＡＧ）を構築する。ＲＡＧはセグメンテーションアルゴリズムに使用されるデータ構造であり、領域を表す頂点と、隣接する領域間の接続を表すエッジとを提供する。
【0051】
ブロック５１２で、ＲＯＩ提案決定器１８２は、画像１４４の決定された領域５３０内の領域をマージする。たとえば、２つの隣接するピクセルが類似している場合、ＲＯＩ提案決定器１８２は、それらを１つの領域にマージする。２つの隣接する領域が総体的に十分に類似している場合、ＲＯＩ提案決定器１８２はそれらを同様にマージする。マージされた領域はスーパーピクセルと称される。この総体的な類似性は通常、各領域の統計の比較に基づいている。
【0052】
ブロック５１４で、ＲＯＩ提案決定器１８２は、可能性のあるトレーラスーパーピクセルを識別する。スーパーピクセルは、それが最小サイズの制約および最大サイズの制約を有しており、かつ予め定められたトレーラタイプに基づいて不規則な形状を除外する場合、トレーラ関心領域として適格である。ブロック５１６で、検出モジュール１６０は、特定の画像位置での推定されたトレーラの形状およびサイズに基づいて、可能性のあるトレーラスーパーピクセルを識別およびマージして、ＲＯＩ提案４００ｐを得る。ＲＯＩ提案決定器１８２は、これらのＲＯＩ提案４００ｐをトレーニングされたＭＣＣＦフィルター３２２に関連付けて、カプラ２１２の中心ＬＣＣＰの自動的なピクセル位置（図４Ａ）または牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰ（図４Ｂおよび図４Ｃ）に対するピークエネルギーを見つける。
【0053】
方法３：ＲＯＩ提案決定器１８２は、ＲＯＩ提案５２０を決定するために方法３を実行してよい。ブロック５１８で、ＲＯＩ提案決定器１８２は、多数のカプラ・牽引バーの組み合わせ２１０またはトレーラ２００の検出を一般化し得る他の任意の物体検出方法および分類方法を使用してよいが、トレーラ駐車場内の特定の優先トレーラを識別することができない。いくつかの例では、ディープニューラルネットワーク（ＤＮＮ）または他の一般化方法が使用されてよいが、特定のトレーラタイプを識別することができない。ＲＯＩ提案５２０は、他の視覚ベースの物体検出方法および分類方法によって提供されてよい。ＲＯＩ提案４００ｐは、レーダーまたはＬＩＤＡＲ等の他のセンサーが利用可能な場合にはそれによって決定されてもよい。誤検知のＲＯＩ提案４００ｐを減らすために、複数のＲＯＩ提案方法を組み合わせてよい。
【0054】
トレーラおよびカプラ検出器１８４
【0055】
図６は、牽引車両１００がトレーラ２００に接近する間のトレーラおよびカプラ検出器１８４のフローチャートを示している。ブロック６０２で、牽引車両１００の開始位置は、通常、トレーラ２００から数メートルの距離Ｄ内にある。ブロック６０４で、トレーラおよびカプラ検出器１８４は、メモリハードウェア１５４から（トレーニング段階によって格納された）パラメータおよびトレーニングされたＭＣＣＦフィルター３２２を受け取る。パラメータには、カメラの内因性の較正情報および外因性の較正情報として、牽引ボール１２２と牽引車両の前車軸との間の距離、牽引車両のホイールベースおよび牽引ボールの初期の高さ等の牽引車両構成、およびトレーラ２００の幅、カプラ２１２とトレーラホイール中心との間の距離等のトレーラ構成が含まれ得るが、これらに限定されない。カメラの内因性のパラメータには、焦点距離、画像センサー形式および主点が含まれていてよく、カメラの外因性のパラメータには、３Ｄワールド座標から３Ｄカメラ座標への座標系変換が含まれていてよい。換言すれば、外因性のパラメータは、カメラ中心の位置およびワールド座標におけるカメラの方位を規定する。ブロック６０６で、トレーニングされたフィルターと、特定のビューポートポーズおよびビューポート中心でのトレーラおよびカプラ関心領域との間の最大相関エネルギーを発見するために、トレーラおよびカプラ検出器１８４は、他のモジュールからトレーラ２００またはカプラ・牽引バーの組み合わせ２１０のポーズ推定を受け取ってよく、またはポーズおよびスケール推定器１８６は、ＭＣＣＦ３２２に基づいて、トレーラ２００またはカプラ・牽引バーの組み合わせ２１０のポーズおよびスケールを繰り返し推定してよい。
【0056】
次に、ブロック６０８で、トレーラおよびカプラ検出器１８４は、ビューポートの中心およびビューポートの回転角度（ピッチ、ヨー、ロール）を調整することによって動的なビューポートを決定し、その結果、修正された画像１４６は、既知の配向を有するトレーニングされたパターン（すなわち図４Ａ～図４Ｃに示されたＲＯＩ４００ｃ、４００ｔ）に類似した外見になる。図７Ａ～図７Ｄを参照すると、カメラからのビューポート中心距離と、ピッチおよびヨー等の視野角とを変更することによって、最大相関エネルギーに達するトレーニングされたパターン（すなわち図４Ａ～図４Ｃに示されたＲＯＩ４００ｃ、４００ｔ）と一致するまで、トレーラの外見が変化するだろう。現実世界では、トレーラ２００と牽引車両１００との間の配向角度が０である完全な整列は行われず、トレーラ２００と牽引車両１００との間の距離も変化する。トップダウンビューおよびフォワードビューに対するビューポート７００は、ワールド座標系において、ｍｍ（ミリメートル）単位で（ｘ、ｙ、ｚ）での中心によって規定される。ビューポート７００のサイズは、（幅＿ｍｍ×高さ＿ｍｍ）ならびに（幅＿ｐｘ×高さ＿ｐｘ）において、ａｕｔｏｓａｒ（ＡＵＴｏｍｏｔｉｖｅ Ｏｐｅｎ Ｓｙｓｔｅｍ ＡＲｃｈｉｔｅｃｔｕｒｅ）車両座標系に対するピッチ、ヨーおよびロール回転角度で規定される。画像の１ピクセルあたりのミリメートルおよび１ミリメートルあたりのピクセルを計算することができる。修正ビューポート７００中心が固定されている場合には、スケール推定が必要である。修正された画像におけるトレーラサイズが、学習したフィルターの１つのチャネルのサイズと同じになるように、修正ビューポート中心を適応させることができる。ビューポート中心を変えることによって、推定されたスケールを回避することができる。トラックとトレーラとが、現実世界において、完全に整列していない場合には、フォワードビューにおけるトレーラの外見がトレーニングパッチと同じ配向および外見を維持するように、修正ビューポートのヨー角を適応させることができる。修正された画像内のトレーラの１つのチャネルの学習したフィルターと同じサイズを維持するために、トレーラのキーポイントの位置決定中に、トレーニングされたフィルターとのピーク相関エネルギーを見つけることによって、ビューポートヨー角を繰り返し求めることができる。一連の仮想カメラは、各フレームにおけるビューポート中心に配置されている。
【0057】
動的なビューポート７００は、カメラ１４２ａからのビューポート中心の長手方向距離である視距離と、ピッチ、ヨーおよびロール等のビューポート回転角度（ビューポートポーズとも称される）である視野角とを調整するように構成されている。したがって、トレーラ２００の外見は、異なる中心位置およびポーズ構成を有するビューポート７００に基づいて変化する。したがって、ブロック６０８で、検出器１８４は、トレーニングされたＲＯＩ４００と一致するように、現在の画像１４４のビューポートを調整する。図７Ａは、ビューポートが牽引車両１００とトレーラ２００との間の中間距離にあることを示している。図７Ｂは、ビューポートが中間距離に対して、より近い距離にあることを示している。さらに、図７Ｃは、ビューポートが、牽引車両１００および取り付けられているトレーラ２００を捕捉することを示している。図７Ｄは、ビューポート７００の異なる、眺めの中心および視野角の上面図を示している（「眼」の位置はビューポート中心であり、「眼」の方向はビューポートポーズである。眼の位置は、たとえば、カメラ１４２ａとトレーラ２００との間に立って、トレーラ２００を見ている、または周りを見ている人を表してよい）。
【0058】
ブロック６１０で、トレーラおよびカプラ検出器１８４は、それがカプラ・牽引バーの組み合わせ２１０を検出しているか、またはトレーラ２００を検出しているかを判断する。したがって、トレーラおよびカプラ検出器１８４が、それがカプラ・牽引バーの組み合わせ２１０を検出していると判断すると、ブロック６１２で、捕捉された画像１４４は、図４Ａにおいて前に示したような、カプラ・牽引バーの組み合わせ２１０のトップダウンビューを含んでいる。しかし、トレーラおよびカプラ検出器１８４が、それがトレーラ２００を検出していると判断すると、ブロック６１４で、捕捉画像１４４は、図４Ｂおよび図４Ｃにおいて前に示したような、トレーラ２００の斜視図を含んでいる。
【0059】
次に、ブロック６１６で、トレーラおよびカプラ検出器１８４は、ブロック６１０の判断に基づいて、トレーラＲＯＩ提案４００ｐまたは牽引バー・カプラＲＯＩ提案４００ｐを決定するようにＲＯＩ提案決定器１８２に指示する。トレーラおよびカプラ検出器１８４は、カプラ・牽引バーの組み合わせ２１０およびトレーラ２００のそれぞれについてルックアップテーブル（ＬＵＴ）も生成し、ここでルックアップテーブルＬＵＴは、魚眼画像１４４におけるピクセル位置に対応する、（ブロック６０８で決定された）動的なビューポートからのエントリを含んでいる。
【0060】
ブロック６１８で、トレーラおよびカプラ検出器１８４は、ブロック６０８で決定された動的なビューポート画像のＲＯＩ提案４００ｐ内で、カプラ中心ＬＣＣＰに対するピーク相関エネルギーの位置、または牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰに対するピーク相関エネルギーの位置を求める。相関エネルギーは、相互のピクセル位置の関数である、（たとえば、ＲＯＩ提案４００ｐ画像パッチと、そのキーポイントがトレーラの底部中心（ＬＴＣＰ）またガウシアン曲線のピークにある、事前にトレーニングされたトレーラパッチ４００またはカプラ中心でガウス加重された牽引バー・カプラパッチとの間の）２つの画像の特徴間の類似性の尺度を指す。ＲＯＩ提案４００ｐにおけるピーク相関エネルギーは、トレーニングされた画像パッチ４００におけるガウス加重されたキーポイントに対応する。いくつかの例では、検出器１８４は、図８に示された方法８００を実行して、カプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心のピクセル位置ＬＴＣＰに対するピーク相関エネルギーを求める。ブロック８０２で、検出器１８４は、メモリハードウェア１５４から、決定器１８２によって決定され、トレーニング段階中に使用された画像パッチと同じサイズに再スケーリングされたＲＯＩ提案４００ｐを検索する。ブロック８０２で、検出器１８４は、照明変動を低減するために、ＲＯＩ提案４００ｐに対して正規化関数を実行する。ブロック８０４で、検出器１８４は、図３のブロック３０４で実行された方法と同様にマルチチャネルの正規化されたＨＯＧ特徴を計算する。ブロック８０６で、検出器１８４は、図３のブロック３１０の方法と同様に、コサイン窓をＨＯＧチャネルに適用し、それらを周波数領域に変換する。ブロック８０８で、検出器１８４は、周波数領域におけるＲＯＩ提案パッチ４００ｐとトレーニングされたフィルター３２２との間のピクセル位置の関数として相関エネルギーマップを決定し、画像領域に戻す。ブロック８１０で、検出器１８４は、相関エネルギーマップ内のピークエネルギーのピクセル位置を見つけることによって、カプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心のピクセル位置ＬＴＣＰを求める。
【0061】
再度、図６を参照すると、ブロック６２０で、トレーラおよびカプラ検出器１８４は、ルックアップテーブルに基づいて、動的なビューポートのＲＯＩ提案４００ｐ内で決定されたカプラ中心ＬＣＣＰまたは牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰを生の魚眼画像１４４にマッピングする。
【0062】
カルマンＭＣＣＦトラッカー１８８
【0063】
ブロック６２２で、いくつかの例において、トラッカー１８８は、ブロック６２０での、マッピングされたカプラ中心ＬＣＣＰまたは牽引バー２１４でのトレーラ底部中心のピクセル位置ＬＴＣＰに基づいて、魚眼画像１４４内のカプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心のピクセル位置ＬＴＣＰを追跡する。トラッカー１８８は、ビューポート７００およびキーポイントを追跡するように構成されているカルマンＭＣＣＦトラッカーを含んでいてよい。ブロック６２２で、トラッカー１８８は、生の画像における、ビューポート中心およびビューポートポーズならびにトレーラ底部中心ＬＴＣＰおよびカプラ中心ＬＣＣＰを追跡する。ブロック６２４で、トラッカー１８８は、ビューポート中心およびビューポートポーズを予測し、生の画像における予測されたキーポイントから、新しいビューポートにおける更新されたカプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心のピクセル位置ＬＴＣＰを予測する。予測されたビューポート７００は、次のビューポートポーズおよびビューポート中心を求めるための基準としてブロック６０６で使用されてよい。
【0064】
信頼度計算１９０
【0065】
いくつかの実施形態では、信頼度計算モジュール１９０が、追跡されたカプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心の追跡されたピクセル位置ＬＴＣＰに関連付けされた信頼値を決定する。信頼度計算モジュール１９０は、上面図または３Ｄビューにおけるトレーラ２００およびカプラ・牽引バーの組み合わせ２１０の配向を求めて、トレーラポーズの信頼度をチェックするために、カプラ中心ＬＣＣＰまたはカプラ・牽引バーの組み合わせ２１０でのトレーラ底部中心の位置ＬＴＣＰを使用してよい。
【0066】
さらに、信頼度計算モジュール１９０は、カスケードアプローチを適用して、キーポイントの位置決定の信頼度を決定する。最初に、信頼度計算モジュール１９０がトレーラ本体を検出し、次に信頼度計算モジュール１９０がカプラ・牽引バーの組み合わせ２１０を検出し、信頼度計算モジュール１９０が２つのキーポイント間の制約をチェックする。次に、信頼度計算モジュール１９０がズームインして、カプラ中心ＬＣＣＰおよびその周辺の特徴を詳細に調べる。カプラ中心ＬＣＣＰを識別するために使用できる十分な特徴がある限り、ズーム比は１．５～２．５であってよい。信頼度計算モジュール１９０は、カスケードアプローチから、相関エネルギーおよびカプラ中心ＬＣＣＰの位置をチェックする。最後に、信頼度計算モジュール１９０は、カプラ自体の高解像度パッチを決定し、信頼度計算モジュール１９０は、そのエッジを分析して、カプラ中心の位置決定精度を確認する。信頼度計算モジュール１９０は、いくつかの方法を使用して１つのメトリックを推定して、位置決定精度の信頼度を高める。信頼度計算モジュール１９０が決定しようと試みる、この１つのメトリックは、カプラ中心位置ＬＣＣＰである。したがって、信頼度計算モジュール１９０は、トレーラ・牽引バー・カプラの組み合わせ内の物理的な制約および関係、およびテクスチャのサイズが変化するキーポイントを分析し、信頼度計算モジュール１９０は、カプラの高解像度エッジ特徴も分析する。信頼度計算モジュール１９０がその分析を完了すると、信頼度計算モジュール１９０は、カプラ中心位置ＬＣＣＰの信頼度を決定する。信頼度が閾値を下回っている場合、連結動作が停止されてよい、またはより広い検索を実行するためにアルゴリズムがリセットされてよい。信頼度計算モジュール１９０は、トレーニングされたフィルター３２２と実際のトレーラおよび牽引バー・カプラとの間の不一致を判断するために、その前に決定された信頼度の履歴を分析してよい。
【0067】
適応型牽引ボール高さ変化検出器１９２
【0068】
図９を参照すると、いくつかの実施形態では、牽引車両１００がトレーラ２００に連結された後に、適応型牽引ボール高さ変化検出器１９２が、取り付けられているカプラ・牽引バーの組み合わせ２１０の特徴の（１つまたは複数の捕捉された画像１４４に基づく）スケールが、その前に学習したカプラ・牽引バーの組み合わせ２１０に関連付けされたスケールと同じであるか否かを判断する。
【0069】
ブロック９０２で、適応型牽引ボール高さ変化検出器１９２は、トレーラ２００に取り付けられている牽引車両１００の後方カメラ１４２ａから画像１４４を受け取る。牽引車両１００がトレーラ２００に取り付けられているので、カプラ中心ＬＣＣＰと車両牽引ボール１２２の中心とが重なる。画像１４４は、カプラ・牽引バーの組み合わせ２１０に関連付けされているので、画像は、図４Ａに示されているようにトップダウン画像である。ブロック９０４で、適応型牽引ボール高さ変化検出器１９２は、学習したフィルターバンク３２２および牽引バーのパラメータをメモリハードウェア１５４からロードする。次に、ブロック９０６で、適応型牽引ボール高さ変化検出器１９２は、画像１４４の修正されたトップダウンビュー１４６を生成する。ブロック９０８で、適応型牽引ボール高さ変化検出器１９２は、図８に示されたように方法８００を実行することによってカプラ中心を見つける。ブロック９１０で、適応型牽引ボール高さ変化検出器１９２は、異なるスケールファクターで多数の画像パッチをトリミングする。このスケールファクターは、より大きな相関エネルギーが発見された方向において反復的に検索されてよい。これらの画像パッチは、トレーニングおよび学習段階１７０中に使用されるパッチ（ＲＯＩ４００）のサイズにサイズ変更され、次にトレーニングされたフィルター３２２と相関して適用される。最大ピーク相関エネルギーを有する画像パッチのスケールファクターが選択されるだろう。ブロック９１２で、適応型牽引ボール高さ変化検出器１９２は、最大ピークエネルギーを有する捕捉された画像１４４内の特徴のスケールが、トレーニングされたＲＯＩ４００ｃに関連付けされた特徴のスケールと異なっているか否か、および最大ピークエネルギーが所定の閾値より大きいか否かを判断する。一方または両方の条件が満たされない場合、適応型牽引ボール高さ変化検出器１９２は、画像１４４がカプラ・牽引バーの組み合わせ２１０を含んでいないこと、またはカプラ・牽引バーの組み合わせ２１０のスケールが変更されていないことを判断する。しかし、両方の条件が満たされる場合、ブロック９１４で、適応型牽引ボール高さ変化検出器１９２は、牽引ボール高さが変化したこと、したがってトレーニングデータが更新され得ることを運転者に通知するための表示フラグを設定する。ブロック９１６で、適応型牽引ボール高さ変化検出器１９２は、学習段階（図３）の間に学習させていたフィルターバンク３２２（すなわちＭＣＣＦ）を更新する。ブロック９１８で、適応型牽引ボール高さ変化検出器１９２は、トレーニングパッチが固定された寸法を有する、トレーニングおよび学習段階１７０中に使用される画像パッチに関連付けされたスケールを更新する。ブロック９２０で、適応型牽引ボール高さ変化検出器１９２は、更新されたフィルターバンク３２２をメモリハードウェア１５４内に格納した。したがって、適応型牽引ボール高さ変化検出器１９２は、牽引ボール１２２とカプラ２１２とが連結中に互いに衝突するのを防ぐための安全機能のために、牽引バー・カプラパッチのスケールを現在の牽引ボールの高さに同期させる手順である。これが同期されると、カプラ２１２と牽引ボール１２２とが、たとえば互いに１メートル以内で離れている間、安全機能を備えた同様の手順が実行されてよく、カプラ２１２と牽引ボール１２２とが連結プロセス中に互いに衝突するのを防ぐために、カプラ２１２が牽引ボール１２２よりも高いか否か、または低いか否かが判断される。このプロセスは、相対的な高さの決定とも称される。
【0070】
現実世界位置推定モジュール１９４
【0071】
現実世界位置推定モジュール１９４は、ワールド座標系においてトラッカー１８８によって決定されるトレーラカプラ２１２の位置を求める。ビューポート中心は３次元座標である。動作中に各画像フレームにおいて同じスケールが維持され、かつトレーラ２００の３Ｄでの物理的な幅が既知である場合には、トレーラ２００の３Ｄ座標とビューポート中心との間の関係が決定されてよい。テクスチャの幅ならびに現実世界のトレーラの幅に基づく、トレーラに対する、この３Ｄ距離推定方法は、浜辺、未舗装道路、草地等の凹凸のある表面が存在する状況に対してロバストである。さらに、現実世界における、牽引バーでのトレーラ底部中心ＬＴＣＰとカプラ中心との間の固定された距離は、カプラ中心およびカプラ高さの３Ｄ距離推定を最適化する別の有用な制約である。
【0072】
したがって、現実世界位置推定モジュール１９４がトレーラカプラ２１２の現実世界位置を求めると、現実世界位置推定モジュール１９４は、これを駆動支援システム１９６に送る。受け取った現実世界位置に基づいて、駆動支援システム１９６は、牽引車両１００とトレーラ２００との間の経路を決定し、これによって牽引車両１００は、連結のためにトレーラ２００と整列する。さらに、駆動支援システム１９６は、駆動システム１１０に１つまたは複数の命令１９８を送り、これによって、駆動システム１１０は、牽引車両１００を後方方向Ｒｖにおいてトレーラ２００に向かって自律的に操縦する。いくつかの例では、駆動支援システム１９６は、牽引車両１００の前後軸Ｙｖとトレーラ２００の前後軸Ｙｔとが一致するように牽引車両１００を配置するように駆動システム１１０に指示する。
【0073】
図１０は、図１～図９に示されたシステムを使用して、牽引車両１００の後方に配置されているターゲット２００、２１０、２１２、２１４（たとえばトレーラ２００、カプラ・牽引バーの組み合わせ２１０、カプラ２１２および牽引バー２１４）の位置を求める方法１０００の動作の例示的な段取りを提供する。ブロック１００２で、方法１０００は、データ処理ハードウェア１５２で、牽引車両１００の後部に配置されているカメラ１４２ａから画像１４４を受け取ることを含んでいる。カメラ１４２ａは、魚眼カメラを含んでいてよい。画像１４４はターゲット２００、２１０、２１２、２１４を含んでいる。ブロック１００４で、方法１０００は、データ処理ハードウェア１５２によって、１つまたは複数のフィルターバンク３２２を画像１４４に適用することを含んでいる。フィルターバンク３２２は、データ処理ハードウェア１５２と通信するメモリハードウェア１５４内に格納されている。ブロック１００６で、方法１０００は、データ処理ハードウェア１５２によって、適用されたフィルターバンク３２２に基づいて、各画像１４４内の関心領域（ＲＯＩ）４００、４００ｃ、４００ｔを決定することを含んでいる。ＲＯＩ４００、４００ｃ、４００ｔは、ターゲット２００、２１０、２１２、２１４を含んでいる。ブロック１００８で、方法１０００は、データ処理ハードウェア１５２によって、ＲＯＩ４００、４００ｃ、４００ｔ内のターゲット２００、２１０、２１２、２１４を識別することを含んでいる。ブロック１０１０で、方法１０００は、データ処理ハードウェア１５２によって、現実世界の座標系における位置を含んでいる、ターゲット２００、２１０、２１２、２１４のターゲット位置ＬＣＣＰ、ＬＴＣＰを求めることを含んでいる。ブロック１０１２で、方法１０００は、データ処理ハードウェア１５２から、牽引車両１００によって支持されており、かつデータ処理ハードウェア１５２と通信する駆動システム１１０に指示１９５、１９８を伝送することを含んでいる。指示１９５、１９８によって、現実世界の座標系におけるターゲット２００、２１２、２１４の位置に向かう、牽引車両１００の自律的な操縦が行われる。
【0074】
いくつかの実施形態では、方法１０００は、識別されたターゲット２００、２１０、２１２、２１４に向かう、牽引車両１００の自律的な操縦の間、データ処理ハードウェア１５２によって、ターゲット２００、２１０、２１２、２１４を追跡すること、およびデータ処理ハードウェア１５２によって、更新されたターゲット位置ＬＣＣＰ、ＬＴＣＰを求めることを含んでいる。方法１０００は、データ処理ハードウェア１５２から、更新された指示１９５、１９８を駆動システム１１０に伝送することも含んでいてよい。更新された指示１９５、１９８によって、更新されたターゲット位置ＬＣＣＰ、ＬＴＣＰに向かう、牽引車両１００の自律的な操縦が行われる。カメラ１４２ａが魚眼カメラであるいくつかの例では、方法１０００はさらに、１つまたは複数のフィルターバンク３２２を適用する前に、データ処理ハードウェア１５２によって、魚眼画像１４４を修正することを含んでいる。
【0075】
いくつかの実施形態では、方法１０００は、データ処理ハードウェア１５２で、データ処理ハードウェア１５２と通信するハードウェアメモリ１５４内に格納されているトレーニング画像１４４を受け取ることを含んでいる。方法１０００は、データ処理ハードウェア１５２によって、受け取った各画像内のトレーニングＲＯＩ４００、４００ｃ、４００ｔを決定することも含んでいてよく、トレーニングＲＯＩ４００、４００ｃ、４００ｔは、ターゲット２００、２１０、２１２、２１４を含んでいる。方法１０００は、データ処理ハードウェア１５２によって、各トレーニングＲＯＩ４００、４００ｃ、４００ｔ内の１つまたは複数のフィルターバンク３２２を決定することを含んでいてよい。いくつかの例では、方法１０００はさらに、データ処理ハードウェア１５２によって、ターゲットの中心を識別することを含んでおり、ここでターゲット位置ＬＣＣＰ、ＬＴＣＰは、ターゲットの中心の位置を含んでいる。
【0076】
いくつかの実施形態では、ターゲット２００、２１０、２１２、２１４は、トレーラ２００によって支持されているカプラ・牽引バーの組み合わせ２１０のカプラ２１２である。したがって、画像１４４は、図４Ａに示されているようなカプラ・牽引バーの組み合わせ２１０のトップダウンビューである。
【0077】
いくつかの実施形態では、ターゲット２００、２１０、２１２、２１４は、牽引車両１００の後方に配置されているトレーラ２００であり、ターゲット位置ＬＴＣＰは、牽引バー２１４でのトレーラ底部中心の位置である。したがって、画像１４４は、トレーラ２００の斜視図である。
【0078】
本明細書に記載したシステムおよび技術の様々な実施形態を、ディジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせで実現することができる。これらの様々な実施形態は、プログラミング可能なシステム上で実行可能かつ／または解釈可能な１つまたは複数のコンピュータプログラムでの実施形態を含んでいてよい。プログラミング可能なシステムは、少なくとも１つのプログラミング可能なプロセッサを含んでおり、このプロセッサは特定の目的または汎用の目的のものであってよく、ストレージシステム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指示を受け取るように、かつそれらにデータおよび指示を伝送するように、結合されていてよい。
【0079】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラミング可能なプロセッサのための機械命令を含んでおり、高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語および／またはアセンブリ言語／機械語として具現化することができる。本明細書で用いられる用語「機械可読媒体」および「コンピュータ可読媒体」とは、プログラミング可能なプロセッサへ、機械命令および／またはデータを供給するために用いられる任意のコンピュータプログラム製品、機器および／または装置（たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））のことを指し、これには機械命令を機械可読信号として受け取る機械可読媒体が含まれる。用語「機械可読信号」とは、プログラミング可能なプロセッサへ機械命令および／またはデータを供給するために用いられる任意の信号のことを指す。
【0080】
本明細書に記載した保護対象および機能的動作の実施形態を、ディジタル電子回路として、あるいは本明細書で開示されている構造およびそれらの構造的等価物を含んでいる、コンピュータソフトウェア、ファームウェア、またはハードウェアとして、あるいはこれらのうちの１つまたは複数の組み合わせとして、具現化することができる。さらに、本明細書に記載した保護対象を、１つまたは複数のコンピュータプログラム製品として具現化することができ、つまりデータ処理機器によって実行するために、またはデータ処理機器の動作をコントロールするために、コンピュータ可読媒体にコーディングされているコンピュータプログラム命令の１つまたは複数のモジュールとして具現化することができる。コンピュータ可読媒体を、機械可読記憶装置、機械可読ストレージ基板、メモリ装置、機械可読伝播信号に作用する組成物、またはこれらのうちの１つまたは複数の組み合わせとすることができる。用語「データ処理機器」、「コンピューティングデバイス」および「コンピューティングプロセッサ」は、データを処理するためのあらゆる機器、装置および機械を包含し、例を挙げるとすればこれらには、プログラミング可能なプロセッサ、コンピュータ、またはマルチプロセッサまたはマルチコンピュータが含まれる。機器はハードウェアに加え、対象となるコンピュータプログラムのための実行環境を生成するコードを含んでいることができ、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つまたは複数の組み合わせを構成するコードを含んでいることができる。伝播信号は人工的に生成される信号であって、たとえば機械によって生成される電気的、光学的または電磁的な信号であり、この信号は適切な受け取り機器へ伝送する目的で情報をコーディングするために生成される。
【0081】
同様に、図面には特定の順序で動作が描かれているが、このことを、図示された特定の順序または逐次的な順序でかかる動作を実施しなければならないと捉えるべきではなく、あるいは所望の結果を達成するためには図示されたすべての動作を実施しなければならないと捉えるべきではない。所定の周囲環境では、マルチタスキングおよび並列処理が有利となる可能性がある。しかも、上述の具現化態様における様々なシステム構成要素の分離を、すべての具現化態様においてかかる分離を行わなければならないと捉えるべきではなく、上述のプログラム構成要素およびシステムを通例、単一のソフトウェア製品にまとめて統合することができる、または複数のソフトウェア製品にパッケージングすることができる、と捉えるべきである。
【0082】
これまで多数の実施形態について説明してきたが、自明のとおり本開示の着想および範囲を逸脱することなく、様々な変形を行うことができる。よって、その他の実施形態は以下の特許請求の範囲内に含まれる。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図5A】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】