特許 7379457 車両カメラを使用して動作推定アルゴリズムを較正するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】車両カメラを使用して動作推定アルゴリズムを較正するためのシステムおよび方法

(51)【国際特許分類】

   B60W 40/12 20120101AFI20231107BHJP

【ＦＩ】

B60W40/12

【請求項の数】 14

(21)【出願番号】P 2021500943

(86)(22)【出願日】2019-07-11

(65)【公表番号】

(43)【公表日】2021-11-18

(86)【国際出願番号】 US2019041357

(87)【国際公開番号】W WO2020014450

(87)【国際公開日】2020-01-16

【審査請求日】2022-07-11

(31)【優先権主張番号】62/696,478

(32)【優先日】2018-07-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/507,749

(32)【優先日】2019-07-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】313005662

【氏名又は名称】コンチネンタル オートモーティブ システムズ インコーポレイテッド

【氏名又は名称原語表記】ＣＯＮＴＩＮＥＮＴＡＬ ＡＵＴＯＭＯＴＩＶＥ ＳＹＳＴＥＭＳ， ＩＮＣ．

【住所又は居所原語表記】１ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， Ｍｉｃｈｉｇａｎ ４８３２６－１５８１， ＵＳＡ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】マシュー ドナルド バークマイアー

(72)【発明者】

【氏名】カイル ピー カーペンター

(72)【発明者】

【氏名】ジュリアン イプ

(72)【発明者】

【氏名】ディレン ヴァーマ

【審査官】櫻田 正紀

(56)【参考文献】

【文献】特開２０１７－０７８６９２（ＪＰ，Ａ）

【文献】特開２００５－１１２００４（ＪＰ，Ａ）

【文献】特表２０１８－５１２５９３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２６７６８８（ＵＳ，Ａ１）

【文献】特開２０１６－２０３９７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

３０／００－６０／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

運転者支援システムを較正する方法であって、前記方法は、
運転者支援システムの較正モードに入ることと、
前記運転者支援システムのコントローラにより、第１の場所での車両の第１の推定位置および方位を判定することと、
前記車両から外向きの少なくとも１つのカメラから第１の画像をキャプチャして、前記第１の画像内の少なくとも１つの特徴を選択することと、
前記車両を少なくとも第２の場所および方位に移動させて、前記車両の第２の推定位置および方位を判定することと、
前記車両から外向きの少なくとも１つのカメラから第２の画像をキャプチャして、前記第２の画像内の少なくとも１つの特徴を選択することであって、前記第２の画像内で選択された前記少なくとも１つの特徴は、前記第１の画像内で選択された前記少なくとも１つの特徴と同じ特徴である、ことと、
前記コントローラにより、前記第１の推定位置および方位、前記第２の推定位置および方位、記録された少なくとも１つの第１の特徴データ、ならびに記録された少なくとも１つの第２の特徴データに基づいて、新しい車両動作パラメータ値を計算することと、
を含む、方法。

【請求項2】

前記車両動作パラメータ値は、ホイールベース、トラック幅、タイヤ直径、ステアリングオフセット量、およびステアリング比のうちの少なくとも１つを含み、前記車両の前記移動は、操舵、制動、および加速を含む、請求項１記載の方法。

【請求項3】

前記運転者支援システムがヒッチ支援システムであり、前記少なくとも１つの特徴が少なくともトレーラ上のヒッチレシーバである、請求項１記載の方法。

【請求項4】

前記方法は、前記運転者支援システムを最初に使用するときに完了する、請求項１記載の方法。

【請求項5】

前記方法は、周期的間隔でまたはユーザの裁量で更新される、請求項４記載の方法。

【請求項6】

前記方法は、入力機構を用いて前記少なくとも１つの特徴を選択することをさらに含み、前記入力機構が、タッチパネル、ノブコントロール、マウス、ジョイスティック、スライダバーのうちの少なくとも１つである、請求項１記載の方法。

【請求項7】

前記方法は、前記新しい車両動作パラメータ値を使用して、前記運転者支援システムの少なくとも１つの運転者支援機能を実行することをさらに含む、請求項１記載の方法。

【請求項8】

前記車両の第２の推定位置および方位を判定することが、前記車両が前記第１の場所から前記第２の場所へ移動している間にセンサシステムによって検出される経時的な車輪走行センサデータおよび操舵角度センサデータから、前記第２の推定位置および方位を計算することをさらに含む、請求項１記載の方法。

【請求項9】

運転者支援システムであって、
前記運転者支援システムの車両動作パラメータ値を較正するための命令を有するコントローラを備え、前記命令が、
前記運転者支援システムのコントローラにより、第１の場所での車両の第１の推定位置および方位を判定させることと、
前記車両から外向きの少なくとも１つのカメラから第１の画像をキャプチャさせて、前記第１の画像内の少なくとも１つの特徴を選択させることと、
前記車両が第２の場所に移動された後に、前記車両の第２の推定位置および方位を判定させることと、
前記車両から外向きの少なくとも１つのカメラから第２の画像をキャプチャさせて、前記第２の画像内の少なくとも１つの特徴を選択させることであって、前記第２の画像内で選択された前記少なくとも１つの特徴は、前記第１の画像内で選択された前記少なくとも１つの特徴と同じ特徴である、ことと、
前記コントローラにより、前記第１の推定位置および方位、前記第２の推定位置および方位、記録された少なくとも１つの第１の特徴データ、ならびに記録された少なくとも１つの第２の特徴データに基づいて、新しい車両動作パラメータ値を計算させることと、
を含む、運転者支援システム。

【請求項10】

前記車両動作パラメータ値が、ホイールベース、トラック幅、タイヤ直径、ステアリングオフセット量、およびステアリング比のうちの少なくとも１つを含み、前記車両の前記移動が、操舵、制動、および加速を含む、請求項９記載のシステム。

【請求項11】

前記運転者支援システムがヒッチ支援システムであり、前記少なくとも１つの特徴が少なくともトレーラ上のヒッチレシーバである、請求項９記載のシステム。

【請求項12】

前記コントローラによる車両動作パラメータ値の較正が、前記運転者支援システムを最初に使用するときに完了し、前記較正が、周期的間隔でまたはユーザの裁量で更新される、請求項９記載のシステム。

【請求項13】

前記運転者支援システムが、前記少なくとも１つの特徴を選択するための入力機構をさらに備え、前記入力機構が、タッチパネル、ノブコントロール、マウス、ジョイスティック、スライダバーのうちの少なくとも１つである、請求項９記載のシステム。

【請求項14】

前記車両の前記第２の推定位置および方位が、前記車両が前記第１の場所から前記第２の場所へ移動している間にセンサシステムによって検出される経時的な車輪走行センサデータおよび操舵角度センサデータから、前記第２の推定位置および方位を計算して判定される、請求項９記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、自動車、より具体的には、車両をトレーラにつなぐ際に補助するための自動車用運転者支援システムに関する。

【0002】

背景技術
トレーラは通常、動力付き牽引車両によって引っ張られる動力なしの車両である。中でも、トレーラは、ユーティリティトレーラ、ポップアップキャンパー、旅行トレーラ、家畜トレーラ、フラットベッドトレーラ、密閉型自動車運搬車、およびボートトレーラでありうる。牽引車両は、自動車、クロスオーバー、トラック、バン、スポーツユーティリティ車両（ＳＵＶ）、レクリエーショナルビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成された他の車両でありうる。トレーラは、トレーラヒッチを使用して動力付き車両に取り付けることができる。レシーバヒッチが牽引車両に取り付けられ、トレーラヒッチにつなげられて接続を形成する。トレーラヒッチは、ボールアンドソケット、第五輪およびグースネック、またはトレーラジャッキでありうる。他の取り付け機構も使用することができる。トレーラと動力付き車両との間の機械的接続に加えて、或る例では、トレーラは牽引車両に電気的に接続される。そのため、電気的接続により、トレーラは動力付き車両のリアライト回路から電力を受け取ることができ、それによって、トレーラが動力付き車両のライトと同期するテールライト、方向指示器、およびブレーキライトを有することが可能になる。

【0003】

牽引車両の運転者が直面する課題の幾つかは、牽引車両をトレーラに接続することであり、それは複数の人員が必要なことによる。例えば、一人の人員、例えば運転者が車両を運転し、別の１人または複数の人員が牽引車両およびトレーラを見て、牽引車両がヒッチと整列するためにとらなければならない経路に関する指示を運転者に提供する必要がある。運転者に指示を提供する人員が牽引車をトレーラにつなぐことに慣れていない場合、彼らには牽引車の経路を指示するための効率的な指示を提供するのが難しい場合がある。これからの他のアプローチには、運転者が繰り返し車両を降りてヒッチとカプラとの相対位置をチェックし、次いで車両に戻って、ヒッチがカプラの下に来るまで繰り返すこと、または車両バックアップカメラを使用することを含む。

【0004】

センサ技術の最近の進歩により、車両用安全システムの改善がもたらされている。衝突を検出、および衝突を回避するための構成および方法が、利用可能になりつつある。そのような運転者支援システムは、車両に配置されたセンサを使用して、進行中の衝突を検出する。幾つかの例では、システムは、衝突を防止または最小化するために、１つ以上の運転状況について運転者に警告することができる。加えて、センサおよびカメラを使用して、車両が前進方向に走行しているときに可能性のある障害物を運転者にアラートすることもできる。したがって、牽引車の運転者が直面する課題を克服するためのセンサを含むシステムを提供することが望ましい。

【0005】

さらに、運転者支援機能を備えた車両は、動作推定アルゴリズムを利用する場合がある。そのような動作推定アルゴリズムは、車両モデルと、ホイールエンコーダ値およびステアリングホイール角度などのセンサ入力とを利用して、経時的な車両の相対位置および速度を推定する。「走行距離計測法」および「推測航法」なる語は、そのようなスキームでたびたび使用される。

【0006】

例えば、トラックをトレーラに戻すために自動化された機能では、ユーザが選択したトレーラへの経路をトラックがたどることができるように、正確な動作推定アルゴリズムが必要になりうる。そのような動作推定アルゴリズムは、ステアリング比、ステアリングオフセット量、タイヤ直径、ホイールベース、トラック幅など、幾つかの車両の運動学的パラメータを利用する。ホイールベースなどの幾つかのパラメータは正確に知りうるが、タイヤ直径、ステアリング比、およびステアリングオフセット量は、良好な動作推定に十分な精度／正確さでは知りえない場合がある。トラックをトレーラカプラに戻す場合、数メートルの動作に対してセンチメートルのオーダーの精度が必要である。これには、トラックの運動学的パラメータに関する非常に優れた知識が必要である。

【0007】

パラメータを判定するための１つのアプローチには、全ての未知のパラメータを注意深く直接に測定することが含まれる。しかしながら、これは多くの場合不便かつ不正確である。

【0008】

別のアプローチでは、車両センサ入力を監視しながら、幾つかのテスト操作の実行を伴う。例えば、タイヤの直径は、車両を２０メートルなどのいくらか較正された距離をまっすぐに運転して、ホイールエンコーダの値を監視することによって判定することができる。同様に、ステアリング比は、ステアリングホイールを（ステアリングホイール角度センサから読み取ることができる）特定の角度に固定し、車両を前後に運転し、かつ、実際の車両経路の結果として得られる半径を測定することによって判定することができる。

【0009】

パラメータを判定する別のアプローチも同様であるが、上述の２０メートルなどの較正された距離を選定したり、または車両の経路半径を測定したりするのではなく、基準ディファレンシャルＧＰＳシステムを利用して車両の動作を測定する。

【0010】

概要
１つの一般的な態様では、運転者支援システムを較正する方法を含み、方法は、運転者支援システムの較正モードに入ることを含む。較正方法はまた、車両を第１の場所および方位に移動させることを含む。較正方法はまた、運転者支援システムのコントローラにより、第１の場所での車両の現在の推定位置および方位を記録することを含む。較正方法はまた、車両から外向きの少なくとも１つのカメラからの第１の画像を表示することを含む。較正方法はまた、入力機構を使用することによって第１の画像内の少なくとも１つの特徴を選択し、運転者支援システムのコントローラにより、第１の場所および方位での少なくとも１つの選択された特徴データを記録することを含む。較正方法はまた、車両を少なくとも第２の場所および方位に移動させることを含む。較正方法はまた、運転者支援システムのコントローラにより、少なくとも第２の場所での車両の現在の推定位置および方位を判定することを含む。較正方法はまた、少なくとも１つのカメラからの第２の画像を表示することを含む。較正方法はまた、入力機構を使用することによって第２の画像内の少なくとも１つの特徴を選択し、運転者支援システムのコントローラにより、第２の場所および方位での少なくとも１つの選択された特徴データを記録することを含み、ここで、少なくとも１つの選択された特徴は、以前に選択された少なくとも１つの特徴と同じ特徴である。較正方法はまた、第１の推定位置および方位、第２の推定位置および方位、記録された少なくとも１つの第１の特徴データ、ならびに記録された少なくとも１つの第２の特徴データに基づいて、コントローラにより、新しい車両動作パラメータ値を計算することを含む。

【0011】

実現形態は、以下の特徴のうちの１つ以上を含みうる。車両動作パラメータ値が、ホイールベース、トラック幅、タイヤ直径、ステアリングオフセットおよびステアリング比、操舵、制動および加速を含む車両の移動、のうちの少なくとも１つを含む、方法。

【0012】

運転者支援システムがヒッチ支援システムであり、少なくとも１つの特徴が少なくともトレーラ上のヒッチレシーバである、方法。

【0013】

動作較正方法が、運転者支援システムを最初に使用するときに完了する、方法。

【0014】

動作較正方法が、周期的間隔でまたはユーザの裁量で更新される、方法。

【0015】

入力機構が、タッチパネル、ノブコントロール、マウス、ジョイスティック、スライダバーのうちの少なくとも１つである、方法。

【0016】

方法が、新しい車両動作パラメータ値を使用して、運転者支援システムの少なくとも１つの運転者支援機能を実行することをさらに含む、方法。

【0017】

第２の場所での車両の現在の推定位置および方位を判定することが、車両が第１の位置から第２の位置へ移動している間にセンサシステムによって検出される経時的な車輪走行センサデータおよび操舵角度センサデータから、位置および方位を計算することをさらに含む、方法。

【0018】

１つの一般的な態様では、運転者支援システムを較正する方法を含み、方法は、運転者支援システムの較正モードに入ることを含む。較正方法はまた、運転者支援システムのコントローラにより、第１の推定位置、および方位を判定することを含む。較正方法はまた、車両から外向きの少なくとも１つのカメラから画像をキャプチャして、画像内の少なくとも１つの特徴を選択することを含む。較正方法はまた、車両を少なくとも第２の場所および方位に移動させて、車両の第２の推定位置および方位を判定することを含む。較正方法はまた、車両から外向きの少なくとも１つのカメラから第２の画像をキャプチャして、第２の画像内の少なくとも１つの特徴を選択することを含み、ここで、第２の画像内で選択された少なくとも１つの特徴は、第１の画像内で選択された少なくとも１つの特徴と同じ特徴である。較正方法はまた、第１の推定位置および方位、第２の推定位置および方位、記録された少なくとも１つの第１の特徴データ、ならびに記録された少なくとも１つの第２の特徴データに基づいて、コントローラにより、新しい車両動作パラメータ値を計算することを含む。

【0019】

実現形態には、以下の特徴のうちの１つ以上を含みうる。車両動作パラメータ値が、ホイールベース、トラック幅、タイヤ直径、ステアリングオフセットおよびステアリング比、操舵、制動および加速を含む車両の移動、のうちの少なくとも１つを含む、方法。

【0020】

運転者支援システムがヒッチ支援システムであり、少なくとも１つの特徴が少なくともトレーラ上のヒッチレシーバである、方法。

【0021】

動作較正方法が、運転者支援システムを最初に使用するときに完了する、方法。

【0022】

動作較正方法が、周期的間隔でまたはユーザの裁量で更新される、方法。

【0023】

入力機構を用いて少なくとも１つの特徴を選択することをさらに含む、方法。

【0024】

入力機構が、タッチパネル、ノブコントロール、マウス、ジョイスティック、スライダバーのうちの少なくとも１つである、方法。

【0025】

方法が、新しい車両動作パラメータ値を使用して、運転者支援システムの少なくとも１つの運転者支援機能を実行することをさらに含む、方法。

【0026】

第２の場所での車両の現在の推定位置および方位を判定することが、車両が第１の位置から第２の位置へ移動している間にセンサシステムによって検出される経時的な車輪走行センサデータおよび操舵角度センサデータから、位置および方位を計算することをさらに含む、方法。

【0027】

１つの一般的な態様は、運転者支援システムを含み、運転者支援システムは、運転者支援システムの車両動作パラメータ値を較正するための命令を有するコントローラを備え、命令が、運転者支援システムのコントローラにより、第１の場所での車両の第１の推定位置および方位を判定させることと、車両から外向きの少なくとも１つのカメラから画像をキャプチャさせ、画像内の少なくとも１つの特徴を選択させることと、車両が第２の場所に移動された後に、第２の推定位置、および車両の方位を判定させることと、車両から外向きの少なくとも１つのカメラから第２の画像をキャプチャさせ、第２の画像内の少なくとも１つの特徴を選択させることであって、第２の画像内で選択された少なくとも１つの特徴は、第１の画像内で選択された少なくとも１つの特徴と同じ特徴である、ことと、コントローラにより、第１の推定位置および方位、第２の推定位置および方位、記録された少なくとも１つの第１の特徴データ、ならびに記録された少なくとも１つの第２の特徴データに基づいて、新しい車両動作パラメータ値を計算させることと、を含む。

【0028】

実現形態には、以下の特徴のうちの１つ以上を含みうる。車両動作パラメータ値が、ホイールベース、トラック幅、タイヤ直径、ステアリングオフセットおよびステアリング比、操舵、制動および加速を含む車両の移動、のうちの少なくとも１つを含む、システム。

【0029】

運転者支援システムがヒッチ支援システムであり、少なくとも１つの特徴が少なくともトレーラ上のヒッチレシーバである、システム。

【0030】

コントローラによる車両動作パラメータ値の較正が、運転者支援システムを最初に使用するときに完了し、動作較正方法が、周期的間隔でまたはユーザの裁量で更新される、システム。

【0031】

システムが、少なくとも１つの特徴を選択するための入力機構をさらに含み、入力機構は、タッチパネル、ノブコントロール、マウス、ジョイスティック、スライダバーのうちの少なくとも１つである、システム。

【0032】

第２の場所での車両の現在の推定位置および方位が、車両が第１の位置から第２の位置へ移動している間にセンサシステムによって検出される経時的な車輪走行センサデータおよび操舵角度センサデータから、位置および方位を計算することによって判定される、システム。

【0033】

本発明の他の目的、特徴および特性、ならびに構造の関連要素の動作方法および機能、部品と製造の経済性との組み合わせは、それらの全てがこの明細書の一部を形成する、以下の詳細な説明、および添付の図面を参照する添付された特許請求の範囲を検討すると、より明らかになるであろう。詳細な説明および特定の例は、本開示の好ましい実施形態を示しているが、例示のみを目的としており、本開示の範囲を限定することを意図していないことを理解されたい。

【0034】

本開示は、詳細な説明および添付の図面からより完全に理解されるであろう。

【図面の簡単な説明】

【0035】

【図1A】例示的な牽引車両、および牽引車両の後ろのトレーラの概略図である。

【図1B】第１の場所にある車両用のトレーラヒッチレシーバの場所を検出するための例示的なユーザインタフェースの概略図である。

【図1C】第２の場所にある車両用のトレーラヒッチレシーバの場所を検出するための例示的なユーザインタフェースの概略図である。

【図2】例示的な牽引車両の透視図である。

【図3】トレーラに取り付けるための車両動作の例示的な較正のフロー図である。

【発明を実施するための形態】

【0036】

様々な図面における同様の参照記号は、同様の要素を示す。

【0037】

車、クロスオーバー、トラック、バン、スポーツユーティリティ車（ＳＵＶ）、およびレクリエーショナルビークル（ＲＶ）などであり、ただしこれらに限定されない牽引車両は、トレーラを牽引するように構成可能である。牽引車両は、トレーラヒッチ経由でトレーラに接続する。トレーラに向かって操縦してトレーラに取り付けるためのより自動化されたシステムおよび方法を有することができる牽引車両があることが望ましく、これによって、運転者が牽引車両を後方へ運転し、その一方で、別の１人以上の人員が、牽引車両とトレーラおよび最終的にはトレーラのヒッチとの整列のために牽引車両が取るべき経路に関する指示を運転者に提供する必要が低減される。したがって、後方への運転用の補助デバイスを備えた牽引車両は、牽引車両をトレーラにつなぐときに、より安全でより迅速な体験を運転者に提供する。

【0038】

図１Ａ～図２を参照すると、幾つかの実現形態では、牽引車両１００の運転者は、トレーラ２００を牽引することを望んでいる。牽引車両１００は、選択されたトレーラ２００へ向かう運転を行うためのガイダンスを運転者に提供する運転者支援システム３１０を有するように構成可能である。牽引車両１００は、最終的なｘ，ｙ位置および最終的な方位も有する運転コマンドに基づいて、牽引車両１００を路面にわたって操縦する運転システム１１０を含みうる。代替的に、運転コマンドは、例えば、半径、速度、および方向成分を有しうる。図示しているように、運転システム１１０は、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃ、および左後輪１１２、１１２ｄを含む。運転システム１１０は、他の車輪構成も含みうる。運転システム１１０はまた、各車輪１１２、１１２－ｄに関連付けられたブレーキを含むブレーキシステム１２０、および牽引車両１００の速度および方向を調整するように構成された加速システム１３０を含みうる。加えて、運転システム１１０は、各車輪１１２、１１２－ｄに関連するタイヤ、タイヤ空気、ばね、ショックアブソーバ、および牽引車両１００をその車輪１１２、１１２－ｄに接続するリンケージを含むサスペンションシステム１３２を含むことができ、牽引車両１００と車輪１１２、１１２－ｄとの間の相対動作を可能にする。サスペンションシステム１３２は、牽引車両１００の路面ハンドリングを改善し、路面の騒音、衝突、および振動を分離することによって、より良い乗り心地を提供する。加えて、サスペンションシステム１３２は、牽引車両ヒッチ１６０がトレーラヒッチ２１０と整列可能となるよう、牽引車両１００の高さを調整するように構成されており、牽引車両１００とトレーラ２００との間の接続を支援する。

【0039】

牽引車両１００は、牽引車両１００によって定義される３つの相互に垂直な軸、すなわち、左右軸Ｘ、前後軸Ｙ、および中央垂直軸Ｚに対する移動の様々な組み合わせによって、路面にわたって移動することができる。左右軸ｘは、牽引車両１００の右側Ｒと左側との間に延在する。前後軸Ｙに沿った前進運転方向はＦとして指定されており、前進動作とも呼ばれる。加えて、前後方向Ｙに沿った後ろまたは後方への運転方向はＲとして指定されており、後進動作とも呼ばれる。サスペンションシステム１３２が牽引車両１００のサスペンションを調整すると、牽引車両１００は、Ｘ軸および／またはＹ軸を中心に傾斜するか、または中央垂直軸Ｚに沿って移動しうる。

【0040】

運転者支援システム３１０は、ユーザインタフェース１４０を含みうる。ユーザインタフェース１４０は、車両内に組み込まれるか、またはパーソナルワイヤレスデバイスなどの別個のデバイス上に提供されうるディスプレイであってもよい。ユーザインタフェース１４０は、コントロールノブまたはタッチパネルディスプレイなどの１つ以上の入力機構１４２を介して運転者から１つ以上のユーザコマンドを受信し、かつ／または運転者への１つ以上の通知を表示する。ユーザインタフェース１４０は、車両コントローラ３００と通信しており、車両コントローラ３００は、センサシステム４００および運転システム１１０と通信している。幾つかの例では、ユーザインタフェース１４０は、牽引車両１００の環境の画像を表示し、それによって、１つ以上の挙動の実行を開始する１つ以上のコマンドが（運転者から）ユーザインタフェース１４０によって受信されるようにする。車両コントローラ３００は、コンピューティングプロセッサ上で実行可能な命令を記憶することができる非一時的メモリ３０４（例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信しているコンピューティングデバイス（またはプロセッサ）３０２（例えば、１つ以上のコンピューティングプロセッサを有する中央処理装置）を含む。

【0041】

車両コントローラ３００は、経路追従サブシステム３２０を含む、運転者支援システム３１０を実行する。経路追従サブシステム３２０は、経路計画システム５５０から計画経路５５２（図３Ａおよび図３Ｂ）を受信し、コマンド３０１を運転システム１１０に送信する挙動３２２～３２６を実行し、それによって、牽引車両１００が計画経路５５２を中心に後方方向Ｒに自律的に運転するように導く。

【0042】

経路追従サブシステム３２０は、制動挙動３２２、速度挙動３２４、操舵挙動３２６、および場合によってはヒッチ接続挙動およびサスペンション調整挙動などの追加の挙動を含む。各挙動３２２～３２６により、牽引車両１００は、とりわけ、後方への運転、特定の角度での旋回、加速、減速などの行動をとる。車両コントローラ３００は、運転システム１１０を制御することによって、より具体的には、運転システム１１０にコマンド３０１を発行することによって、牽引車両１００を路面にわたって任意の方向に操縦することができる。例えば、車両コントローラ３００は、牽引車両１００を初期位置から最終位置まで操縦することができる。最終位置では、牽引車両１００のヒッチボール１６２は、牽引車両１００と選択されたトレーラ２００とを接続するトレーラ２００のヒッチカプラ２１２と整列する。

【0043】

牽引車両１００は、信頼性が高くロバストな自律運転を提供するためのセンサシステム４００を含みうる。センサシステム４００は、牽引車両１００が自律的に運転し、センサシステム４００によって検出された物体および障害物に基づいてインテリジェントな決定を行うために使用される牽引車両の環境の知覚を作成するために、個別にまたは互いに使用されうる異なるタイプのセンサを含みうる。センサは、１つ以上の画像化デバイス（カメラなど）４１０、ならびにレーダー、ソナー、ＬＩＤＡＲ（散乱光の特性を測定して、遠方のターゲットの距離および／または他の情報を見いだす光学リモートセンシングを伴いうる、光検出および測距）、ＬＡＤＡＲ（レーザ検出および測距）などの、ただしこれらに限定されないセンサ４２０、を含みうるが、これらに限定されない。加えて、カメラ４１０およびセンサ４２０は、牽引車両１００が前方方向Ｆまたは後方方向Ｒに走行しているときに、ユーザインタフェース１４０を介した聴覚的アラートおよび／または視覚的アラートによって、可能性のある障害物について運転者にアラートするために使用されうる。したがって、センサシステム４００は、半自律的または自律的条件下で作動する牽引車両１００の安全性を高めるために特に有用である。

【0044】

センサシステム４００は、センサシステムデータ４０２を運転者支援システム３１０に送信する。センサシステムデータ４０２は、カメラ４１０、４１０ａ～ｄからの画像４１２、およびセンサ４２０、４２０ａ～ｄからのセンサデータ４２２を含む。

【0045】

幾つかの実現形態では、牽引車両１００は、牽引車両１００の後方運転経路のビューを提供するように取り付けられたリアカメラ４１０、４１０ａを含む。加えて、幾つかの例では、牽引車両１００は、牽引車両１００の前方運転経路のビューを提供するためのフロントカメラ４１０、４１０ｂ、牽引車両１００の右側に配置された右カメラ４１０、４１０ｃ、および牽引車両１００の左側に配置された左カメラ４１０、４１０ｄを含む。左右のカメラ４１０、４１０ｃ、４１０ｄは、牽引車両１００の追加の側方ビューを提供する。この場合、牽引車両１００は、前後の走行経路に沿って検出された物体および障害物に加えて、牽引車両１００のいずれかの側方に位置する物体および障害物を検出することができる。カメラ４１０、４１０ａ～ｄは、単眼カメラ、双眼カメラ、または牽引車両１００の後部走行経路のビューを提供することができる別のタイプのセンシングデバイスでありうる。同様に、センサ４２０ａ～ｄは、車両１００の外部の周囲の様々な場所に配置されうる。

【0046】

図１Ａ～図２を再び参照すると、経路計画システム５５０が経路５５２を計画すると、経路追従サブシステム３２０は、運転システム１１０に計画経路５５２を自律的に追従させる挙動を実行するように構成されている。したがって、経路追従サブシステム３２０は、実行されると計画経路５５２に沿った牽引車両１００の自律運転を可能にする１つ以上の挙動３２２～３３０を含む。挙動３２２～３３０は、制動挙動３２２、速度挙動３２４、操舵挙動３２６、ヒッチ接続挙動３２８、およびサスペンション調整挙動３３０を含みうるが、これらに限定されない。

【0047】

この実施形態では、経路計画システム５５０は、ユーザインタフェース１４０およびユーザ入力機構１４２を介して情報を受信する。例えば、ユーザインタフェース１４０および入力機構は、画面、タッチパネル、パーソナルデバイス、コントロールノブ、ジョイスティック、スライダノブ、または他の入力機構のうちの１つまたはそれらの組み合わせでありうる。示している例では、ユーザインタフェース１４０はタッチパネルであり、入力機構１４２はコントロールノブである。

【0048】

車両ヒッチボール１６２の計画経路５５２は、ユーザインタフェース１４０上にオーバーレイ（図１Ｂに仮想線で示されている）として表示されうる。最初にパンされた計画経路５５２のオーバーレイは、車両１００の現在の操舵挙動３２６に基づきうる。入力機構１４２を使用することにより、ユーザは、計画経路５５２がトレーラヒッチレシーバの場所２１２と整列するまで、計画経路５５２の計画された長さおよび軌道を調整することができる。ユーザが所望の計画経路５５２の長さおよび軌道（図１Ｂに仮想線で示されている）を選択すると、経路計画システム５５０は、計画経路５５２に追従するのに必要な制動挙動３２２、速度挙動３２４、および操舵挙動３２６を判定することができる。この情報は、実行される経路追従サブシステム３２０に送信されうる。

【0049】

代替的に、ユーザインタフェース１４０および入力機構１４２を使用して、車両の軌道を入力することができ、システムユーザは、車両１００の速度および制動を制御することができる。

【0050】

制動挙動３２２は、計画経路５５２に基づいて、牽引車両１００を停止するか、または牽引車両を減速するかのいずれかのために実行されうる。制動挙動３２２は、信号またはコマンド３０１を運転システム１１０、例えば、ブレーキシステム１２０に送信して、牽引車両１００を停止するか、または牽引車両１００の速度を低減する。

【0051】

速度挙動３２４は、計画経路５５２に基づく加速または減速のいずれかによって、牽引車両１００の速度を変更するために実行されうる。速度挙動３２４は、減速するためのブレーキシステム１２０に、または加速するための加速システム１３０に、信号またはコマンド３０１を送信する。

【0052】

操舵挙動３２６は、計画経路に基づいて牽引車両１００の方向を変更するために実行されうる。したがって、操舵挙動３２６は、運転システム１１０に方向を変えさせる操舵角度を示す信号またはコマンド３０１を、加速システム１３０に送信する。

【0053】

ユーザインタフェース１４０および入力機構１４２に加えて、経路計画システム５５０は、センサシステム４００からの情報を使用して、ユーザからの入力選択を、センサ４２０およびカメラ４１０によって記録された車両１００およびトレーラ２００の物理的場所に整列させる。すなわち、経路計画システム５５０は、カメラ４１０、４１０ａ～ｄの画像、およびセンサシステム４００によって測定された車両１００およびトレーラ２００の物理的場所に基づいて、ユーザ入力から経路を判定する必要がある。したがって、センサシステム４００と経路追従サブシステム３２０との間の位置合わせを較正するための動作較正システム５００が使用されうる。

【0054】

図１Ａおよび図２～図３を参照すると、動作較正システム５００は、相対的な車両位置および速度を正確に出力する動作推定アルゴリズムを利用する。この動作推定アルゴリズムは、ステアリング比、ステアリングオフセット量、ホイールベース、トラック幅など、幾つかの車両パラメータの関数になる。標準的な車両運転機能の場合、これらのパラメータは、自動ヒッチ支援を提供する運転者支援システム３１０に対して、必要な良好な動作推定のために十分に正確に知られていない可能性が高い。動作較正システム５００は、これらの値をより正確に判定するためのアルゴリズムおよび方法６１０を提供する。サンプルアプリケーション（トレーラヒッチ支援）では、この方法は、車両１００に既存のもののほかに特別な機器を必要としない。

【0055】

方法６１０は、カメラ４１０、４１０ａ～ｄからの画像を表示するユーザインタフェース１４０、および特徴を「指し示す」ための入力機構１４２を使用して、ユーザが異なる視点から同じ固定された特徴を「指し示す」ようにする。すなわち、ユーザは、入力機構を使用してユーザインタフェース１４０上に表示された少なくとも１つの静止した物体または特徴を選択して、選択された特徴または物体を識別する。特徴または物体は、ヒッチボールレシーバであってもよく、トレーラコーナー、デカール、識別マーク、車輪などの、トレーラに関連する追加の物体または特徴を含んでもよい。

【0056】

次いで、車両は、カメラ４１０、４１０ａが依然としてトレーラ２００のビューを有する新しい場所に運転され、ユーザは、ユーザインタフェース１４０を使用して特徴の場所を再選択する。最適化ルーチン（例えば、準ニュートン）により、車両の運動学的パラメータを調整して、ユーザが選択したポイントの誤差の最小化を達成する。

【0057】

動作推定アルゴリズムの出力を比較するためには、絶対基準が必要である。したがって、我々は、車両カメラ４１０、４１０ａ～ｄ、およびユーザインタフェース上の何らかの入力機構１４２を利用する代替的な絶対基準を提案する。この実施形態では、入力機構は、タッチパネル、もしくは同じコントロールノブ、またはユーザが表示された画像４１２上の１つ以上の特徴を選択することを可能にするそれらの何らかの組み合わせであってよい。

【0058】

動作較正システム５００の一実施形態では、運転者支援システムがアクティブ化されると、動作推定アルゴリズムがアクティブ化されることを提供する。動作「較正モード」は、６０２に示しているように、選択的に入力することも、システムを最初に使用するときに自動的に入力することもできる。代替的に、別の実施形態では、特別な較正モードのアクティブ化をユーザ（例えば、エンドユーザまたは工場の最後尾の較正技術者）に提供する。車両１００の第１の位置および方位が記録される。第１の位置は、（Ｘ，Ｙ）＝（０，０）およびＨｅａｄｉｎｇ＝０に設定されうる。

【0059】

第２の場所での現在の推定位置および方位を記録するために、６０４に示しているように、かなりの車両動作を行う必要がありうる。ユーザは、車両動作が完全に真直ぐにならないよう、ステアリングホイールも回しながら、車両を或る程度の距離（例えば１０メートル）だけ運転しうる。この動作中に、センサシステム４００は、少なくとも車輪センサデータおよびステアリングホイール角度センサデータを検出する。この動作に続いて、６０６に示しているように、車両の現在の推定位置および方位が判定されうる。すなわち、コントローラ３００は、或る場所から別の場所への移動中の時間の関数として、ホイールティックおよびステアリングホイール角度を使用して、第２の位置および方位を計算することができる。代替的に、図１Ｂに示す第１のカメラ画像と比較した、図１Ｃに示す第２のカメラ画像からの画像分析を使用して、新しい位置および方位を計算することもできる。

【0060】

これに続いて、ユーザは、ユーザインタフェース１４０を介して車両リアカメラモニタ（またはフロントもしくはサイドカメラモニタ）を視認し、ポインティングデバイス（タッチパネル、ノブ、マウスなど）などの入力デバイス１４２を使用して、６０８に示しているように、画像４１２上に表示されている特定の静的世界の特徴を選び出す。この特徴は、例えば、トラックヒッチ支援システムの場合のトレーラカプラであってよいが、ユーザがカメラモニタ１４０と共にポインティングデバイス１４２を使用して、識別しかつ指し示すのが容易な他の任意の固定点であってもよい。次いで、６１４に示しているように、この手順をさらに１回以上繰り返し、新しい操作を行って、ユーザは新しい場所で同じ特徴を指し示す。

【0061】

代替的に、キャプチャされた画像をコントローラ３００によって分析して、第１の画像の特徴および第２の画像の特徴を選択し、特徴認識を使用してもよい。特徴認識は、第１の特徴に関連する複数の特徴認識点、および第１の特徴に関連する複数の特徴認識点を定義することを含みうる。第１の画像および第２の画像からの特徴が十分な数の一致する認識点を有する場合、第１の特徴と第２の特徴とが同じ物体であると判定される。

【0062】

続行のために、推定位置および方位情報、ならびに複数の車両位置からの対応するトレーラ特徴、および時間の関数としての車輪動作およびステアリングホイール角度を収集した後に、動作較正システムは、６１６に示しているように、収集されたデータに基づいて動作パラメータの新しいセットを計算し、その情報を記憶することができる。これらのステップにより、不正確に既知となっている車両パラメータを含む、シミュレート可能な、すなわち（数値形式で）統合可能な、方程式のセットが提供される。統合された方程式の誤差を（数値的に）最小化して、既存のパラメータを改善すると、より正確なパラメータを取得することができる。この問題は、非線形最小二乗ソルバ法で解くことができ、例えば、準ニュートン法（ＢＦＧＳなど）を使用できる。新しい動作較正データは、車両１００の動作を、センサシステムデータ４０１および経路計画システム５５０に基づいて、より正確に判定および予測するために使用することができる。したがって、車両１００は、６１８に示しているように、較正モードを終了することができる。

【0063】

より具体的には、我々は、その入力が完全には既知でないパラメータのセット（ホイールベース、トラック幅、タイヤ直径、ステアリング比／オフセット量など）ならびに時間の関数としての車輪動作およびステアリングホイール角度であり、かつその出力が画像内の（様々な視点からの）固定点の誤差の何らかの尺度である、関数を最適化することを提案する。

【0064】

前述のように、推定すべきパラメータの数に応じて、この手順を複数回繰り返す必要がある。各反復では（２つの画像点座標に関連付けられた）２つの方程式を提供し、３＋Ｎ個の未知数が存在し、ここでＮは判定すべきパラメータの数である。「３＋Ｎ」の「３」は、固定点の未知の世界座標から導出される。したがって、２Ｍの方程式および３＋Ｎの未知数が存在し、それゆえ、（未知のパラメータと同じ数の方程式を有するために）２Ｍは少なくとも３＋Ｎである必要がある。したがって、反復回数は、次の不等式、すなわち
Ｍ≧（３＋Ｎ）／２
でのＭによって与えられる。

【0065】

１つの未知のパラメータ（例えば、ステアリングオフセット量）を最適化する場合、少なくとも２回の反復を実行する必要があり、（３＋１）／２である。５つの未知のパラメータ（例えば、ホイールベース、トラック幅、タイヤ直径、ステアリング比、ステアリングオフセット量）の場合、少なくとも４回の反復を行う必要があり、（３＋５）／２である。

【0066】

動作較正システムは、運転者支援システム３１０が最初に使用されるときに使用されてよく、また、運転者支援システム３１０によって提案されるように、周期的間隔で、例えば、５０回または１００回の使用ごとに更新されてもよい。代替的に、例えば、新しいトレーラがヒッチ支援を用いて使用されているとき、または運転者が車両１００による性能の精度の変化に気付いたときなど、ユーザの裁量で較正することが望ましい場合もある。

【0067】

本明細書で説明するシステムおよび技術の様々な実現形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実現形態は、記憶装置システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、かつそれらにデータおよび命令を送信するように結合された、特別なまたは汎用の、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能なかつ／または解釈可能な１つ以上のコンピュータプログラムにおける実装を含むことができる。

【0068】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても既知である）には、プログラム可能なプロセッサ用の機械命令が含まれ、高レベルの手続き型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装することができる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」なる語は、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラム可能なプロセッサに、機械命令および／またはデータを提供するために使用される、任意のコンピュータプログラム製品、装置、および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」なる語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。

【0069】

この明細書に記載されている主題および機能動作の実現形態は、デジタル電子回路、またはこの明細書に開示されている構造およびそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェア、または１つ以上のそれらの組み合わせで実装することができる。さらに、本明細書に記載されている主題は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝搬信号に影響を与える物質の組成物、またはそれらの１つ以上の組み合わせでありうる。「データ処理装置」、「コンピューティングデバイス」および「コンピューティングプロセッサ」なる語は、例えば、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組み合わせを構成するコードを含むことができる。伝搬される信号は、人工的に生成された信号であり、例えば、適切な受信装置に送信するための情報を符号化するように生成される機械生成された電気的、光学的、または電磁的な信号である。

【0070】

同様に、動作は特定の順序で図面に描かれているが、これは、望ましい結果を達成するために、そのような動作が、示された特定の順序でまたは順次に実行されること、または図示された全ての動作が実行されることを要求するものとして理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利でありうる。さらに、上述の実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されたプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合されるか、または複数のソフトウェア製品にパッケージ化されうることを理解されたい。

【0071】

幾つかの実現形態を説明した。にもかかわらず、本開示の精神および範囲から逸脱することなく、様々な修正を行うことができることを理解されたい。したがって、他の実現形態も、以下の特許請求の範囲内に該当する。

【図1A】

【図1B】

【図1C】

【図2】

【図3】