▶ コンチネンタル オートノマス モビリティ ユーエス，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-16
(54)【発明の名称】牽引ボール位置検出システム及び方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20231006BHJP
B62D 53/00 20060101ALI20231006BHJP
G06T 7/70 20170101ALI20231006BHJP
G06V 10/70 20220101ALI20231006BHJP
【ＦＩ】
H04N7/18 J
B62D53/00 G
H04N7/18 K
G06T7/70 A
G06V10/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023516135
(86)(22)【出願日】2021-09-09
(85)【翻訳文提出日】2023-03-10
(86)【国際出願番号】 US2021071401
(87)【国際公開番号】W WO2022056532
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】63/077,261
(32)【優先日】2020-09-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522165131
【氏名又は名称】コンチネンタル オートノマス モビリティ ユーエス，エルエルシー
【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｉｔｙ ＵＳ， ＬＬＣ
【住所又は居所原語表記】Ｏｎｅ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， ＭＩ ４８３２６， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ホルスト ダニエル ディースナー
(72)【発明者】
【氏名】ニザール アハメド
(72)【発明者】
【氏名】アカシュ マヘシュワリ
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054CE11
5C054FC12
5C054HA30
5L096BA04
5L096CA04
5L096FA12
5L096JA11
(57)【要約】
牽引ボールを有する車両に対してトレーラ操作を行うための方法及びシステムが開示される。本方法は、第１の位置において車両の後方部分に沿って配設されるリアカメラから第１の画像を受信することと、第１の画像における牽引ボールの表現のピクセル位置を検出することとを含む。リアカメラが車両の後方部分に沿って第１の位置から第２の位置に移動されることに続いて、本方法は、リアカメラから第２の画像を受信することを含む。本方法はまた、第２の画像における牽引ボールの表現の第２のピクセル位置を検出することと、リアカメラの第１及び第２の位置と、第１及び第２の画像における牽引ボールの表現の検出されたピクセル位置とに基づいて、車両に対する牽引ボールの位置を推定することとを含む。
【特許請求の範囲】
【請求項1】
それに取り付けられる牽引ボールを有する車両に対してトレーラ操作を行うための方法であって、データ処理ハードウェアによって、第１の位置において前記車両の後方部分に沿って配設されるリアカメラから第１の画像を受信することと、
前記データ処理ハードウェアによって、前記第１の画像における前記牽引ボールの表現のピクセル位置を検出することと、
前記リアカメラが前記車両の前記後方部分に沿って前記第１の位置から第２の位置に移動されることに続いて、前記データ処理ハードウェアによって、前記リアカメラから第２の画像を受信することと、
前記データ処理ハードウェアによって、前記第２の画像における前記牽引ボールの表現の第２のピクセル位置を検出することと、
前記データ処理ハードウェアによって、前記リアカメラの前記第１及び第２の位置と、前記第１及び第２の画像における前記牽引ボールの前記表現の前記検出されたピクセル位置とに基づいて、前記車両に対する前記牽引ボールの位置を推定することと、を含む、
方法。
【請求項2】
更に、前記データ処理ハードウェアによって、前記第１の位置と前記第２の位置との間の世界座標における前記リアカメラの位置の変化を特定することを含み、前記牽引ボールの前記位置は、前記リアカメラの前記位置の変化に基づいて推定される、請求項１に記載の方法。
【請求項3】
前記リアカメラの前記位置の変化を特定することは、部分的に、前記リアカメラが取り付けられる前記車両のテールゲート、リフトゲート、又はトランクの、前記車両に対する角度位置の変化に基づく、請求項２に記載の方法。
【請求項4】
更に、前記第１の画像を受信した後に、前記データ処理ハードウェアによって、前記リアカメラが取り付けられる前記牽引車両のテールゲート、リフトゲート、又はトランクを、前記リアカメラの前記第１の位置に対応する第１のコンポーネント位置から、前記リアカメラの前記第２の位置に対応する第２のコンポーネント位置に移動させる命令を送信することを含む、請求項１に記載の方法。
【請求項5】
前記牽引車両の前記テールゲート、リフトゲート、又はトランクを移動させる前記命令は、前記テールゲート、前記リフトゲート、又は前記トランクを手動で移動させるよう牽引車両ユーザを促すディスプレイ、又は、
ユーザの介入なしに前記テールゲート、前記リフトゲート、又は前記トランクを移動させるようコンポーネント位置決めシステム、のうちの１つに送信される、
請求項４に記載の方法。
【請求項6】
更に、前記データ処理ハードウェアによって、前記第１の画像における前記牽引ボール表現の前記ピクセル位置と前記第２の画像における前記牽引ボール表現の前記ピクセル位置との間のピクセル座標の変化を特定することを含み、前記牽引ボールの前記位置は、前記ピクセル座標の変化に基づいて推定される、請求項１に記載の方法。
【請求項7】
更に、前記第１の画像を受信する前に、前記リアカメラが取り付けられるテールゲート、リフトゲート、又はトランクを、前記リアカメラの前記第１の位置に対応する第１のコンポーネント位置に移動させる命令を送信することを含む、請求項１に記載の方法。
【請求項8】
更に、前記第１の位置又は前記第２の位置にある間に前記リアカメラから第３の画像を受信することと、
前記第３の画像における前記牽引ボールの表現を識別することと、
前記第３の画像における前記牽引ボールの前記表現のピクセル位置を特定することと、
前記第３の画像における前記牽引ボールの前記表現の前記特定したピクセル位置を前記牽引ボールの前記推定した位置と比較又は相関させることと、
前記比較又は相関に基づいて、トレーラアシスト機能において前記推定した牽引ボール位置を用いるかどうかを特定することと、を含む、
請求項１に記載の方法。
【請求項9】
更に、前記第１の位置又は前記第２の位置にある間に前記リアカメラから第３の画像を受信することと、
前記第３の画像及び前記リアカメラが前記第１又は第２の位置にあることに基づいて、牽引ボール表現が前記第３の画像内にないと特定することと、
前記牽引ボール表現が前記第３の画像内にないと特定することに応答して、トレーラアシスト操作を一時的に無効にするよう、命令を前記車両の１つ以上の車両システムに送信することと、を含む、
請求項１に記載の方法。
【請求項10】
前記第２の位置は、既知の位置座標を有する所定の位置であるか、又は位置座標が特定される位置である、請求項１に記載の方法。
【請求項11】
それに取り付けられる牽引ボールを有する車両に対してトレーラ操作を行うためのシステムであって、データ処理ハードウェアと、
前記データ処理ハードウェアと通信する非一時的メモリハードウェアであって、前記データ処理ハードウェア上で実行される場合、前記データ処理ハードウェアに、
第１の位置において前記車両の後方部分に沿って配設されるリアカメラから第１の画像を受信することと、
前記第１の画像における前記牽引ボールの表現のピクセル位置を検出することと、
前記リアカメラが前記車両の前記後方部分に沿って前記第１の位置から第２の位置に移動されることに続いて、前記リアカメラから第２の画像を受信することと、
前記第２の画像における前記牽引ボールの表現の第２のピクセル位置を検出することと、
前記リアカメラの前記第１及び第２の位置と、前記第１及び第２の画像における前記牽引ボールの前記表現の前記検出されたピクセル位置とに基づいて、前記車両に対する前記牽引ボールの位置を推定することと、を含む方法を実行させる命令を格納するメモリハードウェアと、を備える、
システム。
【請求項12】
前記データ処理ハードウェアによって実行される前記方法は、更に、前記リアカメラが取り付けられる前記車両のテールゲート、リフトゲート、又はトランクの角度位置の変化に基づいて、前記車両に対する前記リアカメラの位置の変化を特定することを含み、前記牽引ボールの前記位置は、前記リアカメラの前記位置の変化に基づいて推定される、請求項１１に記載のシステム。
【請求項13】
前記データ処理ハードウェアによって実行される前記方法は、更に、前記第１の画像を受信する前に、較正シーケンスを開始するよう前記車両のユーザからの命令を受信することと、
前記第１の画像を受信した後に、前記車両のインターフェースに命令を送信して、前記リアカメラが取り付けられる前記牽引車両の可動コンポーネントを、前記第１の位置に対応する第１のコンポーネント位置から前記第２の位置に対応する第２のコンポーネント位置に移動させるよう、前記車両の前記ユーザに命令することと、を含む、
請求項１１に記載のシステム。
【請求項14】
前記データ処理ハードウェアによって実行される前記方法は、更に、前記第１の位置又は前記第２の位置にある間に前記リアカメラから第３の画像を受信することと、
前記第３の画像における前記牽引ボールの表現を識別することと、
前記第３の画像における前記牽引ボールの前記表現のピクセル位置を特定することと、
前記第３の画像における前記牽引ボールの前記表現の前記特定したピクセル位置を前記牽引ボールの前記推定した位置と比較又は相関させることと、
前記比較又は相関に基づいて、トレーラアシスト操作において前記推定した牽引ボール位置を用いるかどうかを特定することと、を含む、
請求項１１に記載のシステム。
【請求項15】
前記データ処理ハードウェアによって実行される前記方法は、更に、前記第１の位置又は前記第２の位置にある間に前記リアカメラから第３の画像を受信することと、
前記第３の画像及び前記リアカメラが前記第１又は第２の位置にあることに基づいて、牽引ボール表現が前記第３の画像内にないと特定することと、
前記牽引ボール表現が前記第３の画像内にないと特定することに応答して、トレーラアシスト操作を一時的に無効にするよう、命令を前記車両の１つ以上の車両システムに送信することと、を含む、
請求項１１に記載のシステム。
【請求項16】
前記データ処理ハードウェアによって実行される前記方法は、更に、前記第１の画像における前記牽引ボール表現の前記第１のピクセル位置と前記第２の画像における前記牽引ボール表現の前記第２のピクセル位置との間のピクセル座標の変化を特定することを含み、前記牽引ボールの前記位置は、前記牽引ボール表現の前記第１及び第２のピクセル位置間の前記変化に基づいて推定される、請求項１１に記載のシステム。
【請求項17】
前記第２の位置は、既知の位置座標を有する所定の位置であるか、又は前記データ処理ハードウェアによって位置座標が特定される位置である、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２０年９月１１日出願の米国仮特許出願第６３／０７７，２６１号明細書に対する優先権を主張し、本明細書中に引用して組み込む。
本願は、２０２０年９月１１日出願の米国仮特許出願第６３／０７７，２６１号明細書に対する優先権を主張し、本明細書中に引用して組み込む。
【0002】
本開示は、牽引車両によって支持される牽引ボールの牽引ボール位置検出システムに関する。
【背景技術】
【0003】
トレーラは、通常、動力付牽引車両によって牽引される無動力車両である。トレーラは、とりわけ、ユーティリティトレーラ、ポップアップキャンパー、トラベルトレーラ、家畜用トレーラ、フラットベッドトレーラ、密閉型自動車輸送車、及びボートトレーラであってもよい。牽引車両は、自動車、クロスオーバー、トラック、バン、スポーツユーティリティビークル（ＳＵＶ）、レクリエーショナルビークル（ＲＶ）、又はトレーラに取り付けられ、トレーラを牽引するよう構成される任意の他の車両であってもよい。トレーラは、トレーラヒッチを用いて動力付車両に取り付けられてもよい。レシーバヒッチは、牽引車両に取り付けられ、トレーラヒッチに接続して接続部を形成する。トレーラヒッチは、ボール及びソケット、フィフスホイール及びグースネック、又はトレーラジャッキであってもよい。
【0004】
牽引ボール（ヒッチボールとも称する）の位置は、幾つかの自動トレーラアシスト機能にとって重要であり、牽引ボール位置の正確な認識は、かかる機能を実現するものである。
【0005】
例えば、トレーラヒッチアシストシステムは、車両を適切なヒッチ位置に制御するよう、連結器位置と共に牽引ボール位置の情報を用いる。しかし、牽引ボール、又は牽引ボールを車両上のヒッチに取り付けるために用いられるマウントの標準的なサイズは存在しない。その上、牽引ボールの高さはまた、多くの場合、調整可能である。結果として、牽引車両のための正確な牽引ボール位置推定機能に対するニーズが存在する。
【発明の概要】
【課題を解決するための手段】
【0006】
例示的な実施形態は、それに取り付けられる牽引ボールを有する車両に対してトレーラ操作を行うための方法及びシステムに向けられる。本方法は、データ処理ハードウェアによって、第１の位置において車両の後方部分に沿って配設されるリアカメラから第１の画像を受信することを含む。第１の画像における牽引ボールの表現のピクセル位置は、データ処理ハードウェアによって検出される。リアカメラが車両の後方部分に沿って第１の位置から第２の位置に移動されることに続いて、本方法は、データ処理ハードウェアによって、リアカメラから第２の画像を受信することと、データ処理ハードウェアによって、第２の画像における牽引ボールの表現の第２のピクセル位置を検出することとを含む。データ処理ハードウェアは、リアカメラの第１及び第２の位置と、第１及び第２の画像における牽引ボールの表現の検出されたピクセル位置とに基づいて、車両に対する牽引ボールの位置を推定する。
【0007】
本方法はまた、データ処理ハードウェアによって、第１の位置と第２の位置との間の世界座標におけるリアカメラの位置の変化を特定してもよく、牽引ボールの位置は、リアカメラの位置の変化に基づいて推定される。リアカメラの位置の変化は、部分的に、リアカメラが取り付けられる車両のテールゲート、リフトゲート、又はトランクの、車両に対する角度位置の変化に基づいてもよい。
【0008】
本方法は、更に、第１の画像を受信した後に、データ処理ハードウェアによって、リアカメラが取り付けられる牽引車両のテールゲート、リフトゲート、又はトランクを、リアカメラの第１の位置に対応する第１のコンポーネント位置から、リアカメラの第２の位置に対応する第２のコンポーネント位置に移動させる命令を送信することを含んでいてもよい。牽引車両のテールゲート、リフトゲート、又はトランクを移動させる命令は、テールゲート、リフトゲート、又はトランクを手動で移動させるよう牽引車両ユーザを促すディスプレイ、又は、ユーザの介入なしにテールゲート、リフトゲート、又はトランクを移動させるようコンポーネント位置決めシステムのうちの１つに送信されてもよい。
【0009】
本方法は、更に、データ処理ハードウェアによって、第１の画像における牽引ボール表現のピクセル位置と第２の画像における牽引ボール表現のピクセル位置との間のピクセル座標の変化を特定することを含み、牽引ボールの位置は、ピクセル座標の変化に基づいて推定される。
【0010】
本方法は、更に、第１の画像を受信する前に、リアカメラが取り付けられるテールゲート、リフトゲート、又はトランクを、リアカメラの第１の位置に対応する第１のコンポーネント位置に移動させる命令を送信することを含んでいてもよい。
【0011】
一態様において、本方法は、第１の位置又は第２の位置にある間にリアカメラから第３の画像を受信することと、第３の画像における牽引ボールの表現を識別することと、第３の画像における牽引ボールの表現のピクセル位置を特定することとを含む。本方法は、第３の画像における牽引ボールの表現の特定したピクセル位置を牽引ボールの推定した位置と比較又は相関させてもよい。比較又は相関に基づいて、本方法は、トレーラアシスト機能において推定した牽引ボール位置を用いるかどうかを特定する。
【0012】
本方法は、第１の位置又は第２の位置にある間にリアカメラから第３の画像を受信することを含んでいてもよい。第３の画像及びリアカメラが第１又は第２の位置にあることに基づいて、本方法は、牽引ボール表現が第３の画像内にないと特定してもよい。本方法は、トレーラアシスト操作を一時的に無効にするよう、命令を車両の１つ以上の車両システムに送信する。
【0013】
幾つかの態様において、第２の位置は、既知の位置座標を有する所定の位置であるか、又は位置座標が特定される位置である。
【0014】
例示的な実施形態において、それに取り付けられる牽引ボールを有する車両に対してトレーラ操作を行うためのシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信する非一時的メモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行される場合、データ処理ハードウェアに上で説明したような方法を実行させる命令を格納する。
【図面の簡単な説明】
【0015】
【図1】牽引車両の後方に位置決めされるトレーラを有する例示的な牽引車両の平面図である。
【図7】世界座標における牽引ボール位置を特定する例示的な三角測量法の略図であり、方法は、現実世界におけるカメラ位置の変化を画像座標におけるターゲットのピクセル位置の変化とどのように組み合わせて、現実世界におけるターゲットの位置を見出すことができるかを示す。
【図8】例示的な実施形態による、牽引ボール位置推定を伴う動作を説明するフロー図である。
【図9】例示的な実施形態による、牽引ボール位置推定を伴う動作を説明するフロー図である。
【発明を実施するための形態】
【0016】
種々の図面における同様の符号は同様の構成要素を示す。
【0017】
これらに限定しないが、自動車、クロスオーバー、トラック、バン、スポーツユーティリティビークル（ＳＵＶ）、及びレクリエーショナルビークル（ＲＶ）等の牽引車両は、トレーラを牽引するよう構成されてもよい。牽引車両は、トレーラヒッチを用いてトレーラに接続する。車両トレーラシステムを後方に運転するのは困難である場合がある。
【0018】
図１及び２を参照すると、幾つかの実装において、車両トレーラシステム１００は、トレーラ１０６に取り付けることが可能な牽引車両１０２を含んでいる。牽引車両１０２は、車両ヒッチバー１０５によって支持される車両牽引ボール１０４（ヒッチボールとも称する）を含んでいる。車両牽引ボール１０４は、車両とトレーラとが連結される場合、トレーラ１０６のトレーラヒッチバー１０９によって支持されるトレーラヒッチカプラー１０８によって、トレーラ１０６に結合されてもよい。牽引車両１０２は、例えば、ｘ、ｙ、及びｚ成分を有する駆動コマンドに基づいて路面上で牽引車両１０２を操縦する駆動システム１１０を含んでいてもよい。図示のように、駆動システム１１０は、右前輪１１２、１１２ａと、左前輪１１２、１１２ｂと、右後輪１１２、１１２ｃと、左後輪１１２、１１２ｄとを含んでいる。駆動システム１１０は、同様に、他の車輪構成を含んでいてもよい。駆動システム１１０はまた、各車輪１１２、１１２ａ～ｄに関連するブレーキを含むブレーキシステム（図示せず）と、牽引車両１０２の速度及び方向を調整するよう構成される加速システム（図示せず）とを含んでいてもよい。更に、駆動システム１１０は、各ホイール１１２、１１２ａ～ｄに関連するタイヤ、タイヤ空気、ばね、ショックアブソーバ、及び牽引車両１０２をそのホイール１１２、１１２ａ～ｄに接続し、牽引車両１０２とホイール１１２、１１２ａ～ｄとの間の相対運動を可能にするリンク機構を含むサスペンションシステム（図示せず）を含んでいてもよい。
【0019】
牽引車両１０２は、牽引車両１０２によって画成される３つの互いに垂直な軸、即ち、横軸ＸＶ、前後軸ＹＶ、及び中心垂直軸ＺＶに対する移動の様々な組み合わせによって路面上を移動してもよい。横軸ＸＶは、牽引車両１０２の右側と左側との間に延在する。前後軸ＹＶに沿った前方駆動方向を、ＦＶとして示し、前方運動とも称する。加えて、前後方向ＹＶに沿った後部又は後方駆動方向を、ＲＶとして示し、後方運動とも称する。幾つかの実施例において、牽引車両１０２は、調整した場合に牽引車両１０２をＸＶ軸及び／又はＹＶ軸を中心として傾斜させるか、又は中心垂直軸ＺＶに沿って移動させるサスペンションシステム（図示せず）を含んでいる。
【0020】
牽引車両１０２は、ユーザインターフェース１２０を含んでいてもよい。ユーザインターフェース１２０は、入力機構として用いられるディスプレイ１２２、ノブ、及びボタンを含んでいてもよい。幾つかの実施例において、ディスプレイ１２２は、ノブ及びボタンを示してもよい一方で、他の実施例において、ノブ及びボタンは、ノブボタンの組み合わせである。幾つかの実施例において、ユーザインターフェース１２０は、１つ以上の入力機構又はタッチスクリーンディスプレイ１２２を介して運転者から１つ以上の運転者コマンドを受信するか、及び／又は運転者に１つ以上の通知を表示する。ユーザインターフェース１２０は、コントローラ１４０と通信する。幾つかの実施例において、ディスプレイ１２２は、牽引車両１０２の周囲状況の画像１３３を表示する。ディスプレイ１２２は、牽引車両１０２の一部であってもよいか、又はハンドヘルド電子デバイスのディスプレイ等、牽引車両１０２とは別のものであってもよい。
【0021】
牽引車両１０２は、信頼でき、ロバストな運転を提供するようセンサシステム１３０を含んでいてもよい。センサシステム１３０は、センサシステム１３０によって検出される物体及び障害物に基づいてインテリジェントな決定を行う際に、牽引車両１０２が駆動し、運転者を支援するために用いられる牽引車両１０２及びトレーラ１０６の周囲状況の認識を作成するために別々に又は共に用いられてもよい異なる種類のセンサを含んでいてもよい。センサシステム１３０は、車両トレーラシステム１００によって支持される１つ以上のカメラ１３２、１３２ａ～ｄを含んでいてもよい。幾つかの実装において、牽引車両１０２は、牽引車両１０２のための後方運転経路の視界を提供するよう取り付けられる後方車両カメラ１３２ａ（即ち、第１のカメラ）を含み、又は言い換えれば、後方車両カメラ１３２ａは、牽引車両１０２の後方周囲状況の画像１３３を取り込む。後方車両カメラ１３２ａは、牽引車両１０２のテールゲートに位置決めされてもよい。
【0022】
幾つかの実装において、後方車両カメラ１３２ａは、広いパノラマ又は半球画像を作成するよう意図される強い視覚的歪みを生じる超広角レンズを有する魚眼レンズを含んでいてもよい。魚眼カメラは、極めて広い画角を有する画像を取り込む。その上、魚眼カメラによって取り込まれる画像は、特徴的な凸状の非直線的な外観を有する。他の種類のカメラもまた、画像１３３を取り込むために用いられてもよい。
【0023】
センサシステム１３０はまた、車両の動き、即ち、速度、角速度、位置等を検出する他のセンサ１３４を含んでいてもよい。他のセンサ１３４は、車両の直線加速度（１つ以上の加速度計を用いて）及び回転速度（１つ以上のジャイロスコープを用いて）を測定するよう構成される慣性測定ユニット（ＩＭＵ）を含んでいてもよい。幾つかの実施例において、ＩＭＵはまた、牽引車両１０２の向首方位基準を特定する。従って、ＩＭＵは、牽引車両１０２のピッチ、ロール、及びヨーを特定する。他のセンサ１３４はまた、これらに限定はしないが、レーダー、ソナー、ＬＩＤＡＲ（散乱光の特性を測定して遠隔ターゲットの範囲及び／又は他の情報を見つける光学遠隔検知を伴うことができる光検出及び測距）、ＬＡＤＡＲ（レーザ検出及び測距）、超音波、ＨＦＬ（高解像度３ＤフラッシュＬＩＤＡＲ）等を含んでいてもよい。幾つかの実装において、センサシステム１３０は、Ｖ２Ｘ通信又は他の任意の通信等によって、他のシステム又は車両から受信する外部センサデータを提供してもよい。更に他のセンサ１３０は、以下でより詳細に説明するように、牽引車両１０２の可動コンポーネントの位置を検知する少なくとも１つの位置センサを含んでいてもよい。
【0024】
例示的な実施形態において、リアカメラ１３２ａは、牽引車両１０２の可動コンポーネントに取り付けられる。牽引車両１０２のかかる可動コンポーネントは、牽引車両の残りの部分に対して可動である。一実施例において、牽引車両１０２はピックアップトラックであり、可動コンポーネントはトラックのテールゲート１６０であり、リアカメラ１３２ａはテールゲートに沿って取り付けられる。別の実施例において、牽引車両１０２はセダンであり、可動コンポーネントはトランクであり、リアカメラ１３２ａはトランクに沿って取り付けられる。更に別の実施形態において、牽引車両はスポーツユーティリティビークル（ＳＵＶ）であり、可動コンポーネントはＳＵＶのリフトゲートであり、リアカメラ１３２ａはリフトゲートに沿って取り付けられる。全ての実施例において、可動コンポーネントは、少なくとも２つの位置の間で移動されてもよく、各位置において、リアカメラ１３２ａは、そこに描写される牽引ボール１０４を有する画像を取り込むことが可能である。
【0025】
コントローラ１４０は、コンピューティングプロセッサ１４２上で実行可能な命令を格納することが可能な非一時的メモリ１４４（例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信するコンピューティングデバイス（又はプロセッサ）１４２（例えば、１つ以上のコンピューティングプロセッサを有する中央処理装置）を含んでいる。コントローラ１４０は、牽引車両１０２、トレーラ１０６、並びに牽引車両１０２及びトレーラ１０６の両方によって支持されてもよい。幾つかの実施例において、コントローラ１４０は、牽引車両１０２の運転者にトレーラ１０６の背後の周囲状況のパノラマビュー１５２を提供する牽引ボール位置検出システム１５０を実行する。
【0026】
例示的な実施形態において、牽引車両１０２は、コントローラ１４０に電子的に結合されるコンポーネント位置決めシステム１７０（図２）を含む。コンポーネント位置決めシステム１７０は、牽引車両１０２に対して上で説明した可動車両コンポーネントを選択的に位置決めする。牽引車両１０２がピックアップトラックである実施形態において、コンポーネント位置決めシステム１７０は、テールゲートを開閉するためにトラックのテールゲート１６０と動作可能に関連付けられる。牽引車両１０２がセダンである実施形態において、コンポーネント位置決めシステム１７０は、トランクを開閉するためにセダンのトランクと動作可能に関連付けられる。牽引車両１０２がＳＵＶである実施形態において、コンポーネント位置決めシステム１７０は、ＳＵＶのリフトゲートを開閉するためにそれと動作可能に関連付けられる。コンポーネント位置決めシステム１７０は、それ自体、可動車両コンポーネントの開位置を制御又は設定するために、それに通信可能に結合されるモータ及びコントローラ（図示せず）を含んでいてもよい。コンポーネント位置決めシステム１７０は、コントローラ１４０が、可動車両コンポーネントを選択的に位置決めするよう命令をコンポーネント位置決めシステム１７０に送信してもよいように、コントローラ１４０に通信可能に結合される。少なくとも１つのセンサ１３４はまた、可動車両コンポーネント（テールゲート１６０、トランク、リフトゲート等）の位置を検知し、検知された位置データ１３５をコントローラ１４０及び／又はコンポーネント位置決めシステム１７０に提供する位置センサを形成してもよい。
【0027】
例示的な実施形態によれば、牽引車両１０２は、牽引ボール１０４の位置を推定及び／又は特定する牽引ボール位置検出システム１５０を含む。システム１５０は、例えば、較正シーケンスの一部として、牽引ボール１０４の位置を検出、推定、又は別の方法で特定する。較正シーケンスは、例えば、牽引車両１０２の動作のパワーアップシーケンス中に、又はトレーラアシスト機能若しくは操作の開始時に実行されてもよい。検出されると、牽引ボール１０４の位置は、牽引車両１０２のトレーラアシスト機能の一部として用いられてもよい。牽引ボール位置検出システム１５０は、少なくとも２つの位置の間で移動可能な移動可能車両コンポーネントに取り付けられ、各位置が牽引ボール１０４の表現を含む画像を取り込む背面カメラ１３２ａと共に用いられてもよい。牽引ボール位置検出システム１５０を、例示の目的のためにテールゲート１６０を有する牽引車両１０２に関して以下で説明するが、牽引ボール位置検出システム１５０は、リアカメラ１３２ａが取り付けられる任意の他のかかる可動車両部分に用いられてもよいと理解されている。例示的な実施形態において、テールゲート１６０は、図３に示すような第１の閉位置（即ち、第１のコンポーネント位置）と、図５に示すような第２の全開位置（即ち、第２のコンポーネント位置）との間で移動させてもよい。例示的な実施形態において、リアカメラ１３２ａは、閉じたテールゲート１６０の上部中央部分に沿って固定して取り付けられる。
【0028】
例示的な実施形態によれば、牽引ボール位置検出システム１５０は、リアカメラ１３２ａによって取り込まれる牽引ボールの少なくとも２つの画像を用いて牽引ボール１０４の位置を推定し、各画像は、牽引車両１０２に対して異なる位置にある間にリアカメラ１３２ａによって取り込まれる。牽引ボール推定は、第１の画像と第２の画像との間の世界座標におけるリアカメラの位置の変化、並びに第１及び第２の画像における牽引ボール１０４の表現のピクセル位置の変化に基づいている。較正動作において推定されるような牽引ボール１０４の位置は、次いで、後続のトレーラアシスト操作において用いられてもよい。
【0029】
図８は、少なくとも１つの例示的な実施形態による牽引ボール位置を決定及び／又は推定するための方法８００を示している。動作シーケンスは、本明細書中に提示される順序とは異なる順序で行われてもよいと理解されている。最初に、８０２において、較正動作を開始するリクエストを受信する。幾つかの態様において、リクエストは、ディスプレイ１２２を介してプロセッサ１４０によって提供されるプロンプトに応答して、牽引車両１０２のユーザから受信する。リクエストは、牽引車両が始動又は電源投入される際の始動シーケンス等、牽引車両１０２の他のシステムから受信してもよいと理解されている。受信したリクエストに応答して、牽引ボール位置検出システム１５０は、８０４において較正シーケンスを開始する。
【0030】
幾つかの例示的な実施形態において、牽引ボール位置検出システム１５０は、８０６において、ディスプレイ１２２を介して牽引車両ユーザに、又はコンポーネント位置決めシステム１７０に、可動牽引車両コンポーネントを第１のコンポーネント位置に移動させる命令を送信することによって、較正を開始する。リアカメラ１３２ａが可動車両コンポーネントに取り付けられているため、可動牽引車両コンポーネントの第１のコンポーネント位置への移動は、リアカメラ１３２ａが第１の位置に移動することに対応する。この説明の目的のために、第１のコンポーネント位置は、テールゲート１６０、トランク、又はリフトゲートの閉位置であると考えられるが、第１の位置は、代替として、テールゲート１６０、トランク、又はリフトゲートの開位置であってもよいと理解されている。
【0031】
代替の実装において、牽引ボール位置検出システム１５０は、位置センサを介して、又は取り込んだ画像の物体認識を用いて、可動牽引車両コンポーネントの現在位置を検出し、可動牽引車両コンポーネントが開位置にある（この実施形態においては、閉位置が第１のコンポーネント位置と見なされる）場合にのみ命令を送信してもよい。更に別の代替実装において、牽引ボール位置検出システム１５０は、可動牽引車両コンポーネントの現在位置を検出し、検出した現在位置にある可動牽引車両コンポーネントにより較正を開始してもよい。言い換えれば、コントローラ１４０は、検出した現在位置を較正動作の第１のコンポーネント位置として割り当てる。
【0032】
コントローラ１４０は、８０８において、第１の位置にある間にリアカメラ１３２ａによって取り込まれる牽引車両１０２の後方周囲状況の第１の画像を受信する。第１の画像は、牽引ボール１０４の表現１０４’を含んで、図４に示されている。第１の画像における牽引ボール１０４の表現１０４’のピクセル位置は、８１０において、特定されるか、又は別の方法で検出される。牽引ボール表現のピクセル位置は、幾つかのアプローチのうちの任意の１つによって行われてもよい。例えば、コントローラ１４０は、ディスプレイ１２２に命令を送信して、第１の画像を表示し、タッチスクリーンディスプレイ１２２の一部に触れることによって牽引ボール表現を選択するよう、牽引車両１０２のユーザに促してもよい。牽引車両ユーザによって選択される牽引ボール表現により、コントローラ１４０は、ユーザによって触れられるタッチスクリーンディスプレイ１２２の一部内の特定のピクセル位置を検出してもよい。代替として、牽引ボール位置検出システム１５０は、コンピュータビジョン、人工知能、及び／又はニューラルネットワークによる物体認識を用いて、第１の画像内の牽引ボール表現を自動的に検出してもよい。牽引ボール表現を検出するための１つのコンピュータビジョンベースのアプローチは、画像内の円を検出するためのハフ変換である。
【0033】
８１２において、コントローラ１４０は、リアカメラ１３２ａを第２の位置に移動させるように命令を送信する。一実施形態において、命令はディスプレイ１２２に送信されて、第２の位置にあるリアカメラ１３２ａに対応する第２のコンポーネント位置に可動車両コンポーネントを手動で移動させるよう牽引車両ユーザに促す。別の実施形態において、命令は、同じことを行うようコンポーネント位置決めシステム１７０に送信される。第１のコンポーネント位置が閉位置にあるテールゲート１６０である状態で、第２のコンポーネント位置は、全開位置にあるテールゲート１６０であってもよい。較正シーケンスが牽引車両１０２の操作中に実行される代替実装において、牽引ボール位置検出システム１５０は、可動車両コンポーネントをコンポーネント位置に移動させるための命令を提供せず、代わりに、運転者又は他の牽引車両ユーザによって開始されるように、可動車両コンポーネントが移動されることを待機する。この場合、較正シーケンスは、可動車両コンポーネントが移動されるまで続行されない。この実装において、較正シーケンスは、運転者又は他の牽引車両ユーザを関与させることなく自動的に実行される。
【0034】
第２の位置にある間にリアカメラ１３２ａによって取り込まれる第２の画像が、８１４においてコントローラ１４０によって受信される。第２の画像を図６に示す。第２の画像内の牽引ボール１０４の表現１４０’のピクセル位置は、８１６において、ブロック８１０に関連して上で説明したアプローチを用いて検出される。
【0035】
８１８において、牽引ボール位置検出システム１５０は、世界座標において、第１の位置から第２の位置へのリアカメラ１３２ａの位置の変化を特定する。この特定は、テールゲート１６０が第１のコンポーネント（閉）位置から第２のコンポーネント（全開）位置に移動したこと等の、既知の固定変化量に基づいてもよい。追加として又は代替として、この特定は、リアカメラ１３２ａが取り付けられる可動車両コンポーネントに関連付けられる位置センサからのセンサデータに基づいてもよい。可動コンポーネントの動きによる、牽引車両１０２に対するリアカメラ位置のこの変化は、結果として、牽引ボール１０４の異なる視野角をもたらし、それによって、マシンビジョンを用いる牽引ボール位置推定を可能にする。
【0036】
８２０において、牽引ボール位置検出システム１５０は、第１の画像における牽引ボール１０４の表現１０４’及び第２の画像における表現１０４’のピクセル位置の変化を特定する。世界座標におけるリアカメラ１３２ａの位置の変化と、ピクセル座標における牽引ボール１０４’の表現１０４’の位置の変化とに基づいて、牽引ボール位置検出システム１５０は、８２２において、世界座標における牽引ボール１０４の位置を特定する。この特定は、三角法又は線形代数を利用して、牽引ボール１０４の位置を推定してもよい。図７は、牽引ボール１０４がリアカメラ１３２ａによって２つの画像及び／又は画像平面内に取り込まれ、それぞれが、結果として画像／画像平面内の異なる場所にある牽引ボール表現１０４’をもたらす、三角測量を示している。
【0037】
特定される牽引ボール１０４の位置により、推定された牽引ボール位置は、牽引車両１０２の車両アシストシステムによって用いられてもよい。幾つかの実施形態において、世界座標における牽引ボール位置を決定するための較正シーケンスは、この時点で終了する。
【0038】
幾つかの実施例において、牽引ボール位置検出システム１５０は、可動車両コンポーネント（テールゲート１６、トランク、又はリフトゲート）の２つを超える異なる角度の画像内の牽引ボール位置を記録し、この追加情報を用いて、牽引ボール位置をより高い精度で更に推定する。
【0039】
更に、牽引ボール位置検出システム１５０は、以前の較正動作において推定及び／又は検出されたような牽引ボール１０４の位置が、トレーラアシスト操作又は機能において用いるために有効なままであることを検証する。詳細には、システムは、リアカメラ１３２ａによって最近取り込まれた画像内の牽引ボール表現１０４’を検出し、牽引ボール１０４の以前に推定された位置を画像内の牽引ボール１０４の表現１０４’と比較し、最近取り込まれた画像内の牽引ボール表現１０４’が画像内の予期した位置にあることを検証する。この検証は、前の較正対象となった牽引ボール１０４及び／又はヒッチバー１０５が、最後の較正が行われてから交換されなかったことを確認することに役立つ。
【0040】
図９は、例示的な実施形態による、以前の較正シーケンスがトレーラアシスト操作において用いるために有効なままであることを検証するための方法を説明するフロー図９００を示している。９０２において、コントローラ１４０は、テールゲート１６０が閉位置又は開位置にある状態等、リアカメラが既知の位置にある状態で、リアカメラ１３２ａによって最近取り込まれた第３の画像を受信する。牽引ボール１０４の表現１０４’のピクセル位置は、９０４において検出される。牽引ボール表現１０４’のピクセル座標における位置は、ブロック８１０に関して上で説明したアプローチのいずれかを利用してもよい。第３の画像における牽引ボール表現１０４’のピクセル位置は、９０６において処理され、先の較正シーケンスからの牽引ボール１０４の位置の推定と相関させる。相関が達成されないか、又はそうでなければ、９０８において、最近の画像における牽引ボール表現１０４’が牽引ボール１０４の以前に推定された位置に対応しないことを示し、それによって、異なる牽引ボールが現在用いられていることを示唆する場合、牽引ボール位置検出システム１５０は、９１０において、新しい較正シーケンスが行われることを要求するか、又はディスプレイ１２２に命令を送信して、牽引車両ユーザに再較正を要求するよう促す。
【0041】
図８のブロック８１０及び８１６又は図９のブロック９０４のいずれかのブロックにおいて、牽引ボール位置検出システム１５０が対応するカメラ画像における牽引ボール表現１０４’を識別することができない場合、牽引ボール位置検出システム１５０は、牽引ボールが牽引車両１０２に取り付けられていないと仮定する。この情報は、トレーラヒッチアシスト機能等のある特定のトレーラアシスト機能の作動を抑止するために用いられてもよい。
【0042】
本発明は、較正プロセスを自動化し、人為的ミスの可能性を排除するか、そうでなければ低減する。
【0043】
本明細書中に説明したシステム及び技術の種々の実装は、デジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現できる。これらの種々の実装は、記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、それらへデータ及び命令を送信するよう結合される、特殊用途又は汎用であってもよい、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ以上のコンピュータプログラムにおける実装を含んでいてもよい。
【0044】
これらのコンピュータプログラム（またプログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても公知である）は、プログラマブルプロセッサに対する機械語命令を含み、高級手続き言語及び／又はオブジェクト指向プログラミング言語において、及び／又は、アセンブリ言語／機械語において実装できる。本明細書中で用いたように、用語「機械読取可能媒体」及び「コンピュータ読取可能媒体」とは、機械読取可能信号として機械語命令を受信する機械読取可能媒体を含む、プログラマブルプロセッサに機械語命令及び／又はデータを提供するよう用いられる、いずれかのコンピュータプログラム製品、装置、及び／又はデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。用語「機械読取可能信号」とは、プログラマブルプロセッサに機械語命令及び／又はデータを提供するよう用いられるいずれかの信号を指す。
【0045】
本明細書において説明する主題及び機能的動作の実装は、本明細書において開示する構造及びそれらの構造的等価物を含む、デジタル電子回路において、或いはコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、又はそれらのうちの１つ以上の組み合わせにおいて実装することができる。その上、本明細書において説明する主題は、１つ以上のコンピュータプログラム製品、即ち、データ処理装置による実行のために、又はその動作を制御するよう、コンピュータ読取可能媒体上に符号化されるコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ読取可能媒体は、機械読取可能格納デバイス、機械読取可能格納基板、メモリデバイス、機械読取可能伝搬信号をもたらす組成物、又はそれらのうちの１つ以上の組み合わせとすることができる。用語「データ処理装置」、「コンピューティングデバイス」、及び「コンピューティングプロセッサ」は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成される信号、例えば、適切な受信機装置への送信のための情報を符号化するよう生成される、機械によって生成される電気、光、又は電磁信号である。
【0046】
同様に、動作を特定の順序で図面に示しているが、これは、所望の結果を達成するよう、かかる動作が示した特定の順序で若しくは逐次的な順序で実行されること、又は全ての図示した動作が実行されることを必要とすると理解すべきではない。ある特定の状況において、マルチタスキング及び並列処理が有利である可能性がある。その上、上で説明した実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてかかる分離を必要とするものとして理解すべきではなく、説明したプログラムコンポーネント及びシステムは、一般に、単一のソフトウェア製品に共に統合されるか、又は複数のソフトウェア製品にパッケージ化することができることを理解されたい。
【0047】
多数の実施形態を説明してきた。しかしながら、種々の変更が、本開示の精神及び適用範囲から逸脱することなく、行われてもよいことは理解されよう。従って、他の実装も、以下の特許請求の範囲の適用範囲内にある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】