特許 7444605 牽引ヒッチの位置を計算する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】牽引ヒッチの位置を計算する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240228BHJP

   G06T 7/70 20170101ALI20240228BHJP

   H04N 23/60 20230101ALI20240228BHJP

   H04N 23/90 20230101ALI20240228BHJP

   B60D 1/36 20060101ALN20240228BHJP

【ＦＩ】

G06T7/00 650B

G06T7/70 Z

H04N23/60 500

H04N23/90

B60D1/36

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2019237678

(22)【出願日】2019-12-27

(65)【公開番号】P2020113268

(43)【公開日】2020-07-27

【審査請求日】2022-11-22

(31)【優先権主張番号】19150591

(32)【優先日】2019-01-07

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】ロビン・プラウマン

【審査官】合田 幸裕

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２７６８３９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／００２４０６４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１７４０２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／００７７５５７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０７６６１６２９（ＣＮ，Ａ）

【文献】国際公開第２０１８／２０２４６４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／９０

Ｂ６０Ｄ １／３６

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法であって、
画像捕捉デバイス（２０２）を使用して、第１の位置におけるトレーラの第１の画像と第２の位置における前記トレーラの第２の画像を捕捉するステップ（ステップＳ１）と、
第１の位置と前記第２の位置の間の前記画像捕捉デバイスに対する相対的な前記トレーラの回転と前記トレーラの並進を計算するステップ（ステップＳ２）と、
計算した前記トレーラの回転と前記トレーラの並進に基づき、前記第１の画像と前記第２の画像の間の前記トレーラの第１の回転軸を計算するステップ（ステップＳ３）と、
前記トレーラの第３及び第４の画像に対してステップＳ１からＳ３を繰り返すことにより、前記第３と第４の画像の間の前記トレーラの第２の回転軸を計算するステップ（ステップＳ１＊からＳ３＊）と、
前記第１と第２の回転軸の交点を特定して、前記牽引ヒッチの位置へのベクトルを特定するステップ（ステップＳ４）と
を備える、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項2】

前記トレーラの回転とトレーラの並進を計算する前記ステップＳ２が、
計算した前記牽引ヒッチの位置へのベクトルを、トレーラ角度を計算する方法のための入力として使用すること（ステップＳ９）をさらに備える、請求項１に記載の、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項3】

前記牽引ヒッチの位置への光線と幾何学的条件を使用して、前記牽引ヒッチの位置を計算すること（ステップＳ５）をさらに備える、請求項１又は２に記載の、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項4】

前記幾何学的条件が、前記第１及び第２の画像を捕捉するカメラの既知の外部カメラ位置として具現化され、前記牽引ヒッチの位置が前記トレーラ（２０７、２０８）を牽引する前記車両（２０１）の中央にあるというものである、請求項３に記載の、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項5】

前記トレーラの回転とトレーラの並進を計算する前記ステップＳ２が、
前記トレーラの前記捕捉した第１の画像を前記捕捉した第２の画像と比較するステップ（ステップＳ６）、及び
前記捕捉した第１の画像における前記トレーラの特徴の、前記捕捉した第２の画像における前記トレーラの特徴の位置に対する相対的位置を識別するステップ（ステップＳ７）をさらに備える、請求項１から４のいずれか一項記載の、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項6】

前記トレーラの回転とトレーラの並進を計算する前記ステップＳ２が、前記ステップＳ３で計算した前記トレーラの第１の回転軸と、ステップＳ１＊からＳ３＊で計算した前記トレーラの第２の回転軸を画像に投影すること（ステップＳ８）をさらに備える、請求項１から５のいずれか一項に記載の、牽引ヒッチ（２０３）を介してトレーラ（２０７、２０８）に取り付けた車両（２０１）の前記牽引ヒッチの位置へのベクトルを計算する方法。

【請求項7】

トレーラの牽引ヒッチの位置を計算するための車両（２０１）の計算ユニット（２１０）であって、
捕捉した第１の姿勢にある前記トレーラの第１の画像と、捕捉した第２の姿勢にある前記トレーラの第２の画像に基づき、前記トレーラの回転と前記トレーラの並進を計算し（ステップＳ２）、
前記計算したトレーラの回転とトレーラの並進に基づき、前記第１の姿勢と前記第２の姿勢の間の前記トレーラの第１の回転軸を計算し（ステップＳ３）、
前記トレーラの捕捉した第３の姿勢にある第３の画像と第４の姿勢にある第４の画像に対してステップＳ２及びＳ３を繰り返すことにより、前記トレーラの第２の回転軸を計算し（ステップＳ２＊及びＳ３＊）、
前記第１と第２の回転軸の交点を特定して、前記牽引ヒッチの位置への光線を特定する（ステップＳ４）ように構成されている、
計算ユニット。

【請求項8】

前記計算ユニットがさらに、前記牽引ヒッチの位置への前記光線と幾何学的条件を使用して、前記牽引ヒッチの位置を計算する（ステップＳ５）ように構成されている、請求項７の計算ユニット。

【請求項9】

前記トレーラ（２０７、２０８）の画像を捕捉するためのカメラ（２０２）と、請求項７又は８に記載の計算ユニットを備える、車両（２０１）。

【請求項10】

プロセッサ上で実行されると、請求項１の方法を遂行するようにプロセッサに命令する、プログラム要素。

【請求項11】

請求項８に記載のプログラム要素が保存されている、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両上の牽引ヒッチの位置へのベクトルを計算する方法、牽引ヒッチの位置へのベクトルを計算するための車両の計算ユニット、ならびにかかる計算ユニット、コンピュータプログラム及びコンピュータ可読媒体を備える車両に関する。

【背景技術】

【0002】

トレーラヒッチ支援システムは、トレーラを車両に連結する際に、ドライバをサポートするように設計されている。トレーラヒッチ支援システムは、トレーラの向きと、車両に搭載された牽引ヒッチの位置に関する情報を必要とする。トレーラ後退支援システムは、トレーラを取り付けた状態で車両を後退させる際に、ドライバをサポートするように設計されている。トレーラ後退支援システムは、カメラの位置に関する牽引ヒッチの位置、即ち、カメラから牽引ヒッチへのベクトルに関する情報を必要とする場合がある。かかるシステムは、このベクトルに沿った牽引ヒッチまでの距離を把握しなくてもよく、それは、これらのシステムは、この距離に対して不変であるトレーラの回転を計算するだけでよいためである。

【0003】

牽引ヒッチの位置は、手動で測定してもよいが、それは、とりわけ牽引連結器が車両の製造時に搭載されていない場合、又は車両上で牽引連結器を手動でもしくは電子的に移動できる場合、不正確であり、コストがかかり、時間を必要とする。

【0004】

牽引ヒッチは、トレーラが動く際にそこを中心として旋回する車両上の点である。これは、牽引ボール、又は他の取り付け手段であってもよい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

牽引ヒッチの位置を電子的に特定したい、又はカメラから牽引ヒッチへのベクトルを特定したいという要望が存在し得る。

【課題を解決するための手段】

【0006】

この問題は、独立請求項の主題によって解決される。実施形態は、従属請求項、下記の明細書、及び添付の図面により提供される。

【0007】

本発明の第１の側面によると、車両の牽引ヒッチの位置へのベクトルを計算する方法が提示され、方法は、
－ 画像捕捉デバイスを使用して、第１の位置におけるトレーラの第１の画像を捕捉し、第２の位置におけるトレーラの第２の画像を捕捉するステップ（ステップＳ１）、
－ 捕捉した第１の画像と捕捉した第２の画像に基づき、第１の姿勢と第２の姿勢の間のトレーラの回転とトレーラの並進を計算するステップ（ステップＳ２）、
－ 計算したトレーラの回転とトレーラの並進に基づき、第１の画像と第２の画像の間のトレーラの第１の回転軸（オイラー軸）を計算するステップ（ステップＳ３）、
－ トレーラの第３と第４の画像に対してステップＳ１～Ｓ３を繰り返すことにより、第３の画像と第４の画像の間のトレーラの第２の回転軸を計算するステップ（ステップＳ１＊～Ｓ３＊）、
－ 第１と第２の回転軸の交点を特定して、牽引ヒッチの位置へのベクトルを特定するステップ（ステップＳ４）、及び
－ 任意に、牽引ヒッチの位置へのベクトルと幾何学的条件を使用して、牽引ヒッチの位置を計算するステップ（ステップＳ５）を含む。

【0008】

ステップＳ１～Ｓ３は、少なくとも１回又は複数回反復してもよい。この反復では、第３の画像との比較の際に第１の画像を再利用することもでき、或いは、新しい画像のペアを使用することもでき、そうすれば、例えば第３と第４の画像を使用して第２の回転軸が計算される。

【0009】

換言すると、牽引ヒッチの位置は本質的に、まずトレーラの２つの画像を比較し、第１の回転軸を得ることによって計算される。第１の画像は、向きが既知、例えば、車両の縦軸に対して相対的に回転又は並進をしていない向きのトレーラの画像であってもよい。トレーラの並進は、トレーラが牽引ヒッチの周りを回転する際に、画像捕捉デバイスと牽引ヒッチの相対的位置のために回転だけでなく並進も受けるように見えるために発生する。

【0010】

画像は、トレーラが視野に入る車両に搭載されたカメラによって捕捉してもよい。この画像は、本開示においてはゼロ姿勢画像と指定される。原理上は、回転及び並進は相対的なため、任意の向きと並進をゼロ姿勢と定義してもよい。回転軸を計算するには、第２の画像は、トレーラが第１の画像に対して相対的回転を示す画像である必要がある。かかる画像は、例えば、トレーラを車両に連結する際の走行中に捕捉してもよい。これは、図１からも容易に理解することができる。

【0011】

この手順を第３と第４の画像に対して繰り返し、ここで、第３と第４の画像は、第１の画像と比較して、回転と並進を示すものである。第１の画像と第３及び第４の画像の間のトレーラの回転は、第１の画像と第２の画像の間のトレーラの回転とは異なる軸周りである必要がある。即ち、第１と第２の画像の間のトレーラの回転がヨーのみで構成されている場合、第１と第３及び第４の画像の間のトレーラの回転は、ピッチ又はロール成分を含有する必要がある。この回転と並進のため、第１の回転軸とは異なる第２の回転軸を特定することができる。当然ながら、牽引ヒッチはトレーラを牽引するために牽引用バーが搭載された固定点であるため、両回転軸は、牽引ヒッチを通過するという共通点がある。したがって、２つの軸は交差することがあり、その場合、交点は牽引ヒッチとなる。

【0012】

上記計算を単一のカメラ（モノカメラ）で行うため、距離とスケールは未知である。換言すると、カメラから回転軸及び牽引ヒッチまでの距離は未知である。回転軸の交点を計算するため、回転軸を画像平面（ｚ＝１での平面、ここで、ｚ軸は光軸上に延びている）上に投影する。回転軸は、カメラからの距離に関わりなく、画像平面上で同じ線に投影される。次いで、画像平面上の２Ｄにおける回転軸線の交点が計算され、それによって牽引ヒッチの位置へのベクトル、又は光線が与えられる。

【0013】

牽引ヒッチの位置を計算するには、更なる幾何学的条件が必要である。

【0014】

なお、牽引ヒッチの位置は、必ずしも計算する必要がない場合がある。多くのトレーラ後退支援アルゴリズムでは、車両の縦軸に対する相対的なトレーラの角度を計算しさえすればよい。この目的のためには、牽引ヒッチの位置へのベクトルが把握できれば十分であり、牽引ヒッチまでの任意距離（例えば、単位距離）は、推定可能である。

【0015】

従って、本発明は、車両上のカメラを使用して、トレーラが車両に牽引されている際にトレーラの回転と並進を特定し、これらの測定を使用して牽引ヒッチへのベクトルを特定することに関する。更に、本発明は、このベクトルを使用して、牽引ヒッチの位置を手動で測定する必要なしに牽引ヒッチの位置を特定することを可能とする。牽引ヒッチのベクトル又は位置が計算されると、これを保存し、車両をトレーラに繋ぐ際にドライバを支援するトレーラ後退支援又はトレーラヒッチ支援のために後に使用することもできる。

【0016】

換言すると、本発明は、トレーラが車両に牽引されている際にトレーラの動き（回転及び並進）を分析することにより、牽引ヒッチへのベクトルを計算する。

【0017】

未知の牽引ヒッチの位置を用いてトレーラの動きを計算するために使用されるアルゴリズム（例えば、８点基本行列）は、牽引ヒッチの場所を把握しているアルゴリズムよりも大きな誤差を生じやすい。しかし、時間と共に、本発明は牽引ヒッチの場所を識別し、その後システムは、牽引ヒッチの位置又はベクトルを入力として必要とするより正確なトレーラ角度計算方法に切り替わることができる。

【0018】

トレーラは、牽引ヒッチ周りの回転のみを受けるが、カメラが牽引ヒッチからオフセットしているため、カメラに対して相対的並進を受けたように見えることから、回転に加えて並進が計算される。

【0019】

一般に、「幾何学的条件」は、牽引ヒッチのベクトルを線又は平面と交差させ、牽引ヒッチまでの距離、したがって牽引ヒッチの位置が計算できるようにする任意の情報であってもよい。

【0020】

幾つかの例示的な実施形態を、以下に詳細に説明する。

【0021】

一実施形態によると、幾何学的条件は、既知の外部パラメータ、たとえば、第１、第２及び第３と第４の画像を捕捉するカメラのカメラ位置として具現化され、牽引ヒッチの位置は、トレーラを牽引する車両の中央にあるというものである。既知の外部カメラ位置は、基準位置を提供し、車両上の牽引ヒッチの中心位置までの距離が既知であってもよい。この情報があれば、ベクトル又は光線を、例えば中心平面と交差させて牽引ヒッチの位置を導き出すことができる。

【0022】

更なる例によると、異なる位置であるが既知の位置に搭載されたカメラを用いて更なる回転軸を特定してもよい。この場合、第２の光線を特定してもよく、カメラと交点の位置が既知であるため、牽引ヒッチの位置を特定することができる。

【0023】

一実施形態によると、トレーラの回転とトレーラの並進を計算するステップＳ２は、トレーラの捕捉した第１の画像を捕捉した第２の画像と比較するステップ（ステップＳ６）と、捕捉した第１の画像におけるトレーラ上の特徴の、捕捉した第２の画像におけるそれらの位置に対する相対的位置を特定するステップ（ステップＳ７）を更に含む。

【0024】

第１の画像は、予め、又は走行中に捕捉した画像であってもよく、電子的に保存されていてもよいゼロ姿勢画像であってもよい。画像を走行中に捕捉する場合、画像は、多数の捕捉画像から生成されてもよく、その場合、例えば、ゼロ姿勢として平均値が計算され、生成されたゼロ姿勢画像がメモリに保存される。ゼロ姿勢は、例えば数学的情報として保存してもよく、トレーラがゼロ姿勢で示されている保存画像として提供されてもよい。

【0025】

回転と並進を特定するために画像を比較する場合、捕捉した画像におけるトレーラ上での特徴対応付けを使用してもよい。これらの特徴対応付けは、特徴検出及びマッチングアルゴリズム、たとえばＳＩＦＴ（スケール不変特徴変換）、ＳＵＲＦ（頑健な特徴量の高速化）又はＢＲＩＥＦ（二値頑健独立基本特徴）を使用して創出される。トレーラを表す画像中の特徴は、背景を表す特徴から、直進較正走行中に実行される学習アルゴリズムによって分離してもよい。この走行中、静的特徴がトレーラの特徴として識別される。トレーラ上の特徴を特定する代替的な方法、たとえばトレーラ上の所定のパターンを見いだし、トレーラが動く際にそのパターン上の特徴を追跡する方法を使用してもよい。或いは、トレーラの外観に関する情報を保存し、トレーラ上の特徴を見いだすために使用してもよい。

【0026】

第１の画像がこの較正走行中に捕捉されるゼロ姿勢画像である場合、特徴を保存すれば十分であり、そうすれば「ゼロ姿勢画像」はトレーラの特徴のみからなると解釈できる。

【0027】

一実施形態によると、トレーラの回転とトレーラの並進を計算するステップＳ２は、計算した第１と第２の回転軸を画像平面に投影すること（ステップＳ９）を更に含む。回転軸を画像平面に投影することにより、画像平面において１点で交差する線が取得される。画像平面は、理想的なピンホールカメラモデルを使用して３ｄオブジェクトが投影される仮想平面である。画像平面上の回転軸線の交点は、カメラの光学中心から画像平面上の交点を通り、牽引ヒッチの推定位置に至るベクトルを定義する。

【0028】

これは、２つの交差する平面であるとも考えられ、それぞれの平面は回転軸とカメラの位置を含有する。これらの平面は、カメラ中心から牽引ヒッチの位置へ至る線又はベクトルで交差する。

【0029】

上記のような更なる幾何学的条件を使用して、牽引ヒッチの位置を計算することができる。

【0030】

一実施形態によると、トレーラの回転とトレーラの並進を計算するステップＳ２は、計算した牽引ヒッチのベクトル又は位置を、トレーラ角度を計算する方法のための入力として使用すること（ステップＳ８）を更に含む。かかるトレーラ角度を計算する方法は、当業者に公知の方法であってもよい。トレーラヒッチ支援システム又はトレーラ後退支援システムには、最終的には、取得したトレーラの向きの必要な情報が電子的に提供される。

【0031】

第２の側面によると、トレーラに取り付けた車両の牽引ヒッチの位置へのベクトルを計算するための車両の計算ユニットが提供され、ここで、計算ユニットは、
－ 捕捉した第１の姿勢にあるトレーラの第１の画像と、捕捉した第２の姿勢にあるトレーラの第２の画像に基づき、トレーラの回転とトレーラの並進を計算し（ステップＳ２）、
－ 計算したトレーラの回転とトレーラの並進に基づき、第１の姿勢と第２の姿勢の間のトレーラの第１の回転軸を計算し（ステップＳ３）、
－ トレーラの別の画像のペアに対してステップＳ２及びＳ３を繰り返すことにより、トレーラの第２の回転軸を計算し（ステップＳ２＊及びＳ３＊）、
－ 第１と第２の回転軸の交点を特定して、牽引ヒッチの位置への光線を特定し（ステップＳ４）、
－ 牽引ヒッチの位置への光線と幾何学的条件を使用して、牽引ヒッチの位置を計算する（ステップＳ５）ように構成されている。

【0032】

計算ユニットは、１以上のプロセッサ、メモリ、及びカメラへのインターフェースを含んでもよい。更に、とりわけ、牽引ヒッチのベクトル又は位置及びトレーラの向きに関する情報をこれらのシステムに提供するため、又はこの情報を特定せよというリクエストを受信するために、トレーラヒッチ支援システム又はトレーラ後退支援システムへのインターフェースを有してもよい。計算ユニットは、上記の方法に従い、牽引ヒッチのベクトル又は位置及び向きを計算するようになされる。

【0033】

第３の側面によると、トレーラの画像を捕捉するためのカメラを備え、計算ユニットを備えた車両が提供される。

【0034】

第４の側面によると、プロセッサ上で実行されると、プロセッサに上記の方法を遂行するように命令するプログラム要素が提供される。

【0035】

第５の側面によると、前記プログラム要素が保存されているコンピュータ可読媒体が提供される。

【0036】

例示的実施形態
本発明のこれら及び他の特徴、側面ならびに利点は、添付の図面と下記の説明を参照して、よりよく理解される。

【図面の簡単な説明】

【0037】

【図1】図１は、本発明の一実施形態による、トレーラの牽引ヒッチの位置を計算する方法で使用される第１の画像又はゼロ姿勢画像及び第２の画像の実例を示し、

【図2】図２は、本発明の一実施形態による回転軸の実例を示し、

【図3】図３は、は、本発明の一実施形態による方法のフロー図を示す。

【発明を実施するための形態】

【0038】

図１は、本発明の一実施形態による、トレーラの牽引ヒッチの位置を計算する方法で使用される第１の画像１１０と第２の画像１２０の実例を示す。第１の画像１１０は、例えば、図１に示すようにフロント側に特徴１１２と、牽引用バー１１３を持つトレーラ１１１を含有する。同様に、第２の画像１２０は、同じトレーラ１２１を含有するが、トレーラ１２１は、牽引ヒッチ周りに回転しており、例えば、図１に示すようにフロント側に回転し並進した特徴１２２と、回転した牽引用バー１２３を持つ。トレーラ１１１上の画像特徴１１２は、例えば、学習プロセスにより識別されてもよい。例示的実施形態において、学習プロセスは、直線的に前進している際に画像１１０内の画像特徴を検出し追跡することを含んでもよい。所定時間後、トレーラ１１１は、車両の背後でゼロ角度にあると推定される。次いで、トレーラ上の識別された画像特徴１１２は、画像１１０上で固定した向きを有すると見なすことができ、即ち、画像１１０中で制止しているように見え、一方で、画像１１０上の更なる特徴、例えば地面及び他のオブジェクト上の特徴は、画像中を移動する。ゼロ姿勢での画像特徴１１２は、最終的に保存される。

【0039】

例示的実施形態において、次いで、第１の姿勢又はゼロ姿勢に対する相対的トレーラ角度を以下のように計算できる。第２の画像１２０上で、第１の姿勢で識別されたトレーラ画像特徴１２２が現在のトレーラ姿勢での位置に移動するので、それを追跡する。外部及び内部カメラ較正を使用して、画像特徴１２２それぞれについて現在の姿勢及び第１の姿勢でのカメラ光線を特定し、ここで、外部及び内部カメラ較正値は、車両上のカメラの搭載構造と、カメラ光学系の内部幾何パラメータを考慮している。次に、第１の姿勢及び現在の姿勢での画像特徴について、カメラ光線を使用して変換行列が計算される。適切な変換行列の一例は、いわゆる「基本行列」である。これは、当業者には周知の多様なアルゴリズム、例えば８点アルゴリズムを使用して計算することができる。８を超える特徴を使用する場合、ＲａｎＳａＣ法を使用してアウトライアを除去することもできる。最後に、基本行列又は変換行列から回転と並進の値が抽出される。

【0040】

図２は、側面図でのカメラ２０２と牽引ヒッチ２０３を備える車両２０１を示す。トレーラは、第１の姿勢２０８及び第２の２０７姿勢にあるものとして示されている。姿勢は、ピッチ、ヨー及びロール角を含む牽引ヒッチ周りの回転を含んでもよい。第１の姿勢と第２の姿勢の間のトレーラのヨー、ピッチ及びロール回転は、オイラーの回転定理によって記述される軸－角度表現を使用して表すこともできる。これは、トレーラの回転を、例えばヨー、ピッチ及びロールを含む回転ではなく、固定回転軸又はオイラー軸周りの単一の回転として記述する。第１の姿勢と現在の姿勢の間にトレーラがその周りを回転する軸である回転軸２０５は、例えば、上記変換の出力となり得る３Ｄ空間における不動点２０６を計算することにより特定することができる。不動点２０６は、回転軸２０５上にある。回転軸は牽引ヒッチ２０３のところで交差し、ここで、更なる条件がなければ、牽引ヒッチ２０３とカメラ２０２の間の距離、カメラと回転軸２０５と特徴２０９の間の距離は未知であり、したがって、牽引ヒッチの位置もこの段階では未知である。画像に投影されると、これらの軸は線として現れる。

【0041】

２つの画像に代えて、多数の画像を評価してもよく、そうすると時間の経過と共に、それぞれ向きがわずかに異なる多数の回転軸が蓄積される。例えば、トレーラがピッチの変化を受ける場合、軸は水平となる。トレーラがヨーを受ける場合、軸は垂直となる。

【0042】

回転軸とカメラ位置を含有する平面を定義する場合、これらの軸は、画像平面において１点で交差する。次いで、これらの線の交点は、牽引ヒッチの位置への光線を特定する。

【0043】

カメラから牽引ヒッチの位置への光線が与えられると、他の幾何学的仮定を考慮して牽引ヒッチの正確な位置を計算することが可能である。例えば、外部カメラの位置が既知であり、牽引ヒッチがｙ＝０にある場合、牽引ヒッチ光線を車両のリア側に垂直な垂直平面であるｙ＝０平面と、例えば、リア側の中央で交差させることも可能である。

【0044】

或いは、任意のスケールを選ぶことができる。例えば、牽引ヒッチからカメラまでの距離がこの光線に沿って１メートルであると仮定してもよい。

【0045】

図３は、トレーラの牽引ヒッチの位置を計算する方法のフロー図である。第１のステップＳ１において、トレーラの第１の画像とトレーラの第２の画像を捕捉する。第２のステップＳ２において、捕捉した第１の画像と第２の画像に基づき、第１の画像と第２の画像の間のトレーラの回転とトレーラの並進を計算する。第３のステップＳ３において、計算したトレーラの回転とトレーラの並進に基づき、第１の画像と第２の画像の間のトレーラの第１の回転軸を計算する。トレーラの第３と第４の画像又は多数の画像それぞれに対し、ステップＳ１～Ｓ３を少なくとも１回であるが、好ましくは、多数回繰り返すことにより、第３の画像又は更なる画像中のトレーラのそれぞれ第２の回転軸又は多数の回転軸を計算する。次のステップＳ４において、計算した回転軸の交点を特定して牽引ヒッチの位置への光線を特定する。最終ステップＳ５において、牽引ヒッチの位置への光線と幾何学的条件を使用して、牽引ヒッチの位置を計算する。

【0046】

ステップＳ１～Ｓ３は、２つの異なる姿勢にあるトレーラを捕捉している画像の任意のペアに対して繰り返すこともでき、従って、牽引ヒッチの位置と交差する回転軸を計算するために使用することができる。

【0047】

従って、トレーラの動きを追跡することにより、車両に搭載された牽引ヒッチの位置が特定される。追跡は、同じく車両に搭載されたカメラで画像を捕捉することによって遂行される。これにより、手動測定を行うことなく、牽引ヒッチの位置を電子的に特定することが可能である。牽引ヒッチの位置は、保存して、牽引ヒッチの位置を入力として必要とするより正確なトレーラ角度計算アルゴリズムを含み得るトレーラヒッチ支援に提供することができる。

【0048】

他のアルゴリズムにおいて、牽引ヒッチへのベクトルを更に使用してトレーラ角度を特定してもよい。かかるアルゴリズムは、スケールによって影響を受けないため、牽引ヒッチの位置を把握する必要がない。

【0049】

トレーラヒッチが正しく検出されているか否かをユーザが特定できるように、牽引ヒッチへのベクトルを表示デバイスに表示してもよい。システムは、投影を画像上に表示するのに牽引ヒッチの位置を把握する必要はなく、牽引ヒッチのベクトルだけで十分である。

【0050】

このシステムは、トレーラの動きを使用して牽引ヒッチのベクトル又は位置を計算するため、システムは、牽引ヒッチが捕捉された画像に現れない状況でも作動することができる。

【0051】

システムはまた、前車軸が旋回する２つの車軸を持つトレーラなど、トレーラの２つの旋回軸の位置を計算するようになされてもよい。

【図1】

【図2】

【図3】