特表2024-527543 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハーの特許一覧

特表2024-527543運動モデルに基づく物体追跡

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-25

(54)【発明の名称】運動モデルに基づく物体追跡

(51)【国際特許分類】

B60W 30/14 20060101AFI20240718BHJP

B60W 40/04 20060101ALI20240718BHJP

G08G 1/16 20060101ALN20240718BHJP

【ＦＩ】

B60W30/14

B60W40/04

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023580486

(86)(22)【出願日】2022-06-22

(85)【翻訳文提出日】2024-02-27

(86)【国際出願番号】 EP2022066939

(87)【国際公開番号】W WO2023274795

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】102021116693.4

(32)【優先日】2021-06-29

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＲＡＭ

(71)【出願人】

【識別番号】508108903

【氏名又は名称】ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋学

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田幸裕

(72)【発明者】

【氏名】ダニエル、ビンゲルト

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA01

3D241BA49

3D241DC01A

5H181AA01

5H181BB08

5H181CC03

5H181CC04

5H181CC14

5H181CC27

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

物体追跡のための方法では、追跡すべき点（８ａ）の第１の運動方向（６ａ）を含んでいる、物体（５）の第１の状態が、運動モデルに基づいて推定される。追跡すべき物体（５）を表す周囲センサデータが生成され、周囲センサデータに基づいて、追跡すべき物体（５）の幾何学的な向きが特定される。追跡すべき点（８ａ）が、第１の運動方向からの幾何学的な向きの偏差に関連してシフトさせられ、追跡すべき物体（５）の第２の状態が、シフトした点（８ｂ）に関連して特定される。

【特許請求の範囲】

【請求項1】

物体追跡のための方法であって、
少なくとも１つの計算ユニット（３）を用いて、追跡すべき点（８ａ）の第１の運動方向（６ａ）を含む、追跡すべき物体（５）の第１の状態を、前記追跡すべき物体（５）のための予め定められた運動モデルに基づいて推定し、
周囲センサシステム（４ａ，４ｂ）を用いて、前記追跡すべき物体（５）を表す周囲センサデータを生成する、
方法において、
前記少なくとも１つの計算ユニット（３）を用いて、前記周囲センサデータに基づいて、前記追跡すべき物体（５）の幾何学的な向きを特定し、
前記追跡すべき点（８ａ）を、前記少なくとも１つの計算ユニット（３）を用いて、前記第１の運動方向（６ａ）からの前記幾何学的な向きの第１の偏差に関連してシフトさせ、
前記少なくとも１つの計算ユニット（３）を用いて、前記追跡すべき物体（５）の第２の状態を、前記第１の状態および前記シフトした点（８ｂ）に関連して特定することを特徴とする、方法。

【請求項2】

前記第１の状態に基づいて、前記追跡すべき点（８ａ）の現下の運動半径を特定し、
前記追跡すべき点（８ａ）の前記シフトを、前記現下の運動半径に関連して行う
ことを特徴とする、請求項１記載の方法。

【請求項3】

前記第１の状態は、前記追跡すべき点（８ａ）の並進速度、および前記追跡すべき点（８ａ）の角速度を含み、
前記現下の運動半径を、前記角速度に対する前記並進速度の比として特定する
ことを特徴とする、請求項２記載の方法。

【請求項4】

前記追跡すべき点（８ａ）の前記シフトを、前記現下の運動半径に等しい半径を有する円弧（９）に沿って行うことを特徴とする、請求項２または３記載の方法。

【請求項5】

前記第１の偏差を、前記幾何学的な向きと前記第１の運動方向（６ａ）との間の第１の角度差として特定し、
前記シフトを、長さＬ＝Ｄ＊Ｒを有している円弧区間（１０）ぶんだけ行い、Ｄは前記第１の角度差を表し、Ｒは前記現下の運動半径を表す
ことを特徴とする、請求項４記載の方法。

【請求項6】

前記第２の状態は、前記シフトした点（８ｂ）の第２の運動方向（６ｂ）を含み、前記第２の運動方向（６ｂ）からの前記幾何学的な向きの第２の偏差は、前記第１の偏差よりも小さいことを特徴とする、請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記第２の運動方向（６ｂ）は、前記幾何学的な向きに等しいことを特徴とする、請求項６記載の方法。

【請求項8】

前記周囲センサデータに基づいて点群を生成し、または前記周囲センサデータは前記点群を含み、
前記追跡すべき物体（５）を表す前記点群の一部を識別し、
前記点群の前記一部を包囲する、予め規定された形状を有しているバウンディングフィギュア（７）を特定し、
前記追跡すべき物体（５）の前記幾何学的な向きは、前記バウンディングフィギュア（７）の空間的な方向付けに相当する
ことを特徴とする、請求項１から７までのいずれか１項記載の方法。

【請求項9】

前記周囲センサデータに基づいてカメラ画像を生成し、または前記周囲センサデータは前記カメラ画像を含み、
前記カメラ画像において、前記追跡すべき物体（５）の描写を包囲する、予め規定された形状を有するバウンディングフィギュア（７）を特定し、
前記追跡すべき物体（５）の前記幾何学的な向きは、前記バウンディングフィギュア（７）の空間的な方向付けに相当する
ことを特徴とする、請求項１から７までのいずれか１項記載の方法。

【請求項10】

前記バウンディングフィギュア（７）の前記予め規定された形状は長方形に相当し、前記バウンディングフィギュア（７）の前記空間的な方向付けは、前記長方形の一辺に対して平行である、または
前記バウンディングフィギュア（７）の前記予め規定された形状は直方体に相当し、前記バウンディングフィギュア（７）の前記空間的な方向付けは、前記直方体の一辺に対して平行である
ことを特徴とする、請求項８または９記載の方法。

【請求項11】

前記第２の状態を特定するために、カルマンフィルタに基づく方法を使用することを特徴とする、請求項１から１０までのいずれか１項記載の方法。

【請求項12】

自車両（１）を少なくとも部分的に自動的に誘導するための方法において、
前記自車両（１）を用いて、請求項１から１１までのいずれか１項記載の、物体追跡のための方法を実施し、
前記自車両（１）の制御ユニットを用いて、前記追跡すべき物体（５）の前記第２の状態に関連して、前記自車両（１）を少なくとも部分的に自動的に誘導するための少なくとも１つの制御信号を生成する
ことを特徴とする、方法。

【請求項13】

自車両（１）のための電子的な車両誘導システム（２）であって、
前記電子的な車両誘導システム（２）は、
追跡すべき点（８ａ）の第１の運動方向（６ａ）を含む、追跡すべき物体（５）の第１の状態を、前記追跡すべき物体（５）のための予め定められた運動モデルに基づいて推定するように構成される少なくとも１つの計算ユニット（３）と、
前記追跡すべき物体（５）を表す周囲センサデータを生成するように構成される周囲センサシステム（４ａ，４ｂ）と、
を有する、電子的な車両誘導システム（２）において、
前記少なくとも１つの計算ユニット（３）は、
前記周囲センサデータに基づいて、前記追跡すべき物体（５）の幾何学的な向きを特定し、
前記追跡すべき点（８ａ）を、前記第１の運動方向（６ａ）からの前記幾何学的な向きの第１の偏差に関連してシフトさせ、
前記追跡すべき物体（５）の第２の状態を、前記第１の状態および前記シフトした点（８ｂ）に関連して特定する
ように構成されていることを特徴とする、電子的な車両誘導システム（２）。

【請求項14】

前記周囲センサシステム（４ａ，４ｂ）は、カメラおよび／またはライダーシステムおよび／またはレーダーシステムを含むことを特徴とする、請求項１３記載の電子的な車両誘導システム（２）。

【請求項15】

命令を備えるコンピュータプログラム製品であって、
請求項１３または１４記載の電子的な車両誘導システム（２）によって前記命令が実行されると、前記命令は、前記電子的な車両誘導システム（２）に、請求項１から１２までのいずれか１項記載の方法を実施させる、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体追跡のための方法であって、少なくとも１つの計算ユニットを用いて、追跡すべき物体に関して位置が予め定められている追跡すべき点の第１の運動方向を含んでいる、追跡すべき物体の第１の状態を、追跡すべき物体のための予め定められた運動モデルに基づいて推定し、周囲センサシステムを用いて、追跡すべき物体を表す周囲センサデータを生成する、方法に関する。本発明はさらに、自車両（Ｅｇｏ－Ｆａｈｒｚｅｕｇ）を少なくとも部分的に自動的に誘導するための方法と、電気的な車両誘導システムと、コンピュータプログラム製品とに関する。

【背景技術】

【0002】

自車両の自動的な誘導または部分的に自動的な誘導において、すなわち、たとえば運転支援システムのコンテクストまたは自律的もしくは部分的に自律的な走行機能のコンテクストにおいて、たとえば、自車両の周囲の他の道路利用者または他の車両である物体を自車両の視点から追跡することは、安全かつ信頼性の高い自動的な走行もしくは部分的に自動的な走行または運転支援を保証することを可能にするための主要なタスクである。追跡すべき物体の将来的な状態を推定するために、たとえば、追跡すべき物体の動的挙動を近似的に記述する既知の運動モデルを前提とする反復的な方法が使用される。広く普及している考えられる運動モデルは、いわゆるシングルトラックモデルである。

【0003】

刊行物Ｒ. Ｓｃｈｕｂｅｒｔｅｔ.ａｌ.： “Ｃｏｍｐａｒｉｓｏｎａｎｄｅｖａｌｕａｔｉｏｎｏｆａｄｖａｎｃｅｄｍｏｔｉｏｎｍｏｄｅｌｓｆｏｒｖｅｈｉｃｌｅｔｒａｃｋｉｎｇ“，２００８，１１ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎＦｕｓｉｏｎ，２００８，ｐｐ．１－６では、自動車コンテクストにおける物体追跡に適した種々のさらなる運動モデルが提示され、比較されている。

【0004】

状態予測および検証もしくは精緻化のために、たとえばカルマンフィルタ方法（Ｋａｌｍａｎ－Ｆｉｌｔｅｒｖｅｒｆａｈｒｅｎ）またはカルマンフィルタ方法から派生した方法、たとえば拡張カルマンフィルタ方法（ｅｒｗｅｉｔｅｒｔｅｓＫａｌｍａｎ－Ｆｉｌｔｅｒｖｅｒｆａｈｒｅｎ）、アンセンテッドカルマンフィルタ方法（ＵｎｓｃｅｎｔｅｄＫａｌｍａｎ－Ｆｉｌｔｅｒｖｅｒｆａｈｒｅｎ）等が使用される。

【発明の概要】

【0005】

本発明の課題は、運動モデルに基づいた物体追跡の精度を高めること、特に、運動モデルに基づいた、自車両の視点からの外部車両の追跡の精度を高めることである。

【0006】

上述の課題は、独立請求項の各対象によって解決される。有利な発展形態および好適な実施形態は、従属請求項の対象である。

【0007】

本発明は、運動モデルに基づいて追跡される、または運動モデルに基づいて状態が推定される、追跡すべき物体の点をシフトさせることによって、シフトした点の、結果として生じる運動方向が、周囲センサデータに基づいて得られるような、追跡すべき物体の幾何学的な向きとより良好に一致するという思想に基づいている。

【0008】

本発明の１つの態様では、物体追跡のための方法が提示される。この方法では、少なくとも１つの計算ユニット、特に自車両の少なくとも１つの計算ユニットを用いて、特に、自車両の周囲に位置する、追跡すべき物体の第１の状態を、追跡すべき物体のための予め定められた運動モデルに基づいて推定する。本明細書では第１の状態は、追跡すべき点の第１の運動方向を含んでいる。周囲センサシステム、特に自車両の周囲センサシステムを用いて、追跡すべき物体を表す周囲センサデータを生成する。少なくとも１つの計算ユニットを用いて、周囲センサデータに基づいて、追跡すべき物体の幾何学的な向きを特定する。追跡すべき点を、少なくとも１つの計算ユニットを用いて、第１の運動方向からの幾何学的な向きの第１の偏差に関連してシフトさせる。少なくとも１つの計算ユニットを用いて、追跡すべき物体の第２の状態を、第１の状態と、シフトした点とに関連して特定する。

【0009】

追跡すべき点は、追跡すべき物体に関して予め規定された位置を有している。本明細書では、追跡すべき点は、物体上または物体内に位置していてよいが、物体外に位置していてもよい。すなわち、追跡すべき点は、特に、運動モデルに基づいて追跡される仮想的な点である。

【0010】

追跡すべき物体の状態、特に第１の状態および第２の状態は、追跡すべき物体の対応する運動方向を含んでおり、場合によっては、追跡すべき点の別のモデルパラメータ、たとえば速度、加速度および／または位置等も含んでいる。運動モデルによれば、状態の運動方向、すなわち特に、第１の状態の運動方向は、追跡すべき点の運動方向に相当する。しかし、本発明による方法の範囲においては、この点が、シフトした点に移行するので、第２の状態は、追跡すべき点の運動方向の代わりに、たとえば、シフトした点の運動方向を含む。

【0011】

追跡すべき物体の運動方向は、特に良好に適したモデルパラメータである。運動方向は、一方では、運動モデルの範囲内で推定可能であり、他方では、自車両の周囲センサシステムに基づいて、たとえばカメラ、ライダーシステム（Ｌｉｄａｒｓｙｓｔｅｍ）またはレーダーシステム（Ｒａｄａｒｓｙｓｔｅｍ）に基づいて、直接的もしくは間接的に測定可能である。これに対して、周囲センサデータに基づいて運動方向に関する対応する測定値を得るために、特に、コンピュータビジョンアルゴリズムまたは他のアルゴリズムを自動的な知覚に使用することができる。

【0012】

概して、追跡すべき点の運動は、並進運動と回転運動とから構成される。第１の運動方向を、特に、追跡すべき点の並進運動の運動方向と理解することができる。

【0013】

第１の運動方向および幾何学的な向きは、たとえば、既知の座標系における対応する角度によって与えられていてよい。したがって、第１の偏差は、特に、角度差または対応する角度差の絶対値に相当する。

【0014】

追跡すべき物体の幾何学的な向きは、たとえば、追跡すべき物体に関して固定的に予め定められた一定の方向によって与えられていてよい。車両の幾何学的な向きは、たとえば、車両の長手方向軸線もしくは長手方向軸線の方向によって与えられていてよい。少なくとも１つの計算ユニットが周囲センサデータに基づいて特定することができる、バウンディングボックス（英語で「ＢｏｕｎｄｉｎｇＢｏｘ」）とも称されるバウンディングフィギュアの方向付けまたは向きによって、幾何学的な向きを、たとえば少なくとも近似的に特定することができる。バウンディングフィギュアは、たとえば、周囲センサデータによる描写において、すなわち、たとえば対応するカメラ画像において、または対応するライダー点群またはレーダー点群において、追跡すべき物体を包囲する長方形または直方体に相当していてよい。

【0015】

追跡すべき物体上の様々な点、または追跡すべき物体に対して予め規定された位置を伴う様々な点を観察すると、これらの点の運動方向は、追跡すべき物体の一般的な運動の場合には、概して、異なっている。これに相応に、追跡すべき点の運動方向は、概して、幾何学的な向きから偏差しているので、第１の偏差は概してゼロとは異なっている。

【0016】

したがって、追跡すべき物体の第２の状態を特定するために第１の偏差を考慮することによって、追跡すべき物体の別の状態のより正確、かつより信頼性の高い推定が可能になる。これに対して、シフトした点を得るための追跡すべき点のシフトは、たとえば、第１の偏差が大きいほど大きくてよい。

【0017】

第１の状態の推定を、たとえば、カルマンフィルタアルゴリズムに基づいて、または他の数学的推定アルゴリズム、特に反復的な推定アルゴリズムに基づいて実行することができる。このような方法には通常、追跡すべき物体の状態を、特に運動モデルに基づいて推定し、推定された状態を、測定値、特に周囲センサデータを考慮して精緻化または改良することが含まれる。これによって、運動モデルを基礎とすることができつつ、理想的な挙動または予期される挙動からの偏差を考慮するために、対応する実際の測定値を検出することもできる。ここで、本発明のコンテクストでは、第１の状態は、たとえば、運動モデルに基づいて推定された状態に相当し、第２の状態は、周囲センサデータに基づいて改良されたまたは精緻化された状態に相当し得る。このようなケースでは、第１の状態および第２の状態は、特に、同じ時間区間もしくは同じ反復ステップに関連する。

【0018】

ここで、本発明によれば、精緻化ステップ、すなわち、追跡すべき物体の第２の状態を特定するためのステップは、運動方向が第１の運動方向および第１の状態の一部として推定された追跡すべき点に基づいて実行されるのではなく、シフトした点に基づいて実行される。幾何学的な向きからの第１の運動方向の偏差を考慮することによって、特に、幾何学的な向きからのシフトした点の運動方向の第２の偏差が第１の偏差よりも小さくなり得る、または理想的なケースではゼロに等しくなり得る。このようにして、精緻化された推定状態と運動モデルとのより良好な一致が達成される。したがって全体として、特に、上述の方法ステップが反復して繰り返し実行される場合には、物体追跡時のエラーを低減させることができ、これに相応に物体追跡の精度および信頼性を高めることができる。最終的に、これによって、運転支援機能の安全性または物体追跡方法の出力に基づく自車両の自動的または部分的に自動的な走行のための機能の安全性が高められる。

【0019】

ここで、本発明による精度の改良は、追跡すべき物体の幾何学的な向きからの第１の運動方向の第１の偏差が大きいほど、大きくなる。したがって、精度の改良は、特に、物体が大きいほど、より強力になり得る。

【0020】

実施形態に応じて、周囲センサシステムは、１つまたは複数のサブシステム、たとえば１つまたは複数のカメラ、１つまたは複数のライダーセンサシステム、および／または１つまたは複数のレーダーセンサシステムを含むことができる。これに相応に、周囲センサデータは、１つまたは複数のカメラ画像、１つまたは複数のライダー点群、および／または１つまたは複数のレーダー点群を含むことができる。

【0021】

本発明による、物体追跡のための方法の少なくとも１つの実施形態によれば、特に少なくとも１つの計算ユニットを用いて、第１の状態に基づいて、追跡すべき点の現下の運動半径が特定される。この場合、追跡すべき点のシフトは、現下の運動半径に関連して行われる。

【0022】

本明細書では、追跡すべき点も、シフトした点も、現下の運動半径に相当する円弧の上に位置する。特に、少なくとも１つの計算ユニットは、第１の状態に基づいて、円弧の円中心点および現下の運動半径を特定することができる。

【0023】

追跡すべき点のシフトは、第１の偏差および現下の運動半径に関連して行われる。特に、第１の偏差が大きいほど、また現下の運動半径が大きいほど、より大きいシフトが行われる。これによって、シフトした点の第２の運動方向からの幾何学的な向きの偏差を、追跡すべき点の第１の運動方向からの幾何学的な向きの第１の偏差に対して、少なくとも部分的に補償することができる。

【0024】

少なくとも１つの実施形態によれば、第１の状態は、追跡すべき物体、特に追跡すべき点の並進速度と、追跡すべき点の角速度とを含んでいる。現下の運動半径は、特に、少なくとも１つの計算ユニットを用いて、角速度に対する並進速度の比として、すなわち、並進速度および角速度の商として特定される。

【0025】

並進速度は、本明細書では特に、第１の運動方向に対して平行であり、角速度は、現下の運動半径に対応する円中心点を中心とした角速度に相当する。このようにして、現下の運動半径を確実に特定もしくは推定することができる。

【0026】

少なくとも１つの実施形態によれば、追跡すべき点のシフトは、現下の運動半径に等しい半径を有する円弧に沿って行われる。換言すれば、追跡すべき点と、シフトした点とは１つの円弧の上に位置している。

【0027】

少なくとも１つの実施形態によれば、第１の偏差は、幾何学的な向きと第１の運動方向との間の第１の角度差として特定される。シフトは、円弧の円弧区間ぶんだけ行われ、この円弧区間は、Ｌ＝Ｄ＊Ｒによって与えられている長さＬを有しており、ここで、Ｄは第１の角度差を表し、Ｒは現下の運動半径を表す。

【0028】

したがって、第１の角度差が小さい場合には、第１の偏差が可能な限り補償されるように、すなわち幾何学的な向きに対する、シフトした点の第２の運動方向の第２の偏差が近似的にゼロに等しくなるように、極めて正確なシフトを行うことができる。したがって運動モデルとの特に良好な一致が達成される。

【0029】

少なくとも１つの実施形態によれば、第２の状態は、シフトした点の第２の運動方向を含んでいる。第２の運動方向からの幾何学的な向きの第２の偏差は、第１の偏差よりも小さく、特にゼロに等しい、または近似的にゼロに等しい。

【0030】

少なくとも１つの実施形態によれば、第２の運動方向は、幾何学的な向きに等しい、または幾何学的な向きに近似的に等しい。

【0031】

換言すれば、このケースでは第２の偏差は少なくとも近似的にゼロに等しい。したがって運動モデルとの良好な一致が達成される。

【0032】

少なくとも１つの実施形態によれば、周囲センサデータに基づいて点群が生成される、または周囲センサデータは点群を含んでいる。追跡すべき物体を表す点群の一部が識別される。点群の一部を包囲するバウンディングフィギュアは、特に、少なくとも１つの計算ユニットを用いて特定され、ここでバウンディングフィギュアは、予め規定された幾何学形状を有している。追跡すべき物体の幾何学的な向きは、バウンディングフィギュアの空間的な方向付けに相当する。

【0033】

バウンディングフィギュアの幾何学形状を予め定めることによって、たとえば対応する対称性によって、または多角形の場合には辺の数によって、幾何学的な向きを、バウンディングフィギュアの空間的な方向付けに相応に一義的に規定することができる。特にバウンディングフィギュアは、長方形または直方体である。ここで、実施形態に応じて、長方形または直方体のアスペクト比は予め定められていてもよいし、可変であってもよい。

【0034】

点群は、特に、ライダー点群またはレーダー点群に相当する。点群は、本明細書では、複数の点を含んでいる。追跡すべき物体を表す点群の一部は、点群のサブセットに相当する。追跡すべき物体を表す点群の一部を特定もしくは識別することを、たとえばクラスタリング方法を使用することによって達成することができる。

【0035】

このような実施形態は、対応するバウンディングフィギュアを公知の方法に基づいて特定することができ、これによって第１の偏差を正確に特定し、補償することができるという利点を有している。特に、長方形または直方体の形状のバウンディングフィギュアを使用することによって、幾何学的な向きの特定の、再現可能かつ信頼できる結果が得られる。

【0036】

少なくとも１つの実施形態によれば、周囲センサデータに基づいてカメラ画像が生成される、または周囲センサデータはカメラ画像を含んでいる。カメラ画像において、追跡すべき物体の描写を包囲するバウンディングフィギュアが特定され、バウンディングフィギュアは予め規定された形状を有している。追跡すべき物体の幾何学的な向きは、バウンディングフィギュアの空間的な方向付けに相当する。

【0037】

バウンディングフィギュアについては、本願では、上述のことが、点群の一部のバウンディングフィギュアに同様に当てはまる。このような実施形態では、バウンディングフィギュアを、たとえば、物体識別アルゴリズムに基づいて、少なくとも１つの計算ユニットを用いて特定することができる。これは、たとえば、機械学習に基づくアルゴリズム、たとえば、トレーニングされた人工ニューラルネットワークに基づくアルゴリズムであってよい。これに対して、たとえばいわゆるＹＯＬＯアルゴリズムに相当する多数の構造が知られている。

【0038】

少なくとも１つの実施形態によれば、第２の状態を特定するために、カルマンフィルタに基づく方法が使用される。

【0039】

カルマンフィルタに基づく方法は、たとえば、カルマンフィルタ方法、拡張カルマンフィルタ方法、アンセンテッドカルマンフィルタ方法またはカルマンフィルタ方法から派生したその他の方法に相当し得る。

【0040】

本願では、カルマンフィルタ方法の反復ステップにおいて、はじめに第１の状態が推定される。これは予測とも称される。次いで、たとえば、カルマンゲイン係数等が特定され、これに基づいて、第２の状態を特定するために、特に、対応する測定値、ここでは周囲センサデータに関連して、この予測が改良される。これは精緻化またはリファインメントとも称され得る。しかし、本発明によれば、このリファインメントは、追跡すべき元来の点に基づいて行われるのではなく、シフトした点に基づいて行われる。このようにして、カルマンフィルタに基づく、確立された方法等によって、より正確な物体追跡を達成できるようになる。

【0041】

本発明の別の態様によれば、特に自動車である自車両を少なくとも部分的に自動的に誘導するための方法が提示される。自車両を用いて、特に、周囲センサシステムおよび少なくとも１つの計算ユニットを含んでいる、自車両の電子的な車両誘導システムを用いて、本発明による物体追跡のための方法を実施する。自車両の制御ユニット、特に、電子的な車両誘導システムの制御ユニット、たとえば少なくとも１つの計算ユニットの制御ユニットを用いて、追跡すべき物体の第２の状態に関連して、自車両を少なくとも部分的に自動的に誘導するための少なくとも１つの制御信号を生成する。

【0042】

たとえば、少なくとも１つの制御信号は、自車両の少なくとも１つの対応するアクチュエータに供給され、次いで、このアクチュエータは、自車両を、少なくとも１つの制御信号に基づいて少なくとも部分的に自動的に誘導する、または少なくとも部分的に自動的な誘導を実装することができる。代替的または付加的に、少なくとも１つの制御信号を、自車両の運転者のための運転支援にも使用することができる。

【0043】

本発明の別の態様によれば、自車両のための電子的な車両誘導システムが提示される。電子的な車両誘導システムは、特に自車両の周囲における、追跡すべき物体の第１の状態を、追跡すべき物体のための予め定められた運動モデルに基づいて推定するように構成されている少なくとも１つの計算ユニットを有しており、第１の状態は、追跡すべき点の第１の運動方向を含んでいる。電子的な車両誘導システムは、自車両のための周囲センサシステムを有しており、この周囲センサシステムは、追跡すべき物体を表す周囲センサデータを生成するように構成されている。少なくとも１つの計算ユニットは、周囲センサデータに基づいて、追跡すべき物体の幾何学的な向きを特定し、追跡すべき点を、第１の運動方向からの幾何学的な向きの第１の偏差に関連してシフトさせ、追跡すべき物体の第２の状態を、第１の状態とシフトした点とに関連して特定するように構成されている。

【0044】

電子的な車両誘導システムの別の実施形態は、本発明による物体追跡のための方法の様々な実施形態から、または本発明による、自車両を少なくとも部分的に自動的に誘導するための方法の様々な実施形態から直接的に生じ、それぞれその逆も同様である。特に、本発明による電子的な車両誘導システムは、本発明による方法を実施するように構成されている、またはこのような方法を実施する。

【0045】

本発明の別の態様によれば、命令を備えるコンピュータプログラムが提示される。本発明による電子的な車両誘導システムによって、特に電子的な車両誘導システムの少なくとも１つの計算ユニットによってこれらの命令が実行されると、これらの命令は、電子的な車両誘導システムに、本発明による物体追跡のための方法、または本発明による、自車両を少なくとも部分的に自動的に誘導するための方法を実施させる。

【0046】

本発明の別の態様によれば、本発明によるコンピュータプログラムを記憶するコンピュータ可読記憶媒体が提示される。

【0047】

本発明によるコンピュータプログラムおよび本発明によるコンピュータ可読記憶媒体は、命令を備える各コンピュータプログラム製品として解釈され得る。

【0048】

電子的な車両誘導システムとは、自動車を完全自動でもしくは完全自律で誘導または制御するように構成されている、特に、運転者による制御への介入を必要としない電子的なシステムであると理解することができる。この場合、自動車もしくは電子的な車両誘導システムは、全ての必要な機能、たとえば、場合によって必要とされる操舵操作、制動操作および／または加速操作、道路交通の観察および検出ならびにこれに関連する、必要な反応を自発的にかつ完全自動で実行する。特に、電子的な車両誘導システムを、ＳＡＥＪ３０１６に準拠した分類の段階５に従った自動車の完全自動走行モードまたは完全自律走行モードを実装するために用いることができる。電子的な車両誘導システムを、自動車の部分的に自動化された走行または部分的に自律的な走行において運転者を支援する運転支援システム（英語で「ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ」、ＡＤＡＳ）と理解することもできる。特に、電子的な車両誘導システムを、ＳＡＥＪ３０１６に準拠した分類の段階１から４のいずれか１つに従った、自動車の部分的に自動化された走行モードまたは部分的に自律的な走行モードを実装するために使用することができる。ここで、また以降で「ＳＡＥＪ３０１６」は、２０１８年６月版の対応する規格に関している。

【0049】

したがって、少なくとも部分的に自動的な車両誘導は、ＳＡＥＪ３０１６に準拠した段階５の完全自動走行モードまたは完全自律走行モードに従って自動車を誘導することを含むことができる。少なくとも部分的に自動的な車両誘導は、ＳＡＥＪ３０１６に準拠した段階１から４のいずれか１つに従った、部分的に自動化された走行モードまたは部分的に自律的な走行モードに従って自動車を誘導することも含むことができる。

【0050】

計算ユニットとは、特にデータ処理機器であると理解することができ、すなわち、計算ユニットは、特に、計算演算を実行するためのデータを処理することができる。これらの演算には、場合によって、データ構造、たとえば変換テーブルＬＵＴ（英語で「ｌｏｏｋ－ｕｐｔａｂｌｅ」）への間接的なアクセスを実行するための演算も含まれる。

【0051】

計算ユニットは、特に、１つまたは複数のコンピュータ、１つまたは複数のマイクロコントローラ、および／または１つまたは複数の集積回路、たとえば１つまたは複数の特定用途向け集積回路、ＡＳＩＣ（英語で「ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ」）、１つまたは複数のフィールドプログラマブルゲートアレイ、ＦＰＧＡ、および／または１つまたは複数のワンチップシステム、ＳｏＣ（英語で「ｓｙｓｔｅｍｏｎａｃｈｉｐ」）を含むことができる。計算ユニットは、１つまたは複数のプロセッサ、たとえば１つまたは複数のマイクロプロセッサ、１つまたは複数の中央プロセッサユニット、ＣＰＵ（英語で「ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ」）、１つまたは複数のグラフィックプロセッサユニット、ＧＰＵ（英語で「ｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ」）、および／または１つまたは複数のシグナルプロセッサ、特に１つまたは複数のデジタルシグナルプロセッサ、ＤＳＰも含んでいてよい。計算ユニットは、コンピュータまたはその他の上述したユニットの物理的なまたは仮想の結合体も含んでいてよい。

【0052】

種々の実施例において、計算ユニットは、１つまたは複数のハードウェアインタフェースおよび／またはソフトウェアインタフェースおよび／または１つまたは複数の記憶ユニットを含んでいる。

【0053】

メモリユニットは、揮発性データメモリとして、たとえばランダムアクセスを備えた動的メモリ、ＤＲＡＭ（英語で「ｄｙｎａｍｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ」）として、またはランダムアクセスを備えた静的メモリ、ＳＲＡＭ（英語で「ｓｔａｔｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ」）として、または不揮発性データメモリとして、たとえば読み出し専用メモリ、ＲＯＭ（英語で「ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ」）として、プログラム可能な読み出し専用メモリ、ＰＲＯＭ（英語で「ｐｒｏｇｒａｍｍａｂｌｅｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ」）として、消去可能な読み出し専用メモリ、ＥＰＲＯＭ（英語で「ｅｒａｓａｂｌｅｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ」）として、電気的に消去可能な読み出し専用メモリ、ＥＥＰＲＯＭ（英語で「ｅｌｅｃｔｒｉｃａｌｌｙｅｒａｓａｂｌｅｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ」）として、フラッシュメモリもしくはフラッシュＥＥＰＲＯＭとして、ランダムアクセスを備えた強誘電体メモリ、ＦＲＡＭ（英語で「ｆｅｒｒｏｅｌｅｃｔｒｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ」）として、ランダムアクセスを備えた磁気抵抗メモリ、ＭＲＡＭ（英語で「ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ」）として、またはランダムアクセスを備えた相変化メモリ、ＰＣＲＡＭ（英語で「ｐｈａｓｅ－ｃｈａｎｇｅｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ」）として構成されていてよい。

【0054】

本開示の範囲内で、本発明による電子的な車両誘導システムのコンポーネント、特に、電子的な車両誘導システムの少なくとも１つの計算ユニットまたは制御ユニットが、特定の機能を実行するようにもしくは実現するように、特定の効果を達成するように、または特定の目的に用いられるように構成されている、形成されている、設計されている等と述べられる場合、このコンポーネントが、この機能、効果またはこの目的に対するコンポーネントの基本的もしくは理論的な使用可能性または適性を超えて、対応する適応化、プログラミング、物理的な設計等によって、具体的かつ実際に、この機能を実行もしくは実現すること、この効果を達成すること、またはこの目的に用いられることが可能であると理解することができる。

【0055】

物体識別アルゴリズムを、対応するバウンディングフィギュアまたはバウンディングボックス（英語で「ｂｏｕｎｄｉｎｇｂｏｘｅｓ」）を規定し、これらのバウンディングボックスのそれぞれに、対応する物体クラスを割り当てることによって、提供された入力画像内で１つまたは複数の物体を識別することが可能であるコンピュータアルゴリズムと理解することができ、ここでは物体クラスを、予め規定された物体クラスのセットから選択することができる。本願では、バウンディングボックスへの物体クラスの割り当てを、バウンディングボックス内で識別された物体が、対応する物体クラスに属することに関する、対応する信頼値または確率が提供されることと理解することができる。たとえば、アルゴリズムは、各物体クラスに対する所与のバウンディングボックスのために、このような信頼値または確率を提供することができる。物体クラスの割り当てには、たとえば、最大の信頼値または最大の確率を有する物体クラスの選択または提供が含まれていてよい。代替的に、アルゴリズムは、対応する物体クラスを割り当てることなく、バウンディングボックスだけを規定することもできる。

【0056】

本発明のさらなる特徴は、特許請求の範囲、図面、および図面の説明から明らかとなる。上述の記載において挙げられた特徴および特徴の組み合わせ、ならびに以降における図面の説明において挙げられている、かつ／または図面に示されている特徴および特徴の組み合わせは、記載された各組み合わせにおいてのみならず、本発明の別の組み合わせにおいても含まれていてよい。特に、当初に定式化された請求項の全ての特徴は備えていない構成および特徴の組み合わせも本発明に含まれている。さらに、特許請求の範囲の引用において表された特徴の組み合わせを超えるまたはこのような特徴の組み合わせから逸脱する構成および特徴の組み合わせが本発明に含まれている。

【図面の簡単な説明】

【0057】

【図1】本発明による電子的な車両誘導システムの例示的な実施形態を有する自車両を概略的に示す図である。

【図2】本発明による物体追跡のための方法の例示的な実施形態のフローチャートを概略的に示す図である。

【発明を実施するための形態】

【0058】

図１には、本発明による電子的な車両誘導システム２の例示的な実施形態を有する自車両１が概略的に示されている。さらに、自車両１の周囲の追跡すべき物体５が示されている。追跡すべき物体５は、特に、長方形として単に概略的に示されている、別の車両である。

【0059】

電子的な車両誘導システム２は計算ユニット３を含んでおり、計算ユニット３は、たとえば自車両１の制御機器、ＥＣＵとして構成されてよい、または制御機器の一部であってよい。電子的な車両誘導システム２はさらに、周囲センサシステム４ａ，４ｂ、たとえばカメラ４ｂおよび／またはライダーシステム４ａおよび／またはレーダーシステム（図示せず）を有している。

【0060】

車両誘導システム２は、本発明による物体追跡のための方法を実施することができる。このような方法の対応するフローチャートは、図２に概略的に示されている。

【0061】

この方法のステップＳ１では、たとえば、追跡すべき物体５の初期状態が、予め定められた運動モデル、たとえばシングルトラックモデルに基づいて特定される。このために計算ユニット３は、たとえば、周囲センサシステム４ａ，４ｂの周囲センサデータを使用することができる。ステップＳ２において、追跡すべき物体５の第１の状態が、予め定められた運動モデルに基づいて、計算ユニット３を用いて推定または予測される。ここで、第１の状態は、追跡すべき物体５の追跡すべき点８ａの第１の運動方向６ａを含んでいる。さらに、ステップＳ２において、周囲センサシステム４ａ，４ｂを用いて、追跡すべき物体５を表す周囲センサデータが生成される。

【0062】

ステップＳ３において、計算ユニット３は、周囲センサデータに基づいて、追跡すべき物体５の幾何学的な向きを特定する。このために計算ユニット３は、たとえば、カメラ４ｂのカメラ画像に物体検出アルゴリズムを適用することができる、かつ／またはライダーシステム４ａの点群にクラスタリングアルゴリズムを適用することができる。このようにして、計算ユニット３は、追跡すべき物体５を包囲するバウンディングフィギュアを求めることができる。図１では、バウンディングフィギュア７として長方形が示されている。この場合、幾何学的な向きは、バウンディングフィギュア７の予め定められた空間的な方向付けに相当し、たとえば幾何学的な向きは、バウンディングフィギュア７の一辺に対して、特に長方形の長辺に対して平行である。

【0063】

計算ユニット３は、周囲センサデータに基づいて、さらに、追跡すべき物体の現下の運動半径を特定し、現下の運動半径は、円９の半径に相当する。次いで、追跡すべき点８ａを、計算ユニット３によって、円９に沿って、長さＬ＝Ｄ＊Ｒの円弧区間１０ぶんだけシフトさせ、これによってシフトした点８ｂが生じる。ここで、Ｒは、円９の半径に相当し、Ｄは、追跡すべき点８ａの第１の運動方向６ａと、追跡すべき物体５の幾何学的な向きとの間の角度差に相当する。ここで、シフトした点８ｂの第２の運動方向６ｂは、同様に、幾何学的な向きに近似的に等しくなる。

【0064】

ステップＳ４において、計算ユニットは、シフトした点８ｂに基づいて、特に第２の運動方向６ｂに基づいて補正係数を計算することができる。たとえば、カルマンフィルタに基づくアプローチが追求される場合、補正係数は、対応するカルマン増幅係数に相当し得る。次にステップＳ４において、追跡すべき物体５の状態が、同様に、シフトした点８ｂに関連して特定される補正係数に関連して更新される。

【0065】

このようにして、追跡すべき物体の状態を更新するために使用される第２の運動方向６ｂが、追跡すべき物体５の幾何学的な向きに少なくとも近似的に一致することが実現可能であり、これによって、より正確な物体追跡が可能になる。

【0066】

本発明の様々な実施形態では、追跡すべき点が、特に横方向速度を有していない点、すなわち、追跡すべき物体の幾何学的な向きの方向において移動する点に相応する点へとシフトさせられる。

【0067】

追跡すべき物体は、特に、車両、たとえば２つの軸線を有する自動車である。車輪スリップが横方向において存在しない場合には、シフトした点は、たとえば、車両の制御不能な軸線、すなわち制御不能な車輪を備えた軸線の上に位置し得る。車輪スリップが横方向において存在しているが、車両が自転しておらず、車両が制御されている軸線と制御されていない軸線とを有している場合には、シフトした点は、たとえば、これら２つの軸線の間に位置し得る。横方向における車輪スリップに対して付加的に、車両の自転も存在しており、かつ／または２つの軸線が制御可能な軸線である一般的なケースでは、シフトした点は車両外にも位置し得る。

【0068】

概して、シフトした点を、運動モデルに基づいた、運動方向からの、追跡すべき物体の幾何学的な向きの偏差を最小化することによって特定することができる。

【0069】

多くの実施形態において、対応する状態ベクトルに基づく物体フィルタ、たとえば拡張カルマンフィルタを使用することができる。状態ベクトルは、たとえば、追跡すべき点の２次元の位置座標、並進速度、ヨーレート、ヨー角度等を含むことができる。計算ユニットは、運動モデルに基づいて、または物体の角速度に対する並進速度の比に基づいて、現下の運動半径を特定することができる。同様に、対応する円の中心点が特定されてよく、ここでは、円中心点と追跡すべき点との間の接続線は、追跡すべき点の運動方向に対して垂直である。次いで、追跡のために最適にシフトした点を特定するために、幾何学的な向きと運動方向との間の角度差に相当する角度だけ、追跡すべき点を円上でシフトさせることができる。

【図1】