特許 7273956 車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-02

(45)【発行日】2023-05-15

(54)【発明の名称】車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット

(51)【国際特許分類】

   G06T 7/55 20170101AFI20230508BHJP

【ＦＩ】

G06T7/55

【請求項の数】 16

(21)【出願番号】P 2021524307

(86)(22)【出願日】2019-07-12

(65)【公表番号】

(43)【公表日】2022-01-17

(86)【国際出願番号】 DE2019100650

(87)【国際公開番号】W WO2020094170

(87)【国際公開日】2020-05-14

【審査請求日】2022-01-20

(31)【優先権主張番号】102018127990.6

(32)【優先日】2018-11-08

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】398037767

【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】シュタイヤー・ザシャ

(72)【発明者】

【氏名】タンツマイスター・ゲオルク

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１６－０４２２８８（ＪＰ，Ａ）

【文献】特開２０１６－０６６１８１（ＪＰ，Ａ）

【文献】特開２００７－００４５７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２７６７９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２８５１６１（ＵＳ，Ａ１）

【文献】米国特許第０６９２０２４２（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０６２９６８０１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

車両（１００）のための処理ユニット（１０１）であって、処理ユニットは、
－車両（１００）のカメラ（１１２）の画像データであって、基準点（３０５）からの車両（１００）の周囲を示す前記画像データを算出するように、
－画像データに基づいて、車両（１００）の周囲での少なくとも１つのカメラオブジェクト（２５０）を検出するように、
－車両（１００）の距離感知式の周囲センサ（１１１）のセンサデータ（５００）であって、車両（１００）の周囲での複数の検出された点（５０１，５０４）を示す前記センサデータ（５００）を算出するように、
－カメラオブジェクト（２５０）を基準点（３０５）に対する複数の異なる距離へ縮尺設定するように、
－複数の異なる距離について、センサデータ（５００）の検出された点（５０１，５０４）との各カメラオブジェクト（２５０）の重なり量の対応する数の値を算出するように、及び
－重なり量の値の数に依存して、基準点（３０５）からのカメラオブジェクト（２５０）のオブジェクト距離を算出するように
設置されていることを特徴とする処理ユニット。

【請求項2】

処理ユニット（１０１）が、
－カメラオブジェクト（２５０）についての基準点（３０５）を中心とする角度範囲（３０１）、特に方位角範囲及び／又は高さ角度範囲を算出するように、
－角度範囲（３０１）によって規定される、車両（１００）の周囲の部分範囲内で、基準点（３０５）から出るビーム線に沿ってカメラオブジェクト（２５０）を縮尺設定するように、及び
－車両（１００）の周囲の部分範囲に基づくセンサデータ（５００）の検出された点（５０１，５０４）との、特にセンサデータ（５００）の検出された点（５０１，５０４）のみとの各カメラオブジェクト（２５０）の重なり量の値を算出するように
設置されていることを特徴とする請求項１に記載の処理ユニット（１０１）。

【請求項3】

基準点（３０５）から出る、角度範囲（３０１）を限定するビームが、カメラオブジェクト（２５０）の２つの異なる側で、任意にカメラオブジェクト（２５０）の２つの異なる側での追加的な許容誤差バッファ（３０３）をもってカメラオブジェクト（２５０）を画定するように、角度範囲（３０１）が算出されることを特徴とする請求項２に記載の処理ユニット（１０１）。

【請求項4】

処理ユニット（１０１）が、
－カメラオブジェクト（２５０）についての基準点（３０５）を中心とする方位角範囲（３０１）及び高さ角度範囲を算出するように、
－方位角範囲（３０１）及び高さ角度範囲によって規定される、車両（１００）の周囲の部分範囲内で、基準点（３０５）から出るビームに沿ってカメラオブジェクト（２５０）を縮尺設定するように、及び
－車両（１００）の周囲の部分範囲に基づくセンサデータ（５００）の検出された点（５０１，５０４）との、特にセンサデータ（５００）の検出された点（５０１，５０４）のみとの各カメラオブジェクト（２５０）の重なり量の値を算出するように
設置されていることを特徴とする請求項２又は３に記載の処理ユニット（１０１）。

【請求項5】

処理ユニット（１０１）が、基準点（３０５）に対する距離に依存してカメラオブジェクト（２５０）を縮尺設定するように設置されていることを特徴とする請求項１～４のいずれか１項に記載の処理ユニット（１０１）。

【請求項6】

処理ユニット（１０１）が、
－画像データに基づき、基準点（３０５）に対するカメラオブジェクト（２５０）の推定される距離を算出するように、及び
－カメラオブジェクト（２５０）を複数の異なる距離へ縮尺設定するために、推定される距離の周囲での距離範囲において、特に基準点（３０５）から出るビームに沿ってカメラオブジェクト（２５０）を縮尺設定するように
設置されていることを特徴とする請求項１～５のいずれか１項に記載の処理ユニット（１０１）。

【請求項7】

－カメラ（１１２）及び周囲センサ（１１１）が、車両（１００）における異なる箇所に配置されており、
－処理ユニット（１０１）が、カメラオブジェクト（２５０）と、周囲センサ（１１１）のセンサデータ（５００）とを、特に
－周囲センサ（１１１）の座標系へのカメラオブジェクト（２５０）の投影によって、又は
－カメラ（１１２）の座標系へのセンサデータ（５００）の投影によって、
共通の座標系において表すように設置されている
ことを特徴とする請求項１～６のいずれか１項に記載の処理ユニット（１０１）。

【請求項8】

－カメラオブジェクト（２５０）が、車両（１００）の周囲での、カメラオブジェクト（２５０）が配置された複数のカメラ点を示し、及び
－カメラオブジェクト（２５０）の縮尺設定が、複数のカメラ点のうち少なくともいくつかの縮尺設定、特に基準点（３０５）から出るビームに沿った縮尺設定を含んでいる
ことを特徴とする請求項１～７のいずれか１項に記載の処理ユニット（１０１）。

【請求項9】

重ね合わせ量の値の算出が、
－センサデータ（５００）の検出された点（５０１，５０４）と一致するカメラオブジェクト（２５０）の複数のカメラ点の一部を算出すること、及び／又は
－センサデータ（５００）の検出された点（５０１，５０４）に対するカメラオブジェクト（２５０）の複数のカメラ点の距離を算出すること、及び／又は
－センサデータ（５００）の検出された点（５０１，５０４）とのカメラオブジェクト（２５０）の複数のカメラ点の重なりの度合いを算出すること
を含んでいることを特徴とする請求項８に記載の処理ユニット（１０１）。

【請求項10】

－複数の検出された点（５０１，５０４）が、車両（１００）の周囲にはおそらく配置されていない周囲オブジェクト（５５０）を示す、あり得る少なくとも１つの非障害物点（５０４）を含んでおり、及び
－あり得る非障害物点（５０４）を考慮して重なり量の値が算出されること
を特徴とする請求項１～９のいずれか１項に記載の処理ユニット（１０１）。

【請求項11】

処理ユニット（１０１）が、
－算出されたオブジェクト距離に依存して、カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てるように、及び
－センサデータ（５００）に基づき、割り当てられたカメラオブジェクト（２５０）を考慮して、車両（１００）の周囲の占有グリッド（２００）を算出するように
設置されており、占有グリッド（２００）は、車両（１００）の周囲の複数のセル（２０１）について、各セル（２０１）が空いているかどうか、又は各セル（２０１）が物体（５５０）によって占められているかどうかについての確率を示すことを特徴とする請求項１～１０のいずれか１項に記載の処理ユニット（１０１）。

【請求項12】

－非障害物点（５０４）にカメラオブジェクト（２５０）が割り当てられなかった場合には、あり得る非障害物点（５０４）が、占有グリッド（２００）の算出時に考慮されないままであり、及び／又は
－特に非障害物点（５０４）にカメラオブジェクト（２５０）が割り当てられた場合にのみ、あり得る非障害物点（５０４）が、占有グリッド（２００）の算出時に考慮される
ことを特徴とする請求項１０を引用する請求項１１に記載の処理ユニット（１０１）。

【請求項13】

処理ユニット（１０１）が、
－重なり量の複数の値に基づき、カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができるか否かを特定するように、及び
－カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができないことが特定された場合に、センサデータ（５００）に基づく車両（１００）の周囲の占有グリッド（２００）の算出時に、カメラオブジェクト（２５０）を考慮しないように、及び／又は
－特にカメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができることが特定された場合にのみ、センサデータ（５００）に基づく車両（１００）の周囲の占有グリッド（２００）の算出時に、算出されたオブジェクト間隔に応じててカメラオブジェクト（２５０）を考慮するように
設置されていることを特徴とする請求項１～１２のいずれか１項に記載の処理ユニット（１０１）。

【請求項14】

処理ユニット（１０１）が、
－センサデータ（５００）に基づき車両（１００）の周囲の占有グリッド（２００）を算出するように、
－占有グリッド（２００）に基づき、基準点（３０５）に対する算出されたオブジェクト距離でのカメラオブジェクト（２５０）を考慮して、車両（１００）の周囲での、カメラオブジェクト（２５０）に対応する周囲オブジェクト（５５０）を検出するように、及び
－画像データに基づき、周囲オブジェクト（５５０）の１つ又は複数の属性、特に複数の異なるオブジェクトタイプのうち１つのオブジェクトタイプを算出するように
設置されていることを特徴とする請求項１～１３のいずれか１項に記載の処理ユニット（１０１）。

【請求項15】

処理ユニット（１０１）が、算出されたオブジェクト距離に依存して、及び／又は算出されたオブジェクト距離に依存する車両（１００）の周囲の占有グリッド（２００）に依存して、車両（１００）の少なくとも１つの車両機能、特に車両（１００）の少なくとも部分的に自動化された走行を実行するように設置されていることを特徴とする請求項１～１４のいずれか１項に記載の処理ユニット（１０１）。

【請求項16】

車両（１００）の周囲でのオブジェクトに関する情報を算出する方法（４００）であって、方法（４００）は、
－車両（１００）のカメラ（１１２）の画像データであって、基準点（３０５）からの車両（１００）の周囲を示す画像データを算出すること（４０１）、
－画像データに基づいて、車両（１００）の周囲での少なくとも１つのカメラオブジェクト（２５０）を検出すること（４０２）、
－車両（１００）の距離感知式の周囲センサ（１１１）のセンサデータ（５００）であって、車両（１００）の周囲での複数の検出された点（５０１，５０４）を示すセンサデータ（５００）を算出すること（４０３）、
－カメラオブジェクト（２５０）を基準点（３０５）に対して相対的に複数の異なる距離へ縮尺設定すること（４０４）、
－複数の異なる距離について、センサデータ（５００）の検出された点（５０１，５０４）との各カメラオブジェクト（２５０）の重なり量の複数の値を算出すること（４０５）、及び
－重なり量の値の複数の値に依存して、基準点（３０５）からのカメラオブジェクト（２５０）のオブジェクト距離を算出すること（４０６）
を含むことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両が異なるタイプのセンサのセンサデータに基づいて周囲オブジェクトを検知し、及び／又は追跡することを可能とする方法及び対応する処理ユニットに関するものである。

【背景技術】

【0002】

典型的には、車両は、車両の周囲に関する異なるセンサデータを検出するように設置された複数の異なる周囲センサを含んでいる。例示的な周囲センサは、レーダセンサ、超音波センサ、ライダセンサ、画像センサあるいは画像カメラなどである。車両の１つ又は複数の周囲センサのセンサデータに基づいて、１つ又は複数の周囲オブジェクト（例えば１つ又は複数の他の車両）を車両の周囲において検出することが可能である。

【0003】

典型的には、異なるタイプの周囲センサは、車両の周囲の検出に関してそれぞれ異なる利点を有している。例えば、画像カメラの画像データに基づいて、例えば、オブジェクトのタイプ（例えば車両、歩行者、自転車運転者、自動二輪車運転者など）のようなオブジェクトの属性、オブジェクトの色及び／又はオブジェクトの形状を精確に算出することが可能である。別の例示的な属性は、オブジェクトの構成要素（例えばテールランプ又はウインカ）の状態である。さらに、画像カメラの画像データに基づき、異なるオブジェクトを多くの場合比較的良好に互いに画定し、あるいはセグメント化すること（例えば互いに近傍に配置されているオブジェクト）が可能である。他方で、典型的には、車両に対するオブジェクトの距離は、画像カメラの画像データに基づいて精確には算出されることができない。レーダセンサ及び／又はライダ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ（光検知測距））センサのセンサデータにより、車両に対するオブジェクトの距離を精確に算出することが可能である。他方で、典型的には、レーダセンサ及び／又はライダセンサのセンサデータに基づいてオブジェクトの比較わずかな属性しか算出できない。場合によっては、ライダセンサのセンサデータによってオブジェクトのタイプを算出することが可能である。しかしながら、典型的には、オブジェクトの構成要素（例えばテールランプあるいはウインカ）の状態は、レーダセンサ及び／又はライダセンサのセンサデータに基づいて算出されることができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本明細書は、特に周囲オブジェクトに関する情報を精確に算出するために、複数の異なるタイプの周囲センサのセンサデータを信頼性をもって融合することが可能な方法及び対応する処理ユニットを提供するという技術的な課題に関するものである。

【課題を解決するための手段】

【0005】

当該課題は、独立請求項によって解決される。有利な実施形態は、とりわけ従属請求項に記載されている。独立請求項に従属する請求項の追加的な特徴は、独立請求項の特徴なしに、又は独立請求項の特徴の一部との組合せにおいてのみでも、固有の、及び独立請求項の全ての特徴の組合せから独立した発明を形成することができ、当該発明は、独立請求項、分割出願又は後出願の対象に対して行われ得ることを指摘しておく。このことは、独立請求項の特徴のうち１つから独立した発明を形成し得る、明細書に記載された技術的な示唆についても同様に当てはまる。

【0006】

一形態によれば、車両用、特に原動機付き車両用の処理ユニット（例えばマイクロプロセッサを有する制御装置）が説明される。処理ユニットは、車両の周囲での１つの又は複数の周囲オブジェクトを検出及び追跡するために用いられる。さらに、処理ユニットは、検出された１つ又は複数の周囲オブジェクトに依存して車両を少なくとも部分的に自動化して走行させるために用いられることが可能である。

【0007】

車両は、車両の周囲に関する画像データを検出するように設置された１つ又は複数のカメラを含むことができる。画像データは、（対応する一連の時点についての）画像の時間的なシーケンスを含むことができる。さらに、車両は、車両の周囲に関するセンサデータを検出するように設置された（例えばレーダセンサ及び／又はライダセンサのような）１つ又は複数の距離感知式の周囲センサを含むことが可能である。ここで、所定の時点についてのセンサデータは、（それぞれ周囲センサに対する各点の距離に関する距離値を有する）複数の検出された点を示すことができる。

【0008】

処理ユニットは、車両の少なくとも１つのカメラの画像データを算出するように設置されており、画像データは、基準点からの（例えばカメラからの）車両の周囲を示す。さらに、処理ユニットは、（例えば１つ又は複数の画像処理アルゴリズムを用いて）画像データに基づき車両の周囲における少なくとも１つのカメラオブジェクトを検出するように設置されている。例えば、画像データに基づき、オブジェクトの輪郭を検出することが可能である。さらに、画像データに基づき、場合によってはオブジェクトのタイプ（例えば車両、歩行者、自転車運転者など）を算出することが可能である。他方で、多くの場合、基準点に対するカメラオブジェクトの距離は、画像データに基づき、比較的不正確にしか特定されることができない。

【0009】

処理ユニットは、更に、車両の少なくとも１つの距離感知式の周囲センサのセンサデータを算出するように設置されており、センサデータは、車両の周囲における複数の検出された点を示す。さらに、センサデータは、各検出された点について、特に基準点に対する相対的な点の距離を示すことができる。距離感知式の周囲センサのセンサデータ及び画像データは、時間的に同期していることが可能である（例えば同一の時点について検出されることができる）。

【0010】

典型的には、カメラ及び周囲センサは、車両における異なる箇所に配置されている。この結果として、カメラの画像データ及び周囲センサのセンサデータは、それぞれ異なる座標系において提供されることが可能である。ここで、典型的には、カメラ及び周囲センサの座標系は、あらかじめ知られた変換（例えば回転及び／又は並進）を介して互いへ変換可能である。

【0011】

処理ユニットは、カメラオブジェクトと、周囲センサのセンサデータとを共通の座標系において表すことが可能である（その結果、カメラオブジェクトも、センサデータも共通の基準点に関連付けられることが可能である）。このことは、特に、（あらかじめ知られた変換を用いて）周囲センサの座標系へのカメラオブジェクトの投影によって、又はカメラの座標系へのセンサデータの投影によって行うことが可能である。したがって、周囲オブジェクトの検知のための画像データ及びセンサデータの精確な処理が可能となり得る。

【0012】

さらに、処理ユニットは、基準点に対する複数の異なる距離へカメラオブジェクトを変位させるように、あるいは基準点に対する複数の異なる距離へカメラオブジェクトを（相前後して）位置決めするように設置されることが可能である。ここで、基準点に対する径方向の距離を変更するため、で位置決めするために、カメラオブジェクトを特に基準点から出るビーム（線）に沿って変位させることが可能である。さらに、基準点に対する各距離に依存してカメラオブジェクトを縮尺設定（すなわち拡大又は縮小）することが可能である。特に、カメラオブジェクトが基準点へ向けて変位する場合には、カメラオブジェクトは縮小されることができる。他方で、カメラオブジェクトが基準点から離れるように変位する場合には、カメラオブジェクトは拡大されることができる。したがって、基準点に対するカメラオブジェクトの距離に関する異なる仮定を考慮に入れることが可能である。

【0013】

処理ユニットは、画像データに基づいて（場合によっては画像データのみに基づいて）、基準点に対する推定される距離を算出するように設置されることが可能である。そして、カメラオブジェクトを複数の異なる距離へ変位させるために、カメラオブジェクトは、所定の距離範囲において、推定される距離だけ変位することが可能である。距離範囲は、例えば推定される距離を起点として、基準点へ向けて、及び／又は基準点から離れるように、推定される距離の２０％だけ、３０％だけ又はそれより大きな変位を規定することが可能である。そして、距離範囲内では、異なる距離（例えば２０、３０、５０、１００又はそれより大きな異なる（場合によっては等距離の）距離）を選択することが可能である。

【0014】

さらに、処理ユニットは、複数の異なる距離について、センサデータの検出された点との（変位及び／又は縮尺設定された）各カメラオブジェクトの重なり量の対応する複数の値を算出するように設置されている。このとき、重なり量は、（それぞれ変位及び／又は縮尺設定された）各カメラオブジェクトが距離感知式の周囲センサのセンサデータの検出された点とどのくらい強く重なっているかを示すことができる。ここで、比較的強い重なりは、距離感知式の周囲センサのセンサデータの検出された点が（検出された点によって示される基準点に対する距離において）カメラオブジェクトに対応する周囲オブジェクトを示すことを示している。他方で、比較的弱い重なりは、カメラオブジェクトが位置決めされた距離においておそらく周囲オブジェクトが存在しないことを示す。

【0015】

そのほか、処理ユニットは、重なり量の複数の値に依存して、基準点からのカメラオブジェクトのオブジェクト距離を算出するように設置されることが可能である。このとき、特に、複数の異なる距離から１つの距離をオブジェクト距離として選択することができ、当該オブジェクト距離については、重なり量の算出された値は、カメラオブジェクトとセンサデータの検出された点の間の特に大きな重なりを示す。特に、重なり量の最大値又は最小値に対応する距離をオブジェクト距離として選択することが可能である。そして、算出されるオブジェクト距離は、車両の周囲における周囲オブジェクトに関する情報の算出時に考慮されることが可能である。したがって、周囲オブジェクトの検出品質を効果的に向上させることが可能である。

【0016】

オブジェクト距離の算出に代えて、又は加えて、カメラオブジェクトは、重なり量の複数の値に依存して、センサデータの検出された点の部分量に割り当てられることができるか、あるいは当該部分量に関連付けられることが可能である。そして、画像データに基づくオブジェクトに関する情報は、周囲オブジェクトの検知時に、距離感知式の周囲センサのセンサデータに基づき精確に考慮されることが可能である。したがって、周囲オブジェクトの検出品質を効果的に向上させることが可能である。

【0017】

画像カメラの画像データと距離感知式の周囲センサのセンサデータの重ね合わせ時のカメラオブジェクトの距離の変更によって、画像カメラと距離感知式の周囲センサの間の誤ったキャリブレーション及び／又は画像データとセンサデータの間の時間的な同期時のエラーを信頼性をもって補整することが可能である。

【0018】

処理ユニットは、カメラオブジェクトに対する基準点を中心とする角度範囲、特に方位角範囲及び／又は高さ角度範囲を算出するように設置されることが可能である。ここで、基準点から出る、角度範囲を限定するビームが、カメラオブジェクトの２つの異なる側で、任意にカメラオブジェクトの２つの異なる側での追加的な許容誤差バッファをもってカメラオブジェクトを（正確に）画定するように、角度範囲を算出することが可能である。したがって、カメラオブジェクトに対応し得る検出された点が探求される、車両の周囲の部分範囲を画定することが可能である。特に、１つ又は複数の角度範囲（すなわち方位角範囲及び／又は高さ角度範囲）によって規定される車両の周囲の部分範囲内（のみ）でカメラオブジェクトの変位を行うことが可能である。このとき、カメラオブジェクトが常に角度範囲あるいは角度範囲を画定するビーム内にとどまるように、カメラオブジェクトを（カメラオブジェクトの推定される距離から）変位させ、及び縮尺設定することが可能である。

【0019】

したがって、カメラオブジェクトは、１つの角度範囲あるいは複数の角度範囲によって規定される車両の周囲の部分範囲内で、基準点から出るビームに沿って変位されることが可能である。そして、（変位及び／又は縮尺設定された）各カメラオブジェクトの重なり量の値を、１つの角度範囲あるいは複数の角度範囲によって規定される車両の周囲の部分範囲からのセンサデータの検出された点によって（特に当該点のみによって）算出することが可能である。したがって、オブジェクト距離の算出及び／又は距離感知式の周囲センサの検出された点へのカメラオブジェクトの割り当ての精度及び効率を向上させることが可能である。

【0020】

方位角範囲は、例えば水平方向において、画像データに基づいて、及び／又はセンサデータに基づいて算出されることができる。対応して、高さ角度範囲は、垂直方向において、画像データに基づいて、及び／又はセンサデータに基づいて算出されることができる。方位角範囲及び高さ角度範囲を組み合わせて考慮することで、算出されるオブジェクト距離及び／又は距離感知式の周囲センサの検出された点へのカメラオブジェクトの割り当ての精度を更に向上させることが可能である。

【0021】

カメラオブジェクトは、カメラオブジェクトが配置された、車両の周囲での複数のカメラ点を示すことができる。カメラ点は、例えば度数多角形によって（特に直方体によって）記述されることが可能である。そして、カメラオブジェクトの変位は、多数のカメラ点のうち少なくともいくつかの（特に基準点から出るビームに沿った）変位を含み得る。さらに、（カメラオブジェクトを拡大又は縮小するために）変位の範囲では、点を補足又は除去することが可能である。カメラオブジェクトの記述のための個々のカメラ点を考察することによって、カメラオブジェクトとセンサデータの検出された点の部分量との間の重なりの検出の精度を向上させることが可能である。

【0022】

特に、カメラオブジェクトの記述のための個々のカメラ点の考慮時の重なり量の値の算出は、センサデータの検出された点と一致するカメラオブジェクトの多数のカメラ点の一部の算出を含むことができる。これに代えて、又はこれに加えて、重なり量の値の算出は、センサデータの検出される点に対するカメラオブジェクトの多数のカメラ点の距離（例えば平均距離）の算出を含むことができる。これに代えて、又はこれに加えて、重なり量の値の算出は、センサデータの検出される点とのカメラオブジェクトの多数のカメラ点の重なりの度合いの算出を含むことができる。したがって、カメラ点とセンサデータの検出された点との間の重なりを精確に算出することが可能である。

【0023】

処理ユニットは、算出されたオブジェクト距離に依存して、複数の検出された点の部分量にカメラオブジェクトを割り当てるように設置されることが可能である。さらに、処理ユニットは、割り当てられたカメラオブジェクトを考慮して、センサデータに基づき車両の周囲の占有グリッド（英語では「Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ」）を算出するように設置されることが可能である。ここで、占有グリッドは、車両の周囲の多数のセルについて、各セルが空いている（ひいては、場合によっては車両に対して走行可能である）かどうか、及び各セルがオブジェクトによって占められている（ひいては、車両との衝突に至り得る）かどうかについての各確率を示すことができる。占有グリッドの提供により、（連続した一連の時点において）周囲オブジェクトを精確に検出し、追跡することが可能である。したがって、少なくとも部分的に自動化された車両の走行を更に改善することが可能である。

【0024】

したがって、処理ユニットは、センサデータに基づいて車両の周囲の占有グリッドを算出するように設置されることが可能である。さらに、処理ユニットは、基準点に対して算出されたオブジェクト距離でのカメラオブジェクトを考慮して、占有グリッドに基づき、カメラオブジェクトに対応する車両の周囲における周囲オブジェクトを検出するように設置されることが可能である。そして、画像データに基づき、周囲オブジェクトの１つ又は複数の属性、特に多数の異なるオブジェクトタイプのうち１つのオブジェクトタイプを信頼性をもって算出することが可能である。したがって、本明細書で説明する、画像データと距離感知式の周囲センサのセンサデータとの間の融合により、周囲オブジェクトについての広範な情報の信頼性のある算出が可能となる。

【0025】

処理ユニットは、重なり量の多数の値に基づき、カメラオブジェクトが複数の検出された点の部分量に割り当てられることが可能か否かを特定するように設置されることが可能である。この目的のために、重なり量の値を重なり閾値と比較することができ、重なり閾値は、距離感知式の周囲センサのセンサデータにおいて認識可能なオブジェクトにカメラオブジェクトが対応すると考えることができるように、最大限あるいは最小限に存在する必要がある重なり量の最小値あるいは最大値を示す。重なり閾値は、あらかじめ（例えば実験的に）算出されることが可能である。これに代えて、又はこれに加えて、重なり閾値を機械学習によって自動化して算出する、すなわち学習することが可能である。

【0026】

さらに、評価ユニットは、カメラオブジェクトが多数の検出された点の部分量に割り当てられることができない場合に、車両の周囲の占有グリッドの算出時にカメラオブジェクトを考慮しないように設置されている。他方で、評価ユニットは、カメラオブジェクトが多数の検出された点の部分量に割り当てられることができる場合に（特に当該場合にのみ）、算出されたオブジェクト距離に応じてセンサデータに基づき、車両の周囲の占有グリッドの算出時にカメラオブジェクトを考慮するように設置されることができる。したがって、オブジェクト検知の堅牢性及び信頼性を更に向上させることが可能である。

【0027】

センサデータの複数の検出された点は、少なくとも１つの、あり得る非障害物点、特にあり得る路床点を含み得る。特に、距離感知式の周囲センサの検出された点は障害物点として分類されることができ、当該障害物点は、障害物を表す、車両の周囲に配置された周囲オブジェクトに（おそらく）属している。他方で、距離感知式の周囲センサの検出された点は非障害物点として分類されることができ、当該非障害物点は、周囲オブジェクトには（おそらく）属しておらず、ノイズ、路床又は（例えばトンネル又は橋梁のような）下方走行可能なオブジェクトと推定され得る。

【0028】

あり得る非障害物点、特に路床点は、例えば、距離感知式の周囲センサのセンサデータにおける高さ情報に基づいて検出されることが可能である。あり得る非障害物点が車両の周囲における周囲オブジェクトにおそらく対応しないにもかかわらず、重なり量の値は、場合によってはあり得る非障害物点を考慮してなお算出されることが可能である。したがって、（あり得る非障害物点が初めから推定されないため、）周囲オブジェクトの検知品質を更に向上させることが可能である。

【0029】

他方で、カメラオブジェクトが非障害物点に割り当てられなかった場合には、あり得る非障害物点は、占有グリッドの算出時に考慮されないままであってよい。さらに、カメラオブジェクトが非障害物点に割り当てられた場合には（特に当該場合にのみ）、あり得る非障害物点は、占有グリッドの算出時に考慮されることができる。したがって、周囲オブジェクトの検知の信頼性を更に向上させることが可能である。

【0030】

上述のように、処理ユニットは、算出されたオブジェクト距離に依存して、及び／又は算出されたオブジェクト距離に依存する車両の周囲の占有グリッドに依存して、車両の少なくとも１つの車両機能、特に車両の少なくとも部分的に自動化された走行を実行するように設置されることが可能である。したがって、信頼性のある車両機能を効率的に提供することが可能である。

【0031】

別の一態様によれば、車両の周囲でのオブジェクトに関する情報を算出する方法が記載される。方法は、車両のカメラの画像データの算出を含んでおり、画像データは、基準点からの車両の周囲を示す。そのほか、方法は、画像データに基づく、車両の周囲での少なくとも１つのカメラオブジェクトの検出を含んでいる。また、方法は、車両の距離感知式の周囲センサのセンサデータの検出を含んでいる。さらに、方法は、基準点に対する相対的に多数の異なる距離へのカメラオブジェクトの変位と、多数の異なる距離についてのセンサデータとの各カメラオブジェクトの重なり量の多数の値の算出とを含んでいる。そして、重なり量の複数の値に依存して、基準点からのカメラオブジェクトのオブジェクト距離を算出することが可能である。

【0032】

別の一態様によれば、本明細書で記載される処理ユニットを含む（道路車両）原動機付き車両（特に自家用車又は貨物自動車又はバス）が記載される。

【0033】

別の一態様によれば、ソフトウェア（ＳＷ）プログラムが記載される。ソフトウェアプログラムは、プロセッサにおいて（例えば車両の制御装置において）実行されるように、及びこれにより本明細書で記載される方法を実行するように設置されることが可能である。

【0034】

別の一態様によれば、記憶媒体が記載される。記憶媒体は、プロセッサにおいて実行されるように、及びこれにより本明細書で記載される方法を実行するように設置されるソフトウェアプログラムを含むことが可能である。

【0035】

本明細書に記載される方法、装置及びシステムは、単独でも、また本明細書に記載される他の方法、装置及びシステムとの組合せにおいても用いられることができることに留意すべきである。さらに、本明細書に記載される方法、装置及びシステムの各態様は、様々に互いに組み合わせられることが可能である。特に、請求項の特徴を様々に組み合わせることが可能である。

【0036】

以下に、実施例に基づいて本発明を詳細に説明する。

【図面の簡単な説明】

【0037】

【図1】複数の異なる周囲センサを有する例示的な車両を示す図である。

【図2】車両の周囲の例示的なグリッドを示す図である。

【図3】ライダを基礎とする占有グリッドを有するカメラオブジェクトの例示的な重なりを示す図である。

【図4】周囲オブジェクトに関する情報を算出する例示的な方法のフローチャートである。

【図5】距離感知式の周囲センサのセンサデータとのカメラオブジェクトの例示的な重なりを示す図である。

【発明を実施するための形態】

【0038】

冒頭で述べたように、本明細書は、複数の周囲センサのセンサデータに基づいて少なくとも１つの周囲オブジェクトの検知及び追跡に関するものである。この関係において、図１には、センサデータを検出する１つ又は複数の周囲センサ１１１，１１２を有する車両１００が示されている。車両１００は、センサデータに基づいて車両１００の周囲におけるオブジェクト１５０を検知するように設置された処理ユニット１０１を更に含んでいる。そして、検知された物体１５０は、（例えば車両１００の部分自動化された、又は高度に自動化された走行のための）車両機能１０２において用いられることが可能である。

【0039】

本明細書は、特に、車両１００の周囲の整合的で多感覚的なモデル化に関するものである。ここで、局所的な周囲は、占有グリッドマップ（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）あるいはグリッド２００として推定あるいは図示されることが可能である（図２参照）。図２には、車両１００の周囲の例示的なグリッド２００が多数のグリッドセル又は略してセル２０１で示されている。グリッド２００は、車両１００の環境あるいは周囲を多数の二次元（２Ｄ）又は三次元（３Ｄ）のセル２０１へ分割することができる。ここで、二次元のセル２０１は、（例えば１０ｃｍ、５ｃｍ、２ｃｍ、１ｃｍ又はそれより小さなエッジ長さを有する）長方形を有することができる。

【0040】

車両１００の処理ユニット１０１は、１つ又は複数のセル２０１（特に各セル２０１）についてのセンサデータに基づいて測定データを算出するように設置されることができ、測定データは、セル２０１が所定の時点ｔにおいて占められている（覆われている）か否かを示す。特に、測定データｚｃはセルｃ２０１について示すことが可能である。
ｚ_ｃ＝（ｍ（ＳＤ_ｚ，ｔ），ｍ（Ｆ_ｚ，ｔ）），
で示されることができ、ここで、ｍ（｛ＳＤ｝）は、セルｃ２０１がオブジェクト１５０（例えば静的なオブジェクト又は動的なオブジェクト）によって占められていることについての証拠（臨界値、棄却限界値）あるいは証拠量（臨界量、棄却限界量）であり、ｍ（Ｆ）は、セルｃ２０１が空いており、したがってオブジェクト１５０によって占められていないことについての証拠である。セル２０１がオブジェクト１５０によって占められていることについての臨界値は、（特にデンプスター・シェーファー理論の意味合いで）セル２０１がオブジェクト１５０によって占められていることについてのオブジェクト確率とみなされることができる。

【0041】

典型的には、所定の時点ｔでの時間的に隔離された測定に基づいて証拠あるいは証拠量ｍ（ＳＤ）、ｍ（ｆ）のみを算出することができる。なぜなら、オブジェクトが静的なオブジェクト１５０によって占められているか、又は動的なオブジェクト１５０によって占められているか特定することができないためである。しかしながら、対応する一連の時点での（センサ１１１，１１２による）一連の測定後に、現在の時点ｔにおける占有グリッドＭｔ２００を提供することが可能であると仮定することができ、占有グリッドは、異なるセル２０１に対して、異なる仮定についての異なる証拠を示す。
Ｍ_ｔ＝｛ｍ（Ｓ_ｔ），ｍ（Ｄ_ｔ），ｍ（ＳＤ_ｔ），ｍ（Ｆ_ｔ），ｍ（ＦＤ_ｔ）｝，
ここで、ｍ（ＦＤｔ）は、過去に占められていないセル２０１が時点ｔにおいて動的なオブジェクト１５０によって占められ得るという仮定についての証拠を示す。さらに、ｍ（Ｓｔ）は、時点ｔにおいてセルｃ２０１が静的なオブジェクト１５０によって占められていることについての証拠あるいは証拠量を示す。そのほか、ｍ（Ｄｔ）は、時点ｔにおいてセルｃ２０１が動的なオブジェクト１５０によって占められていることについての証拠あるいは証拠量を示す。占有グリッドＭｔ２００は、所定の時点ｔでのグリッド２００のセル２０１の状況あるいは状態を記述する。

【0042】

占有グリッド２００は、例えば、１つ又は複数の周囲センサ１１１のセンサデータに基づいて算出されることができ、センサデータは、各周囲センサ１１１に対するオブジェクト１５０の距離に関して比較的高い精度を有している。したがって、各周囲センサ１１１に対する占有グリッド２００の占められたセル２０１の距離は、検出されるべきオブジェクトについての基準距離とみなされることが可能である。距離の比較的精確な算出を伴う例示的な周囲センサ１１１は、ライダセンサ及び／又はレーダセンサである。

【0043】

さらに、少なくとも１つの画像カメラ１１２のセンサデータは、周囲オブジェクトを検知するために用いられることができる。本明細書では、画像カメラ１１２のセンサデータは、画像データとも呼ばれる。処理ユニット１０１は、画像データに基づいて１つ又は複数のオブジェクト２５０を検知するように設置されている。このとき、本明細書では、画像データに基づいて検出されるオブジェクト２５０はカメラオブジェクトと呼ばれる。

【0044】

したがって、距離感知（計測）式の周囲センサ１１１のセンサデータに基づいて第１の占有グリッド２００を算出することができ、画像データに基づいて第２の占有グリッド２００を算出することができ、これら第１及び第２の占有グリッドは、共通の、あるいは融合した占有グリッド２００を算出するために重ね合わされることが可能である。カメラオブジェクト２５０の距離は画像データに基づいて比較的不正確にしか特定され得ないという事実により、両占有グリッド２００の重ね合わせによって、オブジェクトが（異なる距離をもって）二重に検知されるか、又は場合によっては全く検知されないこととなり得る。したがって、異なるタイプの周囲センサ１１１，１１２のセンサデータに基づく占有グリッド２００の重ね合わせは、周囲オブジェクトの比較的わずかな検知品質につながり得る。

【0045】

当該問題は、データ融合のためにあらかじめ、距離感知式の周囲センサ１１１のセンサデータに基づき（例えばライダセンサデータ又はレーダセンサデータに基づき）算出される占有グリッド２００のセル２０１への１つ又は複数の検知されるカメラオブジェクト２５０の割り当てが行われることで回避されることが可能である。図３には、距離感知式の周囲センサ１１１のセンサデータに基づいて算出される占有グリッド２００へ転換あるいは変換された、例示的なカメラオブジェクト２５０が示されている。典型的には、画像データを検出するカメラ１１２及びセンサデータを検出する周囲センサ１１１は、車両１００における異なる位置に配置されている。カメラ１１２及び周囲センサ１１１の異なる位置は既知であるため、あらかじめ（例えば６自由度、すなわち並進についての３自由度及び回転についての３自由度）変換を算出することができ、当該変換により、検知されるカメラオブジェクト２５０をカメラ１１２の座標系から距離感知式の周囲センサ１１１の座標系へ変換することが可能となる。

【0046】

検知されるカメラオブジェクト２５０は、（所定の基準点３０５に対して相対的に）所定の方位角範囲３０１にわたって延在している。基準点３０５は、例えば、占有グリッド２００を基礎とする座標系におけるセンサ１１１，１１２（例えばカメラ１１２及び／又は距離感知式の周囲センサ１１１）の位置に対応し得る。このとき、角度範囲３０１は、カメラオブジェクト２５０が位置するカメラ１１２の検出範囲の角度部分に対応し得る。場合によっては、角度範囲３０１は、カメラオブジェクト２５０の両側での所定の許容誤差バッファ３０３だけ拡張されることが可能である。

【0047】

基準点３０５に対するカメラオブジェクト２５０の距離は、算出される角度範囲３０１内で変更されることができる（双方向矢印で示されている）。ここで、カメラオブジェクト２５０は、当該カメラオブジェクト２５０が（場合によっては両側の許容誤差バッファ３０３を考慮して）各距離において角度範囲３０１全体にわたって延在するように縮尺設定されることが可能である。

【0048】

占有グリッド２００のセルあるいは点２０１との（縮尺設定された）カメラオブジェクト２５０の重なりについての重なり量（重なり度合い）の値を各距離について算出することが可能である。（縮尺設定及び変位（パン）された）カメラオブジェクト２５０は、例えば占有グリッド２００の各セル２０１について、セル２０１がカメラオブジェクト２５０の一部であることについての証拠量を示すことが可能である。さらに、占有グリッド２００は、各セル２０１について、セル２０１が占められていることについての上記証拠量を示す。重なり量の値を算出するために、
－角度範囲２０１によって覆われるセル２０１について、セル２０１が（縮尺設定及び変位された）カメラオブジェクト２５０の一部であることについての証拠量とセル２０１が占められていることについての証拠量との積を算出することができ、
－積の平均絶対和又は平均二乗和を算出することができる。

【0049】

したがって、カメラオブジェクト２５０の多数の異なる距離について、重なり量のそれぞれ１つの値を算出することが可能である。さらに、重なり量の値に基づいてカメラオブジェクト２５０のオブジェクト距離を算出することができ、当該オブジェクト距離では、（縮尺設定及び変位された）カメラオブジェクト２５０と占有グリッド２００の間の特に良好な、特に最適な重なりが存在する。そして、当該縮尺設定及び変位されたカメラオブジェクト２５０は、占有グリッド２００のセル２０１と融合されることができるとともに、周囲オブジェクトの検知時には考慮されることが可能である。したがって、周囲オブジェクトの検知品質を向上させることが可能である。

【0050】

これに代えて、又はこれに補足して、（異なるセンサ１１１，１１２からのセンサデータに基づく第１のステップにおいてそれぞれ個別のグリッド２００を導出し、その後、これをセルに基づき融合することに代えて）検出された１つ又は複数のカメラオブジェクト２５０を距離感知式の周囲センサ１１１（例えばレーザスキャナ）のセンサデータと直接融合することが可能である。そして、これにつづき、まず、場合によってはスキャングリッド２００をあらかじめ融合された情報に基づいて導出することが可能である。

【0051】

カメラオブジェクト２５０と距離感知式の周囲センサ１００のセンサデータの間の融合あるいは関連付けは以下のように行われることが可能である：
－カメラオブジェクト２５０が、典型的には、カメラオブジェクト２５０の検出のための画像データを検出したカメラ１１２の座標系に対して相対的に記述される。そして、距離感知式の周囲センサ１１１（例えばライダセンサ）のセンサデータは、変換（並進及び／又は回転）によってカメラ１１２の３Ｄ座標系へ投影あるいは変換されることが可能である。これに代えて、上述のように、距離感知式の周囲センサ１１１の座標系へのカメラオブジェクト２５０の変換を行うことが可能である。
－そして、（場合によってはそれぞれカメラオブジェクト２５０の左右の加えられた許容誤差デルタあるいは許容誤差バッファ３０３を有する）カメラオブジェクト２５０によって描かれる方位角範囲３０１を算出することができる。
－さらに、方位角範囲３０１内にある距離感知式の周囲センサ１１１のセンサデータを抽出することが可能である。
－カメラオブジェクト２５０を、様々な距離値に設定することができるとともに、相応して縮尺設定することが可能である。各距離値について、品質関数の値（すなわち重なり量の値）を演算することができ、品質関数は、（縮尺設定及び変位された）カメラオブジェクト２５０がどのくらい良好に距離感知式の周囲センサ１１１のセンサデータに適合するかを示す。
－そして、カメラオブジェクト２５０は、距離感知式の周囲センサ１１１のセンサデータに基づいて検知される占められたセル２０１と関連付けられることができ、当該セルについて比較的良好なフィット（すなわち品質関数の比較的良好な値）が得られる。

【0052】

１つ又は複数のカメラオブジェクト２５０が距離感知式の周囲センサ１１１のセンサデータに基づき算出された占有グリッド２００の点あるいはセル２０１と関連付けられると、距離感知式の周囲センサ１１１の情報も、またカメラ１１２の情報も含む融合された占有グリッド２００を導出することが可能である。

【0053】

図５に図示されているように、距離感知式の周囲センサ１１１のセンサデータ５００は、検出された多数の点５０１，５０４を示すことが可能である。このとき、点５０１，５０４は、周囲センサ１１１から出力されるセンサ信号（例えばレーザ信号又はレーダ信号）の反射がなされた周囲センサの検出範囲における箇所であり得る。したがって、周囲センサ１１１によって検出された点５０１，５０４には、オブジェクトが配置され得る。さらに、距離感知式の周囲センサ１１１のセンサデータは、高い確率で空いている範囲５０２を示す（なぜなら、センサ原点と第１の障害物検出部の間のこの範囲にオブジェクトが配置されていないため）。

【0054】

そのほか、図５には例示的なカメラオブジェクト２５０が示されており、当該カメラオブジェクトは、各角度範囲３０１内で基準点３０５に対して相対的に距離を変更することで、及びセンサデータ５００の検出された点で相応の縮尺設定をすることで関連付けられることができる。そして、１つ又は複数のカメラオブジェクト２５０との、距離感知式の周囲センサ１１１のセンサデータ５００の検出された点５０１，５０４の関連付けに基づき、周囲オブジェクト５５０を検出することが可能である。このとき、距離感知式の周囲センサ１１１のセンサデータ５００に基づいて、１つ又は複数の周囲オブジェクト５５０の空間的な位置を精確に算出することが可能である。さらに、画像データに基づき、周囲オブジェクト５５０の精確な分類（例えば異なるオブジェクトタイプ、例えば車両、歩行者、自転車運転者など）を行うことが可能である。そのほか、画像データに基づき、周囲オブジェクト５５０の（例えば色、形状などのような）別の属性を精確に算出することが可能である。そのほか、画像データに基づき、１つ又は複数の周囲オブジェクト５５０についての距離感知式の周囲センサ１１１のセンサデータ５００の検出された点５０１，５０４の信頼性のあるクラスタ化を行うことが可能である。

【0055】

図５に図示された融合されたセンサデータに基づき、融合された占有グリッド２００を精確に算出することができ、当該占有グリッドは、個々のセル２０１の占有確率に加えて、１つ又は複数の異なる周囲オブジェクト５５０へのオブジェクト帰属性も示す。

【0056】

距離感知式の周囲センサ１１１に基づいて検出された点５０１，５０４は、オブジェクト５５０における反射によって、又は路床における反射によって引き起こされ得る。したがって、検出された点５０１，５０４は、いかなるオブジェクト５５０にも割り当てられないあり得る路床点であり得る。オブジェクト点５０１と可能な路床点５０４の間の差異は、例えば、反射がなされる高さに基づいて算出されることが可能である。反射が路床から比較的低い高さにおいてのみなされる場合には、場合によっては、検出された点５０１，５０４はあり得る路床点５０４であると推定され得る。

【0057】

基本的には、距離感知式の周囲センサ１１１の検出された点５０１，５０４は、異なるクラス、例えば雨、ノイズ、路床、（例えばトンネル又は橋梁のような）下方走行可能箇所などに分類されることができる。一方、当該クラスは、比較的粗く「障害物」及び「障害物でない」というクラスにまとめられることが可能である。本明細書で説明する、クラス「障害物でない」に基づく点の再確認は、（路床点５０４についてのみならず）クラス「障害物でない」の全ての点について行われることが可能である。それゆえ、路床点は、一般に非障害物点とみなされることができる。

【0058】

オブジェクト点５０１及び路床点５０４への高さに基づく分類は、典型的にはエラーの影響を受ける。本明細書で説明する、距離感知式の周囲センサ１１１のセンサデータ５００に基づく、検出された点５０１，５０４とのカメラオブジェクト２５０の関連付けにより、第１に、全ての検出された点５０１，５０４、特にあり得る路床点５０４として識別された点も、データ融合時に考慮されることが可能である。あり得る路床点５０４がカメラオブジェクト２５０と関連付けられると、これに基づき、点が路床点ではなくオブジェクト点であると推定されることが可能である。他方で、あり得る路床点がカメラオブジェクト２５０と関連付けられない場合には、あり得る路床点５０４が高い確率で路床に割り当てられ得る。したがって、周囲オブジェクト５５０の検知の品質を更に向上させることが可能である。

【0059】

図４には、車両１００の周囲での周囲オブジェクトに関する情報を算出する例示的な方法４００のフローチャートが示されている。特に、方法４００は、異なるセンサ１１１，１１２のセンサデータを融合し、オブジェクトの検出品質を向上させ、及び／又は検出されるオブジェクトについての拡張された情報を算出することに貢献することができる。さらに、方法４００は、オブジェクトについての算出された情報に基づいて車両１００を少なくとも部分的に自動化して走行させるために用いられることが可能である。方法４００は、車両１００の処理ユニット１０１によって実行されることができる。

【0060】

方法４００は、車両１００のカメラ１１２（特に単眼カメラ（モノカメラ））の画像データの検出４０１を含んでいる。ここで、画像データは、基準点３０５からの車両１００の周囲を示すことができる。基準点３０５は、例えばカメラ１１２のセンサ面に相当する。

【0061】

そのほか、方法４００は、画像データに基づく、車両１００の周囲での少なくとも１つのカメラオブジェクト２５０の検出４０２を含んでいる。この目的のために、１つ又は複数の画像解析アルゴリズムを用いることができ、当該画像解析アルゴリズムは、例えば、画像データに基づき（例えば画像フレームの画像画素に基づき）、少なくとも１つのオブジェクトの輪郭を認識するように設置されており、本明細書では、画像データに基づき検出されるオブジェクトは、カメラオブジェクト２５０と呼ばれる。

【0062】

画像データにより、周囲オブジェクト５５０の輪郭及び／又は形状を精確に算出することが可能である。さらに、典型的には、分類アルゴリズムに基づいて周囲オブジェクト５５０のオブジェクトタイプを画像データに基づき精確に算出することが可能である。他方で、基準点３０５に対する周囲オブジェクト５５０の距離は、多くの場合、画像データに基づいて比較的わずかな精度でしか算出することができない。

【0063】

方法４００は、車両１００の距離感知式の周囲センサ１１１のセンサデータ５００の算出４０３を更に含んでいる。ここで、距離感知式の周囲センサ１１１のセンサデータ５００の算出４０３を、画像データの算出４０１及び少なくとも１つのカメラオブジェクト２５０の検出４０２と並行して行うことが可能である。特に、センサデータ５００及び画像データは、同一の（走査）時点に関するものであり得る。

【0064】

距離感知式の周囲センサ１１１は、測定点に対する距離を精確に算出することが可能なセンサであり得る。例示的な距離感知式の周囲センサ１１１は、レーダセンサ又はライダセンサである。距離感知式の周囲センサ１１１のセンサデータ５００は、車両１００の周囲での多数の検出された点５０１，５０４を示すことができる。このとき、検出された点５０１，５０４は、周囲センサ１１１から発出されるセンサ信号を反射する反射点であり得る。

【0065】

さらに、方法４００は、基準点３０５に対して相対的な多数の異なる距離へのカメラオブジェクト２５０の変位（パン）４０４を含んでいる。ここで、カメラオブジェクト２５０を基準点３０５に対して異なる（径方向の）距離で位置決めするために、カメラオブジェクト２５０は、基準点３０５から出るビームに沿って変位することが可能である。カメラオブジェクト２５０の変位４０４の範囲では、カメラオブジェクト２５０の縮尺設定も行われることが可能である。このとき、カメラオブジェクト２５０は、カメラオブジェクト２５０が基準点３０５へ近づくように変位する場合には縮小され、及び／又はカメラオブジェクト２５０が基準点３０５から離れるように変位する場合には拡大される。

【0066】

そのほか、方法４００は、多数の異なる距離についてのセンサデータ５００の検出された点５０１，５０４との（変位された、及び／又は縮尺設定された）各カメラオブジェクト２５０の重なりについての重なり量の多数の値の算出４０５を含んでいる。

【0067】

また、方法４００は、重なり量の多数の値に依存した、基準点３０５からのカメラオブジェクト２５０のオブジェクト距離の算出４０６を含んでいる。このとき、オブジェクト距離は、重なり量が、センサデータ５００の検出された点５０１，５０４とのカメラオブジェクト２５０の比較的最適な重なりを示す距離として、複数の異なる距離から選択されることが可能である。特に、オブジェクト距離は、重なり量が最大あるいは最小である距離として、多数の異なる距離から選択されることができる。

【0068】

さらに、カメラオブジェクト２５０は、（算出されるオブジェクト距離に基づき）多数の検出された点５０１，５０４の部分量に割り当てられることが可能である。そして、当該割り当ては、占有グリッド２００の算出時に考慮されることが可能である。このとき、占有グリッド２００は、多数のセル２０１について、それぞれ、周囲オブジェクト５５０による各セル２０１の占有確率を示すことが可能である。占有グリッド２００は、１つ又は複数の周囲オブジェクト５５０を信頼性をもって検出し、及び／又は追跡するために用いられることが可能である。そして、車両１００は、１つ又は複数の周囲オブジェクト５５０に依存して、少なくとも部分的に自動化されてガイドされることが可能である。したがって、少なくとも部分的に自動化されて走行する車両１００の信頼性及び安全性を向上させることができる。

【0069】

方法４００は、規則的に、特に周期的に（例えば１０Ｈｚ、２０Ｈｚ、２５Ｈｚ又はそれを上回る周波数で）繰り返され得る。このとき、各時点では、それぞれ現在の画像データ及び／又はセンサデータ５００を算出及び考慮することができる。方法４００の繰り返しにより、車両１００の走行中に信頼性をもって周囲オブジェクト５００を検出及び追跡することが可能である。

【0070】

本発明は、示された実施例に限定されているものではない。特に、明細書及び図面は、提案される方法、装置及びシステムの原理のみを説明するものとなっていることに留意すべきである。
なお、本発明は、以下の態様も包含し得る：
１．車両（１００）のための処理ユニット（１０１）であって、処理ユニットは、
－車両（１００）のカメラ（１１２）の画像データであって、基準点（３０５）からの車両（１００）の周囲を示す前記画像データを算出するように、
－画像データに基づいて、車両（１００）の周囲での少なくとも１つのカメラオブジェクト（２５０）を検出するように、
－車両（１００）の距離感知式の周囲センサ（１１１）のセンサデータ（５００）であって、車両（１００）の周囲での複数の検出された点（５０１，５０４）を示す前記センサデータ（５００）を算出するように、
－カメラオブジェクト（２５０）を基準点（３０５）に対する複数の異なる距離へ変位させるように、
－複数の異なる距離について、センサデータ（５００）の検出された点（５０１，５０４）との各カメラオブジェクト（２５０）の重なり量の対応する数の値を算出するように、及び
－重なり量の値の数に依存して、基準点（３０５）からのカメラオブジェクト（２５０）のオブジェクト距離を算出するように
設置されていることを特徴とする処理ユニット。
２．処理ユニット（１０１）が、
－カメラオブジェクト（２５０）についての基準点（３０５）を中心とする角度範囲（３０１）、特に方位角範囲及び／又は高さ角度範囲を算出するように、
－角度範囲（３０１）によって規定される、車両（１００）の周囲の部分範囲内で、基準点（３０５）から出るビーム線に沿ってカメラオブジェクト（２５０）を変位させるように、及び
－車両（１００）の周囲の部分範囲に基づくセンサデータ（５００）の検出された点（５０１，５０４）との、特にセンサデータ（５００）の検出された点（５０１，５０４）のみとの各カメラオブジェクト（２５０）の重なり量の値を算出するように
設置されていることを特徴とする上記１．に記載の処理ユニット（１０１）。
３．基準点（３０５）から出る、角度範囲（３０１）を限定するビームが、カメラオブジェクト（２５０）の２つの異なる側で、任意にカメラオブジェクト（２５０）の２つの異なる側での追加的な許容誤差バッファ（３０３）をもってカメラオブジェクト（２５０）を画定するように、角度範囲（３０１）が算出されることを特徴とする上記２．に記載の処理ユニット（１０１）。
４．処理ユニット（１０１）が、
－カメラオブジェクト（２５０）についての基準点（３０５）を中心とする方位角範囲（３０１）及び高さ角度範囲を算出するように、
－方位角範囲（３０１）及び高さ角度範囲によって規定される、車両（１００）の周囲の部分範囲内で、基準点（３０５）から出るビームに沿ってカメラオブジェクト（２５０）を変位させるように、及び
－車両（１００）の周囲の部分範囲に基づくセンサデータ（５００）の検出された点（５０１，５０４）との、特にセンサデータ（５００）の検出された点（５０１，５０４）のみとの各カメラオブジェクト（２５０）の重なり量の値を算出するように
設置されていることを特徴とする上記２．又は３．に記載の処理ユニット（１０１）。
５．処理ユニット（１０１）が、基準点（３０５）に対する距離に依存してカメラオブジェクト（２５０）を縮尺設定するように設置されていることを特徴とする上記１．～４．のいずれか１つに記載の処理ユニット（１０１）。
６．処理ユニット（１０１）が、
－画像データに基づき、基準点（３０５）に対するカメラオブジェクト（２５０）の推定される距離を算出するように、及び
－カメラオブジェクト（２５０）を複数の異なる距離へ変位させるために、推定される距離の周囲での距離範囲において、特に基準点（３０５）から出るビームに沿ってカメラオブジェクト（２５０）を変位させるように
設置されていることを特徴とする上記１．～５．のいずれか１つに記載の処理ユニット（１０１）。
７．－カメラ（１１２）及び周囲センサ（１１１）が、車両（１００）における異なる箇所に配置されており、
－処理ユニット（１０１）が、カメラオブジェクト（２５０）と、周囲センサ（１１１）のセンサデータ（５００）とを、特に
－周囲センサ（１１１）の座標系へのカメラオブジェクト（２５０）の投影によって、又は
－カメラ（１１２）の座標系へのセンサデータ（５００）の投影によって、
共通の座標系において表すように設置されている
ことを特徴とする上記１．～６．のいずれか１つに記載の処理ユニット（１０１）。
８．－カメラオブジェクト（２５０）が、車両（１００）の周囲での、カメラオブジェクト（２５０）が配置された複数のカメラ点を示し、及び
－カメラオブジェクト（２５０）の変位が、複数のカメラ点のうち少なくともいくつかの変位、特に基準点（３０５）から出るビームに沿った変位を含んでいる
ことを特徴とする上記１．～７．のいずれか１つに記載の処理ユニット（１０１）。
９．重ね合わせ量の値の算出が、
－センサデータ（５００）の検出された点（５０１，５０４）と一致するカメラオブジェクト（２５０）の複数のカメラ点の一部を算出すること、及び／又は
－センサデータ（５００）の検出された点（５０１，５０４）に対するカメラオブジェクト（２５０）の複数のカメラ点の距離を算出すること、及び／又は
－センサデータ（５００）の検出された点（５０１，５０４）とのカメラオブジェクト（２５０）の複数のカメラ点の重なりの度合いを算出すること
を含んでいることを特徴とする上記８．に記載の処理ユニット（１０１）。
１０．－複数の検出された点（５０１，５０４）が、車両（１００）の周囲にはおそらく配置されていない周囲オブジェクト（５５０）を示す、あり得る少なくとも１つの非障害物点（５０４）を含んでおり、及び
－あり得る非障害物点（５０４）を考慮して重なり量の値が算出されること
を特徴とする上記１．～９．のいずれか１つに記載の処理ユニット（１０１）。
１１．処理ユニット（１０１）が、
－算出されたオブジェクト距離に依存して、カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てるように、及び
－センサデータ（５００）に基づき、割り当てられたカメラオブジェクト（２５０）を考慮して、車両（１００）の周囲の占有グリッド（２００）を算出するように
設置されており、占有グリッド（２００）は、車両（１００）の周囲の複数のセル（２０１）について、各セル（２０１）が空いているかどうか、又は各セル（２０１）が物体（５５０）によって占められているかどうかについての確率を示すことを特徴とする上記１．～１０．のいずれか１つに記載の処理ユニット（１０１）。
１２．－非障害物点（５０４）にカメラオブジェクト（２５０）が割り当てられなかった場合には、あり得る非障害物点（５０４）が、占有グリッド（２００）の算出時に考慮されないままであり、及び／又は
－特に非障害物点（５０４）にカメラオブジェクト（２５０）が割り当てられた場合にのみ、あり得る非障害物点（５０４）が、占有グリッド（２００）の算出時に考慮されることを特徴とする上記１０．を引用する上記１１．に記載の処理ユニット（１０１）。
１３．処理ユニット（１０１）が、
－重なり量の複数の値に基づき、カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができるか否かを特定するように、及び
－カメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができないことが特定された場合に、センサデータ（５００）に基づく車両（１００）の周囲の占有グリッド（２００）の算出時に、カメラオブジェクト（２５０）を考慮しないように、及び／又は
－特にカメラオブジェクト（２５０）を複数の検出された点（５０１，５０４）の部分量に割り当てることができることが特定された場合にのみ、センサデータ（５００）に基づく車両（１００）の周囲の占有グリッド（２００）の算出時に、算出されたオブジェクト間隔に応じててカメラオブジェクト（２５０）を考慮するように
設置されていることを特徴とする上記１．～１２．のいずれか１つに記載の処理ユニット（１０１）。
１４．処理ユニット（１０１）が、
－センサデータ（５００）に基づき車両（１００）の周囲の占有グリッド（２００）を算出するように、
－占有グリッド（２００）に基づき、基準点（３０５）に対する算出されたオブジェクト距離でのカメラオブジェクト（２５０）を考慮して、車両（１００）の周囲での、カメラオブジェクト（２５０）に対応する周囲オブジェクト（５５０）を検出するように、及び－画像データに基づき、周囲オブジェクト（５５０）の１つ又は複数の属性、特に複数の異なるオブジェクトタイプのうち１つのオブジェクトタイプを算出するように
設置されていることを特徴とする上記１．～１３．のいずれか１つに記載の処理ユニット（１０１）。
１５．処理ユニット（１０１）が、算出されたオブジェクト距離に依存して、及び／又は算出されたオブジェクト距離に依存する車両（１００）の周囲の占有グリッド（２００）に依存して、車両（１００）の少なくとも１つの車両機能、特に車両（１００）の少なくとも部分的に自動化された走行を実行するように設置されていることを特徴とする上記１．～１４．のいずれか１つに記載の処理ユニット（１０１）。
１６．車両（１００）の周囲でのオブジェクトに関する情報を算出する方法（４００）であって、方法（４００）は、
－車両（１００）のカメラ（１１２）の画像データであって、基準点（３０５）からの車両（１００）の周囲を示す画像データを算出すること（４０１）、
－画像データに基づいて、車両（１００）の周囲での少なくとも１つのカメラオブジェクト（２５０）を検出すること（４０２）、
－車両（１００）の距離感知式の周囲センサ（１１１）のセンサデータ（５００）であって、車両（１００）の周囲での複数の検出された点（５０１，５０４）を示すセンサデータ（５００）を算出すること（４０３）、
－カメラオブジェクト（２５０）を基準点（３０５）に対して相対的に複数の異なる距離へ変位させること（４０４）、
－複数の異なる距離について、センサデータ（５００）の検出された点（５０１，５０４）との各カメラオブジェクト（２５０）の重なり量の複数の値を算出すること（４０５）、及び
－重なり量の値の複数の値に依存して、基準点（３０５）からのカメラオブジェクト（２５０）のオブジェクト距離を算出すること（４０６）
を含むことを特徴とする方法。

【図1】

【図2】

【図3】

【図4】

【図5】