特許 7705478 自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-01

(45)【発行日】2025-07-09

(54)【発明の名称】自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250702BHJP

   G08G 1/16 20060101ALI20250702BHJP

   G01B 11/00 20060101ALI20250702BHJP

【ＦＩ】

G06T7/70 A

G08G1/16 C

G01B11/00 H

【請求項の数】 3

(21)【出願番号】P 2023563196

(86)(22)【出願日】2022-05-20

(65)【公表番号】

(43)【公表日】2024-03-27

(86)【国際出願番号】 DE2022200103

(87)【国際公開番号】W WO2022253391

(87)【国際公開日】2022-12-08

【審査請求日】2023-10-16

(31)【優先権主張番号】102021205593.1

(32)【優先日】2021-06-01

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】バルト・ペーター

【審査官】小池 正彦

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０３０１１５９（ＵＳ，Ａ１）

【文献】特開２０１９－０８９４７６（ＪＰ，Ａ）

【文献】Raphael Voges, et al.，Interval-Based Visual-LiDAR Sensor Fusion，IEEE Robotics and Automation Letters，米国，IEEE，2021年04月，VOL.6 NO.2，p.1304-1311，https://ieeexplore.ieee.org/document/9349119，DOI: 10.1109/LRA.2021.3057572

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０８Ｇ １／１６

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

－第１周辺環境検出センサ（１）を用いて自車両の周辺環境を記録し、第１周辺環境表現を生成するステップ（Ｓ１）と、
－第２周辺環境検出センサ（２）を用いて前記自車両の前記周辺環境を記録し、第２周辺環境表現を生成するステップ（Ｓ２）と、
－前記第１周辺環境表現における少なくとも１つの特徴を検出するステップ（Ｓ３）と、－前記第１周辺環境表現に基づいて前記少なくとも１つの特徴の位置（Ｐ）を、世界が平面であると仮定した平面（４）のｘｙ座標において特定するステップ（Ｓ４）と、
－前記第２周辺環境表現に基づいて前記自車両の前方の領域における高さの経過（３，５）を決定するステップ（Ｓ５）と、
－前記第１周辺環境検出センサ（１）の視線と前記決定された高さの経過（３，５）との交差点を求め、前記交差点を前記の少なくとも１つの検出された特徴の位置（Ｐ）の補正された位置（Ｐ１，Ｐ２）として決定するステップ（Ｓ６）と、
－決定された前記補正された位置（Ｐ１，Ｐ２）を前記少なくとも１つの特徴の位置として使用するステップ（Ｓ７）とを備える、自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正する方法。

【請求項2】

前記高さの経過を決定するために、最小二乗法が適用されることを特徴とする、請求項１に記載の方法。

【請求項3】

少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）と計算ユニット（８）とを備える、自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正するシステム（１０）において、前記計算ユニット（８）が、請求項１又は２に記載の方法を実行するように構成されている、システム（１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステムに関する。

【背景技術】

【0002】

従来技術からは、例えば、カメラ画像において行われる、ＡＤＡＳシステムにおいて用いるための特徴抽出（例えば、他の交通参加者、車線の幾何形状、走行可能な領域等）が知られている。さらに、画像中の抽出された特徴を車両座標系に変換するために、カメラの内部および外部キャリブレーションが行われる。その際、現在では３つの主なアプローチが存在する。

【0003】

平面世界を仮定するものが存在する。つまり、カメラの視野における全ては高さの差が存在しない平面（例えば、道路）上に位置すると仮定される。また、ステレオカメラを用いるものがあり、これにより、２つのカメラ画像における連関に基づいて深度情報／高さ情報を取得し、このようにして、３Ｄ情報を取得する。３番目としては、技術、例えば、オプティカルフロー等を介して、深度および高さの推定を行うことが知られている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の課題は、特徴を位置特定する際の精確度の向上が達成される方法およびシステムを提供することである。

【課題を解決するための手段】

【0005】

本課題は独立請求項１および６により有利に解決される。さらなる有利な構成および実施形態が従属請求項の対象である。

【0006】

まず、カメラは、原理的に、車両の非常に近くに位置する特徴に関しては非常に高い解像度を有するものの、より離間している特徴に関しては非常に低い解像度を有することが考察された。従って、抽出結果は、原理的に、即座に不精確となる。横方向の解像度（つまり、自車両に対する特徴の角度）は確かに良好ではあるが、車両に対する特徴の高さまたは距離は、既に数メートル後にはより大きな誤差を有する。上述の３つのアプローチ全てにおいてこの問題は存在し、様々な形で顕著に現れている。特に、高さ記述および距離記述の誤差とリンクしている。

【0007】

従って、本発明によると、少なくとも１つの第１周辺環境検出センサおよび第２周辺環境検出センサのデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法において、
－第１周辺環境検出センサを用いて自車両の周辺環境を記録し、第１周辺環境表現を生成するステップと、
－第２周辺環境検出センサを用いて自車両の周辺環境を記録し、第２周辺環境表現を生成するステップと、
－第１周辺環境表現における少なくとも１つの特徴を検出するステップと、
－第１周辺環境表現に基づいて少なくとも１つの特徴の位置を特定するステップと、
－第２周辺環境表現に基づいて自車両の前方の領域における高さの経過を決定するステップと、
－少なくとも１つの検出された特徴の位置と決定された高さの経過とを融合し、補正された位置を決定するステップと、
－決定された補正された位置に基づいて少なくとも１つの特徴の位置を補正するステップとを備える方法である。

【0008】

好ましくは、第１周辺環境検出センサはカメラであり、第２周辺環境検出センサはレーダセンサまたはライダセンサである。従って、第１周辺環境表現はカメラ画像であり、第２周辺環境表現は物体リストまたは点群である。少なくとも１つの特徴は、例えば、物体、例えば、交通標識、道路境界線等、または他の交通参加者、例えば、さらなる車両、歩行者、自転車運転者等であってもよい。第１周辺環境表現における特徴を検出するために、例えば、セマンティックセグメンテーションが行われてよい。車両の前方の領域は、好ましくは、車両の前方に位置する車道または路面を示す。特徴の検出、位置の特定、高さの経過の決定、位置の融合および補正は、好ましくは、それに対応する計算ユニットにおいて行われる。この計算ユニットは、好ましくは、ＥＣＵまたはＡＤＣＵ（運転支援および自動運転制御ユニット）である。また、方法ステップ用にセンサ計算ユニット、例えば、カメラの計算ユニットを用いることも考えられる。この場合、生成された周辺環境表現は計算ユニットに伝送される。

【0009】

好ましい実施形態において、第１周辺環境表現における特徴の位置が、世界が平面であると仮定した平面においてｘｙ座標において出力される。この世界が平面であると仮定した平面の基準平面は路面であってよい。この仮定に基づいて、この特徴と自車両との距離も特定することができる。この場合、座標は、それに対応してキャリブレーションされた、第１周辺環境検出センサの座標系に基づく。また、第１周辺環境検出センサは既に高さモデルを有しており、世界が平面であると仮定した平面を用いないことも考えられる。この場合、第１周辺環境検出センサの高さモデルは、一般に、比較的に不精確である。その一方、第２周辺環境検出センサのデータに基づく高さモデルは、実質的に、より高精度で、より詳細である。また、そのような構成においても、本方法は上記のように実施することができる。

【0010】

さらなる好ましい構成において、少なくとも１つの特徴の位置と高さの経過とを融合するために、幾何学的ステップが適用される。これは、簡略化して説明すると、第１周辺環境検出センサ、好ましくは、カメラの視線は、決定された高さの経過と交差することを意味する。視線は、物体から第１周辺環境検出センサに到達する光線として実質的に記載することができる。高さの経過に応じて、視線を必要な場合には拡張する必要がある。このようにして、２つのデータを融合することができ、補正された位置を特定することができるのは、この時点における高さが既知であり、第１周辺環境検出センサの位置も既知であるからである。

【0011】

好ましい構成において、高さの経過を決定するために、回帰法が適用される。このために、第２周辺環境検出センサのデータに基づいて、高さ情報を有する少なくとも２つのデータ点が決定される。

【0012】

特に好ましくは、本方法の１つの構成において、回帰法として最小二乗法が適用される。特に好ましくは、線形最小二乗法である。この場合、線形モデルまたは多項式モデルが用いられてよい。最小二乗法は、一般に、調整のための数学的方法を示すものである。ここで、測定点の集合に対する関数が決定され、この関数は測定点の可能な限り近傍を通るものであるため、データを最も良くまとめている。例えば、ライダセンサの測定値を用いてよく、ライダにより供給される点群のｚ座標を高さ、ｘ座標を位置として用いてよく、これにより、車両の前方の高さを示す高さの経過モデルを推定する。この場合、ｘ軸からのｙ偏差があまり大きくない点のみが用いられる。

【0013】

本発明によると、少なくとも１つの第１周辺環境検出センサおよび第２周辺環境検出センサと計算ユニットとを備える、自車両の周辺環境における少なくとも１つの特徴の位置を補正するシステムにおいて、計算ユニットが、請求項１～５の何れか１項に記載の方法を実行するように構成されている、システムがさらに提案される。

【0014】

ここで、計算ユニットは、例えば、別体の要素として自車両に搭載されているＥＣＵまたはＡＤＣＵとして構成されていてよい。また、本方法を実行する計算ユニットは、センサのうちの１つのコンポーネントであることも考えられる。

【0015】

さらなる有利な構成が図面の対象である。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明の１つの実施形態による方法の概略フロー図である。

【図2】図２は、位置検出に関するシーンの概略図である。

【図3】図３は、本発明の１つの実施形態によるシステムの概略図である。

【発明を実施するための形態】

【0017】

図１には、少なくとも１つの第１周辺環境検出センサ１および第２周辺環境検出センサ２のデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置Ｐを補正する方法が示されており、この方法は以下のステップを備えている。ステップＳ１において、第１周辺環境検出センサ１を用いて自車両の周辺環境を記録し、第１周辺環境表現を生成する。ステップＳ１と同時またはその後に行われてよいステップＳ２において、第２周辺環境検出センサ２を用いて自車両の周辺環境を記録し、第２周辺環境表現を生成する。ステップＳ３において、第１周辺環境表現における少なくとも１つの特徴を検出する。その次のステップＳ４において、第１周辺環境表現に基づいて少なくとも１つの特徴の位置Ｐを特定する。ステップＳ５において、第２周辺環境表現に基づいて自車両の前方の領域における高さの経過３，５を決定する。高さの経過３，５とは、例えば、上昇３または下降５に関するものであってよい。また、連続的な下降５または上昇３のみが存在するのではなく、両者が一定の間隔で互いに交代し、このようにして一定の区間に渡って小さい起伏が存在することも考えられる。ステップＳ６において、少なくとも１つの検出された特徴の位置Ｐと決定された高さの経過３，５とを融合し、補正された位置を決定する。最後に、ステップＳ７において、決定された補正された位置に基づいて少なくとも１つの特徴の位置Ｐを補正する。

【0018】

図２は、位置検出に関するシーンの概略図を示す。図２に示されているように、第１周辺環境検出センサ１、この場合、カメラを用いて、自車両の周辺環境を記録する。この周辺環境において、カメラ画像には、特徴、この図においては、人の位置Ｐが決定される。この場合、カメラの基準座標系６は世界が平面であると仮定した平面４に基づいて較正される。これは、世界が平面であると仮定した平面４の基準平面は路面であることを意味する。この仮定において、カメラ１は、カメラ１の検出領域７における特徴を検出し、その位置Ｐを特定する。しかし、現実の道路の経過は、例えば、上昇３または下降５を有する場合があり、従って、決定された位置Ｐの補正が必要になるのは、世界が平面であると仮定した平面４に基づく位置が正しく特定されていないからである。この場合、参照符号Ｐ１は、潜在的上昇３の場合における補正された位置Ｐ１を示し、参照符号Ｐ２は、潜在的下降５の場合における補正された位置Ｐ２を示す。車道の経過３，５が異なっていることから、現実または補正された位置Ｐ１，Ｐ２は、世界が平面であると仮定した平面４に基づいて特定された位置Ｐとは部分的に著しく異なっている。

【0019】

図３には、本発明の１つの実施形態によるシステム１０の概略図が示されている。ここで、システム１０は第１周辺環境検出センサ１と第２周辺環境検出センサ２とを有する。さらに、計算ユニット８が設けられており、計算ユニット８を用いて本発明に係る方法を実行することができる。この構成において、計算ユニット８は、別体の要素として、例えば、ＥＣＵ／ＡＤＣＵとして、自車両に設けられている。この場合、第１周辺環境検出センサ１および第２周辺環境検出センサ２は、データコネクションＤを用いて計算ユニット８と接続されている。また、本方法を実行するための計算ユニット８をセンサ１，２のうちの１つに一体化することも考えられる。データコネクションＤは、例えば、有線または無線で構成されてよい。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）のデータの融合を用いて自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正する方法において、
－前記第１周辺環境検出センサ（１）を用いて前記自車両の前記周辺環境を記録し、第１周辺環境表現を生成するステップ（Ｓ１）と、
－前記第２周辺環境検出センサ（２）を用いて前記自車両の前記周辺環境を記録し、第２周辺環境表現を生成するステップ（Ｓ２）と、
－前記第１周辺環境表現における少なくとも１つの特徴を検出するステップ（Ｓ３）と、－前記第１周辺環境表現に基づいて前記少なくとも１つの特徴の前記位置（Ｐ）を特定するステップ（Ｓ４）と、
－前記第２周辺環境表現に基づいて前記自車両の前方の領域における高さの経過（３，５）を決定するステップ（Ｓ５）と、
－前記少なくとも１つの検出された特徴の前記位置（Ｐ）と前記決定された高さの経過（３，５）とを融合し、補正された位置を決定するステップ（Ｓ６）と、
－前記決定された補正された位置に基づいて前記少なくとも１つの特徴の前記位置（Ｐ）を補正するステップ（Ｓ７）とを備える方法。
２．
前記第１周辺環境表現における前記特徴の前記位置（Ｐ）が、世界が平面であると仮定した平面（４）においてｘｙ座標において出力されることを特徴とする、上記１に記載の方法。
３．
前記少なくとも１つの特徴の前記位置（Ｐ）と前記高さの経過（３，５）とを融合するために、幾何学的ステップが適用されることを特徴とする、上記１に記載の方法。
４．
前記高さの経過を決定するために、回帰法が適用されることを特徴とする、上記１に記載の方法。
５．
回帰法として最小二乗法が適用されることを特徴とする、上記４に記載の方法。
６．
少なくとも１つの第１周辺環境検出センサ（１）および第２周辺環境検出センサ（２）と計算ユニット（８）とを備える、自車両の周辺環境における少なくとも１つの特徴の位置（Ｐ）を補正するシステム（１０）において、前記計算ユニット（８）が、上記１～４の何れか１つに記載の方法を実行するように構成されている、システム（１０）。

【符号の説明】

【0020】

１ 第１周辺環境検出センサ
２ 第２周辺環境検出センサ
３ 上昇の車道の経過
４ 世界が平面であると仮定した平面
５ 下降の車道の経過
６ カメラ座標系
７ 検出領域
８ 計算ユニット
１０ システム
Ｄ データコネクション
Ｐ 少なくとも１つの特徴の位置
Ｐ１，Ｐ２ 補正された位置
Ｓ１－Ｓ７ 方法ステップ

【図1】

【図2】

【図3】