特表 2024-531802 道路の道路線標示に対する物体の位置を特定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】道路の道路線標示に対する物体の位置を特定する方法

(51)【国際特許分類】

   G06T 7/579 20170101AFI20240822BHJP

   G06T 7/00 20170101ALI20240822BHJP

【ＦＩ】

G06T7/579

G06T7/00 650

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024517454

(86)(22)【出願日】2022-09-21

(85)【翻訳文提出日】2024-03-19

(86)【国際出願番号】 EP2022076267

(87)【国際公開番号】W WO2023046776

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】2109899

(32)【優先日】2021-09-21

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】522400548

【氏名又は名称】コンチネンタル オートノマス モビリティー ジャーマニー ゲーエムベーハー

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｉｔｙ Ｇｅｒｍａｎｙ ＧｍｂＨ

【住所又は居所原語表記】Ｒｉｎｇｌｅｒｓｔｒａｓｓｅ １７， ８５０５７ Ｉｎｇｏｌｓｔａｄｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】リュシアン ガルシア

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA03

5L096FA66

5L096FA69

5L096HA05

(57)【要約】

本発明は、自動車両の後部に搭載されたカメラから、道路の道路線標示に対する物体の位置を特定する方法であって、車両の後部環境の一連の画像を生成するステップ（Ｅ１）と、一連のうちの少なくとも第１の画像の下部における道路線標示の少なくとも１つの点を選択し、且つ一連の画像のうちの画像における少なくとも１つの点の前進移動を追跡するステップ（Ｅ２）と、画像において選択及び追跡される少なくとも１つの点の座標を、車両と関連する３Ｄ参照フレームで表される複数の点に対応する複数の座標セットに変換して、前記３Ｄ参照フレームにおいて少なくとも１つの道路線標示を形成するステップ（Ｅ３）と、一連の画像のうちの画像から、車両の後部環境にある少なくとも１つの物体を検出及び追跡するステップ（Ｅ４）と、少なくとも１つの形成された線に対する、検出及び追跡される物体の位置を特定するステップ（Ｅ５）とを含む方法に関する。

【特許請求の範囲】

【請求項1】

自動車両（１）の後部に搭載されたカメラ（１０）を使用して、道路（１００）の道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）に対する物体（ＯＢ１、ＯＢ２）の位置を特定する方法であって、前記車両（１）は、電子制御ユニット（２０）を含み、前記方法は、
－ 前記カメラ（１０）により、前記車両（１）の後部環境の一連の画像を生成するステップ（Ｅ１）であって、前記環境は、少なくとも１つの道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を含む、ステップ（Ｅ１）、
－ 前記電子制御ユニット（２０）により、前記一連のうちの少なくとも第１の画像（Ｉ１）の下部における前記道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）上の少なくとも１つの点（Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４）であって、各画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において、前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）の参照フレームにおけるその座標によって特徴付けられる少なくとも１つの点（Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４）を選択し、且つ前記電子制御ユニット（２０）により、前記一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）における前記少なくとも１つの点（Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４）の前進を追跡するステップ（Ｅ２）、
－ 前記電子制御ユニット（２０）により、前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において追跡される前記少なくとも１つの選択された点（Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４）の前記座標を、前記車両（１）に付随する３次元参照フレームで表される複数の点に対応する複数の座標セットに変換して、前記３次元参照系において前記少なくとも１つの道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を実体化するステップ（Ｅ３）、
－ 前記電子制御ユニット（２０）により、前記一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）に基づいて、前記車両（１）の前記後部環境に位置する少なくとも１つの物体（ＯＢ１、ＯＢ２）を検出及び追跡するステップ（Ｅ４）、
－ 前記電子制御ユニット（２０）により、前記少なくとも１つの実体化された線標示に対する、前記検出及び追跡される物体（ＯＢ１、ＯＢ２）の位置を特定するステップ（Ｅ５）
を含む、方法。

【請求項2】

前記環境の前記物体（ＯＢ１、ＯＢ２）は、前記一連のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において検出及び追跡され、前記方法は、前記電子制御ユニット（２０）により、前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において追跡される前記環境の前記物体（ＯＢ１、ＯＢ２）上の少なくとも１つの点を、前記３次元参照フレームにおいて表される少なくとも１つの点に変換して、前記３次元参照フレームにおいて前記環境の前記物体（ＯＢ１、ＯＢ２）を実体化するステップを含む、請求項１に記載の方法。

【請求項3】

前記環境の前記物体（ＯＢ１、ＯＢ２）は、前記３次元参照フレームにおいて直接検出及び追跡される、請求項１に記載の方法。

【請求項4】

前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において前記少なくとも１つの線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を検出するステップと、前記少なくとも１つの実体化された線標示を前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）の前記参照フレームに投影するステップと、前記検出された線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）と、前記投影された線標示との間の誤差を特定するステップとを更に含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

コンピュータプログラム製品において、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサを、請求項１～４のいずれか一項に記載の方法を実施するように構成するプログラムコード命令のセットを含むことを特徴とするコンピュータプログラム製品。

【請求項6】

自動車両（１）のための電子制御ユニット（２０）であって、
－ 前記車両（１）の後部に搭載されたカメラ（１０）によって生成される、前記車両（１）の後部環境の一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）を受信することであって、前記環境は、少なくとも１つの道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を含む、受信すること、
－ 前記一連のうちの少なくとも１つの画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）の下部における前記道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）上の少なくとも１つの点を選択することであって、前記点は、各画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において、前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）の参照フレームにおけるその座標によって特徴付けられる、選択すること、
－ 前記一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）における前記少なくとも１つの点の進行を追跡すること、
－ 前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において追跡される前記少なくとも１つの選択された点の前記座標を、前記車両（１）に付随する３次元参照フレームで表される複数の点に対応する複数の座標セットに変換して、前記３次元参照系において前記少なくとも１つの道路線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を実体化すること、
－ 前記一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）に基づいて、前記車両（１）の前記後部環境に位置する少なくとも１つの物体（ＯＢ１、ＯＢ２）を検出及び追跡すること、
－ 前記少なくとも１つの実体化された線標示に対する、前記検出及び追跡される物体（ＯＢ１、ＯＢ２）の位置を特定すること
を行うように構成される電子制御ユニット（２０）。

【請求項7】

前記一連のうちの前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において前記環境の前記物体（ＯＢ１、ＯＢ２）を検出及び追跡し、且つ前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において追跡される前記環境の前記物体（ＯＢ１、ＯＢ２）上の少なくとも１つの点を、前記３次元参照フレームで表される少なくとも１つの点に変換して、前記３次元参照フレームにおいて前記環境の前記物体（ＯＢ１、ＯＢ２）を実体化するように構成される、請求項６に記載の電子制御ユニット（２０）。

【請求項8】

前記３次元参照フレームにおいて前記環境の前記物体（ＯＢ１、ＯＢ２）を直接検出及び追跡するように構成される、請求項６に記載の電子制御ユニット（２０）。

【請求項9】

前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）において前記少なくとも１つの線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を検出し、前記少なくとも１つの実体化された線標示を前記画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）の前記参照フレームに投影し、且つ前記検出された線標示（Ｌ１、Ｌ２、Ｌ３、Ｌ４）と、前記投影された線標示との間の誤差を特定するように構成される、請求項６～８のいずれか一項に記載の電子制御ユニット（２０）。

【請求項10】

自動車両（１）であって、前記車両（１）の後部に搭載され、且つ前記車両（１）の後部環境の一連の画像（Ｉ１、Ｉ２、Ｉ３、Ｉ４）を生成するように構成されたカメラ（１０）と、請求項６～９のいずれか一項に記載の電子制御ユニット（２０）とを含む自動車両（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車両の分野に関し、より詳細には、車線の道路線標示に対する物体の位置を特定する方法に関する。

【背景技術】

【0002】

近年、運転者支援目的で自動車両にカメラを装備することが知られている。例えば、車両の前部に配置されたカメラは、障害物又は道路線標示を検出できるようにし得る一方、車両の後部に配置されたカメラは、バック運転に伴って運転者を支援できるようにし得る。

【0003】

道路線標示は、特に、車両が運転中のレーンから逸脱しないようにするため、又は実際に運転中に運転者の注意レベルを監視するため、又はアシスト付きで若しくは自律的に車両を導くために検出され得る。後者の場合、他の車両が運転中のレーンを識別することが重要又は更に必要であり得る。特に、例えば緊急車両が後方から近づいているとき、運転者が制御を取り戻すために、前記車両の背後にある第三者の車両が運転中のレーンを識別することが有利であり得る。

【0004】

既知の１つの解決策では、線標示は、線標示の色であるピクセルを識別することによって画像において検出される。しかしながら、線標示は、約１００メートルの距離を超えると見えることが難しいため、この解決策では、この距離を超えて道路線標示を検出することができない。したがって、約２００ｍの距離では道路線標示が見えないため、この解決策を用いて、画像において遠くの接近中の車両、例えばカメラの視野において約２００ｍにある車両のレーンを識別することは、可能ではない。

【0005】

したがって、これらの欠点を少なくとも部分的に改善するための解決策が必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的の１つは、他の車両のレーンを識別する信頼性の高い方法を提供することである。本発明の別の目的は、車両の背後から来る緊急車両を検出する方法を提供することである。

【課題を解決するための手段】

【0007】

このために、本発明の１つの主題は、自動車両の後部に搭載されたカメラを使用して、道路の道路線標示に対する物体の位置を特定する方法であり、前記車両は、電子制御ユニットを含み、前記方法は、
－ カメラにより、車両の後部環境の一連の画像を生成するステップであって、前記環境は、少なくとも１つの道路線標示を含む、ステップ、
－ 電子制御ユニットにより、一連のうちの少なくとも第１の画像の下部における道路線標示上の少なくとも１つの点を選択することであって、前記点は、画像の参照フレームにおけるその座標によって特徴付けられる、ステップ、
－ 電子制御ユニットにより、一連の画像のうちの画像における少なくとも１つの選択された点の前進を追跡するステップ、
－ 電子制御ユニットにより、画像において追跡される少なくとも１つの選択された点の座標を、車両に付随する３次元参照フレームで表される複数の点に対応する複数の座標セットに変換して、３次元参照系において少なくとも１つの道路線標示を実体化するステップ、
－ 電子制御ユニットにより、一連の画像のうちの画像に基づいて、車両の後部環境に位置する少なくとも１つの物体を検出及び追跡するステップ、
－ 電子制御ユニットにより、少なくとも１つの実体化された線標示に対する、検出及び追跡される物体の位置を特定するステップ
を含む。

【0008】

後部カメラの使用を通して、本発明は、特に、点が画像を通して進むにつれて、即ち一連のうちの画像が進むにつれて画像の下部から上部に点が通過するにつれて点を追跡できるようにする。道路線標示を実体化するために、遠く離れた点（後部カメラの画像の上部）での誤差リスクが必然的に伴う、各画像における道路線標示上の点を検出する従来技術による解決策とは対照的に、車両に近い選択された点、即ち一連のうちの第１の画像の下部における選択された点を追跡することにより、最初から画像の参照フレームと３次元フレームとの間の変換が正確であることを保証することが可能になる。特に、車両に近い点を選択し、次いでそれらの点を画像において追跡することにより、画像の参照フレーム及び車両に付随する３次元参照フレームが道路の同じ平面にあることを保証することが可能になり、これは、撮像された点が車両から遠い場合には必ずしも当てはまるわけではない。近傍点を追跡に選択することにより、線標示を正確に、正しく、確実に且つリアルタイムで実体化することが可能になる。したがって、これにより、車両の後部にある物体が道路線標示に対して高確率の確実性で位置することを保証することが可能になる。検出された物体は、特に、背後から車両に接近中の緊急車両であり得る。この場合、本発明は、緊急車両が運転中のレーンを特定することを可能にし、したがってそれに従って動作し得る。したがって、本発明を実施する車両が自律運転モードである場合、車載コンピュータは、緊急車両を通すために必要な場合にレーンを変更し得る。

【0009】

一実施形態では、環境の物体は、一連のうちの画像において検出及び追跡され、方法は、電子制御ユニットにより、画像において追跡される環境の物体上の少なくとも１つの点を、３次元参照フレームにおいて表される少なくとも１つの点に変換して、３次元参照フレームにおいて環境の物体を実体化するステップを含む。

【0010】

別の実施形態において、環境の物体は、３次元参照フレームにおいて直接検出及び追跡される。

【0011】

本発明の一態様によれば、本方法は、画像において少なくとも１つの線標示を検出するステップと、少なくとも１つの実体化された線標示を画像の参照フレームに投影するステップと、検出された線標示と、投影された線標示との間の誤差を特定するステップとを更に含む。

【0012】

本発明は、コンピュータプログラム製品において、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサを、上述の方法を実施するように構成するプログラムコード命令のセットを含むことを特徴とするコンピュータプログラム製品にも関する。

【0013】

本発明は、自動車両のための電子制御ユニットにも関し、前記電子制御ユニットは、
－ 前記車両の後部に搭載されたカメラによって生成される、車両の後部環境の一連の画像を受信することであって、前記環境は、少なくとも１つの道路線標示を含む、受信すること、
－ 一連のうちの少なくとも１つの画像の下部における道路線標示上の少なくとも１つの点を選択することであって、前記点は、各画像において、画像の参照フレームにおけるその座標によって特徴付けられる、選択すること、
－ 一連の画像のうちの画像における少なくとも１つの点の前進を追跡すること、
－ 画像において追跡される少なくとも１つの選択された点の座標を、車両に付随する３次元参照フレームで表される複数の点に対応する複数の座標セットに変換して、３次元参照系において少なくとも１つの道路線標示を実体化すること、
－ 一連の画像のうちの画像に基づいて、車両の後部環境に位置する少なくとも１つの物体を検出及び追跡すること、
－ 少なくとも１つの実体化された線標示に対する、検出及び追跡される物体の位置を特定すること
を行うように構成される。

【0014】

一実施形態において、本電子制御ユニットは、一連のうちの画像において環境の物体を検出及び追跡し、且つ画像において追跡される環境の物体上の少なくとも１つの点を、３次元参照フレームで表される少なくとも１つの点に変換して、３次元参照フレームにおいて環境の物体を実体化するように構成される。

【0015】

変形形態として又は加えて、本電子制御ユニットは、３次元参照フレームにおいて環境の物体を直接検出及び追跡するように構成される。

【0016】

有利には、本電子制御ユニットは、画像において少なくとも１つの線標示を検出し、少なくとも１つの実体化された線標示を画像の参照フレームに投影し、且つ検出された線標示と、投影された線標示との間の誤差を特定するように構成される。

【0017】

本発明は、自動車両であって、車両の後部に搭載され、且つ車両の後部環境の一連の画像を生成するように構成されたカメラと、先に提示されたような電子制御ユニットとを含む自動車両にも関する。

【0018】

本発明の更なる特徴及び利点は、以下の説明を読むことでより明らかになるであろう。この説明は、純粋に例示であり、添付図面と併せて読まれるべきである。

【図面の簡単な説明】

【0019】

【図1】本発明による車両の一実施形態を概略的に示す。

【図2】一連の画像のうちの第１の画像の一例を概略的に示す。

【図3】一連の画像のうちの第２の画像の一例を概略的に示す。

【図4】一連の画像のうちの第３の画像の一例を概略的に示す。

【図5】一連の画像のうちの第４の画像の一例を概略的に示す。

【図6】道路の３Ｄマップの一例を概略的に示す。

【図7】本発明による方法の一実施形態を概略的に示す。

【発明を実施するための形態】

【0020】

図１は、本発明による自動車両１の一例を概略的に示す。車両１は、カメラ１０及び電子制御ユニット２０を含む。

【0021】

カメラ１０は、例えば、リアバンパー１Ｂとリアトランク１Ｃとの間で車両１の後部１Ａに搭載され、車両１の後部環境、特に道路１００の一連の画像を生成するように構成される。変形形態として、カメラ１０は、車両１の任意の他の適した場所、例えばリアガラスの背後に搭載することができる。

【0022】

電子制御ユニット２０は、車両１に搭載され、それ自体既知の様式でバス又はデータ通信ネットワーク（図示せず）を介してカメラ１０に接続される。変形形態として、電子制御ユニット２０は、カメラ１０と同じ筐体に搭載することができる。

【0023】

電子制御ユニット２０は、バス又はデータ通信ネットワークを介して、カメラ１０によって生成された車両１の後部環境の一連の画像を受信するように構成される。

【0024】

電子制御ユニット２０は、受信した一連のうちの画像における１つ又は複数の道路線標示上の１つ又は好ましくは２つ以上の点を選択し、その前進を追跡するように構成され、各点は、一連のうちの各画像において、画像に付随する参照フレームにおけるその座標によって特徴付けられ、参照平面は、２次元であり、画像の参照フレームと呼ばれる。特に、電子制御ユニット２０は、メモリエリアに記憶された検出アルゴリズムを実施し、画像間で選択された点を追跡するように構成される。２つの画像のいける線表示標示上で検出された点間に直接の対応はない。対照的に、後続画像におけるその位置は、それ自体既知の様式において、例えば動きベクトルにより特定され得、これも、それ自体既知の様式において、検出された線標示からのずれを推定し得る。

【0025】

検出アルゴリズムは、道路線標示として第１の画像Ｉ１の領域を識別するように構成され、舗装道路が道路線標示Ｌ１、Ｌ２、Ｌ３、Ｌ４間でよりグレーである場合、例えば、白色ピクセル群が道路線標示として識別される。

【0026】

電子制御ユニット２０は、画像で追跡される各点の座標を、車両に付随する３次元参照フレームで表される複数の点に対応する複数の座標セットに変換するように構成される。したがって、道路線標示上の所与の点は、一連のうちのある画像から次の画像に移るにつれて、時間の経過に伴い、即ち一連の画像の持続時間にわたり、前記３次元参照フレーム（「３Ｄ参照フレーム」とも呼ばれる）において道路線標示を実体化できるようにする。車両１の３Ｄ参照フレームは、好ましくは、車両１の後部に付随する。例えば、車両１の３Ｄ参照フレームは、原点として車両１の後車軸又は車両１の後輪の一方を有し得る。

【0027】

電子制御ユニット２０は、車両１の後部環境の少なくとも１つの物体を検出及び追跡するように構成される。この物体は、特に、別の車両、例えば緊急車両（救急車、消防車、警察車両など）等又は固定要素、例えば橋、塔、看板又は１つ若しくは複数の道路線標示に対する位置が車両１の運転と関係がある任意の構造等であり得る。

【0028】

電子制御ユニット２０は、１つ又は複数の実体化された線標示に対する環境の物体の位置を特定するように構成される。

【0029】

一実施形態において、電子制御ユニット２０は、一連のうちの画像において物体を検出及び追跡し、且つ画像において追跡される物体上の少なくとも１つの点を、３次元参照フレームで表される少なくとも１つの点に変換して、前記３次元参照フレームにおいて環境の物体を実体化するように構成される。

【0030】

別の実施形態において、電子制御ユニット２０は、３次元参照フレームにおいて環境の物体を直接検出及び追跡するように構成される。例えば、検出された物体が地面上にあるという情報を使用し得る。より正確には、地面が平らであると考えると、地面上にある２Ｄ点を、縦距離、横距離及びゼロ高度を有する３Ｄ点に変換することが可能である。物体の寸法を推定して、画像におけるサイズを所与として距離を推測することも可能である。

【0031】

電子制御ユニット２０は、画像における１つ又は複数の線標示を検出し、１つ又は複数の実体化された線標示を３次元参照フレームから画像の参照フレームに投影し、検出された線標示と、投影された線標示との間の誤差を特定するように構成される。

【0032】

電子制御ユニット２０は、これらの機能を実行できるようにする命令セットを実施可能なプロセッサと、前記命令セットを記憶できるようにするメモリエリアとを含む。

【0033】

実装形態
ここで、実装形態の一例について、図２～図７を参照して説明する。

【0034】

図２～図５は、一連の画像Ｉ１、Ｉ２、Ｉ３、Ｉ４のうちの１つの画像Ｉ１、Ｉ２、Ｉ３、Ｉ４をそれぞれ時系列順に示す。図２～図５を参照して以下で説明する例において、車両１は、車両走行方向において３つの車線を画定する４つの道路線標示Ｌ１、Ｌ２、Ｌ３、Ｌ４を含む道路１００上を運転中である：「右」レーンＣ１と呼ばれるレーン、「中央」レーンＣ２と呼ばれるレーン及び「左」レーンＣ３と呼ばれるレーン。走行方向及び追い越しは、いわゆる右側交通のものであり、即ち大半の国々（フランス、ドイツ、アメリカ等）のものである。したがって、場合により、車両は、通常、右側レーンＣ１又は中央レーンＣ２を運転し、通常、中央レーンＣ２又は左側レーンＣ３を使用して追い越す。

【0035】

図２～図５の例において、車両１は、左側レーンＣ３を運転中の自律車両である。第１の物体ＯＢ１は、中央レーンＣ２を運転中の第三者の車両である。第２の物体ＯＢ２は、左側レーンＣ３において車両１の後方から接近中の救急車である。

【0036】

ステップＥ１では、カメラ１０は、車両１の後部環境、特に画像Ｉ１、Ｉ２、Ｉ３、Ｉ４に存在する道路線標示Ｌ１、Ｌ２、Ｌ３、Ｌ４の一連の画像Ｉ１、Ｉ２、Ｉ３、Ｉ４を生成する。これらの画像は、車両１のデータ通信ネットワークを介して電子制御ユニット２０に１つずつ定期的且つリアルタイムで送信される。

【0037】

次に、ステップＥ２では、電子制御ユニット２０は、最初に、第１の画像Ｉ１において、所望の正確性及び完全性に応じて道路線標示の幾つか又は全てにおける第１の点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４を選択する。この例では、第１の点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４は、画像Ｉ１において右側に向かって最も遠くにある３つの道路線標示Ｌ２、Ｌ３、Ｌ４の各々で選択及び決定され、線標示Ｌ１は、斜線を特定することが望ましい物体ＯＢ１、ＯＢ２との関連性が低い。「３つの道路線標示Ｌ２、Ｌ３、Ｌ４の各々における点の選択」とは、道路線標示Ｌ２、Ｌ３、Ｌ４を表す画像Ｉ１のピクセル群の選択を意味する。

【0038】

道路線標示Ｌ２、Ｌ３、Ｌ４の第１の点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４は、第１の画像Ｉｌの下部において選択され、第１の画像Ｉｌの下部は、車両１に最も近く、したがって車両１と同じ平面（平坦エリア）にあると見なすことが可能な道路１００のエリアを表す。

【0039】

道路線標示Ｌ１、Ｌ２、Ｌ３、Ｌ４における点を選択するために、電子制御ユニット２０は、メモリエリアに記憶され、道路線標示として画像Ｉｌのエリアを識別するように構成された検出アルゴリズムを実施するように構成され、例えば舗装道路が道路線標示Ｌ１、Ｌ２、Ｌ３、Ｌ４間でよりグレーである場合、白色ピクセル群が道路線標示として識別される。

【0040】

次に、ステップＥ２に関しても再び、電子制御ユニット２０は、一連のうちの後続画像Ｉ２、Ｉ３、Ｉ４、好ましくは各画像Ｉ２、Ｉ３、Ｉ４において、第１の画像Ｉ１で検出されて点を追跡する。したがって、電子制御ユニット２０は、第２の画像Ｉ２において、最初に第１の画像Ｉｌで検出された３つの点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４に対応するとともに、道路１００上の同じ物理的点に対応する３つの点Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４を特定する。電子制御ユニット２０は、次いで、第３の画像Ｉ３において、第２の画像Ｉ２で特定された３つの点Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４に対応するとともに、道路１００上の同じ物理的点に対応する３つの点Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４を特定する。電子制御ユニット２０は、第４の画像Ｉ４において、第３の画像Ｉ３で特定された３つの点Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４に対応するとともに、道路１００上の同じ物理的点に対応する３つの点Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４を特定する。

【0041】

一連のうちの２つの連続間Ｉ１、Ｉ２、Ｉ３、Ｉ４間で追跡され、道路１００上の同じ物理的点を表す点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４は、既知の様式において、例えば動きベクトルを使用して画像において特定される。この方法は、既知であるため、ここではこれ以上詳述しない。

【0042】

各点Ｐ１－Ｌ２、Ｐ１－Ｌ３、Ｐ１－Ｌ４、Ｐ２－Ｌ２、Ｐ２－Ｌ３、Ｐ２－Ｌ４、Ｐ３－Ｌ２、Ｐ３－Ｌ３、Ｐ３－Ｌ４、Ｐ４－Ｌ２、Ｐ４－Ｌ３、Ｐ４－Ｌ４は、画像Ｉ１、Ｉ２、Ｉ３、Ｉ４の参照フレームにおけるその座標により、出現する前記画像Ｉ１、Ｉ２、Ｉ３、Ｉ４において特徴付けられる。

【0043】

ステップＥ３では、電子制御ユニット２０は、画像において検出及び追跡される点の座標を、車両１に付随する３Ｄ参照フレームで表される複数の点Ｐ１－Ｌ２－３Ｄ、Ｐ１－Ｌ３－３Ｄ、Ｐ１－Ｌ４－３Ｄ、Ｐ２－Ｌ２－３Ｄ、Ｐ２－Ｌ３－３Ｄ、Ｐ２－Ｌ４－３Ｄ、Ｐ３－Ｌ２－３Ｄ、Ｐ３－Ｌ３－３Ｄ、Ｐ３－Ｌ４－３Ｄ、Ｐ４－Ｌ２－３Ｄ、Ｐ４－Ｌ３－３Ｄ、Ｐ４－Ｌ４－３Ｄに対応する複数の座標セットに変換して、前記３Ｄ参照フレームにおいて道路線標示Ｌ２、Ｌ３、Ｌ４を実体化し、次いで図６に示されるようにＬ２－３Ｄ、Ｌ３－３Ｄ、Ｌ４－３Ｄとして示される。

【0044】

この２Ｄ－３Ｄ変換は、以下で説明するように行列ベースの並進及び回転変換を使用し、車両１に近い道路１００上の点に対して平面仮定がなされることにより可能になる。換言すれば、点は、道路１００の同じ平面に対して定義され、平面は、少なくとも第１の画像Ｉ１において車両１の後部と同じ平面にあるため、２点が車両１と同じ平面にあるという仮定は、ステップＥ３で詳述したように、画像の（２Ｄ）参照フレームと、車両１に付随する（３Ｄ）参照フレームとの間の検出点の座標変換が誤差を低減することにより、数学的に正確であることを保証するために行われ得る。

【0045】

３Ｄ点への２Ｄ点の変換は、車両１と関連する参照点（例えば、後車軸の中央下の地面）に対する車両１のカメラ１０の位置を使用して既知の様式で実行され、この位置は、第１の回転行列及び第２の並進行列によって特徴付けられる。次いで、３Ｄ点を２つの所与の時点（２つの画像）間で変換するために、車両１に付随する参照フレームの動きを知る必要があり、この動きは、第２の回転行列及び第２の並進行列により、これらの２つの時点間で特徴付けられる。

【0046】

ステップＥ３の変換は、追跡中に点が選択又は特定されるたびに、即ち電子制御ユニット２０が各画像を受信するごとに実行され得る。

【0047】

ステップＥ４では、電子制御ユニット２０は、ステップＥ１Ｅ２及びＥ３と並行して、各画像Ｉ１、Ｉ２、Ｉ３、Ｉ４において第１の物体ＯＢ１及び第２の物体ＯＢ２を検出及び追跡する。

【0048】

例えば、電子制御ユニット２０は、画像Ｉ１、Ｉ２、Ｉ３、Ｉ４における物体ＯＢ１及びＯＢ２に対応するピクセルの全て又は幾つかを、３Ｄ参照フレームで表される点に変換して、道路線標示Ｌ２、Ｌ３、Ｌ４に対してそれらを位置決めする。変形形態として、物体ＯＢ１、ＯＢ２は、例えば、上述したように３Ｄ参照フレームにおいて直接検出及び追跡することができる。

【0049】

電子制御ユニット２０は、ステップＥ５において、ステップＥ４から連続し、ステップＥ１、Ｅ２及びＥ３と並行して、例えば画像Ｉ１、Ｉ２、Ｉ３、Ｉ４が受信されるたびに、ステップＥ１、Ｅ２及びＥ３中に実体化された３つの線表示Ｌ２、Ｌ３、Ｌ４に対する物体ＯＢ１及びＯＢ２の位置を特定して、第１の物体ＯＢ１が移動中のレーン及び第２の物体ＯＢ２が移動しているレーンを特定する。

【0050】

有利には、任意選択的なステップＥ６において、道路線標示Ｌ２、Ｌ３、Ｌ４は、例えば、上述した検出アルゴリズムを使用して、電子制御ユニット２０により画像Ｉ１、Ｉ２、Ｉ３、Ｉ４において検出され得、次いで、電子制御ユニット２０は、３Ｄ参照フレームにおいて実体化された道路線標示Ｌ２、Ｌ３、Ｌ４を画像の２Ｄ参照フレームに投影し、次いで、検出された各線標示と、対応する投影された各線標示との間の誤差を特定し、道路線標示Ｌ２、Ｌ３、Ｌ４に対する物体の位置の信頼指数を特定する。

【0051】

上述した例では、第１の画像Ｉ１において検出された点のみが後続画像Ｉ２、Ｉ３、Ｉ４において追跡される。しかしながら、他の最初の点が、第１の画像Ｉ１に続く画像Ｉ２、Ｉ３、Ｉ４において選択されて、第１の画像Ｉ１において選択された点に対する方法と並行して方法をこれらの点に対して繰り返すこともでき、それにより道路線標示Ｌ２、Ｌ３、Ｌ４に対する物体の位置をよりよく特定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】