特表 2022-513830 道路の表面上の対象体を検出してモデル化する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-09

(54)【発明の名称】道路の表面上の対象体を検出してモデル化する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220202BHJP

   G06T 1/00 20060101ALI20220202BHJP

   G08G 1/09 20060101ALI20220202BHJP

   G08G 1/04 20060101ALI20220202BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 650A

G06T1/00 330A

G08G1/09 F

G08G1/04 D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021533712

(86)(22)【出願日】2018-12-13

(85)【翻訳文提出日】2021-08-06

(86)【国際出願番号】 CN2018120886

(87)【国際公開番号】W WO2020118619

(87)【国際公開日】2020-06-18

(81)【指定国・地域】

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(71)【出願人】

【識別番号】519154405

【氏名又は名称】コンチネンタル ホールディング チャイナ カンパニー リミテッド

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ｈｏｌｄｉｎｇ Ｃｈｉｎａ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】＃５３８， Ｄａｌｉａｎ Ｒｏａｄ， Ｙａｎｇｐｕ， Ｓｈａｎｇｈａｉ ２０００８２， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ハイタオ シュエ

(72)【発明者】

【氏名】ドンビン チュアン

(72)【発明者】

【氏名】チャンホン ヤン

(72)【発明者】

【氏名】ジェイムズ ハーブスト

【テーマコード（参考）】

5B057

5H181

5L096

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA13

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD14

5B057CF05

5B057CH16

5B057CH20

5B057DA16

5B057DB03

5B057DB09

5H181AA01

5H181BB04

5H181CC04

5H181MC16

5H181MC19

5H181MC22

5L096AA09

5L096BA04

5L096CA05

5L096EA31

5L096FA26

(57)【要約】

道路（４０）の表面上の対象体（６０）を検出してモデル化する方法は、道路（４０）をスキャンするステップと、スキャンされた道路（４０）の３次元モデルを生成するステップとを有する。スキャンされた道路の３次元モデルには、道路（４０）の３次元表面の記述が含まれている。次のステップでは、道路（４０）の上面視画像を作成する。道路（４０）の上面視画像を評価することによって道路（４０）の表面上の対象体（６０）を検出する。スキャンされた道路（４０）の３次元モデルにおいて、道路（４０）の表面上に検出された対象体（６０）を投影する。スキャンされた道路（４０）の３次元モデルにおいて、道路（４０）の表面上に投影された対象体（６０）をモデル化する。

【特許請求の範囲】

【請求項1】

道路の表面上の対象体を検出してモデル化する方法であって、
前記道路（４０）をスキャンし、
スキャンされた前記道路（４０）の３次元モデルであって、前記道路（４０）の３次元表面の記述を含む３次元モデルを生成し、
前記道路（４０）の上面視画像を作成し、
前記道路（４０）の前記上面視画像を評価することによって前記道路（４０）の表面上の前記対象体（６０）を検出し、
スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の前記表面上に、検出された前記対象体（６０）を投影し、
スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の前記表面上に投影された前記対象体（６０）をモデル化する、
ことを含む、方法。

【請求項2】

前記道路（４０）に沿って走行する複数の車両（１０ａ、１０ｂ、１０ｃ）によって前記道路（４０）をスキャンし、それぞれの車両（１０ａ、１０ｂ、１０ｃ）は、それぞれのカメラユニット（１１）を有する、請求項１記載の方法。

【請求項3】

スキャンされた前記道路（４０）のそれぞれ個別の３次元モデルを、それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）によって生成してリモートサーバ（２０）に転送する、請求項２記載の方法。

【請求項4】

それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）から受信された、スキャンされた前記道路（４０）のそれぞれ個別の前記３次元モデルを評価して融合することにより、スキャンされた前記道路（４０）の前記３次元モデルを前記リモートサーバ（２０）によって生成する、請求項３記載の方法。

【請求項5】

スキャンされる前記道路（４０）の生成される前記３次元モデルは、点群と解される、請求項１から４までのいずれか１項記載の方法。

【請求項6】

スキャンされる前記道路（４０）のそれぞれ個別の上面視画像を、それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）によって作成して前記リモートサーバ（２０）に転送し、
スキャンされた前記道路（４０）のそれぞれ個別の前記上面視画像を評価および融合することにより、スキャンされた前記道路（４０）の前記上面視画像を前記リモートサーバ（２０）によって作成する、
請求項２から５までのいずれか１項記載の方法。

【請求項7】

それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）のそれぞれの前記カメラユニット（１１）により、少なくともそれぞれ個別の第１画像（５０ａ）とそれぞれ個別の第２画像（５０ｂ）とから成るシーケンスを取り込み、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）により、前記第１画像（５０ａ）から、前記カメラユニット（１１）の光学系によって最小の歪みが引き起こされる、前記第１画像（５０ａ）のゾーンに配置されているそれぞれの第１領域（５１）を選択し、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）により、前記第２画像（５０ｂ）から、前記カメラユニット（１１）の光学系によって最小の歪みが引き起こされる、前記第２画像（５０ｂ）のゾーンに配置されているそれぞれの第２領域（５２）を選択し、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）により、それぞれ選択された前記第１領域（５１）をそれぞれの第１上面視図に変換し、それぞれの車両（１０ａ、１０ｂ、１０ｃ）により、それぞれ選択された前記第２領域（５２）をそれぞれの第２上面視図に変換し、
それぞれ個別の前記上面視画像を作成するために、それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）により、それぞれの前記第１上面視図と前記第２上面視図とを縫い合わせる、
請求項６記載の方法。

【請求項8】

スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の表面上に、前記道路（４０）の前記上面視画像において検出された前記対象体（６０）を投影した後、前記対象体（６０）についての３次元位置および論理情報を特定する、請求項１から７までのいずれか１項記載の方法。

【請求項9】

スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の前記表面上に投影される前記対象体（６０）を非一様有理Ｂスプライン曲線当てはめ技術によってモデル化する、請求項１から８までのいずれか１項記載の方法。

【請求項10】

スキャンされた前記道路の前記３次元モデルにおいて、前記道路（４０）の前記表面上に投影される前記対象体（６０）は、道路ペイントである、請求項１から９までのいずれか１項記載の方法。

【請求項11】

道路の表面上の対象体を検出してモデル化するシステムであって、
前記道路（４０）に沿って走行する複数の車両（１０ａ、１０ｂ、１０ｃ）と、
複数の前記車両（１０ａ、１０ｂ、１０ｃ）から空間的に遠方に離れて配置されたリモートサーバ（２０）と、
を有し、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）は、前記道路（４０）をスキャンするそれぞれのカメラユニット（１１）を有し、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）は、スキャンされた前記道路（４０）の３次元モデルであって、前記道路（４０）の表面の記述を含む３次元モデルを生成するように実施されており、
それぞれの前記車両（１０ａ、１０ｂ、１０ｃ）は、前記道路（４０）のそれぞれ個別の上面視画像を作成し、前記リモートサーバ（２０）にそれぞれ個別の前記上面視画像を転送するように実施されており、
前記リモートサーバ（２０）は、スキャンされた前記道路（４０）のそれぞれ個別の前記上面視画像を評価して融合することにより、スキャンされた前記道路（４０）の上面視画像を作成するように実施されており、
前記リモートサーバ（２０）は、前記道路（４０）の前記上面視画像を評価することにより、前記道路（４０）の前記表面上の前記対象体（６０）を検出するように実施されており、
前記リモートサーバ（２０）は、スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の前記表面上に、検出された前記対象体（６０）を投影するように実施されており、
前記リモートサーバ（２０）は、スキャンされた前記道路（４０）の前記３次元モデルにおいて、前記道路（４０）の前記表面上に投影された前記対象体（６０）をモデル化するように実施されている、
システム。

【請求項12】

前記リモートサーバ（２０）は、非一様有理Ｂスプライン曲線当てはめ技術によって前記対象体（６０）をモデル化するように実施されている、請求項１１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、道路の表面上の対象体を検出してモデル化する方法に関する。さらに、本開示は、道路の表面上の対象体を検出してモデル化するシステムに関する。

【0002】

背景技術
先進運転車支援者システムおよび自動運転車には、道路および車両が走行可能な他の領域の高精細地図が必要である。数センチメートルの精度で道路における車両位置の特定、またはさらに道路の車線内での車両位置の特定は、例えばＧＰＳ、Ｇａｌｉｌｅｏ、ＧＬＯＮＡＳＳのような従来の衛星ナビゲーションシステム、または三角測量などの別の公知の位置決め技術を使用して達成することはできない。しかしながら、特にセルフドライビング車両が複数の車線を有する道路上を移動する場合、車線内でのその横方向および長手方向位置を正確に特定する必要がある。

【0003】

車両の位置を高精度で特定する公知の１つの手法には、１つ以上のカメラによって路面標示／道路ペイントの画像を取り込むことと、取り込まれた画像において道路に沿う路面標示／道路ペイントまたは対象体の一意の特徴と、データベースから取得される、対応する参照画像とを比較することとが含まれ、これらの参照画像では、路面標示／ペイントまたは対象体のそれぞれの位置が設定されている。このような手法での位置の特定によって十分な精度の結果が得られるのは、データベースにより、画像と共に高精度位置データが提供される場合であり、かつこの高精度位置データが定期的または適切な間隔で更新される場合だけである。

【0004】

路面標示は、走行中に道路の画像を取り込む専用車両によって取り込んで記録可能であるか、または空中写真または衛星画像からは抽出可能である。垂直方向視または上面視画像には、路面標示／ペイントおよび実質的に平坦な表面上の他の特徴が少ない歪みで現れるため、後者の変形形態が、有利であると考えられる。

【0005】

しかしながら空中写真および衛星画像は、路面標示／ペイントまたは他の道路特徴の高精度マップを生成するための十分な詳細を提供することができない。また、空中写真および衛星画像は、地表から見た場合に最もよく見える対象体および道路特徴についての詳細を提供するのにあまり適していない。

【0006】

道路の表面上の対象体の正確な３次元位置を特定できるようにする、道路の表面上の対象体を検出してモデル化する方法を提供することが望まれている。また、道路の表面上の対象体の正確な３次元位置を提供できるようにする、道路の表面上の対象体を検出してモデル化するシステムを提供することも望まれている。

【0007】

発明の概要
道路の表面上の対象体を検出してモデル化する方法の一実施形態は、請求項１に記載されている。

【0008】

道路の表面上の対象体を検出してモデル化する方法によれば、第１ステップにおいて道路をスキャンする。次の第２ステップでは、スキャンされた道路の３次元モデルを生成する。この３次元モデルには、道路の３次元表面の記述が含まれている。次の第３ステップでは、道路の上面視画像を作成する。

【0009】

この方法の第４ステップでは、道路の上面視画像を評価することによって道路の表面上の対象体を検出する。この方法の第５ステップでは、スキャンされた道路の３次元モデルにおいて道路の表面上に、検出された対象体を投影する。この方法の最後の第６ステップでは、スキャンされた道路の３次元モデルにおいて道路の表面に投影された対象体をモデル化する。

【0010】

道路の表面上に配置されている対象体／道路ペイントを検出して、検出された対象体／道路ペイントをモデル化する従来の方法では、道路ペイントまたは対象体の不正確な３次元位置が形成されてしてしまうことも、また道路ペイントまたは道路の表面上の対象体の誤った論理情報が形成されてしまうことも多い。特に、塗装の斑点は、カメラシステムによって取り込まれるそれぞれのフレームから１回検出されるため、異なるフレームから検出される結果の間の連結性を得ることは極めて困難である。さらに、道路の表面上に検出される対象体または検出される塗装は、実世界において任意の形状していることがあり、これにより、ペイント検出およびモデル化のための従来の方法では、これが大きな誤りで表されてしまう。

【0011】

道路の表面上の対象体を検出してモデル化するここで提示される方法により、道路表面推定および道路ペイント／対象体検出を調整して詳細化するために、異なる時点に道路に沿って走行する分散された車両から、３次元道路表面および道路の表面上に検出される対象体または道路ペイントについての情報がマージされる。道路の表面上の対象体を検出してモデル化するこの方法のフレームワークは、基本的な４つの部分に分割可能である。

【0012】

この方法の第１部分では、道路に沿って走行するそれぞれの車両によって道路表面を推定する。それぞれの車両は、それぞれ検出された道路表面をリモートサーバに報告する。リモートサーバでは、道路に沿って走行する複数の車両から取得される異なる情報を融合する。結果的に、より正確な道路表面モデルが、リモートサーバにおいて計算される。

【0013】

この方法の第２部分では、車両の前方を向いているカメラユニットによって取り込まれた道路のコースをフロントカメラ視図から鳥瞰視図に変換する。特に、カメラユニットに取り込まれるフレーム毎に、画像の部分を抽出して道路の全体的なコースの大きな画像に合成する前に、まず逆透視変換を行う。道路の表面上の対象体または道路塗装は、スキャンされた道路の上面視／鳥瞰視画像において検出される。

【0014】

この方法の第３部分では、２次元上面視／鳥瞰視画像から道路表面の３次元モデルへの３次元対象体／ペイント投影を行う。２次元上面視／鳥瞰視画像から道路表面の３次モデルに、検出された対象体／道路ペイントを投影した後、対象体／道路ペイントの３次元位置と、対象体／道路ペイントの論理情報とを取得するために道路の３次元モデルを評価する。

【0015】

この方法の最後の第４部分では、道路の表面上に検出された対象体／道路ペイントを３次元的にモデル化する。道路の表面上の対象体／道路ペイントは任意の形状を有し得るため、検出された対象体／道路ペイントの３次元モデル化には、非一様有理Ｂスプライン（ＮＵＲＢＳ：Non-Uniform Rational B-Spline）技術を使用可能である。ＮＵＲＢＳ曲線当てはめアルゴリズムは、有利には曲線の任意の形状を表すことができ、これにより、ＮＵＲＢＳアルゴリズムにより、道路の表面上の任意の対象体／道路ペイントを正確に表すことが可能になる。ここで提案されるＮＵＲＢＳ曲線当てはめアルゴリズム(NURBS curve-fitting algorithm)による対象体／道路ペイントの３次元モデル化と比較して、道路の表面上の対象体／道路ペイントをモデル化する従来の方法では、一般に、大量のメモリ容量を消費するポリラインによって、検出された対象体／道路ペイントが表される。しかしながらＮＵＲＢＳアルゴリズムにより、データが極端に圧縮される。

【0016】

請求項１１には道路の表面上の対象体を検出してモデル化するシステムが記載されている。

【0017】

考えられる一実施形態によれば、システムは、道路に沿って走行する複数の車両と、これらの複数の車両から空間的に遠方に離れて配置されたリモートサーバとを有する。それぞれの車両は、道路をスキャンするそれぞれのカメラユニットを有する。さらに、それぞれの車両は、スキャンされた道路の３次元モデルを生成するように実施されている。３次元モデルには、道路の表面の記述が含まれている。それぞれの車両は、道路のそれぞれ個別の上面視図を作成し、リモートサーバに道路のそれぞれ個別の上面視図を転送するように実施されている。

【0018】

リモートサーバは、スキャンされた道路のそれぞれ個別の上面視画像を評価して融合する(conflat)ことにより、スキャンされた道路の上面視画像を作成するように実施されている。リモートサーバはさらに、道路の上面視画像を評価することにより、道路の表面上の対象体を検出するように実施されている。さらにリモートサーバは、スキャンされた道路の３次元モデルにおいて、道路の表面上に、検出された対象体を投影するように実施されている。リモートサーバはさらに、スキャンされた道路の３次元モデルにおいて、道路の表面上に投影された対象体をモデル化するように実施されている。

【0019】

付加的な特徴および利点は、以下の詳細な説明に記載されている。上述の一般的な説明および以下の詳細な説明は共に単に例示的なものであり、特許請求の範囲の本質および特徴を理解するための概観またはフレームワークを提供することを意図していることを理解されたい。

【図面の簡単な説明】

【0020】

添付の図面は、さらなる理解を提供するために含まれており、またこの明細書に組み込まれており、その一部を構成している。したがって、添付の図面と合わせて取り上げられれば、本開示は、以下の詳細な説明からより完全に理解されよう。

【図1】道路の表面上の対象体を検出してモデル化する方法のフローチャートである。

【図2】道路の表面上の対象体を検出してモデル化するシステムの例示的な簡略化されたブロック図である。

【図3A】カメラユニットによって取り込まれた簡略化された第１シーンと、後続の処理のための、道路の取り込まれた画像の領域の選択とを示す図である。

【図3B】カメラユニットによって取り込まれた簡略化された第２シーンと、後続の処理のための、道路の取り込まれた画像の領域の選択とを示す図である。

【0021】

詳細な説明
以下では、道路の表面上の対象体を検出してモデル化する方法の異なるステップのシーケンスを示す図１を参照し、また道路の表面上の対象体を検出してモデル化するシステムのコンポーネントを示す図２を参照して、道路の表面上の対象体を検出してモデル化する方法を説明する。

【0022】

この方法のステップＳ１では、車両が走行する道路４０を車両によってスキャンする。図２に示されたシステムの考えられる一実施形態によれば、複数の車両１０ａ、１０ｂおよび１０ｃは、道路４０に沿って走行し、走行プロセス中に道路のコースをスキャンする。このためにそれぞれの車両には、それぞれのカメラユニット１１が含まれている。カメラユニット１１は、車両取り付け型の、前方を向いているカメラとして実施されていてよい。それぞれのカメラユニット１１は、ＣＣＤセンサアレイを有していてよい。好ましくは、簡単なモノカメラを設けることができる。択一的には、互いに離れて取り付けられている２つのイメージングセンサを有し得るステレオカメラが使用可能である。図３Ａおよび図３Ｂには、カメラユニット１１によって取り込まれた連続する２つの画像５０ａ、５０ｂが示されている。

【0023】

この方法のステップＳ２では、スキャンされた道路４０の３次元モデルを生成する。３次元モデルには、道路４０の３次元表面の記述が含まれている。カメラユニット１１としてモノカメラが設けられている場合であっても、道路に沿って車両が移動することにより、スキャンされる道路４０の３次元モデルが生成可能である。スキャンされた道路４０の生成される３次元モデルは、点群と解する(construe)ことが可能である。特に、道路に沿って走行する間にそれぞれの車両１０ａ、１０ｂおよび１０ｃのそれぞれのプロセッサユニット１２によって、取り込まれた画像を評価することにより、密または準密の点群が生成可能である。

【0024】

この方法の考えられる一実施形態によれば、スキャンされた道路４０のそれぞれ個別の３次元モデルは、それぞれの車両１０ａ、１０ｂおよび１０ｃによって生成可能である。それぞれ個別の３次元モデルは、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、複数の車両１０ａ、１０ｂおよび１０ｃから空間的に遠方に離れて配置されているリモートサーバ２０に転送可能である。スキャンされた道路４０のそれぞれ生成された個別の３次元モデルをリモートサーバ２０に送信するために、それぞれの車両１０ａ、１０ｂおよび１０ｃは通信システム１３を有する。

【0025】

リモートサーバ２０は、車両１０ａ、１０ｂおよび１０ｃから受信された、スキャンされた道路４０のそれぞれ個別の３次元モデルを評価して融合することにより、スキャンされた道路４０の３次元モデルを生成する。車両１０ａ、１０ｂおよび１０ｃから受信されたそれぞれの個別の３次元モデルは、リモートサーバ２０の記憶ユニット２２に記憶される。特に、道路に沿って走行する間にそれぞれの車両によって生成された異なる点群は、道路４０の３次元モデルを形成するために、リモートサーバ２０のプロセッサユニット２１によってマッチングされる。３次元モデルには、道路表面についての情報が含まれており、これにより、リモートサーバ２０によって道路表面推定を行うことができる。スキャンされた道路の正確な道路表面モデルは、それぞれの車両１０ａ、１０ｂおよび１０ｃによって生成される異なる個別の３次元モデルを融合およびマッチングすることにより、プロセッサユニット２１によって構成可能である。

【0026】

この方法のステップＳ３では、道路４０の上面視／鳥瞰視画像を作成する。特に、スキャンされた道路４０のそれぞれ個別の上面視／鳥瞰視画像をそれぞれの車両１０ａ、１０ｂおよび１０ｃによって作成する。車両１０ａ、１０ｂおよび１０ｃのそれぞれの通信システム１３により、それぞれ個別の上面視／鳥瞰視画像をリモートサーバ２０に転送する。リモートサーバ２０は、スキャンされた道路４０のそれぞれ個別の上面視画像を評価および融合することにより、スキャンされた道路４０の上面視画像を作成可能である。道路の表面上に配置されている対象体、例えば道路ペイントは、スキャンされた道路４０の３次元モデルと、スキャンされた道路４０の上面視画像とを評価することにより、プロセッサユニット２１によって検出可能である。

【0027】

以下では図３Ａおよび図３Ｂを参照して、スキャンされた道路４０のそれぞれ個別の上面視画像の、それぞれの車両１０ａ、１０ｂおよび１０ｃによる作成を説明する。

【0028】

図３Ａには、道路４０に沿って走行する車両１０ａ、１０ｂおよび１０ｃのうちの１つのカメラユニット１１によって取り込まれた簡略化されたシーンの第１画像５０ａが示されている。図３Ｂには、第１画像よりも短時間の後に、車両１０ａ、１０ｂおよび１０ｃのうちの同じ車両のカメラユニット１１によって取り込まれた簡略化されたシーンの第２画像５０ｂが示されている。取り込まれたそれぞれの画像５０ａ、５０ｂの破線により、カメラユニット１１のカメラ光学系によって最小の歪みが引き起こされる、それぞれの画像５０ａ、５０ｂのゾーンが囲まれている。

【0029】

車両が前方に移動すると、シーンにおける特徴は、車両に向かって移動し、最終的には車両を通過して、カメラユニット１１にシーンを取り込ませる。図３Ｂでは、車両は、図３Ａに示されたシーンと比べて、特定の距離だけ前方に移動しており、これにより、道路４０の表面上に配置されている対象体／道路ペイント６０、例えば方向指示矢印は、最前面に移動しており、図３Ａにおいて背景領域に示されていた交通標識３０は、取り込まれた画像５０ｂの中央領域に移動している。最小の歪みがカメラ光学系によって引き起こされるゾーンは、それぞれ取り込まれた画像５０ａ、５０ｂの中央領域に配置されている。

【0030】

図３Ａおよび図３Ｂに示されているように、それぞれの車両１０ａ、１０ｂおよび１０ｃのそれぞれのカメラユニット１１により、少なくともそれぞれ個別の第１の画像５０ａとそれぞれ個別の第２画像５０ｂとから成るシーケンスを時間的に遅延して取り込む。それぞれの第１領域５１は、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、第１画像５０ａから選択される。それぞれの第１領域５１は、カメラユニット１１の光学系によって最小の歪みが引き起こされる、第１画像５０ａのゾーンに配置されている。さらに、それぞれの第２領域５２は、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、第２画像５０ｂから選択される。それぞれの第２領域５２は、カメラユニット１１の光学系によって最小の歪みが引き起こされる、第２画像５０ｂのゾーンに配置されている。

【0031】

選択されたそれぞれの第１領域５１は、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、それぞれの第１上面視図に変換される。さらに、選択されたそれぞれの第２領域５２は、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、それぞれの第２上面視図に変換される。それぞれ個別の上面視／鳥瞰視画像を作成するために、それぞれの車両１０ａ、１０ｂおよび１０ｃにより、それぞれの第１上面視図と第２上面視図とを縫い合わせる(stitch)。

【0032】

選択されたそれぞれの領域の上面視図を取得するための変換と、複数の上面視図を一緒に縫い合わせるステップとは、それぞれの車両１０ａ、１０ｂおよび１０ｃのそれぞれプロセッサユニット１２によって実行可能である。この変換は、カメラユニット１１の視野図から鳥瞰視図にそれぞれの領域５１、５２を変換する逆透視変換であってよい。

【0033】

この方法のステップＳ４では、道路４０の上面視画像を評価することにより、道路４０の表面上の対象体／道路ペイント６０、例えば、図３Ａおよび図３Ｂに示された方向指示矢印を検出する。このステップにより、道路ペイントまたは他の対象体、例えば排水溝の蓋のような道路４０の表面上に配置された対象体が検出可能になる。

【0034】

この方法のステップＳ５では、スキャンされた道路４０の３次元モデルにおいて、検出された対象体６０を道路４０の表面上に投影する。投影ステップを実行するために、カメラユニット１１によって取り込まれた道路の画像５０ａ、５０ｂと、道路の上面視画像と、スキャンされた道路の３次元モデルの点群とをリモートサーバ２０のプロセッサユニット２１によって比較してマッチングする。

【0035】

マッチングプロセスにより、スキャンされた道路４０の３次元モデルにおいて、検出された対象体６０が投影可能である。考えられる一実施形態によれば、スキャンされた道路の３次元モデルにおいて、道路４０の表面上に、道路４０の上面視画像において検出された対象体６０を投影した後、対象体６０についての３次元位置および論理情報を特定する。

【0036】

この方法のステップＳ６では、スキャンされた道路の３次元モデルにおいて、道路４０の表面に投影された対象体６０をモデル化する。このために、数学的な曲線当てはめアルゴリズムを使用可能である。特に、曲線当てはめの実行のためには、非一様有理Ｂスプライン技術を使用可能である。いわゆるＮＵＲＢＳ技術は、任意の形状の曲線を表すことができ、これにより、ＮＵＲＢＳ技術は、検出された対象体／道路ペイントを正確に表すことができる。

【符号の説明】

【0037】

１０ 車両
１１ カメラユニット
１２ プロセッサユニット
１３ 通信ユニット
２０ リモートサーバ
２１ プロセッサユニット
２２ 記憶ユニット
３０ 交通標識
４０ 道路
５０ 取り込まれた画像
５１、５２ 選択された領域
６０ 道路ペイント

【図1】

【図2】

【図3A】

【図3B】

【国際調査報告】