特表2022-509302地図生成方法、運転制御方法、装置、電子機器及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-20
(54)【発明の名称】地図生成方法、運転制御方法、装置、電子機器及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220113BHJP
G06T 7/11 20170101ALI20220113BHJP
G01C 21/26 20060101ALI20220113BHJP
G08G 1/0969 20060101ALI20220113BHJP
G09B 29/00 20060101ALI20220113BHJP
G09B 29/10 20060101ALI20220113BHJP
【ＦＩ】
G06T7/00 650A
G06T7/11
G01C21/26 A
G08G1/0969
G09B29/00 Z
G09B29/10 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021531066
(86)(22)【出願日】2020-02-13
(85)【翻訳文提出日】2021-05-28
(86)【国際出願番号】 CN2020075083
(87)【国際公開番号】W WO2020248614
(87)【国際公開日】2020-12-17
(31)【優先権主張番号】201910496345.3
(32)【優先日】2019-06-10
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520018428
【氏名又は名称】センスタイム グループ リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】特許業務法人前田特許事務所
(72)【発明者】
【氏名】ワン ジョー
(72)【発明者】
【氏名】ワン ジャンユー
(72)【発明者】
【氏名】シー ジエンピン
【テーマコード（参考）】
2C032
2F129
5H181
5L096
【Ｆターム（参考）】
2C032HA02
2C032HB11
2C032HC08
2C032HC17
2C032HD26
2C032HD29
2F129AA03
2F129BB03
2F129BB18
2F129BB49
2F129EE02
2F129FF02
2F129FF39
2F129GG17
2F129GG18
2F129HH12
2F129HH19
2F129HH20
2F129HH21
5H181AA01
5H181BB04
5H181CC04
5H181CC14
5H181FF04
5H181FF05
5H181FF22
5L096AA06
5L096AA09
5L096BA04
5L096CA02
5L096CA18
5L096CA27
5L096DA02
5L096EA26
5L096FA19
5L096FA69
5L096HA01
5L096JA11
(57)【要約】
地図生成方法、運転制御方法、装置、電子機器及びシステムであって、前記地図生成方法は、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、上記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得すること（Ｓ１０１）と、上記画像情報に対して、セマンティックセグメンテーション処理を行い、上記領域における道路要素の第１セマンティック情報を得ることであって、該第１セマンティック情報は、上記道路要素の二次元位置情報及び属性情報を含む、こと（Ｓ１０２）と、上記領域における道路要素の第１セマンティック情報と上記領域のポイントクラウド情報に対してマッチング処理を行い、上記領域における道路要素の第２セマンティック情報を得ることであって、該第２セマンティック情報は、上記道路要素の三次元位置情報及び属性情報を含む、こと（Ｓ１０３）と、上記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新すること（Ｓ１０４）と、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
地図生成方法であって、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得することと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得ることであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、ことと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、ことと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含む、地図生成方法。
【請求項2】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることは、前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることと、
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることは、前記道路要素の二次元位置情報に基づいて、前記ポイントクラウド二次元情報における各画素点が前記道路要素に属するかどうかを決定することと、
前記ポイントクラウド二次元情報における第１画素点が前記道路要素に属することに応答して、前記第１画素点の前記ポイントクラウド情報における三次元位置情報及び前記第１画素点の前記第１セマンティック情報における属性情報を取得し、前記第１画素点の三次元位置情報及び属性情報を得ることであって、前記第１画素点は、前記ポイントクラウド情報におけるいずれか１つの画素点である、ことと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることは、前記ポイントクラウド情報を、北東下座標系から画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることであって、前記二次元位置情報は、前記画素座標系における情報である、ことを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項5】
前記ポイントクラウド情報を、北東下座標系から画素座標系に変換することは、前記ポイントクラウド情報を、北東下座標系から慣性計測ユニット座標系に変換し、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を得ることと、
前記慣性計測ユニット座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得ることと、
カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記ポイントクラウド情報を、北東下座標系から画素座標系に変換することは、前記ポイントクラウド情報を北東下座標系からレーダー座標系に変換し、前記ポイントクラウド情報の前記レーダー座標系における情報を得ることと、
前記レーダー座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記レーダー座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得ることと、
カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記ポイントクラウド情報の前記画素座標系における情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項7】
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得ることは、前記画像情報に対して、走行可能領域の検出を行い、前記領域内の走行可能領域の情報を得ることと、
前記ポイントクラウド二次元情報における第２画素点が前記領域内の走行可能領域における画素点であることに応答して、前記第２画素点及び前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域の地図における前記道路要素の第２セマンティック情報を得ることであって、前記第２画素点は、前記ポイントクラウド二次元情報におけるいずれか１つの画素点である、ことと、を含むことを特徴とする
請求項２－６のいずれか一項に記載の方法。
【請求項8】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行う前に、前記領域の前記画像情報及び前記ポイントクラウド情報を収集すると同時に、車載ナビゲーションシステムにより、前記車両の位置姿勢情報を取得することと、
車両の位置姿勢に基づいて、前記車載レーダーセンサにより収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別することと、を更に含むことを特徴とする
請求項１－６のいずれか一項に記載の方法。
【請求項9】
収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別する前に、収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得ることと、
前記車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別することと、
各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、前記ポイントクラウド情報集合を得ることと、を更に含むことを特徴とする
請求項８に記載の方法。
【請求項10】
前記車載ナビゲーションシステムは、全地球測位システム及び／又は慣性計測ユニットを含むことを特徴とする請求項８又は９に記載の方法。
【請求項11】
前記第２セマンティック情報に基づいて地図を生成するか又は地図の前記領域に対応する部分を更新することは、前記道路要素に対応する所定特徴情報に基づいて、前記領域の地図における前記道路要素に対して選別を行い、選別された道路要素を得るという方式、
前記三次元位置情報で表される前記道路要素における点に対してフィッティング処理を行い、線パラメータで表される前記道路要素を得るという方式、
前記道路要素に対してサンプリング処理を行い、サンプリングされた前記道路要素を得るという方式、
前記三次元情報を前記北東下座標系からターゲット座標系に変換し、前記ターゲット座標系における前記三次元位置情報の位置情報を得るという方式、
のうちの１つ又は複数を用いて、前記道路要素を処理することと、
処理により得られた前記道路要素の第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含むことを特徴とする
請求項１－１０のいずれか一項に記載の方法。
【請求項12】
地図生成装置であって、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュールと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュールであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュールと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュールであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュールと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュールと、を備える、地図生成装置。
【請求項13】
前記マッチングモジュールは、前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成される変換ユニットと、
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得るように構成されるマッチングユニット、を備えることを特徴とする
請求項１２に記載の装置。
【請求項14】
前記マッチングユニットは、前記道路要素の二次元位置情報に基づいて、前記ポイントクラウド二次元情報における各画素点が前記道路要素に属するかどうかを決定し、前記ポイントクラウド二次元情報における第１画素点が前記道路要素に属することに応答して、前記第１画素点の前記ポイントクラウド情報における三次元位置情報及び前記第１画素点の前記第１セマンティック情報における属性情報を取得し、前記第１画素点の三次元位置情報及び属性情報を得るように構成され、前記第１画素点は、前記ポイントクラウド情報におけるいずれか１つの画素点であることを特徴とする請求項１３に記載の装置。
【請求項15】
前記変換ユニットは、前記ポイントクラウド情報を、北東下座標系から画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成され、前記二次元位置情報は、前記画素座標系における情報であることを特徴とする請求項１３又は１４に記載の装置。
【請求項16】
前記変換ユニットは、前記ポイントクラウド情報を、北東下座標系から慣性計測ユニット座標系に変換し、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を得て、前記慣性計測ユニット座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得て、カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成されることを特徴とする請求項１５に記載の装置。
【請求項17】
前記変換ユニットは、前記ポイントクラウド情報を北東下座標系からレーダー座標系に変換し、前記ポイントクラウド情報の前記レーダー座標系における情報を得て、前記レーダー座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記レーダー座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得て、カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記ポイントクラウド情報の前記画素座標系における情報を得るように構成されることを特徴とする請求項１５に記載の装置。
【請求項18】
前記マッチングユニットは、前記画像情報に対して、走行可能領域の検出を行い、前記領域内の走行可能領域の情報を得て、前記ポイントクラウド二次元情報における第２画素点が前記領域内の走行可能領域における画素点であることに応答して、前記第２画素点及び前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域の地図における前記道路要素の第２セマンティック情報を得るように構成され、前記第２画素点は、前記ポイントクラウド二次元情報におけるいずれか１つの画素点であることを特徴とする請求項１３－１７のいずれか一項に記載の装置。
【請求項19】
前記装置は、前記領域の前記画像情報及び前記ポイントクラウド情報を収集すると同時に、車載ナビゲーションシステムにより、前記車両の位置姿勢情報を取得するように構成される取得モジュールと、
車両の位置姿勢に基づいて、前記車載レーダーセンサにより収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別するように構成される第１選別モジュールとを更に備えることを特徴とする
請求項１２－１７のいずれか一項に記載の装置。
【請求項20】
前記装置は、収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得るように構成される検出モジュールと、
前記車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別するように構成される第２選別モジュールと、
各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、前記ポイントクラウド情報集合を得るように構成される組み合わせモジュールと、を更に備えることを特徴とする
請求項１９に記載の装置。
【請求項21】
前記車載ナビゲーションシステムは、全地球測位システム及び／又は慣性計測ユニットを含むことを特徴とする請求項２０に記載の装置。
【請求項22】
前記生成モジュールは、前記道路要素に対応する所定特徴情報に基づいて、前記領域の地図における前記道路要素に対して選別を行い、選別された道路要素を得るという方式、
前記三次元位置情報で表される前記道路要素における点に対してフィッティング処理を行い、線パラメータで表される前記道路要素を得るという方式、
前記道路要素に対してサンプリング処理を行い、サンプリングされた前記道路要素を得るという方式、
前記三次元情報を前記北東下座標系からターゲット座標系に変換し、前記ターゲット座標系における前記三次元位置情報の位置情報を得るという方式、
のうちの１つ又は複数の方式を用いて、道路要素を処理するように構成される処理ユニットと、
処理により得られた前記道路要素の第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成ユニットと、を備えることを特徴とする
請求項１２－２１のいずれか一項に記載の装置。
【請求項23】
運転制御方法であって、運転制御装置は、車両の所在する道路環境の少なくとも一部領域の地図情報を取得することであって、地図情報は、請求項１－１１のいずれか一項に記載の地図生成方法で得られたものである、ことと、
前記運転制御装置は、前記地図情報に基づいて車両に対してインテリジェント運転制御を行うことと、を含む、運転制御方法。
【請求項24】
運転制御装置であって、車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュールであって、地図情報は、請求項１－１１のいずれか一項に記載の地図生成方法で得られたものである、取得モジュールと、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュールと、を備える、運転制御装置。
【請求項25】
電子機器であって、プログラム命令を記憶するように構成されるメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、請求項１－１１のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサと、を備える、電子機器。
【請求項26】
インテリジェント運転システムであって、通信接続されるセンサと、請求項２５に記載の電子機器と、請求項２４に記載の運転制御装置と、を備え、前記センサは、車両の所在する道路環境の少なくとも一部領域の画像情報及びポイントクラウド情報を収集するように構成される、インテリジェント運転制御システム。
【請求項27】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサに実行される時に、請求項１－１１のいずれか一項に記載の方法のステップを実行するように構成され、又は、前記コンピュータプログラムは、プロセッサに実行される時に、請求項２３に記載の方法のステップを実行するように構成される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年６月１０日に提出された出願番号が２０１９１０４９６３４５．３である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年６月１０日に提出された出願番号が２０１９１０４９６３４５．３である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願の実施例は、インテリジェント運転技術に関し、特に地図生成方法、運転制御方法、装置、電子機器及びシステムに関する。
【背景技術】
【0003】
インテリジェント運転分野において、高精度地図は、重要な役割を果たし、インテリジェント運転分野における不可欠な存在である。車両向けの地図は一般的には、高精度地図と呼ばれ、これは、人間向けの地図（ナビゲーション地図）と異なる。高精度地図は、豊かなセマンティック情報及び走行補助情報を含む。例えば、高精度地図において、道路だけでなく、道路の道路標識線の情報も描画することができ、例えば、道路標識線の位置及びタイプなども描画することができる。上記高精度地図によれば、車両の測位、運転制御などを実現することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、地図生成方法、運転制御方法、装置、電子機器及びシステムを提供する。
【課題を解決するための手段】
【0005】
第１態様によれば、本願の実施例は、地図生成方法を提供する。前記方法は、
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得することと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得ることであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、ことと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、ことと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含む。
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得することと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得ることであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、ことと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、ことと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含む。
【0006】
第２態様によれば、本願の実施例は、地図生成装置を提供する。前記装置は、
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュールと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュールであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュールと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュールであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュールと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュールと、を備える。
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュールと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュールであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュールと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュールであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュールと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュールと、を備える。
【0007】
第３態様によれば、本願の実施例は、運転制御方法を提供する。前記方法は、
運転制御装置が、車両の所在する道路環境の少なくとも一部領域の地図情報を取得することであって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、ことと、
前記運転制御装置が前記地図情報に基づいて車両に対してインテリジェント運転制御を行うことと、を含む。
運転制御装置が、車両の所在する道路環境の少なくとも一部領域の地図情報を取得することであって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、ことと、
前記運転制御装置が前記地図情報に基づいて車両に対してインテリジェント運転制御を行うことと、を含む。
【0008】
第４態様によれば、本願の実施例は、運転制御装置を提供する。前記装置は、
車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュールであって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、取得モジュールと、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュールと、を備える。
車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュールであって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、取得モジュールと、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュールと、を備える。
【0009】
第５態様によれば、本願の実施例は、電子機器を提供する。前記電子機器は、
プログラム命令を記憶するように構成されるメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、上記第１態様に記載の方法のステップを実行するように構成されるプロセッサと、を備える。
プログラム命令を記憶するように構成されるメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、上記第１態様に記載の方法のステップを実行するように構成されるプロセッサと、を備える。
【0010】
第６態様によれば、本願の実施例は、インテリジェント運転システムを提供する。前記システムは、通信接続されるセンサと、上記第５態様に記載の電子機器と、上記第４態様に記載の運転制御装置と、を備え、前記センサは、車両の所在する道路環境の少なくとも一部領域の画像情報及びポイントクラウド情報を収集するように構成される。
【0011】
第７態様によれば、本願の実施例は、可読記憶媒体を提供する。前記可読記憶媒体に、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、上記第１態様に記載の方法のステップを実行するように構成され、又は、前記コンピュータプログラムは、上記第３態様に記載の方法のステップを実行するように構成される。
【0012】
本願の実施例で提供される地図生成方法、運転制御方法、装置、電子機器及びシステムは、車載カメラにより、道路環境の少なくとも一部領域の画像情報を取得し、画像情報に対してセマンティックセグメンテーション処理を行い、領域における道路要素の二次元情報及び属性情報を得る。それと同時に、車載レーダーセンサにより、領域のポイントクラウド情報を同期して取得する。更に、第１セマンティック情報とポイントクラウド情報に対してマッチング処理を行うことで、領域における道路要素の三次元位置情報及び属性情報を得ることができる。上記プロセスにおいて、車載カメラ及び車載レーダーセンサは、車両に設けられる異なるタイプのセンサとして同期して動作し、異なるタイプのセンサにより収集された情報に基づいてマッチング処理を行うことで、領域の地図を直接生成することができるか又は領域の地図を更新することができ、地図生成又は更新プロセスにおける手動操作を減少させることができ、ひいては省略することができる。これにより、地図の自動化程度を高くし、高精度地図の構築効率を大幅に向上させる。また、第１セマンティック情報とポイントクラウド情報とに対してマッチングを行うことで、道路要素を表す各情報を効果的にフュージョンすることができ、地図における道路要素の精度を大幅に向上させることができる。
【図面の簡単な説明】
【0013】
【図1】本願の実施例による地図構築方法を示す第１フローチャートである。
【図2】本願の実施例による地図構築方法を示す第２フローチャートである。
【図3】本願の実施例による地図構築方法を示す第３フローチャートである。
【図4】本願の実施例による地図構築方法を示す第４フローチャートである。
【図5】本願の実施例による地図構築方法を示す第５フローチャートである。
【図6】本願の実施例による地図生成装置のモジュール構造を示す第１図である。
【図7】本願の実施例による地図生成装置のモジュール構造を示す第２図である。
【図8】本願の実施例による地図生成装置のモジュール構造を示す第３図である。
【図9】本願の実施例による地図生成装置のモジュール構造を示す第４図である。
【図10】本願の実施例による地図生成装置のモジュール構造を示す第５図である。
【図11】本願の実施例による電子機器の構造を示す概略図である。
【図12】本願の実施例による運転制御方法を示すフローチャートである。
【図13】本願の実施例による運転制御装置の構造を示す概略図である。
【図14】本願の実施例によるインテリジェント運転システムの構造を示す概略図でる。
【0014】
本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に必要な図面を簡単に説明する。勿論、下記図面は、本願の幾つかの実施例であり、当業者は、これらの図面に基づいて、創造的な労力なしに他の図面を得ることもできる。
【発明を実施するための形態】
【0015】
本願の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本発明における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。
【0016】
【0017】
Ｓ１０１において、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得する。
【0018】
本願の実施例で生成される地図は、車両向けの地図であり、即ち、高精度地図である。本願の実施例は、高精度地図を生成するシーン又は高精度地図における一部領域を更新するシーンに適用可能である。１つの領域の高精度地図を生成するか又は高精度地図の少なくとも一部領域を更新する前に、まず、車両を、該領域で走行するようにし、車両における複数のセンサにより、該領域内の情報をそれぞれ同期して収集し、各センサにより収集された情報を処理し、該領域の地図を得る。ここで、車両の運転方式は、手動運転方式であってもよく、無人運転方式であってもよく、本願の実施例は、これを具体的に限定しない。例えば、都市の地図を構築する前に、車両を、該都市の各道路で走行するようにし、走行過程において、車載カメラ（車載撮像ヘッドと呼ばれてもよい）により、車両前方の路面及び周辺の建築物などの画像情報を収集し、車載レーダーセンサにより、車両周囲環境のポイントクラウド情報を収集する。上記画像情報及びポイントクラウド情報に基づいて、下記ステップにおける処理を行うことで、車両の所在する道路環境における少なくとも一部領域の地図を生成又は更新することができる。選択的に、車両走行過程において、車両における全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）又は慣性計測ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）により、各時刻における車両の位置姿勢情報を取得し、位置姿勢情報に基づいて、ポイントクラウド情報の選別を行うこともできる。位置姿勢情報に基づいて、ポイントクラウド情報の選別を行うことは、下記実施例において説明する。
【0019】
上記過程において、車載カメラ、車載レーダーセンサ、ＧＰＳ、ＩＭＵ等は、車両に設けられる異なるタイプのセンサであり、これらのセンサは、同期して動作する。ここで、本願の実施例における異なるセンサの同期は、ハードウェア機器によりデータ収集を同時にトリガすることで実現可能である。また、ソフトウェア方法で、各センサにより収集されたデータに対して時間的アライメントを行うことで実現可能である。本願の実施例は、これを限定しない。
【0020】
本実施例において、各センサはいずれも一定の周期に従って情報を収集し、各センサが各周期で収集する情報は時間的にアライメントされる。例示的には、車載カメラは、時刻Ａで１フレームの車両前方の画像情報を収集すると、車載レーダーセンサは、時刻Ａで１フレームの画像情報に対応するポイントクラウドデータを収集する。ＧＰＳ及びＩＭＵはそれぞれ、時刻Ａで車両の位置姿勢情報を取得する。各センサにより情報を同期して収集することで、地図の構築又は更新に用いられる画像情報、ポイントクラウド情報を時間的に同期させ、つまり、収集されたものが同一の対象の情報であることを確保し、更に、後続のマッチング処理結果の正確性を保証する。
【0021】
また、上記過程において、車載カメラ、車載レーダーセンサ、ＧＰＳ、ＩＭＵ等のセンサを互いに協働して地図生成又は更新を遂行する。各センサにとって、それぞれの性能限界が存在し得る。性能限界は、検出範囲の制限、感知不備、先験的情報不備などを含むが、これらに限定されない。ここで、検出範囲の制限は、センサによる周囲環境の検出は、固定の範囲を有することである。例示的に、長距離ミリ波レーダーの探測距離は、１メートル（ｍ）－２８０ｍであり、赤外センサの探測距離は、０．２ｍ－１２０ｍである。感知不備は、センサが使用上の環境条件を有することである。例示的に、高解像度カメラは、画像における物体を検出することができ、狭視野のカメラは、遠距離の物体を検出することができる。先験的情報は、事前収集可能な、短期間内で変わらない情報である。先験的情報不備は、センサにより先験的情報を収集することができないことである。例示的に、センサは、車両が現在、高速道路に位置するかどうかを感知することができない。各センサがそれぞれの性能限界を有することに鑑み、本願の実施例において、各センサを協働し、各センサにより同時収集された情報を取得することで、タイプが異なる情報を収集し、これらのタイプが異なる情報に基づいて、地図を生成又は更新する。これにより、単一のセンサの性能限界による情報収集不足などの問題を大幅に減少させることができ、ひいては解消することができる。
【0022】
Ｓ１０２において、上記画像情報に対してセマンティックセグメンテーション処理を行い、上記領域における道路要素の第１セマンティック情報を得て、該第１セマンティック情報は、上記道路要素の二次元位置情報及び属性情報を含む。
【0023】
選択的に、上記道路要素は、道路環境にある全ての対象であってもよい。例示的に、道路要素は、道路標示線、交通信号灯、交通標識、バリケード、道路の両側の街灯、道路の両側の木、道路の両側の建築物などであってもよい。ここで、道路標示線は、区画線、停止線、クロス車線、右左折線などであってもよい。本願の実施例は、道路要素の具体的な形態を限定しない。
【0024】
車載カメラにより収集された画像情報に対してセマンティックセグメンテーション処理を行うことで、収集された領域における路面要素の第１セマンティック情報を得ることができる。第１セマンティック情報は、路面要素の二次元位置情報及び属性情報を含む。
【0025】
ここで、二次元位置情報は、例えば、道路要素の各点の二次元座標値などを含んでもよい。
【0026】
選択的に、上記第１セマンティック情報における属性情報は、道路要素の属性を表すするためのものである。異なる道路要素に対して、上記第１セマンティック情報における属性情報は、異なる意味をしてもよい。例えば、道路要素が区画線である場合、上記属性情報は、異なる次元における区画線のタイプである。例えば、線形次元における実線、破線であり、色次元における白色、黄色などである。また例えば、道路要素が停止線である場合、上記属性情報は、停止線に対応する固定値であってもよい。本願の実施例は、上記属性情報を具体的に限定しない。
【0027】
選択的に、車載レーダーセンサはまず、オリジナルの三次元ポイントクラウド情報を収取し、更に、ポイントクラウド情報を収集する時の車両の位置姿勢情報に基づいて選別などの処理を行い、上記ポイントクラウド情報を得ることができる。
【0028】
上記第１セマンティック情報及びポイントクラウド情報を如何に得るかは、下記実施例において詳しく説明する。
【0029】
Ｓ１０３において、上記領域における道路要素の第１セマンティック情報と上記領域のポイントクラウド情報に対してマッチング処理を行い、上記領域における道路要素の第２セマンティック情報を得て、該第２セマンティック情報は、上記道路要素の三次元位置情報及び属性情報を含む。
【0030】
上記第１セマンティック情報に、道路要素の二次元位置情報が含まれ、上記ポイントクラウド情報は、空間における１つの点の三次元位置情報を表すことができ、それに道路要素の三次元位置情報が含まれる。本ステップにおいて、道路要素の第１セマンティック情報とポイントクラウド情報に対してマッチング処理を行うことで、道路要素の三次元位置情報及び属性情報を得ることができる。これにより得られた地図における道路要素は、三次元位置情報及び属性情報を有するようになる。地図における道路要素の精度を大幅に向上させる。
【0031】
Ｓ１０４において、上記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新する。
【0032】
上述したように、本願の実施例は、高精度地図を生成するシーンだけでなく、高精度地図における一部領域を更新するシーンにも適用可能である。
【0033】
上記生成シーンにおいて、前記ステップにより、１つの領域の道路要素の第２セマンティック情報を得た後、該第２セマンティック情報に含まれる三次元位置情報に基づいて該領域の地図を構築することができる。該領域の地図において、該領域における路面要素の三次元位置情報を詳しくマーキングすることができ、同時に、路面要素の属性情報を詳しくマーキングすることもできる。
【0034】
上記更新シーンにおいて、既存の地図における１つの領域の道路要素を上記ステップで得られた道路要素と比較し、さらに、該領域における元の道路要素を、上記三次元位置情報及び属性情報を含む道路要素に置き換えることができる。
【0035】
本実施例において、車載カメラにより、道路環境の少なくとも一部領域の画像情報を取得し、画像情報に対してセマンティックセグメンテーション処理を行い、領域における道路要素の二次元情報及び属性情報を得る。それと同時に、車載レーダーセンサにより、領域のポイントクラウド情報を同期して取得する。更に、第１セマンティック情報とポイントクラウド情報に対してマッチング処理を行うことで、領域における道路要素の三次元位置情報及び属性情報を得ることができる。上記プロセスにおいて、車載カメラ及び車載レーダーセンサは、車両に設けられる異なるタイプのセンサとして同期して動作し、異なるタイプのセンサにより収集された情報に基づいてマッチング処理を行うことで、領域の地図を直接生成することができるか又は領域の地図を更新することができ、地図生成又は更新プロセスにおける手動操作を減少させることができ、ひいては省略することができる。従って、本実施例の方法は、構築される地図の自動化程度を高くし、高精度地図の構築効率を大幅に向上させる。また、第１セマンティック情報とポイントクラウド情報とに対してマッチングを行うことで、道路要素を表す各情報を効果的にフュージョンすることができ、地図における道路要素の精度を大幅に向上させることができる。
【0036】
選択可能な実施形態において、下記方式で、上記第１セマンティック情報とポイントクラウド情報に対してマッチング処理を行うことができる。
【0037】
【0038】
Ｓ２０１において、上記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、上記第１セマンティック情報の所在する座標系における上記ポイントクラウド情報のポイントクラウド二次元情報を得る。
【0039】
選択的に、車載レーダーセンサにより収集されたオリジナルポイントクラウド情報は、レーダー座標系におけるデータである。収集されたポイントクラウド情報に基づいて選別処理を行い、ポイントクラウド情報を得る前に、まず、北東下（Ｎｏｒｔｈ Ｅａｓｔ Ｄｏｗｎ：ＮＥＤ）座標系におけるデータを得ることができる。つまり、選択的に、上記ポイントクラウド情報は、ＮＥＤ座標系におけるポイントクラウド情報であってもよく、ここで、ＮＥＤ座標系は、北軸、東軸及び下軸を含み、北軸は、北向き、東軸は、東向き、下軸は、鉛直下向きである。
【0040】
選択的に、上記第１セマンティック情報は、車載カメラにより収集されたビデオを処理することで得られたものである場合、車載カメラにより収集されたデータは、画素座標系でデータである。ここで、画素座標系は、画像座標系と呼ばれてもよく、画素座標系は、車載カメラにより収集された画像の左上隅を原点とした二次元座標系である。
【0041】
選択的に、上記ポイントクラウド情報は、上記ＮＥＤ座標系におけるデータであり、上記第１セマンティック情報は、画素座標系における座標である場合、上記ポイントクラウド情報をＮＥＤ座標系から画素座標系に変換し、上記ポイントクラウド情報の画素座標系におけるポイントクラウド二次元情報を得ることができる。該プロセスにより、ポイントクラウド情報をＮＥＤ座標系から画素座標系へ投影することを実現させる。
【0042】
ここで、下記いずれか１つの方式で、上記ポイントクラウド情報をＮＥＤ座標系から画素座標系に変換することができる。
【0043】
第１方式において、まず、ポイントクラウド情報をＮＥＤ座標系からＩＭＵ座標系に変換し、ポイントクラウド情報の該ＩＭＵ座標系における情報を得る。次に、ＩＭＵ座標系とカメラ座標系との回平行移動行列に基づいて、ポイントクラウド情報のＩＭＵ座標系における情報をカメラ座標系に変換し、ポイントクラウド情報のカメラ座標系における情報を得る。更に、カメラのパラメータ行列に基づいて、ポイントクラウド情報のカメラ座標系における情報を画素座標系に変換し、ポイントクラウド情報の画素座標系におけるポイントクラウド二次元情報を得る。
【0044】
第２方式において、まず、ポイントクラウド情報をＮＥＤ座標系からレーダー座標系に変換し、ポイントクラウド情報のレーダー座標系における情報を得る。次に、レーダー座標系とカメラ座標系との回平行移動行列に基づいて、ポイントクラウド情報のレーダー座標系における情報をカメラ座標系に変換し、ポイントクラウド情報のカメラ座標系における情報を得る。更に、カメラのパラメータ行列に基づいて、ポイントクラウド情報のカメラ座標系における情報を画素座標系に変換し、ポイントクラウド情報の画素座標系における情報を得る。
【0045】
上記２つの方式に記載のカメラ座標系は、上記車載カメラの焦点中心を原点として、光軸をＺ軸して形成される座標系である。上記第２方式に記載のカメラのパラメータ行列は、上記車載カメラのパラメータ行列である。
【0046】
上記ポイントクラウド情報がＮＥＤ座標系における情報であり、第１セマンティック情報が画素座標系における情報である場合以外に、本願の実施例において、ポイントクラウド情報は、他の三次元座標系における情報であってもよく、第１セマンティック情報は、他の二次元座標系における情報であってもよい。座標系の変換により、ポイントクラウド情報を第１セマンティック情報の所在する座標系に投影することもできる。
【0047】
Ｓ２０２において、上記ポイントクラウド二次元情報と上記道路要素の二次元位置情報に対してマッチング処理を行い、上記領域の地図における上記道路要素の第２セマンティック情報を得る。
【0048】
ポイントクラウド情報を第１セマンティック情報の所在する座標系におけるポイントクラウド二次元情報に投影した後、ポイントクラウド二次元情報と第１セマンティック情報における二次元位置情報は、同一の座標系に位置するようになり、従って、同一の座標系で、ポイントクラウド二次元情報と第１セマンティック情報における二次元情報に対してマッチング処理を行い、道路要素の第２セマンティック情報を得ることができる。
【0049】
本実施例において、ポイントクラウド情報に対して座標変換を行うことで、ポイントクラウド情報を第１セマンティック情報の座標系に投影し、更に、同一の座標系で、ポイントクラウド二次元情報と第１セマンティック情報における二次元位置情報に対してマッチング処理を行うことで、ポイントクラウド情報及び第１セマンティック情報における二次元位置情報のマッチング結果の正確性を大幅に向上させる。
【0050】
選択可能な実施形態として、下記方式で、上記ポイントクラウド二次元情報と第１セマンティック情報における二次元位置情報に対してマッチング処理を行うことができる。
【0051】
図３は、本願の実施例による地図構築方法を示す第３フローチャートである。図３に示すように、上記ステップＳ２０２において、ポイントクラウド二次元情報と第１セマンティック情報における二次元位置情報に対してマッチング処理を行うための選択可能な方式は以下を含む。
【0052】
Ｓ３０１において、前記道路要素の二次元位置情報に基づいて、前記ポイントクラウド二次元情報における各画素点が前記道路要素に属するかどうかを決定する。
【0053】
上述したように、道路要素の第１セマンティック情報は、車載カメラにより収集された画像に対して処理を行うことで得られるものである。処理時、特定の方式で、画像における１フレーム又は複数フレームの画像を選択し、各フレームの画像に対して、画像のセマンティックセグメンテーション処理により、画像から道路要素を区分することができる。区分できた道路要素を得た後、画像における各画素点が道路要素に属するかどうかを知ることができる。道路要素に属する各画素点は、いずれも特定の二次元位置情報を有する。該二次元位置情報は、二次元座標値であってもよい。
【0054】
更に、本ステップにおいて、ポイントクラウド二次元情報において、各画素点も特定の二次元位置情報を有する。選択的に、画素ずつポイントクラウド二次元情報における各画素点をトラバースし、各画素点が道路要素における１つの画素点であるかどうかを判定する。道路要素における１つの画素点であれば、該ポイントクラウド二次元情報における画素点が道路要素における１つの画素点であると判定することができる。
【0055】
例示的に、ポイントクラウド二次元情報に１つの画素点（ｘ１，ｙ１）が含まれると仮定すると、該画素点に対して、該ポイントクラウド二次元情報に対応する、車載カメラにより収集された１フレームの画像において、画素点（ｘ１，ｙ１）が道路要素における１つの画素点であるかどうかを判定する。道路要素における１つの画素点であれば、ポイントクラウド二次元情報における画素点（ｘ１，ｙ１）が上記道路要素に属すると決定することができる。
【0056】
なお、本願の実施例において、マッチング処理を行う道路要素の第１セマンティック情報及びポイントクラウド情報は同一の物理的位置に対する情報であり、例えばいずれも、都市における１つの特定の道路を表す情報である。従って、選択可能な実施形態として、各センサは、データを同時に収集し、収集されたデータにタイムスタンプ情報を追加することができる。各センサにより収集されたデータに対して処理を行う場合、処理結果に、該タイムスタンプ情報を保留することができる。更に、本願の実施例においてマッチングを行う場合、タイムスタンプが同じであるポイントクラウド情報及び第１セマンティック情報を選択して上記マッチング処理を行うことができる。例えば、上記例において、ポイントクラウド二次元情報に対応する、車載カメラにより収集された１フレームの画像は、ポイントクラウド二次元情報が属するポイントクラウド情報のタイムスタンプと同じである１フレームの画像であってもよい。
【0057】
Ｓ３０２において、上記ポイントクラウド二次元情報における第１画素点が上記道路要素に属することに応答して、該第１画素点の上記ポイントクラウド情報における三次元位置情報及び上記第１画素点の上記第１セマンティック情報における属性情報を取得し、上記第１画素点の三次元位置情報及び属性情報を得る。
【0058】
ここで、上記第１画素点は、上記ポイントクラウド二次元情報におけるいずれか１つの画素点であってもよい。該第１画素点は、ポイントクラウド情報の所在する三次元座標系から第１セマンティック情報の所在する二次元座標系に投影した後に得られた１つの画素点である。従って、該第１画素点は、三次元座標系における１つの三次元位置情報に一意的に対応してもよい。従って、該第１画素点が上記道路要素に属すると決定した場合、該第１画素点の三次元位置情報及び属性情報を同時に得ることができる。該処理プロセッサを実行した後、地図中の道路要素における各点は、三次元位置情報だけでなく、属性情報も有する。これにより、高精度地図における道路要素の情報を得る。
【0059】
本実施例において、まず、道路要素の二次元位置情報に基づいて、ポイントクラウド二次元情報における各画素点が道路要素に属するかどうかを決定し、更に、１つの画素点が道路要素に属する場合、地図における該点の三次元位置情報及び属性情報を同時に得ることができる。これにより、高精度地図における道路要素の情報を得る。
【0060】
具体的な実施過程において、車載レーダーセンサは、複数の時刻でデータを収集し、しかも１つの収集時刻で、車両周囲環境における様々のポイントクラウド情報を収集し得る。例えば、前方路面のポイントクラウド情報、周囲の木のポイントクラウド情報、家屋のポイントクラウド情報などを収集する。本願の実施例において、第１セマンティック情報に対応する時刻におけるポイントクラウド情報を得て前記方法でマッチング処理を実行すればよい。従って、選択可能な実施形態として、上記領域の画像情報及びポイントクラウド情報を取得する時に、車載ナビゲーションシステムにより前記車両の位置姿勢情報を取得し、車両の位置姿勢情報に基づいて、前記車載レーダーセンサにより収集されたポイントクラウド情報で構成されるポイントクラウド集合から、上記領域のポイントクラウド情報を選別することができる。
【0061】
具体的には、上述したように、車両のセンサが情報を収集する各時刻で、車両はいずれも特定の位置姿勢を有する。上述したように、車載カメラと車載レーダーセンサが情報を収集すると同時に、ＧＰＳ、ＩＭＵなどのセンサにより、車両の位置姿勢を取得することができる。本実施例において、第１セマンティック情報における二次元位置情報に対応するタイムスタンプを基準として、該タイムスタンプに対応する時刻における車両の位置姿勢を検索する。車両の位置姿勢により、該時刻における車両の向きを知ることができる。更に、ポイントクラウド集合のみから、該向きの車両前方の所定範囲内のポイントクラウド情報を選択することができる。該所定の範囲は例えば、所定のサイズの矩形枠であってもよい。所定範囲内に、例えば、車両前方の路面のポイントクラウド情報を含んでもよい。
【0062】
ここで、上記ポイントクラウド情報集合は、車載レーダーセンサにより収集された大量のポイントクラウド情報を処理した後に形成されたポイントクラウド情報の集合であってもよい。該集合におけるポイントクラウド情報は、複数の領域における路面のポイントクラウド情報に加えて、複数の領域における車両周囲の木、家屋、高架橋などの環境のポイントクラウド情報を更に含んでもよい。
【0063】
本実施例において、車両位置姿勢に基づいてポイントクラウド情報に対して選別を行う。後続のマッチング処理において、選別されたポイントクラウド情報のみを用いてマッチングを行う。これにより、マッチング処理時の処理時間を大幅に短縮し、無効なマッチング処理プロセスを避け、マッチング処理の効率を大幅に向上させることができる。
【0064】
選択可能な実施形態として、上記事前記憶されたポイントクラウド情報集合から、前記領域のポイントクラウド情報を選別する前に、複数の領域に対応する走行可能領域の情報に基づいて、車載レーダーセンサにより収集された複数の領域のポイントクラウド情報に対して選別及び組み合わせを行い、上記ポイントクラウド情報集合を得ることもできる。
【0065】
ここで、上記走行可能領域の情報は、ポイントクラウド情報と同一の時刻で収集された画像に対してセグメンテーション処理を行うことで得られる。選択的に、収集された画像情報に対して、走行可能領域の検出を行い、領域内の走行可能領域の情報を得ることができる。車載レーダーセンサにより収集された複数の領域のポイントクラウド情報は、走行可能領域のポイントクラウド情報を含むだけでなく、走行可能領域周囲の木、家屋、高架橋などの環境のポイントクラウド情報を含み得る。ポイントクラウド情報集合を得る前に、まず、車載レーダーセンサにより収集された各領域のポイントクラウド情報から各領域内の走行可能領域のポイントクラウド情報を選別する。これらのポイントクラウド情報のみを保存してポイントクラウド情報集合を構成する。後続でマッチング処理を行う場合、走行可能領域のポイントクラウド情報のみと第１セマンティック情報に対してマッチングを行う。これにより、無効なマッチング処理を避け、マッチング処理の効率を大幅に向上させることができる。
【0066】
以下、走行可能領域の情報に基づいて、ポイントクラウド情報に対して選別及び組み合わせを行うプロセスを説明する。
【0067】
【0068】
Ｓ４０１において、収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得る。
【0069】
各領域内の走行可能領域の位置を得ると同時に、車載レーダーセンサにより収集された全てのポイントクラウド情報及び各時刻における車両の位置姿勢情報を更に取得する。
【0070】
ここで、車載レーダーセンサにより収集された全てのポイントクラウド情報は、車載レーダーセンサにより複数の時刻で収集されたポイントクラウド情報である。各時刻で、カメラは、１フレームの画像を収集する。車載レーダーセンサは、対応するポイントクラウド情報を収集し、ＧＰＳ又はＩＭＵは、車両の位置姿勢情報を取得する。
【0071】
ここで、複数の時刻で収集された情報は、複数の領域の情報を含む。
【0072】
Ｓ４０２において、車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別する。
【0073】
選択的に、各領域内の走行可能領域の情報を得た上で、画像と同一の時刻で収集されたポイントクラウド情報に対して座標変換を行うことで、ポイントクラウド情報を画像が所在する座標系に投影し、どのポイントクラウド情報を投影した二次元の点が走行可能領域における点であるかを判定し、更に、走行可能領域における二次元の点に対応するポイントクラウド情報のみを残す。上記ステップＳ１０３のマッチング処理を行い、地図における高精度道路要素を生成又は更新する場合、走行可能領域以外の情報に関わらない。従って、本ステップにおいて、走行可能領域でポイントクラウド情報を選別し、走行可能領域に対応するポイントクラウド情報のみを保留する。このような処理により、後続のマッチング処理において完全かつ正確な道路要素の三次元位置情報を取得できることを確保する上で、ポイントクラウド情報の保存量を最大限減少させることができる。また、マッチング処理時に、無効な処理プロセスを減少させ、マッチング処理の効率を大幅に向上させることができる。
【0074】
複数フレームの画像に対してそれぞれ上記処理を行った後、複数の領域の走行可能領域のポイントクラウド情報を得ることができる。
【0075】
Ｓ４０３において、各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、上記ポイントクラウド情報集合を得る。
【0076】
選択的に、上記ステップＳ４０２－Ｓ４０３において、画像フレームでフレームごとに選別及び保存を行うことができる。１フレームの画像に対応する領域の走行可能領域の情報を得るたびに、該画像を収集した時刻で収集されたポイントクラウド情報に対して選別を行い、該時刻の対応する領域のポイントクラウド情報を得る。更に、該時刻の車両の位置姿勢に基づいて、得られた該ポイントクラウド情報を、レーダー座標系からＮＥＤ座標系に変換する。更に、該変換されたポイントクラウド情報に対してインデックスを生成して記憶する。次の時刻の対応する領域の次のポイントクラウド情報を得た後、該次のポイントクラウド情報に対してインデックスを生成して記憶する。複数の領域のポイントクラウド情報を記憶してから得られたものは、ポイントクラウド情報集合である。ここで、２つの連続した領域のインデックスは、連続してもよい。これにより、ポイントクラウド情報を記憶する時にポイントクラウド情報の組み合わせを実現し、更に、全ての領域のポイントクラウド情報を得る。これらのポイントクラウド情報から、ポイントクラウド情報集合になる。
【0077】
上記ステップＳ４０１－Ｓ４０３に記載の選択可能な方式において、ポイントクラウド情報集合を生成する場合、ポイントクラウド情報に対して、まず、走行可能領域で選別を行う。これにより、記憶されたポイントクラウド情報集合におけるポイントクラウド情報は、走行可能領域のみを表すポイントクラウド情報である。これにより、マッチングを行う場合、ポイントクラウド情報の保存量を減少させ、マッチング処理の効率を向上させることができる。
【0078】
もう１つの選択可能な実施形態において、ポイントクラウド情報集合を生成する時、走行可能領域で選別を行うことなく、上記ステップＳ４０１を実行した後、全てのポイントクラウド情報に対して直接的に座標変換を行い、インデックスに基づいて保存することができる。この方式で、ポイントクラウド情報集合におけるポイントクラウド情報は、走行可能領域の情報だけでなく、走行可能領域以外の情報を表すこともでき、例えば、車両周囲の木、家屋、高架橋などの環境を表すこともできる。該方式によれば、上記ステップＳ１０１で収集されたポイントクラウド情報は、上記２つの情報を表すことができる。更に上記ステップＳ２０２において、該ポイントクラウド情報の変換により得られたポイントクラウド二次元情報と道路要素の二次元位置情報に対してマッチング処理を行う場合、下記プロセスに従って処理を行うことができる。
【0079】
前記画像情報に対して、走行可能領域の検出を行い、前記領域内の走行可能領域の情報を得る。上記ポイントクラウド二次元情報における第２画素点が領域内の走行可能領域における画素点であるかどうかを判定する。前記ポイントクラウド二次元情報における第２画素点が領域内の走行可能領域における画素点であることに応答して、該第２画素点及び道路要素の二次元位置情報に対してマッチング処理を行い、上記領域の地図における道路要素の第２セマンティック情報を得る。
【0080】
ここで、上記第２画素点は、ポイントクラウド二次元情報におけるいずれか１つの画素点であってもよい。
【0081】
第２画素点が領域内の走行可能領域における画素点であるかどうかを判定する場合、第２画素点の座標が走行可能領域内にあるかどうかを直接的に判定することができる。第２画素点の座標が走行可能領域内にあれば、第２画素点が走行可能領域における画素点であると決定することができる。更に、ポイントクラウド二次元情報における走行可能領域内に属する画素点のみと道路要素の二次元位置情報に対してマッチング処理を行い、領域における道路要素の三次元位置情報及び属性情報を決定する。
【0082】
該方式において、ポイントクラウドに対して処理を行い、ポイントクラウド情報集合を得る場合、ポイントクラウド情報集合におけるポイントクラウド情報は、走行可能領域及び車両周囲環境における他の物体の情報を含む。マッチング処理を行う場合、ポイントクラウド情報のポイントクラウド二次元情報に対して、走行可能領域で選別を行うことができる。このような方式において、完全なポイントクラウド情報を保存したため、路面の走行可能領域以外の情報により処理を行うシーンにおいて、該方式により有効な処理を行い、正確な処理結果を得ることができる。
【0083】
該選択可能な方式において、走行可能領域の情報は、該領域に対応する１フレームの画像に対して画像のセマンティックセグメンテーションを行うことで得られる。該領域に対応する１フレームの画像の画像セマンティック分類結果に、上記第１セマンティック情報である、道路要素の二次元情報及び属性情報が含まれてもよく、同時に、走行可能領域の情報が含まれてもよい。
【0084】
以下、画像のセマンティックセグメンテーションを行い、上記第１セマンティック情報及び走行可能領域の情報を得るプロセスを説明する。
【0085】
【0086】
Ｓ５０１において、車載カメラにより収集された画像に対してフレーム分割処理を行い、複数フレームの画像を得る。
【0087】
Ｓ５０２において、各フレームの画像に対してそれぞれセマンティックセグメンテーション処理を行い、道路要素の分類結果、道路要素の属性情報及び走行可能領域の分類結果を得る。
【0088】
ここで、道路要素の分類結果は、１フレームの画像における各画素点が道路要素に属するかどうかを含む。道路要素の属性情報は、道路要素に属する画素点の属性情報を含む。例えば、道路要素が区画線である場合、１つの道路要素の画素点の属性情報は、色及び／又は線形などの情報を含んでもよく、例えば、白色実線などを含む。走行可能領域の分類結果は、１フレームの画像における各画素点が走行可能領域に属するかどうかを含む。
【0089】
選択可能な方式として、ニューラルネットワークに基づいて、セマンティックセグメンテーション処理を行うことができる。該ニューラルネットワークは例えば、畳み込みニューラルネットワーク、非畳み込み多層ニューラルネットワークなどであってもよい。
【0090】
上記ニューラルネットワークは、該当する要素に対してセグメンテーション処理を行う能力を持つ。該ニューラルネットワークを用いてセマンティックセグメンテーション処理を行う前に、該当する要素アノテーション情報を含む訓練サンプル画像集合を予め使用し、教師あり方式又は半教師あり方式で、該ニューラルネットワークを訓練することができる。
【0091】
Ｓ５０３において、上記道路要素の分類結果に対してクラスタリング処理を行い、各フレームの画像における各道路要素の情報を得る。
【0092】
得られた各道路要素の情報は、道路要素における各画素点の二次元位置情報及び属性情報を含む。
【0093】
Ｓ５０４において、上記道路要素における各画素点の二次元位置情報、属性情報及び画像における走行可能領域の情報を保存する。
【0094】
上記情報を得た後、これらの情報に基づいて、前記実施例における前記プロセスを実行することができる。
【0095】
前記プロセスにより、領域における道路要素の三次元位置情報及び属性情報を得た後、領域の地図を生成するか又は地図における領域に対応する部分を更新する場合、まず、下記少なくとも１つの方式を実行し、得られた情報に対して後処理を行い、更に後処理された道路要素の第２セマンティック情報を用いて、地図を生成するか又は地図における領域に対応する部分を更新することができる。
【0096】
第１方式において、上記道路要素に対応する所定特徴情報に基づいて、領域の地図における道路要素に対して選別を行い、選別された道路要素を得る。
【0097】
ここで、上記所定特徴情報は、道路要素に固有の特徴である。前記プロセスにより、道路要素の三次元位置情報及び属性情報を得た後、道路要素の三次元位置情報及び／又は属性情報が道路要素の所定の特徴に合致するかどうかを判定することができる。合致しないと、地図から、該道路要素を削除することができる。該処理プロセスにより、誤った道路要素を除去し、地図の正確性を更に向上させることができる。
【0098】
第２方式において、上記三次元位置情報で表される道路要素における点に対してフィッティング処理を行い、線パラメータで表される道路要素を得る。
【0099】
前記処理により得られた道路要素は、大量の点で表されてもよい。各点はいずれも三次元位置情報及び属性情報を有する。該方式において、これらの点に対してフィッティングを行うことで、線パラメータで表される道路要素を得ることができる。ここで、該線パラメータは、線の方程式、線の起点位置及び線の終点位置を含んでもよい。また、同一の道路要素に属する点の属性情報は同じであり、フィッティングにより得られた道路要素の属性情報は、フィッティング前に各点のうちのいずれか１つの点の属性情報であってもよい。該処理を行った後、複数の線パラメータのみにより、地図における高精度道路要素を表すことができる。これにより、道路要素の保存量を大幅に減少させる。地図を用いて運転制御などの操作を行う場合、操作効率を大幅に向上させることもできる。
【0100】
第３方式において、上記道路要素に対してサンプリング処理を行い、サンプリングされた道路要素を得る。
【0101】
前記方法で得られた道路要素において、道路要素を構成する点の数は膨大である。例えば、処理速度に求められる条件が高いシーンのような幾つかのシーンにおいて、道路要素に対してサンプリングを行うことができる。サンプリング後、道路要素の精度がシーンの要件を満たすことを確保すると同時に、道路要素の点の数を大幅に減少させることができる。地図を用いて運転制御などの操作を行う場合、操作処理の速度を大幅に向上させることができる。
【0102】
具体的な実施プロセスにおいて、上記方式のうちの１つを選択してもよく、上記方式のうちの複数を同時に選択してもよい。つまり、上記方式を組み合わせて実行することができる。本願の実施例は、これを具体的に限定しない。
【0103】
幾つかのシーンにおいて、本願の実施例の方式で得られた地図と他の方式で得られた地図をフュージョンして使用する必要がある。異なる方式で得られた地図が基づく座標系は異なることがある。例えば、本願の実施例において、ポイントクラウド情報は、ＮＥＤ座標系における情報であると、得られた地図における道路要素の三次元位置情報は、ＮＥＤ座標系における位置情報であり、もう１つの地図があり、その位置情報が世界測地系－８４（Ｗｏｒｌｄ Ｇｅｏｄｅｔｉｃ Ｓｙｓｔｅｍ－８４：ＷＧＳ８４）における情報である場合、２つの地図を直接的にフュージョンして使用することができない。従って、選択的に、前記プロセスにより得られた三次元位置情報をＮＥＤ座標系からもう１つの地図に対応するターゲット座標系に変換し、ターゲット座標系における三次元位置情報の位置情報を得ることができる。該処理を行った後、異なる地図のフュージョン利用を実現することができる。
【0104】
図６は、本願の実施例による地図生成装置のモジュール構造を示す第１図である。図６に示すように、該装置は、
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュール６０１と、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュール６０２であって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュール６０２と、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュール６０３であって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュール６０３と、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュール６０４と、を備える。
車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュール６０１と、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュール６０２であって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュール６０２と、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュール６０３であって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュール６０３と、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュール６０４と、を備える。
【0105】
該装置は、前記方法の実施例を実現させるように構成され、前記原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
【0106】
図７は、本願の実施例による地図生成装置のモジュール構造を示す第２図である。図７に示すように、マッチングモジュール６０３は、
前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成される変換ユニット６０３１と、
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得るように構成されるマッチングユニット６０３２と、を備える。
前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成される変換ユニット６０３１と、
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得るように構成されるマッチングユニット６０３２と、を備える。
【0107】
もう１つの実施例において、マッチングユニット６０３２は、前記道路要素の二次元位置情報に基づいて、前記ポイントクラウド二次元情報における各画素点が前記道路要素に属するかどうかを決定し、前記ポイントクラウド二次元情報における第１画素点が前記道路要素に属することに応答して、前記第１画素点の前記ポイントクラウド情報における三次元位置情報及び前記第１画素点の前記第１セマンティック情報における属性情報を取得し、前記第１画素点の三次元位置情報及び属性情報を得るように構成され、前記第１画素点は、前記ポイントクラウド情報におけるいずれか１つの画素点である。
【0108】
もう１つの実施例において、変換ユニット６０３１は、前記ポイントクラウド情報を、北東下座標系から画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成され、前記二次元位置情報は、前記画素座標系における情報である。
【0109】
もう１つの実施例において、変換ユニット６０３１は、前記ポイントクラウド情報を、北東下座標系から慣性計測ユニット座標系に変換し、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を得て、前記慣性計測ユニット座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得て、カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得るように構成される。
【0110】
もう１つの実施例において、変換ユニット６０３１は、前記ポイントクラウド情報を北東下座標系からレーダー座標系に変換し、前記ポイントクラウド情報の前記レーダー座標系における情報を得て、前記レーダー座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記レーダー座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得て、カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記ポイントクラウド情報の前記画素座標系における情報を得るように構成される。
【0111】
もう１つの実施例において、マッチングユニット６０３２は、前記画像情報に対して、走行可能領域の検出を行い、前記領域内の走行可能領域の情報を得て、前記ポイントクラウド二次元情報における第２画素点が前記領域内の走行可能領域における画素点であることに応答して、前記第２画素点及び前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域の地図における前記道路要素の第２セマンティック情報を得るように構成され、前記第２画素点は、前記ポイントクラウド二次元情報におけるいずれか１つの画素点である。
【0112】
図８は、本願の実施例による地図生成装置のモジュール構造を示す第３図でる。図８に示すように、前記装置は、
前記領域の前記画像情報及び前記ポイントクラウド情報を収集すると同時に、車載ナビゲーションシステムにより、前記車両の位置姿勢情報を取得するように構成される取得モジュール６０５と、
車両の位置姿勢に基づいて、車載レーダーセンサにより収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別するように構成される第１選別モジュール６０６とを更に備える。
前記領域の前記画像情報及び前記ポイントクラウド情報を収集すると同時に、車載ナビゲーションシステムにより、前記車両の位置姿勢情報を取得するように構成される取得モジュール６０５と、
車両の位置姿勢に基づいて、車載レーダーセンサにより収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別するように構成される第１選別モジュール６０６とを更に備える。
【0113】
図９は、本願の実施例による地図生成装置のモジュール構造を示す第４図である。図９に示すように、前記装置は、
収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得るように構成される検出モジュール６０７と、
車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別するように構成される第２選別モジュール６０８と、
各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、前記ポイントクラウド情報集合を得るように構成される組み合わせモジュール６０９と、を更に備える。
収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得るように構成される検出モジュール６０７と、
車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別するように構成される第２選別モジュール６０８と、
各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、前記ポイントクラウド情報集合を得るように構成される組み合わせモジュール６０９と、を更に備える。
【0114】
もう１つの実施例において、前記車載ナビゲーションシステムは、全地球測位システム及び／又は慣性計測ユニットを含む。
【0115】
図１０は、本願の実施例による地図生成装置のモジュール構造を示す第５図である。図１０に示すように、生成モジュール６０４は、
前記道路要素に対応する所定特徴情報に基づいて、前記領域の地図における前記道路要素に対して選別を行い、選別された道路要素を得るという方式、前記三次元位置情報で表される前記道路要素における点に対してフィッティング処理を行い、線パラメータで表される前記道路要素を得るという方式、前記道路要素に対してサンプリング処理を行い、サンプリングされた前記道路要素を得るという方式、前記三次元情報を前記北東下座標系からターゲット座標系に変換し、前記ターゲット座標系における前記三次元位置情報の位置情報を得るという方式、のうちの１つ又は複数の方式を用いて、道路要素を処理するように構成される処理ユニット６０４１と、
処理により得られた前記道路要素の第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成ユニット６０４２と、を備える。
前記道路要素に対応する所定特徴情報に基づいて、前記領域の地図における前記道路要素に対して選別を行い、選別された道路要素を得るという方式、前記三次元位置情報で表される前記道路要素における点に対してフィッティング処理を行い、線パラメータで表される前記道路要素を得るという方式、前記道路要素に対してサンプリング処理を行い、サンプリングされた前記道路要素を得るという方式、前記三次元情報を前記北東下座標系からターゲット座標系に変換し、前記ターゲット座標系における前記三次元位置情報の位置情報を得るという方式、のうちの１つ又は複数の方式を用いて、道路要素を処理するように構成される処理ユニット６０４１と、
処理により得られた前記道路要素の第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成ユニット６０４２と、を備える。
【0116】
上記装置の各モジュールの分割は、ただロジック機能の分割であり、実際に実現する時は全て又は一部が１つの物理エンティティに集積されてもよく、物理的に別個のものであってもよいことに留意されたい。また、これらのモジュールは全て、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、ハードウェアの形態で実現してもよい。また、一部のモジュールは、処理素子によりソフトウェアを呼び出すという形態で実現してもよく、一部のモジュールは、ハードウェアの形態で実現してもよい。例えば、決定モジュールは、単独で設置された処理素子であってもよく、上記装置の１つのチップに集積されて実現してもよい。また、プログラムコードの形態で、上記装置のメモリに記憶され、上記装置の１つの処理素子により上記決定モジュールの機能を呼び出して実行することもできる。他のモジュールの実現は、これと類似する。また、これらのモジュールの全て又は一部は、集積されてもよく、独立して実現してもよい。ここで記載の処理素子は、信号処理能力を持つ集積回路であってもよい。実現プロセスにおいて、上記方法の各ステップ及び各モジュールは、プロセッサ素子におけるハードウェアの集積論理回路又はソフトウェア形態の命令により完了されてもよい。
【0117】
例えば、上記これらのモジュールは、上記方法を実行するように構成される１つ又は複数の集積回路であってもよい。例えば、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、又は、１つ又は複数のマイクロプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、又は、１つ又は複数のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）等であってもよい。また例えば、上記１つのモジュールは、処理素子によりプログラムコードを呼び出すという形態で実現する時、該処理素子は、例えば中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）のような汎用プロセッサ又はプログラムコードを呼び出すことができる他のプロセッサであってもよい。また例えば、これらのモジュールは、集積されて、システムオンチップ（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ：ＳＯＣ）の形態で実現してもよい。
【0118】
上記実施例において、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせにより全体的又は部分的に実現可能である。ソフトウェアで実現する時、コンピュータプログラム製品の形態で全体的又は部分的に実現可能である。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願の実施例に記載のプロセス又は機能を全体的にまたは部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体に伝送されてもよい。例えば、前記コンピュータ命令を、１つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者回線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＤＳＬ））又は無線（例えば、赤外、無線、マイクロウェーブ等）の方式で、もう１つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、１つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能ば媒体は、磁気媒体（例えば、フレキシブルディスク、ハードディスク、磁気ディスク）、光媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ：ＳＳＤ））等であってもよい。
【0119】
図１１は、本願の実施例による電子機器の構造を示す概略図である。図１１に示すように、該電子機器１１００は、プロセッサ１１１と、メモリ１１２と、通信インタフェース１１３と、システムバス１１４と、を備え、前記メモリ１１２と前記通信インタフェース１１３は、前記システムバス１１４を介して前記プロセッサ１１１に接続され、相互間の通信を行うことができる。前記メモリ１１２は、コンピュータ命令を記憶するように構成され、前記通信インタフェース１１３は、他の機器と通信するように構成され、前記プロセッサ１１１は、前記コンピュータプログラムを実行する時、上記図１から図５のいずれか１つに示す実施例の解決手段を実現させる。
【0120】
該図１１に言及したシステムバスは、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ：ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＥＩＳＡ）バスなどであってもよい。前記システムバスは、アドレスバス、データバス、制御バスなどに分けられてもよい。図示の便宜上、図面において１本の太線のみで表されるが、１本のバス又は１つのタイプのバスのみがあることを表しない。通信インタフェースは、データベースアクセス装置と他の機器（例えば、クライアント、読み書きライブラリ及び読出し専用ライブラリ）との通信を実現させるために用いられる。メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）を含んでもよく、例えば少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）を含んでもよい。
【0121】
上記プロセッサは、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ：ＮＰ）等を含む汎用プロセッサであってもよい。デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。
【0122】
図１２は、本願の実施利例による運転制御方法を示すフローチャートである。上記実施例を基に、本願の実施例は、運転制御方法を更に提供する。前記方法は以下を含む。
【0123】
Ｓ１２０１において、運転制御装置が、車両の所在する道路環境の少なくとも一部領域の地図情報を取得し、地図情報は、本願の実施例で提供される地図生成方法で得られたものである。
【0124】
Ｓ１２０２において、運転制御装置が前記地図情報に基づいて車両に対してインテリジェント運転制御を行う。
【0125】
本実施例の実行主体は、運転制御装置である。本実施例の運転制御装置は、上記実施例に記載の電子機器と同一の機器に位置してもよく、それぞれ異なる機器に配置されてもよい。本実施例の運転制御装置と上記電子機器と間で、通信接続が確立される。
【0126】
ここで、地図情報は、上記実施例の方法で得られたものであり、具体的なプロセスは、上記実施例の説明を参照する。ここで、詳細な説明を省略する。
【0127】
具体的には、電子機器は、上記地図生成方法を実行し、車両の所在する道路環境の少なくとも一部領域の地図情報を得て、車両の所在する道路環境の少なくとも一部領域の地図情報を出力する。運転制御装置は、車両の所在する道路環境の少なくとも一部領域の位置情報を取得し、車両の所在する道路環境の少なくとも一部領域の地図情報に基づいて、車両に対してインテリジェント運転制御を行う。
【0128】
本実施例のインテリジェント運転は、運転支援、自動運転、運転支援と自動運転との間の運転モード切り替えのうちの少なくとも１つを含む。
【0129】
上記インテリジェント運転制御は、制動、走行速度変更、走行方向変更、車線保持、ランプ状態変更、運転モード切り替えなどのうちの少なくとも１つを含んでもよい。ここで、運転モード切り替えは、運転支援と自動運転との間の切り替えであってもよい。例えば、運転支援を自動運転に切り替える。
【0130】
本実施例で提供される運転制御方法において、運転制御装置は、車両の所在する道路環境の少なくとも一部領域の地図情報を取得し、車両の所在する道路環境の少なくとも一部領域の地図情報に基づいて、インテリジェント運転制御を行うことで、インテリジェント運転の安全性及び確実性を更に向上させる。
【0131】
図１３は、本願の実施例による運転制御装置の構造を示す概略図である。上記実施例を基に、本願の実施例の運転制御装置１３００は、
車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュール１３０１であって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、取得モジュール１３０１と、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュール１３０２と、を備える。
車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュール１３０１であって、地図情報は、上記第１態様に記載の地図生成方法で得られたものである、取得モジュール１３０１と、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュール１３０２と、を備える。
【0132】
本願の実施例の運転制御装置は、上記方法の実施例の技術的解決手段を実行するように構成される。その実現原理及び技術的効果は類似しており、ここで、詳細な説明を省略する。
【0133】
図１４は、本願の実施例によるインテリジェント運転システムを示す概略図である。図１４に示すように、本実施例のインテリジェント運転システム１４００は、通信接続されるセンサ１４０１と、電子機器１１００と、運転制御装置１３００と、を備え、前記電子機器１１００は、図１１に示すとおりであり、運転制御装置１３００は、図１３に示すとおりである。
【0134】
ここで、センサ１４０１は、車載カメラ、車載レーダーセンサ、ＧＰＳ、ＩＭＵなどのセンサを含んでもよい。
【0135】
具体的には、図１４に示すように、実際に使用する時、センサ１４０１は、車両の所在する道路環境の少なくとも一部領域の画像情報、ポイントクラウド情報、車両の位置姿勢情報を収集し、これらの情報を電子機器１１００に送信する。電子機器１１００は、これらの情報を受信した後、上記地図生成方法に基づいて、地図を生成するか又は地図の領域に対応する部分を更新する。続いて、電子機器１１００は、生成された地図又は更新された地図を運転制御装置１３００に送信する。運転制御装置１３００は、生成された地図又は更新された地図に基づいて、車両に対してインテリジェント運転制御を行う。
【0136】
選択的に、本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、上記図１から図５のうちのいずれか１つに示す実施例の方法を実現させ、又は、前記コンピュータプログラムがプロセッサにより実行される時、上記図１２に示す実施例の方法を実現させる。
【0137】
選択的に、本願の実施例は、命令を実行するチップを更に提供する。前記チップは、上記図１から図５のうちのいずれか１つに示す実施例の方法を実行するように構成され、又は、前記チップは、上記図１２に示す実施例の方法を実行するように構成される。
【0138】
本願の実施例は、プログラム製品を更に提供する。前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、記憶媒体に記憶され、少なくとも１つのプロセッサは、前記記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行する時、上記図１から図５のうちいずれか１つに示す実施例の方法を実現することができ、又は、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行する時、上記図１２に示す実施例の方法を実現することができる。
【0139】
本願の実施例において、「少なくとも１つ」は、１つ又は複数を表し、「複数」は、２つ以上を表す。「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。ここで、Ａ、Ｂは、奇数又は偶数であってもよい。文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。式において、文字「／」前後関連対象が「除算」という関係であることを示す。「以下少なくとも一項（個）」又はそのと類似した表現は、これらの項の任意の組み合わせを表し、奇数項（個）又は偶数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ、又はｃのうちの少なくとも一項（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃを表すことができ、ここで、ａ、ｂ、ｃは、１つであってもよく、複数個であってもよい。
【0140】
本願の実施例に係わる種々の数字番号は単に説明を容易にするために区別するためのものに過ぎず、本願の実施例の範囲を限定するものではないことは、理解されるべきである。
【0141】
本願の実施例において、各ステップの番号の大きさは、実行順番を意味するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まり、本願の実施例の実施プロセスを限定するものではないことは、理解されるべきである。
【0142】
最後に説明しておきたいこととして、上記各実施例は本願の技術的解決手段を説明するためのものに過ぎず、本願の技術的解決手段を限定するものではない。上述した各実施例を参照しながら本発明を詳しく説明したが、依然として前記各実施例に記載の技術的解決手段を修正し、又はその一部又は全てのの技術的特徴に対して均等物による置換を行うことができ、これらの修正や置換によって、対応する技術的解決手段の本質が本願の各実施例の技術的解決手段の範囲から逸脱することはないことが、当業者であれば、理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2021-05-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
地図生成方法であって、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得することと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得ることであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、ことと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、ことと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含む、地図生成方法。
【請求項2】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることは、前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることと、
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得ることは、前記道路要素の二次元位置情報に基づいて、前記ポイントクラウド二次元情報における各画素点が前記道路要素に属するかどうかを決定することと、
前記ポイントクラウド二次元情報における第１画素点が前記道路要素に属することに応答して、前記第１画素点の前記ポイントクラウド情報における三次元位置情報及び前記第１画素点の前記第１セマンティック情報における属性情報を取得し、前記第１画素点の三次元位置情報及び属性情報を得ることであって、前記第１画素点は、前記ポイントクラウド情報におけるいずれか１つの画素点である、ことと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記ポイントクラウド情報に対して、三次元座標系から二次元座標系への座標系変換を行い、前記二次元位置情報の所在する座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることは、前記ポイントクラウド情報を、北東下座標系から画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることであって、前記二次元位置情報は、前記画素座標系における情報である、ことを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項5】
前記ポイントクラウド情報を、北東下座標系から画素座標系に変換することは、前記ポイントクラウド情報を、北東下座標系から慣性計測ユニット座標系に変換し、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を得ることと、
前記慣性計測ユニット座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記慣性計測ユニット座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得ることと、
カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記画素座標系における前記ポイントクラウド情報のポイントクラウド二次元情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記ポイントクラウド情報を、北東下座標系から画素座標系に変換することは、前記ポイントクラウド情報を北東下座標系からレーダー座標系に変換し、前記ポイントクラウド情報の前記レーダー座標系における情報を得ることと、
前記レーダー座標系とカメラ座標系との回平行移動行列に基づいて、前記ポイントクラウド情報の前記レーダー座標系における情報を前記カメラ座標系に変換し、前記ポイントクラウド情報の前記カメラ座標系における情報を得ることと、
カメラのパラメータ行列に基づいて、前記ポイントクラウド情報の前記カメラ座標系における情報を前記画素座標系に変換し、前記ポイントクラウド情報の前記画素座標系における情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項7】
前記ポイントクラウド二次元情報と前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域における前記道路要素の第２セマンティック情報を得ることは、前記画像情報に対して、走行可能領域の検出を行い、前記領域内の走行可能領域の情報を得ることと、
前記ポイントクラウド二次元情報における第２画素点が前記領域内の走行可能領域における画素点であることに応答して、前記第２画素点及び前記道路要素の二次元位置情報に対してマッチング処理を行い、前記領域の地図における前記道路要素の第２セマンティック情報を得ることであって、前記第２画素点は、前記ポイントクラウド二次元情報におけるいずれか１つの画素点である、ことと、を含むことを特徴とする
請求項２－６のいずれか一項に記載の方法。
【請求項8】
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行う前に、前記領域の前記画像情報及び前記ポイントクラウド情報を収集すると同時に、車載ナビゲーションシステムにより、前記車両の位置姿勢情報を取得することと、
車両の位置姿勢に基づいて、前記車載レーダーセンサにより収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別することと、を更に含むことを特徴とする
請求項１－６のいずれか一項に記載の方法。
【請求項9】
収集されたポイントクラウド情報からなるポイントクラウド情報集合から前記領域のポイントクラウド情報を選別する前に、収集された各領域の画像情報に対して、走行可能領域の検出を行い、各領域内の走行可能領域の情報を得ることと、
前記車載レーダーセンサにより収集された各領域のポイントクラウド情報から、各領域内の走行可能領域のポイントクラウド情報を選別することと、
各領域内の走行可能領域のポイントクラウド情報に対して組み合わせを行い、前記ポイントクラウド情報集合を得ることと、を更に含むことを特徴とする
請求項８に記載の方法。
【請求項10】
前記車載ナビゲーションシステムは、全地球測位システム及び／又は慣性計測ユニットを含むことを特徴とする請求項８又は９に記載の方法。
【請求項11】
前記第２セマンティック情報に基づいて地図を生成するか又は地図の前記領域に対応する部分を更新することは、前記道路要素に対応する所定特徴情報に基づいて、前記領域の地図における前記道路要素に対して選別を行い、選別された道路要素を得るという方式、
前記三次元位置情報で表される前記道路要素における点に対してフィッティング処理を行い、線パラメータで表される前記道路要素を得るという方式、
前記道路要素に対してサンプリング処理を行い、サンプリングされた前記道路要素を得るという方式、
前記三次元情報を前記北東下座標系からターゲット座標系に変換し、前記ターゲット座標系における前記三次元位置情報の位置情報を得るという方式、
のうちの１つ又は複数を用いて、前記道路要素を処理することと、
処理により得られた前記道路要素の第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新することと、を含むことを特徴とする
請求項１－１０のいずれか一項に記載の方法。
【請求項12】
地図生成装置であって、車載カメラにより、車両の所在する道路環境の少なくとも一部領域の画像情報を取得し、車載レーダーセンサにより、前記車両の所在する道路環境の少なくとも一部領域のポイントクラウド情報を対応的に同期して取得するように構成される収集モジュールと、
前記画像情報に対して、セマンティックセグメンテーション処理を行い、前記領域における道路要素の第１セマンティック情報を得るように構成されるセグメンテーションモジュールであって、前記第１セマンティック情報は、前記道路要素の二次元位置情報及び属性情報を含む、セグメンテーションモジュールと、
前記領域における道路要素の第１セマンティック情報と前記領域のポイントクラウド情報に対してマッチング処理を行い、前記領域における道路要素の第２セマンティック情報を得るように構成されるマッチングモジュールであって、前記第２セマンティック情報は、前記道路要素の三次元位置情報及び属性情報を含む、マッチングモジュールと、
前記第２セマンティック情報に基づいて、地図を生成するか又は地図の前記領域に対応する部分を更新するように構成される生成モジュールと、を備える、地図生成装置。
【請求項13】
運転制御方法であって、運転制御装置は、車両の所在する道路環境の少なくとも一部領域の地図情報を取得することであって、地図情報は、請求項１－１１のいずれか一項に記載の地図生成方法で得られたものである、ことと、
前記運転制御装置は、前記地図情報に基づいて車両に対してインテリジェント運転制御を行うことと、を含む、運転制御方法。
【請求項14】
運転制御装置であって、車両の所在する道路環境の少なくとも一部領域の地図情報を取得するように構成される取得モジュールであって、地図情報は、請求項１－１１のいずれか一項に記載の地図生成方法で得られたものである、取得モジュールと、
前記地図情報に基づいて車両に対してインテリジェント運転制御を行うように構成される運転制御モジュールと、を備える、運転制御装置。
【請求項15】
電子機器であって、プログラム命令を記憶するように構成されるメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、請求項１－１１のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサと、を備える、電子機器。
【請求項16】
インテリジェント運転システムであって、通信接続されるセンサと、請求項１５に記載の電子機器と、請求項１４に記載の運転制御装置と、を備え、前記センサは、車両の所在する道路環境の少なくとも一部領域の画像情報及びポイントクラウド情報を収集するように構成される、インテリジェント運転制御システム。
【請求項17】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサに実行される時に、前記プロセッサに請求項１－１１のいずれか一項に記載の方法のステップを実行させるように構成され、又は、前記コンピュータプログラムは、プロセッサに実行される時に、前記プロセッサに請求項１３に記載の方法のステップを実行させるように構成される、コンピュータ可読記憶媒体。
【国際調査報告】