特表2022-541976 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ シャンハイ　センスタイム　インテリジェント　テクノロジー　カンパニー　リミテッドの特許一覧

特表2022-541976点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-29

(54)【発明の名称】点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

G01S 17/89 20200101AFI20220921BHJP

【ＦＩ】

G01S17/89

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021564866

(86)(22)【出願日】2021-04-23

(85)【翻訳文提出日】2021-11-01

(86)【国際出願番号】 CN2021089444

(87)【国際公開番号】W WO2022001325

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】202010618348.2

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイセンスタイムインテリジェントテクノロジーカンパニーリミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リージンウェイ

(72)【発明者】

【氏名】ワンジョー

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AC02

5J084CA31

5J084CA32

5J084CA70

5J084EA04

5J084EA40

5J084FA01

(57)【要約】

本発明は、点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供し、当該方法は、目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得することであって、主レーダは、目標車両のレーダのうちの１つであり、補助レーダは、目標車両のレーダにのうちの主レーダ以外のレーダであることと、事前に決定された補助レーダの反射率較正表に基づいて、補助レーダによって収集された点群データの反射率を調整して、補助レーダの調整後の点群データを取得することであって、反射率較正表は、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表すことと、主レーダによって収集された点群データと、補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得することと、を含む。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

電子機器に適用される点群データの融合方法であって、
目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得することであって、前記主レーダは、前記目標車両のレーダのうちの１つであり、前記補助レーダは、前記目標車両のレーダのうちの、主レーダ以外のレーダである、ことと、
事前に決定された前記補助レーダの反射率較正表に基づいて、前記補助レーダによって収集された点群データの反射率を調整して、前記補助レーダの調整後の点群データを取得することであって、前記反射率較正表は、前記補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す、ことと、
前記主レーダによって収集された点群データと、前記補助レーダの調整後の点群データとを融合して、融合後の点群データを取得することと、を含む、前記点群データの融合方法。

【請求項2】

以下のステップにより、前記反射率較正表を決定し、前記ステップは、
サンプル車両に設置された前記主レーダによって収集された第１サンプル点群データ、及び前記サンプル車両に設置された前記補助レーダによって収集された第２サンプル点群データを取得するステップと、
前記第１サンプル点群データに基づいて、ボクセルマップデータを生成するステップであって、前記ボクセルマップデータは、複数の三次元ボクセルグリッドのデータを含み、各三次元ボクセルグリッドのデータは、前記各三次元ボクセルグリッド内の複数の走査点の点群データに基づいて決定された反射率情報を含む、ステップと、
前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成することにより、前記反射率較正表を決定するステップと、を含む、
請求項１に記載の点群データの融合方法。

【請求項3】

前記第１サンプル点群データに基づいて、ボクセルマップデータを生成することは、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得することと、
前記複数の姿勢データに基づき、前記第１サンプル点群データに対して歪み補正処理を実行して、処理後の第１サンプル点群データを取得することと、
処理後の第１サンプル点群データに基づいて、前記ボクセルマップデータを生成することと、を含む、
請求項２に記載の点群データの融合方法。

【請求項4】

前記反射率情報は反射率平均値を含み、
前記各三次元ボクセルグリッドについて、前記各三次元ボクセルグリッド内の各走査点の点群データの反射率に基づいて、前記各三次元ボクセルグリッドに対応する反射率平均値を決定することにより、前記ボクセルマップデータに含まれる各三次元ボクセルグリッドのデータを決定し、
前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成することは、
前記補助レーダの各走査線に対応する各反射率について、前記第２サンプル点群データから、前記各反射率に対応する複数の目標走査点の位置情報を決定し、前記複数の目標走査点の位置情報に基づいて、前記複数の目標走査点に対応する少なくとも１つの三次元ボクセルグリッドを決定し、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定することであって、前記複数の目標走査点は、前記各走査線で走査することによって得られた走査点である、ことと、
決定された前記補助レーダの各走査線に対応する各反射率と一致する前記主レーダの前記目標反射率情報に基づいて、前記反射率較正表を生成することと、を含む、
請求項２又は３に記載の点群データの融合方法。

【請求項5】

前記三次元ボクセルグリッドのデータは、前記反射率平均値及び重み影響因子を含み、前記重み影響因子は、反射率分散及び走査点の数のうちの少なくとも１つを含み、
前記少なくとも１つの三次元ボクセルグリッドが複数の三次元ボクセルグリッドである場合、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定することは、
前記重み影響因子に基づいて、前記少なくとも１つの三次元ボクセルグリッドの各前記三次元ボクセルグリッドに対応する重みを決定することと、
前記各三次元ボクセルグリッドに対応する重み及び前記各三次元ボクセルグリッドに対応する反射率平均値に基づいて、前記走査線の前記各反射率と一致する前記主レーダの前記目標反射率情報を決定することと、を含む、
請求項４に記載の点群データの融合方法。

【請求項6】

前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成することは、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得し、前記複数の姿勢データに基づき、前記第２サンプル点群データに対して歪み補正処理を実行して、処理後の第２サンプル点群データを取得することと、
前記サンプル車両における前記主レーダの位置情報及び前記サンプル車両における前記補助レーダの位置情報に基づいて、前記第１サンプル点群データと前記第２サンプル点群データとの間の相対位置情報を決定することと、
前記相対位置情報を用いて、処理後の第２サンプル点群データに対して座標変換を実行することにより、目標座標系における第２サンプル点群データを取得することであって、前記目標座標系は前記第１サンプル点群データに対応する座標系である、ことと、
前記目標座標系における第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成することと、を含む、
請求項２ないし５のいずれか一項に記載の点群データの融合方法。

【請求項7】

前記第１サンプル点群データ及び前記第２サンプル点群データをそれぞれ目標サンプル点群データとして使用し、前記目標サンプル点群データが第１サンプル点群データである場合、前記主レーダを目標レーダとして使用し、前記目標サンプル点群データが第２サンプル点群データである場合、前記補助レーザレーダを目標レーダとして使用し、前記目標サンプル点群データのフレームは複数であり、各フレームの目標サンプル点群データは、目標レーダが複数の走査線を放射することによって収集された目標サンプル点群データを含み、前記目標レーダは、事前に設定された周波数に従って、走査線をバッチで放射し、各バッチで複数の走査線を放射し、
前記目標サンプル点群データに対して歪み補正処理を実行することは、
前記複数の姿勢データに基づいて、各バッチの走査線を放射するときの前記目標レーダの姿勢情報を決定することと、
各フレームの目標サンプル点群データ内の、最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データについて、前記最初のバッチ以外のバッチの走査線を放射するときの前記目標レーダの姿勢情報に基づいて、前記最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データの座標を、前記フレームの目標サンプル点群データ内の、最初のバッチの走査線を放射することによって収集された目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記フレームの目標サンプル点群データの初回目の歪み補正後の目標サンプル点群データを取得することと、
初回目の歪み補正後の複数のフレームの目標サンプル点群データ内の、任意の最初のフレーム以外のフレームの目標サンプル点群データについて、走査により前記最初のフレーム以外のフレームの目標サンプル点群データを取得するときの前記目標レーダの姿勢情報に基づいて、前記最初のフレーム以外のフレームの目標サンプル点群データの座標を、最初のフレームの目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記最初のフレーム以外のフレームの目標サンプル点群データに対応する２回目の歪み補正後の目標サンプル点群データを取得することと、を含む、
請求項３又は６に記載の点群データの融合方法。

【請求項8】

前記点群データの融合方法は、
前記反射率較正表において、一致する目標反射率情報を有しない走査線の反射率を決定することと、
前記反射率較正表の前記主レーダの前記目標反射率情報に基づいて、前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報を決定することと、
決定された前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報に基づいて、前記反射率較正表を更新することと、を更に含む、
請求項１ないし７のいずれか一項に記載の点群データの融合方法。

【請求項9】

点群データの融合装置であって、
目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得するように構成される取得部であって、前記主レーダは、前記目標車両のレーダのうちの１つであり、前記補助レーダは、前記目標車両のレーダのうちの、主レーダ以外のレーダである、取得部と、
事前に決定された前記補助レーダの反射率較正表に基づいて、前記補助レーダによって収集された点群データの反射率を調整して、前記補助レーダの調整後の点群データを取得するように構成される調整部であって、前記反射率較正表は、前記補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す、調整部と、
前記主レーダによって収集された点群データと、前記補助レーダの調整後の点群データとを融合して、融合後の点群データを取得するように構成される融合部と、を備える、前記点群データの融合装置。

【請求項10】

前記融合装置は更に、反射率較正決定部を備え、
前記反射率較正決定部は、以下のステップにより、前記反射率較正表を決定するように構成され、前記ステップは、
サンプル車両に設置された前記主レーダによって収集された第１サンプル点群データ、及び前記サンプル車両に設置された前記補助レーダによって収集された第２サンプル点群データを取得するステップと、
前記第１サンプル点群データに基づいて、ボクセルマップデータを生成するステップであって、前記ボクセルマップデータは、複数の三次元ボクセルグリッドのデータを含み、各三次元ボクセルグリッドのデータは、前記各三次元ボクセルグリッド内の複数の走査点の点群データに基づいて決定された反射率情報を含む、ステップと、
前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成するステップと、を含む、
請求項９に記載の点群データの融合装置。

【請求項11】

前記反射率較正決定部は、前記第１サンプル点群データに基づいて、ボクセルマップデータを生成する場合、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得し、
前記複数の姿勢データに基づき、前記第１サンプル点群データに対して歪み補正処理を実行して、処理後の第１サンプル点群データを取得し、
処理後の第１サンプル点群データに基づいて、前記ボクセルマップデータを生成するように構成される、
請求項１０に記載の点群データの融合装置。

【請求項12】

前記反射率情報は反射率平均値を含み、前記反射率較正決定部は、
前記各三次元ボクセルグリッドについて、前記各三次元ボクセルグリッド内の各走査点の点群データの反射率に基づいて、前記各三次元ボクセルグリッドに対応する反射率平均値を決定することにより、前記ボクセルマップデータに含まれる各三次元ボクセルグリッドのデータを決定するように構成され、
前記反射率較正決定部は、前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成する場合、
前記補助レーダの各走査線に対応する各反射率について、前記第２サンプル点群データから、前記各反射率に対応する複数の目標走査点の位置情報を決定し、前記複数の目標走査点の位置情報に基づいて、前記複数の目標走査点に対応する少なくとも１つの三次元ボクセルグリッドを決定し、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定し、ここで、前記複数の目標走査点は、前記各走査線で走査することによって得られた走査点であり、
決定された前記補助レーダの各走査線に対応する各反射率と一致する前記主レーダの前記目標反射率情報に基づいて、前記反射率較正表を生成するように構成される、
請求項１０又は１１に記載の点群データの融合装置。

【請求項13】

前記三次元ボクセルグリッドのデータは、前記反射率平均値及び重み影響因子を含み、前記重み影響因子は、反射率分散及び走査点の数のうちの少なくとも１つを含み、
前記少なくとも１つの三次元ボクセルグリッドが複数の三次元ボクセルグリッドである場合、前記反射率較正決定部は、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定する場合、
前記重み影響因子に基づいて、前記少なくとも１つの三次元ボクセルグリッドの各前記三次元ボクセルグリッドに対応する重みを決定し、
前記各三次元ボクセルグリッドに対応する重み及び前記各三次元ボクセルグリッドに対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの前記目標反射率情報を決定するように構成される、
請求項１２に記載の点群データの融合装置。

【請求項14】

前記反射率較正決定部は、前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成する場合、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得し、前記複数の姿勢データに基づき、前記第２サンプル点群データに対して歪み補正処理を実行して、処理後の第２サンプル点群データを取得し、
前記サンプル車両における前記主レーダの位置情報及び前記サンプル車両における前記補助レーダの位置情報に基づいて、前記第１サンプル点群データと前記第２サンプル点群データとの間の相対位置情報を決定し、
前記相対位置情報を用いて、処理後の第２サンプル点群データに対して座標変換を実行することにより、目標座標系における第２サンプル点群データを取得し、ここで、前記目標座標系は前記第１サンプル点群データに対応する座標系であり、
前記目標座標系における第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成するように構成される、
請求項１０ないし１３のいずれか一項に記載の点群データの融合装置。

【請求項15】

前記第１サンプル点群データ及び前記第２サンプル点群データをそれぞれ目標サンプル点群データとして使用し、前記目標サンプル点群データが第１サンプル点群データである場合、前記主レーダを目標レーダとして使用し、前記目標サンプル点群データが第２サンプル点群データである場合、前記補助レーザレーダを目標レーダとして使用し、前記目標サンプル点群データのフレームは複数であり、各フレームの目標サンプル点群データは、目標レーダが複数の走査線を放射することによって収集されたサンプル点群データを含み、前記目標レーダは、事前に設定された周波数に従って、走査線をバッチで放射し、各バッチで複数の走査線を放射し、
前記反射率較正決定部３０４は、以下のステップにより、前記目標サンプル点群データに対して歪み補正処理を実行するように構成され、前記ステップは、
前記複数の姿勢データに基づいて、各バッチの走査線を放射するときの前記目標レーダの姿勢情報を決定するステップと、
前記各フレームの目標サンプル点群データ内の、最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データについて、前記最初のバッチ以外のバッチの走査線を放射するときの前記目標レーダの姿勢情報に基づいて、前記最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データの座標を、前記各フレームの目標サンプル点群データ内の、最初のバッチの走査線を放射することによって収集された目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記各フレームの目標サンプル点群データの初回目の歪み補正後の目標サンプル点群データを取得するステップと、
初回目の歪み補正後の複数のフレームの目標サンプル点群データ内の、任意の最初のフレーム以外のフレームの目標サンプル点群データについて、走査により前記任意の最初のフレーム以外のフレームの目標サンプル点群データを取得するときの前記目標レーダの姿勢情報に基づいて、前記任意の最初のフレーム以外のフレームの目標サンプル点群データの座標を、最初のフレームの目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記任意の最初のフレーム以外のフレームの目標サンプル点群データに対応する第２次歪み補正後の目標サンプル点群データを取得するステップと、を含む、
請求項１１又は１４に記載の点群データの融合装置。

【請求項16】

前記融合装置は更に、更新部を備え、前記更新部は、
前記反射率較正表において、一致する目標反射率情報を有しない走査線の反射率を決定し、
前記反射率較正表の前記主レーダの前記目標反射率情報に基づいて、前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報を決定し、
決定された前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報に基づいて、前記反射率較正表を更新するように構成される、
請求項９ないし１５のいずれか一項に記載の点群データの融合装置。

【請求項17】

電子機器であって、
プロセッサと、メモリと、バースとを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記メモリはバースを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、請求項１ないし８のいずれか一項に記載の点群データの融合方法を実行する、前記電子機器。

【請求項18】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１ないし８のいずれか一項に記載の点群データの融合方法を実行する、前記コンピュータ可読記憶媒体。

【請求項19】

コンピュータ可読コードを含むコンピュータプログラムあって、
前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項１ないし８のいずれか一項に記載の点群データの融合方法を実行させる、前記コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０２０年０６月３０日に中国特許局に提出された、発明の名称が「点群データの融合方法、装置、電子機器及び記憶媒体」である中国特許出願第２０２０１０６１８３４８．２の優先権を主張し、当該中国特許出願のすべての内容が参照により本願に援用される。
［技術分野］
本発明は、コンピュータビジョンの技術分野に関し、点群データの融合方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムに関するが、これらに限定されない。

【背景技術】

【0002】

レーザレーダは、反射レーザービームにより目標の位置を検出し、検出距離が長く、測定精度が高いという特徴があり、自動運転の分野で幅広く使用できる。

【0003】

通常、検出ブラインド領域を減らし、検出距離を長くするために、車両に複数のレーザレーダを設置することができる。設置された複数のレーザレーダに対応するメーカが異なる場合や、複数のレーザレーダに対応するモデルが異なる場合があり、これにより、複数のレーザレーダの反射率の測定基準に不整合が生じ、融合後の異なる点群データに対応する反射率の測定基準に不整合が生じる。その結果、融合後の点群データで表される目標物が歪んでおり、融合後の点群データに基づく目標検出、目標追跡、高精度マップ作成などのタスクを実行すると、実行結果の精度が低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、少なくとも、点群データの融合方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0005】

本発明の実施例は、点群データの融合方法を提供し、前記方法は、
目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得することであって、前記主レーダは、前記目標車両のレーダのうちの１つであり、前記補助レーダは、前記目標車両のレーダのうちの、主レーダ以外のレーダである、ことと、
事前に決定された前記補助レーダの反射率較正表に基づいて、前記補助レーダによって収集された点群データの反射率を調整して、前記補助レーダの調整後の点群データを取得することであって、前記反射率較正表は、前記補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す、ことと、
前記主レーダによって収集された点群データと、前記補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得することと、を含む。

【0006】

本発明の実施例は、点群データの融合装置を更に提供し、前記装置は、
目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得するように構成される取得部であって、前記主レーダは、前記目標車両のレーダのうちの１つであり、前記補助レーダは、前記目標車両のレーダのうちの、主レーダ以外のレーダである、取得部と、
事前に決定された前記補助レーダの反射率較正表に基づいて、前記補助レーダによって収集された点群データの反射率を調整して、前記補助レーダの調整後の点群データを取得するように構成される調整部であって、前記反射率較正表は、前記補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す、調整部と、
前記主レーダによって収集された点群データと、前記補助レーダの調整後の点群データとを融合して、融合後の点群データを取得するように構成される融合部と、を備える。

【0007】

本発明の実施例は、電子機器を更に提供し、前記電子機器は、プロセッサと、メモリと、バースとを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記メモリはバースを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、上記の任意の点群データの融合方法を実行する。

【0008】

本発明の実施例は、コンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の任意の点群データの融合方法を実行する。

【0009】

本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の任意の点群データの融合方法を実行させる。

【発明の効果】

【0010】

本発明の実施例は、点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供し、本発明の技術的解決策によれば、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す反射率較正表を事前に生成することにより、補助レーダによって収集された点群データを取得した後、反射率較正表に従って、補助レーダによって収集された点群データの反射率を調整して、主レーダによって収集された点群データと補助レーダによって収集された調整後の点群データの反射率に対応する測定基準を一致させることができ、これにより、融合後の点群データの歪みを軽減し、目標検出などの精度を向上させることができる。

【0011】

本発明の上記した目的、特徴及び利点をより明確で理解しやすくするために、好ましい実施例を、添付の図面と併せて、以下に詳細に説明する。

【図面の簡単な説明】

【0012】

本発明の実施例の技術的解決策をより明確に説明するために、以下、実施例で使用する必要のある図面を簡単に紹介し、ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示し、明細書とともに本発明の技術的解決策を説明するために使用される。以下の図面は、本発明のいくつかの特定の実施例のみを示し、範囲を限定するものと見なされるべきではないことを理解されたい。当業者にとっては、創造的な作業なしに、これらの図面に従って他の図面を得ることもできる。

【図1A】本発明の実施例に係る点群データの融合方法の例示的なフローチャートである。

【図1B】本発明の実施例に係る適用シナリオの概略図である。

【図2】本発明の実施例に係る点群データの融合方法において、反射率較正表の決定方式の例示的なフローチャートである。

【図3】本発明の実施例に係る点群データの融合装置のアーキテクチャの概略図である。

【図4】本発明の実施例に係る電子機器の概略構造図である。

【発明を実施するための形態】

【0013】

本発明の実施例の目的、技術的解決策及び利点をより明確にするために、以下、本発明の実施例における図面を参照して、本発明の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本発明の実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載及び図示されている本発明の実施例のコンポーネントは、様々な異なる構成で配置及び設計することができる。したがって、図面に提供される本発明の実施例の以下の詳細な説明は、本発明の保護範囲を制限するものではなく、本発明の特定の実施例を示すものに過ぎない。本発明の実施例に基づき、創造的な努力なしに当業者によって得られた他のすべての実施例は、本発明の保護範囲に含まれるものとする。

【0014】

関連技術では、目標車両に複数のレーダを設置し、各レーダによって点群データをそれぞれ取得し、複数のレーダによって収集された点群データを融合することにより、比較的多様な融合後の点群データを取得することができ、融合後の点群データに基づいて、目標検出又は目標追跡を実行することができる。ただし、異なるレーダ間の対応する反射率に一貫性がない可能性があるため、異なるソースの点群データを融合するときの反射率が統一されず、取得された融合後の点群データに歪みが生じるという問題があり、実行結果の精度が低くなる。

【0015】

本発明の実施例におけるレーダは、レーザレーダ、ミリ波レーダ及び超声波レーダなどを含み、点群データの融合を実行するレーダは、同じタイプのレーダであってもよいし、異なるタイプのレーダであってもよい。本発明の実施例では、例として、点群データの融合を実行するレーダがすべて、レーザレーダである場合についてのみ説明する。

【0016】

関連技術では、レーザレーダを手動又は自動で較正でき、ここで、手動較正の較正精度が高く、手動較正結果を真の値として使用することができ、通常、レーザレーダのメーカが、出荷時に手動で較正するが、手動較正するには専用の暗室と較正機器が必要である。自動較正方式は、通常、レーザレーダによって、特定の既知のモーションを取るとともに点群データを収集する必要があるが、関連技術では、複数のレーザレーダの反射率を較正する解決策はない。

【0017】

上記の技術的課題を解決するために、本発明の実施例は、点群データの融合方法を提供する。

【0018】

本発明の実施例の理解を容易にするために、まず、本発明の実施例に開示されている、点群データの融合方法について詳細に説明する。

【0019】

図１Ａを参照すると、図１Ａは、本発明の実施例に係る点群データの融合方法の例示的なフローチャートであり、当該方法は、ステップＳ１０１～ステップＳ１０３を含む。

【0020】

ステップＳ１０１において、目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得し、主レーダは、目標車両のレーダのうちの１つであり、補助レーダは、目標車両のレーダのうちの、主レーダ以外のレーダである。

【0021】

ステップＳ１０２において、事前に決定された補助レーダに対応する反射率較正表に基づいて、補助レーダによって収集された点群データの反射率を調整して、補助レーダの調整後の点群データを取得し、ここで、反射率較正表は、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す。

【0022】

ステップＳ１０３において、主レーダによって収集された点群データと、補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得する。

【0023】

いくつかの実施例において、融合後の点群データに従って目標車両を制御することができる。例示的に、融合後の点群データに従って、目標検出及び目標追跡を実行し、検出結果及び追跡結果に従って目標車両を制御することができる。

【0024】

上記の方法では、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す反射率較正表を事前に生成することにより、補助レーダによって収集された点群データを取得した後、反射率較正表に従って、補助レーダによって収集された点群データの反射率を調整して、主レーダによって収集された点群データと補助レーダによって収集された調整後の点群データの反射率に対応する測定基準を一致させることができ、これにより、融合後の点群データの歪みを軽減し、目標検出などの精度を向上させることができる。

【0025】

以下、ステップＳ１０１～ステップＳ１０３について詳細に説明する。

【0026】

いくつかの実施例において、主レーダ及び補助レーダは、目標車両上の異なる位置に設置されたレーダであってもよく、主レーダ及び補助レーダは、マルチラインレーダであってもよい。ここで、主レーダと補助レーダのタイプ及び設置位置は、実際の必要に応じて設定することができ、補助レーダの数は複数であってもよい。一例では、主レーダは、目標車両の真ん中に設置されたレーザレーダ（すなわち、主レーザレーダ）であってもよく、２つの補助レーダは、目標車両の両側に設置されたレーザレーダ（すなわち、補助レーザレーダ）であってもよい。

【0027】

別の例では、図１Ｂを参照すると、目標車両１０には合計４つのレーダがあり、４つのレーダは、それぞれ、第１レーダ１１、第２レーダ１２、第３レーダ１３及び第４レーダ１４であり、第１レーダ１１、第２レーダ１２、第３レーダ１３及び第４レーダ１４のいずれかは主レーダであり、４つのレーダのうちの主レーダ以外の３つのレーダは補助レーダである。

【0028】

主レーダは、１６ライン、３２ライン、６４ライン又は１２８ラインなどのレーザレーダであってもよく、補助レーダは、１６ライン、３２ライン、６４ライン又は１２８ラインなどのレーザレーダであってもよい。

【0029】

主レーダ及び補助レーダで点群データを取集した後、主レーダ及び補助レーダによってそれぞれ収集された点群データを取得することができる。通常、主レーダによって収集された点群データは、複数の走査点にそれぞれ対応するデータを含み、主レーダによって収集された点群データにおいて、各走査点に対応するデータは、主レーダに対応する直交座標系における当該走査点の位置情報及び反射率を含む。補助レーダによって収集された点群データは、複数の走査点にそれぞれ対応するデータを含み得、補助レーダによって収集された点群データにおいて、各走査点に対応するデータは、補助レーダに対応する直交座標系における当該走査点の位置情報及び反射率を含む。

【0030】

いくつかの実施例において、主レーダ及び補助レーダにそれぞれ対応する点群データを取得した後、補助レーダに対応する点群データに対して座標変換を行い、座標変換後の点群データと主レーダによって収集された点群データが同じ座標系にあるようにし、つまり、座標変換後の点群データが、レーダによって収集された点群データに対応する座標系にあるようにする。次に、事前に決定された補助レーダの反射率較正表を用いて、補助レーダによって収集された点群データの反射率を調整して、補助レーダに対応する調整後の点群データを取得することができる。次に、主レーダによって収集された点群データと、補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得する。

【0031】

補助レーダの数が複数である場合、各補助レーダに対応する反射率較正表を生成し、各補助レーダに対応する反射率較正表を用いて、対応する補助レーダによって収集された点群データを調整して、各補助レーダに対応する調整後の点群データを取得することができる。

【0032】

補助レーダの場合、ｍ行ｎ列の反射率較正表を取得することができ、ここで、ｍは、補助レーダの走査線の数を表し、ｎは、各走査線に対応する反射率値の範囲を表す。ここから分かるように、補助レーダの数がaである場合、ａ個のｍ行ｎ列の反射率較正表を取得することができ、ａは１以上の整数である。

【0033】

いくつかの実施例において、補助レーダの場合、反射率較正表は、例えば、以下の表１に示されるとおりであり得、当該反射率較正表は、１６ラインの補助レーザレーダに対応する反射率較正表であってもよい。ここで、表１は、当該補助レーザレーダの各走査線に対応する各反射率と一致する主レーザレーダの目標反射率情報を含み、各走査線は（２５６個の反射率とは、反射率が０である反射率、反射率が１である反射率、……、反射率が２５５である反射率であってもよい）２５６個の反射率に対応し、つまり当該反射率較正表は、１６ラインの各走査線に対応する各反射率と一致する目標反射率情報を含む。目標反射率情報は、目標反射率平均値、目標反射率分散、目標反射率最大値、目標反射率最小値などを含み得、ここで、目標反射率平均値は、正の整数であってもよく、目標反射率分散は、正の実数であってもよい。例えば、走査線Ｒｉｎｇ０かつ反射率０と一致する主レーザレーダの目標放射率情報は、情報Ｘ００であり得、走査線Ｒｉｎｇ１５かつ反射率２５５と一致する主レーザレーダの目標放射率情報は、情報Ｘ１５２５５であり得る。

【0034】

【表1】

いくつかの実施例において、図２を参照すると、次のステップにより反射率較正表を決定する。

【0035】

ステップＳ２０１において、サンプル車両に設置された前記主レーダによって収集された第１サンプル点群データ、及びサンプル車両に設置された補助レーダによって収集された第２サンプル点群データを取得する。

【0036】

ステップＳ２０２において、第１サンプル点群データに基づいて、ボクセルマップデータを生成し、ここで、ボクセルマップデータは、複数の三次元ボクセルグリッドのデータを含み、各三次元ボクセルグリッドのデータは、当該三次元ボクセルグリッド内の複数の走査点の点群データに基づいて決定された反射率情報を含む。

【0037】

ステップＳ２０３において、第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータに基づいて、反射率較正表を生成する。

【0038】

いくつかの実施例において、サンプル車両は、目標車両と同じ車両であってもよいし、目標車両とは異なる車両であってもよい。主レーダ及び補助レーダが設置されたサンプル車両を制御して、プリセットされた道路でプリセットされた距離走行させて、第１サンプル点群データ及び第２サンプル点群データを取得することができる。補助レーダが複数ある場合、各補助レーダにそれぞれ対応する第２サンプル点群データを取得することができる。

【0039】

いくつかの実施例において、第１サンプル点群データに基づいて、ボクセルマップデータを生成することができる。具体的な実施では、第１サンプル点群データに従ってボクセルマップデータの範囲を決定することができ、例えば、第１サンプル点群データが第１距離範囲内のサンプル点群データである場合、第１距離範囲から、ボクセルマップデータに対応する第２距離範囲を決定することができ、ここで、ボクセルマップデータに対応する第２距離範囲は第１距離範囲にある。次に、第２距離範囲のボクセルマップデータを分割して、第２距離範囲内の複数の三次元ボクセルグリッドを取得し、各三次元ボクセルグリッドの初期データを決定する。つまり、各三次元ボクセルグリッドの初期データをプリセットされた初期値として設定する。例えば、三次元ボクセルグリッドのデータが反射率平均値、反射率分散及び走査点の数を含む場合、各三次元ボクセルグリッドの初期データは、反射率平均値が０であり、反射率分散が０であり、走査点の数が０であり得る。次に、第１サンプル点群データの複数の走査点の点群データを用いて、各三次元ボクセルグリッドの初期データを更新して、更新後の各三次元ボクセルグリッドのデータを取得する。

【0040】

上記の実施形態は、反射率較正表を生成する方法を提供し、第１サンプル点群データに基づいて、ボクセルマップデータを生成することにより、各三次元ボクセルグリッドにおける第１サンプル点群データの反射率情報を取得し、更に、第２サンプル点群データ及びボクセルマップデータに基づいて、反射率較正表を生成し、当該反射率較正表は、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報をより正確に反映することができ、つまり、生成された反射率較正表の精度が比較的高い。

【0041】

ここから分かるように、反射率較正表を生成するためには、第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータのみを取得する必要があり、過酷な較正環境や複雑な専門の較正機器が必要ない。さらに、反射率較正表を生成するプロセスは、大量の手作業による反射率較正表の生成を必要とせずに、第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータに基づいて自動的に実現できるため、本発明の実施例は、レーダの反射率を容易に較正することができる。

【0042】

いくつかの実施例において、第１サンプル点群データに基づいて、ボクセルマップデータを生成することは、
サンプル車両の移動中に順次収集された複数の姿勢データを取得することと、
複数の姿勢データに基づき、第１サンプル点群データに対して歪み補正処理を実行して、処理後の第１サンプル点群データを取得することと、
処理後の第１サンプル点群データに基づいて、前記ボクセルマップデータを生成することと、を含む。

【0043】

例示的に、サンプル車両には、全地球航法衛星システム－慣性航法システム（ＧＮＳＳ－ＩＮＳ：ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ－ＩｎｅｒｔｉａｌＮａｖｉｇａｔｉｏｎＳｙｓｔｅｍ）などの測位機器が設置されてもよく、測位機器によって、サンプル車両の位置を決め、サンプル車両の移動中に順次収集された複数の姿勢データを取得し、測位機器の測位精度はセンチメートルレベルの精度に達することができる。又は、サンプル車両が一定速度で走行するように制御することができ、主レーダ又は補助レーダが無線ビームを送受信する時間に従って、複数の姿勢データを算出することができる。

【0044】

複数の姿勢データを用いて、第１サンプル点群データに対して歪み補正処理を実行して、処理後の第１サンプル点群データを取得することができる。レーダはスキャン周期で環境をスキャンすることによって点群データを取得するが、レーダが動いている場合、生成された点群データに歪みが発生する。取得された点群データを同じ時刻に変換することにより歪みを補正し、つまり、歪み補正後の点群データは、同じ時刻で取得された点群データとして見なすことができる。したがって、処理後の第１サンプル点群データは、同じ時刻で取得された第１サンプル点群データとして理解でき、これにより、処理後の第１サンプル点群データに基づいて、ボクセルマップデータを生成することができる。

【0045】

上記の実施形態では、歪み補正プロセスにより、第１サンプル点群データにおける異なるフレームの第１サンプル点群データと、各フレームの第１サンプル点群データにおける異なるバッチの第１サンプル点群データとに対応するレーダの位置が異なることに起因する偏差を削除することができ、これにより、処理後の第１サンプル点群データを、同じレーダ位置で測定された第１サンプル点群データとして見なすことができるため、歪み補正処理後の第１サンプル点群データに基づいてボクセルマップデータを生成するときに、生成されたボクセルマップデータの精度を向上させることができ、生成された反射率較正表の精度を向上させることができる。

【0046】

いくつかの実施例では、反射率情報は反射率平均値を含み、
各三次元ボクセルグリッドについて、当該三次元ボクセルグリッド内の各走査点の点群データの反射率に基づいて、当該三次元ボクセルグリッドに対応する反射率平均値を決定することにより、ボクセルマップデータに含まれる各三次元ボクセルグリッドのデータを決定する。

【0047】

本発明の実施例では、第１サンプル点群データの各走査点に対応する位置情報に従って、各走査点の所在位置の三次元ボクセルグリッドを決定することができ、各三次元ボクセルグリッドに含まれた各走査点を取得することができる。各三次元ボクセルグリッドについて、当該三次元ボクセルグリッド内の各走査点の反射率の平均値を求めることにより、当該三次元ボクセルグリッドに対応する反射率平均値を取得する。

【0048】

いくつかの実施例において、第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータに基づいて、反射率較正表を生成することは、
補助レーダの各走査線に対応する各反射率について、第２サンプル点群データから、当該反射率に対応する複数の目標走査点の位置情報を決定し、複数の目標走査点の位置情報に基づいて、複数の目標走査点に対応する少なくとも１つの三次元ボクセルグリッドを決定し、少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する反射率平均値に基づいて、当該走査線の反射率と一致する前記主レーダの目標反射率情報を決定することであって、複数の目標走査点は、当該走査線で走査することによって得られた走査点である、ことと、
決定された補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報に基づいて、反射率較正表を生成することと、を含み得る。

【0049】

例えば、補助レーダの走査線Ｒｉｎｇ１で反射率が１である場合、第２サンプル点群データから、走査線Ｒｉｎｇ１で走査することによって得られた走査点を決定し、Ｒｉｎｇ１で走査することによって得られた走査点から、反射率が１である複数の目標走査点を決定し、複数の目標走査点の位置情報に従って、複数の目標走査点に対応する少なくとも１つの三次元ボクセルグリッドを決定することができ、少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する反射率平均値に基づいて、走査線Ｒｉｎｇ１及び反射率１と一致する主レーダの目標反射率平均値、目標反射率分散（目標反射率平均値、目標反射率分散は目標反射率情報である）を算出することができる。更に、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報に基づいて、反射率較正表を生成することができる。

【0050】

いくつかの実施例において、第２サンプル点群データをトラバースすることにより、各走査線の各反射率に対応する複数の目標走査点を決定し、次に、複数の目標走査点の位置情報に基づいて、各走査線の各反射率に対応する少なくとも１つの三次元ボクセルグリッドを決定し、更に、各走査線の各反射率に対応する少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する反射率平均値に基づいて、各走査線に対応する各反射率とそれぞれ一致する主レーダの目標反射率情報を決定することができる。最後に、各走査線に対応する各反射率とそれぞれ一致する主レーダの目標反射率情報に基づいて、反射率較正表を生成することができる。

【0051】

第２サンプル点群データをトラバースすることにより、各走査線の各反射率に対応する複数の目標走査点を決定し、次に、複数の目標走査点の位置情報に基づいて、各走査線の各反射率に対応する少なくとも１つの三次元ボクセルグリッド（すなわち、反射較正表の各格子に対応する少なくとも１つの三次元ボクセルグリッド）を決定し、更に、各格子に対応する少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する反射率平均値に基づいて、各格子の目標反射率情報を決定し、反射率較正表を生成することができる。

【0052】

理解できることとして、異なるレーダによって生成された無線ビームが同じ物体に当たった場合、対応する反射率は同じである必要があり、つまり、同じ三次元ボクセルグリッドにおいて、主レーダによってスキャンされた走査点の反射率が補助レーダによってスキャンされた走査点の反射率と一致すると見なすことができる。したがって、補助レーダの各走査線の各反射率に対応する少なくとも１つの三次元ボクセルグリッドを決定し、少なくとも１つの三次元ボクセルグリッドに対応する反射率平均値に従って、当該走査線の各反射率と一致する主レーダの目標反射率情報をより正確に決定することができ、より正確な反射率較正表を生成することができる。

【0053】

いくつかの実施例において、三次元ボクセルグリッドのデータは、反射率平均値及び重み影響因子を含み、重み影響因子は、反射率分散及び走査点の数のうちの少なくとも１つを含む。

【0054】

少なくとも１つの三次元ボクセルグリッドが複数の三次元ボクセルグリッドである場合、少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する反射率平均値に基づいて、走査線の反射率と一致する主レーダの目標反射率情報を決定することは、
重み影響因子に基づいて、少なくとも１つの三次元ボクセルグリッドの各三次元ボクセルグリッドに対応する重みを決定することと、
各三次元ボクセルグリッドに対応する重みとそれに対応する反射率平均値に基づいて、走査線の反射率と一致する主レーダの前記目標反射率情報を決定することと、を含む。

【0055】

ここで、補助レーダの各走査線の各反射率に対応する少なくとも１つの三次元ボクセルグリッドを決定した後、重み影響因子に従って、少なくとも１つの三次元ボクセルグリッドの各三次元ボクセルグリッドに対応する重みを決定することができる。

【0056】

例えば、重み影響因子が反射率分散値である場合、反射率分散が大きい三次元ボクセルグリッドの重みを小さく設定することができ、反射率分散が小さい三次元ボクセルグリッドの重みを大きく設定することができる。重み影響因子が走査点の数である場合、走査点の数が多い三次元ボクセルグリッドの重みを大きく設定し、走査点の数が少ない三次元ボクセルグリッドの重みを小さく設定することができる。重み影響因子が反射率分散及び走査点の数を含む場合、反射率分散が小さく且つ走査点の数が多い三次元ボクセルグリッドの重みを大きく設定し、反射率分散が大きく且つ走査点データが少ない三次元ボクセルグリッドの重みを小さく設定することができる。

【0057】

このようにして、各三次元ボクセルグリッドに対応する重み及び反射率平均値に基づいて、加重平均することにより目標反射率平均値を取得し、加重分散することにより目標反射率分散を取得することができ、つまり、各走査線に対応する各反射率と一致する主レーダの目標反射率情報を取得することができる。

【0058】

いくつかの実施例において、各三次元ボクセルグリッドの重みを決定でき、信頼度の高い三次元ボクセルグリッドの重みを大きく設定し（例えば、反射率分散が小さい且つ走査点の数が多い三次元ボクセルグリッドの信頼度が高い）、信頼度の低い三次元ボクセルグリッドの重みを小さく設定することにより、各三次元ボクセルグリッドに対応する重み及び反射率平均値に基づいて、当該走査線の当該反射率と一致する主レーダの目標反射率情報をより正確に決定することができ、更に、取得された反射率較正表の精度を向上させることができる。

【0059】

いくつかの実施例において、第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータに基づいて、反射率較正表を生成することは、
サンプル車両の移動中に順次収集された複数の姿勢データを取得し、複数の姿勢データに基づき、第２サンプル点群データに対して歪み補正処理を実行して、処理後の第２サンプル点群データを取得することと、サンプル車両における主レーダの位置情報及びサンプル車両における補助レーダの位置情報に基づいて、第１サンプル点群データと第２サンプル点群データとの間の相対位置情報を決定することと、相対位置情報を用いて、処理後の第２サンプル点群データに対して座標変換を実行することにより、目標座標系における第２サンプル点群データを取得することであって、目標座標系は前記第１サンプル点群データに対応する座標系である、ことと、目標座標系における第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータに基づいて、反射率較正表を生成することと、を含む。

【0060】

ここで、サンプル車両に対応する複数の姿勢データを取得し、複数の姿勢データに基づいて第２サンプル点群データに対して歪み補正処理を実行することにより、処理後の第２サンプル点群データを取得することができ、決定された相対位置情報を用いて、第２サンプル点群データに対して座標変換を実行して、目標座標系における第２サンプル点群データを取得することにより、座標変換後に取得された第２サンプル点群データと第１サンプル点群データが同じ座標系にあるようにする。最後に、目標座標系における第２サンプル点群データ及び複数の三次元ボクセルグリッドのデータを用いて、反射率較正表を生成する。

【0061】

いくつかの実施例において、先ず、第２サンプル点群データに対して歪み補正処理を実行することにより、第２サンプル点群データ内の、各バッチのサンプル点群データと各フレームのサンプル点群データに対応するレーダ位置が異なることに起因する偏差を削除し、次に、第２サンプル点群データを第１サンプル点群データに対応する目標座標系の座標に変換して、第２サンプル点群データに対応するレーダ位置と第１サンプル点群データに対応するレーダ位置が異なることに起因する偏差を削除することにより、歪み補正処理と座標変換後に取得された第２サンプル点群データに基づいて、反射率較正表を生成する場合、生成された反射率較正表の精度を向上させることができる。

【0062】

いくつかの実施例において、第１サンプル点群データ及び第２サンプル点群データを、それぞれ、目標サンプル点群データとして使用することができ、目標サンプル点群データが第１サンプル点群データである場合、主レーダを目標レーダとして使用し、目標サンプル点群データが第２サンプル点群データである場合、補助レーザレーダを目標レーダとして使用する。目標サンプル点群データのフレーム数は複数であり、各フレームの目標サンプル点群データは、目標レーダが複数の走査線を放射することによって収集された目標サンプル点群データを含み、ここで、目標レーダは、事前に設定された周波数に従って、走査線をバッチで放射し、各バッチで複数の走査線を放射する。

【0063】

いくつかの実施例において、目標サンプル点群データに対して歪み補正処理を実行することは、
複数の姿勢データに基づいて、各バッチの走査線を放射するときの目標レーダの姿勢情報を決定することと、
各フレームの目標サンプル点群データ内の、最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データについて、当該最初のバッチ以外のバッチの走査線を放射するときの目標レーダの姿勢情報に基づいて、当該最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データの座標を、当該フレームの目標サンプル点群データ内の、最初のバッチの走査線を放射することによって収集された目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、当該フレームの目標サンプル点群データに対応する初回目の歪み補正後の目標サンプル点群データを取得することと、
初回目の歪み補正後の複数のフレームの目標サンプル点群データ内の、任意の最初のフレーム以外のフレームの目標サンプル点群データについて、走査により当該最初のフレーム以外のフレームの目標サンプル点群データを取得するときの目標レーダの姿勢情報に基づいて、当該最初のフレーム以外のフレームの目標サンプル点群データの座標を、最初のフレームの目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、当該フレームの目標サンプル点群データに対応する第２次歪み補正後の目標サンプル点群データを取得することと、を含む。

【0064】

ここで、目標サンプル点群データが第１サンプル点群データである場合、第１サンプル点群データは、複数のフレームの第１サンプル点群データを含み得、各フレームの第１サンプル点群データは、複数のバッジの第１サンプル点群データを含む。第１サンプル点群データに対して歪み補正処理を実行する場合、先ず、第１サンプル点群データの各フレームの第１サンプル点群データについて、当該フレームの第１サンプル点群データ内の最初のバッチ以外のバッチの走査線を放射することによって収集された第１サンプル点群データを、当該フレームの第１サンプル点群データ内の最初のバッチの走査線の放射時刻に対応する主レーダの座標系の座標に変換することにより、初回目の歪み補正処理を完了することができる。初回目の歪み補正処理後、更に、複数のフレームの第１サンプル点群データ内の、任意の最初のフレーム以外のフレームの第１サンプル点群データについて、当該最初のフレーム以外のフレームの第１サンプル点群データの座標を、最初のフレームの第１サンプル点群データに対応する主レーダの座標系の座標に変換することにより、第２歪み補正処理を完了することができる。

【0065】

例えば、第１サンプル点群データが、５０フレームの第１サンプル点群データ、すなわち、最初のフレームの第１サンプル点群データ、２番目のフレームの第１サンプル点群データ、……、５０番目のフレームの第１サンプル点群データを含み、各フレームの第１サンプル点群データが、１０個のバッチの第１サンプル点群データ、すなわち、最初のバッチの第１サンプル点群データ、２番目のバッチの第１サンプル点群データ、……、１０番目のバッチの第１サンプル点群データを含む場合、各フレームの第１サンプル点群データ内の、２番目のバッチの第１サンプル点群データ～１０番目のバッチの第１サンプル点群データの各バッチの第１サンプル点群データについて、補間法により、当該バッチの走査線を放射するときの主レーダの姿勢情報を決定し、当該バッチの第１サンプル点群データ（すなわち、当該バッチの走査線によって収集された第１サンプル点群データ）の座標を、当該フレームの第１サンプル点群データの最初のバッチの走査線の放射時刻に対応する主レーダの座標系の座標（すなわち、当該フレームの第１サンプル点群データ内の、最初のバッチの第１サンプル点群データに対応する主レーダの座標系の座標）に変換して、各フレームの第１サンプル点群データに対応する初回目の歪み補正後の第１サンプル点群データを取得することができる。

【0066】

２番目のフレームの第１サンプル点群データ～５０番目のフレームの第１サンプル点群データの各フレームの第１サンプル点群データについて、走査により当該フレームの第１サンプル点群データを取得するときの主レーダの姿勢情報に基づいて、当該フレームの第１サンプル点群データの座標を最初のフレームの第１サンプル点群データに対応する主レーダの座標系の座標に変換して、第１サンプル点群データに対応する２回目の歪み補正後の第１サンプル点群データを取得することができる。

【0067】

ここで、第２サンプル点群データの歪み補正処理プロセスは、第１サンプル点群データの歪み補正処理プロセスを参照することができ、ここでは繰り返して説明しない。

【0068】

ここで、各フレームの目標サンプル点群データ内の、最初のバッチ以外のバッチの走査線によって収集された目標サンプル点群データと、異なるフレームの目標サンプル点群データ内の、最初のフレーム以外のフレームの目標サンプル点群データとをすべて、最初のフレームの目標サンプル点群データ内の最初のバッチの目標サンプル点群データに対応する目標レーダの座標系の座標に変換することにより、生成された反射率較正表の精度を向上させる。

【0069】

いくつかの実施例において、反射率較正表を生成した後、反射率較正表から、一致する目標反射率情報を有しない走査線の反射率を決定することもできる。反射率較正表の主レーダの目標反射率情報に基づいて、一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報を決定する。決定された、一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報に基づいて、反射率較正表を更新する。

【0070】

ここで、生成された反射率較正表において、各走査線に対応する各反射率と一致する目標反射率情報がある場合、すなわち、生成された反射率較正表の各グリッドに対応する目標反射率情報がある場合、当該反射率較正表を更新する必要がない。

【0071】

生成された反射率較正表において、走査線の少なくとも１つの反射率と一致する目標反射率情報がない場合（すなわち、生成された反射率較正表の一部のグリッドに対応する目標反射率情報がない場合）、線形補間法により、少なくとも１つの反射率と一致する目標反射率情報を取得する。

【0072】

例えば、Ｒｉｎｇ１且つ反射率５に対応するグリッドに一致する目標反射率情報がなく、同時に、Ｒｉｎｇ１且つ反射率４に対応するグリッドに目標反射率情報があり、及びＲｉｎｇ１且つ反射率６に対応するグリッドに目標反射率情報がある場合、反射率較正表のＲｉｎｇ１且つ反射率４に対応するグリッドの目標反射率情報、及びＲｉｎｇ１且つ反射率６に対応するグリッドの目標反射率情報に従って、線形補間法により、Ｒｉｎｇ１且つ反射率５に対応するグリッドの目標反射率情報を取得する。

【0073】

又は、Ｒｉｎｇ１且つ反射率５に対応するグリッドに一致する目標反射率情報がなく、同時に、Ｒｉｎｇ０且つ反射率５に対応するグリッドに目標反射率情報があり、及びＲｉｎｇ２且つ反射率５に対応するグリッドに目標反射率情報がある場合、反射率較正表のＲｉｎｇ０且つ反射率５に対応するグリッドの目標反射率情報、及びＲｉｎｇ２且つ反射率５に対応するグリッドの目標反射率情報に従って、線形補間法により、Ｒｉｎｇ１且つ反射率５に対応するグリッドの目標反射率情報を取得する。

【0074】

ここで、決定された少なくとも１つの反射率に対応する主レーダの目標反射率情報に基づいて反射率較正表を更新し、更新後の反射率較正表を生成することができ、ここで、更新後の反射率較正表では、目標反射率情報の目標反射率平均値は正の整数であり得、つまり、反射率較正表の各グリッドに対応する目標反射率平均値を四捨五入することにより正の整数に調整して、更新後の反射率較正表を生成することができる。

【0075】

もちろん、上記の少なくとも１つの反射率に対応する主レーダの目標反射率情報を決定するには多くの方法があり、上記の内容ｓに限定されない。

【0076】

いくつかの実施例では、生成された反射率較正表の一部のグリッドには、対応する目標反射率情報がない可能性があり、つまり、生成された反射率較正表が不完全である可能性があるため、反射率較正表の完全性を確保するために、反射率較正表の主レーダの目標反射率情報に基づいて、反射率較正表で欠落している目標反射率情報を決定し、反射較正表を補完して、更新後の反射率較正表を生成することができ、つまり、完全な反射率較正表を取得することができる。

【0077】

当業者なら自明であるが、上記の具体的な実施形態における方法において、記載された各ステップの順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定する必要がある。

【0078】

同じ構想に基づき、本発明の実施例は、点群データの融合装置を更に提供し、図３を参照すると、図３は、本発明の実施例に係る点群データの融合装置のアーキテクチャの概略図であり、前記点群データの融合装置は、取得部３０１と、調整部３０２と、融合部３０３と、反射率較正決定部３０４と、更新部３０５とを備え、ここで、
取得部３０１は、目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得するように構成され、前記主レーダは、前記目標車両のレーダのうちの１つであり、前記補助レーダは、前記目標車両のレーダのうちの、主レーダ以外のレーダであり、
調整部３０２は、事前に決定された前記補助レーダの反射率較正表に基づいて、前記補助レーダによって収集された点群データの反射率を調整して、前記補助レーダの調整後の点群データを取得するように構成され、前記反射率較正表は、前記補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表し、
融合部３０３は、前記主レーダによって収集された点群データと、前記補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得し、融合後の点群データに従って目標車両を制御するように構成される。

【0079】

いくつかの実施例において、前記融合装置は更に、反射率較正決定部３０４を備え、
前記反射率較正決定部３０４は、以下のステップにより、前記反射率較正表を決定するように構成され、前記ステップは、
サンプル車両に設置された前記主レーダによって収集された第１サンプル点群データ、及び前記サンプル車両に設置された前記補助レーダによって収集された第２サンプル点群データを取得するステップと、
前記第１サンプル点群データに基づいて、ボクセルマップデータを生成するステップであって、前記ボクセルマップデータは、複数の三次元ボクセルグリッドのデータを含み、各三次元ボクセルグリッドのデータは、前記各三次元ボクセルグリッド内の複数の走査点の点群データに基づいて決定された反射率情報を含む、ステップと、
前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成するステップと、を含む。

【0080】

いくつかの実施例において、前記反射率較正決定部３０４は、前記第１サンプル点群データに基づいて、ボクセルマップデータを生成する場合、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得し、
前記複数の姿勢データに基づき、前記第１サンプル点群データに対して歪み補正処理を実行して、処理後の第１サンプル点群データを取得し、
処理後の第１サンプル点群データに基づいて、前記ボクセルマップデータを生成するように構成される。

【0081】

いくつかの実施例において、前前記反射率情報は反射率平均値を含み、前記反射率較正決定部３０４は、
前記各三次元ボクセルグリッドについて、前記各三次元ボクセルグリッド内の各走査点の点群データの反射率に基づいて、前記各三次元ボクセルグリッドに対応する反射率平均値を決定することにより、前記ボクセルマップデータに含まれる各三次元ボクセルグリッドのデータを決定するように構成され、
前記反射率較正決定部３０４は、前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成する場合、
前記補助レーダの各走査線に対応する各反射率について、前記第２サンプル点群データから、前記各反射率に対応する複数の目標走査点の位置情報を決定し、前記複数の目標走査点の位置情報に基づいて、前記複数の目標走査点に対応する少なくとも１つの三次元ボクセルグリッドを決定し、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定し、ここで、前記複数の目標走査点は、前記各走査線で走査することによって得られた走査点であり、
決定された前記補助レーダの各走査線に対応する各反射率と一致する前記主レーダの前記目標反射率情報に基づいて、前記反射率較正表を生成するように構成される。

【0082】

いくつかの実施例において、前記三次元ボクセルグリッドのデータは、前記反射率平均値及び重み影響因子を含み、前記重み影響因子は、反射率分散及び走査点の数のうちの少なくとも１つを含む。

【0083】

前記少なくとも１つの三次元ボクセルグリッドが複数の三次元ボクセルグリッドである場合、前記反射率較正決定部３０４は、前記少なくとも１つの三次元ボクセルグリッドにそれぞれ対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの目標反射率情報を決定する場合、
前記重み影響因子に基づいて、前記少なくとも１つの三次元ボクセルグリッドの各前記三次元ボクセルグリッドに対応する重みを決定し、
前記各三次元ボクセルグリッドに対応する重み及び前記各三次元ボクセルグリッドに対応する前記反射率平均値に基づいて、前記各走査線に対応する前記各反射率と一致する前記主レーダの前記目標反射率情報を決定するように構成される。

【0084】

いくつかの実施例において、前記反射率較正決定部３０４は、前記第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成する場合、
前記サンプル車両の移動中に順次収集された複数の姿勢データを取得し、前記複数の姿勢データに基づき、前記第２サンプル点群データに対して歪み補正処理を実行して、処理後の第２サンプル点群データを取得し、
前記サンプル車両における前記主レーダの位置情報及び前記サンプル車両における前記補助レーダの位置情報に基づいて、前記第１サンプル点群データと前記第２サンプル点群データとの間の相対位置情報を決定し、
前記相対位置情報を用いて、処理後の第２サンプル点群データに対して座標変換を実行することにより、目標座標系における第２サンプル点群データを取得し、ここで、前記目標座標系は前記第１サンプル点群データに対応する座標系であり、
前記目標座標系における第２サンプル点群データ及び前記複数の三次元ボクセルグリッドのデータに基づいて、前記反射率較正表を生成するように構成される。

【0085】

いくつかの実施例において、前記第１サンプル点群データ及び前記第２サンプル点群データをそれぞれ目標サンプル点群データとして使用し、前記目標サンプル点群データが第１サンプル点群データである場合、前記主レーダを目標レーダとして使用し、前記目標サンプル点群データが第２サンプル点群データである場合、前記補助レーザレーダを目標レーダとして使用し、前記目標サンプル点群データのフレームは複数であり、各フレームの目標サンプル点群データは、目標レーダが複数の走査線を放射することによって収集された目標サンプル点群データを含み、ここで、前記目標レーダは、事前に設定された周波数に従って、走査線をバッチで放射し、各バッチで複数の走査線を放射する。

【0086】

前記反射率較正決定部３０４は、以下のステップにより、前記目標サンプル点群データに対して歪み補正処理を実行するように構成され、前記ステップは、
前記複数の姿勢データに基づいて、各バッチの走査線を放射するときの前記目標レーダの姿勢情報を決定するステップと、
前記各フレームの目標サンプル点群データ内の、最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データについて、前記最初のバッチ以外のバッチの走査線を放射するときの前記目標レーダの姿勢情報に基づいて、前記最初のバッチ以外のバッチの走査線を放射することによって収集された目標サンプル点群データの座標を、前記各フレームの目標サンプル点群データ内の、最初のバッチの走査線によって収集された目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記各フレームの目標サンプル点群データの初回目の歪み補正後の目標サンプル点群データを取得するステップと、
初回目の歪み補正後の複数のフレームの目標サンプル点群データ内の、任意の最初のフレーム以外のフレームの目標サンプル点群データについて、走査により前記任意の最初のフレーム以外のフレームの目標サンプル点群データを取得するときの前記目標レーダの姿勢情報に基づいて、前記任意の最初のフレーム以外のフレームの目標サンプル点群データの座標を、最初のフレームの目標サンプル点群データに対応する目標レーダの座標系の座標に変換して、前記任意の最初のフレーム以外のフレームの目標サンプル点群データに対応する第２次歪み補正後の目標サンプル点群データを取得するステップと、を含む。

【0087】

いくつかの実施例において、前記融合装置は更に、更新部３０５を備え、前記更新部３０５は、
前記反射率較正表において、一致する目標反射率情報を有しない走査線の反射率を決定し、
前記反射率較正表の前記主レーダの前記目標反射率情報に基づいて、前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報を決定し、
決定された前記一致する目標反射率情報を有しない走査線の反射率に対応する主レーダの目標反射率情報に基づいて、前記反射率較正表を更新するように構成される。

【0088】

いくつかの実施例において、本発明の実施例で提供される装置の機能又はモジュールは、上記の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な実現は、上記の方法の実施例の説明を参照することができ、簡潔にするために、ここでは繰り返して説明しない。

【0089】

同じ技術的構想に基づき、本発明の実施例は、電子機器を更に提供する。図４に示されたように、図４は、本発明の実施例に係る電子機器４００の概略構造図であり、前記電子機器は、プロセッサ４０１と、メモリ４０２と、バス４０３とを備える。ここで、メモリ４０２は、実行命令を記憶するように構成され、前記メモリ４０２は、内部メモリ４０２１及び外部メモリ４０２２を備える。ここで、内部メモリ４０２１は、内蔵メモリとも呼ばれ、当該メモリは、プロセッサ４０１の演算データ、及びハードディスクなどの外部メモリ４０２２と交換されるデータを一時的に記憶するように構成され、プロセッサ４０１は、内部メモリ４０２１を介して外部メモリ４０２２とデータを交換する。電子機器４００が動作する場合、プロセッサ４０１とメモリ４０２は、バス４０３を介して通信することにより、プロセッサ４０１に、上記の任意の点群データの融合方法を実行させる。

【0090】

本発明の実施例は、コンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の任意の方法の実施例に記載の点群データの融合方法を実行する。

【0091】

本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の任意の点群データの融合方法を実行させる。その詳細については、上記の方法の実施例を参照することができ、ここでは繰り返して説明しない。

【0092】

当業者なら自明であるが、説明の便宜上及び簡潔にするために、上記に説明されたシステム、装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。本発明で提供されたいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。上記で説明された装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、電気的、機械的又は他の形態の一部の通信インターフェース、装置又はユニットを介した間接的な結合又は通信接続であり得る。

【0093】

前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、その中のユニットの一部又は全部を選択して本実施例の解決策の目的を達成することができる。

【0094】

また、本発明の各実施例における各機能ユニットを１つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。

【0095】

前記機能が、ソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、プロセッサによって実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）に、本開示の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

【0096】

上記の内容は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されない。本発明に開示された技術的範囲内で、当業者が容易に想到し得る変更又は置換は、すべて本開示の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【産業上の利用可能性】

【0097】

本発明の実施例は、点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供し、当該方法は、目標車両に設置された主レーダ及び補助レーダによってそれぞれ収集された点群データを取得することであって、主レーダは、目標車両のレーダのうちの１つであり、補助レーダは、目標車両のレーダのうちの主レーダ以外のレーダであることと、事前に決定された補助レーダの反射率較正表に基づいて、補助レーダによって収集された点群データの反射率を調整して、補助レーダの調整後の点群データを取得することであって、反射率較正表は、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表すことと、主レーダによって収集された点群データと、補助レーダに対応する調整後の点群データとを融合して、融合後の点群データを取得することと、を含む。上記の方法によれば、補助レーダの各走査線に対応する各反射率と一致する主レーダの目標反射率情報を表す反射率較正表を事前に生成することにより、補助レーダによって収集された点群データを取得した後、反射率較正表に従って、補助レーダによって収集された点群データの反射率を調整して、主レーダによって収集された点群データと補助レーダによって収集された調整後の点群データの反射率に対応する測定基準を一致させることができ、これにより、融合後の点群データの歪みを軽減し、目標検出などの精度を向上させることができる。

【図1A】