特開 2022-50689 レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022050689

(43)【公開日】2022-03-30

(54)【発明の名称】レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220323BHJP

   G06T 7/521 20170101ALI20220323BHJP

【ＦＩ】

G06T7/00 650B

G06T7/521

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022010074

(22)【出願日】2022-01-26

(31)【優先権主張番号】17/325,762

(32)【優先日】2021-05-20

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

(71)【出願人】

【識別番号】516357421

【氏名又は名称】バイドゥ ユーエスエイ エルエルシー

【氏名又は名称原語表記】Ｂａｉｄｕ ＵＳＡ ＬＬＣ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】チン ファン

(72)【発明者】

【氏名】ティンフー チョウ

(72)【発明者】

【氏名】シーピン ソン

(72)【発明者】

【氏名】リャンチュン チャン

(57)【要約】

【課題】目標物体をレーダ点群データから除去し、レーダ点群データにおける目標位置領域に必要な３次元モデルを追加することにより、より豊富なレーダ点群データを得ることができる、レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラムを提供する。
【解決手段】本開示は、レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラムを開示し、レーダー点群、自動運転、ディープラーニングの技術分野に関する。該レーダ点群データの処理方法は、レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定することと、目標位置領域内に位置している目標物体の各点をレーダ点群データから除去することと、物体モデルを目標位置領域に追加して、更新されたレーダ点群データを得ることと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定することと、
前記目標位置領域内に位置している前記目標物体の各点を前記レーダ点群データから除去することと、
物体モデルを前記目標位置領域に追加して、更新されたレーダ点群データを得ることと、を含む、
レーダ点群データの処理方法。

【請求項2】

前記目標検出枠は、３次元検出枠であり、
前記目標物体は、３次元物体であり、
前記物体モデルは、３次元モデルである、
請求項１に記載のレーダ点群データの処理方法。

【請求項3】

前記目標位置領域内に位置している前記目標物体の各点を前記レーダ点群データから除去することは、
レーダ中心の座標と前記目標物体の各点の座標とを用いて、レーダ中心から前記目標物体の各点までの線分を生成することと、
各線分の長さを、予め設定された極大値に更新することと、を含む、
請求項１に記載のレーダ点群データの処理方法。

【請求項4】

物体モデルを前記目標位置領域に追加することは、
前記物体モデルの各点の位置に予め設定されたオフセット量を加算することで、前記物体モデルの、目標位置領域内における位置を決定することを含む、
請求項３に記載のレーダ点群データの処理方法。

【請求項5】

物体モデルを前記目標位置領域に追加することは、
投影行列により前記物体モデルに対してレンダリングを行い、前記物体モデルの対応する深度マップを得ることと、
前記投影行列により前記深度マップをカメラ平面に投影することと、
前記深度マップにおいてクエリを行い、レーダ光線と前記深度マップとの交点の深度値を得ることと、
前記レーダ光線と前記深度マップとの交点の深度値を用いて、前記レーダ光線の対応する線分の長さを更新することで、前記レーダ光線の、前記物体モデルの表面における交点の位置を得ることと、をさらに含む、
請求項４に記載のレーダ点群データの処理方法。

【請求項6】

物体モデルを前記目標位置領域に追加することは、
前記レーダ光線が前記物体モデルの深度マップと交差しない場合に、前記レーダ光線が変わらないように維持されることをさらに含む、
請求項５に記載のレーダ点群データの処理方法。

【請求項7】

前記レーダ点群データの処理方法は、
地面方程式を用いて、前記目標位置領域内の地面に属する点に対して補完処理を行うことをさらに含む、
請求項１～６のいずれか１項に記載のレーダ点群データの処理方法。

【請求項8】

前記レーダ点群データの処理方法は、
目標検出枠内の各点の意味情報を決定することをさらに含み、ここで、前記意味情報は、前記目標検出枠内の各点が目標物体に属するか否かを含む、
請求項１～６のいずれか１項に記載のレーダ点群データの処理方法。

【請求項9】

レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定するための決定モジュールと、
前記目標位置領域内に位置している前記目標物体の各点を前記レーダ点群データから除去するための除去モジュールと、
物体モデルを前記目標位置領域に追加して、更新されたレーダ点群データを得るための追加モジュールと、を備える、
レーダ点群データの処理装置。

【請求項10】

前記目標検出枠は、３次元検出枠であり、
前記目標物体は、３次元物体であり、
前記物体モデルは、３次元モデルである、
請求項９に記載のレーダ点群データの処理装置。

【請求項11】

前記除去モジュールは、
レーダ中心の座標と前記目標物体の各点の座標とを用いて、レーダ中心から前記目標物体の各点までの線分を生成するための線分生成サブモジュールと、
各線分の長さを、予め設定された極大値に更新するための更新サブモジュールと、を備える、
請求項９に記載のレーダ点群データの処理装置。

【請求項12】

前記追加モジュールは、
前記物体モデルの各点の位置に予め設定されたオフセット量を加算して、前記物体モデルを目標位置領域内の位置に配置するための配置サブモジュールを備える、
請求項１１に記載のレーダ点群データの処理装置。

【請求項13】

前記追加モジュールは、
投影行列により前記物体モデルに対してレンダリングを行い、前記物体モデルの対応する深度マップを得るためのレンダリングサブモジュールと、
前記投影行列により前記深度マップをカメラ平面に投影するための投影サブモジュールと、
前記深度マップにおいてクエリを行い、レーダ光線と前記深度マップとの交点の深度値を得るためのクエリサブモジュールと、
前記レーダ光線と前記深度マップとの交点の深度値を用いて、前記レーダ光線の対応する線分の長さを更新することで、前記レーダ光線の、前記物体モデルの表面における交点の位置を得るための交点サブモジュールと、をさらに備える、
請求項１２に記載のレーダ点群データの処理装置。

【請求項14】

前記追加モジュールは、
前記レーダ光線が前記物体モデルの深度マップと交差しない場合に、前記レーダ光線が変わらないように維持されるための維持サブモジュールをさらに備える、
請求項１３に記載のレーダ点群データの処理装置。

【請求項15】

前記レーダ点群データの処理装置は、
地面方程式を用いて、前記目標位置領域内の地面に属する点に対して補完処理を行うための補完モジュールをさらに備える、
請求項９～１３のいずれか１項に記載のレーダ点群データの処理装置。

【請求項16】

前記レーダ点群データの処理装置は、
目標検出枠内の各点の意味情報を決定するための意味モジュールをさらに備え、ここで、前記意味情報は、前記目標検出枠内の各点が目標物体に属するか否かを含む、
請求項９～１３のいずれか１項に記載のレーダ点群データの処理装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項８までのいずれか１項に記載のレーダ点群データの処理方法を実行させる、
電子デバイス。

【請求項18】

コンピュータに請求項１から請求項８までのいずれか１項に記載のレーダ点群データの処理方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項19】

コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項８までのいずれか１項に記載のレーダ点群データの処理方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理の技術分野に関し、特にレーダー点群、自動運転、ディープラーニングの技術分野に関する。

【背景技術】

【0002】

自動運転等の技術の台頭に伴い、安全性を考慮して、レーダーデバイスはこれらの技術においてますます重要な役割を果たしている。照明条件等に敏感ではなく、かつ距離感知能力に優れているため、レーダーはほとんどの自動運転メーカーの標準的なスペックとなっている。ディープラーニング技術と３次元技術の台頭により、レーダー点群データに基づく目標検出は、自動運転業界の感知システムの主流を占めている。しかし、現在のレーダー点群のシーン分布はロングテール効果があり、大部分のデータは一般的な物体である。自動運転等の応用シーンにとって、安全性の要求が非常に高く、異常データ、例えば低確率物体、低確率シーンのデータのラベル付け量を高める必要がある。

【0003】

現在の業界の主要な解決方法は、以下を含む。

【0004】

第一に、データマイニングに手動ラベル付けを組み合わせて、データから異常データをマイニングし、手動ラベル付けを行う。しかし、データマイニング技術は、低確率の物体自体の出現確率が低く、元ラベル付けデータが極めて少ないため、良好な検出器を訓練することが困難であり、大量のデータの中で正確なデータマイニングを行うことも困難である。収集したデータにこのような異常物体が存在せず、マイニング結果が得られない可能性がある。

【0005】

第二に、エミュレータを用いてシミュレーションデータを生成する。しかし、エミュレータ自体のコストが高く、拡張性もないため、実際のデータとデータ品質に差が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、レーダ点群データの処理方法、装置、電子デバイス、記憶媒体、及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の１つの態様では、レーダ点群データの処理方法を提供し、該方法は、
レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定することと、
目標位置領域内に位置している目標物体の各点をレーダ点群データから除去することと、
物体モデルを目標位置領域に追加して、更新されたレーダ点群データを得ることと、を含む。

【0008】

本開示のもう１つの様態では、レーダ点群データの処理装置を提供し、該装置は、
レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定するための決定モジュールと、
目標位置領域内に位置している目標物体の各点をレーダ点群データから除去するための除去モジュールと、
物体モデルを目標位置領域に追加して、更新されたレーダ点群データを得るための追加モジュールと、を備える。

【0009】

本開示のもう１つの様態では、電子デバイスを提供し、該電子デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも１つのプロセッサにより実行される場合、本開示の任意の実施形態の方法を実行させることを特徴とする。

【0010】

本開示のもう１つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は、本開示の任意の実施形態の方法をコンピュータに実行させる。

【0011】

本開示のもう１つの様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、本開示の任意の実施形態の方法を実現する。

【0012】

本開示の技術によれば、目標物体をレーダ点群データから除去し、レーダ点群データにおける目標位置領域に必要な３次元モデルを追加することにより、より豊富なレーダ点群データを得ることができる。

【0013】

ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

【図面の簡単な説明】

【0014】

【図1】本開示の実施形態によるレーダ点群データの処理方法のフローチャート概略図である。

【図2】本開示の他の実施形態によるレーダ点群データの処理方法のフローチャート図である。

【図3】本開示の他の実施形態によるレーダ点群データの処理方法のフローチャート図である。

【図4】本開示の実施形態によるレーダ点群データの処理装置のブロック図である。

【図5】本開示の他の実施形態によるレーダ点群データの処理装置のブロック図である。

【図6】本開示の他の実施形態によるレーダ点群データの処理装置のブロック図である。

【図7】本開示の応用例の概略図である。

【図8】本開示の応用例における元のレーダ点群の効果図である。

【図9】本開示の応用例における新たなレーダ点群の効果図である。

【図10】本開示の実施形態によるレーダ点群データの処理方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0015】

以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0016】

図１は、本開示の実施形態によるレーダ点群データの処理方法のフローチャート概略図である。該方法は、以下を含む。

【0017】

Ｓ１１において、レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定する。

【0018】

Ｓ１２において、目標位置領域内に位置している目標物体の各点をレーダ点群データから除去する。

【0019】

Ｓ１３において、物体モデルを目標位置領域に追加して、更新されたレーダ点群データを得る。

【0020】

例示的に、レーダ（ＬｉＤＡＲ）点群データは、レーダ点群、レーザレーダ点群、レーザレーダ点群データ等と称することもできる。レーダ点群データ中の各点は、３次元座標情報を含むことができ、例えば、レーダ点群データ中の各点の座標情報をＸ、Ｙ、Ｚの３つの軸の座標で表すことができる。レーダ点群データ中の各点は、色情報、反射強度情報、エコー回数情報等をさらに含む。

【0021】

元のレーダ点群データには、１つまたは複数の物体を含むことができる。元のレーダ点群データから除去する必要がある物体を目標物体と称することができる。元のレーダ点群データから毎回除去できる目標物体の数は、１つまたは複数であってもよく、本開示ではこれに対して限定しない。

【0022】

元のレーダ点群データは、ラベル付けされた３次元物体の目標検出枠を含んでもよい。該目標検出枠は、手動ラベル付けまたは自動ラベル付けにより決定されてもよい。目標検出枠により、目標物体の範囲、即ち目標物体が位置している目標位置領域を決定することができる。目標位置領域内に位置している各点に対して、除去処理を行うことができる。例えば、これらの点の極大値を設定する等の方法を用いて、目標位置領域内に位置している目標物体の各点をレーダ点群データから除去し、即ち目標物体をレーダ点群データから除去する。除去処理後、目標物体を含まないレーダ点群データを得ることができる。目標物体を含まないレーダ点群データには、予め生成された３次元モデルを追加することができる。例えば、３次元モデル生成ソフトにより得られた３次元モデル、即ち物体モデルを目標位置領域に追加することにより、更新されたレーダ点群データを得ることができる。

【0023】

本開示の実施形態によれば、目標物体をレーダ点群データから除去し、レーダ点群データにおける目標位置領域に必要な３次元モデルを追加することにより、より豊富なレーダ点群データを得ることができる。さらに、より豊富な応用シーンのレーダー点群データの需要を満たすのに有利である。

【0024】

図２は、本開示の他の実施形態によるレーダ点群データの処理方法のフローチャート図である。該実施形態のレーダ点群データの処理方法は、上述した実施形態の各ステップを含むことができる。１つの実施形態において、該目標検出枠は３次元検出枠であり、該目標物体は３次元物体であり、該物体モデルは３次元モデルである。上述した実施形態の例を参照すると、レーダ点群データにおける目標検出枠は、３次元座標情報、深度、方向等により表されることができる。３次元座標情報により、除去される必要のある目標物体の各点の位置を表すこともできる。追加する必要のある物体モデルは、予め３次元モデル生成ソフトを用いて作成された３次元モデルであってもよい。３次元の目標検出枠、目標物体と物体モデルを用いることにより、より現実的で正確なレーダー点群データを得るのに有利である。

【0025】

１つの実施形態において、ステップＳ１２は、レーダ中心の座標と目標物体の各点の座標とを用いて、レーダ中心から目標物体の各点までの線分を生成するＳ２１と、各線分の長さを、予め設定された極大値に更新するＳ２２を含む。

【0026】

例示的に、レーダ中心の座標から目標物体の各点までの間を線で結ぶことができ、これらの線の方向は、レーダ中心から目標物体の点に向けられることができる。レーダ中心と各点との間には一定の距離があるため、該距離をレーダ中心と各点とを結ぶ線の長さとすることができる。一般的に、距離が短いほど、結ばれた線の長さは短くなり、距離が長いほど、結ばれた線の長さは長くなる。これらの結ばれた線の長さをある極大値に設定した場合に、レーダ中心から目標物体の各点までの距離が極大となり、目標物体が位置している位置を、物体がないと見なすことに相当し、目標物体をレーダ点群データから容易に除去することができる。該極大値は、異なる応用シーンに応じて柔軟に設定することができ、本開示では、該極大値の具体的な値の範囲を限定しない。

【0027】

１つの実施形態において、ステップＳ１３は、物体モデルの各点の位置に予め設定されたオフセット量を加算することで、物体モデルの、目標位置領域内における位置を決定するＳ２３を含む。例えば、予め設定されたオフセット量に３次元物体モデルの各点の座標を加算することにより、該３次元物体モデルを目標物体を含まないレーダ点群データに配置することを容易に実現することができる。該オフセット量は、異なる応用シーンに応じて柔軟に設定することができ、本開示では、該オフセット量の具体的な値の範囲を限定しない。

【0028】

１つの実施形態において、ステップＳ１３は、投影行列により物体モデルに対してレンダリングを行い、物体モデルの対応する深度マップを得るＳ２４と、投影行列により深度マップをカメラ平面に投影するＳ２５と、深度マップにおいてクエリを行い、レーダ光線と深度マップとの交点の深度値を得るＳ２６と、レーダ光線と深度マップとの交点の深度値を用いて、レーダ光線の対応する線分の長さを更新することで、レーダ光線の、物体モデルの表面における交点の位置を得るＳ２７と、を含む。

【0029】

投影行列は３次元図形の１つの基本的な行列であり、投影行列を用いることで３次元の物体モデルの各頂点を乗算することができ、３次元の物体モデルに対してレンダリングを行い、該３次元の物体モデルの対応する深度マップを得ることができる。例えば、３次元の物体モデルは、複数のパッチから構成されることができ、３つの頂点ごとに１つの三角パッチを結ぶことができ、３次元の物体モデルのすべての頂点に投影行列を乗算して、該３次元の物体モデルの対応する深度マップを得ることができる。該深度マップに投影行列をさらに乗算し、深度マップをカメラ平面に投影することができる。全てのレーダ光線をトラバースして、レーダ中心から放射され、かつ目標領域位置の全ての点を通過するレーダ光線を得る。深度マップにおいてクエリを行い、各レーダ光線と物体モデルの深度マップとが交差するか否かを求めることができる。交差する場合には、レーダ光線と深度マップとの交点の深度値を得ることができる。これらの交点の深度値を用いて、深度マップと交点を有するこれらのレーダ光線の対応する線分の長さを更新する。例えば、元々これらのレーダ光線の長さは極大値であり、これらの極大値をレーダ中心から各交点までの距離に対応して更新してもよい。このように、投影行列により物体モデルに対してレンダリングを行い、物体モデルの深度マップを得、深度マップにおいてレーダ光線との交点を求めることにより、深度値クエリの速度を高めることができ、３次元物体モデルの表面におけるレーダ光線の交点の位置をより早く求めることができる。

【0030】

１つの実施形態において、ステップＳ１３は、レーダ光線が物体モデルの深度マップと交差しない場合に、レーダ光線が変わらないように維持されるＳ２８をさらに含む。レーダ光線が深度マップと交差しない場合に、レーダ光線の長さ等を一定に保つことができる。この場合、目標位置領域中の一部の点を新たに追加された物体モデルと区別してもよく、目標物体とは全く異なるモデルを追加することができる。

【0031】

図３は、本開示の他の実施形態によるレーダ点群データの処理方法のフローチャート図である。該実施形態のレーダ点群データの処理方法は、上述した実施形態の各ステップを含むことができる。

【0032】

１つの実施形態において、該方法は、地面方程式を用いて、目標位置領域内の地面に属する点に対して補完処理を行うＳ３１をさらに含む。

【0033】

３次元の物体モデルを追加した後、レーダ点群データのうち、元の目標物体が位置している目標位置領域に３次元の物体モデルに属さない点がいくつか存在する可能性がある。これらの点は、地面に属する点として、地面方程式を用いて補完処理することができる。これにより、実際のシーンにより近いレーダ点群データを得ることができる。

【0034】

また、レーダ点群データに、補完が必要な、例えば壁面等の他の物体に属する点が含まれている場合には、関連する補完アルゴリズムを用いて補完処理を行うことができる。

【0035】

１つの実施形態において、該方法は、目標検出枠内の各点の意味情報を決定するＳ３２をさらに含み、ここで、意味情報は、目標検出枠内の各点が目標物体に属するか否かを含む。

【0036】

例示的に、目標検出枠内に位置している各点の意味情報は、それらの点が目標物体に属することを表すことができ、目標検出枠の外に位置している各点の意味情報は、それらの点が目標物体に属さないことを表すことができる。具体的には、例えば、目標物体が車両である場合には、目標検出枠により決定された目標物体の範囲内の各点の意味情報は、該点が該車両に属することを示すことができる。一方、目標物体の範囲外にある点の意味情報は、該点が該車両に属さないことを表すことができる。ステップＳ１１、Ｓ１２、Ｓ１３は、目標検出枠内の各点の意味情報を決定した後に実行される。例えば、Ｓ１２では、これらの点の意味情報を用いて、目標物体に属する点を正確に判定することができるので、レーダ中心とこれらの点とを用いて複数の線分を生成することができる。

【0037】

図４は、本開示の一実施形態によるレーダ点群データの処理装置のブロック図である。当該装置は、
レーダ点群データにおける目標検出枠を用いて、目標物体が位置している目標位置領域を決定するための決定モジュール４０１と、
目標位置領域内に位置している目標物体の各点をレーダ点群データから除去するための除去モジュール４０２と、
物体モデルを目標位置領域に追加して、更新されたレーダ点群データを得るための追加モジュール４０３と、を備えることができる。

【0038】

図５は、本開示の別の実施形態によるレーダ点群データの処理装置のブロック図である。当該実施形態のレーダ点群データの処理装置は、上記装置の実施形態の様々な構成要素を含むことができる。本実施形態では、１つの実施例では、目標検出枠は３次元検出枠であり、目標物体は３次元物体であり、物体モデルは３次元モデルである。

【0039】

一実施形態では、除去モジュール４０２は、レーダ中心の座標と目標物体の各点の座標とを用いて、レーダ中心から目標物体の各点までの線分を生成するための線分生成サブモジュール５０１と、各線分の長さを、予め設定された極大値に更新するための更新サブモジュール５０２と、を備える。

【0040】

一実施形態では、追加モジュール４０３は、物体モデルの各点の位置に予め設定されたオフセット量を加算して、物体モデルを目標位置領域内の位置に配置するための配置サブモジュール５０３を備える。

【0041】

一実施形態では、追加モジュール４０３は、投影行列により物体モデルに対してレンダリングを行い、物体モデルの対応する深度マップを得るためのレンダリングサブモジュール５０４と、投影行列により深度マップをカメラ平面に投影するための投影サブモジュール５０５と、深度マップにおいてクエリを行い、レーダ光線と深度マップとの交点の深度値を得るためのクエリサブモジュール５０６と、レーダ光線と深度マップとの交点の深度値を用いて、レーダ光線の対応する線分の長さを更新することで、レーダ光線の、物体モデルの表面における交点の位置を得るための交点サブモジュール５０７と、をさらに備える。

【0042】

一実施形態では、追加モジュール４０３は、レーダ光線が物体モデルの深度マップと交差しない場合に、レーダ光線が変わらないように維持されるための維持サブモジュール５０８をさらに備える。

【0043】

図６は、本開示の別の実施形態によるレーダ点群データの処理装置のブロック図である。当該実施形態のレーダ点群データの処理装置は、上記装置の実施形態の様々な構成要素を含むことができる。本実施形態では、１つの実施例では、該装置は、地面方程式を用いて、目標位置領域内の地面に属する点に対して補完処理を行うための補完モジュール６０１をさらに備える。

【0044】

一実施形態では、該装置は目標検出枠内の各点の意味情報を決定するための意味モジュール６０２をさらに備え、ここで、意味情報は、目標検出枠内の各点が目標物体に属するか否かを含む。

【0045】

本開示の実施形態における各レーダ点群データの処理装置における各ユニット、モジュール、またはサブモジュールの機能は、上述したレーダ点群データの処理方法における対応する説明を参照することができ、ここでは再度言及しない。

【0046】

本開示の実施形態によれば、本開示はまた、電子デバイス、可読記憶媒体、およびプログラムを提供する。

【0047】

ある応用例では、本開示は、画像レンダリング技術と組み合わせて、ラベル付けされた３次元レーダー点群を編集し、元ラベル付け物体を置き換え、新たな物体に置き換えることができ、出現確率の低い物体を増加させることができる一方で、出現したことのない物体を強化することができ、同時に、自動運転ではあまり出現しないシーンを増加させることができる。

【0048】

本開示は、レンダリング技術と組み合わせて、元レーダに対して直接点群の編集を行い、ラベル付けされた異常データを得る。以下では、図７を参照して、本開示の態様の具体的な流れをモジュールと関連して説明することができる。

【0049】

（元物体編集モジュール７０２）
元のレーダ点群７０１は、ラベル付けされた３次元物体の目標検出枠を有することができる。該目標検出枠は、手動ラベル付けまたは自動ラベル付けにより決定されてもよく、目標検出枠の位置は、３次元座標情報によって表されてもよい。目標検出枠によって、目標物体の範囲を決定し、その範囲内の各点の意味情報を算出することにより、元の目標物体を編集することができる。例えば、目標物体が車両であれば、目標検出枠により決定された目標物体の範囲内の各点の意味情報は、該点が該車両に属することを表すことができる。一方、目標物体の範囲外にある点の意味情報は、該点が該車両に属さないことを表すことができる。元物体編集モジュールでは、目標物体の各点をトラバースし、これらの点をレーダ中心と複数の線分に結ぶことができる。各線分の長さを極大値に更新する。例えば、自動運転ではこの極大値は３００ｍであってもよい。このようにして、物体が図から取り除かれ、物体のないレーダ点群７０３と呼ばれる。この例では、物体のないレーダ点群７０３は、主に目標物体が取り除かれレーダ点群、すなわち目標物体が含まれていないレーダ点群である。

【0050】

（３次元レンダリングモジュール７０４）
３次元レンダリングモジュールでは、物体のないレーダ点群７０３において、先に取り除かれた目標物体の位置に、ＣＡＤ形式の３次元モデル等の３次元モデルを配置する。たとえば、あるあらかじめ設定されたオフセットに３次元モデルの各点の座標を加算することで、目標物体が取り除かれた位置にその３次元モデルを配置することが実現される。

【0051】

３次元モデルに対応する深度マップは、投影行列によってレンダリングすることで得られる。例えば、オフセット後の３次元モデルの頂点に投影行列を乗算して、該３次元モデルの対応する深度マップを得る。すべてのレーダー光線をトラバースする。

【0052】

その後、この深度マップを、同じ投影行列によって同じカメラ平面に投影することもできる。例えば、この深度マップに投影行列を乗算することにより、深度マップをカメラ平面に投影することができる。

【0053】

深度マップにおいてクエリを行い、レーダー光線が深度マップにおける目標物体と交差しない場合には、レーダー光線が変わらないように維持される一方、交差する場合には、光線と深度マップとの交点を算出し、交点の深度値を得て更新を行う。例えば、レーダ光線の対応する線分の長さを更新する。これにより、レーダ光線と深度マップとの交点を３次元モデルの表面に転写することができる。例えば、レーダ光線の、３次元モデルの表面における交点の座標位置等の情報を得る。この３次元レンダリングモジュールにより、深度値クエリの速度を高めることができる。

【0054】

最終的に、３次元レンダリングモジュールによって、新たなレーダ点群７０５を得ることができる。例示的な効果は、効果図８および９を参照することができる。ここで、図８は元のレーダ点群の例であり、目標物体が車両であると仮定し、図９は編集後の新たなレーダ点群である。図８と図９から、レーダ点群を編集することにより、元々車両であった目標物体を、ある歩行者の３次元モデルに変換することができ、レーダ点群の遮蔽関係も依然として成立していることが分かる。

【0055】

本開示の方案によれば、本来のラベル付けされた物体（すなわち、目標物体）をいくつかの一般的でない物体（様々な３次元モデル）に置き換えることができ、それによって大量の異常クラスラベル付けデータを得ることができる。これらの大量の異常クラスタグ付けデータを利用して自動運転シミュレーションを行うことにより、自動運転の安全性を向上させることができる。これらの大量の異常クラスタグ付けデータを用いてニューラルネットワークを訓練することにより、より正確なニューラルネットワークモデルを得ることができる。

【0056】

図１０は、本開示の実施形態を実現するための電子デバイス８００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

【0057】

図１０に示すように、デバイス８００は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム命令、又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できるコンピューティングユニット８０１を含む。ＲＡＭ８０３には、デバイス８００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。コンピューティングユニット８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とは、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。

【0058】

デバイス８００における複数のコンポーネントは、Ｉ／Ｏインターフェース８０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット８０６と、種々なディスプレイやスピーカなどの出力ユニット８０８と、磁気ディスクや光学ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット８０９と、を備える。通信ユニット８０９は、デバイス８００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

【0059】

コンピューティングユニット８０１は、処理及びコンピューティング能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。コンピューティングユニット８０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）コンピューティングチップ、様々な機械学習モデルアルゴリズムを実行するコンピューティングユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。コンピューティングユニット８０１は、上述で説明された各方法及び処理、例えばレーダ点群データの処理方法を実行する。例えば、いくつかの実施形態では、レーダ点群データの処理方法を、記憶ユニット８０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ８０２及び／又は通信ユニット８０９を介して、デバイス８００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ８０３にロードされてコンピューティングユニット８０１によって実行される場合に、前述したレーダ点群データの処理方法の１つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、コンピューティングユニット８０１は、他の任意の適当な方式（例えば、ファームウェア）によりレーダ点群データの処理方法を実行するように構成することができる。

【0060】

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

【0061】

本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。

【0062】

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて用いられるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

【0063】

ユーザとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニターなど）、ユーザが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボールなど）を備えるができる。ユーザとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなど）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力など）によって、ユーザからの入力を受付取るができる。

【0064】

ここに記載されているシステムと技術を、バックグラウンド部品に含まれるコンピューティングシステム（例えば、データサーバとして）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロント部品を含むコンピューティングシステム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合せのコンピューティングシステムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0065】

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント－サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。

【0066】

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0067】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善などは、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】