特表 2022-552753 点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-20

(54)【発明の名称】点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06V 10/25 20220101AFI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

   G06V 10/82 20220101ALI20221213BHJP

【ＦＩ】

G06V10/25

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021564869

(86)(22)【出願日】2021-04-28

(85)【翻訳文提出日】2021-11-01

(86)【国際出願番号】 CN2021090660

(87)【国際公開番号】W WO2022062397

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】202011010562.6

(32)【優先日】2020-09-23

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ヤン グオルン

(72)【発明者】

【氏名】リアン シーウェン

(72)【発明者】

【氏名】ワン ジョー

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA24

5L096DA02

5L096FA69

5L096GA34

5L096GA51

5L096HA08

5L096HA11

(57)【要約】

本願の実施例は点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体を提供し、本願の実施例は、まず、認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得、次に、前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定し、その後、ラベリング対象点群データ内の対象の手動ラベリングボックスを取得し、最後に、前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定する。

【特許請求の範囲】

【請求項1】

認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るステップと、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するステップと、
ラベリング対象点群データ内の対象の手動ラベリングボックスを取得するステップと、
前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するステップと、を含む、点群データラベリング方法。

【請求項2】

認識待ち点群データに対して対象認識を行い、認識された対象の検出ボックスの信頼度を得るステップをさらに含み、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するステップは、
認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得るステップと、
前記認識待ち点群データのうち、前記残りの検出ボックス以外の点群データをラベリング対象点群データとするステップと、を含む
請求項１に記載の方法。

【請求項3】

前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するステップは、
前記残りの検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するステップを含む
請求項２に記載の方法。

【請求項4】

異なる種類の対象の検出ボックスの信頼度閾値が異なり、
認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得るステップは、
各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値以上である場合、該検出ボックスを残りの検出ボックスとして特定するステップを含む
請求項２又は３に記載の方法。

【請求項5】

各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値より小さい場合、該検出ボックスを除去するステップをさらに含む
請求項４に記載の方法。

【請求項6】

前記残りの検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するステップは、
各残りの検出ボックスについて、該検出ボックスと少なくとも部分的に重なる手動ラベリングボックスが存在する場合、該検出ボックス、及び該検出ボックスと少なくとも部分的に重なる手動ラベリングボックスをラベリングボックス対とするステップと、
各ラベリングボックス対について、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定し、前記重なり具合が予め設定された閾値より大きい場合、手動ラベリングボックスを除去するステップと、
前記残りの検出ボックス及び残りの手動ラベリングボックスを、前記認識待ち点群データ内の対象のラベリングボックスとするステップと、を含む
請求項３に記載の方法。

【請求項7】

該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定するステップは、
該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの間の共通部分を特定するステップと、
該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの間の和集合を特定するステップと、
前記和集合及び前記共通部分に基づき、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの間の重なり具合を特定するステップと、を含む
請求項６に記載の方法。

【請求項8】

認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るステップは、
訓練済みのニューラルネットワークを使用して認識待ち点群データに対して対象認識を行い、認識された対象の検出ボックスを前記ニューラルネットワークで出力するステップを含む
請求項１から３のいずれか１項に記載の方法。

【請求項9】

前記ニューラルネットワークで各検出ボックスの信頼度がさらに出力するステップをさらに含む
請求項８に記載の方法。

【請求項10】

認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るように構成される対象認識部と、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するように構成される点群処理部と、
ラベリング対象点群データ内の対象の手動ラベリングボックスを取得するように構成されるラベリングボックス取得部と、
前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するように構成されるラベリングボックス特定部と、を備える、点群データラベリング装置。

【請求項11】

プロセッサ、記憶装置、及びバスを備える電子機器であって、前記記憶装置には前記プロセッサにより実行可能な機械可読命令が記憶されており、電子機器の動作中、前記プロセッサと前記記憶装置はバスを介して通信し、前記機械可読命令は前記プロセッサにより実行されると、請求項１から９のいずれか１項に記載の点群データラベリング方法のステップを実行する、電子機器。

【請求項12】

プロセッサにより実行されると、請求項１から９のいずれか１項に記載の点群データラベリング方法のステップを実行するコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。

【請求項13】

電子機器内で実行される場合、前記電子機器内のプロセッサにより実行されると、請求項１から９のいずれか１項に記載の点群データラベリング方法のステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、出願番号が２０２０１１０１０５６２．６であり、出願日が２０２０年０９月２３日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全てが参照によって本願に組み込まれる。

【0002】

本願は画像処理の技術分野に関し、具体的には点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

レーザーレーダー（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲと略称）に基づく３Ｄ目標検出は自動運転分野における核心技術の１つである。具体的には、目標検出の過程で、まず、レーダーを用いて環境内の物体の外観表面上の点データを取得し、点群データを得、その後、点群データを手動でラベリングし、目標対象のラベリングボックスを得る。

【0004】

点群データの手動ラベリング方法は人件費が高く、しかも点群ラベリングの品質及び点群ラベリングの数量が保証できず、３Ｄ目標検出の検出精度が低下する。

【発明の概要】

【0005】

本願の実施例は少なくとも、点群ラベリングの品質及び数量を高めて、３Ｄ目標検出の検出精度を向上させることができる点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。

【0006】

第１態様では、本願の実施例は点群データラベリング方法を提供する。前記点群データラベリング方法は、
認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るステップと、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するステップと、
ラベリング対象点群データ内の対象の手動ラベリングボックスを取得するステップと、
前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するステップと、を含む。

【0007】

該態様では、点群データを自動的にラベリングして得られた対象の検出ボックスと、点群データの自動ラベリング後に残った点群データを手動でラベリングして得られた手動ラベリングボックスとをマージ処理することで、物体のラベリングボックスを正確に特定することができ、ラベリングの速度が上げられ、ラベリングのコストが削減される。

【0008】

第２態様では、本願の実施例は点群データラベリング装置を提供する。前記点群データラベリング装置は、
認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るように構成される対象認識部と、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するように構成される点群処理部と、
ラベリング対象点群データ内の対象の手動ラベリングボックスを取得するように構成されるラベリングボックス取得部と、
前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するように構成されるラベリングボックス特定部と、を備える。

【0009】

第３態様では、本願の実施例は、プロセッサ、記憶装置、及びバスを備える電子機器を提供し、前記記憶装置には前記プロセッサにより実行可能な機械可読命令が記憶されており、電子機器の動作中、前記プロセッサと前記記憶装置はバスを介して通信し、前記機械可読命令は前記プロセッサにより実行されると、上記点群データラベリング方法のステップを実行する。

【0010】

第４態様では、本願の実施例は、プロセッサにより実行されると、上記点群データラベリング方法のステップを実行するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【0011】

第５態様では、本願の実施例は、電子機器内で実行される場合、前記電子機器内のプロセッサにより実行されると、上記点群データラベリング方法のステップを実現するコンピュータ可読コードを含むコンピュータプログラムを提供する。

【0012】

本願の実施例の上記目的、特徴及び利点をより分かりやすくするために、以下において、特に、好ましい実施例を挙げて、図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0013】

【図1】本願の実施例により提供される点群データラベリングシステムの構成図を示す。

【図2】本願の実施例により提供される点群データラベリング方法のフローチャートを示す。

【図3A】本願の実施例において対象ラベリングボックスをスクリーニングした後の点群データの模式図を示す。

【図3B】本願の実施例におけるラベリング対象点群データの模式図を示す。

【図3C】本願の実施例においてスクリーニングして得られた残りの対象ラベリングボックスの模式図を示す。

【図3D】本願の実施例における手動ラベリング後の点群データの模式図を示す。

【図3E】本願の実施例において手動ラベリングボックスと対象ラベリングボックスとをマージした後の点群データの模式図を示す。

【図4】本願の実施例により提供される点群データラベリング装置の構成図を示す。

【図5】本願の実施例により提供される電子機器の構成図を示す。

【発明を実施するための形態】

【0014】

本願の実施例の技術的解決手段をより明瞭に説明するために、以下において、実施例に用いられる図面について簡単に説明し、ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本願に合致する実施例を示し、明細書とともに本願の実施例の技術的解決手段を説明するために用いられる。以下の図面は、本願のいくつかの実施例のみを示すため、範囲を限定するものと見なされるべきではなく、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の関連図面に想到し得ることを理解すべきである。

【0015】

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本願の実施例における図面を参照し、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の一部の実施例に過ぎず、全ての実施例ではない。通常、ここの図面で説明及び図示されている本願の実施例のコンポーネントは、様々な異なる構成で配置及び設計されてもよい。従って、図面において提供される本願の実施例についての以下の詳細な説明は、特許請求される本願の実施例の範囲を限定することを意図するものではなく、単に本願の実施例の選択される実施例を示すものである。本願の実施例に基づき、当業者が創造的な労力を要することなく得られる他の全ての実施例は、いずれも本願の実施例による保護範囲に属する。

【0016】

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある１項が１つの図面において定義されれば、以降の図面においてそれをさらに定義し解釈する必要がないことに注意すべきである。

【0017】

本願の用語の「及び／又は」は、関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３つの場合を示してもよい。また、本明細書の用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣからなる集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。

【0018】

ＬｉＤＡＲに基づく３Ｄ目標検出アルゴリズムは自動運転分野における核心技術であり、レーダーを用いて環境内の物体の外観表面上の点データの集合、即ち点群（三次元座標やレーザーの反射強度等の情報が含まれる）を取得する。ＬｉＤＡＲに基づく３Ｄ目標検出アルゴリズムは主に点群空間において、主に目標物体の縦横高さ、中心点及び向き角情報を含む目標物体の３Ｄ幾何情報等の情報を検出する。モバイル機器やスマートカーでの３Ｄセンサー等の装置の普及に伴い、３Ｄシーンの点群データの取得がますます容易になっており、関連技術では、ＬｉＤＡＲに基づく３Ｄ目標検出アルゴリズムはほとんど手動でラベリングされたラベルデータに依存している。しかし、大量の点群データを手動でラベリングする費用が非常に高価で、しかもラベリングされたデータの品質と数量により、３Ｄ目標検出アルゴリズムの性能に深刻な影響が及ぼされる。つまり、関連技術では、点群データの手動ラベリングはコストが高く、且つ品質と速度が低い。

【0019】

本願は点群データラベリング方法を提供し、本願の実施例では、点群データを自動的にラベリングして得られた対象の検出ボックスと、点群データの自動ラベリング後に残った点群データを手動でラベリングして得られた手動ラベリングボックスとをマージ処理することで、対象のラベリングボックスを正確に特定することができ、ラベリングの速度が上げられ、ラベリングのコストが削減される。

【0020】

以下において、本願の実施例に開示される点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体について具体的な実施例により説明する。

【0021】

図１に示すように、本願の実施例は点群データラベリングシステム１００の一選択的構成図を提供し、点群データラベリングシステム１００には、サーバー／クライアント端末２００、レーダー３００及び手動ラベリング端末４００が含まれる。レーダー３００（図１にはレーダーが例示的に示される）は、環境内の物体の外観表面上の点群データを取得して認識待ち点群データを得、認識待ち点群データをサーバー／クライアント端末２００に送信するために用いられ、サーバー／クライアント端末２００は、レーダーから受信した認識待ち点群データに対して対象認識を行い、認識待ち点群データ内の対象の検出ボックスを得、認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定し、ラベリング対象点群データを手動ラベリング端末４００（図１には手動ラベリング端末が例示的に示される）に送信し、手動ラベリング端末４００は、作業者によるラベリング操作に基づき、ラベリング対象点群データに対する手動ラベリングボックスを生成し、作業者からの送信命令に応じて、生成された手動ラベリングボックスをサーバー／クライアント端末２００に送信し、サーバー／クライアント端末２００は、ラベリング対象点群データ内の対象の手動ラベリングボックスを取得し、検出ボックス及び手動ラベリングボックスに基づき、認識待ち点群データ内の対象のラベリングボックスを特定する。

【0022】

図２は本願の実施例により提供される点群データラベリング方法のフローチャートを示し、図２に示すように、本願の実施例は、点群データラベリング方法を開示し、該方法はサーバー又はクライアント端末に適用し、収集された認識待ち点群データに対して対象認識を行い、物体のラベリングボックスを特定するために用いられ得る。該点群データラベリング方法は以下のステップを含んでもよい。

【0023】

Ｓ１１０で、認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得る。

【0024】

ここで、訓練済みのニューラルネットワークを使用して、上記認識待ち点群データに対して対象認識を行い、少なくとも１つの対象の検出ボックスを得てもよい。

【0025】

また、上記ニューラルネットワークを使用して対象認識を行うことで対象の検出ボックスを得るとともに、各対象の検出ボックスに対応する信頼度を得ることができる。検出ボックスに対応する対象の種類は、自動車、歩行者、自転車利用者及びトラック等であってもよい。異なる種類の対象の検出ボックスの信頼度が異なる。

【0026】

上記ニューラルネットワークは、手動でラベリングされる点群データサンプルを用いて訓練されたものであってもよい。点群データサンプルには、サンプル点群データ、及び上記サンプル点群データを手動でラベリングして得られた検出ボックスが含まれる。

【0027】

上記認識待ち点群データは、予め設定された領域をレーダーで検出して得られた点群データの集合であってもよい。

【0028】

訓練済みのニューラルネットワークに基づいて対象認識及び検出ボックス信頼度の特定を自動的に行うことで、対象認識の精度及び速度を高め、手動ラベリングによる不安定性を低減することができる。

【0029】

Ｓ１２０で、前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定する。

【0030】

ニューラルネットワークは上記認識待ち点群データに対して対象認識を行って検出ボックスを特定するとともに、各検出ボックスの信頼度を生成する。ここで、次のサブステップによりラベリング対象点群データを特定してもよい。

【0031】

認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得、そして前記認識待ち点群データのうち、前記残りの検出ボックス以外の点群データをラベリング対象点群データとする。

【0032】

予め設定された信頼度閾値で認識精度が低い点群データの自動ラベリング結果を除去することは、点群データのラベリング品質の向上に寄与する。

【0033】

ニューラルネットワークは、対象の種類によって検出精度が異なるため、同じ信頼度で全ての種類の対象の検出ボックスを除去すると、残りの検出ボックスの精度が低下することがあり、従って、事前にニューラルネットワークの異なる種類の対象に対する検出精度に基づき、異なる種類の対象の検出ボックスに異なる信頼度閾値を設定してもよい。

【0034】

例えば、対象の種類が自動車である検出ボックスには信頼度閾値０．８１、対象の種類が歩行者である検出ボックスには信頼度閾値０．７０、対象の種類が自転車利用者である検出ボックスには信頼度閾値０．７２、対象の種類が乗用車である検出ボックスには信頼度閾値０．８３と設定される。

【0035】

ニューラルネットワークの対象認識精度に基づいて信頼度閾値を設定することで、不正確な検出ボックスを効果的に除去し、残りの検出ボックスの精度を向上させることができ、それにより残りの検出ボックスに基づいて特定された対象のラベリングボックスの精度を向上させることができる。

【0036】

異なる信頼度閾値を設定した後、以下のステップにより、認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得てもよい。

【0037】

各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値以上である場合、該検出ボックスを残りの検出ボックスとして特定する。各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値より小さい場合、該検出ボックスを除去する。

【0038】

対象の種類に一致する信頼度閾値に基づき、対応する対象種類を有する、信頼度が低い検出ボックスを除去することで、点群データの自動ラベリングのラベリング品質が向上する。

【0039】

上記検出ボックスには、レーダーにより収集された対応する対象の点群データが含まれる。

【0040】

Ｓ１３０で、ラベリング対象点群データ内の対象の手動ラベリングボックスを取得する。

【0041】

対象の検出ボックスを自動的にラベリングすると、本来、ラベリングが必要とされる対象のラベリングボックスをいくつか見逃してしまう可能性があるため、対象の検出ボックスで囲まれた点群データ以外の点群データを手動でラベリングし、手動ラベリングにより上記手動ラベリングボックスを得る必要がある。自動的に検出して得られた対象の検出ボックス及び手動でラベリングして得られた手動ラベリングボックスは、点群データ集合内の対象をより全面的かつ正確に示すことができる。

【0042】

ここで、次のステップにより手動ラベリングボックスを得てもよい。

【0043】

前記ラベリング対象点群データを手動ラベリング端末に送信することにより、作業者が手動ラベリング端末を通じてラベリング対象点群データを手動でラベリングして、手動ラベリングボックスを得るようにし、そして手動ラベリング端末で手動ラベリングボックスをサーバー又はクライアント端末に送信する。サーバー又はクライアント端末で手動ラベリングボックスを受信する。

【0044】

自動的にラベリングして得られた対象の検出ボックスで囲まれた点群データを除き、残りの点群データを手動ラベリング端末に送信して、残りの点群データの手動ラベリングボックスを得ることで、手動でラベリングされた点群データ量が低減され、コストが削減され、点群データのラベリング品質の向上及び点群データのラベリング速度の向上に寄与する。

【0045】

対象の検出ボックスで囲まれた点群データは、検出ボックス内及び検出ボックスの表面に位置する点群データを含む。

【0046】

上記手動ラベリングボックスはレーダーにより収集された対応する対象の点群データを含む。

【0047】

Ｓ１４０で、前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定する。

【0048】

ここで、前記残りの検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定してもよい。

【0049】

信頼度の高い検出ボックスに基づいて前記認識待ち点群データ内の対象のラベリングボックスを特定することで、点群ラベリングの品質が向上する。

【0050】

ここで、残りの対象の検出ボックスと手動ラベリングボックスとを直接マージし、上記対象のラベリングボックスを得てもよい。

【0051】

以下のステップにより、対象の検出ボックスと手動ラベリングボックスとの重なりが多い手動ラベリングボックスを除去してから、前記残りの検出ボックスと残りの手動ラベリングボックスをマージし、前記認識待ち点群データ内の対象のラベリングボックスとしてもよい。

【0052】

まず、各前記残りの対象の検出ボックスについて、該対象の検出ボックスと部分的又は完全に重なる手動ラベリングボックスが存在しているか否かを検出する。該対象の検出ボックスと少なくとも部分的に重なる手動ラベリングボックスが存在する場合、該対象の検出ボックス、及び該検出ボックスと少なくとも部分的に重なる手動ラベリングボックスをラベリングボックス対とし、その後、各ラベリングボックス対について、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ：ＩｏＵと略称）を特定し、前記重なり具合が予め設定された閾値より大きい場合、手動ラベリングボックスを除去する。

【0053】

自動的に検出して得られた対象の検出ボックスと手動でラベリングして得られた手動ラベリングボックスとが重なる場合、両者の重なり具合と予め設定された閾値に基づき、手動ラベリングボックスを除去することで、対象のラベリング精度を向上させることができる。

【0054】

具体的な実施では、次のステップにより上記重なり具合を特定してもよい。まず、該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの共通部分を特定し、該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの和集合を特定し、その後、前記和集合及び前記共通部分に基づき、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定する。上記共通部分を上記和集合で割るように計算して、得られた商を上記重なり具合としてもよい。

【0055】

対象の検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの共通部分及び和集合により、対象の検出ボックスと手動ラベリングボックスとの重なり具合を正確に特定することができる。

【0056】

以上より、本願の実施例により提供される点群データラベリング方法は具体的に以下のステップを含んでもよい。

【0057】

ステップ１で、事前に訓練されたニューラルネットワークを使用して認識待ち点群データに対して対象認識を行い、少なくとも１つの対象の検出ボックス及び各検出ボックスに対応する信頼度を取得する。

【0058】

上記認識待ち点群データは、レーダーが１つのデータフレームで収集した点群データを含んでもよい。

【0059】

ステップ２で、ニューラルネットワークの各種類の対象に対する認識精度に基づき、各種類に対応する検出ボックスの信頼度閾値を特定する。前のステップで得られた対象の検出ボックスのうち、信頼度が対応する信頼度閾値より小さい検出ボックスを信頼度閾値で除去すると、残りの検出ボックスの認識精度が高くなり、図３Ａに示すように、残りの検出ボックス２１はすでに正確になっている。

【0060】

ステップ３で、認識待ち点群データのうち、残りの検出ボックスで囲まれた点群データ以外の点群データを、ラベリング対象点群データとして手動ラベリング端末に送信して、手動ラベリングを行う。同一のフレーム内の全ての検出ボックスについて、フィルタリングした結果として、該フレームの点群データを２つの部分に分割し、即ち、これらの検出ボックス内及び検出ボックス表面に属する点群と、検出ボックス外の点群データとの２つの部分に分割し、後続の手動ラベリングステップ及びデータマージステップのために別々に保存し、図３Ｂは、ラベリング対象点群データ（即ち、該フレーム内のスクリーニングした後の検出ボックス外の点群データ）を示し、図３Ｃは、上記残りの検出ボックス（即ち、該フレーム内のスクリーニングした後の検出ボックス内及びその表面上の点群データ）を示す。図３Ｂ及び図３Ｃにおける点群データをマージすると、上記認識待ち点群データ（即ち、該フレームのオリジナル点群データ）を得ることができる。

【0061】

具体的な実施では、ラベリング対象点群データのみを含む画像を手動ラベリング端末に送信してもよく、上記残りの検出ボックスがラベリングされた画像を手動ラベリング端末に送信してもよい。

【0062】

ステップ４で、作業者は手動ラベリング端末で手動ラベリングを行い、図３Ｄに示すように、あるフレームの手動ラベリングボックス２２を得る。

【0063】

ステップ５で、残りの対象の検出ボックスと手動ラベリングボックスとを結合し、完全なラベリングデータ、即ち、対象のラベリングボックスを得る。この過程では、点群のフィルタリングが完全に行われていないため、一部の手動ラベリングボックスと残りの検出ボックスとが重なってしまう可能性があり、そのため、重なっている手動ラベリングボックスと検出ボックスとの重なり具合を計算する必要がある。手動ラベリングボックスと検出ボックスとの重なり具合が予め設定された閾値、例えば０．７より大きい場合、該手動ラベリングボックスを除去する。このステップを経て、洗い出された手動ラベリングボックスが得られ、次いで洗い出された手動ラベリングボックスと残りの検出ボックスとをマージし、図３Ｅの符号２１及び符号２２に示すような、完全なラベルデータ、即ち対象のラベリングボックスを得る。

【0064】

関連技術では、ラベルデータを自動生成すると、大量のラベルデータが生成され得るが、データセットにノイズを与える不要データが生成される可能性があり、不要データが多すぎると割に合わない。これに対して、本願の実施例により提供される点群データラベリング方法は、自動的に検出して生成された対象の検出ボックスと手動でラベリングして得られた手動ラベリングボックスとに基づき、対象のラベリングボックスを特定することで、ラベリングコストを削減するとともに、対象のラベリングの精度及び速度をさらに向上させることができ、低いコストで品質の高い点群ラベリング結果を得ることができる。

【0065】

本願の実施例に記載の方法は、自動運転、３Ｄ目標検出、深度予測及びシーンモデリング等の他の分野に適用してもよく、具体的には、ＬｉＤＡＲに基づく３Ｄシーンデータセットを取得する態様に適用してもよい。

【0066】

上記点群データラベリング方法に対応して、本願の実施例は、サーバー又はクライアント端末に適用される点群データラベリング装置をさらに開示し、該装置での各部は上記各実施例の点群データラベリング方法における各ステップを実施することができ、同じ有益な効果を得ることができる。図４に示すように、点群データラベリング装置は、
認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得るように配置される対象認識部３１０と、
前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定するように構成される点群処理部３２０と、
ラベリング対象点群データ内の対象の手動ラベリングボックスを取得するように構成されるラベリングボックス取得部３３０と、
前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するように構成されるラベリングボックス特定部３４０と、を備える。

【0067】

いくつかの実施例では、対象認識部３１０はさらに、認識待ち点群データに対して対象認識を行い、認識された対象の検出ボックスの信頼度を得るように構成され、
点群処理部３２０は、前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定する場合に、
認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得、そして
前記認識待ち点群データのうち、前記残りの検出ボックス以外の点群データをラベリング対象点群データとするように構成される。

【0068】

いくつかの実施例では、ラベリングボックス特定部３４０は、前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定する場合に、
前記残りの検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するように構成される。

【0069】

いくつかの実施例では、種類によっては物体の検出ボックスの信頼度閾値が異なり、
前記点群処理部３２０は、認識された対象の検出ボックスの信頼度に基づき、信頼度が信頼度閾値より小さい検出ボックスを除去し、残りの検出ボックスを得る場合に、
各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値以上である場合、該検出ボックスを残りの検出ボックスとして特定するように構成される。

【0070】

いくつかの実施例では、点群処理部３２０はさらに、各検出ボックスについて、該検出ボックスの信頼度が該検出ボックス内の対象の種類に対応する検出ボックスの信頼度閾値より小さい場合、該検出ボックスを除去するように構成される。

【0071】

いくつかの実施例では、ラベリングボックス特定部３４０は、前記残りの検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定する場合に、
各残りの検出ボックスについて、該検出ボックスと少なくとも部分的に重なる手動ラベリングボックスが存在する場合、該検出ボックス、及び該検出ボックスと少なくとも部分的に重なる手動ラベリングボックスをラベリングボックス対とし、
各ラベリングボックス対について、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定し、前記重なり具合が予め設定された閾値より大きい場合、手動ラベリングボックスを除去し、そして
前記残りの検出ボックス及び残りの手動ラベリングボックスを、前記認識待ち点群データ内の対象のラベリングボックスとするように構成される。

【0072】

いくつかの実施例では、ラベリングボックス特定部３４０は、ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定する場合に、
該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの共通部分を特定し、
該ラベリングボックス対内の残りの検出ボックスで囲まれた点群データと手動ラベリングボックスで囲まれた点群データとの和集合を特定し、そして
前記和集合及び前記共通部分に基づき、該ラベリングボックス対内の残りの検出ボックスと手動ラベリングボックスとの重なり具合を特定するように構成される。

【0073】

いくつかの実施例では、前記対象認識部３１０は、認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得る場合に、
訓練済みのニューラルネットワークを使用して認識待ち点群データに対して対象認識を行い、認識された対象の検出ボックスを前記ニューラルネットワークで出力するように構成される。

【0074】

前記ニューラルネットワークで各検出ボックスの信頼度がさらに出力する。

【0075】

本開示の実施例及び他の実施例では、「一部」は、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよく、もちろん、ユニットであってもよく、また、モジュールであってもよく、非モジュール化のものであってもよい。

【0076】

上記点群データラベリング方法に対応して、本願の実施例は電子機器４００をさらに提供し、図５は本願の実施例により提供される電子機器４００を示し、前記電子機器４００は、
プロセッサ４１、記憶装置４２、及びバス４３を備え、記憶装置４２は、メモリ４２１及び外部記憶装置４２２を含み、実行命令を記憶するために用いられ、ここのメモリ４２１は、内部記憶装置とも呼ばれ、プロセッサ４１内の演算データ及びハードディスク等の外部記憶装置４２２との間で交換されるデータを一時的に格納するために用いられ、プロセッサ４１は、メモリ４２１を介して外部記憶装置４２２とデータ交換を行うものであり、電子機器４００の作動中、プロセッサ４１と記憶装置４２はバス４３を介して通信し、それによって、プロセッサ４１は、認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得、前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定し、ラベリング対象点群データ内の対象の手動ラベリングボックスを取得し、そして前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定するという命令を実行する。

【0077】

本願の実施例は、プロセッサにより実行されると、上記方法実施例における前記点群データラベリング方法のステップを実行するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。該記憶媒体は、揮発性コンピュータ可読記憶媒体であってもよく、不揮発性コンピュータ可読記憶媒体であってもよい。

【0078】

コンピュータ可読記憶媒体は命令実行機器により使用される命令を保存及び記憶可能な有形機器であってもよく、揮発性記憶媒体であっても不揮発性記憶媒体であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（それだけに限定されたリスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、及び機械的符号化装置、例えば命令が記憶されているせん孔カード又はスロット内突起構造、並びに上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波又は他の自由に伝播される電磁波、導波路又は他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、又は電線を経由して伝送される電気信号と解釈されるものではない。

【0079】

本願の実施例により提供される点群データラベリング方法に係るコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法実施例に記載の点群データラベリング方法のステップを実行するために用いることができ、具体的には上記方法実施例を参照すればよく、ここでは繰り返し説明しない。

【0080】

本願の実施例は、プロセッサにより実行されると、前述した実施例のいずれか１つの点群データラベリング方法を実現するコンピュータプログラムをさらに提供する。該コンピュータプログラム製品は具体的にはハードウェア、ソフトウェア又はそれらの組み合わせにより実現可能である。一選択的実施例において、前記コンピュータプログラム製品は具体的にコンピュータ記憶媒体として実現され、別の選択可能な実施例において、コンピュータプログラム製品は具体的に、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫと略称）等のソフトウェア製品として実現される。

【0081】

説明を簡便にするために、上述したシステム及び装置の具体的な動作プロセスについては、前記方法の実施例における対応するプロセスを参照してよいことは、当業者であれば明確に理解できる。本願の実施例により提供されるいくつかの実施例では、開示するシステム、装置及び方法は、他の形態で実現できることを理解すべきである。上述した装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、例えば複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合又は直接結合又は通信接続はいくつかのインタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0082】

分離部材として説明した前記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。

【0083】

また、本願の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。

【0084】

前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサにより実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段の実質的に又は従来技術に寄与する部分はソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パソコン、サーバー又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法の全て又は一部のステップを実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭと略称）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

【0085】

最後に、説明すべきは、以上に記載の実施例は、本願の発明を実施するための形態であって、本願の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、本願の保護範囲はこれに限定されるものではない点であり、前記実施例を参照して本願を詳細に説明したが、当業者であれば理解できるように、当業者は本願に記載された技術範囲内に、前記実施例に記載の技術的解決手段の修正、又は容易に想到される変化、又はその一部の技術的特徴の置換を行うことができ、これらの修正、変換又は置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の精神及び範囲から逸脱させることなく、いずれも本願の保護範囲内に含まれるものとする。従って、本願の保護範囲は請求項の保護範囲に準ずるものとする。

【産業上の利用可能性】

【0086】

本願の実施例は点群データラベリング方法、装置、電子機器及びコンピュータ可読記憶媒体を提供し、本願の実施例は、まず、認識待ち点群データに対して対象認識を行い、前記認識待ち点群データ内の対象の検出ボックスを得、次に、前記認識待ち点群データにおいて認識された対象の検出ボックスに基づき、ラベリング対象点群データを特定し、その後、ラベリング対象点群データ内の対象の手動ラベリングボックスを取得し、最後に、前記検出ボックス及び前記手動ラベリングボックスに基づき、前記認識待ち点群データ内の対象のラベリングボックスを特定する。本願の実施例では、点群データを自動的にラベリングして得られた対象の検出ボックスと、点群データの自動ラベリング後に残った点群データを手動でラベリングして得られた手動ラベリングボックスとをマージ処理することで、対象のラベリングボックスを正確に特定することができ、ラベリング速度が上げられ、ラベリングコストが削減される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】

【図5】

【国際調査報告】