▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-30
(54)【発明の名称】点群分割方法、装置、機器および記憶媒体
(51)【国際特許分類】
G06T 7/11 20170101AFI20231023BHJP
G06T 7/00 20170101ALI20231023BHJP
G06V 10/82 20220101ALI20231023BHJP
G06T 7/70 20170101ALI20231023BHJP
【ＦＩ】
G06T7/11
G06T7/00 350C
G06V10/82
G06T7/70 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023521505
(86)(22)【出願日】2021-09-27
(85)【翻訳文提出日】2023-04-07
(86)【国際出願番号】 CN2021120919
(87)【国際公開番号】W WO2022078197
(87)【国際公開日】2022-04-21
(31)【優先権主張番号】202011112395.6
(32)【優先日】2020-10-16
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】孔濤
(72)【発明者】
【氏名】儲瑞航
(72)【発明者】
【氏名】李磊
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096FA69
5L096FA72
5L096HA11
5L096KA04
(57)【要約】
点群分割方法、装置、機器および記憶媒体である。該点群分割方法は、処理待ちの点群を取得すること（Ｓ２０１）と、サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ること（Ｓ２０２）と、同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力すること（Ｓ２０３）と、を含む。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
処理待ちの点群を取得することと、サンプル点群および前記サンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることと、
同じ目標格子の実例種類が同じであるように、前記目標格子に対応する実例種類に応じて、各実例に対応する点群を出力することと、を含む、
点群分割方法。
【請求項2】
同一の目標点が複数の目標格子に対応する場合、前記目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する前に、前記複数の目標格子のうちの各目標格子の信頼度を取得することと、
前記信頼度に応じて、前記目標点に対応する最終目標格子を決定することと、を更に含む、
請求項１に記載の方法。
【請求項3】
前記複数の目標格子のうちの各目標格子の信頼度を取得することは、各目標格子について、前記点群から前記目標格子の中心点に最も近い複数の関連点を選択することと、
前記複数の関連点の特徴を集約して、前記各目標格子の集約特徴を得ることと、
前記集約特徴に対して活性化処理を行って、前記各目標格子の信頼度を得ることと、を含む、
請求項２に記載の方法。
【請求項4】
前記事前訓練ニューラルネットワークの出力チャンネルと、前記格子化シーン空間における格子とは、一対一に対応する、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記事前訓練ニューラルネットワークは、２層検知器を含み、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることは、
前記事前訓練ニューラルネットワークにおける前記２層検知器により、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることを含む、
請求項４に記載の方法。
【請求項6】
前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含み、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることは、
前記事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得ることと、
前記ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、前記各点の、所属する格子化シーン空間における対応する目標格子を決定することと、を含む、
請求項１～３のいずれか１項に記載の方法。
【請求項7】
前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルに対応する３層検知器を含み、前記事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得ることは、
前記事前訓練ニューラルネットワークにおける前記３層検知器により、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置をそれぞれ得ることを含む、
請求項６に記載の方法。
【請求項8】
前記事前訓練ニューラルネットワークの取得過程は、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、前記サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練することを含む、
請求項１～３のいずれか１項に記載の方法。
【請求項9】
処理待ちの点群を取得した後に、前記点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、前記各点の初期特徴を得ることと、
特徴抽出ネットワークにより、前記各点の初期特徴から前記各点の局所特徴を抽出することと、を更に含む、
請求項１～３のいずれか１項に記載の方法。
【請求項10】
処理待ちの点群を取得するように構成される第１取得モジュールと、サンプル点群および前記サンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るように構成される予測モジュールと、
同じ目標格子の実例種類が同じであるように、前記目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するように構成される出力モジュールと、を備える、
点群分割装置。
【請求項11】
コンピュータプログラムが記憶されたメモリと、プロセッサとを備える電子機器であって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～９のいずれか１項に記載の方法を実現する、電子機器。
【請求項12】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～９のいずれか１項に記載の方法を実現する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年１０月１６日に中国専利局に提出された出願番号が２０２０１１１１２３９５．６である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本願に援用する。
【0002】
本願は、コンピュータの技術分野に関し、例えば、点群分割方法、装置、機器および記憶媒体に関する。
【背景技術】
【0003】
コンピュータ技術の発展に伴い、デジタル画像の数が日々増加しており、デジタル画像を正確に認識できるか否かは、例えば自動運転およびロボット制御等の技術分野にとって非常に重要である。デジタル画像は点群データを使用して表すことができるため、点群の分割処理もデジタル画像処理技術における重要な分岐になっている。
【0004】
点群に対して分割を行う、例えば実例分割するときに、通常、「トップダウン型」の分割方法を採用することができる。「トップダウン型」の方法では、複数の３次元境界ボックスを予測することにより異なる実例を表し、次に各境界ボックス内で２値分類により該実例に対応するものに属する点を見つけ出す。しかし、このような方式は大量の冗長境界ボックスを除去する必要があり、点群分割の効率が低くなり、同時に、点群の分類効果も前段階での境界ボックスに対する予測の正確性に依存する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、点群分割効率が低く点群分割の正確性が低いという課題を解決するために、点群分割方法、装置、機器および記憶媒体を提供する。
【課題を解決するための手段】
【0006】
処理待ちの点群を取得することと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力することと、を含む、
点群分割方法を提供する。
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力することと、を含む、
点群分割方法を提供する。
【0007】
処理待ちの点群を取得するように構成される第１取得モジュールと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るように構成される予測モジュールと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するように構成される出力モジュールと、を備える、
点群分割装置を更に提供する。
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るように構成される予測モジュールと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するように構成される出力モジュールと、を備える、
点群分割装置を更に提供する。
【0008】
コンピュータプログラムが記憶されたメモリと、プロセッサとを備える電子機器であって、前記プロセッサが前記コンピュータプログラムを実行すると、本願の実施例に係る上記点群分割方法を実現する、
電子機器を更に提供する。
電子機器を更に提供する。
【0009】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、本願の実施例に係る上記点群分割方法を実現する、
コンピュータ可読記憶媒体を更に提供する。
コンピュータ可読記憶媒体を更に提供する。
【図面の簡単な説明】
【0010】
【図1】本願の実施例に係る点群分割方法の適用環境図である。
【図2】本願の実施例に係る一態様の点群分割方法のフローチャートである。
【図3】本願の実施例に係る他の態様の点群分割方法のフローチャートである。
【図4】本願の実施例に係る一態様の点群分割過程の原理模式図である。
【図5】本願の実施例に係る他の態様の点群分割過程の原理模式図である。
【図6】本願の実施例に係る一態様の特徴空間距離分布の比較模式図である。
【図7】本願の実施例に係る一態様の点群分割装置の構造模式図である。
【図8】本願の実施例に係る一態様の電子機器の構造模式図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本開示の実施例について説明する。図面に本開示のいくつかの実施例が示されるが、本開示は、様々な形式で実現でき、ここで記述される実施例に限定されるものとして解釈されるべきではなく、本開示を理解するために、これらの実施例を提供する。本開示の図面および実施例は、例示するためのものに過ぎず、本開示の保護範囲を制限するためのものではない。
【0012】
本開示の方法の実施形態に記載される複数のステップは、異なる順序で実行されてもよいし、および／または並行に実行されてもよい。また、方法の実施形態は、追加のステップおよび／または実行が省略されて示されたステップを含んでもよい。本開示の範囲は、この点で限られない。
【0013】
本発明で使用される「含む」という用語およびその変形は、開放的な包含であり、即ち、「含むが、これらに限定されない」。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「一実施例」という用語は、「少なくとも一実施例」を表す。「別の実施例」という用語は、「少なくとも１つの他の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられる。
【0014】
本開示に言及される「第１」、「第２」等の概念は、異なる装置、モジュールまたはユニットを区分するためのものに過ぎず、これらの装置、モジュールまたはユニットが実行する機能の順序または相互依存関係を限定するためのものではない。
【0015】
本開示に言及される「１つ」、「複数」という修飾は、模式的なものであるが、限定的なものではなく、文脈が明確に例外を示さない限り、「１つまたは複数」として理解されるべきである。
【0016】
本開示の実施形態における複数の装置間でインタラクションされるメッセージまたは情報の名称は、説明するためのものに過ぎず、これらのメッセージまたは情報の範囲を限定するためのものではない。
【0017】
図１は、本願の実施例に係る点群分割方法の適用環境図である。図１を参照し、該点群分割方法は、点群分割システムに適用される。該点群分割システムは、端末１０１およびサーバ１０２を含むことができる。端末１０１とサーバ１０２は、無線ネットワークまたは有線ネットワークにより接続される。端末１０１は、デスクトップ端末または移動端末であってもよく、好ましくは、移動端末は、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレットコンピュータ（ＰＡＤ）、ポータブルマルチメディアプレーヤー（ＰＭＰ）、車載端末（例えば車載ナビゲーション端末）および携帯電話等のうちの少なくとも１つであってもよい。サーバ１０２は、独立のサーバまたは複数のサーバからなるサーバクラスタであってもよい。
【0018】
本願の実施例における点群分割方法は、端末１０１またはサーバ１０２によりそれぞれ単独で実行されてもよいし、端末１０１とサーバ１０２により共同で実行されてもよい。下記方法実施例は、実行主体が電子機器（該電子機器は端末１０１および／またはサーバ１０２である）である場合を例として説明する。
【0019】
下記は、本願の実施例に係るいくつかの概念について簡単に紹介する。
【0020】
実例種類の具体的な対象は、１つの具体的な対象が、１つの実例であると考えられることができ、実例種類は、つまり具体的な対象の種類を指す。例えば、物体１、物体２、物体３等である。実例分割は、点群を互いに重畳しない、１つの具体的な対象に属する１つまたは複数の点グループに分割することであってもよく、１つの点グループが１つの実例に対応する。例えば、２次元画像または３次元シーンで、どのような点が１つの具体的な対象に属し、どのような点が別の具体的な対象に属するかを区別する等。
【0021】
図２は、本願の実施例に係る１つの点群分割方法のフローチャートである。本実施例は、電子機器が如何に単段階点別分類の方式により点群分割を実現するかの過程に関する。図２に示すように、該方法は、以下のようなステップを含むことができる。
【0022】
Ｓ２０１において、処理待ちの点群を取得する。
【0023】
処理待ちの点群とは、実例分割を行う必要のある点群を指す。本願の実施例における点群は、２次元点群または３次元点群等を含むことができる。そのうち、２次元点群は、２次元画像における複数の画素点の集合であってもよく、３次元点群は、３次元シーンにおける複数の３次元点の集合であってもよい。
【0024】
本願の実施例に係る点群分割方法は、幅広く適用される見込みがあり、自動運転、ロボット制御および拡張現実等の分野において大きな潜在力を有する。電子機器は、複数の適用分野における前端走査機器から処理待ちの点群を取得することができる。前端走査機器は、走査された点群をクラウドにアップロードすることも可能であり、電子機器はクラウドから実例分割を行う必要のある点群をダウンロードする。
【0025】
Ｓ２０２において、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得る。
【0026】
前記事前訓練ニューラルネットワークは、サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練されたものである。
【0027】
実際の適用では、シーン空間における物体が互いに重畳せず、且つ異なる物体実例がシーン空間における異なる位置を占めることは考慮されるため、点群の所属するシーン空間を予め格子化し、且つ異なる格子が異なる実例種類に対応すると定義することができる。例えば、点群の所属するシーン空間を、予め複数の格子に分けることができ（例えばＮｓ＊Ｎｓ＊Ｎｓ個の格子に分ける）、各格子が特定の位置を占め、且つ１つの実例種類を代表する。１つの物体実例の中心点（該中心点の座標は該物体実例における全ての点の座標の平均値である）が１つの格子の内部に位置する場合、該物体実例に属する全ての点をいずれも該格子に分類し、即ち該格子に対応する実例種類に分類する。
【0028】
これに基づいて、事前訓練ニューラルネットワークにより、上記点群の点別分類過程を実現できる。そのため、大量の訓練データを採用して該事前訓練ニューラルネットワークを訓練する必要がある。該事前訓練ニューラルネットワークの訓練過程において、大量のサンプル点群およびサンプル点群のサンプル格子化シーン空間におおける対応するサンプル目標格子により訓練することができる。サンプルシーン空間を格子化し、サンプル格子化シーン空間を得ると同時に、サンプル格子化シーン空間における各格子に対応する実例種類を定義することができ、異なる格子が異なる実例種類に対応するようとする。サンプル点群を取得するとともに、サンプル点群のうちの各点の、該格子化シーン空間における対応するサンプル目標格子をマーキングし、事前訓練ニューラルネットワークの訓練データ（即ちサンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子）を得る。該訓練データを使用して事前訓練ニューラルネットワークを訓練する。
【0029】
このように、該格子化シーン空間の事前訓練ニューラルネットワークを得た後に、電子機器は、処理待ちの点群を該事前訓練ニューラルネットワークに入力し、事前訓練ニューラルネットワークにより、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を予測することができる。
【0030】
事前訓練ニューラルネットワークの点群に対する処理を容易にするために、好ましくは、処理待ちの点群を取得した後に、電子機器は、さらに、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、各点の初期特徴を得り、特徴抽出ネットワークにより、前記各点の初期特徴から各点の局所特徴を抽出してもよい。
【0031】
点の座標特徴は、点の座標位置であってもよい。点のチャンネル特徴は、例えば色チャンネル値（赤緑青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢ）値）のような点のチャンネル値であってもよい。座標特徴とチャンネル特徴とを組み合わせることは、各座標位置と各チャンネル値とを連結して、各点の初期特徴を得ることであってもよい。ここでの初期特徴は、行列形式、即ち初期特徴行列であってもよい。電子機器は、初期特徴行列を特徴抽出ネットワークに入力して、各点の局所特徴を抽出する。ここでの局所特徴は、点群の特性に対する高次元表現であってもよく、局所特徴は、該点群全体の情報をカバーした。局所特徴も行列形式、即ち局所特徴行列であってもよい。電子機器は、該局所特徴行列を事前訓練ニューラルネットワークに入力し、局所特徴行列を実例分類に用いられる特徴空間に投影し、各点の、所属する格子化シーン空間における対応する目標格子を出力する。
【0032】
好ましい実施例では、電子機器は、深層学習ネットワークを、特徴抽出ネットワークとして選択することができる。該特徴抽出ネットワークは、ＰｏｉｎｔＮｅｔネットワークの前半部分であってもよいし、ＰｏｉｎｔＮｅｔ＋＋ネットワークの前半部分であってもよいし、ＰｏｉｎｔＣｏｎｖの前半部分であってもよいし、その他のネットワーク構造等であってもよい。
【0033】
Ｓ２０３において、同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する。
【0034】
点群の所属する格子化シーン空間における格子に対応する実例種類が予め定義され、且つ異なる格子に対応する実例種類が異なるため、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得た後に、電子機器は、目標格子に対応する実例種類に基づいて、点群のうちの各点を、対応する物体実例に分け、各物体実例に対応する点群を出力することができる。
【0035】
本願の実施例に係る点群分割方法において、処理待ちの点群を取得した後に、電子機器は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得り、ひいては、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する。点群分割の過程では、電子機器が、事前訓練ニューラルネットワークにより、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を直接予測でき、且つ同じ目標格子の実例種類が同じであり、即ち単段階の点別分類方式により点群のうちの各点を明瞭かつ特定な実例種類に直接分類するため、多段階による誤差累積が回避され、分割結果の正確性を向上させる。同時に、第１段階で大量の冗長境界ボックスを除去することによる計算量の損失も回避され、点群分割の効率を向上させる。
【0036】
実際の適用では、予測される点群のうちの同一の目標点が複数の目標格子に対応する場合がある。この場合、該目標点を、対応する目標格子に明確に分類する必要がある。そのため、下記実施例に記載される過程を参照して処理を行うことができる。好ましくは、上記実施例の基に、図３に示すように、同一の目標点が複数の目標格子に対応する場合、上記Ｓ２０３の前に、該方法は、以下のことを更に含むことができる。
【0037】
Ｓ３０１において、前記複数の目標格子のうちの各目標格子の信頼度を取得する。
【0038】
点群の所属するシーン空間を格子化した後に、格子化シーン空間に含まれる多数の格子がリアルな物体実例に対応せず、少数の格子のみがリアルな物体実例に対応している。そのため、各格子について信頼度を計算することができ、格子の信頼度が高いほど、該格子がリアルな物体実例に対応する確率が大きくなることを表し、逆に該格子がリアルな物体実例に対応する確率が小さくなる。
【0039】
このように、事前訓練ニューラルネットワークにより、同一の目標点が複数の目標格子に対応することが得られる場合、電子機器は、各目標格子の信頼度をそれぞれ取得することができる。好ましい実施形態として、電子機器は、下記過程で、複数の目標格子のうちの各目標格子の信頼度を取得可能であり、上記Ｓ３０１は、以下のことを含むことができる。
【0040】
Ｓ３０１１において、各目標格子について、前記点群から前記目標格子の中心点に最も近い複数の関連点を選択する。
【0041】
目標格子の中心点に最も近い複数の関連点の特徴が目標格子の特性を特徴付けることができるため、電子機器は、目標格子の中心点に最も近い複数の関連点を選択して、相応する目標格子の信頼度を計算することができる。実際の適用では、実際のニーズに応じて、選択される関連点の数を設定可能である。好ましくは、中心点に最も近い３２個の点を選択して信頼度の計算過程に参加することができる。
【0042】
Ｓ３０１２において、前記複数の関連点の特徴を集約して、前記各目標格子の集約特徴を得る。
【0043】
複数の関連点の特徴を集約することは、複数の関連点の特徴に対して平均値プーリング処理を行う、即ち複数の関連点の特徴データを加算してから平均値を求めることにより、対応する目標格子の集約特徴を得ることであってもよい。
【0044】
Ｓ３０１３において、前記集約特徴に対して活性化処理を行って、各目標格子の信頼度を得る。
【0045】
各目標格子の集約特徴が得られた後に、電子機器は、ｓｉｇｍｏｉｄ活性化関数を採用して集約特徴に対して活性化処理を行って、各目標格子の信頼度を得ることができる。
【0046】
別の好ましい実施形態として、電子機器は、上記事前訓練ニューラルネットワークに１つのブランチを追加して、点群の所属する格子化シーン空間における各格子の信頼度を予測することができる。事前訓練ニューラルネットワークにより、同じ目標点が複数の目標格子に対応することが得られる場合、電子機器は、上記事前訓練ニューラルネットワークから、該複数の目標格子のうちの各目標格子の信頼度を直接取得することができる。該目的を実現するために、上記事前訓練ニューラルネットワークを訓練するときに、訓練データは、さらに、サンプル点群により得られた各格子の実際信頼度を含むとともに、各格子の実際信頼度と結び付けて事前訓練ニューラルネットワークを訓練する必要がある。
【0047】
Ｓ３０２において、前記信頼度に応じて、前記目標点に対応する最終目標格子を決定する。
【0048】
電子機器は、信頼度が最も大きい目標格子を目標点に対応する最終目標格子とすることができる。信頼度が同様である複数の目標格子が存在するときに、いずれか１つの目標格子を選択して目標点に対応する最終目標格子とすることができる。
【0049】
本実施例では、点群のうち、同一の目標点が複数の目標格子に対応する場合、電子機器は、各目標格子の信頼度に基づいて、該目標点に対応する最終目標格子を決定することができる。さらに、各目標格子の信頼度を決定するときに、目標格子の中心点に最も近い複数の関連点の特徴を結び付けることにより、各目標格子の信頼度の計算結果を向上させる。正確な信頼度の計算結果に基づいて、後続で目標点を対応する目標格子に正確に分類することができ、さらに目標点を対応する実例種類に正確に分類することができ、これにより点群分割結果の正確性を向上させる。
【0050】
一実施例では、事前訓練ニューラルネットワークにより、点群の点別分類過程を実現するために、好ましくは、該事前訓練ニューラルネットワークの出力チャンネルと、前記格子化シーン空間における格子とは、一対一に対応する。
【0051】
事前訓練ニューラルネットワークの出力チャンネルを、予め格子化シーン空間に含まれる格子に一対一に対応付けることができ、事前訓練ニューラルネットワークの１つの出力チャンネルの出力値が１である場合、該点が該出力チャンネルに対応する格子に属することを表し、逆の場合は該出力チャンネルの出力値が０である。好ましくは、該事前訓練ニューラルネットワークは、２層検知器で実現可能であり、即ち該事前訓練ニューラルネットワークには、２層検知器が含まれる。相応的に、上記Ｓ２０２は、事前訓練ニューラルネットワークにおける２層検知器により、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることであってもよい。
【0052】
図４を参照し、点群ＰがＮｐ個の点を含むみ、点群の所属するシーン空間を、予めＮｓ＊Ｎｓ＊Ｎｓ個の格子に分け、各格子が異なる実例種類に対応し、且つ本実施例では格子と事前訓練ニューラルネットワークの出力チャンネルとが一対一に対応すると仮定される。電子機器は、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、対応する点の初期特徴Ｎｐ’を得り、特徴抽出ネットワーク（例えばＰｏｉｎｔＮｅｔ）により、初期特徴Ｎｐ’から対応する点の局所特徴を抽出して、局所特徴行列
を得る。電子機器は、局所特徴行列Ｆｌを上記事前訓練ニューラルネットワークに入力し、多層検知器（例えば該検知器は形状が
の２層検知器であってもよい）により、Ｆｌを、分類用の特徴空間に投影し、特徴行列
を出力するとともに、ｓｉｇｍｏｉｄ活性化関数を採用してＦにおける要素値を区間（０，１）にスケーリングし、該点群の予測行列
を得ることにより、各点に対応する目標格子を得る。そのうち、Ｎｐは、点群における点の個数であり、Ｎｌは、局所特徴次元であり、Ｎｃは、分類特徴次元を表し、Ｒは、１つの符号表現空間であり、予測行列Ｆ’は、行次元が点群のうちの複数の点を表し、列次元が点群の所属する格子化シーンにおける複数の格子を表す。
【数1】
【数2】
【数3】
【数4】
【0053】
通常の場合、１つのシーン空間において、少数の格子のみがリアルな物体実例に対応し、事前訓練ニューラルネットワークの出力空間の特徴ベクトル（該特徴ベクトルは
次元である）は、過疎である。計算資源の損失を低減させるために、一実施例は、別の事前訓練ニューラルネットワークをさらに提供する。該事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含む。該ネットワークアーキテクチャで、該事前訓練ニューラルネットワークは、３つの独立の３層検知器で実現可能であり、即ち該事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸の出力チャンネルに対応する３層検知器を含む。
【数5】
【0054】
上記Ｓ２０２は、以下のことを含むことができる。
【0055】
Ｓ２０２１において、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得る。
【0056】
好ましくは、電子機器は、事前訓練ニューラルネットワークにおける、ｘ軸、ｙ軸およびｚ軸の出力チャンネルに対応する３層検知器により、点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置をそれぞれ得ることができる。
【0057】
Ｓ２０２２において、ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、各点の所属する格子化シーン空間における対応する目標格子を決定する。
【0058】
電子機器は、点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸の３つの方向における直交投影を予測することにより、各点の所属する格子化シーン空間における対応する目標格子を決定する。点群のうちの１つの点について、予測されたｘ軸、ｙ軸およびｚ軸の３つの方向における直交投影がそれぞれａｘ、ａｙ、ａｚであると仮定する場合、該点のｘ軸、ｙ軸およびｚ軸方向における投影位置に基づて、該点の所属する格子化シーン空間における対応する目標格子は（ａｘ，ａｙ，ａｚ）であると決定できる。
【0059】
図５を参照し、点群ＰがＮｐ個の点を含み、且つ点群が所属シーン空間を予めＮｓ＊Ｎｓ＊Ｎｓ個の格子に分け、各格子が異なる実例種類に対応し、且つ事前訓練ニューラルネットワークのｘ軸方向における出力チャンネルと格子のｘ軸方向における投影とが対応し、事前訓練ニューラルネットワークのｙ軸方向における出力チャンネルと格子のｙ軸方向における投影とが対応し、事前訓練ニューラルネットワークのｚ軸方向における出力チャンネルと格子のｚ軸方向における投影とが対応すると仮定される。電子機器は、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、対応する点の初期特徴Ｎｐ’を得り、特徴抽出ネットワーク（例えばＰｏｉｎｔＮｅｔ）により、初期特徴Ｎｐ’から対応する点の局所特徴を抽出して、局所特徴行列
を得る。電子機器は、局所特徴行列Ｆｌを該事前訓練ニューラルネットワークに入力し、３つの独立した多層検知器（例えば該検知器は形状が（３２、３２、Ｎｓ）の３層検知器であってもよい）により、Ｆｌを、分類用の特徴空間に投影するとともに、ｓｉｇｍｏｉｄ活性化関数を採用して活性化処理を行って、該点群のｘ軸方向のおける予測行列
、ｙ軸方向における予測行列
、およびｚ軸方向における予測行列
を得る。電子機器は、予測行列Ｆｘ、Ｆｙ、およびＦｚに基づいて、点群のうちの各点に対応する目標格子を得る。
【数6】
【数7】
【数8】
【数9】
【0060】
該ネットワークアーキテクチャで、事前訓練ニューラルネットワークの出力空間の次元は、
であり、出力空間の次元
と比べて、点別分類過程における計算量が低減されるとともに、メモリに対する消費が低減される。
【数10】
【数11】
【0061】
本実施例では、電子機器は、異なるネットワークアーキテクチャの事前訓練ニューラルネットワークを採用して点群のうちの各点の所属する格子化シーン空間における対応する目標格子を予測することができ、点群分割方式の多様化を向上させる。同時に、該事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含み、３つの方向における出力チャンネルが含まれた事前訓練ニューラルネットワークを採用して各点に対応する目標格子を予測することができ、点別分類過程における計算量を低減するとともに、メモリに対する消費を低減することができる。
【0062】
一実施例は、上記事前訓練ニューラルネットワークの取得過程を更に提供する。上記実施例の基に、好ましくは、該事前訓練ニューラルネットワークの取得過程は、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練することであってもよい。
【0063】
サンプルシーン空間を格子化し、サンプル格子化シーン空間を得ると同時に、サンプル格子化シーン空間における各格子に対応する実例種類を定義することができ、異なる格子が異なる実例種類に対応する。サンプル点群を取得するとともに、サンプル点群のうちの各点の、該格子化シーン空間における対応するサンプル目標格子をマーキングし、サンプル点群に対応するサンプル目標格子を得る。同時に、サンプル点群および各格子の位置情報に基づいて、各格子の実際信頼度を計算してもよい。上記サンプル点群、サンプル点群に対応するサンプル目標格子、および各格子の実際信頼度を訓練データとし、事前訓練ニューラルネットワークを訓練する。各格子の実際信頼度を計算する過程は、各格子について、サンプル点群から格子の中心点に最も近い複数のサンプル関連点を選択し、複数のサンプル関連点の特徴を集約して、各格子の集約特徴を得り、該集約特徴に対してそれぞれ活性化処理を行って、対応する格子の実際信頼度を得ることであってもよい。好ましくは、中心点に最も近い３２個の点を選択して信頼度の計算過程に参加することができる。
【0064】
訓練データを得た後に、電子機器は、サンプル点群を事前訓練ニューラルネットワークの第１入力とし、サンプル点群の対応するサンプル目標格子を、第１入力に対応する第１所望出力とし、交差エントロピー損失関数の第１損失値を計算し、各格子の実際信頼度を、第１入力に対応する第２所望出力とし、交差エントロピー損失関数の第２損失値を計算し、第１損失値と第２損失値の重み付け和に基づいて、事前訓練ニューラルネットワークのパラメータを、損失関数の収束条件に達するまで調整し、訓練された事前訓練ニューラルネットワークを得る。
【0065】
上記第１損失値Ｌｃａｔｅの計算数式は、
であってもよい。該計算数式におけるＮｐｏｓは、信頼可能な格子の数（ここでの信頼可能な格子は、信頼度がプリセット閾値より大きい格子と理解されることができる）であり、
は、対応する行列の第ｊ列のインジケータであり、第ｊ列に対応する格子がポジティブサンプルである場合、
の取り値は１になり、逆の場合は０になり、Ｆｉｊは、予測行列Ｆの第ｉ行第ｊ列の要素を表し、Ｄｉｊは、サンプル行列Ｇ（サンプル行列Ｇは、サンプル点群とサンプル目標格子との間の対応関係を表すことができる）の第ｉ行第ｊ列の要素を表し、ここではＤｉｃｅ Ｌｏｓｓを使用して行列間の距離
を計算する。
【数12】
【数13】
【数14】
【数15】
【0066】
本実施例では、電子機器は、大量のサンプル点群、サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子、および各格子の実際信頼度を、訓練データとし、交差エントロピー損失関数を採用して事前訓練ニューラルネットワークを訓練することができ、これにより、訓練された事前訓練ニューラルネットワークがより正確になる。正確な事前訓練ニューラルネットワークに基づいて、処理待ちの点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を直接予測することができ、予測結果の正確性を向上させ、点群分割結果の正確性を向上させる。
【0067】
本願の実施例に係る技術案は、自動運転、ロボット制御、拡張現実および動画実例分割等の分野に幅広く適用可能である。例えば室内ロボットの制御の場合、走査された点群を分割できれば、ロボットに各物体を精確に検知させることができ、ロボットのナビゲーションおよび制御に付勢することになる。
【0068】
本願の実施例に係る技術案を検証するために、本願の実施例に係る技術案を点群分割方式（例えばＡＳＩＳ）と比較した。図６を参照し、図６から分かるように、本願の実施例に係る点群分割方法は、同じ実例間の特徴距離と異なる実例間の特徴距離の重畳範囲をより小さくさせ、異なる実例間の区別度をより高くさせることができる。
【0069】
【0070】
第１取得モジュール７０１は、処理待ちの点群を取得するように構成され、
予測モジュール７０２は、サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るように構成され、
出力モジュール７０３は、同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するように構成される。
予測モジュール７０２は、サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るように構成され、
出力モジュール７０３は、同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するように構成される。
【0071】
本願の実施例に係る点群分割装置において、処理待ちの点群を取得した後に、電子機器は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得り、ひいては、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する。点群分割の過程では、電子機器が、事前訓練ニューラルネットワークにより、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を直接予測でき、且つ同じ目標格子の実例種類が同じであり、即ち単段階の点別分類方式により点群のうちの各点を明瞭かつ特定な実例種類に直接分類するため、多段階による誤差累積が回避され、分割結果の正確性を向上させる。同時に、第１段階で大量の冗長境界ボックスを除去することによる計算量の損失も回避され、点群分割の効率を向上させる。
【0072】
上記実施例の基に、好ましくは、同一の目標点が複数の目標格子に対応する場合、該装置は、第２取得モジュールおよび決定モジュールを更に備えることができる。
【0073】
第２取得モジュールは、前記出力モジュール７０３が目標格子に対応する実例種類に応じて各実例に対応する点群を出力する前に、前記複数の目標格子のうちの各目標格子の信頼度を取得するように構成され、
決定モジュールは、前記信頼度に応じて、前記目標点に対応する最終目標格子を決定するように構成される。
決定モジュールは、前記信頼度に応じて、前記目標点に対応する最終目標格子を決定するように構成される。
【0074】
上記実施例の基に、好ましくは、第２取得モジュールは、各目標格子について、前記点群から前記目標格子の中心点に最も近い複数の関連点を選択し、前記複数の関連点の特徴を集約して、前記各目標格子の集約特徴を得り、前記集約特徴に対して活性化処理を行って、各目標格子の信頼度を得るように構成される。
【0075】
好ましくは、前記事前訓練ニューラルネットワークの出力チャンネルと、前記格子化シーン空間における格子とは、一対一に対応する。
【0076】
上記実施例の基に、好ましくは、前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含み、
予測モジュール７０２は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得り、ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、各点の所属する格子化シーン空間における対応する目標格子を決定するように構成される。
予測モジュール７０２は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得り、ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、各点の所属する格子化シーン空間における対応する目標格子を決定するように構成される。
【0077】
上記実施例の基に、好ましくは、該装置は、ネットワーク訓練モジュールを更に備えることができる。
ネットワーク訓練モジュールは、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練するように構成される。
ネットワーク訓練モジュールは、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練するように構成される。
【0078】
上記実施例の基に、好ましくは、該装置は、組み合わせモジュールおよび特徴抽出モジュールを更に備えることができる。
組み合わせモジュールは、第１取得モジュール７０１が処理待ちの点群を取得した後に、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、各点の初期特徴を得るように構成され、
特徴抽出モジュールは、特徴抽出ネットワークにより、前記各点の初期特徴から各点の局所特徴を抽出するように構成される。
組み合わせモジュールは、第１取得モジュール７０１が処理待ちの点群を取得した後に、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、各点の初期特徴を得るように構成され、
特徴抽出モジュールは、特徴抽出ネットワークにより、前記各点の初期特徴から各点の局所特徴を抽出するように構成される。
【0079】
以下、図８を参照し、図８には、本開示の実施例を実現するために適した電子機器（例えば図１における端末またはサーバ）８００の構造模式図が示されている。図８に示す電子機器は一例に過ぎず、本開示の実施例の機能および使用範囲に何らかの制限も与えるものではない。
【0080】
図８に示すように、電子機器８００は、読み出し専用メモリ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）８０２に記憶されたプログラム、または記憶装置８０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）８０３にロードされたプログラムに基づき、様々な適切な動作および処理を実行可能な処理装置（例えば、中央プロセッサ、グラフィックプロセッサ等）８０１を含むことができる。ＲＡＭ８０３には、電子機器８００の操作に必要な様々なプログラムおよびデータが更に記憶されている。処理装置８０１、ＲＯＭ８０２およびＲＡＭ８０３は、バス８０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース８０５もバス８０４に接続されている。
【0081】
通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置８０８、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータ等を含む出力装置８０７、例えば、磁気テープ、ハードディスク等を含む記憶装置８０８、および通信装置８０９は、Ｉ／Ｏインタフェース８０５に接続することができる。通信装置８０９は、電子機器８００が他の機器と無線または有線通信してデータを交換することを可能にする。図８は、様々な装置を備える電子機器８００を示したが、全ての示された装置を実施または具備することが必要ではない。代わりに、より多いまたはより少ない装置を実施または具備してもよい。
【0082】
本開示の実施例によれば、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信装置８０９によりネットワークからダウンロードされてインストールされてもよいし、記憶装置８０８からインストールされてもよいし、ＲＯＭ８０２からインストールされてもよい。該コンピュータプログラムが処理装置８０１により実行されると、本開示の実施例の方法で限定される上記機能を実行する。
【0083】
本開示の記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組み合わせであってもよい。記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば電気の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、或いは以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体は、１つまたは複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスに使用され得る、または命令実行システム、装置またはデバイスと合わせて使用され得るプログラムを含有または記憶する任意の有形的な媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドでまたは搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読のプログラムコードが担持されている。このように伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号または上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）等、または上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。
【0084】
いくつかの実施形態において、クライアント、サーバは、ハイパーテキストトランスファープロトコル（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）のような、任意の現在知られているまたは将来研究開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ネットワークオフネットワーク（例えば、インターネット）およびピアツーピアネットワーク（例えば、ａｄ ｈｏｃピアツーピアネットワーク）、および任意の現在知られているまたは将来研究開発されるネットワークを含む。
【0085】
上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在して該電子機器に取り付けられていないものであってもよい。
【0086】
上記コンピュータ可読媒体に１つまたは複数のプログラムが担持され、上記１つまたは複数のプログラムが該電子機器により実行されると、該電子機器は、処理待ちの点群を取得し、サンプル点群および前記サンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得り、同じ目標格子の実例種類が同じであるように、前記目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する。
【0087】
１種または複数種のプログラミング言語またはその組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含んでもよいが、これらに限定されず、「Ｃ」言語のような通常の手続型プログラミング言語または類似するプログラミング言語を更に含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよいし、部分的にユーザのコンピュータで実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータに接続する（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続される）ことができる。
【0088】
図面におけるフローチャートおよびブロック図は、本開示の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示している。この点で、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラム、またはコードの一部を表すことができ、該モジュール、プログラム、またはコードの一部は、所定のロジック機能を実現するための１つまたは複数の実行可能命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されているように示された２つのブロックは、関する機能によって、実際にほぼ並行に実行されてもよいし、逆の順序で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現されてもよいし、専用のハードウェアとコンピュータ命令との組み合わせで実現されてもよい。
【0089】
本開示の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合、該ユニット自体を限定するものではなく、例えば、第１取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と記述されてもよい。
【0090】
本発明に係る機能は、少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントにより実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準パーツ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ、ＡＳＳＰ）、システムオンチップのシステム（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）、複合プログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）等を含む。
【0091】
本開示の明細書において、機械可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読格納媒体であってもよい。機械可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、或いは上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体の例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、光ファイバ、ポータブルＣＤ－ＲＯＭ、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適切な組み合わせを含む。
【0092】
一実施例において、コンピュータプログラムが記憶されたメモリと、プロセッサとを備える電子機器であって、該プロセッサがコンピュータプログラムを実行すると、
処理待ちの点群を取得するステップと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るステップと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するステップと、を実現する、
電子機器を提供する。
処理待ちの点群を取得するステップと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るステップと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力するステップと、を実現する、
電子機器を提供する。
【0093】
本願の実施例に係る点群分割装置は、処理待ちの点群を取得した後に、電子機器は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得り、ひいては、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力する。点群分割の過程では、電子機器が、事前訓練ニューラルネットワークにより、点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を直接予測でき、且つ同じ目標格子の実例種類が同じであり、即ち単段階の点別分類方式により点群のうちの各点を明瞭かつ特定な実例種類に直接分類するため、多段階による誤差累積が回避され、分割結果の正確性を向上させる。同時に、第１段階で大量の冗長境界ボックスを除去することによる計算量の損失も回避され、点群分割の効率を向上させる。
【0094】
同一の目標点が複数の目標格子に対応する場合、一実施例では、プロセッサがコンピュータプログラムを実行すると、前記複数の目標格子のうちの各目標格子の信頼度を取得し、前記信頼度に応じて、前記目標点に対応する最終目標格子を決定するステップをさらに実現する。
【0095】
一実施例では、プロセッサがコンピュータプログラムを実行すると、各目標格子について、前記点群から前記目標格子の中心点に最も近い複数の関連点を選択し、前記複数の関連点の特徴を集約して、各前記目標格子の集約特徴を得り、前記集約特徴に対して活性化処理を行って、各目標格子の信頼度を得るステップを実現する。
【0096】
好ましくは、前記事前訓練ニューラルネットワークの出力チャンネルと、前記格子化シーン空間における格子とは、一対一に対応する。
【0097】
一実施例において、前記事前訓練ニューラルネットワークは、２層検知器を含み、プロセッサがコンピュータプログラムを実行すると、事前訓練ニューラルネットワークにおける前記２層検知器により、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得るステップをさらに実現する。
【0098】
一実施例において、前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含み、プロセッサがコンピュータプログラムを実行すると、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得り、ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、対応する点の、所属する格子化シーン空間における対応する目標格子を決定するステップを更に実現する。
【0099】
一実施例において、前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸の出力チャンネルに対応する３層検知器を含み、プロセッサがコンピュータプログラムを実行すると、事前訓練ニューラルネットワークにおける前記３層検知器により、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置をそれぞれ得るステップを更に実現する。
【0100】
一実施例において、プロセッサがコンピュータプログラムを実行すると、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練するステップを更に実現する。
【0101】
一実施例において、プロセッサがコンピュータプログラムを実行すると、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、対応する点の初期特徴を得り、特徴抽出ネットワークにより、前記各点の初期特徴から対応する点の局所特徴を抽出するステップを更に実現する。
【0102】
上記実施例に係る点群分割装置、機器および記憶媒体は、本願の任意の実施例に係る点群分割方法を実行可能であり、該方法を実行するための機能モジュールおよび効果を有する。上記実施例で詳しく説明されていない技術詳細は、本願の任意の実施例に係る点群分割方法を参照することができる。
【0103】
本開示の１つまたは複数の実施例によれば、
処理待ちの点群を取得することと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力することと、を含む、
点群分割方法を提供する。
処理待ちの点群を取得することと、
サンプル点群およびサンプル点群のサンプル格子化シーン空間における対応するサンプル目標格子により訓練された事前訓練ニューラルネットワークにより、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることと、
同じ目標格子の実例種類が同じであるように、目標格子に対応する実例種類に応じて、各実例に対応する点群を出力することと、を含む、
点群分割方法を提供する。
【0104】
同一の目標点が複数の目標格子に対応する場合、本開示の１つまたは複数の実施例に係る上記点群分割方法は、前記複数の目標格子のうちの各目標格子の信頼度を取得することと、前記信頼度に応じて、前記目標点に対応する最終目標格子を決定することと、を更に含む。
【0105】
本開示の１つまたは複数の実施例に係る上記点群分割方法は、各目標格子について、前記点群から前記目標格子の中心点に最も近い複数の関連点を選択することと、前記複数の関連点の特徴を集約して、各前記目標格子の集約特徴を得ることと、前記集約特徴に対して活性化処理を行って、各目標格子の信頼度を得ることと、を更に含む。
【0106】
好ましくは、前記事前訓練ニューラルネットワークの出力チャンネルと、前記格子化シーン空間における格子とは、一対一に対応する。
【0107】
好ましくは、前記事前訓練ニューラルネットワークは、２層検知器を含み、本開示の１つまたは複数の実施例に係る上記点群分割方法は、事前訓練ニューラルネットワークにおける前記２層検知器により、前記点群のうちの各点の、所属する格子化シーン空間における対応する目標格子を得ることを更に含む。
【0108】
好ましくは、前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸方向における出力チャンネルを含み、本開示の１つまたは複数の実施例に係る上記点群分割方法は、事前訓練ニューラルネットワークにより、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置を得ることと、ｘ軸、ｙ軸およびｚ軸方向における投影位置に応じて、対応する点が所属する格子化シーン空間において対応する目標格子を決定することと、を更に含む。
【0109】
好ましくは、前記事前訓練ニューラルネットワークは、ｘ軸、ｙ軸およびｚ軸の出力チャンネルに対応する３層検知器を含み、本開示の１つまたは複数の実施例に係る上記点群分割方法は、事前訓練ニューラルネットワークにおける前記３層検知器により、前記点群のうちの各点の、ｘ軸、ｙ軸およびｚ軸方向における投影位置をそれぞれ得ることを更に含む。
【0110】
本開示の１つまたは複数の実施例に係る上記点群分割方法は、前記サンプル点群を、前記事前訓練ニューラルネットワークの第１入力とし、前記サンプル点群の、サンプル格子化シーン空間における対応するサンプル目標格子を、前記第１入力に対応する第１所望出力とし、且つ、前記サンプル格子化シーン空間における各格子の実際信頼度を、前記第１入力に対応する第２所望出力とし、交差エントロピー損失関数を採用して前記事前訓練ニューラルネットワークを訓練することを更に含む。
【0111】
本開示の１つまたは複数の実施例に係る上記点群分割方法は、点群のうちの各点の座標特徴とチャンネル特徴とを組み合わせて、対応する点の初期特徴を得ることと、特徴抽出ネットワークにより、前記各点の初期特徴から対応する点の局所特徴を抽出することと、を更に含む。
【0112】
また、特定の順序で各操作を記述したが、これらの操作を示された特定の順序または正方向順序で実行する必要があると理解されるべきではない。一定の環境において、マルチタスクおよび並行処理が有利である可能性がある。同様に、以上の検討に複数の実現詳細が含まれているが、これらは本開示の範囲を限定するものと理解されるべきではない。単独な実施例の説明に記述された一部の特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一実施例の説明に記述された様々な特徴は、単独で、または任意の適切なサブ組み合わせの方式で複数の実施例で実現されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-04-07
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【0065】
上記第１損失値Ｌｃａｔｅの計算数式は、
であってもよい。該計算数式におけるＮｐｏｓは、信頼可能な格子の数（ここでの信頼可能な格子は、信頼度がプリセット閾値より大きい格子と理解されることができる）であり、
は、対応する行列の第ｊ列のインジケータであり、第ｊ列に対応する格子がポジティブサンプルである場合、
の取り値は１になり、逆の場合は０になり、Ｆｉｊは、予測行列Ｆの第ｉ行第ｊ列の要素を表し、Ｄｉｊは、サンプル行列D（サンプル行列Dは、サンプル点群とサンプル目標格子との間の対応関係を表すことができる）の第ｉ行第ｊ列の要素を表し、ここではＤｉｃｅ Ｌｏｓｓを使用して行列間の距離
を計算する。
【数12】
【数13】
【数14】
【数15】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【0081】
通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置806、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータ等を含む出力装置８０７、例えば、磁気テープ、ハードディスク等を含む記憶装置８０８、および通信装置８０９は、Ｉ／Ｏインタフェース８０５に接続することができる。通信装置８０９は、電子機器８００が他の機器と無線または有線通信してデータを交換することを可能にする。図８は、様々な装置を備える電子機器８００を示したが、全ての示された装置を実施または具備することが必要ではない。代わりに、より多いまたはより少ない装置を実施または具備してもよい。
【国際調査報告】