▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特開2023-143742ポイントクラウド処理モデルのトレーニング方法、ポイントクラウドインスタンス分割方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143742
(43)【公開日】2023-10-06
(54)【発明の名称】ポイントクラウド処理モデルのトレーニング方法、ポイントクラウドインスタンス分割方法および装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230928BHJP
G06T 7/00 20170101ALI20230928BHJP
【ＦＩ】
G06N20/00 130
G06T7/00 350B
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023019915
(22)【出願日】2023-02-13
(31)【優先権主張番号】202210306654.1
(32)【優先日】2022-03-25
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】葉 暁青
(72)【発明者】
【氏名】儲 瑞航
(72)【発明者】
【氏名】孫 昊
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA09
5L096BA04
5L096FA32
5L096FA33
5L096FA66
5L096FA69
5L096GA30
5L096GA34
5L096GA40
5L096GA51
5L096HA11
5L096MA07
(57)【要約】 （修正有）
【課題】深層学習およびコンピュータ視覚の技術分野に関し、３Ｄ視覚、拡張現実および仮想現実等のシーンに適用できる高い精度を持つポイントクラウド処理モデルのトレーニング方法、ポイントクラウドインスタンス分割方法および装置を提供する。
【解決手段】トレーニング方法は、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得し、前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得し、前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定し、前記ポイントクラウド処理モデルをトレーニングする。
【選択図】図１
【解決手段】トレーニング方法は、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得し、前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得し、前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定し、前記ポイントクラウド処理モデルをトレーニングする。
【選択図】図１
【特許請求の範囲】
【請求項1】
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することと、
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得することと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングすることと、を含む、
ポイントクラウド処理モデルのトレーニング方法。
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得することと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングすることと、を含む、
ポイントクラウド処理モデルのトレーニング方法。
【請求項2】
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することは、
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得することと、
前記第１スーパーボクセル内のラベル付きポイントクラウドに基づき、前記第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することと、を含む、
請求項１に記載の方法。
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得することと、
前記第１スーパーボクセル内のラベル付きポイントクラウドに基づき、前記第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することと、を含む、
請求項１に記載の方法。
【請求項3】
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することは、
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、前記ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得することと、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得することと、
前記使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、前記使用可能ポイントクラウドの疑似ラベルを確定することと、
前記使用可能ポイントクラウドをサンプルポイントクラウドとすることと、を含む、
請求項１に記載の方法。
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、前記ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得することと、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得することと、
前記使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、前記使用可能ポイントクラウドの疑似ラベルを確定することと、
前記使用可能ポイントクラウドをサンプルポイントクラウドとすることと、を含む、
請求項１に記載の方法。
【請求項4】
前記使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、前記使用可能ポイントクラウドの疑似ラベルを確定することは、
前記使用可能ポイントクラウドの第２予測セマンティック情報に基づき、前記使用可能ポイントクラウドのセマンティック疑似ラベルを確定することと、
前記使用可能ポイントクラウドの第２予測オフセット量に基づき、前記使用可能ポイントクラウドのオフセット疑似ラベルを確定することと、を含む、
請求項３に記載の方法。
前記使用可能ポイントクラウドの第２予測セマンティック情報に基づき、前記使用可能ポイントクラウドのセマンティック疑似ラベルを確定することと、
前記使用可能ポイントクラウドの第２予測オフセット量に基づき、前記使用可能ポイントクラウドのオフセット疑似ラベルを確定することと、を含む、
請求項３に記載の方法。
【請求項5】
前記使用可能ポイントクラウドの第２予測オフセット量に基づき、前記使用可能ポイントクラウドのオフセット疑似ラベルを確定することは、
前記使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
前記関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記第２スーパーボクセルに対応するインスタンス中心を確定することと、
前記第２スーパーボクセルに対応するインスタンス中心および前記関連ポイントクラウドの元の座標情報に基づき、前記関連ポイントクラウドのオフセット疑似ラベルを確定することと、
前記関連ポイントクラウドのオフセット疑似ラベルを前記使用可能ポイントクラウドのオフセット疑似ラベルとすることと、を含む、
請求項４に記載の方法。
前記使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
前記関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記第２スーパーボクセルに対応するインスタンス中心を確定することと、
前記第２スーパーボクセルに対応するインスタンス中心および前記関連ポイントクラウドの元の座標情報に基づき、前記関連ポイントクラウドのオフセット疑似ラベルを確定することと、
前記関連ポイントクラウドのオフセット疑似ラベルを前記使用可能ポイントクラウドのオフセット疑似ラベルとすることと、を含む、
請求項４に記載の方法。
【請求項6】
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得することは、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
前記候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
前記候補インスタンスのインスタンス特徴を修正モデルに入力し、前記修正モデルの出力結果に対応する第２信頼度情報を取得することと、
前記第２信頼度情報に基づき、前記候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することと、を含む、
請求項３に記載の方法。
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
前記候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
前記候補インスタンスのインスタンス特徴を修正モデルに入力し、前記修正モデルの出力結果に対応する第２信頼度情報を取得することと、
前記第２信頼度情報に基づき、前記候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することと、を含む、
請求項３に記載の方法。
【請求項7】
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することは、
前記第１予測セマンティック情報および前記サンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
前記第１予測オフセット量および前記サンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
前記第１予測オフセット量および前記サンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
前記第１損失、前記第２損失および前記第３損失に基づき、トレーニング損失を確定することと、を含む、
請求項１に記載の方法。
前記第１予測セマンティック情報および前記サンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
前記第１予測オフセット量および前記サンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
前記第１予測オフセット量および前記サンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
前記第１損失、前記第２損失および前記第３損失に基づき、トレーニング損失を確定することと、を含む、
請求項１に記載の方法。
【請求項8】
分割待ちポイントクラウドを取得することと、
請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割することと、を含む、
ポイントクラウドインスタンス分割方法。
請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割することと、を含む、
ポイントクラウドインスタンス分割方法。
【請求項9】
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するためのサンプルポイントクラウド確定モジュールと、
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得するためのサンプルポイントクラウド処理モジュールと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定するためのトレーニング損失確定モジュールと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングするためのモデルトレーニングモジュールと、を備える、
モデルのトレーニング装置。
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得するためのサンプルポイントクラウド処理モジュールと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定するためのトレーニング損失確定モジュールと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングするためのモデルトレーニングモジュールと、を備える、
モデルのトレーニング装置。
【請求項10】
前記サンプルポイントクラウド確定モジュールは、
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得するための第１スーパーボクセル確定ユニットと、
前記第１スーパーボクセル内のラベル付きポイントクラウドに基づき、前記第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するための第１サンプルポイントクラウド確定ユニットと、を備える、
請求項９に記載の装置。
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得するための第１スーパーボクセル確定ユニットと、
前記第１スーパーボクセル内のラベル付きポイントクラウドに基づき、前記第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するための第１サンプルポイントクラウド確定ユニットと、を備える、
請求項９に記載の装置。
【請求項11】
前記サンプルポイントクラウド確定モジュールは、
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、前記ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得するためのラベル無しポイントクラウド情報確定ユニットと、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得するための使用可能ポイントクラウド確定ユニットと、
前記使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、前記使用可能ポイントクラウドの疑似ラベルを確定するための疑似ラベル確定ユニットと、
前記使用可能ポイントクラウドをサンプルポイントクラウドとするための第２サンプルポイントクラウド確定ユニットと、を備える、
請求項９に記載の装置。
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、前記ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得するためのラベル無しポイントクラウド情報確定ユニットと、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得するための使用可能ポイントクラウド確定ユニットと、
前記使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、前記使用可能ポイントクラウドの疑似ラベルを確定するための疑似ラベル確定ユニットと、
前記使用可能ポイントクラウドをサンプルポイントクラウドとするための第２サンプルポイントクラウド確定ユニットと、を備える、
請求項９に記載の装置。
【請求項12】
前記疑似ラベル確定ユニットは、
前記使用可能ポイントクラウドの第２予測セマンティック情報に基づき、前記使用可能ポイントクラウドのセマンティック疑似ラベルを確定するためのセマンティック疑似ラベル確定サブユニットと、
前記使用可能ポイントクラウドの第２予測オフセット量に基づき、前記使用可能ポイントクラウドのオフセット疑似ラベルを確定するためのオフセット疑似ラベル確定サブユニットと、を備える、
請求項１１に記載の装置。
前記使用可能ポイントクラウドの第２予測セマンティック情報に基づき、前記使用可能ポイントクラウドのセマンティック疑似ラベルを確定するためのセマンティック疑似ラベル確定サブユニットと、
前記使用可能ポイントクラウドの第２予測オフセット量に基づき、前記使用可能ポイントクラウドのオフセット疑似ラベルを確定するためのオフセット疑似ラベル確定サブユニットと、を備える、
請求項１１に記載の装置。
【請求項13】
前記オフセット疑似ラベル確定サブユニットは、
前記使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
前記関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記第２スーパーボクセルに対応するインスタンス中心を確定することと、
前記第２スーパーボクセルに対応するインスタンス中心および前記関連ポイントクラウドの元の座標情報に基づき、前記関連ポイントクラウドのオフセット疑似ラベルを確定することと、
前記関連ポイントクラウドのオフセット疑似ラベルを前記使用可能ポイントクラウドのオフセット疑似ラベルとすることと、に用いられる、
請求項１２に記載の装置。
前記使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
前記関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記第２スーパーボクセルに対応するインスタンス中心を確定することと、
前記第２スーパーボクセルに対応するインスタンス中心および前記関連ポイントクラウドの元の座標情報に基づき、前記関連ポイントクラウドのオフセット疑似ラベルを確定することと、
前記関連ポイントクラウドのオフセット疑似ラベルを前記使用可能ポイントクラウドのオフセット疑似ラベルとすることと、に用いられる、
請求項１２に記載の装置。
【請求項14】
前記使用可能ポイントクラウド確定ユニットは、
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
前記候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
前記候補インスタンスのインスタンス特徴を修正モデルに入力し、前記修正モデルの出力結果に対応する第２信頼度情報を取得することと、
前記第２信頼度情報に基づき、前記候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することと、に用いられる、
請求項１１に記載の装置。
前記第１信頼度情報に基づき、前記ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
前記候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、前記候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
前記候補インスタンスのインスタンス特徴を修正モデルに入力し、前記修正モデルの出力結果に対応する第２信頼度情報を取得することと、
前記第２信頼度情報に基づき、前記候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することと、に用いられる、
請求項１１に記載の装置。
【請求項15】
前記トレーニング損失確定モジュールは、
前記第１予測セマンティック情報および前記サンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
前記第１予測オフセット量および前記サンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
前記第１予測オフセット量および前記サンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
前記第１損失、前記第２損失および前記第３損失に基づき、トレーニング損失を確定することと、に用いられる、
請求項９に記載の装置。
前記第１予測セマンティック情報および前記サンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
前記第１予測オフセット量および前記サンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
前記第１予測オフセット量および前記サンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
前記第１損失、前記第２損失および前記第３損失に基づき、トレーニング損失を確定することと、に用いられる、
請求項９に記載の装置。
【請求項16】
分割待ちポイントクラウドを取得するための分割待ちポイントクラウド取得モジュールと、
請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割するためのインスタンス分割モジュールと、を備える、
ポイントクラウドインスタンス分割装置。
請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割するためのインスタンス分割モジュールと、を備える、
ポイントクラウドインスタンス分割装置。
【請求項17】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。
【請求項18】
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体。
前記コンピュータ命令は、請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体。
【請求項19】
プロセッサにより実行されると、請求項１から７のいずれか１項に記載のポイントクラウド処理モデルのトレーニング方法を実現する、
コンピュータプログラム。
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能の技術分野に関し、具体的に、深層学習およびコンピュータ視覚の技術分野に関し、３Ｄ視覚、拡張現実および仮想現実等のシーンに適用できる。
【背景技術】
【0002】
コンピュータ視覚分野、３Ｄ視覚のインスタンス分割は、実際の生活で重要な意義を持ち、例えば、自動運転では、道路中の車両および歩行者等を検出することができる。ここで、３Ｄ視覚では、ポイントクラウドがよく見られるデータ形式であり、ポイントクラウドインスタンス分割は３Ｄ知覚の基礎である。これにより、少量かつ限られたラベル付きトレーニングデータの条件で、ポイントクラウドインスタンス分割をどのように精確に実現するかは、極めて重要である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、ポイントクラウド処理モデルのトレーニング方法、ポイントクラウドインスタンス分割方法および装置を提供する。
【課題を解決するための手段】
【0004】
本開示の一態様によれば、
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することと、
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得することと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングすることとを含む、
ポイントクラウド処理モデルのトレーニング方法を提供する。
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することと、
前記サンプルポイントクラウドをポイントクラウド処理モデルに入力し、前記サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得することと、
前記第１予測セマンティック情報、前記第１予測オフセット量、前記サンプルポイントクラウドに対応するサンプルラベル、および前記サンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することと、
前記トレーニング損失を用いて前記ポイントクラウド処理モデルをトレーニングすることとを含む、
ポイントクラウド処理モデルのトレーニング方法を提供する。
【0005】
本開示の別の態様によれば、
分割待ちポイントクラウドを取得することと、
本開示に係るポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割することと、
前記第３予測セマンティック情報および前記第３予測オフセット量に基づき、前記分割待ちポイントクラウドをインスタンス分割することとを含む、
ポイントクラウドインスタンス分割方法を提供する。
分割待ちポイントクラウドを取得することと、
本開示に係るポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、前記分割待ちポイントクラウドをインスタンス分割することと、
前記第３予測セマンティック情報および前記第３予測オフセット量に基づき、前記分割待ちポイントクラウドをインスタンス分割することとを含む、
ポイントクラウドインスタンス分割方法を提供する。
【0006】
本開示の別の態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本開示のいずれかの実施例に記載のポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を提供する。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本開示のいずれかの実施例に記載のポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を提供する。
【0007】
本開示の別の態様によれば、
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、本開示のいずれかの実施例に記載のポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体を提供する。
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、本開示のいずれかの実施例に記載のポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体を提供する。
【発明の効果】
【0008】
本開示の技術によれば、ポイントクラウド処理モデルの精度を向上させ、更にポイントクラウドインスタンス分割の正確性を向上させる。
【0009】
本開示に記載された内容は、本開示の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本開示の範囲を限定するものでもないことが理解されるべきである。本開示の他の特徴は、以下の明細書により容易に理解することができる。
【図面の簡単な説明】
【0010】
図面は本形態をより良く理解するためのものであり、本開示を限定するものではない。
【0011】
【図1】本開示の実施例に係るポイントクラウド処理モデルのトレーニング方法のフローチャートである。
【図2】本開示の実施例に係る別のポイントクラウド処理モデルのトレーニング方法のフローチャートである。
【図3】本開示の実施例に係る更なるポイントクラウド処理モデルのトレーニング方法のフローチャートである。
【図4】本開示の実施例に係るポイントクラウドインスタンス分割方法のフローチャートである。
【図5】本開示の実施例に係るモデルのトレーニング装置の構造模式図である。
【図6】本開示の実施例に係るポイントクラウドインスタンス分割装置の構造模式図である。
【図7】本開示の実施例のポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本開示の例示的な実施例について説明し、ここで、理解の便宜上、本開示の実施例に係る様々な細かい内容まで含まれているが、例示的なものに過ぎないと理解すべきである。同様に、以下の説明において、公知されている機能および構造の説明は、明確且つ簡潔にするために省略している。同様に、以下の説明において、公知されている機能および構造の説明は、明確且つ簡潔にするために省略している。
【0013】
なお、本開示の実施例における「第１」および「第２」は、区別しやすいために導入されるものに過ぎず、両者間に明確な前後の区別がなく、数の区別等もない。
【0014】
図１は、本開示の実施例に係るポイントクラウド処理モデルのトレーニング方法のフローチャートであり、該方法は、少量かつ限られたラベル付きトレーニングデータの条件で、ポイントクラウドインスタンス分割をどのように精確に実現するかの場合に適用される。特に、少量かつ限られたラベル付きトレーニングデータの条件で、ポイントクラウドインスタンスの精確な分割を実現するために、ポイントクラウドインスタンス分割モデルをどのように精確にトレーニングするかの場合に適用される。該方法は、モデルのトレーニング装置で実行することができ、該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、且つ、モデルのトレーニング機能を持つ電子機器に集積できる。図１に示すように、本実施例のポイントクラウド処理モデルのトレーニング方法は、以下のステップを含んでもよい。
【0015】
Ｓ１０１において、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得する。
【0016】
本実施例において、ポイントクラウドは、物体表面の各サンプリングポイントの集合であり、好ましくは、ポイントクラウドは、３次元座標系内の１セットのベクトルの集合で表すことができ、シーンにおける物体の外面の形状を表すことに用いられる。更に、ポイントクラウドは、各ポイントのＲＧＢ値、階調値、奥行情報等のうちの少なくとも１つの色情報を含んでもよい。例示的には、ポイントクラウドは、レーザー計測原理または写真計測原理に基づいて得られてもよいし、更に、レーザーレーダー、ステレオカメラ等で収集されてもよいし、他の方式で取得されてもよく、本実施例ではこれについて具体的に限定しない。
【0017】
いわゆるラベル付きポイントクラウドは、リアルなラベルが付いたポイントクラウドデータである。それに対応し、ラベル無しポイントクラウドは、ラベルが付いていないポイントクラウドデータである。サンプルポイントクラウドは、モデルのトレーニングに必要なポイントクラウドであり、ラベル付きポイントクラウドおよび疑似ラベルが付いたラベル無しポイントクラウドを含んでもよい。
【0018】
１つの好ましい形態において、ラベル付きポイントクラウドおよびラベル無しポイントクラウド内の各ポイントをクラスタリングし、少なくとも１つのポイント集合を取得することができる。ここで、少なくとも１つのポイント集合内のポイントのラベルが同じであり、つまり、該ポイント集合内の各ポイントのラベルは、該ポイント集合のラベルである。異なるポイント集合間のポイントのラベルは同じであってもよいし、異なってもよい。その後、少なくとも１つのポイント集合のそれぞれに対し、該ポイント集合にラベル付きポイントクラウド内のポイントが存在する場合、該ポイント集合内のラベル付きポイントを用いて該ポイント集合内のラベル無しポイントにラベルを付け、つまり、該ポイント集合内のラベル付きポイントのラベルを該ポイント集合内のラベル無しポイントの疑似ラベルとする。更に、ラベル付きポイントを含むポイント集合内の全てのポイントをサンプルポイントクラウドとする。
【0019】
Ｓ１０２において、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得する。
【0020】
本実施例において、予測セマンティック情報は、予測カテゴリ情報と呼ばれてもよく、即ち、ポイントクラウドのカテゴリを予測する関連情報であり、ポイントクラウドがあるカテゴリに属するカテゴリ確率、および対応するカテゴリ名称（または、カテゴリ識別子）を含んでもよく、例えば、ポイントクラウドの収集シーンにおいて、それぞれテーブル、椅子、人および花瓶という４つのカテゴリがある場合、あるサンプルポイントクラウドの予測セマンティック情報は、［０．５テーブル，０．２椅子，０．２人，０．１花瓶］と表すことができる。
【0021】
予測オフセット量は、予測で得られたポイントクラウドから属するインスタンス中心までのオフセット量である。ここで、いわゆるインスタンスは、１つの抽象のカテゴリ概念を、該カテゴリ内の具体的な実物に具体化するものであり、つまり、インスタンスは、同じカテゴリ内の異なる個体であり、例えば、テーブルカテゴリ内のインスタンスは、テーブル１およびテーブル２等の具体的な個体である。
【0022】
いわゆるポイントクラウド処理モデルは、ニューラルネットワークに基づいて構築されたモデルであり、例えば、ポイント毎の予測ネットワーク（ｐｏｉｎｔ－ｗｉｓｅ ｐｒｅｄｉｃｔｉｏｎ ｎｅｔｗｏｒｋ）であってもよく、本実施例ではこれについて具体的に限定しない。
【0023】
具体的には、各サンプルポイントクラウドをポイントクラウド処理モデルに入力し、モデルの処理を経て、各サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得することができる。
【0024】
Ｓ１０３において、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定する。
【0025】
１つの好ましい形態において、予め設定された損失関数に基づき、各サンプルポイントクラウドの第１予測セマンティック情報、第１予測オフセット量、各サンプルポイントクラウドに対応するサンプルラベルおよび元の座標情報に応じて、トレーニング損失を確定することができる。
【0026】
Ｓ１０４において、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。
【0027】
具体的には、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングし、トレーニング損失が設定範囲に達し、またはトレーニング繰り返し回数が設定回数に達すると、モデルのトレーニングを停止し、トレーニングを停止した時のポイントクラウド処理モデルを最終的なポイントクラウド処理モデルとする。ここで、設定範囲および設定回数は、当業者が実際の状況に応じて設定することができる。
【0028】
本開示の実施例の技術案において、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得し、その後、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得し、更に、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定し、且つ、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。上記技術案は、半教師ありトレーニングのシーンにおいて、ラベル無しポイントクラウドにラベルを付けることにより、ラベルが付いたポイントクラウドデータの数を拡大するとともに、第１予測セマンティック情報、第１予測オフセット量、サンプルラベル、およびサンプルポイントクラウドの元の座標情報を導入してトレーニングモデルの損失を確定し、確定したトレーニング損失の正確性を確保し、更に、得られたポイントクラウド処理モデルは高い精度を持ち、ポイントクラウド分割結果の正確性を確保する。
【0029】
上記実施例の基に、本開示の１つの好ましい実施形態として、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することは、ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得し、第１スーパーボクセル内のラベル付きポイントクラウドに基づき、第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得することであってもよい。
【0030】
ここで、ポイントクラウドの幾何情報は、ポイントクラウドの構造および／または色情報等を含んでもよい。元のポイントクラウドには、ラベル付きポイントクラウドおよびラベル無しポイントクラウドが含まれる。いわゆる第１スーパーボクセルは、類似する幾何情報を有するポイントクラウド領域であり、その数が複数であり、更に、第１スーパーボクセルは、第１種のスーパーボクセルおよび第２種のスーパーボクセルという２種に分けることができ、ここで、第１種のスーパーボクセルは、ラベル付きポイントクラウドを含むスーパーボクセルであり、第２種のスーパーボクセルは、ラベル付きポイントクラウドを含まず、即ち、全てがラベル無しポイントクラウドで構成されたスーパーボクセルである。
【0031】
具体的には、スーパーボクセル分割アルゴリズムに基づき、ポイントクラウドの幾何情報に応じて、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得することができ、ここで、スーパーボクセル分割アルゴリズムは、ポイントクラウドボクセル接続性分割（ＶＣＣＳ）アルゴリズム等であってもよく、本実施例において具体的に限定しない。その後、ラベル付きポイントクラウドを含む第１スーパーボクセル（即ち、第１種のスーパーボクセル）毎に、該第１種のスーパーボクセル内のラベル付きポイントクラウドに基づき、該第１種のスーパーボクセル内のラベル無しポイントクラウドにラベルを付ける。つまり、該第１種のスーパーボクセル内のラベル無しポイントクラウドに、該第１種のスーパーボクセル内のラベル付きポイントクラウドに対応するラベルを付け、該第１種のスーパーボクセル内の全てのポイントクラウドのラベルが同じであり、該第１種のスーパーボクセル内のラベル付きポイントクラウドのラベルであると理解されてもよい。更に、全ての第１種のスーパーボクセル内のポイントクラウドをサンプルポイントクラウドとする。
【0032】
元のポイントクラウドをスーパーボクセル分割することにより、より多くのラベル付きポイントクラウドを取得し、サンプルポイントクラウドの数を豊富にすることが理解できる。
【0033】
それに対応し、本開示の１つの好ましい形態として、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することは、第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定し、且つ、第１予測オフセット量およびサンプルポイントクラウドの元の座標情報に基づき、第２損失を確定し、その後、第１損失および第２損失に基づき、トレーニング損失を確定することであってもよく、例えば、第１損失と第２損失との加重和をトレーニング損失とすることができる。
【0034】
具体的には、予め設定された損失関数（例えば、クロスエントロピー損失関数）に基づき、第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに応じて、第１損失を確定することができる。それとともに、トレーニング過程に一貫性監視を導入することができ、即ち、同じスーパーボクセルに属する各ポイントクラウドの第１予測オフセット量とその元の座標情報とを加算した結果をできるだけ等しくさせ、つまり、同じスーパーボクセル内に属する全てのポイントクラウドができるだけ同じインスタンスの中心を指すようにさせ、具体的には、同じ第１種のスーパーボクセル内のポイントクラウド毎に、該ポイントクラウドの第１予測オフセット量と該ポイントクラウドの元の座標情報とを加算し、全ての加算結果の標準偏差を計算し、全ての第１種のスーパーボクセルに対応する標準偏差を平均値演算すると、第２損失を取得することができる。例えば、以下の式により第２損失を計算することができる。
【0035】
【数1】
（ただし、
【数2】
【数3】
【数4】
【0036】
図２は、本開示の実施例に係る別のポイントクラウド処理モデルのトレーニング方法のフローチャートであり、本実施例は、上記実施例の基に、「ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得する」ことを更に最適化し、好ましい実施形態を提供する。図２に示すように、本実施例のポイントクラウド処理モデルのトレーニング方法は、以下のステップを含んでもよい。
【0037】
Ｓ２０１において、ラベル無しポイントクラウドをポイントクラウド処理モデルに入力し、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量および第１信頼度情報を取得する。
【0038】
本実施例において、ポイントクラウド処理モデルは、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られる。ここで、初期モデルは、ニューラルネットワークに基づいて構築されたモデルであり、例えば、ポイント毎の予測ネットワーク（ｐｏｉｎｔ－ｗｉｓｅ ｐｒｅｄｉｃｔｉｏｎ ｎｅｔｗｏｒｋ）であってもよく、本実施例ではこれについて具体的に限定しない。
【0039】
本実施例におけるラベル無しポイントクラウドは、元のポイントクラウドからラベル付きポイントクラウドを除いたポイントクラウドであってもよく、更に、第２種のスーパーボクセル内の全てのポイントクラウドであってもよい。
【0040】
いわゆる第１信頼度情報は、セマンティック情報予測結果の信頼度合いを測定する指標である。
【0041】
具体的には、ラベル無しポイントクラウドをポイントクラウド処理モデルに入力し、モデルの処理を経て、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量および第１信頼度情報を取得することができる。
【0042】
Ｓ２０２において、第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得する。
【0043】
本実施例において、使用可能ポイントクラウドは、後のモデルのトレーニングに使用可能ポイントクラウドである。
【0044】
具体的には、第１信頼度情報が設定値よりも大きいラベル無しポイントクラウドを使用可能ポイントクラウドとする。ここで、設定値は、当業者が時間状況に応じて設定することができ、例えば、０．５である。
【0045】
Ｓ２０３において、使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、使用可能ポイントクラウドの疑似ラベルを確定する。
【0046】
好ましくは、疑似ラベルには、セマンティック疑似ラベルおよびオフセット疑似ラベルが含まれてもよく、ここで、セマンティック疑似ラベルは、ポイントクラウドセマンティックを表す疑似ラベルであり、オフセット疑似ラベルは、ポイントクラウドとそのインスタンス中心とのオフセット状況を表す疑似ラベルである。
【0047】
１つの好ましい形態において、使用可能ポイントクラウドの第２予測セマンティック情報に基づき、使用可能ポイントクラウドのセマンティック疑似ラベルを確定し、使用可能ポイントクラウドの第２予測オフセット量に基づき、使用可能ポイントクラウドのオフセット疑似ラベルを確定する。
【0048】
具体的には、使用可能ポイントクラウド毎に、該使用可能ポイントクラウドの第２予測セマンティック情報における最大カテゴリ確率に対応するカテゴリに基づき、該使用可能ポイントクラウドのセマンティック疑似ラベルを確定することができる。例えば、ポイントクラウドの収集シーンにおいて、それぞれテーブル、椅子、人、および花瓶という４つのカテゴリがあり、ある使用可能ポイントクラウドの第２予測セマンティック情報が［０．５テーブル，０．２椅子，０．２人，０．１花瓶］であれば、テーブルを該使用可能ポイントクラウドのセマンティック疑似ラベルとすることができ、つまり、該使用可能ポイントクラウドがテーブルである確率は１であり、他のカテゴリである確率は０であり、即ち、［１，０，０，０］と表すことができる。
【0049】
その後、各使用可能ポイントクラウドの第２予測オフセット量に基づき、各使用可能ポイントクラウドのオフセット疑似ラベルを確定する。例えば、各使用可能ポイントクラウドの第２予測オフセット量に基づき、使用可能ポイントクラウドをクラスタリングし、クラスタリング中心を取得することができる。使用可能ポイントクラウド毎に、該使用可能ポイントクラウドの元の座標情報と該使用可能ポイントクラウドに対応するクラスタリング中心の座標との差を、該使用可能ポイントクラウドのオフセット疑似ラベルとすることができる。
【0050】
Ｓ２０４において、使用可能ポイントクラウドをサンプルポイントクラウドとする。
【0051】
本実施例において、疑似ラベルが付いた使用可能ポイントクラウドをサンプルポイントクラウドとすることができる。
【0052】
Ｓ２０５において、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得する。
【0053】
Ｓ２０６において、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定する。
【0054】
Ｓ２０７において、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。
【0055】
本開示の実施例の技術案において、ラベル無しポイントクラウドをポイントクラウド処理モデルに入力し、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量および第１信頼度情報を取得し、且つ、第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得し、その後、使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、使用可能ポイントクラウドの疑似ラベルを確定し、使用可能ポイントクラウドをサンプルポイントクラウドとし、更に、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得し、また、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定し、そして、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。上記技術案は、第１信頼度情報を導入することによりラベル無しポイントクラウドを選別し、確定したサンプルポイントクラウドの品質を確保するとともに、第２予測予約情報および第２予測オフセット量を用いて使用可能ポイントクラウドの疑似ラベルを確定し、得られた使用可能ポイントクラウドの疑似ラベルをより豊富にし、ポイントクラウド処理モデルの正確性を確保する。
【0056】
上記実施例の基に、本開示の１つの好ましい形態として、使用可能ポイントクラウドの第２予測オフセット量に基づき、使用可能ポイントクラウドのオフセット疑似ラベルを確定することは、使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定し、関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、第２スーパーボクセルに対応するインスタンス中心を確定し、第２スーパーボクセルに対応するインスタンス中心および関連ポイントクラウドの元の座標情報に基づき、関連ポイントクラウドのオフセット疑似ラベルを確定し、関連ポイントクラウドのオフセット疑似ラベルを使用可能ポイントクラウドのオフセット疑似ラベルとすることであってもよい。
【0057】
ここで、第２スーパーボクセルは、第２種のスーパーボクセルから信頼度の低いポイントクラウドを除いてから残りのポイントクラウドで構成されるスーパーボクセルであってもよい。更に、第２スーパーボクセルは、使用可能ポイントクラウドをスーパーボクセル分割することにより得られたものであってもよく、即ち、分割後の各グループの使用可能ポイントクラウドは、１つの第２スーパーボクセルに対応する。それに対応し、第２スーパーボクセルの関連ポイントクラウドは、第２スーパーボクセルに含まれる使用可能ポイントクラウドである。
【0058】
例示的には、第２スーパーボクセル毎に、該第２スーパーボクセル内の各関連ポイントクラウドの元の座標情報と第２予測オフセット量との和を計算し、且つ、該第２スーパーボクセル内の全ての加算結果の平均値を計算し、該平均値を該第２スーパーボクセルに対応するインスタンス中心とし、または、該第２スーパーボクセル内の全ての加算結果の中央値を計算し、該中央値を該第２スーパーボクセルに対応するインスタンス中心とし、または、該第２スーパーボクセル内の全ての加算結果の最頻値を計算し、該最頻値を該第２スーパーボクセルに対応するインスタンス中心とする。
【0059】
第２スーパーボクセルに対応するインスタンス中心を確定した後、第２スーパーボクセルに対応するインスタンス中心および関連ポイントクラウドの元の座標情報に基づき、関連ポイントクラウドのオフセット疑似ラベルを確定することは、２つずつの第２スーパーボクセルに対応するインスタンス中心間の距離を計算し、任意の２つの第２スーパーボクセルに対応するインスタンス中心間の距離が距離閾値よりも小さく、且つ、この２つの第２スーパーボクセルのセマンティック疑似ラベルが同じである場合、この２つの第２スーパーボクセルを統合し、第３スーパーボクセルを取得することであってもよい。
【0060】
第３スーパーボクセル毎に、該第３スーパーボクセル内の各関連ポイントクラウドの第２予測オフセット量と元の座標情報との和の平均値を計算し、その後、該第３スーパーボクセル内の関連ポイントクラウド毎に、該平均値と該関連ポイントクラウドの元の座標情報との差を、該関連ポイントクラウドのオフセット疑似ラベルとする。
【0061】
関連ポイントクラウドのオフセット疑似ラベルを確定した後、関連ポイントクラウドのオフセット疑似ラベルを使用可能ポイントクラウドのオフセット疑似ラベルとする。
【0062】
第２スーパーボクセルを導入して使用可能ポイントクラウドのオフセット疑似ラベルを確定し、使用可能ポイントクラウドのオフセット疑似ラベルの品質を確保する場合に、使用可能ポイントクラウドのオフセット疑似ラベルの確定効率を向上させることが理解できる。
【0063】
それに対応し、上記実施例の基に、本開示の１つの好ましい形態として、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定することは、第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定し、第１予測オフセット量およびサンプルポイントクラウドの元の座標情報に基づき、第２損失を確定し、第１予測オフセット量およびサンプルラベルのうちのオフセットラベルに基づき、第３損失を確定し、第１損失、第２損失および第３損失に基づき、トレーニング損失を確定することであってもよい。
【0064】
具体的には、予め設定された損失関数（例えば、クロスエントロピー損失）、第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することができ、それとともに、第１予測オフセット量およびサンプルポイントクラウドの元の座標情報に基づき、第２損失を確定し、具体的には、同じ第２スーパーボクセル内のポイントクラウド毎に、該ポイントクラウドの第１予測オフセット量と該ポイントクラウドの元の座標情報とを加算し、全ての加算結果の標準偏差を計算することができ、ラベル付きポイントクラウドの属する全ての第２スーパーボクセルに対応する標準偏差を平均値演算すると、第２損失を取得することができ、予め設定された損失関数、第１予測オフセット量およびサンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することができ、最後に、第１損失と、第２損失と、第３損失とを加重加算し、トレーニング損失を取得する。
【0065】
予測オフセット量の監視を導入してトレーニング損失を確定することにより、ポイント分割モデルの正確性を確保することが理解できる。
【0066】
図３は、本開示の実施例に係る更なるポイントクラウド処理モデルのトレーニング方法のフローチャートであり、本実施例は、上記実施例の基に、「第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得する」ことを更に最適化し、１つの好ましい実施形態を提供する。図３に示すように、本実施例のポイントクラウド処理モデルのトレーニング方法は、以下のステップを含んでもよい。
【0067】
Ｓ３０１において、ラベル無しポイントクラウドをポイントクラウド処理モデルに入力し、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量および第１信頼度情報を取得する。
【0068】
ここで、ポイントクラウド処理モデルは、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られる。
【0069】
Ｓ３０２において、第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得する。
【0070】
具体的には、第１信頼度情報が信頼度閾値を超えたラベル無しポイントクラウドを候補ポイントクラウドとする。ここで、信頼度閾値は、当業者が実際の状況に応じて設定することができる。
【0071】
Ｓ３０３において、候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、候補ポイントクラウドをクラスタリングし、候補インスタンスを取得する。
【0072】
具体的には、候補ポイントクラウド毎に、該候補ポイントクラウドの第２予測オフセット量と元の座標情報との和を計算し、その後、各候補ポイントクラウドの第２予測オフセット量と元の座標情報との和に基づき、各候補ポイントクラウドをクラスタリングし、候補インスタンスを取得する。
【0073】
Ｓ３０４において、候補インスタンスのインスタンス特徴を修正モデルに入力し、修正モデルの出力結果に対応する第２信頼度情報を取得する。
【0074】
本実施例において、インスタンス特徴は、ポイントクラウドのポイント毎の高層情報と元の座標情報とをスティッチングした結果である。いわゆる修正モデルは、軽量な複数層の疎な畳み込みで構築された多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）であってもよい。
【0075】
具体的には、候補インスタンス毎に、該候補インスタンスに対応するインスタンス特徴を修正モデルに入力し、該候補インスタンスのセマンティックカテゴリおよびセマンティックカテゴリに対応する第２信頼度情報を取得する。
【0076】
Ｓ３０５において、第２信頼度情報に基づき、候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定する。
【0077】
具体的には、候補インスタンス毎に、該候補インスタンスのセマンティックカテゴリに対応する第２信頼度情報が設定閾値よりも大きい場合、該候補インスタンスに含まれるポイントクラウドを保留することができ、該候補インスタンスのセマンティックカテゴリに対応する第２信頼度情報が設定閾値よりも小さい場合、該候補インスタンスに含まれるポイントクラウドを除外する。更に、保留した候補インスタンスに含まれる全てのポイントクラウドを使用可能ポイントクラウドとする。
【0078】
Ｓ３０６において、使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、使用可能ポイントクラウドの疑似ラベルを確定する。
【0079】
Ｓ３０７において、使用可能ポイントクラウドをサンプルポイントクラウドとする。
【0080】
Ｓ３０８において、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得する。
【0081】
Ｓ３０９において、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定する。
【0082】
Ｓ３１０において、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。
【0083】
本開示の実施例の技術案において、第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得し、その後、候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、候補ポイントクラウドをクラスタリングし、候補インスタンスを取得し、更に、候補インスタンスのインスタンス特徴を修正モデルに入力し、修正モデルの出力結果に対応する第２信頼度情報を取得し、且つ、第２信頼度情報に基づき、候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定する。上記技術案は、第１信頼度情報に基づいて候補ポイントクラウドを確定し、候補インスタンスを取得し、また、第２信頼度情報に基づき、候補インスタンスからポイントクラウドを選別し、使用可能ポイントクラウドの確定をより正確にし、使用可能ポイントクラウドの疑似ラベルの正確性を確保する。
【0084】
図４は、本開示の実施例に係るポイントクラウドインスタンス分割方法のフローチャートであり、該方法、ポイントクラウドインスタンスをどのように分割するかの場合に適用される。該方法は、ポイントクラウドインスタンス分割装置で実行することができ、該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、且つ、ポイントクラウドインスタンス分割機能を持つ電子機器に集積できる。図４に示すように、本実施例のポイントクラウドインスタンス分割方法は、以下のステップを含んでもよい。
【0085】
Ｓ４０１において、分割待ちポイントクラウドを取得する。
【0086】
本実施例において、分割待ちポイントクラウドは、インスタンス分割を行う必要があるポイントクラウドである。
【0087】
Ｓ４０２において、ポイントクラウド処理モデルに基づき、分割待ちポイントクラウドをインスタンス分割する。
【0088】
具体的には、分割待ちポイントクラウドをポイントクラウド処理モデルに入力し、分割待ちポイントクラウドの第３予測セマンティック情報および第３予測オフセット量を取得することであってもよい。
【0089】
本実施例において、ポイントクラウド処理モデルは、上記いずれかの実施例に係るポイントクラウド処理モデルのトレーニング方法でトレーニングされる。第３予測セマンティック情報は、分割待ちポイントクラウドのセマンティックの予測情報である。いわゆる第３予測オフセット量は、分割待ちポイントクラウドのオフセット量の予測値である。
【0090】
具体的には、分割待ちポイントクラウドをポイントクラウド処理モデルに入力し、モデルの処理を経て、分割待ちポイントクラウドの第３予測セマンティック情報および第３予測オフセット量を取得し、第３予測セマンティック情報および第３予測オフセット量に基づき、分割待ちポイントクラウドをインスタンス分割する。
【0091】
好ましくは、分割待ちポイントクラウド毎に、該分割待ちポイントクラウドの第３予測オフセット量と元の座標情報との和を計算し、その後、各分割待ちポイントクラウドの第３予測オフセット量および元の座標情報に基づき、各分割待ちポイントクラウドをクラスタリングし、少なくとも１つのポイントクラウド集合を取得する。更に、第３予測セマンティック情報が同じである少なくとも１つのポイントクラウド集合内の分割待ちポイントクラウドを同じインスタンスに分割する。
【0092】
本実施例の技術案において、分割待ちポイントクラウドを取得し、ポイントクラウド処理モデルに基づき、分割待ちポイントクラウドをインスタンス分割する。上記技術案は、ポイントクラウド処理モデルにより分割待ちポイントクラウドをインスタンス分割し、ポイントクラウドインスタンス分割の正確性を向上させる。
【0093】
図５は、本開示の実施例に係るポイントクラウド処理モデルのトレーニング装置の構造模式図であり、本実施例は、少量かつ限られたラベル付きトレーニングデータの条件で、ポイントクラウドインスタンス分割をどのように精確に実現するかの場合に適用される。特に、少量かつ限られたラベル付きトレーニングデータの条件で、ポイントクラウドインスタンスの精確な分割を実現するために、ポイントクラウドインスタンス分割モデルをどのように精確にトレーニングするかの場合に適用される。該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、且つ、モデルのトレーニング機能を持つ電子機器に集積できる。図５に示すように、本実施例のポイントクラウド処理モデルのトレーニング装置５００は、
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するためのサンプルポイントクラウド確定モジュール５０１と、
サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得するためのサンプルポイントクラウド処理モジュール５０２と、
第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定するためのトレーニング損失確定モジュール５０３と、
トレーニング損失を用いてポイントクラウド処理モデルをトレーニングするためのモデルトレーニングモジュール５０４と、
を備えてもよい。
ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するためのサンプルポイントクラウド確定モジュール５０１と、
サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得するためのサンプルポイントクラウド処理モジュール５０２と、
第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定するためのトレーニング損失確定モジュール５０３と、
トレーニング損失を用いてポイントクラウド処理モデルをトレーニングするためのモデルトレーニングモジュール５０４と、
を備えてもよい。
【0094】
本開示の実施例の技術案において、ラベル付きポイントクラウドに基づき、ラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得し、その後、サンプルポイントクラウドをポイントクラウド処理モデルに入力し、サンプルポイントクラウドの第１予測セマンティック情報および第１予測オフセット量を取得し、更に、第１予測セマンティック情報、第１予測オフセット量、サンプルポイントクラウドに対応するサンプルラベル、およびサンプルポイントクラウドの元の座標情報に基づき、トレーニング損失を確定し、且つ、トレーニング損失を用いてポイントクラウド処理モデルをトレーニングする。上記技術案は、半教師ありトレーニングのシーンにおいて、ラベル無しポイントクラウドにラベルを付けることにより、ラベルが付いたポイントクラウドデータの数を拡大するとともに、第１予測セマンティック情報、第１予測オフセット量、サンプルラベル、およびサンプルポイントクラウドの元の座標情報を導入してトレーニングモデルの損失を確定し、確定したトレーニング損失の正確性を確保し、更に、得られたポイントクラウド処理モデルは高い精度を持ち、ポイントクラウド分割結果の正確性を確保する。
【0095】
更に、サンプルポイントクラウド確定モジュール５０１は、
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得するための第１スーパーボクセル確定ユニットと、
第１スーパーボクセル内のラベル付きポイントクラウドに基づき、第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するための第１サンプルポイントクラウド確定ユニットとを備える。
ポイントクラウドの幾何情報に基づき、元のポイントクラウドをスーパーボクセル分割し、第１スーパーボクセルを取得するための第１スーパーボクセル確定ユニットと、
第１スーパーボクセル内のラベル付きポイントクラウドに基づき、第１スーパーボクセル内のラベル無しポイントクラウドにラベルを付け、サンプルポイントクラウドを取得するための第１サンプルポイントクラウド確定ユニットとを備える。
【0096】
更に、サンプルポイントクラウド確定モジュール５０１は、
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得するためのラベル無しポイントクラウド情報確定ユニットと、
第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得するための使用可能ポイントクラウド確定ユニットと、
使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、使用可能ポイントクラウドの疑似ラベルを確定するための疑似ラベル確定ユニットと、
使用可能ポイントクラウドをサンプルポイントクラウドとするための第２サンプルポイントクラウド確定ユニットとを更に備える。
ラベル無しポイントクラウドを、ラベル付きポイントクラウドを用いて初期モデルをトレーニングして得られたポイントクラウド処理モデルに入力し、ラベル無しポイントクラウドの第２予測セマンティック情報、第２予測オフセット量、および第１信頼度情報を取得するためのラベル無しポイントクラウド情報確定ユニットと、
第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、使用可能ポイントクラウドを取得するための使用可能ポイントクラウド確定ユニットと、
使用可能ポイントクラウドの第２予測セマンティック情報および第２予測オフセット量に基づき、使用可能ポイントクラウドの疑似ラベルを確定するための疑似ラベル確定ユニットと、
使用可能ポイントクラウドをサンプルポイントクラウドとするための第２サンプルポイントクラウド確定ユニットとを更に備える。
【0097】
更に、疑似ラベル確定ユニットは、
使用可能ポイントクラウドの第２予測セマンティック情報に基づき、使用可能ポイントクラウドのセマンティック疑似ラベルを確定するためのセマンティック疑似ラベル確定サブユニットと、
使用可能ポイントクラウドの第２予測オフセット量に基づき、使用可能ポイントクラウドのオフセット疑似ラベルを確定するためのオフセット疑似ラベル確定サブユニットとを備える。
使用可能ポイントクラウドの第２予測セマンティック情報に基づき、使用可能ポイントクラウドのセマンティック疑似ラベルを確定するためのセマンティック疑似ラベル確定サブユニットと、
使用可能ポイントクラウドの第２予測オフセット量に基づき、使用可能ポイントクラウドのオフセット疑似ラベルを確定するためのオフセット疑似ラベル確定サブユニットとを備える。
【0098】
更に、オフセット疑似ラベル確定サブユニットは、具体的に、
使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、第２スーパーボクセルに対応するインスタンス中心を確定することと、
第２スーパーボクセルに対応するインスタンス中心および関連ポイントクラウドの元の座標情報に基づき、関連ポイントクラウドのオフセット疑似ラベルを確定することと、
関連ポイントクラウドのオフセット疑似ラベルを使用可能ポイントクラウドのオフセット疑似ラベルとすることとに用いられる。
使用可能ポイントクラウドから第２スーパーボクセルの関連ポイントクラウドを確定することと、
関連ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、第２スーパーボクセルに対応するインスタンス中心を確定することと、
第２スーパーボクセルに対応するインスタンス中心および関連ポイントクラウドの元の座標情報に基づき、関連ポイントクラウドのオフセット疑似ラベルを確定することと、
関連ポイントクラウドのオフセット疑似ラベルを使用可能ポイントクラウドのオフセット疑似ラベルとすることとに用いられる。
【0099】
更に、使用可能ポイントクラウド確定ユニットは、具体的に、
第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
候補インスタンスのインスタンス特徴を修正モデルに入力し、修正モデルの出力結果に対応する第２信頼度情報を取得することと、
第２信頼度情報に基づき、候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することとに用いられる。
第１信頼度情報に基づき、ラベル無しポイントクラウドを選別し、候補ポイントクラウドを取得することと、
候補ポイントクラウドの第２予測オフセット量および元の座標情報に基づき、候補ポイントクラウドをクラスタリングし、候補インスタンスを取得することと、
候補インスタンスのインスタンス特徴を修正モデルに入力し、修正モデルの出力結果に対応する第２信頼度情報を取得することと、
第２信頼度情報に基づき、候補インスタンスを選別し、選別結果に応じて、使用可能ポイントクラウドを確定することとに用いられる。
【0100】
更に、トレーニング損失確定モジュール５０３は、具体的に、
第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
第１予測オフセット量およびサンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
第１予測オフセット量およびサンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
第１損失、第２損失および第３損失に基づき、トレーニング損失を確定することとに用いられる。
第１予測セマンティック情報およびサンプルポイントクラウドに対応するサンプルラベルのうちのセマンティックラベルに基づき、第１損失を確定することと、
第１予測オフセット量およびサンプルポイントクラウドの元の座標情報に基づき、第２損失を確定することと、
第１予測オフセット量およびサンプルラベルのうちのオフセットラベルに基づき、第３損失を確定することと、
第１損失、第２損失および第３損失に基づき、トレーニング損失を確定することとに用いられる。
【0101】
図６は、本開示の実施例に係るポイントクラウドインスタンス分割装置の構造模式図であり、本実施例は、ポイントクラウドインスタンスをどのように分割するかの場合に適用される。該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、且つ、ポイントクラウドインスタンス分割機能を持つ電子機器に集積できる。図６に示すように、本実施例のポイントクラウドインスタンス分割装置６００は、
分割待ちポイントクラウドを取得するための分割待ちポイントクラウド取得モジュール６０１と、
上記いずれかの実施例のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、分割待ちポイントクラウドをインスタンス分割するためのインスタンス分割モジュール６０２とを備えてもよい。
分割待ちポイントクラウドを取得するための分割待ちポイントクラウド取得モジュール６０１と、
上記いずれかの実施例のポイントクラウド処理モデルのトレーニング方法でトレーニングされたポイントクラウド処理モデルに基づき、分割待ちポイントクラウドをインスタンス分割するためのインスタンス分割モジュール６０２とを備えてもよい。
【0102】
本実施例の技術案において、分割待ちポイントクラウドを取得し、ポイントクラウド処理モデルに基づき、分割待ちポイントクラウドをインスタンス分割する。上記技術案は、ポイントクラウド処理モデルにより分割待ちポイントクラウドをインスタンス分割し、ポイントクラウドインスタンス分割の正確性を向上させる。
【0103】
本開示の技術案に係るラベル付きポイントクラウドおよびラベル無しポイントクラウド等の取得、記憶、および応用等は、いずれも関連法律法規の規定に該当し、公序良俗に反していない。
【0104】
本開示の実施例によれば、本開示は、電子機器、可読記憶媒体およびコンピュータプログラム製品を更に提供する。
【0105】
図７は、本開示の実施例を実施するために使用可能な例示的な電子機器７００の模式的なブロック図を示す。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話、スマートフォン、ウェララブル機器および他の類似する計算装置のような様々な形式の移動装置を表すこともできる。本開示に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本開示に記載および／または要求される本開示の実現を限定するものではない。
【0106】
図７に示すように、電子機器７００は、計算ユニット７０１を備え、読み出し専用メモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム、または記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づき、様々な適当な動作および処理を実行することができる。ＲＡＭ ７０３には、電子機器７００の操作に必要な様々なプログラムおよびデータが記憶されてもよい。計算ユニット７０１、ＲＯＭ ７０２およびＲＡＭ ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。
【0107】
電子機器７００における複数のコンポーネントはＩ／Ｏインタフェース７０５に接続され、キーボード、マウス等のような入力ユニット７０６と、各種のディスプレイ、スピーカ等のような出力ユニット７０７と、磁気ディスク、光ディスク等のような記憶ユニット７０８と、ネットワークカード、モデム、無線通信送受信機等のような通信ユニット７０９とを備える。通信ユニット７０９は、機器７００がインターネットのようなコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを許容する。
【0108】
計算ユニット７０１は、処理および計算能力を有する汎用および／または専用の処理アセンブリであってもよい。計算ユニット７０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）コンピューティングチップ、各種の機械学習モデルアルゴリズムを実行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラ、マイクロコントローラ等を含んでもよいが、これらに限定されない。計算ユニット７０１は、上記各方法および処理、例えば、ポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法を実行する。例えば、いくつかの実施例において、ポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法は、コンピュータソフトウェアプログラムとして実現でき、有形的に記憶ユニット７０８のような機器可読媒体に含まれている。いくつかの実施例において、コンピュータプログラムの一部または全ては、ＲＯＭ ７０２および／または通信ユニット７０９を介して電子機器７００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ ７０３にロードされて計算ユニット７０１により実行されると、上記ポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法の１つまたは複数のステップを実行することができる。あるいは、他の実施例において、計算ユニット７０１は、他の任意の適当な方式（例えば、ファームウェアを介して）により、ポイントクラウド処理モデルのトレーニング方法またはポイントクラウドインスタンス分割方法を実行するように構成され得る。
【0109】
本開示に記載されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準パーツ（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらの様々な実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。
【0110】
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせでコードできる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供でき、これにより、プログラムコードがプロセッサまたはコントローラにより実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実施される。プログラムコードは、完全に機器で実行されてもよいし、一部が機器で実行されてもよいし、独立したソフトウェアパッケージとして一部が機器で実行されて一部がリモート機器で実行されてもよいし、完全にリモート機器またはサーバで実行されてもよい。
【0111】
本開示の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用ディスク（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。
【0112】
ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよび指向装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するために使用できる。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。
【0113】
ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットを含む。
【0114】
コンピューティングシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。サーバは、クラウドサーバであってもよいし、分散型システムのサーバであってもよいし、ブロックチェーンを組み合わせたサーバであってもよい。
【0115】
人工知能は、研究でコンピュータに人間のある思考過程および知能行動（例えば、学習、推理、思考、計画等）をシミュレートさせる学科であり、ハードウェアの面の技術があるとともに、ソフトウェアの面の技術もある。人工知能のハードウェア技術は、一般的に、センサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理等のような技術を含み、人工知能のソフトウェア技術は、主にコンピュータ視覚技術、音声識別技術、自然言語処理技術と機械学習／深層学習技術、ビッグデータ処理技術、ナレッジグラフ技術等のいくつかの方向を含む。
【0116】
クラウドコンピューティング（ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ）は、ネットワークを介して柔軟で拡張可能な共有物理または仮想リソースプール（リソースは、サーバ、オペレーティングシステム、ネットワーク、ソフトウェア、アプリケーションおよび記憶デバイス等を含む）にアクセスし、オンデマンド、セルフサービスの方式でリソースを配置して関連付けることができる技術体系を指す。クラウドコンピューティング技術により、人工知能、ブロックチェーン等の技術応用、モデルのトレーニングに効率的で強力なデータ処理能力を提供することができる。
【0117】
上記に示す様々な形式のフローを用い、ステップを並べ替え、追加または削除することができることを理解すべきである。例えば、本開示に記載された各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本開示に係る技術案の所望する結果を達成できる限り、本開示はここで限定しない。
【0118】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本開示の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本開示の保護範囲内に含まれているべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
