▶ センスタイム インターナショナル プライベート リミテッドの特許一覧
特表2023-503731ポイントクラウドデータ処理方法、装置、機器及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-01
(54)【発明の名称】ポイントクラウドデータ処理方法、装置、機器及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230125BHJP
【ＦＩ】
G06T7/00 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021544325
(86)(22)【出願日】2021-06-01
(85)【翻訳文提出日】2021-07-28
(86)【国際出願番号】 IB2021054792
(87)【国際公開番号】W WO2022096943
(87)【国際公開日】2022-05-12
(31)【優先権主張番号】10202103894R
(32)【優先日】2021-04-15
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】520132724
【氏名又は名称】センスタイム インターナショナル プライベート リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ツァイ， ジョンアン
(72)【発明者】
【氏名】チェン， シンイー
(72)【発明者】
【氏名】ジャン， ジュンジェ
(72)【発明者】
【氏名】ジャオ， ハイユー
(72)【発明者】
【氏名】イー， シュアイ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096FA79
5L096GA30
5L096HA11
(57)【要約】
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。ここで、前記方法は、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ポイントクラウドデータ処理方法であって、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
【請求項2】
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
請求項２に記載の方法。
【請求項5】
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定することと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得ることと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
請求項２又は３に記載の方法。
【請求項6】
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
請求項５に記載の方法。
【請求項7】
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定することと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
請求項１から６のうちいずれか一項に記載の方法。
【請求項8】
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と前記第１所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
請求項８に記載の方法。
【請求項10】
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
請求項１から９のうちいずれか一項に記載の方法。
【請求項11】
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
請求項２から１０のうちいずれか一項に記載の方法。
【請求項12】
前記方法は、オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得ることと、を更に含むことを特徴とする
請求項１から１１のうちいずれか一項に記載の方法。
【請求項13】
ポイントクラウドデータ処理装置であって、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュールと、を備える、ポイントクラウドデータ処理装置。
【請求項14】
前記第４決定モジュールは、前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第１決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第２決定サブモジュールと、を備えることを特徴とする
請求項１３に記載の装置。
【請求項15】
前記処理サブモジュールは、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
請求項１４に記載の装置。
【請求項16】
前記第１決定サブモジュールは、前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定ユニットと、を備え、
前記第２決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第１調整ユニットを備えることを特徴とする
請求項１４に記載の装置。
【請求項17】
前記第１決定サブモジュールは、前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定するように構成される第３決定ユニットと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得るように構成される第４決定ユニットと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第５決定ユニットと、を備えることを特徴とする
請求項１４又は１５に記載の装置。
【請求項18】
前記第５決定ユニットは、前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第１処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第１決定サブユニットと、を備えることを特徴とする
請求項１７に記載の装置。
【請求項19】
前記第２決定モジュールは、前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定するように構成される第３決定サブモジュールと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第１インタラクションサブモジュールと、を備えることを特徴とする
請求項１３から１８のうちいずれか一項に記載の装置。
【請求項20】
前記第３決定モジュールは、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第３変換サブモジュールであって、前記第２所定値と前記第１所定値は、倍関係を有する、第３変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第４決定サブモジュールと、を備えることを特徴とする
請求項１９に記載の装置。
【請求項21】
前記第４決定サブモジュールは、前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得るように構成される第１集約ユニットと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第１フュージョンユニットと、を備えることを特徴とする
請求項２０に記載の装置。
【請求項22】
前記装置は、前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第１変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
請求項１３から２１のうちいずれか一項に記載の装置。
【請求項23】
前記装置は、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第２変換モジュールと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第３変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１フュージョンモジュールと、を更に備えることを特徴とする
請求項１４から２２のうちいずれか一項に記載の装置。
【請求項24】
前記装置は、オリジナルポイントクラウドデータを取得するように構成される第１取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第６決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第２補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得るように構成される第１連結モジュールと、を更に備えることを特徴とする
請求項１３から２４のうちいずれか一項に記載の装置。
【請求項25】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、請求項１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
【請求項26】
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
【請求項27】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、請求項１から１２のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２１年４月１５日に提出された、出願番号が１０２０２１０３８９４Ｒであり、発明名称が「ポイントクラウドデータ処理方法、装置、機器及び記憶媒体」であるシンガポール特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
本願は、２０２１年４月１５日に提出された、出願番号が１０２０２１０３８９４Ｒであり、発明名称が「ポイントクラウドデータ処理方法、装置、機器及び記憶媒体」であるシンガポール特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
【0002】
本願の実施例は、ポイントクラウドデータ処理技術分野に関し、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体に関するが、これらに限定しない。
【背景技術】
【0003】
レーザーレーダーとデプスカメラの成熟に伴い、ポイントクラウドは、画像の補充データフォーマットとして、様々の監視シーンに徐々に配置されるようになる。関連技術において、ポイントクラウドが無秩序性、ノイズ及びメッシュレスという特性を有するため、深層ニューラルネットワークを利用して学習されたポイントクラウドの特徴は、応用のニーズを満たすことは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、ポイントクラウドデータ処理の技術的解決手段を提供する。
【課題を解決するための手段】
【0005】
本願の実施例の技術的解決手段は、以下のように実現する。
【0006】
本願の実施例は、ポイントクラウドデータ処理方法を提供する。前記方法は、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む。
【0007】
本願の実施例は、ポイントクラウドデータ処理装置を提供する。前記装置は、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュールと、各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュールと、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュールと、前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュールと、を備える。
【0008】
これに対応して、本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、上記方法のステップを実現することができる。
【0009】
本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、上記方法のステップを実現することができる。
【0010】
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。第１ポイントクラウドデータにおけるいずれか１つの処理対象ポイントに対して、まず、該処理対象ポイントとスケールが異なる複数組の近隣ポイントとの関連関係を決定する。次に、各組の近隣ポイントと処理対象ポイントとの関連関係に基づいて、処理対象ポイントの関連特徴を抽出する。続いて、複数組の近隣ポイントの関連特徴をフュージョンすることで、処理対象ポイントのターゲット特徴を得る。最後に、第１ポイントクラウドデータにおける複数の処理対象ポイントのターゲット特徴に基づいて、第１ポイントクラウドデータに対して補完を行い、第２ポイントクラウドデータを生成する。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴に配慮を加えることができる。従って、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができる。抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
【図面の簡単な説明】
【0011】
【図1】本願の実施例によるポイントクラウドデータ処理方法の実現フローを示す概略図である。
【図2】本願の実施例によるポイントクラウドデータ処理方法の実現フローを示すもう１つの概略図である。
【図3】本願の実施例によるポイントクラウドデータ処理装置の構造を示す概略図である。
【図4】本願の実施例によるコンピュータ機器の構造を示す概略図である。
【発明を実施するための形態】
【0012】
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、発明の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願の説明するためのものであり、本願の範囲を限定するものではない。
【0013】
下記記述において、「幾つかの実施例」に係る。これは、全ての可能な実施例のサブ集合を記述する。「幾つかの実施例」は、全ての可能な実施例の同一のサブ集合又は異なるサブ集合であってもよく、また、矛盾しない限り、互いに組み合わせられてもよいと理解されるべきである。
【0014】
下記記述に係る用語「第１／第２／第３」は、類似した対象を区別するためのものであり、対象の特定の順番を説明するためのものではない。ここで説明した本願の実施例をここで示した又は説明した順番以外の順番で実施可能なものにするために、「第１／第２／第３」は、許された場合であれば特定の順番又は前後順序を互いに取り替えることができることは、理解されるべきである。
【0015】
別途定義しない限り、本明細書に用いられる全ての技術的及び科学的用語は、本願の技術分野に属する当業者が一般的に理解する意味と同じである。本明細書に用いられる用語は、本願の実施例の目的を説明するためのものだけであり、本願を限定するものではない。
【0016】
本願の実施例を更に詳しく説明する前に、本願の実施例に係る名詞及び用語を説明する。本願の実施例に係る名詞及び用語に関する解釈は以下の通りである。
【0017】
１）グローバル平均プーリング（Ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）は、アンダーサンプリング又はサブサンプリングとも呼ばれ、主に特徴の次元削減、データ及びパラメータの数の圧縮、オーバーフィッティングを減少させると共に、モデルのフォールトトレランスを向上させるために用いられる。
【0018】
２）全結合層は、前に複数回畳み込み処理後の高度に抽象化した特徴を整合し、続いて、正規化を行い、分類ケース毎に対して１つの確率を出力し、その後、分類器が、全結合で得られた確率に基づいて分類を行う役割をしている。
【0019】
以下、本願の実施例で提供されるポイントクラウドデータの処理機器の例示的な適用を説明する。本願の実施例で提供される機器は、画像収集機能を有するノートパソコン、タブレット、デスクトップコンピュータ、カメラ、携帯機器（例えば、パーソナルデジタルアシスタント、専用メッセージング機器、ポータブルゲーム機器）などの種々のタイプのユーザ端末として実現してもよく、サーバとして実現してもよい。以下、機器が端末又はサーバとして実現する場合の例示的な適用を説明する。
【0020】
該方法は、コンピュータ機器に適用可能である。該方法により実現される機能は、コンピュータ機器におけるプロセッサがプログラムコードを呼び出すことで実現してもよい。勿論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。従って、該コンピュータ機器は少なくともプロセッサ及び記憶媒体を備える。
【0021】
【0022】
ステップＳ１０１において、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定する。
【0023】
幾つかの実施例において、取得した第１ポイントクラウドデータは、直接収集した三次元（３－Ｄｉｍｅｎｓｉｏｎ：３Ｄ）ポイントクラウドデータ、又は受信した他の機器からの３Ｄポイントクラウドデータであってもよい。処理対象ポイントは、ポイントクラウドデータにおけるいずれか１つのポイントと理解されてもよい。第１ポイントクラウドデータにおいて、該処理対象ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる。各組の近隣ポイントのスケールは、該組の近隣ポイントの数を表す。つまり、複数組の近隣ポイントのうちの各組の近隣ポイントの数は異なる。例えば、処理対象ポイントの一組の近隣ポイントの数はＫ１であり、別の一組の近隣ポイントの数はＫ２である場合、該２組の近隣ポイントのスケールがＫ１及びＫ２であるとそれぞれ決定する。
【0024】
ステップＳ１０２において、各組の近隣ポイントと処理対象ポイントとの関連関係を決定する。
【0025】
幾つかの実施例において、各組の近隣ポイントと処理対象ポイントとの関連関係は、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントとの関連程度を表すためのものである。該関連関係は、位置関連を含んでもよく、及び／又は、該関連関係は、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントで表される物理対象との潜在的関係を表すことができる。例えば、両者が同一の物理対象を表すポイントであるかどうかを表し、又は、両者で表される物理対象が異なる場合、表される異なる物理対象間の位置関係、種類の類似性、従属関係などのうちの少なくとも１つである。上記関連関係は、近隣ポイントと処理対象ポイントとの関係パラメータ及び重み係数で表されてもよい。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうち各近隣ポイントと処理対象ポイントとの関連パラメータを分析する。該関連パラメータに基づいて、一組の近隣ポイントと処理対象ポイントとの関連関係を全体的に決定し、各組の近隣ポイントと処理対象ポイントとの関連関係を得ることができる。
【0026】
ステップＳ１０３において、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定する。
【0027】
幾つかの実施例において、処理対象ポイントの関連特徴の数は、近隣ポイントの組数に対応し、即ち、一組の近隣ポイントと処理対象ポイントとのインタラクションにより、処理対象ポイントの一組の近隣ポイントに対応する関連特徴を得ることができる。該組の近隣ポイントに対応する関連特徴は、該組の近隣ポイントの特徴情報を十分に考慮している。処理対象ポイントの近隣ポイントは複数組であるため、関連特徴は複数である。
【0028】
幾つかの可能な実現形態において、一組の近隣ポイントにおける各近隣ポイントに対して、まず、関係パラメータに基づいて、該近隣ポイントの特徴と処理対象ポイントの特徴に対してインタラクション処理を行い、インタラクション後の初期特徴集合を得る。続いて、組で該インタラクション後の初期特徴に対してフュージョンを行い、各組に対応する処理対象ポイントの関連特徴を得る。該処理対象ポイントの関連特徴が周辺の複数組の近隣ポイントの初期特徴との関連関係を考慮しているため、得られた処理対象ポイントの関連特徴は、より重要であり、しかも豊かである。
【0029】
ステップＳ１０４において、複数組の近隣ポイントに対応する関連特徴に基づいて、処理対象ポイントのターゲット特徴を決定する。
【0030】
幾つかの実施例において、各組の近隣ポイントに対応する関連特徴をフュージョンすることで、該処理対象ポイントのターゲット特徴を得ることができる。処理対象ポイントの複数組の近隣ポイントに対して、ポイントクラウド補完ネットワークにおける関係補強ネットワークのポイントクラウドセルフアテンションコアモジュール（ここで、ポイントクラウドセルフアテンションコアモジュールは、関係補強ネットワークの一部であり、局所的な近隣ポイントの特徴、処理対象ポイントと近隣ポイントとの関係を統合することで、ポイントクラウド内の構造関係を学習し、ポイントクラウド特徴を更に補強する）を利用することで、各組の近隣ポイントに対応する関連特徴を得る。このように、各組の関連特徴の重みと該組の関連特徴に対して加重加算を行うことで、複数組の近隣ポイントの特徴を十分に考慮したターゲット特徴を得る。これにより、スケールが異なる近隣ポイントと処理対象ポイントとの関連関係を自己適応的に選択することで、複数組の関連特徴に基づいて、処理対象ポイントのターゲット特徴を決定する。ポイントクラウド学習におけるスケール不変性を解決することができるだけでなく、ポイントクラウド特徴を補強することもできる。
【0031】
Ｓ１０５において、複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成する。
【0032】
幾つかの実施例において、第２ポイントクラウドデータの完備性は、第１ポイントクラウドデータの完備性よりも高い。任意選択的に、オリジナルポイントクラウドデータの確率分布を分析することで、該オリジナルポイントクラウドデータの輪郭に対して大ざっぱに推定を行い、第１ポイントクラウドデータを得ることができる。大ざっぱに推定された第１ポイントクラウドデータに対して、上記ターゲット特徴に基づいて、ポイントクラウド特徴補強を行い、より精細な第２ポイントクラウドデータを得る。
【0033】
本願の実施例において、変分関連ポイントクラウド補完ネットワークにおける関係補強ネットワークを利用して、スケールが異なる複数組の近隣ポイントの関連特徴を利用して、該処理対象ポイントのターゲット特徴を抽出する。また、複数の処理対象ポイントのターゲット特徴を採用して、第１ポイントクラウドデータに対して補完を行い、より完備な第２ポイントクラウドデータを得る。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴も考慮に入れることができ、それによって、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができ、抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
【0034】
幾つかの実施例において、複数組の関連特徴に対してグローバル平均プーリング処理を行い、該関連特徴のうち、各組の近隣ポイントの組関連度を決定することで、組関連度と該組の関連特徴を組み合わせ、ターゲット特徴を抽出することができる。つまり、上記ステップＳ１０４は、図２に示すステップにより実現してもよい。図１及び図２に示すステップを参照しながら、以下のように説明する。
【0035】
ステップＳ２０１において、複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得る。
【0036】
幾つかの実施例において、処理対象ポイントにとってどの組の近隣ポイントがより重要であるかを決定するために、まず、複数組の近隣ポイントに対応する関連特徴をフュージョンし、更に、プーリング層を利用して、フュージョンした特徴に対して平均プーリング処理を行い、プーリング特徴を得る。
【0037】
幾つかの可能な実現形態において、まず、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得る。例えば、該複数組の近隣ポイントに対応する関連特徴に対して要素ごとに加算を行い、フュージョンした特徴を得る。続いて、前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得る。例えば、要素ごとに加算を行うことで得られたフュージョン特徴をネットワークのグローバル平均プーリング層に入力し、フュージョンした特徴に対してグローバル平均プーリング処理を行い、フュージョンした特徴に対して次元削減を行った後の該プーリング特徴を得て、ネットワークのロバスト性を向上させる。
【0038】
ステップＳ２０２において、プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定する。
【0039】
幾つかの実施例において、まず、該プーリング特徴をネットワークアーキテクチャにおける全結合層に入力し、各組の近隣ポイントに対して、その中の各近隣ポイントの処理対象ポイントに対する重要度を分類し、重要度がラベル付けられた近隣ポイント集合を得る。続いて、２つの全結合層を利用して、重要度がラベル付けられた近隣ポイント集合から、同一組に属する近隣ポイントを分類する。最後に、該同一組の近隣ポイントにラベル付けられた重要度に基づいて、該組の処理対象ポイントに対する重要度を決定することができる。つまり、該組の組関連度を決定することができる。
【0040】
ステップＳ２０３において、前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定する。
【0041】
幾つかの実施例において、まず、１つの組の組関連度及び該組に対応する関連特徴に対して、２つベクトルを要素ごとに乗算し、複数組の乗算結果を得ることができる。続いて、該複数の組の乗算結果に対して要素ごとに加算を行い、最終的なターゲット特徴を得る。
【0042】
本願の実施例において、複数組の関連特徴をフュージョンした後、グローバル平均プーリング処理を行い、プーリング特徴を全結合層に入力することで、該関連特徴における各組の近隣ポイントの重要度を決定し、各組の近隣ポイントの重要度と該組に対応する関連特徴とを組み合わせ、最終的なターゲット特徴を得る。これにより、スケールが異なる複数組の近隣ポイントの組関連度と該組の関連特徴を組み合わせることで、細部がより豊かであるポイントクラウドのターゲット特徴を抽出し、同一の階層において、スケールが異なる複数の特徴を選択してフュージョンし、これにより、ポイントクラウド特徴に基づいてポイントクラウド補完ネットワークの訓練を行う過程において、訓練により得られたネットワークは、複数のスケールの関連特徴に対応することができるようになる。
【0043】
幾つかの実施例において、一組の近隣ポイントのうちの各近隣ポイントと処理対象ポイントとの関連度を決定することで、一組の組関連度を得る。これにより、組関連度を利用して、該組に対応する関連特徴に対して更新を行い、ターゲット特徴を得ることができる。つまり、上記ステップＳ２０２及びＳ２０３は、下記ステップにより実現してもよい。
【0044】
ステップＳ２３１において、プーリング特徴に基づいて、各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得る。
【0045】
幾つかの実施例において、各組の近隣ポイントにおいて、各近隣ポイントの処理対象ポイントに対する重要度を決定することで、該近隣ポイントと処理対象ポイントとの関連度を決定することができる。例えば、該近隣ポイントが処理対象ポイントのキーボードに属する信頼度を該近隣ポイントと処理対象ポイントとの関連度とする。
【0046】
幾つかの可能な実現形態において、一組の近隣ポイントにおいて、各近隣ポイントが処理対象ポイントのキーポイントに属する信頼度を判定することで、該組の近隣ポイントの処理対象ポイントに対する重要度を分析する。つまり、組関連度を分析する。つまり、ステップＳ２０２は、下記ステップにより実現してもよい。
【0047】
ステップ１において、前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定する。
【0048】
幾つかの実施例において、処理対象ポイントのキー特徴は、処理対象ポイントの近隣ポイントのうちのキーポイントであり、該処理対象ポイントと線形関係及び関連関係を有するポイントである。例えば、キーポイントと処理対象ポイントとのセマンティック関係が緊密であり、且つインタラクションが多い。具体的な例において、複数組の近隣ポイントに対応する関連特徴をフュージョンし、該複数組の関連特徴のプーリング特徴を全結合層に入力し、該全結合層を利用して、複数組の近隣ポイントに対応する関連特徴のうちの、重要特徴に属する関連特徴に対して分類を行い、一組の近隣ポイントに対応する関連特徴において、近隣ポイントと関連特徴は、関連関係を有する。これにより、複数組の近隣ポイントのうちの各近隣ポイントがキーポイントであるかどうかに対して分類を行い、各近隣ポイントが前記処理対象ポイントのキーポイントに属する第１信頼度を得る。
【0049】
ステップ２において、前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得る。
【0050】
幾つかの実施例において、処理対象ポイントにとって、どの組の近隣ポイントがより重要であるかを決定するために、複数の独立した全結合層を利用して、フュージョンした複数組の関連特徴を区分し、各組の近隣ポイントに対応する関連特徴の重要度を得る。つまり、第２信頼度を得る。ここで、独立した全結合層の数は、近隣ポイントの組数と同じである。これにより、フュージョンした複数組の関連特徴を区分することができる。
【0051】
ステップ３において、前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定する。
【0052】
幾つかの実施例において、一組の近隣ポイントに対応する関連特徴がキー特徴に属する信頼度を決定し、これらの信頼度を各関連特徴にラベル付けることで、該組の重要度を得ることができる。これにより、まず、全結合層により、フュージョンした複数組の関連特徴の重要度に対して分類を行う。続いて、複数の独立した全結合層により、該複数組の関連特徴を独立した組に分ける。これにより、各組の近隣ポイントの重要度を決定することができる。
【0053】
ステップＳ２３２において、各組のポイント関連度集合に基づいて、各組の組関連度を決定する。
【0054】
幾つかの実施例において、一組のポイント関連度集合は、一組の近隣ポイントのうち、各近隣ポイントが処理対象ポイントのキーポイントに属する信頼度集合であると理解されてもよい。一組の近隣ポイントの信頼度を加算することで、該組の処理対象ポイントに対する重要度を得ることができる。つまり、該組の組関連度を得る。
【0055】
幾つかの可能な実現形態において、一組の近隣ポイントのポイント関連度を得た後、一組のポイント関連度集合を正規化し、各組の組関連度を得る。例えば、下記プロセスにより実現してもよい。
【0056】
まず、前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得る。
【0057】
例えば、各組の近隣ポイントに対応する一組の第２信頼度をポイントクラウド補完ネットワークのｓｏｆｔｍａｘ層に入力し、ｓｏｆｔｍａｘ関数を用いて、第２信頼度に対して処理を行い、各組の第２信頼度の正規化結果を得ることができる。また、該複数組の組正規化結果の合計は、１に等しい。
【0058】
続いて、前記組正規化結果に基づいて、前記組関連度を決定する。
【0059】
例えば、組正規化結果が大きいほど、処理対象ポイントにとって、該組の近隣ポイントが重要になることを表す。つまり、該組の近隣ポイントが処理対象ポイントのキーポイントである確率が大きいであることを表す。これにより、ｓｏｆｔｍａｘ層を利用して、一組の近隣ポイントのポイント関連度を処理することで、該組の近隣ポイント全体の重要度を決定することができる。従って、該組の近隣ポイント全体の重要度に基づいて、抽出したポイントクラウド特徴を補強することができる。
【0060】
ステップＳ２３３において、前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得る。
【0061】
幾つかの実施例において、各組の組関連度と該組に対応する関連特徴に対して要素ごとに乗算を行い、乗算結果を得る。これにより、複数組の組関連度と対応する関連特徴を要素ごとに乗算することで、複数組の乗算結果を得ることができる。該複数組の乗算結果を要素ごとに加算することで、ターゲット特徴を得ることができる。このように、一組の近隣ポイントの組関連度を利用して、該組に対応する関連特徴に対して調整を行い、調整後の複数組の特徴をフュージョンし、周辺のスケールが異なる複数組の近隣ポイント特徴を含むターゲット特徴を得る。
【0062】
幾つかの実施例において、各組の近隣ポイントのうちの各近隣ポイントに対して、適応的な方式で、各近隣ポイントと処理対象ポイントとのインタラクションを実現する。つまり、上記ステップＳ１０２は、下記ステップにより実現してもよい。
【0063】
ステップＳ１２１において、前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定する。
【0064】
幾つかの実施例において、各組の近隣ポイントのうちの各近隣ポイントに対して特徴抽出を行い、第１初期特徴を得る。つまり、第１初期特徴は、各近隣ポイントの初期特徴を含む。処理対象ポイントに対して特徴抽出を行い、第２初期特徴を得る。ここの特徴抽出は、訓練された多層パーセプトロンネットワーク（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ：ＭＬＰ）又は畳み込みネットワークなどにより実現してもよい。
【0065】
ステップＳ１２２において、第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得る。
【0066】
幾つかの実施例において、第１所定値は、設定された任意の値であってもよい。例えば、第１所定値を６４又は３２などとする。まず、多層パーセプトロンネットワークを用いて、第１初期特徴に対して線形処理を行う。例えば、第１初期特徴に対して次元拡張を行う。続いて、第１所定値に基づいて、次元拡張後の第１初期特徴に対して線形変換を行い、第１変換特徴を得る。例えば、第１所定値に基づいて、次元拡張後の第１初期特徴に対して次元削減を行い、第１変換特徴を得る。
【0067】
ステップＳ１２３において、第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得る。
【0068】
幾つかの実施例において、処理対象ポイントの第２初期特徴に対する処理プロセスは、上記ステップＳ１２２における、第１初期特徴に対する処理プロセスと類似する。例えば、まず、多層パーセプトロンネットワークを用いて、第２初期特徴に対して線形処理を行う。例えば、第２初期特徴に対して次元拡張を行う。続いて、第１所定値に基づいて、次元拡張後の第２初期特徴に対して線形変換を行い、第２変換特徴を得る。例えば、第１所定値に基づいて、次元拡張後の第２初期特徴に対して次元削減を行い、第２変換特徴を得る。
【0069】
ステップＳ１２４において、前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定する。
【0070】
幾つかの実施例において、各組の近隣ポイントの第１変換特徴と第２変換特徴に対してインタラクション処理を行い、例えば、各組の近隣ポイントの第１変換特徴と第２変換特徴に対して接続又は乗算などを行うことで、２つの特徴の相互の関係重みを得て、該関係重みを両者の関係パラメータとする。
【0071】
上記ステップＳ１２１からステップＳ１２４において、「各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定する」ための方式を提供する。該方式において、ポイントクラウドにおける近隣ポイントと処理対象ポイントとの相互関係を自己適応的に学習することで、ポイントクラウドデータにおけるキー特徴の抽出を容易にする。
【0072】
上記ステップＳ１２４の後に、もう１つの所定値を用いて、近隣ポイントの初期特徴に対して線形変換を行い、関連関係を用いて、変換後の初期特徴を調整することで、該組の近隣ポイントに対応する関連特徴を得ることができる。つまり、上記ステップＳ１０３は、下記ステップにより実現してもよい。
【0073】
ステップＳ１３１において、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得る。
【0074】
幾つかの実施例において、第２所定値と第２所定値は、倍関係を有する。例えば、第１所定値は、第２所定値のｎ倍である。具体的な例において、第１所定値を６４とし、第２所定値を３２としてもよい。幾つかの可能な実現形態において、まず、ＭＬＰモデルを用いて、第１初期特徴に対して線形処理を行う。例えば、第１初期特徴に対して次元拡張を行う。続いて、第２所定値に基づいて、次元拡張された第１初期特徴に対して線形変換を行い、第３変換特徴を得る。
【0075】
ステップＳ１３２において、前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定する。
【0076】
幾つかの実施例において、該関連関係に基づいて、各組の近隣ポイントの第３変換特徴に対して補強を行い、各組の近隣ポイントの第３変換特徴を補強した後に得られた特徴をフュージョンし、該組の近隣ポイントに対応する関連特徴を得る。これにより、第１所定値と倍関係を有する第２所定値を用いて、一組の近隣ポイントの初期特徴に対して線形変換を行う。処理対象ポイントの初期特徴と該組の近隣ポイントの初期特徴との関連関係を用いて、線形変換後の近隣ポイントの初期特徴を補強することで、特徴細部がより豊かである関連特徴を得ることができる。
【0077】
幾つかの可能な実現形態において、得られた関係パラメータを用いて、第３変換特徴に対して集約を行い、得られた集約特徴と処理対象ポイントの初期特徴をフュージョンすることで、キーとなる情報を含む関連特徴を得ることができる。これは、下記プロセスにより実現してもよい。
【0078】
まず、前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得る。
【0079】
幾つかの実施例において、関係パラメータが処理対象ポイントの初期特徴と一組の近隣ポイントの初期特徴との関係重みであれば、該関係重みを利用して一組の近隣ポイントの第３変換特徴を集約し、集約特徴を得る。例えば、該関係重みを利用して一組の近隣ポイントの第３変換特徴に対して加重加算を行い、集約特徴を得る。
【0080】
続いて、前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得る。
【0081】
幾つかの実施例において、集約特徴を得た後、多層パーセプトロンネットワークを用いて、該集約特徴に対して線形変換を行い、近隣ポイントの初期特徴次元が１である変換特徴を得る。該変換特徴と処理対象ポイントの初期特徴を要素ごとに加算し、処理対象ポイントの関連特徴を得る。これにより、複雑な演算を行って得られた変換特徴と複雑な演算が行われていない第２初期特徴を組み合わせて、処理対象ポイントの関連特徴を決定することで、入力されたポイントクラウドデータのオリジナル特徴を保留することができる。
【0082】
幾つかの実施例において、ポイントクラウドデータを取得した後、処理対象ポイントの初期特徴に対して一回目の線形変換を行い、線形変換後の処理ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。これは、下記ステップにより実現してもよい。
【0083】
ステップ１において、前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得る。
【0084】
幾つかの実施例において、多層パーセプトロンネットワークを用いて、処理対象ポイントの初期特徴に対して線形変換を行い、変換後の初期特徴を処理対象ポイントの初期特徴とする。
【0085】
ステップ２において、前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定する。
【0086】
幾つかの実施例において、変換された処理対象ポイントを中心ポイントとして、複数組の近隣ポイントを決定する。つまり、「第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得る」ステップの前に、処理対象ポイントに対して線形変換を行ったため、処理対象ポイントの初期特徴に対して線形変換を行った後、ＰＳＡモジュールに入って、ポイントクラウド内部の構造関係を自己適応的に学習することで、より多くの有効な特徴情報を得ることができる。
【0087】
幾つかの実施例において、１本の残差経路を追加することで、ターゲット特徴抽出プロセスにおける勾配を補充する。つまり、上記ステップＳ１０４の後に、下記ステップを更に含む。
【0088】
ステップＳ１４１において、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得る。
【0089】
幾つかの実施例において、スケールが異なる複数組の近隣ポイントを利用することで、処理対象ポイントのターゲット特徴を決定した後、ＭＬＰモデルを用いてターゲット特徴に対して線形変換を行い、ターゲット特徴における特徴ベクトルの次元を変更し、コアターゲット特徴を得る。
【0090】
ステップＳ１４２において、前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得る。
【0091】
幾つかの実施例において、まず、入力された処理対象ポイントに対して特徴抽出を行い、第２初期特徴を得る。続いて、ＭＬＰモデルを用いて、第２初期特徴に対して線形変換を行い、該残差特徴を得る。これにより、該残差特徴を新規追加される１本の残差経路とすることで、メイン経路に対して複雑な処理を行う過程において、勾配が消失するという問題を解決することができる。
【0092】
ステップＳ１４３において、前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得る。
【0093】
幾つかの実施例において、残差特徴とコアターゲット特徴を要素ごとに加算し、ターゲット特徴に対する更なる補強を実現する。つまり、更新されたターゲット特徴を得る。これにより、１本の残差経路を追加することで、初期特徴に対して複雑な処理を行う過程において消失した特徴の抽出を補充することができる。また、このように最終的に得られた更新したターゲット特徴は、オリジナル特徴情報を考慮しただけでなく、複雑な処理プロセスが行われた特徴情報も考慮した。更に、更新されたターゲット特徴に、より豊かな細部を持たせることができる。
【0094】
以下、１つの実際の適用シーンにおける本願の実施例の例示的な適用を説明する。スケールが異なる複数組の近隣ポイントを自己適応的に選択することで、ポイントクラウド学習におけるスケール不変性を解決することを例として説明する。
【0095】
幾つかの実施例において、オリジナルポイントクラウドデータの確率分布を考慮することで、オリジナルポイントクラウドデータの合理的な輪郭を大ざっぱに予測する。これを基に、大ざっぱに推定された輪郭に対して細部補完を行い、精細且つ完全な第２ポイントクラウドデータを得る。下記ステップＳ１１１からステップＳ１１４により、第１ポイントクラウドデータを得ることができる。
【0096】
ステップＳ１１１において、オリジナルポイントクラウドデータを取得する。
【0097】
幾つかの実施例において、取得したオリジナルポイントクラウドデータは、直接的に収集した三次元（３－Ｄｉｍｅｎｓｉｏｎ：３Ｄ）ポイントクラウドデータ又は受信した、他の機器からの３Ｄポイントクラウドデータであってもよい。処理対象ポイントは、ポイントクラウドデータにおけるいずれか１つのポイントと理解されてもよい。例えば、１つの角度で電気スタンドに対して収集した、電気スタンドの外観を表すポイントクラウドデータであってもよく、又は、受信した、いずれか１つの機器からの１つの物体を表すポイントクラウドデータであってもよい。オリジナルポイントクラウドデータは、物体の形状を完全に表すことができる完全なポイントクラウドであってもよく、物体の一部の形状を表すことができる不完全なポイントクラウドであってもよい。
【0098】
ステップＳ１１２において、前記オリジナルポイントクラウドデータの確率分布を決定する。
【0099】
幾つかの実施例において、オリジナルポイントクラウドデータの確率分布は、該オリジナルポイントクラウドデータを符号化することで得られた条件付き確率分布であってもよい。例えば、ポイントクラウド補完ネットワークを用いて、オリジナルポイントクラウドデータの確率分布を決定する。該ポイントクラウド補完ネットワークは、初級補完ポイントクラウドを生成する確率生成ネットワークと、初級補完ポイントクラウドを基に高品質な出力ポイントクラウドを生成する関係補強ネットワークと、を含む。これにより生成された補完ポイントクラウドに、入力ポイントクラウドの細部が大幅に保留された。確率生成ネットワークの変分オートエンコーダを用いて、オリジナルポイントクラウドデータに対して符号化を行い、符号化後のポイントクラウドに対して線形残差モジュールにより処理を行うことで、オリジナルポイントクラウドデータの条件付き確率分布を迅速に決定することができる。
【0100】
ステップＳ１１３において、前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得る。
【0101】
幾つかの実施例において、ポイントクラウド補完ネットワークにおいて、補完しようとするポイントクラウドの確率分布と標準的な正規分布との差を参照することで、オリジナルポイントクラウドデータが属する対象の完全な形状を予測する。また、該完全な形状のポイントクラウドデータとオリジナルポイントクラウドデータとの差に基づいて、オリジナルポイントクラウドデータに対して補完を行うことで、大ざっぱに推定された初級補完ポイントクラウドを得ることができる。該初級補完ポイントクラウドは、オリジナルポイントクラウドデータが属する対象のだいたいの輪郭を大ざっぱに記述するために用いられる。
【0102】
ステップＳ１１４において、前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得る。
【0103】
幾つかの実施例において、推定されたオリジナルポイントクラウドデータの大ざっぱな輪郭である初級補完ポイントクラウドとオリジナルポイントクラウドデータをマージし、第１ポイントクラウドデータを得る。
【0104】
上記ステップＳ１１１からステップＳ１１４は、ポイントクラウド補完ネットワークの確率生成ネットワークにより実現してもよい。該確率生成ネットワークの訓練過程において、不完全なポイントクラウドの分布及び特徴、これに対応する完全なポイントクラウドの分布及び特徴を学習しており、従って、適用の時に、不完全なポイントクラウド形状に合致するだけでなく、合理的な輪郭も有する大ざっぱなポイントクラウドを生成することができる。つまり、確率生成ネットワークを用いることで、補完しようとするネットワークに対応する、合理的な輪郭を有する初級補完ポイントクラウドを生成することができる。確率生成ネットワークから出力された初級補完ポイントクラウドとオリジナルポイントクラウドデータを組み合わせ、第１ポイントクラウドデータを得て、ポイントクラウド補完ネットワークの関係補強ネットワークに入力する。つまり、ステップＳ１１５に進む。
【0105】
ステップＳ１１５において、複数の第１ポイントクラウドデータにおける処理対象ポイントのターゲット特徴に基づいて、前記オリジナルポイントクラウド特徴に対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成する。
【0106】
幾つかの実施例において、関係補強ネットワークにおいて、第１ポイントクラウドデータにおける各ポイントに対して、まず、該ポイントの複数組のスケールが異なる近隣ポイントを決定する。続いて、各組の近隣ポイントと該ポイントとの関連関係を決定する。ここで、関連関係は、一組の近隣ポイントのうちの各近隣ポイントと該ポイントとのインタラクションを表すためのものであり、近隣ポイントと該ポイントとの間のインタラクションパラメータ及び重み係数で表されてもよい。複数組の近隣ポイントのうちの各組の近隣ポイントに対して、一組の近隣ポイントのうちの各近隣ポイントと所属ポイントとのインタラクションパラメータを分析する。該インタラクションパラメータに基づいて、一組の近隣ポイントと所属ポイントとの関連関係を全体的に決定し、各組の近隣ポイントと所属ポイントとの関連関係を得ることができる。このように、各ポイントと複数組の近隣ポイントとの関連関係を決定することで、連結ポイントクラウド全体と連結ポイントクラウドの複数組の近隣ポイントとの関連関係を得ることができる。これにより、ポイントクラウドの、スケールが異なる近隣ポイントの構造的関係を学習することで、ポイントクラウド補完の精度を向上させる。一組の近隣ポイントと所属ポイントとの関連関係に基づいて、初級補完ポイントクラウドのポイントクラウド特徴に対して補強を行い、より精細なポイントクラウド特徴を得る。該より精細なポイントクラウド特徴により、オリジナルポイントクラウドデータに対して補完を行い、第２ポイントクラウドデータを得る。このように、補完しようとするポイントクラウドの確率分布を考慮することで、オリジナルポイントクラウドデータの合理的な輪郭を予測することができる。これにより、オリジナルポイントクラウド形状に合致するだけでなく、合理的な輪郭も有する初級補完ポイントクラウドを得ることができる。連結ポイントクラウドのスケールが異なる複数組の近隣ポイントの構造的関係を組み合わせることで、初級補完ポイントクラウドの精度を向上させることができ、精度が高いポイントクラウド細部を有する第２ポイントクラウドデータを得る。
【0107】
具体的な例において、オリジナルポイントクラウドデータは、ゲームシーンから収集されたポイントクラウドデータである。ゲームシーンにおけるゲームに対して、ポイントクラウド収集装置を用いて、該ゲームが位置するゲームテーブル、プレイヤー及びゲーム内通貨などに対して画像収集を行い、オリジナルポイントクラウドデータを得る。ゲームシーンにおいて、プレイヤーは、頭を下げてゲーム内通貨を見る可能性があるため、この場合、プレイヤーの完全な顔画像を収集しにくい。又は、プレイヤーの手で遮蔽されるなどの状況により、収集されたゲーム内通貨画像も不完全なものである。従って、遮蔽などにより、単一のポイントクラウド収集装置により収集されたオリジナルポイントクラウドデータは不完全なものである。不完全なポイントクラウドデータにより、プレイヤー間の位置関係を正確に検出することができない。本願の実施例において、まず、オリジナルポイントクラウドデータの輪郭に対して大ざっぱに推定し、続いて、推定された大ざっぱなポイントクラウドとオリジナルポイントクラウドデータを組み合わせることで、大ざっぱに推定された第１ポイントクラウドデータを得る。最後に、第１ポイントクラウドデータにおける特徴に対して細部補強を行うことで、該不完全なオリジナルポイントクラウドデータの細部情報を復元し、オリジナルポイントクラウドデータに対する補完を実現し、形状が完全である第２ポイントクラウドデータを得る。このように、不完全なオリジナルポイントクラウドデータに対して補完を行うことで、ゲーム対象間の位置関係に対する正確な検出に役立つ。
【0108】
本願の実施例は、ポイントクラウドデータ処理装置を提供する。図３は、本願の実施例によるポイントクラウドデータ処理装置の構造を示す概略図である。図３に示すように、前記ポイントクラウドデータ処理装置３００は、
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュール３０１であって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュール３０１と、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュール３０２と、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュール３０３と、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュール３０４と、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成するように構成される第１補完モジュール３０５と、を備える。
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュール３０１であって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュール３０１と、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュール３０２と、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュール３０３と、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュール３０４と、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成するように構成される第１補完モジュール３０５と、を備える。
【0109】
幾つかの実施例において、前記第４決定モジュール３０４は、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第１決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第２決定サブモジュールと、を備える。
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第１決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第２決定サブモジュールと、を備える。
【0110】
幾つかの実施例において、前記第１処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得るように構成される第１フュージョンユニットと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成される第１処理ユニットと、を備える。
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得るように構成される第１フュージョンユニットと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成される第１処理ユニットと、を備える。
【0111】
幾つかの実施例において、前記第１決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定ユニットと、を備え、
前記第２決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第１調整ユニットを備える。
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定ユニットと、を備え、
前記第２決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第１調整ユニットを備える。
【0112】
幾つかの実施例において、前記第１決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定するように構成される第３決定ユニットと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得るように構成される第４決定ユニットと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第５決定ユニットと、を備える。
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定するように構成される第３決定ユニットと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得るように構成される第４決定ユニットと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第５決定ユニットと、を備える。
【0113】
幾つかの実施例において、前記第５決定ユニットは、
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第１処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第１決定サブユニットと、を備える。
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第１処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第１決定サブユニットと、を備える。
【0114】
幾つかの実施例において、前記第２決定モジュール３０２は、
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定するように構成される第３決定サブモジュールと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第１インタラクションサブモジュールと、を備える。
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定するように構成される第３決定サブモジュールと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第１インタラクションサブモジュールと、を備える。
【0115】
幾つかの実施例において、前記第３決定モジュール３０３は、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第３変換サブモジュールであって、前記第２所定値と前記第１所定値は、倍関係を有する、第３変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第４決定サブモジュールと、を備える。
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第３変換サブモジュールであって、前記第２所定値と前記第１所定値は、倍関係を有する、第３変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第４決定サブモジュールと、を備える。
【0116】
幾つかの実施例において、前記第４決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得るように構成される第１集約ユニットと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第１フュージョンユニットと、を備える。
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得るように構成される第１集約ユニットと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第１フュージョンユニットと、を備える。
【0117】
幾つかの実施例において、前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第１変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第５決定モジュールと、を更に備える。
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第１変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第５決定モジュールと、を更に備える。
【0118】
幾つかの実施例において、前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第２変換モジュールと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第３変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１フュージョンモジュールと、を更に備える。
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第２変換モジュールと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第３変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１フュージョンモジュールと、を更に備える。
【0119】
幾つかの実施例において、前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第１取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第６決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第２補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得るように構成される第１連結モジュールと、を更に備える。
オリジナルポイントクラウドデータを取得するように構成される第１取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第６決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第２補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得るように構成される第１連結モジュールと、を更に備える。
【0120】
上記装置の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、方法の実施例と同様な有益な効果を有することに留意されたい。本願の装置の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
【0121】
本願の実施例において、上述したポイントクラウドデータ処理方法は、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（端末、サーバなど）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本願の実施例は、如何なる特定のハードウェアとソフトウェアとの組み合わせにも限定しない。
【0122】
これに対応して、本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるポイントクラウドデータ処理方法におけるステップを実現することができる。
【0123】
これに対応して、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令がプロセッサにより実行される時、上記実施例で提供されるポイントクラウドデータ処理方法のステップを実現する。
【0124】
これに対応して、本願の実施例は、コンピュータ機器を提供する。図４は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図４に示すように、前記機器４００は、プロセッサ４０１、少なくとも１つの通信バス、通信インターフェース４０２、少なくとも１つの外部通信インターフェース及びメモリ４０３を備える。ここで、通信インターフェース４０２は、これらのコンポーネント間の接続通信を実現するように構成される。ここで、通信インターフェース４０２は、ディスプレイを含んでもよい。外部通信インターフェースは、標準的な有線インターフェース及び無線インターフェースを含んでもよい。ここで、前記プロセッサ４０１は、メモリにおける画像処理プログラムを実行し、上記実施例で提供されるポイントクラウドデータ処理方法のステップを実現するように構成される。
【0125】
上記ポイントクラウドデータ処理装置、コンピュータ機器及び記憶媒体の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、該当する方法の実施例と同様な技術的記述及び有益な効果を有する。紙数に限りがあるため、上記方法の実施例の記載を参照することができる。ここで、詳細な説明を省略する。本願のポイントクラウドデータ処理装置、コンピュータ機器及び記憶媒体の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
【0126】
明細書全文を通じて述べられる「１つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味すると理解されたい。従って、本明細書全体を通じて出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。
【0127】
本願で提供される幾つかの実施例において、開示される機器及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した機器の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割であり、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0128】
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【0129】
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。プログラム命令に関わるハードウェアにより、上記方法の実施例の全て又は一部のステップを完了することができ、上述したプログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例のステップを実行することは、当業者であれば理解すべきである。上述した記憶媒体は、携帯型記憶機器、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【0130】
又は、本願の上記集積ユニットは、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶機器、ＲＯＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。以上は本願の具体的な実施形態に過ぎず、本願の保護範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2021-07-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ポイントクラウドデータ処理方法であって、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
【請求項2】
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
請求項２に記載の方法。
【請求項5】
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定することと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得ることと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
請求項２又は３に記載の方法。
【請求項6】
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
請求項５に記載の方法。
【請求項7】
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定することと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
請求項１から６のうちいずれか一項に記載の方法。
【請求項8】
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と前記第１所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
請求項８に記載の方法。
【請求項10】
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
請求項１から９のうちいずれか一項に記載の方法。
【請求項11】
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
請求項２から１０のうちいずれか一項に記載の方法。
【請求項12】
前記方法は、オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対してカスケード接続を行い、前記第１ポイントクラウドデータを得ることと、を更に含むことを特徴とする
請求項１から１１のうちいずれか一項に記載の方法。
【請求項13】
ポイントクラウドデータ処理装置であって、取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュールと、を備える、ポイントクラウドデータ処理装置。
【請求項14】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令がコンピュータに実行された後、前記コンピュータに、請求項１から１２のうちいずれか一項に記載の方法のステップを実行させる、コンピュータ記憶媒体。
【請求項15】
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
【請求項16】
コンピュータプログラムであって、コンピュータに、請求項１から１２のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本願の実施例は、ポイントクラウドデータ処理方法、装置、機器及び記憶媒体を提供する。第１ポイントクラウドデータにおけるいずれか１つの処理対象ポイントに対して、まず、該処理対象ポイントとスケールが異なる複数組の近隣ポイントとの関連関係を決定する。次に、各組の近隣ポイントと処理対象ポイントとの関連関係に基づいて、処理対象ポイントの関連特徴を抽出する。続いて、複数組の近隣ポイントの関連特徴をフュージョンすることで、処理対象ポイントのターゲット特徴を得る。最後に、第１ポイントクラウドデータにおける複数の処理対象ポイントのターゲット特徴に基づいて、第１ポイントクラウドデータに対して補完を行い、第２ポイントクラウドデータを生成する。これにより、スケールが異なる複数組の近隣ポイントの特徴をフュージョンすることで、スケールが異なるポイントクラウド特徴に配慮を加えることができる。従って、抽出されたポイントクラウド特徴に、少なくとも一定の区間内でスケール不変性を持たせることができ、更に、抽出されたポイントクラウド特徴をより豊かにすることができる。抽出されたポイントクラウド特徴に基づいてポイントクラウド補完を行うことで得られたポイントクラウドは、より高い完備性を有し、物理空間における真実の三次元対象をより正確に表すことができる。
例えば、本願は以下の項目を提供する。
（項目１）
ポイントクラウドデータ処理方法であって、
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
（項目２）
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
項目２に記載の方法。
（項目５）
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定することと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得ることと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
項目２又は３に記載の方法。
（項目６）
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定することと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
項目１から６のうちいずれか一項に記載の方法。
（項目８）
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と前記第１所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
項目７に記載の方法。
（項目９）
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
項目８に記載の方法。
（項目１０）
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
項目１から９のうちいずれか一項に記載の方法。
（項目１１）
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
項目２から１０のうちいずれか一項に記載の方法。
（項目１２）
前記方法は、
オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得ることと、を更に含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
ポイントクラウドデータ処理装置であって、
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュールと、を備える、ポイントクラウドデータ処理装置。
（項目１４）
前記第４決定モジュールは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第１決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第２決定サブモジュールと、を備えることを特徴とする
項目１３に記載の装置。
（項目１５）
前記処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記第１決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定ユニットと、を備え、
前記第２決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第１調整ユニットを備えることを特徴とする
項目１４に記載の装置。
（項目１７）
前記第１決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定するように構成される第３決定ユニットと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得るように構成される第４決定ユニットと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第５決定ユニットと、を備えることを特徴とする
項目１４又は１５に記載の装置。
（項目１８）
前記第５決定ユニットは、
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第１処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第１決定サブユニットと、を備えることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第２決定モジュールは、
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定するように構成される第３決定サブモジュールと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第１インタラクションサブモジュールと、を備えることを特徴とする
項目１３から１８のうちいずれか一項に記載の装置。
（項目２０）
前記第３決定モジュールは、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第３変換サブモジュールであって、前記第２所定値と前記第１所定値は、倍関係を有する、第３変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第４決定サブモジュールと、を備えることを特徴とする
項目１９に記載の装置。
（項目２１）
前記第４決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得るように構成される第１集約ユニットと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第１フュージョンユニットと、を備えることを特徴とする
項目２０に記載の装置。
（項目２２）
前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第１変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
項目１３から２１のうちいずれか一項に記載の装置。
（項目２３）
前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第２変換モジュールと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第３変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１フュージョンモジュールと、を更に備えることを特徴とする
項目１４から２２のうちいずれか一項に記載の装置。
（項目２４）
前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第１取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第６決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第２補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得るように構成される第１連結モジュールと、を更に備えることを特徴とする
項目１３から２４のうちいずれか一項に記載の装置。
（項目２５）
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
（項目２６）
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
（項目２７）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
（項目１）
ポイントクラウドデータ処理方法であって、
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定することであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、ことと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、
複数の前記処理対象ポイントのターゲット特徴に基づいて、前記第１ポイントクラウドデータに対してポイントクラウド補完を行い、第２ポイントクラウドデータを生成することと、を含む、ポイントクラウドデータ処理方法。
（項目２）
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得ることは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得ることと、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得ることと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得ることと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定することと、を含み、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定することは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得ることを含むことを特徴とする
項目２に記載の方法。
（項目５）
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定することは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定することと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得ることと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することと、を含むことを特徴とする
項目２又は３に記載の方法。
（項目６）
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定することは、
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得ることと、
前記組正規化結果に基づいて、前記組関連度を決定することと、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定することは、
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定することと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得ることと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得ることと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定することと、を含むことを特徴とする
項目１から６のうちいずれか一項に記載の方法。
（項目８）
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定することは、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得ることであって、前記第２所定値と前記第１所定値は、倍関係を有する、ことと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することと、を含むことを特徴とする
項目７に記載の方法。
（項目９）
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定することは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得ることと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得ることと、を含むことを特徴とする
項目８に記載の方法。
（項目１０）
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定する前に、前記方法は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得ることと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定することと、を更に含むことを特徴とする
項目１から９のうちいずれか一項に記載の方法。
（項目１１）
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定した後、前記方法は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得ることと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得ることと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得ることと、を更に含むことを特徴とする
項目２から１０のうちいずれか一項に記載の方法。
（項目１２）
前記方法は、
オリジナルポイントクラウドデータを取得することと、
前記オリジナルポイントクラウドデータの確率分布を決定することと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得ることと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得ることと、を更に含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
ポイントクラウドデータ処理装置であって、
取得した第１ポイントクラウドデータから、いずれか１つの処理対象ポイントの複数組の近隣ポイントを決定するように構成される第１決定モジュールであって、前記複数組の近隣ポイントのうちの各組の近隣ポイントのスケールは異なる、第１決定モジュールと、
各組の近隣ポイントと前記処理対象ポイントとの関連関係を決定するように構成される第２決定モジュールと、
前記各組の近隣ポイントと前記処理対象ポイントとの関連関係に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第３決定モジュールと、
前記複数組の近隣ポイントに対応する関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第４決定モジュールと、を備える、ポイントクラウドデータ処理装置。
（項目１４）
前記第４決定モジュールは、
前記複数組の近隣ポイントに対応する関連特徴に対して平均プーリング処理を行い、プーリング特徴を得るように構成される第１処理サブモジュールと、
前記プーリング特徴に基づいて、各組の前記近隣ポイントと前記処理対象ポイントとの組関連度を決定するように構成される第１決定サブモジュールと、
前記組関連度及び前記関連特徴に基づいて、前記処理対象ポイントのターゲット特徴を決定するように構成される第２決定サブモジュールと、を備えることを特徴とする
項目１３に記載の装置。
（項目１５）
前記処理サブモジュールは、
前記複数組の近隣ポイントに対応する関連特徴をフュージョンし、フュージョン特徴を得て、
前記フュージョン特徴に対して平均プーリング処理を行い、前記プーリング特徴を得るように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記第１決定サブモジュールは、
前記プーリング特徴に基づいて、前記各組の近隣ポイントのうちの各近隣ポイントと前記処理対象ポイントとの関連度を決定し、ポイント関連度集合を得るように構成される第１決定ユニットと、
前記各組のポイント関連度集合に基づいて、前記各組の組関連度を決定するように構成される第２決定ユニットと、を備え、
前記第２決定サブモジュールは、
前記各組の組関連度に基づいて、前記各組に対応する関連特徴に対して調整を行い、前記ターゲット特徴を得るように構成される第１調整ユニットを備えることを特徴とする
項目１４に記載の装置。
（項目１７）
前記第１決定サブモジュールは、
前記プーリング特徴が前記処理対象ポイントのキー特徴に属する第１信頼度を決定するように構成される第３決定ユニットと、
前記第１信頼度に基づいて、同一組の近隣ポイントに対応する関連特徴が前記キー特徴に属する第２信頼度を決定し、第２信頼度集合を得るように構成される第４決定ユニットと、
前記第２信頼度集合に基づいて、前記同一組の近隣ポイントの所属する組の組関連度を決定するように構成される第５決定ユニットと、を備えることを特徴とする
項目１４又は１５に記載の装置。
（項目１８）
前記第５決定ユニットは、
前記第２信頼度集合における第２信頼度に対して正規化処理を行い、組正規化結果を得るように構成される第１処理サブユニットと、
前記組正規化結果に基づいて、前記組関連度を決定するように構成される第１決定サブユニットと、を備えることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第２決定モジュールは、
前記各組の近隣ポイントの第１初期特徴及び前記処理対象ポイントの第２初期特徴をそれぞれ決定するように構成される第３決定サブモジュールと、
第１所定値に基づいて、前記第１初期特徴に対して線形変換を行い、第１変換特徴を得るように構成される第１変換サブモジュールと、
前記第１所定値に基づいて、前記第２初期特徴に対して線形変換を行い、第２変換特徴を得るように構成される第２変換サブモジュールと、
前記各組の近隣ポイントの第１変換特徴と前記第２変換特徴との関係パラメータを、前記各組の近隣ポイントと前記処理対象ポイントとの関連関係として決定するように構成される第１インタラクションサブモジュールと、を備えることを特徴とする
項目１３から１８のうちいずれか一項に記載の装置。
（項目２０）
前記第３決定モジュールは、
第２所定値に基づいて、前記各組の近隣ポイントの第１初期特徴に対して線形変換を行い、第３変換特徴を得るように構成される第３変換サブモジュールであって、前記第２所定値と前記第１所定値は、倍関係を有する、第３変換サブモジュールと、
前記関連関係及び前記各組の近隣ポイントの第３変換特徴に基づいて、前記処理対象ポイントの関連特徴を決定するように構成される第４決定サブモジュールと、を備えることを特徴とする
項目１９に記載の装置。
（項目２１）
前記第４決定サブモジュールは、
前記各組の近隣ポイントに対応する関係パラメータに基づいて、前記各組の近隣ポイントの第３変換特徴に対して集約を行い、集約特徴を得るように構成される第１集約ユニットと、
前記集約特徴と前記第２初期特徴をフュージョンし、前記処理対象ポイントの関連特徴を得るように構成される第１フュージョンユニットと、を備えることを特徴とする
項目２０に記載の装置。
（項目２２）
前記装置は、
前記処理対象ポイントに対して線形変換を行い、変換された処理対象ポイントを得るように構成される第１変換モジュールと、
前記変換された処理対象ポイントの複数組の前記近隣ポイントを決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
項目１３から２１のうちいずれか一項に記載の装置。
（項目２３）
前記装置は、
前記ターゲット特徴に対して線形変換を行い、コアターゲット特徴を得るように構成される第２変換モジュールと、
前記処理対象ポイントの第２初期特徴に対して線形変換を行い、前記処理対象ポイントの残差特徴を得るように構成される第３変換モジュールと、
前記残差特徴及び前記コアターゲット特徴に基づいて、前記ターゲット特徴に対して更新を行い、更新されたターゲット特徴を得るように構成される第１フュージョンモジュールと、を更に備えることを特徴とする
項目１４から２２のうちいずれか一項に記載の装置。
（項目２４）
前記装置は、
オリジナルポイントクラウドデータを取得するように構成される第１取得モジュールと、
前記オリジナルポイントクラウドデータの確率分布を決定するように構成される第６決定モジュールと、
前記確率分布に基づいて、前記オリジナルポイントクラウドデータに対して補完を行い、初級補完ポイントクラウドを得るように構成される第２補完モジュールと、
前記初級補完ポイントクラウド及び前記オリジナルポイントクラウドに対して連結を行い、前記第１ポイントクラウドデータを得るように構成される第１連結モジュールと、を更に備えることを特徴とする
項目１３から２４のうちいずれか一項に記載の装置。
（項目２５）
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
（項目２６）
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目１から１２のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ機器。
（項目２７）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載のポイントクラウドデータ処理方法のステップを実現することができる、コンピュータプログラム製品。
【国際調査報告】