特開 2024-175366 点群選択装置、点群選択方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175366

(43)【公開日】2024-12-18

(54)【発明の名称】点群選択装置、点群選択方法及びプログラム

(51)【国際特許分類】

   G06T 17/00 20060101AFI20241211BHJP

【ＦＩ】

G06T17/00

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023093101

(22)【出願日】2023-06-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人情報通信研究機構「革新的情報通信技術研究開発委託研究／Ｂｅｙｏｎｄ ５Ｇ網におけるホログラフィ通信のための高効率圧縮伝送技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】松崎 康平

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA00

5B080AA17

5B080BA00

5B080DA06

(57)【要約】

【課題】物体の表面の復元において高い復元精度を実現可能なモデルを生成すること。
【解決手段】本発明に係る点群選択装置１００は、点群から関心点を選択する関心点選択部１２と、点群から特徴を抽出する特徴抽出部１４と、特徴から関心点に関する特徴を生成する特徴生成部１６と、関心点に関する特徴に基づいて点群から一部の点を選択する点群選択部１８とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

点群選択装置であって、
点群から関心点を選択する関心点選択部と、
前記点群から特徴を抽出する特徴抽出部と、
前記特徴から前記関心点に関する特徴を生成する特徴生成部と、
前記関心点に関する特徴に基づいて前記点群から一部の点を選択する点群選択部と、を有することを特徴とする点群選択装置。

【請求項2】

前記関心点から前記点群の各点までの距離に応じた重みを計算する距離重み計算部と、
前記重みと前記特徴とから重み付き特徴を計算する重み付き特徴計算部と、を有し、
前記特徴生成部は、前記特徴と前記重み付き特徴とを結合することで、前記関心点に関する特徴を生成することを特徴とする請求項１に記載の点群選択装置。

【請求項3】

前記関心点に関する特徴から選択確率を予測する確率予測部を更に有し、
前記点群選択部は、前記選択確率を用いて、前記点群から一部の点を選択することを特徴とする請求項１に記載の点群選択装置。

【請求項4】

前記点群から分割された点群を生成する点群分割部と、
前記分割された点群から個別に選択した点群の和集合を取ることで選択された点群を構築する選択点群構築部と、
前記選択された点群を用いて、物体の表面の復元を行う表面復元部と、を有することを特徴とする請求項１に記載の点群選択装置。

【請求項5】

前記点群分割部は、前記点群からの反復的な点の選択によって、前記分割された点群を生成することを特徴とする請求項４に記載の点群選択装置。

【請求項6】

前記関心点に関する特徴から選択確率を予測する確率予測部と、
前記確率予測部で予測された前記選択確率、前記点群選択部で選択された前記一部の点、前記関心点選択部で選択された関心点、及び、前記表面復元部で復元された情報の少なくとも一部を用いて損失を計算して、モデルを訓練するモデル訓練部と、を有することを特徴とする請求項４に記載の点群選択装置。

【請求項7】

前記モデル訓練部は、前記モデルとして、点群の選択のためのモデル及び物体の表面の復元のためのモデルを併用することを特徴とする請求項６に記載の点群選択装置。

【請求項8】

前記モデル訓練部は、前記点群の選択のためのモデル及び前記物体の表面の復元のためのモデルを、同時又は交互に最適化することを特徴とする請求項７に記載の点群選択装置。

【請求項9】

前記モデル訓練部は、前記点群選択のためのモデル及び前記物体の表面の復元のためのモデルの両方又は一方のみを最適化することを特徴とする請求項７に記載の点群選択装置。

【請求項10】

初期点群選択部を更に有し、
前記関心点選択部及び前記特徴抽出部に入力される前記点群は、前記初期点によって任意の選択方法で選択された点群であることを特徴とする請求項１に記載の点群選択装置。

【請求項11】

前記点群選択部で選択された前記一部の点及び前記関心点選択部で選択された関心点の少なくとも一部を用いて損失を計算して、モデルを訓練するモデル訓練部を有し、
前記関心点選択部は、前記モデル訓練部による前記モデルの訓練の前に、前記関心点を選択し、前記モデルの訓練時には、前記関心点の選択結果を読み込むことを特徴とする請求項１に記載の点群選択装置。

【請求項12】

前記点群選択部で選択された前記一部の点及び前記関心点選択部で選択された関心点の少なくとも一部を用いて損失を計算して、モデルを訓練するモデル訓練部を有し、
前記距離重み計算部は、前記モデル訓練部による前記モデルの訓練の前に、前記重みを計算し、前記モデルの訓練時には、前記重みの計算結果を読み込むことを特徴とする請求項２に記載の点群選択装置。

【請求項13】

前記点群選択部で選択された前記一部の点、前記関心点選択部で選択された関心点、及び、前記表面復元部で復元された情報の少なくとも一部を用いて損失を計算して、モデルを訓練するモデル訓練部を有し、
前記点群分割部は、前記モデル訓練部による前記モデルの訓練の前に、前記分割された点群を生成し、前記モデルの訓練時には、前記分割された点群の生成結果を読み込むことを特徴とする請求項４に記載の点群選択装置。

【請求項14】

点群選択装置であって、
点群から関心点を選択する関心点選択部と、
訓練済みのモデルを用いて物体の表面の復元を行う表面復元部と、を有し、
前記表面復元部は、前記物体の表面の復元を行う際に、前記関心点の近くに位置するクエリ点に対する予測結果を選択することを特徴とする点群選択装置。

【請求項15】

前記関心点選択部は、前記表面復元部による前記物体の表面の復元の前に、前記関心点を選択し、前記物体の表面の復元時には、前記関心点の選択結果を読み込むことを特徴とする請求項１４に記載の点群選択装置。

【請求項16】

点群選択方法であって、
点群から関心点を選択する工程と、
前記点群から特徴を抽出する工程と、
前記特徴から前記関心点に関する特徴を生成する工程と、
前記関心点に関する特徴に基づいて前記点群から一部の点を選択する工程と、を有することを特徴とする点群選択方法。

【請求項17】

コンピュータを、点群選択装置として機能させるプログラムであって、
前記点群選択装置は、
点群から関心点を選択する関心点選択部と、
前記点群から特徴を抽出する特徴抽出部と、
前記特徴から前記関心点に関する特徴を生成する特徴生成部と、
前記関心点に関する特徴に基づいて前記点群から一部の点を選択する点群選択部と、を有することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群選択装置、点群選択方法及びプログラムに関する。

【背景技術】

【0002】

従来から、ＩＮＲ（Ｉｍｐｌｉｃｉｔ Ｎｅｕｒａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）に基づく深層学習モデルを用いて点群から物体の表面を復元する技術が知られている（例えば、非特許文献１参照）。かかる技術では、通常、入力点群の密度が高いほど、物体の表面を高精度に復元することができる。

【0003】

ただし、上述の深層学習モデルの訓練時と推論時とで、入力点群の密度が異なる場合、データ分布の差異によって高い復元精度が得られない可能性がある。

【0004】

そのため、上述の深層学習モデルの推論時に高密度な点群を入力とする場合、上述の深層学習モデルの訓練時にも高密度な点群を入力とすることが望ましい。

【0005】

しかしながら、入力点群の密度を高めるほど、データ量が大きくなるため、上述の深層学習モデルの訓練時に使用するＧＰＵのメモリ制限を超過する恐れがある。

【0006】

深層学習モデルの訓練時には、学習を安定させるためにミニバッチ学習法と呼ばれる複数のデータを一括で処理する手法が一般的に使用される。

【0007】

また、深層学習モデルの訓練時には、誤差逆伝搬法に基づいて深層学習モデルを更新するために、目的関数に対するモデルパラメータの勾配を計算する必要がある。そのため、深層学習モデルの訓練時には、深層学習モデルの推論時に比べて、点群一つあたりに使用可能なメモリ容量が更に制限される可能性がある。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】A. Boulch and M. Renaud, "Poco: Point convolution for surface reconstruction," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022

【非特許文献2】I. Lang, A. Manor, and S. Avidan, "Samplenet: Differentiable point cloud sampling," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020.

【非特許文献3】R. A. Potamias, G. Bouritsas, and S. Zafeiriou, "Revisiting point cloud simplification: A learnable feature preserving approach," Computer Vision-ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23-27, 2022, Proceedings, Part II. Cham: Springer Nature Switzerland, 2022.

【発明の概要】

【発明が解決しようとする課題】

【0009】

点群のデータ量を削減するための前処理として、入力点群から無作為に指定個数の点を選択するランダムサンプリング法が広く利用されている。

【0010】

また、指定個数の点を空間的に一様に選択するＦＰＳ（Ｆａｒｔｈｅｓｔ Ｐｏｉｎｔ Ｓａｍｐｌｉｎｇ）法も同様に広く利用されている。

【0011】

しかしながら、これらの手法によって選択された点群は、局所的な形状の情報を失う。そのため、そのような点群を用いてＩＮＲに基づく深層学習モデルを訓練した場合、物体の表面の復元において高い復元精度が得られない可能性があるという問題点があった。

【0012】

非特許文献２では、任意のタスクに対する性能を維持しつつ点群をサンプリングする技術が開示されている。

【0013】

しかしながら、非特許文献２に開示されている技術では、タスクに対する訓練済みのモデルを必要とするため、サンプリングされた点群をＩＮＲに基づく深層学習モデルの訓練に用いることはできないという問題点があった。

【0014】

非特許文献３では、入力点群から、より少数の点で構成された点群を生成する技術が開示されている。かかる技術によって得られた点群を用いてＩＮＲに基づく深層学習モデルを訓練することにより、深層学習モデルの訓練時のメモリ使用量を抑制することが可能である。

【0015】

しかしながら、非特許文献３に開示されている技術では、タスクに対する性能を維持することが考慮されていないため、物体の表面の復元において高い復元精度が得られない可能性があるという問題点があった。

【0016】

そこで、本発明は、上述の課題に鑑みてなされたものであり、ＧＰＵのメモリ使用量を抑制しながら、点群の大域的な形状及び局所的な形状の両方を表現しつつ、タスクに対する性能を維持することを考慮した点群を選択することにより、物体の表面の復元において高い復元精度を実現可能なモデルを生成することができる点群選択装置、点群選択方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明の第１の特徴は、点群選択装置であって、点群から関心点を選択する関心点選択部と、前記点群から特徴を抽出する特徴抽出部と、前記特徴から前記関心点に関する特徴を生成する特徴生成部と、前記関心点に関する特徴に基づいて前記点群から一部の点を選択する点群選択部と、を有することを要旨とする。

【0018】

本発明の第２の特徴は、点群選択装置であって、点群から関心点を選択する関心点選択部と、訓練済みのモデルを用いて物体の表面の復元を行う表面復元部と、を有し、前記表面復元部は、前記物体の表面の復元を行う際に、前記関心点の近くに位置するクエリ点に対する予測結果を選択することを要旨とする。

【0019】

本発明の第３の特徴は、点群選択方法であって、点群から関心点を選択する工程と、前記点群から特徴を抽出する工程と、前記特徴から前記関心点に関する特徴を生成する工程と、前記関心点に関する特徴に基づいて前記点群から一部の点を選択する工程と、を有することを要旨とする。

【0020】

本発明の第４の特徴は、コンピュータを、点群選択装置として機能させるプログラムであって、前記点群選択装置は、点群から関心点を選択する関心点選択部と、前記点群から特徴を抽出する特徴抽出部と、前記特徴から前記関心点に関する特徴を生成する特徴生成部と、前記関心点に関する特徴に基づいて前記点群から一部の点を選択する点群選択部と、を有することを要旨とする。

【発明の効果】

【0021】

本発明によれば、ＧＰＵのメモリ使用量を抑制しながら、点群の大域的な形状及び局所的な形状の両方を表現しつつ、タスクに対する性能を維持することを考慮した点群を選択することにより、物体の表面の復元において高い復元精度を実現可能なモデルを生成することができる点群選択装置、点群選択方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】図１は、第１実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【図2】図２は、第２実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【図3】図３は、ｄ＝４の場合の点群Ｉ及び分割された点群｛Ｓ_０，Ｓ_１，Ｓ_２，Ｓ_３｝の模式図を示す。

【図4】図４は、第２実施形態に係る点群選択装置１００の選択点群構築部２１の機能ブロックの一例を示す図である。

【図5】図５は、第３実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0024】

（第１実施形態）
以下、図１を参照して、本発明の第１実施形態に係る点群選択装置１００について説明する。図１は、本実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【0025】

図１に示すように、本実施形態に係る点群選択装置１００は、初期点群選択部１１と、関心点選択部１２と、距離重み計算部１３と、特徴抽出部１４と、重み付き特徴計算部１５と、特徴生成部１６と、確率予測部１７と、点群選択部１８と、モデル訓練部１９とを有する。

【0026】

以下、点群選択のためのモデルをＭ_ｓと表記し、ＩＮＲに基づく物体の表面の復元のためのモデルをＭ_ｒと表記する。

【0027】

［初期点群選択部１１］
初期点群選択部１１は、入力点群（以後、点群Ｉとする） から一部の点を選択するように構成されている。

【0028】

かかる点の選択手法としては、ランダムサンプリング法やＦＰＳ法のような任意の非学習ベース手法が用いられてもよい。また、かかる点の選択手法として、非特許文献２や非特許文献３のような任意の学習ベースの選択手法が用いられてもよい。

【0029】

初期点群選択部１１は、必ずしもモデルＭ_ｓの訓練時に、上述の選択を実行しなくてもよく、モデルＭ_ｓの訓練の前処理として予め点群Ｉから一部の点を選択して得られる点群を生成しておき、モデルＭ_ｓの訓練時には、それらの点群を読み込むだけでもよい。

【0030】

［関心点選択部１２］
関心点選択部１２は、初期点群選択部１１で選択された点の集合（以後、 点群Ｘとする）から、一部の点（以後、関心点とする） を選択するように構成されている。

【0031】

ここで、関心点選択部１２は、ｎ個の関心点を選択する場合、点群Ｘからランダムに ｎ個の関心点を選択してもよい。

【0032】

また、関心点選択部１２は、予め点群ＩからＦＰＳ法でｍ（≧ｎ）個の点を選択しておき、ｍ個の点からランダムにｎ個の点を選択し、それらの点に対する点群 Ｘ内の最近傍点を選択した関心点とみなしてもよい。

【0033】

また、予め点群Ｉの中でユーザが関心のある領域に位置する点を手動でｍ個選択しておき、関心点選択部１２は、かかるｍ個の点からランダムにｎ個の点を選択し、それらの点に対する点群Ｘ内の最近傍点を選択した関心点とみなしてもよい。

【0034】

また、関心点選択部１２は、予め点群Ｉの中の物体を表す領域を任意の物体検出手法やインスタンスセグメンテーション手法を用いて検出し、それらの領域の重心に対する点群Ｉ内の最近傍に位置するｍ個の点を選択しておき、ｍ個の点からランダムに ｎ個の点を選択し、それらの点に対する点群Ｘ内の最近傍点を選択した関心点とみなしてもよい。

【0035】

さらに、関心点選択部１２は、他の方法で、上述の関心点を選択してもよい。

【0036】

なお、関心点選択部１２は、上述のｍ個の点からｎ個の点を選択する処理において、モデルＭ_ｓを訓練する際に反復的な処理を行う場合には、かかる反復的な処理を通じてｍ個の点の全てが選択されるように番号を付け、かかる番号に従って各反復的な処理においてｎ個の点を順番に選択してもよい。

【0037】

ここで、関心点選択部１２は、必ずしもモデルＭ_ｓの訓練時に、上述の処理を実行しなくてもよく、モデルＭ_ｓの訓練の前処理として予め点群Ｘから一部の点を選択して得られる点群を生成しておき、モデルＭ_ｓの訓練時には、それを読み込むだけでもよい。
［距離重み計算部１３］
距離重み計算部１３は、関心点選択部１２で選択された関心点から点群Ｘの各点までの距離に応じた点ごとの重みを計算するように構成されている。

【0038】

第１に、距離重み計算部１３は、関心点から点群Ｘの各点までの距離を計算する。ここで、距離重み計算部１３は、ユークリッド距離やマハラノビス距離のような任意の距離尺度を用いてもよい。

【0039】

第２に、距離重み計算部１３は、得られた距離を用いて、関心点からの距離に応じた重みを計算する。ここで、距離重み計算部１３は、入力の逆数を出力する関数やガウス関数のような入力が小さいほど出力が大きくなる任意の関数を用いてもよい。

【0040】

なお、距離重み計算部１３は、関心点が複数与えられる場合には、関心点ごとに独立に重みを計算してもよいし、混合ガウス分布のような複数の確率分布の混ぜ合わせを表現することが可能な関数を用いて複数の関心点に対する重みを混ぜ合わせた重みを計算してもよい。

【0041】

距離重み計算部１３は、必ずしもモデルＭ_ｓの訓練時に、上述の処理を実行しなくてもよく、モデルＭ_ｓの訓練の前処理として、予め関心点から点群Ｘの各点までの距離に応じた点ごとの重みを計算しておき、モデルＭ_ｓの訓練時には、それを読み込むだけでもよい。

【0042】

以後、点ごとの重みを一列に並べたデータを重みベクトルとする。

【0043】

［特徴抽出部１４］
特徴抽出部１４は、点群Ｘから点ごとに特徴ベクトルを抽出するように構成されている。

【0044】

ここで、特徴抽出部１４は、点群Ｘから点ごとに特徴ベクトルを抽出可能な任意のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。一例として、特徴抽出部１４は、かかるＤＮＮとして、非特許文献３に記載のＰｒｏｊｅｃｔｉｏｎ Ｎｅｔｗｏｒｋを用いてもよい。特徴抽出部１４は、かかるＤＮＮを用いた場合、入力点群から、ＭＬＰ（Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）、バッチ正規化、ＲｅＬＵ活性化、Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓを用いて、点ごとに特徴ベクトルを抽出することができる。

【0045】

以後、点ごとの特徴ベクトルを一列に並べたデータを特徴テンソルとする。

【0046】

［重み付き特徴計算部１５］
重み付き特徴計算部１５は、特徴抽出部１４で抽出された特徴テンソル（以後、特徴Ｆ_０とする）及び距離重み計算部１３で計算された重みベクトルから、重み付き特徴テンソル（重み付け特徴）を計算するように構成されている。

【0047】

関心点が１点のみの場合や全ての関心点に対する重みが混ぜ合わされる場合、単一の重みベクトルＷ_０のみが与えられる。この場合、重み付き特徴計算部１５は、重み付き特徴テンソルについて、Ｗ_０＊Ｆ_０として計算できる。ここで、＊は、要素ごとの積であり、点ごとに重みを表すスカラーと特徴ベクトルとを乗算することを表す。

【0048】

複数の関心点に対して独立に重みを計算する場合、重みベクトルの集合｛Ｗ_０，Ｗ_１，…，Ｗ_ｌ｝が与えられる。この場合、重み付き特徴計算部１５は、重み付き特徴テンソルの集合について、同様の方法で、｛Ｗ_０＊Ｆ_０，Ｗ_１＊Ｆ_１，…，Ｗ_Ｉ＊Ｆ_ｌ｝として計算できる。

【0049】

［特徴生成部１６］
特徴生成部１６は、特徴抽出部１４で抽出された特徴テンソルと、重み付き特徴計算部１５で計算された重み付き特徴テンソルとを結合した特徴テンソル（以後、特徴Ｃとする）を生成するように構成されている。なお、特徴Ｃは、関心点に関する特徴である。ここで、特徴生成部１６は、点ごとの特徴ベクトルと重み付き特徴ベクトルとを結合するようにして特徴テンソルを生成する。

【0050】

複数の重み付き特徴テンソルが与えられる場合であっても、特徴生成部１６は、全ての重み付き特徴テンソルを同様に結合する。

【0051】

また、特徴生成部１６は、特徴テンソル及び重み付き特徴テンソルに加えて、点群Ｘの座標を表す点ごとの３次元座標を結合してもよい。

【0052】

［確率予測部１７］
確率予測部１７は、特徴生成部１６で生成された特徴Ｃを入力として、任意のＤＮＮを用いて点ごとの選択確率（以後、確率Ｐとする）を予測するように構成されている。ＤＮＮの一例としては、ＭＬＰが挙げられる。

【0053】

また、確率予測部１７は、予測値の範囲を制限するために、ＤＮＮの出力をＳｉｇｍｏｉｄ関数やＲｅＬＵ関数のような任意の関数へ入力した際の出力を、予測値とみなしてもよい。

【0054】

［点群選択部１８］
点群選択部１８は、確率予測部１７で予測された確率Ｐを用いて、点群Ｘから一部の点を選択するように構成されている。

【0055】

例えば、点群選択部１８は、点群Ｘから、点ごとの選択確率の降順に指定個数の点を選択してもよい。ここで、指定個数は、ユーザによって直接与えられてもよいし、点群Ｘの点数にユーザが指定したサンプリング率を乗算した値を整数化して得られる個数であってもよい。

【0056】

以後、選択された点の集合を点群Ｙとする。

【0057】

［モデル訓練部１９］
モデル訓練部１９は、点群の選択に関する損失及び物体の表面の復元に関する損失を計算し、かかる損失を用いて、モデルＭ_ｓ及びモデルＭ_ｒのパラメータを更新するように構成されている。

【0058】

モデル訓練部１９は、図１に示すように、点群の選択のためのモデルのみを訓練する場合には、点群の選択に関する損失のみを計算し、モデルＭ_ｓのパラメータのみを更新してもよい。

【0059】

ここで、モデル訓練部１９は、点群の選択に関する損失関数として、関心点と点群Ｙの各点との平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を用いてもよい。

【0060】

モデル訓練部１９は、関心点が複数ある場合、関心点のそれぞれに対して点群Ｙの各点とのＭＳＥを計算し、それらの平均を求める関数を損失関数としてもよい。

【0061】

ここで、モデル訓練部１９は、ＭＳＥを確率Ｐの関数とするために、以下の式（１）で表される予測された確率を乗算するＭＳＥの変形を用いてもよい。

【0062】

【数1】

ここで、Ｐ（ｙ）は、点群Ｙの要素ｙに対応する予測確率であり、Ａは、関心点の集合である。また、モデル訓練部１９は、点群の選択に関する損失関数として、点群Ｘと点群Ｙとの間のＣｈａｍｆｅｒ ｄｉｓｔａｎｃｅを用いてもよい。

【0063】

ここで、モデル訓練部１９は、Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅを確率Ｐの関数とするために、以下の式（２）で表される各項に予測された確率を乗算するＣｈａｍｆｅｒ ｄｉｓｔａｎｃｅの変形を用いてもよい。

【0064】

【数2】

ここで、Ｐ（ｙ）は、点群Ｙの要素ｙに対応する予測確率である。また、モデル訓練部１９は、点群の選択に関する損失関数として、点群Ｙのｒｅｐｕｌｓｉｏｎ ｌｏｓｓを用いてもよい。

【0065】

ここで、モデル訓練部１９は、ｒｅｐｕｌｓｉｏｎ ｌｏｓｓを確率Ｐの関数とするために、以下の式（３）で表される予測された確率を乗算するｒｅｐｕｌｓｉｏｎ ｌｏｓｓの変形を用いてもよい。

【0066】

【数3】

ここで、Ｋ（ｙ）は、点群Ｙの要素ｙに対する点群Ｙ内でのｋ近傍点（ｙ自身は含めないものとする）であり、Ｐ（ｙ’）は、点群Ｋ（ｙ）の要素ｙ’に対応する予測確率であり、

【数4】

は、 任意の定数である。

【0067】

モデル訓練部１９は、点群の選択に関する損失関数として、上述のＭＳＥ（及び、その変形）やＣｈａｍｆｅｒ ｄｉｓｔａｎｃｅ（及び、その変形）やｒｅｐｕｌｓｉｏｎ ｌｏｓｓ（及び、その変形）の重み付き和を用いてもよい。

【0068】

ここで、モデル訓練部１９は、点群の選択に関する損失関数として、上述した全ての損失関数を用いる必要はなく、任意の損失関数を選択し、選択した損失関数の重み付き和を点群の選択に関する損失関数としてもよい。

【0069】

以後、点群の選択に関する損失関数をＬ_ｓと表記する。

【0070】

（第２実施形態）
以下、図２～図４を参照して、本発明の第２実施形態に係る点群選択装置１００について、上述の第１実施形態に係る点群選択装置１００との相違点に着目して説明する。図２は、本実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【0071】

図２に示すように、本実施形態に係る点群選択装置１００は、上述の第１実施形態に係る点群選択装置１００の機能に加えて、点群分割部２０と、選択点群構築部２１と、表面復元部２２とを有している。

【0072】

［点群分割部２０］
点群分割部２０は、点群Ｉを指定個数（以後、個数ｄとする）に分割して得られる点群の集合を生成するように構成されている。なお、かかる点群Ｉの分割方法の一例として、過去に選択された点を除外しながら反復的にランダムサンプリングを行う方法が挙げられる。

【0073】

ここで、点群分割部２０は、点群Ｉの点数を個数ｄで除算した値を整数化した値をサンプリングする点数ｓとする。

【0074】

第１に、点群分割部２０は、点群Ｉからランダムサンプリング法によってｓ個の点を選択する。これにより得られた点群をＳ_０とする。

【0075】

第２に、点群分割部２０は、点群ＩからＳ_０内の点を除外した点群から、ランダムサンプリング法によってｓ個の点を選択する。これにより得られた点群をＳ_１とする。

【0076】

同様にして、点群分割部２０は、点群Ｉから既に選択された点群を除外した点群から、反復的にランダムサンプリング法によって点群を選択することにより，点群Ｉを分割したｄ個の点群｛Ｓ_０，Ｓ_１， …，Ｓ_｛ｄ-１｝｝を得ることができる。

【0077】

図３に、ｄ＝４の場合の点群Ｉ及び分割された点群｛Ｓ_０，Ｓ_１，Ｓ_２，Ｓ_３｝の模式図を示す。

【0078】

ここで、点群分割部２０は、ランダムサンプリング法の代わりに、ＦＰＳ法のような他のサンプリング手法を用いてもよい。また、点群分割部２０は、他の方法で、点群Ｉを分割してもよい。

【0079】

また、点群分割部２０は、必ずしもモデルＭ_ｓの訓練時に、上述の処理を実行しなくてもよく、モデルＭ_ｓの訓練の前処理として、予め点群Ｉを分割して得られる点群の集合を生成しておき、モデルＭ_ｓの訓練時には、それらを読み込むだけでもよい。

【0080】

［選択点群構築部２１］
選択点群構築部２１は、関心点選択部１２で得られた関心点及びモデルＭ_ｓを用いて点群Ｉから一部の点を選択するように構成されている。図４に、選択点群構築部２１の機能ブロックの一例を示す。

【0081】

図４に示すように、選択点群構築部２１は、距離重み計算部２１Ａと、特徴抽出部２１Ｂと、重み付き特徴計算部２１Ｃと、特徴生成部２１Ｄと、確率予測部２１Ｅと、点群選択部２１Ｆとを有する。

【0082】

ここで、距離重み計算部２１Ａ、特徴抽出部２１Ｂ、重み付き特徴計算部２１Ｃ、特徴生成部２１Ｄ、確率予測部２１Ｅ及び点群選択部２１Ｆの機能は、上述の距離重み計算部１３、特徴抽出部１４、重み付き特徴計算部１５、特徴生成部１６、確率予測部１７及び点群選択部１８の機能と同じである。

【0083】

選択点群構築部２１は、上述の機能によって、点群Ｉ及び関心点を入力として処理を行うことにより、点群Ｉから関心点に関する一部の点（以後、点群Ｚとする）を選択することができる。

【0084】

ただし、かかる場合には、モデルＭ_ｓへの入力となる点群Ｉの点数が大きいことから、メモリ使用量が大きくなる恐れがある。

【0085】

したがって、メモリ使用量を抑えることを目的として、点群Ｉの代わりに、点群分割部２０で得られた点群Ｉを分割したｄ個の点群｛Ｓ_０，Ｓ_１， …，Ｓ_｛ｄ-１｝｝のそれぞれをモデルＭ_ｓへの入力としてもよい。

【0086】

かかる場合、選択点群構築部２１は、ｄ個の点群の内の１つの点群（例えば、Ｓ_０）及び関心点を入力として、上述の処理を行うことにより、入力した点群から関心点に関する一部の点を選択することができる。

【0087】

選択点群構築部２１は、同様の処理をｄ個の点群の残りに対して行うことにより、それぞれの点群から一部の点を選択することができる。

【0088】

そして、選択点群構築部２１は、ｄ個の点群｛Ｓ_０，Ｓ_１， …，Ｓ_｛ｄ-１｝｝のそれぞれから得られた一部の点の和集合を取ることにより、単一の点群Ｚを得る。

【0089】

かかる場合、モデルＭ_ｓへの入力となる点群の点数は、点群Ｉの点数に比べて小さいため、点群Ｉを入力とする場合に比べて、メモリ使用量が小さくなる。

【0090】

［表面復元部２２］
表面復元部２２は、モデルＭ_ｒを用いて、点群Ｚ及びクエリ点群から、物体の表面の復元を行うように構成されている。

【0091】

ここで、表面復元部２２は、任意の表面復元手法及びそれに対応するモデルＭ_ｒを用いてもよい。一例として、表面復元部２２は、非特許文献１に記載の手法ＰＯＣＯを用いることができる。

【0092】

なお、クエリ点群は、ＩＮＲに基づく物体の表面の復元のためのモデルＭ_ｒの訓練に用いられる点群であり、例えば、復元対象となる物体のバウンディングボックス内からランダムに点をサンプリングすることによって作成される。

【0093】

クエリ点群は、使用する手法に対応した作成方法を用いて作成されてもよいし、それ以外の方法で作成されてもよい。

【0094】

［モデル訓練部１９］
本実施形態では、モデル訓練部１９は、点群の選択のためのモデルＭ_ｓに加えて、ＩＮＲに基づく物体の表面の復元のためのモデルＭ_ｒについても訓練するように構成されている。

【0095】

ここで、モデル訓練部１９は、上述のクエリ点群と物体の表面との位置関係を予測することにより、モデル Ｍ_ｒを訓練することができる。

【0096】

例えば、モデル訓練部１９は、上述のＰＯＣＯを用いる場合、クエリ点群が対象の物体の内側にある可能性を表す占有率を予測し、その占有率の真値との間で損失を計算することで、モデルＭ_ｒを訓練することができる。

【0097】

モデル訓練部１９は、物体の表面の復元に関する損失として、表面復元部２２で使用した手法で定められた損失を使用する。かかる損失の一例としては、 非特許文献１に記載の手法ＰＯＣＯで定められたクロスエントロピー損失が挙げられる。

【0098】

以後、物体の表面の復元に関する損失関数をＬ_ｒと表記する。

【0099】

モデル訓練部１９は、モデルのパラメータを更新する際には、モデルＭ_ｓ及びＭ_ｒのパラメータを同時に更新（以後、同時最適化とする）してもよい。

【0100】

或いは、モデル訓練部１９は、一方のパラメータを固定しながら、他方のパラメータを更新し、その後、他方のパラメータを固定しながら、一方のパラメータを更新するような交互の更新（以降、交互最適化とする）を行ってもよい。

【0101】

この際、モデル訓練部１９は、ＧＰＵのメモリ使用量を抑えるために、固定されたモデルのパラメータを保存した後にＧＰＵ上から削除し、更新する際に、再びＧＰＵ上に読み込んでもよい。

【0102】

モデル訓練部１９は、同時最適化を行う場合は、Ｌ_ｓ及びＬ_ｒの重み付き和を損失関数としてもよい。

【0103】

一方、モデル訓練部１９は、交互最適化を行う場合は、モデルＭ_ｓのパラメータを更新する際には、損失関数をＬ_ｓとし、モデルＭ_ｒのパラメータを更新する際には、損失関数をＬ_ｒとしてよいし、モデルＭ_ｓ及びＭ_ｒのいずれか又は両方のパラメータを更新する際に、Ｌ_ｓ及びＬ_ｒの重み付き和を損失関数としてもよい。

【0104】

また、モデル訓練部１９は、点群選択装置１００が訓練済みのモデルＭ_ｓ又はＭ_ｒを保持する場合、保持されているモデルのパラメータの更新を行わなくてもよい。

【0105】

例えば、点群選択装置１００が、訓練済みのモデルＭ_ｓを保持する場合、モデル訓練部１９は、モデルＭ_ｓのパラメータを常に固定しながら、モデルＭ_ｒのパラメータのみを更新してもよい。

【0106】

また、点群選択装置１００が、訓練済みのモデルＭ_ｒを保持する場合、モデル訓練部１９は、モデルＭ_ｒのパラメータを常に固定しながら、モデルＭ_ｓのパラメータのみを更新してもよい。

【0107】

（第３実施形態）
以下、図５を参照して、本発明の第３実施形態に係る点群選択装置１００について、上述の第１実施形態及び第２実施形態に係る点群選択装置１００との相違点に着目して説明する。図５は、本実施形態に係る点群選択装置１００の機能ブロックの一例を示す図である。

【0108】

本実施形態では、訓練済みのモデルＭ_ｒによる推論に、点群選択装置１００が用いられている。

【0109】

図５は、モデルＭ_ｒによる推論を実行する場合の点群選択装置１００の機能ブロックの一例を示す図である。

【0110】

本実施形態では、選択点群構築部２１は、訓練済みのモデルＭ_ｓ及び関心点選択部１２で選択された関心点を用いて、選択された点群（点群Ｚ）を構築するように構成されている。

【0111】

表面復元部２２は、選択点群構築部２１で構築された点群Ｚ及び訓練済みのモデルＭ_ｒを用いて、物体の表面の復元を行うように構成されている。

【0112】

ここで、推論時に使用するクエリ点群としては、復元対象となる物体のバウンディングボックスを分割して得られるボクセルの中心座標の集合が用いられることが多い。

【0113】

本実施形態では、表面復元部２２は、関心点に近い位置にあるクエリ点群に対する予測結果のみを選択してもよい。

【0114】

表面復元部２２は、様々な関心点を用いて反復的に推論を行うことにより、全てのクエリ点群に対する予測結果を取得してもよい。

【0115】

表面復元部２２は、同一のクエリ点群に対して複数個の予測結果が得られた場合、それらの予測結果の平均値や中央値のような統計量を予測結果とみなしてもよい。

【0116】

なお、点群分割部２０や関心点選択部１２や選択点群構築部２１における処理は、必ずしも表面復元部２２による推論時に実行されなくてもよく、推論の前処理として、これらの処理を予め実行しておき、推論時には、表面復元部２２は、これらの処理の実行結果を読み込むだけでもよい。

【0117】

また、上述の点群選択装置１００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0118】

なお、上記の各実施形態では、本発明を点群選択装置１００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、点群選択装置１００の各機能を備えた点群選択システムにも同様に適用できる。

【産業上の利用可能性】

【0119】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0120】

１００…点群選択装置
１１…初期点群選択部
１２…関心点選択部
１３、２１Ａ…距離重み計算部
１４、２１Ｂ…特徴抽出部
１５、２１Ｃ…重み付き特徴計算部
１６、２１Ｄ…特徴生成部
１７、２１Ｅ…確率予測部
１８、２１Ｆ…点群選択部
１９…モデル訓練部
２０…点群分割部
２１…選択点群構築部
２２…表面復元部

【図1】

【図2】

【図3】

【図4】

【図5】