7341868 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230904BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2019210768

(22)【出願日】2019-11-21

(65)【公開番号】P2021082147

(43)【公開日】2021-05-27

【審査請求日】2022-10-05

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】関川 雄介

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特表２０１６－５２３３９４（ＪＰ，Ａ）

【文献】特開２００１－２４３５００（ＪＰ，Ａ）

【文献】Hongxin Lin et al.，Justlookup: One Millisecond Deep Feature Extraction for Point Clouds By Lookup Tables，2019 IEEE International Conference on Multimedia and Expo (ICME)，米国，2019年07月08日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8784953

【文献】Lyne P.Tchapmi et al.，SEGCloud: Semantic Segmentation of 3D Point Clouds，2017 International Conference on 3D Vision (3DV)，米国，2017年12月10日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8374608

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

点群データの分析を行う装置であって、
前記点群データを入力する入力部と、
入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成する離散化部と、
前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求める高次元写像化部と、
前記離散化データの特徴ベクトルに前記離散化部による離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求める補間部と、
前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求める全体特徴算出部と、
前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行う推論部と、
を備える情報処理装置。

【請求項2】

前記高次元写像化部は、高次元写像結果を保持したルックアップテーブルを備えており、ルックアップテーブルを参照することで、前記離散化データの特徴ベクトルを求める請求項１に記載の情報処理装置。

【請求項3】

前記離散化部は、前記点群データを構成する各データについて、周辺の前記格子点までの距離に応じた重み付けをして離散化する請求項１または２に記載の情報処理装置。

【請求項4】

前記高次元写像化部による高次元写像化のためのモデル、及び前記推論部で用いるニューラルネットワークは、前記点群データとその分析結果とを教師データとして、エンドツーエンド学習（End-to-End training）によって学習されたものである請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記推論部は、物体の識別、または、点群データのセグメンテーションを行う請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記推論部は、第１の点群データと第２の点群データとのレジストレーションを行うものであって、
前記第１の点群データの全体特徴ベクトルの剛体変換パラメータに対するヤコビアンを用いて、剛体変換パラメータと前記第２の点群データの全体特徴ベクトルを更新していくことによって、前記第１の点群データと前記第２の点群データとの間の剛体変換パラメータを求める請求項２に記載の情報処理装置。

【請求項7】

点群データの分析を行う方法であって、
前記点群データを入力するステップと、
入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成するステップと、
前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求めるステップと、
前記離散化データの特徴ベクトルに前記離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求めるステップと、
前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求めるステップと、
前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行うステップと、
を備える情報処理方法。

【請求項8】

点群データの分析を行うためのプログラムであって、コンピュータに、
前記点群データを入力するステップと、
入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成するステップと、
前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求めるステップと、
前記離散化データの特徴ベクトルに前記離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求めるステップと、
前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求めるステップと、
前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行うステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

点群データをニューラルネットワークで処理する方法として、従来は点群を一度ボクセル変換して、それを畳み込みニューラルネットワーク（ＣＮＮ）で処理する方法が主流であった。点群を扱う上で難しいのは、その順番の扱いである。例えば、「ウサギ」の点群データは、その順番を変えても同じ「ウサギ」のままである。しかし、点群データをそのまま配列としてＣＮＮに適用すると、順番によって結果が異なってくるので、上述したとおり、一度ボクセル化を経ていた。

【0003】

近年、ボクセル化を経ずに直接点群データをモデリングするＰｏｉｎｔＮｅｔと呼ばれる手法が提案された（非特許文献１）。ＰｏｉｎｔＮｅｔは、各点を独立にニューラルネットワーク（ＭＬＰ）で高次元写像し、そこで対称関数（例えばｍａｘ関数）などで各点の情報を集約することで、順番に対する普遍性を実現している。ＰｏｉｎｔＮｅｔは、性能及び速度の面から、点群処理の主流になりつつある。

【先行技術文献】

【非特許文献】

【0004】

【文献】Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas.「Pointnet: Deep learning on point sets for 3d classification and segmentation.」Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017. 1, 2, 3, 5, 6, 7

【発明の概要】

【発明が解決しようとする課題】

【0005】

このＭＬＰによる高次元への写像は、入力となる数千点の点群すべてに対して行う必要があり、それ自体がニューラルネットワークであるので計算量が非常に大きい。例えば，自動運転のシナリオなどにおいて、リアルタイムに処理を行うことは困難である。

【0006】

上記背景に鑑み、本発明は、点群データの処理を高速に行えるようにした情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、点群データの分析を行う装置であって、前記点群データを入力する入力部と、入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成する離散化部と、前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求める高次元写像化部と、前記離散化データの特徴ベクトルに前記離散化部による離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求める補間部と、前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求める全体特徴算出部と、前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行う推論部とを備える。

【0008】

このように点群データを離散することにより、高次元写像を行うべき点を減らし、局所特徴ベクトルを求める処理を高速に行うことができる。なお、本書では、点群データを高次元写像したデータを「局所特徴ベクトル」、局所特徴ベクトルを対称関数に適用した値を「全体特徴ベクトル」という。局所特徴ベクトルは点群の位置の情報を有しているが、全体特徴ベクトルは点群の順番によらない情報である。

【0009】

本発明の情報処理装置において、前記高次元写像化部は、高次元写像結果を保持したルックアップテーブルを備えており、ルックアップテーブルを参照することで、前記離散化データの特徴ベクトルを求めてもよい。このようにルックアップテーブルを参照する構成により、高次元写像結果を容易に得られる。ルックアップテーブルを用いることができるのは、離散化によって高次元写像を行うべき点を減らしているからである。

【0010】

本発明の情報処理装置において、前記離散化部は、前記点群データを構成する各データについて、周辺の前記格子点までの距離に応じた重み付けをして離散化してもよい。ここで、周辺の格子点は、離散化すべき点の近傍にある８つの格子点であってもよいし、近傍の格子点のさらに外側にある格子点を含めてもよい。

【0011】

本発明の情報処理装置において、前記高次元写像化部による高次元写像化のためのモデル、及び前記推論部で用いるニューラルネットワークは、前記点群データとその分析結果とを教師データとして、エンドツーエンド学習（End-to-End training）によって学習されたものであってもよい。エンドツーエンドで学習することにより、高次元写像化のためのモデルを、推論部での分析に適した全体特徴ベクトルを生成するものにできる。ここで、エンドツーエンド学習とは、入力と出力を与えて、途中で発生する処理を学習する方法である。

【0012】

本発明の情報処理装置において、前記推論部は、物体の識別、または、点群データのセグメンテーションを行ってもよい。なお、物体の識別を行うときには、点群データと識別結果を教師データとして与えてエンドツーエンドで学習を行う。セグメンテーションを行うときには、点群データとセグメンテーション結果を教師データとして与えてエンドツーエンドで学習を行う。

【0013】

本発明の高次元写像をルックアップテーブルを用いて行う情報処理装置において、前記推論部は、第１の点群データと第２の点群データとのレジストレーションを行うものであって、前記第１の点群データの全体特徴ベクトルの剛体変換パラメータに対するヤコビアンを用いて、剛体変換パラメータと前記第２の点群データの全体特徴ベクトルを更新していくことによって、前記第１の点群データと前記第２の点群データとの間の剛体変換パラメータを求めてもよい。このようにルックアップテーブルを持つ情報処理装置では、ヤコビアンを高速かつ解析的に求めることができ、２つの点群データのレジストレーション（位置合わせ）を速やかに行うことができる。

【0014】

本発明の情報処理方法は、点群データの分析を行う方法であって、前記点群データを入力するステップと、入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成するステップと、前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求めるステップと、前記離散化データの特徴ベクトルに前記離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求めるステップと、前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求めるステップと、前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行うステップとを備える。

【0015】

本発明のプログラムは、点群データの分析を行うためのプログラムであって、コンピュータに、前記点群データを入力するステップと、入力された前記点群データを、前記点群データの存在空間を格子状に区切ってできた格子点に離散化し、離散化データを生成するステップと、前記離散化データを高次元写像して、前記離散化データの特徴ベクトルとして多次元ベクトルを求めるステップと、前記離散化データの特徴ベクトルに前記離散化と逆の処理を行って、前記点群データの局所特徴ベクトルを求めるステップと、前記点群データの局所特徴ベクトルを対称関数に適用して、前記点群データの全体特徴ベクトルを求めるステップと、前記全体特徴ベクトルをニューラルネットワークに適用して前記点群データの分析を行うステップとを実行させる。

【発明の効果】

【0016】

本発明によれば、点群データをボクセル化することなく、高速に扱うことができる。

【図面の簡単な説明】

【0017】

【図1】実施の形態の情報処理装置の構成を示すブロック図である。

【図2】演算処理部にて行う処理を記載したアーキテクチャである。

【図3】補間処理の例を示す図である。

【図4】ｍａｘ値の計算について説明する図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態の情報処理装置、情報処理方法およびプログラムについて、図面を参照しながら説明する。
図１は、実施の形態の情報処理装置１の構成を示す図である。情報処理装置１は、入力部１０と、演算処理部１１と、記憶部１２と、出力部１３とを有している。入力部１０は、点群データを入力する入力インターフェース、通信インターフェースや、ユーザからの指示を入力するキーボードやマウス等である。演算処理部１１は、ＣＰＵであり、記憶部１２であるＲＯＭから読み出したプログラムを実行することにより演算処理を行う。出力部１３は、演算処理部１１によって処理した結果等を出力するディスプレイ、出力インターフェース、通信インターフェース等である。

【0019】

図２は、演算処理部１１にて行う処理を記載したアーキテクチャである。図２は、点群データで表された物体を識別する処理を行うアーキテクチャである。アーキテクチャは、正規化部と、離散化部と、高次元写像化部と、補間部と、全体特徴算出部と、推論部とを備えている。正規化部は、位置の変形に対して普遍性を有するように特徴の正規化を行う機能を有し、ＰｏｉｎｔＮｅｔでも採用されている構成である。

【0020】

離散化部は、入力された点群データを離散化する機能を有する。離散化部は、点群データの存在空間を格子状に区切ってできた格子点に点群データを離散化する。具体的には、離散化処理対象の点の周りの８つの格子点までの距離に応じた重みを付けて、８つの格子点に離散化する。この処理により、８つの格子点で囲まれた立方体の中にある点群のデータは、８つの格子点のデータに集約される。なお、離散化部は、点群データの各点の位置を記憶しておく。

【0021】

高次元写像化部は、離散化されたデータ（これを「離散化データ」という）を高次元のデータに写像する。高次元写像化部は、ニューラルネットワークであり、離散化データをどのような高次元データに写像するかを規定するモデルは、学習によって生成される。高次元写像化部は、学習を行う際には、複数のレイヤからなるニューラルネットワークを学習するが、推論を行う際には、学習によって生成されたニューラルネットワークの入出力関係をルックアップテーブルに記憶しておき、ルックアップテーブル（図２では「ＬＵＴ」と記載）を参照して高次元写像化を行う。このようにニューラルネットワークの入出力関係をルックアップテーブルに記憶しておけるのは、入力されるデータが離散化されてデータ量が削減されているからである。

【0022】

補間部は、離散化データの特徴ベクトルに離散化部による離散化と逆の処理を行って、点群データの局所特徴ベクトルを求める。補間部は、離散化部から点群データの各点の位置データを受け取り、各点の位置に応じて、当該点を取り囲む格子点の高次元データをトリリニア補間（Trilinear Interpolation）して、各点に対応する局所特徴ベクトルを求める。

【0023】

図３は、補間処理の例を示す図である。補間処理の対象の点Ｐｉの局所特徴ベクトルＺｉは、この点を取り囲む格子点Ｐｉ（０００）～Ｐｉ（１１１）の特徴ベクトルＺｉ（０００）～Ｚｉ（１１１）に、格子点Ｐｉ（０００）～Ｐｉ（１１１）からの距離を乗じて計算を行う。局所特徴ベクトルＺｉは、以下の式によって、格子点Ｐｉ（０００）～Ｐｉ（１１１）の特徴ベクトルＺｉ（０００）～Ｚｉ（１１１）を補間して計算される。

【数1】

【0024】

ここで、ｄｘ，ｄｙ，ｄｚは、座標値が大きい格子点からの距離、上にバーのあるｄｘ，ｄｙ，ｄｚは、座標値が小さい格子点からの距離を意味する。本実施の形態では、対象の点Ｐｉの周辺の８つの格子点に離散化し、補間する例を挙げたが、必ずしも周辺の８つの格子点で離散化、補間する必要はなく、周辺の８つの格子点よりも広い範囲にある格子点を使ってもよい。上記した式を一般的に表すと以下のとおりである。

【数2】

【0025】

全体特徴算出部は、点群データの特徴ベクトルＺｉのｍａｘ値をとって、点群データの全体特徴ベクトルを求める。図４は、ｍａｘ値の計算について説明する図である。図４に、補間処理が行われたｎ個の点群データの局所特徴ベクトルを示している。局所特徴ベクトルは、例えば、１０２４次元である。ｍａｘ値の計算では、ｎ個の特徴ベクトルの各次元での最大値を求める。これにより、各点の情報が集約され、順番に拠らない全体特徴ベクトルを求めることができる。ここでは、ｍａｘ値をとっているが、ｍａｘ関数以外の対称関数、例えば、ｍｉｎ，ｍｅａｎ，ｓｕｍ，ｖａｒ，ｓｋｅｗ（歪度），ｋｕｒｔ（尖度）等の関数を用いてもよい。

【0026】

推論部は、全体特徴ベクトルをニューラルネットワークに適用して点群データに含まれる物体を推論する。

【0027】

情報処理装置１で用いられるニューラルネットワークは、学習によって生成される。推論部で用いるニューラルネットワークと、前述した高次元写像化部で用いるニューラルネットワークは、エンドツーエンドで学習される。すなわち、教師データとして、点群データとそれに含まれる物体の識別データを用いて学習を行う。具体的には、図２に示すアーキテクチャに点群データを入力し、アーキテクチャから出力された識別データと正解の識別データとの差分が小さくなるように、誤差逆伝播法を用いてニューラルネットワークの学習が行われる。

【0028】

本実施の形態の情報処理方法は、上記した情報処理装置を用いて行う点群データの処理方法である。情報処理装置は、点群データが入力されると、図２に示すアーキテクチャの構成によって左から順番に処理を行う。すなわち、点群データを正規化し、正規化した点群データを格子点に離散化し、離散化データをルックアップテーブルを参照して高次元写像する。そして、高次元写像された特徴ベクトルを補間して、点群データの局所特徴ベクトルを求め、局所特徴ベクトルをｍａｘ関数に適用して、全体特徴ベクトルを求める。点群特徴ベクトルをニューラルネットワークに適用して、点群データに含まれる物体の識別を行う。

【0029】

以上、本実施の形態の情報処理装置について説明した。上記した実施の形態では、点群データを分析して物体の識別を行う例を挙げたが、別の実施の形態として、点群データのセグメンテーションにも用いることができる。点群データのセグメンテーションを行う場合には、教師データとして、点群データと、セグメンテーションの正解データを用いて、ニューラルネットワークの学習を行なえばよい。

【0030】

また、別の実施の形態として、点群データのレジストレーション、すなわち、位置合わせにも用いることができる。点群データのレジストレーションを行う場合には、２つの点群データの差分を最小とする剛体変換のパラメータを求める。以下の説明において、２つの点群データを、元の点群データＳ（Ｓｏｕｒｃｅ）と変換後の点群データＴ（Ｔａｒｇｅｔ）とする。

【0031】

推論部は、点群データＴの全体特徴ベクトルの剛体変換パラメータに対するヤコビアンを求める。この計算は一回行えばよい。上記した補間の式（１）は、微分可能であるので、ヤコビアンＪを解析的に解くことが可能である。

【0032】

続いて、点群データＳと点群データＴの全体特徴量の差分に、ヤコビアンＪの擬似逆行列Ｊ＋を適用し、点群データＳから点群データＴへの剛体変換パラメータξを求める。

【数3】

【0033】

求めた剛体変換パラメータξを用いて、剛体変換を計算して元の点群データＳを更新し、さらに、剛体変換パラメータξを更新していくことで、点群データＳから点群データＴへの剛体変換を求める。

【0034】

このように、この実施の形態によれば、点群データのレジストレーションも高速に処理することができる。

【産業上の利用可能性】

【0035】

本発明は、点群データを分析する情報処理装置等として有用である。

【符号の説明】

【0036】

１ 情報処理装置
１０ 入力部
１１ 演算処理部
１２ 記憶部
１３ 出力部

【図1】

【図2】

【図3】

【図4】