特開 2022-186156 特徴量算出プログラム、特徴量算出方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186156

(43)【公開日】2022-12-15

(54)【発明の名称】特徴量算出プログラム、特徴量算出方法および情報処理装置

(51)【国際特許分類】

   G06T 17/00 20060101AFI20221208BHJP

【ＦＩ】

G06T17/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021094241

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】池 祐一

(72)【発明者】

【氏名】浅尾 泰彦

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA00

5B080AA13

5B080AA19

5B080DA06

(57)【要約】

【課題】点群データの正確な特徴量を抽出することを課題とする。
【解決手段】情報処理装置は、点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出する。情報処理装置は、算出された固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出する。情報処理装置は、点群データの複数の点それぞれに対する曲率に基づき、点群データの特徴量を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンピュータに、
点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出し、
算出された前記固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出し、
前記点群データの前記複数の点それぞれに対する前記曲率に基づき、前記点群データの特徴量を生成する、
処理を実行させることを特徴とする特徴量算出プログラム。

【請求項2】

前記算出する処理は、
固有値が閾値以上である固有ベクトルで張られる空間に座標および前記固有ベクトルの方向に軸を設定し、
前記点群データに最小二乗法で当てはめた、前記極値点を頂点とする二次関数を生成し、
前記二次関数に対するヘシアンを前記点群データの各点の曲率として算出する、
ことを特徴とする請求項１に記載の特徴量算出プログラム。

【請求項3】

前記生成する処理は、
前記点群データの各点についての前記曲率の分布を、前記点群データの特徴量として生成する、
ことを特徴とする請求項１または２に記載の特徴量算出プログラム。

【請求項4】

コンピュータが、
点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出し、
算出された前記固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出し、
前記点群データの前記複数の点それぞれに対する前記曲率に基づき、前記点群データの特徴量を生成する、
処理を実行させることを特徴とする特徴量算出方法。

【請求項5】

点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出するベクトル算出部と、
算出された前記固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出する曲率算出部と、
前記点群データの前記複数の点それぞれに対する前記曲率に基づき、前記点群データの特徴量を生成する特徴生成部と、
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴量算出プログラム、特徴量算出方法および情報処理装置に関する。

【背景技術】

【0002】

様々な分野において多くの場合、解析したいデータは、いくつかの実数値の組として表され、データはｎ次元の空間の点群として捉えられる。近年では、これらの点群データから特徴量を抽出したり、分類したりすることが行われている。例えば、点群データの位相的特徴量を抽出する位相的データ解析（TDA：Topological Data Analysis）が知られている。ＴＤＡは、連結成分や穴の数などの特徴量を検討し、データ点中心の球の和集合を考え、半径を大きくしていく際の位相変化を見る技術である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０１６１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、位相的に同じ形と判断される点群データを区別することができず、特徴量の抽出精度が低下する。例えば、連結成分や穴の数が等しい点群データからは同じ特徴量しか抽出できず、平らな面と曲面とを区別することができない。

【0005】

一つの側面では、点群データの正確な特徴量を抽出することができる特徴量算出プログラム、特徴量算出方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、特徴量算出プログラムは、コンピュータに、点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出し、算出された前記固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出し、前記点群データの前記複数の点それぞれに対する前記曲率に基づき、前記点群データの特徴量を生成する、処理を実行させることを特徴とする。

【発明の効果】

【0007】

一つの側面では、点群データの正確な特徴量を抽出することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、ＴＤＡによる課題を説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、点群データの各点に対する固有ベクトルの算出手法を説明する図である。

【図5】図５は、各点群データの特徴量の抽出結果を説明する図である。

【図6】図６は、実施例１にかかる処理の流れを示すフローチャートである。

【図7】図７は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図8】図８は、実施例２にかかるクラスタリング結果を説明する図である。

【図9】図９は、実施例２にかかる処理の流れを示すフローチャートである。

【図10】図１０は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示する特徴量算出プログラム、特徴量算出方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0010】

［全体構成］
図１は、実施例１にかかる情報処理装置１０を説明する図である。この情報処理装置１０は、点群データＰや点群データＱなどの様々な点群データに対して、特徴量Ｐや特徴量Ｑなどのように、各点群データの特徴を正確に表現した特徴量を生成して出力するコンピュータ装置の一例である。

【0011】

ここで、点群データの特徴量の生成に利用されるＴＤＡについて説明する。ＴＤＡは、点群データに対してパーシステントホモロジ変換を実行することで、ｍ次元の穴の遷移を特徴づけるパーシステント図を生成して、点群データの特徴量を生成する。

【0012】

ここで、「ホモロジ」とは、対象の特徴をｍ（ｍ≧０）次元の穴の数によって表現する手法である。ここで言う「穴」とはホモロジ群の元のことであり、０次元の穴は連結成分であり、１次元の穴は穴（トンネル）であり、２次元の穴は空洞である。各次元の穴の数はベッチ数と呼ばれる。そして、「パーシステントホモロジ」とは、対象（ここでは、点の集合（Point Cloud））におけるｍ次元の穴の遷移を特徴付けるための手法であり、パーシステントホモロジによって点の配置に関する特徴を調べることができる。この手法においては、対象における各点が球状に徐々に膨らまされ、その過程において各穴が発生した時刻（発生時の球の半径で表される）と消滅した時刻（消滅時の球の半径で表される）とが特定される。

【0013】

次に、ＴＤＡを用いて、シリンダの形をした点群データＰと、球の形をした点群データＱとのそれぞれの特徴量を生成した結果を説明する。図２は、ＴＤＡによる課題を説明する図である。

【0014】

具体的には、図２には、点群データＰに対するＴＤＡにより、０次元の穴の発生（Birth）と消滅（Death）のタイミングであるＨ_０、１次元の穴の発生と消滅のタイミングであるＨ_１、２次元の穴の発生と消滅のタイミングであるＨ_２を表したパーシステント図が図示される。同様に、点群データＱに対するＴＤＡにより、０次元の穴の発生と消滅のタイミングであるＨ_０、１次元の穴の発生と消滅のタイミングであるＨ_１、２次元の穴の発生と消滅のタイミングであるＨ_２を表したパーシステント図が図示される。

【0015】

図２の各パーシステント図を比較してもわかるように、ＴＤＡによる特徴量生成（解析）では、位相的に同じ形の点群データからは類似する特徴量が生成され、各点群データを区別することが難しい。すなわち、形が不明な点群データを解析した場合に、異なる形のデータについて同じ特徴量を生成することになる。このため、例えば点群データを用いてラベル付き訓練データを生成する場合に、異なるラベルを付すべき点群データに同じラベルを付すことになり、訓練精度の劣化に繋がる。

【0016】

また、ＴＤＡで得られた特徴量を用いてポリゴンを選択して、点群データにフィッティングさせることも考えられるが、選択材料となる特徴量が正確でないと、適切なポリゴンを選択することができない。図２の場合、点群データＰと点群データＱのそれぞれに同じポリゴンを選択することになり、正確なフィッティングができない。

【0017】

そこで、実施例１にかかる情報処理装置１０は、点群データに含まれる複数の点それぞれについて、点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出する。情報処理装置１０は、算出された固有ベクトルに対し最近傍に位置する点を極値点（または停留点）とする多次元関数の曲率を算出する。情報処理装置１０は、点群データの複数の点それぞれに対する曲率に基づき、点群データの特徴量を生成する。

【0018】

すなわち、情報処理装置１０は、点群データから局所的に定まる曲率的な量（曲がり具合を表す量）を算出して、その値の頻度分布を特徴量とする。この結果、情報処理装置１０は、位相的には同じであるが曲率的に形が違う点群データが区別可能となり、点群データの正確な特徴量を抽出することができる。

【0019】

［機能構成］
図３は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

【0020】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、管理者端末や３Ｄセンサなどから点群データを受信し、抽出結果（解析結果）などを管理者端末に送信する。

【0021】

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例である。例えば、記憶部１２は、点群データＤＢ１３と抽出結果ＤＢ１４を記憶する。

【0022】

点群データＤＢ１３は、例えば３Ｄセンサや測域センサなどを用いて、３次元空間内でスキャンされた様々な物体の点群データを記憶するデータベースである。上記例で説明すると、点群データＤＢ１３は、点群データＰと点群データＱとを記憶する。説明上、点群データＰはシリンダの形をしており、点群データＱは球の形をしているが、制御部２０によって特徴づけられるまで、これらの形は未知である。

【0023】

抽出結果ＤＢ１４は、制御部２０による抽出結果を記憶するデータベースである。例えば、抽出結果ＤＢ１４は、点群データＰの特徴量、点群データＱの特徴量を記憶する。

【0024】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、ベクトル算出部２１、曲率算出部２２、特徴生成部２３を有する。なお、ベクトル算出部２１、曲率算出部２２、特徴生成部２３は、プロセッサが有する電子回路やプロセッサが実行するプロセスとして実現することもできる。

【0025】

ベクトル算出部２１は、点群データに含まれる複数の点それぞれについて、各点から所定の距離以内に存在する点群データに対する主成分分析を用いて固有ベクトルを算出する処理部である。例えば、ベクトル算出部２１は、点群データＰのそれぞれの点および点群データＱそれぞれの点について、固有ベクトルを算出する。

【0026】

図４は、点群データの各点に対する固有ベクトルの算出手法を説明する図である。まず、ベクトル算出部２１は、管理者等の入力等を受け付けて、ｄ次元の実数空間Ｒ^ｄの部分集合である点群データＸに対して、０より大きい値である閾値εと閾値δを設定する。

【0027】

次に、図４の（ａ）に示すように、ベクトル算出部２１は、点群データＸの要素である点ｘを選択する。そして、図４の（ｂ）に示すように、ベクトル算出部２１は、点ｘに対して、半径εの球内に入る点群Ｂを式（１）にように定義する。続いて、図４の（ｃ）に示すように、ベクトル算出部２１は、点群Ｂに対して主成分分析（PCA：Principal Component Analysis）を適用し、固有値が閾値δ以上である固有ベクトルで張られる空間を取得する。ベクトル算出部２１は、上記処理を点群データ内の各点について実行する。

【0028】

【数1】

【0029】

曲率算出部２２は、算出された固有ベクトルに対し最近傍に位置する点を極値点とする多次元関数の曲率を算出する処理部である。具体的には、曲率算出部２２は、点群データＰ内の各点および点群データＱ内の各点について曲率を算出し、特徴生成部２３に出力する。

【0030】

例えば、曲率算出部２２は、ベクトル算出部２１で算出された固有値のうち、所定値以上である固有値に対応する固有ベクトル方向に値を持つ上記空間上の点ｘを頂点に持つ二次関数をＢに対して最小二乗法で当てはめる。

【0031】

すなわち、曲率算出部２２は、固有値がδ以上のｋ次元空間に座標ｘ_１、ｘ_２、・・・ｘ_ｋを設定し、ｋ＋１番目の固有ベクトルの方向に軸ｘ_ｋ＋１を設定する。続いて、曲率算出部２２は、最小二乗法で当てはめた式（２）に示す二次関数を生成し、その二次関数に対して式（３）に示すヘシアンを算出する。そして、曲率算出部２２は、そのヘシアンを各点の曲率と定める。

【0032】

【数2】

【数3】

【0033】

特徴生成部２３は、点群データの複数の点それぞれに対する曲率に基づき、点群データの特徴量を生成する処理部である。具体的には、特徴生成部２３は、点群データＰおよび点群データＱそれぞれついて、各点群データ内の複数の点ついての曲率の分布（頻度分布）を複数の点で表現される各点群データの特徴として算出し、抽出結果ＤＢ１４に格納する。

【0034】

図５は、各点群データの特徴量の抽出結果を説明する図である。図５に示すように、特徴生成部２３は、横軸に曲率の値、縦軸に度数（その曲率を有する点の数）を設定した頻度分布を生成する。つまり、特徴生成部２３は、点群データの各点が有する曲率の数を集計する。この結果、特徴生成部２３は、点群データＰについては、曲率０．０の点が集中しており、曲面（曲線）が比較的少ない形と特徴づけることができる。一方、特徴生成部２３は、点群データＱについては、曲率１．０周辺の点が集中しており、曲面（曲線）が多い形と特徴づけることができる。

【0035】

［処理の流れ］
図６は、実施例１にかかる処理の流れを示すフローチャートである。図６に示すように、情報処理装置１０のベクトル算出部２１は、点群データを取得し（Ｓ１０１）、点群データ内の点（データ）を１つ選択する（Ｓ１０２）。

【0036】

続いて、ベクトル算出部２１は、主成分分析を実行して空間（固有ベクトル）を算出する（Ｓ１０３）。そして、曲率算出部２２は、点群データから局所的に定まる曲率的な量である曲率を算出する（Ｓ１０４）。

【0037】

ここで、点群データ内で未選択の点（データ）がある場合（Ｓ１０５：Ｙｅｓ）、未選択の点に対してＳ１０２以降を繰り返す。一方、点群データ内で未選択の点（データ）がない場合（Ｓ１０５：Ｎｏ）、特徴生成部２３は、算出された各点の曲率を用いて、点群データの特徴量の抽出結果を生成して出力する（Ｓ１０６）。

【0038】

［効果］
上述したように、情報処理装置１０は、点群データの各点について曲率を算出し、曲率を用いた特徴量を生成することができる。この結果、情報処理装置１０は、曲率的な局所的な違いに着目することで、位相的には同じだが曲率的に形が違う点群を区別することができる。また、情報処理装置１０は、各点の曲率の頻度分布を生成するので、特徴量を可視化することができ、ユーザの解釈性を向上させることができる。

【0039】

また、情報処理装置１０は、機械学習モデルの訓練データを点群データから生成する場合に、点群データを正確に区別することができるので、各点群データに正確なラベル（教師情報）を付与することができる。したがって、情報処理装置１０は、機械学習モデルの訓練精度を向上させることができる。

【実施例0040】

ところで、情報処理装置１０は、実施例１で説明した特徴量を用いることで、点群データのクラスタリングを実行することができる。そこで、実施例２では、点群データのクラスタリングを実行して、点群データとポリゴンとの正確なフィッティングを行う例を説明する。

【0041】

［機能構成］
図７は、実施例２にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図７に示すように、実施例１と同様、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。実施例と異なる点は、ポリゴンＤＢ１５とクラスタリング実行部２４とを有している点であるので、ここでは、これらについて説明する。

【0042】

ポリゴンＤＢ１５は、フィッティング対象である複数のポリゴンを記憶するデータベースである。例えば、ポリゴンＤＢ１５は、形が異なる複数のポリゴンや、形が類似する複数のポリゴンを記憶する。

【0043】

クラスタリング実行部２４は、点群データの複数の点それぞれに対する曲率に基づき、複数の点のクラスタリングを実行し、クラスタリングの実行結果を出力する処理部である。具体的には、クラスタリング実行部２４は、ｎ次元の空間の点群データを幾何学的特徴によりクラスタリングする。このようにすることで、例えば三次元空間内でスキャンされた点群（点群データ）にメッシュ形状をフィッティングさせる際に、角などの特異点集合を抽出することができる。

【0044】

例えば、クラスタリング実行部２４は、管理者等の入力等を受け付けて、スケールパラメータｔと閾値ｄを設定する。次に、クラスタリング実行部２４は、ｎ次元の実数空間Ｒ^ｎの部分集合である点群データＸについて、閾値に依存する点群データの曲率ｃ（ｘ）を各点ｘ（Ｘの要素）に対して算出する。ここでは、クラスタリング実行部２４は、曲率ｃ（ｘ）を実施例１の手法で算出する。

【0045】

続いて、クラスタリング実行部２４は、ｃ（ｘ）＜－ｄであればａ（ｘ）＝－ｔ、｜ｃ（ｘ）｜≦ｄであればａ（ｘ）＝０、ｃ（ｘ）＞ｄであればａ（ｘ）＝ｔと定める。そして、クラスタリング実行部２４は、曲率の値を用いて点群データＸの次元を一次元増やし、ｎ＋１次元の実数空間Ｒ^ｎ＋１の部分集合とする。その後、クラスタリング実行部２４は、式（４）により、一次元増やした点群データの各点を、実数空間Ｒ^ｎ＋１に埋め込む。すなわち、クラスタリング実行部２４は、同相写像により、一次元増やした点群データの各点を、実数空間Ｒ^ｎ＋１に写像する。

【0046】

【数4】

【0047】

その後、クラスタリング実行部２４は、写像の像に対して最短距離法によるクラスタリングを実行し、点群データの各点をクラスタリングし、作成されたクラスタを埋め込む前の点群に対して割り当てる。すなわち、クラスタリング実行部２４は、一次元増やされた各点を元の次元で表現する。

【0048】

このようにして、クラスタリング実行部２４は、点群データの各点の次元数に曲率を追加して一次元増やし、一次元増やした状態でクラスタリングを実行することで、点群データの各点を正確にクラスタリングでき、類似する点群データを区別することができる。

【0049】

図８は、実施例２にかかるクラスタリング結果を説明する図である。クラスタリング実行部２４は、点群データの各点をクラスタリングすることができるので、例えば曲率が第１閾値未満でほぼ曲率がない点のクラスタであるクラスタＡ、曲率が第１閾値以上かつ第２閾値未満で曲率が少しある点のクラスタであるクラスタＢ、曲率が第２閾値以上で曲率が大きい点のクラスタであるクラスタＣに分類することができる。

【0050】

この結果、図８に示すように、クラスタリング実行部２４は、点群データＰに対するクラスタリング結果と、点群データＱのクラスタリング結果とを比較してもわかるように、位相的に類似する形で合っても、全く異なる形と判定することができる。

【0051】

したがって、クラスタリング実行部２４は、点群データＰに対してはシリンダ型のポリゴンを選択してフィッティングすることができ、点群データＱに対しては球型のポリゴンを選択してフィッティングすることができる。このため、クラスタリング実行部２４は、はじめから適切なポリゴンを選択して別々にフィッティングすることができ、ポリゴンの選択ミスを減らすことができるので、処理時間の短縮を実現することもできる。

【0052】

［処理の流れ］
図９は、実施例２にかかる処理の流れを示すフローチャートである。図９に示すように、情報処理装置１０のベクトル算出部２１は、点群データを取得し（Ｓ２０１）、点群データ内の点を１つ選択する（Ｓ２０２）。

【0053】

続いて、ベクトル算出部２１は、主成分分析を実行して空間（固有ベクトル）を算出する（Ｓ２０３）。そして、曲率算出部２２は、点群データから局所的に定まる曲率的な量である曲率を算出する（Ｓ２０４）。

【0054】

ここで、点群データ内で未選択の点がある場合（Ｓ２０５：Ｙｅｓ）、未選択の点に対してＳ２０２以降を繰り返す。一方、点群データ内で未選択の点がない場合（Ｓ２０５：Ｎｏ）、クラスタリング実行部２４は、点群データの各点について算出された曲率を用いて、各点のクラスタリングを実行する（Ｓ２０６）。

【0055】

その後、クラスタリング実行部２４は、クラスタリング結果を出力する（Ｓ２０７）。例えば、クラスタリング実行部２４は、クラスタリング結果を記憶部１２に格納したり、管理者等の指摘された宛先に送信したりする。

【0056】

これと並行して、クラスタリング実行部２４は、クラスタリング結果を用いて、ポリゴンＤＢ１５から適切なポリゴンを選択し（Ｓ２０８）、選択したポリゴンを点群データにフィッティングし、フィッティング結果を出力する（Ｓ２０９）。例えば、クラスタリング実行部２４は、フィッティング結果を記憶部１２に格納したり、管理者等の指摘された宛先に送信したりする。

【0057】

［効果］
上述したように、情報処理装置１０は、点群データから局所的に定まる曲率を算出して、その情報に依存する値を別の成分として付け加えて一次元高い空間の点群データを構成して、それをクラスタリングする。すなわち、情報処理装置１０は、与えられた点群データから特徴量を構成して、座標成分と合わせてクラスタリングを行うことができる。

【0058】

この結果、情報処理装置１０は、例えば三次元空間内でスキャンされた点群データにメッシュ形状（ポリゴン）をフィッティングさせる際に、角などの特異点の集合を抽出することができる。このとき、情報処理装置１０は、特異点を持つ点たちを別にクラスタリングすることもできる。このように、情報処理装置１０は、特に尖っている部分や次元が異なる部分を抽出することができ、予め全体の形が分からない点群データであっても、点群データの幾何的特徴も考慮したクラスタリングを実行することができ、正確なフィッティングを実行することができる。