知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】点群識別装置、学習装置、点群識別方法、および、学習方法
(51)【国際特許分類】
G01S 17/89 20200101AFI20241227BHJP
G06T 7/00 20170101ALI20241227BHJP
G06T 7/521 20170101ALI20241227BHJP
【ＦＩ】
G01S17/89
G06T7/00 350
G06T7/521
【請求項の数】
8
(21)【出願番号】P 2024549125
(86)(22)【出願日】2022-11-02
(86)【国際出願番号】 JP2022040937
(87)【国際公開番号】W WO2024095380
(87)【国際公開日】2024-05-10
【審査請求日】2024-08-20
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】谷▲高▼ 竜馬
【審査官】渡辺 慶人
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０００３７２３（ＵＳ，Ａ１）
【文献】特表２０２２－５２４２６２（ＪＰ，Ａ）
【文献】特表２０２１－５３６０６８（ＪＰ，Ａ）
【文献】国際公開第２０２１／０３３２４９（ＷＯ，Ａ１）
【文献】特開２０２１－０５６９０４（ＪＰ，Ａ）
【文献】特表２０１９－５３６０３５（ＪＰ，Ａ）
【文献】特開２０１０－０５５３２５（ＪＰ，Ａ）
【文献】中国特許出願公開第１１２４３４６３７（ＣＮ，Ａ）
【文献】HUANG, Jing et al.，Vehicle detection in urban point clouds with orthogonal-view convolutional neural network，2016 IEEE International Conference on Image Processing (ICIP)，米国，IEEE，2016年08月19日，Pages: 2593-2597，インターネット: <URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7532828><DOI: 10.1109/ICIP.2016.7532828>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／００ － ７／６４
１３／００ － １７／９５
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０１Ｃ ３／００ － ３／３２
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
３０／４１８
４０／１６
４０／２０
(57)【特許請求の範囲】
【請求項1】
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
を備えた点群識別装置。
【請求項2】
前記回転不変変換部は、前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする請求項１に記載の点群識別装置。
【請求項3】
前記推論部は、前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする請求項２に記載の点群識別装置。
【請求項4】
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
前記分類結果を用いて前記モデルを評価する評価部と、
前記評価部による評価結果を用いて前記モデルを更新するモデル更新部と、
を備えた学習装置。
【請求項5】
前記回転不変変換部は、前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする請求項４に記載の学習装置。
【請求項6】
前記推論部は、前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする請求項５に記載の学習装置。
【請求項7】
点群識別装置により実行される点群識別方法であって、
前記点群識別装置の点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
前記点群識別装置のモデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
前記点群識別装置の回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
前記点群識別装置の推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
前記点群識別装置の結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
を備えた点群識別方法。
【請求項8】
学習装置による学習方法であって、
前記学習装置の点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
前記学習装置のモデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
前記学習装置の回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
前記学習装置の推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
前記学習装置の結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
前記学習装置の評価部が、前記分類結果を用いて前記モデルを評価する評価ステップと、
前記学習装置のモデル更新部が、前記評価部による評価結果を用いて前記モデルを更新するモデル更新ステップと、
を備えた学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示技術は、点群情報に示される点群を識別するための点群識別技術に関する。
【背景技術】
【0002】
例えばＬｉＤＡＲまたはレーダといったセンサによる検知結果は、多数の点を含む点群情報の形式で示される場合がある。このような点群情報に示される点群の特徴を抽出する技術がある。特許文献１には、点群の特徴を表現する特徴表現装置が開示されている。具体的には、特許文献１の特徴表現装置は、３次元点群データ（点群情報）を特徴表現する特徴表現装置であって、点の集合を、その周辺に設定された空間サンプル点ｓの座標ｓｘ、ｓｙ、ｓｚ及び空間サンプル点ｓから最近傍点までの最近傍距離φ（ｓ）を示す距離場に変換する距離場変換部と、空間サンプル点ｓの座標ｓｘ、ｓｙ、ｓｚと最近傍距離φ（ｓ）からなる行列Ｍの特異値分解をして標準座標系への変換を取得する正準投影部と、標準座標系に変換された空間サンプル点ｓの座標Ｌｉｎを入力とし、最近傍距離φ（ｓ）を出力とするエクストリームラーニングマシーンを訓練して、その重みβを３次元点群データの特徴ベクトルとして出力するパラメータ化部とを備えている。
特許文献１の特徴表現装置は、例えば点群とこれを回転させた点群とを、その周辺に設定した空間サンプル点との最近傍距離を用いて位置合わせさせるように構成されている。
特許文献１の特徴表現装置は、例えば点群とこれを回転させた点群とを、その周辺に設定した空間サンプル点との最近傍距離を用いて位置合わせさせるように構成されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１３３５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の特徴表現装置は、点群によっては点群と空間サンプル点との最近傍距離を用いた位置合わせの際に誤差が発生し、同じ形状の点群を異なる形状の点群に識別してしまう場合があり、点群を識別する精度が低い傾向がある、といった課題があった。
【0005】
本開示は、上記課題を解決するもので、点群を識別する精度を向上させる、ことを目的とする。
【課題を解決するための手段】
【0006】
本開示の点群識別装置は、
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
を備えた。
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
を備えた。
【発明の効果】
【0007】
本開示によれば、点群を識別する精度を向上させる、ことができる、という効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本開示をより詳細に説明するために、本開示の実施の形態について、添付の図面に従って説明する。
【0010】
実施の形態１．
実施の形態１においては、点群識別装置の形態を説明する。
実施の形態１においては、点群識別装置の形態を説明する。
【0011】
図１は、実施の形態１に係る点群識別装置３００を含む点群識別システム１の構成の一例を示す図である。
図２は、点群識別装置３００における回転不変変換部３３０の構成の一例を示す図である。
図３は、点群識別装置３００の処理の一例を示すフローチャートである。
図４は、点群識別装置３００の処理における回転不変変換処理の具体的一例を示すフローチャートである。
図５は、点群１１００，１２００の回転を説明する図である。
図６Ａは、同一形状を示す点群の回転と部分空間２１００，２２００との関係を説明する図である。図６Ｂは、互いに異なる形状を示す点群と部分空間３１００，３２００との関係を説明する図である。
図２は、点群識別装置３００における回転不変変換部３３０の構成の一例を示す図である。
図３は、点群識別装置３００の処理の一例を示すフローチャートである。
図４は、点群識別装置３００の処理における回転不変変換処理の具体的一例を示すフローチャートである。
図５は、点群１１００，１２００の回転を説明する図である。
図６Ａは、同一形状を示す点群の回転と部分空間２１００，２２００との関係を説明する図である。図６Ｂは、互いに異なる形状を示す点群と部分空間３１００，３２００との関係を説明する図である。
【0012】
点群識別装置３００を含む点群識別システム１の構成の一例を説明する。
点群識別システム１は、点群を識別する点群識別装置３００を有するシステムである。
図１に示す点群識別システム１は、点群入力装置１００、記憶装置２００、点群識別装置、および、結果出力装置９００、を含み構成されている。
点群識別システム１は、点群を識別する点群識別装置３００を有するシステムである。
図１に示す点群識別システム１は、点群入力装置１００、記憶装置２００、点群識別装置、および、結果出力装置９００、を含み構成されている。
【0013】
点群入力装置１００は、例えば図示しないセンサから点群情報（点群データ）を取り込み、点群情報を点群識別装置３００へ出力する。
図示しないセンサは、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）またはレーダである。
点群情報は、図示しないセンサにより検出された位置座標または特徴を表す複数（Ｎ≧２）の点を示す。
点群情報は、点群に含まれる各点を、例えばｋ（ｋ≧２）次元における座標値の形式で表す。
図示しないセンサは、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）またはレーダである。
点群情報は、図示しないセンサにより検出された位置座標または特徴を表す複数（Ｎ≧２）の点を示す。
点群情報は、点群に含まれる各点を、例えばｋ（ｋ≧２）次元における座標値の形式で表す。
【0014】
記憶装置２００は、記憶部２１０を含み構成されている。
記憶部２１０は、点群を識別する識別処理に用いられる情報を持つ。具体的には、記憶部２１０は、例えば、識別用のモデルとしての学習パラメータを持つ。
記憶部２１０は、点群を識別する識別処理に用いられる情報を持つ。具体的には、記憶部２１０は、例えば、識別用のモデルとしての学習パラメータを持つ。
【0015】
点群識別装置３００は、ｋ次元点群識別において、学習済みモデルを用いて点群を識別する。学習済みモデルは、例えば実施の形態２のように適宜学習されるモデルを含む。
ｋ次元点群識別とは、ｋ次元に表現される点群を示す点群データを、例えば点群の形状などの特徴に基づいてクラス識別することである。
点群識別装置３００の構成例を説明する。
点群識別装置３００は、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、および、結果出力部３５０、を含み構成されている。
ｋ次元点群識別とは、ｋ次元に表現される点群を示す点群データを、例えば点群の形状などの特徴に基づいてクラス識別することである。
点群識別装置３００の構成例を説明する。
点群識別装置３００は、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、および、結果出力部３５０、を含み構成されている。
【0016】
モデル取得部３１０は、学習パラメータを持つモデルを取得する。
学習パラメータは、学習装置により学習済みのパラメータであり、点群を識別する際に用いられるパラメータである。
学習パラメータは、学習装置により学習済みのパラメータであり、点群を識別する際に用いられるパラメータである。
【0017】
点群取得部３２０は、Ｎ点のｋ次元点群情報を取得する。
具体的には、点群取得部３２０は、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。
具体的には、点群取得部３２０は、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。
【0018】
回転不変変換部３３０は、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
回転不変特徴とは、点群を回転させたとしても影響を受けないような点群の形状に固有の特徴である。
回転不変特徴とは、点群を回転させたとしても影響を受けないような点群の形状に固有の特徴である。
【0019】
推論部３４０は、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。
具体的には、推論部３４０は、例えば、回転不変特徴およびモデルを用いて点群の特徴を示す点群特徴を算出し、点群特徴を用いて点群を識別する。点群特徴は、点群の各カテゴリに固有の特徴であって、点群をクラス分類するために有効な特徴を示す。点群特徴は、例えば動物の種類で識別される場合、馬の点群で１つのカテゴリ、鳥の点群で１つのカテゴリといったように識別できるような特徴である。
また、推論部３４０は、点群の形状を抽出し、点群の形状の中から物体固有の情報を抽出するためのフィルタを用いる方法で点群を識別するように構成してもよい。この場合、推論部３４０は、例えば、馬と鳥とを識別する場合、頭の形状、足の数、羽の有無、嘴の有無等を特徴として抽出するようにフィルタを設計しておき、当該フィルタを用いて点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
具体的には、推論部３４０は、例えば、回転不変特徴およびモデルを用いて点群の特徴を示す点群特徴を算出し、点群特徴を用いて点群を識別する。点群特徴は、点群の各カテゴリに固有の特徴であって、点群をクラス分類するために有効な特徴を示す。点群特徴は、例えば動物の種類で識別される場合、馬の点群で１つのカテゴリ、鳥の点群で１つのカテゴリといったように識別できるような特徴である。
また、推論部３４０は、点群の形状を抽出し、点群の形状の中から物体固有の情報を抽出するためのフィルタを用いる方法で点群を識別するように構成してもよい。この場合、推論部３４０は、例えば、馬と鳥とを識別する場合、頭の形状、足の数、羽の有無、嘴の有無等を特徴として抽出するようにフィルタを設計しておき、当該フィルタを用いて点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
【0020】
結果出力部３５０は、推論部３４０の識別による分類結果を出力する。
具体的には、結果出力部３５０は、分類結果を結果出力装置９００へ出力する。
具体的には、結果出力部３５０は、分類結果を結果出力装置９００へ出力する。
【0021】
回転不変変換部３３０の内部構成の一例を説明する。
図２に示す回転不変変換部３３０は、直交化層部３３１、および、射影層部３３２、を含み構成されている。
図２に示す回転不変変換部３３０は、直交化層部３３１、および、射影層部３３２、を含み構成されている。
【0022】
直交化層部３３１は、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。
【0023】
直交化層部３３１は、例えば以下の方法で直交化処理を行う。
Ｎ（Ｎ≧２）個の点Ｎ点をｋ（ｋ≧２）次元で示す点群データ（ｋ次元点群データ）に示される点群Ｐは、例えば式（１）に示すように、Ｎ×ｋの行列で表されるものとする。この場合、点群Ｐにおける各点はそれぞれ、式（１）に示すように、ＰＮ１、・・・、ＰＮｋといったｋ個の座標値を用いて表現される。
点群Ｐは、重心が座標の原点に並進移動されているとする。
直交化層部３３１は、ｋ個の座標毎に基底ベクトルを計算する。
直交化層部３３１は、ｋ本の前記基底ベクトルがそれぞれ直交するように変換するために、点群Ｐに対して式（２）に示すように直交化ｏｒｔｈを施す。
直交化層部３３１は、直交化ｏｒｔｈにより、正規直交基底行列Ｘを得る。
直交化ｏｒｔｈは、具体的には、グラムシュミットの直交化法Ｘ＝ＧｒａｍＳｃｈｍｉｔ（Ｐ）を用いてもよいし、ＱＲ分解（Ｘ，ｒ＝ＱＲ（Ｐ））を用いても良いし、特異値分解（Ｘ，σ，ＶＴ＝ＳＶＤ（Ｐ））を用いても良いし、固有値分解（Ｘ，Λ＝ＥＩＧ（Ｐ））を用いても良い。
ｏｒｔｈ（Ｐ）＝Ｘ， ｓ．ｔ．ＸＴＸ＝I_k ・・・（２）
式（２）において、「Ｉｋ」は、ｋ×ｋの単位行列を表す。
Ｎ（Ｎ≧２）個の点Ｎ点をｋ（ｋ≧２）次元で示す点群データ（ｋ次元点群データ）に示される点群Ｐは、例えば式（１）に示すように、Ｎ×ｋの行列で表されるものとする。この場合、点群Ｐにおける各点はそれぞれ、式（１）に示すように、ＰＮ１、・・・、ＰＮｋといったｋ個の座標値を用いて表現される。
点群Ｐは、重心が座標の原点に並進移動されているとする。
直交化層部３３１は、ｋ個の座標毎に基底ベクトルを計算する。
直交化層部３３１は、ｋ本の前記基底ベクトルがそれぞれ直交するように変換するために、点群Ｐに対して式（２）に示すように直交化ｏｒｔｈを施す。
直交化層部３３１は、直交化ｏｒｔｈにより、正規直交基底行列Ｘを得る。
直交化ｏｒｔｈは、具体的には、グラムシュミットの直交化法Ｘ＝ＧｒａｍＳｃｈｍｉｔ（Ｐ）を用いてもよいし、ＱＲ分解（Ｘ，ｒ＝ＱＲ（Ｐ））を用いても良いし、特異値分解（Ｘ，σ，ＶＴ＝ＳＶＤ（Ｐ））を用いても良いし、固有値分解（Ｘ，Λ＝ＥＩＧ（Ｐ））を用いても良い。
ｏｒｔｈ（Ｐ）＝Ｘ， ｓ．ｔ．ＸＴＸ＝I_k ・・・（２）
式（２）において、「Ｉｋ」は、ｋ×ｋの単位行列を表す。
【0024】
射影層部３３２は、正規直交基底行列およびモデルを用いて回転不変特徴を示す射影行列を算出する。
射影層部３３２は、直交化層部３３１により得た正規直交基底行列からｋ次元回転不変な特徴（回転不変特徴）である射影行列Ｍを抽出する。
射影行列Ｍは、以下の式（３）を用いて算出される。
Ｍ＝ＸＸＴ ・・・（３）
ここで、正規直交基底行列Ｘをｋ次元回転（回転Ｒ）させた行列ＸＲを用いて射影行列を計算すると、以下の式（４）が成り立つ。
ＸＲ（ＸＲ）Ｔ＝ＸＸＴ＝Ｍ ・・・（４）
このことから、射影行列Ｍは回転Ｒに不変（回転不変）である。
射影層部３３２は、以下の式（５）のように射影行列Ｍに対してモデルに含まれる学習パラメータＷを乗じた行列「Ｙ」を算出して出力する。式（５）に示す学習パラメータＷは、本開示において、幾何学的に意味がある第１の重みを示し、学習によって最終的に定数になるようなパラメータである。
Ｙ＝ＭＷ ・・・（５）
射影行列Ｍは、幾何学的には射影行列Ｍが張る空間への射影行列である。
式（５）に示す「Ｙ」は、射影行列Ｍに右から「Ｗ」を掛けることにより、「Ｍ」が張る空間へ「Ｗ」を射影した場合の点群（形状）を示す。これにより、「Ｙ」は、幾何学的に回転に依らない形状情報になり、回転不変特徴を示すことになる。
そして、これを用いることで、射影層部３３２は、後述する図６Ａおよび図６Ｂの説明のように、回転前の点群Ｐ（正規直交基底行列Ｘ）と回転後の点群ＰＲ（正規直交基底行列ＸＲ）からは、同一の「Ｙ」を得ることができる。
一方で、射影層部３３２は、異なる形状の点群Ｐ１（正規直交基底行列Ｘ１）と点群Ｐ２（正規直交基底行列Ｘ２）からはそれぞれ異なる「Ｙ」、「Ｙ＿ｈａｔ」（これは式（５）により得られる「Ｙ」が異なるということを示している。）を得ることができる。
射影層部３３２は、直交化層部３３１により得た正規直交基底行列からｋ次元回転不変な特徴（回転不変特徴）である射影行列Ｍを抽出する。
射影行列Ｍは、以下の式（３）を用いて算出される。
Ｍ＝ＸＸＴ ・・・（３）
ここで、正規直交基底行列Ｘをｋ次元回転（回転Ｒ）させた行列ＸＲを用いて射影行列を計算すると、以下の式（４）が成り立つ。
ＸＲ（ＸＲ）Ｔ＝ＸＸＴ＝Ｍ ・・・（４）
このことから、射影行列Ｍは回転Ｒに不変（回転不変）である。
射影層部３３２は、以下の式（５）のように射影行列Ｍに対してモデルに含まれる学習パラメータＷを乗じた行列「Ｙ」を算出して出力する。式（５）に示す学習パラメータＷは、本開示において、幾何学的に意味がある第１の重みを示し、学習によって最終的に定数になるようなパラメータである。
Ｙ＝ＭＷ ・・・（５）
射影行列Ｍは、幾何学的には射影行列Ｍが張る空間への射影行列である。
式（５）に示す「Ｙ」は、射影行列Ｍに右から「Ｗ」を掛けることにより、「Ｍ」が張る空間へ「Ｗ」を射影した場合の点群（形状）を示す。これにより、「Ｙ」は、幾何学的に回転に依らない形状情報になり、回転不変特徴を示すことになる。
そして、これを用いることで、射影層部３３２は、後述する図６Ａおよび図６Ｂの説明のように、回転前の点群Ｐ（正規直交基底行列Ｘ）と回転後の点群ＰＲ（正規直交基底行列ＸＲ）からは、同一の「Ｙ」を得ることができる。
一方で、射影層部３３２は、異なる形状の点群Ｐ１（正規直交基底行列Ｘ１）と点群Ｐ２（正規直交基底行列Ｘ２）からはそれぞれ異なる「Ｙ」、「Ｙ＿ｈａｔ」（これは式（５）により得られる「Ｙ」が異なるということを示している。）を得ることができる。
【0025】
図２に示す回転不変変換部３３０は、例えば上記のようにして、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータおよびモデル（第１の重みを示す学習パラメータＷ）を用いて回転不変特徴を算出する。
【0026】
回転不変変換部３３０が上記のように構成されている場合、推論部３４０は、回転不変特徴を示す射影行列およびモデルを用いて点群情報に示される点群を識別する。
【0027】
推論部３４０の内部構成の一例を説明する。
推論部３４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。具体的には、点群のクラス識別を行う。
推論部３４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。具体的には、点群のクラス識別を行う。
【0028】
推論部３４０により構築される点群特徴を図５および図６を用いて説明する。
まず、点群の回転について説明する。
図５における〇（白丸）点群１１００は回転前の２次元点群Ｘ、●（黒丸）点群１２００は回転後の２次元点群ＸＲ（π）を表す。
図５における２次元点群Ｘは、ｘ１１が－０．５、ｘ１２が－１．６２５、ｘ２１が０．５、ｘ２２が－０．６２５、ｘ３１が－１．５、ｘ３２が３．３７５、ｘ４１が１．５、ｘ４２が－１．１２５、である行列Ｘで表されるものを示している。
図５における２次元点群ＸＲ（π）は、ｘｒ１１が０．５、ｘｒ１２が１．６２５、ｘｒ２１が－０．５、ｘｒ２２が０．６２５、ｘｒ３１が１．５、ｘｒ３２が－３．３７５、ｘｒ４１が－１．５、ｘｒ４２が１．１２５、である行列ＸＲ（π）で表されるものを示している。
図５に示すように、点群データに対して回転を施した場合、位置座標が変化するため、回転前と回転後では数値データとして異なる情報となる。
回転したことで〇（白丸点）群と●（黒丸点）群は異なる座標値で表現されているが、点群に示される物体は回転前と回転後で、座標が変化したとしても物体としては同じであるため、回転させた点群であっても、本質的な情報を変化させないようにして、同じ精度（同一カテゴリの物体）で識別できるようにした。
まず、点群の回転について説明する。
図５における〇（白丸）点群１１００は回転前の２次元点群Ｘ、●（黒丸）点群１２００は回転後の２次元点群ＸＲ（π）を表す。
図５における２次元点群Ｘは、ｘ１１が－０．５、ｘ１２が－１．６２５、ｘ２１が０．５、ｘ２２が－０．６２５、ｘ３１が－１．５、ｘ３２が３．３７５、ｘ４１が１．５、ｘ４２が－１．１２５、である行列Ｘで表されるものを示している。
図５における２次元点群ＸＲ（π）は、ｘｒ１１が０．５、ｘｒ１２が１．６２５、ｘｒ２１が－０．５、ｘｒ２２が０．６２５、ｘｒ３１が１．５、ｘｒ３２が－３．３７５、ｘｒ４１が－１．５、ｘｒ４２が１．１２５、である行列ＸＲ（π）で表されるものを示している。
図５に示すように、点群データに対して回転を施した場合、位置座標が変化するため、回転前と回転後では数値データとして異なる情報となる。
回転したことで〇（白丸点）群と●（黒丸点）群は異なる座標値で表現されているが、点群に示される物体は回転前と回転後で、座標が変化したとしても物体としては同じであるため、回転させた点群であっても、本質的な情報を変化させないようにして、同じ精度（同一カテゴリの物体）で識別できるようにした。
【0029】
これに関し、推論部３４０による射影行列Ｍに基づく特徴構築は、幾何学的に図６で説明することが出来る。
正規直交基底行列Ｘは、以下の式（６）のように、Ｎ点それぞれのｋ本の基底ベクトルを並べた行列である。
この正規直交基底行列ＸはＮ次元空間内のｋ次元部分空間ｓｐａｎＸを張る。すなわち、部分空間ｓｐａｎＸは、正規直交基底行列Ｘにより生成される空間である。
図６Ａにおいて、部分空間２１００（ｓｐａｎＸ）は、点群Ｐから得られた正規直交基底行列Ｘの列空間を表す。図６Ａにおける正規直交基底行列Ｘは、ｘ１１が－０．５、ｘ１２が－１．６２５、ｘ２１が０．５、ｘ２２が－０．６２５、ｘ３１が－１．５、ｘ３２が３．３７５、ｘ４１が１．５、ｘ４２が－１．１２５、であるものを示している。
図６Ａにおいて、部分空間２２００（ｓｐａｎＸＲ）は、点群ＰＲから得られた正規直交基底行列ＸＲの列空間を表す。図６Ａにおける正規直交基底行列ＸＲ（π）は、ｘｒ１１が０．５、ｘｒ１２が１．６２５、ｘｒ２１が－０．５、ｘｒ２２が０．６２５、ｘｒ３１が１．５、ｘｒ３２が－３．３７５、ｘｒ４１が－１．５、ｘｒ４２が１．１２５、であるものを示している。
正規直交基底行列Ｘと正規直交基底行列ＸＲとは、同一形状の点群から生成された正規直交基底行列である。この場合、部分空間２１００（ｓｐａｎＸ）と部分空間２２００（ｓｐａｎＸＲ）とは一致している。
図６Ｂにおいて、部分空間３１００（ｓｐａｎＸ１）は、点群Ｐ１から得られた正規直交基底行列Ｘ１の列空間を表す。図６Ｂにおける正規直交基底行列Ｘ１は、ｘ１１１が－０．５、ｘ１１２が－１．６２５、ｘ１２１が０．５、ｘ１２２が－０．６２５、ｘ１３１が－１．５、ｘ１３２が３．３７５、ｘ１４１が１．５、ｘ１４２が－１．１２５、であるものを示している。
図６Ｂにおいて、部分空間３２００（ｓｐａｎＸ２）は、点群Ｐ２から得られた正規直交基底行列Ｘ２の列空間を表す。図６Ｂにおける正規直交基底行列Ｘ２は、ｘ２１１が－４．６７６、ｘ２１２が３．１４１９６１５、ｘ２２１が３．８９２、ｘ２２２が５．１４１９６１５、ｘ２３１が１．８９２、ｘ２３２が－７．４２５８８４５、ｘ２４１が－１．１０８、ｘ２４２が－０．８５８０３８５、であるものを示している。
正規直交基底行列Ｘ１と正規直交基底行列Ｘ２とは、互いに異なる形状を示す点群から生成された正規直交基底行列である。この場合、部分空間３１００（ｓｐａｎＸ１）と部分空間３２００（ｓｐａｎＸ２）とは一致していない。
このことを利用して、推論部３４０においては、点群ごとの正規直交基底行列を用いて点群の識別に有効な特徴である点群特徴を抽出する。
正規直交基底行列Ｘは、以下の式（６）のように、Ｎ点それぞれのｋ本の基底ベクトルを並べた行列である。
この正規直交基底行列ＸはＮ次元空間内のｋ次元部分空間ｓｐａｎＸを張る。すなわち、部分空間ｓｐａｎＸは、正規直交基底行列Ｘにより生成される空間である。
図６Ａにおいて、部分空間２１００（ｓｐａｎＸ）は、点群Ｐから得られた正規直交基底行列Ｘの列空間を表す。図６Ａにおける正規直交基底行列Ｘは、ｘ１１が－０．５、ｘ１２が－１．６２５、ｘ２１が０．５、ｘ２２が－０．６２５、ｘ３１が－１．５、ｘ３２が３．３７５、ｘ４１が１．５、ｘ４２が－１．１２５、であるものを示している。
図６Ａにおいて、部分空間２２００（ｓｐａｎＸＲ）は、点群ＰＲから得られた正規直交基底行列ＸＲの列空間を表す。図６Ａにおける正規直交基底行列ＸＲ（π）は、ｘｒ１１が０．５、ｘｒ１２が１．６２５、ｘｒ２１が－０．５、ｘｒ２２が０．６２５、ｘｒ３１が１．５、ｘｒ３２が－３．３７５、ｘｒ４１が－１．５、ｘｒ４２が１．１２５、であるものを示している。
正規直交基底行列Ｘと正規直交基底行列ＸＲとは、同一形状の点群から生成された正規直交基底行列である。この場合、部分空間２１００（ｓｐａｎＸ）と部分空間２２００（ｓｐａｎＸＲ）とは一致している。
図６Ｂにおいて、部分空間３１００（ｓｐａｎＸ１）は、点群Ｐ１から得られた正規直交基底行列Ｘ１の列空間を表す。図６Ｂにおける正規直交基底行列Ｘ１は、ｘ１１１が－０．５、ｘ１１２が－１．６２５、ｘ１２１が０．５、ｘ１２２が－０．６２５、ｘ１３１が－１．５、ｘ１３２が３．３７５、ｘ１４１が１．５、ｘ１４２が－１．１２５、であるものを示している。
図６Ｂにおいて、部分空間３２００（ｓｐａｎＸ２）は、点群Ｐ２から得られた正規直交基底行列Ｘ２の列空間を表す。図６Ｂにおける正規直交基底行列Ｘ２は、ｘ２１１が－４．６７６、ｘ２１２が３．１４１９６１５、ｘ２２１が３．８９２、ｘ２２２が５．１４１９６１５、ｘ２３１が１．８９２、ｘ２３２が－７．４２５８８４５、ｘ２４１が－１．１０８、ｘ２４２が－０．８５８０３８５、であるものを示している。
正規直交基底行列Ｘ１と正規直交基底行列Ｘ２とは、互いに異なる形状を示す点群から生成された正規直交基底行列である。この場合、部分空間３１００（ｓｐａｎＸ１）と部分空間３２００（ｓｐａｎＸ２）とは一致していない。
このことを利用して、推論部３４０においては、点群ごとの正規直交基底行列を用いて点群の識別に有効な特徴である点群特徴を抽出する。
【0030】
推論部３４０は、例えば、以下の式（７）を用いて点群特徴Ｚを抽出する。
Ｚ＝Φ（Ｘ）＝σ（ＷＹ）＋Ｂ ・・・（７）
式（７）において、「Ｙ」は、式（５）に示したように、射影行列Ｍに第１の重みを示すパラメータＷを乗じたものである。
式（７）においては、学習パラメータＷは、重み（第２の重み）を示し、学習パラメータＢ（第２の学習パラメータ）は、バイアスを示す。
式（７）は、特徴抽出器としての特徴抽出関数Φが学習パラメータ（第１の重みを示すパラメータＷ、第２の重みを示すパラメータＷ、および、バイアスを示すパラメータＢ）および非線形変換のための非線形変換関数σを持ち、この特徴抽出関数Φに正規直交基底行列Ｘを入力することで点群特徴Ｚを抽出することを示している。
式（７）においてΦ（Ｘ）により点群特徴Ｚを抽出することは、正規直交基底行列Ｘが張る部分空間ｓｐａｎＸ（部分空間２１００）へ直交射影を行うことに相当する。
部分空間ｓｐａｎＸ（部分空間２１００）および部分空間ｓｐａｎＸＲ（部分空間２２００）への直交射影は、これら部分空間が一致することからパラメータＷを同一の座標へ射影することになる。これは、点群形状固有の回転不変な特徴を抽出することに相当する。
一方、部分空間ｓｐａｎＸ１（部分空間３１００）および部分空間ｓｐａｎＸ２（部分空間３２００）への直交射影は、これら部分空間が一致しないことからパラメータＷを異なる座標へ射影することになる。
このように、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別することができる。
なお、説明において、推論部３４０は、射影層部３３２が射影行列（射影行列Ｍ）に対してモデルに含まれる学習パラメータ（第１の重みを示すパラメータＷ）を乗じた「Ｙ」を算出して出力したものを受け取る構成であるが、推論部３４０において射影行列（射影行列Ｍ）に対してモデルに含まれる学習パラメータ（第１の重みを示すパラメータＷ）を乗じるように構成しても同様である。このように構成されている場合、射影層部３３２は、射影行列Ｍのまま出力する。
Ｚ＝Φ（Ｘ）＝σ（ＷＹ）＋Ｂ ・・・（７）
式（７）において、「Ｙ」は、式（５）に示したように、射影行列Ｍに第１の重みを示すパラメータＷを乗じたものである。
式（７）においては、学習パラメータＷは、重み（第２の重み）を示し、学習パラメータＢ（第２の学習パラメータ）は、バイアスを示す。
式（７）は、特徴抽出器としての特徴抽出関数Φが学習パラメータ（第１の重みを示すパラメータＷ、第２の重みを示すパラメータＷ、および、バイアスを示すパラメータＢ）および非線形変換のための非線形変換関数σを持ち、この特徴抽出関数Φに正規直交基底行列Ｘを入力することで点群特徴Ｚを抽出することを示している。
式（７）においてΦ（Ｘ）により点群特徴Ｚを抽出することは、正規直交基底行列Ｘが張る部分空間ｓｐａｎＸ（部分空間２１００）へ直交射影を行うことに相当する。
部分空間ｓｐａｎＸ（部分空間２１００）および部分空間ｓｐａｎＸＲ（部分空間２２００）への直交射影は、これら部分空間が一致することからパラメータＷを同一の座標へ射影することになる。これは、点群形状固有の回転不変な特徴を抽出することに相当する。
一方、部分空間ｓｐａｎＸ１（部分空間３１００）および部分空間ｓｐａｎＸ２（部分空間３２００）への直交射影は、これら部分空間が一致しないことからパラメータＷを異なる座標へ射影することになる。
このように、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別することができる。
なお、説明において、推論部３４０は、射影層部３３２が射影行列（射影行列Ｍ）に対してモデルに含まれる学習パラメータ（第１の重みを示すパラメータＷ）を乗じた「Ｙ」を算出して出力したものを受け取る構成であるが、推論部３４０において射影行列（射影行列Ｍ）に対してモデルに含まれる学習パラメータ（第１の重みを示すパラメータＷ）を乗じるように構成しても同様である。このように構成されている場合、射影層部３３２は、射影行列Ｍのまま出力する。
【0031】
結果出力装置９００は、点群識別装置３００から出力された点群の分類結果を受けて出力する。結果出力装置９００は、点群の分類結果を用いる装置であればよく、例えば単に結果を表示する表示装置であってもよいし、車両の自動運転に係る制御装置であってもよい。
【0032】
点群識別装置３００の処理を、図３および図４を用いて説明する。
点群識別装置３００は、処理を開始すると、モデル取得処理（ステップＳＴ１１０）を実行する。
具体的には、点群識別装置３００におけるモデル取得部３１０は、記憶装置２００の記憶部２１０から、学習パラメータを持つモデルを取得する。モデル取得部３１０は、学習パラメータを持つモデルを出力する。
点群識別装置３００は、処理を開始すると、モデル取得処理（ステップＳＴ１１０）を実行する。
具体的には、点群識別装置３００におけるモデル取得部３１０は、記憶装置２００の記憶部２１０から、学習パラメータを持つモデルを取得する。モデル取得部３１０は、学習パラメータを持つモデルを出力する。
【0033】
点群識別装置３００は、点群取得処理（ステップＳＴ１２０）を実行する。
具体的には、点群識別装置３００における点群取得部３２０は、点群入力装置１００から、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。点群取得部３２０は、取得した点群情報を出力する。
具体的には、点群識別装置３００における点群取得部３２０は、点群入力装置１００から、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。点群取得部３２０は、取得した点群情報を出力する。
【0034】
点群識別装置３００は、回転不変変換処理（ステップＳＴ１３０）を実行する。
具体的には、点群識別装置３００における回転不変変換部３３０は、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
具体的には、点群識別装置３００における回転不変変換部３３０は、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
【0035】
回転不変変換処理の具体的一例を説明する。
回転不変変換部３３０は、回転不変変換処理を開始すると、図４に示すように、直交化処理（ステップＳＴ１３１）を実行する。
具体的には、回転不変変換部３３０における直交化層部３３１は、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。
直交化層部３３１は、例えばグラムシュミットの直交化法、ＱＲ分解、特異値分解、または、固有値分解、を用いて、基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。直交化層部３３１は、正規直交基底行列を出力する。
回転不変変換部３３０は、回転不変変換処理を開始すると、図４に示すように、直交化処理（ステップＳＴ１３１）を実行する。
具体的には、回転不変変換部３３０における直交化層部３３１は、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。
直交化層部３３１は、例えばグラムシュミットの直交化法、ＱＲ分解、特異値分解、または、固有値分解、を用いて、基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。直交化層部３３１は、正規直交基底行列を出力する。
【0036】
回転不変変換部３３０は、射影処理（ステップＳＴ１３２）を実行する。
具体的には、回転不変変換部３３０における射影層部３３２は、直交化層部３３１から、正規直交基底行列を取得する。射影層部３３２は、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。射影層部３３２は、モデル取得部３１０からモデルを取得し、当該モデルに含まれる学習パラメータ（第１の重みを示す学習パラメータＷ）を射影行列（射影行列Ｍ）に乗じて出力する。
具体的には、回転不変変換部３３０における射影層部３３２は、直交化層部３３１から、正規直交基底行列を取得する。射影層部３３２は、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。射影層部３３２は、モデル取得部３１０からモデルを取得し、当該モデルに含まれる学習パラメータ（第１の重みを示す学習パラメータＷ）を射影行列（射影行列Ｍ）に乗じて出力する。
【0037】
点群識別装置３００は、推論処理（ステップＳＴ１４０）を実行する。
具体的には、点群識別装置３００における推論部３４０は、まず、射影層部３３２から射影行列を取得し、モデル取得部３１０からモデル（第２の重みを示す学習パラメータＷ、および、バイアスを示す学習パラメータＢ）を取得する。推論部３４０は、次いで、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。さらに具体的には、推論部３４０は、上述したように、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
なお、回転不変変換部３３０における射影層部３３２が射影行列に学習パラメータ（パラメータＷ）を乗じないで出力するように構成されている場合、推論部３４０において射影行列に学習パラメータ（パラメータＷ）を乗じる。
具体的には、点群識別装置３００における推論部３４０は、まず、射影層部３３２から射影行列を取得し、モデル取得部３１０からモデル（第２の重みを示す学習パラメータＷ、および、バイアスを示す学習パラメータＢ）を取得する。推論部３４０は、次いで、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。さらに具体的には、推論部３４０は、上述したように、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
なお、回転不変変換部３３０における射影層部３３２が射影行列に学習パラメータ（パラメータＷ）を乗じないで出力するように構成されている場合、推論部３４０において射影行列に学習パラメータ（パラメータＷ）を乗じる。
【0038】
点群識別装置３００は、結果出力処理（ステップＳＴ１５０）を実行する。
具体的には、点群識別装置３００における結果出力部３５０は、推論部３４０の識別による分類結果を結果出力装置９００へ出力する。
具体的には、点群識別装置３００における結果出力部３５０は、推論部３４０の識別による分類結果を結果出力装置９００へ出力する。
【0039】
点群識別装置３００は、一連の処理を終了するかを判定する（ステップＳＴ１６０）。
点群識別装置３００は、処理を終了しないと判定した場合（ステップＳＴ１６０“ＮＯ”）、ステップＳＴ１１０の処理に移行し、ステップＳＴ１１０からの処理を繰り返す。
点群識別装置３００は、処理を終了すると判定した場合（ステップＳＴ１６０“ＹＥＳ”）、処理を終了する。
点群識別装置３００は、処理を終了しないと判定した場合（ステップＳＴ１６０“ＮＯ”）、ステップＳＴ１１０の処理に移行し、ステップＳＴ１１０からの処理を繰り返す。
点群識別装置３００は、処理を終了すると判定した場合（ステップＳＴ１６０“ＹＥＳ”）、処理を終了する。
【0040】
本開示の点群識別装置の効果の一例について説明する。
例えば自動運転技術においては、車両の周辺環境を把握するために、点群データを用いて周辺の他車両および障害物を識別する。この場合、点群データをリアルタイムに処理し、点群を識別することにより、自動運転装置において、前方車両との衝突を避けるための存在確認、あるいは、前方に放置された障害物、瓦礫等を把握できるようにする。この際に、点群を様々な視点から見た場合の状態を認識するために点群を回転させる場合があり、従来、回転によるデータ拡張や姿勢合わせ等の処理が別途必要であった。
これに対し、本開示においては、上述したように、点群データを正規直交基底ベクトルで表現し、さらに１つの部分空間として扱い、その射影行列をデータとして扱うことで回転不変性を獲得する構成を示した。本開示においては、点群が回転不変なデータとして表現されるので、単一の姿勢のみを学習させればあらゆる姿勢に対して学習させたことと等価となり、あらゆる回転にロバストな識別モデルを獲得することが可能になるため、学習が効率化できるだけでなく、回転前と回転後で同じ識別精度を得ることが出来る。
例えば自動運転技術においては、車両の周辺環境を把握するために、点群データを用いて周辺の他車両および障害物を識別する。この場合、点群データをリアルタイムに処理し、点群を識別することにより、自動運転装置において、前方車両との衝突を避けるための存在確認、あるいは、前方に放置された障害物、瓦礫等を把握できるようにする。この際に、点群を様々な視点から見た場合の状態を認識するために点群を回転させる場合があり、従来、回転によるデータ拡張や姿勢合わせ等の処理が別途必要であった。
これに対し、本開示においては、上述したように、点群データを正規直交基底ベクトルで表現し、さらに１つの部分空間として扱い、その射影行列をデータとして扱うことで回転不変性を獲得する構成を示した。本開示においては、点群が回転不変なデータとして表現されるので、単一の姿勢のみを学習させればあらゆる姿勢に対して学習させたことと等価となり、あらゆる回転にロバストな識別モデルを獲得することが可能になるため、学習が効率化できるだけでなく、回転前と回転後で同じ識別精度を得ることが出来る。
【0041】
本開示の点群識別装置は、以下のように構成した。
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
を備えた点群識別装置。
これにより、本開示は、点群を識別する精度を向上させる、点群識別装置を提供することができる、という効果を奏する。
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
を備えた点群識別装置。
これにより、本開示は、点群を識別する精度を向上させる、点群識別装置を提供することができる、という効果を奏する。
【0042】
本開示の点群識別方法は、以下のように構成した。
点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
モデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
を備えた点群識別方法。
これにより、本開示は、点群を識別する精度を向上させる、点群識別方法を提供することができる、という効果を奏する。
点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
モデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
を備えた点群識別方法。
これにより、本開示は、点群を識別する精度を向上させる、点群識別方法を提供することができる、という効果を奏する。
【0043】
本開示の点群識別装置は、さらに、以下のように構成した。
前記回転不変変換部は、
前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする点群識別装置。
これにより、本開示は、点群の回転不変特徴を効率よく算出できる、点群識別装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記点群識別方法に適用することにより、上記効果と同様の効果を奏する。
前記回転不変変換部は、
前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする点群識別装置。
これにより、本開示は、点群の回転不変特徴を効率よく算出できる、点群識別装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記点群識別方法に適用することにより、上記効果と同様の効果を奏する。
【0044】
本開示の点群識別装置は、さらに、以下のように構成した。
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする点群識別装置。
これにより、本開示は、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別する、点群識別装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記点群識別方法に適用することにより、上記効果と同様の効果を奏する。
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする点群識別装置。
これにより、本開示は、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別する、点群識別装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記点群識別方法に適用することにより、上記効果と同様の効果を奏する。
【0045】
実施の形態２．
実施の形態２は、学習装置の形態を説明する。
実施の形態２においては、既に説明した内容と同一の内容について詳細な説明を適宜省略する。
実施の形態２は、学習装置の形態を説明する。
実施の形態２においては、既に説明した内容と同一の内容について詳細な説明を適宜省略する。
【0046】
図７は、実施の形態２に係る点群学習装置４００を含む点群学習システム２の構成の一例を示す図である。
点群学習システム２は、点群入力装置１００、記憶装置２００Ａ、および、点群学習装置４００、を含み構成されている。
点群入力装置１００は、既に説明した点群入力装置１００と同様であるため、ここでの詳細な説明は省略する。
点群学習システム２は、点群入力装置１００、記憶装置２００Ａ、および、点群学習装置４００、を含み構成されている。
点群入力装置１００は、既に説明した点群入力装置１００と同様であるため、ここでの詳細な説明は省略する。
【0047】
記憶装置２００Ａは、記憶部２１０Ａを含み構成されている。
記憶部２１０Ａは、点群を識別する識別処理に用いられる情報を持つ。具体的には、記憶部２１０Ａは、例えば、識別用のモデルとして学習パラメータを持つ。モデルは、点群学習装置４００により適宜学習されて更新される。
記憶部２１０Ａは、点群を識別する識別処理に用いられる情報を持つ。具体的には、記憶部２１０Ａは、例えば、識別用のモデルとして学習パラメータを持つ。モデルは、点群学習装置４００により適宜学習されて更新される。
【0048】
点群学習装置４００は、ｋ次元点群識別において、回転に不変なモデルを学習し、学習済みモデルを用いて点群を識別する。
ｋ次元点群識別とは、ｋ次元に表現される点群を示す点群データを、例えば点群の形状などの特徴に基づいてクラス識別することである。
ｋ次元点群識別とは、ｋ次元に表現される点群を示す点群データを、例えば点群の形状などの特徴に基づいてクラス識別することである。
【0049】
点群学習装置４００の構成例を説明する。
点群学習装置４００は、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、および、モデル更新部４７０、を含み構成されている。
点群学習装置４００は、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、および、モデル更新部４７０、を含み構成されている。
【0050】
モデル取得部４１０は、学習パラメータを持つモデルを取得する。
学習パラメータは、当該点群学習装置４００により学習済みのパラメータであり、点群を識別する際に用いられるパラメータである。
学習パラメータは、当該点群学習装置４００により学習済みのパラメータであり、点群を識別する際に用いられるパラメータである。
【0051】
点群取得部４２０は、Ｎ点のｋ次元点群情報を取得する。
点群取得部４２０は、既に説明した点群取得部３２０と同様に、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。
点群取得部４２０は、既に説明した点群取得部３２０と同様に、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。
【0052】
回転不変変換部４３０は、既に説明した回転不変変換部３３０と同様に、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
【0053】
推論部４４０は、既に説明した推論部３４０と同様に、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。具体的には、点群のクラス識別を行う。
【0054】
結果出力部４５０は、推論部の識別による分類結果を出力する。
具体的には、結果出力部４５０は、分類結果を評価部４６０へ出力する。
また、結果出力部４５０は、分類結果をさらに外部装置へ出力するように構成してもよい。この場合、外部装置は、例えば実施の形態１に説明した結果出力装置９００であってもよい。
具体的には、結果出力部４５０は、分類結果を評価部４６０へ出力する。
また、結果出力部４５０は、分類結果をさらに外部装置へ出力するように構成してもよい。この場合、外部装置は、例えば実施の形態１に説明した結果出力装置９００であってもよい。
【0055】
評価部４６０は、分類結果を用いてモデルを評価する。
評価部４６０における評価方法は、出力ラベルと正解ラベルの誤差を測る指標であれば様々なものが考えられる。基本的な評価方法としては、例えば、クロスエントロピー誤差関数、または、２乗誤差関数、を使用した評価方法がある。
評価部４６０は、評価結果をモデル更新部４７０へ出力する。
評価部４６０における評価方法は、出力ラベルと正解ラベルの誤差を測る指標であれば様々なものが考えられる。基本的な評価方法としては、例えば、クロスエントロピー誤差関数、または、２乗誤差関数、を使用した評価方法がある。
評価部４６０は、評価結果をモデル更新部４７０へ出力する。
【0056】
モデル更新部４７０は、評価部４６０による評価結果を用いてモデルを更新する。
具体的には、モデル更新部４７０は、記憶装置２００Ａの記憶部２１０Ａに記憶されたモデルとしての学習パラメータを書き換えることにより更新する。
モデル更新部４７０は、例えば、クロスエントロピー誤差関数による評価結果を用いる場合、当該誤差関数の値が最小になる方向へパラメータＷを更新する。関数値が最小になる方向は、当該誤差関数をモデルのパラメータＷで微分した際に関数が減少する勾配の方向である。なお、モデル更新部４７０は、このとき、誤差関数の値が収束するまで更新する、または、予め定められた条件を満たした場合に途中で更新を止めるようにしてもよい。
また、モデル更新部４７０は、確率的勾配降下法、ニュートン法などの一般的な最適化の手法を用いて更新を行う。なお、勾配計算の際には、例えばバックプロパゲーションと呼ばれる方法を用いてモデル内の全てのパラメータの勾配を順次計算する。
具体的には、モデル更新部４７０は、記憶装置２００Ａの記憶部２１０Ａに記憶されたモデルとしての学習パラメータを書き換えることにより更新する。
モデル更新部４７０は、例えば、クロスエントロピー誤差関数による評価結果を用いる場合、当該誤差関数の値が最小になる方向へパラメータＷを更新する。関数値が最小になる方向は、当該誤差関数をモデルのパラメータＷで微分した際に関数が減少する勾配の方向である。なお、モデル更新部４７０は、このとき、誤差関数の値が収束するまで更新する、または、予め定められた条件を満たした場合に途中で更新を止めるようにしてもよい。
また、モデル更新部４７０は、確率的勾配降下法、ニュートン法などの一般的な最適化の手法を用いて更新を行う。なお、勾配計算の際には、例えばバックプロパゲーションと呼ばれる方法を用いてモデル内の全てのパラメータの勾配を順次計算する。
【0057】
回転不変変換部４３０の内部構成の一例を説明する。
ここで、回転不変変換部４３０の内部構成は、図２に既に説明した回転不変変換部３３０における直交化層部３３１および射影層部３３２を、直交化層部４３１および射影層部４３２に置き換えたものであり、図示を省略する。
ここで、回転不変変換部４３０の内部構成は、図２に既に説明した回転不変変換部３３０における直交化層部３３１および射影層部３３２を、直交化層部４３１および射影層部４３２に置き換えたものであり、図示を省略する。
【0058】
回転不変変換部４３０は、直交化層部４３１、および、射影層部４３２、を含み構成されている。
【0059】
直交化層部４３１は、既に説明した直交化層部３３１と同様に、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。
射影層部４３２は、既に説明した射影層部３３２と同様に、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。
射影層部４３２は、既に説明した射影層部３３２と同様に、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。
【0060】
直交化層部４３１による直交化処理は、既に説明した直交化層部３３１による直交化処理と同様であり、ここでのさらに詳細な説明を省略する。
【0061】
このように回転不変変換部４３０が構成されている場合、推論部４４０は、回転不変特徴を示す射影行列およびモデルを用いて点群情報に示される点群を識別する。
【0062】
推論部４４０の内部構成の一例を説明する。
推論部４４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。具体的には、点群のクラス識別を行う。
推論部４４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。具体的には、点群のクラス識別を行う。
【0063】
推論部４４０により構築される点群特徴は、既に説明した推論部３４０により構築される点群特徴と同様であり、ここでのさらに詳細な説明を省略する。
【0064】
これにより、本開示は、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別することができる。
【0065】
【0066】
点群学習装置４００は、処理を開始すると、まず学習を行うかを判定する（ステップＳＴ１００）。
具体的には、点群学習装置４００は、最初から学習パラメータを学習するかどうかを選択する。点群学習装置４００は、例えば予め設定された設定情報を確認して、最初から学習するか、前回記憶されたモデルの学習パラメータを用いるかを判定する。
具体的には、点群学習装置４００は、最初から学習パラメータを学習するかどうかを選択する。点群学習装置４００は、例えば予め設定された設定情報を確認して、最初から学習するか、前回記憶されたモデルの学習パラメータを用いるかを判定する。
【0067】
点群学習装置４００は、学習を行うと判定した場合（ステップＳＴ１００“ＹＥＳ”）、ステップＳＴ１２０の処理へ移行する。
点群学習装置４００は、最初から学習する場合、学習パラメータをランダムに初期化しても良いし、一般的に用いられている任意の初期化手法を用いて初期化しても良い。
点群学習装置４００は、最初から学習する場合、学習パラメータをランダムに初期化しても良いし、一般的に用いられている任意の初期化手法を用いて初期化しても良い。
【0068】
点群学習装置４００は、学習を行わないと判定した場合（ステップＳＴ１００“ＮＯ”）、点群学習装置４００は、モデル取得処理（ステップＳＴ１１０）を実行する。
【0069】
点群学習装置４００は、学習を行うと判定した後（ステップＳＴ１００“ＹＥＳ”）またはモデル取得処理（ステップＳＴ１１０）を実行した後、点群取得処理（ステップＳＴ１２０）を実行する。
具体的には、点群学習装置４００における点群取得部４２０は、点群入力装置１００から、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。点群取得部４２０は、取得した点群情報を出力する。
具体的には、点群学習装置４００における点群取得部４２０は、点群入力装置１００から、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する。点群取得部４２０は、取得した点群情報を出力する。
【0070】
点群学習装置４００は、回転不変変換処理（ステップＳＴ１３０）を実行する。
具体的には、点群学習装置４００における回転不変変換部４３０は、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
具体的には、点群学習装置４００における回転不変変換部４３０は、点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する。
【0071】
回転不変変換処理の具体的一例を説明する。なお、点群学習装置４００による回転不変変換処理は、図４の回転不変変換処理と同様であり、ここでの新たな図示を省略する。
回転不変変換部４３０は、回転不変変換処理を開始すると、図４に示すように、直交化処理（ステップＳＴ１３１）を実行する。
具体的には、回転不変変換部４３０における直交化層部４３１は、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。直交化層部４３１は、正規直交基底行列を出力する。
回転不変変換部４３０は、回転不変変換処理を開始すると、図４に示すように、直交化処理（ステップＳＴ１３１）を実行する。
具体的には、回転不変変換部４３０における直交化層部４３１は、点群情報に含まれる点（Ｎ個の点それぞれ）を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して（Ｎ×ｋ）正規直交基底行列を生成する。直交化層部４３１は、正規直交基底行列を出力する。
【0072】
回転不変変換部４３０は、射影処理（ステップＳＴ１３２）を実行する。
具体的には、回転不変変換部４３０における射影層部４３２は、直交化層部４３１から、正規直交基底行列を取得する。射影層部４３２は、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。
具体的には、回転不変変換部４３０における射影層部４３２は、直交化層部４３１から、正規直交基底行列を取得する。射影層部４３２は、正規直交基底行列を用いて回転不変特徴を示す射影行列を算出する。
【0073】
点群学習装置４００は、推論処理（ステップＳＴ１４０）を実行する。
具体的には、点群学習装置４００における推論部４４０は、まず、射影層部４３２から射影行列を取得し、モデル取得部４１０からモデルを取得する。推論部４４０は、次いで、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。
さらに具体的には、推論部４４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
具体的には、点群学習装置４００における推論部４４０は、まず、射影層部４３２から射影行列を取得し、モデル取得部４１０からモデルを取得する。推論部４４０は、次いで、回転不変特徴およびモデルを用いて点群情報に示される点群を識別する。
さらに具体的には、推論部４４０は、回転不変特徴を示す射影行列およびモデルを用いて、Ｎ次元空間における正規直交基底行列が張る部分空間へ学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する。
【0074】
点群学習装置４００は、結果出力処理（ステップＳＴ１５０）を実行する。
具体的には、点群学習装置４００における結果出力部４５０は、推論部４４０の識別による分類結果を結果出力装置９００へ出力する。
具体的には、点群学習装置４００における結果出力部４５０は、推論部４４０の識別による分類結果を結果出力装置９００へ出力する。
【0075】
点群学習装置４００は、一連の処理を終了するかを判定する（ステップＳＴ１６０）。
点群学習装置４００は、処理を終了すると判定した場合（ステップＳＴ１６０“ＹＥＳ”）、処理を終了する。
点群学習装置４００は、処理を終了すると判定した場合（ステップＳＴ１６０“ＹＥＳ”）、処理を終了する。
【0076】
点群学習装置４００は、処理を終了しないと判定した場合（ステップＳＴ１６０“ＮＯ”）、モデル評価処理（ステップＳＴ１７０）を実行する。
具体的には、点群学習装置４００における評価部４６０は、分類結果を用いてモデルを評価する。評価部４６０は、評価結果をモデル更新部４７０へ出力する。
具体的には、点群学習装置４００における評価部４６０は、分類結果を用いてモデルを評価する。評価部４６０は、評価結果をモデル更新部４７０へ出力する。
【0077】
点群学習装置４００は、モデル更新処理（ステップＳＴ１８０）を実行する。
モデル更新部４７０は、評価部４６０による評価結果を用いてモデルを更新する。
具体的には、モデル更新部４７０は、記憶装置２００Ａの記憶部２１０Ａに記憶されたモデルとしての学習パラメータを書き換えることにより更新する。
モデル更新部４７０は、評価部４６０による評価結果を用いてモデルを更新する。
具体的には、モデル更新部４７０は、記憶装置２００Ａの記憶部２１０Ａに記憶されたモデルとしての学習パラメータを書き換えることにより更新する。
【0078】
点群学習装置４００は、モデル更新処理（ステップＳＴ１８０）を実行した後、ステップＳＴ１１０の処理に移行し、ステップＳＴ１１０からの処理を繰り返す。
【0079】
本開示の学習装置（点群学習装置）は、以下のように構成した。
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
前記分類結果を用いて前記モデルを評価する評価部と、
前記評価部による評価結果を用いて前記モデルを更新するモデル更新部と、
を備えた学習装置。
これにより、本開示は、点群を識別する精度を向上させる、学習装置を提供することができる、という効果を奏する。
Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得部と、
学習パラメータを持つモデルを取得するモデル取得部と、
前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後のデータを用いて回転不変特徴を算出する回転不変変換部と、
前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論部と、
前記推論部の識別による分類結果を出力する結果出力部と、
前記分類結果を用いて前記モデルを評価する評価部と、
前記評価部による評価結果を用いて前記モデルを更新するモデル更新部と、
を備えた学習装置。
これにより、本開示は、点群を識別する精度を向上させる、学習装置を提供することができる、という効果を奏する。
【0080】
本開示の学習方法（点群学習方法）は、以下のように構成した。
点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
モデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
評価部が、前記分類結果を用いて前記モデルを評価する評価ステップと、
モデル更新部が、前記評価部による評価結果を用いて前記モデルを更新するモデル更新ステップと、
を備えた学習方法。
これにより、本開示は、点群を識別する精度を向上させる、学習方法を提供することができる、という効果を奏する。
点群取得部が、Ｎ（Ｎ≧２）個の点をｋ（ｋ≧２）次元で示す点群情報を取得する点群取得ステップと、
モデル取得部が、学習パラメータを持つモデルを取得するモデル取得ステップと、
回転不変変換部が、前記点群情報に示される点ごとの基底ベクトルをそれぞれ直交化し、当該直交化後の情報を用いて回転不変特徴を算出する回転不変変換ステップと、
推論部が、前記回転不変特徴および前記モデルを用いて前記点群情報に示される点群を識別する推論ステップと、
結果出力部が、前記推論部の識別による分類結果を出力する結果出力ステップと、
評価部が、前記分類結果を用いて前記モデルを評価する評価ステップと、
モデル更新部が、前記評価部による評価結果を用いて前記モデルを更新するモデル更新ステップと、
を備えた学習方法。
これにより、本開示は、点群を識別する精度を向上させる、学習方法を提供することができる、という効果を奏する。
【0081】
本開示の学習装置（点群学習装置）は、さらに、以下のように構成した。
前記回転不変変換部は、
前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする学習装置。
これにより、本開示は、点群の回転不変特徴を効率よく算出できる、学習装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記学習方法に適用することにより、上記効果と同様の効果を奏する。
前記回転不変変換部は、
前記点群情報に含まれる点を示すｋ個の座標ごとに基底ベクトルを算出し、ｋ本の基底ベクトルがそれぞれ直交するように変換して正規直交基底行列を生成する直交化層部と、
前記正規直交基底行列を用いて、前記回転不変特徴を示す射影行列を算出する射影層部と、
を有し、
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて前記点群情報に示される点群を識別する、
ことを特徴とする学習装置。
これにより、本開示は、点群の回転不変特徴を効率よく算出できる、学習装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記学習方法に適用することにより、上記効果と同様の効果を奏する。
【0082】
本開示の学習装置（点群学習装置）は、さらに、以下のように構成した。
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする学習装置。
これにより、本開示は、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別する、学習装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記学習方法に適用することにより、上記効果と同様の効果を奏する。
前記推論部は、
前記回転不変特徴を示す射影行列および前記モデルを用いて、
Ｎ次元空間における前記正規直交基底行列が張る部分空間へ前記学習パラメータに示される成分を直交射影した結果に基づき点群特徴を抽出し、当該点群特徴を用いて点群を識別する、
ことを特徴とする学習装置。
これにより、本開示は、点群の座標に依存しない点群形状固有の特徴を用いて点群情報を識別する、学習装置を提供することができる、という効果を奏する。
さらに、本開示は、上記構成を上記学習方法に適用することにより、上記効果と同様の効果を奏する。
【0083】
ここで、本開示の点群識別装置３００および点群学習装置４００の機能を実現するハードウェア構成を説明する。
図９は、本開示における点群識別装置３００および点群学習装置４００の機能を実現するためのハードウェア構成の第１の例を示す図である。
図１０は、本開示における点群識別装置３００および点群学習装置４００の機能を実現するためのハードウェア構成の第２の例を示す図である。
本開示の点群識別装置３００および点群学習装置４００は、図９または図１０に示されるようなハードウェアにより実現される。
図９は、本開示における点群識別装置３００および点群学習装置４００の機能を実現するためのハードウェア構成の第１の例を示す図である。
図１０は、本開示における点群識別装置３００および点群学習装置４００の機能を実現するためのハードウェア構成の第２の例を示す図である。
本開示の点群識別装置３００および点群学習装置４００は、図９または図１０に示されるようなハードウェアにより実現される。
【0084】
点群識別装置３００および点群学習装置４００は、図９に示すように、例えばプロセッサ１０００１、メモリ１０００２、入出力インタフェース１０００３、および、通信回路１０００４により構成される。
プロセッサ１０００１、メモリ１０００２は、例えば、コンピュータに搭載されているものである。
メモリ１０００２には、当該コンピュータを、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部として機能させるためのプログラムが記憶されている。メモリ１０００２に記憶されたプログラムをプロセッサ１０００１が読み出して実行することにより、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部の機能が実現される。
また、メモリ１０００２または図示しない他のメモリにより、図示しない記憶部が実現される。
プロセッサ１０００１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ１０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
プロセッサ１０００１とメモリ１０００２とは、相互にデータを伝送することが可能な状態に接続されている。また、プロセッサ１０００１とメモリ１０００２とは、入出力インタフェース１０００３を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。
また、通信回路１０００４により、図示しない通信部が実現される。
プロセッサ１０００１、メモリ１０００２は、例えば、コンピュータに搭載されているものである。
メモリ１０００２には、当該コンピュータを、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部として機能させるためのプログラムが記憶されている。メモリ１０００２に記憶されたプログラムをプロセッサ１０００１が読み出して実行することにより、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部の機能が実現される。
また、メモリ１０００２または図示しない他のメモリにより、図示しない記憶部が実現される。
プロセッサ１０００１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ１０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
プロセッサ１０００１とメモリ１０００２とは、相互にデータを伝送することが可能な状態に接続されている。また、プロセッサ１０００１とメモリ１０００２とは、入出力インタフェース１０００３を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。
また、通信回路１０００４により、図示しない通信部が実現される。
【0085】
または、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部の機能は、図１０に示すように、専用の処理回路２０００１により実現されるものであっても良い。
処理回路２０００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。
また、メモリ２０００２または図示しない他のメモリにより、図示しない記憶部が実現される。
メモリ２０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
処理回路２０００１とメモリ２０００２とは、相互にデータを伝送することが可能な状態に接続されている。また、処理回路２０００１とメモリ２０００２とは、入出力インタフェース２０００３を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。
また、通信回路２０００４により、図示しない通信部が実現される。
なお、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部の機能をそれぞれ別の処理回路で実現しても良いし、まとめて処理回路で実現しても良い。
処理回路２０００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。
また、メモリ２０００２または図示しない他のメモリにより、図示しない記憶部が実現される。
メモリ２０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
処理回路２０００１とメモリ２０００２とは、相互にデータを伝送することが可能な状態に接続されている。また、処理回路２０００１とメモリ２０００２とは、入出力インタフェース２０００３を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。
また、通信回路２０００４により、図示しない通信部が実現される。
なお、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部の機能をそれぞれ別の処理回路で実現しても良いし、まとめて処理回路で実現しても良い。
【0086】
または、モデル取得部３１０、点群取得部３２０、回転不変変換部３３０、推論部３４０、結果出力部３５０、モデル取得部４１０、点群取得部４２０、回転不変変換部４３０、推論部４４０、結果出力部４５０、評価部４６０、モデル更新部４７０、および、図示しない制御部のうちの一部の機能がプロセッサ１０００１およびメモリ１０００２により実現され、かつ、残りの機能が処理回路２０００１により実現されるものであっても良い。
【0087】
なお、本開示は、その発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。例えば、実施の形態１と実施の形態２とを組み合わせて、点群の識別結果を結果出力部が結果出力装置へ出力するとともに、評価部を介してモデル更新部へ出力するように構成してもよい。これにより実施の形態１の効果と実施の形態２の効果との両方の効果を奏するようにできる。
【産業上の利用可能性】
【0088】
本開示の点群識別装置および学習装置はそれぞれ、点群を識別する精度を向上させることができるので、例えば、車両制御および運転支援といった技術において点群を識別するために用いるのに適している。
【符号の説明】
【0089】
１ 点群識別システム、２ 点群学習システム、１００ 点群入力装置、２００，２００Ａ 記憶装置、２１０，２１０Ａ 記憶部、３００ 点群識別装置、３１０ モデル取得部、３２０ 点群取得部、３３０ 回転不変変換部、３３１ 直交化層部、３３２ 射影層部、３４０ 推論部、３５０ 結果出力部、４００ 点群学習装置、４１０ モデル取得部、４２０ 点群取得部、４３０ 回転不変変換部、４３１ 直交化層部、４３２ 射影層部、４４０ 推論部、４５０ 結果出力部、４６０ 評価部、４７０ モデル更新部、９００ 結果出力装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】