特許 7204087 対象物認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-05

(45)【発行日】2023-01-16

(54)【発明の名称】対象物認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230106BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 24

(21)【出願番号】P 2018083641

(22)【出願日】2018-04-25

(65)【公開番号】P2019191908

(43)【公開日】2019-10-31

【審査請求日】2021-04-12

【前置審査】

(73)【特許権者】

【識別番号】500063228

【氏名又は名称】田中 成典

(73)【特許権者】

【識別番号】502235692

【氏名又は名称】中村 健二

(73)【特許権者】

【識別番号】517309320

【氏名又は名称】塚田 義典

(73)【特許権者】

【識別番号】516119678

【氏名又は名称】株式会社日本インシーク

(73)【特許権者】

【識別番号】519113745

【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】中村 健二

(72)【発明者】

【氏名】塚田 義典

(72)【発明者】

【氏名】平野 順俊

(72)【発明者】

【氏名】大月 庄治

(72)【発明者】

【氏名】田中 恭介

(72)【発明者】

【氏名】山岸 洋明

(72)【発明者】

【氏名】川村 義和

(72)【発明者】

【氏名】楠本 博

(72)【発明者】

【氏名】梅▲原▼ 喜政

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開平１０－２３２９３６（ＪＰ，Ａ）

【文献】特開２０１５－０３２２５６（ＪＰ，Ａ）

【文献】特開２０１５－１７６１７５（ＪＰ，Ａ）

【文献】特開２０１１－２１５８４３（ＪＰ，Ａ）

【文献】特開２０１７－１３８２１９（ＪＰ，Ａ）

【文献】特開２０１７－２２３５１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物を区別して認識するための認識装置であって、
対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、
前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、
第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
を備えた認識装置において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。

【請求項2】

コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、
前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、
第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。

【請求項3】

請求項１の装置または請求項２のプログラムにおいて、
前記推定手段は、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。

【請求項4】

請求項３の装置またはプログラムにおいて、
前記推定手段は、第１～第ｎ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。

【請求項5】

請求項３の装置またはプログラムにおいて、
前記推定手段は、第１～第ｎ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。

【請求項6】

請求項１～５のいずれかの装置またはプログラムにおいて、
前記統合推定手段は、前記第１～第ｎ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。

【請求項7】

対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。

【請求項8】

対象物を区別して認識するための認識装置であって、
対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、
前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、
第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
を備えた認識装置において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。

【請求項9】

コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、
前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、
第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。

【請求項10】

請求項８の装置または請求項９のプログラムにおいて、
前記推定手段は、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。

【請求項11】

請求項１０の装置またはプログラムにおいて、
前記推定手段は、第１～第ｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。

【請求項12】

請求項１０の装置またはプログラムにおいて、
前記推定手段は、第１～第ｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。

【請求項13】

請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記統合推定手段は、前記第１～第ｍ二次元投影データのうち、前記視点が対象物の三次元点群データを測定した測定位置に最も近接している二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。

【請求項14】

対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。

【請求項15】

対象物を区別して認識するための認識装置であって、
対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、
前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、
第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段と、
を備えた認識装置において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識装置。

【請求項16】

コンピュータによって対象物を区別して認識するための認識装置を実現するための認識プログラムであって、コンピュータを、
対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、
前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、
第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段として機能させるための認識プログラムにおいて、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与され、
前記各推定手段は、当該点密度および当該距離も考慮して対象物の推定を行うことを特徴とする認識プログラム。

【請求項17】

請求項１５の装置または請求項１６のプログラムにおいて、
前記推定手段は、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴とする装置またはプログラム。

【請求項18】

請求項１７の装置またはプログラムにおいて、
前記推定手段は、第１１～第ｎｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴とする装置またはプログラム。

【請求項19】

請求項１７の装置またはプログラムにおいて、
前記推定手段は、第１１～第ｎｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴とする装置またはプログラム。

【請求項20】

請求項１７～１９のいずれかの装置またはプログラムにおいて、
前記統合推定手段は、前記第１１～第ｎｍ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する視点および回転位置における二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴とする装置またはプログラム。

【請求項21】

対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置をコンピュータによって生産する方法であって、
前記コンピュータが、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして与えて学習させることにより認識装置を生産する方法において、
前記二次元投影データの各点には、計測時の点密度および前記各点から前記二次元平面までの距離が属性として付与されていることを特徴とする認識装置を生産する方法。

【請求項22】

請求項１～６、８～１３、１５～２０のいずれかの装置またはプログラムにおいて、
前記二次元投影データの各点には、前記三次元点群データにおける点の密度が属性として付与され、
前記各推定手段は、当該密度も考慮して対象物の推定を行うことを特徴とする装置またはプログラム。

【請求項23】

請求項１～６、８～１３、１５～２０、２２のいずれかの装置またはプログラムにおいて、
前記二次元投影データの各点には、反射強度または色データまたはその双方が属性として付与され、
前記各推定手段は、当該反射強度または色データまたはその双方も考慮して対象物の推定を行うことを特徴とする装置またはプログラム。

【請求項24】

請求項１～６、８～１３、１５～２０、２２、２３のいずれかの装置またはプログラムにおいて、
前記三次元点群データは、道路上を走行しながら異なる方向から計測した地物の点群データを合成して得た三次元点群データであることを特徴とする装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、対象物を認識するための装置に関するものである。

【背景技術】

【0002】

レーザスキャナなどによって道路、標識、建物などを計測した三次元点群データに基づいて、標識、建物などの地物を抽出することが行われている。作業者が画面を見ながら、各地物を判定して抽出し属性を付与することは、確実性は高いものの、煩雑であり抽出時間を要するという問題がある。

【0003】

非特許文献１には、三次元点群データに対応するＣＡＤデータに基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。

【0004】

特許文献１には、三次元点群データに対応するカラー画像に基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。

【0005】

これらによれば、迅速にかつ正確に地物を抽出できる。

【0006】

また、機械学習によって三次元点群データから地物を抽出することも提案されている。このようなシステムを実現するためには、大量の学習データが必要である。非特許文献２には、ＣＡＤデータに基づいて学習データとしての三次元点群データを生成する手法が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００９－１９９２８４

【非特許文献】

【0008】

【文献】中村健二他「完成平面図に基づいた点群データの地物抽出技術に関する研究」土木学会論文集（土木情報学）７３巻２号、I_424-I_432、２０１７年

【文献】深野健太他「移動計測データに基づく地類分類のための学習データ生成方法」2014年精密工学会秋季学術講演会講演論文集

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、非特許文献１や特許文献１の手法では、三次元点群データに対応するＣＡＤデータやカラー画像データに基づいて、地物に対応する三次元点群データを抽出するようにしている。このため、三次元点群データに対応するＣＡＤデータやカラー画像データが存在しない場合には、地物を抽出できないという問題があった。

【0010】

また、ＣＡＤデータの作成時には存在しなかった地物や、ＣＡＤデータ作成後に除去された地物については、これらを正しく抽出できないという問題もあった。

【0011】

さらに、深層学習や機械学習を行って三次元点群データから地物を抽出するとしても、その学習データを大量に用意しなければならなかった。非特許文献２は、これを解決するための一手法ではあるが、ＣＡＤデータに基づいて学習用データを生成するものであって、ＣＡＤデータが存在しない場合には、用いることができなかった。

【0012】

この発明は、上記のような問題点を解決して、ＣＡＤデータがなくとも地物を適切に抽出することのできる装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

この発明のいくつかの独立して適用可能な特徴を以下に示す。

【0014】

(1)(2)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１～第ｎ二次元投影データを生成する二次元投影データ生成手段と、前記第１～第ｎ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｎ対象物推定結果を出力する推定手段と、第１～第ｎ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。

【0015】

したがって、角度を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。

【0016】

(3)この発明に係る推定装置は、推定手段が、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。

【0017】

したがって、一つのデータに対して複数の学習データを生成して学習させることができる。

【0018】

(4)この発明に係る推定装置は、推定手段が、第１～第ｎ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。

【0019】

したがって、複数の角度からの投影データに基づいて学習を行うことができる。

【0020】

(5)この発明に係る推定装置は、推定手段が、第１～第ｎ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。

【0021】

したがって、複数の角度からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。

【0022】

(6)この発明に係る推定装置は、統合推定手段が、前記第１～第ｎ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。

【0023】

したがって、より精度の高い推定を行うことができる。

【0024】

(7)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、当該対象物の周囲に回転させたｎ個の各位置における二次元平面に投影した第１～第ｎ二次元投影データを学習データとして与えて学習させることを特徴としている。

【0025】

したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。

【0026】

(8)(9)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを生成する二次元投影データ生成手段と、前記第１～第ｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１～第ｍ対象物推定結果を出力する推定手段と、第１～第ｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。

【0027】

したがって、距離を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。

【0028】

(10)この発明に係る認識装置は、推定手段が、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。

【0029】

したがって、一つのデータに対して複数の学習データを生成して学習させることができる。

【0030】

(11)この発明に係る認識装置は、推定手段が、第１～第ｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。

【0031】

したがって、複数の距離からの投影データに基づいて学習を行うことができる。

【0032】

(12)この発明に係る認識装置は、推定手段が、第１～第ｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。

【0033】

したがって、複数の距離からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。

【0034】

(13)この発明に係る認識装置は、統合推定手段が、前記第１～第ｍ二次元投影データのうち、前記視点が対象物の三次元点群データを測定した測定位置に最も近接している二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。

【0035】

したがって、より精度の高い推定を行うことができる。

【0036】

(14)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、視点と対象物までの距離を段階的に変えて二次元平面に投影した第１～第ｍ二次元投影データを学習データとして与えて学習させることを特徴としている。

【0037】

したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。

【0038】

(15)(16)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを生成する二次元投影データ生成手段と、前記第１１～第ｎｍ二次元投影データのそれぞれに基づいて、対象物を推定し、第１１～第ｎｍ対象物推定結果を出力する推定手段と、第１１～第ｎｍ対象物推定結果に基づいて、統合対象物推定結果を出力する統合推定手段とを備えている。

【0039】

したがって、角度および距離を変えて投影した複数の二次元投影データに基づく推定結果に基づいて、正確な推定を行うことができる。

【0040】

(17)この発明に係る認識装置は、推定手段が、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして学習させた結果に基づいて推論を行うことを特徴としている。

【0041】

したがって、一つのデータに対して複数の学習データを生成して学習させることができる。

【0042】

(18)この発明に係る認識装置は、推定手段が、第１１～第ｎｍ二次元投影データを学習データとして学習を行う一つの学習モデルを備えることを特徴としている。

【0043】

したがって、複数の角度・距離からの投影データに基づいて学習を行うことができる。

【0044】

(19)この発明に係る認識装置は、推定手段が、第１１～第ｎｍ二次元投影データのそれぞれを学習データとして学習を行う複数の学習モデルを備えることを特徴としている。

【0045】

したがって、複数の角度・距離からの投影データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。

【0046】

(20)この発明に係る認識装置は、統合推定手段が、前記第１１～第ｎｍ二次元投影データのうち、対象物の三次元点群データを測定した測定位置に対応する視点および回転位置における二次元投影データを、他の二次元投影データよりもウエイトを高くして統合対象物推定を行うことを特徴としている。

【0047】

したがって、より精度の高い推定を行うことができる。

【0048】

(21)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データを、二次元平面に投影した二次元投影データに基づいて、対象物を区別して認識するための認識装置を生産する方法であって、学習によって上記認識処理を実現する装置に、学習対象物の三次元点群データを、対象物までの距離を段階的に変えたｍ個の視点にて、当該対象物の周囲に回転させたｎ個の各位置における第１～第ｎ二次元平面に投影した第１１～第ｎｍ二次元投影データを学習データとして与えて学習させることを特徴としている。

【0049】

したがって、一つのデータに対して複数の学習データを生成して学習させた認識装置を生成することができる。

【0050】

(22)この発明に係る認識装置は、二次元投影データの各点には、前記二次元平面までの垂直距離が属性として付与され、各推定手段は、当該垂直距離も考慮して対象物の推定を行うことを特徴としている。

【0051】

したがって、二次元投影データを用いながら、三次元空間における奥行き情報を用いて対象物の推定を行うことができる。

【0052】

(23)この発明に係る認識装置は、二次元投影データの各点には、前記三次元点群データにおける点の密度が属性として付与され、各推定手段は、当該密度も考慮して対象物の推定を行うことを特徴としている。

【0053】

したがって、二次元投影データを用いながら、三次元空間における密度情報を用いて対象物の推定を行うことができる。

【0054】

(24)この発明に係る認識装置は、二次元投影データの各点には、反射強度または色データまたはその双方が属性として付与され、各推定手段は、当該反射強度または色データまたはその双方も考慮して対象物の推定を行うことを特徴としている。

【0055】

したがって、対象物の反射強度も考慮した推定を行うことができる。

【0056】

(25)(26)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物について第１～第ｎ観点による第１～第ｎ対象物データを得るデータ取得手段と、学習対象物のそれぞれについて第１～第ｎ観点による第１～第ｎ学習対象物データを得て、これら学習対象物データに基づいて学習させた推定手段と、第１対象物データを推定手段に与えて得られた第１推定結果と、第２対象物データを推定手段に与えて得られた第２推定結果と、・・・第ｎ対象物データを推定手段に与えて得られた第ｎ推定結果とに基づいて、これら推定結果を統合して対象物を推定する統合推定手段とを備えている。

【0057】

したがって、観点変えて生成したデータに基づく推定結果に基づいて、精度の高い推定を行うことができる。

【0058】

(27)この発明に係る認識装置は、推定手段が、第１～第ｎ学習対象物データによって学習を行う一つの学習モデルを備えることを特徴としている。

【0059】

したがって、複数の観点からの学習対象物データに基づいて学習を行うことができる。

【0060】

(28)この発明に係る認識装置は、推定手段が、第１～第ｎ学習対象物データのそれぞれによって学習を行う第１～第ｎ学習モデルを備え、第１学習モデルは第１対象物データによって第１推定結果を得て、第２学習モデルは第２対象物データによって第２推定結果を得て、・・・第ｎ学習モデルは第ｎ対象物データによって第ｎ推定結果を得ることを特徴としている。

【0061】

したがって、複数の観点からの学習対象物データに基づいて学習を行う複数の学習モデルにて推定を行うことができる。

【0062】

(29)(30)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを得るデータ取得手段と、前記三次元点群データを二次元平面に投影し、各点に二次元平面までの垂直距離を属性として付与した二次元投影データを生成する二次元投影データ生成手段と、学習対象物のそれぞれについて、三次元点群データを二次元平面に投影し、三次元空間において前記三次元点群データの各点の特徴であって、二次元平面においては表現されない特徴を、各点に属性として付与した学習二次元投影データを得て、これら学習二次元投影データに基づいて学習させた推定手段であって、前記二次元投影データに基づいて、対象物を推定する推定手段とを備ている。

【0063】

したがって、二次元投影データを用いつつ三次元空間における特徴データも用いて推定を行うことができる。

【0064】

(31)この発明に係る推定装置は、学習二次元投影データおよび二次元投影データの各点には、三次元点群データを二次元平面に投影する際の、三次元点群データの各点から二次元平面の対応する各点までの垂直距離が属性として付与されていることを特徴としている。

【0065】

したがって、二次元投影データを用いつつ三次元空間における奥行き情報も用いて推定を行うことができる。

【0066】

(32)この発明に係る推定装置は、学習二次元投影データおよび二次元投影データの各点には、三次元点群データにおける対応する点の三次元空間における密度が属性として付与されていることを特徴としている。

【0067】

したがって、二次元投影データを用いつつ三次元空間における密度情報も用いて推定を行うことができる。

【0068】

「二次元投影データ生成手段」は、実施形態においては、ステップＳ１５３がこれに対応する。

【0069】

「推定手段」は、実施形態においては、ステップＳ１５５、Ｓ２５３がこれに対応する。

【0070】

「統合推定手段」は、実施形態においては、ステップＳ１５７、Ｓ２５４がこれに対応する。

【0071】

「データ取得手段」は、実施形態においては、ステップＳ１５３、Ｓ２５２がこれに対応する。

【0072】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

【図面の簡単な説明】

【0073】

【図1】この発明の一実施形態による認識装置の生産方法の概要を示す図である。

【図2】認識装置のハードウエア構成である。

【図3】認識プログラム４８の学習処理のフローチャートである。

【図4】三次元点群データの例である。

【図5】オブジェクトに対するバウンダリーボックス８０を示す図である。

【図6】二次元平面Ｐ１～Ｐ６を示す図である。

【図7】二次元平面に対する投影を示す図である。

【図8】投影されたオブジェクトデータを示す図である。

【図9】オブジェクトを構成する点の密度の算出を示す図である。

【図10】この発明の一実施形態による認識装置の機能ブロック図である。

【図11】認識プログラム４８のフローチャートである。

【図12】三次元点群データの例である。

【図13】地盤点抽出のフローチャートである。

【図14】地盤点抽出を説明するための図である。

【図15】バウンダリーボックスを設定した状態を示す図である。

【図16】推定処理のフローチャートである。

【図17】第３の実施形態による認識装置の機能構成である。

【図18】認識プログラム４８のフローチャートである。

【図19】推定処理のフローチャートである。

【図20】推定手段の他の構成例を示す図である。

【発明を実施するための形態】

【0074】

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による認識装置の学習方法を示す。これにより、深層学習プログラムが学習を行って、三次元点群データによって表されるオブジェクトの種類を認識する認識装置を生成することができる。

【0075】

学習対象物の三次元点群データ６の周囲に回転させた第１二次元平面Ｐ１、Ｐ２、Ｐ３・・・Ｐｎに、当該三次元点群データ６を投影した第１～第ｎ二次元投影データを生成する。これに、学習対象物の種類を属性として付与する。これを多数の学習対象物について行って、多くの第１～第ｎ二次元投影データを生成する。

【0076】

このようにして生成した第１～第ｎ二次元投影データを、深層学習プログラムに与えて学習を行う。これにより、対象物の二次元投影データに基づいて、対象物の種類を認識する認識装置を生成することができる。

【0077】

1.2ハードウエア構成
図２に、認識装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、通信回路３６、ハードディスク３８、ＤＶＤ－ＲＯＭドライブ４０、キーボード／マウス４２、記録媒体ドライブ４４が接続されている。通信回路３６は、インターネットに接続するためのものである。記録媒体ドライブ４４は、可搬性記録媒体５２に記録された三次元点群データを取り込むためのものである。

【0078】

ハードディスク３８には、オペレーティングシステム４６、認識プログラム４８が記録されている。認識プログラム４８は、深層学習によって学習を行なうことで、与えられた三次元点群データ（に基づく二次元投影データ）によって示されるオブジェクトの種類を認識するものである。認識プログラム４８は、オペレーティングシステム４６と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ５０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ４０を介して、ハードディスク３８にインストールしたものである。

【0079】

1.3学習処理
この実施形態では、対象物の種類を推定するためにディープラーニング（深層学習）を用いている。たとえば、認識プログラム４８の認識処理部分としてWei Liuらによって開発されたＳＳＤ(Single Shot MultiBox Detection)を用いることができる。

【0080】

図３に、認識プログラム４８の学習処理のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録された学習用元データを取得し、メモリ３２に展開する（ステップＳ１）。この学習用元データは、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介してハードディスク３８に記録したものである。

【0081】

学習用元データは、モービル・マッピング・システム（ＭＭＳ）によって計測した三次元点群データに基づいて生成したものである。ＭＭＳでは、自動車などにレーザスキャナ・ＧＰＳ受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。

【0082】

以下、計測された三次元点群データから学習用元データを生成する処理を説明する。図４に、三次元点群データを三次元空間にプロットした例を示す。この三次元点群データから地盤（地面、道路面など）を取り除き、樹木、ガードレール、標識などの地物について、それぞれの地物を囲う直方体のバウンダリーボックスを生成する。バウンダリーボックスは、ラベリング処理によって自動的に生成してもよいし、操作者の操作によって生成してもよい。

【0083】

図５に、オブジェクトに対して設定されたバウンダリーボックスを示す。図中、白線で示す直方体８０がバウンダリーボックスである。バウンダリーボックス８０は、オブジェクトを内包するように設定される。図５は、標識のオブジェクトであるから、バウンダリーボックス８０内の全ての三次元点群データに対して、「標識」という地物の種類名が付与される。地物の種類名の付与は、操作者がマウスなどを操作して行う。なお、この実施形態では、交通島、分離帯、植栽及び防雪林、歩道橋、標識柱・表示板、証明柱、道路反射鏡、信号機、ガードレール、電柱、ポールコーン、視線誘導線、踏切、施設・建物、フェンス、その他の構造物を種類名として付与し学習を行うようにしている。

【0084】

なお、２つ以上のオブジェクトが接触している場合には、それぞれのオブジェクトごとにバウンダリーボックスを生成する。このため、バウンダリーボックスが一部重複する場合もある。ただし、三次元点群を構成する各点は、それぞれいずれのオブジェクトであるか区別できるので、各点ごとに地物の種類名を付与する。

【0085】

なお、この実施形態では、レーザの反射強度も測定しているので、各点について反射強度が付与されている。

【0086】

以上のようにして生成された各地物についての多数の学習用元データを、ステップＳ１にて取り込む。

【0087】

次に、ＣＰＵ３０は、この三次元点群による学習用元データに基づいて、学習のための二次元投影データを生成する（ステップＳ３～Ｓ７）。図６に示すように、オブジェクト６の周囲に所定角度（例えば６０度ごと）にて、第１～第６二次元平面を生成する。このそれぞれの二次元平面にオブジェクト６を投影し、学習データである第１～第６二次元投影データを得る。

【0088】

図７に、三次元点群データであるオブジェクト６を第１二次元平面Ｐ１に投影して、第１二次元点群データである第１二次元投影データを得る処理を模式的に示す。この実施形態では、オブジェクト６と視点８２との間に二次元平面を置くようにしている。このような投影処理を、第１～第６二次元平面Ｐ１～Ｐ６のそれぞれについて行う（ステップＳ４、Ｓ５、Ｓ６、Ｓ７）。したがって、いろいろな角度から投影された二次元投影データを得ることができる。

【0089】

この際、図８Ａに示すように、二次元投影データを囲うバウンダリーボックス８６の領域を示す情報（右上、左下の座標）と、地物の種類を示す情報（「信号機」など）を、この二次元投影データに付与する（ステップＳ６）。なお、地物の種類を示す情報は、三次元点群データに予め与えられているので、これをそのまま用いることができる。

【0090】

さらに、二次元投影データの各点には、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点の反射率、対応する三次元点群データの各点における点密度が属性として付与される（ステップＳ６）。

【0091】

三次元点群データの点から二次元平面までの距離を属性として持つことで、二次元点群データでありながら、三次元情報も保持することができる。また、さらに、三次元点群データにおける点密度も属性として持っており、この点においても三次元情報を保持することができる。

【0092】

また、反射率を付与することで、看板などの反射率の高い部分を含む地物の推定が容易となる。

【0093】

なお、この実施形態においては、次のようにして三次元点群データにおける点密度を、二次元投影データに与えている。図９Ａに示すようなオブジェクトがあるとする。このバウンダリボックスを図９Ｂに示すように、複数に分割する。さらに分割を繰り返し、バウンダリーボックスの一辺が所定の値（たとえば０．１ｍ以下）になるまで、バウンダリーボックスを小さくする（最小バウンダリーボックス）。この時に、最小バウンダリーボックス内に存在する点の数を密度として、当該最小バウンダリーボックス内の全ての点に属性として付与する。

【0094】

なお、計測するレーザや計測手法などによって三次元点群の点密度は異なったものとなる。したがって、各オブジェクトにおいて最も密度の高い最小バウダリーボックス等を基準として、密度の正規化を行うことが好ましい。

【0095】

上記のように、三次元点群データの各点には点密度が属性として付与されているので、上記二次元投影データにおいてもこれを付与する。

【0096】

なお、二次元投影時に、同一の位置に二以上の三次元点群データの点が対応することがある。この場合には、計測点に最も近い点のデータを用いるようにする。

【0097】

また、信号機とガードレールが接触するなど、複数の地物が一つのオブジェクトとして認識される場合には、三次元点群データにおいてそれぞれの地物について個々にバウンダリーボックスを設定する。これにより、図８Ｂに示すように、それぞれの地物に対してバウンダリーボックス８６ａ、８６ｂが設定された二次元投影データを得ることができる。

【0098】

したがって、図８Ｂに示すような二次元投影データを生成し、これに、信号機のバウンダリーボックス８６ａの領域を示す情報と地物の種類「信号機」、ガードレールのバウンダリボックス８６ｂの領域を示す情報と地物の種類「ガードレール」を付与したデータが付与される。

【0099】

以上のようにして、第１～第６二次元元平面Ｐ１～Ｐ６における二次元投影データを得ると、ＣＰＵ３０は、視点８２（図７参照）の距離を変えて、上記の処理を繰り返し、二次元投影データを生成する（ステップＳ３、Ｓ５、Ｓ６、Ｓ７）。

【0100】

以上のようにして１つのオブジェクトについて多数の二次元投影データを得ることができる。ＣＰＵ３０は、学習用元データとして用意された全てのオブジェクトについて上記の処理を繰り返し、二次元投影データを得る（ステップＳ２、Ｓ７）。

【0101】

以上のようにして、学習のためのデータを生成することができる。次に、生成した二次元投影データを学習データ（教師データ）として、ディープラーニングのプログラム（ここでは、ＳＳＤを用いた）に与えて学習を行う（ステップＳ８）。

【0102】

なお、ＳＳＤは二次元カラー画像に基づくオブジェクト認識のために開発されたものである。したがって、ＳＳＤが扱うデータは、１つの画素についてＲＧＢの３つである。そこで、この実施形態では、二次元投影データの各点を画素とし、Ｒに反射強度、Ｇに投影距離、Ｂに点密度を与えるようにした。点の存在する位置にはこれらデータを与え、点の存在しない位置にはデータはＮＵＬＬとした。

【0103】

1.4その他
(1)上記実施形態では、二次元投影データの各点に、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点における点密度を付与するようにしている。すなわち、三次元空間において現れるが、二次元平面においては現れない特徴をデータ（三次元特徴データ）として付与するようにしている。しかし、三次元点群データのオブジェクト中の所定場所（たとえば中心線）からの距離などの、その他の三次元特徴データを付与するようにしてもよい。

【0104】

(2)上記実施形態では、角度や距離を変えて二次元平面を設定し、二次元投影データを得るようにしている。しかし、角度のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、距離のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、上記実施形態では、オブジェクトの上下方向に垂直な面上に二次元平面を設定したが、いずれの方向に二次元平面を設定するようにしてもよい。たとえば、オブジェクトの上下方向に水平な面上に二次元平面を設定してもよい。

【0105】

(3)上記実施形態では、図７に示すように、オブジェクト６と視点８２の間に二次元平面Ｐを設定している。しかし、視点８２に対してオブジェクト６の外側に二次元平面Ｐを設定してもよい。また、視点８２を設定せず、無限遠点から二次元平面Ｐに対して投影を行うようにしてもよい。

【0106】

(4)上記実施形態では、計測して得た三次元点群データに基づいて二次元投影データを生成して学習用データとしている。しかし、計測して得た三次元点群データの点密度を変えるなどの加工を施したものに基づいて二次元投影データを生成して学習用データとしてもよい。また、三次元ＣＡＤデータなどから生成した三次元点群データに基づいて二次元投影データを生成して学習用データとしてもよい。

【0107】

(5)上記では、角度や距離を変えて二次元平面を設定し、二次元投影データを学習データとして深層学習を行うようにしている。しかし、これらに次元投影データを機械学習の学習データとして用いてもよい。

【0108】

(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

【0109】

２．第２の実施形態
2.1全体構成
図１０に、この発明の一実施形態による認識装置の全体構成を示す。二次元投影データ生成手段２は、認識対象物の三次元点群データ７の周囲に回転させた第１二次元平面Ｐ１、Ｐ２、Ｐ３・・・Ｐｎに、当該三次元点群データ６を投影した第１～第ｎ二次元投影データを生成する。

【0110】

推定手段３は、これらの第１～第ｎ二次元投影データのそれぞれに基づいて、対象物の種類を推定する。したがって、推定手段３は、第１～第ｎ推定結果を出力する。

【0111】

なお、推定手段３は、たとえば、第１の実施形態にて説明した深層学習によるプログラム（たとえばＳＳＤ）を用いることができる。また、その他の機械学習によるプログラムや、論理的に形成された推論を行うプログラムを用いることができる。

【0112】

統合推定手段４は、第１～第ｎ推定結果に基づいて、統合した対象物推定結果を出力する。

【0113】

2.2ハードウエア構成
この実施形態による認識装置のハードウエア構成は、第１の実施形態と同様である。

【0114】

2.3認識処理
この実施形態では、認識プログラム４８は、第１の実施形態に示すようにして学習を行ったディープラーニングプログラムを含んで構成される。以下、認識プログラム４８による認識処理を説明する。すなわち、測定した三次元点群データに表れたオブジェクトがいずれの地物に該当するかを認識する処理を説明する。

【0115】

図１１に、認識プログラム４８のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録されている三次元点群データをメモリ３２に展開する（ステップＳ１１）。

【0116】

この三次元点群データ３２は、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介して、ハードディスク３８に取り込んだものである。また、この実施形態では、三次元点群データ３２としてモービル・マッピング・システム（ＭＭＳ）によって取得したデータを用いている。ＭＭＳでは、自動車などにレーザスキャナ・ＧＰＳ受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。

【0117】

図１２に、三次元点群データの例を示す。道路、地物の表面の形状が三次元点群によって表されたデータとなっている。

【0118】

次に、ＣＰＵ３０は、この三次元点群データから地盤点を抽出する（ステップＳ２）。図１３に、地盤点抽出処理のフローチャートを示す。ＣＰＵ３０は、クロスシミュレーション手法によって地盤点を抽出する（ステップＳ１２１）。クロスシミュレーション手法は、以下のとおりである。三次元点群データの標高値を反転する。たとえば、図１４Ａに示すような断面の三次元点群デーがあれば、図１４Ｂに示すような反転三次元点群データが得られる。

【0119】

次に、ＣＰＵ３０は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図１４Ｃに、シミュレーションされた布を破線にて示す。続いて、ＣＰＵ３０は、図１４Ｄに示すように、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、ＣＰＵ３０は標高値を再反転して、図１４Ｄに示すような地盤点を得る。

【0120】

このようにして抽出された地盤点は、概ね正確であるが、図１４Ｅに示すように、地物の存在する近傍６０において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線方向が上下方向に対して所定角度以上（たとえば３０度以上）の部分を地盤点から除く（ステップＳ１２２）。

【0121】

なお、この実施形態では、地盤点抽出にクロスシミュレーションを用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。

【0122】

以上のようにして地盤点を抽出すると、ＣＰＵ３０は、三次元点群データから地盤点を取り除く（ステップＳ１３）。これにより、地盤の上に存在するオブジェクトのみの三次元点群データが得られる。

【0123】

次に、ＣＰＵ３０は、この三次元点群データを塊ごとにオブジェクトにまとめる（ステップＳ１３）。三次元空間をグリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく処理を行い、オブジェクトを見いだしていく。この処理としては、たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。そして、各オブジェクトを内包するバウンダリーボックスを生成する。図１５に、見いだされたオブジェクトとバウンダリーボックスの例を示す。

【0124】

さらに、ＣＰＵ３０は、それぞれのオブジェクトについて地物種類の推定処理を行う（ステップＳ１５）。

【0125】

図１６に、１つのオブジェクトについての地物種類推定の詳細フローチャートを示す。ＣＰＵ３０は、オブジェクトに対して、図６に示すように二次元平面Ｐ１～Ｐ６を設定し、二次元投影画像を生成する（ステップＳ１５２、Ｓ１５３）。さらに、生成した二次元投影画像に対して、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点の反射率、対応する三次元点群データの各点における点密度を属性として付与する（ステップＳ１５４）。また、この処理を図７の視点８２の位置を変えながら行う（ステップＳ１５１）。以上の処理は、図３において説明した処理と同様である。

【0126】

ＣＰＵ３０は、上記のようにして視点位置、二次元平面角度を変えて生成した二次元投影画像（二次元点群データ）のそれぞれについて、学習済みモデルにて地物種類の推定を行う（ステップＳ１５５）。したがって、たとえば、視点位置が４カ所で、それぞれの視点について二次元平面を６つ設定すれば、１つのオブジェクトについて２４個の地物の推定結果を得ることができる。

【0127】

ＣＰＵ３０は、これらの推定結果に含まれる最も多い地物を、最終的な推定地物として決定する（ステップＳ１５７）。

【0128】

この処理を、図１１のステップＳ１３において抽出した全てのオブジェクトについて行う（ステップＳ１４、Ｓ１５、Ｓ１６）。

【0129】

2.4その他
(1)上記実施形態では、二次元投影データの各点に、対応する三次元点群データの各点から二次元平面までの距離、対応する三次元点群データの各点における点密度を付与するようにしている。すなわち、三次元空間において現れるが、二次元平面においては現れない特徴をデータ（三次元特徴データ）として付与するようにしている。しかし、三次元点群データのオブジェクト中の所定場所（たとえば中心線）からの距離などの、その他の三次元特徴データを付与するようにしてもよい。

【0130】

(2)上記実施形態では、角度や距離を変えて二次元平面を設定し、二次元投影データを得るようにしている。しかし、角度のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、距離のみを変えて二次元平面を設定して二次元投影データを得てもよい。また、上記実施形態では、オブジェクトの上下方向に垂直な面上に二次元平面を設定したが、いずれの方向に二次元平面を設定するようにしてもよい。たとえば、オブジェクトの上下方向に水平な面上に二次元平面を設定してもよい。

【0131】

(3)上記実施形態では、学習時、推定時において、a)二次元投影データの各点に三次元特徴データを付与するとともに、b)角度・距離を変えて二次元平面を設定して多数の二次元投影データを得るようにしている。これにより、推定精度を上げるようにしている。しかし、a)またはb)のいずれか一方のみを行った場合であっても、a)b)の双方を行わない場合に比べて、推定精度を上げることができる。

【0132】

a)のみを行う場合には、１つのオブジェクトに対して１つの二次元投影データを用いることになる。b)のみを行う場合には、三次元特徴データの付与されていない複数の二次元投影データを用いることになる。

【0133】

(4)上記実施形態では、反射強度を属性として付与するようにしている。しかし、これを付与しないようにしてもよい。また、カメラなどによって撮像したＲＧＢの色情報などを属性として与えて学習を行っておき、これらの属性も考慮して推定を行うようにしてもよい。さらに、その属性を用いて学習を行い、推定を行うようにしてもよい。

【0134】

(5)上記実施形態では、ステップＳ１５７において推定結果を多数決によって統合するようにしている。しかし、ウエイトづけを行って最終結果を導くようにしてもよい。たとえば、判断対象物の三次元点群データを計測した位置に最も近い二次元平面による二次元投影データを用いた推定結果のウエイトを高くして最終結果を導くようにしてもよい。

【0135】

(6)上記実施形態では、ＭＭＳによって計測した三次元点群データを用いている。しかし、その他固定型レーザスキャナなどによって計測した三次元点群データを用いてもよい。

【0136】

(7)上記実施形態では、二次元投影データを用いて学習・推定を行っているが、三次元点群データを用いて学習・推定を行うようにしてもよい。

【0137】

(8)上記実施形態では、深層学習によって推定手段を構築するようにしている。しかし、機械学習や論理的推論を用いて推定手段を構築するようにしてもよい。

【0138】

(9)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から三次元点群データを受け取って推定を行うサーバ装置として構築してもよい。

【0139】

(10)上記実施形態では、図２０Ａに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データに基づいて一つの学習モデルを生成し、角度、距離を変えて二次元平面に投影した対象物二次元投影データのそれぞれについてこのモデルにて複数の推定結果を得て、これら推定結果を統合するようにしている。

【0140】

しかし、図２０Ｂに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データのそれぞれについて学習モデルを生成し、角度、距離を変えて二次元平面に投影した対象物二次元投影データを対応する学習モデルに与えて推定結果を得て、これら推定結果を統合するようにしてもよい。

【0141】

さらに、図２０Ｃに示すように、角度、距離を変えて二次元平面に投影した学習用二次元投影データのそれぞれについて学習モデルを生成し、各モデルに角度、距離を変えて二次元平面に投影した対象物二次元投影データを与えて複数の推定結果を得て、これら推定結果を統合するようにしてもよい。

【0142】

なお、上記各場合において、角度だけを変えて二次元平面に投影した対象物二次元投影データや、距離だけを変えて二次元平面に投影した対象物二次元投影データを用いるようにしてもよい。

【0143】

(11)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

【0144】

３．第３の実施形態
3.1全体構成
図１７に、この発明の一実施形態による認識装置の全体構成を示す。データ取得手段１００は、対象物の二次元データまたは三次元データに基づいて、異なる観点からの第１～第ｎ対象物データを得る。

【0145】

推定手段１０２は、これら第１～第ｎ対象物データのそれぞれについて対象物の種類を推定し、第１～第ｎ推定結果を出力する。統合推定手段１０４は、これら第１～第ｎ推定結果を統合して、対象物の種類を推定した結果を出力する。

【0146】

なお、推定手段１０２は、深層学習によって学習したものであってもよいし、その他の機械学習によって学習したものであってもよい。また、論理的に推論を行うものであってもよい。

【0147】

3.2ハードウエア構成
この実施形態による認識装置のハードウエア構成は、第１の実施形態と同様である。

【0148】

3.3学習処理
この実施形態では、対象物の種類を推定するためにディープラーニング（深層学習）を用いている。たとえば、認識プログラム４８の認識処理部分としてWei Liuらによって開発されたＳＳＤ(Single Shot MultiBox Detection)を用いることができる。

【0149】

図１８に、認識プログラム４８の学習処理のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録された学習用元データを取得し、メモリ３２に展開する（ステップＳ２０１）。この学習用元データは、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介してハードディスク３８に記録したものである。

【0150】

この実施形態では、学習対象物を撮像した二次元カラー画像を学習用元データとして用いている。なお、三次元画像データを用いてもよい。次に、ＣＰＵ３０は、学習用元データである二次元カラー画像に対し、色彩フィルタリングを施して、複数のフィルタリングデータを生成する（ステップＳ２０３）。この実施形態では、特定の色彩を取り出す色彩フィルタリングＦＬ1～ＦＬn（特性の異なるフィルタリング処理）を行って、ｎ個のフィルタリングデータを得ている。したがって、学習用元データに基づいて、色彩成分の異なる多数の学習データを得ることができる。

【0151】

ＣＰＵ３０は、このようにして生成した学習データに対して、対象物についてのデータを付与する。なお、対象物の種類を識別する場合（対象物の識別）であれば種類（対象物名）を付与する。対象物が１種類に決まっており、画像中から対象物を抽出する場合には、画像中における対象物の領域を付与する。

【0152】

深層学習においては、多数の学習データがある方が好ましいので、このように一つの学習用元データから多数の学習データを生成できることはメリットが大きい。

【0153】

ＣＰＵ３０は、上記の学習データ生成処理を、多数の学習対象物の二次元カラー画像について行う（ステップＳ２０２、Ｓ２０４）。

【0154】

全ての学習対象物（オブジェクト）について学習データを生成すると、次に、ＣＰＵ３０は、これら学習データに基づいてＳＳＤを学習させる（ステップＳ２０６）。

【0155】

3.4認識処理
図１９に、認識プログラム４８のフローチャートを示す。ＣＰＵ３０は、ハードディスク３８に記録されている判定対象物の二次元カラー画像をメモリ３２に展開する（ステップＳ２５１）。

【0156】

この二次元カラー画像は、可搬性記録媒体５２に記録されていたものを、記録媒体ドライブ４４を介して、ハードディスク３８に取り込んだものである。なお、二次元カラー画像は、カメラ等から直接取り込むようにしてもよい。

【0157】

ＣＰＵ３０は、この二次元カラー画像に対して、色彩フィルタリング処理を行う。すなわち、色彩フィルタリングＦＬ1～ＦＬn（特性の異なるフィルタリング処理）を行って、ｎ個のフィルタリングデータを得る（ステップＳ２５２）。

【0158】

ＣＰＵ３０は、得られたｎ個のフィルタリングデータのそれぞれについて、学習済みモデルにてオブジェクトの種類の推定を行う（ステップＳ２５３）。フィルタリングデータがｎ個あるので、ｎ個の推定結果を得ることができる。

【0159】

ＣＰＵ３０は、これらｎ個のオブジェクト種類の推定結果のうち、最も多いオブジェクト種類を、最終的な判定結果として出力する（ステップＳ２５４）。

【0160】

3.5その他
(1)上記実施形態では、色彩フィルタリングを行うことで元の二次元カラー画像データから複数の観点の学習データ、複数の観点の推定対象データを生成している。しかし、元のデータの画素数を変える、回転させる、濃度だけのデータとする、彩度に着目したデータとする、特定周波数成分の大きさを表す画像データとするなどの観点から、学習データや推定対象データを生成するようにしてもよい。

【0161】

(2)上記実施形態では、二次元カラー画像データを元データとして、複数の観点の学習データや推定対象データを生成するようにしている。しかし、二次元モノクロ画像データを元データとしてもよい。また、三次元カラー（モノクロ)画像データやマルチスペクトル画像データなどを元データとしてもよい。たとえば、第１、第２の実施形態のように、二次元平面に投影することで異なる観点の学習データ、推定対象データを得るようにしてもよい。なお、その他の観点を用いてもよい。

【0162】

(3)上記実施形態では、深層学習によって推定手段を構築するようにしている。しかし、機械学習や論理的推論を用いて推定手段を構築するようにしてもよい。

【0163】

(4)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から二次元カラー画像を受け取って推定を行うサーバ装置として構築してもよい。

【0164】

(5)上記実施形態では、観点の異なる学習用データに基づいて一つの学習モデルを生成し、観点の異なる対象物データのそれぞれについてこのモデルにて複数の推定結果を得て、これら推定結果を統合するようにしている。

【0165】

しかし、第２の実施形態にて説明したように、観点の異なる学習用データのそれぞれについて学習モデルを生成し、観点の異なる対象物データを対応する学習モデルに与えて推定結果を得て、これら推定結果を統合するようにしてもよい（図２０Ｂ参照）。

【0166】

さらに、観点の異なる学習用データのそれぞれについて学習モデルを生成し、各モデルに観点の異なる対象物データを与えて複数の推定結果を得て、これら推定結果を統合するようにしてもよい（図２０Ｃ参照）。

【0167】

(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】