特開 2024-53637 点群データ処理システム、点群データ処理サーバ及び点群データ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053637

(43)【公開日】2024-04-16

(54)【発明の名称】点群データ処理システム、点群データ処理サーバ及び点群データ処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240409BHJP

   G06V 10/82 20220101ALI20240409BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022159968

(22)【出願日】2022-10-04

(71)【出願人】

【識別番号】510277752

【氏名又は名称】Ａｕｔｏｍａｇｉ株式会社

(71)【出願人】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】白柳 大樹

(72)【発明者】

【氏名】米倉 範和

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA08

5L096EA43

5L096FA69

5L096GA30

5L096GA51

5L096GA55

5L096GA57

5L096HA11

5L096JA11

5L096MA07

(57)【要約】

【課題】点群データの各点に効率良く属性を付与することを課題とする。
【解決手段】点群データ処理サーバ１０は、端末装置２０からある領域の３Ｄ点群データを受信した場合に、同じ領域の過去の３Ｄ点群属性データを記憶している場合には最近傍点探索アルゴリズムを用いて３Ｄ点群データを形成する各点に属性情報を付与し、同じ領域の過去の３Ｄ点群属性データを記憶していない場合には、あらかじめ深層学習により生成した学習済モデルを用いて３Ｄ点群データを形成する各点に属性情報を付与する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の端末装置と、前記端末装置から点群データを取得する点群データ処理サーバとを通信可能に接続した点群データ処理システムであって、
前記点群データ処理サーバは、
前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定手段と、
前記特定手段により特定された属性情報及び前記点群データを含む点群属性データを記憶する記憶手段と、
前記点群属性データを前記端末装置に通知する通知手段と
を有することを特徴とする点群データ処理システム。

【請求項2】

前記特定手段は、
前記記憶手段に同一領域の過去の点群属性データが存在する場合には、最近傍点探索処理により前記点群データを形成する各点の属性情報を特定することを特徴とする請求項１に記載の点群データ処理システム。

【請求項3】

前記特定手段は、
前記記憶手段に同一領域の過去の点群属性データが存在しない場合には、過去の点群属性データに基づく教師有り学習により生成された学習済モデルに特定対象となる点群データを入力し、該学習済モデルから出力される属性確率に基づいて点群データを形成する各点の属性情報を特定することを特徴とする請求項１に記載の点群データ処理システム。

【請求項4】

前記学習済モデルは、
前記記憶手段に記憶された過去の点群属性データを教師データとして多層ニューラルネットワークに教師有り学習を行わせることにより得られたものであることを特徴とする請求項３に記載の点群データ処理システム。

【請求項5】

前記属性情報は、
鉄塔、電線、樹木又は地表のクラスを含むことを特徴とする請求項１乃至４のいずれか一つに記載の点群データ処理システム。

【請求項6】

所定の端末装置から点群データを取得する点群データ処理サーバであって、
前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定手段と、
前記特定手段により特定された属性情報及び前記点群データを含む点群属性データを記憶する記憶手段と、
前記点群属性データを前記端末装置に通知する通知手段と
を有することを特徴とする点群データ処理サーバ。

【請求項7】

所定の端末装置と、前記端末装置から点群データを取得する点群データ処理サーバとを通信可能に接続した点群データ処理システムにおける点群データ処理方法であって、
前記点群データ処理サーバが、前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定工程と、
前記点群データ処理サーバが、前記特定工程により特定された属性情報及び前記点群データを含む点群属性データを記憶部に格納する格納工程と、
前記点群データ処理サーバが、前記点群属性データを前記端末装置に通知する通知工程と
を含むことを特徴とする点群データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元の点群データ（以下、「３Ｄ点群データ」という）の各点に効率良く属性を付与することができる点群データ処理システム、点群データ処理サーバ及び点群データ処理方法に関する。

【背景技術】

【0002】

従来、航空機などの移動体からレーザ波を照射し、その反射波に基づいて３Ｄ点群データを生成する技術が知られている。例えば、特許文献１には、車両に搭載されたカメラにより地物を撮影するとともに、同じく車両に搭載されたレーザにより測量を行って点群データを取得して、地物の位置および大きさを検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１８５７７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、かかる点群データを利用するために、従来技術では、点群データを形成する各点に対して、人手により鉄塔、電線、樹木、地表などの属性情報を付与していた。このため、多大の人的労力を要するという問題があった。加えて、人手で属性情報を付与するとなると、誤った属性情報を付与する可能性が生ずる。

【0005】

本発明は、上記従来技術による問題点（課題）を解決するためになされたものであって、点群データの各点に効率良く属性を付与することができる点群データ処理システム、点群データ処理サーバ及び点群データ処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するため、本発明は、所定の端末装置と、前記端末装置から点群データを取得する点群データ処理サーバとを通信可能に接続した点群データ処理システムであって、前記点群データ処理サーバは、前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定手段と、前記特定手段により特定された属性情報及び前記点群データを含む点群属性データを記憶する記憶手段と、前記点群属性データを前記端末装置に通知する通知手段とを有することを特徴とする。

【0007】

また、本発明は、上記発明において、前記特定手段は、前記記憶手段に同一領域の過去の点群属性データが存在する場合には、最近傍点探索処理により前記点群データを形成する各点の属性情報を特定することを特徴とする。

【0008】

また、本発明は、上記発明において、前記特定手段は、前記記憶手段に同一領域の過去の点群属性データが存在しない場合には、過去の点群属性データに基づく教師有り学習により生成された学習済モデルに特定対象となる点群データを入力し、該学習済モデルから出力される属性確率に基づいて点群データを形成する各点の属性情報を特定することを特徴とする。

【0009】

また、本発明は、上記発明において、前記学習済モデルは、前記記憶手段に記憶された過去の点群属性データを教師データとして多層ニューラルネットワークに教師有り学習を行わせることにより得られたものであることを特徴とする。

【0010】

また、本発明は、上記発明において、前記属性情報は、鉄塔、電線、樹木又は地表のクラスを含むことを特徴とする。

【0011】

また、本発明は、所定の端末装置から点群データを取得する点群データ処理サーバであって、前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定手段と、前記特定手段により特定された属性情報及び前記点群データを含む点群属性データを記憶する記憶手段と、前記点群属性データを前記端末装置に通知する通知手段とを有することを特徴とする。

【0012】

また、本発明は、所定の端末装置と、前記端末装置から点群データを取得する点群データ処理サーバとを通信可能に接続した点群データ処理システムにおける点群データ処理方法であって、前記点群データ処理サーバが、前記端末装置から取得した点群データを形成する各点の属性情報を特定する特定工程と、前記点群データ処理サーバが、前記特定工程により特定された属性情報及び前記点群データを含む点群属性データを記憶部に格納する格納工程と、前記点群データ処理サーバが、前記点群属性データを前記端末装置に通知する通知工程とを含むことを特徴とする。

【発明の効果】

【0013】

本発明によれば、点群データの各点に効率良く属性を付与することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、実施形態に係る点群データ処理システムの概要を説明するための説明図である。

【図2】図２は、図１に示した点群データ処理サーバの構成を示す機能ブロック図である。

【図3】図３は、図２に示した学習済モデルによる３Ｄ点群データの属性の判定を説明するための説明図である。

【図4】図４は、図２に示したＣＮＮの層構成の一例を示す図である。

【図5】図５は、図２に示した教師データの一例を示す図である。

【図6】図６は、図２に示した３Ｄ点群データの一例を示す図である。

【図7】図７は、図２に示した学習済モデルから出力される属性確率の一例を示す図である。

【図8】図８は、図２に示した３Ｄ点群データ及び３Ｄ点群属性データの表示例を示す図である。

【図9】図９は、図２に示した点群データ処理サーバの処理手順を示すフローチャートである。

【図10】図１０は、図２に示した教師データにＲＧＢの色情報を追加したデータの一例を示す図である。

【発明を実施するための形態】

【0015】

以下に、本発明に係る点群データ処理システム、点群データ処理サーバ及び点群データ処理方法の実施形態を図面に基づいて詳細に説明する。

【0016】

＜定義＞
本実施形態における「３Ｄ点群データ」とは、ヘリコプター、航空機又はドローンなどの飛行体からレーザ光を照射し、対象物から反射された反射光に基づいて取得された３次元の点群データである。また、「属性情報」とは、点群データを形成する各点の属性を示す情報であり、鉄塔、電線、樹木又は地表等からなる。

【0017】

＜点群データ処理システムの概要＞
まず、本実施形態に係る点群データ処理システムの概要について説明する。図１は、実施形態に係る点群データ処理システムの概要を説明するための説明図である。

【0018】

図１に示すように、点群データ処理サーバ１０と、端末装置２０とがネットワークＮを介して接続されたシステムである。端末装置２０は、記憶部に記憶した３Ｄ点群データを点群データ処理サーバ１０に送信し、属性情報の付与依頼を行う装置である。

【0019】

点群データ処理サーバ１０は、端末装置２０から受信した３Ｄ点群データ１２ｄを形成する各点に属性情報を付与して３Ｄ点群属性データ１２ｆを生成し、生成した３Ｄ点群属性データ１２ｆを端末装置２０に通知するクラウドサーバ又はサーバ装置である。本実施の形態では、点群データ処理サーバ１０がサーバ装置である場合について説明する。

【0020】

点群データ処理サーバ１０は、端末装置２０からある領域の３Ｄ点群データを受信したならば、同じ領域の過去の３Ｄ点群属性データ１２ｆを記憶しているか否かを判定する。その結果、同じ領域の過去の３Ｄ点群属性データ１２ｆを記憶している場合には、周知の「最近傍点探索アルゴリズム」を用いて３Ｄ点群データ１２ｄを形成する各点に属性情報を付与する。例えば、３Ｄ点群データ１２ｄのある点Ｐに対応する３Ｄ点群属性データ１２ｆの点Ｐ’の属性情報が「樹木」である場合には、点Ｐの属性情報を「樹木」とする。なお、３Ｄ点群属性データ１２ｆの点Ｐ’は、３Ｄ点群データ１２ｄの点Ｐの位置座標に近い点とする。

【0021】

これに対して、同じ領域の過去の３Ｄ点群属性データ１２ｆを記憶していない場合には、あらかじめ深層学習により生成した学習済モデル１２ｃを用いて３Ｄ点群データ１２ｄを形成する各点に属性情報を付与する。具体的には、過去の３Ｄ点群属性データ１２ｆを教師データとして周知のＣＮＮ（Convolutional Neural Network）に教師有り学習を行わせて、学習済モデル１２ｃを生成しておく。そして、この学習済モデル１２ｃに対して端末装置２０から受信した３Ｄ点群データ１２ｄを入力したならば、学習済モデルから３Ｄ点群データ１２ｄを形成する各点の属性確率（鉄塔である確率、電線である確率、樹木である確率、地表である確率等）が出力される。そして、この属性確率に基づいて３Ｄ点群属性データ１２ｆを生成する。

【0022】

＜点群データ処理サーバ１０の構成＞
次に、図１に示した点群データ処理サーバ１０の構成について説明する。図２は、図１に示した点群データ処理サーバ１０の構成を示す機能ブロック図である。図２に示すように、点群データ処理サーバ１０は、通信Ｉ／Ｆ部１１と、記憶部１２と、制御部１３とを有する。

【0023】

通信Ｉ／Ｆ部１１は、端末装置２０とネットワークを介して通信を行うためのインターフェース部である。

【0024】

記憶部１２は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、ＣＮＮ１２ａと、教師データ１２ｂと、学習済モデル１２ｃと、３Ｄ点群データ１２ｄと、属性定義データ１２ｅと、３Ｄ点群属性データ１２ｆとを記憶する。

【0025】

ＣＮＮ１２ａは、複数の層間を共通重みの局所結合で繋いだ多層ニューラルネットワークである。入力層、出力層、そしてその間にある畳み込み層及びプーリング層などにより形成される。

【0026】

教師データ１２ｂは、深層学習の学習済モデル１２ｃを教師有り学習させるためのデータであり、ここでは過去の３Ｄ点群属性データ１２ｆを教師データ１２ｂとして利用する。３Ｄ点群属性データ１２ｆは、ＣＮＮ１２ａに対する入力データとして用いる３Ｄ点群データ１２ｄと、正解データとなる属性情報が含まれるため、ＣＮＮ１２ａからの出力が属性情報となるようにバックプロパゲーションを行って重みを決定する処理を繰り返す。

【0027】

学習済モデル１２ｃは、ＣＮＮ１２ａに対して多数の過去の３Ｄ点群属性データ１２ｆを用いた教師有り学習を行わせた結果として得られる学習済モデルである。この学習済モデル１２ｃに対して新たな３Ｄ点群データ１２ｄを入力したならば、この学習済モデル１２ｃから属性情報が出力される。

【0028】

３Ｄ点群データ１２ｄは、端末装置２０から受信した３次元の点群データである。この３Ｄ点群データ１２ｄは、ヘリコプター、航空機又はドローン等の飛行体に搭載されたレーザ装置からレーザ波を地表に向けて照射し、その反射光に基づいて生成される。

【0029】

属性定義データ１２ｅは、３Ｄ点群データ１２ｄの各点の属性の定義データであり、鉄塔、電線、樹木、地表等が含まれる。３Ｄ点群属性データ１２ｆは、３Ｄ点群データ１２ｄに対して属性情報が付与されたデータである。この３Ｄ点群属性データ１２ｆには、過去の３Ｄ点群属性データも含まれる。

【0030】

制御部１３は、点群データ処理サーバ１０の全体制御を行う制御部であり、学習処理部１４と、点群属性データ生成部１５とを有する。実際には、これらのプログラムをＣＰＵにロードして実行することにより、学習処理部１４と、点群属性データ生成部１５とにそれぞれ対応するプロセスを実行させることになる。

【0031】

学習処理部１４は、過去の３Ｄ点群属性データ１２ｆを教師データ１２ｂとして利用して、ＣＮＮ１２ａに深層学習の教師有り学習を行わせて学習済モデル１２ｃを生成する処理部である。なお、ここでは説明の便宜上、点群データ処理サーバ１０上で学習済モデル１２ｃを生成する場合について説明するが、高速処理可能なクラウド上で学習済モデル１２ｃを生成することもできる。

【0032】

点群属性データ生成部１５は、３Ｄ点群データ１２ｄの各点に属性情報を付与した点群属性データを生成する処理部であり、点群データ取得部１５ａと、処理種別判定部１５ｂと、最近傍点探索処理部１５ｃと、ＡＩ判定部１５ｄとを有する。

【0033】

点群データ取得部１５ａは、端末装置２０から点群データを取得する処理部である。具体的には、端末装置２０は、ヘリコプター、航空機又はドローンなどの飛行体により生成された３Ｄ点群データを飛行体から受信して記憶部に記憶しており、この端末装置２０から送信された３Ｄ点群データを受信して記憶部１２に３Ｄ点群データ１２ｄとして記憶する。

【0034】

処理種別判定部１５ｂは、記憶部１２に記憶された３Ｄ点群データ１２ｄ及び３Ｄ点群属性データ１２ｆに基づいて、３Ｄ点群データ１２ｄを形成する各点の属性情報を特定するための処理種別を判定する処理部である。かかる処理種別には、（１）最近傍点探索処理により属性種別を特定する処理種別と、（２）学習済モデル１２ｃを用いて属性種別を特定する処理種別とがある。

【0035】

具体的には、端末装置２０からある領域の３Ｄ点群データを受信した場合に、同じ領域の過去の３Ｄ点群属性データ１２ｆを記憶しているか否かを判定する。例えば、３Ｄ点群データ１２ｄのファイル名に領域ＩＤを含めておき、記憶部１２内に同一の領域ＩＤを含むものが存在するか否かによって、同じ領域の過去の３Ｄ点群属性データ１２ｆを記憶しているか否かを判定することができる。

【0036】

最近傍点探索処理部１５ｃは、最近傍点探索処理により属性種別を特定する処理部である。具体的には、３Ｄ点群データ１２ｄと同一領域の過去の３Ｄ点群属性データ１２ｆが記憶部１２に存在する場合に、３Ｄ点群データ１２ｄを形成する各点が３Ｄ点群属性データ１２ｆを形成するどの点に相当するかを最近傍点探索アルゴリズムにより求め、３Ｄ点群属性データ１２ｆの点の属性情報を３Ｄ点群データ１２ｄの点の属性情報であると特定する。

【0037】

ＡＩ判定部１５ｄは、学習済モデル１２ｃを用いて属性種別を特定する処理部である。具体的には、３Ｄ点群データ１２ｄと同一領域の過去の３Ｄ点群属性データ１２ｆが記憶部１２に存在しない場合には、図３に示すように、３Ｄ点群データ１２ｄを学習済モデル１２ｃに入力する。これにより、学習済モデル１２ｃから３Ｄ点群データ１２ｄを形成する各点の属性確率（Ｐ１、Ｐ２、Ｐ３、Ｐ４）が出力される。この属性確率は、例えば、クラス１（鉄塔）である確率が「０．０１」、クラス２（電線）である確率が「０．０１」、クラス３（樹木）である確率が「０．９６」、クラス４（地表）である確率が「０．０２」のように出力される。

【0038】

ＡＩ判定部１５ｄは、各クラスの属性確率を比較し、属性確率が最大値であるクラスを、３Ｄ点群データ１２ｄを形成する点の属性情報として判定する。なお、ＡＩ判定部１５ｄは、各クラスの属性確率を所定のしきい値（例えば「０．８０」）と比較し、属性確率が所定のしきい値を超える場合には、そのクラスが３Ｄ点群データ１２ｄを形成する点の属性情報として判定してもよい。

【0039】

＜ＣＮＮ１２ｃについて＞
次に、図２に示したＣＮＮ１２ｃの層構成の一例について説明する。図４は、図２に示したＣＮＮ１２ｃの層構成の一例を示す図である。図４に示すように、ＣＮＮ１２ａは、コンボリューション層（Convolution）５１、コンボリューション層（Convolution）５２、アベレージプーリング層（Average Pooling）５３、コンボリューション層（Convolution）５４、アベレージプーリング層（Average Pooling）５５、全結合層（Fully Connect）５６、全結合層（Fully Connect）５７及び出力層（Softmax）５８を有する。

【0040】

コンボリューション層５１，５２，５４は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層５３，５５は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、ＣＮＮの隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層５６，５７は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified Linear Unit）等を用いることができる。出力層５８は、全結合層５７からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。なお、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。なお、ＣＮＮの基本構造は公知技術であるため、ここではその詳細な説明を省略する。

【0041】

そして、ＣＮＮ１２ｃに対して教師データ１２ｂを入力し、正解データを付与してバックプロパゲーションを行わせ、各パスの重みを決定する教師有り学習処理を繰り返すことにより、学習済モデル１２ｃを生成する。

【0042】

＜教師データ１２ｂについて＞
次に、図２に示した教師データ１２ｂの一例について説明する。図５は、図２に示した教師データ１２ｂの一例を示す図である。図５に示すように、教師データ１２ｂとしては、記憶部１２に記憶された過去の３Ｄ点群属性データ１２ｆを用いる。この３Ｄ点群属性データ１２ｆは、３Ｄ点群データ１２ｄと正解データとしてのクラスからなる。３Ｄ点群データ１２ｄは、点データの番号に対して、Ｘ座標、Ｙ座標、Ｚ座標及び強度を対応付けたデータである。

【0043】

図５は、番号２５５に対して、Ｘ座標「５２７」、Ｙ座標「３５８」、Ｚ座標「５１９」、強度「１９３」、正解データのクラス「４」が対応付けられた状態を示している。同様に、番号２５６に対して、Ｘ座標「５２７」、Ｙ座標「３５９」、Ｚ座標「５１０」、強度「１５３」、正解データのクラス「３」が対応付けられている。また、番号２５７に対して、Ｘ座標「５２７」、Ｙ座標「３６０」、Ｚ座標「４２７」、強度「１２５」、正解データのクラス「２」が対応付けられている。また、番号２５８に対して、Ｘ座標「５２７」、Ｙ座標「３６１」、Ｚ座標「９４９」、強度「１４８」、正解データのクラス「１」が対応付けられている。

【0044】

＜３Ｄ点群データについて＞
次に、図２に示した３Ｄ点群データ１２ｄについて説明する。図６は、図２に示した３Ｄ点群データ１２ｄの一例を示す図である。図６に示すように、３Ｄ点群データ１２ｄは、点データの番号に対して、Ｘ座標、Ｙ座標、Ｚ座標及び強度が対応付けられている。

【0045】

ここでは、番号「１０００」に対して、Ｘ座標「１０７」、Ｙ座標「２０１」、Ｚ座標「５１２」及び強度「１９２」が対応付けられ、番号「１００１」に対して、Ｘ座標「１０７」、Ｙ座標「２０２」、Ｚ座標「４９６」及び強度「１４９」が対応付けられ、番号「１００２」に対して、Ｘ座標「１０７」、Ｙ座標「２０３」、Ｚ座標「５２１」及び強度「１５９」が対応付けられた状況を示している。

【0046】

＜学習済モデル１２ｃの出力について＞
次に、図２に示す学習済モデル１２ｃから出力される属性確率について説明する。図７は、図２に示した学習済モデル１２ｃから出力される属性確率の一例を示す図である。図７に示すように、点データの番号に対して、クラス１、クラス２、クラス３及びクラス４の属性確率が対応付けられている。例えば、クラス１は「鉄塔」を示し、クラス２は「電線」を示し、クラス３は「樹木」を示し、クラス４は「地表」を示す。

【0047】

図７では、番号「１０００」のデータは、クラス１の確率が「０.０３」であり、クラス２の確率が「０．０１」、クラス２の確率が「０．０４」であり、クラス４の確率が「０．９２」である状況を示している。このため、このデータの属性情報が確率の最大値である場合は、クラス４（地表）となる。

【0048】

また、番号「１００１」のデータは、クラス１の確率が「０.９３」であり、クラス２の確率が「０．０２」であり、クラス３の確率が「０．０３」であり、クラス４の確率が「０．０２」である状況を示している。このため、クラス１（鉄塔）がこのデータの属性情報となる。

【0049】

また、番号「１００２」のデータは、クラス１の確率が「０.０２」であり、クラス２の確率が「０．０４」であり、クラス３の確率が「０．９０」であり、クラス４の確率が「０．０４」である状況を示している。このため、クラス３（樹木）がこのデータの属性情報となる。

【0050】

なお、ここでは説明の便宜上、クラス１～４の４つのカテゴリを設けた場合を示したが、本発明はこれに限定されるものではなく、カテゴリを形成するクラスは４つに限定されるものではない。

【0051】

次に、図２に示した３Ｄ点群データ１２ｄ及び３Ｄ点群属性データ１２ｆの表示例について説明する。図８は、図２に示した３Ｄ点群データ１２ｄ及び３Ｄ点群属性データ１２ｆの表示例を示す図である。

【0052】

図８（ａ）は、３Ｄ点群データ１２ｄの強度を画素値とした画像の一例を示しており、所定の画素値をしきい値として２値化処理している。ここでは、鉄塔、電線、樹木、地表を形成するデータの画素値を２５６階調の「１２８」とし、点データが存在しない画素値を「２５６（白画素）」としている。

【0053】

図８（ｂ）は、３Ｄ点群属性データ１２ｆのうち鉄塔と電線を形成するデータの画素値を「６４」とし、地表を形成するデータの画素値を「９６」とし、樹木を形成するデータの画素値を「１２８」としている。このため、鉄塔及び電線は、目視により樹木及び地表と区別可能とされている。

【0054】

なお、ここでは説明の便宜上、白黒濃淡画像の階調により区別した例を示したが、色により区別することもできる。例えば、地表を形成するデータの画素は「茶」、樹木を形成するデータの画素は「緑」、電線を形成するデータの画素は「黒」、鉄塔を形成するデータの画素は「赤」、データが存在しない画素は「白」とすることにより、目視により区別可能にすることもできる。

【0055】

＜点群データ処理サーバ１０の処理手順＞
次に、図２に示した点群データ処理サーバ１０の処理手順について説明する。図９は、図２に示した点群データ処理サーバ１０の処理手順を示すフローチャートである。図９に示すように、点群データ処理サーバ１０は、記憶部１２に記憶した３Ｄ点群データ１２ｄを読み込む（ステップＳ１０１）。

【0056】

その後、点群データ処理サーバ１０は、読み込んだ３Ｄ点群データ１２ｄと同一領域の３Ｄ点群属性データ１２ｆが存在するか否かを判定する（ステップＳ１０２）。同一領域の３Ｄ点群属性データ１２ｆが存在しない場合には（ステップＳ１０２；Ｎｏ）、３Ｄ点群データ１２ｄを学習済モデル１２ｃに入力する（ステップＳ１０３）。その後、点群データ処理サーバ１０は、学習済モデル１２ｃから出力される属性確率に基づき属性情報を判定し（ステップＳ１０４）、この属性情報を含む３Ｄ点群属性データ１２ｆを記憶部１２に記憶する（ステップＳ１０５）。

【0057】

これに対して、同一領域の３Ｄ点群属性データ１２ｆが存在する場合には（ステップＳ１０２；Ｙｅｓ）、３Ｄ点群データ１２ｄを最近傍点探索アルゴリズムに入力する（ステップＳ１０６）。そして、最近傍点探索アルゴリズムにより３Ｄ点群データ１２ｄの属性情報を判定し（ステップＳ１０７）、ステップＳ１０５に移行する。

【0058】

そして、未処理の３Ｄ点群データ１２ｄが存在する場合には（ステップＳ１０８；Ｙｅｓ）、ステップＳ１０１に移行して同様の処理を繰り返す。これに対して、未処理の３Ｄ点群データ１２ｄが存在しない場合には（ステップＳ１０８；Ｎｏ）、上記一蓮の処理を終了する。

【0059】

このように、本実施形態では、３Ｄ点群データ１２ｄと同一領域の３Ｄ点群属性データ１２ｆが存在するか否か（過去に計測した地域であるか否か）を判定し、過去に計測した地域である場合には、最近傍点探索アルゴリズムにより３Ｄ点群データ１２ｄの属性情報を判定し、新規な地域である場合には、学習済モデル１２ｃにより３Ｄ点群データ１２ｄの属性情報を判定するよう構成したので、３Ｄ点群データ１２ｄの各点に効率良く属性情報を付与することができる。

【0060】

なお、上記実施形態では、点の番号に対して、Ｘ座標、Ｙ座標、Ｚ座標、強度及びクラスを対応付けた教師データ１２ｂを用いる場合を示したが、本発明はこれに限定されるものではなく、図１０に示すように、ＲＧＢの色情報を追加することもできる。

【0061】

また、学習済モデル１２ｃは、ソフトウェアで実装する場合を示したが、本発明はこれに限定されるものではなく、ＡＳＩＣ又はＦＰＧＡなどのハードウェア回路を用いて学習済モデル１２ｃを形成することもできる。

【0062】

上記の実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0063】

本発明に係る点群データ処理システム、点群データ処理サーバ及び点群データ処理方法は、点群データの各点に効率良く属性を付与する場合に適している。

【符号の説明】

【0064】

１０ 点群データ処理サーバ
１１ 通信Ｉ／Ｆ部
１２ 記憶部
１２ａ ＣＮＮ
１２ｂ 教師データ
１２ｃ 学習済モデル
１２ｄ ３Ｄ点群データ
１２ｅ 属性定義データ
１２ｆ ３Ｄ点群属性データ
１３ 制御部
１４ 学習処理部
１５ 点群属性データ生成部
１５ａ 点群データ取得部
１５ｂ 処理種別判定部
１５ｃ 最近傍点探索処理部
１５ｄ ＡＩ判定部
２０ 端末装置
５１、５２、５４ Convolution層
５３、５５ Average Pooling層
５６、５７ Fully Connect層
５８ Softmax層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】