特許7553903 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 田中　成典の特許一覧 ▶ 中村　健二の特許一覧 ▶ 今井　龍一の特許一覧 ▶ 塚田　義典の特許一覧 ▶ 株式会社アスコ大東の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ　Ｓｔｙｌｅ株式会社の特許一覧

特許7553903点群データ管理システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】点群データ管理システム

(51)【国際特許分類】

G06T 17/05 20110101AFI20240911BHJP

G09B 29/00 20060101ALI20240911BHJP

【ＦＩ】

G06T17/05

G09B29/00 Z

【請求項の数】 16

(21)【出願番号】P 2023081357

(22)【出願日】2023-05-17

(62)【分割の表示】P 2019065919の分割

【原出願日】2019-03-29

(65)【公開番号】P2023115009

(43)【公開日】2023-08-18

【審査請求日】2023-05-17

(73)【特許権者】

【識別番号】500063228

【氏名又は名称】田中成典

(73)【特許権者】

【識別番号】502235692

【氏名又は名称】中村健二

(73)【特許権者】

【識別番号】511121768

【氏名又は名称】今井龍一

(73)【特許権者】

【識別番号】517309320

【氏名又は名称】塚田義典

(73)【特許権者】

【識別番号】516119678

【氏名又は名称】株式会社日本インシーク

(73)【特許権者】

【識別番号】519113745

【氏名又は名称】ＩｎｔｅｌｌｉｇｅｎｔＳｔｙｌｅ株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下正

(72)【発明者】

【氏名】田中成典

(72)【発明者】

【氏名】中村健二

(72)【発明者】

【氏名】今井龍一

(72)【発明者】

【氏名】塚田義典

(72)【発明者】

【氏名】梅▲原▼ 喜政

(72)【発明者】

【氏名】平野順俊

(72)【発明者】

【氏名】大月庄治

(72)【発明者】

【氏名】田中恭介

(72)【発明者】

【氏名】川村義和

(72)【発明者】

【氏名】楠本博

【審査官】岡本俊威

(56)【参考文献】

【文献】特開２０１６－１０３２６３（ＪＰ，Ａ）

【文献】特開２０１７－１３８２３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ１１／００－１９／２０

Ｇ０９Ｂ２９／００

(57)【特許請求の範囲】

【請求項1】

第１・第２のの点群データサーバ装置、属性データサーバ装置とこれらサーバ装置と通信可能な複数の端末装置とを備えた点群データ管理システムであって、
前記第１点群サーバ装置は、地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録しており、
前記第２点群サーバ装置は、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録しており、
前記属性データサーバ装置は、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しており、
前記端末装置は、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた点群データ管理システムであって、
前記経時変化取得手段は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする点群データ管理システム。

【請求項2】

地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録する第１点群サーバ装置および、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録する第２点群サーバ装置および地物の外形を囲った、絶対座標によって示される外形領域データを記録する属性データサーバ装置と通信可能な端末装置であって、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた端末装置であって、
前記経時変化取得手段は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする端末装置。

【請求項3】

地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録する第１点群サーバ装置および、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録する第２点群サーバ装置および地物の外形を囲った、絶対座標によって示される外形領域データを記録する属性データサーバ装置と通信可能な端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段として機能させるための端末プログラムであって、
前記経時変化取得手段は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする端末プログラム。

【請求項4】

請求項３のプログラムにおいて、
前記第１点群サーバ装置と前記第２点群サーバ装置は、一つの点群サーバ装置として構築されていることを特徴とするプログラム。

【請求項5】

請求項３のプログラムにおいて、
前記属性データサーバ装置は、前記点群サーバ装置と一体として構築されたサーバ装置であることを特徴とするプログラム。

【請求項6】

地物を含む第１日時における第１三次元点群データファイルと、前記地物と同一の地物を含む第２日時における第２三次元点群データファイルと、前記地物の外形を囲った外形領域データとを記録する記録部と、
前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた点群データ管理装置であって、
前記経時変化取得手段は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする点群データ管理装置。

【請求項7】

点群データ管理装置をコンピュータによって実現するための点群データ管理プログラムであって、コンピュータを
地物を含む第１日時における第１三次元点群データおよび前記地物と同一の地物を含む第２日時における第２三次元点群データの外形を囲った外形領域データを取得し、当該外形領域データに基づいて、当該地物の第１三次元点群データを取得し、当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段として機能させる点群データ管理プログラムであって、
前記経時変化取得手段は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする点群データ管理プログラム。

【請求項8】

地物を含む第１日時における第１三次元点群データファイルを記録し、前記地物と同一の地物を含む第２日時における第２三次元点群データファイルを記録しておき、
前記地物の外形を囲った、外形領域データを記録しておき、
コンピュータによって、前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得し、
コンピュータによって、取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する点群データ管理方法であって、
前記経時変化の取得は、少なくとも前記第１・第２三次元点群データの三次元モデルの外形線の法線ベクトルに基づいて比較を行うことを特徴とする点群データ管理方法。

【請求項9】

第１・第２のの点群データサーバ装置、属性データサーバ装置とこれらサーバ装置と通信可能な複数の端末装置とを備えた点群データ管理システムであって、
前記第１点群サーバ装置は、地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録しており、
前記第２点群サーバ装置は、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録しており、
前記属性データサーバ装置は、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しており、
前記端末装置は、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた点群データ管理システムであって、
前記経時変化取得手段は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする点群データ管理システム。

【請求項10】

地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録する第１点群サーバ装置および、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録する第２点群サーバ装置および地物の外形を囲った、絶対座標によって示される外形領域データを記録する属性データサーバ装置と通信可能な端末装置であって、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた端末装置であって、
前記経時変化取得手段は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする端末装置。

【請求項11】

地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録する第１点群サーバ装置および、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録する第２点群サーバ装置および地物の外形を囲った、絶対座標によって示される外形領域データを記録する属性データサーバ装置と通信可能な端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段として機能させるための端末プログラムであって、
前記経時変化取得手段は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする端末プログラム。

【請求項12】

請求項１１のプログラムにおいて、
前記第１点群サーバ装置と前記第２点群サーバ装置は、一つの点群サーバ装置として構築されていることを特徴とするプログラム。

【請求項13】

請求項１１のプログラムにおいて、
前記属性データサーバ装置は、前記点群サーバ装置と一体として構築されたサーバ装置であることを特徴とするプログラム。

【請求項14】

地物を含む第１日時における第１三次元点群データファイルと、前記地物と同一の地物を含む第２日時における第２三次元点群データファイルと、前記地物の外形を囲った外形領域データとを記録する記録部と、
前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段と、
を備えた点群データ管理装置であって、
前記経時変化取得手段は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする管理装置。

【請求項15】

点群データ管理装置をコンピュータによって実現するための点群データ管理プログラムであって、コンピュータを
地物を含む第１日時における第１三次元点群データおよび前記地物と同一の地物を含む第２日時における第２三次元点群データの外形を囲った外形領域データを取得し、当該外形領域データに基づいて、当該地物の第１三次元点群データを取得し、当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、
取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段として機能させる点群データ管理プログラムであって、
前記経時変化取得手段は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする管理プログラム。

【請求項16】

地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録し、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録しておき、
前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しておき、
コンピュータによって、前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得し、
コンピュータによって、取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する点群データ管理方法であって、
前記経時変化の取得は、少なくとも第１・第２三次元点群データを所定エリアに区分し、当該所定エリア内に含まれる点の数または反射強度に基づいて比較を行うことを特徴とする点群データ管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、地物を計測した点群データを管理するシステムに関するものである。

【背景技術】

【0002】

無人航空機（ＵＡＶ）や自動車などにレーザ測量装置を搭載し、地表面の形状や地物を計測することが行われている。たとえば、自動車を用いたＭＭＳ（モービル・マッピング・システム）では、自動車の天井にＧＰＳ受信機、動画撮像カメラ、ＩＭＵ、レーザスキャナを搭載し、自動車によって道路などを走行しながら計測を行う。動画撮像カメラは、アナログ、ディジタルどちらでもよい。

【0003】

このような計測によって、地表面や地物外形を示す三次元点群データを得ることができる。ＧＰＳによって得た位置およびレーザスキャナの走査方向と距離によって、それぞれの三次元点群データには、絶対座標（平面直角座標、緯度・経度・標高など）による位置が付されている。また、動画撮像カメラによって地表面や地物が撮像されて動画データ（静止画データ）が生成される。この動画データには、刻々と変化する撮像位置が紐付けられて記録される。

【0004】

三次元点群データを得ることで、地表面や地物の現状を知ることができ、保守、地図作成などに役立てることができる。

【0005】

発明者らは、三次元点群データ中の地物に対して、その領域を絶対座標で示すデータや名称などを含む属性データを付与することを提唱している。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記属性データによって、標準化が進みデータ蓄積の豊富化が進んでいるが、その一方で、当該属性データを保守等に利用する際に、効率良く三次元点群データを管理することのできるシステムが望まれている。

【0007】

この発明は、上記のような問題点を解決して、三次元点群データを効率よく管理することのできるシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

この発明の独立して適用可能な特徴を以下に列挙する。

【0009】

(1)(2)(3)この発明に係る点群データ管理システムは、第１・第２の点群データサーバ装置、属性データサーバ装置とこれらサーバ装置と通信可能な複数の端末装置とを備えた点群データ管理システムであって、前記第１点群サーバ装置は、地物を含む絶対座標による第１方向からの第１三次元点群データファイルを記録しており、前記第２点群サーバ装置は、前記地物と同一の地物を含む絶対座標による第２方向からの第２三次元点群データファイルを記録しており、前記属性データサーバ装置は、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しており、前記端末装置は、前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、取得した第１・第２方向からの第１・第２三次元点群データに基づいて、当該地物の三次元形状を構築する三次元モデル構築手段とを備えている。

【0010】

したがって、同一地物についての複数の異なる方向からの三次元点群データを容易に検索して取得し、より完成度の高い三次元モデルを構築することができる。

【0011】

(4)(5)(6)この発明に係る点群データ管理システムは、第１・第２の点群データサーバ装置、属性データサーバ装置とこれらサーバ装置と通信可能な複数の端末装置とを備えた点群データ管理システムであって、前記第１点群サーバ装置は、地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録しており、前記第２点群サーバ装置は、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録しており、前記属性データサーバ装置は、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しており、前記端末装置は、前記属性データサーバ装置から前記地物の外形領域データを取得し、当該外形領域データに基づいて、前記第１点群サーバ装置から第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、前記第２点群サーバ装置から第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得する三次元点群データ取得手段と、取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得する経時変化取得手段とを備えている。

【0012】

したがって、同一地物についての計測日時の異なる三次元点群データを容易に取得し、地物の経年変化を取得することができる。

【0013】

(7)この発明に係る点群データ管理システムは、第１点群サーバ装置と前記第２点群サーバ装置が、一つの点群サーバ装置として構築されていることを特徴としている。

【0014】

(8)この発明に係る点群データ管理システムは、属性データサーバ装置が、前記点群サーバ装置と一体として構築されたサーバ装置であることを特徴としている。

【0015】

(9)この発明に係る点群データ管理方法は、地物を含む絶対座標による第１方向からの第１三次元点群データファイルを記録し、前記地物と同一の地物を含む絶対座標による第２方向からの第２三次元点群データファイルを記録しておき、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しておき、コンピュータによって、前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに対応する当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに対応する当該地物の第２三次元点群データを取得し、コンピュータによって、取得した第１・第２方向からの第１・第２三次元点群データに基づいて、合成した三次元点群データを得ることを特徴としている。

【0016】

したがって、同一地物についての複数の異なる方向からの三次元点群データを容易に検索して取得し、より精度の高い三次元点群データを得ることができる。

【0017】

(10)この発明に係る三次元点群データ管理方法は、地物を含む絶対座標による第１日時における第１三次元点群データファイルを記録し、前記地物と同一の地物を含む絶対座標による第２日時における第２三次元点群データファイルを記録しておき、前記地物の外形を囲った、絶対座標によって示される外形領域データを記録しておき、コンピュータによって、前記地物の外形領域データを取得し、当該外形領域データに基づいて、第１三次元点群データファイルに含まれる当該地物の第１三次元点群データを取得し、第２三次元点群データファイルに含まれる当該地物の第２三次元点群データを取得し、コンピュータによって、取得した第１・第２日時における第１・第２三次元点群データに基づいて、当該地物の経時変化を取得することを特徴としている。

【0018】

したがって、同一地物についての異なる日時の三次元点群データを容易に検索して取得し、地物の経時変化を取得することができる。

【0019】

(11)(12)(13)(14)(15)この発明に係る地物検索システムは、点群データサーバ装置、属性データサーバ装置とこれらサーバ装置と通信可能な複数の端末装置とを備えた地物検索システムであって、前記サーバ装置は、移動しながら複数の地物の三次元点群データを計測した際に地物を撮像した撮像位置情報の付された動画データおよび前記地物の外形を囲った外形領域データを含む属性データを記録する記録部と、前記複数の地物の属性データをユーザによる地物選択のために端末装置に送信する属性データ送信手段と、端末装置からの地物選択情報を受けて、選択された地物の属性データに含まれる外形領域データに対応する地物位置を取得する地物位置取得手段と、前記動画データから、前記地物位置の近傍の撮像位置情報の付された部分を抽出して端末装置に送信する動画データ抽出手段と、前記端末装置は、サーバ装置から前記地物の属性データを取得し、ユーザによる地物選択のために表示部に表示する地物属性データ表示手段と、ユーザによる地物の選択情報をサーバ装置に送信する選択情報送信手段と、サーバ装置から送信されてきた抽出された動画データを受信し、表示部にて再生する動画データ再生手段とを備えている。

【0020】

したがって、動画中に撮像された地物を容易に検索して表示することができる。

【0021】

(16)この発明に係る地物検索システムは、外形領域データが、その位置が絶対座標にて示されており、動画データ抽出手段が、複数の動画データから前記地物位置の近傍の撮像位置情報の付された部分を抽出し、複数の抽出動画データを送信することを特徴としている。

【0022】

したがって、一つの外形領域データがあれば、複数の動画データにおける地物を検索することができる。

【0023】

(17)この発明に係る地物検索システムは、動画データ抽出手段が、選択された地物の三次元点群データを取得し、当該三次元点群データの少なくとも輪郭に基づいて、抽出した動画中の対応する地物を特定してマークを施す動画中地物特定手段を備えることを特徴としている。

【0024】

したがって、動画中から地物を見いだすことが容易となる。

【0025】

(18)この発明に係る地物検索システムは、サーバ装置が、複数の個別サーバ装置を備えて構成されており、前記動画データまたは前記属性データは、異なる個別サーバ装置に記録されていることを特徴としている。

【0026】

したがって、異なる個別サーバ装置に点在する動画データから地物を検索することができる。

【0027】

(19)この発明に係る地物検索システムは、移動しながら複数の地物の三次元点群データを計測した際に地物を撮像した撮像位置情報の付された動画データおよび前記地物の外形を囲った外形領域データを含む属性データを記録しておき、コンピュータが、前記複数の地物の属性データをユーザによる地物選択のために表示し、コンピュータが、当該選択を受けて、選択された地物の属性データに含まれる外形領域データに対応する地物位置を取得し、コンピュータが、前記動画データから、前記地物位置の近傍の撮像位置情報の付された部分を抽出して表示することを特徴としている。

【0028】

したがって、動画中に撮像された地物を容易に検索して表示することができる。

【0029】

(20)(21)この発明に係る外形領域データ生成装置は、絶対座標を有する地物の平面図に基づいて平面外形を決定する平面外形決定手段と、当該地物の三次元点群データに基づいて標高方向の下端および上端を決定する手段と、前記平面外形を前記下端から前記上端まで連続させた際の三次元外形を外形領域データとする三次元外形決定手段とを備えている。

【0030】

したがって、容易かつ正確に地物の外形領域データを生成することができる。

【0031】

「三次元点群データ取得手段」は、実施形態においては、ステップＳ１３がこれに対応する。

【0032】

「三次元モデル構築手段」は、実施形態においては、ステップＳ１５がこれに対応する。

【0033】

「経時変化取得手段」は、実施形態においては、ステップＳ１８がこれに対応する。

【0034】

「属性データ送信手段」は、実施形態においては、ステップＳ５１がこれに対応する。

【0035】

「地物位置取得手段」は、実施形態においては、ステップＳ５２がこれに対応する。

【0036】

「動画データ抽出手段」は、実施形態においては、ステップＳ５４がこれに対応する。

【0037】

「地物属性データ表示手段」は、実施形態においては、ステップＳ１２がこれに対応する。

【0038】

「選択情報送信手段」は、実施形態においては、ステップＳ１９がこれに対応する。

【0039】

「動画データ再生手段」は、実施形態においては、ステップＳ２０がこれに対応する。－
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

【図面の簡単な説明】

【0040】

【図1】この発明の第１の実施形態による点群データ管理システムの機能ブロック図である。

【図2】点群データ管理システムのシステム構成である。

【図3】端末装置のハードウエア構成である。

【図4】端末プログラムのフローチャートである。

【図5】三次元点群データの例である。

【図6】地盤点を検出するための処理を示す図である。

【図7】地物の設計データの例である。

【図8】地物の平面図に三次元点群データを重ねた状態を示す図である。

【図9】地物の三次元点群データ例である。

【図10】属性データの項目例である。

【図11】地物の三次元点群データに基づいて地物名を推定する処理を説明するための図である。

【図12】地物の三次元点群データの取得と三次元モデル生成のフローチャートである。

【図13】地物の三次元点群データの取得と三次元モデル生成のフローチャートである。

【図14】地物の外形形状の表示例である。

【図15】図１５Ａは第１の方向からの地物の第１三次元点群データであり、図１５Ｂは第２の方向からの地物の第２三次元点群データである。

【図16】合成された三次元点群データである。

【図17】図１７Ａは生成された三次元モデルである。図１７Ｂは、計測方向の表示例である。

【図18】図１８Ａは第１三次元点群データ、図１８Ｂは第２三次元点群データ、図１８Ｃは合成三次元点群データである。

【図19】第２の実施形態による点群データ管理システムの機能ブロック図である。

【図20】経時変化取得のためのフローチャートである。

【図21】経時変化取得のためのフローチャートである。

【図22】地物の経時変化の表示例である。

【図23】日時の異なる三次元点群データの選択を求める画面例である。

【図24】第３の実施形態による地物検索システムの機能ブロック図である。

【図25】地物検索システムのシステム構成である。

【図26】地物検索のフローチャートである。

【図27】動画データの構成を示す図である。

【図28】撮像エリアを示す図である。

【図29】動画抽出のフローチャートである。

【図30】各時刻における撮像軌跡２００と地物１０６との関係を示す図である。

【図31】検索対象地物にマークが付された画像を示す図である。

【発明を実施するための形態】

【0041】

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による点群データ管理システムの全体構成を示す。第１点群サーバ装置４０ａには、地物を含む絶対座標による第１方向からの第１三次元点群データファイルが記録されている。第２点群サーバ装置４０ｂには、地物を含む絶対座標による第２方向からの第２三次元点群データファイルが記録されている。属性データサーバ装置６０には、地物の外形を囲った絶対座標による外形領域データが記録されている。

【0042】

ここで、地物とは、たとえば、道路設計基準情報（距離標、道路中心線、測点など）、道路面地物（車道部、歩道部、軌道敷など）、道路面と領域を共有する地物（停止線、区画線、横断歩道、路面標示など）、道路面以外の地物（標識柱、照明柱、信号機、歩道橋など）、道路面を指示する地物（擁壁、橋梁、法面、トンネル、シェッド等）である。なお、道路地物には限らない。

【0043】

端末装置２０は、これらサーバ装置と通信可能である。端末装置２０の三次元点群データ取得手段２２は、所望の地物の外形領域データを、属性データサーバ装置６０から取得する。三次元点群データ取得手段２２は、取得した地物の外形領域データに基づいて、第１点群サーバ装置４０ａにアクセスし、当該領域に含まれる三次元点群データを第１三次元点群データとして取得する。さらに、三次元点群データ取得手段２２は、取得した地物の外形領域データに基づいて、第１点群サーバ装置４０ｂにアクセスし、当該領域に含まれる三次元点群データを第２三次元点群データとして取得する。

【0044】

三次元モデル構築手段２４は、上記取得した第１三次元点群データと第２三次元点群データに基づいて、当該地物の三次元形状を構築する。このように、絶対座標の付された外形領域データであることを利用して、インターネット上などに分散して記録されている、対象となる地物の異なる方向からの三次元点群データを集めることができる。したがって、より完全な地物の三次元モデルを形成することができる。

【0045】

1.2システム構成
図２に、一実施形態による点群データ管理システムのシステム構成を示す。インターネット上には点群サーバ装置４０ａ、４０ｂ・・・４０ｎが設けられている。また、属性データサーバ装置６０も設けられている。これらサーバ装置４０ａ、４０ｂ・・・４０ｎ、６０に、インターネットを介して通信可能に端末装置２０ａ、２０ｂ・・・２０ｎが設けられている。

【0046】

端末装置２０のハードウエア構成を、図３に示す。ＣＰＵ（ＧＰＵ等でもよい。以下同じ）８０には、メモリ８２、ディスプレイ８４、ハードディスク８６、ＤＶＤ－ＲＯＭドライブ８８、キーボード／マウス９０、通信回路９２が接続されている。通信回路９２は、インターネットに接続するためのものである。

【0047】

ハードディスク８６には、オペレーティングシステム９４、端末プログラム９６が記録されている。端末プログラム９６は、オペレーティングシステム９４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ９８に記録されていたものを、ＤＶＤ－ＲＯＭドライブ８８を介して、ハードディスク８６にインストールしたものである。

【0048】

点群サーバ装置４０、属性データサーバ装置６０も、同様のハードウエア構成である。ただし、点群サーバ装置４０においては、端末プログラム９６に代えて、点群サーバプログラムが記録されている。また、属性データサーバ装置６０においては、端末プログラム９６に代えて、属性データサーバプログラムが記録されている。

【0049】

1.3点群データの公開処理
測量事業者は、自動車などに搭載したＭＭＳなどにより道路および地物の三次元点群データおよび動画を生成する。生成された三次元点群データは、たとえば、ＤＶＤ－ＲＯＭなどの記録媒体に記録され、端末装置２０のハードディスク８６に取り込まれる。

【0050】

測量事業者は、端末プログラム９６を起動し記録された三次元点群データに基づいて属性データを生成する。図４に、端末プログラム９６における属性データ生成処理のフローチャートを示す。

【0051】

端末装置２０ａのＣＰＵ８０は、まず、記録されている三次元点群データを読み出す（ステップＳ１）。三次元点群データの例を図５に示す。この実施形態では、測定対象の色、レーザの反射強度も含めて計測を行った三次元点群データとしている。また、三次元点群データには、測定方法・測定機器の情報が記録されている。

【0052】

ＣＰＵ８０は、この三次元点群データにおいて、所定距離内にある点同士をクラスタとしてまとめる。これにより、さまざまな大きさのクラスタが形成されることになる。そして、ＣＰＵ８０は、所定体積、所定点群数以下、所定点群密度以下などのクラスタをノイズとして除去する（ステップＳ２）。

【0053】

続いて、ＣＰＵ８０は、Cloth Simulation（クロスシミュレーション）手法などを用いて、地盤点（地表面）の抽出を行う（ステップＳ２）。地盤点抽出において、まず、ＣＰＵ８０は、三次元点群データの標高値を反転する。たとえば、図６Ａに示すような断面の三次元点群データ（図においては点群を線として表している）があれば、図６Ｂに示すような反転三次元点群データが得られる。

【0054】

次に、ＣＰＵ８０は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図６Ｃに、シミュレーションされた布を破線にて示す。続いてＣＰＵ８０は、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、ＣＰＵ８０は標高値を再反転して、図６Ｄに示すような地盤点を得る。

【0055】

このようにして抽出された地盤点は、概ね正確であるが、図６Ｄに示すように、地物の存在する近傍１００において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線が上下方向に対して所定角度以上（たとえば３０度以上）の部分を地盤点から除く。これにより、図６Ｅに示すような地盤点を得ることができる。

【0056】

なお、この実施形態では、地盤点抽出にCloth Simulation（クロスシミュレーション）を用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。

【0057】

以上のようにして地盤点を抽出すると、ＣＰＵ８０は、三次元点群データから地盤点を取り除く。これにより、地盤の上に存在する地物のみの三次元点群データが得られる（ステップＳ４）。

【0058】

次に、ＣＰＵ８０は、ハードディスク８６に記録されている地物の平面的配置を示す設計データを読み出す。この設計データは、上記三次元点群データを計測した地物の設計時の図面である。図７に、設計図の例を示す。ＣＰＵ８０は、この設計データに基づいて、各地物の平面形状を抽出する（ステップＳ５）。この実施形態では、地物の平面外形形状を内包する矩形として平面形状を抽出するようにしている。なお、各地物の平面外形形状をそのまま平面形状として抽出するようにしてもよい。

【0059】

続いて、ＣＰＵ８０は、この平面形状に地物のみの三次元点群データを重ねる。平面形状の基となった設計データの絶対座標と、三次元点群データの絶対座標を合致させて重ね合わせを行う。なお、この際、平面形状の高さ方向の位置を、三次元点群データの地盤点（地表面）の高さ（標高）に合わせるようにする。合致させた状態を示すのが図８である。図８においては、図６、図７の地物のうち歩道橋の部分のみを示している。枠線３００で示すのが歩道橋（地物）の平面外形形状を囲う矩形の平面形状であり、この平面形状３００と歩道橋（地物）の三次元点群データの位置が合致していることがわかる。なお、平面外形形状は、本来平面で表されるものであるが、図８においては、分かりやすくするため高さを持たせて示している。

【0060】

ＣＰＵ８０は、各地物について、地物の平面形状に対応する三次元点群データのうち最も標高の高いものを選択する。その高さを平面形状に与えて、地物の領域を決定する。これにより、図９に示すように、地物を囲う立体形状（直方体）を特定することができる。ＣＰＵ８０は、このようにして生成した立体形状を外形領域データとして記録する。この実施形態では、平面形状と水平方位高の絶対座標による位置と高さとによって外形領域データを記録するようにしている。

【0061】

次に、ＣＰＵ８０は、三次元点群データに各地物の領域を重ねて、ディスプレイ８４に表示する。操作者は、この画面をみて各地物の領域をマウス９０によって選択する。これにより、地物名などの属性データの入力画面が表示されるので、操作者がこの入力を行う。また、外形領域データの立体形状の頂点の座標に基づいて、中心位置（その他、地物を代表する位置を用いてもよい）の座標を算出し地物の座標位置とする。このようにして、属性データを生成し記録することができる。図１０に、この実施形態における属性データの項目を示す。作成日時は、三次元点群データの作成日時（計測日時）である。地物名は、地物の名称である。地物領域は、上記地物の外形を示す外形データである。地物位置は、上記にて算出した中心位置である。この実施形態では、三次元点群データは、ＸＭＬ形式にて記録するようにしている。

【0062】

なお、上記では、地物名を操作者が入力するようにしているが、三次元点群データに基づいて地物名を推定するようにしてもよい。たとえば、図１１に示すように、地物の三次元点群データ６を異なる角度の平面に投影して、当該投影した画像と地物名を学習データとして深層学習プログラム（その他の機械学習プログラムを用いてもよい）を学習させる。さまざまな地物について学習を行い、学習済みの地物推定プログラムを得る。この地物推定プログラムに、地物の推定を行う対象の三次元点群データを与え、自動的に地物名を推定して付与するようにしてもよい。あるいは、推定した地物名を表示し、操作者に確認をさせるようにしてもよい。

【0063】

また、三次元点群データ６と外形領域がずれている可能性もあるので、ディスプレイ８４に表示し、両者の位置が合致するように操作者がマウスなどで位置合わせをするようにしてもよい。

【0064】

以上のようにして属性データを得ることができる。

【0065】

なお、上記では、平面データに高さを与えることによって地物の外形領域を決定するようにしている。しかし、設計データなどの平面データが無い場合には、三次元点群データ自体から外形領域を決定するようにしてもよい。

【0066】

たとえば、次のようにして外形領域を決定する。三次元空間を小さな立方体グリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく。たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。

【0067】

点の存在するグリッドとしてまとめられた各領域について、所定体積、所定点群数以下、所定点群密度以下などの領域はノイズであるとして除去する。残った各領域が地物に対応する領域となる。各領域について、その外形を囲う直方体を設定する。この直方体が地物の外形領域である。

【0068】

以上のようにして、端末装置２０において三次元点群データに対応する属性データを生成することができる。測量事業者は、納品先にこの三次元点群データと属性データを納品する。

【0069】

また、測量事業者の判断により、属性データのみを属性データサーバ装置６０にアップロードすることができる。これにより、三次元点群データを必要とする企業が、属性データサーバ装置６０にアクセスして属性データを参照することができる。属性データに、対応する三次元点群データの提供企業の情報を記録しておけば、三次元点群データを必要とする企業が、これに基づいて測量事業者に三次元点群データの入手依頼を行うことができる。

【0070】

また、三次元点群データを点群サーバ装置４０にアップロードするようにしてもよい。三次元点群データの依頼者が地方公共団体などである場合、所定の点群サーバ装置４０にアップロードするように求めることもある。これにより、三次元点群データと属性データが、インターネット上で公開されることになる。

【0071】

さらに、三次元点群データや属性データの外形領域データは、絶対座標にて示されている。したがって、異なる事業者が、それぞれ異なる点群サーバ装置にアップロードした同一地物についての三次元点群データが複数個ある場合、少なくとも一つの属性データがアップロードされていれば、これら複数の三次元点群データを取得することができる。たとえば、同一地物について、事業者によって異なる方向からの三次元点群データがある場合、両者を取得することで、より完全な三次元点群データを得ることができる。

【0072】

1.4三次元モデル構築処理
次に、上記のようにして公開された複数の三次元点群データに基づいて、三次元モデルを構築する処理について説明する。

【0073】

以下では、特定の地物についての三次元モデルを構築する場合について説明する。

【0074】

図１２、図１３に、三次元モデル構築のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、属性データサーバ装置として示しているのは属性データサーバプログラムのフローチャート、点群サーバ装置として示しているのは点群サーバプログラムのフローチャートである。

【0075】

まず、端末装置２０ｂのＣＰＵ８０（以下端末装置２０ｂと省略することがある）は、属性データサーバ６０にアクセスし、所望の地物の存在する場所を指定する（ステップＳ１１）。場所の指定は、たとえば緯度経度などで範囲を指定して行う。住所、地名を入力（あるいは検索）するようにし、これを緯度経度の範囲に変換してもよい。また、地図上でクリックや選択した範囲を緯度経度の範囲に変換してもよい。

【0076】

これを受けて、属性サーバ装置６０のＣＰＵ（以下属性サーバ装置と省略することがある）は、属性データを検索し当該指定された場所内（場所外の近傍も含めてもよい）にある外形領域データを抽出する（ステップＳ２１）。属性サーバ装置６０は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

【0077】

端末装置２０ｂは、受信した外形領域データに基づいて外形領域と地物名をディスプレイ８４に表示する（ステップＳ１２）。表示例を、図１４に示す。各地物の外形領域１０２～１１２が示され、その近傍に地物名が示されている。

【0078】

ユーザは、端末装置２０ｂのマウス９０を操作し、所望の地物の外形領域を選択する。ここでは、建物の外形領域１１０が選択されたものとして説明を進める。この選択を受けて、端末装置２０ｂは、建物の外形領域１１０の外形領域データを指定して、三次元点群データの要求を各点群サーバ装置４０ａ～４０ｎに送信する（ステップＳ１３）。

【0079】

この要求を受けた各点群サーバ装置４０ａ～４０ｎは、当該外形領域１１０内の三次元点群データを自らが保持しているかどうかを判断し、保持していれば返送する。ここでは、点群サーバ装置４０ａ～４０ｎのうち、点群サーバ装置４０ａ、４０ｂの２つが、建物の外形領域１１０の三次元点群データを保持しているものとして説明を進める。

【0080】

点群サーバ装置４０ａのＣＰＵ（以下、点群サーバ装置４０ａと省略することがある）は、当該建物の外形領域１１０の三次元点群データを、端末装置２０ｂに返信する（ステップＳ３１）。

【0081】

同様に、点群サーバ装置４０ｂのＣＰＵ（以下、点群サーバ装置４０ｂと省略することがある）は、当該建物の外形領域１１０の三次元点群データを、端末装置２０ｂに返信する（ステップＳ４１）。

【0082】

なお、点群サーバ装置４０ａ、４０ｂは、指定された外形領域１１０に対して、計測誤差を考慮して広くした領域の三次元点群データを送信するようにしている。計測誤差は、計測方法・機器によって異なるので、当該三次元点群データがどのような計測方法・機器によって計測されたのかにより異なる。したがって、計測方法・機器により上記の広くした領域は異なる。

【0083】

端末装置２０ｂは、点群サーバ装置４０ａからの三次元点群データ（第１三次元点群データ）と、点群サーバ装置４０ｂからの三次元点群データ（第２三次元点群データ）とを受信する。図１５Ａに第１三次元点群データ、図１５Ｂに第２三次元点群データの例を示す。図１５Ａ、図１５Ｂに示すように、第１三次元点群データは、直方体の紙面に向かって手前側から計測したものである。第２三次元点群データは、直方体の紙面に向かって後ろ側から計測したものである。

【0084】

端末装置２０ｂは、第１三次元点群データと第２三次元点群データの位置を合わせて合成し、図１６に示すような合成三次元点群データを生成する（ステップＳ１４）。この図からも明らかなように、第１三次元点群データ、第２三次元点群データ単独の場合よりも、情報量の多い（手前側と後ろ側からの計測データの双方を持つ）三次元点群データを得ることができる。

【0085】

このようにして得られた合成三次元点群データは、様々な用途に用いることができる。この実施形態では、合成三次元点群データに基づいて、地物の三次元モデルを生成するようにしている。

【0086】

端末装置２０ｂは、合成三次元点群データに基づいて、地物の外形面を生成する（ステップＳ１５）。この処理は、たとえば、三次元凸包アルゴリズム（http:/www.qhull.org/download/）によって行うことができる。図１７Ａに、生成された地物の三次元モデルを示す。第１三次元点群データのみで生成した三次元モデル、第２三次元点群データのみで生成した三次元モデルよりも完成度の高い三次元モデルを生成することができる。端末装置２０ｂは、これをディスプレイ８４に表示するとともに、ハードディスク８６に記録する（ステップＳ１５）。

【0087】

この実施形態によれば、同一地物について、インターネット上に点在する複数の三次元点群データを容易に検索し、これを合成して合成三次元点群データを得ることができる。また、同一地物についての複数の三次元点群データのうちいずれか一つに基づいて、一つの属性データが生成されていれば、上記の検索や合成を行うことができる。これは、属性データが三次元点群データとは独立しており、属性データの外形領域データが絶対座標にて定義されているからである。

【0088】

1.5その他
(1)上記実施形態では、２つの三次元点群データを取得して合成三次元点群データを得ている。しかし、３つ以上の三次元点群データを取得して合成三次元点群データを生成してもよい。

【0089】

(2)上記実施形態では、一つの地物についての合成三次元点群データを得るようにしている。しかし、複数の地物についての合成三次元点群データを得るようにしてもよい。また、所定範囲内にある地物全てについての合成三次元データを得るようにしてもよい。このような例を、図１８Ａ、図１８Ｂ、図１８Ｃに示す。図１８Ａが第１三次元点群データ、図１８Ｂが第２三次元点群データ、図１８Ｃが合成三次元点群データである。

【0090】

(3)上記実施形態においては、計測方向の異なる三次元点群データを合成している。しかし、地物までの計測距離の異なる三次元点群データや計測機器の異なる（たとえば、ＭＭＳとＵＡＶによる計測）三次元点群データを合成してもよい。

【0091】

(4)上記実施形態においては、ステップＳ２１において、場所に対して属性データが一つだけ見いだされた場合について説明した。しかし、異なる測定事業者が同一の場所について三次元点群データを作成し、それぞれが属性データをアップロードしている場合や、同一の事業者であっても、異なる時期に同一の場所について三次元点群データを作成し、それぞれが属性データをアップロードしている場合がある。このような場合には、指定された場所に対して複数の属性データが見いだされる。この場合、属性データサーバ装置６０は、複数の属性データがある旨を端末装置２０ｂに送信する。端末装置２０ｂは、複数の属性データについて作成日時、作成機器などをディスプレイ８４に表示し、操作者に選択させる。選択された属性データに基づいて、外形領域を送信する（ステップＳ２１）。

【0092】

(5)上記実施形態では、端末装置２０ｂが三次元点群データ要求を行っている（ステップＳ１３）。しかし、属性データサーバ装置６０がこれを行い、その結果を端末装置２０ｂに送信するようにしてもよい。

【0093】

(6)上記実施形態では、端末装置２０ｂにおいて三次元点群データの合成や三次元モデルの生成を行っている。しかし、いずれか一方または双方を、属性データサーバ装置６０にて行い、その結果を端末装置２０ｂに送信するようにしてもよい。

【0094】

(7)上記実施形態では、ステップＳ１４において、端末装置２０ｂが三次元点群データを取得した際に、いずれの方向から計測したものであるかを表示していない。しかし、これを明確にするために、取得した三次元点群データに付されているデータに基づいて、図１７Ｂに示すように、矢印にて、地物に対する計測方向と距離を表示するようにしてもよい。矢印の根元が計測位置、矢印の方向が計測方向である。図１７Ｂの場合であれば、２カ所から計測された三次元点群データが存在することが明確となる。

【0095】

したがって、この画面表示に基づいて、次に計測を行う場合、合成三次元点群データの品質を向上するのであれば、矢印とは異なる方向から計測することが好ましいことが分かる。また、地物の時間的な変化を知りたいのであれば、矢印と同じ位置、方向から計測を行うのが好ましい。

【0096】

(8)上記実施形態では、第１・第２の三次元点群データを単純に合成して合成三次元点群データを生成している。しかし、三次元点群データのうち、同一箇所について第１三次元点群データと第２三次元点群データが存在する場合、当該箇所においては、測定精度の高い三次元点群データのみを採用して合成三次元点群データを生成するようにしてもよい。

【0097】

(9)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

【0098】

(10)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂと属性データサーバ装置６０とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

【0099】

(11)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

【0100】

２．第２の実施形態
2.1全体構成
図１９に、この発明の第２の実施形態による点群データ管理システムの全体構成を示す。第１点群サーバ装置４０ａには、地物を含む絶対座標による第１日時における第１三次元点群データファイルが記録されている。第２点群サーバ装置４０ｂには、地物を含む絶対座標による第２日時における第２三次元点群データファイルが記録されている。属性データサーバ装置６０には、地物の外形を囲った絶対座標による外形領域データが記録されている。

【0101】

【0102】

経時変化取得手段２５は、取得した第１日時における第１三次元点群データと第２日時における第２三次元点群データとに基づいて、第１日時と第２日時における地物の形状変化を算出する。

【0103】

2.2システム構成
システム構成は、第１の実施形態と同じである。

【0104】

2.3経時変化算出処理
次に、公開された複数の三次元点群データに基づいて、地物の経時変化を取得する処理について説明する。

【0105】

図２０、図２１に、地物の経時変化取得のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、属性データサーバ装置として示しているのは属性データサーバプログラムのフローチャート、点群サーバ装置として示しているのは点群サーバプログラムのフローチャートである。

【0106】

【0107】

これを受けて、属性サーバ装置６０のＣＰＵ（以下属性サーバ装置と省略することがある）は、属性データを検索し当該指定された場所内にある外形領域データを抽出する（ステップＳ２１）。属性サーバ装置６０は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

【0108】

【0109】

【0110】

【0111】

【0112】

【0113】

端末装置２０ｂは、点群サーバ装置４０ａからの三次元点群データ（第１三次元点群データ）と、点群サーバ装置４０ｂからの三次元点群データ（第２三次元点群データ）とを受信する。ここで、第１三次元点群データと第２三次元点群データは、実質的に同じ方向から地物を計測したものである。ただし、その計測日時が異なっている。

【0114】

端末装置２０ｂは、第１三次元点群データに基づいて地物の第１日時における三次元モデルを生成する（ステップＳ１７）。また、第２三次元点群データに基づいて地物の第２日時における三次元モデルを生成する（ステップＳ１７）。

【0115】

端末装置２０ｂは、生成した第１日時の三次元モデルと第２日時の三次元モデルを、ディスプレイ８４に比較可能に表示する（ステップＳ１８）。たとえば、図２２に示すように、第１日時の三次元モデル１２０と第２日時の三次元モデル１２２を表示する。その下には、地物名と計測年月日が示されている。したがって、図２２の例であれば、２０１０年２月２４日におけるビルの外形と、２０１９年３月５日におけるビルの外形が変化していることが比較して分かる。

【0116】

なお、比較を容易にするために、両者を異なる色で重ねて表示するようにしてもよい。

【0117】

また、たとえば、第１日時において地物が存在せず、第２日時において地物が存在するような状況があれば（たとえば、道路標識が新たに設置されたなど）、第２日時において当該場所の計測データがあれば地物の三次元点群データを得ることができる。ただし、第１日時において当該場所の計測データがあったとしても、地物の三次元点群データは得られない。したがって、これに基づく三次元モデルを表示することで、第１日時には地物がなく、第２日時には地物が存在することが明確となる。

【0118】

なお、上記のような経時比較の目的からは、地物に対する計測方向が同じ（あるいは類似した）三次元点群データを用いることが好ましい。

【0119】

2.4その他
(1)上記実施形態では、２つの日時における三次元点群データによってそれぞれ三次元モデルを生成し、比較を行うようにしている。しかし、３つ以上の日時における三次元点群データを取得して、それぞれ三次元モデルを生成し、比較を行うようにしてもよい。

【0120】

(2)上記実施形態では、一つの地物についての経時比較を行うようにしている。しかし、複数の地物についての経時比較を行うようにしてもよい。また、所定範囲内にある地物全てについての経時比較を行うようにしてもよい。

【0121】

(3)上記実施形態では、端末装置２０ｂが三次元点群データ要求を行っている（ステップＳ１３）。しかし、属性データサーバ装置６０がこれを行い、その結果を端末装置２０ｂに送信するようにしてもよい。

【0122】

(6)上記実施形態では、端末装置２０ｂにおいて三次元モデルの生成を行っている。しかし、属性データサーバ装置６０にて行い、その結果を端末装置２０ｂに送信するようにしてもよい。

【0123】

(7)上記実施形態では、ステップＳ１７において、端末装置２０ｂが三次元点群データを取得した際に、各三次元点群データがいつ計測されたものであるかを表示していない。しかし、これを明確にするために、取得した三次元点群データに付されているデータに基づいて、図２３に示すように、各三次元点群データの測定日時を表示するようにしてもよい。多くの日時の三次元点群データが存在する場合には、このような表示を行うことが好ましい。ユーザは、これを見て、比較したい年月日を所定数選択し、三次元モデルを表示させることができる。

【0124】

(8)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。たとえば、同一日時（同一月や同一年でもよい）において異なる方向からの複数の三次元点群データがある場合には、合成三次元点群データを生成して三次元モデルを生成し、これを他の日時の三次元モデルと比較するようにしてもよい。

【0125】

【0126】

【0127】

(11)上記実施形態では、検索された動画データを端末装置において再生するようにしている。この際、当該動画を撮像した近傍の地図や三次元点群データなどを併せて表示するようにしてもよい。また、動画の再生に合致するように、時間とともに変化する撮像位置から見た三次元点群データを表示するようにしてもよい。

【0128】

(12)上記実施形態では、２つの時点の地物の三次元モデルを比較表示するようにしている。しかし、両者について、三次元モデルの外形線の法線ベクトルを表示して、表面の角度変化を分かりやすくしてもよい。

【0129】

また、微小エリア（２５ｃｍ立方領域）に区分して、当該エリア内の点の数を比較して表示してもよい。これにより、地物表面の粗さ度合いを比較することができる。

【0130】

さらにまた、各点や各エリアの反射強度を比較してもよい。これによって、表面の滑らかさを比較することができる。

【0131】

また、三次元モデルの体積を比較するようにしてもよい。これにより、植栽などの成長、葉の付き具合などを比較できる。

【0132】

(13)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

【0133】

３．第３の実施形態
3.1全体構成
図２４に、この発明の第３の実施形態による地物検索システムの機能ブロック図を示す。地物検索サーバ装置１５０の記録部１５８には、三次元点群データの地物名、外形領域、位置などの属性データ、動画データが記録されている。

【0134】

地物検索サーバ装置１５０の属性データ送信手段１５０は、記録部１５８に記録されている三次元点群データに対応する地物名または外形領域を読み出して、端末装置４０に送信する。端末装置４０の地物属性データ表示手段１８２は受信した地物の地物名または外形領域を、表示部１８８に表示する。

【0135】

端末装置４０を操作する操作者は、マウス９０を用いて表示された地物の地物名または外形領域を見て、動画を検索したい地物を選択する。選択情報送信手段１８４は、いずれの地物が選択されたかを、地物検索サーバ装置１５０に送信する。

【0136】

地物検索サーバ装置１５０の地物位置取得手段１５４は、選択された地物の位置を取得する。動画データ送信手段１５６は、動画データを時間順に探索し、地物位置の近傍の撮像位置情報が付された部分を抽出する。抽出した動画データを、端末装置４０に送信する。端末装置４０の動画再生手段１８６は、受信した動画データを表示部１８８において再生する。

【0137】

これにより、膨大な量の動画データ中から、所望の地物が撮像されている箇所を容易に検索して表示することができる。

【0138】

3.2システム構成
図２５に、第３の実施形態による点群データ管理システムのシステム構成を示す。インターネット上には点群サーバ装置４０ａ、４０ｂ・・・４０ｎが設けられている。また、地物検索サーバ装置６２も設けられている。点群サーバ装置４０ａ、４０ｂ・・・４０ｎには、計測された地物の三次元点群データと計測時に撮像された動画データ（撮像位置情報付き）が記録されている。地物検索サーバ装置６２には、図１０に示すような属性データが記録されている。これらサーバ装置４０ａ、４０ｂ・・・４０ｎ、６０に、インターネットを介して通信可能に端末装置２０ａ、２０ｂ・・・２０ｎが設けられている。

【0139】

端末装置２０のハードウエア構成は、図３と同様である。点群サーバ装置４０、地物検索サーバ装置６２も、同様のハードウエア構成である。ただし、点群サーバ装置４０においては、端末プログラム９６に代えて、点群サーバプログラムが記録されている。また、地物検索サーバ装置６２においては、端末プログラム９６に代えて、地物検索サーバプログラムが記録されている。

【0140】

3.3地物検索処理
図２６に、地物検索のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、地物検索サーバ装置として示しているのは地物検索サーバプログラムのフローチャートである。

【0141】

まず、端末装置２０ｂのＣＰＵ８０（以下端末装置２０ｂと省略することがある）は、地物検索サーバ装置６２にアクセスし、所望の地物の存在する場所を指定する（ステップＳ１１）。場所の指定は、たとえば緯度経度などで範囲を指定して行う。住所、地名を入力（あるいは検索）するようにし、これを緯度経度の範囲に変換してもよい。また、地図上でクリックや選択した範囲を緯度経度の範囲に変換してもよい。

【0142】

これを受けて、地物検索サーバ装置６２のＣＰＵ（以下地物検索サーバ装置６２と省略することがある）は、属性データを検索し当該指定された場所内にある外形領域データを抽出する（ステップＳ５１）。地物検索サーバ装置６２は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

【0143】

【0144】

ユーザは、端末装置２０ｂのマウス９０を操作し、所望の地物の外形領域を選択する。ここでは、標識の外形領域１０６が選択されたものとして説明を進める。この選択を受けて、端末装置２０ｂは、標識の外形領域１０６の外形領域データを指定して、この標識が撮像されている動画の部分を検索する指示を、地物検索サーバ装置６２に送信する（ステップＳ１９）。

【0145】

地物検索サーバ装置６２は、指定された地物の属性データを読み出し、地物の位置（絶対座標による位置）を取得する（ステップＳ５２）。次に、地物検索サーバ装置６２は、この地物位置に基づいて、撮像動画データ１６２において当該地物が撮像されている部分を抽出する（ステップＳ５３）。

【0146】

図２７に、撮像動画データ１６２のデータ構成を示す。動画本体データ１７０に関連づけて、撮像時刻を示すタイムスタンプＴＳ1、ＴＳ2・・・が関連づけて記録されている。また、撮像したカメラ（もしくはカメラを搭載した車など）の位置が絶対座標にて記録されている。また、図示していないが、撮像動画データ１６２には、当該動画全体としての撮像エリア情報が関連づけられて記録されている。

【0147】

図２８に撮像エリア情報の考え方を示す。実線で示すのが撮像経路Ｒである。開始点Ｓから撮像を開始し、終了点Ｅまで撮像を行ったことが示されている。この撮像経路Ｒを外包する破線にて示すのが撮像エリアＡＲである。撮像エリアＡＲは、たとえば、対角の絶対座標（撮像エリア情報）によって特定される。

【0148】

図２９に、ステップＳ５３の動画部分の抽出処理の詳細を示す。地物検索サーバ装置６２は、検索対象である地物の位置に基づいて、当該計測位置が撮像エリア内に含まれる動画データ１６２を選択する（ステップＳ５３１）。このようにして選択された動画データ１６２には、地物を撮像した部分が含まれる可能性がある。地物検索サーバ装置６２は、選択された動画データ１６２のそれぞれについて、当該撮像された部分があるかどうかを検索する。

【0149】

ステップＳ５３３において、地物検索サーバ装置６２は、動画データ１６２に記録された撮像位置を時刻順に読み出す（ステップＳ５３３）。図２７の例であれば、撮像位置ＰＳ1、ＰＳ2・・・ＰＳnを読み出すことになる。

【0150】

地物検索サーバ装置６２は、読み出した撮像位置ＰＳ1、ＰＳ2・・・ＰＳnのうち、最も地物の位置に近い撮像位置ＰＳfを特定する（ステップＳ５３４）。地物検索サーバ装置６２は、最も近い撮像位置ＰＳfと地物位置との距離が所定値以下であるかどうかを判断する（ステップＳ５３５）。所定値以下であれば、当該箇所に地物が撮像されていることになる。地物検索サーバ装置６２は、特定した撮像位置ＰＳfの前後所定時間分の動画データを抽出する（ステップＳ５３６）。撮像位置ＰＳfと地物位置との距離が所定値を超えていれば、動画部分の抽出は行わない。

【0151】

以上の処理を、ステップＳ５３１にて選択した動画全てについて行う（ステップＳ５３２、Ｓ５３７）。

【0152】

以上のようにして、動画データの部分を抽出すると、地物検索サーバ装置６２は、これを端末装置２０ｂに送信する（ステップＳ５４）。

【0153】

端末装置２０ｂは、これを受けて、ディスプレイ８４に抽出した動画データの部分を表示する（ステップＳ２０）。なお、複数の動画データがある場合には、再生前に、撮像日時とともに動画データを一覧表示し、ユーザに選択させて再生することが好ましい。

【0154】

ユーザは、この動画を見て、検索対象とした地物の状況を画像として把握することができる。たとえば、図１４の画面表示にて特定することが可能な地物の状態（ボルトやナットに付された緩み検出マーク（たとえば合いマーク）の確認、外観劣化状況の確認など）を知りたい時などに用いることができる。

【0155】

なお、上記の検出マークの確認や、外観劣化状況の確認は、画像処理やＡＩによって端末装置が行うようにしてもよい。

【0156】

3.4その他
(1)上記実施形態では、属性データの地物位置および動画データの撮像位置を絶対座標にて示している。したがって、動画データのそれぞれに対応する属性データを用意しなくとも、属性データが一つあれば複数の動画データから地物を検索することができる。

【0157】

なお、各動画データに対応して属性データを設ける場合であれば、地物位置および撮像位置は、両データ間で整合が取れていればよく絶対座標とする必要はない。また、動画データに対応した属性データがある場合には、地物位置と撮像位置に基づく検索ではなく、地物の三次元点群データを作成した日時と撮影日時に基づく検索を行うこともできる。

【0158】

(2)上記実施形態では、図１４に示すように外形領域と地物名とによって検索したい地物を特定するようにしている。しかし、外形領域を表示せず、地物名だけを表示してユーザに選択させるようにしてもよい。

【0159】

(3)上記実施形態では、地物が撮像されている動画の部分を抽出して再生するようにしている。しかし、これに加えて、動画中の地物にマークを施して再生するようにしてもよい。

【0160】

地物検索サーバ装置６２は、以下のような処理を行うことで、これを実現することができる。たとえば、図３０に示すような地物の外形領域があるとき、標識１０６を検索対象としたとする。この外形領域が配置された空間に、動画を撮像した際の軌跡２００を描く。この軌跡２００には時刻が付されているので各点における撮像時刻を知ることができる。各撮像時刻ｔ１、ｔ２・・・において、対象とする地物１０６がいずれの方向に、どのような距離で存在するかを判定する。

【0161】

この方向と距離に基づいて、撮像動画の対応する同時刻において、地物１０６がどのように撮像されるかを算出する。このようにして生成した地物１０６の外形領域の各時刻における見え方を、抽出した動画に重ねて、端末装置２０ｂに送信する。

【0162】

端末装置２０ｂにおいてこれを再生すると、図３１に示すように、画像中の目的とする地物を囲うように外形領域の枠が表示されることになる。したがって、ユーザは、目的とする地物を容易に動画中から見いだすことができる。

【0163】

(4)上記実施形態では、点群サーバ装置４０と検索サーバ装置６２とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

【0164】

(5)上記実施形態では、動画を検索する場合について説明した。しかし、同様の処理にて、撮像場所と撮像時間の付された静止画を検索することもできる。

【0165】

(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

【図1】