知財求人 - 知財ポータルサイト「IP Force」
▶ 田中 成典の特許一覧 ▶ 今井 龍一の特許一覧 ▶ 中村 健二の特許一覧 ▶ 塚田 義典の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138799
(43)【公開日】2024-10-09
(54)【発明の名称】三次元点群データに基づく三次元モデル生成装置
(51)【国際特許分類】
G06T 17/30 20060101AFI20241002BHJP
G06T 7/00 20170101ALI20241002BHJP
G06T 7/60 20170101ALI20241002BHJP
【ＦＩ】
G06T17/30
G06T7/00 350B
G06T7/60 150S
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023049490
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】500063228
【氏名又は名称】田中 成典
(71)【出願人】
【識別番号】511121768
【氏名又は名称】今井 龍一
(71)【出願人】
【識別番号】502235692
【氏名又は名称】中村 健二
(71)【出願人】
【識別番号】517309320
【氏名又は名称】塚田 義典
(71)【出願人】
【識別番号】519113745
【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】今井 龍一
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】塚田 義典
(72)【発明者】
【氏名】中原 匡哉
(72)【発明者】
【氏名】梅▲原▼ 喜政
(72)【発明者】
【氏名】神谷 大介
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】井上 晴可
(72)【発明者】
【氏名】姜 文渊
(72)【発明者】
【氏名】坂本 一磨
(72)【発明者】
【氏名】鳴尾 丈司
(72)【発明者】
【氏名】丸山 明
(72)【発明者】
【氏名】吉見 晋吾
(72)【発明者】
【氏名】戸口 伸二
(72)【発明者】
【氏名】濱野 雅裕
(72)【発明者】
【氏名】佐野 龍太
(72)【発明者】
【氏名】平見 勝洋
(72)【発明者】
【氏名】福住 建
(72)【発明者】
【氏名】奥平 敬
(72)【発明者】
【氏名】木村 泰三
(72)【発明者】
【氏名】馬場 彰文
(72)【発明者】
【氏名】本間 伸哉
(72)【発明者】
【氏名】相田 尚
(72)【発明者】
【氏名】其田 直樹
(72)【発明者】
【氏名】平野 順俊
(72)【発明者】
【氏名】大月 庄治
(72)【発明者】
【氏名】西村 修
(72)【発明者】
【氏名】安井 嘉文
(72)【発明者】
【氏名】小川 友宏
(72)【発明者】
【氏名】藤井 保史
(72)【発明者】
【氏名】松田 克巳
【テーマコード（参考）】
5B080
5L096
【Ｆターム（参考）】
5B080AA10
5B080AA13
5B080AA17
5B080CA00
5L096AA09
5L096DA02
5L096EA14
5L096FA12
5L096FA64
5L096FA67
5L096FA69
5L096GA02
5L096HA08
5L096JA03
5L096KA04
(57)【要約】 （修正有）
【課題】三次元点群データに基づいてワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて三次元パラメトリックモデルの選択を行い三次元点群データに基づいてより迅速に三次元モデルを生成することのできる装置を提供する。
【解決手段】三次元モデル生成装置において、ワイヤーフレームモデルの生成２は、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。三次元パラメトリックモデルの選択４は、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。パラメータ調整６は、選択したパラメトリックモデルのパラメータを調整して、三次元パラメトリックモデルをワイヤーフレームモデルに合致させ、三次元モデルを取得する。
【選択図】図１
【解決手段】三次元モデル生成装置において、ワイヤーフレームモデルの生成２は、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。三次元パラメトリックモデルの選択４は、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。パラメータ調整６は、選択したパラメトリックモデルのパラメータを調整して、三次元パラメトリックモデルをワイヤーフレームモデルに合致させ、三次元モデルを取得する。
【選択図】図１
【特許請求の範囲】
【請求項1】
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
【請求項2】
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
【請求項3】
少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つの三次元生成プログラムであって、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
【請求項4】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
【請求項5】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
【請求項6】
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成する三次元点群データ補完装置。
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成する三次元点群データ補完装置。
【請求項7】
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元点群データ補完装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成するための命令を備える三次元点群データ補完装置。
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元点群データ補完装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成するための命令を備える三次元点群データ補完装置。
【請求項8】
少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つの三次元生成プログラムであって、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成するための命令を備える三次元点群データ補完プログラム。
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、
学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成するための命令を備える三次元点群データ補完プログラム。
【請求項9】
請求項６～８のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
【請求項10】
請求項６～８のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
【請求項11】
請求項６～８のいずれかの装置またはプログラムにおいて、
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
【請求項12】
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
【請求項13】
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
【請求項14】
少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つの三次元生成プログラムであって、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、
学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、
前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、
前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
【請求項15】
請求項１２～１４のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データまたは前記補完された三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データまたは前記補完された三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
【請求項16】
請求項１２～１４のいずれかの装置またはプログラムにおいて、
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、三次元点群データに基づいて、三次元モデルを生成する技術、欠損のある三次元点群データを補完する技術に関するものである。
【背景技術】
【0002】
無人飛行機（ＵＡＶ）や地上移動体（例えば自動車）などにレーザ測量装置を搭載し、地表面の形状や地物を計測することが行われている。また、固定したレーザ測量装置によって、地表面の形状や地物を計測することも行われている。計測の結果、三次元点群データが得られる。
【0003】
このようにして三次元点群データを得ることで、地物の外形形状などを把握することができる。しかし、三次元点群データであることから寸法や形状を保持しておらず、管理データとして用いるには適していない。
【0004】
そこで、発明者らは既に、三次元点群データに基づいて、平面や辺によって構成される三次元モデルを生成する装置を開示している（特許文献１）。
【0005】
それによれば、寸法を可変としたテンプレート（三次元パラメトリックモデル）を用意しておき、三次元点群データに合致するテンプレートを選択し、当該テンプレートの寸法を変化させて三次元点群データに合致させることで、三次元モデルを得るようにしている。
【0006】
特許文献１においては、以下のようにして三次元点群データに合致するテンプレートを選択するようにしている。三次元点群データの部分的な点群に基づいて近似平面を形成して法線ベクトルを算出し、この法線ベクトルを当該部分的な点群のそれぞれに付与する。このようにして、全ての点群について法線ベクトルを付与する。これらの法線ベクトルに基づいて、三次元点群データをＸＹＺ方向に関して正しい向きに回転させる。
【0007】
続いて、テンプレートの各面の法線ベクトルを算出し、上記のようにＸＹＺ方向に正しい向きに回転させた各三次元点群データの法線ベクトルと対比させて、三次元点群データをテンプレートの各面に対応付ける。これを全てのテンプレートについて行い、最も合致性の高いテンプレートを選択する。このテンプレートのパラメータ（各辺等の寸法）を変化させてフィッティングし、三次元点群データに合致する三次元モデルを得ている。
【0008】
特許文献１においては、以上のようにすることで、三次元点群データに基づいて三次元モデルを得ることができる。
【0009】
また、計測した三次元点群データが完全なものではなく、一部欠損している場合も多い。たとえば、図２０に示すように、先端部の三次元点群データが欠損している場合がある。
【0010】
このような欠損のある三次元点群データでは、テンプレートのパラメータ（各辺等の寸法）を変化させてフィッティングさせても、正しい三次元モデルを得ることができなくなる。
【0011】
そこで、欠損のある三次元点群データと、補完して完全化した補完済三次元点群データとに基づいて学習した推定モデルを用いて、欠損のある三次元点群データから補完済三次元点群データを推定することが提案されている。
【0012】
これによれば、欠損のある三次元点群データに基づいて三次元モデルを生成できる。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】特開２０２０－１９７９７９
【発明の概要】
【発明が解決しようとする課題】
【0014】
しかしながら、特許文献１に記載の従来技術においてもなお、三次元モデル生成の容易化と迅速化が求められていた。
【0015】
また、従来のように欠損のある三次元点群データと完全化した三次元点群データによって学習した推定モデルにて補完を行ったとしても、精度よく欠損を補完することはできなかった。
【0016】
この発明は、上記のいずれかの問題点を解決して、三次元点群データに基づいてより迅速に三次元モデルを生成することのできる装置または欠損のある三次元点群データに基づいて精度よく補完した三次元点群データを生成できる装置を提供することを目的とする。
【課題を解決するための手段】
【0017】
この発明の独立して適用可能な特徴を以下に列挙する。
【0018】
(1)(2)(3)この発明に係る三次元モデル生成装置は、三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、選択した三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成することを特徴としている。
【0019】
三次元点群データに基づいて生成したワイヤーフレームモデルに基づいて三次元パラメトリックモデルを選択するようにしているので、選択処理が迅速である。
【0020】
(4)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルの生成において、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴としている。
【0021】
したがって、より正確にワイヤーフレームモデルを生成することができる。
【0022】
(5)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択において、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴としている。
【0023】
ワイヤーフレームを複数部位に分離して判断するようにしているので、処理の迅速化を図ることができる。
【0024】
(6)(7)(8)この発明に係る三次元点群データ補完装置は、三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成することを特徴としている。
【0025】
三次元点群データのみに基づいて補完を推定するのではなく、三次元点群データのワイヤーフレームモデルを生成しその図形的特徴も用いて推定を行うようにしているので、より正確に三次元点群データの補完を行うことができる。
【0026】
(9)この発明に係る三次元点群データ補完装置は、ワイヤーフレームの形状的特徴として、三次元パラメトリックモデルを特定するラベルを用いることを特徴としている。
【0027】
したがって、補完後の三次元点群データに対して、三次元パラメトリックモデルを用いた処理を行う場合には、処理の迅速化を図ることができる。
【0028】
(10)この発明に係る三次元点群データ補完装置は、ワイヤーフレームモデルの生成において、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴としている。
【0029】
したがって、より正確にワイヤーフレームモデルを生成することができる。
【0030】
(11)この発明に係る三次元点群データ補完装置は、学習済推定モデルが、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴としている。
【0031】
したがって、より正確に三次元点群データの補完を行うことができる。
【0032】
(12)(13)(14)この発明に係る三次元モデル生成装置は、三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択し、学習済推定モデルを用いて、前記選択したパラメトリックモデルを特定するラベルと、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成し、前記補完された三次元点群データのエッジを検出してワイヤーフレームモデルを生成し、前記選択した三次元パラメトリックモデルのパラメータを調整して、前記補完された三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成することを特徴としている。
【0033】
したがって、三次元点群データに欠損があった場合でもこれを補完し、三次元モデルを生成することができる。
【0034】
(15)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルの生成において、学習済の推定モデルを用いて、前記三次元点群データまたは前記補完された三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴としている。
【0035】
したがって、より正確にワイヤーフレームモデルを生成することができる。
【0036】
(16)この発明に係る三次元モデル生成装置は、学習済推定モデルが、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴としている。
【0037】
したがって、より正確に三次元点群データの補完を行うことができる。
【0038】
「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。
【0039】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働してその機能を発揮するプログラム等を含む概念である。
【図面の簡単な説明】
【0040】
【図1】この発明の一実施形態による三次元モデル生成装置の全体構成である。
【図2】三次元モデル生成装置のハードウエア構成である。
【図3】三次元モデル生成プログラムのフローチャートである。
【図4】ワイヤーフレームモデル生成のフローチャートである。
【図6】エッジ部分抽出、コーナ部分抽出のための推定モデルを学習するための学習データである。
【図7】パラメトリックモデル選択のフローチャートである。
【図8】パラメトリックモデル選択のフローチャートである。
【図9】パラメトリックモデルの例である。
【図10】生成されたワイヤフーレームモデルの例である。
【図11】ワイヤーフレームモデルの分離を説明するための図である。
【図12】パラメトリックモデルのパラメータ例である。
【図13】パラメトリックモデルのパラメータ例である。
【図14】他の地物の例である。
【図15】第２の実施形態による三次元点群データ補完装置の全体構成である。
【図16】三次元点群データ補完プログラムのフローチャートである。
【図17】生成されたワイヤーフレームに欠損のある場合を示す例である。
【図18】三次元点群データを補完するための推定モデルを学習するための学習データである。
【図19】三次元点群データの補完と、三次元モデルの生成を行う場合のフローチャートである。
【図20】欠損のある三次元点群データの例である。
【発明を実施するための形態】
【0041】
１．第１の実施形態
1.1全体的構成
図１に、この発明の一実施形態による三次元モデル生成装置の全体的構成を示す。ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。パラメータ調整においては、選択したパラメトリックモデルのパラメータを調整して、三次元パラメトリックモデルをワイヤーフレームモデルに合致させ、三次元モデルを得る。
1.1全体的構成
図１に、この発明の一実施形態による三次元モデル生成装置の全体的構成を示す。ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。パラメータ調整においては、選択したパラメトリックモデルのパラメータを調整して、三次元パラメトリックモデルをワイヤーフレームモデルに合致させ、三次元モデルを得る。
【0042】
このように、三次元点群データに基づいてワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて三次元パラメトリックモデルの選択を行うようにしているので、処理の迅速化を図ることができる。
【0043】
1.2ハードウエア構成
図２に、三次元モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、通信回路１６、ＳＳＤ１８、ＤＶＤ－ＲＯＭドライブ２０、キーボード／マウス２２が接続されている。通信回路１６は、インターネットに接続するための回路である。
図２に、三次元モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、通信回路１６、ＳＳＤ１８、ＤＶＤ－ＲＯＭドライブ２０、キーボード／マウス２２が接続されている。通信回路１６は、インターネットに接続するための回路である。
【0044】
ＳＳＤ１８には、オペレーティングシステム２４、三次元モデル生成プログラム２６、三次元パラメトリックモデル群２８が記録されている。三次元モデル生成プログラム２６は、オペレーティングシステム２４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ３０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ２０を介して、ＳＳＤ１８にインストールしたものである。
【0045】
1.3三次元モデル生成処理
図３に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
図３に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
【0046】
ＣＰＵ１０は、対象となる三次元点群データ５０を取得する（ステップＳ１）。続いて、ＣＰＵ１０は、対象となる三次元点群データ５０に基づいて、線によって表現したワイヤーフレームモデル５２を生成する（ステップＳ２）。次に、橋脚について予め記録されている三次元パラメトリックモデルの中から、形成したワイヤーフレームモデル５２に合致する三次元パラメトリックモデル５４を選択する（ステップＳ３）。さらに、この三次元パラメトリックモデル５４のパラメータを調整し、ワイヤーフレームモデル５２に合致させ、三次元点群データに対応する三次元モデル５６を得る（ステップＳ４）。ＣＰＵ１０は、得られた三次元モデル５６を出力する（ステップＳ５）。
【0047】
以下、ステップＳ２～Ｓ４の処理を詳細に説明する。まず、ステップＳ２の三次元点群データに基づいてワイヤーフレームモデルを生成する処理について説明する。図４に、ワイヤーフレームモデル生成のフローチャートを示す。
【0048】
ＣＰＵ１０は、三次元点群データによって構成される立体のエッジ部分（辺部分）に該当する点、およびコーナー部分（角部分）に該当する点を推定する（ステップＳ２１）。たとえば、図５Ａに示すような三次元点群データに対して、図５Ｂのようなエッジ部分の点と図５Ｃのようなコーナー部分の点を推定する。
【0049】
この実施形態では、ステップＳ２１の推定を、学習済の推定モデルを用いて実現している。推定モデルの学習に用いる学習データは、図６Ａに示すような三次元点群データ、図６Ｂに示すような「コーナー」のラベルの付されたコーナー部分の点群データ、図６Ｃに示すような「エッジ」のラベルの付されたエッジ部分の点群データのセットである。
【0050】
学習データは、実際に計測した三次元点群データについて、コーナー部分、エッジ部分の点群データを手作業にて選択して作成するようにしている。
【0051】
なお、推定モデルとしては、Xuefeng Tan et al による"Coarse-to-fine pipeline for 3D wireframe reconstruction from point cloud"(Computer & Graphics Vol 106, August 2022, Page 288-298)のアルゴリズムを用いることができる、
ステップＳ２１において、コーナ部分、エッジ部分の点群データを抽出すると、ＣＰＵ１０は、各コーナー部分の点群について一つの代表点を選択してコーナー点とする。さらに、エッジ部分の端部に位置する２つのコーナー点を結ぶ直線を形成する。このようにして、図５Ｄに示すようなワイヤーフレームモデルを生成する。
ステップＳ２１において、コーナ部分、エッジ部分の点群データを抽出すると、ＣＰＵ１０は、各コーナー部分の点群について一つの代表点を選択してコーナー点とする。さらに、エッジ部分の端部に位置する２つのコーナー点を結ぶ直線を形成する。このようにして、図５Ｄに示すようなワイヤーフレームモデルを生成する。
【0052】
【0053】
この実施形態においては、図９に示すようなパラメトリックモデルが予め記録されている。橋脚は、梁と柱で構成されており、梁の形状は、８角形、６角形、４角形の３種類であり、柱の形状は、円形、小判形、正方形、長方形の４種類である。したがって、図９には３種類のパラメトリックモデルのみを示しているが、３×４＝１２種類のパラメトリックモデルが記録されている。
【0054】
各パラメトリックモデルには、パラメトリックモデルを特定するためのラベルが付されている。左から、Ｔ字型橋脚（８角形・円形）、Ｔ字型橋脚（６角形・長方形）、Ｔ字型橋脚（４角形・正方形）・・・というようにラベルが付されている。
【0055】
ＣＰＵ１０は、以下に示す処理によって、これら１２種類のパラメトリックモデルから、ワイヤーフレームモデルを用いて、三次元点群データに合致するパラメトリックモデルを選択する。
【0056】
ＣＰＵ１０は、ワイヤーフレームに円形の柱、小判形の柱が含まれているかどうかを判断する（ステップＳ３１）。図１０Ｂに示す正方形や長方形の柱とは異なって、図１０Ａに示す円形の柱、小判形の柱の場合には、ワイヤーフレームにおいて上のエッジＥ１１と下のエッジＥ１２とを連続するエッジが現れない。したがって、上下に連続するエッジがなければ、円形または小判形の柱であると判断することができる。
【0057】
円形または小判形の柱であると判断すると、ＣＰＵ１０は、円形か小判形かの判断を行う（ステップＳ３２、Ｓ３３）。この実施形態では、仮想的に生成した真円の半径を徐々に変化させて、エッジＥ１１またはエッジＥ１２との一致度（最小二乗法を用いることができる）を判断し、最も高い一致度を算出する（ステップＳ３２）。最も高い一致度が、所定値を超えているとワイヤーフレームは円形であると判断する。超えていなければ、小判形であると判断する（ステップＳ３３）。ワイヤーフレームが小判形であれば、仮想的に生成した真円とは完全に一致しないため、このように判断することができる。このようにして、柱が円形であるか小判形であるかを決定する。
【0058】
次に、ＣＰＵ１０は、最も高い同一平面（柱の延長方向に垂直な面）上に存在するエッジの数を算出する（ステップＳ３６）。エッジの数に応じて、梁が８角形であるか、６角形であるか、４角形であるかを決定する（ステップＳ３７、Ｓ３８、Ｓ３９、Ｓ４０）。図１０Ａの場合であれば、エッジＥ１～Ｅ８までの８つのエッジを見いだすことができるので、梁は８角形であると決定することができる（ステップＳ３８）。
【0059】
ＣＰＵ１０は、以上のようにして、柱の形と梁の形を決定すると、その組み合わせに基づいて、パラメトリックモデルを選択する。図１０Ａの場合であれば、梁＝８角形、柱＝円形であるから、図９に示すＴ字型橋脚（８角形・円形）の３Ｄパラメトリックモデルが選択されることになる。
【0060】
ステップＳ３１において、円形の柱、小判形の柱が含まれていない（すなわち角柱である）と判断すると、ＣＰＵ１０は、図８のステップＳ４１以下を実行する。
【0061】
ステップＳ４１において、ＣＰＵ１０は、柱と梁を分離する（ステップＳ４１）。この分離は、次のようにして行う。図１１に示すように、最も下の面ＬＰに対して垂直に上に伸びる線Ｅ２１～Ｅ２４を特定する。この線Ｅ２１～Ｅ２４の上端において垂直に交わる面ＢＰを見いだす。この面ＢＰにて上下に分離する。上が梁で、下が柱である。
【0062】
以後、ステップＳ４２～Ｓ４５にて柱の形状を判断し、ステップＳ４６～Ｓ５１にて梁の形状を判断する。
【0063】
ＣＰＵ１０は、柱について、下面ＬＰにおける各エッジの長さを算出する（ステップＳ４２）。各エッジの長さが実質的に同じであれば（差が所定値以下であれば）、柱形状は正方形であるとする（ステップＳ４４）。そうでなければ、柱形状は長方形であるとする（ステップＳ４５）。
【0064】
ＣＰＵ１０は、梁について、最も高い同一平面上に存在するエッジの数を算出する（ステップＳ４６）。エッジの数に応じて、梁の形状を決定する（ステップＳ４８、Ｓ４９、Ｓ５０）。
【0065】
以上のようにして、柱の形状と針の形状を特定すると、その組合せに基づいて合致するパラメトリックモデルを選択する（ステップＳ５１）。
【0066】
上記のように、この実施形態では、ワイヤーフレームモデルに基づいて３Ｄパラメトリックモデルを選択するようにしているので、選択処理を迅速に行うことができる。
【0067】
上記のようにして三次元点群データに合致するパラメトリックモデルを選択すると、このパラメトリックモデルのパラメータを調整し、パラメトリックモデルをワイヤーフレームモデル（もしくは三次元点群データ）に合致させる。
【0068】
図１２に、パラメトリックモデルの例を示す。図に示すように、パラメトリックモデルは、そのパラメータＰ１～Ｐ６を変えることにより形状を変化させることができる。ＣＰＵ１０は、これらパラメータＰ１～Ｐ６を順次変化させて、ワイヤーフレームモデル（もしくは三次元点群データ）に最も合致するパラメータＰ１～Ｐ６の組合せを見いだす（図３のステップＳ４）。
【0069】
この際、適合度としては、ワイヤーフレームモデルのエッジ（辺）と、対応するパラメトリックモデルのエッジ（辺）との距離の総和によって算出することができる（距離の総和が小さいほど適合度が高い）。あるいは、パラメトリックモデルの面と、これに対応する三次元点群データの点の距離の総和が小さいほど適合度が高いものとしてもよい。
【0070】
以上のようにして、パラメータＰ１～Ｐ６を調整してワイヤーフレームモデル（もしくは三次元点群データ）に合致するパラメトリックモデルを得ると、ＣＰＵ１０は、これを三次元モデルとして出力する（ステップＳ５）。たとえば、他のコンピュータなどに記録する。
【0071】
1.4変形例
(1)上記実施形態では、Ｔ橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図１３に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
(1)上記実施形態では、Ｔ橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図１３に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
【0072】
また、図１４に示すように、橋脚以外の床版、横桁・縦桁、Ｔ桁、箱桁、Ｉ桁、壁型１柱式（小判形）、壁型１柱式（矩形）、壁型１柱式（円形）、重力式橋台、逆Ｔ型橋台など他の地物にも適用することができる。
【0073】
なお、上記では、三次元点群データから生成したワイヤーフレームモデルに基づいて、パラメトリックモデルを選択する際に、上下に分離して判断するようにしている。しかし、地物が単純な形状（床版、横桁など）である場合には、分離せずに判断することができる。
【0074】
(2)上記実施形態では、実測した三次元点群データに基づいて、エッジ、コーナーの点を手作業にて選択し、学習データを作成するようにしている。
【0075】
しかし、次のようにして学習データを生成してもよい。パラメトリックモデルに基づいて、当該パラメトリックモデルの表面を埋める三次元点群データを自動生成して三次元点群データを生成する。さらに、この三次元点群データのエッジにあたる点群、コーナーにあたる点群を選択する。エッジ、コーナーの点群は、パラメトリックモデルのエッジ・コーナーから所定範囲内にある点群を選択することで自動的に決定できる。このようにして、学習データを得ることができる。
【0076】
さらに、パラメトリックモデルのパラメータを変化させて上記の処理を行うことにより、多数の学習データを自動生成することができる。
【0077】
(3)上記実施形態では、パラメータを順次変化させることで、パラメトリックモデルをワイヤーフレーム（三次元点群データ）に合致させるようにしている。この際、ＧＡ（遺伝子アルゴリズム）を用いて合致するパラメータを決定するようにしてもよい。
【0078】
(4)上記実施形態では、ルールベースに基づいて、ワイヤーフレームモデルに対応する三次元パラメトリックモデルを選択するようにしている。しかし、ワイヤーフレームモデルとこれに対応する三次元パラメトリックモデル（のラベル）とによって学習した推定モデルを用いて、三次元パラメトリックモデル（のラベル）を推定するようにしてもよい。
【0079】
(5)上記実施形態では、三次元点群データのエッジおよびコーナーに位置する点群を抽出し、これに基づいてワイヤーフレームモデルを生成している。しかし、エッジまたはコーナーのいずれか一方のみを抽出し、これに基づいてワイヤーフレームモデルを生成するようにしてもよい。
【0080】
(6)上記実施形態では、三次元モデル生成装置をスタンドアローンの装置として構築している。しかし、三次元モデル生成装置をインターネット上などネットワーク上のサーバ装置として構築するようにしてもよい。この場合、端末装置からの指令に基づいて、サーバ装置が処理を行うことになる。
【0081】
(7)上記実施形態では、ＣＰＵを用いて装置を構成したが、その一部または全部を論理回路によって構成するようにしてもよい。
【0082】
(8)上記実施形態および変形例は、互いに組み合わせて実施することが可能である。
【0083】
２．第２の実施形態
2.1全体的構成
図１５に、この発明の一実施形態による三次元点群データ補完装置の全体的構成を示す。ワイヤーフレームモデルの生成５２においては、欠損のある三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。 三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。ワイヤーフレームモデルは、欠損のある三次元点群データに基づくので、少しいびつな形状となるが、欠損が極端に大きくない限りパラメトリックモデルの選択には支障はない。
2.1全体的構成
図１５に、この発明の一実施形態による三次元点群データ補完装置の全体的構成を示す。ワイヤーフレームモデルの生成５２においては、欠損のある三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。 三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。ワイヤーフレームモデルは、欠損のある三次元点群データに基づくので、少しいびつな形状となるが、欠損が極端に大きくない限りパラメトリックモデルの選択には支障はない。
【0084】
このようにして選択したパラメトリックモデルを特定するラベルと、欠損のある三次元点群データとに基づいて、補完された三次元点群データを推定する。
【0085】
このように、欠損のある三次元点群データのワイヤーフレームモデルに基づいて選択した三次元パラメトリックモデルのラベルを補完のための推定に用いているので、より精度よく補完を行うことができる。
【0086】
欠損のある三次元点群データを選択して、上記装置に与えて補完を行ってもよいが、欠損のない三次元点群データと欠損のある三次元点群データを区別せずに、上記装置に与えるようにしてもよい。欠損のある三次元点群データは補完され、欠損のない三次元点群データはそのまま（ほとんど補完されず）で出力されるので、選別する必要がない。
【0087】
【0088】
2.3三次元点群データ補完処理
図１６に、三次元点群データ補完プログラム２６のフローチャートを示す。以下では、Ｔ字橋脚の欠損三次元点群データを対象として、その三次元点群データを補完して完全な三次元点群データを生成する処理を説明する。
図１６に、三次元点群データ補完プログラム２６のフローチャートを示す。以下では、Ｔ字橋脚の欠損三次元点群データを対象として、その三次元点群データを補完して完全な三次元点群データを生成する処理を説明する。
【0089】
ＣＰＵ１０は、対象となる欠損三次元点群データ７０を取得する（ステップＳ７１）。続いて、ＣＰＵ１０は、対象となる欠損三次元点群データ７０に基づいて、線によって表現したワイヤーフレームモデル５２を生成する（ステップＳ７２）。
【0090】
次に、橋脚について予め記録されている三次元パラメトリックモデルの中から、形成したワイヤーフレームモデル７２に合致する三次元パラメトリックモデルを特定するラベルを選択する（ステップＳ７３）。
【0091】
ＣＰＵ１０は、欠損三次元点群データと、選択した三次元パラメトリックモデルのラベルとに基づいて、補完された三次元点群データを推定する（ステップＳ７４）。
【0092】
以上のようにして、欠損している三次元点群データを補完して欠損のない三次元点群データにすることができる。補完された点群データに基づいて、種々の処理、たとえば、第１実施形態による三次元モデルの生成などを行うことができる。
【0093】
ステップＳ７２におけるワイヤーフレーム生成の処理は、第１の実施形態と同様である。ただし、欠損した三次元点群データに基づいているので、ワイヤーフレームのエッジ同士が接続していない状態となる。この実施形態では、ＣＰＵ１０は、以下のようにして、ワイヤーフレームを完成するようにしている。
【0094】
図１７Ａのように、エッジが途切れている場合には、エッジを延長してこれらを接合する。また、図１７Ｂのように、コーナーが欠損しているような場合も、エッジを延長して、コーナーを形成することができる。したがって、図１７Ａ、図１７Ｂのような場合には、図１７Ｃのようにワイヤーフレームを完成させることができる。
【0095】
また、図１７Ｄのようにエッジが完全に欠損しているような場合には、エッジを延長してもエッジ同士が交わらないことになる。このように、エッジの延長によってもエッジが交わらない箇所がある場合には、交わらないエッジの端部とエッジの端部との間に新たにエッジＡＥ１を形成する。この新たに生成したエッジを基準として、ワイヤーフレームのエッジによって形成される面が閉じるようにエッジＡＥ２を形成する。このようにして、図１７Ｅのようにワイヤーフレームを完成させることができる。
【0096】
上記のようにしてワイヤーフレームモデルを生成すると、ＣＰＵ１０は、ワイヤーフレームモデルに基づいて三次元パラメトリックモデルを選択する（ステップＳ７３）。この処理は、第１の実施形態と同様である。なお、次のステップＳ７４においては、パラメトリックモデル自体を用いないので、パラメトリックモデルを特定するラベルを選択すれば十分である。
【0097】
続いて、ＣＰＵ１０は、欠損三次元点群データと選択した三次元パラメトリックモデルのラベルとに基づいて、学習済推定モデルを用いて、点群を補完した三次元点群データを推定する（ステップＳ７４）。このようにして、欠損のない補完済三次元点群データ７４を生成することができる。
【0098】
この実施形態では、ステップＳ７４の推定を、学習済の推定モデルを用いて実現している。推定モデルの学習に用いる学習データは、図１８Ａに示すようなラベルの付された欠損のある三次元点群データ、図１８Ｂに示すような欠損を補完した三次元点群データのセットである。
【0099】
学習データは、実際に計測した欠損のある三次元点群データについて、作業者の判断によってパラメトリックモデルのラベルを付し、作業者の手作業によって欠損を補完した三次元点群データを生成して作成するようにしている。
【0100】
2.4変形例
(1)上記実施形態では、ワイヤーフレームモデルによって表される立体図形の特徴としてパラメトリックモデルを用い、パラメトリックモデルのラベルを三次元点群データの補完に用いている。しかし、パラメトリックモデル以外の図形の特徴を表す特徴値によって図形を分類し、当該分類を三次元点群データの補完に用いるようにしてもよい。
(1)上記実施形態では、ワイヤーフレームモデルによって表される立体図形の特徴としてパラメトリックモデルを用い、パラメトリックモデルのラベルを三次元点群データの補完に用いている。しかし、パラメトリックモデル以外の図形の特徴を表す特徴値によって図形を分類し、当該分類を三次元点群データの補完に用いるようにしてもよい。
【0101】
(2)上記実施形態では、欠損したワイヤーフレームモデルを完成させ、完成したワイヤーフレームモデルに基づいて、合致するパラメトリックモデルを選択するようにしている。しかし、欠損したワイヤーフレームモデルから合致するパラメトリックモデルを選択するようにしてもよい。
【0102】
この場合、たとえば、学習済推定モデルを用いて、欠損ワイヤーフレームに基づいてパラメトリックモデルのラベルを推定するようにしてもよい。この場合には、欠損ワイヤーフレームモデル、これに対応するパラメトリックモデルのラベルを学習データとして、推定モデルを学習させるとよい。
【0103】
(3)上記実施形態では、実測した欠損のある三次元点群データに基づいて、作業者が対応するパラメトリックモデルのラベルを決定し、さらに手作業にて欠損のない三次元点群データを生成し、学習データを作成するようにしている。
【0104】
しかし、次のようにして学習データを自動生成してもよい。パラメトリックモデルに基づいて、当該パラメトリックモデル内を埋める三次元点群データを自動生成して欠損のない三次元点群データを生成する。さらに、この三次元点群データを自動的に欠損させて欠損のある三次元点群データを生成する。これにより、欠損のある三次元点群データ、パラメトリックモデルのラベル、欠損のない三次元点群データを得ることができ、学習データを生成することができる。なお、欠損させる際には、実際の測定時に生じることの多い箇所を欠損させることが好ましい。
【0105】
さらに、パラメトリックモデルのパラメータを変化させて上記の処理を行うことにより、多数の学習データを自動生成することができる。
【0106】
(4)上記実施形態によって得られた欠損のない三次元点群データに基づいて、第１の実施形態により三次元モデルを生成するようにしてもよい。この場合、図１９に示すように、ステップＳ９３においてパラメトリックモデルを選択済であるから、ステップＳ９６においては選択されたパラメトリックモデルを用いればよい。
【0107】
(5)上記実施形態では、Ｔ字型橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図１３に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
【0108】
また、図１４に示すように、橋脚以外の床版、横桁・縦桁、Ｔ桁、箱桁、Ｉ桁、壁型１柱式（小判形）、壁型１柱式（矩形）、壁型１柱式（円形）、重力式橋台、逆Ｔ型橋台など他の地物にも適用することができる。
【0109】
なお、上記では、三次元点群データから生成したワイヤーフレームモデルに基づいて、パラメトリックモデルを選択する際に、上下に分離して判断するようにしている。しかし、地物が単純な形状（床版、横桁など）である場合には、分離せずに判断することができる。
【0110】
(6)上記実施形態では、三次元点群データ補完装置をスタンドアローンの装置として構築している。しかし、三次元点群データ補完装置をインターネット上などネットワーク上のサーバ装置として構築するようにしてもよい。この場合、端末装置からの指令に基づいて、サーバ装置が処理を行うことになる。
【0111】
(7)上記実施形態では、ＣＰＵを用いて装置を構成したが、その一部または全部を論理回路によって構成するようにしてもよい。
【0112】
(8)上記実施形態では、欠損のある三次元点群データとパラメトリックモデルのラベルとに基づいて、学習済推定モデルにより三次元点群データを補完するようにしている。
【0113】
しかし、学習済推定モデルに欠損のある三次元点群データをそのまま入力するのではなく、ステップＳ７２において生成したワイヤーフレームに基づいて、ルールベースにて点群データを補完したものを入力するようにしてもよい。たとえば、生成されたワイヤーフレームモデルにおいて面が形成されていることが明らかな部位（エッジによってほぼ完全に囲まれた部位）について、点群データが存在しない箇所があれば、点群データが存在する箇所と同程度に密度にて点群データを補完する。このように事前にワイヤーフレームにて点群を事前に補完した点群データを用いて、上記推定モデルにて点群データの補完を行うので、より精度良く補完を行うことができる。
【0114】
(9)上記実施形態および変形例は、互いに組み合わせて実施することが可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
