知財求人 - 知財ポータルサイト「IP Force」
▶ 田中 成典の特許一覧 ▶ 今井 龍一の特許一覧 ▶ 中村 健二の特許一覧 ▶ 塚田 義典の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138800
(43)【公開日】2024-10-09
(54)【発明の名称】三次元点群データに基づく三次元モデル生成装置
(51)【国際特許分類】
G06F 30/10 20200101AFI20241002BHJP
G06T 17/30 20060101ALI20241002BHJP
G06F 30/27 20200101ALI20241002BHJP
【ＦＩ】
G06F30/10 100
G06T17/30
G06F30/27
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023049491
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】500063228
【氏名又は名称】田中 成典
(71)【出願人】
【識別番号】511121768
【氏名又は名称】今井 龍一
(71)【出願人】
【識別番号】502235692
【氏名又は名称】中村 健二
(71)【出願人】
【識別番号】517309320
【氏名又は名称】塚田 義典
(71)【出願人】
【識別番号】519113745
【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】今井 龍一
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】塚田 義典
(72)【発明者】
【氏名】中原 匡哉
(72)【発明者】
【氏名】梅▲原▼ 喜政
(72)【発明者】
【氏名】神谷 大介
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】井上 晴可
(72)【発明者】
【氏名】姜 文渊
(72)【発明者】
【氏名】坂本 一磨
(72)【発明者】
【氏名】鳴尾 丈司
(72)【発明者】
【氏名】丸山 明
(72)【発明者】
【氏名】吉見 晋吾
(72)【発明者】
【氏名】戸口 伸二
(72)【発明者】
【氏名】濱野 雅裕
(72)【発明者】
【氏名】佐野 龍太
(72)【発明者】
【氏名】平見 勝洋
(72)【発明者】
【氏名】福住 建
(72)【発明者】
【氏名】奥平 敬
(72)【発明者】
【氏名】木村 泰三
(72)【発明者】
【氏名】馬場 彰文
(72)【発明者】
【氏名】本間 伸哉
(72)【発明者】
【氏名】相田 尚
(72)【発明者】
【氏名】其田 直樹
(72)【発明者】
【氏名】平野 順俊
(72)【発明者】
【氏名】大月 庄治
(72)【発明者】
【氏名】西村 修
(72)【発明者】
【氏名】安井 嘉文
(72)【発明者】
【氏名】小川 友宏
(72)【発明者】
【氏名】藤井 保史
(72)【発明者】
【氏名】松田 克巳
【テーマコード（参考）】
5B080
5B146
【Ｆターム（参考）】
5B080AA10
5B080AA13
5B080AA17
5B080CA00
5B146DC03
5B146EA02
5B146EA15
(57)【要約】 （修正有）
【課題】三次元点群データに合致するパラメトリックモデルのパラメータ探索を簡素化して迅速に行うことのできる三次元モデル生成装置を提供する。
【解決手段】三次元モデル生成装置は、ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。パラメータの初期値設定４においては、生成したワイヤーフレームモデルの各部の長さや角度などに基づいて、対応する三次元パラメトリックモデルのパラメータ初期値を設定する。パラメータ調整６においては、上記設定したパラメータの初期値を用いて、三次元パラメトリックモデルの各パラメータを変化させ、三次元点群データに合致するパラメータを決定する。これにより、三次元モデルを生成することができる。
【選択図】図１
【解決手段】三次元モデル生成装置は、ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。パラメータの初期値設定４においては、生成したワイヤーフレームモデルの各部の長さや角度などに基づいて、対応する三次元パラメトリックモデルのパラメータ初期値を設定する。パラメータ調整６においては、上記設定したパラメータの初期値を用いて、三次元パラメトリックモデルの各パラメータを変化させ、三次元点群データに合致するパラメータを決定する。これにより、三次元モデルを生成することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
【請求項2】
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
【請求項3】
少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つの三次元生成プログラムであって、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
【請求項4】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴とする装置またはプログラム。
前記三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴とする装置またはプログラム。
【請求項5】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
【請求項6】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
【請求項7】
請求項１～３のいずれかの装置またはプログラムにおいて、
前記パラメトリックモデルに合致させる際の三次元点群データは、
前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴とする装置またはプログラム。
前記パラメトリックモデルに合致させる際の三次元点群データは、
前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴とする装置またはプログラム。
【請求項8】
請求項７の装置またはプログラムにおいて、
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
【請求項9】
請求項７の装置またはプログラムにおいて、
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
【請求項10】
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する三次元モデル生成装置。
【請求項11】
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた三次元モデル生成装置であって、
前記少なくとも一つのプログラムは、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成装置。
【請求項12】
少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つの三次元生成プログラムであって、
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、
既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、
当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、
前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成するための命令を備える三次元モデル生成プログラム。
【請求項13】
請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴とする装置またはプログラム。
前記三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴とする装置またはプログラム。
【請求項14】
請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルの生成は、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴とする装置またはプログラム。
【請求項15】
請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
前記ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択は、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴とする装置またはプログラム。
【請求項16】
請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記パラメトリックモデルに合致させる際の三次元点群データは、
前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴とする装置またはプログラム。
前記パラメトリックモデルに合致させる際の三次元点群データは、
前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴とする装置またはプログラム。
【請求項17】
請求項１６の装置またはプログラムにおいて、
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
前記ワイヤーフレームの形状的特徴は、三次元パラメトリックモデルを特定するラベルであることを特徴とする装置またはプログラム。
【請求項18】
請求項１６の装置またはプログラムにおいて、
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
前記学習済推定モデルは、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、三次元点群データに基づいて、三次元モデルを生成する技術に関するものである。
【背景技術】
【0002】
無人飛行機（ＵＡＶ）や地上移動体（例えば自動車）などにレーザ測量装置を搭載し、地表面の形状や地物を計測することが行われている。また、固定したレーザ測量装置によって、地表面の形状や地物を計測することも行われている。計測の結果、三次元点群データが得られる。
【0003】
このようにして三次元点群データを得ることで、地物の外形形状などを把握することができる。しかし、三次元点群データであることから寸法や形状を保持しておらず、管理データとして用いるには適していない。
【0004】
そこで、発明者らは既に、三次元点群データに基づいて、平面や辺によって構成される三次元モデルを生成する装置を開示している（特許文献１）。
【0005】
それによれば、寸法を可変としたテンプレート（三次元パラメトリックモデル）を用意し、当該テンプレートの各部位の寸法（パラメータ）を変化させて三次元点群データに合致させることで、三次元モデルを得るようにしている。
【0006】
特許文献１においては、以下のようにしてこの処理を行うことが開示されている。
【0007】
図２８に示すような橋脚の三次元点群データについて、三次元モデルを生成する場合の説明がなされている。図２８の三次元点群データに対応する三次元パラメトリックモデルは、図２９に示すものである。このパラメトリックモデルは、各部位のパラメータＰ１～Ｐ６をそれぞれ変化させることができる抽象的なモデルである。また、パラメトリックモデルと三次元点群データの傾きや位置も合致させる必要があることから、Ｘ，Ｙ，Ｚ方向へ移動量、ロール、ピッチ、ヨーなどの回転角度、拡大率（スケール）も変化できるようになっている。
【0008】
したがって、パラメトリックモデルを三次元点群データに合致させる際のパラメータを一覧にすると、図３０に示すようになる。たとえば、パラメータＰ１については、０．５ｍ～８ｍの間で、０．５ｍ刻みで１６段階に変化できるように設定されている。
【0009】
これら多数のパラメータの組み合わせの全てについて三次元点群データとの合致性を確認して、最も合致するパラメータを決定すればよいことになる。しかし、パラメータが多くその組み合わせが膨大である。そこで、ランダムに選択した各パラメータを初期値として、遺伝的アルゴリズム（ＧＡ）を用いて、最適値を探索するようにしている。
【0010】
これにより、三次元点群データに最もフィットするパラメータの組み合わせを探索する時間を短縮できるようにしている。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開２０２０－１９７９７９
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、特許文献１に記載の従来技術においてもなお、三次元点群データに合致するパラメトリックモデルのパラメータ探索が複雑であり時間を要していた。
【0013】
この発明は、上記の問題点を解決して、三次元点群データに合致するパラメトリックモデルのパラメータ探索を簡素化して迅速に行うことのできる三次元モデル生成装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
この発明の独立して適用可能な特徴を以下に列挙する。
【0015】
(1)(2)(3)この発明に係る三次元モデル生成装置は、三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する。
【0016】
したがって、三次元パラメトリックモデルを三次元点群データに迅速に合致させることができる。
【0017】
(4)この発明に係る三次元モデル生成装置は、三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴としている。
【0018】
したがって、三次元パラメトリックモデルの選択が容易である。
【0019】
(5)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルの生成が、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴としている。
【0020】
したがって、適切なワイヤーフレームモデルを形成することができる。
【0021】
(6)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択が、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴としている。
【0022】
したがって、複雑な形状の三次元点群デーであっても迅速に対応する三次元パラメトリックモデルを選択できる。
【0023】
(7)この発明に係る三次元モデル生成装置は、パラメトリックモデルに合致させる際の三次元点群データが、前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴としている。
【0024】
したがって、欠損のある三次元点群データであっても正確な三次元モデルを生成することができる。
【0025】
(8)この発明に係る三次元モデル生成装置は、ワイヤーフレームの形状的特徴が、三次元パラメトリックモデルを特定するラベルであることを特徴としている。
【0026】
したがって、補完後の三次元点群データに対して、三次元パラメトリックモデルを用いた処理を行う場合には、処理の迅速化を図ることができる。
【0027】
(9)この発明に係る三次元モデル生成装置は、学習済推定モデルが、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴としている。
【0028】
したがって、より正確にワイヤーフレームモデルを生成することができる。
【0029】
(10)(11)(12)この発明に係る三次元モデル生成装置は、三次元点群データの少なくともエッジまたはコーナーを検出してワイヤーフレームモデルを生成し、既に生成されて記録されている複数の三次元モデルから、当該ワイヤーフレームモデルと類似する三次元モデルを選択し、当該選択した三次元モデルに基づいて、前記三次元点群データに対応する三次元パラメトリックモデルの各パラメータの初期値を設定し、前記初期値に基づいて前記三次元パラメトリックモデルのパラメータを調整して、前記三次元点群データに当該三次元パラメトリックモデルを合致させ、三次元モデルを生成する。
【0030】
したがって、三次元パラメトリックモデルを三次元点群データに迅速に合致させることができる。
【0031】
(13)この発明に係る三次元モデル生成装置は、三次元点群データに対応する三次元パラメトリックモデルは、前記ワイヤーフレームモデルに基づいて、予め用意されている複数の三次元パラメトリックモデルから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択することによって決定されることを特徴としている。
【0032】
したがって、三次元パラメトリックモデルの選択が容易である。
【0033】
(14)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルの生成が、学習済の推定モデルを用いて、前記三次元点群データに基づいて、エッジ部分およびコーナー部分の三次元点群データを推定して抽出し、当該エッジ部分およびコーナー部分の三次元点群データに基づいてワイヤーフレームを生成することを特徴としている。
【0034】
したがって、適切なワイヤーフレームモデルを形成することができる。
【0035】
(15)この発明に係る三次元モデル生成装置は、ワイヤーフレームモデルに合致する三次元パラメトリックモデルの選択が、ワイヤーフレームを複数部位に分離し、各部位ごとに形状特徴を特定し、形状特徴の組合せによってワイヤーフレームモデルを選択することを特徴としている。
【0036】
したがって、複雑な形状の三次元点群デーであっても迅速に対応する三次元パラメトリックモデルを選択できる。
【0037】
167)この発明に係る三次元モデル生成装置は、パラメトリックモデルに合致させる際の三次元点群データが、前記ワイヤーフレームモデルに基づいて、当該ワイヤーフレームの形状的特徴を決定し、学習済推定モデルを用いて、前記決定した形状的特徴と、前記三次元点群データに基づいて、補完された三次元点群データを推定して生成された補完済三次元点群データを用いることを特徴としている。
【0038】
したがって、欠損のある三次元点群データであっても正確な三次元モデルを生成することができる。
【0039】
(17)この発明に係る三次元モデル生成装置は、ワイヤーフレームの形状的特徴が、三次元パラメトリックモデルを特定するラベルであることを特徴としている。
【0040】
したがって、補完後の三次元点群データに対して、三次元パラメトリックモデルを用いた処理を行う場合には、処理の迅速化を図ることができる。
【0041】
(18)この発明に係る三次元モデル生成装置は、学習済推定モデルが、前記ワイヤーフレームモデルに基づいて前記三次元点群データを補完した事前補完三次元点群データを受けて、当該事前補完三次元点群データと前記パラメトリックモデルを特定するラベルとに基づいて、補完を行うことを特徴としている。
【0042】
したがって、より正確にワイヤーフレームモデルを生成することができる。
【0043】
「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。
【0044】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働してその機能を発揮するプログラム等を含む概念である。
【図面の簡単な説明】
【0045】
【図1】この発明の一実施形態による三次元モデル生成装置の全体構成である。
【図2】三次元モデル生成装置のハードウエア構成である。
【図3】三次元モデル生成プログラムのフローチャートである。
【図4】ワイヤーフレームモデル生成処理のフローチャートである。
【図6】エッジ部分抽出、コーナ部分抽出のための推定モデルを学習するための学習データである。
【図8】パラメータＰ１～Ｐ６の探査範囲を示す図である。
【図9】パラメトリックモデルのパラメータ調整処理を示すフローチャートである。
【図10】パラメトリックモデルのパラメータ調整処理を示すフローチャートである。
【図11】面についての法線ベクトル、線についての法線ベクトルを示す図である。
【図12】他の例による三次元モデル生成プログラムのフローチャートである。
【図13】第２の実施形態による三次元モデル生成装置の全体構成である。
【図14】三次元モデル生成プログラムのフローチャートである。
【図15】パラメトリックモデル選択のフローチャートである。
【図16】パラメトリックモデル選択のフローチャートである。
【図17】パラメトリックモデルの例である。
【図18】生成されたワイヤーフレームモデルの例である。
【図19】ワイヤーフレームモデルの分離を説明するための図である。
【図20】パラメトリックモデルのパラメータ例である。
【図21】パラメトリックモデルのパラメータ例である。
【図22】他の地物の例である。
【図23】第３の実施形態による三次元点群データ補完装置の全体構成である。
【図24】三次元点群データ補完プログラムのフローチャートである。
【図25】生成されたワイヤーフレームに欠損のある場合を示す例である。
【図26】三次元点群データを補完するための推定モデルを学習するための学習データである。
【図27】三次元点群データの補完と、三次元モデルの生成を行う場合のフローチャートである。
【図28】三次元点群データの例である。
【図29】パラメトリックモデルの例である。
【図30】パラメータの探索範囲を示す図である。
【発明を実施するための形態】
【0046】
１．第１の実施形態
1.1全体的構成
図１に、この発明の一実施形態による三次元モデル生成装置の全体的構成を示す。ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。
1.1全体的構成
図１に、この発明の一実施形態による三次元モデル生成装置の全体的構成を示す。ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。
【0047】
パラメータの初期値設定４においては、生成したワイヤーフレームモデルの各部の長さや角度などに基づいて、対応する三次元パラメトリックモデルのパラメータ初期値を設定する。
【0048】
パラメータ調整６においては、上記設定したパラメータの初期値を用いて、三次元パラメトリックモデルの各パラメータを変化させ、三次元点群データに合致するパラメータを決定する。これにより、三次元モデルを生成することができる。
【0049】
この実施形態では、三次元点群データのワイヤーフレームモデルに基づいてパラメータの初期値を決定している。このため、三次元点群データに対する合致性の高いパラメータから探索を開始することができ、最適なパラメータを迅速に見いだすことができる。
【0050】
1.2ハードウエア構成
図２に、三次元モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、通信回路１６、ＳＳＤ１８、ＤＶＤ－ＲＯＭドライブ２０、キーボード／マウス２２が接続されている。通信回路１６は、インターネットに接続するための回路である。
図２に、三次元モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、通信回路１６、ＳＳＤ１８、ＤＶＤ－ＲＯＭドライブ２０、キーボード／マウス２２が接続されている。通信回路１６は、インターネットに接続するための回路である。
【0051】
ＳＳＤ１８には、オペレーティングシステム２４、三次元モデル生成プログラム２６が記録されている。三次元モデル生成プログラム２６は、オペレーティングシステム２４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ３０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ２０を介して、ＳＳＤ１８にインストールしたものである。
【0052】
1.3三次元モデル生成処理
図３に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
図３に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
【0053】
ＣＰＵ１０は、対象となる三次元点群データ５０を取得する（ステップＳ１）。続いて、ＣＰＵ１０は、対象となる三次元点群データ５０に基づいて、線によって表現したワイヤーフレームモデル５２を生成する（ステップＳ２）。次に、当該ワイヤーフレームモデル５２に基づいて、三次元点群データ５０に対応する三次元パラメトリックモデル５４の初期パラメータを設定する（ステップＳ３）。
【0054】
さらに、この三次元パラメトリックモデル５４のパラメータを調整し、三次元点群データ５０に合致させ、三次元点群データに対応する三次元モデル５６を得る（ステップＳ４）。ＣＰＵ１０は、得られた三次元モデル５６を出力する（ステップＳ５）。
【0055】
以下、ステップＳ２～Ｓ４の処理を詳細に説明する。まず、ステップＳ２の三次元点群データに基づいてワイヤーフレームモデルを生成する処理について説明する。図４に、ワイヤーフレームモデル生成のフローチャートを示す。
【0056】
ＣＰＵ１０は、三次元点群データによって構成される立体のエッジ部分（辺部分）に該当する点、およびコーナー部分（角部分）に該当する点を推定する（ステップＳ２１）。たとえば、図５Ａに示すような三次元点群データに対して、図５Ｂのようなエッジ部分の点と図５Ｃのようなコーナー部分の点を推定する。
【0057】
この実施形態では、ステップＳ２１の推定を、学習済の推定モデルを用いて実現している。推定モデルの学習に用いる学習データは、図６Ａに示すような三次元点群データ、図６Ｂに示すような「コーナー」のラベルの付されたコーナー部分の点群データ、図６Ｃに示すような「エッジ」のラベルの付されたエッジ部分の点群データのセットである。
【0058】
学習データは、実際に計測した三次元点群データについて、コーナー部分、エッジ部分の点群データを手作業にて選択して作成するようにしている。
【0059】
なお、推定モデルとしては、Xuefeng Tan et al による"Coarse-to-fine pipeline for 3D wireframe reconstruction from point cloud"(Computer & Graphics Vol 106, August 2022, Page 288-298)のアルゴリズムを用いることができる、
ステップＳ２１において、コーナ部分、エッジ部分の点群データを抽出すると、ＣＰＵ１０は、各コーナー部分の点群について一つの代表点を選択してコーナー点とする。さらに、エッジ部分の端部に位置する２つのコーナー点を結ぶ直線を形成する。このようにして、図５Ｄに示すようなワイヤーフレームモデル５２を生成する。
ステップＳ２１において、コーナ部分、エッジ部分の点群データを抽出すると、ＣＰＵ１０は、各コーナー部分の点群について一つの代表点を選択してコーナー点とする。さらに、エッジ部分の端部に位置する２つのコーナー点を結ぶ直線を形成する。このようにして、図５Ｄに示すようなワイヤーフレームモデル５２を生成する。
【0060】
ＳＳＤ１８には、図７Ｂに示すように、ワイヤーフレームモデル５２（三次元点群データ）に対応するパラメトリックモデル５４が記録されている。パラメトリックモデル５４には、その数値を変化することのできるパラメータＰ１～Ｐ６が、所定の辺に対して設けられている。
【0061】
ＣＰＵ１０は、パラメトリックモデル５４のパラメータＰ１～Ｐ６の設けられた辺に対応する、ワイヤーフレームモデル５２の辺を特定し、その値ＰＩＮ１～ＰＩＮ６（長さや角度）を算出する。図７Ａに示すように、パラメータＰ１～Ｐ６に対応する数値であるＰＩＮ１～ＰＩＮ６を決定する。この数値ＰＩＮ１～ＰＩＮ６を初期値とし、図７Ｃに示すようにパラメトリックモデル５４を変形する（ステップＳ５４）。
【0062】
続いて、ＣＰＵ１０は、上記のようにして変形したパラメトリックモデル５４のＸＹＺ方向における座標位置、ロール、ピッチ、ヨーを調整し、ワイヤーフレームモデル５２に合致させる。ここでは、パラメータＰ１～Ｐ６は初期値のままで変化させず、位置と回転角度を合致させる。両者の合致性は、ワイヤーフレーム５２の各辺と、対応するパラメトリックモデル５４の各辺の角度差（絶対値）の合計によって判定する。角度差の合計が最小となる位置・回転角度において、両者が最も合致するものと判定する。
【0063】
上記のように、この実施形態では、ワイヤーフレームモデル５２にて概ね各辺の寸法が正確なパラメトリックモデル５４に初期値を与えている。したがって、この初期値の与えられたパラメトリックモデル５４に基づいて、容易に、位置・回転角度を決定することができる。
【0064】
続いて、ＣＰＵ１００は、パラメトリックモデル５４のパラメータＰ１～Ｐ６を変化させながら、三次元点群データとの適合度合いを算出する（ステップＳ４）。この実施形態では、図８に示すように、パラメータＰ１～Ｐ６を変化させるようにしている。各パラメータＰ１～Ｐ６ともに、初期値ＰＩＮ１～ＰＩＮ６を中心として、前後に所定量の変化範囲を設けている。たとえば、パラメータＰ１については、ＰＩＮ１を中心として前後１ｍの範囲で変化できるものとし、変化ステップは０．３ｍとしている。なお、各パラメータは、二進数にて表現されることになる（必要ビット数参照）。なお、中心から前後に変化範囲を設けず、前または後ろに変化範囲を設けるようにしてもよい。すなわち、初期値を含むように所定範囲の変化範囲を設ければよい。
【0065】
この実施形態では、上記のパラメータＰ１～Ｐ６について、ＧＡ（遺伝的アルゴリズム）を用いて、最適値を検討するようにしている。図９に、ＧＡを用いた寸法決定のフローチャートを示す。
【0066】
まず、ＣＰＵ１０は、上記の初期パラメータＰ１～Ｐ６を取得し、パラメトリックモデルに代入して三次元モデルを生成する（ステップＳ４１）。
【0067】
次に、ＣＰＵ１０は、初期パラメータによって形成された三次元モデルの全ての面について法線ベクトルを算出する（ステップＳ４２）。図１１Ａに、法線ベクトルの例を示す。図１１Ａでは、面ＦＰ、ＲＳＰについてのみ法線ベクトルを示しているが、他の全ての面についても法線ベクトルが生成される。
【0068】
続いて、ＣＰＵ１０は、三次元点群データの点について法線ベクトルを生成する（ステップＳ４４）。ここでは、注目する点の所定範囲内の点により疑似平面を生成し、当該疑似平面の法線ベクトルを、当該注目する点の法線ベクトルとしている。図１１Ｂに、注目する点の法線ベクトルの例を示す。
【0069】
次に、ＣＰＵ１０は、注目する点の法線ベクトルと、三次元モデルの各面の法線ベクトルとの角度差を算出し、所定角度よりも角度差の小さい面に注目する点を対応付ける（ステップＳ４５）。
【0070】
次に、当該対応づけられた面に対して点から垂線を降ろしてその距離を算出する（ステップＳ４６）。ステップＳ４５において、対応付けられた面が複数ある場合、ステップＳ４６にて算出した距離の小さい方を選択して、点を対応付ける。
【0071】
以上のステップＳ４４～Ｓ４６の処理を全ての点について行う（ステップＳ４３、Ｓ４７）。
【0072】
ＣＰＵ１０は、三次元モデルの各面ごとに、対応する点の総数を算出する（ステップＳ４９）。この点の総数が少ない（他の面の点の数の５％以下など）面については、十分な三次元点群データが計測されていない可能性がある。したがって、この適合処理においては、外れ値とし、当該面および点を棄却する（ステップＳ５０）。
【0073】
続いて、ＣＰＵ１０は、三次元モデルと三次元点群データの適合度を算出する（ステップＳ５１）。適合度は、面とこれに対応する点の距離の総和が小さいほど適合度が高いものとしている。この実施形態では、下記に示すような式により、正規化された適合度Fitnessを算出している。
【0074】
【数1】
【0075】
上式において、ｎは三次元モデルの面数、RMSは点と面との距離の二乗平方根、RMSminはRMSの最小値、RMSmaxはRMSの最大値、面ｉのRMSをRMSiとする。
【0076】
ＣＰＵ１０は、適合度が所定値より小さいかどうかを判断する（ステップＳ５２）。適合度Fitnessが小さいほど、三次元モデルと三次元点群データの合致性が高いことになる。所定値より小さい場合、ＣＰＵ１０は、当該三次元モデルを、三次元点群データに対応する三次元モデルとして決定する（ステップＳ５４）。
【0077】
所定値より大きい場合、ＣＰＵ１０は、ＧＡ処理にて、各パラメータのビットを交叉、突然変異などの手法によって変更し、次世代の三次元モデルを生成する（ステップＳ５３）。なお、このＧＡ処理は、遺伝子アルゴリズムにおいて通常用いられている手法を用いることができる。
【0078】
ＣＰＵ１０は、このようにして生成した次世代の三次元モデルについて、ステップＳ４２以下の処理を繰り返す。このようにして、三次元点群データとよくマッチする三次元モデルを得ることができる。
【0079】
ＣＰＵ１０は、このようにして決定した三次元点群モデル（パラメータ値を含む）を出力する（ステップＳ５）。
【0080】
上記のように、この実施形態では、ＧＡによって最適地を探索する範囲を、初期値ＰＩＮ１～ＰＩＮ６の周囲に限定するようにしている。したがって、迅速に適正値を探索することができる。
【0081】
1.4変形例（その他）
(1)上記実施形態では、遺伝子アルゴリズムを用いて適切な組合せを検討するようにしている。しかし、タブー検索や疑似アニーリング法などを用いるようにしてもよい。また、組合せの数が少ない場合には、全ての組合せを検討するようにしてもよい。
(1)上記実施形態では、遺伝子アルゴリズムを用いて適切な組合せを検討するようにしている。しかし、タブー検索や疑似アニーリング法などを用いるようにしてもよい。また、組合せの数が少ない場合には、全ての組合せを検討するようにしてもよい。
【0082】
(2)上記実施形態では、橋梁を対象として、三次元点群データから三次元モデルを生成するようにしている。しかし、橋桁など他の地物を対象として三次元点群データから三次元モデルを生成するようにしてもよい。
【0083】
上記実施形態では、地物を対象として、三次元点群データから三次元モデルを生成するようにしている。しかし、地物以外の構造物を対象として、三次元点群データから三次元モデルを生成するようにしてもよい。
【0084】
(3)上記実施形態では、ステップＳ５２において適合値が所定値以下になれば、そのパラメータを有する三次元モデルを選択するようにしている。しかし、直ちにそのパラメータにて三次元モデルを選択せず、当該パラメータを中心として、探索ステップを細かくしてパラメータ値を変化させ、より最適なパラメータ（より小さな所定値の適合値になるように）を選択するようにしてもよい。
【0085】
たとえば、第２段階では、探索ステップを１／１０にしてより細かくパラメータを変化させる。第２段階における探索範囲は、第１段階にて得られた適切値を中心として、探索ステップを細かくし、第１段階と同じ数のパターン数を設定した範囲とする。
【0086】
このようにすることで、より適切なパラメータ値を得ることができる。なお、上記では、第２段階まで行ったが、３段階以上行うようにしてもよい。
【0087】
(4)上記実施形態では、三次元モデル生成装置を、操作者が直接的に操作を行うことのできるコンピュータとして構築した。しかし、端末装置からインターネットなどを介して操作を行うことのできるサーバ装置として構築してもよい。
【0088】
(5)上記実施形態では、ボクセルグリッドを形成し、ボクセルグリッド内の点については全て同じ法線ベクトルを与えるようにしている。しかし、全ての点についてそれぞれ法線ベクトルを与えるようにしてもよい。この場合、法線ベクトルを与える点について、当該点の周囲の所定距離内にある点に基づいて疑似平面を参照し、この法線ベクトルを当該点に与えるようにする。
【0089】
(6)上記実施形態では、ワイヤーフレームモデル５２に基づいてパラメトリックモデルＰ１～Ｐ６の初期パラメータを決定するようにしている。
【0090】
しかし、同じパラメトリックモデルを用いて既に生成された記録済みの三次元モデルに基づいて、パラメトリックモデルＰ１～Ｐ６の初期パラメータを決定するようにしてもよい。
【0091】
図１２に、この場合の三次元モデル生成フローチャートを示す。ステップＳ９９において、ワイヤーフレームモデル５２に基づいて、これに類似する作成済みの三次元モデルを選択する。まず、三次元モデル・ワイヤーフレームモデルのそれぞれについて、これを内包する直方体を形成する。その直方体の大きさが類似するものをいくつか選択する（双方の直方体を重ねて、重ならない部分の体積が小さいほど類似するものとする）。
【0092】
さらに、ワイヤーフレームモデル、上記で選択した三次元モデルの対応する辺同士の角度差(絶対値)を合計し、その値が小さいものほど類似するものとする。このようにして類似度の高い三次元モデルを選択する。
【0093】
ステップＳ３においては、選択した三次元モデルに基づいて、三次元パラメトリックモデルの初期パラメータを設定する。
【0094】
(7)上記実施形態では、ＣＰＵを用いて装置を構成したが、その一部または全部を論理回路によって構成するようにしてもよい。
【0095】
(8)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
【0096】
２．第２の実施形態
2.1全体的構成
上記実施形態では、三次元点群データ５２に対応するパラメトリックモデル５４が決まっている場合について説明した。この実施形態では、複数のパラメトリックモデル５４から三次元点群データ５２に対応するものを選択する場合について説明する。
2.1全体的構成
上記実施形態では、三次元点群データ５２に対応するパラメトリックモデル５４が決まっている場合について説明した。この実施形態では、複数のパラメトリックモデル５４から三次元点群データ５２に対応するものを選択する場合について説明する。
【0097】
図１３に、第２の実施形態による三次元モデル生成装置の全体的構成を示す。ワイヤーフレームモデルの生成２においては、三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。パラメータ調整６においては、選択したパラメトリックモデルのパラメータを調整して、三次元パラメトリックモデルをワイヤーフレームモデルに合致させ、三次元モデルを得る。なお、パラメータ調整６においては、第１の実施形態による処理方法を採用してもよいし、他の方法を採用してもよい。
【0098】
このように、三次元点群データに基づいてワイヤーフレームモデルを生成し、当該ワイヤーフレームモデルに基づいて三次元パラメトリックモデルの選択を行うようにしているので、処理の迅速化を図ることができる。
【0099】
【0100】
2.3三次元モデル生成処理
図１４に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
図１４に、三次元モデル生成プログラム２６のフローチャートを示す。以下では、橋脚の三次元点群データを対象として、その三次元モデルを生成する処理を説明する。
【0101】
ＣＰＵ１０は、対象となる三次元点群データ５０を取得する（ステップＳ１０１）。続いて、ＣＰＵ１０は、対象となる三次元点群データ５０に基づいて、線によって表現したワイヤーフレームモデル５２を生成する（ステップＳ１０２）。次に、橋脚について予め記録されている三次元パラメトリックモデルの中から、形成したワイヤーフレームモデル５２に合致する三次元パラメトリックモデル５４を選択する（ステップＳ１０３）。さらに、この三次元パラメトリックモデル５４のパラメータを調整し、ワイヤーフレームモデル５２に合致させ、三次元点群データに対応する三次元モデル５６を得る（ステップＳ１０４）。ＣＰＵ１０は、得られた三次元モデル５６を出力する（ステップＳ１０５）。
【0102】
以下、ステップＳ２～Ｓ４の処理を詳細に説明する。まず、ステップＳ１０２の三次元点群データに基づいてワイヤーフレームモデルを生成する処理は、第１の実施形態におけるステップＳ２と同じである。
【0103】
【0104】
この実施形態においては、図１７に示すようなパラメトリックモデルが予め記録されている。橋脚は、梁と柱で構成されており、梁の形状は、８角形、６角形、４角形の３種類であり、柱の形状は、円形、小判形、正方形、長方形の４種類である。したがって、図１７には３種類のパラメトリックモデルのみを示しているが、３×４＝１２種類のパラメトリックモデルが記録されている。
【0105】
各パラメトリックモデルには、パラメトリックモデルを特定するためのラベルが付されている。左から、Ｔ字型橋脚（８角形・円形）、Ｔ字型橋脚（６角形・長方形）、Ｔ字型橋脚（４角形・正方形）・・・というようにラベルが付されている。
【0106】
ＣＰＵ１０は、以下に示す処理によって、これら１２種類のパラメトリックモデルから、ワイヤーフレームモデルを用いて、三次元点群データに合致するパラメトリックモデルを選択する。
【0107】
ＣＰＵ１０は、ワイヤーフレームに円形の柱、小判形の柱が含まれているかどうかを判断する（ステップＳ１３１）。図１８Ｂに示す正方形や長方形の柱とは異なって、図１８Ａに示す円形の柱、小判形の柱の場合には、ワイヤーフレームにおいて上のエッジＥ１１と下のエッジＥ１２とを連続するエッジが現れない。したがって、上下に連続するエッジがなければ、円形または小判形の柱であると判断することができる。
【0108】
円形または小判形の柱であると判断すると、ＣＰＵ１０は、円形か小判形かの判断を行う（ステップＳ１３２、Ｓ１３３）。この実施形態では、仮想的に生成した真円の半径を徐々に変化させて、エッジＥ１１またはエッジＥ１２との一致度（最小二乗法を用いることができる）を判断し、最も高い一致度を算出する（ステップＳ１３２）。最も高い一致度が、所定値を超えているとワイヤーフレームは円形であると判断する。超えていなければ、小判形であると判断する（ステップＳ１３３）。ワイヤーフレームが小判形であれば、仮想的に生成した真円とは完全に一致しないため、このように判断することができる。このようにして、柱が円形であるか小判形であるかを決定する。
【0109】
次に、ＣＰＵ１０は、最も高い同一平面（柱の延長方向に垂直な面）上に存在するエッジの数を算出する（ステップＳ１３６）。エッジの数に応じて、梁が８角形であるか、６角形であるか、４角形であるかを決定する（ステップＳ１３７、Ｓ１３８、Ｓ１３９、Ｓ１４０）。図１８Ａの場合であれば、エッジＥ１～Ｅ８までの８つのエッジを見いだすことができるので、梁は８角形であると決定することができる（ステップＳ１３８）。
【0110】
ＣＰＵ１０は、以上のようにして、柱の形と梁の形を決定すると、その組み合わせに基づいて、パラメトリックモデルを選択する。図１８Ａの場合であれば、梁＝８角形、柱＝円形であるから、図１７に示すＴ字型橋脚（８角形・円形）の３Ｄパラメトリックモデルが選択されることになる。
【0111】
ステップＳ１３１において、円形の柱、小判形の柱が含まれていない（すなわち角柱である）と判断すると、ＣＰＵ１０は、図１６のステップＳ１４１以下を実行する。
【0112】
ステップＳ１４１において、ＣＰＵ１０は、柱と梁を分離する（ステップＳ４１）。この分離は、次のようにして行う。図１９に示すように、最も下の面ＬＰに対して垂直に上に伸びる線Ｅ２１～Ｅ２４を特定する。この線Ｅ２１～Ｅ２４の上端において垂直に交わる面ＢＰを見いだす。この面ＢＰにて上下に分離する。上が梁で、下が柱である。
【0113】
以後、ステップＳ１４２～Ｓ１４５にて柱の形状を判断し、ステップＳ１４６～Ｓ１５１にて梁の形状を判断する。
【0114】
ＣＰＵ１０は、柱について、下面ＬＰにおける各エッジの長さを算出する（ステップＳ１４２）。各エッジの長さが実質的に同じであれば（差が所定値以下であれば）、柱形状は正方形であるとする（ステップＳ１４４）。そうでなければ、柱形状は長方形であるとする（ステップＳ１４５）。
【0115】
ＣＰＵ１０は、梁について、最も高い同一平面上に存在するエッジの数を算出する（ステップＳ１４６）。エッジの数に応じて、梁の形状を決定する（ステップＳ１４８、Ｓ１４９、Ｓ１５０）。
【0116】
以上のようにして、柱の形状と針の形状を特定すると、その組合せに基づいて合致するパラメトリックモデルを選択する（ステップＳ１５１）。
【0117】
上記のように、この実施形態では、ワイヤーフレームモデルに基づいて３Ｄパラメトリックモデルを選択するようにしているので、選択処理を迅速に行うことができる。
【0118】
上記のようにして三次元点群データに合致するパラメトリックモデルを選択すると、このパラメトリックモデルのパラメータを調整し、パラメトリックモデルをワイヤーフレームモデル（もしくは三次元点群データ）に合致させる。
【0119】
図２０に、パラメトリックモデルの例を示す。図に示すように、パラメトリックモデルは、そのパラメータＰ１～Ｐ６を変えることにより形状を変化させることができる。ＣＰＵ１０は、これらパラメータＰ１～Ｐ６を順次変化させて、ワイヤーフレームモデル（もしくは三次元点群データ）に最も合致するパラメータＰ１～Ｐ６の組合せを見いだす（図１４のステップＳ１０４）。
【0120】
この際、適合度としては、ワイヤーフレームモデルのエッジ（辺）と、対応するパラメトリックモデルのエッジ（辺）との距離の総和によって算出することができる（距離の総和が小さいほど適合度が高い）。あるいは、パラメトリックモデルの面と、これに対応する三次元点群データの点の距離の総和が小さいほど適合度が高いものとしてもよい。
【0121】
以上のようにして、パラメータＰ１～Ｐ６を調整してワイヤーフレームモデル（もしくは三次元点群データ）に合致するパラメトリックモデルを得ると、ＣＰＵ１０は、これを三次元モデルとして出力する（ステップＳ１０５）。たとえば、他のコンピュータなどに記録する。
【0122】
2.4変形例
(1)上記実施形態では、Ｔ橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図２１に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
(1)上記実施形態では、Ｔ橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図２１に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
【0123】
また、図２２に示すように、橋脚以外の床版、横桁・縦桁、Ｔ桁、箱桁、Ｉ桁、壁型１柱式（小判形）、壁型１柱式（矩形）、壁型１柱式（円形）、重力式橋台、逆Ｔ型橋台など他の地物にも適用することができる。
【0124】
なお、上記では、三次元点群データから生成したワイヤーフレームモデルに基づいて、パラメトリックモデルを選択する際に、上下に分離して判断するようにしている。しかし、地物が単純な形状（床版、横桁など）である場合には、分離せずに判断することができる。
【0125】
(2)上記実施形態では、実測した三次元点群データに基づいて、エッジ、コーナーの点を手作業にて選択し、学習データを作成するようにしている。
【0126】
しかし、次のようにして学習データを生成してもよい。パラメトリックモデルに基づいて、当該パラメトリックモデルの表面を埋める三次元点群データを自動生成して三次元点群データを生成する。さらに、この三次元点群データのエッジにあたる点群、コーナーにあたる点群を選択する。エッジ、コーナーの点群は、パラメトリックモデルのエッジ・コーナーから所定範囲内にある点群を選択することで自動的に決定できる。このようにして、学習データを得ることができる。
【0127】
さらに、パラメトリックモデルのパラメータを変化させて上記の処理を行うことにより、多数の学習データを自動生成することができる。
【0128】
(3)上記実施形態では、パラメータを順次変化させることで、パラメトリックモデルをワイヤーフレーム（三次元点群データ）に合致させるようにしている。この際、ＧＡ（遺伝子アルゴリズム）を用いて合致するパラメータを決定するようにしてもよい。この際、第１の実施形態のように、ワイヤーフレームモデルを用いて初期パラメータを設定するようにしてもよい。
【0129】
(4)上記実施形態では、ルールベースに基づいて、ワイヤーフレームモデルに対応する三次元パラメトリックモデルを選択するようにしている。しかし、ワイヤーフレームモデルとこれに対応する三次元パラメトリックモデル（のラベル）とによって学習した推定モデルを用いて、三次元パラメトリックモデル（のラベル）を推定するようにしてもよい。
【0130】
(5)上記実施形態では、三次元点群データのエッジおよびコーナーに位置する点群を抽出し、これに基づいてワイヤーフレームモデルを生成している。しかし、エッジまたはコーナーのいずれか一方のみを抽出し、これに基づいてワイヤーフレームモデルを生成するようにしてもよい。
【0131】
(6)上記実施形態では、三次元モデル生成装置をスタンドアローンの装置として構築している。しかし、三次元モデル生成装置をインターネット上などネットワーク上のサーバ装置として構築するようにしてもよい。この場合、端末装置からの指令に基づいて、サーバ装置が処理を行うことになる。
【0132】
(7)上記実施形態では、ＣＰＵを用いて装置を構成したが、その一部または全部を論理回路によって構成するようにしてもよい。
【0133】
(8)上記実施形態および変形例は、互いに組み合わせて実施することが可能である。
【0134】
３．第３の実施形態
2.1全体的構成
図２３に、この発明の一実施形態による三次元点群データ補完装置の全体的構成を示す。ワイヤーフレームモデルの生成１５２においては、欠損のある三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。 三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。ワイヤーフレームモデルは、欠損のある三次元点群データに基づくので、少しいびつな形状となるが、欠損が極端に大きくない限りパラメトリックモデルの選択には支障はない。
2.1全体的構成
図２３に、この発明の一実施形態による三次元点群データ補完装置の全体的構成を示す。ワイヤーフレームモデルの生成１５２においては、欠損のある三次元点群データに基づいて、そのエッジを検出し、ワイヤーフレームモデルを生成する。 三次元パラメトリックモデルの選択４においては、予め用意されている複数の三次元パラメトリックモデルのうちから、当該ワイヤーフレームモデルに合致する三次元パラメトリックモデルを選択する。ワイヤーフレームモデルは、欠損のある三次元点群データに基づくので、少しいびつな形状となるが、欠損が極端に大きくない限りパラメトリックモデルの選択には支障はない。
【0135】
このようにして選択したパラメトリックモデルを特定するラベルと、欠損のある三次元点群データとに基づいて、補完された三次元点群データを推定する。
【0136】
このように、欠損のある三次元点群データのワイヤーフレームモデルに基づいて選択した三次元パラメトリックモデルのラベルを補完のための推定に用いているので、より精度よく補完を行うことができる。
【0137】
欠損のある三次元点群データを選択して、上記装置に与えて補完を行ってもよいが、欠損のない三次元点群データと欠損のある三次元点群データを区別せずに、上記装置に与えるようにしてもよい。欠損のある三次元点群データは補完され、欠損のない三次元点群データはそのまま（ほとんど補完されず）で出力されるので、選別する必要がない。
【0138】
【0139】
2.3三次元点群データ補完処理
図２４に、三次元点群データ補完プログラム２６のフローチャートを示す。以下では、Ｔ字橋脚の欠損三次元点群データを対象として、その三次元点群データを補完して完全な三次元点群データを生成する処理を説明する。
図２４に、三次元点群データ補完プログラム２６のフローチャートを示す。以下では、Ｔ字橋脚の欠損三次元点群データを対象として、その三次元点群データを補完して完全な三次元点群データを生成する処理を説明する。
【0140】
ＣＰＵ１０は、対象となる欠損三次元点群データ７０を取得する（ステップＳ１７１）。続いて、ＣＰＵ１０は、対象となる欠損三次元点群データ７０に基づいて、線によって表現したワイヤーフレームモデル５２を生成する（ステップＳ１７２）。
【0141】
次に、橋脚について予め記録されている三次元パラメトリックモデルの中から、形成したワイヤーフレームモデル７２に合致する三次元パラメトリックモデルを特定するラベルを選択する（ステップＳ１７３）。
【0142】
ＣＰＵ１０は、欠損三次元点群データと、選択した三次元パラメトリックモデルのラベルとに基づいて、補完された三次元点群データを推定する（ステップＳ１７４）。
【0143】
以上のようにして、欠損している三次元点群データを補完して欠損のない三次元点群データにすることができる。補完された点群データに基づいて、種々の処理、たとえば、第１実施形態や第２実施形態による三次元モデルの生成などを行うことができる。
【0144】
ステップＳ１７２におけるワイヤーフレーム生成の処理は、第１の実施形態と同様である。ただし、欠損した三次元点群データに基づいているので、ワイヤーフレームのエッジ同士が接続していない状態となる。この実施形態では、ＣＰＵ１０は、以下のようにして、ワイヤーフレームを完成するようにしている。
【0145】
図２５Ａのように、エッジが途切れている場合には、エッジを延長してこれらを接合する。また、図２５Ｂのように、コーナーが欠損しているような場合も、エッジを延長して、コーナーを形成することができる。したがって、図２５Ａ、図２５Ｂのような場合には、図２５Ｃのようにワイヤーフレームを完成させることができる。
【0146】
また、図２５Ｄのようにエッジが完全に欠損しているような場合には、エッジを延長してもエッジ同士が交わらないことになる。このように、エッジの延長によってもエッジが交わらない箇所がある場合には、交わらないエッジの端部とエッジの端部との間に新たにエッジＡＥ１を形成する。この新たに生成したエッジを基準として、ワイヤーフレームのエッジによって形成される面が閉じるようにエッジＡＥ２を形成する。このようにして、図２５Ｅのようにワイヤーフレームを完成させることができる。
【0147】
上記のようにしてワイヤーフレームモデルを生成すると、ＣＰＵ１０は、ワイヤーフレームモデルに基づいて三次元パラメトリックモデルを選択する（ステップＳ１７３）。この処理は、第２の実施形態と同様である。なお、次のステップＳ１７４においては、パラメトリックモデル自体を用いないので、パラメトリックモデルを特定するラベルを選択すれば十分である。
【0148】
続いて、ＣＰＵ１０は、欠損三次元点群データと選択した三次元パラメトリックモデルのラベルとに基づいて、学習済推定モデルを用いて、点群を補完した三次元点群データを推定する（ステップＳ１７４）。このようにして、欠損のない補完済三次元点群データ７４を生成することができる。
【0149】
この実施形態では、ステップＳ１７４の推定を、学習済の推定モデルを用いて実現している。推定モデルの学習に用いる学習データは、図２６Ａに示すようなラベルの付された欠損のある三次元点群データ、図２６Ｂに示すような欠損を補完した三次元点群データのセットである。
【0150】
学習データは、実際に計測した欠損のある三次元点群データについて、作業者の判断によってパラメトリックモデルのラベルを付し、作業者の手作業によって欠損を補完した三次元点群データを生成して作成するようにしている。
【0151】
3.4変形例
(1)上記実施形態では、ワイヤーフレームモデルによって表される立体図形の特徴としてパラメトリックモデルを用い、パラメトリックモデルのラベルを三次元点群データの補完に用いている。しかし、パラメトリックモデル以外の図形の特徴を表す特徴値によって図形を分類し、当該分類を三次元点群データの補完に用いるようにしてもよい。
(1)上記実施形態では、ワイヤーフレームモデルによって表される立体図形の特徴としてパラメトリックモデルを用い、パラメトリックモデルのラベルを三次元点群データの補完に用いている。しかし、パラメトリックモデル以外の図形の特徴を表す特徴値によって図形を分類し、当該分類を三次元点群データの補完に用いるようにしてもよい。
【0152】
(2)上記実施形態では、欠損したワイヤーフレームモデルを完成させ、完成したワイヤーフレームモデルに基づいて、合致するパラメトリックモデルを選択するようにしている。しかし、欠損したワイヤーフレームモデルから合致するパラメトリックモデルを選択するようにしてもよい。
【0153】
この場合、たとえば、学習済推定モデルを用いて、欠損ワイヤーフレームに基づいてパラメトリックモデルのラベルを推定するようにしてもよい。この場合には、欠損ワイヤーフレームモデル、これに対応するパラメトリックモデルのラベルを学習データとして、推定モデルを学習させるとよい。
【0154】
(3)上記実施形態では、実測した欠損のある三次元点群データに基づいて、作業者が対応するパラメトリックモデルのラベルを決定し、さらに手作業にて欠損のない三次元点群データを生成し、学習データを作成するようにしている。
【0155】
しかし、次のようにして学習データを自動生成してもよい。パラメトリックモデルに基づいて、当該パラメトリックモデル内を埋める三次元点群データを自動生成して欠損のない三次元点群データを生成する。さらに、この三次元点群データを自動的に欠損させて欠損のある三次元点群データを生成する。これにより、欠損のある三次元点群データ、パラメトリックモデルのラベル、欠損のない三次元点群データを得ることができ、学習データを生成することができる。なお、欠損させる際には、実際の測定時に生じることの多い箇所を欠損させることが好ましい。
【0156】
さらに、パラメトリックモデルのパラメータを変化させて上記の処理を行うことにより、多数の学習データを自動生成することができる。
【0157】
(4)上記実施形態によって得られた欠損のない三次元点群データに基づいて、第１や第２の実施形態により三次元モデルを生成するようにしてもよい。第２の実施形態を適用する場合を、図２７に示す。ステップＳ１９３においてパラメトリックモデルを選択済であるから、ステップＳ１９６においては選択されたパラメトリックモデルを用いればよい。第１の実施形態を適用する場合も同様である。
【0158】
(5)上記実施形態では、Ｔ字型橋脚の三次元点群データについて三次元モデルを生成する場合について説明した。しかし、図２１に示すように、ラーメン橋脚、二次ラーメン橋脚など他の橋脚にも適用することができる。
【0159】
また、図２２に示すように、橋脚以外の床版、横桁・縦桁、Ｔ桁、箱桁、Ｉ桁、壁型１柱式（小判形）、壁型１柱式（矩形）、壁型１柱式（円形）、重力式橋台、逆Ｔ型橋台など他の地物にも適用することができる。
【0160】
なお、上記では、三次元点群データから生成したワイヤーフレームモデルに基づいて、パラメトリックモデルを選択する際に、上下に分離して判断するようにしている。しかし、地物が単純な形状（床版、横桁など）である場合には、分離せずに判断することができる。
【0161】
(6)上記実施形態では、三次元点群データ補完装置をスタンドアローンの装置として構築している。しかし、三次元点群データ補完装置をインターネット上などネットワーク上のサーバ装置として構築するようにしてもよい。この場合、端末装置からの指令に基づいて、サーバ装置が処理を行うことになる。
【0162】
(7)上記実施形態では、ＣＰＵを用いて装置を構成したが、その一部または全部を論理回路によって構成するようにしてもよい。
【0163】
(8)上記実施形態では、欠損のある三次元点群データとパラメトリックモデルのラベルとに基づいて、学習済推定モデルにより三次元点群データを補完するようにしている。
【0164】
しかし、学習済推定モデルに欠損のある三次元点群データをそのまま入力するのではなく、ステップＳ１７２において生成したワイヤーフレームに基づいて、ルールベースにて点群データを補完したものを入力するようにしてもよい。たとえば、生成されたワイヤーフレームモデルにおいて面が形成されていることが明らかな部位（エッジによってほぼ完全に囲まれた部位）について、点群データが存在しない箇所があれば、点群データが存在する箇所と同程度に密度にて点群データを補完する。このように事前にワイヤーフレームにて点群を事前に補完した点群データを用いて、上記推定モデルにて点群データの補完を行うので、より精度良く補完を行うことができる。
【0165】
(9)上記実施形態および変形例は、互いに組み合わせて実施することが可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
