特開 2023-172621 三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172621

(43)【公開日】2023-12-06

(54)【発明の名称】三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラム

(51)【国際特許分類】

   G06T 7/579 20170101AFI20231129BHJP

   G06V 10/145 20220101ALI20231129BHJP

   G01B 11/25 20060101ALI20231129BHJP

【ＦＩ】

G06T7/579

G06V10/145

G01B11/25 H

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022084563

(22)【出願日】2022-05-24

(71)【出願人】

【識別番号】500063228

【氏名又は名称】田中 成典

(71)【出願人】

【識別番号】511121768

【氏名又は名称】今井 龍一

(71)【出願人】

【識別番号】502235692

【氏名又は名称】中村 健二

(71)【出願人】

【識別番号】519113745

【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社

(71)【出願人】

【識別番号】591074161

【氏名又は名称】アジア航測株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】今井 龍一

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】中村 健二

(72)【発明者】

【氏名】山本 雄平

(72)【発明者】

【氏名】塚田 義典

(72)【発明者】

【氏名】梅原 喜政

(72)【発明者】

【氏名】中原 匡哉

(72)【発明者】

【氏名】新名 恭仁

(72)【発明者】

【氏名】政木 英一

(72)【発明者】

【氏名】松林 豊

(72)【発明者】

【氏名】山田 貴之

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD03

2F065FF05

2F065FF67

2F065GG02

2F065HH02

2F065HH07

2F065JJ03

2F065MM07

2F065MM26

2F065PP02

2F065QQ03

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

2F065QQ38

2F065UU05

5L096AA02

5L096AA06

5L096CA04

5L096CA17

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096HA01

(57)【要約】

【課題】テクスチャが少ない対象物の場合であっても、より高精度な三次元点群データを容易に生成することができる三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラムを得る。
【解決手段】対象物２０の三次元点群データを生成する三次元モデル生成装置であって、対象物２０に対し、該対象物２０の補色のコルク柄画像ＣＳＰを投影するプロジェクタ１０と、プロジェクタ１０により補色のコルク柄画像ＣＳＰを投影した状態で、撮影位置ＰｈＰを変えながら対象物２０を撮影するカメラ１２と、カメラ１２で撮影された対象物２０の多視点の撮影データに基づいて、該対象物２０の三次元点群データを算出するＰＣ３０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物に対し、前記対象物の補色の特定模様を投影する投影器と、
前記投影器により前記補色の特定模様を投影した状態で、撮影位置を変えながら前記対象物を撮影する撮影器と、
前記撮影器で撮影された前記対象物の撮影データに基づいて、前記対象物の三次元点群データを算出する点群データ算出部と、
を備えることを特徴とする三次元モデル生成装置。

【請求項2】

前記補色の特定模様は、コルク柄画像であることを特徴とする請求項１に記載の三次元モデル生成装置。

【請求項3】

前記投影器は、前記対象物に対して異なる前記補色の特定模様を多方向より投影することを特徴とする請求項１に記載の三次元モデル生成装置。

【請求項4】

前記点群データ算出部は、複数の撮影位置より取得した多視点の前記撮影データにＳｆＭ／ＭＶＳ処理を施すことにより、前記対象物の三次元点群データを算出することを特徴とする請求項１に記載の三次元モデル生成装置。

【請求項5】

前記対象物を撮影し、そのＲＧＢ値を算出することにより、前記対象物の補色の特定模様を自動生成する補色画像生成部を、さらに備えることを特徴とする請求項１に記載の三次元モデル生成装置。

【請求項6】

前記点群データ算出部によって取得されるタイポイント数や前記点群データ算出部によって算出される前記三次元点群データへの面フィッティング処理によるＲＭＳ誤差に基づいて、前記点群データ算出部によって算出される前記三次元点群データの品質を、投影の鮮明度として指標化する指標化部を、さらに備えることを特徴とする請求項１に記載の三次元モデル生成装置。

【請求項7】

対象物に対し、投影器により前記対象物の補色の特定模様を投影する工程と、
前記投影器により前記補色の特定模様を投影した状態で、撮影器の撮影位置を変えながら前記対象物を撮影する工程と、
前記撮影器で撮影された前記対象物の撮影データに基づいて、点群データ算出部により前記対象物の三次元点群データを算出する工程と、
を備えることを特徴とする三次元モデル生成方法。

【請求項8】

請求項１から６のいずれかに記載の三次元モデル生成装置を、コンピュータによって実現するための三次元モデル生成プログラムであって、
前記コンピュータを、
前記対象物に対し、投影器により補色の特定模様を投影した状態で、撮影器の撮影位置を変えながら撮影された前記対象物の撮影データに基づいて、前記対象物の三次元点群データを算出する点群データ算出部、
として機能させることを特徴とする三次元モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定模様の投影によって、より高精度な三次元点群データ（三次元モデル）を生成するための三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラムに関する。

【背景技術】

【0002】

近年、あらゆる産業において、技術のＩＣＴ（Information and Communication Technology）化が進み、特に、土木や建設などの業界にあっては、「i-Construction」の提唱により、現場の生産性向上を実現すべく各種の取り組みが行われている。

【0003】

また、さらなる取り組みとして、「建設ＤＸ（Digital Transformation）」の推奨により、現場のみでなく、全社（全業務）を挙げてのサプライチェーンの見直しの強化が図られている。

【0004】

例えば、測量の分野においては、業務の効率化につながるＩＣＴ機器やツールの現場での活用を「建設ＤＸ」として捉え、高精度（高品質）に対象物を三次元モデル化した三次元点群データを建設分野の設計、施工から維持管理にまで役立てる取り組みが浸透しつつある。

【0005】

対象物の精緻な三次元モデル化はレーザスキャナを用いるのが一般的だが、近年は画像を用いたＳｆＭ（Structure from Motion）による対象物の三次元モデル化が盛んになってきている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】森谷 亮太他：Structure from Motionによる効率的で高品質なas-isモデル生成のための最適撮影計画，２０１８年度精密工学会秋季大会学術講演会講演論文集，pp.62-63，２０１８

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来は、ＳｆＭによる高品質なas-is（現況）モデルの生成において、例えば、Bundle調整から得られるカメラの位置・姿勢および三次元特徴点群のみを用いて、Dense Matching後に生成されるＳｆＭモデルの品質を予測し、品質低下が予想される部分の改善が行える最適な撮影位置を、計算機支援により算出しようとするものであった。

【0008】

即ち、as-isモデルの品質向上のために、撮影位置の最適化による撮影画像の追加を可能としたものであるが、テクスチャ画像（例えば、ランダムドットマーカー画像）をプロジェクタにより対象物に投影したとしても、テクスチャが少ない対象物のＳｆＭによる復元はテクスチャ画像の投影だけでは十分でないという課題があった。

【0009】

本発明は、上記の課題を鑑みてなされたものであって、テクスチャが少ない対象物の場合であっても、対象物の色によらず、より高精度な三次元点群データを容易に生成することができる三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の実施形態は、対象物に対し、前記対象物の補色の特定模様を投影する投影器と、前記投影器により前記補色の特定模様を投影した状態で、撮影位置を変えながら前記対象物を撮影する撮影器と、前記撮影器で撮影された前記対象物の撮影データに基づいて、前記対象物の三次元点群データを算出する点群データ算出部と、を備えることを要旨とする。

【0011】

本発明の他の実施形態は、対象物に対し、投影器により前記対象物の補色の特定模様を投影する工程と、前記投影器により前記補色の特定模様を投影した状態で、撮影器の撮影位置を変えながら前記対象物を撮影する工程と、前記撮影器で撮影された前記対象物の撮影データに基づいて、点群データ算出部により前記対象物の三次元点群データを算出する工程と、を備えることを要旨とする。

【0012】

本発明のさらに別の実施形態は、三次元モデル生成装置を、コンピュータによって実現するための三次元モデル生成プログラムであって、前記コンピュータを、前記対象物に対し、投影器により補色の特定模様を投影した状態で、撮影器の撮影位置を変えながら撮影された前記対象物の撮影データに基づいて、前記対象物の三次元点群データを算出する点群データ算出部、として機能させることを要旨とする。

【発明の効果】

【0013】

以上のように本発明によれば、テクスチャが少ない対象物の場合であっても、対象物の色によらず、より高精度な三次元点群データを容易に生成することができる三次元モデル生成装置、三次元モデル生成方法、および、三次元モデル生成プログラムを提供できる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態に係る三次元モデル生成装置の概略構成を示すもので、（ａ）は、平面図であり、（ｂ）は、（ａ）のＩｂ－Ｉｂ線方向の側面図である。

【図2】対象物を撮影した際の画像（撮影データ）を例示する図である。

【図3】三次元モデル生成装置のＰＣの構成例を示すブロック図である。

【図4】三次元モデル生成装置の検証時の動作を説明するために示すフローチャートである。

【図5】コルク柄画像（デフォルト画像）を例示する概略図である。

【図6】補色のコルク柄画像を自動生成する場合を例示するフローチャートである。

【図7】マネキンを対象物として、補色のコルク柄画像を自動生成する場合を例示するもので、（ａ）は、対象物撮影・ＲＧＢ値算出の例を、（ｂ）は、補色計算の例を、（ｃ）は、補色コルク（柄）画像作成の例を、それぞれ示す図である。

【図8】撮影データのパターンを例示する図である。

【図9】ＲＭＳ誤差の算出について、マネキンを対象物とした場合を例に示すもので、（ａ）は、比較する点群データとの位置合わせの例を、（ｂ）は、評価箇所の切り抜き（切り抜き箇所）の例を、（ｃ）は、曲面フィット／ＲＭＳ誤差の算出例を、それぞれ示す図である。

【図10】色ごとに、ＲＭＳ誤差を比較した結果を例示する図である。

【図11】ＲＭＳ誤差の算出について、カラーコーン（登録商標）を対象物とした場合を例に示すもので、（ａ）は、比較する点群データとの位置合わせの例を、（ｂ）は、評価箇所の切り抜き（切り抜き箇所）の例を、（ｃ）は、曲面フィット／ＲＭＳ誤差の算出例を、それぞれ示す図である。

【図12】赤色のカラーコーン（登録商標）について、ＲＭＳ誤差を比較した結果を例示する図である。

【図13】タイポイント数について、赤色のマネキンを対象物とした場合を例に示すもので、（ａ）は、対象物投影・撮影の例を、（ｂ）は、ＳｆＭ／ＭＶＳ処理の例を、（ｃ）は、タイポイント数比較の例を、それぞれ示す図である。

【図14】タイポイント数を比較する場合を例示するフローチャートである。

【図15】色ごとに、タイポイント数を比較した結果を例示する図である。

【図16】ごみ箱を対象物として、補色のコルク柄画像を自動生成する場合を例示するもので、（ａ）は、対象物撮影の例を、（ｂ）は、ＲＧＢ値算出の例を、（ｃ）は、補色計算の例を、（ｄ）は、補色コルク（柄）画像作成の例を、それぞれ示す図である。

【図17】ＳｆＭによる点群データとレーザデータ（点群データ）との投影の法線方向の差分を求めるためのフローチャートである。

【図18】ＳｆＭによる点群データとレーザデータ（点群データ）とを比較した結果を例示するもので、（ａ）は、ＳｆＭによる点群データであり、（ｂ）は、ＦＡＲＯレーザによる点群データである。

【図19】ＳｆＭによる点群データとレーザデータ（点群データ）とを比較するためのフローチャートである。

【図20】点群データの断面を対比して示すもので、（ａ）は、視点を上面とした場合の点群データであり、（ｂ）は、（ａ）のＡ－Ａ′線に沿う断面図、（ｃ）は、（ａ）のＢ－Ｂ′線に沿う断面図、（ｄ）は、（ａ）のＣ－Ｃ′線に沿う断面図、（ｅ）は、（ａ）のＤ－Ｄ′線，Ｅ－Ｅ′線に沿う断面図である。

【図21】第２の実施形態に係る三次元モデル生成装置の概略構成を示すもので、二方向から補色のコルク柄画像の投影を行うようにした場合を例示する平面図である。

【図22】タイポイント数を比較する場合を例示するフローチャートである。

【図23】ＳｆＭ処理の結果（高密度クラウド構築後）を例示すもので、（ａ）は、視点を上面とした場合の点群データであり、（ｂ）は、（ａ）の（Ａ）方向を視点とした場合の点群データ、（ｃ）は、（ａ）の（Ｂ）方向を視点とした場合の点群データ、（ｄ）は、（ａ）の（Ｃ）方向を視点とした場合の点群データ、（ｅ）は、（ａ）の（Ｄ）方向を視点とした場合の点群データである。

【図24】補色のコルク柄画像の投影有り時と投影無し時の、点群データを比較した結果を例示する図である。

【図25】第３の実施形態に係る三次元モデル生成装置の適用例を示す概略図である。

【図26】三次元モデル生成装置の動作を説明するためのもので、（ａ）は、投影面のイメージ図であり、（ｂ）は、撮影画像である。

【図27】第３の実施形態に係る三次元モデル生成装置の他の適用例を示す概略図である。

【図28】損傷部位のヒートマップを求める際の動作を説明するためのもので、（ａ）は、粘土貼り付けのイメージ画像であり、（ｂ）は、ヒートマップのイメージ画像である。

【発明を実施するための形態】

【0015】

以下に示す実施形態は、本発明の技術的思想（構造、配置）を具体化するための装置や方法を例示するものであって、発明の技術的思想は、下記のものに特定されるものではない。本発明の技術的思想は、特許請求の範囲に記載された事項の範囲内において、種々の変更を加えることができる。また、図面は模式的なものであり、装置やシステムの構成などは現実のものとは異なることに留意すべきである。

【0016】

なお、本実施形態に係る三次元モデル生成装置においては、ＳｆＭ（Structure from Motion）による高品質なas-is（現況）モデルの生成を可能とする最適撮影計画を、「建設ＤＸ（Digital Transformation）」の一環として捉え、対象物の撮影時に、該対象物の補色の特定模様（例えば、補色のコルク（柄）画像）を投影するものとして説明する。

【0017】

また、ここでは、タイポイント（ＳｆＭ処理時に取得される画像間の対応点）数や、点群のばらつき具合を示すＲＭＳ（Root Mean Square）誤差などに基づいて、算出される点群データの品質を投影の鮮明度として指標化することによって、対象物の補色の特定模様の投影により生成される三次元点群データの精度を検証することが可能な構成とした場合について説明する。

【0018】

＜第１の実施形態＞
図１は、第１の実施形態に係る三次元モデル生成装置の概略構成を示すもので、（ａ）は、平面図であり、（ｂ）は、（ａ）のＩｂ－Ｉｂ線に沿う方向の側面図である。

【0019】

図１（ａ），（ｂ）に示すように、本実施形態の三次元モデル生成装置は、例えば、対象物２０に当該対象物２０の補色のコルク柄画像（特定模様）ＣＳＰをテクスチャ画像として一方向より投影するプロジェクタ（投影器）１０と、補色のコルク柄画像ＣＳＰが投影された対象物２０を撮影するカメラ（撮影器）１２と、カメラ１２により撮影された画像（撮影データ）に基づいて三次元点群データの生成や投影の鮮明度の指標化により生成される三次元点群データの精度の検証などを行うＰＣ（Personal Computer）３０と、を備えて構成されている。

【0020】

プロジェクタ１０は、三次元点群データを生成する対象物２０に対して、例えば対象物２０までの距離が２ｍ程度とされた、所定の投影位置ＰｒＰより補色のコルク柄画像ＣＳＰを投影するようになっている。

【0021】

カメラ１２は、プロジェクタ１０によって補色のコルク柄画像ＣＳＰが投影された状態において、例えば、その撮影位置ＰｈＰを徐々に横方向（一方向）に平行移動させながら、対象物２０を繰り返し撮影するようになっている。

【0022】

なお、カメラ１２は、例えば、投影位置ＰｒＰからの投影距離が１ｍほどとされた複数（多視点）の撮影位置ＰｈＰにおいて、撮影データがそれぞれ８０％程度オーバーラップするようにして撮影（多重ラップ撮影）が行われる。

【0023】

また、カメラ１２は、ＧＮＳＳ（Global Navigation Satellite System）機能や９軸センサーなどを備え、各撮影データに、撮影位置ＰｈＰや撮影時の姿勢などに関する各種のパラメータを付帯させることが可能となっている。

【0024】

本実施形態においては、撮影の対象物２０として、例えば図２に示すように、三角コーン２０Ｃと、マネキン（頭部のみ）２０Ｍと、ごみ箱２０Ｓと、を用意し、少なくとも三角コーン２０Ｃ、マネキン２０Ｍ、または、ごみ箱２０Ｓのいずれかを用いて、三次元点群データの生成と生成される三次元点群データの精度の検証とを行うものとする。また、対象物２０には、位置合わせのための標定点２１が貼り付けられている。対象物２０としては、三角コーン２０Ｃ、マネキン２０Ｍ、および、ごみ箱２０Ｓ以外に、塩化ビニール管（塩ビ管とも略称する）などを用いることも可能である。

【0025】

図３は、ＰＣ３０の概略構成（機能ブロック）を例示するものである。

【0026】

即ち、ＰＣ３０は、例えば図３に示すように、制御部３０ａ、記憶部３０ｂ、画像入力部３０ｃ、タイポイント数比較部３０ｄ、点群データ算出部としてのＳｆＭ／ＭＶＳ（Multi-View Stereo）処理部３０ｅ、補色画像生成部３０ｆ、ＰＪ駆動部３０ｇ、面フィッティング部３０ｈ、および、ＲＭＳ誤差算出部３０ｉなどを備えている。

【0027】

なお、便宜上、図示を省略しているが、ＰＣ３０としては、入力操作を行うキーボードやマウス、表示装置、または、外部との通信を行う通信装置などを備えた周知のシステムを適用できる。

【0028】

ＰＣ３０において、制御部３０ａは、例えば、記憶部３０ｂに記憶された各種のデータやプログラム（演算処理ソフトウエア）などにしたがって各部を制御し、三次元点群データの生成のほか、投影の鮮明度の指標化による三次元点群データの精度の検証などを行うことが可能とされている。

【0029】

なお、制御部３０ａは、例えばＦＡＲＯの、３Ｄ方式のレーザスキャナによるレーザデータ（点群データ）の取得、または、ヒートマップの形成などが可能な構成とすることもできる。

【0030】

記憶部３０ｂは、三次元点群データの生成に必要な各種のデータや演算処理ソフトウエアとして、例えば、市販のＳｆＭ／ＭＶＳソフトウエアなどを記憶するものである。

【0031】

また、記憶部３０ｂには、検証のための、例えば、補色のコルク柄画像ＣＳＰを生成するための元のコルク柄画像（デフォルト画像）ＳＰや、デフォルトのコルク柄画像ＳＰのテクスチャ画像としての投影により生成された三次元点群データなどを記憶するようにしても良い。

【0032】

画像入力部３０ｃは、例えば、カメラ１２により撮影された対象物２０の多視点の撮影データや、補色のコルク柄画像ＣＳＰを生成するための、対象物２０の撮影画像などを取り込むものである。

【0033】

タイポイント数比較部３０ｄは、周知の画像マッチング技術により自動的に取得される撮影データ間の対応点（タイポイント）の数を比較するものであって、例えば、テクスチャ画像の投影（投影有り）時と非投影（投影無し）時のタイポイント数を比較することが可能とされている。

【0034】

ＳｆＭ／ＭＶＳ処理部３０ｅは、例えば、市販のＳｆＭ／ＭＶＳソフトウエアにより、対象物２０の多視点の撮影データに対してＳｆＭ／ＭＶＳ処理を施すもので、タイポイントの自動取得とともに、点群データとして、対象物２０の三次元モデル的な形状の再現（復元）などを行うものである。

【0035】

補色画像生成部３０ｆは、撮影画像から対象物２０のＲＧＢ値を算出することによって、デフォルトのコルク柄画像ＳＰから補色のコルク柄画像ＣＳＰを自動生成するものである。

【0036】

ＰＪ駆動部３０ｇは、プロジェクタ１０を駆動させて、対象物２０に補色画像生成部３０ｆで生成された補色のコルク柄画像ＣＳＰを投影させるものである。

【0037】

面フィッティング部３０ｈは、点群データを処理するための所定のソフトウエア（例えば、Cloud Compare）のフィット機能を用いて、点群データにＲＭＳ誤差を求めるための平面フィットや曲面フィットなどのフィット処理を施すものである。

【0038】

ＲＭＳ誤差算出部３０ｉは、例えば、テクスチャ画像の投影（投影有り）時と非投影（投影無し）時のＲＭＳ誤差を比較するもので、投影の鮮明度の指標化による、三次元点群データの精度の検証などを行うことが可能とされている。

【0039】

ここで、三次元モデル生成装置は、例えば、周知の自動モデリング技術（写真測量とほぼ同じ原理）により、三次元点群データを生成するものである。即ち、市販のＳｆＭ／ＭＶＳソフトウエアによって、対象物２０の多視点の撮影データ間で一致する対応点を自動的に取得し、バンドル法により対応点から撮影データの撮影位置（カメラ位置）ＰｈＰや姿勢などを推定するとともに、地球上の座標として示されるカメラ位置や姿勢を基に対象物２０の表面の点群データを取得して、対象物２０の表面を構成する三角形メッシュを構築し、その三角形メッシュにテクスチャ画像の貼り付けなどを行うものである。

【0040】

したがって、三次元モデル生成装置のＰＣ３０としては、本来、タイポイント数比較部３０ｄ、面フィッティング部３０ｈ、および、ＲＭＳ誤差算出部３０ｉは、必須の構成ではなく、投影の鮮明度の指標化による検証用として用意されている。

【0041】

即ち、三次元モデル生成装置において、例えば、対象物２０の三次元点群データを生成する場合、まずは、制御部３０ａが記憶部３０ｂに記憶されたプログラムを実行することによって、補色画像生成部３０ｆにて補色のコルク柄画像ＣＳＰが自動生成された後、ＰＪ駆動部３０ｇが制御される。これにより、プロジェクタ１０からは、その対象物２０の補色のコルク柄画像ＣＳＰが対象物２０に対して投影される。

【0042】

この状態において、カメラ１２の撮影位置ＰｈＰを徐々に変えながら対象物２０を撮影した多視点の撮影データがＰＣ３０へと送られることにより、画像入力部３０ｃによって取り込まれる。

【0043】

そして、複数の撮影位置ＰｈＰで撮影された多視点の撮影データは、ＳｆＭ／ＭＶＳ処理部３０ｅにおいて、例えば、市販のＳｆＭ／ＭＶＳソフトウエアが実行されることにより、タイポイント数の算出や、より精密な三次元モデル化を可能とする高密度（高精細）な点群データの取得などに供される。

【0044】

このように、本実施形態に係る三次元モデル生成装置によれば、対象物２０の補色のコルク柄画像ＣＳＰをテクスチャ画像として投影することによって、より高精度な三次元点群データの生成が容易に可能となる。

【0045】

また、面フィッティング部３０ｈにおいて、点群データにフィット処理を施すことによって、ＲＭＳ誤差算出部３０ｉでのＲＭＳ誤差の算出が可能かどうかにより、生成される三次元点群データの精度を検証できる。

【0046】

図４は、三次元モデル生成装置において、投影の鮮明度の指標化による検証を行うための手順を説明するフローチャートである。

【0047】

図４に示すように、まずは、例えばカメラ１２によって対象物２０の撮影が行われることにより（ステップＳｔ１）、制御部３０ａは、画像入力部３０ｃを介して、その対象物２０の撮影画像を取得する（ステップＳｔ２）。

【0048】

次いで、記憶部３０ｂに予め記憶されたデフォルトのコルク柄画像ＳＰを読み出し（ステップＳｔ３）、補色画像生成部３０ｆにおいて、取得した対象物２０の撮影画像に基づいて、対象物２０の補色のコルク柄画像ＣＳＰを自動生成する（ステップＳｔ４）。

【0049】

こうして、対象物２０の補色のコルク柄画像ＣＳＰを得た後（ステップＳｔ５）、その補色のコルク柄画像ＣＳＰを、ＰＪ駆動部３０ｇを介して、プロジェクタ１０により対象物２０に投影させる（ステップＳｔ６）。

【0050】

次いで、対象物２０にプロジェクタ１０からの補色のコルク柄画像ＣＳＰを投影させた状態において、カメラ１２による対象物２０の多重ラップ撮影が行われる（ステップＳｔ７）。

【0051】

そして、画像入力部３０ｃを介して、対象物２０の多視点の撮影データを得た後（ステップＳｔ８）、ＳｆＭ／ＭＶＳ処理部３０ｅにおいて、市販のＳｆＭ／ＭＶＳソフトウエアを用いてのＳｆＭ／ＭＶＳ処理が行われる（ステップＳｔ９）。これにより、対象物２０がテクスチャレスな場合であっても、高精細な点群データの取得が可能となる（ステップＳｔ１０）。

【0052】

したがって、対象物２０の色に関わらず、より高精度な三次元点群データの生成が容易に可能となる。

【0053】

一方、点群データの評価に際しては、例えば、ステップＳｔ１１に示すように、面フィッティング部３０ｈおよびＲＭＳ誤差算出部３０ｉにおいて、点群データの任意の範囲での切り抜き（ステップＳｔ１１ａ）、切り抜いた点群データの面フィッティング処理（ステップＳｔ１１ｂ）、点群データと面フィッティング処理の結果とからＲＭＳ誤差の算出（ステップＳｔ１１ｃ）が行われる。

【0054】

即ち、対象物２０に、その補色のコルク柄画像ＣＳＰを投影した際の、任意の範囲の点群データと面フィッティング処理の結果とのＲＭＳ誤差を算出することによって、投影の鮮明度の指標化が可能となる。これにより、得られる三次元点群データの精度について、投影の鮮明度の指標化による検証を行うことが可能とされる。

【0055】

ここで、図５から図７（ａ）～（ｃ）を参照して、対象物２０の補色のコルク柄画像ＣＳＰを自動生成する場合の手順（ステップＳｔ４）について、さらに説明する。

【0056】

図５は、デフォルトのコルク柄画像ＳＰを例示するものであり、図６は、デフォルトのコルク柄画像ＳＰから対象物２０の補色のコルク柄画像ＣＳＰを自動生成する際の手順を示すフローチャートであり、図７（ａ）～（ｃ）は、マネキン（頭部のみ）２０Ｍを例に、補色のコルク柄画像ＣＳＰを自動生成する際の手順を示す概略図である。なお、対象物２０であるマネキン２０Ｍを、赤色のマネキン２０ＭＲと、緑色のマネキン２０ＭＧと、黄色のマネキン２０ＭＹとした場合ついて説明する。

【0057】

即ち、図５に示すデフォルトのコルク柄画像ＳＰから対象物２０の補色のコルク柄画像ＣＳＰを自動生成する場合、まずは、例えば図７（ａ）に示すように、各マネキン２０ＭＲ，２０ＭＧ，２０ＭＹの撮影画像を取得する（図６のステップＳｔ４ａ）。そして、取得した撮影画像からＲＧＢ値を算出する（図６のステップＳｔ４ｂ）。その後、例えば図７（ｂ）に示すように、算出したＲＧＢ値に応じて、補色計算により、各マネキン２０ＭＲ，２０ＭＧ，２０ＭＹの補色ＲＧＢを算出する（図６のステップＳｔ４ｃ）。最後に、算出した補色ＲＧＢに基づいて、例えば図７（ｃ）に示すように、各マネキン２０ＭＲ，２０ＭＧ，２０ＭＹの色に対応した、補色のコルク柄画像ＣＳＰ／２０ＭＲ，ＣＳＰ／２０ＭＧ，ＣＳＰ／２０ＭＹの自動生成が行われる（図６のステップＳｔ４ｄ）。

【0058】

これにより、対象物２０が赤色のマネキン２０ＭＲの場合には、プロジェクタ１０により補色のコルク柄画像ＣＳＰ／２０ＭＲが、対象物２０が緑色のマネキン２０ＭＧの場合には、プロジェクタ１０により補色のコルク柄画像ＣＳＰ／２０ＭＧが、また、対象物２０が黄色のマネキン２０ＭＹの場合には、プロジェクタ１０により補色のコルク柄画像ＣＳＰ／２０ＭＹが、それぞれ投影されることになる。

【0059】

次に、対象物２０の補色のコルク柄画像ＣＳＰの投影により生成される高精度な三次元点群データについて、具体的に検証する。

【0060】

検証１
以下は、投影の鮮明度の指標化において、例えば、複雑な形状を有するマネキン２０Ｍを対象に、補色のコルク柄画像ＣＳＰを投影するとともに、その点群データにフィット処理を施すことによって、ＲＭＳ誤差の算出が可能か否かを検証した結果について示すものである。

【0061】

ここで、三次元モデル生成装置の検証時の条件として、照度を１２ｌｕｘとし、カメラ１２にキャノン製のＥＯＳ Ｒ５（解像度：７２８０×５４６４）を用い、例えば図１（ｂ）に示すように、投影位置ＰｒＰから撮影位置ＰｈＰまでの投影距離を約１ｍに保ちつつ、その撮影位置ＰｈＰを一方向に平行移動させながら、対象物２０の多視点での撮影を行った。

【0062】

また、対象物２０として、赤色のマネキン２０ＭＲと緑色のマネキン２０ＭＧと黄色のマネキン２０ＭＹとを用意するとともに、プロジェクタ１０にはＢｅｎＱ製のＭＨ５５０を用いた（例えば、投影方式はＤＬＰ、明るさは３５００ｌｍ、コントラスト比は２万：１、解像度は１９２０×１０８０）。

【0063】

そして、投影位置ＰｒＰより約２ｍ先のマネキン２０ＭＲ，２０ＭＧ，２０ＭＹに対し、例えば図８に示すように、投影無しパターンと、デフォルトのコルク柄画像ＳＰの投影有りパターンと、補色のコルク柄画像ＣＳＰの投影有りパターンと、について、パターンごとに３回ずつ撮影を行った。

【0064】

図９（ａ）～（ｃ）は、上記した投影の鮮明度の指標化による検証を行うための手順の説明において（図４のフローチャート参照）、点群データの評価を行うステップＳｔ１１での処理について、さらに説明するために示すものである。

【0065】

即ち、ステップＳｔ１１ａにおいては、赤色のマネキン２０ＭＲの点群データ（パターンＲ１，Ｒ２，Ｒ３）の平均値を求めるために、例えば図９（ａ）に示すように、比較する点群データが位置合わせされた後、例えば図９（ｂ）に示すように、評価箇所となる任意の範囲の点群データの切り抜きが行われる。その後、例えば図９（ｃ）に示すように、ステップＳｔ１１ｂにおいては、面フィッティング部３０ｈによる、切り抜いた箇所の点群データの曲面フィット処理が行われるとともに、ステップＳｔ１１ｃにおいては、ＲＭＳ誤差算出部３０ｉによる、点群データと曲面フィット処理の結果とからＲＭＳ誤差の算出が行われる。

【0066】

具体的な説明は省略するが、他の色のマネキン２０ＭＧ，２０ＭＹについても同様にして行われる。

【0067】

図１０は、ＲＭＳ誤差算出部３０ｉによって算出されたＲＭＳ誤差を比較した結果を示すもので、この結果からも明らかなように、いずれの色についても、補色のコルク柄画像ＣＳＰを投影した場合のＲＭＳ誤差（平均値）が最も小さく、高精度（高密度）であった。

【0068】

即ち、各色のマネキン２０ＭＲ，２０ＭＧ，２０ＭＹにそれぞれの補色のコルク柄画像ＣＳＰ／２０ＭＲ，ＣＳＰ／２０ＭＧ，ＣＳＰ／２０ＭＹを投影した場合において、ＲＭＳ誤差が最も小さくなることから、ＳｆＭ／ＭＶＳ処理により生成される点群データの、エッジの明確化、形状の乱れの軽減、点群密度の向上などが可能となり、より高精細な点群データの取得が可能となる。

【0069】

しかも、点群データの同一の個所を切り抜くことで、フィット機能を用いたＲＭＳ誤差の算出が可能であり、補色のテクスチャ画像の投影は、たとえマネキン２０ＭＲ，２０ＭＧ，２０ＭＹのような複雑な形状の対象物２０の場合であっても、点群データのみでの投影の鮮明度の指標化を可能とするものであり、三次元点群データの精度を検証するのに有効（最適）であることが分かる。

【0070】

検証２
以下は、投影の鮮明度の指標化において、例えば図１１（ａ）～（ｃ）に示すように、三角コーン２０Ｃである赤色のカラーコーン（登録商標）２０ＣＲを対象に、補色のコルク柄画像ＣＳＰを投影するとともに、その点群データにフィット処理を施すことによって、ＲＭＳ誤差の算出が可能か否かを検証した結果について示すものである。

【0071】

なお、三次元モデル生成装置の検証時の条件などは、検証１の場合と同様とした。

【0072】

即ち、カラーコーン（登録商標）２０ＣＲの点群データ（パターンＲ１，Ｒ２，Ｒ３）の平均値を求めるために、例えば図１１（ａ）に示すように、比較する点群データが位置合わせされた後、例えば図１１（ｂ）に示すように、評価箇所となる任意の範囲の点群データの切り抜きが行われる。その後、例えば図１１（ｃ）に示すように、面フィッティング部３０ｈによる、切り抜いた箇所の点群データの曲面フィット処理が行われるとともに、ＲＭＳ誤差算出部３０ｉによる、点群データと曲面フィット処理の結果とからＲＭＳ誤差の算出が行われる。

【0073】

図１２は、ＲＭＳ誤差算出部３０ｉによって算出されたＲＭＳ誤差を比較した結果を示すもので、この結果からも明らかなように、補色のコルク柄画像ＣＳＰを投影した場合のＲＭＳ誤差（平均値）が最も小さく、高精度（高密度）であった。

【0074】

即ち、赤色のカラーコーン（登録商標）２０ＣＲに補色のコルク柄画像ＣＳＰ／２０ＣＲ（図示省略）を投影した場合において、ＲＭＳ誤差が最も小さくなることから、ＳｆＭ／ＭＶＳ処理により生成される点群データの、エッジの明確化、形状の乱れの軽減、点群密度の向上などが可能となり、より高精細な点群データの取得が可能となる。

【0075】

しかも、点群データの同一の個所を切り抜くことで、フィット機能を用いたＲＭＳ誤差の算出が可能であり、補色のテクスチャ画像の投影は、たとえカラーコーン（登録商標）２０ＣＲのような形状の対象物２０の場合であっても、点群データのみでの投影の鮮明度の指標化を可能とするものであり、三次元点群データの精度を検証するのに有効（最適）であることが分かる。

【0076】

特に、検証１および検証２によれば、対象物２０の色に影響されることもなく、また、レーザスキャナなどを用いずとも、十分に高精度な三次元点群データの生成を実現し得る。

【0077】

検証３
以下は、投影の鮮明度の指標化において、例えば図１３（ａ）～（ｃ）に示すように、赤色のマネキン２０ＭＲを対象に、補色のコルク柄画像ＣＳＰとデフォルトのコルク柄画像ＳＰとを投影するとともに、それぞれの点群データより求められるタイポイント数を比較することによって、ＲＭＳ誤差の算出が可能か否かを検証した結果について示すものである。

【0078】

なお、三次元モデル生成装置の検証時の条件などは、検証１の場合と同様とした。

【0079】

図１４は、投影の鮮明度の指標化による検証を行うための手順を説明するフローチャートである。

【0080】

まずは、タイポイント数（パターンＲ１，Ｒ２，Ｒ３）の平均値を求めるために、例えば図１３（ａ）に示すように、画像入力部３０ｃによって、赤色のマネキン２０ＭＲに、デフォルトのコルク柄画像ＳＰを投影した場合の撮影データと、補色のコルク柄画像ＣＳＰ／２０ＭＲを投影した場合の撮影データと、が取り込まれる（ステップＳｔ２１，Ｓｔ２２）。

【0081】

次いで、ＳｆＭ／ＭＶＳ処理部３０ｅによって、それぞれの撮影データにＳｆＭ／ＭＶＳ処理が施されて、例えば図１３（ｂ）に示すように、デフォルトのコルク柄画像ＳＰを投影した場合のデフォルト三次元点群データが求められるとともに（ステップＳｔ２３，Ｓｔ２４）、補色のコルク柄画像ＣＳＰ／２０ＭＲを投影した場合の補色三次元点群データが求められる（ステップＳｔ２３，Ｓｔ２５）。

【0082】

そして、タイポイント数比較部３０ｄによって、例えば図１３（ｃ）に示すように、デフォルト三次元点群データ生成時に取得されるタイポイント数と補色三次元点群データ生成時に取得されるタイポイント数とが比較される（ステップＳｔ２６）。

【0083】

具体的な説明は省略するが、他の色のマネキン２０ＭＧ，２０ＭＹについても同様にして行われる。

【0084】

図１５は、タイポイント数を比較した結果を示すもので、この結果からも明らかなように、いずれの色についても、デフォルトの場合に比べ、補色のコルク柄画像ＣＳＰを投影した場合のタイポイント数（平均値）が増加しており、高精度（高密度）であった。

【0085】

即ち、補色のコルク柄画像ＣＳＰを投影することによって、タイポイント数を増加させることが可能となり、点群データの、曲面の表現性を向上できるとともに、表面の粗さや点のばらつきを軽減できるなど、対象物２０を点群データによってより緻密に再現できるようになる。

【0086】

なお、図１５において、投影無しの場合のタイポイント数が大きいのは、周囲の対象物２０以外の特徴点も含まれているためと考えられる。

【0087】

このように、補色のテクスチャ画像の投影は、点群データ生成時に取得されるタイポイント数の増加を可能とするものであり、タイポイント数の増加はデータ撮影時のカメラの位置や姿勢を推定する上で有効となることから、その結果として、三次元点群データの精度を検証するのに最適であることが分かる。

【0088】

検証４
以下は、対象物２０であるごみ箱２０Ｓを対象に、補色のコルク柄画像ＣＳＰを投影するとともに、例えば３Ｄ方式のレーザスキャナによるレーザデータ（点群データ）との重ね合わせにより法線方向の差分を求めることが、投影の鮮明度の指標化において、指標として有用か否かを検証するようにした場合の結果について示すものである。

【0089】

図１６（ａ）～（ｄ）は、ごみ箱２０Ｓを例に、補色のコルク柄画像ＣＳＰを自動生成する際の手順を示す概略図であり、図１７は、投影の鮮明度の指標化による検証を行うための手順を説明するフローチャートである。なお、対象物２０であるごみ箱２０Ｓを、黄色のごみ箱２０ＳＹと、緑色のごみ箱２０ＳＧと、青色のごみ箱２０ＳＹとした場合ついて説明する。

【0090】

ここで、三次元モデル生成装置の検証時の条件としては、例えば、レーザデータ取得時の条件と一致するように、照度を１８ｌｕｘとし、カメラ１２にキャノン製のＥＯＳ Ｒ５（解像度：７２８０×５４６４）を用い、投影位置ＰｒＰから撮影位置ＰｈＰまでの距離を約１ｍに保ちつつ、その撮影位置ＰｈＰを一方向に平行移動させながら、対象物２０の多視点での撮影を行った。

【0091】

また、対象物２０として、例えば図１６（ａ）に示すように、黄色のごみ箱２０ＳＹと緑色のごみ箱２０ＳＧと青色のごみ箱２０ＳＢとを用意するとともに、プロジェクタ１０にはＢｅｎＱ製のＭＨ５５０を用いた（例えば、投影方式はＤＬＰ、明るさは３５００ｌｍ、コントラスト比は２万：１、解像度は１９２０×１０８０）。

【0092】

そして、投影位置ＰｒＰより約１ｍ先のごみ箱２０ＳＹ，２０ＳＧ，２０ＳＢに対し、投影無しパターンと、デフォルトのコルク柄画像ＳＰの投影有りパターンと、補色のコルク柄画像ＣＳＰの投影有りパターンと、について、パターンごとに３回ずつ撮影を行った。

【0093】

こうして、三次元モデル生成装置において、レーザデータ取得時の条件を再現させることにより、データ間の座標値（スケールなど）を一致させることができるとともに、レーザデータと点群データとを重ね合わせることが可能となる。

【0094】

即ち、ごみ箱２０Ｓを対象に、補色のコルク柄画像ＣＳＰを用いて、投影の鮮明度の指標化を検証する場合、まずは、例えば図１６（ａ）に示すように、各ごみ箱２０ＳＹ，２０ＳＧ，２０ＳＢの撮影画像を取得する（図１７のステップＳｔ５１）。そして、例えば図１６（ｂ）に示すように、取得した撮影画像からＲＧＢ値を算出する。その後、例えば図１６（ｃ）に示すように、算出したＲＧＢ値に応じて、補色計算により、各ごみ箱２０ＳＹ，２０ＳＧ，２０ＳＢの補色ＲＧＢを算出する（図１７のステップＳｔ５２）。最後に、算出した補色ＲＧＢに基づいて、例えば図１６（ｄ）に示すように、各ごみ箱２０ＳＹ，２０ＳＧ，２０ＳＢの色に対応した、補色のコルク柄画像ＣＳＰ／２０ＳＹ，ＣＳＰ／２０ＳＧ，ＣＳＰ／２０ＳＢの自動生成が行われる（図１７のステップＳｔ５３）。

【0095】

次いで、黄色のごみ箱２０ＳＹに補色のコルク柄画像ＣＳＰ／２０ＳＹを投影した場合の撮影データと、緑色のごみ箱２０ＳＧに補色のコルク柄画像ＣＳＰ／２０ＳＧを投影した場合の撮影データと、青色のごみ箱２０ＳＢに補色のコルク柄画像ＣＳＰ／２０ＳＢを投影した場合の撮影データと、が取り込まれる（図１７のステップＳｔ５４）。

【0096】

次いで、ＳｆＭ／ＭＶＳ処理部３０ｅによって、それぞれの撮影データにＳｆＭ／ＭＶＳ処理が施されて（図１７のステップＳｔ５５）、補色のコルク柄画像ＣＳＰを投影した場合の三次元点群データが求められる（図１７のステップＳｔ５６）。

【0097】

一方、この三次元点群データとは別に、既成の方法、例えば、３Ｄ方式のレーザスキャナを用いて、対象物２０のレーザデータ（点群データ）の取得が行われる（図１７のステップＳｔ５７）。

【0098】

次いで、三次元点群データとレーザデータとの位置合わせなどが行われた後（図１７のステップＳｔ５８）、Ｍ３Ｃ２法による計算が行われて（図１７のステップＳｔ５９）、投影の法線方向の差分が求められる（図１７のステップＳｔ６０）。

【0099】

こうして、Ｍ３Ｃ２法によって求められる法線方向の差分は、いずれの色の場合も、補色のコルク柄画像ＣＳＰを投影した場合が最も小さく、三次元点群データが高精度となることから、例えば法線方向の差分が１ｃｍ未満となるか否かを判定することで、指標として有用と思われる。

【0100】

ただし、黄色のごみ箱２０ＳＢの場合においては、点群データの生成時に算出されるタイポイント数が増加しやすい傾向にあり、必ずしもタイポイント数が多いと差分が小さいという関係性に当てはまらない。そのため、法線方向の差分による投影の鮮明度の指標化においては、タイポイント数が増加しているか（例えば、デフォルトの１．２倍程度以上）と、法線方向の差分が小さいか（例えば、デフォルトの１／２程度）と、によって評価するのが望ましい。

【0101】

検証５
以下は、投影の鮮明度の指標化において、例えば図１８（ａ），（ｂ）に示すように、３Ｄ方式のレーザスキャナによる点群データ（レーザデータ）との比較により、生成される三次元点群データの精度について検証した場合の結果を示すものである。

【0102】

図１９は、投影の鮮明度の指標化による検証を行うための手順について説明するフローチャートであり、図２０（ａ）～（ｅ）は、投影の鮮明度の指標化による検証を行うための手順について説明するための概略図である。

【0103】

ここでは、ＳｆＭ処理により生成される点群データの精度を、対象物２０に補色のコルク柄画像ＣＳＰを投影することによって、どの程度まで３Ｄ方式のレーザスキャナにより取得される点群データの精度に近付けることができるかを検証する。

【0104】

なお、対象物２０として、赤色の三角コーン２０Ｃと、白色のごみ箱２０Ｓと、肌色のマネキン２０Ｍと、灰色の塩ビ管２０Ｅと、を用いた。

【0105】

図１９に示すように、まずは、補色のコルク柄画像ＣＳＰを、プロジェクタ１０により三角コーン２０Ｃ、ごみ箱２０Ｓ、マネキン２０Ｍ、および、塩ビ管２０Ｅに投影させた状態において、カメラ１２による全方位にわたる多重ラップ撮影が行われる（ステップＳｔ４１）。

【0106】

そして、三角コーン２０Ｃ、ごみ箱２０Ｓ、マネキン２０Ｍ、および、塩ビ管２０Ｅの多視点の撮影データを得た後、ＳｆＭ／ＭＶＳ処理部３０ｅにおいて、市販のＳｆＭ／ＭＶＳソフトウエアを用いてのＳｆＭ／ＭＶＳ処理が行われる（ステップＳｔ４２）。これにより、三角コーン２０Ｃ、ごみ箱２０Ｓ、マネキン２０Ｍ、および、塩ビ管２０Ｅがテクスチャレスな場合であっても、例えば図１８（ａ）に示すように、高精細な点群データの取得が可能となる（ステップＳｔ４３）。

【0107】

この後、点群データの座標値変換（ステップＳｔ４４）が行われるとともに、その一方で、例えば図１８（ｂ）に示すように、３Ｄ方式のレーザスキャナによる計測データの取得が行われる（ステップＳｔ４５）。

【0108】

そして、座標値変換された点群データと３Ｄ方式のレーザスキャナによる計測データとの重ね合わせが行われた後（ステップＳｔ４６）、三角コーン２０Ｃ、ごみ箱２０Ｓ、マネキン２０Ｍ、および、塩ビ管２０Ｅごとの、断面比較（ステップＳｔ４７）と、上記検証４で説明した法線方向の差分計算（ヒストグラムからの平均値および標準偏差の算出）および最近傍点間距離の算出（ステップＳｔ４８）と、密度比較（ステップＳｔ４９）と、が行われる。

【0109】

図２０（ａ）～（ｅ）は、ステップＳｔ４７での、断面比較の結果を例示するものである。この図からも明らかなように、補色のコルク柄画像ＣＳＰを投影させることで、三角コーン２０Ｃ、ごみ箱２０Ｓ、マネキン２０Ｍ、および、塩ビ管２０Ｅの各断面を、３Ｄ方式のレーザスキャナによる計測データとほぼ同程度の精度により再現できる。

【0110】

特に、ステップＳｔ４９での密度比較の結果としては、例えば、三角コーン２０Ｃ、ごみ箱２０Ｓ、および、マネキン２０Ｍについて、補色のコルク柄画像ＣＳＰの投影により得られる点群データを、３Ｄ方式のレーザスキャナによる計測データと同等以上の均一性のある点群密度とすることができた。

【0111】

＜第２の実施形態＞
図２１は、第２の実施形態に係る三次元モデル生成装置の概略構成を示すものである。なお、第１の実施形態に係る三次元モデル生成装置と共通する部分については同一または類似の符号を付し、詳しい説明は省略する。

【0112】

図２１に示すように、本実施形態の三次元モデル生成装置は、例えば、対象物２０に当該対象物２０の補色のコルク柄画像（特定模様）ＣＳＰ１，ＣＳＰ２をテクスチャ画像として二方向（多方向）より投影するプロジェクタ（投影器）１０ａ，１０ｂと、補色のコルク柄画像ＣＳＰ１，ＣＳＰ２が投影された対象物２０を全方位（３６０度）より撮影することが可能なカメラ（撮影器）１２と、カメラ１２により撮影された画像（撮影データ）に基づいて三次元点群データの生成や投影の鮮明度の指標化により生成される三次元点群データの精度の検証などを行うＰＣ（Personal Computer）３０と、を備えて構成されている。

【0113】

本実施形態においては、プロジェクタ１０ａ，１０ｂにより、対象物２０に対して、コルク柄（樹皮パターン）の異なる二種類の補色のコルク柄画像ＣＳＰ１，ＣＳＰ２が投影されるようになっている。

【0114】

また、各プロジェクタ１０ａ，１０ｂから対象物２０までの投影距離は約２ｍ程度、カメラ１２による対象物２０までの撮影距離は約１ｍ程度とされて、複数（多視点）の撮影位置ＰｈＰを徐々に移動させながら、対象物２０を全方位にわたって繰り返し撮影するようになっている。

【0115】

図２２は、三次元モデル生成装置において、投影の鮮明度の指標化による検証を行うための手順を説明するフローチャートである。

【0116】

ここでは、三次元モデル生成装置の検証時の条件として、照度を３０ｌｕｘとし、カメラ１２にキャノン製のＥＯＳ Ｒ５（解像度：７２８０×５４６４）を用い、撮影位置ＰｈＰから対象物２０までの撮影距離を約１ｍに保ちつつ、その撮影位置ＰｈＰを全方位にわたって移動させながら、対象物２０の多視点での撮影を行った。

【0117】

また、対象物２０として、三角コーン、マネキン（頭部のみ）、ごみ箱、および、塩ビ管を用意するとともに、プロジェクタ１０ａにはＥＰＳＯＮ製のＥＢ－１７８０（例えば、投影方式はＤＬＰ、明るさは３０００ｌｍ、コントラスト比は１万：１、解像度は１２８０×８００）を用い、プロジェクタ１０ｂにはＥＰＳＯＮ製のＥＢ－１７７１（例えば、投影方式はＤＬＰ、明るさは３０００ｌｍ、コントラスト比は２千：１、解像度は１２８０×８００）を用いた。

【0118】

そして、対象物２０までのそれぞれの投影距離を約２ｍとし、二方向からの補色のコルク柄画像ＣＳＰ１，ＣＳＰ２の投影による点群データの生成への影響を検証することとした。

【0119】

図２２に示すように、まずは、対象物２０の補色のコルク柄画像ＣＳＰ１，ＣＳＰ２を、プロジェクタ１０ａ，１０ｂにより対象物２０に投影させた状態において、カメラ１２による対象物２０の多重ラップ撮影が行われる（ステップＳｔ３１）。

【0120】

そして、対象物２０の多視点の撮影データを得た後、ＳｆＭ／ＭＶＳ処理部３０ｅにおいて、市販のＳｆＭ／ＭＶＳソフトウエアを用いてのＳｆＭ／ＭＶＳ処理が行われる（ステップＳｔ３２）。これにより、対象物２０がテクスチャレスな場合であっても、例えば図２３（ａ）～（ｅ）に示すように、各方向について、高精細な点群データの取得が可能となる（ステップＳｔ３３）。

【0121】

この後、点群データのスケール合わせ（ステップＳｔ３４）と位置合わせ（ステップＳｔ３５）とが行われるとともに、例えば、補色のコルク柄画像ＣＳＰ１，ＣＳＰ２が投影された投影有りの場合の点群データと、投影されない投影無しの場合の点群データと、のタイポイント数の比較が行われる（ステップＳｔ３６）。

【0122】

図２４は、対象物２０に対して、補色のコルク柄画像ＣＳＰ１，ＣＳＰ２が投影された投影有りの場合の点群データと、投影されない投影無しの場合の点群データと、を対比して示すものでる。

【0123】

この図からも明らかなように、投影無しの場合の点群データに比べ、点のばらつきを抑え、形状も明確に表現できるなど、投影有りの場合には、対象物の形状に近い高精度な点群データ（高密度クラウドポイント）を高密度に取得することができる。

【0124】

即ち、対象物２０に対して、少なくとも二方向からコルク柄の異なる補色のコルク柄画像ＣＳＰ１，ＣＳＰ２を投影させることによって、点群データ生成時に取得されるタイポイント数の増加が可能となり、より高精度な三次元点群データを生成できるようになる。

【0125】

＜第３の実施形態＞
適用例１
図２５は、第３の実施形態に係る三次元モデル生成装置の概略構成を示すもので、ここでは、道路ＲＤの法面２０ＨＣを対象物とした場合を模擬的に示している。なお、第１の実施形態に係る三次元モデル生成装置と共通する部分については同一または類似の符号を付し、詳しい説明は省略する。

【0126】

即ち、本実施形態の三次元モデル生成装置は、例えば図２６（ａ），（ｂ）に示すように、モルタルを模擬した粘土ｃが貼り付けられた法面２０ＨＣを対象に、補色のコルク柄画像ＣＳＰを投影するとともに、点群データの取得を行うことによって、粘土cの厚さの計測を可能としたものである。

【0127】

法面２０ＨＣの計測時の条件としては、照度を２７ｌｕｘ（夜間）とし、カメラ１２にキャノン製のＥＯＳ Ｒ５（解像度：７２８０×５４６４）を用い、例えば図２５に示すように、撮影位置ＰｈＰ１から法面２０ＨＣまでの撮影距離を約４ｍに、撮影位置ＰｈＰ２から法面２０ＨＣまでの撮影距離を約０．５ｍに、それぞれ保ちつつ、その撮影位置ＰｈＰ１，ＰｈＰ２を一方向に平行移動させながら、法面２０ＨＣの多視点での撮影を行った。

【0128】

また、プロジェクタ１０にはＢｅｎＱ製のＭＨ５５０を用い（例えば、投影方式はＤＬＰ、明るさは３５００ｌｍ、コントラスト比は２万：１、解像度は１９２０×１０８０）、法面２０ＨＣまでの投影距離を約４ｍとした。

【0129】

本適用例１によれば、例えば、粘土有りの場合と無しの場合とについて、補色のコルク柄画像ＣＳＰを投影して点群データを取得し、その断面図および平面図を重ね合わせることによって、ほぼ実際の粘土ｃの厚さを計測できることが分かった。

【0130】

適用例２
なお、本実施形態においては、法面２０ＨＣを対象物とする場合に限らず、例えば図２７に示すように、トンネル５１内の内壁（覆工）５１ａを対象物として、三次元モデル生成装置によるひび割れや傷などの計測を行うことも可能である。

【0131】

即ち、トンネル５１の内壁５１ａの計測は、例えば、路面５２に沿う歩道５３上にプロジェクタ１０を配置し、内壁５１ａまでの投影距離を約６．６ｍとするとともに、カメラ１２の撮影位置ＰｈＰから内壁５１ａまでの撮影距離を約６．６ｍに保ちつつ、プロジェクタ１０の投影位置ＰｒＰと撮影位置ＰｈＰとを歩道５３に沿うように一方向に移動させながら、内壁５１ａの撮影を連続的に行った。

【0132】

本適用例２によれば、例えば、３００インチ角程度の補色のコルク柄画像ＣＳＰを繰り返し投影しながら、連続的に撮影した撮影データより点群データの生成を行うことによって、内壁５１ａ上のひび割れや傷などの損傷部位の検出も可能である。

【0133】

なお、内壁５１ａの損傷部位は、例えば図２８（ａ），（ｂ）に示すように、過去の点群データと現在の点群データとを位置合わせし、二時期の点群データ上における差分（変位分布）として、ヒートマップＨＭ化することも可能である。

【0134】

上記したように、各実施形態によれば、テクスチャが少ない対象物の場合であっても、対象物の色によらず、より高精度な三次元点群データを容易に生成できるようになる。

【0135】

即ち、対象物に、その補色の特定模様を投影することによって、ＳｆＭにより生成される点群データの高密度化が可能となる。したがって、レーザスキャナのような高価な機材や複雑な処理などを必要とすることなく、より高精度な三次元点群データを容易に取得することができる。

【0136】

特に、現場において、点群データの精度を、投影の鮮明度として簡単に指標化できることから、常に、最適な補色の特定模様を用いての三次元点群データの生成が可能となるものである。

【0137】

なお、補色の特定模様としては、コルク柄画像に限らず、例えば、不規則的な画像であれば種々用いることができる。

【0138】

また、プロジェクタは、汎用のＰＣによって別途に駆動される構成とすることも可能である。

【符号の説明】

【0139】

１０ プロジェクタ（投影器）
１２ カメラ（撮影器）
２０ 対象物
３０ ＰＣ
３０ａ 制御部
３０ｄ タイポイント数比較部（指標化部）
３０ｅ ＳｆＭ／ＭＶＳ処理部（点群データ算出部）
３０ｆ 補色画像生成部
３０ｉ ＲＭＳ誤差算出部（指標化部）
ＣＳＰ 補色のコルク柄画像（補色の特定模様）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】