特許 7517775 ３Ｄ設計データ作成方法、建設工事方法、３Ｄ設計データ作成システムおよび３Ｄ設計データ作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】３Ｄ設計データ作成方法、建設工事方法、３Ｄ設計データ作成システムおよび３Ｄ設計データ作成プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240709BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 9

(21)【出願番号】P 2021115322

(22)【出願日】2021-07-12

(65)【公開番号】P2023011454

(43)【公開日】2023-01-24

【審査請求日】2021-08-16

(73)【特許権者】

【識別番号】390019998

【氏名又は名称】東亜道路工業株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】梅田 隼

(72)【発明者】

【氏名】松村 高志

(72)【発明者】

【氏名】塚本 真也

【審査官】福田 正悟

(56)【参考文献】

【文献】国際公開第２００５／０２４１４４（ＷＯ，Ａ１）

【文献】特開２００３－３３３５９０（ＪＰ，Ａ）

【文献】特開２０２０－０５１０２９（ＪＰ，Ａ）

【文献】特開２０２１－０５９９７０（ＪＰ，Ａ）

【文献】特開２０２０－１８３６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

建設機械に搭載されたカメラが撮影した画像に基づいて、情報処理装置を用いて施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成方法であって、
建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第１工程と、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第２工程と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する第３工程と、を少なくとも含み、
前記各位置座標は三次元座標であることを特徴とする３Ｄ設計データ作成方法。

【請求項2】

前記第２工程では、ＶｉｓｕａｌＳＬＡＭ技術を用いて、前記カメラの位置座標および撮影範囲に存在する対象物の３次元情報を取得し、前記カメラで撮影された画像に基づいて、画像認識または３次元点群形状の認識によって前記画像内のマーカーの位置座標を取得することを特徴とする請求項１記載の３Ｄ設計データ作成方法。

【請求項3】

前記第３工程では、ＶｉｓｕａｌＳＬＡＭ技術を用いて複数のマーカー間の相対的な位置関係を取得し、前記相対的な位置関係に基づいて、ＴＩＮ（Triangulated Irregular Network）データを作成し、平面を特定することを特徴とする請求項１記載の３Ｄ設計データ作成方法。

【請求項4】

前記第１工程では、施工範囲内または施工範囲外の高さ情報が必要な箇所に３つ以上のマーカーを有するマーカー柱を設置し、
前記第２工程では、前記カメラで前記マーカー柱を撮影することを特徴とする請求項１記載の３Ｄ設計データ作成方法。

【請求項5】

前記第３工程では、前記カメラによって撮影されたマーカー柱が１本である場合は、そのマーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とを結ぶ直線およびこの直線と直交しそのマーカー柱の下端を通る水平線とで前記平面を特定し、前記カメラが撮影したマーカー柱が２本である場合は、各マーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とからなる３点で前記平面を特定し、前記カメラによって撮影されたマーカー柱が３本である場合は、各マーカー柱の下端からなる３点で前記平面を特定することを特徴とする請求項４記載の３Ｄ設計データ作成方法。

【請求項6】

前記カメラで撮影されたマーカー柱の画像に基づいて、３次元空間における前記カメラの姿勢情報を取得する第４工程と、
前記３次元空間における前記カメラの姿勢情報を、前記建設機械の姿勢情報に変換し、施工対象を特定する第５工程をさらに含むことを特徴とする請求項１から請求項５のいずれかに記載の３Ｄ設計データ作成方法。

【請求項7】

前記建設機械に搭載された単一または複数のカメラが撮影した画像および施工範囲内または施工範囲外の高さ情報が必要な箇所に設置された前記マーカーのみに基づいて、請求項１から請求項６のいずれかに記載の３Ｄ設計データ作成方法によって作成された３Ｄ設計データと前記カメラの位置座標を、前記情報処理装置が前記建設機械へ送信し、
前記建設機械の作業具が前記３Ｄ設計データに基づいて動作することを特徴とする建設工事方法。

【請求項8】

施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成システムであって、
建設機械に搭載され、前記建設機械の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカーを撮影する単一のまたは複数のカメラと、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する位置座標取得部と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する３Ｄ設計データ作成部と、を備え、
前記各位置座標は三次元座標であることを特徴とする３Ｄ設計データ作成システム。

【請求項9】

建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成プログラムであって、
建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する処理と、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する処理と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する処理と、をコンピュータに実行させ、
前記各位置座標は三次元座標であることを特徴とする３Ｄ設計データ作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる３Ｄ設計データを作成する技術に関する。

【背景技術】

【0002】

近年、建設技術者不足が深刻化しており、この対策として、ＩＣＴ（Information and Communication Technology）を活用する「i-Construction」と呼ばれる施策が進められている。「i-Construction」に基づく建設工事では、測量を行い、施工前の施工範囲の形状データである初期形状データを取得し、施工目標とする目標形状データを作成し、建設機械を操作して目標形状となるように施工を行う。また、施工後の施工対象の形状を計測し、目標形状データとの適合性について検査する。各工程においては、３Ｄ設計データや３Ｄ測量データを活用することによって、自動化による省力化が可能である（例えば、非特許文献１）。

【0003】

このような「i-Construction」の具体例として、建設機械（例えば、油圧ショベル、ブルドーザー、トラック）に搭載したＧＮＳＳ（Global Navigation Satellite Systems：全地球航法衛星システム）や、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等で得られた複数のデータを合成することによって、現在の施工対象の形状データ（例えば、地形データ）を把握し、当該形状データを用いて作業を行う建設工事方法が知られている（例えば、非特許文献１）。

【0004】

図１６Ａおよび図１６Ｂは、従来のＩＣＴを利用しない、路盤を施工する際の建設工事方法の一例を示す図である。図１６Ａは、施工範囲内の水糸検測を実施する測点を示し、図１６Ｂは、路床１６０ａの上層に路盤１６０ｂを有する施工範囲の断面図を示す。従来は、測点に設置した丁張に水糸を張り、水糸から路盤までの下がり量を測定し、下がり量と設計値との差を路面にスプレーなどでマーキングし、オペレータが差の数字を見ながら手動で建設機械のブレード（作業具）の上下を調整し、図１６Ｂに示すような設計の高さになるまで繰り返していた。

【0005】

図１７Ａは、従来のＩＣＴを利用した、路盤を施工する際の建設工事方法の一例を示す図であり、図１７Ｂは、路床１７０ａの上層に路盤１７０ｂを有する施工範囲の断面図を示す。図１７Ａに示すように、事前に４点ＡＢＣＤの座標を、ＴＳ（Total Station トータルステーション）等の測量機器により測量し、設計データ（通常は最終仕上がり面である、舗装面の高さ）のＴＩＮ（Triangulated Irregular Network）を作成する。作成したＴＩＮを建設機械に内蔵したＰＣで読み込み、建設機械とＴＳを通信させることで設計面との高さを算出する。例えば、現地の座標において、ある箇所の舗装設計高さが０．７（ｍ）であり、建設機械のブレード（作業具）の下端と建設機械に設置したプリズムの距離がｈであり、ＴＳで観測している建設機械に設置したプリズムの高さをｚとすると、次式が成立するようにオペレータに表示し、または自動制御を行なう。
０．７－０．０５－ｚ＋ｈ＝０

【0006】

特許文献１には、作業の精度向上及び工程の短縮化を図ることを目的として、測量を行い、施工前の施工対象の形状データである初期形状データを取得する第１工程と、初期形状データと、施工目標とする目標形状データとに基づいて施工計画を策定する第２工程と、施工計画に従って、建設作業機械を用いて施工を行う第３工程とを含み、第３工程においては、目標形状データと、３Ｄレーザースキャナにより取得した点群データに基づき部分的に逐次更新される現況形状データとを用いて作業を行う技術が開示されている。

【0007】

また、特許文献２には、建設機械による施工箇所をその建設機械からみて自律的にモニタすることで、当該モニタを簡便かつ高精度に行うことを目的として、施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、前記施工現場エリアの基準点となる位置に設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記外部指標および前記可動指標の各位置と前記検出センサ部の位置との位置関係を利用した測量演算を行って、前記外部指標と前記検出センサ部との位置関係を認識し、前記可動指標と前記検出センサ部との位置関係を認識し、さらに前記可動指標と前記可動作業具による施工箇所との位置関係を認識し、これらの認識結果を組み合わせることで前記基準点を基準とした場合の前記施工現場エリアでの前記可動作業具による施工箇所の三次元座標値を含む位置情報を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１９－２１８７６６号公報

【文献】特許第６６８４００４号明細書

【非特許文献】

【0009】

【文献】国土交通省 i-Construction ～建設現場の生産性革命～ 参考資料 平成２８年３月(URL: www.mlit.go.jp/common/001127740.pdf)

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、従来の技術では、建設現場で施工する前に、３次元設計データ（３Ｄ設計データという場合もある）を、ＣＡＤ（Computer Aided Design）などを用いて作成する必要があり、その３次元設計データの作成には、相応の知識や技量が必要であると共に、多大な労力と時間を要する。

【0011】

本発明は、このような事情に鑑みてなされたものであり、事前に３Ｄ設計データを作成する必要がなく、建設現場に設置したマーカーの位置情報に基づいて、自動的に設計データを作成し、そのデータに基づいて施工することによって、施工精度の向上および工程の短縮を図ることができる３Ｄ設計データ作成方法、建設工事方法、３Ｄ設計データ作成システムおよび３Ｄ設計データ作成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の３Ｄ設計データ作成方法は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成方法であって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第１工程と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第２工程と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する第３工程と、を少なくとも含むことを特徴とする。

【0013】

この構成により、事前に３Ｄ設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、ＴＳ（Total Station）では、施工中にＴＳとプリズムとが遮蔽され、計測が中断する場合があり、ＧＮＳＳ（Global Navigation Satellite Systems）では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。

【0014】

（２）また、本発明の３Ｄ設計データ作成方法において、前記第２工程では、ＶｉｓｕａｌＳＬＡＭ技術を用いて、前記カメラの位置座標および撮影範囲に存在する対象物の３次元情報を取得し、前記カメラで撮影された画像に基づいて、画像認識または３次元点群形状の認識によって前記画像内のマーカーの位置座標を取得することを特徴とする。

【0015】

この構成により、映像が遮られた場合であっても、ＶｉｓｕａｌＳＬＡＭ技術によって、事前に取得した周囲の３次元情報と現在のカメラ画像とのマッチングを行ない、現在位置を推測することができるため、施工を継続することが可能となる。

【0016】

（３）また、本発明の３Ｄ設計データ作成方法において、前記第３工程では、ＶｉｓｕａｌＳＬＡＭ技術を用いて複数のマーカー間の相対的な位置関係を取得し、前記相対的な位置関係に基づいて、ＴＩＮ（Triangulated Irregular Network）データを作成し、平面を特定することを特徴とする。

【0017】

この構成により、ＶｉｓｕａｌＳＬＡＭ技術を用いて取得された複数のマーカー間の相対的な位置関係に基づいて、３Ｄ設計データを作成することが可能となる。

【0018】

（４）また、本発明の３Ｄ設計データ作成方法において、前記第１工程では、施工範囲内または施工範囲外の高さ情報が必要な箇所に３つ以上のマーカーを有するマーカー柱を設置し、前記第２工程では、前記カメラで前記マーカー柱を撮影することを特徴とする。

【0019】

この構成により、各マーカー柱の位置座標と前記カメラの位置座標、または各マーカー柱の位置座標から平面を特定し、３Ｄ設計データを作成することが可能となる。

【0020】

（５）また、本発明の３Ｄ設計データ作成方法において、前記第３工程では、前記カメラによって撮影されたマーカー柱が１本である場合は、そのマーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とを結ぶ直線およびこの直線と直交しそのマーカー柱の下端を通る水平線とで前記平面を特定し、前記カメラが撮影したマーカー柱が２本である場合は、各マーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とからなる３点で前記平面を特定し、前記カメラによって撮影されたマーカー柱が３本である場合は、各マーカー柱の下端からなる３点で前記平面を特定することを特徴とする。

【0021】

この構成により、マーカー柱の本数に応じて平面を特定し、３Ｄ設計データを作成することが可能となる。

【0022】

（６）また、本発明の３Ｄ設計データ作成方法において、前記カメラで撮影されたマーカー柱の画像に基づいて、３次元空間における前記カメラの姿勢情報を取得する第４工程と、前記３次元空間における前記カメラの姿勢情報を、前記建設機械の姿勢情報に変換し、施工対象を特定する第５工程をさらに含むことを特徴とする。

【0023】

この構成により、カメラで撮影されたマーカー柱の画像に基づいて、ロール、ピッチ、ヨーといった３次元空間におけるカメラの姿勢情報を得ることができる。このカメラの姿勢情報を建設機械の姿勢情報に変換することによって、建設機械が備える作業具の施工対象を特定することが可能となる。これにより、有効な情報化施工を実現することが可能となる。

【0024】

（７）また、本発明の建設工事方法は、上記（１）から（６）のいずれかに記載の３Ｄ設計データ作成方法によって作成された３Ｄ設計データと前記カメラの位置座標を前記建設機械へ送信し、前記建設機械の作業具が前記３Ｄ設計データに基づいて動作することを特徴とする。

【0025】

この構成により、カメラと計算用コンピュータのみによって、簡易かつ安価にマシンガイダンスを実現することが可能となる。本発明によれば、事前に３Ｄ設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。

【0026】

（８）また、本発明の３Ｄ設計データ作成システムは、施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成システムであって、建設機械に搭載され、前記建設機械の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカーを撮影する単一のまたは複数のカメラと、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する位置座標取得部と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する３Ｄ設計データ作成部と、を備えることを特徴とする。

【0027】

この構成により、事前に３Ｄ設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、ＴＳ（Total Station）では、施工中にＴＳとプリズムとが遮蔽され、計測が中断する場合があり、ＧＮＳＳ（Global Navigation Satellite Systems）では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。

【0028】

（９）また、本発明の３Ｄ設計データ作成プログラムは、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成プログラムであって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する処理と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する処理と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する処理と、をコンピュータに実行させることを特徴とする。

【0029】

この構成により、事前に３Ｄ設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、ＴＳ（Total Station）では、施工中にＴＳとプリズムとが遮蔽され、計測が中断する場合があり、ＧＮＳＳ（Global Navigation Satellite Systems）では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。

【発明の効果】

【0030】

本発明によれば、事前に３Ｄ設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。

【図面の簡単な説明】

【0031】

【図1A】本実施形態に係る３Ｄ設計データ作成システムの概略構成を示す図である。

【図1B】本実施形態に係る３Ｄ設計データ作成システムのブロック図である。

【図1C】本実施形態に係る３Ｄ設計データ作成システムにおいて使用するマーカーの一形態を示す図である。

【図1D】本実施形態に係る３Ｄ設計データ作成システムにおいて使用するマーカーの他の一形態を示す図である。

【図2】コンビニエンスストアの駐車場を施工する場合の施工範囲の一例を示す図である。

【図3】図２における新設する舗装範囲の断面図である。

【図4】図２における点ＡＢＣＤの位置にマーカーを設置した状態を示す図である。

【図5】図４におけるマーカーの位置座標に基づいてＴＩＮ（Triangulated Irregular Network）を作成する様子を示す図である。

【図6】図５におけるＶｉｓｕａｌＳＬＡＭにより得られたローカル点群座標におけるＴＩＮによる設計高さＺ、カメラ座標ｚ、カメラと作業具下端までの高低差ｈとの関係を示す断面図である。

【図7】実施例１に係る３Ｄ設計データ作成システムの動作例１のフローチャートである。

【図8】実施例１に係る３Ｄ設計データ作成システムの動作例２のフローチャートである。

【図9】実施例１に係る３Ｄ設計データ作成システムの動作例３のフローチャートである。

【図10A】カメラで撮影された画像から、カメラと物体（マーカー）との相対位置を検出するために用いる画像表示例を示す図である。

【図10B】マーカーの直径を示す図である。

【図11】５つのマーカーＭ３を備えるマーカー柱Ｍ１４の外観を示す図である。

【図12】マーカー柱Ｍ１４を建設現場内外の特徴点において、所定の高さを有するように設置した様子を示す図である。

【図13A】施工範囲の一部の平面図である。

【図13B】施工範囲の一部の正面図である。

【図13C】施工範囲の一部の側面図である。

【図14A】施工範囲の一部の平面図である。

【図14B】施工範囲の一部の正面図である。

【図14C】施工範囲の一部の側面図である。

【図15A】施工範囲の一部の平面図である。

【図15B】施工範囲の一部の正面図である。

【図15C】施工範囲の一部の側面図である。

【図16A】従来のＩＣＴを利用しない、路盤を施工する際の建設工事方法の一例において、施工範囲内の水糸結測箇所を示す図である。

【図16B】路床１６０ａの上層に路盤１６０ｂを有する施工範囲の断面図を示す図である。

【図17A】従来のＩＣＴを利用した、路盤を施工する際の建設工事方法の一例を示す図である。

【図17B】路床１７０ａの上層に路盤１７０ｂを有する施工範囲の断面図を示す図である。

【発明を実施するための形態】

【0032】

本発明者らは、従来から施工前に３Ｄ設計データを作成するために大きな労力と時間を要してきたことに着目し、建設機械に設置されたカメラで建設現場の施工範囲内外に設置されたマーカーを撮影し、建設機械とマーカーとの位置情報に基づいて、リアルタイムに３Ｄ設計データを作成できることを見出し、本発明に至った。

【0033】

すなわち、本発明の３Ｄ設計データ作成方法は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる３Ｄ設計データを作成する３Ｄ設計データ作成方法であって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第１工程と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第２工程と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで３Ｄ設計データを作成する第３工程と、を少なくとも含むことを特徴とする。

【0034】

これにより、本発明者らは、事前に３Ｄ設計データを作成する必要をなくし、施工の結果を即座に次の施工に反映させ、高精度な施工を行なうことを可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。本明細書においては、「３Ｄ設計データ」とは、設計段階において事前に作成されるデータのみならず、施工段階において現場でリアルタイムに生成され施工目標となるデータをも意味するものとする。

【0035】

図１Ａは、本実施形態に係る３Ｄ設計データ作成システムの概略構成を示す図である。この３Ｄ設計データ作成システム１において、建設機械１０は、工事のために使用される機械全般のうち、土地や建物等の施工対象の形状を直接変更するものである。本実施形態では、建設機械１０は、ブルドーザーや油圧ショベルを想定している。建設機械１０には、単一または複数のカメラ１２と、コンピュータ１４とが設けられている。カメラ１２は、単眼カメラ、ステレオカメラ、ｄｅｐｔｈカメラなどを適用することができる。コンピュータ１４には、後述するデータの処理を行なうためのアプリケーションがインストールされているものとする。なお、建設機械１０の作業具（ブレード）の動きのモニタリングは、チルトセンサ、ジャイロセンサなどを用いることが可能である。

【0036】

本実施形態に係る３Ｄ設計データ作成システムは、いわゆる「スタンドアローン型」として、自装置のみでデータ処理を完結させることができる。一方、「クライアントサーバ型」として、アクセスポイント１６、ネットワーク１７を介してサーバ１８と通信を行ない、カメラ１２で取得した画像が、ネットワーク１７を介してサーバ１８へ送信され、サーバ１８においてデータ処理がされ、処理後のデータをコンピュータ１４に返す構成を採ることも可能である。「クライアントサーバ型」を採ることによって、処理すべきデータ量が大きくなってもサーバ１８でデータ処理を行なって、処理結果のみをコンピュータ１４へ送信することができるようになる。本実施形態によれば、マシンガイダンスを行なう場合、必要な機材は、カメラとコンピュータのみとなるため、簡易かつ安価で実施することが可能となる。

【0037】

図１Ｂは、本実施形態に係る３Ｄ設計データ作成システムのブロック図である。図１Ｂに示すように、本実施形態に係る３Ｄ設計データ作成システムは、建設機械１０に搭載された単一のまたは複数のカメラ１２によって、建設機械１０の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカー（後述する）を撮影する。また、位置座標取得部１４ａによって、カメラ１２で撮影されたマーカーの画像から、画像内のマーカーの位置座標およびカメラ１２の位置座標を取得する。３Ｄ設計データ作成部１４ｂは、少なくとも一つのマーカーの位置座標とカメラ１２の位置座標、または複数のマーカーの位置座標から平面を特定することで３Ｄ設計データを作成する。出力部１４ｃは、ディスプレイやスピーカなどの出力インタフェースであり、データ処理後の画像をディスプレイに表示したり、施工すべき箇所を音声で案内したりするように構成することができる。なお、各構成要素は、機能を発揮するための各種装置、例えば、プロセッサユニット（ＣＰＵ等）、記憶装置（ＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気ディスク等）、入出力装置（データや信号等を送受信するためのインタフェース等）を適宜有する。記憶装置には各構成要素の機能を実現させるためのプログラムが記憶されていてもよい。各構成要素を構成するハードウェア（電子装置等）は、有線又は無線により他のハードウェアとデータ等のやり取りが可能なように構成されている。これにより、マシンガイダンスを実施することが可能となる。

【0038】

図１Ｃは、本実施形態に係る３Ｄ設計データ作成システムにおいて使用するマーカーの一形態を示す図である。ここでは、単一の球体のマーカーＭ１を三脚Ｍ１０で支持する構成を採っている。また、図１Ｄは、本実施形態に係る３Ｄ設計データ作成システムにおいて使用するマーカーの他の一形態を示す図である。ここでは、ボードＭ１２に５つのマーカーＭ２が設けられた構成を採っている。マーカーＭ１や、５つのマーカーＭ２を有するボードＭ１２のように、カメラの撮影対象となるマーカーは、周囲の環境内には存在せず、明確に区別できる特徴的な構成をとる必要がある。次に、本実施形態に係る３Ｄ設計データ作成システムの実施例について説明する。

【実施例1】

【0039】

図２は、小規模な駐車場を施工する場合の施工範囲の一例を示す図である。図２に示すように、４点ＡＢＣＤで囲まれた範囲を施工する。点Ａの座標を（ｘ，ｙ，ｚ）＝（０，０，０）とし、点Ｂの座標を（ｘ，ｙ，ｚ）＝（０，１０，０）とし、点Ｃの座標を（ｘ，ｙ，ｚ）＝（１０，１０，１）とし、点Ｄの座標を（ｘ，ｙ，ｚ）＝（１０，０，１）とする。図２に示すように、ｘ－ｚ平面は、点Ａから点Ｄの方向へ＋１０パーセントの勾配があるものとする。

【0040】

図３は、図２における新設する舗装範囲の断面図である。新設する舗装範囲２０は、例えば路床２０ａの上層に路盤２０ｂが構成されるものとする。路盤２０ｂは、例えば、１００ｍｍの厚さを有するように構成される。この路盤２０ｂの上層にアスファルト合材からなる舗装２０ｃが設けられる。舗装２０ｃは、例えば、５０ｍｍの厚さを有するように構成される。小規模な駐車場などでは、図３に示すように、新設舗装範囲２０の近傍に、店舗の建屋や乗り入れ部となる歩道などの既設舗装２１や縁石などの既設構造物が存在する。このため、構築しようとしている駐車場舗装においては、事前に出来上がっている既設舗装又は既設構造物と段差が生じないように施工しなければならない。また、既設舗装又は既設構造物は、経年に伴う変形により図面と一致しないこともあるため、図面通りには施工できないことがあり得る。本実施形態に係る３Ｄ設計データ作成システムによれば、リアルタイムで３Ｄ設計データを作成することができるため、事前の３Ｄ設計データを用意する必要がなく、このような施工上の必要を満たすことが可能である。

【0041】

図４は、図２における点ＡＢＣＤの位置にマーカーを設置した状態を示す図である。すなわち、高さ情報が必要な箇所に、マーカーＭを設置する。ここでは、設計データを必要とせず、また、事前測量の必要もない。各マーカーＭの高さは、仕上がり高さ（最終仕上がりの舗装面の高さ）から任意の長さを「オフセット」して設置する。ここでは、１ｍのオフセットをしており、各マーカーＭの座標は、点Ａ’では（ｘ，ｙ，ｚ）＝（０，０，１）となり、点Ｂ’では（ｘ，ｙ，ｚ）＝（０，１０，１）となり、点Ｃ’では（ｘ，ｙ，ｚ）＝（１０，１０，２）となり、点Ｄ’では（ｘ，ｙ，ｚ）＝（１０，０，１）となる。

【0042】

次に、図４に示すように、カメラを設置した建設機械１０を走行させる。そして、ＶｉｓｕａｌＳＬＡＭ技術を用いて、カメラの位置座標と周囲の３次元情報を取得する。この座標は「ローカル座標」であり、カメラの初期位置や方向などは、解析条件により異なる。ＶｉｓｕａｌＳＬＡＭ技術については、特開２００９－２３７８４８号公報、特開２０２０－１６０５９４号公報、国際公開ＷＯ２０１２／１０６０６８号に開示されている技術を用いることが可能である。また、設置されたマーカーＭを画像または３次元点群の形状から認識・抽出し、そのマーカーの位置座標を別途保存する。さらに、全周囲の観測により、例えば、建物Ｊや樹木など、施工範囲内外の３次元情報およびマーカーＭの位置情報を取得する。

【0043】

図５は、図４におけるマーカーの位置座標に基づいてＴＩＮ（Triangulated Irregular Network）を作成する様子を示す図である。すなわち、マーカーＭと、そのマーカーＭに隣接する二つのマーカーＭからなるＴＩＮを作成する。このＴＩＮは、マーカーＭを設置した時のオフセット分（この場合は１ｍ）だけ舗装仕上がり高さより高い。ＴＩＮを作成した後、ＴＩＮとカメラの位置情報とを用いて、ＴＩＮとカメラの高低差を算出し、建設機械１０の作業具の下端が設計高さになるようにオペレータに表示し、または自動制御を行う。例えば、ＶｉｓｕａｌＳＬＡＭにより得られたローカル点群座標におけるＴＩＮによる設計高さを「Ｚ」とし、カメラ座標を「ｚ」とし、カメラと作業具下端までの高低差を「ｈ」とする。ここで、「ｈ」は、作業具の上下動により変化するが、作業具にチルトセンサやジャイロ計を設置することで、従来から、初期状態の「ｈ０」からの変動量を把握することが可能である。

【0044】

図６は、図５におけるＶｉｓｕａｌＳＬＡＭにより得られたローカル点群座標におけるＴＩＮによる設計高さＺ、カメラ座標ｚ、カメラと作業具下端までの高低差ｈとの関係を示す断面図である。例えば路盤の施工時には、次式が成り立つような建設機械１０の制御を行なう。
Ｚ－（１＋０．０５）＝ｚ－ｈ

【0045】

次に、以上のように構成された実施例１に係る３Ｄ設計データ作成システムの動作について説明する。
［動作例１］
図７は、実施例１に係る３Ｄ設計データ作成システムの動作例１のフローチャートである。まず、建設機械１０にカメラ１２を取り付けると共に（ステップＳ０１）、建設機械１０の作業具の上下動を検出するセンサを設置する（ステップＳ０２）。次に、カメラ１２と作業具の刃先の初期距離「ｈ０」を測定すると共に（ステップＳ０３）、マーカーＭを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する（ステップＳ０４）。ここで、マーカーＭの高さは、設計面（施工面）から任意の高さだけオフセットする。実施例１では、オフセットを１ｍとする。

【0046】

次に、建設機械１０を走行させながら、カメラ１２によって施工範囲内外の撮影を行なう（ステップＳ０５）。次に、ＶｉｓｕａｌＳＬＡＭを用いて、自己位置座標（カメラ１２の位置座標）を取得し、保存すると共に（ステップＳ０６）、周囲の３次元座標を取得し、保存する（ステップＳ０７）。次に、カメラ１２で取得した画像または３次元点群データから、画像内のマーカーＭを抽出し（ステップＳ０８）、マーカーＭの３次元座標情報を取得し、保存する（ステップＳ０９）。その後、各マーカーＭからなるＴＩＮを作成する（ステップＳ１０）。

【0047】

次に、ステップＳ０６およびステップＳ１０から得られたデータに基づいて、現在の自己位置座標、各マーカーＭからなるＴＩＮ、マーカーＭのオフセット量、初期距離ｈ０、作業具の上下移動量に基づいて、施工層の設計面と作業具の刃先の高低差を算出する（ステップＳ１１）。最後に、建設機械１０の操作者へ、ステップＳ１１で算出した高低差を伝達する（ステップＳ１２）。ここでは、コンピュータ１４のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップＳ１２において、高低差を０とするように作業具を自動制御しても良い（ステップＳ１２）。

【0048】

［動作例２］
図８は、実施例１に係る３Ｄ設計データ作成システムの動作例２のフローチャートである。まず、建設機械１０の作業具にカメラ１２を取り付け（ステップＳ１３）、カメラ１２と作業具の刃先の初期距離ｈ０を測定する（ステップＳ１４）。また、マーカーＭを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する（ステップＳ１５）。ここで、マーカーＭの高さは、設計面（施工面）から任意の高さだけオフセットする。実施例１では、オフセットを１ｍとする。

【0049】

次に、建設機械１０を走行させながら、カメラ１２によって施工範囲内外の撮影を行なう（ステップＳ１６）。次に、ＶｉｓｕａｌＳＬＡＭを用いて、自己位置座標（カメラ１２の位置座標）を取得し、保存すると共に（ステップＳ１７）、周囲の３次元座標を取得し、保存する（ステップＳ１８）。次に、カメラ１２で取得した画像または３次元点群データから、画像内のマーカーＭを抽出し（ステップＳ１９）、マーカーＭの３次元座標情報を取得し、保存する（ステップＳ２０）。その後、各マーカーＭからなるＴＩＮを作成する（ステップＳ２１）。

【0050】

次に、ステップＳ１７およびステップＳ２１から得られたデータに基づいて、現在の自己位置座標、各マーカーＭからなるＴＩＮ、マーカーＭのオフセット量、初期距離ｈ０に基づいて、施工層の設計面と作業具の刃先の高低差を算出する（ステップＳ２２）。最後に、建設機械１０の操作者へ、ステップＳ２２で算出した高低差を伝達する（ステップＳ２３）。ここでは、コンピュータ１４のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップＳ２３において、高低差を０とするように作業具を自動制御しても良い（ステップＳ２３）。

【0051】

［動作例３］
図９は、実施例１に係る３Ｄ設計データ作成システムの動作例３のフローチャートである。まず、建設機械１０にカメラ１２を取り付ける（ステップＳ２４）。次に、カメラ１２と作業具の刃先の初期距離「ｈ０」を測定する（ステップＳ２５）。また、マーカーＭを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する（ステップＳ２６）。ここで、マーカーＭの高さは、設計面（施工面）から任意の高さだけオフセットする。実施例１では、オフセットを１ｍとする。さらに、マーカーＢを作業具に設置する（ステップＳ２７）。

【0052】

次に、建設機械１０を走行させながら、カメラ１２によって施工範囲内外の撮影を行なう（ステップＳ２８）。次に、ＶｉｓｕａｌＳＬＡＭを用いて、自己位置座標（カメラ１２の位置座標）を取得し、保存すると共に（ステップＳ２９）、周囲の３次元座標を取得し、保存する（ステップＳ３０）。次に、カメラ１２で取得した画像または３次元点群データから、画像内のマーカーＭ、マーカーＢを抽出し（ステップＳ３１）、マーカーＭの３次元座標情報を取得し、保存する（ステップＳ３２）。その後、マーカーＭからなるＴＩＮを作成する（ステップＳ３３）。また、ステップＳ３１において、マーカーＢの位置座標に基づいて、カメラ１２と作業具との相対的位置を算出し、保存する（ステップＳ３４）。

【0053】

次に、ステップＳ２９、ステップＳ３３およびステップＳ３４から得られたデータに基づいて、現在の自己位置座標、マーカーＭからなるＴＩＮ、マーカーＭのオフセット量、初期距離ｈ０、カメラ１２と作業具との相対的位置に基づいて、施工層の設計面と作業具の刃先の高低差を算出する（ステップＳ３５）。最後に、建設機械１０の操作者へ、ステップＳ３５で算出した高低差を伝達する（ステップＳ３６）。ここでは、コンピュータ１４のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップＳ１２において、高低差を０とするように作業具を自動制御しても良い（ステップＳ３６）。

【0054】

以上説明したように、実施例１によれば、ＴＳやＧＮＳＳとは異なり、施工範囲の環境や条件等の制約が少なくて済むこととなる。また、ＴＳでは、施行中にＴＳとプリズムとの間が遮蔽され計測が中断する場合があり、ＧＮＳＳでは、天候の影響を受けることがあり、また、周辺構造物による受信不可状態の発生やマルチパスによる誤差が発生する場合がある。これに対し、実施例１によれば、ＳＬＡＭは映像が遮られた後でも、事前に取得した周囲の３次元情報と現在カメラ画像のマッチングを行い、現在位置を推測できるため、施工を継続可能である。

【実施例2】

【0055】

実施例２では、建設機械１０に搭載されるカメラ１２により、施工範囲内外に配置するマーカー柱を撮影する。マーカー柱には、３つ以上のマーカーが配置されており、カメラで撮影した画像からマーカーの位置および大きさを求め、さらに、マーカーとマーカー柱との位置関係より、カメラとマーカー柱の相対位置関係（ｘ，ｙ，ｚ，ロール，ピッチ，ヨー）を算出する。施工範囲内外に設置するマーカー柱は、施工の目標高さより所定の高さだけ高い位置に設定する。なお、設置する高さに応じて、カメラで識別できるようにマーカーの色を変化させても良い。

【0056】

これにより、カメラの撮影位置と目標高さとの相違を演算することができ、その演算結果に基づいて、建設機械１０を適切に操縦したり、制御したりすることができる。

【0057】

［カメラとマーカー柱の相対位置を算出する原理］
図１０Ａは、カメラで撮影された画像から、カメラと物体（マーカー）との相対位置を検出するために用いる画像表示例を示す。図１０Ｂは、マーカーの直径を示す図である。図１０Ａに示すように、画像から物体を検知し（図１０Ａの場合は球体を検知）、画像上の大きさの情報から、カメラと物体の相対距離、その物体の画像上のｘｙ座標を求めることが可能である。

【0058】

図１１は、５つのマーカーＭ３を備えるマーカー柱Ｍ１４の外観を示す図である。図１１に示すように、円形のマーカーＭ３を３つ以上配置した（ここでは５つのマーカーを配置した）マーカー柱Ｍ１４を用意する。事前に、マーカー柱Ｍ１４内の各マーカーＭ３の相対的な位置関係を測定しておく。カメラ１２でマーカー柱Ｍ１４を撮影すると、カメラ１２とマーカー柱１４に配置された各マーカーＭ３との相対距離により、カメラ１２の、マーカー柱Ｍ１４からの相対位置が求まる。なお、３次元空間にカメラ１２を配置した場合、（ｘ，ｙ，ｚ）の位置とカメラの方向（ヨー，ロール，ピッチ）の６次元の未知数があるため、マーカー柱Ｍ１４には少なくとも３つのマーカーＭ３を用いる必要がある。

【0059】

図１２は、マーカー柱Ｍ１４を建設現場内外の特徴点において、所定の高さを有するように設置した様子を示す図である。この「特徴点」とは、現場の周辺や、勾配の変化点のことを意味する。特徴点については、現場の座標系におけるｘｙ座標は不明であってもよい。ｚ座標については、施工の仕上がり面から所定の高さに配置する。例えば、マーカー柱Ｍ１４の下端が仕上がり面になるように設置したり、仕上がり面から１０ｃｍ高い位置と決めて設置したりすることができる。マーカー柱Ｍ１４を鉛直に設置するなど、現場座標系においてマーカー柱Ｍ１４の方向を決めると、マーカー柱Ｍ１４とカメラ１２との相対的な方向（ヨー，ロール，ピッチ）の関係より、現場座標系におけるカメラ１２の方向が決まる。現場座標系におけるカメラ１２の方向が分かるということは、カメラを取り付けた建設機械１０の姿勢が分かるということになる。つまり、現場の水平面に対して建設機械１０が上向きの方向にあるのか、下向きの方向にあるのかが明らかとなる。

【0060】

［リアルタイムで３Ｄ設計データを作成する方法］
カメラで捉えているマーカー柱の数によって、３Ｄ設計データの作成方法が異なる。

【0061】

［カメラで捉えているマーカー柱の数が１本である場合］
図１３Ａは、施工範囲の一部の平面図であり、図１３Ｂは、施工範囲の一部の正面図であり、図１３Ｃは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱Ｍ１４が１本である場合は、マーカー柱Ｍ１４の下端を点Ｐ１（０，０，０）とする座標系を考える。カメラＣ１０から変換した建設機械の作業具の位置を点Ｃ（Ｘｃ，Ｙｃ，Ｚｃ）とする。施工層の設計面を、点Ｐ１と点Ｃを通る平面とするが、２点では１平面に確定しないため、点Ｐ１を通り、ベクトル（Ｐ１Ｃ）と直交し、ｚ＝０の直線Ｌを仮定し、この直線が含まれる平面を３Ｄ設計データとする。

【0062】

［カメラで捉えているマーカー柱の数が２本である場合］
図１４Ａは、施工範囲の一部の平面図であり、図１４Ｂは、施工範囲の一部の正面図であり、図１４Ｃは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱Ｍ１４が２本である場合は、マーカー柱Ｍ１４の点Ｐ１（０，０，０）、点Ｐ２（Ｘ２，Ｙ２，Ｚ２）、カメラの点Ｃ（Ｘｃ，Ｙｃ，Ｚｃ）が含まれる平面を３Ｄ設計データとする。

【0063】

［カメラで捉えているマーカー柱の数が３本である場合］
図１５Ａは、施工範囲の一部の平面図であり、図１５Ｂは、施工範囲の一部の正面図であり、図１５Ｃは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱Ｍ１４が３本である場合は、マーカー柱Ｍ１４の点Ｐ１（０，０，０）、点Ｐ２（Ｘ２，Ｙ２，Ｚ２）、点Ｐ３（Ｘ３，Ｙ３，Ｚ３）が含まれる平面を３Ｄ設計データとする。

【0064】

なお、マーカー柱Ｍ１４が４本以上である場合は、マーカー柱Ｍ１４が３本である場合と同様に扱うことができるが、誤差を分配することができるというメリットがある。

【0065】

以上説明したように、実施例２によれば、事前に３Ｄ設計データを準備することなく、高精度に施工することができる。また、施工の結果を即座に次の施工に反映するため（リアルタイム計測するため）、知識や経験に乏しい操縦者でも容易に精度の高い施工を行うことができる。さらに、ＴＳやＧＮＳＳとは異なり、施工範囲の環境や条件等の制約が少なくて済むこととなる。

【符号の説明】

【0066】

１ ３Ｄ設計データ作成システム
１０ 建設機械
１２ カメラ
１４ コンピュータ
１４ａ 位置座標取得部
１４ｂ ３Ｄ設計データ作成部
１４ｃ 出力部
１６ アクセスポイント
１７ ネットワーク
１８ サーバ
２０ 舗装範囲
２０ａ 路床
２０ｂ 路盤
２０ｃ 舗装
２１ 既設舗装
Ｂ マーカー
Ｃ１０ カメラ
Ｍ マーカー
Ｍ１ マーカー
Ｍ１０ 三脚
Ｍ１２ ボード
Ｍ１４ マーカー柱
Ｍ２ マーカー
Ｍ３ マーカー

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14A】

【図14B】

【図14C】

【図15A】

【図15B】

【図15C】

【図16A】

【図16B】

【図17A】

【図17B】