特許 6867132 作業機械の検出処理装置及び作業機械の検出処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6867132

(24)【登録日】2021年4月12日

(45)【発行日】2021年4月28日

(54)【発明の名称】作業機械の検出処理装置及び作業機械の検出処理方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20210419BHJP

   G01C 3/06 20060101ALI20210419BHJP

【ＦＩ】

   E02F9/26 B

   G01C3/06 110V

   G01C3/06 140

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2016-195015(P2016-195015)

(22)【出願日】2016年9月30日

(65)【公開番号】特開2018-59268(P2018-59268A)

(43)【公開日】2018年4月12日

【審査請求日】2019年2月20日

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】松田 豊久

(72)【発明者】

【氏名】菅原 大樹

(72)【発明者】

【氏名】神田 俊彦

【審査官】 松本 泰典

(56)【参考文献】

【文献】 特開２０１３−０３６２４３（ＪＰ，Ａ）

【文献】 特開２００６−０５３９２２（ＪＰ，Ａ）

【文献】 特表２０１１−５１４４５５（ＪＰ，Ａ）

【文献】 特開２０１５−１５４２３９（ＪＰ，Ａ）

【文献】 特開２０１０−０６０３４４（ＪＰ，Ａ）

【文献】 特開２０１６−１６０７４１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００４６８００（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／００７６２２２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０２Ｆ ９／２６

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

作業機を有する作業機械に設けられた３次元データを算出するための計測装置によって計測された前記作業機の少なくとも一部を含む対象の計測データを取得する計測データ取得部と、
前記作業機の角度データ、及び前記作業機の外形データ又は寸法データに基づいて、前記作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、
前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された３次元データである対象データを算出する３次元データ算出部と、を備える、
作業機械の検出処理装置。

【請求項2】

前記３次元データ算出部は、前記作業機位置データに基づいて前記計測データから前記作業機を含む部分データを除去し、前記部分データが除去された前記計測データに基づいて、前記対象データを算出する、
請求項１に記載の作業機械の検出処理装置。

【請求項3】

前記３次元データ算出部は、前記計測装置の位置を示す計測装置位置データ及び前記作業機位置データに基づいて、前記計測データにおける前記作業機の位置を特定する、
請求項２に記載の作業機械の検出処理装置。

【請求項4】

前記３次元データ算出部は、前記計測データに基づいて算出された３次元データから前記作業機位置データに基づいて前記作業機を含む部分データを除去して、前記対象データを算出する、
請求項１に記載の作業機械の検出処理装置。

【請求項5】

作業機械に設けられた３次元データを算出するための計測装置によって計測された他の作業機械の少なくとも一部を含む対象の計測データを取得する計測データ取得部と、
前記他の作業機械の位置データを取得する位置データ取得部と、
前記計測データ及び前記他の作業機械の位置データに基づいて、前記他の前記作業機械の少なくとも一部が除去された３次元データである対象データを算出する３次元データ算出部と、を備える、
作業機械の検出処理装置。

【請求項6】

前記３次元データ算出部は、前記計測データ、前記他の作業機械の位置データ、及び他の作業機械の外形データ又は寸法データに基づいて、前記対象データを算出する、
請求項５に記載の作業機械の検出処理装置。

【請求項7】

作業機を有する作業機械に設けられた３次元データを算出するための計測装置によって計測された前記作業機の少なくとも一部を含む対象の計測データを取得することと、
前記作業機の角度データ、及び前記作業機の外形データ又は寸法データに基づいて、前記作業機の位置を示す作業機位置データを算出することと、
前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された３次元データである対象データを算出することと、を含む、
作業機械の検出処理方法。

【請求項8】

作業機械に設けられた３次元データを算出するための計測装置によって計測された他の作業機械の少なくとも一部を含む対象の計測データを取得することと、
前記他の作業機械の位置データを取得することと、
前記計測データ及び前記他の作業機械の位置データに基づいて、前記他の前記作業機械の少なくとも一部が除去された３次元データである対象データを算出することと、を含む、
作業機械の検出処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の検出処理装置及び作業機械の検出処理方法に関する。

【背景技術】

【0002】

撮像装置を搭載した作業機械が知られている。特許文献１には、施工計画データとステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を３次元表示装置に３次元表示させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−０３６２４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械に設けられている撮像装置によって作業機械の前方の地形を撮影するとき、作業機械の作業機が映り込んでしまう可能性がある。撮像装置によって取得された画像データにおいて、映り込んだ作業機はノイズ成分であるため、地形の良好な３次元データを取得することが困難となる。撮像装置によって地形を撮影するとき、作業機を上昇させることにより作業機の映り込みが抑制される。しかし、撮像装置による撮影の度に作業機を上昇させると、作業効率が低下する。

【0005】

本発明の態様は、作業効率の低下を抑制しつつ良好な３次元データを取得することができる作業機械の検出処理装置及び作業機械の検出処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、前記作業機械の作業機の位置を示す作業機位置データを算出する作業機位置データ算出部と、前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された３次元データである対象データを算出する３次元データ算出部と、を備える作業機械の検出処理装置が提供される。

【0007】

本発明の第２の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得する計測データ取得部と、他の作業機械の位置データを取得する位置データ取得部と、前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された３次元データである対象データを算出する３次元データ算出部と、を備える作業機械の検出処理装置が提供される。

【0008】

本発明の第３の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、前記作業機械の作業機の位置を示す作業機位置データを算出することと、前記計測データ及び前記作業機位置データに基づいて、前記作業機の少なくとも一部が除去された３次元データである対象データを算出することと、を含む作業機械の検出処理方法が提供される。

【0009】

本発明の第４の態様に従えば、作業機械に設けられた計測装置によって計測された対象の計測データを取得することと、前記計測データ及び他の作業機械の位置データに基づいて、他の前記作業機械の少なくとも一部が除去された３次元データである対象データを算出することと、を含む作業機械の検出処理方法が提供される。

【発明の効果】

【0010】

本発明の態様によれば、作業効率の低下を抑制しつつ良好な３次元データを取得することができる作業機械の検出処理装置及び作業機械の検出処理方法が提供される。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態に係る作業機械の一例を示す斜視図である。

【図2】図２は、第１実施形態に係る撮像装置の一例を示す斜視図である。

【図3】図３は、第１実施形態に係る作業機械を模式的に示す側面図である。

【図4】図４は、第１実施形態に係る作業機械の制御システム及び形状計測システムの一例を模式的に示す図である。

【図5】図５は、第１実施形態に係る検出処理装置の一例を示す機能ブロック図である。

【図6】図６は、第１実施形態に係る一対の撮像装置によって３次元データを算出する方法を説明するための模式図である。

【図7】図７は、第１実施形態に係る形状計測方法の一例を示すフローチャートである。

【図8】図８は、第１実施形態に係る画像データの一例を示す図である。

【図9】図９は、第２実施形態に係る形状計測方法の一例を示すフローチャートである。

【図10】図１０は、第３実施形態に係る形状計測方法の一例を模式的に示す図である。

【発明を実施するための形態】

【0012】

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0013】

以下の説明においては、３次元のグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）、３次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）、及び３次元のカメラ座標系（Ｘｓ，Ｙｓ，Ｚｓ）を規定して、各部の位置関係について説明する。

【0014】

グローバル座標系は、水平面内のＸｇ軸と、水平面内においてＸｇ軸と直交するＹｇ軸と、Ｘｇ軸及びＹｇ軸と直交するＺｇ軸とによって規定される。Ｘｇ軸を中心とする回転又は傾斜方向をθＸｇ方向とし、Ｙｇ軸を中心とする回転又は傾斜方向をθＹｇ方向とし、Ｚｇ軸を中心とする回転又は傾斜方向をθＺｇ方向とする。Ｚｇ軸方向は鉛直方向である。

【0015】

車体座標系は、作業機械の車体に規定された原点を基準として一方向に延在するＸｍ軸と、Ｘｍ軸と直交するＹｍ軸と、Ｘｍ軸及びＹｍ軸と直交するＺｍ軸とによって規定される。Ｘｍ軸方向は作業機械の前後方向であり、Ｙｍ軸方向は作業機械の車幅方向であり、Ｚｍ軸方向は作業機械の上下方向である。

【0016】

カメラ座標系は、撮像装置に規定された原点を基準として一方向に延在するＸｓ軸と、Ｘｓ軸と直交するＹｓ軸と、Ｘｓ軸及びＹｓ軸と直交するＺｓ軸とによって規定される。Ｘｓ軸方向は撮像装置の上下方向であり、Ｙｓ軸方向は撮像装置の幅方向であり、Ｚｓ軸方向は撮像装置の前後方向である。Ｚｓ軸方向は撮像装置の光学系の光軸と平行である。

【0017】

第１実施形態．
［作業機械］
図１は、本実施形態に係る作業機械１の一例を示す斜視図である。本実施形態においては、作業機械１が油圧ショベルである例について説明する。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

【0018】

図１に示すように、油圧ショベル１は、車体１Ｂと、作業機２とを有する。車体１Ｂは、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。

【0019】

旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸ＺｒとＺｍ軸とは平行である。旋回体３は、運転室４を有する。油圧ポンプ及び内燃機関が旋回体３に配置される。走行体５は、履帯５ａ，５ｂを有する。履帯５ａ，５ｂが回転することにより、油圧ショベル１が走行する。

【0020】

作業機２は、旋回体３に連結される。作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。

【0021】

ブーム６は、ブームピン１３を介して旋回体３に回転可能に連結される。アーム７は、アームピン１４を介してブーム６の先端部に回転可能に連結される。バケット８は、バケットピン１５を介してアーム７の先端部に回転可能に連結される。ブームピン１３は、旋回体３に対するブーム６の回転軸ＡＸ１を含む。アームピン１４は、ブーム６に対するアーム７の回転軸ＡＸ２を含む。バケットピン１５は、アーム７に対するバケット８の回転軸ＡＸ３を含む。ブーム６の回転軸ＡＸ１、アーム７の回転軸ＡＸ２、及びバケット８の回転軸ＡＸ３は、車体座標系のＹｍ軸と平行である。

【0022】

バケット８は、作業具の一種である。なお、アーム７に連結される作業具は、バケット８に限定されない。作業具は、アーム７に連結される作業具は、例えばチルトバケットでもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントでもよい。

【0023】

本実施形態において、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）で規定される旋回体３の位置が検出される。グローバル座標系は、地球に固定された原点を基準とする座標系である。グローバル座標系は、ＧＮＳＳ（Global Navigation Satellite System）によって規定される座標系である。ＧＮＳＳとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、ＧＰＳ（Global Positioning System）が挙げられる。ＧＮＳＳは、複数の測位衛星を有する。ＧＮＳＳは、緯度、経度、及び高度の座標データで規定される位置を検出する。

【0024】

車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、旋回体３に固定された原点を基準とする座標系である。車体座標系の原点は、例えば旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに存在する。

【0025】

油圧ショベル１は、作業機２の角度を検出する作業機角度検出器２２と、旋回体３の位置を検出する位置検出器２３と、旋回体３の姿勢を検出する姿勢検出器２４と、旋回体３の方位を検出する方位検出器２５とを有する。

【0026】

［撮像装置］
図２は、本実施形態に係る撮像装置３０の一例を示す斜視図である。図２は、油圧ショベル１の運転室４の近傍を示す斜視図である。

【0027】

図２に示すように、油圧ショベル１は、撮像装置３０を有する。撮像装置３０は、油圧ショベル１に設けられ、油圧ショベル１の前方の対象を計測する計装装置として機能する。撮像装置３０は、油圧ショベル１の前方の対象を撮影する。なお、油圧ショベル１の前方とは、車体座標系における＋Ｘｍ方向をいい、旋回体３に対して作業機２が存在する方向をいう。

【0028】

撮像装置３０は、運転室４の内側に設けられる。撮像装置３０は、運転室４の前方（＋Ｘｍ方向）かつ上方（＋Ｚｍ方向）に配置される。

【0029】

上方（＋Ｚｍ方向）とは、履帯５ａ，５ｂの接地面と直交する方向であって接地面から離れる方向である。履帯５ａ，５ｂの接地面とは、履帯５ａ，５ｂ少なくとも一方が接地する部分の同一直線上には存在しない少なくとも３点で規定される平面をいう。下方（−Ｚｍ方向）とは、上方の反対方向であり、履帯５ａ，５ｂの接地面と直交する方向であって接地面に向かう方向である。

【0030】

運転席４Ｓ及び操作装置３５が運転室４に配置される。運転席４Ｓは、背もたれ４ＳＳを有する。前方（＋Ｘｍ方向）とは、運転席４Ｓの背もたれ４ＳＳから操作装置３５に向かう方向である。後方（−Ｘｍ方向）とは、前方の反対方向であり、操作装置３５から運転席４Ｓの背もたれ４ＳＳに向かう方向である。旋回体３の前部は、旋回体３の前方の部分であり、旋回体３のカウンタウエイトＷＴとは反対側の部分である。操作装置３５は、作業機２及び旋回体３の操作のために運転者に操作される。操作装置３５は、右操作レバー３５Ｒ及び左操作レバー３５Ｌを含む。運転室４に搭乗した運転者は、操作装置３５を操作して、作業機２の駆動及び旋回体３の旋回を実施する。

【0031】

撮像装置３０は、旋回体３の前方に存在する撮影対象を撮影する。本実施形態において、撮影対象は、施工現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象は、他の油圧ショベル１ｏｔの作業機２で掘削される掘削対象でもよいし、撮像装置３０を有する油圧ショベル１とは別の作業機械によって施工される施工対象でもよい。なお、施工対象は、作業者によって施工される施工対象でもよい。

【0032】

また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。

【0033】

撮像装置３０は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

【0034】

本実施形態において、撮像装置３０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを含む。撮像装置３０ａ，３０ｃは、撮像装置３０ｂ，３０ｄよりも＋Ｙｍ側（作業機２側）に配置される。撮像装置３０ａと撮像装置３０ｂとはＹｍ軸方向に間隔をあけて配置される。撮像装置３０ｃと撮像装置３０ｄとはＹｍ軸方向に間隔をあけて配置される。撮像装置３０ａ，３０ｂは、撮像装置３０ｃ，３０ｄよりも＋Ｚｍ側に配置される。Ｚｍ軸方向において、撮像装置３０ａと撮像装置３０ｂとは実質的に同一の位置に配置される。Ｚｍ軸方向において、撮像装置３０ｃと撮像装置３０ｄとは実質的に同一の位置に配置される。

【0035】

４つの撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち２つの撮像装置３０の組合せによりステレオカメラが構成される。ステレオカメラとは、撮影対象を複数の異なる方向から同時に撮影することにより、撮影対象の奥行き方向についてのデータも取得できるカメラをいう。本実施形態においては、撮像装置３０ａ，３０ｂの組合せにより第１のステレオカメラが構成され、撮像装置３０ｃ，３０ｄの組合せにより第２のステレオカメラが構成される。

【0036】

本実施形態において、撮像装置３０ａ，３０ｂは上方（＋Ｚｍ方向）を向く。撮像装置３０ｃ，３０ｄは下方（−Ｚｍ方向）を向く。また、撮像装置３０ａ，３０ｃは、前方（＋Ｘｍ方向）を向く。撮像装置３０ｂ，３０ｄは、前方よりも僅かに＋Ｙｍ側（作業機２側）を向く。すなわち、撮像装置３０ａ，３０ｃは、旋回体３の正面を向き、撮像装置３０ｂ，３０ｄは、撮像装置３０ａ，３０ｃ側を向く。なお、撮像装置３０ｂ，３０ｄが旋回体３の正面を向き、撮像装置３０ａ，３０ｃが撮像装置３０ｂ，３０ｄ側を向いてもよい。

【0037】

撮像装置３０は、旋回体３の前方に存在する撮影対象をステレオ撮影する。本実施形態においては、少なくとも一対の撮像装置３０によるステレオ画像データを用いて施工対象が３次元計測され、施工対象の３次元データが算出される。施工対象の３次元データは、施工対象の表面（地表）の３次元データである。施工対象の３次元データは、グローバル座標系における施工対象の３次元形状データを含む。

【0038】

複数の撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）のそれぞれについてカメラ座標系（Ｘｓ，Ｙｓ，Ｚｓ）が規定される。カメラ座標系は、撮像装置３０に固定された原点を基準とする座標系である。カメラ座標系のＺｓ軸は撮像装置３０の光学系の光軸と一致する。また、本実施形態においては、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃが基準撮像装置に設定される。

【0039】

［検出システム］
次に、本実施形態に係る油圧ショベル１の検出システムについて説明する。図３は、本実施形態に係る油圧ショベル１を模式的に示す側面図である。

【0040】

図３に示すように、油圧ショベル１は、作業機２の角度を検出する作業機角度検出器２２と、旋回体３の位置を検出する位置検出器２３と、旋回体３の姿勢を検出する姿勢検出器２４と、旋回体３の方位を検出する方位検出器２５とを有する。

【0041】

位置検出器２３は、ＧＰＳ受信機を含む。位置検出器２３は、旋回体３に設けられる。位置検出器２３は、グローバル座標系で規定される旋回体３の位置である絶対位置を検出する。旋回体３の絶対位置は、Ｘｇ軸方向の座標データ、Ｙｇ軸方向の座標データ、及びＺｇ軸方向の座標データを含む。

【0042】

旋回体３に一対のＧＰＳアンテナ２１が設けられる。本実施形態において、一対のＧＰＳアンテナ２１は、旋回体３の上部に設けられた手すり９に設けられる。一対のＧＰＳアンテナ２１は、車体座標系のＹｍ軸方向に配置される。一対のＧＰＳアンテナ２１は、一定距離だけ離れている。一対のＧＰＳアンテナ２１は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出器２３に出力する。位置検出器２３は、一対のＧＰＳアンテナ２１から供給された信号に基づいて、グローバル座標系で規定される一対のＧＰＳアンテナ２１の位置である絶対位置をそれぞれ検出する。

【0043】

位置検出器２３は、一対のＧＰＳアンテナ２１の絶対位置の少なくとも一方に基づいて演算処理を実施して、旋回体３の絶対位置を算出する。本実施形態において、旋回体３の絶対位置は、一方のＧＰＳアンテナ２１の絶対位置としてもよい。なお、旋回体３の絶対位置は、一方のＧＰＳアンテナ２１の絶対位置と他方のＧＰＳアンテナ２１の絶対位置との間の位置でもよい。

【0044】

姿勢検出器２４は、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を含む。姿勢検出器２４は、旋回体３に設けられる。姿勢検出器２４は、グローバル座標系で規定される水平面（ＸｇＹｇ平面）に対する旋回体３の傾斜角度を算出する。水平面に対する旋回体３の傾斜角度は、Ｙｍ軸方向（車幅方向）における旋回体３の傾斜角度を示すロール角θ１と、Ｘｍ軸方向（前後方向）における旋回体３の傾斜角度を示すピッチ角θ２とを含む。

【0045】

姿勢検出器２４は、姿勢検出器２４に作用する加速度及び角速度を検出する。姿勢検出器２４に作用する加速度及び角速度が検出されることにより、旋回体３に作用する加速度及び角速度が検出される。旋回体３に作用する加速度及び角速度に基づいて、旋回体３の姿勢が導出される。

【0046】

方位検出器２５は、一方のＧＰＳアンテナ２１の絶対位置と他方のＧＰＳアンテナ２１の絶対位置とに基づいて、グローバル座標系で規定される基準方位に対する旋回体３の方位を算出する。基準方位は、例えば北である。方位検出器２５は、一方のＧＰＳアンテナ２１の絶対位置と他方のＧＰＳアンテナ２１の絶対位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体３の方位を算出する。基準方位に対する旋回体３の方位は、基準方位と旋回体３の方位とがなす角度を示すヨー角（方位角）θ３を含む。

【0047】

作業機２は、ブームシリンダ１０に配置されブームシリンダ１０の駆動量を示すブームストロークを検出するブームストロークセンサ１６と、アームシリンダ１１に配置されアームシリンダ１１の駆動量を示すアームストロークを検出するアームストロークセンサ１７と、バケットシリンダ１２に配置されバケットシリンダ１２の駆動量を示すバケットストロークを検出するバケットストロークセンサ１８とを有する。

【0048】

作業機角度検出器２２は、ブーム６の角度、アーム７の角度、及びバケット８の角度を検出する。作業機角度検出器２２は、ブームストロークセンサ１６で検出されたブームストロークに基づいて、車体座標系のＺｍ軸に対するブーム６の傾斜角度を示すブーム角度αを算出する。作業機角度検出器２２は、アームストロークセンサ１７で検出されたアームストロークに基づいて、ブーム６に対するアーム７の傾斜角度を示すアーム角度βを算出する。作業機角度検出器２２は、バケットストロークセンサ１８で検出されたバケットストロークに基づいて、アーム７に対するバケット８の刃先８ＢＴの傾斜角度を示すバケット角度γを算出する。

【0049】

なお、ブーム角度α、アーム角度β、及びバケット角度γは、ストロークセンサを用いずに、例えば、作業機２に設けられた角度センサにより検出されてもよい。

【0050】

［形状計測システム］
図４は、本実施形態に係る油圧ショベル１の制御システム５０及びサーバ６１を含む形状計測システム１００の一例を模式的に示す図である。

【0051】

制御システム５０は、油圧ショベル１に配置される。サーバ６１は、油圧ショベル１の遠隔地に設けられる。制御システム５０とサーバ６１とは、通信回線ＮＴＷを介してデータ通信可能である。また、通信回線ＮＴＷには、制御システム５０及びサーバ６１のみならず、携帯端末装置６４及び他の油圧ショベル１ｏｔの制御システム５０ｏｔが接続される。油圧ショベル１の制御システム５０と、サーバ６１と、携帯端末装置６４と、他の油圧ショベル１ｏｔの制御システム５０ｏｔとは、通信回線ＮＴＷを介してデータ通信可能である。通信回線ＮＴＷは、携帯電話網及びインターネットの少なくとも一方を含む。なお、通信回線ＮＴＷが無線ＬＡＮ（Local Area Network）を含んでもよい。

【0052】

制御システム５０は、複数の撮像装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）と、検出処理装置５１と、施工管理装置５７と、表示装置５８と、通信装置２６とを有する。

【0053】

また、制御システム５０は、作業機角度検出器２２と、位置検出器２３と、姿勢検出器２４と、方位検出器２５とを有する。

【0054】

検出処理装置５１、施工管理装置５７、表示装置５８、通信装置２６、位置検出器２３、姿勢検出器２４、及び方位検出器２５は、信号線５９に接続され相互にデータ通信可能である。信号線５９に適用される通信規格は、例えばＣＡＮ（Controller Area Network）である。

【0055】

制御システム５０は、コンピュータシステムを含む。制御システム５０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random Access Memory）のような不揮発性メモリ及びＲＯＭ（Read Only Memory）のような揮発性メモリを含む記憶装置とを有する。通信用アンテナ２６Ａが通信装置２６と接続される。通信装置２６は、サーバ６１、携帯端末装置６４、及び他の油圧ショベル１ｏｔの制御システム５０ｏｔの少なくとも１つと通信回線ＮＴＷを介してデータ通信可能である。

【0056】

検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された施工対象の一対の画像データに基づいて、施工対象の３次元データを算出する。検出処理装置５１は、施工対象の一対の画像データをステレオ方式で画像処理することにより、３次元座標系における施工対象の複数の部位の座標を示す３次元データを算出する。ステレオ方式の画像処理とは、同一の撮影対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その撮影対象までの距離を得る手法をいう。撮影対象までの距離は、例えば撮影対象までの距離データを濃淡により可視化した距離画像として表現される。

【0057】

ハブ３１及び撮像スイッチ３２が検出処理装置５１に接続される。ハブ３１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと接続される。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄで取得された画像データは、ハブ３１を介して検出処理装置５１に供給される。なお、ハブ３１は省略されてもよい。

【0058】

撮像スイッチ３２は、運転室４に設置される。本実施形態においては、運転室４の運転者によって撮像スイッチ３２が操作されたとき、撮像装置３０による施工対象の撮像が実施される。なお、油圧ショベル１が稼働している状態において、所定期間毎に自動的に撮像装置３０による施工対象の撮像が実施されてもよい。

【0059】

施工管理装置５７は、油圧ショベル１の状態及び油圧ショベル１による施工の状況を管理する。施工管理装置５７は、例えば１日の作業の終了段階における施工の結果を示す完了施工データを取得して、サーバ６１及び携帯端末装置６４の少なくとも一方に送信する。また、施工管理装置５７は、１日の作業の途中段階における施工の結果を示す中間施工データを取得して、サーバ６１及び携帯端末装置６４の少なくとも一方に送信する。

【0060】

完了施工データ及び中間施工データは、撮像装置３０で取得された画像データに基づいて検出処理装置５１で算出された施工対象の３次元データを含む。すなわち、１日の作業の途中段階及び終了段階における施工対象の現況地形データがサーバ６１及び携帯端末装置６４の少なくとも一方に送信される。なお、施工管理装置５７は、完了施工データ及び中間施工データに加えて、例えば撮像装置３０で取得された画像データの取得日時データ、取得位置データ、及び画像データを取得した油圧ショベル１の識別データの少なくとも一つを含めてサーバ６１及び携帯端末装置６４の少なくとも一方に送信してもよい。なお、油圧ショベル１の識別データは、例えば油圧ショベル１の型番を含む。

【0061】

表示装置５８は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。

【0062】

携帯端末装置６４は、例えば油圧ショベル１の作業を管理する管理者に所持される。

【0063】

サーバ６１は、コンピュータシステムを含む。サーバ６１は、ＣＰＵのようなプロセッサを含む演算処理装置と、ＲＡＭのような揮発性メモリ及びＲＯＭのような不揮発性メモリを含む記憶装置とを含む。通信装置６２及び表示装置６５がサーバ６１と接続される。通信装置６２は、通信用アンテナ６３と接続される。通信装置６２は、油圧ショベル１の制御システム５０、携帯端末装置６４、及び他の油圧ショベル１ｏｔの制御システム５０ｏｔの少なくとも１つと通信回線ＮＴＷを介してデータ通信可能である。

【0064】

図５は、本実施形態に係る検出処理装置５１の一例を示す機能ブロック図である。検出処理装置５１は、プロセッサを含む演算処理装置と、不揮発性メモリ及び揮発性メモリを含む記憶装置と、入出力インターフェースとを有するコンピュータシステムを含む。

【0065】

検出処理装置５１は、画像データ取得部１０１と、３次元データ算出部１０２と、位置データ取得部１０３と、姿勢データ取得部１０４と、方位データ取得部１０５と、作業機角度データ取得部１０６と、作業機位置データ算出部１０７と、表示制御部１０８と、記憶部１０９と、入出力部１１０と、を有する。

【0066】

画像データ取得部１０１、３次元データ算出部１０２、位置データ取得部１０３、姿勢データ取得部１０４、方位データ取得部１０５、作業機角度データ取得部１０６、作業機位置データ算出部１０７、及び表示制御部１０８の機能は、演算処理装置によって発揮される。記憶部１０９の機能は、記憶装置によって発揮される。入出力部１１０の機能は、入出力インターフェースによって発揮される。

【0067】

撮像装置３０、作業機角度検出器２２、位置検出器２３、姿勢検出器２４、方位検出器２５、撮像スイッチ３２、及び表示装置５８は、入出力部１１０と接続される。画像データ取得部１０１と、３次元データ算出部１０２と、位置データ取得部１０３と、姿勢データ取得部１０４と、方位データ取得部１０５と、作業機角度データ取得部１０６と、作業機位置データ算出部１０７と、表示制御部１０８と、記憶部１０９と、撮像装置３０と、作業機角度検出器２２と、位置検出器２３と、姿勢検出器２４と、方位検出器２５と、撮像スイッチ３２と、表示装置５８とは、入出力部１１０を介してデータ通信可能である。

【0068】

画像データ取得部１０１は、油圧ショベル１に設けられた少なくとも一対の撮像装置３０で撮影された施工対象の画像データを一対の撮像装置３０から取得する。すなわち、画像データ取得部１０１は、少なくとも一対の撮像装置３０によるステレオ画像データを取得する。画像データ取得部１０１は、油圧ショベル１に設けられた撮像装置３０（計測装置）によって撮影（計測）された油圧ショベル１の前方の施工対象の画像データ（計測データ）を取得する計測データ取得部として機能する。

【0069】

３次元データ算出部１０２は、画像データ取得部１０１で取得された画像データに基づいて、施工対象の３次元データを算出する。３次元データ算出部１０２は、画像データ取得部１０１で取得された画像データに基づいて、カメラ座標系における施工対象の３次元形状データを算出する。

【0070】

位置データ取得部１０３は、油圧ショベル１の位置データを位置検出器２３から取得する。油圧ショベル１の位置データは、位置検出器２３で検出されたグローバル座標系における旋回体３の位置を示す位置データを含む。

【0071】

姿勢データ取得部１０４は、油圧ショベル１の姿勢データを姿勢検出器２４から取得する。油圧ショベル１の姿勢データは、姿勢検出器２４で検出されたグローバル座標系における旋回体３の姿勢を示す姿勢データを含む。

【0072】

方位データ取得部１０５は、油圧ショベル１の方位データを方位検出器２５から取得する。油圧ショベル１の方位データは、方位検出器２５で検出されたグローバル座標系における旋回体３の方位を示す方位データを含む。

【0073】

作業機角度データ取得部１０６は、作業機２の角度を示す作業機角度データを作業機角度検出器２２から取得する。作業機角度データは、ブーム角度α、アーム角度β、及びバケット角度γを含む。

【0074】

作業機位置データ算出部１０７は、作業機２の位置を示す作業機位置データを算出する。作業機位置データは、ブーム６の位置データ、アーム７の位置データ、及びバケット８の位置データを含む。

【0075】

作業機位置データ算出部１０７は、作業機角度データ取得部１０６で取得された作業機角度データと、記憶部１０９に記憶されている作業機データとに基づいて、車体座標系におけるブーム６の位置データ、アーム７の位置データ、及びバケット８の位置データを算出する。ブーム６、アーム７、及びバケット８の位置データは、ブーム６、アーム７、及びバケット８の複数の部位それぞれの座標データを含む。

【0076】

また、作業機位置データ算出部１０７は、位置データ取得部１０３で取得された旋回体３の位置データと、姿勢データ取得部１０４で取得された旋回体３の姿勢データと、方位データ取得部１０５で取得された旋回体３の方位データと、作業機角度データ取得部１０６で取得された作業機角度データと、記憶部１０９に記憶されている作業機データとに基づいて、グローバル座標系におけるブーム６、アーム７、及びバケット８の位置データを算出する。

【0077】

作業機データは、作業機２の設計データ又は諸元データを含む。作業機２の設計データは、作業機２の３次元ＣＡＤデータを含む。作業機データは、作業機２の外形データ及び作業機２の寸法データの少なくとも一方を含む。本実施形態においては、図３に示すように、作業機データは、ブーム長さＬ１、アーム長さＬ２、及びバケット長さＬ３を含む。ブーム長さＬ１は、回転軸ＡＸ１と回転軸ＡＸ２との距離である。アーム長さＬ２は、回転軸ＡＸ２と回転軸ＡＸ３との距離である。バケット長さＬ３は、回転軸ＡＸ３とバケット８の刃先９との距離である。

【0078】

３次元データ算出部１０２は、画像データ取得部１０１で取得された施工対象の画像データに基づいて、車体座標系における施工対象の３次元データを算出する。車体座標系における施工対象の３次元データは、車体座標系における施工対象の３次元形状データを含む。３次元データ算出部１０２は、カメラ座標系における施工対象の３次元データを座標変換して、車体座標系における施工対象の３次元データを算出する。

【0079】

また、３次元データ算出部１０２は、位置データ取得部１０３で取得された旋回体３の位置データ、姿勢データ取得部１０４で取得された旋回体３の姿勢データ、方位データ取得部１０５で取得された旋回体３の方位データ、及び画像データ取得部１０１で取得された施工対象の画像データに基づいて、グローバル座標系における施工対象の３次元データを算出する。グローバル座標系における施工対象の３次元データは、グローバル座標系における施工対象の３次元形状データを含む。３次元データ算出部１０２は、車体座標系における施工対象の３次元データを座標変換して、グローバル座標系における施工対象の３次元データを算出する。

【0080】

表示制御部１０８は、３次元データ算出部１０２で算出された施工対象の３次元データを表示装置５８に表示させる。表示制御部１０８は、３次元データ算出部１０２で算出された施工対象の３次元データを表示装置５８が表示可能な表示形式の表示データに変換して、その表示データを表示装置５８に表示させる。

【0081】

［３次元処理］
図６は、本実施形態に係る一対の撮像装置３０によって３次元データを算出する方法を説明するための模式図である。以下の説明においては、一対の撮像装置３０ａ，３０ｂによって３次元データが算出される方法について説明する。３次元データを算出する３次元処理は、所謂ステレオ計測処理を含む。なお、一対の撮像装置３０ａ，３０ｂによって３次元データが算出される方法と、一対の撮像装置３０ｃ，３０ｄによって３次元データが算出される方法とは、同様である。

【0082】

一対の撮像装置３０ａ,３０ｂを示す計測装置位置データである撮像装置位置データが記憶部１０９に記憶されている。撮像装置位置データは、撮像装置３０ａ及び撮像装置３０ｂそれぞれの位置及び姿勢を含む。また、撮像装置位置データは、一対の撮像装置３０ａと撮像装置３０ｂとの相対位置を含む。撮像装置位置データは、撮像装置３０ａ，３０ｂの設計データ又は諸元データから分かる既知データである。撮像装置３０ａ，３０ｂの位置を示す撮像装置位置データは、撮像装置３０ａの光学中心Ｏａの位置及び光軸の向き、撮像装置３０ｂの光学中心Ｏｂの位置及び光軸の向き、撮像装置３０ａの光学中心Ｏａと撮像装置３０ｂの光学中心Ｏｂとを結ぶベースラインの寸法、の少なくとも一つを含む。

【0083】

図６において、３次元空間に存在する計測点Ｐが、一対の撮像装置３０ａ，３０ｂの投影面に投影される。また、撮像装置３０ａの投影面に計測点Ｐの像及び撮像装置３０ｂの投影面の点Ｅｂの像が投影され、エピポーラ線が規定される。同様に、撮像装置３０ｂの投影面に計測点Ｐの像及び撮像装置３０ａの投影面の点Ｅａの像が投影され、エピポーラ線が規定される。また、計測点Ｐと点Ｅａと点Ｅｂとによりエピポーラ平面が規定される。

【0084】

本実施形態において、画像データ取得部１０１は、撮像装置３０ａで撮像された画像データと、撮像装置３０ｂで撮像された画像データとを取得する。撮像装置３０ａで撮像された画像データ及び撮像装置３０ｂで撮像された画像データはそれぞれ、投影面に投影された２次元の画像データである。以下の説明においては、撮像装置３０ａで撮像された２次元の画像データを適宜、右画像データ、と称し、撮像装置３０ｂで撮像された２次元の画像データを適宜、左画像データ、と称する。

【0085】

画像データ取得部１０１で取得された右画像データ及び左画像データは、３次元データ算出部１０３に出力される。３次元データ算出部１０２は、カメラ座標系において規定される右画像データにおける計測点Ｐの像の座標データと、左画像データにおける計測点Ｐの像の座標データと、エピポーラ平面とに基づいて、カメラ座標系における計測点Ｐの３次元座標データを算出する。

【0086】

３次元画像データは、右画像データ及び左画像データに基づいて、施工対象の複数の計測点Ｐそれぞれの３次元座標データを算出する。これにより、施工対象の３次元データが算出される。

【0087】

本実施形態において、３次元データ算出部１０２は、ステレオ画像処理において、カメラ座標系における複数の計測点Ｐの３次元座標データを含む３次元データを算出した後、座標変換することによって、車体座標系における複数の計測点Ｐの３次元座標データを含む３次元データを算出する。

【0088】

［形状計測方法］
次に、本実施形態に係る形状計測方法について説明する。撮像装置３０を用いて施工対象を撮像するとき、油圧ショベル１の作業機２の少なくとも一部が撮像装置３０によって撮像される画像データに映り込んでしまう可能性がある。撮像装置３０によって撮像された画像データにおいて、映り込んだ作業機２はノイズ成分であるため、施工対象の良好な３次元データを取得することが困難となる。

【0089】

本実施形態において、３次元データ算出部１０２は、画像データ取得部１０１で取得された画像データ及び作業機位置データ算出部１０７で算出された作業機位置データに基づいて、作業機１の少なくとも一部が除去された３次元データである対象データを算出する。

【0090】

本実施形態において、３次元データ算出部１０２は、作業機位置データ算出部１０７で算出された車体座標系における作業機位置データを座標変換して、カメラ座標系における作業機位置データを算出する。３次元データ算出部１０２は、カメラ座標系における作業機位置データに基づいて、画像データ取得部１０１で取得された画像データにおける作業機２の位置を特定して、作業機２の少なくとも一部が除去された３次元データである対象データを算出する。３次元データ算出部１０２は、カメラ座標系において算出された３次元データである対象データを座標変換して、車体座標系における３次元データである対象データを算出する。

【0091】

図７は、本実施形態に係る形状計測方法の一例を示すフローチャートである。画像データ取得部１０１は、撮像装置３０から右画像データ及び左画像データを取得する（ステップＳＡ１０）。上述のように、右画像データ及び左画像データは、２次元の画像データである。

【0092】

３次元データ算出部１０２は、作業機位置データ算出部１０７で算出された車体座標系における作業機位置データを座標変換してカメラ座標系における作業機位置データを算出する。３次元データ算出部１０２は、カメラ座標系における作業機位置データに基づいて、右画像データ及び左画像データのそれぞれにおける作業機２の位置を特定する（ステップＳＡ２０）。

【0093】

上述のように、記憶部１０９には、撮像装置３０ａ,３０ｂの位置を示す撮像装置位置データが記憶されている。３次元データ算出部は１０２、撮像装置位置データ及び作業機位置データに基づいて、右画像データにおける作業機２の位置、及び左画像データにおける作業機２の位置を特定することができる。

【0094】

例えば車体座標系における作業機２の位置と、車体座標系における撮像装置３０の位置及び姿勢（向き）とが分かれば、撮像装置３０の撮像範囲（撮像装置３０の光学系の視野領域）において作業機２が映る範囲が特定される。３次元データ算出部１０２は、作業機２と撮像装置３０との相対位置に基づいて、右画像データにおける作業機２の位置、及び左画像データにおける作業機２の位置を算出することができる。

【0095】

図８は、本実施形態に係る右画像データの一例を示す図である。なお、図８を用いる説明においては、右画像データについて説明するが、左画像データについても同様である。

【0096】

図８に示すように、右画像データに作業機２が映り込む可能性がある。３次元データ算出部は１０２、撮像装置位置データ及び作業機位置データに基づいて、カメラ座標系で規定される右画像データにおける作業機２の位置を特定する。上述のように、作業機位置データは、作業機データを含み、作業機データは、３次元ＣＡＤデータのような作業機２の設計データを含む。また、作業機データは、作業機２の外形データ及び作業機２の寸法データを含む。したがって、３次元データ算出部１０２は、右画像データを構成する複数のピクセルのうち、作業機２を示すピクセルを特定することができる。

【0097】

３次元データ算出部１０２は、作業機位置データに基づいて、右画像データから、作業機２を含む部分データを除去する。同様に、３次元データ算出部１０２は、作業機位置データに基づいて、左画像データから、作業機２を含む部分データを除去する（ステップＳＡ３０）。

【0098】

すなわち、３次元データ算出部１０２は、右画像データの複数のピクセルのうち、ステレオ計測処理に使用される作業機２を示すピクセルを無効化する。同様に、３次元データ算出部１０２は、左画像データの複数のピクセルのうち、ステレオ計測処理に使用される作業機２を示すピクセルを無効化する。換言すれば、３次元データ算出部１０２は、撮像装置３０ａ，３０ｂの投影面に投影された作業機２を示す計測点Ｐの像を除去又は無効化する。

【0099】

３次元データ算出部１０２は、作業機２を含む部分データが除去された画像データである周辺データに基づいて、作業機２が除去された３次元データである対象データを算出する（ステップＳＡ４０）。

【0100】

すなわち、３次元データ算出部１０２は、右画像データから作業機２を含む部分データが除去された２次元の周辺データと、左画像データから作業機２を含む部分データが除去された２次元の周辺データとに基づいて、３次元処理を実施して、作業機２が除去された３次元データである対象データを算出する。３次元データ算出部１０２は、カメラ座標系において規定される対象データを座標変換して、車体座標系又はグローバル座標系において規定される対象データを算出する。

【0101】

［作用及び効果］
以上説明したように、本実施形態によれば、作業機２が映り込んでも、画像データ取得部１０１で取得された画像データ及び作業機位置データ算出部１０７で算出された作業機位置データに基づいて、作業機２の少なくとも一部が除去された３次元データである対象データが算出される。

【0102】

撮像装置３０によって取得された画像データにおいて、映り込んだ作業機２はノイズ成分である。本実施形態においては、ノイズ成分である作業機２を含む部分データが除去されるため、３次元データ算出部１０２は、周辺データに基づいて、施工対象の良好な３次元データを算出することができる。また、作業機２を上昇させずに撮像装置３０によって施工対象を撮像しても、施工対象の良好な３次元データが算出されるので、作業効率の低下が抑制される。

【0103】

なお、本実施形態においては、部分データは、図８を参照して説明したように、作業機２の外形に沿って規定されている。部分データが作業機２の一部を含み、周辺データが作業機の一部を含んでもよい。また、部分データが施工対象の一部を含んでもよい。

【0104】

第２実施形態．
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

【0105】

上述の実施形態においては、２次元の右画像データ及び左画像データから部分データを除去することとした。本実施形態においては、右画像データ及び左画像データに基づいて作業機２を含む３次元データが算出された後、その３次元データから作業機２を含む部分データが除去される例について説明する。

【0106】

図９は、本実施形態に係る形状計測方法の一例を示すフローチャートである。画像データ取得部１０１は、撮像装置３０から右画像データ及び左画像データを取得する（ステップＳＢ１０）。

【0107】

３次元データ算出部１０２は、画像データ取得部１０１で取得された右画像データ及び左画像データに基づいて３次元処理を実施して、施工対象の３次元データを算出する（ステップＳＢ２０）。３次元データ算出部１０２は、カメラ座標系における施工対象の３次元データを算出した後、座標変換して、車体座標系における施工対象の３次元データを算出する。

【0108】

３次元データ算出部１０２は、作業機位置データ算出部１０７で算出された車体座標系における作業機位置データに基づいて、車体座標系における作業機２の位置を特定する（ステップＳＢ３０）。３次元データ算出部１０２は、車体座標系における作業機２の位置を座標変換して、カメラ座標系における作業機２の位置を特定する。

【0109】

３次元データ算出部１０２は、ステップＳＢ２０で算出した３次元データから、ステップＳＢ３０で特定した作業機２を含む部分データ（３次元データ）を除去して、作業機２が除去された３次元データである対象データを算出する（ステップＳＢ４０）。

【0110】

すなわち、３次元データ算出部１０２は、３次元処理によって取得された複数の計測点Ｐからなる３次元点群データから、作業機位置データに基づいて作業機２を示す複数の計測点Ｐを推定し、推定した作業機２を示す複数の計測点Ｐからなる３次元の部分データを、３次元点群データから除去する。

【0111】

３次元データ算出部１０２は、カメラ座標系において規定される対象データを座標変換して、車体座標系又はグローバル座標系において規定される対象データを算出する。

【0112】

以上説明したように、本実施形態においては、撮像装置３０で撮像された画像データに作業機２が映り込んだ場合、右画像データ及び左画像データに基づいて作業機２を含む３次元データが算出された後、その３次元データから作業機２を含む部分データが除去される。本実施形態においても、作業効率の低下を抑制しつつ油圧ショベル１の前方の施工対象の良好な３次元データを取得することができる。

【0113】

第３実施形態．
第３実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

【0114】

上述の実施形態においては、作業機２を含む部分データが除去される例について説明した。本実施形態にいては、他の油圧ショベル１ｏｔを含む部分データが除去される例について説明する。

【0115】

図１０は、本実施形態に係る形状計測方法の一例を模式的に示す図である。図１０に示すように、油圧ショベル１に設けられている撮像装置３０を用いて施工対象ＯＢＰを撮像するとき、他の油圧ショベル１ｏｔの少なくとも一部が撮像装置３０によって撮像される画像データに映り込んでしまう可能性がある。撮像装置３０によって撮像された画像データにおいて、映り込んだ他の油圧ショベル１ｏｔはノイズ成分であるため、施工対象の良好な３次元データを取得することが困難となる。

【0116】

本実施形態において、位置データ取得部１０３は、他の油圧ショベル１ｏｔの位置データを取得する。３次元データ算出部１０２は、画像データ取得部１０１で取得された画像データ及び位置データ取得部１０３で取得された他の油圧ショベル１ｏｔの位置データに基づいて、他の油圧ショベル１ｏｔの少なくとも一部が除去された３次元データである対象データを算出する。

【0117】

油圧ショベル１と同様、他の油圧ショベル１ｏｔは、ＧＰＳアンテナ２１と、車両の位置を検出する位置検出器２３とを有する。他の油圧ショベル１ｏｔは、位置検出器２３で検出された他の油圧ショベル１ｏｔの位置データを、通信回線ＮＴＷを介してサーバ６１に逐次送信する。

【0118】

サーバ６１は、他の油圧ショベル１ｏｔの位置データを、油圧ショベル１の検出処理装置５１の位置データ取得部１０３に送信する。油圧ショベル１の検出処理装置５１の３次元データ算出部１０２は、他の油圧ショベル１ｏｔの位置データに基づいて、画像データ取得部１０１で取得された画像データにおける他の油圧ショベル１ｏｔ２の位置を特定して、他の油圧ショベル１ｏｔの少なくとも一部が除去された３次元データである対象データを算出する。

【0119】

本実施形態において、３次元データ算出部１０２は、他の油圧ショベル１ｏｔの位置データに基づいて、画像データ取得部１０１で取得された画像データにおける他の油圧ショベル１ｏｔの範囲を特定する。３次元データ算出部１０２は、例えば他の油圧ショベル１ｏｔの位置データを中心とする所定距離（例えばＸｇ軸方向、Ｙｇ軸方向、及びＺｇ軸方向にそれぞれ±５ｍ、又は半径５［ｍ］の球体）の範囲を、画像データにおける他の油圧ショベル１ｏｔの範囲としてもよい。３次元データ算出部１０２は、画像データ取得部１０で取得された画像データと、他の油圧ショベル１ｏｔの位置データと、既知データである他の油圧ショベル１ｏｔの外形データ及び寸法データの少なくとも一方とに基づいて、画像データにおける他の油圧ショベル１ｏｔの範囲を特定してもよい。他の油圧ショベル１ｏｔの外形データ及び寸法データは、サーバ６１に保有され、サーバ６１から油圧ショベル１に送信されてもよいし、記憶部１０９に記憶されていてもよい。

【0120】

なお、本実施形態においても、２次元の右画像データ及び左画像データから他の油圧ショベル１ｏｔを含む部分データが除去されてもよいし、右画像データ及び左画像データに基づいて他の油圧ショベル１ｏｔを含む３次元データが算出された後、その３次元データから他の油圧ショベル１ｏｔを含む部分データが除去されてもよい。

【0121】

以上説明したように、本実施形態によれば、他の油圧ショベル１ｏｔが映り込んでも、ノイズ成分である他の油圧ショベル１ｏｔを含む部分データが除去されるため、３次元データ算出部１０２は、周辺データに基づいて、施工対象の良好な３次元データを算出することができる。

【0122】

なお、上述の実施形態において、車体座標系における作業機位置データが算出され、３次元処理においては作業機位置データをカメラ座標系に座標変換し、カメラ座標系において部分データを除去することとした。部分データの除去は、車体座標系において実施されてもよいし、グローバル座標系において実施されてもよい。任意の座標系において部分データを除去して座標変換を適宜実施してもよい。

【0123】

なお、上述の本実施形態においては、油圧ショベル１に撮像装置３０が４つ設けられる例について説明した。撮像装置３０は、油圧ショベル１に少なくとも２つ設けられていればよい。

【0124】

なお、上述の実施形態において、サーバ６１が検出処理装置５１の一部又は全部の機能を有してもよい。すなわち、サーバ６１が、画像データ取得部１０１、３次元データ算出部１０２、位置データ取得部１０３、姿勢データ取得部１０４、方位データ取得部１０５、作業機角度データ取得部１０６、作業機位置データ算出部１０７、表示制御部１０８、記憶部１０９、及び入出力部１１０の少なくとも一つを有してもよい。例えば、油圧ショベル１の撮像装置３０で撮像された画像データ、作業機角度検出器２２で検出された作業機２の角度データ、位置検出器２３で検出された旋回体３の位置データ、姿勢検出器２４で検出された旋回体３の姿勢データ、及び方位検出器２５で検出された旋回体３の方位データが、通信装置２６及び通信回線ＮＴＷを介して、サーバ６１に供給されてもよい。サーバ６１の３次元データ算出部１０２は、画像データ及び作業機位置データに基づいて、作業機１の少なくとも一部が除去された３次元データである対象データを算出することができる。

【0125】

サーバ６１には、油圧ショベル１及び複数の他の油圧ショベル１ｏｔから、画像データ及び作業機位置データの両方が供給される。サーバ６１は、油圧ショベル１及び複数の他の油圧ショベル１ｏｔから供給された画像データ及び作業機位置データに基づいて、広範囲に亘って施工対象ＯＢＰの３次元データを収集することができる。

【0126】

なお、上述の実施形態においては、右画像データ及び左画像データのそれぞれから作業機２を含む部分データが除去されることとした。右画像データ及び左画像データのいずれか一方から作業機２を含む部分データが除去されてもよい。右画像データ及び左画像データのいずれか一方から作業機２を含む部分データが除去された場合、３次元データを算出する際に作業機２の部分データは算出されない。

【0127】

なお、上述の実施形態においては、油圧ショベル１の前方の施工対象を計測する計測装置が撮像装置３０であることとした。油圧ショベル１の前方の施工対象を計測する計測装置が３次元レーザスキャナでもよい。その場合、３次元レーザスキャナにより計測された３次元形状データが計測データに該当する。

【0128】

なお、上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械１は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。

【符号の説明】

【0129】

１ 油圧ショベル（作業機械）、１Ｂ 車体、２ 作業機、３ 旋回体、４ 運転室、４Ｓ 運転席、４ＳＳ 背もたれ、５ 走行体、６ ブーム、７ アーム、８ バケット、８Ｂ 刃、８ＢＴ 刃先、１０ ブームシリンダ、１０ａ ブームシリンダフートピン、１０ｂ ブームシリンダトップピン、１１ アームシリンダ、１１ａ アームシリンダフートピン、１１ｂ アームシリンダトップピン、１２ バケットシリンダ、１２ａ バケットシリンダフートピン、１２ｂ バケットシリンダトップピン、１３ ブームピン、１４ アームピン、１５ バケットピン、１６ ブームストロークセンサ、１７ アームストロークセンサ、１８ バケットストロークセンサ、２１ ＧＰＳアンテナ、２２ 作業機角度検出器、２３ 位置検出器、２４ 姿勢検出器、２５ 方位検出器、２６ 通信装置、２６Ａ 通信用アンテナ、２７ 内燃機関、２８ 油圧ポンプ、２９ コントロールバルブ、３０（３０ａ，３０ｂ，３０ｃ，３０ｄ） 撮像装置、３１ ハブ、３２ 撮像スイッチ、３５ 操作装置、３５Ｌ 右操作レバー、３５Ｒ 左操作レバー、４７ 第１リンク部材、４７ａ 第１リンクピン、４８ 第２リンク部材、４８ａ 第２リンクピン、５０ 制御システム、５１ 検出処理装置、５７ 施工管理装置、５８ 表示装置、５８Ｄ 表示画面、５９ 信号線、６１ サーバ、６２ 通信装置、６３ 通信用アンテナ、６４ 携帯端末装置、６５ 表示装置、１００ 形状計測システム、１０１ 画像データ取得部（計測データ取得部）、１０２ ３次元データ算出部、１０３ 位置データ取得部、１０４ 姿勢データ取得部、１０５ 方位データ取得部、１０６ 作業機角度データ取得部、１０７ 作業機位置データ算出部、１０８ 表示制御部、１０９ 記憶部、１１０ 入出力部、ＡＸ１ 回転軸、ＡＸ２ 回転軸、ＡＸ３ 回転軸、ＮＴＷ 通信回線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】