(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。
【0018】
実施形態1.
<油圧ショベルの全体構成>
図1は、実施形態1に係る撮像装置の制御システムを備えた油圧ショベル1の斜視図である。
図2は、実施形態1に係る油圧ショベル1の運転席付近を示す斜視図である。作業機械である油圧ショベル1は、車体1B及び作業機2を有する。車体1Bは、旋回体3、運転室4及び走行体5を有する。旋回体3は、旋回中心軸Zrを中心として走行体5に旋回可能に取り付けられている。旋回体3は、油圧ポンプ及びエンジン等の装置を収容している。
【0019】
旋回体3は、作業機2が取り付けられて旋回する。旋回体3の上部には手すり9が取り付けられている。手すり9には、アンテナ21,22が取り付けられる。アンテナ21,22は、RTK−GNSS(Real Time Kinematic - Global Navigation Satellite Systems、GNSSは全地球航法衛星システムをいう)用のアンテナである。アンテナ21,22は、車体座標系(Xm,Ym,Zm)のYm軸の方向に沿って、一定距離だけ離れて配置されている。アンテナ21,22は、GNSS電波を受信し、受信したGNSS電波に応じた信号を出力する。アンテナ21,22は、GPS(Global Positioning System)用のアンテナであってもよい。
【0020】
運転室4は旋回体3の前部に載置されている。運転室4の屋根には、通信用のアンテナ25Aが取り付けられている。走行体5は、履帯5a,5bを有している。履帯5a,5bが回転することにより油圧ショベル1が走行する。
【0021】
作業機2は、車体1Bの前部に取り付けられており、ブーム6、アーム7、作業具としてのバケット8、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12を有する。実施形態において、車体1Bの前方は、
図2に示される運転席4Sの背もたれ4SSから操作装置35に向かう方向側である。車体1Bの後方は、操作装置35から運転席4Sの背もたれ4SSに向かう方向側である。車体1Bの前部は、車体1Bの前方側の部分であり、車体1BのカウンタウエイトWTとは反対側の部分である。操作装置35は、作業機2及び旋回体3を操作するための装置であり、右側レバー35R及び左側レバー35Lを有する。
【0022】
ブーム6の基端部は、ブームピン13を介して車体1Bの前部に回動可能に取り付けられている。すなわち、ブームピン13は、ブーム6の旋回体3に対する回動中心に相当する。アーム7の基端部は、アームピン14を介してブーム6の先端部に回動可能に取り付けられている。すなわち、アームピン14は、アーム7のブーム6に対する回動中心に相当する。アーム7の先端部には、バケットピン15を介してバケット8が回動可能に取り付けられている。すなわち、バケットピン15は、バケット8のアーム7に対する回動中心に相当する。
【0023】
図1に示されるブームシリンダ10、アームシリンダ11及びバケットシリンダ12は、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ10の基端部は、ブームシリンダフートピン10aを介して旋回体3に回動可能に取り付けられている。ブームシリンダ10の先端部は、ブームシリンダトップピン10bを介してブーム6に回動可能に取り付けられている。ブームシリンダ10は、油圧によって伸縮することによって、ブーム6を駆動する。
【0024】
アームシリンダ11の基端部は、アームシリンダフートピン11aを介してブーム6に回動可能に取り付けられている。アームシリンダ11の先端部は、アームシリンダトップピン11bを介してアーム7に回動可能に取り付けられている。アームシリンダ11は、油圧によって伸縮することによって、アーム7を駆動する。
【0025】
バケットシリンダ12の基端部は、バケットシリンダフートピン12aを介してアーム7に回動可能に取り付けられている。バケットシリンダ12の先端部は、バケットシリンダトップピン12bを介して第1リンク部材47の一端及び第2リンク部材48の一端に回動可能に取り付けられている。第1リンク部材47の他端は、第1リンクピン47aを介してアーム7の先端部に回動可能に取り付けられている。第2リンク部材48の他端は、第2リンクピン48aを介してバケット8に回動可能に取り付けられている。バケットシリンダ12は、油圧によって伸縮することによって、バケット8を駆動する。
【0026】
バケット8は、複数の刃8Bを有する。複数の刃8Bは、バケット8の幅方向に沿って一列に並んでいる。刃8Bの先端は、刃先8BTである。バケット8は、作業具の一例である。作業具は、バケット8に限定されない。作業具は、例えばチルトバケットであってもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントであってもよいし、これら以外であってもよい。
【0027】
旋回体3は、位置検出装置23と、姿勢検出装置の一例であるIMU(Inertial Measurement Unit:慣性計測装置)24とを有する。位置検出装置23は、アンテナ21,22からの信号が入力される。位置検出装置23は、アンテナ21,22から取得した信号を用いて、グローバル座標系(Xg,Yg,Zg)におけるアンテナ21,22の現在位置及び旋回体3の方位を検出して、出力する。旋回体3の方位は、グローバル座標系における旋回体3の向きを表す。旋回体3の向きは、例えば、グローバル座標系のZg軸周りにおける旋回体3の前後方向の向きで表すことができる。方位角は、旋回体3の前後方向における基準軸の、グローバル座標系のZg軸周りにおける回転角である。方位角によって旋回体3の方位が表される。本実施形態において、位置検出装置23は、2個のアンテナ21,22の相対位置から方位角を算出する。
【0028】
<撮像装置>
図2に示されるように、油圧ショベル1は、例えば運転室4内に複数の撮像装置30a,30b,30c,30dを有する。複数の撮像装置30a,30b,30c,30dは、対象の形状を検出する検出装置の一例である。以下において、複数の撮像装置30a,30b,30c,30dを区別しない場合は適宜、撮像装置30と称する。複数の撮像装置30のうち撮像装置30a,30cは、作業機2側に配置される。撮像装置30の種類は限定されないが、実施形態では、例えば、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備えた撮像装置が用いられる。
【0029】
図2に示されるように、撮像装置30aと撮像装置30bとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。撮像装置30cと撮像装置30dとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。複数の撮像装置30a,30b,30c,30dは、2個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置30a,30bの組合せと、撮像装置30c,30dの組合せとでステレオカメラが構成される。実施形態において、撮像装置30a及び撮像装置30bは上方を向いており、撮像装置30c及び撮像装置30dは下方を向いている。少なくとも撮像装置30a及び撮像装置30cは、油圧ショベル1、実施形態では旋回体3の正面を向いている。撮像装置30b及び撮像装置30dは、作業機2の方に若干向けられて、すなわち、撮像装置30a及び撮像装置30c側の方に若干向けられて配置されることもある。
【0030】
実施形態において、油圧ショベル1は、4個の撮像装置30を有するが、油圧ショベル1が有する撮像装置30の数は少なくとも2個であればよく、4個に限定されない。油圧ショベル1は、少なくとも一対の撮像装置30でステレオカメラを構成して、対象をステレオ撮影するからである。
【0031】
複数の撮像装置30a,30b,30c,30dは、運転室4内の前方かつ上方に配置される。上方とは、油圧ショベル1が有する履帯5a,5bの接地面と直交し、かつ接地面から離れる方向側である。履帯5a,5bの接地面は、履帯5a,5bのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも3点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯5a,5bの接地面と直交し、かつ接地面に向かう方向側である。
【0032】
複数の撮像装置30a,30b,30c,30dは、油圧ショベル1の車体1Bの前方に存在する対象をステレオ撮影する。対象は、例えば、作業機2が掘削する対象である。本実施形態においては、少なくとも一対の撮像装置30によるステレオ撮影の結果を用いて、対象が三次元計測される。複数の撮像装置30a,30b,30c,30dが配置される場所は、運転室4内の前方かつ上方に限定されるものではない。
【0033】
複数の撮像装置30a,30b,30c,30dのうち、例えば、撮像装置30cをこれらの基準とする。4個の複数の撮像装置30a,30b,30c,30dは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。
図2では、基準となる撮像装置30cの座標系(xs,ys,zs)のみを示している。撮像装置座標系の原点は、各撮像装置30a,30b,30c,30dの中心である。
【0034】
前述した車体座標系(Xm,Ym,Zm)は、車体1B、本実施形態では旋回体3に固定された原点を基準とする座標系である。実施形態において、車体座標系(Xm,Ym,Zm)の原点は、例えば、旋回体3のスイングサークルの中心である。スイングサークルの中心は、旋回体3の旋回中心軸Zr上に存在する。車体座標系(Xm,Ym,Zm)のZm軸は旋回体3の旋回中心軸Zrとなる軸であり、Xm軸は旋回体3の前後方向に延び、かつZm軸と直交する軸である。Xm軸は、旋回体3の前後方向における基準軸である。Ym軸は、Zm軸及びXm軸と直交する、旋回体3の幅方向に延びる軸である。前述したグローバル座標系(Xg,Yg,Zg)は、GNSSによって計測される座標系であり、地球に固定された原点を基準とした座標系である。車体座標系は、本実施形態の例には限定されない。車体座標系は、例えば、ブームピン13の中心を車体座標系の原点としてもよい。ブームピン13の中心とは、ブームピン13が延びる方向と直交する平面でブームピン13を切った時の断面の中心、かつブームピン13が延びる方向における中心である。
【0035】
<制御システム及び管理システム>
図3は、実施形態に係る作業機械の制御システム50及び作業機械の管理システム100を示す図である。
図3に示される制御システム50及び管理システム100の装置構成は一例であり、本実施形態の装置構成例に限定されない。例えば、制御システム50に含まれる各種の装置はそれぞれ独立していなくてもよい。すなわち、複数の装置の機能が1つの装置によって実現されてもよい。
【0036】
作業機械の制御システム50(以下、適宜、制御システム50と称する)は、複数の撮像装置30a,30b,30c,30dと、油圧ショベル1を制御するための各種の制御装置とを含む。これらは、
図1に示される油圧ショベル1の車体1B、本実施形態では旋回体3に備えられている。
【0037】
制御システム50が有する各種の制御装置は、
図3に示される検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55及び作業機制御装置56を含む。この他に、制御システム50は、油圧ショベル1の状態及び油圧ショベル1による施工の状況を管理する施工管理装置57を有する。また、制御システム50は、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする表示装置58と、油圧ショベル1の外部に存在する管理施設60の管理装置61、他の油圧ショベル1ot、携帯端末装置64及び管理施設60の少なくとも1つと通信する通信装置25を有する。さらに、制御システム50は、油圧ショベル1の制御に必要な情報を取得するための位置検出装置23及びIMU24を有する。本実施形態において、制御システム50は、少なくとも検出処理装置51及び施工情報生成装置52を有していればよい。
【0038】
実施形態において、検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25は、信号線59に接続されて、相互に通信する。実施形態1において、信号線59を用いた通信の規格はCAN(Controller Area Network)であるが、これに限定されない。以下において、油圧ショベル1というときには、油圧ショベル1が有する検出処理装置51及び施工情報生成装置52等の各種の電子装置を指すこともある。
【0039】
図4は、油圧ショベル1及び管理装置61のハードウェア構成例を示す図である。実施形態において、油圧ショベル1が有する検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25、並びに管理装置61は、
図4に示されるように、処理部PR、記憶部MR及び入出力部IOを有する。処理部PRは、例えば、CPU(Central Processing Unit)のようなプロセッサ及びメモリによって実現される。
【0040】
記憶部MRは、RAM(Random Access Memory)、ROM(Random Access Memory)、フラッシュメモリ、EPROM(Erasable Programmable Random Access Memory)、EEPROM(Electrically Erasable Programmable Random Access Memory)等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも1つが用いられる。
【0041】
入出力部IOは、油圧ショベル1又は管理装置61が、他の機器及び内部の装置とデータ及び信号等を送受信するためのインターフェース回路である。内部の装置には、油圧ショベル1内の信号線59も含まれる。
【0042】
油圧ショベル1と管理装置61とは、それぞれの機能を処理部PRに実現させるためのコンピュータプログラムを記憶部MRに記憶している。油圧ショベル1の処理部PRと管理装置61の処理部PRとは、記憶部MRから前述したコンピュータプログラムを読み出して実行することにより、それぞれの装置の機能を実現する。油圧ショベル1が有する各種の電子装置、機器及び管理装置61は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携してそれぞれの機能を実現するものであってもよい。次に、油圧ショベル1が有する各種の電子装置及び機器について説明する。
【0043】
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された対象の一対の画像に、ステレオ方式における画像処理を施すことにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、検出処理装置51は、同一の対象を少なくとも一対の撮像装置30で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置30及び検出処理装置51は、ステレオ方式により対象を三次元計測するものである。ステレオ方式における画像処理とは、同一の対象を2つの異なる撮像装置30から観測して得られる2つの画像から、その対象までの距離を得る手法である。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。
【0044】
検出処理装置51は、少なくとも一対の撮像装置30によって検出された対象の情報を取得し、取得した対象の情報から対象の三次元形状を示す形状情報を求める。本実施形態では、少なくとも一対の撮像装置30が対象を撮像することにより対象の情報を生成して出力する。対象の情報は、少なくとも一対の撮像装置30によって撮像された施工対象の画像である。検出処理装置51は、対象の画像にステレオ方式による画像処理を施すことにより、形状情報を求め、出力する。
【0045】
本実施形態において、撮像装置30が検出する対象は、施工の対象(以下、適宜、施工対象と称する)及び施工後の対象である。本実施形態において、施工対象及び施工後の対象は、撮像装置30を有する油圧ショベル1、他の油圧ショベル1ot、油圧ショベル以外の作業機械及び作業者のうち少なくとも1つの施工対象及び施工後の対象であればよい。
【0046】
本実施形態において、少なくとも一対の撮像装置30は、対象を検出して対象の情報を出力する対象検出部に相当する。検出処理装置51は、少なくとも一対の撮像装置30によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を出力する形状検出部に相当する。少なくとも一対の撮像装置30の代わりにレーザスキャナのような3Dスキャナが用いられてもよい。3Dスキャナは、対象を検出して対象の三次元形状を示す形状情報を出力するので、前述した対象検出部及び形状検出部の機能を有している。
【0047】
検出処理装置51には、ハブ31及び撮像スイッチ32が接続される。ハブ31は、複数の撮像装置30a,30b,30c,30dが接続されている。ハブ31を用いずに、撮像装置30a,30b,30c,30dと検出処理装置51とが接続されてもよい。撮像装置30a,30b,30c,30dの撮像した結果は、ハブ31を介して検出処理装置51に入力される。検出処理装置51は、ハブ31を介して、撮像装置30a,30b,30c,30dが撮像した結果、本実施形態では対象の画像を取得する。本実施形態において、撮像スイッチ32が操作されると、少なくとも一対の撮像装置30は対象を撮像する。撮像スイッチ32は、
図2に示される運転室4内に設置される。例えば、撮像スイッチ32は、操作装置35の近傍に設置されるが、撮像スイッチ32の設置場所はこれに限定されない。
【0048】
施工情報生成装置52は、油圧ショベル1が施工対象を施工するときに目標とする形状の情報である目標施工情報を求めて、出力する。本実施形態において、施工情報生成装置52は、検出処理装置51が求めた施工対象の形状情報を用いて目標施工情報を求める。本実施形態において、目標施工情報は、施工対象が施工されるときに目標とされる形状を、グローバル座標系における三次元座標で表した位置情報である。目標施工情報は、グローバル座標系以外の座標系における三次元座標の情報であってもよい。本実施形態において、施工情報生成装置52は、施工情報生成部に相当する。
【0049】
少なくとも一対の撮像装置30が取得した施工対象の情報が通信装置25を介して油圧ショベル1の外部に送信され、例えば、管理装置61が三次元座標系における対象の座標を求めてもよい。この場合、管理装置61は、検出処理装置51の機能を実現する。また、管理装置61は、施工情報生成装置52の機能を実現してもよい。通信装置25を介して、油圧ショベル1に搭載された検出処理装置51が求めた施工対象の形状情報が油圧ショベル1の外部に送信され、例えば管理装置61が目標施工情報を求めてもよい。この場合、管理装置61は、施工情報生成装置52の機能を実現する。
【0050】
センサ制御装置53は、油圧ショベル1の状態の情報及び油圧ショベル1の周囲の状態の情報を検出するためのセンサ類が接続される。センサ制御装置53は、センサ類から取得した情報を、他の電子装置及び機器が取り扱うことのできるフォーマットに変換して出力する。油圧ショベル1の状態の情報は、例えば、油圧ショベル1の姿勢の情報及び作業機2の姿勢の情報等である。
図3に示される例では、油圧ショベル1の状態の情報を検出するセンサとして、IMU24、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cがセンサ制御装置53に接続されているが、センサ類はこれらに限定されない。
【0051】
IMU24は、自身に作用する加速度及び角速度、すなわち油圧ショベル1に作用する加速度及び角速度を検出して出力する。油圧ショベル1に作用する加速度及び角速度から、油圧ショベル1の姿勢が分かる。本実施形態において、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12のストローク長さを検出することにより、車体1Bに対するブーム6の回動角と、ブーム6に対するアーム7の回動角と、アーム7に対するバケット8の回動角とを間接的に検出する。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された車体1Bに対するブーム6の回動角、ブーム6に対するアーム7の回動角及びアーム7に対するバケット8の回動角と、作業機2の寸法とから、車体座標系における作業機2の部分の位置が分かる。例えば、作業機2の部分の位置としては、例えば、バケット8の刃先8BTの位置である。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、ストロークセンサに代えてポテンショメータ又は傾斜計であってもよい。
【0052】
機関制御装置54は、油圧ショベル1の動力発生装置である内燃機関27を制御する。内燃機関27は、例えばディーゼルエンジンであるが、これに限定されない。また、油圧ショベル1の動力発生装置は、内燃機関27と発電電動機とを組み合わせたハイブリッド方式の装置であってもよい。内燃機関27は、油圧ポンプ28を駆動する。
【0053】
ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を制御する。本実施形態において、ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を調整するための制御指令の信号を生成する。ポンプ制御装置55は、生成した制御信号を用いて油圧ポンプ28の斜板角を変更することにより、油圧ポンプ28から吐出される作動油の流量を変更する。油圧ポンプ28から吐出された作動油は、コントロールバルブ29に供給される。コントロールバルブ29は、油圧ポンプ28から供給された作動油を、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び油圧モータ5M等の油圧機器に供給して、これらを駆動する。
【0054】
作業機制御装置56は、作業機2を目標施行情報に基づいて制御する。この制御を、以下においては適宜、作業機制御と称する。本実施形態において、作業機制御は、例えば、バケット8の刃先8BTを、目標とする施工面に沿って移動させる制御である。目標とする施工面は、油圧ショベル1の施工時に目標とする形状を表す面であり、目標施工情報で表される。作業機制御装置56は、作業機制御部に相当する。作業機制御装置56は、作業機制御を実行するにあたって、例えば、施工情報生成装置52が生成した目標施工情報を取得し、目標施工情報に含まれる目標施工面にバケット8の刃先8BTが沿うようにコントロールバルブ29を制御して作業機2を制御する。作業機制御は、目標施行情報を用いて作業機2の動作を制御するものであれば、バケット8の刃先8BTを目標とする施工面に沿って移動させる制御に限定されるものではない。例えば、刃先8BTが目標とする施工面を侵食しないようにする制御、及び目標とする施工面に対して予め定められた範囲内を刃先8BTが移動するようにする制御等も、本実施形態の作業機制御に含まれる。油圧ショベル1は、作業機制御装置56を備えずに、後述する方法で得られた目標施工情報と自身の作業機2との位置関係を、表示装置58の画面58Dに施工のガイダンス画像として表示可能であってもよい。
【0055】
施工管理装置57は、例えば、検出処理装置51が求めた形状情報又は油圧ショベル1が施工対象を施工した施工結果(形状情報)又は油圧ショベル1がこれから施工しようとする施工対象の現況地形を示す形状情報を収集し、通信装置25を介して管理装置61又は携帯端末装置64に送信する。施工管理装置57は、油圧ショベル1の外部に設けられた、例えば管理装置61に設けられてもよい。この場合、施工管理装置57は、油圧ショベル1から通信装置25を介して形状情報又は施工結果を取得する。
【0056】
施工結果は、例えば、少なくとも一対の撮像装置30が施工後の施工対象を撮像し、検出処理装置51が撮像結果にステレオ方式による画像処理を施すことによって求められた形状情報である。以下、施工しようとする施工対象の現況地形を示す形状情報を、適宜、現況地形情報と称する。また、形状情報は、施工結果を示す形状情報である場合と、現況地形を示す形状情報である場合とがある。現況地形情報とは、例えば、油圧ショベル1、他の油圧ショベル1ot、他の作業機械又は作業者等が施工しようとする施工対象が少なくとも一対の撮像装置30によって撮像され、検出処理装置51によって求められた形状情報である。
【0057】
施工管理装置57は、例えば、一日の作業が終了した後に施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したり、一日の作業のうち複数回施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したりする。施工管理装置57は、例えば朝の作業前に、施工前の形状情報を管理装置61又は携帯端末装置64に送信してもよい。本実施形態では、施工管理装置57は、一日の作業のうち、例えば、正午と作業終了時との2回の施工結果を収集し、管理装置61又は携帯端末装置64に送信する。
【0058】
表示装置58は、液晶表示パネルのようなディスプレイの画面58Dに、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする他、本実施形態においては、前述した作業機制御が実行される場合に作業機2の位置を求める。表示装置58が求める刃先8BTの位置は、本実施形態はバケット8の刃先8BTの位置である。表示装置58は、位置検出装置23が検出したアンテナ21,22の現在位置と、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された回動角と、記憶部MRに記憶された作業機2の寸法と、IMU24の出力データとを取得し、これらを用いてバケット8の刃先8BTの位置を求める。本実施形態では、表示装置58がバケット8の刃先8BTの位置を求めているが、バケット8の刃先8BTの位置は表示装置58以外の装置が求めてもよい。
【0059】
通信装置25は、管理施設60の管理装置61、他の油圧ショベル1ot及び携帯端末装置64の少なくとも1つと通信回線NTWを介して通信して、互いに情報をやり取りする。本実施形態において、通信装置25は無線通信によって通信する。このため、通信装置25は、無線通信用のアンテナ25Aを有する。携帯端末装置64は、例えば、油圧ショベル1の作業を管理する管理者が所持しているものであるが、これに限定されない。通信装置25は、管理施設60の管理装置61、他の油圧ショベル1ot及び携帯端末装置64の少なくとも1つと有線通信を介して通信して、互いに情報をやり取りするようにしてもよい。
【0060】
作業機械の管理システム100は、管理施設60の管理装置61と、制御システム50を有する油圧ショベル1とを含む。以下において、作業機械の管理システム100を適宜、管理システム100と称する。管理システム100は、さらに携帯端末装置64を含んでいてもよい。管理システム100に含まれる、制御システム50を有する油圧ショベル1は単数でもよいし、複数でもよい。管理施設60は、管理装置61と、通信装置62とを有する。管理装置61は、通信装置62及び通信回線NTWを介して、少なくとも油圧ショベル1と通信する。管理装置61は、携帯端末装置64と通信したり、他の油圧ショベル1otと通信したりしてもよい。油圧ショベル1と、他の油圧ショベル1ot及び作業機械の少なくとも一方とは、直接、車車間で無線通信できるように無線通信機器を搭載してもよい。そして、油圧ショベル1、他の油圧ショベル1ot及び作業機械の少なくとも1つは、管理施設60の管理装置61等で実行される処理を実行できるような機器又は電子装置を搭載してもよい。
【0061】
管理装置61は、油圧ショベル1から施工結果又は現況地形情報を受け取り、施工の進捗状況を管理する。管理装置61は、油圧ショベル1から形状情報を受け取り、これを用いて目標施工情報を生成して油圧ショベル1に送信してもよい。管理装置61は、施工対象の設計情報から目標施工情報を生成し、油圧ショベル1に送信してもよい。管理装置61は、油圧ショベル1から受け取った施工結果を加工して、施工の進捗情報を動画にして表示装置に表示したり、動画の情報を油圧ショベル1又は携帯端末装置64に送信して油圧ショベル1の表示装置58に表示させたり携帯端末装置64の画面に表示させたりしてもよい。前述したように、管理装置61で実行される目標施工情報の生成は、油圧ショベル1、他の油圧ショベル1ot及び他の作業機械の少なくとも1つで実行されてもよい。
【0062】
<施工対象の施工>
実施形態1において、制御システム50は、
図2に示される複数の撮像装置30のうち少なくとも2つによって施工対象を撮像することによって、施工対象の形状を示す情報である形状情報を得る。そして、制御システム50は、得られた形状情報を用いて目標施工情報を求める。油圧ショベル1が施工対象を施工する場合、制御システム50は、求めた目標施工情報に沿うように、作業機2を制御する。
【0063】
図5は、実施形態1に係る油圧ショベル1が施工する施工現場の一例を示す図である。実施形態1において、油圧ショベル1の施工対象OBPは、地面である。本実施形態において、施工対象OBPは、施工現場の少なくとも一部の領域である。本実施形態において油圧ショベル1が施工対象OBPに施す施工は、
図5に示されるように、施工対象OBPの表面OBSから予め定められた深さΔDPだけ、表土を削り取る作業である。施工対象OBPのうち、施工が実行された部分は、施工実行部分OBFとなる。施工実行部分OBFは、施工計画によっては、施工が必要でない部分を示す場合もある。施工実行部分OBFは、施工対象OBPの少なくとも一部である。次に、制御システム50が求める形状情報を説明する。
【0064】
<対象の撮像及び形状情報の生成>
図6は、実施形態1に係る作業機械の制御システムが求める形状情報について説明するための図である。この場合、油圧ショベル1がこれから施工しようとする部分である施工対象OBPは油圧ショベル1の前方にある。形状情報は、施工対象OBPから求められる。制御システム50は、施工対象OBPから形状情報を生成する場合、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。本実施形態では、油圧ショベル1のオペレータが、
図3に示される撮像スイッチ32を操作して撮像指令を検出処理装置51に入力すると、検出処理装置51は少なくとも一対の撮像装置30に施工対象OBPを撮像させる。
【0065】
制御システム50の検出処理装置51は、少なくとも一対の撮像装置30が撮像した施工対象OBPの画像にステレオ方式による画像処理を施して、施工対象OBPの位置情報、本実施形態では三次元位置情報を求める。検出処理装置51が求めた施工対象OBPの位置情報は、撮像装置30の座標系における情報なので、グローバル座標系における位置情報に変換される。グローバル座標系における施工対象の位置情報が形状情報である。本実施形態において、形状情報は、グローバル座標系における施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)を少なくとも1つ含む情報である。位置Pr(Xg,Yg,Zg)は、グローバル座標系における座標である。
【0066】
図7は、油圧ショベル1が重力の作用方向Gに対して傾斜している状態を示す図である。
図8は、油圧ショベル1が重力の作用方向Gに対して傾斜している状態で、少なくとも一対の撮像装置30で対象Ojが撮像された画像の例を示す図である。傾斜面GDに油圧ショベル1が設置された状態で少なくとも一対の撮像装置30が対象Ojを撮像すると、撮像装置座標系(xs,ys,zs)は、重力の作用方向Gに対して傾く。この状態で得られた画像は、
図8に示されるように対象Ojが傾斜するので、この画像にステレオ方式による画像処理が施されて形状情報が求められると、形状情報は傾きの影響を受ける可能性がある。制御システム50は、油圧ショベル1の姿勢をIMU24によって検出し、検出した油圧ショベル1の姿勢に関する情報を用いて形状情報を求める。
【0067】
図9は、実施形態1に係る制御システム50が形状情報を求めるための処理例を説明するための図である。
図10は、実施形態1に係る制御システム50が求めた形状情報のデータファイルの一例を示す図である。少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置Ps(xs,ys,zs)は、撮像装置座標系(xs,ys,zs)の座標である。形状情報は、グローバル座標系(Xg,Yg,Zg)における座標なので、検出処理装置51は、位置Ps(xs,ys,zs)をグローバル座標系(Xg,Yg,Zg)の位置Pg(xs,ys,zs)に変換する。位置Pg(xs,ys,zs)が、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)、すなわち形状情報である。
【0068】
位置Ps(xs,ys,zs)は、式(1)によって撮像装置座標系(xs,ys,zs)から車体座標系(Xm,Ym,Zm)の位置Pm(xm、ym、zm)に変換される。車体座標系(Xm,Ym,Zm)の位置Pm(xm、ym、zm)は、式(2)によってグローバル座標系(Xg,Yg,Zg)の位置Pg(xs,ys,zs)に変換される。
Pm=R・Ps+T・・・(1)
Pg=Rimu・(Pm+Toff)+Tg・・・(2)
【0074】
式(1)中のRは式(3)で表される回転行列、Tは式(4)の行列で表される並進ベクトルである。式(2)のRimuは式(5)で表される回転行列である。Toffは式(6)の行列で表される並進ベクトルである。Toffは、車体座標系の原点からアンテナ21,22のいずれか一方までの距離のオフセット値を表す。Tgは式(7)の行列で表される、アンテナ21,22のいずれか一方の並進ベクトルである。回転行列R中の角度α、角度β及び角度γは、車体座標系に対する撮像装置座標系の傾きを表す。角度α、角度β及び角度γは、例えば、複数の撮像装置30が油圧ショベル1に取り付けられた後に予め求められて、検出処理装置51の記憶部に記憶される。行列Tのx
0,y
0,z
0は撮像装置座標系の原点と車体座標系の原点との距離を表す。x
0,y
0,z
0は、例えば、複数の撮像装置30が油圧ショベル1に取り付けられた後に計測されたり、油圧ショベル1の設計情報から予め求められたりして、検出処理装置51の記憶部に記憶される。
【0075】
回転行列Rimu中の角度θr、角度θp及び角度θyは、油圧ショベル1のロール角、ピッチ角及びヨー角(又は方位角)である。角度θr、角度θp及び角度θyは、油圧ショベル1の姿勢を表す。角度θr、角度θp及び角度θyは、
図3に示されるIMU24が求めるか、IMU24の検出値から検出処理装置51が求めるものである。角度θr、角度θp及び角度θyは、油圧ショベル1の姿勢が変化することによって変化する。本実施形態においては、アンテナ21,22及び位置検出装置23によって構成されたGPSコンパスによって得られた方位角(方位データ)が、ヨー角θyに代えて用いられてもよい。
【0076】
行列Toffのx
1,y
1,z
1は、車体座標系の原点と、
図1及び
図3に示されるアンテナ21,22の設置位置までの距離を表す。x
1,y
1,z
1は、例えば、アンテナ21,22が油圧ショベル1に取り付けられた後に計測されたり、油圧ショベル1の設計情報から予め求められたりして、検出処理装置51の記憶部に記憶される。
【0077】
行列Tgのx
2,y
2,z
2は、
図1及び
図3に示されるアンテナ21,22及び位置検出装置23が検出したグローバル座標系におけるアンテナ21,22の位置を表す。x
1,y
1,z
1は、油圧ショベル1の位置、より具体的にはアンテナ21,22の位置が変化することによって変化する。
【0078】
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置Ps(xs,ys,zs)を、式(1)から式(7)を用いてグローバル座標系における位置Pg(xg,yg,zg)に変換する。このとき、検出処理装置51は、IMU24から角度θr、角度θp及び角度θyを取得し、位置検出装置23からアンテナ21,22のグローバル座標系における位置を取得して、前述した変換に用いる。前述したように、検出処理装置51は、角度θyの代わりに、2個のアンテナ21,22の相対位置を用いて位置検出装置23が算出した方位角θdを用いてもよい。検出処理装置51は、変換後の位置Pg(xg,yg,zg)を、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)、すなわち形状情報とする。本実施形態においては、形状情報の一例として施工対象OBPの表面OBSの位置Prを示しているが、形状情報はこれに限定されない。例えば、形状情報は、施工後における施工対象OBPの表面の位置及び施工途中における施工対象OBPの表面の位置であってもよい。
【0079】
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された施工対象OBPの領域全体にわたって、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)を求める。本実施形態において、検出処理装置51は、所定の単位毎に、
図10に示されるように、求めた位置Pr(Xg,Yg,Zg)のデータファイルEMDを生成する。
図10に示されるデータファイルEMDは、n個(nは1以上の整数)の位置Pr(Xg,Yg,Zg)の集合である。データファイルEMDも、本実施形態における形状情報に該当する。
【0080】
所定の単位は、例えば、一回の撮像によって得られた施工対象OBPの範囲、及び予め定めた施工対象OBPの範囲が挙げられる。予め定めた施工対象OBPの範囲は、一回の撮像によって得られた範囲の一部であってもよいし、一回の撮像によって得られた範囲を超える範囲であってもよい。後者の場合には複数回の撮像によって得られた範囲が対象となる。
【0081】
本実施形態において、検出処理装置51はデータファイルEMDを生成したら、自身の記憶部に記憶させる。そして、検出処理装置51は、データファイルEMDの位置Prを用いて、目標施工情報を生成する。この他にも、施工管理装置57は、検出処理装置51が生成したデータファイルEMDを、通信装置25から
図3に示される管理装置61、携帯端末装置64及び他の油圧ショベル1otの少なくとも一つに送信してもよい。次に、目標施工情報について説明する。
【0082】
<目標施工情報>
図11、
図12及び
図13は、実施形態1に係る作業機械の制御システム50が生成する目標施工情報を説明するための図である。本実施形態において、
図3に示される施工情報生成装置52は、検出処理装置51によって生成された形状情報を用いて、目標施工情報、すなわち施工対象OBPが施工される際に目標となる形状の位置情報を求める。本実施形態において、施工情報生成装置52は、
図11及び
図12に示されるように、施工情報生成装置52は、形状情報に含まれる施工対象OBPの表面OBSの位置を示す情報を加工することによって、表面OBSの位置を変更して、目標施工情報を得る。
【0083】
図11に示される例は、施工対象OBPの表面OBSから距離ΔDPtの範囲を除去(掘削)する施工例を示している。この場合、施工情報生成装置52は、施工対象OBPの表面OBSの位置Pra(Xga,Yga,Zga)を、距離ΔDPtだけ低くした位置Pta(Xta,Yta,Zta)を求める。本実施形態において、施工情報生成装置52は、位置Pra(Xga,Yga,Zga)のZgaをΔDPtだけ減じることにより、位置Pra(Xga,Yga,Zga)を、距離ΔDPtだけ低い位置に移動させる。したがって、位置Pta(Xta,Yta,Zta)は、位置Pta(Xga,Yga,Zga−ΔDPt)となる。このようにして得られた位置Pta(Xta,Yta,Zta)が、目標施工情報となる。施工情報生成装置52は、
図3に示される検出処理装置51から形状情報、本実施形態ではデータファイルEMDを取得し、データファイルEMDに含まれるすべての位置Pr(Xg,Yg,Zg)に対してZgの値からΔDPtだけ減算することにより、目標施工情報を生成する。
【0084】
図12に示される例は、施工対象OBPの表面OBSから距離ΔADtの範囲に、例えば土、砂又は岩石のような物体を盛る施工例を示している。この場合、施工情報生成装置52は、施工対象OBPの表面OBSの位置Prb(Xgb,Ygb,Zgb)を、距離ΔADtだけ高くした位置Ptb(Xtb,Ytb,Ztb)を求める。本実施形態において、施工情報生成装置52は、位置Prb(Xgb,Ygb,Zgb)のZgにΔADtを加算することにより、位置Prb(Xgb,Ygb,Zgb)を、距離ΔADtだけ高い位置に移動させる。したがって、位置Ptb(Xtb,Ytb,Ztb)は、位置Ptb(Xgb,Ygb,Zgb+ΔADt)となる。このようにして得られた位置Ptb(Xtb,Ytb,Ztb)が、目標施工情報となる。施工情報生成装置52は、
図3に示される検出処理装置51から形状情報、本実施形態ではデータファイルEMDを取得し、データファイルEMDに含まれるすべての位置Pr(Xg,Yg,Zg)に対してZgの値にΔADtを加算することにより、目標施工情報を生成する。
【0085】
このように、
図11及び
図12に示される施工は、施工対象OBPの表面OBSを一定の深さ(ΔDpt)又は一定の高さ(ΔADt)に変更(オフセット)する施工である。この他にも、例えば、施工対象OBPの表面OBSに所定の傾斜を有する勾配を設けるような施工に、制御システム50が適用されてもよい。このような施工は、例えば、施工後の地形が、水はけがよい地形になるように施工する場合に行われる。少なくとも一対の撮像装置30によって撮像された画像に基づき検出処理装置51が形状情報を生成した後、施工情報生成装置52は、形状情報が示す表面OBSの位置のZg座標について所定の距離を減算又は加算して、表面OBSに対し所定の勾配が設けられた目標施工情報を生成する。この場合も、施工情報生成装置52は、形状情報に含まれる施工対象OBPの表面OBSの位置を示す情報を加工することによって、表面OBSの位置を変更して、目標施工情報を得ることになる。
【0086】
施工現場が広い場合、
図13に示されるように、少なくとも一対の撮像装置30が撮像する施工対象OBPa,OBPbは、施工現場全体の施工対象OBPtの一部となることがある。施工対象OBPa,OBPbの表面にある位置Pra,Prbから得られた位置Pta,Ptbを目標施工情報とする範囲OBPta,OBPtbも、施工現場全体の一部の情報となる。施工管理装置57は、形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求めることができる。
【0087】
施工管理装置57が、油圧ショベル1の外部に設けられた、例えば管理装置61に設けられている場合、施工管理装置57は、油圧ショベル1から通信装置25を介して形状情報を取得する。施工管理装置57は、取得した形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求める。この場合、施工管理装置57は、油圧ショベル1から形状情報を取得して目標施工情報を生成する。施工管理装置57は、形状情報及び目標施工情報を油圧ショベル1から取得して、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求めてもよい。
【0088】
施工情報生成装置52は、目標施工情報を生成したら、自身の記憶部に記憶させる。施工情報生成装置52の記憶部に記憶された目標施工情報は、作業機制御装置56が作業機制御を実行する際の目標値として使用される。本実施形態において、作業機制御装置56は、作業機2、より具体的にはバケット8の刃先8BTが、目標施工情報に沿うように、油圧ショベル1の作業機2を制御する。すなわち、作業機制御装置56は、バケット8の刃先8BTを、目標施工情報によって表された、施工対象が施工されるときに目標とされる形状に沿って移動させる。施工管理装置57は、施工情報生成装置52が生成した目標施工情報を、通信装置25から
図3に示される管理装置61、携帯端末装置64及び他の油圧ショベル1otの少なくとも一つに送信してもよい。次に、本実施形態に係る施工方法の処理例を説明する。
【0089】
<実施形態1に係る施工方法の処理例>
図14は、実施形態1に係る施工方法の処理例を示すフローチャートである。制御システム50を有する油圧ショベル1は、本実施形態に係る施工方法を実行する。より詳細には、制御システム50は、施工対象OBPの形状情報を求め、得られた形状情報から目標施工情報を生成する。そして、制御システム50は、得られた目標施工情報に沿うように作業機2を制御する。
【0090】
図3に示される撮像スイッチ32がオペレータによって操作されると、撮像スイッチ32から制御システム50に、施工対象OBPを撮像装置30に撮像させるための撮像指令が検出処理装置51に入力される。検出処理装置51は、撮像指令が入力されると、ステップS101において、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。ステップS102において、検出処理装置51は、少なくとも一対の撮像装置30が撮像した画像にステレオ方式による画像処理を施して施工対象OBPの位置(三次元位置)を求め、得られた施工対象OBPの位置を用いて施工対象OBPの形状情報を生成する。形状情報を生成する手法は、前述した通りである。
【0091】
ステップS103において、施工情報生成装置52は、検出処理装置51から形状情報を取得し、目標施工情報を生成する。ステップS104において、施工情報生成装置52は、生成した目標施工情報を自身の記憶部に記憶させる。目標施工情報を生成する手法は、前述した通りである。ステップS105において、油圧ショベル1は、施工対象OBPを施工する。このとき、作業機制御装置56は、作業機制御を実行する。すなわち、作業機制御装置56は、目標施工情報によって表された、施工対象OBPの施工時において目標とされる形状に沿って、バケット8の刃先8BTを移動させる。
【0092】
本実施形態では、油圧ショベル1が目標施工情報に基づき作業機制御を実行して施工する。施工現場では、作業者がスコップ等の作業具を使って手作業で掘削等をすることもある。このような場合、作業者は、油圧ショベル1から送信され、携帯端末装置64に取得された目標施工情報を確認して掘削等の施工を行ってもよい。
【0093】
施工が終了したら、ステップS106において、検出処理装置51は施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。次に、ステップS107において、施工管理装置57は、検出処理装置51が生成した施工後の形状情報を管理装置61に送信する。施工管理装置57は、施工後の形状情報を
図3に示される携帯端末装置64に送信してもよい。施工後の形状情報を取得した管理装置61は、
図3に示される携帯端末装置64に施工後の形状情報を送信してもよい。
図14に示される施工方法の処理例を示すフローチャートにおいて、ステップS106及びステップS107は実行されなくてもよい。
【0094】
本実施形態においては、例えば、少なくとも一対の撮像装置30によって施工前の形状情報又は施工後の形状情報が得られた日時が図示しない計時装置から取得される。取得された日時を示す情報は、施工後の形状情報に付与される。また、少なくとも一対の撮像装置30によって施工前の形状情報又は施工後の形状情報が得られた場所を示す位置情報が位置検出装置23から取得され、取得された位置情報が施工後の形状情報に付与される。
【0095】
このようにすることで、管理装置61及び携帯端末装置64の少なくとも一方は、制御システム50から送信された、所定の施工現場について施工前後の形状情報を表示装置の画面に表示させることにより、施工の進捗状況を表示させることができる。また、管理装置61及び携帯端末装置64の少なくとも一方は、所定の施工現場の形状情報を時系列に並べて表示装置の画面に表示させたり、コマ送りで表示させたりすることにより、日々の施工の進捗状況が分かりやすく表示される。
【0096】
本実施形態において、施工管理装置57は、施工後の形状情報に加え、目標施工情報を管理装置61及び携帯端末装置64の少なくとも一方に送信してもよい。施工後の形状情報及び目標施工情報が、油圧ショベル1から管理装置61のみに送信される場合、管理装置61は、施工後の形状情報及び目標施工情報を携帯端末装置64に送信してもよい。このようにすることで、管理装置61及び携帯端末装置64の少なくとも一方は、施工後の形状情報と目標施工情報とを表示装置の画面に並べて表示したり、重ねて表示したりすることができるので、管理者等は、施工の進捗状況を迅速かつ容易に確認できる。
【0097】
制御システム50は、油圧ショベル1に設けられた少なくとも一対の撮像装置30を用いて施工対象を検出し、検出結果である少なくとも一対の画像から施工対象の形状情報を求め、得られた形状情報から対象を施工するときに目標とする形状の情報である形状情報を求める。したがって、制御システム50は、作業者が施工現場において、測量器等を使用して施工対象を測量して対象の形状を求めていた作業を不要にさせ、また、求められた施工対象に基づく目標とする形状の生成作業、つまり目標とする形状の情報を設計する作業を不要にさせる。その結果、制御システム50は、施工対象の現況地形を測量する手間及び施工対象の施工時に目標となる形状を求める際の手間を低減することができる。制御システム50は、作業者による、測量器等を使用した測量が困難である場所も、撮像装置30が撮像できる場所であれば目標施工情報を生成できるので、より効率的に作業機械による施工及び作業者の手による掘削等の施工が実現できる。また、制御システム50によって施工対象の測量ができるため、施工現場で測量を行う作業者の負担が軽減される。
【0098】
例えば、CAD(Computer Aided Design)等の設計ツールで作成された、施工対象の目標施工情報が存在する場合、作業機械によって施工を行うために、その目標施工情報が示す場所、すなわちこれから施工しようとする場所に作業機械を移動させることが必要になる場合がある。制御システム50を有する油圧ショベル1は、少なくとも一対の撮像装置30を有し、これから施工する施工対象を少なくとも一対の撮像装置30によって撮像し、撮像結果に基づいて目標施工情報を生成する。このように、油圧ショベル1は、測量器として機能するとともに設計ツールとして機能する。つまり、施工する場所で、施工対象の目標施工情報を生成できるので、これから施工しようとする場所に移動しなくてもよい。その結果、移動時間及び設計期間が短縮できるので、作業効率が向上する。
【0099】
施工時において、これから施工しようとする施工対象の形状は、施工計画を立案し、目標施工情報を生成したときと比較して変化していることがある。例えば、土盛りをする計画の施工対象が土砂で埋まってしまった場合、土盛りではなく土砂の除去が必要になる。また、掘削をする計画の施工対象の土が雨等によって流されてしまった場合、土盛りをする必要がある。この場合、施工計画を立案したときの目標施工情報では不適切となる可能性がある。制御システム50は、油圧ショベル1が施工対象を施工する前に、少なくとも一対の撮像装置30によって施工対象を撮像し、撮像結果に基づいて目標施工情報を生成する。すなわち、制御システム50は、施工直前の施工対象の形状に基づいて、適切な目標施工情報を生成できる。
【0100】
前述した作業機制御は、油圧ショベル1のオペレータの技量が未熟であっても高度な作業を実現することができるが、制御システム50が実行する作業機制御は、目標施工情報がないと実現できない。制御システム50は、目標施工情報が存在しない場合であっても、これから施工する施工対象を撮像し、撮像結果に基づいて目標施工情報を生成するので、予め目標施工情報を準備しなくても作業機制御による施工が実現できる。
【0101】
本実施形態において、制御システム50は、少なくとも一対の撮像装置30を用いて施工対象OBPの形状情報を得ているが、形状情報は他の方法によって得てもよい。例えば、制御システム50は、油圧ショベル1の作業機2が有するバケット8の一部(刃先8BT)を施工対象OBPに接触させ、接触させたバケット8の一部の位置を作業機2の姿勢及び寸法から求めることで、形状情報を得てもよい。
【0102】
本実施形態で開示した構成は、以下の実施形態においても適宜適用することができる。
【0103】
実施形態2.
実施形態2は、複数の作業機械が作業する施工現場において、制御システム50を有する油圧ショベル1が施工対象OBPの情報を取得して形状情報及び目標施工情報を生成する。そして、油圧ショベル1は、生成した目標施工情報を他の作業機械に送信する。油圧ショベル1及び他の作業機械は、油圧ショベル1によって生成された目標施工情報を用いて施工対象OBPを施工する。他の作業機械は、
図3に示される他の油圧ショベル1otの他、例えば、ブルドーザー、ホイールローダー及びグレーダーであってもよい。他の作業機械は、制御システム50を備えていてもよいし、備えていなくてもよいが、少なくとも通信装置を備えている。
【0104】
図15は、実施形態2に係る施工方法の処理例を示すフローチャートである。
図3に示される撮像スイッチ32がオペレータによって操作されて撮像指令が検出処理装置51に入力されると、ステップS201において、検出処理装置51は、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。少なくとも一対の撮像装置30が撮像する範囲は、油圧ショベル1が施工する範囲だけでなく、施工現場で作業する他の作業機械、例えば
図3に示される他の油圧ショベル1otが施工する範囲も撮像する。油圧ショベル1は、他の作業機械が施工する範囲を撮像するために施工現場を移動してもよい。
【0105】
ステップS202において、検出処理装置51は、少なくとも一対の撮像装置30が撮像した画像にステレオ方式による画像処理を施して施工対象OBPの位置(三次元位置)を求め、得られた施工対象OBPの位置を用いて施工対象OBPの形状情報を生成する。形状情報を生成する手法は、実施形態1で説明した通りである。
【0106】
ステップS203において、施工情報生成装置52は、検出処理装置51から形状情報を取得し、目標施工情報を生成する。目標施工情報を生成する手法は、実施形態1で説明した通りである。施工情報生成装置52は、生成した目標施工情報を自身の記憶部に記憶させる。この場合、生成されたすべての目標施工情報、すなわち油圧ショベル1の施工対象OBPの目標施工情報及び他の作業機械の施工対象OBPの目標施工情報が施工情報生成装置52の記憶部に記憶される。ステップS203において、制御システム50は、生成された目標施工情報を記憶部に記憶せず、次のステップS204を実行するため、目標施工情報が生成されたら直ちに他の作業機械に送信するようにしてもよい。
【0107】
ステップS204において、施工情報生成装置52又は施工管理装置57は、
図3に示される通信装置25を介して他の作業機械に目標施工情報を送信する。ステップS205Aにおいて、油圧ショベル1は、生成した目標施工情報を用いて施工対象OBPを施工する。ステップS205Bにおいて、他の作業機械は、油圧ショベル1から取得した目標施工情報を用いて施工対象OBPを施工する。油圧ショベル1及び他の作業機械は、作業機制御装置56を備えており、目標施工情報に沿って作業機制御を実行可能である。油圧ショベル1及び他の作業機械は、ステップS205A及びステップS205Bにおいて、目標施工情報によって表された、施工対象OBPの施工時において目標とされる形状に沿って、バケット8の刃先8BT及び作業機2を移動させる。
【0108】
他の作業機械は、作業機制御装置56を備えずに、目標施工情報と自身の作業機2との位置関係が表示装置58の画面58Dに施工のガイダンス画像として表示可能なものであってもよい。この場合、他の作業機械のオペレータは、画面58Dを見ながら目標施工情報が示す形状に沿って作業機2を操作する。
【0109】
施工が終了したら、ステップS206において、検出処理装置51は施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。このとき、検出処理装置51は、他の作業機械が施工した施工対象OBPも撮像して形状情報を生成する。油圧ショベル1は、他の作業機械が施工した範囲を撮像するために施工現場を移動したり、旋回体3を旋回させたりしてもよい。
【0110】
次に、ステップS207において、施工管理装置57は、検出処理装置51が生成した施工後の形状情報を管理装置61に送信する。施工管理装置57が施工後の形状情報を
図3に示される携帯端末装置64に送信してもよいこと、施工後の形状情報に加え、目標施工情報を管理装置61及び携帯端末装置64の少なくとも一方に送信してもよいこと等は、実施形態1と同様である。本実施形態において、
図15に示された施工方法の処理例を示すフローチャートにおいて、ステップS206及びステップS207は実行されなくてもよい。
【0111】
制御システム50を有している作業機械、本実施形態では油圧ショベル1が、施工現場に存在する他の作業機械の施工対象の目標施工情報を生成する。このため、制御システム50を有している作業機械が施工現場に少なくとも1台存在すれば、この作業機械が施工現場の目標施工情報を生成し、他の作業機械は作成された目標施工情報を利用して施工することができる。このため、例えば、目標施工情報が存在しない施工現場を複数の作業機械で施工するときの効率が向上する。
【0112】
本実施形態で開示した構成は、以下の実施形態においても適宜適用することができる。
【0113】
実施形態3.
実施形態3は、油圧ショベル1が作業する施工現場において、制御システム50を有する油圧ショベル1が施工対象OBPの情報を取得して形状情報を生成し、生成した形状情報を、
図3に示される管理施設60の管理装置61に送信する。管理装置61は、油圧ショベル1から取得した形状情報を用いて目標施工情報を生成して、油圧ショベル1に送信する。油圧ショベル1は、管理装置61が生成した目標施工情報を用いて施工対象OBPを施工する。本実施形態は、管理装置61が目標施工情報を生成することにより、油圧ショベル1の制御システム50、より詳細には施工情報生成装置52の負荷を低減する。
【0114】
図16は、実施形態3に係る施工方法の処理例を示すフローチャートである。
図3に示される撮像スイッチ32がオペレータによって操作されて撮像指令が検出処理装置51に入力されると、ステップS301において、検出処理装置51は、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。少なくとも一対の撮像装置30が撮像する範囲は、油圧ショベル1が施工する範囲だけでなく、施工現場で作業する他の作業機械、例えば
図3に示される他の油圧ショベル1otが施工する範囲も撮像する。油圧ショベル1は、他の作業機械が施工する範囲を撮像するために施工現場を移動してもよい。
【0115】
ステップS302において、検出処理装置51は、少なくとも一対の撮像装置30が撮像した画像にステレオ方式による画像処理を施して施工対象OBPの位置(三次元位置)を求め、得られた施工対象OBPの位置を用いて施工対象OBPの形状情報を生成する。形状情報を生成する手法は、実施形態1で説明した通りである。
【0116】
ステップS303において、検出処理装置51は、
図3に示される通信装置25を介して管理施設60の管理装置61に形状情報を送信する。ステップS304において、管理装置61は、油圧ショベル1から取得した形状情報から目標施工情報を生成する。生成された目標施工情報は、管理装置61の記憶部に記憶される。目標施工情報を生成する手法は、実施形態1で説明した通りである。
【0117】
ステップS305において、管理装置61は、管理施設60の通信装置62を介して、生成された目標施工情報を、油圧ショベル1及び他の作業機械に送信する。ステップS306Aにおいて、油圧ショベル1は、管理装置61から取得した目標施工情報を用いて施工対象OBPを施工する。ステップS306Bにおいて、他の作業機械は管理装置61から取得した目標施工情報を用いて施工対象OBPを施工する。ステップS306A及びステップS306Bにおいて、油圧ショベル1及び他の作業機械は、目標施工情報によって表された、施工対象OBPの施工時において目標とされる形状に沿って、バケット8の刃先8BT及び作業機2を移動させる。
【0118】
油圧ショベル1及び他の作業機械の少なくとも一方は、作業機制御装置56を備えずに、目標施工情報と自身の作業機2との位置関係が表示装置58の画面58Dに施工のガイダンス画像として表示可能なものであってもよい。実施形態2で説明したように、オペレータは、画面58Dを見ながら目標施工情報が示す形状に沿って作業機2を操作する。
【0119】
施工が終了したら、ステップS307において、油圧ショベル1の検出処理装置51は、施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。このとき、検出処理装置51は、他の作業機械が施工した施工対象OBPも撮像して形状情報を生成する。次に、ステップS308において、施工管理装置57は、検出処理装置51が生成した施工後の形状情報を管理装置61に送信する。施工後の形状情報を取得した管理装置61は、ステップS309において記憶部に施工後の形状情報を記憶させる。管理装置61は、
図3に示される携帯端末装置64に施工後の形状情報を送信してもよい。
【0120】
第1変形例.
図17は、実施形態3の第1変形例に係る施工方法の処理例を示すフローチャートである。第1変形例において、管理装置61が生成した目標施工情報は、制御システム50を有する油圧ショベル1を介して他の作業機械に送信される点が前述した実施形態3とは異なる。ステップS401からステップS405は、実施形態3のステップS301からステップS305と同様なので説明を省略する。ステップS406において、管理装置61から目標施工情報を取得した油圧ショベル1の制御システム50の施工管理装置57は、自身の記憶部に目標施工情報を記憶させるとともに、通信装置25を介して他の作業機械に目標施工情報を送信する。
【0121】
ステップS407において、油圧ショベル1は、管理装置61から取得した目標施工情報を用いて施工対象OBPを施工する。ステップS408において、他の作業機械は、油圧ショベル1を経由して、管理装置61から取得した目標施工情報を用いて施工対象OBPを施工する。ステップS407及びステップS408の施工は、実施形態3のステップS306A及びステップS306Bの施工と同様である。
【0122】
施工が終了したら、ステップS409において、油圧ショベル1の検出処理装置51は、施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。このとき、検出処理装置51は、他の作業機械が施工した施工対象OBPも撮像して形状情報を生成する。次に、ステップS410において、施工管理装置57は、検出処理装置51が生成した施工後の形状情報を管理装置61に送信する。施工後の形状情報を取得した管理装置61は、ステップS411において記憶部に施工後の形状情報を記憶させる。管理装置61は、
図3に示される携帯端末装置64に施工後の形状情報を送信してもよい。
【0123】
第2変形例.
第2変形例は、制御システム50を有する油圧ショベル1が複数台、施工現場で施工する場合の施工方法である。第2変形例において、それぞれの油圧ショベル1が生成した形状情報が管理装置61に送信され、管理装置61はそれぞれの油圧ショベル1から取得した目標施工情報を生成し、それぞれの油圧ショベル1に送信する。それぞれの油圧ショベル1は、管理装置61から取得した目標施工情報を用いて施工する。
【0124】
図18は、実施形態3の第2変形例に係る施工方法の処理例を示すフローチャートである。
図19及び
図20は、実施形態3の第2変形例に係る施工方法を説明するための図である。次の説明において、2台の油圧ショベル1が施工現場で施工する場合を想定する。便宜上、1台の油圧ショベル1を油圧ショベル1aと表記し、もう1台の油圧ショベル1を油圧ショベル1bと表記する。本変形例において、施工現場で施工する油圧ショベル1の台数は2台に限定されるものではない。
【0125】
ステップS501AからステップS503A及びステップS501BからステップS503Bは、実施形態3のステップS301からステップS303と同様なので説明を省略する。ステップS504において、管理装置61は、油圧ショベル1から取得した形状情報から目標施工情報を生成する。生成された目標施工情報は、管理装置61の記憶部に記憶される。目標施工情報を生成する手法は、実施形態1で説明した通りである。
図19に示されるように、油圧ショベル1a,1bから取得された形状情報SIa、SIbは、施工現場全体の施工対象OBPtの一部である。管理装置61は、形状情報SIa,SIbに対応する目標施工情報TIa,TIbを生成する。ステップS505において、管理装置61は、管理施設60の通信装置62を介して、生成された目標施工情報を、油圧ショベル1a,1bに送信する。
【0126】
管理装置61から目標施工情報TIa,TIbを取得した油圧ショベル1a,1bの制御システム50の施工管理装置57は、自身の記憶部に目標施工情報TIa,TIbを記憶させる。ステップS506A及びステップS506Bにおいて、油圧ショベル1a,1bは、管理装置61から取得した目標施工情報TIa,TIbを用いて施工対象OBPを施工する。ステップS506A及びステップS506Bの施工は、実施形態3のステップS306A及びステップS306Bの施工と同様である。
【0127】
施工が終了したら、ステップS507A及びステップS507Bにおいて、油圧ショベル1a,1bの検出処理装置51は、施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。次に、ステップS508A及びステップS508Bにおいて、油圧ショベル1a,1bの施工管理装置57は、検出処理装置51が生成した施工後の形状情報を管理装置61に送信する。施工後の形状情報を取得した管理装置61は、ステップS509において記憶部に施工後の形状情報を記憶させる。管理装置61は、
図3に示される携帯端末装置64に施工後の形状情報を送信してもよい。
【0128】
図20は、施工後の形状情報SIas,SIbsを施工現場全体の施工対象OBPtに表示させた状態を示している。このように、施工後の形状情報SIas,SIbsと施工現場全体の施工対象OBPtとを合わせることにより、管理者は、施工の進捗状況を容易に把握することができる。
【0129】
本実施形態及びその変形例において、管理装置61は、制御システム50を有する油圧ショベルから送信された形状情報を用いて目標施工情報を生成するので、制御システム50の負荷を低減できる。本実施形態で開示した構成は、以下の実施形態においても適宜適用することができる。
【0130】
実施形態4.
図21は、実施形態4に係る管理システム100Aを示す図である。管理システム100Aは、管理施設60Aの操作装置66によって油圧ショベル1Aが遠隔操作されるシステムである。油圧ショベル1Aは、実施形態1から実施形態3の油圧ショベル1が有する制御システム50に加え、遠隔操作装置65を有する作業機械である。管理施設60Aの管理装置61Aは、操作装置66からの入力を用いて、油圧ショベル1Aを操作するための操作指令を生成し、通信装置62及びアンテナ63から送信する。油圧ショベル1Aの遠隔操作装置65は、通信回線NTWを介して操作指令を取得し、制御システム50を介して油圧ショベル1Aを制御する。
【0131】
油圧ショベル1Aの制御システム50が生成した形状情報及び目標施工情報の少なくとも一方は、管理装置61Aが取得し、施工状況の管理等に用いられる。管理施設60Aにおいて、オペレータは、油圧ショベル1Aの施工中において、施工対象OBPの画像を表示装置67に表示させながら、操作装置66を操作する。油圧ショベル1Aの動作中において、油圧ショベル1Aが有する少なくとも一対の撮像装置30が施工対象OBPを撮像してもよいし、撮像装置30とは異なる撮像装置が施工対象OBPを撮像してもよい。少なくとも一対の撮像装置30が、油圧ショベル1Aの動作中に施工対象OBPを撮像するようにすれば、新たな撮像装置を油圧ショベル1Aに設ける必要がなくなるので好ましい。
【0132】
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。作業機械は、施工対象を施工、例えば掘削及び運搬等を行うことができれば油圧ショベルに限定されず、例えば、ホイールローダー及びブルドーザーのような作業機械であってもよい。