IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社小松製作所の特許一覧

特許7154026作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法
<>
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図1
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図2
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図3
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図4
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図5
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図6
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図7
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図8
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図9
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図10
  • 特許-作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-06
(45)【発行日】2022-10-17
(54)【発明の名称】作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法
(51)【国際特許分類】
   E02F 9/20 20060101AFI20221007BHJP
   G01B 11/245 20060101ALI20221007BHJP
   G01S 17/89 20200101ALI20221007BHJP
【FI】
E02F9/20 C
G01B11/245 H
G01S17/89
【請求項の数】 6
(21)【出願番号】P 2018070208
(22)【出願日】2018-03-30
(65)【公開番号】P2019178599
(43)【公開日】2019-10-17
【審査請求日】2021-02-02
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】関 洋平
(72)【発明者】
【氏名】尾崎 将崇
【審査官】荒井 良子
(56)【参考文献】
【文献】特開2008-133657(JP,A)
【文献】特開2010-075798(JP,A)
【文献】特開2017-014726(JP,A)
【文献】特開2012-225806(JP,A)
【文献】特開2017-223511(JP,A)
【文献】特開平10-088625(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/20
G01B 11/245
G01S 17/89
(57)【特許請求の範囲】
【請求項1】
作業機を有する作業機械に搭載され、前記作業機により作業される作業対象である地面に置かれた土砂により構成される地山の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、
前記地山の前記稜線における計測データに基づいて、前記作業機械から前記地山までの距離及び前記地面と前記地山の稜線とのなす角度を算出し出力する対象算出部と、を備える
作業機械の制御装置。
【請求項2】
出力された前記作業機械から前記地山までの距離及び前記角度に基づいて、前記作業機を制御する作業機制御部を備える、
請求項1に記載の作業機械の制御装置。
【請求項3】
前記対象算出部は、フィッティング処理された前記稜線における計測データと、地面の位置データとに基づいて、前記作業機械から前記地山と地面との境界までの距離及び前記角度を算出する、
請求項1又は請求項2に記載の作業機械の制御装置。
【請求項4】
前記対象算出部は、前記三次元形状を複数の領域に分割し、前記複数の領域毎に前記作業機械からの距離の中間値を特定し、前記中間値に基づいて前記フィッティング処理をする、
請求項3に記載の作業機械の制御装置。
【請求項5】
前記対象算出部は、前記計測データをグループにし、地面に対する前記グループの傾斜角度、及び地面に対する前記グループの重心高さの少なくとも一方に基づいて、前記地山における稜線の計測データを特定する、
請求項1から請求項4のいずれか一項に記載の作業機械の制御装置。
【請求項6】
作業機械の作業機により作業される作業対象である地面に置かれた土砂により構成される地山の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得することと、
前記地山の前記稜線における計測データに基づいて、前記作業機械から前記地山までの距離及び前記地面と前記地山の稜線とのなす角度を算出し出力することと、を含む
作業機械の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法に関する。
【背景技術】
【0002】
作業現場において作業機械が使用される。掘削対象及び積込対象までの距離を求めるための計測器を備える自動掘削機の一例が特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平10-088625号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業機械による作業の自動化を実現する場合、作業対象に関するパラメータを取得することが要望される。
【0005】
本発明の態様は、作業対象に関するパラメータを取得することを目的とする。
【課題を解決するための手段】
【0006】
本発明の態様に従えば、作業機を有する作業機械に搭載され、前記作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力する対象算出部と、を備える作業機械の制御装置が提供される。
【発明の効果】
【0007】
本発明の態様によれば、作業対象に関するパラメータを取得することができる。
【図面の簡単な説明】
【0008】
図1図1は、第1実施形態に係る掘削機械を示す側面図である。
図2図2は、第1実施形態に係る掘削機械を示す正面図である。
図3図3は、第1実施形態に係る掘削機械の動作を示す模式図である。
図4図4は、第1実施形態に係る掘削機械の掘削作業モードを示す模式図である。
図5図5は、第1実施形態に係る掘削機械の制御装置を示す機能ブロック図である。
図6図6は、第1実施形態に係る掘削機械の制御方法を示すフローチャートである。
図7図7は、第1実施形態に係る掘削機械の制御方法を示す模式図である。
図8図8は、第1実施形態に係る掘削機械の制御方法を示す模式図である。
図9図9は、第2実施形態に係る掘削機械の制御方法を示す模式図である。
図10図10は、第2実施形態に係る掘削機械の制御方法を示す模式図である。
図11図11は、第2実施形態に係る掘削機械の制御方法を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
第1実施形態.
[ホイールローダ]
図1は、本実施形態に係る掘削機械1の一例を示す側面図である。掘削機械1は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、掘削機械1がアーティキュレート掘削機械の一種であるホイールローダ1であることとする。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象及び積込対象を含む。ホイールローダ1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。なお、掘削対象が、砕石、鉱石、及び石炭の少なくとも一つにより構成される山でもよい。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ及びクラッシャの少なくとも一つが例示される。
【0011】
図1に示すように、ホイールローダ1は、車体2と、運転席が設けられる運転台3と、車体2を支持する走行装置4と、車体2に支持される作業機10と、トランスミッション装置30と、車体2よりも前方の計測対象を計測する三次元計測装置20と、制御装置80とを備える。
【0012】
車体2は、車体前部2Fと車体後部2Rとを含む。車体前部2Fと車体後部2Rとは、関節機構9を介して屈曲可能に連結される。
【0013】
運転台3は、車体2に支持される。ホイールローダ1の少なくとも一部は、運転台3に搭乗した運転者によって操作される。
【0014】
走行装置4は、車体2を支持する。走行装置4は、車輪5を有する。車輪5は、車体2に搭載されているエンジンが発生する駆動力により回転する。タイヤ6が車輪5に装着される。車輪5は、車体前部2Fに装着される2つの前輪5Fと、車体後部2Rに装着される2つの後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。走行装置4は、地面RSを走行可能である。
【0015】
以下の説明においては、前輪5Fの回転軸FXと平行な方向を適宜、車幅方向、と称し、地面RSと接触する前タイヤ6Fの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
【0016】
また、以下の説明においては、車幅方向において車体2の中心線に近い位置又は方向を適宜、車幅方向の内側又は内方、と称し、車体2の中心線から遠い位置又は方向を適宜、車幅方向の外側又は外方、と称する。また、車幅方向において、車体2の中心線の一方を適宜、右側又は右方、と称し、右側又は右方の逆側又は逆方向を適宜、左側又は左方、と称する。また、前後方向において、運転台3の運転席を基準として作業機10に近い位置又は方向を適宜、前側又は前方、と称し、前側又は前方の逆側又は逆方向を適宜、後側又は後方、と称する。また、上下方向において前タイヤ6Fの接地面に近い位置又は方向を適宜、下側又は下方、と称し、下側又は下方の逆側又は逆方向を適宜、上側又は上方、と称する。
【0017】
車体前部2Fは、車体後部2Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、後輪5R及び後タイヤ6Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、車体2の車幅方向の両側に配置される。後輪5R及び後タイヤ6Rは、車体2の車幅方向の両側に配置される。車体前部2Fは、車体後部2Rに対して左右に屈曲する。
【0018】
走行装置4は、駆動装置4Aと、ブレーキ装置4Bと、操舵装置4Cとを有する。駆動装置4Aは、ホイールローダ1を加速させるための駆動力を発生する。駆動装置4Aは、ディーゼルエンジンのような内燃機関を含む。駆動装置4Aで発生した駆動力がトランスミッション装置30を介して車輪5に伝達され、車輪5が回転する。
【0019】
ブレーキ装置4Bは、ホイールローダ1を減速又は停止させるための制動力を発生する。
【0020】
操舵装置4Cは、ホイールローダ1の走行方向を調整可能である。ホイールローダ1の走行方向は、車体前部2Fの向きを含む。操舵装置4Cは、油圧シリンダによって車体前部2Fを屈曲させることによって、ホイールローダ1の走行方向を調整する。
【0021】
本実施形態においては、走行装置4は、運転台3に搭乗した運転者によって操作される。作業機10は、制御装置80に制御される。走行装置4を操作する走行操作装置40が運転台3に配置される。運転者は、走行操作装置40を操作して、走行装置4を作動させる。走行操作装置40は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバーを含む。アクセルペダルが操作されることにより、ホイールローダ1の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ1の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ1が旋回する。シフトレバーが操作されることにより、ホイールローダ1の前進又は後進が切り換えられる。
【0022】
トランスミッション装置30は、駆動装置4Aで発生した駆動力を車輪5に伝達する。
【0023】
作業機10は、車体前部2Fに回動可能に連結されるブーム11と、ブーム11に回動可能に連結されるバケット12と、ベルクランク15と、リンク16とを有する。
【0024】
ブーム11は、ブームシリンダ13が発生する動力によって作動する。ブームシリンダ13が伸縮することにより、ブーム11は上げ動作又は下げ動作する。
【0025】
バケット12は、刃先を含む先端部12Bを有する作業部材である。バケット12は、前輪5Fよりも前方に配置される。バケット12は、ブーム11の先端部に連結される。バケット12は、バケットシリンダ14が発生する動力によって作動する。バケットシリンダ14が伸縮することにより、バケット12はダンプ動作又はチルト動作する。
【0026】
バケット12のダンプ動作が実施されることにより、バケット12ですくい上げられた掘削物がバケット12から排出される。バケット12のチルト動作が実施されることにより、バケット12は掘削物をすくい取る。
【0027】
[三次元計測装置]
三次元計測装置20は、ホイールローダ1に搭載される。三次元計測装置20は、ハウジング17に支持される。三次元計測装置20は、車体前部2Fよりも前方の計測対象を計測する。計測対象は、作業機10による掘削対象を含む。また、計測対象は、作業機10により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置20は、三次元計測装置20から作業対象の表面の複数の各計測点までの相対位置を計測する。すなわち、三次元計測装置20は、計測対象の三次元形状を計測する。また、後述する制御装置80は、計測された作業対象の三次元形状に基づいて、ホイールローダ1の作業機の先端部12Bと作業対象との距離を算出する。
【0028】
三次元計測装置20の計測データは、作業対象の三次元形状を示す三次元データである。三次元データは、複数の計測点の点群データを含む。なお、三次元計測装置20の計測データは、画像データを含んでもよい。
【0029】
三次元計測装置20は、レーザ計測装置の一種であるレーザレーダ21と、写真計測装置の一種であるステレオカメラ22とを含む。
【0030】
[動作]
図2は、本実施形態に係るホイールローダ1の動作を示す模式図である。ホイールローダ1は、複数の作業モードで作業する。作業モードは、バケット12で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット12ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象として、地面RSに置かれた地山DSが例示される。積込対象として、地面を走行可能な運搬車両LSのベッセルBE(ダンプボディ)が例示される。運搬車両LSとして、ダンプトラックが例示される。
【0031】
掘削作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、バケット12で地山DSを掘削するために地山DSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M1で示すように、ホイールローダ1を前進させて地山DSに接近させる。ホイールローダ1に搭載されている三次元計測装置20は、地山DSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1から地山DSまでの距離を算出し、バケット12で地山DSが掘削されるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が地山DSに接近するように前進している状態で、バケット12の先端部12B及び底面部が地面RSに接触するように、作業機10を制御する。
【0032】
バケット12が地山DSに突入して地山DSがバケット12により掘削され、掘削物がバケット12にすくい取られた後、ホイールローダ1は、バケット12に掘削物が保持されている状態で、地山DSから離れるように後進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M2で示すように、ホイールローダ1を後進させて地山DSから離間させる。
【0033】
次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されている状態で、バケット12により掘削された掘削物を積み込むために運搬車両LSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M3で示すように、ホイールローダ1を旋回させながら前進させて運搬車両LSに接近させる。ホイールローダ1に搭載されている三次元計測装置20は、運搬車両LSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1から運搬車両LSまでの距離を算出し、バケット12に保持されている掘削物が運搬車両LSのベッセルBEに積み込まれるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、ブーム11が上げ動作するように、作業機10を制御する。ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がチルト動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。
【0034】
バケット12から掘削物が排出され、ベッセルBEに積み込まれた後、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、運搬車両LSから離れるように後進する。運転者は、走行操作装置40を操作して、図2の矢印M4で示すように、ホイールローダ1を後進させて運搬車両LSから離間させる。
【0035】
運転者及び制御装置80は、ベッセルBEに掘削物が満載されるまで、上述の動作を繰り返す。
【0036】
図3は、本実施形態に係るホイールローダ1の掘削作業モードを示す模式図である。ホイールローダ1の運転者は、走行操作装置40を操作して、ホイールローダ1を前進させて地山DSに接近させる。
【0037】
図3(A)に示すように、ホイールローダ1に搭載されている三次元計測装置20は、地山DSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、地面RSと地山DSとの境界DPの位置を特定する。
【0038】
図3(B)に示すように、制御装置80は、ホイールローダ1が地山DSに接近するように前進している状態で、三次元計測装置20の計測データに基づいて、バケット12の先端部12Bと境界DPとの距離を算出し、バケット12の先端部12Bが境界DPに接近するように、ブーム11を下げ動作させるとともに、バケット12の角度を制御する。
【0039】
図3(C)に示すように、ホイールローダ1がさらに前進することにより、バケット12の先端部12Bが境界DPから地山DSに挿入される。これにより、地山DSがバケット12により掘削され、バケット12は、掘削物をすくい取ることができる。
【0040】
[制御装置]
図4は、本実施形態に係るホイールローダ1の制御装置80を示す機能ブロック図である。制御装置80は、コンピュータシステムを含む。
【0041】
制御装置80に、作業機10、三次元計測装置20、及び角度センサ50が接続される。
【0042】
制御装置80は、計測データ取得部81と、記憶部82と、対象算出部86と、作業機制御部87とを有する。
【0043】
計測データ取得部81は、三次元計測装置20から計測データを取得する。
【0044】
記憶部82は、計測データ取得部81により取得された計測データを処理するアルゴリズムを記憶する。記憶部82には、ステレオカメラ22で計測された地山DSの計測データを処理するためのアルゴリズム、及びレーザレーダ21で計測された地山DSの計測データを処理するためのアルゴリズムが記憶されている。アルゴリズムとは、計測データ取得部81により取得された計測データを用いて、所定のデータを出力するための手順、フローチャート、手法、又はプログラムをいう。複数のアルゴリズムに応じて、手順、手法、又はプログラムを異ならせてもよいし、出力されるデータの数又は種類を異ならせてもよい。
【0045】
対象算出部86は、計測データ取得部81により取得された計測データに基づいて、ホイールローダ1から作業対象までの距離を算出する。対象算出部86は、ホイールローダ1から地山DSまでの距離データに加え、地山DSの安息角の角度データや、その他の地山DSに関するパラメータを算出してもよい。地山DSに関するパラメータは、ホイールローダ1から地山までの距離データ、及び地山DSの安息角の角度データ、地山DSの岩土の質、地山DSを構成する岩土の粒度、地山DSの高さ、地山DSの頂点までの距離、地山DSの形状、地山DSの体積を含む。
【0046】
作業機制御部87は、対象算出部86により算出されたホイールローダ1と境界DPとの距離データに基づいて、地山DSを掘削する作業機10を制御する。また、作業機制御部87は、対象算出部86により算出された地山DSの安息角を示す角度データに基づいて、地山DSを掘削する作業機10を制御する。
【0047】
作業機10の動作の制御は、ブームシリンダ13及びバケットシリンダ14の少なくとも一方の動作の制御を含む。ホイールローダ1は、図示しない油圧ポンプと、油圧ポンプからブームシリンダ13に供給される作動油の流量及び方向を制御する図示しないブーム制御弁と、油圧ポンプからバケットシリンダ14に供給される作動油の流量及び方向を制御する図示しないバケット制御弁とを有する。作業機制御部87は、ブーム制御弁に制御信号を出力して、ブームシリンダ13に供給される作動油の流量及び方向を制御することで、ブーム11の上げ動作、下げ動作、及びその動作速度を制御できる。また、作業機制御部87は、バケット制御弁に制御信号を出力して、バケットシリンダ14に供給される作動油の流量及び方向を制御することでバケット12のダンプ動作、チルト動作、及びその動作速度を制御できる。
【0048】
本実施形態において、ホイールローダ1は、トランスミッション制御部88と、走行制御部89とを有する。
【0049】
トランスミッション制御部88は、ホイールローダ1の運転者による走行操作装置40の操作に基づいて、トランスミッション装置30の動作、すなわちシフトチェンジを制御する。
【0050】
走行制御部89は、ホイールローダ1の運転者による走行操作装置40の操作に基づいて、走行装置4の動作を制御する。走行制御部89は、駆動装置4Aを作動するためのアクセル指令、ブレーキ装置4Bを作動するためのブレーキ指令、及び操舵装置4Cを作動するためのステアリング指令を含む運転指令を出力する。
【0051】
[ステレオカメラの計測データに基づく掘削作業]
図5は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、ステレオカメラ22による運搬車両LSの計測データに基づく掘削作業を示す。
【0052】
ホイールローダ1が作業機10で地山DSを掘削するために地山DSに向かって前進する掘削作業モードにおいて、ステレオカメラ22は、少なくとも地山DSを含む計測対象を計測する。ステレオカメラ22の撮像範囲(ステレオカメラ22の光学系の視野領域)には、計測対象として、地山DSのみならず、例えば地面RS又は地山DSの周囲の物体も配置される。計測データ取得部81は、ステレオカメラ22から計測データを取得する(ステップS10)。
【0053】
ステレオカメラ22の計測データは、計測対象の画像データを含む。画像データは、複数の画素により構成される。計測対象の画像データは、第1カメラ22Aにより取得された第1画像データと、第2カメラ22Bにより取得された第2画像データとを含む。ステレオカメラ22は、画像データ(第1画像データ及び第2画像データ)をステレオ処理して、三次元形状データを算出する。
【0054】
計測データ取得部81は、ステレオカメラ22から、ステレオカメラ22の計測データである三次元形状データを取得する(ステップS10)。
【0055】
三次元形状データは、ステレオカメラ22の画像データにおける画素ごとに演算された点データの集合である点群データを含む。点群データは例えばステレオカメラからの距離に関するデータである。
【0056】
本実施形態において、対象算出部86は、地山DSの稜線を特定するとともに、稜線における三次元形状データに基づいて、ホイールローダ1から地山DSまでの距離、又は地山DSの安息角を算出し出力する。
【0057】
ステレオカメラ22では広範囲の点群データを取得できるため、地山DSの広い領域の地形を計測してしまうため、どの点群データが稜線におけるデータであるか判定できず、後述する図7のような地山の断面を判断できない。そこで、稜線を特定するために、対象算出部86は、ステレオカメラ22により取得された三次元形状データを複数の領域DAに分割する(ステップS30)。
【0058】
図6は、本実施形態に係るステレオカメラ22により取得された画像データの一例を示す図である。
【0059】
対象算出部86は、画像データを複数の領域DAに分割する。本実施形態において、対象算出部86は、画像データを上下方向に分割して複数の領域DAを生成する。以下の説明においては、画像データを分割することによって生成された領域DAのそれぞれの点群データを適宜、分割点群データ、と称する。
【0060】
対象算出部86は、画像データを上下方向に分割して複数の領域DAを生成する。領域DAは、左右方向に長い。複数の領域DAのそれぞれは、ホイールローダ1(ステレオカメラ22)から地山DSまでの距離を示す分割点群データを含む。
【0061】
次に、対象算出部86は、複数の領域DAのそれぞれにおいて、分割点群データに基づいて、地山DSの稜線RDを特定する。稜線RDとは、地山DSの頂点DTから任意の地山と地面の境界DPとを結ぶ線であり、例えば各領域DA毎に中間点付近の数点を抽出することによって近似的な稜線RDを導出することができる。
【0062】
図6に示すように、本実施形態において、対象算出部86は、各領域DA毎に中間点付近の数点を抽出した場合、斜めの稜線RD1を特定できる。なお、稜線RDは、正面の稜線RD2や側面における稜線RD3でもよい。また、正面の稜線RD2を特定するためには点群データのうち、中間値ではなく最も距離の近い数点を用いることで抽出できる。
【0063】
カウンタnに初期値1が設定される(ステップS40)。対象算出部86は、第1の領域DA1から第Nの領域DANのそれぞれについて、稜線RDに対応する点データを特定する。
【0064】
対象算出部86は、領域DAに存在する複数の画素のそれぞれによって示される距離を算出し、その領域DAにおける距離の中間値RPを特定する(ステップS50)。中間値RPは、1つでもよいし、複数でもよい。複数の場合、中間値RP近傍の数点を特定する。中間値RPは、その領域DAにおいて、ソートしたデータの中央にあるデータをいい、メディアン値又は中央値とも呼ばれる。
【0065】
以上により、領域DAについて、中間値RPが算出される。対象算出部86は、複数の領域DAのそれぞれについて、上述のステップS50の処理を実施する。すなわち、対象算出部86は、全ての領域DAについて、中間値RPを算出する処理が終了したか否かを判定する(ステップS60)。全ての領域DAについて中間値RPを算出する処理が終了していないと判定した場合(ステップS60:No)、カウンタnがインクリメントされ(ステップS70)、ステップS50の処理に戻る。
【0066】
全ての領域DAについて中間値RPを算出する処理が終了したと判定した場合(ステップS60:Yes)、対象算出部86は、複数の領域DAを統合し、領域DAのそれぞれについて算出された中間値RPを直線フィッティング処理する。対象算出部86は、直線フィティング処理により、近似的な稜線RDを特定する。
【0067】
図7は、本実施形態に係る複数の中間値RPを直線フィティング処理する例を示す。図8に示すように、対象算出部86は、複数の中間値RPについて直線フィッティング処理を実施して、複数の中間値RPに基づいて近似的な稜線REを算出する(ステップS80)。
【0068】
稜線REは、地山DSの斜面の形状を示す。また、稜線REは、地面RSに対する地山DSの斜面の安息角θを示す。対象算出部86は、稜線REに基づいて、地山DSの安息角θを算出する(ステップS85)。
【0069】
地山DSの斜面の位置は、ホイールローダ1の車体座標系において規定される。車体座標系におけるステレオカメラ22の設置位置は、ホイールローダ1の設計データから導出される既知データである。
【0070】
対象算出部86は、タイヤ6の接地面に基づいて、地面RSの位置を算出する(ステップS90)。車体座標系におけるタイヤ6の接地面の位置は、ホイールローダ1の設計データから導出される既知データである。4つのタイヤ6のうち少なくとも3つのタイヤ6の接地面によって、車体座標系における地面RSの位置が特定される。
【0071】
なお、ステレオカメラ22の撮像範囲に地面RSが配置される場合、ステレオカメラ22の画像データに基づいて、地面RSの位置が算出されてもよい。また、ステレオカメラ22の撮像範囲に地面RSが配置される場合において、タイヤ6の接地面に基づいて地面RSの位置を特定できる場合、ステレオカメラ22によって計測された地面RSの点群データが除去されてもよい。
【0072】
地山DSの斜面の位置と地面RSの位置とが算出された後、対象算出部86は、地山DSの稜線RDと地面RSとの境界DPの位置を算出する(ステップS100)。
【0073】
対象算出部86は、ホイールローダ1から地山DSまでの距離、及び地山DSの安息角θを算出し、出力する(ステップS110)。ホイールローダ1から地山DSまでの距離は、バケット12の先端部12Bから境界DPまでの距離でもよい。作業機10の先端部12Bから境界DPまでの距離は、ステレオカメラ22から境界DPまでの距離に加え、車体座標系におけるステレオカメラ22の設置位置、作業機10の設置位置、作業機10の寸法および角度等を用いて算出する。
【0074】
作業機制御部87は、対象算出部86により算出された境界DPまでの距離、又は地山DSの安息角θに基づいて、作業機10を制御する(ステップS120)。
【0075】
すなわち、図3を参照して説明したように、作業機制御部87は、ホイールローダ1が地山DSに接近するように前進している状態で、対象算出部86により算出された境界DPまでの距離に基づいて、バケット12の先端部12Bが境界DPに接近するように、ブーム11を下げ動作させるとともに、バケット12の角度を制御する。ホイールローダ1がさらに前進することにより、バケット12の先端部12Bが境界DPから地山DSに挿入される。これにより、地山DSがバケット12により掘削され、バケット12は、掘削物をすくい取ることができる。
【0076】
[効果]
以上説明したように、地山DSの三次元形状データに基づいて作業機10が制御されることにより、ホイールローダ1の作業機10は、境界DPによって規定される地山DSの掘削開始点に移動することができる。したがって、ホイールローダ1は、地山DSを良好に掘削することができる。
【0077】
地山DSの三次元形状データは、地山DSの安息角を含む。安息角θに応じて、地山DSへ突入後の牽引力や作業機10の上昇速度などを制御することができる。
【0078】
なお、本実施形態においては、画像データ(点群データ)を分割して稜線を特定したが、分割せずに同様の処理を実施して、稜線を特定してもよい。
【0079】
第2実施形態.
第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
【0080】
[レーザレーダの計測データに基づく掘削作業]
上述の実施形態においては、ステレオカメラ22の計測データに基づく掘削作業について説明した。本実施形態においては、レーザレーダ21の計測データに基づく掘削作業について説明する。
【0081】
図8は、本実施形態に係るホイールローダ1の制御方法を示す模式図であって、レーザレーダ21の動作を示す図である。図8に示すように、レーザレーダ21は、計測対象の表面の複数の照射点PJのそれぞれにレーザ光を照射して、複数の照射点PJのそれぞれとの距離を計測する。
【0082】
本実施形態において、対象算出部86は、ホイールローダ1(レーザレーダ21)から複数の照射点PJのそれぞれまでの距離に基づいて、照射点PJを複数のグループに分類し、地面RSに対するグループの傾きK(傾斜角度)、およびグループの重心高さHの少なくとも一方に基づいて、計測対象を特定する。
【0083】
例えば、掘削作業モードにおいて、計測対象は、地面RS、地山DS、及び地山DSの周囲の物体の少なくとも一つを含む。対象算出部86は、グループの傾斜角度K、およびグループの重心高さHの少なくとも一方に基づいて、計測対象が、地面RS、地山DSのいずれであるのかを特定する。
【0084】
対象算出部86は、照射点PJまでの距離に基づいて、複数の照射点PJをグルーピングする。グルーピングとは、例えば隣り合う照射点PJの距離の差が予め定められている閾値以下の複数の照射点PJを1つのグループとしてグループ分けすることをいう。図8に示す例では、例えば、計測対象の表面に照射されることによって規定された照射点PJaと、作業機10の一部に照射されることによって規定された照射点PJbとの距離の差は大きい。したがって、計測対象の表面に規定された照射点PJaは、1つのグループとなり、作業機10の表面に規定された照射点PJbは、別のグループとなる。
【0085】
対象算出部86は、作業機10を示す照射点PJbのグループを除去し、計測対象を示す照射点PJaのグループをグループ分割して、複数の照射点PJを第1グループと第2グループとに分類する。
【0086】
図9は、本実施形態に係るホイールローダ1の制御方法を示す模式図であって、グループ分割を説明するための模式図である。グループ分割とは、例えば図9(A)に示すように、複数の照射点PJのうち、最も端の照射点PJを仮想的な直線IMで結び、直線IMからの垂直距離が最も長い照射点PJを分割点PJKとして規定し、その分割点PJKを基準として2つのグループに分ける処理をいう。
【0087】
分割点PJKは、1つのグループを構成する複数の照射点PJを結ぶ仮想線において変曲点となる照射点PJである。そのため、その分割点PJKを基準として、図9(B)に示すように、それぞれ直線状に並ぶ2つのグループに分割することができる。このように、対象算出部86は、グループ分割して、複数の照射点PJを第1グループと第2グループとに分類することができる。なお、グルーピングの方法として、本形態の手法に限らず、その他のアルゴリズムを用いてグルーピングしてもよい。
【0088】
対象算出部86は、第1グループ及び第2グループそれぞれの複数の照射点PJについてフィッティング処理を実施する。対象算出部86は、フィッティング処理を実施した後、地面RSに対する各グループの傾きK、及び各グループの重心高さHを算出する。図9に示す例において、対象算出部86は、第1グループに係る傾きK1及び重心高さH1と、第2グループに係る傾きK2及び重心高さH2とを算出する。
【0089】
対象算出部86は、グループの傾斜角度K及びグループの重心高さHの少なくとも一方に基づいて、計測対象が地面RS、地山DSのいずれであるのかを特定する。
【0090】
対象算出部86は、例えばグループの傾斜角度Kが角度閾値以下であるとき、計測対象は地面RSであると判定する。対象算出部86は、グループの傾斜角度Kが角度閾値以上であるとき、計測対象は地山RSであると判定する。
【0091】
一般に、地面RSは、水平面とほぼ平行であるため、グループの傾斜角度Kが小さく角度閾値以下である場合、そのグループは地面RSであると判定することができる。地山DSの表面は、地面RSに対して傾斜しているため、グループの傾斜角度Kが角度閾値以上である場合、そのグループは地山DSであると判定することができる。
【0092】
なお、対象算出部86は、グループの重心高さHが高さ閾値以上である場合、そのグループは地山DSであると判定してもよい。対象算出部86は、グループの重心高さHが高さ閾値未満である場合、そのグループは地面RSであると判定してもよい。
【0093】
図10は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、レーザレーダ21による地山DSの計測データに基づいて処理する方法を示す。
【0094】
ホイールローダ1が作業機10で地山DSを掘削するために地山DSに向かって前進する掘削作業モードにおいて、レーザレーダ21は、地山DSを計測する。レーザレーダ21による地山DSの計測データは、レーザレーダ21からレーザ光が照射される地山DSの表面の複数の照射点PJのそれぞれまでの距離を含む。レーザレーダ21による地山DSの計測データは、制御装置80に出力される。計測データ取得部81は、レーザレーダ21から地山DSの計測データを取得する(ステップS221)。
【0095】
また、レーザレーダ21から射出されるレーザ光は、地山DSのみならず、例えば地面RS又は地山DSの周辺の物体にも照射される。図8を参照して説明したように、対象算出部86は、照射点PJまでの距離に基づいて、作業機10を計測した点群データやはずれ値の点群データを除去する(ステップS222)。
【0096】
また、図9(A)を参照して説明したように、対象算出部86は、計測対象を示す照射点PJにおける点群データをグループ分割する。また、図9(B)を参照して説明したように、対象算出部86は、分割した各グループについて、地面RSに対するグループの傾斜角度K、及び地面RSに対するグループの重心高さHの少なくとも一方に基づいて、地面RSと地山DSとを特定する。
【0097】
すなわち、対象算出部86は、グループ分割して、複数の照射点PJにおける点群データを地山グループと地面グループとに分類する(ステップS223)。
【0098】
対象算出部86は、タイヤ6の接地面に基づいて、地面RSの位置を算出する(ステップS224)。
【0099】
なお、対象算出部86は、ステップS223において分類した地面グループの照射点PJの点群データに基づいて、地面RSの位置を算出してもよい。
【0100】
地山グループの点群データを直線フィッティングすることによって地山DSの稜線を算出することができる。地山DSの稜線の位置と地面RSの位置とが算出された後、対象算出部86は、地山DSの稜線と地面RSとの境界DPの位置を算出する(ステップS225)。
【0101】
対象算出部86は、ホイールローダ1から地山DSまでの距離、及び安息角θを算出し、出力する(ステップS226)。ホイールローダ1から地山DSまでの距離は、バケット12の先端部12Bから境界DPまでの距離でもよい。
【0102】
作業機制御部87は、対象算出部86により算出された境界DPまでの距離、又は地山DSの安息角θに基づいて、作業機10を制御する(ステップS227)。
【0103】
[効果]
以上説明したように、本実施形態においても、地山DSの三次元データに基づいて作業機10が制御されることにより、作業機10は、掘削開始点である境界DPに移動することができる。
【0104】
地山DSの三次元形状データは、地山DSの安息角を含む。安息角θに応じて、作業機10を地山DSへ突入させた後の牽引力や作業機10の上昇速度などを制御することができる。
【0105】
上述の実施形態においては、ステレオカメラ22やレーザレーダ21を用いて地山DSの境界DPまでの距離を求めるので、ホイールローダ1が地山DSから離れている段階から近づきながら正確な距離を求めることができる。そのため、ホイールローダ1が地山DSに到達する前に作業機10を所望の位置に制御することができるため、余裕をもって作業機10を制御できる。
【0106】
[コンピュータシステム]
図12は、コンピュータシステム1000の一例を示すブロック図である。上述の制御装置80は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置80の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
【0107】
制御装置80を含むコンピュータシステム1000は、作業機10を有する掘削機械1に搭載され、作業機10により掘削される掘削対象の三次元形状を計測する三次元計測装置20の計測データを取得することと、掘削対象の稜線を特定するとともに、稜線における計測データに基づいて、掘削機械から掘削対象までの距離、又は掘削対象の安息角を算出し出力することと、を実行することができる。
【0108】
[その他の実施形態]
上述の実施形態においては、ステレオカメラ22において点群データを用いて、レーザレーダ21においてはグルーピングにより地山DSの稜線を特定したが、それに限らず、例えば画像認識技術により地山DSの稜線を特定してもよいし、点群データの配置に基づいて例えば人工知能を用いた手法により稜線DSを特定してもよいし、その他アルゴリズムを用いてもよい。例えば、点群データの中から何らかのアルゴリズムに基づいて地面データを特定して除去し、残りのデータを地山データと判断してもよい。
【0109】
なお、上述の各実施形態において、対象算出部86は、地山DSのパラメータとして、ホイールローダ1から地山DSまでの距離、および地山DSの安息角を算出したが、それに限らず、その他の地山DSのパラメータを算出し出力してもよい。
【0110】
なお、上述の実施形態においては、作業機制御部87は、ホイールローダ1から境界DPまでの距離データに基づいて、作業機10を制御することとした。対象算出部86は、三次元計測装置20の計測データに基づいて、地山DSの安息角θを示す角度データを算出することができる。作業機制御部87は、角度データに基づいて、作業機10を制御してもよい。例えば、作業機制御部87は、地山DPの安息角θが小さい場合、バケット12の先端部12Bを境界DPから地山DSに進入させ、地山DPの安息角θが大きい場合、バケット12の先端部12Bを境界DPよりも上の地山DSの斜面から地山DSに進入させてもよい。
【0111】
上述の実施形態においては、ホイールローダ1に搭載される計測装置が三次元計測装置20であり、計測データ取得部81が取得する計測データが作業対象の三次元形状を示す三次元データであることとしたが、これに限定されない。計測装置として、作業対象を計測する三次元計測装置20のみならず、作業対象を撮影する写真計測装置であるカメラ、及び作業対象の位置を計測する位置計測装置がホイールローダ1に搭載されてもよい。また、計測装置が、掘削物判定用センサを含んでもよい。この場合、計測データ取得部81が取得する計測データは、作業対象の三次元データのみならず、カメラによって撮影された作業対象の画像データ、位置計測装置によって計測された作業対象の位置データ、及び掘削物判定用センサの検出データの少なくとも一つを含む。
【0112】
例えば、計測装置として作業対象を撮像するカメラを用いる場合、対象算出部86は、掘削対象が撮像された画像データを用いて画像認識技術により掘削対象と地面との境界DPの位置を特定し、ホイールローダ1と境界DPまでの距離を算出してもよい。画像認識技術として、公知の画像認識技術を用いて、掘削対象と地面との境界DPの位置を特定することができる。
【0113】
上述の実施形態においては、ホイールローダ1から作業対象までの距離として、バケット12の先端部12Bからの距離を例示したが、それに限られず、バケット12のその他の部位からの距離であってもよいし、ホイールローダ1の任意の部位からの距離でもよい。
【0114】
また、作業機制御部87は、作業機10を制御するとき、地山DSまでの距離に加えて、ホイールローダ1の走行速度を考慮してもよい。
【0115】
上述の実施形態において、トランスミッション装置30及び走行装置4は、運転者による走行操作装置40の操作により作動することとしたが、トランスミッション制御部88及び走行制御部89が、地山DSまでの距離及び安息角θに基づいて、トランスミッション装置30及び走行装置4を自動制御してもよい。
【0116】
上述の実施形態において、地山DSまでの距離及び安息角θが表示装置に表示されてもよい。表示装置は、運転台3に設けられてもよい。また、地山DSまでの距離及び安息角θを示すデータがホイールローダ1の外部に存在するサーバに送信されてもよい。
【0117】
なお、上述の実施形態においては、三次元計測装置20としてレーザレーダ21及びステレオカメラ22の両方がホイールローダ1に設けられることとした。レーザレーダ21及びステレオカメラ22の一方がホイールローダ1に設けられてもよい。また、三次元計測装置20は、作業対象の三次元形状及び作業対象との相対位置を計測できればよく、レーザレーダ21及びステレオカメラ22に限定されない。
【0118】
なお、上述の実施形態においては、地山DSまでの距離及び安息角θが算出されることとしたが、地山DSまでの距離及び安息角θのいずれか一方が算出され、その算出結果に基づいて作業機10が制御されてもよい。
【0119】
なお、上述の各実施形態において、作業対象は掘削対象に限られず、例えば積込対象、盛土対象、整地対象、排土対象が含まれてもよい。
【0120】
なお、上述の各実施形態において、ホイールローダ1が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。
【0121】
なお、ホイールローダ1は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。
【0122】
なお、上述の実施形態において、バケット12は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。
【0123】
なお、ブーム11の先端部に連結される作業部材は、バケット12でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。
【0124】
なお、作業機械は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する掘削機械も含む。
【符号の説明】
【0125】
1…ホイールローダ(掘削機械)、2…車体、2F…車体前部、2R…車体後部、3…運転台、4…走行装置、4A…駆動装置、4B…ブレーキ装置、4C…操舵装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、9…関節機構、10…作業機、11…ブーム、12…バケット、12B…先端部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…リンク、20…三次元計測装置、21…レーザレーダ、22…ステレオカメラ、22A…第1カメラ、22B…第2カメラ、30…トランスミッション装置、40…走行操作装置、50…角度センサ、80…制御装置、81…計測データ取得部、82…記憶部、86…対象算出部、87…作業機制御部、88…トランスミッション制御部、89…走行制御部、BE…ベッセル(積込対象)、DS…地山(掘削対象)、FX…回転軸、LS…運搬車両、PJ…照射点、RX…回転軸、RS…地面。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11