(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-16
(45)【発行日】2024-10-24
(54)【発明の名称】作業機械の異常判定システム及び作業機械の異常判定方法
(51)【国際特許分類】
E02F 9/26 20060101AFI20241017BHJP
【FI】
E02F9/26 A
(21)【出願番号】P 2021046511
(22)【出願日】2021-03-19
【審査請求日】2024-02-13
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】関 洋平
(72)【発明者】
【氏名】草香 孝二
(72)【発明者】
【氏名】細田 佑樹
【審査官】山口 剛
(56)【参考文献】
【文献】特開2018-017617(JP,A)
【文献】特開2018-028212(JP,A)
【文献】特開2019-132069(JP,A)
【文献】特開2021-042569(JP,A)
【文献】特開2017-203322(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/00 - 9/28
E02F 3/42 - 3/43
(57)【特許請求の範囲】
【請求項1】
作業機を有する作業機械に搭載されたカメラと、
前記カメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定する位置算出部と、
推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する判定部と、
を備え
、
前記位置算出部は、前記カメラによって撮影したときの前記作業機の姿勢と前記作業機の寸法データとに基づいて、前記撮像画像における前記作業機の位置を推定し、
前記判定部は、推定された前記作業機の位置と前記撮像画像における前記作業機の実際の位置とが一致する場合、又は、ずれが所定範囲内である場合、前記カメラが正常であるか否かを判定する、
作業機械の異常判定システム。
【請求項2】
前記寸法データは、前記作業機の外周上の複数の位置の位置データである、
請求項
1に記載の作業機械の異常判定システム。
【請求項3】
前記寸法データは、前記作業機の外周上の5か所の位置の位置データである、
請求項
2に記載の作業機械の異常判定システム。
【請求項4】
前記判定部は、前記作業機が所定領域内及び所定角度内に存在する場合に判定を行う、
請求項1から請求項
3のいずれか一項に記載の作業機械の異常判定システム。
【請求項5】
前記判定部は、前記カメラによって撮影したときの前記作業機の姿勢から規定される、推定された前記撮像画像における前記作業機の位置と、前記撮像画像における前記作業機の実際の位置とを比較して、前記カメラが正常であるか否かを判定する、
請求項
1に記載の作業機械の異常判定システム。
【請求項6】
前記判定部は、前記カメラの取り付け位置が正常であるか否かを判定する、
請求項1から請求項
5のいずれか一項に記載の作業機械の異常判定システム。
【請求項7】
前記作業機に搭載され、前記作業機の姿勢を検出する角度検出部と、
前記角度検出部の検出結果に基づいて、前記作業機の姿勢を示す位置データを算出する位置データ算出部と、
を備える、請求項1から請求項
6のいずれか一項に記載の作業機械の異常判定システム。
【請求項8】
前記判定部は、前記カメラ及び前記角度検出部が正常であるか否かを判定する、
請求項
7に記載の作業機械の異常判定システム。
【請求項9】
前記判定部は、前記カメラ及び前記角度検出部に基づく前記作業機の位置関係が正常であるか否かを判定する、
請求項
8に記載の作業機械の異常判定システム。
【請求項10】
前記作業機の寸法データ及び形状データを含む作業機データを記憶する記憶部、
を備え、
前記判定部は、前記カメラによって撮影したときの前記作業機の姿勢と前記記憶部に記憶された前記作業機データとから規定される、前記撮像画像における前記作業機の推定位置に基づいて判定する、
請求項1から請求項
9のいずれか一項に記載の作業機械の異常判定システム。
【請求項11】
前記判定部の判定結果を出力する出力部、
を備える、請求項1から請求項
10のいずれか一項に記載の作業機械の異常判定システム。
【請求項12】
前記出力部は、ブザーである、
請求項
11に記載の作業機械の異常判定システム。
【請求項13】
前記出力部は、ランプである、
請求項
11に記載の作業機械の異常判定システム。
【請求項14】
作業機を有する作業機械に搭載されたカメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定し、
推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する、
ことを含む作業機械の異常判定方法。
【請求項15】
推定された前記作業機の位置と前記撮像画像における前記作業機の実際の位置とに基づいて、前記カメラが正常であるか否かを判定する
請求項
14に記載の作業機械の異常判定方法。
【請求項16】
前記カメラによって撮影したときの前記作業機の姿勢と前記作業機の寸法データとに基づいて、前記撮像画像における前記作業機の位置を推定する
請求項
14又は
15に記載の作業機械の異常判定方法。
【請求項17】
前記カメラによって撮影したときの前記作業機の姿勢から規定される、推定された前記撮像画像における前記作業機の位置と、前記撮像画像における前記作業機の実際の位置とを比較して、前記カメラが正常であるか否かを判定する
請求項
14から請求項
16のいずれか一項に記載の作業機械の異常判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械の異常判定システム及び作業機械の異常判定方法に関する。
【背景技術】
【0002】
作業機械による作業の自動化を実現するために、作業対象との相対位置を良好に計測できる作業機械の一例が特許文献1に開示されている。特許文献1では、三次元計測装置の計測データに基づいて、ホイールローダと作業対象との相対位置を計測する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業の自動化においては、作業機械において作業機の位置を高精度に計測することが望まれる。そこで、作業機械での作業開始時に、作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定することが望まれる。
【0005】
本開示の態様は、作業機械の作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定することを目的とする。
【課題を解決するための手段】
【0006】
本開示の態様に従えば、作業機を有する作業機械に搭載されたカメラと、前記カメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定する位置算出部と、推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する判定部と、を備える作業機械の異常判定システムが提供される。
【0007】
本開示の態様に従えば、作業機を有する作業機械に搭載されたカメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定し、推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定することを含む作業機械の異常判定方法が提供される。
【発明の効果】
【0008】
本開示の態様によれば、作業機械の作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定できる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本実施形態に係る作業機械の一例を示す側面図である。
【
図2】
図2は、本実施形態に係る作業機械の動作を示す模式図である。
【
図3】
図3は、本実施形態に係る作業機械の積込作業モードを示す模式図である。
【
図4】
図4は、本実施形態に係る作業機械の制御システムを示す機能ブロック図である。
【
図5】
図5は、本実施形態に係る作業機械の作業機の寸法データの一例を説明する図である。
【
図6】
図6は、ステレオカメラにより取得された画像データの一例を示す図である。
【
図7】
図7は、作業機械の作業機の所定領域及び所定角度範囲を説明する図である。
【
図8】
図8は、本実施形態に係る作業機械の異常判定方法を示すフローチャートである。
【
図9】
図9は、コンピュータシステムの一例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。作業機械の異常判定システムは、作業機械の始業時に、作業機10の位置の計測に使用するカメラが正常であるか否かを適切に判定するシステムである。作業機械の異常判定システムは、作業機械の各部を組み合わせて実装されている。
【0011】
(実施形態)
[ホイールローダ]
図1は、本実施形態に係るホイールローダ1の一例を示す側面図である。作業機械1は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、作業機械1がアーティキュレート式の作業機械の一種であるホイールローダ1であるとして説明する。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象、及び、掘削された掘削物が積み込まれる積込対象を含む。ホイールローダ1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ、及びクラッシャの少なくとも一つが例示される。
【0012】
図1に示すように、ホイールローダ1は、車体2と、運転席が設けられる運転台3と、車体2を走行させる走行装置4と、トランスミッション装置30と、車体2に支持される作業機10と、作業機10の角度を検出する角度センサ50と、車体2よりも前方の作業対象を計測する三次元計測装置20と、運転台3の周辺に設けられるブザー7と、運転台3の周辺に設けられるランプ8と、制御装置80とを備える。角度センサ50は、角度検出部の一例である。三次元計測装置20は、カメラの一例である。
【0013】
車体2は、車体前部2Fと車体後部2Rとを含む。車体前部2Fと車体後部2Rとは、関節機構9を介して屈曲可能に連結される。
【0014】
運転台3は、車体2に支持される。ホイールローダ1の少なくとも一部は、運転台3に搭乗した運転者によって操作される。
【0015】
走行装置4は、車体2を支持する。走行装置4は、地面RSを走行可能である。走行装置4は、車輪5を有する。車輪5は、車体2に搭載されているエンジンが発生する駆動力により回転する。車輪5は、車体前部2Fに装着される2つの前輪5Fと、車体後部2Rに装着される2つの後輪5Rとを含む。車輪5には、タイヤ6が装着される。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。前輪5F及び前タイヤ6Fは、回転軸FXを中心に回転可能である。後輪5R及び後タイヤ6Rは、回転軸RXを中心に回転可能である。車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
【0016】
以下の説明においては、前輪5Fの回転軸FXと平行な方向を適宜、車幅方向、と称する。地面RSと接触する前タイヤ6Fの接地面と直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。
【0017】
走行装置4は、駆動装置4Aと、ブレーキ装置4Bと、操舵装置4Cとを有する。駆動装置4Aは、ホイールローダ1を加速させるための駆動力を発生する。駆動装置4Aは、例えばディーゼルエンジンのような内燃機関を含む。駆動装置4Aで発生した駆動力がトランスミッション装置30を介して車輪5に伝達され、車輪5が回転する。ブレーキ装置4Bは、ホイールローダ1を減速又は停止させるための制動力を発生する。操舵装置4Cは、ホイールローダ1の走行方向を調整可能である。ホイールローダ1の走行方向は、車体前部2Fの向きを含む。操舵装置4Cは、油圧シリンダによって車体前部2Fを屈曲させることによって、ホイールローダ1の走行方向を調整する。
【0018】
本実施形態において、走行装置4は、運転台3に搭乗した運転者によって操作される。運転台3には、走行装置4を操作する走行操作装置40が配置される。運転者は、走行操作装置40を操作して、走行装置4を作動させる。走行操作装置40は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバー41を含む。アクセルペダルが操作されることにより、ホイールローダ1の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ1の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ1が旋回する。シフトレバー41が操作されることにより、ホイールローダ1の前進又は後進が切り換えられる。
【0019】
トランスミッション装置30は、駆動装置4Aで発生した駆動力を車輪5に伝達する。
【0020】
作業機10は、制御装置80によって制御される。作業機10は、車体前部2Fに回動可能に連結されるブーム11と、ブーム11に回動可能に連結されるバケット12とを有する。
【0021】
ブーム11は、ブームシリンダ13が発生する動力によって作動する。ブームシリンダ13が伸縮することにより、ブーム11は上げ動作又は下げ動作する。ブームシリンダ13は、図示しない油圧ポンプから供給される作動油の流量及び方向を制御する図示しないブーム制御弁を有する。
【0022】
バケット12は、刃先を含む先端部12Bを有する作業部材である。バケット12は、前輪5Fよりも前方に配置される。バケット12は、ブーム11の先端部に連結される。バケット12は、ベルクランク15とリンク16とを介して、バケットシリンダ14に連結される。バケット12は、バケットシリンダ14が発生する動力によって作動する。バケットシリンダ14は、油圧ポンプから供給される作動油の流量及び方向を制御する図示しないバケット制御弁を有する。バケットシリンダ14が伸縮することにより、バケット12はダンプ動作又はチルト動作する。ダンプ動作によって、バケット12内の掘削物がバケット12から排出される。チルト動作によって、バケット12が掘削物をすくい取る。
【0023】
角度センサ50は、作業機10に搭載され、作業機10の姿勢を検出する。角度センサ50は、作業機10の角度を検出する。角度センサ50は、ブーム11の角度を検出するブーム角度センサ51と、バケット12の角度を検出するバケット角度センサ52とを含む。ブーム角度センサ51は、例えば車体前部2Fに規定された車体座標系の基準軸に対するブーム11の角度を検出する。バケット角度センサ52は、ブーム11に対するバケット12の角度を検出する。角度センサ50は、ポテンショメータでもよいし、油圧シリンダのストロークを検出するストロークセンサでもよいし、慣性計測装置でもよいし、傾斜計でもよい。作業機10の角度を示す角度データは、後述する位置データ算出部83及び判定部91に出力される。
【0024】
三次元計測装置20は、ホイールローダ1に搭載される。三次元計測装置20は、車体前部2Fよりも前方の作業対象を計測する。三次元計測装置20は、三次元計測装置20から作業対象の表面の複数の各計測点までの相対位置を計測して、作業対象の三次元形状を計測する。制御装置80は、計測された作業対象の三次元形状に基づいて、作業対象に関するパラメータを算出する。後述するように、作業対象が積込対象である場合、積込対象に関するパラメータは、積込対象までの距離、積込対象の上端部の位置、及び積込対象の高さの少なくとも一つを含む。
【0025】
三次元計測装置20は、写真計測装置の一種であるステレオカメラ22を含む。ステレオカメラ22は、車体2の車幅方向の右側方及び左側方にそれぞれ配置されている。以下の説明においては、片側のステレオカメラ22について説明する。
【0026】
ステレオカメラ22は、前方を撮影する。ステレオカメラ22は、作業対象を撮像して、作業対象を計測する。本実施形態では、ステレオカメラ22は、少なくとも運搬車両LSなどの積込対象を含む作業対象を計測する。ステレオカメラ22の計測データは、作業対象の画像データを含む。画像データは、複数の画素により構成される。画像データは、計測データの一例である。
【0027】
ステレオカメラ22は、第1カメラ22Aと第2カメラ22Bとを一対として有する。第1カメラ22Aと第2カメラ22Bとは、間隔を空けて配置されている。第1カメラ22Aに取得された第1画像データ及び第2カメラ22Bに取得された第2画像データは、制御装置80に出力される。第1画像データ及び第2画像データは、二次元の画像データである。
【0028】
ブザー7は、運転台3の近傍に配置されている。ブザー7は、警報音を出力するブザー装置である。ブザー7は、判定部91の判定結果を出力する。ブザー7は、判定部91によって異常があると判定された場合、警報音を出力する。
【0029】
ランプ8は、運転台3の近傍に配置されている。ランプ8は、判定部91の判定結果を出力する。ランプ8は、判定部91によって正常であると判定された場合、警報灯を点灯する。ランプ8は、判定部91によって異常があると判定された場合、警報灯を点滅する。
【0030】
[動作]
図2は、本実施形態に係るホイールローダ1の動作を示す模式図である。ホイールローダ1は、複数の作業モードで作業する。作業モードは、作業機10のバケット12で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット12ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象は、例えば地面RS上の地山DSである。積込対象は、例えば地面RSを走行可能な運搬車両LSのベッセルBEである。運搬車両LSは、例えばダンプトラックである。
【0031】
掘削作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、地山DSに向かって前進する。運転者は、走行操作装置40を操作して、
図2の矢印M1で示すように、ホイールローダ1を前進させて地山DSに接近させる。制御装置80は、バケット12で地山DSが掘削されるように、作業機10を制御する。地山DSがバケット12により掘削され、掘削物がバケット12にすくい取られる。
【0032】
ホイールローダ1は、バケット12に掘削物が保持されている状態で、地山DSから離れるように後進する。運転者は、走行操作装置40を操作して、
図2の矢印M2で示すように、ホイールローダ1を後進させて地山DSから離間させる。
【0033】
次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されている状態で、運搬車両LSに向かって前進する。運転者は、走行操作装置40を操作して、
図2の矢印M3で示すように、ホイールローダ1を旋回させながら前進させて運搬車両LSに接近させる。このとき、ホイールローダ1に搭載されている三次元計測装置20は、運搬車両LSを計測する。制御装置80は、三次元計測装置20の計測データに基づいて、バケット12に保持されている掘削物が運搬車両LSのベッセルBEに積み込まれるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態において、ブーム11が上げ動作するように、作業機10を制御する。ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がチルト動作するように、作業機10を制御する。チルト動作されたバケット12から掘削物が排出され、ベッセルBEに積み込まれる。
【0034】
掘削物がベッセルBEに積み込まれた後、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、運搬車両LSから離れるように後進する。運転者は、走行操作装置40を操作して、
図2の矢印M4で示すように、ホイールローダ1を旋回させながら後進させて運搬車両LSから離間させる。
【0035】
運転者及び制御装置80は、ベッセルBEに掘削物が満載されるまで、又は、地山DSの掘削が完了するまで、上述の動作を繰り返す。
【0036】
図3は、本実施形態に係るホイールローダ1の積込作業モードを示す模式図である。運転者は、走行操作装置40を操作して、ホイールローダ1を旋回させながら前進させて運搬車両LSに接近させる。
図3(A)に示すように、三次元計測装置20は、運搬車両LSの三次元形状及び運搬車両LSとの相対位置を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1と運搬車両LSとの距離Db及びベッセルBEの上端部BEtの高さHbを検出する。
【0037】
図3(B)に示すように、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、三次元計測装置20の計測データに基づいて、バケット12がベッセルBEの上端部BEtよりも上方に配置され、かつ、バケット12に保持されている掘削物がバケット12からこぼれないように、バケット12の角度を制御しながら、ブーム11を上げ動作させる。
【0038】
図3(C)に示すように、ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がダンプ動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。
【0039】
図3(C)の後、運転者は、走行操作装置40を操作して、ホイールローダ1を旋回させながら後進させて運搬車両LSから離間させる。
【0040】
[制御装置]
図4は、本実施形態に係るホイールローダ1の制御システム200を示す機能ブロック図である。制御装置80は、コンピュータシステムを含む。制御装置80は、ホイールローダ1を制御する。制御装置80に、作業機10、三次元計測装置20、角度センサ50、走行操作装置40、ブザー7、及びランプ8が接続される。制御装置80は、計測データ取得部81と、記憶部82と、位置データ算出部83と、対象算出部86と、作業機制御部87と、判定部91と、出力制御部92とを有する。ブザー7は、出力部の一例である。ランプ8は、出力部の一例である。位置データ算出部83は、位置算出部の一例である。
【0041】
制御システム200は、異常判定システムの一例である。制御システム200は、作業機10、三次元計測装置20、角度センサ50、走行操作装置40、ブザー7、ランプ8、及び制御装置80を含む。
【0042】
計測データ取得部81は、三次元計測装置20の計測データを取得する。本実施形態において、計測データ取得部81は、ステレオカメラ22の第1カメラ22Aから第1画像データを取得し、第2カメラ22Bから第2画像データを取得する。計測データ取得部81により取得された作業対象の画像データは、対象算出部86及び判定部91に出力される。
【0043】
記憶部82は、作業機データを記憶する。作業機データは、例えば作業機10のCAD(Computer Aided Design)データを含む設計データ、又は、諸元データを含む。作業機データは、作業機10の寸法データを含む外形データを含む。
【0044】
本実施形態において、作業機データは、ブーム長さ、バケット長さ、及びバケット外形を含む。ブーム長さとは、ブーム回転軸とバケット回転軸との距離をいう。バケット長さとは、バケット回転軸とバケット12の先端部12Bとの距離をいう。ブーム回転軸とは、車体前部2Fに対するブーム11の回転軸をいい、車体前部2Fとブーム11とを連結する連結ピンを含む。バケット回転軸とは、ブーム11に対するバケット12の回転軸をいい、ブーム11とバケット12とを連結する連結ピンを含む。バケット外形は、バケット12の形状及び寸法を含む。バケット12の寸法は、バケット12の左端と右端との距離を示すバケット幅、バケット12の開口部の高さ、及びバケット底面長さなどを含む。
【0045】
バケット12の寸法データは、バケット12の外形を規定するデータである。本実施形態では、寸法データは、バケット12の外周上の複数の位置の位置データである。寸法データは、例えばバケット12の外周上の5か所の位置の位置データである。
【0046】
図5は、本実施形態に係るホイールローダ1のバケット12の寸法データの一例を説明する図である。本実施形態では、バケット12の寸法データは、バケット12の外周上の5つの点PA
0、点PB
0、点PC
0、点PD
0、及び点PE
0の位置データである。点PA
0、点PB
0、点PC
0、点PD
0、及び点PE
0を結んだ形状は五角形である。各点の測定誤差を考慮して、五角形を拡大して、点PA、点PB、点PC、点PD、及び点PEが設定される。点PA、点PB、点PC、点PD、及び点PEで囲まれた五角形の内側に、バケット12は位置する。
【0047】
位置データ算出部83は、角度センサ50の検出結果に基づいて、作業機10の姿勢を示す位置データを算出する。より詳しくは、位置データ算出部83は、角度センサ50により検出された作業機10の角度データと、記憶部82に記憶されている作業機10の作業機データとに基づいて、作業機10の位置データを算出する。作業機10の位置データは、例えば車体座標系におけるバケット12の各部位の位置データを含む。位置データ算出部83により算出された作業機10の位置データは、判定部91に出力される。
【0048】
位置データ算出部83は、ステレオカメラ22によって撮影したときの作業機10の姿勢に基づいてステレオカメラ22の撮像画像における作業機10の位置を推定する。
【0049】
撮像画像における作業機10の位置を推定する方法の一例を説明する。位置データ算出部83は、ブーム11の角度を検出するブーム角度センサ51と、バケット12の角度を検出するバケット角度センサ52と作業機10の寸法データから、車体座標系における作業機10の3次元の位置を算出する。位置データ算出部83は、車体座標系における作業機10の3次元の位置を座標変換して、カメラ座標系における作業機10の3次元の位置を算出する。なお、カメラ座標系は、ステレオカメラ22の第1カメラ22Aと第2カメラ22Bのそれぞれについて規定される。カメラ座標系は、第1カメラ22Aと第2カメラ22Bのそれぞれに固定された原点を基準とする座標系である。位置データ算出部83は、カメラ座標系における作業機10の3次元の位置をステレオカメラ22の取り付け位置から求まる第1カメラ22A、及び第2カメラ22Bの投影面に変換することで、撮像画像における作業機10の位置を推定することができる。投影面に変換する方法として、例えば、透視投影を用いることができる。なお、第1カメラ22Aと第2カメラ22Bのいずれか一方の撮像画像における作業機10の位置を推定するようにしてもよい。
【0050】
対象算出部86は、計測データ取得部81により取得された計測データに基づいて、ステレオカメラ22により計測された作業対象の三次元データを算出する。作業対象は、ベッセルBEを含む運搬車両LSのことである。作業対象の三次元データは、運搬車両LSの三次元形状を示す。
【0051】
対象算出部86は、第1カメラ22Aに取得された画像データと第2カメラ22Bに取得された画像データを三角測量の原理に基づいて画像処理を実施して、作業対象の三次元形状を計測する。対象算出部86は、画像データである第1画像データ及び第2画像データをステレオ処理して、ステレオカメラ22から各画素に写る作業対象の表面における複数の計測点までの距離を算出する。対象算出部86は、各計測点までの距離に基づいて、例えば車体座標系における三次元データを算出する。
【0052】
本実施形態では、対象算出部86は、運搬車両LSの三次元データに基づいて、運搬車両LSに関するパラメータを算出する。運搬車両LSに関するパラメータは、地面RSを基準とした運搬車両LS(ベッセルBE)の上端部BEtの位置(高さ)、及びホイールローダ1から運搬車両LSまでの距離Dbを含む。ホイールローダ1から運搬車両LSまでの距離Dbは、例えばバケット12の先端部12Bと、水平方向においてバケット12の先端部12Bに最も近い運搬車両LSの部位を示す最近接点との距離である。
【0053】
作業機制御部87は、対象算出部86により算出された作業対象の三次元データに基づいて、作業対象に掘削物を積み込む作業機10の動作を制御する。本実施形態では、作業機制御部87は、算出された運搬車両LSの三次元データに基づいて、ベッセルBEに掘削物を積み込む作業機10の動作を制御する。作業機制御部87は、ベッセルBEの上端部BEtの高さHbを示す高さデータ及びホイールローダ1から運搬車両LSまでの距離Dbを示す距離データに基づいて、ベッセルBEに掘削物を積み込む作業機10の動作を制御する。
【0054】
作業機制御部87による作業機10の動作の制御は、ブームシリンダ13及びバケットシリンダ14の少なくとも一方の動作の制御を含む。より詳しくは、作業機制御部87は、ブーム制御弁及に制御信号を出力して、ブームシリンダ13に供給される作動油の流量及び方向を制御して、ブーム11の上げ下げ動作を制御する。作業機制御部87は、バケット制御弁に制御信号を出力して、バケットシリンダ14に供給される作動油の流量及び方向を制御して、バケット12の上げ下げ動作を制御する。
【0055】
本実施形態において、ホイールローダ1は、トランスミッション制御部88と、走行制御部89とを有する。
【0056】
トランスミッション制御部88は、トランスミッション装置30を制御する制御信号を出力する。
【0057】
走行制御部89は、運転者による走行操作装置40の操作に基づいて、走行装置4の動作を制御する。走行制御部89は、走行装置4を作動するための運転指令を出力する。走行制御部89は、駆動装置4Aを作動するためのアクセル指令を出力する。走行制御部89は、ブレーキ装置4Bを作動するためのブレーキ指令を出力する。走行制御部89は、操舵装置4Cを作動するためのステアリング指令を出力する。
【0058】
判定部91は、位置データ算出部83によって推定された作業機10の位置に基づいて、ステレオカメラ22が正常であるか否かを判定する。より詳しくは、判定部91は、位置データ算出部83によって推定された撮像画像における作業機10の位置と、ステレオカメラ22が撮像した撮像画像の作業機10の実際の位置とからステレオカメラ22が正常であるか否かを判定する。判定部91は、推定した撮像画像における作業機10の位置と、ステレオカメラ22が撮像した撮像画像の作業機10の実際の位置とが一致する場合、又は、ずれが所定範囲内である場合、ステレオカメラ22が正常であると判定する。判定部91は、推定した撮像画像における作業機10の位置と、ステレオカメラ22が撮像した撮像画像の作業機10の実際の位置とが一致しない場合、又は、ずれが所定範囲外である場合、ステレオカメラ22が正常ではないと判定する。
【0059】
判定部91における、他の判定方法について説明する。ステレオカメラ22が撮像した撮像画像における作業機10の位置を作業機10の姿勢に対応させて記憶部82に記憶しておく。位置データ算出部83は、ステレオカメラ22が撮像したときの作業機10の姿勢から、撮像画像における作業機10の位置を記憶部82から取得する。撮像画像における作業機10の位置を記憶部82から取得することは、作業機の位置の推定の一例である。判定部91は、ステレオカメラ22が撮像したときの作業機10の姿勢から、記憶部82から取得された撮像画像における作業機10の位置と、ステレオカメラ22が撮像した撮像画像における作業機10の実際の位置を比較し、ステレオカメラ22が正常であるか否かを判定してもよい。なお、ステレオカメラ22が撮像した撮像画像における作業機10の位置を、作業機10の各部位の寸法データと作業機10の位置との組み合わせに対応させて記憶部82に記憶しておいてもよい。
【0060】
図6を用いて、判定部91による判定方法について詳しく説明する。
図6は、ステレオカメラ22により撮像された画像データ100の一例を示す図である。バケット12の位置に応じて、画像データ100においてバケット12が写される範囲が規定可能である。より詳しくは、まず、判定部91は、画像データ100にパターンマッチングなどの画像処理を行って、バケット12を認識する。そして、判定部91は、位置データ算出部83によって推定された作業機10の位置の範囲のバケット12の画素の数と、推定された作業機10の位置から外れた範囲のバケット12の数をカウントする。判定部91は、範囲内のバケット12の画素の数が閾値以上である場合、正常であると判定する。判定部91は、範囲内のバケット12の画素の数が閾値未満である場合、異常であると判定する。例えば、
図6に示す画像データ100において、バケット12の推定位置は領域101内である。言い換えると、画像データ100において、バケット12は、領域101内の画素で示される。
【0061】
本実施形態では、判定部91は、作業機10が所定領域A1内及び所定角度A2内に存在する場合に判定を行ってもよい。画像データ100には、例えば地面RS、周囲の物体又は作業機10が写されている。作業機10以外の物体を検出したときの画像データに基づいて、誤った判定を行わないようにするためである。
【0062】
図7は、ホイールローダ1の作業機10の所定領域A1及び所定角度範囲A2を説明する図である。本実施形態では、判定部91は、バケット12が所定領域A1内及び所定角度範囲A2内に存在する場合に判定を行う。判定部91は、バケット12がホイールローダ1より前側の所定領域A1内に存在し、バケット12の角度が所定角度範囲A2内である場合、判定を行う。所定領域A1よりホイールローダ1側は、車体2を誤検出するおそれがある。所定領域A1より遠方側は、作業現場の周辺の建物及び障害物などを誤検出するおそれがある。バケット12の角度が所定角度範囲A2外である場合、画像データにバケット12が写らない。
【0063】
本実施形態では、判定部91は、ステレオカメラ22及び角度センサ50に基づく作業機10の位置関係が正常であるか否かを判定してもよい。言い換えると、判定部91は、ステレオカメラ22及び角度センサ50に基づく作業機10の位置関係が正常であるか否かを判定してもよい。
【0064】
例えば、ステレオカメラ22及び角度センサ50に基づく作業機10の位置関係が正常であると判定された場合、ステレオカメラ22のユニットとしての取り付け姿勢が適切であり、ステレオカメラ22の第1カメラ22Aと第2カメラ22Bとの相対的な姿勢が適切であり、角度センサ50のブーム角度センサ51及びバケット角度センサ52の取り付け姿勢が適切であり、さらに、寸法データが適切に入力されている、ことをすべて満たしている。
【0065】
例えば、ステレオカメラ22及び角度センサ50に基づく作業機10の位置関係が異常であると判定された場合、その原因は、ステレオカメラ22のユニットとしての取り付け姿勢がずれている、ステレオカメラ22の第1カメラ22Aと第2カメラ22Bとの相対的な姿勢がずれている、角度センサ50のブーム角度センサ51又はバケット角度センサ52の取り付け姿勢がずれている、又は、寸法データが間違っている、の少なくともいずれか1つに該当する。
【0066】
判定部91は、右側方のステレオカメラ22と、左側方のステレオカメラ22とについて、それぞれ上述した判定処理を行う。右側方のステレオカメラ22及び左側方のステレオカメラ22についてどちらも異常があると判定された場合、ステレオカメラ22以外に異常があると判定可能である。右側方のステレオカメラ22又は左側方のステレオカメラ22のどちらか一方について異常があると判定された場合、ステレオカメラ22に異常があると判定可能である。
【0067】
出力制御部92は、判定部91の判定結果を出力するよう制御する。出力制御部92は、判定部91によって異常であると判定された場合、ブザー7から警報音を出力するよう制御する。出力制御部92は、判定部91によって異常であると判定された場合、ランプ8を点滅するよう制御する。出力制御部92は、判定部91によって正常であると判定された場合、ランプ8を点灯するよう制御する。
【0068】
[始業点検における異常判定方法]
図8は、本実施形態に係るホイールローダ1の異常判定方法を示すフローチャートである。ホイールローダ1を使用した作業の始業時に、運転者によって、図示しない操作部を介して始業点検モードでホイールローダ1が起動される。
【0069】
制御装置80は、図示しない操作受付部によって、始業点検モード指示を受け付ける(ステップS11)。制御装置80は、ステップS12へ進む。
【0070】
運転者は、始業点検モードを行う際、ホイールローダ1の作業機10を上げ下げする操作を行う。
【0071】
作業機10を撮像する(ステップS12)。より詳しくは、ステレオカメラ22は、前方を計測する。ステレオカメラ22の計測データは、制御装置80の計測データ取得部81に出力される。制御装置80は、計測データ取得部81によって、ステレオカメラ22が撮像した作業機10を含む、車体2の前方を撮影した画像データを取得する。計測データ取得部81により取得された作業機10を含む画像データは、判定部91に出力される。制御装置80は、ステップS13へ進む。
【0072】
作業機10の角度を検出する(ステップS13)。角度センサ50は、ステレオカメラ22によって撮像した際の作業機10の角度を検出する。作業機10の角度を示す角度データは、制御装置80の位置データ算出部83及び判定部91に出力される。制御装置80は、位置データ算出部83によって、角度センサ50が検出した角度データに基づいて、作業機10の姿勢を示す位置データを算出する。位置データ算出部83が算出した位置データは、判定部91に出力される。制御装置80は、ステップS14へ進む。
【0073】
このようなステップS12及びステップS13の処理は、作業機10を上げ下げしている間に行われる。例えば、作業機10の上げ下げ中に、所定時間間隔で繰り返し行ってもよい。例えば、作業機10の上げ下げ中に、作業機10が所定の位置になった場合に行ってもよい。例えば、作業機10の上げ下げ中に、
図7に示す作業機10が所定領域A1内及び所定角度A2内に存在する場合に繰り返し行ってもよい。
【0074】
制御装置80は、判定部91によって、異常の有無を判定する(ステップS14)。本実施形態では、制御装置80は、判定部91によって、ステレオカメラ22によって撮像したときの、作業機10の姿勢から規定される、計測データにおける作業機10の推定位置と、計測データにおける作業機10の位置とを比較して、ステレオカメラ22の取り付け位置が正常であるか否かを判定する。より詳しくは、位置データ算出部83は、作業機の位置データと、作業機10の寸法データとに基づいて、画像データ100においてバケット12が写される範囲を推定する。そして、判定部91は、画像データにおけるバケット12の推定位置にバケット12が写っている場合、ステレオカメラ22が正常であると判定する。判定部91は、画像データにおけるバケット12の推定位置にバケット12が写っていない場合、ステレオカメラ22が正常ではないと判定する。制御装置80は、ステップS15へ進む。
【0075】
ステップS12及びステップS13が複数回実行されて、ステレオカメラ22が複数枚の画像データを撮像していた場合について説明する。この場合、判定部91は、各画像データについてステレオカメラ22の取り付け位置が正常であるか否かを判定する。そして、所定割合以上が正常ではないと判定された場合に、判定部91は、ステレオカメラ22が正常ではないと判定してもよい。
【0076】
制御装置80は、出力制御部92によって、判定部91の判定結果を出力する(ステップS15)。本実施形態では、制御装置80は、出力制御部92によって、異常であると判定された場合、ブザー7から警報音を出力し、ランプ8を点滅するよう制御する。制御装置80は、出力制御部92によって、正常であると判定された場合、ランプ8を点灯するよう制御する。制御装置80は、処理を終了する。
【0077】
[コンピュータシステム]
図9は、コンピュータシステム1000の一例を示すブロック図である。上述の制御装置80は、コンピュータシステム1000によって構成される。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置80の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
【0078】
[効果]
以上説明したように、本実施形態は、三次元計測装置20によって計測したときの、作業機10の姿勢から規定される、三次元計測装置20が計測した計測データにおける作業機10の推定位置に基づいて、三次元計測装置20が正常であるか否かを判定できる。本実施形態によれば、ホイールローダ1の作業機10の位置の計測に使用する三次元計測装置20が正常であるか否かを適切に判定できる。
【0079】
本実施形態は、三次元計測装置20及び角度センサ50に基づく作業機10の位置関係が正常であるか否かを判定することにより、三次元計測装置20が正常であるか、角度センサ50が正常であるか、及び寸法データの入力が適切であるかを判定できる。
【0080】
例えば、三次元計測装置20及び角度センサ50に基づく作業機10の位置関係が正常であると判定された場合、ステレオカメラ22のユニットとしての取り付け姿勢が適切であり、ステレオカメラ22の第1カメラ22Aと第2カメラ22Bとの相対的な姿勢が適切であり、角度センサ50のブーム角度センサ51及びバケット角度センサ52の取り付け姿勢が適切であり、さらに、寸法データが適切に入力されている、ことをすべて満たしていることを確認できる。
【0081】
例えば、三次元計測装置20及び角度センサ50に基づく作業機10の位置関係が異常であると判定された場合、ステレオカメラ22のユニットとしての取り付け姿勢がずれている、ステレオカメラ22の第1カメラ22Aと第2カメラ22Bとの相対的な姿勢がずれている、角度センサ50のブーム角度センサ51又はバケット角度センサ52の取り付け姿勢がずれている、又は、寸法データが間違っている、の少なくともいずれか1つが原因であると判定できる。
【0082】
例えば、右側方のステレオカメラ22及び左側方のステレオカメラ22についてどちらも異常があると判定された場合、ステレオカメラ22以外に異常があると判定できる。例えば、右側方のステレオカメラ22又は左側方のステレオカメラ22のどちらか一方について異常があると判定された場合、ステレオカメラ22に異常があると判定できる。
【0083】
本実施形態は、三次元計測装置20によって計測したときの、作業機10の姿勢と作業機10の寸法データとから規定される、計測データにおける作業機10の推定位置に基づいて、三次元計測装置20が正常であるか否かをより適切に判定できる。
【0084】
本実施形態は、寸法データとして、作業機10の外周上の複数の位置の位置データを用いる。本実施形態は、作業機10の外形を適切に規定できる。また、本実施形態は、寸法データとして、作業機10の外周上の5か所の位置の位置データを用いる。本実施形態は、作業機10の外形をより適切に規定できる。
【0085】
本実施形態は、作業機10が所定領域内及び所定角度内に存在する場合に判定することにより、三次元計測装置20による車体2、作業現場の周辺の建物及び障害物などの誤検出を抑制できる。本実施形態によれば、三次元計測装置20が撮影した画像データにバケット12が写っていないような状態を除いて判定できる。
【0086】
本実施形態は、三次元計測装置20によって計測したときの、作業機10の姿勢から規定される、計測データにおける作業機10の推定位置と、計測データにおける作業機10の位置とを比較して、三次元計測装置20の取り付け位置が正常であるか否かを判定できる。
【0087】
本実施形態は、角度センサ50の検出結果に基づいて、作業機10の姿勢を示す位置データを算出する。本実施形態は、作業機10の姿勢を適切に算出できる。
【0088】
本実施形態は、三次元計測装置20及び角度センサ50に基づく作業機10の位置関係が正常であるか否かを判定できる。本実施形態によれば、三次元計測装置20及び角度センサ50が正常であるか否かを判定できる。
【0089】
本実施形態は、三次元計測装置20によって計測したときの、作業機10の姿勢と記憶部82に記憶された作業機データとから規定される、計測データにおける作業機10の推定位置に基づいて判定できる。本実施形態によれば、より適切に判定できる。
【0090】
本実施形態は、判定結果を、例えばブザー7又はランプ8によって出力できる。
【0091】
[その他の実施形態]
上述の各実施形態において、三次元計測装置20は、ステレオカメラ22に限定されるものではなく、例えばカメラまたはレーザスキャナでもよい。ステレオカメラ22は、車体2の右側方及び左側方どちらかに配置されていればよい。
図1に示したステレオカメラ22の配置は一例であり、他の場所に配置されていてもよい。
【0092】
ホイールローダ1が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。
【0093】
ホイールローダ1は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。
【0094】
上述の実施形態において、バケット12は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。
【0095】
ブーム11の先端部に連結される作業部材は、バケット12でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。
【0096】
角度センサ50は、ブーム角度センサ51とバケット角度センサ52とのどちらか1つを備えるものでもよい。
【0097】
ランプ8に変えて、ホイールローダ1に設定された、図示しないモニタに判定結果を表示してもよい。ブザー7、ランプ8、モニタは、ホイールローダ1に備えている必要はなく、いずれか1つ以上を備えるものでもよい。また、ブザー7、ランプ8、モニタは、ホイールローダ1の外に備えるようにしてもよい。
【0098】
上述した実施形態に係る制御システム200は、制御システム200を構成する一部の構成が作業機械1の内部に搭載され、他の構成が作業機械1の外部に設けられてもよい。また、上述した実施形態に係る制御システム200は、作業機10、三次元計測装置20、角度センサ50、走行操作装置40、ブザー7、ランプ8、及び制御装置80を含むものとして説明したが、これに限定されず、一部の構成は含まないものであってもよい。一例として、ブザー7、ランプ8を含まない制御システム200としてもよい。
【0099】
上述した実施形態に係る制御装置80は、単独のコンピュータによって構成されるものであってもよいし、制御装置80の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで制御装置80として機能するものであってもよい。
【0100】
作業機械1は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する作業機械に上述の実施形態で説明した制御装置80及び異常判定方法を適用することができる。
【符号の説明】
【0101】
1…ホイールローダ(作業機械)、2…車体、2F…車体前部、2R…車体後部、3…運転台、4…走行装置、4A…駆動装置、4B…ブレーキ装置、4C…操舵装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、7…ブザー(出力部)、8…ランプ(出力部)、9…関節機構、10…作業機、11…ブーム、12…バケット、12B…先端部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…リンク、20…三次元計測装置、22…ステレオカメラ、22A…第1カメラ、22B…第2カメラ、30…トランスミッション装置、40…走行操作装置、50…角度センサ(角度検出部)、51…ブーム角度センサ、52…バケット角度センサ、80…制御装置、81…計測データ取得部、82…記憶部、83…位置データ算出部(位置算出部)、86…対象算出部、87…作業機制御部、88…トランスミッション制御部、89…走行制御部、91…判定部、92…出力制御部、100…画像データ、200…制御システム(異常判定システム)、BE…ベッセル(積込対象)、DS…地山(掘削対象)、FX…回転軸、LS…運搬車両、RX…回転軸、RS…地面。