(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007150
(43)【公開日】2025-01-17
(54)【発明の名称】作業機械の監視システム及び作業機械の監視方法
(51)【国際特許分類】
E02F 9/24 20060101AFI20250109BHJP
E02F 9/26 20060101ALI20250109BHJP
【FI】
E02F9/24 B
E02F9/26 B
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023108358
(22)【出願日】2023-06-30
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】村上 友哉
(72)【発明者】
【氏名】園山 昌司
(72)【発明者】
【氏名】江本 遼平
(72)【発明者】
【氏名】平間 翔大
(72)【発明者】
【氏名】董 鯉
(72)【発明者】
【氏名】今泉 雅明
【テーマコード(参考)】
2D015
【Fターム(参考)】
2D015GA03
2D015GB04
2D015HA03
(57)【要約】
【課題】地面の転石の有無の判定条件を調整すること。
【解決手段】作業機械の監視システムは、作業機械が走行する地面の計測データを取得する計測データ取得部と、作業機械からの距離に基づいて、計測データの少なくとも一部分を調整する計測データ調整部と、調整された後の計測データにおいて地面の転石の有無を判定する転石判定部と、を備える。
【選択図】
図12
【特許請求の範囲】
【請求項1】
作業機械が走行する地面の計測データを取得する計測データ取得部と、
前記作業機械からの距離に基づいて、前記計測データの少なくとも一部分を調整する計測データ調整部と、
調整された後の計測データにおいて前記地面の転石の有無を判定する転石判定部と、を備える、
作業機械の監視システム。
【請求項2】
前記計測データから転石を検知する転石検知部を備え、
前記計測データ調整部は、前記作業機械と前記転石との距離が第1距離である場合、前記転石を含む前記計測データの一部分を第1調整し、前記作業機械と転石との距離が第2距離である場合、前記転石を含む前記計測データの一部分を第2調整する、
請求項1に記載の作業機械の監視システム。
【請求項3】
前記作業機械と前記転石との距離に基づいて設定された係数を記憶する係数記憶部を備え、
前記計測データ調整部は、前記係数に基づいて、前記計測データの一部分を調整する、
請求項2に記載の作業機械の監視システム。
【請求項4】
前記計測データは、前記地面の画像を含み、
前記計測データ調整部は、前記係数に基づいて、前記計測データの一部分のピクセル数を調整する、
請求項3に記載の作業機械の監視システム。
【請求項5】
前記転石判定部は、前記ピクセル数が予め定められている閾値を上回る場合、転石が有ると判定し、前記ピクセル数が前記閾値以下である場合、転石が無いと判定する、
請求項4に記載の作業機械の監視システム。
【請求項6】
前記転石の有無に基づいて、出力装置から警告を出力させる警告制御部を備える、
請求項1に記載の作業機械の監視システム。
【請求項7】
前記計測データは、前記地面の画像を含み、
前記出力装置は、前記地面の画像を表示する表示装置を含み、
前記警告を出力することは、前記地面の画像に含まれる転石を強調する警告画像を表示することを含む、
請求項6に記載の作業機械の監視システム。
【請求項8】
前記作業機械は、回転部材を有し、
前記回転部材が前記地面に接触した状態で回転することにより、前記作業機械が地面を走行する、
請求項1に記載の作業機械の監視システム。
【請求項9】
作業機械が走行する地面の計測データを取得することと、
前記作業機械からの距離に基づいて、前記計測データの少なくとも一部分を調整することと、
調整された後の計測データにおいて前記地面の転石の有無を判定することと、を含む、
作業機械の監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械の監視システム及び作業機械の監視方法に関する。
【背景技術】
【0002】
作業機械は、作業現場において稼働する。作業現場の地面に転石が存在する可能性がある。作業機械が転石を踏んでしまうと、作業機械の走行に支障をきたす可能性がある。特許文献1には、タイヤを破損するおそれがあるような留意すべき岩石が存在する場合、ホイールローダの運転室に警告を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
地面に転石が有る場合、警告が出力されることにより、作業機械の運転者は、転石の存在を認識することができる。例えば運転者の要求に合わせて、地面の転石の有無を判定するときの判定条件を調整できる技術が要望される。
【0005】
本開示は、地面の転石の有無の判定条件を調整することを目的とする。
【課題を解決するための手段】
【0006】
本開示に従えば、作業機械が走行する地面の計測データを取得する計測データ取得部と、作業機械からの距離に基づいて、計測データの少なくとも一部分を調整する計測データ調整部と、調整された後の計測データにおいて地面の転石の有無を判定する転石判定部と、を備える、作業機械の監視システムが提供される。
【発明の効果】
【0007】
本開示によれば、地面の転石の有無の判定条件を調整することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る作業機械を示す側面図である。
【
図2】
図2は、実施形態に係る作業機械を示す上面図である。
【
図3】
図3は、実施形態に係る作業機械を示す正面図である。
【
図4】
図4は、実施形態に係る運転台の運転室を示す図である。
【
図5】
図5は、実施形態に係る作業機械の一部を拡大した正面図である。
【
図6】
図6は、実施形態に係る作業機械の駆動システムを示す図である。
【
図7】
図7は、実施形態に係る作業機の動作を説明する図である。
【
図8】
図8は、実施形態に係る作業機械の動作を説明する図である。
【
図9】
図9は、実施形態に係る積込作業を実施する作業機械を示す側面図である。
【
図10】
図10は、実施形態に係る積込作業を実施する作業機械を示す上面図である。
【
図11】
図11は、実施形態に係る左側の撮像装置により撮像された画像データの一例を示す図である。
【
図12】
図12は、実施形態に係る監視システムを示す機能ブロック図である。
【
図13】
図13は、実施形態に係る警告基準を説明する図である。
【
図14】
図14は、実施形態に係る計測データの調整を説明する図である。
【
図15】
図15は、実施形態に係るピクセル数の調整を説明する図である。
【
図16】
図16は、実施形態に係る転石の有無の判定を説明する図である。
【
図17】
図17は、実施形態に係る出力装置の一例を示す図である。
【
図18】
図18は、実施形態に係る地面の監視方法を示すフローチャートである。
【
図19】
図19は、実施形態に係るコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
[作業機械]
図1は、実施形態に係る作業機械1を示す側面図である。
図2は、実施形態に係る作業機械1を示す上面図である。
図3は、実施形態に係る作業機械1を示す正面図である。
【0011】
作業機械1は、作業現場において稼働する。実施形態において、作業機械1は、アーティキュレート作業機械の一種であるホイールローダである。作業機械1は、作業現場において作業を実施する。作業機械1が実施する作業は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を含む。
【0012】
図1、
図2、及び
図3に示すように、作業機械1は、車体2と、運転台3と、走行装置4と、フロントフェンダ7と、支持部材8と、ハウジング9と、作業機10と、角度センサ90と、負荷センサ93とを備える。
【0013】
車体2は、前部車体2Fと、後部車体2Rとを含む。前部車体2Fと後部車体2Rとは、関節機構2Aを介して連結される。
【0014】
運転台3は、車体2に支持される。運転台3に運転室が設けられる。運転室に運転席が設けられる。作業機械1は、運転台3に搭乗した運転者に操作される。
【0015】
走行装置4は、車体2を支持して作業現場の地面200を走行する。走行装置4は、車輪5と、タイヤ6とを有する。タイヤ6は、車輪5に装着される。車輪5は、前部車体2Fに支持される前輪5Fと、後部車体2Rに支持される後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。
【0016】
前輪5F及び前タイヤ6Fは、回転軸FXを中心に回転可能である。後輪5R及び後タイヤ6Rは、回転軸RXを中心に回転可能である。
【0017】
実施形態において、前輪5Fの回転軸FXに平行な方向を適宜、車幅方向、と称する。地面200に接触する前タイヤ6Fの接地面に直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方に直交する方向を適宜、前後方向、と称する。作業機械1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
【0018】
また、実施形態において、作業機械1の車幅方向において作業機械1の中心CLに近い位置又は方向を適宜、車幅方向の内側、と称し、中心CLから遠い位置又は方向を適宜、車幅方向の外側、と称する。
【0019】
車幅方向において作業機械1の中心CLよりも一方側は、左であり、左の逆側は、右である。前後方向において運転台3の運転席を基準として作業機10に近い位置又は方向は、前であり、前の逆側は、後である。上下方向において前タイヤ6Fの接地面に近い位置又は方向は、下であり、下の逆側は、上である。
【0020】
後部車体2Rは、前部車体2Fよりも後側に配置される。前部車体2Fは、後部車体2Rに対して左側及び右側のそれぞれに屈曲する。後輪5Rは、前輪5Fよりも後側に配置される。後タイヤ6Rは、前タイヤ6Fよりも後側に配置される。前輪5F及び前タイヤ6Fは、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。後輪5R及び後タイヤ6Rは、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。
【0021】
タイヤ6は、地面200に接触した状態で回転する回転部材である。タイヤ6が地面200に接触した状態で回転することにより、作業機械1が地面200を走行する。前タイヤ6Fは、地面200に接触した状態で回転する前側回転部材である。後タイヤ6Rは、前タイヤ6Fよりも後側に配置され、地面200に接触した状態で回転する後側回転部材である。
【0022】
フロントフェンダ7は、作業機械1の走行において地面200から飛散した土砂が車体2及び運転台3に当たることを抑制する。フロントフェンダ7の一部は、前タイヤ6Fの上側に配置される。フロントフェンダ7の一部は、前タイヤ6Fの後側に配置される。フロントフェンダ7は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。フロントフェンダ7は、中心CLよりも左側に配置されるフロントフェンダ7Lと、中心CLよりも右側に配置されるフロントフェンダ7Rとを含む。左側のフロントフェンダ7Lは、前部車体2Fの左部に取り付けられる。右側のフロントフェンダ7Rは、前部車体2Fの右部に取り付けられる。
【0023】
支持部材8は、棒状の部材である。支持部材8の下端部は、前部車体2Fに固定される。支持部材8は、上方に向かって前側且つ車幅方向の外側に傾斜する。支持部材8は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。支持部材8は、中心CLよりも左側に配置される支持部材8Lと、中心CLよりも右側に配置される支持部材8Rとを含む。左側の支持部材8Lの下端部は、前部車体2Fの左部に固定される。左側の支持部材8Lは、上方に向かって前側且つ左側に傾斜する。右側の支持部材8Rの下端部は、前部車体2Fの右部に固定される。右側の支持部材8Rは、上方に向かって前側且つ右側に傾斜する。
【0024】
ハウジング9は、支持部材8の上端部に固定される。ハウジング9は、支持部材8を介して前部車体2Fに支持される。前後方向において、ハウジング9は、関節機構2Aと前部車体2Fの前端部との間に配置される。上下方向において、ハウジング9は、運転台3の上端部と前部車体2Fの上端部との間に配置される。ハウジング9は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。ハウジング9は、中心CLよりも左側に配置されるハウジング9Lと、中心CLよりも右側に配置されるハウジング9Rとを含む。左側のハウジング9Lは、左側の支持部材8Lの上端部に固定される。右側のハウジング9Rは、右側の支持部材8Rの上端部に固定される。左側のハウジング9Lは、左側のフロントフェンダ7Lの上側に配置される。右側のハウジング9Rは、右側のフロントフェンダ7Rの上側に配置される。
【0025】
作業機10は、掘削対象を掘削可能である。作業機10は、掘削作業及び積込作業において動作する。作業機10は、前部車体2Fに連結される。作業機10の少なくとも一部は、前輪5Fよりも前側に配置される。作業機10は、ブーム11と、バケット12と、ベルクランク15と、バケットリンク16とを有する。
【0026】
ブーム11は、前部車体2Fに回動可能に連結される。ブーム11は、前部車体2Fとバケット12とを連結する。ブーム11は、ブームシリンダ13が発生する駆動力により動作する。ブームシリンダ13は、ブーム11を動作させる。ブームシリンダ13は、油圧シリンダである。ブームシリンダ13の一端部は、前部車体2Fに連結される。ブームシリンダ13の他端部は、ブーム11に連結される。ブームシリンダ13は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。
【0027】
バケット12は、掘削対象を掘削する。バケット12は、ブーム11の先端部に回動可能に連結される。バケット12は、前輪5Fよりも前側に配置される。バケット12は、バケットシリンダ14が発生する駆動力により動作する。バケットシリンダ14は、バケット12を動作させる。バケットシリンダ14は、油圧シリンダである。ベルクランク15の中央部がブーム11に回転可能に連結される。バケットシリンダ14の一端部は、前部車体2Fに連結される。バケットシリンダ14の他端部は、ベルクランク15の一端部に連結される。ベルクランク15の他端部は、バケットリンク16を介してバケット12に連結される。バケットシリンダ14は、車幅方向の中央部に1つ配置される。
【0028】
バケット12は、バケット本体17と、バケットツース18と、ツース間プロテクタ19とを有する。
【0029】
バケット本体17は、掘削物を保持する。バケット本体17は、底板部17Aと、上板部17Bと、左板部17Cと、右板部17Dとを含む。底板部17Aと上板部17Bと左板部17Cと右板部17Dとにより、掘削物が収容される保持空間が形成される。底板部17Aの先端部及び上板部17Bの先端部のそれぞれは、車幅方向に延伸する。左板部17Cの先端部及び右板部17Dの先端部のそれぞれは、上下方向又は前後方向に延伸する。底板部17Aの先端部と上板部17Bの先端部と左板部17Cの先端部と右板部17Dの先端部とにより、バケット12の開口部12Mが規定される。掘削物は、開口部12Mを介してバケット12の保持空間に入ることができる。
【0030】
図2及び
図3に示すように、バケット本体17の車幅方向の両側の端部12Eは、タイヤ6よりも車幅方向の外側に配置される。左側の端部12Eと右側の端部12Eとの車幅方向の距離は、左側のタイヤ6の左側面と右側のタイヤ6の右側面との車幅方向の距離よりも大きい。
【0031】
バケットツース18は、バケット12の刃先を構成する。バケットツース18は、バケット本体17に交換可能に取り付けられる。バケットツース18は、底板部17Aの先端部に取り付けられる。バケットツース18は、バケット本体17に複数取り付けられる。複数のバケットツース18は、車幅方向に間隔をあけて配置される。実施形態において、バケットツース18は、車幅方向に間隔をあけて8個配置される。
【0032】
ツース間プロテクタ19は、底板部17Aの先端部を保護する。ツース間プロテクタ19は、バケット本体17に交換可能に取り付けられる。ツース間プロテクタ19は、相互に隣り合う一対のバケットツース18の間に配置される。ツース間プロテクタ19は、底板部17Aの先端部に取り付けられる。ツース間プロテクタ19は、バケット本体17に複数取り付けられる。複数のツース間プロテクタ19は、車幅方向に間隔をあけて配置される。実施形態において、ツース間プロテクタ19は、車幅方向に間隔をあけて7個配置される。
【0033】
角度センサ90は、作業機10の姿勢を検出する姿勢センサである。作業機10の姿勢は、作業機10の角度を含む。角度センサ90は、作業機10に設けられる。角度センサ90は、ブーム11の角度を検出するブーム角度センサ91と、バケット12の角度を検出するバケット角度センサ92とを含む。ブーム角度センサ91は、例えば前部車体2Fに規定された車体座標系の基準軸に対するブーム11の角度を検出する。バケット角度センサ92は、ブーム11に対するバケット12の角度を検出する。角度センサ90として、ポテンショメータが例示される。なお、作業機10の姿勢を検出する姿勢センサは、油圧シリンダ(ブームシリンダ13、バケットシリンダ14)のストロークを検出するストロークセンサでもよい。作業機10の姿勢を検出する姿勢センサは、加速度、角速度を検出するIMU(Inertial Measurement Unit:慣性計測装置)でもよい。
【0034】
負荷センサ93は、作業機10に掛かる負荷を検出する。負荷センサ93は、バケット12に掘削物が保持されているか否かを検出することができる。負荷センサ93は、バケット12に保持されている掘削物の重量を検出することができる。負荷センサ93として、ブームシリンダ13のボトム室の作動油の圧力を検出する圧力センサが例示される。
【0035】
[運転室]
図4は、実施形態に係る運転台3の運転室を示す図である。
図4は、運転室の運転席に着座した運転者から見た景色を模式的に示す図である。
【0036】
運転室には、運転操作装置20、操作パネル21、モニタ装置22、リアビューモニタ装置23、出力装置24、及び入力装置25が配置される。運転操作装置20は、運転者に操作される。運転操作装置20は、アクセルペダル20A及び一対のブレーキペダル20Bを含む。また、不図示であるが、運転操作装置20は、ステアリングレバー、シフトレバー、前後進レバー、及び作業レバーを含む。アクセルペダル20Aが操作されることにより、作業機械1の走行速度が上昇する。ブレーキペダル20Bが操作されることにより、作業機械1の走行速度が低下したり作業機械1の走行が停止したりする。ステアリングレバーが操作されることにより、作業機械1が旋回する。シフトレバーが操作されることにより、作業機械1の速度段が変更される。前後進レバーが操作されることにより、作業機械1の進行方向が前進方向と後進方向とに切り換えられる。作業レバーが操作されることにより、作業機10が動作する。モニタ装置22は、作業機械1が有する複数の機能に係るデータを表示する。リアビューモニタ装置23は、不図示の作業機械1の後部に設けられたカメラにより撮像された作業機械1の車体2の後方の画像を表示する。
【0037】
出力装置24は、運転者に出力データを提供する。出力データは、警告を含む。出力装置24は、表示装置24Aと、発音装置24Bとを含む。
【0038】
表示装置24Aは、出力データとして運転者に表示データを提供する。表示装置24Aとして、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイが例示される。
【0039】
発音装置24Bは、出力データとして運転者に音声データを提供する。発音装置24Bとして、ブザー又はスピーカが例示される。
【0040】
入力装置25は、運転者に操作されることにより入力データを生成する。入力装置25として、ボタン又はキーボードが例示される。なお、入力装置25は、例えばタッチパネルを含んでもよい。
【0041】
運転室の前部にフロントガラスが設けられる。フロントガラスは、運転室のピラー27に取り付けられる。実施形態において、出力装置24は、ピラー27に支持される。なお、出力装置24は、タブレット型端末などでもよい。なお、モニタ装置22、リアビューモニタ装置23、出力装置24は、一部又は全部が一体でもよい。
【0042】
[計測装置]
図5は、実施形態に係る作業機械1の一部を拡大した正面図である。
図3及び
図5に示すように、作業機械1は、前照灯28と、ウインカーランプ29と、計測装置32とを有する。
【0043】
前照灯28は、照明光を前方に射出して、前部車体2Fよりも前方の照明範囲を照明する。前照灯28は、ハウジング9に保持される。前照灯28は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。前照灯28は、中心CLよりも左側に配置される前照灯28Lと、中心CLよりも右側に配置される前照灯28Rとを含む。左側の前照灯28Lは、左側のハウジング9Lに保持される。右側の前照灯28Rは、右側のハウジング9Rに保持される。
【0044】
ウインカーランプ29は、点灯又は点滅することにより、作業機械1の旋回方向を表示する。ウインカーランプ29は、ハウジング9に保持される。ウインカーランプ29は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。ウインカーランプ29は、中心CLよりも左側に配置されるウインカーランプ29Lと、中心CLよりも右側に配置されるウインカーランプ29Rとを含む。左側のウインカーランプ29Lは、左側のハウジング9Lに保持される。右側のウインカーランプ29Rは、右側のハウジング9Rに保持される。作業機械1の車幅方向において、ウインカーランプ29は、前照灯28よりも外側に配置される。
【0045】
計測装置32は、所定の対象を計測する。計測装置32が計測する対象は、走行装置4が走行する地面200を含む。計測装置32は、作業機械1が走行する地面200を計測する。計測装置32は、地面200の計測データを取得する。実施形態において、計測装置32は、地面200を撮像する撮像装置である。地面200の計測データは、地面200の画像データを含む。以下の説明において、計測装置32を適宜、撮像装置32、と称する。
【0046】
撮像装置32は、光学系と、光学系を通過した光が入射するイメージセンサとを有する。イメージセンサとして、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが例示される。
【0047】
撮像装置32は、ハウジング9に配置される。作業機械1の車幅方向において、撮像装置32は、前照灯28よりも外側に配置される。
【0048】
撮像装置32は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。撮像装置32は、左側のハウジング9及び右側のハウジング9のそれぞれに配置される。撮像装置32は、中心CLよりも左側に配置される撮像装置32Lと、中心CLよりも右側に配置される撮像装置32Rとを含む。
【0049】
[駆動システム]
図6は、実施形態に係る作業機械1の駆動システム40を示す図である。駆動システム40は、エンジン41と、燃料噴射装置42と、パワーテイクオフ43(PTO:Power Take Off)と、トランスミッション44と、フロントアクスル45Fと、リヤアクスル45Rと、油圧ポンプ46と、制御弁47と、駆動コントローラ48とを有する。
【0050】
エンジン41は、例えばディーゼルエンジンである。燃料噴射装置42は、エンジン41のシリンダに燃料を噴射する。燃料噴射装置42からエンジン41に噴射される燃料量が調整されることにより、エンジン41の駆動力が調整される。
【0051】
パワーテイクオフ43は、エンジン41の駆動力をトランスミッション44と油圧ポンプ46とに分配する。エンジン41の駆動力は、パワーテイクオフ43を介してトランスミッション44及び油圧ポンプ46のそれぞれに伝達される。
【0052】
トランスミッション44は、エンジン41の駆動力が入力される入力軸と、入力軸に入力された駆動力を変速して出力する出力軸とを有する。トランスミッション44の入力軸は、パワーテイクオフ43に接続される。トランスミッション44の出力軸は、フロントアクスル45F及びリヤアクスル45Rのそれぞれに接続される。エンジン41の駆動力は、パワーテイクオフ43及びトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達される。
【0053】
トランスミッション44は、作業機械1の進行方向を前進方向と後進方向とに切り換える。トランスミッション44は、前進ギヤ44Fと、後進ギヤ44Rとを有する。前進ギヤ44Fが入ることにより、作業機械1の進行方向が前進方向に決定される。後進ギヤ44Rが入ることにより、作業機械1の進行方向が後進方向に決定される。
【0054】
フロントアクスル45Fは、トランスミッション44から伝達された駆動力を前輪5Fに伝達する。前輪5Fは、フロントアクスル45Fから伝達された駆動力に基づいて回転する。
【0055】
リヤアクスル45Rは、トランスミッション44から伝達された駆動力を後輪5Rに伝達する。後輪5Rは、リヤアクスル45Rから伝達された駆動力に基づいて回転する。
【0056】
前進ギヤ44Fが入ることにより、作業機械1は、前進可能な状態になる。前進ギヤ44Fが入った状態で、アクセルペダル20Aが操作され、エンジン41の駆動力がトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達されることにより、作業機械1が前進する。なお、前進ギヤ44Fが入った状態においても、例えばブレーキペダル20Bが操作されている状態においては、作業機械1は前進しない。
【0057】
後進ギヤ44Rが入ることにより、作業機械1は、後進可能な状態になる。後進ギヤ44Rが入った状態で、アクセルペダル20Aが操作され、エンジン41の駆動力がトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達されることにより、作業機械1が後進する。なお、後進ギヤ44Rが入った状態においても、例えばブレーキペダル20Bが操作されている状態においては、作業機械1は後進しない。
【0058】
油圧ポンプ46は、作動油を吐出する。油圧ポンプ46は、可変容量型油圧ポンプである。油圧ポンプ46は、エンジン41の駆動力に基づいて駆動する。油圧ポンプ46から吐出された作動油は、制御弁47を介してブームシリンダ13及びバケットシリンダ14の少なくとも一方に供給される。
【0059】
制御弁47は、ブームシリンダ13及びバケットシリンダ14それぞれに供給される作動油の流量及び方向を制御する。作業機10は、制御弁47を介して油圧ポンプ46から供給される作動油により動作する。
【0060】
駆動コントローラ48は、運転操作装置20から出力された操作信号に基づいて、作業機械1を制御する。駆動コントローラ48は、コンピュータシステムを含む。
【0061】
[作業機の動作]
図7は、実施形態に係る作業機10の動作を説明する図である。実施形態において、作業機10は、掘削作業においてバケット12の開口部12Mが前方を向くフロントローディング方式の作業機である。
【0062】
ブームシリンダ13が伸縮することにより、ブーム11が上げ動作又は下げ動作する。
【0063】
ブーム11の上げ動作とは、ブーム11の先端部が地面200から離隔するようにブーム11が回動する動作をいう。ブームシリンダ13が伸びることにより、ブーム11が上げ動作する。
【0064】
ブーム11の下げ動作とは、ブーム11の先端部が地面200に接近するようにブーム11が回動する動作をいう。ブームシリンダ13が縮むことにより、ブーム11が下げ動作する。
【0065】
バケットシリンダ14が伸縮することにより、バケット12がチルト動作又はダンプ動作する。
【0066】
バケット12のチルト動作とは、バケット12の開口部12Mが上方を向いた状態でバケット12の先端部が地面200から離隔するようにバケット12が回動する動作をいう。バケットシリンダ14が伸びることにより、ベルクランク15の上端部が前方に移動し、ベルクランク15の下端部が後方に移動するように、ベルクランク15が回動する。ベルクランク15の下端部が後方に移動すると、バケット12は、バケットリンク16により後方に引かれ、チルト動作する。バケット12がチルト動作することにより、掘削対象がバケット12によって掬い取られ、掘削物がバケット12に保持される。
【0067】
バケット12のダンプ動作とは、バケット12の開口部12Mが下方を向いた状態でバケット12の先端部が地面200に接近するようにバケット12が回動する動作をいう。バケットシリンダ14が縮むことにより、ベルクランク15の上端部が後方に移動し、ベルクランク15の下端部が前方に移動するように、ベルクランク15が回動する。ベルクランク15の下端部が前方に移動すると、バケット12は、バケットリンク16により前方に押され、ダンプ動作する。バケット12がダンプ動作することにより、バケット12に保持されている掘削物がバケット12から排出される。
【0068】
[作業機械の動作]
図8は、実施形態に係る作業機械1の動作を説明する図である。作業機械1は、作業現場において掘削作業及び積込作業を実施する。
【0069】
掘削作業は、掘削対象を掘削する作業である。掘削対象として、地山又は岩山が例示される。地山は、地面200に置かれた土砂により構成される山である。岩山は、地面200に置かれた岩又は石により構成される山である。実施形態において、掘削対象は、地山210である。掘削物は、バケット12に掘削され保持された地山210の一部である。
【0070】
積込作業は、掘削作業により掘削した掘削物を積込対象に積み込む作業である。積込対象として、運搬車両、ホッパ、又はベルトコンベヤが例示される。実施形態において、積込対象は、運搬車両の一種であるダンプトラック220のダンプボディ230である。
【0071】
作業機械1は、一連の作業モードを繰り返すサイクル作業を実施するように運転者に操作される。サイクル作業は、相互に関連する複数の作業モードにより構成される。サイクル作業は、走行装置4の走行及び作業機10の動作を含む。
【0072】
実施形態において、サイクル作業は、6つの作業モードにより構成される。実施形態において、作業機械1の一連の作業モードは、空荷前進モードと、掘削モードと、積荷後進モードと、積荷前進モードと、積込モードと、空荷後進モードとを含む。
【0073】
一連の作業モードの順序は、決められている。空荷前進モードが実施された後に、掘削モードが実施される。掘削モードが実施された後に、積荷後進モードが実施される。積荷後進モードが実施された後に、積荷前進モードが実施される。積荷前進モードが実施された後に、積込モードが実施される。積込モードが実施された後に、空荷後進モードが実施される。
【0074】
空荷前進モードは、バケット12に掘削物が保持されていない状態で作業機械1が掘削対象に接近するように前進する作業モードである。空荷前進モードにおいて、作業機械1は、バケット12に掘削物が保持されていない状態で、
図8の矢印M1で示すように、地山210に接近するように前進する。
【0075】
掘削モードは、作業機10のバケット12で掘削対象を掘削する作業モードである。掘削モードにおいて、掘削作業が実施される。バケット12の少なくとも一部が地山210に挿入された状態で、バケット12がチルト動作することにより、地山210がバケット12により掘削され、バケット12に掘削物が保持される。
【0076】
積荷後進モードは、バケット12に掘削物が保持されている状態で作業機械1が掘削対象から離隔するように後進する作業モードである。積荷後進モードにおいて、作業機械1は、バケット12に掘削物が保持されている状態で、
図8の矢印M2で示すように、地山210から離隔するように後進する。
【0077】
積荷前進モードは、バケット12に掘削物が保持されている状態で作業機械1が積込対象に接近するように前進する作業モードである。積荷前進モードにおいて、作業機械1は、バケット12に掘削物が保持されている状態で、
図8の矢印M3で示すように、ダンプトラック220に向かって旋回しながら前進する。作業機械1がダンプトラック220に向かって前進している状態において、バケット12がダンプボディ230の上方に配置されるようにブーム11が上げ動作する。
【0078】
積込モードは、作業機10のバケット12に保持されている掘削物を積込対象に積み込む作業モードである。積込モードにおいて、積込作業が実施される。バケット12がダンプボディ230の上方に配置された後、バケット12がダンプ動作することにより、バケット12に保持されている掘削物がバケット12から排出され、ダンプボディ230に積み込まれる。
【0079】
空荷後進モードは、バケット12に掘削物が保持されていない状態で作業機械1が積込対象から離隔するように後進する作業モードである。作業機械1は、バケット12に掘削物が保持されていない状態で、
図8の矢印M4で示すように、ダンプトラック220から離隔するように旋回しながら後進する。
【0080】
作業機械1は、掘削物がダンプボディ230に目標積載量で積み込まれるまで、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードを含むサイクル作業を繰り返す。
【0081】
[計測範囲]
図9は、実施形態に係る積込作業を実施する作業機械1を示す側面図である。
図10は、実施形態に係る積込作業を実施する作業機械1を示す上面図である。
【0082】
図9及び
図10に示すように、ダンプトラック220のダンプボディ230に掘削物を積み込む場合、作業機械1は、バケット12がダンプボディ230の上方に配置されるようにブーム11の上げ動作を実施する。ブーム11が上げ動作し、バケット12がダンプボディ230の上方に配置された後、作業機械1は、バケット12をダンプ動作させる。バケット12は、ブーム11が上げ動作した状態で、バケット12に保持された掘削物がダンプトラック220のダンプボディ230に排出されるようにダンプ動作する。バケット12のダンプ動作により、バケット12に保持されている掘削物がバケット12から排出され、ダンプボディ230に積み込まれる。
【0083】
撮像装置32の計測範囲Rbは、撮像装置32の撮像範囲を含む。計測範囲Rbは、撮像装置32の光学系の画角を示す画角βに基づいて定められる。撮像装置32は、少なくともタイヤ6の進行方向の地面200を撮像する。実施形態において、撮像装置32は、作業機械1が前進するとき、前タイヤ6Fの前方の地面200を撮像する。撮像装置32は、作業機械1が前進するとき、少なくとも前タイヤ6Fの前方の地面200が計測範囲Rbに配置されるように、ハウジング9に固定される。実施形態において、撮像装置32は、前タイヤ6Fの前端部、前タイヤ6Fの前方の地面200、及び前タイヤ6Fよりも車幅方向の外側の地面200のそれぞれが計測範囲Rbに配置されるように、ハウジング9に固定される。前タイヤ6Fの前方の地面200は、前後方向において、前タイヤ6Fの前端部とバケット12の後端部との間の地面200を含む。
【0084】
図10に示すように、中心CLよりも左側の撮像装置32Lは、中心CLよりも左側の前タイヤ6Fの前方の地面200を撮像する。中心CLよりも右側の撮像装置32Rは、中心CLよりも右側の前タイヤ6Fの前方の地面200を撮像する。
【0085】
図10に示す例において、中心CLよりも左側の撮像装置32Lは、左側の前タイヤ6Fの前端部と、左側の前タイヤ6Fの前方の地面200と、左側の前タイヤ6Fの左方の地面200とが計測範囲Rbに配置されるように、左側のハウジング9に固定される。中心CLよりも右側の撮像装置32Rは、右側の前タイヤ6Fの前端部と、右側の前タイヤ6Fの前方の地面200と、右側の前タイヤ6Fの右方の地面200とが計測範囲Rbに配置されるように、右側のハウジング9に固定される。
【0086】
図11は、実施形態に係る左側の撮像装置32Lにより撮像された画像データの一例を示す図である。
図11に示すように、撮像装置32Lは、前タイヤ6Fの前方の地面200及び左方の地面200を上から見下ろすように撮像する。これにより、撮像装置32Lは、前タイヤ6Fの周囲の地面200を撮像することができる。例えば、前タイヤ6Fの周囲の地面200に転石240が存在する場合、撮像装置32Lは、地面200の転石240を撮像することができる。
【0087】
[監視システム]
図12は、実施形態に係る監視システム30を示す機能ブロック図である。作業機械1は、監視システム30を有する。監視システム30は、作業機械1が走行する地面200を監視する。
【0088】
監視システム30は、撮像装置32と、運転操作装置20と、角度センサ90と、負荷センサ93と、出力装置24と、入力装置25と、監視コントローラ33とを有する。撮像装置32は、中心CLよりも左側に配置される撮像装置32Lと、中心CLよりも右側に配置される撮像装置32Rとを含む。
【0089】
撮像装置32、運転操作装置20、角度センサ90、負荷センサ93、出力装置24、及び入力装置25のそれぞれは、監視コントローラ33に接続される。撮像装置32により撮像された画像データは、監視コントローラ33に入力される。運転操作装置20の操作データは、監視コントローラ33に入力される。角度センサ90の検出データは、監視コントローラ33に入力される。負荷センサ93の検出データは、監視コントローラ33に入力される。入力装置25により生成された入力データは、監視コントローラ33に入力される。
【0090】
実施形態において、撮像装置32は、所定のサンプリングレート(SPS:samples per second)で計測データを取得する。計測データは、画像データを含む。サンプリングレートは、フレームレート(FPS:frames per second)を含む。撮像装置32は、所定のフレームレートで画像データを撮像する。撮像装置32が所定のフレームレートで画像データを撮像することにより、動画が撮影される。
【0091】
監視コントローラ33は、撮像装置32により撮像された画像データに基づいて、作業機械1が走行する地面200の転石240の有無を認識する。地面200の転石240を認識した場合、監視コントローラ33は、地面200に転石240が有ることを示す警告を出力装置24から出力させる。地面200の転石240は、前タイヤ6Fの進行方向の地面200の転石240を含む。前タイヤ6Fの進行方向の地面200の転石240は、作業機械1が前進するときの前タイヤ6Fの前方の地面200の転石240を含む。
【0092】
監視コントローラ33は、
図8を参照して説明したサイクル作業において、転石240の有無を認識する。なお、監視コントローラ33は、サイクル作業とは別の作業において、転石240の有無を認識してもよい。
【0093】
監視コントローラ33は、計測データ取得部331と、車体データ取得部332と、状態判別部333と、転石検知部334と、警告基準設定部335と、計測データ調整部336と、転石判定部337と、警告制御部338と、検知制御部339と、係数記憶部340とを有する。
【0094】
計測データ取得部331は、撮像装置32の計測データを取得する。計測データ取得部331は、撮像装置32により計測された地面200の計測データを所定のサンプリングレートで撮像装置32から取得する。地面200の計測データは、撮像装置32により撮像された地面200の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部331は、地面200の画像データを所定のフレームレートで撮像装置32から取得する。計測データ取得部331は、前タイヤ6Fの前方の地面200の画像データを取得する。
【0095】
車体データ取得部332は、作業機械1の作業状態を示す車体データを取得する。作業機械1の作業状態は、作業機10の状態及び走行装置4の状態を含む。作業機10の状態は、作業機10の姿勢及び作業機10に掛かる負荷を含む。走行装置4の状態は、走行装置4の前進及び後進を含む。車体データは、作業機10の姿勢を示す姿勢データと、作業機10に掛かる負荷を示す負荷データと、走行装置4の前進又は後進を示す前後進データとを含む。
【0096】
作業機10の姿勢データは、作業機10の角度を含む。作業機10の角度は、角度センサ90により検出される。作業機10の姿勢データは、角度センサ90の検出データを含む。車体データ取得部332は、作業機10の姿勢データとして、角度センサ90の検出データを取得する。
【0097】
作業機10の負荷データは、ブームシリンダ13のボトム室の作動油の圧力を含む。ブームシリンダ13のボトム室の作動油の圧力は、負荷センサ93により検出される。作業機10の負荷データは、負荷センサ93の検出データを含む。車体データ取得部332は、作業機10の負荷データとして、負荷センサ93の検出データを取得する。
【0098】
走行装置4の前進と後進とは、運転操作装置20の前後進レバー20Cにより切り換えられる。走行装置4の前後進データは、前後進レバー20Cの操作データを含む。車体データ取得部332は、走行装置4の前後進データとして、前後進レバー20Cの操作データを取得する。
【0099】
なお、例えば車輪5の回転を検出する回転センサが設けられている場合、回転センサは、車輪5の回転方向を検出することにより、走行装置4の前進又は後進を検出することができる。車体データ取得部332は、走行装置4の前後進データとして、回転センサの検出データを取得してもよい。
【0100】
なお、車体データ取得部332は、走行装置4の前後進データとして、駆動システム40の状態を示す状態データを取得してもよい。駆動コントローラ48は、駆動システム40の状態を示す状態データを監視コントローラ33に入力する。車体データ取得部332は、駆動コントローラ48からの状態データに基づいて、駆動システム40の状態を判定する。駆動システム40の状態は、トランスミッション44の作動状態を含む。トランスミッション44は、作業機械1の進行方向を前進方向と後進方向とに切り換える。トランスミッション44は、作業機械1を前進させるために作動する前進ギヤ44Fと、作業機械1を後進させるために作動する後進ギヤ44Rとを含む。車体データ取得部332は、走行装置4の前後進データとして、トランスミッション44の状態を示す状態データを取得してもよい。
【0101】
状態判別部333は、車体データ取得部332により取得された車体データに基づいて、作業機械1の作業状態を判別する。状態判別部333は、車体データ取得部332により取得された作業機10の姿勢データに基づいて、ブーム11が上げ動作又は下げ動作しているか否かを判別することができる。状態判別部333は、車体データ取得部332により取得された作業機10の姿勢データに基づいて、バケット12がチルト動作又はダンプ動作しているか否かを判別することができる。状態判別部333は、車体データ取得部332により取得された作業機10の負荷データに基づいて、作業機10が掘削対象を掘削しているか否かを判別することができる。状態判別部333は、車体データ取得部332により取得された走行装置4の前後進データに基づいて、作業機械1が前進又は後進しているか否かを判別することができる。
【0102】
作業機械1の作業状態は、作業機械1の作業モードを含む。作業機械1の作業モードは、作業機械1の作業状態を示す。状態判別部333は、作業機10の姿勢データと、作業機10の負荷データと、走行装置4の前後進データとに基づいて、作業機械1の作業モードが、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードのいずれであるかを判別することができる。
【0103】
空荷前進モードは、作業機械1が前進し、且つ、作業機10が地山210を掘削しない作業状態を示す。掘削モードは、作業機械1が前進し、且つ、作業機10が地山210を掘削する作業状態を示す。積荷後進モードは、作業機械1が後進する作業状態を示す。積荷前進モードは、作業機械1が前進し、且つ、作業機10が地山210を掘削しない作業状態を示す。積込モードは、作業機械1が前進し、且つ、作業機10が地山210を掘削しない作業状態を示す。空荷後進モードは、作業機械1が後進する作業状態を示す。
【0104】
状態判別部333は、作業機10の姿勢データと、作業機10の負荷データと、走行装置4の前後進データとに基づいて、作業機械1の作業状態が、作業機械1が前進し、且つ、作業機10が掘削しない作業状態(第1状態)、作業機械1が前進し、且つ、作業機10が掘削する作業状態(第2状態)、及び作業機械1が後進する作業状態(第3状態)のいずれの作業状態であるかを判別することができる。
【0105】
転石検知部334は、撮像装置32により撮像された地面200の画像データから転石240を検知する。転石検知部334は、所定のアルゴリズムに基づいて、計測データ取得部331により取得された地面200の画像データから転石240を検知する。地面200の画像データから転石240を検知するアルゴリズムは、人工知能(AI:Artificial Intelligence)アルゴリズムを含む。AIアルゴリズムは、転石240の特徴量を学習することにより生成された学習モデルに基づいて、撮像装置32により撮像された地面200の画像データから転石240を検知する。学習モデルは、物体の特徴量を入力とし、転石240を出力とする学習モデルである。
【0106】
警告基準設定部335は、出力装置24から警告を出力させるときの警告基準を設定する。
【0107】
図13は、実施形態に係る警告基準を説明する図である。実施形態において、警告基準は、地面200の画像データの少なくとも一部に設定される検知エリア34と、検知エリア34の内側に設定される第1警告エリア35と、第1警告エリア35の内側に設定される第2警告エリア36とを含む。
【0108】
検知エリア34は、矩形状である。検知エリア34の内側に存在する転石240が検知される。転石検知部334は、検知エリア34に存在する転石240を検知する。
【0109】
第1警告エリア35は、検知エリア34よりも小さい。第1警告エリア35は、矩形状である。第1警告エリア35は、検知エリア34の内側に設定される。第1警告エリア35の少なくとも一部は、前タイヤ6Fの前方の地面200に設定される。第1警告エリア35の前端部は、検知エリア34の前端部よりも後側(作業機械1側)に規定される。
【0110】
第2警告エリア36は、第1警告エリア35よりも小さい。第2警告エリア36は、矩形状である。第2警告エリア36は、第1警告エリア35の内側に設定される。第2警告エリア36の少なくとも一部は、前タイヤ6Fの前方の地面200に設定される。第2警告エリア36の前端部は、第1警告エリア35の前端部よりも後側(作業機械1側)に規定される。
【0111】
計測データ調整部336は、作業機械1からの距離に基づいて、地面200の計測データの少なくとも一部分を調整する。転石検知部334により転石240が検知されることにより、計測データ調整部336は、作業機械1から転石240までの距離を算出することができる。計測データ調整部336は、作業機械1から転石240までの距離に基づいて、地面200の計測データの少なくとも一部分を調整する。
【0112】
図14は、実施形態に係る計測データの調整を説明する図である。
図14に示すように、計測データ調整部336は、検知エリア34を複数の区画エリア50に区画する。
図14に示す例において、検知エリア34は、マトリクス状に9個の区画エリア50に区画される。区画エリア50は、第1区画エリア51と、第2区画エリア52と、第3区画エリア53と、第4区画エリア54と、第5区画エリア55と、第6区画エリア56と、第7区画エリア57と、第8区画エリア58と、第9区画エリア59とを含む。
【0113】
作業機械1と複数の区画エリア50のそれぞれとの距離は、異なる。検知エリア34の上部に規定される区画エリア50(第1区画エリア51,第2区画エリア52,第3区画エリア53)ほど作業機械1との距離が長く、検知エリア34の下部に規定される区画エリア50(第7区画エリア57,第8区画エリア58,第9区画エリア59)ほど作業機械1との距離が短い。
図14に示す例において、作業機械1と第1区画エリア51との距離が最も長い。作業機械1と第9区画エリア59との距離が最も短い。
【0114】
検知エリア34において転石240が検知された場合、計測データ調整部336は、作業機械1と転石240との距離に基づいて、検知された転石240を含む検知エリア34の一部分を調整する。計測データ調整部336は、作業機械1と転石240との距離が第1距離である場合、転石240を含む計測データの一部分を第1調整し、作業機械1と転石240との距離が第2距離である場合、転石240を含む計測データの一部分を第2調整する。
【0115】
実施形態において、作業機械1と転石240との距離に係る係数が予め設定される。係数記憶部340は、作業機械1と転石240との距離に基づいて予め設定された係数を記憶する。計測データ調整部336は、係数記憶部340に記憶されている係数に基づいて、検知エリア34の一部分を調整する。
【0116】
係数は、入力装置25を介して係数記憶部340に入力されてもよい。運転者又は保守者が入力装置25を操作して、係数を入力してもよい。入力装置25により入力された係数が係数記憶部340に記憶されてもよい。
【0117】
図14に示すように、実施形態において、係数は、複数の区画エリア50のそれぞれに設定される。係数は、1よりも大きい実数でもよいし、1でもよいし、1未満の正の実数でもよい。
図14に示す例において、作業機械1からの距離が長い区画エリア50ほど、係数の値が大きく、作業機械1からの距離が短い区画エリア50ほど、係数の値が小さい。
図14に示す例において、第1区画エリア51に設定される係数は、1.4である。第2区画エリア52に設定される係数は、1.3である。第3区画エリア53に設定される係数は、1.3である。第4区画エリア54に設定される係数は、1.2である。第5区画エリア55に設定される係数は、1.0である。第6区画エリア56に設定される係数は、1.0である。第7区画エリア57に設定される係数は、1.0である。第8区画エリア58に設定される係数は、1.0である。第9区画エリア59に設定される係数は、1.0である。
【0118】
なお、
図14に示す係数は、一例である。作業機械1からの距離が長い区画エリア50ほど、係数の値が小さく、作業機械1からの距離が短い区画エリア50ほど、係数の値が大きくてもよい。
【0119】
実施形態において、計測データ調整部336は、係数に基づいて、地面200の画像データに規定された検知エリア34の一部分のピクセル数を調整する。
【0120】
図15は、実施形態に係るピクセル数の調整を説明する図である。
図15に示すように、画像データは、複数のピクセル60により構成される。実施形態において、画像データのピクセル60の数を適宜、ピクセル数、と称する。なお、ピクセル数は、転石240が検知された区画エリア50の横方向のピクセルの数(
図15に示す場合、10個)、又は縦方向のピクセルの数(
図15に示す場合、10個)、又は横方向及び縦方向のピクセルの数のうち多い方のピクセルの数を、ピクセル数、としてもよい。以降の例では、画像データのピクセル60の数をピクセル数として説明する。ある区画エリア50において転石240が転石検知部334により検知された場合、計測データ調整部336は、転石240が検知された区画エリア50のピクセル数に係数を乗ずる。区画エリア50のピクセル数に係数を乗じることにより、区画エリア50のピクセル数が調整される。
【0121】
係数が1よりも大きい実数である場合、調整された後の区画エリア50のピクセル数は、調整される前の区画エリア50のピクセル数よりも増加する。係数が1である場合、調整された後の区画エリア50のピクセル数は、調整される前の区画エリア50のピクセル数と同じである。係数が1未満の正の実数である場合、調整された後の区画エリア50のピクセル数は、調整される前の区画エリア50のピクセル数よりも減少する。
【0122】
例えば、
図15に示すように、1つの区画エリア50のピクセル数が100個である場合において、その区画エリア50に設定されている係数が1.4である場合、計測データ調整部336は、ピクセル数100に係数1.4を乗ずる。これにより、区画エリア50のピクセル数は、140個に増加する。1つの区画エリア50のピクセル数が100個である場合において、その区画エリア50に設定されている係数が0.9である場合、区画エリア50のピクセル数は、90個に減少する。
【0123】
区画エリア50のピクセル数が増加することは、転石240の画像のピクセル数が増加することを含む。転石240の画像のピクセル数が増加することは、転石240の画像データ量が増加することを含む。区画エリア50のピクセル数が減少することは、転石240の画像のピクセル数が減少することを含む。転石240の画像のピクセル数が減少することは、転石240の画像データ量が減少することを含む。
【0124】
転石判定部337は、計測データ調整部336により調整された後の画像データにおいて地面200の転石240の有無を判定する。転石判定部337は、予め定められている判定基準に基づいて、地面200の転石240の有無を判定する。転石検知部334により検知された転石240が判定基準を満たしている場合、転石判定部337は、転石240が有ると判定する。転石検知部334により転石240が検知されても、転石240が判定基準を満たしていない場合、転石判定部337は、転石240が無いと判定する。
【0125】
図16は、実施形態に係る転石240の有無の判定を説明する図である。転石判定部337は、計測データ調整部336によりピクセル数が調整された後の転石240の画像のピクセル数と、予め定められているピクセル数に係る閾値Shとを比較する。
図16に示すように、転石判定部337は、転石240の画像のピクセル数が閾値Shを上回る場合、転石240が有ると判定し、転石240の画像のピクセル数が閾値Sh以下である場合、転石240が無いと判定する。実際の大きさが同じ転石240でも、係数の値によって、転石240が有ると判定されたり、転石240が無いと判定されたりする。
【0126】
すなわち、転石検知部334により転石240が検知されても、転石240が判定基準を満たしていない場合(転石240のピクセル数が閾値Sh以下である場合)、転石判定部337は、転石240が無いと判定する。転石検知部334により転石240が検知され、且つ、転石240が判定基準を満たしている場合(転石240のピクセル数が閾値Shを上回る場合)、転石判定部337は、転石240が有ると判定する。
【0127】
警告制御部338は、転石240の有無に基づいて、出力装置24から警告を出力させる。警告制御部338は、転石判定部337の判定結果に基づいて、出力装置24から警告を出力させる。
【0128】
図17は、実施形態に係る出力装置24の一例を示す図である。出力装置24は、地面200の画像を表示する表示装置24Aを含む。警告制御部338は、転石判定部337による転石240の有無の判定と、転石240と警告基準との関係とに基づいて、出力装置24から警告を出力させる。
【0129】
実施形態において、警告を出力することは、地面200の画像に含まれる転石240を強調する警告画像80を表示することを含む。実施形態において、警告画像80は、転石240を囲むように表示されるフレーム画像を含む。
【0130】
転石240が検知エリア34の内側、且つ、第1警告エリア35の外側に有る場合、警告制御部338は、第1フレーム画像81で転石240を囲む。転石240が第1警告エリア35の内側、且つ、第2警告エリア36の外側に有る場合、警告制御部338は、第2フレーム画像82で転石240を囲む。転石240が第2警告エリア36の内側に有る場合、警告制御部338は、第3フレーム画像83で転石240を囲む。第1フレーム画像81の表示形態と第2フレーム画像82の表示形態と第3フレーム画像83の表示形態とは、異なる。例えば、第1フレーム画像81は、緑色で表示され、第2フレーム画像82は、黄色で表示され、第3フレーム画像83は、赤色で表示される。運転者は、警告画像80を確認することにより、作業機械1と転石240との距離を直感的に認識することができる。
【0131】
なお、警告制御部338は、表示装置24Aに、検知エリア34の外縁を示すフレーム画像と、第1警告エリア35の外縁を示すフレーム画像と、第2警告エリア36の外縁を示すフレーム画像とを表示させてもよい。検知エリア34の外縁を示すフレーム画像が緑色で表示され、第1警告エリア35の外縁を示すフレーム画像が黄色で表示され、第2警告エリア36の外縁を示すフレーム画像が赤色で表示されてもよい。
【0132】
実施形態において、警告制御部338は、転石240が第2警告エリア36に有る場合、前タイヤ6Fの前方の地面200に転石240が有ることを示す警告音を発音装置24Bから発生させる。
【0133】
検知制御部339は、状態判別部333において作業機械1の作業状態が第1状態であると判別された場合、地面200の転石240に係る第1処理を警告制御部338に実行させる。検知制御部339は、状態判別部333において作業機械1の作業状態が第2状態であると判別された場合、地面200の転石240に係る第2処理を警告制御部338に実行させる。検知制御部339は、状態判別部333において作業機械1の作業状態が第3状態であると判別された場合、地面200の転石240に係る第3処理を警告制御部338に実行させる。第1処理と第2処理とは、異なる。第1処理と第3処理とは、同じでもよいし異なってもよい。
【0134】
実施形態において、第1状態は、作業機械1が前進し、且つ、作業機10が掘削しない作業状態である。第2状態は、作業機械1が前進し、且つ、作業機10が掘削する作業状態である。第3状態は、作業機械1が後進する作業状態である。
【0135】
実施形態において、第1状態は、空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードである。第2状態は、掘削モードである。第3状態は、積荷後進モード及び空荷後進モードの少なくとも一つの作業モードである。
【0136】
第1処理は、転石240が有ると転石判定部337により判定された場合に、警告制御部338に警告音を出力させる処理である。すなわち、作業機械1が空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードで作業しているときに、第2警告エリア36に転石240が有ると判定された場合、発音装置24Bから警告音が出力される。
【0137】
第2処理は、転石240が有ると転石判定部337により判定されても、警告制御部338に警告音を出力させない処理である。すなわち、作業機械1が掘削モードで作業しているときに、第2警告エリア36に転石240が有ると判定されても、発音装置24Bから警告音が出力されない。
【0138】
第3処理は、警告制御部338に警告音を出力させない処理である。すなわち、作業機械1が積荷後進モード及び空荷後進モードの少なくとも一つの作業モードで作業しているときに、発音装置24Bから警告音が出力されない。
【0139】
作業機械1が空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードで作業しているときに、第2警告エリア36に転石240が有ると判定された場合、発音装置24Bから警告音が出力されることにより、運転者は、転石240の存在を認識することができる。
【0140】
作業機械1が掘削モードで作業している場合、バケット12が地山210に貫入される。バケット12が地山210に貫入している状態においては、前タイヤ6Fの周囲に多数の転石240が存在する。また、バケット12が地山210に貫入している状態においては、運転者は、転石240の存在を十分に認識している。また、バケット12が地山210に貫入している状態は、数秒間維持される。バケット12が地山210に貫入している期間において発音装置24Bから警告音が出力され続けると、運転者は、煩わしさを感じる可能性が高い。また、バケット12が地山210に貫入している状態においては、運転者は、転石240の存在を十分に認識しているため、警告音を出力する処理は、不必要な処理である可能性が高い。
【0141】
そこで、実施形態においては、作業機械1が掘削モードで作業していると状態判別部333に判別された場合、検知制御部339は、掘削モードが実行されている期間においては警告音が出力されないように、警告制御部338に警告音停止指令を出力する。掘削モードで作業が実行されている期間においては、転石240が有ると判定されても、発音装置24Bから警告音が出力されないので、運転者が煩わしさを感じることが抑制される。
【0142】
一方、作業機械1が空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードで作業していると状態判別部333に判別された場合、検知制御部339は、転石240が有ると判定されたときに警告音が出力されるように、警告制御部338に警告音許容指令を出力する。
【0143】
[監視方法]
図18は、実施形態に係る地面200の監視方法を示すフローチャートである。
【0144】
計測データ取得部331は、撮像装置32から地面200の画像データを取得する(ステップS1)。
【0145】
転石検知部334は、ステップS1において取得された画像データから転石240を検知する。転石検知部334は、所定のアルゴリズムに基づいて、画像データから転石240を検知する(ステップS2)。
【0146】
計測データ調整部336は、作業機械1と転石240との距離に基づいて、転石240の画像のピクセル数を調整する。計測データ調整部336は、作業機械1と転石240との距離に基づいて予め設定されている係数を転石240の画像のピクセル数に乗じる(ステップS3)。
【0147】
転石判定部337は、ピクセル数が調整された後の転石240が第2警告エリア36に有るか否かを判定する。転石判定部337は、所定の判定基準に基づいて、転石240が第2警告エリア36に有るか否かを判定する。転石判定部337は、ピクセル数が調整された後の転石240の画像と予め定められているピクセル数に係る閾値Shとに基づいて、第2警告エリア36に転石240が有るか否かを判定する(ステップS4)。
【0148】
車体データ取得部332は、作業機械1の状態を示す車体データを取得する。実施形態において、車体データ取得部332は、車体データとして、角度センサ90の検出データ、負荷センサ93の検出データ、及び前後進レバー20Cの操作データを取得する(ステップS5)。
【0149】
状態判別部333は、ステップS5において取得された車体データに基づいて、作業機械1の作業モードが掘削モードであるか否かを判定する(ステップS6)。
【0150】
ステップS4において転石240が有ると判定され(ステップS4:Yes)、且つ、ステップS6において掘削モードであると判定された場合(ステップS6:Yes)、検知制御部339は、警告音を出力させない(ステップS7)。
【0151】
ステップS4において転石240が有ると判定され(ステップS4:Yes)、且つ、ステップS6において掘削モードではないと判定された場合(ステップS6:No)、状態判別部333は、作業機械1の作業モードが前進モードであるか否かを判定する(ステップS8)。前進モードは、空荷前進モード、積荷前進モード、及び掘削モードの少なくとも一つの作業モードである。
【0152】
ステップS8において、作業機械1の作業モードで前進モードであると判定された場合(ステップS8:Yes)、警告制御部338は、発音装置24Bから警告音を出力させる(ステップS9)。
【0153】
ステップS8において前進モードではないと判定された場合(ステップS8:No)、警告制御部338は、警告音を出力しない(ステップS10)。
【0154】
ステップS7、ステップS9、及びステップS10のいずれかの処理が実施された後、転石検知部334は、監視処理を終了するか否かを判定する(ステップS11)。
【0155】
ステップS11において、監視処理を継続すると判定された場合(ステップS11:No)、ステップS1及びステップS5の処理に戻る。
【0156】
ステップS11において、監視処理を終了と判定された場合(ステップS11:Yes)、監視処理が終了する。
【0157】
[コンピュータシステム]
図19は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の監視コントローラ33及び駆動コントローラ48のそれぞれは、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の監視コントローラ33及び駆動コントローラ48のそれぞれの機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
【0158】
コンピュータプログラム又はコンピュータシステム1000は、上述の実施形態に従って、作業機械1が走行する地面200の計測データを取得することと、作業機械1からの距離に基づいて、計測データの少なくとも一部分を調整することと、調整された後の計測データにおいて地面200の転石240の有無を判定することと、を実行することができる。
【0159】
[効果]
以上説明したように、作業機械1の監視システム30は、作業機械1が走行する地面200の計測データを取得する計測データ取得部331と、作業機械1からの距離に基づいて、計測データの少なくとも一部分を調整する計測データ調整部336と、調整された後の計測データにおいて地面200の転石240の有無を判定する転石判定部337と、を備える。
【0160】
実施形態によれば、作業機械1から転石240までの距離に基づいて地面200の画像データの少なくとも一部分が調整され、調整された後の計測データにおいて転石240の有無が判定される。作業機械1から転石240までの距離に基づいて画像データの少なくとも一部分が調整されることにより、転石240の有無を判定するときの判定条件が調整される。実施形態においては、作業機械1から転石240までの距離に基づいて設定された係数が、転石240が検知された区画エリア50のピクセル数に乗じられる。係数が乗じられた後の転石240のピクセル数が閾値Sh以下である場合、転石240が無いと判定され、警告音が出力されない。係数が乗じられた後の転石240のピクセル数が閾値Shを上回る場合、転石240が有ると判定され、発音装置24Bから警告音が出力される。すなわち、実際の大きさが同じ転石240でも、係数の値によって、警告音が出力されたり、警告音が出力されなかったりする。
【0161】
撮像装置32により撮像された画像データにおいて、作業機械1から遠い位置に存在する転石240は、小さく映る。撮像装置32により撮像された画像データにおいて、作業機械1に近い位置に存在する転石240は、大きく映る。すなわち、画像データにおいて、作業機械1から遠い位置に存在する転石240のピクセル数は、少ない。画像データにおいて、作業機械1に近い位置に存在する転石240のピクセル数は、多い。転石240のピクセル数が調整されない場合、作業機械1に近い位置に存在する転石240については警告音が出力されるものの、作業機械1に遠い位置に存在する転石240については警告音が出力されない。
【0162】
実施形態においては、例えば、作業機械1から遠い位置に存在する転石240についても警告音の出力を運転者が要求する場合、作業機械1から遠い区画エリア50の係数が大きい値に設定される。例えば、作業機械1に近い位置に存在する転石240についても警告音の出力を運転者が要求しない場合、作業機械1に近い区画エリア50の係数が小さい値に設定される。作業機械1からの距離に基づいて、計測データの少なくとも一部分のピクセル数が調整されることにより、運転者の要求に合わせて、地面200の転石240の有無を判定するときの判定条件が調整される。実施形態においては、作業機械1からの距離に基づいて係数が調整されることにより、運転者の要求に合わせて、地面200の転石240の有無を判定するときの判定条件が調整される。
【0163】
[別の実施形態]
上述の実施形態において、第1処理は、転石検知部334に転石240を検知させる処理であり、第2処理は、転石検知部334に転石240を検知させない処理でもよい。また、第3処理は、転石検知部334に転石240を検知させない処理でもよい。
【0164】
すなわち、掘削モードで作業が実行されている期間においては、検知制御部339は、転石240の検知が実行されないように、転石検知部334に検知停止指令を出力する。掘削モードで作業が実行されている期間においては、転石240の検知が実行されないので、転石240の存否にかかわらず、発音装置24Bから警告音が出力されない。また、転石検知部334による検知処理が停止されるので、監視コントローラ33の演算負荷が軽減される。空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードで作業が実行されている期間においては、検知制御部339は、転石240が検知されるように、転石検知部334に検知実行指令を出力する。
【0165】
上述の実施形態において、第1処理は、転石判定部337に転石240の有無を判定させる処理であり、第2処理は、転石判定部337に転石240の有無を判定させない処理でもよい。また、第3処理は、転石判定部337に転石240の有無を判定させない処理でもよい。
【0166】
すなわち、掘削モードで作業が実行されている期間においては、検知制御部339は、転石240の有無が判定されないように、転石判定部337に判定停止指令を出力する。掘削モードで作業が実行されている期間においては、転石240の有無が判定されないので、転石240の有無にかかわらず、発音装置24Bから警告音が出力されない。また、転石判定部337による判定処理が停止されるので、監視コントローラ33の演算負荷が軽減される。空荷前進モード、積荷前進モード、及び積込モードの少なくとも一つの作業モードで作業が実行されている期間においては、検知制御部339は、転石240の有無が判定されるように、転石判定部337に判定実行指令を出力する。
【0167】
上述の実施形態において、状態判別部333は、負荷センサ93の検出データに基づいて、作業機械1の作業状態を判別することとした。状態判別部333は、計測データ取得部331により取得された計測データに基づいて、作業機械1の作業状態を判別してもよい。計測データは、地面200の画像を含む。状態判別部333は、地面200の画像に含まれる転石240の画像に基づいて、作業機械1の作業状態を判別してもよい。上述のように、掘削モードにおいては、バケット12が地山210に貫入され、前タイヤ6Fの周囲には多数の転石240が存在する。転石検知部334により検知された転石240の数が予め定められている第1規定値以上である場合、状態判別部333は、作業機械1の作業状態が掘削モードであると判別することができる。また、バケット12が地山210に貫入されている状態においては、作業機械1の前進が地山210により阻止される。掘削モードにおいては、撮像装置32に撮像される転石240が変化しない。すなわち、掘削モードにおいては、撮像装置32は、同じ転石240を撮像し続ける。掘削モードにおいては、転石検知部334は、同じ転石240を検知し続ける。転石検知部334が検知し続けている転石240の数が予め定められている第2規定値以上である場合、状態判別部333は、作業機械1の作業状態が掘削モードであると判別することができる。
【0168】
上述の実施形態において、運転操作装置20及び出力装置24は、作業機械1の運転室に配置されることとした。運転操作装置20及び出力装置24は、作業機械1の外部に配置されてもよい。作業機械1は、遠隔操作されてもよい。
【0169】
上述の実施形態において、計測装置32が撮像装置であることとした。計測装置32は、レーザ装置でもよい。計測装置32は、レーダ装置でもよい。レーザ装置は、計測対象にレーザ光を照射して、計測対象の計測データを取得する。レーダ装置は、計測対象に音波を照射して、計測対象の計測データを取得する。
【0170】
上述の実施形態において、作業機械1は、ホイールローダであることとした。作業機械1は、ブルドーザ及び油圧ショベル等の他の作業機械でもよい。ブルドーザ及び油圧ショベルのそれぞれは、作業機と、地面200に接触した状態で回転する履帯とを有する。履帯は、地面200に接触した状態で回転する回転部材である。履帯が回転することにより、作業機械が走行する。
【符号の説明】
【0171】
1…作業機械、2…車体、2A…関節機構、2F…前部車体、2R…後部車体、3…運転台、4…走行装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、7…フロントフェンダ、7L…フロントフェンダ、7R…フロントフェンダ、8…支持部材、8L…支持部材、8R…支持部材、9…ハウジング、9L…ハウジング、9R…ハウジング、10…作業機、11…ブーム、12…バケット、12E…端部、12M…開口部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…バケットリンク、17…バケット本体、17A…底板部、17B…上板部、17C…左板部、17D…右板部、18…バケットツース、19…ツース間プロテクタ、20…運転操作装置、20A…アクセルペダル、20B…ブレーキペダル、20C…前後進レバー、21…操作パネル、22…モニタ装置、23…リアビューモニタ装置、24…出力装置、24A…表示装置、24B…発音装置、25…入力装置、27…ピラー、28…前照灯、28L…前照灯、28R…前照灯、29…ウインカーランプ、29L…ウインカーランプ、29R…ウインカーランプ、30…監視システム、32…撮像装置(計測装置)、32L…撮像装置、32R…撮像装置、33…監視コントローラ、34…検知エリア、35…第1警告エリア、36…第2警告エリア、40…駆動システム、41…エンジン、42…燃料噴射装置、43…パワーテイクオフ、44…トランスミッション、44F…前進ギヤ、44R…後進ギヤ、45F…フロントアクスル、45R…リヤアクスル、46…油圧ポンプ、47…制御弁、48…駆動コントローラ、50…区画エリア、51…第1区画エリア、52…第2区画エリア、53…第3区画エリア、54…第4区画エリア、55…第5区画エリア、56…第6区画エリア、57…第7区画エリア、58…第8区画エリア、59…第9区画エリア、60…ピクセル、80…警告画像、81…第1フレーム画像、82…第2フレーム画像、83…第3フレーム画像、90…角度センサ、91…ブーム角度センサ、92…バケット角度センサ、93…負荷センサ、200…地面、210…地山、220…ダンプトラック、230…ダンプボディ、240…転石、331…計測データ取得部、332…車体データ取得部、333…状態判別部、334…転石検知部、335…警告基準設定部、336…計測データ調整部、337…転石判定部、338…警告制御部、339…検知制御部、340…係数記憶部、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、CL…中心、FX…回転軸、Rb…計測範囲、RX…回転軸、β…画角。