(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022177972
(43)【公開日】2022-12-02
(54)【発明の名称】作業支援システム、作業支援システムの監視方法、作業支援システムの監視プログラム
(51)【国際特許分類】
E02F 9/26 20060101AFI20221125BHJP
【FI】
E02F9/26 B
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021084424
(22)【出願日】2021-05-19
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】鈴木 正倫
(72)【発明者】
【氏名】外山 雄輔
【テーマコード(参考)】
2D015
【Fターム(参考)】
2D015HA03
(57)【要約】
【課題】作業機械が稼働中の場合でも、センサの異常を迅速に検出することができるようにする。
【解決手段】作業機械2の可動部4、5、6に保持されて、センサにより可動部4、5、6の姿勢情報を取得して出力する検出装置11A、11B、11Cと、可動部4、5、6に係るオペレータの操作を検出して操作情報を出力する操作検出部24と、姿勢情報に基づいて、オペレータの操作を支援する支援情報を生成してオペレータに通知する演算部34とを備え、演算部34は、姿勢情報及び操作情報に基づいて、センサの異常を検出する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
作業機械の可動部に保持されて、センサにより前記可動部の姿勢情報を取得して出力する検出装置と、
前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出部と、
前記姿勢情報に基づいて、前記オペレータの操作を支援する支援情報を生成して前記オペレータに通知する演算部とを備え、
前記演算部は、
前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する
作業支援システム。
【請求項2】
前記演算部は、前記オペレータの携帯する携帯情報端末装置により前記センサの異常を通知する
請求項1に記載の作業支援システム。
【請求項3】
前記演算部は、前記作業機械の運転席に設けられた表示部による表示及び/又は発音部による出力により前記センサの異常を通知する
請求項1又は請求項2に記載の作業支援システム。
【請求項4】
作業機械の可動部に保持されたセンサにより取得される前記可動部の姿勢情報に基づいて、前記作業機械のオペレータの操作を支援する支援情報を生成して提供する作業支援システムの監視方法において、
前記センサを備えた検出装置より、前記姿勢情報を取得する姿勢情報取得ステップと、
前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出ステップと、
前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する異常検出ステップとを備える
作業支援システムの監視方法。
【請求項5】
演算処理回路による実行により所定の処理手順を実行させる作業支援システムの監視プログラムにおいて、
前記作業支援システムは、
作業機械の可動部に保持されたセンサにより取得される前記可動部の姿勢情報に基づいて、前記作業機械のオペレータの操作を支援する支援情報を生成して前記オペレータに提供し、
前記処理手順は、
前記センサを備えた検出装置より、前記姿勢情報を取得する姿勢情報取得ステップと、
前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出ステップと、
前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する異常検出ステップとを備える
作業支援システムの監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援システム、作業支援システムの監視方法、作業支援システムの監視プログラムに関し、例えば油圧ショベル等の作業機械に適用することができる。
【背景技術】
【0002】
従来、マシンガイダンスの機能を組み込んだ作業機械(作業支援システムを適用した作業機械であり、いわゆるICT建機である)が提供されている。
ここでマシンガイダンスは、トータルステーション(TS:Total Station)、GNSS(Global Navigation Satellite System)等の計測技術を利用して作業機械の操作を支援する技術である。このマシンガイダンスによれば、オペレータの操作を適切に支援して、作業効率、安全性、作業精度を向上することができる。
【0003】
このようなICT建機は、作業機械の可動部にセンサを配置し、このセンサによる検出結果に基づいてオペレータの操作を支援する情報(以下、適宜、支援情報と呼ぶ)を作成している(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところでマシンガイダンスの機能を組み込んだ作業機械においては、作業中の接触事故等によりセンサに異常が発生することが予測される。なおこのような異常は、例えばセンサの故障、センサの脱落等である。
このようにセンサに異常が発生すると、マシンガイダンスにおいては、オペレータの操作を正しく支援することが困難になる。またさらにマシンガイダンスによる支援のみを頼りに作業機械を操作する場合には、事故が発生する恐れもある。
これにより作業機械が稼働中の場合でも、センサの異常を迅速に検出することが求められる。
【0006】
本発明は以上の点を考慮してなされたものであり、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる作業支援システム、作業支援システムの監視方法、作業支援システムの監視プログラムを提案することを目的とする。
【課題を解決するための手段】
【0007】
係る課題を解決するため、請求項1の発明は、作業支援システムにおいて、作業機械の可動部に保持されて、センサにより前記可動部の姿勢情報を取得して出力する検出装置と、前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出部と、前記姿勢情報に基づいて、前記オペレータの操作を支援する支援情報を生成して前記オペレータに通知する演算部とを備え、前記演算部は、前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する。
【0008】
請求項1の構成によれば、姿勢情報及び操作情報に基づいて、センサの異常を検出することにより、例えばオペレータが可動部を可動するように操作している場合の姿勢情報の変化を判定してセンサの故障、脱落等を検出することができ、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる。
【0009】
請求項2の発明は、請求項1の構成において、前記演算部は、前記オペレータの携帯する携帯情報端末装置により前記センサの異常を通知する。
【0010】
請求項2の構成によれば、オペレータに迅速にセンサの異常を通知することができる。
【0011】
請求項3の発明は、請求項1又は請求項2の構成において、前記演算部は、前記作業機械の運転席に設けられた表示部による表示及び/又は発音部による出力により前記センサの異常を通知する。
【0012】
請求項3の構成によれば、運転席のオペレータに迅速にセンサの異常を通知することができる。
【0013】
請求項4の発明は、作業機械の可動部に保持されたセンサにより取得される前記可動部の姿勢情報に基づいて、前記作業機械のオペレータの操作を支援する支援情報を生成して提供する作業支援システムの監視方法において、前記センサを備えた検出装置より、前記姿勢情報を取得する姿勢情報取得ステップと、前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出ステップと、前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する異常検出ステップとを備える。
【0014】
請求項4の構成によれば、姿勢情報及び操作情報に基づいて、センサの異常を検出することにより、例えばオペレータが可動部を可動するように操作している場合の姿勢情報の変化を判定してセンサの故障、センサの脱落等を検出することができ、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる。
【0015】
請求項5の発明は、演算処理回路による実行により所定の処理手順を実行させる作業支援システムの監視プログラムにおいて、前記作業支援システムは、作業機械の可動部に保持されたセンサにより取得される前記可動部の姿勢情報に基づいて、前記作業機械のオペレータの操作を支援する支援情報を生成して前記オペレータに提供し、前記処理手順は、前記センサを備えた検出装置より、前記姿勢情報を取得する姿勢情報取得ステップと、前記可動部に係るオペレータの操作を検出して操作情報を出力する操作検出ステップと、前記姿勢情報及び前記操作情報に基づいて、前記センサの異常を検出する異常検出ステップとを備える。
【0016】
請求項5の構成によれば、姿勢情報及び操作情報に基づいて、センサの異常を検出することにより、例えばオペレータが可動部を可動するように操作している場合の姿勢情報の変化を判定してセンサの故障、センサの脱落等を検出することができ、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる。
【発明の効果】
【0017】
本発明によれば、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる。
【図面の簡単な説明】
【0018】
【
図1】本発明の第1実施形態に係る作業支援システムを示す図である。
【
図2】
図1の作業支援システムのブロック図である。
【
図4】作業支援システムの監視プログラムによる処理手順を示すフローチャートである。
【
図6】各可動部が可動操作された場合における角度変化Δθの有無を示す図表である。
【
図7】携帯情報端末装置における警告表示の例を示す図である。
【
図8】
図7との対比により、正常動作している場合の表示例を示す図である。
【
図9】携帯情報端末装置における警告表示の他の例を示す図である。
【
図10】
図9との対比により、正常動作している場合の表示例を示す図である。
【発明を実施するための形態】
【0019】
〔第1実施形態〕
図1は、本発明の第1実施形態に係る作業支援システム1を示す図であり、
図2は、ブロック図である。
この作業支援システム1は、作業機械である油圧ショベル2において、マシンガイダンスの機能によりこの油圧ショベル2を操作するオペレータの操作を支援する。
ここで油圧ショベル2は、無限軌道により自走する本体3にブーム4、アーム5、バケット6が順次設けられる。なお作業支援システム1は、油圧ショベルに限らず、例えば地盤改良に使用する作業機械等、土木、建築の作業に使用される各種作業機械を広く適用することができる。
【0020】
作業支援システム1は、検出装置11A、11B、11C、本体装置12、携帯情報端末装置13、通知装置14、操作検出部24を備え、油圧ショベル2の可動部であるブーム4、アーム5、バケット6にそれぞれ検出装置11A、11B、11Cが配置される。なお検出装置11A、11B、11Cは、ブーム4、アーム5、バケット6のうちの一部のみに設けるようにしてもよく、必要に応じて種々の部位に設けることができる。
【0021】
検出装置11A、11B、11Cは、検出部21、演算部22、通信部23を備え、図示しない内臓バッテリの電源により動作する。
検出部21は、センサを備え、このセンサにより3次元の加速度情報、角速度情報を取得して出力する。
演算部22は、内臓の演算処理回路により検出部21から出力されるセンサによる計測結果を処理することにより、対応する可動部の姿勢を示す姿勢情報を取得する。
【0022】
ここでこの実施形態において、検出部21のセンサには、IMU(INERTIAL MEASUREMENT UNIT)センサが適用されるものの、IMUセンサに限らず、3軸以外のセンサを適用するようにしてもよく、姿勢情報を検出可能な種々の構成を広く適用することができる。またセンサは、直接、可動部の姿勢を検出する情報を取得可能な構成に限らず、例えば地表までの距離を測距する測距用センサのように、間接的に可動部の姿勢を検出可能な構成を広く適用することができる。
【0023】
また
図3に示すように、この実施形態において、姿勢情報には、基準方向(例えば油圧ショベル2の接地面の前後方向の基準線LHに対する可動部(この
図3の例ではアーム5)の角度θとこの角度θに係る角速度が適用される。なおこの
図3においては、角度θを容易に把握できるように、アーム5の回動軸を通る基準線LHの平行線を符号LH1により示す。
【0024】
通信部23は、演算部22で取得された姿勢情報を、無線通信によるデータ通信により本体装置12に送出する。この通信部23における無線通信には、BLUETOOTH(登録商標)が適用されるものの、データ通信可能な無線通信を広く適用することができる。
【0025】
操作検出部24は、可動部に係るオペレータの操作を検出して操作情報を本体装置12に出力する。油圧ショベル2では、運転席に設けられた操作レバーを傾けてブーム4、アーム5、バケット6を可動することにより、操作検出部24は、この操作レバーの傾きを検出して操作情報を出力する。これにより操作検出部24は、操作レバーの傾き検出可能な種々の構成を適用することができるものの、この実施形態では、IMUセンサが適用され、3次元の角度情報、角速度情報により操作情報を取得する。
【0026】
本体装置12は、作業機械2の本体3に設けられ、通信部12Aによるデータ通信により検出装置11A、11B、11Cから送出される姿勢情報、操作検出部24から出力される操作情報を取得して携帯情報端末装置13に出力する。またこれとは逆に携帯情報端末装置13から出力される支援情報を取得して通知装置14に出力する。
【0027】
通知装置14は、油圧ショベル2の運転席に設けられ、本体装置12から入力される支援情報等をオペレータに通知する。通知装置14は、表示部14A、発音部14Bを備え、表示部14Aにより支援情報を表示する。また発音部14Bによる音声出力により聴覚により確認可能に支援情報を提供する。
具体的に支援情報は、バケット6の先端位置から施工目標までの距離情報が適用され、これにより通知装置14は、例えば施工目標までの棒グラフ状のセグメント表示により視認可能に支援情報を提供する。またバケット6の先端が施工目標に近づくに従って音程が変化するように警報音を発生して聴覚により確認可能に支援情報を提供する。
なお支援情報の提供方法は、これらに限らず、種々の手法を適用することができる。また通知装置14は、携帯情報端末装置13により兼用するようにしてもよい。
【0028】
携帯情報端末装置13は、オペレータの携帯するいわゆるスマートフォンやタブレット端末であり、本体装置12を介して得られる検出装置11A、11B、11Cによる姿勢情報により支援情報を生成し、この生成した支援情報を本体装置12に送出する。
【0029】
より具体的に、携帯情報端末装置13は、表示部31、発音部32、操作部33、演算部34、通信部35を備える。
ここで表示部31は、液晶表示パネル等の画像表示パネルにより形成され、この携帯情報端末装置13に係る各種の画像情報を表示する。操作部33は、この表示部31に配置されたタッチパネル等により形成され、オペレータの各種の操作を検出する。発音部32は、演算部34の制御により各種の情報を音声により出力する。
通信部35は、無線通信によるデータ通信により通信部12Aとの間で姿勢情報、支援情報等を入出力する。
【0030】
演算部34は、演算処理回路を備え、この演算処理回路により作業支援システム1に係るアプリケーションソフトウェアを実行することにより、作業支援システム1に係る一連の処理を実行する。この処理により演算部34は、検出装置11A、11B、11Cにより姿勢情報を取得し、この姿勢情報により支援情報を生成する。また生成した支援情報を本体装置12に出力して通知装置14によりオペレータに通知する。
【0031】
このようにしてオペレータの操作を支援するようにして、演算部34は、バックグラウンドで作業支援システムの監視プログラムを一定の時間間隔で繰り返し実行することにより、姿勢情報の検出に供するセンサの異常を検出してオペレータに通知する。
【0032】
図4は、この作業支援システムの監視プログラムによる処理手順を示すフローチャートである。演算部34は、この処理手順を検出装置11A、11B、11C毎に実行し、これにより検出装置11A、11B、11C毎にセンサの異常を検出する。
演算部34は、この処理手順を開始すると、検出装置11A、11B、11Cにおいてセンサの出力を取得し(SP1-SP2)、このセンサ出力を演算部22で処理して角度及び角速度による姿勢情報を生成し、この姿勢情報を通信部35を介して取得する(SP3(姿勢情報取得ステップ)。
また操作検出部24より操作情報を取得し(操作情報取得ステップ)、この操作情報により操作レバー操作が実行されたか否か判断する。
【0033】
ここで
図5において矢印Aにより示すように、アーム5の回動によりバケット6が前方から後方に移動し、移動開始時に角度θ1により姿勢情報が検出され、1秒経過後に角度θ2により姿勢情報が検出され、さらに1秒経過後に角度θ3により姿勢情報が検出されたとする。なおブーム4、バケット6は、回動操作されていないものとする。
この場合、この連続する角度変化における角度変化Δθ=θ2-θ1、Δθ=θ3-θ2は角速度であり、角度変化Δθがアーム5の最大速度動作時の角速度Δθthを超えている場合(Δθ>Δθthの場合)、このアーム5に設けられた検出装置11Bではセンサの故障による異常が発生していると判断することができる。
またアーム5が回動操作されている場合にあっても、角度変化Δθが無い場合、この場合も検出装置11Bにおけるセンサの故障、又はアーム5からの検出装置11Bの脱落による異常と判断することができる。
【0034】
またこれらとは逆にアーム5が回動操作されてないのに角度変化Δθが発生した場合、この場合も検出装置11Bにおけるセンサの故障による異常と判断することができる。
【0035】
しかしながら作業機械において、検出装置11B、11Cでは、本体3側の可動部が回動した場合でも、角度変化Δθが発生する。具体的に、バケット6に設けられた検出装置11Cでは、ブーム4が回動した場合、アーム5が回動した場合も、角度変化Δθが発生する。
また作業機械では、複数の可動部が同時に可動操作される場合もある。
【0036】
図6は、作業機械2において、各可動部が可動操作された場合における各可動部における角度変化Δθの有無を示す図表である。
この図表において、最も本体3側の可動部であるブーム4を可動する操作レバーのみが操作された場合、ブーム4、アーム5、バケット6に設けられた検出装置11A、11B、11Cで角度変化Δθが検出される。またアーム5を可動する操作レバーのみが操作された場合、ブーム4に設けられた検出装置11Aでは角度変化Δθが検出されず、アーム5、バケット6に設けられた検出装置11B、11Cで角度変化Δθが検出される。またバケット6を可動する操作レバーのみが操作された場合、ブーム4、アーム5に設けられた検出装置11A、11Bでは角度変化Δθが検出されず、バケット6に設けられた検出装置11Cのみで角度変化Δθが検出される。
【0037】
またブーム4、アーム5を可動する操作レバーが操作された場合、ブーム4、アーム5、バケット6に設けられた検出装置11A、11B、11Cで角度変化Δθが検出される。またアーム5、バケット6を可動する操作レバーが操作された場合、アーム5、バケット6に設けられた検出装置11B、11Cで角度変化Δθが検出される。またブーム4、バケット6を可動する操作レバーが操作された場合、ブーム4、アーム5、バケット6に設けられた検出装置11A、11B、11Cで角度変化Δθが検出される。またブーム4、アーム5、バケット6を可動する操作レバーが操作された場合、ブーム4、アーム5、バケット6に設けられた検出装置11A、11B、11Cで角度変化Δθが検出される。
【0038】
これによりこの
図6に示す組み合わせに対応するように判定基準の角速度Δθthを設定して、角度変化Δθの有無、角度変化Δθ量を判定して、センサの異常を検出することができる。これらにより演算部34は、姿勢情報及び操作情報に基づいて、検出装置11A、11B、11Cに係るセンサの異常を検出する。
【0039】
係る検出原理に基づいて演算部34は、
図6に示す関係より角度変化Δθを生じる操作レバー(検出装置11Bについては、ブーム4、アーム5の操作レバーである)の操作が検出された検出装置については(SP4)、角度変化Δθの有無を判定し(SP5)、角度変化Δθがある場合、角度変化Δθを判定基準の角速度Δθthで判定して角度変化Δθが正常値か否か判定する(SP6)。なおこの判定基準の角速度Δθthは、事前のユーザー設定により設定してもよく、さらには学習機能により設定するようにしても良い。
演算部34は、角度変化Δθが正常値である場合、正常動作と判定する(SP7)。
これに対して角度変化Δθが正常値でない場合、角度変化Δθがない場合、演算部34は、センサに異常が発生していると判定し(SP9)、表示部31の表示を切り替えて異常を通知する。また発音部32を駆動して警告音により異常を通知する。さらに通信部35を介して本体装置12に異常を通知し、通知装置14における表示部14Aの表示及び発音部14Bの出力により異常を通知する(SP10)。
【0040】
これに対して
図6に示す関係より角度変化Δθを生じる操作レバーの操作が検出されない検出装置については(SP4)、角度変化Δθの有無を判定し(SP11)、角度変化Δθがある場合、センサに異常が発生していると判定し(SP9)、表示部31の表示を切り替えて異常を通知する。また発音部32を駆動して警告音により異常を通知する。さらに通信部35を介して本体装置12に異常を通知し、通知装置14における表示部14Aの表示及び発音部14Bの出力により異常を通知する(SP10)。
また角度変化Δθがない場合、正常動作していると判定する(SP12)。
なおこれらにより
図4の処理手順においては、ステップSP4-SP5-SP6-SP9の処理が、姿勢情報及び操作情報に基づいて、検出装置11A、11B、11Cに設けられたセンサの異常を検出する異常検出ステップである。
【0041】
図7は、携帯情報端末装置13における警告表示の例を示す図である。この
図7の例は、角度変化Δθが正常値でないことにより異常が発生していると判定した場合(
図4のステップSP6で否定結果が検出された場合)の例である。
この場合、表示画面の中央に異常の発生を示す「異常」の文字が表示され、下部に異常に係る事項「角度;θ、角速度;Δθ、Δθ>Δθth」が表示される。
なお
図8は、
図7との対比により、正常動作している場合に、操作部33の操作によりオペレータが角度変化Δθが正常値か否かの確認を指示した場合の表示例である。
この場合、表示画面の中央に正常動作中であることを示す「正常」の文字が表示され、下部に角度変化Δθの判定に係る事項「角度;θ、角速度;Δθ、Δθ<Δθth」が表示される。
【0042】
また
図9は、
図7との対比により、操作レバーにより可動操作しているにも拘わらず、角度変化Δθが無い場合(
図4のステップSP11で肯定結果が検出された場合)の例を示す図である。
この場合、表示画面の中央に異常の発生を示す「異常」の文字が表示され、下部に、センサ出力が得られていないことを示す表示「IMUの値が変わりません」のテキストが表示される。
なお
図10は、
図9との対比により、正常動作している場合に、操作部33の操作によりオペレータがセンサ出力の確認を指示した場合の表示例である。
この場合、表示画面の中央に正常動作中であることを示す「正常」の文字が表示され、下部に、センサ出力が正常であることを示す表示「IMUは正常に稼働しています」のテキストが表示される。
【0043】
以上の構成によれば、姿勢情報及び操作情報に基づいて、センサの異常を検出することにより、作業機械が稼働中の場合でも、センサの異常を迅速に検出することができる。
【0044】
またオペレータの携帯する携帯情報端末装置によりセンサの異常を通知することにより、
オペレータに迅速にセンサの異常を通知することができる。
【0045】
また作業機械の運転席に設けられた表示部による表示及び又は発音部による出力によりセンサの異常を通知することにより、運転席のオペレータに迅速にセンサの異常を通知することができる。
【0046】
〔他の実施形態〕
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。
【符号の説明】
【0047】
1 作業支援システム
2 油圧ショベル
3 本体
4 ブーム
5 アーム
6 バケット
11A、11B、11C 検出装置
12 本体装置
12A、23、35 通信部
13 携帯情報端末装置
14 通知装置
14A、31 表示部
14B、32 発音部
21 検出部
22、34 演算部
24 操作検出部
33 操作部