(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089387
(43)【公開日】2024-07-03
(54)【発明の名称】ショベルの管理システム、ショベルの管理装置
(51)【国際特許分類】
E02F 9/26 20060101AFI20240626BHJP
【FI】
E02F9/26 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022204727
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】古賀 方土
(72)【発明者】
【氏名】生沼 大暉
【テーマコード(参考)】
2D015
【Fターム(参考)】
2D015HA03
(57)【要約】
【課題】音声データに基づき、不具合への対応方法を提示することを目的とする。
【解決手段】ショベルと、前記ショベルを管理する管理装置と、を含むショベルの管理システムであって、前記管理装置は、不具合に関する不具合情報が格納された記憶部から、前記ショベルから取得した音声データから変換されたテキストデータと内容が類似する不具合情報を抽出し、前記ショベルの表示装置に、抽出された前記不具合情報に含まれる前記不具合への対応方法を示す情報を表示させる対応出力部を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ショベルと、前記ショベルを管理する管理装置と、を含むショベルの管理システムであって、
前記管理装置は、
不具合に関する不具合情報が格納された記憶部から、前記ショベルから取得した音声データから変換されたテキストデータと内容が類似する不具合情報を抽出し、前記ショベルの表示装置に、抽出された前記不具合情報に含まれる前記不具合への対応方法を示す情報を表示させる対応出力部を有する、ショベルの管理システム。
【請求項2】
前記管理装置は、
前記ショベルから取得した稼働データを用いて、前記ショベルの異常度を算出する診断部を有し、
前記対応出力部は、前記異常度を前記不具合への対応方法を含む情報と共に表示させる、請求項1記載のショベルの管理システム。
【請求項3】
前記対応出力部は、
前記不具合への対応方法を含む情報と共に、前記不具合の原因を示す情報を前記ショベルの表示装置に表示させる、請求項1又は2記載のショベルの管理システム。
【請求項4】
前記診断部は、
前記ショベルにおいて不具合が発生した部位を推定し、
前記対応出力部は、前記不具合への対応方法を含む情報と共に、前記不具合が発生した部位を示す情報を前記ショベルの表示装置に表示される、請求項2記載のショベルの管理システム。
【請求項5】
前記対応出力部は、
前記診断部により算出された異常度が所定の閾値以上であり、且つ、前記音声データが取得されていない場合に、前記音声データの入力を促す情報を前記ショベルの表示装置に表示させる、請求項2記載のショベルの管理システム。
【請求項6】
前記対応出力部は、
前記診断部により算出された異常度が所定の閾値未満であり、且つ、前記音声データが所定期間取得されない場合に、前記ショベルの状態に関するアンケート画面を前記ショベルの表示装置に表示させる、請求項2記載のショベルの管理システム。
【請求項7】
前記対応出力部は、
前記記憶部を検索し、前記記憶部に格納された不具合情報が示す内容と、前記テキストデータが示す内容との類似度に基づき、前記記憶部から前記不具合情報を抽出する抽出部を有する、請求項1又は2記載のショベルの管理システム。
【請求項8】
前記管理装置は、
前記ショベルから、サービスマンへの不具合の発生の通知を指示された場合に、前記サービスマンと紐付けられた端末へ、前記不具合の発生を通知する、請求項7記載のショベルの管理システム。
【請求項9】
前記管理装置は、
前記対応出力部が、前記テキストデータで前記記憶部を検索している最中に、前記ショベルの表示装置に、検索中であることを示す画像を表示させる、請求項7記載のショベルの管理システム。
【請求項10】
ショベルを管理するショベルの管理装置であって、
過去の不具合に関する不具合情報が格納された記憶部から、前記ショベルから取得した音声データから変換されたテキストデータと内容が類似する不具合情報を抽出し、前記ショベルの表示装置に、抽出された前記不具合情報に含まれる前記不具合への対応方法を示す情報を表示させる対応出力部を有する、ショベルの管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ショベルの管理システム、ショベルの管理装置に関する。
【背景技術】
【0002】
従来では、作業機械のオペレータが、作業機械のトラブル等に関する作動情報を音声データとして、サービスマンが携帯する携帯電話に送信するメンテナンスシステムが知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来の技術では、例えば、音声データにおいて、発生している不具合の程度や、オペレータが感じている違和感等が的確に表現されていない場合には、不具合に対する対応方法を提示することが困難である。また、作業中のオペレータにとっては、機械の不具合や自身が感じる違和感等を的確に表現することは容易ではない。
【0005】
そこで、上記事情に鑑み、音声データに基づき、不具合への対応方法を提示することを目的とする。
【課題を解決するための手段】
【0006】
本発明の実施形態に係るショベルの管理システムは、ショベルと、前記ショベルを管理する管理装置と、を含むショベルの管理システムであって、前記管理装置は、不具合に関する不具合情報が格納された記憶部から、前記ショベルから取得した音声データから変換されたテキストデータと内容が類似する不具合情報を抽出し、前記ショベルの表示装置に、抽出された前記不具合情報に含まれる前記不具合への対応方法を示す情報を表示させる対応出力部を有する、ショベルの管理システムである。
【0007】
本発明の実施形態に係るショベルの管理装置は、不具合に関する不具合情報が格納された記憶部から、前記ショベルから取得した音声データから変換されたテキストデータと内容が類似する不具合情報を抽出し、前記ショベルの表示装置に、抽出された前記不具合情報に含まれる前記不具合への対応方法を示す情報を表示させる対応出力部を有する、ショベルの管理装置である。
【発明の効果】
【0008】
音声データに基づき、不具合への対応方法を提示することができる。
【図面の簡単な説明】
【0009】
【
図1】ショベルの管理システムの一例を示す概要図である。
【
図2】ショベルの管理システムの一例を示す構成図である。
【
図3】管理装置のハードウェア構成の一例を示す図である。
【
図4】不具合情報データベースの一例を示す図である。
【
図6】第一の実施形態の管理装置の処理を説明するフローチャートである。
【
図7】第一の実施形態のショベルの表示例を示す図である。
【
図8】第二の実施形態の管理装置の機能を説明する図である。
【
図9】第二の実施形態の管理装置の処理を説明するフローチャートである。
【
図10】第二の実施形態のショベルの表示例を示す図である。
【
図11】第三の実施形態の管理装置の処理を説明するフローチャートである。
【
図12】第三の実施形態のショベルの表示例を示す第一の図である。
【
図13】第三の実施形態のショベルの表示例を示す第二の図である。
【発明を実施するための形態】
【0010】
(第一の実施形態)
以下に図面を参照して、実施形態について説明する。
図1は、ショベルの管理システムの一例を示す概要図である。
【0011】
本実施形態のショベルの管理システムSYSは、ショベル100と、管理装置300と、を含む。ショベルの管理システムSYSにおいて、ショベル100と管理装置300とは、互いにネットワークを介して通信を行う。管理装置300はショベル100を管理する。以下の説明では、ショベルの管理システムSYSを、管理システムSYSと呼ぶ。
【0012】
本実施形態のショベル100は、作業機械の一例である。ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業装置)としてのブーム4、アーム5、及び、バケット6と、キャビン10を備える。
【0013】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ1A、1B(
図2参照)で油圧駆動されることにより、自走する。
【0014】
上部旋回体3は、旋回用油圧モータ2A(
図2参照)で駆動されることにより、下部走行体1に対して旋回する。
【0015】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0016】
キャビン10は、オペレータ(オペレータ)が搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
【0017】
ショベル100は、例えば、基地局を末端とする移動体通信網、上空の通信衛星を利用する衛星通信網、インターネット等を含む所定の通信ネットワークNWを通じて、管理装置300と相互に通信を行うことができる。
【0018】
また、本実施形態の管理装置300は、ショベル100から、規定動作を行ったときの稼働データを取得する。
【0019】
規定動作とは、予め決められた第一の規定姿勢から、予め決められた第二の規定姿勢へ移行する動作である。したがって、規定動作は、第一の規定姿勢から開始し、第二の規定姿勢となったときに終了する動作である。第一の規定姿勢と第二の規定姿勢は、それぞれが異なる姿勢であっても良いし、同一の姿勢であっても良い。つまり、規定動作は、ある規定姿勢から他の規定姿勢へ姿勢を変える動作であっても良いし、ある規定姿勢から所定の動作をして、再びある規定姿勢に戻る動作であっても良い。
【0020】
稼働データは、後述する状態検出装置S1から出力される各種の検出情報、ショベル100に設定された各種の設定条件を示す設定条件情報、ショベル100を特定するための機番等を含む。検出情報には、例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等の動作要素の作業時の動作軌跡等が含まれる。
【0021】
ショベル100は、規定動作を行っている最中の稼働データを取得すると、取得した稼働データを管理装置300に送信(アップロード)する。
【0022】
管理システムSYSにおいて、管理装置300は、規定動作中の稼働データを受信すると、稼働データに基づき、ショベル100の異常度を算出する。そして、管理装置300は、過去に算出した異常度との関係に基づき、次にショベル100に規定動作を行わせるタイミング(時期)を決定し、決定された時期をショベル100に通知する。
【0023】
なお、
図1の例では、管理システムSYSに含まれるショベル100は1台としたが、これに限定されない。管理システムSYSに含まれるショベル100の台数は任意であって良く、管理装置300と通信が可能なショベル100は全て管理システムSYSに含まれてもよい。
【0024】
また、本実施形態の管理装置300は、ショベル100と地理的に離れた位置に設置される情報処理装置である。管理装置300は、例えば、ショベル100が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、管理システムSYSを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、クラウドサーバであってもよい。
【0025】
次に、
図2を参照して、本実施形態の管理システムSYSについて、さらに説明する。
図2は、ショベルの管理システムの一例を示す構成図である。
【0026】
なお、図中において、機械的動力ラインは二重線、高圧油圧ラインは太い実線、パイロットラインは破線、電気駆動・制御ラインは細い実線でそれぞれ示される。
【0027】
本実施形態のショベル100の油圧アクチュエータを油圧駆動する油圧駆動系は、エンジン11と、メインポンプ14と、レギュレータ14aと、コントロールバルブ17を含む。また、ショベル100の油圧駆動系は、上述の如く、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6のそれぞれを油圧駆動する走行油圧モータ1A,1B、旋回用油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
【0028】
エンジン11は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、後述するエンジン制御装置(ECU:Engine Control Unit)74による制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
【0029】
レギュレータ14aは、メインポンプ14の吐出量を制御する。例えば、レギュレータ14aは、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。
【0030】
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ライン16を通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30による制御の下、レギュレータ14aにより斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御されうる。
【0031】
コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載され、オペレータによる操作装置26に対する操作に応じて、油圧駆動系の制御を行う油圧制御装置である。コントロールバルブ17は、上述の如く、高圧油圧ライン16を介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、操作装置26の操作状態に応じて、油圧アクチュエータ(走行油圧モータ1A,1B、旋回用油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9)に選択的に供給する。
【0032】
具体的には、コントロールバルブ17は、メインポンプ14から油圧アクチュエータのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁を含む。例えば、コントロールバルブ17は、ブーム4(ブームシリンダ7)に対応する制御弁を含む。また、例えば、コントロールバルブ17は、アーム5(アームシリンダ8)に対応する制御弁を含む。
【0033】
また、例えば、コントロールバルブ17は、バケット6(バケットシリンダ9)に対応する制御弁を含む。また、例えば、コントロールバルブ17は、上部旋回体3(旋回用油圧モータ2A)に対応する制御弁を含む。また、例えば、コントロールバルブ17には、下部走行体1の右側のクローラ及び左側のクローラのそれぞれに対応する右走行制御弁及び左走行制御弁が含まれる。
【0034】
本実施形態に係るショベル100の操作系は、パイロットポンプ15と、操作装置26と、操作バルブ31を含む。
【0035】
パイロットポンプ15は、例えば、上部旋回体3の後部に搭載され、パイロットライン25を介して操作装置26及び操作バルブ31にパイロット圧を供給する。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
【0036】
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータが各種動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5、バケット6等)の操作を行うための操作入力手段である。換言すれば、操作装置26は、オペレータがそれぞれの動作要素を駆動する油圧アクチュエータ(即ち、走行油圧モータ1A,1B、旋回用油圧モータ2A、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等)の操作を行うための操作入力手段である。操作装置26は、その二次側のパイロットラインがコントロールバルブ17にそれぞれ接続される。
【0037】
これにより、コントロールバルブ17には、操作装置26における下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の操作状態に応じたパイロット圧が入力されうる。そのため、コントロールバルブ17は、操作装置26における操作状態に応じて、それぞれの油圧アクチュエータを駆動することができる。
【0038】
操作バルブ31は、コントローラ30からの制御指令(例えば、制御電流)に応じて、パイロットライン25の流路面積を調整する。これにより、操作バルブ31は、パイロットポンプ15から供給される一次側のパイロット圧を元圧として、二次側のパイロットラインに制御指令に対応するパイロット圧を出力することができる。
【0039】
操作バルブ31は、その二次側ポートが、コントロールバルブ17のそれぞれの油圧アクチュエータに対応する制御弁の左右のパイロットポートに接続され、コントローラ30からの制御指令に応じたパイロット圧を制御弁のパイロットポートに作用させる。これにより、コントローラ30は、オペレータにより操作装置26が操作されていない場合であっても、パイロットポンプ15から吐出される作動油を、操作バルブ31を介して、コントロールバルブ17内の対応する制御弁のパイロットポートに供給させ、油圧アクチュエータを動作させることができる。
【0040】
なお、操作バルブ31に加えて、油圧アクチュエータ内に発生する過剰な油圧を作動油タンクにリリーフする電磁リリーフ弁が設けられてもよい。これにより、オペレータによる操作装置26に対する操作量が過剰な場合等において、積極的に、油圧アクチュエータの動作を抑制させることができる。例えば、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9のボトム側油室及びロッド側油室のそれぞれの過剰な圧力を作動油タンクにリリーフする電磁リリーフ弁が設けられてよい。
【0041】
本実施形態に係るショベル100の制御系は、コントローラ30と、ECU74と、吐出圧センサ14bと、操作圧センサ15aと、表示装置40と、入力装置42と、撮像装置80と、状態検出装置S1と、通信機器T1を含む。
【0042】
コントローラ30は、ショベル100の駆動制御を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、コントローラ30は、CPU(Central Processing Unit)等のプロセッサと、RAM(Random Access Memory)等のメモリ装置と、ROM(Read Only Memory)等の不揮発性の補助記憶装置と、各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより各種機能を実現する。
【0043】
例えば、コントローラ30は、オペレータ等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、ECU74に制御指令を出力することより、ECU74を介して、エンジン11を一定回転させる駆動制御を行う。
【0044】
また、例えば、コントローラ30は、必要に応じてレギュレータ14aに対して制御指令を出力し、メインポンプ14の吐出量を変化させることにより、いわゆる全馬力制御やネガコン制御を行う。
【0045】
また、例えば、コントローラ30は、ショベル100に関する各種情報を管理装置300にアップロードする機能(以下、「アップロード機能」)を有していてもよい。具体的には、コントローラ30は、ショベル100の所定の種別の作業時における作業パターン実績情報及び環境条件実績情報を、通信機器T1を通じて、管理装置300に送信(アップロード)してよい。
【0046】
コントローラ30は、例えば、補助記憶装置等にインストールされる一以上のプログラムをCPU上で実行することにより実現される、アップロード機能に関する機能部として、情報送信部301を含む。
【0047】
また、例えば、コントローラ30は、オペレータによる操作装置26を通じたショベル100の手動操作をガイド(案内)するマシンガイダンス機能に関する制御を行う。また、コントローラ30は、オペレータによる操作装置26を通じたショベル100の手動操作を自動的に支援するマシンコントロール機能に関する制御を行ってよい。
【0048】
コントローラ30は、例えば、補助記憶装置等にインストールされる一以上のプログラムをCPU上で実行することにより実現される、マシンガイダンス機能及びマシンコントロール機能に関する機能部として、情報収集部302と、マシンガイダンス部303、表示制御部304を含む。
【0049】
なお、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、上述したマシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(制御装置)により実現されてもよい。
【0050】
ECU74は、コントローラ30からの制御指令に応じて、エンジン11の各種アクチュエータ(例えば、燃料噴射装置等)を制御し、エンジン11を設定された目標回転数(設定回転数)で定回転させる(定回転制御)。このとき、ECU74は、エンジン回転数センサ11aにより検出されるエンジン11の回転数に基づき、エンジン11の定回転制御を行う。
【0051】
吐出圧センサ14bは、メインポンプ14の吐出圧を検出する。吐出圧センサ14bにより検出された吐出圧に対応する検出信号は、コントローラ30に取り込まれる。
【0052】
操作圧センサ15aは、上述の如く、操作装置26の二次側のパイロット圧、即ち、操作装置26におけるそれぞれの動作要素(油圧アクチュエータ)の操作状態に対応するパイロット圧を検出する。操作圧センサ15aによる操作装置26における下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の操作状態に対応するパイロット圧の検出信号は、コントローラ30に取り込まれる。
【0053】
表示装置40は、コントローラ30と接続され、コントローラ30による制御下で、キャビン10内の着座したオペレータから視認し易い位置に設けられ、各種情報画像を表示する。表示装置40は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。
【0054】
入力装置42は、キャビン10内の着座したオペレータから手が届く範囲に設けられ、オペレータによる各種操作を受け付け、操作内容に対応する信号を出力する。例えば、入力装置42は、表示装置40と一体化される。
【0055】
また、本実施形態の入力装置42は、ショベル100のメンテナンスを開始する際に、操作されるスイッチ42aと、メンテナンスが完了した際に操作されるスイッチ42bとを含む。
【0056】
また、入力装置42は、オペレータによる音声データの入力を受け付ける音声入力装置(マイク)42cを含む。
【0057】
スイッチ42aは、メンテナンス開始スイッチの一例であり、ショベル100のメンテナンスを行うオペレータ等によって操作される。スイッチ42bは、メンテナンス完了スイッチの一例であり、ショベル100のメンテナンスを行ったオペレータ等によって操作される。
【0058】
なお、本実施形態のスイッチ42aとスイッチ42bとは、例えば、支援装置のディスプレイに表示されてもよい。その場合、支援装置の利用者によって、スイッチ42aとスイッチ42bとが操作されてもよい。
【0059】
マイク42cは、オペレータによる音声データの入力を受け付ける。言い換えれば、マイク42cは、オペレータの発話内容を示す音声データを取得する。
【0060】
なお、
図2の例では、マイク42cがショベル100の表示装置40に設けられるものとしたが、これに限定されない。マイク42cは、ショベル100内のどこに設けられていてもよく、オペレータの発話内容を示す音声データを集音できればよい。また、マイク42cは、オペレータに装着されて、ショベル100のコントローラ30に対して音声データを送信するものであってもよい。
【0061】
本実施形態のショベル100は、例えば、スイッチ42aとスイッチ42bとが操作されると、メンテナンスの開始日と完了日とを管理装置300に送信してもよい。
【0062】
また、撮像装置80に撮像された画像から、アクチュエータが動作する前にショベル100から所定範囲内に人が存在すると判断された場合には、オペレータが操作レバーを操作しても、アクチュエータの動作を動作不能、若しくは、微速状態にしてもよい。具体的には、ショベル100から所定範囲内に人が存在すると判断された場合、ゲートロック弁(図示せず)をロック状態にすることでアクチュエータを動作不能にすることができる。電気式の操作レバーの場合には、コントローラ30から操作用制御弁への信号を無効にすることで、アクチュエータを動作不能にすることができる。
【0063】
他の方式の操作レバーを用いる場合も、コントローラ30からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合には、同様である。アクチュエータの動作を微速にしたい場合には、コントローラ30から操作用制御弁への信号を小さくすることで、アクチュエータを微速状態にすることができる。
【0064】
このように、本実施形態のショベル100では、検出される物体が所定範囲内に存在すると判断されると、操作装置26が操作されてもアクチュエータは駆動されない、若しくは、操作装置26への入力よりも小さい出力で微速駆動を行う。
【0065】
更に、オペレータによる操作装置26(操作レバー)の操作中に、ショベル100から所定範囲内に人が存在すると判断された場合には、オペレータの操作に係わらずアクチュエータの動作を停止、若しくは、減速させてもよい。具体的には、ショベル100から所定範囲内に人が存在すると判断された場合、ゲートロック弁をロック状態にすることでアクチュエータを停止させる。
【0066】
コントローラ30からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合には、コントローラ30から操作用制御弁への信号を無効、若しくは減速指令を出力することで、アクチュエータを動作不能にすることができる。また、検出された物体がトラックの場合には、停止制御は不要である。
【0067】
検出されたトラックを回避するようにアクチュエータは制御される。このように、検出された物体の種類を容易に認識に基づいて、アクチュエータは制御される。
【0068】
また、コントローラ30は、ショベルから所定範囲内に人が存在すると判断したときの場所、時間、動作内容(走行、旋回等)を記憶する。ここで、コントローラ30がON状態の際に、作業者がメンテナンスを行うためにショベルへ接近するとコントローラ30は人が存在すると判断する。しかしながら、この時の接近は、正常な作業に基づくメンテナンスを行うための接近である。
【0069】
このため、作業者がスイッチ42aを操作することにより、コントローラ30は操作後の作業者の接近がメンテナンスを行うための接近であると判断し、人検知が判断された旨の記録(場所、日時、動作内容等)とメンテナンス時の接近である旨の記録とを対応付けて記憶することができる。言い換えれば、コントローラ30は、コントローラ30がON状態の際に、スイッチ42aの操作を受け付けると、所定範囲内への人の接近を、メンテナンスのための接近と判定する。そして、コントローラ30は、所定範囲内に接近した人を検知した記録を示す情報と、メンテナンスのための人の接近であることを示す情報と、を対応付けてメモリ装置等に記憶する。所定範囲内に接近した人を検知した記録を示す情報とは、人の接近が検知された場所と日時等を含む。
【0070】
ショベル100のコントローラ30は、人検知が判断された旨の記録(場所、日時、動作内容等)とメンテナンス時の接近である旨の記録とを対応付けられた状態で管理装置300へ送信させる。その後、メンテナンス終了時に作業者がスイッチ42bを操作すると、コントローラ30はメンテナンスが終了したと判断し、人検知が判断された旨の記録とメンテナンス時の接近である旨の記録との対応付けも終了する。これにより、管理装置300において人検知が判断された旨の記録(場所、日時等)があっても、人検知と判断された要因がメンテナンスのための接近であることと把握することができる。
【0071】
また、入力装置42は、表示装置40と別に設けられてもよい。入力装置42は、表示装置40のディスプレイに実装されるタッチパネル、操作装置26に含まれるレバーの先端に設けられるノブスイッチ、表示装置40の周囲に設置されるボタンスイッチ、レバー、トグル等を含む。入力装置42に対する操作内容に対応する信号は、コントローラ30に取り込まれる。
【0072】
撮像装置80は、ショベル100の周辺を撮像する。撮像装置80は、ショベル100の前方を撮像するカメラ80F、ショベル100の左方を撮像するカメラ80L、ショベル100の右方を撮像するカメラ80R、及び、ショベル100の後方を撮像するカメラ80Bを含む。
【0073】
カメラ80Fは、例えば、キャビン10の天井、即ち、キャビン10の内部に取り付けられている。また、カメラ80Fは、キャビン10の屋根、ブーム4の側面等、キャビン10の外部に取り付けられていてもよい。カメラ80Lは、上部旋回体3の上面左端に取り付けられ、カメラ80Rは、上部旋回体3の上面右端に取り付けられ、カメラ80Bは、上部旋回体3の上面後端に取り付けられている。
【0074】
撮像装置80(カメラ80F,80B,80L,80R)は、それぞれ、例えば、非常に広い画角を有する単眼の広角カメラである。また、撮像装置80は、ステレオカメラや距離画像カメラ等であってもよい。撮像装置80によるショベル100の周辺の撮像画像(以下、「周辺画像」)は、コントローラ30に取り込まれる。
【0075】
状態検出装置S1は、ショベル100の各種状態に関する検出情報を出力する。状態検出装置S1から出力される検出情報は、コントローラ30に取り込まれる。
【0076】
例えば、状態検出装置S1は、アタッチメントの姿勢状態や動作状態を検出する。具体的には、状態検出装置S1は、ブーム4、アーム5、及び、バケット6の俯仰角度(以下、それぞれ、「ブーム角度」、「アーム角度」、「バケット角度」)を検出してよい。
【0077】
つまり、状態検出装置S1は、ブーム角度、アーム角度、及びバケット角度のそれぞれを検出するブーム角度センサ、アーム角度センサ、及びバケット角度センサを含んでよい。
【0078】
また、状態検出装置S1は、ブーム4、アーム5、及び、バケット6の加速度、角加速度等を検出してよい。この場合、状態検出装置S1は、例えば、ブーム4、アーム5、及び、バケット6のそれぞれに取付けられる、ロータリエンコーダ、加速度センサ、角加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等を含みうる。また、状態検出装置S1は、ブーム4、アーム5、及び、バケット6のそれぞれを駆動するブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9のシリンダ位置、速度、加速度等を検出するシリンダセンサを含みうる。
【0079】
また、例えば、状態検出装置S1は、機体、つまり、下部走行体1及び上部旋回体3の姿勢状態を検出する。具体的には、状態検出装置S1は、水平面に対する機体の傾斜状態を検出してよい。この場合、状態検出装置S1は、例えば、上部旋回体3に取り付けられ、上部旋回体3の前後方向及び左右方向の2軸回りの傾斜角度(以下、「前後傾斜角」及び「左右傾斜角」)を検出する傾斜センサを含みうる。
【0080】
また、例えば、状態検出装置S1は、上部旋回体3の旋回状態を検出する。具体的には、状態検出装置S1は、上部旋回体3の旋回角速度や旋回角度を検出する。この場合、状態検出装置S1は、例えば、上部旋回体3に取り付けられるジャイロセンサ、レゾルバ、ロータリエンコーダ等を含みうる。つまり、状態検出装置S1は、上部旋回体3の旋回角度等を検出する旋回角度センサを含んでよい。
【0081】
また、例えば、状態検出装置S1は、アタッチメントを通じてショベル100に作用する力の作用状態を検出する。具体的には、状態検出装置S1は、油圧アクチュエータの作動圧(シリンダ圧)を検出してよい。この場合、状態検出装置S1は、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9のそれぞれのロッド側油室及びボトム側油室の圧力を検出する圧力センサを含みうる。
【0082】
また、例えば、状態検出装置S1は、コントロールバルブ17内の制御弁のスプールの変位を検出するセンサを含んでよい。具体的には、状態検出装置S1は、ブームスプールの変位を検出するブームスプール変位センサを含んでよい。また、状態検出装置S1は、アームスプールの変位を検出するアームスプール変位センサを含んでよい。
【0083】
また、状態検出装置S1は、バケットスプールの変位を検出するバケットスプール変位センサを含んでよい。また、状態検出装置S1は、旋回スプールの変位を検出する旋回スプール変位センサを含んでよい。また、状態検出装置S1は、右走行制御弁及び左走行制御弁のそれぞれを構成する右走行スプール及び左走行スプールの変位を検出する右走行スプール変位センサ及び左走行スプール変位センサを含んでよい。
【0084】
また、例えば、状態検出装置S1は、ショベル100の位置や上部旋回体3の向き等を検出する。この場合、状態検出装置S1は、例えば、上部旋回体3に取り付けられるGNSS(Global Navigation Satellite System)コンパス、GNSSセンサ、方位センサ等を含みうる。
【0085】
通信機器T1は、通信ネットワークNWを通じて外部機器と通信を行う。通信機器T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールや、衛星通信網に接続するための衛星通信モジュール等である。
【0086】
情報送信部301は、ショベル100の規定動作時における稼働データを、通信機器T1を通じて、管理装置300に送信する。なお、情報送信部301は、規定動作時以外の稼働データを管理装置300に送信してもよい。
【0087】
また、本実施形態の情報送信部301は、マイク42cから入力された音声データを管理装置300に送信する。このとき、情報送信部301は、音声データに、ショベル100を特定する機体識別番号を付与して、管理装置300に送信する。
【0088】
また、情報送信部301により送信される稼働データには、例えば、撮像装置80により撮像されたショベル100の周辺画像の画像データが含まれてもよい。
【0089】
また、情報送信部301は、例えば、規定動作が行われているか否かを逐次判定し、規定動作が行われていると判定すると、規定動作が行われている期間の稼働データを、規定動作の種類と対応付けて内部メモリ等に記録してもよい。
【0090】
このとき、稼働データは、対象の種別の作業の開始及び終了に関する日時情報、並びに、当該作業時のショベル100の位置情報が含まれてもよい。このとき、日時情報は、例えば、コントローラ30内部の所定の計時手段(例えば、RTC(Real Time Clock))から取得されうる。そして、情報送信部301は、規定動作が完了すると、記録された稼働データを、通信機器T1を通じて、管理装置300に送信する。
【0091】
なお、稼働データには、撮像装置80に代えて、或いは、加えて、ショベル100に搭載される他のセンサにより検出される検出情報が含まれてよい。例えば、ショベル100には、ミリ波レーダ、LIDAR(Light Detecting and Ranging)等の他のセンサが搭載され、環境条件実績情報には、これらの距離センサの検出情報が含まれる態様であってもよい。
【0092】
また、稼働データには、天候情報が含まれてもよい。天候情報は、例えば、状態検出装置S1に含まれうる雨滴感知センサ、照度センサ等の検出情報が含まれうる。
【0093】
また、情報送信部301は、状態検出装置S1の検出情報や撮像装置80によるショベル100の周辺画像を、通信機器T1を通じて、逐次、管理装置300にアップロードしてもよい。この場合、管理装置300は、ショベル100からアップロードされる情報の中から規定動作の期間中の稼働データを抽出してもよい。
【0094】
情報収集部302は、規定動作中の稼働データを取得する。具体的には、情報収集部302は、状態検出装置S1から出力される検出情報と、検出情報から判定される規定動作の種類と、を含む稼働データを取得する。
【0095】
また、情報収集部302は、稼働データを取得した日時を示す情報と、規定動作の種類を示す情報と、規定動作を行ったショベル100を特定するための機体識別番号とを取得する。また、情報収集部302は、稼働データと、日時を示す情報と、規定動作の種類を示す情報とを対応付けて、動作情報として取得してもよい。情報送信部301は、情報収集部302が取得した動作情報を、管理装置300へ送信してもよい。
【0096】
また、実施形態の情報収集部302は、所定の種別の作業を行う場合に、所定の目標指標に関する現在の環境条件に最適の作業パターン(最適作業パターン)を管理装置300から取得する。例えば、情報収集部302は、オペレータによる入力装置42に対する所定操作(以下、「取得要求操作」)に応じて、ショベル100の現在の環境条件に関する情報(以下、「現環境条件情報」)を含む、作業パターンの取得を要求する信号(取得要求信号)を、通信機器T1を通じて、管理装置300に送信する。
【0097】
これにより、管理装置300は、ショベル100の現在の環境条件に合わせた最適な作業パターンをショベル100に提供できる。現環境条件情報には、例えば、撮像装置80によるショベル100の最新の周辺画像が含まれる。
【0098】
マシンガイダンス部303は、マシンガイダンス機能及びマシンコントロール機能に関する制御を行う。つまり、マシンガイダンス部303は、オペレータによる操作装置26を通じた各種動作要素(下部走行体1、上部旋回体3、並びに、ブーム4、アーム5、及びバケット6を含むアタッチメント)の操作を支援する。
【0099】
例えば、マシンガイダンス部303は、オペレータにより操作装置26を通じてアーム5の操作が行われている場合に、予め規定される目標設計面(以下、単に「設計面」)とバケット6の先端部(例えば、爪先や背面)とが一致するように、ブーム4及びバケット6の少なくとも一つを自動的に動作させてよい。
【0100】
また、マシンガイダンス部303は、併せて、アーム5を操作する操作装置26の操作状態に依らず、アーム5を自動的に動作させてもよい。つまり、マシンガイダンス部303は、オペレータによる操作装置26の操作をトリガにして、予め規定された動作をアタッチメントに行わせてよい。
【0101】
より具体的には、マシンガイダンス部303は、状態検出装置S1、撮像装置80、通信機器T1、及び入力装置42等から各種情報を取得する。また、マシンガイダンス部303は、例えば、取得した情報に基づいてバケット6と設計面との間の距離を算出する。そして、マシンガイダンス部303は、算出したバケット6と設計面との距離等に応じて、操作バルブ31を適宜制御し、油圧アクチュエータに対応する制御弁に作用するパイロット圧を個別に且つ自動的に調整することにより、それぞれの油圧アクチュエータを自動的に動作させることができる。
【0102】
操作バルブ31には、例えば、ブーム4(ブームシリンダ7)に対応するブーム比例弁が含まれる。また、操作バルブ31には、例えば、アーム5(アームシリンダ8)に対応するアーム比例弁が含まれる。また、操作バルブ31には、例えば、バケット6(バケットシリンダ9)に対応するバケット比例弁が含まれる。また、操作バルブ31には、例えば、上部旋回体3(旋回用油圧モータ2A)に対応する旋回比例弁が含まれる。また、操作バルブ31には、例えば、下部走行体1の右側のクローラ及び左側のクローラのそれぞれに対応する右走行比例弁及び左走行比例弁が含まれる。
【0103】
マシンガイダンス部303は、例えば、掘削作業を支援するために、操作装置26に対するアーム5の開閉操作に応じて、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9の少なくとも一つを自動的に伸縮させてよい。
【0104】
掘削作業は、設計面に沿ってバケット6の爪先で地面を掘削する作業である。マシンガイダンス部303は、例えば、オペレータが操作装置26に対して手動でアーム5の閉じ方向の操作(以下、「アーム閉じ操作」)を行っている場合に、ブームシリンダ7及びバケットシリンダ9のうちの少なくとも一つを自動的に伸縮させる。
【0105】
また、マシンガイダンス部303は、例えば、法面や水平面の仕上げ作業を支援するためにブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9の少なくとも一つを自動的に伸縮させてもよい。仕上げ作業は、例えば、バケット6の背面を地面に押さえ付けながら設計面に沿ってバケット6を手前に引く作業を含む。
【0106】
マシンガイダンス部303は、例えば、オペレータが操作装置26に対して手動でアーム閉じ操作を行っている場合に、ブームシリンダ7及びバケットシリンダ9の少なくとも一つを自動的に伸縮させる。これにより、所定の押し付け力でバケット6の背面を完成前の斜面(法面)或いは水平面に押し付けながら、完成後の法面或いは水平面である設計面に沿ってバケット6を移動させることができる。
【0107】
また、マシンガイダンス部303は、上部旋回体3を設計面に正対させるために旋回用油圧モータ2Aを自動的に回転させてもよい。この場合、マシンガイダンス部303は、入力装置42に含まれる所定のスイッチが操作されることにより、上部旋回体3を設計面に正対させてよい。また、マシンガイダンス部303は、所定のスイッチが操作されるだけで、上部旋回体3を設計面に正対させ且つマシンコントロール機能を開始させてもよい。
【0108】
また、例えば、マシンガイダンス部303は、所定の種別の作業(例えば、掘削作業、積込み作業、仕上げ作業等)が行われている場合に、オペレータによる操作装置26に対する操作に応じて、アタッチメント、上部旋回体3、及び、下部走行体1の少なくとも一部の動作を、情報収集部302により取得された作業パターン(最適作業パターン)に合わせるように制御する。
【0109】
これにより、オペレータは、ショベル100の操縦に関する習熟度に依らず、ショベル100の動作を、所定の目標指標、例えば、作業の速さの評価が相対的に高くなるように管理装置300から出力される、現在のショベル100の環境条件に最適な作業パターンに合わせることができる。
【0110】
また、マシンガイダンス部303は、最適作業パターンに基づき、ショベル100の動作の制御を行いながら、オペレータに対して、当該最適作業パターンに対応するショベル100の動作を表示装置40に表示させてもよい。例えば、マシンガイダンス部303は、最適作業パターンに基づき、ショベル100の動作の制御を行っている場合、最適作業パターンに対応するシミュレーション結果の動画を表示装置40に表示させる。これにより、オペレータは、実際の作業パターンの内容を表示装置40の動画で確認しながら、作業を進めることができる。
【0111】
表示制御部304は、ショベル100の表示装置40における表示を制御する。
【0112】
本実施形態の管理装置300は、記憶部310、対応出力部320を有する。記憶部310は、不具合情報データベース330、辞書データベース340等を有する。不具合情報データベース330は、不具合情報が格納される。不具合情報データベース330の詳細は後述する。
【0113】
辞書データベース340は、対応出力部320による音声認識処理と、自然言語処理において参照される辞書情報が格納される。ここで、辞書データベース340に格納される辞書情報は、音声認識処理において用いられる一般的な辞書情報と、ショベル100に関する専門的な用語を含む専門辞書情報とを含んでよい。
【0114】
対応出力部320は、ショベル100の情報送信部301から送信された音声データを取得すると、辞書データベース340を用いて音声データに対する音声認識処理を行い、音声データをテキストデータに変換する。
【0115】
また、対応出力部320は、テキストデータを取得すると、テキストデータに対して自然言語処理を行った結果を用いて不具合情報データベース330を検索し、不具合情報データベース330に格納された不具合情報のうち、テキストデータと内容が類似する不具合情報を、ショベル100の表示装置40に表示させる。対応出力部320は、例えば、類似度が高い順に、複数種類の不具合情報を抽出してよい。対応出力部320の詳細は後述する。
【0116】
以下に、本実施形態の管理装置300について、さらに説明する。
図3は、管理装置のハードウェア構成の一例を示す図である。
【0117】
本実施形態の管理装置300は、それぞれバスBで相互に接続されている入力装置311、出力装置312、ドライブ装置313、補助記憶装置314、メモリ装置315、演算処理装置316及びインタフェース装置317を含むコンピュータである。
【0118】
入力装置311は、各種の情報の入力を行うための装置であり、例えばキーボードやポインティングデバイス等により実現される。出力装置312は、各種の情報の出力を行うためものであり、例えばディスプレイ等により実現される。インタフェース装置317は、LANカード等を含み、ネットワークに接続する為に用いられる。
【0119】
管理装置300の有する対応出力部320を実現するプログラムは、管理装置300を制御する各種プログラムの少なくとも一部である。プログラムは、例えば、記憶媒体318の配布やネットワークからのダウンロード等によって提供される。プログラムを記録した記憶媒体318は、CD-ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記憶媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いることができる。
【0120】
また、プログラムは、このプログラムを記録した記憶媒体318がドライブ装置313にセットされると、記憶媒体318からドライブ装置313を介して補助記憶装置314にインストールされる。ネットワークからダウンロードされたプログラムとプログラムは、インタフェース装置317を介して補助記憶装置314にインストールされる。
【0121】
補助記憶装置314は、管理装置300の有する各記憶部等を実現するものであり、管理装置300にインストールされたプログラムを格納すると共に、管理装置300による各種の必要なファイル、データ等を格納する。メモリ装置315は、管理装置300の起動時に補助記憶装置314からプログラムを読み出して格納する。そして、演算処理装置316はメモリ装置315に格納されたプログラムに従って、後述するような各種処理を実現している。
【0122】
次に、
図4を参照して、本実施形態の不具合情報データベース330について説明する。
図4は、不具合情報データベースの一例を示す図である。
【0123】
本実施形態の不具合情報データベース330に格納された動作情報は、情報の項目として、機体識別番号、日付、事象、対応方法、原因等を含み、項目「機体識別番号」と、その他の項目とが対応付けられている。
【0124】
本実施形態の不具合情報は、項目「機体識別番号」、「日付」、「事象」、「対応方法」、「原因」の値を含む情報である。本実施形態の不具合情報は、
項目「機体識別番号」の値は、ショベル100を特定するための識別情報である。項目「日付」の値は、過去に不具合があると判定された日付を示す。なお、項目「日付」の値は、管理装置300がショベル100から音声データを受信した日を示す日付であってもよい。
【0125】
項目「事象」の値は、不具合とされる事象を示す。項目「対応方法」の値は、項目「事象」の値が示す不具合に対して行われた対応の内容を示す。項目「原因」の値は、項目「事象」の値が示す不具合の原因を示す。
【0126】
図4の例では、機体識別番号「SH0001」で特定されるショベル100において、2019年4月18日に、エンジントラブルが原因となる不具合が発生し、その対応としてサービスマンへの連絡が行われたことがわかる。また、この不具合を示す事象が、掘削中のパワーダウンであったことがわかる。
【0127】
なお、不具合情報に含まれる情報の項目は、
図4に示す項目に限定されない。不具合情報には、
図4に示す項目以外の項目が含まれてもよい。具体的には、例えば、不具合情報には、後述する処理において算出される異常度が含まれてもよい。
【0128】
また、本実施形態の不具合情報は、例えば、管理装置300を管理する管理者等によって、予め不具合情報データベース330に格納されていてよい。また、不具合情報は、例えば、過去のショベル100のメンテナンスの履歴等に基づき生成されて、不具合情報データベース330に格納されてもよい。
【0129】
次に、
図5を参照して、本実施形態の管理装置300の機能について説明する。
図5は、管理装置の機能構成を説明する図である。
【0130】
本実施形態の管理装置300は、記憶部310、対応出力部320を有する。本実施形態の対応出力部320は、管理装置300の演算処理装置316が、メモリ装置315等に格納されたプログラムを読み出して実行することで実現される。
【0131】
本実施形態の対応出力部320は、入力受付部321、不具合事例抽出部322、出力部323を有する。
【0132】
入力受付部321は、管理装置300に対する各種の情報の入力を受け付ける。具体的には、入力受付部321は、ショベル100から送信される音声データと機体識別番号や、ショベル100において収集された稼働データの入力を受け付ける。
【0133】
不具合事例抽出部322は、音声データをテキストデータに変換する音声認識処理を行う。具体的には、不具合事例抽出部322は、音声データから周囲環境に由来するノイズを除去した後に音素を抽出して、テキストデータに変換する。また、不具合事例抽出部322は、音声データが示す不具合と類似する不具合を示す不具合情報を、不具合情報データベース330から抽出する。
【0134】
具体的には、不具合事例抽出部322は、音声認識によって取得されたテキストデータに対する自然言語処理を行って、テキストデータが示す内容を表現した高次元のベクトルを示す情報を取得する。なお、自然言語処理は、辞書データベース340に格納された辞書情報を用いて行われてよい。
【0135】
次に、不具合事例抽出部322は、高次元のベクトルを示す情報を用いて、不具合情報データベース330に格納された不具合情報との類似度を算出する。そして、不具合事例抽出部322は、不具合情報データベース330に格納された不具合情報のうち、テキストデータとの類似度が高い不具合情報を、音声データが示す不具合と類似する不具合を示す不具合情報として、不具合情報データベース330から抽出する。
【0136】
なお、不具合事例抽出部322による音声認識結果として得られたテキストデータによって、不具合情報データベース330を検索することで、音声データと対応する不具合の事例を特定してもよい。
【0137】
本実施形態の不具合事例抽出部322は、過去の不具合情報を機械学習した学習済みモデルであってよい。不具合事例抽出部322は、例えば、音声認識処理を隠れマルコフモデルによって実現し、自然言語処理は、ニューラルネットワーク、BERT(Bidirectional Encoder Representations from Transformers)等によって実現されてよい。
【0138】
出力部323は、不具合事例抽出部322によって抽出された不具合情報をショベル100に対して出力する。言い換えれば、出力部323は、不具合事例抽出部322により抽出された不具合情報をショベル100に送信し、ショベル100は、管理装置300から受信した不具合情報を表示装置40に表示させる。
【0139】
次に、
図6を参照して、管理装置300の処理について説明する。
図6は、第一の実施形態の管理装置の処理を説明するフローチャートである。
【0140】
管理装置300の対応出力部320は、入力受付部321により、ショベル100から音声データと機体識別番号との入力を受け付ける(ステップS601)。
【0141】
続いて、対応出力部320は、不具合事例抽出部322により、音声データに対する音声認識処理を行って、テキストデータに変換する(ステップS602)。続いて、対応出力部320は、不具合事例抽出部322により、テキストデータに対する自然言語処理を行い、処理の結果として得られた高次元のベクトルを示す情報(ベクトル情報)によって、不具合情報データベース330を検索する(ステップS603)。
【0142】
続いて、対応出力部320は、不具合情報データベース330に、テキストデータと類似する不具合情報が存在するか否かを判定する(ステップS604)。
【0143】
具体的には、対応出力部320は、不具合事例抽出部322よる不具合情報データベース330の検索により、不具合情報が抽出されたか否かを判定する。
【0144】
不具合事例抽出部322は、不具合情報データベース330から、テキストデータとの類似度が所定の値以上となる不具合情報を抽出してもよい。
【0145】
また、不具合事例抽出部322は、不具合情報データベース330から、の項目「事象」の値が、音声認識によって得られたテキストデータの一部と一致する不具合情報を抽出してもよい。また、不具合事例抽出部322は、項目「事象」の値に、音声認識によって得られたテキストデータに含まれる特定の単語が含まれる不具合情報を抽出してもよい。
【0146】
なお、上述した不具合事例抽出部322による不具合情報の抽出の仕方は一例であり、これに限定されない。
【0147】
ステップS604において、類似する不具合情報が存在しない場合、対応出力部320は、出力部323により、ショベル100に対して、類似する不具合情報が存在しない旨を示す情報を出力して表示装置40に表示させ(ステップS605)、処理を終了する。
【0148】
ステップS604において、類似する不具合情報が存在する場合、出力部323は、抽出された不具合情報をショベル100に出力し、ショベル100の表示装置40に表示させる(ステップS606)。
【0149】
続いて、対応出力部320は、ショベル100から、サービスマンへの不具合の発生の通知を指示されたか否かを判定する(ステップS607)。具体的には、対応出力部320は、表示装置40において、ショベル100のオペレータによって、サービスマンへの通知を指示する操作を受け付けたか否かを判定する。
【0150】
ステップS607において、サービスマンへの不具合の発生の通知を指示されない場合、対応出力部320は処理を終了する。
【0151】
ステップS607において、サービスマンへの不具合の発生の通知が指示された場合、対応出力部320は、出力部323により、サービスマンに対する通知を行い(ステップS608)、処理を終了する。
【0152】
なお、本実施形態では、管理装置300において、ショベル100の機体識別番号と、サービスマンが所持する携帯端末(サービスマンと紐付けられた端末)を特定する情報とが対応付けられていてよい。そして、対応出力部320は、ステップS601で取得した機体識別番号と対応する携帯端末へ、ショベル100の機体識別番号と、不具合情報が示す事象とを通知してもよい。
【0153】
次に、
図7を参照して、ショベル100の表示例について説明する。
図7は、第一の実施形態のショベルの表示例を示す図である。
【0154】
図7に示す表示装置40は、表示領域40a、40b、操作ボタン40c、40dを含む。表示領域40aは、不具合事例抽出部322によりオペレータの音声データに対して音声認識処理を行った結果が表示される。
【0155】
表示領域40bは、不具合事例抽出部322により抽出された不具合情報に含まれる日付と原因と表示される。
【0156】
つまり、表示領域40bは、不具合事例抽出部322により抽出された不具合情報の一部が表示される。また、表示領域40bは、原因の詳細情報を表示させるための操作ボタン40fを含む。
【0157】
操作ボタン40cは、抽出された不具合情報に含まれる対応方法を表示させるための操作ボタンである。操作ボタン40dは、不具合の発生をサービスマンに通知するための操作ボタンである。
【0158】
また、表示装置40には、例えば、不具合事例抽出部322による処理が行われている最中には、処理中であることを示す画像40eが表示される。
【0159】
図7の例では、表示領域40aに「掘削中のパワー減少」と表示されている。したがって、オペレータの音声データの音声認識の結果のテキストデータが、「掘削中のパワー減少」であることがわかる。
【0160】
また、表示領域40bには、日付と原因として、「2015年11月30日 エンジントラブル」、「2019年4月18日 エンジントラブル」、「2019年6月6日 シリンダ破損」と表示されている。また、表示領域40bには、各原因と操作ボタン40fとが対応付けられて表示される。本実施形態では、操作ボタン40fが操作されると、原因の詳細等が表示されてもよい。
【0161】
また、
図7の例において、操作ボタン40cが操作されると、表示領域40bに表示された原因と対応付けられた対応方法が表示装置40に表示される。
【0162】
なお、
図7の示すように、不具合事例抽出部322により、オペレータの音声データを音声認識した結果と類似する複数の不具合情報が抽出されると、抽出された複数の不具合情報のそれぞれに含まれる事象と原因の一覧が表示されてもよい。また、本実施形態では、表示領域40bに表示された複数の原因の中から、1つの原因が選択された後に、操作ボタン40cが操作された場合には、選択された原因と対応付けられた対応方法が表示されてもよい。
【0163】
また、
図7の例において、操作ボタン40dが操作されると、ショベル100のコントローラ30が、サービスマンに対する通知の要求を管理装置300に送信してもよい。また、本実施形態では、操作ボタン40dが操作されると、ショベル100のコントローラ30が、ショベル100と対応付けられたサービスマンの携帯端末に、不具合の発生を示す通知を送信してもよい。
【0164】
なお、上述した実施形態では、抽出された不具合情報は、ショベル100の表示装置40に表示されるものとしたが、これに限定されない。抽出された不具合情報は、ショベル100と通信を行う支援装置の表示装置等に表示されてもよい。
【0165】
支援装置は、例えば、ショベル100を操作するオペレータを支援する可搬型の端末装置であってよく、管理装置300等から各種の情報を受信して、画面に表示させることで、オペレータに情報を提供する。
【0166】
このように、本実施形態では、過去の不具合を示す不具合情報から、ショベル100のオペレータにより入力された音声データが示す不具合と類似する不具合情報を抽出し、不具合に対する対応方法をオペレータに提示することができる。
【0167】
また、本実施形態では、管理装置300が有する学習済みモデルを用いて、音声データからショベル100の不具合情報を抽出する。言い換えれば、本実施形態では、人を介さずに音声データから不具合情報を抽出する。
【0168】
このため、本実施形態では、オペレータが不具合を察知して音声データを入力したときから、不具合に対する対応方法をオペレータに提示するまでの期間を短縮することができ、ショベル100の不具合に対して迅速に対処することが可能となる。
【0169】
さらに、本実施形態では、人を介さないことで、人的なミスの発生を低減することができる。さらに、本実施形態では、音声データにおいて、不具合の状況や違和感等を正確に表現されていない場合であっても、不具合情報が抽出される可能性を高めることができる。
【0170】
(第二の実施形態)
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態では、音声データに加えて、ショベル100の稼働データを用いる点が、第一の実施形態と相違する。以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号を付与し、その説明を省略する。
【0171】
図8は、第二の実施形態の管理装置の機能を説明する図である。本実施形態の管理装置300Aは、記憶部310A、対応出力部320Aを含む。
【0172】
記憶部310Aは、不具合情報データベース330、辞書データベース340、稼働データベース350を含む。稼働データベース350は、ショベル100から定期的に送信される稼働データが格納される。
【0173】
対応出力部320Aは、入力受付部321、不具合事例抽出部322、出力部323、診断部324を含む。
【0174】
本実施形態の診断部324は、稼働データベース350に格納されたショベル100の稼働データに基づき、ショベル100の異常度を算出する。
【0175】
より具体的には、診断部324は、ショベル100の稼働データの特徴量を算出する。本実施形態の特徴量とは、例えば、稼働データに含まれる各種の物理量の変化を示す波形の形状を特徴付ける種々の統計量を意味する。続いて、診断部324は、算出された特徴量を用いて異常度を算出する。
【0176】
なお、本実施形態の診断部324は、ショベル100の異常度を出力する異常度判定モデルを有する学習部として機能してもよい。この場合、診断部324は、異常度を算出する異常度判定モデルを生成する。
【0177】
そして、診断部324は、稼働データを異常度判定モデルに入力し、異常度判定モデルから出力される異常度を取得してもよい。本実施形態の異常度とは、ショベル100の異常の有無を示す指標値である。
【0178】
本実施形態の管理装置300Aは、不具合事例抽出部322による不具合情報の抽出と、診断部324による異常度の算出とを並列して行う。そして、管理装置300Aは、不具合事例抽出部322の処理結果と、診断部324の処理結果とを参照して、ショベル100の不具合情報を表示させる。
【0179】
図9は、第二の実施形態の管理装置の処理を説明するフローチャートである。
図9のステップS901からステップS903の処理は、
図6のステップS601からステップS603までの処理と同様であるから、説明を省略する。
【0180】
また、管理装置300Aの対応出力部320Aは、入力受付部321が、ショベル100が行った規定動作の稼働データを取得する(ステップS904)。
【0181】
ここで、ショベル100が規定動作を行うタイミングについて説明する。本実施形態では、例えば、オペレータが音声データを入力する際に、ショベル100に規定動作を行わせてもよい。つまり、本実施形態では、オペレータが不具合の発生や違和感等を感じたときに、オペレータの判断に応じて、ショベル100に規定動作を行われてもよい。
【0182】
また、ショベル100が規定動作を行うタイミングは、管理装置300Aの指示によって決められてもよい。
【0183】
この場合、管理装置300Aは、オペレータから入力された音声データを音声認識した結果のテキストデータと、不具合情報データベース330に格納された不具合情報との類似度を算出した結果の確度が低いと判定した場合に、ショベル100に対し、規定動作を要求してもよい。なお、確度が低いと判定される場合とは、不具合情報データベース330に格納された不具合情報のうち、音声データを音声認識した結果のテキストデータとの類似度が所定の値以上となる不具合情報が存在しない場合であってもよい。
【0184】
対応出力部320Aは、稼働データを取得すると、診断部324により、異常度の算出と、異常部位の推定を行い(ステップS905)、後述するステップS906へ進む。
【0185】
ステップS903とステップS905に続いて、対応出力部320Aは、不具合事例抽出部322により、不具合情報データベース330に、音声データが示す不具合と類似する不具合情報が存在するか否かを判定する(ステップS906)。
【0186】
続いて、対応出力部320Aは、ステップS906において、類似する不具合情報が存在しない場合、対応出力部320は、出力部323により、ショベル100に対して、類似する不具合情報が存在しない旨を示す情報を出力して表示装置40に表示させ(ステップS907)、処理を終了する。なお、このとき、出力部323は、ショベル100の表示装置40に、算出された異常度を表示させてもよい。
【0187】
ステップS906において、類似する不具合情報が存在する場合、出力部323は、抽出された不具合情報と、算出された異常度とをショベル100の表示装置40に表示させる(ステップS908)。なお、このとき、出力部323は、ステップS905で推定された異常部位を示す情報を表示させてもよい。
【0188】
図9のステップS909とステップS910の処理は、
図6のステップS607とステップS608の処理と同様であるから、説明を省略する。
【0189】
なお、本実施形態では、不具合事例抽出部322によって、音声データが示すと類似する不具合情報が抽出された場合であっても、診断部324により算出された異常度が、下限閾値よりも低い場合には、抽出された不具合情報、異常度、推定部位と共に、不具合まで至っていなことを示す情報を表示装置40に表示させてもよい。異常度の上限閾値と下限閾値とは、予め管理装置300Aにおいて設定されていてよい。
【0190】
また、本実施形態では、管理装置300Aは、診断部324により算出された異常度が上限閾値よりも高い場合には、ショベル100のオペレータによる、サービスマンへの通知を指示する操作を受け付けていなくても、サービスマンに不具合情報を通知してもよい。
【0191】
つまり、本実施形態の管理装置300Aは、音声データに基づき、不具合と類似した事象の不具合情報を抽出し、稼働データから算出される異常度に基づき、メンテナンスの要否や緊急性等を判定する。そして、管理装置300Aは、その結果をショベル100の表示装置40に表示させる。
【0192】
次に、
図10を参照して、本実施形態のショベル100の表示例について説明する。
図10は、第二の実施形態のショベルの表示例を示す図である。
【0193】
図10に示す例では、表示装置40は、表示領域40a、40b、40g、操作ボタン40c、40dを含む。
【0194】
表示領域40gには、診断部324により算出された異常度が表示される。なお、表示領域40gには、異常度と共に、不具合が生じた部位を示す推定部位の名称が表示されてもよい。
【0195】
本実施形態では、このように、音声データに加えて、稼働データを用いることで、緊急性の高い不具合や、そうではない不具合等を判定することができ、オペレータに提示する対応方法の的確性を向上させることができる。
【0196】
(第三の実施形態)
以下に、図面を参照して、第三の実施形態について説明する。第三の実施形態では、オペレータによる音声データの入力が一定期間行われない点が、第二の実施形態と相違する。以下の第三の実施形態では、第二の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号を付与し、その説明を省略する。
【0197】
図11は、第三の実施形態の管理装置の処理を説明するフローチャートである。本実施形態の管理装置300Aは、診断部324により、ショベル100の異常度を算出する(ステップS1101)。
【0198】
なお、本実施形態では、診断部324が異常度の算出に用いる稼働データは、ショベル100が規定動作を行った場合の稼働データに限定されない。本実施形態で用いられる稼働データは、ショベル100が定期的に管理装置300Aに送信し、管理装置300Aにおいて蓄積された稼働データであってよい。ショベル100は、例えば、一日の作業が終了する度に、管理装置300Aに稼働データを送信してもよい。
【0199】
続いて、管理装置300Aは、異常が検出されたか否かを判定する(ステップS1102)。具体的には、管理装置300Aは、ステップS1101で算出された異常度が所定の閾値以上である場合に、異常と検出してもよい。
【0200】
ステップS1102において、異常が検出された場合、管理装置300Aは、入力受付部321により音声データの入力を受け付けたか否かを判定する(ステップS1103)。
【0201】
具体的には、管理装置300Aは、異常が検出されてから第一の所定期間以内に音声データが入力されたか否かを判定する。
【0202】
ステップS1103において、音声データが入力された場合、管理装置300Aは、
図9のステップS902へ進む。
【0203】
ステップS1103において、音声データが入力されていない場合、管理装置300Aは、異常が発生した可能性があることを示す情報を、ショベル100の表示装置40に表示させ(ステップS1104)、処理を終了する。なお、管理装置300Aは、異常が発生した可能性があることを示す情報と共に、オペレータに対して音声データの入力を促す情報を表示装置40に表示させてもよい。
【0204】
ステップS1102において、異常が検出されない場合、管理装置300Aは、所定期間が経過したか否かを判定する(ステップS1105)。
【0205】
ここでの所定期間は、第一の所定期間よりも長い第二の所定期間であってもよい。また、ここでの所定期間は、例えば、稼働データをN回受信するまでの期間であってもよい。
【0206】
ステップS1105において、所定期間が経過していない場合、管理装置300Aは、処理を終了する。
【0207】
ステップS1105において、所定期間が経過した場合、管理装置300Aは、ショベル100の表示装置40に、ショベル100の状態に関するアンケート画面を表示させ(ステップS1106)、処理を終了する。
【0208】
以下に、
図12、
図13を参照して、本実施形態のショベル100の表示例について説明する。
図12は、第三の実施形態のショベルの表示例を示す第一の図である。
【0209】
図12に示す例は、
図11のステップS1104において、ショベル100の表示装置40に表示される画面の一例を示す。
【0210】
表示装置40は、表示領域40h、操作ボタン40d、40i、40jを含む。表示領域40hには、ショベル100に異常が発生した可能性があることを示す情報が表示される。また、
図12の例では、表示領域40hには、異常が検出された部位を示す情報として、「エンジンダウン量増加傾向あり。掘削力が落ちていませんか?」と表示されている。
【0211】
操作ボタン40i、40jは、表示領域40hに表示された情報に対してオペレータが選択するための操作ボタンである。操作ボタン40iは、オペレータが不具合を感じた場合に、操作する操作ボタンであり、操作ボタン40jは、オペレータが不具合を感じない場合に、操作する操作ボタンである。
【0212】
図12の例では、管理装置300Aは、操作ボタン40iが選択されると、異常に対する対応方法を表示装置40に表示させてもよい。
【0213】
図13は、第三の実施形態のショベルの表示例を示す第二の図である。
図13に示す例は、
図11のステップS1106において、ショベル100の表示装置40に表示されるアンケート画面の一例を示す。
【0214】
表示装置40は、表示領域40k、操作ボタン40l、40jを含む。表示領域40kには、異常が検出されなかったことを示す情報と共に、オペレータに対してのアンケート内容が表示される。
図13の例では、「何か気になることはありませんか?」と表示されている。
【0215】
操作ボタン40l、40jは、オペレータがアンケート内容に対して回答するための操作ボタンである。
図13の例では、操作ボタン40lが操作されると、オペレータに対して音声入力を促すメッセージが表示されてもよい。
【0216】
このように、本実施形態では、音声データが入力される前に異常が検出された場合や、所定期間音声データが入力されない場合に、オペレータに対してショベル100の状態を問い合わせる。したがって、本実施形態によれば、オペレータにショベル100の状態を把握させるための支援を行うことができる。
【0217】
なお、本実施形態では、管理装置300は、ショベル100を管理するものとしたが、管理装置300は、ショベル100以外の作業機械を管理してもよい。具体的には、管理装置300により管理される作業機械は、フォークリフトやクレーン等のように、規定動作を行う作業機械であればよい。
【0218】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【符号の説明】
【0219】
30 コントローラ
40 表示装置
100 ショベル
300 管理装置
310 記憶部
320 対応出力部
321 入力受付部
322 不具合事例抽出部
323 出力部
324 診断部
330 不具合情報データベース
340 辞書データベース
350 稼働データベース