IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社小松製作所の特許一覧

特許7286287作業機械の表示システムおよびその制御方法
<>
  • 特許-作業機械の表示システムおよびその制御方法 図1
  • 特許-作業機械の表示システムおよびその制御方法 図2
  • 特許-作業機械の表示システムおよびその制御方法 図3
  • 特許-作業機械の表示システムおよびその制御方法 図4
  • 特許-作業機械の表示システムおよびその制御方法 図5
  • 特許-作業機械の表示システムおよびその制御方法 図6
  • 特許-作業機械の表示システムおよびその制御方法 図7
  • 特許-作業機械の表示システムおよびその制御方法 図8
  • 特許-作業機械の表示システムおよびその制御方法 図9
  • 特許-作業機械の表示システムおよびその制御方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-26
(45)【発行日】2023-06-05
(54)【発明の名称】作業機械の表示システムおよびその制御方法
(51)【国際特許分類】
   E02F 9/26 20060101AFI20230529BHJP
   E02F 9/20 20060101ALI20230529BHJP
【FI】
E02F9/26 A
E02F9/20 N
【請求項の数】 21
(21)【出願番号】P 2018172800
(22)【出願日】2018-09-14
(65)【公開番号】P2020045633
(43)【公開日】2020-03-26
【審査請求日】2021-08-03
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】大門 正樹
【審査官】荒井 良子
(56)【参考文献】
【文献】特開2018-003282(JP,A)
【文献】米国特許出願公開第2007/0282577(US,A1)
【文献】特許第6251453(JP,B1)
【文献】特開2008-144379(JP,A)
【文献】特開2015-164847(JP,A)
【文献】特開2016-098535(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/26
E02F 9/20
(57)【特許請求の範囲】
【請求項1】
作業機械の動作情報を含む時系列の作業機械動作情報を記憶する記憶部と、
前記作業機械動作情報に基づいて、前記作業機械の動作画像を生成する動作画像生成部と、
前記動作画像を表示する表示部とを備え、
前記作業機械の動作情報は、前記作業機械の作業工程を含み、
前記動作画像は、前記作業工程に基づく画像を含み、
前記作業機械動作情報の時刻を再生時刻として選択する選択部をさらに備え、
前記動作画像生成部は、前記選択部で選択した再生時刻に従う前記作業機械動作情報に基づいて、前記作業機械の動作画像を生成する、作業機械の表示システム。
【請求項2】
前記作業機械の動作情報は、操作部材の操作状態をさらに含み、
前記動作画像は、前記操作状態を示す画像をさらに含む、請求項1に記載の作業機械の表示システム。
【請求項3】
前記記憶部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項1または2に記載の作業機械の表示システム。
【請求項4】
前記作業機械動作情報に基づいてイベントが発生したか否かを判定するイベント判定部と、
前記イベント判定部に従って判定したイベントを前記作業機械動作情報と関連付けて前記記憶部に記憶するイベント登録部とをさらに備える、請求項1~3のいずれか1項に記載の作業機械の表示システム。
【請求項5】
発生したイベントに従い前記作業機械動作情報の再生時刻を選択する選択部をさらに備える、請求項4記載の作業機械の表示システム。
【請求項6】
前記表示部は、前記発生したイベントを表示し、
前記選択部は、前記発生したイベントに対する入力指令に従い前記作業機械動作情報の再生時刻を選択する、請求項5記載の作業機械の表示システム。
【請求項7】
前記選択部は、入力指令に従い前記作業機械動作情報の再生時刻を選択する、請求項2記載の作業機械の表示システム。
【請求項8】
前記動作画像生成部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項1~7のいずれか1項に記載の作業機械の表示システム。
【請求項9】
前記表示部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項1~8のいずれか1項に記載の作業機械の表示システム。
【請求項10】
前記作業機械は、作業機と、機械本体とを含み、
前記作業機械の動作情報は、前記作業機および前記機械本体の少なくとも一方の動作情報を含む、請求項1~9のいずれか1項に記載の作業機械の表示システム。
【請求項11】
前記作業機械は、作業機と、機械本体とを含み、
前記作業機械の動作情報は、前記作業機および前記機械本体の少なくとも一方の操作情報を含む、請求項1~10のいずれか1項に記載の作業機械の表示システム。
【請求項12】
前記作業機械の動作情報は、前記作業機械の位置情報を含む、請求項1~11のいずれか1項に記載の表示システム。
【請求項13】
前記作業機械動作情報は、識別情報をさらに含む、請求項1~12のいずれか1項に記載の作業機械の表示システム。
【請求項14】
前記作業機械は、ホイールローダである、請求項1~13のいずれか1項に記載の作業機械の表示システム。
【請求項15】
前記動作画像生成部は、前記作業機械動作情報に基づいて、前記作業機械の動作状態と、前記動作状態に対応する操作状態とを示す動作画像を生成する、請求項1~14のいずれか1項に記載の作業機械の表示システム。
【請求項16】
前記動作画像生成部は、前記動作情報に基づいて前記作業機械の動作状態を示す動作画像を生成する、請求項10に記載の作業機械の表示システム。
【請求項17】
前記動作画像生成部は、前記操作情報に基づいて前記作業機械の操作の時間的な変化を示す動作画像を生成する、請求項11に記載の作業機械の表示システム。
【請求項18】
前記動作画像生成部は、前記位置情報に基づいて地図上における前記作業機械の作業位置を示す前記作業機械の動作画像を生成する、請求項12に記載の作業機械の表示システム。
【請求項19】
前記作業機械の位置情報の入力指令を受け付けて、当該位置情報における前記作業機械動作情報の再生時刻を選択する選択部をさらに備える、請求項18記載の作業機械の表示システム。
【請求項20】
前記作業機械の動作情報は、前記作業機械の機械本体の車両情報および傾斜情報を含み、
前記動作画像は、車両情報に基づく作業状態画像および傾斜情報に基づく傾斜状態画像を含む、請求項1記載の作業機械の表示システム。
【請求項21】
作業機械の動作情報を含む時系列の作業機械動作情報を記憶するステップと、
前記作業機械動作情報に基づいて、前記作業機械の動作画像を生成するステップと、
前記動作画像を表示するステップとを備え、
前記作業機械の動作情報は、前記作業機械の作業工程を含み、
前記動作画像は、前記作業工程に基づく画像を含み、
前記作業機械動作情報の時刻を再生時刻として選択するステップをさらに備え、
前記作業機械の動作画像を生成するステップは、選択した再生時刻に従う前記作業機械動作情報に基づいて、前記作業機械の動作画像を生成する、作業機械の表示システムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械に関する。
【背景技術】
【0002】
ホイールローダ等の作業機械は、上下方向に回動可能なブームの先端に、ダンプ方向に回動可能なバケットを備えている。オペレータは、操作装置を操作することにより、バケットをダンプ方向に回動させて略水平にさせた後、作業機械を走行させてバケットを土砂等の山に貫入させる掘削作業が行なわれる。これによりバケット内に積荷を積み込む。オペレータは、ブームまたは車体を旋回させて、作業機械をダンプトラック等の運搬機械に対面させ、ブームを荷台の上方まで上げる。オペレータが、バケットをダンプ方向に回動させると、バケット内の積荷が荷台に落下し、運搬機械に積荷が移される。このようなサイクルを複数回繰り返すことにより、積込作業が行われる。
【0003】
ホイールローダ等の作業機械の動作においては、作業機械を走行させるアクセル操作とともに、ブームとバケットの操作レバーをそれぞれ動かしてバケットの動きを操作する必要があるため効率的な動作を実行することは簡単ではなく熟練が必要である。したがって、作業機械の動作状態を確認して運転指導が可能な機能が求められる。
【0004】
この点で、例えば、特開2016-89388号公報においては、遠隔地の設備側に情報を送信して、遠隔地の設備側において、遠隔操縦するオペレータに情報を提供する技術が開示されている。しかしながら、上記公報においては、作業中の情報がオペレータに対して直接提供されるに過ぎない。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016-89388号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
この点で、本発明は、上記の課題を解決するためになされたものであって、作業機械の動作状態を表示することが可能な作業機械の表示システムおよびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の作業機械の表示システムは、作業機械の動作情報を含む時系列の作業機械動作情報を記憶する記憶部と、作業機械動作情報に基づいて、作業機械の動作画像を生成する動作画像生成部と、動作画像を表示する表示部とを備える。
【0008】
本発明の作業機械の表示システムの制御方法は、作業機械の動作情報を含む時系列の作業機械動作情報を記憶するステップと、作業機械動作情報に基づいて、作業機械の動作画像を生成するステップと、動作画像を表示するステップとを備える。
【発明の効果】
【0009】
本発明の作業機械の表示システムおよびその制御方法は、作業機械の動作状態を表示することが可能である。
【図面の簡単な説明】
【0010】
図1】実施形態に従う作業機械の一例としてのホイールローダ1の側面図である。
図2】実施形態に従うホイールローダ1を含む全体システムの構成を示す概略ブロック図である。
図3】実施形態に基づくホイールローダ1の作業工程を説明する模式図である。
図4】実施形態に基づくホイールローダ1の作業工程の判別方法を示すテーブルである。
図5】実施形態に従う第2処理装置70の機能ブロックについて説明する図である。
図6】実施形態に従うメモリ73に格納されている作業機械テーブルを説明する図である。
図7】実施形態に従う第2処理装置70のイベント登録処理について説明するフロー図である。
図8】実施形態に従う動作画像生成部82の詳細機能ブロックについて説明する図である。
図9】実施形態に従う表示部72の再生画面200について説明する図である。
図10】実施形態に従う第2処理装置70における再生位置選択処理について説明するフロー図である。
【発明を実施するための形態】
【0011】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0012】
[全体構成]
実施形態においては、作業機械の一例としてホイールローダ1について説明する。図1は、実施形態に従う作業機械の一例としてのホイールローダ1の側面図である。図1に示すように、ホイールローダ1は、車体フレーム2と、作業機3と、走行装置4と、キャブ5とを備えている。車体フレーム2、キャブ5などからホイールローダ1の車体が構成されている。ホイールローダ1の車体には、作業機3および走行装置4が取り付けられている。
【0013】
走行装置4は、ホイールローダ1の車体を走行させるものであり、走行輪4a、4bを含んでいる。ホイールローダ1は、走行輪4a、4bが回転駆動されることにより自走可能であり、作業機3を用いて所望の作業を行うことができる。
【0014】
車体フレーム2は、前フレーム11と後フレーム12とを含んでいる。前フレーム11と後フレーム12とは、互いに左右方向に揺動可能に取り付けられている。前フレーム11と後フレーム12とには、ステアリングシリンダ13が取り付けられている。ステアリングシリンダ13は、油圧シリンダである。ステアリングシリンダ13がステアリングポンプ(図示せず)からの作動油によって伸縮することによって、ホイールローダ1の進行方向が左右に変更される。
【0015】
本明細書中において、ホイールローダ1が直進走行する方向を、ホイールローダ1の前後方向という。ホイールローダ1の前後方向において、車体フレーム2に対して作業機3が配置されている側を前方向とし、前方向と反対側を後方向とする。ホイールローダ1の左右方向とは、平面視において前後方向と直交する方向である。前方向を見て左右方向の右側、左側が、それぞれ右方向、左方向である。ホイールローダ1の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向である。上下方向において地面のある側が下側、空のある側が上側である。
【0016】
前後方向とは、キャブ5内の運転席に着座した作業者の前後方向である。左右方向とは、運転席に着座した作業者の左右方向である。左右方向とは、ホイールローダ1の車幅方向である。上下方向とは、運転席に着座した作業者の上下方向である。運転席に着座した作業者に正対する方向が前方向であり、運転席に着座した作業者の背後方向が後方向である。運転席に着座した作業者が正面に正対したときの右側、左側がそれぞれ右方向、左方向である。運転席に着座した作業者の足元側が下側、頭上側が上側である。
【0017】
前フレーム11には、作業機3および走行輪(前輪)4aが取り付けられている。作業機3は、ブーム14と、バケット6とを含んでいる。ブーム14の基端部は、ブームピン10によって前フレーム11に回転自在に取付けられている。バケット6は、ブーム14の先端に位置するバケットピン17によって、回転自在にブーム14に取付けられている。前フレーム11とブーム14とは、ブームシリンダ16により連結されている。ブームシリンダ16は、油圧シリンダである。ブームシリンダ16が作業機ポンプ25(図2参照)からの作動油によって伸縮することによって、ブーム14が昇降する。ブームシリンダ16は、ブーム14を駆動する。
【0018】
作業機3は、ベルクランク18と、チルトシリンダ19と、チルトロッド15とをさらに含んでいる。ベルクランク18は、ブーム14のほぼ中央に位置する支持ピン18aによって、ブーム14に回転自在に支持されている。チルトシリンダ19は、ベルクランク18の基端部と前フレーム11とを連結している。チルトロッド15は、ベルクランク18の先端部とバケット6とを連結している。チルトシリンダ19は、油圧シリンダである。チルトシリンダ19が作業機ポンプ25(図2参照)からの作動油によって伸縮することによって、バケット6が上下に回動する。チルトシリンダ19は、バケット6を駆動する。
【0019】
後フレーム12には、キャブ5および走行輪(後輪)4bが取り付けられている。キャブ5は、ブーム14の後方に配置されている。キャブ5は、車体フレーム2上に載置されている。キャブ5内には、オペレータが着座するシートおよび操作装置などが配置されている。
【0020】
キャブ5の上天井側には、位置検出センサ64が配置されている。位置検出センサ64は、GNSSアンテナと、グローバル座標演算器とを含む。GNSSアンテナは、全地球航法衛星システム(RTK-GNSS(Real Time Kinematic - Global Navigation Satellite Systems)用のアンテナである。キャブ5内には、IMU(Inertial Measurement Unit)66が配置されている。IMU66は、車体フレーム2の傾きを検出する。IMU66は、車体フレーム2の前後方向および左右方向に対する傾斜角を検出する。
【0021】
図2は、実施形態に従うホイールローダ1を含む全体システムの構成を示す概略ブロック図である。図2を参照して、実施形態に従う全体システムは、ホイールローダ1と、ホイールローダ1と無線通信あるいは有線通信により通信可能に設けられた第2処理装置とを含む。
【0022】
ホイールローダ1は、エンジン20、動力取り出し部22、動力伝達機構23、シリンダ駆動部24、第1角度検出器29、第2角度検出器48、回動機構60および第1処理装置30(コントローラ)を備えている。
【0023】
エンジン20は、たとえばディーゼルエンジンである。エンジン20の出力は、エンジン20のシリンダ内に噴射する燃料量を調整することにより制御される。エンジン20には、温度センサ31が設けられている。温度センサ31は、温度を示す検出信号を第1処理装置30に出力する。
【0024】
動力取り出し部22は、エンジン20の出力を、動力伝達機構23とシリンダ駆動部24とに振り分ける装置である。動力伝達機構23は、エンジン20からの駆動力を前輪4aおよび後輪4bに伝達する機構であり、たとえばトランスミッションである。動力伝達機構23は、入力軸21の回転を変速して出力軸23aに出力する。動力伝達機構23の出力軸23aには、ホイールローダ1の車速を検出するための車速検出部27が取り付けられている。ホイールローダ1は、車速検出部27を含んでいる。
【0025】
車速検出部27はたとえば車速センサである。車速検出部27は、出力軸23aの回転速度を検出することにより、走行装置4(図1)によるホイールローダ1の移動速度を検出する。車速検出部27は、出力軸23aの回転速度を検出するための回転センサとして機能する。車速検出部27は、走行装置4による移動を検出する移動検出器として機能する。車速検出部27は、ホイールローダ1の車速を示す検出信号を第1処理装置30に出力する。
【0026】
シリンダ駆動部24は、作業機ポンプ25および制御弁26を有している。エンジン20の出力は、動力取り出し部22を介して、作業機ポンプ25に伝達される。作業機ポンプ25から吐出された作動油は、制御弁26を介して、ブームシリンダ16およびチルトシリンダ19に供給される。
【0027】
ブームシリンダ16には、ブームシリンダ16の油室内の油圧を検出するための第1油圧検出器28a、28bが取り付けられている。ホイールローダ1は、第1油圧検出器28a、28bを含んでいる。第1油圧検出器28a、28bは、たとえばヘッド圧検出用の圧力センサ28aと、ボトム圧検出用の圧力センサ28bとを有している。
【0028】
圧力センサ28aは、ブームシリンダ16のヘッド側に取り付けられている。圧力センサ28aは、ブームシリンダ16のシリンダヘッド側油室内の作動油の圧力(ヘッド圧)を検出することができる。圧力センサ28aは、ブームシリンダ16のヘッド圧を示す検出信号を第1処理装置30に出力する。圧力センサ28bは、ブームシリンダ16のボトム側に取り付けられている。圧力センサ28bは、ブームシリンダ16のシリンダボトム側油室内の作動油の圧力(ボトム圧)を検出することができる。圧力センサ28bは、ブームシリンダ16のボトム圧を示す検出信号を第1処理装置30に出力する。
【0029】
第1角度検出器29は、たとえば、ブームピン10に取り付けられたポテンショメータである。第1角度検出器29は、ブーム14の持ち上がり角度(チルト角度)を表すブーム角度を検出する。第1角度検出器29は、ブーム角度を示す検出信号を第1処理装置30に出力する。具体的には、図1に示すように、ブーム角度θは、ブームピン10の中心から前方に延びる水平線に対する、ブームピン10の中心からバケットピン17の中心に向かう方向に延びる直線LBの角度である。直線LBが水平である場合をブーム角度θ=0°と定義する。直線LBが水平線よりも上方にある場合にブーム角度θを正とする。直線LBが水平線よりも下方にある場合にブーム角度θを負とする。なお、第1角度検出器29は、ブームシリンダ16に配置されたストロークセンサであってもよい。
【0030】
第2角度検出器48は、たとえば、支持ピン18aに取り付けられたポテンショメータである。第2角度検出器48は、ブーム14に対するベルクランク18の角度(ベルクランク角度)を検出することにより、ブーム14に対するバケット6のチルト角度を表すバケット角度を検出する。第2角度検出器48は、バケット角度を示す検出信号を第1処理装置30に出力する。バケット角度はたとえば、バケットピン17の中心とバケット6の刃先6aとを結ぶ直線と、直線LBとの成す角度である。なお、第2角度検出器48は、チルトシリンダ19に配置されたストロークセンサであってもよい。
【0031】
回動機構60は、前フレーム11と後フレーム12とを回動可能に連結している。後フレーム12に対する前フレーム11の回動は、前フレーム11と後フレーム12との間に連結されたアーティキュレートシリンダを伸縮させることで行われる。そして、前フレーム11を後フレーム12に対して屈曲させる(アーティキュレートさせる)ことで、ホイールローダの旋回時の旋回半径をより小さくすること、および、オフセット走行による溝掘や法切作業が可能である。回動機構60には、アーティキュレート角度センサ61が設けられている。アーティキュレート角度センサ61は、アーティキュレート角度を検出する。アーティキュレート角度センサ61は、アーティキュレート角度を示す検出信号を第1処理装置30に出力する。
【0032】
位置検出センサ64は、ホイールローダ1の位置を示す検出信号を第1処理装置30に出力する。IMU66は、ホイールローダ1の傾斜角を示す検出信号を第1処理装置30に出力する。
【0033】
図2に示されるように、ホイールローダ1は、キャブ5内に、オペレータによって操作される操作装置を備えている。操作装置は、前後進切換装置49、アクセル操作装置51、ブーム操作装置52、変速操作装置53、バケット操作装置54、およびブレーキ操作装置58を含んでいる。
【0034】
前後進切換装置49は、前後進切換操作部材49aと、前後進切換検出センサ49bとを含んでいる。前後進切換操作部材49aは、車両の前進および後進の切り換えを指示するためにオペレータによって操作される。前後進切換操作部材49aは、前進(F)、中立(N)、および後進(R)の各位置に切り換えられることができる。前後進切換検出センサ49bは、前後進切換操作部材49aの位置を検出する。前後進切換検出センサ49bは、前後進切換操作部材49aの位置によって表される前後進指令の検出信号(前進、中立、後進)を第1処理装置30に出力する。前後進切換装置49は、前進(F)、中立(N)および後進(R)を切り換え可能なFNR切換レバーを含む。
【0035】
アクセル操作装置51は、アクセル操作部材51aと、アクセル操作検出部51bとを含んでいる。アクセル操作部材51aは、エンジン20の目標回転速度を設定するためにオペレータによって操作される。アクセル操作検出部51bは、アクセル操作部材51aの操作量(アクセル操作量)を検出する。アクセル操作検出部51bは、アクセル操作量を示す検出信号を第1処理装置30に出力する。
【0036】
ブレーキ操作装置58は、ブレーキ操作部材58aと、ブレーキ操作検出部58bとを含んでいる。ブレーキ操作部材58aは、ホイールローダ1の減速力を操作するために、オペレータによって操作される。ブレーキ操作検出部58bは、ブレーキ操作部材58aの操作量(ブレーキ操作量)を検出する。ブレーキ操作検出部58bは、ブレーキ操作量を示す検出信号を第1処理装置30に出力する。ブレーキ操作量としてブレーキオイルの圧力が用いられてもよい。
【0037】
ブーム操作装置52は、ブーム操作部材52aと、ブーム操作検出部52bとを含んでいる。ブーム操作部材52aは、ブーム14を上げ動作または下げ動作させるためにオペレータによって操作される。ブーム操作検出部52bは、ブーム操作部材52aの位置を検出する。ブーム操作検出部52bは、ブーム操作部材52aの位置によって表されるブーム14の上げ指令または下げ指令の検出信号を、第1処理装置30に出力する。
【0038】
変速操作装置53は、変速操作部材53aと、変速操作検出部53bとを含んでいる。変速操作部材53aは、動力伝達機構23における入力軸21から出力軸23aへの変速を制御するためにオペレータによって操作される。変速操作検出部53bは、変速操作部材53aの位置を検出する。変速操作検出部53bは、変速操作部材53aの位置によって表される変速の検出指令を、第1処理装置30に出力する。
【0039】
バケット操作装置54は、バケット操作部材54aと、バケット操作検出部54bとを含んでいる。バケット操作部材54aは、バケット6を掘削動作またはダンプ動作させるためにオペレータによって操作される。バケット操作検出部54bは、バケット操作部材54aの位置を検出する。バケット操作検出部54bは、バケット操作部材54aの位置によって表されるバケット6のチルトバック方向またはダンプ方向への動作指令の検出信号を、第1処理装置30に出力する。
【0040】
アーティキュレート操作装置55は、アーティキュレート操作部材55aと、アーティキュレート操作検出部55bとを含んでいる。アーティキュレート操作部材55aは、回動機構60を介して前フレーム11を後フレーム12に対して屈曲させる(アーティキュレートさせる)ためにオペレータによって操作される。アーティキュレート操作検出部55bは、アーティキュレート操作部材55aの位置を検出する。アーティキュレート操作検出部55bは、アーティキュレート操作部材55aの位置によって表される左方向に対する屈曲指令または右方向に対する屈曲指令の検出信号を、第1処理装置30に出力する。
【0041】
第1処理装置30は、RAM(Random Access Memory)、ROM(Read Only Memory)などの記憶装置と、CPU(Central Processing Unit)などの演算装置を含むマイクロコンピュータで構成されている。第1処理装置30は、エンジン20、作業機3(ブームシリンダ16、チルトシリンダ19など)、動力伝達機構23などの動作を制御する、ホイールローダ1のコントローラの機能の一部として実現されてもよい。第1処理装置30には、前後進切換装置49によって検出される前後進指令の信号と、車速検出部27によって検出されるホイールローダ1の車速の信号と、第1角度検出器29によって検出されるブーム角度の信号と、圧力センサ28aによって検出されるブームシリンダ16のヘッド圧の信号と、圧力センサ28bによって検出されるブームシリンダ16のボトム圧の信号とが主に入力される。
【0042】
ホイールローダ1は、表示部40および出力部45をさらに有している。表示部40は、キャブ5に配置された、オペレータが視認するモニタである。
【0043】
出力部45は、ホイールローダ1の外部に設置されたサーバ(第2処理装置70)に、ホイールローダ1の動作情報を含む作業機械動作情報を出力する。出力部45は、所定期間毎にホイールローダ1の動作情報を含む作業機械動作情報を出力しても良いし、あるいは、複数の期間における作業機械動作情報を一括して出力してもよい。出力部45は、たとえば、無線通信などの通信機能を有し、第2処理装置70と通信してもよい。または、出力部45は、たとえば、第2処理装置70がアクセス可能な携帯記憶装置(メモリカードなど)のインタフェースであってもよい。第2処理装置70は、モニタ機能にあたる表示部を有しており、出力部45から出力された作業機械動作情報に基づく動作画像を表示することができる。
【0044】
[ホイールローダ1の作業工程とその判別]
本実施形態のホイールローダ1は、土砂などの掘削対象物をバケット6に掬い取る掘削動作と、バケット6内の荷(掘削対象物100)をダンプトラック110などの運搬機械に積み込む積込動作とを実行する。
【0045】
図3は、実施形態に基づくホイールローダ1の作業工程を説明する模式図である。ホイールローダ1は、次のような複数の工程を順次に行うことを繰り返して、掘削対象物100を掘削し、ダンプトラック110などの運搬機械に掘削対象物100を積み込んでいる。
【0046】
図3(A)に示されるように、ホイールローダ1は、掘削対象物100に向かって前進する。この空荷前進工程において、オペレータは、ブームシリンダ16およびチルトシリンダ19を操作して、作業機3をブーム14の先端が低い位置にありバケット6が水平を向いた掘削姿勢にして、ホイールローダ1を掘削対象物100に向けて前進させる。
【0047】
図3(B)に示されるように、バケット6の刃先6aが掘削対象物100に食い込むまで、オペレータはホイールローダ1を前進させる。この掘削(突込み)工程において、バケット6の刃先6aが掘削対象物100に食い込む。
【0048】
図3(C)に示されるように、その後オペレータは、ブームシリンダ16を操作してバケット6を上昇させるとともに、チルトシリンダ19を操作してバケット6をチルトバックさせる。この掘削(掬込み)工程により、図中の曲線矢印のようにバケット軌跡Lに沿ってバケット6が上昇し、バケット6内に掘削対象物100が掬い込まれる。これにより、掘削対象物100を掬い取る掘削作業が実行される。
【0049】
掘削対象物100の種類によって、バケット6を1回チルトバックさせるだけで掬込み工程が完了する場合がある。または、掬込み工程において、バケット6をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合もある。
【0050】
図3(D)に示されるように、バケット6に掘削対象物100が掬い込まれた後、オペレータは、積荷後進工程にて、ホイールローダ1を後進させる。オペレータは、後退しながらブーム上げをしてもよく、図3(E)にて前進しながらブーム上げをしてもよい。
【0051】
図3(E)に示されるように、オペレータは、バケット6を上昇させた状態を維持しながら、またはバケット6を上昇させながら、ホイールローダ1を前進させてダンプトラック110に接近させる。この積荷前進工程により、バケット6はダンプトラック110の荷台のほぼ真上に位置する。
【0052】
図3(F)に示されるように、オペレータは、所定位置でバケット6をダンプして、バケット6内の荷(掘削対象物)をダンプトラック110の荷台上に積み込む。この工程は、いわゆる排土工程である。この後、オペレータは、ホイールローダ1を後進させながらブーム14を下げ、バケット6を掘削姿勢に戻す。以上が、掘削積込作業の1サイクルをなす典型的な工程である。
【0053】
図4は、実施形態に基づくホイールローダ1の作業工程の判別方法を示すテーブルである。図4に示したテーブルにおいて、一番上の「作業工程」の行には、図3(A)~図3(F)に示した作業工程の名称が示されている。その下の「前後進切換レバー」、「作業機操作」および「作業機シリンダ圧力」の行には、現在の作業工程がどの工程であるかを判定するために第1処理装置30(図2図3)が使用する、各種の判断条件が示されている。より詳細には、「前後進切換レバー」の行には、前後進切換レバーについての判定条件が丸印で示されている。
【0054】
「作業機操作」の行には、作業機3に対するオペレータの操作についての判定条件が丸印で示されている。より詳細には、「ブーム」の行にはブーム14に対する操作に関する判定条件が示されており、「バケット」の行にはバケット6に対する操作に関する判定条件が示されている。
【0055】
「作業機シリンダ圧力」の行には、作業機3のシリンダの現在の油圧、たとえばブームシリンダ16のシリンダボトム室の油圧、についての判定条件が示されている。ここで、油圧に関して、4つの基準値A、B、C、Pが予め設定され、これら基準値A、B、C、Pにより複数の圧力範囲(基準値P未満の範囲、基準値AからCの範囲、基準値BからPの範囲、基準値C未満の範囲)が定義され、これらの圧力範囲が上記判断条件として設定されている。4つの基準値A、B、C、Pの大きさは、A>B>C>Pとなっている。
【0056】
以上のような作業工程ごとの「前後進切換レバー」、「ブーム」、「バケット」「作業機シリンダ圧力」の判定条件の組み合わせを用いることにより、第1処理装置30は、現在行われている工程がどの工程なのかが判別可能である。
【0057】
図4に示した制御を行う場合の第1処理装置30の具体的動作を以下に説明する。図4に示した各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせが、記憶部30j(図2)に予め格納されている。第1処理装置30は、前後進切換装置49からの信号に基づいて、現在選択されている前後進切換レバー(F、N、R)を把握する。第1処理装置30は、ブーム操作検出部52bからの信号に基づいて、ブーム14に対する現在の操作の種類(下げ、中立または上げ)を把握する。第1処理装置30は、バケット操作検出部54bからの信号に基づいて、バケット6に対する現在の操作の種類(ダンプ、中立またはチルトバック)を把握する。さらに、第1処理装置30は、図2に示した圧力センサ28bからの信号に基づいて、ブームシリンダ16のシリンダボトム室の現在の油圧を把握する。
【0058】
第1処理装置30は、把握された現在の前後進切換レバー、ブーム操作種類、バケット操作種類およびリフトシリンダ油圧の組み合わせ(つまり現在の作業状態)を、予め記憶してある各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせと対照する。この対照する処理の結果として、第1処理装置30は、現在の作業状態に最も良く一致する判定条件の組み合わせがどの作業工程に対応するのかを判定する。ここで、図4に示す掘削積込動作に対応する判定条件の組み合わせは、一例として次のとおりである。
【0059】
空荷前進工程においては、前後進切換レバーがFであり、ブーム操作とバケット操作とがともに中立であり、作業機シリンダ圧力が基準値P未満である。掘削(突込み)工程においては、前後進切換レバーがF、ブーム操作とバケット操作とが共に中立、作業機シリンダ圧力が基準値AからCの範囲である。掘削(掬込み)工程においては、前後進切換レバーがFまたはR、ブーム操作が上げまたは中立、バケット操作がチルトバック、作業機シリンダ圧力が基準値AからCの範囲である。バケット操作については、チルトバックと中立とが交互に繰り返される判定条件をさらに追加してもよい。掘削対象物の状態によっては、バケット6をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合があるからである。積荷後進工程においては、前後進切換レバーがR、ブーム操作が中立または上げ、バケット操作が中立、作業機シリンダ圧力が基準値BからPの範囲である。積荷前進工程においては、前後進切換レバーがF、ブーム操作が上げまたは中立、バケット操作が中立、作業機シリンダ圧力が基準値BからPの範囲である。排土工程においては、前後進切換レバーがF、ブーム操作が上げまたは中立、バケット操作がダンプ、作業機シリンダ圧力が基準値BからPの範囲である。後進・ブーム下げ工程においては、前後進切換レバーがR、ブーム操作が下げ、バケット操作がチルトバック、作業機シリンダ圧力が基準値P未満である。
【0060】
第1処理装置30で判定された作業工程に関する情報は、作業機械動作情報の一部として出力部45を介して第2処理装置70に出力される。なお、本例においては、第1処理装置30で作業工程を判定する方式について説明するが、特にこれに限られず第2処理装置70で作業工程を判定するようにしてもよい。
【0061】
[第2処理装置70の機能構成]
図5は、実施形態に従う第2処理装置70の機能ブロックについて説明する図である。図5を参照して、第2処理装置70は、入力部71と、表示部72と、メモリ73と、通信部74と、CPU75とを含む。
【0062】
入力部71は、マウス、キーボード、コントローラ、タッチパネル等を含む。入力部71を操作することにより入力指令が生成される。例えば、マウス操作、キーボード操作、コントローラのボタン操作あるいは、タッチパネルのタッチ操作により入力指令が生成される。
【0063】
表示部72は、液晶等のディスプレイを含む。メモリ73は、RAM、ROM等の記憶装置を含む。メモリ73は、CPU75が読み出すことにより各種の処理を実行する機能ブロックを実現するためのプログラムを格納している。また、メモリ73は、ホイールローダ1から送信された作業機械動作情報を作業機械動作データとして格納する。
【0064】
実施形態に従う第2処理装置70は、メモリ73に格納されている作業機械動作データを用いてホイールローダ1の動作状態の再生処理を実行する。作業機械動作データについては後述する。なお、再生処理は、ある一時点における静止画像および時間とともに連続的に変化する動画像の両方を含む。
【0065】
CPU75は、メモリ73に格納されているプログラムに基づいて、各種の機能ブロックを実現する。具体的には、CPU75は、選択部80と、動作画像生成部82と、表示制御部84と、イベント判定部86と、イベント登録部88とを含む。
【0066】
選択部80は、メモリ73に格納されている作業機械動作データの時刻を再生時刻として選択する。動作画像生成部82は、選択部80で選択した再生時刻に従う作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する。表示制御部84は、動作画像生成部82で生成したホイールローダ1の動作画像データに基づいて、動作画像を含む再生画面を表示部72に出力して表示する。イベント判定部86は、メモリ73に格納されている作業機械動作情報に基づいてイベントが発生したか否かを判断する。イベント登録部88は、イベント判定部86で発生したと判断したイベントに関するイベント情報を作業機械動作情報と関連付けてメモリ73に格納する。なお、第2処理装置70は、本発明の「作業機械の表示システム」の一例である。また、選択部80、動作画像生成部82、イベント判定部86、イベント登録部88、表示部72およびメモリ73は、それぞれ本発明の「選択部」、「動作画像生成部」、「イベント判定部」、「イベント登録部」、「表示部」および「記憶部」の一例である。
【0067】
図6は、実施形態に従うメモリ73に格納されている作業機械テーブルを説明する図である。図6を参照して、作業機械テーブルは、時系列に配列された作業機械動作データを含む。
【0068】
一例として、作業機械テーブルに複数の作業機械動作データが格納されている場合が示されている。具体的には、時系列の時刻「12:01:01」、「12:01:05」、「12:01:10」、「12:02:00」、「12:02:04」、にそれぞれ対応付けられた作業機械動作データが示されている。当該時刻は、一例として、第2処理装置70の通信部74が第1処理装置30の出力部45から送信されたデータ(作業機械動作情報)を受信した時刻に対応する。なお、当該時刻は、第2処理装置70の通信部74が当該情報を受信した時刻に限られず、第1処理装置30の出力部45が送信した時刻としても良く、他の基準となる時刻を用いるようにしても良い。
【0069】
作業機械動作データは、作業機械動作情報と、当該作業機械動作情報と関連付けられたイベント情報とを含む。
【0070】
イベント情報は、発生しているイベントに関する情報である。当該イベント情報は、後述するがイベント登録部88により設定される。したがって、イベント登録部88により設定される前は、作業機械動作データのイベント情報は空白状態である。
【0071】
作業機械動作情報は、時刻と対応付けられた車両情報CNと、操作情報Tと、位置情報Pと、作業者IDと、車体IDとを含む。車両情報CNは、ホイールローダ1の情報である。具体的には、車両情報CNは、作業機3と、作業機3以外の走行装置4等を含む車両に関する情報とを含む。なお、本例においては、車両情報CNは、作業機3と、車両に関する情報の両方を含む場合について説明するが、いずれか一方としても良い。作業機3の情報は、第1角度検出器29、第2角度検出器48、第1油圧検出器28a、28bの検出信号および作業工程に関する作業機データを含む。当該作業機データにより作業機3の姿勢状態等を検知することが可能である。
【0072】
車両に関する情報は、温度センサ31、車速検出部27、アーティキュレート角度センサ61の検出信号に関する車両データを含む。当該車両データにより走行装置4の状態等を検知することが可能である。操作情報Tは、作業機3に対する作業機操作情報と、車両操作情報とを含む。作業機操作情報は、ブーム操作検出部52b、バケット操作検出部54bの検出信号に関する作業機操作データを含む。当該作業機操作データにより作業機3に対する操作状態を検知することが可能である。車両操作情報は、前後進切換操作部材49a、アクセル操作検出部51b、変速操作検出部53b、アーティキュレート操作検出部55b、ブレーキ操作検出部58bの検出信号に関する車両操作データを含む。当該車両操作データにより車両に対する操作状態を検知することが可能である。なお、本例においては、操作情報Tは、作業機操作情報と、車両操作情報の両方を含む場合について説明するが、いずれか一方としても良い。
【0073】
位置情報Pは、ホイールローダ1の位置に関する情報である。具体的には、位置情報Pは、位置検出センサ64の検出信号に関する位置データと、IMU66の検出信号に関する傾斜データとを含む。
【0074】
作業者IDは、ホイールローダ1のオペレータを識別する情報である。一例として、作業者が作業機械のエンジンの起動の際に使用する鍵に作業者IDが予め格納されているものとする。第1処理装置30は、作業機械のエンジンの起動の際に当該鍵から作業者IDを取得する。
【0075】
車体IDは、ホイールローダ1の車体を識別する情報である。一例として第1処理装置30の記憶部30jに車体IDは予め格納されているものとする。なお、本例においては、第1処理装置30の記憶部30jに格納されている場合について説明するが、これに限られず第2処理装置70のメモリ73に予め格納されていてもよい。
【0076】
[イベント登録処理]
図7は、実施形態に従う第2処理装置70のイベント登録処理について説明するフロー図である。図7を参照して、イベント判定部86は、メモリ73の作業機械テーブルに格納されている作業機械動作データを取得する(ステップST0)。
【0077】
次に、イベント判定部86は、取得した作業機械動作データに基づいてイベントが発生しているか否かを判断する(ステップST4)。イベント判定部86は、取得した作業機械動作データが所定のイベント条件を満たすか否かを判断する。
【0078】
一例として、イベント条件として、本例においては、温度が所定温度以上である場合にオーバヒートのイベントが発生したと判定する。例えば、車両情報CNに含まれる車両に関する情報は、温度センサ31の検出信号に関する車両データを含む。イベント判定部86は、当該温度センサ31の検出信号のデータに基づいて温度が所定温度以上か否かを判断する。
【0079】
別のイベント条件として、本例においては、作業工程の情報からイベントが発生したと判定する。例えば、車両情報CNは、作業工程を含む作業機データを含む。イベント判定部86は、作業機データに基づいてイベントが発生したか否かを判断する。作業機データに掘削の作業工程の情報が含まれている場合には、掘削のイベントが発生したと判断する。
【0080】
なお、これに限られず種々のイベント条件を設けることが可能であり、取得した作業機械動作情報の1つのデータを用いて所定のイベントが発生したと判定してもよいし、複数のデータの組み合わせに基づいて所定のイベントが発生したと判定してもよい。
【0081】
ステップST4において、イベント判定部86は、イベントが発生していると判断した場合(ステップST4においてYES)には、イベント登録部88に登録指示する。
【0082】
次に、イベント登録部88は、イベント判定部86の登録指示に従って、イベント情報を登録する(ステップST6)。
【0083】
そして、次に、イベント登録部88は、作業機械テーブルに含まれる全ての作業機械動作データの確認が終了したか否かを判断する(ステップST8)。
【0084】
ステップST8において、イベント登録部88は、全ての作業機械動作データの確認が終了したと判断した場合(ステップST8においてYES)には、イベント登録処理を終了する(エンド)。一方、ステップST8において、イベント登録部88は、全ての作業機械動作データの確認が終了していないと判断した場合(ステップST8においてNO)には、ステップST0に戻り、確認が終わっていない作業機械テーブルの作業機械動作データを取得して、上記処理を繰り返す。
【0085】
イベント登録部88は、一例としてオーバヒートのイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。また、イベント登録部88は、一例として掘削のイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。他の作業機械動作データについても同様である。これにより図6に示されるイベント情報が設定される。
【0086】
[動作画像生成処理]
図8は、実施形態に従う動作画像生成部82の詳細機能ブロックについて説明する図である。図8を参照して、動作画像生成部82は、動作状態画像生成部820と、位置状態画像生成部822と、車両状態画像生成部824と、管理情報画像生成部826と、イベント情報画像生成部828とを含む。動作画像生成部82の各機能ブロックは、メモリ73に予め格納されているプログラムにより実現される。
【0087】
動作状態画像生成部820は、作業機械動作データに基づいて動作状態画像データを生成する。位置状態画像生成部822は、作業機械動作データに基づいて位置状態画像データを生成する。車両状態画像生成部824は、作業機械動作データに基づいて車両状態画像データを生成する。管理情報画像生成部826は、作業機械動作データに基づいて管理情報画像データを生成する。イベント情報画像生成部828は、作業機械動作データに基づいてイベント情報画像データを生成する。
【0088】
図9は、実施形態に従う表示部72の再生画面200について説明する図である。図9を参照して、再生画面200には、ホイールローダ1のある再生時刻(作業時刻「2018/1/1/12:02:00」)に対応するホイールローダ1の種々の情報を表示する複数の画面が設けられている。複数の画面は、作業時刻に同期した画面である。本例においては、動作画像生成部82は、作業機械テーブルに格納されたある再生時刻(作業時刻)に対応する作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する。なお、再生時刻は、時刻のみの情報であってもよいし、日付に関する情報が含まれていてもよい。
【0089】
表示制御部84は、動作画像生成部82で生成した動作画像データに基づいて、再生画面200を表示部72に表示する。本例においては、動作画像データは、動作状態画像データと、位置状態画像データと、車両状態画像データと、管理情報画像データと、イベント情報画像データとを含む。
【0090】
具体的には、表示制御部84は、動作状態画像データに基づいて、ホイールローダ1の動きを表す動作画面210を表示部72に表示する。表示制御部84は、位置状態画像データに基づいて、ホイールローダ1を表す位置画面230を表示部72に表示する。表示制御部84は、車両状態画像データに基づいて、ホイールローダ1の状態の情報を表す状態画面220を表示部72に表示する。表示制御部84は、イベント情報画像データに基づいて、ホイールローダ1に発生したイベントのリストを表示するイベント表示画面240を表示部72に表示する。表示制御部84は、管理情報画像データに基づいて、ホイールローダ1の管理情報を表す管理画面260を表示部72に表示する。また、表示制御部84は、再生画面200に対して再生処理に関する種々のコマンドを指示するためのコマンドバー250を設ける。
【0091】
コマンドバー250は、再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、早戻しボタン等を含む。管理者が当該ボタンを操作することにより再生処理に関する種々の処理を実行することが可能である。管理者が再生ボタンを操作することにより、ある再生時刻からの時間的変化に従うホイールローダ1の動作画像の連続的な再生処理(動画再生処理)が実行される。管理者が一時停止ボタンを操作することにより、ある再生時刻に従うホイールローダ1の動作画像の再生処理(静止画再生処理)が実行される。
【0092】
[動作画面210]
動作画面210は、動作状態画像データに基づいて表示される。動作画面210は、傾斜状態画像212と、アーティキュレート状態画像214と、作業状態画像216とを含む。
【0093】
動作状態画像生成部820は、ホイールローダ1の3Dモデル形状の基準画像を生成する3Dモデル形状データと、車両情報CNに含まれる作業機データとに基づいて第1動作状態画像データを生成する。なお、3Dモデル形状データは、メモリ73に予め格納されているものとする。3Dモデル形状データには、3Dモデル形状の基準画像を構成する作業機、車体、車輪等の各モデル形状のデータが含まれる。また、第1動作状態画像データは、車両の傾斜やアーティキュレート角度を表わす画像データとしてもよい。
【0094】
表示制御部84は、第1動作状態画像データに基づいてホイールローダ1の作業の状態を示す作業状態画像216を表示する。作業状態画像216は、ホイールローダ1の3Dモデルを示す作業機モデル画像217と、ホイールローダ1が走行する路面モデルを示す路面画像218とを含む。
【0095】
表示制御部84は、作業機モデル画像217の走行状態と路面画像218とを組み合わせることにより表現することが可能である。具体的には、一例として路面画像218を左方向から右方向にスライドさせることにより作業機モデル画像217の位置を変化させることなく作業機モデル画像217の前進を表現することが可能である。また、表示制御部84は、路面画像218の移動速度を調整することにより作業機モデル画像217の走行状態の程度を表現してもよい。例えば、表示制御部84は、路面画像218のスライド速度を速くすることにより、作業機モデル画像217が高速で前進しているように表現してもよい。また、反対に、表示制御部84は、路面画像218のスライド速度を遅くすることにより、作業機モデル画像217が低速で前進しているように表現してもよい。表示制御部84は、車両情報CNに含まれる車速データに基づいて路面画像218のスライド速度を調整するようにしても良い。表示制御部84は、時系列に従う第1動作状態画像データに基づいて、作業機モデル画像217を表示する。これにより、時系列に従うホイールローダ1の作業の状態を再現することが可能である。なお、作業の状態を再現する際に仮想カメラの視野方向の設定を受け付けることにより視野を変更することも可能である。
【0096】
動作状態画像生成部820は、ホイールローダ1の側面モデルの形状の基準画像を生成する側面形状モデルデータと、位置情報Pに含まれる傾斜データとに基づいて第2動作状態画像データを生成する。表示制御部84は、第2動作状態画像データに基づいて傾斜状態画像212を表示する。傾斜状態画像212は、ホイールローダ1の車体の傾斜状態を示す。本例においては、25°傾斜した状態である場合が示されている。表示制御部84は、時系列に従う第2動作状態画像データに基づいて、傾斜状態画像212を表示する。これにより、時系列に従うホイールローダ1の車体の傾斜状態を再現することが可能である。
【0097】
動作状態画像生成部820は、ホイールローダ1の上面視モデルの形状の基準画像を生成する上面視形状モデルデータと、車両情報CNに含まれるアーティキュレート角度データとに基づいて第3動作状態画像データを生成する。表示制御部84は、第3動作状態画像データに基づいてアーティキュレート状態画像214を表示する。アーティキュレート状態画像214は、ホイールローダ1のアーティキュレートの状態を示す。本例においては、15°右方向に屈曲している状態である場合が示されている。表示制御部84は、時系列に従う第3動作状態画像データに基づいて、アーティキュレート状態画像214を表示する。これにより、時系列に従うホイールローダ1のアーティキュレート状態を再現することが可能である。
【0098】
[状態画面220]
状態画面220は、車両状態画像データに基づいて表示される。状態画面220は、指定する時刻を示すタイムバー224と、操作状態画像221と、車両状態画像222と、作業工程状態画像223とを含む。ここで、タイムバー224は、ある作業時刻を示している。本例におけるタイムバー224は、任意の作業時刻に対応する位置に移動可能に設けられている。
【0099】
車両状態画像生成部824は、所定期間の作業機械動作データの操作情報Tに基づいて第1車両状態画像データを生成する。表示制御部84は、第1車両状態画像データに基づいて所定期間のオペレータが操作した操作部材の状態を示す操作状態画像221を表示する。操作状態画像221は、ある作業時刻に対応する操作指定状態画像221Aと、所定期間中の操作の遷移状態を示す操作遷移状態画像221Bとを含む。操作指定状態画像221Aは、アクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)、ブレーキ操作装置58(ブレーキ)の状態を示す。本例においては、アクセルペダルが95%、ブームレバーが25%、バケットレバーが14%、ブレーキがOFFの状態である場合が示されている。操作遷移状態画像221Bは、所定期間(本例においては26s)におけるアクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)、ブレーキ操作装置58(ブレーキ)の操作の遷移状態を示す。
【0100】
アクセル操作装置51(アクセルペダル)、ブーム操作装置52(ブームレバー)、バケット操作装置54(バケットレバー)に関しては、操作状態をグレースケールで示している。具体的には、操作部材の操作割合の値が大きくなるほど濃く(黒色)なり、数値が低くなるほど薄く(白色)なるように表示されている。なお、本例においては、操作状態をグレースケールで表示する場合について説明しているが、操作状態をヒートマップで表示するようにしても良い。例えば、ブーム操作装置52(ブームレバー)が上げ動作または下げ動作の場合に色を変えることにより視覚的にどの操作であるかを直観的に把握することが可能である。バケット操作装置54(バケットレバー)についても同様である。また、操作部材の操作量の値をグラフ化して表示しても良い。ブレーキ操作装置58(ブレーキ)に関しては、ブレーキがオンあるいはオフした状態が表示されている。これにより、所定期間において操作部材に対してどのような操作がされたかを容易に把握することが可能である。
【0101】
車両状態画像生成部824は、所定期間の作業機械動作データの車両情報CNに基づいて第2車両状態画像データを生成する。表示制御部84は、第2車両状態画像データに基づいて所定期間のホイールローダ1の状態を示す車両状態画像222および作業工程状態画像223を表示する。車両状態画像222は、ある作業時刻に対応する車両指定状態画像222Aと、所定期間中の車両の遷移状態を示す車両遷移状態画像222Bとを含む。本例においては、車両指定状態画像222Aは、ホイールローダ1の車速が15km/hである場合を示す。
【0102】
車両遷移状態画像222Bは、所定期間(本例においては26s)におけるホイールローダ1の車速の遷移状態を示す。これにより、所定期間においてホイールローダ1の車速がどのように変化したかを容易に把握することが可能である。
【0103】
作業工程状態画像223は、ある作業時刻に対応する作業工程を示す作業工程指定状態画像223Aと、所定期間中の作業工程の遷移状態を示す作業工程遷移状態画像223Bとを含む。作業工程指定状態画像223Aは、本例においては掘削である場合が示されている。作業工程遷移状態画像223Bは、所定期間中の作業工程の遷移として空荷前進、掘削、積荷前進に変化している場合が示されている。これにより、所定期間においてホイールローダ1の作業工程がどのように変化したかを容易に把握することが可能である。
【0104】
表示制御部84は、一例としてタイムバー224に対応する作業時刻に合わせて、操作遷移状態画像221B、車両遷移状態画像222Bおよび作業工程遷移状態画像223Bが右側から左側に移動するように制御する。タイムバー224は、入力部71からの入力に基づき所定期間における任意の作業時刻の位置に変更することが可能である。
【0105】
[位置画面230]
位置画面230は、位置状態画像データに基づいて表示される。位置画面230は、作業位置画像232と、移動軌跡画像234とを含む。
【0106】
位置状態画像生成部822は、作業マップを示す地図データと、位置情報Pに含まれる位置データとに基づいて位置状態画像データを生成する。表示制御部84は、位置状態画像データに基づいて作業マップ上におけるホイールローダ1の作業の位置を示す作業位置画像232と、ホイールローダ1の移動の軌跡を示す移動軌跡画像234とを表示する。作業位置画像232は、ホイールローダ1の移動の軌跡を示す移動軌跡画像234に従って移動させることが可能に設けられている。表示制御部84は、時系列に従う位置状態画像データに基づいて、作業位置画像232および移動軌跡画像234を作業マップ上に表示する。これにより、時系列に従うホイールローダ1の作業の移動状態を再現することが可能である。また、移動軌跡画像234は、速度変化領域233を含む。速度変化領域233は、ホイールローダ1の移動の速度が変化した領域を示す。移動軌跡画像234に速度変化領域233を設けることによりホイールローダ1の速度変化を視覚的に判断することが可能である。本例においては、速度変化領域233は、1つの領域が示されているが特にこれに限られず複数の領域が設けられていても良い。ここでは、一例としてハッチングパターンの変化により速度が変化した状態であることが示されている。なお、当該表示に限られず、色や他の強調表示によりホイールローダ1の速度変化を視覚的に判断するようにしてもよい。作業位置画像234は、入力部71からの入力に基づき移動軌跡画像234に沿って任意の作業の位置に変更することが可能である。
【0107】
[イベント表示画面240]
イベント表示画面240は、イベント情報画像データに基づいて表示される。イベント表示画面240は、イベントリストを含む。イベント情報画像生成部828は、作業機械動作データのイベント情報に基づいてイベント情報画像データを生成する。表示制御部84は、イベント情報画像データに基づいてイベントリストを表示する。本例においては、イベントとしてオーバヒートと、作業工程とがそれぞれ示されている。そして、作業工程は、さらに細分化されて掘削、空荷前進等の工程が列挙されている。また、各イベントの時間がツリー形式で表示されている。
【0108】
本例においては、ツリー形式で表示されたイベントが生じた時刻の項目について選択可能に設けられている。例えば、オーバーヒートした時刻「2018/1/1/12:20:00」の項目を指定することにより、当該時刻に対応付けられた作業機械テーブルの作業機械動作データが選択される。そして、選択された作業機械動作データに基づいて、ホイールローダ1の動作画像データが生成される。これにより、ホイールローダ1のイベントの発生状態を容易に再現することが可能である。
【0109】
[管理画面260]
管理画面260は、管理情報画像データに基づいて表示される。管理画面260は、再生処理の時刻を示す時刻画像202と、車体ID画像204と、作業者ID画像206とを含む。管理情報画像生成部826は、作業機械動作データの時刻情報に基づいて第1管理情報画像データを生成する。表示制御部84は、第1管理情報画像データに基づいて再生時刻(作業時刻)に対応する時刻画像202を表示する。本例においては、時刻画像202として「2018/1/1:12:02:00」が表示されている。
【0110】
管理情報画像生成部826は、作業機械動作データの車体IDに基づいて第2管理情報画像データを生成する。表示制御部84は、第2管理情報画像データに基づいて車体ID画像204を表示する。本例においては、車体ID画像204として「X」が表示されている。
【0111】
管理情報画像生成部826は、作業機械動作データの作業者IDに基づいて第3管理情報画像データを生成する。表示制御部84は、第3管理情報画像データに基づいて作業者ID画像206を表示する。本例においては、作業者ID画像として「A」が表示されている。表示制御部84は、第1~第3管理情報画像データに基づいて、時刻、車体ID、作業者IDを表示する。これにより、時系列に従うホイールローダ1に関する管理情報を容易に再現することが可能である。
【0112】
[再生位置選択処理]
実施形態においては、管理者は、ホイールローダ1の動作画像の再生位置を選択することが可能である。図10は、実施形態に従う第2処理装置70における再生位置選択処理について説明するフロー図である。図10を参照して、選択部80は、入力部71からの入力を受け付けたか否かを判断する(ステップS2)。選択部80は、入力部71からの入力を受け付けない場合には、ステップS2の状態を維持する。
【0113】
次に、選択部80は、入力部71からの入力を受け付けたと判断した場合(ステップS2においてYES)には、タイムバー224の操作入力か否かを判断する(ステップS4)。選択部80は、タイムバー224の操作入力でないと判断した場合(ステップS4においてNO)には、ステップS20に進む。
【0114】
一方、選択部80は、タイムバー224の操作入力である判断した場合(ステップS4においてYES)には、タイムバー224の位置の選択指令を受け付ける(ステップS6)。例えば、入力部71による操作を終了した位置がタイムバー224の位置の選択指令として受け付ける。
【0115】
次に、選択部80は、タイムバー224の位置に対応する作業時刻を再生時刻として選択する(ステップS9)。次に、動作画像生成部82は、選択部80で選択した再生時刻に従う作業機械動作データに基づいて、ホイールローダ1の動作画像データを生成する(ステップS10)。
【0116】
次に、表示制御部84は、動作画像生成部82で生成したホイールローダ1の動作画像データに基づいて、再生処理を実行する(ステップS12)。具体的には、図8で説明したように表示制御部84は、動作画像を含む再生画面を表示部72に出力して表示する。管理者は、タイムバー224の位置を選択することにより任意のタイムバー224の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。
【0117】
次に、表示制御部84は、再生処理が終了したかどうかを判断する(ステップS14)。表示制御部84は、再生終了していないと判断した場合(ステップS14においてNO)には、ステップS2に戻り、上記処理を繰り返す。
【0118】
一方、表示制御部84は、再生処理が終了したと判断した場合(ステップS14においてYES)には、処理を終了する。一方、ステップS20において、選択部80は、タイムバー224が操作されていないと判断した場合には、作業位置画像232が操作されたか否かを判断する。選択部80は、作業位置画像232が操作されていないと判断した場合(ステップS20においてNO)には、ステップS24に進む。
【0119】
一方、選択部80は、作業位置画像232が操作されたと判断した場合(ステップS20においてYES)には、作業位置の選択指令を受け付ける(ステップS22)。例えば、入力部71による操作を終了した位置に作業位置画像232の位置の選択指令として受け付ける。作業位置画像232は、移動軌跡画像234の軌跡に従って位置を移動させることが可能に設けられている。
【0120】
次に、選択部80は、作業位置画像232の位置に対応する作業時刻を再生時刻として選択する(ステップS9)。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。
【0121】
管理者は、作業位置画像232の位置を選択することにより任意の作業位置画像232の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。一方、選択部80は、作業位置画像232が操作されていないと判断した場合には、イベントリストが操作されたか否かを判断する。
【0122】
選択部80は、イベントリストが操作されていないと判断した場合(ステップS24においてNO)には、ステップS2に戻る。選択部80は、イベントリストが操作されたと判断した場合(ステップS24においてYES)には、イベント情報の選択指令を受け付ける(ステップS26)。例えば、入力部71による操作により指定されたイベント情報の選択指令として受け付ける。例えば、掘削あるいはオーバヒート等に対応する時刻の選択入力を受け付ける。
【0123】
次に、選択部80は、選択入力を受け付けた時刻を再生時刻として選択する(ステップS9)。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。管理者は、イベントリストを操作することにより任意のイベントの位置に対応する再生位置で動作画像の再生処理を実行することが可能である。
【0124】
[利用形態]
実施形態に従う第2処理装置70の再生処理により、再生画面200が表示される。再生画面200は、一例としてある作業時刻に対応する作業機械動作データに基づいて生成される動作画面210、状態画面220および位置画面230を表示する。
【0125】
動作画面210において、一例としてホイールローダ1の作業の状態を示す作業状態画像216が表示される。状態画面220において、一例として操作状態画像221が表示される。位置画面230において、作業マップ上におけるホイールローダ1の作業の位置を示す作業位置画像232が表示される。管理者は、上記画面により、ホイールローダ1のオペレータがいつ、どこで、どのような作業をしたかを容易に把握することが可能となる。
【0126】
管理者は、ホイールローダ1の動作画像の再生位置を任意に選択することが可能であるため例えば、オペレータの運転指導の際に有用に活用することが可能である。管理者は、例えば状態画面220の操作状態画像221を確認することにより、オペレータの操作状態に対する適切な指導を行うことが可能となる。また、イベントリストを確認することによりトラブルシューティング、コンプレーンの調査等にも活用することが可能である。
【0127】
[その他の実施形態]
上記の実施形態においては、作業機械テーブルは、第2処理装置70のメモリ73に格納されている場合について説明したが、特にこれに限られず、例えば、第1処理装置30の記憶部30jに格納していても良い。第1処理装置30の記憶部30jに格納されている作業機械テーブルに基づいて、上記の再生処理を実行しても良い。
【0128】
上記の実施形態においては、第2処理装置70のCPU75に各種の機能ブロックを実現する構成について説明したが、これに限られず一部または全部の機能ブロックを第1処理装置30で実現するようにしても良い。
【0129】
上記の実施形態においては、第2処理装置70の表示部72で再生画面200が表示される場合について説明したがホイールローダ1の表示部40で再生画面200を表示させるようにしても良い。また、ホイールローダ1の表示部40と第1処理装置30とを1つの装置とした場合でもよい。また、ホイールローダ1に限られず、例えば、第2処理装置70と通信可能に設けられた携帯端末の表示部で再生画面200を表示させるようにしても良い。
【0130】
上記の実施形態においては、再生画面200において、作業時刻に同期した複数の画面が表示される場合について説明した。具体的には、再生画面200は、複数の画面として、動作画面210、状態画面220、位置画面230、イベント表示画面240、管理画面260を含む場合について説明したが、特にこれら全ての画面が表示される必要はなく、例えば2つ以上の画面が表示されるようにしても良い。例えば、再生画面200において、動作画面210および状態画面220が表示されるようにしても良い。他の画面の組み合わせとすることも当然に可能である。
【0131】
[作用効果]
次に、実施形態の作用効果について説明する。実施形態の作業機械の表示システムには、図5に示すように、時系列の作業機械動作情報が格納される作業機械テーブルを記憶するメモリ73と、作業機械テーブルに格納された作業機械動作データに基づいて、ホイールローダ1の動作画像を生成する動作画像生成部82と、動作画像を表示する表示部72とが設けられる。図6に示すように作業機械テーブルには、ホイールローダ1の動作情報を含む時系列の作業機械動作情報が作業機械動作データとして格納される。メモリ73に記憶された作業機械動作データに基づいてホイールローダ1の動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1の動作状態を表示することが可能である。
【0132】
実施形態の作業機械の表示システムには、図5に示すように、メモリ73に格納されている作業機械動作データの時刻を再生時刻として選択する選択部80がさらに設けられる。動作画像生成部82は、選択部80で選択した再生時刻に従う作業機械動作データに基づいて、ホイールローダ1の動作画像を生成する。選択部80により再生時刻を選択可能であるため任意の位置でホイールローダ1の動作状態を表示することが可能である。
【0133】
作業機械動作情報が格納される作業機械テーブルは、ホイールローダ1内の第1処理装置30の記憶部30jあるいは第2処理装置70のメモリ73に設けられる。ホイールローダ1内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。
【0134】
実施形態の作業機械の表示システムには、図5に示すように、イベント判定部86と、イベント登録部88とがさらに設けられる。イベント判定部86は、作業機械動作情報に基づいてイベントが発生したか否かを判定する。イベント登録部88は、発生したイベントについて、作業機械動作情報と関連付けて作業機械動作データとして作業機械テーブルに格納する。ホイールローダ1に対して所定のイベントが生じたか否か把握することが可能である。
【0135】
実施形態の作業機械の表示システムには、図5に示すように、発生したイベントに従い作業機械動作情報の再生時刻を選択する選択部80がさらに設けられる。作業機械テーブルに格納されたイベント情報に従って、ホイールローダ1の動作状態を再生確認することが可能である。
【0136】
図9に示されるように、イベント表示画面240には、発生したイベントリストが表示される。選択部80は、イベントリストに対する操作に従い作業機械動作情報の再生時刻を選択する。イベント表示画面240に表示されるイベントリストに従って生じたイベントから簡易にホイールローダ1の動作状態を再生確認することが可能である。
【0137】
選択部80は、図9に示す再生画面200に対する入力部71の入力指令に従い作業機械動作情報の再生時刻を選択する。再生画面200の入力インタフェースを用いて簡易にホイールローダ1の動作状態を再生確認することが可能である。
【0138】
動作画像生成部82は、ホイールローダ1内の第1処理装置30あるいは第2処理装置70に設けられる。ホイールローダ1内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。
【0139】
表示部72は、ホイールローダ1内の第1処理装置30あるいは第2処理装置70に設けられる。ホイールローダ1内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。
【0140】
ホイールローダ1は、作業機3と、走行装置4を含む。図6に示される作業機械動作情報は、車両情報CNを含み、車両情報CNは、作業機3および走行装置4の少なくとも一方の動作情報を含む。ホイールローダ1の作業機3および走行装置4の少なくとも一方の動作状態を再生確認することが可能である。
【0141】
図6に示される作業機械動作情報は、操作情報Tを含み、操作情報Tは、作業機3および走行装置4の少なくとも一方の操作指令情報を含む。ホイールローダ1の作業機3および走行装置4の少なくとも一方の操作指令の動作状態を再生確認することが可能である。
【0142】
図6に示されるように、作業機械動作情報は、ホイールローダ1の位置に関する位置情報を含む。ホイールローダ1の位置状態を再生確認することが可能である。
【0143】
図6に示されるように、作業機械動作情報は、オペレータあるいは車体を識別する識別情報をさらに含む。複数のオペレータあるいは複数の車体が設けられている場合に当該識別情報により容易に判別することが可能である。
【0144】
図9に示されるように、作業機械は、ホイールローダである。ホイールローダ1の動作状態を再生確認することが可能である。
【0145】
図8に示されるように、動作画像生成部82には、作業機械動作情報に基づいて、作業機械の動作状態の動作画像を生成する動作状態画像生成部820と、作業機械の動作状態に対応する操作状態の動作画像を生成する車両状態画像生成部824とが設けられる。したがって、図9に示されるように、ホイールローダ1の動作状態とともに、動作状態に対応する操作状態を再生確認することが可能である。
【0146】
図8に示されるように、動作画像生成部82には、作業機械動作情報の車両情報CNに基づいて、作業機械の動作状態の動作画像を生成する動作状態画像生成部820が設けられる。図9に示されるように、ホイールローダ1の動作状態を再生確認することが可能である。
【0147】
図8に示されるように、動作画像生成部82には、作業機械動作情報の操作情報Tに基づいて、作業機械の操作の時間的な変化を示す動作画像を生成する車両状態画像生成部824が設けられる。図9に示されるように、ホイールローダ1の操作状態を再生確認することが可能である。
【0148】
図8に示されるように、動作画像生成部82には、作業機械動作情報の位置情報Pに基づいて、作業マップ上における作業機械の作業位置を示す作業機械の動作画像を生成する位置状態画像生成部822がさらに設けられる。図9に示されるように、ホイールローダ1の作業の位置を再生確認することが可能である。
【0149】
実施形態の作業機械の表示システムには、図5に示すように、入力部71による作業位置の選択指令を受け付けて、作業機械動作情報の再生時刻を選択する選択部80がさらに設けられる。任意の作業の位置に対応するホイールローダ1の動作画像の再生処理を実行することが可能である。
【0150】
実施形態の作業機械の表示システムの制御方法は、作業機械の動作情報を含む時系列の作業機械動作情報を記憶するステップと、作業機械動作情報に基づいて、作業機械の動作画像を生成するステップと、動作画像を表示するステップとを備える。図6に示すように作業機械テーブルには、ホイールローダ1の動作情報を含む時系列の作業機械動作情報が作業機械動作データとして格納される。メモリ73に記憶された作業機械動作データに基づいてホイールローダ1の動作画像が生成され、当該動作画像が表示部72に表示される。したがって、ホイールローダ1の動作状態を表示することが可能である。
【0151】
作業機械として、ホイールローダを例に挙げて説明したが、油圧ショベル、ダンプトラック、ブルドーザ等の作業機械にも適用可能である。
【0152】
以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【0153】
1 ホイールローダ、2 車体フレーム、3 作業機、4 走行装置、5 キャブ、6 バケット、6a 刃先、10 ブームピン、13 ステアリングシリンダ、14 ブーム、15 チルトロッド、16 ブームシリンダ、17 バケットピン、18 ベルクランク、18a 支持ピン、19 チルトシリンダ、20 エンジン、21 入力軸、22 動力取り出し部、23 動力伝達機構、23a 出力軸、24 シリンダ駆動部、25 作業機ポンプ、26 制御弁、27 車速検出部、28a 第1油圧検出器、29 第1角度検出器、30 第1処理装置、30j 記憶部、31 温度センサ、40,72 表示部、45 出力部、48 第2角度検出器、49 前後進切換装置、49a 前後進切換操作部材、49b 前後進切換検出センサ、51 アクセル操作装置、51a アクセル操作部材、51b アクセル操作検出部、52 ブーム操作装置、52a ブーム操作部材、52b ブーム操作検出部、53 変速操作装置、53a 変速操作部材、53b 変速操作検出部、54 バケット操作装置、54a バケット操作部材、54b バケット操作検出部、55 アーティキュレート操作装置、55a アーティキュレート操作部材、55b アーティキュレート操作検出部、58 ブレーキ操作装置、58a ブレーキ操作部材、58b ブレーキ操作検出部、60 回動機構、61 アーティキュレート角度センサ、64 位置検出センサ、70 第2処理装置、71 入力部、73 メモリ、74 通信部、80 選択部、82 動作画像生成部、84 表示制御部、86 イベント判定部、88 イベント登録部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10