(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168698
(43)【公開日】2024-12-05
(54)【発明の名称】作業機械、作業機械の管理システム、作業機械の管理装置
(51)【国際特許分類】
E02F 9/20 20060101AFI20241128BHJP
E02F 9/26 20060101ALI20241128BHJP
【FI】
E02F9/20 N
E02F9/26 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023085590
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中森 啓太
【テーマコード(参考)】
2D003
2D015
【Fターム(参考)】
2D003AA01
2D003AB01
2D003AB02
2D003AB03
2D003AB04
2D003BA01
2D003BA04
2D003BA06
2D003CA02
2D003DA04
2D003DB02
2D003DB03
2D003DB04
2D003DB05
2D015HA03
(57)【要約】
【課題】通信障害の発生を抑制することを目的とする。
【解決手段】管理装置と通信を行う作業機械であって、前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、検出された前記不安定領域を示す情報を出力する出力部と、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
管理装置と通信を行う作業機械であって、
前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、
前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、
検出された前記不安定領域を示す情報を出力する出力部と、を有する、作業機械。
【請求項2】
前記管理装置との通信は、前記作業機械の周辺に設置された無線アンテナを介した無線通信であって、
前記環境情報は、
前記無線アンテナが有する測位装置によって取得された情報を含む、請求項1記載の作業機械。
【請求項3】
前記環境情報は、前記作業機械の周辺に配置された障害物の位置を示す情報を含み、前記稼働情報は、前記作業機械の現在の位置を示す情報を含み、
前記不安定領域検出部は、
前記障害物又は前記作業機械の少なくとも何れか一方が移動した場合に、前記不安定領域を更新する、請求項1記載の作業機械。
【請求項4】
前記作業機械の前記不安定領域に対する侵入の兆候を検出した場合に、前記無線アンテナと前記作業機械との通信を中継する移動体に対して、前記移動体の移動先を示す目標位置を算出する位置算出部を有し、
前記出力部は、前記移動体に対して前記目標位置を含む移動指示を送信する、請求項2記載の作業機械。
【請求項5】
前記出力部は、
前記不安定領域を示す画像を、表示装置に表示させる、請求項1乃至4の何れか一項に記載の作業機械。
【請求項6】
作業機械と、前記作業機械と通信を行う管理装置と、を含む作業機械の管理システムであって、
前記管理装置は、
前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、
前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、
検出された前記不安定領域を示す情報を出力する出力部と、を有する、作業機械の管理システム。
【請求項7】
作業機械と通信を行う作業機械の管理装置であって、
前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、
前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、
検出された前記不安定領域を示す情報を出力する出力部と、を有する、作業機械の管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械、作業機械の管理システム、作業機械の管理装置に関する。
【背景技術】
【0002】
従来から、制御所と、制御所から離れた作業場所で作業する作業機械との間で無線通信を行って、制御所から作業機械を遠隔操作する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来の技術では、例えば、作業現場に障害物がある場合等には、通信障害が発生する可能性がある。
【0005】
本開示は、通信障害の発生を抑制することを目的とする。
【課題を解決するための手段】
【0006】
本発明の実施形態に係る作業機械は、管理装置と通信を行う作業機械であって、前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、検出された前記不安定領域を示す情報を出力する出力部と、を有する。
【0007】
本発明の実施形態に係る作業機械の管理システムは、作業機械と、前記作業機械と通信を行う管理装置と、を含む作業機械の管理システムであって、前記管理装置は、前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、検出された前記不安定領域を示す情報を出力する出力部と、を有する。
【0008】
本発明の実施形態に係る作業機械の管理装置は、作業機械と通信を行う作業機械の管理装置であって、前記作業機械の周辺の環境に関する環境情報と、前記作業機械の稼働状況を示す稼働情報とから、前記周辺の環境を再現した仮想空間を構築する仮想空間構築部と、前記仮想空間を用いたシミュレーションにより、前記管理装置との通信が不安定となる不安定領域を検出する不安定領域検出部と、検出された前記不安定領域を示す情報を出力する出力部と、を有する。
【発明の効果】
【0009】
通信障害の発生を抑制できる。
【図面の簡単な説明】
【0010】
【
図1】ショベルの管理システムのシステム構成の一例を示す図である。
【
図2】ショベルの管理システムの有する各装置のハードウェア構成を説明する図である。
【
図3】第一の実施形態の管理装置の機能構成を説明する図である。
【
図4】第一の実施形態の作業機械の管理システムの動作を説明する第一のシーケンス図である。
【
図5】第一の実施形態の作業機械の管理システムの動作を説明する図である。
【
図6】ショベルの表示装置の表示例を示す図である。
【
図8】第二の実施形態の作業機械の管理システムの動作を説明する図である。
【
図9】第二の実施形態の作業機械の管理システムの動作を説明するシーケンス図である。
【
図10】第三の実施形態の作業機械の管理システムの動作を説明する図である。
【
図11】第三の実施形態の管理装置の機能を説明する図である。
【
図12】第三の実施形態の作業機械の管理システムの動作を説明するシーケンス図である。
【発明を実施するための形態】
【0011】
(第一の実施形態)
以下に、図面を参照して、本実施形態のショベルの管理システムについて説明する。
図1は、ショベルの管理システムのシステム構成の一例を示す図である。本実施形態では、ショベル100を作業機械の一例として説明する。
【0012】
本実施形態のショベルの管理システムSYSは、ショベル100と、管理装置200と、を含む。以下の説明では、作業機械の管理システムSYSを、単に管理システムSYSと表現する。
【0013】
本実施形態の管理システムSYSにおいて、ショベル100と、管理装置200とは、無線アンテナ310を介した無線通信により接続される。なお、本実施形態の管理システムSYSでは、ショベル100と管理装置200の他に、ショベル100を支援する支援装置が含まれてもよい。また、無線アンテナ310は、管理システムSYSの一部として管理システムSYSに含まれてもよいし、含まれなくてもよい。
【0014】
本実施形態のショベル100は、作業機械の一例である。ショベル100は、自機の稼働状況を示す稼働情報を取得すると、無線アンテナ310を介して管理装置200に稼働情報を送信する。また、ショベル100は、無線アンテナ310を介して管理装置200から各種の情報を受信する。
【0015】
ショベル100の稼働情報とは、具体的には、自機の現在位置を示す位置情報、自機の向きを示す向き情報、自機の姿勢を示す姿勢情報、作業内容を示す作業内容情報、負荷率を記す負荷率情報、稼働時間の累積時間を示す累積時間情報、燃料噴射量を含む燃料情報、CO2排出量、作業量等を含む。
【0016】
無線アンテナ310は、通信機能を有し、ショベル100と管理装置200との間の無線通信を実現させる。無線通信は、例えば、規定「IMT-2020」を満足する無線通信であってよく、管理システムSYSは、第5世代移動通信システムであってよい。
【0017】
また、無線アンテナ310は、測位装置311を有する。測位装置311は、無線アンテナ310が設置された周辺の環境に関する環境情報を取得する。環境情報は、例えば、無線アンテナ310が設置された位置を示す情報、ショベル100による作業が行われる作業現場における障害物の有無を示す情報、障害物の位置を示す情報、作業現場の地形を示す情報等を含む。
【0018】
本実施形態の測位装置311は、例えば、GNSSコンパス、撮像装置、Lidar等であってよい。
【0019】
本実施形態の管理装置200は、無線アンテナ310を介して、ショベル100から、稼働情報を受信する。また、本実施形態の管理装置200は、無線アンテナ310から、作業現場の環境情報を受信する。
【0020】
そして、本実施形態の管理装置200は、稼働情報と、環境情報とを用いて、作業現場を再現した仮想空間を生成する。より具体的には、管理装置200は、物理空間(作業現場)にある情報として、稼働情報と環境情報とを収集し、収集した情報を元に仮想空間において、物理空間である作業現場を再現する。
【0021】
また、管理装置200は、再現された仮想空間において、ショベル100と管理装置200とが無線アンテナ310を介して通信を行う場合をシミュレーションすることで、作業現場における、ショベル100と管理装置200との間の通信が不安定となる領域を検出する。
【0022】
管理装置200は、仮想空間でのシミュレーションにより通信が不安定となる領域が検出されると、作業現場において、通信が不安定となる領域が存在することと、その領域の位置とをショベル100のオペレータに通知する。
【0023】
本実施形態では、このように、作業現場を再現した仮想空間内でシミュレーションを行うことで、物理空間である作業現場において、管理装置200とショベル100との間で通信が不安定となる領域を検出し、検出された領域をショベル100のオペレータに通知する。
【0024】
このため、ショベル100のオペレータは、通信が不安定となる領域への侵入を回避することができる。また、ショベル100が、通信が不安定となる領域内で作業を行っている場合には、ショベル100のオペレータは、管理装置200と通信を行う際に、通信が不安定となる領域外へ移動する等のように対策することができる。したがって、本実施形態によれば、通信障害の発生を抑制できる。
【0025】
なお、以下の説明では、ショベル100と管理装置200との間で通信が不安定となる領域を、不安定領域と表現する。
【0026】
また、
図1の例では、管理装置200は1台の情報処理装置により実現されるものとしたが、これに限定されない。管理装置200は、複数の情報処理装置により実現されてもよい。言い換えれば、管理装置200により実現される機能は、複数の情報処理装置により実現されてもよい。
【0027】
次に、本実施形態のショベル100の構成について説明する。
図1では、ショベル100の側面図を示す。
【0028】
ショベル100は、下部走行体1、旋回機構2、上部旋回体3を有する。ショベル100において、下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載されている。上部旋回体3にはブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられている。
【0029】
ブーム4、アーム5、バケット6は、アタッチメントの一例としての掘削アタッチメントを構成している。そして、ブーム4は、ブームシリンダ7により駆動され、アーム5は、アームシリンダ8により駆動され、バケット6は、バケットシリンダ9により駆動される。ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケット6にはバケット角度センサS3が取り付けられている。
【0030】
ブーム角度センサS1はブーム4の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサS1は加速度センサであり、上部旋回体3に対するブーム4の回動角度(以下、「ブーム角度」とする。)を検出できる。ブーム角度は、例えば、ブーム4を最も下げたときに最小角度となり、ブーム4を上げるにつれて大きくなる。
【0031】
アーム角度センサS2はアーム5の回動角度を検出するように構成されている。本実施形態では、アーム角度センサS2は加速度センサであり、ブーム4に対するアーム5の回動角度(以下、「アーム角度」とする。)を検出できる。アーム角度は、例えば、アーム5を最も閉じたときに最小角度となり、アーム5を開くにつれて大きくなる。
【0032】
バケット角度センサS3はバケット6の回動角度を検出するように構成されている。本実施形態では、バケット角度センサS3は加速度センサであり、アーム5に対するバケット6の回動角度(以下、「バケット角度」とする。)を検出できる。バケット角度は、例えば、バケット6を最も閉じたときに最小角度となり、バケット6を開くにつれて大きくなる。
【0033】
ブーム角度センサS1、アーム角度センサS2、及び、バケット角度センサS3はそれぞれ、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ、ジャイロセンサ、又は、加速度センサとジャイロセンサの組み合わせ等であってもよい。
【0034】
ブームシリンダ7にはブームロッド圧センサS7R及びブームボトム圧センサS7Bが取り付けられている。アームシリンダ8にはアームロッド圧センサS8R及びアームボトム圧センサS8Bが取り付けられている。
【0035】
バケットシリンダ9にはバケットロッド圧センサS9R及びバケットボトム圧センサS9Bが取り付けられている。ブームロッド圧センサS7R、ブームボトム圧センサS7B、アームロッド圧センサS8R、アームボトム圧センサS8B、バケットロッド圧センサS9R及びバケットボトム圧センサS9Bは、集合的に「シリンダ圧センサ」とも称される。
【0036】
ブームロッド圧センサS7Rはブームシリンダ7のロッド側油室の圧力(以下、「ブームロッド圧」とする。)を検出し、ブームボトム圧センサS7Bはブームシリンダ7のボトム側油室の圧力(以下、「ブームボトム圧」とする。)を検出する。アームロッド圧センサS8Rはアームシリンダ8のロッド側油室の圧力(以下、「アームロッド圧」とする。)を検出し、アームボトム圧センサS8Bはアームシリンダ8のボトム側油室の圧力(以下、「アームボトム圧」とする。)を検出する。
【0037】
バケットロッド圧センサS9Rはバケットシリンダ9のロッド側油室の圧力(以下、「バケットロッド圧」とする。)を検出し、バケットボトム圧センサS9Bはバケットシリンダ9のボトム側油室の圧力(以下、「バケットボトム圧」とする。)を検出する。
【0038】
上部旋回体3には運転室であるキャビン10が設けられ且つエンジン11等の動力源が搭載されている。また、エンジン11の排出機構の近傍には、CO2排出量を検出するためのセンサが設けられていてもよい。
【0039】
さらに、上部旋回体3には、コントローラ30、表示装置40、操作部42、音声出力装置43、記憶装置47、測位装置P1、機体傾斜センサS4、旋回角速度センサS5、撮像装置S6及び通信装置T1が取り付けられている。
【0040】
上部旋回体3には、電力を供給する蓄電部、及び、エンジン11の回転駆動力を用いて発電する電動発電機等が搭載されていてもよい。蓄電部は、例えば、キャパシタ、又は、リチウムイオン電池等である。電動発電機は、電動機として機能して機械負荷を駆動してもよく、発電機として機能して電気負荷に電力を供給してもよい。
【0041】
コントローラ30は、ショベル100の駆動制御を行う主制御部として機能する。本実施形態では、コントローラ30は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等を含むコンピュータで構成されている。コントローラ30の各種機能は、例えば、ROMに格納されたプログラムをCPUが実行することで実現される。各種機能は、例えば、オペレータによるショベル100の手動操作をガイド(案内)するマシンガイダンス機能、及び、オペレータによるショベル100の手動操作を自動的に支援するマシンコントロール機能の少なくとも1つを含んでいてもよい。
【0042】
表示装置40は、各種情報を表示するように構成されている。表示装置40は、CAN(Controller Area Network)等の通信ネットワークを介してコントローラ30に接続されていてもよく、専用線を介してコントローラ30に接続されていてもよい。
【0043】
操作部42は、オペレータが各種情報をコントローラ30に入力できるように構成されている。操作部42は、キャビン10内に設置されたタッチパネル、ノブスイッチ及びメンブレンスイッチ等の少なくとも1つを含む。
【0044】
音声出力装置43は、音声を出力するように構成されている。音声出力装置43は、例えば、コントローラ30に接続される車載スピーカであってもよく、ブザー等の警報器であってもよい。本実施形態では、音声出力装置43は、コントローラ30からの音声出力指令に応じて各種情報を音声出力するように構成されている。
【0045】
記憶装置47は、各種情報を記憶するように構成されている。記憶装置47は、例えば、半導体メモリ等の不揮発性記憶媒体である。記憶装置47は、ショベル100の動作中に各種機器が出力する情報を記憶してもよく、ショベル100の動作が開始される前に各種機器を介して取得する情報を記憶してもよい。
【0046】
測位装置P1は、上部旋回体3の位置を測定するように構成されている。測位装置P1は、上部旋回体3の向きを測定できるように構成されていてもよい。本実施形態では、測位装置P1は、例えばGNSSコンパスであり、上部旋回体3の位置及び向きを検出し、検出値をコントローラ30に対して出力する。そのため、測位装置P1は、上部旋回体3の向きを検出する向き検出装置としても機能し得る。向き検出装置は、上部旋回体3に取り付けられた方位センサであってもよい。
【0047】
機体傾斜センサS4は上部旋回体3の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサS4は仮想水平面に対する上部旋回体3の前後軸回りの前後傾斜角及び左右軸回りの左右傾斜角を検出する加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、ショベル100の旋回軸上の一点であるショベル中心点で互いに直交する。
【0048】
旋回角速度センサS5は、上部旋回体3の旋回角速度を検出するように構成されている。旋回角速度センサS5は、上部旋回体3の旋回角度を検出或いは算出するように構成されていてもよい。本実施形態では、旋回角速度センサS5は、ジャイロセンサである。旋回角速度センサS5は、レゾルバ、ロータリエンコーダ等であってもよい。
【0049】
撮像装置S6は、空間認識装置の一例であり、ショベル100の周辺の画像を取得するように構成されている。本実施形態では、撮像装置S6は、ショベル100の前方の空間を撮像する前カメラS6F、ショベル100の左方の空間を撮像する左カメラS6L、ショベル100の右方の空間を撮像する右カメラS6R、及び、ショベル100の後方の空間を撮像する後カメラS6Bを含む。
【0050】
撮像装置S6は、例えば、CCD又はCMOS等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置40に出力する。撮像装置S6は、ステレオカメラ、距離画像カメラ等であってもよい。また、撮像装置S6は、3次元距離画像センサ、超音波センサ、ミリ波レーダ、LIDAR又は赤外線センサ等の他の空間認識装置で置き換えられてもよく、他の空間認識装置とカメラとの組み合わせで置き換えられてもよい。
【0051】
前カメラS6Fは、例えば、キャビン10の天井、すなわちキャビン10の内部に取り付けられている。但し、前カメラS6Fは、キャビン10の屋根、ブーム4の側面等、キャビン10の外部に取り付けられていてもよい。左カメラS6Lは、上部旋回体3の上面左端に取り付けられ、右カメラS6Rは、上部旋回体3の上面右端に取り付けられ、後カメラS6Bは、上部旋回体3の上面後端に取り付けられている。
【0052】
通信装置T1は、無線アンテナ310を介して、ショベル100の外部にある外部機器との通信を制御するように構成されている。本実施形態では、通信装置T1は、衛星通信網、携帯電話通信網又はインターネット網等を介した外部機器との通信を制御する。外部機器は、例えば、3外部施設に設置されたサーバ等の管理装置200や、ショベル100の周囲の作業者が携帯しているスマートフォン等の支援装置である。
【0053】
次に
図2を参照し、管理システムSYSが有する各装置のハードウェア構成について説明する。
図2は、ショベルの管理システムの有する各装置のハードウェア構成を説明する図である。
【0054】
はじめに、ショベル100に搭載される基本システムについて説明する。
図2において、機械的動力伝達ラインは二重線、作動油ラインは太い実線、パイロットラインは破線、電力ラインは細い実線、電気制御ラインは一点鎖線でそれぞれ示されている。
【0055】
図2に示されるように、ショベル100の基本システムは、主に、エンジン11、メインポンプ14、パイロットポンプ15、コントロールバルブ17、操作装置26、操作圧センサ29、コントローラ30、切換弁60、表示装置40、エンジン回転数調整ダイヤル75、出力特性切換スイッチ76等を含む。
【0056】
エンジン11は、負荷の増減に関わらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン11における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジンコントロールユニット(ECU74)により制御される。
【0057】
エンジン11は、油圧ポンプとしてのメインポンプ14及びパイロットポンプ15のそれぞれに接続されている。メインポンプ14は、作動油ラインを介してコントロールバルブ17に接続されている。
【0058】
コントロールバルブ17は、ショベル100の油圧系の制御を行う油圧制御装置である。コントロールバルブ17は、左走行油圧モータ、右走行油圧モータ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、旋回油圧モータ等の油圧アクチュエータに接続されている。
【0059】
具体的には、コントロールバルブ17は、各油圧アクチュエータに対応する複数のスプール弁を含む。各スプール弁は、PCポートの開口面積及びCTポートの開口面積を増減できるように、パイロット圧に応じて変位可能に構成されている。PCポートは、メインポンプ14と油圧アクチュエータとを連通させるポートである。CTポートは、油圧アクチュエータと作動油タンクとを連通させるポートである。
【0060】
パイロットポンプ15は、パイロットラインを介して操作装置26に接続されている。操作装置26は、例えば、左操作レバー、右操作レバー、及び走行操作装置を含む。走行操作装置は、例えば、走行レバー及び走行ペダルを含む。本実施形態では、操作装置26のそれぞれは、油圧式操作装置であり、パイロットラインを介してコントロールバルブ17内にある対応するスプール弁のパイロットポートに接続されている。但し、操作装置26は、電気式操作装置であってもよい。
【0061】
操作圧センサ29は、操作装置26の操作内容を圧力の形で検出する。操作圧センサ29は、検出値をコントローラ30に対して出力する。但し、操作装置26の操作内容は、電気的に検出されてもよい。
【0062】
切換弁60は、操作装置26の有効状態と無効状態とを切り換えできるように構成されている。操作装置26の有効状態は、オペレータが操作装置26を用いて油圧アクチュエータを操作できる状態である。操作装置26の無効状態は、オペレータが操作装置26を用いて油圧アクチュエータを操作できない状態である。本実施形態では、切換弁60は、コントローラ30からの指令に応じて動作するように構成されているゲートロック弁である。
【0063】
具体的には、切換弁60は、パイロットポンプ15と操作装置26とを繋ぐパイロットラインに配置され、コントローラ30からの指令に応じてパイロットラインの遮断・連通を切り換えできるように構成されている。操作装置26は、例えば、ゲートロックレバーD4が引き上げられて切換弁60(ゲートロック弁)が開かれたときに有効状態となり、ゲートロックレバーD4が押し下げられて切換弁60(ゲートロック弁)が閉じられたときに無効状態となる。
【0064】
表示装置40は、各種の情報を表示するように構成されている。表示装置40は、CAN等の通信ネットワークを介してコントローラ30に接続されていてもよく、専用線を介してコントローラ30に接続されていてもよい。本実施形態では、表示装置40は、撮像装置S6が撮像した1又は2以上の撮像画像と、メニュー画面とを表示できるように構成されている。表示装置40は、蓄電池70から電力の供給を受けて動作する。表示装置40は、制御部40a、画像表示部41、及び操作部42を有する。
【0065】
制御部40aは、画像表示部41に表示される画像を制御する。本実施形態では、制御部40aは、CPU、RAM、NVRAM、ROM等を備えたコンピュータで構成されている。この場合、制御部40aは、各機能要素に対応するプログラムをROMから読み出してRAMに読み込み、対応する処理をCPUに実行させる。但し、各機能要素は、ハードウェアで構成されていてもよく、ソフトウェアとハードウェアの組み合わせで構成されていてもよい。また、画像表示部41に表示される画像は、コントローラ30又は撮像装置S6によって制御されてもよい。
【0066】
画像表示部41は、撮像装置S6の少なくとも1つが撮像した撮像画像とメニュー画面とを表示する。撮像画像は、例えば、後カメラS6Bが撮像した後方画像、左カメラS6Lが撮像した左方画像、右カメラS6Rが撮像した右方画像のうちのいずれかであってもよい。また、撮像画像は、例えば、後カメラS6B、左カメラS6L、及び右カメラS6Rによってそれぞれ撮像された撮像画像が合成された俯瞰画像であってもよい。また、撮像画像は、後方画像、左方画像、右方画像、及び俯瞰画像から選択される2以上の画像であってもよい。メニュー画面は、ショベル100の状態を示す状態画面、ショベル100の各種設定を示す設定画面を含む。
【0067】
操作部42は、ハードウェアスイッチを含むスイッチパネルである。操作部42は、タッチパネルであってもよい。本実施形態では、操作部42は、画像表示部41の下側に配置されており、画像表示部41が表示する画像を変更するためのスイッチ(例えば、メニュースイッチ)を含む。但し、操作部42の配置は、上記した例に限定されるものではなく、例えば、操作レバーに配置されてもよいし、運転席の左右両側のシート左側コンソール又はシート右側コンソールに配置されてもよい。ここで、表示装置40に設けられる操作部42に加えて、操作部42と同一の機能を有する運転席側操作部50が、操作レバー、シート左側コンソール、シート右側コンソールの内、少なくとも1つに配置されてもよい。
【0068】
本実施形態では、画像表示部41は、撮像装置S6が撮像した俯瞰画像FV及び後方画像CBTを表示している状態で操作部42のメニュースイッチが操作されると、メニュー画面を表示する。例えば、画像表示部41は、操作部42のメニュースイッチが操作される前後で俯瞰画像FVの大きさを変更することなく、後方画像CBTの大きさを縮小すると共に、メニュー詳細項目を選択する画面を表示する。そして、メニュー詳細項目を選択する画面が表示された状態で操作部42の所定のスイッチが操作されると、画像表示部41は、後方画像CBTを、ショベル100の状態を示す状態画面、ショベル100の各種設定を示す設定画面等のメニュー画面に切り換える。このとき、画像表示部41は、俯瞰画像FVの大きさを変更することなく維持した状態で表示する。
【0069】
また、画像表示部41は、ショベル100の操作が可能な状態及び操作が不能な状態のいずれであっても、操作部42のメニュースイッチが操作されるとメニュー画面を表示するように構成されていてよい。また、画像表示部41は、ショベル100の操作が不能の状態であるときに限り、操作部42のメニュースイッチが操作されるとメニュー画面を表示するように構成されていてもよい。
【0070】
また、例えば、切換スイッチ等の切換手段によって、これらが切換可能に構成されていてもよい。ショベル100の操作が可能な状態とは、例えば、ゲートロックレバーD4が引き上げられて切換弁60が開かれることで操作装置26が有効である状態である。ショベル100の操作が不能な状態とは、例えば、ゲートロックレバーD4が押し下げられて切換弁60が閉じられることで操作装置26が無効である状態である。
【0071】
蓄電池70は、例えば、オルタネータ11aで発電した電気で充電される。蓄電池70の電力は、コントローラ30等にも供給される。例えば、エンジン11のスタータ11bは、蓄電池70からの電力で駆動され、エンジン11を始動する。
【0072】
ECU74は、冷却水温等、エンジン11の状態に関するデータをコントローラ30に送信する。メインポンプ14のレギュレータ14aは、斜板傾転角に関するデータをコントローラ30に送信する。吐出圧センサ14bは、メインポンプ14の吐出圧に関するデータをコントローラ30に送信する。作動油タンクとメインポンプ14との間の管路に設けられた油温センサ14cは、その管路を流れる作動油の温度に関するデータをコントローラ30に送信する。操作圧センサ29は、操作装置26が操作されたときに生成されるパイロット圧に関するデータをコントローラ30に送信する。コントローラ30は一時記憶部(メモリ)にこれらのデータを蓄積しておき、必要なときに表示装置40に送信できる。
【0073】
エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルである。エンジン回転数調整ダイヤル75は、エンジン回転数の設定状態に関するデータをコントローラ30に送信する。エンジン回転数調整ダイヤル75は、SPモード、Hモード、Aモード及びIDLEモードの4段階でエンジン回転数を切り換えできるように構成されている。
【0074】
SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、2番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベル100を稼働させたい場合に選択される回転数モードであり、3番目に高いエンジン回転数を利用する。
【0075】
IDLEモードは、エンジン11をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードに対応するエンジン回転数で一定となるように制御される。エンジン回転数調整ダイヤル75には出力特性切換スイッチ76が設けられており、出力特性切換スイッチ76の押下によってショベル100の出力特性を切り換えることができる。出力特性切換スイッチ76では、例えば、エンジン出力トルク線図を変更させてもよいし、エンジン回転数調整ダイヤル75における各段階のエンジン回転数を所定値減少させてもよい。
【0076】
警報装置49は、ショベル100の作業に携わる人の注意を喚起するための装置である。警報装置49は、例えば、室内警報装置及び室外警報装置の組み合わせで構成される。室内警報装置は、キャビン10内にいるショベル100のオペレータの注意を喚起するための装置であり、例えば、キャビン10内に設けられた音出力装置、振動発生装置、及び発光装置の少なくとも1つを含む。室内警報装置は、表示装置40であってもよい。
【0077】
室外警報装置は、ショベル100の周囲で作業する作業者の注意を喚起するための装置であり、例えば、キャビン10の外に設けられた音出力装置及び発光装置の少なくとも1つを含む。室外警報装置としての音出力装置は、例えば、上部旋回体3の底面に取り付けられている走行アラーム装置を含む。また、室外警報装置は、上部旋回体3上に設けられる発光装置であってもよい。但し、室外警報装置は省略されてもよい。警報装置49は、例えば、物体検出装置として機能する撮像装置S6が所定物体を検出した場合に、ショベル100の作業に携わる人にその旨を報知してもよい。
【0078】
次に、本実施形態の管理装置200のハードウェア構成について説明する。本実施形態の管理装置200は、それぞれバスで相互に接続されているCPU(Central Processing Unit)201、記憶装置202、通信装置203、入力装置204、表示装置205を有するコンピュータである。
【0079】
CPU201は、管理装置200の全体の動作を制御する。記憶装置202は、CPU201が実行するプログラムや、ショベル100に関する種々の情報等が格納される。通信装置203は、ネットワークを経由して、ショベル100等と通信を行う。
【0080】
入力装置204は、管理装置200に対する情報の入力を行うためのものであり、例えば、キーボードやポインティングデバイス等によって実現される。表示装置205は、管理装置200から出力される各種の情報を表示するものであり、ディスプレイ等によって実現される。
【0081】
次に、
図3を参照して、本実施形態の管理装置200の機能構成について説明する。
図3は、第一の実施形態の管理装置の機能構成を説明する図である。
図3に示す各部は、記憶装置202に格納されたプログラムをCPU201が読み出して実行することで実現される。
【0082】
本実施形態の管理装置200は、情報取得部31、仮想空間構築部32、不安定領域検出部33、通知出力部34を有する。
【0083】
情報取得部31は、各種の情報を取得する。具体的には、情報取得部31は、ショベル100から送信される稼働情報を取得する。また、情報取得部31は、無線アンテナ310から送信される環境情報を取得する。
【0084】
情報取得部31が取得する稼働情報は、言い換えれば、ショベル100が有する各種センサでショベル100の内部状態を測定した結果であり、具体的には、例えば、圧力計、シリンダ変位センサ、IMU(Inertial Measurement Unit)の出力値を含んでよい。
【0085】
また、情報取得部31が取得する環境情報は、言い換えれば、無線アンテナ310が有する測位装置311の出力値を含んでよい。測位装置311の出力値とは、言い換えれば、GNSSコンパス、撮像装置、Lidar等の出力値である。
【0086】
仮想空間構築部32は、情報取得部31が取得した稼働情報と環境情報とに基づき、作業現場を再現した、3次元の仮想空間を構築する。
【0087】
不安定領域検出部33は、仮想空間構築部32により構築された仮想空間におけるシミュレーションを行い、作業現場における不安定領域を検出する。言い換えれば、不安定領域検出部33はし、作業現場を再現した仮想空間において、不安定領域を検出するためのシミュレーションを行う。
【0088】
本実施形態では、ショベル100と無線アンテナ310との間で通信が不安定になると、無線アンテナ310を介したショベル100と管理装置200との通信も不安定になる。したがって、本実施形態の不安定領域検出部33は、例えば、仮想空間を用いて、ショベル100と無線アンテナ310とが直線で結べなくなる領域を、不安定領域として検出してもよい。こうすることで、
【0089】
通知出力部34は、不安定領域検出部33が不安定領域を検出した場合に、不安定領域を示す通知を生成して出力する。通知の出力先は、ショベル100の表示装置40であってもよい。
【0090】
次に、
図4を参照して、本実施形態の管理システムSYSの動作について説明する。
図4は、第一の実施形態の作業機械の管理システムの動作を説明する第一のシーケンス図である。
【0091】
管理システムSYSにおいて、無線アンテナ310は、環境情報を管理装置200に送信する(ステップS401)。なお、本実施形態では、無線アンテナ310から環境情報を取得するものとしたが、これに限定されない。本実施形態の管理装置200は、環境情報を予め取得していてもよい。
【0092】
また、管理システムSYSにおいて、ショベル100は、管理装置200に対して稼働情報を送信する(ステップS402)。
【0093】
なお、無線アンテナ310とショベル100は、それぞれが任意のタイミングで環境情報と稼働情報とを管理装置200に送信してよい。また、無線アンテナ310が環境情報を管理装置200に送信するタイミングと、ショベル100が稼働情報を管理装置200に送信するタイミングとは、予め設定されていてよい。
【0094】
管理装置200は、環境情報と稼働情報とを受信すると、情報取得部31により、環境情報と稼働情報を取得し(ステップS403)、仮想空間構築部32により、作業現場300を再現した3次元の仮想空間を構築する(ステップS404)。
【0095】
続いて、管理装置200は、不安定領域検出部33により、作業現場における不安定領域を検出する(ステップS405)。
【0096】
具体的には、不安定領域検出部33は、仮想空間において、ショベル100を移動させていき、ショベル100と無線アンテナ310とが直線で結べない領域を検出する。言い換えれば、不安定領域検出部33は、仮想空間においてショベル100を移動させて、ショベル100と無線アンテナ310とを直線で結んだときに、直線が障害物によって遮られる領域を検出する。
【0097】
ステップS405において、不安定領域が検出された場合、管理装置200は、通知出力部34により、不安定領域が検出されたことを示す通知をショベル100に出力する(ステップS406)。ショベル100は、管理装置200から通知を受信すると、表示装置40に表示させる(ステップS407)。
【0098】
なお、管理装置200は、仮想空間において、不安定領域が検出されない場合には、そのまま処理を終了してもよいし、作業現場300に不安定領域が存在しないことを示す通知をショベル100に対して出力してもよい。
【0099】
また、本実施形態の管理システムSYSでは、一定時間毎に
図4に示す動作を行ってもよい。また、管理システムSYSでは、ショベル100の位置が変わる度に、
図4に示す処理が行われてもよい。言い換えれば、本実施形態の管理システムSYSでは、ショベル100が移動する度に、不安定領域が更新されてよい。このようにすれば、ショベル100の位置に応じて最新の不安定領域をオペレータに通知することができる。また、本実施形態では、管理装置200が各種の処理を行うため、ショベル100の処理負荷を増大させずに、不安定領域をオペレータに通知することができる。
【0100】
次に、
図5を参照して、本実施形態の管理装置200の動作を具体的に説明する。
図5は、第一の実施形態の作業機械の管理システムの動作を説明する図である。
【0101】
図5の例では、ショベル100が作業を行っている作業現場300に、無線アンテナ310と、障害物320とが配置されている場合を示している。また、
図5の例では、管理装置200は、作業現場300とは離れた場所に設置されていてよい。
【0102】
本実施形態の管理装置200は、情報取得部31により、無線アンテナ310の測位装置311から環境情報を取得し、ショベル100から稼働情報を取得する。
【0103】
作業現場300の環境情報は、作業現場300の地形、作業現場300に配置された障害物320の位置、障害物320の種類や材質を示す情報、作業現場300における無線通信において使用される電波の周波数帯域を示す情報、無線アンテナ310の指向性を示す情報、作業が行われた日の作業現場300の天候を示す情報等が含まれてよい。障害物320の種類や材質とは、例えば、障害物320が金属であるか否か、障害物320が木材であるか否か等を示す情報であってよい。
【0104】
本実施形態では、このように、ショベル100の作業現場300に設けられた無線アンテナ310により収集された環境情報を取得することで、作業現場300を再現する仮想空間を構築することができる。
【0105】
管理装置200は、仮想空間構築部32により、稼働情報と環境情報とに基づき、作業現場300を再現した仮想空間を生成する。
【0106】
また、管理装置200は、不安定領域検出部33により、作業現場300を再現した仮想空間において、ショベル100と管理装置200とが無線通信を行うことを想定したシミュレーションを行い、作業現場300における不安定領域を検出する。
【0107】
図5の例では、ショベル100が現在の矢印Y1方向に進み、領域350内に侵入すると、ショベル100と無線アンテナ310とが直線で結べなくなる。したがって、不安定領域検出部33は、領域350を不安定領域として検出する。
【0108】
なお、本実施形態の不安定領域検出部33は、上述した方法以外の方法で、不安定領域を検出してもよい。例えば、不安定領域検出部33は、環境情報に含まれる無線アンテナ310の指向性を示す情報、電波の周波数帯域を示す情報、障害物320の材質を示す情報等を用いて、ショベル100が作業現場300内を移動した場合の通信の可否をシミュレーションし、シミュレーション結果に応じて不安定領域を検出してもよい。
【0109】
管理装置200は、領域350が不安定領域であることが検出されると、通知出力部34により、領域350が不安定領域であることを示す通知を生成し、ショベル100の表示装置40に対して出力する。なお、通知出力部34は、例えば、ショベル100のオペレータが、拡張現実機能を有するAR(Augmented Reality)グラス340を装着している場合には、ショベル100の表示装置40が、管理装置200から受信した通知をARグラス340に転送してもよい。
【0110】
この場合、ARグラス340には、不安定領域の位置をオペレータに視認させるように、領域350を示す画像を、ARグラス340の有する表示部に表示させてよい。
【0111】
以下に、ショベル100の表示装置40の表示例について説明する。
図6は、ショベルの表示装置の表示例を示す図である。
図6に示す画像表示部41は、
図4のステップS407において、ショベル100に表示装置40に表示される画面の一例である。
【0112】
図6に示す表示装置40は、画像表示部41と、操作部42とを有する。画像表示部41は、各種の画像が表示される画面である。操作部42は、各種のメニュースイッチが含まれる。
【0113】
まず、画像表示部41について説明する。
図6示されるように、画像表示部41は、日時表示領域41a、走行モード表示領域41b、アタッチメント表示領域41c、燃費表示領域41d、エンジン制御状態表示領域41e、エンジン稼働時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、回転数モード表示領域41i、尿素水残量表示領域41j、作動油温表示領域41k、エアコン運転状態表示領域41m、画像表示領域41n、及びメニュー表示領域41pを含む。
【0114】
走行モード表示領域41b、アタッチメント表示領域41c、エンジン制御状態表示領域41e、回転数モード表示領域41i、及びエアコン運転状態表示領域41mは、ショベル100の設定状態に関する設定情報を表示する領域である。燃費表示領域41d、エンジン稼働時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、尿素水残量表示領域41j、及び作動油温表示領域41kは、ショベル100の稼動状態に関する稼働情報を表示する領域である。
【0115】
具体的には、日時表示領域41aは、現在の日時を表示する領域である。走行モード表示領域41bは、現在の走行モードを表示する領域である。アタッチメント表示領域41cは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域41dは、コントローラ30によって算出された燃費情報を表示する領域である。燃費表示領域41dは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域41d1、瞬間燃費を表示する瞬間燃費表示領域41d2を含む。
【0116】
エンジン制御状態表示領域41eは、エンジン11の制御状態を表示する領域である。エンジン稼働時間表示領域41fは、エンジン11の累積稼働時間を表示する領域である。冷却水温表示領域41gは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域41hは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。
【0117】
回転数モード表示領域41iは、エンジン回転数調整ダイヤル75によって設定された現在の回転数モードを画像で表示する領域である。尿素水残量表示領域41jは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域41kは、作動油タンク内の作動油の温度状態を表示する領域である。
【0118】
エアコン運転状態表示領域41mは、現在の吹出口の位置を表示する吹出口表示領域41m1、現在の運転モードを表示する運転モード表示領域41m2、現在の設定温度を表示する温度表示領域41m3、及び現在の設定風量を表示する風量表示領域41m4を含む。
【0119】
画像表示領域41nは、撮像装置S6が撮像した画像を表示する領域である。
図6の例では、画像表示領域41nは、検出された不安定領域を示す画像350Aを含む画像FV1及び後方画像CBTを表示している。
【0120】
画像FV1は、例えば、前カメラS6Fによって撮像された画像に、不安定領域を示す画像350Aを重畳した画像である。不安定領域を示す画像350Aは、例えば、作業現場300における領域350の位置を示す情報と、ショベル100の現在の位置を示す位置情報と、ショベル100の向きと、に基づき、通知出力部34により、AR画像として生成された画像である。
【0121】
また、画像表示領域41nは、上方に位置する第1画像表示領域41n1と下方に位置する第2画像表示領域41n2を有する。
図6の例では、不安定領域を示す画像350Aを含む画像FV1を第1画像表示領域41n1に配置し、且つ、後方画像CBTを第2画像表示領域41n2に配置している。但し、画像表示領域41nは、不安定領域を示す画像350Aを含む画像FV1を第2画像表示領域41n2に配置し、且つ、後方画像CBTを第1画像表示領域41n1に配置してもよい。
【0122】
また、画像表示領域41nでは、第1画像表示領域41n1に表示させる画像を、不安定領域を示す画像350Aを含む画像FV1から俯瞰画像へ、また、俯瞰画像から不安定領域を示す画像350Aを含む画像FV1へ、切り換えることができる。切り換えの操作は、操作部42の何れかのスイッチにより行われてもよい。
【0123】
本実施形態の俯瞰画像とは、例えば、コントローラ30や制御部40aによって生成される仮想視点画像であり、後カメラS6B、左カメラS6L、及び右カメラS6Rのそれぞれが取得した画像に基づいて生成される。
【0124】
また、
図6の例では不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像と後方画像CBTとは上下に隣接して配置されているが、間隔を空けて配置されていてもよい。また、
図6の例では、画像表示領域41nが縦長の領域であるが、画像表示領域41nは横長の領域であってもよい。
【0125】
画像表示領域41nが横長の領域である場合、画像表示領域41nは、左側に第1画像表示領域41n1として不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像を配置し、右側に第2画像表示領域41n2として後方画像CBTを配置してもよい。この場合、左右に間隔を空けて配置してもよいし、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像と、後方画像CBTと、の位置を入れ換えてもよい。
【0126】
さらに、本実施形態では、第1画像表示領域41n1と第2画像表示領域41n2のそれぞれに、アイコン画像41xが表示される。アイコン画像41xは、撮像装置S6の位置と上部旋回体3のアタッチメントの向きとの相対的関係を表す画像である。
【0127】
本実施形態のアイコン画像41xは、ショベル100の画像41xMと、ショベル100の前方を示す画像41xF、ショベル100の後方を示す画像41xB、を含む。また、アイコン画像41xは、ショベル100の左側を示す画像41xL、ショベル100の右側を示す画像41xR、キャビン10内を示す画像41xIを含む。
【0128】
画像41xF、41xB、41xL、41xR、41xIは、それぞれが、ショベル100の前方を撮像する前カメラS6F、ショベル100の後方を撮像する後カメラS6B、ショベル100の左方を撮像する左カメラS6L、ショベル100の右方を撮像する右カメラS6Rに対応している。また、画像41xIは、キャビン10内部のカメラに対応している。
【0129】
本実施形態では、アイコン画像41xにおいて、各カメラと対応付けられた画像が選択されると、選択された画像と対応するカメラによって撮像された画像データが画像表示領域41nに表示される。
【0130】
図6の例では、第1画像表示領域41n1では、画像41xFの表示態様が、画像41xB、41xL、41xR、画像41xIの表示態様と異なっている。このため、第1画像表示領域41n1には、画像41xFと対応する前カメラS6Fで撮像された画像データに基づく画像FV1が表示されていることがわかる。
【0131】
また、第2画像表示領域41n2では、画像41xBの表示態様が、画像41xF、41xL、41xR、41xIの表示態様と異なっている。このため、第2画像表示領域41n2には、画像41xBと対応する後カメラS6Bで撮像された画像データが示す画像が表示されていることがわかる。
【0132】
メニュー表示領域41pは、タブ41p1~41p7を有する。
図6の例では、画像表示部41の最下部に、タブ41p1~41p7が左右に互いに間隔を空けて配置されている。タブ41p1~41p7には、各種情報を表示するためのアイコン画像が表示される。
【0133】
タブ41p1には、メニュー詳細項目を表示するためのメニュー詳細項目アイコン画像が表示されている。オペレータによりタブ41p1が選択されると、タブ41p2~41p7に表示されているアイコン画像がメニュー詳細項目に関連付けされたアイコン画像に切り換わる。
【0134】
タブ41p4には、デジタル水準器に関する情報を表示するためのアイコン画像が表示されている。オペレータによりタブ41p4が選択されると、後方画像CBTがデジタル水準器に関する情報を示す画面に切り換わる。但し、後方画像CBTに重畳したり、後方画像CBTが縮小したりしてデジタル水準器に関する情報を示す画面が表示されてもよい。
【0135】
また、本実施形態では、俯瞰画像を表示させた際に、俯瞰画像がデジタル水準器に関する情報を示す画面に切り換わってもよく、俯瞰画像に重畳したり、俯瞰画像が縮小したりしてデジタル水準器に関する情報を示す画面が表示されてもよい。
【0136】
タブ41p5には、画像表示部41に表示されているメイン画面を積み込み作業画面に遷移させるためのアイコン画像が表示されている。オペレータにより、後述するタブ41p5と対応する操作部42が選択されると、画像表示部41に表示されたメイン画面が積み込み作業画面に遷移する。なお、このとき、画像表示領域41nは継続して表示され、メニュー表示領域41pが、積み込み作業に関する情報を表示させる領域に切り替わる。
【0137】
タブ41p6には、情報化施工に関する情報を表示するためのアイコン画像が表示されている。オペレータによりタブ41p6が選択されると、後方画像CBTが情報化施工に関する情報を示す画面に切り換わる。但し、後方画像CBTに重畳したり、後方画像CBTが縮小したりして情報化施工に関する情報を示す画面が表示されてもよい。また、俯瞰画像又は不安定領域を示す画像350Aを含む画像FV1が情報化施工に関する情報を示す画面に切り換わってもよく、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像に重畳したり、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像が縮小したりしてデジタル水準器に関する情報を示す画面が表示されてもよい。
【0138】
タブ41p7には、クレーンモードに関する情報を表示するためのアイコン画像が表示されている。オペレータによりタブ41p7が選択されると、後方画像CBTがクレーンモードに関する情報を示す画面に切り換わる。但し、後方画像CBTに重畳したり、後方画像CBTが縮小したりしてクレーンモードに関する情報を示す画面が表示されてもよい。
【0139】
また、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像がクレーンモードに関する情報を示す画面に切り換わってもよく、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像に重畳したり、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像が縮小したりしてクレーンモードに関する情報を示す画面が表示されてもよい。タブ41p2、41p3には、アイコン画像が表示されていない。このため、オペレータによりタブ41p2、41p3が操作されても、画像表示部41に表示される画像に変化は生じない。
【0140】
なお、タブ41p1~41p7に表示されるアイコン画像は上記した例に限定されるものではなく、他の情報を表示するためのアイコン画像が表示されていてもよい。
【0141】
次に、操作部42について説明する。
図6に示されるように、操作部42は、オペレータによるタブ41p1~41p7の選択、設定入力等が行われる1又は複数のボタン式のスイッチにより構成されている。
【0142】
図6の例では、操作部42は、上段に配置された7つのスイッチ42a1~42a7と、下段に配置された7つのスイッチ42b1~42b7と、を含む。スイッチ42b1~42b7は、スイッチ42a1~42a7のそれぞれの下方に配置されている。
【0143】
但し、操作部42のスイッチの数、形態、及び配置は、上記した例に限定されるものではなく、例えば、ジョグホイール、ジョグスイッチ等により複数のボタン式のスイッチの機能を1つにまとめた形態であってもよいし、操作部42が表示装置40と別体になっていてもよい。また、画像表示部41と操作部42が一体となったタッチパネルでタブ41p1~41p7を直接操作する方式でもよい。
【0144】
スイッチ42a1~42a7は、タブ41p1~41p7の下方に、それぞれタブ41p1~41p7に対応して配置されており、それぞれタブ41p1~41p7を選択するスイッチとして機能する。
【0145】
スイッチ42a1~42a7がそれぞれタブ41p1~41p7の下方に、それぞれタブ41p1~41p7に対応して配置されているので、オペレータは直感的にタブ41p1~41p7を選択できる。
【0146】
図6では、例えば、スイッチ42a1が操作されるとタブ41p1が選択されて、メニュー表示領域41pが1段表示から2段表示に変更されて第1メニューに対応するアイコン画像がタブ41p2~41p7に表示される。また、メニュー表示領域41pが1段表示から2段表示に変更されたことに対応して、後方画像CBTの大きさが縮小される。このとき、不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像の大きさは変更されることなく維持されるので、オペレータがショベル100の周囲を確認するときの視認性が悪化しない。
【0147】
また、制御部40aは、スイッチ42a5が操作されると、タブ41p5が選択されたものとし、画像表示部41の表示を積み込み作業画面に遷移させる。
【0148】
具体的には、制御部40aは、スイッチ42a5が操作されると、画像表示領域41nは維持したまま、メニュー表示領域41pを積み込み作業に関する情報を表示させる作業情報表示領域とする。
【0149】
このように、本実施形態では、積み込み作業画面においても、画像表示領域41nに継続して撮像画像が表示されるため、オペレータがショベル100の周囲を確認するときの視認性が悪化させない。
【0150】
スイッチ42b1は、画像表示領域41nに表示される撮像画像を切り換えるスイッチである。スイッチ42b1が操作されるごとに画像表示領域41nの第1画像表示領域41n1に表示される撮像画像が、例えば、後方画像、左方画像、右方画像、及び俯瞰画像の間で切り換わるように構成されている。
【0151】
また、スイッチ42b1が操作されるごとに画像表示領域41nの第2画像表示領域41n2に表示される撮像画像が、例えば、後方画像、左方画像、右方画像、及び俯瞰画像の間で切り換わるように構成されていてもよい。
【0152】
また、制御部40aは、スイッチ42b1の操作に応じて、アイコン画像41xにおける画像41xF、41xB、41xL、41xR、41xIの表示態様を変更してもよい。
【0153】
また、スイッチ42b1が操作されるごとに画像表示領域41nの第1画像表示領域41n1に表示される撮像画像と第2画像表示領域41n2に表示される撮像画像とが入れ換わるように構成されていてもよい。
【0154】
このように、操作部42としてのスイッチ42b1は、第1画像表示領域41n1又は第2画像表示領域41n2に表示される画面を切り換えてもよいし、第1画像表示領域41n1と第2画像表示領域41n2に表示される画面を切り換えてもよい。また、第2画像表示領域41n2に表示される画面を切り換えるためのスイッチを別に設けてもよい。
【0155】
スイッチ42b2、42b3は、エアコンの風量を調節するスイッチである。
図6の例では、スイッチ42b2が操作されるとエアコンの風量が小さくなり、スイッチ42b3が操作されるとエアコンの風量が大きくなるように構成されている。
【0156】
スイッチ42b4は、冷房・暖房機能のON・OFFを切り換えるスイッチである。
図6の例では、スイッチ42b4が操作されるごとに冷房・暖房機能のON・OFFが切り換わるように構成されている。
【0157】
スイッチ42b5、42b6は、エアコンの設定温度を調節するスイッチである。
図6の例では、スイッチ42b5が操作されると設定温度が低くなり、スイッチ42b6が操作されると設定温度が高くなるように構成されている。
【0158】
スイッチ42b7は、エンジン稼働時間表示領域41fの表示を切り換得るスイッチである。
【0159】
また、スイッチ42a2~42a6、42b2~42b6は、それぞれのスイッチ又はスイッチ近傍に表示された数字を入力可能に構成されている。また、スイッチ42a3、42a4、42a5、42b4は、メニュー画面にカーソルが表示された際、カーソルをそれぞれ左、上、右、下に移動させることが可能に構成されている。
【0160】
なお、スイッチ42a1~42a7、42b1~42b7に与えられる機能は一例であり、他の機能が実行できるように構成されていてもよい。
【0161】
このように、本実施形態では、画像表示領域41nに、不安定領域を示す画像350Aを含む画像FV1(又は俯瞰画像)及び後方画像CBTが表示されている状態で、タブ41p1が選択されると、これらの画像を表示した状態でタブ41p2~41p7にメニュー詳細項目が表示される。このため、オペレータは、不安定領域を示す画像350Aを含む画像FV1(又は俯瞰画像)及び後方画像CBTを確認しながら、メニュー詳細項目を確認できる。
【0162】
また、画像表示領域41nには、タブ41p1が選択される前後で大きさが変更されることなく不安定領域を示す画像350Aを含む画像FV1又は俯瞰画像が表示される。オペレータがショベル100の周囲を確認するときの視認性が悪化しない。
【0163】
以上のように、本実施形態では、不安定領域を示す画像350Aを含む画像FV1をショベル100の表示装置40に表示させることで、ショベル100のオペレータに対して、
不安定領域の存在を把握させることができる。
【0164】
また、本実施形態では、例えば、ショベル100が不安定領域に侵入しないように、コントローラ30によってショベル100の動作を制御してもよい。
【0165】
具体的には、例えば、コントローラ30は、ショベル100が向かって走行した場合に、不安定領域に侵入する前に走行を停止させることを指示する通知を、不安定領域を示す画像350Aと共に表示させてもよい。
【0166】
また、コントローラ30は、ショベル100が不安定領域に所定の距離以上近づいた場合に、ショベル100の動作を停止させてもよい。
【0167】
本実施形態では、このようにショベル100を制御することで、ショベル100が不安定領域に侵入することによる通信障害の発生を抑制できる。
【0168】
次に、
図7を参照して、不安定領域を示す画像がARグラス340に表示される場合について説明する。
図7は、ARグラスの表示例を示す図である。
【0169】
本実施形態のARグラス340は、ショベル100が不安定領域を示す通知を管理装置200から受信すると、不安定領域を示す画像350AをARグラス340の表示部341に表示させてよい。
【0170】
図7では、ARグラス340を単眼式とし、表示部341は、片目の前面に位置するレンズにディスプレイ機能を設けたものとした。
【0171】
表示部341には、不安定領域を示す画像350Aが表示されている。この不安定領域を示す画像350Aは、ARグラス340を装着しているオペレータの視界に重畳されて視認されるように表示される。
【0172】
具体的には、不安定領域を示す画像350Aは、表示部341において、オペレータが視認している障害物320と重なる位置に表示される。
【0173】
本実施形態では、このように、ARグラス340に不安定領域を示す画像を表示させることで、オペレータに対して、直感的に不安定領域の存在を把握させることができる。
【0174】
なお、本実施形態では、ARグラス340は単眼式でなくてもよい。また、ARグラス340をヘッドマウントディスプレイの一例であり、ヘッドマウントディスプレイには、網膜走査型のヘッドマウントディスプレイを含んでよい。
【0175】
(第二の実施形態)
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、ショベル100が遠隔操作される点と、障害物が移動する点が、第一の実施形態と相違する。以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0176】
図8は、第二の実施形態の作業機械の管理システムの動作を説明する図である。
図8では、ショベル100は、作業現場300から物理的に離れた場所に存在する遠隔操作室500において、遠隔操作される。
【0177】
また、
図8では、作業現場300において、ダンプトラック330が、矢印Y2方向に向かって走行するものとする。ダンプトラック330は、障害物の一例である。
【0178】
この場合、管理装置200の不安定領域検出部33は、ダンプトラック330の移動に応じて、即時的(リアルタイム)に不安定領域を更新してよい。
【0179】
図8において、ダンプトラック330が地点Pにあるときに検出された不安定領域が、領域360Aであったとする。この場合に、ダンプトラック330が矢印Y2方向に走行すると、管理装置200は、ダンプトラック330の移動に応じて、不安定領域の検出を再度行い、不安定領域を更新する。
図8では、ダンプトラック330の移動後の不安定領域は、領域360Bに更新される。
【0180】
なお、本実施形態では、障害物の位置が変わらずに、ショベル100の位置が変わった場合にも、不安定領域が更新されてよい。つまり、本実施形態では、障害物又はショベル100の少なくとも何れか一方が移動した場合に、不安定領域を更新してよい。
【0181】
本実施形態では、このように、作業現場300において障害物が移動する場合であっても、ショベル100と障害物320との位置関係に基づく不安定領域を検出することができる。また、ショベル100の位置に応じて最新の不安定領域をオペレータに通知することができる。
【0182】
また、本実施形態の管理装置200は、不安定領域が検出されると、不安定領域を示す通知を遠隔操作室500へ通知する。遠隔操作室500は、遠隔操作室500に設けられた表示装置等に、不安定領域を示す画像を表示させ、ショベル100の遠隔操作を行うオペレータに対して不安定領域を把握させる。
【0183】
以下に、
図9を参照して、本実施形態の管理システムSYSの動作について説明する。
図9は、第二の実施形態の作業機械の管理システムの動作を説明するシーケンス図である。
【0184】
図9のステップS901からステップS905の処理は、
図4のステップS401からステップS405の処理と同様であるから、説明を省略する。
【0185】
本実施形態の管理装置200は、不安定領域が検出されると、通知出力部34により、不安定領域が検出されたことを示す通知を遠隔操作室500に対して送信する(ステップS906)。遠隔操作室500は、管理装置200から通知を受信すると、表示装置に、不安定領域が検出されたことを示す通知を表示させる(ステップS907)。
【0186】
具体的には、遠隔操作室500では、検出された不安定領域を示す画像を表示装置に表示させてもよい。
【0187】
本実施形態では、このように、作業現場300において、障害物が移動する場合であっても、障害物の移動に応じて不安定領域を検出することができる。また、本実施形態によれば、ショベル100が遠隔操作されている場合であっても、遠隔操作を行っているオペレータに対して、不安定領域を把握させることができる。また、本実施形態によれば、本実施形態では、管理装置200が各種の処理を行うため、遠隔操作室500の制御装置の処理負荷を増大させずに、遠隔操作を行っているオペレータに対して、不安定領域を把握させることができる。
【0188】
したがって、本実施形態によれば、通信障害の発生を抑制することができる。
【0189】
また、本実施形態では、ダンプトラック330が自動制御によって、目標軌道に沿って移動する場合にも適用できる。この場合、管理装置200は、ダンプトラック330の目標軌道を示す軌道情報を取得し、目標軌道に基づき、作業現場300における不安定領域を予め予測してもよい。そして、管理装置200は、予測した結果を予め遠隔操作室500に対して通知してもよい。このようにすることで、例えば、ショベル100による作業の開始前に、不安定領域をオペレータに把握させることができ、作業効率の向上に貢献できる。
【0190】
(第三の実施形態)
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、ショベル100と無線アンテナ310との通信を中継する移動体400を有する点が、第一の実施形態と相違する。以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0191】
図10は、第三の実施形態の作業機械の管理システムの動作を説明する図である。
図10では、作業現場300に、通信機能を有する移動体400を配置し、ショベル100と無線アンテナ310との通信を中継させる。移動体400は、例えば、ドローン等の飛行体であってよいし、地上を移動するロボット等であってもよい。
【0192】
本実施形態の管理システムSYSにおいて、管理装置200Aは、作業現場300での障害物320とショベル100との位置関係に応じて移動体400を移動させ、ショベル100と管理装置200とに、移動体400を中継した通信を行わせる。
【0193】
図10の例では、作業現場300に障害物320が配置されている。この場合に、ショベル100が地点P11から地点P12に移動すると、作業現場300において、無線アンテナ310とショベル100とを直線で結ぶことができない不安定領域が形成される。
【0194】
そこで、本実施形態の管理装置200Aは、ショベル100が地点P11から地点P12に向かって移動を開始すると、地点P21に待機していた移動体400を、地点P22まで移動させ、無線アンテナ310とショベル100との間の通信を中継させる。
【0195】
言い換えれば、管理装置200Aは、ショベル100が不安定領域へ侵入する兆候を検出すると、地点P21に待機していた移動体400の目標位置を地点P22とし、移動体400を目標位置まで移動させ、無線アンテナ310とショベル100との間の通信を中継させる。
【0196】
このように、移動体400を地点P22に移動させ、ショベル100と無線アンテナ310との通信を、移動体400を中継して行わせることで、ショベル100は、不安定領域に含まれる地点P12においても、無線アンテナ310を介して管理装置200と安定した通信を行うことができる。つまり、本実施形態では、移動体400を中継ポイントとすることで、不安定領域を安定した通信を行うことができる領域に変えることができる。以下の説明では、安定した通信を行うことができる領域を安定領域と表現する場合がある。
【0197】
以下に、
図11を参照して、本実施形態の管理装置200Aの機能について説明する。
図11は、第三の実施形態の管理装置の機能を説明する図である。
【0198】
本実施形態の管理装置200Aは、情報取得部31、仮想空間構築部32、不安定領域検出部33、通知出力部34、位置算出部35を有する。
【0199】
本実施形態の位置算出部35は、ショベル100が不安定領域に侵入する兆候を検出すると、移動体400の移動先の位置を算出する。移動体400の移動先の位置とは、言い換えれば、移動体400の目標位置を示す3次元の座標であってよい。
【0200】
本実施形態の位置算出部35は、例えば、無線アンテナ310と移動体400、ショベル100と移動体400のそれぞれを直線で結ぶことができる位置を、移動体400の移動先の位置(目標位置)として算出してよい。
【0201】
より具体的には、位置算出部35は、無線アンテナ310と移動体400とを結ぶ直線と、ショベル100と移動体400とを結ぶ直線との合計が、最も短くなる位置を、移動体400の目標位置として算出してもよい。
【0202】
なお、位置算出部35による目標位置の算出方法は、上述した例に限定されない。位置算出部35は、例えば、予め与えられた評価関数等を用いて目標位置を算出してもよい。
【0203】
また、不安定領域に侵入する兆候とは、ショベル100が不安定領域に向かって走行を開始することであってもよいし、ショベル100から不安定領域までの距離が所定の距離未満となることであってもよい。
【0204】
次に、
図12を参照して、本実施形態の管理システムSYSの動作について説明する。
図12は、第三の実施形態の作業機械の管理システムの動作を説明するシーケンス図である。
【0205】
図12のステップS1201からステップS1205までの処理は、
図4のステップS401からステップS405までの処理と同様であるから、説明を省略する。
【0206】
本実施形態の管理装置200Aにおいて、位置算出部35は、ショベル100が不安定領域に侵入する兆候を検出すると、移動体400の移動先を特定する(ステップS1206)。言い換えれば、位置算出部35は、移動体400の目標位置を示す3次元座標を算出する。
【0207】
続いて、管理装置200Aは、通知出力部34により、移動体400に対して移動先への移動指示を出力する(ステップS1207)。この移動指示には、目標位置を示す3次元座標が含まれてよい。
【0208】
移動体400は、移動指示を受け付けると、移動指示に含まれる3次元座標が示す目標位置に移動する(ステップS1208)。
【0209】
このように、本実施形態によれば、ショベル100が不安定領域に侵入する兆候が検出された場合に、移動体400を中継ポイントとすることで、ショベル100の位置に応じて不安定領域を安定領域に変えることができる。また、本実施形態では、管理装置200において各種の処理を行うため、ショベル100の処理負荷を増大させずに、ショベル100の位置に応じて不安定領域を安定領域に変えることができる。
【0210】
また、本実施形態では、ショベル100が自動制御されていてよい。この場合、管理装置200Aは、ショベル100の目標軌道を示す情報を予め取得しておき、ショベル100の目標軌道に基づいて、常にショベル100と無線アンテナ310との間で安定した通信が行われるように、移動体400の位置を制御する。
【0211】
このようにすることで、作業現場300には、不安定領域が発生することがなく、通信障害の発生を抑制できる。
【0212】
なお、上述した各実施形態で説明した管理装置200の機能は、ショベル100のコントローラ30に設けられていてもよい。
【0213】
その場合、ショベル100は、管理装置200として機能することができる。つまり、ショベル100のコントローラ30は、自機の稼働情報と、無線アンテナ310から送信される環境情報とを取得して、作業現場300を再現した仮想空間を構築し、仮想空間においてシミュレーションを行うことで、不安定領域を検出する。そして、コントローラ30は、不安定領域を検出した場合には、表示装置40やARグラス340に、不安定領域を検出したことを示す情報を通知する。
【0214】
また、コントローラ30は、ショベル100が不安定領域に侵入する兆候を検出すると、移動体400の目標位置を算出し、移動体400に対して目標位置までの移動指示を出力してよい。
【0215】
このように、ショベル100のコントローラ30に、上述した管理装置200の機能を設けることで、ショベル100は管理装置200と通信を行う必要がなくなる。したがって、ショベル100のコントローラ30に、上述した管理装置200の機能を設けることで、上述した各実施形態が有する効果に加えて、さらに、ショベル100の通信の負荷を低減することができる。
【0216】
また、上述した各実施形態では、ショベル100を作業機械の一例としたが、作業機械はショベル100に限定されない。作業機械は、例えば、フォークリフトやクレーン等のように、アタッチメントを有するものであればよい。
【0217】
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
【符号の説明】
【0218】
1 下部走行体
2 旋回機構
3 上部旋回体
4 ブーム
5 アーム
6 バケット
30 コントローラ
31 情報取得部
32 仮想空間構築部
33 不安定領域検出部
34 通知出力部
35 位置算出部
100 ショベル
200 管理装置
310 無線アンテナ
400 移動体