特開 2024-95377 ショベル、遠隔制御システム、及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095377

(43)【公開日】2024-07-10

(54)【発明の名称】ショベル、遠隔制御システム、及び表示装置

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240703BHJP

   E02F 9/20 20060101ALI20240703BHJP

   G06F 3/04817 20220101ALI20240703BHJP

   G05D 1/43 20240101ALN20240703BHJP

【ＦＩ】

E02F9/26 B

E02F9/20 N

E02F9/20 Q

G06F3/04817

G05D1/02 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022212639

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】原 孝介

【テーマコード（参考）】

2D003

2D015

5E555

5H301

【Ｆターム（参考）】

2D003AA01

2D003AB04

2D003AC09

2D003BA03

2D003BA04

2D003BA06

2D003DA04

2D003DB04

2D003DB05

2D003FA02

2D015HA03

5E555AA09

5E555AA16

5E555BA23

5E555BB23

5E555BC01

5E555CA12

5E555CA41

5E555CA42

5E555CA44

5E555CB12

5E555CB33

5E555CB34

5E555CB78

5E555CC01

5E555CC03

5E555DB18

5E555DB39

5E555DB56

5E555DC09

5E555DC13

5E555DD06

5E555EA22

5E555FA00

5H301AA03

5H301AA10

5H301BB02

5H301CC03

5H301CC06

5H301DD06

5H301DD15

5H301GG07

5H301GG08

5H301QQ04

(57)【要約】

【課題】操作負担を軽減する。
【解決手段】一態様に係るショベルは、下部走行体と、下部走行体に旋回自在の搭載される上部旋回体と、上部旋回体に取り付けられるアタッチメントと、当該ショベルの周囲に存在する物体を検出可能な周辺監視装置と、少なくともアタッチメントを移動させる自律制御が可能な制御装置と、周辺監視装置によって取得された情報に基づいて、自律制御に関するアイコン画像を表示する表示装置と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

下部走行体と、
前記下部走行体に旋回自在の搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
当該ショベルの周囲に存在する物体を検出可能な周辺監視装置と、
少なくとも前記アタッチメントを移動させる自律制御が可能な制御装置と、
前記周辺監視装置によって取得された情報に基づいて、前記自律制御に関するアイコン画像を表示する表示装置と、
を備えるショベル。

【請求項2】

前記表示装置は、前記周辺監視装置によって取得された情報に、前記ショベルの周辺に存在する運搬車両が検出されたことが含まれている場合に、当該運搬車両に対する前記自律制御を行うための前記アイコン画像を表示する、
請求項１に記載のショベル。

【請求項3】

前記表示装置は、前記周辺監視装置によって取得された情報に基づいて、第１の前記アイコン画像を表示する際に、第１の前記アイコン画像で示される第１の自律制御に関連する第２の自律制御を行うための第２の前記アイコン画像を表示する、
請求項１に記載のショベル。

【請求項4】

前記表示装置が前記アイコン画像を複数表示した後、複数の前記アイコン画像の間を関連付ける操作を受け付け可能に構成されている、
請求項１に記載のショベル。

【請求項5】

前記制御装置は、複数の前記アイコン画像を関連付ける操作を受け付けた場合に、関連付けられた複数の前記アイコン画像で示される各々の前記自律制御を、関連付けられた順序に従って行うように構成されている、
請求項４に記載のショベル。

【請求項6】

前記表示装置は、前記アイコン画像が選択された場合に、前記アイコン画像が示す前記自律制御の対象を設定するための画面を表示するように構成されている、
請求項１に記載のショベル。

【請求項7】

前記表示装置は、前記ショベルを用いて施工させる操作が行われた場合に、当該施工を継続する前記自律制御を行うための前記アイコン画像を表示する、
請求項１に記載のショベル。

【請求項8】

前記表示装置は、前記周辺監視装置が前記ショベルによって行われた施工を検出した場合に、当該施工を継続する前記自律制御を行うための前記アイコン画像を表示する、
請求項１に記載のショベル。

【請求項9】

ショベルと、当該ショベルを通信可能な通信端末と、を備えたショベルの遠隔制御システムであって、
前記ショベルは、
下部走行体と、
前記下部走行体に旋回自在の搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
当該ショベルの周囲に存在する物体を検出可能な周辺監視装置と、
前記上部旋回体に取り付けられる周辺監視装置と、
前記アタッチメントを移動させる自律制御が可能な制御装置と、
前記周辺監視装置によって取得された情報を送信する通信装置と、を備え、
前記通信端末は、
受信した前記情報に基づいて、前記自律制御に関するアイコン画像を表示する表示装置を備えている、
遠隔制御システム。

【請求項10】

ショベルに設けられた周辺監視装置によって取得された情報に基づいて、前記ショベルのアタッチメントを移動させる自律制御に関するアイコン画像を表示するように構成されている、
表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ショベル、遠隔制御システム、及び表示装置に関する。

【背景技術】

【0002】

近年、ショベルによる作業を支援するための技術が提案されている。例えば、ショベル動作を自動化する技術等が提案されている（特許文献１参照）。特許文献１に記載されている技術では、複数のアイコン画像を設定画面に表示し、設定画面からアイコン画像が決定された場合に、当該アイコン画像と対応付けられた動作を、自律制御機能で行わせる技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１５７４１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された技術は、作業機械の周囲に存在する物体を考慮していない。このため、周囲に存在する物体を考慮して、自動制御機能で作業機械に動作を行わせるためには、複数のアイコン画像から適切なアイコン画像を決定する。このため、作業機械が作業を行う環境が変化した場合に、再びアイコン画像を決定する必要がある。

【0005】

上述に鑑み、本開示の技術は、周辺監視装置によって取得された情報に基づいて自律制御に関するアイコン画像を表示することで、ユーザの操作負担を軽減する。

【課題を解決するための手段】

【0006】

本発明の一態様に係るショベルは、下部走行体と、下部走行体に旋回自在の搭載される上部旋回体と、上部旋回体に取り付けられるアタッチメントと、当該ショベルの周囲に存在する物体を検出可能な周辺監視装置と、少なくともアタッチメントを移動させる自律制御が可能な制御装置と、周辺監視装置によって取得された情報に基づいて、自律制御に関するアイコン画像を表示する表示装置と、を備える。

【発明の効果】

【0007】

本発明の一態様によれば、周辺監視装置によって取得された情報に基づいて自律制御に関するアイコン画像を表示することで、ユーザの操作の負担を軽減する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係るショベル（掘削機）を示す側面図である。

【図2】図２は、第１の実施形態に係るショベルの駆動系の構成例を示すブロック図である。

【図3】図３は、第１の実施形態に係るショベルのコントローラの構成例を示す機能ブロック図である。

【図4】図４は、第１の実施形態に係る表示装置に表示される初期の設定画面を例示した図である。

【図5】図５は、第１の実施形態に係る入力受付部がアイコンメニューの押下を受け付けた場合に、表示装置により表示される設定画面を例示した図である。

【図6】図６は、第１の実施形態に係る入力受付部が環境認識ボタンの押下を受け付けた場合に表示装置により表示される設定画面を例示した図である。

【図7】図７は、第１の実施形態に係る入力受付部がトラック認識アイコンの押下を受け付けた場合に、表示装置により表示される設定画面を例示した図である。

【図8】図８は、第１の実施形態に係る入力受付部が掘削アイコンの押下を受け付けた場合に、表示装置により表示される設定画面を例示した図である。

【図9】図９は、第１の実施形態に係る入力受付部が環境認識ボタンの押下を受け付けた場合に、表示装置により表示される設定画面を例示した図である。

【図10】図１０は、第１の実施形態に係る入力受付部が排土アイコンの押下を受け付けた場合に表示装置により表示される設定画面を例示した図である。

【図11】図１１は、第１の実施形態に係るオペ操作記録ボタンが押下された場合に表示装置に表示される設定画面の変化を示した図である。

【図12】図１２は、第１の実施形態に係る表示装置に表示された設定画面に対して設定された複数のアイコン画像を例示した図である。

【図13】図１３は、第２の実施形態に係る遠隔操作システムの一例を示す概要図である。

【図14】図１４は、第２の実施形態に係る遠隔操作システムにおいて、ショベルの自律制御を設定するための処理の流れを示したシーケンス図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る建設機械としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

【0011】

ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。

【0012】

ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。

【0013】

ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。

【0014】

アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。

【0015】

バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。

【0016】

なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。

【0017】

旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、ロータリエンコーダ等の他のセンサで構成されていてもよい。

【0018】

上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置Ｓ５、空間認識装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。

【0019】

エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。

【0020】

測位装置Ｓ５は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置Ｓ５は、ＧＮＳＳ（Global Navigation Satellite System）コンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。取得する位置及び向きは、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そして、Ｚ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。

【0021】

空間認識装置（周辺監視装置の一例）Ｃ１は、ショベル１００の周囲の空間の状態を認識するように構成されている。空間認識装置Ｃ１は、ショベル１００の後方の空間の検知を行う後方空間認識装置Ｃ１Ｂ、ショベル１００の左方の空間の検知を行う左方空間認識装置Ｃ１Ｌ、ショベル１００の右方の空間の検知を行う右方空間認識装置Ｃ１Ｒ、及び、ショベル１００の前方の空間の検知を行う前方空間認識装置Ｃ１Ｆを含む。

【0022】

空間認識装置Ｃ１は、ショベル１００の周辺に存在する物体を検出するためにＬＩＤＡＲを用いてもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、距離画像カメラ、又はミリ波レーダなどの測距装置を用いてもよい。空間認識装置Ｃ１としてミリ波レーダ等が利用される場合には、空間認識装置Ｃ１から多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。

【0023】

後方空間認識装置Ｃ１Ｂは、上部旋回体３の上面の後端に取り付けられる。左方空間認識装置Ｃ１Ｌは、上部旋回体３の上面の左端に取り付けられる。右方空間認識装置Ｃ１Ｒは、上部旋回体３の上面の右端に取り付けられる。前方空間認識装置Ｃ１Ｆは、キャビン１０の上面の前端に取り付けられる。

【0024】

通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。

【0025】

コントローラ３０は、各種演算を実行する演算装置である。コントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。

【0026】

図２は、図１のショベル１００の駆動制御系の構成例を示す図である。図２において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。

【0027】

本実施形態に係るショベル１００の駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７を含む。また、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６のそれぞれを油圧駆動する走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。

【0028】

エンジン１１は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。

【0029】

レギュレータ１３は、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。

【0030】

メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０による制御下で、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

【0031】

コントロールバルブ１７は、ショベル１００における油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブ１７は、制御弁１７１～１７６を含む。コントロールバルブ１７は、制御弁１７１～１７６を通じ、メインポンプ１４が吐出する作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁１７１～１７６は、例えば、メインポンプ１４から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行油圧モータ１Ｌ、１Ｒ、及び旋回油圧モータ２Ａを含む。より具体的には、制御弁１７１は、左走行油圧モータ１Ｌに対応し、制御弁１７２は、右走行油圧モータ１Ｒに対応し、制御弁１７３は、旋回油圧モータ２Ａに対応する。また、制御弁１７４は、バケットシリンダ９に対応し、制御弁１７５は、ブームシリンダ７に対応し、制御弁１７６は、アームシリンダ８に対応する。

【0032】

パイロットポンプ１５は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、作動油ラインを介して作動油をコントロールバルブ１７に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ１５は、省略されてもよい。

【0033】

操作装置２６は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。

【0034】

吐出圧センサ２８は、メインポンプ１４の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ２８は、検出した値をコントローラ３０に対して出力する。

【0035】

操作センサ２９は、操作装置２６を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をコントローラ３０に対して出力する。本実施形態では、コントローラ３０は、操作センサ２９の出力に応じて比例弁３１の開口面積を制御する。そして、コントローラ３０は、パイロットポンプ１５が吐出する作動油を、コントロールバルブ１７内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力（パイロット圧）は、原則として、油圧アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量に応じた圧力である。このように、操作装置２６は、パイロットポンプ１５が吐出する作動油を、コントロールバルブ１７内の対応する制御弁のパイロットポートに供給できるように構成されている。

【0036】

マシンコントロール用制御弁として機能する比例弁３１は、パイロットポンプ１５とコントロールバルブ１７内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、コントローラ３０が出力する制御指令に応じて動作する。

【0037】

本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。

【0038】

コントローラ３０は、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブ１７内の制御弁のパイロットポートに供給できる。つまり、コントローラ３０は、操作装置２６に対応する油圧アクチュエータを動作させることができる。

【0039】

従って、コントローラ３０は、操作装置２６からの操作に応じて、又は、操作者による操作装置２６の操作とは無関係に、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。さらには、コントローラ３０は、外部の通信端末から受信した操作信号に応じて、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。

【0040】

また、コントローラ３０は、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。

【0041】

また、コントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能に関する制御を行ってもよい。また、コントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作を自動的に支援するマシンコントロール機能に関する制御を行ってもよい。

【0042】

なお、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ（制御装置）により実現されてもよい。

【0043】

表示装置Ｄ１は、コントローラ３０と信号線で接続され、コントローラ３０からの指令に応じて各種画像情報を出力する。本実施形態では、表示装置Ｄ１は、コントローラ３０に直接接続される車載液晶ディスプレイである。

【0044】

表示装置Ｄ１の表示領域には、タッチパネルＤ１１が設けられている。タッチパネルＤ１１は、操作者の部位が接した位置を示した信号を、コントローラ３０に送信する。タッチパネルＤ１１は、操作者からの操作を受け付け可能な操作部として機能し、表示装置Ｄ１に表示されたアイコン画像等の選択を受け付けることができる。

【0045】

＜コントローラのブロック構成＞
ショベル１００に搭載されているコントローラ３０が有する機能について説明する。図３は、本実施形態に係るショベル１００のコントローラ３０の構成例を示す機能ブロック図である。

【0046】

コントローラ３０の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、コントローラ３０のＣＰＵにて実行されるプログラムにて実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。図３に示すように、コントローラ３０は、取得部３０１と、表示制御部３０２と、入力受付部３０３と、制御部３０４と、通信制御部３０５と、を備える。

【0047】

取得部３０１は、ショベル１００内の各種構成の信号を取得する。例えば、取得部３０１は、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３の各々から角度の測定結果を取得する。さらには、取得部３０１は、旋回角速度センサＳ４から上部旋回体３の旋回角の測定結果を取得する。

【0048】

取得部３０１は、測位装置Ｓ５から、ショベル１００の現在位置の緯度、経度、及び高度、並びにショベル１００の向きを示した測定結果を取得する。

【0049】

さらに、取得部３０１は、空間認識装置Ｃ１からショベル１００の周辺に存在する物体の検出結果を取得する。例えば、取得部３０１は、空間認識装置Ｃ１により検出されたダンプトラック、ショベル１００により施工が行われた土砂の形状などの情報を取得する。

【0050】

表示制御部３０２は、表示装置Ｄ１に情報を表示するための制御を行う。例えば、表示制御部３０２は、ショベル１００が自律制御を行うための設定画面を、表示装置Ｄ１に表示する。

【0051】

入力受付部３０３は、タッチパネルＤ１１を介して設定画面に対して入力される操作を受け付ける。

【0052】

例えば、入力受付部３０３は、ショベル１００に周囲の環境を検出するための操作を受け付ける。入力受付部３０３が当該操作を受け付けた場合に、取得部３０１が、空間認識装置Ｃ１からショベル１００の周囲の環境の検出結果を示した情報を取得し、表示制御部３０２は、取得した情報に基づいて、ショベル１００の周囲に存在する物体に関連するアイコン画像を、設定画面に表示する。

【0053】

これにより、表示装置Ｄ１は、空間認識装置Ｃ１によって取得された情報に基づいて、ショベル１００に自律制御を行わせるためのアイコン画像を、設定画面に表示する。具体的な設定画面については後述する。

【0054】

さらに、入力受付部３０３は、設定画面に表示されたアイコン画像に対する操作を受け付ける。これにより、ショベル１００が自律制御をするための処理手順が設定される。

【0055】

制御部３０４は、設定画面に表示されたアイコン画像に対して行われた操作に基づいた処理手順に応じて、ショベル１００の自律制御を行う。

【0056】

例えば、制御部３０４は、処理手順に従ってバケット６を移動させるために、アタッチメントを動作させるためのシリンダ（例えば、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９）の制御を行う。

【0057】

通信制御部３０５は、通信装置Ｔ１を介して、外部の装置に対する情報の送信、及び外部装置からの情報の受信を行う。例えば、通信制御部３０５は、ショベル１００の自律制御を設定するために、外部の装置との間で通信してもよい。

【0058】

＜自律制御を行わせるための画面の例＞
本実施形態に係る表示装置Ｄ１が表示する画面について説明する。図４は、本実施形態に係る表示装置Ｄ１に表示される初期の設定画面を例示した図である。

【0059】

図４に示される初期の設定画面では、アイコンメニュー１４０１と、接続ボタン１４０２と、環境認識ボタン１４０３と、オペ操作記録ボタン１４０４と、作業開始ボタン１４０５とが表示される。また、設定画面には、作業領域１４１０が表示される。作業領域１４１０には、ショベル１００の自律制御の設定を行うためのアイコン画像等が表示される。次に、アイコンメニュー１４０１、接続ボタン１４０２、環境認識ボタン１４０３、オペ操作記録ボタン１４０４、及び作業開始ボタン１４０５について順に説明する。

【0060】

アイコンメニュー１４０１は、操作者が押下可能なメニューボタンであって、作業領域１４１０に表示されるアイコン画像を選択するためのメニュー画面を表示する。

【0061】

図５は、入力受付部３０３がアイコンメニュー１４０１の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。図５に示されるように、表示制御部３０２は、アイコンメニュー１４０１の押下に基づいて、アイコン選択画面１５００を、表示装置Ｄ１に表示する。

【0062】

アイコン選択画面１５００には、選択可能な複数のアイコン画像が配置されている。図５に示される例では、トラック認識アイコン１５０１と、掘削アイコン１５０２と、排土アイコン１５０３と、法面形成アイコン１５０４と、が表示されている。入力受付部３０３が、タッチパネルＤ１１を介して、表示されているアイコン画像のうちいずれか一つ以上の選択を受け付けた場合に、表示制御部３０２が、選択されたアイコン画像を、作業領域１４１０に表示する。

【0063】

トラック認識アイコン１５０１は、ショベル１００の周囲にダンプトラック（運搬車両の一例）を認識し、当該ダンプトラックが存在する領域を設定するためのアイコン画像とする。

【0064】

掘削アイコン１５０２は、ショベル１００が自律制御で掘削を行うためのアイコン画像とする。

【0065】

排土アイコン１５０３は、ショベル１００が自律制御で排土を行うためのアイコン画像とする。

【0066】

法面形成アイコン１５０４は、ショベル１００が自律制御で法面を形成するためのアイコン画像とする。

【0067】

図４に戻り、接続ボタン１４０２は、操作者が押下可能なボタンであって、作業領域１４１０に表示される複数のアイコン画像の間を接続する際に用いられる。接続ボタン１４０２の押下を受け付けた場合に、表示制御部３０２は、アイコン画像の間を接続するためのツールの選択画面を表示してもよい。そして、入力受付部３０３は、当該ツールを用いて、アイコン画像又は後述するグループの間を接続する操作を受け付ける。アイコン画像の間の接続手法としては、例えば矢印を用いて接続する。本実施形態では、複数の画像の間を矢印で接続することで、複数の自律制御の関連付け、及び複数の自律制御において実行する順序の設定が可能となる。

【0068】

このように、入力受付部３０３は、接続するためのツールに基づいた、複数の自律制御を関連付ける設定、及びショベル１００が行う自律制御の順序の設定を受け付けることができる。

【0069】

例えば、操作者が、アイコンメニュー１４０１の押下で表示されたアイコン選択画面１５００から複数のアイコン画像を選択した場合に、表示制御部３０２は、作業領域１４１０に選択された複数のアイコン画像を表示する。そして、操作者が、複数のアイコン画像の間を矢印によって接続する操作を行った場合に、制御部３０４は、複数のアイコン画像で示された複数の自律制御を、矢印で示された順序に従って実行できる。

【0070】

環境認識ボタン１４０３は、操作者が押下可能なボタンであって、空間認識装置Ｃ１によって取得された情報に基づいて、自律制御を行うためのアイコン画像を自動的に表示する。

【0071】

本実施形態においては、上述したアイコンメニュー１４０１からアイコン画像の選択することで自律制御の設定を行うことができる。しかしながら、ショベル１００が作業する環境が変化する毎に、アイコンメニュー１４０１からアイコン画像の選択するのは、操作者の負担が大きい。

【0072】

そこで、本実施形態の設定画面には、環境認識ボタン１４０３を配置する。入力受付部３０３が、環境認識ボタン１４０３の押下を受け付けた場合に、表示制御部３０２が、ショベル１００の周囲の環境に対応したアイコン画像を、表示装置Ｄ１に自動的に表示する。

【0073】

図６は、入力受付部３０３が環境認識ボタン１４０３の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。図６に示されるように、表示制御部３０２は、環境認識ボタン１４０３の押下に基づいて、トラック認識アイコン１６０１と掘削アイコン１６０２と排土アイコン１６０３とを表示した上で、テキスト欄１６０４を、表示装置Ｄ１に表示する。

【0074】

つまり、図６に示される設定画面は、空間認識装置Ｃ１がショベル１００の周辺にダンプトラック（運搬車両の一例）を検出した場合とする。取得部３０１が空間認識装置Ｃ１から取得した情報に、ショベル１００の周辺にダンプトラックが存在することが含まれている場合、表示制御部３０２は、トラック認識アイコン１６０１を、表示装置Ｄ１に表示する。さらに、表示制御部３０２は、自律制御でダンプトラックに排土するための排土アイコン１６０３を表示する。本実施形態では、空間認識装置Ｃ１の検知結果に対応してトラック認識アイコン１６０１が表示されるので、設定負担を軽減できる。

【0075】

さらに、表示制御部３０２は、排土アイコン１６０３を表示する際に、排土アイコン１６０３（第１のアイコン画像の一例）で示される排土の自律制御（第１の自律制御の一例）に関連する掘削の自律制御（第２の自律制御の一例）を行うための掘削アイコン１６０２（第２のアイコン画像の一例）を、表示装置Ｄ１に表示する。つまり、排土するためには掘削が必要なので、表示装置Ｄ１は、排土アイコン１６０３と共に掘削アイコン１６０２を表示する。なお、自律制御に基づいたアイコン画像間（例えば、排土アイコンと掘削アイコン）の関連付けは予め行われているものとする。

【0076】

このように、表示装置Ｄ１は、検出された物体に関連するアイコン画像のみならず、当該アイコン画像に関連する自律制御のアイコン画像を表示する。このため、操作者がショベル１００に自律制御を行わせるための設定の負担を軽減できる。さらには、ショベル１００に自律制御を行わせるために複数のアイコン画像を組み合わせる必要がある場合、操作者は、自律制御を行わせるために、どのアイコン画像が必要か考える必要がある。本実施形態においては、自動的に複数のアイコン画像が表示されるので、習熟していない操作者であっても、設定を容易に行うことができる。

【0077】

トラック認識アイコン１６０１から排土アイコン１６０３までの矢印、及び掘削アイコン１６０２から排土アイコン１６０３までの矢印は、表示制御部３０２がトラック認識アイコン１６０１と掘削アイコン１６０２と排土アイコン１６０３を表示する際に自動的に設定されてもよい。また、接続ボタン１４０２の押下に応じて接続されたものでもよい。

【0078】

なお、図６に示される設定画面に表示されたトラック認識アイコン１６０１、掘削アイコン１６０２、及び排土アイコン１６０３は、表示が確定した状態ではない。

【0079】

入力受付部３０３が、テキスト欄１６０４に示される「トラックに土砂を積み込みますか？」に対して"ｙｅｓ"の押下を受け付けた場合に、トラック認識アイコン１６０１、掘削アイコン１６０２、及び排土アイコン１６０３の表示が確定する。入力受付部３０３が、"ｎｏ"の押下を受け付けた場合に、トラック認識アイコン１６０１、掘削アイコン１６０２、及び排土アイコン１６０３が非表示となる。

【0080】

図７は、図６に示される設定画面で"ｙｅｓ"の押下を受け付けた後、トラック認識アイコン１６０１の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。

【0081】

図７に示されるように、本実施形態に係る表示装置Ｄ１は、トラック認識アイコン１６０１が選択された場合に、ダンプトラックが存在する領域を設定するための領域設定画面１７０１を表示する。

【0082】

領域設定画面１７０１では、ショベル１００の位置を示したショベルアイコン１７１１を基準として、空間認識装置Ｃ１により検出されたダンプトラックが存在する領域１７１２が表されている。操作者は、領域設定画面１７０１を参照することで、空間認識装置Ｃ１により検出されたダンプトラックの領域１７１２が適切か否かを判断できる。領域１７１２にダンプトラックが存在しない場合、入力受付部３０３は、タッチパネルＤ１１を介して、領域１７１２を変更する操作を受け付ける。操作は、タッチパネルＤ１１に対する任意の操作でよく、例えばドラッグ操作等であってもよい。

【0083】

設定ボタン１７０２は、領域設定画面１７０１に表された領域１７１２にダンプトラックが存在している旨を設定するためのボタンとする。設定ボタン１７０２が押下された場合に、領域１７１２にダンプトラックが存在している旨設定される。トラック認識アイコン１６０１が排土アイコン１６０３と矢印で接続されている場合、ダンプトラックが存在している領域１７１２が排土先として設定される。

【0084】

キャンセルボタン１７０３は、領域設定画面１７０１の領域１７１２に対して行われた操作をキャンセルするためのボタンとする。

【0085】

図８は、図６に示される設定画面で"ｙｅｓ"の押下を受け付けた後、掘削アイコン１６０２の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。

【0086】

図８に示されるように、本実施形態に係る表示装置Ｄ１は、掘削アイコン１６０２の選択を受け付けた場合に、掘削アイコン１６０２に対応する掘削対象となる領域を設定するための設定画面１８０１を表示する。なお、図８は、掘削対象となる領域の設定に制限するものではなく、自律制御の対象を設定するための設定画面であればよい。本実施形態では、自律制御の対象を具体的に設定できるので、ショベル１００に対して適切に自律制御を行わせることができる。

【0087】

設定画面１８０１では、ショベル１００の位置を示したショベルアイコン１８１２を基準として、掘削対象とする領域１８１１が表されている。領域１８１１は、操作者からの操作に従って設定される。例えば、入力受付部３０３は、タッチパネルＤ１１を介して、領域１８１１を設定する操作を受け付ける。操作は、タッチパネルＤ１１に対する任意の操作でよく、例えば領域１８１１の拡大又は縮小するためのピンチイン、ピンチアウト操作等であってもよい。

【0088】

掘削アイコン１６０２が押下された際に、取得部３０１が、空間認識装置Ｃ１による計測結果に基づいてショベル１００の周囲の土砂状況を取得し、当該土砂状況に応じて掘削対象となる領域など最適な掘削パラメータを自動的に生成してもよい。これにより、操作者は、掘削開始位置など細かい設定をしなくてもよいので、操作負担を軽減できる。

【0089】

設定ボタン１８０２は、設定画面１８０１に表されている領域１８１１を、掘削対象として設定するためのボタンとする。入力受付部３０３が、設定ボタン１８０２の押下を受け付けた場合に、領域１８１１が掘削対象として設定される。

【0090】

キャンセルボタン１８０３は、設定画面１８０１の領域１８１１を設定するために行われた操作をキャンセルするためのボタンとする。

【0091】

図６～図８は、環境認識ボタン１４０３の押下を受け付けた場合に、ショベル１００の周辺にダンプトラックが検出された場合に表示される設定画面である。環境認識ボタン１４０３の押下を受け付けた際に、ショベル１００の周辺の環境が異なる場合、表示装置Ｄ１には、異なるアイコン画像が表示される。次に、環境認識ボタン１４０３の押下を受け付けた際に、ショベル１００の周辺に法面が検出された場合について説明する。

【0092】

図９は、入力受付部３０３が環境認識ボタン１４０３の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。図９に示されるように、表示制御部３０２は、環境認識ボタン１４０３の押下に基づいて、法面掘削アイコン１９０１と、排土アイコン１９０２とを表示した上で、法面掘削アイコン１９０１の設定画面１９０３とテキスト欄１９０４とを、表示装置Ｄ１に表示する。

【0093】

図９に示される設定画面は、空間認識装置Ｃ１がショベル１００の周辺に法面を検出した場合とする。つまり、取得部３０１が空間認識装置Ｃ１から取得した情報に、ショベル１００の周辺に法面（土砂上に形成された平面）が存在することが含まれている場合、表示制御部３０２は、法面掘削アイコン１９０１を、表示装置Ｄ１に表示する。さらに、表示制御部３０２は、法面掘削アイコン１９０１の設定画面１９０３を表示する。設定画面１９０３には、検出された法面を表す領域１９１１と、法面の施工対象となる領域１９１２とが表される。

【0094】

つまり、取得部３０１が取得した情報に、空間認識装置Ｃ１の測定結果に法面を検出した旨が含まれていた場合に、表示制御部３０２は、当該法面の形成を継続する自律制御を行うための法面掘削アイコン１９０１を、表示装置Ｄ１に表示する。法面の検出は、周知の手法を問わず、どのような手法を用いてよい。例えば、土砂の表面のうち、略平面となっている領域が所定の面積以上検出された場合に、法面が検出されたと判断してもよい。略平面の所定の面積以上の領域を検出するためのアルゴリズムとしては、例えば、ＲＡＮＳＡＣ(Random Sample Consensus)を用いることが考えられる。なお、本実施形態は、空間認識装置Ｃ１の測定結果に基づいて表示されるアイコン画像を、法面掘削アイコン１９０１に制限するものではなく、空間認識装置Ｃ１の測定結果に基づいて検出された施工を継続する自律制御を行うためのアイコン画像であればよい。本実施形態では、検出された施工を自動で継続させることができるので、施工するための操作、及び自律制御を行わせるための設定の負担を軽減できる。

【0095】

つまり、空間認識装置Ｃ１の測定結果では、土砂で形成された面において、法面を表す領域１９１１と、法面が形成されていない領域１９１２と、が含まれている。このため、取得部３０１は、取得した情報に基づいて、法面が形成されていない領域１９１２に対して、法面を表す領域１９１１と同様の法面掘削を行うと推定し、表示制御部３０２が法面掘削アイコン１９０１を表示する。

【0096】

さらに、表示制御部３０２は、法面掘削アイコン１９０１を表示する際に、法面掘削アイコン１９０１（第１のアイコン画像の一例）で示される法面掘削の自律制御（第１の自律制御の一例）に関連する排土の自律制御（第２の自律制御の一例）を行うための排土アイコン１９０２（第２のアイコン画像の一例）を、表示装置Ｄ１に表示する。つまり、法面掘削された土砂を排土する必要があるので、表示装置Ｄ１には、法面掘削アイコン１９０１と共に排土アイコン１９０２が表示される。本実施形態においては、表示装置Ｄ１には、検出された物体に関連するアイコン画像のみならず、表示されたアイコン画像に関連する自律制御のアイコン画像が表示されるので、操作者がショベル１００に自律制御を行わせるための操作負担を軽減できる。

【0097】

法面掘削アイコン１９０１から排土アイコン１９０２までの矢印は、表示制御部３０２が法面掘削アイコン１９０１と排土アイコン１９０２とを表示する際に自動的に設定されてもよい。また、接続ボタン１４０２の押下に応じて接続されたものでもよい。

【0098】

なお、図９に示される設定画面に表示された法面掘削アイコン１９０１及び排土アイコン１９０２は、表示が確定した状態ではない。

【0099】

入力受付部３０３が、テキスト欄１９０４に示される「同じ面を延長しますか？」に対して"ｙｅｓ"の押下を受け付けた場合に、法面掘削アイコン１９０１及び排土アイコン１９０２の表示が確定する。入力受付部３０３が、"ｎｏ"の押下を受け付けた場合に、法面掘削アイコン１９０１及び排土アイコン１９０２が非表示となる。

【0100】

図１０は、図９に示される設定画面で"ｙｅｓ"の押下を受け付けた後、排土アイコン１９０２の押下を受け付けた場合に、表示装置Ｄ１により表示される設定画面を例示した図である。図１０に示される設定画面では、排土の領域設定画面２００１が表示される。

【0101】

図１０に示されるように、本実施形態に係る表示装置Ｄ１は、排土アイコン１９０２が選択された場合に、排土アイコン１９０２に対応する排土先を設定するための領域設定画面２００１を表示する。

【0102】

領域設定画面２００１では、ショベル１００の位置を示したショベルアイコン２０１１を基準として、空間認識装置Ｃ１により検出された土砂が積み上げられた領域２０１２Ａと共に、当該領域２０１２Ａに基づいて自動的に定められた土砂の排土先となる領域２０１２が表されている。操作者は、領域２０１２が排土先として適切か否かを判断できる。領域２０１２が排土先として誤っている場合、入力受付部３０３は、タッチパネルＤ１１を介して、領域２０１２を変更する操作を受け付ける。操作は、タッチパネルＤ１１に対する任意の操作でよく、例えばドラッグ操作等であってもよい。

【0103】

設定ボタン２００２は、領域設定画面２００１に表されている領域２０１２を、排土先として設定するためのボタンとする。設定ボタン２００２が押下された場合に、領域２０１２が排土先として設定される。

【0104】

キャンセルボタン２００３は、領域設定画面２００１の領域２０１２に対して行われた操作をキャンセルするためのボタンとする。

【0105】

本実施形態は、環境認識ボタン１４０３が押下された場合に表示されるアイコン画像の例として、空間認識装置Ｃ１がダンプトラックを検出した場合、及び空間認識装置Ｃ１が法面を検出した場合について説明した。しかしながら、本実施形態は、環境認識ボタン１４０３が押下された場合に表示されるアイコン画像を、上述した例に制限するものではない。空間認識装置Ｃ１が検出した物体に応じて様々なアイコン画像を表示してもよい。

【0106】

図４に戻り、本実施形態の設定画面には、オペ操作記録ボタン１４０４が配置されている。入力受付部３０３が、オペ操作記録ボタン１４０４の押下を受け付けた場合に、表示制御部３０２が、操作者に行われた操作を記録し、当該操作に対応する自律制御を行うためのアイコン画像を、表示装置Ｄ１に表示する。次に、オペ操作記録ボタン１４０４の押下を受け付けた場合の設定画面の変化について説明する。

【0107】

図１１は、本実施形態に係るオペ操作記録ボタン１４０４が押下された場合の設定画面の変化を示した図である。

【0108】

図１１に示される設定画面２１０１は、初期に表示される画面である。入力受付部３０３は、当該設定画面２１０１において、オペ操作記録ボタン１４０４の押下を受け付ける。

【0109】

図１１に示される設定画面２１０２は、オペ操作記録ボタン１４０４の押下を受け付けた場合に表示される。設定画面２１０２では、記録中であることを示す表示欄２１２１が表示される。

【0110】

取得部３０１は、表示欄２１２１が表示されている間、操作センサ２９から、操作装置２６を用いた操作者の操作内容を取得し、当該操作内容に基づいてショベル１００が行った作業を推定する。

【0111】

そして、入力受付部３０３が、表示欄２１２１に表されている記録終了ボタン２１２２の押下を受け付けた場合に、取得部３０１による操作者の操作内容の取得が終了し、表示制御部３０２は、推定された作業に対応するアイコン画像を表示する。

【0112】

図１１に示される設定画面２１０３は、記録終了ボタン２１２２の押下を受け付けた場合に表示される。設定画面２１０３では、推定された作業に対応するアイコン画像として、整地アイコン２１３１が表示される。

【0113】

図１１に示される設定画面２１０３は、取得部３０１が取得した操作内容に基づいて、整地作業が行われたと推定した場合とする。そして、取得部３０１により整地作業が行われたと推定された場合、表示制御部３０２は、整地アイコン２１３１を、表示装置Ｄ１に表示する。さらに、表示制御部３０２は、整地アイコン２１３１の設定画面２１３２を表示する。設定画面２１３２には、ショベル１００の位置を示したショベルアイコン２１３３を基準として、整地された領域２１３４が表される。

【0114】

取得部３０１は、空間認識装置Ｃ１の測定結果から、領域２１３４以外の領域が整地されていないことを検出している。そこで、表示制御部３０２は、ショベル１００に整地の自律制御させるためのテキスト欄２１３５を表示する。入力受付部３０３が、テキスト欄２１３５に示される「周囲の領域も自動整地しますか？」に対して"ｙｅｓ"の押下を受け付けた場合に、整地アイコン２１３１の表示が確定する。入力受付部３０３が、"ｎｏ"の押下を受け付けた場合に、整地アイコン２１３１が非表示となる。

【0115】

なお、設定画面２１３２では、操作者は、タッチパネルＤ１１を介して、整地対象となる領域を入力してもよい。その後、設定ボタン２１３６の押下が行われた場合に、操作者に入力された整地対象となる領域が確定する。キャンセルボタン２１３７の押下が行われた場合に、操作者に入力された整地対象となる領域がキャンセルされる。

【0116】

このように、表示装置Ｄ１は、オペ操作記録ボタン１４０４の押下を受け付けた後、ショベル１００を用いて整地させる操作が行われた場合に、整地を継続する自律制御を行うための整地アイコン２１３１を表示する。なお、操作者が行った操作に基づいて、施工の種類を判別する手法は、周知の手法を問わず、あらゆる手法を用いてよい。整地作業の判別手法としては、例えば、取得部３０１が、空間認識装置Ｃ１から測定結果を取得し、測定結果で表される周囲の地形に対して、平面との一致度合いを算出し、平面に対する一致度合いが向上した場合に整地作業とみなす手法を用いてもよい。本実施形態では、操作者によって行われた施工をショベル１００が引き継いで自律制御を行うことができるので、施工するための操作、及び自律制御を行わせるための設定の負担を軽減できる。

【0117】

本実施形態は、オペ操作記録ボタン１４０４の押下された場合に整地アイコン２１３１を表示するまでの手順について説明した。本実施形態は、オペ操作記録ボタン１４０４の押下された場合に表示されるアイコン画像の一例を示したものであって、操作者が行った操作に対応する施工が継続する自律制御を示したアイコン画像が表示されればよい。

【0118】

図４～図１１に示されるように、本実施形態の設定画面には、作業開始ボタン１４０５が配置されている。入力受付部３０３が、作業開始ボタン１４０５の押下を受け付けた場合に、制御部３０４が、設定画面で設定されたアイコン画像の組み合わせに基づいて、自律制御を開始する。

【0119】

本実施形態において設定画面においては、様々なアイコン画像を組み合わせて、複数の自律制御を所定の手順に従って実行されるように設定できる。

【0120】

図１２は、表示装置Ｄ１に表示された設定画面に対して設定された複数のアイコン画像を例示した図である。図１２で示される設定画面２２０１は、説明を容易にするために、一画面に全てのアイコン画像が表示されているものとする。

【0121】

図１２に示される設定画面２２０１では、自律制御を行うための複数のアイコン画像がグループ化して登録されている。設定画面２２０１では、グループ２２０２と、グループ２２０３と、が登録されている。

【0122】

グループ２２０２内のトラック認識アイコン２２２１、掘削アイコン２２２２、及び排土アイコン２２２３は、上述したトラック認識アイコン１６０１、掘削アイコン１６０２、及び排土アイコン１６０３と同様として説明を省略する。さらに、グループ２２０２には詳細設定ボタン２２２４が表示されている。

【0123】

詳細設定ボタン２２２４は、グループ２２０２に関する自律制御の設定を行うためのボタンとする。例えば、詳細設定ボタン２２２４は、グループ２２０２で定義された自律制御を一回のみ行うか、繰り返し行うかの設定を行うことができる。つまり、操作者は、詳細設定ボタン２２２４に対する操作を行うことで、ショベル１００が、掘削アイコン１６０２及び排土アイコン１６０３に基づいた、自律制御を一回のみ行う、又は繰り返し行うかを切り替えることができる。

【0124】

グループ２２０３内の法面掘削アイコン２２３１、及び排土アイコン２２３２は、上述した法面掘削アイコン１９０１、排土アイコン１９０２と同様として説明を省略する。さらに、グループ２２０３には詳細設定ボタン２２３３が表示されている。

【0125】

詳細設定ボタン２２３３は、グループ２２０３に関する自律制御の設定を行うためのボタンとする。例えば、詳細設定ボタン２２３３は、グループ２２０３で定義された自律制御を一回のみ行うか、繰り返し行うかの設定を行うことができる。

【0126】

さらに、設定画面２２０１には、移動アイコン２２５１と、自動給油／充電アイコン２２５２と、移動アイコン２２５３と、が表示される。

【0127】

移動アイコン２２５１は、グループ２２０２で定義された施工を行う位置と、自動給油又は自動充電を行うステーションとの間の経路と共に、当該経路に沿って移動するための自律制御が設定されたアイコン画像とする。

【0128】

自動給油／充電アイコン２２５２は、ショベル１００が自動給油又は自動充電するためのアイコン画像とする。

【0129】

移動アイコン２２５３は、グループ２２０２で定義された施工を行う位置と、グループ２２０３で定義された施工を行う位置と、の間の経路と共に、当該経路に沿って移動するための自律制御が設定されたアイコン画像とする。

【0130】

移動アイコン２２５３の経路は、入力受付部３０３が、経路設定画面２２６１から受け付けてもよい。経路設定画面２２６１には、ショベル１００の作業場所を示した地図データを表示してもよい。入力受付部３０３は、タッチパネルＤ１１を介して、地図データから経路の入力を受け付ける。

【0131】

本実施形態においては、グループ２２０２、２２０３と、アイコン画像（移動アイコン２２５１、自動給油／充電アイコン２２５２、及び移動アイコン２２５３）と、の間で自律制御を切り替えるために矢印アイコンが設定される。

【0132】

つまり、本実施形態では、表示装置Ｄ１の設定画面に、アイコン画像を複数表示した後、入力受付部３０３は、接続ボタン１４０２の押下をトリガーとして、複数のアイコン画像の間を矢印アイコン等によって関連付ける操作を受け付ける。

【0133】

図１２に示される設定画面２２０１では、矢印アイコン２２４１、矢印アイコン２２４２、矢印アイコン２２４３、及び矢印アイコン２２４４が、接続ボタン１４０２の押下に応じて設定される。なお、矢印アイコン２２４１、矢印アイコン２２４２は、双方向の矢印であり、自律制御を双方向に遷移させることができる。また、矢印アイコン２２４３、矢印アイコン２２４４は、一方向の矢印であり、自律制御を一方向に遷移させることができる。

【0134】

本実施形態においては、矢印アイコンごとに、自律制御を遷移させるための条件を設定できる。

【0135】

例えば、グループ２２０２で示された自律制御から、燃料又はバッテリが無くなってきた場合に給油又は充電を行うために、矢印アイコン２２４１、及び矢印アイコン２２４２が設定される。その際に、操作者は、矢印アイコン２２４１に対して、バッテリ又は燃料が少なくなったことを条件として設定できる。

【0136】

例えば、入力受付部３０３は、矢印アイコン２２４１を配置する際に、燃料又はＳＯＣが所定の基準（例えば２０％）以下という条件の入力を受け付ける。

【0137】

これにより、制御部３０４は、ショベル１００の燃料又はＳＯＣが第１の基準（例えば２０％）以下になった場合に、グループ２２０２から移動アイコン２２５１で示された自律による移動制御に遷移させる。そして、制御部３０４は、移動アイコン２２５１で示された経路に沿って、自動給油又は自動充電を行うステーションまで自律による移動制御を行う。その後、制御部３０４は、自動給油／充電アイコン２２５２で示されたショベル１００が自動給油又は自動充電を行う。

【0138】

操作者は、設定画面２２０１において、自動給油又は自動充電が完了した後、ショベル１００が再び施工を開始するような条件を設定できる。

【0139】

例えば、入力受付部３０３は、矢印アイコン２２４２を配置する際に、燃料又はＳＯＣが第２の基準（例えば１００％）以上という条件の入力を受け付ける。

【0140】

これにより、制御部３０４は、ショベル１００の燃料又はＳＯＣが第２基準（例えば１００％）以上になった場合に、自動給油／充電アイコン２２５２で示された自動給油又は自動充電から、移動アイコン２２５１で示された移動制御に遷移し、移動アイコン２２５１で設定された経路に沿って、グループ２２０２で定義された施工を行う位置まで移動する自律制御を行う。

【0141】

操作者は、設定画面２２０１において、グループ２２０２で示された掘削及び排土による自律制御が終了した後、別の施工に移るための条件を設定できる。

【0142】

例えば、入力受付部３０３は、矢印アイコン２２４３を配置する際に、グループ２２０２で示された作業完了という条件の入力を受け付ける。

【0143】

これにより、制御部３０４は、グループ２２０２で示された作業が完了した場合に、移動アイコン２２５３で示された移動制御に遷移し、移動アイコン２２５３で設定された経路に沿って、グループ２２０３で定義された施工を行う位置まで移動する自律制御を行う。

【0144】

このように、本実施形態においては、入力受付部３０３が、矢印アイコンによって複数のアイコン画像間及びグループ間を関連付ける操作を受け付けた場合に、制御部３０４は、関連付けられた複数のアイコン画像及びグループで示される各々の自律制御を、関連付けられた順序に従って自律制御を行うように構成されている。

【0145】

本実施形態においては、コントローラ３０が、上述した設定画面でアイコン画像を接続する操作を受け付けることで、ショベル１００が行う作業の手順をプログラミングすることが可能なユーザインタフェースを提供できる。

【0146】

（第１の実施形態の変形例１）
第１の実施形態の変形例１では、ショベル１００によって施工が完了した後の土砂形状が示された施工図面情報を読み込む例とする。本変形例に係るショベル１００では、上述した実施形態で示した設定画面でショベル１００の自律制御を設定した後、制御部３０４が、設定画面で設定された情報に従って自律制御を行う際に、施工図面情報を読み込む。これにより、制御部３０４は、掘削及び排土の自律制御を行うように設定された際に、掘削によって形成される土砂形状が、施工図面情報で示された土砂形状になるように施工を行う。

【0147】

さらに、環境認識ボタン１４０３の押下を受け付けた場合に、取得部３０１が、環境認識ボタン１４０３によるショベル１００の周辺の土砂形状と、補助記憶装置に記憶された施工図面情報で示された土砂形状と、を比較してもよい。そして、表示制御部３０２が、ショベル１００の周辺の土砂形状が、施工図面情報で示された土砂形状になるための自律制御を示したアイコン画像（例えば掘削アイコン及び排土アイコンを）を設定画面で配置してもよい。

【0148】

（第１の実施形態の変形例２）
第１の実施形態の変形例２では、オペ操作記録ボタン１４０４の押下を受け付けた後に行われた操作による施工の種類を判別する手法として、機械学習を用いる場合について説明する。

【0149】

まずは、ショベル１００が作業を行う前に学習モデルを用意する必要がある。そこで、本変形例では、管理者が、ショベルによって行われた操作と、当該操作による施工の種類と、を対応付けた教師データを生成する。

【0150】

そして、情報処理装置が、当該教師データを用いて機械学習を行うことで、学習モデルを生成する。当該機械学習は、ディープラーニング等を用いてよく、具体的には、ニューラルネットワークを用いてバックプロパゲーションにより学習を行う。そして、当該学習モデルをコントローラ３０に搭載する。

【0151】

コントローラ３０は、行われた操作を学習モデルに入力することで、当該操作に対応する施工の種類を判別できる。行われた操作が複数の施工の組み合わせの場合には、コントローラ３０は、一連の操作を学習モデルに入力することで、一連の操作に対応する複数の施工の種類を判別できる。

【0152】

従って、表示制御部３０２は、判別された施工の種類に対応するアイコン画像を、設定画面に表示できる。操作者が行った操作が複数種類の施工を含んでいる場合には、表示制御部３０２は、複数種類の施工の各々に対応するアイコン画像を表示してもよい。表示制御部３０２は、複数のアイコン画像を関連付けて表示をしてもよい。

【0153】

本変形例に係るコントローラ３０は、操作者が行った操作に対応する自律制御の継続を実現できる。

【0154】

（第２の実施形態）
上述した実施形態及び変形例は、ショベル１００の表示装置Ｄ１に対して表示された設定画面に対して自律制御の設定を行う例について説明した。しかしながら、自律制御の設定は、ショベル１００内で行う手法に制限するものではない。そこで、第２の実施形態では、ショベル１００を制御可能な遠隔操作システムを適用した場合について説明する。

【0155】

図１３は、第２の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。図１３に示すように、第２の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、通信端末３００と、遠隔操作室ＲＣと、を含んでいる。そして、ショベル１００、通信端末３００、及び遠隔操作室ＲＣの間は、公衆ネットワークＮＴによって接続されている。これにより、ショベル１００、通信端末３００、及び遠隔操作室ＲＣの間で情報の送信及び受信を行うことができる。

【0156】

通信端末３００は、ショベル１００の現在の状況を監視するための端末とする。例えば、ショベル１００が作業を行っている作業現場の管理者が、ショベル１００から送信された情報に基づいて、ショベル１００の現在の状況を確認するために用いられる。

【0157】

そして、ショベル１００は、通信装置Ｔ１を介して、通信端末３００及び遠隔操作室ＲＣとの間で情報の送受信を行う。なお、本実施形態は、ショベル１００の台数を制限するものではなく、ショベル１００は２台以上でもよい。

【0158】

例えば、ショベル１００は、通信装置Ｔ１を介して、空間認識装置Ｃ１による計測結果を示した情報を、遠隔操作室ＲＣに送信できる。これにより、遠隔操作室ＲＣは、ショベル１００の周囲の状況を確認できる。

【0159】

また、作業現場に存在する（図示しない）ドローン又は（図示しない）定点計測カメラ等による計測結果を、遠隔操作室ＲＣに送信してもよい。これにより、遠隔操作室ＲＣは、ショベル１００の周囲の状況を多角的に認識できる。

【0160】

遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ２３４０、操作装置２３２６、操作センサ２３２９、及び表示装置Ｄ２３０１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。遠隔操作室ＲＣは、ショベル１００の遠隔操作を行うことができる。

【0161】

通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１（図１参照）との間で通信を制御するように構成されている。

【0162】

遠隔コントローラ２３４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ２３４０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ２３４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

【0163】

表示装置Ｄ２３０１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００の各々から送信された情報に基づいた画面を表示する。表示装置Ｄ２３０１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、ショベル１００の周囲を含む作業現場の状況を確認できる。さらに、表示装置Ｄ２３０１は、上述した実施形態と同様にタッチパネルが設けられてもよい。

【0164】

操作装置２３２６（操作部の一例）には、操作装置２３２６の操作内容を検出するための操作センサ２３２９が設置されている。操作センサ２３２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２３２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ２３２９は、検出した操作装置２３２６の操作内容に関する情報を遠隔コントローラ２３４０に対して出力する。遠隔コントローラ２３４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ２３２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２３２９は、遠隔コントローラ２３４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作室ＲＣから、ショベル１００の遠隔操作を実現できる。

【0165】

さらに、本実施形態に係る遠隔操作室ＲＣでは、上述した実施形態と同様に設定画面から、ショベル１００の自律制御の設定を行うことができる。このため、表示装置Ｄ２３０１には、上述した実施形態で示した設定画面が表示される。

【0166】

本実施形態の遠隔コントローラ２３４０は、上述した実施形態のコントローラ３０と同様の構成を備えているものとする。これにより、遠隔コントローラ２３４０は、自律制御のための設定が可能となる。次に、遠隔操作室ＲＣにおけるショベル１００の自律制御の設定手順について説明する。

【0167】

図１４は、本実施形態に係る遠隔操作システムＳＹＳにおいて、ショベル１００の自律制御を設定するための処理の流れを示したシーケンス図である。

【0168】

図１４に示されるように、遠隔コントローラ２３４０は、表示装置Ｄ２３０１に設定画面を表示する（Ｓ２４０１）。例えば、表示装置Ｄ２３０１には、図４で示した設定画面が表示される。

【0169】

そして、遠隔コントローラ２３４０は、設定画面に表示されている環境認識ボタン１４０３の押下を受け付ける（Ｓ２４０２）。当該環境認識ボタン１４０３を押下する操作は、表示装置Ｄ２３０１に設けられたタッチパネルを介して受け付けてもよいし、操作センサ２３２９を介して受け付けてもよい。

【0170】

遠隔コントローラ２３４０は、環境認識ボタン１４０３の押下に従って、ショベル１００に対してショベル１００の周囲の環境の検出要求を送信する（Ｓ２４０３）。

【0171】

ショベル１００のコントローラ３０は、周囲の環境の検出要求を受信した場合に、空間認識装置Ｃ１による周囲の環境の検出を行う（Ｓ２４０４）。

【0172】

そして、ショベル１００のコントローラ３０は、周囲の環境の検出結果を、遠隔操作室ＲＣに送信する（Ｓ２４０５）。

【0173】

遠隔操作室ＲＣの遠隔コントローラ２３４０は、周囲の環境の検出結果を受信した場合に、当該検出結果に基づいたアイコン画像を、表示装置Ｄ２３０１に表示する（Ｓ２４０６）。例えば、ダンプトラックが検出された場合には、トラック認識アイコンと掘削アイコンと排土アイコンが表示され、法面が検出された場合には、法面掘削アイコンと排土アイコンとが表示される。

【0174】

遠隔操作室ＲＣの遠隔コントローラ２３４０は、設定画面に表示されたアイコン画像に基づいた設定を行う操作を受け付ける（Ｓ２４０７）。例えば、遠隔コントローラ２３４０は、アイコン画像が押下された場合に、当該アイコン画面が示す自律制御に関する設定を受け付ける。例えば、遠隔コントローラ２３４０は、排土アイコンの押下を受け付けた場合には、排土する領域の設定等を行うことができる。

【0175】

遠隔操作室ＲＣの遠隔コントローラ２３４０は、設定画面における設定が完了した後、作業開始ボタン１４０５の押下を受け付ける（Ｓ２４０８）。

【0176】

遠隔操作室ＲＣの遠隔コントローラ２３４０は、設定画面で設定された手順に従って、ショベル１００の自律制御を行うための操作信号を生成し、生成した操作信号と共に、作業の開始要求を、ショベル１００に送信する（Ｓ２４０９）。

【0177】

これにより、コントローラ３０は、開始要求と共に受信した操作信号に従って、自律制御を開始する（Ｓ２４１０）。

【0178】

本実施形態においては、上述した制御を行うことで、遠隔操作室ＲＣからショベル１００の自律制御を行うための設定を行うことができる。

【0179】

さらに、本実施形態においては、遠隔コントローラ２３４０が、表示装置Ｄ２３０１に表示された設定画面のオペ操作記録ボタン１４０４の押下を受け付けた場合、遠隔操作室ＲＣにおいて操作者ＯＰに行われた操作を記録し、当該操作に対応する自律制御を行うためのアイコン画像を、表示装置Ｄ２３０１に表示してもよい。これにより、遠隔操作システムＳＹＳは、遠隔操作室ＲＣで行われた操作を継続させる自律制御が可能となる。

【0180】

（第３の実施形態）
第２の実施形態では、遠隔操作室ＲＣにおいて、表示装置Ｄ２３０１に設定画面を表示し、当該設定画面に表示されたアイコン画像に基づいて、ショベル１００の自律制御の設定を行う例について説明した。しかしながら、第２の実施形態で示した遠隔操作室ＲＣの遠隔コントローラ２３４０以外の通信装置が、自律制御の設定を行ってもよい。

【0181】

第３の実施形態では、第２の実施形態で示した遠隔操作システムＳＹＳを構成する通信端末３００において、自律制御の設定を行う例とする。

【0182】

通信端末３００は、表示装置（例えば液晶パネル）を有する共に、表示装置の表面にタッチパネルが設けられている。

【0183】

これにより、通信端末３００の表示装置には、上述した実施形態で示した設定画面が表示される。通信端末３００のタッチパネルが、設定画面に対する操作を受け付ける。これにより、上述した実施形態と同様にショベル１００に対して自律制御を行うための設定を行うことができる。

【0184】

＜作用＞
上述した実施形態及び変形例においては、ショベル１００に対して自律制御について、設定画面に表示されたアイコン画像を用いた設定が可能となる。したがって、ショベル１００の自律制御に関する設定が容易になるので、操作負担を軽減できる。

【0185】

さらに、上述した実施形態においては、空間認識装置Ｃ１による計測結果に基づいて設定画面にアイコン画像が表示される。したがって、設定画面には、ショベル１００の周囲の環境を考慮したアイコン画像が表示されるので、自律制御を行わせるための設定の負担を軽減できる。

【0186】

さらに、上述した実施形態においては、設定画面において、複数のアイコン画像を関連付けることができるので、複数の自律制御を組み合わせた動作をショベル１００に行わせることができる。したがって、ショベル１００に複雑な施工を自律制御で行わせることができるので、作業効率の向上を実現できる。

【0187】

さらに、上述した実施形態においては、設定画面において、複数のアイコン画像をグループ化、自律制御の切り替えための条件の設定等を行うことができる。つまり、複数の自律制御を所定の手順に従って行うように設定できるので、ショベル１００に複雑な施工動作を行わせることができる。したがって、作業効率の向上を実現できる。

【0188】

以上、ショベル、遠隔制御システム、及び表示装置を用いた場合の実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。

【符号の説明】

【0189】

１００ ショベル
Ｃ１ 空間認識装置
Ｔ１、Ｔ２ 通信装置
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
３０ コントローラ
３０１ 取得部
３０２ 表示制御部
３０３ 入力受付部
３０４ 制御部
３０５ 通信制御部
Ｄ１ 表示装置
Ｄ１１ タッチパネル
ＲＣ 遠隔操作室
２３４０ 遠隔コントローラ
３００ 通信端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】