ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024087294
(43)【公開日】2024-07-01
(54)【発明の名称】ショベルの遠隔制御システム
(51)【国際特許分類】
E02F 9/20 20060101AFI20240624BHJP
E02F 9/26 20060101ALI20240624BHJP
G06F 3/01 20060101ALI20240624BHJP
【ＦＩ】
E02F9/20 N
E02F9/20 Q
E02F9/26 B
G06F3/01 570
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022202045
(22)【出願日】2022-12-19
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】呉 春男
【テーマコード（参考）】
2D003
2D015
5E555
【Ｆターム（参考）】
2D003AA01
2D003AB00
2D003BA02
2D003BA04
2D003DA04
2D003DB04
2D003DB05
2D003FA02
2D015HA03
2D015HB04
2D015HB05
5E555AA16
5E555AA64
5E555BA23
5E555BA38
5E555BB23
5E555BB38
5E555BC01
5E555CA42
5E555CB66
5E555CC01
5E555DA08
5E555EA22
5E555FA00
(57)【要約】
【課題】自律的に動作しているショベルを操作者が操作できるようにすること。
【解決手段】ショベルの遠隔制御システムＳＹＳは、遠隔制御されるショベル１００から離れた場所にいる遠隔操作者ＯＰの手の位置に関する情報を取得する撮像装置Ｃ１と、ショベル１００が位置する作業現場を表す画像を遠隔操作者ＯＰに表示する表示装置Ｄ１と、撮像装置Ｃ１の出力に基づいて遠隔操作者ＯＰの手の位置又は動きを検出してショベル１００を制御するための制御指令を生成する遠隔コントローラ４０と、その制御指令をショベル１００に送信する通信装置Ｔ２と、を備える。
【選択図】図６
【解決手段】ショベルの遠隔制御システムＳＹＳは、遠隔制御されるショベル１００から離れた場所にいる遠隔操作者ＯＰの手の位置に関する情報を取得する撮像装置Ｃ１と、ショベル１００が位置する作業現場を表す画像を遠隔操作者ＯＰに表示する表示装置Ｄ１と、撮像装置Ｃ１の出力に基づいて遠隔操作者ＯＰの手の位置又は動きを検出してショベル１００を制御するための制御指令を生成する遠隔コントローラ４０と、その制御指令をショベル１００に送信する通信装置Ｔ２と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
遠隔制御されるショベルから離れた場所にいる操作者の体の所定部位の位置に関する情報を取得する検出センサと、
前記ショベルが位置する作業現場を表す画像を操作者に表示する表示装置と、
前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記ショベルを制御するための制御指令を生成する制御装置と、
前記制御指令を前記ショベルに送信する通信装置と、
を備えるショベルの遠隔制御システム。
前記ショベルが位置する作業現場を表す画像を操作者に表示する表示装置と、
前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記ショベルを制御するための制御指令を生成する制御装置と、
前記制御指令を前記ショベルに送信する通信装置と、
を備えるショベルの遠隔制御システム。
【請求項2】
前記制御装置は、複数の制御モードのそれぞれにおいて、前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記制御指令を生成するように構成され、
複数の前記制御モードは、ショベルの所望の動きが開始される前にその所望の動きの内容を設定する際に選択される第１制御モードと、ショベルの動きをリアルタイムで制御する際に選択される第２制御モードとを含む、
請求項１に記載のショベルの遠隔制御システム。
複数の前記制御モードは、ショベルの所望の動きが開始される前にその所望の動きの内容を設定する際に選択される第１制御モードと、ショベルの動きをリアルタイムで制御する際に選択される第２制御モードとを含む、
請求項１に記載のショベルの遠隔制御システム。
【請求項3】
前記制御装置は、前記検出センサの出力に基づき、遠隔制御されるショベルから離れた場所に設定される第１座標系における操作者の体の所定部位の位置である第１座標を導き出し、前記第１座標系と前記作業現場に設定される第２座標系とを対応付け、前記第１座標に対応する前記第２座標系における第２座標を導き出し、前記第２座標に基づいて前記制御指令を生成するように構成されている、
請求項１に記載のショベルの遠隔制御システム。
請求項１に記載のショベルの遠隔制御システム。
【請求項4】
前記検出センサは、操作者の周囲に設定される監視空間における操作者の手の位置に関する情報を取得する、
請求項１に記載のショベルの遠隔制御システム。
請求項１に記載のショベルの遠隔制御システム。
【請求項5】
前記制御装置は、作業現場における前記ショベルによる所定の動作が行われる前に該所定の動作に関する前記制御指令を生成し、或いは、作業現場における前記ショベルによって所定の動作が行われているときに該所定の動作に関する前記制御指令を生成する、
請求項１に記載のショベルの遠隔制御システム。
請求項１に記載のショベルの遠隔制御システム。
【請求項6】
前記制御装置は、前記検出センサの出力に基づいて操作者の指先の位置を特定し、特定した前記指先の位置に基づいて前記ショベルの旋回に関する制御指令を生成する、
請求項１に記載のショベルの遠隔制御システム。
請求項１に記載のショベルの遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ショベルの遠隔制御システムに関する。
【背景技術】
【0002】
従来、無人運転が可能なショベルが知られている（特許文献１参照）。このショベルは、操作者による操作を必要とせずに、特定の作業を自律的に行うことができるように構成されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３３４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、無人運転が行われている場合であっても、例外的な事象が発生したときには、操作者による操作が行われた方が効率的な場合がある。
【0005】
そこで、無人運転が行われている場合であっても、必要に応じて、自律的に動作しているショベルを操作者が操作できるようにすることが望ましい。
【課題を解決するための手段】
【0006】
本開示の実施形態に係るショベルの遠隔制御システムは、遠隔制御されるショベルから離れた場所にいる操作者の体の所定部位の位置に関する情報を取得する検出センサと、前記ショベルが位置する作業現場を表す画像を操作者に表示する表示装置と、前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記ショベルを制御するための制御指令を生成する制御装置と、前記制御指令を前記ショベルに送信する通信装置と、を備える。
【発明の効果】
【0007】
上述のショベルの遠隔制御システムでは、操作者は、必要に応じて、自律的に動作しているショベルを操作できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0010】
【0011】
＜遠隔制御システムを構成する機器＞
図１に示すように、第１の実施形態に係る遠隔制御システムＳＹＳは、ショベル１００と、定点計測装置４００と、遠隔操作室ＲＣと、を含んでいる。
図１に示すように、第１の実施形態に係る遠隔制御システムＳＹＳは、ショベル１００と、定点計測装置４００と、遠隔操作室ＲＣと、を含んでいる。
【0012】
定点計測装置４００は、ショベル１００が作業を行う作業現場に設けられている。遠隔操作室ＲＣは、ショベル１００を遠隔操作するために設けられている。なお、定点計測装置４００は、省略されてもよい。
【0013】
ショベル１００、定点計測装置４００、及び遠隔操作室ＲＣは、通信回線ＮＷを介してデータの送受信を可能に接続されている。
【0014】
ショベル１００及び定点計測装置４００は、作業現場に関する情報を遠隔操作室ＲＣに送信する。これにより、遠隔操作室ＲＣは、ショベル１００及び定点計測装置４００からの検出結果に応じて、作業現場を多角的に確認できる。なお、本実施形態では、作業現場の測定を行う装置は、ショベル１００及び定点計測装置４００ばかりでなく、作業現場上を飛行するドローン、又は、作業者が所持可能な空間認識装置等、他の態様の装置であってもよい。
【0015】
ショベル１００及び定点計測装置４００には、作業現場に存在する物体の位置及び形状を３次元的に認識可能なセンサが設けられている。例えば、ショベル１００には空間認識装置Ｓ７（図２参照）が設けられ、定点計測装置４００には空間認識装置Ｓ１１（図６参照）が設けられている。したがって、ショベル１００及び定点計測装置４００は、作業現場を３次元的に測定した結果を遠隔操作室ＲＣに送信できる。
【0016】
空間認識装置Ｓ７、Ｓ１１は、作業現場を監視するためのＬＩＤＡＲであってもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、空間認識装置Ｓ７、Ｓ１１は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置Ｓ７、Ｓ１１は、ステレオカメラであってもよいし、撮像装置とミリ波レーダ等の測距装置との組み合わせであってもよい。
【0017】
遠隔制御システムＳＹＳに含まれる定点計測装置４００は、一台であってもよいし、複数台であってもよい。これにより、遠隔制御システムＳＹＳは、複数台の定点計測装置４００を通じて、遠隔操作室ＲＣに作業現場に関する情報を提供することができる。
【0018】
遠隔制御システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。これにより、遠隔制御システムＳＹＳは、複数台のショベル１００を通じて、遠隔操作室ＲＣに作業現場に関する情報を提供することができる。
【0019】
＜遠隔操作室の構成例＞
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、撮像装置Ｃ１、表示装置Ｄ１、及び音出力装置Ｖ１が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する遠隔操作者ＯＰが座る操作席ＤＳが設置されている。
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、撮像装置Ｃ１、表示装置Ｄ１、及び音出力装置Ｖ１が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する遠隔操作者ＯＰが座る操作席ＤＳが設置されている。
【0020】
【0021】
撮像装置Ｃ１は、操作席ＤＳに座っている遠隔操作者ＯＰの体の所定部位の位置に関する情報を取得するための検出センサの一例である。本実施形態では、撮像装置Ｃ１は、遠隔操作者ＯＰの周囲に設定される監視空間を撮影するために設けられている。撮像装置Ｃ１によって撮像された画像情報は、例えば、遠隔操作者ＯＰの手の位置、姿勢、又は動き等を検出するために用いられる。なお、画像情報は、遠隔操作者ＯＰの指、腕、又は上半身等の位置、姿勢、又は動き等を検出するために用いられてもよい。
【0022】
遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
【0023】
表示装置Ｄ１は、各種情報を表示可能な装置である。表示装置Ｄ１は、遠隔操作室ＲＣにいる遠隔操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００及び定点計測装置４００の各々から送信された情報に基づいた画像を表示する。本実施形態では、表示装置Ｄ１は、液晶ディスプレイである。なお、表示装置Ｄ１は、裸眼立体視を実現するディスプレイ又はプロジェクタであってもよく、ＶＲ（Virtual Reality）ゴーグル、ＡＲ（Augmented Reality）ゴーグル、ＭＲ（Mixed Reality)、又はＸＲ（Cross Reality)ゴーグル等であってもよい。
【0024】
音出力装置Ｖ１は、各種音情報を出力可能な装置である。音出力装置Ｖ１は、遠隔操作室ＲＣにいる遠隔操作者ＯＰがショベル１００の周囲で発せられる音を聴認するために、ショベル１００及び定点計測装置４００の各々から送信された情報に基づいた音を出力する。本実施形態では、音出力装置Ｖ１は、スピーカである。なお、音出力装置Ｖ１は、ステレオスピーカであってもよく、サラウンドスピーカであってもよい。
【0025】
操作装置４２（操作部の一例）には、操作装置４２の操作内容を検出するための操作センサ４３が設置されている。操作センサ４３は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ４３は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ４３は、検出した操作装置４２の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ４３は、操作信号を生成するように構成されていてもよい。この場合、操作センサ４３は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作者ＯＰは、遠隔操作室ＲＣからショベル１００を遠隔操作できる。
＜ショベルの構成＞
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る掘削機としてのショベル１００の側面図である。ショベル１００は、操作者又は遠隔操作者ＯＰによる操作に応じて動作する手動操作式ショベルとして機能し、且つ、操作者又は遠隔操作者ＯＰによる操作によらずに自律的に動作する自律式ショベルとして機能するように構成されている。但し、ショベル１００は、自律式ショベルとしてのみ機能するように構成されていてもよい。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
＜ショベルの構成＞
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る掘削機としてのショベル１００の側面図である。ショベル１００は、操作者又は遠隔操作者ＯＰによる操作に応じて動作する手動操作式ショベルとして機能し、且つ、操作者又は遠隔操作者ＯＰによる操作によらずに自律的に動作する自律式ショベルとして機能するように構成されている。但し、ショベル１００は、自律式ショベルとしてのみ機能するように構成されていてもよい。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
【0026】
ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
【0027】
ブーム角度センサＳ１はブーム４の回動角度を検出する。本実施形態では、ブーム角度センサＳ１は加速度センサであり、上部旋回体３に対するブーム４の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム４を最も下げたときに最小角度となり、ブーム４を上げるにつれて大きくなる。
【0028】
アーム角度センサＳ２はアーム５の回動角度を検出する。本実施形態では、アーム角度センサＳ２は加速度センサであり、ブーム４に対するアーム５の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム５を最も閉じたときに最小角度となり、アーム５を開くにつれて大きくなる。
【0029】
バケット角度センサＳ３はバケット６の回動角度を検出する。本実施形態では、バケット角度センサＳ３は加速度センサであり、アーム５に対するバケット６の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット６を最も閉じたときに最小角度となり、バケット６を開くにつれて大きくなる。
【0030】
ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。
【0031】
上部旋回体３には、運転室としてのキャビン１０、エンジン１１、機体傾斜センサＳ４、旋回角速度センサＳ５、撮像装置Ｓ６、空間認識装置Ｓ７、測位装置Ｓ８、通信装置Ｔ１、及び、音入力装置Ｖ２等が搭載されている。
【0032】
キャビン１０内には、ショベルコントローラ３０が設置される。また、キャビン１０内には、運転席及び操作装置等が設置されている。
【0033】
ショベルコントローラ３０は、各種演算を実行する演算装置（電子回路）である。ショベルコントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。ショベルコントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。
【0034】
エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。
【0035】
機体傾斜センサＳ４は、所定の平面に対する上部旋回体３の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサＳ４は、水平面に関する上部旋回体３の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベル１００の旋回軸上の一点であるショベル１００の中心点を通る。
【0036】
旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサＳ５は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
【0037】
撮像装置Ｓ６はショベル１００の周辺の画像を取得するように構成されている。本実施形態では、撮像装置Ｓ６は、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及びショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。
【0038】
撮像装置Ｓ６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を遠隔操作室ＲＣに送信する。
【0039】
前カメラＳ６Ｆは、例えば、キャビン１０の屋根に取り付けられている。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられている。右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられている。後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。
【0040】
本実施形態は、撮像装置Ｓ６を上述した位置に設けることで、ショベル１００の周辺に存在する物体を撮像できる。
【0041】
空間認識装置Ｓ７は、ショベル１００の周囲の空間の状態を認識するように構成されている。空間認識装置Ｓ７は、ショベル１００の後方の空間の状態を認識する後方空間認識装置Ｓ７Ｂ、ショベル１００の左方の空間の状態を認識する左方空間認識装置Ｓ７Ｌ、ショベル１００の右方の空間の状態を認識する右方空間認識装置Ｓ７Ｒ、及び、ショベル１００の前方の空間の状態を認識する前方空間認識装置Ｓ７Ｆを含む。
【0042】
空間認識装置Ｓ７は、ＬＩＤＡＲであってもよい。なお、空間認識装置Ｓ７は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置Ｓ７は、ステレオカメラであってもよいし、距離画像カメラ、又はミリ波レーダ等の測距装置であってもよい。空間認識装置Ｓ７としてミリ波レーダ等が利用される場合には、空間認識装置Ｓ７は、多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。
【0043】
後方空間認識装置Ｓ７Ｂは、上部旋回体３の上面の後端に取り付けられる。左方空間認識装置Ｓ７Ｌは、上部旋回体３の上面の左端に取り付けられる。右方空間認識装置Ｓ７Ｒは、上部旋回体３の上面の右端に取り付けられる。前方空間認識装置Ｓ７Ｆは、キャビン１０の上面の前端に取り付けられる。
【0044】
空間認識装置Ｓ７は、ショベル１００の周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。例えば、空間認識装置Ｓ７は、人と人以外の物体とを区別しながら人を検知できるように構成された人検知機能を有していてもよい。
【0045】
測位装置Ｓ８は、ショベル１００の位置に関する情報を取得するように構成されている。本実施形態では、測位装置Ｓ８は、基準座標系におけるショベル１００の位置及び向きを測定するように構成されている。具体的には、測位装置Ｓ８は、電子コンパスを組み込んだＧＮＳＳ受信機であり、ショベル１００の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル１００の向きを測定する。基準座標系は、例えば、世界測地系である。
【0046】
通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。また、通信装置Ｔ１は、例えば、外部のＧＮＳＳ（Global Navigation Satellite System）測量システムとショベル１００との間の無線通信を制御する。
【0047】
音入力装置Ｖ２は、ショベル１００の周囲で発せられる音を取得できるように構成されている。本実施形態では、音入力装置Ｖ２は、全指向性マイクロフォンである。なお、音入力装置Ｖ２は、指向性を有するマイクロフォンであってもよい。
【0048】
【0049】
本実施形態に係るショベル１００の駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブユニット１７を含む。また、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６のそれぞれを油圧駆動する左走行油圧モータ１Ｌ、右走行油圧モータ１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。
【0050】
エンジン１１は、ショベル１００の動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、ショベルコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。
【0051】
レギュレータ１３は、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１３は、ショベルコントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。レギュレータ１３は、例えば、後述の如く、レギュレータ１３Ｌ，１３Ｒを含む。
【0052】
メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ３０による制御下で、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。メインポンプ１４は、例えば、後述の如く、メインポンプ１４Ｌ、１４Ｒを含む。
【0053】
コントロールバルブユニット１７は、ショベル１００における油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブユニット１７は、制御弁１７１～１７６を含む。コントロールバルブユニット１７は、制御弁１７１～１７６を通じ、メインポンプ１４が吐出する作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁１７１～１７６は、例えば、メインポンプ１４から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左走行油圧モータ１Ｌ、右走行油圧モータ１Ｒ、及び旋回油圧モータ２Ａを含む。より具体的には、制御弁１７１は、左走行油圧モータ１Ｌに対応し、制御弁１７２は、右走行油圧モータ１Ｒに対応し、制御弁１７３は、旋回油圧モータ２Ａに対応する。また、制御弁１７４は、バケットシリンダ９に対応し、制御弁１７５は、ブームシリンダ７に対応し、制御弁１７６は、アームシリンダ８に対応する。また、制御弁１７５は、例えば、後述の如く、制御弁１７５Ｌ，１７５Ｒ（図４参照）を含み、制御弁１７６は、例えば、後述の如く、制御弁１７６Ｌ，１７６Ｒ（図４参照）を含む。
【0054】
パイロットポンプ１５は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、作動油ラインを介して作動油をコントロールバルブユニット１７に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ１５は、省略されてもよい。
【0055】
操作装置２６は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。なお、操作装置２６は、省略されてもよい。この場合、ショベル１００は自律式ショベルとして機能する。操作装置４２についても同様である。
【0056】
吐出圧センサ２８は、メインポンプ１４の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ２８は、検出した値をショベルコントローラ３０に対して出力する。吐出圧センサ２８は、例えば、後述の如く、吐出圧センサ２８Ｌ，２８Ｒを含む。
【0057】
操作センサ２９は、操作装置２６を用いた操作者の操作内容を検出するように構成されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。本実施形態では、ショベルコントローラ３０は、操作センサ２９の出力に応じて比例弁３１の開口面積を制御する。そして、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力（パイロット圧）は、原則として、油圧アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量に応じた圧力である。このように、操作装置２６は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給できるように構成されている。なお、操作装置２６が省略された場合には、操作センサ２９も省略される。操作装置４２が省略された場合の操作センサ４３についても同様である。
【0058】
マシンコントロール用制御弁として機能する比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、ショベルコントローラ３０が出力する制御指令に応じて動作する。そのため、ショベルコントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の制御弁のパイロットポートに供給できる。比例弁３１は、例えば、後述の如く、比例弁３１ＡＬ，３１ＡＲ，３１ＢＬ，３１ＢＲ，３１ＣＬ，３１ＣＲを含む。
【0059】
この構成により、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われていない場合であっても、その特定の操作装置２６に対応する油圧アクチュエータを動作させることができる。
【0060】
例えば、ショベルコントローラ３０は、操作者等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、エンジン１１を一定回転させる駆動制御を行う。
【0061】
また、例えば、ショベルコントローラ３０は、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。
【0062】
また、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能に関する制御を実行できる。また、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作を自動的に支援するマシンコントロール機能に関する制御を実行できる。
【0063】
なお、ショベルコントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。すなわち、ショベルコントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ（制御装置）により実現されてもよい。
【0064】
［ショベルの油圧システム］
次に、図４を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
次に、図４を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
【0065】
図４は、本実施形態に係るショベル１００の油圧システムの構成の一例を概略的に示す図である。
【0066】
【0067】
当該油圧回路により実現される油圧システムは、エンジン１１により駆動されるメインポンプ１４Ｌ，１４Ｒのそれぞれから、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒ、パラレル油路Ｃ２Ｌ，Ｃ２Ｒを経て作動油タンクまで作動油を循環させる。
【0068】
センタバイパス油路Ｃ１Ｌは、メインポンプ１４Ｌを起点として、コントロールバルブユニット１７内に配置される制御弁１７１，１７３，１７５Ｌ，１７６Ｌを順に通過し、作動油タンクに至る。
【0069】
センタバイパス油路Ｃ１Ｒは、メインポンプ１４Ｒを起点として、コントロールバルブユニット１７内に配置される制御弁１７２，１７４，１７５Ｒ，１７６Ｒを順に通過し、作動油タンクに至る。
【0070】
制御弁１７１は、メインポンプ１４Ｌから吐出される作動油を左走行油圧モータ１Ｌへ供給し、且つ、左走行油圧モータ１Ｌが吐出する作動油を作動油タンクに排出させるスプール弁である。
【0071】
制御弁１７２は、メインポンプ１４Ｒから吐出される作動油を右走行油圧モータ１Ｒへ供給し、且つ、右走行油圧モータ１Ｒが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0072】
制御弁１７３は、メインポンプ１４Ｌから吐出される作動油を旋回油圧モータ２Ａへ供給し、且つ、旋回油圧モータ２Ａが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0073】
制御弁１７４は、メインポンプ１４Ｒから吐出される作動油をバケットシリンダ９へ供給し、且つ、バケットシリンダ９内の作動油を作動油タンクへ排出させるスプール弁である。
【0074】
制御弁１７５Ｌ，１７５Ｒは、それぞれ、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をブームシリンダ７へ供給し、且つ、ブームシリンダ７内の作動油を作動油タンクへ排出させるスプール弁である。
【0075】
制御弁１７６Ｌ，１７６Ｒは、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をアームシリンダ８へ供給し、且つ、アームシリンダ８内の作動油を作動油タンクへ排出させる。
【0076】
制御弁１７１，１７２，１７３，１７４，１７５Ｌ，１７５Ｒ，１７６Ｌ，１７６Ｒは、それぞれ、パイロットポートに作用するパイロット圧に応じて、油圧アクチュエータに給排される作動油の流量を調整したり、流れる方向を切り換えたりする。
【0077】
パラレル油路Ｃ２Ｌは、センタバイパス油路Ｃ１Ｌと並列的に、制御弁１７１，１７３，１７５Ｌ，１７６Ｌにメインポンプ１４Ｌの作動油を供給する。具体的には、パラレル油路Ｃ２Ｌは、制御弁１７１の上流側でセンタバイパス油路Ｃ１Ｌから分岐し、制御弁１７１，１７３，１７５Ｌ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｌの作動油を供給可能に構成される。これにより、パラレル油路Ｃ２Ｌは、制御弁１７１，１７３，１７５Ｌの何れかによってセンタバイパス油路Ｃ１Ｌを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0078】
パラレル油路Ｃ２Ｒは、センタバイパス油路Ｃ１Ｒと並列的に、制御弁１７２，１７４，１７５Ｒ，１７６Ｒにメインポンプ１４Ｒの作動油を供給する。具体的には、パラレル油路Ｃ２Ｒは、制御弁１７２の上流側でセンタバイパス油路Ｃ１Ｒから分岐し、制御弁１７２，１７４，１７５Ｒ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｒの作動油を供給可能に構成される。パラレル油路Ｃ２Ｒは、制御弁１７２，１７４，１７５Ｒの何れかによってセンタバイパス油路Ｃ１Ｒを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0079】
レギュレータ１３Ｌ，１３Ｒは、それぞれ、ショベルコントローラ３０による制御下で、メインポンプ１４Ｌ，１４Ｒの斜板の傾転角を調節することによって、メインポンプ１４Ｌ，１４Ｒの吐出量を調節する。
【0080】
吐出圧センサ２８Ｌは、メインポンプ１４Ｌの吐出圧を検出し、検出された吐出圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。吐出圧センサ２８Ｒについても同様である。これにより、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することができる。
【0081】
センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒには、最も下流にある制御弁１７６Ｌ，１７６Ｒのそれぞれと作動油タンクとの間には、絞り１８Ｌ，１８Ｒが設けられる。これにより、メインポンプ１４Ｌ，１４Ｒにより吐出された作動油の流れは、絞り１８Ｌ，１８Ｒで制限される。そして、絞り１８Ｌ，１８Ｒは、レギュレータ１３Ｌ，１３Ｒを制御するための制御圧（ネガティブコントロール圧）を発生させる。
【0082】
制御圧センサ１９Ｌ，１９Ｒは、制御圧を検出し、検出された制御圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。
【0083】
ショベルコントローラ３０は、吐出圧センサ２８Ｌ，２８Ｒにより検出されるメインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御し、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、メインポンプ１４Ｌの吐出圧の増大に応じて、レギュレータ１３Ｌを制御し、メインポンプ１４Ｌの斜板傾転角を調節することにより、吐出量を減少させてよい。レギュレータ１３Ｒについても同様である。これにより、ショベルコントローラ３０は、吐出圧と吐出量との積で表されるメインポンプ１４Ｌ，１４Ｒの吸収パワー（吸収馬力）がエンジン１１の出力パワー（出力馬力）を超えないように、メインポンプ１４Ｌ，１４Ｒの吸収馬力を制御できる。
【0084】
また、ショベルコントローラ３０は、制御圧センサ１９Ｌ，１９Ｒにより検出される制御圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することにより、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、制御圧が大きいほどメインポンプ１４Ｌ，１４Ｒの吐出量を減少させ、制御圧が小さいほどメインポンプ１４Ｌ，１４Ｒの吐出量を増大させる。
【0085】
具体的には、ショベル１００における油圧アクチュエータが何れも操作されていない待機状態（図３に示す状態）の場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通って絞り１８Ｌ，１８Ｒに至る。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、絞り１８Ｌ，１８Ｒの上流で発生する制御圧を増大させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を許容最小吐出量まで減少させ、吐出した作動油がセンタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通過する際の圧力損失（ポンピングロス）を抑制する。
【0086】
一方、何れかの油圧アクチュエータが操作装置２６を通じて操作された場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、操作対象の油圧アクチュエータに対応する制御弁を介して、操作対象の油圧アクチュエータに流れ込む。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、絞り１８Ｌ，１８Ｒに至る量を減少或いは消失させ、絞り１８Ｌ，１８Ｒの上流で発生する制御圧を低下させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を増大させ、操作対象の油圧アクチュエータに十分な作動油を循環させ、操作対象の油圧アクチュエータを確実に駆動させることができる。
【0087】
操作装置２６は、左操作レバー２６Ｌ、右操作レバー２６Ｒ及び走行レバー２６Ｄを含む。走行レバー２６Ｄは、左走行レバー２６ＤＬ及び右走行レバー２６ＤＲを含む。
【0088】
左操作レバー２６Ｌは、旋回操作とアーム５の操作に用いられる。ショベルコントローラ３０は、左操作レバー２６Ｌが前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７６のパイロットポートに導入させる。また、ショベルコントローラ３０は、左操作レバー２６Ｌが左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７３のパイロットポートに導入させる。
【0089】
具体的には、ショベルコントローラ３０は、は、左操作レバー２６Ｌがアーム閉じ方向に操作された場合に、制御弁１７６Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ３０は、左操作レバー２６Ｌがアーム開き方向に操作された場合には、制御弁１７６Ｌの左側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの右側パイロットポートに作動油を導入させる。また、ショベルコントローラ３０は、左操作レバー２６Ｌが左旋回方向に操作された場合に、制御弁１７３の左側パイロットポートに作動油を導入させ、右旋回方向に操作された場合に、制御弁１７３の右側パイロットポートに作動油を導入させる。
【0090】
右操作レバー２６Ｒは、ブーム４の操作とバケット６の操作に用いられる。ショベルコントローラ３０は、右操作レバー２６Ｒが前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７５のパイロットポートに導入させる。また、ショベルコントローラ３０は、右操作レバー２６Ｒが左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７４のパイロットポートに導入させる。
【0091】
具体的には、ショベルコントローラ３０は、右操作レバー２６Ｒがブーム下げ方向に操作された場合に、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ３０は、右操作レバー２６Ｒがブーム上げ方向に操作された場合には、制御弁１７５Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ３０は、右操作レバー２６Ｒがバケット閉じ方向に操作された場合に、制御弁１７４の右側パイロットポートに作動油を導入させ、右操作レバー２６Ｒがバケット開き方向に操作された場合に、制御弁１７４の左側パイロットポートに作動油を導入させる。
【0092】
以下では、左右方向に操作される左操作レバー２６Ｌは、「旋回操作レバー」と称され、前後方向に操作される左操作レバー２６Ｌは、「アーム操作レバー」と称される場合がある。また、左右方向に操作される右操作レバー２６Ｒは、「バケット操作レバー」と称され、前後方向に操作される右操作レバー２６Ｒは、「ブーム操作レバー」と称される場合がある。
【0093】
左走行レバー２６ＤＬは、左クローラ１ＣＬの操作に用いられる。左走行ペダルと連動するように構成されていてもよい。ショベルコントローラ３０は、左走行レバー２６ＤＬが前後方向に操作されると、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７１のパイロットポートに導入させる。右走行レバー２６ＤＲは、右クローラ１ＣＲの操作に用いられる。右走行ペダルと連動するように構成されていてもよい。ショベルコントローラ３０は、右走行レバー２６ＤＲが前後方向に操作されると、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７２のパイロットポートに導入させる。
【0094】
操作センサ２９は、操作者による操作装置２６の操作の内容を検出できるように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0095】
操作センサ２９は、操作センサ２９ＬＡ、２９ＬＢ、２９ＲＡ、２９ＲＢ、２９ＤＬ、２９ＤＲを含む。操作センサ２９ＬＡは、操作者による左操作レバー２６Ｌに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作の内容は、例えば、レバー操作方向、レバー操作量（レバー操作角度）等である。
【0096】
同様に、操作センサ２９ＬＢは、操作者による左操作レバー２６Ｌに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＡは、操作者による右操作レバー２６Ｒに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＢは、操作者による右操作レバー２６Ｒに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＤＬは、操作者による左走行レバー２６ＤＬに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＤＲは、操作者による右走行レバー２６ＤＲに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0097】
ショベルコントローラ３０は、操作センサ２９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。また、ショベルコントローラ３０は、絞り１８の上流に設けられた制御圧センサ１９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。
【0098】
【0099】
図５Ａ～図５Ｄは、油圧システムの一部を抜き出した図である。具体的には、図５Ａは、アームシリンダ８の操作に関する油圧システム部分を抜き出した図であり、図５Ｂは、ブームシリンダ７の操作に関する油圧システム部分を抜き出した図である。図５Ｃは、バケットシリンダ９の操作に関する油圧システム部分を抜き出した図であり、図５Ｄは、旋回油圧モータ２Ａの操作に関する油圧システム部分を抜き出した図である。
【0100】
【0101】
比例弁３１は、マシンコントロール用制御弁として機能する。比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の対応する制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、ショベルコントローラ３０が出力する制御指令に応じて動作する。そのため、ショベルコントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給できる。そして、ショベルコントローラ３０は、比例弁３１が生成するパイロット圧を、対応する制御弁のパイロットポートに作用させることができる。
【0102】
この構成により、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われていない場合であっても、その特定の操作装置２６に対応する油圧アクチュエータを動作させることができる。また、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われている場合であっても、その特定の操作装置２６に対応する油圧アクチュエータの動作を強制的に停止させることができる。
【0103】
例えば、図５Ａに示すように、左操作レバー２６Ｌは、アーム５を操作するために用いられる。具体的には、左操作レバー２６Ｌは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７６のパイロットポートに作用させる。より具体的には、左操作レバー２６Ｌは、アーム閉じ方向（後方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７６Ｌの右側パイロットポートと制御弁１７６Ｒの左側パイロットポートに作用させる。また、左操作レバー２６Ｌは、アーム開き方向（前方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７６Ｌの左側パイロットポートと制御弁１７６Ｒの右側パイロットポートに作用させる。
【0104】
操作装置２６にはスイッチＳＷが設けられている。本実施形態では、スイッチＳＷは、スイッチＳＷ１及びスイッチＳＷ２を含む。スイッチＳＷ１は、左操作レバー２６Ｌの先端に設けられた押しボタンスイッチである。操作者は、スイッチＳＷ１を押しながら左操作レバー２６Ｌを操作できる。スイッチＳＷ１は、右操作レバー２６Ｒに設けられていてもよく、キャビン１０内の他の位置に設けられていてもよい。スイッチＳＷ２は、左走行レバー２６ＤＬの先端に設けられた押しボタンスイッチである。操作者は、スイッチＳＷ２を押しながら左走行レバー２６ＤＬを操作できる。スイッチＳＷ２は、右走行レバー２６ＤＲに設けられていてもよく、キャビン１０内の他の位置に設けられていてもよい。
【0105】
操作センサ２９ＬＡは、操作者による左操作レバー２６Ｌに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0106】
比例弁３１ＡＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＡＬを介して制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＡＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＡＲを介して制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＡＬは、制御弁１７６Ｌ及び制御弁１７６Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＡＲは、制御弁１７６Ｌ及び制御弁１７６Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0107】
この構成により、ショベルコントローラ３０は、操作者によるアーム閉じ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＬを介し、制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるアーム閉じ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＬを介し、制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるアーム閉じ操作に応じ、或いは、操作者によるアーム閉じ操作とは無関係に、アーム５を閉じることができる。
【0108】
また、ショベルコントローラ３０は、操作者によるアーム開き操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＲを介し、制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるアーム開き操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＲを介し、制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるアーム開き操作に応じ、或いは、操作者によるアーム開き操作とは無関係に、アーム５を開くことができる。
【0109】
また、この構成により、ショベルコントローラ３０は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、制御弁１７６の閉じ側のパイロットポート（制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポート）に作用するパイロット圧を減圧し、アーム５の閉じ動作を強制的に停止させることができる。操作者によるアーム開き操作が行われているときにアーム５の開き動作を強制的に停止させる場合についても同様である。
【0110】
ショベルコントローラ３０は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、比例弁３１ＡＲを制御し、制御弁１７６の閉じ側のパイロットポートの反対側にある、制御弁１７６の開き側のパイロットポート（制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポート）に作用するパイロット圧を増大させ、制御弁１７６を強制的に中立位置に戻すことで、アーム５の閉じ動作を強制的に停止させてもよい。操作者によるアーム開き操作が行われている場合にアーム５の開き動作を強制的に停止させる場合についても同様である。
【0111】
また、以下の図５Ｂ～図５Ｄを参照しながらの説明を省略するが、操作者によるブーム上げ操作又はブーム下げ操作が行われている場合にブーム４の動作を強制的に停止させる場合、操作者によるバケット閉じ操作又はバケット開き操作が行われている場合にバケット６の動作を強制的に停止させる場合、及び、操作者による旋回操作が行われている場合に上部旋回体３の旋回動作を強制的に停止させる場合についても同様である。
【0112】
また、操作者による走行操作が行われている場合に下部走行体１の走行動作を強制的に停止させる場合についても同様である。
【0113】
また、図５Ｂに示すように、右操作レバー２６Ｒは、ブーム４を操作するために用いられる。具体的には、右操作レバー２６Ｒは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７５のパイロットポートに作用させる。より具体的には、右操作レバー２６Ｒは、ブーム上げ方向（後方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７５Ｌの右側パイロットポートと制御弁１７５Ｒの左側パイロットポートに作用させる。また、右操作レバー２６Ｒは、ブーム下げ方向（前方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７５Ｒの右側パイロットポートに作用させる。
【0114】
操作センサ２９ＲＡは、操作者による右操作レバー２６Ｒに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0115】
比例弁３１ＢＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＢＬを介して制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＢＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＢＲを介して制御弁１７５Ｒの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＢＬは、制御弁１７５Ｌ及び制御弁１７５Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。また、比例弁３１ＢＲは、制御弁１７５Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0116】
この構成により、ショベルコントローラ３０は、操作者によるブーム上げ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＬを介し、制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるブーム上げ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＬを介し、制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるブーム上げ操作に応じ、或いは、操作者によるブーム上げ操作とは無関係に、ブーム４を上げることができる。
【0117】
また、ショベルコントローラ３０は、操作者によるブーム下げ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＲを介し、制御弁１７５Ｒの右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるブーム下げ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＲを介し、制御弁１７５Ｒの右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるブーム下げ操作に応じ、或いは、操作者によるブーム下げ操作とは無関係に、ブーム４を下げることができる。
【0118】
また、図５Ｃに示すように、右操作レバー２６Ｒは、バケット６を操作するためにも用いられる。具体的には、右操作レバー２６Ｒは、パイロットポンプ１５が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁１７４のパイロットポートに作用させる。より具体的には、右操作レバー２６Ｒは、バケット閉じ方向（左方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７４の左側パイロットポートに作用させる。また、右操作レバー２６Ｒは、バケット開き方向（右方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７４の右側パイロットポートに作用させる。
【0119】
操作センサ２９ＲＢは、操作者による右操作レバー２６Ｒに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0120】
比例弁３１ＣＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＣＬを介して制御弁１７４の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＣＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＣＲを介して制御弁１７４の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＣＬは、制御弁１７４を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＣＲは、制御弁１７４を任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0121】
この構成により、ショベルコントローラ３０は、操作者によるバケット閉じ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＬを介し、制御弁１７４の左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるバケット閉じ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＬを介し、制御弁１７４の左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるバケット閉じ操作に応じ、或いは、操作者によるバケット閉じ操作とは無関係に、バケット６を閉じることができる。
【0122】
また、ショベルコントローラ３０は、操作者によるバケット開き操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＲを介し、制御弁１７４の右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるバケット開き操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＲを介し、制御弁１７４の右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるバケット開き操作に応じ、或いは、操作者によるバケット開き操作とは無関係に、バケット６を開くことができる。
【0123】
また、図５Ｄに示すように、左操作レバー２６Ｌは、旋回機構２を操作するためにも用いられる。具体的には、左操作レバー２６Ｌは、パイロットポンプ１５が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁１７３のパイロットポートに作用させる。より具体的には、左操作レバー２６Ｌは、左旋回方向（左方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７３の左側パイロットポートに作用させる。また、左操作レバー２６Ｌは、右旋回方向（右方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７３の右側パイロットポートに作用させる。
【0124】
操作センサ２９ＬＢは、操作者による左操作レバー２６Ｌに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0125】
比例弁３１ＤＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＤＬを介して制御弁１７３の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＤＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＤＲを介して制御弁１７３の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＤＬは、制御弁１７３を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＤＲは、制御弁１７３を任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0126】
この構成により、ショベルコントローラ３０は、操作者による左旋回操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＬを介し、制御弁１７３の左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者による左旋回操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＬを介し、制御弁１７３の左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者による左旋回操作に応じ、或いは、操作者による左旋回操作とは無関係に、旋回機構２を左旋回させることができる。
【0127】
また、ショベルコントローラ３０は、操作者による右旋回操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＲを介し、制御弁１７３の右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者による右旋回操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＲを介し、制御弁１７３の右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者による右旋回操作に応じ、或いは、操作者による右旋回操作とは無関係に、旋回機構２を右旋回させることができる。
【0128】
また、左走行レバー２６ＤＬは、左クローラ１ＣＬを操作するために用いられる。具体的には、左走行レバー２６ＤＬは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７１のパイロットポートに作用させる。操作センサ２９ＤＬは、操作者による左走行レバー２６ＤＬに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ３０に出力する。これにより、ショベルコントローラ３０が電流指令に応じて動作する。
【0129】
そして、ショベルコントローラ３０は、上述した構成と同様に、パイロットポンプ１５が吐出する作動油を、（図示しない）比例弁を介し、制御弁１７１の左側パイロットポートに供給できる。すなわち、左クローラ１ＣＬを前進させることができる。また、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、（図示しない）比例弁を介し、制御弁１７１の右側パイロットポートに供給できる。すなわち、左クローラ１ＣＬを後進させることができる。
【0130】
また、右走行レバー２６ＤＲは、右クローラ１ＣＲを操作するために用いられる。具体的には、右走行レバー２６ＤＲは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７２のパイロットポートに作用させる。操作センサ２９ＤＲは、操作者による右走行レバー２６ＤＲに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ３０に対して出力する。これにより、ショベルコントローラ３０が電流指令に応じて動作する。
【0131】
そして、ショベルコントローラ３０は、上述した構成と同様に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、制御弁１７２の右側パイロットポートに供給できる。すなわち、右クローラ１ＣＲを前進させることができる。また、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、制御弁１７２の左側パイロットポートに供給できる。すなわち、右クローラ１ＣＲを後進させることができる。
【0132】
また、ショベル１００は、バケットチルト機構を自動的に動作させる構成を備えていてもよい。この場合、バケットチルト機構を構成するバケットチルトシリンダに関する油圧システム部分は、ブームシリンダ７の操作に関する油圧システム部分等と同じように構成されてもよい。
【0133】
また、操作装置２６の形態として電気式操作レバーに関する説明を記載したが、電気式操作レバーではなく油圧式操作レバーが採用されてもよい。この場合、油圧式操作レバーのレバー操作量は、圧力センサによって圧力の形で検出されてショベルコントローラ３０へ入力されてもよい。また、油圧式操作レバーとしての操作装置２６と各制御弁のパイロットポートとの間には電磁弁が配置されてもよい。電磁弁は、ショベルコントローラ３０からの電気信号に応じて動作するように構成される。この構成により、油圧式操作レバーとしての操作装置２６を用いた手動操作が行われると、操作装置２６は、レバー操作量に応じてパイロット圧を増減させることで各制御弁を移動させることができる。また、各制御弁は電磁スプール弁で構成されていてもよい。この場合、電磁スプール弁は、電気式操作レバーのレバー操作量に対応するショベルコントローラ３０からの電気信号に応じて動作する。
【0134】
＜遠隔制御システムのブロック構成＞
図６は、本実施形態に係る遠隔制御システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔制御システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置４００、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
＜定点計測装置の構成＞
定点計測装置４００は、通信装置Ｔ３と、音入力装置Ｖ３と、位置情報記憶部４５０と、撮像装置Ｃ３と、空間認識装置Ｓ１１と、コントローラ４４０とを含む。
図６は、本実施形態に係る遠隔制御システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔制御システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置４００、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
＜定点計測装置の構成＞
定点計測装置４００は、通信装置Ｔ３と、音入力装置Ｖ３と、位置情報記憶部４５０と、撮像装置Ｃ３と、空間認識装置Ｓ１１と、コントローラ４４０とを含む。
【0135】
通信装置Ｔ３は、通信回線ＮＷを通じて、遠隔操作室ＲＣ等の外部と通信を行うための装置である。通信装置Ｔ３は、通信回線ＮＷと接続可能な装置であればよく、例えば、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応する移動体通信モジュールであってよい。
【0136】
位置情報記憶部４５０は、定点計測装置４００の位置情報を記憶している。位置情報は、例えば、ＧＮＳＳで取得する位置情報と同様の基準座標系で表現されている。基準座標系は、例えば、世界測地系である。
【0137】
撮像装置Ｃ３は、ショベル１００が作業している作業現場の画像を取得するように構成されている。撮像装置Ｃ３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラである。
【0138】
音入力装置Ｖ３は、ショベル１００の周囲で発せられる音を取得できるように構成されている。本実施形態では、音入力装置Ｖ２は、全指向性マイクロフォンである。なお、音入力装置Ｖ２は、指向性を有するマイクロフォンであってもよい。
【0139】
空間認識装置Ｓ１１は、ショベル１００が作業している作業現場に存在する物体を検出するための装置であり、例えば、ＬＩＤＡＲである。
【0140】
コントローラ４４０は、定点計測装置４００に関する制御を行う。コントローラ４４０は、例えば、任意のハードウェア、又は、任意のハードウェア及びソフトウェアの組み合わせ等によりその機能が実現されてよい。コントローラ４４０は、例えば、ＣＰＵ等のプロセッサ装置、ＲＡＭ等のメモリ装置（主記憶装置）、及びＲＯＭ等の補助記憶装置等を含むコンピュータを中心に構成されてよい。例えば、コントローラ４４０は、補助記憶装置にインストールされるプログラムをメモリ装置にロードし、ＣＰＵ上で実行することにより各種機能を実現する。
＜遠隔操作室ＲＣの構成＞
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、撮像装置Ｃ１と、記憶装置４１と、操作センサ４３と、表示装置Ｄ１と、音出力装置Ｖ１とを含む。
＜遠隔操作室ＲＣの構成＞
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、撮像装置Ｃ１と、記憶装置４１と、操作センサ４３と、表示装置Ｄ１と、音出力装置Ｖ１とを含む。
【0141】
遠隔コントローラ４０は、遠隔操作者ＯＰによるショベル１００の遠隔操作を可能にする演算装置である。本実施形態では、遠隔コントローラ４０は、自律式ショベルとして自律的に動作しているショベル１００の制御に遠隔操作者ＯＰが手動で介入するための制御指令を生成できるように構成されている。
【0142】
遠隔操作室ＲＣの記憶装置４１は、読み書き可能な不揮発性の記憶媒体である。記憶装置４１は、施工情報記憶部４１１と、作業現場情報記憶部４１２と、を備える。
【0143】
施工情報記憶部４１１は、ショベル１００が作業現場で作業を行う際に利用する施工情報を記憶する。施工情報とは、作業現場に存在する土砂等の施工後の形状を表した３次元データである。施工情報は、施工後の物体（被写体の一例）の３次元形状及び位置を、上述した基準座標系で表現している。
【0144】
作業現場情報記憶部４１２は、ショベル１００及び定点計測装置４００による測定情報に基づいて生成された仮想的な作業現場空間の３次元形状を表現した作業現場情報を記憶する。当該作業現場情報は、作業現場の現在の物体の３次元形状及び位置を、上述した基準座標系で表現している。
【0145】
次に、定点計測装置４００のコントローラ４４０、ショベル１００のショベルコントローラ３０、及び遠隔操作室ＲＣの遠隔コントローラ４０の各々の機能ブロックについて説明する。
＜＜定点計測装置の機能ブロック＞＞
定点計測装置４００のコントローラ４４０内の各機能ブロックについて説明する。コントローラ４４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
＜＜定点計測装置の機能ブロック＞＞
定点計測装置４００のコントローラ４４０内の各機能ブロックについて説明する。コントローラ４４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
【0146】
送信制御部４４１は、撮像装置Ｃ３による画像情報と、空間認識装置Ｓ１１による測定情報と、位置情報記憶部４５０に記憶されている位置情報と、を対応付けて遠隔操作室ＲＣに送信する。送信制御部４４１による画像情報及び測定情報の送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、本実施形態では、遠隔操作者ＯＰが周囲の環境の変化を認識できる時間間隔である。例えば、送信制御部４４１は、撮像装置Ｃ３が撮像を行う毎（例えば１秒未満）、又は、空間認識装置Ｓ１１が測定を行う毎（例えば１秒未満）に送信してもよい。
＜＜ショベルの機能ブロック＞＞
ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、ショベルコントローラ３０は、プログラムを実行することで、ショベル状態特定部３０１と、送信制御部３０２と、受信制御部３０３と、アクチュエータ駆動部３０４と、を機能させる。
＜＜ショベルの機能ブロック＞＞
ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、ショベルコントローラ３０は、プログラムを実行することで、ショベル状態特定部３０１と、送信制御部３０２と、受信制御部３０３と、アクチュエータ駆動部３０４と、を機能させる。
【0147】
ショベル状態特定部３０１は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向き、及びショベル１００のアタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を含む。ショベル１００の位置は、例えば、ショベル１００の基準座標系における位置（ショベル１００基準点の緯度、経度、及び高度）である。ショベル状態特定部３０１は、測位装置Ｓ８の出力に基づいてショベル１００の位置及び向きを特定する。
【0148】
アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）は、角度センサ（ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３）の検出結果、及びブーム４アーム５及びバケット６の各々のサイズから特定できる。
【0149】
送信制御部３０２は、通信装置Ｔ１を介して、様々な情報を、遠隔操作室ＲＣに送信するための制御を行う。例えば、送信制御部３０２は、撮像装置Ｓ６が撮像した画像情報、空間認識装置Ｓ７に検出された測定情報、ショベル１００の位置及び向きを示した位置情報、並びに、アタッチメントの状態を示す状態情報を、遠隔操作室ＲＣに送信する制御を行う。送信制御部３０２による送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、本実施形態では、ショベル１００の作業によって変化した状況を認識できる時間間隔である。例えば、送信制御部３０２は、上記の情報を、１秒間隔で送信してもよい。
【0150】
受信制御部３０３は、通信装置Ｔ１を介して、様々な情報を、遠隔操作室ＲＣから受信するための制御を行う。例えば、受信制御部３０３は、遠隔操作室ＲＣから、ショベル１００の動作を制御するための制御指令を受信する。
【0151】
アクチュエータ駆動部３０４は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３０４は、遠隔操作室ＲＣから送信されてくる制御指令に基づき、比例弁３１を含む複数の電磁弁のそれぞれに対する制御指令を生成して出力する。
【0152】
制御指令を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
＜＜遠隔操作室の機能ブロック＞＞
遠隔操作室ＲＣの遠隔コントローラ４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、遠隔コントローラ４０は、プログラムを実行することで、受信制御部４０１と、検出部４０２と、作業現場空間生成部４０３と、制御指令生成部４０４と、制御モード切換部４０５と、信号生成部４０６と、送信制御部４０７と、を機能させる。
＜＜遠隔操作室の機能ブロック＞＞
遠隔操作室ＲＣの遠隔コントローラ４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、遠隔コントローラ４０は、プログラムを実行することで、受信制御部４０１と、検出部４０２と、作業現場空間生成部４０３と、制御指令生成部４０４と、制御モード切換部４０５と、信号生成部４０６と、送信制御部４０７と、を機能させる。
【0153】
受信制御部４０１は、通信装置Ｔ２を介して、様々な情報を、定点計測装置４００及びショベル１００の各々から受信するための制御を行う。例えば、受信制御部４０１は、定点計測装置４００（ショベル１００の周辺に存在する装置の一例）から、画像情報、測定情報及び位置情報を受信する。他の例としては、受信制御部４０１は、ショベル１００から、画像情報、測定情報、位置情報、及び状態情報を受信する。画像情報は、例えば、撮像装置Ｓ６により撮像された情報である。測定情報は、例えば、空間認識装置Ｓ７により測定された情報である。位置情報は、例えば、測位装置Ｓ８により測定された基準座標系におけるショベル１００の位置及び向きを示した情報である。状態情報は、例えば、アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を示した情報である。
【0154】
検出部４０２は、遠隔操作者ＯＰの体の所定部位の位置又は動きを検出できるように構成されている。本実施形態では、検出部４０２は、画像センサとしての撮像装置Ｃ１等の検出センサの出力に基づいて遠隔操作者ＯＰの手の位置を検出できるように構成されている。
【0155】
検出センサは、ＬＩＤＡＲであってもよく、遠隔操作者ＯＰが装着するグローブ型センサのようなモーションキャプチャ装置であってもよい。このグローブ型センサは、多数の慣性センサを含み、遠隔操作者ＯＰの各指の微細な動きを検出できるように構成されていてもよい。慣性センサは、例えば、ＩＭＵ（Inertial Measurement Unit）であってもよく、３軸加速度センサとジャイロセンサとの組み合わせであってもよい。なお、グローブ型センサは、グローブを構成している繊維の伸び縮みを検出する伸縮センサを含んで構成されていてもよい。また、グローブ型センサは、フォースフィードバック機能を有していてもよい。例えば、グローブ型センサは、必要に応じて、グローブ型センサを装着している遠隔操作者ＯＰが指又は手首を曲げる際に要する力の大きさを増減させることができるように構成されていてもよい。
【0156】
作業現場空間生成部４０３は、定点計測装置４００から受信した撮像情報、測定情報及び位置情報、並びに、ショベル１００から受信した撮像情報、測定情報、位置情報、及び状態情報に基づいて、作業現場の３次元形状を表した仮想的な作業現場空間を生成する。
【0157】
測定情報は、例えば、撮影地点（例えば、定点計測装置４００又はショベル１００）を基準とした作業現場の物体までの距離を示した測定結果である。つまり、作業現場空間生成部４０３は、測定情報及び位置情報に基づき、位置情報で示された位置から物体までの距離を認識できる。したがって、作業現場空間生成部４０３は、作業現場に配置されている複数の定点計測装置４００及びショベル１００の各々からの位置情報及び測定情報から、作業現場に存在する物体の位置及び物体の形状が表された３次元形状マップを生成できる。
【0158】
さらに、本実施形態に係る受信制御部４０１は、画像情報も受信している。撮像情報は、撮影地点（例えば、定点計測装置４００又はショベル１００）を基準とした作業現場の物体の色又は形状が表されている。そこで、作業現場空間生成部４０３は、３次元形状マップに、撮像情報で示された色又は形状を張り合わせることで、作業現場の色が表された３次元形状マップを生成できる。
【0159】
さらに、受信制御部４０１は、ショベル１００の位置を示した位置情報及び状態情報も受信している。そこで、作業現場空間生成部４０３は、３次元形状マップに、位置情報で示される位置に、状態情報で示される状態で、ショベル１００の３次元モデルを配置する。当該配置を行うために、作業現場空間生成部４０３は、ショベル１００の３次元モデルを予め保持している。
【0160】
さらに、作業現場空間生成部４０３は、施工情報記憶部４１１に記憶された施工情報を、３次元形状マップの生成に用いてもよい。
【0161】
また、作業現場空間生成部４０３は、ショベル１００に設けられた音入力装置Ｖ２が取得した音に関する情報、及び、定点計測装置４００に設けられた音入力装置Ｖ３が取得した音に関する情報の少なくとも一方に基づいて遠隔操作室ＲＣに設けられた音出力装置Ｖ１を制御してもよい。そして、作業現場空間生成部４０３は、遠隔操作室ＲＣ内において作業現場の音環境を再現してもよい。
【0162】
制御指令生成部４０４は、ショベル１００を制御するための制御指令を生成するように構成されている。本実施形態では、制御指令生成部４０４は、検出部４０２が検出した遠隔操作者ＯＰの手の位置に基づいてショベル１００を制御するための制御指令を生成する。
【0163】
具体的には、制御指令生成部４０４は、複数の制御モードのそれぞれにおいて、検出部４０２が検出した遠隔操作者ＯＰの手の位置に基づいて制御指令を生成するように構成されている。本実施形態では、複数の制御モードは、第１制御モードと第２制御モードとを含む。
【0164】
第１制御モードは、ショベル１００の所望の動きが開始される前にその所望の動きの内容を設定する際に選択される制御モードである。第１制御モードでは、遠隔操作者ＯＰは、例えば、ショベル１００の走行動作が開始される前にショベル１００の移動先の位置を設定できる。或いは、遠隔操作者ＯＰは、ショベル１００の掘削動作が開始される前に掘削位置を設定できる。或いは、遠隔操作者ＯＰは、ショベル１００の排土動作が開始される前に排土位置を設定できる。なお、排土位置は、バケット６内の土砂等をダンプトラックの荷台に積み込むための積み込み作業における積み込み位置であってもよい。
【0165】
第２制御モードは、ショベル１００の動きをリアルタイムで制御する際に選択される制御モードである。第２制御モードでは、遠隔操作者ＯＰは、例えば、掘削動作中の掘削アタッチメントの位置及び姿勢を調整できる。本実施形態では、遠隔操作者ＯＰは、掘削動作中に、上部旋回体３の旋回角度、ブーム４の回動角度、アーム５の回動角度、及び、バケット６の回動角度の少なくとも一つをリアルタイムで調整できる。
【0166】
制御モード切換部４０５は、制御モードを切り換えることができるように構成されている。本実施形態では、制御モード切換部４０５は、遠隔操作者ＯＰが遠隔操作室ＲＣに設けられたスイッチを押すことにより、制御モードのオンとオフの切り換え、及び、第１制御モードと第２制御モードの切り換えを行うことができるように構成されている。制御モードがオンのときに、遠隔操作者ＯＰは、自律式ショベルとして動作しているショベル１００の制御に介入できる。制御モードがオフのときには、遠隔操作者ＯＰは、自律式ショベルとして動作しているショベル１００の制御に介入できない。
【0167】
なお、制御モード切換部４０５は、遠隔操作者ＯＰが遠隔操作室ＲＣに設けられたマイクロフォンに音声指令を与えることにより、制御モードのオンとオフの切り換え、及び、第１制御モードと第２制御モードの切り換えを行うことができるように構成されていてもよい。また、制御モード切換部４０５は、検出部４０２が検出した遠隔操作者ＯＰの手の動きに基づいて制御モードのオンとオフの切り換え、及び、第１制御モードと第２制御モードの切り換えを行うように構成されていてもよい。
【0168】
信号生成部４０６は、操作センサ４３が検出した操作内容に基づいて、ショベル１００の各構成（例えば、ブーム４、アーム５、バケット６、上部旋回体３及び下部走行体１のうち何れか一つ以上）を動作させるための制御指令を生成する。
【0169】
送信制御部４０７は、制御指令生成部４０４又は信号生成部４０６により生成された制御指令を、ショベル１００に送信するための制御を行う。これにより、通信装置Ｔ２は、遠隔操作者ＯＰの手の動き、又は、遠隔操作者ＯＰによる操作装置４２の操作に応じ、ショベル１００を動作させるための制御指令をショベル１００に送信する。したがって、遠隔操作者ＯＰは、遠隔操作室ＲＣから、自律式ショベルとして自律的に動作しているショベル１００の制御に介入できる。
【0170】
次に、図７を参照し、遠隔操作者ＯＰが自律式ショベルとして動作しているショベル１００の制御に介入する際の遠隔制御システムＳＹＳの動作の一例について説明する。図７は、遠隔操作室ＲＣにおける遠隔操作者ＯＰの様子を示す図である。
【0171】
本実施形態では、遠隔操作室ＲＣにおける遠隔操作者ＯＰの前方の空間に、検出センサの一例である撮像装置Ｃ１の監視空間ＭＡが設定されている。なお、図７では、説明の便宜のため、実際には不可視である監視空間ＭＡの境界が破線で表されている。
【0172】
遠隔コントローラ４０の検出部４０２は、撮像装置Ｃ１が撮像した画像に基づき、監視空間ＭＡ内にある遠隔操作者ＯＰの手の位置を検出する。本実施形態では、検出部４０２は、第１制御モードでは、遠隔操作者ＯＰの右手の人差し指の先端の位置を認識する。また、検出部４０２は、第２制御モードでは、バケット６に対応付けができる物体として遠隔操作者ＯＰの右手を認識する。なお、検出部４０２は、遠隔操作者ＯＰが手に持っているバケット模型を、バケット６に対応付けができる物体として認識してもよい。
【0173】
遠隔コントローラ４０の作業現場空間生成部４０３は、作業現場の３次元形状を表した仮想的な作業現場空間を生成し、生成した仮想的な作業現場空間を表示装置Ｄ１に表示して遠隔操作者ＯＰに提示する。図７に示す例では、遠隔操作者ＯＰは、表示装置Ｄ１としてのＡＲゴーグルを装着している。そのため、遠隔操作者ＯＰは、表示装置Ｄ１を通じて仮想的な作業現場空間を視認できる。なお、図７では、説明のため、実際には不可視である作業現場の地形の３次元モデルＬＦが図示されている。３次元モデルＬＦは、遠隔操作者ＯＰがＡＲゴーグルを通じて視認しているものであり、図示されていないショベル１００の３次元モデルを含む。なお、遠隔操作者ＯＰは、ＡＲゴーグルを通じて自身の手も視認している。
【0174】
遠隔操作室ＲＣのこのような環境において、遠隔操作者ＯＰは、例えば、監視空間ＭＡ内で自身の手を適切に動かすことにより、自律式ショベルとして自律的に動作しているショベル１００の制御に介入できる。
【0175】
ここで、図８を参照し、第１制御モードにおいて遠隔コントローラ４０が制御指令を生成する処理（以下、「第１生成処理」とする。）の一例について説明する。図８は、第１生成処理の流れの一例を示すフローチャートである。遠隔コントローラ４０は、制御モードがオンに切り換えられ、且つ、第１制御モードが選択された場合に、所定の制御周期で繰り返しこの第１生成処理を実行する。
【0176】
最初に、検出部４０２は、指示点の位置を検出する（ステップＳＴ１）。指示点は、移動対象を指示するための点である。本実施形態では、指示点は、遠隔操作室ＲＣ内に設定される第１座標系における遠隔操作者ＯＰの右手の人差し指の先端の座標である。第１座標系は、例えば、遠隔操作室ＲＣ内の一点を原点とする局所座標系である。
【0177】
その後、検出部４０２は、指示点によって移動対象が特定されたか否かを判定する（ステップＳＴ２）。移動対象は、移動指示の対象となる物体であり、例えば、ショベル１００（下部走行体１）、又は、バケット６内の土砂等である。本実施形態では、移動対象は、ショベル１００（下部走行体１）である。
【0178】
具体的には、検出部４０２は、移動対象であるショベル１００の３次元モデルが表示されている座標範囲内に指示点の座標が含まれる場合に、指示点によって移動対象（ショベル１００）が特定されたと判定する。なお、仮想的な作業現場空間（監視空間ＭＡ）において、ショベル１００の３次元モデルは、実際の作業現場空間におけるショベル１００の位置（座標範囲）に対応する位置（座標範囲）に表示されている。
【0179】
また、検出部４０２は、移動対象であるショベル１００の３次元モデルが表示されている座標範囲内に指示点の座標が含まれる状態が所定時間にわたって継続した場合に、指示点によって移動対象（ショベル１００）が特定されたと判定してもよい。すなわち、その状態が所定時間にわたって継続されていない場合には、検出部４０２は、その座標範囲内に指示点の座標が含まれる場合であっても、指示点によって移動対象（ショベル１００）が特定されたと判定しないように構成されていてもよい。
【0180】
或いは、遠隔操作者ＯＰの複数の指の先端の座標が指示点として認識される場合、検出部４０２は、それらの複数の指示点の動きを検出することにより、物体を摘まむ手の動きが行われたか否かを判定してもよい。そして、検出部４０２は、物体を摘まむ手の動きが行われたと判定したときの指示点の座標が、ショベル１００の３次元モデルが表示されている座標範囲内に含まれる場合に、指示点によって移動対象（ショベル１００）が特定されたと判定してもよい。
【0181】
また、指示点によって特定された移動対象の３次元モデルは、仮想的な作業現場空間において強調表示されてもよい。移動対象として特定されたことを遠隔操作者ＯＰが容易に認識できるようにするためである。
【0182】
指示点によって移動対象が特定されていないと判定した場合（ステップＳＴ２のＮＯ）、遠隔コントローラ４０は、今回の第１生成処理を終了させる。一方、指示点によって移動対象が特定されたと判定した場合（ステップＳＴ２のＹＥＳ）、検出部４０２は、指示点によって移動先の位置が特定されたか否かを判定する（ステップＳＴ３）。本実施形態では、移動先の位置は、走行動作によってショベル１００が到達する位置である。
【0183】
具体的には、検出部４０２は、移動対象が特定された後で、仮想的な作業現場空間（監視空間ＭＡ）において指示点が所定時間にわたって一座標に留まった場合に、その座標を移動先の位置として特定する。この場合、移動先の位置として特定された座標は、仮想的な作業現場空間において強調表示されてもよい。移動先の位置として特定されたことを遠隔操作者ＯＰが容易に認識できるようにするためである。
【0184】
指示点によって移動先の位置が特定されていないと判定した場合（ステップＳＴ３のＮＯ）、遠隔コントローラ４０は、今回の第１生成処理を終了させる。一方、指示点によって移動先の位置が特定されたと判定した場合（ステップＳＴ３のＹＥＳ）、遠隔コントローラ４０の制御指令生成部４０４は、移動対象を移動先の位置へ移動させるための制御指令を生成する（ステップＳＴ４）。本実施形態では、制御指令生成部４０４は、第１座標系（仮想的な作業現場空間）における移動先の位置（座標）から第２座標系（実際の作業現場空間）における移動先の位置（座標）を導き出す。第２座標系は、例えば、世界測地系である。但し、第２座標系は、実際の作業現場空間における一点を原点とする局所座標系であってもよい。そして、制御指令生成部４０４は、第２座標系（実際の作業現場空間）における移動先の位置（座標）に関する情報を含む制御指令を生成する。この情報は、例えば、第２座標系（実際の作業現場空間）における現在のショベル１００の位置（座標）と移動先の位置（座標）とを結ぶ移動経路に関する情報であってもよい。なお、ショベル１００の位置（座標）は、例えば、ショベル１００の中心点の座標である。また、ショベル１００の中心点は、例えば、ショベル１００の旋回軸とショベル１００の接地面（仮想平面）との交点である。
【0185】
その後、遠隔コントローラ４０の送信制御部４０７は、制御指令生成部４０４が生成した制御指令をショベル１００に向けて送信する。ショベル１００は、遠隔コントローラ４０から受信した制御指令に応じて下部走行体１（左走行油圧モータ１Ｌ及び右走行油圧モータ１Ｒ）を動作させて移動先の位置まで移動する。
【0186】
このようにして、遠隔コントローラ４０は、遠隔操作者ＯＰの介入操作を受け、自律式ショベルとして自律的に動作しているショベル１００の動きを変更できる。
【0187】
次に、図９を参照し、第２制御モードにおいて遠隔コントローラ４０が制御指令を生成する処理（以下、「第２生成処理」とする。）の一例について説明する。図９は、第２生成処理の流れの一例を示すフローチャートである。遠隔コントローラ４０は、制御モードがオンに切り換えられ、且つ、第２制御モードが選択された場合に、所定の制御周期で繰り返しこの第２生成処理を実行する。ここでは、遠隔コントローラ４０は、掘削動作中に第２制御モードが選択された場合の第２生成処理の一例について説明する。
【0188】
最初に、遠隔コントローラ４０は、第１時点において所定形状を検出する（ステップＳＴ１１）。本実施形態では、所定形状は、バケット６の形状に対応付けることができる形状であり、例えば、遠隔操作者ＯＰが持っているバケット模型の形状、又は、バケット６の形状に似せるために丸められた遠隔操作者ＯＰの手の形状等である。具体的には、遠隔コントローラ４０は、例えば、所定形状の輪郭線を構成する複数の点（例えば頂点）の位置（座標）を検出することによって所定形状を検出する。
【0189】
遠隔コントローラ４０は、例えば、遠隔操作者ＯＰの手の形状を所定形状として検出した場合、所定形状が検出されたことを遠隔操作者ＯＰに認識させることができるように、ＡＲゴーグル等を通じて遠隔操作者ＯＰの手を強調表示させてもよい。
【0190】
その後、第２時点において、遠隔コントローラ４０は、所定形状の回動角度を検出する（ステップＳＴ１２）。本実施形態では、遠隔コントローラ４０の検出部４０２は、第１時点において検出した所定形状の位置（姿勢）と第２時点において検出した所定形状の位置（姿勢）とに基づき、第１時点と第２時点との間の期間（例えば１秒間）における仮想回動軸の回りの所定形状の回動角度を算出する。遠隔操作者ＯＰの手の形状が所定形状として検出される場合には、仮想回動軸は、例えば、遠隔操作者ＯＰの手首の位置に設定される。バケット模型の形状が所定形状として検出される場合には、仮想回動軸は、実際のバケット６の回動軸に対応する位置に設定される。
【0191】
その後、遠隔コントローラ４０は、算出した回動角度に基づいてバケット６を回動させる制御指令を生成する（ステップＳＴ１３）。本実施形態では、遠隔コントローラ４０は、算出した回動角度だけバケット６を回動させるための制御指令を生成する。制御指令は、バケット６の回動方向が所定形状の回動方向と同じになるように生成される。
【0192】
その後、遠隔コントローラ４０の送信制御部４０７は、制御指令生成部４０４が生成した制御指令をショベル１００に向けて送信する。ショベル１００は、遠隔コントローラ４０から受信した制御指令に応じてバケット６を回動させる。
【0193】
また、フォースフィードバック機能を有するグローブ型センサを遠隔操作者ＯＰが装着している場合、遠隔コントローラ４０は、掘削反力に応じたフォースフィードバックを行うように構成されていてもよい。具体的には、遠隔コントローラ４０は、掘削反力が大きいほど、遠隔操作者ＯＰが手首の回りで、バケット閉じ方向に対応する方向に、手を回動させにくくなるように、グローブの柔らかさ（伸縮しやすさ）等を変化させてもよい。なお、掘削反力は、例えば、掘削アタッチメントの姿勢と油圧アクチュエータ内の作動油の圧力とに基づいて算出される。油圧アクチュエータ内の作動油の圧力は、例えば、圧力センサによって検出される。油圧アクチュエータは、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等のうちの少なくとも一つである。
【0194】
また、遠隔コントローラ４０は、所定形状の移動距離を算出するように構成されていてもよい。本実施形態では、遠隔コントローラ４０の検出部４０２は、第１時点において検出した所定形状の位置（姿勢）と第２時点において検出した所定形状の位置（姿勢）とに基づき、第１時点と第２時点との間の期間（例えば１秒間）における所定形状の前後方向、左右方向、及び上下方向のそれぞれにおける移動距離を算出する。
【0195】
そして、遠隔コントローラ４０は、算出した移動距離に基づいてバケット６を移動させる制御指令を生成する（ステップＳＴ１３）。本実施形態では、遠隔コントローラ４０は、算出した移動距離だけ算出した移動方向にバケット６を移動させるための制御指令を生成する。この場合、実際の作業現場空間における移動距離は、仮想的な作業現場空間における移動距離と同じであってもよく、仮想的な作業現場空間における移動距離に所定の係数を乗じた値であってもよい。具体的には、遠隔コントローラ４０は、算出した移動距離だけ算出した移動方向にバケット６を移動させるべく、上部旋回体３、ブーム４、アーム５、及びバケット６のうちの少なくとも一つを動かすための制御指令を生成する。このようにして、遠隔コントローラ４０は、遠隔操作者ＯＰの介入操作を受け、自律式ショベルとして自律的に動作しているショベル１００の動きを変更できる。
【0196】
上述のように、本開示の実施形態に係る遠隔制御システムＳＹＳは、遠隔制御されるショベル１００から離れた場所にある遠隔操作室ＲＣにいる操作者である遠隔操作者ＯＰの体の所定部位の位置に関する情報を取得する検出センサと、ショベル１００が位置する作業現場を表す画像を遠隔操作者ＯＰに対して表示する表示装置Ｄ１と、その検出センサの出力に基づいて遠隔操作者ＯＰの体の所定部位の位置又は動き（位置の推移）を検出してショベル１００を制御するための制御指令を生成する制御装置としての遠隔コントローラ４０と、その制御指令をショベル１００に送信する通信装置Ｔ２と、を備える。遠隔操作者ＯＰの体の所定部位の位置に関する情報を取得する検出センサは、例えば、撮像装置（カメラ）、ＬＩＤＡＲ、又は、モーションキャプチャ装置等である。作業現場を表す画像は、２次元画像（カメラ画像）、裸眼立体視画像、又は、仮想的な作業空間を表す３次元モデルであってもよい。そのため、表示装置Ｄ１は、液晶ディスプレイ、有機ＥＬディスプレイ、ＸＲゴーグル、ＸＲヘッドセット、又はプロジェクタ等の何れであってもよい。また、作業現場を表す画像は、遠隔制御の対象であるショベル１００を表す画像を含んでいてもよい。そして、ショベル１００を表す画像は、ショベル１００の３次元モデルであってもよい。また、遠隔操作者ＯＰの体の所定部位は、例えば、指、手、腕、又は上半身等である。
【0197】
この構成より、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、必要に応じて、自律的に動作しているショベル１００を操作できる。すなわち、無人運転が行われている場合であっても、遠隔操作者ＯＰは、自律的に動作しているショベル１００の制御に介入してショベル１００を遠隔操作できる。そのため、遠隔制御システムＳＹＳは、ショベル１００の作業効率を向上させることができる。
【0198】
また、遠隔コントローラ４０は、複数の制御モードのそれぞれにおいて、検出センサの出力に基づいて制御指令を生成するように構成されていてもよい。この場合、複数の制御モードは、ショベル１００の所望の動きが開始される前にその所望の動きの内容を設定する際に選択される第１制御モードと、ショベル１００の動きをリアルタイムで制御する際に選択される第２制御モードとを含んでいてもよい。第１制御モードは、例えば、ショベル１００の移動先の位置、掘削位置、又は排土位置等を遠隔操作者ＯＰが指示する際に利用される。すなわち、第１制御モードでは、遠隔操作者ＯＰは、ショベル１００の動きを大まかに操作できる。また、第２制御モードは、例えば、掘削動作中のショベル１００に対し、上部旋回体３の旋回角度、ブーム４の回動角度、アーム５の回動角度、又は、バケット６の回動角度等を遠隔操作者ＯＰが変更する際に利用される。すなわち、第２制御モードでは、遠隔操作者ＯＰは、掘削アタッチメントの動きを細かく操作できる。
【0199】
この構成により、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、介入操作の内容に応じて制御モードを使い分けることができる。また、遠隔操作者ＯＰは、各制御モードに適した操作方法で介入操作を実行できる。操作方法は、例えば、操作装置４２を用いずに、遠隔操作者ＯＰの手の位置又は動きを用いた方法で行われる。
【0200】
また、遠隔コントローラ４０は、検出センサの出力に基づき、ショベル１００から離れた場所にある遠隔操作室ＲＣ内に設定される第１座標系における遠隔操作者ＯＰの体の所定部位の位置である第１座標を導き出し、第１座標系と作業現場に設定される第２座標系とを対応付け、第１座標に対応する第２座標系における第２座標を導き出し、第２座標に基づいて制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ４０は、遠隔操作者ＯＰの右手の人差し指の指先の位置を第１座標として導き出し、第１座標系（仮想的な作業現場空間）において遠隔操作者ＯＰが指し示す位置（第１座標）に対応する第２座標系（実際の作業現場空間）における位置（第２座標）を特定することができる。そして、遠隔コントローラ４０は、例えば、第２座標系におけるショベル１００の中心点の座標を第２座標まで移動させるためのショベル１００の走行動作をもたらす制御指令を生成する。或いは、遠隔コントローラ４０は、第２座標系におけるバケット６の中心点の座標を第２座標まで移動させるための掘削アタッチメントの動作をもたらす制御指令を生成してもよい。排土動作を実行させるためである。なお、遠隔コントローラ４０は、遠隔操作者ＯＰが実際の作業現場の様子を視認できるよう、実際の作業現場を表す画像を表示している。そのため、遠隔操作者ＯＰは、実際の作業現場空間における所望の位置（第２座標）に対応する遠隔操作室ＲＣ内の位置（第１座標）を容易に特定することができる。
【0201】
この構成により、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、遠隔操作室ＲＣ内において、実際の作業現場空間における所望の位置に対応する仮想的な作業現場空間内の位置を正確に指し示すことができる。そして、遠隔コントローラ４０は、その所望の位置である第２座標に関連付けられた制御指令を容易に生成することができる。そのため、遠隔制御システムＳＹＳは、ショベル１００の作業効率を向上させることができる。
【0202】
また、撮像装置Ｃ１等の検出センサは、図７に示すように、遠隔操作者ＯＰの周囲に設定される監視空間ＭＡにおける遠隔操作者ＯＰの少なくとも手の位置に関する情報を取得するように構成されていてもよい。本実施形態では、監視空間ＭＡは、遠隔操作室ＲＣにおける操作席ＤＳの前方に設定されている。そして、遠隔コントローラ４０は、撮像装置Ｃ１が取得した画像に画像認識処理を施すことによって遠隔操作者ＯＰの手の位置を導き出す。
【0203】
この構成により、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、監視空間ＭＡ内で手を動かすことにより、自律的に動作しているショベル１００の制御に介入できる。そのため、遠隔操作者ＯＰは、ショベル１００の制御に介入したいときにだけ、監視空間ＭＡ内に手を差し入れればよい。すなわち、遠隔制御システムＳＹＳは、監視空間ＭＡの外での遠隔操作者ＯＰの手の動きが誤ってショベル１００の動きに反映されてしまうのを防止できる。
【0204】
また、遠隔コントローラ４０は、作業現場におけるショベル１００による所定の動作が行われる前に、その所定の動作に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ４０は、ショベル１００による走行動作が行われる前に、その走行動作に関する制御指令を生成してもよい。この場合、制御指令は、移動先の位置に関する情報を含んでいてもよい。なお、ショベル１００は、移動先の位置まで移動した後で掘削動作を自律的に実行してもよい。また、遠隔コントローラ４０は、ショベル１００による排土動作が行われる前に、その排土動作に関する制御指令を生成してもよい。この場合、制御指令は、排土位置に関する情報を含んでいてもよい。また、遠隔コントローラ４０は、ショベル１００による積み込み動作が行われる前に、その積み込み動作に関する制御指令を生成してもよい。この場合、制御指令は、積み込み位置に関する情報を含んでいてもよい。なお、ショベル１００は、排土位置又は積み込み位置が設定された後、掘削動作、ブーム上げ旋回動作、排土動作、及びブーム下げ旋回動作を含む一連の動作を自律的に繰り返してもよい。この場合、各回の掘削動作によって掘削された土砂等は、設定された排土位置又は積み込み位置に排土されてもよい。或いは、遠隔コントローラ４０は、作業現場におけるショベル１００によって所定の動作が行われているときにその所定の動作に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ４０は、ショベル１００によって掘削動作が行われているときにその掘削動作に関する制御指令を生成してもよい。この場合、制御指令は、ブーム４の回動角度、アーム５の回動角度、及びバケット６の回動角度のうちの少なくとも一つに関する情報を含んでいてもよい。
【0205】
この構成により、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、自律的に動作しているショベル１００の制御に介入し、ショベル１００に様々な動作を実行させることができる。具体的には、遠隔操作者ＯＰは、所望の動作をショベル１００に実行させる前にその所望の動作の内容を決定できる。或いは、遠隔操作者ＯＰは、所望の動作をリアルタイムでショベル１００に実行させることができる。このように、遠隔制御システムＳＹＳは、遠隔操作者ＯＰが適切なタイミングでショベル１００の制御に介入できるようにすることを可能にする。
【0206】
また、遠隔コントローラ４０は、検出センサの出力に基づいて遠隔操作者ＯＰの指先の位置を特定し、特定した指先の位置に基づいてショベル１００の旋回に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ４０は、バケット６の形状に似せて曲げられた遠隔操作者ＯＰの手が肘を旋回中心として左旋回方向に対応する方向に旋回したことを検出した場合に、その肘を旋回中心とする手の旋回角度に対応する旋回角度だけ上部旋回体３を旋回させるための制御指令を生成してもよい。
【0207】
この構成により、遠隔制御システムＳＹＳでは、遠隔操作者ＯＰは、自律的に動作しているショベル１００の制御に介入し、上部旋回体３を所望の旋回角度だけ所望の旋回方向に旋回させることができる。
【0208】
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはなく、後述する実施形態に制限されることもない。上述した或いは後述する実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
【符号の説明】
【0209】
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・エンジン ３０・・・ショベルコントローラ ３１・・・比例弁 ４０・・・遠隔コントローラ ４１・・・記憶装置 ４２・・・操作装置 ４３・・・操作センサ １００・・・ショベル ３０１・・・ショベル状態特定部 ３０２・・・送信制御部 ３０３・・・受信制御部 ３０４・・・アクチュエータ駆動部 ４００・・・定点計測装置 ４０１・・・受信制御部 ４０２・・・検出部 ４０３・・・作業現場空間生成部 ４０４・・・制御指令生成部 ４０５・・・制御モード切換部 ４０６・・・信号生成部 ４０７・・・送信制御部 ４１１・・・施工情報記憶部 ４１２・・・作業現場情報記憶部 ４４０・・・コントローラ ４４１・・・送信制御部 ４５０・・・位置情報記憶部 Ｃ１・・・撮像装置 Ｃ３・・・撮像装置 Ｄ１・・・表示装置 ＬＦ・・・３次元モデル ＭＡ・・・監視空間 ＯＰ・・・遠隔操作者 ＲＣ・・・遠隔操作室 Ｓ１・・・ブーム角度センサ Ｓ２・・・アーム角度センサ Ｓ３・・・バケット角度センサ Ｓ４・・・機体傾斜センサ Ｓ５・・・旋回角速度センサ Ｓ６・・・撮像装置 Ｓ７・・・空間認識装置 Ｓ８・・・測位装置 Ｓ１１・・・空間認識装置 ＳＹＳ・・・遠隔制御システム Ｔ１・・・通信装置 Ｔ２・・・通信装置 Ｔ３・・・通信装置 Ｖ１・・・音出力装置 Ｖ２・・・音入力装置 Ｖ３・・・音入力装置
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】