特開 2023-183992 支援システム、遠隔操作支援装置、作業機械、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183992

(43)【公開日】2023-12-28

(54)【発明の名称】支援システム、遠隔操作支援装置、作業機械、プログラム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20231221BHJP

【ＦＩ】

E02F9/26 B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022097860

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】安達 大稀

(72)【発明者】

【氏名】續木 竜次

【テーマコード（参考）】

2D015

【Ｆターム（参考）】

2D015HA03

(57)【要約】

【課題】作業機械の周辺のより広い範囲の作業対象の形状を表す画像をユーザに提示することが可能な技術を提供する。
【解決手段】本開示の一実施形態に係る遠隔操作支援システムＳＹＳは、ショベル１００のアタッチメントＡＴに取り付けられ、ショベル１００の周辺の作業対象の形状に関する画像データを取得する撮像装置４５と、アタッチメントＡＴの動作時に撮像装置４５により取得されるデータに基づき、ショベル１００の周辺の作業対象の形状を表す環境地図の画像を表示する表示装置２０８と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

作業機械のアタッチメントに取り付けられ、前記作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
前記アタッチメントの動作時に前記取得部により取得されるデータに基づき、前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
支援システム。

【請求項2】

前記表示部は、前記アタッチメントの動作時に前記取得部により取得されるデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示する、
請求項１に記載の支援システム。

【請求項3】

ユーザからの入力を受け付ける入力部を備え、
前記表示部は、前記入力部からの所定の入力に応じて、前記所定の視点を変更する、
請求項２に記載の支援システム。

【請求項4】

ユーザからの入力を受け付ける入力部と、
前記入力部からの、前記作業対象の形状を表す環境地図の画像上での位置を指定する入力に応じて、前記アタッチメントの作業部位の軌道を生成する生成部と、を備える、
請求項１に記載の支援システム。

【請求項5】

互いに異なる複数の前記所定の視点から見たときの前記作業対象の形状を表す環境地図の画像上での位置を指定する、前記入力部からの入力に応じて、前記アタッチメントの作業部位の軌道を生成する生成部を備える、
請求項３に記載の支援システム。

【請求項6】

前記生成部は、前記所定の視点としての第１の視点から見たときの前記作業対象の形状を表す環境地図の画像上での位置を指定する、前記入力部からの入力に応じて、前記アタッチメントの作業部位の概略的な軌道を生成すると共に、前記所定の視点としての前記第１の視点と異なる第２の視点から見たときの前記作業対象の形状を表す環境地図の画像上での位置を指定する、前記入力部からの入力に応じて、前記概略的な軌道を編集することにより、前記アタッチメントの作業部位の軌道を生成する、
請求項５に記載の支援システム。

【請求項7】

前記作業対象の形状を表す環境地図の画像上での位置を移動させながら指定される、前記入力部からの入力に応じて、前記アタッチメントの作業部位の概略的な軌道を生成すると共に、前記作業対象の形状を表す環境地図の画像上での位置を指定する、前記入力部からの入力に応じて、前記概略的な軌道の構成点の編集を行うことにより、前記アタッチメントの作業部位の軌道を生成する生成部を備える、
請求項３に記載の支援システム。

【請求項8】

前記表示部は、前記作業対象の形状を表す環境地図の画像に重畳して、前記生成部により生成される軌道に沿って前記アタッチメントの作業部位が動作する際の前記作業機械の動作をシミュレーションした動画像を表示する、
請求項４に記載の支援システム。

【請求項9】

前記表示部は、前記生成部により生成される軌道が前記アタッチメントの作業部位の移動可能な範囲を逸脱している場合、前記アタッチメントの作業部位の軌道の修正を促す通知を表示する、
請求項４に記載の支援システム。

【請求項10】

前記表示部は、前記入力部を通じて受け付けられる、前記生成部により生成される軌道に対する前記作業機械の動作速度に関する条件が、前記作業機械の動作速度の上限を超えている場合、前記アタッチメントの軌道の修正、又は前記作業機械の動作速度に関する条件の修正を促す通知を表示する、
請求項４に記載の支援システム。

【請求項11】

前記表示部は、前記アタッチメントの動作に応じて、前記環境地図を表す画像を更新する、
請求項１に記載の支援システム。

【請求項12】

作業機械に関する遠隔操作を受け付ける操作部と、
オペレータによる前記操作部の操作状態に関する信号を前記作業機械に送信すると共に、前記作業機械のアタッチメントに取り付けられる取得部により取得される、前記作業機械の周辺の作業対象の形状に関するデータを前記作業機械から受信する通信部と、
前記アタッチメントの動作時に前記取得部により取得される、前記作業機械の周辺の作業対象の形状に関するデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
遠隔操作支援装置。

【請求項13】

アタッチメントと、
前記アタッチメントに取り付けられ、作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
前記アタッチメントの動作時に前記取得部により取得されるデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
作業機械。

【請求項14】

情報処理装置に、
作業機械のアタッチメントに取り付けられる取得部により前記アタッチメントの動作時に取得される、前記作業機械の周辺の作業対象の形状に関するデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示部に表示させる表示ステップを実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、支援システム等に関する。

【背景技術】

【0002】

例えば、オペレータによる作業機械の操作を支援するための画像を表示する技術が開示されている（特許文献１参照）。

【0003】

特許文献１では、作業機械の上部旋回体の運転席に設置される撮像装置及び距離検出装置の出力に基づき、作業機械の周辺の作業対象（地面）の形状を表す画像をオペレータに提示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０３８６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、作業機械の周辺の作業対象に関するデータを取得するための撮像装置や距離検出装置が上部旋回体の運転室に取り付けられ、作業機械から見たときの遠近方向の撮像範囲が固定される。そのため、例えば、作業機械の周辺の作業対象に関するデータを取得可能な範囲が限定され、その結果、作業機械の周辺の作業対象の形状を表す画像として表示可能な範囲が限定される可能性がある。

【0006】

そこで、上記課題に鑑み、作業機械の周辺のより広い範囲の作業対象の形状を表す画像をユーザに提示することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本開示の一実施形態では、
作業機械のアタッチメントに取り付けられ、前記作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
前記アタッチメントの動作時に前記取得部により取得されるデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
支援システムが提供される。

【0008】

また、本開示の他の実施形態では、
作業機械に関する遠隔操作を受け付ける操作部と、
オペレータによる前記操作部の操作状態に関する信号を前記作業機械に送信すると共に、前記作業機械のアタッチメントに取り付けられる取得部により取得される、前記作業機械の周辺の作業対象の形状に関するデータを前記作業機械から受信する通信部と、
前記アタッチメントの動作時に前記取得部により取得される、前記作業機械の周辺の作業対象の形状に関するデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
遠隔操作支援装置が提供される。

【0009】

また、本開示の更に他の実施形態では、
アタッチメントと、
前記アタッチメントに取り付けられ、作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
前記アタッチメントの動作時に前記取得部により取得されるデータに基づき、前記作業対象の形状を表す環境地図の画像を表示する表示部と、を備える、
作業機械が提供される。

【0010】

また、本開示の更に他の実施形態では、
情報処理装置に、
作業機械のアタッチメントに取り付けられる取得部により前記アタッチメントの動作時に取得される、前記作業機械の周辺の作業対象の形状に関するデータに基づき、前記作業機械の周辺の所定の視点から見たときの前記作業対象の形状を表す環境地図の画像を表示部に表示させる表示ステップを実行させる、
プログラムが提供される。

【発明の効果】

【0011】

上述の実施形態によれば、作業機械の周辺のより広い範囲の作業対象の形状を表す画像をユーザに提示することができる。

【図面の簡単な説明】

【0012】

【図1】遠隔操作支援システムの一例を示す図である。

【図2】ショベルの一例を示す上面図である。

【図3】ショベルのハードウェア構成の一例を示すブロック図である。

【図4】遠隔操作支援装置のハードウェア構成の一例を示す図である。

【図5】遠隔操作支援システムの機能構成の一例を示す機能ブロック図である。

【図6】ショベルの周辺の作業対象の形状を表す環境地図の表示画面の第１例を示す図である。

【図7】ショベルの周辺の作業対象の形状を表す環境地図の表示画面の第２例を示す図である。

【図8】ショベルの周辺の作業対象の形状を表す環境地図の表示画面の第３例を示す図である。

【図9】ショベルの周辺の作業対象の形状を表す環境地図の表示画面の第４例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して実施形態について説明する。

【0014】

［遠隔操作支援システムの概要］
まず、図１、図２を参照して、本実施形態に係る遠隔操作支援システムＳＹＳの概要について説明をする。

【0015】

図１は、遠隔操作支援システムＳＹＳの一例を示す図である。図１において、ショベル１００は、左側面図が示される。図２は、ショベル１００の一例を示す上面図である。以下、ショベル１００の上面視でアタッチメントＡＴが延び出す方向（図２の上方向）を"前"と規定して、ショベル１００における方向、或いは、ショベル１００から見た方向を説明する場合がある。

【0016】

図１に示すように、遠隔操作支援システムＳＹＳは、ショベル１００と、遠隔操作支援装置２００とを含む。

【0017】

遠隔操作支援システムＳＹＳは、遠隔操作支援装置２００を用いて、ショベル１００と連携し、ショベル１００の遠隔操作に関する支援を行う。

【0018】

遠隔操作支援システムＳＹＳに含まれるショベル１００は、１台であってもよいし、複数台であってもよい。

【0019】

ショベル１００は、遠隔操作支援システムＳＹＳにおいて、遠隔操作される対象の作業機械である。

【0020】

尚、遠隔操作される対象は、ショベル１００とは異なる他の作業機械（例えば、クローラクレーン等）であってもよい。

【0021】

図１、図２に示すように、ショベル１００は、下部走行体１と、上部旋回体３と、ブーム４、アーム５、及び、バケット６を含むアタッチメントＡＴと、キャビン１０とを備える。

【0022】

下部走行体１は、クローラ１Ｃを用いて、ショベル１００を走行させる。クローラ１Ｃは、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含む。クローラ１ＣＬは、走行油圧モータ１ＭＬで油圧駆動される。同様に、クローラ１ＣＬは、走行油圧モータ１ＭＲで油圧駆動される。これにより、下部走行体１は、自走することができる。

【0023】

上部旋回体３は、旋回機構２を介して下部走行体１に旋回可能に搭載される。例えば、上部旋回体３は、旋回油圧モータ２Ｍで旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。

【0024】

ブーム４は、左右方向に沿う回転軸を中心として俯仰可能なように、上部旋回体３の前部中央に取り付けられる。アーム５は、左右方向に沿う回転軸を中心として回転可能なように、ブーム４の先端に取り付けられる。バケット６は、左右方向に沿う回転軸を中心として回転可能なように、アーム５の先端に取り付けられる。

【0025】

バケット６は、エンドアタッチメントの一例であり、例えば、掘削作業に用いられる。

【0026】

バケット６は、ショベル１００の作業内容に応じて、適宜交換可能な態様で、アーム５の先端に取り付けられている。つまり、アーム５の先端には、バケット６に代えて、バケット６とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム５の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。

【0027】

ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。

【0028】

キャビン１０は、オペレータが搭乗し、ショベル１００を操作するための操縦室である。キャビン１０は、例えば、上部旋回体３の前部左側に搭載される。

【0029】

例えば、ショベル１００は、ショベル１００の外部から遠隔操作（リモート操作）が可能に構成される。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。

【0030】

例えば、遠隔操作には、遠隔操作支援装置２００で行われるショベル１００のアクチュエータに関する操作入力によって、ショベル１００が操作される態様が含まれる。

【0031】

遠隔操作支援装置２００は、例えば、ショベル１００の作業を外部から管理する管理センタ等に設けられる。また、遠隔操作支援装置２００は、可搬型の操作端末であってもよく、この場合、オペレータは、ショベル１００の周辺からショベル１００の作業状況を直接確認しながらショベル１００の遠隔操作を行うことができる。

【0032】

ショベル１００は、例えば、後述の通信装置６０を通じて、後述の撮像装置４０が出力する撮像画像に基づくショベル１００の前方を含む周辺の様子を表す画像（以下、「周辺画像」）を遠隔操作支援装置２００に送信してよい。そして、遠隔操作支援装置２００は、ショベル１００から受信される画像（周辺画像）を表示装置に表示させてよい。また、遠隔操作支援装置２００の表示装置には、ショベル１００に関する各種情報を提示する情報画面が表示されてよい。これにより、遠隔操作支援装置２００を利用するオペレータは、例えば、後述の表示装置２０８に表示されるショベル１００の周辺の様子を表す画像や情報画面等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、通信装置６０により遠隔操作支援装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

【0033】

また、遠隔操作には、例えば、ショベル１００の周囲の人（例えば、作業者）のショベル１００に対する外部からの音声入力やジェスチャ入力等によって、ショベル１００が操作される態様が含まれてよい。この際、ショベル１００の周囲からジェスチャで遠隔操作を行うオペレータは、可搬型の遠隔操作支援装置２００を所持し、遠隔操作支援装置２００（表示装置２０８）に表示される周辺画像や情報画面を確認可能であってもよい。具体的には、ショベル１００は、自機に搭載される音声入力装置（例えば、マイクロフォン）やジェスチャ入力装置（例えば、撮像装置）等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル１００は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してもよい。

【0034】

また、ショベル１００の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置２００と同様の機能を有する遠隔監視支援装置が設けられてもよい。これにより、遠隔監視支援装置のユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル１００の作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル１００のオペレータによる操作に介入し緊急停止させることができる。

【0035】

遠隔操作支援装置２００は、ショベル１００と通信を行うことにより相互に連携し、ショベル１００の稼働に関する支援を行う。

【0036】

遠隔操作支援装置２００は、例えば、ショベル１００の作業現場内の管理事務所、或いは、ショベル１００の作業現場とは異なる場所にある、ショベル１００の稼働状況等を管理する管理センタ等に設置されるサーバや管理用の端末装置である。管理用の端末装置は、例えば、デスクトップ型のＰＣ（Personal Computer）等の定置型の端末装置であってもよいし、タブレット端末、スマートフォン、ラップトップ型のＰＣ等の可搬型の端末装置（携帯端末）であってもよい。後者の場合、作業現場の作業者や作業を監督する監督者や作業現場を管理する管理者等は、可搬型の遠隔操作支援装置２００を所持して作業現場内を移動することができる。また、後者の場合、オペレータは、例えば、可搬型の遠隔操作支援装置２００をショベル１００のキャビンに持ち込むことができる。

【0037】

遠隔操作支援装置２００は、例えば、ショベル１００から稼働状態に関するデータを取得する。これにより、遠隔操作支援装置２００は、ショベル１００の稼働状態を把握し、ショベル１００の異常の有無等を監視することができる。また、遠隔操作支援装置２００は、後述の表示装置２０８を通じて、ショベル１００の稼働状態に関するデータを表示し、ユーザに確認させることができる。

【0038】

また、遠隔操作支援装置２００は、例えば、ショベル１００にコントローラ３０等の処理で利用されるプログラムや参照データ等の各種データをショベル１００に送信する。これにより、ショベル１００は、遠隔操作支援装置２００からダウンロードされる各種データを用いて、ショベル１００の稼働に関する各種の処理を行うことができる。

【0039】

また、ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（即ち、左右の一対のクローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させることが可能に構成されてもよい。以下、オペレータの操作には、キャビン１０のオペレータの操作装置２６に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。

【0040】

［遠隔操作支援システムのハードウェア構成］
次に、図１、図２に加えて、図３、図４を参照して、遠隔操作支援システムＳＹＳのハードウェア構成について説明する。

【0041】

＜ショベルのハードウェア構成＞
図３は、ショベル１００のハードウェア構成の一例を示すブロック図である。

【0042】

尚、図３では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

【0043】

ショベル１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

【0044】

≪油圧駆動系≫
図３に示すように、ショベル１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

【0045】

油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。

【0046】

尚、ショベル１００は、油圧アクチュエータＨＡの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。

【0047】

エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

【0048】

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。

【0049】

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

【0050】

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。

【0051】

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、自動運転機能に対応する操作指令に応じて、油圧アクチュエータＨＡを駆動する。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

【0052】

≪操作系≫
図３に示すように、ショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

【0053】

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

【0054】

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。

【0055】

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられ、その結果として、油圧アクチュエータＨＡの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

【0056】

例えば、図３に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐するパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータＨＡ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

【0057】

また、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

【0058】

また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータＨＡを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。

【0059】

また、上述の如く、油圧アクチュエータＨＡの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ３０は、操作装置２６の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル１００が遠隔操作される場合、操作装置２６は省略されてもよい。

【0060】

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。つまり、複動式である油圧アクチュエータＨＡごとに、２つの油圧制御弁３１が設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。よって、コントローラ３０は、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現することができる。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。

【0061】

また、操作装置２６が電気式の場合、コントローラ３０は、油圧制御弁３１から操作装置２６の操作内容（操作信号）に応じたパイロット圧を直接的にコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。

【0062】

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、遠隔操作機能を実現することができる。

【0063】

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の遠隔操作機能をより適切に実現することができる。

【0064】

≪ユーザインタフェース系≫
図３に示すように、ショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

【0065】

出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータや外部の遠隔操作のオペレータ）やショベル１００の周辺の人（例えば、作業者や作業車両の運転者）等に向けて各種情報を出力する。

【0066】

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置５０Ａ等を含む。照明機器は、例えば、警告灯（インジケータランプ）等である。表示装置５０Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。例えば、図２に示すように、照明機器や表示装置５０Ａは、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置５０Ａは、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

【0067】

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置５０Ｂを含む。音出力装置５０Ｂには、例えば、ブザーやスピーカ等が含まれる。音出力装置５０Ｂは、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（作業者等）に聴覚的な方法で各種情報を出力してよい。

【0068】

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

【0069】

入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。例えば、図２に示すように、入力装置５２は、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。

【0070】

例えば、入力装置５２は、ユーザからの機械的な操作による入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

【0071】

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

【0072】

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

【0073】

また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。

【0074】

≪通信系≫
図３に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。

【0075】

通信装置６０は、外部の通信回線に接続し、ショベル１００と別に設けられる装置と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによってキャビン１０に持ち込まれる可搬型の端末装置（携帯端末）が含まれてもよい。通信装置６０は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。また、通信装置６０は、接続対象の通信回線に合わせて、複数の通信装置を含んでもよい。

【0076】

例えば、通信装置６０は、作業現場に構築される局所的な通信回線を通じて、作業現場内の遠隔操作支援装置２００等の外部装置と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な５Ｇ（いわゆるローカル５Ｇ）による移動体通信回線やＷｉＦｉ６によるローカルネットワーク（ＬＡＮ：Local Area Network）である。

【0077】

また、例えば、通信装置６０は、作業現場を含む広域の通信回線、即ち、広域ネットワーク（ＷＡＮ：Wide Area Network）を通じて、作業現場の外部にある遠隔操作支援装置２００等と通信を行う。広域ネットワークは、例えば、広域の移動体通信網や衛星通信網やインターネット網等を含む。

【0078】

≪制御系≫
図３に示すように、ショベル１００の制御系は、コントローラ３０を含む。また、本実施形態に係るショベル１００の制御系は、操作圧センサ２９と、撮像装置４０，４５と、測位装置７０と、センサＳ１～Ｓ５とを含む。

【0079】

コントローラ３０は、ショベル１００に関する各種制御を行う。

【0080】

コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図３に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ（Central Processing Unit）３０Ｃ、及びインタフェース装置３０Ｄを含む。

【0081】

補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリ等である。

【0082】

メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。

【0083】

ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。

【0084】

インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。

【0085】

また、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ３０の補助記憶装置３０Ａにインストールされうる。また、プログラムは、通信装置６０を通じて、ショベル１００の外部の他のコンピュータからダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。

【0086】

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。

【0087】

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

【0088】

尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

【0089】

撮像装置４０は、ショベル１００の周辺の画像を取得する。また、撮像装置４０は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（以下、単に「物体の三次元データ」）を取得（生成）してもよい。ショベル１００の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。

【0090】

例えば、図２に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、撮像装置４０は、ショベル１００の上面視において、ショベル１００を中心とする全周、即ち３６０度の角度方向に亘る範囲を撮像することができる。また、オペレータは、表示装置５０Ａや遠隔操作支援装置２００（表示装置２０８）を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認できる。また、オペレータは、遠隔操作支援装置２００（表示装置２０８）を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、アタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作できる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、或いは、個別に、「カメラ４０Ｘ」と称する場合がある。

【0091】

カメラ４０Ｘは、例えば、単眼カメラである。また、カメラ４０Ｘは、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）カメラ等（以下、包括的に「３Ｄカメラ」）のように、二次元の画像に加えて、距離（深度）に関するデータを取得可能であってもよい。

【0092】

撮像装置４０（カメラ４０Ｘ）の出力データ（例えば、画像データやショベル１００の周辺の物体の三次元データ等）は、一対一の通信線や車載ネットワークを通じて、コントローラ３０に取り込まれる。これにより、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺環境を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘ（カメラ４０Ｆ）の出力データに基づき、撮像画像に映るアタッチメントＡＴの姿勢状態を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体を基準として、ショベル１００の機体（上部旋回体３）の姿勢状態を判断することができる。

【0093】

尚、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの一部又は全部が省略されてもよい。例えば、カメラ４０Ｆは省略されてもよい。後述の撮像装置４５の撮像画像には、ショベル１００の前方の様子が映っており、例えば、オペレータは、撮像装置４５の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、アタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作できるからである。また、撮像装置４０（カメラ４０Ｘ）に代えて、或いは、加えて、距離センサが上部旋回体３に設けられてもよい。距離センサは、例えば、上部旋回体３の上部に取り付けられ、ショベル１００を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル１００の周辺の物体の三次元データ（例えば、点群の座標情報のデータ）を取得（生成）してもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detection and Ranging）である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。

【0094】

撮像装置４５は、アタッチメントＡＴに取り付けられ、ショベル１００の周辺の作業対象を撮像し、作業対象の形状を表す撮像画像を取得する。これにより、撮像装置４５は、アタッチメントＡＴの動作に合わせて、ショベル１００から見た遠近方向での撮像範囲が変化する。そのため、撮像装置４５は、アタッチメントＡＴの動作に合わせて、ショベル１００から見た遠近方向での広い範囲の作業対象の画像を取得することができる。ショベル１００の周辺の作業対象は、例えば、作業現場における掘削作業や整地作業等が実施される対象の場所の地面である。

【0095】

また、撮像装置４５は、撮像装置４０と同様、取得した画像及び後述の距離に関するデータに基づき、撮像範囲（画角）内におけるショベル１００の周辺の物体（作業対象）の三次元データを取得（生成）してもよい。

【0096】

例えば、図１、図２に示すように、撮像装置４５は、アーム５の側面に取り付けられ、そのレンズを地面に向けて設置される。また、撮像装置４５は、アーム５の下面に取り付けられ、そのレンズが地面に向けて設置されてもよい。アーム５の下面とは、アーム５の全開状態での下向きの端面を意味する。これにより、撮像装置４５は、アーム５の下方の地面（作業対象）の画像を取得することができる。また、撮像装置４５は、ブーム４の側面や下面に取り付けられ、そのレンズを地面に向けて設置されてもよい。ブーム４の下面とは、ブーム４を最も下げた状態での下向きの端面を意味する。

【0097】

アーム５における撮像装置４５の取付箇所は、例えば、アーム５とブーム４との連結位置よりもアーム５とバケット６との連結位置に近い箇所である。これにより、ブーム４やアーム５の動作に合わせて変化する、ショベル１００から見た遠近方向での撮像範囲の変化量が相対的に大きくなり、その結果、撮像装置４５は、より広い範囲の作業対象の画像を取得することができる。また、アーム５における撮像装置４５の取付箇所は、アーム５とバケット６との連結箇所よりもアーム５とブーム４との連結箇所に近い箇所であってもよい。これにより、ショベル１００の作業時の撮像装置４５への汚れの付着や撮像装置４５の破損を抑制することができる。

【0098】

撮像装置４５は、例えば、単眼カメラである。また、撮像装置４５は、例えば、３Ｄカメラのように、二次元の画像に加えて、距離（深度）に関するデータを取得可能であってもよい。

【0099】

撮像装置４５の出力データ（例えば、画像データやショベル１００の周辺の物体の三次元データ等）は、一対一の通信線や車載ネットワークを通じて、コントローラ３０に取り込まれる。

【0100】

尚、撮像装置４５に代えて、或いは、加えて、距離センサがアタッチメントＡＴに設けられてもよい。距離センサは、例えば、上部旋回体３の上部に取り付けられ、自身或いはそのアタッチメントＡＴへの取付位置を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内における物体の三次元データ（例えば、点群の座標情報のデータ）を取得（生成）してもよい。距離センサは、例えば、ＬＩＤＡＲである。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。

【0101】

測位装置７０は、ショベル１００の位置情報のデータを出力する。測位装置７０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）センサを含んでもよい。これにより、測位装置７０は、例えば、世界測地系等のグローバル座標でのショベル１００の位置情報のデータを取得することができる。また、測位装置７０は、例えば、ショベル１００の向きを検出する向き検出装置及びショベル１００の移動速度を検出する速度検出装置を含んでもよい。これにより、測位装置７０は、ショベル１００の向きと移動速度からショベル１００の作業現場における移動履歴を把握し、ショベル１００の移動開始地点を基準とする相対位置のデータを取得することができる。また、測位装置７０は、作業現場に設置される一又は複数の通信機器（ビーコン）と通信可能な通信機器を含んでもよい。これにより、測位装置７０は、作業現場に設置されるビーコンとの間の通信可否の状況や通信強度の状況等に応じて、作業現場の中での相対位置のデータを取得することができる。測位装置７０の出力は、一対一の通信線や車載ネットワーク等を通じてコントローラ３０に取り込まれる。これにより、コントローラ３０は、ショベル１００の絶対位置や作業現場での相対位置を把握することができる。

【0102】

センサＳ１は、ブーム４に取り付けられ、ブーム４の上部旋回体３との連結部に相当する基端の回転軸回りの姿勢角度（以下、「ブーム角度」）を検出する。センサＳ１は、例えば、ロータリポテンショメータ、ロータリエンコーダ、加速度センサ、角加速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含む。以下、センサＳ２、センサＳ４についても同様であってよい。また、センサＳ１は、ブームシリンダ７の伸縮位置を検出するシリンダセンサを含んでもよい。以下、センサＳ２についても同様であってもよい。センサＳ１によるブーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、ブーム４の姿勢状態を把握することができる。

【0103】

センサＳ２は、アーム５に取り付けられ、アーム５のブーム４との連結部に相当する基端の回転軸回りの姿勢角度（以下、「アーム角度」）を検出する。センサＳ２によるアーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、アーム５の姿勢状態を把握することができる。

【0104】

センサＳ３は、バケット６に取り付けられ、バケット６のアーム５との連結部に相当する基端の回転軸回りの姿勢角度（以下、「アーム角度」）を検出する。センサＳ３によるアーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、バケット６の姿勢状態を把握することができる。

【0105】

センサＳ４は、所定の基準面（例えば、水平面）に対する機体（例えば、上部旋回体３）の傾斜状態を検出する。センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。センサＳ４により検出される傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、機体（上部旋回体３）の傾斜状態を把握することができる。

【0106】

センサＳ５は、上部旋回体３に取り付けられ、上部旋回体３の旋回状態に関する検出情報を出力する。センサＳ５は、例えば、上部旋回体３の旋回角速度や旋回角度を検出する。センサＳ５は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。センサＳ５により検出される旋回状態に関する検出情報は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、上部旋回体３の旋回角度等の旋回状態を把握することができる。

【0107】

尚、センサＳ４に３軸回りの角速度を検出可能なジャイロセンサ、６軸センサ、ＩＭＵ等が含まれる場合、センサＳ４の検出信号に基づき上部旋回体３の旋回状態（例えば、旋回角速度）が検出されてもよい。この場合、センサＳ５は、省略されてもよい。また、撮像装置４０や距離センサの出力に基づき、上部旋回体３やアタッチメントＡＴ等の姿勢状態を把握することが可能な場合、センサＳ１～Ｓ５の少なくとも一部は省略されてもよい。

【0108】

≪遠隔操作支援装置のハードウェア構成＞
図４は、遠隔操作支援装置２００のハードウェア構成の一例を示すブロック図である。

【0109】

遠隔操作支援装置２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、遠隔操作支援装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、高速演算装置２０５、通信インタフェース２０６、入力装置２０７、表示装置２０８、及び音出力装置２０９を含む。

【0110】

外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、遠隔操作支援装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。

【0111】

尚、遠隔操作支援装置２００は、通信インタフェース２０６を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。

【0112】

補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Disc）やフラッシュメモリ等を含む。

【0113】

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭを含む。

【0114】

ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って遠隔操作支援装置２００に関する各種機能を実現する。

【0115】

高速演算装置２０５は、ＣＰＵ２０４と連動し、相対的に高い速度で演算処理を行う。高速演算装置２０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。

【0116】

尚、高速演算装置２０５は、必要な演算処理の速度に応じて、省略されてもよい。

【0117】

通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、遠隔操作支援装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。

【0118】

入力装置２０７は、ユーザから各種入力を受け付ける。入力装置２０７には、ショベル１００の遠隔操作を行うための遠隔操作用の操作装置が含まれる。

【0119】

入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける形態の入力装置（以下、「操作入力装置」）を含む。遠隔操作用の操作装置は、操作入力装置であってよい。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。

【0120】

また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。

【0121】

また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。

【0122】

また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。

【0123】

表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

【0124】

音出力装置２０９は、遠隔操作支援装置２００のユーザに向けて、音によって各種情報を伝える。音出力装置２０９は、例えば、ブザー、アラーム、スピーカ等である。

【0125】

［遠隔操作支援システムの機能構成］
次に、図５～図９を参照して、遠隔操作支援システムＳＹＳの機能構成について説明する。

【0126】

図５は、遠隔操作支援システムＳＹＳの機能構成の一例を示す機能ブロック図である。図６は、ショベル１００の周辺の作業対象の形状を表す環境地図の表示画面の第１例（画面６００）を示す図である。図７は、ショベル１００の周辺の作業対象の形状を表す環境地図の表示画面の第２例（画面７００）を示す図である。図８は、ショベル１００の周辺の作業対象の形状を表す環境地図の表示画面の第３例（画面８００）を示す図である。図９は、ショベル１００の周辺の作業対象の形状を表す環境地図の表示画面の第４例（画面９００）を示す図である。

【0127】

図５に示すように、ショベル１００のコントローラ３０は、機能部として、ショベルデータ送信部３０１と、動作制御部３０２とを含む。

【0128】

ショベルデータ送信部３０１は、通信装置６０を用いて、ショベル１００で取得される各種データ（以下、「ショベルデータ」）を、遠隔操作支援装置２００に送信する。ショベルデータ送信部３０１は、所定周期ごとに、自動でショベルデータを遠隔操作支援装置２００に送信してもよいし、遠隔操作支援装置２００からの要求に応じて、ショベルデータを遠隔操作支援装置２００に送信してもよい。

【0129】

送信対象のショベルデータには、例えば、撮像装置４５から出力される、ショベル１００の周辺の物体（作業対象）を表すデータ（以下、便宜的に「作業対象データ」）が含まれる。これにより、遠隔操作支援装置２００は、ショベル１００の周辺の作業対象の形状を認識することができる。また、送信対象のショベルデータには、測位装置７０から出力される、ショベル１００の位置情報のデータ（以下、「ショベル位置データ」）が含まれてもよい。これにより、遠隔操作支援装置２００は、ショベル１００の絶対位置や作業現場での相対位置を認識することができる。また、送信対象のショベルデータには、センサＳ１～Ｓ５の少なくとも一部の出力データ（以下、「ショベル姿勢データ」）が含まれてもよい。これにより、遠隔操作支援装置２００は、ショベル１００の被駆動要素（油圧アクチュエータＨＡ）の姿勢状態やその変化を認識することができる。また、送信対象のショベルデータには、撮像装置４０から出力される画像のデータや撮像装置４０の出力に基づき生成される周辺画像のデータ等が含まれてもよい。これにより、遠隔操作支援装置２００は、例えば、ショベル１００の周辺の監視対象の物体の有無やその様子を認識することができる。

【0130】

動作制御部３０２は、遠隔操作支援装置２００から受信される遠隔操作信号に応じて、遠隔操作支援装置２００での遠隔操作に対応するショベル１００の動作に関する制御を行う。具体的には、動作制御部３０２は、遠隔操作信号で指定される、ショベル１００の遠隔操作の内容を実現するように油圧制御弁３１を制御する。

【0131】

遠隔操作支援装置２００は、機能部として、ショベルデータ取得部２００１と、環境地図生成部２００２と、表示処理部２００３と、軌道生成部２００４と、軌道データ記憶部２００５と、シミュレータ部２００６と、遠隔操作支援部２００７とを含む。

【0132】

ショベルデータ取得部２００１は、ショベル１００から受信されるショベルデータを取得する。

【0133】

環境地図生成部２００２は、ショベルデータ取得部２００１により取得されるショベルデータに基づき、ショベル１００の周辺の作業対象の形状を表す環境地図（以下、単に「環境地図」）を生成する。具体的には、環境地図生成部２００２は、ショベルデータ取得部２００１により取得される最新のショベルデータに基づき、リアルタイムに環境地図を生成してよい。環境地図は、世界測地系等のグローバル座標系で生成されてもよいし、ローカル座標系で生成されてもよい。例えば、測位装置７０がグローバル座標系の位置情報のデータを取得可能な場合、環境地図生成部２００２は、グローバル座標系でのショベル１００の位置を基準として、グローバル座標系で環境地図を生成する。また、例えば、測位装置７０がローカル座標系の位置情報のデータを取得可能な場合、環境地図生成部２００２は、ローカル座標系でのショベル１００の位置を基準として、ローカル座標系で環境地図を生成する。

【0134】

環境地図生成部２００２は、ショベルデータに含まれる作業対象データに基づき環境地図を生成する。この際、環境地図生成部２００２は、ショベルデータに含まれるショベル姿勢データに基づき、アーム５の姿勢状態を特定することにより、アーム５に取り付けられる撮像装置４５のショベル１００から見た撮像範囲を特定することができる。そのため、環境地図生成部２００２は、撮像装置４５の出力データに相当する作業対象データに含まれる作業対象のショベル１００を基準とする位置を認識し、環境地図を生成することができる。

【0135】

また、環境地図生成部２００２は、ブーム４やアーム５の動作時の作業対象データに基づき、環境地図を生成してもよい。例えば、環境地図生成部２００２は、ブーム４やアーム５の動作時に取得される、互いに異なるタイミングの複数の作業対象データに基づき、環境地図を生成してもよい。環境地図生成部２００２は、ショベル姿勢データに基づき、ブーム４やアーム５の姿勢状態の変化を認識することにより、同じタイミングで取得された作業対象データがブーム４やアーム５の動作中のデータであるか否かを判断することができる。これにより、環境地図生成部２００２は、ブーム４やアーム５の動作に合わせて撮像装置４５により取得される、ショベル１００から見た遠近方向でのより広い範囲の作業対象データを用いて、ショベル１００の周辺のより広い範囲の環境地図を生成できる。

【0136】

また、環境地図生成部２００２は、ショベル１００のブーム４やアーム５の動作に応じて、環境地図を更新してもよい。ショベル１００のブーム４やアーム５の動作に応じて撮像装置４５の撮像範囲が変化し、環境地図には含まれていない作業対象の領域が撮像装置４５の撮像画像に含まれる可能性があるからである。また、ショベル１００のブーム４やアーム５の動作に応じたアタッチメントＡＴの動作によって作業が進行し、作業対象（ｊ地面）の形状が変化する可能性があるからである。例えば、環境地図生成部２００２は、ショベル１００のブーム４やアーム５の動作が行われるたびに、その動作中の作業対象データに基づき、環境地図を更新する。

【0137】

また、環境地図生成部２００２は、ショベル１００の作業対象に対する作業の進行に合わせて、環境地図を更新してもよい。例えば、環境地図生成部２００２は、最新の環境地図と、ショベル姿勢データとに基づき、作業対象に対してバケット６が接触しているか否かを判断することにより、作業対象に対する作業の進行、即ち、作業対象の形状の変化の有無を判断する。そして、環境地図生成部２００２は、作業対象の形状の変化があると判断する場合に、その作業に対応するブーム４やアーム５の動作時の作業対象データに基づき、環境地図を更新してよい。

【0138】

また、環境地図生成部２００２は、下部走行体１の動作や上部旋回体３の動作に応じて、環境地図を更新してもよい。ショベル１００の下部走行体１や上部旋回体３の動作に応じて撮像装置４５の撮像範囲が変化し、環境地図には含まれていない作業対象の領域が撮像装置４５の撮像画像に含まれる可能性があるからである。また、ショベル１００の下部走行体１や上部旋回体３の動作によって作業が進行し、ショベル１００の周辺の作業対象（地面）の形状が変化する可能性があるからである。例えば、環境地図生成部２００２は、ショベル１００の下部走行体１や上部旋回体３の動作が行われるたびに、その動作中の作業対象データに基づき、環境地図を更新する。

【0139】

また、環境地図生成部２００２は、通信インタフェース２０６を通じて、ショベル１００に指令を送信し、ショベル１００にアタッチメントＡＴの所定の動作を行わせることにより、その所定の動作時のショベルデータに基づき、環境地図を生成してもよい。例えば、環境地図生成部２００２は、ショベル１００の作業開始時に、入力装置２０７を通じたオペレータからの所定の入力に応じて、ショベル１００に所定の動作を行わせるための指令を、通信インタフェース２０６を通じてショベル１００に送信する。そして、環境地図生成部２００２は、通信インタフェース２０６によりショベル１００から受信される、所定の動作時のショベルデータに基づき、環境地図を生成する。これにより、遠隔操作支援装置２００は、ショベル１００の作業開始時に、ショベル１００の周辺の作業対象の初期状態を表す環境地図を生成（取得）することができる。また、ブーム４やアーム５の動作速度が非常に大きくなると、環境地図の更新に利用可能な作業対象データを取得できない場合もありうる。この場合についても、環境地図生成部２００２は、ショベル１００に所定の動作を行わせるための指令を、通信インタフェース２０６を通じてショベル１００に送信することにより、環境地図の更新に利用可能な作業対象データを取得することができる。

【0140】

また、環境地図生成部２００２は、撮像装置４５の撮像画像に相当する作業対象データに加えて、撮像装置４０の撮像画像のデータを組み合わせて、環境地図の生成及び更新を行ってもよい。

【0141】

表示処理部２００３は、環境地図生成部２００２により生成される環境地図の画像を表示装置２０８に表示する。これにより、オペレータは、環境地図の画像を視認することにより、ショベル１００の周辺の作業対象の形状を把握しながら、ショベル１００の遠隔操作を行うことができる。

【0142】

また、表示処理部２００３は、環境地図生成部２００２により環境地図が更新される場合、表示装置２０８の環境地図の画像を更新する。例えば、表示処理部２００３は、環境地図生成部２００２による環境地図の更新に合わせて、表示装置２０８の環境地図の画像を自動で更新する。また、表示処理部２００３は、環境地図生成部２００２による環境地図の更新が行われ、且つ、入力装置２０７を通じて更新を要求する所定の入力が受け付けられる場合に、表示装置２０８の環境地図の画像を更新してもよい。

【0143】

例えば、図６に示すように、表示処理部２００３は、ショベル１００の周辺の所定の視点から見たときの環境地図の画像ＴＧを表示装置２０８に表示させる。また、表示処理部２００３は、ショベル１００の周辺の所定の視点から見たときの環境地図の画像ＴＧと併せて、ショベル１００を模式的に示す画像ＣＧを表示させる。この際、ショベル１００の画像ＣＧと環境地図の画像ＴＧとの間の相対位置及び大きさは、ショベル１００とその周辺の作業対象（地面）の形状との間の実際の相対位置及び大きさに合わせて適宜調整される。これにより、オペレータは、ショベル１００との位置関係や大きさを考慮しながら、ショベル１００の周辺の作業対象の形状を把握することができる。

【0144】

画像ＣＧは、ショベル１００の機体（下部走行体１及び上部旋回体３）に相当する画像ＣＧ１と、ショベル１００のアタッチメントＡＴに相当する画像ＣＧ２とを含む。これにより、オペレータは、例えば、ショベル１００の周辺の作業対象の形状と現在のバケット６の位置とを対比しながら、ショベル１００の次の動作を選択することができ、その結果、ショベル１００の作業効率を向上させることができる。

【0145】

環境地図の画像ＴＧの視点は、固定されていてもよいし、オペレータからの入力装置２０７に対する所定の入力に応じて可変されてもよい。例えば、入力装置２０７がタッチパネルの場合、シングルタッチの状態で指等を移動させることにより、画像ＴＧの視点が回転移動し、マルチタッチの状態で指等を移動させることにより、画像ＴＧの視点が上下左右に平行移動する。また、例えば、入力装置２０７がマウスの場合、左クリックしながらポインタ（カーソル）を移動させることにより、画像ＴＧの視点が回転移動し、右クリックしながらポインタを移動させることにより、画像ＴＧの視点が平行移動する。これにより、オペレータは、ショベル１００の周辺の作業対象の形状を様々な視点から確認することができ、利便性が向上する。また、オペレータは、実行中の作業に対してより適切なショベル１００の動作を選択することができ、その結果、ショベル１００の作業効率を向上させることができる。

【0146】

環境地図の画像ＴＧでは、高低差が色付けによって表現されてもよい。これにより、オペレータは、環境地図の画像ＴＧの中の作業対象の形状だけでなく、色付けの違いを考慮して、ショベル１００の周辺の作業対象の形状をより適切に把握することができる。

【0147】

また、図７に示すように、表示処理部２００３は、ショベル１００のキャビン１０から見たときの環境地図の画像ＴＧを表示装置２０８に表示させてもよい。これにより、オペレータは、ショベル１００のキャビン１０から見た状態のショベル１００の作業対象の形状を確認しながら、ショベル１００の遠隔操作を行うことができる。この場合、表示処理部２００３は、入力装置２０７を通じて受け付けられる所定の入力に応じて、ショベル１００の周辺の視点から見た画像ＴＧが表示される状態と、キャビン１０から見た画像ＴＧが表示される状態とを切り換えてよい。

【0148】

表示処理部２００３は、ショベル１００のキャビン１０から見たときの環境地図の画像ＴＧと併せて、ショベル１００のアタッチメントＡＴに相当する画像ＣＧ２を表示装置２０８に表示させてもよい。アタッチメントＡＴに相当する画像ＣＧ２と環境地図の画像ＴＧとの間の相対位置及び大きさは、アタッチメントＡＴとその周辺の作業対象（地面）の形状との間の実際の相対位置及び大きさに合わせて適宜調整される。これにより、オペレータは、例えば、ショベル１００の周辺の作業対象の形状と現在のバケット６の位置とを対比しながら、ショベル１００の次の動作を選択することができ、その結果、ショベル１００の作業効率を向上させることができる。

【0149】

軌道生成部２００４は、入力装置２０７を通じて受け付けられる、表示装置２０８に表示される環境地図の画像上での位置を指定する入力に応じて、環境地図に対する相対位置が規定された、アタッチメントＡＴの作業部位の軌道を生成する。例えば、軌道生成部２００４は、環境地図と同じ座標空間上でのアタッチメントＡＴの作業部位の軌道を生成する。アタッチメントＡＴの作業部位は、例えば、バケット６の爪先や背面である。

【0150】

例えば、入力装置２０７がタッチパネルの場合、オペレータは、アタッチメントＡＴの作業部位に相当する画像ＣＧ２の箇所の表示位置を指等でタッチした状態で、指等を移動させる。また、例えば、入力装置２０７がマウスの場合、オペレータは、アタッチメントＡＴの作業部位に相当する画像ＣＧ２の箇所の表示位置にポインタを合わせ、右クリックした状態でポインタを移動させる。これにより、オペレータは、入力装置２０７を通じて、環境地図の画像ＴＧ上での位置を指定する入力を行うことができ、軌道生成部２００４は、その入力に応じて、環境地図との相対位置が規定された、アタッチメントＡＴの作業部位の軌道を生成できる。

【0151】

また、軌道生成部２００４は、入力装置２０７を通じて受け付けられる、表示装置２０８に表示される環境地図の画像上での位置を指定する入力に対して、既知のスプライン関数を適用することによって、アタッチメントＡＴの作業部位の軌道を生成してもよい。これにより、軌道生成部２００４は、より滑らかなアタッチメントＡＴの作業部位の軌道を生成することができる。

【0152】

表示処理部２００３は、軌道生成部２００４により生成されるアタッチメントＡＴの作業部位の軌道を、環境地図の画像に重畳して表示させる。これにより、オペレータは、環境地図の画像と対比させながら、生成されたアタッチメントＡＴの軌道を確認することができる。例えば、表示処理部２００３は、環境地図の画像上での位置を指定する入力が完了し且つ軌道生成部２００４による軌道の生成が完了して、初めて、アタッチメントＡＴの軌道を表示装置２０８に表示させる。また、表示処理部２００３は、環境地図の画像上での位置を指定する入力の進行に合わせて、リアルタイムにアタッチメントＡＴの仮の軌道を表示させ、軌道生成部２００４による軌道の生成の完了後に正式な軌道に表示を更新させてもよい。

【0153】

例えば、図６に示すように、本例では、軌道生成部２００４は、アタッチメントＡＴの作業部位の３つの軌道を生成し、画面６００には、３つの軌道の画像ＯＧ１～ＯＧ３が表示される。また、本例では、画面６００には、３つの軌道の終点に相当する位置にバケット６を模した画像ＥＮＤ１～ＥＮＤ３が表示される。これにより、オペレータは、生成された軌道の終点位置を容易に把握することができる。

【0154】

また、軌道生成部２００４は、入力装置２０７を通じて受け付けられる、環境地図の画像上の位置を指定する入力に応じて、生成済みのアタッチメントＡＴの作業部位の軌道を修正（編集）してもよい。これにより、オペレータは、例えば、アタッチメントＡＴの作業部位の概略的な軌道を生成させた後に、その軌道を編集させることによって、正式な軌道を生成させることができる。

【0155】

例えば、入力装置２０７がタッチパネルの場合、オペレータは、生成済みの軌道の画像の編集したい箇所を指等でタッチした状態で移動させることにより、そのタッチ位置に対応する軌道の構成点の位置を修正する。また、オペレータは、生成済みの軌道の画像の編集したい箇所の近くの位置を指等で長押し或いはダブルタッチすることにより、生成済みの軌道に対してその位置に対応する構成点を追加してもよい。また、例えば、入力装置２０７がマウスの場合、オペレータは、生成済みの軌道の画像の編集したい箇所にポインタを合わせ、その状態で右クリックした状態でポインタを移動させることにより、そのポインタ位置に対応する軌道の構成点の位置を修正する。また、オペレータは、生成済みの軌道の画像の編集したい箇所の近くの位置にポインタを合わせ、その状態で左クリック或いはダブルクリックすることにより、生成済みの軌道に対してその位置に対応する構成点を追加してもよい。これにより、軌道生成部２００４は、入力装置２０７を通じて受け付けられる、生成済みの軌道の構成点の修正や追加を指定する入力に応じて、生成済みの軌道を編集することができる。

【0156】

例えば、軌道生成部２００４は、入力装置２０７を通じて受け付けられる、ある視点から見た環境地図の画像上での位置を指定する入力に応じて、概略的な軌道を生成する。そして、軌道生成部２００４は、概略的な軌道の生成時とは異なる別の視点から見た環境地図の画像上での概略的な軌道の構成点の修正或いは追加の入力に応じて、概略的な軌道を編集し、正式な軌道を生成する。これにより、オペレータは、互いに異なる複数の視点から見た環境地図の画像を利用しながら、作業対象の形状に適合する形でアタッチメントＡＴの三次元的な軌道をより適切に生成させることができる。例えば、オペレータは、真上から見た状態の環境地図の俯瞰画像を用いて、平面視の概略的な軌道を生成させる。そして、オペレータは、水平方向に見たときの環境地図の画像を用いて、概略的な軌道を高さ方向（深さ方向）に修正することにより、正式な軌道を生成させてよい。

【0157】

軌道データ記憶部２００５には、軌道生成部２００４により生成される、アタッチメントＡＴの作業部位の軌道のデータが記憶される。

【0158】

シミュレータ部２００６は、軌道生成部２００４により生成された軌道に沿って、アタッチメントＡＴの作業部位を移動させるためのショベル１００の動作に関するシミュレーションを行う。

【0159】

シミュレーションの条件は、環境地図の画像が表示される画面で設定可能であってもよいし、環境地図画像が表示される画面とは別の設定画面で設定可能であってもよい。シミュレーションの条件は、ショベル１００の動作速度に関する条件を含む。ショベル１００の動作速度に関する条件は、例えば、アタッチメントＡＴの作業部位を対象の軌道に沿って始点から終点まで移動させる際の所要時間（実行時間）として設定可能である。また、ショベル１００の動作速度に関する条件は、アタッチメントＡＴの作業部位の移動速度の条件として設定可能であってもよい。

【0160】

例えば、図８に示すように、アタッチメントＡＴの作業部位を、軌道生成部２００４により生成された軌道に沿って始点から終点まで移動させる際の所要時間（実行時間）を入力するための入力欄ＩＦ１が設けられる。これにより、オペレータは、入力装置２０７を通じて、実行時間を入力することにより、ショベル１００の動作速度に関する条件を設定することができる。

【0161】

また、図９に示すように、スライダーによって、ショベル１００の動作速度の高低を指定する入力欄ＩＦ２が設けられてもよい。これにより、オペレータは、入力装置２０７を通じて、スライダーを左右に移動させることによって、ショベル１００の動作速度に関する条件を設定することができる。

【0162】

表示処理部２００３は、シミュレータ部２００６のシミュレーション結果に応じて、軌道生成部２００４により生成済みの軌道に沿って作業部位を移動させる際のアタッチメントＡＴの動作を表す動画像を環境地図の画像に重畳して表示させてもよい。また、表示処理部２００３は、アタッチメントＡＴの動作に加えて上部旋回体３の動作を含む動画像を環境地図の画像と共に表示装置２０８に表示させてもよい。これにより、オペレータは、軌道生成部２００４により生成済みの軌道に沿ってアタッチメントＡＴの作業部位を移動させる際のショベル１００の動作を確認することができる。そのため、オペレータは、ショベル１００の動作が適切であることを確認した上で、実際にその軌道に沿ってアタッチメントＡＴの作業部位を移動させるようにショベル１００を遠隔操作することができる。そのため、ショベル１００の作業効率を向上させることができる。

【0163】

例えば、図６、図８、図９に示すように、本例では、画像ＯＧ１に対応する軌道に沿ってアタッチメントＡＴを移動させる際のアタッチメントＡＴの動作を表す動画像ＳＩＭの１フレームが表示されている。

【0164】

また、表示処理部２００３は、シミュレータ部２００６によるシミュレーションでエラーが発生した場合、そのエラーに対応する通知を表示装置２０８に表示させてもよい。

【0165】

例えば、シミュレータ部２００６は、シミュレーションの対象の軌道がアタッチメントＡＴの作業部位が移動可能な範囲を逸脱している場合、エラーを出力する。アタッチメントＡＴの作業部位が移動可能な範囲とは、下部走行体１、上部旋回体３、及びアタッチメントＡＴのうちの上部旋回体３及びアタッチメントＡＴのみの動作によってアタッチメントＡＴが移動可能な範囲を意味する。この場合、表示処理部２００３は、例えば、対象の軌道の修正を促す通知を表示装置２０８に表示させる。併せて、表示処理部２００３は、環境地図の画像に重畳させて、アタッチメントＡＴの作業部位の移動可能な範囲を表す画像を表示させてもよい。これにより、オペレータは、対象の軌道をどのように且つどの程度修正すればよいかを容易に把握することができる。

【0166】

また、例えば、シミュレータ部２００６は、シミュレーションの対象の軌道に対するショベル１００の動作速度に関する条件が、ショベル１００の動作速度の上限を超えている場合、エラーを出力する。この場合、表示処理部２００３は、例えば、対象の軌道の修正を促す通知を表示装置２０８に表示させる。また、表示処理部２００３は、ショベル１００の動作速度に関する条件の修正を促す通知を表示装置２０８に表示させてもよい。また、表示処理部２００３は、対象の軌道の修正、及びショベル１００の動作速度に関する条件の修正の少なくとも一方を実施するように促す通知を表示装置２０８に表示させてもよい。

【0167】

遠隔操作支援部２００７は、入力装置２０７を通じてオペレータから入力される、ショベル１００の遠隔操作の指示に応じて、遠隔操作信号を生成し、通信インタフェース２０６を通じて、ショベル１００に送信する。

【0168】

例えば、遠隔操作支援部２００７は、入力装置２０７に含まれる遠隔操作用の操作装置に対するショベル１００の被駆動要素（油圧アクチュエータＨＡ）ごとの操作の内容に対応する遠隔操作信号を生成し、ショベル１００に送信する。この場合、ショベル１００の動作制御部３０２は、通信装置６０により受信される遠隔操作信号で指定される、油圧アクチュエータＨＡごとの操作の内容に応じて、油圧制御弁３１を制御する。これにより、オペレータは、遠隔操作用の操作装置を用いて、油圧アクチュエータＨＡごとに操作を行うことで、ショベル１００に所望の動作を行わせることができる。

【0169】

また、遠隔操作支援部２００７は、入力装置２０７により受け付けられる、軌道生成部２００４により生成済みの軌道に沿ってアタッチメントＡＴの作業部位を移動させるための指示入力に対応する遠隔操作信号を生成し、ショベル１００に送信する。この場合、遠隔操作信号には、対象の軌道のデータ、及びショベル１００の動作速度に関する条件のデータが含まれる。そして、ショベル１００の動作制御部３０２は、通信装置６０により受信される遠隔操作信号で指定される、ショベル１００の動作速度に関する条件の下で対象の軌道に沿ってアタッチメントＡＴの作業部位を移動させるように、油圧制御弁３１を制御する。これにより、オペレータは、入力装置２０７を通じて、軌道生成部２００４により生成済みの軌道を選択し指示の入力を行うだけで、ショベル１００にアタッチメントＡＴの作業部位を対象の軌道に沿って移動させる動作を行わせることができる。そのため、例えば、経験の比較的浅いオペレータがショベル１００を遠隔操作する場合であっても、ショベル１００に所望の動作を容易に行わせることができ、その結果、ショベル１００の作業効率の向上させることができる。

【0170】

尚、環境地図生成部２００２、軌道生成部２００４、及びシミュレータ部２００６の機能の一部又は全部は、ショベル１００（例えば、コントローラ３０）に移管されてもよい。また、遠隔操作支援装置２００（環境地図生成部２００２、表示処理部２００３、軌道生成部２００４、軌道データ記憶部２００５、及びシミュレータ部２００６）と同様の機能がショベル１００（例えば、コントローラ３０）に採用されてもよい。これにより、キャビン１０に搭乗するオペレータがショベル１００を操作する場合についても、上記と同様、オペレータによるショベル１００の操作の支援を行うことができる。また、キャビン１０に搭乗するオペレータによるショベル１００の操作の支援を行う場合、ショベル１００と通信可能に接続される外部の情報処理装置に、遠隔操作支援装置２００と同様の機能が採用されてもよい。この場合、ショベル１００の出力装置５０や入力装置５２がオペレータの操作の支援に関するインタフェースとして機能し、オペレータの操作の支援に関する具体的な処理は、外部の情報処理装置で実施される。

【0171】

［作用］
次に、本実施形態に係る支援システム等の作用について説明する。

【0172】

本実施形態では、支援システムは、取得部と、表示部とを備える。支援システムは、例えば、上述の遠隔操作支援システムＳＹＳである。取得部は、例えば、上述の撮像装置４５や距離センサである。表示部は、例えば、上述の表示装置２０８や表示装置５０Ａである。具体的には、取得部は、作業機械のアタッチメントに取り付けられ、作業機械の周辺の作業対象の形状に関するデータを取得する。作業機械は、例えば、上述のショベル１００である。アタッチメントは、例えば、上述のアタッチメントＡＴである。そして、表示部は、アタッチメントの動作時に取得部により取得されるデータに基づき、作業対象の形状を表す環境地図の画像を表示する。

【0173】

また、本実施形態では、遠隔操作支援装置は、操作部と、通信部と、表示部と、を備える。遠隔操作支援装置は、例えば、上述の遠隔操作支援装置２００である。操作部は、例えば、上述の入力装置２０７に含まれる遠隔操作用の操作装置である。通信部は、例えば、上述の通信インタフェース２０６である。表示部は、例えば、上述の表示装置２０８である。具体的には、操作部は、作業機械に関する遠隔操作を受け付ける。作業機械は、例えば、上述のショベル１００である。また、通信部は、オペレータによる操作部の操作状態に関する信号を作業機械に送信すると共に、作業機械のアタッチメントに取り付けられる取得部により取得される、作業機械の周辺の作業対象の形状に関するデータを作業機械から受信する。アタッチメントは、例えば、上述のアタッチメントＡＴである。取得部は、例えば、上述の撮像装置４５や距離センサである。そして、表示部は、アタッチメントの動作時に取得部により取得される、作業機械の周辺の作業対象の形状に関するデータに基づき、作業機械の周辺の所定の視点から見たときの作業対象の形状を表す環境地図の画像を表示する。

【0174】

また、本実施形態では、作業機械は、アタッチメントと、取得部と、表示部と、を備える。アタッチメントは、例えば、上述のアタッチメントＡＴである。作業機械は、例えば、上述のショベル１００である。取得部は、例えば、上述の撮像装置４５や距離センサである。表示部は、例えば、表示装置５０Ａである。具体的には、取得部は、アタッチメントに取り付けられ、作業機械の周辺の作業対象の形状に関するデータを取得する。また、表示部は、アタッチメントの動作時に取得部により取得されるデータに基づき、作業機械の周辺の所定の視点から見たときの作業対象の形状を表す環境地図の画像を表示する。

【0175】

また、本実施形態では、プログラムは、情報処理装置に表示ステップを実施させる。情報処理装置は、例えば、上述の遠隔操作支援装置２００やコントローラ３０である。プログラムは、例えば、上述の補助記憶装置２０２にインストールされるプログラムである。具体的には、表示ステップでは、作業機械のアタッチメントに取り付けられる取得部によりアタッチメントの動作時に取得される、作業機械の周辺の作業対象の形状に関するデータに基づき、作業機械の周辺の所定の視点から見たときの作業対象の形状を表す環境地図の画像を表示部に表示させる。作業機械は、例えば、上述のショベル１００である。アタッチメントは、例えば、上述のアタッチメントＡＴである。取得部は、例えば、上述の撮像装置４５や距離センサである。表示部は、例えば、上述の表示装置２０８や表示装置５０Ａである。

【0176】

これにより、アタッチメントの動作に合わせて、取得部による作業機械の遠近方向でのデータの取得範囲を変化させることができる。そのため、作業機械の周辺のより広い範囲の作業対象の形状を表す画像をユーザに提示することができる。

【0177】

また、本実施形態では、表示部は、アタッチメントの動作時に取得部により取得されるデータに基づき、作業機械の周辺の所定の視点から見たときの作業対象の形状を表す環境地図の画像を表示してもよい。

【0178】

これにより、ユーザは、例えば、作業機械（操縦席）から見た作業対象の形状だけでなく、作業機械の周辺から見たときの作業対象の形状を確認しながら、作業機械の操作を行うことができる。そのため、ユーザの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0179】

また、本実施形態では、遠隔操作支援システム等は、入力部を備えてもよい。入力部は、例えば、上述の入力装置２０７や入力装置５２である。具体的には、入力部は、ユーザからの入力を受け付ける。そして、表示部は、入力部からの所定の入力に応じて、所定の視点を変更してもよい。

【0180】

これにより、ユーザの利便性を更に向上させることができると共に、作業機械の作業効率を更に向上させることができる。

【0181】

また、本実施形態では、遠隔操作支援システム等は、入力部と、生成部とを備えてもよい。入力部は、例えば、上述の入力装置２０７や入力装置５２である。生成部は、例えば、上述の軌道生成部２００４である。具体的には、入力部は、ユーザからの入力を受け付ける。そして、生成部は、入力部からの、作業対象の形状を表す環境地図の画像上での位置を指定する入力に応じて、アタッチメントの作業部位の軌道を生成する。アタッチメントの作業部位は、例えば、上述のバケット６の爪先や背面である。

【0182】

これにより、オペレータは、入力部を通じて、作業機械の周辺の作業対象の形状との位置関係を対応付けながら、アタッチメントの作業部位の軌道を作成することができる。そして、オペレータは、作成した軌道に沿ってアタッチメントの作業部位を移動させる操作を行うことができる。よって、オペレータの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0183】

また、本実施形態では、遠隔操作支援システム等は、生成部を備えてもよい。生成部は、例えば、上述の軌道生成部２００４である。具体的には、生成部は、互いに異なる複数の所定の視点から見たときの作業対象の形状を表す環境地図の画像上での位置を指定する、入力部からの入力に応じて、アタッチメントの作業部位の軌道を生成する。

【0184】

これにより、オペレータは、複数の視点から作業機械の周辺の作業対象の形状を視認しながら、入力部を用いて、その形状との位置関係を対応付ける形で、アタッチメントの作業部位の軌道を作成することができる。そのため、オペレータは、三次元的なアタッチメントの作業部位の軌道をより適切に作成することができ、作成した軌道に沿ってアタッチメントの作業部位を移動させる操作を行うことができる。よって、オペレータの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0185】

また、本実施形態では、生成部は、所定の視点としての第１の視点から見たときの作業対象の形状を表す環境地図の画像上での位置を指定する、入力部からの入力に応じて、アタッチメントの作業部位の概略的な軌道を生成すると共に、所定の視点としての第１の視点と異なる第２の視点から見たときの作業対象の形状を表す環境地図の画像上での位置を指定する、入力部からの入力に応じて、概略的な軌道を編集することにより、アタッチメントの作業部位の軌道を生成してもよい。

【0186】

これにより、オペレータは、入力部を用いて、三次元的なアタッチメントの作業部位の軌道をより適切に作成することができる。

【0187】

また、本実施形態では、生成部は、作業対象の形状を表す環境地図の画像上での位置を移動させながら指定される、入力部からの入力に応じて、アタッチメントの作業部位の概略的な軌道を生成してよい。そして、生成部は、作業対象の形状を表す環境地図の画像上での位置を指定する、入力部からの入力に応じて、概略的な軌道の構成点の編集を行うことにより、アタッチメントの作業部位の軌道を生成してもよい。

【0188】

これにより、オペレータは、入力部を用いて、概略的な軌道を生成した後に、概略的な軌道を修正する形で、アタッチメントの作業部位の軌道を作成することができる。そのため、オペレータは、入力部を用いて、三次元的なアタッチメントの作業部位の軌道をより適切に作成することができる。

【0189】

また、本実施形態では、表示部は、作業対象の形状を表す環境地図の画像に重畳して、生成部により生成される軌道に沿ってアタッチメントの作業部位が移動する際の作業機械の動作をシミュレーションした動画像を表示してもよい。

【0190】

これにより、オペレータは、実際に作業機械の操作を行う前に、作成した対象の軌道に沿ってアタッチメントの作業部位を移動させる際の作業機械の動作が適切であるか否か等を確認することができる。そのため、オペレータの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0191】

また、本実施形態では、表示部は、生成部により生成される軌道がアタッチメントの作業部位の移動可能な範囲を逸脱している場合、アタッチメントの作業部位の軌道の修正を促す通知を表示してもよい。

【0192】

これにより、オペレータは、アタッチメントの作業部位の移動可能な範囲に収まるように、アタッチメントの作業部位の軌道を修正することができ、修正した軌道に沿ってアタッチメントの作業部位を移動させる操作を行うことができる。そのため、オペレータの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0193】

また、本実施形態では、表示部は、入力部を通じて受け付けられる、生成部により生成される軌道に対する作業機械の動作速度に関する条件が、作業機械の動作速度の上限を超えている場合、アタッチメントの軌道の修正、又は作業機械の動作速度に関する条件の修正を促す通知を表示してもよい。

【0194】

これにより、オペレータは、作業機械の動作速度の上限を超えないように、アタッチメントの作業部位の軌道を修正したり、作業機械の動作速度に関する条件を修正したりすることができる。そして、修正した軌道に沿ってアタッチメントの作業部位を移動させる操作をしたり、修正した作業機械の動作速度に関する条件の下でアタッチメントの作業部位を移動させる操作をしたりすることができる。そのため、オペレータの利便性を向上させることができると共に、作業機械の作業効率を向上させることができる。

【0195】

また、本実施形態では、表示部は、アタッチメントの動作に応じて、環境地図を表す画像を更新してもよい。

【0196】

これにより、作業機械の作業の進行に応じた作業対象の形状の変化に合わせて、表示部に表示される環境地図の画像を更新させることができる。

【0197】

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0198】

１ 下部走行体
１Ｃ，１ＣＬ，１ＣＲ クローラ
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
１０ キャビン
２６ 操作装置
３０ コントローラ
３０Ａ 補助記憶装置
３０Ｂ メモリ装置
３０Ｃ ＣＰＵ
３０Ｄ インタフェース装置
３１ 油圧制御弁
４０ 撮像装置
４０Ｂ，４０Ｆ，４０Ｌ，４０Ｒ カメラ
４５ 撮像装置
５０ 出力装置
５０Ａ 表示装置
５０Ｂ 音出力装置
５２ 入力装置
６０ 通信装置
７０ 測位装置
１００ ショベル
２００ 遠隔操作支援装置
２０１ 外部インタフェース
２０１Ａ 記録媒体
２０２ 補助記憶装置
２０３ メモリ装置
２０４ ＣＰＵ
２０５ 高速演算装置
２０６ 通信インタフェース
２０７ 入力装置
２０８ 表示装置
２０９ 音出力装置
３０１ ショベルデータ送信部
３０２ 動作制御部
２００１ ショベルデータ取得部
２００２ 環境地図生成部
２００３ 表示処理部
２００４ 軌道生成部
２００５ 軌道データ記憶部
２００６ シミュレータ部
２００７ 遠隔操作支援部
ＡＴ アタッチメント
ＨＡ 油圧アクチュエータ
Ｓ１～Ｓ５ センサ
ＳＹＳ 遠隔操作支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】