特開 2024-137515 作業機械の遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137515

(43)【公開日】2024-10-07

(54)【発明の名称】作業機械の遠隔操作システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240927BHJP

   H04Q 9/00 20060101ALI20240927BHJP

   H04M 11/00 20060101ALI20240927BHJP

   E02F 9/20 20060101ALI20240927BHJP

   B66C 13/40 20060101ALI20240927BHJP

【ＦＩ】

E02F9/26 B

H04Q9/00 331A

H04M11/00 301

E02F9/20 N

B66C13/40 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023049059

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】福田 直紀

(72)【発明者】

【氏名】荒井 雅嗣

(72)【発明者】

【氏名】境 和樹

【テーマコード（参考）】

2D003

2D015

5K048

5K201

【Ｆターム（参考）】

2D003AA01

2D003AB03

2D003AB04

2D003BA02

2D003BA04

2D003CA02

2D003DA04

2D003DB04

2D015HA03

2D015HB00

5K048AA04

5K048BA25

5K048BA48

5K048DA01

5K048EB02

5K048EB12

5K048EB13

5K048FB05

5K048FB15

5K048GA09

5K048GB04

5K048HA01

5K048HA02

5K048HA21

5K201AA05

5K201BA01

5K201BA02

5K201BA20

5K201CA06

5K201CC09

5K201DC02

5K201EC06

5K201ED09

5K201EF02

5K201EF10

5K201FA03

(57)【要約】

【課題】作業性を向上できるようにした作業機械の遠隔操作システムを提供すること。
【解決手段】
作業機械の遠隔操作システム１は、作業機械１０の状況を示す情報および作業機械の周辺環境を示す情報を取得して、作業機械および周辺環境を仮想空間で表現する制御装置２００と、作業機械が仮想空間内に表現された仮想作業機械１０ｓを操作する操作信号を制御装置へ入力する入力装置２１０と、制御装置により生成された仮想空間を表示する表示装置２２０とを備え、制御装置は、操作信号に応じて仮想作業機械を仮想空間内で動作させ、作業機械を仮想作業機械の動作に追従させる出力信号を生成し、生成された出力信号を記憶部３０１に蓄積し、記憶部に蓄積された出力信号を作業機械へ送信させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業機械を遠隔操作する作業機械の遠隔操作システムであって、
前記作業機械の状況を示す情報および前記作業機械の周辺環境を示す情報を取得して、前記作業機械および前記周辺環境を仮想空間で表現する制御装置と、
前記作業機械が前記仮想空間内に表現された仮想作業機械を操作する操作信号を前記制御装置へ入力する入力装置と、
前記制御装置により生成された前記仮想空間を表示する表示装置と
を備え、
前記制御装置は、
前記操作信号に応じて前記仮想作業機械を前記仮想空間内で動作させ、
前記作業機械を前記仮想作業機械の動作に追従させる出力信号を生成し、
生成された出力信号を記憶部に蓄積し、
前記記憶部に蓄積された出力信号を前記記憶部から前記作業機械へ送信させる
作業機械の遠隔操作システム。

【請求項2】

前記制御装置は、さらに、
前記作業機械の動作と前記仮想作業機械の動作との差分を検出し、前記検出された差分に応じて、前記仮想作業機械の動作を停止させる
請求項１に記載の作業機械の遠隔操作システム。

【請求項3】

前記制御装置は、前記仮想作業機械の動作を所定時間以上停止させても前記差分が解消しない場合、前記作業機械に異常が発生したと判定する
請求項２に記載の作業機械の遠隔操作システム。

【請求項4】

前記制御装置は、前記検出された差分が所定の閾値以上であって、かつ前記作業機械があらかじめ設定された安全状態であると判定された場合に、前記仮想作業機械の動作を停止させる
請求項２に記載の作業機械の遠隔操作システム。

【請求項5】

前記制御装置は、俯瞰視点または前記作業機械の運転席から見た主観視点のうちいずれか選択された視点で前記仮想空間を生成する
請求項１に記載の作業機械の遠隔操作システム。

【請求項6】

前記制御装置は、前記仮想作業機械のうち所定の部分を透明または半透明にして表示させる
請求項５に記載の作業機械の遠隔操作システム。

【請求項7】

前記作業機械の前部には、作業を行う作業装置と前記作業機械の周辺環境を示す情報を取得する周辺環境センサとが設けられており、
前記制御装置は、前記作業装置が前記周辺環境センサによる情報取得を阻害しない所定の姿勢になった場合に、前記周辺環境センサにより前記作業機械の周辺環境を示す情報を取得する
請求項１に記載の作業機械の遠隔操作システム。

【請求項8】

前記制御装置は、前記作業機械の周囲を移動する小型移動体に設けられた周辺環境センサから、前記作業機械の周辺環境を示す情報を取得する
請求項１に記載の作業機械の遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の遠隔操作システムに関する。

【背景技術】

【0002】

作業者の立ち入りが難しい災害現場などでは、作業機械から離れた場所で作業機械を遠隔操作する遠隔操作システムが運用される。作業者が作業機械に乗り込んで直接操作する場合と遠隔操作する場合とでは操作性が異なるため、シミュレータを用いて事前に操作性を確認できるようにした技術も提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７９１０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔操作される油圧ショベルなどの作業機械では、操作信号とカメラの映像とを無線またはインターネットを通じて送受信するため、操作信号の入力タイミングと作業機械の実動作のタイミングとにずれが発生し、さらに実動作のタイミングとカメラ映像での動作のタイミングのずれが発生する。そのため、作業者が操作するタイミングとカメラ映像を通して作業者が動作状況を認識するタイミングとが一致せず、操作性が低い。動作のずれは時々刻々と変化するため、ずれによる影響をシミュレータに反映させるのは難しい。

【0005】

ところで、従来の遠隔操作システムでは、作業者は二次元の正面画像を見ながら操作するため、作業現場の奥行きが分かりづらく、作業性が低い。このため、シミュレータによって事前に操作性を確認できたとしても、実際の操作性とは異なるため、作業効率は低下する。

【0006】

本発明は、上記問題に鑑みてなされたもので、その目的は、作業性を向上できるようにした作業機械の遠隔操作システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一つの観点に係る作業機械の遠隔操作システムは、作業機械の状況を示す情報および作業機械の周辺環境を示す情報を取得して、作業機械および周辺環境を仮想空間で表現する制御装置と、作業機械が仮想空間内に表現された仮想作業機械を操作する操作信号を制御装置へ入力する入力装置と、制御装置により生成された仮想空間を表示する表示装置とを備え、制御装置は、操作信号に応じて仮想作業機械を仮想空間内で動作させ、作業機械を仮想作業機械の動作に追従させる出力信号を生成し、生成された出力信号を記憶部に蓄積し、記憶部に蓄積された出力信号を作業機械へ送信させる。

【0008】

制御装置は、さらに、作業機械の動作と仮想作業機械の動作との差分を検出し、検出された差分に応じて、仮想作業機械の動作を停止させてもよい。

【0009】

制御装置は、仮想作業機械の動作を所定時間以上停止させても差分が解消しない場合、作業機械に異常が発生したと判定してもよい。

【0010】

制御装置は、検出された差分が所定の閾値以上であって、かつ作業機械があらかじめ設定された安全状態であると判定された場合に、仮想作業機械の動作を停止させてもよい。

【0011】

制御装置は、俯瞰視点または作業機械の運転席から見た主観視点のうちいずれか選択された視点で仮想空間を生成してもよい。

【0012】

制御装置は、仮想作業機械のうち所定の部分を透明または半透明にして表示させてもよい。

【0013】

作業機械の前部には、作業を行う作業装置と作業機械の周辺環境を示す情報を取得する周辺環境センサとが設けられており、制御装置は、作業装置が周辺環境センサによる情報取得を阻害しない所定の姿勢になった場合に、周辺環境センサにより作業機械の周辺環境を示す情報を取得してもよい。

【0014】

制御装置は、作業機械の周囲を移動する小型移動体に設けられた周辺環境センサから、作業機械の周辺環境を示す情報を取得してもよい。

【図面の簡単な説明】

【0015】

【図1】作業機械の遠隔操作システムの概要を示す全体図。

【図2】制御装置の構成図。

【図3】記憶部に蓄積される出力信号の概略図。

【図4】作業機械の運転席から見た景色と表示装置に表示される映像を比較して示す説明図。

【図5】実際の作業機械（実機）と仮想作業機械とで動作にずれが生じる様子を示す説明図。

【図6】作業装置の各アクチュエータの動作を示すタイムチャート。

【図7】遠隔操作処理を示すフローチャート。

【図8】作業機械へ出力信号を送信する処理を示すフローチャート。

【図9】実施例２に係り、仮想空間での仮想作業機械の見え方を示す説明図。

【図10】盛り土などをワイヤーフレームモデルで表現する例を示す説明図。

【図11】作業装置の各アクチュエータの動作と運搬された土の量の変化を示すタイムチャート。

【図12】実施例３に係る作業機械の遠隔操作システムの全体図。

【図13】実施例４に係り、遠隔操作処理を示すフローチャート。

【発明を実施するための形態】

【0016】

本実施形態では、以下に詳述する通り、作業機械およびその周辺環境を仮想空間で表現し、仮想空間で表現された仮想作業機械を操作して、仮想作業機械の動作に追従させる出力信号を生成させ、生成された出力信号を記憶部に蓄積し、蓄積された出力信号を作業機械へ送信する。すなわち、作業者は作業機械を操作するために、まず仮想空間で仮想作業機械を操作する。作業者が仮想空間で仮想作業機械を操作すると、仮想作業機械がその操作に瞬時に反応するため、作業者は滑らかに仮想作業機械を操作することができ、通信遅延などによるタイムラグが少なく、ストレスを感じない。

【0017】

すなわち、本実施形態の遠隔操作システムは、作業機械を遠隔操作して、現実世界での操作結果を仮想空間に反映させるのではなく、仮想空間内の仮想作業機械を操作して、仮想空間での操作結果を現実の作業機械に反映させる。

【0018】

制御装置は、仮想作業機械を仮想空間内で動作させるだけでなく、仮想作業機械の動作に作業機械の動作を追従させるための出力信号を生成し、記憶部に蓄積させる。この出力信号は、例えば、作業機械が仮想作業機械の動作を再現するための遠隔操作信号と呼ぶこともできる。記憶部に蓄積された出力信号は、記憶部から作業機械へ送信される。作業機械は、出力信号を受信すると、その出力信号にしたがって動作する。

【0019】

記憶部には、作業者が仮想作業機械を操作したときに発生するひとかたまりの出力信号が蓄積される。つまり、作業者による仮想作業機械への一連の操作に対応する出力信号が記憶部に蓄積され、記憶部に蓄積された出力信号が作業機械へ送信される。作業機械は、一連の操作を再現するかのように動作する。したがって、本実施形態の遠隔操作システムでは、仮想作業機械を仮想空間で直接的に操作することにより、その一連の操作に応じた出力信号が蓄積されて作業機械へ送信されるため、作業者はタイムラグを意識せずに離れた作業現場にある作業機械を滑らかに遠隔操作できる。制御装置は、作業機械の状況を示す情報および作業機械の周辺環境を示す情報を取得し、仮想空間へ反映させる。これにより、遠隔操作システムの作業効率が改善する。

【0020】

本実施形態の遠隔操作システムは、以下のように表現することもできる。ただし、以下の表現は一つの例であり、本発明の範囲を狭めるものではない。

【0021】

遠隔操作される作業機械において、作業機械の少なくとも一つのアクチュエータと、アクチュエータの位置または角度を検出する少なくとも一つの位置角度センサと、作業機械の向きを検出する角度センサと、作業機械の周囲の地形を検出する地形センサと、地形センサによって得られた作業機械の周囲の地形に基づいて設定された仮想環境における作業機械の動作のシミュレーションを実行する演算装置と、演算装置に作業機械の操作信号を送信する少なくとも一つの入力装置と、仮想環境の映像を映し出すディスプレイを備え、演算装置は入力装置の入力に従い、仮想環境における作業機械を動作させるシミュレーション動作演算部と、仮想環境における作業機械の動きに追従するように実際の作業機械への出力信号を作成する信号作成部と、信号作成部にて作成された出力信号を記憶しておく記憶部と、記憶部に記憶された出力信号を作業機械に出力する信号出力部と、位置角度センサと角度センサから得られた値とシミュレーション動作演算部にて演算された仮想上のアクチュエータの位置または角度と作業機械の向きの値の差分を計算する姿勢ずれ判定部を備える。

【実施例0022】

図１～図８を用いて実施例１を説明する。以下、作業機械が建設機械である場合を例に挙げて説明する。建設機械には、例えば、ショベル、ブルドーザ、クレーン車、ホイールローダ、ダンプトラック、モータグレーダなどがある。これら以外の装置にも本実施形態の遠隔操作システムを適用可能である。

【0023】

図１は、遠隔操作システム１の全体概要図である。遠隔操作システム１は、例えば、作業機械の例としてのショベル１０と、ショベル１０から離れた場所からショベル１０を操作する遠隔操作室２０と、ショベル１０と遠隔操作室２０とにそれぞれ通信可能に接続されたクラウドシステム（図中、クラウドと略記）３０とを備える。ショベル１０は、例えば災害現場などの作業現場５０に配備される。ショベル１０と遠隔操作室２０の詳細は後述する。

【0024】

ショベル１０と遠隔操作室２０およびクラウドシステム３０は、通信ネットワークＣＮにより双方向通信可能に接続されている。通信ネットワークＣＮは、インターネットのような公衆回線でもよいし、専用回線でもよい。通信ネットワークＣＮの一部は有線通信を含んでもよい。ショベル１０の周辺環境を計測するためのドローン４０も、通信ネットワークＣＮを介してクラウドシステム３０に接続され、クラウドシステム３０を介して遠隔操作室２０にデータを送信する。

【0025】

ショベル１０は、上部旋回体１０１と下部走行体１０２で構成される。上部旋回体１０１には、ブーム１０３、アーム１０４、バケット１０５、キャブ１０６、地形センサ１０７、機械室１０８が備えられている。ショベル１０は、油圧で動作する油圧式ショベルでもよいし、電動モータおよび電動シリンダを用いる電動式ショベルでもよい。ブーム１０３とアーム１０４とバケット１０５を総称して作業装置１０９と呼ぶ。

【0026】

遠隔操作室２０は、作業者（運転者）がショベル１０を遠隔操作する施設である。遠隔操作室２０には、コントローラ２００と、入力装置２１０と、「表示装置」としてのモニタディスプレイ２２０とが設けられている。

【0027】

「制御装置」の例であるコントローラ２００は、遠隔操作システム１を制御するコンピュータである。コントローラ２００は、仮想ショベル１０ｓを含む仮想空間を生成し、入力装置２１０から入力された操作信号にしたがって仮想ショベル１０ｓを動作させる。仮想空間は、ショベル１０および作業現場５０をシミュレーションした映像である。仮想空間でのショベルを仮想ショベル１０ｓと呼び、仮想空間での作業現場を仮想作業現場５０ｓと呼ぶ。さらに、仮想空間における作業装置、ブーム、アーム、バケットには、作業装置１０９ｓ、ブーム１０３ｓ、アーム１０４ｓ、バケット１０５ｓという符号を付して説明する。

【0028】

コントローラ２００は、仮想ショベル１０ｓの動作に合わせてショベル１０を動作させるための出力信号を生成し、クラウドシステム３０の持つ記憶部３０１を介して、出力信号をショベル１０へ送信させる。出力信号を受信したショベル１０は、作業者による一連の操作に応じて、作業装置１０９を動作させる。または、出力信号を受信したショベル１０は、作業者による一連の操作に応じて、ショベル１０を走行させたり旋回させたりする。

【0029】

入力装置２１０は、ショベル１０を操作する装置である。入力装置２１０は、例えば、操作レバー、操作ペダル、操作ボタンなどを含む。入力装置２１０は、ショベル１０のキャブ１０６内に設けられた操作装置（不図示）と同様の装置でもよいし、全く異なる装置でもよい。例えば、入力装置２１０として、複数の押釦が設けられたカード状の装置を用いてもよいし、携帯情報端末（いわゆるスマートフォンを含む。）にインストールされた操作用アプリケーションを用いてもよい。さらには、作業者は、ヘッドマウントディスプレイまたはＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルなどを用いて、仮想空間の作業現場５０ｓ内の仮想ショベル１０ｓを操作することもできる。作業者は、少なくとも一部の操作を音声で指示してもよい。

【0030】

作業者が入力装置２１０を用いて仮想ショベル１０ｓを操作すると、コントローラ２００は入力装置２１０への操作に応じて仮想ショベル１０ｓを動作させる。コントローラ２００は、仮想ショベル１０ｓを動作させると共に、ショベル１０を動作させるための出力信号（遠隔操作信号）を生成し、記憶部３０１に蓄積させる。

【0031】

記憶部３０１には、作業者による一連の操作に応じた出力信号が蓄積される。蓄積された出力信号は、通信ネットワークＣＮを介してショベル１０に送られる。無線通信によって出力信号をショベル１０へ送信する場合に、クラウドシステム３０に設けられた記憶部３０１を用いると、通信遅延の影響を少なくして、出力信号をショベル１０へ送ることができる。一つ一つの動作を示す出力信号をショベル１０へ送信する場合、一時的な通信負荷の増大などによって通信遅延が発生し、作業者の意図した一連の操作の途中で、ショベル１０が一時停止する可能性があり得る。これに対し、記憶部３０１に一連の操作に対応する出力信号を蓄積して一気に送信することにより、一連の操作中にショベル１０が一時停止するのを抑制できる。

【0032】

作業者によるショベル１０の操縦例を説明する。作業者は、遠隔操作室２０に設けた入力装置２１０により、ブーム１０３またはアーム１０４またはバケット１０５の操作と、上部旋回体１０１の旋回動作とを行わせることができる。作業者は、入力装置２１０の操作により、下部走行体１０２に備えられた走行モータ（不図示）を駆動させて、前進または後進または回動させることもできる。さらに、作業者は、入力装置２１０を用いて、ショベル１０のライトを点灯させたり、ブザーを鳴動させたり、機械室１０８内のエンジンの回転数を変えたりすることもできる。

【0033】

作業者は、モニタディスプレイ２２０に映し出される映像から得られる情報から判断してショベル１０を操作する。モニタディスプレイ２２０には、地形センサ１０７およびセンサ群１１０から得られた情報の全部または一部が表示される。

【0034】

「周辺環境センサ」の例である地形センサ１０７は、ショベル１０の周辺環境としての地形を測定する。地形センサ１０７は、例えば、カメラ、赤外線センサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などである。超音波センサなどを地形センサ１０７として用いてもよい。

【0035】

遠隔操作システム１は、ショベル１０に搭載される地形センサ１０７の代わりに、または地形センサ１０７と共にドローン４０を用いることもできる。「小型移動体」としてのドローン４０は、例えばショベル１０の周囲を飛行しながら、作業現場５０の状況を計測し、コントローラ２００へ送信する。ドローン４０は、カメラ、赤外線センサ、ＬｉＤＡＲ、超音波センサなどのセンサを少なくとも一つ搭載して、ショベル１０の周囲の地形を測定する。ドローン４０は、飛行体に限らず、地上を走行する小型車両でもよいし、水中を移動する小型潜水艇でもよい。ショベル１０が水中で作業をする場合は、水中を移動して海底の状況を測定する水中移動型ドローンを用いてもよい。空中移動型ドローン、水中移動型ドローン、地上移動型ドローンのうちいずれか複数を組み合わせて使用することもできる。

【0036】

地形センサ１０７またはドローン４０は、一定周期で、または所定タイミングで、地形を測定することができる。所定タイミングは、例えば、作業者が指示した場合、作業装置１０９が所定の姿勢になった場合、入力装置２１０への操作が終了してから所定時間が経過した場合などを挙げることができる。所定の姿勢になった場合とは、例えば、作業装置１０９が地形センサ１０７による情報取得（地形の測定）を阻害しない所定の姿勢になった場合、という意味である。上部旋回体１０１の前部に地形センサ１０７が設けられている場合において、バケット１０５が下側に位置すると、地形センサ１０７の測定を妨げてしまう可能性がある。そこで、例えば、バケット１０５が測定上の障害物とならない位置になった場合に、地形センサ１０７によりショベル１０の周囲の地形（主に前方の地形）を計測する。

【0037】

クラウドシステム３０は、例えばインターネットのような広域通信ネットワークＣＮに接続されたサーバコンピュータであり、演算装置と記憶装置と通信装置を備える（いずれも不図示）。コントローラ２００で生成されたショベル操作用の出力信号は、通信ネットワークＣＮを介してクラウドシステム３０の記憶部３０１に蓄積され、記憶部３０１から通信ネットワークＣＮを介してショベル１０へ送信される。クラウドシステム３０の記憶装置に代えて、コントローラ２００内の記憶装置またはコントローラ２００に接続された記憶装置のいずれかに出力信号を蓄積し、それら記憶装置からショベル１０へ出力信号を送信してもよい。

【0038】

記憶部３０１は、コントローラ２００に内蔵されたハードディスクまたはフラッシュメモリなどの不揮発性メモリでもよいし、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリでもよい。上述のように、記憶部３０１は、クラウドシステム３０に設けられてもよい。

【0039】

図２は、コントローラ２００の機能構成を示す。コントローラは、例えば、演算装置、記憶装置、入出力装置、通信装置（いずれも不図示）などのハードウェア資源とソフトウェア資源とを備えたコンピュータである。演算装置が記憶装置に記憶された所定のコンピュータプログラムを読み込んで実行することにより、以下の各機能２０１－２０７が実現される。

【0040】

コントローラ２００は、例えば、操作入力部２０１、地形測定部２０２、シミュレーション動作演算部２０３、信号作成部２０４、信号出力部２０５、実機姿勢測定部２０６、姿勢ずれ判定部２０７を含む。

【0041】

操作入力部２０１は、入力装置２１０からの信号を受け取り、シミュレーション動作演算部２０３へ伝達する。地形測定部２０２は、地形センサ１０７から出力された信号（情報）に基づいて、地形を測定する。シミュレーション動作演算部２０３は、操作入力部２０１から入力される信号と地形測定部２０２から取得される信号とに基づいて、仮想ショベル１０ｓと仮想作業現場５０ｓの地形とをシミュレーションする。

【0042】

信号作成部２０４は、シミュレーション動作演算部２０３により演算された結果に基づいて、ショベル１０を操作するための信号（出力信号）２３０を作成する。記憶部３０１は、信号作成部２０４で作成された信号を記憶する。信号出力部２０５は、記憶部３０１から信号２３０を取得し、通信ネットワークＣＮを介してショベル１０へ出力する。

【0043】

実機姿勢測定部２０６は、ショベル１０に設けられたセンサ群１１０からの信号に基づいて、ショベル１０の姿勢を測定する。実機とは、ショベル１０を意味する。センサ群１１０は、例えば、ブーム角度センサ、アーム角度センサ、バケット角度センサ、旋回角度センサ、ペダルセンサ、車速センサ（いずれも図示せず）を含む。実機姿勢測定部２０６は、センサ群１１０に含まれる全てのセンサを利用する必要はなく、ショベル１０の姿勢を測定するために必要なセンサからの信号を利用すればよい。

【0044】

姿勢ずれ判定部２０７は、実機姿勢測定部２０６により測定されたショベル１０の姿勢と、シミュレーション動作演算部２０３で演算された仮想ショベル１０ｓの姿勢とのずれを計算し、算出されたずれが所定値以上であるか判定する。姿勢ずれ判定部２０７は、所定値以上のずれが発生したと判定すると、ショベル１０の作業装置１０９の動作を一時停止させる遅延信号２３２を生成し、ショベル１０へ送信する。

【0045】

地形測定部２０２は、地形センサ１０７からショベル１０の周囲の地形を取得し、仮想空間での仮想の地形を作成する。本明細書では、仮想空間に再現された仮想地形を仮想作業現場５０ｓまたは仮想地形５０ｓと呼ぶ。図４で後述するように、仮想ショベル１０ｓは、上部旋回体と下部走行体を備える。上部旋回体には、ブーム１０３ｓ、アーム１０４ｓ、バケット１０５ｓ、キャブなどが備えられている。

【0046】

シミュレーション動作演算部２０３は、仮想ショベル１０ｓを仮想の地形上に置き、操作入力部２０１からの信号に従い、上部旋回体、下部走行体、ブーム１０３ｓ、アーム１０４ｓ、バケット１０５ｓを動作させる。シミュレーション動作演算部２０３は、地形モデルに土モデルを導入して、仮想作業現場５０ｓを生成する。仮想ショベル１０ｓが仮想作業現場５０ｓで掘削または放土などの作業を行うと、それらの作業に応じて作業現場５０ｓの地形は変化する。シミュレーション動作演算部２０３は、シミュレーションの結果得られた映像２３１をモニタディスプレイ２２０に表示させ、作業者へ伝える。

【0047】

図３は、記憶部３０１に蓄積される出力信号２３０の概略図である。記憶部３０１は、信号作成部２０４で作成された時間と出力信号との二つのデータを記憶する。時間は、シミュレーションを開始してからの時間でもよいし、実際にシミュレーションを行っているときの時間でもよい。出力信号は、ショベル１０の操作レバーの操作量または操作ペダルの操作量などの値でもよいし、または、ショベル１０の姿勢を示す値でもよい。ショベル１０の姿勢を示す値には、例えば、ブーム１０３、アーム１０４、バケット１０５の、角度および上部旋回体１０１の旋回角度といったショベル１０の姿勢を制御する値である。

【0048】

出力信号は、ショベル１０の遠隔操作の方式に応じて決定できる。例えば、キャブ１０６内に操作用アクチュエータ付きの操作装置が設けられており、そのアクチュエータを遠隔動作させることでショベル１０を操作する場合を考える。この場合、ショベル１０を操作するための出力信号２３０は、操作装置の操作量である。操作装置の操作量とは、例えば、操作レバーの操作量、操作ペダルの操作量のように、操作装置に与えられる操作量である。

【0049】

操作用アクチュエータ付き操作装置が、ブーム角度、アーム角度、パケット角度を検出する機能を持つ場合は、ショベル１０の姿勢を示す値（ブーム角度、アーム角度、パケット角度）を出力信号２３０としてもよい。電磁弁（不図示）の開閉を制御する場合、出力信号は、電磁弁に供給する電流の値でもよい。

【0050】

図３に示すように、出力信号は時系列順に生成されて記憶部３０１に蓄積され、記憶部３０１から時系列順にショベル１０内の制御装置へ送信される。図３に示す例では、時間ｔ１、ｔ２，ｔ３の順に、出力信号２３０（１），２３０（２），２３０（３）が記憶部３０１から読みだされ、ショベル１０へ送られる。

【0051】

図４は、ショベル１０の正面の景色とモニタディスプレイ２２に表示される仮想空間の映像とを対比して示す。図４の上側には、ショベル１０のキャブ１０６内から見る実際の景色の様子である。

【0052】

キャブ１０６から見える実際の景色Ｇ１には、ブーム１０３，アーム１０４およびバケット１０５と、作業現場５０の作業対象５１とが含まれる。シミュレーション動作演算部２０３は、シミュレーションの結果得られた仮想空間の映像をモニタディスプレイ２２０に表示させる。シミュレーション動作演算部２０３は、例えば、ショベル１０に実際に作業者が乗った際の視点からの景色Ｇ１とほぼ同一となるように生成された仮想視点からの景色Ｇ１ｓを、モニタディスプレイ２２０に表示させる。

【0053】

仮想的な景色Ｇ１ｓから、ピラーまたはドアなどのキャブの一部または全部を取り除くこともできる。ショベルの構造物の少なくとも一部を除去することにより、作業者の視界が妨げられるのを防止し、作業効率を向上させることができる。キャブなどのショベルの所定の部分は、作業者の指示により表示と非表示とを切り替えることができる。「所定の部分を非表示にする」とは、仮想ショベル１０ｓの所定の部分を透明または半透明にしてモニタディスプレイ２２０に表示させることを意味する。透明または半透明とは、可視光線に対する透過率が高いことである。

【0054】

図５は、ショベル１０と仮想ショベル１０ｓの動作のずれを模式的に示す。ショベル１０は、コントローラ２００により生成された出力信号２３０を受信すると、仮想作業現場５０ｓにおける仮想ショベル１０ｓの動きに追従するように動作する。例えば仮想ショベル１０ｓがアーム１０４ｓを持ち上げると、ショベル１０もアーム１０４を同じ量だけ持ち上げる。

【0055】

図６は、ショベル１０の作業装置１０９を構成する各アクチュエータ（ブーム１０３、アーム１０４、バケット１０５）の動作を示すタイムチャートである。図６のタイムチャートは、仮想ショベル１０ｓの各アクチュエータの動きとショベル１０の各アクチュエータの動きとを対比して示す。横軸は時間である。

【0056】

仮想ショベル１０ｓの動き出しを時間０としたとき、ショベル１０は時間ｔ１だけ遅れて動作する。時間ｔ１の値は、コントローラ２００で生成された出力信号２３０がショベル１０に受信されてアクチュエータを動作させるまでの遅延時間である。

【0057】

図６の上段には、仮想ショベル１０ｓのバケットの角度変化を示すグラフＬ１ｓと、ショベル１０のバケットの角度変化を示すグラフＬ１とが示されている。図６の中段には、仮想ショベル１０ｓのアームの角度変化を示すグラフＬ２ｓと、ショベル１０のアームの角度変化を示すグラフＬ２とが示されている。図６の下段には、仮想ショベル１０ｓのブームの角度変化を示すグラフＬ３ｓと、ショベル１０のブームの角度変化を示すグラフＬ３とが示されている。

【0058】

図６では、仮想ショベル１０ｓが時間ｔ２までブーム１０３ｓ、アーム１０４ｓ、バケット１０５ｓをそれぞれ動かしており、ショベル１０は仮想ショベル１０ｓと同じ動きを時間ｔ３まで行っている。時間ｔ２と時間ｔ３との差は時間ｔ１の大きさと異なっていてもよい。実際の環境では遅延時間は時々刻々と変化するため、動き出しと終わりの遅延時間は異なることがあるためである。

【0059】

時間ｔ４において、ショベル１０が何らかの原因で仮想ショベル１０ｓの動作に追従していないとする。この場合、姿勢ずれ判定部２０７は、仮想ショベル１０ｓとショベル１０とでずれ量が閾値Δｂ以上（所定値以上）となったと判定し、遅延発生をシミュレーション動作演算部２０３へ伝える。

【0060】

シミュレーション動作演算部２０３は、閾値以上の遅延が発生すると、仮想ショベル１０ｓの動作を停止させ、ショベル１０の動作が仮想ショベル１０ｓの動作に追従してくるのを待つ。時間ｔ５でショベル１０が動き出し、姿勢ずれ判定部２０７でずれ量が閾値未満となったと判定されると、姿勢ずれ判定部２０７は、遅延が解消したことをシミュレーション動作演算部２０３に伝える。この通知を受領したシミュレーション動作演算部２０３は、通常通り、入力装置２１０からの入力信号（操作信号、操作入力とも呼ぶ）にしたがって、仮想ショベル１０ｓを動作させる。

【0061】

図７は、コントローラ２００で実施される第１の処理を示す。第１の処理とは、遠隔操作処理である。

【0062】

ステップＳ１０１において、地形測定部２０２は、地形センサ１０７から地形情報を取得する。

【0063】

ステップＳ１０２において、シミュレーション動作演算部２０３は、取得された地形情報を使ってシミュレーション内の地形を更新する。

【0064】

ステップＳ１０３において、操作入力部２０１は、作業者が入力装置２１０を操作することで発生する入力信号を取得する。

【0065】

ステップＳ１０４において、シミュレーション動作演算部２０３は、入力装置２１０からの信号に従い、仮想ショベル１０ｓを動作させる。

【0066】

ステップＳ１０５において、シミュレーション動作演算部２０３は、シミュレーション映像（仮想空間の映像）をモニタディスプレイ２２０に表示させる。

【0067】

ステップＳ１０６において、信号作成部２０４は、シミュレーション動作演算部２０３によるシミュレーション結果から出力信号２３０を作成する。

【0068】

ステップＳ１０７において、信号作成部２０４は、作成された出力信号２３０を時系列順に記憶部３０１に蓄積させる。記憶部３０１に蓄積された出力信号２３０は、通信ネットワークＣＮを介してショベル１０へ送信される。ショベル１０は、出力信号２３０を受信すると、仮想ショベル１０ｓの動作に追従するようにして動作する。

【0069】

ステップＳ１０８において、実機姿勢測定部２０６は、実機であるショベル１０の姿勢情報を取得する。

【0070】

ステップＳ１０９において、姿勢ずれ判定部２０７は、仮想ショベル１０ｓの姿勢とショベル１０の姿勢とのずれ量ｄｉｆｆを計算する。

【0071】

ステップＳ１１０において、実機姿勢測定部２０６は、算出された姿勢のずれ量ｄｉｆｆが閾値Ｔｈ以上であるか判定する。ずれ量ｄｉｆｆが閾値Ｔｈ以上の場合（Ｓ１１０：ＹＥＳ）、ステップＳ１１１へ進む。ずれ量ｄｉｆｆが閾値Ｔｈ未満の場合（Ｓ１１０：ＮＯ）、ステップＳ１１４へ進む。

【0072】

ステップＳ１１１において、シミュレーション動作演算部２０３は、シミュレーションの動作を一時停止する。すなわち、シミュレーション動作演算部２０３は、仮想ショベル１０ｓの動作を停止させる。そして、シミュレーション動作演算部２０３は、一時停止時間Ｔｐを測定する。

【0073】

ステップＳ１１２において、シミュレーション動作演算部２０３は、一時停止時間Ｔｐが閾値Ｔｈｐ以上であるか判定する。一時停止時間Ｔｐが閾値Ｔｈｐ以上の場合（Ｓ１１２：ＹＥＳ）、ステップＳ１１３へ進む。一時提示時間Ｔｐが閾値Ｔｈｐ未満の場合（Ｓ１１２：ＮＯ）、ステップＳ１０９へ戻る。

【0074】

ステップＳ１１３において、コントローラ２００は、ショベル１０に異常が発生したと判定して警報を出力し、遠隔運転を終了させる。

【0075】

ステップＳ１１４において、コントローラ２００は、ショベル１０の遠隔操作を終了するか判定する。遠隔操作を終了させる場合（Ｓ１１４：ＹＥＳ）、コントローラ２００は本処理を終了する。遠隔操作を終了させない場合（Ｓ１１４：ＮＯ）、コントローラ２００は、ステップＳ１０１へ戻る。

【0076】

図８は、コントローラ２００で実施される第２の処理を示す。第２の処理とは、出力信号をショベル１０へ送信する出力信号送信処理である。上述の通り、作業者が入力装置２１０を介して仮想ショベル１０ｓを操作すると、作業者による入力装置２１０の操作に応じた一連の出力信号２３０が生成されて、記憶部３０１へ蓄積される。

【0077】

ステップＳ２０１において、信号出力部２０５は、記憶部３０１から出力信号２３０を取得する。

【0078】

ステップＳ２０２において、信号出力部２０５は、出力信号を通信ネットワークＣＮを介してショベル１０へ送信する。通信ネットワークＣＮに代えて、有線で出力信号をショベル１０へ送信してもよい。または、赤外線通信などを用いてショベル１０へ出力信号を送信してもよい。

【0079】

ステップＳ２０３において、ショベル１０に異常が発生した旨の警報が図７のステップＳ１１３で出力されたか判定する。警報が出力された場合（Ｓ２０３：ＹＥＳ）、信号出力部２０５は、出力信号を送信する処理を終了させる。警報が出力されていない場合（Ｓ２０３：ＮＯ）、ステップＳ２０４へ進む。

【0080】

ステップＳ２０４において、信号出力部２０５は、記憶部３０１内の出力信号をすべて送信したか判定する。記憶部３０１内の出力信号がすべてショベル１０へ送信された場合（Ｓ２０４：ＹＥＳ）、本処理は終了する。記憶部３０１内に未送信の出力信号が残っている場合（Ｓ２０４：ＮＯ）、信号出力部２０５は、ステップＳ２０１へ戻る。

【0081】

本実施形態の遠隔操作システム１は、上述の構成を備えるため、シミュレーション上で仮想ショベル１０ｓを動かして作業を行うことで、ショベル１０との通信速度に左右されずにショベル１０を操作できるため、作業効率を向上させることができる。

【0082】

本実施例では、ショベル１０の周囲の地形５０を定期的にまたは所定タイミングで取得することにより、実際の施工状況をシミュレーションに適切に反映させて、正確な施工を行うことができる。

【0083】

本実施例では、実際のショベルとの姿勢のずれを把握し、ずれ量が大きくなった際にはシミュレーションを停止させるため、施工のずれを低減できるとともに、ずれ量が大きいままの場合にはショベル１０に異常が発生していると判定することができる。これにより、遠隔操作システム１の作業性および作業効率が向上する。

【実施例0084】

図９～図１１を用いて実施例２を説明する。本実施例を含む以下の各実施例では、実施例１との差異を中心に説明する。

【0085】

図９は、本実施例の遠隔操作システム１Ａのモニタディスプレイ２２０に表示されるシミュレーション映像の例（仮想空間の例）である。

【0086】

シミュレーション動作演算部２０３がシミュレーションの結果得られた映像をモニタディスプレイ２２０に表示する際に、キャブの運転席から見た視点Ｇ１ｓ（主観的視点とも呼ぶ）に限らず、他の視点を用いることもできる。例えば、ショベル１０ｓを俯瞰する仮想視点Ｇ２ｓを用いて、仮想空間を表現することもできる。仮想の俯瞰視点Ｇ２ｓから仮想空間を表現することにより、仮想ショベル１０ｓの作業現場５０ｓ全体における位置関係、作業対象５１ｓの形状、盛り土５２ｓの大きさ、作業装置１０９（ブーム１０３ｓ、アーム１０４ｓ、バケット１０５ｓ）の挙動などを作業者は容易に把握できる。俯瞰視点Ｇ２ｓと主観的視点Ｇ１ｓ（図４の下側）とは、作業者の選択によって自由に切替可能である。または、モニタディスプレイ２２０の画面上に、主観的視点Ｇ１ｓで表現した仮想空間と、俯瞰視点Ｇ２ｓで表現した仮想空間とを同時に表示させてもよい。

【0087】

図１０は、モニタディスプレイ２２０に表示される他の映像の例である。複数の視点から見た映像を組み合わせて、仮想空間を表現してもよい。例えばモニタディスプレイ２２０を四分割にして複数の視点の映像を表示したり、或る映像に他の映像を重ねて表示してもよい。俯瞰視点Ｇ２ｓに代えて、あるいは俯瞰視点とともに、複数の視点から仮想空間を表現してもよい。作業者は、任意の視点から仮想空間を俯瞰することができる。

【0088】

例えば、ショベル１０ｓの側面から見た視点、ショベル１０ｓの上面から見た視点、バケット１０５ｓを常に中心に置いた視点から仮想空間を表現することもできる。

【0089】

図９に示す俯瞰視点Ｇ２ｓから見た仮想空間と、図１０に示すワイヤーフレームＧ３ｓで表現した仮想空間とを並べて、モニタディスプレイ２２０に表示することもできる。

【0090】

図１０は、盛り土をワイヤーフレームで表現した仮想空間の映像である。高精細な三次元グラフィックスよりも単純なワイヤーフレームで表現する方が、作業現場５０ｓの状況を容易に把握できる場合がある。盛り土をワイヤーフレームで表現すると、掘削地点の奥行方向を水平線の数から推測することができるため、カメラ映像では確認しづらい奥行方向の距離を把握できる。特に、作業現場は、土や石、雑草などの比較的単調な色彩の物体が多く、カメラ映像では奥行きを認識しにくい場合がある。これに対し、ワイヤーフレームで仮想空間を表現することにより、作業者は、単調な色彩の作業現場の様子を適切かつ容易に把握することができ、作業性が向上する。

【0091】

図１１は、作業装置１０９の各アクチュエータのタイムチャートである。さらに、図１１のタイムチャートは、ショベル１０により運搬される土の量（すなわち作業機械による作業量）の積算値も示されている。

【0092】

図１１では、図６で述べたと同様に、時間０から遠隔操作を行い始め、時間ｔ１にて実際のショベル１０が動き出している。時間ｔ２にてシミュレーション上（仮想空間上）にて放土が行われ、時間ｔ３にて実際のショベル１０にて放土が行われている。仮想ショベル１０ｓがシミュレーションで運搬した土量とショベル１０が実際に運搬した土量との間に差異が発生している。

【0093】

仮想作業現場５０ｓでの作業と実際の作業現場５０での作業とでは、例えば、土の固さの違い、土の粘り気の違い、車体の追従精度の相違があるため、運搬土量に差異が発生する。

【0094】

土量は地形センサ１０７で取得した周囲の地形の変化から算出できる。時間ｔ４にてシミュレーション上にて２回目の放土が行われ、時間ｔ５にて実際のショベル１０にて２回目の放土が行われている。シミュレーション上で運搬された土量と実際に運搬された土量との差Δｄが閾値以上となった場合に、コントローラ２００は、時間ｔ６にてシミュレーション上で運搬された土量を補正する。これにより、コントローラ２００は、シミュレーション内の仮想作業現場５０ｓの地形を更新し、作業現場５０の地形と一致させる。

【0095】

時間ｔ６は、一定時間ごとに補正の判定を行ったタイミング、またはショベル１０が特定の姿勢をとったタイミングである。特定の姿勢とは、例えばバケット１０５内に土が入っておらず、一定以上の高さにある状態である。

【0096】

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに本実施例の遠隔操作システム１Ａは、仮想空間の任意の視点からショベル１０ｓおよび作業現場５０ｓを見ることができるため、作業装置１０９ｓの動きを容易に把握することができる。

【0097】

さらに、本実施例では、仮想ショベル１０ｓの掘った土量（作業量）とショベル１０の掘った土量（作業量）との差に応じて、シミュレーション上の地形を補正する。これにより、実際の施工とのずれを解消し、より正確な施工を行うことができる。

【0098】

さらに、本実施例では、ショベルが特定の姿勢になったときに、作業現場の地形を測定するため、アクチュエータによって地形センサ１０７の視界が遮られることなく正確に地形を測定できる。