特開 2024-80009 操作システムおよび操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080009

(43)【公開日】2024-06-13

(54)【発明の名称】操作システムおよび操作支援方法

(51)【国際特許分類】

   E02F 9/22 20060101AFI20240606BHJP

   E02F 9/26 20060101ALI20240606BHJP

   B66C 13/40 20060101ALI20240606BHJP

   H04Q 9/00 20060101ALI20240606BHJP

【ＦＩ】

E02F9/22

E02F9/26 A

B66C13/40 A

H04Q9/00 331Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022192815

(22)【出願日】2022-12-01

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】杉村 俊輔

(72)【発明者】

【氏名】宮井 慎一郎

【テーマコード（参考）】

2D003

2D015

5K048

【Ｆターム（参考）】

2D003AA01

2D003AA03

2D003BA01

2D003BA04

2D003BA06

2D003CA02

2D003DA04

2D003DB04

2D015HA03

5K048AA04

5K048BA25

5K048BA48

5K048EB02

5K048EB10

5K048FB05

5K048FC03

5K048GB04

5K048GC03

5K048HA01

5K048HA02

(57)【要約】

【課題】作業機械との通信に係る遅延による操作性の低下を防ぐ。
【解決手段】送信部は、操作信号を作業機械に送信する。記憶部は、操作信号の履歴を記憶する。受信部は、作業機械に設けられたセンサが計測した計測データを受信する。シミュレータは、計測データに基づいて計測データの計測時の前記作業機械の状態を模擬する。シミュレータは、計測データを送信してから受信するまでの第一遅延時間と、操作信号を送信してから受信するまでの第二遅延時間との和だけ現在時刻より前から現在時刻までに送信された一連の操作信号に基づいて、作業機械の挙動を模擬する。表示装置は、作業機械が一連の操作信号に従って駆動した後の作業機械の模擬の結果を表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業機械の操作のために用いる操作システムであって、
オペレータの操作に基づいて前記作業機械の操作信号を出力する操作装置と、
前記操作信号を前記作業機械に送信する送信部と、
前記操作信号の履歴を記憶する記憶部と、
前記作業機械に設けられたセンサが計測した計測データを受信する受信部と、
前記計測データに基づいて前記計測データの計測時の前記作業機械の状態を模擬し、前記作業機械が前記計測データを送信してから前記受信部が前記計測データを受信するまでの第一遅延時間と、前記送信部が前記操作信号を送信してから前記作業機械が前記操作信号を受信するまでの第二遅延時間との和だけ現在時刻より前の時刻と、前記現在時刻との間に送信された一連の操作信号に基づいて、前記計測データの計測時から前記一連の操作信号に従って駆動する前記作業機械の挙動を模擬するシミュレータと、
前記作業機械が前記一連の操作信号に従って駆動した後の前記作業機械の模擬の結果を表示する表示装置と
を備える操作システム。

【請求項2】

前記表示装置は、前記模擬の結果として、前記作業機械が前記一連の操作信号に従って駆動した後の作業現場の状態を表示する
請求項１に記載の操作システム。

【請求項3】

前記表示装置は、前記模擬の結果として、前記作業機械が前記一連の操作信号に従って駆動した後の前記作業機械の状態を表示する
請求項１に記載の操作システム。

【請求項4】

前記計測データと、前記計測データの受信より前記第一遅延時間および前記第二遅延時間の和だけ前の時刻における前記模擬の結果とに基づいて、前記計測データと前記模擬の結果との差分が小さくなるように、前記シミュレータのパラメータを更新する更新部
を備える請求項１から請求項３の何れか１項に記載の操作システム。

【請求項5】

前記送信部は、前記計測データと、前記計測データの受信より前記第一遅延時間および前記第二遅延時間の和だけ前の時刻における前記模擬の結果との差分が所定の閾値を超える場合に、前記操作信号に係る操作量を制限する
請求項１から請求項３の何れか１項に記載の操作システム。

【請求項6】

作業機械の操作支援方法であって、
オペレータの操作に基づいて前記作業機械の操作信号を出力する操作装置が出力する前記操作信号を前記作業機械に送信するステップと、
前記操作信号の履歴を記憶部に記憶させるステップと、
前記作業機械に設けられたセンサが計測した計測データを受信するステップと、
前記計測データに基づいて前記計測データの計測時の前記作業機械の状態を模擬し、前記作業機械が前記計測データを送信してから前記計測データを受信するまでの第一遅延時間と、前記操作信号を送信してから前記作業機械が前記操作信号を受信するまでの第二遅延時間との和だけ現在時刻より前の時刻と、前記現在時刻との間に送信された一連の操作信号に基づいて、前記計測データの計測時から前記一連の操作信号に従って駆動する前記作業機械の挙動を模擬するステップと、
前記作業機械が前記一連の操作信号に従って駆動した後の前記作業機械の模擬の結果を表示するステップと
を備える操作支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、操作システムおよび操作支援方法に関する。

【背景技術】

【0002】

遠隔に設けられた作業機械を操作する遠隔運転システムが知られている（例えば、特許文献１を参照）。遠隔運転システムは、作業機械の状態を表示するための表示装置が設けられる。例えば、表示装置には、作業機械に設けられたカメラが撮像した作業機械の正面の映像が表示される。オペレータは表示装置を見ながら、作業機械を操作する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０９９０１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械と遠隔運転システムとは通信により接続されるため、通信の遅延によって、実際の作業機械の状態と表示装置に表示される状態とにはずれが生じる。特許文献１に記載の技術によれば、作業機械に設けられたカメラが撮像した画像に、遠隔操作によって作業機が存在すると推定された位置を示す画像を重畳して表示させる。しかしながら、特許文献１に記載の手法では、作業機の位置を推定することはできるが、作業機械の旋回や走行による姿勢の変化に伴う視点の変化や掘削作業等による地形の変化のずれを補完することはできない。
本開示の目的は、作業機械との通信に係る遅延による操作性の低下を防ぐことができる操作システムおよび操作支援方法を提供することにある。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、操作システムは、作業機械の操作のために用いる操作システムであって、オペレータの操作に基づいて前記作業機械の操作信号を出力する操作装置と、前記操作信号を前記作業機械に送信する送信部と、前記操作信号の履歴を記憶する記憶部と、前記作業機械に設けられたセンサが計測した計測データを受信する受信部と、前記計測データに基づいて前記計測データの計測時の前記作業機械の状態を模擬し、前記作業機械が前記計測データを送信してから前記受信部が前記計測データを受信するまでの第一遅延時間と、前記送信部が前記操作信号を送信してから前記作業機械が前記操作信号を受信するまでの第二遅延時間との和だけ現在時刻より前の時刻と、前記現在時刻との間に送信された一連の操作信号に基づいて、前記計測データの計測時から前記一連の操作信号に従って駆動する前記作業機械の挙動を模擬するシミュレータと、前記作業機械が前記一連の操作信号に従って駆動した後の前記作業機械の模擬の結果を表示する表示装置とを備える。

【発明の効果】

【0006】

上記態様によれば、操作システムは、作業機械との通信に係る遅延による操作性の低下を防ぐことができる。

【図面の簡単な説明】

【0007】

【図1】第一実施形態に係る遠隔運転システムの構成を示す概略図である。

【図2】第一実施形態に係る作業機械の外観図である。

【図3】第一実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。

【図4】第一実施形態に係る遠隔運転システムの通信遅延の例を示す図である。

【図5】第一実施形態に係る遠隔運転装置の動作を示すフローチャートである。

【図6】第二実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。

【図7】第三実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。

【図8】第三実施形態に係る遠隔運転装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0008】

〈第一実施形態〉
《遠隔運転システム》
図１は、第一実施形態に係る遠隔運転システムの構成を示す概略図である。
遠隔運転システム１は、遠隔運転により動作する作業機械１００と、遠隔運転を行うための遠隔運転装置５００とを備える。作業機械１００は、作業現場（例えば、月面）において稼動する。遠隔運転装置５００は、作業機械１００から離れた地点（例えば、地球上）に設けられる。作業機械１００と遠隔運転装置５００とは、無線通信手段を介して接続される。無線通信手段は、インターネットを経由するものであってもよい。
遠隔運転システム１は、遠隔運転装置５００を用いて作業機械１００を操作するためのシステムである。

【0009】

作業機械１００は、遠隔運転装置５００から受信する操作信号に従って動作する。
遠隔運転装置５００は、オペレータの操作により入力された操作信号を作業機械１００に送信する。遠隔運転装置５００は、作業機械１００の操作のために用いる操作システムの一例である。

【0010】

《作業機械１００の構成》
図２は、第一実施形態に係る作業機械１００の外観図である。
第一実施形態に係る作業機械１００は、油圧ショベル（フェイスショベル）である。なお、他の実施形態に係る作業機械１００は、クレーン、電動ショベル、ダンプトラック、モータグレーダ、バックホウショベル等の他の作業機械であってもよい。
作業機械１００は、走行体１１０と、旋回体１２０と、作業機１３０とを備える。

【0011】

走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、左右に設けられた２つの無限軌道１１１と、各無限軌道１１１を駆動するための走行モータ１１２を備える。走行体１１０は支持部の一例である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。なお、他の実施形態に係る作業機１３０は電動で駆動するものであってもよい。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0012】

《作業機１３０の構成》
作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃが伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、およびバケット角度センサ１３３Ｓが装着されている。

【0013】

ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。

【0014】

ブームシリンダ１３１Ｃは、例えばブーム１３１を駆動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３２Ｃは、例えばアーム１３２を駆動するための油圧シリンダである。
アームシリンダ１３２Ｃの基端部は、旋回体１２０に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、例えばバケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に取り付けられる。

【0015】

ブーム角度センサ１３１Ｓは、ブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
アーム角度センサ１３２Ｓは、アーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
バケット角度センサ１３３Ｓは、バケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
第一実施形態に係るブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、およびバケット角度センサ１３３Ｓは、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃおよびバケットシリンダ１３３Ｃのシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。

【0016】

《旋回体１２０の構成》
旋回体１２０は、エンジン１２１、油圧ポンプ１２２、コントロールバルブ１２３、旋回モータ１２４、回転角センサ１２５、深度センサ１２６、制御装置１２７を備える。
エンジン１２１は、油圧ポンプ１２２を駆動する原動機である。エンジン１２１は、動力源の一例である。
油圧ポンプ１２２は、エンジン１２１により駆動される可変容量ポンプである。油圧ポンプ１２２は、コントロールバルブ１２３を介して各アクチュエータ（ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、バケットシリンダ１３３Ｃ、走行モータ１１２、及び旋回モータ１２４）に作動油を供給する。
コントロールバルブ１２３は、油圧ポンプ１２２から供給される作動油の流量を制御する。
旋回モータ１２４は、コントロールバルブ１２３を介して油圧ポンプ１２２から供給される作動油によって駆動し、旋回体１２０を旋回させる。
回転角センサ１２５は、旋回体１２０のロール角、ピッチ角およびヨー角を求める。回転角センサ１２５は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）であってもよい。

【0017】

深度センサ１２６は、旋回体１２０の周囲環境の深度を計測する。深度センサ１２６の例としては、ＬｉＤＡＲ装置、レーザスキャナ、ステレオカメラなどが挙げられる。第一実施形態に係る深度センサ１２６は、旋回体１２０の正面に設けられ、旋回体１２０の周囲環境のうち正面方向の領域の深度を計測する。なお、他の実施形態においては、深度センサ１２６は、旋回体１２０の前部以外の場所、例えば旋回体の側部などに設置されていてもよい。

【0018】

制御装置１２７は、作業機械１００に設けられた各種センサ（回転角センサ１２５、深度センサ１２６、ブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、バケット角度センサ１３３Ｓ）の計測データを遠隔運転装置５００に送信する。また制御装置１２７は、遠隔運転装置５００から操作信号を受信し、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。

【0019】

《遠隔運転装置５００》
遠隔運転装置５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。

【0020】

表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの正面に位置する。表示装置５２０は複数のディスプレイによって構成されててもよいし、１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

【0021】

操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置５３０は、ブーム１３１、アーム１３２およびバケット１３３の操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号を出力する。

【0022】

制御装置５４０は、作業機械１００から受信する各種センサの計測データに基づいて作業機械１００の挙動、および当該挙動による作業現場の地形の変化をシミュレートし、シミュレーションの結果として得られる作業機械１００の状態および作業現場の状態（掘削後の地形）を示す画像を、表示装置５２０に表示させる。また制御装置５４０は、操作装置５３０に入力された操作信号を作業機械１００に送信する。

【0023】

《遠隔運転装置５００の制御装置５４０》
図３は、第一実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。
制御装置５４０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９６０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。

【0024】

ストレージ９５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９５０は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９６０を介して制御装置５４０に接続される外部メディアであってもよい。ストレージ９５０は、一時的でない有形の記憶媒体である。
なお、他の実施形態においては、制御装置５４０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0025】

プロセッサ９１０は、プログラムの実行により、送信部９１１、記録部９１２、受信部９１３、シミュレータ９１４、表示制御部９１５を備える。
送信部９１１は、操作装置５３０に入力された操作信号を作業機械１００に送信する。
記録部９１２は、送信部９１１が送信した操作信号の履歴をメインメモリ９３０に記録する。メインメモリ９３０は、操作信号の送信時刻と操作量とを関連付けて記憶する。メインメモリ９３０は、操作信号の履歴を記憶する記憶部の一例である。
受信部９１３は、作業機械１００に設けられた各種センサの計測データを受信する。
シミュレータ９１４は、受信部９１３が受信した計測データと、記録部９１２が記憶する操作信号の履歴とに基づいて、作業機械１００の挙動を模擬する。
表示制御部９１５は、シミュレータ９１４による模擬の結果を表示装置５２０に表示させる。

【0026】

ここで、シミュレータ９１４について説明する。
シミュレータ９１４は、仮想空間に作業現場の三次元モデルである現場モデルと作業機械１００の三次元モデルである車体モデルとを配置する。現場モデルは、例えば作業機械１００から受信した深度センサ１２６の計測データに基づいて生成される。現場モデルには、作業現場の土砂の質（例えば、貫入抵抗係数、粘着力、内部摩擦角、土量換算係数、粒子間付着力など）を表す土壌パラメータが設定される。土壌パラメータは、利用者によって設定されるものであってもよいし、予め設定されたものであってもよい。
車体モデルは、ストレージ９５０に予め記憶される。シミュレータ９１４は、車体モデルのうち旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３のモデルの姿勢を、それぞれ作業機械１００から受信した回転角センサ１２５、ブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、バケット角度センサ１３３Ｓの計測データに基づいて決定する。旋回体１２０の姿勢は、回転角センサ１２５の計測データに加えてまたは代えて、深度センサ１２６の計測データを用いたＳＬＡＭ（Simultaneous Localization and Mapping）処理によって決定されてもよい。これにより、シミュレータ９１４は、作業機械１００が計測データを送信したときの状態を再現することができる。車体モデルには、各構成部の重量や各アクチュエータのトルクなどの車両パラメータが設定される。

【0027】

シミュレータ９１４は、操作信号に基づいて作業機械１００の挙動を模擬し、操作信号に基づく駆動後の作業現場および作業機械１００の状態を表すように、現場モデルの形状および車体モデルの姿勢を更新する。なお、シミュレータ９１４は、作業機械１００および作業現場の形状の変化に加え、作業機械１００の挙動によって生じる音や振動をシミュレートしてもよい。例えば、シミュレータ９１４は、作業機械１００のエンジン音をシミュレートしてもよいし、作業機械１００の走行や作業機１３０と地面との接触による振動をシミュレートしてもよい。

【0028】

図４は、第一実施形態に係る遠隔運転システム１の通信遅延の例を示す図である。作業機械１００と遠隔運転装置５００との間に、Δｔの通信遅延が生じるものとする。作業機械１００と遠隔運転装置５００とが、それぞれ例えば月と地球のように十分に遠隔に設けられる場合、通信遅延の影響は通信距離に依存する。そのため、作業機械１００と遠隔運転装置５００とが十分に遠隔に設けられる場合には、遅延時間Δｔは予め特定しておくことができる。作業機械１００と遠隔運転装置５００との距離が近いほど、ネットワークの混雑などが通信遅延に影響を及ぼす。このような場合には、遠隔運転装置５００が定期的に通信状況を観測し、遅延時間Δｔを更新してもよい。

【0029】

遠隔運転装置５００が時刻Ｔ０に送信した操作信号は、時刻（Ｔ０＋Δｔ）に、作業機械１００の制御装置１２７によって受信される。作業機械１００の制御装置１２７は、時刻（Ｔ０＋Δｔ）に、受信した操作信号に基づいて各種アクチュエータを駆動させる。作業機械１００に設けられた各種センサが時刻（Ｔ０＋Δｔ）に計測した計測データは、時刻（Ｔ０＋２Δｔ）に、遠隔運転装置５００によって受信される。このように、遠隔運転システム１では、遠隔運転装置５００が送信した操作信号によって作業機械１００および周囲環境がどのように変化したかを示す計測データは、操作信号の送信から２Δｔ後に受信されることとなる。そのため、時刻（Ｔ０＋２Δｔ）に受信した計測データは、時刻Ｔ０から時刻（Ｔ０＋２Δｔ）までに送信した一連の操作信号による制御結果を反映しないものである。なお、操作信号の送信周期および計測データの送信周期は、遅延時間Δｔより短い。

【0030】

そのため、オペレータが時刻（Ｔ０＋２Δｔ）に受信した計測データのみに基づいて時刻（Ｔ０＋２Δｔ）以降の操作を行うことは、時刻Ｔ０から時刻（Ｔ０＋２Δｔ）までの操作装置５３０の操作量を考慮する必要があるため、オペレータにとって困難である。

【0031】

そこで、第一実施形態に係る遠隔運転システム１は、現在時刻（Ｔ０＋２Δｔ）に受信された計測データに基づいてシミュレータ９１４の初期状態のパラメータを設定し、時刻Ｔ０から現在時刻（Ｔ０＋２Δｔ）までに送信された一連の操作信号に基づいて、時刻（Ｔ０＋３Δｔ）における作業機械１００の挙動を模擬する。これにより、シミュレータ９１４は、現在時刻（Ｔ０＋２Δｔ）に送信される操作信号が作業機械１００に受信される時刻（Ｔ０＋３Δｔ）における作業機械１００を模擬することができる。このとき、シミュレータ９１４は、現場モデルと車両モデルのバケット１３３の刃先とが接触する点について、現場モデルの土壌パラメータに基づいて土砂の掘削による現場モデルの形状の変化と、反力による車両モデルの姿勢の変化とを計算する。
これにより、オペレータは、これから入力しようとする操作信号を受信する直前の作業機械１００の状態を視認しながら、操作装置５３０を操作することができる。

【0032】

なお、第一実施形態においては、作業機械１００が計測データを送信してから遠隔運転装置５００がその計測データを受信するまでの第一遅延時間と、遠隔運転装置５００が操作信号を送信してから作業機械１００がその操作信号を受信するまでの第二遅延時間とが、いずれも時間Δｔであるが、これに限られない。例えば、第一遅延時間と第二遅延時間とに差があってもよい。この場合、シミュレータ９１４は、現在時刻から第一遅延時間と第二遅延時間との和だけ前の時刻以降に送信された一連の操作信号に基づいてシミュレーションを実行する。

【0033】

《遠隔運転装置５００の動作》
図５は、第一実施形態に係る遠隔運転装置５００の動作を示すフローチャートである。
遠隔運転装置５００の制御装置５４０が起動すると、制御装置５４０は、第一遅延時間と第二遅延時間の和（２Δｔ）の間、操作信号の送信をせずに待機する（ステップＳ１）。その後、受信部９１３は作業機械１００から計測データを受信する（ステップＳ２）。シミュレータ９１４は、ステップＳ２で受信した計測データに基づいて現場モデルおよび車体モデルを更新する（ステップＳ３）。これにより、現実の作業機械１００の状態とシミュレータ９１４の作業機械１００の状態とを合わせることができる。

【0034】

次に、表示制御部９１５は、シミュレータ９１４によって再現された車体モデルおよび現場モデルをレンダリングして表示画像を生成する（ステップＳ４）。表示画像は、仮想空間のうち、車体モデルの運転席に相当する位置にレンダリングカメラを設け、レンダリングを行うことで得られる画像である。表示画像は表示装置５２０に表示される。

【0035】

オペレータによって操作装置５３０が操作されると、送信部９１１は、操作装置５３０が出力する操作信号を作業機械１００に送信する（ステップＳ５）。記録部９１２は、ステップＳ５で送信した操作信号を、現在時刻に関連付けてストレージ９５０に記録する（ステップＳ６）。

【0036】

最後に計測データを受信してから所定の通信周期が経過すると、受信部９１３は、作業機械１００から計測データを受信する（ステップＳ７）。シミュレータ９１４は、ステップＳ７で受信した計測データに基づいて現場モデルおよび車体モデルを更新する（ステップＳ８）。車体モデルは、作業機械の状態を表すパラメータを有し例えば、作業機の姿勢を表している。なお、シミュレータ９１４は、ステップＳ７で受信した計測データのみを用いて現場モデルおよび車体モデルを更新してもよいし、前回の現場モデルおよび車体モデルのパラメータと、ステップＳ７で受信した計測データとをそれぞれ用いて現場モデルおよび車体モデルを更新してもよい。これにより、シミュレータ９１４は、現在時刻より時間２Δｔだけ前の時刻における作業機械１００および作業現場の状態を再現する。

【0037】

シミュレータ９１４は、ストレージ９５０に記録された送信信号の履歴のうち、現在時刻より時間２Δｔだけ前の時刻から、現在時刻までに送信された一連の操作信号を読み出す（ステップＳ９）。シミュレータ９１４は、読み出した一連の操作信号に基づいて、現在時刻より時間Δｔだけ前の時刻から、現在時刻より時間Δｔだけ後の時刻における作業機械１００の挙動を模擬する（ステップＳ１０）。これに伴い、シミュレータ９１４は、作業機械１００と作業現場の地形との接触による地形の変化を模擬する。

【0038】

シミュレータ９１４は、ステップＳ１０で模擬された現在時刻より時間Δｔだけ後の時刻における車体モデルおよび現場モデルをレンダリングして表示画像を生成する（ステップＳ１１）。生成された表示画像には、現在時刻より時間Δｔだけ後の時刻における作業機械１００の状態および作業現場の状態が描画される。作業機械１００の状態および作業現場の状態は、いずれもシミュレータ９１４による作業機械１００の模擬の結果の一例である。表示画像は表示装置５２０に表示される。なお、シミュレータ９１４が音や振動をシミュレートする場合、図示しないスピーカーが音声を発し、また図示しないアクチュエータが運転席５１０を振動させてもよい。

【0039】

オペレータによって操作装置５３０が操作されると、送信部９１１は、操作装置５３０が出力する操作信号を作業機械１００に送信する（ステップＳ１２）。記録部９１２は、ステップＳ１２で送信した操作信号を、現在時刻に関連付けてストレージ９５０に記録する（ステップＳ１３）。

【0040】

制御装置５４０は、オペレータによる遠隔運転が終了したか否かを判定する（ステップＳ１４）。制御装置５４０は、例えばオペレータから遠隔運転装置５００にキーオフの操作がなされたことなどによって遠隔運転を終了するか否かを判定することができる。遠隔運転を終了しない場合（ステップＳ１４：ＮＯ）、制御装置５４０はステップＳ７に処理を戻し、遠隔運転を継続する。他方、遠隔運転を終了する場合（ステップＳ１４：ＹＥＳ）、制御装置５４０は遠隔運転を終了する。

【0041】

《作用・効果》
第一実施形態に係る遠隔運転システム１は、以下のように動作する。送信部９１１は、操作信号を作業機械１００に送信する。ストレージ９５０は、操作信号の履歴を記憶する。受信部９１３は、作業機械１００に設けられたセンサが計測した計測データを受信する。シミュレータ９１４は、計測データに基づいて計測データの計測時の作業機械１００の状態を模擬する。シミュレータ９１４は、作業機械１００が計測データを送信してから受信部９１３が計測データを受信するまでの第一遅延時間と、送信部９１１が操作信号を送信してから作業機械１００が操作信号を受信するまでの第二遅延時間との和だけ現在時刻より前の時刻と、現在時刻との間に送信された一連の操作信号に基づいて、計測データの計測時から一連の操作信号に従って駆動する作業機械１００の挙動を模擬する。表示装置５２０は、作業機械１００が一連の操作信号に従って駆動した後の作業機械１００の模擬の結果を表示する。模擬の結果は、一連の操作信号に従って駆動した後の作業機械１００の状態に限られず、作業機１３０と地形との接触によって変化した作業現場の地形の状態なども含みうる。
これにより、第一実施形態に係る遠隔運転システム１は、シミュレーションによって得られた、送信予定の操作信号を受信する直前の作業機械１００の状態を、表示装置５２０に表示させることができる。つまり、遠隔運転システム１は、通信遅延の影響のない画面をオペレータに提示することができる。そのため、遠隔運転システム１は、遠隔運転装置５００と作業機械１００との通信に係る遅延による操作性の低下を防ぐことができる。

【0042】

特に、第一実施形態に係る遠隔運転装置５００によれば、図５のフローチャートに示すように、計測データを受信するたびに、当該計測データを初期状態として、時間２Δｔの間の操作信号に基づく模擬を行う。したがって、遠隔運転装置５００は、シミュレーションと現実との誤差を常に時間２Δｔの操作信号によるものに抑え、過去の模擬による誤差が蓄積されることを防ぐことができる。

【0043】

〈第二実施形態〉
第一実施形態に係るシミュレータ９１４は、利用者から設定された土壌パラメータまたは予め設定された土壌パラメータを用いて、作業機械１００による作業現場の掘削をシミュレートする。他方、当該土壌パラメータは実際の作業現場の土壌の状態と一致しない可能性がある。第二実施形態に係る遠隔運転システム１は、シミュレーションの結果と、計測データとに基づいて、土壌パラメータを更新することで、土壌パラメータを実際の作業現場の土壌の状態に近づける。

【0044】

《遠隔運転装置５００の制御装置５４０》
図６は、第二実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。
第二実施形態に係る制御装置５４０は、第一実施形態の構成に加え、さらに更新部９１６を備える。更新部９１６は、シミュレータ９１４のシミュレーションの結果と、受信部９１３が受信した計測データとに基づいて、現場モデルの土壌パラメータを更新する。
第二実施形態に係る記録部９１２は、操作信号に加え、シミュレーションの結果である現場モデルの形状および作業機械１００の姿勢を、ストレージ９５０に記録する。

【0045】

《更新部９１６の動作》
更新部９１６は、計測データまたはシミュレーションの結果が示す作業機械１００の姿勢に基づいて、作業機械１００による掘削作業の１サイクルが終了したか否かを判定する。更新部９１６は、掘削作業の１サイクルが終了したときに、パラメータの更新を行う。これは、掘削中にパラメータが更新されて操作に違和感が生じることを防ぐためである。

【0046】

更新部９１６は、１サイクルの間に計測された複数の計測データまたは複数のシミュレーションの結果が示す作業機械１００の姿勢に基づいて、計測データを、掘削のフェーズごとに区分する。掘削のフェーズは、バケットの刃先が地面に触れながら下方向へ移動する第一フェーズ、バケットの刃先が地面に触れながら上方向へ移動する第二フェーズ、バケットの刃先が地面から離れる第三フェーズからなる。

【0047】

掘削のフェーズが第一フェーズである場合、更新部９１６は、旋回体１２０のピッチ角の差に基づいて、土壌パラメータの１つである貫入抵抗係数を更新する。貫入抵抗係数は、バケット１３３が地中に貫入するときに作業機１３０が受ける抵抗を表す係数である。更新部９１６は、ピッチ角の差分が正数である場合、貫入抵抗係数の値を小さくする。ピッチ角の差分は、具体的には、シミュレーションの結果として得られたピッチ角から、受信した計測データが示すピッチ角を減算することで得られる。他方、更新部９１６は、ピッチ角の差分が負数である場合、貫入抵抗係数の値を大きくする。なお、他の実施形態においては、更新部９１６はシリンダの抵抗の差分に基づいて貫入抵抗係数を更新してもよい。この場合、作業機械１００の各シリンダには、シリンダの抵抗を計測する圧力センサなどが設けられてもよい。

【0048】

掘削のフェーズが第二フェーズである場合、更新部９１６は、旋回体１２０のピッチ角の差に基づいて、土壌パラメータの１つである粘着力を更新する。粘着力は、土砂内で発生する粘着する力を表すパラメータである。更新部９１６は、ピッチ角の差分が正数である場合、粘着力の値を小さくする。他方、更新部９１６は、ピッチ角の差分が負数である場合、粘着力の値を大きくする。なお、他の実施形態においては、更新部９１６はシリンダの抵抗の差分に基づいて粘着力を更新してもよい。この場合、作業機械１００の各シリンダには、シリンダの抵抗を計測するひずみゲージなどが設けられてよい。

【0049】

掘削のフェーズが第三フェーズである場合、更新部９１６は、被掘削部分の安息角の差に基づいて、土壌パラメータの１つである内部摩擦角を更新する。内部摩擦角は、土砂のせん断強度を表すパラメータである。更新部９１６は、安息角の差分が正数である場合、内部摩擦角の値を小さくする。他方、更新部９１６は、安息角の差分が負数である場合、内部摩擦角の値を大きくする。
また、掘削のフェーズが第三フェーズである場合、更新部９１６は、掘削重量の差に基づいて、土壌パラメータの１つである粒子間付着力を更新する。粒子間付着力は、土砂の粒子同士に作用する付着力を表すパラメータである。更新部９１６は、掘削重量の差分が正数である場合、粒子間付着力の値を小さくする。他方、更新部９１６は、掘削重量の差分が負数である場合、粒子間付着力の値を大きくする。
また、掘削のフェーズが第三フェーズである場合、更新部９１６は、掘削重量と掘削体積の比の差に基づいて、土壌パラメータの１つである土量換算係数を更新する。土量換算係数は、掘削体積を掘削重量に変換するためのパラメータである。更新部９１６は、掘削重量の差分が所定の閾値以下であって、かつ掘削重量と掘削体積の比の差分が正数である場合、土量換算係数の値を大きくする。更新部９１６は、掘削重量の差分が所定の閾値以下であって、かつ掘削重量と掘削体積の比の差分が負数である場合、土量換算係数の値を小さくする。なお、掘削重量の差分が所定の閾値を超える場合、粒子間付着力の更新によって掘削重量の差分が小さくなってから、土量換算係数の値を更新する。パラメータの変化量は、土砂の量の差分の絶対値に基づいて決定されてもよいし、一定値であってもよい。

【0050】

《作用・効果》
第二実施形態に係る遠隔運転システム１は、以下のように動作する。更新部９１６は、計測データと、その計測データの受信より第一遅延時間および第二遅延時間の和（２Δｔ）だけ前の時刻における模擬の結果とに基づいて、計測データと模擬の結果との相違が小さくなるように、シミュレータ９１４のパラメータを更新する。
これにより、第二実施形態に係る遠隔運転システム１は、シミュレータ９１４のパラメータを、実際の作業現場の状態に近づけ、表示装置５２０に表示される状況と、作業現場の実際の状況との差を小さくすることができる。

【0051】

〈第三実施形態〉
作業現場には岩石が存在することがある。作業機械１００が硬い岩石に接触すると、岩石が破壊されずに乗り上げたり、作業機がひっかかったりすることがある。シミュレータ９１４ではこのような状況を予測することが困難であり、シミュレーションの結果と実際の状況との差分が大きくなることがある。表示装置５２０に表示される状況と実際の状況との差分が大きいまま作業を行うと、作業機械１００がオペレータが意図しない挙動を取る可能性がある。第三実施形態に係る遠隔運転システム１は、作業機械１００の状況がシミュレーションの結果と大きく異なる場合に、作業機械１００が意図しない挙動を取ることを防ぐ。

【0052】

《遠隔運転装置５００の制御装置５４０》
図７は、第三実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。
第三実施形態に係る制御装置５４０は、第一実施形態の構成に加え、さらに判定部９１７を備える。判定部９１７は、シミュレータ９１４のシミュレーションの結果と、受信部９１３が受信した計測データとの差分に基づいて、作業機１３０の動作速度を制限するか否かを判定する。
第三実施形態に係る記録部９１２は、操作信号に加え、シミュレーションの結果である車体モデルの姿勢を、ストレージ９５０に記録する。

【0053】

《遠隔運転装置５００の動作》
図８は、第三実施形態に係る遠隔運転装置５００の動作を示すフローチャートである。
遠隔運転装置５００の制御装置５４０が起動すると、制御装置５４０は、第一遅延時間と第二遅延時間の和（２Δｔ）の間、操作信号の送信をせずに待機する（ステップＳ４１）。その後、受信部９１３は作業機械１００から計測データを受信する（ステップＳ４２）。シミュレータ９１４は、ステップＳ４２で受信した計測データに基づいて現場モデルおよび車体モデルを更新する（ステップＳ４３）。次に、表示制御部９１５は、シミュレータ９１４によって再現された車体モデルおよび現場モデルをレンダリングして表示画像を生成する（ステップＳ４４）。表示画像は表示装置５２０に表示される。

【0054】

オペレータによって操作装置５３０が操作されると、送信部９１１は、操作装置５３０が出力する操作信号を作業機械１００に送信する（ステップＳ４５）。記録部９１２は、ステップＳ４５で送信した操作信号と、ステップＳ４３によるシミュレーションの結果である車体モデルの姿勢を、現在時刻に関連付けてストレージ９５０に記録する（ステップＳ４６）。

【0055】

最後に計測データを受信してから所定の通信周期が経過すると、受信部９１３は、作業機械１００から計測データを受信する（ステップＳ４７）。シミュレータ９１４は、ステップＳ４７で受信した計測データに基づいて現場モデルおよび車体モデルを更新する（ステップＳ４８）。シミュレータ９１４は、ストレージ９５０に記録された送信信号の履歴のうち、現在時刻より時間２Δｔだけ前の時刻から、現在時刻までに送信された一連の操作信号を読み出す（ステップＳ４９）。シミュレータ９１４は、読み出した一連の操作信号に基づいて、現在時刻より時間Δｔだけ前の時刻から、現在時刻より時間Δｔだけ後の時刻における作業機械１００の挙動を模擬する（ステップＳ５０）。

【0056】

シミュレータ９１４は、ステップＳ１０で模擬された現在時刻より時間Δｔだけ後の時刻における車体モデルおよび現場モデルをレンダリングして表示画像を生成する（ステップＳ５１）。表示画像は表示装置５２０に表示される。

【0057】

オペレータによって操作装置５３０が操作されると、判定部９１７は、現在時刻より時間２Δｔだけ前の時刻に関連付けられたシミュレーションの結果をストレージ９５０から読み出し、ステップＳ４７で受信した計測データとの差分を算出する（ステップＳ５２）。具体的には、更新部９１６は、計測データが示す作業機械１００の姿勢に係る角度と、車体モデルの姿勢に係る角度との差の絶対値の和を、差分として算出する。姿勢に係る角度は、ピッチ角、ロール角、ヨー角、ブーム１３１の仰角、アーム１３２の仰角、およびバケット１３３の仰角である。判定部９１７は、一定期間に係る差分の平均値が閾値以上であるか否かを判定する（ステップＳ５３）。一定期間は、例えば直近の１秒間であってよい。

【0058】

差分が閾値以上である場合（ステップＳ５３：ＹＥＳ）、送信部９１１は、操作装置５３０の操作量にリミッタをかけ、所定の上限値および下限値以下の値に制限し（ステップＳ５４）、制限した操作量に係る操作信号を作業機械１００に送信する（ステップＳ５５）。差分が閾値未満である場合（ステップＳ５３：ＮＯ）、送信部９１１は、操作装置５３０の操作量を制限せずに作業機械１００に送信する（ステップＳ５５）。

【0059】

記録部９１２は、ステップＳ５５で送信した操作信号と、ステップＳ５２によるシミュレーションの結果である現場モデルの形状を、現在時刻に関連付けてストレージ９５０に記録する（ステップＳ５６）。

【0060】

制御装置５４０は、オペレータによる遠隔運転が終了したか否かを判定する（ステップＳ５７）。遠隔運転を終了しない場合（ステップＳ５７：ＮＯ）、制御装置５４０はステップＳ４７に処理を戻し、遠隔運転を継続する。他方、遠隔運転を終了する場合（ステップＳ５７：ＹＥＳ）、制御装置５４０は遠隔運転を終了する。

【0061】

《作用・効果》
第三実施形態に係る遠隔運転システム１は、以下のように動作する。送信部９１１は、計測データと、計測データの受信より第一遅延時間および第二遅延時間の和（２Δｔ）だけ前の時刻における模擬の結果との相違が所定の閾値を超える場合に、操作信号に係る操作量を制限する。
これにより、第三実施形態に係る遠隔運転システム１は、シミュレーションによる作業機械１００の状態と実際の作業機械１００の状態との差分が大きくなった場合に、作業機械１００の動作速度を遅くすることができる。動作速度が遅くなることにより、第一遅延時間および第二遅延時間の和（２Δｔ）の間における作業機械１００の変化量が小さくなる。これにより、遠隔運転システム１は、シミュレーションによる作業機械１００の状態と実際の作業機械１００の状態との差分を小さくし、作業機械１００が意図しない挙動を取ることを防ぐことができる。

【0062】

なお、他の実施形態においては、遠隔運転装置５００は、シミュレーションの結果と実際の状態との差分に基づく操作量の制限に加え、第二実施形態のように差分に基づくパラメータの更新を行ってもよい。この場合、遠隔運転装置５００は、掘削作業の１サイクル後にパラメータを更新するため、シミュレーションの結果と実際の状態との差分がパラメータの相違によって生じる場合に、パラメータの更新によって操作量の制限が解除される。

【0063】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る制御装置５４０は、単独のコンピュータによって構成されるものであってもよいし、制御装置５４０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで制御装置５４０として機能するものであってもよい。このとき、制御装置５４０を構成する一部のコンピュータが作業機械１００の内部に搭載され、他のコンピュータが作業機械の外部に設けられてもよい。また、他の実施形態においては、制御装置５４０が作業機械１００に備えられていてよい。すなわち、他の実施形態においては操作システムが、オペレータが直接操作する作業機械１００に適用されてもよい。

【符号の説明】

【0064】

１…遠隔運転システム １００…作業機械 １１０…走行体 １１１…無限軌道 １２０…旋回体 １２１…エンジン １２２…油圧ポンプ １２３…コントロールバルブ １２４…旋回モータ １２５…回転角センサ １２６…深度センサ １２７…制御装置 １３０…作業機 １３１…ブーム １３１Ｃ…ブームシリンダ １３１Ｓ…ブーム角度センサ １３２…アーム １３２Ｃ…アームシリンダ １３２Ｓ…アーム角度センサ １３３…バケット １３３Ｃ…バケットシリンダ １３３Ｓ…バケット角度センサ ５００…遠隔運転装置 ５１０…運転席 ５２０…表示装置 ５３０…操作装置 ５４０…制御装置 ９１０…プロセッサ ９１１…送信部 ９１２…記録部 ９１３…受信部 ９１４…シミュレータ ９１５…表示制御部 ９１６…更新部 ９１７…判定部 ９３０…メインメモリ ９５０…ストレージ ９６０…インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】