特開 2024-65932 表示システム、遠隔運転装置および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024065932

(43)【公開日】2024-05-15

(54)【発明の名称】表示システム、遠隔運転装置および表示制御方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240508BHJP

   E02F 9/20 20060101ALI20240508BHJP

【ＦＩ】

E02F9/26 B

E02F9/20 N

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022175051

(22)【出願日】2022-10-31

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】松村 幸紀

(72)【発明者】

【氏名】奥田 浩詞

(72)【発明者】

【氏名】大山 潤爾

(72)【発明者】

【氏名】遠藤 博史

(72)【発明者】

【氏名】渡邊 洋

【テーマコード（参考）】

2D003

2D015

【Ｆターム（参考）】

2D003AA01

2D003BA01

2D003BA04

2D003BA06

2D003CA02

2D003DA04

2D003DB03

2D003DB04

2D015HA03

(57)【要約】

【課題】遠隔運転装置におけるオペレータの映像酔いを防ぐ。
【解決手段】取得部は、作業機械に設けられた撮像装置が撮像した撮像画像を取得する。旋回判定部は、作業機械の旋回体が旋回しているか否かを判定する。表示制御部は、旋回体が旋回していると判定された場合に、撮像画像のうち旋回方向と反対側の一部領域を遮蔽した画像を表示させる表示信号を、表示装置に出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

旋回中心回りに旋回する旋回体を備える作業機械の操作のために用いる表示システムであって、
表示装置と、
前記表示装置に画像を表示させるための表示信号を出力する表示制御装置と
を備え、
前記表示制御装置は、
前記作業機械の周囲環境のうち前記旋回体が向く方向を写す環境画像を取得する取得部と、
前記旋回体が旋回しているか否かを判定する旋回判定部と、
前記旋回体が旋回していると判定された場合に、前記環境画像のうち旋回方向と反対側を遮蔽した画像を表示させる表示信号を、前記表示装置に出力する表示制御部と
を備える表示システム。

【請求項2】

前記表示装置は、座席に着座したオペレータが前記表示装置の中心を見るときに周辺視野となる領域にわたって設けられ、
前記表示制御部は、前記環境画像のうち、前記表示装置に表示させたときに前記周辺視野となる領域であって、前記旋回方向と反対側の領域を遮蔽した画像を表示させる前記表示信号を出力する
請求項１に記載の表示システム。

【請求項3】

前記作業機械は、前記作業機械の周囲環境を撮像する撮像装置を備え、
前記取得部は、前記環境画像として前記撮像装置の撮像画像を取得する
請求項２に記載の表示システム。

【請求項4】

前記作業機械は、前記撮像装置として、
前記作業機械の正面を撮像する正面カメラ、
前記作業機械の左側を撮像する左側カメラ、および
前記作業機械の右側を撮像する右側カメラを備え、
前記表示装置は、
前記座席の正面に設けられ、前記環境画像である前記正面カメラの撮像画像を表示する正面表示部、
前記正面表示部の左側であって、前記座席に着座したオペレータが前記正面表示部を見るときに周辺視野となる位置に設けられ、前記環境画像である前記左側カメラの撮像画像を表示する左側表示部、および
前記正面表示部の右側であって、前記座席に着座したオペレータが前記正面表示部を見るときに周辺視野となる位置に設けられ、前記環境画像である前記右側カメラの撮像画像を表示する右側表示部
を備え、
前記表示制御部は、
前記旋回体が右旋回していると判定された場合に、前記左側カメラの撮像画像を前記左側表示部に表示させずに、前記正面カメラの撮像画像を前記正面表示部に表示させ、前記右側カメラの撮像画像を前記右側表示部に表示させ、
前記旋回体が左旋回していると判定された場合に、前記右側カメラの撮像画像を前記右側表示部に表示させずに、前記正面カメラの撮像画像を前記正面表示部に表示させ、前記左側カメラの撮像画像を前記左側表示部に表示させ、
前記旋回体が旋回していないと判定された場合に、前記右側カメラの撮像画像を前記右側表示部に表示させ、前記正面カメラの撮像画像を前記正面表示部に表示させ、前記左側カメラの撮像画像を前記左側表示部に表示させる
請求項３に記載の表示システム。

【請求項5】

前記作業機械は、前記作業機械の前方上側を撮像する上側カメラをさらに備え、
前記表示装置は、前記正面表示部の上側であって、前記座席に着座したオペレータが前記正面表示部を見るときに周辺視野となる位置に設けられ、前記上側カメラの撮像画像を表示する上側表示部をさらに備え、
前記表示制御部は、
前記旋回体が旋回していると判定された場合に、前記上側カメラの撮像画像を前記上側表示部に表示させず、
前記旋回体が旋回していないと判定された場合に、前記上側カメラの撮像画像を前記上側表示部に表示させる
請求項４に記載の表示システム。

【請求項6】

前記作業機械は、前記旋回体に設けられた作業機と、前記作業機械の前方上側を撮像する上側カメラとをさらに備え、
前記表示装置は、前記正面表示部の上側であって、前記座席に着座したオペレータが前記正面表示部を見るときに周辺視野となる位置に設けられ、前記上側カメラの撮像画像を表示する上側表示部をさらに備え、
前記表示制御部は、
前記旋回体が旋回していないと判定された場合に、前記上側カメラの撮像画像を前記上側表示部に表示させ、
前記旋回体が旋回していると判定された場合に、前記作業機の位置に基づいて前記上側カメラの撮像画像を前記上側表示部に表示させるか否かを決定する
請求項４に記載の表示システム。

【請求項7】

旋回中心回りに旋回する旋回体を備える作業機械の操作のために用いる表示装置の表示制御方法であって、
前記作業機械の周囲環境のうち前記旋回体が向く方向を写す環境画像を取得するステップと、
前記旋回体が旋回しているか否かを判定するステップと、
前記旋回体が旋回していると判定された場合に、前記環境画像のうち旋回方向と反対側の一部領域を遮蔽した画像を表示させる表示信号を、前記表示装置に出力するステップと
を備える表示制御方法。

【請求項8】

旋回中心回りに旋回する旋回体を備える作業機械の外部に設けられる遠隔運転装置であって、
表示装置と、
前記表示装置に画像を表示させるための表示信号を出力する表示制御装置と
を備え、
前記表示制御装置は、
前記作業機械の周囲環境のうち前記旋回体が向く方向を写す環境画像を取得する取得部と、
前記旋回体が旋回しているか否かを判定する旋回判定部と、
前記旋回体が旋回していると判定された場合に、前記環境画像のうち旋回方向と反対側を遮蔽した画像を表示させる表示信号を、前記表示装置に出力する表示制御部と
を備える遠隔運転装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示システム、遠隔運転装置および表示制御方法に関する。

【背景技術】

【0002】

作業機械に設けられた撮像装置の映像を、遠隔地に設けた表示装置で表示することで、オペレータによる作業機械の遠隔操作を補助する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－２１８７１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔操作と実機の操作とのギャップを小さくするために、遠隔運転装置において、オペレータが実際に作業機械に搭乗しているときと近い環境を構築することが望ましい。そのため、作業機械に設けられた撮像装置の映像を大きな画面に表示することが求められる。
しかしながら、作業機械の旋回によってオペレータの視野の多くを占める画面全体が一体に動くと、オペレータに映像酔いが生じる可能性がある。
本開示の目的は、オペレータの映像酔いを防ぐことができる表示システム、遠隔運転装置および表示制御方法を提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、表示システムは、旋回中心回りに旋回する旋回体を備える作業機械の操作のために用いる表示システムであって、表示装置と、前記表示装置に画像を表示させるための表示信号を出力する表示制御装置とを備え、前記表示制御装置は、前記作業機械の周囲環境のうち前記旋回体が向く方向を写す環境画像を取得する取得部と、前記旋回体が旋回しているか否かを判定する旋回判定部と、前記旋回体が旋回していると判定された場合に、前記環境画像のうち旋回方向と反対側を遮蔽した画像を表示させる表示信号を、前記表示装置に出力する表示制御部とを備える。

【発明の効果】

【0006】

上記態様によれば、表示システムは、オペレータの映像酔いを防ぐことができる。

【図面の簡単な説明】

【0007】

【図1】第一実施形態に係る遠隔操作システムの構成を示す概略図である。

【図2】第一実施形態に係る作業機械の外観図である。

【図3】第一実施形態に係る撮像装置の構成を示す図である。

【図4】第一実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。

【図5】第一実施形態に係る制御装置による表示制御方法を示すフローチャートである。

【図6】第一実施形態に係る左旋回の開始前後における表示装置の表示の違いを示す図である。

【発明を実施するための形態】

【0008】

〈第一実施形態〉
《遠隔運転システム》
図１は、第一実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業機械１００と、遠隔操作を行うための遠隔運転装置５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）において稼動する。遠隔運転装置５００は、作業機械１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業機械１００と遠隔運転装置５００とは、インターネットなどの通信手段を介して接続される。
遠隔操作システム１は、遠隔運転装置５００を用いて作業機械１００を操作するためのシステムである。

【0009】

作業機械１００は、遠隔運転装置５００から受信する操作信号に従って動作する。
遠隔運転装置５００は、オペレータの操作により入力された操作信号を作業機械１００に送信する。

【0010】

《作業機械１００の構成》
図２は、第一実施形態に係る作業機械１００の外観図である。
第一実施形態に係る作業機械１００は、油圧ショベルである。なお、他の実施形態に係る作業機械１００は、油圧ショベル以外の例えばクレーンや電動ショベル等の旋回可能な他の作業機械であってもよい。
作業機械１００は、走行体１１０と、旋回体１２０と、作業機１３０とを備える。

【0011】

走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、左右に設けられた２つの無限軌道１１１と、各無限軌道１１１を駆動するための２つの走行モータ１１２を備える。走行体１１０は支持部の一例である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。なお、他の実施形態に係る作業機１３０は電動で駆動するものであってもよい。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0012】

《作業機１３０の構成》
作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃが伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、およびバケット角度センサ１３３Ｓが装着されている。

【0013】

ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。

【0014】

ブームシリンダ１３１Ｃは、例えばブーム１３１を駆動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３２Ｃは、例えばアーム１３２を駆動するための油圧シリンダである。
アームシリンダ１３２Ｃの基端部は、旋回体１２０に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、例えばバケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に取り付けられる。

【0015】

ブーム角度センサ１３１Ｓは、ブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
アーム角度センサ１３２Ｓは、アーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
バケット角度センサ１３３Ｓは、バケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
第一実施形態に係るブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、およびバケット角度センサ１３３Ｓは、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃおよびバケットシリンダ１３３Ｃのシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。

【0016】

《旋回体１２０の構成》
旋回体１２０は、エンジン１２１、油圧ポンプ１２２、コントロールバルブ１２３、旋回モータ１２４、角速度センサ１２５、運転室１２６、撮像装置１２７、制御装置１２８を備える。
エンジン１２１は、油圧ポンプ１２２を駆動する原動機である。エンジン１２１は、動力源の一例である。
油圧ポンプ１２２は、エンジン１２１により駆動される可変容量ポンプである。油圧ポンプ１２２は、コントロールバルブ１２３を介して各アクチュエータ（ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、バケットシリンダ１３３Ｃ、走行モータ１１２、及び旋回モータ１２４）に作動油を供給する。
コントロールバルブ１２３は、油圧ポンプ１２２から供給される作動油の流量を制御する。
旋回モータ１２４は、コントロールバルブ１２３を介して油圧ポンプ１２２から供給される作動油によって駆動し、旋回体１２０を旋回させる。旋回モータ１２４には、旋回速度を計測する角速度センサ１２５が設けられる。角速度センサ１２５は、例えばロータリエンコーダやジャイロセンサによって構成され得る。角速度センサ１２５は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）であってもよい。

【0017】

旋回体１２０には、運転室１２６が備えられる。運転室１２６は、作業機１３０の左側に設けられる。運転室１２６には、正面カメラ１２７Ｆ、左側カメラ１２７Ｌ、右側カメラ１２７Ｒ、上側カメラ１２７Ｕ、下側カメラ１２７Ｄが設けられる。以下、正面カメラ１２７Ｆ、左側カメラ１２７Ｌ、右側カメラ１２７Ｒ、上側カメラ１２７Ｕ、下側カメラ１２７Ｄを総称して撮像装置１２７ともいう。撮像装置１２７による撮像画像は、作業機械１００の周囲環境のうち旋回体１２０が向く方向を写す環境画像の一例である。

【0018】

図３は、第一実施形態に係る撮像装置１２７の構成を示す図である。第一実施形態では撮像装置１２７は、運転室１２６内の前部かつ上部に設置される。正面カメラ１２７Ｆは、運転室１２６の正面を撮像する。左側カメラ１２７Ｌは、運転室１２６の左前方を撮像する。右側カメラ１２７Ｒは、運転室１２６の右前方を撮像する。上側カメラ１２７Ｕは、運転室１２６の上前方を撮像する。下側カメラ１２７Ｄは、運転室１２６の下前方を撮像する。撮像装置１２７の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。他の実施形態に係る作業機械１００は、遠隔操作または無人運転により駆動する場合に、運転室１２６を備えなくてもよい。この場合、撮像装置１２７は、旋回体１２０の前部に設置される。また、他の実施形態では撮像装置１２７は、旋回体１２０の前部以外の場所、例えば旋回体の側部などに設置されていてもよい。

【0019】

制御装置１２８は、作業機械１００に設けられた各種センサ（角速度センサ１２５、撮像装置１２７、ブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓ、バケット角度センサ１３３Ｓ）の計測データを遠隔運転装置５００に送信する。制御装置１２８は、撮像装置１２７が撮像した画像をエンコードするエンコーダを備えていてよい。また制御装置１２８は、遠隔運転装置５００から操作信号を受信し、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。

【0020】

《遠隔運転装置５００》
遠隔運転装置５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。

【0021】

表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの正面に位置する。表示装置５２０は、図１に示すように、並べられた正面表示部５２０Ｆ、左側表示部５２０Ｌ、右側表示部５２０Ｒ、上側表示部５２０Ｕ、下側表示部５２０Ｄによって構成される。左側表示部５２０Ｌは正面表示部５２０Ｆの左側に設けられる。右側表示部５２０Ｒは正面表示部５２０Ｆの右側に設けられる。上側表示部５２０Ｕは正面表示部５２０Ｆの上側に設けられる。下側表示部５２０Ｄは正面表示部５２０Ｆの下側に設けられる。なお、表示装置５２０は、オペレータが運転席５１０に着座したときに、オペレータの視界の多くを占めるように配置される。オペレータが運転席５１０に着座して正面表示部５２０Ｆを見たとき（正面表示部５２０Ｆを有効視野に入れたとき）に、左側表示部５２０Ｌ、右側表示部５２０Ｒ、上側表示部５２０Ｕおよび下側表示部５２０Ｄはいずれも周辺視野に位置することとなる。

【0022】

なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。この場合も、表示装置５２０は、運転席５１０に着座したオペレータが表示装置５２０の中心を見るときに周辺視野となる領域にわたって設けられる。

【0023】

操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置５３０は、ブーム１３１、アーム１３２およびバケット１３３の操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号を出力する。

【0024】

制御装置５４０は、作業機械１００から受信した撮像画像を、表示装置５２０に表示させる。具体的には、制御装置５４０は、正面カメラ１２７Ｆの撮像画像を正面表示部５２０Ｆに表示させ、左側カメラ１２７Ｌの撮像画像を左側表示部５２０Ｌに表示させ、右側カメラ１２７Ｒの撮像画像を右側表示部５２０Ｒに表示させ、上側カメラ１２７Ｕの撮像画像を上側表示部５２０Ｕに表示させ、下側カメラ１２７Ｄの撮像画像を下側表示部５２０Ｄに表示させる。制御装置５４０は、表示制御装置の一例である。
また制御装置５４０は、操作装置５３０に入力された操作信号を作業機械１００に送信する。

【0025】

《遠隔運転装置５００の制御装置５４０》
図４は、第一実施形態に係る遠隔運転装置の制御装置の構成を示す概略ブロック図である。
制御装置５４０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９６０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。

【0026】

ストレージ９５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９５０は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９６０を介して制御装置５４０に接続される外部メディアであってもよい。ストレージ９５０は、一時的でない有形の記憶媒体である。
なお、他の実施形態においては、制御装置５４０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0027】

プロセッサ９１０は、プログラムの実行により、受信部９１１、デコーダ９１２、旋回判定部９１３、バケット位置特定部９１４、表示制御部９１５、送信部９１６を備える。

【0028】

受信部９１１は、作業機械１００から計測データを受信する。受信する計測データは、角速度センサ１２５の計測データ、正面カメラ１２７Ｆの撮像画像、左側カメラ１２７Ｌの撮像画像、右側カメラ１２７Ｒの撮像画像、上側カメラ１２７Ｕの撮像画像、下側カメラ１２７Ｄの撮像画像、ブーム角度センサ１３１Ｓの計測データ、アーム角度センサ１３２Ｓの計測データ、バケット角度センサ１３３Ｓの計測データを含む。受信部９１１は取得部の一例である。

【0029】

デコーダ９１２は、受信部９１１が受信した撮像画像をデコードする。
旋回判定部９１３は、受信部９１１が受信した角速度センサ１２５の計測データに基づいて、作業機械１００の旋回体１２０が旋回しているか否かを判定する。旋回判定部９１３は、旋回していると判定した場合に旋回方向を特定する。具体的には、旋回判定部９１３は、角速度センサ１２５の計測データの絶対値が所定の閾値を超える場合に、旋回体１２０が旋回していると判定する。また、旋回判定部９１３は、角速度センサ１２５の計測データの符号が正である場合に、旋回体１２０が左旋回していると判定し、角速度センサ１２５の計測データの符号が負である場合に、旋回体１２０が右旋回していると判定する。なお、他の実施形態においては、旋回判定部９１３は、操作装置５３０の操作量が所定の閾値を超える場合に、旋回体１２０が旋回していると判定してもよい。

【0030】

バケット位置特定部９１４は、受信部９１１が受信したブーム角度センサ１３１Ｓの計測データ、アーム角度センサ１３２Ｓの計測データ、バケット角度センサ１３３Ｓの計測データに基づいて、旋回体１２０を基準とするバケット１３３の刃先の位置を特定する。
具体的には、バケット位置特定部９１４は、ブーム角度センサ１３１Ｓの計測データと既知のブーム１３１の長さ（基端部のピンから先端部のピンまでの距離）とに基づいて、ブーム１３１の軸線の垂直方向成分及び水平方向成分を求める。バケット位置特定部９１４は、アーム角度センサ１３２Ｓの計測データと既知のアーム１３２の長さとに基づいて、アーム１３２の軸線の垂直方向成分及び水平方向成分を求める。バケット位置特定部９１４は、バケット角度センサ１３３Ｓの計測データと既知のバケット１３３の形状とに基づいて、バケット１３３の基端部から刃先までの軸線の垂直方向成分及び水平方向成分を求める。
バケット位置特定部９１４は、作業機械１００におけるブーム１３１の基端部の位置から、ブーム１３１、アーム１３２およびバケットの軸線の垂直方向成分の和及び水平方向成分の和だけ離れた位置を、バケット１３３の刃先の位置として特定する。なお、バケット位置特定部９１４は、バケット１３３の刃先の位置に代えて、バケット１３３の基端部の位置を特定してもよい。

【0031】

表示制御部９１５は、デコーダ９１２がデコードした撮像画像の表示信号を、表示装置の対応する表示部に出力する。表示制御部９１５は、旋回判定部９１３の判定結果およびバケット位置特定部９１４が特定したバケット１３３の刃先の位置とに基づいて、各撮像画像の表示の要否を決定する。

【0032】

送信部９１６は、操作装置５３０に入力された操作信号を作業機械１００に送信する。

【0033】

《制御装置５４０による表示制御方法》
ここで、図面を参照しながら、第一実施形態に係る制御装置５４０による表示制御方法について説明する。図５は、第一実施形態に係る制御装置５４０による表示制御方法を示すフローチャートである。制御装置５４０は、作業機械１００から計測データを受信するたびに、以下の処理を繰り返し実行する。

【0034】

まず、受信部９１１は、作業機械１００から計測データを受信する（ステップＳ１）。デコーダ９１２は、受信部９１１が受信した各撮像画像をデコードする（ステップＳ２）。また、バケット位置特定部９１４は、ブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓおよびバケット角度センサ１３３Ｓの計測データに基づいて、バケット１３３の刃先の位置を特定する（ステップＳ３）。

【0035】

次に、旋回判定部９１３は、受信部９１１が受信した角速度センサ１２５の計測データに基づいて、作業機械１００の旋回体１２０が旋回しているか否かを判定する（ステップＳ４）。

【0036】

旋回判定部９１３が旋回体１２０が旋回していると判定していない場合（ステップＳ４：ＮＯ）、表示制御部９１５は、デコードされたすべての撮像画像を、対応する表示部に表示させる表示信号を、表示装置５２０に出力する（ステップＳ５）。つまり、表示制御部９１５は、正面カメラ１２７Ｆの撮像画像を正面表示部５２０Ｆに表示させ、左側カメラ１２７Ｌの撮像画像を左側表示部５２０Ｌに表示させ、右側カメラ１２７Ｒの撮像画像を右側表示部５２０Ｒに表示させ、上側カメラ１２７Ｕの撮像画像を上側表示部５２０Ｕに表示させ、下側カメラ１２７Ｄの撮像画像を下側表示部５２０Ｄに表示させる。

【0037】

他方、旋回判定部９１３が旋回体１２０が旋回していると判定した場合（ステップＳ４：ＹＥＳ）、旋回判定部９１３は、角速度センサ１２５の計測データに基づいて旋回方向を特定する（ステップＳ６）。旋回方向が左である場合（ステップＳ６：左）、表示制御部９１５は、旋回方向と反対側の領域を写す右側カメラ１２７Ｒの撮像画像を表示しないことを決定する（ステップＳ７）。他方、旋回方向が右である場合（ステップＳ６：右）、表示制御部９１５は、旋回方向と反対側の領域を写す左側カメラ１２７Ｌの撮像画像を表示しないことを決定する（ステップＳ８）。

【0038】

次に、表示制御部９１５は、バケット１３３の刃先の高さ（走行体１１０の底面からバケット１３３の基端部までの高さ）が所定の閾値より低いか否かを判定する（ステップＳ９）。バケット１３３の刃先の高さが所定の閾値より低い場合（ステップＳ９：ＹＥＳ）、表示制御部９１５は、表示制御部９１５は、上側カメラ１２７Ｕの撮像画像を表示しないことを決定する（ステップＳ１０）。

【0039】

そして、表示制御部９１５は、デコードされた撮像画像のうち、表示しないと決定したもの以外の撮像画像を、対応する表示部に表示させる表示信号を、表示装置５２０に出力する（ステップＳ１１）。

【0040】

《作用・効果》
このように、第一実施形態に係る制御装置５４０は、受信部９１１、旋回判定部９１３、表示制御部９１５を備える。受信部９１１は、撮像装置１２７が撮像した撮像画像を取得する。旋回判定部９１３は、旋回体１２０が旋回しているか否かを判定する。表示制御部９１５は、旋回体１２０が旋回していると判定された場合に、撮像画像のうち旋回方向と反対側の一部領域を遮蔽した画像を表示させる表示信号を、表示装置５２０に出力する。図６は、第一実施形態に係る左旋回の開始前後における表示装置５２０の表示の違いを示す図である。

【0041】

旋回操作において、正確な操作を行うために、旋回方向の撮像画像、バケット１３３が写る正面方向の撮像画像は、オペレータが目視する必要がある。他方、旋回方向と逆方向については、オペレータによって注視されない。一方で、注視されないが視界に入っている部分に大きな動きがある場合、映像酔いが惹起されるおそれがある。そこで、第一実施形態に係る制御装置５４０は、図６に示すように、撮像画像全体が大きく変化する旋回時に、重要な撮像画像を表示させながら、重要でない撮像画像を遮蔽することで、オペレータの映像酔いを防ぐことができる。

【0042】

また、第一実施形態に係る遠隔運転装置５００の表示装置５２０は、運転席５１０に着座したオペレータが表示装置５２０の中心を見るときに周辺視野（例えば、視線から３０度から１００度程度の範囲）となる領域にわたって設けられる。これにより、遠隔運転装置５００は、オペレータが実際に作業機械に搭乗しているときと近い環境を構築し、遠隔操作と実機の操作とのギャップを小さくすることができる。一方で、表示装置５２０がオペレータの視野の多くを占めるため、画面全体が一体に動くとオペレータに映像酔いが生じる可能性がある。特に、映像酔いは、周辺視野において大きな動きが感知されることで惹起されやすい。そこで、第一実施形態に係る制御装置５４０は、撮像画像のうち、表示装置５２０に表示させたときに周辺視野となる領域であって、旋回方向と反対側の領域を遮蔽した画像を表示させる表示信号を出力する。これにより、旋回時に周辺視野において動きが発生することを防ぎ、映像酔いを防ぐことができる。

【0043】

また、第一実施形態に係る表示装置５２０の各表示部は、対応する撮像装置１２７が撮像した撮像画像を表示する。ここで、制御装置５４０は、旋回体１２０が右旋回していると判定された場合に、左側カメラ１２７Ｌの撮像画像を左側表示部５２０Ｌに表示させずに、正面カメラ１２７Ｆの撮像画像を正面表示部５２０Ｆに表示させ、右側カメラ１２７Ｒの撮像画像を右側表示部５２０Ｒに表示させる。また、制御装置５４０は、旋回体１２０が左旋回していると判定された場合に、右側カメラ１２７Ｒの撮像画像を右側表示部５２０Ｒに表示させずに、正面カメラ１２７Ｆの撮像画像を正面表示部５２０Ｆに表示させ、左側カメラ１２７Ｌの撮像画像を左側表示部５２０Ｌに表示させる。また、制御装置５４０は、旋回体１２０が旋回していないと判定された場合に、右側カメラ１２７Ｒの撮像画像を右側表示部５２０Ｒに表示させ、正面カメラ１２７Ｆの撮像画像を正面表示部５２０Ｆに表示させ、左側カメラ１２７Ｌの撮像画像を左側表示部５２０Ｌに表示させる。このように、制御装置５４０は、いずれの撮像画像を表示させるか否かを決定することで、特段の画像加工処理を行うことなく、旋回時に周辺視野において動きが発生することを防ぐことができる。

【0044】

また、第一実施形態に係る制御装置５４０は、旋回体１２０が旋回していると判定された場合に、上側カメラ１２７Ｕの撮像画像を上側表示部５２０Ｕに表示させず、旋回体１２０が旋回していないと判定された場合に、上側カメラ１２７Ｕの撮像画像を上側表示部５２０Ｕに表示させる。これにより、周辺視野に写る画像をさらに少なくすることができ、映像酔いの発生可能性をより低減することができる。特に、第一実施形態に係る制御装置５４０は、旋回体１２０が旋回していると判定された場合に、作業機１３０の位置に基づいて上側カメラ１２７Ｕの撮像画像を表示させるか否かを決定する。例えば、バケット１３３が高い位置に存在する場合、上方に存在する障害物にバケット１３３が接触しないよう確認するため、上側カメラ１２７Ｕの撮像画像が重要となる。第一実施形態に係る制御装置５４０は、バケット１３３の高さによって上方カメラの撮像画像が重要となるか否かを判定することで、重要でない場合に表示させず、重要である場合に表示させることができる。

【0045】

なお、上方に電線が存在する場合など、バケット１３３の刃先の高さによらずに常に上側カメラ１２７Ｕが重要である場合がある。この場合は、予め制御装置５４０に上側カメラ１２７Ｕを常時オンにする指示を入力しておくことで、バケット１３３の刃先の高さによらずに常に上側カメラ１２７Ｕの撮像画像を表示させてもよい。

【0046】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る制御装置５４０は、単独のコンピュータによって構成されるものであってもよいし、制御装置５４０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで制御装置５４０として機能するものであってもよい。このとき、制御装置５４０を構成する一部のコンピュータが作業機械１００の内部に搭載され、他のコンピュータが作業機械１００の外部に設けられてもよい。

【0047】

例えば、他の実施形態に係る遠隔操作システム１では、旋回判定部９１３が作業機械１００の制御装置１２８に設けられてもよい。この場合、制御装置１２８は旋回していると判定した場合に、旋回方向と反対側を撮像するカメラの撮像画像をデコードしないように、または送信しないように構成してもよい。

【0048】

また例えば、他の実施形態に係る遠隔操作システム１では、バケット位置特定部９１４が作業機械１００の制御装置１２８に設けられてもよい。この場合、制御装置１２８は、ブーム角度センサ１３１Ｓ、アーム角度センサ１３２Ｓおよびバケット角度センサ１３３Ｓの計測データに代えて、バケット１３３の刃先の位置を遠隔運転装置５００に送信してもよい。また当該制御装置１２８は、バケット１３３の刃先の高さが所定の閾値より低いか否かを判定し、高さが閾値以上であると判定した場合に、上側カメラ１２７Ｕの撮像画像をデコードしないように、または送信しないように構成してもよい。

【0049】

上述の実施形態に係る制御装置５４０は、受信した角速度センサ１２５の計測データに基づいて旋回の有無を判定するが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、操作装置５３０の操作信号に基づいて、旋回の有無を判定してもよい。この場合、操作装置５３０の操作から実際に旋回が開始するまでに、通信に起因するラグが生じる。そのため、制御装置５４０は、操作信号の値が大きくなったタイミングから一定時間後に、旋回体１２０が旋回していると判定してもよい。
また他の実施形態に係る制御装置５４０は、受信した撮像画像を解析することで、旋回体１２０が旋回しているか否かを判定してもよい。

【0050】

また、上述した実施形態に係る作業機械１００は複数のカメラを備えるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、撮像装置１２７として１つの広角カメラを備え、当該広角カメラの撮像画像を分割して、複数の表示部に割り当ててもよい。

【0051】

また、上述した実施形態に係る遠隔運転装置５００の表示装置５２０は、撮像装置１２７の撮像画像を表示するが、これに限られない。例えば、他の実施形態に係る表示装置５２０は、作業機械１００の挙動のシミュレート結果として、作業機械１００の周囲環境のうち作業機械１００が向く方向を描画した画像を表示するものであってもよい。
具体的には、制御装置５４０は、仮想空間に作業現場の地形および作業機械１００の三次元モデルを配置し、作業機械１００から受信した計測データに基づいて、作業機械１００の姿勢および位置をシミュレートする。制御装置５４０は、レンダリングカメラの視点を仮想空間の作業機械１００のモデルの正面（例えば、運転室の前部）に設定し、視線方向を作業機械１００の正面方向に設定して、作業現場の地形および作業機械１００の三次元モデルをレンダリングすることで、作業機械１００の周囲環境のうち旋回体１２０が向く方向を写す環境画像を生成することができる。
また、制御装置５４０は、作業機械１００の三次元モデルの姿勢に基づいて走行体１１０や作業機１３０の形状を線画や塗りで描画したものを、撮像画像や環境画像に重ね合わせて表示してもよい。

【0052】

また、上述した実施形態に係る制御装置５４０は、旋回体１２０の旋回中に、バケット１３３の刃先の高さに基づいて上側カメラ１２７Ｕの撮像画像を表示するか否かを決定するが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、旋回体１２０の旋回中、常に上側カメラ１２７Ｕの撮像画像を表示しないものと決定してもよいし、常に上側カメラ１２７Ｕの撮像画像を表示するものと決定してもよい。この場合、制御装置５４０の表示制御部９１５は、バケット位置特定部９１４が特定したバケット１３３の刃先の位置を用いずに、各撮像画像の表示の要否を決定する。また他の実施形態に係る制御装置５４０は、旋回体１２０の旋回中、下側カメラ１２７Ｄの撮像画像を表示しないものと決定してもよい。

【0053】

また、上述した実施形態に係る遠隔運転装置５００の表示装置５２０は複数の表示部を備えるが、これに限られない。例えば、他の実施形態に係る表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。この場合も、表示装置５２０は、運転席５１０に着座したオペレータが表示装置５２０の中心を見るときに周辺視野となる領域にわたって設けられる。制御装置５４０は、撮像装置１２７の各撮像画像を合成して１つの合成画像を生成し、これを表示装置５２０に表示させる。旋回体１２０が旋回していると判定された場合、制御装置５４０は、合成画像のうち、旋回方向と反対側の一部領域、特にオペレータの周辺視野に位置する領域を、黒色などでマスキングしてよい。

【0054】

また、上述した実施形態において画像の一部領域の遮蔽は、当該一部領域を表示させないことによってなされるが、これに限られない。例えば他の実施形態においては、一部領域の遮蔽が、当該一部領域の明度を大きく低下（ブラックアウト）させたり、明度を大きく増加（ホワイトアウト）させたり、コントラストを大きく低下させたり、画像をぼやかしたりすることで、領域内における画像の変化量を低下させることによってなされてもよい。

【符号の説明】

【0055】

１…遠隔操作システム １００…作業機械 １１０…走行体 １１１…無限軌道 １１２…走行モータ １２０…旋回体 １２１…エンジン １２２…油圧ポンプ １２３…コントロールバルブ １２４…旋回モータ １２５…角速度センサ １２６…運転室 １２７…撮像装置 １２７Ｄ…下側カメラ １２７Ｆ…正面カメラ １２７Ｌ…左側カメラ １２７Ｒ…右側カメラ １２７Ｕ…上側カメラ １２８…制御装置 １３０…作業機 １３１…ブーム １３１Ｃ…ブームシリンダ １３１Ｓ…ブーム角度センサ １３２…アーム １３２Ｃ…アームシリンダ １３２Ｓ…アーム角度センサ １３３…バケット １３３Ｃ…バケットシリンダ １３３Ｓ…バケット角度センサ ５００…遠隔運転装置 ５１０…運転席 ５２０…表示装置 ５２０Ｄ…下側表示部 ５２０Ｆ…正面表示部 ５２０Ｌ…左側表示部 ５２０Ｒ…右側表示部 ５２０Ｕ…上側表示部 ５３０…操作装置 ５４０…制御装置 ９１０…プロセッサ ９１１…受信部 ９１２…デコーダ ９１３…旋回判定部 ９１４…バケット位置特定部 ９１５…表示制御部 ９１６…送信部 ９３０…メインメモリ ９５０…ストレージ ９６０…インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】