特許 6605241 遠隔操縦システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6605241

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】遠隔操縦システム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20191031BHJP

   E02F 9/20 20060101ALI20191031BHJP

   E02F 9/26 20060101ALI20191031BHJP

【ＦＩ】

   H04Q9/00 311K

   E02F9/20 N

   E02F9/26 B

【請求項の数】2

【全頁数】21

(21)【出願番号】特願2015-135981(P2015-135981)

(22)【出願日】2015年7月7日

(65)【公開番号】特開2017-22433(P2017-22433A)

(43)【公開日】2017年1月26日

【審査請求日】2018年6月22日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】菅原 一宏

(72)【発明者】

【氏名】星野 和則

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２０１３−１６８７７７（ＪＰ，Ａ）

【文献】 特開２００８−１３１５３２（ＪＰ，Ａ）

【文献】 特開２００８−１４４３７９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０７７０４６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｑ ９／００

Ｅ０２Ｆ ９／２０

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

遠隔制御装置、および前記遠隔制御装置とネットワークにより接続される作業機械を備え、前記作業機械に設けられ、アームおよびバケットを有する被駆動部が、少なくとも前記遠隔制御装置からの操作信号に基づいて操作される遠隔操縦システムにおいて、
前記作業機械は、
前記アームの回転角度を検出するアーム角検出器と、
前記バケットの回転角度を検出するバケット角検出器と、を備え、
前記遠隔制御装置は、
前記操作信号を生成する信号生成部と、
前記作業機械に前記操作信号を送信し、前記アーム角検出器から出力された前記アームの回転角度に比例した電気信号および前記バケット角検出器から出力された前記バケットの回転角度に比例した電気信号、ならびに符号化された前記アームおよび前記バケットそれぞれの映像信号を受信する通信部と、
符号化された前記アームおよび前記バケットそれぞれの映像信号を復号化するデコード部と、
前記デコード部における復号化処理を経ずに、前記アーム角検出器および前記バケット角検出器それぞれの出力に基づき前記アームおよび前記バケットそれぞれの姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部と、
モニタに映像を出力するモニタ出力部と、を備え、
前記モニタ出力部は、前記デコード部が復号化した映像信号に基づく実映像に対して前記姿勢推定部によって推定された推定線画を重畳させて前記モニタに出力する
遠隔操縦システム。

【請求項2】

請求項１に記載の遠隔操縦システムにおいて、
前記作業機械は、前記アームおよび前記バケットを撮影する撮像部を備え、
前記遠隔制御装置の前記姿勢推定部は、推定した前記アームおよび前記バケットそれぞれの姿勢ならびに前記撮像部の取付け位置および姿勢に基づき、前記撮像部で撮影された画像内における前記アームおよび前記バケットそれぞれの位置および姿勢を推定し、推定した前記アームおよび前記バケットそれぞれの外形を示す推定線画を生成する
遠隔操縦システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操縦システムに関する。

【背景技術】

【0002】

車両に搭載したカメラで周囲を撮影し、ネットワークにより接続された遠隔制御装置を用いて車両に搭載したカメラの映像を見ながら車両を遠隔操縦する遠隔操縦システムが知られている。映像をネットワーク経由で送受信して表示するためには、エンコード処理およびデコード処理が必要であり、遅延の発生が避けられない。
特許文献１には、以下のように走行中の車両を遠隔操縦する際に操作性の低下を補うシステムが開示されている。すなわち、走行中の車両に搭載したカメラの映像が遠隔制御装置に表示されるまでの遅延時間を推定し、推定した遅延時間に応じてカメラの映像に重畳して例えば、車両の旋回操作基準点などを表示するマーカーの位置を調整する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−６１３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されている発明では、走行中であることが前提となっているため、動作開始時における動作をオペレータが把握できない。

【課題を解決するための手段】

【0005】

本発明は、遠隔制御装置、および前記遠隔制御装置とネットワークにより接続される作業機械を備え、前記作業機械に設けられ、アームおよびバケットを有する被駆動部が、少なくとも前記遠隔制御装置からの操作信号に基づいて操作される遠隔操縦システムにおいて、前記作業機械は、前記アームの回転角度を検出するアーム角検出器と、前記バケットの回転角度を検出するバケット角検出器と、を備え、前記遠隔制御装置は、前記操作信号を生成する信号生成部と、前記作業機械に前記操作信号を送信し、前記アーム角検出器から出力された前記アームの回転角度に比例した電気信号および前記バケット角検出器から出力された前記バケットの回転角度に比例した電気信号、ならびに符号化された前記アームおよび前記バケットそれぞれの映像信号を受信する通信部と、符号化された前記アームおよび前記バケットそれぞれの映像信号を復号化するデコード部と、前記デコード部における復号化処理を経ずに、前記アーム角検出器および前記バケット角検出器それぞれの出力に基づき前記アームおよび前記バケットそれぞれの姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部と、モニタに映像を出力するモニタ出力部と、を備え、前記モニタ出力部は、前記デコード部が復号化した映像信号に基づく実映像に対して前記姿勢推定部によって推定された推定線画を重畳させて前記モニタに出力する。

【発明の効果】

【0006】

本発明によれば、映像よりも処理時間が短い作業機械の動作に関する情報を用いるので、動作開始時においても動作をオペレータが把握できる。

【図面の簡単な説明】

【0007】

【図1】遠隔操縦システムの構成を示すブロック図

【図2】遠隔操縦システムの構成を示すブロック図

【図3】表示属性表の一例を示す図

【図4】運転室視点モニタの表示例を示す図

【図5】指令送信プログラムの動作を示すフローチャート

【図6】車体操作プログラムの動作を示すフローチャート

【図7】車体情報送信プログラムの動作を示すフローチャート

【図8】姿勢描画プログラムの動作を示すフローチャート

【図9】第２の実施の形態における遠隔操縦システムの構成を示すブロック図

【図10】第２の実施の形態における表示属性表の一例を示す図

【図11】第２の実施の形態における運転室視点モニタの表示例を示す図

【図12】第２の実施の形態における姿勢描画プログラムの動作を示すフローチャート

【図13】第２の実施の形態の変形例１における運転室視点モニタの表示例を示す図

【図14】第２の実施の形態の変形例２における運転室視点モニタの表示例を示す図

【図15】第２の実施の形態の変形例３における運転室視点モニタの表示例を示す図

【発明を実施するための形態】

【0008】

（発明の概要）
本発明は、作業機械を遠隔操縦する際、操作指令に対する作業機械の動作を遠隔制御装置側のモニタに表示するシステムに関する。このシステムでは、カメラで撮影して得た作業機械の映像信号を符号化映像信号にエンコードし、通信により遠隔制御装置に送信し、符号化映像信号をデコードしてモニタ表示する。その際、種々の原因で操作指令に対する表示画像に遅延が発生する。そこで、本発明では、遅延の発生が避けられない映像の表示に先駆けて、エンコード・デコード処理が不要なセンサ情報などに基づき作業機械の動作開始などを報知するものである。

【0009】

（第１の実施の形態）
以下、図１〜８を参照して、本発明による遠隔操縦システムの第１の実施の形態を説明する。
図１および図２は、遠隔操縦システム１の構成を示すブロック図である。遠隔操縦システム１は、地理的に離れた２つの地点、すなわち動作地点と操作地点にある複数の機器から構成される。動作地点とは、図１に示すように遠隔操縦される油圧ショベル１００が動作する地点である。操作地点とは、図２に示すように遠隔制御装置７０が設置される地点である。２つの地点間のデータの授受は通信ネットワーク１５を介して行われる。

【0010】

本発明の第１実施形態としての遠隔操縦システム１の概略を説明する。動作地点の油圧ショベル１００は操作地点の遠隔制御装置７０で遠隔操縦される。遠隔制御装置７０と油圧ショベル１００は、操作信号、センサ信号等、遠隔操縦に必要な信号や情報を無線通信により授受する。遠隔制御装置７０には、オペレータが油圧ショベルの駆動状況を把握するための表示モニタが搭載されており、遠隔制御装置７０からの操作信号により駆動したブームなどの駆動状況がモニタに表示され、オペレータはモニタ画面で実際の駆動状況を把握しながら油圧ショベル１００を遠隔操作することが可能となる。

【0011】

通信中継器１３Ｃは、符号化された油圧ショベル１００の映像信号を遠隔制御装置７０に送信する。遠隔制御装置７０の通信部７７は、この符号化された映像信号を受信する。その後、通信部７７が受信した符号化された映像信号はデコードされて、モニタに出力される。以上の一連の流れにおいて、操作指令の出力時刻と、モニタ表示される時刻に時間差が発生する。実施の形態の遠隔操縦システム１はこの時間差による操作性の低下を改善するものである。
以下、図１、図２の順に構成を説明する。

【0012】

図１は、遠隔操縦システム１の動作地点の構成を示すブロック図である。
（油圧ショベルの構成）
油圧ショベル１００は、下部走行体１００Ａと、旋回モータ１０１と、上部旋回体１００Ｂと、ブーム１０２Ａと、アーム１０２Ｂと、バケット１０２Ｃと、車体コントローラ５０と、コントロールバルブ１１０と、比例弁１１１とを備える。下部走行体１００Ａは、走行モータ１０５Ｒおよび走行モータ１０５Ｌを備える。走行モータ１０５Ｒおよび走行モータ１０５Ｌは、下部走行体１００Ａを駆動させる。旋回モータ１０１は、上部旋回体１００Ｂを旋回駆動させる。

【0013】

上部旋回体１００Ｂは、ブームシリンダ１０３Ａ、アームシリンダ１０３Ｂ、およびバケットシリンダ１０３Ｃを備え、これらはそれぞれ、ブーム１０２Ａ、アーム１０２Ｂ、およびバケット１０２Ｃを駆動する。以下では、ブーム１０２Ａ、アーム１０２Ｂ、およびバケット１０２Ｃをまとめて、被駆動部１０２と呼ぶ。
コントロールバルブ１１０は、これらのシリンダ１０３Ａ〜１０３Ｃやモータ１０１、１０５Ｒ、１０５Ｌの駆動を個々に制御する複数のバルブ要素を備える。後述するＤ／Ａ変換器５４からの駆動信号により駆動されるパイロットバルブとしての比例弁１１１は、コントロールバルブ１１０のバルブ要素のそれぞれに駆動信号を与える。

【0014】

（センサ）
油圧ショベル１００は、ブーム角検出器１０４Ａと、アーム角検出器１０４Ｂと、バケット角検出器１０４Ｃと、旋回角検出器１０４Ｄとを備える。ブーム角検出器１０４Ａは、ブーム１０２Ａの回転角度を検出してこれに比例した電気信号を出力する。アーム角検出器１０４Ｂは、アーム１０２Ｂの回転角度を検出してこれに比例した電気信号を出力する。バケット角検出器１０４Ｃは、バケット１０２Ｃの回転角度を検出してこれに比例した電気信号を出力する。旋回角検出器１０４Ｄは、上部旋回体１００Ｂの旋回角度を検出してこれに比例した電気信号を出力する。以下では、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄをまとめて角度検出器１０４と呼ぶ。

【0015】

（車体コントローラ）
車体コントローラ５０は、油圧ショベル１００に内蔵され、遠隔制御装置７０から受信する操作信号に基づき比例弁１１１を制御して被駆動部１０２の駆動を制御する。詳細な説明は省くが、油圧ショベル１００の搭載した操作レバーによっても被駆動部１０２が駆動される。車体コントローラ５０は、演算を行うＣＰＵ５１と、演算結果等を記憶するＲＡＭ５２と、ＣＰＵ５１の処理手順を記憶するＲＯＭ５３と、比例弁１１１にアナログ信号を出力するＤ／Ａ変換器５４と、アナログ信号を取得するＡ／Ｄ変換器５５と、車載画像送信部５Ａと、車載通信部５７とを備える。

【0016】

ＣＰＵ５１は、ＲＯＭ５３に保存されるプログラムをＲＡＭ５２に展開して実行する。ＲＯＭ５３は、後述する車体操作プログラム５３Ａ、および車体情報送信プログラム５３Ｂを保存する。
Ｄ／Ａ変換器５４は、ＣＰＵ５１からの指令に基づき比例弁１１１に動作指令を出力する。すなわち、ＣＰＵ５１を起点として、Ｄ／Ａ変換器５４、比例弁１１１、およびコントロールバルブ１１０が動作することにより、被駆動部１０２が駆動される。しかし、一般の油圧ショベルにおいて、被駆動部１０２の質量が大きいため、Ｄ／Ａ変換器５４が比例弁１１１に動作指令である電気信号を出力してから被駆動部１０２の動作が開始するまでに０．２秒程度の時間を要することが多い。

【0017】

Ａ／Ｄ変換器５５は、所定時間ごと、たとえば１０ｍｓごとに角度検出器１０４の出力する電気信号を取り込み、ＣＰＵ５１に出力する。ＣＰＵ５１は、Ａ／Ｄ変換器５５から受信する角度検出器１０４の出力値を遠隔制御装置７０に送信する。角度検出器１０４の応答およびＡ／Ｄ変換器５５の動作は以下で述べるエンコード処理に比べて高速であり、たとえば角度が変化すると０．０１秒以下でＡ／Ｄ変換器５５の出力が変化する。

【0018】

車載画像送信部５Ａは、後述する車載カメラ４により撮影された映像を符号化、すなわちエンコードし、車載通信部５７を経由して遠隔制御装置７０に送信する。換言すると、車載画像送信部５Ａは、車載カメラ４の出力する映像信号を符号化し、符号化映像信号を出力する。エンコード処理は、車載カメラ４から映像信号が入力されると逐次行われる。エンコード処理は比較的短時間で行われるが、油圧ショベル１００の運転には無視できない時間、たとえば０．５秒程度の時間を要する。たとえば、車載カメラ４が０時０分０秒から１分間にわたって車載画像送信部５Ａに映像信号を出力する場合に、エンコード処理に０．５秒の時間を要する場合は、車載画像送信部５Ａからの符号化映像信号の出力は０時０分０．５秒に開始され、０時１分０．５秒に終了する。
上述したように、車載カメラ４により撮影された映像がエンコードされ、遠隔制御装置７０に送信される時間より角度検出器１０４が検出する角度信号が遠隔制御装置７０に送信される時間の方が短い。

【0019】

車載通信部５７は、操作地点に設置された遠隔制御装置７０と通信を行う無線通信ユニットである。車載通信部５７は、操作信号を受信するとＣＰＵ５１に出力する。ＣＰＵ５１は、操作信号を受信するとデータの整合性を確認し、問題がないと判断すると正常に受信した旨の通知、いわゆるＡＣＫ応答を遠隔制御装置７０に返信する。車載通信部５７は、ＣＰＵ５１から入力された情報を遠隔制御装置７０に送信する。車載通信部５７は、車載画像送信部５Ａの出力する符号化映像信号を遠隔制御装置７０に送信する。

【0020】

（カメラ）
遠隔操縦システム１は、車載カメラ４および外部カメラ２を備える。これらのカメラの視点は、油圧ショベル１００の運転室からの視点、および少し離れた位置から油圧ショベル１００の全体を俯瞰する視点である。
油圧ショベル１００は、バケット１０２Ｃ付近を撮影する車載カメラ４を備える。車載カメラ４は上部旋回体１００Ｂに備えられる運転室の上部に設けられ、車載カメラ４の光軸はバケット１０２Ｃの動作軸と交差する。すなわち、車載カメラ４はバケット１０２Ｃを斜めから観察するので、撮影して得られた映像からバケット１０２Ｃの奥行き方向の位置を容易に把握できる。

【0021】

遠隔操縦システム１は、油圧ショベル１００及びその周辺を俯瞰する外部カメラ２と、外部カメラ２が出力する映像をエンコードする外部画像送信部５Ｂと、外部画像送信部５Ｂが出力するエンコードされた映像を送信する外部通信部１３Ｂとを油圧ショベル１００の周辺に備える。車載カメラ４から得られる映像だけでは、遠隔操作を行うオペレータが周辺状況を把握することが困難であるため、外部カメラ２により得られる映像も参照して遠隔操縦を行う。特に、車載カメラ４は上部旋回体１００Ｂに備えられるため、油圧ショベル１００が旋回動作を行う際には車載カメラ４よりも外部カメラ２により撮影された映像が遠隔操縦に有用である。

【0022】

外部画像送信部５Ｂは、外部カメラ２により撮影された映像を符号化、すなわちエンコードし、外部通信部１３Ｂを経由して操作地点に送信する。エンコード処理は、外部カメラ２から映像が入力されると逐次行われる。エンコード処理は比較的短時間で行われるが無視できない時間、たとえば０．５秒の時間を要する。
車載カメラ４および外部カメラ２は常時撮影を行っており、遠隔制御装置７０からの動作指令にかかわらず、遠隔制御装置７０に撮影して得られた映像を送信する。

【0023】

（通信）
遠隔操縦システム１は、操作地点の油圧ショベル１００と通信を行うために、車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとを備える。車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとは、それぞれ無線アンテナ１４Ａ〜Ｃを備える。通信中継器１３Ｃは、車載通信部５７、および外部通信部１３Ｂと無線により短距離の通信を行う。
図２に示すように、通信中継器１３Ｃは、通信ネットワーク１５を経由して操作地点の通信中継器１３Ｃと通信を行う。通信ネットワーク１５とは、構内ＬＡＮ、インターネット回線、または専用通信回線である。

【0024】

車載カメラ４により撮影されエンコードされた符号化映像信号と、角度検出器１０４の出力信号はいずれも、車載通信部５７、通信中継器１３Ｃ、通信ネットワーク１５を経由して遠隔制御装置７０に到達する。１枚の画像を形成する符号化映像信号は、角度検出器１０４の出力信号よりも容量が大きいので、以下の段落で説明する理由により、通信だけに着目しても符号化映像信号は角度検出器１０４の出力信号よりも遅れが生じやすい。

【0025】

通信ネットワーク上に送信されるデータは、送受信を容易にするために小さいデータの固まり、すなわちパケットに分割して送信される。パケット信号は受信側の遠隔制御装置７０で復元される。パケットの通信経路は、通信経路中に存在するルータのルーティングテーブルの記述にしたがって決定される。ルーティングテーブルは、通信路の負荷などによって時々刻々と更新されるので、あるデータを構成するパケット数が多いほど経路にばらつきが生じ、各パケットが受信側の遠隔制御装置７０に到着するまでの通信に要する時間もばらつきやすい。データを構成する全てのパケットが到着しなければデータを復元できないので、パケット数が多いほど、すなわちデータのサイズが大きいほど通信に要する時間が長くなる傾向にある。

【0026】

（遠隔制御装置）
遠隔制御装置７０は、所要の演算を行うＣＰＵ７１と、ＣＰＵ７１の演算結果等を記憶するＲＡＭ７２と、ＣＰＵ７１の処理手順を記憶するＲＯＭ７３と、スイッチ８１の操作情報入力を取り込むＤＩ７４と、操作レバー８０の信号をディジタル値に変換するＡ／Ｄ変換器７５と、エンコードされた映像信号をデコードする画像受信部７８Ａ，７８Ｂと、運転室視点モニタ８２Ａおよび俯瞰用モニタ８２Ｂに映像を出力するモニタ出力部７６と、操作地点と通信を行う通信部７７とを備える。

【0027】

ＲＡＭ７２には、油圧ショベル１００に操作指令を送信した最終時刻を表す最終操作時刻ｔｏと、油圧ショベル１００から操作指令を正常に受信した旨の通知、いわゆるＡＣＫ応答を受信した最終時刻を表す最終受信時刻ｔｒとが保存される。
ＲＯＭ７３には、後述する指令送信プログラム７３Ａと、姿勢描画プログラム７３Ｂと、表示属性表７３Ｃとが保存される。指令送信プログラム７３Ａ、および姿勢描画プログラム７３Ｂは、ＲＡＭ７２に展開されてＣＰＵ７１により実行される。

【0028】

画像受信部７８Ａ，７８Ｂは、通信部７７が受信するエンコードされた符号化映像信号を復号化、すなわちデコードし、映像信号をモニタ出力部７６に出力する。デコード処理は、通信部７７から映像信号を受信すると逐次行われる。デコード処理は比較的短時間、たとえば１秒で行われるが、油圧ショベル１００の運転には無視できない。通信部７７が０時１分１秒から１分間にわたって画像受信部７８Ａに符号化映像信号を出力する場合に、デコード処理に１秒の時間を要する場合は、画像受信部７８Ａからの出力は０時１分２秒に開始され、０時２分２秒に終了する。
モニタ出力部７６は、画像受信部７８Ａ，７８Ｂが出力する映像信号に、ＣＰＵ７１が出力する映像を重畳して運転室視点モニタ８２Ａ、および俯瞰用モニタ８２Ｂに出力する。
オペレータは、運転室視点モニタ８２Ａおよび俯瞰用モニタ８２Ｂを見ながら操作レバー８０を操作する。

【0029】

（姿勢描画プログラム）
姿勢描画プログラム７３Ｂは、油圧ショベル１００に取り付けられた角度検出器１０４の出力を用いて油圧ショベル１００の姿勢を推定する。姿勢描画プログラム７３Ｂはさらに、車載カメラ４の取付け位置・姿勢に基づき、車載カメラ４に撮影された画像内における被駆動部１０２の位置および姿勢を推定し、その外形を表す線図（以下、「推定線画」とも言う）をモニタ出力部７６に出力する。推定線画の描画に用いられる線種は、後述する表示属性表７３Ｃを用いて決定される。

【0030】

モニタ出力部７６は、画像受信部７８Ａがデコードした映像信号に、姿勢描画プログラム７３Ｂが出力する推定線画を重畳して出力する。
姿勢描画プログラム７３Ｂの演算は短時間、たとえば１ｍｓ以内に終了するため、上述した油圧ショベルの画像が車載カメラ４により撮影し、油圧ショベルの映像が運転室モニタに映し出されるよりも早い。従って、ある瞬間に油圧ショベル１００が動いた場合に、その動きを車載カメラ４が撮影してその映像が運転室視点モニタ８２Ａから出力されるよりも先に、角度検出器１０４の出力に基づく姿勢描画プログラム７３Ｂの推定結果が運転室視点モニタ８２Ａから出力される。

【0031】

（表示属性表）
表示属性表７３Ｃは、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形を描画する推定線画の線種の決定に用いられる表である。線種は、表示属性表７３Ｃ、およびＲＡＭ７２に保存される最終操作時刻ｔｏと最終受信時刻ｔｒとから決定される。最終操作時刻ｔｏは、操作信号を最後に出力した時刻であり、最終受信時刻ｔｒは操作信号に対する受信応答ＡＣＫを受信した時刻である。

【0032】

図３は、表示属性表７３Ｃの一例を示す図である。ＣＰＵ７１は、表示属性表７３Ｃを参照する時刻と、最終操作時刻ｔｏとの時間差が時間ｈｏ未満であるか否かにより表示属性表７３Ｃの行を選択する。ＣＰＵ７１は、表示属性表７３Ｃを参照する時刻と、最終受信時刻ｔｒとの時間差が時間ｈｒ未満であるか否かにより表示属性表７３Ｃの列を選択する。以上より、表示属性表７３Ｃを参照する時間と、最終受信時刻ｔ０と、最終操作時間ｔｒとの差に応じて、破線、一点鎖線、二重線、実線のいずれかで、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形が、上述した運転室視点モニタ８２Ａに表示されることとなる。

【0033】

（動作例）
図４を用いて、遠隔操縦システム１の動作例を説明する。
図４（Ａ）〜（Ｆ）は、運転室視点モニタ８２Ａに表示される被駆動部１０２を示す図である。図４（Ｄ）を一例で説明すると、車載カメラ４により撮影されたアーム１０２Ｂとバケット１０２Ｃの実映像は斜線で示すアーム実画像１０２ＢＧとバケット実画像１０２ＣＧで示される。一方、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の位置・姿勢は、破線で示すアーム推定画像１０２ＢＳ、バケット推定線画１０２ＣＳで示される。推定線画１０２ＢＳ，１０２ＣＳの線種は、上述したように、図３に例示した表示属性表７３Ｃを参照して決定される。なお、図４（Ａ）〜（Ｆ）の右上にドットで示す領域はブーム１０２Ａの一部の実映像である。

【0034】

遠隔制御装置７０は、油圧ショベル１００から短い時間間隔で角度検出器１０４の出力を受信し、姿勢描画プログラム７３Ｂに入力する。運転室視点モニタ８２Ａには、車載カメラ４により撮影された実映像に、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の位置・姿勢が上述した表示属性表７３Ｃに基づき決定された線種で推定線画として重畳して表示される。 以下の例では、十分に長い時間操作を行わなかった場合、（例えば、最終操作時間ｔ０から、時間ｈ０以上、最終受信時刻ｔｒから時間ｈｒ以上操作を行っていない場合）に、その後オペレータが操作レバー８０を一定時間操作し、操作を終了してから所定時間が経過するまでの運転室視点モニタ８２Ａに表示される映像の遷移を説明する。

【0035】

上述した、オペレータが長時間操作を行わない場合は、最終操作時刻ｔｏから時間ｈｏ以上、最終受信時刻ｔｒから時間ｈｒ以上経過している。そのため、ＣＰＵ７１により表示属性表７３Ｃから、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形を描画する推定線画の線種として「実線」が選択される。また、このとき油圧ショベル１００が長時間動作していないため、車載カメラ４により撮影された実映像の輪郭線は、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の推定線画と一致する。そのため、図４（Ａ）に示すように、被駆動部１０２の推定線画１０２ＢＳ，１０２ＣＳは、車載カメラ４により撮影された実映像の外形と一致して表示される。

【0036】

上述した、オペレータが長時間操作を行わない状態から、オペレータが操作レバー８０を操作すると、油圧ショベル１００にその操作指令が送信されるとともに最終操作時刻ｔｏが更新される。しかし、その瞬間にはまだ油圧ショベル１００からＡＣＫを受信していないので最終受信時刻ｔｒは更新されず、ＣＰＵ７１により表示属性表７３Ｃから「一点鎖線」が選択される。そのため、図４（Ｂ）に示すように、図４（Ａ)と比較して推定線画の線種のみが変更された画像が運転室視点モニタ８２Ａに表示される。なお、これ以後も図４（Ｄ）の映像が表示されるタイミングまでは、オペレータは同じ操作を継続することとする。

【0037】

そのままオペレータが操作を継続すると最終操作時刻ｔｏは更新され続ける。油圧ショベル１００は、操作指令を受信し遠隔制御装置７０にＡＣＫ信号を送信するとともに、被駆動部１０２を駆動すべくＤ／Ａ変換器５４に動作指令を出力する。ＡＣＫ信号を受信した遠隔制御装置７０は最終受信時刻ｔｒを更新する。従って、表示属性表７３Ｃを参照した時刻と、最終操作時刻ｔ０との差はｈ０未満となり、表示属性表７３Ｃを参照した時刻と、最終受信時刻との差がｈｒ未満となり、ＣＰＵ７１は、表示属性表７３Ｃから推定線画の線種として「破線」を選択する。しかし、まだ油圧ショベル１００は動き始めていないので、角度検出器１０４の出力および車載カメラ４により撮影された実映像に変化はない。そのため、図４（Ｃ）に示すように、図４（Ａ）〜（Ｂ）と比較して推定線画の線種のみが破線に変更された映像が運転室視点モニタ８２Ａに表示される。

【0038】

オペレータの操作レバー８０の操作により被駆動部１０２に対する操作指令が出力された場合、被駆動部１０２が動作を開始し、被駆動部１０２の変位が角度検出器１０４により測定される。ここで、オペレータの操作レバー８０の操作から、１秒経過した状況において説明する。この状況においては、角度検出器１０４の出力は、Ａ／Ｄ変換器５５を経て遠隔制御装置７０に送信され、遠隔制御装置７０の姿勢描画プログラム７３Ｂにより、被駆動部１０２の位置および姿勢が推定され、モニタ出力部７６には、推定線画が出力される。しかし、車載カメラ４によって撮影された、操作指令により動作を開始する被駆動部１０２の映像は処理時間を要するエンコード、およびデコードを経てモニタ出力部７６に出力されるので、まだ車載カメラ４により撮影された映像は変化しない。そのため、図４（Ｄ）に示すように、推定線画１０２ＢＳ，１０２ＣＳのみが移動している映像が運転室視点モニタ８２Ａに表示される。

【0039】

オペレータが操作レバー８０の操作を終了して時間ｈｏが経過すると、ＣＰＵ７１により表示属性表７３Ｃから「二重線」が選択される。動作を開始した被駆動部１０２を車載カメラ４が撮影して得られた映像が、エンコードおよびデコードを経てモニタ出力部７６に出力される。そのため、図４（Ｅ）に示すように、推定線画の線種が二重線に変更され、車載カメラ４が撮影した斜線で示す実映像も移動している動画が運転室視点モニタ８２Ａに表示される。

【0040】

さらに十分な時間、少なくとも油圧ショベル１００からＡＣＫ信号を受信してから時間ｈｒが経過すると、ＣＰＵ７１により表示属性表７３Ｃから「実線」が選択される。また、動作を終了した被駆動部１０２の実映像もモニタ出力部７６に出力される。そのため、図４（Ｆ）に示すように、推定線画の線種が実線に変更され、車載カメラ４が撮影した実映像が先に移動した推定線画に重なっているモニタ画像が運転室視点モニタ８２Ａに表示される。

【0041】

（フローチャート）
以下、図５〜８を参照して油圧ショベル１００の車体コントローラ５０が実行するプログラム、および遠隔制御装置７０が実行するプログラムの動作を説明する。

【0042】

（指令送信プログラム）
図５は、遠隔制御装置７０が実行する指令送信プログラム７３Ａの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置７０のＣＰＵ７１である。遠隔制御装置７０は、オペレータにより操作レバー８０が操作されると、以下の動作を行う指令送信プログラム７３Ａを実行する。
ステップＳ７００において、遠隔制御装置７０は、Ａ／Ｄ変換器７５からオペレータによる操作レバー８０の操作を電圧値として取得し、ステップＳ７０１に進む。
ステップＳ７０１において、遠隔制御装置７０は、ステップＳ７００において読み込んだ電圧値に対して既知のスケーリング変換を行い、電圧値を操作レバー８０が操作された角度を示す数値に変換してステップＳ７０２に進む。

【0043】

ステップＳ７０２において、遠隔制御装置７０は、ステップＳ７０１において変換した角度を示す数値に基づき、データの整合性を確認する情報を算出する。データの整合性を確認する情報とは、たとえば、パリティビット、ハッシュ、チェックサムなどである。遠隔制御装置７０は、ステップＳ７０１において変換した角度を示す数値と、算出したデータの整合性を確認する情報とを操作データとして油圧ショベル１００に送信し、ステップＳ７０３に進む。ステップＳ７０３では、操作レバーが中立位置に対応するか否かを判断し、操作レバーが中立位置にあると判断する場合は図５により動作が表されるプログラムを終了し、中立以外であると判断する場合はステップＳ７０４に進む。
ステップＳ７０４において、遠隔制御装置７０は、最終操作時刻ｔｏを現在時刻に更新し、ステップＳ７００に戻る。

【0044】

（車体操作プログラム）
図６は、油圧ショベル１００の車体コントローラ５０が実行する車体操作プログラム５３Ａの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ５０のＣＰＵ５１である。車体コントローラ５０は、車載通信部５７が遠隔制御装置７０から操作データを受信するたびに、以下の動作を行う車体情報送信プログラム５３Ｂを実行する。換言すると、図５のステップＳ７０２が実行されるたびに、車体情報送信プログラム５３Ｂが実行される。
ステップＳ５００において、車体コントローラ５０は、車載通信部５７からＣＰＵ５１に操作データを読み込み、ステップＳ５０１に進む。

【0045】

ステップＳ５０１において、車体コントローラ５０は、操作データに含まれるデータの整合性を確認する情報を用いて、受信した操作データにエラーがあるか否かを判断する。エラーがあると判断する場合は、図５により動作が表されるプログラムを終了する。エラーがないと判断する場合はステップＳ５０２に進む。
ステップＳ５０２において、車体コントローラ５０は、受信した角度を示す数値に基づきＤ／Ａ変換器５４に動作指令を出力し、ステップＳ５０３に進む。
ステップＳ５０３において、車体コントローラ５０は、遠隔制御装置７０に操作データを正常に受信したことを知らせるために、ＡＣＫ信号を送信し、図６により動作が表されるプログラムを終了する。

【0046】

（車体情報送信プログラム）
図７は、油圧ショベル１００の車体コントローラ５０が実行する車体情報送信プログラム５３Ｂの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ５０のＣＰＵ５１である。車体コントローラ５０は、短い時間間隔ごと、たとえば０．０１秒ごとに以下の動作を行う車体情報送信プログラム５３Ｂを実行する。
ステップＳ５１０において、車体コントローラ５０は、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄから角度を表す検出信号を電圧値として読み込み、ステップＳ５１１に進む。

【0047】

ステップＳ５１１において、車体コントローラ５０は、ステップＳ５１０において読み込んだ電圧値に対して既知のスケーリング変換を行い、電圧値を角度に変換してステップＳ５１２に進む。
ステップＳ５１２において、車体コントローラ５０は、ステップＳ５１１において変換した４つの角度を車体情報として遠隔制御装置７０に送信し、図７により動作が表されるプログラムを終了する。

【0048】

（姿勢描画プログラム）
図８は、遠隔制御装置７０が実行する姿勢描画プログラム７３Ｂの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置７０のＣＰＵ７１である。遠隔制御装置７０は、油圧ショベル１００から車体情報またはＡＣＫ信号を受信すると図８により動作が表されるプログラムを実行する。
ステップＳ７１０において、遠隔制御装置７０は、受信したデータが、車体情報およびＡＣＫ信号のいずれであるかを判断する。車体情報であると判断する場合はステップＳ７１１に進み、ＡＣＫ信号であると判断する場合はステップＳ７２１に進む。

【0049】

ステップＳ７１１において、遠隔制御装置７０は、車体情報を用いて油圧ショベル１００の三次元姿勢を算出する。ブームシリンダ１０３Ａ、アームシリンダ１０３Ｂ、およびバケットシリンダ１０３Ｃの自由度はそれぞれ「１」なので、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力に基づいて油圧ショベル１００の三次元姿勢を算出する。次にステップＳ７１２に進む。

【0050】

ステップＳ７１２において、遠隔制御装置７０は、既知である車載カメラ４の取付け位置、および車載カメラ４の撮影方向に基づき、車載カメラ４により撮影されると推定する被駆動部１０２の位置および姿勢に応じた推定線画を算出する。次にステップＳ７１３に進む。
ステップＳ７１３において、遠隔制御装置７０は、表示属性表７３Ｃを参照し、最終操作時刻ｔｏ、および最終受信時刻ｔｒに基づき、推定線画の表示に用いる線種を決定し、ステップＳ７１４に進む。

【0051】

ステップＳ７１４において、遠隔制御装置７０は、ステップＳ７１２において算出した被駆動部１０２の推定線画を、ステップＳ７１３において決定した線種により描画してモニタ出力部７６に出力する。図８により動作が表されるプログラムを終了する。
受信したデータがＡＣＫ信号であると判断される場合に実行されるステップＳ７２１において、遠隔制御装置７０は、最終受信時刻ｔｒを現在時刻に更新して図８により動作が表されるプログラムを終了する。

【0052】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）遠隔操縦システム１は、遠隔制御装置７０、および遠隔制御装置７０と通信ネットワーク１５により接続される作業機械、すなわち油圧ショベル１００を備える。油圧ショベル１００の少なくとも被駆動部１０２が遠隔制御装置７０から操作される。遠隔制御装置７０は、油圧ショベル１００の少なくとも被駆動部１０２を操作する操作信号を生成する信号生成部、すなわちＡ／Ｄ変換器７５と、作業機械に操作信号を送信し、作業機械の動作に関する情報、および符号化された被駆動部１０２の映像信号を受信する通信部７７とを備える。遠隔制御装置７０はさらに、符号化された被駆動部１０２の映像信号を復号化するデコード部と、デコード部が復号化した映像信号に基づく実映像を表示する表示部、すなわち運転室視点モニタ８２Ａと、デコード部における処理を経ずに、作業機械の動作に関する情報に基づいて操作信号による作業機械の動作を報知する報知部、すなわち運転室視点モニタ８２Ａとを備える。

【0053】

このように構成された遠隔操縦システム１では、エンコード・デコードなどの遅延を生じさせる処理が不要である作業機械の被駆動部１０２の動作に関する情報に基づいて、作業機械の動作を報知し、動作開始時においても作業機械の動作をオペレータが把握することができる。すなわち、被駆動部１０２に操作指令を与えた時、エンコード・デコードが必要な被駆動部１０２の実映像が更新されるよりも早いタイミングで被駆動部１０２の動作をオペレータに報知することができ、オペレータはカメラ画像の通信遅延の影響を考慮せずに油圧ショベルの遠隔操縦を行うことが可能となり、操作性の低下を補うことができる。また、オペレータは報知よりは遅れるものの被駆動部１０２の映像も得られるため、その映像を見ながら遠隔操縦を行うことができる。さらに、被駆動部１０２の動作遅れと、実映像の更新遅れとを別々に把握することができるため、システムの不具合が予想できたときに的確に原因の推定と対策が可能となる。

【0054】

（２）作業機械の動作に関する情報は、作業機械が動作する前兆を示す信号、および作業機械が動作していることを示す信号の少なくとも一方である。
そのため、オペレータは作業機械に操作指令が伝達されたことを映像の更新、すなわち映像の変化に先んじて知ることができる。たとえば、オペレータが入力操作を行ったにもかかわらず被駆動部１０２の実映像が変化しないと、入力操作が受け付けられていないと誤解して過大な入力を行う恐れがある。しかし本システムによれば、入力が伝達されたことが運転室視点モニタ８２Ａに表示される被駆動部１０２の外形線の線種が変化することにより、換言すると推定線画の変化により報知されるので、過大な入力がされる恐れがない。さらに、操作信号が届いているか否かの確認が可能となり、遠隔操縦システム１のトラブルシュートにも有効に機能する。

【0055】

（３）作業機械が動作する前兆を示す信号とは、操作信号を作業機械が受信したことを示す信号、すなわちＡＣＫ信号であり、作業機械が動作していることを示す信号とは、当該作業機械の動作を測定するセンサの出力信号、すなわちブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力信号である。
そのため、ＡＣＫ信号を送信することにより作業機械が動作するのを待たずに迅速な応答が得られる。作業機械が動作したことによる変化をセンサで計測し、計測結果を送信することにより、動作が確実に行われたことを示すことができる。

【0056】

（４）作業機械の動作に関する情報は、作業機械に設置されたブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力を含む情報である。遠隔制御装置７０は、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力に基づき被駆動部１０２の姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部、すなわち姿勢描画プログラム７３Ｂを備える。
運転室視点モニタ８２Ａは、実映像および推定線画を表示する。
そのため、被駆動部１０２がこれからどのように動作するかを、撮影した実映像よりも早期に、なおかつ視覚的に報知することができる。

【0057】

（５）油圧ショベル１００は、映像信号を生成する撮像部、すなわち車載カメラ４を備える。遠隔制御装置７０の姿勢推定部は、推定した姿勢ならびに車載カメラ４の取付け位置および姿勢に基づき、当該被駆動部１０２が車載カメラ４に撮影されると得られる当該被駆動部１０２の外形を示す推定線画を生成する。運転室視点モニタ８２Ａは、実映像に推定線画を重畳して表示する。
そのため、算出された被駆動部１０２の位置・姿勢は、撮影した被駆動部１０２の実映像に重畳されて表示するので、オペレータは被駆動部１０２の動作方向や動作量を的確に把握できる。

【0058】

また、作業機械のバケット等の操作箇所を接触させて停止するような操作の場合にも、以下の利点がある。すなわち、撮影した被駆動部１０２の実映像により接触を確認する前に、被駆動部１０２が接触にて停止したことを確認できるため余分に操作することがない。すなわち、オペレータは被駆動部１０２を撮影して得た実映像の情報のみを得る場合に比べて、画像遅延の影響を低減した遠隔操作が可能となる。

【0059】

（６）油圧ショベル１００は、遠隔制御装置７０から動作指令を受信する車載通信部５７と、遠隔制御装置７０からの信号に基づき動作する被駆動部１０２と、少なくとも被駆動部１０２の一部を撮影する車載カメラ４と、車載カメラ４が撮影して得られた映像を符号化するエンコード部、すなわち車載画像送信部５Ａと、当該油圧ショベル１００の動作に関する情報を生成する動作情報生成部、すなわち角度検出器１０４およびＡＣＫ信号を生成するＣＰＵ５１と、を備える。車載通信部５７は、符号化された車載カメラ４の映像および当該油圧ショベル１００の動作に関する情報を遠隔制御装置７０に送信する。
そのため、油圧ショベル１００は、遠隔制御装置７０と協調して動作を行う。

【0060】

以上説明した第１の実施の形態は、以下のように変形してもよい。
（１）被駆動部１０２の全体に同一の表示属性を割り当てたが、個別に表示属性を割り当ててもよい。すなわち、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃについて個別に最終操作時刻ｔｏ、および最終受信時刻ｔｒを管理する。そして、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃについて別々に線種を決定し、運転室視点モニタ８２Ａに表示する。これにより、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃそれぞれの応答特性を把握することができる。

【0061】

（２）表示属性表７３Ｃでは、条件ごとに線種を定義していたが、条件ごとに色を定義してもよいし、条件ごとに線種と色とを定義してもよい。
（３）油圧ショベル１００が実行する車体操作プログラム５３Ａは、操作指令を正常に受信したことを示すＡＣＫ信号に代えて、被駆動部１０２へ駆動指令を出力したことを遠隔制御装置７０に送信してもよい。
（４）車載カメラ４は、遠隔制御装置７０からの指令により動作可能であってもよい。すなわち、車載カメラ４がパン・チルト・ズーム機能を備え、遠隔制御装置７０から操作可能であってもよい。この場合は、車載カメラ４により撮影される被駆動部１０２の位置および姿勢の推定（図８のステップＳ７１２）において、パン・チルト・ズームの設定値を参酌する。

【0062】

（５）俯瞰用モニタ８２Ｂに表示される油圧ショベル１００の位置・姿勢を、運転室視点モニタ８２Ａに表示される被駆動部１０２の位置・姿勢と同様に推定し、重畳して表示してもよい。特に旋回動作や直進動作を行った場合に、運転室視点モニタ８２Ａに表示される推定した被駆動部１０２の位置・姿勢が変化しないため有用である。
（６）車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとの通信は、無線に限定されない。いずれか１か所、または複数が有線による通信を行ってもよい。
（７）遠隔操縦システム１は、通信中継器１３Ｃを備えずに、車載通信部５７、および外部通信部１３Ｂが直接に通信部７７と通信を行ってもよい。
（８）遠隔制御装置７０は、油圧ショベル１００を遠隔操縦したが遠隔操縦する対象はこれに限定されない。遠隔制御装置７０が遠隔操縦を行う対象は、ホイールローダーやクレーンなどの、他の作業機械でもよい。

【0063】

（第２の実施の形態）
図９〜１２を参照して、本発明にかかる遠隔操縦システム１の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、運転室視点モニタ８２Ａに描画する実映像に重畳して表示する情報が第１の実施の形態と異なる。
図９は、第２の実施の形態における遠隔操縦システム１の構成を示すブロック図である。図９は、第１の実施の形態の図２に相当する。
第２に実施の形態における遠隔操縦システム１の構成は、遠隔制御装置７０のＲＯＭ７３にさらに表示色表７３Ｄが保存されている点が第１の実施の形態と主に異なる。また、ＲＯＭ７３に保存されている姿勢描画プログラム７３Ｂの動作も異なる。

【0064】

（表示色表）
図１０は、表示色表７３Ｄの一例を示す図である。角速度の大きさと、それに対応する色および明るさが示されている。たとえば、角速度が０度付近であれば無色が選択され、角速度が大きくなると順に暗い赤、明るい赤へと変化する。角速度が０度から小さくなると、すなわちマイナス方向に大きくなると、暗い青、明るい青へと変化する。このとき、角速度のプラスとマイナスは、予め角度検出器１０４の動作方向に応じて設定する。本実施の形態では、アームやバケットを本体側に巻き込む方向をプラスと設定する。

【0065】

（動作の概要）
遠隔制御装置７０は、油圧ショベル１００から受信する車体情報に基づき、運転室視点モニタ８２Ａのモニタ画像として、図１１のような入力操作を示す画像情報を被駆動部１０２の実映像に重畳して表示する。オペレータによる入力操作を示す四方向矢印８００Ｌ、８００Ｒの外枠の線種と、操作方向を示すハッチングの色を以下のように決定する。
遠隔制御装置７０は、第１の実施の形態において推定線画の線種を決定した手法を用いて、入力操作を示す表示の外枠の線種を決定する。すなわち、表示属性表７３Ｃ、およびＲＡＭ７２に保存される最終操作時刻ｔｏと最終受信時刻ｔｒとから線種を決定する。
遠隔制御装置７０は、油圧ショベル１００から受信した角度検出器１０４の検出した角度を対象に微分演算を行い、角速度を求める。遠隔制御装置７０は、図１０の表示色表７３Ｄを参照して算出した微分値より求めた角速度に対応する色および明るさを決定し、操作方向を示すハッチングに用いる。

【0066】

（表示例）
図１１は、オペレータがアーム１０２Ｂを伸ばす操作を行っている場合の、運転室視点モニタ８２Ａの表示の一例である。図中の斜線で示すハッチング部は、車載カメラ４により撮影された被駆動部１０２の映像を示している。図中の２つの四方向矢印８００Ｌ、８００Ｒは、姿勢描画プログラム７３Ｂにより作成された、オペレータによる入力操作を示す表示である。２つの四方向矢印８００Ｌ、８００Ｒの外枠は、破線を用いて表示されている。四方向矢印８００Ｌの左方向のみが明るい青によりハッチングされ、四方向矢印８００Ｌの他の方向、および四方向矢印８００Ｒの全ての方向はハッチングされていない。

【0067】

操作レバー８０は２本あり、左レバーの上下方向が旋回、左レバーの左右方向がアーム１０２Ｂの伸縮、右レバーの上下方向がブーム１０２Ａの上げ下げ、右レバーの左右方向がバケット１０２Ｃのクラウド・ダンプに対応する。遠隔制御装置７０は、角度検出器１０４が検出した角度を対象に微分演算を行う。遠隔制御装置７０は、アーム１０２Ｂの角度が大きく減少していることから、表示属性表７３Ｃを参照して入力操作を示すハッチングの色として明るい青を選択する。ブーム１０２Ａおよびバケット１０２Ｃの角度変化はなかったため、入力操作を示すハッチングの色として無色を選択する。遠隔制御装置７０は、角度検出器１０４が検出した角度の微分値に基づき、操作レバー８０の左レバーが左方向に入力されていると推定し、ハッチング部分として四方向矢印８００Ｌの左方向を選択する。そのため運転室視点モニタ８２Ａには、四方向矢印８００Ｌの左方向が明るい青によりハッチングされて表示される。

【0068】

（フローチャート）
図１２は、第１の実施の形態における図８のフローチャートに代わって、遠隔制御装置７０が実行する姿勢描画プログラム７３Ｂの処理内容を示すフローチャートである。遠隔制御装置７０は、油圧ショベル１００から車体情報またはＡＣＫ信号を受信すると図１２により動作が表されるプログラムを実行する。ここで、車体情報とは、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄの検出する角度を含む情報である。

【0069】

ステップＳ７１０ａにおいて、遠隔制御装置７０は、受信したデータが、車体情報およびＡＣＫ信号のいずれであるかを判断する。車体情報であると判断する場合はステップＳ７３１に進み、ＡＣＫ信号であると判断する場合はステップＳ７２１に進む。
ステップＳ７３１において、遠隔制御装置７０は、今回受信した角度情報、および過去に受信した角度情報を用いて、ブーム角、アーム角、バケット角、旋回角の微分演算を行いステップＳ７３２に進む。

【0070】

ステップＳ７３２において、遠隔制御装置７０は、表示色表７３Ｄを参照して、ステップＳ７３１における演算結果から表示色、すなわちブーム角、アーム角、バケット角、旋回角の操作表示に用いる色および明るさを決定する。次にステップＳ７１３ａに進む。
ステップＳ７１３ａにおいて、遠隔制御装置７０は、表示属性表７３Ｃを参照し、最終操作時刻ｔｏ、および最終受信時刻ｔｒに基づき、四方向矢印８００Ｌ、８００Ｒの外枠の表示に用いる線種を決定し、ステップＳ７３３に進む。

【0071】

ステップＳ７３３において、遠隔制御装置７０は、既知である操作レバー８０の操作方向と被駆動部１０２の動作の組み合わせ、およびステップＳ７３１における演算結果から、オペレータによるレバーの入力を推測する。四方向矢印８００Ｌ、８００Ｒの画像に推測したレバー入力をハッチングとして追記し、ステップＳ７３４に進む。
ステップＳ７３４において、遠隔制御装置７０は、ステップＳ７３３において作成した四方向矢印８００Ｌ、８００Ｒの画像をモニタ出力部７６に出力し、図１２により動作が表されるプログラムを終了する。

【0072】

以上説明した第２の実施の形態では、以下の作用効果を奏する。ただし、第１の実施の形態と共通する作用効果は省略する。
（１）遠隔制御装置７０は、受信した車体情報を用いてオペレータによる操作レバー８０への操作入力を推定し、推定した操作入力を２つの四方向矢印８００Ｌ、８００Ｒとして運転室視点モニタ８２Ａに出力する。
そのため、オペレータは入力が正しく伝達されていることを、視覚的に確認することができる。
（２）遠隔制御装置７０は、受信した車体情報を用いて被駆動部１０２の動作の有無および変化率の大きさを判断し、色および明るさを用いて運転室視点モニタ８２Ａに出力する。
そのため、形状だけでなく色と明るさの多彩な情報を用いて直感的に分かりやすく報知することができる。

【0073】

上述した第２の実施の形態を以下のように変形してもよい。
（１）操作レバー８０の推定操作表示に代えて、バケット１０２Ｃが移動する方向を表示してもよい。たとえば、図１３に示すように運転室視点モニタ８２Ａに四方向矢印８１０を表示し、車体情報に基づきバケット１０２Ｃが移動する方向の矢印を他と異なる態様で表示してもよい。図１３の例では、バケット１０２Ｃが左に移動することを示している。
（２）操作レバー８０の推定操作表示に代えて、バケット１０２Ｃのクラウド・ダンプ動作を矢印で表示してもよい。たとえば、図１４に示すように運転室視点モニタ８２Ａに、ダンプ動作を示す外向き矢印８２０Ｕと、クラウド動作を示す内向き矢印８２０Ｄを表示可能とする。遠隔制御装置７０は、車体情報に基づきバケット１０２Ｃの動作にあわせて、外向き矢印８２０Ｕまたは内向き矢印８２０Ｄを表示してもよい。

【0074】

（３）操作レバー８０の推定操作表示に代えて、動作中であることを表すアイコンや図柄を表示してもよい。たとえば、図１５に示すように運転室視点モニタ８２Ａの一部に動作中であることを示す表示領域８３０を設ける。遠隔制御装置７０は、車体情報に基づき動作中であると判断すると、表示領域８３０に動作中であることを示す表示を行う。たとえば、動作をしていない場合は透明表示を行い、動作中であると判断すると赤い半透明の丸を表示する。
さらに、動作中であることを運転室視点モニタ８２Ａに表示する代わりに、不図示のランプ、ブザー、または振動子を用いてオペレータに報知してもよい。動作しているか否かの判定は各部位の方向や動作速度を判定するシステムに比べて判定処理負荷が小さいが、動きだしの判定や衝突判定には有効であり、画像遅延の影響を低減した遠隔操作が可能となる。

【0075】

（４）油圧ショベル１００は、ブーム角、アーム角、バケット角、および旋回角を検出する角度センサを備えたが、角度センサに代えて、角速度センサ、または加速度センサを備えてもよい。角速度センサおよび加速度センサを用いても、第２の実施の形態と同様の作用効果を得ることができる。
（５）四方向矢印８００Ｌ、８００Ｒの外枠の線種は、最終操作時刻ｔｏと最終受信時刻ｔｒからの経過時間によらず一定の表示としてもよい。たとえば、常に四方向矢印８００Ｌ、８００Ｒの外枠の線種は破線として、ハッチング表示を行う四方向矢印８００Ｌ、８００Ｒの個所、およびハッチングの色・明るさを変化させてもよい。

【0076】

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0077】

１ … 遠隔操縦システム
７０ … 遠隔制御装置
７７ … 通信部
７８Ａ … 画像受信部（デコード部）
８２Ａ … 運転室視点モニタ（報知部、表示部）
１００ … 油圧ショベル（作業機械）
１０２ … 被駆動部
１０２Ａ … ブーム（被駆動部）
１０２Ｂ … アーム（被駆動部）
１０２Ｃ … バケット（被駆動部）
１０４ … 角度検出器（センサ）
１０４Ａ … ブーム角検出器（センサ）
１０４Ｂ … アーム角検出器（センサ）
１０４Ｃ … バケット角検出器（センサ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】