特開 2024-140560 遠隔操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140560

(43)【公開日】2024-10-10

(54)【発明の名称】遠隔操作装置

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20241003BHJP

   E02F 9/26 20060101ALI20241003BHJP

【ＦＩ】

H04Q9/00 331A

E02F9/26 B

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023051747

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】齋藤 理沙

(72)【発明者】

【氏名】荒井 雅嗣

(72)【発明者】

【氏名】境 和樹

(72)【発明者】

【氏名】泉 枝穂

【テーマコード（参考）】

2D015

5K048

【Ｆターム（参考）】

2D015HA03

2D015HB00

5K048AA04

5K048BA25

5K048BA48

5K048DA01

5K048EB02

5K048EB10

5K048EB12

5K048EB15

5K048FB10

5K048FB15

5K048HA01

5K048HA02

5K048HA21

(57)【要約】

【課題】
施工面の状況判断を容易化し、施工効率を向上させ得る遠隔操作システム及び遠隔操作装置を提案する。
【解決手段】
建設機械に、建設機械による施工状況を撮影する撮影装置と、建設機械の車体の振動量を計測する計測装置と、撮影装置により得られた撮影映像及び計測装置により計測された車体の振動量を遠隔操作装置に送信する送信部とを設け、遠隔操作装置に、撮影装置の撮影映像を表示する表示装置と、遠隔操作装置に設けられ、建設機械の送信部から送信されてきた建設機械の車体の振動量に応じて撮影映像を振動させて表示装置に表示させ、又は、当該振動量を撮影映像と共に表示装置にグラフとして表示させる第２のコントローラとを設けるようにした。
【選択図】 図２

【特許請求の範囲】

【請求項1】

オペレータの操作内容に応じた操作信号を建設機械に送信して、前記建設機械を遠隔操作する遠隔操作装置において、
前記建設機械に前記操作信号を送信すると共に、前記建設機械の撮影装置で撮影された撮影映像、及び前記建設機械の計測装置で計測された車体の振動量を受信する通信装置と、
前記撮影映像を表示する表示装置と、
前記通信装置により、受信した前記建設機械の車体の振動量に応じて前記撮影映像を振動させて前記表示装置に表示させ、又は、当該振動量を前記撮影映像と共に前記表示装置にグラフとして表示させるコントローラと
を備えることを特徴とする遠隔操作装置。

【請求項2】

前記コントローラは、
前記建設機械が特定の動作を行っている場合に、前記撮影映像を振動させるように前記表示装置に表示させる
ことを特徴とする請求項１に記載の遠隔操作装置。

【請求項3】

前記特定の動作は、走行動作である
ことを特徴とする請求項２に記載の遠隔操作装置。

【請求項4】

前記コントローラは、
前記計測装置から受信した前記建設機械の振動量に基づき前記建設機械の走行面の凹凸をヒートマップとして前記表示装置に表示する
ことを特徴とする請求項１に記載の遠隔操作装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は遠隔操作装置に関し、例えば、遠隔操作可能な建設機械及び当該建設機械を遠隔操作する遠隔操作装置に適用して好適なものである。

【背景技術】

【0002】

従来、人が立ち入ることが難しい災害現場などでは、人が搭乗せず、遠隔から操作信号を有線又は無線で送信して操縦する遠隔操作ショベルが運用されている。また山間部の施工現場などについても、オペレータの移動時間の削減や、オペレータの疲労低減などの観点から、都市部から遠隔で遠隔操作ショベルを操作して作業を行うことも検討されている。

【0003】

このような遠隔操作ショベルは、遠隔地から無線やインターネットを介して送信されてきた操作信号（制御信号）に基づいて、車体内のコントローラが操作レバーやショベルの各シリンダを動作させる電磁弁を制御することにより、操作信号に応じた動作を実行する。

【0004】

また遠隔操作ショベルにはカメラが搭載されており、このカメラの撮影映像が、インターネットや無線回線を介して遠隔地に設置された遠隔操作用の運転席に伝送され、当該運転席に設けられたモニタに表示される。これにより遠隔操作ショベルの操作者（以下、これをオペレータと呼ぶ）は、モニタに表示されたカメラの撮影映像に基づいて遠隔操作ショベル及びその周囲の状況を確認しながら遠隔操作ショベルを遠隔操作することができる。

【0005】

なおショベルの遠隔操作に関連して、遠隔操作装置とショベルとの通信確立前にオペレータがショベルの操作感覚を把握できるようにすべく、ショベルの遠隔操作をシミュレーションするための疑似環境画像を遠隔出力インタフェースに表示するための制御を行うことが特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－１７９１０５号公報

【特許文献2】国際公開第２０２１／０２５０３４号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、遠隔操作ショベルのオペレータは、モニタに表示されたカメラの撮影映像を見ながら遠隔で操作するため、施工中の遠隔操作ショベルの車体振動を直接的に感じ取ることができず、遠隔操作ショベルが走行している施工面（走行路表面）の凹凸状況を体感できない。このため、例えばショベルが前後の走行を繰り返して施工面を押し固める押固め作業などにおいて、施工面の状況判断が難しく、施工効率が低くなるという問題があった。

【0008】

特に、ショベルを操作するオペレータにとっては、ショベルの走行経路や盛土した地平面が荒れているのか又は平坦なのかを知ることは施工の点から必須の情報であり、また施工面の凹凸の度合を把握することは、遠隔操作ショベルが安全な姿勢で掘削などの作業するために必要不可欠な条件である。

【0009】

なお特許文献２には、所定のタイミングごとにショベルの走行振動の大きさを判定するコントローラを設けることが開示されているものの、特許文献２に開示された発明は、コントローラにより判定された走行振動の大きさに基づいて上述の問題を解決しようとするものではない。

【0010】

本発明は以上の点を考慮してなされたもので、施工面の状況判断を容易化し、施工効率を向上させ得る遠隔操作装置を提案しようとするものである。

【課題を解決するための手段】

【0011】

かかる課題を解決するため本発明においては、オペレータの操作内容に応じた操作信号を建設機械に送信して、前記建設機械を遠隔操作する遠隔操作装置において、前記建設機械に前記操作信号を送信すると共に、前記建設機械の撮影装置で撮影された撮影映像、及び前記建設機械の計測装置で計測された車体の振動量を受信する通信装置と、前記撮影映像を表示する表示装置と、前記通信装置により、受信した前記建設機械の車体の振動量に応じて前記撮影映像を振動させて前記表示装置に表示させ、又は、当該振動量を前記撮影映像と共に前記表示装置にグラフとして表示させるコントローラとを設けるようにした。

【0012】

本発明の遠隔操作装置によれば、オペレータは、表示装置に表示された撮影装置の撮影映像の振動やグラフに基づいて建設機械の車体の振動度合を視覚的に認識することができる。

【発明の効果】

【0013】

本発明によれば、施工面の状況判断を容易化し、施工効率を向上させ得る遠隔操作装置を実現できる。

【図面の簡単な説明】

【0014】

【図1】第１及び第２の実施の形態による遠隔操作システムの概略構成を示す図である。

【図2】第１及び第２の実施の形態による遠隔操作システムの論理構成を示すブロック図である。

【図3】（Ａ）及び（Ｂ）は、施工面を走行するショベルの施工面の状態に応じた振動量の説明に供する図である。

【図4】第１の実施の形態におけるカメラ映像の表示例を示す図である。

【図5】ショベルの振動量に対する表示揺れ幅及び画面振動回数の説明に供する図表である。

【図6】モニタに表示するカメラ映像の振動のさせ方の説明に供する図である。

【図7】ヒートマップを表す図である。

【図8】時系列データ管理テーブルの構成例を示す図表である。

【図9】カメラ映像表示処理の処理手順を示すフローチャートである。

【図10】第２の実施の形態におけるカメラ映像の表示例を示す図である。

【図11】グラフ表示領域の詳細を示す図である。

【発明を実施するための形態】

【0015】

以下図面について、本発明の一実施の形態を詳述する。
（１）第１の実施の形態
図１において、１は全体として本実施の形態による遠隔操作システムを示す。この遠隔操作システム１は、ショベル２及び遠隔操作装置３を備えて構成される。

【0016】

ショベル２は、遠隔操作可能な遠隔操作ショベルであり、自走可能な下部走行体１０と、下部走行体１０上に旋回自在に搭載された上部旋回体１１と、上部旋回体１１の前方に連結されたフロント装置１２とを備えて構成されている。

【0017】

上部旋回体１１には、原動力としてのエンジン１３と、エンジン１３によって駆動されるメインポンプ１４とが搭載されており、メインポンプ１４によって送り出された作動油によって下部走行体１０、上部旋回体１１及びフロント装置１２をそれぞれ独立して動作させることができるようになされている。

【0018】

また上部旋回体１１の前方にはキャビン（運転席）１５が設けられている。そしてキャビン１５の内部には、上部旋回体１１の前方を撮影できるようにカメラ１６が設置されると共に、キャビン１５の下側には、加速度センサ１７が設けられている。

【0019】

カメラ１６は、ショベル２の周囲状況を撮影するための汎用の撮像装置から構成される。また加速度センサ１７は、ショベル２の車体の振動量（ここでは加速度であり、以下、同様。）を計測するために利用される。カメラ１６の撮像映像（以下、これをカメラ映像と呼ぶ）の映像データや、加速度センサ１７により計測されたショベル２の車体の振動量が現在時間の時間情報と共に後述のように遠隔操作装置３にリアルタイムで送信される。

【0020】

フロント装置１２は、施工面の掘削や、均し又は掘り出した土の持ち上げなどの作業を直接行う作業装置である。フロント装置１２は、一端側が上部旋回体１１に回動自在に連結されたブーム１８と、一端側がブーム１８の他端側に回動自在に接続されたアーム１９と、アーム１９の他端側に回転可能に連結されたバケット２０とを備えて構成される。

【0021】

この場合、ブーム１８は、メインポンプ１４から送り出された作動油によって駆動されるブームシリンダ２１によって上部旋回体１１との連結部を中心として前後方向に回動させることができ、アーム１９は、メインポンプ１４から送り出された作動油によって駆動されるアームシリンダ２２によって、ブーム１８との連結部を中心としてブーム１８と同じ平面上で回動させることができる。またバケット２０は、メインポンプ１４から送り出された作動油によって駆動されるバケットシリンダ２３によって、かかるアーム１９との連結部を中心としてブーム１８及びアーム１９と同じ平面上で回動させることができる。

【0022】

遠隔操作装置３は、ショベル２を遠隔操作する装置であり、オペレータ２４がショベル２を遠隔操作するための操作レバー、操作ペダル及びボタンなどから構成される操作部２５と、コントローラ２６及びモニタ２７とを備えて構成される。

【0023】

そしてオペレータ２４は、操作部２５の操作レバーを操作することによって、ブーム１８、アーム１９及びバケット２０を所望状態に動作させたり、上部旋回体１１を旋回動作させることができ、操作部２５の操作ペダルを操作することによって、下部走行体１０に備えられた図示しない走行モータを駆動させて下部走行体１０、ひいてはショベル２全体を前進若しくは後進動作又は旋回動作させることができる。またオペレータ２４は、操作部のボタンを操作することによって、ショベル２に設けられた図示しないライトを点灯させたり、ブザーを吹鳴させたり、エンジン１３の回転数を増減させることもできる。

【0024】

コントローラ２６は、例えばＣＰＵ（Central Processing Unit）及びメモリを備えた汎用のパーソナルコンピュータ装置から構成され、オペレータ２４による操作部２５の操作内容に応じた操作信号を有線又は無線でショベル２に送信する。なお、操作信号を無線でショベル２に送信する場合、インターネットを介してクラウド２８上に操作信号を一時的に保存又は経由させてショベル２に送信するようにしてもよい。

【0025】

モニタ２７は、例えばタッチパネルから構成される。ただし、モニタ２７が液晶ディスプレイ装置や有機ＥＬ（Electro-Luminescence）ディスプレイ装置などの表示装置から構成されていてもよい。モニタ２７には、ショベル２から送信されてきた映像データに基づくカメラ映像が表示される。これによりオペレータ２４は、モニタ２７に表示されたカメラ映像を目視確認しながらショベル２を所望状態に遠隔操作することができる。

【0026】

図２は、本実施の形態による遠隔操作システム１の論理構成を示す。この図２に示すように、ショベル２には、上述のカメラ１６、加速度センサ１７及びエンジン１３に加えて、位置情報取得装置３０、コントローラ３１、遠隔操作制御部３２及び通信装置３３を備えて構成される。

【0027】

位置情報取得装置３０は、例えば、ＧＰＳ（Global Positioning System）受信機から構成され、ＧＰＳ衛星から送信されるＧＰＳ信号に基づいて自身が搭載されたショベル２の位置を計測する。

【0028】

コントローラ３１は、例えば図示しないＣＰＵ及びメモリと、信号処理部３１Ａとなどを備えたコンピュータ装置から構成される。信号処理部３１Ａは、上記メモリに格納されたプログラムを上記ＣＰＵが実行することにより具現化される機能部である。ただし、信号処理部３１Ａを専用のハードウェアにより構成するようにしてもよい。

【0029】

このコントローラ３１には、カメラ１６から出力されたカメラ映像の映像データと、加速度センサ１７により計測されたショベル２の車体の振動量を表す振動情報と、エンジン１３に設けられたタコメータにより計測されたエンジン１３の回転数を表すエンジン回転数情報と、位置情報取得装置３０により計測されたショベル２の位置情報とが与えられる。

【0030】

そしてコントローラ３１は、これら映像情報、振動情報、エンジン回転数情報及び位置情報に対して信号処理部３１Ａにおいてデータ転送のための所定の信号処理を施し、映像情報、振動情報及びエンジン回転数情報についてはリアルタイムでショベル状態情報として通信装置３３を介して遠隔操作装置３に送信する。

【0031】

またコントローラ３１は、位置情報については、信号処理部３１Ａにおいてデータ転送のための所定の信号処理を施した後に、その位置情報を取得した時間及びその時間における振動情報の値と共に一定の時間周期でショベル状態情報として通信装置３３を介して遠隔操作装置３に送信する。

【0032】

通信装置３３は、有線又は無線の通信端末装置から構成され、ショベル２のコントローラ３１から与えられたショベル状態情報を有線又は無線で遠隔操作装置３に送信したり、遠隔操作装置３から送信されてきた上述の操作信号をコントローラ３１に引き渡す機能を有する。コントローラ３１に引き渡された操作信号は、この後、コントローラ３１の信号処理部３１Ａにおいて所定の受信処理が施された後に遠隔操作制御部３２に送信される。

【0033】

遠隔操作制御部３２は、コントローラ３１から与えられた操作信号に基づいて、ショベル２の操作レバーや各シリンダをそれぞれ動作させる電磁弁を制御したり、操作信号に応じたその他の制御処理を実行する。これによりショベル２が操作信号に応じた状態に動作制御される。

【0034】

一方、遠隔操作装置３は、上述の操作部２５、コントローラ２６及びモニタ２７に加えて通信装置３４を備えて構成される。通信装置３４は、有線又は無線の通信端末装置から構成され、コントローラ２６から与えられたオペレータ２４の操作内容に応じた操作信号をショベル２に送信したり、ショベル２から送信されてきた上述のショベル状態情報をコントローラ２６に引き渡す機能を有する。

【0035】

またコントローラ２６は、表示処理部２６Ａ、信号処理部２６Ｂ及び記憶部２６Ｃを備えて構成される。表示処理部２６Ａ及び信号処理部２６Ｂは、コントローラ２６を構成するＣＰＵがコントローラ２６を構成するメモリに格納されたプログラムを実行することにより具現化される機能部である。ただし、これら表示処理部２６Ａ及び信号処理部２６Ｂを専用のハードウェアにより構成するようにしてもよい。

【0036】

信号処理部２６Ｂは、ショベル２から送信されてきたショベル状態情報に含まれる映像データに基づくカメラ映像を、かかるショベル状態情報に含まれるショベル２の振動量に応じた振動幅で振動させるように映像データを加工したり、図７について後述するヒートマップ５０を作成する機能を有する。

【0037】

また表示処理部２６Ａは、信号処理部２６Ｂにより加工された映像データに基づくカメラ映像や、信号処理部２６Ｂにより作成されたかかるヒートマップ５０をモニタ２７に表示する機能を有する。さらに記憶部２６Ｃは、コントローラ２６内の物理的なメモリから構成される。記憶部２６Ｃには、信号処理部２６Ｂにより、ショベル２から送信されてきたショベル状態情報が順次格納されて蓄積される。

【0038】

図３は、施工面上を走行しているショベル２における、路面状況に伴う車体の振動の様子を模式的に示したものである。図３（Ａ）のように施工面３５が平坦な場合、ショベル２の車体はほとんど振動しないが、図３（Ｂ）のように施工面３５が荒れている場合、ショベル２の車体は大きく振動する。しかしながら、オペレータ２４（図２）は、モニタ２７（図２）に映し出されるカメラ映像を見ながらショベル２を遠隔操作しているため、ショベル２の車体の振動を直接感じ取ることはできない。

【0039】

図４は、本実施の形態の遠隔操作装置３のモニタ２７に表示されるカメラ映像４０の表示例を示す。遠隔操作装置３のモニタ２７には、上述のようにショベル２から送信されてきたショベル状態情報に含まれる映像データに基づくカメラ映像４０がリアルタイムで表示される。

【0040】

この際、本実施の形態においては、上述のようにショベル２の車体の振動量に応じた振動幅で振動させるようにカメラ映像４０の映像データがコントローラ２６（図２）の信号処理部２６Ｂ（図２）により加工され、加工された映像データに基づくカメラ映像４０がコントローラ２６の表示処理部２６Ａ（図２）によりモニタ２７に表示される。従って、モニタ２７には、ショベル２の加速度センサ１７（図１、図２）により検出されたショベル２の振動量の大きさに応じた振動量で振動した状態でカメラ映像４０が表示される。

【0041】

実際上、本遠隔操作装置３では、図５に示すように、加速度センサ１７により検出されるショベル２の車体の振動量（加速度の大きさ）が「小」、「中」及び「大」の３の区分に分類されている。そして、図５の「画面に対する表示揺れ幅」の行に示すように、加速度センサ１７により検出されたショベル２の車体の振動量が「小」、「中」及び「大」のいずれの区分に該当するかによってカメラ映像４０をモニタ２７に表示する際の揺れ幅（以下、これを表示揺れ幅と呼ぶ）が予め定められている。

【0042】

図５では、加速度センサ１７により検出されたショベル２の車体の振動量が「小」の区分に該当すると信号処理部２６Ｂが判定した場合には、表示揺れ幅を、モニタ２７の最大画面サイズの「３％」、かかる振動量が「中」の区分に該当すると信号処理部２６Ｂが判定した場合には「７％」、かかる振動量が「大」の区分に該当すると信号処理部２６Ｂが判定した場合には「10％」とすべきことが予め設定された例を示している。なお、この場合における振動量の「小」及び「中」の各区分間の閾値と、「中」及び「大」の各区分間の閾値とはオペレータ２４が任意に設定することができる。

【0043】

従って、図５の例の場合、加速度センサ１７により検出されたショベル２の車体の振動量が「小」の区分に該当すると判定された場合には、カメラ映像４０がショベル２の車体の振動方向にモニタ２７の最大画面サイズの「３％」の表示揺れ幅で揺れるようにモニタ２７に表示される。また、かかる振動量が「中」の区分に該当すると判定された場合には、カメラ映像４０がショベル２の車体の振動方向にモニタ２７の最大画面サイズの「７％」の表示揺れ幅で揺れるようにモニタ２７に表示される。さらに、かかる振動量が「大」の区分に該当すると判定された場合には、カメラ映像４０がショベル２の車体の振動方向にモニタ２７の最大画面サイズの「10％」の表示揺れ幅で揺れるようにモニタ２７に表示されることになる。

【0044】

そしてカメラ映像４０の右下には、それぞれ振動量の「小」、「中」又は「大」にそれぞれ対応する「Ｓ」、「Ｍ」又は「Ｌ」の文字が表記された３つの振動区分表示マーク４１が表示され、これら振動区分表示マーク４１のうち、現在のショベル２の車体の振動量に応じた振動区分表示マーク４１が着色などにより強調表示される。

【0045】

例えば、現在のショベル２の車体の振動量が「小」の区分に該当すると判定された場合には、「Ｓ」の文字が表記された振動区分表示マーク４１のみが強調表示され、かかる振動量が「中」の区分に該当すると判定された場合には、「Ｍ」の文字が表記された振動区分表示マーク４１のみが強調表示される。また、かかる振動量が「大」の区分に該当すると判定された場合には、「Ｌ」の文字が表記された振動区分表示マーク４１のみが強調表示される。

【0046】

なお、モニタ２７に表示されたカメラ映像４０が頻繁に振動している（ブレる）と、オペレータ２４は船酔いのような状態になるおそれがある。このためモニタ２７に表示するカメラ映像４０を振動させるのは、ショベル２が走行中などの特定動作の実行時のみに限定した方が好ましい。

【0047】

またモニタ２７に表示されたカメラ映像４０をショベル２の車体の振動量に応じて振動させる手法としては、カメラ映像４０の各ビットをショベル２の車体の振動量に応じたビット数分だけ当該車体の振動方向にずらすなどのディジタル映像処理を利用することもできる。また図６に示すように、モニタ２７の表示枠ＦＬに対してカメラ映像４０を小さく表示（例えば90％の大きさで表示）しておき、ショベル２の車体の振動量に応じてカメラ映像４０を図５について上述したように、当該車体の振動方向に最大10％の表示揺れ幅で振動させるようにしてもよい。

【0048】

さらにモニタ２７上でショベル２の車体の振動量を表現する手法としては、上述のようにショベル２の車体の振動量に応じてモニタ２７に表示するカメラ映像４０の表示揺れ幅を変更する方法に代えて、例えば図５の「単位時間当たりの画面振動回数」の行に示すように、ショベル２の車体の振動量が大きいほどモニタ２７に表示するカメラ映像４０の単位時間当たりの振動回数（以下、これを画面振動回数と呼ぶ）が多くなるようにカメラ映像４０を振動させる方法を適用することもできる。

【0049】

図５では、加速度センサ１７により検出されるショベル２の車体の振動量（加速度の大きさ）が「小」、「中」及び「大」の３段階に区分され、加速度センサ１７により検出されたショベル２の車体の振動量が「小」の区分に該当すると信号処理部２６Ｂが判定した場合には画面振動回数を「１回／３秒（３秒に１回）」、かかる振動量が「中」の区分に該当すると信号処理部２６Ｂが判定した場合には画面振動回数を「３回／３秒（３秒に３回）」、かかる振動量が「大」の区分に該当すると信号処理部２６Ｂが判定した場合には画面振動回数を「５回／３秒（３秒に５回）」とすべきことが予め設定されている例を示している。

【0050】

この方法の場合、加速度センサ１７により検出されたショベル２の車体の振動量が「小」、「中」及び「大」のいずれの区分であってもカメラ映像４０の振動時における表示揺れ幅を同じとすることを想定しているが、かかる振動量に応じてカメラ映像４０の振動時における表示揺れ幅も上述のように切り替える（例えば、ショベル２の車体の振動量が「小」の場合には「３％」、「中」の場合には「７％」、「大」のときには「10％」）ようにしてもよい。

【0051】

一方、モニタ２７に表示されたカメラ映像４０の左下には、図４に示すように、自動／手動切替えボタン４２が表示される。そしてオペレータ２４は、この自動／手動切替えボタン４２を押圧操作することによって、モニタ２７に表示されるカメラ映像４０の表示モードを、上述のように加速度センサ１７により検出されたショベル２の車体の振動量の区分（「小」、「中」又は「大」）に応じた表示揺れ幅で振動するようにカメラ映像４０を表示する自動モードから、手動モードに切り替えることができる。表示モードが手動モードに切り替えられた場合、カメラ映像４０は、ショベル２の車体の振動量の区分に関わりなく、ショベル２の車体の振動に同期して、オペレータ２４が指定した表示揺れ幅で振動するようにモニタ２７に表示される。

【0052】

実際上、カメラ映像４０の表示モードとして手動モードが選択された場合、オペレータ２４は、画面右下に表示された上述の「Ｓ」、「Ｍ」又は「Ｌ」の文字が表記された３つの振動区分表示マーク４１のいずれかを押圧操作するようにして、モニタ２７に表示されるカメラ映像４０の表示揺れ幅を指定することができる。

【0053】

例えば、「Ｓ」の文字が表記された振動区分表示マーク４１が押圧操作されるようにしてカメラ映像４０の表示揺れ幅が指定された場合、モニタ２７に表示されるカメラ映像４０は、図５の「画面に対する表示揺れ幅」の行に示したように、ショベル２の車体の振動量の区分に関わりなく、ショベルの車体の振動に同期して、その振動方向に、モニタ２７の最大画面サイズの「３％」の表示揺れ幅で揺れるようにモニタ２７に表示される。

【0054】

また「Ｍ」の文字が表記された振動区分表示マーク４１が押圧操作されるようにしてカメラ映像４０の表示揺れ幅が指定された場合、モニタ２７に表示されるカメラ映像４０は、ショベル２の車体の振動量の区分に関わりなく、ショベル２の車体の振動に同期して、その振動方向に、モニタ２７の最大画面サイズの「７％」の表示揺れ幅で揺れるようにモニタ２７に表示される。

【0055】

さらに「Ｌ」の文字が表記された振動区分表示マーク４１が押圧操作されるようにしてカメラ映像４０の表示揺れ幅が指定された場合、モニタ２７に表示されるカメラ映像４０は、ショベル２の車体の振動量の区分に関わりなく、ショベル２の車体の振動に同期して、その振動方向に、モニタ２７の最大画面サイズの「10％」の表示揺れ幅で揺れるようにモニタ２７に表示される。

【0056】

他方、モニタ２７に表示されたカメラ映像４０の右上には、図４に示すように、画面切替えボタン４３が表示される。そしてオペレータ２４は、この画面切替えボタン４３を押圧操作することによって、モニタ２７の表示画面を上述のカメラ映像４０から図７に示すようなヒートマップ５０に切り替えることができる。

【0057】

このヒートマップ５０は、ショベル２の施工エリア内の各地点において加速度センサ１７により計測されたショベル２の車体の振動量の大きさに応じた色で当該施工エリアを色分けしたマップである。つまりヒートマップ５０は、かかる施工エリアにおけるショベル２の走行面の凹凸を、その凹凸の度合に応じて色分けした二次元のマップということができる。

【0058】

そして、このヒートマップ５０上には、ショベル２の現在位置及び向きを表すショベルマーク５１と、ショベル２のその日の移動経路を表す移動経路線５２とが表示される。またヒートマップ５０上の施工エリアは、ショベル２の車体の振動量（走行面の凹凸）の大きさに応じた色で色分けされ、この結果、ショベル２の車体の振動量が大きかった領域５３がその振動量に応じた色に着色される。かくしてオペレータ２４は、このヒートマップ５０を参照することにより、その日の施工中に計測した施工面の状況や、押固め作業のためにショベル２が走行した経路を確認することができ、これを翌日の押固め作業の計画を策定する際の参考とすることができる。

【0059】

ここで、遠隔操作装置３のコントローラ２６（図２）の信号処理部２６Ｂ（図２）によるかかるヒートマップ５０の作成手法について説明する。

【0060】

本遠隔操作システム１では、上述のようにショベル２からは、数秒周期でショベル状態情報が遠隔操作装置３に送信される。このショベル状態情報には、ショベル２の位置及びその位置におけるショベル２の車体の振動量の各計測値と、これらの計測を行った時間の情報とが含まれる。

【0061】

そこで信号処理部２６Ｂは、このようにショベル２から送信されてくる時系列のショベル２の位置及び振動量並びにその計測時間の各情報を、記憶部２６Ｃ（図２）に格納された図８に示す時系列データ管理テーブル６０に順次登録するようにして保存し、保存したこの時系列データを利用して以下のようにしてヒートマップ５０を作成する。

【0062】

信号処理部２６Ｂは、まず、施工エリアを（ａ，ｂ）値として定義し、施工エリア（a，b）を予め定められた大きさで等間隔に分割することにより升目上の複数の区域（a1b1,a1b2,a1b3,……,a2b1,a2b3,……）を定める。

【0063】

次に、信号処理部２６Ｂは、時系列データ管理テーブル６０の各レコード（行）におけるショベル２の位置座標（Ｘ，Ｙ）がそれぞれどの区域に属するかをそれぞれ特定し、特定した区域に対してそのレコードの振動量をある時間における振動量としてそれぞれ紐付ける。

【0064】

さらに信号処理部２６Ｂは、数分おきに、区域ごとにその区域に紐付けられたすべての振動量の平均値をそれぞれ算出する。また信号処理部２６Ｂは、このようにして算出した区域ごとの振動量の平均値に基づいて、例えば、振動量の平均値が大きい区域を赤色、小さい区域を青色などのように、各区域を振動量の平均値の大きさに応じた色に色分けする。これによりヒートマップ５０を得ることができる。このヒートマップ５０を参照することによって、施工エリア内における凹凸が大きい箇所を可視化することができる。

【0065】

なおヒートマップ５０の右上には、図７に示すように、画面切替えボタン５４が表示される。そしてオペレータ２４は、この画面切替えボタン５４を押圧操作することによって、モニタ２７の表示画面を上述のヒートマップ５０から図４について上述したカメラ映像４０に切り替えることができる。ただし、ヒートマップ５０をモニタ２７ではなく、モニタ２７とは別個に用意された専用モニタに表示するようにしてもよい。

【0066】

図９は、上述のようなカメラ映像４０の表示に関して遠隔操作装置３のコントローラ２６において実行される一連の処理（以下、これをカメラ映像表示処理と呼ぶ）の流れを示す。このカメラ映像表示処理は、ショベル２及び遠隔操作装置３の電源が投入されて、遠隔操作装置３がショベル２から送信されてきたショベル状態情報を受信すると開始される。

【0067】

そして、まず、遠隔操作装置３のコントローラ２６の信号処理部２６Ｂが、受信したショベル状態情報に基づいて、ショベル２がモニタ２７に表示されるカメラ映像４０を振動させるべき特定動作（例えば、走行動作）を実行中であるか否かを判断する（Ｓ１）。

【0068】

そして信号処理部２６Ｂは、この判断で否定結果を得るとステップＳ４に進む。従って、この場合、信号処理部２６Ｂは、カメラ映像４０の映像データに対して何らの加工をすることなく当該映像データをコントローラ２６の表示処理部２６Ａに出力する。

【0069】

これに対して信号処理部２６Ｂは、ステップＳ１の判断で肯定結果を得ると、そのとき受信したショベル状態情報に含まれるショベル２の車体の振動量（加速度）を取得する（Ｓ２）。また信号処理部２６Ｂは、取得した振動量に応じた表示揺れ幅でカメラ映像４０が振動するようにショベル状態情報に含まれるカメラ映像４０の映像データを加工する映像振動処理を実行し、映像振動処理を施した映像データを表示処理部２６Ａに出力する（Ｓ３）。

【0070】

続いて、コントローラ２６の表示処理部２６Ａが、信号処理部２６Ｂから与えられた映像データに基づくカメラ映像をモニタ２７に表示する（Ｓ４）。この際、このカメラ映像表示処理がステップＳ１からステップＳ４に進んだ場合には、カメラ映像４０は振動することなくモニタ２７に表示され、カメラ映像表示処理がステップＳ３からステップＳ４に進んだ場合には、カメラ映像４０はショベル２の車体の振動に同期して振動するようにモニタ２７に表示される。そして、この後、処理がステップＳ１に戻り、この後、ステップＳ１以降の処理が繰り返される。

【0071】

以上のように本実施の形態の遠隔操作システム１では、ショベル２に搭載されたカメラ１６（図１）のカメラ映像４０がショベル２の車体の振動量に応じた表示揺れ幅で振動するように遠隔操作装置３のモニタ２７に表示される。

【0072】

ここで、一般的な遠隔操作システムでは、キャビン内の運転席や、ショベルの車体にカメラを取り付けているため、ショベルの車体の振動により画像が元々ブレる（振動する）。しかし、オペレータ２４は、狭いエリア（モニタ）を注視しながらショベルの遠隔操作を行うため、その画像のブレから車体の振動を判断することは難しい。

【0073】

この点について、本実施の形態の遠隔操作システム１によれば、加速度センサ１７により計測されたショベル２の車体の振動量に基づいて、これに応じた表示揺れ幅でカメラ映像４０を振動させてモニタ２７に表示するため、オペレータ２４がショベル２の車体の振動度合を視覚的に容易に認識することができる。

【0074】

そして、このようにすることによって、ショベル２が走行している施工面の凹凸状況をオペレータ２４が疑似的に体感できるため、施工面を押し固める押固め作業などにおいて、施工面の押固め状況を把握でき、その分、施工効率を向上させることができる。

【0075】

またオペレータ２４は、カメラ映像４０のみに基づいてショベル２を遠隔操作しているにも関わらず、施工中のショベル２の車体の振動を模擬的に感じることができる。この際、ショベル２の操作を阻害することがないため、操作性を損なうことなくショベル２の車体の振動を模擬的に体感することができる。

【0076】

（２）第２の実施の形態
図１及び図２において、７０は第２の実施の形態による遠隔操作システムを示す。この遠隔操作システム７０は、遠隔操作装置７１のコントローラ７２の信号処理部７２Ｂの構成が異なる点を除いて第１の実施の形態による遠隔操作システム１と同様に構成されている。

【0077】

実際上、本実施の形態の遠隔操作システム７０の場合、遠隔操作装置７１の信号処理部７２Ｂは、図１０に示すようなカメラ映像７３を生成し、生成したカメラ映像７３をコントローラ７２の表示処理部２６Ａによりモニタ２７に表示させる。

【0078】

このカメラ映像７３は振動することなくモニタ２７に表示される。ただし、本実施の形態では、モニタ２７に表示されたカメラ映像７３の右下にグラフ表示領域７４が設けられ、このグラフ表示領域７４内に、ショベル２から送信されてきたショベル状態情報に基づき認識される、ショベル２の車体の振動量の大きさを表すグラフ８０が表示される。

【0079】

このグラフ８０は、図１１に示すように、振動量（加速度）を縦軸、時間を横軸にとった座標平面内に描画される。この際、このグラフ８０は、座標平面の左端から現れて右側に移動し、その後一定時間（例えば数秒）だけ移動した後に消滅するように表示される。

【0080】

またグラフ表示領域７４には、時間を表示するバー８１も表示され、バー８１の下側に表示されたカーソル８２をバー８１に沿って左右方向に移動させることにより、移動先のカーソル８２の位置に対応する過去の時間から一定期間前の時間までのショベル２の車体の振動量を表すグラフ８０を座標平面上に表示させることができる。

【0081】

さらにグラフ表示領域７４には、加速度調整バー８３も表示され、加速度調整バー８３のカーソル８４を上方向に移動させることにより、グラフ８０が表示される座標平面における縦軸の１目盛の加速度の大きさを大きくし、加速度調整バー８３のカーソル８４を下方向に移動させることにより、かかる縦軸の１目盛の加速度の大きさを小さくすることができる。

【0082】

なお、本実施の形態においても、カメラ映像７３の右上には画面切替えボタン７５が表示されており、この画面切替えボタン７５を押圧操作することによって、モニタ２７の表示画面を図７について上述したヒートマップ５０に切り替えることができる。

【0083】

以上の構成を有する本実施の形態による遠隔操作システム７０によれば、グラフ表示領域７４に表示されたグラフ８０に基づいてショベル２の車体の振動をオペレータ２４が模擬的に感じ取ることができる。この結果、ショベル２を遠隔操作して押固め作業を行う際にも施工面の押固め状況の判断が容易となり、従来に比べて施工効率を向上させることができる。また、かかるグラフ８０に基づいて施工面の凹凸の度合をオペレータ２４が容易に把握することができ、ショベル２に安定な姿勢で掘削などの作業を行わせることができる。

【0084】

（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、ショベル２に搭載された加速度センサ１７によりショベル２の車体の振動量を計測するようにした場合について述べたが、本発明はこれに限らず、加速度センサ１７以外の他のセンサや、他の手法によりショベル２の車体の振動量を計測するようにしてもよい。例えば、ショベル２のコントローラ３１の信号処理部３１Ａ及び遠隔操作装置３，７１のコントローラ２６，７２の信号処理部２６Ｂ，７２Ｂのいずれか一方が、カメラ映像内の特徴となる点（特徴点）のカメラ映像内の位置を時間ごとに検出して、カメラ映像内での特徴点の動きを分析することによりショベル２の車体の振動量を計測するようにしもよい。

【0085】

また上述の第１及び第２の実施の形態においては、加速度センサ１７により検出されたショベル２の車体の振動量を「小」、「中」及び「大」の３つの区分に分けて表示揺れ幅や単位時間当たりの画面振動数を設定するようにした場合について述べたが、本発明はこれに限らず、ショベル２の車体の振動量を２つ又は４つ以上の区分に分けて表示揺れ幅や単位時間当たりの画面振動数を設定するようにしてもよい。また、表示揺れ幅や単位時間当たりの画面振動数は図５について上述した数値以外の数値を適用するようにしてもよい。

【0086】

さらに上述の第１及び第２の実施の形態においては、図９のカメラ映像表示処理のステップＳ１におけるショベル２の特定動作が走行である場合について述べたが本発明はこれに限らず、例えば、フロント装置１２のバケット２０を対象物に衝突させて破砕する動作であってもよく、かかる特定動作としては、この他種々の動作を広く適用することができる。

【0087】

さらに上述の第１及び第２の実施の形態においては、遠隔操作システム１，７０における遠隔操作対象の建設機械がショベル２である場合について述べたが、本発明はこれに限らず、建設機械がショベル２以外の遠隔操作システムについても本願発明を広く適用することができる。

【0088】

さらに上述の第２の実施の形態においては、ショベル２の動作状態に関わりなくモニタ２７に表示されたカメラ映像７３の右下にグラフ表示領域７４が設けられ、このグラフ表示領域７４内にショベル２の車体の振動量の大きさを表すグラフ８０が表示されるようにした場合について述べたが、本発明はこれに限らず、第１の実施の形態と同様に、ショベルが走行動作などの特定動作を行っている場合にのみモニタ２７に表示されたカメラ映像７３に重畳させてグラフ表示領域７４を表示するようにしてもよい。

【産業上の利用可能性】

【0089】

本発明は、遠隔操作システムに関し、例えば、遠隔操作可能なショベルなどの建設機械と、オペレータの操作内容に応じた操作信号を当該建設機械に送信する遠隔操作装置とから構成される遠隔操作システムに適用することができる。

【符号の説明】

【0090】

１，７０……遠隔操作システム、２……ショベル、３，７１……遠隔操作装置、１６……カメラ、１７……加速度センサ、２５……操作部、２６，７２……コントローラ、２６Ａ……表示処理部、２６Ｂ，７２Ｂ……信号処理部、２７……モニタ、４０，７３……カメラ映像、４１……振動区分表示マーク、４２……自動／手動切替えボタン、４３，５４，７５……画面切替えボタン、５０……ヒートマップ、７４……グラフ表示領域、８０……グラフ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】