特許 7310637 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-10

(45)【発行日】2023-07-19

(54)【発明の名称】遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20230711BHJP

   H04Q 9/00 20060101ALI20230711BHJP

   H04N 7/18 20060101ALI20230711BHJP

【ＦＩ】

E02F9/26 B

H04Q9/00 301Z

H04N7/18 J

【請求項の数】 6

(21)【出願番号】P 2020025641

(22)【出願日】2020-02-18

(65)【公開番号】P2021130927

(43)【公開日】2021-09-09

【審査請求日】2022-10-12

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】弁理士法人創成国際特許事務所

(72)【発明者】

【氏名】大谷 真輝

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】高橋 雅明

(56)【参考文献】

【文献】国際公開第２０２０／０２２４５４（ＷＯ，Ａ１）

【文献】特開２０１９－１７３４４４（ＪＰ，Ａ）

【文献】特開２０１０－２６５６２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｈ０４Ｑ ９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援サーバであって、
前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔を表わす指標値を認識する第１支援処理要素と、
前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。

【請求項2】

請求項１記載の遠隔操作支援サーバにおいて、
前記第１支援処理要素が、前記作業機械との通信に基づき、前記下部走行体に対する前記上部旋回体の旋回角度を表わす前記指標値を認識することを特徴とする遠隔操作支援サーバ。

【請求項3】

請求項１または２に記載の遠隔操作支援サーバにおいて、
前記第１支援処理要素が、前記作業機械との通信に基づき、前記エンドエフェクタと物体との相互作用の開始時点および終了時点のうち少なくとも一方における前記指標値を基準指標値として認識することを特徴とする遠隔操作支援サーバ。

【請求項4】

請求項１～３のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記指標値の上限値および下限値のうち少なくとも一方を表わす参照ゲージを前記インジケータとともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。

【請求項5】

請求項１～４のうちいずれか１項に記載の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする遠隔操作支援システム。

【請求項6】

下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援方法であって、
前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔を表わす指標値を認識する第１支援処理と、
前記遠隔操作装置との通信に基づき、前記第１支援処理により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理と、を実行することを特徴とする遠隔操作支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援する技術に関する。

【背景技術】

【0002】

作業現場の２次元画像が表示装置に表示される場合、作業者は作業現場の遠近感を知覚し難い。その結果、作業者は遠隔操作を円滑に実施することができず、作業機械の作業効率が低下する可能性がある。作業機械の遠隔操作において、作業現場の遠近感を作業者に効果的に知覚させることができる表示システムが提案されている（例えば、特許文献１参照）。この表示システムによれば、作業現場における対象物の３次元データを含む画像データと、作業者の視点位置データとに基づいて、対象物の自由視点画像が表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１５２７３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、オペレータの任意の視点に応じた画像が表示されるだけでは、例えば、当該オペレータがショベルカーのバケットなどのエンドエフェクタと周囲にあるダンプカーの荷台等との相対的な位置を認識することが困難になる場合がある
そこで、本発明は、作業機械のエンドエフェクタとその周囲にある物体との相対的な位置関係を、当該作業機械を遠隔操作するオペレータに直感的に認識させることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の遠隔操作支援サーバは、下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援サーバであって、前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔を表わす指標値を認識する第１支援処理要素と、前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。
前記第１支援処理要素が、前記作業機械との通信に基づき、前記下部走行体に対する前記上部旋回体の旋回角度を表わす前記指標値を認識することが好ましい。

【0006】

当該構成の遠隔操作支援サーバによれば、遠隔操作装置を構成する出力インターフェースに出力されるインジケータを通じて、作業機械のエンドエフェクタと上部旋回体との間隔の長短、または、当該間隔の長短および下部走行体に対する上部旋回体の旋回角度を直感的に当該遠隔操作装置のオペレータに認識させることができる。また、インジケータの時間変化態様を通じて、作業機械のエンドエフェクタと上部旋回体との間隔の長短および／または下部走行体に対する上部旋回体の旋回角度の時間変化態様を直感的に当該遠隔操作装置のオペレータに認識させることができる。

【0007】

本発明の遠隔操作支援サーバにおいて、前記第１支援処理要素が、前記作業機械との通信に基づき、前記エンドエフェクタと物体との相互作用の開始時点および終了時点のうち少なくとも一方における前記指標値を基準指標値として認識することが好ましい。

【0008】

当該構成の遠隔操作支援サーバによれば、出力インターフェースに出力される基準指標値を表わすインジケータを基準として、現在の指標値を表わすインジケータを対比することにより、エンドエフェクタと物体との相互作用の開始時点および終了時点のうち少なくとも一方の時点を基準として、現在のエンドエフェクタと上部旋回体との間隔の長短および／または下部走行体に対する上部旋回体の旋回角度の偏差を、遠隔操作装置のオペレータに直感的に認識させることができる。

【0009】

本発明の遠隔操作支援サーバにおいて、前記第２支援処理要素が、前記指標値の上限値および下限値のうち少なくとも一方を表わす参照ゲージを前記インジケータとともに前記出力インターフェースに出力させることが好ましい。

【0010】

当該構成の遠隔操作支援サーバによれば、出力インターフェースに出力されるインジケータおよび参照ゲージを対比することにより、当該インジケータにより表わされる指標値がその上限値および／または下限値にどの程度接近しているかを、遠隔操作装置のオペレータに直感的に認識させることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】遠隔操作支援システムの第１機能に関する説明図。

【図5】遠隔操作支援システムの第２機能に関する説明図。

【図6A】作業機械のエンドエフェクタ－上部旋回体の間隔に関する説明図。

【図6B】第１指標値を表わす第１インジケータに関する説明図。

【図7A】作業機械の下部走行体に対する上部旋回体の旋回角度に関する説明図。

【図7B】第２指標値を表わす第２インジケータに関する説明図。

【図8A】作業機械の第１動作環境に関する説明図。

【図8B】環境画像およびインジケータの第１表示態様に関する説明図。

【図9A】作業機械の第２動作環境に関する説明図。

【図9B】環境画像およびインジケータの第２表示態様に関する説明図。

【図10A】作業機械の第３動作環境に関する説明図。

【図10B】環境画像およびインジケータの第３表示態様に関する説明図。

【図11A】作業機械の第４動作環境に関する説明図。

【図11B】環境画像およびインジケータの第４表示態様に関する説明図。

【図12A】作業機械の第５動作環境に関する説明図。

【図12B】環境画像およびインジケータの第５表示態様に関する説明図。

【図13A】作業機械の第６動作環境に関する説明図。

【図13B】環境画像およびインジケータの第６表示態様に関する説明図。

【発明を実施するための形態】

【0012】

（遠隔操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0013】

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。遠隔操作支援サーバ１０は、遠隔操作装置２０により構成されていてもよい。この場合、遠隔制御装置２００が、第１支援処理要素１２１および第２支援処理要素１２２を備えていてもよい。

【0014】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

【0015】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のエンドエフェクタシリンダ４４６を動かすために操作される。

【0016】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0017】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0018】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0019】

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0020】

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0021】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0022】

作業機械４０は、例えばクローラ式のリフマグ（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

【0023】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、状態センサ４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。状態センサ４１４は、上部旋回体４２０に対するブーム４４１の回動角度、ブーム４４１の先端に対するアーム４４３の回動角度、および、アーム４４３の先端に対するエンドエフェクタ４４５の回動角度、ならびに、旋回機構４３０の旋回角度のそれぞれを測定するための角度センサ（例えば、ロータリーエンコーダ）により構成されている。

【0024】

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0025】

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている電磁石またはマグネットにより構成されているエンドエフェクタ４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびエンドエフェクタシリンダ４４６が装着されている。エンドエフェクタ４４５は、グラップルまたはニブラにより構成されていてもよい。

【0026】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。エンドエフェクタシリンダ４４６は、作動油の供給を受けることにより伸縮してエンドエフェクタ４４５をアーム４４３に対して水平軸回りに回動させるように当該エンドエフェクタ４４５と当該アーム４４３との間に介在する。

【0027】

（第１機能）
前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0028】

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

【0029】

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。

【0030】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４１１）。

【0031】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

【0032】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２２４）。

【0033】

これにより、例えば、図８Ｂに示されているように、作業アタッチメント４４０の一部であるアーム４４３およびエンドエフェクタ４４５、ならびに、ダンプカー５０およびその荷台５２が映り込んでいる環境画像が画像出力装置２２１に出力される。

【0034】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

【0035】

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１２）。

【0036】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１２）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力により所定の箇所に積まれている鉄屑を吸着し、上部旋回体４２０を旋回させたうえでエンドエフェクタ４４５としての電磁石の磁力発生を停止させることにより当該エンドエフェクタ４４５から当該鉄屑をダンプカー５０の荷台５２に落とす作業が実行される。

【0037】

（第２機能）
前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいても「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0038】

作業機械４０において、実機制御装置４００により、実機入力インターフェース４１を構成する状態センサ４１４を用いて、第１指標値および第２指標値が測定される（図５／ＳＴＥＰ４２０）。「第１指標値」は、上部旋回体４２０とエンドエフェクタ４４５との間隔を表わす指標値であり、上部旋回体４２０に対するブーム４４１の回動角度、ブーム４４１の先端に対するアーム４４３の回動角度、および、アーム４４３の先端に対するエンドエフェクタ４４５の回動角度を表わす状態センサ４１４の出力信号に基づき、順運動学にしたがって測定される。「第２指標値」は、下部走行体４１０に対する上部旋回体４２０の旋回角度を表わす指標値であり、旋回機構４３０の旋回角度または回動角度を表わす状態センサ４１４の出力信号に基づいて測定される。

【0039】

実機制御装置４００により、実機無線通信機器４２２を用いて、第１指標値および第２指標値のそれぞれの測定値または今回測定値が遠隔操作支援サーバ１０に対して送信される（図５／ＳＴＥＰ４２２）。

【0040】

遠隔操作支援サーバ１００において、第１指標値および第２指標値の測定値が受信された場合（図５／Ｃ１２０）、第１支援処理要素１２１により、インジケータ出力指令が送信される（図５／ＳＴＥＰ１２０）。「インジケータ出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。

【0041】

遠隔操作装置２０において、遠隔無線通信機器２２２によりインジケータ出力指令が受信された場合（図５／Ｃ２２０）、遠隔制御装置２００により第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２が画像出力装置２２１に出力表示される（図５／ＳＴＥＰ２２０）。

【0042】

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２２１）。「第１指定操作」は、例えば、エンドエフェクタ４４５と物体との相互作用を開始させる（鉄屑等の物体を吸着させる）ための遠隔入力インターフェース２１０を構成する遠隔操作機構２１１の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２２１‥ＮＯ）、インジケータの出力以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２２１‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、エンドエフェクタ４４５と物体との相互作用を開始させる第１操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２２）。

【0043】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により第１操作指令が受信された場合、第２支援処理要素１２２により、当該第１操作指令が作業機械４０に対して送信される（図４／Ｃ１２１）。

【0044】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて第１操作指令が受信された場合（図４／Ｃ４２１）、エンドエフェクタ４４５としての電磁石により磁力が発生される（図４／ＳＴＥＰ４２４）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力により所定の箇所に積まれている鉄屑が吸着される。

【0045】

さらに、遠隔操作支援サーバ１０において、第１支援処理要素１２１により第１操作指令が受信された場合（図４／Ｃ１２１）、第２支援処理要素１２２により、第１出力指令が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２１）。「第１出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータが第１基準値を表わすように当該インジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。

【0046】

遠隔操作装置２０において、遠隔無線通信機器２２２により第１出力指令が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、第１指定操作があった第１基準時点における第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２のうち少なくとも一方が画像出力装置２２３に出力表示される（図５／ＳＴＥＰ２２３）。

【0047】

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２２４）。「第２指定操作」は、例えば、エンドエフェクタ４４５と物体との相互作用を終了させる（鉄屑等の物体を釈放させる）ための遠隔入力インターフェース２１０を構成する遠隔操作機構２１１の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２２４‥ＮＯ）、インジケータの出力以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２２４‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、エンドエフェクタ４４５と物体との相互作用を終了させる第２操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２５）。

【0048】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２操作指令が受信された場合、第２支援処理要素１２２により、当該第２操作指令が作業機械４０に対して送信される（図４／Ｃ１２２）。

【0049】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて第２操作指令が受信された場合（図４／Ｃ４２２）、エンドエフェクタ４４５としての電磁石により磁力の発生が停止される（図４／ＳＴＥＰ４２６）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力の停止により鉄屑が釈放される。

【0050】

さらに、遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２操作指令が受信された場合（図４／Ｃ１２１）、第２支援処理要素１２２により、第２出力指令が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２２）。「第２出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータが第２基準値を表わすように当該インジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。

【0051】

遠隔操作装置２０において、遠隔無線通信機器２２２により第２出力指令が受信された場合（図５／Ｃ２２２）、遠隔制御装置２００により、第２指定操作があった第２基準時点における第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２のうち少なくとも一方が画像出力装置２２３に出力表示される（図５／ＳＴＥＰ２２６）。

【0052】

（第１インジケータの表示態様）
例えば、図６Ａ左側に示されている第１作業状態Ｓ１１においては、第１指標値がその下限値に近接しているほどに上部旋回体４２０とエンドエフェクタ４４５とが接近している。第１作業状態Ｓ１１においては、図６Ｂ左側に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の上限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該下限値を表わす外側円Ｍ１１に接近している略円環状の図形により表わされている。

【0053】

図６Ａ中央に示されている第２作業状態Ｓ１２においては、第１指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点、および／または、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点における上部旋回体４２０とエンドエフェクタ４４５との間隔を表わしている。第２作業状態Ｓ１２においては、図６Ｂ中央に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の下限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該間隔（第１基準間隔および／または第２基準間隔）を表わす中間円Ｍ１０に接近している略円環状の図形により表わされている。

【0054】

図６Ａ右側に示されている第３作業状態Ｓ１３においては、第１指標値がその上限値に近接しているほどに上部旋回体４２０とエンドエフェクタ４４５とが離間している。第３作業状態Ｓ１３においては、図６Ｂ右側に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の上限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該内側円Ｍ１２に接近している略円環状の図形により表わされている。

【0055】

（第２インジケータの表示態様）
例えば、図７Ａ左端に示されている第１旋回状態Ｓ２１においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第１旋回状態Ｓ２１においては、図７Ｂ左端に示されているように、第２インジケータＭ２は、その両端が第２指標値の第２基準値を表わすゲージＭ２２に一致する矩形により表わされている（すなわち、当該矩形は表示されていない）。

【0056】

図７Ａ中央左側に示されている第２旋回状態Ｓ２２においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点から時計回りまたは右回りに旋回した状態における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第２旋回状態Ｓ２２においては、図７Ｂ中央左側に示されているように、第２インジケータＭ２は、その両端が第２指標値の第２基準値を表わすゲージＭ２２に一致する矩形により表わされている（すなわち、当該矩形は表示されていない）。

【0057】

図７Ａ中央右側に示されている第３旋回状態Ｓ２３においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点おける下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第３旋回状態Ｓ２３においては、図７Ｂ中央右側に示されているように、第２インジケータＭ２は、その一端が第２指標値の第２基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第１基準値を表わすゲージＭ２１に一致する矩形により表わされている。

【0058】

図７Ａ左端に示されている第４旋回状態Ｓ２４においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点から反時計回りまたは左回りに旋回した状態における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第２旋回状態Ｓ２２においては、図７Ｂ左側に示されているように、第２インジケータＭ２は、その一端が第２指標値の第２基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第１基準値を表わすゲージＭ２１からゲージＭ２２寄りに離間した矩形により表わされている。

【0059】

第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点から反時計回りまたは左回りに旋回し、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を吸着した）前回の第２時点を超えた（オーバーランした）場合、第２インジケータＭ２は、その一端が第２指標値の基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第２基準値を表わすゲージＭ２１の反対側にあるゲージＭ２０寄りに離間した矩形により表わされている。

【0060】

（実施例）
図８Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図８Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。

【0061】

図９Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第２旋回状態Ｓ２２（図７Ａ中央左側参照）に相当する。このため、この状態では、図９Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第２旋回状態Ｓ２２に応じた第２インジケータＭ２（図７Ｂ中央左側参照）が表示される。

【0062】

図１０Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第３旋回状態Ｓ２３（図７Ａ中央右側参照）に相当する。このため、この状態では、図１０Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第３旋回状態Ｓ２３に応じた第２インジケータＭ２（図７Ｂ中央右側参照）が表示される。

【0063】

図１１Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第４旋回状態Ｓ２４（図７Ａ左端参照）に相当する。このため、この状態では、図１１Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第４旋回状態Ｓ２４に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。

【0064】

図１２Ａに示されている状態は、第１作業状態Ｓ１１（図６Ａ左側参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図１２Ｂに示されているように、作業環境画像に重畳されて第１作業状態Ｓ１１に応じた第１インジケータＭ１（図６Ｂ左側参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。

【0065】

図１３Ａに示されている状態は、第３作業状態Ｓ１３（図６Ａ右側参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図１３Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ右側参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。

【0066】

（効果）
当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ１０によれば、遠隔操作装置２０を構成する遠隔出力インターフェース２２０（画像出力装置２２１）に出力されるインジケータＭ１、Ｍ２を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体４２０との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度を直感的に当該遠隔操作装置２０のオペレータに認識させることができる（図６Ｂ、図７Ｂ、図８Ｂ、図９Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂおよび図１３Ｂ参照）。また、インジケータＭ１、Ｍ２の時間変化態様を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体２１との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度の時間変化態様を直感的に当該遠隔操作装置２０のオペレータに認識させることができる（図８Ｂ、図９Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂおよび図１３Ｂ参照）。

【0067】

エンドエフェクタ４４５と物体（例えば、鉄屑）との相互作用の開始時点（第１時点）における指標値が第１基準指標値として認識され、第１インジケータＭ１が第１基準指標値Ｍ１１を表わし、かつ、第２インジケータＭ２が第２指標基準値Ｍ２１を表わすように、当該インジケータＭ１、Ｍ２が画像出力装置２２１に出力される（図６Ｂ中央および図７Ｂ中央右側参照）。エンドエフェクタ４４５と物体（例えば、鉄屑）との相互作用の終了時点（第２時点）における指標値が第２基準指標値として認識され、第１インジケータＭ１が第２基準指標値Ｍ１２を表わし、かつ、第２インジケータＭ２が第２指標基準値Ｍ２２を表わすように、当該インジケータＭ１、Ｍ２が画像出力装置２２１に出力される（図６Ｂ中央および図７Ｂ左端参照）。

【0068】

遠隔出力インターフェース２２０（画像出力装置２２１）に出力される基準指標値Ｍ１１、Ｍ１２、Ｍ２１、Ｍ２２を表わすインジケータＭ１、Ｍ２を基準として、現在の指標値を表わすインジケータＭ１、Ｍ２を対比することにより、エンドエフェクタ４４５と物体との相互作用の開始時点および終了時点のうち少なくとも一方の時点を基準として、現在のエンドエフェクタ４４５と上部旋回体４２０との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度の偏差を、遠隔操作装置２０のオペレータに直感的に認識させることができる。

【0069】

第１指標値Ｍ１の上限値および下限値のうち少なくとも一方を表わす参照ゲージＭ１１、Ｍ１２が遠隔出力インターフェース２２０（画像出力装置２２１）に出力される。

【0070】

遠隔出力インターフェース２２０（画像出力装置２２１）に出力される第１インジケータＭ１および参照ゲージＭ１１、Ｍ１２を対比することにより、当該第１インジケータＭ１により表わされる第１指標値がその上限値および／または下限値にどの程度接近しているかを、遠隔操作装置２０のオペレータに直感的に認識させることができる（図６Ｂ左側および右側参照）。

【符号の説明】

【0071】

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業アタッチメント（作動機構）、４４５‥マグネット（エンドエフェクタ）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】