特開 2023-176917 遠隔操作支援システムおよび遠隔操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176917

(43)【公開日】2023-12-13

(54)【発明の名称】遠隔操作支援システムおよび遠隔操作装置

(51)【国際特許分類】

   E02F 9/20 20060101AFI20231206BHJP

【ＦＩ】

E02F9/20 N

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022089499

(22)【出願日】2022-06-01

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】森田 将大

(72)【発明者】

【氏名】永井 政樹

(72)【発明者】

【氏名】栗田 雄一

(72)【発明者】

【氏名】伊藤 卓

【テーマコード（参考）】

2D003

【Ｆターム（参考）】

2D003AA01

2D003AB04

2D003BA04

2D003CA02

2D003DA04

2D003DB04

2D003DC07

2D003EA01

2D003FA02

(57)【要約】

【課題】オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する遠隔にある作業機械の旋回方向と、の整合性の向上を図りうるシステム等を提供する。
【解決手段】遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が調整されながら当該遠隔操作機構２１１の操作方向に応じた旋回指令が作業機械４０に対して出力される。遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられる場合があるが、当該切り替えのためには指定条件が満たされている必要がある。「指定条件」とは、前記のように、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。
【選択図】図７

【特許請求の範囲】

【請求項1】

遠隔操作機構の異なる２つの操作方向のそれぞれと、作業現場に存在する撮像装置を通じて取得され、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれと、が整合するように、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係を調整しながら前記遠隔操作機構の操作方向に応じた旋回指令を前記作業機械に対して出力し、
前記遠隔操作機構の操作量および前記作業機械の旋回角のうち少なくとも一方に鑑みて、前記遠隔操作機構のそれまでの操作方向に応じた前記作業機械の旋回方向を維持する必要性が低いことを表わす指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する
遠隔操作支援システム。

【請求項2】

請求項１に記載の遠隔操作支援システムにおいて、
前記指定条件が、前記遠隔操作機構の操作量が閾値以下であるという条件、および、前記作業機械の旋回角の時系列に応じた旋回角速度が基準値以下であるという条件のうち少なくとも一方を含んでいる
遠隔操作支援システム。

【請求項3】

請求項２に記載の遠隔操作支援システムにおいて、
前記遠隔画像出力装置により前記作業現場画像と、前記作業機械に搭載されている実機撮像装置を通じて取得された実機環境画像と、が切り替えられて出力され、
前記遠隔画像出力装置により前記作業現場画像が出力されているという副指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する
遠隔操作支援システム。

【請求項4】

請求項１に記載の遠隔操作支援システムにおいて、
前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係に関する対応関係情報を前記遠隔画像出力装置に出力させる
遠隔操作支援システム。

【請求項5】

請求項１～４のうちいずれか1項に記載の遠隔操作支援システムを構成する遠隔制御装置と、前記遠隔操作機構と、前記遠隔画像出力装置と、を備えている
遠隔操作装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、油圧ショベル等の作業機械を遠隔操作するための技術に関する。

【背景技術】

【0002】

ラジコンショベルにおいて、搭乗操作時と同様の操作感覚での操作を実現するため、オペレータおよび作業機械の絶対方位角（基準方位角）がなす角度を算出し、レバー入力方位と同じ方向に作業機械の先端部が移動するように当該作業機械の動作を制御する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】実開平０２－０５４８６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、当該先行技術によれば、オペレータが肉眼で作業機械を視認しながら手元にあるラジコンを用いて操作することが想定されており、オペレータが遠隔地にある作業機械をモニタで視認しながら遠隔操作することは想定されていない。また、作業機械の向きとレバーの操作方向とが一致して当該作業機械の旋回方向が入れ替わった後も、操作が継続された場合、作業機械に振動が生じ、あるいは、その動作が停止する可能性がある。

【0005】

そこで、本発明は、オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する遠隔にある作業機械の旋回方向と、の整合性の向上を図りうるシステム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の遠隔操作支援システムは、
遠隔操作機構の異なる２つの操作方向のそれぞれと、作業現場に存在する撮像装置を通じて取得され、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれと、が整合するように、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係を調整しながら前記遠隔操作機構の操作方向に応じた旋回指令を前記作業機械に対して出力し、
前記遠隔操作機構の操作量および前記作業機械の旋回角のうち少なくとも一方に鑑みて、前記遠隔操作機構のそれまでの操作方向に応じた前記作業機械の旋回方向を維持する必要性が低いことを表わす指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する。

【0007】

当該構成の遠隔操作支援システムによれば、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が調整されながら当該遠隔操作機構の操作方向に応じた旋回指令が作業機械に対して出力される。これにより、遠隔操作機構の異なる２つの操作方向のそれぞれと、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれとの整合が図られている。

【0008】

当該整合のため、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられるまたは変更される場合があるが、当該切り替えのためには指定条件が満たされている必要がある。「指定条件」とは、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構のそれまでの操作方向に応じた作業機械の旋回方向を維持する必要性が低いことを表わす条件である。このため、当該必要性が高いにもかかわらず、遠隔操作機構の操作方向および作業機械の旋回方向との対応関係が切り替えられてしまい、遠隔操作機構の操作方向に反映されているオペレータが意図する作業機械の旋回方向と、当該作業機械の実際の旋回方向とが整合しなくなる事態が回避されうる。この結果、オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する作業機械の旋回方向との整合性の向上が図られている。

【0009】

前記構成の遠隔操作支援システムにおいて、
前記指定条件が、前記遠隔操作機構の操作量が閾値以下であるという条件、および、前記作業機械の旋回角の時系列に応じた旋回角速度が基準値以下であるという条件のうち少なくとも一方を含んでいることが好ましい。

【0010】

当該構成の遠隔操作支援システムによれば、次の事項（１）および（２）に鑑みて適当に指定条件が定義されている。すなわち、（１）遠隔操作機構の操作量が閾値を超えている場合、遠隔操作機構のそれまでの操作方向に応じた作業機械の旋回方向の維持をオペレータが意図している蓋然性が高い。また、（２）作業機械の旋回角速度が基準値を超えている場合、作業機械の旋回が慣性により維持されている蓋然性が高い。よって、前記のように、遠隔操作機構の操作方向に反映されている、オペレータが意図する作業機械の旋回方向と、当該作業機械の実際の旋回方向とが整合しなくなる事態が回避されうる。

【0011】

前記構成の遠隔操作支援システムにおいて、
前記遠隔画像出力装置により前記作業現場画像と、前記作業機械に搭載されている実機撮像装置を通じて取得された実機環境画像と、が切り替えられて出力され、
前記遠隔画像出力装置により前記作業現場画像が出力されているという副指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容することが好ましい。

【0012】

当該構成の遠隔操作支援システムによれば、遠隔画像出力装置に実機環境画像が出力されている状態では、作業現場画像は出力されない。この状態では、遠隔操作機構の異なる２つの操作方向のそれぞれと、遠隔画像出力装置により出力される作業現場画像における作業機械の旋回方向との整合を図る必要性は低いまたはない。よって、この状態で遠隔操作機構の操作方向に応じた旋回指令における作業機械の旋回方向の切り替えが無駄に許容される事態が回避されうる。

【0013】

前記構成の遠隔操作支援システムにおいて、
前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係に関する対応関係情報を前記遠隔画像出力装置に出力させることが好ましい。

【0014】

当該構成の遠隔操作支援システムによれば、遠隔画像出力装置により出力される対応関係情報を通じて、遠隔操作機構の操作方向および作業機械の旋回方向の対応関係をオペレータに認識させることができる。

【0015】

本発明の遠隔操作装置は、前記構成の遠隔操作支援システムを構成する遠隔制御装置と、前記遠隔操作機構と、前記遠隔画像出力装置と、を備えている。

【図面の簡単な説明】

【0016】

【図1】遠隔操作システムおよび遠隔操作支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】遠隔操作システムの機能に関する説明図。

【図5】実機環境画像の例示説明図。

【図6】作業現場画像の例示説明図。

【図7】撮像装置の撮像方向に対する作業機械の相対的な旋回角に関する説明図。

【図8】対応関係情報の出力形態に関する説明図。

【発明を実施するための形態】

【0017】

図１には、作業現場に存在する撮像装置１０と、遠隔操作装置２０と、当該遠隔操作装置２０による遠隔操作対象である作業機械４０と、が示されている。撮像装置１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。撮像装置１０および遠隔操作装置２０の相互通信ネットワークと、撮像装置１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0018】

（撮像装置の構成）
撮像装置１０は、一または複数の作業機械４０が存在する作業現場に設置されている支柱等の構造物に取り付けられている。撮像装置１０は、無人飛行機に搭載されていてもよい。撮像装置１０は、撮像機能のほか、撮像画像の外部機器への送信機能を有している。撮像装置１０は、一の作業現場に一の撮像装置１０が配置されていてもよく、複数の撮像装置１０が配置されていてもよい。

【0019】

（遠隔操作装置の構成）
図１に示されているように、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔無線通信機器２２４と、を備えている。遠隔制御装置２００は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。本実施形態では、遠隔制御装置２００が「遠隔操作支援システム」を構成している。

【0020】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１を備えている。

【0021】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0022】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0023】

シートＳｔの前方に下部走行体４１を構成する左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0024】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成される主画像出力装置２２１Ａと、主画像出力装置２２１Ａの上部に配置された補助画像出力装置２２１Ｂにより構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および、右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0025】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角θ１およびθ２は同じであっても相違していてもよい。

【0026】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0027】

補助画像出力装置２２１Ｂは、一又は複数の画面を有しており、各画面の縦幅及び横幅は中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面よりも小さく構成される。

【0028】

遠隔画像出力装置２２１が、シートＳｔを取り囲むように湾曲または屈曲した単一の画像出力装置によって構成されていてもよい。単一の画像出力装置が、例えば、中央遠隔画像出力装置２２１０により構成されていてもよい。遠隔画像出力装置２２１が、２つの画像出力装置（例えば、中央遠隔画像出力装置２２１０および左側遠隔画像出力装置２２１１または右側遠隔画像出力装置２２１２）によって構成されていてもよい。

【0029】

（作業機械の構成）
作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ４５（運転室）が設けられている。上部旋回体４２の前方中央部には作業機構４４が設けられている。

【0030】

図３に示されているように、作業機構としての作業機構４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているアタッチメント４４５（例えば、バケット）と、を備えている。作業機構４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0031】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してアタッチメント４４５をアーム４４３に対して水平軸回りに回動させるように当該アタッチメント４４５と当該アーム４４３との間に介在する。

【0032】

図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、実機無線通信機器４２２と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0033】

図１に示されているように、実機入力インターフェース４１０は、実機操作機構４１１と、実機センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５に設けられている。実機撮像装置４１２は、例えば、キャブ４５の内部に設置され、フロントウィンドウ越しに作業機構４４の少なくとも一部（例えば、アタッチメント４４５）を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機センサ群４１４は、下部走行体４１に対する上部旋回体４２の旋回角を測定するための旋回角センサ、および、作業機構４４の姿勢を表わす姿勢角を測定するための姿勢角センサなど、作業機械４０の動作状況を測定するためのさまざまなセンサにより構成されている。

【0034】

（遠隔操作装置による作業機械の遠隔操作）
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が作業機械４０に対して送信される。そして、作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合、作業機構４４等の動作が制御される。例えば、アタッチメント４４５により作業機械４０の前方の土砂をすくい、上部旋回体４２を旋回させたうえでアタッチメント４４５から当該土砂を落とす作業が実行される。

【0035】

（機能）
前記構成の遠隔操作支援システム、ひいては遠隔制御装置２００の機能について図４に示されているフローチャートを用いて説明する。当該機能には、遠隔操作機構２１１の操作方向と、作業機械４０の旋回方向との対応関係を調整する機能が含まれている。遠隔操作機構２１１の操作方向とは、具体的には、旋回レバーとして機能する左側操作レバー２１１１または右側操作レバー２１１２の異なる２つの操作方向（左方向および右方向または前方向および後方向）である（図２参照）。作業機械４０の旋回方向とは、具体的には、下部走行体４１に対する上部旋回体４２の相互に反対向きの２つの旋回方向である（図３参照）。遠隔操作機構２１１は、左操作と右操作の両方を受け付け可能である左側操作レバー２１１１や右側操作レバー２１１２に限られず、左操作および右操作に対応する個別の操作方向について操作を受付可能な操作レバーやスティック、ボタン等が複数搭載されることで構成されてもよい。以下、実施形態では、左側操作レバー２１１１が異なる２つの操作方向（左方向および右方向）に操作される構成を前提として説明する。

【0036】

遠隔操作機構２１１の操作方向と、作業機械４０の旋回方向との対応関係の切り替えを保留する期間を表わすタイマのカウント数ｔが「０」に設定される（図４／ＳＴＥＰ１０１）。

【0037】

実機撮像装置４１２を通じて撮像された実機環境画像が、実機無線通信機器４２４により作業機械４０から遠隔操作装置２０に対して送信され、これにより遠隔制御装置２００により実機環境画像が取得される（図４／ＳＴＥＰ１０２）。実機環境画像は、例えば図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４の一部であるブーム４４１、アーム４４３およびアタッチメント４４５、ならびに、土砂、資材および／または建造物などなどが映り込んでいる画像である。実機環境画像は、撮像画像そのもののほか、当該撮像画像のデータに基づいて生成された模擬的な画像であってもよい。

【0038】

作業現場に存在する撮像装置１０を通じて撮像された作業現場画像が、当該撮像装置１０から遠隔操作装置２０に対して送信され、これにより遠隔制御装置２００により作業現場画像が取得される（図４／ＳＴＥＰ１０４）。作業現場画像は、例えば図６に示されているように、遠隔操作装置２０を通じた遠隔操作対象である作業機械４０およびその周辺の存在する土砂、資材および／または建造物などが映り込んでいる画像である。作業現場画像は、撮像画像そのもののほか、当該撮像画像のデータに基づいて生成された模擬的な画像であってもよい。撮像装置１０が無人飛行機に搭載されている場合、作業現場画像が鳥瞰画像であってもよい。

【0039】

本実施形態では、オペレータによる遠隔入力インターフェース２１０を通じた選択操作に応じて、遠隔画像出力装置２２１の主画像出力装置２２１Ａに出力される画像として、実機環境画像（図５参照）および作業現場画像（図６参照）が切り替えられる。具体的に、遠隔制御装置２００が取得した実機環境画像および作業現場画像は、主画像出力装置２２１Ａと補助画像出力装置２２１Ｂの複数の画面の少なくとも１つとの間にて択一的に出力可能であり、当該選択操作に応じて出力された実機環境画像および作業現場画像の出力先が主画像出力装置２２１Ａおよび補助画像出力装置２２１Ｂとの間で切り替えられる。主画像出力装置２２１Ａに出力される実機環境画像または作業現場画像は、中央遠隔画像出力装置２２１０のみに出力されてもよく、画像が分割されて中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置に分割した画像がそれぞれ表示可能なように構成されてもよい。なお、実機環境画像および作業現場画像の切り替えに際して、補助画像出力装置２２１Ｂへの実機環境画像または作業現場画像の出力が省略されてもよい。

【0040】

撮像装置１０の撮像方向（光軸方向）に対する、作業機械４０の旋回方位を表わす相対方位角γが認識される（図４／ＳＴＥＰ１０６）。例えば、図７に示されているように、作業現場における実空間座標系または世界座標系における基準方位（図７の上方向）に対する撮像装置１０の撮像方向を表わす撮像方位角θと、当該基準方位に対する作業機械４０の上部旋回体４２の前方を表わす旋回方位角φと、の差分θ－φが相対方位角γに相当する。

【0041】

例えば、撮像方位角θが撮像装置１０またはデータベースから遠隔操作装置２０に対して送信され、かつ、旋回方位角φが実機センサ群４１４を通じて検知されたうえで実機無線通信機器４２４を通じて作業機械４０から遠隔操作装置２０に対して送信されることにより、遠隔制御装置２００により当該撮像方位角θおよび当該旋回方位角φ、ひいては相対方位角γが認識される。そのほか、撮像装置１０により撮像された作業機械４０を含む作業現場画像が画像解析されるまたは機械学習を用いて構築された学習モデル（学習済みモデル）に入力されることにより、相対方位角γが求められてもよい。

【0042】

作業現場画像が鳥瞰画像である場合、当該作業現場画像の座標系において指定方向（例えば、上方向）に対する上部旋回体４２の前方を表わす方位角が相対方位角γとして認識されてもよい。

【0043】

相対方位角γが、図７に示されている第１相対方位角範囲Γ１（－１８０°＜γ≦－９０°－δ、９０°＋δ≦γ≦１８０°（０°≦δ≦５°～１０））に含まれている場合、すなわち、撮像装置１０からみて作業機械４０の上部旋回体４２の前方が手前側に向いている場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向とは「第１対応関係」に調整される。δは０を含む微小な角度が設定される。第１対応関係において、左側操作レバー２１１１の第１操作方向としての右方向と、下部走行体４１に対する上部旋回体４２の上面視の第１旋回方向としての反時計回り方向と、が対応している。第１対応関係において、左側操作レバー２１１１の第２操作方向としての左方向と、下部走行体４１に対する上部旋回体４２の上面視の第２旋回方向としての時計回り方向と、が対応している。

【0044】

相対方位角γが、図７に示されている第２相対方位角範囲Γ２（－９０°＋δ≦γ≦９０°－δ（０°≦δ≦５°～１０））に含まれている場合、すなわち、撮像装置１０からみて作業機械４０の上部旋回体４２の前方が奥側に向いている場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向とは「第２対応関係」に調整される。δは０を含む微小な角度が設定される。第２対応関係において、左側操作レバー２１１１の第１操作方向としての右方向と、下部走行体４１に対する上部旋回体４２の上面視の第２旋回方向としての時計回り方向と、が対応している。第２対応関係において、左側操作レバー２１１１の第２操作方向としての左方向と、下部走行体４１に対する上部旋回体４２の上面視の第１旋回方向としての反時計回り方向と、が対応している。

【0045】

続いて、主画像出力装置２２１Ａに出力されている画像が、実機環境画像（図５参照）および作業現場画像（図６参照）のいずれであるかが判定される（図４／ＳＴＥＰ１１０）。

【0046】

主画像出力装置２２１Ａに出力されている画像が「実機環境画像」であると判定された場合（図４／ＳＴＥＰ１１０‥２）、タイマカウント数ｔの「０」への設定処理（図４／ＳＴＥＰ１０１参照）以降の一連の処理が繰り返される。

【0047】

主画像出力装置２２１Ａに出力されている画像が「作業現場画像」であると判定された場合（図４／ＳＴＥＰ１１０‥１）、指定条件が満足されているか否かが判定される（図４／ＳＴＥＰ１１２）。「指定条件」は、遠隔操作機構２１１の操作量および作業機械４０の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。例えば、遠隔操作機構２１１の操作量（左側操作レバー２１１１の左右方向への傾動角または変位量）が閾値（例えば、０°±ε（０°＜ε≦５°～１０°））以下であるという条件、および／または、作業機械４０の（下部走行体４１に対する上部旋回体４２の）旋回角速度ω＝ｄφ／ｄｔが基準値（例えば、δω（０＜δω≦０．１°ｓ^-1～１°ｓ^-1））以下であるという条件が指定条件として定義されている。

【0048】

そのほか、相対方位角γが、図７に示されている第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の両方から外れているという条件（－９０°－δ＜γ＜－９０°＋δ、９０°－δ＜γ＜９０°＋δの場合）、または、相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の境界付近の相対方位角範囲に含まれているという条件（γ＝－９０°±δ、９０°±δの場合）が指定条件に含まれていてもよい。当該条件が指定条件に含まれている場合、遠隔操作機構２１１の操作量が閾値以下であるという条件、および、作業機械４０の旋回角速度ωが基準値以下であるという条件のうち一方が指定条件に含まれていなくてもよい。

【0049】

指定条件が満たされていないと判定された場合（図４／ＳＴＥＰ１１２‥ＮＯ）、タイマカウント数ｔの「０」への設定処理（図４／ＳＴＥＰ１０１参照）以降の一連の処理が繰り返される。すなわち、この場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は切り替えられない。

【0050】

その一方、指定条件が満たされていると判定された場合（図４／ＳＴＥＰ１１２‥ＹＥＳ）、タイマカウント数ｔが「１」だけ増加され（図４／ＳＴＥＰ１１４）、その上でタイマカウント数ｔが所定値ｔ０以上であるか否かが判定される（図４／ＳＴＥＰ１１６）。タイマカウント数ｔが所定値ｔ０未満であると判定された場合（図４／ＳＴＥＰ１１６‥ＮＯ）、実機環境画像の取得処理（図４／ＳＴＥＰ１０２参照）以降の一連の処理が繰り返される。所定値ｔ０は、指定条件が所定値ｔ０以上に亘って継続されたことを条件として遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いという判断の確度を向上させる観点から設定されている。遠隔操作機構２１１の操作量が閾値以下である、および／または、作業機械４０の旋回角速度が基準値以下であり、オペレータにより作業機械４０を旋回させる意思がないことが明確であるので、作業機械４０の旋回方向を維持する必要性が低いとの判断がされる。例えば、所定値ｔ０は、遠隔操作機構２１１の操作量および／または作業機械４０の旋回角（もしくは旋回角速度）に基づいて適応的に設定されてもよい。 タイマカウント数ｔが所定値ｔ０以上であると判定された場合（図４／ＳＴＥＰ１１６‥ＹＥＳ）、相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のいずれに含まれているかが判定される（図４／ＳＴＥＰ１２０）。

【0051】

相対方位角γが第１相対方位角範囲Γ１に含まれていると判定された場合（図４／ＳＴＥＰ１２０‥１）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第１対応関係」に切り替えられる（図４／ＳＴＥＰ１２１）。

【0052】

これにより、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。上部旋回体４２の旋回量の多少は、左側操作レバー２１１１の操作量の多少に応じて制御されてもよい。

【0053】

また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。

【0054】

相対方位角γが第２相対方位角範囲Γ２に含まれていると判定された場合（図４／ＳＴＥＰ１２０‥２）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第２対応関係」に切り替えられる（図４／ＳＴＥＰ１２２）。

【0055】

これにより、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。

【0056】

また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。

【0057】

相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のどちらにも含まれていないと判定された場合（図４／ＳＴＥＰ１２０‥３）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は、「第１対応関係」および「第２対応関係」のどちらにも切り替えられない。すなわち、遠隔操作機構２１１の操作方向に基づいてのみ作業機械４０の旋回方向が決定され、相対方位角γは考慮しない。

【0058】

この場合、例えば、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。

【0059】

また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。

【0060】

なお、図７に示されている相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のどちらにも含まれていない角度範囲について、第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の何れか一方に含まれるものとして構成してもよい。

【0061】

（作用効果）
当該機能を発揮する本発明の一実施形態としての遠隔制御装置２００（遠隔操作支援システム）によれば、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が調整されながら当該遠隔操作機構２１１の操作方向に応じた旋回指令が作業機械４０に対して出力される（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２１および図４／ＳＴＥＰ１２０‥２→ＳＴＥＰ１２２参照）。これにより、遠隔操作機構２１１の異なる２つの操作方向のそれぞれと、遠隔画像出力装置２２１により出力される作業現場画像における作業機械４０の相互に反対向きの２つの旋回方向のそれぞれとの整合が図られている。

【0062】

当該整合のため、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられるまたは変更される場合があるが（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２１および図４／ＳＴＥＰ１２０‥２→ＳＴＥＰ１２２参照）、当該切り替えのためには指定条件が満たされている必要がある（図４／ＳＴＥＰ１１２参照）。「指定条件」とは、前記のように、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。

【0063】

このため、当該必要性が高いにもかかわらず、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が切り替えられてしまい、遠隔操作機構２１１の操作方向に反映されているオペレータが意図する作業機械４０の旋回方向と、当該作業機械４０の実際の旋回方向とが整合しなくなる事態が回避されうる。例えば、相対方位角γが第１方位角範囲Γ１に含まれている状態から第２方位角範囲Γ２に含まれている状態に遷移した場合でも、指定条件が満たされていなければ、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が第１対応関係から第２対応関係に切り替えられずに第１対応関係に維持される。同様に、相対方位角γが第２方位角範囲Γ２に含まれている状態から第１方位角範囲Γ１に含まれている状態に遷移した場合でも、指定条件が満たされていなければ、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が第２対応関係から第１対応関係に切り替えられずに第２対応関係に維持される。この結果、オペレータによる遠隔操作機構２１１の操作方向と、当該オペレータが意図する作業機械４０の旋回方向との整合性の向上が図られている。

【0064】

（本発明の他の実施形態）
前記実施形態では、遠隔制御装置２００により遠隔操作支援システムが構成されていたが、他の実施形態として、遠隔操作装置２０の外部に存在するコンピュータ（サーバコンピュータなど）により遠隔操作支援システムが構成されていてもよい。

【0065】

遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係に関する対応関係情報が遠隔画像出力装置２２１に出力されてもよい。例えば、図８に示されているように、第１操作方向を表わす右向き直線矢印状の画像Ｍ２１、第２操作方向を表わす左向き直線矢印状の画像Ｍ２２、第１旋回方向を表わす円弧矢印状の画像Ｍ４１および第２旋回方向を表わす円弧矢印状の画像Ｍ４２が、作業現場画像に重畳されて出力されてもよい。画像Ｍ２１および画像Ｍ２２は遠隔操作機構２１１を表わすイラスト画像と並んで出力される。

【0066】

画像Ｍ４１および画像Ｍ４２は作業現場画像におけるアタッチメント４４５の画像の周囲に相対方位角γに応じて表示位置と向きが調整されて出力される。相対方位角γ＝０°の場合には、アタッチメント４４５の画像を挟んで左側には円弧矢印を左側に向けて画像Ｍ４１が配置され、右側には円弧矢印を右側に向けて画像Ｍ４２が配置される。相対方位角γ＝０°からγ＝－１８０°まで変化する過程においては、画像Ｍ４１と画像Ｍ４２は相対方位角γに応じて時計回りに傾きが変化され、アタッチメント４４５の画像に対する表示位置が相対方位角γに応じて時計回り方向に変化される。例えば、図８に示されているように、画像Ｍ４１の円弧矢印が奥側に向かい画像Ｍ２２の円弧矢印が手前側に向かうように表示位置と傾きが変化される。相対方位角γ＝－１８０°の場合にはアタッチメント４４５の画像を挟んで左側には円弧矢印を左側に向けて画像Ｍ４２が配置され、右側には円弧矢印を右側に向けて画像Ｍ４１が配置される。相対方位角γ＝０°からγ＝１８０°まで変化する過程においては、画像Ｍ４１と画像Ｍ４２は相対方位角γに応じて反時計回り傾きが変化され、アタッチメント４４５の画像に対する表示位置が相対方位角γに応じて反時計回り方向に変化される。画像Ｍ４１と画像Ｍ４２は、作業現場画像における縦方向の長さが小さくなるように補正される。

【0067】

図８においては、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は「第２対応関係」にあり、画像Ｍ２１と画像Ｍ４１が第一の色により着色され、画像Ｍ２２と画像Ｍ４２に第一の色とは異なる第二の色により着色されている。また、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第１対応関係」にある場合には、画像Ｍ２１と画像Ｍ４２が第一の色により着色され、画像Ｍ２２と画像Ｍ４１が第二の色により着色される。そのほか、画像Ｍ２１、Ｍ２２、Ｍ４１およびＭ４２が含まれているダイヤグラムが、作業現場画像とは別個に遠隔画像出力装置２２１に出力されてもよい。当該対応関係が「第１対応関係」および「第２対応関係」のいずれであるかを示すテキストが遠隔画像出力装置２２１に出力されてもよい。

【0068】

この場合、遠隔画像出力装置２２１により出力される対応関係情報を通じて、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向の対応関係を視覚的にオペレータに認識させることができる。

【符号の説明】

【0069】

１０‥撮像装置
２０‥遠隔操作装置
４０‥作業機械
４１‥下部走行体
４２‥上部旋回体
４４‥作業機構
２００‥遠隔制御装置（遠隔操作支援システム）
２１０‥遠隔入力インターフェース
２１１‥遠隔操作機構
２２０‥遠隔出力インターフェース
２２１‥遠隔画像出力装置
２２２‥遠隔音響出力装置
４００‥実機制御装置
４１０‥実機入力インターフェース
４２０‥実機出力インターフェース
４４５‥アタッチメント。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】