特開 2024-103267 作業機械の操作支援装置、作業機械および操作支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103267

(43)【公開日】2024-08-01

(54)【発明の名称】作業機械の操作支援装置、作業機械および操作支援システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240725BHJP

   G05G 5/03 20080401ALI20240725BHJP

【ＦＩ】

E02F9/26 B

G05G5/03 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023007509

(22)【出願日】2023-01-20

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】栗田 雄一

(72)【発明者】

【氏名】永井 政樹

(72)【発明者】

【氏名】伊藤 卓

【テーマコード（参考）】

2D015

3J070

【Ｆターム（参考）】

2D015HA03

2D015HB01

3J070AA03

3J070BA01

3J070BA17

3J070BA47

3J070BA51

3J070CC71

3J070CE10

3J070DA03

3J070DA21

(57)【要約】

【課題】本発明は、アタッチメントの関節機構の出力余裕のオペレータによる認識精度の向上を図りうる装置等を提供する。
【解決手段】遠隔入力インターフェース２１０（出力機器）を通じて指標情報がオペレータに対して提供またはフィードバックされる。これにより、作業機構４４（アタッチメント）の角関節機構の関節負荷率（負荷余裕度）を当該オペレータに視覚、聴覚および触覚のいずれか１つを通じて知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械４０を操作させることができ、ひいては当該作業機械４０による作業機構４４を用いた作業効率の向上が図られる。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業機械のアタッチメントを構成する関節機構の負荷と、前記関節機構の角度の計測値に応じて定まる当該関節機構の最大出力と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して出力機器を通じて提供する
操作支援装置。

【請求項2】

請求項１に記載の操作支援装置において、
前記指標情報として、前記関節機構の最大出力に対する前記関節機構の負荷の比率である関節負荷率を、前記作業機械を操作するオペレータに前記出力機器を通じて提供する
操作支援装置。

【請求項3】

請求項１または２に記載の操作支援装置において、
前記関節機構の関節角度の計測値に加えて、前記作業機械または前記アタッチメントの諸元を表わす諸元情報に基づいて当該関節機構の最大出力を定める
操作支援装置。

【請求項4】

請求項１または２に記載の操作支援装置において、
前記出力機器が、前記作業機械を操作するための操作レバーに、前記指標情報としての力を作用させる操作レバーアクチュエータにより構成されている
操作支援装置。

【請求項5】

請求項１又は２に記載の操作支援装置において、
入力機器を通じて設定された設定情報に基づいて、前記出力機器を通じて提供される前記指標情報を変調する
操作支援装置。

【請求項6】

請求項１または２に記載の操作支援装置において、
前記指標情報を、前記作業機械を遠隔操作する遠隔操作装置を構成する前記出力機器または当該遠隔操作装置に設けられた前記出力機器を通じて前記オペレータに対して提供する
操作支援装置。

【請求項7】

請求項６に記載の操作支援装置において、
前記遠隔操作装置は複数の前記作業機械を遠隔操作可能であり、当該複数の前記作業機械のうち前記遠隔操作装置により遠隔操作されている一の作業機械の前記指標情報を前記オペレータに対して前記出力機器を通じて提供する
操作支援装置。

【請求項8】

請求項６に記載の操作支援装置において、
前記作業機械の前記関節機構の関節角度の計測値に加えて、前記作業機械または前記アタッチメントの諸元を表わす諸元情報を、ネットワーク通信に基づいて認識し、認識した前記諸元情報に基づいて当該関節機構の最大出力を定める
操作支援装置。

【請求項9】

請求項１または２に記載の操作支援装置において、
前記出力機器が、前記指標情報としての指標画像を表示する画像出力装置により構成されている
操作支援装置。

【請求項10】

アタッチメントを構成する関節機構と、前記関節機構の負荷を計測する負荷計測器と、前記関節機構の角度を計測する角度計測器と、情報を提供可能な出力機器と、を備えた作業機械であって、
前記負荷計測器により計測される前記関節機構の負荷と、前記角度計測器により計測される前記関節機構の角度の計測値と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して前記出力機器を通じて提供する
作業機械。

【請求項11】

アタッチメントを構成する関節機構と、前記関節機構の負荷を計測する負荷計測器と、前記関節機構の角度を計測する角度計測器と、を備えた作業機械と、前記作業機械を遠隔操作する遠隔操作装置と、を備えている操作支援システムであって、
前記遠隔操作装置には、情報を提供可能な出力機器が構成されている、または前記出力機器が設けられており、
前記負荷計測器により計測される前記関節機構の負荷と、前記角度計測器により計測される前記関節機構の角度の計測値と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して前記出力機器を通じて提供する
操作支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械等の作業機械のオペレータによる操作を支援する装置に関する。

【背景技術】

【0002】

クレーンなどの建設機械を構成するブームに実際に作用する力に基づいて操作レバーに反力を提示する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０４２０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、作業機械によっては、そのアタッチメントの姿勢の相違に応じて、当該アタッチメントの関節機構の最大出力が相違する。このため、アタッチメントの関節機構の負荷を操作レバーに単にフィードバックするだけでは、当該関節機構の最大出力までの出力余裕・マージンの大きさをオペレータに知覚させることができない。このため、例えば、アタッチメントが油圧駆動される場合、オペレータが予期せぬ段階で作動油圧が油圧回路を構成するリリーフバルブのリリーフ圧に到達してしまい、アタッチメントの駆動速度の低下など生産効率の低下を招く可能性がある。

【0005】

そこで、本発明は、アタッチメントの関節機構の出力余裕のオペレータによる認識精度の向上を図りうる装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の操作支援装置は、
作業機械のアタッチメントを構成する関節機構の負荷と、前記関節機構の角度の計測値に応じて定まる当該関節機構の最大出力と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して出力機器を通じて提供する。

【0007】

当該構成の操作支援装置によれば、出力機器を通じて指標情報がオペレータに対して提供またはフィードバックされることにより、アタッチメントの関節機構の負荷余裕度を当該オペレータに知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0008】

本発明の操作支援装置において、
前記指標情報として、前記関節機構の最大出力に対する前記関節機構の負荷の比率である関節負荷率を、前記作業機械を操作するオペレータに前記出力機器を通じて提供する
ことが好ましい。

【0009】

当該構成の操作支援装置によれば、出力機器を通じて指標情報がオペレータに対して提供またはフィードバックされることにより、アタッチメントの関節機構の負荷余裕度を負荷余裕率の形態で当該オペレータに知覚させることができる。これにより、関節機構の関節角度に応じた最大出力の相違による負荷余裕度の変動幅が抑制されるので、その分だけ負荷余裕度をオペレータに的確に知覚させることができる。そして、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0010】

本発明の操作支援装置において、
前記関節機構の関節角度の計測値に加えて、前記作業機械または前記アタッチメントの諸元を表わす諸元情報に基づいて当該関節機構の最大出力を定める
ことが好ましい。

【0011】

当該構成の操作支援装置によれば、作業機械またはアタッチメントの諸元を表わす諸元情報が勘案された形で、当該アタッチメントの関節機構の負荷余裕度をオペレータに知覚させることができる。これにより、作業機械またはアタッチメントの諸元の相違に応じた最大出力の相違による負荷余裕度をオペレータに知覚させることができる。そして、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0012】

本発明の操作支援装置において、
前記出力機器が、前記作業機械を操作するための操作レバーに、前記指標情報としての力を作用させる操作レバーアクチュエータにより構成されている
ことが好ましい。

【0013】

当該構成の操作支援装置によれば、出力機器である操作レバーアクチュエータを通じて指標情報が操作レバーに作用する力の形態でオペレータに対して提供またはフィードバックされることにより、当該力の強弱によりアタッチメントの関節機構の負荷余裕度を当該オペレータに知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0014】

本発明の操作支援装置において、
入力機器を通じて設定された設定情報に基づいて、前記出力機器を通じて提供される前記指標情報を変調する
ことが好ましい。

【0015】

当該構成の操作支援装置によれば、入力機器を通じて設定された設定情報に基づいて出力機器を通じて提供される当該指標情報が変調される。これにより、出力機器を通じて指標情報がオペレータに対して提供またはフィードバックされる際、アタッチメントの関節機構の負荷余裕度を、当該オペレータにその所望の変調態様で知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0016】

本発明の操作支援装置において、
前記指標情報を、前記作業機械を遠隔操作する遠隔操作装置を構成する前記出力機器または当該遠隔操作装置に設けられた前記出力機器を通じて前記オペレータに対して提供することが好ましい。

【0017】

当該構成の遠隔操作装置によれば、遠隔操作装置を構成する出力機器または当該遠隔操作装置に設けられた出力機器を通じて指標情報がオペレータに対して提供またはフィードバックされる。これにより、遠隔操作装置を通じて遠隔操作している作業機械を構成するアタッチメントの関節機構の負荷余裕度を当該オペレータに知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を遠隔操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0018】

本発明の操作支援装置において、
前記遠隔操作装置は複数の前記作業機械を遠隔操作可能であり、当該複数の前記作業機械のうち前記遠隔操作装置により遠隔操作されている一の作業機械の前記指標情報を前記オペレータに対して前記出力機器を通じて提供する
ことが好ましい。

【0019】

当該構成の遠隔操作装置によれば、遠隔操作装置を通じて一の作業機械を遠隔操作している際には、出力機器を通じて当該一の作業機械の負荷余裕度を表わす指標情報がオペレータに対して提供またはフィードバックされ、遠隔操作装置を通じて他の作業機械を遠隔操作している際には、出力機器を通じて当該他の作業機械の負荷余裕度を表わす指標情報がオペレータに対して提供またはフィードバックされる。これにより、遠隔操作装置を通じて複数の作業機械を切り替えながら遠隔操作している状況で、操作中の作業機械を構成するアタッチメントの関節機構の負荷余裕度を当該オペレータに知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を遠隔操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0020】

本発明の操作支援装置において、
前記作業機械の前記関節機構の関節角度の計測値に加えて、前記作業機械または前記アタッチメントの諸元を表わす諸元情報を、ネットワーク通信に基づいて認識し、認識した前記諸元情報に基づいて当該関節機構の最大出力を定める
ことが好ましい。

【0021】

当該構成の操作支援装置によれば、遠隔操作装置により操作されている状態の一の作業機械またはそのアタッチメントの諸元を表わす諸元情報が、ネットワーク通信により認識される。そして、当該諸元情報が勘案された形で、当該アタッチメントの関節機構の負荷余裕度をオペレータに知覚させることができる。これにより、当該一の作業機械またはアタッチメントの諸元の相違に応じた最大出力の相違による負荷余裕度をオペレータに知覚させることができる。そして、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0022】

本発明の操作支援装置において、
前記出力機器が、前記指標情報としての指標画像を表示する画像出力装置により構成されている
ことが好ましい。

【0023】

当該構成の操作支援装置によれば、出力機器である画像出力装置を通じて指標情報が指標画像の形態でオペレータに対して提供またはフィードバックされることにより、アタッチメントの関節機構の負荷余裕度を当該オペレータに知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械を操作させることができ、ひいては当該作業機械によるアタッチメントを用いた作業効率の向上が図られる。

【0024】

また、本発明の作業機械は、
アタッチメントを構成する関節機構と、前記関節機構の負荷を計測する負荷計測器と、前記関節機構の角度を計測する角度計測器と、情報を提供可能な出力機器と、を備えた作業機械であって、前記負荷計測器により計測される前記関節機構の負荷と、前記角度計測器により計測される前記関節機構の角度の計測値と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して前記出力機器を通じて提供する。

【0025】

また、本発明の操作支援システムは、
アタッチメントを構成する関節機構と、前記関節機構の負荷を計測する負荷計測器と、前記関節機構の角度を計測する角度計測器と、を備えた作業機械と、前記作業機械を遠隔操作する遠隔操作装置と、を備えている操作支援システムであって、前記遠隔操作装置には、情報を提供可能な出力機器が構成されている、または前記出力機器が設けられており、前記負荷計測器により計測される前記関節機構の負荷と、前記角度計測器により計測される前記関節機構の角度の計測値と、に基づいて定まる前記関節機構の負荷余裕度を表わす指標情報を、前記作業機械を操作するオペレータに対して前記出力機器を通じて提供する。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態としての操作支援システムの構成説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】一実施形態の作業支援装置の機能に関する説明図。

【図5】関節機構の最大出力と関節角度および諸元情報との関係に関する説明図。

【図6】作業環境画像および指標情報の出力形態に関する説明図。

【図7】指標情報の他の出力形態に関する説明図。

【図8】指標情報の他の出力形態に関する説明図。

【発明を実施するための形態】

【0027】

（操作支援装置の構成）
図１に示されている操作支援システムは、本発明の一実施形態としての操作支援装置１０と、操作支援装置１０と相互にネットワーク通信可能に構成されている遠隔操作装置２０および／または作業機械４０と、により構成されている。操作支援装置１０および遠隔操作装置２０の相互通信ネットワークと、操作支援装置１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0028】

（操作支援装置の構成）
操作支援装置１０は、一または複数のコンピュータまたはサーバコンピュータにより構成されている。図１に示されているように、操作支援装置１０は、データベース１０２と、関節負荷認識要素１２１と、関節最大出力認識要素１２２と、指標情報生成要素１２４と、を備えている。

【0029】

データベース１０２は、撮像画像データのほか、作業機構４４の諸元情報を実機識別子に関連付けて記憶保持する。データベース１０２は、操作支援装置１０とネットワーク通信可能に構成されているデータベースサーバまたはデバイス等により構成されていてもよい。操作支援装置１０の各構成要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0030】

本発明の構成要素が情報（またはデータ）を「認識する」とは、当該情報を受信、読み取りまたは検索等により取得すること、基礎となるデータまたは信号に対して演算処理を実行することにより当該情報を決定、測定、同定、推定、予測等することなど、当該情報を後続の演算処理の実行に際して利用可能な形態で準備するあらゆる処理を包含する概念である。

【0031】

（遠隔操作装置の構成）
図１に示されているように、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔通信機器２４０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0032】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔力覚生成装置２２４と、を備えている。

【0033】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0034】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0035】

シートＳｔの前方に左右のクローラに応じた左右走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータによる遠隔入力インターフェース２１０の所定操作に応じて任意に変更されてもよい。

【0036】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。遠隔画像出力装置２２１は、単一の湾曲したまたは湾曲可能な画像出力装置、シートＳｔの前方を囲むように配置される２つまたは４つ以上の画像出力装置により構成されていてもよい。遠隔画像出力装置２２１は、遠隔操作装置２０を操作するオペレータにより携帯される情報端末装置が有する画像出力装置により構成されていてもよい。

【0037】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度φ₁（例えば、１２０°≦φ₁≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度φ₂（例えば、１２０°≦φ₂≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度φ₁およびφ₂は同じであっても相違していてもよい。

【0038】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する画像出力装置により構成されていてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２が湾曲形状のまたは湾曲可能に構成された単一の画像出力装置（例えば、有機ＥＬパネル）により構成されていてもよい。

【0039】

遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

【0040】

遠隔力覚生成装置２２４は、遠隔操作機構２１１を構成する左側操作レバー２１１１および／または右側操作レバー２１１２に対して力を作用させる操作レバーアクチュエータにより構成されている。当該力は、例えば、左側操作レバー２１１１および／または右側操作レバー２１１２を傾倒させる力である。

【0041】

（作業機械の構成）
作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回中心軸Ｃを旋回中心として旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ４２Ｃ（運転室）が設けられている。上部旋回体４２の前方中央部には作業機構４４（アタッチメント）が設けられている。

【0042】

図３に示されているように、作業機構４４は、上部旋回体４２の前端に対して起伏可能に装着されているブーム４４１と、ブーム４４１の先端に対して回動可能に連結されているアーム４４３と、アーム４４３の先端に対して回動可能に連結されているバケット４４５と、を備え、上部旋回体４２に対してブーム４４１が起伏可能である第１関節機構と、ブーム４４１に対してアーム４４３が回動可能である第２関節機構と、アーム４４３に対してバケット４４５が回動可能である第３関節機構と、が構成されている。さらに、作業機構４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0043】

ブームシリンダ４４２は、基端部が上部旋回体４２に回動可能に取り付けられ、先端部がブーム４４１に回動可能に取り付けられており、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させることで第１関節機構を曲げ伸ばしさせる。アームシリンダ４４４は、基端部がブーム４４１に回動可能に取り付けられ、先端部がアーム４４３に回動可能に取り付けられており、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させることで第２関節機構を曲げ伸ばしさせる。バケットシリンダ４４６は、基端部がアーム４４３に回動可能に取り付けられ、先端部がバケット４４５に回動可能に取り付けられたリンク部材に回動可能に取り付けられており、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させることで第３関節機構を曲げ伸ばしさせる。

【0044】

図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、実機通信機器４４０と、を備えている。実機制御装置４００の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0045】

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、関節負荷センサ４１４と、関節角度センサ４１６と、を備えている。

【0046】

実機操作機構４１１は、キャブ４２Ｃの内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２Ｃに設けられている。実機撮像装置４１２は、例えばキャブ４２Ｃの内部に設置され、フロントウィンドウおよび左右サイドウィンドウ越しに作業機構４４の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

【0047】

関節負荷センサ４１４は、第１関節機構、第２関節機構および第３関節機構のそれぞれにかかっている負荷ｑ_kに応じた信号を出力するように構成されている。負荷ｑ_kは、各関節機構を曲げる又は伸ばす力に釣り合う力である。各関節機構は、それぞれシリンダ４４２、４４４、４４６の伸縮に応じて曲げ伸ばしされるため、各シリンダを伸縮させるための力を発揮する油圧をそれぞれ把握することで各関節機構にかかっている負荷ｑ_kを算出することができる。そこで、関節負荷センサ４１４は、ブームシリンダ４４２、アームシリンダ４４４および／またはバケットシリンダ４４６に作用する作動油の油圧に応じた信号を出力する油圧センサにより構成されている。また、作業機構４４は各関節機構にかかっている負荷により伸張又は圧縮の力の大きさに応じて表面や内部が歪むため、作業機構４４の歪みの量を把握することで各関節機構にかかっている負荷ｑ_kを算出することができる。そこで、関節負荷センサ４１４は、ブーム４４１、アーム４４３および／またはバケット４４５に対して一箇所また複数の異なる箇所で取り付けられたひずみゲージにより構成されていてもよい。なお、第１関節機構、第２関節機構および第３関節機構のいずれかが電動機（電動モータなど）により駆動される構成の場合には、当該電動機の駆動力を計測することで各関節機構にかかっている負荷ｑ_kが算出される。

【0048】

関節角度センサ４１６は、実機座標系における作業機構４４の各関節機構の関節角度θ_kに応じた信号を出力する。作業機構４４の各関節機構の関節角度には、上部旋回体４２に対するブーム４４１の起伏角度としての関節角度θ₁、ブーム４４１に対するアーム４４３の回動角度としての関節角度θ₂、および、アーム４４３に対するバケット４４５の回動角度としての関節角度θ₃が含まれている。関節角度θ₁は、例えば、上部旋回体４２の旋回中心軸Ｃに直行する平面Ｐと、ブーム４４１の基端部の回動軸とブーム４４１の先端部の回動軸（アーム４４３の基端部の回動軸）と、を結ぶ直線Ｌ１とのなす角度であり、ブーム４４１が起伏方向Ｓ１に回動されることで関節角度θ₁が変化する。関節角度θ₂は、例えば、直線Ｌ１と、アーム４４３の基端部の回動軸とアーム４４３の先端部の回動軸（バケット４４５の基端部の回動軸）と、を結ぶ直線Ｌ２とのなす角度であり、アーム４４３が回動方向Ｓ２に回動されることで関節角度θ₂が変化する。関節角度θ₃は、例えば、バケット４４５の基端部の回動軸と、バケット４４５の先端部と、を結ぶ直線Ｌ３とのなす角度であり、バケット４４５が回動方向Ｓ３に回動されることで関節角度θ₃を変化する。

【0049】

（機能）
前記構成の操作支援装置および撮像機能制御システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0050】

遠隔操作装置２０の通信データの少なくとも一部には、当該通信データの発信元・受信先である当該遠隔操作装置２０を識別するための遠隔操作識別子が含まれている。作業機械４０の通信データの少なくとも一部には、当該通信データの発信元・受信先である当該作業機械４０を識別するための実機識別子が含まれている。

【0051】

遠隔操作装置２０において、遠隔制御装置２００により、遠隔通信機器２４０を通じて、操作支援装置１０に対して「実機環境確認要求」が送信される（図４／ＳＴＥＰ２１０）。オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定され、当該判定結果が肯定的である場合に実機環境確認要求が送信されてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなど、当該作業機械４０を起動させるまたは遠隔操作を開始するための操作である。

【0052】

操作支援装置１０において、実機環境確認要求が受信された場合、操作支援装置１０から当該実機環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0053】

作業機械４０において、実機通信機器４４０を通じて実機環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて取得された撮像画像（適当な画像処理が施されていてもよい。）を表わす撮像画像データが操作支援装置１０に対して送信される（図４／ＳＴＥＰ４１０）。操作支援装置１０において、撮像画像データが受信された場合（図４／Ｃ１１）、当該撮像画像データに応じた作業環境画像データが操作支援装置１０から遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２０）。

【0054】

遠隔操作装置２０において、遠隔通信機器２４０を通じて作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１１）。これにより、例えば、図６に示されているように、作業機構４４のブーム４４１、アーム４４３およびバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像が遠隔画像出力装置２２１に出力される。

【0055】

オペレータは、遠隔画像出力装置２２１に出力された作業環境画像を見ながら、遠隔操作機構２１１を構成する操作レバーを操作することで、作業機構４４、ひいてはバケット４４５の動作を制御することができる。遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔通信機器２４０を通じて、当該操作態様に応じた遠隔操作指令が操作支援装置１０に対して送信される（図４／ＳＴＥＰ２１２）。

【0056】

操作支援装置１０において当該遠隔操作指令が受信された場合、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

【0057】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業機構４４等の動作が制御される（図４／ＳＴＥＰ４１２）。例えば、バケット４４５により作業機械４０の前方の土および／または石などを掘り起こしてすくい、上部旋回体４２を下部走行体４１に対して旋回させたうえで、適当な場所にバケット４４５から当該土等を落とす作業が実行される。

【0058】

実機制御装置４００から実機状態を表わす実機状態データが操作支援装置１０に対して送信される（図４／ＳＴＥＰ４１４）。実機状態データには、関節負荷センサ４１４の出力信号または各関節機構の負荷ｑ_kを表わすデータおよび関節角度センサ４１６の出力信号または各関節機構の関節角度を表わすデータが含まれている。

【0059】

操作支援装置１０において、実機状態データが受信された場合（図４／Ｃ１４）、当該実機状態データに含まれている各関節機構の負荷ｑ_k（実負荷）を表わすデータに基づき、関節負荷認識要素１２１により、第１関節機構、第２関節機構および第３関節機構のそれぞれの負荷ｑ₁、ｑ₂およびｑ₃が認識される（図４／ＳＴＥＰ１２１）。

【0060】

さらに、当該実機状態データに含まれている各関節機構の関節角度を表わすデータに基づき、関節最大出力認識要素１２２により、第１関節機構、第２関節機構および第３関節機構のそれぞれの最大出力Ｑ₁、Ｑ₂およびＱ₃が認識される（図４／ＳＴＥＰ１２２）。

【0061】

ところで、第ｋ関節機構（ｋ＝１，２，３）の最大出力Ｑ_kは、その関節角度θ_kおよび諸元情報Ｓ_kに応じて変動する。例えば、図５に一点鎖線および二点鎖線のそれぞれにより概念的に示されているように、第ｋ関節機構の最大出力Ｑ_kは、関節角度θ_kが最小値から大きくなるのに応じて、極大値に達するまでは大きくなり、極大値に達した後には小さくなるというように、関節角度θ_kに応じて変動する。

【0062】

また、第ｋ関節機構の最大出力Ｑ_kは、図５に一点鎖線および二点鎖線のそれぞれにより概念的に示されているように、関節角度θ₁が同じであっても、リンクのサイズおよび／または自重が大きいほど大きいなど、諸元情報Ｓ_kの相違（Ｓ_k＝Ｘ₁の場合およびＳ_k＝Ｘ₂の場合）に応じて変動する。

【0063】

このため、第ｋ関節機構（ｋ＝１，２，３）の最大出力Ｑ_kは、その関節角度θ_kおよび諸元情報Ｓ_kに基づいて定められる。諸元情報Ｓ_kには、ブーム４４１および／またはアーム４４３（リンク）の長さ（サイズ）、自重および（油圧回路を構成するリリーフバルブの）リリーフ圧など、諸元を表わすパラメータが含まれている。各関節機構の最大出力Ｑ_kは、その関節角度θ_kおよび諸元情報Ｓ_kを変数とする関数Ｑ_k（θ_k，Ｓ_k）として定義されていてもよく、最大出力Ｑ_kと関節角度θ_kおよび諸元情報Ｓ_kとの相関関係を表わすテーブルにより定義されていてもよい。該当する作業機械４０またはその作業機構４４の諸元情報Ｓ_kは、実機状態データに含まれているまたは付随している当該作業機械４０の実機識別子に基づき、データベース１０２から検索される。
関節角度θ₃は、関節角度θ₂および関節角度θ₁を考慮して地表面ＧＬに対する角度に補正されてもよい。関節角度θ₂は、関節角度θ₁を考慮して地表面ＧＬに対する角度に補正されてもよい。関節角度θ_kは、重力の作用する方向に垂直な水平面に対する角度に補正されてもよい。関節角度θ_kに対する最大出力Ｑ_kは、バケット４４５が接触する地形の形状に応じて補正されてもよく、例えば、下部走行体４１が地表面ＧＬに位置する状態でバケット４４５で地表面ＧＬを掘削する場合と、下部走行体４１が地表面ＧＬに位置する状態でバケット４４５で地表面ＧＬとは異なる面（地表面ＧＬに対して傾斜している斜面、地表面ＧＬに対して高さの異なる面、など）を掘削する場合とで、最大出力Ｑ_kと関節角度θ_kの関係性を異ならせるように補正される。より具体的には、バケット４４５が接触する地形の形状が地表面ＧＬよりも上側に位置するほど関節角度θ_kに対する最大出力Ｑ_kが上がりやすく、バケット４４５が接触する地形の形状が地表面ＧＬよりも下側に位置するほど関節角度θ_kに対する最大出力Ｑ_kが下がりやすくなるように最大出力Ｑ_kと関節角度θ_kの関係性が補正される。バケット４４５が接触する地形の形状は、ネットワーク通信に基づいてデータベース１０２等から提供されてもよいし、作業機械４０に地形の形状を計測可能な装置を搭載することで取得されてもよい。これらの補正処理の少なくとも一部をすることで、より正確に最大出力Ｑ_kを見積もることができる。

【0064】

第１関節機構の最大出力Ｑ₁は、関節角度θ₁および諸元情報Ｓ₁が同じであっても、第２関節機構の関節角度θ₂および諸元情報Ｓ₂（ならびに第３関節機構の関節角度θ₃および諸元情報Ｓ₃）が相違する場合には相違する。このため、第１関節機構の最大出力Ｑ₁が、その関節角度θ₁および諸元情報Ｓ₁に加えて、第２関節機構の関節角度θ₂および諸元情報Ｓ₂、さらには第３関節機構の関節角度θ₃および諸元情報Ｓ₃に基づいて定められてもよい。同様に、第２関節機構の最大出力Ｑ₂が、第２関節機構の関節角度θ₂および諸元情報Ｓ₂に加えて、第３関節機構の関節角度θ₃および諸元情報Ｓ₃に基づいて定められてもよい。

【0065】

第ｋ関節機構の最大出力Ｑ_kが、諸元情報Ｓ_kによらずに、関節角度θ_k（ならびに必要に応じて他の関節機構の関節角度）に基づいて定められてもよい。

【0066】

そして、指標情報生成要素１２４により、第ｋ関節機構の最大出力Ｑ_kに対する負荷ｑ_kに基づき、第ｋ関節機構の負荷余裕度を表わす指標情報が生成され、かつ、操作支援装置１０から遠隔操作装置２０に対して当該指標情報が送信される（図４／ＳＴＥＰ１２４）。

【0067】

具体的には、第ｋ関節機構の最大出力Ｑ_kに対する負荷ｑ_kの比率である関節負荷率ｒ_k＝（ｑ_k／Ｑ_k）が負荷余裕度として求められる。そのほか、第ｋ関節機構の最大出力Ｑ_kに対する負荷ｑ_kの偏差ΔＱ_k＝Ｑ_k－ｑ_k、または、最大出力Ｑ_kに対する当該偏差ΔＱ_kの比率（Ｑ_k－ｑ_k）／Ｑ_kなど、負荷ｑ_kが大きくなるほど値が小さくなるような任意の変数が負荷余裕度として求められてもよい。遠隔操作装置２０に対して送信される指標情報には、当該指標情報の遠隔出力インターフェース２２０を通じた出力形態の指令が含まれていてもよい。

【0068】

遠隔操作装置２０において遠隔制御装置２００により指標情報が受信された場合（図４／Ｃ２２）、遠隔出力インターフェース２２０（出力機器）を通じて当該指標情報が出力される（図４／ＳＴＥＰ２１４）。

【0069】

具体的には、第ｋ関節機構の関節負荷率ｒ_k（負荷余裕度）の高低を表わす第ｋ指標画像が遠隔画像出力装置２２１に出力される。例えば、図６に示されているように、第ｋ関節機構の関節負荷率ｒ_kを表わす棒グラフ状のインジケータとしての第ｋ指標画像Ｍ_k＝Ｍ_k（ｒ_k）が作業環境画像に重畳されて出力される。オペレータは、このような指標画像Ｍ_kを視認することで負荷余裕度を知覚できる。

【0070】

各指標画像Ｍ_kは上下方向の長さが同一となるように横並べに配置されており、例えば、第１関節機構に対応する指標画像Ｍ₁と、第２関節機構に対応する指標画像Ｍ₂と、第３関節機構に対応する指標画像Ｍ₃と、が指標画像Ｍ_kとして出力される。各指標画像Ｍ_kのそれぞれの位置に各関節負荷率ｒ_kの数値を重畳して出力してもよい。第ｋ指標画像Ｍ_kは、棒グラフを構成しており関節負荷率ｒ_kに応じて上下方向の長さが変化する変動指標画像Ｍr_kを有しており、変動指標画像Ｍr_kは各指標画像Ｍ_k毎に異なる色に配色される。関節負荷率ｒ_kが０の場合には変動指標画像Ｍr_kはその上下方向の長さが最小（ゼロ）となり、関節負荷率ｒ_kが最小（ゼロ）から大きくなると関節負荷率ｒ_kに応じて変動指標画像Ｍr_kの上下方向の長さが上方に伸びていき、関節負荷率ｒ_kが１に達すると変動指標画像Ｍr_kの上下方向の長さが最大となる。上下方向の長さが最大となった状態の変動指標画像Ｍr_kの上端の位置を示す指標画像が出力されてもよく、例えば、図６では上下方向の長さが最大となった状態の変動指標画像Ｍr_kの外形に対応する枠を変動指標画像Ｍr_kに重畳している。また、第ｋ関節機構の回動方向に応じて出力される指標画像Ｍ_kが変更されてもよく、例えば、第ｋ関節機構が回動されることで関節角度θ_kが増加する場合には、図７（ａ）に示されるように出力する変動指標画像Ｍr_kを関節負荷率ｒ_kが大きくなるほど上下方向の長さが上方に伸びていくように出力し、第ｋ関節機構回動されることで関節角度θ_kが減少する場合には、図７（ｂ）に示されるように出力する変動指標画像Ｍr_kを関節負荷率ｒ_kが大きくなるほど上下方向の長さが下方に伸びていくように出力するようにしてもよい。 第ｋ指標画像Ｍ_kは、第ｋ関節機構の関節負荷率ｒ_kを表わす円グラフ状のインジケータであってもよく、当該関節負荷率ｒ_kの時系列を表わす折れ線グラフ（横軸‥時間、縦軸‥関節負荷率ｒ_k）であってもよい。第ｋ指標画像Ｍ_kは、作業環境画像に重畳されない形態で出力されてもよい。関節負荷率ｒ₁が高くなるほど、第ｋ指標画像Ｍ_kの明度が変化し（例えば、低くなり）、かつ／または、色相が青から赤に色相環に沿って近くなるように当該画像領域の色が調節されてもよい。

【0071】

そのほか、例えば、図８に示されているように、ブーム４４１、アーム４４３およびバケット４４５を表わす画像領域により第ｋ指標画像が構成されている、作業機械４０を模擬的に表わす実機モデル画像が遠隔画像出力装置２２１に出力されてもよい。例えば、第１関節機構の関節負荷率ｒ₁が高くなるほど、ブーム４４１を表わす画像領域の明度が低くなり、かつ／または、色相が青から赤に色相環に沿って近くなるように当該画像領域の色が調節されてもよい。ブーム４４１、アーム４４３およびバケット４４５のそれぞれを表示している位置に各関節負荷率ｒ_kの数値を重畳して出力してもよい。

【0072】

第ｋ関節機構の関節負荷率ｒ_k（負荷余裕度）の高低を表わす第ｋ指標音響Ａ_k＝Ａ_k（ｒ_k）が遠隔音響出力装置２２２から出力されてもよい。具体的には、左側操作レバー２１１１および／または右側操作レバー２１１２の操作態様と各関節機構の関節角度の制御態様または変化態様との関係に応じて、中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれから相互に周波数が異なる第ｋ指標音響Ａ_k＝Ａ_k（ｒ_k）が付与される。

【0073】

例えば、（１）右側操作レバー２１１２の前後の並進（または傾動）、（２）左側操作レバー２１１１の前後の並進および（３）右側操作レバー２１１２の左右の並進のそれぞれにより、第１、第２および第３関節機構のそれぞれの関節角度θ₁、θ₂およびθ₃が制御される場合について考える。この場合、（１）第１関節機構の関節負荷率ｒ₁の高低に応じて音圧の高低が変化する第１指標音響Ａ₁が右側音響出力装置２２２２から出力される。また、（２）第２関節機構の関節負荷率ｒ₂の高低に応じて音圧の高低が変化する第２指標音響Ａ₂が左側音響出力装置２２２１から出力される。（３）第３関節機構の関節負荷率ｒ₃の高低に応じて音圧の高低が変化する第３指標音響Ａ₃が中央音響出力装置２２２０から出力される。

【0074】

遠隔音響出力装置２２２が単一の音響出力装置により構成され、第１指標音響Ａ₁、第２指標音響Ａ₂および第３指標音響Ａ₃が順に出現する単一の指標音響が断続的に当該単一の音響出力装置から出力されてもよい。

【0075】

遠隔力覚生成要素２２４により、第ｋ関節機構の関節負荷率ｒ_k（負荷余裕度）の高低に応じて強弱が変化する第ｋ指標圧力が遠隔操作機構２１１に伝達されてもよい。この場合、左側操作レバー２１１１および／または右側操作レバー２１１２の操作態様と各関節機構の関節角度の制御態様または変化態様との関係に応じて、操作レバーアクチュエータによって左側操作レバー２１１１および／または右側操作レバー２１１２に対して第ｋ指標圧力ｆ_k＝ｆ_k（ｒ_k）が付与される。

【0076】

例えば、（１）右側操作レバー２１１２の前後の並進（または傾動）、（２）左側操作レバー２１１１の前後の並進および（３）右側操作レバー２１１２の左右の並進のそれぞれにより、第１、第２および第３関節機構のそれぞれの関節角度θ₁、θ₂およびθ₃が制御される場合について考える。この場合、（１）第１関節機構の関節負荷率ｒ₁の高低に応じて強弱が変化する第１指標圧力ｆ₁（または反力）が右側操作レバー２１１２に対して、前後方向（右側操作レバー２１１２が（オペレータの右手から）前後のいずれかの方向力を受けている場合には当該力の作用方向とは反対方向）に付与される。また、（２）第２関節機構の関節負荷率ｒ₂の高低に応じて強弱が変化する第２指標圧力ｆ₂（または反力）が左側操作レバー２１１１に対して、前後方向（左側操作レバー２１１１が（オペレータの左手から）前後のいずれかの方向に力を受けている場合には当該力の作用方向とは反対方向）に付与される。（３）第３関節機構の関節負荷率ｒ₃の高低に応じて強弱が変化する第３指標圧力ｆ₃（または反力）が右側操作レバー２１１２に対して、左右方向（右側操作レバー２１１２が（オペレータの右手から）左右いずれかの方向に力を受けている場合には当該力の作用方向とは反対方向）に付与される。左側操作レバー２１１１および右側操作レバー２１１２のそれぞれに作用する力は、例えば、各操作レバーに設けられた操作力センサまたは圧力センサ（図示略）の出力信号に応じて測定されうる。オペレータは、作業機械４０の操作のために握る右側操作レバー２１１２や左側操作レバー２１１１に付与される第ｋ指標圧力ｆkを手に受けることで負荷余裕度を知覚できる。

【0077】

指標情報として、第ｋ指標画像Ｍ_k、第ｋ指標音響Ａ_kおよび第ｋ指標圧力ｆ_kのうち少なくとも１つが遠隔出力インターフェース２２０を通じて出力されうる。第ｋ関節機構の関節負荷率ｒ_kを表わす指標情報の出力形態（第ｋ指標画像Ｍ_k、第ｋ指標音響Ａ_kおよび第ｋ指標圧力ｆ_kの一部または全部）の組み合わせがさまざまに変更されてもよい。例えば、第ｋ₁関節機構（ｋ₁＝１，２，３）の関節負荷率ｒ_k1が第ｋ₁指標画像Ｍ_k1として遠隔画像出力装置２２１に出力され、第ｋ₂関節機構（ｋ₂≠ｋ₁、ｋ₂＝１，２，３）の関節負荷率ｒ_k2が第ｋ₁指標圧力ｆ_k2として遠隔力覚生成装置２２４から出力され、または、第ｋ₂指標画像Ｍ_k2として遠隔音響出力装置２２２から出力されてもよい。指標状態の出力形態の組み合わせは、遠隔入力インターフェース２１０を通じて可変的に設定されてもよい。

【0078】

遠隔入力インターフェース２１０（入力機器）を通じて設定された設定情報に基づき、遠隔出力インターフェース２２０（出力機器）を通じて提供される指標情報が変調されてもよい。例えば、設定情報としてゲイン係数が大きく設定された場合、第ｋ指標画像Ｍ_kのサイズが大きく、かつ／または、彩度もしくは明度が高くなるように変調され、第ｋ指標音響Ａ_kの音圧が高くまたは周波数が高くなるように変調され、かつ／または、第ｋ指標圧力ｆ_kが強くなるように変調されてもよい。

【0079】

指標情報として、第ｋ関節機構の関節負荷率ｒ_kが閾値ｒ_{k_th}以上になったことを要件として、第ｋ指標画像Ｍ_k、第ｋ指標音響Ａ_kおよび第ｋ指標圧力ｆ_kのうち少なくとも１つが遠隔出力インターフェース２２０を通じて出力されてもよい。第ｋ指標画像Ｍ_k、第ｋ指標音響Ａ_kおよび第ｋ指標圧力ｆ_kのそれぞれに対して、共通の閾値ｒ_{k_th}が適用されてもよく、異なるまたは個別の閾値ｒ_{k_th}が適用されてもよい。例えば、第ｋ指標音響Ａ_kに適用される閾値ｒ_{k_th}が、第ｋ指標画像Ｍ_kおよび第ｋ指標圧力ｆ_kに適用される閾値ｒ_{k_th}よりも大きく設定されてもよい。閾値ｒ_{k_th}が遠隔入力インターフェース２１０を通じて可変的に設定されてもよい。

【0080】

その後、遠隔操作装置２０による作業機械４０の遠隔操作が停止されるまで、遠隔操作装置２０から操作支援装置１０に対する「実機環境確認要求」の送信処理（図４／ＳＴＥＰ２１０）または作業機械４０から操作支援装置１０に対する撮像画像データの送信処理（図４／ＳＴＥＰ４１０）以降の処理が繰り返される。

【0081】

（作用効果）
前記機能を発揮する操作支援装置１０によれば、遠隔入力インターフェース２１０（出力機器）を通じて指標情報がオペレータに対して提供またはフィードバックされる（図４／ＳＴＥＰ２１４、図６～図８参照）。これにより、作業機構４４（アタッチメント）の角関節機構の関節負荷率（負荷余裕度）を当該オペレータに視覚、聴覚および触覚のいずれか１つを通じて知覚させることができる。このため、関節機構の過負荷を回避する観点から、オペレータに適当に作業機械４０を操作させることができ、ひいては当該作業機械４０による作業機構４４を用いた作業効率の向上が図られる。

【0082】

（本発明の他の実施形態）
前記実施形態では、操作支援装置１０が遠隔操作装置２０および作業機械４０とは別個のコンピュータにより構成されていたが、他の実施形態として、操作支援装置１０が、遠隔操作装置２０の遠隔制御装置２００または作業機械４０の実機制御装置４００により構成されていてもよい。操作支援装置１０が遠隔操作装置２０の遠隔制御装置２００により構成されている場合、前記実施形態における操作支援装置１０と遠隔操作装置２０とのデータ通信は、遠隔操作装置２０の内部ネットワークまたは遠隔制御装置２００を構成するネットワークを介して実行される。操作支援装置１０が作業機械４０の実機制御装置４００により構成されている場合、前記実施形態における操作支援装置１０と作業機械４０とのデータ通信は、作業機械４０の内部ネットワークまたは実機制御装置４００を構成するネットワークを介して実行される。

【0083】

前記実施形態では、作業機械４０がオペレータにより遠隔操作装置２０を通じて遠隔操作されていたが、他の実施形態として、作業機械４０が当該作業機械４０に搭乗したオペレータにより実機搭乗操作されてもよい。この場合、実機出力インターフェース４２０は、遠隔出力インターフェース２２０と同様の構成であり、遠隔画像出力装置２２１、遠隔音響出力装置２２２および遠隔力覚生成装置２２４のそれぞれと同様の構成の実機画像出力装置と、実機音響出力装置および実機力覚生成装置２２４を備えている。

【0084】

当該他の実施形態において、操作支援装置１０から作業機械４０に対して指標情報（必要に応じて、当該指標情報の出力形態の指令）が送信され、実機出力インターフェース４２０を通じて支援情報が出力される（図４／ＳＴＥＰ１２４→‥→ＳＴＥＰ２１４、図６～図８参照）。例えば、遠隔画像出力装置２２１に相当する実機画像出力装置を通じて第ｋ指標画像Ｍ_kが出力されてもよい。これに加えてまたは代えて、遠隔力覚生成装置２２４に相当する実機力覚生成装置を通じて第ｋ指標圧力ｆ_kが実機操作機構４１１を構成する操作レバーに伝達されてもよい。遠隔音響出力装置２２２に相当する実機音響出力装置を通じて第ｋ指標音響Ａ_kが出力されてもよい。

【0085】

操作支援装置１０によって生成される指標情報は、オペレータ、作業者および／または施工管理者が携帯する、スマートフォンまたはタブレットのような端末機器を構成する画像出力装置および／または音響出力装置および／または力覚生成装置（圧電素子）を通じて出力されてもよい。

【符号の説明】

【0086】

１０‥操作支援装置
１０２‥データベース
１２１‥関節負荷認識要素
１２２‥関節最大出力認識要素
１２４‥指標情報生成要素
１４０‥実機通信機器
２０‥遠隔操作装置
２００‥遠隔制御装置
２１０‥遠隔入力インターフェース
２１１‥遠隔操作機構
２１１１‥左側操作レバー
２１１２‥右側操作レバー
２２０‥遠隔出力インターフェース
２２１‥遠隔画像出力装置
２２２‥遠隔音響出力装置
２２４‥遠隔力覚生成要素
２４０‥遠隔通信機器
４０‥作業機械
４１‥下部走行体
４２‥上部旋回体
４２Ｃ‥キャブ（運転室）
４４‥作業機構（アタッチメント）
４４５‥バケット
４００‥実機制御装置
４１０‥実機入力インターフェース
４１２‥実機撮像装置
４２０‥実機出力インターフェース
Ｍ₁‥第１指標画像
Ｍ₂‥第２指標画像
Ｍ₃‥第３指標画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】