特許 7544198 作業支援サーバおよび作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】作業支援サーバおよび作業支援システム

(51)【国際特許分類】

   G09B 9/052 20060101AFI20240827BHJP

   G09B 19/16 20060101ALI20240827BHJP

   E02F 9/26 20060101ALI20240827BHJP

   G05D 1/00 20240101ALI20240827BHJP

【ＦＩ】

G09B9/052

G09B19/16

E02F9/26 B

G05D1/00

【請求項の数】 5

(21)【出願番号】P 2023106584

(22)【出願日】2023-06-29

(62)【分割の表示】P 2019233255の分割

【原出願日】2019-12-24

(65)【公開番号】P2023129430

(43)【公開日】2023-09-14

【審査請求日】2023-06-30

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】大谷 真輝

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】嶋田 行志

(56)【参考文献】

【文献】国際公開第２０１９／０１７１５９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１８９８８８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３７１１９６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１０２６２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００３９８６２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２９２８４６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／００３９２４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０１８０５２３（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１７２４２４（ＷＯ，Ａ１）

【文献】タブレット端末を用いた建設機械の直視遠隔操作インタフェースの開発－インタフェースの試作とスケールモデルによる操作性評価実験－，第３４回日本ロボット学会学術講演会予稿集ＤＶＤ－ＲＯＭ ２０１６年

【文献】Ｋ－ＤＩＶＥ 遠隔操作システムと稼働データを用いた現場改善ソリューション，シーテック ２０２３

【文献】３ＤＶＲによる重機の遠隔操縦システム，人とくるまのテクノロジー展２０２１ オンライン ［ｏｎｌｉｎｅ］ AUTOMOTIVE ENGINEERING EXPOSITION 2021 ONLINE

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ９／００－Ｇ０９Ｂ ９／５６

Ｇ０５Ｄ １／００－Ｇ０５Ｄ １／８７

Ｇ０６Ｑ １０／００－Ｇ０６Ｑ ９９／００

Ｅ０２Ｆ ９／００－Ｅ０２Ｆ ９／２８

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

ＫＡＫＥＮ

(57)【特許請求の範囲】

【請求項1】

作業機械と、クライアントおよびサーバとの間における通信に基づき、オペレータによる作業機械の操作技術の向上を支援するための作業支援システムであって、
連携する前記作業機械の動作を制御する第１クライアントと、
前記第１クライアントと連携する前記作業機械であって、当該作業機械の環境を撮像する撮像装置を備えており、前記第１クライアントにより動作が制御される第１作業機械と、
前記サーバにより認識され仮想作業現場に配置される第２作業機械と、
第２クライアントと、を備え、
前記第２クライアントは、前記撮像装置が撮像した撮像画像の時系列である作業環境画像において前記オペレータによる一の時系列の指定を受け付ける入力インターフェースと、画像を表示可能な画像出力装置と、前記第２作業機械を前記仮想作業現場において動作させるための前記オペレータによる操作を受ける第２操作機構と、を備え、
前記サーバは、前記第２操作機構が受ける前記操作に応じて前記仮想作業現場における前記第２作業機械の動作態様を認識し、前記入力インターフェースにおいて前記指定が受け付けられた前記一の時系列における作業環境画像である指定作業環境画像と、前記動作態様に応じて前記第２作業機械が動作する様子を示すシミュレーション画像と、を前記画像出力装置に出力させる
作業支援システム。

【請求項2】

請求項１に記載の作業支援システムにおいて、
前記サーバは、前記第２操作機構が受ける前記操作に応じて前記仮想作業現場における前記仮想作業現場における前記第２作業機械の前記動作態様および環境変化態様を認識し、前記シミュレーション画像として認識した前記第２作業機械の前記動作態様および前記環境変化態様を表すシミュレーション画像を前記画像出力装置に出力させる
作業支援システム。

【請求項3】

請求項１または２に記載の作業支援システムにおいて、
前記サーバは、前記指定作業環境画像に重畳させて前記シミュレーション画像を前記画像出力装置に出力させる
作業支援システム。

【請求項4】

請求項１～３のいずれか１項に記載の作業支援システムにおいて、
前記サーバは、前記入力インターフェースにおいて前記指定が受け付けられた前記時系列における前記指定作業環境画像により示されている前記第１作業機械の動作態様と、前記シミュレーション画像の時系列により示されている前記第２作業機械の動作態様と、の差分が閾値を超えた場合に、前記オペレータに確認させるための情報を前記第２画像出力装置に出力させる
作業支援システム。

【請求項5】

請求項１～４のいずれか１項に記載の作業支援システムにおいて、
前記第１作業機械は、前記第１クライアントに備えられ前記第１クライアントと連携する前記作業機械を動作させるための操作を受ける第１操作機構が受ける操作に応じて動作が制御され、
前記入力インターフェースが前記指定を受け付ける前記作業環境画像における前記一の時系列は、指定時点と前記指定時点以降の指定時系列とを含み、
前記入力インターフェースは、前記オペレータによる前記指定時点を含む前記一の時系列の指定を受け付け、
前記サーバは、前記第２作業機械の操作開始時点における前記第２操作機構の操作状態を、前記指定時点に相当する時点における前記第１操作機構の操作状態に整合させる
作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、クライアントとの通信に基づき、オペレータによる作業機械の操作技術の向上を支援するための作業支援サーバに関する。

【背景技術】

【0002】

不慣れなオペレータに対し、効率的な掘削作業をもたらす最適な操作を促せるようにした建設機械の表示装置が提案されている（例えば、特許文献１参照）。具体的には、車体の牽引力を操作する第１操作部および車体前部の作業機を指令および操作する第２操作部のそれぞれの操作量に対応付けられて、予め設定された掘削作業における「目標牽引力値」、「目標リフト力値に対する実際の掘削作業の牽引力値」および「リフト力値」が対比されて表示される。これにより、オペレータに対し、各段階の作業（車両の走行、作業機のリフト）で、燃費の改善および作業効率のよい操作の促しが図られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０４０４２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、作業機械の操作の経験が浅いオペレータにとっては、操作技術の向上の観点から、ベテランのオペレータなどが作業機械を操作している様子を参考しながらシミュレーションによる操作の経験を積むことが好ましい。

【0005】

そこで、本発明は、オペレータが、自身または他のオペレータによる作業機械の操作の様子を参考しながらシミュレーションによる操作の経験を積むことができるサーバ等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、クライアントとの通信に基づき、オペレータによる作業機械の操作技術の向上を支援するための作業支援サーバに関する。

【0007】

本発明の作業支援サーバは、第１作業機械の操作のために第１オペレータにより用いられている第１クライアントとの通信に基づき、前記第１作業機械と連携する撮像装置を通じて取得された前記第１作業機械の動作態様および環境変化態様を示す撮像画像の時系列を認識し、前記撮像画像に応じた作業環境画像の時系列をデータベースに蓄積的に記憶保持させる第１支援処理要素と、第２クライアントとの通信に基づき、前記データベースに記憶保持されている前記作業環境画像の時系列のうち、前記第２クライアントの入力インターフェースを通じて指定された指定作業環境画像の時系列を前記第２クライアントの出力インターフェースに出力させ、前記指定作業環境画像の時系列のうち前記第２クライアントの入力インターフェースを通じて指定された一の指定時点における指定作業環境画像に基づき、前記第２クライアントの入力インターフェースを通じた第２オペレータによるシミュレーション操作に応じた、仮想作業現場における第２作業機械の動作態様および環境変化態様を示すシミュレーション画像の時系列を前記第２クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。

【0008】

本発明の作業支援システムは、本発明の作業支援サーバと、前記第１クライアントと、前記第２クライアントと、により構成されていることを特徴とする。

【0009】

本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第２オペレータは、データベースに登録されている第１オペレータによる第１作業機械の操作態様、動作態様および環境変化態様を示す撮像画像に応じた作業環境画像の時系列または動画のアーカイブの中から一の作業環境画像の時系列を、第２クライアントの入力インターフェースを通じて指定することができる。作業環境画像の時系列は、例えば、第１作業機械が指定タスクの実行開始時点から実行終了時点までの期間にわたる作業環境画像の時系列がアーカイブを構成する単位として定義されてもよい。第２オペレータは、当該指定作業環境画像の時系列を第２クライアントの出力インターフェースを通じて閲覧することができる。第１オペレータは、第２オペレータとは異なる他のオペレータのほか、第２オペレータと同一のオペレータ、すなわち自分自身であってもよい。

【0010】

第２オペレータは、第２クライアントの入力インターフェースを通じて、指定作業環境画像の時系列のうち一の指定時点における指定作業環境画像を指定し、かつ、当該指定時点における指定作業環境画像に基づく仮想作業現場において第２作業機械のシミュレーション操作を行うことができる。第２オペレータは、当該シミュレーション操作態様に応じて、第２作業機械の仮想作業現場における動作態様および環境変化態様を示すシミュレーション画像の時系列を第２クライアントの出力インターフェースに出力させることができる。

【0011】

このように、第２オペレータは、参考になりそうな指定作業環境画像の時系列を閲覧し、さらに、当該指定作業環境画像の時系列の中からさらに参考になりそうな指定作業環境画像を指定し、当該指定作業環境画像に基づいて再現された仮想作業現場における第２作業機械のシミュレーション操作を行うことで、作業機械の操作技術の向上を図ることができる。

【0012】

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記指定作業環境画像の時系列のうち前記指定時点以降の指定時系列に、前記シミュレーション画像の時系列を重畳させて前記第２クライアントの出力インターフェースに出力させることが好ましい。

【0013】

当該構成の作業支援サーバ等によれば、第２オペレータは、第２クライアントの入力インターフェースを通じたシミュレーション操作態様に応じて、第２作業機械の仮想作業現場における動作態様および環境変化態様を示すシミュレーション画像を、指定時点以降の当該作業環境画像の指定時系列に重畳させて第２クライアントの出力インターフェースに出力させることができる。このため、参考にすべき第１作業機械の動作態様または第１オペレータの操作態様および環境変化態様と、第２作業機械の動作態様または第２オペレータのシミュレーション操作態様および仮想作業現場における環境変化態様との差分を第２オペレータに認識させ、その操作技術のさらなる向上が図られる。

【0014】

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記指定作業環境画像の指定時系列により示されている前記第１作業機械の動作態様と、前記シミュレーション画像の時系列により示されている前記第２作業機械の動作態様と、の差分が閾値を超えた場合、前記第２作業機械のシミュレーション操作のやり直しの要否を確認する情報を、前記第２クライアントの出力インターフェースに出力させることが好ましい。

【0015】

当該構成の作業支援サーバ等によれば、第１作業機械の動作態様または第１オペレータの操作態様および環境変化態様と、第２作業機械の動作態様または第２オペレータのシミュレーション操作態様および仮想作業現場における環境変化態様との差分が閾値を超えた場合、遠隔入力インターフェース２１０を通じて当該やり直しが必要であることが確認されるため、第２オペレータの操作技術のさらなる向上が図られる。

【0016】

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントを構成する第１操作機構の操作状態の時系列を認識し、前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第２作業機械のシミュレーション操作開始時点における前記第２クライアントを構成する第２操作機構の操作状態を、前記指定時点における前記第１操作機構の操作状態に整合させることが好ましい。

【0017】

当該構成の作業支援サーバ等によれば、第２オペレータは、第１オペレータによる第１操作機構の操作状態に整合した、第２操作機構の操作状態を起点として第２作業機械のシミュレーション操作を開始することができる。このため、第２オペレータが第１オペレータの操作技術を習得しやすさが向上し、第２オペレータの操作技術のさらなる向上が図られる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態としての作業支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】作業支援システムの第１機能に関する説明図。

【図5】作業支援システムの第２機能に関する説明図。

【図6】作業環境画像の時系列に関する説明図。

【図7】シミュレーション画像の時系列に関する説明図。

【発明を実施するための形態】

【0019】

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。

【0020】

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置軌道のほか、撮像画像、作業環境画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0021】

（遠隔操作装置の構成）
クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

【0022】

遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該クライアントが構成されていてもよい。当該携帯端末は、作業支援サーバ１０との通信機能を有していてもよい。

【0023】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0024】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

【0025】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0026】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0027】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0028】

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４が設けられている。

【0029】

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

【0030】

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

【0031】

作動機構としての作業アタッチメント４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0032】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0033】

（機能）
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0034】

（第１機能（作業環境画像の登録））
第１クライアントとしての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「指定操作」は、遠隔操作装置２０と連携する作業機械４０を選択する操作であり、例えば、遠隔入力インターフェース２１０を構成するタッチパネルにおけるタップ、スワイプ、フリックまたはピンチアウト／インなどのタッチ操作である。当該タッチパネルは、例えば、遠隔操作の対象となり得る作業機械４０の実機画像が表示され、タッチパネルにおける当該実機画像の表示位置に対して操作がなされたか否かが判定される。指定操作が中断されるなど当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して遠隔操作装置２０と連携する作業機械４０の操作に必要な撮像画像を要求するための作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。

【0035】

作業支援サーバ１０において、作業環境画像要求が受信された場合、第１支援処理要素１２１により当該作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0036】

作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０４）。

【0037】

作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。また、作業環境画像データの時系列がデータベース１０２に登録または記憶保持される（図４／ＳＴＥＰ１１４）。

【0038】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて作業環境画像データが受信された場合（図４／Ｃ２０）、作業環境画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。これにより、例えば図６に示されているように、遠隔操作装置２０と連携する作業機械４０に搭載された実機撮像装置４１２により撮像された作動機構としての作業アタッチメント４４の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業環境画像が画像出力装置２２１に表示される。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。

【0039】

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

【0040】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される（図６参照）。当該作業時において、図６に示されるように、例えば時点ｔ＝ｔｋ（ｋ＝１，２，３，４，５，６）における作業環境画像（動画または断続的な静止画）が画像出力装置２２１に表示される。ｔ＝ｔ１における作業環境画像は、掘削開始位置にバケット４４５を移動させた直後であって、作業アタッチメント４４を前方に伸ばしてバケット４４５を地面に押し当てている様子を示す。ｔ＝ｔ２における作業環境画像は、アーム４４３を手前に近づける操作がなされている様子を示す。ｔ＝ｔ３における作業環境画像は、バケット４４５に十分に土砂が入った後にバケット４４５を土を把持する保持姿勢にした様子を示す。ｔ＝ｔ４における作業環境画像は、ブーム４４１を上昇させる操作をしながら左旋回をする様子を示す。ｔ＝ｔ５における作業環境画像は、左旋回後にアーム４４３を遠ざける操作をして排土位置の真上にバケット４４５が位置させた様子を示す。ｔ＝ｔ６における作業環境画像は、バケットが排土姿勢となりバケット４４５から土が落下する様子を示す。

【0041】

（第２機能（シミュレーション画像の出力））
第２クライアントとしての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた再生操作の有無が判定される（図５／ＳＴＥＰ２１０）。「再生操作」には、例えば、遠隔入力インターフェース２１０および遠隔出力インターフェース２２０を構成するタッチパネルにおいて表示されているデータベース１０２に登録されている作業環境画像のライブラリの中から一の作業環境画像を指定するためのタッチ操作が含まれている。遠隔入力インターフェース２２２により、作業環境画像の再生開始、再生停止、再生一時停止、早送りおよび巻き戻しが可能になっている。

【0042】

当該判定結果が否定的である場合（図／ＳＴＥＰ２１０‥ＮＯ）一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して再生要求が送信される（図５／ＳＴＥＰ２１２）。再生操作を伴う再生要求には、オペレータにより指定された作業環境画像を識別するための画像識別子が含まれている。

【0043】

作業支援サーバ１０において、再生要求が受信された場合（図５／Ｃ１３）、第２支援処理要素１２２により、当該再生要求に含まれている画像識別子に基づき、再生対象となる作業環境画像の時系列が指定作業環境の時系列としてデータベース１０２から検索される（図５／ＳＴＥＰ１２０）。

【0044】

第２支援処理要素１２２により、遠隔操作装置２０に対して、指定作業環境画像の時系列を表わすデータが送信される（図５／ＳＴＥＰ１２１）。

【0045】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて作業環境画像データが受信された場合（図５／Ｃ２１）、当該作業環境画像データに応じた作業環境画像が画像出力装置２２１において再生または出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図６に示されているように、作動機構としての作業アタッチメント４４の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている異なる時点ｔ＝ｔ１、ｔ２、ｔ３、ｔ４、ｔ５およびｔ６のそれぞれにおける作業環境画像（動画または断続的な静止画）が時系列的に画像出力装置２２１に表示される。

【0046】

遠隔制御装置２００により、遠隔入力インターフェース２１０における操作を通じた再生停止操作の有無が判定される（図５／ＳＴＥＰ２１６）。

【0047】

当該判定結果が否定的である場合、（図５／ＳＴＥＰ２１６‥ＮＯ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して再生操作を伴わない再生要求が送信され、その結果として画像出力装置２２１において作業環境画像の時系列が継続的に出力される（図５／ＳＴＥＰ２１２→Ｃ１３→ＳＴＥＰ１２０→ＳＴＥＰ１２１→Ｃ２１→ＳＴＥＰ２１４参照）。

【0048】

その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１６‥ＹＥＳ）、遠隔制御装置２００により、再生停止要求が、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により、作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２１８）。この場合、作業支援サーバ１０に対して再生操作を伴わない再生要求が送信されなくなるので、その結果として画像出力装置２２１において作業環境画像の時系列の再生が停止される。再生停止要求には、作業環境画像の時系列の再生停止時点が指定時点として含まれている。

【0049】

作業支援サーバ１０において、再生停止要求が受信された場合（図５／Ｃ１４）、第２支援処理要素１２２により、当該再生停止要求に含まれている指定時点における作業環境画像に基づき、シミュレーション状況が認識される（図５／ＳＴＥＰ１２２）。例えば、図６に示されている作業環境画像の時系列のうち指定時点ｔ＝ｔｋにおける作業環境画像に応じた、仮想作業現場における作業機械（第２作業機械）の動作態様および環境変化態様がシミュレーション状況として認識される。

【0050】

さらに、第２支援処理要素１２２により、シミュレーション状況を表わすシミュレーション画像データが遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２３）。

【0051】

遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２によりシミュレーション画像データが受信された場合（図５／Ｃ２２）、遠隔出力インターフェース２２０を構成する画像出力装置２２１においてシミュレーション画像が出力される（図５／ＳＴＥＰ２２０）。これにより、例えば図７に示されている時点ｔ＝τｊ（ｊ＝１，２，‥）における仮想作業現場における作業機械（第２作業機械）の動作態様および環境変化態様を示すシミュレーション画像が画像出力装置２２１において出力される。この際、画像出力装置２２１において、停止状態の作業環境画像に代えてシミュレーション画像が出力されてもよく、シミュレーション画像の片隅に停止状態の作業環境画像が出力されていてもよい。

【0052】

遠隔制御装置２０により、遠隔入力インターフェースを通じたシミュレーション停止操作の有無が判定される（図５／ＳＴＥＰ２２２）。

【0053】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔制御装置２００により、シミュレーション停止要求が無線通信機器２２２を通じて作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２８）。
その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ２２２‥ＮＯ）、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２２４）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じたシミュレーション操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２６）。

【0054】

作業支援サーバ１０において、シミュレーション操作指令が受信された場合（図４／Ｃ１４）、第２支援処理要素１２２により、当該シミュレーション操作指令に応じたシミュレーション状況が認識される（図５／ＳＴＥＰ１２２）。例えば、遠隔操作機構２１１の操作態様が、ブーム４４１を上部旋回体４２に対して起き上がらせることにより作業アタッチメント４４を全体的に起き上がらせる状況を実現するものである場合、シミュレーションにおいて作業アタッチメント４４がそのように動作する状況がシミュレーション状況として認識される。

【0055】

第２支援処理要素１２２により、シミュレーション画像を表わすデータが遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２３）。そして、第２支援処理要素１２２により、シミュレーション停止要求の有無が判定される（図５／ＳＴＥＰ１２４）。当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２４‥ＹＥＳ）、一連の処理が終了する。当該判定結果が否定的である場合（図５／ＳＴＥＰ１２４‥ＮＯ）、シミュレーション操作指令の受信以降の処理が繰り返される（図５／Ｃ１４→ＳＴＥＰ１２２→ＳＴＥＰ１２３参照）。

【0056】

遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２によりシミュレーション画像データが受信された場合（図５／Ｃ２２）、遠隔出力インターフェース２２０を構成する画像出力装置２２１においてシミュレーション画像が出力される（図５／ＳＴＥＰ２２０）。これにより、例えば図７に示されている時点ｔ＝τｊ（ｊ＝１，２，‥）におけるシミュレーション画像が画像出力装置２２１において出力される。

【0057】

ｔ＝τ１における作業環境画像は、掘削開始位置にバケット４４５を移動させた直後であって、作業アタッチメント４４を前方に伸ばしてバケット４４５を地面に押し当てている様子をシミュレーション画像として示す。ｔ＝τ２における作業環境画像は、アーム４４３を手前に近づける操作がなされている様子をシミュレーション画像として示す。ｔ＝τ３における作業環境画像は、バケット４４５に十分に土砂が入った後にバケット４４５を土を把持する保持姿勢にした様子をシミュレーション画像として示す。ｔ＝τ４における作業環境画像は、ブーム４４１を上昇させる操作をしながら左旋回をする様子をシミュレーション画像として示す。ｔ＝τ５における作業環境画像は、左旋回後にアーム４４３を遠ざける操作をして排土位置の真上にバケット４４５が位置させた様子をシミュレーション画像として示す。ｔ＝τ６における作業環境画像は、バケットが排土姿勢となりバケット４４５から土が落下する様子をシミュレーション画像として示す。

【0058】

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアントを構成する遠隔操作装置２０を通じて第１オペレータにより遠隔操作される第１作業機械の動作態様および環境変化態様を表わす作業環境画像の時系列がデータベース１０２に登録される（図４／ＳＴＥＰ１１４参照）。これにより、さまざまな作業環境画像の時系列のアーカイブがデータベース１０２に蓄積され、かつ、保存される。「第１作業機械」は第１オペレータにより遠隔操作され、実際の作業現場において作業を実行する作業機械４０を指す。

【0059】

第２クライアントを構成する遠隔操作装置２０の第２オペレータは、データベース１０２に登録されているアーカイブの中から一の作業環境画像の時系列を、遠隔入力インターフェース２１０を通じて指定することができる（図５／ＳＴＥＰ２１０参照）。これにより、第２オペレータは、当該指定作業環境画像の時系列を遠隔出力インターフェース２２０において閲覧することができる（図５／ＳＴＥＰ２２０および図７参照）。

【0060】

第２オペレータは、遠隔入力インターフェース２１０を構成する遠隔操作機構２１１を通じて、指定作業環境画像に基づく仮想作業現場において第２作業機械のシミュレーション操作を行うことができる（図３参照）。「第２作業機械」は、第２オペレータによりシミュレーション操作され、仮想作業現場において作動する作業機械を指す。第２オペレータは、当該シミュレーション操作態様に応じて、作業機械の仮想作業現場における動作態様および環境変化態様を示すシミュレーション画像の時系列を遠隔出力インターフェース２２０に出力させることができる（図５／ＳＴＥＰ２２４→ＳＴＥＰ２２６→Ｃ１４→ＳＴＥＰ１２２→ＳＴＥＰ１２３→ＳＴＥＰ１２４→Ｃ２２→ＳＴＥＰ２２０および図７参
照）。

【0061】

このように、第２オペレータは、参考になりそうな作業環境画像の時系列を閲覧し、さらに、当該作業環境画像の時系列の中からさらに参考になりそうな一の作業環境画像を指定し、当該指定作業環境画像に基づいて再現された仮想作業現場における作業機械のシミュレーション操作を行うことで、作業機械の操作技術の向上を図ることができる。

【0062】

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各構成要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。

【0063】

第２支援処理要素１２２が、第２クライアントを構成する遠隔操作装置２０との通信に基づき、指定作業環境画像の時系列のうち指定時点以降の指定時系列に、シミュレーション画像の時系列を重畳させて、当該遠隔操作装置２０を構成する遠隔出力インターフェース２２０に出力させてもよい。第２オペレータは、遠隔操作機構２１１を通じたシミュレーション操作態様に応じて、第２作業機械の仮想作業現場における動作態様および環境変化態様を示すシミュレーション画像を、指定時点以降の当該作業環境画像の指定時系列に重畳させて遠隔出力インターフェース２２０に出力させることができる。

【0064】

このため、参考にすべき第１作業機械の動作態様または第１オペレータの操作態様および環境変化態様と、第２作業機械の動作態様または第２オペレータのシミュレーション操作態様および仮想作業現場における環境変化態様との差分を第２オペレータに認識させ、その操作技術のさらなる向上が図られる。

【0065】

第２支援処理要素１２２が、指定作業環境画像の指定時系列により示されている第１作業機械の動作態様と、シミュレーション画像の時系列により示されている第２作業機械の動作態様との差分を評価してもよい。例えば、第１作業機械および第２作業機械のそれぞれの作業アタッチメント４４の指定箇所（例えば、バケット４４５）の間隔が実空間距離に換算され、当該換算結果の累積値または時間平均値が当該差分として評価されてもよい。

【0066】

そして、第２支援処理要素１２２が、当該差分が閾値を超えた場合、第２作業機械のシミュレーション操作のやり直しの要否を確認する情報を遠隔出力インターフェース２２０に出力させてもよい。

【0067】

これにより、第１作業機械の動作態様または第１オペレータの操作態様および環境変化態様と、第２作業機械の動作態様または第２オペレータのシミュレーション操作態様および仮想作業現場における環境変化態様との差分が閾値を超えた場合、遠隔入力インターフェース２１０を通じて当該やり直しが必要であることが確認されるため、第２オペレータの操作技術のさらなる向上が図られる。また、当該やり直しが必要であることが確認された場合、指定作業環境画像の指定時系列の再現を遠隔出力インターフェース２２０に出力させるようにしてもよい。これにより、第２オペレータによるシミュレーション操作のやり直しを可能であるため、操作技術のさらなる向上が図られる。

【0068】

第２支援処理要素１２２が、第２クライアントを構成する遠隔操作装置２０との通信に基づき、第２作業機械のシミュレーション操作開始時点における当該第２クライアントを構成する遠隔操作機構２１１の操作状態（例えば、各レバー２１１０、２１１１、２１１２の傾斜角度または位置）を、第１クライアントを構成する遠隔操作装置２０の指定時点における遠隔操作機構２１１の操作状態に整合させてもよい。

【0069】

これにより、第２オペレータは、第１オペレータによる第１クライアントを構成する遠隔操作装置２０の遠隔操作機構２１１の操作状態に整合した、第２クライアントを構成する遠隔操作装置２０の遠隔操作機構２１１の操作状態を起点として第２作業機械のシミュレーション操作を開始することができる。このため、第２オペレータが第１オペレータの操作技術を習得しやすさが向上し、第２オペレータの操作技術のさらなる向上が図られる。

【符号の説明】

【0070】

１０‥作業支援サーバ、
２０‥遠隔操作装置（第１クライアント、第２クライアント）、
４０‥作業機械、
１０２‥データベース、
１２１‥第１支援処理要素、
１２２‥第２支援処理要素、
２１０‥遠隔入力インターフェース、
２２０‥遠隔出力インターフェース、
４１０‥実機入力インターフェース、
４１２‥実機撮像装置、
４２０‥実機出力インターフェース、
４４０‥作業アタッチメント（作動機構）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】