特許 7415480 作業支援サーバおよび作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】作業支援サーバおよび作業支援システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240110BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 6

(21)【出願番号】P 2019212618

(22)【出願日】2019-11-25

(65)【公開番号】P2021086225

(43)【公開日】2021-06-03

【審査請求日】2022-07-25

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】澤田 祐介

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】木村 大吾

(56)【参考文献】

【文献】特開２０１９－０８２７６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２３６５１５（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１１９１２７（ＷＯ，Ａ１）

【文献】特開２０１７－２２０１０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバであって、
作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持するデータベースと、
前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた指定操作に応じた指定位置を認識し、前記指定位置に適合する前記作業情報を指定作業情報として前記データベースから検索する第１支援処理要素と、
前記クライアントとの通信に基づき、前記第１支援処理要素により検索された前記指定作業情報に含まれる指定作業箇所の位置を示す作業環境画像、ならびに、前記指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。

【請求項2】

請求項１記載の作業支援サーバにおいて、
前記第１支援処理要素が、前記指定位置に適合する、時系列的に連続する複数の前記指定作業情報を前記データベースから検索し、
前記第２支援処理要素が、前記クライアントとの通信に基づき、前記第１支援処理要素により検索された前記複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所の位置を示す作業環境画像、ならびに、前記複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。

【請求項3】

請求項２記載の作業支援サーバにおいて、
前記第１支援処理要素が、前記クライアントまたは前記クライアントと連携している前記作業機械との通信に基づき、当該作業機械の現在位置を前記指定位置として認識し、作業箇所の位置が前記指定位置に一致する前記作業情報を前記複数の指定作業情報のうち一の指定作業情報として前記データベースから検索することを特徴とする作業支援サーバ。

【請求項4】

請求項１～３のうちいずれか1項に記載の作業支援サーバにおいて、
前記第１支援処理要素が、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた前記指定操作があった際の時刻または前記指定操作により設定された時刻を指定時刻として認識し、前記指定位置に加えて前記指定時刻に適合する前記作業情報を指定作業情報として前記データベースから検索することを特徴とする作業支援サーバ。

【請求項5】

請求項１～４のうちいずれか1項に記載の作業支援サーバにおいて、
前記第１支援処理要素が、管理用クライアントとの通信に基づき、前記管理用クライアントの入力インターフェースを通じて入力された、新たな作業情報および前記データベースに記憶保持されている作業情報の変更内容のうち少なくとも一方を認識し、当該新たな作業情報および当該変更内容が反映された当該作業情報のうち少なくとも一方を前記データベースに記憶保持させることを特徴とする作業支援サーバ。

【請求項6】

請求項１～５のうちいずれか１項に記載の作業支援サーバと、クライアントと、により構成されていることを特徴とする作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバに関する。

【背景技術】

【0002】

建設作業現場の３次元形状を把握して、丁張りと現況出来形との関係や走行可能範囲や危険範囲などを、建機オペレータに的確に知らせる技術が提案されている（例えば、特許文献１参照）。具体的には、異なる場所のそれぞれに配置された各ステレオカメラから取得された距離画像が統合されて建設作業現場の３次元モデルデータが生成される。そして、建機のオペレータにより指定された仮想視点から建設作業現場を見た画像が、当該３次元モデルデータに基づいて描かれ、それが建機の運転席に表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３３３５９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、相互に遠隔している複数の作業箇所のそれぞれにおいて、かつ、異なる時間帯のそれぞれにおいて、作業員が一または複数の作業機械を用いて作業を遂行する場合、円滑な作業遂行のために遂行すべき作業内容等を把握できることが好ましい。

【0005】

そこで、本発明は、複数の作業箇所のそれぞれにおける作業機械を用いて遂行すべき作業内容等を当該作業機械の作業員に直感的に認識させることができるサーバおよびシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバに関する。

【0007】

本発明の作業支援サーバは、作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持するデータベースと、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた指定操作に応じた指定位置を認識し、前記指定位置に適合する前記作業情報を指定作業情報として前記データベースから検索する第１支援処理要素と、前記クライアントとの通信に基づき、前記第１支援処理要素により検索された前記指定作業情報に含まれる指定作業箇所の位置を示す作業環境画像、ならびに、前記指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。

【0008】

本発明の作業支援システムは、作業支援サーバと、クライアントと、により構成されている。

【0009】

本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、クライアントの入力インターフェースを通じて指定操作があったことに応じて、当該クライアントの出力インターフェースに指定作業箇所の位置を示す作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報が出力される。指定作業箇所、指定作業期間および指定作業内容は、データベースに登録されている複数の作業情報のうち、当該指定操作に応じた指定位置に適合する作業情報である指定作業情報に含まれている。このため、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に適合する、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。

【0010】

これにより、作業員は、例えば、作業機械を指定作業期間の始期までに、指定作業箇所に移動させ、あるいは、指定作業箇所に存在する作業機械を操作可能な状態を実現することが容易になる。そして、作業員は、指定作業期間にわたり、当該作業機械を用いて指定作業内容に応じた作業を円滑に遂行することができる。

【0011】

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記指定位置に適合する、時系列的に連続する複数の前記指定作業情報を前記データベースから検索し、前記第２支援処理要素が、前記クライアントとの通信に基づき、前記第１支援処理要素により検索された前記複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所の位置を示す作業環境画像、ならびに、前記複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させることが好ましい。

【0012】

当該構成の作業支援サーバ等によれば、クライアントの出力インターフェースに出力される作業環境画像を通じて、作業員が共通のまたは異なる作業機械を用いて時系列的に連続して遂行すべき複数の作業のそれぞれの作業箇所（指定作業箇所）の位置を当該作業員に認識させることができる。また、クライアントの出力インターフェースに出力される、当該複数の作業のうち少なくとも一の作業に関する作業期間（指定作業期間）および作業内容（指定作業内容）のうち少なくとも一方に関する情報を当該作業員に認識させることができる。

【0013】

これにより、作業員は、例えば、作業機械を一の指定作業期間の終期からこれに続く他の指定作業期間の始期までに、次の指定作業箇所に移動させ、あるいは、次の指定作業箇所に存在する作業機械を操作可能な状態を実現することが容易になる。そして、作業員は、複数の指定作業期間のそれぞれにわたり、当該作業機械を用いて指定作業内容に応じた作業を円滑に遂行することができる。

【0014】

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記クライアントまたは前記クライアントと連携している前記作業機械との通信に基づき、当該作業機械の現在位置を前記指定位置として認識し、作業箇所の位置が前記指定位置に一致する前記作業情報を前記複数の指定作業情報のうち一の指定作業情報として前記データベースから検索することが好ましい。

【0015】

当該構成の作業支援サーバ等によれば、作業員が作業機械を用いて現在遂行中の今回作業に加えて、当該作業員が同一のまたは異なる作業機械を用いて遂行すべき次回以降の作業の概要を認識することができる。

【0016】

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた前記指定操作があった際の時刻または前記指定操作により設定された時刻を前記指定時刻として認識し、前記指定位置に加えて前記指定時刻に適合する前記作業情報を指定作業情報として前記データベースから検索することが好ましい。

【0017】

当該構成の作業支援サーバ等によれば、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に加えて指定時刻に適合する、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。

【0018】

本発明の作業支援サーバ等において、前記第１支援処理要素が、管理用クライアントとの通信に基づき、前記管理用クライアントの入力インターフェースを通じて入力された、新たな作業情報および前記データベースに記憶保持されている作業情報の変更内容のうち少なくとも一方を認識し、当該新たな作業情報および当該変更内容が反映された当該作業情報のうち少なくとも一方を前記データベースに記憶保持させることが好ましい。

【0019】

当該構成の作業支援サーバ等によれば、作業管理者が、管理用クライアントを用いて入力された新たな作業情報およびデータベースに登録済みの作業情報の内容が少なくとも部分的に変更された後の作業情報がデータベースに登録されうる。これにより、クライアントの出力インターフェースに出力される作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、作業管理者が計画または意図した、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態としての作業支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】作業支援システムの第１機能に関する説明図。

【図5】作業支援システムの第２機能に関する説明図。

【図6】作業情報に関する説明図。

【図7A】遠隔操作装置における出力画像の第１例に関する説明図。

【図7B】遠隔操作装置における出力画像の第２例に関する説明図。

【発明を実施するための形態】

【0021】

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、管理用クライアント６０と、は相互にネットワーク通信可能に構成されている。

【0022】

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0023】

（遠隔操作装置の構成）
クライアント（第１クライアント）を構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

【0024】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0025】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

【0026】

シートＳの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0027】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0028】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0029】

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。

【0030】

実機入力インターフェース４１０は、実機操作機構４１１と、撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。撮像装置４１４は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

【0031】

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

【0032】

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0033】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0034】

（管理用クライアントの構成）
管理用クライアント６０は、スマートホンまたはタブレット端末などの端末装置であり、制御装置６００と、管理用入力インターフェース６１０と、管理用出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0035】

管理用入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。管理用出力インターフェース６２０は、画像出力装置と、無線通信機器と、を備えている。

【0036】

（機能）
（作業情報の登録および登録内容変更）
前記構成の作業支援システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0037】

まず、管理用クライアント６０（第２クライアント）において、管理者により管理用入力インターフェース６１０を通じて、データベース１０２に新規に登録される作業情報または登録済みの作業情報の変更内容が入力される（図４／ＳＴＥＰ６１０）。

【0038】

作業情報には、作業箇所、作業期間および作業内容の複数の組み合わせが含まれている。「作業箇所」は、複数階層のエリアに区分されることにより指定されてもよい。例えば図６に示されているように、「作業箇所」が大略作業箇所（東作業場、南作業場、‥など）および詳細作業箇所（砂利エリア、粗砂エリア、‥など）により指定されていてもよい。「作業期間」は、図６に示されているように、当該作業期間の開始時刻（９：００、９：１５、‥など）および終了時刻（９：１５、９：３５、‥など）により指定されていてもよい。「作業内容」は、図６に示されているように、当該作業の種類（土積み込み、山積み、‥など）および作業目標（△△ｍ³、時間まで、‥など）により指定されていてもよい。

【0039】

管理用クライアント６０において、管理用出力インターフェース６２０を構成する無線通信機器により新規の作業情報または既存の作業情報の変更内容が作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１０）。

【0040】

作業支援サーバ１０において、管理用クライアント６０との通信に基づいて新規の作業情報または既存の作業情報の変更内容が認識された場合（図４／Ｃ１０）、当該新規の作業情報がデータベース１０２に登録され、あるいは、データベース１０２に登録されている作業情報の内容が変更される（図４／ＳＴＥＰ１０２）。

【0041】

（作業情報の提供）
遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。「第１指定操作」は、例えば、遠隔入力インターフェース２１０または遠隔操作機構２１１を構成するボタンまたは操作レバーの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２０２‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して指定作業情報要求が送信される（図４／ＳＴＥＰ２０４）。

【0042】

当該要求には第１指定操作に応じた指定位置を特定可能な情報が含まれている。例えば、遠隔入力インターフェース２１０における第１指定操作により指定されたエリアの代表位置が指定位置として特定されてもよい。また、遠隔操作装置２０により操作されているまたは操作が予定されている作業機械４０のＧＰＳ等を用いた測位機能により測定された当該作業機械４０の、第１指定操作の時点における位置が指定位置として特定されてもよい。さらに、第１クライアントが遠隔操作装置２０ではなく、現場にいる作業員により携帯されている携帯端末により構成されている場合、ＧＰＳ等を用いた測位機能により測定された当該携帯端末の第１操作の時点における位置が指定位置として特定されてもよい。

【0043】

作業支援サーバ１０において、当該作業情報要求が受信された場合（図４／Ｃ１１）、第１支援処理要素１２１により指定位置が認識される（図４／ＳＴＥＰ１０４）。

【0044】

第１支援処理要素１２１により、指定位置に適合する作業情報が指定作業情報としてデータベース１０２から検索される（図４／ＳＴＥＰ１０６）。例えば、オペレータにより指定されたエリアの代表位置が指定位置として認識された場合、当該エリアに含まれる作業箇所において現在時刻または指定時刻以降における実施が予定されている作業に関する作業情報が指定作業情報として検索されてもよい。「指定時刻」は、オペレータＯＰにより遠隔入力インターフェース２１０を通じて設定されていてもよい。

【0045】

また、作業機械４０の現在位置が指定位置として認識された場合、作業機械４０の現在位置からの距離が指定距離以下である作業箇所において実施される作業に関する作業情報が指定作業情報として検索される。「指定距離」は一定であってもよいが、作業機械４０が現在時刻から作業期間の開始時刻までに移動可能な距離のように変化してもよい。第１クライアントとしての携帯端末の現在位置が指定位置として認識された場合、指定距離は当該携帯端末を携帯しているオペレータＯＰが作業機械４０の現在位置までに移動可能な距離であってもよい。

【0046】

作動機構４４０の仕様等、作業機械４０の諸元に応じて実施可能な作業が相違する場合、遠隔操作されるまたは実機操作される作業機械４０の諸元に鑑みて実施可能な作業に関する作業情報が指定作業情報として検索されてもよい。

【0047】

第２支援処理要素１２２により、指定作業情報が遠隔操作装置２０（第１クライアント）に対して送信される（図４／ＳＴＥＰ１０８）。

【0048】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて指定作業情報が受信された場合（図４／Ｃ２２）、遠隔制御装置２００により画像出力装置２２１に指定作業箇所の位置を示す作業環境画像、ならびに、当該指定作業情報に含まれる指定作業期間および指定作業内容に関する情報が出力される（図４／ＳＴＥＰ２０６）。

【0049】

これにより、例えば図７Ａに示されているように、作業機械４０を用いて作業を実施している今回作業箇所Ｑ１の位置に加えて、次回作業箇所Ｑ２の位置が示されている作業現場の鳥観画像または２次元マップが画像出力装置２２１に出力される。これは、時系列的に連続する複数の指定作業情報がデータベース１０２から検索された結果である。また、今回作業期間の残り時間および今回作業の内容に関する情報として「残り５分間山積を行ってください」というメッセージが出力される。さらに、次回作業箇所および次回作業期間の開始時刻に関する情報として「９：５０までに南作業場砂利エリアに移動してください」というメッセージが出力される。当該メッセージは、作業情報の少なくとも一部として管理用クライアント６０において、管理用入力インターフェース６１０の操作を通じて追加および更新が可能である。この際、作業環境画像が管理用出力インターフェース６２０を構成する画像出力装置に出力され、管理用入力インターフェース６１０を構成するタッチパネルおよびタッチキーボードを通じて作業情報がオンタイムで登録または更新されてもよい。

【0050】

また、図７Ｂに示されているように、作業現場において作業機械４０の前方の様子を示す環境画像に加えて、当該作業現場における局所的な作業箇所Ｑ０の位置に加えて、作業内容に関する「ここの土も山積しておいてください」というメッセージが画像出力装置２２１に出力されてもよい。当該メッセージは、作業情報の少なくとも一部として管理用クライアント６０において、管理用入力インターフェース６１０の操作を通じて追加および更新が可能である。

【0051】

（作業機械の遠隔操作）
遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２０８）。「第２指定操作」は、例えば、鳥瞰作業環境画像（図７Ａ参照）において、オペレータＯＰが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２０８‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２０８‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。

【0052】

作業支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図５／Ｃ１２）。

【0053】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図５／Ｃ４１）、実機制御装置４００が撮像装置４１２を通じて撮像画像を取得する（図５／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４０４）。

【0054】

作業支援サーバ１０において、撮像画像データが受信された場合（図５／Ｃ１３）、撮像画像データに応じた環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１１０）。

【0055】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図５／Ｃ２３）、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２１２）。これにより、例えば、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が画像出力装置２２１および第２画像出力装置２２１のそれぞれに表示される（図７Ｂ参照）。

【0056】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２１４）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２１６）。

【0057】

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図５／Ｃ１４）。

【0058】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図５／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0059】

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、遠隔操作装置２０（第１クライアント）の遠隔入力インターフェース２１０を通じて第１指定操作があったことに応じて、当該遠隔操作装置２０の遠隔出力インターフェース２２０に指定作業箇所Ｑ１およびＱ２の位置を示す作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報が出力される（図４／ＳＴＥＰ２０２‥ＹＥＳ→‥ＳＴＥＰ２０６、図７Ａおよび図７Ｂ参照）。指定作業箇所、指定作業期間および指定作業内容は、データベース１０２に登録されている複数の作業情報のうち、当該第１指定操作に応じた指定位置に適合する作業情報である指定作業情報に含まれている。このため、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に適合する、作業機械４０を用いて遂行すべき作業の概要を当該作業機械のオペレータＯＰ（作業員）に認識させることができる。

【0060】

これにより、作業員は、例えば、作業機械４０を指定作業期間の始期までに、指定作業箇所に移動させ、あるいは、指定作業箇所に存在する作業機械４０を第２指定操作（図５／ＳＴＥＰ２０８参照）等により遠隔操作可能な状態を実現することが容易になる。そして、作業員は、指定作業期間にわたり、遠隔操作装置２０を通じて当該作業機械４０を遠隔操作することにより指定作業内容に応じた作業を円滑に遂行することができる。

【0061】

時系列的に連続する複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所Ｑ１およびＱ２の位置を示す作業環境画像、ならびに、複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報が遠隔出力インターフェース２２０に出力れる（図７Ａ参照）。この場合、作業環境画像を通じて、オペレータＯＰ（作業員）が共通のまたは異なる作業機械４０を遠隔操作または実機操作して時系列的に連続して遂行すべき複数の作業のそれぞれの作業箇所（指定作業箇所）の位置を当該作業員に認識させることができる。また、当該複数の作業のうち少なくとも一の作業に関する作業期間（指定作業期間）および作業内容（指定作業内容）に関する情報を当該作業員に認識させることができる。

【0062】

これにより、作業員は、例えば、作業機械４０を一の指定作業期間の終期からこれに続く他の指定作業期間の始期までに、今回作業箇所Ｑ１から次回作業箇所Ｑ２に移動させ、あるいは、次の指定作業箇所Ｑ２に存在する作業機械４０を第２指定操作を通じて操作可能な状態を実現することが容易になる。そして、作業員は、複数の指定作業期間のそれぞれにわたり、当該作業機械４０を用いて指定作業内容に応じた作業を円滑に遂行することができる。

【0063】

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０および管理用クライアント６０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０または管理用クライアント６０の構成要素であってもよい。作業支援サーバ１０の各構成要素１１０、１２１および１２２のそれぞれが、遠隔操作装置２０、作業機械４０および管理用クライアント６０のうちの相互通信可能な２つ以上のそれぞれの構成要素であってもよい。

【符号の説明】

【0064】

１０‥作業支援サーバ、２０‥遠隔操作装置、４０‥作業機械、６０‥管理用クライアント、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）、６１０‥管理用入力インターフェース、６２０‥管理用出力インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】