特許 7490948 作業支援サーバおよび作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】作業支援サーバおよび作業支援システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240521BHJP

   G05D 1/222 20240101ALI20240521BHJP

   E02F 3/00 20060101ALI20240521BHJP

   H04N 7/18 20060101ALI20240521BHJP

【ＦＩ】

G06Q50/08

G05D1/222

E02F3/00

H04N7/18 U

【請求項の数】 7

(21)【出願番号】P 2019212619

(22)【出願日】2019-11-25

(65)【公開番号】P2021086226

(43)【公開日】2021-06-03

【審査請求日】2022-07-25

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】澤田 祐介

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１９／１３９１０２（ＷＯ，Ａ１）

【文献】特開２０１９－０２９８８９（ＪＰ，Ａ）

【文献】特開２０１９－１４８９２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ ５０／０８

Ｇ０５Ｄ １／００－１／８７

Ｅ０２Ｆ ３／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数のクライアントにおける作業現場に関する情報の共有を支援する作業支援システムであって、
撮像装置を通じて取得された作業現場の画像において対象物体画像領域を指定させ、指定された前記対象物体画像領域に存在する対象物体に関する対象物体関連情報を入力させるための入力インターフェースを備える第１クライアントと、
前記入力インターフェースを通じて指定された前記対象物体画像領域と前記撮像装置の実空間位置および実空間姿勢に基づいて推定された前記対象物体の延在態様および前記入力インターフェースにおいて入力された前記対象物体関連情報を示す作業環境画像を出力する出力インターフェースを備える第２クライアントと、により構成される
ことを特徴とする作業支援システム。

【請求項2】

請求項１に記載の作業支援システムにおいて、
前記対象物体関連情報は、前記対象物体の種類または性質を示す情報である
ことを特徴とする作業支援システム。

【請求項3】

請求項１または２に記載の作業支援システムにおいて、
前記第１クライアントを構成する端末装置が備える撮像装置を通じて前記画像が取得される
ことを特徴とする作業支援システム。

【請求項4】

請求項１または２に記載の作業支援システムにおいて、
作業機械に搭載されている撮像装置を通じて前記画像が取得される
ことを特徴とする作業支援システム。

【請求項5】

請求項１～３のうちいずれか１項に記載の作業支援システムにおいて、
前記第１クライアントは、作業機械を遠隔操作するための遠隔操作装置である
ことを特徴とする作業支援システム。

【請求項6】

請求項１～３のうちいずれか１項に記載の作業支援システムにおいて、
前記第２クライアントは、作業機械を遠隔操作するための遠隔操作装置である
ことを特徴とする作業支援システム。

【請求項7】

複数のクライアントにおける作業現場に関する情報の共有を支援する作業支援サーバであって、
第１クライアントの入力インターフェースを通じて指定された撮像装置を通じて取得される作業現場の画像における対象物体画像領域および前記入力インターフェースを通じて入力された前記対象物体画像領域に存在する対象物体に関する対象物体関連情報を認識し、前記入力インターフェースを通じて指定された前記対象物体画像領域と前記撮像装置の実空間位置および実空間姿勢に基づいて推定される前記対象物体の延在態様および前記入力インターフェースを通じて入力された前記対象物体関連情報を示す作業環境画像を第２クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、 複数の作業員のそれぞれに対して割り当てられた複数のクライアントとの通信により、前記複数の作業員の間の作業現場に関する情報の共有を支援するための作業支援サーバに関する。

【背景技術】

【0002】

プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２４２８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、複数の作業関係者が関与する作業エリアにおいて注意を要する物体に関する情報を、当該複数の作業関係者の間で共有できることが好ましい。

【0005】

そこで、本発明は、作業エリアにおいて注意を要する物体に関する情報を、複数の作業関係者に共有させることができるサーバおよびシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントとの通信により、前記複数の作業員の間の作業現場に関する情報の共有を支援するための作業支援サーバに関する。

【0007】

本発明の作業支援サーバは、前記複数のクライアントのうちの第１クライアントとの通信に基づき、撮像装置を通じて取得された撮像画像の一部である対象物体画像領域における対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識し、前記撮像装置の実空間位置および実空間姿勢に基づき、前記対象物体の実空間における延在態様を推定する第１支援処理要素と、前記複数のクライアントのうちの前記第２クライアントとの通信に基づき、前記第１支援処理要素により推定された前記対象物体の延在態様および対象物体関連情報を示す作業環境画像を、前記第２クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。

【0008】

本発明の作業支援システムは、本発明の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする。

【0009】

本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントの撮像装置を通じて取得された撮像画像の一部である対象物体画像領域における対象物体の実空間における延在態様および対象物体関連情報を示す作業環境画像が、第２クライアントの出力インターフェースに出力される。このため、例えば、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる。そして、他の作業員がクライアントを第２クライアントとして用いてその出力インターフェースに出力された作業環境画像を通じて当該対象物体の実空間における延在態様および対象物体関連情報を迅速に認識することができる。さらに、例えば、共通の現場にいる複数の作業員のそれぞれがクライアントを第１クライアントとして用いることにより、さまざまな対象物体に関する情報量の豊富なマップを当該複数の作業員の間で共有することができる。これにより、例えば、作業員が作業機械を用いて作業する際に、対象物体の延在態様を意識しながら作業を円滑に遂行することができる。

【0010】

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに出力された撮像画像において、前記第１クライアントの入力インターフェースを通じて指定された対象物体画像領域における対象物体の延在態様および当該対象物体に関する対象物体関連情報を認識することが好ましい。

【0011】

当該構成の作業支援サーバ等によれば、例えば、前記のように、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる。さらに、各作業員が第１クライアントの出力インターフェースに出力された当該対象物体の撮像画像のうち対象物体が存在する一部の画像領域を、入力インターフェースを通じて対象物体画像領域として指定し、かつ、対象物体関連情報を入力することができる。このため、各作業員が気付いた対象物体の存在および対象物体関連情報を、他の作業員により高精度で伝えることができる。

【0012】

本発明の作業支援サーバ等において、前記第１支援処理要素が、作業機械を遠隔操作するための、前記第１クライアントとしての遠隔操作装置との通信に基づき、前記作業機械に搭載されている撮像装置を通じて取得された撮像画像の一部である前記対象物体画像領域における前記対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識することが好ましい。

【0013】

当該構成の作業支援サーバ等によれば、作業機械に搭載されている撮像装置を通じて取得された撮像画像に基づき、当該作業機械の周辺における対象物体の延在態様および対象物体関連情報を複数の作業員で共有することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態としての作業支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】作業支援システムの第１機能に関する説明図。

【図5】作業支援システムの第２機能に関する説明図。

【図6】撮像画像および対象物体画像領域に関する説明図。

【図7】第１環境画像に関する説明図。

【図8】作業環境画像に関する説明図。

【図9】第２環境画像に関する説明図。

【発明を実施するための形態】

【0015】

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業員端末６０と、により構成されている。「複数のクライアント」は、一または複数の遠隔操作装置２０および一または複数の作業員端末６０により構成されていてもよく、複数の遠隔操作装置２０または複数の作業員端末６０により構成されていてもよい。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、作業員端末６０と、は相互にネットワーク通信可能に構成されている。

【0016】

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域の延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0017】

（遠隔操作装置の構成）
一のクライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

【0018】

遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該一のクライアントが構成されていてもよい。当該携帯端末は、後述する作業員端末６０と同様の構成を有している。

【0019】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0020】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

【0021】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0022】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0023】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0024】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

【0025】

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

【0026】

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

【0027】

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0028】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0029】

（作業員端末の構成）
他のクライアントを構成する作業員端末６０は、スマートホンまたはタブレット端末などの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0030】

入力インターフェース６１０は、撮像装置６１２を備えている。入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置６２１（および必要に応じて音声出力装置）と、無線通信機器６２２と、を備えている。

【0031】

（機能）
（第１機能（作業環境画像の出力））
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図４には、作業員端末６０が「第１クライアント」を構成し、遠隔操作装置２０が「第２クライアント」を構成する場合のフローチャートが示されているが、これとは逆に、作業員端末６０が「第２クライアント」を構成し、遠隔操作装置２０が「第１クライアント」を構成していてもよい。

【0032】

遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。第１指定操作は、例えば、遠隔入力インターフェース２１０における所定箇所のタップなどの操作である。当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第１環境確認要求が送信される（図４／ＳＴＥＰ２０４）。

【0033】

作業支援サーバ１０において、第１環境確認要求が受信された場合（図４／Ｃ１０）、第１支援処理要素１２１により、作業現場の大局的な様子を表わす第１環境画像データが当該遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。

【0034】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１環境画像データが受信された場合（図４／Ｃ２０）、第１環境画像データに応じた第１環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。これにより、例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰マップまたは鳥瞰撮像画像が遠隔出力インターフェース２２０を構成する画像出力装置２２１において出力される。鳥瞰マップにおける位置は緯度および経度により特定されうる。鳥瞰撮像画像には、第１の作業機械４０の所在を示す画像またはアイコンＱ１および第２の作業機械４０の所在を示す画像またはアイコンＱ２、ならびに、第１作業員の所在を示す画像ＯＰ１が含まれている。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。

【0035】

作業員端末６０において、第１作業員により入力インターフェース６１０を通じて、撮像操作があったことに応じて、撮像装置６１２を通じて撮像画像が取得される（図４／ＳＴＥＰ６０２）。また、当該撮像画像が出力インターフェース６２０を構成する画像出力装置６２１に出力される（図４／ＳＴＥＰ６０４）。これにより、例えば図６に示されているように、作業機械４０が通過した跡が窪地になっている作業現場の様子を示す撮像画像が画像出力装置６２１に出力される。遠隔操作装置２０が「第１クライアント」に該当する場合、作業機械４０に搭載されている実機撮像装置４１２を通じて取得された、当該作業機械４０の周囲の様子を示す撮像画像（第２環境画像）が、遠隔出力インターフェース２２０を構成する画像出力装置２２１において出力される（図９参照）。

【0036】

制御装置６００により、撮像画像が取得された際の撮像装置６１２の実空間位置および実空間姿勢が測定される（図４／ＳＴＥＰ６０６）。撮像装置６１２の実空間位置（緯度および経度）はＧＰＳなどの測位センサの出力信号に基づいて測定される。撮像装置６１２の実空間姿勢は３軸方位センサまたは加速度センサの出力信号に基づいて測定される。

【0037】

制御装置６００により、入力インターフェース６１０における操作を通じて、対象物体画像領域Ｒが指定されたか否かが判定される（図４／ＳＴＥＰ６０８）。例えば、作業員端末６０において、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチパネルにおいて、第１作業員の指先またはペンの軌跡が認識されることにより、対象物体画像領域の延在態様または輪郭が認識されてもよい。これにより、例えば図６に示されているように、撮像画像において略台形状の対象物体画像領域Ｒが第１作業員により指定されうる。遠隔操作装置２０が「第１クライアント」に該当する場合、出力インターフェース６２０において出力されている、作業機械４０に搭載されている実機撮像装置４１２を通じて取得された撮像画像としての第２環境画像（図９参照）において、入力インターフェース６１０における操作を通じて対象物体画像領域Ｒの指定および対象物体関連情報の入力が可能である（図４／ＳＴＥＰ６０６参照）。

【0038】

当該判定結果が肯定的である場合（図４／ＳＴＥＰ６０８‥ＹＥＳ）、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体関連情報が入力されたか否かが判定される（図４／ＳＴＥＰ６１２）。例えば、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチ式キーボードにおいて、第１作業員の指先またはペンの接触態様が認識されることにより、対象物体関連情報が認識されてもよい。これにより、例えば「砂利」、「瓦礫」、「資材」、「砂地」、「穴」、「窪地」、「水たまり」または「岩」など、対象物体の種類または性質などを示す情報が対象物体関連情報として認識されうる。

【0039】

当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１２‥ＹＥＳ）、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域Ｒの延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１６）。遠隔操作装置２０が「第１クライアント」に該当する場合、「撮像画像」、「実機撮像装置４１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域Ｒの延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」のそれぞれを表わすデータが、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により、作業支援サーバ１０に対して送信される。

【0040】

作業支援サーバ１０において、「撮像画像データ」、「撮像装置６１２の実空間位置および実空間姿勢」、「対象物体画像領域Ｒの延在態様」および「対象物体関連情報」のそれぞれを表わすデータが受信された場合（図４／Ｃ１３）、第１支援処理要素１２１により、対象物体の実空間における延在態様が推定される（図４／ＳＴＥＰ１０８）。例えば、作業員が接している地面を基準とした撮像装置６１２の高さは、当該地面に立っているまたは座っている人間の標準的な腰部位置から頭部位置までの範囲の所定の高さにあると仮定される。また、当該地面と同じ高さの水平面（２次元空間）に対象物体が存在していると仮定される。すなわち、撮像画像において指定された対象物体画像領域Ｒが、撮像装置６１２の画角に応じた広がりをもって当該水平面に投影されたエリアに対象物体が２次元的に延在していると仮定される。

【0041】

これらの仮定の上で、撮像画像座標系における対象物体画像領域Ｒの延在態様に加えて、撮像装置６１２の実空間位置および実空間姿勢、ならびに画角または焦点距離に基づき、対象物体の延在態様（緯度方向および経度方向のそれぞれへの広がり方）が推定される。対象物体が地面よりも高い位置にある構造物または地面よりも窪んでいる窪地などである場合、当該仮定に基づく推定精度は低くなるが、対象物体の実空間における大まかな延在態様は把握可能である。

【0042】

作業員端末６０に搭載されている測距センサ（または撮像装置６１２としての測距センサ）により測定された対象物体までの距離が画素値として割り当てられた撮像画像（または撮像画像としての距離画像）が、当該作業員端末６０から作業支援サーバ１０に対して送信されてもよい。この場合、撮像装置６１２の実空間位置を基準とする対象物体またはその表面の実空間における延在態様がより高精度で推定されうる。

【0043】

続いて、第２支援処理要素１２２により、第１環境画像を基礎として、第１支援処理要素１２１による対象物体の実空間における延在態様の推定結果および対象物体関連情報を示す作業環境画像が生成される（図４／ＳＴＥＰ１１０）。その上で、第２支援処理要素１２２により、作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。

【0044】

遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される（図４／ＳＴＥＰ２０８）。これにより、例えば図８に示されているように、第１作業環境画像（図７参照）において、対象物体の実空間における対象物体画像領域Ｒの延在態様を表わす画像および当該対象物体Ｒに関連する「窪地あり」という対象物体関連情報が遠隔出力インターフェース６２０を構成する画像出力装置に出力される。

【0045】

作業員端末６０において、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体関連情報が入力されていないと判定された場合（図４／ＳＴＥＰ６１２‥ＮＯ）、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」および「当該撮像画像における対象物体画像領域Ｒの延在態様」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１４）。

【0046】

作業支援サーバ１０において、「撮像画像データ」、「撮像装置６１２の実空間位置および実空間姿勢」および「対象物体画像領域Ｒの延在態様」のそれぞれを表わすデータが受信された場合（図４／Ｃ１２）、第１支援処理要素１２１により、対象物体関連情報が認識可能であるか否かが判定される（図４／ＳＴＥＰ１０６）。例えば、対象物体画像領域Ｒのテクスチャ解析処理によって、当該対象物体画像領域Ｒに存在する物体の種類または性質が対象物体関連情報として認識されうる。当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０６‥ＹＥＳ）、前述の対象物体の実空間における延在態様の推定（図４／ＳＴＥＰ１０８）以降の処理が実行される。当該判定結果が否定的である場合（図４／ＳＴＥＰ１０６‥ＮＯ）、作業環境画像データが遠隔操作装置２０に対して送信されることなく、ひいては作業環境画像（図８参照）が遠隔操作装置２０において出力されることなく、図４に示された一連の処理が終了する。

【0047】

作業員端末６０において、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体画像領域Ｒが指定されていないと判定された場合（図４／ＳＴＥＰ６０８‥ＮＯ）、「撮像画像」および「撮像装置６１２の実空間位置および実空間姿勢」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１０）。

【0048】

作業支援サーバ１０において、「撮像画像データ」および「撮像装置６１２の実空間位置および実空間姿勢」のそれぞれを表わすデータが受信された場合（図４／Ｃ１１）、第１支援処理要素１２１により、対象物体画像領域が認識可能であるか否かが判定される（図４／ＳＴＥＰ１０４）。例えば、撮像画像を対象とするパターンマッチング等の画像解析処理によって、当該撮像画像の一部が対象物体画像領域として認識されうる。当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０４‥ＹＥＳ）、前述の対象物体関連情報の認識可否判定（図４／ＳＴＥＰ１０６）以降の処理が実行される。当該判定結果が否定的である場合（図４／ＳＴＥＰ１０４‥ＮＯ）、作業環境画像データが遠隔操作装置２０に対して送信されることなく、ひいては作業環境画像（図８参照）が遠隔操作装置２０において出力されることなく、図４に示された一連の処理が終了する。

【0049】

遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２０）。「第２指定操作」は、例えば、作業環境画像（図７参照）において、作業員が遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。第２指定操作は第１指定操作と異なる態様の操作であってもよく、同一の態様の操作であってもよい。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第２環境確認要求が送信される（図５／ＳＴＥＰ２２２）。

【0050】

作業支援サーバ１０において、第２環境確認要求が受信された場合、第１支援処理要素１２１により当該第２環境確認要求が該当する作業機械４０に対して送信される（図５／Ｃ１４）。

【0051】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図５／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図５／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ４０４）。

【0052】

作業支援サーバ１０において、撮像画像データが受信された場合（図５／Ｃ１５）、撮像画像データに応じた第２環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１１２）。

【0053】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第２環境画像データが受信された場合（図５／Ｃ２３）、第２環境画像データに応じた第２環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２４）。これにより、例えば図９に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が画像出力装置２２１および第２画像出力装置２２１のそれぞれに表示される。

【0054】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２２６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２８）。

【0055】

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図５／Ｃ１６）。

【0056】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図５／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0057】

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（例えば、作業員端末６０）の撮像装置（例えば、撮像装置６１２）を通じて取得された撮像画像の一部である対象物体画像領域Ｒにおける対象物体の実空間における延在態様および対象物体関連情報を示す作業環境画像が、第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される（図４／ＳＴＥＰ６０２‥ＹＥＳ→‥ＳＴＥＰ６１０、ＳＴＥＰ６１４、ＳＴＥＰ６１６→‥→ＳＴＥＰ１１２→ＳＴＥＰ２０８、図８参照）。

【0058】

このため、例えば、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる（図４／ＳＴＥＰ６０２および図６参照）。そして、他の作業員がクライアントを第２クライアントとして用いてその出力インターフェースに出力された作業環境画像を通じて当該対象物体の実空間における延在態様および対象物体関連情報を迅速に認識することができる（図４／ＳＴＥＰ２０８および図８参照）。さらに、例えば、共通の現場にいる複数の作業員のそれぞれがクライアントを第１クライアントとして用いることにより、さまざまな対象物体に関する情報量の豊富なマップを当該複数の作業員の間で共有することができる。これにより、例えば、作業員が作業機械を用いて作業する際に、対象物体の延在態様を意識しながら作業を円滑に遂行することができる。

【0059】

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０および作業員端末６０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０または作業員端末６０の構成要素であってもよい。作業支援サーバ１０の各構成要素１１０、１２１および１２２のそれぞれが、遠隔操作装置２０、作業機械４０および作業員端末６０のうちの相互通信可能な２つ以上のそれぞれの構成要素であってもよい。

【0060】

前記実施形態では、第１クライアント（例えば、作業員端末６０または遠隔操作装置２０）において、対象物体画像領域Ｒの指定および対象物体関連情報の入力が可能とされていたが、他の実施形態として、第１クライアントにおいて、対象物体画像領域Ｒの指定および対象物体関連情報の入力がないことが前提とされ、撮像装置を通じて取得された撮像画像が当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい（図４／ＳＴＥＰ６１０参照）。

【0061】

また、第１クライアントにおいて、対象物体関連情報の入力がないことが前提とされ、撮像装置を通じて取得された撮像画像が、対象物体画像領域Ｒならびに当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい（図４／ＳＴＥＰ６１４参照）。さらに、第１クライアントにおいて、対象物体画像領域Ｒの指定がないことが前提とされ、撮像装置を通じて取得された撮像画像が、対象物体関連情報ならびに当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい。

【符号の説明】

【0062】

１０‥作業支援サーバ、２０‥遠隔操作装置、４０‥作業機械、６０‥作業員端末、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）、６１０‥入力インターフェース、６１２‥撮像装置、６２０‥出力インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】