特許 7508815 作業支援サーバ、作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】作業支援サーバ、作業支援方法

(51)【国際特許分類】

   E02F 9/24 20060101AFI20240625BHJP

【ＦＩ】

E02F9/24 B

【請求項の数】 8

(21)【出願番号】P 2020043744

(22)【出願日】2020-03-13

(65)【公開番号】P2021143541

(43)【公開日】2021-09-24

【審査請求日】2022-10-12

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】佐久間 友梨

(56)【参考文献】

【文献】国際公開第２０２０／０３２２６７（ＷＯ，Ａ１）

【文献】特開２０１８－１０５０６４（ＪＰ，Ａ）

【文献】特開２０１７－１０２６０４（ＪＰ，Ａ）

【文献】特開２０１９－０６０２２８（ＪＰ，Ａ）

【文献】特開平１０－０２８２６５（ＪＰ，Ａ）

【文献】国際公開第２０１６／１２１０１０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１１８５９（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１３１１９４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ３／４２－３／４３

３／８４－３／８５

９／００－９／２８

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援システムであって、
入力インターフェースであって、前記入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かが判定される入力インターフェースと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースを通じて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成する第１支援処理要素と、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可する第２支援処理要素と、
を備えていることを特徴とする作業支援システム。

【請求項2】

請求項１に記載の作業支援システムにおいて、
前記第２支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。

【請求項3】

請求項２に記載の作業支援システムにおいて、
前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、
前記第２支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。

【請求項4】

請求項２に記載の作業支援システムにおいて、
前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、
前記第２支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。

【請求項5】

請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記指定操作において指定された前記一の作業機械に設けられた、前記一の作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。

【請求項6】

請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記遠隔操作装置と連携可能な前記複数の作業機械が配置される作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記指定操作において指定された前記一の作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。

【請求項7】

請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記指定操作において指定された前記一の作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。

【請求項8】

表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援方法であって、
入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かを判定するステップと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースにおいて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成するステップと、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可するステップと、
を備えていることを特徴とする作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の遠隔操作を支援する作業支援サーバ、および作業機械による作業を支援する作業支援方法に関する。

【背景技術】

【0002】

従来、遠隔ショベル等の作業機械が作業する作業現場には定点カメラが複数設置され、現場全体を俯瞰して見たり、特定のショベルの動き、作業等を監視したりすることが可能となっている。

【0003】

また、作業機械の周辺の状況を確認するため、作業機械に複数のカメラを搭載して画像を撮像する手法が知られている。

【0004】

例えば、下記の特許文献１のショベルは、キャビンの左前側のステーに左カメラが取り付けられ、カウンタウェイトの上部にバックカメラが取り付けられている。そして、上部旋回体の右前側のハンドレールに右カメラが取り付けられている。

【0005】

左カメラおよび右カメラは、その撮像範囲に上部旋回体の側面が含まれるように取り付けられている。また、バックカメラはその撮像範囲にカウンタウェイトの上面後端が含まれるように取り付けられている。これらのカメラにより、ショベルの操作者は、周辺に存在する物体との位置関係を容易に認識することができる（段落００１５～００１９、図２）。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１７／１１５８０８号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、遠隔作業機械が遠隔操作される場合においては、操作者（作業者）は遠隔作業機械から離れた位置にいる。このため、その作業に際して遠隔操作対象である作業機械の周囲を撮像するカメラの映像を効率的に確認できるようにしたいという要望がある。

【0008】

本発明は、上述の点に鑑みてなされたものであり、作業者に作業機械の周辺の状況を効率的に報知することができる作業支援サーバを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第１支援処理要素と、前記周囲画像を前記表示装置に表示させることを条件に、当該作業機械による作業を許可する第２支援処理要素と、を備えていることを特徴とする。

【0010】

本発明の作業支援サーバでは、表示装置に作業機械の周辺領域を撮像した撮像画像（静止画または動画）が送られ、作業者がその様子を確認することができる。これにより、作業者の作業機械による作業を支援するものである。

【0011】

第１支援処理要素は、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第２支援処理要素は、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。作業支援サーバは、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。

【0012】

第１発明の作業支援サーバにおいて、前記第２支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、当該作業機械による作業を許可することが好ましい。

【0013】

第２支援処理要素は、オペレータが前記表示装置に表示された周囲画像を確認することに関する情報に基づいて、遠隔操作装置による作業機械の操作を許可する。これにより、作業支援サーバは、オペレータによって当該周囲画像が確認された可能性が高い状況のとき、当該作業機械の操作を許可することができる。

【0014】

また、第１発明の作業支援サーバにおいて、前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、前記第２支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該作業機械による作業を許可することが好ましい。

【0015】

第２支援処理要素は、周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該周囲画像がオペレータによって確認された可能性が高いと推定し、当該作業機械の作業を許可することができる。

【0016】

また、第１発明の作業支援サーバにおいて、前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、前記第２支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、当該作業機械による作業を許可することが好ましい。

【0017】

この場合、第２支援処理要素は、前記表示装置に表示された周囲画像に対して前記確認動作が検出されたという、当該周囲画像がオペレータによって確実に確認された可能性が高い状況のとき、当該作業機械の作業を許可することができる。

【0018】

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械に設けられた、当該作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。

【0019】

第１支援処理要素は、作業機械に設けられた周囲撮像装置により撮像された撮像画像に基づいて、周囲画像を作成することができる。その後、当該周囲画像が表示装置に表示されるので、オペレータによる作業の許可に用いることができる。

【0020】

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。

【0021】

この場合、第１支援処理要素は、作業現場に配置された設備カメラにより撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合でも、周囲画像を作成することができる。

【0022】

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。

【0023】

この場合、第１支援処理要素は、作業機械の上空を飛行する飛行機に設けられた撮像装置により撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合、また、適切な設備カメラがない場合でも、周囲画像を作成することができる。

【0024】

第２発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第１のステップと、前記周囲画像を前記表示装置に表示させることを条件に当該作業機械による作業を許可する第２のステップと、を備えていることを特徴とする。

【0025】

本発明の作業支援方法では、第１のステップにより、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第２ステップにより、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。

【0026】

作業支援方法では、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態に係る作業支援システムの概要を説明する図。

【図2】作業機械の操作機構の構成を説明する図。

【図3A】作業機械の詳細を説明する図（１）。

【図3B】作業機械の詳細を説明する図（２）。

【図4A】作業支援サーバ、遠隔操作装置および作業機械が行う各処理のフローチャート（１）。

【図4B】作業支援サーバ、遠隔操作装置および作業機械が行う各処理のフローチャート（２）。

【図5】画像出力装置に表示される画像の例（周囲画像１）。

【図6】作業機械の周囲画像の取得手段を説明する図（１）。

【図7】画像出力装置に表示される画像の例（周囲画像２）。

【図8】作業機械の周囲画像の取得手段を説明する図（２）。

【図9】画像出力装置に表示される画像の例（周囲画像３）。

【図10】画像出力装置に表示される作業環境画像の説明図。

【発明を実施するための形態】

【0028】

以下では、図面を参照しながら、本発明の作業支援サーバの詳細を説明する。

【0029】

まず、図１を参照して、本発明の実施形態に係る作業支援サーバ１０と、これを含む作業支援システム１を説明する。

【0030】

本実施形態の建設機械の作業支援システム１は、オペレータＯＰが遠隔操作装置２０を操作することで、オペレータＯＰまたは遠隔操作装置２０に対して操作対象として割り当てられた複数の作業機械４０のそれぞれを選択的に遠隔操作し得るように構成されたシステムである。なお、遠隔操作装置２０による操作対象の複数の作業機械４０が配置される作業現場は、１つの作業現場、或いは複数の作業現場の何れであってもよい。

【0031】

この作業支援システム１は、作業機械４０に加えて、少なくとも作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０とにより構成されている。作業支援サーバ１０、遠隔操作装置２０および作業機械４０は、無線通信網を含むネットワークＮＷにより相互に通信可能に構成されている。作業支援サーバ１０は、作業機械４０の切替え、移動、作業内容等に応じて、自動で適切な撮像装置、撮像画像を選択する。そして、作業支援サーバ１０は、遠隔操作装置２０のオペレータＯＰの操作を支援するため、後述する画像出力装置２２１（本発明の「表示装置」）に撮像画像を出力する。

【0032】

作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、サーバ無線通信機器１２５とを備えている。データベース１０２は、後述する実機撮像装置４１２、周囲撮像装置４１３等で撮像された撮像画像等を記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

【0033】

支援処理要素１２１，１２２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、サーバ無線通信機器１２５は、ネットワークＮＷを経由して画像出力装置２２１に表示を指示したり、撮像装置から撮像画像を受信したりする。

【0034】

次に、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０とを備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0035】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。また、遠隔出力インターフェース２２０は、画像出力装置２２１と、作業者撮像装置２２２と、遠隔無線通信機器２２３とを備えている。

【0036】

作業者撮像装置２２２は、遠隔操作装置２０に取り付けられたカメラであり、少なくとも操作席（シートＳｔ）を撮像する。

【0037】

遠隔無線通信機器２２３は、ネットワークＮＷを経由して作業機械４０に操作信号を送信したり、実機撮像装置４１２、周囲撮像装置４１３等からの撮像画像を受信したりする。

【0038】

遠隔操作機構２１１は、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とを備えている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４２７を動作させるために操作される（図３Ａ、図３Ｂ参照）。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定された走行ペダルが設けられていてもよい。

【0039】

旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動作させるために用いる。また、ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動作させるために用いる（図３Ａ、図３Ｂ参照）。

【0040】

アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動作させるために用い、バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動作させるために用いる（図３Ａ、図３Ｂ参照）。

【0041】

ここで、図２に、遠隔操作機構２１１を構成する各操作レバー、オペレータＯＰが着座するためのシートＳｔの一例を示す。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態または背もたれがないチェアのような形態等、オペレータが着座できる任意の形態であってもよい。

【0042】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。１つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、シートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。

【0043】

同様に、シートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。

【0044】

画像出力装置２２１は、図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面（画像表示領域）の形状およびサイズが同じであってもよいし、相違していてもよい。

【0045】

また、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が中央画像出力装置２２１０の左縁に隣接している。同様に、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は、同じであってもよいし、相違していてもよい。

【0046】

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面が鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。また、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０は、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。なお、画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0047】

次に、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構（作業アタッチメント）４４０とを備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0048】

ここで、図３Ａ、図３Ｂに、本実施形態の作業機械４０の一例を示す。作業機械４０は、例えばクローラショベル（建設機械）であり、クローラ式の下部走行体４２７と、下部走行体４２７に旋回機構４３０を介して旋回可能に搭載された上部旋回体４３５と、作動機構４４０とから構成される機体４５０を備えている。上部旋回体４３５の前方左側部にはキャブ（運転室）４２５が設けられ、上部旋回体４３５の前方中央部には作動機構４４０が設けられている。キャブ（運転室）４２５の後方には、エンジン等の機械を収容する機械収容部４３６と、機械収容部４３６の後方に配置されるカウンタウェイト４３７とが配置されている。

【0049】

図１に戻り、実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、周囲撮像装置４１３とを備えている。実機操作機構４１１は、キャブ４２５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２５に設けられている。

【0050】

図３Ａ、図３Ｂに示すように、実機撮像装置４１２は、例えばキャブ４２５の内部に設置され、作業機械４０の前方方位をキャブ４２５のフロントウィンドウ越しに撮像する。

【0051】

また、図３Ａ、図３Ｂに示すように、周囲撮像装置４１３は、例えばキャブ４２５の前方下部に設置され、作業機械４０の前方を撮像する前方カメラ４１３Ａ、機体４５０上に設置され、作業機械４０の右方を撮像する右方カメラ４１３Ｂ、機体４５０上に設置され、作業機械４０の左方を撮像する左方カメラ４１３Ｄ、および機体４５０上に設置され、作業機械４０の後方を撮像する後方カメラ４１３Ｃで構成される。カメラ４１３Ａ～４１３Ｄのそれぞれの撮像範囲は互いに重なり合うように設定されており、作業機械４０の周辺領域の全方位（３６０°）を撮像可能となっている。

【0052】

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。実機無線通信機器４２２は、ネットワークＮＷを経由して遠隔操作装置２０の遠隔無線通信機器２２３から遠隔操作レバーの操作態様に応じた信号を受信する。当該信号は、さらに実機制御装置４００に送信され、作業機械４０が当該信号に応じて動作する。なお、当該信号に基づいて実機操作レバーを作動させる駆動機構またはロボットは、キャブ４２５に設けられている。

【0053】

作動機構４４０は、上部旋回体４３５に装着されたブーム４４１と、ブーム４４１の先端部に回動可能に連結されたアーム４４３と、アーム４４３の先端部に回動可能に連結されたバケット４４５とを備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されたブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0054】

また、測位装置４６０は、作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＳＳ：Global Navigation Satellite System）により構成される。測位装置４６０で検出された作業機械４０の位置は、実機無線通信機器４２２を介して作業支援サーバ１０に送信され、データベース１０２に記憶される。

【0055】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４３５との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。

【0056】

バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0057】

作業支援システム１は、さらに、各作業機械４０が配置される作業現場に設置された設備カメラ７０と、各作業機械４０が配置される作業現場の上空を飛行する無人飛行機８０と、によっても構成され得る。

【0058】

作業支援サーバ１０および遠隔操作装置２０は、適宜、ネットワークＮＷを介して設備カメラ７０の撮像装置７１３の撮像映像および無人飛行機８０の撮像装置８１３の撮像映像を取得し、画像出力装置２２１に出力可能となっている。

【0059】

次に、図４Ａ、図４Ｂを参照して、本実施形態の作業支援システム１の機能に関するフローチャートを説明する。また、適宜図５～図１０を参照して、撮像装置の選択、撮像画像の表示等について説明する。

【0060】

なお、フローチャート中の「Ｃ１０」～「Ｃ４４」のブロックは、記載を簡略化するために用いたが、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として、分岐方向の処理が実行されることを意味する。

【0061】

（第１機能）
まず、遠隔操作装置２０にて、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４Ａ／ＳＴＥＰ２１０）。ここで、「第１指定操作」とは、遠隔操作装置２０と連携する作業機械４０を選択する操作である。

【0062】

第１指定操作の有無は、例えば、次のように判定される。まず、遠隔操作装置２０と連携可能な作業機械４０のそれぞれの存在位置を示すマップや一覧表等が遠隔出力インターフェース２２０に出力される。次いで、オペレータＯＰにより遠隔操作装置２０と連携させる一の作業機械４０を指定するためのタップ等の操作が行われたか否かを判定する。

【0063】

当該判定結果が否定的である場合（図４Ａ／ＳＴＥＰ２１０‥ＮＯ）、第１機能の処理を終了する。一方、当該判定結果が肯定的である場合（図４Ａ／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２３を介して作業支援サーバ１０に対して接続要求信号を送信する（図４Ａ／ＳＴＥＰ２１１）。「接続要求信号」には、遠隔操作装置２０との通信が確立している作業機械４０、または遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれる。

【0064】

作業支援サーバ１０において、当該接続要求信号を受信した場合（図４Ａ／Ｃ１０）、第１支援処理要素１２１によって、当該作業機械識別子により識別される作業機械４０に対して撮像画像の送信開始指示を行う（図４Ａ／ＳＴＥＰ１１１）。ここでは、少なくとも作業機械４０の実機撮像装置４１２の撮像装置が選択される。

【0065】

作業機械４０は、当該送信開始指示を受けた場合（図４Ａ／Ｃ４０）、作業支援サーバ１０に撮像画像を送信する（図４Ａ／ＳＴＥＰ４１１）。作業支援サーバ１０において、サーバ無線通信機器１２５を介して撮像画像を受信した場合（図４Ａ／Ｃ１１）、周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。この周囲画像の例としては、以降で挙げる周囲画像１～３がある。

【0066】

（周囲画像１）
例えば、作業機械４０が、図３Ａ、図３Ｂに示される周囲撮像装置４１３を備えている場合には、周囲撮像装置４１３を構成するカメラ４１３Ａ～４１３Ｄでそれぞれ撮像した画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。

【0067】

作業支援サーバ１０において、サーバ無線通信機器１２５を介してカメラ４１３Ａ～４１３Ｄの撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１によってカメラ４１３Ａ～４１３Ｄの撮像画像を合成する。そして、図５に示されるような、作業機械４０の上方から俯瞰した周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。

【0068】

遠隔操作装置２０は、遠隔無線通信機器２２３を介して周囲画像を受信した場合（図４Ａ／Ｃ２０）、当該周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。

【0069】

図５に示される周囲画像において、中央に示される作業機械４０の画像は、予め図形情報としてデータベース１０２に記憶されていたものでもよい。この周囲画像において、破線はカメラ４１３Ａ～４１３Ｄの撮像画像の繋ぎ目を示している。なお、当該破線は、画像出力装置２２１に出力しなくてもよい。

【0070】

また、作業機械４０の周囲撮像装置４１３が、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。この場合、周囲撮像装置４１３により作成された周囲画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。

【0071】

そして、作業支援サーバ１０において、サーバ無線通信機器１２５を介して周囲画像が受信された場合（図４Ａ／Ｃ１１）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）、というように構成することができる。

【0072】

また、遠隔操作装置２０の遠隔出力インターフェース２２０が、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。作業支援サーバ１０において、サーバ無線通信機器１２５を介してカメラ４１３Ａ～４１３Ｄの撮像画像が受信された場合（図４Ａ／Ｃ１１）、当該撮像画像を、サーバ無線通信機器１２５を介して遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。

【0073】

そして、遠隔操作装置２０において、遠隔無線通信機器２２３を介して当該撮像画を受信した場合に、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行う。その後、作成された周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。

【0074】

（周囲画像２）
作業機械４０は、実機撮像装置４１２が撮像した撮像画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。さらに、測位装置４６０で検出された作業機械４０の位置が、実機無線通信機器４２２を介して作業支援サーバ１０に送信され、データベース１０２に保存される。

【0075】

作業支援サーバ１０において、サーバ無線通信機器１２５を介して実機撮像装置４１２が撮像した撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１にて、図７に示されるような、実機撮像装置４１２が撮像した撮像画像上に設備カメラ７０Ａ、７０Ｂが撮像した撮像画像を重ねた周囲画像が作成される（図４Ａ／ＳＴＥＰ１１２）。

【0076】

具体的には、作業支援サーバ１０は、サーバ無線通信機器１２５を介して実機撮像装置４１２が撮像した撮像画像に加えて、設備カメラ７０の通信機器７２３を介して送付される、撮像装置７１３が撮像した撮像画像を受信することができる。

【0077】

第１支援処理要素１２１は、設備カメラ７０の作業現場における位置および撮影可能範囲を把握している。そして、データベース１０２に保存された作業機械４０の位置をもとに、作業機械４０の位置が撮影可能範囲に含まれる設備カメラ７０を特定する。さらに、当該特定した設備カメラ７０により作業機械４０を捉えている設備カメラ７０が撮像した撮像画像を、実機撮像装置４１２が撮像した撮像画像上に重ね、画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。

【0078】

図６に示されるように、作業機械４０の位置が撮影可能範囲に含まれる設備カメラ７０が複数存在する場合には、設備カメラ７０の撮像画像を全て表示してもよいし、一部のみ表示してもよい。

【0079】

また、図７においては、作業機械４０を左側から撮影する設備カメラ７０Ｂの撮像画像を画像出力装置２２１の左側に出力し、作業機械４０を右側から撮影する設備カメラ７０Ａの撮像画像を画像出力装置２２１の右側に出力している。このように、作業機械４０を異なる方向から撮像した撮像画像が選択されることにより、作業機械４０の周囲の状況を周囲画像に反映することができる。

【0080】

（周囲画像３）
また、図８に示されるように、作業機械４０が配置される作業現場の上空を飛行することができる無人飛行機８０が存在する場合には、作業支援サーバ１０は、通信機器８２３を介して送信される無人飛行機８０に搭載された撮像装置８１３の撮像画像を受信することができる。

【0081】

無人飛行機８０は、充電式で無線により飛行できるものでもよいし、有線により給電されるものでもよい。無人飛行機８０は、作業現場または作業機械４０上に設けられた発着所に待機する。撮像装置８１３は、少なくとも無人飛行機８０の下方を撮像することができる。

【0082】

そして、作業機械４０が送信開始指示を受けた場合（図４Ａ／Ｃ４０）、無人飛行機８０は、作業機械４０の上空に移動し、撮像装置８１３により撮像を開始する。

【0083】

作業機械４０は、実機撮像装置４１２が撮像した撮像画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。これと同時に、撮像装置８１３により撮像された撮像画像が、通信機器８２３を介して作業支援サーバ１０に送信される。ここで、撮像装置８１３により撮像された撮像画像は、作業機械４０の実機無線通信機器４２２を介して作業支援サーバ１０に送信されてもよい。

【0084】

作業支援サーバ１０において、サーバ無線通信機器１２５を介して撮像装置８１３により撮像された撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１は、当該撮像画像を周囲画像とし、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。

【0085】

遠隔操作装置２０は、遠隔無線通信機器２２３を介して周囲画像を受信した場合（図４Ａ／Ｃ２０）に、図９に示されるような周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。当該周囲画像において、中央に示される作業機械４０の画像とその周囲の作業現場の画像は、撮像装置８１３により撮像された撮像画像である。

【0086】

無人飛行機８０は、作業機械４０を上空から撮影する際の高さおよび向きが設定されていてもよい。例えば、撮像画像における作業機械４０の画像の向きおよび大きさが適当な画像を規定画像として記憶させておき、当該規定画像を撮影することのできる高さおよび向きになるように、無人飛行機８０の高さと向きが制御され得る。

【0087】

上述の周囲画像１～３は、適宜選択され得る。例えば、作業機械４０が周囲撮像装置４１３を搭載している場合には、周囲画像１を採用することができる。

【0088】

また、作業支援サーバ１０および遠隔操作装置２０が、作業機械４０が配置される作業現場に設置された設備カメラ７０の撮像画像を、ネットワークＮＷを介して取得可能である場合には、周囲画像２を採用することができる。

【0089】

また、作業機械４０の上空に無人飛行機８０があり、撮像装置８１３により撮像された撮像画像を、ネットワークＮＷを介して取得可能である場合には、周囲画像３を採用することができる。

【0090】

以上のようにして、周囲画像が画像出力装置２２１に出力された場合（図４Ａ／ＳＴＥＰ２１２）に、オペレータＯＰは、車両や現場作業者が存在していないか等、安全を確認することができる。

【0091】

次に、遠隔無線通信機器２２３を介してオペレータ情報が作業支援サーバ１０に送信される（図４Ａ／ＳＴＥＰ２１３）。「オペレータの情報」は、オペレータОＰが画像出力装置２２１に出力された周囲画像を確認したか否かを判断することができる情報である。

【0092】

例えば、オペレータ情報は、周囲画像が画像出力装置２２１に所定時間（例えば、１０秒）以上に亘って表示されたという情報である。当該情報が送信され、作業支援サーバ１０において、サーバ無線通信機器１２５を介して当該情報が受信された場合（図４Ａ／Ｃ１２）、第２支援処理要素１２２によって、作業許可条件を満たすか否かが判定される（図４Ａ／ＳＴＥＰ１１４）。

【0093】

周囲画像が画像出力装置２２１に表示された時間が所定時間未満である場合には、オペレータが周囲画像を確認していない可能性が高い。そのため、第２支援処理要素１２２は、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）と判定し、再度、周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、周囲画像を更新する。

【0094】

一方、周囲画像が画像出力装置２２１に表示された時間が所定時間以上である場合には、オペレータＯＰが周囲画像を確認している可能性が高い。そのため、第２支援処理要素１２２は、作業許可条件を満たす（図４Ａ／ＳＴＥＰ１１４‥ＹＥＳ）と判定し、サーバ無線通信機器１２５を介して作業機械４０に対して操作受付許可信号を送信する（図４Ａ／ＳＴＥＰ１１５）。

【0095】

また、オペレータ情報は、オペレータＯＰが画像出力装置２２１に出力された周囲画像を確認する動作を捉えることのできる画像であってもよい。この場合、遠隔操作装置２０は、作業者撮像装置２２２によりシートＳｔに着座するオペレータＯＰを撮像し、オペレータ画像として遠隔無線通信機器２２３を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ２１３）。

【0096】

作業支援サーバ１０において、サーバ無線通信機器１２５を介して当該オペレータ画像が受信された場合（図４Ａ／Ｃ１２）、第２支援処理要素１２２によって、作業許可条件を満たすか否かが判定される（図４Ａ／ＳＴＥＰ１１４）。

【0097】

第２支援処理要素１２２は、オペレータ画像に対して画像解析を行いオペレータの動作を特定し、例えば、オペレータＯＰの目線や顔が画像出力装置２２１の方向に向けられていることや、オペレータＯＰが画像出力装置２２１を指さし確認していることを検出した場合には、作業許可条件を満たす（図４Ａ／ＳＴＥＰ１１４‥ＹＥＳ）と判定する。そして、第２支援処理要素１２２は、サーバ無線通信機器１２５を介して作業機械４０に対して操作受付許可信号を送信する（図４Ａ／ＳＴＥＰ１１５）。

【0098】

一方、第２支援処理要素１２２は、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）と判定すると、再度、周囲画像を作成する（図４Ａ／ＳＴＥＰ１１２）。これにより、オペレータＯＰに画像出力装置２２１に出力された周囲画像を確認させる。

【0099】

また、第２支援処理要素１２２は、オペレータ画像の解析結果において、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）状態が所定時間以上継続した場合に、遠隔操作装置２０のスピーカから警告音等を出力するように制御してもよい。

【0100】

作業機械４０は、実機無線通信機器４２２を介して当該操作受付許可信号を受信した場合（図４Ａ／Ｃ４１）、遠隔操作装置２０による遠隔操作の受付を開始する（図４Ａ／ＳＴＥＰ４１２）。

【0101】

（第２機能）
次に、図４Ｂのフローチャートを参照して、作業支援システム１のさらなる機能について説明する。

【0102】

作業支援サーバ１０は、サーバ無線通信機器１２５を介して作業機械４０に撮像画像切替え指示を送信する（図４Ｂ／ＳＴＥＰ１２０）。「撮像画像切替え指示」は、遠隔操作装置２０によって、作業機械４０の遠隔操作を行う際に用いる画像を画像出力装置２２１に表示させるための指示である。

【0103】

作業機械４０は、実機無線通信機器４２２を介して当該撮像画像切替え指示が受信された場合（図４Ｂ／Ｃ４２）、実機制御装置４００が実機撮像装置４１２から実機撮像画像を取得する（図４Ｂ／ＳＴＥＰ４２１）。すなわち、実機制御装置４００によって、当該実機撮像画像を表わす実機撮像画像データが作業支援サーバ１０に対して送信される（図４Ｂ／ＳＴＥＰ４２２）。

【0104】

作業支援サーバ１０において、第１支援処理要素１２１によってサーバ無線通信機器１２５を介して実機撮像画像データが受信された場合（図４Ｂ／Ｃ１４）、第２支援処理要素１２２によって当該実機撮像画像データが遠隔操作装置２０に対して送信される（図４Ｂ／ＳＴＥＰ１２１）。

【0105】

遠隔操作装置２０において、遠隔無線通信機器２２３を介して実機撮像画像データが受信された場合（図４Ｂ／Ｃ２１）、遠隔制御装置２００によって当該実機撮像画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４Ｂ／ＳＴＥＰ２２０）。

【0106】

これにより、例えば、図１０に示されるように、作動機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像が画像出力装置２２１に出力される。

【0107】

遠隔操作装置２０において、遠隔制御装置２００によって遠隔操作機構２１１の操作態様が認識され（図４Ｂ／ＳＴＥＰ２２１）、さらに、遠隔無線通信機器２２３を介して当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４Ｂ／ＳＴＥＰ２２２）。

【0108】

作業支援サーバ１０において、第２支援処理要素１２２によって当該遠隔操作指令が受信された場合（図４Ｂ／Ｃ１５）、第１支援処理要素１２１は、当該遠隔操作指令を作業機械４０に対して送信する（図４Ｂ／ＳＴＥＰ１２２）。

【0109】

作業機械４０において、実機制御装置４００によって実機無線通信機器４２２を介して遠隔操作指令が受信された場合（図４Ｂ／Ｃ４３）、作動機構４４０等の動作が制御される（図４Ｂ／ＳＴＥＰ４２３）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４３５を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0110】

その後、遠隔操作装置２０において、オペレータＯＰが作業機械４０による作業を終了する。このとき、遠隔操作装置２０は、作業支援サーバ１０に向けて作業終了信号を送信する（図４Ｂ／ＳＴＥＰ２２３）。

【0111】

作業支援サーバ１０は、実機無線通信機器４２２を介して当該作業終了信号を受信した場合（図４Ｂ／Ｃ１６）、作業機械４０に向けて作業終了信号を送信する（図４Ｂ／ＳＴＥＰ１２３）。このとき、作業支援サーバ１０は、現在、撮像画像を送信している撮像装置に限らず、全ての撮像装置に対して作業終了の指示を行ってもよい。

【0112】

作業機械４０は、当該作業終了信号を受信した場合（図４Ｂ／Ｃ４４）、撮像装置による撮像と作業機械４０の駆動を停止する（図４Ｂ／ＳＴＥＰ４２４）。

【0113】

最後に、遠隔操作装置２０は、撮像画像の出力を中止する（図４Ｂ／ＳＴＥＰ２２４）。これにより、画像出力装置２２１での撮像画像の表示が終了する。

【0114】

また、オペレータＯＰは、遠隔操作装置２０から複数の作業機械４０を操作することが可能であり、作業機械４０を切替えることがある。新たな作業機械４０に切替えたとき、作業支援システム１は、上述の図４Ａ、図４Ｂの処理を実行するようにしてもよい。以上で、作業支援サーバ１０の一連の処理（第１機能、第２機能）を終了する。

【0115】

このように、作業支援サーバ１０は、作業機械４０の実機撮像装置４１２、周囲撮像装置４１３、設備カメラ７０等の撮像画像を用いて、作業機械４０の周辺の撮像画像を画像出力装置２２１に表示させる。オペレータＯＰは、作業機械４０の周囲の状況のみならず、障害物との相対位置関係等を把握し、確実に作業を行うことができる。また、オペレータＯＰが自ら撮像装置の切替えを行う手間もなくなる。

【符号の説明】

【0116】

１…作業支援システム、１０…作業支援サーバ、２０…遠隔操作装置、４０…作業機械、７０，７０Ａ，７０Ｂ…設備カメラ、８０…無人飛行機、１２１…第１支援処理要素、１２２…第２支援処理要素、２００…遠隔制御装置、２２１…画像出力装置、２２２…作業者撮像装置、４１２…実機撮像装置、４１３…周囲撮像装置、４２５…キャブ、４２７…下部走行体、４３０…旋回機構、４３５…上部旋回体、４４０…作動機構（作業アタッチメント）、４４５…バケット、４６０…測位装置、７１３…撮像装置、７２３…通信機器、８１３…撮像装置、８２３…通信機器、２１１０…走行レバー、２１１１…右側操作レバー、２１１２…左側操作レバー。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】