特許 7409074 作業支援サーバ、撮像装置の選択方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】作業支援サーバ、撮像装置の選択方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231226BHJP

   E02F 9/20 20060101ALI20231226BHJP

   E02F 9/26 20060101ALI20231226BHJP

   H04Q 9/00 20060101ALI20231226BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 J

H04N7/18 F

E02F9/20 N

E02F9/26 A

H04Q9/00 301B

【請求項の数】 11

(21)【出願番号】P 2019234102

(22)【出願日】2019-12-25

(65)【公開番号】P2021103840

(43)【公開日】2021-07-15

【審査請求日】2022-07-25

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開平１０－０２８２６５（ＪＰ，Ａ）

【文献】特開２００７－０７４２１７（ＪＰ，Ａ）

【文献】特開２０１９－１０１７６５（ＪＰ，Ａ）

【文献】国際公開第２０１９／１３０９７３（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０９９０７０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０１２９９３（ＷＯ，Ａ１）

【文献】特開２０１７－７１９１６（ＪＰ，Ａ）

【文献】国際公開第２０１９／２１２０３５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｅ０２Ｆ ９／００－９／２８

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

作業機械による作業を支援する作業支援システムであって、
複数の撮像装置で撮像された少なくとも１つの撮像画像に含まれる前記作業機械の位置と大きさの少なくとも一方に基づいて前記作業機械の移動を判断し、前記作業機械の移動に基づいて当該作業機械の向き又は大きさが最適な前記撮像範囲が得られる前記撮像装置を選択し、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させる処理装置を備えていることを特徴とする作業支援システム。

【請求項2】

請求項１に記載の作業支援システムにおいて、
前記複数の撮像装置は、撮像範囲に前記作業機械が含まれる可能性の高いものが抽出されることを特徴とする作業支援システム。

【請求項3】

請求項１又は２に記載の作業支援システムにおいて、
前記処理装置は、前記作業機械の移動中に、当該作業機械の側面画像又は側面のズームアウト画像が撮像可能な前記撮像装置を選択して前記表示装置に出力させることを特徴とする作業支援システム。

【請求項4】

請求項１～３の何れか１項に記載の作業支援システムにおいて、
前記表示装置は、前記作業機械の向きが異なる２以上の撮像画像を表示することを特徴とする作業支援システム。

【請求項5】

作業機械による作業を支援する作業支援システムであって、
前記複数の撮像装置の中から、撮像範囲に記作業機械が含まれる候補を抽出し、
前記候補の中から、前記作業機械の作業内容に基づいて、当該作業内容が認識可能な最適な前記撮像範囲が得られる前記撮像装置を選択し、
選択した前記撮像装置が撮像した前記撮像画像を前記表示装置に出力させる処理装置を備えていることを特徴とする作業支援システム。

【請求項6】

請求項５に記載の作業支援システムにおいて、
前記処理装置は、前記作業機械が作業している場合に、当該作業機械の正面画像若しくは側面画像、又は先端アタッチメントのズームイン画像が撮像可能な前記撮像装置を選択して前記表示装置に出力させることを特徴とする作業支援システム。

【請求項7】

請求項１～５の何れか１項に記載の作業支援システムにおいて、
前記表示装置は、前記作業機械を遠隔操作するための遠隔操作装置に備えることを特徴とする作業支援システム。

【請求項8】

作業機械による作業を支援するための撮像装置の選択方法であって、
複数の撮像装置で撮像された少なくとも１つの撮像画像に含まれる前記作業機械の位置と大きさの少なくとも一方に基づいて前記作業機械の移動を判断するステップと、
前記作業機械の移動に基づいて当該作業機械の向き又は大きさが最適な前記撮像範囲が得られる前記撮像装置を選択するステップと、
選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させるステップと、
を備えていることを特徴とする撮像装置の選択方法。

【請求項9】

作業機械による作業を支援するための撮像装置の選択方法であって、
複数の撮像装置の中から撮像範囲に前記作業機械が含まれる候補を抽出するステップと、
前記候補の中から前記作業機械の作業内容に基づいて当該作業内容が認識可能な最適な前記撮像範囲が得られる前記撮像装置を選択するステップと、
選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させるステップと、
を備えていることを特徴とする撮像装置の選択方法。

【請求項10】

作業機械による作業を支援するための処理を実行する作業支援サーバであって、
前記複数の撮像装置で撮像された少なくとも１つの撮像画像に含まれる当該作業機械の位置と大きさの少なくとも一方に基づいて前記作業機械の移動を判断し、前記作業機械の移動に基づいて当該作業機械の向き又は大きさが最適な前記撮像範囲が得られる前記撮像装置を選択し、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させることを特徴とする作業支援サーバ。

【請求項11】

作業機械による作業を支援するための処理を実行する作業支援サーバであって、
複数の撮像装置の中から撮像範囲に前記作業機械が含まれる候補を抽出し、前記候補の中から前記作業機械の作業内容に基づいて当該作業内容が認識可能な最適な前記撮像範囲が得られる前記撮像装置を選択し、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させることを特徴とする作業支援サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械を遠隔操作するための作業支援サーバ、及び作業機械を撮像して作業を支援する撮像装置の選択方法に関する。

【背景技術】

【0002】

従来、作業機械が作業する作業現場には定点カメラが複数設置され、現場全体を俯瞰して見たり、特定のショベルの動き、作業等を監視したりすることが可能となっている。

【0003】

例えば、下記の特許文献１の施工現場管理システムは、複数の撮像装置と情報提示装置とを備えている。複数の撮像装置は、それぞれ施工現場の上方に設置され、施工現場を俯瞰撮影し、施工現場のうち有人運転車両が走行可能なすべての地点が、もれなく少なくとも１つの撮像装置によって撮像されるように設けられている。

【0004】

また、情報提示装置は、複数の撮像装置が撮像した画像に基づいて施工現場全体が写る全体俯瞰画像を生成し、運搬車両を描画した全体俯瞰画像を積込車両の車載端末に表示させることができる。このような情報提示装置は、例えば、施工現場の建屋内部に設けられる（特許文献１／段落０００８～００１０、図１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１５１９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

情報提示装置に表示される撮像装置で撮像された画像（映像）は作業現場の安全確保に役立つが、実際は各作業機械が走行、旋回等をして動きが刻々変化するため、画像内の作業機械が小さい又はほとんど映り込まない等、利用し難い画像となっている場合がある。特に、遠隔操作により作業機械を操縦する場合には、作業者は、情報提示装置により作業機械又はその周辺の様子を確認する必要性が高い。

【0007】

本発明は、上述の点に鑑みてなされたものであり、作業者が確実に作業を行えるように支援する作業支援サーバを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１発明は、作業機械による作業を支援する作業支援システムであって、複数の撮像装置で撮像された少なくとも１つの撮像画像に含まれる前記作業機械の位置と大きさの少なくとも一方に基づいて前記作業機械の移動を判断し、前記作業機械の移動に基づいて当該作業機械の向き又は大きさが最適な前記撮像範囲が得られる前記撮像装置を選択し、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させる処理装置を備えていることを特徴とする。

【0009】

本発明の作業支援システムは、撮像装置に作業機械を撮像させ、表示装置に撮像画像（静止画又は動画）が送られ、作業者がその様子を確認することができる。これにより、作業者の作業機械による作業を支援する。前記作業支援システムは、複数の撮像装置の中から撮像範囲に作業機械が含まれる撮像装置を候補として抽出して、作業機械の撮像画像を撮像させる。また、前記作業支援システムは、作業機械が移動したとき、当該作業機械が撮像範囲に入る最適な撮像装置を選択して、表示装置に撮像画像を出力させる。このため、作業者が自ら撮像装置を切替えることなく作業機械又はその周辺の様子を確認することができ、確実に作業機械による作業を行うことができる。この構成によれば、前記作業支援システムは、撮像画像に含まれる作業機械の位置が変化したり、大きさが変化したりした場合に、作業機械が移動したと判断する。前記作業支援システムは、このような画像の変化によって作業機械の移動を認識し、確実に撮像装置を切替えることができる。

【0011】

第１発明の作業支援システムにおいて、前記複数の撮像装置は、撮像範囲に前記作業機械が含まれる可能性の高いものが抽出されることが好ましい。

【0013】

また、第１発明の作業支援システムにおいて、前記処理装置は、前記作業機械の移動中に、当該作業機械の側面画像又は側面のズームアウト画像が撮像可能な前記撮像装置を選択して前記表示装置に出力させることが好ましい。

【0014】

前記作業支援システムは、作業機械の移動中に、例えば、当該作業機械の側面画像を撮像するように撮像装置を選択する。これにより、作業者は、当該作業機械の周辺の状況や相対位置を確認して、確実に作業機械を移動させることができる。

【0015】

また、第１発明の前記作業支援システムにおいて、前記表示装置は、前記作業機械の向きが異なる２以上の撮像画像を表示することが好ましい。

【0016】

撮像装置が所定の視野角を有するため、異なるアングルの画像を複数表示することができる。表示装置は、例えば、撮像装置から作業機械の左側からの撮像画像と右側からの撮像画像を取得して、表示装置に表示する。これにより、作業者が作業機械の相対位置等を正確に把握することができる。

【0017】

第２発明は、作業機械による作業を支援する作業支援システムであって、前記複数の撮像装置の中から、撮像範囲に記作業機械が含まれる候補を抽出し、前記候補の中から、前記作業機械の作業内容に基づいて、当該作業内容が認識可能な最適な前記撮像範囲が得られる前記撮像装置を選択し、選択した前記撮像装置が撮像した前記撮像画像を前記表示装置に出力させる処理装置を備えていることを特徴とする。

【0018】

本発明の作業支援システムでは、まず、処理装置が、複数の撮像装置の中から撮像範囲に作業機械が含まれる撮像装置の候補を抽出して、作業機械の撮像画像（静止画又は動画）を撮像させる。また、処理装置は、当該作業機械の作業内容に基づいて撮像装置を選択して、表示装置に撮像画像を出力させる。これにより、作業者が自ら撮像装置を切替えることなく、作業機械の作業内容を正確に把握することができる。

【0019】

また、第２発明の作業支援システムにおいて、前記処理装置は、前記作業機械が作業している場合に、当該作業機械の正面画像若しくは側面画像、又は先端アタッチメントのズームイン画像が撮像可能な前記撮像装置を選択して前記表示装置に出力させることが好ましい。

【0020】

処理装置は、作業機械が作業している場合に、例えば、先端アタッチメントのズームイン画像を撮像する。これにより、作業者は、当該作業機械による作業状況を確実に把握することができる。

【0021】

第３発明は、作業機械による作業を支援するための撮像装置の選択方法であって、複数の撮像装置で撮像された少なくとも１つの撮像画像に含まれる前記作業機械の位置と大きさの少なくとも一方に基づいて前記作業機械の移動を判断するステップと、前記作業機械の移動に基づいて当該作業機械の向き又は大きさが最適な前記撮像範囲が得られる前記撮像装置を選択するステップと、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させるステップと、を備えていることを特徴とする。

【0022】

本発明の撮像装置の選択方法では、撮像装置が作業機械を撮像すると、サーバを経由して表示装置に撮像画像（静止画又は動画）が送られ、作業者がその様子を確認することができる。

【0023】

当該選択方法では、複数の撮像装置の中から撮像範囲に作業機械が含まれる撮像装置を候補として抽出する（第１のステップ）。また、作業機械が移動したとき、前記候補の中から当該作業機械が撮像範囲に入り、その向き又は大きさが最適な（小さすぎず、良く見える角度等）撮像装置を選択して、表示装置に撮像画像を出力させる（第２のステップ）。これにより、作業者が、自ら撮像装置を切替えることなく、確実に作業機械による作業を行うことができる。

【0024】

第４発明は、作業機械による作業を支援するための撮像装置の選択方法であって、複数の撮像装置の中から撮像範囲に前記作業機械が含まれる候補を抽出するステップと、前記候補の中から前記作業機械の作業内容に基づいて当該作業内容が認識可能な最適な前記撮像範囲が得られる前記撮像装置を選択するステップと、選択した前記撮像装置が撮像した前記撮像画像を表示装置に出力させるステップと、を備えていることを特徴とする。

【0025】

本発明の撮像装置の選択方法では、複数の撮像装置の中から撮像範囲に作業機械が含まれる撮像装置を候補として抽出する（第１のステップ）。また、当該作業機械の作業内容に基づいて、前記候補の中から最適な撮像装置が選択して、表示装置に撮像画像を出力させる（第３のステップ）。これにより、作業者が、自ら撮像装置を切替えることなく、作業機械の作業内容を正確に把握することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る作業支援システムの概要を説明する図。

【図2】作業機械の操作機構の構成を説明する図。

【図3】作業機械の詳細を説明する図。

【図4】作業支援サーバと遠隔操作装置とが行う各処理のフローチャート。

【図5】作業現場を上空から見た俯瞰図（作業機械の移動前）。

【図6】画像出力装置に表示される撮像画像の例（１）。

【図7】作業現場を上空から見た俯瞰図（作業機械の移動後）。

【図8】画像出力装置に表示される撮像画像の例（２）。

【図9】画像出力装置に表示される撮像画像の例（３）。

【発明を実施するための形態】

【0027】

以下では、図面を参照しながら、本発明の作業支援サーバの詳細を説明する。

【0028】

まず、図１を参照して、本発明の実施形態に係る作業支援サーバ１０と、これを含む作業支援システム１を説明する。作業支援システム１は、作業機械４０に加えて、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業現場の所定の位置に設置されて、作業機械４０を撮像する複数の設備カメラ３０とにより構成されている。

【0029】

作業支援サーバ１０、遠隔操作装置２０、設備カメラ３０及び作業機械４０は、無線通信網を含むネットワークＮＷにより相互に通信可能に構成されている。作業支援サーバ１０は、作業機械４０の切替え、又は移動や作業内容に応じて、自動で適切な設備カメラ３０を選択する。そして、遠隔操作装置２０のオペレータＯＰの操作を支援するため、後述する画像出力装置２２１に撮像画像を出力する。

【0030】

作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、第３支援処理要素１２３と、サーバ無線通信機器１２４とを備えている。データベース１０２は、設備カメラ３０で撮像された撮像画像等を記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

【0031】

支援処理要素１２１～１２３は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、サーバ無線通信機器１２４は、ネットワークＮＷを経由して画像出力装置２２１に表示を指示したり、設備カメラ３０から撮像画像を受信したりする。

【0032】

次に、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０とを備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0033】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。また、遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。遠隔無線通信機器２２２は、ネットワークＮＷを経由して作業機械４０に操作信号を送信したり、設備カメラ３０からの撮像画像を受信したりする。

【0034】

遠隔操作機構２１１は、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とを備えている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４２７を動作させるために操作される（図３参照）。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部又は下端部に固定された走行ペダルが設けられていてもよい。

【0035】

旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動作させるために用いられる。また、ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動作させるために用いられる（図３参照）。

【0036】

アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動作させるために用いられ、バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動作させるために用いられる（図３参照）。

【0037】

ここで、図２に、遠隔操作機構２１１を構成する各操作レバー、オペレータＯＰが着座するためのシートＳｔの一例を示す。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、又は背もたれがないチェアのような形態等、オペレータが着座できる任意の形態であってもよい。

【0038】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。１つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、シートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。

【0039】

同様に、シートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。

【0040】

遠隔出力インターフェース２２０を構成する画像出力装置２２１（本発明の「表示装置」）は、シートＳｔの右斜め前方に配置された右斜め前方画像出力装置２２１１と、前方（正面側）に配置された前方画像出力装置２２１２と、左斜め前方に配置された左斜め前方画像出力装置２２１３とにより構成されている。当該画像出力装置２２１１～２２１３は、さらにスピーカ（音声出力装置）を備えていてもよい。

【0041】

図１に戻り、設備カメラ３０（本発明の「撮像装置」）は、撮像装置３００と、カメラ無線通信機器３１０とを備えている。撮像装置３００は、所定の撮像範囲を有しており、上下左右に可動する視野角が設定されていてもよい。また、撮像装置３００は、常に撮像を継続するようにしてもよく、また、作業現場における作業時に設備カメラ３０が選択された場合に、撮像を開始するようにしてもよい。

【0042】

また、カメラ無線通信機器３１０は、ネットワークＮＷを経由して作業支援サーバ１０のサーバ無線通信機器１２４、及び遠隔操作装置２０の遠隔無線通信機器２２２に撮像装置３００で撮像した撮像画像を送信する。撮像装置３００に対する撮像対象、方向、ズームイン、ズームアウト等の表示切替え指示は、作業支援サーバ１０側で画像解析をしつつ行うが、オペレータＯＰ側から指示するようにしてもよい。

【0043】

作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構（作業アタッチメント）４４０とを備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0044】

次に、図３に、本実施形態の作業機械４０の一例を示す。作業機械４０は、例えば、クローラショベル（建設機械）であり、クローラ式の下部走行体４２７と、下部走行体４２７に旋回機構４３０を介して旋回可能に搭載された上部旋回体４３５とを備えている。また、上部旋回体４３５の前方左側部にはキャブ（運転室）４２５が設けられ、上部旋回体４３５の前方中央部には作動機構としての作業アタッチメント４４０が設けられている。

【0045】

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２とを備えている。実機操作機構４１１は、キャブ４２５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。

【0046】

また、実機無線通信機器４２２は、ネットワークＮＷを経由して遠隔操作装置２０の遠隔無線通信機器２２２から遠隔操作レバーの操作態様に応じた信号を受信する。当該信号は、さらに実機制御装置４００に送信され、作業機械４０が当該信号に応じて動作する。なお、当該信号に基づいて実機操作レバーを作動させる駆動機構又はロボットは、キャブ４２５に設けられている。また、実機撮像装置４１２は、例えば、キャブ４２５の内部に設置され、キャブ４２５のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

【0047】

作動機構（作業アタッチメント）４４０は、上部旋回体４３５に装着されたブーム４４１と、ブーム４４１の先端部に回動可能に連結されたアーム４４３と、アーム４４３の先端部に回動可能に連結されたバケット４４５とを備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されたブームシリンダ４４２、アームシリンダ４４４及びバケットシリンダ４４６が装着されている。

【0048】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４３５との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。

【0049】

バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0050】

次に、図４を参照して、本実施形態の作業支援システム１の機能に関するフローチャートを説明する。また、適宜図５～図８を参照して、設備カメラ３０の切替え、撮像画像の表示等について説明する。

【0051】

なお、フローチャート中の「Ｃ１１」、「Ｃ１２」のブロックは、記載を簡略化するために用いたが、データの送信及び／又は受信を意味し、当該データの送信及び／又は受信を条件として、分岐方向の処理が実行されることを意味する。

【0052】

まず、遠隔操作装置２０において、オペレータＯＰが作業機械４０による作業を開始する（ＳＴＥＰ２０１）。このとき、作業支援サーバ１０に向けて「作業開始信号」が送信される。

【0053】

次に、作業支援サーバ１０は、当該作業開始信号を受信し（Ｃ１１）、撮像画像の送信開始指示を行う（ＳＴＥＰ１０１）。ここでは、作業現場の所定の位置に設置され、その撮像範囲に作業機械４０が含まれるカメラ１（例えば、後述する設備カメラ３０ａ）が選択される。

【0054】

ここで、図５に、作業現場を上空から見た俯瞰図を示す。作業現場には、４台の設備カメラ３０ａ～３０ｄが、それぞれ離れた場所に設置されている。また、破線で示す扇形の領域Ｒａ～Ｒｄは、４台の設備カメラ３０ａ～３０ｄにより、それぞれ撮像が可能な領域である。なお、設備カメラ３０は、設備カメラ３０ａ～３０ｄ以外にも、複数存在していてもよい。

【0055】

例えば、作業機械４０が位置Ａに存在する場合、作業支援サーバ１０（第１支援処理要素１２１）は、作業機械４０が作業現場に存在していることから、予め設定した視野角から定められる撮像範囲に作業機械４０が含まれる可能性が高いものとして、設備カメラ３０ａ～３０ｄを候補として抽出する。そして、位置Ａが設備カメラ３０ａ，３０ｄのそれぞれの撮像範囲のみに含まれることから、設備カメラ３０ａ，３０ｄを選択する。

【0056】

次に、遠隔操作装置２０において、撮像画像の出力を開始する（ＳＴＥＰ２０２）。これにより、オペレータＯＰは、画像出力装置２２１で作業機械４０又はその周辺の様子を確認することができる。なお、カメラ１は、遠隔操作装置２０の他、作業支援サーバ１０にも撮像画像を送信する。

【0057】

図６は、遠隔操作装置２０の画像出力装置２２１に表示される設備カメラ３０ａ，３０ｄの撮像画像の例を示している。図示するように、右斜め前方画像出力装置２２１１には作業機械４０の第１の画像、左斜め前方画像出力装置２２１３には作業機械４０の第３の画像がそれぞれ表示される。第１の画像及び第３の画像は、オペレータＯＰの操作により選択された画像が表示されるか、或いは、作業内容に応じて適切な画像が選択され、表示される。

【0058】

予め設定した視野角から定められる撮像範囲に作業機械４０が映り込む設備カメラ３０ａ，３０ｄにより撮像した画像を画像出力装置２２１に表示させることで、異なるアングルの撮像画像を表示することができる。例えば、作業機械４０の左側からの画像と右側からの画像を取得して、画像出力装置２２１に表示する。これにより、作業者が作業機械４０の相対位置を正確に把握することができる。なお、画像出力装置２２１に表示される第１の画像及び第３の画像は、作業機械４０の向きに基づいて表示されてもよい。

【0059】

設備カメラ３０は、例えば、作業中の作業機械４０を背面側、側面側等の複数の視点から撮像するが、作業機械４０の作業アタッチメント４４０等、所定箇所を拡大したズームイン画像、周辺の様子を含むズームアウト画像等を撮像するようにしてもよい。

【0060】

次に、遠隔操作装置２０において、オペレータＯＰが作業機械４０を移動させたとする（ＳＴＥＰ２０３）。ここでの「移動」とは、図５の位置Ａ（初期位置）を起点に作業機械４０を所定距離（例えば、１０メートル）以上移動させて、作業場所を変更することを意味する。なお、作業機械４０の移動量が所定距離未満である場合には、作業機械４０はほとんど移動していないとみなすことができ、この場合、画像出力装置２２１に表示される設備カメラ３０の候補は変更されない。

【0061】

次に、作業支援サーバ１０において、作業機械４０が移動したか否かを判定する（ＳＴＥＰ０１２）。ここで、作業支援サーバ１０の第２支援処理要素１２２は、送信された撮像画像を用いて作業機械４０の画像の位置、撮像領域に含まれる作業機械４０の大きさのうち、少なくとも一方に基づいて作業機械４０の移動を判断する。

【0062】

設備カメラ３０ａ～３０ｄの少なくとも１つの撮像画像において、作業機械４０が奥行方向に移動する場合に、撮像領域に含まれる作業機械４０の画像の大きさが変化する。設備カメラ３０と作業機械４０との距離は、撮像領域に含まれる作業機械４０の画像の大きさに対応している。従って、撮像領域に含まれる作業機械４０の大きさの変化量により、作業機械４０の実際の移動量である実移動量を特定することができる。そして、特定された実移動量が所定距離以上であるか否かを判定することにより、作業機械４０が所定距離以上移動したか否かを判断することができる。

【0063】

また、設備カメラ３０ａ～３０ｄの少なくとも１つの撮像画像において、作業機械４０が左右方向に移動する場合に、作業機械４０の画像の位置（例えば、図心）が変化する。作業機械４０が設備カメラ３０に近い（作業機械４０の画像の大きさが大きい）場合には、作業機械４０が設備カメラ３０に遠い（作業機械４０の画像の大きさが小さい）場合と比べ、作業機械４０の移動量に対する設備カメラ３０の撮像領域における見かけ上の作業機械４０の画像の位置の変化量が大きくなるという対応関係がある。従って、撮像領域に含まれる作業機械４０の大きさと、作業機械４０の画像の位置の変化量とにより作業機械４０の実際の移動量である実移動量を特定することができる。そして、特定された実移動量が所定距離以上であるか否かを判定することにより、作業機械４０が所定距離以上移動したか否かを判断することができる。

【0064】

また、撮像画像において、作業機械４０が横方向及び奥行方向に移動する場合には、作業機械４０の画像の位置及び作業機械４０の大きさの両方により、設備カメラ３０と作業機械４０との距離が特定される。なお、作業機械４０の向きの変化によって作業機械４０の見かけ上の位置及び大きさが変化することを考慮し、作業機械４０の向きを作業機械４０の移動を判断する要素に加えてもよい。作業機械４０の向きは、例えば、撮像領域に含まれる作業機械４０の形状の変化により判断される。

【0065】

作業機械４０が移動したと判定された場合、ＳＴＥＰ１０３に進み、作業機械４０が移動していないと判定された場合、作業支援サーバ１０の一連の処理を終了する。

【0066】

作業機械４０が移動したと判定された場合（ＳＴＥＰ１０２で「ＹＥＳ」）、撮像画像の送信変更指示がなされる（ＳＴＥＰ１０３）。ここでは、作業機械４０の移動に伴い、撮像範囲に移動後の作業機械４０が含まれるカメラ２が抽出される。

【0067】

ここで、図７に、作業機械４０が移動した場合の作業現場の俯瞰図を示す。まず、作業機械４０が位置Ａから位置Ｂに移動したとする。このとき、設備カメラ３０ａ，３０ｂ，３０ｄが予め設定した視野角から定められる撮像範囲に作業機械４０が映り込むカメラ２として抽出される。そして、右斜め前方画像出力装置２２１１には作業機械４０の第１の画像、前方画像出力装置２２１２には作業機械４０の第２の画像、左斜め前方画像出力装置２２１３には作業機械４０の第３の画像が選択され、それぞれ表示される。

【0068】

また、作業機械４０が位置Ａから位置Ｃに移動した場合は、設備カメラ３０ｂ，３０ｃ，３０ｄが当該撮像範囲に作業機械４０が映り込むカメラ２として抽出される。このように、作業支援システム１では、移動先の作業機械４０に近い設備カメラ３０が優先的に抽出され、選択されるため、オペレータＯＰが設備カメラの切替えを自ら行わなくても、画像出力装置２２１を見ながら作業機械４０の操作を継続することができる。また、オペレータＯＰが設備カメラ３０の切替えを操作する際には、作業機械４０が映り込む設備カメラ３０が抽出された状態で選択可能となる。

【0069】

画像出力装置２２１１～２２１３に表示された撮像画像は、オペレータＯＰの操作や作業内容により、それぞれズームレベルを変更してもよい。これにより、作業機械４０による作業の様子、作業機械４０の周辺に他機や作業者がいるか等の情報をオペレータＯＰが取得することができる。

【0070】

次に、遠隔操作装置２０において、オペレータＯＰが作業機械４０による作業内容の変更を行ったとする（ＳＴＥＰ２０４）。ここでの「作業内容の変更」とは、例えば、作業機械４０の走行操作から整地工事や法面工事への変更等、作業内容を大きく変更することを意味する。

【0071】

次に、作業支援サーバ１０において、作業機械４０の作業内容が変更されたか否かを判定する（ＳＴＥＰ１０４）。ここで、作業支援サーバ１０の第３支援処理要素１２３は、送信された撮像画像を用いて作業内容の変更を判断する。例えば、走行操作時には作業機械４０の移動が検出され、作業機械４０が作業をする場所に到着すると作業機械４０の移動が検出されなくなることにより、作業内容の変更が判断される。さらに、作業内容を選択する操作がオペレータＯＰによってなされたり、操作の内容から変更を特定することにより作業内容の変更がなされたと判断される等、判断条件を加えるようにしてもよい。

【0072】

作業内容が変更されたと判定された場合、ＳＴＥＰ１０５に進み、作業内容が変更されていないと判定された場合、作業支援サーバ１０の一連の処理を終了する。

【0073】

作業内容が変更されたと判定された場合（ＳＴＥＰ１０４で「ＹＥＳ」）、再び撮像画像の送信変更指示がなされる（ＳＴＥＰ１０５）。ここでは、作業内容の変更に伴い、撮像範囲に作業機械４０のバケット４４５等が視認し易いカメラ１が選択される。

【0074】

作業支援サーバ１０（第３支援処理要素１２３）は、作業機械４０が通常の作業（土を掻き出してダンプカーに移す等）をしているときには、例えば、ズームインした作業機械４０の正面側又は側面側の撮像画像を、画像出力装置２２１に表示する。

【0075】

また、法面（盛土等により作られる人工的な斜面）の形成工事の場合には、作業機械４０の作業アタッチメント４４０の先端部分の動きが重要となるため、例えば、ズームインしたバケット４４５の撮像画像を、画像出力装置２２１に表示する。

【0076】

ここで、図８に、遠隔操作装置２０の画像出力装置２２１に表示される作業中の作業機械４０の撮像画像の例を示す。

【0077】

右斜め前方画像出力装置２２１１には、第１の画像として作業機械４０のバケット４４５のズームイン画像（一方向）、前方画像出力装置２２１２には、第２の画像として作業機械４０の背面側の画像、左斜め前方画像出力装置２２１３には、第３の画像として作業機械４０のバケット４４５のズームイン画像（他方向）がそれぞれ表示されている。

【0078】

このように、オペレータОＰは、バケット４４５のズームイン画像を見て、確認しながら作業を進めることができる。そして、作業機械４０が向きを変えて、バケット４４５の様子が撮像できなくなった場合に、別の設備カメラ３０に切替えるようにしてもよい。

【0079】

この他、整地工事の場合には、作業機械４０を上空側から撮像したズームアウト画像を画像出力装置２２１に表示することが望ましい。また、作業機械４０の移動中には、作業機械４０の側面側の撮像画像、ズームアウトした側面側の撮像画像を表示することで、作業機械４０の周辺の様子をオペレータＯＰが把握することができる。作業機械４０の移動中には、進行方向に距離を表す線分を重畳表示するようにしてもよい。

【0080】

その後、作業支援サーバ１０において、オペレータＯＰが作業機械４０による作業を終了する（ＳＴＥＰ２０５）。このとき、作業支援サーバ１０に向けて「作業終了信号」が送信される。

【0081】

次に、作業支援サーバ１０において、当該作業終了信号を受信し（Ｃ１２）、
撮像画像の送信中止指示を行う（ＳＴＥＰ１０６）。作業支援サーバ１０は、現在、撮像画像を送信しているカメラ１に限らず、作業現場の全てのカメラに対して送信中止指示を行ってもよい。以上で、作業支援サーバ１０の一連の処理を終了する。

【0082】

最後に、遠隔操作装置２０において、撮像画像の出力を中止する（ＳＴＥＰ２０６）。これにより、画像出力装置２２１での撮像画像の表示が終了する。以上で、遠隔操作装置２０の一連の処理を終了する。

【0083】

以上の説明では、作業機械４０の移動が作業機械４０の作業内容の変更よりも先に行われたが、これは一例に過ぎない。作業内容の変更が先に行われることもあり、その場合、カメラ１、カメラ２の切替えを適宜行う。

【0084】

作業機械４０は、安全状態を解除する解除レバーを有しているが、解除レバーがオフ（作業不能状態）のとき、画像出力装置２２１に作業現場全体又は作業機械４０と作業者との距離が把握できる画像を表示するようにしてもよい。

【0085】

また、作業機械４０の解除レバーがオン（作業可能状態）のとき、作業内容に応じて撮像画像（アングル、大きさ等）を切替えるが、もちろん、設備カメラを切替える必要がない場合は、１つの設備カメラで撮像を継続すればよい。

【0086】

以上の説明では、図６や図８に示したように、遠隔操作装置２０の画像出力装置２２１に表示される撮像画像として、右斜め前方画像出力装置２２１１に作業機械４０の第１の画像、前方画像出力装置２２１２に作業機械４０の第２の画像、左斜め前方画像出力装置２２１３に作業機械４０の第３の画像がそれぞれ表示される場合を例示したが、この限りではない。

【0087】

図９に示すように、右斜め前方画像出力装置２２１１には実機撮像装置４１２で撮像された画像の右側が表示され、前方画像出力装置２２１２には実機撮像装置４１２で撮像された画像が左右両端側を除いて表示され、左斜め前方画像出力装置２２１３には実機撮像装置４１２で撮像された画像の左側が表示されるようにし、さらに右斜め前方画像出力装置２２１１には第１の画像、第２の画像、第３の画像を表示させるようにしてもよい。

【0088】

また、第１の画像、第２の画像、第３の画像は、それぞれ右斜め前方画像出力装置２２１１、前方画像出力装置２２１２、左斜め前方画像出力装置２２１３の少なくとも１つ以上の前方画像出力装置に表示されるようにしてもよい。

【0089】

以上の説明では、作業支援サーバ１０が設備カメラ３０を選択する態様であったため、遠隔操作装置２０の画像出力装置２２１に表示される撮像画像は、設備カメラ３０で撮像された画像である場合を示したが、作業支援サーバ１０により選択される撮像装置は設備カメラ３０に限られない。例えば、作業機械４０の周辺領域に別の作業機械が存在している場合には、作業支援サーバ１０は、設備カメラ３０に加えて当該別の作業機械に搭載された撮像装置で撮像された撮像画像を選択できるようにしてもよい。

【符号の説明】

【0090】

１…作業支援システム、１０…作業支援サーバ、２０…遠隔操作装置、３０…設備カメラ、４０…作業機械、１０２…データベース、１２１…第１支援処理要素、１２２…第２支援処理要素、１２３…第３支援処理要素、サーバ無線通信機器、２００…遠隔制御装置、２１０…遠隔入力インターフェース、２２０…遠隔出力インターフェース、２２１…画像出力装置、２２２…遠隔無線通信機器、３００…撮像装置、３１０…カメラ無線通信機器、４００…実機制御装置、４１０…実機入力インターフェース、４１２…実機撮像装置、４２０…実機出力インターフェース、４２５…キャブ、４２７…下部走行体、４３０…旋回機構、４３５…上部旋回体、４４０…作動機構（作業アタッチメント）、４４１…ブーム、４４３…アーム、４４５…バケット、２１１０…走行レバー、２１１１…右側操作レバー、２１１２…左側操作レバー。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】