特許 7452038 作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】作業支援システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240312BHJP

   E02F 9/20 20060101ALI20240312BHJP

   H04M 11/00 20060101ALI20240312BHJP

   H04N 23/60 20230101ALI20240312BHJP

【ＦＩ】

H04N7/18 J

E02F9/20 N

H04M11/00 301

H04N23/60 500

【請求項の数】 9

(21)【出願番号】P 2020013236

(22)【出願日】2020-01-30

(65)【公開番号】P2021119649

(43)【公開日】2021-08-12

【審査請求日】2022-10-12

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】佐野 潤一

(56)【参考文献】

【文献】国際公開第２０１９／２３９８５８（ＷＯ，Ａ１）

【文献】特開２０１０－１２３０２１（ＪＰ，Ａ）

【文献】特開２０１２－１０３９１９（ＪＰ，Ａ）

【文献】特開２０１９－１７３３７９（ＪＰ，Ａ）

【文献】特開２０１９－００４３９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｅ０２Ｆ ９／２０

Ｇ０５Ｄ １／００

Ｈ０４Ｍ １１／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

複数のクライアントによる作業機械の遠隔操作を支援するための作業支援システムであって、
前記クライアントと連携している前記作業機械として作業現場に存在する連携作業機械の実空間位置を記憶保持するデータベースと、
前記作業現場に存在する撮像装置の実空間位置と撮影方向から前記撮像装置の撮影範囲を特定する演算処理装置と、
前記クライアントに備えられ、前記撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を出力する出力インターフェースと、
前記クライアントに備えられ、当該クライアントのオペレータに選択された前記連携作業機械である対象実機についての標識画像要求を前記演算処理装置に対して送信するための入力インターフェースと、を備え、
前記演算処理装置は、前記標識画像要求を受信した場合、前記データベースに記憶保持されている前記実空間位置に基づいて前記対象実機の実空間位置を認識し、前記対象実機の実空間位置が前記撮像装置の前記撮影範囲に含まれるか否かを判定し、
前記出力インターフェースは、前記演算処理装置による判定結果が肯定的である場合、前記作業環境画像における前記対象実機の実空間位置に相当する指定位置における前記対象実機の存在を表わす標識画像を出力することを特徴とする作業支援システム。

【請求項2】

複数のクライアントによる作業機械の遠隔操作を支援するための作業支援システムであって、
前記クライアントと連携している前記作業機械として作業現場に存在する連携作業機械の実空間位置を記憶保持するデータベースと、
前記作業現場に存在する撮像装置の実空間位置と撮影方向から前記撮像装置の撮影範囲を特定する演算処理装置と、
前記クライアントに備えられ、前記撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を出力する出力インターフェースと、を備え、
前記演算処理装置は、前記連携作業機械の識別子を伴う標識画像要求を受信した場合、前記識別子に関連付けられて前記データベースに記憶保持されている前記連携作業機械の実空間位置を認識し、前記連携作業機械の実空間位置が前記撮像装置の前記撮影範囲に含まれるか否かを判定し、前記判定結果が否定的である場合、当該連携作業機械の実空間位置を実空間撮像範囲に包含しうる前記撮像装置を指定撮像装置として特定し、
前記出力インターフェースは、前記演算処理装置による前記判定結果が肯定的である場合、前記作業環境画像における前記連携作業機械の実空間位置に相当する指定位置における前記連携作業機械の存在を表わす標識画像を出力し、前記演算処理装置による前記判定結果が否定的である場合、前記指定撮像装置により取得された前記作業環境画像における前記連携作業機械の存在を表わす標識画像を出力することを特徴とする作業支援システム。

【請求項3】

請求項２に記載の作業支援システムにおいて、
前記演算処理装置は、前記複数の作業機械のうち少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することを特徴とする作業支援システム。

【請求項4】

請求項３に記載の作業支援システムにおいて、
前記演算処理装置は、少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することができない場合、前記複数の作業機械のいずれにも搭載されていない撮像装置を前記指定撮像装置として特定することを特徴とする作業支援システム。

【請求項5】

請求項３～４のうちいずれか１項に記載の作業支援システムにおいて、
一のクライアントおよび他のクライアントのそれぞれの前記出力インターフェースに出力されている前記作業環境画像が共通する場合、前記一のクライアントの前記出力インターフェースは、前記他のクライアントを示す情報を出力することを特徴とする作業支援システム。

【請求項6】

請求項１～５のうちいずれか１項に記載の作業支援システムにおいて、
一のクライアントおよび他のクライアントのそれぞれの前記出力インターフェースに出力されている前記標識画像が同一の前記連携作業機械の存在を表わしている場合、前記一のクライアントおよび他のクライアントの前記出力インターフェースは、当該標識画像を共通の形態で出力することを特徴とする作業支援システム。

【請求項7】

請求項１～７のうちいずれか１項に記載の作業支援システムにおいて、
前記複数のクライアントのそれぞれの前記出力インターフェースは、複数の前記標識画像を相互に識別可能な形態で出力することを特徴とする作業支援システム。

【請求項8】

請求項１～８のうちいずれか１項に記載の作業支援システムにおいて、
前記演算処理装置は、記前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記連携作業機械の実空間位置とに基づき、前記実機画像が前記連携作業機械に該当するか否かを判定し、
前記複数のクライアントのそれぞれの前記出力インターフェースは、当該判定結果が肯定的であることを要件として当該連携作業機械の存在を表わす前記標識画像を出力することを特徴とする作業支援システム。

【請求項9】

請求項１～８のうちいずれか１項に記載の作業支援システムおいて、
前記演算処理装置は、前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記複数の作業機械のそれぞれの実空間位置とに基づき、前記実機画像がいずれの作業機械に該当するかを認識し、
一のクライアントおよび他のクライアントの少なくとも一方の出力インターフェースは、前記実機画像がいずれの作業機械に該当するかを表わす前記標識画像を出力することを特徴とする作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。

【背景技術】

【0002】

プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２４２８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、撮像装置を通じて取得された撮像画像が遠隔操作装置を構成する出力インターフェース（画像表示装置）に表示され、当該撮像画像に複数の作業機械が映り込んでいる場合、当該表示画像において操作対象である作業機械と操作対象ではない周囲の作業機械とをオペレータが誤認する可能性がある。特に、複数のオペレータのそれぞれにより作業機械が操作される場合、一のオペレータ自身の操作対象である自機と他のオペレータの操作対象である他機とが、それぞれのオペレータにより認識される必要があるが、複数のオペレータの間で同一の認識を共有することが困難である。これは、特に同一メーカーの同一機種の複数の作業機械が出力インターフェースに同時に表示される場合に顕著となる。この場合、オペレータによる誤認に基づく遠隔操作装置を用いた作業機械の動作態様が、目標とする作業遂行の観点から不適当になる可能性がある。

【0005】

そこで、本発明は、遠隔操作装置を構成する出力インターフェースに表示されている作業機械が、いずれの遠隔操作装置による遠隔操作対象であるかを当該遠隔操作装置のオペレータに認識させることができるサーバおよびシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援システムに関する。

【0007】

本発明の作業支援システムは、クライアントによる作業機械の遠隔操作を支援するための作業支援システムであって、前記クライアントと連携している前記作業機械として作業現場に存在する連携作業機械の実空間位置を記憶保持するデータベースと、前記作業現場に存在する撮像装置の実空間位置と撮影方向から前記撮像装置の撮影範囲を特定する演算処理装置と、前記クライアントに備えられ、前記撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を出力する出力インターフェースと、前記クライアントに備えられ、当該クライアントのオペレータに選択された前記連携作業機械である対象実機についての標識画像要求を前記演算処理装置に対して送信するための入力インターフェースと、を備え、前記演算処理装置は、前記標識画像要求を受信した場合、前記データベースに記憶保持されている前記実空間位置に基づいて前記対象実機の実空間位置を認識し、前記対象実機の実空間位置が前記撮像装置の前記撮影範囲に含まれるか否かを判定し、前記出力インターフェースは、前記演算処理装置による判定結果が肯定的である場合、前記作業環境画像における前記対象実機の実空間位置に相当する指定位置における前記対象実機の存在を表わす標識画像を出力することを特徴とする。

【0008】

当該構成の作業支援システムによれば、撮像装置を通じて取得された作業現場の様子を示す作業環境画像が、複数の遠隔操作装置のそれぞれを構成する出力インターフェースに出力される。複数の遠隔操作装置のそれぞれから、識別子を伴う標識画像要求に応じて、当該識別子により識別される連携作業機械の実空間位置が撮像装置の実空間撮像範囲に含まれているか否かが判定される。当該判定結果が肯定的である場合、複数の遠隔操作装置のそれぞれの出力インターフェースに連携作業機械の存在を表わす標識画像が出力される。これにより、作業環境画像における少なくとも一の遠隔操作装置との連携作業機械の存在を複数の遠隔操作装置のそれぞれの複数のオペレータのそれぞれに認識させることができる。

【0009】

よって、遠隔操作装置を構成する出力インターフェースに出力されている作業環境画像に、一の遠隔装置またはそれぞれの遠隔操作装置との連携作業機械が存在することを当該複数のオペレータのそれぞれに共通に認識させることができる。

【0010】

本発明の作業支援システムは、複数のクライアントによる作業機械の遠隔操作を支援するための作業支援システムであって、前記クライアントと連携している前記作業機械として作業現場に存在する連携作業機械の実空間位置を記憶保持するデータベースと、前記作業現場に存在する撮像装置の実空間位置と撮影方向から前記撮像装置の撮影範囲を特定する演算処理装置と、前記クライアントに備えられ、前記撮像装置を通じて取得された作業現場の撮像画像に応じた作業環境画像を出力する出力インターフェースと、を備え、前記演算処理装置は、前記連携作業機械の識別子を伴う標識画像要求を受信した場合、前記識別子に関連付けられて前記データベースに記憶保持されている前記連携作業機械の実空間位置を認識し、前記連携作業機械の実空間位置が前記撮像装置の前記撮影範囲に含まれるか否かを判定し、前記判定結果が否定的である場合、当該連携作業機械の実空間位置を実空間撮像範囲に包含しうる前記撮像装置を指定撮像装置として特定し、前記出力インターフェースは、前記演算処理装置による前記判定結果が肯定的である場合、前記作業環境画像における前記連携作業機械の実空間位置に相当する指定位置における前記連携作業機械の存在を表わす標識画像を出力し、前記演算処理装置による前記判定結果が否定的である場合、前記指定撮像装置により取得された前記作業環境画像における前記連携作業機械の存在を表わす標識画像を出力することを特徴とする。

【0011】

当該構成の作業支援システムによれば、一の撮像装置の実空間撮像範囲に連携作業機械の実空間位置が含まれない場合、当該連携作業機械の実空間位置を実空間撮像範囲に含みうる他の撮像装置により取得された代替的な作業環境画像が各遠隔操作装置の出力インターフェースに出力されうる。したがって、連携作業機械の存在について複数のオペレータの間で認識の共有を図ることができる。

【0012】

本発明の作業支援システムにおいて、前記演算処理装置は、前記複数の作業機械のうち少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することが好ましい。

【0013】

当該構成の作業支援システムによれば、複数の遠隔操作装置のそれぞれの出力インターフェースに個別に出力されている作業環境画像に標識画像要求の対象である連携作業機械が含まれていない場合、当該連携作業機械が含まれている別の遠隔操作装置の出力インターフェースに出力されている作業環境画像が出力されうる。これにより、複数の遠隔操作装置とのそれぞれの複数のオペレータのそれぞれの間で標識画像要求の対象である連携作業機械の存在に関して認識の共有を図ることができる。

【0014】

本発明の作業支援システムにおいて、前記演算処理装置は、少なくとも１つの作業機械に搭載されている撮像装置を前記指定撮像装置として特定することができない場合、前記複数の作業機械のいずれにも搭載されていない撮像装置を前記指定撮像装置として特定することが好ましい。

【0015】

当該構成の作業支援システムによれば、少なくとも１つの作業機械に搭載されている撮像装置が指定撮像装置として特定されない場合、複数の作業機械のいずれにも搭載されていない撮像装置（例えば、作業現場に設定された撮像装置）である指定撮像装置により取得された作業環境画像が複数の遠隔操作装置のそれぞれの出力インターフェースに出力されうる。これにより、複数の遠隔操作装置とのそれぞれの複数のオペレータのそれぞれの間で標識画像要求の対象である連携作業機械の存在に関して認識の共有を図ることができる。

【0016】

本発明の作業支援システムにおいて、一のクライアントおよび他のクライアントのそれぞれの前記出力インターフェースに出力されている前記作業環境画像が共通する場合、前記一のクライアントの前記出力インターフェースは、前記他のクライアントを示す情報を出力することが好ましい。

【0017】

当該構成の作業支援システムによれば、一の遠隔操作装置の出力インターフェースに出力されている作業環境画像が、他の遠隔操作装置の出力インターフェースにおいても出力されている場合、当該他の遠隔操作装置を示す情報が当該一の遠隔操作装置の出力インターフェースに出力される。

【0018】

本発明の作業支援システムにおいて、一のクライアントおよび他のクライアントのそれぞれの前記出力インターフェースに出力されている前記標識画像が同一の前記連携作業機械の存在を表わしている場合、前記一のクライアントおよび他のクライアントの前記出力インターフェースは、当該標識画像を共通の形態で出力することが好ましい。

【0019】

当該構成の作業支援システムによれば、同一の連携作業機械の存在を表わす標識画像が複数の遠隔操作装置のそれぞれの出力インターフェースにおいて共通の形態で出力されるので、複数のオペレータ間で標識画像要求の対象である連携作業機械の存在に関する認識の共有を図ることができる。

【0020】

本発明の作業支援システムにおいて、前記複数のクライアントのそれぞれの前記出力インターフェースは、複数の前記標識画像を相互に識別可能な形態で出力することが好ましい。

【0021】

当該構成の作業支援システムによれば、複数の標識画像が相互に識別可能な形態で複数の遠隔操作装置のそれぞれの出力インターフェースに出力されるので、複数のオペレータの間で標識画像要求の対象である複数の連携作業機械のそれぞれの識別および存在に関して認識の共有を図ることができる。

【0022】

本発明の作業支援システムにおいて、前記演算処理装置は、記前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記連携作業機械の実空間位置とに基づき、前記実機画像が前記連携作業機械に該当するか否かを判定し、前記複数のクライアントのそれぞれの前記出力インターフェースは、当該判定結果が肯定的であることを要件として当該連携作業機械の存在を表わす前記標識画像を出力することが好ましい。

【0023】

当該構成の作業支援システムによれば、一の遠隔操作装置の出力インターフェースに出力されている作業環境画像に含まれている実機画像が、当該一の遠隔操作装置による遠隔操作対象である連携作業機械に相当するか否かを標識画像の出力の有無によりオペレータに認識させることができる。

【0024】

本発明の作業支援システムにおいて、前記演算処理装置は、前記作業環境画像における作業機械に相当する実機画像の位置と前記データベースに記憶保持されている前記複数の作業機械のそれぞれの実空間位置とに基づき、前記実機画像がいずれの作業機械に該当するかを認識し、一のクライアントおよび他のクライアントの少なくとも一方の出力インターフェースは、前記実機画像がいずれの作業機械に該当するかを表わす前記標識画像を出力することが好ましい。

【0025】

当該構成の作業支援システムによれば、遠隔操作装置を構成する出力インターフェースに出力される作業環境画像に作業機械が映り込んでいる場合、当該作業機械がいずれの遠隔操作装置によるまたはいずれのオペレータによる遠隔操作対象であるかが認識される。そして、当該認識結果を表わす標識画像が第１遠隔装置および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置の出力インターフェースに出力される。この結果、各遠隔操作装置を構成する出力インターフェースに出力されている実機画像が、どの遠隔操作装置による遠隔操作対象に該当するかを各オペレータに容易に認識させることができる。

【0026】

本発明は、前記作業支援サーバと、前記クライアントと、により構成されている作業支援システムである。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態としての作業支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】作業支援システムの第１機能に関する説明図。

【図5】作業支援システムの第２機能に関する説明図。

【図6】作業機械に搭載された撮像装置を通じて取得された第１作業環境画像に関する説明図。

【図7】作業現場に設置された撮像装置を通じて取得された第１作業環境画像に関する説明図。

【図8】鳥瞰撮像画像に関する説明図。

【図9A】第１標識画像に関する説明図。

【図9B】第２標識画像に関する説明図。

【図10A】対象実機が含まれている一の第１作業環境画像に関する説明図。

【図10B】対象実機が含まれている他の第１作業環境画像に関する説明図。

【図11】作業現場に設置された作業機械に搭載された撮像装置の撮像範囲と対象実機に関する説明図。

【発明を実施するための形態】

【0028】

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。複数の遠隔操作装置２０のそれぞれは、作業支援サーバ１０との通信ネットワークとは異なるネットワークを通じて相互に通信可能に構成されていてもよい。

【0029】

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置および／または軌道のほか、作業機械４０のそれぞれに備えられたカメラより得られる撮像画像、作業機械４０のそれぞれを操作するオペレータに提供される作業環境画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0030】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、測位装置４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0031】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

【0032】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0033】

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0034】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0035】

（遠隔操作装置の構成）
クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

【0036】

遠隔操作装置２０と連携するまたは相互通信機能を有するスマートホンまたはタブレット端末などの携帯端末またはＶＲゴーグルなどのウェアラブル端末により当該クライアントが構成されていてもよい。当該携帯端末またはウェアラブル端末は、作業支援サーバ１０との通信機能を有していてもよい。

【0037】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0038】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

【0039】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0040】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

【0041】

（機能）
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0042】

（第１機能（作業機械の遠隔操作））
遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「第１指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を選択可能にするための遠隔入力インターフェース２１０における操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。

【0043】

その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔操作装置２０は通信ネットワークを介して遠隔操作装置２０により遠隔操作の対象となり得る建設機械の候補を取得し、遠隔出力インターフェース２２０に建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報を表示させる（図４／ＳＴＥＰ２０１）。

【0044】

次いで、遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。「第２指定操作」は遠隔操作の対象となり得る建設機械の候補から遠隔操作をする対象となる建設機械を指定するための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２０２‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して作業環境画像要求が送信される（図４／ＳＴＥＰ２０３）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。

【0045】

作業支援サーバ１０において、作業環境画像要求が受信された場合、第１支援処理要素１２１により当該作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0046】

作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ４０４）。

【0047】

作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた第１作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な第１作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。

【0048】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２０）、第１作業環境画像データに応じた第１作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。

【0049】

これにより、例えば図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業環境画像が画像出力装置２２１に表示される。

【0050】

また、作業現場に設置された撮像装置Ｃ（図８参照）を通じて取得された撮像画像に基づき、例えば図７に示されているように、複数台（４台）の作業機械４０の実機画像Ｑ１～Ｑ４が存在する当該作業現場の様子を示す画像が、第１作業環境画像として画像出力装置２２１に付加的または代替的に出力されてもよい。

【0051】

さらに、例えば図８に示されているように、作業現場の大局的な様子を示し、作業現場に存在する作業機械４０を表わす実機画像またはアイコンＱ１～Ｑ４が示されている鳥瞰撮像画像または鳥瞰マップが、第１作業環境画像として画像出力装置２２１に付加的または代替的に出力されてもよい。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。

【0052】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、作業機械４０に遠隔操作レバーの操作態様に応じた信号を送信し、当該送信信信号に基づいて実機操作レバーを駆動する準備が整う。そして、遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第３指定操作の有無が判定される（図４／ＳＴＥＰ２０８）。「第３指定操作」は、遠隔操作の対象として選択した作業機械４０を遠隔操作装置２０により操作可能にするための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。「第３指定操作」により遠隔操作装置２０による作業機械４０の遠隔操作が開始される。そして、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信可能となる（図４／ＳＴＥＰ２１０）。

【0053】

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

【0054】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0055】

（第２機能（実機指定画像の出力））
遠隔操作装置２０（第１クライアント）において、オペレータによる遠隔入力インターフェース２１０を通じた第４指定操作の有無が判定される（図５／ＳＴＥＰ２１０）。「第４指定操作」は、一のオペレータ自身の操作対象である自機と他のオペレータの操作対象である他機とがそれぞれどのオペレータにより操作されるのかについて複数のオペレータの間で同一の認識を共有するための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップ等の操作である。例えば、第１クライアント（第１遠隔操作装置２０）のオペレータが、第２クライアント（第２遠隔操作装置２０）のオペレータと相互通信の要求をし、第２クライアント（第２遠隔操作装置２０）のオペレータから当該要求を承諾されることが第４指定操作の契機となる。

【0056】

次いで、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して標識画像要求が送信可能となる（図５／ＳＴＥＰ２１２）。当該標識画像要求は、オペレータが認識共有をしたい対象実機を選択する操作が相当する。例えば、オペレータは遠隔出力インターフェース２２０に表示された建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報をもとに認識共有をしたい対象実機を選択する。遠隔出力インターフェース２２０は、対象実機の候補を表示するに際して、第１クライアントの操作対象である作業機械４０および相互通信をしている第２クライアント（第２遠隔操作装置２０）のオペレータの操作対象である作業機械４０を少なくとも表示し、かつ強調して表示することで自機および通信している他機の認識共有を容易にする。標識画像要求には、画像出力装置２２１において出力されている第１作業環境画像を識別するための画像識別子のほか、第１クライアントまたはそのオペレータを識別するための第１識別子および第２クライアントまたはそのオペレータを識別するための第２識別子のうち少なくとも一方が含まれている。

【0057】

作業支援サーバ１０において、標識画像要求が受信された場合（図５／Ｃ１３）、第１支援処理要素１２１により、第１識別子に基づいて対象実機の実空間位置がデータベース１０２から検索されることにより認識される（図５／ＳＴＥＰ１２２）。

【0058】

遠隔操作装置２０（クライアント）と作業機械４０との相互通信が確立された際、遠隔操作装置２０（またはそのオペレータ）および作業機械４０のそれぞれの識別子と、作業機械４０の実空間位置と、が関連付けられてデータベース１０２に登録される。作業機械４０の実空間位置は、当該作業機械４０に搭載されているＧＰＳ、必要に応じて加速度センサを利用した測位装置４６０により測定される。作業機械４０が実空間位置またはその時系列を作業支援サーバ１０に対して送信することにより、データベース１０２に登録されている作業機械４０の実空間位置が更新される。これにより、第１識別子および第２識別子のそれぞれに基づき、対象実機の実空間位置が認識されうる。

【0059】

続いて、第１支援処理要素１２１により、標識画像要求に含まれている画像識別子によって識別される第１作業環境画像に対象実機が含まれているか否かが判定される（図５／ＳＴＥＰ１２３）。第１作業環境画像に対象実機が含まれている場合とは、図１０Ａおよび図１０Ｂのそれぞれに示されているように、対象実機４０が第１作業環境画像（対象実機とは別の作業機械４０に搭載されている撮像装置４１２を通じて取得された作業環境画像）に含まれる場合である。

【0060】

具体的には、まず、第１作業環境画像の撮影範囲が特定される。第１作業環境画像が作業機械４０の撮像装置４１２により撮像される場合には、測位装置４６０により作業機械４０の実空間位置および撮像装置４１２の撮影方向（作業機械４０に対する上下および左右の取付方向が取得される。第１作業環境画像が図８に示すような作業現場に設置された撮像装置Ｃである場合には、撮像装置Ｃの実空間位置および撮像装置Ｃの撮影方向が取得される。さらに、撮影画像の画角や拡縮に関する情報を取得することにより実空間座標系における第１作業環境画像の撮影範囲が特定される。

【0061】

続いて、データベース１０２に登録されている作業機械４０の実空間位置に基づいて対象実機が実空間座標系における第１作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２３）。

【0062】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、実空間座標系における対象実機の位置を第１作業環境画像座標系における位置に変換する。そして、第１作業環境画像を対象として画像解析処理が実施され、第１作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１２４）。

【0063】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２４‥ＹＥＳ）、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第１標識画像が生成されて、第２支援処理要素１２２により、第１クライアントに対して第１標識画像を表わすデータが送信される（図５／ＳＴＥＰ１２５）。そして、第１作業環境画像に第１標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。

【0064】

遠隔操作装置２０（第１クライアント）において、遠隔無線通信機器２２２を通じて第１標識画像データが受信されると（図５／Ｃ２１）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第１作業環境画像において対象実機の存在を強調表示する第１標識画像が出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第１作業環境画像に重畳された結果が第１標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第１作業環境画像に重畳された結果が第１標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。

【0065】

当該判定結果が否定的である場合（図５／ＳＴＥＰ１２４‥ＮＯ）は、例えば、図１１に示されているように、作業機械４０－３が対象実機４０－０を向いていない場合のほか、他の作業機械等の障害物に遮られている場合である。

【0066】

対象実機が実空間座標系における第１作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２３‥ＮＯ）や第１作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１２４‥ＮＯ）、対象実機が実空間座標系における第２作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２６）。ここで、第２作業環境画像は第２クライアントに提供される作業環境画像であって、第２クライアントのオペレータが遠隔操作の対象としている作業機械４０の作業環境画像である。第２クライアントに対する第２作業環境画像は、第１クライアントに対する第１作業環境画像と同等であるのでその画像の生成方法については説明を省略する。

【0067】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２６‥ＹＥＳ）は、実空間座標系における対象実機の位置を第２作業環境画像座標系における位置に変換する。そして、第２作業環境画像を対象として画像解析処理が実施され、第２作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１２７）。

【0068】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２７‥ＹＥＳ）は、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第２標識画像 が生成されて、第２支援処理要素１２２により、第１クライアントに対して第２標識画像を表わすデータが送信される（図５／ＳＴＥＰ１２８）。そして、第２作業環境画像に第２標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。

【0069】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第２標識画像データが受信されると（図５／Ｃ２２）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第２作業環境画像において対象実機の存在を強調表示する第２標識画像が第２作業環境画像に代えてまたは加えて出力される（図５／ＳＴＥＰ２１６）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第２作業環境画像に重畳された結果が第２標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第２作業環境画像に重畳された結果が第２標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。

【0070】

対象実機が実空間座標系における第２作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２６‥ＮＯ）や第２作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１２７‥ＮＯ）には、対象実機 が実空間座標系における第３作業環境画像の撮影範囲に含まれているか否かを判定する（図５／ＳＴＥＰ１２９）。ここで、第３作業環境画像は、第１クライアントおよび第１クライアントと相互通信をしている第２クライアントに対して提供されていない作業環境画像である。第３作業環境画像は、第１クライアントと相互通信をしていない第２クライアントに提供される作業環境画像や第１クライアントおよび第１クライアントと相互通信をしている第２クライアントに提供可能な作業環境画像である。

【0071】

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２９‥ＹＥＳ）、実空間座標系における対象実機の位置を第３作業環境画像座標系における位置に変換する。そして、第３作業環境画像を対象として画像解析処理が実施され、第３作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されるか否かを判定する（図５／ＳＴＥＰ１３０）。当該判定結果が肯定的である場合（図５／ＳＴＥＰ１３０‥ＹＥＳ）、第２支援処理要素１２２により、当該実機画像Ｑｉが対象実機（自機または他機）であることを示す第３標識画像 が生成されて、第２支援処理要素１２２により、第１クライアントに対して第３標識画像を表わすデータが送信される（図５／ＳＴＥＰ１３１）。そして、第３作業環境画像に第３標識画像を重畳している旨の指定通知が送信される（図５／ＳＴＥＰ１３２）。

【0072】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第３標識画像データが受信されると（図５／Ｃ２３）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第３作業環境画像において対象実機の存在を強調表示する第３標識画像が第３作業環境画像に代えてまたは加えて出力される（図５／ＳＴＥＰ２１８）。これにより、例えば図９Ａに示されているように、実機画像Ｑｉのエッジ点の集合ＥＣにより囲まれた領域にテクスチャ画像Ｔが第３作業環境画像に重畳された結果が第３標識画像として出力される。テクスチャ画像Ｔはオペレータの好みに応じて色を変更可能である。また、例えば図９Ｂに示されているように、実機画像Ｑｉのそばにマーク画像Ｍが第３作業環境画像に重畳された結果が第３標識画像として出力される。マーク画像Ｍはオペレータの好みに応じた記号（文字）を設定可能である。

【0073】

対象実機が実空間座標系における第３作業環境画像の撮影範囲に含まれていない場合（図５／ＳＴＥＰ１２９‥ＮＯ）や第３作業環境画像座標系における対象実機の位置に作業機械４０を表わす実機画像Ｑｉが抽出されない場合（図５／ＳＴＥＰ１３０‥ＮＯ）には、対象実機に相当する実機画像が第１～３作業環境画像に存在しない旨の指定通知が遠隔操作装置２０に対して送信される図５／ＳＴＥＰ１３２）。

【0074】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて指定通知が受信されると（図５／Ｃ２４）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、指定通知が表示される。指定通知は、対象実機 が第１～３作業環境画像のどの画像に含まれているか、又は第１～３作業環境画像のどの画像にも含まれていないかについての情報を通知するものである。

【0075】

遠隔操作装置２０において、画像出力装置２２１は対象実機 が撮影範囲に含まれているか否かに関わらず、第１～３作業環境画像の画面を切り替える機能を有していてもよい。

【0076】

テクスチャ画像Ｔとマーク画像Ｍは、第１クライアントと相互通信をする第２クライアント間において共通である。例えば、第１クライアントの画像出力装置２２１で実機画像Ｑｉに赤色のテクスチャ画像Ｔを第１標識画像として出力すると、第２クライアントの画像出力装置２２１で実機画像Ｑｉのテクスチャ画像Ｔも赤色になる。

【0077】

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、撮像装置（例えば、作業機械４０に搭載されている撮像装置４１２）を通じて取得された作業現場の様子を示す第１作業環境画像が、複数の遠隔操作装置２０のそれぞれを構成する出力インターフェース２２０に出力される（図４／ＳＴＥＰ２０４および図６～図８参照）。第１遠隔操作装置２０から、識別子を伴う標識画像要求に応じて、当該識別子により識別される連携作業機械に該当する実機画像Ｑｉが第１作業環境画像に含まれているか否かが判定される（図５／ＳＴＥＰ１２３、図５／ＳＴＥＰ１２４参照）。当該実機画像Ｑｉが連携作業機械に該当する場合、第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置２０の出力インターフェース２２０に第１標識画像が出力される（図５／ＳＴＥＰ２１４、図９Ａおよび図９Ｂ参照）。「第１標識画像」は、実機画像Ｑｉが連携作業機械であることを表わしている。

【0078】

これにより、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第１識別子により識別される当該第１クライアントまたは当該オペレータによる操作対象である自機に該当するか否かを確認することができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第２識別子により識別される第２クライアントまたはそのオペレータによる操作対象である他機に該当するか否かを確認することができる。

【0079】

同様に、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアント（第２遠隔操作装置２０）の出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第１識別子により識別される当該第１クライアントまたは当該オペレータにより操作されている他機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第１作業環境画像に含まれている実機画像Ｑｉのいずれかが、当該第２識別子により識別される当該第２クライアントまたはそのオペレータによる操作対象である自機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。

【0080】

よって、遠隔操作装置を構成する出力インターフェースに出力されている第１作業環境画像に映り込んでいる作業機械４０が、いずれの遠隔操作装置２０による遠隔操作対象であるかの複数のオペレータのそれぞれによる認識の共有が図られる。

【0081】

さらに、第１作業環境画像に含まれている一または複数の実機画像Ｑｉのすべてが連携作業機械に該当しない場合、当該連携作業機械に該当する実機画像Ｑｊが含まれている第２作業環境画像が遠隔操作装置２０の出力インターフェース２２０に第２標識画像とともに出力される（図５／ＳＴＥＰ１２６～ＳＴＥＰ１２８、ＳＴＥＰ２１６参照）。「第２標識画像」は、実機画像Ｑｊが連携作業機械であることを表わしている。

【0082】

これにより、第１クライアント（第１遠隔操作装置２０）のオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが自機に該当するか否かを確認することができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第１クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが他機に該当するか否かを確認することができる。

【0083】

同様に、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第１識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが他機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。さらに、第１クライアントのオペレータが、入力インターフェース２１０の操作を通じて第２識別子を伴う標識画像要求を作業支援サーバ１０に送信することにより、第２クライアントの出力インターフェース２２０に出力されている第２作業環境画像に含まれている実機画像Ｑｊのいずれかが自機に該当するか否かを当該第２クライアントのオペレータに確認させることができる。

【0084】

よって、遠隔操作装置を構成する出力インターフェースに出力されている第２作業環境画像に映り込んでいる作業機械４０が、いずれの遠隔操作装置２０による遠隔操作対象であるかの複数のオペレータのそれぞれによる認識の共有が図られる。

【0085】

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各構成要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。

【0086】

第２支援処理要素１２２が、第１クライアント（第１遠隔操作装置２０）との通信に基づき、識別子を伴わない標識画像要求を受信した場合（図５／Ｃ１３参照）、第１作業環境画像における実機画像Ｑｉの位置とデータベース１０２に記憶保持されている複数の作業機械４０のそれぞれ実空間位置とに基づき、実機画像Ｑｉが複数の作業機械４０のうちいずれの作業機械４０に該当するかを認識してもよい。そして、第２支援処理要素１２２が、第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置２０との通信に基づき、実機画像Ｑｉがいずれの作業機械４０に該当するかを表わす標識画像を当該少なくとも一方の遠隔操作装置２０の出力インターフェース２２０に出力させる。

【0087】

当該構成の作業支援サーバ１０等によれば、第１遠隔操作装置を構成する出力インターフェースに出力される作業環境画像に作業機械４０が映り込んでいる場合、当該作業機械４０がいずれの遠隔操作装置２０またはいずれのオペレータによる遠隔操作対象であるかが認識される。そして、当該認識結果を表わす標識画像が第１および第２遠隔操作装置のうち少なくとも一方の遠隔操作装置の出力インターフェースに出力される。この結果、遠隔操作装置を構成する出力インターフェースに出力されている実機画像が、どの遠隔操作装置による遠隔操作対象に該当するかを各オペレータに容易に認識させることができる。

【0088】

前記実施形態では、測位装置４６０で計測した作業機械４０の実空間位置に基づいて第１～３作業環境画像に対象実機が含まれているか否かを判定していたが、他の実施形態として、各作業環境画像を対象として画像解析処理が実施され、これにより当該第１作業環境画像において作業機械４０を表わす実機画像Ｑｉを抽出してもよい。

【0089】

例えば、第１作業環境画像を対象として画像解析処理が実施される場合、これにより当該第１作業環境画像において作業機械４０を表わす実機画像Ｑｉ（ｉ＝１，２，‥）が抽出される（図７）。

続いて、第１作業環境画像座標系における実機画像Ｑｉの位置に基づき、当該実機画像Ｑｉに相当する作業機械４０の実空間位置が求められる。この際、第１作業環境座標における実機画像Ｑｉにサイズの大小に基づき、撮像装置（例えば撮像装置４１２）から作業機械４０までの実空間距離が推定される。第１作業環境画像の画素値としてＴＯＦセンサなどの測距センサにより取得された撮像対象物までの距離が含まれている場合、当該画素値に基づいて撮像装置（例えば撮像装置４１２）から作業機械４０までの実空間距離が推定されてもよい。さらに、撮像装置座標系における作業機械４０の位置が実空間座標系に座標変換されることにより、実空間座標系における対象実機（作業機械４０）の位置が認識または算定される。当該座標変換に際して、撮像装置座標系における対象実機の位置が認識され、実空間座標系における撮像装置の位置および姿勢を表わす座標変換因子（行列またはクォータニオン）が用いられる。座標変換因子は、データベース１０２に撮像装置の識別子（ひいては画像識別子）と関連付けられて登録されている。

【0090】

そして、データベース１０２に登録されている対象実機の実空間位置と一致するまたは対応する実空間位置を有する作業機械４０を示す実機画像Ｑｉの第１作業環境画像における有無が判定される。

【0091】

前記実施形態では、前記標識画像要求の対象の作業機械が１つである場合としたが、前記標識画像要求の対象の作業機械は複数でもよい。例えば、１つ目の作業機械の標識画像のテクスチャ画像Ｔに赤色、２つ目の作業機械の標識画像のテクスチャ画像Ｔに白色等を付与することで複数のオペレータの認識を共有するものである。

【0092】

前記実施形態では、対象実機に相当する実機画像が第１～３作業環境画像に存在しない旨の指定通知が遠隔操作装置２０に対して送信された場合（図５／ＳＴＥＰ１３２）には、標識画像を設定できないようにしているが、他の実施形態として、対象実機に相当する実機画像が第１～３作業環境画像に存在しない場合であっても、標識画像を設定してもよい。例えば、作業現場に使用可能な撮像装置が少ない場合や、作業機械４０が運搬車によって作業現場に輸送中でありこれから作業現場に到着する場合である。この場合、あらかじめ標識画像を設定しておくことにより、認識共有の作業を改めてする必要がなくなるため作業性が向上する。

【符号の説明】

【0093】

１０‥作業支援サーバ、２０‥遠隔操作装置（クライアント）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】