特開 2024-57361 作業支援装置および作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057361

(43)【公開日】2024-04-24

(54)【発明の名称】作業支援装置および作業支援方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240417BHJP

【ＦＩ】

E02F9/26 B

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022164052

(22)【出願日】2022-10-12

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】伊藤 卓

(72)【発明者】

【氏名】吉原 秀雄

(72)【発明者】

【氏名】小岩井 一茂

【テーマコード（参考）】

2D015

【Ｆターム（参考）】

2D015HA03

(57)【要約】

【課題】作業機械を構成する作業機構と当該作業機械の周辺に存在する対象物体との位置関係のオペレータによる認識精度の向上を図りうるシステム等を提供する。
【解決手段】作業環境画像に第１指標画像および第２指標画像が重畳された作業支援画像が生成される。「作業環境画像」は、作業機械４０の第１位置姿勢状態に応じて実機撮像装置４１２を通じて取得された第１エリア（例えば、上部旋回体４２の前方）の状況を表わす画像である。「第１指標画像」は、作業機械４０が第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合、作業環境画像に映り込むと予測される、当該第２位置姿勢状態に応じた第２エリア（例えば、上部旋回体４２の側方および／または後方）に存在する指定物体（例えば、荷物積載車両Ｑ）の空間占有態様を表わす画像である。
【選択図】図７

【特許請求の範囲】

【請求項1】

作業機械の第１位置姿勢状態に応じて撮像装置を通じて取得された第１エリアの状況を表わす作業環境画像に、前記作業機械が前記第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合に前記作業環境画像に映り込むと予測される、前記第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を表わす第１指標画像が重畳された作業支援画像を生成する
作業支援装置。

【請求項2】

請求項１に記載の作業支援装置において、
前記作業機械において下部走行体に対して上部旋回体が旋回することにより相互に異なる第１方位および第２方位のそれぞれを向いている状態を前記第１位置姿勢状態および前記第２位置姿勢状態のそれぞれとして前記作業支援画像を生成する
作業支援装置。

【請求項3】

請求項２に記載の作業支援装置において、
前記作業機械において前記上部旋回体から延在している作業機構の空間占有態様を表わす第２指標画像が含まれている前記作業支援画像を生成する
作業支援装置。

【請求項4】

請求項３に記載の作業支援装置において、
前記指定物体の輪郭の少なくとも一部を表わすまたは指す前記第１指標画像と、前記作業機構の輪郭の少なくとも一部を表わすまたは指す前記第２指標画像と、が含まれている前記作業支援画像を生成する
作業支援装置。

【請求項5】

請求項４に記載の作業支援装置において、
前記指定物体の指定エリアの境界線の少なくとも一部を表わすまたは指す前記第１指標画像と、前記指定物体の指定エリアの境界線を含む指定平面に対する前記作業機構の投影結果の境界線の少なくとも一部を表わすまたは指す前記第２指標画像と、が含まれている前記作業支援画像を生成する
作業支援装置。

【請求項6】

請求項５に記載の作業支援装置において、
前記第１指標画像が前記指定物体の指定エリアの境界線の少なくとも一部と地表との鉛直距離をさらに表わし、これに加えてまたは代えて、前記第２指標画像が前記指定平面と前記作業機構との鉛直距離を表わすような前記作業支援画像を生成する
作業支援装置。

【請求項7】

請求項３～６のうちいずれか１項に記載の作業支援装置において、
前記指定物体の空間占有態様と前記作業機構の空間占有態様との相対関係の相違に応じて、前記第１指標画像および前記第２指標画像のうち少なくとも一方の指標画像の意匠が相違する前記作業支援画像を生成する
作業支援装置。

【請求項8】

請求項１に記載の作業支援装置において、
前記作業機械の前記第１位置姿勢状態および前記第２位置姿勢状態を仮想的に一致させるまたは接近させる過程における前記指定物体の空間占有態様の遷移態様を表わす前記第１指標画像が前記作業環境画像に重畳された前記作業支援画像を生成する
作業支援装置。

【請求項9】

請求項１に記載の作業支援装置において、
前記第１位置姿勢状態および前記第２位置姿勢状態の乖離度が閾値を超えている場合、出力インターフェースに前記作業支援画像を出力させる一方、前記第１位置姿勢状態および前記第２位置姿勢状態の乖離度が前記閾値以下である場合、前記出力インターフェースに前記作業環境画像を出力させ、かつ、前記第１指標画像を出力させないための処理を実行する
作業支援装置。

【請求項10】

請求項１に記載の作業支援装置において、
前記作業機械が前記第２位置姿勢状態にある際に前記撮像装置または測距センサを用いて前記指定物体の空間占有態様を認識する
作業支援装置。

【請求項11】

請求項１に記載の作業支援装置において、
前記第１位置姿勢状態にある前記作業機械の動作態様または操作態様に応じて、前記第２位置姿勢状態を認識し、かつ、前記第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を認識する
作業支援装置。

【請求項12】

請求項１に記載の作業支援装置において、
前記作業機械の位置姿勢状態および前記指定物体の位置姿勢状態の時系列的な変化態様に応じて、前記指定物体の空間占有態様が時系列的に変化するように、前記第１指標画像が前記作業環境画像に重畳された前記作業支援画像を生成する
作業支援装置。

【請求項13】

請求項２に記載の作業支援装置において、
前記第１方位を含む鉛直面である指定鉛直面に対して、前記作業機械と、前記第１指標画像または前記第１指標画像および前記指定物体と、が投影された結果としての作業支援副画像を生成する
作業支援装置。

【請求項14】

請求項１３に記載の作業支援装置において、
前記指定鉛直面に対して、前記上部旋回体から延在し、前記第１エリアに存在する作業機構の空間占有態様を表わす第２指標画像がさらに投影された結果としての前記作業支援副画像を生成する
作業支援装置。

【請求項15】

請求項１４に記載の作業支援装置において、
前記第２指標画像が、前記指定鉛直面において地表面または水平面に対する前記作業機構の指定箇所の鉛直方向への投影結果を表わす前記作業支援副画像を生成する
作業支援装置。

【請求項16】

作業機械の第１位置姿勢状態に応じて撮像装置を通じて第１エリアの状況を表わす作業環境画像を取得する工程と、
前記作業機械が前記第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合、前記作業環境画像に映り込むと予測される、当該第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を認識する工程と、
前記指定物体の空間占有態様を表わす第１指標画像を前記作業環境画像に重畳することにより作業支援画像を生成する工程と、を含んでいる
作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オペレータにより操作される油圧ショベル等の作業機械の作業を支援するための技術に関する。

【背景技術】

【0002】

作業機の姿勢を用いて得られた作業具の位置の情報と、距離検出装置が求めた作業機械の作業対象までの距離の情報から得られた作業対象である地面の位置の情報とを用いて、作業具と対向する作業対象の表面に沿って当該作業具に対応する部分の画像を生成し、撮像装置によって撮像された作業対象の画像と合成して、表示装置に表示させる技術が提案されている（例えば、特許文献１参照）。これにより、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下が抑制される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７７７３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、作業機械において下部走行体に対して旋回可能な上部旋回体の前方の状況を表わす作業環境画像には映り込んでいないものの、当該作業機械の周囲には作業機械による作業等の観点から注目されるべき指定物体が存在する場合がある。この場合、下部走行体に対して上部旋回体が旋回することにより、指定物体が当該上部旋回体の前方に現われ、かつ、作業環境画像に映り込むことになるものの、オペレータとしてはその段階で当該指定物体の位置および姿勢を含む空間占有態様を初めて認識、作業機械の動作を調整等することになる。これにより、作業機械による作業効率が低下する可能性がある。

【0005】

そこで、本発明は、作業機械の周囲の状況を表わす作業環境画像に現れていないものの、作業機械の周辺に存在している指定物体の空間占有態様の認識精度の向上を図りうるシステム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の作業支援装置は、
作業機械の第１位置姿勢状態に応じて撮像装置を通じて取得された第１エリアの状況を表わす作業環境画像に、前記作業機械が前記第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合に前記作業環境画像に映り込むと予測される、前記第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を表わす第１指標画像が重畳された作業支援画像を生成する。

【0007】

当該構成の作業支援装置によれば、作業環境画像に第１指標画像が重畳された作業支援画像が生成される。「作業環境画像」は、作業機械の第１位置姿勢状態に応じて撮像装置を通じて取得された第１エリアの状況を表わす画像である。「第１指標画像」は、作業装置が第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合、作業環境画像に映り込むと予測される、当該第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を表わす画像である。

【0008】

「位置姿勢状態」とは、作業機械の指定箇所の位置および姿勢により特定される状態を意味する。物体の「空間占有態様」は、例えば、当該物体が実空間および／または仮想空間において占有する空間を構成する少なくとも一部の点群の座標値により特定される。

【0009】

このため、作業機械が第１位置姿勢状態にある際には作業環境画像に映り込んでいない（または部分的に映り込んでいるものの位置姿勢が不明確である）ものの、作業機械が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体の空間占有態様を、作業支援画像に接したオペレータ等に認識させることができる。

【0010】

前記構成の作業支援装置において、
前記作業機械において下部走行体に対して上部旋回体が旋回することにより相互に異なる第１方位および第２方位のそれぞれを向いている状態を前記第１位置姿勢状態および前記第２位置姿勢状態のそれぞれとして前記作業支援画像を生成する
ことが好ましい。

【0011】

当該構成の作業支援装置によれば、作業機械において下部走行体に対して旋回可能な上部旋回体が第１方位を向いている状態（第１位置姿勢状態）にある際には作業環境画像に映り込んでいないものの、そこから上部旋回体が下部走行体に対して旋回して第２方位を向いている状態（第２位置姿勢状態）に遷移する際に作業環境画像に映り込むと予測される指定物体の空間占有態様を、作業支援画像に接したオペレータ等に認識させることができる。

【0012】

前記構成の作業支援装置において、
前記作業機械において前記上部旋回体から延在している作業機構の空間占有態様を表わす第２指標画像が含まれている前記作業支援画像を生成する
ことが好ましい。

【0013】

当該構成の作業支援装置によれば、第２指標画像が含まれている作業支援画像が生成される。「第２指標画像」は、作業機械において前記上部旋回体から延在している作業機構の空間占有態様を表わす画像である。このため、作業機械が第１位置姿勢状態にある際には作業環境画像に映り込んでいないものの、作業機械が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体とその際の作業機構との相対位置および／または相対姿勢を、作業支援画像に接したオペレータ等に認識させることができる。

【0014】

前記構成の作業支援装置において、
前記指定物体の輪郭の少なくとも一部を表わすまたは指す前記第１指標画像と、前記作業機構の輪郭の少なくとも一部を表わすまたは指す前記第２指標画像と、が含まれている前記作業支援画像を生成する
ことが好ましい。

【0015】

当該構成の作業支援装置によれば、作業機械が第１位置姿勢状態にある際には作業環境画像に映り込んでいないものの、作業機械が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体の少なくとも一部の輪郭と作業機構の少なくとも一部の輪郭との相対位置および／または相対姿勢を、作業支援画像に接したオペレータ等に認識させることができる。

【0016】

前記構成の作業支援装置において、
前記指定物体の指定エリアの境界線の少なくとも一部を表わすまたは指す前記第１指標画像と、前記指定物体の指定エリアの境界線を含む指定平面に対する前記作業機構の投影結果の境界線の少なくとも一部を表わすまたは指す前記第２指標画像と、が含まれている前記作業支援画像を生成する
ことが好ましい。

【0017】

当該構成の作業支援装置によれば、作業機械が第１位置姿勢状態にある際には作業環境画像に映り込んでいないものの、作業機械が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体の指定エリアの境界線（稜線および／または指定断面における断面境界線を含む。）の少なくとも一部と作業機構の少なくとも一部の輪郭との、当該境界線を含む指定平面における相対位置および／または相対姿勢を、作業支援画像に接したオペレータ等に認識させることができる。

【0018】

前記構成の作業支援装置において、
前記第１指標画像が前記指定物体の指定エリアの境界線の少なくとも一部と地表との鉛直距離をさらに表わし、これに加えてまたは代えて、前記第２指標画像が前記指定平面と前記作業機構との鉛直距離を表わすような前記作業支援画像を生成する
ことが好ましい。

【0019】

当該構成の作業支援装置によれば、作業機械が第１位置姿勢状態にある際には作業環境画像に映り込んでいないものの、作業機械が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体の指定エリアの境界線の少なくとも一部と地表との鉛直距離および／または作業機構と指定平面との鉛直距離を、作業支援画像に接したオペレータ等に認識させることができる。

【0020】

前記構成の作業支援装置において、
前記指定物体の空間占有態様と前記作業機構の空間占有態様との相対関係の相違に応じて、前記第１指標画像および前記第２指標画像のうち少なくとも一方の指標画像の意匠が相違する前記作業支援画像を生成する
ことが好ましい。

【0021】

当該構成の作業支援装置によれば、第１指標画像および／または第２指標画像の意匠の相違を通じて、指定物体の空間占有態様と作業機構の空間占有態様との相対関係の相違を、作業支援画像に接したオペレータ等に認識させることができる。

【0022】

前記構成の作業支援装置において、
前記作業機械の前記第１位置姿勢状態および前記第２位置姿勢状態を仮想的に一致させるまたは接近させる過程における前記指定物体の空間占有態様の遷移態様を表わす前記第１指標画像が前記作業環境画像に重畳された前記作業支援画像を生成する
ことが好ましい。

【0023】

当該構成の作業支援装置によれば、作業支援画像に含まれている第１指標画像により作業機械の第１位置姿勢状態および第２位置姿勢状態を仮想的に一致させるまたは接近させる過程における指定物体の空間占有態様の遷移態様が表わされている。これにより、作業機械の位置姿勢状態の遷移に伴って作業機械またはその構成要素である作業機構等と指定物体との相対位置および相対姿勢がどのように遷移するかを、作業支援画像に接したオペレータ等に認識させることができる。

【0024】

前記構成の作業支援装置において、
前記第１位置姿勢状態および前記第２位置姿勢状態の乖離度が閾値を超えている場合、出力インターフェースに前記作業支援画像を出力させる一方、前記第１位置姿勢状態および前記第２位置姿勢状態の乖離度が前記閾値以下である場合、前記出力インターフェースに前記作業環境画像を出力させ、かつ、前記第１指標画像を出力させないための処理を実行する
ことが好ましい。

【0025】

当該構成の作業支援装置によれば、第１位置姿勢状態および第２位置姿勢状態の乖離度が閾値以下である場合、出力インターフェースに作業環境画像は出力されるものの、第１指標画像は出力されない。これにより、例えば、指定物体が映り込んでいる作業環境画像に、第１指標画像が重畳出力されることで、当該指定物体の空間占有態様と作業機械またはその構成要素である作業機構等との相関関係がオペレータ等に誤認される事態が回避されうる。

【0026】

前記構成の作業支援装置において、
前記作業機械が前記第２位置姿勢状態にある際に前記撮像装置または測距センサを用いて前記指定物体の空間占有態様を認識する
ことが好ましい。

【0027】

当該構成の作業支援装置によれば、作業機械が第２位置姿勢状態にある際に撮像装置または測距センサを用いて指定物体の空間占有態様が認識される。これにより、作業機械の第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様の第１指標画像による表現精度の向上が図られる。

【0028】

前記構成の作業支援装置において、
前記第１位置姿勢状態にある前記作業機械の動作態様または操作態様に応じて、前記第２位置姿勢状態を認識し、かつ、前記第２位置姿勢状態に応じた第２エリアに存在する指定物体の空間占有態様を認識する
ことが好ましい。

【0029】

当該構成の作業支援装置によれば、作業機械の動作態様または操作態様に鑑みて、当該作業機械の位置姿勢状態の遷移過程で作業環境画像に映り込むであろう指定物体の空間占有態様を、作業支援画像に接したオペレータ等に認識させることができる。

【0030】

前記構成の作業支援装置において、
前記作業機械の位置姿勢状態および前記指定物体の位置姿勢状態の時系列的な変化態様に応じて、前記指定物体の空間占有態様が時系列的に変化するように、前記第１指標画像が前記作業環境画像に重畳された前記作業支援画像を生成する
ことが好ましい。

【0031】

当該構成の作業支援装置によれば、作業機械および指定物体の位置および／または姿勢の時系列的な変化態様に応じた、当該指定物体の空間占有態様の時系列的な変化態様を第１指標画像の時系列的な変化態様を、作業支援画像に接したオペレータ等に認識させることができる。

【0032】

前記構成の作業支援装置において、
前記第１方位を含む鉛直面である指定鉛直面に対して、前記作業機械と、前記第１指標画像または前記第１指標画像および前記指定物体と、が投影された結果としての作業支援副画像を生成する
ことが好ましい。

【0033】

当該構成の作業支援装置によれば、上部旋回体が第１方位を向いている状態（第１位置姿勢状態）にある際には作業環境画像に映り込んでいないものの、上部旋回体が第２方位を向いている状態（第２位置姿勢状態）に遷移する際に作業環境画像に映り込むと予測される指定物体と作業機械とのそれぞれの、当該第１方位を含む鉛直面である指定鉛直面における空間占有態様を、作業支援副画像に接したオペレータ等に認識させることができる。

【0034】

前記構成の作業支援装置において、
前記指定鉛直面に対して、前記上部旋回体から延在し、前記第１エリアに存在する作業機構の空間占有態様を表わす第２指標画像がさらに投影された結果としての前記作業支援副画像を生成する
ことが好ましい。

【0035】

当該構成の作業支援装置によれば、上部旋回体が第１方位を向いている状態（第１位置姿勢状態）にある際には作業環境画像に映り込んでいないものの、上部旋回体が第２方位を向いている状態（第２位置姿勢状態）に遷移する際に作業環境画像に映り込むと予測される指定物体と作業機械の作業機構とのそれぞれの、当該第１方位を含む鉛直面である指定鉛直面における空間占有態様を、作業支援副画像に接したオペレータ等に認識させることができる。

【0036】

前記構成の作業支援装置において、
前記第２指標画像が、前記指定鉛直面において地表面または水平面に対する前記作業機構の指定箇所の鉛直方向への投影結果を表わす前記作業支援副画像を生成する
ことが好ましい。

【0037】

当該構成の作業支援装置によれば、指定鉛直面における作業機構の位置および姿勢を、作業支援副画像に接したオペレータ等に認識させることができる。

【図面の簡単な説明】

【0038】

【図1】作業支援装置の構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】第１実施形態の作業支援装置の機能に関する説明図。

【図5】作業機構および指定物体のそれぞれの空間占有態様に関する平面図。

【図6】作業機構および指定物体のそれぞれの空間占有態様に関する側面図。

【図7】作業支援画像（第１実施例）に関する説明図。

【図8】作業支援画像（第２実施例）に関する説明図。

【図9】作業支援画像（第３実施例）に関する説明図。

【図10】作業支援画像（第４実施例）に関する説明図。

【図11】作業支援画像（第５実施例）に関する説明図。

【図12】第２実施形態の作業支援装置の機能に関する説明図。

【図13】作業機構および指定物体のそれぞれの空間占有態様に関する平面図。

【図14】作業機構および指定物体の相対的な空間占有態様の変化に関する平面図。

【図15】作業機構および指定物体の相対的な空間占有態様の変化に関する平面図。

【図16】作業支援副画像（第１実施例）に関する説明図。

【図17】作業支援副画像（第２実施例）に関する説明図。

【図18】他の実施形態における作業機械の構成説明図。

【発明を実施するための形態】

【0039】

（作業支援装置の構成）
図１に示されている作業支援システムは、本発明の一実施形態としての作業支援装置１０と、作業支援装置１０と相互にネットワーク通信可能に構成されている遠隔操作装置２０および／または作業機械４０と、により構成されている。作業支援装置１０および遠隔操作装置２０の相互通信ネットワークと、作業支援装置１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0040】

（作業支援装置の構成）
作業支援装置１０は、一または複数のコンピュータまたはサーバコンピュータにより構成されている。図１に示されているように、作業支援装置１０は、データベース１０２と、指定物体空間占有態様認識要素１２１と、作業機構空間占有態様認識要素１２２と、作業支援画像生成要素１２４と、を備えている。

【0041】

データベース１０２は、撮像画像データのほか、作業機械４０の周囲に存在する指定物体（例えば、作業機械４０が作業の際に連携する荷物積載車両、当該車両の積載物および／または他の作業機械など）の空間占有態様などを記憶保持する。データベース１０２は、作業支援装置１０とネットワーク通信可能に構成されているデータベースサーバまたはデバイス等により構成されていてもよい。作業支援装置１０の各構成要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0042】

本発明の構成要素が情報（またはデータ）を「認識する」とは、当該情報を受信、読み取りまたは検索等により取得すること、基礎となるデータまたは信号に対して演算処理を実行することにより当該情報を決定、測定、同定、推定、予測等することなど、当該情報を後続の演算処理の実行に際して利用可能な形態で準備するあらゆる処理を包含する概念である。

【0043】

（遠隔操作装置の構成）
図１に示されているように、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0044】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

【0045】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0046】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0047】

シートＳｔの前方に左右のクローラに応じた左右走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータによる遠隔入力インターフェース２１０の所定操作に応じて任意に変更されてもよい。

【0048】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。遠隔画像出力装置２２１は、単一の湾曲したまたは湾曲可能な画像出力装置、シートＳｔの前方を囲むように配置される２つまたは４つ以上の画像出力装置により構成されていてもよい。

【0049】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0050】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する画像出力装置により構成されていてもよい。

【0051】

遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

【0052】

（作業機械の構成）
図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、実機無線通信機器４２２と、を備えている。実機制御装置４００の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0053】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ４２Ｃ（運転室）が設けられている。上部旋回体４２の前方中央部には作業機構４４が設けられている。

【0054】

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、実機測位装置４１４と、実機姿勢センサ４１６と、を備えている。

【0055】

実機操作機構４１１は、キャブ４２Ｃの内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２Ｃに設けられている。実機撮像装置４１２は、例えばキャブ４２Ｃの内部に設置され、フロントウィンドウおよび左右サイドウィンドウ越しに作業機構４４の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

【0056】

実機測位装置４１４は、ＧＰＳまたはＧＮＳＳおよび必要に応じてジャイロセンサ等により構成され、作業機械４０の実空間位置としてその指定点（例えば、上部旋回体４２の指定点（実機座標系の原点）の実空間位置（緯度および経度、または、緯度、経度および高度））を測定する。

【0057】

実機姿勢センサ４１６は、作業機械４０の実空間姿勢（例えば、実機座標系の実空間姿勢）のほか、実機座標系における作業機構４４の姿勢に応じた信号を出力する。作業機構４４の姿勢には、上部旋回体４２に対するブーム４４１の起伏角度、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度が含まれている。実機座標系の位置および姿勢が上部旋回体４２ではなく下部走行体４１に対して固定されて定義されている場合、作業機構４４の姿勢には、下部走行体４１に対する上部旋回体４２の旋回角度も含まれていてもよい。

【0058】

図３に示されているように、作業機構４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0059】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0060】

（機能）
前記構成の作業支援装置および撮像機能制御システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0061】

遠隔操作装置２０において、遠隔制御装置２００により、遠隔無線通信機器２２４を通じて、作業支援装置１０に対して実機環境確認要求が送信される（図４／ＳＴＥＰ２１０）。オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定され、当該判定結果が肯定的である場合に実機環境確認要求が送信されてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。

【0062】

作業支援装置１０において、実機環境確認要求が受信された場合、作業支援装置１０から当該実機環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0063】

作業機械４０において、実機無線通信機器４２４を通じて実機環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて取得された撮像画像（適当な画像処理が施されていてもよい。）を表わす撮像画像データが作業支援装置１０に対して送信される（図４／ＳＴＥＰ４１０）。さらに、実機制御装置４００から実機位置姿勢を表わす実機位置姿勢データが作業支援装置１０に対して送信される（図４／ＳＴＥＰ４１２）。実機位置姿勢は、実機測位装置４１４により測定された作業機械４０の実空間位置および実機姿勢センサ４１６の出力信号に基づいて測定された作業機械４０の実空間姿勢および作業機構４４の姿勢が含まれている。

【0064】

作業支援装置１０において、撮像画像データおよび実機位置姿勢データが受信された場合（図４／Ｃ１２）、指定物体空間占有態様認識要素１２１により、当該実機位置姿勢データに基づき、作業機械４０の第２位置姿勢状態における指定物体の空間占有態様が認識される（図４／ＳＴＥＰ１２１）。具体的には、作業機械４０の第１位置姿勢状態においては作業環境画像に映り込んでいないものの、作業機械４０が第１位置姿勢状態から第２位置姿勢状態に遷移する過程において作業環境画像に映り込むと予測される指定物体の、作業機械４０の第２位置姿勢状態における空間占有態様が認識される。

【0065】

例えば、上部旋回体４２が、指定物体が存在する方位を向いている状態が第２位置姿勢状態として認識（予測または推定）される。例えば、作業機械４０を挟んで反対側のそれぞれに指定物体がある場合、遠隔操作機構２１１による操作態様が、下部走行体４１に対して上部旋回体４２を時計回りおよび反時計回りのいずれに旋回させるものであるかに応じて、作業機械４０の右寄りまたは左寄りにある指定物体が存在する方位を向いている状態が第２位置姿勢状態として認識されてもよい。この場合、下部走行体４１に対して上部旋回体４２が時計回りおよび反時計回りのいずれに旋回しているかに応じて、作業機械４０の右寄りまたは左寄りにある指定物体が存在する方位を向いている状態が第２位置姿勢状態として認識されてもよい。

【0066】

指定物体の輪郭を構成する一または複数の点の実空間座標系（世界座標系）または実機座標系における位置が「指定物体の空間占有態様」として認識される。そのほか、指定物体の輪郭を構成する一または複数の線分の実空間座標系または実機座標系における延在態様が「指定物体の空間占有態様」として認識されてもよい。

【0067】

例えば、図５に示されているように、作業機械４０において、上部旋回体４２が前（第１方位）を向いている第１姿勢状態から、当該上部旋回体４２が下部走行体４１に対して反時計回りまたは左に旋回して、上部旋回体４２が左（第２方位）を向いている第２姿勢状態に遷移する場合について考察する。この場合、図５において作業機械４０の第１位置姿勢状態においては上部旋回体４２の左に存在する荷物積載車両Ｑ（実線で表されている）が、作業機械４０の第２位置姿勢状態においては上部旋回体４２の前に現われると予測される。

【0068】

まず、実機位置姿勢データに基づき、作業機械４０の第１位置姿勢状態における指定物体の空間占有態様が認識される。例えば、図５に示されているように、作業機械４０の左側にある荷物積載車両Ｑ（ダンプトラック）の荷台の略矩形状のエリアの境界線Ｃ（荷台の上端縁）において、下部走行体４１に対する上部旋回体４２の旋回軸線Ｏを含む第１鉛直面Ｐ₁（一点鎖線参照）との交点である第１前縁交点Ｃ₁および第１後縁交点Ｃ₂のそれぞれの実機座標系における３次元位置が、作業機械４０の第１位置姿勢状態における指定物体の空間占有態様として認識される。第１鉛直面Ｐ₁は、荷台の境界線Ｃにおける前縁および後縁のそれぞれに交差するように定義されていてもよく、荷台の境界線Ｃにおける当該旋回軸線Ｏから最も近い点または上部後縁の中心点などの指定点を含むように定義されていてもよい。

【0069】

作業機械４０の第１位置姿勢状態または現時点における指定物体の空間占有態様は、例えば、作業機械４０の周辺に設置されているカメラまたは無人飛行機に搭載されているカメラにより撮像された、作業機械４０の周辺の状況を表わす撮像画像に基づいて定められる。そのほか、図５に示されているように上部旋回体４２が左を向いている（実機撮像装置４１２の撮像範囲に指定物体が含まれるような）作業機械４０の第２位置姿勢状態において、実機撮像装置４１２により撮像された荷物積載車両Ｑの画像に基づき、指定物体の空間占有態様が定められてもよい。上部旋回体４２にＬｉＤＡＲおよび／またはステレオカメラなどの測距装置が搭載されている場合、作業機械４０の第２位置姿勢状態において、当該測距装置により指定物体の空間占有態様が測定されてもよい。指定物体の空間占有態様は、データベース１０２に記憶保持または登録されていてもよい。

【0070】

そして、作業機械４０の第２位置姿勢状態における指定物体の空間占有態様が認識される。前記の場合、図５に示されているように、作業機械４０が第１位置姿勢状態から第２位置姿勢状態に遷移する過程で、第１前縁交点Ｃ₁および第１後縁交点Ｃ₂のそれぞれが、上部旋回体４２に対して、円弧状の前縁軌道Ｔｒ（Ｃ₁）および後縁軌道Ｔｒ（Ｃ₂）のそれぞれに沿って相対変位する。例えば、図５に示されているように、下部走行体４１に対する上部旋回体４２の旋回軸線Ｏ（またはブーム４４１の基端点）およびバケット４４５の先端縁中心点ＥＰを含む第２鉛直面Ｐ₂（二点鎖線参照）と、円弧状の前縁軌道Ｔｒ（Ｃ₁）および後縁軌道Ｔｒ（Ｃ₂）のそれぞれとの交点である第２前縁交点Ｐ（Ｃ₁）および第２後縁交点Ｐ（Ｃ₂）のそれぞれの位置が、作業機械４０の第２位置姿勢状態における指定物体の空間占有態様として認識される。

【0071】

さらに、作業機械４０の第２位置姿勢状態における指定物体の空間占有態様を表わすまたは示す第１指標画像の当該作業環境画像に対する重畳態様が決定される。例えば、図６に示されているように、第２前縁交点Ｐ（Ｃ₁）および第２前縁交点Ｐ（Ｃ₂）のそれぞれの位置を示すように第１指標画像の作業環境画像に対する重畳態様が決定される。そのほか、図６に示されているように、第２前縁交点Ｐ（Ｃ₁）および第２後縁交点Ｐ（Ｃ₂）のそれぞれの地表面または水平面に対する鉛直投影点Ｐ₀（Ｃ₁）およびＰ₀（Ｃ₂）のそれぞれの位置を示すように第１指標画像の作業環境画像に対する重畳態様が決定される。

【0072】

当該重畳態様の決定のため、第２前縁交点Ｐ（Ｃ₁）および第２前縁交点Ｐ（Ｃ₂）等の実空間座標系または実機座標系における位置が、作業環境画像座標系の位置に座標変換される。この座標変換に際して、実空間座標系における実機座標系の位置および姿勢、ならびに、測距センサにより測定された作業環境画像に映り込んでいる地表面などの物体の表面における各点の実空間座標系または実機座標系の位置および姿勢に関する情報が用いられる。

【0073】

続いて、作業機構空間占有態様認識要素１２２により、当該実機位置姿勢データに基づき、作業機構４４の空間占有態様が認識される（図４／ＳＴＥＰ１２２）。具体的には、作業機構４４の一または複数の指定点（例えば、バケット４４５の刃先中心点ＥＰ、バケット４４５の刃先両端点、バケット４４５の開口縁にある点および／またはバケット４４５の基端部にある点（アーム４４３の先端部にある点））の実機座標系における位置および／または指定線分指定線分（例えば、バケット４４５の刃先（先端縁）、バケット４４５の開口縁および／またはアーム４４３の輪郭にある点）の延在態様が作業機構４４の空間占有態様として認識される。

【0074】

さらに、作業環境画像座標系（または撮像画像座標系）における、作業機構４４の指定点の位置および／または指定線分の延在態様を表わすまたは示す第２指標画像の重畳態様が決定される。例えば、図６に示されているように、バケット４４５の刃先中心点ＥＰの地表面または水平面に対する鉛直投影点Ｐ₀（ＥＰ）の位置を示すように第２指標画像の作業環境画像に対する重畳態様が決定される。

【0075】

そして、作業支援画像生成要素１２４により、作業支援画像が生成され、かつ、当該作業支援画像を表わす作業支援画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２４）。作業支援画像は、作業環境画像に第１指標画像および第２指標画像が重畳された結果としての画像である。

【0076】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業支援画像データが受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、作業支援画像データに応じた作業支援画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２２２）。

【0077】

これにより、例えば、図７に示されているように、作業機構４４のバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像に対して、第１指標画像Ｍ₁（Ｐ₀（Ｃ₁））およびＭ₁（Ｐ₀（Ｃ₂））ならびに第２指標画像Ｍ₂（Ｐ₀（ＥＰ））が重畳された作業支援画像が遠隔画像出力装置２２１に出力される。

【0078】

図７に示されている一方の第１指標画像Ｍ₁（Ｐ₀（Ｃ₁））は、第２前縁交点Ｐ（Ｃ₁）の地表面に対する鉛直投影点Ｐ₀（Ｃ₁）（図５および図６参照）の位置をその頂点位置により示す略逆円錐形状の３次元図形である。図７に示されている他方の第１指標画像Ｍ₁（Ｐ₀（Ｃ₂））は、第２後縁交点Ｐ（Ｃ₂）の地表面に対する鉛直投影点Ｐ₀（Ｃ₂）（図５および図６参照）の位置をその頂点位置により示す略逆円錐形状の３次元図形である。図７に示されている第２指標画像Ｍ₂（Ｐ₀（ＥＰ））は、第１位置姿勢状態における作業機械４０のバケット４４５の刃先中心点ＥＰの地表面に対する鉛直投影点Ｐ₀（ＥＰ）（図５および図６参照）の位置をその頂点位置により示す略逆円錐形状の３次元図形である。

【0079】

第１指標画像および第２指標画像の形状および／またはサイズはさまざまに変更されてもよい。例えば、第１指標画像および／または第２指標画像が、対象とする点の位置を指し示すポインタとしての機能を発揮する限りにおいて、球形状、楕円球形状、直方体形状、錐台形状もしくはトーラス形状またはこれらの組み合わせなどさまざまな３次元図形であってもよく、矢印記号のような線分図形であってもよい。

【0080】

図８に示されているように、作業機構４４のバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像に対して、第１指標画像Ｍ₁（Ｐ（Ｃ₁））およびＭ₁（Ｐ（Ｃ₂））ならびに第２指標画像Ｍ₂（Ｐ₀（ＥＰ））が重畳された作業支援画像が遠隔画像出力装置２２１に出力されてもよい。

【0081】

図８に示されている一方の第１指標画像Ｍ₁（Ｐ（Ｃ₁））は、第２前縁交点Ｐ（Ｃ₁）（図５および図６参照）の位置をその頂点位置により示す略逆円錐形状の３次元図形である。図８に示されている他方の第１指標画像Ｍ₁（Ｐ（Ｃ₂））は、第２後縁交点Ｐ（Ｃ₂）（図５および図６参照）の位置をその頂点位置により示す略逆円錐形状の３次元図形である。図８に示されている略逆円錐形状の第１指標画像Ｍ₁（Ｐ（Ｃ₁））およびＭ₁（Ｐ（Ｃ₂））のそれぞれには、その頂点から地表面まで鉛直に延在する直線図形（第２前縁交点Ｐ（Ｃ₁）および第２後縁交点Ｐ（Ｃ₂）のそれぞれと地表面との距離を表わす画像）が含まれているが、当該直線図形は省略されてもよい。

【0082】

図８に示されている第２指標画像Ｍ₂（Ｐ₀（ＥＰ））に代えて、第１位置姿勢状態における作業機械４０のバケット４４５の刃先中心点ＥＰ（図５および図６参照）が地表面ではなく、境界線Ｃを含むまたは境界線Ｃと同じ高さの水平面に対するその鉛直投影点の位置をその頂点位置により示す略逆円錐形状の３次元図形が第２指標画像として作業環境画像に重畳されてもよい。

【0083】

図９に示されているように、作業機構４４のバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像に対して、第１指標画像Ｍ₁（Ｐ₀（Ｔｒ（Ｃ）））が重畳された作業支援画像が遠隔画像出力装置２２１に出力されてもよい。

【0084】

図９に示されている第１指標画像Ｍ₁（Ｐ₀（Ｔｒ（Ｃ）））は、前縁軌道Ｔｒ（Ｃ₁）および後縁軌道Ｔｒ（Ｃ₂）のそれぞれの、地表面に対する鉛直投影線分Ｐ₀（Ｔｒ（Ｃ₁））およびＰ₀（Ｔｒ（Ｃ₂））のそれぞれにより画定された略円弧帯状の領域の延在態様を表わす閉曲面図形である。

【0085】

閉曲面は、Ｂｅｚｉｅｒ（ベジエ）曲面および／またはＮＵＲＢＳ（非一様有理Ｂスプライン）曲面などの複数の制御点により定義される曲面として定義されていてもよい。当該曲面は連続性（Ｇ１連続性、Ｇ２連続性またはＧ３連続性）を有する曲面として定義されていてもよい。例えば、閉曲面がベジエ三角形曲面によって定義される場合、ベジエ三角形曲面の制御ネットの定義域が水平面に張られた三角形メッシュにより定義され、適当な点が制御点とされたうえで、三角パッチの連続性が確保されるように閉曲面が定義される。

【0086】

図９に示されている第１指標画像Ｍ₁（Ｐ₀（Ｔｒ（Ｃ）））に代えてまたは加えて、前縁軌道Ｔｒ（Ｃ₁）および／または後縁軌道Ｔｒ（Ｃ₂）の、地表面に対する鉛直投影線分Ｐ₀（Ｔｒ（Ｃ₁））および／またはＰ₀（Ｔｒ（Ｃ₂））を表わす曲線図形が第１指標画像Ｍ₁（Ｐ₀（Ｔｒ（Ｃ₁）））および／またはＭ₁（Ｐ₀（Ｔｒ（Ｃ₂）））として作業環境画像に重畳された作業支援画像が生成されてもよい。

【0087】

図１０に示されているように、作業機構４４のバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像に対して、第１指標画像Ｍ₁（Ｐ（Ｃ））および／またはＭ₁（Ｐ₀（Ｃ））が重畳された作業支援画像が遠隔画像出力装置２２１に出力されてもよい。

【0088】

図１０に一点鎖線で示されている一方の第１指標画像Ｍ₁（Ｐ（Ｃ））は、作業機械４０の第２位置姿勢状態において予測される、荷物積載車両Ｑの荷台の境界線Ｃの空間占有態様を示す略台形状の閉曲線図形または当該閉曲線により囲まれた閉曲面図形である。図１０に二点鎖線で示されている他方の第１指標画像Ｍ₁（Ｐ₀（Ｃ））は、作業機械４０の第２位置姿勢状態において予測される、荷物積載車両Ｑの荷台の境界線Ｃの地表面に対する鉛直投影結果を示す略台形状の閉曲線図形または当該閉曲線により囲まれた閉曲面図形である。作業機械４０の第２位置姿勢状態において予測される、荷物積載車両Ｑの荷台の境界線Ｃのうち一部（例えば、前縁および／または後縁）を表わす線図が第１指標画像として作業環境画像に重畳されて作業支援画像が生成されてもよい。

【0089】

図１１に示されているように、第１指標画像Ｍ₁（Ｐ（Ｃ））および／またはＭ₁（Ｐ₀（Ｃ））が、図１０に示されているよりも左側（作業機械４０が第２位置姿勢状態に遷移する少し手前側）にずらされて作業環境画像に対して重畳されることで作業支援画像が遠隔画像出力装置２２１に出力されてもよい。

【0090】

当該実施形態（図７～図１１参照）において示されている第１指標画像および第２指標画像の任意の組み合わせが作業環境画像に対して重畳されることで作業支援画像が生成されてもよい。

【0091】

第１指標画像および／または第２指標画像の意匠が、作業機械４０の第１位置姿勢状態における作業機構４４の空間占有態様および作業機械４０の第２位置姿勢状態における指定ぶったの空間占有態様の相関関係に応じて差異化されてもよい。例えば、バケット４４５の刃先中心点ＥＰが、荷物積載車両Ｑの荷台の境界線Ｃと比較して高いまたは所定分以上高い場合と、その他の場合とで、第１指標画像および／または第２指標画像の意匠（例えば、色）が識別可能に差異化されてもよい。また、平面図においてバケット４４５の刃先中心点ＥＰが、荷物積載車両Ｑの荷台の境界線Ｃに囲まれた領域に含まれている場合と、その他の場合とで、第１指標画像および／または第２指標画像の意匠が識別可能に差異化されてもよい。

【0092】

作業機械４０の第１位置姿勢状態において上部旋回体４２が向いている方位（第１方位）と、作業機械４０の第２位置姿勢状態において上部旋回体４２が向いている方位（第２方位）と、のなす角度Δθ（図５参照）が閾値以下になった場合、第１指標画像および／または第２指標画像の作業環境画像への重畳出力が省略または停止されてもよい。

【0093】

オペレータは、遠隔画像出力装置２２１に出力された作業支援画像を見ながら、遠隔操作機構２１１を構成する操作レバーを操作することで、作業機構４４、ひいてはバケット４４５の動作を制御することができる。遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が作業支援装置１０に対して送信される（図４／ＳＴＥＰ２１４）。

【0094】

作業支援装置１０において当該遠隔操作指令が受信された場合、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１４）。

【0095】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４４）、作業機構４４等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土および／または石などを掘り起こしてすくい、上部旋回体４２を下部走行体４１に対して旋回させたうえで、荷物積載車両Ｑの荷台にバケット４４５から当該土等を落とす作業が実行される。

【0096】

（作用効果）
前記機能を発揮する作業支援装置１０によれば、作業環境画像に第１指標画像および第２指標画像が重畳された作業支援画像が生成される（図７～図１１参照）。「作業環境画像」は、作業機械４０の第１位置姿勢状態に応じて実機撮像装置４１２を通じて取得された第１エリア（例えば、上部旋回体４２の前方）の状況を表わす画像である。「第１指標画像」は、作業機械４０が第１位置姿勢状態からこれとは異なる第２位置姿勢状態に遷移する場合、作業環境画像に映り込むと予測される、当該第２位置姿勢状態に応じた第２エリア（例えば、上部旋回体４２の側方および／または後方）に存在する指定物体（例えば、荷物積載車両Ｑ）の空間占有態様を表わす画像である。

【0097】

このため、作業機械４０が第１位置姿勢状態にある際には作業環境画像に映り込んでいない（または部分的に映り込んでいるものの位置姿勢が不明確である）ものの、作業機械４０が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体の空間占有態様を、作業支援画像に接したオペレータ等に認識させることができる。

【0098】

「第２指標画像」は、作業機械４０において上部旋回体４２から延在している作業機構４４の空間占有態様、具体的には、バケット４４５の刃先中心点ＥＰの位置を表わす画像である。このため、作業機械４０が第１位置姿勢状態にある際には作業環境画像に映り込んでいないものの、作業機械４０が第２位置姿勢状態に遷移する際に作業環境画像に映り込むと予測される指定物体とその際のバケット４４５の刃先中心点ＥＰ（または作業機構４４の指定点）との相対位置および／または相対姿勢を、作業支援画像に接したオペレータ等に認識させることができる。

【0099】

（本発明の他の実施形態）
前記実施形態では、作業支援装置１０が遠隔操作装置２０および作業機械４０とは別個のコンピュータにより構成されていたが、他の実施形態として、作業支援装置１０が、遠隔操作装置２０または作業機械４０に搭載されていてもよい。

【0100】

図１８に示されているように、第１エリア（実線扇形参照）を撮像する実機撮像装置４１２とは異なる方位に向けられて第１エリアとは異なるエリアをセンシング対象エリア（破線扇形参照）とされたＬｉＤＡＲおよび／またはステレオカメラなどの複数の測距装置４１８または撮像装置が上部旋回体４２に搭載されていてもよい。作業機械４０の周囲が撮像されるまたは周囲に存在する指定物体までの距離が測定されることで、第２位置姿勢状態に応じた第２エリアに存在する当該指定物体の空間占有態様を定常的に把握することができ、第１指標画像に指定物体の最新の空間占有態様を反映させることができる。このため、オペレータ等における作業機械４０の周辺に存在している指定物体の空間占有態様の認識精度をより向上させることができる。

【0101】

作業支援装置１０のうち作業支援画像生成機能が、遠隔操作装置２０、ひいては遠隔制御装置２００により担われる他の実施形態について、図１２に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、図４と同様に記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図４と同様の内容の処理に関しては「ＳＴＥＰ●」および「Ｃ●」に同じ数番を付して、説明を簡略化または省略する。

【0102】

作業機械４０において、実機制御装置４００が実機撮像装置４１２を通じて取得された撮像画像を表わす撮像画像データが作業支援装置１０に対して送信される（図１２／ＳＴＥＰ４１０）。作業支援装置１０において、撮像画像データが受信された場合（図４／Ｃ１１）、作業支援装置１０から撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図１２／ＳＴＥＰ１１０）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。

【0103】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データが受信された場合（図１２／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図１２／ＳＴＥＰ２１２）。これにより、例えば、作業機構４４のバケット４４５が映り込み、作業機械４０の前方の状況を表わす作業環境画像（第１指標画像および第２指標画像はまだ重畳されていない）が遠隔画像出力装置２２１に出力される（図７～図１１参照）。

【0104】

実機制御装置４００から実機位置姿勢を表わす実機位置姿勢データが作業支援装置１０に対して送信される（図１２／ＳＴＥＰ４１２）。作業支援装置１０において、実機位置姿勢データが受信された場合（図１２／Ｃ１２）、指定物体空間占有態様認識要素１２１により、当該実機位置姿勢データに基づき、作業機械４０の第２位置姿勢状態における指定物体の空間占有態様が認識される（図１２／ＳＴＥＰ１２１）。さらに、作業機構空間占有態様認識要素１２２により、当該実機位置姿勢データに基づき、作業機構４４の空間占有態様が認識される（図１２／ＳＴＥＰ１２２）。

【0105】

作業支援装置１０により、作業環境画像に対する第１指標画像および第２指標画像の重畳態様を表わす「指標画像出力指示」が遠隔操作装置２０に対して送信される（図１２／ＳＴＥＰ１２６）。

【0106】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて指標画像出力指示が受信された場合（図１２／Ｃ２２）、遠隔制御装置２００により、当該指標画像出力指示にしがって第１指標画像および第２指標画像が作業支援画像に重畳されることにより作業支援画像が生成され、当該作業支援画像が遠隔画像出力装置２２１に出力される（図１２／ＳＴＥＰ２２２）。

【0107】

前記実施形態では、作業機械４０がオペレータにより遠隔操作装置２０を通じて遠隔操作されていたが、他の実施形態として、作業機械４０が当該作業機械４０に搭乗したオペレータにより実機操作されてもよい。この場合、作業支援装置１０から作業機械４０に対して作業支援画像データまたは指標画像出力指示が送信され（図４／ＳＴＥＰ１２２または図１２／ＳＴＥＰ１２２参照）、実機出力インターフェース４２０を構成する実機画像出力装置に当該データに応じた作業支援画像が出力されてもよい（図７～図１１参照）。

【0108】

作業支援装置１０によって生成される作業支援画像は、作業者および／または施工管理者が携帯する、スマートフォンまたはタブレットのような表示装置を持つ通信端末に出力されてもよい。前記通信端末は、撮像装置を搭載し、ＧＮＳＳ等による端末の位置情報の取得及び方位センサおよび傾斜センサ等による端末が向けられた方位情報、角度情報の取得が可能な構成であれば、前記実施形態と同様に作業環境画像に作業支援画像を重畳し、指定物体の空間占有態様を把握させることができる。

【0109】

図１３に示されているように、荷物積載車両Ｑの荷台の一部が荷物により占有されている場合（かつ当該荷物とバケット４４５との接触回避が必要である場合）、当該荷物を除く荷台のエリアの境界線Ｃの少なくとも一部の位置（または延在態様）が、当該荷物積載車両Ｑの空間占有態様として認識されてもよい。図１３に示されている状況では、図５に示されている状況と比較して、第２前縁交点Ｐ（Ｃ₁）が作業機械４０に対して近くに位置している。

【0110】

作業機械４０の空間占有態様と指定物体の空間占有態様との相対的な変化態様に応じて、作業機械４０の第２位置姿勢状態における当該指定物体の空間占有態様が流動的または適応的に認識（予測または推定）されてもよい。

【0111】

例えば、図１４に示されているように、作業機械４０に左に存在する荷物積載車両Ｑが、ある期間において破線で示されている位置姿勢状態から実線で示されている位置姿勢状態に遷移する場合について考察する。例えば、荷物積載車両Ｑの空間占有態様の時間的変化は、作業機械４０の周囲にあるカメラの撮像装置により撮像された画像、または、荷物積載車両Ｑから送信される動作信号等に基づいて認識される。当該期間は、作業機械４０が第１位置姿勢状態（上部旋回体４２が前を向いている状態）から第２位置姿勢状態（上部旋回体４２が左を向いている状態）に遷移するまでの期間と一致していてもよい。

【0112】

この場合、荷物積載車両Ｑが作業機械４０に対して接近することに応じて、図１４に示されている状況では、図５に示されている状況と比較して、第２前縁交点Ｐ（Ｃ₁）および第２後縁交点Ｐ（Ｃ₂）が作業機械４０に対して近くに位置している。特に、第２後縁交点Ｐ（Ｃ₂）がバケット４４５の刃先中心点ＥＰとほぼ同じ位置にある。これにより、例えば、図７に示されている作業支援画像において第１指標画像Ｍ₁（Ｐ₀（Ｃ₂））および第２指標画像Ｍ₂（Ｐ₀（ＥＰ））が近接していること、ひいては、このまま上部旋回体４２を下部走行体４１に対して旋回させると、バケット４４５の水平位置が荷物積載車両Ｑの荷台の水平位置に重なることをオペレータに認識させることができる。

【0113】

さらに、この場合、第１前縁交点Ｃ₁および第１後縁交点Ｃ₂のそれぞれの軌道Ｔｒ（Ｃ₁）およびＴｒ（Ｃ₂）（図１４には示されていない。図５参照。）のそれぞれは、作業機械４０の空間占有態様と指定物体の空間占有態様との相対的な変化態様に応じて、略楕円弧状など、円弧状とは異なる形状になる。

【0114】

また、図１５に示されているように、作業機械４０が、ある期間において破線で示されている位置姿勢状態から実線で示されている位置姿勢状態に遷移する場合について考察する。当該期間は、作業機械４０が第１位置姿勢状態（上部旋回体４２が前（第１方位）を向いている状態）から第２位置姿勢状態（上部旋回体４２が左（第２方位）を向いている状態）に遷移するまでの期間と一致していてもよい。

【0115】

この場合、作業機械４０が前進することに応じて、図１５に示されている状況では、図５に示されている状況と比較して、第２前縁交点Ｐ（Ｃ₁）および第２後縁交点Ｐ（Ｃ₂）が作業機械４０に対して近くに位置している。

【0116】

さらに、この場合、第１前縁交点Ｃ₁および第１後縁交点Ｃ₂のそれぞれの軌道Ｔｒ（Ｃ₁）およびＴｒ（Ｃ₂）（図１５には示されていない。図５参照。）のそれぞれは、作業機械４０の空間占有態様と指定物体の空間占有態様との相対的な変化態様に応じて、略楕円弧状など、円弧状とは異なる形状になる。

【0117】

第２鉛直面Ｐ₂（図５の二点鎖線参照（第１方位を含む「指定鉛直面」に相当する。））に対して、作業機械４０と、第１指標画像または第１指標画像および指定物体と、が投影された結果としての作業支援副画像が生成され、遠隔出力インターフェース２２０（遠隔画像出力装置２２１）に出力されてもよい。第２鉛直面Ｐ₂に対して、第２指標画像がさらに投影された結果としての前記作業支援副画像を生成されてもよい。

【0118】

例えば、図１６に示されているように、第２鉛直面Ｐ₂（指定鉛直面）に垂直に投影された作業機械４０と、作業機械４０が第２位置姿勢状態である際の荷物積載車両Ｑと、第１指標画像Ｍ₁（Ｐ（Ｃ₁））およびＭ₁（Ｐ（Ｃ₂））と、第２指標画像Ｍ₂（Ｐ₀（ＥＰ））が含まれている作業支援副画像が作業支援画像とは別個に生成されてもよい。図１７に示されているように、第２鉛直面Ｐ₂（指定鉛直面）に垂直に投影された作業機械４０と、第２指標画像Ｍ₂（Ｐ₀（ＥＰ））が含まれている作業支援副画像が作業支援画像とは別個に生成されてもよい。図１７においては、実線および破線のそれぞれで示されているバケット４４５の姿勢の相違（バケット４４５の開口に沿った平面の鉛直方向に対する傾斜角度）に応じて、略二等辺三角形状の第２指標画像Ｍ₂（Ｐ₀（ＥＰ））の姿勢（当該二等辺三角形の中心線の鉛直方向に対する傾斜角度）が差異化されている。

【符号の説明】

【0119】

１０‥作業支援装置
１０２‥データベース
１２１‥指定物体空間占有態様認識要素
１２２‥作業機構空間占有態様認識要素
１２４‥作業支援画像生成要素
２０‥遠隔操作装置
２００‥遠隔制御装置
２１０‥遠隔入力インターフェース
２１１‥遠隔操作機構
２２０‥遠隔出力インターフェース
２２１‥遠隔画像出力装置
２２２‥遠隔音響出力装置
２２４‥遠隔無線通信機器
４０‥作業機械
４１‥下部走行体
４２‥上部旋回体
４２Ｃ‥キャブ（運転室）
４４‥作業機構
４４５‥バケット
４００‥実機制御装置
４１０‥実機入力インターフェース
４１２‥実機撮像装置
４２０‥実機出力インターフェース
Ｍ₁‥第１指標画像
Ｍ₂‥第２指標画像
Ｃ‥荷台の境界線（指定物体の輪郭）
Ｑ‥荷物積載車両（指定物体）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】