ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093731
(43)【公開日】2024-07-09
(54)【発明の名称】作業機械の表示装置及び作業機械
(51)【国際特許分類】
E02F 9/26 20060101AFI20240702BHJP
G06T 19/00 20110101ALI20240702BHJP
【ＦＩ】
E02F9/26 C
G06T19/00 600
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022210287
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 啓介
(72)【発明者】
【氏名】階戸 文乃
(72)【発明者】
【氏名】柴田 誉
【テーマコード（参考）】
2D015
5B050
【Ｆターム（参考）】
2D015EB01
2D015GB07
2D015HA03
5B050BA11
5B050DA01
5B050EA06
5B050EA07
5B050EA19
5B050EA20
5B050EA27
5B050FA02
(57)【要約】
【課題】作業機械について適正な運用を行う。
【解決手段】作業機械１００の位置情報を取得する位置情報取得部４３と、作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部３１と、既存の構造物、地形又は区画の境界を作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部３２と、作業機械に対する所定の視点Ｅ１からの視界又は当該視界の画像Ｒ１に重ねて、既存の構造物、地形又は区画の境界の拡張画像ＡＲ１を表示させる表示処理部３３とを備えている。
【選択図】図４
【解決手段】作業機械１００の位置情報を取得する位置情報取得部４３と、作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部３１と、既存の構造物、地形又は区画の境界を作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部３２と、作業機械に対する所定の視点Ｅ１からの視界又は当該視界の画像Ｒ１に重ねて、既存の構造物、地形又は区画の境界の拡張画像ＡＲ１を表示させる表示処理部３３とを備えている。
【選択図】図４
【特許請求の範囲】
【請求項1】
作業機械の位置情報を取得する位置情報取得部と、
前記作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部と、
前記既存の構造物、地形又は区画の境界を前記作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部と、
前記作業機械に対する所定の視点からの視界又は当該視界の画像に重ねて、前記既存の構造物、地形又は区画の境界の拡張画像を表示させる表示処理部と、
を備える作業機械の表示装置。
前記作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部と、
前記既存の構造物、地形又は区画の境界を前記作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部と、
前記作業機械に対する所定の視点からの視界又は当該視界の画像に重ねて、前記既存の構造物、地形又は区画の境界の拡張画像を表示させる表示処理部と、
を備える作業機械の表示装置。
【請求項2】
前記表示処理部は、前記拡張画像と共に、前記既存の構造物、地形又は区画の境界の名称を表示させる
請求項１に記載の作業機械の表示装置。
請求項１に記載の作業機械の表示装置。
【請求項3】
前記作業機械の運転席の窓の透明板に画像表示を行う投影装置を備え、
前記表示処理部は、前記投影装置を通じて、前記作業機械の運転席の窓の透明板に前記拡張画像を表示させる
請求項１に記載の作業機械の表示装置。
前記表示処理部は、前記投影装置を通じて、前記作業機械の運転席の窓の透明板に前記拡張画像を表示させる
請求項１に記載の作業機械の表示装置。
【請求項4】
前記作業機械に対する所定の視点からの視界の画像を表示する画像表示装置を備え、
前記表示処理部は、前記画像表示装置に、前記視界の画像に重ねて前記拡張画像を表示させる
請求項１に記載の作業機械の表示装置。
前記表示処理部は、前記画像表示装置に、前記視界の画像に重ねて前記拡張画像を表示させる
請求項１に記載の作業機械の表示装置。
【請求項5】
前記視界の画像は、前記作業機械に対する俯瞰画像である
請求項４に記載の作業機械の表示装置。
請求項４に記載の作業機械の表示装置。
【請求項6】
前記画像表示装置は、前記作業機械の遠隔操縦用の画像表示装置である
請求項４に記載の作業機械の表示装置。
請求項４に記載の作業機械の表示装置。
【請求項7】
請求項１から請求項５のいずれか一項に記載の作業機械の表示装置
を備える作業機械。
を備える作業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の表示装置及び作業機械に関する。
【背景技術】
【0002】
ショベルやモータグレーダ等を含む作業機械は、安全に運用することはきわめて重要である。このため、近年は、AR(Augmented Reality)といわれる拡張現実の表示技術の利用が提案されている。
例えば、ショベルのバケットがキャビンの視界から見えないに位置に移動した場合に表示装置にてバケットのAR表示を行い、バケットの位置認識の支援が行われていた（例えば、特許文献１参照）。
例えば、ショベルのバケットがキャビンの視界から見えないに位置に移動した場合に表示装置にてバケットのAR表示を行い、バケットの位置認識の支援が行われていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第２０１４／０１８８３３３号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術は、作業機械の一部を拡張表示するものであって、作業機械の周囲の物体等が遮蔽されている場合にこれを視覚的に支援することはできなかった。
本発明は、上記事情に鑑みてなされたもので、作業機械をより安全面を考慮して適正に運用することを目的とする。
本発明は、上記事情に鑑みてなされたもので、作業機械をより安全面を考慮して適正に運用することを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る作業機械の表示装置は、
作業機械の位置情報を取得する位置情報取得部と、
前記作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部と、
前記既存の構造物、地形又は区画の境界を前記作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部と、
前記作業機械に対する所定の視点からの視界又は当該視界の画像に重ねて、前記既存の構造物、地形又は区画の境界の拡張画像を表示させる表示処理部と、
を備える構成である。
作業機械の位置情報を取得する位置情報取得部と、
前記作業機械の位置情報が示す位置の周辺における既存の構造物、地形又は区画の境界を示す周辺情報を取得する周辺情報取得部と、
前記既存の構造物、地形又は区画の境界を前記作業機械に対する所定の視点から見た拡張画像を生成する拡張画像生成部と、
前記作業機械に対する所定の視点からの視界又は当該視界の画像に重ねて、前記既存の構造物、地形又は区画の境界の拡張画像を表示させる表示処理部と、
を備える構成である。
【0006】
また、本発明に係る作業機械は、上記構成の表示装置を備える構成である。
【発明の効果】
【0007】
本発明によれば、作業機械をより適正に運用することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るショベルの側面図である。
【図2】ショベルの概略構成を示すブロック図である。
【図3】ショベルの座標系を示す説明図である。
【図4】拡張画像を実画像に重ねた表示画面を示す図である。
【図5】表示位置に誤差が生じた拡張画像と校正部が行う誤差を校正する処理の概念とを示した説明図である。
【図6】俯瞰画像生成部による俯瞰画像化された実画像及び拡張画像を表示させた表示画面の一例である。
【図7】拡張画像に関する表示処理を示すフローチャートである。
【図8】キャビンの前窓の窓ガラスに拡張画像を投影する表示形態を示した図である。
【図9】ショベルの遠隔操縦システムの概略構成を示すブロック図である。
【図10】遠隔操縦装置における遠隔操縦座標系を示す説明図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
本実施形態では、表示装置を備える作業機械としてのショベルについて例示する。
本実施形態では、表示装置を備える作業機械としてのショベルについて例示する。
【0010】
［ショベルの構成］
図１は、本実施形態に係るショベル１００の側面図である。
図示のように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメント１１としてのブーム４、アーム５及びバケット６と、オペレータが搭乗する運転席としてのキャビン１０とを備える。アタッチメント１１は、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。
図１は、本実施形態に係るショベル１００の側面図である。
図示のように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメント１１としてのブーム４、アーム５及びバケット６と、オペレータが搭乗する運転席としてのキャビン１０とを備える。アタッチメント１１は、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。
【0011】
下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。
【0012】
ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等の被駆動要素を駆動する。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等の被駆動要素を駆動する。
【0013】
図２は、ショベル１００の概略構成を示すブロック図である。
この図に示すように、ショベル１００は、管理装置２００とネットワークＮＷを通じて通信可能である。
この図に示すように、ショベル１００は、管理装置２００とネットワークＮＷを通じて通信可能である。
【0014】
ショベル１００は、上記構成のほか、撮像装置４０と、距離センサ４１と、動作・姿勢状態センサ４２と、位置センサ４３と、方位センサ４４と、操作装置４５と、画像表示装置５０と、音声出力装置６０と、通信機器８０と、コントローラ３０と、記憶部４６とを備える。
【0015】
撮像装置４０は、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、例えば、ショベル１００の前方を撮影する前方カメラ、後方を撮影する後方カメラ、左方を撮影する左方カメラ、右方を撮影する右方カメラを含む。各撮像装置４０は、光軸が斜め下方に向くように設置され、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。
【0016】
距離センサ４１は、ショベル１００の周辺の物体までの距離を測定してその情報（二次元又は三次元の距離情報）を取得する測距手段であり、取得した情報をコントローラ３０に出力する。距離センサ４１は、例えば、撮像装置４０に対応してショベル１００の前方、後方、左方、右方の３方の計測が可能なように設けられている。
【0017】
動作・姿勢状態センサ４２は、ショベル１００の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ３０に出力する。動作・姿勢状態センサ４２は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
ブーム角度センサは、上部旋回体３に対する所定角度を基準とするブーム４の回動角度（以下、「ブーム角度」と称する）を検出する。
アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
ＩＭＵは、ブーム４、アーム５の各々と上部旋回体３（アタッチメント１１以外の箇所）に取り付けられている。そして、所定の三軸に沿ったブーム４、アーム５及び上部旋回体３の加速度、及び、所定の三軸廻りのブーム４、アーム５及び上部旋回体３の角加速度を検出する。また、上部旋回体３に設けられたＩＭＵは、絶対的な水平面に対する上部旋回体３の傾斜角度を検出する。
旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
ブーム角度センサは、上部旋回体３に対する所定角度を基準とするブーム４の回動角度（以下、「ブーム角度」と称する）を検出する。
アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
ＩＭＵは、ブーム４、アーム５の各々と上部旋回体３（アタッチメント１１以外の箇所）に取り付けられている。そして、所定の三軸に沿ったブーム４、アーム５及び上部旋回体３の加速度、及び、所定の三軸廻りのブーム４、アーム５及び上部旋回体３の角加速度を検出する。また、上部旋回体３に設けられたＩＭＵは、絶対的な水平面に対する上部旋回体３の傾斜角度を検出する。
旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。
【0018】
位置センサ４３は、作業機械の位置情報を取得する位置情報取得部として機能し、例えば、上部旋回体３に装備される。
位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＮＳＳ（Global Navigation Satellite System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含む信号をＧＮＳＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＮＳＳ受信機でなくともよく、例えばＧＮＳＳ以外の衛星測位システムを利用するものであってもよい。また、位置センサ４３は、下部走行体１に設けられていてもよい。
位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＮＳＳ（Global Navigation Satellite System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含む信号をＧＮＳＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＮＳＳ受信機でなくともよく、例えばＧＮＳＳ以外の衛星測位システムを利用するものであってもよい。また、位置センサ４３は、下部走行体１に設けられていてもよい。
【0019】
方位センサ４４は、上部旋回体３に設けられ、上部旋回体３が向いている方位（方向）の情報を取得するセンサであり、例えば地磁気センサである。方位センサ４４は、上部旋回体３の方位の情報を取得して、コントローラ３０に出力する。なお、方位センサ４４は、上部旋回体３の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばＧＮＳＳ受信機を２つ設け、その位置情報の差異から方位情報を取得してもよい。
【0020】
操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、動作・姿勢状態センサ４２、位置センサ４３、画像表示装置５０、音声出力装置６０、通信機器８０等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、動作・姿勢状態センサ４２、位置センサ４３、画像表示装置５０、音声出力装置６０、通信機器８０等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。
【0021】
画像表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。画像表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。
また、画像表示装置５０は、撮像装置４０による撮像画像や当該撮像画像を加工した画像、さらには、後述する拡張画像を表示する画像表示装置として機能する。
また、画像表示装置５０は、撮像装置４０による撮像画像や当該撮像画像を加工した画像、さらには、後述する拡張画像を表示する画像表示装置として機能する。
【0022】
音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。
【0023】
記憶部４６は、各種のデータ等の情報を書き込み及び読み出し可能に記憶する不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶部である。
【0024】
通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワークＮＷを通じて遠隔の外部機器である管理装置２００や他のショベル１００等と各種情報を送受信する通信デバイスである。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網、上空の通信衛星を利用する衛星通信網、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網、インターネット通信網等を含んでもよい。
【0025】
コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよい。コントローラ３０は、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、これらの他にも、例えばＦＰＧＡやＡＳＩＣなどを含んで構成されてもよい。
【0026】
また、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域を含む。
この記憶領域部には、画像処理を含むショベル１００の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ３０の作業領域としても機能する。
この記憶領域部には、画像処理を含むショベル１００の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ３０の作業領域としても機能する。
【0027】
また、ショベル１００のコントローラ３０は、所定の通信ネットワークＮＷを通じて、外部の管理装置２００と相互に通信を行うことができる。コントローラ３０は、通信により、管理装置２００から後述する周辺情報を取得することができる。コントローラ３０は、取得した周辺情報を上述した記憶領域に保存する。
【0028】
また、コントローラ３０は、図２に示すように、機能ブロックとして、周辺情報取得部３１、拡張画像生成部３２、表示処理部３３、校正部３４及び俯瞰画像生成部３５を有する。これらの機能的構成は、コントローラ３０が各種のプログラムを実行することで実現する構成だが、これらの機能的構成をハードウェアで実現させてもよい。
【0029】
上記各機能的構成の機能の内容の詳細については、後述する。
なお、本実施形態としての作業機械の表示装置は、ショベル１００の位置センサ４３、周辺情報取得部３１、拡張画像生成部３２、表示処理部３３、校正部３４及び俯瞰画像生成部３５と前述した画像表示装置５０とによって構成される。
なお、本実施形態としての作業機械の表示装置は、ショベル１００の位置センサ４３、周辺情報取得部３１、拡張画像生成部３２、表示処理部３３、校正部３４及び俯瞰画像生成部３５と前述した画像表示装置５０とによって構成される。
【0030】
［管理装置及び周辺情報について］
管理装置２００（情報処理装置の一例）は、ショベル１００と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、ショベル１００（複数であってもよい）とによって構築されるシステムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置２００（情報処理装置の一例）は、ショベル１００と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、ショベル１００（複数であってもよい）とによって構築されるシステムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
【0031】
管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００と相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。
【0032】
管理装置２００は、制御部２１０と記憶部２２０を備える。制御部２１０は、記憶部２２０に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行する。例えば、制御部２１０は、ショベル１００のコントローラ３０から作業機械の位置情報を受信すると、当該位置情報が示す位置周辺の周辺情報をコントローラ３０に対して送信する。
記憶部２２０は、ショベル１００に上記の周辺情報を提供するためのプログラムと各地の周辺情報を含むデータを記憶するとともに、制御部２１０の作業領域としても機能する。
記憶部２２０は、ショベル１００に上記の周辺情報を提供するためのプログラムと各地の周辺情報を含むデータを記憶するとともに、制御部２１０の作業領域としても機能する。
【0033】
記憶部２２０が用意している周辺情報は、管理装置２００の把握する範囲内の各地区における既存の構造物、地形又は区画の境界を示す情報である。
既存の構造物としては、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所の地表又は地中に存在し得るあらゆる構造物が含まれる。例えば、道路の両脇に設けられた縁石、地中の埋設物（水道管、下水管、ガス管、地中ケーブル管路等）、ガードレール、道路標識、横断歩道等、電柱、送電鉄塔等が挙げられる。
地形は、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所の地形である。例えば、坂、傾斜面、断崖、土手、水路、河川、湖沼、農作地、山林等が挙げられる。
区画の境界は、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所において、何らかの設定に基づく区画の境界が含まれる。例えば、道路とそれ以外の土地の境界、土地の種別による境界、前述した地形の種別による境界、道路と施設の境界、施設同士の境界、所有の異なる土地と土地の境界等である。
既存の構造物としては、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所の地表又は地中に存在し得るあらゆる構造物が含まれる。例えば、道路の両脇に設けられた縁石、地中の埋設物（水道管、下水管、ガス管、地中ケーブル管路等）、ガードレール、道路標識、横断歩道等、電柱、送電鉄塔等が挙げられる。
地形は、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所の地形である。例えば、坂、傾斜面、断崖、土手、水路、河川、湖沼、農作地、山林等が挙げられる。
区画の境界は、ショベル１００（作業車両）が通行又は進入し得る箇所又は作業の現場となる箇所において、何らかの設定に基づく区画の境界が含まれる。例えば、道路とそれ以外の土地の境界、土地の種別による境界、前述した地形の種別による境界、道路と施設の境界、施設同士の境界、所有の異なる土地と土地の境界等である。
【0034】
上記周辺情報には、例えば、原点の位置を示す情報（例えば、緯度、経度、高さ）と当該原点に基づく三次元座標系（「周辺情報座標系」とする）で表された既存の構造物、地形又は区画の境界（以下、「既定の構造物等」という）の外縁に沿った各位置の周辺情報座標系の座標値とが含まれる。なお、既存の構造物等の外縁が、直線又は曲線で近似できる場合には、周辺情報座標系における直線又は曲線を示す関数であってもよい。
また、周辺情報座標系の各座標軸は、既存の構造物等の向き（方位）の特定を容易にするために、東西方向、南北方向、鉛直上下方向のそれぞれに平行としてもよい。
また、周辺情報座標系の各座標軸は、既存の構造物等の向き（方位）の特定を容易にするために、東西方向、南北方向、鉛直上下方向のそれぞれに平行としてもよい。
【0035】
また、周辺情報は、一部または全部を既存の構造物、地形又は区画の境界を平面視で表した二次元座標系の位置情報としてもよい。その場合、直交する二軸はいずれも水平軸とし、例えば、東西方向と南北方向に平行としてもよい。
さらに、既存の構造物、地形又は区画の境界の内、立体的なものは三次元座標系で示し、平面的なものは二次元座標で示してもよい。
さらに、既存の構造物、地形又は区画の境界の内、立体的なものは三次元座標系で示し、平面的なものは二次元座標で示してもよい。
【0036】
［周辺情報取得部］
次に、前述したコントローラ３０の各機能的構成の機能の内容について詳細に説明する。
周辺情報取得部３１は、位置センサ４３の検出に基づいてショベル１００の現在の位置情報を取得する。
さらに、周辺情報取得部３１は、通信機器８０を通じてショベル１００の現在の位置情報を管理装置２００に送信する。そして、管理装置２００から返信されるショベル１００の現在位置周辺の周辺情報を取得する。
なお、現在位置周辺の周辺情報とは、現在位置に対して、予め設定された距離範囲内に原点を有する周辺情報座標系の周辺情報をいう。
次に、前述したコントローラ３０の各機能的構成の機能の内容について詳細に説明する。
周辺情報取得部３１は、位置センサ４３の検出に基づいてショベル１００の現在の位置情報を取得する。
さらに、周辺情報取得部３１は、通信機器８０を通じてショベル１００の現在の位置情報を管理装置２００に送信する。そして、管理装置２００から返信されるショベル１００の現在位置周辺の周辺情報を取得する。
なお、現在位置周辺の周辺情報とは、現在位置に対して、予め設定された距離範囲内に原点を有する周辺情報座標系の周辺情報をいう。
【0037】
なお、周辺情報取得部３１は、オペレータが周辺情報の取得の要求を入力した場合のみ取得する構成としてもよい。また、周辺情報取得部３１は、管理装置２００から周辺情報を取得しない構成としてもよい。例えば、記憶部４６に、複数の周辺情報を記憶させておき、位置センサ４３によってショベル１００の現在位置が検出されると、周辺情報取得部３１が現在位置に対応する周辺情報を読み出す構成としてもよい。
また、操作装置４５からショベル１００が向かう予定の位置を入力すると、周辺情報取得部３１が、現在位置から目的の位置までの経路を決定し、当該経路上の各位置の周辺情報を管理装置２００から全て取得して記憶部４６に用意しておく構成としてもよい。
また、操作装置４５からショベル１００が向かう予定の位置を入力すると、周辺情報取得部３１が、現在位置から目的の位置までの経路を決定し、当該経路上の各位置の周辺情報を管理装置２００から全て取得して記憶部４６に用意しておく構成としてもよい。
【0038】
［拡張画像生成部］
拡張画像生成部３２は、周辺情報取得部３１によって取得されたショベル１００の現在位置に対応する周辺情報に基づいて、既定の構造物等をショベル１００に対する所定の視点Ｅ１から見た画像に基づく拡張画像を表示するための拡張画像データを生成する。
拡張画像生成部３２は、周辺情報取得部３１によって取得されたショベル１００の現在位置に対応する周辺情報に基づいて、既定の構造物等をショベル１００に対する所定の視点Ｅ１から見た画像に基づく拡張画像を表示するための拡張画像データを生成する。
【0039】
ここで、図３に基づいてショベル１００の座標系について説明する。以下、ショベル１００の座標系をショベル座標系という。
ショベル座標系は、上部旋回体３上の基準点Ｏ１を原点とする３次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図３の例では、原点Ｏ１は上部旋回体３の旋回軸上にあり、高さは任意の値に設定することができる。図３の例では、ショベル１００が水平面上に位置する場合、Ｘ軸とＹ軸は水平となり、Ｚ軸は鉛直方向となる。
ショベル座標系は、上部旋回体３上の基準点Ｏ１を原点とする３次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図３の例では、原点Ｏ１は上部旋回体３の旋回軸上にあり、高さは任意の値に設定することができる。図３の例では、ショベル１００が水平面上に位置する場合、Ｘ軸とＹ軸は水平となり、Ｚ軸は鉛直方向となる。
【0040】
所定の視点Ｅ１は、ショベル１００のキャビン１０の操縦席に座るオペレータの目の位置である。厳密には、二つの目の中間位置である。
視点Ｅ１は、平均的な体格の人間がショベル１００のキャビン１０の操縦席に座って前を向いた状態における二つの目の中間となる固定位置に定めてもよい。
また、視点Ｅ１は、ショベル１００のキャビン１０の操縦席に座っているオペレータに対して、カメラの撮像等により、左右の目の位置を検出し、その中間点を求めてもよい。
カメラを使用する場合には、視点Ｅ１の位置は、逐次検出してもよい。
また、視点Ｅ１を固定位置とする場合には、ショベル座標系の位置座標で記憶部４６又はコントローラ３０の記憶領域に記憶してもよい。
視点Ｅ１は、平均的な体格の人間がショベル１００のキャビン１０の操縦席に座って前を向いた状態における二つの目の中間となる固定位置に定めてもよい。
また、視点Ｅ１は、ショベル１００のキャビン１０の操縦席に座っているオペレータに対して、カメラの撮像等により、左右の目の位置を検出し、その中間点を求めてもよい。
カメラを使用する場合には、視点Ｅ１の位置は、逐次検出してもよい。
また、視点Ｅ１を固定位置とする場合には、ショベル座標系の位置座標で記憶部４６又はコントローラ３０の記憶領域に記憶してもよい。
【0041】
周辺情報は、既定の構造物等の外縁を周辺情報座標系で示した位置座標を含む。また、周辺情報座標系は、三次元座標であり、個々の周辺情報ごとに個別に設定されている。周辺情報には、周辺情報座標系の原点の絶対的な位置を示す情報（緯度、経度、標高等）と三軸の方位を示す情報が含まれている。
【0042】
拡張画像生成部３２は、ショベル１００の現在位置の周辺の周辺情報に含まれる既定の構造物等の外縁を示す座標値をショベル座標系の座標値に変換する処理を行う。
位置センサ４３のショベル座標系における位置座標は予め計測により求められ、記憶部４６に記憶されている。さらに、位置センサ４３の現在位置を示す緯度、経度及び標高は、当該位置センサ４３により検出可能である。
そして、絶対的な水平面に対する上部旋回体３の傾きとショベル座標系のＸ軸とＹ軸の方位は、動作・姿勢状態センサ４２と方位センサ４４により取得することが可能である。
これらにより、拡張画像生成部３２は、既定の構造物等の外縁を周辺情報座標系で示した座標値を、ショベル座標系における位置座標に変換することが可能である。
位置センサ４３のショベル座標系における位置座標は予め計測により求められ、記憶部４６に記憶されている。さらに、位置センサ４３の現在位置を示す緯度、経度及び標高は、当該位置センサ４３により検出可能である。
そして、絶対的な水平面に対する上部旋回体３の傾きとショベル座標系のＸ軸とＹ軸の方位は、動作・姿勢状態センサ４２と方位センサ４４により取得することが可能である。
これらにより、拡張画像生成部３２は、既定の構造物等の外縁を周辺情報座標系で示した座標値を、ショベル座標系における位置座標に変換することが可能である。
【0043】
さらに、拡張画像生成部３２は、ショベル座標系に変換された既定の構造物等の外縁の位置座標に基づいて、視点Ｅ１から見た既定の構造物等の拡張画像の拡張画像データを生成する。
この拡張画像は、後述する表示処理部３３によって生成された、視点Ｅ１からの視界の実画像（撮像装置４０の撮像に基づく画像）に重ねて画像表示装置５０に表示される。このため、拡張画像は、実画像内で識別が容易となるように、目立つ色彩の半透明画像やワイヤフレーム画像としてもよい。
この拡張画像は、後述する表示処理部３３によって生成された、視点Ｅ１からの視界の実画像（撮像装置４０の撮像に基づく画像）に重ねて画像表示装置５０に表示される。このため、拡張画像は、実画像内で識別が容易となるように、目立つ色彩の半透明画像やワイヤフレーム画像としてもよい。
【0044】
また、周辺情報が、平面視の構造物等を示す二次元座標の位置座標である場合には、ショベル座標系に変換した上で、ショベル１００が現在位置する地面に投影した拡張画像を生成してもよい。
【0045】
［表示処理部］
表示処理部３３は、ショベル１００の視点Ｅ１からの視界の実画像に、拡張画像生成部３２が生成した既存の構造物等の拡張画像を重ねて画像表示装置５０に表示させる。
表示処理部３３は、ショベル１００の視点Ｅ１からの視界の実画像に、拡張画像生成部３２が生成した既存の構造物等の拡張画像を重ねて画像表示装置５０に表示させる。
【0046】
表示処理部３３は、視点Ｅ１からの視界の実画像データを生成する。実画像データは、撮像装置４０の前方カメラによる撮像画像データを視点Ｅ１から見た撮像画像データに変換する処理によって生成される。
なお、視点Ｅ１からの視界の実画像をより広範囲で表示する場合には、前方カメラだけでなく、左方カメラと右方カメラの撮像画像データも利用してもよい。その場合、左方と右方のカメラの撮像画像データを視点Ｅ１からの撮像画像データに変換し、前方カメラの変換後の撮像画像データと合成して一つの実画像データを生成する。
なお、視点Ｅ１からの視界の実画像をより広範囲で表示する場合には、前方カメラだけでなく、左方カメラと右方カメラの撮像画像データも利用してもよい。その場合、左方と右方のカメラの撮像画像データを視点Ｅ１からの撮像画像データに変換し、前方カメラの変換後の撮像画像データと合成して一つの実画像データを生成する。
【0047】
表示処理部３３は、逐次、実画像データを生成すると共に、拡張画像生成部３２が生成する拡張画像データの拡張画像を実画像に重ねて画像表示装置５０に表示する処理を実行する。
【0048】
図４は表示処理部３３が画像表示装置５０に表示させた拡張画像ＡＲ１を実画像Ｒ１に重ねた表示画面Ｇ１の一例である。図４では、拡張画像ＡＲ１を点線からなるワイヤフレームで表示する表示画面Ｇ１を例示している。
この表示画面Ｇ１では、既定の構造物として、道路の両脇に設けられた縁石を拡張画像ＡＲ１で表示している。
この表示画面Ｇ１では、既定の構造物として、道路の両脇に設けられた縁石を拡張画像ＡＲ１で表示している。
【0049】
既存の構造物、地形又は区画の境界は、外的要因による地面や路面の環境変化、例えば、落石、土砂崩れ、積雪、事故による破壊等によって遮蔽状態等の視認不能となる場合がある。また、降雨や水没、その他、経年劣化等によって視認性が低下する場合もある。
既存の構造物である縁石も上記の例に該当する。
図４の表示画面Ｇ１は、縁石の一部が土砂ＭＤにより覆われて視認不能となった状態を示している。このように、縁石の一部が遮蔽され、実画像で視認不能な場合でも、縁石の拡張画像ＡＲ１が本来の縁石と同じ場所に重畳的に表示されるので、適正に視認することができる。
既存の構造物である縁石も上記の例に該当する。
図４の表示画面Ｇ１は、縁石の一部が土砂ＭＤにより覆われて視認不能となった状態を示している。このように、縁石の一部が遮蔽され、実画像で視認不能な場合でも、縁石の拡張画像ＡＲ１が本来の縁石と同じ場所に重畳的に表示されるので、適正に視認することができる。
【0050】
また、周辺情報には、既存の構造物やその周辺物に対して、それぞれの名称を示す情報を含んでもよい。
その場合、表示処理部３３は、周辺情報から既存の構造物等の各部の名称の情報を読み取り、拡張画像ＡＲ１の一部として各部の名称を表示する処理を行ってもよい。図４の表示画面Ｇ１では、名称をタグＴＧ１のような形態で表示する例を示している。
その場合、表示処理部３３は、周辺情報から既存の構造物等の各部の名称の情報を読み取り、拡張画像ＡＲ１の一部として各部の名称を表示する処理を行ってもよい。図４の表示画面Ｇ１では、名称をタグＴＧ１のような形態で表示する例を示している。
【0051】
また、表示処理部３３は、実画像の表示範囲内にショベル１００の一部、例えば、バケット６が映り込む場合がある。そのような場合に、当該バケット６と縁石との距離情報ＤＴを拡張画像ＡＲ１の一部として表示する処理を行ってもよい。
図４の表示画面Ｇ１では、距離情報ＤＴとして、バケット６から縁石までの距離を上下方向と左右方向とについてそれぞれ数値にて表示している。また、距離情報ＤＴとして、バケット６から縁石の上下方向の距離を示す上下ラインとバケット６から縁石の左右方向の距離を示す左右ラインも同時に表示している。
図４の表示画面Ｇ１では、距離情報ＤＴとして、バケット６から縁石までの距離を上下方向と左右方向とについてそれぞれ数値にて表示している。また、距離情報ＤＴとして、バケット６から縁石の上下方向の距離を示す上下ラインとバケット６から縁石の左右方向の距離を示す左右ラインも同時に表示している。
【0052】
この場合、表示処理部３３は、動作・姿勢状態センサ４２の検出出力からショベル座標系におけるバケット６の位置を算出する。さらに、ショベル座標系に変換された縁石の位置座標とバケット６の位置座標から、上下方向と左右方向の距離をそれぞれ算出する。そして、これらの算出結果に基づいて、距離情報ＤＴを拡張画像ＡＲ１の一部として表示する。
【0053】
［校正部］
校正部３４は、拡張画像ＡＲ１の表示位置に何らかの要因により誤差が生じた場合に、当該誤差を校正して表示させる処理を行う。
図５は表示位置に誤差が生じた拡張画像ＡＲ１と校正部３４が行う誤差を校正する処理の概念とを示した説明図である。
校正部３４は、拡張画像ＡＲ１の表示位置に何らかの要因により誤差が生じた場合に、当該誤差を校正して表示させる処理を行う。
図５は表示位置に誤差が生じた拡張画像ＡＲ１と校正部３４が行う誤差を校正する処理の概念とを示した説明図である。
【0054】
校正部３４は、縁石（既定の構造物等）の拡張画像ＡＲ１の拡張画像データから当該縁石の輪郭形状パターンＰＡ１を生成する。さらに、表示処理部３３が生成した視点Ｅ１からの視界の実画像データから輪郭形状パターンＰＡ１と同一又は近似するパターンＰＲ１を探索する処理を実行する。
そして、校正部３４は、探索によって実画像データ内で検出されたパターンＰＲ１と拡張画像データの輪郭形状パターンＰＡ１との距離差を算出する。
さらに、校正部３４は、当該距離差があらかじめ設定された閾値を超えるか否かを判定する。閾値を超える場合には、校正部３４は、輪郭形状パターンＰＡ１の全体の位置をパターンＰＲ１の位置に補正する処理を行う（図５中の白矢印を参照）。
そして、校正部３４は、探索によって実画像データ内で検出されたパターンＰＲ１と拡張画像データの輪郭形状パターンＰＡ１との距離差を算出する。
さらに、校正部３４は、当該距離差があらかじめ設定された閾値を超えるか否かを判定する。閾値を超える場合には、校正部３４は、輪郭形状パターンＰＡ１の全体の位置をパターンＰＲ１の位置に補正する処理を行う（図５中の白矢印を参照）。
【0055】
これにより、画像表示装置５０において、実画像内に拡張画像ＡＲ１を適正な位置に表示することが可能となる。
また、校正部３４は、輪郭形状パターンＰＡ１とパターンＰＲ１の同一又は近似の判定は部分的な一致でも「同一又は近似」と判定している。このため、図４のように、縁石の一部が遮蔽された状態であっても、拡張画像ＡＲ１の縁石を正しい位置に補正して表示させることが可能である。
また、校正部３４は、輪郭形状パターンＰＡ１とパターンＰＲ１の同一又は近似の判定は部分的な一致でも「同一又は近似」と判定している。このため、図４のように、縁石の一部が遮蔽された状態であっても、拡張画像ＡＲ１の縁石を正しい位置に補正して表示させることが可能である。
【0056】
なお、校正部３４による上記の処理は、後述する俯瞰画像生成部３５によって生成される俯瞰視画像変換後の拡張画像データ及び俯瞰視画像の実画像データに対しても実行することが可能である。
【0057】
［俯瞰画像生成部］
俯瞰画像生成部３５は、ショベル１００周辺の俯瞰画像化された実画像Ｒ２と拡張画像生成部３２による縁石（既存の構造物等）の俯瞰画像化された拡張画像ＡＲ２とを重ねて画像表示装置５０に表示させる処理を行う。
図６は俯瞰画像生成部３５による俯瞰画像化された実画像Ｒ２及び拡張画像ＡＲ２を表示させた表示画面Ｇ２の一例である。
俯瞰画像生成部３５により俯瞰画像化された実画像Ｒ２と拡張画像ＡＲ２の表示は、オペレータが操作装置４５から表示切替を入力した場合に実施する構成としてもよい。
俯瞰画像生成部３５は、ショベル１００周辺の俯瞰画像化された実画像Ｒ２と拡張画像生成部３２による縁石（既存の構造物等）の俯瞰画像化された拡張画像ＡＲ２とを重ねて画像表示装置５０に表示させる処理を行う。
図６は俯瞰画像生成部３５による俯瞰画像化された実画像Ｒ２及び拡張画像ＡＲ２を表示させた表示画面Ｇ２の一例である。
俯瞰画像生成部３５により俯瞰画像化された実画像Ｒ２と拡張画像ＡＲ２の表示は、オペレータが操作装置４５から表示切替を入力した場合に実施する構成としてもよい。
【0058】
俯瞰画像生成部３５は、ショベル座標系の原点Ｏ１の鉛直上方の所定高さの点からの視界の実画像Ｒ２を表示するための実画像データを生成する。
俯瞰画像生成部３５は、撮像装置４０の前方カメラと左方カメラと右方カメラと後方カメラとによる撮像画像データを、鉛直上方の所定高さの点からの視界から見た撮像画像データに変換する。
さらに、四方のカメラのそれぞれの変換後の撮像画像データを合成して一体化し、俯瞰画像の実画像データを生成する。この場合、各カメラの配置によっては、ショベル１００そのものの俯瞰画像が得られない場合がある。そのような場合には、予め用意されたショベル１００の俯瞰画像又は俯瞰視のアイコンを嵌め込んで合成してもよい。
俯瞰画像生成部３５は、撮像装置４０の前方カメラと左方カメラと右方カメラと後方カメラとによる撮像画像データを、鉛直上方の所定高さの点からの視界から見た撮像画像データに変換する。
さらに、四方のカメラのそれぞれの変換後の撮像画像データを合成して一体化し、俯瞰画像の実画像データを生成する。この場合、各カメラの配置によっては、ショベル１００そのものの俯瞰画像が得られない場合がある。そのような場合には、予め用意されたショベル１００の俯瞰画像又は俯瞰視のアイコンを嵌め込んで合成してもよい。
【0059】
さらに、俯瞰画像生成部３５は、拡張画像生成部３２によって生成された視点Ｅ１からの縁石の拡張画像データを、鉛直上方の所定高さの点からの視界から見た画像に変換する処理を行う。これにより、俯瞰画像化された縁石の拡張画像データを生成する。
【0060】
そして、俯瞰画像生成部３５は、俯瞰画像の実画像データによる俯瞰画像化された実画像Ｒ２と俯瞰画像の拡張画像データによる拡張画像ＡＲ２とを重ねて画像表示装置５０に表示させる。
【0061】
図６の表示画面Ｇ２も、縁石の一部が土砂ＭＤにより覆われて視認不能となった状態を示している。このように、縁石の一部が遮蔽され、実画像でも視認不能な場合でも縁石の拡張画像ＡＲ２が本来の縁石の位置を表示して適正に認識することができる。
さらに、実画像Ｒ２と拡張画像ＡＲ２とが俯瞰画像であるため、ショベル１００と土砂ＭＤに隠れた周囲の縁石との位置関係を容易に把握することが可能である。
さらに、実画像Ｒ２と拡張画像ＡＲ２とが俯瞰画像であるため、ショベル１００と土砂ＭＤに隠れた周囲の縁石との位置関係を容易に把握することが可能である。
【0062】
また、俯瞰画像生成部３５が、俯瞰画像の実画像データとして、ショベル１００の現在位置を含む広範囲の地図画像や航空写真画像等からなる実画像データを外部から取得する構成としてもよい。
その場合、俯瞰画像生成部３５は、広範囲の地図画像や航空写真画像内にショベル１００の現在位置を示すアイコンを嵌め込んで実画像として表示する処理を行う。
また、俯瞰画像生成部３５は、広範囲の地図画像や航空写真画像からなる実画像内に、ショベル１００の現在位置周辺の周辺情報に基づく既存の構造物等の俯瞰画像を重ねて表示する。
その場合、俯瞰画像生成部３５は、広範囲の地図画像や航空写真画像内にショベル１００の現在位置を示すアイコンを嵌め込んで実画像として表示する処理を行う。
また、俯瞰画像生成部３５は、広範囲の地図画像や航空写真画像からなる実画像内に、ショベル１００の現在位置周辺の周辺情報に基づく既存の構造物等の俯瞰画像を重ねて表示する。
【0063】
［拡張画像に関する表示処理］
コントローラ３０の上述した各機能的構成によって実行される拡張画像に関する表示処理について図７のフローチャートに基づいて説明する。
本実施形態では、オペレータが操作装置から表示処理の開始の要求を操作装置４５から入力した場合に、表示処理が開始される場合を例示する。但し、表示処理の開始は、これに限定されず、ショベル１００の操作の開始と共に表示処理が開始される構成としてもよい。また、他のトリガー、例えば、走行やその他の動作の開始と共に表示処理が開始される構成としてもよい。
コントローラ３０の上述した各機能的構成によって実行される拡張画像に関する表示処理について図７のフローチャートに基づいて説明する。
本実施形態では、オペレータが操作装置から表示処理の開始の要求を操作装置４５から入力した場合に、表示処理が開始される場合を例示する。但し、表示処理の開始は、これに限定されず、ショベル１００の操作の開始と共に表示処理が開始される構成としてもよい。また、他のトリガー、例えば、走行やその他の動作の開始と共に表示処理が開始される構成としてもよい。
【0064】
まず、周辺情報取得部３１が位置センサ４３の検出に基づいてショベル１００の現在の位置情報を取得する（ステップＳ１）。
次いで、周辺情報取得部３１は、通信機器８０を通じてショベル１００の現在の位置情報を管理装置２００に送信し、管理装置２００から現在位置周辺の周辺情報を取得する（ステップＳ３）。
次いで、周辺情報取得部３１は、通信機器８０を通じてショベル１００の現在の位置情報を管理装置２００に送信し、管理装置２００から現在位置周辺の周辺情報を取得する（ステップＳ３）。
【0065】
次いで、拡張画像生成部３２が、周辺情報に基づいて、既定の構造物等の拡張画像を表示するための拡張画像データを生成する（ステップＳ５）。
【0066】
次いで、俯瞰画像生成部３５が、オペレータによる操作装置４５からの俯瞰画像表示への表示切替が入力されているか否かの判定を行う（ステップＳ７）。
【0067】
俯瞰画像表示への表示切替が入力されていない場合には、表示処理部３３がショベル１００の視点Ｅ１からの視界の実画像を表示するための実画像データを生成し（ステップＳ９）、ステップＳ１３に処理を進める。
【0068】
また、俯瞰画像表示への表示切替が入力されている場合には、俯瞰画像生成部３５が、俯瞰視の実画像を表示させる実画像データを生成する（ステップＳ１１）。
また、この時、俯瞰画像生成部３５は、拡張画像データの拡張画像を俯瞰視画像に変換する処理を実行する。
そして、ステップＳ１３に処理を進める。
また、この時、俯瞰画像生成部３５は、拡張画像データの拡張画像を俯瞰視画像に変換する処理を実行する。
そして、ステップＳ１３に処理を進める。
【0069】
ステップＳ１３では、校正部３４が、拡張画像データ（俯瞰視画像変換後の拡張画像データを含む）から既定の構造物等の輪郭形状パターンＰＡ１を生成し、実画像データ（俯瞰視画像の実画像データを含む）から輪郭形状パターンＰＡ１と同一又は近似するパターンＰＲ１を探索する（ステップＳ１３）。
さらに、校正部３４は、実画像データ内で検出されたパターンＰＲ１と拡張画像データの輪郭形状パターンＰＡ１との距離差を求め、誤差と判定すべき閾値を超えるか否かを判定する（ステップＳ１５）。
その結果、閾値を超えて誤差ありと認められる場合には、校正部３４は、拡張画像の表示位置をパターンＰＲ１の位置に補正する処理を行う（ステップＳ１７：図５参照）。
さらに、校正部３４は、実画像データ内で検出されたパターンＰＲ１と拡張画像データの輪郭形状パターンＰＡ１との距離差を求め、誤差と判定すべき閾値を超えるか否かを判定する（ステップＳ１５）。
その結果、閾値を超えて誤差ありと認められる場合には、校正部３４は、拡張画像の表示位置をパターンＰＲ１の位置に補正する処理を行う（ステップＳ１７：図５参照）。
【0070】
閾値を超えない場合又は拡張画像の表示位置の補正完了後には、表示処理部３３が実画像データ（俯瞰視画像の実画像データを含む）に基づく視界の実画像Ｒ１又はＲ２と拡張画像データ（俯瞰視画像変換後の拡張画像データを含む）に基づく既定の構造物等の拡張画像ＡＲ１又はＡＲ２を画像表示装置５０に重ねて表示させる（ステップＳ１９：図４又は図６参照）。
そして、処理を終了する。
なお、上記ステップＳ１～Ｓ１９の処理は、短周期的に繰り返し実行される。
そして、処理を終了する。
なお、上記ステップＳ１～Ｓ１９の処理は、短周期的に繰り返し実行される。
【0071】
［本実施形態の技術的効果］
以上のように、ショベル１００（作業機械）の表示装置は、表示処理部３３を備えている。そして、表示処理部３３は、視点Ｅ１からの視界の実画像Ｒ１に重ねて既存の構造物等の拡張画像ＡＲ１を画像表示装置５０に表示させている。
このため、環境変化等の何らかの外的要因により既存の構造物等の視認不良又は視認不能状態となった場合でも、実画像Ｒ１内に拡張画像ＡＲ１が適正な位置で表示される。
従って、視認不良又は視認不能状態の既存の構造物等の認識が可能となり、表示装置を搭載することにより、ショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
また、上記表示装置を搭載した、ショベル１００は、さらなる安全面を考慮した適正な運用を行うことが可能となる。
以上のように、ショベル１００（作業機械）の表示装置は、表示処理部３３を備えている。そして、表示処理部３３は、視点Ｅ１からの視界の実画像Ｒ１に重ねて既存の構造物等の拡張画像ＡＲ１を画像表示装置５０に表示させている。
このため、環境変化等の何らかの外的要因により既存の構造物等の視認不良又は視認不能状態となった場合でも、実画像Ｒ１内に拡張画像ＡＲ１が適正な位置で表示される。
従って、視認不良又は視認不能状態の既存の構造物等の認識が可能となり、表示装置を搭載することにより、ショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
また、上記表示装置を搭載した、ショベル１００は、さらなる安全面を考慮した適正な運用を行うことが可能となる。
【0072】
特に、既存の構造物は、ショベル１００との接触による相互の破壊、破損の発生を抑止、抑制を図ることが可能となる。
【0073】
また、表示処理部３３は、既存の構造物等の拡張画像ＡＲ１と共に、既存の構造物等の名称を表示する処理を行っている。
このため、ショベル１００の視界の範囲内に存在する既存の構造物等が何であるかを速やかに認識することが可能である。
このため、ショベル１００の視界の範囲内に存在する既存の構造物等が何であるかを速やかに認識することが可能である。
【0074】
また、表示処理部３３は、実画像Ｒ１に重ねて拡張画像ＡＲ１を画像表示装置５０に表示させている。
従って、ショベル１００のオペレータは、キャビン１０からの視界によりショベル１００を操縦しつつ、必要に応じて画像表示装置５０から既存の構造物等の拡張画像ＡＲ１を認識することができる。
このため、ショベル１００について、従来の操縦性を維持しつつ、既存の構造物等の認識が可能となり、ショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
従って、ショベル１００のオペレータは、キャビン１０からの視界によりショベル１００を操縦しつつ、必要に応じて画像表示装置５０から既存の構造物等の拡張画像ＡＲ１を認識することができる。
このため、ショベル１００について、従来の操縦性を維持しつつ、既存の構造物等の認識が可能となり、ショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
【0075】
また、ショベル１００は、俯瞰画像生成部３５を備えるので、俯瞰画像からなる実画像Ｒ２及び拡張画像ＡＲ２を画像表示装置５０に表示することができる。
これにより、ショベル１００とその周囲の既存の構造物等との位置関係を容易に把握することが可能である。さらに、拡張画像に関する表示制御が視認不能または視認不良である場合でも、拡張画像に関する表示制御とショベル１００との位置関係を容易に把握することが可能である。
これにより、ショベル１００とその周囲の既存の構造物等との位置関係を容易に把握することが可能である。さらに、拡張画像に関する表示制御が視認不能または視認不良である場合でも、拡張画像に関する表示制御とショベル１００との位置関係を容易に把握することが可能である。
【0076】
［拡張画像の他の表示形態(1)］
上記実施形態の表示装置では、既存の構造物等の拡張画像を画像表示装置５０に行う構成を例示したが、これに限定されない。
図８は、キャビン１０の前窓の透明板としての窓ガラスＷＰの内側面に投影装置５１により画像を投影してその投影画像が既存の構造物等の拡張画像ＡＲ１となる表示形態を示している。
上記実施形態の表示装置では、既存の構造物等の拡張画像を画像表示装置５０に行う構成を例示したが、これに限定されない。
図８は、キャビン１０の前窓の透明板としての窓ガラスＷＰの内側面に投影装置５１により画像を投影してその投影画像が既存の構造物等の拡張画像ＡＲ１となる表示形態を示している。
【0077】
この構成の場合、キャビン１０の前窓からの視界そのものに拡張画像ＡＲ１を重ねるので、表示処理部３３は、ショベル１００の視点Ｅ１からの視界の実画像データを生成しない。
また、表示処理部３３は、視点Ｅ１から見た既存の構造物等の拡張画像を窓ガラスＷＰの内側面に投影した状態の画像に変換し、さらに、窓ガラスＷＰに表示されている画像を投影装置５１を視点とする画像に変換する。これにより、表示処理部３３は、投影画像データを生成する。
これにより、投影装置５１から投影画像データに基づく投影画像を窓ガラスＷＰの内側面に投影することで、キャビン１０のオペレータが視点Ｅ１から前窓を通して見る視界の像に対して、窓ガラスＷＰを通じて既存の構造物等の拡張画像ＡＲ１を重ねて表示することができる。
また、表示処理部３３は、視点Ｅ１から見た既存の構造物等の拡張画像を窓ガラスＷＰの内側面に投影した状態の画像に変換し、さらに、窓ガラスＷＰに表示されている画像を投影装置５１を視点とする画像に変換する。これにより、表示処理部３３は、投影画像データを生成する。
これにより、投影装置５１から投影画像データに基づく投影画像を窓ガラスＷＰの内側面に投影することで、キャビン１０のオペレータが視点Ｅ１から前窓を通して見る視界の像に対して、窓ガラスＷＰを通じて既存の構造物等の拡張画像ＡＲ１を重ねて表示することができる。
【0078】
上記表示形態の構成によれば、キャビン１０内のオペレータは、画像表示装置５０を見ることなく、前窓から見た視界の範囲内で既存の構造物等の拡張画像ＡＲ１を視認することが可能となる。
【0079】
［拡張画像の他の表示形態(2)］
ショベルの表示装置は、ショベルの遠隔操縦システム１０００に適用してもよい。
図９はショベル１００と遠隔操縦装置４００とを有するショベルの遠隔操縦システム１０００の概略構成を示すブロック図である。
ショベルの表示装置は、ショベルの遠隔操縦システム１０００に適用してもよい。
図９はショベル１００と遠隔操縦装置４００とを有するショベルの遠隔操縦システム１０００の概略構成を示すブロック図である。
【0080】
遠隔操縦装置４００は、ショベル１００と地理的に離れた位置に配置される。
遠隔操縦装置４００は、オペレータＯＰが座る運転席ＤＳと、ショベル１００の操縦及びその他の操作を行う操作装置４０４と、キャビン１０からの視界の画像である実画像を表示する画像表示装置４０３とを備える。
さらに、遠隔操縦装置４００は、各種の処理を行うコントローラ４１０と、記憶部４０２と、通信機器４０１とを備えている。
遠隔操縦装置４００は、オペレータＯＰが座る運転席ＤＳと、ショベル１００の操縦及びその他の操作を行う操作装置４０４と、キャビン１０からの視界の画像である実画像を表示する画像表示装置４０３とを備える。
さらに、遠隔操縦装置４００は、各種の処理を行うコントローラ４１０と、記憶部４０２と、通信機器４０１とを備えている。
【0081】
操作装置４０４は、ショベル１００の操作装置４５と同じ構成からなり、ショベル１００の各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。
【0082】
画像表示装置４０３は、運転席ＤＳの正面に設けられ、コントローラ４１０による制御の下、各種画像を表示する液晶ディスプレイや有機ＥＬディスプレイである。
【0083】
記憶部４０２は、各種のデータ等の情報を書き込み及び読み出し可能に記憶する不揮発性メモリ、ＨＤＤ、ＳＳＤ等の記憶部である。
【0084】
通信機器４０１は、所定の無線通信規格に基づき、所定の通信ネットワークＮＷを通じて遠隔の外部機器である管理装置２００やショベル１００等と各種情報を送受信する通信デバイスである。
【0085】
コントローラ４１０は、ショベル１００のコントローラ３０を通じてショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ４１０は、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成され、これらの他にも、例えばＦＰＧＡやＡＳＩＣなどを含んで構成されてもよい。
【0086】
また、コントローラ４１０は、機能ブロックとして、周辺情報取得部４１１、拡張画像生成部４１２、表示処理部４１３、校正部４１４及び俯瞰画像生成部４１５を有する。これらの機能的構成は、コントローラ４１０が各種のプログラムを実行することで実現する構成だが、これらの機能的構成をハードウェアで実現させてもよい。これらの機能的構成については、後述する。
【0087】
なお、遠隔操縦システム１０００に適用された作業機械の表示装置は、ショベル１００の位置センサ４３、周辺情報取得部４１１、拡張画像生成部４１２、表示処理部４１３、校正部４１４及び俯瞰画像生成部４１５と前述した画像表示装置４０３とによって構成される。
【0088】
図１０は遠隔操縦装置４００における所定の位置を原点Ｏ２とする遠隔操縦座標系を示す説明図である。
遠隔操縦座標系は、３次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。
ショベル座標系のＸ軸は遠隔操縦座標系のＵ軸に対応し、Ｙ軸は遠隔操縦座標系のＶ軸に対応し、Ｚ軸は遠隔操縦座標系のＷ軸に対応している。
遠隔操縦座標系は、３次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。
ショベル座標系のＸ軸は遠隔操縦座標系のＵ軸に対応し、Ｙ軸は遠隔操縦座標系のＶ軸に対応し、Ｚ軸は遠隔操縦座標系のＷ軸に対応している。
【0089】
本実施形態では、遠隔操縦座標系における各三次元座標は、ショベル座標系における三次元座標の１つに予め対応付けられている。そのため、遠隔操縦装置４００におけるオペレータＯＰの目の位置である視点Ｅ１の遠隔操縦座標系の三次元座標が決まれば、ショベル座標系における視点Ｅ１の三次元座標は一意に決まる。なお、オペレータＯＰの視点Ｅ１の位置は、運転席ＤＳに座るオペレータＯＰの左目と右目の位置をカメラの撮像により検出してその中点から視点Ｅ１を求めてもよい。
【0090】
次に、前述したコントローラ４１０の各機能的構成の機能の内容について詳細に説明する。
周辺情報取得部４１１は、通信機器４０１を通じてショベル１００の現在の位置情報を取得する。
それ以外については、周辺情報取得部４１１は、前述したショベル１００の周辺情報取得部３１と同一の処理を実行する。
これにより、周辺情報取得部４１１は、ショベル１００の現在位置周辺の周辺情報を取得する。
周辺情報取得部４１１は、通信機器４０１を通じてショベル１００の現在の位置情報を取得する。
それ以外については、周辺情報取得部４１１は、前述したショベル１００の周辺情報取得部３１と同一の処理を実行する。
これにより、周辺情報取得部４１１は、ショベル１００の現在位置周辺の周辺情報を取得する。
【0091】
拡張画像生成部４１２は、前述したショベル１００の拡張画像生成部３２と同一の処理を実行する。
これにより、拡張画像生成部４１２は、ショベル１００の視点Ｅ１から見た既定の構造物等の拡張画像の拡張画像データを生成する。
これにより、拡張画像生成部４１２は、ショベル１００の視点Ｅ１から見た既定の構造物等の拡張画像の拡張画像データを生成する。
【0092】
表示処理部４１３は、前述したショベル１００の表示処理部３３と同一の処理を実行する。
これにより、ショベル１００の視点Ｅ１からの視界の実画像に、拡張画像生成部４１２が生成した既存の構造物等の拡張画像を重ねた画像（図４の表示画面Ｇ１参照）を画像表示装置４０３に表示することができる。
また、表示処理部４１３の場合も、既存の構造物等の各部の名称、ショベル１００の一部（バケット６等）と既存の構造物等との距離情報ＤＴ等を拡張画像ＡＲ１の一部として表示してもよい。
これにより、ショベル１００の視点Ｅ１からの視界の実画像に、拡張画像生成部４１２が生成した既存の構造物等の拡張画像を重ねた画像（図４の表示画面Ｇ１参照）を画像表示装置４０３に表示することができる。
また、表示処理部４１３の場合も、既存の構造物等の各部の名称、ショベル１００の一部（バケット６等）と既存の構造物等との距離情報ＤＴ等を拡張画像ＡＲ１の一部として表示してもよい。
【0093】
校正部４１４は、前述したショベル１００の校正部３４と同一の処理を実行する。
これにより、校正部４１４は、拡張画像ＡＲ１の表示位置に誤差が生じた場合に、当該誤差を校正して適正な位置となるように画像表示装置４０３に表示させることができる。
これにより、校正部４１４は、拡張画像ＡＲ１の表示位置に誤差が生じた場合に、当該誤差を校正して適正な位置となるように画像表示装置４０３に表示させることができる。
【0094】
俯瞰画像生成部４１５は、前述したショベル１００の俯瞰画像生成部３５と同一の処理を実行する。
これにより、俯瞰画像生成部４１５は、俯瞰画像の実画像データによる俯瞰画像化された実画像Ｒ２と俯瞰画像の拡張画像データによる拡張画像ＡＲ２とを重ねた画像（図６の表示画面Ｇ２参照）を画像表示装置４０３に表示させることができる。
これにより、俯瞰画像生成部４１５は、俯瞰画像の実画像データによる俯瞰画像化された実画像Ｒ２と俯瞰画像の拡張画像データによる拡張画像ＡＲ２とを重ねた画像（図６の表示画面Ｇ２参照）を画像表示装置４０３に表示させることができる。
【0095】
このように、ショベル１００の遠隔操縦システム１０００にショベルの表示装置を適用した場合も、ショベル１００のキャビン１０の視点Ｅ１からの視界の実画像Ｒ１に重ねて、既存の構造物等の拡張画像ＡＲ１を遠隔操縦装置４００の画像表示装置４０３に表示することができる。
このため、ショベル１００の遠隔地から操縦を行う場合でも、キャビン１０の視点Ｅ１からの視界の実画像Ｒ１を見ながら操縦を行うことが可能である。
さらに、外的要因により既存の構造物等の視認不良又は視認不能状態となった場合でも、拡張画像ＡＲ１により視認不良又は視認不能状態の既存の構造物等の認識が可能となる。
このため、表示装置を搭載することにより、遠隔操縦が行われるショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
このため、ショベル１００の遠隔地から操縦を行う場合でも、キャビン１０の視点Ｅ１からの視界の実画像Ｒ１を見ながら操縦を行うことが可能である。
さらに、外的要因により既存の構造物等の視認不良又は視認不能状態となった場合でも、拡張画像ＡＲ１により視認不良又は視認不能状態の既存の構造物等の認識が可能となる。
このため、表示装置を搭載することにより、遠隔操縦が行われるショベル１００のさらなる安全面を考慮した適正な運用が可能となる。
【0096】
なお、この遠隔操縦システム１０００では、ショベル１００のキャビン１０にオペレータＯＰが搭乗して操縦を行うための構成も備えている。しかしながら、ショベル１００の操縦を専ら遠隔操縦装置４００から行う運用がなされる場合には、キャビン１０と操作装置４５と画像表示装置５０をショベル１００の構成から除いてもよい。
【0097】
また、ショベル１００のコントローラ３０と遠隔操縦装置４００のコントローラ４１０とは、共通する機能構成である周辺情報取得部３１，４１１、拡張画像生成部３２，４１２、表示処理部３３，４１３、校正部３４，４１４及び俯瞰画像生成部３５，４１５を有している。
これらの機能構成は、コントローラ３０，４１０のいずれか一方のみが有する構成としてもよい。
また、上記五つの機能構成の一部をコントローラ３０が実施し、残りの一部をコントローラ４１０が実施する構成としてもよい。
これらの機能構成は、コントローラ３０，４１０のいずれか一方のみが有する構成としてもよい。
また、上記五つの機能構成の一部をコントローラ３０が実施し、残りの一部をコントローラ４１０が実施する構成としてもよい。
【0098】
また、遠隔操縦装置４００にあっては、図９に示すように、画像表示装置４０３に替えて、オペレータＯＰが着用可能な画像表示装置としてのヘッドマウントディスプレイ４２０を利用してもよい。
ヘッドマウントディスプレイ４２０は、有線又は無線通信によって、コントローラ４１０との間で各種の情報を送受信できるように構成されている。
このヘッドマウントディスプレイ４２０は、透過型又は非透過型であってもよい。また、ヘッドマウントディスプレイ４２０は、片眼型又は両眼型であってもよい。
ヘッドマウントディスプレイ４２０は、有線又は無線通信によって、コントローラ４１０との間で各種の情報を送受信できるように構成されている。
このヘッドマウントディスプレイ４２０は、透過型又は非透過型であってもよい。また、ヘッドマウントディスプレイ４２０は、片眼型又は両眼型であってもよい。
【0099】
ヘッドマウントディスプレイ４２０を利用する場合には、遠隔操縦座標系におけるオペレータＯＰの目の位置である視点Ｅ１は、固定点に定めてもよい。
また、ヘッドマウントディスプレイ４２０と遠隔操縦装置４００の可動しない所定の固定位置との双方に、ＧＮＳＳ受信機等のような位置センサを設けてもよい。その場合、遠隔操縦座標系におけるヘッドマウントディスプレイ４２０の位置座標を取得することが可能となり、ヘッドマウントディスプレイ４２０の位置を遠隔操縦座標系におけるオペレータＯＰの視点Ｅ１に定めることができる。
また、ヘッドマウントディスプレイ４２０と遠隔操縦装置４００の可動しない所定の固定位置との双方に、ＧＮＳＳ受信機等のような位置センサを設けてもよい。その場合、遠隔操縦座標系におけるヘッドマウントディスプレイ４２０の位置座標を取得することが可能となり、ヘッドマウントディスプレイ４２０の位置を遠隔操縦座標系におけるオペレータＯＰの視点Ｅ１に定めることができる。
【0100】
また、ヘッドマウントディスプレイ４２０に地磁気センサ等の方位センサを搭載し、オペレータＯＰの視線の方向を検出可能に構成してもよい。
ヘッドマウントディスプレイ４２０には、キャビン１０の視点Ｅ１からの視界の実画像Ｒ１に重ねて既存の構造物等の拡張画像ＡＲ１を表示することができる。
そして、方位センサを搭載した場合には、検出されるオペレータＯＰの視線の方向に応じて、実画像Ｒ１及び拡張画像ＡＲ１の表示範囲を移動させる処理を行うことで、オペレータＯＰが見たい方向に顔を向けることで、見たい方向の画像を見ることができる。
ヘッドマウントディスプレイ４２０には、キャビン１０の視点Ｅ１からの視界の実画像Ｒ１に重ねて既存の構造物等の拡張画像ＡＲ１を表示することができる。
そして、方位センサを搭載した場合には、検出されるオペレータＯＰの視線の方向に応じて、実画像Ｒ１及び拡張画像ＡＲ１の表示範囲を移動させる処理を行うことで、オペレータＯＰが見たい方向に顔を向けることで、見たい方向の画像を見ることができる。
【0101】
［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、ショベル１００が管理装置２００から周辺情報を取得する構成を例示したが、これに限定されない。例えば、ショベル１００の記憶部４６に周辺情報を予め用意する。そして、周辺情報取得部３１がショベル１００の周辺情報を記憶部４６から読み出す構成としてもよい。
その場合、ショベル１００は、通信機器８０を保有しない構成としてもよい。また、管理装置２００を用意しなくともよい。
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、ショベル１００が管理装置２００から周辺情報を取得する構成を例示したが、これに限定されない。例えば、ショベル１００の記憶部４６に周辺情報を予め用意する。そして、周辺情報取得部３１がショベル１００の周辺情報を記憶部４６から読み出す構成としてもよい。
その場合、ショベル１００は、通信機器８０を保有しない構成としてもよい。また、管理装置２００を用意しなくともよい。
【0102】
また、周辺情報は、ショベル１００の作業目的地やその移動経路の全てに用意されていなくともよい。
例えば、周辺情報取得部３１は、ショベル１００が予め定められた位置の周辺情報のみを取得する構成としてもよい。その場合、周辺情報が取得された場合にのみ、拡張画像生成部３２が拡張画像データを生成し、表示処理部３３が拡張画像を表示する構成としてもよい。
例えば、周辺情報取得部３１は、ショベル１００が予め定められた位置の周辺情報のみを取得する構成としてもよい。その場合、周辺情報が取得された場合にのみ、拡張画像生成部３２が拡張画像データを生成し、表示処理部３３が拡張画像を表示する構成としてもよい。
【0103】
上記実施形態では、既存の構造物、地形又は区画の境界の具体例として、縁石を挙げているが、これに限定されないことは当然である。
即ち、既存の構造物としての地中の埋設物、ガードレール、道路標識、横断歩道等、電柱、送電鉄塔、既定の地形としての坂、傾斜面、断崖、土手、水路、河川、湖沼、農作地、山林、既定の区画の境界としての道路とそれ以外の土地の境界、土地の種別による境界、前述した地形の種別による境界、道路と施設の境界、施設同士の境界、所有の異なる土地と土地の境界等の区画の境界を拡張画像として表示してもよい。
これらの内、立体物は、簡略化した拡張画像を表示してもよい。また、立体的ではない地形、区画の境界等は、それらの範囲の境界線の線画となる拡張画像として表示してもよい。
上述した既存の構造物等を拡張画像として表示した場合にも、ショベル１００との接触等による損傷、破壊の抑止、抑制を図ることが可能となる。また、ショベル１００の進入を回避したい箇所への進入の抑止、抑制を図ることが可能となる。
さらに、地中の埋設物について拡張画像を表示する場合には、常に視覚的に認識不能な埋設物の視覚認識が可能となる。この場合、地中の埋設物の埋設箇所へのショベル１００の進入を回避したい箇所への進入の抑止、抑制を図ることが可能となる。また、地中の埋設物に対する作業を目的とする場合に、地中の埋設物の視覚認識が可能となるので、ショベル１００の作業性の向上を図ることが可能となる。
即ち、既存の構造物としての地中の埋設物、ガードレール、道路標識、横断歩道等、電柱、送電鉄塔、既定の地形としての坂、傾斜面、断崖、土手、水路、河川、湖沼、農作地、山林、既定の区画の境界としての道路とそれ以外の土地の境界、土地の種別による境界、前述した地形の種別による境界、道路と施設の境界、施設同士の境界、所有の異なる土地と土地の境界等の区画の境界を拡張画像として表示してもよい。
これらの内、立体物は、簡略化した拡張画像を表示してもよい。また、立体的ではない地形、区画の境界等は、それらの範囲の境界線の線画となる拡張画像として表示してもよい。
上述した既存の構造物等を拡張画像として表示した場合にも、ショベル１００との接触等による損傷、破壊の抑止、抑制を図ることが可能となる。また、ショベル１００の進入を回避したい箇所への進入の抑止、抑制を図ることが可能となる。
さらに、地中の埋設物について拡張画像を表示する場合には、常に視覚的に認識不能な埋設物の視覚認識が可能となる。この場合、地中の埋設物の埋設箇所へのショベル１００の進入を回避したい箇所への進入の抑止、抑制を図ることが可能となる。また、地中の埋設物に対する作業を目的とする場合に、地中の埋設物の視覚認識が可能となるので、ショベル１００の作業性の向上を図ることが可能となる。
【0104】
また、周辺情報には、当該周辺情報に含まれる既存の構造物等に対する破損や進入等の事故発生時における通報先又は連絡先情報（電話番号等）を含む構成としてもよい。
その場合、表示処理部３３，４１３は、拡張画像の表示に連絡先情報を含ませて表示してもよい。
その場合、表示処理部３３，４１３は、拡張画像の表示に連絡先情報を含ませて表示してもよい。
【0105】
また、本発明に係る作業機械は、ショベルに限定されず、作業機械全般（建設機械も含む）に適用可能である。例えば、本発明に係る作業機械の表示装置は、ホイールローダ、ブルドーザ、モータグレーダ、スキッドステアローダ、コンパクトトラックローダ、自走式クレーン等にも適用可能である。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0106】
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
１０ キャビン
１１ アタッチメント
３０，４１０ コントローラ
３１，４１１ 周辺情報取得部
３２，４１２ 拡張画像生成部
３３，４１３ 表示処理部
３４，４１４ 校正部
３５，４１５ 俯瞰画像生成部
４０ 撮像装置
４３ 位置センサ（位置情報取得部）
４４ 方位センサ
４５ 操作装置
４６ 記憶部
５０，４０３ 画像表示装置
５１ 投影装置
１００ ショベル（作業機械）
４００ 遠隔操縦装置
４０４ 操作装置
４１０ コントローラ
４２０ ヘッドマウントディスプレイ（画像表示装置）
１０００ 遠隔操縦システム
ＡＲ１，ＡＲ２ 拡張画像
ＤＳ 運転席
ＤＴ 距離情報
Ｅ１ 視点
Ｇ１，Ｇ２ 表示画面
ＭＤ 土砂
ＮＷ ネットワーク
ＯＰ オペレータ
Ｒ１，Ｒ２ 実画像
ＴＧ１ タグ
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
１０ キャビン
１１ アタッチメント
３０，４１０ コントローラ
３１，４１１ 周辺情報取得部
３２，４１２ 拡張画像生成部
３３，４１３ 表示処理部
３４，４１４ 校正部
３５，４１５ 俯瞰画像生成部
４０ 撮像装置
４３ 位置センサ（位置情報取得部）
４４ 方位センサ
４５ 操作装置
４６ 記憶部
５０，４０３ 画像表示装置
５１ 投影装置
１００ ショベル（作業機械）
４００ 遠隔操縦装置
４０４ 操作装置
４１０ コントローラ
４２０ ヘッドマウントディスプレイ（画像表示装置）
１０００ 遠隔操縦システム
ＡＲ１，ＡＲ２ 拡張画像
ＤＳ 運転席
ＤＴ 距離情報
Ｅ１ 視点
Ｇ１，Ｇ２ 表示画面
ＭＤ 土砂
ＮＷ ネットワーク
ＯＰ オペレータ
Ｒ１，Ｒ２ 実画像
ＴＧ１ タグ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】