特開 2022-128470 作業機械用周辺監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022128470

(43)【公開日】2022-09-01

(54)【発明の名称】作業機械用周辺監視システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20220825BHJP

   E02F 9/24 20060101ALI20220825BHJP

   B60R 1/27 20220101ALI20220825BHJP

   B60R 1/20 20220101ALI20220825BHJP

   H04N 7/18 20060101ALI20220825BHJP

【ＦＩ】

E02F9/26 B

E02F9/24 B

B60R1/27

B60R1/20 100

H04N7/18 J

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022097649

(22)【出願日】2022-06-16

(62)【分割の表示】P 2018568644の分割

【原出願日】2018-02-16

(31)【優先権主張番号】P 2017027860

(32)【優先日】2017-02-17

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2017061958

(32)【優先日】2017-03-27

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2017069313

(32)【優先日】2017-03-30

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2017073017

(32)【優先日】2017-03-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】清田 芳永

(72)【発明者】

【氏名】大槻 俊介

(72)【発明者】

【氏名】相澤 晋

(57)【要約】

【課題】作業機械周辺の様子を表す画像を表示する表示装置に、監視対象の位置を示す目印を確実に表示させることが可能な技術を提供する。
【解決手段】本発明の一実施形態に係る周辺監視システム１００は、ショベルの周辺を撮像する複数のカメラ（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒ）と、カメラにより取得される撮像画像（スルー画像）と、スルー画像上の監視対象の位置を表す第１の目印とを表示すると共に、複数のカメラの撮像画像に基づき生成される、カメラとは異なる視点からショベルの周辺を見た周辺画像ＥＰ（視点変換画像）と、周辺画像ＥＰ上の監視対象の位置を表す第２の目印とを表示する表示装置５０と、を備え、第１の目印及び第２の目印は、種類が異なっている。
【選択図】図１３

【特許請求の範囲】

【請求項1】

作業機械の周辺を撮像する複数の撮像手段と、
前記撮像手段により取得される第１の画像と、前記第１の画像上の監視対象の位置を表す第１の目印とを表示すると共に、前記複数の前記撮像手段の前記第１の画像に基づき生成される、前記撮像手段とは異なる視点から前記作業機械の周辺を見た第２の画像と、前記第２の画像上の監視対象の位置を表す第２の目印とを表示する表示手段と、を備え、
前記第１の目印及び前記第２の目印は、種類が異なっている、
作業機械用周辺監視システム。

【請求項2】

前記第１の目印及び前記第２の目印は、大きさの観点で種類が異なっており、
前記第１の目印の大きさは、前記第２の目印の大きさよりも大きい、
請求項１に記載の作業機械用周辺監視システム。

【請求項3】

前記第１の目印及び前記第２の目印は、形状の観点で種類が異なっており、
前記表示手段に表示させるための仕様情報のデータ量は、前記第２の目印よりも前記第１の目印の方が大きい、
請求項２に記載の作業機械用周辺監視システム。

【請求項4】

前記表示手段は、前記第１の画像及び前記第２の画像を同時に表示し、
前記第１の画像上の前記第１の目印は、前記第２の画像上の前記第２の目印よりも大きい、
請求項２に記載の作業機械用周辺監視システム。

【請求項5】

前記第１の目印に対応する図形の内側の面積は、前記第２の画像に対応する図形の内側の面積よりも大きい、
請求項２又は４に記載の作業機械用周辺監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械用周辺監視システムに関する。

【背景技術】

【0002】

作業機械周辺の所定の監視対象（例えば、人）を検知し、監視対象が検知されると、作業機械周辺の様子を示す画像（例えば、カメラの撮像画像或いは該撮像画像に基づき生成される視点変換画像等）を表示する表示装置の画面に、監視対象の位置を表す目印（例えば、監視対象を囲む枠）を重畳して表示させる監視システムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－２２１４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、監視対象の位置を表す目印を画面に表示させるために必要な仕様情報（例えば、目印の形状を特定する複数の構成点の位置情報等）のデータ等を、例えば、監視対象の検知機能を担当する制御装置等の外部から表示装置に送信する場合がある。この場合、何等かの理由、例えば、画像に映っている監視対象の数が多く、送信すべき目印に関するデータ量が非常に多い等により通信帯域が不足するような状況が生じうる。そのため、表示装置は、外部から目印の仕様情報が送信される際の通信帯域が不足するような状況であっても、監視対象の位置を示す目印を確実に表示可能であることが望ましい。

【0005】

そこで、上記課題に鑑み、作業機械周辺の様子を表す画像を表示する表示装置に、監視対象の位置を示す目印を確実に表示させることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示の一実施形態では、
作業機械の周辺を撮像する複数の撮像手段と、
前記撮像手段により取得される第１の画像と、前記第１の画像上の監視対象の位置を表す第１の目印とを表示すると共に、前記複数の前記撮像手段の前記第１の画像に基づき生成される、前記撮像手段とは異なる視点から前記作業機械の周辺を見た第２の画像と、前記第２の画像上の監視対象の位置を表す第２の目印とを表示する表示手段と、を備え、
前記第１の目印及び前記第２の目印は、種類が異なっている、
作業機械用周辺監視システムが提供される。

【発明の効果】

【0007】

上述の実施形態によれば、作業機械周辺の様子を表す画像を表示する表示装置に、監視対象の位置を示す目印を確実に表示させることができる。

【図面の簡単な説明】

【0008】

【図1】周辺監視システムが搭載される作業機械の一例を示す図である。

【図2】周辺監視システムの構成の一例を示す概略図である。

【図3】第１の特徴機能（第１の目印表示機能）に関する周辺監視システムの構成の一例を示す図である。

【図4】表示装置に表示される監視画像の一例を示す図である。

【図5】表示装置に表示される監視画像の他の例を示す図である。

【図6】候補点生成部により生成される候補点群の一例を説明する図である。

【図7A】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の一例を示す図である。

【図7B】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の一例を示す図である。

【図8A】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の他の例を示す図である。

【図8B】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の他の例を示す図である。

【図9A】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の更に他の例を示す図である。

【図9B】構成点選択部により目印画像（目印図形）の頂点として選択される候補点の更に他の例を示す図である。

【図10】コントローラによる目印表示処理の第１例を概略的に示すフローチャートである。

【図11】コントローラによる目印表示処理の第２例を概略的に示すフローチャートである。

【図12】コントローラによる目印表示処理の第３例を概略的に示すフローチャートである。

【図13】コントローラによる目印表示処理の第４例を概略的に示すフローチャートである。

【図14】コントローラによる目印表示処理の第５例を概略的に示すフローチャートである。

【図15】目印表示設定画面の一例を示す図である。

【図16】目印表示設定画面の他の例を示す図である。

【図17】第２の特徴機能（第２の目印表示機能）に関する周辺監視システムの構成の一例を示す図である。

【図18A】表示装置に表示される監視画像の一例を示す図である。

【図18B】表示装置に表示される監視画像の一例を示す図である。

【図19A】表示装置に表示される監視画像の他の例を示す図である。

【図19B】表示装置に表示される監視画像の他の例を示す図である。

【図20】目印表示処理部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第１例を説明する図である。

【図21】目印表示処理部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第２例を説明する図である。

【図22】目印表示処理部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第３例を説明する図である。

【図23】目印表示処理部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第４例を説明する図である。

【図24A】目印表示処理部による目印表示処理の第４例～第６例により表示装置のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【図24B】目印表示処理部による目印表示処理の第４例～第６例により表示装置のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【図25A】目印表示処理部による目印表示処理の第４例～第６例により表示装置のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【図25B】目印表示処理部による目印表示処理の第４例～第６例により表示装置のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【図26A】目印表示処理部による目印表示処理の第４例～第６例により表示装置の周辺画像（視点変換画像）に重畳して表示されるマーカの表示態様の一例を示す図である。

【図26B】目印表示処理部による目印表示処理の第４例～第６例により表示装置の周辺画像（視点変換画像）に重畳して表示されるマーカの表示態様の一例を示す図である。

【図27】目印表示処理部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第５例を説明する図である。

【図28】表示制御部による監視対象の位置を表すマーカ（目印）の表示処理（目印表示処理）の第６例を説明する図である。

【図29】マーカ設定画面の一例を示す図である。

【図30】第３の特徴機能（遠方接近車両通知機能）に関する周辺監視システムの構成の一例を示す図である。

【図31】表示装置に表示される監視画像の一例を示す図である。

【図32】周辺監視システムによる処理の第１例を概略的に示すフローチャートである。

【図33A】表示装置に表示されるスルー画像の一例を示す図である。

【図33B】表示装置に表示されるスルー画像の一例を示す図である。

【図34A】表示装置に表示される周辺画像の一例（周辺画像における検知車両の強調表示の一例）を示す図である。

【図34B】表示装置に表示される周辺画像の一例（周辺画像における検知車両の強調表示の一例）を示す図である。

【図35】周辺画像における検知車両の強調表示の他の例を示す図である。

【図36】周辺画像における検知車両の強調表示の更に他の例を示す図である。

【図37】周辺監視システムによる処理の第２例を概略的に示すフローチャートである。

【図38】周辺監視システムによる処理の第３例を概略的に示すフローチャートである。

【図39】周辺監視システムによる処理の第４例を概略的に示すフローチャートである。

【図40A】表示装置に表示されるスルー画像の他の例を示す図である。

【図40B】表示装置に表示されるスルー画像の他の例を示す図である。

【図41A】表示装置に表示される周辺画像の他の例を示す図である。

【図41B】表示装置に表示される周辺画像の他の例を示す図である。

【図42】第４の特徴機能（安全機能制限通知機能）に関する周辺監視システムの構成の一例を示す図である。

【図43】表示装置に表示される監視画像の一例を示す図である。

【図44A】ショベルの周辺に向けて出力される警報の一例を模式的に説明する図である。

【図44B】ショベルの周辺に向けて出力される警報の一例を模式的に説明する図である。

【図45】ショベルの周辺に向けて通知される制限通知の一例を模式的に説明する図である。

【図46A】ショベルの周辺に向けて通知される制限通知の他の例を模式的に説明する図である。

【図46B】ショベルの周辺に向けて通知される制限通知の他の例を模式的に説明する図である。

【図47】周辺監視システムによる通知処理の第１例を概略的に示すフローチャートである。

【図48】周辺監視システムによる通知処理の第２例を概略的に示すフローチャートである。

【図49】周辺監視システムによる通知処理の第３例を概略的に示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して発明を実施するための形態について説明する。

【0010】

［作業機械の概要］
まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。

【0011】

図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。

【0012】

尚、本実施形態に係る周辺監視システム１００は、ショベル以外の任意の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。

【0013】

本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。

【0014】

下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、自走する。

【0015】

上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

【0016】

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

【0017】

キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。

【0018】

また、本実施形態に係るショベルは、周辺監視システム１００に関連する構成要素として、コントローラ３０と、撮像装置４０と、表示装置５０を備える。

【0019】

コントローラ３０は、ショベルの全体或いは後述する特定の機能に関する制御を行う制御装置である。例えば、コントローラ３０は、キャビン１０内に搭載される。

【0020】

撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。

【0021】

後方カメラ４０Ｂ（撮像手段の一例）は、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。

【0022】

左側方カメラ４０Ｌ（撮像手段の一例）は、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。

【0023】

右側方カメラ４０Ｒ（撮像手段の一例）は、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。

【0024】

表示装置５０は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータやショベルのメンテナンスを行うサービスマン等（以下、「オペレータ等」と称する）から視認し易い位置に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば、液晶ディスプレイである。

【0025】

音声出力装置５２は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置５２は、例えば、スピーカやブザー等である。

【0026】

ゲートロック弁５４は、パイロットポンプからショベルの動作要素（例えば、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等）を操作する操作装置（不図示）に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通／非連通を切り替える。例えば、ゲートロック弁５４は、通常、キャビン１０内の操縦席の入口に相当する部分に設けられるゲートロックレバーの操作状態と連動する、ゲートロックスイッチの出力信号（ＯＮ信号／ＯＦＦ信号）に応じて、パイロットラインの連通／非連通を切り替える。具体的には、ゲートロック弁５４は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態（即ち、操縦席にオペレータが着座した状態）に対応するＯＮ信号である場合、パイロットラインを連通状態にする。一方、ゲートロック弁５４は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態（即ち、操縦席からオペレータが離脱した状態）に対応するＯＦＦ信号である場合、パイロットラインを非連通状態にする。また、例えば、ゲートロック弁５４は、コントローラ３０から入力される指令信号も受付可能に構成され、コントローラ３０からの指令信号（ＯＮ信号／ＯＦＦ信号）に応じて、パイロットラインの連通／非連通を切り替える。

【0027】

尚、ゲートロック弁５４において、ゲートロックスイッチの出力信号とコントローラ３０からの指令信号の双方を受付可能な構成としては、例えば、ゲートロックスイッチの出力信号とコントローラ３０からの指令信号の双方が入力される論理和回路（少なくとも一方からＯＮ信号が入力されると、ＯＮ信号を出力する論理回路）が採用されてよい。

【0028】

外部用表示装置６０は、コントローラ３０による制御の下、ショベルの周辺（例えば、ショベルの周辺で作業する作業者やショベルが作業する作業現場の現場監督等の監視者等）に通知する各種情報を表示する。外部用表示装置６０は、ショベルの周辺から各種情報を視認可能であれば、上部旋回体３の任意の位置に搭載されてよく、例えば、上部旋回体３の後端部の側面に搭載される。外部用表示装置６０は、文字情報だけを表示可能なデバイス、例えば、電光掲示板や磁気反転式掲示板等であってもよいし、画像情報も表示可能なデバイス、例えば、液晶ディスプレイ等であってもよい。

【0029】

外部用音声出力装置６２は、コントローラ３０による制御の下、ショベルの周辺に通知する各種音声情報を出力する。外部用音声出力装置６２は、ショベルの周辺における所定範囲に音声情報を到達させることが可能であれば、上部旋回体３の任意の位置に搭載されてよい。外部用音声出力装置６２は、例えば、スピーカ、ブザー等である。

【0030】

［周辺監視システムの概要］
次に、図２を参照して、周辺監視システム１００（作業機械用周辺監視システムの一例）の概要を説明する。

【0031】

図２は、本実施形態に係る周辺監視システムの構成の一例を示す概要図である。

【0032】

周辺監視システム１００は、ショベルの周辺の所定範囲内への監視対象である所定の物体（以下、単に「監視対象」と称する場合がある）の侵入を監視する。そして、周辺監視システム１００は、監視対象を検知した場合、警報等によりオペレータ等への通知を行ったり、場合によっては、ショベルの動作を制限したりする。監視対象は、人や人以外の障害物や車両等の任意の物体であってよい。

【0033】

周辺監視システム１００は、コントローラ３０と、撮像装置４０と、表示装置５０と、音声出力装置５２と、ゲートロック弁５４と、外部用表示装置６０と、外部用音声出力装置６２を含む。

【0034】

コントローラ３０は、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、補助記憶装置と、Ｉ／Ｏ（Input-Output interface）等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭや補助記憶装置等に格納される各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。

【0035】

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒは、それぞれ、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

【0036】

尚、撮像装置４０は、後述の如く、監視対象を検知するための検出情報を出力するセンサとして機能するが、ショベルの周辺の物体を検出し、当該物体までの距離情報を出力することが可能なセンサであれば、他のセンサがショベルに搭載されてもよい。この場合、監視対象を検知するための検出情報を出力するセンサには、撮像装置４０の他、例えば、後述するＬＩＤＡＲ（Light Detection And Ranging）、ミリ波レーダ、ステレオカメラ等が含まれてよい。

【0037】

表示装置５０（表示手段の一例）は、コントローラ３０による制御の下、撮像装置４０の撮像画像（以下、スルー画像と称する場合がある）や、コントローラ３０により撮像装置４０の撮像画像に基づき生成（合成）される周辺画像（例えば、視点変換画像等の合成画像）等を表示することができる。

【0038】

音声出力装置５２は、コントローラ３０による制御の下、警報音を出力することができる。

【0039】

ゲートロック弁５４は、コントローラ３０による制御の下、上述したゲートロックレバー（不図示）が引き上げられた状態であっても、パイロットライン（不図示）を非連通状態にすることができる。これにより、ショベルの動作が制限（停止）されうる。

【0040】

外部用表示装置６０は、コントローラ３０による制御の下、ショベルの周辺に向けて、所定の文字情報や画像情報を表示し、ショベルの周辺の警戒エリアへの監視対象の侵入に対する警報等を行うことができる。

【0041】

外部用音声出力装置６２は、コントローラ３０による制御の下、ショベルの周辺に向けて、所定の音声情報を出力し、監視対象のショベルの周辺の警戒エリアへの侵入に対する警報を行うことができる。

【0042】

以下、上述した周辺監視システム１００の構成を前提とする特徴的な機能（以下、便宜的に「特徴機能」と称する）について説明する。本実施形態に係る周辺監視システム１００は、後述する第１の特徴機能～第４の特徴機能のそれぞれに係る構成の一部又は全部を含むことができる。つまり、後述する第１の特徴機能～第４の特徴機能は、当然の如く、それぞれが単体で実行されうると共に、適宜、その特徴機能に関する構成が他の特徴機能に関する構成と組み合わせられる、或いは、共用される態様であってもよい。

【0043】

例えば、後述する監視対象検知部３０１Ａ、監視対象検知部３０１Ｂ、物体検知部３０１Ｃ、及び、検知部３０１Ｄは、それぞれの機能構成の一部或いは全部が共通であってよい。また、監視画像表示処理部３０２Ａ，３０２Ｂは、それぞれの機能の一部或いは全部が共通であってよい。また、監視画像表示処理部３０２Ａ，３０２Ｂは、それぞれの機能の一部或いは全部が共通であってよい。また、目印画像表示処理部３０３Ａ及び目印表示処理部３０３Ｂは、それぞれの機能の一部或いは全部が共通であってよい。また、監視画像表示処理部３０２Ａ及び目印画像表示処理部３０３Ａ、監視画像表示処理部３０２Ｂ及び目印表示処理部３０３Ｂ、表示制御部３０２Ｃ、並びに、表示制御部３０２Ｄは、それぞれの機能の一部或いは全部が共通であってよい。また、音声制御部３０３Ｃ及び警報出力部３０３Ｄは、それぞれの機能の一部或いは全部が共通であってよい。また、音声制御部３０３Ｃ及び警報出力部３０３Ｄのうちの少なくとも一つは、第１の特徴機能或いは第２の特徴機能に関する周辺監視システム１００に含まれていてよい（つまり、組み合わせられてもよい）。また、動作制限部３０４及び判定部３０５のうちの少なくとも一つは、第１～第３の特徴機能の何れか一つに関する周辺監視システム１００に含まれていてよい。

【0044】

［周辺監視システムの第１の特徴機能］
まず、本実施形態に係る周辺監視システム１００に関する第１の特徴機能、具体的には、表示装置５０に表示されるスルー画像や周辺画像内の監視対象に目印（マーカとも言う）を重畳して表示させる機能（目印表示機能）の一例（以下、「第１の目印表示機能」とも称する場合がある）について説明する。

【0045】

＜周辺監視システムの構成＞
図３は、第１の特徴機能（第１の目印表示機能）に関する本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。

【0046】

尚、図３では、第１の特徴機能に関する構成を中心に示され、図１、図２に示される他の構成は、省略される。

【0047】

周辺監視システム１００は、上述の如く、ショベルの周辺の所定範囲内への所定の物体（本実施形態では、車両及び人）の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０を含む。

【0048】

コントローラ３０は、上述の如く、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、例えば、ＲＯＭや不揮発性の補助記憶装置に格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、監視対象検知部３０１Ａ、監視画像表示処理部３０２Ａ、目印画像表示処理部３０３Ａを含む。

【0049】

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む比較的広い上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

【0050】

表示装置５０は、コントローラ３０（具体的には、監視画像表示処理部３０２Ａ）による制御の下、撮像装置４０により撮像されるショベルの周辺の様子を表す監視画像を表示する。監視画像には、撮像装置４０の撮像画像（スルー画像）、及びコントローラ３０（具体的には、監視画像表示処理部３０２Ａ）により撮像装置４０の撮像画像に基づき生成される周辺画像（例えば、視点変換画像）等が含まれる。詳細は、後述する（図４、図５参照）。

【0051】

監視対象検知部３０１Ａは、ショベル周辺の所定の監視対象を検知する。監視対象は、上述の如く、例えば、人、作業車両（トラック）、その他の障害物等である。以下、第１の特徴機能に関する説明では、監視対象が人である場合を中心に説明を行う。具体的には、監視対象検知部３０１Ａは、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺における所定領域（以下、「監視エリア」と称する）内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の監視対象（即ち、人）を検知する。例えば、監視対象検知部３０１Ａは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置４０の撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。

【0052】

また、監視対象検知部３０１Ａは、撮像装置４０の撮像画像に基づく画像処理により人を検知する過程で生成される、撮像画像内における検知された人の位置を代表的に示す点（代表点）に関する情報（代表点情報）を目印画像表示処理部３０３Ａに送る。代表点は、例えば、撮像画像上における検知された人の足元位置に対応する点、頭の位置に対応する点等、任意の点であってよい。以下、代表点は、撮像画像上の検知された人の足元位置に対応する点である前提で説明を進める。

【0053】

尚、監視対象検知部３０１Ａは、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果（距離画像等）に基づき、監視対象を検知してもよい。

【0054】

監視画像表示処理部３０２Ａは、オペレータによる各種操作等に応じて、撮像装置４０により撮像されるショベルの周辺の様子を表す監視画像を表示装置５０に表示させる。例えば、監視画像表示処理部３０２Ａは、オペレータによる所定操作に応じて、撮像装置４０、即ち、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像（スルー画像）（第１の画像の一例）を監視画像として表示装置５０にそのまま表示させる。この際、監視画像表示処理部３０２Ａは、オペレータによる操作の内容や設定内容等に応じて、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの１つのカメラの撮像画像を表示装置５０に表示させてもよいし、複数（２つ或いは３つ）のカメラの撮像画像を同時に表示装置５０に表示させてもよい。また、例えば、監視画像表示処理部３０２Ａは、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき周辺画像（例えば、視点変換画像）を生成し、表示装置５０に表示させる。具体的には、監視画像表示処理部３０２Ａは、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）（第２の画像の一例）を生成し、表示装置５０に表示させる。また、監視画像表示処理部３０２Ａは、周辺画像を表示装置５０に表示させる際、周辺画像に写っている撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、監視画像表示処理部３０２Ａは、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置５０に表示させる。以下、図４、図５を参照して、表示装置５０に表示される監視画像について説明をする。

【0055】

図４は、表示装置５０に表示される監視画像の一例（監視画像ＭＰ１）を示す図であり、具体的には、表示装置５０に監視画像ＭＰ１として表示されるスルー画像を示す図である。図５は、表示装置５０に表示される監視画像の他の例（監視画像ＭＰ２）を示す図であり、具体的には、表示装置５０に表示される周辺画像ＥＰ（視点変換画像）及びショベル画像ＣＧを含む監視画像ＭＰ２を示す図である。

【0056】

図４に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの何れか１つのカメラの撮像画像が表示されている。

【0057】

また、本例では、表示装置５０に表示されるスルー画像に人（作業者Ｗ１Ａ）が含まれている。また、スルー画像上の作業者Ｗ１Ａには、その位置（本実施形態では、監視対象検知部３０１Ａによる検知位置）を表す目印画像ＦＲ１Ａ、即ち、目印画像ＦＲ１Ａとしての作業者Ｗ１Ａを取り囲む枠が重畳して表示されている。これにより、オペレータは、表示装置５０に映っている監視対象（即ち、人）に気付きやすくなると共に、表示装置５０に表示される監視画像、具体的には、スルー画像或いは周辺画像（視点変換画像）上において、監視対象（即ち、人）の状況等を視認し易くなる。目印画像の詳細については、後述する。

【0058】

また、図５に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視画像ＭＰ２が表示されている。これにより、オペレータは、周辺画像ＥＰに写っている監視対象（即ち、人）と、ショベルとの位置関係を適切に把握することができる。

【0059】

本例では、周辺画像ＥＰは、ショベルに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

【0060】

また、監視画像ＭＰ２（周辺画像ＥＰ）には、ガイドラインＧＬ１が重畳表示される。ガイドラインＧＬ１は、ショベルからの距離Ｄが所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、監視画像内の周辺画像に監視対象（即ち、人）が映っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。

【0061】

また、本例では、図４と同様、表示装置５０に表示される監視画像ＭＰ２内の周辺画像ＥＰに人（作業者Ｗ２Ａ）が含まれている。また、周辺画像上の作業者Ｗ２Ａには、その位置（本実施形態では、監視対象検知部３０１Ａによる検知位置）を表す目印画像ＦＲ１Ａ、即ち、作業者Ｗ２Ａを取り囲む枠が重畳して表示されている。上述の如く、目印画像の詳細については、後述する。

【0062】

図３に戻り、目印画像表示処理部３０３Ａは、監視対象検知部３０１Ａにより監視対象が検知された場合、表示装置５０に表示されている監視画像上に、監視画像に含まれる監視対象（即ち、人）の位置を表す上述の目印画像を重畳して表示させる。目印画像は、監視画像に含まれる人の位置を強調することが可能であれば、任意の態様であってよく、例えば、図形、色、模様、或いはそれらの組み合わせ等により構成されてよい。以下、本実施形態では、目印画像が図形（以下、「目印図形」と称する）である前提で説明を進める。目印画像表示処理部３０３Ａは、更に細分化された機能部として、候補点生成部３０３１Ａ、目印画像選択部３０３２Ａ、構成点選択部３０３３Ａ、エンコード部３０３４Ａ、送信部３０３５Ａを含む。

【0063】

候補点生成部３０３１Ａは、表示装置５０に表示されている監視画像に含まれる、監視対象検知部３０１Ａにより検知された監視対象（即ち、人）の検出位置を表す目印図形の頂点の候補となる複数の候補点（以下、候補点群と称する）を生成する。例えば、候補点生成部３０３１Ａは、監視対象検知部３０１Ａから取得する、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの何れか１つの撮像画像上における検知された人の代表点情報に基づき、当該撮像画像上における人が存在する領域を認識すると共に、所定の規則に従い、予め規定される個数の候補点を生成する。以下、候補点群として生成される候補点の個数がＭ（３以上の整数）である前提で説明を進める。また、候補点生成部３０３１Ａは、表示装置５０に表示されている監視画像が視点変換画像等の周辺画像である場合、撮像画像上の候補点群の位置データ（座標）を、撮像画像から周辺画像を生成する場合と同様の変換方法に基づき、周辺画像上の候補点群の位置データ（座標）に変換する。これにより、周辺画像上に含まれる検知された人の検知位置を表す目印図形の頂点の候補点群を生成することができる。

【0064】

例えば、図６は、撮像装置４０の撮像画像上に含まれる、監視対象検知部３０１Ａにより検知された人に対応する候補点群の一例を示す図である。図６に示すように、撮像装置４０、即ち、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの何れか１つの撮像画像の中央付近に、背中を向けた作業者Ｗ１Ａが写っており、作業者Ｗ１Ａの足元付近には、監視対象検知部３０１Ａにより生成される代表点ＲＰが示されている。本例では、候補点群ＣＰは、当該撮像画像に含まれる作業者Ｗ１Ａを取り囲む態様で、合計１６個（Ｍ＝１６）の候補点（白抜きの丸）の集まりとして生成されている。

【0065】

図３に戻り、目印画像選択部３０３２Ａは、予め規定される複数の種類の目印画像（目印図形）の中から、実際に表示装置５０の監視画像上に重畳して表示させる目印画像（目印図形）を選択する。本実施形態では、候補となる複数の種類の目印図形は、候補点群の中から選択される２以上の候補点を構成点とする複数の種類の図形、即ち、線分、三角形、四角形、...、Ｍ角形のうちの２種類以上の図形を含む。構成点とは、線分の端点、或いは多角形の頂点等を意味する。即ち、目印画像選択部３０３２Ａは、候補点群の中から選択される２以上の候補点（以下、「選択点」と称する）を構成点とする２種類以上の図形の中から１つを選択する。具体的には、目印画像選択部３０３２Ａは、候補点群の中から図形の構成点として選択する候補点の数（以下、「選択数」と称する）を決定する。以下、目印画像選択部３０３２Ａは、Ｍ角形（選択数Ｍ）、四角形（選択数４）、線分（選択数２）の３種類の目印図形の中から、監視画像上に重畳して表示させる目印図形を選択する、即ち、目印画像選択部３０３２Ａは、目印図形を構成する構成点をＭ、４、及び２の何れかに決定する前提で、説明を進める。この場合、候補点群に含まれる候補点数Ｍは、５以上である。詳細は、後述する。

【0066】

構成点選択部３０３３Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から、目印画像選択部３０３２Ａにより決定された選択数だけ、目印図形の構成点を選択する。目印画像選択部３０３２ＡによりＭ角形が選択された場合、構成点選択部３０３３Ａは、当然の如く、候補点群に含まれる全て（Ｍ個）の候補点を目印図形の構成点として選択する。また、目印画像選択部３０３２Ａにより四角形或いは線分が選択された場合、構成点選択部３０３３Ａは、予め規定される規則に従い、候補点群（即ち、Ｍ個の候補点）の中から４個或いは２個の構成点を選択する。

【0067】

例えば、図７（図７Ａ、図７Ｂ）、図８（図８Ａ、図８Ｂ）、図９（図９Ａ、図９Ｂ）は、構成点選択部３０３３Ａにより候補点群から選択される目印画像の構成点の一例（選択数Ｍの場合）、他の例（選択数４の場合）、及び更に他の例（選択数２の場合）を示す図である。具体的には、図７Ａ、図８Ａ、及び図９Ａは、図６に示す候補点が生成された場合に、目印画像選択部３０３２Ａにより選択された目印図形の種類、即ち、決定された選択数に応じて、候補点群の中から選択される目印画像の構成点の態様を示す。また、図７Ｂ、図８Ｂ、及び図９Ｂは、それぞれ、図７Ａ、図８Ａ、及び図９Ａに示す構成点が選択された場合に、表示装置５０に表示される目印図形を示す図である。

【0068】

尚、図７Ａ、図８Ａ、及び図９Ａにおいて、構成点選択部３０３３Ａにより選択された構成点は、黒丸で示され、候補点群の中の選択されない候補点は、白抜きの丸で示される。

【0069】

目印画像選択部３０３２Ａにより選択された目印図形の種類がＭ角形、即ち、決定された選択数がＭである場合、図７Ａに示すように、当然の如く、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａの周囲を取り囲む態様で配置される候補点群のＭ（＝１６）個の候補点が全て目印図形の構成点として選択される。そして、図７Ｂに示すように、表示装置５０には、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａの周囲を取り囲む態様の目印画像ＦＲ１ＡとしてのＭ角形、即ち、十六角形が重畳して表示される。

【0070】

また、目印画像選択部３０３２Ａにより選択された目印画像の種類が四角形、即ち、決定された頂点数が４である場合、図８Ａに示すように、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａの身体の上下軸を足元より下側及び頭より上側の双方に延長した方向に存在する２つの候補点と、作業者Ｗ１Ａの略両肩を結ぶ軸を両肩の外側に延長した方向に存在する２つの候補点とが目印図形の構成点として選択されている。そして、図８Ｂに示すように、表示装置５０には、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａを取り囲む態様の目印画像ＦＲ１Ａとしての四角形が重畳して表示される。

【0071】

このように、目印図形が３以上の構成点で構成される場合、監視対象を取り囲む態様で表示できるため、表示装置５０に表示される監視画像内の監視対象の目印として機能させつつ、監視画像内の監視対象の様子をオペレータ等に把握させることができる。

【0072】

また、目印画像選択部３０３２Ａにより選択された目印画像の種類が線分、即ち、決定された頂点数が２である場合、図９Ａに示すように、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａの身体の上下軸を足元より下側及び頭より上側の双方に延長した方向に存在する２つの候補点が目印図形の構成点として選択されている。そして、図９Ｂに示すように、表示装置５０には、撮像画像上において、監視対象検知部３０１Ａにより検知された作業者Ｗ１Ａの上下軸を略示す態様の目印画像ＦＲ１Ａとしての線分が重畳して表示される。

【0073】

図３に戻り、エンコード部３０３４Ａは、構成点選択部３０３３Ａにより候補点群の中から選択された目印図形の構成点の位置情報、具体的には、表示装置５０に表示されている監視画像上における位置情報（座標情報）を予め規定された規則に従い、エンコードし、表示装置５０に送信するデータ（以下、送信用データと称する）を生成する。

【0074】

送信部３０３５Ａは、エンコード部３０３４Ａにより生成された送信用データを表示装置５０に送信する。これにより、表示装置５０は、送信用データに含まれる目印図形の頂点の位置情報（座標情報）に基づき、目印画像選択部３０３２Ａにより複数の種類の目印図形の中から選択された種類の目印画像を監視画像上に重畳して表示することができる。

【0075】

＜周辺監視システムの動作の詳細＞
次に、図１０～図１４を参照して、本実施形態に係る周辺監視システム１００による特徴的な処理、即ち、目印画像表示処理部３０３Ａによる目印画像を表示装置５０に表示させる処理（目印画像表示処理）の詳細について説明をする。

【0076】

まず、図１０は、コントローラ３０（目印画像表示処理部３０３Ａ）による目印画像表示処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、表示装置５０に監視画像が表示されている場合に、所定時間ごと（例えば、監視対象検知部３０１Ａによる監視対象の検知周期ごと）に繰り返し実行される。

【0077】

ステップＳ１０１Ａにて、候補点生成部３０３１Ａは、監視対象検知部３０１Ａにより監視対象が検知されているか否かを判定する。候補点生成部３０３１Ａは、監視対象検知部３０１Ａにより監視対象が検知されている場合、ステップＳ１０２Ａに進み、検知されていない場合、今回の処理を終了する。

【0078】

ステップＳ１０２Ａにて、候補点生成部３０３１Ａは、監視対象検知部３０１Ａから検知された監視対象（即ち、人）の撮像画像上における代表点を取得する。

【0079】

ステップＳ１０４Ａにて、候補点生成部３０３１Ａは、取得した代表点に基づき、表示装置５０に表示されている監視画像（撮像画像或いは周辺画像）上における目印図形の頂点の候補となる候補点群を生成する。

【0080】

ステップＳ１０６Ａにて、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより現に検知されている監視対象の数（以下、「検知数」と称する）Ｎが所定数Ｎ１１以下であるか否かを判定する。所定数Ｎ１１は、監視対象検知部３０１Ａにより検知されている全ての監視対象（即ち、人）について、Ｍ個の頂点（即ち、候補点生成部３０３１Ａにより生成される全ての候補点）の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な検知数Ｎの上限として設定される。目印画像選択部３０３２Ａは、検知数Ｎが所定数Ｎ１１以下である場合、ステップＳ１０８Ａに進み、検知数Ｎが所定数Ｎ１１以下でない場合、ステップＳ１１０Ａに進む。

【0081】

ステップＳ１０８Ａにて、目印画像選択部３０３２Ａは、目印図形の種類としてＭ角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印図形の構成点の数（選択数）をＭ（５以上の整数）に決定する。

【0082】

一方、ステップＳ１１０Ａにて、目印画像選択部３０３２Ａは、検知数Ｎが所定数Ｎ１１より大きい所定数Ｎ１２以下であるか否かを判定する。所定数Ｎ１２は、監視対象検知部３０１Ａにより検知された全ての監視対象（即ち、人）について、４個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な検知数Ｎの上限として設定される。目印画像選択部３０３２Ａは、検知数Ｎが所定数Ｎ１２以下である場合、ステップＳ１１２Ａに進み、検知数が所定数Ｎ１２以下でない場合、ステップＳ１１４Ａに進む。

【0083】

ステップＳ１１２Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として四角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を４に決定する。

【0084】

一方、ステップＳ１１４Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として線分を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を２に決定する。

【0085】

ステップＳ１１５Ａにて、構成点選択部３０３３Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から、ステップＳ１０８Ａ，Ｓ１１２Ａ，Ｓ１１４Ａの何れかの処理において、目印画像選択部３０３２Ａにより決定された選択数だけ目印図形の構成点を選択する。

【0086】

ステップＳ１１６Ａにて、エンコード部３０３４Ａは、構成点選択部３０３３Ａにより選択された構成点の位置情報をエンコードし、送信用データを生成する。

【0087】

ステップＳ１１８Ａにて、送信部３０３５Ａは、エンコード部３０３４Ａにより生成される送信用データを表示装置５０に送信し、今回の処理を終了する。

【0088】

このように、本例では、目印画像表示処理部３０３Ａは、表示装置５０に表示されている監視画像上の監視対象の位置を表す目印を２種類以上の異なる表示態様で表示する。具体的には、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知されている監視対象の検知数Ｎに応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部３０３２Ａは、検知数Ｎが多くなるほど、目印図形の構成点の数を少なくする、即ち、表示装置５０に目印画像を表示させるための仕様情報（以下、単に「目印画像の仕様情報」と称する）としての構成点の位置情報のデータ量を小さくする。これにより、監視対象検知部３０１Ａにより検知されている監視対象の検知数Ｎが比較的多くなり、コントローラ３０から表示装置５０に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、検知数Ｎに応じて、目印画像の仕様情報のデータ量を調整することができる。具体的には、構成点数を減らして、送信用データに含まれる構成点の位置情報のデータ量を減らすことができる。そのため、表示装置５０に表示されている監視画像上で、監視対象の位置を表す目印画像の仕様情報を含む送信用データを、コントローラ３０から表示装置５０に所定の送信周期内で確実に送信することができる。また、検知数Ｎが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、検知数Ｎが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。

【0089】

尚、目印画像の仕様情報には、図形の構成点の位置情報の他、目印画像の大きさ、模様、色等の種別を示す情報や、大きさ、模様、色の変化や点滅の有無を示す情報等が含まれうる。例えば、コントローラ３０（送信部３０３５Ａ）は、通信帯域が不足する状況でない場合（即ち、本例における検知数Ｎが比較的少ない場合）、比較的多くの属性（形状、色、模様、点滅の有無等）を含む目印画像を表示させるための仕様情報を含む比較的データ量の大きい送信用データを表示装置５０に送信してよい。これにより、目印画像の情報量が増え、監視対象をより強調することができる。一方、コントローラ３０（送信部３０３５Ａ）は、通信帯域が不足する状況の場合（即ち、本例における検知数Ｎが比較的多い場合）、比較的少ない属性（例えば、形状だけ）を含む目印画像を表示させるための仕様情報を含む比較的データ量の小さい送信用データを表示装置５０に送信してよい。これにより、上述の如く、通信帯域が不足し得る状況であっても、目印画像の仕様情報を含むデータを所定の送信周期内で確実に送信することができる。以下、図１１、図１２の場合も同様である。

【0090】

続いて、図１１は、コントローラ３０（目印画像表示処理部３０３Ａ）による目印画像表示処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図１０）と同様、例えば、ショベルの運転中、表示装置５０に監視画像が表示されている場合に、所定時間ごと（例えば、監視対象検知部３０１Ａによる監視対象の検知周期ごと）に繰り返し実行される。

【0091】

尚、本フローチャートによる処理では、監視対象検知部３０１Ａにより検知される監視対象の検知数Ｎの上限、即ち、所定の処理周期内で検知可能な監視対象の検知数Ｎの上限として最大検知数Ｎｍａｘが予め設定される前提で説明を進める。また、最大検知数Ｎｍａｘは、処理周期、コントローラ３０の処理性能等によりその最大値が予め規定されると共に、オペレータによる所定操作に応じて、当該最大値以下の範囲で設定可能であってよい。

【0092】

本フローチャートのステップＳ２０１Ａ～Ｓ２０４Ａ，Ｓ２１５Ａ～Ｓ２１８Ａは、上述した第１例と同じであるため、異なる部分を中心に説明する。

【0093】

ステップＳ２０６Ａにて、目印画像選択部３０３２Ａは、最大検知数Ｎｍａｘが所定数Ｎ２１以下であるか否かを判定する。所定数Ｎ２１は、仮に、監視対象検知部３０１Ａにより最大検知数Ｎｍａｘに相当する監視対象（即ち、人）が検知された場合であっても、検知された全ての監視対象について、Ｍ個の頂点（即ち、候補点生成部３０３１Ａにより生成される全ての候補点）の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な最大検知数Ｎｍａｘの上限として設定される。目印画像選択部３０３２Ａは、最大検知数Ｎｍａｘが所定数Ｎ２１以下である場合、ステップＳ２０８Ａに進み、最大検知数Ｎｍａｘが所定数Ｎ２１以下でない場合、ステップＳ２１０Ａに進む。

【0094】

ステップＳ２０８Ａにて、目印画像選択部３０３２Ａは、目印図形の種類としてＭ角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印図形の構成点の数（選択数）をＭ（５以上の整数）に決定する。

【0095】

一方、ステップＳ２１０Ａにて、目印画像選択部３０３２Ａは、検知数Ｎが所定数Ｎ２１より大きい所定数Ｎ２２以下であるか否かを判定する。所定数Ｎ２２は、仮に、監視対象検知部３０１Ａにより最大検知数Ｎｍａｘに相当する監視対象（即ち、人）が検知された場合であっても、検知された全ての監視対象について、４個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な最大検知数Ｎｍａｘの上限として設定される。目印画像選択部３０３２Ａは、最大検知数Ｎｍａｘが所定数Ｎ２２以下である場合、ステップＳ２１２Ａに進み、検知数が所定数Ｎ２２以下でない場合、ステップＳ２１４Ａに進む。

【0096】

ステップＳ２１２Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として四角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を４に決定する。

【0097】

一方、ステップＳ２１４Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として線分を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を２に決定する。

【0098】

このように、本例では、上述した図１０と同様、目印画像表示処理部３０３Ａは、表示装置５０に表示されている監視画像上の監視対象の位置を表す目印を２種類以上の異なる表示態様で表示する。具体的には、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知される監視対象の検知数Ｎの上限として予め設定される最大検知数Ｎｍａｘに応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。具体的には、目印画像選択部３０３２Ａは、最大検知数Ｎｍａｘが多くなるほど、目印図形の構成点の数を少なくする、即ち、目印画像の仕様情報としての構成点の位置情報のデータ量を小さくする。これにより、最大検知数Ｎｍａｘが比較的大きい値に設定されている状況で、仮に、監視対象検知部３０１Ａにより最大検知数Ｎｍａｘに相当する監視対象が検知され、コントローラ３０から表示装置５０に送信すべき目印画像の仕様情報を含む送信用データのデータ量が多くなる等、通信帯域が不足しうる状況が生じても、最大検知数Ｎｍａｘに応じて、目印画像のデータ量を調整することができる。そのため、上述した第１例の場合と同様、表示装置５０に表示されている監視画像上で、監視対象の位置を表す目印画像の仕様情報を含む送信用データを、コントローラ３０から表示装置５０に所定の送信周期内で確実に送信することができる。また、上述した第１例の場合戸同様、最大検知数Ｎｍａｘが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、最大検知数Ｎｍａｘが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。

【0099】

続いて、図１２は、コントローラ３０（目印画像表示処理部３０３Ａ）による目印画像表示処理の第３例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図１０）等と同様、例えば、ショベルの運転中、表示装置５０に監視画像が表示されている場合に、所定時間ごと（例えば、監視対象検知部３０１Ａによる監視対象の検知周期ごと）に繰り返し実行される。

【0100】

本フローチャートのステップＳ３０１Ａ～Ｓ３０４Ａ，Ｓ３１５Ａ～Ｓ３１８Ａは、上述した第１例と同じであるため、異なる部分を中心に説明する。

【0101】

ステップＳ３０６Ａにて、目印画像選択部３０３２Ａは、表示装置５０に現に表示されている監視画像（スルー画像或いは周辺画像）に対応する撮像装置４０の撮像範囲内で、監視対象検知部３０１Ａにより現に検知されている監視対象の数（以下、監視画像内検知数と称する）Ｎｐが所定数Ｎ３１以下であるか否かを判定する。所定数Ｎ３１は、上述した第１例（図１０）の所定数Ｎ１１と同様、表示装置５０に現に表示されている監視画像に対応する撮像装置４０の撮像範囲内で、監視対象検知部３０１Ａにより検知されている全ての監視対象（即ち、人）について、Ｍ個の頂点（即ち、候補点生成部３０３１Ａにより生成される全ての候補点）の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な監視画像内検知数Ｎｐの上限として設定される。

【0102】

ステップＳ３０８Ａにて、目印画像選択部３０３２Ａは、目印図形の種類としてＭ角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印図形の構成点の数（選択数）をＭ（５以上の整数）に決定する。

【0103】

一方、ステップＳ３１０Ａにて、目印画像選択部３０３２Ａは、監視画像内検知数Ｎｐが所定数Ｎ３１より大きい所定数Ｎ３２以下であるか否かを判定する。所定数Ｎ３２は、上述した第１例（図１０）の所定数Ｎ１２と同様、表示装置５０に現に表示されている監視画像に対応する撮像装置４０の撮像範囲内で、監視対象検知部３０１Ａにより検知された全ての監視対象（即ち、人）について、４個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な監視画像内検知数Ｎｐの上限として設定される。目印画像選択部３０３２Ａは、監視画像内検知数Ｎｐが所定数Ｎ３２以下である場合、ステップＳ３１２Ａに進み、監視画像内検知数Ｎｐが所定数Ｎ３２以下でない場合、ステップＳ３１４Ａに進む。

【0104】

ステップＳ３１２Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として四角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を４に決定する。

【0105】

一方、ステップＳ３１４Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として線分を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を２に決定する。

【0106】

このように、本例では、上述した図１０等の場合と同様、目印画像表示処理部３０３Ａは、表示装置５０に表示されている監視画像上の監視対象の位置を表す目印を２種類以上の異なる表示態様で表示する。具体的には、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像（撮像画像或いは周辺画像）に対応する撮像装置４０の撮像範囲内で、監視対象検知部３０１Ａにより検知されている監視対象の検知数（監視画像内検知数Ｎｐ）に応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。即ち、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像に含まれる監視対象の数に応じて、当該監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部３０３２Ａは、監視画像内検知数Ｎｐが多くなるほど、目印図形の構成点の数を少なくし、送信用データに含まれる目印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。即ち、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像に含まれる監視対象の数が多くなるほど、目印図形の構成点の数を少なくし、送信用データのデータ量を小さくする。これにより、監視画像内検知数Ｎｐ、即ち、表示装置５０に表示されている監視画像に含まれる監視対象が比較的多くなり、コントローラ３０から表示装置５０に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、監視画像内検知数Ｎｐに応じて、目印画像の仕様情報のデータ量を調整することができる。また、監視画像内検知数Ｎｐが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、監視画像内検知数Ｎｐが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。また、例えば、監視画像として１つのカメラの撮像画像が表示装置５０に表示されている場合、監視画像内検知数Ｎｐは、複数のカメラ、即ち、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像に基づき、監視対象検知部３０１Ａにより検知されている監視対象の全体の検知数Ｎより少ない場合もあり得る。そのため、このような状況では、仕様情報のデータ量が比較的多い目印画像、即ち、監視対象をより強調し易い目印画像を採用し、オペレータに監視対象を視認し易くすることができる。即ち、本例では、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像に対応するショベルの周辺領域の大小を考慮して、目印画像の仕様情報のデータ量を調整することができる。

【0107】

続いて、図１３は、コントローラ３０（目印画像表示処理部３０３Ａ）による目印画像表示処理の第４例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図１０）と同様、例えば、ショベルの運転中、表示装置５０に監視画像が表示されている場合に、所定時間ごと（例えば、監視対象検知部３０１Ａによる監視対象の検知周期ごと）に繰り返し実行される。

【0108】

尚、本例では、表示装置５０には、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの最大二台のカメラのスルー画像が同時に表示されうる前提で説明を行う。

【0109】

本フローチャートのステップＳ４０１Ａ～Ｓ４０４Ａ，Ｓ４１５Ａ～Ｓ４１８Ａは、上述した第１例と同じであるため、異なる部分を中心に説明する。

【0110】

ステップＳ４０６Ａにて、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像がスルー画像であるか否かを判定する。目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像がスルー画像である場合、ステップＳ４０７Ａに進み、スルー画像でない（つまり、周辺画像である）場合、ステップＳ４１４Ａに進む。

【0111】

ステップＳ４０７Ａにて、目印画像選択部３０３２Ａは、表示装置５０に表示されているスルー画像が、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの一台だけのカメラの撮像画像であるかを判定する。目印画像選択部３０３２Ａは、表示装置５０に表示されているスルー画像が、一台だけのカメラの撮像画像である場合、ステップＳ４０８Ａに進み、それ以外の場合（つまり、二台のカメラの撮像画像である場合）、ステップＳ４１２Ａに進む。

【0112】

ステップＳ４０８Ａにて、目印画像選択部３０３２Ａは、目印図形の種類としてＭ角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印図形の構成点の数（選択数）をＭ（５以上の整数）に決定する。

【0113】

一方、ステップＳ４１２Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として四角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を４に決定する。

【0114】

また、ステップＳ４１４Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として線分を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を２に決定する。

【0115】

このように、本例では、上述した図１０等の場合と同様、目印画像表示処理部３０３Ａは、表示装置５０に表示されている監視画像上の監視対象の位置を表す目印を２種類以上の異なる表示態様で表示する。具体的には、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像の種類（つまり、スルー画像であるか、周辺画像であるか）に応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。即ち、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像に対応するカメラの台数に応じて、当該監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部３０３２Ａは、表示装置５０に周辺画像が表示されている場合、スルー画像の場合よりも、目印図形の構成点の数を少なくし、送信用データに含まれる目印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。即ち、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像に対応するカメラの台数が多くなるほど、目印図形の構成点の数を少なくし、送信用データのデータ量を小さくする。監視画像に対応するカメラが多くなり、監視画像として表示されるショベルの周囲の領域が増えると、検知されうる監視対象の数が多くなる傾向にあり、コントローラ３０から表示装置５０に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、監視画像に対応するカメラの台数に応じて、目印画像の仕様情報のデータ量を調整することができる。一方、監視画像に対応するカメラの台数が少ない場合には、構成点が多く、監視対象を強調し易い目印画像を表示させることができ、オペレータ等による監視対象の把握を促し易くなる。また、監視画像に対応するカメラが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、監視画像に対応するカメラの台数が多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。

【0116】

続いて、図１４は、コントローラ３０（目印画像表示処理部３０３Ａ）による目印画像表示処理の第５例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図１０）と同様、例えば、ショベルの運転中、表示装置５０に監視画像が表示されている場合に、所定時間ごと（例えば、監視対象検知部３０１Ａによる監視対象の検知周期ごと）に繰り返し実行される。

【0117】

本フローチャートのステップＳ５０１Ａ～Ｓ５０４Ａ，Ｓ５１５Ａ～Ｓ５１８Ａは、上述した第１例と同じであるため、異なる部分を中心に説明する。

【0118】

以下、ステップＳ５０６Ａ～Ｓ５１４Ａの処理は、監視対象検知部３０１Ａにより検知されている監視対象ごとに行われる。

【0119】

ステップＳ５０６Ａにて、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知されている監視対象のショベルからの距離Ｄが所定距離Ｄ３（＜Ｄ２＜Ｄ１）以下であるか否かを判定する。目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知されている監視対象のショベルからの距離Ｄが所定距離Ｄ３以下である場合、ステップＳ５０８Ａに進み、それ以外の場合、ステップＳ５１０Ａに進む。

【0120】

ステップＳ５０８Ａにて、目印画像選択部３０３２Ａは、目印図形の種類としてＭ角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印図形の構成点の数（選択数）をＭ（５以上の整数）に決定する。

【0121】

一方、ステップＳ５１０Ａにて、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知されている監視対象のショベルからの距離Ｄが所定距離Ｄ２（＜Ｄ１）以下であるか否かを判定する。目印画像選択部３０３２Ａは、監視対象検知部３０１により検知されている監視対象のショベルからの距離Ｄが所定距離Ｄ２以下である場合、ステップＳ５１２Ａに進み、それ以外の場合、ステップＳ５１４Ａに進む。

【0122】

ステップＳ４１２Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として四角形を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を４に決定する。

【0123】

また、ステップＳ４１４Ａにて、目印画像選択部３０３２Ａは、目印図形の種類として線分を選択する。即ち、目印画像選択部３０３２Ａは、候補点生成部３０３１Ａにより生成された候補点群の中から選択する目印画像の構成点の数（選択数）を２に決定する。

【0124】

このように、本例では、上述した図１０等の場合と同様、目印画像表示処理部３０３Ａは、表示装置５０に表示されている監視画像上の監視対象の位置を表す目印を２種類以上の異なる表示態様で表示する。具体的には、目印画像選択部３０３２Ａは、表示装置５０に表示されている監視画像のショベルからの距離に応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部３０３２Ａは、監視対象のショベルからの距離が遠くなるほど、目印図形の構成点の数を少なくし、送信用データに含まれる印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。一方、目印画像選択部３０３２Ａは、監視画像のショベルからの距離が近くなるほど、目印図形の構成点を多くし、監視対象を目立たせ易くする。これにより、安全確保のために優先度の高い監視対象、つまり、ショベルに近接する領域にいる監視対象のオペレータ等による把握を促すことができる。一方、相対的に優先度が低い監視対象、つまり、ショベルから比較的離れている監視対象については、簡素な目印画像による通知とすることで、上述した通信帯域の不足等を抑制することができる。

【0125】

尚、図１０～図１４で示す例示では、表示装置５０に表示される監視画像に表示される目印画像は、所定の条件に応じて、自動的に規定されるが、オペレータ等が手動で設定可能な態様であってもよい（図１５、図１６参照）。

【0126】

＜目印画像の表示設定＞
次に、図１５、図１６を参照して、オペレータ等による目印画像の表示設定について説明する。

【0127】

まず、図１５は、表示装置５０に表示される、オペレータ等が目印画像の表示設定を行うための操作画面（以下、「目印画像設定画面」と称する）の一例（目印画像設定画面１５００）を示す図である。

【0128】

目印画像設定画面１５００では、予め規定された３つの表示モード（通常モード、シンプルモード、強調優先モード）の中から１つの表示モードを選択する態様で、オペレータ等が目印画像の表示設定を行うことができる。

【0129】

目印画像設定画面１５００は、キャビン１０内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置５０に実装されるタッチパネル等により操作可能なボタンアイコン１５０１～１５０４を含む。

【0130】

ボタンアイコン１５０１は、"通常モード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン１５０１を選択し、決定する操作を行うことにより、目印画像の表示モードとして、通常モードを設定することができる。

【0131】

通常モードは、上述した図１０～図１４の少なくとも一つの処理に基づき、自動的に、監視画像に表示される目印画像が決定される表示モードである。

【0132】

ボタンアイコン１５０２は、"シンプルモード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン１５０２を選択し、決定する操作を行うことにより、目印画像の表示モードとして、シンプルモードを設定することができる。

【0133】

シンプルモードは、監視画像に表示される目印画像が比較的簡素な態様（例えば、上述した四角形や線分等）に固定される表示モードである。シンプルモードでは、監視画像に含まれる監視対象の数が比較的多い場合であっても、目印画像のせいで監視画像が煩雑なり、反って、監視対象の把握がし難くなるような状況が抑制されうる。

【0134】

ボタンアイコン１５０３は、"強調優先モード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン１５０３を選択し、決定する操作を行うことにより、目印画像の表示モードとして、強調優先モードを設定することができる。

【0135】

強調優先モードは、監視画像に表示されるが目印画像が比較的目につきやすい態様（例えば、上述したＭ角形等の比較的データ量の多い目印図形）に固定される表示モードである。強調優先モードでは、例えば、オペレータが、表示装置５０を注視できないような非常に操作難易度が高い作業等を行っているような状況であっても、表示装置５０に表示されている監視対象を認識し易くなる。

【0136】

ボタンアイコン１５０４は、"カスタマイズ版"の文字情報が付記されており、オペレータ等は、当該ボタンアイコン１５０４を選択し、決定する操作を行うことにより、より詳細な目印画像の設定が可能な操作画面（後述の目印画像設定画面１６００）に遷移できる。

【0137】

このように、本例では、オペレータ等は、予め規定されたシンプルモードと強調優先モードの中から表示モードを設定することができる。これにより、周辺監視システム１００は、オペレータの好みに合わせた目印画像の表示を行うことができる。

【0138】

続いて、図１６は、表示装置５０に表示される目印画像設定画面の他の例（目印画像設定画面１６００）を示す図である。

【0139】

目印画像設定画面１６００では、オペレータ等が目印画像の仕様を具体的に設定することができる。

【0140】

目印画像設定画面１６００は、キャビン１０内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置５０に実装されるタッチパネル等により操作可能なボタンアイコン１６０１～１６０４を含む。

【0141】

ボタンアイコン１６０１は、"目印の一律選択"の文字情報が付されており、オペレータ等は、当該ボタンアイコン１６０１を選択し、決定する操作を行うことにより、監視画像に表示させる目印画像の種類を固定させるための設定画面に遷移することができる。よって、オペレータ等は、遷移後の設定画面で、複数の種類の目印画像（例えば、上述したＭ角形、四角形、及び、線分）の中から自分の好みの目印画像を設定することができる。

【0142】

ボタンアイコン１６０２は、"監視対象の種類"の文字情報が付されている。オペレータ等は、当該ボタンアイコン１６０２を選択し、決定する操作を行うことにより、監視対象の種類ごとに、監視画像に表示させる目印画像の種類を設定する設定画面に遷移することができる。遷移後の設定画面では、オペレータ等は、例えば、監視対象が人であるのか、車両であるのか、監視対象が移動物であるのか、静止物であるのか等、予め規定される複数の種類ごとに、複数の目印画像の中から自分の好みの目印画像を設定することができる。

【0143】

ボタンアイコン１６０３は、"監視対象の相対位置"の文字情報が付されている。オペレータ等は、当該ボタンアイコン１６０３を選択し、決定する操作を行うことにより、監視対象の相対位置に応じて目印画像を設定するための設定画面に遷移することができる。当該設定画面では、オペレータ等は、例えば、監視対象検知部３０１による監視エリアをショベルに近い側から複数の領域に区分したときの領域ごとに、複数の目印画像の中から自分の好みの目印画像を設定することができる。これにより、オペレータ等は、ショベルから比較的遠い監視対象を簡素な目印画像（例えば、線分）とし、比較的近い監視対象を目につきやすい目印画像（例えば、四角形やＭ角形等）として、比較的近い監視対象を把握し易いようにカスタマイズできるし、また、逆に、比較的遠い監視対象を把握し易いようにカスタマイズすることもできる。

【0144】

このように、本例では、オペレータ等は、監視画像に表示される目印画像の種類を固定させる設定をしたり、監視対象の種類やショベルからの相対位置等に応じた目印画像の種類を手動で設定したりすることができる。これにより、周辺監視システム１００は、よりオペレータの好みに合わせた目印画像の表示させることができる。

【0145】

以上、本発明の一実施形態に係る周辺監視システムの第１の特徴機能（第１の目印表示機能）について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0146】

例えば、上述した実施形態において、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａにより検知される監視対象の検知数に起因する通信帯域が不足する状況を判断することに代えて、或いは、加えて、他の通信帯域が不足する状況を判断して、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印の表示態様、即ち、目印画像の種類を変更してもよい。例えば、目印画像選択部３０３２Ａは、コントローラ３０と表示装置５０との間の通信回線の静的或いは動的な帯域幅や空き状況を判断して、表示装置５０に表示されている監視画像上における監視対象の検知位置を表す目印画像の種類を変更してもよい。また、目印画像選択部３０３２Ａは、監視対象検知部３０１Ａによる監視対象を検知する検知周期が動的に変化する場合やオペレータ等による設定で変更されうる場合に、設定されている検知周期に応じて、表示装置５０に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更してもよい。

【0147】

また、上述した実施形態において、目印画像選択部３０３２Ａにより選択される目印画像の種類がオペレータ等により手動で設定可能であってもよい。この場合、目印画像の仕様情報のデータ量が小さくなる方向（例えば、目印図形の構成点の数が少なくなる方向）の設定変更だけが可能であることが望ましい。

【0148】

また、上述した実施形態及び変形例において、目印画像の種類を変更するのに加えて、或いは、代えて、コントローラ３０から表示装置５０に送信される送信用データに含まれる目印画像の位置情報（例えば、目印図形の各構成点の位置情報）の分解能を調整してもよい。即ち、エンコード部３０３４Ａは、例えば、図１０～図１２と同様、検知数Ｎ、最大検知数Ｎｍａｘ、監視画像内検知数Ｎｐ等に応じて、目印画像の位置情報の分解能を調整する態様で、エンコードを行う。具体的には、エンコード部３０３４Ａは、検知数Ｎ、最大検知数Ｎｍａｘ、監視画像内検知数Ｎｐが多くなるほど、目印画像の位置情報の分解能が低くなるように（即ち、桁数が少なくなるように）送信用データを生成してよい。これにより、何等かの理由で、通信帯域が不足する状況が生じても、目印画像の仕様情報のデータ量を調整する場合と同様、送信用データのデータ量を調整することができる。

【0149】

また、上述した実施形態では、目印画像として二次元の目印図形（四角形やＭ角形等）が表示されるが、例えば、監視画像に写っている三次元空間上で監視対象を取り囲むような仮想的な立体図形（例えば、円柱や四角柱等）を監視画像上に表示させてもよい。これにより、例えば、複数の種類の監視対象が設定されている場合において、特に、注意が必要と考えられる種類の監視対象に対して、当該立体図形が設定されることで、オペレータ等は、他の種類の監視対象との区別を更につけやすくなるため、オペレータ等の利便性を向上させることができる。

【0150】

尚、上述した本実施形態に係る周辺監視システムの第１の特徴機能（第１の目印表示機能）に関して、以下を更に開示する。

【0151】

（１）
作業機械の周辺を撮像する撮像装置と、
前記撮像装置により撮像される、前記作業機械の周辺の画像と、監視対象の位置を表す目印とを表示する表示装置と、を備え、
前記表示装置は、前記目印を２種類以上の異なる表示態様で表示する、
作業機械用周辺監視システム。

【0152】

（２）
前記作業機械の周辺で前記監視対象を検知する監視対象検知部を更に備え、
前記表示装置は、前記監視対象検知部による前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
（１）に記載の作業機械用周辺監視システム。

【0153】

（３）
前記表示装置は、前記監視対象検知部により現に検知されている前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
（２）に記載の作業機械用周辺監視システム。

【0154】

（４）
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記複数のカメラのうちの一部又は全部により撮像される、前記作業機械の周辺の前記画像を表示し、現に表示している前記画像に対応する前記作業機械の周辺領域内で、前記監視対象検知部により現に検知されている前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
（３）に記載の作業機械用周辺監視システム。

【0155】

（５）
前記表示装置は、前記監視対象検知部により現に検知されている前記監視対象の検知数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
（３）又は（４）に記載の作業機械用周辺監視システム。

【0156】

（６）
前記監視対象検知部により検知される前記監視対象の検知数の上限である最大検知数が予め規定され、
前記表示装置は、前記最大検知数に応じて、前記目印の表示態様を変更する、
（２）に記載の作業機械用周辺監視システム。

【0157】

（７）
前記表示装置は、前記最大検知数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
（６）に記載の作業機械用周辺監視システム。

【0158】

（８）
前記表示装置は、前記画像に含まれる前記監視対象の数に応じて、前記目印の表示態様を変更する、
（１）に記載の作業機械用周辺監視システム。

【0159】

（９）
前記表示装置は、前記画像に含まれる前記監視対象の数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
（８）に記載の作業機械用周辺監視システム。

【0160】

（１０）
前記表示装置と別に設けられ、２種類以上の目印画像の中から前記目印として表示させる一の目印画像を選択する選択部と、前記選択部により選択された前記一の目印画像を前記表示装置に表示させるために必要な仕様情報のデータを前記表示装置に送信する送信部と、を含む制御装置を更に備え、
前記表示装置は、前記制御装置から受信する前記一の目印画像を前記目印として表示する、
（１）乃至（９）の何れか一項に記載の作業機械用周辺監視システム。

【0161】

（１１）
前記データの前記仕様情報に含まれる前記一の目印画像の前記画像上における位置情報の分解能を調整する分解能調整部を更に備え、
前記送信部は、前記分解能調整部により前記位置情報の分解能が調整された前記データを前記表示装置に送信する、
（１０）に記載の作業機械用周辺監視システム。

【0162】

［周辺監視システムの第２の特徴機能］
次いで、本実施形態に係る周辺監視システム１００に関する第２の特徴機能、具体的には、目印表示機能の他の例（以下、「第２の目印表示機能」とも称する場合がある）について説明する。

【0163】

尚、第１の目印表示機能及び第２の目印表示機能は、それぞれが単体で実行されてもよいし、組み合わせられて実行されてもよい。つまり、第１の目印表示機能及び第２の目印表示機能のそれぞれに関する構成は、組み合わせられてもよいし、共用されてもよい。

【0164】

＜第２の特徴機能による作用に関する概要＞
まず、第２の特徴機能（第２の目印表示機能）による作用に関する概要を説明する。

【0165】

作業機械の周辺をカメラで撮像し、その撮像画像や該撮像画像に基づき生成される加工画像（例えば、視点変換画像）等の作業機械の周辺の様子を表す監視画像を操縦席付近の表示装置に表示する周辺監視システムが知られている（例えば、特開２０１２－２２１４３７号公報等参照）。

【0166】

しかしながら、作業現場の状況や監視対象の動作状態等に依っては、表示装置に表示される監視画像に映る監視対象（例えば、人や車両等の人以外の障害物等）が見えづらくなり、オペレータが監視対象の存在を把握しにくくなる可能性がある。

【0167】

そこで、本実施形態では、第２の特徴機能によって、オペレータ等が表示装置に表示される監視画像に映る監視対象の存在をより容易に把握することが可能な作業機械用周辺監視システムを提供する。

【0168】

＜周辺監視システムの構成＞
次に、図１７を参照して、第２の特徴機能に関する周辺監視システム１００の具体的な構成について説明する。

【0169】

図１７は、第２の特徴機能に関する周辺監視システム１００の構成の一例を示すブロック図である。

【0170】

尚、図１７では、第２の特徴機能に関する構成を中心に示され、図１、図２に示される他の構成は、省略される。

【0171】

周辺監視システム１００は、ショベルの周辺の所定範囲内への所定の物体（本実施形態では、車両及び人）の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０を含む。

【0172】

コントローラ３０は、上述の如く、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、例えば、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、監視対象検知部３０１Ｂ、監視画像表示処理部３０２Ｂ、目印表示処理部３０３Ｂを含む。

【0173】

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む比較的広い上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

【0174】

表示装置５０は、コントローラ３０（具体的には、監視画像表示処理部３０２Ｂ）による制御の下、ショベルの周辺の様子を表す監視画像を表示する。監視画像には、撮像装置４０の撮像画像（スルー画像）、及びコントローラ３０（具体的には、監視画像表示処理部３０２Ｂ）により撮像装置４０の撮像画像に基づき生成される周辺画像（例えば、視点変換画像）等が含まれる。詳細は、後述する（図１８、図１９参照）。

【0175】

監視対象検知部３０１Ｂは、ショベル周辺の所定の監視対象を検知する。監視対象は、例えば、人、作業車両（トラック）、その他の障害物等である。以下、本実施形態では、監視対象が人である前提で説明を行う。具体的には、監視対象検知部３０１Ｂは、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺における所定領域（以下、「監視エリア」と称する）内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の監視対象（即ち、人）を検知する。例えば、監視対象検知部３０１Ｂは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置４０の撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄやショベルから見た方向等）を特定することができる。

【0176】

尚、監視対象検知部３０１Ｂは、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果（距離画像等）に基づき、監視対象を検知してもよい。

【0177】

監視画像表示処理部３０２Ｂは、オペレータによる各種操作等に応じて、表示装置５０に撮像装置４０により撮像されるショベルの周辺の様子を表す画像（以下、監視画像と称する）を表示させる。

【0178】

例えば、監視画像表示処理部３０２Ｂは、オペレータによる所定操作に応じて、撮像装置４０、即ち、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像（スルー画像）を監視画像として表示装置５０にそのまま表示させる（図１８参照）。この際、監視画像表示処理部３０２Ｂは、オペレータによる操作の内容や設定内容等に応じて、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの１つのカメラの撮像画像を表示装置５０に表示させてもよいし、複数（２つ或いは３つ）のカメラの撮像画像を同時に表示装置５０に表示させてもよい。

【0179】

また、例えば、監視画像表示処理部３０２Ｂは、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づく所定の処理を施すことにより、周辺画像（例えば、視点変換画像）を生成し、表示装置５０に表示させる（図１９参照）。具体的には、監視画像表示処理部３０２Ｂは、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。この際、監視画像表示処理部３０２Ｂは、後方カメラ４０Ｂ，左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの１つのカメラの撮像画像から周辺画像を生成し、表示装置５０に表示させてもよいし、複数（２つ主は３つ）のカメラの撮像画像から周辺画像を生成し、表示装置５０に表示させてもよい。

【0180】

目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより監視対象が検知された場合、表示装置５０に表示されている監視画像上に、監視画像に含まれる監視対象（即ち、人）の位置（具体的には、監視対象検知部３０１Ｂにより検知された位置）を表す目印であるマーカを重畳して表示させる。マーカは、監視画像に含まれる人の位置を強調することが可能であれば、任意の態様であってよく、例えば、図形、色、模様等、或いはそれらの組み合わせ等により構成されてよい。例えば、目印表示処理部３０３Ｂは、後述の如く、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動しているか否かに応じて、目印の表示態様を変化させる（図２０～図２３、図２７、図２８参照）。また、例えば、目印表示処理部３０３Ｂは、後述の如く、ショベルと監視対象検知部３０１Ｂにより検知された監視対象との間の衝突に関するリスクポテンシャルに応じて、目印の表示態様を変化させる（図２３～図２８参照）。

【0181】

＜監視画像上のマーカの概要＞
次に、図１８（図１８Ａ、図１８Ｂ）、図１９（図１９Ａ、図１９Ｂ）を参照して、監視画像表示処理部３０２Ｂにより表示装置５０に表示される監視画像、及び目印表示処理部３０３Ｂにより表示装置５０の監視画像上に重畳して表示されるマーカの概要について説明する。

【0182】

図１８Ａ、図１８Ｂは、共に、表示装置５０に表示される監視画像の一例（監視画像ＭＰ１）を示す図であり、具体的には、表示装置５０に監視画像ＭＰ１として表示されるスルー画像を示す図である。図１９Ａ，図１９Ｂは、共に、表示装置５０に表示される監視画像の他の例（監視画像ＭＰ２）を示す図であり、具体的には、表示装置５０に表示される周辺画像ＥＰ（視点変換画像）を中心とする監視画像ＭＰ２を示す図である。

【0183】

図１８Ａ、図１８Ｂに示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの何れか１つのカメラの撮像画像が表示されている。

【0184】

また、図１９Ａ、図１９Ｂに示すように、表示装置５０における横長の長方形の画面には、上述の如く、ショベル画像ＣＧと、ショベルと撮像装置４０の撮像領域との相対位置関係に合わせて、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視画像ＭＰ２が表示されている。これにより、オペレータは、周辺画像ＥＰに写っている監視対象（即ち、人）と、ショベルとの位置関係を適切に把握することができる。

【0185】

本例では、周辺画像ＥＰは、ショベルに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

【0186】

また、監視画像ＭＰ２（周辺画像ＥＰ）には、ガイドラインＧＬ１が重畳表示される。ガイドラインＧＬ１は、ショベルからの距離Ｄが所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、監視画像内の周辺画像に監視対象（即ち、人）が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握しやすくなる。

【0187】

また、図１８、図１９に示すように、表示装置５０に表示される監視画像ＭＰ１，ＭＰ２には、監視対象である人（作業者Ｗ１Ｂ，Ｗ２Ｂ）が含まれている。また、監視画像ＭＰ１，ＭＰ２上の作業者Ｗ１Ｂ，Ｗ２Ｂには、監視対象検知部３０１Ｂにより検知されていること及びその検知位置を表す目印であるマーカＭＫ１～ＭＫ４が重畳して表示されている。これにより、オペレータは、監視対象検知部３０１Ｂにより監視対象（即ち、人）が検知されたことを気付きやすくなると共に、表示装置５０に表示される監視画像、具体的には、スルー画像或いは周辺画像（視点変換画像）上において、監視対象検知部３０１Ｂにより検知された監視対象（即ち、人）の状況等を視認し易くなる。

【0188】

図１８Ａ、図１９Ａに示すように、マーカＭＫ１，ＭＫ３は、監視画像ＭＰ１，ＭＰ２上の作業者Ｗ１Ｂ，Ｗ２Ｂを取り囲むように設けられるボックス枠である。目印表示処理部３０３Ｂは、ボックス枠のように、監視画像上の占有領域が大きく、また、監視画像に含まれる監視対象全体を強調する態様のマーカを表示させることにより、オペレータは、監視対象の存在を把握し易くなる。また、図１８Ｂ，図１９Ｂに示すように、マーカＭＫ２，ＭＫ４は、監視画像ＭＰ１，ＭＰ２上の作業者Ｗ１Ｂ，Ｗ２Ｂのショベル周辺における移動軌跡を示す軌跡線である。目印表示処理部３０３Ｂは、軌跡線をマーカとして表示させることにより、監視画像上の監視対象の存在だけでなく、ショベルの周辺領域（即ち、後方領域、左側方領域、及び右側方領域）における監視対象の移動状況を把握することができる。このように、目印表示処理部３０３Ｂは、ボックス枠や軌跡線等の予め規定される種類の異なる目印を表示してよい。詳細は、後述する。

【0189】

尚、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂから出力される、検知された監視対象の位置の履歴を、コントローラ３０の内部メモリ（バッファ）等に保持することにより、軌跡線の監視画像上における座標情報を生成する。また、目印表示処理部３０３Ｂは、ショベルが移動したり、旋回したりした場合、ショベルの移動状態や旋回状態に基づき、監視画像上における座標情報を補正することにより、表示装置５０の監視画像上に表示させる軌跡線の表示位置を補正する。この場合、目印表示処理部３０３Ｂは、ショベルの走行状態や旋回状態を検出するセンサ（不図示）の検出信号に基づき、ショベルの移動量や旋回量を取得してよい。

【0190】

また、図１８Ｂ、図１９Ｂに示すように、マーカＭＫ２，ＭＫ４は、実線で示される、比較的新しい（即ち、相対的に時間経過の進んでいない）移動軌跡部分ＭＫ２１，ＭＫ４１と、点線で示される、比較的古い（即ち、相対的に時間経過の進んでいる）移動軌跡部分ＭＫ２２，ＭＫ４２を含む。目印表示処理部３０３Ｂは、表示装置５０の監視画像上にマーカとして軌跡線を表示させる場合、軌跡線のうちの相対的に時間経過が進んだ部分が、相対的に時間経過が進んでいない部分よりも見えにくくなる態様、例えば、点線で示される他、時間経過と共に、徐々に薄くなっていく等の態様で表示させてよい。これにより、表示装置５０の監視画像上に対応するショベルの周辺領域での監視対象の移動軌跡が比較的長くなっても、監視画像上に実際に表示される軌跡線のうちの時系列的に比較的古い部分が見えにくくなるため、監視画像上の軌跡線の表示が煩雑になる事態を抑制できる。

【0191】

また、図１９Ｂに示すように、監視画像ＭＰ２、即ち、周辺画像ＥＰ上の作業者Ｗ２Ｂの軌跡線であるマーカＭＫ４は、左側方カメラ４０Ｌの撮像領域に対応する画像部分から後方カメラ４０Ｂの撮像領域に対応する画像部分に含まれる作業者Ｗ２Ｂの位置まで連続的に描画されている。このように、目印表示処理部３０３Ｂは、複数のカメラ（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒ）の撮像領域が含まれる監視画像（即ち、複数のカメラのスルー画像を含む監視画像、或いは、複数のカメラの撮像画像に基づき生成される周辺画像を含む監視画像）上にマーカとして軌跡線を表示させる場合、複数のカメラの撮像領域に対応する画像部分を跨ぐ態様で、軌跡線を連続的に表示させてよい。即ち、目印表示処理部３０３Ｂは、複数のカメラのうちのあるカメラの撮像領域に対応する画像部分に監視対象（即ち、人）が含まれなくなっても、監視画像から監視対象がいなくなるまで、軌跡線の表示を維持させる態様であってよい。

【0192】

尚、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより監視対象が現に検知されている場合だけ、監視画像上に、マーカとしての軌跡線を表示させてよい。即ち、例えば、目印表示処理部３０３Ｂは、監視画像に含まれていた監視対象が監視画像上に含まれなくなった場合、軌跡線としてのマーカを監視画像上から消去してよい。また、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されていた監視対象が検知されなくなった場合であっても、当該監視対象の軌跡線を一定時間残しておいてもよい。この場合、目印表示処理部３０３Ｂは、一定時間が経過するまでの間、軌跡線を徐々に見えにくくする態様、例えば、徐々に軌跡線を薄くしたり、線種を点線等の見えにくい線種に変更したりする等の態様であってもよい。

【0193】

＜周辺監視装置による目印表示処理の詳細＞
次に、引き続き、図１８、図１９を参照しつつ、更に、図２０～図２８を参照して、目印表示処理部３０３Ｂによる表示装置５０の監視画像上にマーカ（目印）を重畳して表示させる処理（目印表示処理）について、具体的に説明をする。

【0194】

まず、図２０は、目印表示処理部３０３Ｂによる目印表示処理の第１例を説明する図である。具体的には、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第１例を示す図である。

【0195】

本例では、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0196】

具体的には、図２０に示すように、監視対象検知部３０１Ｂにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅する。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが停止している場合、図１８Ａ、図１９Ａに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ１，ＭＫ３としてのボックス枠を重畳して表示させる。この際、目印表示処理部３０３Ｂは、マーカＭＫ１，ＭＫ３としてのボックス枠を、赤色、且つ、点滅する状態で表示させる。

【0197】

一方、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅しない。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが移動している場合、図１８Ａ、図１９Ａに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ１，ＭＫ３としてのボックス枠を重畳して表示させる。この際、目印表示処理部３０３Ｂは、マーカＭＫ１，ＭＫ３としてのボックス枠を、赤色、且つ、点滅なし（即ち、常時点灯）の状態で表示させる。

【0198】

このように、本例では、目印表示処理部３０３Ｂは、表示装置５０の監視画像上に、監視対象検知部３０１Ｂにより検知されている監視対象の検知位置を表すマーカとしてボックス枠を表示させる。そのため、上述の如く、監視画像上の占有領域が大きく、また、監視画像に含まれる監視対象全体を強調する態様のマーカとしてボックス枠を表示させることにより、オペレータは、監視対象の存在を把握し易くなる。また、本例では、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合と、停止している場合とで、表示装置５０における監視画像上のマーカを異なる表示態様で表示させる。即ち、目印表示処理部３０３Ｂは、監視対象が移動している場合と、停止している場合とで、マーカの属性の一部（本例では、点滅の有無）を変化させる。これにより、オペレータは、監視対象が移動しているのか、停止しているのかを容易に判別できる。また、停止している監視対象は、背景と同化し易く、移動している監視対象よりも視認しにくい場合があるところ、移動している監視対象の場合と異なる表示態様でマーカが表示されるため、停止している監視対象を移動している監視対象よりも相対的に強調させる、即ち、マーカを点滅させて強調させることができる。そのため、オペレータは、表示装置５０の監視画像上の停止している監視対象を把握し易くなる。

【0199】

尚、マーカの属性には、予め規定される種類（例えば、形状の違い等）、色、点滅の有無等の他、模様、大きさ、輝度等、任意の項目が含まれうる。

【0200】

続いて、図２１は、目印表示処理部３０３Ｂによる目印表示処理の第２例を説明する図である。具体的には、図２１は、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第２例を示す図である。

【0201】

本例では、上述した第１例と同様、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0202】

具体的には、図２１に示すように、監視対象検知部３０１Ｂにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅する。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが停止している場合、図１８Ｂ、図１９Ｂに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ２，ＭＫ４としての軌跡線を重畳して表示させる。この際、目印表示処理部３０３Ｂは、マーカＭＫ２，ＭＫ４としての軌跡線を、赤色、且つ、点滅する状態で表示させる。

【0203】

一方、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅しない。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが移動している場合、図１８Ｂ、図１９Ｂに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ２，ＭＫ４としての軌跡線を重畳して表示させる。この際、目印表示処理部３０３Ｂは、マーカＭＫ２，ＭＫ４としての軌跡線を、赤色、且つ、点滅なし（即ち、常時点灯）の状態で表示させる。

【0204】

このように、本例では、目印表示処理部３０３Ｂは、表示装置５０の監視画像上に、監視対象検知部３０１Ｂにより検知されている監視対象の検知位置を表すマーカとして軌跡線を表示させる。これにより、上述の如く、監視画像上の監視対象の存在だけでなく、ショベルの周辺領域における監視対象の移動状況を把握することができる。また、目印表示処理部３０３Ｂは、上述した第１例と同様、監視対象が移動している場合と、これにより、上述した第１例と同様、オペレータは、表示装置５０の監視画像上の停止している監視対象を把握し易くなる。

【0205】

続いて、図２２は、目印表示処理部３０３Ｂによる目印表示処理の第３例を説明する図である。具体的には、図２２は、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第３例を示す図である。

【0206】

本例では、上述した第１例等と同様、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0207】

具体的には、図２２に示すように、監視対象検知部３０１Ｂにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅する。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが停止している場合、図１８Ａ、図１９Ａに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ１，ＭＫ３としてのボックス枠を重畳して表示させる。この際、目印表示処理部３０３Ｂは、ボックス枠としてのマーカＭＫ１，ＭＫ３を、赤色、且つ、点滅する状態で表示させる。

【0208】

一方、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、表示装置５０の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅しない。例えば、目印表示処理部３０３Ｂは、作業者Ｗ１Ｂ，Ｗ２Ｂが移動している場合、図１８Ｂ、図１９Ｂに示すように、監視画像ＭＰ１，ＭＰ２上に、マーカＭＫ２，ＭＫ４としての軌跡線を重畳して表示させる。この際、目印表示処理部３０３Ｂは、軌跡線としてのマーカＭＫ２，ＭＫ４を、赤色、且つ、点滅なし（即ち、常時点灯）の状態で表示させる。

【0209】

このように、本例では、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合と、停止している場合とで、表示装置５０における監視画像上のマーカを異なる表示態様で表示させる。即ち、目印表示処理部３０３Ｂは、監視対象が移動している場合と、停止している場合とで、マーカの属性の一部、即ち、マーカの種類（ボックス枠或いは軌跡線）、及び点滅の有無を変化させる。これにより、第１例等と同様、オペレータは、監視対象が移動しているのか、停止しているのかを容易に判別できると共に、表示装置５０の監視画像上の停止している監視対象を把握し易くなる。特に、本例では、マーカの複数（３つ）の属性のうち、２つの属性を変化させるため、この点において、表示装置５０の監視画像上の停止している監視対象を更に把握し易くなる。また、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合に、表示装置５０の監視画像上にマーカとして軌跡線を表示させるため、オペレータは、直感的に、軌跡線とボックス枠に違いにより監視対象が移動しているか停止しているかを理解でき、監視対象が移動しているのか、停止しているのかを更に判別し易くなる。

【0210】

尚、上述した第１例（図２０）～第３例（図２２）において、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合と停止している場合とで、予め規定されるマーカの属性（本例の場合、予め規定される種類、色、点滅の有無の３つ）の全てを変化させてもよい。

【0211】

続いて、図２３は、目印表示処理部３０３Ｂによる目印表示処理の第４例を説明する図である。具体的には、図２３は、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第４例を示す図である。

【0212】

本例では、上述した第１例等と同様、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0213】

具体的には、図２３に示すように、表示装置５０の監視画像上に表示されるマーカは、上述した第３例と同様、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、点滅なし（即ち、常時点灯）の軌跡線であり、停止している場合、点滅するボックス枠である。即ち、目印表示処理部３０３Ｂは、監視対象が移動している場合と移動していない場合とで、マーカの複数の属性のうちの２つの属性（マーカの種類、点滅の有無）を変化させる。

【0214】

また、本例では、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）とショベルとの間の衝突に関するリスクポテンシャルに応じて、目印の表示態様、即ち、マーカの複数の属性のうちの１つの属性（色）を変化させる。本例では、リスクポテンシャルの指標として、ショベルと監視対象との位置関係、具体的には、監視対象とショベルと距離を採用する。

【0215】

具体的には、図２３に示すように、監視対象検知部３０１Ｂにより検知されている監視対象のリスクポテンシャルが比較的低い、即ち、ショベルとの距離が比較的遠い場合、表示装置５０の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部３０１Ｂにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、ショベルとの距離が比較的近い場合、表示装置５０の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象とショベルとの距離が比較的近い（例えば、所定閾値以下である）場合、表示装置５０の監視画像上に赤色のマーカを表示させ、監視対象とショベルとの距離が比較的遠い（例えば、所定閾値より遠い）場合、表示装置５０の監視画像上に青色のマーカを表示させる。

【0216】

例えば、図２４（図２４Ａ、図２４Ｂ）、図２５（図２５Ａ、図２５Ｂ）は、目印表示処理部３０３Ｂによる目印表示処理により表示装置５０のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。具体的には、図２４は、監視対象検知部３０１Ｂにより検知されている監視対象が停止している場合に、目印表示処理部３０３Ｂの目印表示処理により表示装置５０のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。また、図２５は、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合に、目印表示処理部３０３Ｂの本例に係る目印表示処理により表示装置５０のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【0217】

本例では、図２４Ａに示すように、停止している作業者Ｗ５Ｂがショベルから比較的遠い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ５として、青の点滅するボックス枠を重畳して表示させる。一方、図２４Ｂに示すように、停止している作業者Ｗ６Ｂがショベルから比較的近い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ６として、赤の点滅するボックス枠を表示させる。

【0218】

また、本例では、図２４Ｂに示すように、移動している作業者Ｗ７Ｂがショベルから比較的遠い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ７として、青の軌跡線（点滅なし）を重畳して表示させる。一方、図２５Ｂに示すように、移動している作業者Ｗ８Ｂがショベルから比較的近い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ８として、赤の軌跡線（点滅なし）を重畳して表示させる。

【0219】

また、例えば、図２６（図２６Ａ、図２６Ｂ）は、目印表示処理部３０３Ｂによる目印表示処理により表示装置５０の周辺画像に重畳して表示されるマーカの一例を示す図である。具体的には、図２６Ａは監視対象検知部３０１Ｂにより検知されている監視対象が停止している場合に、目印表示処理部３０３Ｂの目印表示処理により表示装置５０の周辺画像に重畳して表示されるマーカの表示態様の一例を示す図である。また、図２６Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合に、目印表示処理部３０３Ｂの目印表示処理により表示装置５０の周辺画像に重畳して表示されるマーカの表示態様の一例を示す図である。

【0220】

本例では、図２６Ａに示すように、停止している作業者Ｗ９Ｂがショベルから比較的遠い位置にいる、例えば、ガイドラインＧＬ１より外側にいる場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ９として、青の点滅するボックス枠を表示させる。一方、停止している作業者Ｗ１０Ｂがショベルから比較的近い位置にいる、例えば、ガイドラインＧＬ１以内にいる場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１０として、赤の点滅するボックス枠を表示させる。

【0221】

また、本例では、図２６Ｂに示すように、移動している作業者Ｗ１１Ｂがショベルから比較的遠い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１１として、青の軌跡線（点滅なし）を表示させる。また、移動している作業者Ｗ１２Ｂがショベルから比較的近い位置にいる場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１２として、赤の軌跡線（点滅なし）を表示させる。

【0222】

このように、本例では、目印表示処理部３０３Ｂは、上述した第１例（図２０）等と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第１例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部３０３Ｂは、ショベルと監視対象との位置関係、即ち、監視対象とショベルと距離に応じて、監視対象とショベルとの距離が比較的近い場合と比較的遠い場合とで、マーカの表示態様、即ち、マーカの色を変化させる。そのため、オペレータは、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低、即ち、監視対象がショベルから比較的遠いのか近いのかを把握することができる。特に、本例では、ショベルと監視対象との距離が比較的近い、即ち、リスクポテンシャルが高い場合に、リスクを想起させる"赤"のマーカが表示されるため、この点において、リスクポテンシャルを更に把握し易くなる。

【0223】

尚、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象が移動しており、且つ、監視対象とショベルとの距離が比較的近い場合だけ、マーカとして軌跡線を表示させ、それ以外の場合、即ち、監視対象が移動していない、或いは、監視対象とショベルとの距離が比較的遠い場合、マーカとしてボックス枠を表示させてもよい。比較的遠い監視対象の移動軌跡は、必要性が比較的低い場合も有り得るからである。

【0224】

続いて、図２７は、目印表示処理部３０３Ｂによる目印表示処理の第５例を説明する図である。具体的には、図２７は、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第５例を示す図である。

【0225】

本例では、上述した第１例等と同様、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0226】

具体的には、図２７に示すように、表示装置５０の監視画像上に表示されるマーカは、上述した第３例等と同様、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、点滅なし（即ち、常時点灯）の軌跡線であり、停止している場合、点滅するボックス枠である。即ち、目印表示処理部３０３Ｂは、監視対象が移動している場合と移動していない場合とで、マーカの複数の属性のうちの２つの属性（マーカの種類、点滅の有無）を変化させる。

【0227】

また、本例では、目印表示処理部３０３Ｂは、上述した第４例と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）とショベルとの間の衝突に関するリスクポテンシャルに応じて、マーカの表示態様、即ち、マーカの複数の属性のうちの１つの属性（色）を変化させる。本例では、リスクポテンシャルの指標として、ショベルと監視対象との位置関係、具体的には、監視対象とショベルとの距離の時系列的な変化の状況、即ち、経時変化の状況を採用する。

【0228】

具体的には、図２７に示すように、監視対象検知部３０１Ｂにより検知されている監視対象のリスクポテンシャルが比較的低い、即ち、時系列的に監視対象がショベルに近づいてきていない（即ち、ショベルと監視対象との距離に変化がない、或いは、監視対象がショベルから遠ざかっている）場合、表示装置５０の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部３０１Ｂにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、時系列的に監視対象がショベルに近づいてきている場合、表示装置５０の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象とショベルとの距離の経時変化が監視対象のショベルへの接近を表している場合、表示装置５０の監視画像上に赤色のマーカを表示させ、監視対象とショベルとの距離の経時変化がショベルへの接近を表していない場合、表示装置５０の監視画像上に青色のマーカを表示させる。

【0229】

尚、目印表示処理部３０３Ｂは、過去の一定時間におけるショベルと監視対象との距離の変化をモニタリングすることにより、監視対象がショベルに近づいてきているか否かを判定してよい。

【0230】

例えば、本例では、上述した図２４Ａに示すように、停止している作業者Ｗ５Ｂがショベルから比較的遠い位置にいる場合でも、作業者Ｗ５Ｂが時系列的にショベルに近づいてきている場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ５として、赤の点滅するボックス枠を表示させる。一方、上述した図２４Ｂに示すように、停止している作業者Ｗ６Ｂがショベルから比較的近い位置にいる場合でも、作業者Ｗ６Ｂが時系列的にショベルから遠ざかっている場合、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ６として、青の点滅するボックス枠を表示させる。

【0231】

また、本例では、例えば、上述した図２５Ａに示すように、移動している作業者Ｗ７Ｂは、ショベルから比較的遠い位置にいるものの、ショベルに近づいてきているため、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ７として、赤の軌跡線（点滅なし）を表示させる。一方、上述した図２５Ｂに示すように、移動している作業者Ｗ８Ｂは、ショベルから比較的近い位置にいるものの、ショベルから遠ざかっているため、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ８として、青の軌跡線（点滅なし）を表示させる。

【0232】

また、本例では、例えば、上述した図２６Ａに示すように、停止している作業者Ｗ９Ｂがショベルから比較的遠い位置にいる、例えば、ガイドラインＧＬ１より外側にいる場合でも、作業者Ｗ９Ｂが時系列的にショベルに近づいてきている場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ９として、赤の点滅するボックス枠を表示させる。一方、停止している作業者Ｗ１０Ｂがショベルから比較的近い位置にいる、例えば、ガイドラインＧＬ１以内にいる場合でも、作業者Ｗ１０Ｂが時系列的にショベルから遠ざかっている場合、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１０として、青の点滅するボックス枠を表示させる。

【0233】

また、本例では、図２６Ｂに示すように、移動している作業者Ｗ１１Ｂは、ショベルから比較的遠い位置にいるものの、ショベルに近づいてきているため、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１１として、赤の軌跡線（点滅なし）を表示させる。また、移動している作業者Ｗ１２Ｂは、ショベルから比較的近い位置にいるものの、ショベルに近づいた後、ショベルから遠ざかっているため、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１２として、青の軌跡線（点滅なし）を表示させる。

【0234】

尚、図２６Ｂに示すように、周辺画像ＥＰに含まれる作業者Ｗ１２Ｂは、ショベルに近づいた後、ショベルから遠ざかっているため、目印表示処理部３０３Ｂは、作業者Ｗ１２ＢのマーカＭＫ１２（軌跡線）のうちのショベルに近づいてきている軌跡部分を赤とすると共に、ショベルから遠ざかる軌跡部分を青としてもよい。以下、後述する第６例（図２８）についても同様である。

【0235】

このように、本例では、目印表示処理部３０３Ｂは、上述した第１例（図２０）等と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第１例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部３０３Ｂは、ショベルと監視対象との位置関係、即ち、監視対象とショベルとの距離の経時変化の状況に応じて、監視対象がショベルに近づいてきている場合とそれ以外の場合（ショベルから遠ざかっている場合、或いは、ショベルとの距離に変化がない場合）とで、マーカの表示態様、即ち、マーカの色を変化させる。そのため、オペレータは、上述した第４例と同様、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低、即ち、監視対象がショベルに近づいてきているのか否かを把握することができる。特に、本例では、第４例と同様、監視対象がショベルに近づいてきている、即ち、リスクポテンシャルが高い場合に、リスクを想起させる"赤"のマーカが表示されるため、この点において、リスクポテンシャルを更に把握し易くなる。

【0236】

続いて、図２８は、目印表示処理部３０３Ｂによる目印表示処理の第６例を説明する図である。具体的には、図２８は、目印の表示態様（即ち、マーカの属性）を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第６例を示す図である。

【0237】

本例では、目印表示処理部３０３Ｂは、上述した第１例等と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。

【0238】

具体的には、図２８に示すように、表示装置５０の監視画像上に表示されるマーカは、監視対象検知部３０１Ｂにより検知されている監視対象が移動している場合、軌跡線であり、停止している場合、ボックス枠である。即ち、目印表示処理部３０３Ｂは、監視対象が移動している場合と移動していない場合とで、マーカの属性のうちの１つの属性（マーカの種類）を変化させる。

【0239】

また、本例では、目印表示処理部３０３Ｂは、上述した第４例等と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）とショベルとの間の衝突に関するリスクポテンシャルに応じて、マーカの表示態様、即ち、マーカの属性を変化させる。本例では、リスクポテンシャルの指標として、上述したショベルと監視対象との位置関係、具体的には、上述した第４例における監視対象とショベルとの距離、及び上述した第５例における監視対象とショベルとの距離の時系列的な変化の状況、即ち、経時変化の状況の双方を採用する。

【0240】

具体的には、図２８に示すように、監視対象検知部３０１Ｂにより検知されている監視対象とショベルとの距離が比較的遠い場合、表示装置５０の監視画像上に表示されるマーカは、点滅なしの状態、即ち、常時点灯状態である。一方、監視対象検知部３０１Ｂにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、ショベルとの距離が比較的近い場合、表示装置５０の監視画像上に表示されるマーカは、点滅状態である。即ち、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象とショベルとの距離が比較的近い場合と、比較的遠い場合とで、表示装置５０の監視画像上に表示させるマーカの複数の属性のうちの１つの属性（点滅の有無）を変化させる。

【0241】

また、監視対象検知部３０１Ｂにより検知されている監視対象が時系列的にショベルに近づいてきていない場合、表示装置５０の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部３０１Ｂにより検知されている監視対象が時系列的にショベルに近づいてきている場合、表示装置５０の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部３０３Ｂは、監視対象検知部３０１Ｂにより検知されている監視対象とショベルとの距離の経時変化が監視対象のショベルへの接近を表している場合とショベルへの接近を表していない場合とで、表示装置５０の監視画像上に表示させるマーカの複数の属性のうちの１つの属性（色）を変化させる。

【0242】

例えば、上述した図２４Ａに示すように、停止している作業者Ｗ５Ｂがショベルから比較的遠い位置にいるため、目印表示処理部３０３Ｂは、作業者Ｗ５Ｂがショベルに近づいてきている場合、表示装置５０のスルー画像上に、マーカＭＫ５として、点滅しない、即ち、常時点灯の赤のボックス枠を表示させ、作業者Ｗ５Ｂがショベルに近づいてきていない場合、表示装置５０のスルー画像上に、マーカＭＫ５として、点滅しない、即ち、常時点灯の青のボックス枠を表示させる。一方、上述した図２４Ｂに示すように、停止している作業者Ｗ６Ｂは、ショベルから比較的近い位置にいるため、目印表示処理部３０３Ｂは、作業者Ｗ６Ｂがショベルに近づいてきている場合、表示装置５０のスルー画像上に、マーカＭＫ６として、点滅する赤のボックス枠を表示させ、作業者Ｗ５Ｂがショベルに近づいてきていないときに、表示装置５０のスルー画像上に、マーカＭＫ６として、点滅する青のボックス枠を表示させる。

【0243】

また、例えば、上述した図２５Ａに示すように、移動している作業者Ｗ７Ｂは、ショベルから比較的遠い位置で、ショベルに近づいてきているため、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ７として、点滅しない、即ち、常時点灯の赤の軌跡線を表示させる。一方、上述した図２５Ｂに示すように、移動している作業者Ｗ８Ｂは、ショベルに比較的近い位置で、ショベルから遠ざかっているため、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ８として、点滅する青の軌跡線を表示させる。

【0244】

また、例えば、上述した図２６Ａに示すように、停止している作業者Ｗ９Ｂは、ショベルから比較的遠い位置にいるため、目印表示処理部３０３Ｂは、作業者Ｗ９Ｂがショベルに近づいてきている場合、表示装置５０の周辺画像ＥＰに、マーカＭＫ９として、点滅しない、即ち、常時点灯の赤のボックス枠を表示させ、作業者Ｗ９Ｂがショベルに近づいてきていない場合、表示装置５０の周辺画像ＥＰに、マーカＭＫ９として、点滅しない、即ち、常時点灯の青のボックス枠を表示させる。一方、停止している作業者Ｗ１０Ｂは、ショベルに比較的近い位置にいるため、目印表示処理部３０３Ｂは、作業者Ｗ１０Ｂがショベルに近づいてきている場合、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１０として、点滅する赤のボックス枠を表示させ、作業者Ｗ１０Ｂがショベルに近づいてきていない場合、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１０として、点滅する青のボックス枠を表示させる。

【0245】

また、例えば、上述した図２６Ｂに示すように、移動している作業者Ｗ１１Ｂは、ショベルから比較的遠い位置で、ショベルに近づいてきているため、目印表示処理部３０３Ｂは、表示装置５０の周辺画像ＥＰ上に、マーカＭＫ１１として、点滅しない、即ち、常時点灯の赤の軌跡線を表示させる。一方、移動している作業者Ｗ１２Ｂは、ショベルに比較的近い位置で、ショベルから遠ざかっているため、目印表示処理部３０３Ｂは、表示装置５０のスルー画像上に、マーカＭＫ１２として、点滅する青の軌跡線を表示させる。

【0246】

このように、本例では、目印表示処理部３０３Ｂは、上述した第１例（図２０）等と同様、監視対象検知部３０１Ｂにより検知されている監視対象（即ち、人）が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第１例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部３０３Ｂは、ショベルと監視対象との位置関係に応じて、マーカの表示態様、即ち、マーカの属性を変化させる。そのため、オペレータは、上述した第４例（図２３）等と同様、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低を把握することができる。また、本例では、リスクポテンシャルに関する指標として、監視対象とショベルとの距離（第１の指標）と、当該距離の経時変化の状況（第２の指標）の双方を採用すると共に、第１の指標及び第２の指標の各々に基づくリスクポテンシャルを、マーカの異なる属性（点滅の有無、及び色）の変化で表現している。そのため、オペレータは、２つの指標に基づくリスクポテンシャルの高低を把握することができる。

【0247】

尚、図２０～図２８に示す例示では、監視対象に関する条件ごとのマーカの属性は予め規定されているが、オペレータ等により監視対象に関する条件ごとのマーカの属性の設定が可能な構成であってもよい（図２９参照）。

【0248】

＜マーカ属性の設定＞
次に、図２９を参照して、オペレータ等によるマーカの表示設定（マーカ属性の設定）について説明する。

【0249】

図２９は、表示装置５０に表示される、オペレータ等がマーカの表示設定を行うための操作画面（以下、（「マーカ設定画面」と称する）の一例（マーカ設定画面２９００）を示す図である。

【0250】

マーカ設定画面２９００では、オペレータ等がマーカの属性を具体的に設定することができる。

【0251】

マーカ設定画面２９００は、キャビン１０内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置５０に実装されるタッチパネル等により操作可能なボタンアイコン２９０１～２９０４を含む。

【0252】

ボタンアイコン２９０１は、"一律選択"の文字情報が付記されており、オペレータ等は、当該ボタンアイコン２９０１を選択し、決定する操作を行うことにより、監視画像に表示させるマーカの属性を固定させるための設定画面に遷移することができる。よって、オペレータ等は、遷移後の設定画面で、マーカの属性を個別に設定することで、自分の好みの目印画像を設定することができる。

【0253】

ボタンアイコン２９０２は、"監視対象の位置"の文字情報が付されている。オペレータ等は、当該ボタンアイコン２９０２を選択し、決定する操作を行うことにより、監視対象に関する条件のうちの監視対象の位置に関する条件ごとのマーカの属性を具体的に設定することができる。よって、オペレータ等は、遷移後の設定画面で、例えば、監視対象がショベルに対して相対的に近い位置にいる場合と、遠い位置にいる場合とで、異なる属性のマーカを自分の好みで設定することができる。

【0254】

ボタンアイコン２９０３は、"監視対象の移動状況"の文字情報が付されている。オペレータ等は、当該ボタンアイコン２９０３を選択し、決定する操作を行うことにより、監視対象に関する条件のうちの監視対象の移動状況（例えば、移動の有無やショベルへの接近の有無等）に関する条件ごとのマーカの属性を具体的に設定することができる。よって、オペレータ等は、遷移後の設定画面で、例えば、監視対象がショベルから近づいているか否か、監視対象が移動しているか否か等の単体の条件や複数の条件の組み合わせごとに、異なるマーカを自分の好みで設定することができる。

【0255】

尚、当然の如く、監視対象の位置に関する条件と監視対象の移動状況に関する条件を組み合わせた条件ごとのマーカ属性を設定可能な設定画面が準備されてもよい。

【0256】

ボタンアイコン２９０４は、"戻る"の文字情報が付記されており、オペレータ等は、等がボタンアイコン２９０４を選択し、決定する操作を行うことにより、マーカ設定画面２９００に遷移する前の階層的に上位の情報画面を表示装置５０に表示させることができる。

【0257】

このように、本例では、オペレータ等は、監視対象に関する条件ごとのマーカの属性を手動で設定することができる。これにより、周辺監視システム１００は、オペレータ等の好みに合わせて監視画像上のマーカを表示させることができる。

【0258】

以上、本発明の一実施形態に係る周辺監視システムの第２の特徴機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0259】

例えば、上述した実施形態では、リスクポテンシャルの指標として、ショベルと監視対象との距離（第１の指標）と、当該距離の経時変化の状況（第２の指標）を用いたが、当該指標以外の任意の指標が採用されてもよい。

【0260】

尚、上述した実施形態に係る周辺監視システムの第２の特徴機能に関して、以下を更に開示する。

【0261】

（１）
作業機械の周辺を撮像する撮像装置と、
前記撮像装置により撮像される前記作業機械の周辺の画像と、監視対象の位置を表す目印とを表示する表示装置と、を備え、
前記表示装置は、前記監視対象が停止している場合と移動している場合とで、前記目印の表示を変化させる、
作業機械用周辺監視システム。

【0262】

（２）
前記目印は、前記監視対象の移動軌跡を表す軌跡線を含む、
（１）に記載の作業機械用周辺監視システム。

【0263】

（３）
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記複数のカメラのうちの一のカメラの撮像領域と他のカメラの撮像領域との間に跨る形で監視対象が移動する場合であっても、前記画像における前記一のカメラの撮像領域に対応する一の画像領域と前記他のカメラに対応する他の画像領域との間で連続的に繋がる前記軌跡線を表示する、
（２）に記載の作業機械用周辺監視システム。

【0264】

（４）
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記画像が前記複数のカメラのうちの一のカメラの撮像領域及び他のカメラの撮像領域の各々に対応する一の画像領域及び他の画像領域を含む場合、前記監視対象が前記一のカメラの撮像領域に含まれなくなったときであっても、前記他のカメラの撮像領域に含まれているときには、前記軌跡線の表示を維持する、
（２）に記載の作業機械用周辺監視システム。

【0265】

（５）
前記軌跡線は、相対的に時間経過の進んだ部分が相対的に時間経過の進んでいない部分よりも見えにくくなる態様で表示される、
（２）乃至（４）の何れか一項に記載の作業機械用周辺監視システム。

【0266】

（６）
前記表示装置は、前記監視対象と前記作業機械との位置関係に応じて、前記目印の表示を変化させる、
（１）乃至（５）の何れか一項に記載の作業機械用周辺監視システム。

【0267】

（７）
前記表示装置は、前記作業機械と前記監視対象との距離に応じて、前記目印の表示を変化させる、
（６）に記載の作業機械用周辺監視システム。

【0268】

（８）
前記表示装置は、前記作業機械と前記監視対象との距離の経時変化の状況に応じて、前記目印の表示を変化させる、
（６）又は（７）に記載の作業機械用周辺監視システム。

【0269】

（９）
前記表示装置は、前記作業機械と前記監視対象との衝突に関するリスクポテンシャルに応じて、前記目印の表示を変化させる、
（１）乃至（５）の何れか一項に記載の作業機械用周辺監視システム。

【0270】

（１０）
前記表示装置は、前記目印の形状、色、模様、大きさ、輝度、及び点滅の有無を含む属性の少なくとも１つを変化させることにより、前記目印の表示を変化させる、
（１）乃至（９）の何れか一項に記載の作業機械用周辺監視システム。

【0271】

［周辺監視システムの第３の特徴機能］
次いで、本実施形態に係る周辺監視システム１００に関する第３の機能、具体的には、ショベルから見て相対的に遠方の領域から当該ショベルに接近してくる車両（トラック等）の存在をオペレータ等に通知する機能（以下、「遠方接近車両通知機能」とも称する）について説明する。

【0272】

＜第３の特徴機能による作用に関する概要＞
まず、第３の特徴機能（遠方接近車両通知機能）による作用に関する概要を説明する。

【0273】

作業機械に近接する所定の近接領域の対象となる物体（例えば、人）を検知する物体検知手段と、物体検知手段により当該物体が検知されるとオペレータ等に報知する報知手段とを備える作業機械用周辺監視システムが知られている（例えば、特開２０１４－１８１５０８号公報等参照）。

【0274】

かかる構成によれば、オペレータ等は、作業機械に近接する近接領域の監視対象の物体の存在を容易に認知することができる。

【0275】

しかしながら、作業効率の観点から、オペレータ等には、遠方から作業機械に近づいてくる車両（特に、トラック）をより早く認知したいというニーズがある。例えば、近づいてくるトラックの到着に合わせて、トラックへの排土の準備を進めておく等、作業効率を向上させることができるからである。そのため、近接領域より遠方の遠方領域の車両等の物体についても、オペレータ等が容易に認知できることが望ましい。

【0276】

そこで、本実施形態では、第３の特徴機能によって、オペレータ等に作業機械の遠方領域の車両を容易に認知させることが可能な作業機械用周辺監視システムを提供する。

【0277】

＜周辺監視システムの構成＞

【0278】

次に、図３０を参照して、第３の特徴機能に関する周辺監視システム１００の具体的な構成について説明をする。

【0279】

図３０は、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。

【0280】

尚、図３０では、第３の特徴機能に関する構成を中心に示され、図１、図２に示される他の構成は、省略される。

【0281】

周辺監視システム１００は、ショベルの周辺の所定範囲内への所定の物体（本実施形態では、車両及び人）の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０、音声出力装置５２を含む。

【0282】

コントローラ３０は、上述の如く、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、例えば、ＲＯＭや補助記憶装置等に格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、物体検知部３０１Ｃ、表示制御部３０２Ｃ、音声制御部３０３Ｃを含む。

【0283】

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

【0284】

表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２Ｃ）により撮像装置４０の撮像画像に基づき生成される周辺画像（例えば、後述する視点変換画像）等を表示する。

【0285】

音声出力装置５２は、コントローラ３０（音声制御部３０３Ｃ）による制御の下、所定の音を出力する。

【0286】

物体検知部３０１Ｃは、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域における所定の対象となる物体を検知する。物体検知部３０１Ｃは、検知対象としてのトラックを含む車両を検知する車両検知部３０１１Ｃと、検知対象としての人を検知する人検知部３０１２Ｃとを含む。

【0287】

車両検知部３０１１Ｃは、ショベルの周辺における所定の検知領域（以下、車両検知領域）を対象として、車両を検知する。具体的には、車両検知部３０１１Ｃは、ショベルに近接する近接領域（例えば、ショベルからの距離Ｄが所定距離Ｄ１以下の領域）の外側に隣接する遠方領域（例えば、ショベルからの距離Ｄが所定距離Ｄ１を超える領域）を車両検知領域として、車両を検知する。例えば、車両検知部３０１１Ｃは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の車両を認識すると共に、認識した車両の実在位置（例えば、ショベルから認識した車両までの距離等）を特定することができる。

【0288】

人検知部３０１２Ｃは、ショベルの周辺における所定の検知領域（以下、人検知領域）を対象として、人を検知する。具体的には、人検知部３０１２Ｃは、ショベルに近接する近接領域（例えば、上述の如く、ショベルからの距離Ｄが所定距離Ｄ１以下の領域）を人検知領域として、人を検知する。例えば、人検知部３０１２Ｃは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（例えば、ショベルから認識した人までの距離等）を特定することができる。

【0289】

表示制御部３０２Ｃは、オペレータによる各種操作等に応じて、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２Ｃは、オペレータによる所定操作に応じて、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像（スルー画像）を表示装置５０に表示させる。また、例えば、表示制御部３０２Ｃは、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２Ｃは、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２Ｃは、周辺画像を表示装置５０に表示させる際、周辺画像に写っている撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２Ｃは、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置５０に表示させる。以下、図３１を参照して、表示装置５０に表示される監視画像について説明をする。

【0290】

図３１は、表示装置５０に表示される監視画像ＭＰ２の一例を示す図である。図３１に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視画像ＭＰ２が表示されている。これにより、オペレータは、周辺画像ＥＰに写っている物体（例えば、人、車両等）と、ショベルとの位置関係を適切に把握することができる。

【0291】

本例における周辺画像ＥＰは、ショベルに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像の周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

【0292】

また、監視画像ＭＰ２（周辺画像ＥＰ）には、ガイドラインＧＬ１が重畳表示される。ガイドラインＧＬ１は、ショベルからの距離Ｄが所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、周辺画像に車両、人等の物体が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。

【0293】

図３０に戻り、また、表示制御部３０２Ｃは、車両検知領域において、車両検知部３０１１Ｃにより車両が検知された場合、車両が検知された旨を示す表示、例えば、表示装置５０に表示されるスルー画像或いは周辺画像の一部を強調させる表示を行う。また、表示制御部３０２Ｃは、後述の如く（図３９参照）、人検知領域において、人検知部３０１２Ｃにより人が検知された場合、人が検知された旨を示す表示、例えば、表示装置５０に表示されるスルー画像或いは周辺画像の中の検知された人が含まれる領域（人領域）を強調させる表示を行ってもよい。表示制御部３０２Ｃによる当該処理の詳細については、後述する。

【0294】

尚、表示制御部３０２Ｃの機能は、コントローラ３０の外部に設けられてもよく、例えば、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像、及び車両検知部３０１１Ｃ、人検知部３０１２Ｃによる検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に入力される。

【0295】

音声制御部３０３Ｃは、車両検知領域において、車両検知部３０１１Ｃにより車両が検知された場合、音声出力装置５２を制御し、車両が検知された旨をオペレータ等に通知する所定の音（以下、車両検知音）を出力させる。また、音声制御部３０３Ｃは、後述の如く（図３９参照）、人検知部３０１２Ｃにより人が検知された場合、人が検知された旨を通知する所定の音（以下、人検知音）を出力させてもよい。

【0296】

尚、音声制御部３０３Ｃの機能は、コントローラ３０の外部に設けられてもよく、例えば、音声出力装置５２に内蔵されてもよい。

【0297】

＜周辺監視システムの動作の詳細＞
次に、図３２～図４１を参照して、本実施形態に係る周辺監視システム１００による特徴的な動作について説明をする。

【0298】

図３２は、本実施形態に係る周辺監視システム１００による処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。

【0299】

ステップＳ１０２Ｃにて、車両検知部３０１１Ｃは、車両検知領域、即ち、ショベル周辺の遠方領域（ショベルからの距離Ｄが所定距離Ｄ１を超える領域）で車両を検知したか否かを判定する。車両検知部３０１１Ｃは、遠方領域で車両を検知した場合、ステップＳ１０４Ｃに進み、それ以外の場合、今回の処理を終了する。

【0300】

ステップＳ１０４Ｃにて、表示制御部３０２Ｃは、表示装置５０に車両検知部３０１１Ｃにより検知された車両（検知車両）が映っているスルー画像（後述する監視画像ＭＰ１）或いは周辺画像（監視画像ＭＰ２）が表示されているか否かを判定する。表示制御部３０２Ｃは、表示装置５０に検知車両が映っているスルー画像及び周辺画像が表示されていない場合、ステップＳ１０６Ｃに進み、何れか一方が表示されている場合、ステップＳ１０８Ｃに進む。

【0301】

ステップＳ１０６Ｃにて、表示制御部３０２Ｃは、検知車両が映っているスルー画像或いは周辺画像を表示させる。何れの画像を表示させるかについては、予め規定される。

【0302】

ステップＳ１０８Ｃにて、表示制御部３０２Ｃは、上述の如く、表示装置５０の画面の一部、即ち、表示されるスルー画像（監視画像ＭＰ１）或いは周辺画像（監視画像ＭＰ２）の一部を強調させることにより、遠方領域で車両が検知された旨をオペレータ等に通知する。併せて、音声制御部３０３Ｃは、上述の如く、音声出力装置５２から車両検知音を出力させることにより、遠方領域で車両が検知された旨をオペレータ等に通知する。

【0303】

ステップＳ１１０Ｃにて、車両検知部３０１１Ｃは、遠方領域で当該車両を検知している状態が継続しているか否かを判定する。車両検知部３０１１Ｃは、遠方領域で当該車両を検知している状態が継続している場合、本ステップの判定を繰り返し、遠方領域で当該車両を検知している状態が継続していない場合、即ち、遠方領域で当該車両を検知しなくなった場合、ステップＳ１１２Ｃに進む。

【0304】

ステップＳ１１２Ｃにて、表示制御部３０２Ｃは、スルー画像（監視画像ＭＰ１）或いは周辺画像（監視画像ＭＰ２）の一部を強調させる表示を停止させると共に、併せて、音声制御部３０３Ｃは、車両検知音を停止させて、今回の処理を終了する。

【0305】

このように、本例では、表示装置５０及び音声出力装置５２は、物体検知部３０１Ｃ（車両検知部３０１１Ｃ）により遠方領域で車両が検知された場合、オペレータ等に車両が検知された旨の通知を行う。具体的には、表示装置５０は、表示制御部３０２Ｃによる制御の下、スルー画像（監視画像ＭＰ１）或いは周辺画像（監視画像ＭＰ２）の一部を強調させる表示を行い、音声出力装置５２は、音声制御部３０３Ｃによる制御の下、車両検知音を出力する。これにより、オペレータ等は、遠方からショベルに近づいてくる可能性がある車両を容易に認知することができる。そのため、例えば、遠方から近づいてくるトラックの到着に合わせて、トラックへの排土の準備を進めておく等、作業効率を向上させることができる。

【0306】

また、表示装置５０及び音声出力装置５２は、物体検知部３０１Ｃ（車両検知部３０１１Ｃ）により遠方領域で車両が検知されたことにより、その旨の通知を行っている状態で、当該車両が遠方領域で検知されなくなった場合、通知を停止する。例えば、表示装置５０及び音声出力装置５２は、当該車両が遠方領域から更に近接領域に移動することにより（即ち、ショベルに更に近づいてきたことにより）、車両が遠方領域で検知されなくなると、通知を停止する。これにより、オペレータが遠方からショベルに近づいてくる車両を既に認知できている状態において、通知が継続し続けることによりオペレータが感じる煩わしさや不快感を抑制することができる。

【0307】

例えば、図３３（図３３Ａ、図３３Ｂ）は、表示装置５０に表示される監視画像ＭＰ１としてのスルー画像の一例を示す図である。具体的には、図３３Ａは、車両検知部３０１１Ｃにより遠方領域で車両が検知された場合におけるスルー画像を示す図であり、図３３Ｂは、検知車両が近接領域に移動したことによって、車両検知部３０１１Ｃにより遠方領域で車両が検知されなくなった場合におけるスルー画像を示す図である。

【0308】

図３３Ａに示すように、表示装置５０に表示されるスルー画像には、近接領域と遠方領域の境界（即ち、ショベルからの距離Ｄが所定距離Ｄ１の位置）を示すガイドラインＧＬ２が重畳して表示される。そして、スルー画像の中の遠方領域に相当するガイドラインＧＬ２よりも上側の領域には、車両検知部３０１１Ｃにより検知されたトラックＶ１が映っており、トラックＶ１が含まれる領域（車両領域）は、太線枠ＦＲ１Ｃで囲まれる態様で強調して表示される。これにより、表示装置５０の画面（スルー画像）の一部であるトラックＶ１が含まれる領域（車両領域）が強調されるため、表示装置５０は、オペレータ等にトラックＶ１が検知された旨を通知することができる。

【0309】

一方、図３３Ｂに示すように、車両検知部３０１１Ｃにより検知されたトラックＶ１は、更にショベルに近づいてくることにより、スルー画像の中の近接領域に相当するガイドラインＧＬ２よりも下側の領域に含まれる状態に変化している。そのため、トラックＶ１は、車両検知部３０１１Ｃにより遠方領域で検知されなくなるため、トラックＶ１が含まれる領域を強調させる表示（太線枠ＦＲ１Ｃの表示）は停止される。これにより、上述の如く、通知が継続し続けることにより感じるオペレータの煩わしさや不快感を抑制することができる。

【0310】

また、例えば、図３４（図３４Ａ、図３４Ｂ）は、表示装置５０に表示される周辺画像ＥＰ（監視画像ＭＰ２）の一例を示す図である。具体的には、図３４Ａは、車両検知部３０１１Ｃにより遠方領域で車両が検知された場合の周辺画像ＥＰ（監視画像ＭＰ２）における検知車両の強調表示の一例を示す図であり、図３４Ｂは、検知車両が近接領域に移動したことによって、車両検知部３０１１Ｃにより遠方領域で車両が検知されなくなった場合における周辺画像ＥＰ（監視画像ＭＰ２）を示す図である。

【0311】

図３４Ａに示すように、表示装置５０に表示される周辺画像ＥＰには、近接領域と遠方領域の境界（即ち、ショベルからの距離Ｄが所定距離Ｄ１の位置）を示すガイドラインＧＬ３が重畳して表示される。そして、周辺画像ＥＰの中の遠方領域に相当するガイドラインＧＬ３よりも外側の領域には、車両検知部３０１１Ｃにより検知されたトラックＶ２が映っており、周辺画像ＥＰの中のトラックＶ２が含まれる領域（車両領域）は、図３３Ａに示すスルー画像の一例と同様、太線枠ＦＲ２Ｃで囲まれる態様で強調して表示される。これにより、表示装置５０の画面（監視画像ＭＰ２）の一部であるトラックＶ２が含まれる領域（車両領域）が強調されるため、表示装置５０は、オペレータ等にトラックＶ１が検知された旨を通知することができる。

【0312】

また、図３４Ｂに示すように、車両検知部３０１１Ｃにより検知されたトラックＶ２は、更にショベルに近づいてくることにより、周辺画像ＥＰの中の近接領域に相当するガイドラインＧＬ３よりも外側の領域に含まれる状態に変化している。そのため、トラックＶ２は、車両検知部３０１１Ｃにより遠方領域で検知されなくなるため、トラックＶ２が含まれる領域を強調させる表示（太線枠ＦＲ２Ｃの表示）は停止される。これにより、上述の如く、通知が継続し続けることにより感じるオペレータの煩わしさや不快感を抑制することができる。

【0313】

また、例えば、図３５は、車両検知部３０１１Ｃにより遠方領域で車両が検知された場合の周辺画像ＥＰ（監視画像ＭＰ２）における検知車両の強調表示の他の例を示す図である。

【0314】

図３５に示すように、本例では、表示装置５０は、表示制御部３０２Ｃによる制御の下、車両検知部３０１１ＣによりトラックＶ２が検知された場合に、アイコンＩＣ１を周辺画像ＥＰに重畳して表示することにより周辺画像ＥＰの一部を強調して表示させる。具体的には、周辺画像ＥＰの中の遠方領域に相当するガイドラインＧＬ３よりも外側の領域には、車両検知部３０１１Ｃにより検知されたトラックＶ２が映っており、周辺画像ＥＰの中のトラックＶ２が含まれる領域に隣接してトラックＶ２が接近してくる方向を示す矢印のアイコンＩＣ１が重畳して表示される。これにより、表示装置５０の画面（監視画像ＭＰ２）の中の一部であるトラックＶ２が含まれる領域（車両領域）がアイコンＩＣ１により強調されるため、表示装置５０は、オペレータ等にトラックＶ２が検知された旨を通知することができる。

【0315】

尚、アイコンＩＣ１の形状は、矢印形状に限らず、任意の形状であってよい。また、スルー画像及び周辺画像の中の検知車両が含まれる領域（車両領域）を強調させる表示態様として、車両領域を太線枠で囲む及びアイコンを重畳表示させる以外の任意の方法が用いられてよく、例えば、表示装置５０は、車両領域の輝度を他の領域より高くしたり、車両領域の輝度を周期的に変化させて点滅状態にしたり、車両領域の色を他の領域と異ならせたり等してもよい。

【0316】

また、例えば、図３６は、車両検知部３０１１Ｃにより遠方領域で車両が検知された場合の周辺画像ＥＰ（監視画像ＭＰ２）における検知車両の強調表示の更に他の例を示す図である。

【0317】

図３６に示すように、本例では、表示装置５０は、表示制御部３０２Ｃによる制御の下、車両検知部３０１１ＣによりトラックＶ２が検知された場合に、画面（即ち、監視画像ＭＰ２）の中において、周辺画像ＥＰの外縁よりも外側の領域ＡＲ１、即ち、周辺画像ＥＰにおける遠方領域に相当するガイドラインＧＬ３より外側領域の更に外側に隣接する領域ＡＲ１を強調して表示する。例えば、表示装置５０は、領域ＡＲ１を通常状態と異なる色や模様に変化させたり、輝度を画面中の他の領域より高くしたり、周期的に輝度を変化されて点滅状態にしたり等することにより、領域ＡＲ１を強調してよい。これにより、周辺画像ＥＰの遠方領域に相当するガイドラインＧＬ３より外側の領域に隣接する、表示装置５０の画面（監視画像ＭＰ２）の一部である領域ＡＲ１が強調して表示されるため、表示装置５０は、オペレータ等にトラックＶ２が検知された旨を通知することができる。

【0318】

続いて、図３７は、本実施形態に係る周辺監視システム１００による処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第１例と同様、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。

【0319】

ステップＳ２０２Ｃにて、車両検知部３０１１Ｃは、図３２のステップＳ１０２Ｃと同様、車両検知領域、即ち、ショベル周辺の遠方領域（ショベルからの距離Ｄが所定距離Ｄ１を超える領域）で車両を検知したか否かを判定する。車両検知部３０１１Ｃは、遠方領域で車両を検知した場合、ステップＳ２０４Ｃに進み、それ以外の場合、今回の処理を終了する。

【0320】

ステップＳ２０４Ｃにて、車両検知部３０１１Ｃは、検知車両がショベルに接近しているか否かを判定する。車両検知部３０１１Ｃは、例えば、検知車両を検知する過程における位置の履歴（移動履歴）等に基づき、検知車両がショベルに接近しているか否かを検知してよい。車両検知部３０１１Ｃは、検知車両がショベルに接近している場合、ステップＳ２０６Ｃに進み、検知車両がショベルに接近していない場合、今回の処理を終了する。

【0321】

ステップＳ２０６Ｃ～Ｓ２１４Ｃの処理は、上述の第１例（図３２）におけるステップＳ１０４Ｃ～Ｓ１１２Ｃと同様であるため、説明を省略する。

【0322】

このように、本例では、表示装置５０及び音声出力装置５２は、物体検知部３０１Ｃ（車両検知部３０１１Ｃ）により遠方領域でショベルに接近する、即ち、近づく方向に移動する車両が検知された場合、車両が検知された旨の通知を行う。これにより、遠方領域に存在する車両のうち、ショベルに接近してくる車両が検知された場合だけその旨が通知されるため、不要な通知を抑制することができる。

【0323】

続いて、図３８は、本実施形態に係る周辺監視システム１００による処理の第３例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第１例等と同様、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。

【0324】

ステップＳ３０２Ｃにて、車両検知部３０１１Ｃは、図３２のステップＳ１０２Ｃ等と同様、車両検知領域、即ち、ショベル周辺の遠方領域（ショベルからの距離Ｄが所定距離Ｄ１を超える領域）で車両を検知したか否かを判定する。車両検知部３０１１Ｃは、遠方領域で車両を検知した場合、ステップＳ２０４Ｃに進み、それ以外の場合、今回の処理を終了する。

【0325】

ステップＳ３０４Ｃにて、表示制御部３０２Ｃは、表示装置５０に検知車両が映っているスルー画像が表示されているか否かを判定する。表示制御部３０２Ｃは、表示装置５０に検知車両が映っているスルー画像が表示されていない場合、ステップＳ３０６Ｃに進み、検知車両が映っているスルー画像が表示されている場合、ステップＳ３０８Ｃに進む。

【0326】

ステップＳ３０６Ｃにて、表示制御部３０２Ｃは、表示装置５０に検知車両が映っているスルー画像を表示させる。

【0327】

ステップＳ３０８Ｃ～Ｓ３１２Ｃは、表示装置５０に表示される対象が検知車両を含むスルー画像に限定される以外、上述の第１例（図３２）のステップＳ１０８Ｃ～Ｓ１１２Ｃと同様であるため、説明を省略する。

【0328】

尚、本例のフローチャートは、上述の第１例をベースにして、ステップＳ１０４Ｃ，Ｓ１０６Ｃの処理をステップＳ３０４Ｃ，Ｓ３０６Ｃの処理に置換することにより構成されるが、上述の第２例をベースにして、ステップＳ２０６Ｃ，Ｓ２０８Ｃの処理をステップＳ３０４Ｃ、Ｓ３０６Ｃの処理に置換してもよい（第３例の変形例）。

【0329】

このように、本例では、表示装置５０は、表示制御部３０２Ｃの制御の下、車両検知部３０１１Ｃにより遠方領域で車両が検知された場合、自動的に、検知車両が含まれるスルー画像を表示する。これにより、スルー画像に含まれる遠方領域の車両は、周辺画像の場合よりも比較的大きく表示されるため、オペレータ等は、遠方領域の車両の存在だけでなく、車両の詳細まで確認し易くなる。

【0330】

続いて、図３９は、本実施形態に係る周辺監視システム１００による処理の第４例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第１例～第３例、及び第３例の変形例に係る処理の何れか１つと並列して実行される。

【0331】

ステップＳ４０２Ｃにて、人検知部３０１２Ｃは、人検知領域、即ち、ショベル周辺の近接領域（ショベルからの距離Ｄが所定距離Ｄ１以下の領域）で人を検知したか否かを判定する。人検知部３０１２Ｃは、近接領域で人を検知した場合、ステップＳ４０４Ｃに進み、それ以外の場合、今回の処理を終了する。

【0332】

ステップＳ４０４Ｃにて、表示制御部３０２Ｃは、表示装置５０に人検知部３０１２Ｃにより検知された人が映っている監視画像としてのスルー画像或いは周辺画像（監視画像ＭＰ２）が表示されているか否かを判定する。表示制御部３０２Ｃは、表示装置５０に検知された人が映っているスルー画像及び周辺画像（監視画像ＭＰ２）が表示されていない場合、ステップＳ４０６Ｃに進み、何れか一方が表示されている場合、ステップＳ４０８Ｃに進む。

【0333】

ステップＳ４０６Ｃにて、表示制御部３０２Ｃは、検知された人が映っているスルー画像或いは周辺画像（監視画像ＭＰ２）を表示させる。何れの画像を表示させるかについては、予め規定される。

【0334】

尚、上述の第１例～第３例、及び第３例の変形例の処理により選択されるスルー画像（検知車両が映っているスルー画像）と本例の処理により選択されるスルー画像（検知された人が写っているスルー画像）が異なる場合、表示制御部３０２Ｃは、表示装置５０に周辺画像を表示させる、或いは、２つのスルー画像を左右に並べて表示させる。

【0335】

ステップＳ４０８Ｃにて、表示制御部３０２Ｃは、上述の如く、表示装置５０に含まれる人を強調させることにより、近接領域で人が検知された旨をオペレータ等に通知する。併せて、音声制御部３０３Ｃは、上述の如く、音声出力装置５２から人検知音を出力させることにより、近接領域で人が検知された旨をオペレータ等に通知する。

【0336】

ステップＳ４１０Ｃにて、人検知部３０１２Ｃは、近接領域で当該人を検知している状態が継続しているか否かを判定する。人検知部３０１２Ｃは、近接領域で当該人を検知している状態が継続している場合、本ステップの判定を繰り返し、近接領域で当該人を検知している状態が継続していない場合、即ち、近接領域で当該人を検知しなくなった場合、ステップＳ４１２Ｃに進む。

【0337】

ステップＳ４１２Ｃにて、表示制御部３０２Ｃは、スルー画像（監視画像ＭＰ１）或いは周辺画像（監視画像ＭＰ２）に含まれる人を強調させる表示を停止させると共に、併せて、音声制御部３０３Ｃは、人検知音を停止させて、今回の処理を終了する。

【0338】

このように、本例では、表示装置５０及び音声出力装置５２は、物体検知部３０１Ｃ（車両検知部３０１１Ｃ）により遠方領域で車両が検知された場合、オペレータ等に車両が検知された旨の通知を行うと共に、物体検知部３０１Ｃ（人検知部３０１２Ｃ）により近接領域で車両が検知された場合、オペレータ等に人が検知された旨の通知を行う。これにより、オペレータは、遠方領域の車両を早期に認識し、作業効率を高めることができると共に、近接領域の人を早期に認識し、安全性を確保することができる。

【0339】

また、表示装置５０及び音声出力装置５２は、物体検知部３０１Ｃ（人検知部３０１２Ｃ）により近接領域で人が検知されたことにより、その旨の通知を行っている状態で、当該人が近接領域で検知されなくなった場合、通知を停止する。例えば、表示装置５０及び音声出力装置５２は、当該人が近接領域から遠方領域に移動することにより（即ち、ショベルから離れたにより）、当該人が近接領域で検知されなくなると、通知を停止する。これにより、安全性が比較的確保された状態では、通知が停止される（実行されない）ため、オペレータが感じる煩わしさや不快感を抑制することができる。

【0340】

例えば、図４０（図４０Ａ、図４０Ｂ）は、表示装置５０に表示される監視画像ＭＰ１としてのスルー画像の他の例を示す図である。具体的には、図４０Ａは、人（作業者Ｈ１）が遠方領域に存在する場合におけるスルー画像を示す図であり、図４０Ｂは、近接領域に移動したことによって、人検知部３０１２Ｃにより人（作業者Ｈ１）が検知された場合におけるスルー画像を示す図である。

【0341】

図４０Ａに示すように、表示装置５０に表示されるスルー画像の中の遠方領域に相当するガイドラインＧＬ２よりも上側の領域には、作業者Ｈ１が映っている。この場合、遠方領域の作業者Ｈ１は、人検知部３０１２Ｃにより検知されてないため、人が検知された旨の通知（後述する人が含まれる領域の強調表示）は行われない。

【0342】

一方、図４０Ｂに示すように、作業者Ｈ１は、ショベルに近づいてくることにより、スルー画像の中の近接領域に相当するガイドラインＧＬ２よりも下側の領域に含まれる状態に変化している。そのため、作業者Ｈ１は、人検知部３０１２Ｃにより近接領域で検知され、作業者Ｈ１が含まれる領域（人領域）は、太線枠ＦＲ３Ｃで囲まれる態様で強調して表示される。これにより、上述の如く、オペレータは、近接領域の人を早期に認識し、安全性を確保することができる。

【0343】

また、例えば、図４１（図４１Ａ、図４１Ｂ）は、表示装置５０に表示される周辺画像ＥＰ（監視画像ＭＰ２）の他の例を示す図である。具体的には、図４１Ａは、人（作業者Ｈ２）が遠方領域に存在する場合における周辺画像ＥＰ（監視画像ＭＰ２）を示す図であり、図４１Ｂは、近接領域に移動したことによって、人検知部３０１２Ｃにより近接領域で人（作業者Ｈ２）が検知された場合における周辺画像ＥＰ（監視画像ＭＰ２）を示す図である。

【0344】

図４１Ａに示すように、表示装置５０に表示される周辺画像ＥＰの中の遠方領域に相当するガイドラインＧＬ３よりも外側の領域には、作業者Ｈ２が映っている。この場合、遠方領域の作業者Ｈ２は、人検知部３０１２Ｃにより検知されてないため、人が検知された旨の通知（後述する人が含まれる領域の強調表示）は行われない。

【0345】

一方、図４１Ｂに示すように、作業者Ｈ２は、ショベルに近づいてくることにより、周辺画像ＥＰの中の近接領域に相当するガイドラインＧＬ３よりも内側の領域に含まれる状態に変化している。そのため、作業者Ｈ２は、人検知部３０１２Ｃにより近接領域で検知され、作業者Ｈ２が含まれる領域（人領域）は、太線枠ＦＲ４Ｃで囲まれる態様で強調して表示される。これにより、上述の如く、オペレータは、近接領域の人を早期に認識し、安全性を確保することができる。

【0346】

尚、スルー画像及び周辺画像の中の検知された人が含まれる領域（人領域）を強調させる表示態様として、人領域を太線枠で囲む以外の任意の方法が用いられてよく、例えば、表示装置５０は、人領域或いは人領域に隣接してアイコンを重畳表示させたり、人領域の輝度を他の領域より高くしたり、人領域の輝度を周期的に変化させて点滅状態にしたり、人領域の色を他の領域と異ならせたり等してもよい。

【0347】

以上、本発明の一実施形態に係る周辺監視システムの第３の機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0348】

例えば、上述した実施形態では、表示制御部３０２Ｃ及び音声制御部３０３Ｃによる制御の下、表示装置５０及び音声出力装置５２の双方により、オペレータ等に対する車両及び人が検知された旨の通知が行われるが、何れか一方だけが当該通知を行う態様であってもよい。

【0349】

また、上述した実施形態及び変形例では、物体検知部３０１Ｃ、即ち、車両検知部３０１１Ｃ及び人検知部３０１２Ｃは、それぞれ、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像に基づき、車両及び人を検知するが、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果（距離画像等）に基づき、車両及び人を検知してもよい。

【0350】

また、上述した実施形態及び変形例では、物体検知部３０１Ｃは、ショベルに搭載されるセンサによって、車両を検知するが、当該態様には限定されない。例えば、物体検知部３０１Ｃは、直接、或いは、間接的に、同じ作業現場で作業する、或いは、当該作業現場に移動してくる可能性がある車両（以下、「対象車両」と称する）の位置情報と、ショベルの位置情報とを取得し、ショベルと対象車両との相対位置関係に基づき、相対的に遠方からショベルに接近する対象車両を検知する。具体的には、対象車両及びショベルの位置情報は、それぞれ、対象車両及びショベルに搭載されるＧＮＳＳ（Global Navigation Satellite System：全地球測位衛星システム）装置により取得されてよい。そして、対象車両及びショベルは、例えば、それぞれに搭載される所定の通信機器を利用し、所定の通信ネットワークを通じて、所定の管理サーバ等と通信可能に接続され、ショベルは、当該通信ネットワークを介して、対象車両から管理サーバにアップロードされた車両の位置情報を管理サーバから取得し、ショベルの位置情報と比較することにより、ショベルに近づいてくる対象車両を検知してよい。これにより、ショベル（物体検知部３０１Ｃ）は、より早い段階で、ショベルに近づいてくる車両を検知できる。また、ショベルは、例えば、車両の位置情報に加えて、車両に関する付属情報（どのような作業目的でどこに向かっているか）等を取得することにより、更に早い段階で、ショベルに近づいてくる車両を検知できる。

【0351】

尚、上述した実施形態に係る周辺監視システムの第３の機能に関して、以下を更に開示する。

【0352】

（１）
作業機械に近接する所定の近接領域よりも遠方の遠方領域で車両を検知する物体検知部と、
前記物体検知部により前記遠方領域で車両が検知された場合、車両が検知された旨の通知を行う通知部と、を備える、
作業機械用周辺監視システム。

【0353】

（２）
前記通知部は、前記物体検知部により前記遠方領域で前記作業機械に近づく方向に移動する車両が検知された場合、車両が検知された旨の通知を行う、
（１）に記載の作業機械用周辺監視システム。

【0354】

（３）
前記通知部は、前記物体検知部により車両が前記遠方領域で検知されたことにより、前記通知を行っている状態で、当該車両が前記近接領域に移動することによって、前記物体検知部により当該車両が前記遠方領域で検知されなくなった場合、前記通知を停止する、
（１）又は（２）に記載の作業機械用周辺監視システム。

【0355】

（４）
前記物体検知部は、前記近接領域で人を検知し、
前記通知部は、前記物体検知部により前記近接領域で人が検知された場合、人が検知された旨の通知を行う、
（３）に記載の作業機械用周辺監視システム。

【0356】

（５）
前記物体検知部は、車両を検知するための車両検知部と、人を検知するための人検知部とを有すると共に、前記遠方領域を対象として前記車両検知部を利用し、前記近接領域を対象として前記人検知部を利用する、
（４）に記載の作業機械用周辺監視システム。

【0357】

（６）
作業機械の周辺を撮像する撮像装置を更に備え、
前記通知部は、前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像、又は、前記撮像画像に基づき生成される視点変換画像を表示する表示装置を含み、
前記表示装置は、前記物体検知部により車両が検知された場合、前記撮像画像又は前記視点変換画像を含む前記表示装置の画面の一部を強調させることにより、車両が検知された旨の通知を行う、
（１）乃至（５）の何れか一項に記載の作業機械用周辺監視システム。

【0358】

（７）
前記表示装置は、前記物体検知部により車両が検知された場合、前記撮像画像又は前記視点変換画像の中の前記物体検知部により検知された車両が含まれる領域を強調させる、
（６）に記載の作業機械用周辺監視システム。

【0359】

（８）
前記表示装置は、前記物体検知部により車両が検知された場合、画面の中の前記視点変換画像の外縁より外側の領域を強調させる表示を行う、
（６）に記載の作業機械用周辺監視システム。

【0360】

（９）
作業機械から見て相対的に遠方から前記作業機械に接近してくる車両が存在する場合、当該車両の存在を通知する通知部を備える、
作業機械用周辺監視システム。

【0361】

（１０）
作業機械の周辺を撮像する撮像装置を更に備え、
前記通知部は、前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像、又は、前記撮像画像に基づき生成される視点変換画像を表示する表示装置を含み、
前記表示装置は、前記撮像画像又は前記視点変換画像に前記車両が含まれる場合、前記撮像画像又は前記視点変換画像を含む前記表示装置の画面の一部を強調させることにより、前記車両の存在を通知する、
（９）に記載の作業機械用周辺監視システム。

【0362】

（１１）
前記表示装置は、前記撮像画像又は前記視点変換画像に前記車両が含まれる場合、前記撮像画像又は前記視点変換画像の中の前記車両が含まれる領域を強調させる、
（１０）に記載の作業機械用周辺監視システム。

【0363】

（１２）
前記表示装置は、前記物体検知部により車両が検知された場合、画面の中の前記視点変換画像の外縁より外側の領域を強調させる表示を行う、
（１０）に記載の作業機械用周辺監視システム。

【0364】

［周辺監視システムの第４の特徴機能］
次いで、本実施形態に係る周辺監視システム１００に関する第４の特徴機能、具体的には、周辺監視システム１００の安全機能が制限されている状況をショベル周辺に通知する機能の一例（以下、「安全機能制限通知機能」とも称する場合がある）について説明する。

【0365】

＜第４の特徴機能による作用に関する概要＞
まず、第４の特徴機能（安全機能制限通知機能）の作用に関する概要を説明する。

【0366】

作業機械周辺の所定の監視対象（例えば、人）を検知する監視対象検知手段と、監視対象が検知されると、例えば、当該監視対象が検知された旨をオペレータに通知したり、作業機械の動作を制限したり等することにより、作業機械周辺の安全性の維持を図る安全確保手段と、を備える作業機械用周辺監視システムが知られている（例えば、特開２０１４－１８１５０８号公報等参照）。

【0367】

しかしながら、監視対象検知手段及び安全確保手段の少なくとも一方が動作していない場合或いは動作していても動作状態が正常でない場合、監視対象検知手段及び安全確保手段による作業機械周辺の安全性の確保が制限される。そのため、このような状況を考慮して、作業機械が使用される作業現場における更なる安全性の確保が図られることが望ましい。

【0368】

そこで、本実施形態では、第４の特徴機能によって、作業機械が使用される作業現場における安全性を更に向上させることが可能な作業機械用周辺監視システムを提供する。

【0369】

＜周辺監視システムの構成＞

【0370】

次に、図４２を参照して、本実施形態に係る周辺監視システム１００の具体的な構成について説明をする。

【0371】

図４２は、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。

【0372】

周辺監視システム１００は、ショベルの周辺の所定範囲内への監視対象である所定の物体（以下、単に「監視対象」と称する）の侵入を監視し、監視対象を検知した場合、警報を出力したり、ショベルの動作を制限したりする。監視対象は、人や人以外の障害物や車両等の任意の物体であってよい。以下、監視対象は、人である前提で説明を続ける。

【0373】

周辺監視システム１００は、コントローラ３０と、撮像装置４０と、表示装置５０と、音声出力装置５２と、ゲートロック弁５４と、外部用表示装置６０と、外部用音声出力装置６２を含む。

【0374】

コントローラ３０は、上述の如く、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、例えば、ＲＯＭや補助記憶装置等に格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、検知部３０１Ｄと、表示制御部３０２Ｄと、警報出力部３０３Ｄと、制限制御部３０４Ｄと、判定部３０５Ｄを含む。

【0375】

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒは、それぞれ、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

【0376】

表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２Ｄ）により撮像装置４０の撮像画像に基づき生成される周辺画像（例えば、後述する視点変換画像）等を表示する。

【0377】

音声出力装置５２は、コントローラ３０（具体的には、警報出力部３０３Ｄ）による制御の下、警報音を出力する。

【0378】

ゲートロック弁５４は、コントローラ３０（具体的には、制限制御部３０４Ｄ）による制御の下、上述したゲートロックレバー（不図示）が引き上げられた状態であっても、パイロットライン（不図示）を非連通状態にする。

【0379】

外部用表示装置６０は、コントローラ３０（具体的には、警報出力部３０３Ｄ）による制御の下、ショベルの周辺に向けて、所定の文字情報や画像情報を表示し、ショベルの周辺の警戒エリアへの監視対象の侵入に対する警報を行う。また、外部用表示装置６０は、コントローラ３０（具体的には、判定部３０５Ｄ）による制御の下、ショベルの周辺に向けて、ショベルの監視機能（ショベルの周辺で監視対象を検知する機能）或いは監視機能に基づき動作する、後述する安全機能が制限されている旨を示す文字情報や画像情報を表示する。

【0380】

外部用音声出力装置６２は、コントローラ３０（具体的には、警報出力部３０３Ｄ）による制御の下、ショベルの周辺に向けて、所定の音声情報を出力し、監視対象のショベルの周辺の警戒エリアへの侵入に対する警報を行う。また、外部用音声出力装置６２は、コントローラ３０（具体的には、判定部３０５Ｄ）による制御の下、ショベルの周辺に向けて、ショベルの監視機能（ショベルの周辺で監視対象を検知する機能）或いは後述する安全機能が制限されている旨を示す音声情報を出力する。

【0381】

検知部３０１Ｄは、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域（監視エリア）内、例えば、ショベルからの距離Ｄが所定距離Ｄ１（例えば、５メートル）以内における人（監視対象）を検知する。例えば、検知部３０１Ｄは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。検知部３０１Ｄは、後方検知部３０１ＤＢと、左側方検知部３０１ＤＬと、右側方検知部３０１ＤＲを含む。

【0382】

後方検知部３０１ＤＢは、後方カメラ４０Ｂから入力される撮像画像に基づき、後方カメラ４０Ｂの撮像領域（即ち、後方領域）における監視エリア内の監視対象（即ち、人）を検知する。

【0383】

左側方検知部３０１ＤＬは、左側方カメラ４０Ｌから入力される撮像画像に基づき、左側方カメラ４０Ｌの撮像領域（即ち、左側方領域）における監視エリア内の監視対象（即ち、人）を検知する。

【0384】

右側方検知部３０１ＤＲは、右側方カメラ４０Ｒから入力される撮像画像に基づき、右側方カメラ４０Ｒの撮像領域（即ち、右側方領域）における監視エリア内の監視対象（即ち、人）を検知する。

【0385】

尚、検知部３０１Ｄ（後方検知部３０１ＤＢ、左側方検知部３０１ＤＬ、右側方検知部３０１ＤＲ）は、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果（距離画像等）に基づき、ショベルの周辺の監視対象を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。

【0386】

このように、本実施形態に係る周辺監視システム１００において、監視対象（即ち、人）を検知する機能（以下、「監視機能」と称する）を有する監視対象検知手段１１０は、上述した説明から分かるように、監視エリアを含むショベルの周辺を撮像する撮像装置４０と、撮像装置４０の撮像画像から、画像処理等を用いて、監視対象を検知する検知部３０１Ｄとを含んで構成される。

【0387】

また、監視対象検知手段１１０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像領域内において、監視対象を検知する後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、及び右側方用監視対象検知手段１１０Ｒを含む。具体的には、後方用監視対象検知手段１１０Ｂは、後方カメラ４０Ｂと、後方検知部３０１ＤＢを含み、左側方用監視対象検知手段１１０Ｌ（領域別監視対象検知手段の他の例）は、左側方カメラ４０Ｌと、左側方検知部３０１ＤＬを含み、右側方用監視対象検知手段１１０Ｒ（領域別監視対象検知手段の更に他の例）は、右側方カメラ４０Ｒと、右側方検知部３０１ＤＲを含む。

【0388】

表示制御部３０２Ｄは、オペレータの各種操作に応じて、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２Ｄは、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき、周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２Ｄは、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２Ｄは、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２Ｄは、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置５０に表示させる。以下、図４３を参照して、表示装置５０に表示される監視画像について説明をする。

【0389】

尚、表示制御部３０２Ｄの機能は、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像、及び検知部３０１Ｄの検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に入力される。

【0390】

図４３は、表示装置５０に表示される監視画像ＭＰ２の一例を示す図である。

【0391】

図４３に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視画像ＭＰ２が表示されている。これにより、オペレータ等は、周辺画像ＥＰに写っている監視対象（即ち、人）と、ショベルとの位置関係を適切に把握することができる。

【0392】

本例における周辺画像ＥＰは、ショベルに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベルから当該周辺領域を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲をショベルから水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

【0393】

また、監視画像ＭＰ２には、ガイドラインＧＬ１が重畳表示される。ガイドラインＧＬ１は、ショベルからの距離Ｄが所定距離Ｄ２（＜Ｄ１）の位置、即ち、監視エリアに含まれる後述する警戒エリアの外縁位置を表す。これにより、周辺画像に監視対象（即ち、人）が写っている場合、オペレータ等は、ショベルからどの程度離れた位置にいるかを把握することができる。

【0394】

また、本例では、監視画像ＭＰ２の周辺画像ＥＰは、警戒エリア（ショベルからの距離Ｄが所定距離Ｄ２以下のエリア）内に監視対象である人（作業者Ｗ１Ｄ）を含む。周辺画像ＥＰに含まれる、警戒エリア内の作業者Ｗ１Ｄは、太線枠ＦＲ１Ｄで囲まれる態様で強調される。これにより、オペレータに向けて、警戒エリアに監視対象が侵入している旨を警報（通知）することができる。

【0395】

図４２に戻り、警報出力部３０３Ｄは、検知部３０１Ｄにより警戒エリア、即ち、ショベルからの距離Ｄが所定距離Ｄ２以内で人が検知された場合、キャビン１０の内部、即ち、オペレータ、及びショベルの周辺、即ち、作業者や作業現場の現場監督等の監視者等に向けて警報を行う。例えば、警報出力部３０３Ｄは、音による警報を出力させる。具体的には、警報出力部３０３Ｄは、音声出力装置５２及び外部用音声出力装置６２を通じて警告音を出力させる。例えば、図４４（図４４Ａ、図４４Ｂ）は、ショベルの周辺に向けて出力される警報の一例を模式的に説明する図である。図４４に示すように、ショベルの周辺における警戒エリア外にいる作業者（図４４Ａ）が、警戒エリア内に侵入した場合、キャビン１０の内部のオペレータ及びショベルの周辺の侵入した作業者、他の作業者及び作業現場の現場監督等の監視者等に向けて、音声出力装置５２及び外部用音声出力装置６２から、例えば、"危険エリアに進入しています"等の警告音（音声）が出力される（図４４Ｂ）。

【0396】

また、例えば、警報出力部３０３Ｄは、視覚的な表示による警報を出力させる。具体的には、警報出力部３０３Ｄは、表示制御部３０２Ｄに警報要求を送信する。これにより、表示制御部３０２Ｄは、警報要求に応じて、表示装置５０に表示される監視画像ＭＰ２の周辺画像ＥＰに含まれる監視対象である人を太線枠で囲む等の強調させる処理を施し（図４３参照）、表示装置５０は、オペレータに対する警報を行うことができる。また、警報出力部３０３Ｄは、外部用表示装置６０に警報要求を送信する。これにより、表示装置５０は、上述した図４４の警告音（音声）と同じ文字情報を表示させる等により、ショベルの周辺への警報を行うことができる。

【0397】

このように、警報出力部３０３Ｄは、音声出力装置５２を用いて、オペレータに向けて警報を行うことにより、オペレータによるショベルの操作の中断等を促すことができ、結果として、ショベルの周辺における安全性の維持を図ることができる。また、警報出力部３０３Ｄは、外部用音声出力装置６２を用いて、ショベルの周辺に向けて警報を行うことにより、警戒エリアからの人の退避を促したり、警戒エリア外の人（他の作業者や作業現場の現場監督等の監視者）に対して、作業者の配置位置の見直しを促したり等することができ、結果として、ショベルの周辺における安全性の維持を図ることができる。

【0398】

尚、警報出力部３０３Ｄは、警戒エリアよりも外側の監視エリア（Ｄ２＜Ｄ≦Ｄ１）で監視対象（即ち、人）を検知した場合、警戒エリアで監視対象が検知した場合よりも危険度を表す警報レベルが比較的低い警報、即ち、予備的な警報を行ってもよい。例えば、警報出力部３０３Ｄは、検知された人のショベルからの距離Ｄが所定距離Ｄ１以下且つ所定距離Ｄ２より大きい場合（即ち、検知された人が警戒エリアよりも外側の監視エリアにいる場合）、比較的危険度が低い注意状態（警報レベル１）であるとして、予備的な警報（例えば、比較的小音量の警告音をスピーカに出力させる）を出力する。一方、警報出力部３０３Ｄは、検知された人のショベルからの距離Ｄが所定距離Ｄ２以下である場合（即ち、検知された人が警戒エリア内にいる場合）、比較的危険度が高い警戒状態（警報レベル２）であるとして、正式な警報（例えば、比較的大音量の警告音）を出力する。

【0399】

図４２に戻り、制限制御部３０４Ｄは、検知部３０１Ｄにより警戒エリアで人が検知された場合、ショベルの動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５、バケット６等）の動作を制限させる。例えば、制限制御部３０４Ｄは、ゲートロック弁５４に指令信号としてのＯＮ信号を送信することにより、ゲートロック弁５４にパイロットラインを非連通状態にさせる。これにより、パイロットポンプ（不図示）からショベルの動作要素を操作する操作装置（不図示）に作動油（パイロット圧）が供給されないため、オペレータが操作装置に操作入力を行っても、ショベルの動作要素が動作しないように制限することができる。そのため、ショベルに近接する警戒エリアに人が侵入してしまった場合であっても、ショベルの動作が制限され、ショベルと人の衝突を抑制することができ、結果として、ショベルの周辺における安全性の維持を図ることができる。

【0400】

尚、例えば、操作装置から出力される二次側のパイロット圧を減圧する減圧弁を設け、制限制御部３０４Ｄは、ゲートロック弁５４の代わりに、当該減圧弁を制御してもよい。この場合、当該減圧弁は、操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる操作装置に対する操作を無効化することができ、結果として、ショベルの動作要素の動作を制限することができる。

【0401】

このように、監視対象検知手段１１０により警戒エリア内で監視対象（即ち、人）が検知された場合に、ショベルの周辺における安全性の確保を図る安全機能、例えば、上述の如く、オペレータに向けて警報を出力する機能（以下、内部警報機能と称する）、ショベルの周辺に向けて警報を出力する機能（以下、外部警報機能と称する）、及びショベルの動作要素の動作を制限させる機能（以下、動作制限機能と称する）等を有する安全確保手段１２０は、表示制御部３０２Ｄ、警報出力部３０３Ｄ、制限制御部３０４Ｄ、表示装置５０、音声出力装置５２、ゲートロック弁５４、外部用表示装置６０、外部用音声出力装置６２等を含んで構成される。

【0402】

判定部３０５Ｄは、周辺監視システム１００における監視対象を検知する機能（以下、監視機能と称する）、即ち、監視対象検知手段１１０が動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定する（以下、動作しているか否かの判定を「第１の当否判定」と称し、動作状態が正常であるかの判定を「第２の当否判定」と称する）。監視対象検知手段１１０が"動作していない"状態とは、例えば、監視対象検知手段１１０の少なくとも一部が電源供給或いは油圧供給により動作する場合に、電源ＯＦＦされている或いは油圧が遮断されている状態や、監視対象検知手段１１０の監視機能をＯＮ／ＯＦＦ切替可能である場合に、当該監視機能がＯＦＦに設定されている状態等、意図的に監視対象検知手段１１０（即ち、監視機能）が働かないようにされている状態を含む。

【0403】

そして、判定部３０５Ｄは、監視対象検知手段１１０が動作していない、或いは、動作しているが、その動作状態が正常でない（即ち、異常である）と判定された場合、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの周辺に向けて、監視対象検知手段１１０（即ち、監視機能）の動作が制限されていることを示す通知（制限通知）を行う。

【0404】

判定部３０５Ｄは、任意の方法で、監視対象検知手段１１０が動作しているか否かを判定してよい。例えば、判定部３０５Ｄは、監視対象検知手段１１０に含まれる各構成要素、即ち、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）及び検知部３０１Ｄ（後方検知部３０１ＤＢ、左側方検知部３０１ＤＬ、右側方検知部３０１ＤＲ）のそれぞれに対して、当否判定を行ってよい。この場合、判定部３０５Ｄは、構成要素の少なくとも１つが動作していない場合、監視対象検知手段１１０が動作していないと判定する。また、例えば、判定部３０５Ｄは、撮像装置４０からコントローラ３０に定期的に撮像画像が入力されている状態であるか否かにより、撮像装置４０が動作しているか否かを判定してよい。また、判定部３０５Ｄは、コントローラ３０のメモリ等に保持される、監視機能のＯＮ／ＯＦＦに関する情報（フラグ）等を確認することにより、検知部３０１Ｄが動作しているか否かを判定してよい。

【0405】

また、判定部３０５Ｄは、任意の方法で、監視対象検知手段１１０の動作状態が正常であるか否かを判定してよい。例えば、判定部３０５Ｄは、監視対象検知手段１１０に含まれる各構成要素、即ち、撮像装置４０及び検知部３０１Ｄのそれぞれに対して、当否判定を行ってよい。この場合、判定部３０５Ｄは、構成要素の少なくとも１つの動作状態が正常でない場合、監視対象検知手段１１０の動作状態が正常でないと判定する。また、例えば、判定部３０５Ｄは、コントローラ３０のＲＯＭ等に予め格納されるヘルスチェックプログラム（ダイアグプログラム）に基づき、撮像装置４０及び検知部３０１Ｄのヘルスチェックを行い、ヘルスチェック結果に基づき、撮像装置４０及び検知部３０１Ｄの動作状態が正常であるか否かを判定してよい。

【0406】

また、判定部３０５Ｄは、画像処理によって監視対象を正常に検知できる程度の撮像画像を撮像装置４０から取得できているか否かを判定することにより、監視対象検知手段１１０の動作状態が正常であるか否かを判定してもよい。撮像装置４０から出力される撮像画像にフリーズ、白飛び、黒つぶれが発生したり、撮像装置４０のレンズの付着物に起因して撮像装置４０から出力される撮像画像の大部分を付着物が占めていたり等すると、画像処理ベースの場合、監視対象を正常に検知できない可能性が高いからである。また、ある程度の速度で、ショベルが移動したり、旋回したりしている状況では、撮像装置４０の撮像領域が時々刻々と変化するため、監視対象を正常に検知できる程度、即ち、同一の監視対象の候補を追跡し、正式な監視対象として検知するために必要な枚数の同一の監視対象が含まれる撮像画像を取得できず、画像処理ベースの場合、監視対象を正常に検知できない可能性が高いからである。

【0407】

具体的には、判定部３０５Ｄは、撮像装置４０の撮像画像の平均情報量、例えば、平均輝度情報量等に基づき、撮像装置４０の撮像画像が監視対象を正常に検知できる状態にあるか否か、即ち、撮像画像が、白飛び、黒潰れ、フリーズ等に該当しない状態であるか否かを判定してよい。例えば、撮像装置４０による撮像画像の平均輝度情報量が比較的小さい、即ち、適宜予め規定される閾値より小さい場合、撮像画像における輝度値のヒストグラム分散が狭い状態を表しているため、白飛び、黒潰れ、或いは、それに類するような状態（撮像装置４０のレンズを付着物が覆っている状態等）であると判定することができる。この場合、時系列的に連続する複数の撮像画像における平均輝度情報量の平均値を用いて、当該判定を行ってもよい。また、時系列的に連続する２つの撮像画像の平均輝度情報量の変化量（平均輝度情報量変化量）が略ゼロである（即ち、略ゼロであると判定可能な非常に小さい閾値より小さい）場合、２つの撮像画像における輝度のヒストグラムに変化がない状態を表しているため、撮像画像のフリーズ、或いは、それに類するような状態であると判定することができる。この場合、時系列的に連続する２以上の平均輝度情報量変化量のそれぞれに対して、略ゼロであるか否かを判定し、当該条件を満足する割合が所定以上の場合に、撮像画像のフリーズ、或いは、それに類するような状態であると判定してもよい。

【0408】

また、判定部３０５Ｄは、撮像装置４０の撮像画像の所定の画像特徴量、例えば、ＬＢＰ（Local Binary Pattern）特徴量の時系列変化に基づき、ショベルの移動状態又は旋回状態が、撮像画像から監視対象を正常に検知できる程度であるか否かを判定してもよい。撮像装置４０による撮像画像における画像特徴量の時系列変化（差分）が比較的大きい場合は、背景が移動している、即ち、ショベルが移動している、或いは、旋回していると判断できるからである。例えば、まず、判定部３０５Ｄは、撮像装置４０の時系列的に連続する２つの撮像画像のそれぞれを予め規定される複数のブロック、例えば、Ｎ（２以上の整数）個のブロックに区分し、ブロックごとにＬＢＰ特徴量を算出する。次に、判定部３０５Ｄは、ブロックごとに、２つの撮像画像の間のＬＢＰ特徴量の変化量に相当するハミング距離ｈｄｉ（ｉ＝１，...，Ｎ）を算出すると共に、区分されるＮ個のブロックの全てのハミング距離ｈｄｉの和を、２つの撮像画像間のハミング距離ＨＤ（＝ｈｄ１＋...＋ｈｄＮ）として算出する。そして、算出したハミング距離ＨＤが、適宜予め規定される閾値より大きい場合、背景がある程度の速度で移動している、即ち、ショベルがある程度の速度で移動或いは旋回していると判定することができる。この場合、時系列的に連続する３以上の撮像画像を対象として、２以上のハミング距離ＨＤを算出し、それらの平均値を用いて、当該判定を行ってもよい。

【0409】

また、判定部３０５Ｄは、監視対象検知手段１１０に含まれる後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、右側方用監視対象検知手段１１０Ｒのそれぞれに対して、動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定してもよい。

【0410】

そして、判定部３０５Ｄは、後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、右側方用監視対象検知手段１１０Ｒのうちの一部が動作していない、或いは、動作しているが、その動作状態が正常でない（即ち、異常である）と判定された場合、外部用表示装置６０及び外部用音声出力装置６２を用いて、ショベルの周辺に向けて、後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、右側方用監視対象検知手段１１０Ｒのうちの一部に対応する撮像装置４０の撮像領域（後方領域、左側方領域、及び右側方領域のうちの何れか１つ或いは２つの領域）における監視機能が制限されている旨の通知（以下、「制限通知」と称する）を行ってもよい（後述する図４８参照）。

【0411】

また、判定部３０５Ｄは、監視対象検知手段１１０により警戒エリアで監視対象（即ち、人）が検知された場合にショベルの周辺における安全性の確保を図る安全確保手段１２０に対して、動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定してもよい。安全確保手段１２０が"動作していない"状態とは、監視対象検知手段１１０の場合と同様、例えば、安全確保手段１２０の少なくとも一部が電源供給或いは油圧供給により動作する場合に、電源がＯＦＦされている或いは油圧が遮断されている状態や、安全確保手段１２０（即ち、安全機能）をＯＮ／ＯＦＦ切替可能である場合に、安全機能がＯＦＦに設定されている状態等、意図的に安全確保手段１２０の機能が働かないようにされている状態を含む。

【0412】

そして、判定部３０５Ｄは、安全確保手段１２０が動作していない、或いは、動作しているが、その動作状態が正常でない（即ち、異常である）と判定された場合、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの周辺に向けて、安全確保手段１２０（即ち、安全機能）の動作が制限されていることを示す通知（制限通知）を行ってもよい（図４９参照）。

【0413】

判定部３０５Ｄは、監視対象検知手段１１０の場合と同様、任意の方法で、安全確保手段１２０が動作しているか否かを判定してよい。例えば、判定部３０５Ｄは、安全確保手段１２０に含まれる各構成要素、即ち、表示制御部３０２Ｄ、警報出力部３０３Ｄ、制限制御部３０４Ｄ、表示装置５０、音声出力装置５２、ゲートロック弁５４、外部用表示装置６０、外部用音声出力装置６２のそれぞれに対して、当否判定を行ってよい。この場合、判定部３０５Ｄは、構成要素の少なくとも１つが動作していない場合、安全確保手段１２０が動作していないと判定する。また、例えば、判定部３０５Ｄは、撮像装置４０からコントローラ３０に定期的に撮像画像が入力されている状態であるか否かにより、撮像装置４０が動作しているか否かを判定してよい。また、判定部３０５Ｄは、コントローラ３０のメモリ等に保持される、安全機能のＯＮ／ＯＦＦに関する情報（フラグ）等を確認することにより、検知部３０１Ｄが動作しているか否かを判定してよい。

【0414】

また、判定部３０５Ｄは、監視対象検知手段１１０の場合と同様、任意の方法で、安全確保手段１２０の動作状態が正常であるか否かを判定してよい。例えば、判定部３０５Ｄは、安全確保手段１２０に含まれる各構成要素、即ち、表示制御部３０２Ｄ、警報出力部３０３Ｄ、制限制御部３０４Ｄ、表示装置５０、音声出力装置５２、ゲートロック弁５４、外部用表示装置６０、外部用音声出力装置６２のそれぞれに対して、当否判定を行ってよい。この場合、判定部３０５Ｄは、構成要素の少なくとも１つの動作状態が正常でない場合、安全確保手段１２０の動作状態が正常でないと判定する。また、例えば、判定部３０５Ｄは、コントローラ３０のＲＯＭ等に予め格納されるヘルスチェックプログラム（ダイアグプログラム）に基づき、表示制御部３０２Ｄ、警報出力部３０３Ｄ、制限制御部３０４Ｄ、表示装置５０、音声出力装置５２、ゲートロック弁５４、外部用表示装置６０、外部用音声出力装置６２のヘルスチェックを行い、ヘルスチェック結果に基づき、表示制御部３０２Ｄ、警報出力部３０３Ｄ、制限制御部３０４Ｄ、表示装置５０、音声出力装置５２、ゲートロック弁５４、外部用表示装置６０、外部用音声出力装置６２の動作状態が正常であるか否かを判定してよい。

【0415】

＜制限通知の具体例＞
次に、図４５、図４６を参照して、外部用表示装置６０及び外部用音声出力装置６２により行われる監視対象検知手段１１０の動作（監視機能）が制限されていることを示す通知（制限通知）の具体例を説明する。

【0416】

尚、安全確保手段１２０の動作（安全機能）が制限されていることを示す通知についても、同様に行われるため、説明を省略する。

【0417】

図４５、図４６（図４６Ａ、図４６Ｂ）は、ショベルの周辺に向けて通知される制限通知の一例及び他の例を模式的に説明する図である。

【0418】

図４５に示すように、本例では、上部旋回体３の後端の側面上部において、左右方向に亘って配置される外部用表示装置６０には、"監視機能制限中"と表示されている。これにより、ショベルの周辺で作業をしている作業者や作業現場の監督者等は、ショベルの監視機能が制限されていることを把握することができる。

【0419】

また、図４６に示すように、監視対象検知手段１１０の動作が正常でない状況になった場合（図４６Ａ）、外部用音声出力装置６２から、例えば、"ショベルの監視機能が制限されています"等の音声が出力される（図４６Ｂ）。

【0420】

これにより、作業者や作業現場の現場監督等の監視者等は、ショベルの監視機能や当該監視機能に基づく安全機能が制限されていることをショベルの外部から把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、ショベル側での監視機能や安全機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、作業者や作業現場の現場監督等の監視者等に対して、ショベルの周辺における安全性の確保を考慮した行動（例えば、ショベルとの距離を通常よりも確保して作業を行う等）を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。

【0421】

＜周辺監視システムの動作の詳細＞
次に、図４７～図４９を参照して、本実施形態に係る周辺監視システム１００による特徴的な処理、即ち、判定部３０５Ｄによる制限通知を行うための処理（通知処理）のフローについて説明をする。

【0422】

図４７は、周辺監視システム１００の判定部３０５Ｄによる通知処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、制限通知が行われていない状況で、定期的に繰り返し実行されてよい。

【0423】

ステップＳ１０２Ｄにて、判定部３０５Ｄは、監視機能に対する第１の当否判定、即ち、監視対象検知手段１１０が動作しているか否かの判定を行う。

【0424】

ステップＳ１０４Ｄにて、判定部３０５Ｄは、監視機能に対する第２の当否判定、即ち、監視対象検知手段１１０が動作している場合の動作状態が正常であるか否かの判定を行う。

【0425】

尚、ステップＳ１０２Ｄ，Ｓ１０４Ｄの処理の順序は、逆であってもよい。

【0426】

ステップＳ１０６Ｄにて、判定部３０５Ｄは、ステップＳ１０２Ｄ，Ｓ１０４Ｄにおける第１の当否判定及び第２の当否判定で否判定が１つでもあるか否かを判定する。判定部３０５Ｄは、否判定がある場合、ステップＳ１０８Ｄに進み、否判定がない場合、今回の処理を終了する。

【0427】

ステップＳ１０８Ｄにて、判定部３０５Ｄは、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの周辺に向けて、監視機能（即ち、監視対象検知手段１１０の動作）が制限されていることを示す通知を行わせて、今回の処理を終了する。

【0428】

このように、本例では、外部用表示装置６０及び外部用音声出力装置６２は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない（例えば、故障している）場合に、ショベルの周辺に向けて、その旨を通知する。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、ショベルの監視機能が正常に動作していることを前提として、ショベルの周辺で作業したり、作業をさせたりしている場合も多いところ、上述の如く、作業者や監督者等は、ショベルの監視機能が制限されていることをショベルの外部から把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、ショベル側での監視機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、作業者や監督者等に対して、ショベルの周辺における安全性の確保を考慮した行動を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。

【0429】

尚、ショベルに設けられる図示しない通信デバイス等を用いて、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合（ステップＳ１０６ＤのＹｅｓ）に、作業現場の管理端末や作業現場の現場監督等の監視者の端末（スマートフォン、タブレット端末）等に、ショベルの監視機能が制限されている旨の通知が送信されてもよい。例えば、通信デバイスは、所定の管理サーバに当該通知を送信することによって、管理サーバを経由して、予め登録される作業現場の管理端末や現場監督等の管理者の端末に当該通知がリアルタイムに転送される態様であってよい。これにより、例えば、作業現場が広い場合等、作業現場の現場監督等の監視者は、ショベルから直接出力される通知に気付かない可能性があるところ、作業現場の事務所に設けられる管理端末や監視者自身が携帯する端末に当該通知が送信されるため、ショベルの監視機能が制限されていることを把握することができる。以下、後述する図４８のステップＳ２０６ＤのＹｅｓの場合や図４９のステップＳ３１０ＤのＹｅｓの場合についても、同様の対応が行われてよい。

【0430】

また、例えば、コントローラ３０は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合（ステップＳ１０６ＤのＹｅｓ）に、ショベルの各種状態（例えば、ショベルに搭載される各種センサの検出信号、操作装置に対する操作状態を示す信号、コントローラ３０を含む各種制御装置の制御状態を示す信号等）を内部メモリ等に記録してもよい。また、記録されたデータは、図示しない通信デバイスにより、管理サーバに送信され、蓄積されてもよい。このように、監視機能が制限されたときの各種状態を記録することによって、不具合の証拠記録としたり、蓄積される各種状態を解析することによって、不具合の原因究明や今後の改良等を行ったりすることができる。以下、後述する図４８のステップＳ２０６ＤのＹｅｓの場合や図４９のステップＳ３１０ＤのＹｅｓの場合についても、同様の対応が行われてよい。

【0431】

また、例えば、コントローラ３０は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合（ステップＳ１０６ＤのＹｅｓ）であって、撮像装置４０から撮像画像が入力されている場合に、撮像装置４０の撮像画像を一定期間分、内部メモリ等に記録してもよい。また、記録された撮像画像のデータは、図示しない通信デバイスにより、管理サーバに送信され、蓄積されてもよい。これにより、ショベルの各種状態に関するデータの場合と同様、撮像装置４０の動作状態が正常でないときの具体的な状況を把握でき、不具合の原因究明や今後の改良等に生かすことができると共に、撮像装置４０に問題がないときには、監視機能が制限されたときの周辺状況等を不具合の証拠記録として蓄積することができる。以下、後述する図４８のステップＳ２０６ＤのＹｅｓの場合や図４９のステップＳ３１０ＤのＹｅｓの場合についても、同様の対応が行われてよい。

【0432】

続いて、図４８は、周辺監視システム１００の判定部３０５Ｄによる通知処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図４７）の場合と同様、例えば、ショベルの運転中、制限通知が行われていない状況で、定期的に繰り返し実行されてよい。

【0433】

ステップＳ２０２Ｄにて、判定部３０５Ｄは、後方領域、左側方領域、及び右側方領域のそれぞれにおける監視機能に対する第１の当否判定、即ち、後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、及び右側方用監視対象検知手段１１０Ｒのそれぞれが、動作しているか否かの判定を行う。

【0434】

ステップＳ２０４Ｄにて、判定部３０５Ｄは、後方領域、左側方領域、及び右側方領域のそれぞれにおける監視機能に対する第２の当否判定、即ち、後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、及び右側方用監視対象検知手段１１０Ｒのそれぞれが動作している場合の動作状態が正常であるか否かの判定を行う。

【0435】

ステップＳ２０６Ｄにて、判定部３０５Ｄは、ステップＳ２０２Ｄ，Ｓ２０４Ｄにおける第１の当否判定及び第２の当否判定で否判定があるか否かを判定する。判定部３０５Ｄは、否判定がある場合、ステップＳ２０８Ｄに進み、否判定がない場合、今回の処理を終了する。

【0436】

ステップＳ２０８Ｄにて、判定部３０５Ｄは、ステップＳ２０２Ｄ，２０４における第１の当否判定及び第２の当否判定で、後方領域、左側方領域、及び右側方領域の全領域における監視機能に対する否判定があるか否かを判定する。判定部３０５Ｄは、後方領域、左側方領域、及び右側方領域の全領域における監視機能に対する否判定がある場合、ステップＳ２１０Ｄに進み、後方領域、左側方領域、及び右側方領域のうちの一部領域の監視機能に対する否判定がある場合、ステップＳ２１２Ｄに進む。

【0437】

ステップＳ２１０Ｄにて、判定部３０５Ｄは、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの周辺に向けて、全領域（後方領域、左側方領域、及び右側方領域）で監視機能が制限されていることを示す通知を行わせて、今回の処理を終了する。

【0438】

一方、ステップＳ２１２Ｄにて、判定部３０５Ｄは、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの周辺に向けて、全領域のうち、否判定がある一部の領域別監視対象検知手段（後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、及び右側方用監視対象検知手段１１０Ｒのうちの何れか１つ或いは２つ）に対応する領域（後方領域、左側方領域、及び右側方領域のうちの何れか１つ或いは２つ）で監視機能が制限されていることを示す通知を行わせて、今回の処理を終了する。

【0439】

このように、本例では、外部用表示装置６０及び外部用音声出力装置６２は、後方用監視対象検知手段１１０Ｂ、左側方用監視対象検知手段１１０Ｌ、及び右側方用監視対象検知手段１１０Ｒのうちの一部が動作していない、或いは、動作状態が正常でない場合、当該一部に対応する領域に対する監視機能が制限されていることを示す通知を行う。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、監視機能によるショベル周辺の監視対象領域のうちの何れの領域に対する監視機能が制限されているかをショベルの外部から把握することができる。

【0440】

続いて、図４９は、周辺監視システム１００の判定部３０５Ｄによる通知処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第１例（図４７）の場合と同様、例えば、ショベルの運転中における制限通知が行われていない状況で、定期的に繰り返し実行されてよい。

【0441】

本フローチャートのステップＳ３０２Ｄ，Ｓ３０４Ｄは、上述した第１例（図４７）のステップＳ１０２Ｄ，Ｓ１０４Ｄと同じであるため、異なる部分を中心に説明する。

【0442】

ステップＳ３０６Ｄにて、判定部３０５Ｄは、安全機能に対する第１の当否判定、即ち、安全確保手段１２０が動作しているか否かの判定を行う。

【0443】

ステップＳ３０８Ｄにて、判定部３０５Ｄは、安全機能に対する第２の当否判定、即ち、安全確保手段１２０が動作している場合の動作状態が正常であるか否かを判定する。

【0444】

尚、ステップＳ３０２Ｄ～Ｓ３０８Ｄの判定処理の順序は、任意であってよい。

【0445】

ステップＳ３１０Ｄにて、判定部３０５Ｄは、ステップＳ３０２Ｄ～Ｓ３０８Ｄにおける第１の当否判定及び第２の当否判定で否判定が１つでもあるか否かを判定する。判定部３０５Ｄは、否判定がある場合、ステップＳ３１２Ｄに進み、否判定がない場合、今回の処理を終了する。

【0446】

ステップＳ３１２Ｄにて、判定部３０５Ｄは、外部用表示装置６０及び外部用音声出力装置６２に通知指令を送信し、ショベルの外部に向けて、監視機能（即ち、監視対象検知手段１１０の動作）或いは安全機能（即ち、安全確保手段１２０の動作）が制限されていることを示す通知を行わせて、今回の処理を終了する。

【0447】

尚、ステップＳ３１２Ｄにて、判定部３０５Ｄは、外部用表示装置６０、外部用音声出力装置６２を介して、監視機能だけが制限されているのか安全機能だけが制限されているのか、或いは、監視機能及び安全機能の双方が制限されているのかの別を、ショベルの周辺に通知してもよい。また、判定部３０５Ｄは、監視機能に対する第１の当否判定及び第２の当否判定（ステップＳ３０２Ｄ，Ｓ３０４Ｄ）を省略し、監視機能に基づく安全機能だけに対する第１の当否判定及び第２の当否判定（ステップＳ３０６Ｄ，Ｓ３０８Ｄ）を行ってもよい。この場合、ステップＳ３１２Ｄにて、判定部３０５Ｄは、外部用表示装置６０、外部用音声出力装置６２を介して、ショベルの周辺に向けて、安全機能が制限されていることを示す通知を行う。また、判定部３０５Ｄは、複数の安全機能、即ち、上述した内部警報機能、外部警報機能、動作制限機能等のそれぞれに対して、第１の当否判定及び第２の当否判定を行ってもよい。この場合、ステップＳ３１２Ｄにて、判定部３０５Ｄは、外部用表示装置６０、外部用音声出力装置６２を介して、複数の安全機能のうちの全てが制限されているのか、或いは、一部の安全機能が制限されているのかを通知してもよい。

【0448】

このように、本例では、外部用表示装置６０及び外部用音声出力装置６２は、ショベルの監視機能、及び該監視機能に基づき動作する安全機能の少なくとも一方が動作していない或いは動作状態が正常でない場合、ショベルの周辺に向けて、監視機能或いは安全機能が制限されていることを示す通知を行う。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、監視機能が制限されていることだけでなく、監視機能に基づき動作する安全機能が制限されていることをショベルの外部から把握することができる。そのため、監視機能が制限されていない場合であっても、監視機能に基づき動作する安全機能が制限されている場合、安全機能が正常に動作しない可能性があるところ、作業者や作業現場の現場監督等の監視者等に対して、ショベルの周辺における安全性の確保を考慮した行動を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。

【0449】

以上、本発明の一実施形態に係る周辺監視システムの第４の機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0450】

例えば、上述した実施形態では、監視対象検知手段１１０及び安全確保手段１２０の少なくとも一方に対して、第１の当否判定及び第２の当否判定の双方が行われるが、何れか一方の当否判定だけに基づき、制限通知が行われてもよい。

【0451】

また、上述した実施形態及び変形例では、外部用表示装置６０及び外部用音声出力装置６２の双方により通知を行うが、何れか一方で行ってもよい。

【0452】

また、上述した実施形態及び変形例では、ショベルの周辺に向けて、監視機能或いは安全機能が制限されていることを示す通知を行われるが、併せて、表示装置５０や音声出力装置５２を通じて、キャビン１０の内部、即ち、オペレータに向けて、同様の通知が行われてもよい。これにより、オペレータは、ショベルの監視機能や安全機能が正常に動作していることを前提として、ショベルの操縦を行っている場合も多いところ、例えば、監視機能や安全機能の異常等のインジケータに気付けなかった場合や意図的でなく監視機能等がＯＦＦにされていた場合であっても、ショベルの周辺への通知に併せて、同様の通知がなされることにより、ショベルの監視機能や安全機能が制限されていることを確実に把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、監視機能や安全機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、オペレータ等に対して、ショベルの周辺における安全性の確保を考慮したショベルの操縦を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。

【0453】

尚、上述した本実施形態に係る周辺監視システムの第４の機能（安全機能制限通知機能）に関して、以下を更に開示する。

【0454】

（１）
作業機械の周辺で所定の監視対象を検知する監視対象検知手段と、
前記監視対象検知手段により前記監視対象が検知された場合に、前記作業機械の周辺における安全性の確保を図る所定の安全機能を有する安全確保手段と、
前記監視対象検知手段及び前記安全確保手段の少なくとも一方に対して、動作しているか否か、及び動作状態が正常であるか否かの少なくとも一方を判定する判定手段と、
前記判定手段により、前記監視対象検知手段又は前記安全確保手段が、動作していない又は動作状態が正常でないと判定された場合、前記監視対象検知手段又は前記安全確保手段の動作が制限されていることを示す通知を行う通知手段と、を備える、
作業機械用周辺監視システム。

【0455】

（２）
前記通知手段は、前記作業機械の周辺に向けて前記通知を行う、
（１）に記載の作業機械用周辺監視システム。

【0456】

（３）
前記通知手段は、前記作業機械の操縦席が設けられるキャビンの内部に向けて前記通知を行う、
（２）に記載の作業機械用周辺監視システム。

【0457】

（４）
前記監視対象検知手段は、前記作業機械の周辺の複数の領域のそれぞれで前記監視対象を検知する複数の領域別監視対象検知手段を備え、
前記判定手段は、前記複数の領域別監視対象検知手段のそれぞれが動作しているか否か、及び動作状態が正常であるか否かの少なくとも一方を判定し、
前記通知は、前記判定手段により前記複数の領域別監視対象検知手段のうちの一部の領域監視対象検知手段が動作していない又は動作状態が正常でないと判定された場合、前記複数の領域のうち、前記一部の監視対象検知手段に対応する領域における前記安全機能が制限されている旨の通知を行う、
（１）乃至（３）の何れか一項に記載の作業機械用周辺監視システム。

【0458】

（５）
作業機械の周辺を撮像する撮像装置と、前記撮像装置の撮像画像に対する画像処理に基づき、前記作業機械の周辺で所定の監視対象を検知する検知部と、を含む監視対象検知手段と、
前記撮像画像の平均情報量及び画像特徴量の少なくとも一方に基づき、前記監視対象検知手段による前記監視対象の検知機能が正常であるか否かの当否判定を行う判定手段と、
前記判定手段による判定結果が否である場合、前記監視対象検知手段の動作が制限されていることを示す通知を行う通知手段と、を備える、
作業機械用周辺監視システム。

【0459】

（６）
前記判定手段は、前記平均情報量に基づき、前記撮像画像が前記監視対象を正常に検知できる状態であるか否かを判定する、
（５）に記載の作業機械用周辺監視システム。

【0460】

（７）
前記判定手段は、前記画像特徴量の時系列での変化に基づき、前記作業機械の移動状態又は旋回状態が、前記撮像画像から前記監視対象を正常に検知できる程度であるか否かを判定する、
（５）又は（６）に記載の作業機械用周辺監視システム。

【0461】

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0462】

尚、本願は、２０１７年２月１７日に出願した日本国特許出願２０１７－０２７８６０号、２０１７年３月２７日に出願した日本国特許出願２０１７－０６１９５８号、２０１７年３月３０日に出願した日本国特許出願２０１７－０６９３１３号、及び、２０１７年３月３１日に出願した日本国特許出願２０１７－０７３０１７号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。

【符号の説明】

【0463】

３０ コントローラ
４０ 撮像装置
４０Ｂ 後方カメラ
４０Ｌ 左側方カメラ
４０Ｒ 右側方カメラ
５０ 表示装置
５２ 音声出力装置
５４ ゲートロック弁
６０ 外部用表示装置
６２ 外部用音声出力装置
１００ 周辺監視システム
１１０ 監視対象検知手段
１１０Ｂ 後方用監視対象検知手段
１１０Ｌ 左側方用監視対象検知手段
１１０Ｒ 右側方用監視対象検知手段
１２０ 安全確保手段
３０１Ａ 監視対象検知部
３０１Ｂ 監視対象検知部
３０１Ｃ 物体検知部
３０１Ｄ 検知部
３０１ＤＢ 後方検知部
３０１ＤＬ 左側方検知部
３０１ＤＲ 右側方検知部
３０２Ａ 監視画像表示処理部
３０２Ｂ 監視画像表示処理部
３０２Ｃ 表示制御部
３０２Ｄ 表示制御部
３０３Ａ 目印画像表示処理部
３０３Ｂ 目印表示処理部
３０３Ｃ 音声制御部
３０３Ｄ 警報出力部
３０４Ｄ 制限制御部
３０５Ｄ 判定部
３０１１Ｃ 車両検知部
３０１２Ｃ 人検知部
３０３１Ａ 候補点生成部
３０３２Ａ 目印画像選択部
３０３３Ａ 構成点選択部
３０３４Ａ エンコード部
３０３５Ａ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19A】

【図19B】

【図20】

【図21】

【図22】

【図23】

【図24A】

【図24B】

【図25A】

【図25B】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33A】

【図33B】

【図34A】

【図34B】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40A】

【図40B】

【図41A】

【図41B】

【図42】

【図43】

【図44A】

【図44B】

【図45】

【図46A】

【図46B】

【図47】

【図48】

【図49】