特開 2022-153103 作業現場の監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022153103

(43)【公開日】2022-10-12

(54)【発明の名称】作業現場の監視システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221004BHJP

   H04N 7/18 20060101ALI20221004BHJP

   G08G 1/16 20060101ALI20221004BHJP

【ＦＩ】

G06T7/00 350B

H04N7/18 J

G08G1/16 C

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021056161

(22)【出願日】2021-03-29

(71)【出願人】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】太田 守飛

(72)【発明者】

【氏名】坂本 博史

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE09

5C054HA30

5H181AA07

5H181AA21

5H181BB04

5H181BB05

5H181BB20

5H181CC04

5H181FF13

5H181FF33

5H181FF35

5H181LL01

5H181LL02

5H181LL14

5H181MC19

5L096AA06

5L096BA02

5L096BA04

5L096CA02

5L096DA02

5L096FA16

5L096FA64

5L096FA66

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】物体の認識の精度の向上を図る。
【解決手段】作業現場の監視システム５は、撮影装置３０により撮影された画像データを取得し、取得した画像データに基づいて、監視範囲内の物体の存在を認識する認識処理装置１００を有する監視装置４０と、認識処理装置１００により取得された画像データに基づいて学習を行う学習装置６０とを備える。監視装置４０は、認識モデルが記憶されたモデル記憶部１３１と、画像データを記憶保持する画像記憶部１３２とを備え、認識処理装置１００により認識された物体の認識処理結果の信頼度が第２信頼度以上の場合には、画像データを画像記憶部１３２に記憶保持する。学習装置６０は、画像記憶部１３２に記憶保持された画像データに関する学習用データに基づいて学習を行うことにより、認識モデルの更新用データを生成する。監視装置４０は、更新用データに基づいてモデル記憶部１３１に記憶されている認識モデルを更新する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車体の周囲を撮影する撮影装置と、前記撮影装置により撮影された画像データを取得し、取得した前記画像データに基づいて、監視範囲内の物体の存在を認識する認識処理装置と、を有する監視装置と、
前記認識処理装置により取得された前記画像データに基づいて学習を行う学習装置と、を備えた作業現場の監視システムにおいて、
前記監視装置は、
物体を認識するための認識モデルが記憶されたモデル記憶部と、所定の前記画像データを記憶保持する画像記憶部と、を備え、
前記認識処理装置により認識された物体の認識処理結果の信頼度が第１信頼度以上の場合には、前記監視範囲内に前記物体が存在すると判定し、
前記認識処理装置により認識された物体の認識処理結果の信頼度が前記第１信頼度よりも低い第２信頼度以上の場合には、前記画像データを前記画像記憶部に記憶保持し、
前記学習装置は、
前記画像記憶部に記憶保持された前記画像データに関する学習用データに基づいて学習を行うことにより、前記モデル記憶部に記憶された前記認識モデルの更新用データを生成し、
前記監視装置は、
前記学習装置により生成された前記更新用データに基づいて前記モデル記憶部に記憶されている前記認識モデルを更新する、
ことを特徴とする作業現場の監視システム。

【請求項2】

請求項１に記載の作業現場の監視システムにおいて、
前記監視装置は、作業機械に搭載され、前記画像記憶部に記憶保持されている前記画像データを前記学習装置に送信し、前記学習装置から前記認識モデルの更新用データを受信する第１通信装置を備え、
前記学習装置は、前記作業機械の外部に設けられ、前記監視装置から前記画像データを受信し、前記監視装置へ前記認識モデルの更新用データを送信する第２通信装置を備え、
前記監視装置は、前記第１通信装置により受信した前記認識モデルの更新用データに基づいて、前記モデル記憶部に記憶された前記認識モデルを更新する、
ことを特徴とする作業現場の監視システム。

【請求項3】

請求項１に記載の作業現場の監視システムにおいて、
前記監視装置は、取得した前記画像データから、単一の前記認識モデルを用いた認識処理によって、前記監視範囲内の物体の存在を認識する、
ことを特徴とする作業現場の監視システム。

【請求項4】

請求項１に記載の作業現場の監視システムにおいて、
前記監視装置は、取得した前記画像データから、前記認識モデルを用いて、人の頭部を含む体の一部を認識する認識処理を実行する、
ことを特徴とする作業現場の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、油圧ショベル等を用いて土木作業等が行われる作業現場の監視システムに関する。

【背景技術】

【0002】

特許文献１には、入力画像から検出された判別の候補となる候補物体が、歩行者であるか否かをニューラルネットワーク手法によって判別する物体判別部を備えた画像認識装置が記載されている。

【0003】

具体的には、物体判別部は、撮像装置から現在入力されている入力画像内の候補物体の輪郭及び大きさと、学習モデル記憶部に記憶しておいた歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかのパターンの大きさ及び形状とを比較する判定（部位判定）を行って、その一致度（一致度合い）を示す判定出力値を求める。そして、物体判別部は、判定出力値が所定の判別閾値を超えていれば、候補物体が歩行者を構成する所定の部位（例えば、頭、胴体、手足など）のいずれかであることから、候補物体を歩行者であると判別する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－２１０３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ニューラルネットワーク手法等により物体の認識の精度を向上させるためには、様々な状況に応じた学習用データを収集し、物体の認識処理に必要な認識モデル（学習モデル）を更新することが有効である。しかしながら、撮影装置で撮影された画像データに基づいて学習用データを作成する際、画像データが膨大になると学習用データの作成に手間がかかり、物体の認識の精度の向上に必要な認識モデルの更新が遅れてしまうといった問題がある。

【0006】

本発明は、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業現場の監視システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様による作業現場の監視システムは、車体の周囲を撮影する撮影装置と、前記撮影装置により撮影された画像データを取得し、取得した前記画像データに基づいて、監視範囲内の物体の存在を認識する認識処理装置と、を有する監視装置と、前記認識処理装置により取得された前記画像データに基づいて学習を行う学習装置と、を備える。前記監視装置は、物体を認識するための認識モデルが記憶されたモデル記憶部と、所定の前記画像データを記憶保持する画像記憶部と、を備える。前記監視装置は、前記認識処理装置により認識された物体の認識処理結果の信頼度が第１信頼度以上の場合には、前記監視範囲内に前記物体が存在すると判定し、前記認識処理装置により認識された物体の認識処理結果の信頼度が前記第１信頼度よりも低い第２信頼度以上の場合には、前記画像データを前記画像記憶部に記憶保持する。前記学習装置は、前記画像記憶部に記憶保持された前記画像データに関する学習用データに基づいて学習を行うことにより、前記モデル記憶部に記憶された前記認識モデルの更新用データを生成する。前記監視装置は、前記学習装置により生成された前記更新用データに基づいて前記モデル記憶部に記憶されている前記認識モデルを更新する。

【発明の効果】

【0008】

本発明によれば、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業現場の監視システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】作業現場の監視システムの構成を示す図。

【図2】作業現場の監視システムの主な機能について示す機能ブロック図。

【図3】表示装置の表示画面に表示される表示画像の一例について示す図であり、撮影装置の近傍において、作業員が立った状態で作業をしている様子が撮影された表示画像を示す。

【図4】表示装置の表示画面に表示される表示画像の一例について示す図であり、作業員がしゃがみ込んだ状態で作業をしている様子が撮影された表示画像を示す。

【図5】監視装置のコントローラにより実行される監視処理の内容について示すフローチャート。

【図6】監視装置のコントローラにより実行される画像データ送信処理の内容について示すフローチャート。

【図7】監視装置のコントローラにより実行される認識モデル更新処理の内容について示すフローチャート。

【図8】変形例１に係る監視装置における表示装置の表示画面に表示される表示画像の一例について示す図。

【図9】変形例１に係る監視装置における表示装置の表示画面に表示される表示画像の別の例について示す図。

【発明を実施するための形態】

【0010】

図面を参照して、本発明の実施形態に係る作業現場の監視システムについて説明する。作業現場では、作業機械が稼働している。作業機械は、土木作業、建設作業、解体作業等の各種作業に用いられる機械である。本実施形態では、作業機械が、クローラ式の油圧ショベル１である例について説明する。

【0011】

図１は、作業現場の監視システム５の構成を示す図である。図１に示すように、作業現場の監視システム５は、作業現場で作業を行う油圧ショベル１と、管理センタ５２に設置される管理サーバ５３と、を有する。管理センタ５２は、例えば、油圧ショベル１の製造業者（メーカー）の本社、支社、工場等の施設、油圧ショベル１のレンタル会社、サーバの運営を専門的に行うデータセンタ、油圧ショベル１を所有するオーナーの施設等に設置される。管理サーバ５３は、油圧ショベル１の状態を遠隔で管理（把握、監視）する外部装置である。

【0012】

監視システム５は、作業現場で作業を行う油圧ショベル１と、作業現場から離れた場所あるいは作業現場に設置される管理サーバ５３との間で広域ネットワークの通信回線５０を介して双方向通信を行うことができるように構成されている。すなわち、油圧ショベル１と管理サーバ５３とは、通信回線５０を介して情報（データ）の送信、受信を行うことができる。通信回線５０は、携帯電話事業者等が展開する携帯電話通信網（移動通信網）、インターネット等である。例えば、図示するように、油圧ショベル１と無線基地局５１とが携帯電話通信網（移動通信網）で接続されている場合、無線基地局５１は、油圧ショベル１から所定の情報を受信すると、受信した情報をインターネットを介して管理サーバ５３に送信する。

【0013】

管理サーバ５３は、油圧ショベル１から受信した稼働データ、警告データ、及び、画像データ等の車体データを受信し、ハードディスクドライブ等の記憶部５４に記憶する。管理サーバ５３は、記憶部５４に記憶された情報（データ）を液晶ディスプレイ装置等の表示装置５５に表示させる。管理者は、管理サーバ５３をキーボード、マウス等の入力装置５６により操作し、所定の油圧ショベル１の情報を表示装置５５に表示させることで、油圧ショベル１の状態を把握することができる。例えば、管理サーバ５３は、油圧ショベル１から送信された画像データを記憶部５４に記憶し、記憶した画像データに基づいて、表示装置５５の表示画面に油圧ショベル１の周囲の画像を表示させる。

【0014】

油圧ショベル１は、機体（車体）４と、機体４に取り付けられる作業装置１０と、を備える。機体４は、走行体２と、走行体２上に旋回可能に設けられた旋回体３と、を備え、旋回体３の前部に作業装置１０が取り付けられている。走行体２は、左側のクローラを駆動させる左側走行用油圧モータ及び右側のクローラを駆動させる右側走行用油圧モータと、を備える。走行体２は、左右一対のクローラを走行用油圧モータによって駆動することにより走行する。旋回体３は、機体４に設けられた旋回用油圧モータを駆動することにより旋回する。

【0015】

旋回体３は、旋回フレーム８と、旋回フレーム８の前部左側に設けられる運転室７と、旋回フレーム８の後部に設けられるカウンタウエイト９と、旋回フレーム８における運転室７の後側に設けられるエンジン室６と、を有する。エンジン室６には、原動機であるエンジン、エンジンにより駆動される油圧ポンプ等の油圧機器が収容されている。旋回フレーム８の前部中央には作業装置１０が回動可能に連結されている。

【0016】

作業装置１０は、回動可能に連結される複数のフロント部材及びフロント部材を駆動する複数の油圧シリンダ（アクチュエータ）を有する多関節型の作業装置である。本実施形態では、３つのフロント部材としてのブーム１１、アーム１２及びバケット１３が、直列的に連結される。ブーム１１は、その基端部が旋回フレーム８の前部に回動可能に連結される。アーム１２は、その基端部がブーム１１の先端部に回動可能に連結される。バケット１３は、アーム１２の先端部に回動可能に連結される。

【0017】

ブーム１１は、油圧シリンダ（以下、ブームシリンダ１１ａとも記す）によって駆動され、旋回フレーム８に対して回動する。アーム１２は、油圧シリンダ（以下、アームシリンダ１２ａとも記す）によって駆動され、ブーム１１に対して回動する。バケット１３は、油圧シリンダ（以下、バケットシリンダ１３ａとも記す）によって駆動され、アーム１２に対して回動する。作業装置１０の各油圧シリンダが駆動されることにより、地山の掘削、整地等の作業が行われる。

【0018】

監視システム５は、油圧ショベル１に搭載される監視装置４０と、油圧ショベル１の外部、例えば、油圧ショベル１が稼働する作業現場に設置される学習装置６０と、を備える。監視システム５は、撮影装置３０により撮影された画像データに基づいて、監視範囲（すなわち、撮影装置３０による撮影範囲）内を監視するためのシステムである。監視システム５は、旋回体３に複数の撮影装置３０を取り付けることにより、機体４の周囲の監視が可能である。

【0019】

図１に示すように、本実施形態では、旋回体３の後方向を撮影する撮影装置３０がカウンタウエイト９の上部に取り付けられている。撮影装置（後カメラ）３０は、旋回体３の後方の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影する。なお、油圧ショベル１は、後カメラの他に、旋回体３の左方向を撮影する撮影装置（左カメラ）、旋回体３の右方向を撮影する撮影装置（右カメラ）、旋回体３の前方向を撮影する撮影装置（前カメラ）を備えていてもよい。撮影装置３０は、例えば、耐久性、耐候性に優れたＣＣＤ、ＣＭＯＳなどの撮像素子と広角レンズを備えた広角ビデオカメラである。

【0020】

運転室７内には、油圧ショベル１の各部を操作するための操作装置、及び、所定の情報を表示する表示装置１９０が設けられる。表示装置１９０は、後述するコントローラ１００による処理により、油圧ショベル１の周囲に物体が存在すると判定された場合（物体が検出された場合）、その情報を表示画面に表示させて、物体が検出されたことを油圧ショベル１のオペレータに報知する。なお、表示装置１９０は、液晶ディスプレイ上にタッチセンサが設けられたタッチパネルモニタである。つまり、表示装置１９０は、所定の操作を行うことにより、所定の情報をコントローラ１００に入力可能な入力装置１８０（図２参照）としても機能する。

【0021】

第１通信装置１６０は、広域ネットワークである通信回線５０に接続される無線基地局５１と無線通信可能な無線通信装置であって、所定の周波数帯域を感受帯域とする通信アンテナを含む通信インタフェースを有する。なお、第１通信装置１６０は、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信方式を利用して、学習装置６０と直接的に、あるいは間接的に情報の授受を行うようにしてもよい。

【0022】

コントローラ１００及び管理サーバ５３は、動作回路としてのＣＰＵ（Central Processing Unit）、記憶部としてのＲＯＭ（Read Only Memory）、記憶部としてのＲＡＭ（Random Access Memory）及び入出力インタフェース（Ｉ／Ｏインタフェース）、その他の周辺回路を備えたコンピュータで構成される。なお、コントローラ１００及び管理サーバ５３は、それぞれ１つのコンピュータで構成してもよいし、複数のコンピュータで構成してもよい。

【0023】

コントローラ１００及び管理サーバ５３のＲＯＭは、ＥＥＰＲＯＭ等の不揮発性メモリであり、各種演算が実行可能なプログラム及び閾値等のデータが格納されている。すなわち、コントローラ１００及び管理サーバ５３のＲＯＭは、本実施形態の機能を実現するプログラムを読み取り可能な記憶媒体（記憶装置）である。ＲＡＭは揮発性メモリであり、ＣＰＵとの間で直接的にデータの入出力を行うワークメモリである。ＲＡＭは、ＣＰＵがプログラムを演算実行している間、必要なデータを一時的に記憶する。なお、コントローラ１００及び管理サーバ５３は、フラッシュメモリ、ハードディスクドライブ等の不揮発性メモリを記憶部として備えている。

【0024】

ＣＰＵは、ＲＯＭに記憶された制御プログラムをＲＡＭに展開して演算実行する処理装置であって、制御プログラムに従って入出力インタフェース及びＲＯＭ，ＲＡＭから取り入れた信号に対して所定の演算処理を行う。入出力インタフェースには、各種装置からの信号が入力される。入出力インタフェースは、入力された信号をＣＰＵで演算可能なように変換する。入出力インタフェースは、ＣＰＵでの演算結果に応じた出力用の信号を生成し、その信号を各種装置に出力する。

【0025】

図２は、作業現場の監視システム５の主な機能について示す機能ブロック図である。図２に示すように、監視装置４０は、旋回体３に取り付けられ機体４の周囲を撮影する撮影装置３０と、撮影装置３０で撮影された画像を表示画面に表示させる表示装置１９０と、油圧ショベル１の外部に設置される外部装置である学習装置６０と無線通信を行うための第１通信装置１６０と、表示装置１９０及び第１通信装置１６０を制御するコントローラ１００と、コントローラ１００に所定の情報を入力する入力装置１８０と、を備える。

【0026】

コントローラ１００は、撮影装置３０により撮影された画像データを表示装置１９０に表示させる表示制御装置、第１通信装置１６０を介して画像データを外部へ送信する通信制御装置、及び、撮影装置３０により撮影された画像データ内の物体を認識する認識処理装置として機能する。以下、詳しく説明する。

【0027】

コントローラ１００は、ＲＯＭに記憶されているプログラムを実行することにより、物体認識部１０１、表示画像生成部１０２、記憶保持制御部１０３及び通信制御部１０４として機能する。また、コントローラ１００の不揮発性メモリは、モデル記憶部１３１及び画像記憶部１３２として機能する。なお、モデル記憶部１３１及び画像記憶部１３２は、単一の不揮発性メモリで構成してもよいし、それぞれ個別の不揮発性メモリで構成してもよい。

【0028】

モデル記憶部１３１には、物体を認識するための認識モデルが記憶されている。認識モデルは、畳み込みニューラルネットワーク(Convolutional Neural Network)の１種であるＹＯＬＯ（You Only Look Once）モデルである。ＹＯＬＯモデルは、ニューラルネットワーク手法による機械学習に基づく深層学習の結果により作成される認識モデルであり、予めモデル記憶部１３１に記憶されている。

【0029】

物体認識部１０１は、撮影装置３０により撮影された画像データを取得し、取得した画像データから、単一の認識モデル（ＹＯＬＯモデル）を用いた認識処理によって、監視範囲内の物体の存在を認識する（推定する）。物体認識部１０１は、認識処理により認識された物体の認識処理結果の信頼度に基づいて、監視範囲内に物体が存在するか否かを判定する。物体認識部１０１は、画像データに対する認識処理の結果、認識された物体の認識処理結果の信頼度が第１信頼度以上であるか否かを判定する。物体認識部１０１は、認識された物体の認識処理結果の信頼度が第１信頼度以上である場合には、監視範囲内に物体が存在すると判定する。物体認識部１０１は、認識された物体の認識処理結果の信頼度が第１信頼度未満である場合には、監視範囲内に物体が存在するとは判定しない。

【0030】

信頼度は、物体認識部１０１の認識処理により得られる判定出力値であり、認識モデルに予め設定されている物体のパラメータとの一致度（一致度合い）に相当し、完全に一致する場合には１００％となる。第１信頼度は、物体の存在の有無を判定するために予め設定される閾値である。第１信頼度は、例えば、９０％程度の値が設定される。

【0031】

本実施形態では、認識モデルが人の頭部に関するパラメータ群を有しており、物体認識部１０１は、人の頭部と推定する確度を信頼度として算出する。つまり、物体認識部１０１は、取得した画像データから、認識モデルを用いて、人の頭部を認識する認識処理を実行する。物体認識部１０１は、認識処理により存在が認識された物体の情報として、「物体の種類を表すクラス（認識対象の分類情報）」、「物体の位置座標情報（画像内の横軸方向の座標及び縦軸方向の座標）」、「物体の大きさ情報（物体を囲む矩形枠の横軸方向長さ及び縦軸方向長さ）」を生成する。

【0032】

表示画像生成部１０２は、物体認識部１０１により監視範囲内に存在すると判定された物体１９２の情報（物体の位置座標及び物体の大きさの情報）に基づいて、その物体１９２を囲む枠画像１９３を、撮影装置３０により撮影された画像に合成して表示装置１９０の表示画面に表示させる（図３及び図４参照）。

【0033】

図３及び図４は、表示装置１９０の表示画面に表示される表示画像の一例について示す図である。図３は、撮影装置３０の近傍（すなわち油圧ショベル１の後部の近傍）において、作業員が立った状態で作業をしている様子が撮影された表示画像を示し、図４は撮影装置３０からある程度離れた位置において、作業員がしゃがみ込んだ状態で作業をしている様子が撮影された表示画像を示す。

【0034】

図３及び図４に示すように、表示画像生成部１０２は、撮影装置３０で撮影された撮影画像１９１を表示装置１９０の表示画面に表示させる。表示画像生成部１０２は、物体認識部１０１により監視範囲内に物体１９２が存在すると判定されると、その物体（人の頭部）１９２を囲む矩形状の枠画像１９３を生成し、枠画像１９３を撮影画像１９１に合成して表示装置１９０の表示画面に表示させる。このように、物体（人の頭部）１９２の位置及び大きさを表す矩形状の枠画像１９３を撮影画像１９１に重ねて表示することにより、オペレータは、油圧ショベル１の周囲に存在する作業員（人）の位置を容易に把握することができる。

【0035】

表示画像生成部１０２は、油圧ショベル１から作業員までの距離に応じて段階的に枠画像１９３の色を変化させることが好ましい。表示画像生成部１０２は、例えば、油圧ショベル１から作業員までの距離が第１閾値未満の場合には枠画像１９３を赤色で表示し、油圧ショベル１から作業員までの距離が第１閾値以上第２閾値未満の場合には枠画像１９３を黄色で表示し、油圧ショベル１から作業員までの距離が第２閾値以上の場合には枠画像１９３を青色で表示する。なお、第２閾値は第１閾値よりも大きい値である。このように、枠画像１９３を油圧ショベル１から作業員までの距離に応じて段階的に変化させることにより、オペレータは、作業員の位置をより容易に把握することができる。

【0036】

なお、油圧ショベル１から作業員までの距離の算出方法の一例は以下のとおりである。コントローラ１００の記憶部には、撮影装置３０で撮影された撮影画像１９１の位置座標をショベル基準座標系（例えば、旋回体３の旋回中心軸上の任意の点を原点とした３次元座標系）における位置座標へ変換する変換パラメータが記憶されている。コントローラ１００は、枠画像１９３の下辺の中心位置の座標を変換パラメータによりショベル基準座標系の位置座標へ変換（座標変換）し、油圧ショベル１からの距離（例えば、ショベル基準座標系の原点からの距離）を算出する。なお、枠画像１９３は、人の頭部の位置及び大きさを表しているため、人の頭部の位置から人の足部の位置を推定するための補正パラメータによって、座標変換後の座標を補正し、補正後の座標に基づいて油圧ショベル１から作業員（人）までの距離を算出してもよい。

【0037】

記憶保持制御部１０３は、物体認識部１０１により認識された物体の認識処理結果の信頼度が第２信頼度以上であるか否かを判定する。記憶保持制御部１０３は、物体認識部１０１により認識された物体の認識処理結果の信頼度が第２信頼度以上である場合には、その画像データを画像記憶部１３２に記憶保持させる。記憶保持制御部１０３は、物体認識部１０１により認識された物体の認識処理の結果の信頼度が第２信頼度未満である場合には、その画像データを画像記憶部１３２に記憶保持させない。

【0038】

コントローラ１００は、撮影装置３０で撮影された１秒当たり３０枚の画像データで構成される映像データを取得する。１秒間で取得される複数の画像データは、その多くが類似する画像データとなる。このため、本実施形態では、記憶保持制御部１０３は、撮影装置３０から取得した画像データを間引いて画像記憶部１３２に記憶保持する。記憶保持制御部１０３は、取得した画像データのうち、所定時間ｔ０（例えば、０．２秒）ごとに、画像データを画像記憶部１３２に記憶保持させる。なお、画像データには、撮影画像の情報だけでなく、油圧ショベル１の識別番号、撮影日時などの情報も含まれる。

【0039】

第２信頼度は、認識モデルの再学習に用いる画像データを選別するための閾値（画像データが再学習を必要とするか否かを判定するための閾値）であり、予め、第１信頼度よりも低い任意の値が設定される。第２信頼度は、例えば、５０～７０％程度の値が設定される。第２信頼度は、選別された画像データに物体が存在しているか否かを人が判断し、学習用データの作成を効率よく行うことができるか否かによって定めることができる。つまり、第２信頼度は、所定の物体が存在する可能性が高いか否かを判定するための閾値ともいえる。なお、選別された画像データに基づいて学習用データの作成を効率よく行えない場合には、第２信頼度の値を上昇させればよい。

【0040】

通信制御部１０４は、第１通信装置１６０によって学習装置６０と通信が可能な状態であるか否かを判定する。通信制御部１０４は、通信が可能な状態である場合、第１通信装置１６０によって、画像記憶部１３２に記憶保持されている画像データを学習装置６０に送信する。学習装置６０は、第２通信装置１５０によって、監視装置４０から画像データを受信する。学習装置６０は、監視装置４０からの画像データの受信が正常に完了した場合、その旨を表す受信完了情報を、第２通信装置１５０によって油圧ショベル１の監視装置４０に送信する。監視装置４０は、受信完了情報を受信すると、送信が正常に完了したと判定された画像データを送信済み画像データとして登録する。送信済み画像データは、定期的に消去される、あるいは、上書き可能な状態とされる。なお、送信済み画像データは、学習装置６０に送信されることはない。

【0041】

図５を参照して、監視装置４０のコントローラ１００により実行される監視処理の内容について説明する。図５に示すフローチャートの処理は、例えば、油圧ショベル１のイグニッションスイッチがオン（すなわち、キーオン）されることにより開始され、初期設定が行われた後、所定の制御周期（例えば、１/３０秒）で繰り返し実行される。

【0042】

ステップＳ１０１において、コントローラ１００は、撮影装置３０で撮影された画像のデータを撮影装置３０から取得し、ステップＳ１０４へ進む。

【0043】

ステップＳ１０４において、コントローラ１００は、ステップＳ１０１で取得した１枚の画像データから認識モデルを用いた認識処理を行い、その認識処理の結果の信頼度（本実施形態では、人の頭部の推定確度）を算出し、ステップＳ１０７へ進む。なお、認識処理では、コントローラ１００は、監視範囲内に存在すると推定された物体（認識された物体）の位置座標情報及び大きさ情報も算出する。

【0044】

ステップＳ１０７において、コントローラ１００は、本演算サイクルよりも前であって、かつ本演算サイクルに最も近い演算サイクルでの記憶保持処理Ｓ１１３（前回の記憶保持処理とも記す）が実行されてからの時間ｔが、予め定めた所定時間ｔ０（例えば、０．２秒）を経過しているか否かを判定する。ステップＳ１０７において、前回の記憶保持処理Ｓ１１３が実行されてからの時間ｔが、予め定めた所定時間ｔ０を経過していると判定されると、ステップＳ１１０へ進む。ステップＳ１０７において、前回の記憶保持処理Ｓ１１３が実行されてからの時間ｔが、予め定めた所定時間ｔ０を経過していないと判定されると、ステップＳ１３１へ進む。なお、初めてステップＳ１０７が実行された場合には、ステップＳ１１０へ進む。また、時間ｔは、コントローラ１００のタイマ機能により計測され、後述するステップＳ１１３の記憶保持処理が実行される度にリセット（ｔ＝０）される。

【0045】

ステップＳ１１０において、コントローラ１００は、ステップＳ１０４で算出された信頼度が第２信頼度以上であるか否かを判定する。ステップＳ１１０において、信頼度が第２信頼度以上であると判定されるとステップＳ１１３へ進み、信頼度が第２信頼度未満であると判定されるとステップＳ１３７へ進む。

【0046】

ステップＳ１１３において、コントローラ１００は、ステップＳ１０１で取得した画像データを画像記憶部１３２に記憶保持し、ステップＳ１３１へ進む。ステップＳ１３１において、コントローラ１００は、ステップＳ１０４で算出された信頼度が第１信頼度以上であるか否かを判定する。ステップＳ１３１において、信頼度が第１信頼度以上であると判定されると、その物体は存在しているとしてステップＳ１３４へ進み、信頼度が第１信頼度未満であると判定されると、その物体は存在していないとしてステップＳ１３７へ進む。

【0047】

ステップＳ１３４において、コントローラ１００は、ステップＳ１０４で監視範囲内に存在すると判定された物体の位置座標情報及び大きさ情報に基づいて、枠画像１９３を生成し、ステップＳ１３７へ進む。

【0048】

ステップＳ１３７において、コントローラ１００は、ステップＳ１０１で取得した画像データに基づいて表示画像（撮影画像１９１）を生成し、表示装置１９０の表示画面に表示させる。なお、本演算サイクルにおいて枠画像生成処理Ｓ１３４が実行されている場合には、ステップＳ１０１で取得した画像データに基づいて生成した表示画像（撮影画像１９１）に枠画像１９３を合成した合成画像を表示装置１９０の表示画面に表示させる。

【0049】

ステップＳ１３７の表示処理が完了すると、図５のフローチャートに示す処理を終了し、次の演算サイクルのステップＳ１０１へ進む。

【0050】

図６を参照して、監視装置４０のコントローラ１００により実行される画像データ送信処理の内容について説明する。図６に示すフローチャートの処理は、例えば、油圧ショベル１のイグニッションスイッチがオン（すなわち、キーオン）されることにより開始され、初期設定が行われた後、所定の制御周期で繰り返し実行される。

【0051】

ステップＳ１１６において、コントローラ１００は、第１通信装置１６０によって学習装置６０と通信が可能な状態であるか否かを判定する。ステップＳ１１６において、通信が可能な状態であると判定されるとステップＳ１１９へ進み、通信が不可能な状態であると判定されるとステップＳ１２８へ進む。

【0052】

ステップＳ１２８において、コントローラ１００は、画像記憶部１３２に記憶保持されている画像データのうち、登録画像データ（送信済み画像データとして登録されている画像データ、及び、未送信画像データとして登録されている画像データ）以外の画像データを未送信画像データとして登録して図６のフローチャートに示す処理を終了する。

【0053】

ステップＳ１１９において、コントローラ１００は、画像記憶部１３２に記憶保持されている画像データのうち、未送信画像データとして登録されている画像データを第１通信装置１６０によって管理サーバ５３へ送信し、ステップＳ１２２へ進む。

【0054】

ステップＳ１２２において、コントローラ１００は、未送信画像データの送信が正常に完了したか否かを判定する。ステップＳ１２２において、コントローラ１００は、管理サーバ５３からステップＳ１１９で送信した未送信画像データに関する受信完了情報を取得した場合、未送信画像データの送信が正常に完了したと判定し、ステップＳ１２５へ進む。ステップＳ１２２において、コントローラ１００は、管理サーバ５３からステップ１１９で送信した未送信画像データに関する受信完了情報を所定時間内に取得しなかった場合、未送信画像データの送信が正常に完了しなかったと判定し、ステップＳ１２８へ進む。

【0055】

ステップＳ１２５において、コントローラ１００は、画像記憶部１３２に記憶保持されている画像データのうち、管理サーバ５３への送信が完了した画像データを送信済み画像データとして登録し、図６のフローチャートに示す処理を終了する。

【0056】

図１に示すように、学習装置６０は、管理サーバ５３と、第２通信装置１５０と、表示装置５５と、入力装置５６と、を備える。第２通信装置１５０は、第１通信装置１６０と同様の構成である。図２に示すように、学習装置６０は、制御部５７及び記憶部５４として機能する。なお、記憶部５４は、管理サーバ５３に搭載されるフラッシュメモリ、ハードディスクドライブ等の不揮発性メモリに相当する。記憶部５４には、認識モデルが記憶されている。制御部５７は、表示装置５５及び第２通信装置１５０を制御する。

【0057】

制御部５７は、第２通信装置１５０による受信処理により、油圧ショベル１の監視装置４０の画像記憶部１３２で記憶保持された画像データを取得し、記憶部５４に記憶する。制御部５７は、入力装置５６から入力される情報に基づいて、取得した画像データを表示装置５５の表示画面に表示させる。

【0058】

制御部５７は、取得した画像データに関する学習用データに基づいて学習を行うことにより、新しいバージョンの認識モデルを生成するとともに、認識モデルの更新用データを生成する処理（更新用データ生成処理）を実行する。認識モデルの更新用データとは、油圧ショベル１のモデル記憶部１３１に記憶されている認識モデルを新しいバージョンの認識モデルに更新するための更新プログラムである。なお、認識モデルの更新用データは、更新プログラムに限定されず、新しいバージョンの認識モデル全体であってもよい。

【0059】

学習用データは、取得した画像データのうち、所定の物体（例えば、人）が存在することが管理者の目視によって確認された画像データと、その画像データ内の物体の位置座標情報（画像内の横軸方向の座標及び縦軸方向の座標）と、その物体の大きさ情報（物体を囲む矩形枠の横軸方向長さ及び縦軸方向長さ）と、その物体の種類を表すクラス（分類情報）と、で構成される。学習用データは、管理者が、表示装置５５に表示される画像を見ながら入力装置５６を操作し、物体が存在する画像データを選択し、その画像データ内の物体の位置座標情報、大きさ情報及びクラスを、選択した画像データと対応付けて記憶部５４に記憶させる処理（学習用データ作成処理）を行うことにより作成することができる。

【0060】

上述したように、学習装置６０が受信した画像データは、油圧ショベル１の監視装置４０において、人が存在する可能性が高いとして選別されたものである。このため、管理者は、少ない画像データに基づいて、効率よく学習用データを作成することができる。

【0061】

学習装置６０の制御部５７は、学習用データに基づいて、ＹＯＬＯｖ３等を用いた周知のニューラルネットワーク手法による機械学習を行うことにより、新しいバージョンの認識モデルを生成するとともに、認識モデルの更新用データを生成する。

【0062】

監視装置４０の通信制御部１０４は、学習装置６０と通信を行って、管理サーバ５３の記憶部５４に記憶されている認識モデルの情報を取得する。通信制御部１０４は、取得した認識モデルの情報に基づいて、学習装置６０が、モデル記憶部１３１に記憶されている認識モデルのバージョンよりも新しいバージョンの認識モデルを有しているか否かを判定する。つまり、監視装置４０の通信制御部１０４は、管理サーバ５３の記憶部５４に記憶されている認識モデルに、モデル記憶部１３１に記憶されている認識モデルには存在しない新規なパラメータ群が含まれているか否かを判定する。

【0063】

学習装置６０が、モデル記憶部１３１に記憶されている認識モデルのバージョンよりも新しいバージョンの認識モデルを有している場合、通信制御部１０４は、第１通信装置１６０を介して、認識モデルの更新用データを取得するための要求指令を学習装置６０へ送信する。学習装置６０の制御部５７は、要求指令を受信すると、認識モデルの更新用データを第２通信装置１５０によって監視装置４０へ送信する。

【0064】

通信制御部１０４は、第１通信装置１６０による受信処理により、学習装置６０から認識モデルの更新用データを取得する。通信制御部１０４は、取得した認識モデルの更新用データに基づいて、モデル記憶部１３１に記憶されている認識モデルを更新する更新処理（バージョンアップ）を行う。すなわち、コントローラ１００は、モデル記憶部１３１に記憶されている認識モデルを構成するパラメータ群を更新する。

【0065】

図７を参照して、監視装置４０のコントローラ１００により実行される認識モデル更新処理の内容について説明する。図７に示すフローチャートの処理は、例えば、油圧ショベル１のイグニッションスイッチがオン（すなわち、キーオン）されることにより開始され、初期設定が行われた後、実行される。なお、図７に示すフローチャートの処理は、イグニッションスイッチがオンされて、油圧ショベル１の監視装置４０の起動されたときに実行される場合に限らず、オペレータによって入力装置１８０が操作され、入力装置１８０から更新処理の実行指令がコントローラ１００に入力されると実行されるようにしてもよい。

【0066】

ステップＳ１８０において、コントローラ１００は、第１通信装置１６０によって学習装置６０と通信が可能な状態であるか否かを判定する。ステップＳ１８０において、通信が可能な状態であると判定されるとステップＳ１８５へ進み、通信が不可能な状態であると判定されると図７のフローチャートに示す処理を終了する。

【0067】

ステップＳ１８５において、コントローラ１００は、学習装置６０から認識モデルのバージョン情報を取得し、学習装置６０の認識モデルのバージョンが、監視装置４０のモデル記憶部１３１に記憶されている認識モデルのバージョンよりも新しいか否かを判定する。ステップＳ１８５において、学習装置６０の認識モデルのバージョンが、監視装置４０のモデル記憶部１３１に記憶されている認識モデルのバージョンよりも新しいと判定されると、ステップＳ１９０へ進む。ステップＳ１８５において、学習装置６０の認識モデルのバージョンが、監視装置４０のモデル記憶部１３１に記憶されている認識モデルのバージョンよりも新しくないと判定されると、図７のフローチャートに示す処理を終了する。

【0068】

ステップＳ１９０において、コントローラ１００は、第１通信装置１６０によって、学習装置６０から認識モデルの更新用データを取得し、ステップＳ１９５へ進む。

【0069】

ステップＳ１９５において、コントローラ１００は、現在利用されている認識モデル（現行モデル）を、ステップＳ１９０で取得した認識モデルの更新用データによって更新する更新処理を実行し、図７のフローチャートに示す処理を終了する。

【0070】

以上のとおり、本実施形態に係る監視方法は、撮影装置３０により撮影された画像データを取得する取得処理（Ｓ１０１）と、モデル記憶部１３１に記憶されている認識モデルを用いて、取得した画像データから監視範囲内（撮影範囲内）に存在する物体を認識する認識処理（Ｓ１０４）と、を含む。この監視方法は、画像データ内において認識された物体の認識処理結果の信頼度が第１信頼度以上である場合には、監視範囲内（撮影範囲内）に物体が存在すると判定する存在判定処理（Ｓ１３１）と、画像データ内において認識された物体の認識処理結果の信頼度が第１信頼度よりも低い第２信頼度以上である場合には、その画像データを画像記憶部１３２に記憶保持する記憶保持処理（Ｓ１１０でＹ→Ｓ１１３）と、画像記憶部１３２に記憶保持された画像データに基づいて学習用データを作成する学習用データ作成処理と、学習用データに基づいて認識モデルの更新用データを生成する更新用データ生成処理と、更新用データに基づいてモデル記憶部１３１に記憶された認識モデルを更新するモデル更新処理（Ｓ１９５）と、を含む。この監視方法によれば、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる。

【0071】

上述した実施形態によれば、次の作用効果を奏する。

【0072】

（１）作業現場の監視システム５は、機体（車体）４の周囲を撮影する撮影装置３０と、撮影装置３０により撮影された画像データを取得し、取得した画像データに基づいて、監視範囲内の物体の存在を認識するコントローラ（認識処理装置）１００と、を有する監視装置４０と、コントローラ（認識処理装置）１００により取得された画像データに基づいて学習を行う学習装置６０と、を備える。監視装置４０は、物体（例えば、人の頭部）を認識するための認識モデルが記憶されたモデル記憶部１３１と、所定の画像データを記憶保持する画像記憶部１３２と、を備える。監視装置４０は、コントローラ１００により認識された物体の認識処理結果の信頼度が第１信頼度以上の場合には、監視範囲内に物体が存在すると判定する。監視装置４０は、コントローラ１００により認識された物体の認識処理結果の信頼度が第１信頼度よりも低い第２信頼度以上の場合には、その認識処理の対象となった画像データを画像記憶部１３２に記憶保持する。学習装置６０は、画像記憶部１３２に記憶保持された画像データに関する学習用データに基づいて学習を行うことにより、モデル記憶部１３１に記憶された認識モデルの更新用データを生成する。監視装置４０は、学習装置６０により生成された更新用データに基づいてモデル記憶部１３１に記憶されている認識モデルを更新する。

【0073】

この構成では、学習用データの作成に必要な画像データを抽出して（選択して）記憶保持するため、少ない画像データで学習用データを作成することができる。このため、学習用データの作成を効率よく行うことができ、認識モデルの更新を短期間で行うことができる。つまり、本実施形態によれば、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識（検出）の精度の向上を図ることができる。

【0074】

（２）監視装置４０は、油圧ショベル（作業機械）１に搭載される。監視装置４０は、画像記憶部１３２に記憶保持されている画像データを学習装置６０に送信し、学習装置６０から認識モデルの更新用データを受信する第１通信装置１６０を備える。学習装置６０は、油圧ショベル１の外部に設けられる。学習装置６０は、監視装置４０から画像データを受信し、監視装置４０へ認識モデルの更新用データを送信する第２通信装置１５０を備える。監視装置４０は、第１通信装置１６０により受信した認識モデルの更新用データに基づいて、モデル記憶部１３１に記憶された認識モデルを更新する。

【0075】

この構成では、第１通信装置１６０及び第２通信装置１５０により、学習用データの作成に用いる画像データを速やかに監視装置４０から学習装置６０へ提供することができ、認識モデルの更新用データを速やかに学習装置６０から監視装置４０へ提供することができる。したがって、本実施形態によれば、記憶媒体等を用いて監視装置４０と学習装置６０との間でデータの授受を行う場合に比べて、認識モデルの更新をより適切なタイミングで行うことができるため、作業効率の向上を図ることができる。

【0076】

（３）監視装置４０は、取得した画像データから、単一の認識モデルを用いた認識処理によって、監視範囲内の物体の存在を認識する。これにより、複数の認識モデルによって複数段階の認識処理を実行する場合に比べて、認識処理の精度の向上を図ることができる。

【0077】

（４）監視装置４０は、取得した画像データから、認識モデルを用いて、人の頭部を含む体の一部を認識する認識処理を実行する。これにより、監視範囲内の人の位置を適切に把握することができる。

【0078】

次のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせたりすることも可能である。

【0079】

＜変形例１＞
上記実施形態では、コントローラ１００が、人（作業員）の頭部を認識する処理を実行し、監視範囲内に存在していると判定された人の頭部（検出された人の頭部）の位置及び大きさを表す枠画像１９３を表示装置１９０の表示画面に表示させる例について説明したが、本発明はこれに限定されない。撮影装置３０により撮影された画像は、画像下端部の中心が最も撮影装置３０に近く、画像下端部の中心から放射状に距離が加算される。このため、コントローラ１００は、立体物である人（作業員）の距離を推定する場合には、検出された人（作業員）の足元の位置座標に基づいて、ショベル基準座標系の位置座標を演算し、油圧ショベル１から作業員までの距離を算出することが好ましい。

【0080】

本変形例１に係る監視装置４０は、取得した画像データから、認識モデルを用いて、人の頭部を含む体の一部として、人の頭部、頭部を含む上半身、及び、上半身を含む全身の３つのクラス（種類）の位置及び大きさを認識する認識処理を実行する。つまり、本変形例では、モデル記憶部１３１に記憶されている認識モデルには、頭部及び上半身及び全身の３つのクラスに対するパラメータ群が含まれている。

【0081】

図８に示すように、コントローラ１００は、人の頭部、上半身及び全身の位置及び大きさを表す矩形状の枠画像１９３Ａ，１９３Ｂ，１９３Ｃを表示装置１９０の表示画面に表示させる。なお、人の頭部、上半身及び全身が検出された場合に、それらの位置及び大きさを表す枠画像１９３Ａ，１９３Ｂ，１９３Ｃを全て表示せずに、最も大きい枠画像、すなわち全身の位置及び大きさを表す枠画像１９３Ｃのみを表示させるようにしてもよい。コントローラ１００は、枠画像１９３Ｃの下端部の中心位置の座標に基づいて、油圧ショベル１から人までの距離を演算する。

【0082】

コントローラ１００は、人（作業員）がしゃがみ込んで作業を行っている場合には、図９に示すように、人の頭部及び上半身の位置及び大きさを表す矩形状の枠画像１９３Ａ，１９３Ｂを表示装置１９０の表示画面に表示させる。なお、人の頭部及び上半身が検出された場合に、それらの位置及び大きさを表す枠画像１９３Ａ，１９３Ｂを全て表示せずに、最も大きい枠画像、すなわち上半身の位置及び大きさを表す枠画像１９３Ｂのみを表示させるようにしてもよい。この場合、コントローラ１００は、枠画像１９３Ｂの下端部の中心位置の座標に基づいて、油圧ショベル１から人までの距離を演算する。

【0083】

本変形例１の構成によれば、作業員（人）の位置をより正確に把握することができるため、油圧ショベル１による作業効率の向上を図ることができる。

【0084】

＜変形例２＞
上記実施形態では、通信装置１５０，１６０を介して、監視装置４０と学習装置６０とがデータの送受信を行う例について説明したが、本発明はこれに限定されない。メモリカード、ＵＳＢメモリ等の持ち運びが可能な記憶媒体、あるいは記憶媒体を内蔵するタブレットＰＣ等の情報端末を介して監視装置４０と学習装置６０との間でデータのやり取りを行ってもよい。

【0085】

この場合、例えば、監視装置４０は、画像記憶部１３２に画像データを蓄積し、記憶媒体に蓄積した画像データを移動する。管理者は、記憶媒体を用いて、学習装置６０の記憶部５４に画像データを記憶させ、学習用データを作成する。学習装置６０は、学習用データに基づいて認識モデルの再学習を行い、認識モデルの更新用データを生成し、記憶媒体に記憶させる。オペレータは、記憶媒体を用いて、認識モデルの更新用データを監視装置４０に入力する。監視装置４０は、入力された認識モデルの更新用データに基づいて、モデル記憶部１３１に記憶されている認識モデルを更新する。したがって、本変形例２に係る監視システム５は、通信装置１５０，１６０を省略することができる。また、本変形例２によれば、通信装置１５０，１６０を介した通信を行う必要がないため、認識モデルの再学習及び認識モデルの更新のための通信コストがかかることもない。

【0086】

＜変形例３＞
上記実施形態では、図６のフローチャートに示す処理により、画像記憶部１３２に記憶保持されている画像データを学習装置６０に送信する例について説明したが、本発明はこれに限定されない。例えば、入力装置１８０に対する操作に基づいて、画像記憶部１３２に記憶保持されている未送信の画像データを学習装置６０に送信するようにしてもよい。オペレータが入力装置１８０を用いてデータ送信を行うための操作がなされると、入力装置１８０からコントローラ１００にデータ送信指令が入力される。図２に示すように、通信制御部１０４は、データ送信指令が入力されると、第１通信装置１６０を制御して、画像記憶部１３２に記憶保持されている未送信の画像データを管理サーバ５３へ送信する。

【0087】

コントローラ１００は、油圧ショベル１の稼働時間が予め定めた閾値を超えたか否かを判定し、稼働時間が閾値を超えた場合に、自動で画像記憶部１３２に記憶保持されている未送信の画像データを管理サーバ５３に送信してもよい。コントローラ１００は、蓄積した未送信の画像データの量が予め定めた閾値を超えたか否かを判定し、未送信の画像データの量が閾値を超えた場合に、自動で画像記憶部１３２に記憶保持されている未送信の画像データを管理サーバ５３に送信してもよい。

【0088】

＜変形例４＞
上記実施形態では、表示装置１９０の表示画面に、物体１９２の位置及び大きさを表す矩形状の枠画像１９３を表示させる例について説明したが、本発明はこれに限定されない。枠画像１９３は、矩形状に限定されず、円形状、楕円形状、五角形等の多角形状としてもよいし、曲線と直線とを繋いだ任意の形状としてもよいし、物体の形状に沿った形状としてもよい。また、枠画像１９３は、任意のアルファ値を設定した透過色で表示してもよい。枠画像１９３は、物体が検出された場合に常に表示することなく、任意の周期で表示（点滅表示）させてもよい。

【0089】

＜変形例５＞
上記実施形態では、撮影装置３０で撮影された画像内に物体が存在すると判定されると、枠画像１９３を撮影画像１９１に合成して表示する例について説明したが、物体が存在すると判定されたことをオペレータに通知するための方法は、これに限定されない。例えば、コントローラ１００は、撮影装置３０で撮影された画像内に物体が存在すると判定された場合、撮影画像１９１の外側に、物体（例えば、作業員）が存在することを表すアイコンを表示させるようにしてもよい。

【0090】

＜変形例６＞
上記実施形態では、学習装置６０が油圧ショベル１の外部の管理センタ５２に設けられる例について説明したが、本発明はこれに限定されない。油圧ショベル１に搭載される監視装置４０に、上記実施形態で説明した学習装置６０の機能を持たせてもよい。この場合、上記実施形態で説明した通信装置１５０，１６０によるデータのやり取り、及び、変形例２で説明した記憶媒体によるデータのやり取りが不要になる。なお、油圧ショベル１に監視装置４０及び学習装置６０を搭載する場合、コントローラ１００において、認識モデルの再学習が行われるため、処理能力が高い（性能の高い）コンピュータが必要となる。一方、上記実施形態で説明したように、学習装置６０を油圧ショベル１の外部に設けることにより、油圧ショベル１に搭載されるコントローラ１００のコストの低減を図ることができる。

【0091】

＜変形例７＞
上記実施形態では、油圧ショベル１に搭載される監視装置４０が記憶保持した画像データを、第１通信装置１６０によって管理センタ５２内の学習装置６０に送信する例について説明したが、本発明はこれに限定されない。図１に示すように、監視装置４０は、第１通信装置１６０によって、油圧ショベル１及び管理センタ５２とは別の場所に設置されるデータサーバ５８に画像データを送信してもよい。データサーバ５８は、受信した画像データを記憶装置５９に記憶する。この場合、データサーバ５８の記憶装置５９に記憶されている画像データを用いて学習用データを作成し、学習用データをデータサーバ５８の記憶装置５９に記憶させる。学習装置６０は、第２通信装置１５０によって、データサーバ５８から学習用データを受信する。学習装置６０は、学習用データに基づいて認識モデルの更新用データを生成する。本変形例７によれば、学習装置６０の記憶部５４の容量を上記実施形態に比べて小さくすることができる。

【0092】

＜変形例８＞
上記実施形態では、撮影装置３０により撮影した画像のデータを、所定の条件が成立したときに、画像記憶部１３２に記憶保持する例について説明したが、本発明はこれに限定されない。図１に示すように、油圧ショベル１に取り付けられる撮影装置３０と同様の高さ及び取付角度となるように、油圧ショベル１が稼働する作業現場に設置された支柱３４の先端に取り付けられた撮影装置３３により撮影された画像データを画像記憶部１３２に記憶保持するようにしてもよい。

【0093】

この場合、監視システムは、撮影装置３３と、撮影装置３３に接続される監視シミュレータ２４０と、を有する。監視シミュレータ２４０は、監視装置４０と同様の構成及び機能を有しているため、それらの詳細な説明は省略する。本変形例では、上記実施形態と同様、監視シミュレータ２４０は、撮影装置３３により撮影された画像データを取得し、取得した画像データから監視範囲（撮影範囲）内の物体の存在を認識する認識処理を実行する。監視シミュレータ２４０は、画像データ内において認識された物体の認識処理結果の信頼度が第２信頼度以上である場合に、その認識処理の対象となった画像データを抽出して監視シミュレータ２４０の画像記憶部に記憶保持する。

【0094】

つまり、本変形例８では、撮影装置３３の撮影範囲を油圧ショベル１の撮影装置３０の撮影範囲として模擬した状態で、撮影装置３３による撮影を行って、撮影した画像のデータの中から、効率よく学習用データを作成することができる画像データを選別することができる。したがって、本変形例８によれば、油圧ショベル１を用いなくても、学習用データの作成に必要な画像データの取得することができる。

【0095】

＜変形例９＞
上記実施形態では、監視装置４０が、監視範囲内に存在する人を認識する処理を実行する例について説明したが、本発明はこれに限定されない。監視装置４０は、監視範囲内に存在する物体として、作業車両、標識、岩等の障害物を認識する処理を実行してもよい。

【0096】

＜変形例１０＞
上記実施形態では、作業機械がクローラ式の油圧ショベル１である場合を例に説明したが、本発明はこれに限定されない。ホイール式の油圧ショベル、ホイールローダ、ダンプトラック、クレーン等の種々の作業機械に本発明を適用することができる。

【0097】

＜変形例１１＞
上記実施形態では、認識モデルとしてＹＯＬＯモデルを例に挙げたが、認識モデルはこれに限定されない。ＳＳＤ（Single Shot Multibox Detector）などの種々の物体認識用のＣＮＮ（Convolutional Neural Network）モデルを採用してもよい。

【0098】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0099】

１…油圧ショベル（作業機械）、4…機体（車体）、５…監視システム、１０…作業装置、３０…撮影装置、３３…撮影装置、４０…監視装置、５２…管理センタ、５３…管理サーバ、５４…記憶部、５５…表示装置、５６…入力装置、６０…学習装置、１００…コントローラ（認識処理装置）、１０１…物体認識部、１０２…表示画像生成部、１０３…記憶保持制御部、１０４…通信制御部、１３１…モデル記憶部、１３２…画像記憶部、１５０…第２通信装置、１６０…第１通信装置、１８０…入力装置、１９０…表示装置、２４０…監視シミュレータ（監視装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】