特開 2024-127548 建設機械のモニタリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127548

(43)【公開日】2024-09-20

(54)【発明の名称】建設機械のモニタリングシステム

(51)【国際特許分類】

   G06T 7/269 20170101AFI20240912BHJP

   E02F 9/26 20060101ALI20240912BHJP

【ＦＩ】

G06T7/269

E02F9/26 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023036764

(22)【出願日】2023-03-09

(71)【出願人】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】増田 浩太郎

(72)【発明者】

【氏名】黒瀬 貴彦

(72)【発明者】

【氏名】泉 枝穂

(72)【発明者】

【氏名】坂本 博史

【テーマコード（参考）】

2D015

5L096

【Ｆターム（参考）】

2D015HA03

2D015HB00

5L096BA02

5L096CA04

5L096CA24

5L096DA04

5L096FA35

5L096FA52

5L096FA64

5L096FA69

5L096HA04

(57)【要約】

【課題】建設機械の作業情報をより正確に確認することができる建設機械のモニタリングシステムを提供すること。
【解決手段】作業現場における建設機械の稼働状況を取得し、取得した稼働状況から建設機械の作業動作を分析して、建設機械の作業情報を可視化する建設機械のモニタリングシステムであって、稼働状況の取得対象である建設機械の映像を撮影する撮影装置と、撮影装置により撮影された建設機械の映像のオプティカルフローの左右方向成分に基づいて、建設機械の作業動作の回数と作業動作を行った時間とを分析する検知装置と、検知装置により分析された建設機械の作業動作の回数と作業動作を行った時間とに基づいて、建設機械の作業情報を作成して表示する表示装置と、を備える。
【選択図】 図３

【特許請求の範囲】

【請求項1】

作業現場における建設機械の稼働状況を取得し、取得した前記稼働状況から前記建設機械の作業動作を分析して、前記建設機械の作業情報を可視化する建設機械のモニタリングシステムであって、
前記稼働状況の取得対象である前記建設機械の映像を撮影する撮影装置と、
前記撮影装置により撮影された前記建設機械の映像のオプティカルフローの左右方向成分に基づいて、前記建設機械の作業動作の回数と前記作業動作を行った時間とを分析する検知装置と、
前記検知装置により分析された前記建設機械の作業動作の回数と前記作業動作を行った時間とに基づいて、前記建設機械の作業情報を作成して表示する表示装置と、
を備えることを特徴とする建設機械のモニタリングシステム。

【請求項2】

請求項１記載の建設機械のモニタリングシステムにおいて、
前記検知装置は、前記撮影装置から取得した映像のオプティカルフローの左右方向成分から、前記建設機械の動作パターンとして旋回動作を解析し、解析した前記旋回動作を集計して、前記建設機械の作業動作の回数と前記作業動作を行った時間とを分析することを特徴とする建設機械のモニタリングシステム。

【請求項3】

請求項２記載の建設機械のモニタリングシステムにおいて、
前記検知装置は、前記撮影装置から取得した映像のオプティカルフローの左右方向成分のヒストグラムが２つのピークを持つ場合に、前記建設機械の動作パターンを旋回動作であるとすることを特徴とする建設機械のモニタリングシステム。

【請求項4】

請求項３記載の建設機械のモニタリングシステムにおいて、
前記検知装置は、前記撮影装置から取得した映像のオプティカルフローの左右方向成分のヒストグラムのピーク１つのピークであった場合は、前記建設機械の動作パターンを走行動作であるとすることを特徴とする建設機械のモニタリングシステム。

【請求項5】

請求項３記載の建設機械のモニタリングシステムにおいて、
前記検知装置は、オプティカルフローの左右方向成分のヒストグラムのピークの位置および幅についての閾値を用いて、前記建設機械の動作パターンである前記旋回動作の解析を行うことを特徴とする建設機械のモニタリングシステム。

【請求項6】

請求項１記載の建設機械のモニタリングシステムにおいて、
映像中の領域を指定する入力装置を備え、
前記検知装置は、前記入力装置に入力された前記映像中の領域のみを前記オプティカルフローによる解析の対象とすることを特徴とする建設機械のモニタリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械のモニタリングシステムに関する。

【背景技術】

【0002】

建設現場においては、作業の進捗管理を自動化する様々な試みが行われている。例えば、建設現場で稼働する建設機械にセンサーなどを取り付け、センサーからの信号に基づき作業進捗状況を分析する方法が提案されている。しかしながら、この場合には、センサーを取り付けた個体についてしか進捗管理を行うことができない。

【0003】

このような課題に対応する技術としては、例えば、特許文献１に記載の技術がしられている。特許文献１には、作業者を認識するための作業者特定情報を格納する記憶部と、撮像手段により撮像された対象工事の画像情報を取得する取得部と、作業者特定情報を参照して、取得した画像情報を解析し、作業者を認識する画像解析部と、認識した作業者の作業時間を計測する計測部と、認識した作業者と、該作業者に関連付けられた作業時間とを含む作業情報を表示する表示部と、を有する工事管理支援装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－２０１０７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記従来技術においては、カメラからの映像から作業者ないし機械の作業内容を分析して機械の動作パターンを認識し、動作パターンを機械作業変換テーブルに照らし合わせて、工事機械の作業内容を特定することで、機械にセンサー等を新たに追加することなく、多数の機械が稼働する現場でも機械の作業情報をまとめて判定することができる。

【0006】

しかしながら、上記従来技術においては、動作パターンの具体的な認識方法は提示されていないため、採用する動作パターンの認識精度によっては、作業情報の確認精度の低下が懸念される。

【0007】

本発明は上記に鑑みてなされたものであり、建設機械の作業情報をより正確に確認することができる建設機械のモニタリングシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業現場における建設機械の稼働状況を取得し、取得した前記稼働状況から前記建設機械の作業動作を分析して、前記建設機械の作業情報を可視化する建設機械のモニタリングシステムであって、前記稼働状況の取得対象である前記建設機械の映像を撮影する撮影装置と、前記撮影装置により撮影された前記建設機械の映像のオプティカルフローの左右方向成分に基づいて、前記建設機械の作業動作の回数と前記作業動作を行った時間とを分析する検知装置と、前記検知装置により分析された前記建設機械の作業動作の回数と前記作業動作を行った時間とに基づいて、前記建設機械の作業情報を作成して表示する表示装置と、を備えるものとする。

【発明の効果】

【0009】

本発明によれば、建設機械の作業情報をより正確に確認することができる。

【図面の簡単な説明】

【0010】

【図1】建設機械の一例である油圧ショベルの外観を遠隔操縦装置とともに模式的に示す図である。

【図2】建設機械のモニタリングシステムの全体構成を概略的に示す図である。

【図3】建設機械のモニタリングシステムの処理内容を示す機能ブロック図である。

【図4】建設機械のモニタリングシステムの処理内容を示すフローチャートである。

【図5】建設機械の旋回動作における一連の状態を模式的に示す図である。

【図6】建設機械の旋回動作におけるオプティカルフローの一連の様子を模式的に示す図である。

【図7】旋回動作および走行移動動作（平行移動動作）におけるオプティカルフローの水平方向成分のヒストグラムを模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を用いて説明する。なお、以下の説明においては、建設機械の一例として、フロント作業装置を備える油圧ショベルを例示して説明するが、油圧ショベル以外の他の建設機械においても本発明を適用することが可能である。

【0012】

また、以下の説明においては、同一の構成要素が複数存在する場合、符号（数字）の末尾にアルファベットを付すことがあるが、当該アルファベットを省略して当該複数の構成要素をまとめて表記することがある。すなわち、例えば、左右２つの操作レバー（左操作レバー１ａおよび右操作レバー１ｂ）が存在するとき、これらをまとめて操作レバー１と表記することがある。

【0013】

図１は、本実施の形態に係る建設機械の一例である油圧ショベルの外観を遠隔操縦装置とともに模式的に示す図である。

【0014】

図１において、油圧ショベル１００は、多関節型のフロント作業装置１Ａと、車体１Ｂで構成されている。油圧ショベル１００の車体１Ｂは、左右の走行油圧モータ３ａにより走行する下部走行体１１と、下部走行体１１の上に取り付けられ、旋回油圧モータ４により旋回する上部旋回体１２とからなる。なお、図１においては一方の走行油圧モータ３ａのみを図示し、他方の走行油圧モータについては図示を省略する。

【0015】

フロント作業装置１Ａは、垂直方向にそれぞれ回動する複数の被駆動部材（ブーム８、アーム９、及び、バケット１０）を連結して構成されている。ブーム８の基端は上部旋回体１２の前部においてブームピンを介して回動可能に支持されている。ブーム８の先端にはアームピンを介してアーム９が回動可能に連結されており、アーム９の先端にはバケットピンおよびバケットリンク１３を介してバケット１０が回動可能に連結されている。ブーム８はブームシリンダ５によって駆動され、アーム９はアームシリンダ６によって駆動され、バケット１０はバケットシリンダ７によって駆動される。なお、以降の説明において、ブームシリンダ５、アームシリンダ６、及び、バケットシリンダ７をまとめて油圧シリンダ（或いは、油圧アクチュエータ）５～７と称することがある。

【0016】

上部旋回体１２には、原動機であるエンジン１８と、エンジン１８により駆動される油圧ポンプ２と、油圧ポンプ２から走行油圧モータ３、旋回油圧モータ４、ブームシリンダ５、アームシリンダ６、およびバケットシリンダ７に供給される圧油の流量および方向を制御するコントロールバルブ２０とが設けられている。

【0017】

上部旋回体１２に設けられた運転室内には、下部走行体１１の左側の走行油圧モータ３ａを操作するための左走行レバー２３ａと、下部走行体１１の右側の走行油圧モータ（図示せず）を操作するための右走行レバー２３ｂと、アーム９のアームシリンダ６及び上部旋回体１２の旋回油圧モータ４を操作するための左操作レバー１ａと、ブーム８を駆動するブームシリンダ５及びバケット１０を駆動するバケットシリンダ７を操作するための右操作レバー１ｂとが設けられている。左右の操作レバー１ａ，１ｂおよび走行レバー２３ａ，２３ｂの操作によって生成される操作信号に基づいてコントロールバルブ２０が駆動されることにより、走行油圧モータ３、旋回油圧モータ４、ブームシリンダ５、アームシリンダ６、およびバケットシリンダ７のそれぞれに供給される圧油の流量および方向が制御されて、その動作が制御される。

【0018】

図２は、本実施の形態における建設機械のモニタリングシステムの全体構成を概略的に示す図である。また、図３は、建設機械のモニタリングシステムの処理内容を示す機能ブロック図である。

【0019】

図２において、建設機械のモニタリングシステム２００は、作業現場における建設機械の稼働状況を取得し、建設機械の稼働状況を可視化するものであり、建設現場の様子を建設現場で稼働している建設機械である油圧ショベル１００とともに撮影する撮影システム２１０と、各種パラメータなどを入力するための入力インタフェース２３０と、入力インタフェース２３０から入力されたパラメータを用いて撮影システム２１０で撮影した映像データの分析を行う検知システム２２０と、検知システム２２０での分析結果を表示する表示システム２４０とを備えている。

【0020】

本実施の形態においては、例えば、撮影システム２１０、入力インタフェース２３０及び表示システム２４０はスマートフォンであり、検知システム２２０はインターネット上のクラウドサーバーである。なお、上記の構成に限られるものではない。例えば、通信機能を有する専用のカメラを用いて撮影システム２１０を実現してもよい。また、入力機能と表示機能とを有するタッチパネルなどを用いて、入力インタフェース２３０と表示システム２４０とを一体構成で実現してもよい。また、入力機能と表示機能の一方又は両方と演算機能とを有するタブレットＰＣなどを用いて、入力インタフェース２３０と表示システム２４０の少なくとも一方と検知システム２２０とを一体構成で実現しても良い。

【0021】

図３に示すように、撮影システム２１０は、建設現場における稼働状況の取得対象である建設機械（ここでは、油圧ショベル１００）の映像を撮影する撮影装置であり、スマートフォンに搭載されたカメラ２１１と、カメラ２１１で撮影された映像データのフレームレートを低減したコマ落とし映像を作成するコマ落とし映像作成部２１２と、コマ落とし映像作成部２１２で作成されたコマ落とし映像（映像データ）を記憶する映像データ記憶部２１３とを有している。

【0022】

カメラ２１１は、建設現場の特に建設機械（油圧ショベル１００）を遮蔽物が無い状態で撮影できる位置に配置され、また、十分な解像度で撮影することが可能な性能を有している。

【0023】

コマ落とし映像作成部２１２は、カメラ２１１で撮影された映像データを一般的なフレームレート（例えば、３０ＦＰＳ）から低フレームレート（例えば、１ＦＰＳ）にコマ落としした映像を作成する。これにより、後述する検知システム２２０のフロー計算部２２２におけるオプティカルフローを計算を行う際の誤検知を低減することができる。油圧ショベル１００などの建設機械の移動速度は自動車などに比べると相対的に遅いため、映像データのフレームレートを１ＦＰＳ程度に落とした方が、建設機械の各部のフレーム間移動距離がより大きく（顕著に）なり、建設機械の移動が際立ったオプティカルフローが得られやすい。

【0024】

映像データ記憶部２１３に記憶された映像データは、インターネット通信や無線通信などの通信手段により、或いは、メモリーカードなどの記憶媒体に保存したものを人手によって輸送するなどの方法で、検知システム２２０に送られる。

【0025】

入力インタフェース２３０は、検知システム２２０での分析で用いられるパラメータを入力する入力装置であり、分析対象である建設機械の色彩的な特徴（カラーデータ）をパラメータとして検知システム２２０に入力するためのカラーデータ入力部２３１と、映像データ中の建設機械の移動範囲（すなわち、映像データ上の検知対象の建設機械の座標データ）をオペレータが確認してパラメータとして検知システム２２０に入力するための機械位置入力部２３２と、建設機械の動作パターンの解析に用いる閾値をパラメータとして検知システム２２０に入力するための閾値パラメータ入力部２３３と、建設機械の識別情報である機械ＩＤをパラメータとして表示システム２４０に入力するための機械ＩＤ入力部２３４とを有している。

【0026】

検知システム２２０は、撮影システム２１０（撮影装置）により撮影された油圧ショベル１００（建設機械）の映像を取得し、取得した映像から油圧ショベル１００の動作パターンとして平行移動と旋回動作とを解析し、解析した動作パターンに基づいて油圧ショベル１００の作業動作回数と作業動作を行った時間とを判定する検知装置であり、カラーフィルタ部２２１ａ及び位置フィルタ部２２１ｂを有する映像前処理部２２１と、オプティカルフロー計算部２２２ａを有するフロー計算部２２２と、水平方向成分計算部２２３ａ、旋回回数集計部２２３ｂ、および作業回数集計部２２３ｃを有する回数判定部２２３とを備えている。ここで、作業動作とは特定の作業に伴って順に行う一連の動作であり、例えば、掘削作業においては掘削、放土位置への旋回、放土、掘削位置への旋回などの動作である。

【0027】

映像前処理部２２１のカラーフィルタ部２２１ａでは、映像データにカラーフィルタを適用して建設機械だけを画面上に残す処理を行う。建設機械は、周囲の人に注意を促すため、周辺の景色に溶け込みにくい色であるオレンジ色や黄色などで塗装されていることが多い。つまり、意図的に自然物にはあまり存在しない目立つ色にされているため、色によってフィルタリングを行うことで映像の中から分析対象の建設機械だけを容易に残すことができ、検知誤差を低減することができる。

【0028】

ここでは、一例として、映像データをＨＳＶカラーモードとして読み取り、一定範囲の色相（Ｈｕｅ）だけ残すカラーフィルタ処理を施す。例えば、映像データに対してカラーフィルタ処理を施した場合に残す対象の色がオレンジ色であれば、ユーザーはＨｕｅ４０を中心に±４０程度の範囲をカラーデータとして入力する。ことのき、カラーフィルタ部２２１ａは、映像データにおける各画素について、色相が指定範囲内にある画素はそのままにし、範囲外のものを除く（黒で置き換える）処理を行うことで、分析対象である油圧ショベル（建設機械）を示す画素（映像データ）のみを残すことができる。なお、本実施の形態においては、カラーデータをユーザーが入力するように構成したが、例えば、分析対象の建設機械の機種などに応じて自動的にカラーデータが設定されるように構成してもよい。

【0029】

映像前処理部２２１の位置フィルタ部２２１ｂでは、映像データに位置フィルタを適用して、映像データにおける分析対象の建設機械（油圧ショベル１００）の移動範囲だけを残す位置フィルタ処理を行う。映像データ中の対象の建設機械の動作と関係ない部分をあらかじめ取り除いておくことで、検知誤差を低減することができる。ユーザーは、例えば、表示システム２４０などに別途表示された映像データ（コマ落とし映像など）を確認しつつ、入力インタフェース２３０の機械位置入力部２３２によって、映像データ中の建設機械の動作範囲を、左上の座標と縦横の長さとで表される長方形の形状として入力する。このとき、位置フィルタ部２２１ｂでは、ユーザーの指定した長方形の範囲の外側の映像データを除く（全て黒で置き換える）処理を行うことで、指定した範囲の内側の映像データのみを残すことができる。

【0030】

フロー計算部２２２のオプティカルフロー計算部２２２ａでは、映像前処理部２２１でフィルタリング処理（カラーフィルタ処理、位置フィルタ処理）が施された映像データについてオプティカルフローを計算する。オプティカルフローの計算には、グレースケール化など必要な前処理が含まれる。オプティカルフローの計算手法としては種々のものが知られているが、本実施の形態においては、映像中の特徴点をトラッキングする手法のうち、例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法など、一般的に知られている手法を用いる。

【0031】

回数判定部２２３は、建設機械の作業回数を判定するものであり、フロー計算部２２２で計算されたオプティカルフローについて、閾値パラメータ入力部２３３から入力された閾値に基づいて水平成分の大きさと出現頻度との関係を水平方向成分計算部２２３ａで計算し、水平方向成分計算部２２３ａの計算結果を用いて、旋回回数集計部２２３ｂで建設機械の旋回回数を集計するとともに、作業回数集計部２２３ｃで建設機械の作業回数を集計する。

【0032】

ここで、建設機械の旋回動作と平行移動の動作パターンの解析方法および動作パターンの解析結果に基づく作業動作の判定方法について説明する。

【0033】

図５は、建設機械の旋回動作における一連の状態を模式的に示す図であり、図６は建設機械の旋回動作におけるオプティカルフローの一連の様子を模式的に示す図である。

【0034】

図５に示すように、例えば、油圧ショベル１００（建設機械）が１８０度左旋回する場合を考えると、図６に示すように、映像データ上では、フロント作業装置１Ａ側（旋回軸より前側）が左から右に向かって移動するのと同時に、リヤ側（上部旋回体１２の旋回軸より後側）は右から左に向かって移動する。このとき、フロント作業装置１Ａ側の方が旋回中心からの距離が遠いので、移動距離が大きくなる。そのため、画面全体におけるオプティカルフローの水平方向成分の分布としては、大きい右方向の成分が多数検出され、同時に右方向の成分よりも絶対値の大きさがやや小さい左方向の成分も検出される。

【0035】

一方、油圧ショベル１００が下部走行体１１による移動（走行移動動作）を行う場合、すなわち、平行移動する場合であれば、油圧ショベル１００（建設機械）全体が一方向に、均一な速度で移動するため、オプティカルフローの水平方向成分のヒストグラムは、１か所にピークを持つ分布になる。

【0036】

図７は、旋回動作および走行移動動作（平行移動動作）におけるオプティカルフローの水平方向成分のヒストグラムを模式的に示す図である。図７においては、横軸に右方向を正と（左方向を負）とするオプティカルフローの水平方向成分の大きさを示し、縦軸に出現頻度を示している。

【0037】

図７に示すように、油圧ショベル１００が平行移動する場合であれば、実線で示すように、１つのピークを持つ分布となる。

【0038】

また、油圧ショベル１００が旋回動作を行う場合であれば、破線で示すように、右方向成分と左方向成分の両側にピークを持つ、すなわち、２つのピークを持つ分布となる。このとき、油圧ショベル１００のフロント作業装置１Ａ側の移動距離が相対的に大きいので、例えば、左旋回動作時であればプラス側(右方向)のピークの絶対値の方がマイナス側（左方向）のピークの絶対値よりも大きくなり、また、右旋回動作時であればマイナス側(左方向)のピークの絶対値の方がプラス側（右方向）のピークの絶対値よりも大きくなる。

【0039】

オプティカルフローの水平方向成分のヒストグラムにおけるピークの位置および出現頻度が、閾値パラメータ入力部２３３から入力された旋回動作判定用の閾値以上である場合に旋回動作であると判定する。なお、閾値は、閾値パラメータ入力部２３３によりユーザーが直接入力したり、クラスター分析の手法などを用いて自動的に設定したりしてもよい。

【0040】

このように、オプティカルフローの水平方向成分のヒストグラムにおけるピークの位置および大きさ（絶対値）を検出することによって、油圧ショベル１００の動作パターンが旋回動作と走行移動動作の何れであるか、及び、旋回動作であれば旋回方向が左右方向の何れであるかを判定することができる。

【0041】

旋回回数成分集計部２２３ｂでは、水平方向成分計算部２２３ａで生成したオプティカルフローの水平成分方向のヒストグラムを用いて、旋回動作および旋回方向の検出、旋回動作の回数の集計を行う。

【0042】

作業回数集計部２２３ｃでは、水平方向成分計算部２２３ａで生成したオプティカルフローの水平成分方向のヒストグラムを用いて、右旋回動作と左旋回動作の対を検出し、この対を作業動作の１サイクルとみなすことによって、作業動作の検出および作業動作の回数の集計を行う。

【0043】

建設機械の一種である油圧ショベル１００の作業動作としては、例えば、掘削、ある方向への旋回、放土して、戻り方向への旋回、再度の掘削、というルーチンになっている場合が多い。そのため、右旋回動作と左旋回動作が一対になって検出された場合に、掘削放土サイクルの１回の作業であると見なすことができる。また、１サイクルのカウントから、次の１サイクルのカウントまでの間の時間を、サイクルタイムとして検出する。

【0044】

表示システム２４０は、検知システム２２０（検知装置）により判定された油圧ショベル１００（建設機械）の動作パターン、作業動作回数、及び、作業動作を行った時間に基づいて、油圧ショベル１００の作業の進捗に関する情報を作成して表示する表示装置である。具体的には、表示システム２４０の結果表示部２４１は、機械ＩＤ入力部２３４からユーザーにより入力された分析対象の建設機械の識別情報（機械ＩＤ）と、検知システム２２０からの旋回回数および作業回数に係る集計結果とに基づいて、作業回数の時系列変化（作業回数のカウントアップと時刻との関係を示すグラフ）、作業時間のヒストグラム（サイクルタイムのヒストグラム）、及び、トータルの作業量（作業回数の合計値）などと、建設機械の識別情報（機械ＩＤ）とを関連させて、作業の進捗に関する情報を作成し、作成した作業の進捗に関する情報を表示してユーザーに報知する。なお、ユーザーが機械ＩＤ入力部２３４で入力する機械ＩＤは、対象の建設機械のＩＤ番号や機種名、現場名、工事名など、建設機械の識別情報などを含んでいる。

【0045】

図４は、建設機械のモニタリングシステムの処理内容を示すフローチャートである。

【0046】

図４において、建設機械のモニタリングシステム２００は、まず、分析対象となる映像を取得し（ステップＳ１００）、取得した映像データからコマ落とし映像（例えば、１ＦＰＳ程度）のコマ落とし映像を作成する（ステップＳ１１０）。

【0047】

続いて、コマ落とし映像（動画）の各フレームについて、ステップＳ１２０～Ｓ１２７の処理を繰り返す。

【0048】

すなわち、まず、コマ落とし映像の１フレームに対してカラーフィルタ処理を行う（ステップＳ１２１）。

【0049】

続いて、カラーフィルタ処理された映像データの１フレームに対して、指定範囲だけ抜き出す位置フィルタ処理を行う（ステップＳ１２２）。

【0050】

続いて、映像データに対して、オプティカルフローの計算を行う（ステップＳ１２３）。

【0051】

続いて、オプティカルフローの水平方向成分のヒストグラムを作成する（ステップＳ１２４）。

【0052】

続いて、作成したヒストグラムに基づいて、旋回動作が行われているか否か、旋回動作が行われていれば左右どちらの方向であるかを検出してカウントする（ステップＳ１２５）。なお、検出結果が１つ前のフレームと同一であれば、同一回の旋回動作が継続しているものとみなす。

【0053】

続いて、旋回動作の検出結果に基づいて、１つ前の作業回数カウントアップの後からこのフレームまでの間に、左右の旋回がそれぞれ１回以上検出されていた場合に、作業回数のカウントアップを行う（ステップＳ１２６）。カウントアップする場合、カウントアップの回数と時刻を紐づけて記録する。また、１つ前の作業回数カウントアップから、このカウントアップまでの間の時間を、サイクルタイムとして記録する。

【0054】

ステップＳ１２０～Ｓ１２７の処理が全てのフレームについて終了したら、続いて、機械ＩＤ、作業回数の時系列変化、作業時間のヒストグラム、トータルの作業量などに基づいて作業の進捗に係る情報を作成して表示し（ステップＳ１３０）、処理を終了する。作成する作業の進捗に係る情報は、作業回数の時系列変化（作業回数のカウントアップと時刻の関係を示すグラフ）、作業時間のヒストグラム（サイクルタイムのヒストグラム）、及び、トータルの作業量（作業回数の合計値）などである。

【0055】

以上のように構成した本実施の形態における効果について説明する。

【0056】

従来技術においては、カメラからの映像から作業者ないし機械の作業内容を分析して機械の動作パターンを認識し、動作パターンを機械作業変換テーブルに照らし合わせて、工事機械の作業内容を特定することで、機械にセンサー等を新たに追加することなく、多数の機械が稼働する現場でも機械の作業情報をまとめて判定することができる。しかしながら、従来技術においては、動作パターンの具体的な認識方法は提示されていないため、採用する動作パターンの認識精度によっては、作業情報の確認精度が低下してしまうという懸念がある。

【0057】

これに対して本実施の形態においては、作業現場における油圧ショベル１００（建設機械）の稼働状況を取得し、取得した稼働状況から油圧ショベル１００の作業動作を分析して、油圧ショベル１００の作業情報を可視化する油圧ショベル１００のモニタリングシステムであって、稼働状況の取得対象である油圧ショベル１００の映像を撮影する撮影システム２１０（撮影装置）と、撮影装置により撮影された油圧ショベル１００の映像のオプティカルフローの左右方向成分に基づいて、油圧ショベル１００の作業動作の回数と作業動作を行った時間とを分析する検知システム２２０（検知装置）と、検知装置により分析された油圧ショベル１００の作業動作の回数と作業動作を行った時間とに基づいて、油圧ショベル１００の作業情報を作成して表示する表示システム２４０（表示装置）と、を備えるように構成したので、建設機械の作業情報をより正確に確認することができる。

【0058】

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

【符号の説明】

【0059】

１…操作レバー、１Ａ…フロント作業装置、１Ｂ…車体、２…油圧ポンプ、３…走行油圧モータ、３…走行油圧モータ、４…旋回油圧モータ、５…ブームシリンダ、６…アームシリンダ、７…バケットシリンダ、８…ブーム、９…アーム、１０…バケット、１１…下部走行体、１２…上部旋回体、１３…バケットリンク、１８…エンジン、２０…コントロールバルブ、２３…走行レバー、１００…油圧ショベル、２００…モニタリングシステム、２１０…撮影システム、２１１…カメラ、２１２…映像作成部、２１３…映像データ記憶部、２２０…検知システム、２２１…映像前処理部、２２１ａ…カラーフィルタ部、２２１ｂ…位置フィルタ部、２２２…フロー計算部、２２２ａ…オプティカルフロー計算部、２２３…回数判定部、２２３ａ…水平方向成分計算部、２２３ｂ…旋回回数集計部、２２３ｃ…作業回数集計部、２３０…入力インタフェース、２３１…カラーデータ入力部、２３２…機械位置入力部、２３３…閾値パラメータ入力部、２３４…機械ＩＤ入力部、２４０…表示システム、２４１…結果表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】