(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】作業機械、情報管理システム、プログラム
(51)【国際特許分類】
E02F 9/26 20060101AFI20241101BHJP
【FI】
E02F9/26 A
(21)【出願番号】P 2019039569
(22)【出願日】2019-03-05
【審査請求日】2021-12-14
【審判番号】
【審判請求日】2023-06-13
(73)【特許権者】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】清田 芳永
(72)【発明者】
【氏名】因藤 雅人
【合議体】
【審判長】有家 秀郎
【審判官】▲高▼橋 祐介
【審判官】太田 恒明
(56)【参考文献】
【文献】特開2020-33704(JP,A)
【文献】特開2018-146594(JP,A)
【文献】再公表特許第2017/033991(JP,A1)
【文献】国際公開第2019/012988(WO,A1)
【文献】国際公開第2017/061545(WO,A1)
【文献】特開2013-21538(JP,A)
【文献】再公表特許第2017/199273(JP,A1)
【文献】国際公開第2017/061515(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/00 - 9/28
E02F 3/42 - 3/43
E02F 3/84 - 3/85
(57)【特許請求の範囲】
【請求項1】
走行体と、
前記走行体に搭載された旋回体と、
前記旋回体に搭載され、作業要素を含むアタッチメントと、
前記旋回体に搭載され、周辺の様子を二次元撮影してその画像を取得する撮像手段と、
前記撮像手段の撮像範囲が、予め指定された所定の作業対象を含むか否かを判定し、含むと判定した場合に、前記撮像手段により画像を撮影する撮像制御手段と、を備え
、
前記撮像制御手段は、
前記撮像手段の撮像範囲が前記所定の作業対象を含んだ場合として、
前記撮像手段の位置に関連する情報と、前記撮像手段の方向に関する情報とが、予め指定された所定の位置及び所定の方位と一致した場合に、前記撮像手段により画像を撮影する、
作業機械。
【請求項2】
前記撮像制御手段は、前記撮像手段が前記所定の作業対象を前回撮影したときから所定の時間が経過したことを条件として、前記撮像手段により再び前記所定の作業対象を撮影する、
請求項1に記載の作業機械。
【請求項3】
前記作業機械の動作を検出する動作検出手段を備え、
前記撮像制御手段は、前記撮像手段が前記所定の作業対象を前回撮影した後に、前記動作検出手段により前記作業機械の所定の動作が検出されたことを条件として、前記撮像手段により再び前記所定の作業対象を撮影する、
請求項1又は請求項2に記載の作業機械。
【請求項4】
前記作業機械による作業に関連する作業関連情報を取得する情報取得手段と、
前記撮像手段により撮影された画像に前記作業関連情報を埋め込む画像処理手段と、を備える、
請求項1から
請求項3の何れか一項に記載の作業機械。
【請求項5】
前記撮像手段により撮影された複数の画像を時系列に並べる画像処理手段を備える、
請求項1から
請求項4の何れか一項に記載の作業機械。
【請求項6】
請求項1から
請求項5の何れか一項に記載の作業機械を複数備えて構成される情報管理システムであって、
複数の作業機械は、
互いに情報を送受信可能な通信機器をそれぞれ有するとともに、
画像を撮影する撮像条件と、撮影された画像とを、前記通信機器により互いに送受信して共有する、
情報管理システム。
【請求項7】
請求項1から
請求項5の何れか一項に記載の作業機械と、前記作業機械との間で情報を送受信可能な情報管理装置と、を備えて構成される情報管理システムであって、
前記情報管理装置は、
少なくとも1つの作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を時系列に並べる、
情報管理システム。
【請求項8】
走行体と、前記走行体に搭載された旋回体と、前記旋回体に搭載され、作業要素を含むアタッチメントと、前記旋回体に搭載され、周辺の様子を二次元撮影してその画像を取得する撮像手段と、を備える作業機械を制御するプログラムであって、
コンピュータを、
前記撮像手段の撮像範囲が、予め指定された所定の作業対象を含むか否かを判定し、含むと判定した場合に、前記撮像手段により画像を撮影する撮像制御手段、
として機能させ、
前記撮像制御手段は、
前記撮像手段の撮像範囲が前記所定の作業対象を含んだ場合として、
前記撮像手段の位置に関連する情報と、前記撮像手段の方向に関する情報とが、予め指定された所定の位置及び所定の方位と一致した場合に、前記撮像手段により画像を撮影する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械、情報管理システム、プログラムに関する。
【背景技術】
【0002】
従来、例えばショベルなどの作業機械において、カメラを搭載して周辺を撮影するものが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業現場の作業効率を向上させることが望まれる。
【0005】
本発明は、作業機械に備えられた撮像装置を利用し、作業現場の効率を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明は、作業機械であって、
走行体と、
前記走行体に搭載された旋回体と、
前記旋回体に搭載され、作業要素を含むアタッチメントと、
前記旋回体に搭載され、周辺の様子を二次元撮影してその画像を取得する撮像手段と、
前記撮像手段の撮像範囲が、予め指定された所定の作業対象を含むか否かを判定し、含むと判定した場合に、前記撮像手段により画像を撮影する撮像制御手段と、を備え、
前記撮像制御手段は、
前記撮像手段の撮像範囲が前記所定の作業対象を含んだ場合として、
前記撮像手段の位置に関連する情報と、前記撮像手段の方向に関する情報とが、予め指定された所定の位置及び所定の方位と一致した場合に、前記撮像手段により画像を撮影する。
【0007】
また、本発明は、上記の作業機械を複数備えて構成される情報管理システムであって、
複数の作業機械は、
互いに情報を送受信可能な通信機器をそれぞれ有するとともに、
画像を撮影する撮像条件と、撮影された画像とを、前記通信機器により互いに送受信して共有する。
【0008】
また、本発明は、上記の作業機械と、前記作業機械との間で情報を送受信可能な情報管理装置と、を備えて構成される情報管理システムであって、
前記情報管理装置は、少なくとも1つの作業機械で撮影された複数の画像を受信するとともに、当該複数の画像を時系列に並べる。
【0010】
また、本発明は、走行体と、前記走行体に搭載された旋回体と、前記旋回体に搭載され、作業要素を含むアタッチメントと、前記旋回体に搭載され、周辺の様子を二次元撮影してその画像を取得する撮像手段と、を備える作業機械を制御するプログラムであって、
コンピュータを、
前記撮像手段の撮像範囲が、予め指定された所定の作業対象を含むか否かを判定し、含むと判定した場合に、前記撮像手段により画像を撮影する撮像制御手段、
として機能させ、
前記撮像制御手段は、
前記撮像手段の撮像範囲が前記所定の作業対象を含んだ場合として、
前記撮像手段の位置に関連する情報と、前記撮像手段の方向に関する情報とが、予め指定された所定の位置及び所定の方位と一致した場合に、前記撮像手段により画像を撮影する。
【発明の効果】
【0011】
本発明によれば、作業機械に備えられた撮像装置を利用し、作業現場の効率を向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態に係るショベルの側面図である。
【
図2】
図1のショベルのシステム構成を示すブロック図である。
【
図3】画像撮影処理の流れを示すフローチャートである。
【
図4】画像撮影処理における撮像条件を説明するための図である。
【
図5】画像撮影処理における撮像条件を説明するための図である。
【
図6】画像撮影処理において撮影された画像例を示す図である。
【
図7】本発明の実施形態の変形例における情報管理システムのシステム構成を示すブロック図である。
【
図8】
図7の情報管理システムでのショベルの動作を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0014】
[ショベルの構成]
まず、本実施形態に係るショベル100の構成について説明する。ショベル100は、本発明に係る作業機械の一例であり、本発明に係る作業機械用画像取得装置を具備することにより、作業対象の画像を好適に取得して作業進捗を記録できるように構成されている。
【0015】
図1は、本実施形態に係るショベル100の側面図である。
この図に示すように、ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5及びバケット6と、オペレータが搭乗するキャビン10とを備える。アタッチメントは、作業要素(例えば、バケット、クラッシャー、クレーン装置等)が設けられていれば、これに限られない。
【0016】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、ショベル100を走行させる。
上部旋回体3は、旋回油圧モータ或いは電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
【0017】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、例えば上部旋回体3の前部左側に搭載される。
【0018】
図2は、ショベル100のシステム構成を示すブロック図である。
この図に示すように、ショベル100は、上記構成のほか、コントローラ30と、撮像装置40と、動作・姿勢状態センサ42と、位置センサ43と、方位センサ44と、操作装置45と、表示装置50と、音声出力装置60と、通信機器80とを備える。本発明に係る画像取得装置は、コントローラ30、撮像装置40、動作・姿勢状態センサ42、位置センサ43、方位センサ44及び通信機器80を含んで構成される。
【0019】
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100の周辺を撮影してその画像をコントローラ30に出力する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
これら後方カメラ40B、左側方カメラ40L及び右側方カメラ40Rの各々は、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲(画角)を有する。
後方カメラ40B、左側方カメラ40L及び右側方カメラ40Rは、上部旋回体3の上面に取り付けられてもよい。これらカメラ40B、40L、40Rは、上部旋回体3の側面端部からは突出しない態様で、上部旋回体3の一部が写りこむように、光軸が斜め下方を向くように取り付けられてもよい。
撮像したい対象と上部旋回体3の一部とが同時に画像として取得されるので、撮像画像は、ショベル100に設けられたカメラを用いて取得された画像であることが直観的に判別できる。また、撮像したい対象とショベル100との距離感も直観的に理解できる。
【0020】
動作・姿勢状態センサ42は、ショベル100の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ30に出力する。動作・姿勢状態センサ42は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ(IMU:Inertial Measurement Unit)と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
アーム角度センサは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
バケット角度センサは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
IMUは、ブーム4及びアーム5の各々に取り付けられ、所定の三軸に沿ったブーム4及びアーム5の加速度、及び、所定の三軸廻りのブーム4及びアーム5の角加速度を検出する。
旋回角度センサは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体3に設けられたGPSやIMUセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
【0021】
位置センサ43は、ショベル100の位置(現在位置)の情報を取得するセンサであり、本実施形態ではGPS(Global Positioning System)受信機である。位置センサ43は、ショベル100の位置の情報を含むGPS信号をGPS衛星から受信し、取得したショベル100の位置情報をコントローラ30に出力する。なお、位置センサ43は、ショベル100の位置の情報を取得できるものであればGPS受信機でなくともよく、例えばGPS以外の衛星測位システムを利用するものであってもよい。位置センサ43は、下部走行体1に設けられてもよく、上部旋回体3に設けられていてもよい。
【0022】
方位センサ44は、ショベル100が向いている方位(方向)の情報を取得するセンサであり、例えば地磁気センサである。方位センサ44は、ショベル100の方位の情報を取得して、コントローラ30に出力する。なお、方位センサ44は、ショベル100の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばGPSを2つ設け、その位置情報から方位情報を取得してもよい。
【0023】
操作装置45は、キャビン10の操縦席付近に設けられ、オペレータが各動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等)の操作を行う操作手段である。換言すれば、操作装置45は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置45は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ30に出力する。
また、操作装置45は、撮像装置40、動作・姿勢状態センサ42、位置センサ43、方位センサ44、表示装置50、音声出力装置60、通信機器80等の操作を行う、各種設定手段を含む操作手段でもあり、これら各部に対する操作指令をコントローラ30に出力する。
【0024】
表示装置50は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作装置45の少なくとも一部を兼ねるタッチパネル式であってもよい。
【0025】
音声出力装置60は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置60は、例えば、スピーカやブザー等である。
【0026】
通信機器80は、所定の無線通信規格に基づき、所定の通信ネットワーク(例えば、基地局を末端とする携帯電話ネットワークやインターネット網等)を通じて、遠隔の外部機器や他のショベル100等と各種情報を送受信する通信デバイスである。
【0027】
コントローラ30は、ショベル100各部の動作を制御してショベル100の駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。
【0028】
また、コントローラ30は、各種機能を実行する機能部として、対象検出部301と、状態検出部302と、情報取得部303と、画像記録部304と、情報通信部305とを含む。さらに、コントローラ30は、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の内部メモリに規定される記憶領域としての記憶部310を含む。
【0029】
対象検出部301は、撮像装置40による撮像画像に基づき、ショベル100の周辺の検出対象を検出する。具体的に、対象検出部301は、既知の各種画像処理手法や機械学習ベースの識別器等を適用することにより、撮像画像内の検出対象を認識すると共に、認識した検出対象の実在位置や寸法を特定する。検出対象は、ショベル100の作業対象である。ただし、検出対象には、作業者等の人、他の作業機械や車両、仮置きされる工材等を含んでもよい。
【0030】
状態検出部302は、ショベル100の各種状態(動作状態、制御状態等)に関連する情報を、ショベル100に搭載される各種センサ(例えば、撮像装置40、動作・姿勢状態センサ42、位置センサ43、方位センサ44、操作装置45等)、各種アクチュエータ(例えば、油圧制御を行う電磁弁等)、各種制御装置(例えば、コントローラ30の他の機能部等)から取得する。例えば、状態検出部302は、位置センサ43及び方位センサ44によりショベル100の位置及び方位を取得でき、バケット6の動作や負荷を検出することによりショベル100の掘削動作を検出できる。
【0031】
情報取得部303は、ショベル100が行う作業に関連する作業関連情報を取得し、記憶部310に格納する。作業関連情報とは、作業情報、日時情報、天候情報、位置情報、機体情報、オペレータ情報等である。
作業情報には、作業(工事)名や作業場所、作業内容、ショベルのオーナー、作業の下請け業者、中間業者、作業に関連するエンドユーザ等の情報を含めることができる。情報取得部303は、例えばオペレータによる操作装置45を通じた入力操作に基づいて、作業情報を取得する。
日時情報には、日付、曜日、時刻が含まれる。情報取得部303は、コントローラ30内の計時手段(例えばRTC(Real Time Clock))により、日時情報を取得する。
天候情報は、ショベル100が作業している場所及び日時における天候の情報であり、晴れ、曇り、雨、雪等の天気区分に関する情報を含む。情報取得部303は、通信機器80を通じて、天候に関するサーバやウェブサイトから所望の天候情報を取得する。あるいは、情報取得部303は、照度センサや雨滴感知センサ等を含み、これらのセンサにより出力される照度や雨の有無等に基づき、天候情報を取得してもよい。
位置情報は、ショベル100の位置の情報であって、その経度及び緯度に関する情報を含む。また、位置情報は、さらに高度の情報を含んでもよいし、GeoHash等のジオコード情報であってもよい。情報取得部303は、位置センサ43により位置情報を取得する。
機体情報は、ショベル100を特定するための当該ショベル100の識別情報であり、例えば、予め規定される機械番号、ショベルID等である。情報取得部303は、例えば、記憶部310等に予め記録されている機械番号等を読み出すことで、機体情報を取得する。
オペレータ情報は、ショベル100を操縦しているオペレータを特定するための当該オペレータの識別情報であり、予め規定されるオペレータID等である。情報取得部303は、例えばオペレータによる操作装置45を通じた入力操作に基づいて、オペレータ情報を取得する。
作業関連情報(作業情報、日時情報、天候情報、位置情報、機体情報、オペレータ情報等)は、操作装置45を通じた入力操作(直接情報を入力するか、予め設定情報から選択するでもよい)や、通信技術や情報処理技術を用いて自動的に取得されてもよい。
作業関連情報は互いに関連付けられて記憶されてもよい。
【0032】
画像記録部304は、撮像装置40により取得された検出対象(作業対象)の画像を、対象画像情報3101として記憶部310に記録する。このとき、画像記録部304は、作業関連情報や、作業対象までの距離や寸法が分かる図形等を、記録する画像に埋め込んでもよい。
【0033】
情報通信部305は、予め規定された通知条件が成立すると、通信機器80を制御し、外部機器や他のショベル100との間で所定の情報を送受信する。
【0034】
[ショベルの動作]
続いて、画像を撮影して作業進捗を記録する画像撮影処理を実行する際のショベル100の動作について説明する。ショベル100に設けられた撮像装置40を利用して作業進捗を取得することが出来れば、別途、撮像装置を用意せずにすみ、また、作業進捗を人手で撮像するプロセスを省略でき、現場の作業効率が向上する。
図3は、この画像撮影処理の流れを示すフローチャートであり、
図4及び
図5は、画像撮影処理における撮像条件を説明するための図であり、
図6は、撮影された画像例を示す図である。
【0035】
画像撮影処理は、コントローラ30が内部の記憶装置に格納されたプログラムをCPU上で実行することにより、実行される。
画像撮影処理が実行されると、
図3に示すように、まずコントローラ30は、画像を撮影する撮像条件として、ショベル100の位置及び撮像装置40の方向に関する条件を、作業に先立って予め設定する(ステップS1)。
具体的に、コントローラ30は、
図4(a)に示すように、オペレータの操作に基づいて、画像を撮影する撮像装置40の撮像位置Pと撮像方向Dとを設定する。撮像位置Pは、経度及び緯度(あるいは、さらに高度)の情報により設定され、撮像方向Dは、方位角(あるいは、さらに俯仰角)の情報により設定される。これら撮像位置P及び撮像方向Dは、基準の絶対位置及び絶対方位に対する相対位置及び相対方位としてもよい。また、撮像位置P及び撮像方向Dには、それぞれ任意の範囲(例えば、位置は半径5m以内、方向は方位5度以内など)を設定できるようになっている。オペレータは、ショベル100の作業対象Tが画像内に含まれるように、撮像位置Pと撮像方向Dを適宜設定する。コントローラ30は、設定された撮像位置P及び撮像方向Dを含む撮像条件を、記憶部310に記録する。
オペレータは、所定の地図上で位置と方位を設定することが出来る。この場合、オペレータは地図全体を俯瞰しつつ作業進捗を確認したい場所を指定することが出来る。また、現場監督や作業現場の管理者が指定してもよい。この場合、地図上での指定はショベル100の外部(タッチパネルや、管理端末等)で指定し、その情報をショベル100に送信することもできる。
【0036】
なお、ステップS1で設定される撮像条件は、撮像装置40の撮像位置Pと撮像方向Dを含むものに限定されない。撮像条件は、撮像装置40の撮像範囲が、ショベル100の周辺における予め指定された、所定の被写体領域を含んだ場合に、当該撮像装置40により画像が撮影されるものであればよい。撮像装置40の撮像範囲が被写体領域を含んだ場合とは、撮像装置40の位置と方向のうちの少なくとも1つが、予め指定された所定の位置又は所定の方位と一致(所定の範囲内に含まれる場合を含む)した場合である。この撮影条件により、作業対象を含む所望の被写体領域の画像を撮影することができる。
この撮影条件の設定は、上述した撮像位置Pや撮像方向Dの設定と同様に行ってもよいし、例えば
図5に示すように、表示装置50に表示させた地
図M上において所望の被写体領域Bを指定することで行ってもよい。この場合、撮像装置40の撮像位置Pは指定してもよいし、指定しなくてもよい。なお、
図5の例では扇状の被写体領域Bを図示しているが、被写体領域Bの形状は特に限定されない。また、この被写体領域Bの指定はショベル100の外部(タッチパネルや、管理端末等)で行って、その情報をショベル100に送信してもよい。
【0037】
また、ステップS1での条件設定時におけるショベル100の位置や撮像装置40の方向は特に限定されない。例えば、ショベル100が撮像位置Pから離れた位置にある状態で撮像条件を設定してもよい。ただし、撮像装置40で捉えた映像を表示装置50に表示させ、撮影すべき作業対象Tをオペレータが表示装置50を通じて実際に確認したうえで、そのときのショベル100の位置及び撮像装置40の方向を位置センサ43及び方位センサ44で取得して、撮像位置P及び撮像方向Dとして設定することが好ましい。
【0038】
また、撮像条件には、撮像装置40の撮像位置P及び撮像方向D以外の条件を、これら撮像位置P及び撮像方向Dに加えてもよい。
例えば、前回の画像撮影時から所定の時間が経過したことを条件として、再び同じ作業対象T(被写体領域)の画像を撮影させるといった、時間の条件を加えてもよい。あるいは、前回の画像撮影時からショベル100の所定の動作(例えば、所定回数の掘削動作)が検出されたことを条件として、再び同じ作業対象T(被写体領域)の画像を撮影させるといった、動作の条件を加えてもよい。さらに、これら時間の条件と動作の条件を複合させてもよい。
【0039】
次に、コントローラ30は、ショベル100を駆動して作業を開始する(ステップS2)。本実施形態では、ショベル100により、作業対象Tに対する掘削作業が行われる。
【0040】
次に、コントローラ30は、作業中のショベル100における撮像装置40の位置及び方向を取得する(ステップS3)。
具体的には、コントローラ30の状態検出部302が、位置センサ43により撮像装置40の位置を取得するとともに、方位センサ44により撮像装置40の方向を取得する。撮像装置40の位置とは、後方カメラ40B、左側方カメラ40L及び右側方カメラ40Rの各々の位置であり、位置センサ43によりショベル100における当該位置センサ43の位置を取得することにより、ショベル100(上部旋回体3)に対して既知の位置に固定されたこれら各カメラの位置が取得される。また、撮像装置40の方向とは、後方カメラ40B、左側方カメラ40L及び右側方カメラ40Rの各々の方向であり、方位センサ44によりショベル100(上部旋回体3)の方向を取得することにより、上部旋回体3に対して既知の方向に固定されたこれら各カメラの方向が取得される。
【0041】
次に、コントローラ30は、ステップS3で取得したショベル100の位置と撮像装置40の方向とが、ステップS1で設定した撮像条件を満たすか否かを判定する(ステップS4)。
具体的に、コントローラ30は、撮像装置40の位置及び方向が、撮像条件である撮像位置P及び撮像方向Dと一致しているか否かを判定する。すなわち、いずれかの撮像装置40の位置が撮像位置Pに存在し、かつ、当該いずれかの撮像装置40の方向(本実施形態では、
図4に破線で示すカメラの光軸)が撮像方向Dを向いているか否かが判定される。撮像位置P及び撮像方向Dに範囲が設定されている場合、撮像装置40の位置及び方向がこの範囲内であるときには、撮像位置P及び撮像方向Dと一致していると判定される。
そして、取得した撮像装置40の位置及び方向の少なくとも一方が撮像条件を満足しないと判定した場合(ステップS4;No)、コントローラ30は、上述のステップS2へ処理を移行し、撮像条件が満たされるまで作業を続行する。
【0042】
なお、上述のステップS1において、撮像条件に撮像位置P及び撮像方向D以外の条件が設定されていた場合には、このステップS4においてその条件についての判定も行う。
例えば、前回の画像撮影時からの経過時間の条件が設定されている場合には、コントローラ30は、例えばRTCにより前回の画像撮影時からの経過時間を計数し、この経過時間が所定の時間を経過しているか否かを判定する。ただし、初回の画像撮影時にはこの判定が不要であることは勿論である。
あるいは、ショベル100の所定の動作(例えば、前回の画像撮影時からの所定回数の掘削動作)が検出された場合に画像を撮影させるといった動作の条件が設定されている場合には、コントローラ30は、動作・姿勢状態センサ42によりショベル100の所定の動作が検出されるか否かを判定する。
【0043】
また、ステップS4における撮像条件の判定(特に撮像方向Dの判定)は、アタッチメントによる作業後における上部旋回体3の旋回中に行うのが好ましい。
また、自己作業後の結果を記録する場合には、掘削後の上部旋回体3の旋回方向と反対側の側面のカメラを用いて撮影するのが好ましい。これにより、作業後の作業対象Tを確実に捉えて撮影することができる。ただし、アタッチメントや上部旋回体3に、前方を撮像する撮像装置が備えられている場合は、これに限られない。
また、撮影を行うタイミングは上部旋回体3の停止時が好ましいため、これをショベル100の動作条件として撮像条件に組み込んでもよい。更に、下部走行体1或いはアタッチメントが停止していることを条件とすると、動作による振動が上部旋回体3に生じておらず、鮮明な画像を取得できる。
【0044】
ステップS4において、撮像装置40の位置及び方向が撮像条件を満たすと判定した場合(ステップS4;Yes)、コントローラ30は、
図4(b)に示すように、撮像装置40うち撮像条件を満たすいずれかのカメラ(
図4(b)では左側方カメラ40L)により画像を撮影する(ステップS5)。
【0045】
そして、コントローラ30は、ステップS5で取得した画像を、対象画像情報3101として記憶部310に記録する(ステップS6)。
このとき、コントローラ30の画像記録部304は、
図6(a)に示すように、必要に応じて、ショベル100が行う作業に関連する作業関連情報を画像に埋め込んだうえで、記憶部310に記録する。この場合、コントローラ30の画像記録部304は、例えばオペレータの操作に基づいて、画像とともに記録する作業関連情報を情報取得部303により取得して、この作業関連情報を埋め込んだ画像を記憶部310に記録する。
図6(a)の例では、作業関連情報として、工事名、作業内容、日付、作業(ショベル)IDのほか、作業対象Tまでの距離及び作業対象Tの寸法が分かる図形Rが、画像に埋め込まれている。図形Rを用いる場合、コントローラ30は、対象検出部301により画像から作業対象Tを検出し、作業対象Tまでの距離やその寸法を取得する。
【0046】
またこのとき、コントローラ30の画像記録部304は、
図6(b)に示すように、撮影した作業対象Tの画像(静止画)と、過去に撮影した作業対象Tの画像(静止画)とを時系列に並べたものを、まとめて対象画像情報3101として記憶部310に記録してもよい。あるいは、画像(静止画)を時系列に並べて動画を生成し、この動画を対象画像情報3101として記憶部310に記録してもよい。
これにより、作業の進捗状況(作業対象Tの時間変化)が分かる一連の画像又は動画を取得することができる。
【0047】
次に、コントローラ30は、ショベル100による作業が終了したか否かを判定し(ステップS7)、終了していないと判定した場合には(ステップS7;No)、上述のステップS2へ処理を移行し、作業を続行する。これにより、作業が終了すると判定されるまで、撮像装置40の位置及び方向の取得と、これらが撮像条件を満たすか否かの判定と、撮像条件を満たした場合の画像撮影及びその記録とが、順次実行され、繰り返される。
また、例えばオペレータによりショベル100のエンジン等の動力源が停止されるなどして、少なくともアタッチメント等のアクチュエータを操作しても動かない状態になっている等、作業が終了したと判定した場合には(ステップS7;Yes)、コントローラ30は、画像撮影処理を終了する。なお、蓄電手段を備える場合は、アクチュエータを操作しても動かない状態において、撮像装置40やコントローラ30を起動し、上述のプロセスを実行させることも可能である。
【0048】
[本実施形態の技術的効果]
以上のように、本実施形態によれば、撮像装置40の撮像範囲が、ショベル100の周辺における予め指定された被写体領域Bを含んだ場合に、当該撮像装置40により画像が撮影される。
これにより、ショベル100に設けられた撮像装置40を利用して作業進捗を取得することができる。したがって、別途、撮像装置を用意せずにすみ、また、作業進捗を人手で撮像するプロセスを省略できるので、現場の作業効率を向上させることができる。
【0049】
また、前回画像を撮影したときから所定の時間が経過した場合に画像を撮影するという時間の条件を加えることにより、時間的な撮影頻度を規定することができる。
これにより、例えば上部旋回体3の旋回に伴って高頻度で同じ場所の撮影が行われる、といった事態を回避して、記録される画像の容量を削減することができる。
【0050】
また、ショベル100の所定の動作が検出された場合に画像を撮影するという動作の条件を加えることにより、ショベル100の位置や姿勢だけでなく、ショベル100の動作にも連動させて画像を取得することができる。
これにより、例えば所定回数の掘削動作毎の画像の撮影や、上部旋回体3が確実に停止してからの画像の撮影などを行うことができる。
【0051】
また、作業に関連する作業関連情報を取得し、撮影された画像にこの作業関連情報を埋め込むことができるので、画像の情報量を増やすことができる。
さらに、撮影された複数の画像を時系列に並べて動画にすることにより、作業の進捗(作業対象Tの時間変化)が分かる動画を取得することができる。
【0052】
[変形例]
続いて、上記実施形態の変形例について説明する。
本変形例は、複数のショベル100で撮影された画像が管理サーバに蓄積される点で、上記実施形態と異なっている。なお、上記実施形態と同一の構成要素には同一の符号を付し、その説明を省略する。
【0053】
図7は、本変形例における情報管理システム200のシステム構成を示すブロック図である。
この図に示すように、情報管理システム200は、互いに同様に構成された複数のショベル100(本変形例では、100A、100B、100C、100D、…)と、管理サーバ400と、情報端末500とを備えて構成される。なお、
図7では、ショベル100A以外のショベル100(100B、100C、100D)の構成の図示を省略している。
【0054】
複数のショベル100は、各々が備える通信機器80により、通信ネットワーク150を通じて互いに各種情報を送受信可能であるとともに、管理サーバ400及び情報端末500の各々とも通信ネットワーク150を通じて各種情報を送受信可能となっている。
【0055】
管理サーバ400は、本発明に係る情報管理装置の一例であり、例えば、複数のショベル100が作業する作業現場外に設けられる管理センタ等に設置されるサーバ装置である。この管理サーバ400は、情報管理システム200を運用する事業者あるいはその関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。
【0056】
具体的に、管理サーバ400は、通信機器410と、制御装置420とを備える。
通信機器410は、通信ネットワーク150を通じて、複数のショベル100の各々と各種情報を送受信可能となっている。
制御装置420は、管理サーバ400における各種動作を制御する。この制御装置420は、EEPROM等の内部メモリに規定される記憶領域としての記憶部421を含み、当該記憶部421に各種情報を記憶して管理する。例えば、記憶部421には、各ショベル100で撮影されて送信されてきた画像(対象画像情報3101)が、対象画像情報4210として記憶(蓄積)される。
【0057】
情報端末500は、例えば、ユーザが所持するタブレットやスマートフォンなどの携帯端末である。ユーザは、情報端末500を通じて情報管理システム200内の各種作業記録にアクセスし、閲覧することができる。なお、情報端末500は、定置型或いは携帯型のコンピュータ端末であってもよい。
具体的に、情報端末500は、通信機器510と、表示装置520と、制御装置530とを備える。
通信機器510は、通信ネットワーク150を通じて、複数のショベル100の各々及び管理サーバ400と各種情報を送受信可能となっている。表示装置520は、例えば液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作手段を兼ねるタッチパネル式であってもよい。制御装置530は、情報端末500における各種動作を制御する。
【0058】
図8は、情報管理システム200におけるショベル100の動作を説明するための図である。
情報管理システム200では、複数のショベル100が、直接の(又は管理サーバ400を介した関節の)通信により、上記実施形態と同様の撮像条件を共有している。そして、複数のショベル100の各々が上記実施形態とほぼ同様に動作しつつ、各ショベル100が撮影した画像(対象画像情報3101)を管理サーバ400に送信することで、全ての画像が管理サーバ400に蓄積される。
【0059】
例えば、
図8に示すように、ショベル100Aが、時刻t1において作業前で土が盛られた状態の作業対象Tを後方カメラ40Bで撮影した後(
図8(a))、時刻t2において掘削を進めた状態の作業対象Tを右側方カメラ40Rで撮影する(
図8(b))。撮影された画像は、通信機器410によりショベル100Aから管理サーバ400へ順次送信される。
その後、他のショベル100Bが、時刻t3において掘削し終わった状態の作業対象Tを左側方カメラ40Lで撮影した後(
図8(c))、時刻t4において平らに均した状態の作業対象Tを右側方カメラ40Rで撮影する(
図8(d))。これらの画像も、通信機器410によりショベル100Bから管理サーバ400へ順次送信される。
こうして、異なる複数のショベル100で撮影された画像が管理サーバ400において蓄積・管理される。蓄積された複数の画像は、管理サーバ400により時系列の一連の画像又は動画にされてもよい。
【0060】
情報端末500を所持するユーザは、通信ネットワーク150を通じて、管理サーバ400に蓄積された画像を閲覧することができる。この場合、情報端末500の制御装置530は、通信ネットワーク150を通じて管理サーバ400から複数の画像を受信して、例えば図示しない記憶部に記憶(又は一時記憶)し、当該複数の画像を表示装置520に一覧表示又は連続的に表示させる。
【0061】
なお、各ショベル100から管理サーバ400に画像を送信するタイミングは、特に限定されず、例えば一連の作業が終了した後でもよい。
また、画像への作業関連情報の埋め込みは、当該画像が撮影された各ショベル100で行ってもよいし、管理サーバ400で行ってもよい。管理サーバ400で行う場合には、作業関連情報をショベル100から管理サーバ400へ送信することとしてもよいし、作業関連情報を取得できる構成(ショベル100における情報取得部303)を管理サーバ400に設けることとしてもよい。
【0062】
[その他]
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像条件を作業前に設定することとしたが、この条件設定は、作業の合間に作業を一時中断するなどして行ってもよい。
また、撮像条件は複数であってもよく、例えば、異なる作業対象の撮影や、異なる複数のアングル(方向)から同一の作業対象の撮影などを行ってもよい。異なる複数のアングルから同一の作業対象を撮影した場合には、取得した画像を用いて3D画像を生成してもよい。
【0063】
また、上記実施形態の変形例では、管理サーバ400に画像を蓄積することとしたが、管理サーバ400を用いることなく、複数のショベル100が撮像条件と画像とを互いに送受信して共有することとしてもよい。あるいは、複数のショベル100が、撮像条件だけを共有し、取得した画像は各々が保持することとしてもよい。
【0064】
また、本発明は、撮像手段により画像を撮影するものに限定されず、記録された画像を読み出したり、画像から特定の情報を抽出したりするものであってもよい。
例えば、過去に画像を取得した撮像位置に移動する(或いは、少なくとも方角が当該画像のものと一致するなど、過去の画像に対応した位置・姿勢をとる)と、この過去の画像を確認できるものであってもよい。確認は作業機械のモニターからでもよいし、管理サーバや情報端末からでもよい。
あるいは、収集された画像(又は生成された動画)から特定の被写体やイベントを検出し、その画像、場所、時期等を検索できるものであってもよい。特定の被写体とは、例えば、盛土作業による盛土や、掘削時に形成する穴等である。イベントには、例えば、「掘削を行った」、「旋回した」、「排土した」等の作業機械自身の動作のほか、トラックが接近した等の作業機械や作業現場の情報が含まれる。このような検索を可能とするには、取得した画像に他の情報(例えば、作業機械のオーナー名、レンタル主、工事現場の名前、施工主の名前、撮影日時等)を対応付けて記憶しておけばよい。これにより、特定の被写体やイベントが写っている画像を画像解析手段で特定してソートし、様々な分析情報に用いることが出来る。
【0065】
また、本発明に係る作業機械は、ショベル以外の作業機械、例えば、ホイールローダやアスファルトフィニッシャ、フォークリフト、クレーン等であってもよい。
また、本発明に係る情報管理システムは、これら異なる作業機械を含んでいてもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0066】
1 下部走行体
2 旋回機構
3 上部旋回体
30 コントローラ
40 撮像装置
40B 後方カメラ
40L 左側方カメラ
40R 右側方カメラ
42 動作・姿勢状態センサ
43 位置センサ
44 方位センサ
80 通信機器
100、100A、100B ショベル
150 通信ネットワーク
200 情報管理システム
310 記憶部
400 管理サーバ
500 情報端末
3101 対象画像情報
4210 対象画像情報
B 被写体領域
D 撮像方向
P 撮像位置
T 作業対象