特開 2024-175565 作業機械の周辺監視システム、及び作業機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175565

(43)【公開日】2024-12-18

(54)【発明の名称】作業機械の周辺監視システム、及び作業機械

(51)【国際特許分類】

   E02F 3/43 20060101AFI20241211BHJP

   E02F 9/24 20060101ALI20241211BHJP

【ＦＩ】

E02F3/43 A

E02F9/24 H

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023093447

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松岡 平

【テーマコード（参考）】

2D003

2D015

【Ｆターム（参考）】

2D003AA01

2D003AB04

2D003BA06

2D003BA07

2D003BB04

2D003BB11

2D003DC06

2D003DC07

2D003FA02

2D015GA03

2D015GB06

2D015GB07

(57)【要約】

【課題】安全性の向上を実現する。
【解決手段】実施形態の一態様に係る作業機械の周辺監視システムは、当該作業機械の周辺に存在する物体を検出するための検出部と、前記検出部から取得した情報に基づいて、前記作業機械の周辺に存在する物体の種類を特定すると共に、複数の前記物体について重力方向及び水平方向のいずれか一つ以上の位置関係を算出し、前記物体の種類、及び、前記位置関係に基づいて処理を行うように構成されている制御装置と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

当該作業機械の周辺に存在する物体を検出するための検出部と、
前記検出部から取得した情報に基づいて、前記作業機械の周辺に存在する物体の種類を特定すると共に、複数の前記物体について重力方向及び水平方向のいずれか一つ以上の位置関係を算出し、
前記物体の種類、及び、前記位置関係に基づいて処理を行うように構成されている制御装置と、
を備える作業機械の周辺監視システム。

【請求項2】

前記制御装置は、重力方向における前記位置関係、及び、水平方向における前記位置関係を算出するように構成されている、
請求項１に記載の作業機械の周辺監視システム。

【請求項3】

前記制御装置は、前記物体が移動する方向を推定し、
前記物体の種類及び前記位置関係と共に、前記方向に基づいて、前記処理を行うように構成されている、
請求項２に記載の作業機械の周辺監視システム。

【請求項4】

前記制御装置は、前記物体が移動する速度を推定し、
前記物体の種類及び前記位置関係と共に、前記方向及び前記速度に基づいて、前記処理を行うように構成されている、
請求項３に記載の作業機械の周辺監視システム。

【請求項5】

前記制御装置は、第１の種類の前記物体から所定の距離内に第２の種類の前記物体が存在せず、且つ、当該第１の種類の前記物体が移動していないと推定される場合に、前記処理を行うように構成されている、
請求項３に記載の作業機械の周辺監視システム。

【請求項6】

前記制御装置は、
第１の前記物体の種類を前記作業機械のアタッチメントと特定し、
第２の前記物体の種類を人と特定し、
前記アタッチメントが前記人より重力と反対方向に存在し、且つ、前記アタッチメントから前記重力方向で前記人が所定の距離以内に存在する場合に、前記処理を行うように構成され、又は、前記アタッチメントが前記人と前記重力方向で略同じ位置に存在する場合に、前記処理を抑制するように構成されている、
請求項２に記載の作業機械の周辺監視システム。

【請求項7】

前記制御装置は、
第１の前記物体の種類を前記作業機械のアタッチメントと特定し、
第２の前記物体の種類を人と特定し、
前記アタッチメントから、前記重力方向に前記人が存在する場合のうち、前記アタッチメントが移動していると推定された際には前記処理を行い、前記アタッチメントが移動していないと推定された際には前記処理を抑制するように構成されている、
請求項３に記載の作業機械の周辺監視システム。

【請求項8】

前記制御装置は、
第１の前記物体の種類を人と特定し、
第２の前記物体の種類として、穴が存在する地面と特定し、
前記人及び前記穴が、前記水平方向において所定の距離以内に存在する場合に、前記処理を行うように構成されている、
請求項２に記載の作業機械の周辺監視システム。

【請求項9】

前記制御装置は、
第１の前記物体の種類を人と特定し、
第２の前記物体の種類として、穴が存在する地面と特定し、
前記人と前記穴とが前記水平方向において所定の距離以内に存在し、且つ、前記人が移動する前記方向に前記穴が存在する場合に、前記処理を行うように構成されている、
請求項３に記載の作業機械の周辺監視システム。

【請求項10】

前記制御装置は、
第１の前記物体の種類を、前記作業機械のフックと特定し、
第２の前記物体の種類を、吊り荷と特定し、
第３の前記物体の種類を、人と特定し、
前記フックから、前記重力方向に、前記吊り荷及び前記人の順に存在する場合に、前記処理を行うように構成されている、
請求項２に記載の作業機械の周辺監視システム。

【請求項11】

前記制御装置は、
第１の前記物体の種類を、前記作業機械のフックと特定し、
第２の前記物体の種類を、吊り荷と特定し、
第３の前記物体の種類を、人と特定し、
前記フックから、前記重力方向に、前記吊り荷及び前記人の順に存在する場合に、前記フックが移動していると推定された際には前記処理を行い、前記フックが移動していないと推定された際には前記処理を抑制するように構成されている、
請求項３に記載の作業機械の周辺監視システム。

【請求項12】

前記制御装置は、
第１の前記物体の種類を、工具又は装備品と特定し、
第２の前記物体の種類を、人と特定し、
前記工具又は装備品が、前記人から所定の距離内に存在せず、且つ、移動していないと推定される場合に、前記処理を行うように構成されている、
請求項４に記載の作業機械の周辺監視システム。

【請求項13】

前記制御装置は、
前記工具又は装備品が、前記人と前記所定の距離内に存在する場合でも、前記工具又は装備品が移動する前記方向と、前記人が移動する前記方向との間に関連していないと推定される場合に、前記処理を行うように構成されている、
請求項１２に記載の作業機械の周辺監視システム。

【請求項14】

前記制御装置は、前記処理として、前記作業機械の操作者に対する情報の出力、前記作業機械の外部に対する情報の出力、前記検出部から取得した前記情報の記憶、及び、前記作業機械に対する動作の停止制御のうちいずれか一つを含んでいる、
請求項１乃至１３のいずれか一つに記載の作業機械の周辺監視システム。

【請求項15】

当該作業機械の周辺に存在する物体を検出するための検出部と、
前記検出部から取得した情報に基づいて、前記作業機械の周辺に存在する物体の種類を特定すると共に、複数の前記物体について重力方向及び水平方向のいずれか一つ以上の位置関係を算出し、
前記物体の種類、及び、前記位置関係に基づいて処理を行うように構成されている制御装置と、
を備える作業機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の周辺監視システム、及び作業機械に関する。

【背景技術】

【0002】

従来から作業機械では、周囲の状況を検出するための各種センサが搭載される傾向にある。例えば、特許文献１においては、作業機械にＴｏｆカメラが搭載され、Ｔｏｆカメラで検出された物体のそれぞれの距離を算出し、作業機械を基準とした警告領域に物体が入ったと判定された場合に、警告することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１４８０７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、特許文献１に記載された技術等では、物体等を単体で検出し、検出された物体等と作業機械との関係を考慮するに留まっている。しかしながら、作業機械の周囲には複数の物体が存在すると考えられる。複数の物体の位置関係によっては警報等が必要な状況になる可能性がある。

【0005】

上述に鑑み、作業機械の周辺監視システム、及び作業機械が、複数の物体の位置関係に基づいて処理を行うことで、安全性の向上を実現する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る作業機械の周辺監視システムは、当該作業機械の周辺に存在する物体を検出するための検出部と、前記検出部から取得した情報に基づいて、前記作業機械の周辺に存在する物体の種類を特定すると共に、複数の前記物体について重力方向及び水平方向のいずれか一つ以上の位置関係を算出し、前記物体の種類、及び、前記位置関係に基づいて処理を行うように構成されている制御装置と、を備える。

【発明の効果】

【0007】

本発明の一態様によれば、種類が特定された複数の物体の位置関係に基づいた処理を行うことで、安全性の向上を実現する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係るショベルの側面図である。

【図2】図２は、第１の実施形態に係るショベルの上面図である。

【図3】図３は、第１の実施形態に係るショベルに搭載される基本システムの構成を例示した図である。

【図4】図４は、第１の実施形態に係るショベルコントローラのブロック構成を示した図である。

【図5】図５は、第１の実施形態に係る判定部による、バケットと人の位置関係に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。

【図6】図６は、第１の実施形態に係る判定部による、バケットと人の位置関係に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。

【図7】図７は、第１の実施形態に係るショベルコントローラによる走行する速度の調整手順を示したフローチャートである。

【図8】図８は、第１の実施形態に係るショベルコントローラによるショベルの周囲の監視手順を示したフローチャートである。

【図9】図９は、第２の実施形態に係るショベルコントローラのブロック構成を示した図である。

【図10】図１０は、第２の実施形態に係る判定部による、バケットと人の位置関係及び物体の移動に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。

【図11】図１１は、第２の実施形態に係る判定部による、バケットと人の位置関係及び物体の移動に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。

【図12】図１２は、第２の実施形態に係るショベルコントローラによるショベルの周囲の監視手順を示したフローチャートである。

【図13】図１３は、第３の実施形態に係る周辺監視システムの構成を例示した図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。

【0010】

（第１の実施形態）
まず、図１を参照して、本実施形態に係るショベル１００の概要について説明する。図１は、第１の実施形態に係る作業機械としてのショベル１００の側面図である。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。

【0011】

ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。

【0012】

ブーム角度センサＳ１はブーム４の回動角度を検出する。本実施形態では、ブーム角度センサＳ１は加速度センサであり、上部旋回体３に対するブーム４の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム４を最も下げたときに最小角度となり、ブーム４を上げるにつれて大きくなる。

【0013】

アーム角度センサＳ２はアーム５の回動角度を検出する。本実施形態では、アーム角度センサＳ２は加速度センサであり、ブーム４に対するアーム５の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム５を最も閉じたときに最小角度となり、アーム５を開くにつれて大きくなる。

【0014】

バケット角度センサＳ３はバケット６の回動角度を検出する。本実施形態では、バケット角度センサＳ３は加速度センサであり、アーム５に対するバケット６の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット６を最も閉じたときに最小角度となり、バケット６を開くにつれて大きくなる。

【0015】

ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。

【0016】

上部旋回体３には、運転室としてのキャビン１０、エンジン１１、機体傾斜センサＳ４、旋回角速度センサＳ５、撮像装置Ｓ６、空間認識装置Ｓ７、測位装置Ｓ８、及び通信装置Ｔ１等が搭載されている。

【0017】

キャビン１０内には、ショベルコントローラ３０が設置される。また、キャビン１０内には、運転席及び操作装置等が設置されている。

【0018】

ショベルコントローラ３０は、各種演算を実行する演算装置である。ショベルコントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。ショベルコントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。

【0019】

エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。

【0020】

機体傾斜センサＳ４は、所定の平面に対する上部旋回体３の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサＳ４は、水平面に関する上部旋回体３の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベル１００の旋回軸上の一点であるショベル中心点を通る。

【0021】

旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサＳ５は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。

【0022】

測位装置Ｓ８は、ショベル１００の位置に関する情報を取得するように構成されている。本実施形態では、測位装置Ｓ８は、基準座標系におけるショベル１００の位置及び向きを測定するように構成されている。具体的には、測位装置Ｓ８は、電子コンパスを組み込んだＧＮＳＳ受信機であり、ショベル１００の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル１００の向きを測定する。本実施形態に係る基準座標系とは、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そして、Ｚ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。

【0023】

通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、（無線通信網を含む）通信回線ＮＷを介し、通信装置Ｔ１とショベル１００の外部にある機器との間の通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。

【0024】

また、通信装置Ｔ１は、例えば、外部のＧＮＳＳ（Global Navigation Satellite System）測量システムとショベル１００との間の無線通信を制御する。

【0025】

本実施形態においては、ショベル１００の高さ方向（重力方向）をＺ軸方向とし、ショベル１００の進行方向をＸ軸方向とし、ショベル１００の幅方向をＹ軸方向とする。

【0026】

次に、ショベル１００に設けられた空間認識装置Ｓ７及び撮像装置Ｓ６について説明する。

【0027】

図２は、本実施形態に係るショベル１００の上面図である。図２に示されるように、ショベル１００には、４個の空間認識装置Ｓ７が設けられているとともに、４個の撮像装置Ｓ６が設けられている。

【0028】

空間認識装置Ｓ７は、ショベル１００の周囲の空間に存在する物体の形状を認識するように構成されている。空間認識装置Ｓ７は、ショベル１００の後方の空間の検知を行う後方空間認識装置Ｓ７Ｂ、ショベル１００の左方の空間の検知を行う左方空間認識装置Ｓ７Ｌ、ショベル１００の右方の空間の検知を行う右方空間認識装置Ｓ７Ｒ、及びショベル１００の前方の空間の検知を行う前方空間認識装置Ｓ７Ｆを含む。

【0029】

空間認識装置Ｓ７は、ショベル１００の周辺に存在する物体を検出するためにＬＩＤＡＲを用いてもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、距離画像カメラ、又はミリ波レーダなどの測距装置を用いてもよい。空間認識装置Ｓ７としてミリ波レーダ等が利用される場合には、空間認識装置Ｓ７から多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。

【0030】

後方空間認識装置Ｓ７Ｂは、上部旋回体３の上面の後端に取り付けられる。左方空間認識装置Ｓ７Ｌは、上部旋回体３の上面の左端に取り付けられる。右方空間認識装置Ｓ７Ｒは、上部旋回体３の上面の右端に取り付けられる。前方空間認識装置Ｓ７Ｆは、キャビン１０の上面の前端に取り付けられる。また、ショベル１００に設けられる空間認識装置の数は、４個に制限するものではなく、３個以下でもよいし、５個以上でもよい。空間認識装置Ｓ７は、さらにアーム５の上方側面に取り付けられてもよい。

【0031】

空間認識装置Ｓ７は、ショベル１００の周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。例えば、空間認識装置Ｓ７は、人と人以外の物体とを区別しながら人を検知できるように構成された人検知機能を有していてもよい。

【0032】

撮像装置Ｓ６はショベル１００の周辺の画像を取得するように構成されている。本実施形態では、撮像装置Ｓ６は、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及びショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。

【0033】

撮像装置Ｓ６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を（図示しない）表示装置に出力してもよい。

【0034】

前カメラＳ６Ｆは、例えば、キャビン１０の屋根に取り付けられている。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられている。右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられている。後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。

【0035】

本実施形態は、撮像装置Ｓ６を上述した配置に設けることで、ショベル１００の周辺に存在する物体を撮像できる。

【0036】

図２に示されるように、下部走行体１は、例えば、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含み、クローラ１ＣＬ，１ＣＲがそれぞれに対応する走行油圧モータ１Ｌ、１Ｒで油圧駆動されることにより、自走する。

【0037】

次に、図３を参照し、図１のショベル１００に搭載される基本システムについて説明する。図３において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電力ラインは細実線、電気制御ラインは一点鎖線でそれぞれ示されている。

【0038】

基本システムは、主に、エンジン１１、メインポンプ１４、パイロットポンプ１５、コントロールバルブ１７、操作装置２６、操作圧センサ２９、ショベルコントローラ３０、切換弁３５、エンジン制御装置７４、エンジン回転数調整ダイヤル７５、蓄電池８０、表示装置Ｄ１、音出力装置Ｄ２及び情報取得装置Ｅ１等を含む。

【0039】

エンジン１１は、負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン１１における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジン制御装置７４により制御される。

【0040】

エンジン１１の回転軸は油圧ポンプとしてのメインポンプ１４及びパイロットポンプ１５のそれぞれの回転軸に連結されている。メインポンプ１４は作動油ラインを介してコントロールバルブ１７に接続されている。パイロットポンプ１５はパイロットラインを介して操作装置２６に接続されている。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブ１７に作動油を供給する機能とは別に、絞り等により作動油の圧力を低下させた後で操作装置２６等に作動油を供給する機能を備えていてもよい。

【0041】

コントロールバルブ１７は、ショベル１００の油圧系の制御を行う油圧制御装置である。コントロールバルブ１７は、左走行油圧モータ１Ｌ（図２参照）、右走行油圧モータ１Ｒ（図２参照）、ブームシリンダ７、アームシリンダ８、バケットシリンダ９及び旋回油圧モータ２Ａ（図２参照）等の油圧アクチュエータに接続されている。

【0042】

具体的には、コントロールバルブ１７は、各油圧アクチュエータに対応する複数のスプール弁を含む。各スプール弁は、ＰＣポートの開口面積及びＣＴポートの開口面積を増減できるように、パイロット圧に応じて変位可能に構成されている。ＰＣポートは、メインポンプ１４と油圧アクチュエータとを繋ぐ油路の一部を構成するポートである。ＣＴポートは、油圧アクチュエータと作動油タンクとを繋ぐ油路の一部を構成するポートである。

【0043】

切換弁３５は、操作装置２６の有効状態と無効状態とを切り換えできるように構成されている。操作装置２６の有効状態は、操作者が操作装置２６を用いて油圧アクチュエータを操作できる状態である。操作装置２６の無効状態は、操作者が操作装置２６を用いて油圧アクチュエータを操作できない状態である。本実施形態では、切換弁３５は、ショベルコントローラ３０からの指令に応じて動作するように構成されている電磁弁としてのゲートロック弁である。具体的には、切換弁３５は、パイロットポンプ１５と操作装置２６とを繋ぐパイロットラインに配置され、ショベルコントローラ３０からの指令に応じてパイロットラインの遮断・開通を切り換えできるように構成されている。操作装置２６は、例えば、不図示のゲートロックレバーが引き上げられてゲートロック弁が開かれたときに有効状態となり、ゲートロックレバーが押し下げられてゲートロック弁が閉じられたときに無効状態となる。

【0044】

表示装置Ｄ１は、制御部４０と、画像表示部４１と、入力部としての操作部４２とを有する。制御部４０は、画像表示部４１に表示される画像を制御できるように構成されている。本実施形態では、制御部４０は、ＣＰＵ、揮発性記憶装置及び不揮発性記憶装置等を備えたコンピュータで構成されている。この場合、制御部４０は、各機能要素に対応するプログラムを不揮発性記憶装置から読み出して揮発性記憶装置にロードし、対応する処理をＣＰＵに実行させる。但し、各機能要素は、ハードウェアで構成されていてもよく、ソフトウェアとハードウェアの組み合わせで構成されていてもよい。また、画像表示部４１に表示される画像は、ショベルコントローラ３０、撮像装置Ｓ６、又は空間認識装置Ｓ７によって制御されてもよい。

【0045】

操作部４２は、図３に示す例では、ハードウェアスイッチを含むパネルである。操作部４２は、タッチパネルであってもよい。表示装置Ｄ１は、蓄電池８０から電力の供給を受けて動作する。蓄電池８０は、例えば、オルタネータ１１ａで発電した電気で充電される。蓄電池８０の電力は、ショベルコントローラ３０等にも供給される。例えば、エンジン１１のスタータ１１ｂは、蓄電池８０からの電力で駆動され、エンジン１１を始動する。

【0046】

エンジン制御装置７４は、冷却水温等、エンジン１１の状態に関するデータをショベルコントローラ３０に送信する。メインポンプ１４のレギュレータ１４ａは、斜板傾転角に関するデータをショベルコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをショベルコントローラ３０に送信する。作動油タンクとメインポンプ１４との間の油路に設けられた油温センサ１４ｃは、その油路を流れる作動油の温度に関するデータをショベルコントローラ３０に送信する。ショベルコントローラ３０は受信したデータを、必要なときに表示装置Ｄ１に送信できる。

【0047】

エンジン回転数調整ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルである。エンジン回転数調整ダイヤル７５は、エンジン回転数の設定状態に関するデータをショベルコントローラ３０に送信する。エンジン回転数調整ダイヤル７５は、ＳＰモード、Ｈモード、Ａモード及びＩＤＬＥモードの４段階でエンジン回転数を切り換えできるように構成されている。ＳＰモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、燃費を優先させながら低騒音でショベル１００を稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。ＩＤＬＥモードは、エンジン１１をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードに対応するエンジン回転数で一定となるように制御される。

【0048】

音出力装置Ｄ２は、ショベル１００の作業に携わる人の注意を喚起できるように構成されている。音出力装置Ｄ２は、例えば、室内警報装置及び室外警報装置の組み合わせで構成されていてもよい。室内警報装置は、キャビン１０内にいるショベル１００の操作者の注意を喚起するための装置であり、例えば、キャビン１０内に設けられたスピーカ、振動発生装置及び発光装置の少なくとも１つを含む。室内警報装置は、表示装置Ｄ１であってもよい。室外警報装置は、ショベル１００の周囲で作業する作業者の注意を喚起するための装置であり、例えば、キャビン１０の外に設けられたスピーカ及び発光装置の少なくとも１つを含む。室外警報装置としてのスピーカは、例えば、上部旋回体３の底面に取り付けられている走行アラーム装置を含む。また、室外警報装置は、上部旋回体３上に設けられる発光装置であってもよい。但し、室外警報装置は省略されてもよい。

【0049】

例えば、ショベルコントローラ３０が、物体検出装置として機能する撮像装置Ｓ６及び空間認識装置Ｓ７からの信号に基づいて、物体間の位置関係を特定し、特定された位置関係に基づいて、ショベル１００の作業に携わる人に警報等を、音出力装置Ｄ２から出力してもよい。なお、物体間の位置関係については後述する。

【0050】

また、室外警報装置は、キャビン１０の外にいる作業者が携帯している携帯型情報端末装置であってもよい。携帯型情報端末装置は、例えば、スマートフォン、タブレット端末、スマートウォッチ、又はスピーカ付ヘルメット等である。報知装置は、ショベル１００の外部に設置されていてもよい。報知装置は、例えば、作業現場に設置されたポール又は鉄塔等に取り付けられていてもよい。

【0051】

図３の例では、ショベルコントローラ３０は、情報取得装置Ｅ１の少なくとも１つが出力する信号を受け、様々な演算を実行し、表示装置Ｄ１及び音出力装置Ｄ２等の少なくとも１つに制御指令を出力できるように構成されている。

【0052】

情報取得装置Ｅ１は、施工に関する情報を取得できるように構成されている。本実施形態では、情報取得装置Ｅ１は、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、旋回角速度センサＳ５、ブームロッド圧センサ、ブームボトム圧センサ、アームロッド圧センサ、アームボトム圧センサ、バケットロッド圧センサ、バケットボトム圧センサ、ブームシリンダストロークセンサ、アームシリンダストロークセンサ、バケットシリンダストロークセンサ、吐出圧センサ、操作圧センサ２９、撮像装置Ｓ６、空間認識装置Ｓ７、測位装置Ｓ８、及び通信装置Ｔ１のうちの少なくとも１つを含む。情報取得装置Ｅ１は、例えば、ショベル１００に関する情報として、ブーム角度、アーム角度、バケット角度、機体傾斜角度、旋回角速度、ブームロッド圧、ブームボトム圧、アームロッド圧、アームボトム圧、バケットロッド圧、バケットボトム圧、ブームストローク量、アームストローク量、バケットストローク量、メインポンプ１４の吐出圧、操作装置２６の操作圧、画像情報、測定情報、傾斜角情報、位置情報、ショベル１００の周囲の三次元空間に関する情報、上部旋回体３の向きと下部走行体１の向きとの相対的な関係に関する情報、ショベルコントローラ３０に対して入力された情報、及び、現在位置に関する情報等のうちの少なくとも１つを取得する。また、情報取得装置Ｅ１は、他の建設機械又は飛行体等から情報を入手してもよい。飛行体は、例えば、作業現場に関する情報を取得するマルチコプタ又は飛行船等である。更に、情報取得装置Ｅ１は、作業環境情報を取得してもよい。作業環境情報は、例えば、土砂特性、天気、及び高度等の少なくとも１つに関する情報である。

【0053】

＜＜ショベルの機能ブロック＞＞
ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。なお、ショベルコントローラ内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。

【0054】

図４は、本実施形態に係るショベルコントローラ３０のブロック構成を示した図である。図４に示されるように、ショベルコントローラ３０は、プログラムを実現することで、取得部３０１と、物体検出部３０２と、形状検出部３０３と、位置関係算出部３０４と、判定部３０５と、出力部３０６と、を備える。また、ショベルコントローラ３０内に設けられた読み書き可能な不揮発性の記憶媒体３１０には、画像記憶部３１１、学習済みモデルＬＭが格納されている。

【0055】

取得部３０１は、情報取得装置Ｅ１から施工に関する情報を取得する。例えば、取得部３０１は、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３の検出結果を取得する。

【0056】

また、取得部３０１は、画像情報、測定情報、傾斜角情報、及び位置情報を取得する。

【0057】

画像情報は、撮像装置Ｓ６により撮像された情報とする。測定情報は、空間認識装置Ｓ７により測定された情報とする。傾斜角情報は、機体傾斜センサＳ４によりショベル１００の傾きを示した情報とする。位置情報は、測位装置Ｓ８により測定された（上述した）基準座標系におけるショベル１００の位置及び向きを示した情報とする。

【0058】

物体検出部３０２は、取得部３０１により取得された画像情報に基づいて、ショベル１００の周辺に存在する物体の種類等を特定する。

【0059】

物体検出部３０２は、記憶媒体３１０に格納される、機械学習が行われた学習済みモデルＬＭに対して、撮像装置Ｓ６により撮像された画像情報を入力し、学習済みモデルＬＭから、画像情報に写っている物体の種類、及び当該物体が写っている（画像情報における）座標を受け取る。

【0060】

具体的には、物体検出部３０２は、記憶媒体３１０から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロードし（経路３３１Ａ）、ＣＰＵに実行させることにより、学習済みモデルＬＭを用いたショベル１００の周囲の物体の種類を特定する。

【0061】

物体検出部３０２は、ショベル１００の周囲の監視領域内に存在する物体を検出する。また、さらに、物体検出部３０２は、検出された物体の種類を特定する。特定される物体の種類は、ショベル１００の作業現場における監視対象に応じて定められる。特定される物体の種類は、例えば、人、動物、ショベルのバケット、クレーンのフック、リヤカー、ダンプトラック、ヘルメット（装備品の一例）、吊り荷、スコップ（工具の一例）、ロードコーン、ドローン等が含まれる。

【0062】

なお、物体検出部３０２が検出する工具として、スコップを例に示したが、物体検出部３０２で検出する工具をスコップに制限するものではない。つまり、物体検出部３０２が検出する工具は、作業員が作業現場で利用する工具であればよく、例えば、ハンマー、ドリル等でもよい。同様に、物体検出部３０２が検出する装備品として、ヘルメットを例に示したが、物体検出部３０２で検出するヘルメットに制限するものではない。つまり、物体検出部３０２が検出する装備品は、作業員が作業現場で装着している装備品であればよく、例えば、安全靴、安全帯等でもよい。

【0063】

学習済みモデルＬＭは、ニューラルネットワーク（Neural Network）を中心に構成される。学習済みモデルＬＭのニューラルネットワークは、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークを用いてもよい。ニューラルネットワークは、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンが、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワークが構成される。

【0064】

学習済みモデルＬＭに対して、機械学習、具体的には、深層学習（ディープラーニング：Deep Learning）が行われた結果、ニューラルネットワークの重み付けパラメータの最適化が図られる。

【0065】

機械学習に用いられる教師データは、例えば、物体が写っている画像情報であって、物体の種類と当該物体が写っている座標領域（占有領域）とが含まれている。当該教師データを用いて機械学習を行うことで、学習済みモデルＬＭは、画像情報が入力された場合に、画像情報に写っている物体の種類と、写っている物体の座標と、を出力する。

【0066】

学習済みモデルＬＭのニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いてもよい。ＣＮＮは、既存の画像処理技術（畳み込み処理及びプーリング処理）を適用したニューラルネットワークである。具体的には、ＣＮＮは、入力画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより入力された画像情報よりもサイズの小さい特徴量データ（特徴マップ）を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力できる。

【0067】

このように、学習済みモデルＬＭは、画像情報が入力され、画像情報における物体の座標及び大きさ（つまり、入力画像上の物体の占有領域）及びその物体の種類を出力可能な構成であってもよい。

【0068】

つまり、学習済みモデルＬＭは、画像情報に写っている物体の検出（画像情報で物体が写っている領域の判定）と、当該物体の種類の判定と、を行う構成でもよい。この場合、学習済みモデルＬＭは、画像情報に写っている物体の占有領域及び物体の種類に関する情報が重畳的に付加された画像情報形式で出力してもよい。

【0069】

形状検出部３０３は、取得部３０１が取得した、空間認識装置Ｓ７により測定された測定情報に基づいて、ショベル１００の周辺に存在する物体の形状を特定する。例えば、形状検出部３０３は、ショベル１００の中心を原点とした、ショベル１００の周囲の監視領域を表した３次元空間における、物体及び地面の形状を表した３次元形状モデルを生成してもよい。

【0070】

３次元空間では、機体傾斜センサＳ４によるショベル１００の傾斜角を考慮して生成する。つまり３次元空間のＺ軸方向に、監視領域の重力方向を割り当てる。さらに、３次元空間のＸ軸方向及びＹ軸方向による平面を、監視領域の水平面を割り当てる。

【0071】

３次元形状モデルは、例えば、空間認識装置Ｓ７により測定された結果に基づいた点群データ等でもよい。さらに、形状検出部３０３は、生成された３次元形状モデルから、ショベル１００の周囲に存在する地面に設けられた穴、及び地面に盛られた土砂などを検出してもよい。例えば、形状検出部３０３は、ショベル１００が接地している平面を地面として、当該地面から凹んだ領域を穴として推定し、地面から凸状の領域を土砂の山として推定してもよい。

【0072】

位置関係算出部３０４は、物体検出部３０２により検出された物体の種類及び座標と、形状検出部３０３により特定されたショベル１００の周辺に存在する物体の形状と、に基づいて、物体の位置関係を算出する。

【0073】

位置関係算出部３０４は、撮像装置Ｓ６と空間認識装置Ｓ７との設置された位置の関係から、物体検出部３０２により検出された物体と、形状検出部３０３により物体の形状と、の対応関係を認識できる。これにより、位置関係算出部３０４は、種類が特定された物体の各々について、３次元空間における物体の位置及び形状を算出できる。

【0074】

位置関係算出部３０４は、３次元空間における、物体毎の位置及び形状から、物体間の位置関係を算出できる。具体的には、位置関係算出部３０４は、Ｚ軸方向、換言すれば重力方向における物体間の位置関係を算出し、Ｘ軸方向及びＹ軸方向、換言すれば水平方向における物体間の位置関係を算出する。

【0075】

判定部３０５は、物体の種類、及び物体の位置関係が、所定の条件を満たしているか否かを判定する。写っている物体に基づいて危険が生じる可能性がある場合、又は、注目すべき物体が写っている場合等に、所定の条件を満たしていると判定する。つまり、ショベル１００の操作者又はショベル１００の外部に警告を行う必要がある、又は、画像として記憶する必要があると考えられる場合に、所定の条件を満たしたと判定する。なお、具体的な所定の条件の例については後述する。

【0076】

出力部３０６は、判定部３０５により所定の条件を満たしていると判定された場合に、表示装置Ｄ１及び音出力装置Ｄ２等の少なくとも１つに制御指令を出力する。さらには、出力部３０６は、所定の条件を満たしたと判定された画像情報を、画像記憶部３１１に記憶する。出力部３０６が制御指令を出力することで、物体の種類、及び物体の位置関係に基づいた処理が行われる。本実施形態は、物体の種類、及び物体の位置関係に基づいた処理の一例として、警告音の出力及び画像情報の記憶を行う場合について説明する。

【0077】

画像記憶部３１１は、所定の条件を満たしたと判定された画像情報（検出部の検出結果）を記憶する。これにより、危険が生じる可能性のある物体が写った画像情報、及び、注目すべき物体が写った画像情報が記憶される。

【0078】

次に、判定部３０５による判定について説明する。図５は、本実施形態に係る判定部３０５による、バケットと人の位置関係に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。図５に示されるバケットは、ショベル１００の監視領域に存在する他のショベル１００Ａのバケットとする。

【0079】

図５（Ａ）～（Ｃ）は、物体検出部３０２によって物体の種類及び物体の座標（換言すれば占有領域）が特定された後の画像情報の一例を示している。図５（Ａ）～（Ｃ）で示される例では、特定された物体の占有領域を、太線で囲んで表している。また、太線で囲まれた領域に対して、物体の種類を示すタグ等を割り当てた上で表示装置Ｄ１に表示してもよい。

【0080】

例えば、判定部３０５は、一方の物体の中心と、他方の物体の中心と、を結ぶ線の距離を算出し、当該距離に基づいた判定を行う。なお、当該判定は一例を示したものであって他の態様で判定を行ってもよい。

【0081】

図５（Ａ）に示される例では、領域１５０１に存在する物体がバケットと特定され、領域１５０２に存在する物体が人と特定された例とする。判定部３０５は、領域１５０１と領域１５０２との距離１５０３が、予め定められた距離（例えば、３ｍ）よりも長いため、所定の条件を満たしていないと判定する。

【0082】

図５（Ｂ）に示される例では、領域１５１１に存在する物体がバケットと特定され、領域１５１２に存在する物体が人と特定された例とする。判定部３０５は、領域１５１１と領域１５１２との間の距離１５１３が、予め定められた距離（例えば、３ｍ）よりも短いと判定する。この場合、判定部３０５は、領域１５１１及び領域１５１２について、重力方向（Ｚ軸方向）における距離と、水平方向（Ｘ軸方向及びＹ軸方向）における距離と、に基づいた判定を行う。

【0083】

具体的には、位置関係算出部３０４によって、領域１５１１と領域１５１２との重力方向（Ｚ軸方向）の距離が略０ｍと算出され、領域１５１１と領域１５１２との水平方向の距離が２ｍ弱と算出された場合、判定部３０５は、重力方向の距離と水平方向の距離とに基づいて、バケットと人とが略同じ高さ（重力方向で略同じ位置）であり且つ水平方向に少し離れている、換言すれば、バケットの横に人がいる状態とみなし、所定の条件を満たしていないと判定する。

【0084】

図５（Ｃ）に示される例では、領域１５２１に存在する物体がバケットと特定され、領域１５２２に存在する物体が人と特定された例とする。判定部３０５は、領域１５２１と領域１５２２との間の距離１５２３が、予め定められた距離（例えば、３ｍ）よりも短いと判定する。この場合、判定部３０５は、領域１５２１及び領域１５２２について、重力方向（Ｚ軸方向）における距離と、水平方向（Ｘ軸方向及びＹ軸方向）における距離と、に基づいた判定を行う。

【0085】

具体的には、位置関係算出部３０４によって、領域１５２１が領域１５２２より重力の反対方向（Ｚ軸正方向）に存在し且つ重力方向（Ｚ軸方向）の距離が２ｍ以内と算出され、領域１５２１と領域１５２２との水平方向の距離は２ｍ以内と算出された場合、判定部３０５は、バケットが人の頭上にあるとみなし、所定の条件を満たしていると判定する。

【0086】

そして、判定部３０５によって所定の条件を満たしていると判定された場合に、出力部３０６は、音出力装置Ｄ２等に制御指令を出力する。例えば、出力部３０６は、音出力装置Ｄ２に含まれる、室外警報装置としてのスピーカから、他のショベル１００Ａに対して警告音を出力する。また、出力部３０６は、図５（Ｃ）として表される画像情報を、画像記憶部３１１に記憶する。

【0087】

このように、本実施形態においては、バケットと人との間の距離が近い場合には、判定部３０５は、人とバケットとの間における、水平方向の位置関係と、重力方向の位置関係と、を考慮して、所定の条件を満たしているか否かを判定している。

【0088】

つまり、図５の（Ｂ）に示されるように、バケットの領域１５１１と人の領域１５１２との水平方向の距離が２ｍ（所定の距離）以内でも、重力方向の距離が略０ｍ（０．５ｍ以内等でもよい）の場合には、バケットと人とが同じ高さに存在し、水平方向で隣接していると考えられる。バケットと人が隣接している場合、バケットから人に接してくる可能性はないと推定されるので、危険が生じる可能性が小さいと考えられる。したがって、この場合、判定部３０５は、所定の条件を満たしていないと判定、換言すれば警報等が出力されないように処理される。

【0089】

一方、図５の（Ｃ）に示されるように、バケットの領域１５２１と人の領域１５２２との水平方向の距離が２ｍ以内であるとともに、領域１５２１が、領域１５２２より重力と反対方向（Ｚ軸正方向）に存在し、且つ領域１５２１と領域１５２２との重力方向（Ｚ軸方向）の距離が２ｍ以内に存在する場合には、バケットが人の頭上近傍に存在すると考えられる。バケットが人の頭上近傍に存在し、且つ、バケットと人との重力方向の距離が２ｍ（所定の距離）以内の場合、バケットが下がってくると、バケットが人に近いので危険が生じる可能性がある。したがって、この場合、判定部３０５は、所定の条件を満たすと判定、換言すれば警報等が出力するように処理する。本実施形態においては、バケットと人の位置関係を考慮して警告等を出力することで、バケット等のアタッチメントが人に接するのを抑制できるので、安全性の向上を実現できる。

【0090】

本実施形態においては、判定部３０５による物体間の位置関係による判定として、物体間の水平方向の距離、及び、物体間の重力方向の距離の各々を判定に用いる例について説明した。しかしながら、本実施形態においては、水平方向の距離及び重力方向の距離の各々を判定に用いる例に制限するものではなく、水平方向の距離、及び、重力方向の距離のうちいずれか一つ（例えば重力方向の距離のみ）を判定に用いてもよい。

【0091】

また、図５に示される例では、特定された物体の種類が、バケット及び人の場合の判定について説明した。所定の条件を満たすか否かを判定する基準は、特定された物体の種類に応じて異なる。例えば、判定部３０５は、特定された物体の種類がバケットと人の場合には所定の条件を満たすか否かの判定を行うが、特定された物体の種類がバケットとロードコーンの場合には所定の条件を満たすか否かの判定を行わなくてもよい。

【0092】

さらには、所定の条件を満たすか否かの判定する基準は、人とバケットとの組み合わせに制限するものではない。例えば、一方が人の場合に、他方がリフティングマグネットなどの作業機械のアタッチメントの先端部でもよいし、ショベル以外の作業機械のアタッチメント（例えば、クレーンのフック）であってもよいし、重力方向に移動する可能性のある物体であってもよい。

【0093】

このように、本実施形態に係る判定部３０５による所定の条件を満たすか否かの判定は、物体の種類、並びに、垂直方向及び水平方向における位置関係に基づいて行われる。

【0094】

本実施形態は、物体間の位置関係として、垂直方向及び水平方向の各々について判定している。つまり、本実施形態においては、物体間の距離だけでなく、垂直方向及び水平方向の位置関係を考慮した判定を行っている。これにより、本実施形態に係るショベルコントローラ３０は、警報等が必要な状況であるか否かを、より詳細に認識できる。つまり、ショベルコントローラ３０は、適切な状況で警報等を行うことができるので、安全性の向上を実現できる。

【0095】

図５で示される例では、他のショベル１００Ａのバケットと人との位置関係について説明した。しかしながら、本実施形態は、他のショベル１００Ａのバケットと人との位置関係による判定に制限するものではなく、操作者が操作しているショベル１００のバケット６と人との位置関係について判定を行ってもよい。

【0096】

図６（Ａ）～（Ｂ）は、本実施形態に係る判定部３０５による、バケット６と人の位置関係に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。図６（Ａ）～（Ｂ）で示される例では、特定された物体の占有領域は、太線で囲んで表す。また、太線で囲まれた領域に対して、物体の種類を示すタグ等を割り当てた上で表示装置Ｄ１に表示してもよい。

【0097】

図５では、２つの物体間の距離に基づいた判定を行う例について説明したが、３つ以上の物体間の距離に基づいた判定を行ってもよい。そこで、図６では３つ以上の物体を検出した場合について説明する。

【0098】

図６（Ａ）に示される例では、領域１６０１に存在する物体がバケット６と特定され、領域１６０２に存在する物体が人と特定された例とする。さらに、位置関係算出部３０４は、形状検出部３０３による測定情報の結果によって、領域１６０３が地面に設けられた穴として特定した例とする。そして、位置関係算出部３０４が、領域１６０１と領域１６０２との間の位置関係を算出する。

【0099】

図６（Ａ）に示される例では、判定部３０５は、バケット６の領域１６０１と、人の領域１６０２との距離が、予め定められた距離（例えば２ｍ）よりも短いと判定する。この場合、判定部３０５は、領域１６０１及び領域１６０２について、重力方向（Ｚ軸方向）における距離と、水平方向（Ｘ軸方向及びＹ軸方向）における距離と、に基づいた判定を行う。

【0100】

具体的には、位置関係算出部３０４によって、領域１６０１が領域１６０２より重力と反対方向に存在し且つ重力方向（Ｚ軸方向）の距離が２ｍ以内と算出され、領域１６２１と領域１６２２との水平方向の距離は２ｍ以内と算出された場合、判定部３０５は、バケット６が人の頭上近傍にあるとみなし、所定の条件を満たしていると判定する。

【0101】

そして、判定部３０５によって所定の条件を満たしていると判定された場合に、出力部３０６は、音出力装置Ｄ２等に制御指令を出力する。例えば、出力部３０６は、音出力装置Ｄ２に含まれる、室内警報装置としてキャビン１０内のスピーカから、操作者に対して警告音を出力する。また、出力部３０６は、図６（Ａ）として表される画像情報を、画像記憶部３１１に記憶する。

【0102】

さらに、図６（Ａ）に示される例では、また、穴の領域１６０３と、人の領域１６０２と、の水平方向（Ｙ方向）の位置関係に応じて、判定部３０５が、所定の条件を満たしているか否かを判定してもよい。例えば、判定部３０５は、穴の領域１６０３から、水平方向で１ｍ以内に人の領域１６０２が存在しない場合に所定の条件を満たしていないと判定し、穴の領域１６０３から、水平方向で１ｍ以内に人の領域１６０２が存在する場合に所定の条件を満たしていると判定してもよい。所定の条件を満たしていると判定した場合に、出力部３０６が、音出力装置Ｄ２に含まれる、室外警報装置のスピーカから、人に対して警告音を出力する。これにより、人に対して近くに穴があることの注意を促すことができる。したがって、安全性の向上を実現できる。

【0103】

図６（Ｂ）に示される例では、領域１６１１に存在する物体がバケット６と特定され、領域１６１２に存在する物体が人と特定された例とする。さらに、位置関係算出部３０４が、形状検出部３０３による測定情報の結果によって、領域１６１３を地面に設けられた穴と特定し、領域１６１４を地面に盛られた土砂の山と特定した例とする。

【0104】

なお、図６（Ｂ）に示される例では、土砂の山の領域１６１４は、人の領域１６１２から３ｍ以上離れているので、判定部３０５は、所定の条件を満たすか否かの判定を行わない。

【0105】

一方、穴の領域１６１３に、人の領域１６１２が含まれているので、人が穴の中に存在すると推定できる。この場合、判定部３０５が判定を行うための所定の条件を変更してもよい。例えば、図６（Ａ）で示される例では、バケット６の領域１６０１と人の領域１６０２との重力方向の距離が２ｍ以内の場合に所定の条件を満たすと判定したが、図６（Ｂ）で示されるように、人が穴の中に存在すると推定される場合には、バケット６の領域１６１１と人の領域１６１２との重力方向の距離が３ｍ以内の場合に所定の条件を満たすと判定してもよい。つまり、人が穴から出ようとする際に、バケット６に接触する可能性を考慮して、判定基準となる物体間の距離を長くしてもよい。このように、図６（Ｂ）は、穴の領域１６１３と、人の領域１６１２と、バケット６の領域１６１１と、を組み合わせた位置関係に基づいて判定を行う例とする。

【0106】

そして、判定部３０５によって所定の条件を満たしていると判定された場合に、出力部３０６は、音出力装置Ｄ２等に制御指令を出力する。例えば、出力部３０６は、音出力装置Ｄ２に含まれる、室内警報装置としてキャビン１０内のスピーカから、操作者に対して警告音を出力する。また、出力部３０６は、図６（Ｂ）として表される画像情報を、画像記憶部３１１に記憶する。

【0107】

図７（Ａ）～（Ｂ）は、物体検出部３０２によって物体の種類及び物体の領域が特定された後の画像情報の一例を示している。図７（Ａ）～（Ｂ）で示される例では、特定された物体の占有領域は、太線で囲んで表す。また、太線で囲まれた領域に対して、物体の種類を示すタグ等を割り当てた上で表示装置Ｄ１に表示してもよい。図７は、３つの物体間の距離に基づいた判定を行う例とする。

【0108】

図７（Ａ）に示される例では、領域１７０１に存在する物体がフックと特定され、領域１７０２に存在する物体が人と特定され、領域１７０３に存在する物体が積み荷と特定された例とする。なお、積み荷の形状は任意の形状でよく、点群データ等で表してもよい。

【0109】

位置関係算出部３０４は、領域１７０１と領域１７０２との間の重力方向（Ｚ軸方向）の距離を１ｍ以内と算出し、領域１７０２と領域１７０３との間の重力方向（Ｚ軸方向）の距離を１ｍ以内と算出し、領域１７０１と領域１７０２と領域１７０３とが水平方向（Ｙ軸方向）で距離２ｍの範囲内に存在すると算出する。この場合、判定部３０５は、フックと積み荷の横に人がいる状態で所定の条件を満たしていないと判定する。つまり、作業員が玉掛作業を行っている正常な状態であるので、警報等は不要であるものと判定する。

【0110】

図７（Ｂ）に示される例では、領域１７１１に存在する物体がフックと特定され、領域１７１２に存在する物体が人と特定され、領域１７１３に存在する物体が積み荷と特定された例とする。図７（Ｂ）は、クレーン１７００が存在する作業現場を表している。

【0111】

位置関係算出部３０４が、フックの領域１７１１から、重力方向に積み荷の領域１７１３、人の領域１７１２の順で存在すると算出し、積み荷の領域１７１３と人の領域１７１２との間の重力方向（Ｚ軸方向）の距離が２ｍ以内と算出し、領域１７１１と領域１７１２と領域１７１３とが水平方向（Ｙ軸方向）の距離２ｍ範囲内と算出した場合、判定部３０５は、フックに吊られた積み荷が人の頭上近傍に存在する状態と推定し、所定の条件を満たしていると判定する。

【0112】

そして、判定部３０５が所定の条件を満たしていると判定した場合、出力部３０６は、音出力装置Ｄ２等に制御指令を出力する。例えば、出力部３０６は、音出力装置Ｄ２に含まれる、室外警報装置としてのスピーカから、クレーン１７００及び、クレーン１７００の下に存在する人に対して警告音を出力する。また、出力部３０６は、図７（Ｂ）として表される画像情報を、画像記憶部３１１に記憶する。このように、本実施形態においては、クレーン１７００が吊り荷を持ち上げている時に、人が吊り荷の下に入った場合に限り警報等を出力できるので、安全性の向上を実現できる。

【0113】

次に、本実施形態に係るショベルコントローラ３０によるショベル１００の周囲の監視手順について説明する。図８は、本実施形態に係るショベルコントローラ３０によるショベル１００の周囲の監視手順を示したフローチャートである。

【0114】

まず、取得部３０１は、情報取得装置Ｅ１（撮像装置Ｓ６及び空間認識装置Ｓ７を含む）から監視に用いる情報を取得する（Ｓ１８０１）。

【0115】

物体検出部３０２は、撮像装置Ｓ６により撮像された画像情報に基づいて、画像情報に写っている物体の種類、及び当該物体が写っている（画像情報における）座標を検出する（Ｓ１８０２）。

【0116】

形状検出部３０３は、空間認識装置Ｓ７により測定された測定情報に基づいて、ショベル１００の周辺に存在する物体の形状を特定する（Ｓ１８０３）。

【0117】

位置関係算出部３０４は、物体の種類及び座標と、周辺に存在する物体の形状と、に基づいて、物体間の位置関係を算出する（Ｓ１８０４）。

【0118】

判定部３０５は、物体の種類及び位置関係が、所定の条件を満たしているか否かを判定する（Ｓ１８０５）。所定の条件は、物体の位置関係によって危険が発生する可能性があるか否か、又は注目すべき状況であるか否かに基づいて定められたものとする。

【0119】

そして、判定部３０５が、所定の条件を満たしていないと判定した場合（Ｓ１８０５：ＮＯ）、Ｓ１８０１から処理を行う。

【0120】

一方、判定部３０５は、所定の条件を満たしていると判定した場合（Ｓ１８０５：ＹＥＳ）、判定部３０５は、満たした条件は、警告の出力が必要な条件か判定する（Ｓ１８０６）。本実施形態においては、所定の条件を満たした場合でも、警告の出力する必要がない位置関係も存在する。この場合、注目すべきシーンとして画像情報を、画像記憶部３１１に記憶しておけばよい。

【0121】

そこで、判定部３０５は、満たした条件は、警告の出力が必要な条件ではないと判定した場合（Ｓ１８０６：ＮＯ）、出力部３０６が、位置関係が特定された画像情報を画像記憶部３１１に記憶する（Ｓ１８０８）。

【0122】

一方、判定部３０５は、満たした条件は、警告の出力が必要な条件であると判定した場合（Ｓ１８０６：ＹＥＳ）、出力部３０６は、音出力装置Ｄ２等に制御指令を出力する（Ｓ１８０７）。出力部３０６は、満たした条件に応じて、室内警報装置及び室外警報装置のうちいずれか一つ以上を出力先として選択する。

【0123】

その後、出力部３０６が、位置関係が特定された画像情報を画像記憶部３１１に記憶する（Ｓ１８０８）。

【0124】

そして、ショベルコントローラ３０は、ショベル１００の動作が終了したか否かを判定する（Ｓ１８０９）。動作が終了していないと判定した場合（Ｓ１８０９：ＮＯ）、再びＳ１８０１から処理を行う。

【0125】

一方、ショベルコントローラ３０は、ショベル１００の動作が終了したと判定した場合（Ｓ１８０９：ＹＥＳ）、処理を終了する。

【0126】

本実施形態では、所定の条件を満たした場合に、警告等を行うこと及び画像情報を記憶する例について説明した。これにより、位置関係に基づいて警告を出力することで、物体単体の検出に応じて警告を行う場合と比べて、状況に適した注意を促すことができるので、安全性の向上を実現できる。また、画像情報を記憶することで、画像情報を用いた検証等をおこなうことができるので、これからの危険が生じる可能性を抑制し、安全性の向上を実現できる。

【0127】

また、本実施形態は、所定の条件を満たした場合に行う処理を、警告等を行うこと及び画像情報の記憶に制限するものでない。例えば、ショベルコントローラ３０が、自装置のバケット６と、人と、の間の位置関係で所定の条件を満たした場合に、バケット６の動作を停止させる制御を行ってもよい。これにより、危険が生じる可能性がある状況で、バケット６の停止等を行うことができるので、安全性の向上を実現できる。

【0128】

本実施形態においては、撮像装置Ｓ６が撮像した画像情報に写っている物体間の位置関係に基づいて判定を行う例について説明した。しかしながら、本実施形態は、撮像装置Ｓ６が撮像した画像情報の各々に写っている物体間の位置関係に基づいて判定を行う手法に制限するものではない。例えば、４個の撮像装置Ｓ６が撮像した画像情報を合成してショベル１００の周囲を表した合成画像情報の写っている物体間の位置関係に基づいて判定を行ってもよい。

【0129】

（第２の実施形態）
上述した実施形態では、物体の種類、及び複数の物体の位置関係に基づいて警報等を出力する例について説明した。しかしながら、物体の種類、及び複数の物体の位置関係のみに基づいて警告等を出力する手法に制限するものではない。そこで、第２の実施形態では、物体の移動を考慮する例について説明する。

【0130】

第２の実施形態に係るショベル１００は、第１の実施形態に係るショベル１００と比べて、ショベルコントローラ３０の代わりに、ショベルコントローラ３０Ａが設けられている。ショベル１００の他の構成は、上述した実施形態と同様として説明を省略する。

【0131】

図９は、本実施形態に係るショベルコントローラ３０Ａのブロック構成を示した図である。図９に示されるように、ショベルコントローラ３０Ａは、プログラムを実現することで、取得部３０１と、物体検出部３０２と、形状検出部３０３と、速度推定部１９０１と、位置関係算出部３０４と、判定部１９０２と、出力部１９０３と、を備える。また、ショベルコントローラ３０内に設けられた読み書き可能な不揮発性の記憶媒体３１０には、画像記憶部３１１、学習済みモデルＬＭが格納されている。

【0132】

図９に示されるように、ショベルコントローラ３０Ａは、上述した実施形態に係るショベルコントローラ３０と比べて、速度推定部１９０１が追加され、判定部３０５の代わりに実行する処理が異なる判定部１９０２が設けられると共に、出力部３０６の代わりに実行する処理が異なる出力部１９０３が設けられた構成とする。

【0133】

速度推定部１９０１は、物体検出部３０２によって特定された物体の速度及び移動している方向を推定する。例えば、速度推定部１９０１は、撮像装置Ｓ６が撮像する画像情報間の物体の動きを検出して、当該物体が移動する速度を推定してもよい。さらに、速度推定部１９０１は、画像情報内で移動する速度の推定に制限するものではなく、画像情報間の物体の動きと、形状検出部３０３が検出した物体の形状の変化と、に基づいて、３次元空間を移動した距離を推定し、当該距離と撮像間隔から、実際に物体が移動している速度及び方向を推定してもよい。

【0134】

判定部１９０２は、物体の種類、物体の位置関係、及び物体が移動している方向及び速度が、所定の条件を満たしているか否かを判定する。写っている物体に基づいて危険が生じる可能性がある場合、又は、注目すべき物体が写っている場合等に、所定の条件を満たしていると判定する。

【0135】

出力部１９０３は、上述した実施形態の出力部３０６と同様の出力を行うと共に、物体の移動状況に応じて警告レベルを変更する。

【0136】

図１０は、第２の実施形態に係る判定部１９０２による、バケットと人の位置関係及び物体の移動に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。図１０では、特定された物体の占有領域は、太線で囲んで表す。また、太線で囲まれた領域に対して、物体の種類を示すタグ等を割り当てた上で表示装置Ｄ１に表示してもよい。

【0137】

本実施形態においては、速度推定部１９０１が、物体検出部３０２に特定された物体毎に速度及び方向を推定する。例えば、速度推定部１９０１は、フックの移動している速度及び方向を推定すると共に、積み荷の移動している速度及び方向を推定する。図１０に示される例では、速度推定部１９０１が、フックが方向２２０５に移動していると共に、積み荷が方向２２０４に移動していることを推定する。

【0138】

そして判定部１９０２は、フックを示す領域２２０１、人を示す領域２２０２、及び積み荷を示す領域２２０３の位置関係に加えて、フック及び積み荷が移動している方向及び速度を考慮して、所定の条件を満たすか否かを判定する。

【0139】

例えば、判定部１９０２は、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上に存在せず（領域２２０３は領域２２０２より重力の反対方向に存在するが、領域２２０３及び領域２２０２が水平方向で２ｍ以上離れている）、フックを示す領域２２０１及び積み荷を示す領域２２０３が停止している場合には、判定部１９０２は、所定の条件を満たさないと判定する。

【0140】

これに対して、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上近傍に存在しない（領域２２０３は領域２２０２より重力の反対方向に存在するが、領域２２０３及び領域２２０２が水平方向で２ｍ以上離れている）場合でも、クレーン２２００のフック及び積み荷が移動していると推定された場合に、フックを示す領域２２０１及び積み荷を示す領域２２０３が、移動を続けると人を示す領域２２０２の頭上近傍まで到達するか否かを判定する。そして、判定部１９０２は、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上近傍まで到達すると判定した場合に、所定の条件を満たすと判定する。本実施形態では、積み荷と人の位置関係のみならず、フック及び積み荷の移動を考慮して警告等を行うことができるので、安全性の向上を実現できる。

【0141】

そして、出力部１９０３は、判定部１９０２によって、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上近傍まで到達するまでの距離又は時間に応じて、出力する警報レベルを切り替える。

【0142】

例えば、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上に到達するまで７ｍ以内になったと判定した場合に、出力部１９０３は、警報の出力を開始する。そして、フックを示す領域２２０１及び積み荷を示す領域２２０３が、人を示す領域２２０２の頭上に到達するまで３ｍ以内になったと判定した場合に、出力部１９０３は、出力する警報をさらに大きくする。

【0143】

また、本実施形態に係る速度推定部１９０１による物体の移動の推定を考慮した判定は様々な状況で行われる。

【0144】

例えば、図６（Ａ）に示される状況において、速度推定部１９０１が、人の領域１６０２が停止していると推定した場合に、判定部１９０２は所定の条件を満たしていないと判定し、速度推定部１９０１が、人の領域１６０２が穴の領域１６０３が存在する方向に移動していると推定されると共に、人を示す領域１６０２と穴を示す領域１６０３との間の水平方向の距離が所定の距離（例えば２ｍ）以内の場合に、判定部１９０２は所定の条件を満たしていると判定してもよい。その際、人を示す領域１６０２が穴を示す領域１６０３より重力の反対方向（Ｚ軸正方向）に存在することも条件とする。これにより、警告等が行われるので、人が穴に落下するのを抑制して、安全性の向上を実現できる。

【0145】

他の例としては、図６（Ｂ）に示される状況において、速度推定部１９０１が、バケット６の領域１６１１が停止していると推定した場合に、判定部１９０２は所定の条件を満たしていないと判定し、速度推定部１９０１が、バケット６の領域１６１１が重力方向（Ｚ軸負方向）に移動していると推定した場合に、判定部１９０２は所定の条件を満たしていると判定してもよい。これにより、警告等が行われるので、バケット６が人に近づくのを抑制できるので、安全性の向上を実現できる。

【0146】

図１１（Ａ）～（Ｂ）は、本実施形態に係る判定部１９０２による、バケットと人の位置関係及び物体の移動に基づいて所定の条件を満たしたか否かの判定例を示した概念図である。図１１（Ａ）～（Ｂ）で示される例では、特定された物体の占有領域は、太線で囲んで表す。また、太線で囲まれた領域に対して、物体の種類を示すタグ等を割り当てた上で表示装置Ｄ１に表示してもよい。

【0147】

図１１（Ａ）に示される例では、領域２１０１に存在する物体がスコップと特定され、領域２１０２に存在する物体が人と特定された例とする。図１１に示される例では、人と共にスコップが検出された場合について説明する。

【0148】

そして、速度推定部１９０１が、スコップ及び人の移動している速度及び方向を推定する。さらに、位置関係算出部３０４が、領域２１０１と領域２１０２との間の位置関係を算出する。

【0149】

図１１（Ａ）に示される例では、判定部１９０２は、領域２１０１と領域２１０２との間の距離が、重力方向及び水平方向で１ｍ以内と判定する。そして、判定部１９０２は、領域２１０１内のスコップが移動している速度及び向きが、領域２１０２内の人が移動している速度及び向きと連携（関連）しているか否かを判定する。具体的には、人の画像から当該人の骨格の動きを推定する技術がある。そこで、判定部１９０２は、当該技術で推定された人の手の動きと、スコップの移動している速度及び向きが連携しているか否かを判定する。連携していると判定した場合に所定の条件を満たしていないと判定する。

【0150】

判定部１９０２は、当該技術で推定された人の手の動きと、スコップの移動している速度及び向きが連携していないと判定した上で、人がスコップが存在しない方向に移動を開始した場合に、所定の条件を満たしたと判定する。この場合、出力部１９０３が、室外警報装置から警報を出力するように制御指令を出力する。これにより、人がスコップを置き忘れることを抑制できる。

【0151】

図１１（Ｂ）に示される例では、物体検出部３０２によってスコップの領域２１１１が検出された例とし、人の領域が検出されなかった例とする。速度推定部１９０１は、スコップの領域２１１１が移動していないと推定する。この場合、判定部１９０２は、スコップ（第１の種類の物体の一例）の領域２１１１から所定の距離（例えば２ｍ）内に人（第２の種類の物体の一例）の領域が存在せず、スコップが移動していないと推定されるため、所定の条件を満たしたと判定する。そして、出力部１９０３が、図１１（Ｂ）に示される画像情報を、画像記憶部３１１に記憶する。また、出力部１９０３は、作業員の通信端末等に警告等を出力してもよい。これにより、スコップが作業現場に置き忘れられることを抑制できる。したがって、装備品及び工具の管理を適切に行うことで、安全性の向上を実現できる。

【0152】

上述した処理を行うのは、検出された物体がスコップの場合に制限するものではなく、工具又は装備品であれば、本実施形態に係るショベルコントローラ３０Ａは同様の処理を行うものとする。

【0153】

次に、本実施形態に係るショベルコントローラ３０Ａによるショベル１００の周囲の監視手順について説明する。図１２は、本実施形態に係るショベルコントローラ３０Ａによるショベル１００の周囲の監視手順を示したフローチャートである。

【0154】

まず、取得部３０１は、情報取得装置Ｅ１（撮像装置Ｓ６及び空間認識装置Ｓ７を含む）から監視に用いられる情報を取得する（Ｓ２２０１）。

【0155】

物体検出部３０２は、撮像装置Ｓ６により撮像された画像情報に基づいて、画像情報に写っている物体の種類、及び当該物体が写っている（画像情報における）座標を検出する（Ｓ２２０２）。

【0156】

形状検出部３０３は、空間認識装置Ｓ７により測定された測定情報に基づいて、ショベル１００の周辺に存在する物体の形状を特定する（Ｓ２２０３）。

【0157】

速度推定部１９０１は、画像情報で特定された物体の動きと、物体の形状と、に基づいて、物体毎に移動している速度及び方向を推定する（Ｓ２２０４）。

【0158】

位置関係算出部３０４は、物体の種類及び座標と、周辺に存在する物体の形状と、に基づいて、物体の位置関係を算出する（Ｓ２２０５）。

【0159】

判定部１９０２は、物体の種類、位置関係、並びに、物体が移動している速度及び向きに基づいて、所定の条件を満たしているか否かを判定する（Ｓ２２０６）。所定の条件を満たしていないと判定した場合（Ｓ２２０６：ＮＯ）、Ｓ２２０１から処理を行う。

【0160】

一方、判定部１９０２は、所定の条件を満たしていると判定した場合（Ｓ２２０６：ＹＥＳ）、判定部１９０２は、満たした条件は、警告の出力が必要な条件か判定する（Ｓ２２０７）。

【0161】

判定部１９０２は、満たした条件は、警告の出力が必要な条件ではないと判定した場合（Ｓ２２０７：ＮＯ）、出力部１９０３が、位置関係が特定された画像情報を画像記憶部３１１に記憶する（Ｓ２２０９）。

【0162】

一方、判定部１９０２は、満たした条件は、警告の出力が必要な条件であると判定した場合（Ｓ２２０７：ＹＥＳ）、出力部１９０３は、物体間の距離又は物体の移動している速度に基づいた警告レベルの制御指令を、音出力装置Ｄ２等に出力する（Ｓ２２０８）。

【0163】

その後、出力部１９０３が、位置関係が特定された画像情報を画像記憶部３１１に記憶する（Ｓ２２０９）。

【0164】

そして、ショベルコントローラ３０Ａは、ショベル１００の動作が終了したか否かを判定する（Ｓ２２１０）。動作が終了していないと判定した場合（Ｓ２２１０：ＮＯ）、再びＳ２２１０から処理を行う。

【0165】

一方、ショベルコントローラ３０Ａは、ショベル１００の動作が終了したと判定した場合（Ｓ２２１０：ＹＥＳ）、処理を終了する。

【0166】

本実施形態においては、物体の速度及び方向を推定し、物体の速度及び方向を考慮して所定の条件を満たすか否か、換言すれば警告又は画像の記憶を行うか否かを判定する例について説明した。しかしながら、本実施形態においては、物体が移動している速度を推定する手法に制限するものではなく、物体が移動している方向のみ推定してもよい。つまり、物体間の位置関係に加えて、物体が移動している方向を考慮して、警告又は画像の記憶を行うか否かを判定してもよい。

【0167】

本実施形態においては、物体の位置関係に加えて、物体の移動を考慮することで、物体間が近づいているか否か等を考慮した警告等を行うことができるので、安全性の向上を実現できる。また、本実施形態では、実際に必要な場合に限り警報等を出力できるので、業務の中断等を抑制して、生産性の低下を抑制できる。

【0168】

（第３の実施形態）
上述した実施形態においては、周辺監視システムの構成がショベルのみの場合について説明した。しかしながら、上述した実施形態のようにショベルで全ての処理を行う場合に制限するものではなく、ショベル以外の装置が処理の一部を行ってもよい。そこで第３の実施形態においては、ショベルと情報処理装置とを組み合わせて処理を行う場合について説明する。

【0169】

図１３は、本実施形態に係る周辺監視システムの構成を例示した図である。図１３に示される周辺監視システムＳＹＳは、ショベル１００Ｂと情報処理装置２３００とで構成された例とする。

【0170】

ショベル１００Ｂと情報処理装置２３００とは通信回線ＮＷを介して接続されている。ショベル１００Ｂのハードウェア構成は、上述した実施形態のショベル１００と同様として説明を省略する。そして、上述したショベルコントローラ３０、３０Ａが行っていた処理の一部を、情報処理装置２３００が行う。

【0171】

例えば、ショベル１００Ｂのショベルコントローラ３０Ｂは、通信装置Ｔ１を介して、取得部３０１が取得した画像情報、及び測定情報を、情報処理装置２３００に送信する。

【0172】

そして、情報処理装置２３００は、受信した画像情報に基づいて物体の種類及び座標を検出し、受信した測定情報に基づいてショベル１００Ｂ周辺の物体の形状を検出した後、物体間の位置関係を算出し、所定の条件を満たしているか否かの判定を行う。

【0173】

そして、情報処理装置２３００が、所定の条件を満たしていると判定した際、警報が必要な場合、ショベル１００Ｂに対して警報を行う旨の指令を送信する。ショベル１００Ｂは、当該指令を受信した場合に、音出力装置Ｄ２等に警報を出力するための制御指令を送信する。

【0174】

また、情報処理装置２３００が、所定の条件を満たしていると判定した場合、受信した画像情報を記憶媒体に記憶する。これにより、危険が生じる可能性がある状況を表した画像情報又は注目すべき物体が写っている画像情報を保持できる。

【0175】

本実施形態においては、負担が大きい処理を、情報処理装置２３００で行うことで、ショベルに搭載するショベルコントローラの負担を軽減できる。これにより、ショベルに搭載するショベルコントローラのコストを低減できる。

【0176】

また、本実施形態は、ショベルコントローラ３０Ｂと情報処理装置２３００との組み合わせで処理を行う一態様を示したものであって、上述した手法に制限するものではない。例えば、ショベルコントローラ３０Ｂで所定の条件を満たしているか否かの判定を行い、情報処理装置２３００は、画像情報を記憶媒体に保存する処理のみ行ってもよい。

【0177】

上述した実施形態は、所定の条件を満たすか否かの判定を例示したものであって、上述した実施形態で示した判定例に制限するものではない。つまり、重力方向及び水平方向のいずれか一つ以上における物体間の位置関係によって危険が生じる可能性がある場合、又は、物体間の位置関係から注目すべき物体が写っている場合には所定の条件を満たすと判定してよい。上述した実施形態では、特定された物体の種類の一つが人の場合について説明したが、人の場合に制限するものではなく、例えば動物等であってもよい。

【0178】

＜作用＞
上述した実施形態では、物体の種類、及び物体間の位置関係について所定の条件を満たした場合に、警報等の処理を行うように構成されているので、安全性を向上させることができる。また、本実施形態では、物体の位置関係を考慮して警報等を出力できるので、実際に必要な場合に限り警報等を出力できることになる。したがって、業務の中断等を抑制して、生産性の低下を抑制できる。

【0179】

上述した実施形態及び変形例においては、作業機械の一例としてショベルを用いた場合について説明した。しかしながら、実施形態及び変形例で示した構成は、作業機械としてショベルに適用させる例に制限するものではなく、例えば、クレーン、アスファルトフィニッシャ、フォークリフト等に適用してもよい。また、作業機械は、自走式でもよいし、固定式でもよい。

【0180】

以上、作業機械の周辺監視システム、及び作業機械の一例を示した実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。

【符号の説明】

【0181】

１００、１００Ａ、１００Ｂ ショベル
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
Ｓ６ 撮像装置
Ｓ７ 空間認識装置
Ｔ１ 通信装置
３０、３０Ａ、３０Ｂ ショベルコントローラ
３０１ 取得部
３０２ 物体検出部
３０３ 形状検出部
３０４ 位置関係算出部
３０５、１９０２ 判定部
３０６、１９０３ 出力部
３１０ 記憶媒体
３１１ 画像記憶部
１９０１ 速度推定部
ＬＭ 学習済みモデル
２３００ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】