IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友重機械工業株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-23
(45)【発行日】2025-01-07
(54)【発明の名称】作業機械、作業機械用周辺監視システム
(51)【国際特許分類】
   E02F 9/26 20060101AFI20241224BHJP
   B60R 1/20 20220101ALI20241224BHJP
   E02F 9/24 20060101ALI20241224BHJP
   H04N 7/18 20060101ALI20241224BHJP
【FI】
E02F9/26 B
B60R1/20
E02F9/24 B
H04N7/18 J
【請求項の数】 14
(21)【出願番号】P 2020504054
(86)(22)【出願日】2019-03-08
(86)【国際出願番号】 JP2019009351
(87)【国際公開番号】W WO2019172424
(87)【国際公開日】2019-09-12
【審査請求日】2022-01-19
【審判番号】
【審判請求日】2023-11-08
(31)【優先権主張番号】P 2018042232
(32)【優先日】2018-03-08
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018043383
(32)【優先日】2018-03-09
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018043384
(32)【優先日】2018-03-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】相澤 晋
(72)【発明者】
【氏名】清田 芳永
(72)【発明者】
【氏名】大槻 俊介
【合議体】
【審判長】有家 秀郎
【審判官】道祖土 新吾
【審判官】西田 秀彦
(56)【参考文献】
【文献】特開2015-45144号公報
【文献】特開2006-76489号公報
【文献】特開2002-173004号公報
【文献】特開2014-181508号公報
【文献】特開2017-195513号公報
【文献】特開2017-76938号公報
【文献】国際公開第2013/111184号
【文献】特開2017-118306号公報
【文献】特開2015-188957号公報
【文献】特開2008-248657号公報
【文献】特開2017-71915号公報
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/26
E02F 9/20
E02F 9/24
B60R 11/02
B60R 25/10
H04N 7/18
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
電源と、
前記電源と常時電気的に接続されている周辺監視コントローラと、
作業機械の周辺の状況に関する情報を取得するセンサと、
前記センサにより取得される、又は、前記センサにより取得される情報に基づき生成される、当該作業機械の周辺の状況に関する情報を外部装置に送信する送信部と、
前記周辺監視コントローラに含まれ、当該作業機械の停止中に、前記外部装置から受信される、ユーザからの所定の指令に応じて、少なくとも前記センサ及び前記送信部を含む監視部を起動させる起動部と、を備え、
前記センサは、当該作業機械の周辺を撮像する撮像装置を含み、
前記送信部は、前記撮像装置により撮像される当該作業機械の周辺の撮像画像を前記ユーザからの所定の指令に応じて、前記外部装置に送信する、
作業機械。
【請求項2】
前記起動部により前記監視部が起動される場合に、当該作業機械の起動に応じて起動する複数の機器のうちの少なくとも一部の起動が制限される、
請求項1に記載の作業機械。
【請求項3】
前記センサにより取得される情報に基づき、当該作業機械の周辺の所定範囲内で、所定の監視対象を検知する検知部を更に備え、
前記起動部は、当該作業機械の停止中に、前記監視部として、前記センサ及び前記送信部に加えて、前記検知部を起動し、
前記送信部は、前記検知部により検知される、当該作業機械の周辺の前記監視対象に関する情報を前記外部装置に送信する、又は、所定の記憶部に記録する、
請求項1又は2に記載の作業機械。
【請求項4】
前記監視部は、当該作業機械の停止中、前記電源の電力供給可能量が相対的に高い状態である場合に稼働可能に構成される、
請求項1乃至の何れか一項に記載の作業機械。
【請求項5】
前記起動部は、前記電源の電力供給可能量が所定の第1閾値を超えている場合、前記監視部を起動させる、
請求項に記載の作業機械。
【請求項6】
当該作業機械の停止中に前記起動部により前記監視部が起動された場合、前記電源の電力供給可能量が所定の第2閾値以下に低下したときに、前記監視部を停止させる停止部を更に備える、
請求項又はに記載の作業機械。
【請求項7】
当該作業機械の停止中に、前記電源の電力供給可能量が相対的に低い状態である場合、前記監視部が稼働できない状況であることを示す通知を前記外部装置に送信する第1の外部通知部を更に備える、
請求項乃至の何れか一項に記載の作業機械。
【請求項8】
前記監視部は、当該作業機械の停止中に、前記電源から供給される電力の消費量が相対的に少なくなるように一部機能を制限して動作する動作モードを有する、
請求項乃至の何れか一項に記載の作業機械。
【請求項9】
当該作業機械の停止中、前記電源の電力供給可能量に関する情報、又は、前記電源からの電力供給で前記監視部が稼働可能な時間に関する情報を前記外部装置に通知する第2の外部通知部を更に備える、
請求項乃至の何れか一項に記載の作業機械。
【請求項10】
前記電源は、一次電池、二次電池、キャパシタ、及び発電手段の少なくとも一つを含む、
請求項乃至の何れか一項に記載の作業機械。
【請求項11】
当該作業機械の稼働中に、前記送信部により当該作業機械の周辺の状況に関する情報が前記外部装置に送信されることをオペレータに通知する内部通知部を更に備える、
請求項1乃至1の何れか一項に記載の作業機械。
【請求項12】
当該作業機械の遠隔操作を許可するための所定の操作を受け付ける許可操作部を更に備える、
請求項1乃至1の何れか一項に記載の作業機械。
【請求項13】
電源と、
前記電源と常時電気的に接続されている周辺監視コントローラと、
作業機械の周辺の状況に関する情報を取得するセンサと、
前記センサにより取得される、又は、前記センサにより取得される情報に基づき生成される、当該作業機械の周辺の状況に関する情報を外部装置に送信する第1の送信部と、
前記周辺監視コントローラに含まれ、当該作業機械の停止中に、前記外部装置から受信される、ユーザからの所定の指令に応じて、少なくとも前記センサ及び前記第1の送信部を含む監視部を起動させる起動部と、を備える、作業機械と、
前記作業機械と通信可能な前記外部装置としての情報処理装置と、を含み、
前記センサは、前記作業機械の周辺を撮像する撮像装置を含み、
前記送信部は、前記撮像装置により撮像される前記作業機械の周辺の撮像画像をユーザからの所定の指令に応じて、前記外部装置に送信し、
前記情報処理装置は、
ユーザからの所定の操作に応じて、前記撮像装置により撮像される前記作業機械の周辺の前記撮像画像を要求する指令を前記作業機械に送信する第2の送信部と、
前記指令に応じて前記作業機械から送信される、前記撮像画像を取得する第1の取得部と、
前記第1の取得部により取得された、前記撮像画像をユーザに通知する第1の通知部と、を備える、
作業機械用周辺監視システム。
【請求項14】
前記情報処理装置は、
前記指令に応じて、停止中の前記作業機械における前記監視部が起動可能か否か、又は、前記監視部が起動された後、稼働中の前記監視部が継続して稼働可能か否かに関する情報を、前記作業機械から取得する第2の取得部を更に備える、
請求項1に記載の作業機械用周辺監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械等に関する。
【背景技術】
【0002】
ショベル等の作業機械が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-181508号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、作業者や監督者等は、作業現場の状況を作業現場の外部から確認したい場合がある。例えば、作業当日の早朝の段階で雨が降って、作業現場で当日の作業を行うことができるかどうかを知りたいような場合である。そのため、作業機械を利用して、作業現場の状況に関する情報を取得し、作業者や監督者等が作業現場の外部で当該情報を確認できることが望ましい。
【0005】
そこで、上記課題に鑑み、作業者や監督者等のユーザに外部から作業現場の状況を確認させることが可能な作業機械等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態では、
電源と、
前記電源と常時電気的に接続されている周辺監視コントローラと、
作業機械の周辺の状況に関する情報を取得するセンサと、
前記センサにより取得される、又は、前記センサにより取得される情報に基づき生成される、当該作業機械の周辺の状況に関する情報を外部装置に送信する送信部と、
前記周辺監視コントローラに含まれ、当該作業機械の停止中に、前記外部装置から受信される、ユーザからの所定の指令に応じて、少なくとも前記センサ及び前記送信部を含む監視部を起動させる起動部と、を備え、
前記センサは、当該作業機械の周辺を撮像する撮像装置を含み、
前記送信部は、前記撮像装置により撮像される当該作業機械の周辺の撮像画像を前記ユーザからの所定の指令に応じて、前記外部装置に送信する、
作業機械が提供される。
【0007】
また、本発明の他の実施形態では、
電源と、
前記電源と常時電気的に接続されている周辺監視コントローラと、
作業機械の周辺の状況に関する情報を取得するセンサと、
前記センサにより取得される、又は、前記センサにより取得される情報に基づき生成される、当該作業機械の周辺の状況に関する情報を外部装置に送信する第1の送信部と、
前記周辺監視コントローラに含まれ、当該作業機械の停止中に、前記外部装置から受信される、ユーザからの所定の指令に応じて、少なくとも前記センサ及び前記第1の送信部を含む監視部を起動させる起動部と、を備える、作業機械と、
前記作業機械と通信可能な前記外部装置としての情報処理装置と、を含み、
前記センサは、前記作業機械の周辺を撮像する撮像装置を含み、
前記送信部は、前記撮像装置により撮像される前記作業機械の周辺の撮像画像をユーザからの所定の指令に応じて、前記外部装置に送信し、
前記情報処理装置は、
ユーザからの所定の操作に応じて、前記撮像装置により撮像される前記作業機械の周辺の前記撮像画像を要求する指令を前記作業機械に送信する第2の送信部と、
前記指令に応じて前記作業機械から送信される、前記撮像画像を取得する第1の取得部と、
前記第1の取得部により取得された、前記撮像画像をユーザに通知する第1の通知部と、を備える、
作業機械用周辺監視システムが提供される。
【発明の効果】
【0010】
上述の実施形態によれば、作業者や監督者等のユーザに外部から作業現場の状況を確認させることが可能な作業機械等を提供することができる。
【図面の簡単な説明】
【0011】
図1】現場監視システムの一例を示す概略図である。
図2】現場監視システムの構成の一例を示す構成図である。
図3】ショベルの電源系統の一例を示す図である。
図4】表示装置に表示される遠隔操作許可操作画面の一例を示す図である。
図5A】表示装置に表示される監視画像の一例(スルー画像)を示す図である。
図5B】表示装置に表示される監視画像の他の例(周辺画像)を示す図である。
図6】監視エリアの一例を模式的に示す図である。
図7A】支援装置の指令送信操作画面の一例を示す図である。
図7B】支援装置の指令送信操作画面の一例を示す図である。
図8】支援装置の周辺状況通知画面の一例を示す図である。
図9】作業現場における駐機状態のショベルの配置の一例を示す図である。
図10A】現場監視システムの動作の一例を概略的に示すフローチャートである。
図10B】現場監視システムの動作の一例を概略的に示すフローチャートである。
図10C】現場監視システムの動作の一例を概略的に示すフローチャートである。
図10D】現場監視システムの動作の一例を概略的に示すフローチャートである。
図11】周辺監視装置が搭載されるショベルの一例を示す図である。
図12】周辺監視装置の構成の一例を示す図である。
図13A】周辺監視装置の監視エリアを説明する図である。
図13B】周辺監視装置の監視エリアを説明する図である。
図14】周辺監視装置の監視エリアを説明する図である。
図15A】周辺監視装置の具体的な動作の第1例を説明する図である。
図15B】周辺監視装置の具体的な動作の第2例を説明する図である。
図15C】周辺監視装置の具体的な動作の第3例を説明する図である。
図15D】周辺監視装置の具体的な動作の第4例を説明する図である。
図16】周辺監視装置による監視処理の一例を概略的に示すフローチャートである。
図17】周辺監視装置の構成の他の例を示す図である。
図18】周辺監視装置の構成の更に他の例を示す図である。
図19】現場安全支援システムの一例を示す概略図である。
図20】現場安全支援システムの構成の一例を示す構成図である。
図21】注意喚起操作画面の一例を示す図である。
図22】解除操作画面の一例を示す図である。
図23】現場安全支援システムの動作を模式的に示す図である。
図24】現場安全支援システムの動作の一例を概略的に示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照して発明を実施するための形態について説明する。
【0013】
〔第1実施形態〕
最初に、第1実施形態について説明する。
【0014】
[現場監視システムの概要]
まず、図1を参照して、本実施形態に係る現場監視システムSYSについて説明をする。
【0015】
図1は、現場監視システムSYSの構成の一例を示す概略図である。
【0016】
現場監視システムSYSは、ショベル100と、支援装置200と、管理装置300とを含み、ショベル100の周辺の状況に関する情報(以下、便宜的に「周辺状況情報」)、つまり、ショベル100が作業を行う作業現場の状況に関する情報を取得し、支援装置200を通じて、ユーザに当該周辺状況情報を提供する。これにより、支援装置200のユーザは、作業現場外にいる場合であっても、作業現場の状況を確認できる。以下、周辺状況情報を取得し、支援装置200に送信するショベル100の動作を便宜的に「現場監視」と称する。現場監視システムSYSに含まれるショベル100は、一台であってもよいし、複数台であってもよい。また、同様に、現場監視システムSYSに含まれる支援装置200は、一台であってもよいし、複数台であってもよい。
【0017】
尚、図1図2中では、便宜的に、一台のショベル100及び一台の支援装置200が図示される。また、現場監視システムSYSは、ショベル100に代えて、或いは、加えて、他の種類の作業機械を含んでもよい。例えば、現場監視システムSYSは、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械、クローラクレーン等を含んでもよい。
【0018】
<ショベルの概要>
ショベル100(作業機械の一例)は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業装置)としてのブーム4、アーム5、及び、バケット6と、キャビン10と、エンジン11を備える。
【0019】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
【0020】
上部旋回体3は、旋回油圧モータ等で駆動されることにより、下部走行体1に対して旋回する。
【0021】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0022】
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
【0023】
エンジン11は、ショベル100の駆動源であり、例えば、上部旋回体3の後部に搭載される。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、後述するエンジンコントローラ(ECM:Engine Control Module)30Bによる制御の下、所定の回転数を維持するように動作する。エンジン11の回転軸は、走行油圧モータ、旋回油圧モータ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9を含む油圧アクチュエータに作動油を供給するメインポンプ、並びに、当該油圧アクチュエータを操作するためのパイロット圧の元圧を生成するパイロットポンプに連結される。
【0024】
尚、ショベル100は、バッテリやケーブルを通じて接続される外部の商用電源等を動力源として用いてもよい。つまり、ショベル100は、所謂バッテリショベルやケーブルショベル等の電動ショベルであってもよい。
【0025】
ショベル100は、例えば、基地局を末端とする移動体通信網やインターネット等を含む所定の通信ネットワークNWを通じて、管理装置300と相互に通信を行うことができる。これにより、ショベル100は、各種情報を管理装置300に送信(アップロード)し、管理装置300経由で、各種情報を支援装置200に提供(送信)することができる。詳細は、後述する。
【0026】
尚、ショベル100は、通信ネットワークNWを通じて、支援装置200とP2P(Peer to Peer)接続され、管理装置300を経由せず、直接、相互に各種情報のやり取りを行ってもよい。
【0027】
<支援装置の概要>
支援装置200(外部装置、情報処理装置、ユーザ端末の一例)は、ユーザ(例えば、ショベル100の作業現場の作業者や監督者等)が所持する携帯端末である。支援装置200は、例えば、ユーザが所持する汎用のノートPC、タブレット端末、スマートフォン等である。また、支援装置200は、ショベル100に関する周辺状況情報を確認するための専用端末であってもよい。
【0028】
支援装置200は、通信ネットワークNWを通じて、管理装置300と相互に通信を行うことができる。これにより、支援装置200は、管理装置300を経由して、ショベル100に周辺状況情報を要求する指令(以下、「現場監視指令」)を送信することができる。そして、支援装置200は、現場監視指令に応じてショベル100から送信される周辺状況情報等の各種情報を受信し、自己に搭載される後述の表示装置240を通じて、受信した周辺状況情報等の各種情報をユーザに提供(通知)することができる。詳細は、後述する。
【0029】
<管理装置の概要>
管理装置300(情報処理装置の一例)は、ショベル100及び支援装置200と地理的に離れた位置に設置される端末装置である。管理装置300は、例えば、ショベル100が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、現場監視システムSYSを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。また、管理装置300は、ショベル100の作業現場内の管理事務所等に配置される定置型或いは携帯型のコンピュータ端末であってもよい。
【0030】
管理装置300は、上述の如く、通信ネットワークNWを通じて、ショベル100及び支援装置200のそれぞれと相互に通信を行うことができる。これにより、管理装置300は、ショベル100からアップロードされる各種情報を受信し、記憶しておくことができる。また、管理装置300は、支援装置200から送信される各種要求を受信し、各種要求に応じて、ショベル100から取得された各種情報(例えば、周辺状況情報)を提供(送信)することができる。
【0031】
[現場監視システムの構成]
次に、図1に加えて、図2及び図3を参照して、本実施形態に係る現場監視システムSYSの具体的な構成について説明をする。
【0032】
図2は、現場監視システムSYSの構成の一例を示す構成図である。図3は、ショベル100の電源系統の一例を示す図である。
【0033】
尚、ショベル100のキーシリンダのポジション(以下、「キーポジション」)は、OFFポジション、アクセサリポジション(以下、「ACCポジション」)、イグニッションポジション(以下、「IGポジション」)、スタートポジションの順に4段階で設定されている。このとき、ACCポジションは、後述するアクセサリスイッチ(以下、「ACCスイッチ」)66と連動し、ショベル100を起動させず(即ち、エンジン11を始動させず)に、ショベル100の一部の機器だけに電力を供給するためのキーポジションである。また、IGポジションは、後述するイグニッションスイッチ(以下、「IGスイッチ」)68と連動し、ショベルの100の起動(エンジン11の始動)に合わせて起動する機器に電力を供給するキーポジションである。また、スタートポジションは、エンジン11のスタータを作動させ、エンジン11を始動させるためのキーポジションであり、スタートポジションでは、ACCスイッチ66が一時的に切断される。
【0034】
<ショベルの構成>
ショベル100は、ショベルコントローラ30Aと、ECM30Bと、周辺監視コントローラ30Cと、撮像装置40と、表示装置50と、音声出力装置52と、ゲートロック弁54と、通信機器60と、許可操作部62を含む。
【0035】
ショベルコントローラ30Aは、例えば、キャビン10内に搭載され、ショベル100の統括的な駆動制御を行う。ショベルコントローラ30Aには、ACCスイッチ66を経由する系統(以下、「ACC系統」)と、IGスイッチ68を経由する系統(以下、「IG系統」)の双方の系統を通じて、バッテリ64(電源、二次電池の一例)からの電力が供給される。これにより、ショベルコントローラ30Aは、エンジン11の始動前に起動し、且つ、エンジン11の始動時に電力供給が遮断されない。以下、ECM30Bについても同様である。
【0036】
尚、バッテリ64は、例えば、エンジン11の動力で発電するオルタネータの電力で充電される。
【0037】
ショベルコントローラ30Aは、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよい。ショベルコントローラ30Aは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置、RTC(Real Time Clock)、各種通信用インターフェース等を含むマイクロコンピュータを中心に構成される。以下、ECM30B、周辺監視コントローラ30Cについても同様である。また、後述する支援装置200の制御装置210及び管理装置300の制御装置310についても同様である。
【0038】
ECM30Bは、ショベルコントローラ30Aによる制御の下、エンジン11の駆動制御を行う。例えば、ECM30Bは、ショベルコントローラ30Aからの指令に応じて、上述の如く、エンジン11が所定の回転数を維持するように、エンジン11に搭載される各種アクチュエータ(例えば、燃料噴射装置等)を制御する。
【0039】
周辺監視コントローラ30Cは、上述の現場監視を含むショベル100の周辺監視に関する制御を行う。例えば、周辺監視コントローラ30Cは、撮像装置40を制御し、ショベル100の周辺の状況に関する情報、つまり、ショベル100の周辺の状況(様子)を示す撮像画像を取得する。また、例えば、周辺監視コントローラ30Cは、撮像装置40から取得した情報(撮像画像)に基づき、ショベル100の周辺の所定の監視範囲内で、所定の監視対象を検知する。このとき、監視対象には、ショベル100の周囲で作業を行う作業者や作業現場の監督者等の人だけでなく、作業現場の資材や土砂等の定置型の障害物、作業現場の他の作業機械やトラック等の移動型の障害物(つまり、移動体)等、任意の物体が含まれうる。また、監視対象には、作業時間外の作業現場に侵入した不審者等が含まれうる。
【0040】
周辺監視コントローラ30Cは、常時、バッテリ64と電気的に接続されており、ショベル100の停止時であっても、バッテリ64から電力供給を受けて動作することができる。具体的には、周辺監視コントローラ30Cは、ショベル100の稼働中において、全部の機能が動作している状態であり、一方、ショベル100の停止中(エンジン11の停止中において)、最小限の一部の機能が動作している状態である。詳細は、後述する。
【0041】
周辺監視コントローラ30Cは、例えば、ROMや不揮発性の補助記憶装置に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、監視画像生成部301Cと、検知部302Cと、警報出力部303Cと、動作制限部304Cと、送信部305Cと、指令取得部306Cと、起動・停止部307Cを含む。また、周辺監視コントローラ30Cは、例えば、補助記憶装置等の不揮発性の内部メモリに規定される記憶領域としての記憶部308Cを含む。
【0042】
また、周辺監視コントローラ30Cは、ショベル100が停止中(つまり、エンジン11が停止中)の場合、監視画像生成部301C、検知部302C、警報出力部303C、動作制限部304C、送信部305C、指令取得部306C、及び、起動・停止部307Cのうち、指令取得部306Cだけを起動(ウェイクアップ)させておき、他の機能部は、停止させる(スリープ状態にする)。これにより、周辺監視コントローラ30Cは、ショベル100の停止中における電力消費を最小限に抑制できる。
【0043】
撮像装置40(センサの一例)は、上部旋回体3の上部に取り付けられ、ショベル100の周辺を撮像する。撮像装置40は、カメラ40B,40L,40Rを含む。
【0044】
カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、非常に広い画角を有する単眼の広角カメラである。具体的には、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲を撮像する。カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、ショベル100の運転中、所定周期(例えば、1/30秒)ごとに、撮像画像を出力し、出力された撮像画像は、周辺監視コントローラ30Cに取り込まれる。
【0045】
撮像装置40には、IG系統を通じて、バッテリ64から電力が供給される。また、撮像装置40には、バッテリ64と常時接続される系統(以下、「常時接続系統」)から分岐し、リレー42を経由する分岐系統を通じて、バッテリ64からの電力が供給されうる。具体的には、カメラ40B,40L,40Rには、それぞれ、常時接続系統から分岐し、リレー42B,42L,42Rを経由する分岐系統を通じて、バッテリ64からの電力が供給されうる。これにより、撮像装置40は、ショベル100(エンジン11)が停止されている状態でも、起動することができる。また、カメラ40B,40L,40Rは、ショベル100(エンジン11)が停止されている状態でも、個別に起動することができる。
【0046】
尚、ショベル100には、撮像装置40に代えて、或いは、加えて、ショベル100の周囲の音を集音可能なマイクが搭載されてもよい。この場合、マイクは、撮像装置40と同様のリレーを含む分岐系統に接続されてよい。これにより、マイクは、ショベル100(エンジン11)が停止されている状態でも、起動することができる。
【0047】
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50には、ACC系統を通じて、バッテリ64からの電力が供給される。音声出力装置52についても同様である。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作部を兼ねるタッチパネル式であってもよい。具体的には、表示装置50は、後述の如く、ショベル100の周辺の様子を示す監視画像として、撮像装置40の撮像画像(以下、「スルー画像」と称する場合がある)や、周辺監視コントローラ30Cにより撮像装置40の撮像画像に基づき生成(合成)される合成画像(例えば、後述する視点変換画像)等を表示する。
【0048】
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。具体的には、音声出力装置52は、警報音を出力する。
【0049】
ゲートロック弁54は、上述のパイロットポンプからショベル100の各種動作要素(即ち、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等)をオペレータ等が操作するための操作装置に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通/非連通を切り替える。
【0050】
例えば、ゲートロック弁54は、通常、キャビン10内の操縦席の入口に相当する部分に設けられるゲートロックレバーの操作状態と連動する、ゲートロックスイッチの出力信号(ON/OFF)に応じて、パイロットラインの連通/非連通を切り替える。具体的には、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態(即ち、操縦席にオペレータが着座した状態)に対応する信号(以下、便宜的に「OFF信号」)である場合、パイロットラインを連通状態にする。一方、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態(即ち、操縦席からオペレータが離脱した状態)に対応する信号(以下、便宜的に「ON信号」)である場合、パイロットラインを非連通状態にする。
【0051】
また、例えば、ゲートロック弁54は、周辺監視コントローラ30Cから入力される指令信号も受付可能に構成される。具体的には、ゲートロック弁54は、その信号入力部が、周辺監視コントローラ30Cからの指令信号が割り込み可能な論理回路に接続されてよい。これにより、ゲートロック弁54は、周辺監視コントローラ30Cからの指令信号(OFF信号/ON信号)に応じて、パイロットラインの連通/非連通を切り替えることができる。即ち、ゲートロック弁54は、周辺監視コントローラ30Cによる制御の下、ゲートロックレバーが引き上げられた状態であっても、パイロットラインを非連通状態にすることができる。
【0052】
通信機器60は、通信ネットワークNWを通じて、管理装置300等の外部との通信を行う任意のデバイスである。通信機器60は、常時、バッテリ64と電気的に接続されており、ショベル100の停止時であっても、バッテリ64から電力供給を受けて動作することができる。これにより、通信機器60は、ショベル100の停止中であっても、外部からの各種情報を受信することができる。通信機器60は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールである。
【0053】
許可操作部62は、特定の支援装置200によるショベル100の周辺監視(現場監視)に関する遠隔操作を許可するための操作をオペレータ等から受け付ける。許可操作部62は、例えば、ボタン、トグル、レバー等や表示装置50に実装されるタッチパネル等のハードウェアによる操作部と、表示装置50に表示される操作画面上のボタンアイコン等のソフトウェアによる操作部との組み合わせにより実現されうる。
【0054】
例えば、図4は、許可操作部62の一例を示す図である。具体的には、図4は、表示装置50に表示される操作画面(以下、「遠隔操作許可操作画面」)の一例(遠隔操作許可操作画面400)を示す図である。
【0055】
図4に示すように、表示装置50は、各種情報画像が表示される表示領域である表示部50Aと、表示部50Aに表示される各種情報画像に関するオペレータ等による操作を受け付け可能なボタンスイッチ等のハードウェアによる操作部50Bを含む。
【0056】
表示部50Aは、例えば、表示装置50における横長の長方形のディスプレイ(例えば、アスペクト比4:3のディスプレイ)である。
【0057】
図4に示すように、遠隔操作許可操作画面400には、ショベル100の周辺監視に関する遠隔操作を許可する支援装置200の候補リスト401が表示される。候補リスト401は、例えば、後述する記憶部308Cに保存される候補端末情報3081Cに基づき表示される。記憶部308Cの候補端末情報3081Cは、管理装置300に予め登録された支援装置200に関する情報であり、管理装置300から配信される最新の候補端末情報により更新される。
【0058】
例えば、オペレータ等は、表示装置50に実装されるタッチパネルや操作部50Bを通じて、候補リスト401を適宜スクロールさせ、一の支援装置200をカーソル402に合わせる。これにより、候補リスト401に含まれる複数の支援装置200の中から一の支援装置200を選択することができる。
【0059】
そして、オペレータ等は、適宜、タッチパネルや操作部50Bを通じて、決定操作を行う。これにより、許可操作部62によって、選択された一の支援装置200によるショベル100の現場監視に関する遠隔操作が許可される。このとき、当該ショベル100の周辺監視に関する遠隔操作が許可された支援装置200は、後述する記憶部308Cの許可端末情報3082Cに登録される。また、許可操作部62(遠隔操作許可操作画面400)によって、当該ショベル100の現場監視に関する遠隔操作が許可された支援装置200に関する情報は、通信機器60を通じて、管理装置300に通知される。これにより、管理装置300は、ショベル100ごとに現場監視に関する遠隔操作が許可された支援装置200を把握し、管理することができる。
【0060】
尚、他の方法で、許可対象の支援装置200が特定(選択)されてもよい。例えば、ショベル100とオペレータ等が所持する支援装置200との間で、ブルートゥース(登録商標)通信やWiFi(登録商標)通信の所定の近接通信が行われることにより、オペレータ等が所持する支援装置200が許可対象の支援装置200として特定(選択)される態様であってもよい。また、ショベル100ごとの現場監視に関する遠隔操作が許可される支援装置200は、管理装置300で決定(登録)されてもよい。つまり、許可操作部62は、管理装置300に設けられ、管理装置300の管理者等によって、特定の支援装置200によるショベル100ごとの現場監視に関する遠隔操作が許可されてもよい。支援装置200からの現場監視指令は、管理装置300経由でショベル100に送信されるため、管理装置300でショベル100の現場監視に関する遠隔操作が許可されているか否かが判断できればよいからである。例えば、管理装置300の管理者等は、ショベル100ごとに、予め登録される複数の支援装置200の中から、対象のショベル100が作業を行う特定の現場に関連する支援装置200(例えば、当該現場の監督者や作業者等の支援装置200)に限定して遠隔操作を許可する。
【0061】
図1図3に戻り、監視画像生成部301Cは、撮像装置40の撮像画像に基づき、表示装置50に監視画像を表示させる。
【0062】
例えば、監視画像生成部301Cは、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つのカメラの撮像画像を表示装置50に表示させる。
【0063】
また、例えば、監視画像生成部301Cは、撮像装置40の撮像画像に基づき、監視画像としてのショベル100の周辺の様子を表す別画像(以下、便宜的に「周辺画像」)を生成する。具体的には、監視画像生成部301Cは、カメラ40B,40L,40Rの撮像画像を合成したり、視点を変換する処理を施したりすることにより、周辺画像を生成してよい。そして、監視画像生成部301Cは、生成した周辺画像を含む監視画像を表示装置50に表示させる。
【0064】
より具体的には、監視画像生成部301Cは、周辺画像として、カメラ40B,40L,40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、監視画像生成部301Cは、周辺画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、監視画像生成部301Cは、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成すると共に、表示装置50に表示させる。
【0065】
例えば、図5A及び図5Bは、それぞれ、表示装置50に表示される監視画像の一例(スルー画像を含む監視画像MP1)及び他の例(周辺画像EPを含む監視画像MP2)を示す図である。
【0066】
図5Aに示すように、本例では、表示部50Aには、監視画像MP1として、上述の如く、カメラ40B,40L,40Rの何れかのスルー画像が表示される。
【0067】
本例の監視画像MP1(スルー画像)には、ガイドラインGLaが重畳表示される。ガイドラインGLaは、例えば、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。これにより、オペレータ等は、スルー画像に監視対象が写っている(含まれている)場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0068】
尚、所定距離D1は、後述する監視エリアに対応する所定距離D2以下の範囲で適宜設定されうる。
【0069】
また、図5Bに示すように、本例では、表示部50Aには、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示される。これにより、オペレータ等は、周辺画像EPに写っている監視対象と、ショベル100との位置関係を適切に把握することができる。
【0070】
本例の周辺画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
【0071】
また、監視画像MP2には、ガイドラインGLbが重畳表示される。ガイドラインGLbは、図5Aの監視画像MP1(スルー画像)のガイドラインGLaと同様、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。つまり、ガイドラインGLbは、ショベル100の真上から見た平面視に対応するショベル画像CGの輪郭形状を、ショベル画像CGの外側に所定距離D1に相当する量だけオフセット(拡大)させた線である。これにより、オペレータ等は、図5AのガイドラインGLaの場合と同様、周辺画像EPに監視対象が写っている場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0072】
図1図3に戻り、検知部302Cは、撮像装置40により撮像された撮像画像に基づき、ショベル100の周辺の監視エリア、具体的には、ショベル100から見た水平方向、つまり、ショベル100が作業している(下部走行体1が接地している)平面に沿う方向の監視エリア内において、監視対象を検知する。具体的には、検知部302Cは、ショベル100からの水平方向の距離Dが所定距離D2(例えば、5メートル)以内の監視エリア内で、監視対象を検知する。
【0073】
例えば、図6は、監視エリアの一例(監視エリアMA)を模式的に示す図である。具体的には、ショベル100を真上から見たときの監視エリアMAを示す図である。
【0074】
尚、図中の点線L1及び一点鎖線L2は、それぞれ、ショベル100からの水平方向の距離Dが所定距離D1及び所定距離D2の位置に相当する。
【0075】
図6に示すように、監視エリアMA(図中の斜線部)は、カメラ40B,40L,40Rのそれぞれの水平方向の画角により規定される撮像可能範囲AVB,AVL、AVRのうちのショベル100からの水平方向の距離Dが所定距離D2以下の範囲として規定される。
【0076】
図1図3に戻り、例えば、検知部302Cは、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
【0077】
また、検知部302Cは、既知の各種手法を適用することにより、単眼の撮像装置40による撮像画像に含まれる、認識された監視対象が存在する位置(以下、「実在位置」。例えば、監視対象としての人の足元位置)を判定(推定)することができる。
【0078】
例えば、検知部302Cは、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)が規定されうるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見たい水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検知部302Cは、例えば、周辺監視コントローラ30Cの補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
【0079】
また、例えば、検知部302Cは、監視対象がショベル100(の下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
【0080】
尚、検知部302Cは、撮像装置40の撮像画像に代えて、或いは、加えて、ショベル100に搭載されうる他のセンサの検出情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してもよい。例えば、検知部302Cは、他のセンサとしてのステレオカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging)等の検出情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してよい。
【0081】
警報出力部303Cは、検知部302Cにより監視エリア内で監視対象が検知された場合、キャビン10の内部或いは外部に向けて、警報を出力する。これにより、周辺監視コントローラ30Cは、オペレータやショベル100の周辺の作業者、監督者等に対して、ショベル100の周辺の監視エリア内に監視対象が侵入したことを認識させることができる。そのため、周辺監視コントローラ30Cは、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
【0082】
例えば、警報出力部303Cは、聴覚的な方法、つまり、音による警報を出力する。具体的には、警報出力部303Cは、音声出力装置52に制御指令を出力し、警告音を出力させる。
【0083】
尚、警報出力部303Cは、各種条件に応じて、警告音の音高、音圧、音色等や、警告音(例えば、ブザー音)を周期的に吹鳴させる場合の吹鳴周期等を異ならせてもよい。
【0084】
また、例えば、警報出力部303Cは、視覚的な方法、つまり、表示装置50への表示による警報を出力する。具体的には、警報出力部303Cは、監視画像生成部301Cに警報要求を送信する。これにより、監視画像生成部301Cは、警報要求に応じて、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させることで、表示装置50は、オペレータに対する警報を出力することができる。
【0085】
尚、警報出力部303Cは、触覚的な方法、例えば、オペレータが着座する操縦席を振動させる振動発生装置を通じて、警報を出力してもよい。
【0086】
また、警報出力部303Cは、検知部302Cにより監視エリア内で検知されている監視対象と、ショベル100との位置関係に応じて、警報の種類(警報レベル)を異ならせてもよい。
【0087】
例えば、警報出力部303Cは、検知部302Cにより監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警報レベルが低い警報(以下、「注意レベルの警報」)を出力する。具体的には、警報出力部303Cは、検知部302Cにより検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、注意レベルの警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1を超えている領域を便宜的に「注意領域」と称する。一方、警報出力部303Cは、検知部302Cにより監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に警報レベルが高い警報(以下、「警戒レベルの警報」)を出力する。具体的には、警報出力部303Cは、検知部302Cにより検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、警戒レベルの警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1以下の領域を「警戒領域」と称する。
【0088】
この場合、警報出力部303Cは、注意レベルの警報と警戒レベルの警報との間で、音声出力装置52から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、警報出力部303Cは、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させるマーカ等の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視コントローラ30Cは、警報音や表示装置50に表示される監視対象を強調させるマーカ等の相違によって、オペレータ等に警報レベル、つまり、監視対象のショベル100に対する接近度を把握させることができる。
【0089】
また、警報出力部303Cは、警報出力開始後、検知部302Cにより検知されていた監視対象が検知されなくなった場合、或いは、オペレータ等により所定の解除操作がされた場合に、警報の出力を解除する。
【0090】
動作制限部304Cは、検知部302Cにより監視エリア内で監視対象が検知された場合、ショベル100の動作要素の動作を制限する。このとき、動作制限対象の動作要素には、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等の一部又は全部が含まれる。例えば、動作制限部304Cは、ゲートロック弁54に指令信号(ON信号)を送信することにより、ゲートロック弁54に、パイロットラインを非連通状態にさせる。これにより、パイロットポンプ(不図示)からショベル100の動作要素を操作する操作装置(不図示)に作動油(パイロット圧)が供給されないため、オペレータが操作装置に操作入力を行っても、ショベル100の動作要素が動作しないように制限できる。そのため、ショベル100の周辺の監視エリアに監視対象(例えば、人)が進入してしまった場合であっても、ショベル100の動作が制限され、ショベル100と監視対象の衝突等の発生を抑制することができ、結果として、ショベル100の周辺における安全性の維持を図ることができる。
【0091】
尚、例えば、ゲートロック弁54の代わりに、動作要素を操作する操作装置から出力される二次側のパイロット圧を減圧する減圧弁が設けられ、動作制限部304Cは、当該減圧弁を制御してもよい。この場合、当該減圧弁は、当該操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる当該操作装置に対する操作を無効化することができる。そのため、動作制限部304Cは、当該減圧弁を制御することにより、結果として、ショベル100の動作要素の動作を制限することができる。また、動作制限部304Cは、当該減圧弁を制御することにより、ショベル100の動作要素を停止させず、オペレータによる操作に対する各種動作要素の動作を通常よりも緩やかに抑制する態様で、ショベル100の動作を制限してもよい。
【0092】
また、動作制限部304Cは、警報出力部303Cの場合と同様、検知部302Cにより検知されている監視対象とショベル100との位置関係に応じて、動作制限のレベルを異ならせてもよい。
【0093】
例えば、動作制限部304Cは、検知部302Cにより監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、相対的に制限度が低い態様で、ショベル100の動作制限を行う。具体的には、動作制限部304Cは、検知部302Cにより検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、相対的に制限度が低い(例えば、操作量に対する動作要素の動作速度を通常よりも遅くする)態様で、ショベル100の動作制限を行ってよい。一方、動作制限部304Cは、検知部302Cにより監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、相対的に制限度が高い態様で、ショベル100の動作制限を行う。具体的には、動作制限部304Cは、検知部302Cにより検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、相対的に制限度が高い(例えば、動作要素の動作を停止させる)態様で、ショベル100の動作制限を行ってよい。
【0094】
また、動作制限部304Cは、ショベル100の動作制限の開始後、検知部302Cにより検知されていた監視対象が検知されなくなった場合、或いは、上述の解除操作がされた場合に、ショベル100の動作制限を解除する。
【0095】
送信部305Cは、支援装置200からの現場監視指令に応じて、ショベル100の周辺の状況に関する情報(周辺状況情報)を、通信機器60を通じて、管理装置300に送信する。これにより、送信部305Cは、管理装置300経由で、周辺状況情報を支援装置200に提供(送信)することができる。
【0096】
尚、送信部305Cは、上述の如く、ショベル100と支援装置200とがP2P接続される場合、直接、支援装置200に周辺状況情報を送信してよい。
【0097】
例えば、送信部305Cは、周辺状況情報として、撮像装置40(カメラ40B,40L,40R)により取得される情報、つまり、ショベル100の周辺の様子を含む撮像画像を管理装置300に送信する。また、送信部305Cは、上述の如く、撮像装置40に代えて、或いは、加えて、ステレオカメラ、ミリ波レーダ、LIDAR等の他のセンサがショベル100に搭載される場合、周辺状況情報として、他のセンサの検出情報を管理装置300に送信してもよい。また、送信部305Cは、周辺状況情報として、監視画像生成部301Cにより生成される周辺画像を管理装置300に送信してもよい。
【0098】
また、例えば、送信部305Cは、周辺状況情報として、撮像装置40により取得される情報(つまり、撮像画像)に基づき生成される周辺状況情報を管理装置300に送信する。具体的には、送信部305Cは、撮像装置40の撮像画像に基づき生成される、ショベル100の周辺の監視対象に関する情報、より具体的には、検知部302Cによる監視対象の検知の有無に関する情報を管理装置300に送信する。この場合、送信部305Cは、検知部302Cによる監視対象の検知の有無に依らず、監視対象の検知の有無に関する情報を管理装置300に送信してもよいし、監視対象が検知された場合だけ、管理装置300に監視対象が検知されたことを示す情報を管理装置300に送信してもよい。
【0099】
また、例えば、送信部305Cは、周辺状況情報として、上述のマイクで取得される情報(つまり、ショベル100の周囲の音声情報)を管理装置300に送信する。
【0100】
また、送信部305Cは、周辺状況情報として予め規定される複数の種類の情報(例えば、撮像画像及び音声情報)がある場合、複数の種類の情報を全て管理装置300に送信してもよいし、一部の種類の情報を管理装置300に送信してもよい。例えば、複数の種類の情報のうちの送信対象の情報は、オペレータ等のユーザによる設定が可能であってよい。
【0101】
尚、送信部305Cは、通信機器60を通じて、管理装置300経由で支援装置200に送信する周辺状況情報をログ情報として、記憶部308C等に保存してもよい。これにより、ショベル100のオペレータ等は、所定の方法で、ログ情報にアクセスし、表示装置50に表示させる等することにより、事後的に、当該ログ情報を確認することができる。
【0102】
指令取得部306Cは、通信機器60を通じて、支援装置200からの現場監視指令を管理装置300経由で取得(受信)する。
【0103】
また、指令取得部306Cは、取得した現場監視指令が正規の現場監視指令であるかを判定する。具体的には、指令取得部306Cは、現場監視指令に含まれる所定の認証情報に基づき、正規の現場監視指令であるか否かを判定してよい。ショベル100が悪意の第三者により遠隔操作されてしまう事態を抑制するためである。また、指令取得部306Cは、現場監視指令で指定される遠隔操作の対象となるショベルと、当該ショベル100とが一致しているか否かに基づき、正規の現場監視指令であるか否かを判定してよい。管理装置300におけるプログラムのバグ等によって、実際は別のショベルに対して送信されるはずの現場監視指令が誤ってショベル100に送信されたような状況で、ショベル100が遠隔操作されてしまう事態を抑制するためである。また、指令取得部306Cは、記憶部308Cに記憶される許可端末情報3082Cに基づき、現場監視指令の送信元が許可操作部62により遠隔操作が許可された支援装置200に該当するか(含まれる)否かを判定してよい。遠隔操作を許可されていない支援装置200を通じて、ショベル100の遠隔操作が可能となるような事態を抑制するためである。
【0104】
また、指令取得部306Cは、正規の現場監視指令である場合、送信部305Cによる周辺状況情報の送信の前段階の処理を行う。
【0105】
具体的には、指令取得部306Cは、ショベル100が停止中(つまり、エンジン11が停止中)の場合、スリープ状態の起動・停止部307Cを起動させ、ショベル100の現場監視に関する機能(以下、「現場監視機能」)を起動させる。
【0106】
また、指令取得部306C(内部通知部の一例)は、ショベル100が稼働中(つまり、エンジン11が運転中)の場合、表示装置50を通じて、当該ショベル100の周辺監視情報が外部(支援装置200、管理装置300)に送信されることを通知する。これにより、オペレータ等は、自分が操作するショベル100の周辺状況情報が外部に送信され、作業現場の外部から確認されることを認識しながら、ショベル100の作業を進めることができる。
【0107】
そして、指令取得部306Cは、前段階の処理が完了すると、送信部305Cに対して、現場監視指令に基づく周辺状況情報の送信を行わせる。
【0108】
起動・停止部307Cは、指令取得部306Cからの指令に応じて、現場監視機能に電力を供給するバッテリ64の各種状態を確認する。例えば、起動・停止部307Cは、バッテリ64の充電状態、具体的には、残容量C(電力供給可能量の一例)を取得し、残容量Cが、所定閾値Cth1(第1閾値の一例)を超えているか否かを判定する。所定閾値Cth1は、現場監視機能の起動、及び、起動後のある一定の期間での継続動作を確保するために必要最低限の残容量として予め規定される。また、所定閾値Cth1は、現場監視指令に含まれる現場監視が行われる期間(例えば、開始時刻から終了時刻までの期間)に応じて、可変されてもよい。このとき、バッテリ64の残容量Cは、バッテリ64の端子に搭載されるバッテリセンサから取得されてもよいし、バッテリ64の電圧や電流を計測する電圧センサや電流センサの計測値から算出されてもよい。
【0109】
尚、現場監視部110には、ショベル100の停止中において、バッテリ64に代えて、或いは、加えて、他の電源から電力が供給可能な態様であってもよい。他の電源には、交換可能な一次電池が含まれうる。また、他の電源には、ショベル100の所定の発電機(例えば、ショベル100の運転中にエンジン11の動力で発電する発電機)の電力で充電可能なキャパシタが含まれうる。また、他の電源には、所定の発電手段(例えば、燃料電池や、ショベル100の停止中に一時的に起動するエンジン11の動力で発電するオルタネータ等)が含まれうる。
【0110】
起動・停止部307C(起動部の一例)は、バッテリ64の残容量Cが所定閾値Cth1を超えている場合、現場監視指令の設定内容に応じて、停止中の現場監視機能に対応する現場監視部110の一部又は全部を起動させる。現場監視部110(監視部の一例)は、例えば、撮像装置40(カメラ40B,40L,40R)、監視画像生成部301C、検知部302C、送信部305Cを含む。具体的には、起動・停止部307Cは、リレー42(リレー42B,42L,42R)に指令信号を送信し、接続状態にすることにより、バッテリ64から撮像装置40(カメラ40B,40L,40R)への電力供給を開始させ、撮像装置40を起動させる。この場合、起動・停止部307Cは、現場監視指令の設定内容に応じて、リレー42B,42L,42Rのうちの一つ或いは二つを接続状態にすることにより、撮像装置40のうちの一部(カメラ40B,40L,40Rのうちの一つ或いは二つのカメラ)を起動させてもよい。また、起動・停止部307Cは、周辺監視コントローラ30C内における所定の処理を行うことにより、監視画像生成部301C、検知部302C、及び、送信部305Cを起動させる。
【0111】
例えば、起動・停止部307Cは、現場監視部110の全部を稼働させる通常モードと、現場監視部110の一部だけを稼働させ、現場監視部110の電力消費量が相対的に少なくなるように制限する省エネモードとを有する。起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth1を超えている範囲で相対的に高い状態の場合、通常モードで現場監視部110を起動させ、相対的に低い状態の場合、省エネモードで現場監視部110を起動させてよい。また、起動・停止部307Cは、通常モードで現場監視部110を起動させた後に、バッテリ64の残容量Cが相対的に低い状態になった場合、通常モードから省エネモードに移行してもよい。
【0112】
尚、ショベル100から支援装置200に送信される周辺状況情報の中に、監視画像生成部301Cにより生成される周辺画像が含まれない場合、現場監視部110から監視画像生成部301Cは省略されてよい。例えば、周辺状況情報として、検知部302Cによる監視対象の検知の有無に関する情報だけが管理装置300に送信される場合、現場監視部110から監視画像生成部301Cは省略されてもよい。また、現場監視部110には、警報出力部303Cが含まれてもよい。これにより、例えば、ショベル100の停止中に、検知部302Cにより監視対象としての人(不審者)が検知された場合に、音声出力装置52による警報を出力させ、不審者の存在を作業現場の周辺に知らせることができる。
【0113】
一方、起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth1以下である場合、現場監視機能の起動不可と判定し、現場監視機能を起動させない。そして、起動・停止部307C(第1の外部通知部の一例)は、通信機器60を通じ、現場監視部110が起動可能であるか否かに関する情報として、現場監視機能が起動不可であることを示す通知(以下、「起動不可通知」)、を管理装置300経由で支援装置200に送信してよい。これにより、ユーザは、支援装置200を通じて、ショベル100の現場監視機能の起動ができない状況であることを認識することができる。
【0114】
尚、起動・停止部307Cは、バッテリ64の各種状態を確認せずに、停止中の現場監視機能の起動を試みてもよい。そして、起動・停止部307Cは、結果として、現場監視機能を起動できなかった場合に、通信機器60を通じて、起動不可通知を管理装置300経由で支援装置200に送信してもよい。また、起動・停止部307Cは、通信機器60を通じて、現場監視機能が起動可能である場合についても、現場監視機能が起動可能であることを示す通知を、管理装置300経由で支援装置200に送信してもよい。また、起動・停止部307Cは、現場監視機能(現場監視部110)が起動可能であるか否かに関する情報として、バッテリ64の各種状態に関する情報(例えば、充電状態に相当する残容量C等。以下、「電源状態情報」)を管理装置300経由で支援装置200に送信してもよい。ユーザは、支援装置200を通じて、バッテリ64の各種状態に関する情報を確認することにより、現場監視機能の起動可否を判断できる場合があるからである。
【0115】
また、起動・停止部307C(停止部の一例)は、現場監視部110の起動後、所定の条件が成立すると、ショベル100の停止中に起動された現場監視部110を停止させる。
【0116】
例えば、起動・停止部307Cは、所定の終了タイミングである場合、具体的には、通信機器60により管理装置300経由で現場監視終了指令が受信された場合、或いは、現場監視指令で設定される終了時刻に到達した場合に、現場監視部110を停止させる。
【0117】
また、例えば、起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth2(<Cth1)以下まで低下したか否かを判定する。起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth2(第2閾値の一例)以下まで低下している場合、終了タイミングとは無関係に、現場監視部110を停止させる。バッテリ64の残容量Cが低下し過ぎると、次回のショベル100の起動時にエンジン11を始動させることができなくなる可能性があるからである。そして、起動・停止部307C(第2の外部通知部の一例)は、通信機器60を通じ、現場監視部110が継続して稼働可能であるか否かに関する情報として、現場監視機能(現場監視部110)が継続して稼働不可であることを示す通知(以下、「監視継続不可通知」)を管理装置300経由で支援装置200に送信する。これにより、ユーザは、支援装置200を通じて、ショベル100の現場監視機能の継続稼働ができない状況であり、現場監視機能が停止されることを認識することができる。
【0118】
尚、起動・停止部307Cは、通信機器60を通じて、現場監視機能(現場監視部110)が継続して稼働可能な場合についても、現場監視機能が継続して稼働可能であることを示す通知を管理装置300経由で支援装置200に送信してもよい。また、起動・停止部307Cは、現場監視機能(現場監視部110)が継続して稼働可能であるか否かに関する情報として、バッテリ64の各種状態に関する情報(例えば、充電状態に相当する残容量等)を管理装置300経由で支援装置200に送信してもよい。ユーザは、支援装置200を通じて、バッテリ64の各種状態に関する情報を確認することにより、現場監視機能の継続可動の可否を判断できる場合があるからである。また、起動・停止部307Cは、現場監視部110が起動であるのか否かや、現場監視部110が継続して稼働可能であるのか否かとは関係なく、現場監視部110が稼働可能であるか否かに関する情報を管理装置300経由で支援装置200に通知してもよい。例えば、起動・停止部307Cは、通信機器60を通じて管理装置300経由で支援装置200から受信される取得要求に応じて、現場監視部110が稼働可能であるか否かに関する情報を、管理装置300経由で支援装置200に通知してよい。具体的には、起動・停止部307Cは、バッテリ64の残容量Cや、バッテリ64の残容量Cに基づく現場監視機能(現場監視部110)の稼働可能な時間等を、管理装置300経由で支援装置200に通知してよい。この場合、支援装置200は、管理装置300経由でショベル100から通知される情報を表示装置240に表示する。ユーザは、操作装置230を通じてバッテリ64の残容量Cや、現場監視機能の稼働可能な時間の表示を要求する操作を行うことで、これらの情報の取得要求を支援装置200から管理装置300経由でショベル100に送信させることができる。例えば、支援装置200は、バッテリ64の残容量Cや、現場監視機能の稼働可能な時間を表示装置240にバーグラフ等で表示させてよい。これにより、ユーザは、支援装置200を通じて、現場監視機能が稼働可能であるか否かに関する情報を容易に確認することができる。
【0119】
<支援装置の構成>
支援装置200は、制御装置210と、通信機器220と、操作装置230と、表示装置240を含む。
【0120】
制御装置210は、支援装置200の各種動作を制御する。制御装置210は、例えば、ROMや不揮発性の補助記憶装置に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、指令部2101と、情報取得部2102と、通知部2103を含む。また、制御装置210は、例えば、補助記憶装置等の不揮発性の内部メモリに規定された記憶領域としての記憶部2100を含む。
【0121】
通信機器220は、通信ネットワークNWを通じて、管理装置300等の支援装置200の外部と通信を行う任意のデバイスである。通信機器220は、例えば、LTE、4G、5G等の移動体通信規格に対応する移動体通信モジュールである。
【0122】
操作装置230は、ユーザからの支援装置200における各種操作を受け付ける。操作装置230は、例えば、ボタン、キーボード、マウス、タッチパッド、表示装置50に実装されるタッチパネル等のハードウェアによる操作部を含む。また、操作装置230は、表示装置240に実装されるタッチパネル等のハードウェアによる操作部と、表示装置240に表示される操作画面上のボタンアイコン等のソフトウェアによる操作部との組み合わせでもよい。
【0123】
表示装置240は、各種情報画像を表示する。表示装置240は、例えば、液晶ディスプレイや有機ELディスプレイである。
【0124】
指令部2101(送信部の一例)は、操作装置230を通じ、ユーザによる所定操作が行われた場合、通信機器220を通じて、管理装置300に、ショベル100を宛先とする現場監視指令を送信する。
【0125】
例えば、図7図7A,7B)は、表示装置240に表示される、現場監視指令を送信するための操作画面(以下、「指令送信操作画面」)の一例を示す図である。具体的には、図7Aは、現場監視指令の宛先のショベル100、つまり、遠隔操作の対象となるショベル100を選択する操作画面の一例(指令送信操作画面700)を示す図である。また、図7Bは、具体的な現場監視指令の設定を行うための操作画面の一例(指令送信操作画面710)を示す図である。
【0126】
まず、図7Aに示すように、指令送信操作画面700には、支援装置200を通じて周辺監視(現場監視)に関する遠隔操作が可能なショベル100の候補リスト701が表示される。候補リスト701は、記憶部2100に保存される遠隔操作機械情報2100Aに基づき表示される。記憶部2100の遠隔操作機械情報2100Aは、当該支援装置200によって現場監視に関する遠隔操作が可能なショベル100に関する最新の情報を含み、管理装置300から支援装置200に配信される最新の遠隔操作機械情報によって、適宜更新される。
【0127】
ユーザは、表示装置240に実装されるタッチパネル等を通じて、候補リスト701をスクロールさせる。これにより、ユーザは、遠隔操作の対象のショベル100を見つけ出すことができる。
【0128】
そして、ユーザは、タッチパネル等を通じて、候補リスト701のうちの遠隔操作の対象のショベル100に対応する項目欄の左端にチェック(図中の黒丸)を入れる。遠隔操作の対象のショベル100、つまり、現場監視指令の宛先のショベル100を選択することができる。このとき、選択されるショベル100は、一台であってもよいし、複数台であってもよい。本例では、"ショベルA"及び"ショベルB"の二台のショベル100が選択されている。
【0129】
最後に、ユーザは、タッチパネル等を通じて、指令送信操作画面700の下端の"確定"の文字情報が付記されるボタンアイコン702を操作する。これにより、ユーザは、遠隔操作の対象のショベル100、つまり、現場監視指令の宛先のショベル100の選択を確定させ、表示装置240の表示内容を指令送信操作画面710に遷移させることができる。
【0130】
続いて、図7Bに示すように、指令送信操作画面710には、選択された"ショベルA"に対する現場監視指令に関する各種の設定欄711~715が含まれる。
【0131】
"時間設定"の文字情報が付される設定欄711では、ショベル100(本例では、"ショベルA")が現場監視を行う時間帯等の設定が行われる。つまり、設定欄711において、ユーザは、現場監視指令に基づくショベル100による周辺監視の予約を行うことができる。これにより、ショベル100は、予約内容に応じて、自動的に、周辺監視を開始させることができる。本例では、設定欄711において、開始時刻("6:00")と終了時刻("8:00")が設定されている。また、設定欄711では、開始時刻と、ショベル100による周辺監視が行われる期間(例えば、3時間等)が設定されてもよい。また、設定欄711では、開始時刻や終了時刻等の代わりに、現場監視指令の送信によってショベル100による周辺監視が即時に開始されることを示す内容が設定されてもよい。つまり、設定欄711において、ユーザは、ショベル100による周辺監視の即時開始を設定することができる。また、設定欄711において、ショベル100が現場監視を行う複数の時間帯が設定可能であってもよい。例えば、設定欄711において、開始時刻及び終了時刻等により規定される具体的な複数の時間帯が設定されてよいし、最初の現場監視の開始時刻と、現場監視が実施される期間(例えば、30分)と、定期的な開始タイミングの時間間隔(例えば、一時間ごと)等が設定されてもよい。また、設定欄711において、複数の日を対象として、ショベル100が現場監視を行う時間帯等の設定が可能であってもよい。例えば、設定欄711において、特定の複数の日付の選択が可能な態様であってもよいし、毎日、毎週の特定の曜日(例えば、月曜日~金曜日)、或いは、毎月の特定の日等の定期的に繰り返される複数の日が選択可能な態様であってもよい。これにより、ユーザは、ショベル100に現場監視を行わせるたびに、支援装置200を通じて、毎回、現場監視指令の送信操作を行う必要がなくなるため、ユーザの利便性が向上する。
【0132】
尚、ショベル100が現場監視指令の受信に応じて、即時に、現場監視を開始する(現場監視機能を有効にする)前提の場合、設定欄711では、現場監視指令が送信されるタイミング(例えば、特定の日時)と、周辺監視が実施される期間(例えば、3時間等)が設定されてもよい。このとき、上述と同様に、設定欄711において、現場監視指令が送信される複数の日時が設定可能であってもよい。例えば、設定欄711において、現場監視指令が送信される具体的な複数の日時が指定されてもよいし、現場監視指令が送信される定期的なタイミングの時間間隔(例えば、一時間ごと)等が設定可能であってもよい。これにより、上述と同様、ユーザは、ショベル100に周辺監視を行わせるたびに、支援装置200を通じて、毎回、現場監視指令の送信操作を行う必要がなくなるため、ユーザの利便性が向上する。
【0133】
"カメラ画像取得"の文字情報が付される設定欄712では、ショベル100の撮像装置40の撮像画像の取得に関する設定が行われる。具体的には、設定欄712において、撮像装置40の撮像画像の取得の有無、及び、取得する撮像画像の種類(動画或いは静止画)が設定されうる。設定欄712において、本例では、撮像装置40の撮像画像の取得が有り("ON")で、且つ、取得する撮像画像の種類が"動画"に設定されている。
【0134】
"検知情報取得"の文字情報が付される設定欄713では、ショベル100の周辺の監視対象に関する情報、つまり、監視対象の検知の有無に関する情報の取得の有無に関する情報が設定される。設定欄713において、本例では、監視対象の検知の有無に関する情報の取得が有り("ON")と設定されている。
【0135】
"カメラ選択"の文字情報が付される設定欄714では、カメラ40B,40L,40Rのうちの撮像画像を取得するカメラの選択が行われる。設定欄714において、本例では、カメラ40B("後")及びカメラ40R("右")が撮像画像を取得するカメラとして選択("ON")され、一方、カメラ40Lが撮像画像を取得するカメラとして非選択("OFF")とされている。
【0136】
"ログ"の文字情報が付される設定欄715では、ショベル100から支援装置200に送信される周辺状況情報をログとして、ショベル100或いは管理装置300に記録させるか否かに関する設定が行われる。設定欄715において、本例では、ショベル100から支援装置200に送信される周辺状況情報をログとして記録させる("ON")設定がされている。この場合、ログは、例えば、ショベル100の記憶部308Cや管理装置300の後述する記憶部3100に保存されてよい。
【0137】
また、指令送信操作画面710には、スクロール操作等が行われることにより、"ショベルB"に関する設定欄711~715が表示されてよい。
【0138】
ユーザは、指令送信操作画面700で選択したショベル100(本例の"ショベルA"及び"ショベルB")について、タッチパネル等を通じて、適宜、設定欄711~715の設定を行う。そして、ユーザは、タッチパネル等を通じて、指令送信操作画面710の下端部の"送信"の文字情報が付記されるボタンアイコン716を操作する。これにより、指令部2101は、指令送信操作画面700で選択されたショベル100の識別情報、及び、選択されたショベル100ごとの設定欄711~715の設定内容を含む現場監視指令を、通信機器220を通じて、管理装置300に送信する。このように、ユーザは、指令送信操作画面700,710を通じて、現場監視指令を支援装置200から管理装置300経由でショベル100(本例では、"ショベルA"及び"ショベルB")に送信する操作を行うことができる。
【0139】
また、図1図3に戻り、指令部2101は、操作装置230を通じ、ユーザによる所定操作が行われた場合、通信機器220を通じて、管理装置300に、ショベル100を宛先とする現場監視終了指令を送信してもよい。これにより、上述した現場監視指令の設定内容(時間設定)とは関係なく、ショベル100における現場監視を終了させることができる。
【0140】
情報取得部2102(第1の取得部の一例)は、通信機器220を通じて、管理装置300経由でショベル100から送信される周辺状況情報を取得(受信)する。
【0141】
また、情報取得部2102(第2の取得部の一例)は、通信機器220を通じて、管理装置300経由でショベル100から送信される、ショベル100の現場監視機能(現場監視部110)が起動可能であるか否かに関する情報(例えば、起動不可通知)を取得(受信)する。また、情報取得部2102は、通信機器220を通じて、管理装置300経由でショベル100から送信される、ショベル100の現場監視機能(現場監視部110)が継続して稼働可能であるか否かに関する情報(例えば、監視継続不可通知)を取得する。また、情報取得部2102は、ショベル100の現場監視機能が起動可能であるか否かに関する情報や、現場監視機能が継続して稼働可能であるか否かに関する情報として、上述の如く、バッテリ64の各種状態に関する情報、つまり、電源状態情報(例えば、残容量C等)を取得してもよい。
【0142】
通知部2103(第1の通知部、第2の通知部の一例)は、情報取得部2102により取得された周辺状況情報等の各種情報をユーザに通知する。具体的には、通知部2103は、表示装置240に表示させることにより、周辺状況情報等の各種情報をユーザに通知(提供)する。また、通知部2103は、音声により、周辺状況情報等の各種情報をユーザに通知してもよい。これにより、ユーザは、現場監視指令に応じてショベル100から管理装置300経由で返信された周辺状況情報等の各種情報を確認することができる。
【0143】
例えば、図8は、支援装置200の表示装置240に表示される、周辺状況情報をユーザに通知する画面(以下、「現場状況通知画面」)の一例(現場状況通知画面800)を示す図である。
【0144】
現場状況通知画面800には、図7A,7Bの指令送信操作画面700,710を通じて、現場監視指令が送信されたショベル100("ショベルA")から取得された周辺状況情報が表示されている。
【0145】
具体的には、"カメラ画像"の文字情報が付記される表示欄811には、ショベル100("ショベルA")の撮像装置40で撮像された撮像画像が表示されている。表示欄811の撮像画像は、例えば、現在(略リアルタイム)のショベル100の周囲の様子を表す撮像画像であってもよいし、ある程度過去に遡った時点のショベル100の周囲の様子を表す撮像画像であってもよい。
【0146】
また、"検知情報"の文字情報が付記される表示欄812には、ショベル100の周辺で監視対象(具体的には、不審者)が検知されているか否かに関する情報が表示されている。本例では、表示欄811に表示されている撮像画像にも、不審者は写っておらず、不審者の検知が無い旨の文字情報("不審者の検知なし")が表示されている。
【0147】
このように、ユーザは、周辺状況情報に含まれる撮像装置40の撮像画像(表示欄811)によって、作業時間外の作業現場の状況を把握することができる。そのため、例えば、ユーザは、作業開始前に雨が降った場合に、作業現場のショベル100宛てに支援装置200から現場監視指令を送信させることにより、支援装置200で、作業現場が作業を行うことが可能な状況かどうかを作業現場に行かずとも確認できる。また、ユーザは、周辺状況情報に含まれる監視対象の検知の有無に関する情報(表示欄812)によって、作業時間外の作業現場への監視対象(不審者)の侵入の有無を確認することができる。そのため、例えば、ユーザは、作業現場のショベル100宛てに支援装置200から夜間の時間帯を指定した現場監視指令を送信させることにより、支援装置200で、夜間の監視対象の検知の有無を確認し、不審者の侵入等を把握することができる。
【0148】
また、例えば、図9は、作業現場におけるショベル100(ショベル100A,100B)の駐機状況を示す図である。以下、本例では、図中の右方向をX1方向、左方向をX2方向、上方向をY1方向、及び、下方向をY2方向と称する。
【0149】
本例では、作業現場900の1,2方向を長辺とする略矩形の敷地901におけるX1方向及びY方向の端部に相当する角部に設置される建屋902,903の付近に、上部旋回体3の後部をX2方向に向けた状態でショベル100Aが駐機されている
【0150】
ショベル100Aの停止中に、カメラ40B,40Rが起動されることにより、カメラ40B,40Rは、これらの撮像可能範囲AVB,AVRによって、敷地901のY1方向の略半分の領域の状況を確認可能な撮像画像を取得することができる。
【0151】
また、本例では、敷地901のY2方向の端部におけるX1,X2方向の中央付近に、上部旋回体3の後部をY1方向に向けた状態でショベル100Bが駐機されている。
【0152】
ショベル100Bの停止中に、カメラ40B,40L,40Rが起動されることにより、カメラ40B,40L,40Rは、その撮像可能範囲AVB,AVL,AVRによって、敷地901のY2方向の略半分の領域の状況を確認可能な撮像画像を取得することができる。
【0153】
よって、本例では、ユーザは、ショベル100A及びショベル100B宛ての現場監視指令を支援装置200から送信させることにより、作業現場900全体に亘る状況を確認することができる。
【0154】
このように、作業者や監督者等のユーザは、作業現場の一又は複数のショベル100の駐機状況等に合わせて、現場監視指令を支援装置200からショベル100宛てに送信させることにより、外部から作業現場全体の状況を確認することができる。また、ユーザは、作業現場における一又は複数のショベル100の配置を適宜工夫することにより、ショベル100から管理装置300経由で支援装置200に送信される周辺状況情報に基づき、外部から作業現場全体の状況を確認することができる。
【0155】
図1~3に戻り、また、ユーザは、周辺状況情報に含まれる撮像装置40の撮像画像によって、作業中の作業現場の状況を確認することができる。そのため、例えば、複数の作業現場を担当する監督者等のユーザは、地理的に離れた作業現場のショベル100宛てに支援装置200から現場監視指令を送信させることにより、支援装置200で、地理的に離れた作業中の作業現場の状況を確認することができる。また、ユーザは、周辺状況情報に含まれる監視対象の検知の有無に関する情報によって、作業中の作業現場でのショベル100に近接する監視エリアへの監視対象(作業者)の侵入の有無や頻度を確認することができる。そのため、例えば、複数の作業現場を担当する監督者等のユーザは、地理的に離れた作業現場のショベル100宛てに支援装置200から現場監視指令を送信させることにより、支援装置200で、地理的に離れた作業中の作業現場の安全状況を確認することができる。よって、ユーザは、ショベル100に近接する監視エリア内への作業者の侵入頻度が高い作業現場に対して、注意喚起の連絡を行ったり、或いは、その作業現場に出向いて、直接、注意喚起を行ったり等の対応を図ることができる。
【0156】
<管理装置の構成>
管理装置300は、制御装置310と、通信機器320を含む。
【0157】
制御装置310は、管理装置300の各種動作を制御する。制御装置310は、例えば、ROMや不揮発性の補助記憶装置等に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、中継部3101を含む。また、制御装置310は、例えば、補助記憶装置等の不揮発性の内部メモリに規定された記憶領域としての記憶部3100を含む。
【0158】
通信機器320は、通信ネットワークNWを通じて、ショベル100及び支援装置200等の管理装置300の外部と通信を行う任意のデバイスである。
【0159】
中継部3101は、通信機器320を通じて、ショベル100と支援装置200との間の通信を中継する。例えば、中継部3101は、通信機器320を通じて、支援装置200から現場監視指令を受信すると、当該現場監視指令で設定される宛先のショベル100に当該現場監視指令を送信(転送)する。また、例えば、中継部3101は、通信機器320を通じて、ショベル100から周辺状況情報等を受信すると、周辺状況情報等に設定(付与)される宛先の支援装置200に当該周辺状況情報等を送信(転送)する。
【0160】
尚、制御装置310は、通信機器320を通じて、ショベル100から支援装置200宛てに送信される周辺状況情報を受信した場合、当該周辺状況情報をログ情報として、記憶部300に保存してもよい。これにより、ユーザは、支援装置200を利用し、所定の方法で、管理装置300にアクセスし、当該ログ情報を確認することができる。
【0161】
記憶部300には、候補端末情報3100Aと、機械・端末対応情報310Bが格納される。
【0162】
候補端末情報3100Aは、支援装置200を通じて、或いは、管理装置300で登録される、ショベル100の現場監視に関する遠隔操作を行う候補の支援装置200に関する情報である。候補端末情報3100Aは、更新されると、通信機器320を通じて、ショベル100に送信される。これにより、ショベル100の候補端末情報3081Cが最新状態に維持されうる。
【0163】
機械・端末対応情報3100Bは、ショベル100と現場監視に関する遠隔操作が許可されている支援装置200との間の対応関係に関する情報である。機械・端末対応情報3100Bは、ショベル100で支援装置200による現場監視に関する遠隔操作が許可されるたびに当該ショベル100から通知される、許可された支援装置200に関する情報に基づき、更新される。例えば、機械・端末対応情報3100Bに基づき、支援装置200ごとの周辺監視に関する遠隔操作が許可されたショベル100に関する情報、つまり、遠隔操作機械情報が生成されうる。よって、機械・端末対応情報3100Bが更新されるごとに、新たな遠隔操作機械情報が生成され、支援装置200に送信される。これにより、支援装置200の記憶部2100に保存される遠隔操作機械情報2100Aが更新され、最新状態に維持されうる。
【0164】
[現場監視システムの動作の詳細]
次に、図10図10A~10D)を参照して、現場監視システムSYSの動作の詳細について説明する。
【0165】
<ショベルの周辺監視コントローラによる処理フロー>
図10A図10Bは、ショベル100の周辺監視コントローラ30Cによる現場監視に関する処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、通信機器60により管理装置300経由で支援装置200からの現場監視指令が受信されると、実行される。
【0166】
ステップS102にて、指令取得部306Cは、現場監視指令を受信バッファ等から取得し、現場監視指令の設定内容に基づき、周辺監視の開始タイミングであるか否かを判定する。具体的には、指令取得部306Cは、現場監視指令に含まれる時間設定の開始時刻が即時開始を示す内容であること、或いは、現在時刻が現場監視指令に含まれる時間設定の開始時刻に到達していることの何れかであるか否かを判定する。指令取得部306Cは、周辺監視の開始タイミングである場合、ステップS104に進み、それ以外の場合、周辺監視の開始タイミングに到達するまで待機する(本ステップの処理を繰り返す)。
【0167】
ステップS104にて、指令取得部306Cは、当該ショベル100が稼働中であるか(つまり、エンジン11が運転中であるか)否かを判定する。指令取得部306Cは、当該ショベル100が稼働中でない、つまり、停止中である場合、ステップS105に進み、当該ショベル100が稼働中である場合、ステップS116に進む。
【0168】
ステップS105にて、起動・停止部307Cは、指令取得部306Cからの指令に応じて、起動し、バッテリ64の残容量Cが所定閾値Cth1を超えているか否かを判定する。起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth1を超えている場合、ステップS106に進む。一方、起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth1を超えていない、つまり、所定閾値Cth1以下である場合、ステップS107に進み、通信機器60を通じて、起動不可通知を管理装置300経由で支援装置200に送信し、今回の処理を終了する。
【0169】
ステップS106にて、起動・停止部307Cは、指令取得部306Cにより取得された現場監視指令の設定内容に応じて、現場監視部110を起動させる。例えば、起動・停止部307Cは、現場監視指令において、カメラ40B,40L,40Rのうちの一部のカメラだけが撮像画像の取得対象のカメラとして選択されている(例えば、図7Bの指令送信操作画面710の設定欄71の一部だけが"ON"に設定されている)場合、選択されているカメラだけを起動させてよい。また、例えば、起動・停止部307Cは、現場監視指令において、監視対象の検知の有無に関する情報の取得が要求されていない(例えば、図7Bの指令送信操作画面710の設定欄713が"OFF"に設定されている)場合、検知部302Cを起動させなくてもよい。また、例えば、起動・停止部307Cは、現場監視指令において、監視画像生成部301Cにより生成される周辺画像の取得が要求されていない場合、監視画像生成部301Cを起動しなくてもよい。これにより、周辺状況情報を取得し、支援装置200に送信するために必要な機能だけが起動されるため、ショベル100の無駄なエネルギ消費(具体的には、バッテリ64の残容量の低下)を抑制することができる。また、ショベル100の現場監視部110が起動されても、ショベル100の停止状態が維持されエンジン11が始動されない。そのため、例えば、早朝や夜間等にエンジン11が始動され、騒音の問題が発生するような事態を抑制できる。また、ショベル100にオペレータ等が不在の状況で、ショベル100の各種動作要素(具体的には、下部走行体1、上部旋回体3、アタッチメント等)が動作してしまうような事態を抑制し、ショベル100の安全性を確保することができる。
【0170】
尚、ステップS106において、起動・停止部307Cは、現場監視部110だけでなく、ショベル100の全体機能を起動させてもよい。つまり、起動・停止部307Cは、エンジン11を始動させたり、動力源としてのバッテリや外部の商用源電源からの電力供給を開始させることにより、ショベル100を起動させてもよい。特に、ショベル100が電動ショベルの場合、エンジン11のように騒音も非常に小さく且つエネルギーロスも相対的に少ないため、全体機能を起動させる形態との相性が良い。
【0171】
ステップS108にて、現場監視部110は、現場監視指令の設定内容に応じて、現場監視を開始する。具体的には、現場監視部110は、現場監視指令の設定内容に対応する周辺状況情報を取得すると共に、通信機器60を通じて、管理装置300に、支援装置200宛ての周辺状況情報を送信する処理を開始する。
【0172】
ステップS110にて、起動・停止部307Cは、現場監視の終了タイミングか否かを判定する。具体的には、起動・停止部307Cは、現場監視指令で設定される終了時刻に到達したこと、或いは、通信機器60により管理装置300経由で支援装置200から現場監視終了指令が受信されたことの何れかに該当するか否かを判定する。起動・停止部307Cは、現場監視の終了タイミングでない場合、ステップS112に進み、終了タイミングである場合、ステップS114に進む。
【0173】
ステップS112にて、起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth2以下まで低下しているかを判定する。起動・停止部307Cは、バッテリ64の残容量Cが所定閾値Cth2以下まで低下している場合、ステップS113に進み、それ以外の場合、ステップS110に戻る。
【0174】
ステップS113にて、起動・停止部307Cは、通信機器60を通じて、監視継続不可通知を管理装置300経由で支援装置200に送信する。
【0175】
ステップS114にて、現場監視部110は、現場監視(つまり、周辺状況情報の取得及び支援装置200への送信)を終了すると共に、起動・停止部307Cは、現場監視部110を停止させて、今回の処理を終了する。
【0176】
一方、ステップS116にて、指令取得部306Cは、表示装置50を通じて、オペレータ等に対する周辺状況情報の外部への送信を開始することを示す通知を行う。
【0177】
ステップS118にて、現場監視部110は、ステップS108と同様、現場監視指令の設定内容に応じて、現場監視を開始する。
【0178】
ステップS120にて、起動・停止部307Cは、ステップS110と同様、現場監視の終了タイミングであるか否かを判定する。起動・停止部307Cは、現場監視の終了タイミングである場合、ステップS122に進み、終了タイミングでない場合、終了タイミングになるまで、本ステップの処理を繰り返す。
【0179】
ステップS122にて、現場監視部110は、現場監視(つまり、周辺状況情報の取得及び支援装置200への送信)を終了し、今回の処理を終了する。
【0180】
<支援装置の制御装置による処理フロー>
図10C図10Dは、支援装置200の制御装置210による現場監視に関する処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、現場監視指令の送信操作が行われると、実行される。
【0181】
ステップS202にて、指令部2101は、通信機器220を通じて、特定のショベル100宛ての現場監視指令を管理装置300に送信する。
【0182】
ステップS204にて、通知部2103は、現場監視の開始直前のタイミング(例えば、現場監視指令で設定された開始時刻の数分前等)であるかを判定する。通知部2103は、現場監視の開始直前のタイミングである場合、ステップS206に進み、それ以外の場合、現場監視の開始直前のタイミングが到来するまで待機する(本ステップの処理を繰り返す)。
【0183】
ステップS205にて、通知部2103は、通信機器220を通じて、管理装置300経由で支援装置200から起動不可通知が受信されたか否かを判定する。通知部2103は、起動不可通知が受信されていない場合、ステップS206に進む。一方、通知部2103は、起動不可通知が受信されている場合、ステップS207に進み、表示装置240を通じて、ショベル100の現場監視機能を起動させることができない旨をユーザに通知し、今回の処理を終了する。
【0184】
ステップS206にて、通知部2103は、表示装置240を通じて、周辺状況情報の表示装置240への表示開始をユーザに対して確認する通知を行う。
【0185】
ステップS208にて、情報取得部2102は、操作装置230を通じて、周辺状況情報の表示装置240への表示開始に同意する操作が行われた場合、ステップS210に進み、当該操作が行われない場合、行われるまで待機する(本ステップの処理を繰り返す)。
【0186】
尚、周辺状況情報の受信の終了(つまり、ショベル100の現場監視の終了)まで、表示開始を同意する操作が行われない場合もあり得る。そのため、本フローチャートによる処理は、現場監視指令で設定される終了時刻等が到来すると、強制終了されてもよい。
【0187】
ステップS210にて、情報取得部2102は、通信機器220を通じて、管理装置300に現場監視指令の宛先であるショベル100からの周辺状況情報を要求する信号を送信する。
【0188】
ステップS212にて、情報取得部2102は、通信機器220を通じて、管理装置300経由でショベル100からの周辺状況情報の受信が開始されたか否かを判定する。情報取得部2102は、ショベル100からの周辺状況情報の受信が開始された場合、ステップS214に進み、開始されていない場合、開始されるまで待機する(本ステップの処理を繰り返す)。
【0189】
尚、例えば、通信障害等の何等かの理由で、周辺状況情報の受信が開始されない場合もあり得る。そのため、情報取得部2102は、通信機器220を通じて、管理装置300に対するショベル100からの周辺状況情報を要求する信号の送信リトライを複数回行ってもよい。また、本フローチャートによる処理は、ショベル100からの周辺状況情報を要求する信号の送信からある程度の時間が経過すると、強制終了されてもよい。
【0190】
ステップS214にて、通知部2103は、情報取得部2102により取得される周辺状況情報の表示装置240への表示を開始する。
【0191】
ステップS215にて、通知部2103は、通信機器220を通じて、管理装置300経由でショベル100から監視継続不可通知が受信されたか否かを判定する。通知部2103は、監視継続不可通知が受信されていない場合、ステップS216に進み、監視継続不可通知が受信された場合、ステップS219に進む。
【0192】
ステップS216にて、情報取得部2102は、管理装置300からの周辺状況情報の受信が終了したか否か、つまり、ショベル100における現場監視が終了したか否かを判定する。情報取得部2102は、管理装置300からの周辺状況情報の受信が終了した場合、ステップS218に進み、それ以外の場合、ステップS215に戻る。
【0193】
尚、ステップS216では、現場監視指令で設定される終了タイミング(例えば、終了時刻等)に到達したか否かが判定されてもよい。
【0194】
ステップS218にて、情報取得部2102は、表示装置240を通じて、ショベル100による現場監視の期間が終了した旨をユーザに通知し、ステップS220に進む。
【0195】
一方、ステップS219にて、通知部2103は、表示装置240を通じて、ショベル100の現場監視機能(現場監視部110)が継続して稼働できない状況である旨をユーザに通知し、ステップS220に進む。
【0196】
ステップS220にて、通知部2103は、周辺状況情報の表示装置240への表示を終了し、今回の処理を終了する。
【0197】
[変形・変更]
以上、第1実施形態について詳述したが、本実施形態の内容が示す要旨の範囲内において、種々の変形・変更が可能である。
【0198】
例えば、本実施形態では、支援装置200から管理装置300経由で現場監視指令が送信されるが、管理装置300の管理者等の操作によって、管理装置300(外部装置の一例)からショベル100に現場監視指令が送信されてもよい。また、管理装置300に予め設定されるタイマ機能等によって、予め規定された設定内容の現場監視指令が管理装置300からショベル100に送信されてもよい。この場合、ショベル100から管理装置300に周辺状況情報等が送信され、管理装置300の管理者等は、管理装置300の表示装置等を通じて、周辺状況情報等を確認することができる。
【0199】
また、本実施形態では、略リアルタイムにショベル100から管理装置300経由で支援装置200に周辺状況情報が送信されるが、事後的に確認可能な態様で、周辺状況情報がユーザに提供されてもよい。例えば、管理装置300は、支援装置200にショベル100から送信された周辺状況情報を送信するのに代えて、或いは、加えて、当該支援装置200のユーザのメールアドレスや所定のソーシャルネットワーキングサービス(SNS:Social Networking Service)のアカウントに送信してもよい。例えば、支援装置200に直接的に送信される周辺監視情報は、通常、支援装置200のリングバッファ等の容量の観点から事後的な確認を前提とせずに消去される場合が有りうる。これに対して、ユーザのメールアドレスやSNSのアドレスにダイジェスト版等の周辺監視情報が送信されることより、ユーザは、多少のタイムラグはあるものの、ショベル100の作業現場の状況を、事後的に確認することができる。
【0200】
また、本実施形態では、ショベル100(周辺監視コントローラ30C)は、都度の現場監視指令の受信に応じて、周辺状況情報を取得するが、現場監視指令とは関係なく、予め設定されるタイミングで周辺状況情報を取得してもよい。そして、ショベル100(周辺監視コントローラ30C)は、取得した周辺状況情報をログ情報として内部メモリ(記憶部308C)に記録したり、適宜、管理装置300に送信してよい。これにより、ユーザが支援装置200からショベル100に現場監視指令を送信(設定)し忘れたような状況であっても、管理装置300に作業現場の周辺状況情報が保存される。例えば、ユーザ(監督者)の担当の現場が変わったことにより、新しい現場に関する現場監視指令を忘れてしまったり、現場監視指令に関する前回の設定の期限が切れてしまっていることを忘れてしまったりするような状況も想定されるからである。そのため、ユーザは、このような状況であっても、支援装置200を通じて、管理装置300にアクセスし、保存された特定のショベル100の直近の周辺状況情報を支援装置200にダウンロードする等により、作業現場の状況を確認することができる。
【0201】
この場合、ショベル100(周辺監視コントローラ30C)による周辺状況情報の取得タイミングは、例えば、ショベル100の表示装置50に表示される所定の操作画面を通じて、オペレータ等により設定されてよい。また、ショベル100による周辺状況情報の取得タイミングは、支援装置200の表示装置240に表示される所定の操作画面を通じて、支援装置200のユーザにより設定され、その設定内容が管理装置300経由でショベル100に反映される態様であってもよい。
【0202】
また、この場合、ショベル100による周辺状況情報の取得タイミングとして、例えば、毎日の一回或いは複数回の同じ時間帯、毎週の月曜日から金曜日の同じ時間帯等、定期的な取得タイミングの設定が可能であってよい。また、周辺状況情報の取得タイミングとして、ショベル100が停止されている場合等に、周辺状況情報が随時(例えば、周辺監視コントローラ30Cの処理リソースが比較的空いているとき等)、或いは、ランダムなタイミング(例えば、所定のランダム関数で規定されるトリガの出力時等)で取得されるような設定が可能であってもよい。
【0203】
また、この場合、管理装置300は、ショベル100から受信される周辺状況情報を分析し、所定のイベント(例えば、作業現場が閉鎖されている時間帯での不審者等の検知)の発生を監視してよい。そして、管理装置300は、所定のイベントが発生した場合に、当該ショベル100に現場監視指令を送信可能な支援装置200に、プッシュ通知でアラートを送信してよい。また、当該アラートは、当該支援装置200のユーザのメールアドレスや所定のSNSのアカウントに送信されてもよい。これにより、ユーザは、現場監視指令をショベル100に送信していない場合であっても、ショベル100が駐機されている作業現場での不審者の検知等、当該作業現場に関する所定のイベントの発生を把握することができる。
【0204】
また、この場合、管理装置300は、予め送信対象として登録されている支援装置200で所定のアプリケーションが起動されている場合、ショベル100から受信される周辺状況情報を、当該支援装置200にリアルタイムに送信してよい。これにより、ユーザは、支援装置200で所定のアプリケーションを起動させるだけで、リアルタイムの周辺状況情報(例えば、ショベル100の周囲の様子を表す撮像装置40の撮像画像)を確認することができる。このとき、管理装置300は、所定のアプリケーションが起動され、且つ、支援装置200でユーザによる確認操作がなされた場合に、ショベル100から受信される周辺状況情報を、当該支援装置200にリアルタイムに送信してもよい。これにより、例えば、ユーザが必要としない周辺状況情報がリアルタイムに送信されることにより、無駄な通信費用を要してしまうような事態を抑制することができる。また、管理装置300は、支援装置200からの取得リクエストが受信された場合に、ショベル100から受信された周辺状況情報を支援装置200に送信してもよい。このとき、支援装置200は、ユーザによる操作に応じて、未取得のショベル100の周辺状況情報を一括で取得するための取得リクエストを送信してよい。また、支援装置200は、ユーザによる操作に応じて、管理装置300から取得する周辺状況情報を、時間帯、情報の種類、情報に付随するメタ情報等に関する条件で限定する取得リクエストを管理装置300に送信してもよい。これにより、ユーザは、現場監視指令を送信していない場合に、支援装置200を通じて、管理装置300にアクセスし、必要な周辺状況情報を支援装置200に取得させることができる。
【0205】
また、本実施形態では、ショベル100(周辺監視コントローラ30C)は、警報出力部303Cと動作制限部304Cの双方を含むが、何れか一方だけを含んでもよい。つまり、ショベル100の周辺監視コントローラ30Cは、ショベル100から見た水平方向の監視エリア内で監視対象を検知した場合に、警報の出力及びショベル100の動作制限の何れか一方だけを行う態様であってもよい。
【0206】
また、本実施形態では、ショベル100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の各種動作要素を全て油圧駆動する構成であったが、その一部が電気駆動される構成であってもよい。つまり、本実施形態で開示される構成等は、ハイブリッドショベルや上述の電動ショベル等を含む現場監視システムに適用されてもよい。
【0207】
また、本実施形態では、ショベル100は、キャビン10に搭乗するオペレータの操作に応じて動作するが、通信機器60を通じて外部装置(例えば、管理装置300等)からの受信される操作入力によって、遠隔操作されてもよい。
【0208】
この場合、ショベル100(周辺監視コントローラ30C)は、外部装置から遠隔操作で設定される所定の条件に応じて、自動的に、周辺状況情報を取得し、管理装置300経由で支援装置200に送信してもよい。所定の条件は、例えば、上述と同様の日時の条件の他、"ショベル100の作業が終了し停止したこと"等のショベル100の動作状態に関する条件や、"ショベル100の周囲の照度が相対的に低下したこと(夜間になったこと)等のショベル100の周囲の環境状態に関する条件が含んでよい。
【0209】
また、ショベル100は、オペレータの操作や外部装置からの操作入力に依らず、自律的に動作し、所定の作業を行う態様であってもよい。
【0210】
この場合、ショベル100(周辺監視コントローラ30C)は、自律的に、周辺状況情報を取得すべきタイミングを学習してよい。そして、ショベル100は、学習結果に対応するタイミングで、自律的に、周辺状況情報を取得し、管理装置300経由で支援装置200に送信してもよい。
【0211】
また、本実施形態に係る現場監視システムは、工場やオフィス等で稼働する搬送装置(例えば、搬送ロボット)に適用されてもよい。例えば、時間帯によって、工場やオフィス等には人がいなくなるため、そのような時間帯において、搬送装置は、周辺状況情報を取得し、管理装置経由で支援装置に周辺状況情報を送信してよい。これにより、工場やオフィス等に人がいなくなる時間帯のセキュリティ性を向上させることができる。
【0212】
尚、本実施形態について、更に以下を開示する。
【0213】
(1)
外部と通信可能な作業機械であって、
当該作業機械の周辺の状況に関する情報を取得するセンサと、
当該作業機械の外部装置からの指令に応じて、前記センサにより取得される、又は、前記センサにより取得される情報に基づき生成される、当該作業機械の周辺の状況に関する情報を前記外部装置に送信する送信部と、を備える、
作業機械。
【0214】
(2)
前記センサは、当該作業機械の周辺を撮像する撮像装置を含み、
前記送信部は、前記指令に応じて、前記撮像装置により撮像される当該作業機械の周辺の撮像画像を前記外部装置に送信する、
(1)に記載の作業機械。
【0215】
(3)
当該作業機械の停止中に、前記指令が受信された場合、少なくとも前記センサ及び前記送信部を含む監視部を起動させる起動部を更に備える、
(1)又は(2)に記載の作業機械。
【0216】
(4)
前記起動部は、当該作業機械の停止中に、前記指令が受信された場合、当該作業機械の停止状態を維持しつつ、前記監視部だけを起動させる、
(3)に記載の作業機械。
【0217】
(5)
前記センサにより取得される情報に基づき、当該作業機械の周辺の所定範囲内で、所定の監視対象を検知する検知部を更に備え、
前記起動部は、当該作業機械の停止中に、前記監視部として、前記センサ及び前記送信部に加えて、前記検知部を起動し、
前記送信部は、前記検知部により検知される、当該作業機械の周辺の前記監視対象に関する情報を前記外部装置に送信する、
(3)又は(4)に記載の作業機械。
【0218】
(6)
前記送信部は、当該作業機械の停止中に前記起動部により前記監視部が起動された場合、前記検知部により前記監視対象が検知されたときに、当該作業機械の周辺の前記所定範囲内で前記監視対象が検知されたことを示す情報を前記外部装置に送信する、
(5)に記載の作業機械。
【0219】
(7)
前記監視部を含む当該作業機械の機器に電力を供給する電源を更に備え、
前記起動部は、前記指令が受信され、且つ、前記電源の残容量が所定の第1閾値を超えている場合、前記監視部を起動させる、
(3)乃至(6)の何れか一項に記載の作業機械。
【0220】
(8)
前記外部装置に通知を送信する第1の外部通知部を更に備え、
前記起動部は、前記指令が受信された場合であっても、前記電源の残容量が前記第1閾値以下である場合、前記監視部を起動させず、
前記第1の外部通知部は、前記電源の残容量が前記第1閾値を超えていないことにより、前記起動部によって前記監視部が起動されなかった場合に、前記外部装置に前記監視部が起動できない状況であることを示す通知を前記外部装置に送信する、
(7)に記載の作業機械。
【0221】
(9)
当該作業機械の停止中に前記起動部により前記監視部が起動された場合、前記電源の残容量が所定の第2閾値以下に低下したときに、前記監視部を停止させる停止部を更に備える、
(7)又は(8)に記載の作業機械。
【0222】
(10)
前記電源の残容量が前記第2閾値以下に低下したときに、前記外部装置に前記監視部が継続して稼働できない状況であることを示す通知を送信する第2の外部通知部を更に備える、
(9)に記載の作業機械。
【0223】
(11)
当該作業機械の稼働中に前記指令が受信された場合、前記送信部により当該作業機械の周辺の状況に関する情報が前記外部装置に送信されることをオペレータに通知する内部通知部を更に備える、
(1)乃至(10)の何れか一項に記載の作業機械。
【0224】
(12)
ユーザ端末による当該作業機械の遠隔操作を許可するための所定の操作を受け付ける許可操作部を更に備え、
前記外部装置は、前記ユーザ端末、又は、前記ユーザ端末及び当該作業機械と通信可能な管理装置であり、
前記送信部は、前記許可操作部により前記所定の操作が受け付けられた場合に、前記ユーザ端末から直接又は前記管理装置を経由して受信される前記指令に応じて、当該作業機械の周辺の状況に関する情報を前記外部装置に送信する、
(1)乃至(11)の何れか一項に記載の作業機械。
【0225】
(13)
作業機械の周辺の状況に関する情報を取得し、前記作業機械の外部に送信する監視部を備える前記作業機械と通信可能な支援装置であって、
ユーザからの所定の操作に応じて、前記作業機械の周辺の状況に関する情報を要求する指令を前記作業機械に送信する送信部と、
前記指令に応じて前記作業機械から送信される、前記作業機械の周辺の状況に関する情報を取得する第1の取得部と、
前記第1の取得部により取得された、前記作業機械の周辺の状況に関する情報をユーザに通知する第1の通知部と、を備える、
支援装置。
【0226】
(14)
前記指令に応じて、停止中の前記作業機械における前記監視部が起動可能か否か、又は、前記監視部が起動された後、稼働中の前記監視部が継続して稼働可能か否かに関する情報を、前記作業機械から取得する第2の取得部と、
前記第2の取得部により取得された情報をユーザに通知する第2の通知部と、を含む、
(13)に記載の支援装置。
【0227】
(15)
前記第2の取得部は、前記作業機械に搭載され、前記監視部に電力を供給する電源の状態に関する情報を取得する、
(14)に記載の支援装置。
【0228】
(16)
作業機械の周辺の状況に関する情報を取得し、前記作業機械の外部に送信する監視部を備える前記作業機械と通信可能な支援装置が実行する支援方法であって、
ユーザからの所定の操作に応じて、前記作業機械の周辺の状況に関する情報を要求する指令を前記作業機械に送信する送信ステップと、
前記指令に応じて前記作業機械から送信される、前記作業機械の周辺の状況に関する情報を取得する第1の取得ステップと、
前記第1の取得ステップで取得された、前記作業機械の周辺の状況に関する情報をユーザに通知する第1の通知ステップと、を含む、
支援方法。
【0229】
(17)
支援装置に(16)に記載の支援方法を実行させる、
支援プログラム。
【0230】
〔第2実施形態〕
次いで、第2実施形態について説明する。
【0231】
ショベル等の作業機械の周辺の監視範囲内で所定の監視対象(例えば、人)が検知されると、警報を出力したり、作業機械の動作を制限したり等し、作業機械の周辺の安全性を確保する周辺監視装置が知られている(例えば、特開2014-181508号公報)。
【0232】
しかしながら、監視対象が監視範囲内で検知されなくなった場合であっても、当該監視対象が監視範囲を含む作業機械に相対的に近い近接領域に未だ存在している場合が想定されうる。例えば、監視対象が人である場合、作業機械のアイドリング中に、オペレータが作業機械から離れている状況で、作業者等が作業機械の下に潜りこんで下回りを点検したり、旋回体の上部からエンジンルームの点検を行ったりする場合があり得る。この場合、作業機械の旋回体の下や旋回体の上部は、通常、監視範囲に含まれないため、作業者等は、監視範囲内に侵入した後、監視範囲内から監視範囲外の近接領域に出ていってしまい、警報の出力や動作制限が解除されてしまう可能性がある。すると、作業機械に戻ってきたオペレータは、警報の出力や動作制限が解除されている状態であるため、作業者等が作業機械の点検等を行っているにも関わらず、安心して作業機械による作業を開始させてしまう可能性がある。
【0233】
そこで、本実施形態では、作業機械に近接する監視範囲外の領域に監視対象が存在する場合の作業機械の安全性を向上させることが可能な周辺監視装置を提供する。
【0234】
[ショベルの概要]
まず、図11を参照して、本実施形態に係る周辺監視装置150(図12参照)が搭載されるショベル100(作業機械の一例)の概要について説明をする。
【0235】
図11は、本実施形態に係る周辺監視装置150が搭載されるショベル100の一例を示す図であり、具体的には、ショベル100の側面図である。
【0236】
尚、本実施形態に係る周辺監視装置150は、ショベル100以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置150は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械、クローラクレーン等に搭載されてもよい。
【0237】
ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業装置)としてのブーム4、アーム5、及び、バケット6と、キャビン10を備える。
【0238】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
【0239】
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
【0240】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0241】
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
【0242】
[周辺監視装置の構成]
次に、図11に加えて、図12を参照して、本実施形態に係る周辺監視装置150の具体的な構成について説明をする。
【0243】
図12は、本実施形態に係る周辺監視装置150の構成の一例を示すブロック図である。
【0244】
周辺監視装置150は、ショベル100の周辺の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」)の侵入を監視し、監視対象を検知した場合、警報を出力したり、ショベルの動作を制限したりする。監視対象には、ショベル100の周囲で作業する作業者や作業現場の監督者等の人だけでなく、作業現場に仮置きされた資材等の定置された障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体が含まれうる。以下、本実施形態では、監視対象が人である場合を中心に説明を続ける。
【0245】
周辺監視装置150は、コントローラ30と、撮像装置40と、表示装置50と、音声出力装置52と、ゲートロック弁54と、解除スイッチ70と、監視機能ON/OFFスイッチ(以下、便宜的に「監視機能スイッチ」)72と、表示内容切替スイッチ74と、監視エリア切替スイッチ76を含む。
【0246】
コントローラ30は、ショベル100の駆動制御を行う主たる制御装置である。例えば、コントローラ30は、キャビン10内に搭載され、周辺監視装置150に関する各種制御処理を行う。
【0247】
コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよい。コントローラ30は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置、RTC(Real Time Clock)、及び各種通信用インターフェース等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、ROMや補助記憶装置に格納される各種プログラムをCPU上で実行することにより実現される機能部として、表示制御部3011と、検知部3012と、追跡部3013と、警報出力部3014と、動作制限部3015を含む。
【0248】
撮像装置40(センサの一例)は、上部旋回体3の上部に取り付けられ、ショベル100の周辺を撮像し、撮像画像を出力する。出力される撮像画像には、ショベル100の周辺に存在する監視対象を含む物体が含まれうる。つまり、撮像装置40は、ショベル100の周辺に存在する物体に関する検知情報としての撮像画像を出力する。撮像装置40は、カメラ40B,40L,40Rを含む。
【0249】
カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、非常に広い画角を有する単眼の広角カメラである。具体的には、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、ショベル100の運転中、所定周期(例えば、1/30秒)ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ30に取り込まれる。
【0250】
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作部を兼ねるタッチパネル式であってもよい。具体的には、表示装置50は、後述の如く、撮像装置40の撮像画像(スルー画像)や、コントローラ30により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、後述する視点変換画像)等を表示する。
【0251】
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。具体的には、音声出力装置52は、コントローラ30から制御指令に基づき、警報音を出力する。
【0252】
ゲートロック弁54は、パイロットポンプからショベル100の動作要素(即ち、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等)を操作する操作装置(不図示)に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通/非連通を切り替える。
【0253】
例えば、ゲートロック弁54は、通常、キャビン10内の操縦席の入口に相当する部分に設けられるゲートロックレバーの操作状態と連動する、ゲートロックスイッチの出力信号(ON/OFF)に応じて、パイロットラインの連通/非連通を切り替える。具体的には、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態(即ち、操縦席にオペレータが着座した状態)に対応する信号(以下、便宜的に「OFF信号」)である場合、パイロットラインを連通状態にする。一方、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態(即ち、操縦席からオペレータが離脱した状態)に対応する信号(以下、便宜的に「ON信号」)である場合、パイロットラインを非連通状態にする。
【0254】
また、例えば、ゲートロック弁54は、コントローラ30から入力される指令信号も受付可能に構成される。具体的には、ゲートロック弁54は、その信号入力部が、コントローラ30からの指令信号が割り込み可能な論理回路に接続されてよい。これにより、ゲートロック弁54は、コントローラ30からの指令信号(OFF信号/ON信号)に応じて、パイロットラインの連通/非連通を切り替えることができる。即ち、ゲートロック弁54は、コントローラ30による制御の下、ゲートロックレバーが引き上げられた状態であっても、パイロットラインを非連通状態にすることができる。
【0255】
解除スイッチ70は、例えば、キャビン10内の操縦席の近辺に設けられ、オペレータ等が後述する警報やショベル100の動作制限を解除する解除意思を入力する操作部である。解除スイッチ70は、例えば、後述する操作部50Bの押しボタン、レバー、回転ノブ等のハードウェアによる操作部であってよい。また、解除スイッチ70は、例えば、表示装置50に表示される操作画面上の仮想的なボタン(アイコン)等のソフトウェアによる操作部と、表示装置50に実装されるタッチパネル等のハードウェアによる操作部との組み合わせでもよい。以下、監視機能スイッチ72、表示内容切替スイッチ74、及び監視エリア切替スイッチ76等についても同様である。解除スイッチ70の操作状態に関する情報は、コントローラ30に取り込まれる。
【0256】
尚、解除スイッチ70の代わりに、オペレータによる解除意思に対応する特定のポーズやジェスチャを認識するカメラ、オペレータによる解除意思に対応する特定の視線移動を認識する視線センサ等が採用されてもよい。以下、監視機能スイッチ72、表示内容切替スイッチ74、及び監視エリア切替スイッチ76等についても同様である。
【0257】
監視機能スイッチ72は、例えば、キャビン10内の操縦席の近辺に設けられ、オペレータ等が周辺監視装置150による監視機能をON/OFFするための操作部である。つまり、監視機能スイッチ72は、監視対象の検知に基づき実行される、警報の出力及びショベル100の動作制限の機能を有効状態或いは無効状態にするための操作部である。
【0258】
例えば、監視機能スイッチ72に対するオペレータ等の操作に応じて、監視機能が有効になっている場合、後述する表示制御部3011、検知部3012、追跡部3013、警報出力部3014、及び、動作制限部3015の機能は、有効になっている。
【0259】
一方、例えば、監視機能スイッチ72に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、表示制御部3011(少なくとも監視機能に関する機能部分)、検知部3012、追跡部3013、警報出力部3014、及び、動作制限部3015の全ての機能は、無効である。また、この場合、検知部3012、追跡部3013、警報出力部3014、及び、動作制限部3015のうち、警報出力部3014及び動作制限部3015の機能だけが無効であり、表示制御部3011の監視機能に関する機能や検知部3012及び追跡部3013の機能は有効のままであってもよい。これにより、監視機能を無効に維持しつつ、監視機能スイッチ72の操作に応じて、監視機能が有効化された場合に、表示制御部3011、検知部3012、及び追跡部3013等の機能を再起動させる必要がなく、監視機能の再開までに要する時間を短縮させることができる。
【0260】
また、例えば、監視機能スイッチ72に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、監視機能が無効状態であることを示すインジケータが、コントローラ30(後述する表示制御部3011)による制御の下、表示装置50に表示される。また、キャビン10内に赤色ランプ等で構成される専用インジケータが設けられ、例えば、監視機能スイッチ72に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、当該専用インジケータが点灯する態様であってもよい。これにより、周辺監視装置150は、監視機能(つまり、監視対象の検知に基づく警報の出力やショベル100の動作制限等の機能)が無効状態であることを、オペレータ等に認識させることができる。
【0261】
監視機能スイッチ72の操作状態に関する情報は、コントローラ30に取り込まれる。
【0262】
表示内容切替スイッチ74は、例えば、キャビン10内の操縦席の近辺に設けられ、オペレータ等が表示装置50に表示される内容を切り替えるための操作部である。例えば、表示内容切替スイッチ74は、表示装置50の表示させる監視画像を、撮像装置40の撮像画像にするのか、後述の周辺画像を含む監視画像にするのか、或いは、双方の同時表示にするのか等を切り替える操作部である。表示内容切替スイッチ74の操作状態に関する情報は、コントローラ30に取り込まれる。
【0263】
監視エリア切替スイッチ76は、例えば、キャビン10内の操縦席の近辺に設けられ、オペレータ等が監視対象の侵入を監視する監視エリア(監視範囲の一例)を設定するための操作部である。例えば、オペレータは、監視エリア切替スイッチ76を操作することにより、カメラ40B,40L,40Rのそれぞれに対応する個別の監視エリアのうちの一部又は全部を、周辺監視装置150の監視エリアとして設定することができる。以下、カメラ40B,40L,40Rごとの個別の監視エリアを「個別監視エリア」と称し、周辺監視装置150(つまり、後述する検知部3012)の全体の監視エリアと区別する。
【0264】
尚、監視エリアには、デフォルトの設定があり、例えば、ショベル100の起動後、監視エリア切替スイッチ76の操作が行われていない場合、周辺監視装置150は、デフォルトで設定された監視エリア内への監視対象の監視を行う。
【0265】
表示制御部3011は、表示装置50にショベル100の周辺の状況を示す監視画像を表示させる。
【0266】
例えば、表示制御部3011は、オペレータによる表示内容切替スイッチ74に対する操作に応じて、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つのカメラの撮像画像を表示装置50に表示させる。以下、表示装置50に表示される当該撮像画像を「スルー画像」と称する場合がある。
【0267】
また、例えば、表示制御部3011は、オペレータによる表示内容切替スイッチ74に対する操作に応じて、撮像装置40の撮像画像に基づき、後述する周辺画像(合成画像の一例)を生成し、周辺画像を含む監視画像を表示装置50に表示させる。
【0268】
具体的には、表示制御部3011は、周辺画像として、カメラ40B,40L,40Rの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、表示制御部3011は、周辺画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示制御部3011は、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置50に表示させる。
【0269】
尚、表示制御部3011の機能は、表示装置50に内蔵されてもよい。この場合、撮像装置40(カメラ40B,40L,40R)の撮像画像、及び、検知部3012の検知結果等の情報は、それぞれ、撮像装置40及びコントローラ30から表示装置50に取り込まれる。
【0270】
例えば、表示装置50には、上述の図5A及び図5Bに示す監視画像が表示される。
【0271】
図5A及び図5Bに示すように、本例では、表示装置50は、各種情報画像が表示される表示領域である表示部50Aと、表示部50Aに表示される各種情報画像に関するオペレータ等による操作を受け付ける、ボタンスイッチ等のハードウェアによる操作部50Bを含む。
【0272】
表示部50Aは、例えば、表示装置50における横長の長方形のディスプレイ(例えば、アスペクト比4:3のディスプレイ)である。
【0273】
図5Aに示すように、表示部50Aには、監視画像MP1として、上述の如く、カメラ40B,40L,40Rの何れかのスルー画像が表示される。
【0274】
本例の監視画像MP1(スルー画像)には、ガイドラインGLaが重畳表示される。ガイドラインGLaは、例えば、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。これにより、オペレータ等は、監視画像MP1(スルー画像)に監視対象が写っている場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0275】
尚、所定距離D1は、後述する監視エリアに対応する所定距離D2以下の範囲で適宜設定される。
【0276】
また、カメラ40B,40L,40Rは、上述の如く、上部旋回体3の近傍の地面から遠方までの広い範囲を撮像するため、上部旋回体3の上端から斜め下方向に光軸が向けられている。よって、本例の監視画像MP1(スルー画像)の下端部には、車体(上部旋回体3)の一部が写っている。
【0277】
また、図5Bに示すように、表示部50Aには、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示される。これにより、オペレータ等は、周辺画像EPに写っている監視対象(即ち、人)と、ショベル100との位置関係を適切に把握することができる。
【0278】
本例の周辺画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
【0279】
また、監視画像MP2には、ガイドラインGLbが重畳表示される。ガイドラインGLbは、図5Aの監視画像MP1(スルー画像)のガイドラインGLaと同様、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。つまり、ガイドラインGLbは、ショベル100の真上から見た平面視に対応するショベル画像CGの輪郭形状を、ショベル画像CGの外側に所定距離D1に相当する量だけオフセット(拡大)させた線分である。これにより、オペレータ等は、図5AのガイドラインGLaの場合と同様、周辺画像に監視対象(即ち、人)が写っている場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0280】
尚、表示制御部3011による視点変換画像(周辺画像)を生成する処理(周辺画像生成処理)と、後述する検知部3012の監視対象を検知するための処理(監視対象検知処理)とは、非同期処理であってよい。この場合、コントローラ30において、周辺画像生成処理は、監視対象検知処理よりも、起動や処理周期が高速になるような設定であってよい。これにより、周辺画像生成処理が滞り、表示装置50に表示される監視用画像内の周辺画像が更新されないような事態を抑制することができる。
【0281】
図11及び図12に戻り、検知部3012は、撮像装置40により撮像された撮像画像に基づき、ショベル100の周辺の監視エリアにおいて、監視対象を検知する。例えば、検知部3012は、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、便宜的に「作業平面」)に沿う方向に規定される(延在する)監視エリア内において、監視対象を検知する。具体的には、検知部3012は、ショベル100からの水平方向の距離Dが所定距離D2(例えば、5メートル)以内の監視エリア内で、監視対象を検知する。以下、ショベル100から見た水平方向の監視エリアを「水平監視エリア」と称する場合がある。監視エリアの詳細については、後述する。
【0282】
例えば、検知部3012は、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
【0283】
また、検知部3012は、既知の各種手法を適用することにより、単眼の撮像装置40による撮像画像に含まれる、認識された監視対象(人)が存在する位置(以下、「実在位置」。例えば、足元位置)を判定(推定)することができる。
【0284】
例えば、検知部3012は、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)が規定されうるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見たい水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検知部3012は、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
【0285】
また、例えば、検知部3012は、監視対象がショベル100(の下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
【0286】
尚、検知部3012は、撮像装置40の撮像画像に代えて、或いは、加えて、ショベル100に搭載されうる他のセンサによるショベル100の周辺に存在する物体に関する検知情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してもよい。例えば、検知部3012は、他のセンサとしてのステレオカメラ、ミリ波レーダ、LIDAR(Light Detecting and Ranging)等の検知情報に基づき、ショベル100の周辺の監視エリア(水平監視エリア)内で、監視対象を検知してよい。
【0287】
追跡部3013は、検知部3012により検知された監視対象を追跡する。具体的には、追跡部3013は、既知の画像認識技術や、検知部3012により監視エリア内で検知された後の監視対象の監視エリア内での位置の変化の状況(移動状況)等を考慮することで、検知部3012により検知された監視対象を識別(特定)し、監視対象を追跡してよい。
【0288】
また、追跡部3013は、検知部3012により検知された監視対象の監視エリア内での移動状況を追跡することによって、以下の各種判定を行ってよい。
【0289】
例えば、追跡部3013(退出判定部の一例)は、検知部3012により監視エリア内で検知された後、検知されなくなった監視対象が、ショベル100から見て監視エリア(水平監視エリア)よりも、ショベル100から見た水平方向で遠方の領域(以下、「遠方領域」)に出て行ったか否かを判定する。つまり、追跡部3013は、検知部3012により検知されなくなった監視対象が、ショベル100からの水平方向の距離Dが所定距離D2を超える遠方領域に移動したか否かを判定する。また、追跡部3013は、検知部3012により監視エリア内で検知された後、検知されなくなった監視対象が、遠方領域に出て行っていない場合、当該監視対象が監視エリアを含むショベル100に相対的に近い領域(以下、「近接領域」)に存在している可能性があると判定してもよい。後述の如く、監視エリアは、ショベル100の近接領域の全てをカバーできないからである。つまり、撮像装置40は、その撮像範囲によって、ショベル100の近接領域の全てをカバーできないからである。また、監視エリアに存在する監視対象であっても、後述の如く、監視対象が障害物に隠れてしまっている場合等、検知部3012により検知できない場合が有り得るからである。
【0290】
また、例えば、追跡部3013(当否判定部の一例)は、検知部3012により検知された後、検知されなくなった監視対象が、監視エリア外の近接領域(以下、「監視エリア外近接領域」)に存在している可能性があるか否かを具体的に判定する。つまり、追跡部3013は、検知部3012により検知されたていた監視対象が検知されなくなった場合に、当該監視対象が監視エリア内から監視エリア外近接領域に出て行ったか否かを判定してよい。当該監視エリア外近接領域には、後述の如く、例えば、上部旋回体3の前方の領域、上部旋回体3の下方の地面との間の領域(空間)、上部旋回体3の上部、つまり、ハウス部の領域等が含まれうる。
【0291】
また、例えば、追跡部3013は、検知部3012により監視エリア内で検知されていた監視対象が検知されなくなった場合に、検知部3012が監視エリア内で監視対象を見失ったか否かを判定する。撮像装置40の撮像画像の背景と監視対象とが同化してしまったり、監視対象が障害物に隠れてしまったりすると、監視対象が監視エリア内に存在する場合でも、検知部3012により検知されなくなる可能性があるからである。また、検知部3012は、撮像装置40の撮像画像に含まれる監視対象の大きさに基づき、ショベル100から監視対象までの水平方向の距離Dを推定する場合、監視対象が監視エリア(水平監視エリア)内に存在する場合でも、当該監視対象が監視エリア外であると判定してしまう場合が有りうるからである。具体的には、ショベル100の位置(つまり、作業平面の位置)と、監視対象の位置との間に高さ方向(即ち、ショベル100から見た鉛直方向)の差がある場合、差が無い場合(つまり、作業平面上に監視対象も位置している場合)に比して、撮像装置40の撮像画像に含まれる監視対象の大きさが変化してしまう可能性がある。そのため、検知部3012は、監視エリア内に存在する監視対象を監視エリア外にいると判定してしまう可能性があり得る。このとき、ショベル100の位置(つまり、作業平面の位置)と、監視対象の位置との間に高さ方向の差がある場合には、ショベル100の作業平面と監視対象が位置する平面との間に段差が生じている場合が含まれうる。また、ショベル100の位置と、監視対象の位置との間に高さ方向の差がある場合には、ショベル100の作業平面と監視対象が位置する平面との間に傾斜角の差が生じている場合(例えば、一方は、水平面に位置し、他方は、傾斜面に位置している場合等)が含まれうる。
【0292】
当該判定処理及びエリア外近接領域の詳細については、後述する(図13A図13B図14、及び、図15A図15D参照)。
【0293】
警報出力部3014(制御部の一例)は、検知部3012により監視エリア内で監視対象が検知された場合、キャビン10の内部或いは外部に向けて、警報を出力する。これにより、周辺監視装置150は、オペレータやショベル100の周辺の作業者、監督者等に対して、ショベル100の周辺の監視エリア内に監視対象(例えば、作業者等の人)が侵入したことを認識させることができる。そのため、周辺監視装置150は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
【0294】
例えば、警報出力部3014は、聴覚的な方法、つまり、音による警報を出力する。具体的には、警報出力部3014は、音声出力装置52に制御指令を出力し、警告音を出力させる。
【0295】
尚、警報出力部3014は、各種条件に応じて、警告音の音高、音圧、音色等や、警告音(例えば、ブザー音)を周期的に吹鳴させる場合の吹鳴周期等を異ならせてもよい。
【0296】
また、例えば、警報出力部3014は、視覚的な方法、つまり、表示装置50への表示による警報を出力する。具体的には、警報出力部3014は、表示制御部3011に警報要求を送信する。これにより、表示制御部3011は、警報要求に応じて、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させることで、表示装置50は、オペレータに対する警報を出力することができる。
【0297】
尚、警報出力部3014は、上部旋回体3のハウス部に別途設けられうる外部用の表示装置を通じて、ショベル100の周辺の作業者や監督者等に視覚的な方法で警報を出力していもよい。また、警報出力部3014は、触覚的な方法、例えば、オペレータが着座する操縦席を振動させる振動発生装置を通じて、警報を出力してもよい。
【0298】
また、警報出力部3014は、検知部3012により監視エリア内で検知されている監視対象と、ショベル100との位置関係に応じて、警報の種類(警報レベル)を異ならせてもよい。
【0299】
例えば、警報出力部3014は、検知部3012により監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警報レベルが低い警報(以下、「注意レベルの警報」)を出力する。具体的には、警報出力部3014は、検知部3012により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、注意レベルの警報を出力してよい。以下、監視エリア(水平監視エリア)のうちのショベル100からの距離Dが所定距離D1を超えている領域を便宜的に「注意領域」と称する。一方、警報出力部3014は、検知部3012により監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に警報レベルが高い警報(以下、「警戒レベルの警報」)を出力する。具体的には、警報出力部3014は、検知部3012により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、警戒レベルの警報を出力してよい。以下、監視エリア(水平監視エリア)のうちのショベル100からの距離Dが所定距離D1以下の領域を「警戒領域」と称する。
【0300】
この場合、警報出力部3014は、注意レベルの警報と警戒レベルの警報との間で、音声出力装置52から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、警報出力部3014は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させるマーカ等の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視装置150は、警報音や表示装置50に表示される監視対象を強調させるマーカ等の相違によって、オペレータ等に警報レベル、つまり、監視対象のショベル100に対する接近度を把握させることができる。
【0301】
また、警報出力部3014は、警報出力開始後、検知部3012により検知されていた監視対象が検知されなくなった場合、或いは、解除スイッチ70が操作された場合に、警報の出力を解除する。警報出力部3014による警報の出力の解除条件の詳細については、後述する(図15A図15D図16参照)。
【0302】
動作制限部3015(制御部の一例)は、検知部3012により監視エリア内で監視対象が検知された場合、ショベル100の動作要素の動作を制限する。このとき、動作制限対象の動作要素には、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等の一部又は全部が含まれる。例えば、動作制限部3015は、ゲートロック弁54に指令信号としてのON信号を送信することにより、ゲートロック弁54に、パイロットラインを非連通状態にさせる。これにより、パイロットポンプからショベル100の動作要素を操作する操作装置に作動油(パイロット圧)が供給されないため、オペレータが操作装置に操作入力を行っても、ショベル100の動作要素が動作しないように制限できる。そのため、ショベル100の周囲の監視エリアに監視対象(例えば、人)が進入してしまった場合であっても、ショベル100の動作が制限され、ショベル100と監視対象の衝突等の発生を抑制することができ、結果として、ショベル100の周辺における安全性の維持を図ることができる。
【0303】
尚、例えば、ゲートロック弁54の代わりに、動作要素を操作する操作装置から出力される二次側のパイロット圧を減圧する減圧弁が設けられ、動作制限部3015は、当該減圧弁を制御してもよい。この場合、当該減圧弁は、当該操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる当該操作装置に対する操作を無効化することができる。そのため、動作制限部3015は、当該減圧弁を制御することにより、結果として、ショベル100の動作要素の動作を制限することができる。また、動作制限部3015は、当該減圧弁を制御することにより、ショベル100の動作要素を停止させず、オペレータによる操作に対する各種動作要素の動作を通常よりも緩やかに抑制する態様で、ショベル100の動作を制限してもよい。
【0304】
また、動作制限部3015は、警報出力部3014の場合と同様、検知部3012により検知されている監視対象とショベル100との位置関係に応じて、動作制限のレベルを異ならせてもよい。
【0305】
例えば、動作制限部3015は、検知部3012により監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、相対的に制限度が低い態様で、ショベル100の動作制限を行う。具体的には、動作制限部3015は、検知部3012により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、相対的に制限度が低い(例えば、操作量に対する動作要素の動作速度を通常よりも遅くする)態様で、ショベル100の動作制限を行ってよい。一方、動作制限部3015は、検知部3012により監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、相対的に制限度が高い態様で、ショベル100の動作制限を行う。具体的には、動作制限部3015は、検知部3012により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、相対的に制限度が高い(例えば、動作要素の動作を停止させる)態様で、ショベル100の動作制限を行ってよい。
【0306】
また、動作制限部3015は、動作制限の開始後、検知部3012により検知されていた監視対象が検知されなくなった場合、或いは、解除スイッチ70が操作された場合に、ショベル100の動作制限を解除する。動作制限部3015によるショベル100の動作制限の解除条件の詳細については、後述する(図15A図15D参照)。
【0307】
[周辺監視装置の監視エリアの詳細]
次に、図13図13A図13B)、図14を参照して、周辺監視装置150の監視エリアの詳細について説明する。
【0308】
図13図13A図13B)、図14は、周辺監視装置150の監視エリアの一例(監視エリアMA)を説明する図である。具体的には、図13Aは、ショベル100を平面視で見たときの監視エリアMA(即ち、カメラ40B,40L,40Rに対応する個別監視エリアMAB,MAL,MAR)を模式的に示す図である。図13Bは、カメラ40Bのスルー画像上における監視エリアMA(個別監視エリアMAB)を模式的に示す図である。図14は、ショベル100を側面視で見たときの監視エリアMA(個別監視エリアMAB)を模式的に示す図である。
【0309】
尚、図13Aにおいて、カメラ40B,40L,40Rの撮像可能範囲AVB,AVL,AVRは、それぞれ、カメラ40B,40L,40Rが検知部3012により検知可能な監視対象の画像を取得可能な範囲を表す。撮像可能範囲AVB,AVL,AVRは、例えば、それぞれ、カメラ40B,40L,40Rの水平方向の画角とカメラ40B,40L,40Rからの水平方向の距離によって規定されうる。
【0310】
また、図13A及び図13Bにおいて、ガイドラインL1a,L1bは、ショベル100からの水平方向の距離Dが所定距離D1の位置に相当し、ガイドラインL2a,L2bは、それぞれ、ショベル100からの水平方向の距離Dが所定距離D2の位置に相当する。
【0311】
図13A図13Bに示すように、個別監視エリアMAB,MAL,MARは、それぞれ、撮像可能範囲AVB,AVL,AVRのうちのショベル100からの水平方向の距離Dが所定距離D2以下の範囲を中心に構成される。即ち、個別監視エリアMAB,MAL,MARのショベル100から見た遠近方向(径方向)における遠方側の端部の境界線は、それぞれ、撮像可能範囲AVB,AVL,AVRの中のガイドラインL2a,L2bの線分により規定される。
【0312】
また、個別監視エリアMAB,MAL,MARは、それぞれ、撮像可能範囲AVB,AVL,AVRのうちのカメラ40B,40L,40Rの近傍の領域401B,401L,401Rを含まない。即ち、個別監視エリアMAB,MAL,MARのショベル100から見た遠近方向における近接側の端部の境界線MABe1,MALe1,MARe1は、それぞれ、ショベル100からある程度離れている。図13Bに示すように、カメラ40B,40R,40Lの撮像画像には、車体(上部旋回体3)が写る場合がある。そのため、監視対象がショベル100に非常に近い領域に入ってしまうと、その一部が車体に隠れ、検知部3012が監視対象を適切に認識(検知)できない可能性があるからである。また、カメラ40B,40R,40Lの撮像画像に車体の一部が写らない場合であっても、カメラ40B,40R,40Lは、ショベル100の近くの地面から遠方までを含む非常に広い上下方向の画角が設定される。そのため、ショベル100(カメラ40B,40L,40R)に非常に近い近接領域の地面部分は、その画角から外れてしまい、その結果、監視対象の全体像が写らずに、検知部3012が監視対象を適切に認識(検知)できない可能性があるからである。
【0313】
つまり、撮像可能範囲AVB,AVL,AVRのうちのカメラ40B,40L,40Rの近傍の領域401B,401L,401Rは、監視エリアMA(個別監視エリアMAB,MAL,MAR)から外れており、監視エリア外近接領域に該当する。
【0314】
また、個別監視エリアMAB,MAL,MARは、それぞれ、撮像可能範囲AVB,AVL,AVRのうちの水平方向の画角により規定される、ショベル100から見た周方向(横方向)の両端部の領域402B,402L,402Rを含まない。即ち、個別監視エリアMAB,MAL,MARのショベル100から見た周方向(横方向)の両端の境界線MABe2,MALe2,MARe2同士の間は、それぞれ、カメラ40B,40L,40Rの水平方向の画角よりも若干狭くなっている。カメラ40B,40L,40Rは、上述の如く、ワイドレンズであるため、図13Bに示すように、撮像画像の中央部から左右に離れる程歪みが大きくなり、撮像画像内の像が左右に倒れる現象(以下、「像倒れ現象」)が見られる。そのため、カメラ40B,40L,40Rの水平方向の画角の端部では、像倒れ現象によって、監視対象の一部が撮像画像に収まらない場合が生じ、結果として、検知部3012が監視対象を適切に認識(検知)できない可能性があるからである。
【0315】
つまり、撮像可能範囲AVB,AVL,AVRのうちのショベル100から見た周方向(横方向)の両端部の領域402B,402L,402Rは、監視エリアMA(個別監視エリアMAB,MAL,MAR)から外れており、監視エリア外近接領域に該当する。
【0316】
また、ショベル100の左後方及び右後方の近接領域において、カメラ40B,40L,40Rの何れの撮像可能範囲AVB,AVL,AVRにも含まれない領域403L,403Rが存在する。カメラ40B,40L,40Rの水平方向の画角には限界があるからである。
【0317】
つまり、ショベル100の左後側方及び右後側方の領域403L,403Rは、監視エリアMAから外れており、監視エリア外近接領域に該当する。
【0318】
このように、ショベル100から見た水平方向の近接領域のうち、例えば、カメラ40B,40L,40Rのそれぞれに平面視で隣接する領域401B,401L,401Rやカメラ40B,40L,40Rのそれぞれの死角であるショベル100の後側方の領域403L,403R等は、監視エリアMAに含まれない場合がある。よって、監視対象が監視エリアMA(個別監視エリアMAB,MAL,MAR)に侵入し、検知部3012により検知された場合であっても、その後、当該領域(エリア外近接領域)に移動する、或いは、ショベル100が移動し、相対的に、当該領域(エリア外近接領域)に位置する状態なってしまう可能性がある。つまり、ショベル100の近くに監視対象が存在しているにも関わらず、検知部3012により監視対象が検知されなくなってしまう可能性がある。
【0319】
また、ショベル100の近接領域のうちの前方中央領域AFM、左前側方領域AFL、及び、右前側方AFRを含む前方領域AFは、オペレータ自身が目視で確認できることから、そもそも、監視対象の侵入を監視する監視エリアMAとして設定されていない。
【0320】
つまり、ショベル100の前方領域AFは、監視エリアMAから外れており、監視エリア外近接領域に該当する。
【0321】
このように、ショベル100の水平方向の近接領域のうち、ショベル100の前方領域AFは、そもそも、監視エリアMAに含められない可能性がある。よって、監視対象が監視エリアMA(個別監視エリアMAB,MAL,MAR)に侵入し、検知部3012により検知された場合であっても、その後、前方領域AFに移動する、或いは、前方領域AFに位置する状態なってしまう可能性がある。つまり、ショベル100の近くに監視対象が存在しているにも関わらず、検知部3012により監視対象が検知されなくなってしまう可能性がある。
【0322】
また、図14に示すように、ショベル100を側面視で見たときに、カメラ40Bの撮像可能範囲AVBは、カメラ40Bの略真下の方向から略水平方向までの上下方向の画角により規定されうる。そして、個別監視エリアMABは、カメラ40Bの撮像可能範囲AVBのうちのショベル100の車体(上部旋回体3)が写り込む部分を除く領域により構成される。撮像装置40に含まれる他のカメラ(カメラ40L,40R)についても同様である。そのため、上部旋回体3の上部、つまり、ハウス部の領域(以下、「上方領域」)AUや、下部走行体1の左右一対のクローラの間の空間を含む上部旋回体3の下方の地面との間の領域(以下、「下方領域」)ADの監視対象は、検知部3012により検知され得ない。換言すれば、上部旋回体3の上方領域AUや下方領域ADは、そもそも、監視対象の侵入を監視する監視エリアに設定されていない。監視対象が上方領域AUや下方領域ADに侵入するためには、ショベル100から見て水平方向に延在する監視エリアMA(水平監視エリア)やオペレータが視認可能な前方領域AFを通過する必要があり、オペレータが侵入前に気付くと考えられるからである。
【0323】
つまり、上部旋回体3の上方領域AUや下方領域AD等、ショベル100(上部旋回体3)から見た鉛直方向の近接領域は、監視エリアMAから外れており、監視エリア外近接領域に該当する。
【0324】
このように、ショベル100から見た鉛直方向の近接領域、つまり、上方領域AUや下方領域ADは、そもそも、監視エリアMAに含められない可能性がある。よって、監視対象が監視エリアMA(個別監視エリアMAB,MAL,MAR)に侵入し、検知部3012により検知された場合であっても、その後、上部旋回体3の昇降ステップ等を利用して、上方領域AUに移動したり、下方領域ADに潜りこむ、或いは、下方領域ADに位置する状態になったりする可能性がある。つまり、ショベル100の近くに監視対象が存在しているにも関わらず、検知部3012により監視対象が検知されなくなってしまう可能性がある。
【0325】
[周辺監視装置の動作の具体例]
次に、図15A図15Dを参照して、周辺監視装置150の具体的な動作について説明する。
【0326】
まず、図15Aは、周辺監視装置150の具体的な動作の第1例を説明する図である。具体的には、図15Aは、上述した図13Bの監視エリアMA(個別監視エリアMAB)を前提として、監視対象である作業者Wの移動状況の一例を模式的に示しており、図中で、実線及び点線の作業者Wは、それぞれ、検知部3012により検知されている状態及び検知されていない状態を表す。以下、図15B図15Dについても同様である。
【0327】
本例では、遠方領域の位置Pa0にいる作業者Wが、監視エリア(個別監視エリアMAB)内の注意領域(位置Pa1)に侵入し、警戒領域(位置Pa2)まで侵入した後に、ショベル100から遠ざかって、監視エリアから遠方領域に出て行っている。
【0328】
作業者Wが遠方領域(位置Pa0)から監視エリア内の注意領域(位置Pa1)に侵入すると、検知部3012は、当該作業者Wを検知する。そして、警報出力部3014及び動作制限部3015は、それぞれ、検知部3012による作業者Wの検知に応じて、警報の出力及びショベル100の動作制限を開始する。
【0329】
その後、作業者Wが監視エリア内で注意領域(位置Pa1)から警戒領域(位置Pa2)に移動すると、検知部3012は、監視エリア内に侵入した作業者Wが警戒領域まで侵入したことを認識する。そして、警報出力部3014及び動作制限部3015は、それぞれ、検知部3012により認識された作業者Wのショベル100との相対位置の変化に応じて、警報レベル及びショベル100の動作制限の制限度を高くする。
【0330】
その後、作業者Wが監視エリア内から遠方領域に出ていくと、検知部3012は、作業者Wを検知しなくなる。また、検知部3012により監視エリア内で継続して検知されていた作業者Wが監視エリア内の遠方領域との境界線(即ち、ガイドラインL2b)の近くで最後に検知されてから検知されなくなるため、追跡部3013は、作業者Wが遠方領域に出て行ったと判定することができる。具体的には、追跡部3013は、検知部3012により検知されていた監視対象(作業者W)が、監視エリア(水平監視エリア)の中の相対的にショベル100から遠い領域で検知されなくなった場合に、監視対象が遠方領域に出て行ったと判定することができる。このとき、監視エリアの中の相対的にショベル100から遠い領域は、例えば、監視エリアの中のショベル100からの距離Dが所定距離D1を超える注意領域である。また、監視エリアの中の相対的にショベル100から遠い領域は、監視エリア(水平監視エリア)をショベル100から遠ざかる方向に3つ以上の領域に区分した場合におけるその中の最もショベル100から遠い領域であってもよい。また、追跡部3013は、更に、検知部3012により検知されていた監視対象の移動状況、つまり、移動方向や移動速度を考慮して、監視対象が遠方領域に出て行ったか否かを判定してもよい。例えば、追跡部3013は、検知部3012により監視対象が検知されなくなる前の監視対象の移動方向が遠方領域に向かう方向であるか否かや、監視対象の移動速度が遠方領域に出て行ったと考えられる程度の所定速度以上であるか否か等に基づき、監視対象が遠方領域に出て行ったか否かを判定してもよい。
【0331】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限を解除する。作業者Wが監視エリアからショベル100から遠ざかる方向の遠方領域に出て行ったことが認識され、ショベル100の周辺の安全が確保されたと考えられるからである。
【0332】
このように、警報出力部3014及び動作制限部3015は、検知部3012により検知されていた監視対象が検知されなくなり、且つ、追跡部3013により監視対象が遠方領域に出て行ったと判定された場合に、警報の出力及びショベル100の動作制限を解除する。
【0333】
続いて、図15Bは、周辺監視装置150の具体的な動作の第2例を説明する図である。
【0334】
本例では、遠方領域の位置Pb0にいる作業者Wが、監視エリア(個別監視エリアMAB)内の注意領域(位置Pb1)に侵入し、そのままショベル100に近づき、監視エリアから領域401B(位置Pb2)或いは領域403L(位置Pb3)、つまり、監視エリア外近接領域に出て行っている。以下、作業者Wが位置Pb0から位置Pb1に移動する際の周辺監視装置150の動作は、図15Aの第1例で作業者Wが位置Pa0から位置Pa1に移動する際の動作と同じであるので、説明を省略する。
【0335】
作業者Wが監視エリア内(位置Pb1)から監視エリア外近接領域(位置Pb2,Pb3)に出ていくと、検知部3012は、監視エリア内で検知していた作業者Wを検知しなくなる。また、検知部3012により監視エリア内で継続して検知されていた作業者Wが監視エリア内の監視エリア外近接領域との境界線の近くで最後に検知されてから検知されなくなるため、追跡部3013は、作業者Wが遠方領域に出て行っていない、つまり、ショベル100の近接領域に未だ存在している可能性があると判定することができる。また、追跡部3013は、当該状況から、具体的に、作業者Wが監視エリア外近接領域に出て行ったと判定してもよい。具体的には、追跡部3013は、検知部3012により検知されていた監視対象(作業者W)が、監視エリア(水平監視エリア)の中の相対的にショベル100から遠い領域以外の領域で検知されなくなった場合に、監視対象が遠方領域に出て行っていない(つまり、近接領域に存在している可能性がある)と判定してよい。このとき、監視エリアの中の相対的にショベル100に遠い領域は、図15Aの第1例の場合と同様、例えば、監視エリアの中のショベル100からの距離Dが所定距離D1を超える注意領域である。また、監視エリアの中の相対的にショベル100に遠い領域は、図15Aの第1例の場合と同様、監視エリアをショベル100から遠ざかる方向に3つ以上の領域に区分した場合におけるその中の最もショベル100から遠い領域であってもよい。また、追跡部3013は、監視エリア(水平監視エリア)の中の相対的にショベル100から近い領域で検知されなくなった場合に、監視対象が監視エリア外近接領域に出て行ったと判定してよい。このとき、監視エリアの中の相対的にショベル100に近い領域は、例えば、監視エリアの中のショベル100からの距離Dが所定距離D1以下の警戒領域である。また、監視エリアの中の相対的にショベル100に近い領域は、監視エリアをショベル100から遠ざかる方向に3つ以上の領域に区分した場合におけるその中の最もショベル100から遠い領域以外の領域であってもよい。また、追跡部3013は、更に、検知部3012により検知されていた監視対象の移動状況、つまり、移動方向や移動速度を考慮して、監視対象が監視エリア外近接領域に出て行ったか否かを判定してもよい。例えば、追跡部3013は、検知部3012により監視対象が検知されなくなる前の監視対象の移動方向が監視エリア外近接領域に向かう方向であるか否かや、監視対象の移動速度が監視エリア外近接領域に出て行ったと考えられる程度の所定速度以上であるか否か等に基づき、監視対象が監視エリア外近接領域に出て行ったか否かを判定してもよい。また、追跡部3013は、検知部3012により検知されていた監視対象が監視エリア内の監視エリア外近接領域と面している端部(つまり、監視エリア外近接領域に面している境界線の近傍)で検知されなくなった場合に、監視対象が監視エリア外近接領域に出て行ったと判定してもよい。本例では、追跡部3013は、検知部3012により検知されていた監視対象が、監視エリア内におけるショベル100から見た横方向の両端部(つまり、監視エリア内の境界線MABe2の近傍)で検知されなくなった場合に、監視対象が近接領域に出て行ったと判定してよい。また、追跡部3013は、検知部3012により検知されていた監視対象が、監視エリア内における平面視でショベル100(カメラ40B)に面している端部(つまり、監視エリア内の境界線MABe1の近傍)で検知されなくなった場合に、監視対象が近傍領域に出て行ったと判定してよい。
【0336】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限を継続させる。検知部3012により作業者Wが検知されなくなるものの、作業者Wがショベル100に近接する近接領域、具体的には、監視エリア外近接領域に未だ存在している可能性があり、ショベル100の安全性が確保された状況であると判断できないからである。また、警報出力部3014及び動作制限部3015は、警報の出力及びショベル100の動作制限を継続させる際に、警報の出力態様やショベル100の動作制限の態様を変更してもよい。これにより、検知部3012により監視対象が検知されていないが、監視対象がショベル100の監視エリアを含む近接領域(追跡部3013により監視対象が監視エリア外近接領域に出て行ったことが判定されている場合は、監視エリア外近接領域)に未だ存在している可能性がある状況であることをオペレータ等に把握させることができる。つまり、警報出力部3014及び動作制限部3015は、警報の出力態様や動作制限の態様の変更等により、監視エリアを含む近接領域、或いは、監視エリア外近接領域に監視対象が未だ存在している可能性があることを示す情報をオペレータに提供することができる。例えば、警報出力部3014は、警報音の種類(音圧、音色、吹鳴周期等)を異ならせてよい。
【0337】
このように、警報出力部3014及び動作制限部3015は、検知部3012により検知されていた監視対象が検知されなくなった場合であっても、追跡部3013により監視対象が遠方領域に出て行っていない(つまり、近接領域に未だ存在している可能性がある)、或いは、監視エリア外近接領域に出て行ったと判定された場合は、警報の出力及びショベル100の動作制限を継続させる。これにより、周辺監視装置150は、監視対象がショベル100の近くの近接領域に存在する可能性がある状況で、警報の出力やショベル100の動作制限を継続させることができる。
【0338】
例えば、ショベル100のアイドリング中に、オペレータがショベル100を離れている状況で、他のオペレータ等が点検等のためにショベル100に近づき、監視エリア外近接領域に存在するような場合が想定されうる。この場合、オペレータがショベル100に戻ってきても、周辺監視装置150は、ショベル100の監視エリア外近接領域にいる作業者等の存在に起因して警報の出力やショベル100の動作制限を継続させるため、このような状況で、オペレータが作業を開始してしまうような事態を回避させることができる。
【0339】
続いて、図15Cは、周辺監視装置150の具体的な動作の第3例を説明する図である。
【0340】
本例では、遠方領域の位置Pc0にいる作業者Wが、監視エリア外の遠方領域(位置Pc0)から監視エリア(個別監視エリアMAB)内の注意領域(位置Pc1)に侵入している。その後、当該作業者Wは、監視エリア内(位置Pc2)にいるにも関わらず、検知部3012により検知されなくなり、検知部3012により再度検知されることなく監視エリアから遠方領域(位置Pc3)に出て行っている。以下、作業者Wが位置Pc0から位置Pc1に移動する際の周辺監視装置150の動作は、図14Aの第1例で作業者Wが位置Pa0から位置Pa1に移動する際の動作と同じであるので、説明を省略する。
【0341】
作業者Wが監視エリア内(位置Pc2)にいる場合であっても、上述の如く、撮像装置40による撮像画像の背景と作業者Wが同化したり、作業者Wが障害物に隠れてしまったりすると、検知部3012により作業者Wが検知されなくなる。また、上述の如く、作業者Wの位置とショベル100の位置との間に高さ方向の差が生じてしまったような場合についても、検知部3012により作業者Wが検知されなくなる場合がある。また、追跡部3013は、検知部3012により継続的に検知されていた作業者Wが監視エリアの外部に出ていくような予兆もなく検知されなくなると、検知部3012が監視エリア内で作業者Wを見失ったと判定することができる。具体的には、追跡部3013は、監視エリアの境界から相対的に離れた領域(つまり、水平監視エリアの予め規定される中央領域)で検知されなくなった場合に、検知部3012が監視エリア内で監視対象(作業者W)を見失ったと判定してよい。また、追跡部3013は、監視エリア内での監視対象の移動状況、つまり、移動方向や移動速度を考慮して、監視エリア内で作業者Wを見失ったか否かを判定してもよい。例えば、追跡部3013は、監視対象の移動速度が監視エリアの境界を跨いで出て行ったと考えられる程度の所定速度を下回っているか否かに基づき、検知部3012が監視対象を見失ったか否かを判定する。
【0342】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限を継続させる。検知部3012により作業者Wが検知されなくなるものの、検知部3012が見失った作業者Wが監視エリアを含む近接領域、具体的には、監視エリア内に未だ留まっている可能性があり、ショベル100の安全性が確保された状況であると判断できないからである。また、警報出力部3014及び動作制限部3015は、図15Bの第2例の場合と同様、警報の出力及びショベル100の動作制限を継続させる際に、警報の出力態様やショベル100の動作制限の態様を変更してもよい。これにより、検知部3012により監視対象が検知されていないが、監視対象がショベル100の監視エリアを含む近接領域に未だ存在している可能性がある状況であることをオペレータ等に把握させることができる。つまり、警報出力部3014及び動作制限部3015は、警報の出力態様や動作制限の態様の変更等により、監視エリアを含む近接領域に監視対象が未だ存在している可能性があることを示す情報をオペレータに提供することができる。また、警報出力部3014及び動作制限部3015は、警報の出力態様やショベル100の動作制限の態様を、図15Bの第2例の場合、つまり、監視対象が監視エリア外近接領域に出て行った場合と異なる態様に変更してもよい。これにより、検知部3012により監視対象が検知されていないが、監視対象がショベル100の監視エリア内に未だ存在している可能性がある状況であることをオペレータ等に把握させることができる。つまり、警報出力部3014及び動作制限部3015は、警報の出力態様や動作制限の態様の変更等により、監視エリア内に監視対象が未だ存在している可能性があることに関する情報と、監視エリア外近接領域に監視対象が未だ存在している可能性があることに関する情報とを区別して、オペレータに提供することができる。例えば、警報出力部3014は、図15Bの第2例の場合と同様、警報音の種類(音圧、音色、吹鳴周期等)を異ならせてよい。
【0343】
尚、作業者Wが監視エリア外(位置Pc3)に出ていく前に、検知部3012により再度作業者Wが監視エリア内で検知される場合もあり得る。例えば、作業者W或いはショベル100が移動することにより撮像装置40の撮像画像上での作業者Wと背景との同化が解消されたり、作業者Wが撮像装置40から見て障害物に隠れた状態が解消されたりする場合である。この場合、追跡部3013は、作業者Wが監視エリアから遠方領域に出て行ったと判定することができるため、追跡部3013による当該判定結果に応じて、警報の出力及びショベル100の動作制限は、解除される。
【0344】
このように、警報出力部3014及び動作制限部3015は、検知部3012により検知されていた監視対象が検知されなくなった場合であっても、追跡部3013により検知部3012が監視対象を監視エリア内で見失ったと判定された場合は、警報の出力及びショベル100の動作制限を継続させる。これにより、周辺監視装置150は、監視エリア内で見失った監視対象がショベル100の近くの近接領域に存在する可能性がある状況で、警報の出力やショベル100の動作制限を継続させることができる。
【0345】
続いて、図15Dは、周辺監視装置150の具体的な動作の第4例を説明する図である。
【0346】
本例では、遠方領域の位置Pb0にいる作業者W1が、監視エリア(個別監視エリアMAB)内(位置Pb1)に侵入し、そのままショベル100に近づき、監視エリアから領域401B(位置Pb2)或いは領域403L(位置Pb3)、つまり、ショベル100の監視エリア外近接領域に出て行っている。また、同じようなタイミングで、遠方領域の位置Pd0にいる作業者W2が、監視エリア内(位置Pd1)に侵入し、そのままショベル100に近づき、監視エリアから領域401B(位置Pd2)、つまり、ショベル100の監視エリア外近接領域に出て行っている。その後、作業者W2は、ショベル100から遠ざかり、監視エリア外近接領域から監視エリア内(位置Pd3)に戻って、監視エリア内から遠方領域(位置Pd4)に出て行っている。以下、作業者W1,W2が位置Pb0,Pd0から位置Pb1,Pd1に移動する際の周辺監視装置150の動作は、図14Aの第1例で作業者Wが位置Pa0から位置Pa1に移動する際の動作と同じであるので、説明を省略する。
【0347】
作業者W1,W2が監視エリア内(位置Pb1,Pd1)から監視エリア外近接領域(位置Pb2,Pb3,Pd2)に出ていくと、検知部3012は、監視エリア内で検知していた作業者W1,W2を検知しなくなる。また、検知部3012により監視エリア内で継続して検知されていた作業者W1、W2が監視エリア内の監視エリア外近接領域との境界線の近くで最後に検知されてから検知されなくなるため、図15Bの第2例の場合と同様、追跡部3013は、作業者Wが遠方領域に出て行っていない、つまり、監視エリアを含む近接領域に未だ存在している可能性があると判定することができる。併せて、追跡部3013は、検知部3012により検知された後、検知されなくなった監視対象のうちの遠方領域に出て行っていない、つまり、近接領域に未だ存在している可能性がある監視対象(以下、便宜的に「未検知監視対象」)の数(以下、便宜的に「未検知監視対象数」)をカウントする。未検知監視対象には、本例のように、監視エリア外近接領域に出て行った監視対象だけでなく、図15Cの第3例の場合のように、検知部3012が監視エリア内で見失った監視対象が含まれる。本例では、追跡部3013は、作業者W1,W2が監視エリアから監視エリア外近接領域に出て行き、検知部3012により検知されなくなると、未検知監視対象数を"2"とカウントする。
【0348】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、図15Bの第2例の場合と同様、警報の出力及びショベル100の動作制限を継続する。また、警報出力部3014及び動作制限部3015は、図15Bの第2例の場合と同様、警報の出力及びショベル100の動作制限を継続させる際に、監視対象が近接領域に未だ存在している可能性があることを把握させるため、警報の出力態様やショベル100の動作制限の態様を変更してもよい。
【0349】
その後、作業者W2が監視エリア外近接領域(位置Pd2)から監視エリア内(位置Pd3)に戻ると、検知部3012は、再度、作業者W2を検知する。このとき、検知部3012は、既知の画像認識技術を適用し、例えば、検知されなくなった監視対象の特徴量と、検知された監視対象の特徴量とを比較する等によって、再度、検知された監視対象が、過去に検知されていた監視対象(作業者W2)と同じ対象であると特定することができる。また、追跡部3013は、検知部3012により再度作業者W2が検知されることにより、未検知監視対象が作業者W1だけになるため、未検知監視対象数を"1"に変更する。
【0350】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限を継続する。検知部3012により作業者W2が監視エリアで検知されており、且つ、監視対象(作業者W1)が監視エリアを含む近接領域に未だ存在している可能性がある状況が継続しているからである。また、警報出力部3014及び動作制限部3015は、引き続き、監視対象が監視エリアを含む近接領域に未だ存在している可能性があることを把握させる態様の警報の出力やショベル100の動作制限を継続させてよい。オペレータは、検知部3012により検知されている監視エリア内の監視対象(作業者W2)よりも検知部3012により検知されていない監視対象(作業者W1)の方が把握しにくいと考えられるからである。
【0351】
その後、作業者W2が監視エリア内(位置Pd3)から遠方領域(位置Pd4)に出ていくと、検知部3012は、作業者W2を検知しなくなる。また、検知部3012により監視エリア内で継続して検知されていた作業者W2が監視エリア内の遠方領域との境界線の近くで最後に検知されてから検知されなくなるため、追跡部3013は、作業者W2が遠方領域に出て行ったと判定することができる。一方、追跡部3013は、作業者W2が遠方領域に出て行ったものの、監視対象(作業者W1)が監視エリアを含む近接領域に未だ存在している可能性がある状況が継続しているため、未検知監視対象数を"1"のままにする。
【0352】
この場合、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限を継続する。検知部3012により監視対象が検知されない状況になるものの、未検知監視対象数が"1"であり、監視対象(作業者W1)が監視エリアを含む近接領域に未だ存在している可能性があるからである。
【0353】
このように、警報出力部3014及び動作制限部3015は、検知部3012により監視対象が検知されなくなった場合であっても、追跡部3013によりカウントされる未検知監視対象数がゼロでない場合、警報の出力や動作制限を継続する。一方、警報出力部3014及び動作制限部3015は、検知部3012により監視対象が検知されなくなり、且つ、追跡部3013によりカウントされる未検知監視対象数がゼロである場合、警報の出力やショベル100の動作制限を解除する。これにより、周辺監視装置150は、複数の監視対象が監視エリア内に出入りする状況で、検知部3012により検知されなくなった監視対象のうちの遠方領域に出て行っていない監視対象(未検知監視対象)の有無を把握することができる。そして、周辺監視装置150は、把握した未検知監視対象の有無に応じて、未検知監視対象がいる場合に、警報の出力や動作制限を継続することができる。
【0354】
[周辺監視装置による周辺監視処理の詳細]
次に、図1を参照して、本実施形態に係る周辺監視装置150による監視対象の検知に基づく警報の出力及びショベル100の動作制限に関する処理(以下、「周辺監視処理」)の詳細、具体的には、処理フローについて説明する。
【0355】
図16は、周辺監視装置150(コントローラ30)による周辺監視処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベル100の運転中において、警報出力部3014及び動作制限部3015による警報の出力及びショベル100の動作制限が行われていない場合に、所定の処理周期ごとに繰り返し実行される。
【0356】
尚、ステップS302,S306~S316の処理は、警報出力部3014及び動作制限部3015のうちの少なくとも一方で行われればよいため、これらの処理の動作主体を便宜的に「警報出力部3014等」と称する。
【0357】
ステップS302にて、警報出力部3014等は、検知部3012によって、監視エリア内で監視対象が検知されたか否か、具体的には、撮像装置40の撮像画像の中に監視エリア内の監視対象が認識されたか否かを判定する。警報出力部3014等は、検知部3012によって、監視エリア内で監視対象が検知された場合、ステップS304に進み、検知されていない場合、今回の処理を終了する。
【0358】
ステップS304にて、警報出力部3014は、表示装置50や音声出力装置52を通じて、警報の出力を開始すると共に、動作制限部3015は、ゲートロック弁54を制御し、ショベル100の動作制限を開始する。
【0359】
ステップS306にて、警報出力部3014等は、オペレータ等により解除スイッチ70が操作されたか否かを判定する。警報出力部3014等は、オペレータ等により解除スイッチ70が操作されていない場合、ステップS308に進み、解除スイッチ70が操作された場合、ステップS314に進む。
【0360】
ステップS308にて、警報出力部3014等は、検知部3012によって、監視エリア内で監視対象が検知されている状態が継続しているか否かを判定する。警報出力部3014等は、検知部3012により監視エリア内で監視対象が検知されている状態が継続していない場合、つまり、検知部3012により監視対象が検知されなくなった場合、ステップS310に進み、それ以外の場合、ステップS306に戻って、ステップS306以降の処理を繰り返す。これにより、周辺監視装置150は、監視エリア内に監視対象が継続して存在する状況で、警報の出力やショベル100の動作制限を継続させ、ショベル100の安全性を向上させることができる。
【0361】
ステップS310にて、警報出力部3014等は、検知部3012により検知された後、検知されなくなった監視対象のうち、監視エリアを含む近接領域に未だ存在している可能性がある監視対象(即ち、未検知監視対象)がいるか否かを判定する。具体的には、警報出力部3014等は、追跡部3013によりカウントされる未検知監視対象数が1以上であるか否かを判定する。警報出力部3014等は、未検知監視対象が存在しない場合、つまり、追跡部3013によりカウントされる未検知監視対象数がゼロの場合、ステップS12に進む。一方、警報出力部3014等は、未検知監視対象が存在する場合、つまり、追跡部3013によりカウントされる未検知監視対象数がゼロでない場合、ステップS06に戻って、ステップS06以降の処理を繰り返す。これにより、周辺監視装置150は、ショベル100の監視エリアを含む近接領域に監視対象が未だ存在している可能性がある状況で、警報の出力やショベル100の動作制限を継続させ、ショベル100の安全性を更に向上させることができる。
【0362】
ステップS12にて、警報出力部3014は、表示装置50や音声出力装置52を通じた警報の出力を解除すると共に、動作制限部3015は、ゲートロック弁54を制御し、ショベル100の動作制限を解除し、今回の処理を終了する。
【0363】
一方、ステップS14にて、警報出力部3014等は、ステップS10と同様、未検知監視対象が存在するか否か、つまり、追跡部3013によりカウントされる未検知監視対象数が1以上であるか否かを判定する。警報出力部3014等は、未検知監視対象がいない場合、つまり、追跡部3013によりカウントされる未検知監視対象数がゼロの場合、ステップS12に進む。一方、警報出力部3014等は、未検知監視対象が存在する場合、つまり、追跡部3013によりカウントされる未検知監視対象数がゼロでない場合、ステップS16に進む。
【0364】
ステップS16にて、警報出力部3014等は、ショベル100の周辺の安全が確認されたことを示す追加的な条件(以下、「安全確認条件」)が成立しているか否かを判定する。
【0365】
例えば、安全確認条件は、"オペレータがショベル100の周囲の安全を確認したこと"である。コントローラ30は、警報の出力及びショベル100の動作制限の開始から解除スイッチ70が操作されるまでの経過時間に基づき、当該安全確認条件の成否を判定してよい。当該経過時間が相対的に長い場合、オペレータによりショベル100の周囲の安全が確認された可能性が高いと判断されうるからある。また、コントローラ30は、具体的に、オペレータの行動を検知するセンサ(例えば、視線センサ、カメラ等)の検出情報に基づき、当該安全確認条件の成否を判定してもよい。
【0366】
また、例えば、安全確認条件は、"ショベル100の外部で警報の出力及びショベル100の動作制限の解除が許可されたこと"である。コントローラ30は、撮像装置40の撮像画像に写っているショベル100の周囲の作業者や監督者等によって、解除許可を示す所定のポーズやジェスチャが行われているか否かに基づき、当該安全確認条件の成否を判定してよい。また、コントローラ30は、所定の通信機器(不図示)を通じて、作業現場の監督者等が所持する携帯端末(例えば、汎用のスマートフォン、タブレット端末や専用の携帯機等)、作業現場の管理事務所にある管理端末、或いは、作業現場の外部に設置される管理サーバ等から解除許可に対応する信号(以下、「解除許可信号」)が受信されたか否かに基づき、当該安全確認条件の成否を判定してよい。この場合、当該携帯端末、当該管理端末、或いは、当該管理サーバは、ドローンや作業現場の他のショベルからショベル100の周囲の撮像画像を取得してよい。これにより、当該携帯端末、当該管理端末、或いは、当該管理サーバは、当該撮像画像を解析することにより、ショベル100の周囲の安全性を確認し、安全性が確認された場合に、自動的に、解除許可信号をショベル100に送信することができる。また、解除許可信号は、直接的に、当該ドローンや当該他のショベルからショベル100に送信されてもよい。また、ショベル100は、オペレータ等からの要求(例えば、所定の操作)に応じて、解除依頼に対応する信号(解除依頼信号)を当該携帯端末、当該管理端末、当該管理サーバ、当該ドローン、或いは、当該他のショベル等に送信してもよい。そして、当該携帯端末、当該管理端末、当該管理サーバ、当該ドローン、或いは、当該他のショベル等は、解除依頼信号を受信した後に、作業現場の監督者或いは管理者や管理サーバの管理者等から警報の出力やショベル100の動作制限の解除を許可するための操作を受け付けた場合、解除許可信号をショベル100に送信してもよい。
【0367】
警報出力部3014等は、安全確認条件が成立している場合、ステップS12に進み、安全条件が成立していない場合、ステップS14に戻り、処理を繰り返す。これにより、ショベル100の監視エリアを含む近接領域に監視対象が未だ存在している可能性がある状況で、解除スイッチ70が操作された場合であっても、安全確認が十分されていない状況、即ち、安全確認条件が成立していない状況では、警報の出力やショベル100の動作制限を継続させ、ショベル100の安全性を更に向上させることができる。
【0368】
[作用]
このように、本実施形態では、警報出力部3014及び動作制限部3015は、それぞれ、警報の出力及びショベル100の動作制限の開始後に、検知部3012により検知されていた監視対象が検知されなくなった場合であっても、検知部3012により監視対象が検知されている状態から検知されていない状態に移行するときの状況によっては、警報の出力及びショベル100の動作制限を継続させる。上述の如く、検知部3012により監視対象が検知されている状態から検知されていない状態に移行するときの状況によっては、監視対象がショベル100の監視エリアを含む近接領域に未だ存在している可能性が高くなり得る。これに対して、このような状況で、周辺監視装置150は、警報の出力やショベル100の動作制限を継続させることにより、オペレータに対して、監視エリアを含むショベル100の近接領域に監視対象が未だ存在している可能性に関する情報を提供することができる。そのため、本実施形態に係る周辺監視装置150は、ショベル100の安全性を向上させることができる。
【0369】
尚、本実施形態では、警報の出力やショベル100の動作制限を継続させることにより、監視エリアを含むショベル100に相対的に近い近接領域に監視対象が未だ存在している可能性に関する情報をオペレータ等に提供するが、他の方法で当該情報が提供されてもよい。例えば、周辺監視装置150は、検知部3012により検知されなくなった監視対象が近接領域に未だ存在している可能性がある場合、その旨を表示装置50に表示させたり、音声出力装置52を通じて音声で出力させたりしてよい。また、周辺監視装置150は、検知部3012により検知されなくなった監視対象が近接領域に未だ存在している可能性がある場合、上述した未検知監視対象数を表示装置50に表示させたり、音声出力装置52を通じて音声で出力させたりしてもよい。つまり、周辺監視装置150は、検知部3012の監視エリアを含むショベル100に相対的に近い近接領域に監視対象が未だ存在している可能性に関する情報、具体的には、検知部3012により検知されていない監視対象が監視エリアを含むショベル100の近接領域に未だ存在している可能性がある旨の情報を任意の方法でオペレータに提供すればよい。これにより、周辺監視装置150は、検知部3012により監視対象が検知されていない場合であっても、オペレータやショベル100の周囲の作業者等にショベル100の近接領域に検知されていない監視対象が存在する可能性があることを知らせることができる。
【0370】
[変形・変更]
以上、第2実施形態について詳述したが、本実施形態の内容が示す要旨の範囲内において、種々の変形・変更が可能である。
【0371】
例えば、本実施形態において、周辺監視装置150の監視エリアは、ショベル100から見た水平方向に規定される(延在する)エリア、つまり、水平監視エリアだけで構成されるが、ショベル100から見た鉛直方向、つまり、上下方向の監視エリア(以下、便宜的に「鉛直監視エリア」)を含んでもよい。以下、図17図18を参照して、水平監視エリアに加えて、鉛直監視エリアを含む監視エリアが設定される周辺監視装置150について説明する。
【0372】
図17図18は、それぞれ、周辺監視装置150の構成の他の例及び更に他の例を示す図である。
【0373】
図17に示すように、本例では、撮像装置40は、カメラ40B,40L,40Rに加えて、ショベル100(上部旋回体3)の上方領域AUを撮像するカメラ40Uを含む。
【0374】
カメラ40Uは、キャビン10の後方から左側方に亘る上部旋回体3の上部(ハウス部)全体を撮像可能な態様であれば、任意の位置に配置されてよく、例えば、キャビン10の上部後端に取り付けられる。これにより、カメラ40Uは、上部旋回体3の上部に存在し得る監視対象(例えば、作業者等の人)を含む撮像画像をコントローラ30に出力することができる。そのため、検知部3012は、ショベル100の近接領域のうちのショベル100(上部旋回体3)の上方領域AUの監視対象を検知することができる。
【0375】
また、図18に示すように、本例では、撮像装置40は、カメラ40B,40L,40Rに加えて、ショベル100(上部旋回体3)の下方領域ADを撮像するカメラ40Dを含む。
【0376】
カメラ40Dは、上部旋回体3の下方の地面との間の空間全体を撮像可能な態様であれば、任意の位置に配置されてよく、例えば、上部旋回体3の後端下部に取り付けられる。これにより、カメラ40Dは、下部走行体1の左右一対のクローラの間の空間を含む上部旋回体3の下方の地面との間の空間に存在し得る監視対象(例えば、作業者等の人)を含む撮像画像をコントローラ30に出力することができる。そのため、検知部3012は、ショベル100の近接領域のうちのショベル100(上部旋回体3)の下方領域ADの監視対象を検知することができる。
【0377】
また、当然の如く、周辺監視装置150の撮像装置40は、カメラ40Uとカメラ40Dの双方を含んでもよい。これにより、検知部3012は、ショベル100の近接領域のうちのショベル100の上方領域AU及び下方領域ADの双方の監視対象を検知することができる。
【0378】
尚、カメラ40U,40Dに代えて、或いは、加えて、ショベル100の上方領域AUや下方領域ADに存在する物体に関する検知情報を出力可能な他のセンサ(例えば、上述のステレオカメラ、ミリ波レーダ、LIDAR等)が設けられてもよい。これにより、検知部3012は、他のセンサの検知情報に基づき、ショベル100の上方領域AUや下方領域ADに存在する監視対象を検知することができる。
【0379】
このように、周辺監視装置150の監視エリアは、水平監視エリアに加えて、ショベル100の上方領域AUや下方領域ADを含む鉛直監視エリアを含んでよい。これにより、周辺監視装置150は、監視対象が水平監視エリアから監視エリア外近接領域に出て行ってしまい、監視対象を検知できなくなった場合でも、再度、鉛直監視エリア内で、監視対象を検知することができる場合がある。つまり、ショベル100の近接領域のうちの監視エリア外近接領域、つまり、検知部3012の死角を減らすことができる。よって、ショベル100の安全性を更に向上させることができる。
【0380】
また、本実施形態では、周辺監視装置150の監視エリア(水平監視エリア)は、ショベル100の前方領域AFを含まないが、前方領域AFを含んでもよい。これにより、ショベル100の近接領域のうちの監視エリア外近接領域、つまり、検知部3012の死角を減らすことができる。よって、ショベル100の安全性を更に向上させることができる。この場合、周辺監視装置150の撮像装置40は、カメラ40B,40L,40Rに加えて、ショベル100の前方を撮像するカメラを含んでよい。また、ショベル100の前方を撮像するカメラに代えて、或いは、加えて、ショベル100の前方に存在する物体に関する検知情報を出力可能な他のセンサ(例えば、上述のステレオカメラ、ミリ波レーダ、LIDAR等)が設けられてもよい。これにより、検知部3012は、ショベル100の前方領域AFを含む監視エリア内で、監視対象を検知することができる。
【0381】
また、本実施形態では、周辺監視装置150は、警報出力部3014と動作制限部3015の双方を含むが、何れか一方だけを含んでもよい。つまり、周辺監視装置150は、監視エリア内で監視対象を検知した場合に、警報の出力及びショベル100の動作制限の何れか一方だけを行う態様であってもよい。この場合、周辺監視装置150は、検知されなくなった監視対象が監視エリアを含むショベル100の近接領域に未だ存在している可能性がある状況で、当然の如く、警報の出力及びショベル100の動作制限の何れか一方だけを継続させる。
【0382】
また、本実施形態では、ショベル100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の各種動作要素を全て油圧駆動する構成であったが、その一部又は全部が電気駆動される構成であってもよい。つまり、上述した実施形態で開示される構成等は、ハイブリッドショベルや電動ショベル等に適用されてもよい。
【0383】
尚、本実施形態について、更に以下を開示する。
【0384】
(1)
作業機械の周辺に設定される監視範囲内で所定の監視対象を検知する検知部と、
前記検知部により前記監視対象が検知された場合に、警報を出力する、又は、前記作業機械の動作制限を行う制御部と、を備える周辺監視装置であって、
前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記監視範囲を含む前記作業機械に相対的に近い近接領域に前記監視対象が未だ存在している可能性に関する情報をオペレータに提供する、
周辺監視装置。
【0385】
(2)
前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記監視範囲外の前記近接領域に前記監視対象が未だ存在している可能性があることを示す前記情報をオペレータに提供する、
(1)に記載の周辺監視装置。
【0386】
(3)
前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記監視対象が前記監視範囲内に未だ存在している可能性があることを示す前記情報をオペレータに提供する、
(1)又は(2)に記載の周辺監視装置。
【0387】
(4)
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により検知されていた前記監視対象が検知されなくなった場合であっても、前記検知部により当該監視対象が検知されている状態から検知されていない状態に移行するときの状況によっては、前記警報の出力、又は、前記動作制限を継続させる、
(1)乃至(3)の何れか一項に記載の周辺監視装置。
【0388】
(5)
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記監視範囲の中の相対的に前記作業機械に近い位置で、前記検知部により検知されていた前記監視対象が検知されなくなった場合、前記警報の出力、又は、前記動作制限を継続させる、
(4)に記載の周辺監視装置。
【0389】
(6)
前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記検知部により検知されていたときの当該監視対象の前記監視範囲内における位置に基づき、当該監視対象が前記監視範囲外の前記近接領域に未だ存在している可能性があるか否かを判定する当否判定部を更に備え、
前記当否判定部は、前記監視範囲における前記作業機械から見た水平方向の相対的に前記作業機械に近い位置で、前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記監視範囲外の前記近接領域に前記監視対象が未だ存在している可能性があると判定し、
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により検知されていた前記監視対象が検知されなくなった場合であっても、前記当否判定部により前記監視範囲外の前記近接領域に前記監視対象が未だ存在している可能性があると判定された場合、前記警報の出力、又は、前記動作制限を継続させる、
(5)に記載の周辺監視装置。
【0390】
(7)
前記監視範囲は、前記作業機械から見た水平方向において、前記作業機械に最も近い第1の範囲と、前記作業機械から最も遠い第2の範囲と、前記第1の範囲と前記第2の範囲との間の第3の範囲とを含み、
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により検知されていた前記監視対象が前記第2の範囲で検知されなくなった場合、前記警報の出力、又は、前記動作制限を解除し、前記検知部により検知されていた前記監視対象が前記第1の範囲又は前記第3の範囲で検知されなくなった場合、前記警報の出力、又は、前記動作制限を継続させる、
(5)又は(6)に記載の周辺監視装置。
【0391】
(8)
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により検知されていた前記監視対象が前記監視範囲内から、前記作業機械から見て水平方向で前記監視範囲よりも遠方の遠方領域に出て行った場合、前記警報の出力、又は、前記動作制限を解除する、
(4)乃至(7)の何れか一項に記載の周辺監視装置。
【0392】
(9)
前記検知部により検知されていた前記監視対象が検知されなくなった場合に、前記検知部により検知されていたときの当該監視対象の前記監視範囲内における位置に基づき、当該監視対象が前記監視範囲内から前記遠方領域に出て行ったか否かを判定する退出判定部を更に備え、
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記退出判定部によって、前記検知部により検知されていた前記監視対象が前記監視範囲内から前記遠方領域に出て行ったと判定された場合、前記警報の出力、又は、前記動作制限を解除する、
8に記載の周辺監視装置。
【0393】
(10)
前記監視範囲は、前記作業機械から見て水平方向に延在する水平監視範囲を含み、
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により検知されていた前記監視対象が、前記水平監視範囲における前記作業機械から見た横方向の端部、又は、前記水平監視範囲における前記作業機械に面する端部で検知されなくなった場合、前記警報の出力、又は、前記動作制限を継続させる、
(1)乃至(9)の何れか一項に記載の周辺監視装置。
【0394】
(11)
前記退出判定部により前記監視範囲内から前記遠方領域に出て行ったと判定されていないにも関わらず、前記検知部により検知されなくなった前記監視対象の数をカウントするカウント部を更に備え、
前記制御部は、前記警報の出力、又は、前記動作制限の開始後に、前記検知部により前記監視対象が検知されなくなり、且つ、前記カウント部によりカウントされた前記監視対象の数がゼロである場合に、前記警報の出力、又は、前記動作制限を解除する、
(9)に記載の周辺監視装置。
【0395】
〔第3実施形態〕
次いで、第3実施形態について説明する。
【0396】
従来、ショベルと周辺の作業者との間での接触を防止する技術が知られている(例えば、特開2011-163835号公報等)。
【0397】
しかしながら、工事現場では、ショベル及び作業者の移動等による内的要因による状況の変化のみならず、外部からの資材搬入や廃材搬出のためのトラックの進入等の外的要因による状況の変化が生じうる。そのため、ショベルのオペレータは、工事現場の内部の作業者との関係を認識することはできても、例えば、外部から進入してくるトラック等に気付くのが遅れたり、そもそも、気づかなかったりする可能性がある。よって、内的要因だけでなく外的要因をも含む工事現場の総合的な状況の変化に対応した形で、ショベルの安全性の確保が図られることが望ましい。
【0398】
そこで、本実施形態では、工事現場の総合的な状況の変化に対応し、安全性を向上させることが可能なショベル等を提供する。
【0399】
[現場安全支援システムの概要]
まず、図19を参照して、本実施形態に係る現場安全支援システムSYS2について説明をする。
【0400】
図19は、現場安全支援システムSYS2の構成の一例を示す概略図である。
【0401】
現場安全支援システムSYS2は、ショベル100と、支援装置200とを含み、ユーザの操作に応じて、支援装置200からショベル100に送信される指令(以下、「注意喚起指令」)をトリガとして、ショベル100のオペレータにショベル100の周辺への注意喚起を行う。これにより、支援装置200のユーザは、ショベル100の外部からショベル100のオペレータにショベル100の周辺への注意喚起を行うことができる。現場安全支援システムSYS2に含まれるショベル100は、一台であってもよいし、複数台であってもよい。また、同様に、現場安全支援システムSYS2に含まれる支援装置200は、一台であってもよいし、複数台であってもよい。つまり、一の支援装置200は、例えば、同じ工事現場内の複数のショベル100を対象として、注意喚起指令を送信することができる。また、一のショベル100は、例えば、同じ工事現場で作業する複数の作業者が所持する複数の支援装置200のそれぞれからの注意喚起指令に応じて、オペレータに当該ショベル100の周辺への注意喚起を行うことができる。
【0402】
尚、図19図20中では、便宜的に、一台のショベル100及び一台の支援装置200が図示される。また、現場安全支援システムSYS2は、ショベル100に代えて、或いは、加えて、他の種類の作業機械を含んでもよい。例えば、現場安全支援システムSYS2は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械、クローラクレーン等を含んでもよい。
【0403】
<ショベルの概要>
ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業装置)としてのブーム4、アーム5、及び、バケット6と、キャビン10と、エンジン11を備える。
【0404】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータで油圧駆動されることにより、自走する。
【0405】
上部旋回体3は、旋回油圧モータで油圧駆動、或いは、電動機で電気駆動されることにより、下部走行体1に対して旋回する。
【0406】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0407】
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
【0408】
エンジン11は、ショベル100の駆動源であり、例えば、上部旋回体3の後部に搭載される。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、所定の回転数を維持するように動作する。エンジン11の回転軸は、走行油圧モータ、旋回油圧モータ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9を含む油圧アクチュエータに作動油を供給するメインポンプ、並びに、当該油圧アクチュエータを操作するためのパイロット圧の元圧を生成するパイロットポンプに連結される。
【0409】
ショベル100は、例えば、ブルートゥース(登録商標)通信、WiFi(登録商標)通信、RF(Radio Frequency)通信等の所定方式の近距離通信により、支援装置200とP2P(Peer to Peer)接続し、相互に通信を行うことができる。これにより、ショベル100は、支援装置200から上述の注意喚起指令等の指令情報を含む各種情報を取得(受信)することができる。詳細は、後述する。
【0410】
尚、ショベル100は、例えば、基地局を末端とする移動体通信網やインターネット網等を含む広域の通信ネットワークを通じて、支援装置200とP2P(Peer to Peer)接続し、相互に通信可能な構成であってもよい。また、ショベル100及び支援装置200は、それぞれ、通信ネットワークを通じて、例えば、工事現場の外部に設置される管理サーバや、工事現場の管理事務所の建屋等に設置される管理端末等と通信可能に接続され、管理サーバや管理端末等を経由して、相互に通信を行う構成であってもよい。
【0411】
<支援装置の概要>
支援装置200(外部装置の一例)は、例えば、工事現場の作業者、監督者、保全担当者等、工事現場のショベル100の周辺に存在しうるユーザ(以下、便宜的に「作業者等」)が所持する携帯端末である。支援装置200は、例えば、ユーザが所持する汎用のノートPC、タブレット端末、スマートフォン等である。また、支援装置200は、ショベル100に注意喚起指令等の指令情報を送信するための専用端末(例えば、上述の注意喚起指令等の特定の指令情報を送信するボタン等の操作部を含むリモコン端末)であってもよい。
【0412】
支援装置200は、上述の如く、ブルートゥース通信やWiFi通信等の所定方式の近距離通信により、ショベル100とP2P接続し、相互に通信を行うことができる。これにより、支援装置200は、ユーザの操作に応じて、ショベル100に上述の注意喚起指令等の指令情報を送信することができる。詳細は、後述する。
【0413】
[現場安全支援システムの構成]
次に、図19に加えて、図20を参照して、本実施形態に係る現場安全支援システムSYS2の具体的な構成について説明をする。
【0414】
図20は、現場安全支援システムSYS2の構成の一例を示す構成図である。
【0415】
<ショベルの構成>
ショベル100は、コントローラ30と、撮像装置40と、表示装置50と、音声出力装置52と、ゲートロック弁54と、通信機器60を含む。
【0416】
コントローラ30は、ショベル100の駆動制御を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよい。コントローラ30は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置、RTC(Real Time Clock)、各種通信用インターフェース等を含むマイクロコンピュータを中心に構成される。以下、後述する支援装置200の制御装置210についても同様である。
【0417】
例えば、コントローラ30は、ショベル100の周辺監視に関する制御を行う。具体的には、コントローラ30は、撮像装置40を制御し、ショベル100の周辺の状況に関する情報、つまり、ショベル100の周辺の状況(様子)を示す撮像画像を取得する。また、コントローラ30は、撮像装置40から取得した情報(撮像画像)に基づき、ショベル100の周辺の所定の監視範囲内で、所定の監視対象を検知する。このとき、監視対象には、ショベル100の周辺で作業を行う作業者や工事現場の監督者等の人だけでなく、工事現場の資材や土砂等の定置型の障害物、工事現場の他の作業機械やトラック等の移動型の障害物(つまり、移動体)等、任意の物体が含まれうる。
【0418】
また、例えば、コントローラ30は、当該ショベル100のオペレータに対する当該ショベル100の周辺への注意喚起に関する制御を行う。具体的には、コントローラ30は、支援装置200から受信される注意喚起指令に応じて、当該ショベル100のオペレータに対する当該ショベル100への注意喚起を行う。
【0419】
コントローラ30は、例えば、ROMや不揮発性の補助記憶装置に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、監視画像表示処理部3021と、検知部3022と、通信処理部3023と、警報出力部3024と、動作制限部3025を含む。
【0420】
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100の周辺を撮像する。撮像装置40は、カメラ40B,40L,40Rを含む。
【0421】
カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、非常に広い画角を有する単眼の広角カメラである。具体的には、カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル1 00の遠方までを含む上下方向の撮像範囲を撮像する。カメラ40B、カメラ40L、及び、カメラ40Rは、それぞれ、ショベル100の稼働中、所定周期(例えば、1/30秒)ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ30に取り込まれる。
【0422】
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作部を兼ねるタッチパネルが実装されるタッチパネル式であってもよい。具体的には、表示装置50は、後述の如く、ショベル100の周辺の様子を示す監視画像として、撮像装置40の撮像画像(以下、「スルー画像」と称する場合がある)や、撮像装置40の撮像画像に基づき生成(合成)される合成画像(例えば、後述する視点変換画像)等を表示する。
【0423】
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。具体的には、音声出力装置52は、警報音を出力する。
【0424】
ゲートロック弁54は、上述のパイロットポンプからショベル100の各種動作要素(即ち、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等)をオペレータ等が操作するための操作装置に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通/非連通を切り替える。
【0425】
例えば、ゲートロック弁54は、通常、キャビン10内の操縦席の入口に相当する部分に設けられるゲートロックレバーの操作状態と連動する、ゲートロックスイッチの出力信号(ON/OFF)に応じて、パイロットラインの連通/非連通を切り替える。具体的には、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態(即ち、操縦席にオペレータが着座した状態)に対応する信号(以下、便宜的に「OFF信号」)である場合、パイロットラインを連通状態にする。一方、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態(即ち、操縦席からオペレータが離脱した状態)に対応する信号(以下、便宜的に「ON信号」)である場合、パイロットラインを非連通状態にする。
【0426】
また、例えば、ゲートロック弁54は、コントローラ30から入力される指令信号も受付可能に構成される。具体的には、ゲートロック弁54は、その信号入力部が、コントローラ30からの指令信号が割り込み可能な論理回路に接続されてよい。これにより、ゲートロック弁54は、コントローラ30からの指令信号(OFF信号/ON信号)に応じて、パイロットラインの連通/非連通を切り替えることができる。即ち、ゲートロック弁54は、コントローラ30による制御の下、ゲートロックレバーが引き上げられた状態であっても、パイロットラインを非連通状態にすることができる。
【0427】
通信機器60は、例えば、上述のブルートゥース通信、WiFi通信、RF通信等の比較的狭いエリア、つまり、工事現場内での相互通信を実現可能な所定方式の近距離通信規格に準拠するデバイスである。通信機器60により外部から受信された各種情報は、コントローラ30に取り込まれる。
【0428】
監視画像表示処理部3021は、撮像装置40の撮像画像に基づき、表示装置50に監視画像を表示させる。
【0429】
例えば、監視画像表示処理部3021は、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つのカメラの撮像画像を表示装置50に表示させる。
【0430】
また、例えば、監視画像表示処理部3021は、撮像装置40の撮像画像に基づき、監視画像としてのショベル100の周辺の様子を表す別画像(以下、便宜的に「周辺画像」)を生成する。具体的には、監視画像表示処理部3021は、カメラ40B,40L,40Rの撮像画像を合成したり、視点を変換する処理を施したりすることにより、周辺画像を生成してよい。そして、監視画像表示処理部3021は、生成した周辺画像を含む監視画像を表示装置50に表示させる。
【0431】
より具体的には、監視画像表示処理部3021は、周辺画像として、カメラ40B,40L,40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、監視画像表示処理部3021は、周辺画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、監視画像表示処理部3021は、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成すると共に、表示装置50に表示させる。
【0432】
例えば、表示装置50には、上述の図5A及び図5Bに示す監視画像が表示される。
【0433】
A及び図Bに示すように、本例では、表示装置50は、各種情報画像が表示される表示領域である表示部50Aと、表示部50Aに表示される各種情報画像に関するオペレータ等による操作を受け付け可能なボタンスイッチ等のハードウェアによる操作部50Bを含む。
【0434】
表示部50Aは、例えば、表示装置50における横長の長方形のディスプレイ(例えば、アスペクト比4:3のディスプレイ)である。
【0435】
Aに示すように、本例では、表示部50Aには、監視画像MP1として、上述の如く、カメラ40B,40L,40Rの何れかのスルー画像が表示される。
【0436】
本例の監視画像MP1(スルー画像)には、ガイドラインGLaが重畳表示される。ガイドラインGLaは、例えば、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。これにより、オペレータ等は、スルー画像に監視対象等が写っている(含まれている)場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0437】
尚、所定距離D1は、後述する監視エリアに対応する所定距離D2以下の範囲で適宜設定されうる。
【0438】
また、図Bに示すように、本例では、表示部50Aには、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示される。これにより、オペレータ等は、周辺画像EPに写っている監視対象と、ショベル100との位置関係を適切に把握することができる。
【0439】
本例の周辺画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
【0440】
また、監視画像MP2には、ガイドラインGLbが重畳表示される。ガイドラインGLbは、図Aの監視画像MP1(スルー画像)のガイドラインGLaと同様、ショベル100からの水平方向の距離Dが所定距離D1の位置を表す。つまり、ガイドラインGLbは、ショベル100の真上から見た平面視に対応するショベル画像CGの輪郭形状を、ショベル画像CGの外側に所定距離D1に相当する量だけオフセット(拡大)させた線である。これにより、オペレータ等は、図AのガイドラインGLaの場合と同様、周辺画像EPに監視対象等が写っている(含まれている)場合に、ショベル100からどの程度離れた位置に存在するかを把握することができる。
【0441】
図19図20に戻り、検知部3022は、撮像装置40により撮像された撮像画像に基づき、ショベル100の周辺の監視エリア、具体的には、ショベル100から見た水平方向、つまり、ショベル100が作業している(下部走行体1が接地している)平面に沿う方向の監視エリア内において、監視対象を検知する。具体的には、検知部3022は、ショベル100からの水平方向の距離Dが所定距離D2(例えば、5メートル)以内の監視エリア内で、監視対象を検知する。
【0442】
例えば、監視エリアは、上述の図6のように示される。
【0443】
尚、図中の点線L1及び一点鎖線L2は、それぞれ、ショベル100からの水平方向の距離Dが所定距離D1及び所定距離D2の位置に相当する。
【0444】
図6に示すように、監視エリアMA(図中の斜線部)は、カメラ40B,40L,40Rのそれぞれの水平方向の画角により規定される撮像可能範囲AVB,AVL、AVRのうちのショベル100からの水平方向の距離Dが所定距離D2以下の範囲として規定される。
【0445】
図19図20に戻り、例えば、検知部3022は、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
【0446】
また、検知部3022は、既知の各種手法を適用することにより、単眼の撮像装置40による撮像画像に含まれる、認識された監視対象が存在する位置(以下、「実在位置」。例えば、監視対象としての人の足元位置)を判定(推定)することができる。
【0447】
例えば、検知部3022は、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)が規定されうるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見たい水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検知部3022は、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
【0448】
また、例えば、検知部3022は、監視対象がショベル100(の下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
【0449】
尚、検知部3022は、撮像装置40の撮像画像に代えて、或いは、加えて、ショベル100に搭載されうる他のセンサの検出情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してもよい。例えば、検知部3022は、他のセンサとしてのステレオカメラ、ミリ波レーダ、LIDAR(Light Detecting and Ranging)等の検出情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してよい。
【0450】
通信処理部3023は、通信機器60を制御し、当該ショベル100と、当該ショベル100の周辺の作業者等が所持する支援装置200との間で、上述した所定方式の近距離通信によるP2P接続を確立する。
【0451】
具体的には、まず、通信処理部3023は、当該ショベル100の周辺において、所定方式の近距離通信によるP2P接続が可能な機器(以下、便宜的に「接続可能機器」)を検出する。
【0452】
例えば、通信処理部3023は、通信機器60を通じて、ショベル100の周辺の所定範囲、つまり、通信可能範囲(例えば、数メートル~数十メートル)内に、ショベル100或いは通信機器60に対応する機器の識別情報を含む信号(以下、「アドバタイズ信号」)を間欠的に送信する。これにより、支援装置200等の接続可能機器は、当該ショベル100の通信可能範囲内に位置する場合(つまり、当該ショベル100の通信可能範囲に進入した場合)、当該アドバタイズ信号を受信することができる。そして、通信処理部3023は、通信機器60を通じて、当該アドバタイズ信号を受信した接続可能機器からのP2P接続を要求する信号(以下、便宜的に「接続要求信号」)を受信することにより、当該接続要求信号の送信元の接続可能機器を検出することができる。
【0453】
また、例えば、通信処理部3023は、通信機器60を通じて、アドバタイズ信号を受信することにより、当該アドバタイズ信号の送信元の接続可能機器を検出することができる。
【0454】
続いて、通信処理部3023は、検出した当該ショベル100の周辺の接続可能機器が、接続対象機器、つまり、支援装置200であるか否かを判定する。例えば、通信処理部3023は、アドバタイズ信号や接続要求信号に含まれる当該信号の送信元を特定(識別)するための各種情報に基づき、接続対象機器であるか否かを判定する。
【0455】
最後に、通信処理部3023は、検出した接続可能機器が接続対象機器であると判定すると、検出した接続可能機器との間でP2P接続を確立する。
【0456】
例えば、通信処理部3023は、通信機器60を通じて、接続要求信号を受信することにより、送信元の接続可能機器を検出した場合、当該ショベル100側でのP2P接続のための処理を行う。そして、通信処理部3023は、通信機器60を通じて、当該接続可能機器に接続完了を通知する信号(以下、便宜的に「接続応答信号」)を送信することにより、検出した接続可能機器、つまり、支援装置200との間でのP2P接続を確立する。
【0457】
また、例えば、通信処理部3023は、通信機器60を通じて、アドバタイズ信号を受信することにより、送信元の接続可能機器を検出した場合、当該接続可能機器に接続要求信号を送信する。そして、通信処理部3023は、通信機器60を通じて、当該接続可能機器から接続応答信号を受信し、当該受信に応じて、当該ショベル100側でのP2P接続のための処理を行うことにより、検出した接続可能機器、つまり、支援装置200との間でのP2P接続を確立する。
【0458】
このように、通信処理部3023は、当該ショベル100及び接続対象機器(支援装置200)が互いの通信可能範囲に位置する場合に、P2P接続を確立することができる。
【0459】
尚、通信処理部3023は、支援装置200から要求があった場合(例えば、支援装置200から接続要求信号が受信された場合)だけ、当該ショベル100と支援装置200との間のP2P接続を確立してもよい。
【0460】
また、通信処理部3023は、通信機器60を通じて、当該ショベル100との間でP2P接続が確立された支援装置200から送信される各種情報を受信する。
【0461】
例えば、通信処理部3023(第1の情報取得部、第2の情報取得部の一例)は、通信機器60を通じて、支援装置200から注意喚起指令や解除指令等の指令情報を受信すると、警報出力部3024及び動作制限部3025にその旨を通知する。
【0462】
警報出力部3024は、ショベル100のキャビン10の内外に向けた警報を出力する。
【0463】
例えば、警報出力部3024は、検知部3022により監視エリア内で監視対象が検知された場合、キャビン10の内部或いは外部に向けて、警報を出力する。これにより、コントローラ30は、オペレータやショベル100の周辺の作業者、監督者等に対して、ショベル100の周辺の監視エリア内に監視対象が侵入したことを認識させることができる。そのため、コントローラ30は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。以下、当該警報を便宜的に「監視対象検知警報」と称する。
【0464】
また、例えば、警報出力部3024(注意喚起部の一例)は、通信処理部3023により支援装置200から注意喚起指令が受信された場合、キャビン10内のオペレータに対して、当該ショベル100の周辺状況への注意喚起を行う警報を出力する。これにより、コントローラ30は、オペレータに対して、当該ショベル100の周辺状況を確認するように促すことができる。以下、当該警報を便宜的に「注意喚起警報」と称する。
【0465】
警報出力部3024は、任意の方法で、警報(監視対象検知警報或いは注意喚起警報)を出力してよい。
【0466】
例えば、警報出力部3024は、聴覚的な方法、つまり、音による警報を出力する。
【0467】
具体的には、警報出力部3024は、音声出力装置52に制御指令を出力し、警告音を出力させてよい。このとき、警報出力部3024は、各種条件(例えば、警報の種類、つまり、監視対象検知警報と注意喚起警報との別)に応じて、警告音の音高、音圧、音色等や、警告音(例えば、ブザー音)を周期的に吹鳴させる場合の吹鳴周期等を異ならせてよい。
【0468】
また、警報出力部3024は、スピーカ等の音声出力装置52を通じて、監視対象が検知された旨の音声や当該ショベル100の周辺状況の確認するように指示する(促す)音声を出力してもよい。
【0469】
また、例えば、警報出力部3024は、視覚的な方法、つまり、表示装置50への情報画像の表示による警報を出力する。
【0470】
具体的には、警報出力部3024は、監視画像表示処理部3021に警報要求を送信する。これにより、監視画像表示処理部3021は、警報要求に応じて、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させることで、表示装置50を通じて、オペレータに対する監視対象検知警報を出力することができる。
【0471】
また、警報出力部3024は、表示装置50に、当該ショベル100の周辺を確認するように促す文字情報等を表示させることで、オペレータに対する注意喚起警報を出力することができる。
【0472】
尚、警報出力部3024は、触覚的な方法による警報を出力してもよい。具体的には、例えば、オペレータが着座する操縦席を振動させる振動発生装置等を通じて、警報を出力してもよい。この場合、警報出力部3024は、警報の種類の別、つまり、監視対象検知警報と注意喚起警報との別に応じて、振動発生装置から出力される振動の大きさ、振動周期等を異ならせてよい。
【0473】
また、警報出力部3024は、検知部3022により監視エリア内で検知されている監視対象と、ショベル100との位置関係に応じて、監視対象検知警報の種類(警報レベル)を異ならせてもよい。
【0474】
例えば、警報出力部3024は、検知部3022により監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警報レベルが低い監視対象検知警報(以下、「注意レベルの監視対象検知警報」)を出力する。具体的には、警報出力部3024は、検知部3022により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、注意レベルの監視対象検知警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1を超えている領域を便宜的に「注意領域」と称する。一方、警報出力部3024は、検知部3022により監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に警報レベルが高い警報(以下、「警戒レベルの監視対象検知警報」)を出力する。具体的には、警報出力部3024は、検知部3022により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、警戒レベルの警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1以下の領域を「警戒領域」と称する。
【0475】
この場合、警報出力部3024は、注意レベルの監視対象検知警報と警戒レベルの監視対象検知警報との間で、音声出力装置52から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、警報出力部3024は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象を強調させるマーカ等の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ30は、警報音や表示装置50に表示される監視対象を強調させるマーカ等の相違によって、オペレータ等に警報レベル、つまり、監視対象のショベル100に対する接近度を把握させることができる。
【0476】
また、警報出力部3024は、監視対象検知警報の出力開始後、検知部3022により検知されていた監視対象が検知されなくなった場合、或いは、所定の解除操作が行われた場合に、警報の出力を解除する。
【0477】
また、警報出力部3024は、注意喚起警報の出力開始後、通信処理部3023により支援装置200から解除指令が受信された場合、注意喚起警報を停止させる。
【0478】
尚、警報出力部3024は、オペレータが当該ショベル100の周辺状況を確認した場合、解除指令の受信に依らず、注意喚起警報を停止させてもよい。この場合、例えば、警報出力部3024は、注意喚起警報の出力開始から、オペレータが当該ショベル100の周辺状況を確認したと判断可能な所定時間(例えば、1分間等)が経過した場合に、注意喚起警報を停止させてもよい。また、例えば、警報出力部3024は、キャビン10内に設置される視線センサ等によりオペレータの視線状況を確認し、オペレータがショベル100の周辺状況を確認したと判定した場合に、注意喚起警報を停止させてもよい。また、例えば、警報出力部3024は、表示装置50に、ショベル100の周辺状況の確認の有無を問う内容の文字情報を表示させた上で、オペレータによって、ショベル100の周辺状況を確認したことを示す確認操作が行われた場合に、注意喚起警報を停止させてもよい。また、例えば、オペレータにより所定の操作が行われることにより、通信処理部3023を通じて、ショベル100から注意喚起警報の送信元の支援装置200に注意喚起警報の解除を依頼する信号(以下、「解除依頼信号」)が送信される構成であってもよい。この場合、支援装置200は、ショベル100から解除依頼信号を受信すると、後述する表示装置240に注意喚起警報の解除を許可するための操作画面を表示させ、ユーザによる許可操作を受け付けると、解除を許可する旨の信号(以下、「解除許可信号」)を当該ショベル100に返信してよい。そして、警報出力部3024は、通信処理部3023を通じて、支援装置200から解除許可信号が受信されると、注意喚起警報を停止させる。また、警報出力部3024は、支援装置200から解除許可信号が受信されない場合であっても、解除依頼信号の送信から所定時間が経過した場合に、注意喚起警報を停止してもよい。
【0479】
動作制限部3025は、当該ショベル100の周辺の安全確保に関する所定の条件が成立した場合、ショベル100の動作要素の動作を制限する。このとき、動作制限対象の動作要素には、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等の一部又は全部が含まれる。例えば、動作制限部3025は、ゲートロック弁54に指令信号(ON信号)を送信することにより、ゲートロック弁54に、パイロットラインを非連通状態にさせる。これにより、パイロットポンプからショベル100の動作要素を操作する操作装置に作動油(パイロット圧)が供給されないため、オペレータが操作装置に操作入力を行っても、ショベル100の動作要素が動作しないように制限できる。そのため、ショベル100の周辺の比較的近い領域に存在する物体との衝突等の発生を抑制することができる。
【0480】
例えば、動作制限部3025は、検知部3022により監視エリア内で監視対象が検知された場合、ショベル100の動作要素の動作を制限する。これにより、ショベル100の周辺の監視エリアに監視対象(例えば、人)が進入してしまった場合であっても、ショベル100の動作が制限され、ショベル100と監視対象の衝突等の発生が抑制されうる。そのため、ショベル100の周辺における安全性の維持を図ることができる。
【0481】
また、例えば、動作制限部3025は、通信処理部3023により支援装置200から注意喚起指令が受信された場合、ショベル100の動作要素の動作を制限する。これにより、支援装置200から注意喚起指令が送信される状況、つまり、オペレータが当該ショベル100の周辺状況に注意すべき状況において、ショベル100と注意喚起の要因となる対象物(例えば、工事現場に進入してきたトラック等)との衝突等が抑制されうる。そのため、ショベル100の周辺における安全性の維持を図ることができる。
【0482】
このとき、動作制限部3025は、オペレータに対する当該ショベル100の周辺状況への注意喚起が開始された後、つまり、警報出力部3024により注意喚起警報の出力が開始された後に、ショベル100の動作制限を開始してもよい。具体的には、動作制限部3025は、警報出力部3024により注意喚起警報の出力が開始された後、所定時間(例えば、数秒)が経過した場合に、ショベル100の動作制限を開始してよい。これにより、オペレータが警報出力部3024による注意喚起警報を確認した後に、当該ショベル100の動作が制限される。そのため、ショベル100の動作制限が急に開始されることにより、オペレータに違和感を与えてしまったり、動作中の動作要素の急停止により当該ショベル100が不安定な姿勢になってしまったりするような事態を抑制できる。
【0483】
また、動作制限部3025(通知部の一例)は、警報出力部3024により注意喚起警報の出力が開始された後で、且つ、当該ショベル100の動作制限を開始する前に、表示装置50や音声出力装置52を通じて、オペレータに動作制限が開始される旨の通知(以下、「動作制限予告通知」)を行ってもよい。これにより、ユーザは、ショベル100の動作制限が開始される前に、動作制限が開始されることを認識することができる。そのため、ショベル100の動作制限が急に開始されることにより、オペレータに違和感を与えてしまったり、動作中の動作要素の急停止により当該ショベル100が不安定な姿勢になってしまったりするような事態を更に抑制できる。このとき、表示装置50に表示される動作制限予告通知には、カウントダウン形式で示される、ショベル100の動作制限の開始までの残り時間が含まれてよい。これにより、ユーザは、実際に、ショベル100の動作制限がいつ開始されるかを把握することができる。
【0484】
尚、ゲートロック弁54の代わりに、例えば、動作要素を操作する操作装置から出力される二次側のパイロット圧を減圧する減圧弁が設けられ、動作制限部3025は、当該減圧弁を制御してもよい。この場合、当該減圧弁は、当該操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる当該操作装置に対する操作を無効化することができる。そのため、動作制限部3025は、当該減圧弁を制御することにより、結果として、ショベル100の動作要素の動作を制限することができる。また、動作制限部3025は、当該減圧弁を制御することにより、ショベル100の動作要素を停止させず、オペレータによる操作に対する各種動作要素の動作を通常よりも緩やかに抑制する態様で、ショベル100の動作を制限してもよい。
【0485】
また、動作制限部3025は、警報出力部3024の場合と同様、検知部3022により検知されている監視対象とショベル100との位置関係に応じて、監視対象の検知に起因するショベル100の動作制限のレベルを異ならせてもよい。
【0486】
例えば、動作制限部3025は、検知部3022により監視エリア内で検知されている監視対象が相対的にショベル100から遠い位置に存在する場合、相対的に制限度が低い態様で、ショベル100の動作制限を行う。具体的には、動作制限部3025は、検知部3022により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦D2の場合)に、相対的に制限度が低い(例えば、操作量に対する動作要素の動作速度を通常よりも遅くする)態様で、ショベル100の動作制限を行ってよい。一方、動作制限部3025は、検知部3022により監視エリア内で検知されている監視対象が相対的にショベル100から近い位置に存在する場合、相対的に制限度が高い態様で、ショベル100の動作制限を行う。具体的には、動作制限部3025は、検知部3022により検知されている監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、相対的に制限度が高い(例えば、動作要素の動作を停止させる)態様で、ショベル100の動作制限を行ってよい。
【0487】
また、動作制限部3025は、検知部3022による監視対象の検知に起因するショベル100の動作制限の開始後、検知部3022により検知されていた監視対象が検知されなくなった場合、或いは、上述の解除操作が行われた場合に、ショベル100の動作制限を解除する。
【0488】
また、動作制限部3025は、注意喚起指令の受信に起因するショベル100の動作制限の開始後、支援装置200から解除指令を受信した場合、ショベル100の動作制限を解除する。
【0489】
尚、動作制限部3025は、検知部3022による監視対象の検知に関する動作制限の実施条件と、注意喚起指令の受信に関する動作制限の実施条件の双方が成立している場合、双方の解除条件が成立しない限り、当該ショベル100の動作制限を解除しない。具体的には、動作制限部3025は、ショベル100の動作制限のトリガが、検知部3022による監視対象の検知であっても、支援装置200からの解除指令の受信であっても、双方の実施条件が成立している場合、双方の解除条件が成立しない限り、当該ショベル100の動作制限を解除しないようにしてもよい。これにより、ショベル100の安全性を更に向上させることができる。
【0490】
<支援装置の構成>
支援装置200は、制御装置210と、通信機器220と、操作装置230と、表示装置240を含む。
【0491】
制御装置210は、支援装置200の各種動作を制御する。制御装置210は、例えば、ROMや不揮発性の補助記憶装置に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、通信処理部2104と、注意喚起指令部2105と、解除指令部2106を含む。
【0492】
通信機器220は、例えば、上述のブルートゥース通信、WiFi通信、RF通信等のショベル100の通信機器60と同じ方式の近距離通信規格に準拠するデバイスである。これにより、通信機器220は、ショベル100の通信機器60から送信される信号を受信したり、ショベル100の通信機器60で受信可能な信号を送信したりすることができる。
【0493】
操作装置230は、ユーザからの支援装置200における各種操作を受け付ける。操作装置230は、例えば、ボタン、キーボード、マウス、タッチパッド、表示装置50に実装されるタッチパネル等のハードウェアによる操作部を含む。また、操作装置230は、表示装置240に実装されるタッチパネル等のハードウェアによる操作部と、表示装置240に表示される操作画面上のボタンアイコン等のソフトウェアによる操作部との組み合わせでもよい。
【0494】
表示装置240は、各種情報画像を表示する。表示装置240は、例えば、液晶ディスプレイや有機ELディスプレイである。
【0495】
通信処理部2104は、通信機器220を制御し、当該支援装置200と、当該支援装置200の周辺のショベル100との間で、上述した所定方式の近距離通信によるP2P接続を確立する。通信処理部2104によるショベル100との間のP2P接続の確立方法は、接続先が支援装置200からショベル100に代わるだけで、ショベル100の通信処理部3023による支援装置200との間のP2P接続の確立方法と同様であるため、説明を省略する。
【0496】
また、通信処理部2104は、通信機器220を制御し、注意喚起指令部2105や解除指令部2106等からの要求に応じて、各種指令情報をショベル100宛てに送信する。
【0497】
注意喚起指令部2105は、操作装置230を通じて、工事現場の作業者等のユーザによる注意喚起指令の送信を指示する操作(以下、「注意喚起指令の送信操作」)が行われた場合、通信処理部2104を介して、注意喚起指令をショベル100に送信する。これにより、工事現場の作業者等のユーザは、ショベル100のオペレータに周辺状況の確認を促したい場合(例えば、工事現場に進入してきたトラック等がショベル100に接近してきた場合)に、ショベル100にオペレータに対する周辺状況への注意喚起を行わせることができる。
【0498】
例えば、図21は、表示装置240に表示される注意喚起指令の送信操作が行われる操作画面(以下、「注意喚起操作画面」)の一例(注意喚起操作画面500)を示す図である。
【0499】
図21に示すように、注意喚起操作画面500には、表示装置240に実装されるタッチパネル等の操作装置230により操作可能なボタンアイコン501,502が含まれる。
【0500】
ボタンアイコン501には、"送信"の文字情報が付記されており、ユーザは、操作装置230を通じて、ボタンアイコン501を操作することで、注意喚起指令の送信操作を行うことができる。つまり、注意喚起指令部2105は、操作装置230等を通じて、ボタンアイコン501が操作されると、通信処理部2104を介して、ショベル100宛ての注意喚起指令を送信する。このとき、注意喚起指令部2105は、当該支援装置200が複数のショベル100とP2P接続されている場合、複数のショベル100に注意喚起指令をブロードキャスト送信する。これにより、ユーザは、一回の注意喚起指令の送信操作で、複数のショベル100にそれぞれのオペレータに対する周辺状況の注意喚起を行わせることができる。
【0501】
尚、支援装置200が複数のショベル100との間でP2P接続される場合、送信先のショベル100を選択するための操作画面が表示装置240に表示されてもよい。これにより、ユーザは、注意喚起が必要なオペレータに対応するショベル100だけに注意喚起指令を送信させることができる。
【0502】
ボタンアイコン502には、"戻る"の文字情報が付記されており、ユーザは、操作装置230を通じて、ボタンアイコン502を操作することで、表示装置50の表示内容を注意喚起操作画面500が表示される直前の画面に戻すことができる。
【0503】
図19図20に戻り、解除指令部2106は、操作装置230を通じて、工事現場の作業者等のユーザによる解除指令の送信を指示する操作(以下、「解除指令の送信操作」)が行われた場合、通信処理部2104を介して、解除指令をショベル100に送信する。これにより、工事現場の作業者等のユーザは、例えば、工事現場に進入してきたトラック等がショベル100の遠方に離れて行った場合等において、注意喚起警報やショベル100の動作制限を解除させることができる。
【0504】
例えば、図22は、表示装置240に表示される解除指令の送信操作が行われる操作画面(以下、「解除操作画面」)の一例(解除操作画面600)を示す図である。
【0505】
図22に示すように、解除操作画面600には、表示装置240に実装されるタッチパネル等の操作装置230により操作可能なボタンアイコン601,602が含まれる。
【0506】
ボタンアイコン601には、"送信"の文字情報が付記されており、ユーザは、操作装置230を通じて、ボタンアイコン601を操作することで、解除指令の送信操作を行うことができる。つまり、解除指令部2106は、操作装置230等を通じて、ボタンアイコン601が操作されると、通信処理部2104を介して、ショベル100宛ての解除指令を送信する。このとき、解除指令部2106は、当該支援装置200が複数のショベル100とP2P接続されている場合、複数のショベル100に解除指令をブロードキャスト送信する。また、解除指令部2106は、当該支援装置200とP2P接続されている複数のショベル100のうち、先だって、注意喚起指令が送信されたショベル100だけを選択し、選択したショベル100に解除指令をマルチキャスト送信或いはユニキャスト送信してもよい。これにより、ユーザは、一回の解除指令の送信操作で、複数のショベル100にオペレータに対する周辺状況への注意喚起や動作制限の解除を行わせることができる。
【0507】
尚、支援装置200が複数のショベル100との間でP2P接続される場合、送信先のショベル100を選択するための操作画面が表示装置240に表示されてもよい。これにより、ユーザは、自ら解除指令の対象となるショベル100を選択し、オペレータに対する周辺状況への注意喚起や動作制限の解除を行わせることができる。
【0508】
[現場安全支援システムの動作の概要]
次に、図23を参照して、現場安全支援システムSYS2の動作の概要を説明する。
【0509】
図23は、現場安全支援システムSYS2の動作の概要を説明する図である。具体的には、図23は、ショベル100、及び、支援装置200を携帯する作業者Wが作業を行う工事現場の状況と、ショベル100及び支援装置200の動作の流れを表している。以下、本例では、作業者Wは、ショベル100の通信機器60の通信可能範囲に存在し、且つ、ショベル100は、支援装置200の通信機器220の通信可能範囲に存在する前提で説明を行う。
【0510】
ステップS10にて、ショベル100及び支援装置200は、相互間でのP2P接続を確立する。
【0511】
ステップS12にて、トラックTKが工事現場に進入し、ショベル100に接近してきている。
【0512】
ステップS14にて、作業者Wは、トラックTKが工事現場に進入してきたのに気付き、支援装置200に注意喚起指令の送信操作を行い、支援装置200は、作業者Wの送信操作に応じて、ショベル100に注意喚起指令を送信する。
【0513】
ステップS16にて、ショベル100は、支援装置200からの注意喚起指令を受信し、注意喚起指令に応じて、注意喚起警報の出力を開始する。
【0514】
例えば、図23に示すように、ショベル100のコントローラ30(警報出力部3024)は、表示装置50に表示される監視画像MP1(スルー画像)上に、ショベル100の周囲を確認するように促す注意喚起警報ALMを表示させる。これにより、オペレータは、表示装置50に表示されている監視画像を確認しながら作業をしている状況で、容易に、注意喚起警報が出力されたことを把握することができる。また、オペレータは、注意喚起警報の出力開始の把握と、監視画像MP1に表示されるショベル100の周辺状況(例えば、作業者Wや工事現場に進入してきたトラックの状況等)とを同時に確認することができる。
【0515】
また、ショベル100のコントローラ30は、表示装置50に監視画像以外の情報画像が表示されている場合、自動的に、表示装置50の表示内容を監視画像(例えば、カメラ40Bのスルー画像や周辺画像を含む監視画像)に切り替えてもよい。これにより、オペレータは、ショベル100の後方等の直接確認がしにくい場所の周辺状況を確認するための操作の手間が省けるため、オペレータの利便性が向上する。
【0516】
そして、ショベル100は、注意喚起指令の開始後、動作制限を開始する。これにより、ショベル100(コントローラ30)は、ショベル100の動作に起因する接近してきたトラックTKとの接触等の発生を防止することができる。
【0517】
ステップS18にて、作業者Wは、トラックTKがショベル100から離れたのを確認すると、支援装置200に解除指令の送信操作を行い、支援装置200は、作業者Wの送信操作に応じて、ショベル100に解除指令を送信する。
【0518】
ステップS20にて、ショベル100は、支援装置200からの解除指令を受信し、解除指令に応じて、注意喚起警報及び動作制限を解除する。これにより、ショベル100は、通常作業に復帰することができる。
【0519】
このように、支援装置200は、ユーザ(作業者W)の操作に応じて、ショベル100にオペレータに対するショベル100の周辺状況への注意喚起を行わせるための指令(注意喚起指令)を送信する。そして、ショベル100は、支援装置200からの注意喚起指令を受信し、オペレータに対するショベル100の周辺状況への注意喚起、具体的には、注意喚起警報の出力を行う。通常、オペレータは、ショベル100のアタッチメントの動作を注視するため、外部の作業者Wよりも外的要因による工事現場の状況の変化を気付きにくくなる。そのため、現場安全支援システムSYS2は、工事現場へのトラックTKの進入等の外的要因による工事現場の状況の変化に対応した形で、オペレータにショベル100の周辺状況の確認を促し、ショベル100の安全性を向上させることができる。よって、現場安全支援システムSYS2は、工事現場の総合的な状況の変化に対応し、安全性を向上させることができる。
【0520】
また、ショベル100は、注意喚起指令の受信に応じて、動作制限を行う。換言すれば、支援装置200は、当該ショベル100のオペレータに対するショベル100の周辺状況への注意喚起を行わせ、且つ、ショベル100の動作を制限させるための注意喚起指令をショベル100に送信する。これにより、現場安全支援システムSYS2は、工事現場へのトラックTKの進入等の外的要因による工事現場の状況の変化に対応した形で、ショベル100の動作制限を行い、ショベル100の安全性を更に向上させることができる。
【0521】
また、作業者Wは、例えば、ショベル100の周辺で作業している他の作業者が急動作を行ったり、体調の急変で倒れてしまったりする等の異変が生じた場合や、作業者W自身の体調の急変で倒れる等の異変が生じた場合に、支援装置200に注意喚起指令の送信操作を行うこともできる。ショベル100の周辺で作業する作業者に異変が生じた場合、ショベル100の進路や上部旋回体3の旋回により通過する範囲に作業者が進入してしまう可能性があり得る。そのため、現場安全支援システムSYS2は、作業者の異変等の内的要因による工事現場の状況の変化に対応した形で、オペレータにショベル100の周辺状況の確認を促したり、ショベル100の動作制限を行ったりすることで、ショベル100の安全性を更に向上させることができる。
【0522】
尚、ショベル100は、外部からショベル100の周辺状況の変化に関する情報(以下、便宜的に「注意喚起情報」)としての注意喚起指令を支援装置200から取得するが、注意喚起指令以外の方法で、注意喚起情報を取得してもよい。つまり、作業者Wは、他の方法で、ショベル100の周辺状況の変化をショベル100に伝達してもよい。例えば、作業者Wは、トラックTKの接近等のショベル100の周辺状況の変化を知らせるため、所定のジェスチャやポーズをショベル100に向けて行ってもよい。この場合、ショベル100のコントローラ30は、撮像装置40の撮像画像に対して画像認識処理を施すことで、作業者Wによるジェスチャやポーズを認識することができる。つまり、ショベル100は、注意喚起情報として、ショベル100の周辺で所定のポーズ或いはジェスチャを行っている作業者等の所定の人を含む撮像装置40の撮像画像を取得してもよい。これにより、ショベル100は、撮像装置40の撮像画像から所定のジェスチャやポーズを行っている作業者Wを認識し、オペレータに対してショベル100の周辺状況への注意喚起を行ったり、ショベル100の動作制限を行ったりすることができる。同様に、ショベル100は、外部からショベル100の注意喚起警報や動作制限の解除に関する情報(以下、便宜的に「解除情報」)を、解除指令以外の方法で取得してもよい。具体的には、ショベル100は、自身の周辺で、注意喚起情報の場合とは異なる所定のジェスチャやポーズを行っている作業者等の所定の人を含む撮像装置40の撮像画像を通じて、解除情報を取得してもよい。
【0523】
また、作業者Wは、個別に支援装置200を携帯せず、工事現場の作業エリア付近に設置される支援装置200を利用して、ショベル100に注意喚起指令を送信してもよい。つまり、支援装置200は、ショベル100が作業を行う作業エリアに一又は複数が設置され、作業エリアで作業する作業者等で共用されてもよい。
【0524】
[現場安全支援システムの動作の詳細]
次に、図24を参照して、現場安全支援システムSYS2の動作の詳細について説明する。
【0525】
24は、ショベル100のコントローラ30によるオペレータに対する周辺状況への注意喚起に関する処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、通信処理部3023により、支援装置200から注意喚起指令が受信されると、実行される。
【0526】
ステップS402にて、警報出力部3024は、通信処理部3023による支援装置200から注意喚起指令の受信に応じて、表示装置50や音声出力装置52等を通じて、キャビン10内のオペレータに対する注意喚起警報を出力する。
【0527】
ステップS404にて、動作制限部3025は、警報出力部3024による注意喚起警報の開始後、表示装置50や音声出力装置52を通じて、動作制限予告通知を行う。これにより、オペレータは、ショベル100の動作制限が開始されることを理解し、予めショベル100の操作を中止することができる。
【0528】
ステップS406にて、動作制限部3025は、警報出力部3024による注意喚起警報の出力開始から所定時間が経過したか否かを判定する。動作制限部3025は、注意喚起警報の出力開始から所定時間が経過した場合、ステップS408に進み、所定時間が経過していない場合、所定時間が経過するまで待機する(本ステップの処理を繰り返す)。
【0529】
ステップS408にて、動作制限部3025は、ゲートロック弁54を制御し、ショベル100の動作制限を開始する。
【0530】
ステップS410にて、通信処理部3023は、支援装置200から解除指令が受信されたか否かを判定する。通信処理部3023は、支援装置200から解除指令が受信された場合、ステップS412に進み、受信されなかった場合、受信されるまで待機する(本ステップの処理を繰り返す)。
【0531】
尚、コントローラ30は、注意喚起指令の受信から、ショベル100の周辺の安全確保に要する時間よりも十分に長いと判断可能なある程度の時間(例えば、数十分)が経過しても、解除指令が受信されない場合、ショベル100の周辺の安全確保が図られたとみなし、ステップS412に進んでもよい。通信障害等や支援装置200のユーザの解除指令の送信し忘れ等により、ショベル100が解除指令を受信できない場合が有り得るからである。
【0532】
ステップS412にて、警報出力部3024及び動作制限部3025は、それぞれ、注意喚起警報及び当該ショベル100の動作制限を解除し、今回の処理を終了する。
【0534】
[変形・変更]
以上、第実施形態について詳述したが、本実施形態の内容が示す要旨の範囲内において、種々の変形・変更が可能である。
【0535】
例えば、本実施形態では、ショベル100(通信処理部3023)は、支援装置200との間でP2P接続を確立するが、同じ現場内の他のショベル100との間で、P2P接続を確立してもよい。この場合、一のショベル100は、オペレータ等による操作に応じて、支援装置200の場合と同様、注意喚起指令や解除指令等の各種指令情報を他のショベル100に送信してよい。これにより、例えば、一のショベル100のオペレータは、他のショベル100に接近するトラック等を見つけた場合に、他のショベル100にオペレータに対する周辺状況への注意喚起を行わせたり、一時的な動作制限を行わせたりすることができる。
【0536】
また、本実施形態では、ショベル100は、同じ工事現場内の対象(他のショベル100、支援装置200、作業者等)から注意喚起情報や解除情報を取得するが、当該態様には限定されない。具体的には、ショベル100は、外部から現場に入ってくる対象、つまり、工事現場の状況の変化の外的要因となる対象(例えば、トラック等)からの注意喚起情報(例えば、注意喚起指令)を取得し、当該注意喚起情報に応じて、オペレータに対する当該ショベル100の周辺状況への注意喚起を行ってもよい。この場合、トラック(外部装置の一例)には、例えば、ショベル100の通信機器60と同じ所定方式の近距離通信を行う通信機器が搭載される。これにより、外部から工事現場に進入してきたトラックのドライバは、作業中のショベル100に接近する際に、所定の操作を行うことで、トラックからショベル100に注意喚起指令を送信させることができる。そのため、トラックのドライバは、ショベル100にオペレータに対するショベル100の周辺状況への注意喚起を行わせることができ、自分が運転するトラックに気付いてもらうことができる。そして、トラックのドライバは、ショベル100のオペレータがトラックに気付いたと判断すると、トラックからショベル100に解除指令を送信させる。これにより、トラックのドライバは、ショベル100に、注意喚起警報やショベル100の動作制限を解除させることができる。また、ショベル100は、工事現場の外部で当該工事現場の状況を監視可能な対象、例えば、工事現場の外部に設置され、工事現場の作業状況やショベル100等の作業機械を管理する外部サーバ等の管理装置(外部装置の一例)から注意喚起指令を取得し、当該注意喚起情報に応じて、オペレータに対する当該ショベル100の周辺状況への注意喚起を行ってもよい。この場合、ショベル100には、基地局を末端とする移動体通信網やインターネット網等の通信ネットワークを通じて、管理装置と通信を行うための通信機器(例えば、移動通信モジュール等)が搭載される。また、管理装置は、例えば、工事現場の各所に設置される防犯カメラ、工事現場の各所で作業するショベル100の撮像装置40、或いは、工事現場の上空を飛行するドローンに搭載されるカメラの撮像画像を通信ネットワークを通じて取得することで、工事現場の状況の変化を把握しうる。これにより、管理装置の管理者や操作者等は、工事現場の状況に内的要因或いは外的要因による変化が生じたような状況で、所定の操作を行うことで、通信ネットワークを通じて、管理装置からショベル100に注意喚起指令を送信させることができる。そして、管理装置の管理者や操作者等は、工事現場の状況の変化が落ち着いたと判断すると、管理装置からショベル100に解除指令を送信させる。これにより、管理装置の管理者や操作者等は、ショベル100を通常作業に復帰させることができる。
【0537】
また、本実施形態では、ショベル100(コントローラ30)は、警報出力部3024と動作制限部3025の双方を含むが、何れか一方だけを含んでもよい。つまり、ショベル100のコントローラ30は、ショベル100から見た水平方向の監視エリア内で監視対象を検知した場合に、警報の出力及びショベル100の動作制限の何れか一方だけを行う態様であってもよい。
【0538】
また、本実施形態では、ショベル100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の各種動作要素を全て油圧駆動する構成であったが、その一部が電気駆動される構成であってもよい。つまり、上述した実施形態で開示される構成等は、ハイブリッドショベルや電動ショベル等を含む現場安全支援システムに適用されてもよい。
【0539】
尚、本実施形態に関して、更に以下を開示する。
【0540】
(1)
ショベルの外部から当該ショベルの周辺状況の変化に関する情報を取得する第1の情報取得部と、
前記第1の情報取得部により情報が取得された場合、オペレータに対して当該ショベルの周辺への注意喚起を行う注意喚起部と、を備える、
ショベル。
【0541】
(2)
前記第1の情報取得部により情報が取得された場合、当該ショベルの動作を制限する動作制限部を更に備える、
(1)に記載のショベル。
【0542】
(3)
前記動作制限部は、前記注意喚起部により前記注意喚起が行われた後に、当該ショベルの動作制限を開始する、
(2)に記載のショベル。
【0543】
(4)
前記第1の情報取得部により情報が取得された場合、前記動作制限部による当該ショベルの動作制限が開始される前に、当該ショベルの動作制限が行われることをオペレータに通知する通知部を更に備える、
(3)に記載のショベル。
【0544】
(5)
当該ショベルの外部から前記動作制限部による当該ショベルの動作制限の解除に関する情報を取得する第2の情報取得部を更に備え、
前記動作制限部は、当該ショベルの動作制限の開始後、前記第2の情報取得部により情報が取得された場合に、当該ショベルの動作制限を解除する、
(2)又は(3)に記載のショベル。
【0545】
(6)
前記第1の情報取得部は、所定の外部装置から受信される前記注意喚起を要求する指令情報を取得する、
(1)乃至(5)の何れか一項に記載のショベル。
【0546】
(7)
前記ショベルの周辺を撮像する撮像装置を更に備え、
前記第1の情報取得部は、当該ショベルの周辺で所定のポーズ又はジェスチャを行っている所定の人を含む前記撮像装置による撮像画像を取得する、
(1)乃至(5)の何れか一項に記載のショベル。
【0547】
(8)
前記注意喚起部は、視覚的な方法、聴覚的な方法、又は、触覚的な方法によって、キャビン内への警報を出力する、
(1)乃至(7)の何れか一項に記載のショベル。
【0548】
(9)
ショベルと通信可能な支援装置であって、
ユーザによる操作に応じて、前記ショベルに、オペレータに対する前記ショベルの周辺への注意喚起を行わせるための指令を送信する、
支援装置。
【0549】
(10)
ユーザによる操作に応じて、前記ショベルに、前記注意喚起を行わせ、且つ、前記ショベルの動作を制限させるための前記指令を送信する、
(9)に記載の支援装置。
【0550】
(11)
ショベルと通信可能な支援装置が実行する支援方法であって、
ユーザによる操作に応じて、前記ショベルに、オペレータに対する前記ショベルの周辺への注意喚起を行わせるための指令を送信する、
支援方法。
【0551】
(12)
ショベルと通信可能な支援装置に、(11)に記載の支援方法を実行させる、
支援プログラム。
【0552】
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【0553】
例えば、上述の実施形態(第1実施形態~第3実施形態)に開示される構成や技術は、適宜組み合わせることが可能である。
【0554】
尚、本願は、2018年3月8日に出願した日本国特許出願2018-042232号、2018年3月9日に出願した日本国特許出願2018-043383号、及び、2018年3月9日に出願した日本国特許出願2018-043384号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
【符号の説明】
【0555】
30A ショベルコントローラ
30B エンジンコントローラ
30C 周辺監視コントローラ
40 撮像装置(センサ)
40B,40L,40R カメラ
42,42B,42L,42R リレー
50 表示装置
52 音声出力装置
54 ゲートロック弁
60 通信機器
62 許可操作部
64 バッテリ(電源)
70 解除スイッチ
72 監視機能ON/OFFスイッチ
74 表示内容切替スイッチ
76 監視エリア切替スイッチ
100 ショベル
110 現場監視部(監視部)
150 周辺監視装置
200 支援装置(外部装置、情報処理装置、ユーザ端末)
300 管理装置(外部装置、情報処理装置)
301C 監視画像生成部
302C 検知部
303C 警報出力部
304C 動作制限部
305C 送信部
306C 指令取得部(内部通知部)
307C 起動・停止部(起動部、停止部、第1の外部通知部、第2の外部通知部)
308C 記憶部
2100 記憶部
2101 指令部(送信部)
2102 情報取得部(第1の取得部、第2の取得部)
2103 通知部(第1の通知部、第2の通知部)
2104 通信処理部
2105 注意喚起指令部
2106 解除指令部
3011 表示制御部
3012 検知部
3013 追跡部
3014 警報出力部
3015 動作制限部
3021 監視画像表示処理部
3022 検知部
3023 通信処理部
3024 警報出力部
3025 動作制限部
3100 記憶部
3101 中継部
Cth1 所定閾値(第1閾値)
Cth2 所定閾値(第2閾値)
SYS 現場監視システム
SYS2 現場安全支援システム
図1
図2
図3
図4
図5A
図5B
図6
図7A
図7B
図8
図9
図10A
図10B
図10C
図10D
図11
図12
図13A
図13B
図14
図15A
図15B
図15C
図15D
図16
図17
図18
図19
図20
図21
図22
図23
図24