(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-17
(45)【発行日】2023-11-28
(54)【発明の名称】建設機械、支援システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20231120BHJP
【FI】
E02F9/26 B
(21)【出願番号】P 2021509668
(86)(22)【出願日】2020-03-27
(86)【国際出願番号】 JP2020014204
(87)【国際公開番号】W WO2020196874
(87)【国際公開日】2020-10-01
【審査請求日】2022-10-12
(31)【優先権主張番号】P 2019061771
(32)【優先日】2019-03-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】502246528
【氏名又は名称】住友建機株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】黒澤 亮太
【審査官】石川 信也
(56)【参考文献】
【文献】国際公開第2017/208997(WO,A1)
【文献】国際公開第2006/106685(WO,A1)
【文献】特許第6290497(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/26
(57)【特許請求の範囲】
【請求項1】
建設機械の周囲の作業領域に存在する物体に関する情報を取得する第1の取得部と、
前記第1の取得部により取得された情報に基づき、当該建設機械の周囲の監視対象の物体と当該建設機械の周囲の他の建設機械との
位置関係を導出することにより、前記位置関係に関する情報を取得する第2の取得部と、
当該建設機械の所定範囲内に前記監視対象の物体が存在する場合に、前記監視対象の物体と当該建設機械との当接を回避させる制御を行う制御部と、
前記第2の取得部により取得された前記位置関係に関する情報を、前記他の建設機械が前記制御部と同
じ制御
であって前記他の建設機械の所定の範囲内に前記監視対象の物体が存在する場合に前記監視対象の物体と前記他の建設機械との当接を回避させる制御を行うために前記他の建設機械に送信する送信部と、を備える、
建設機械。
【請求項2】
所定の作業領域内に位置する複数の建設機械を含む支援システムであって、
前記複数の建設機械は、それぞれ、
前記作業領域に存在する物体に関する情報を取得する第1の取得部と、
前記第1の取得部により取得された情報に基づき、当該建設機械の周囲の監視対象の物体と
、前記複数の建設機械に含まれる他の建設機械であって当該建設機械の周囲の他の建設機械との
位置関係を導出することにより、前記位置関係に関する情報を取得する第2の取得部と、
当該建設機械の所定範囲内に前記監視対象の物体が存在する場合に、前記監視対象の物体と当該建設機械との当接を回避させる制御を行う制御部と、
前記第2の取得部により取得された前記位置関係に関する情報を、前記他の建設機械
の前記制御部
が前記制御を行うために前記他の建設機械に送信する送信部と、を備える、
支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、建設機械及び支援システムに関する。
【背景技術】
【0002】
建設機械の周囲の作業領域に関する有用な情報(例えば、周囲の作業者等の監視対象の物体検知に関する情報)を取得する建設機械が知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、一の建設機械で取得される作業領域に関する情報は、同じ作業領域(作業現場)で作業を行う他の建設機械にとっても有用な場合が有りうる。よって、一の建設機械で取得される周囲の作業領域に関する情報は、他の建設機械でも利用可能であることが望ましい。
【0005】
そこで、上記課題に鑑み、一の建設機械で取得される作業領域に関する情報を同じ作業領域で作業を行う他の建設機械でも利用できるようにすることが可能な技術を提供する。
【課題を解決するための手段】
【0006】
本開示の一実施形態において、
建設機械の周囲の作業領域に存在する物体に関する情報を取得する第1の取得部と、
前記第1の取得部により取得された情報に基づき、当該建設機械の周囲の監視対象の物体と当該建設機械の周囲の他の建設機械との位置関係を導出することにより、前記位置関係に関する情報を取得する第2の取得部と、
当該建設機械の所定範囲内に前記監視対象の物体が存在する場合に、前記監視対象の物体と当該建設機械との当接を回避させる制御を行う制御部と、
前記第2の取得部により取得された前記位置関係に関する情報を、前記他の建設機械が前記制御部と同じ制御であって前記他の建設機械の所定の範囲内に前記監視対象の物体が存在する場合に前記監視対象の物体と前記他の建設機械との当接を回避させる制御を行うために前記他の建設機械に送信する送信部と、を備える、
建設機械が提供される。
【0007】
また、本開示の他の実施形態において、
所定の作業領域内に位置する複数の建設機械を含む支援システムであって、
前記複数の建設機械は、それぞれ、
前記作業領域に存在する物体に関する情報を取得する第1の取得部と、
前記第1の取得部により取得された情報に基づき、当該建設機械の周囲の監視対象の物体と、前記複数の建設機械に含まれる他の建設機械であって当該建設機械の周囲の他の建設機械との位置関係を導出することにより、前記位置関係に関する情報を取得する第2の取得部と、
当該建設機械の所定範囲内に前記監視対象の物体が存在する場合に、前記監視対象の物体と当該建設機械との当接を回避させる制御を行う制御部と、
前記第2の取得部により取得された前記位置関係に関する情報を、前記他の建設機械の前記制御部が前記制御を行うために前記他の建設機械に送信する送信部と、を備える、
支援システムが提供される。
【発明の効果】
【0008】
上述の実施形態によれば、一の建設機械で取得される作業領域に関する情報を同じ作業領域で作業を行う他の建設機械でも利用できるようにすることが可能な技術を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】ショベル支援システムの構成の一例を示す概略図である。
【
図3】ショベルの構成の一例を示すブロック図である。
【
図5】ショベル支援システムの情報共有機能に関する動作の第1例を説明する図である。
【
図6】ショベル支援システムの情報共有機能に関する動作の第1例を説明する図である。
【
図7】ショベル支援システムの情報共有機能に関する動作の第3例を説明する図である。
【
図8】ショベルの作業現場状況分析機能に関する動作の一例を説明する図である。
【
図9】ショベル支援システムの構成の他の例を示す概略図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して実施形態について説明する。
【0011】
[ショベル支援システムの一例]
図1~
図8を参照して、本実施形態に係るショベル支援システムSYSの一例について説明する。
【0012】
<ショベル支援システムの概要>
まず、
図1を参照して、本例に係るショベル支援システムSYSについて説明する。
【0013】
図1は、ショベル支援システムSYSの構成の一例を示す概略図である。
【0014】
ショベル支援システムSYSは、相互に比較的近い距離で配置される(例えば、同じ作業現場(作業領域)で作業を行う)複数のショベル100を含み、それぞれのショベル100による作業を支援する。以下、複数のショベル100は、それぞれ、ショベル支援システムSYSに関して同じ構成を有する前提で説明を進める。
【0015】
ショベル100(建設機械の一例)は、下部走行体1と、下部走行体1に旋回機構2を介して旋回自在に搭載される上部旋回体3と、アタッチメントを構成するブーム4、アーム5、及び、バケット6と、キャビン10を含む。
【0016】
下部走行体1は、左右一対のクローラ1C、具体的には、左クローラ1CL及び右クローラ1CRを含む。下部走行体1は、左クローラ1CL及び右クローラ1CRが走行油圧モータ2M(2ML,2MR)でそれぞれ油圧駆動されることにより、ショベル100を走行させる。
【0017】
上部旋回体3は、旋回油圧モータ2Aで駆動されることにより、下部走行体1に対して旋回する。また、上部旋回体3は、旋回油圧モータ2Aで油圧駆動される代わりに、電動機により電気駆動されてもよい。以下、便宜上、上部旋回体3におけるアタッチメントATが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。
【0018】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、油圧アクチュエータとしてのブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
【0019】
キャビン10は、オペレータが搭乗する運転室であり、上部旋回体3の前部左側に搭載される。
【0020】
ショベル100は、例えば、ブルートゥース(登録商標)通信やWiFi(登録商標)通信等の所定の通信プロトコルに準拠する所定方式の近距離無線通信により他のショベル100と通信可能な接続状態、例えば、対等なP2P(Peer to Peer)接続を確立することができる。これにより、ショベル100は、他のショベル100から各種情報を取得したり、他のショベル100に各種情報を送信したりすることができる。詳細は、後述する。
【0021】
<ショベル支援システムの構成>
続いて、
図1に加えて、
図2、
図3を参照して、ショベル支援システムSYS(ショベル100)の具体的な構成について説明する。
【0022】
図2は、ショベル100の上面図である。
図3は、ショベル100の構成の一例を示す構成図である。
【0023】
ショベル100は、油圧システムに関する構成として、上述の如く、走行油圧モータ2M(2ML,2MR)、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。また、ショベル100は、油圧システムに関する構成として、エンジン11と、レギュレータ13と、メインポンプ14と、油温センサ14cと、パイロットポンプ15と、コントロールバルブ17と、操作装置26と、吐出圧センサ28と、操作圧センサ29と、減圧弁50と、制御弁60とを含む。また、ショベル100は、制御システムに関する構成として、コントローラ30と、エンジン制御装置(ECU:Engine Control Unit)74と、エンジン回転数調整ダイヤル75と、ブーム角度センサS1と、アーム角度センサS2と、バケット角度センサS3と、機体傾斜センサS4と、旋回状態センサS5と、警報装置49と、物体検知装置70と、撮像装置80と、向き検出装置85と、通信機器90と、表示装置DSと、レバーボタンLBとを含む。
【0024】
エンジン11は、油圧システムのメイン動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、ECU74による制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15等を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
【0025】
レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(以下、「傾転角」)を調節する。
【0026】
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、上述の如く、エンジン11により駆動されることにより、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、例えば、可変容量式油圧ポンプであり、コントローラ30による制御下で、上述の如く、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御される。
【0027】
油温センサ14cは、メインポンプ14に流入する作動油の温度を検出する。検出される作動油の温度に対応する検出信号は、コントローラ30に取り込まれる。
【0028】
パイロットポンプ15は、例えば、上部旋回体3の後部に搭載され、パイロットラインを介して操作装置26にパイロット圧を供給する。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
【0029】
コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載され、オペレータによる操作装置26に対する操作に応じて、油圧アクチュエータの制御を行う油圧制御装置である。コントロールバルブ17は、上述の如く、高圧油圧ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、操作装置26の操作状態(操作内容)に応じて、油圧アクチュエータ(走行油圧モータ2ML,2MR、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9)に選択的に供給する。
【0030】
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータが各種被駆動要素(下部走行体1、上部旋回体3、ブーム4、アーム5、バケット6等)の操作を行うための操作入力手段である。換言すれば、操作装置26は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータ(即ち、走行油圧モータ2ML,2MR、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等)の操作を行うための操作入力手段である。操作装置26は、その二次側のパイロットラインを通じて、コントロールバルブ17に接続される。これにより、コントロールバルブ17には、操作装置26における下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の操作状態に応じたパイロット圧が入力される。そのため、コントロールバルブ17は、操作装置26における操作状態に応じて、それぞれの油圧アクチュエータを選択的に駆動することができる。
【0031】
吐出圧センサ28は、メインポンプ14の吐出圧を検出する。吐出圧センサ28により検出された吐出圧に対応する検出信号は、コントローラ30に取り込まれる。
【0032】
操作圧センサ29は、操作装置26の二次側のパイロット圧、即ち、操作装置26におけるそれぞれの被駆動要素(即ち、油圧アクチュエータ)の操作状態(即ち、操作内容)に対応するパイロット圧(以下、「操作圧」)を検出する。操作圧センサ29による操作装置26における下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の操作状態に対応するパイロット圧の検出信号は、コントローラ30に取り込まれる。
【0033】
減圧弁50は、操作装置26の二次側のパイロットライン、つまり、操作装置26とコントロールバルブ17との間のパイロットラインに設けられ、コントローラ30による制御下で、操作装置26の操作内容(操作量)に相当するパイロット圧を調整(減圧)する。これにより、コントローラ30は、減圧弁50を制御することにより、各種被駆動要素の動作を制御(制限)できる。
【0034】
制御弁60は、操作装置26に対する操作、つまり、ショベル100の各種被駆動要素の操作の有効状態と無効状態とを切り換える。制御弁60は、例えば、コントローラ30からの制御指令に応じて動作するように構成されるゲートロック弁である。具体的には、制御弁60は、パイロットポンプ15と操作装置26との間のパイロットラインに配置され、コントローラ30からの制御指令に応じて、パイロットラインの連通/遮断(非連通)を切り換える。ゲートロック弁は、例えば、キャビン10の操縦席の入口付近に設けられるゲートロックレバーが引き上げられると、連通状態となり、操作装置26に対する操作が有効状態(操作可能状態)になり、ゲートロックレバーが押し下げられると、遮断状態となり、操作装置26に対する操作が無効状態(操作不可状態)になる。よって、コントローラ30は、制御弁60に制御指令を出力することにより、ショベル100の動作を制限(停止)させることができる。
【0035】
コントローラ30は、例えば、キャビン10の内部に取り付けられ、ショベル100を駆動制御する制御装置である。コントローラ30は、蓄電池BTから供給される電力で動作する。以下、表示装置DSや各種センサ(例えば、物体検知装置70、撮像装置80、ブーム角度センサS1等)についても同様である。コントローラ30の機能は、任意のハードウェアや任意のハードウェアとソフトウェアとの組み合わせ等により実現されてよい。コントローラ30は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。この場合、コントローラ30は、補助記憶装置に格納(インストール)される一以上のプログラムを読み出してメモリ装置にロードし、CPU上で実行させることにより各種機能を実現することができる。
【0036】
尚、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。また、蓄電池BTは、エンジン11により駆動されるオルタネータ11bの発電電力で充電される。
【0037】
例えば、コントローラ30は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、吐出圧センサ28、及び操作圧センサ29等の各種センサから取り込まれる検出信号に基づき、レギュレータ13等の制御を行う。
【0038】
また、例えば、コントローラ30は、物体検知装置70により、ショベル100の周囲の所定の監視領域内(例えば、ショベル100から5メートル以内の作業領域)で、監視対象の物体(例えば、人、トラック、他の建設機械等)が検出された場合、ショベル100と監視対象の物体との当接等を回避させる制御(以下、「当接回避制御」)を行う。具体的には、コントローラ30は、当接回避制御の一例として、警報装置49に制御指令を出力し、警報を出力させてよい。また、コントローラ30は、当接回避制御の一例として、減圧弁50或いは制御弁60に制御指令を出力し、ショベル100の動作を制限してもよい。このとき、動作制限の対象は、全ての被駆動要素であってもよいし、監視対象の物体とショベル100との当接回避のために必要な一部の被駆動要素だけであってもよい。
【0039】
また、例えば、コントローラ30(取得部の一例)は、当該ショベル100の周囲の作業領域に関する情報(以下、「作業領域情報」)を取得すると共に、取得した周囲の他のショベル100に有用な作業領域情報を、通信機器90(送信部の一例)を通じて、周囲の他のショベル100に送信する。具体的には、コントローラ30は、後述する物体検知装置70による物体検知の有無に関する情報、つまり、当該ショベル100の周囲の物体の有無の判断結果に関する情報(以下、「物体検知情報」)を取得し、通信機器90を通じて、当該ショベル100の周囲の他のショベル100に送信する。物体検知情報は、例えば、物体の存在の有無、物体の種類、物体の位置等の情報を含む。また、物体検知情報は、物体検知装置70により物体が検知されている場合だけ送信されてもよいし、検知の有無に依らず送信されてもよい。ショベル支援システムSYSにおける複数のショベル100の間での当該機能(以下、「情報共有機能」)の詳細は、後述する(
図5~
図7参照)。
【0040】
また、例えば、コントローラ30は、ショベル100の周囲の作業領域を含む作業現場の状況を分析する機能(以下、「作業現場状況分析機能」)に関する制御を行う。具体的には、コントローラ30は、物体検知装置70や撮像装置80の出力に基づき、周囲の物体を時系列的に認識し、作業現場の状況を分析する。作業現場状況分析機能の詳細は、後述する(
図8参照)。
【0041】
ECU74は、コントローラ30による制御下で、エンジン11を駆動制御する。例えば、ECU74は、イグニッションオン操作に応じて、蓄電池BTからの電力で駆動されるスタータ11aの動作に合わせて、燃料噴射装置等を適宜制御し、エンジン11を始動させる。また、例えば、ECU74は、コントローラ30からの制御信号で指定される設定回転数でエンジン11が定回転するように、燃料噴射装置等を適宜制御する(アイソクロナス制御)。
【0042】
尚、エンジン11は、コントローラ30により直接的に制御されてもよい。この場合、ECU74は、省略されてよい。
【0043】
エンジン回転数調整ダイヤル75は、エンジン11の回転数(以下、「エンジン回転数」)を調整する操作手段である。エンジン回転数調整ダイヤル75から出力される、エンジン回転数の設定状態に関するデータは、コントローラ30に取り込まれる。エンジン回転数調整ダイヤル75は、SP(Super Power)モード、H(Heavy)モード、A(Auto)モード及びアイドリングモードの4段階でエンジン回転数を切り換え可能に構成されている。SPモードは、作業量を優先したい場合に選択されるエンジン回転数モードであり、エンジン回転数が最も高い目標回転数を設定される。Hモードは、作業量と燃費を両立させたい場合に選択されるエンジン回転数モードであり、エンジン回転数が二番目に高い目標回転数に設定される。Aモードは、燃費を優先させながら低騒音でショベル100を稼働させたい場合に選択されるエンジン回転数モードであり、エンジン回転数が三番目に高い目標回転数に設定される。アイドリングモードは、エンジン11をアイドリング状態にしたい場合に選択されるエンジン回転数モードであり、エンジン回転数が最も低い目標回転数に設定される。エンジン11は、ECU74の制御下で、エンジン回転数調整ダイヤル75で設定されたエンジン回転数モードに対応する目標回転数で一定となるように制御される。
【0044】
ブーム角度センサS1は、ブーム4に取り付けられ、ブーム4の上部旋回体3に対する俯仰角度(以下、「ブーム角度」)θ1を検出する。ブーム角度θ1は、例えば、ブーム4を最も下降させた状態からの上昇角度である。この場合、ブーム角度θ1は、ブーム4を最も上昇させたときに最大となる。ブーム角度センサS1は、例えば、ロータリエンコーダ、加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等を含んでよく、以下、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4についても同様である。また、ブーム角度センサS1は、ブームシリンダ7に取り付けられたストロークセンサであってもよく、以下、アーム角度センサS2、バケット角度センサS3についても同様である。ブーム角度センサS1によるブーム角度θ1に対応する検出信号は、コントローラ30に取り込まれる。
【0045】
アーム角度センサS2は、アーム5に取り付けられ、アーム5のブーム4に対する回動角度(以下、「アーム角度」)θ2を検出する。アーム角度θ2は、例えば、アーム5を最も閉じた状態からの開き角度である。この場合、アーム角度θ2は、アーム5を最も開いたときに最大となる。アーム角度センサS2によるアーム角度に対応する検出信号は、コントローラ30に取り込まれる。
【0046】
バケット角度センサS3は、バケット6に取り付けられ、バケット6のアーム5に対する回動角度(以下、「バケット角度」)θ3を検出する。バケット角度θ3は、バケット6を最も閉じた状態からの開き角度である。この場合、バケット角度θ3は、バケット6を最も開いたときに最大となる。バケット角度センサS3によるバケット角度に対応する検出信号は、コントローラ30に取り込まれる。
【0047】
機体傾斜センサS4は、所定の平面(例えば、水平面)に対する機体(例えば、上部旋回体3)の傾斜状態を検出する。機体傾斜センサS4は、例えば、上部旋回体3に取り付けられ、ショベル100(即ち、上部旋回体3)の前後方向及び左右方向の2軸回りの傾斜角度(以下、「前後傾斜角」及び「左右傾斜角」)を検出する。機体傾斜センサS4による傾斜角度(前後傾斜角及び左右傾斜角)に対応する検出信号は、コントローラ30に取り込まれる。
【0048】
旋回状態センサS5は、上部旋回体3に取り付けられ、上部旋回体3の旋回状態に関する検出情報を出力する。旋回状態センサS5は、例えば、上部旋回体3の旋回角速度や旋回角度を検出する。旋回状態センサS5は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。
【0049】
尚、機体傾斜センサS4に3軸回りの角速度を検出可能なジャイロセンサ、6軸センサ、IMU等が含まれる場合、機体傾斜センサS4の検出信号に基づき上部旋回体3の旋回状態(例えば、旋回角速度)が検出されてもよい。この場合、旋回状態センサS5は、省略されてよい。
【0050】
警報装置49は、ショベル100の作業に携わる人(例えば、キャビン10内のオペレータやショベル100の周囲の作業者等)に対する注意喚起を行う。警報装置49は、例えば、キャビン10の内部のオペレータ等に対する注意喚起のための室内警報装置を含む。室内警報装置は、例えば、キャビン10内に設けられた音声出力装置、振動発生装置、及び発光装置の少なくとも一つを含む。また、室内警報装置は、表示装置DSを含んでもよい。また、警報装置49は、キャビン10の外部(例えば、ショベル100の周囲)の作業者等に対する注意喚起のための室外警報装置を含んでもよい。室外警報装置は、例えば、キャビン10の外部に設けられた音声出力装置及び発光装置の少なくとも1つを含む。当該音声出力装置は、例えば、上部旋回体3の底面に取り付けられている走行アラーム装置であってもよい。室外警報装置は、上部旋回体3に設けられる発光装置であってもよい。警報装置49は、例えば、監視領域内で物体検知装置70により監視対象の物体が検知された場合、上述の如く、コントローラ30の制御下で、ショベル100の作業に携わる人にその旨を報知してよい。
【0051】
物体検知装置70は、ショベル100の周囲に存在する物体を検知する。検知対象の物体は、例えば、人、動物、車両、建設機械、建造物、壁、柵、穴等を含む。物体検知装置70は、例えば、単眼カメラ(カメラの一例)、超音波センサ、ミリ波レーダ、ステレオカメラ、LIDAR(Light Detecting and Ranging)、距離画像センサ、赤外線センサ等の少なくとも一つを含む。物体検知装置70は、ショベル100の周囲に設定される所定領域内の所定の物体を検知するように構成されていてもよい。また、物体検知装置70は、物体の種類を区別可能な態様、例えば、人と人以外の物体とを区別可能な態様で構成されていてもよい。例えば、物体検知装置70は、パターン認識モデルや機械学習モデル等の所定のモデルに基づき、所定の物体を検知したり、物体の種類を区別したりすることが可能な構成であってよい。物体検知装置70は、前方センサ70Fと、後方センサ70Bと、左方センサ70Lと、右方センサ70Rとを含む。物体検知装置70(前方センサ70Fと、後方センサ70Bと、左方センサ70Lと、右方センサ70Rとのそれぞれ)による検知結果に対応する出力信号は、コントローラ30に取り込まれる。
【0052】
前方センサ70Fは、例えば、キャビン10の上面前端に取り付けられ、上部旋回体3の前方に存在する物体を検知する。
【0053】
後方センサ70Bは、例えば、上部旋回体3の上面後端に取り付けられ、上部旋回体3の後方に存在する物体を検知する。
【0054】
左方センサ70Lは、例えば、上部旋回体3の上面左端に取り付けられ、上部旋回体3の左方に存在する物体を検知する。
【0055】
右方センサ70Rは、例えば、上部旋回体3の上面右端に取り付けられ、上部旋回体3の右方に存在する物体を検知する。
【0056】
尚、物体検知装置70は、物体検知のベースとなるショベル100の周囲の環境情報(例えば、撮像画像や周囲に送出されるミリ波やレーザ等の検出波に対する反射波のデータ等)を取得するだけで、具体的な物体の検知処理や物体の種類を区別する処理等は、物体検知装置70の外部(例えば、コントローラ30)により実行されてもよい。
【0057】
撮像装置80は、ショベル100の周囲の様子を撮像し、撮像画像を出力する。撮像装置80は、前方カメラ80Fと、後方カメラ80Bと、左方カメラ80Lと、右方カメラ80Rとを含む。撮像装置80(前方カメラ80F、後方カメラ80B、左方カメラ80L、及び右方カメラ80Rのそれぞれ)による撮像画像は、表示装置DSに取り込まれる。また、撮像装置80による撮像画像は、表示装置DSを介して、コントローラ30に取り込まれる。また、撮像装置80による撮像画像は、表示装置DSを介さず、直接的に、コントローラ30に取り込まれてもよい。
【0058】
前方カメラ80Fは、例えば、前方センサ70Fに隣接するように、キャビン10の上面前端に取り付けられ、上部旋回体3の前方の様子を撮像する。
【0059】
後方カメラ80Bは、例えば、後方センサ70Bに隣接するように、上部旋回体3の上面後端に取り付けられ、上部旋回体3の後方の様子を撮像する。
【0060】
左方カメラ80Lは、例えば、左方センサ70Lに隣接するように、上部旋回体3の上面左端に取り付けられ、上部旋回体3の左方の様子を撮像する。
【0061】
右方カメラ80Rは、右方センサ70Rに隣接するように、上部旋回体3の上面右端に取り付けられ、上部旋回体3の右方の様子を撮像する。
【0062】
尚、物体検知装置70に単眼カメラやステレオカメラ等の撮像装置が含まれる場合、撮像装置80の一部或いは全部の機能は、物体検知装置70に集約されてよい。例えば、前方センサ70Fに撮像装置が含まれる場合、前方カメラ80Fの機能は、前方センサ70Fに集約されてよい。後方センサ70B、左方センサ70L、及び右方センサ70Rのそれぞれに撮像装置が含まれる場合の後方カメラ80B、左方カメラ80L、及び右方カメラ80Rのそれぞれの機能についても同様である。
【0063】
向き検出装置85は、上部旋回体3の向きと下部走行体1の向きとの相対的な関係に関する情報(以下、「向きに関する情報」とする。)を検出するように構成されている。例えば、向き検出装置85は、下部走行体1に取り付けられた地磁気センサと上部旋回体3に取り付けられた地磁気センサの組み合わせで構成されていてもよい。また、向き検出装置85は、下部走行体1に取り付けられたGNSS(Global Navigation Satellite System)受信機と上部旋回体3に取り付けられたGNSS受信機の組み合わせで構成されていてもよい。上部旋回体3が電動機で駆動される構成の場合、向き検出装置85は、電動機に取り付けられるレゾルバにより構成されていてもよい。また、向き検出装置85は、例えば、下部走行体1と上部旋回体3との間の相対回転を実現する旋回機構2に関連して設けられるセンタージョイントに配置されていてもよい。向き検出装置85による検出情報は、コントローラ30に取り込まれる。
【0064】
通信機器90は、作業現場内の各種装置(例えば、作業現場内の他の建設機械や作業者等の位置情報を計測・管理する位置情報管理装置等)や当該ショベル100の周囲の他のショベル100等と所定方式の近距離通信を行う任意のデバイスである。位置情報管理装置は、例えば、ショベル100の作業現場内の仮設事務所等に設置される端末装置である。端末装置は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよいし、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等の携帯端末であってもよい。また、位置情報管理装置は、例えば、ショベル100の作業現場内の仮設事務所等や作業現場から相対的に近い場所(例えば、作業現場の近くの局舎や基地局等の通信施設)に設置されるエッジサーバであってもよい。また、位置情報管理装置は、例えば、ショベル100の作業現場の外部に設置される管理センタ等の施設に設置されるクラウドサーバであってもよい。通信機器90は、例えば、ブルートゥース通信モジュールやWiFi通信モジュール等であってよい。
【0065】
表示装置DSは、例えば、キャビン10の内部の操縦席に着座したオペレータ等から視認し易い場所に取り付けられ、各種情報画像を表示する。表示装置DSは、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイである。例えば、表示装置DSは、撮像装置80から取り込まれる撮像画像、或いは、当該撮像画像に対して所定の変換処理を施した変換画像(例えば、視点変換画像や複数の撮像画像を合成した合成画像等)を表示する。表示装置DSは、表示制御部DSaと、画像表示部DS1と、操作入力部DS2を含む。
【0066】
表示制御部DSaは、操作入力部DS2に対するオペレータ等の操作入力に応じて、画像表示部DS1に各種情報画像を表示させる制御処理を行う。表示制御部DSaは、コントローラ30と同様、例えば、CPU、メモリ装置、補助記憶装置、及びインタフェース装置等を含むコンピュータを中心に構成されてよい。
【0067】
尚、表示制御部DSaの機能は、表示装置DSの外部に設けられてもよく、例えば、コントローラ30により実現されてもよい。
【0068】
画像表示部DS1は、表示装置DSにおける情報画像を表示する領域部分である。画像表示部DS1は、例えば、液晶パネルや有機ELパネル等により構成される。
【0069】
操作入力部DS2は、表示装置DSに関する操作入力を受け付ける。操作入力部DS2に対する操作入力に対応する操作入力信号は、表示制御部DSaに取り込まれる。また、操作入力部DS2は、表示装置DS以外のショベル100に関する各種操作入力を受け付けてもよい。この場合、操作入力部DS2に対する各種操作入力に対応する操作入力信号は、直接、或いは、表示制御部DSaを介して間接的に、コントローラ30に取り込まれる。操作入力部DS2は、例えば、画像表示部DS1としての液晶パネルや有機ELパネルに実装されるタッチパネルを含む。また、操作入力部DS2は、画像表示部DS1と別体のタッチパッド、ボタン、スイッチ、トグル、レバー等の任意の操作部材を含んでもよい。
【0070】
尚、表示装置DS以外のショベル100に関する各種操作入力を受け付ける操作入力部は、例えば、レバーボタンLBのように、表示装置DS(操作入力部DS2)と別に設けられてもよい。
【0071】
レバーボタンLBは、操作装置26に設けられ、ショベル100に関する所定の操作入力を受け付ける。例えば、レバーボタンLBは、操作装置26としての操作レバーの先端に設けられる。これにより、オペレータ等は、操作レバーを操作しながらレバーボタンLBを操作することができる(例えば、操作レバーを手で握った状態でレバーボタンLBを親指で押すことができる)。
【0072】
<物体検知方法の具体例>
続いて、
図4を参照して、物体検知方法の具体例について説明する。
【0073】
【0074】
図4に示すように、本例では、物体検知装置70は、ニューラルネットワーク(Neural Network)DNNを中心に構成される学習済みモデルを用いて、ショベル100の周囲の物体を検知する。
【0075】
ニューラルネットワークDNNは、入力層及び出力層の間に一層以上の中間層(隠れ層)を有する、いわゆるディープニューラルネットワークである。ニューラルネットワークDNNでは、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワークDNNが構成される。
【0076】
ニューラルネットワークDNNを対象とし、機械学習、具体的には、深層学習(ディープラーニング:Deep Learning)が行われ、上述の重み付けパラメータの最適化が図られる。これにより、ニューラルネットワークDNNは、入力信号xとして、物体検知装置70で取得される環境情報(例えば、撮像画像)が入力され、出力信号yとして、予め規定される監視対象リストに対応する物体の種類ごとの物体が存在する確率(予測確率)を出力することができる。本例では、ニューラルネットワークDNNから出力される出力信号y1は、ショベル100の周囲、具体的には、物体検知装置70による環境情報の取得範囲内に"人"が存在する予測確率が10%であることを表している。
【0077】
ニューラルネットワークDNNは、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。CNNは、既存の画像処理技術(畳み込み処理及びプーリング処理)を適用したニューラルネットワークである。具体的には、CNNは、物体検知装置70で取得される撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ(特徴マップ)を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。
【0078】
また、ニューラルネットワークDNNは、入力信号xとして物体検知装置70で取得される撮像画像が入力され、撮像画像における物体の位置、大きさ(即ち、撮像画像上の物体の占有領域)、及びその物体の種類を出力信号yとして出力可能な構成であってもよい。つまり、ニューラルネットワークDNNは、撮像画像上の物体の検知(撮像画像上で物体の占有領域部分の判断)と、その物体の分類の判断とを行う構成であってもよい。また、この場合、出力信号yは、入力信号xとしての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。これにより、物体検知装置70は、学習済みモデル(ニューラルネットワークDNN)から出力される、撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル100からの相対位置(距離や方向)を特定することができる。物体検知装置70(前方センサ70F、後方センサ70B、左方センサ70L、及び右方センサ70R)は、上部旋回体3に固定され、撮像範囲(画角)が予め規定(固定)されているからである。本例では、ニューラルネットワークDNNから出力される出力信号y1は、ショベル100の周囲、具体的には、物体検知装置70による環境情報の取得範囲内に"人"が存在する位置の座標が"(e1,n1,h1)"であることを表している。そして、物体検知装置70は、学習済みモデル(ニューラルネットワークDNN)により検知された物体の位置が監視領域内であり、且つ、監視対象リストの物体に分類されている場合、監視領域内で、監視対象の物体を検知したと判断できる。
【0079】
例えば、ニューラルネットワークDNNは、撮像画像の中の物体が存在する占有領域(ウィンドウ)を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワークDNNは、物体の検知と、物体の分類とを段階的に行う構成であってよい。また、例えば、ニューラルネットワークDNNは、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類及び物体の占有領域(バウンディングボックス:Bounding box)を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワークDNNは、物体の検知と、物体の分類とを並列的に行う構成であってもよい。
【0080】
物体検知装置70は、例えば、所定の制御周期ごとに、撮像画像上における物体の種類ごとの予測確率を算出する。物体検知装置70は、予測確率を算出する際、今回の判断結果と前回の判断結果とが一致する場合、今回の予測確率を更に上げるようにしてもよい。例えば、前回の物体検知処理時に、撮像画像上の所定の領域に映っている物体が"人"(y1)と判断される予測確率に対し、今回も継続して"人"(y1)と判断された場合、今回の"人"(y1)と判断される予測確率を更に高めてよい。これにより、例えば、同じ画像領域に関する物体の分類に関する判断結果が継続的に一致している場合に、予測確率が相対的に高く算出される。そのため、物体検知装置70は、実際には、その種類の物体が存在するにも関わらず、何等かのノイズでその種類の物体の予測確率を相対的に低く判断してしまうような誤判断を抑制することができる。
【0081】
また、物体検知装置70は、ショベル100の走行や旋回等の動作を考慮して、撮像画像上の物体に関する判断を行ってもよい。ショベル100の周囲の物体が静止している場合であっても、ショベル100の走行や旋回によって、撮像画像上の物体の位置が移動し、同じ物体として認識できなくなる可能性があるからである。例えば、ショベル100の走行や旋回によって、今回の処理で"人"(y1)と判断された画像領域と前回の処理で"人"(y1)と判断された画像領域とが異なる場合がありうる。この場合、物体検知装置70は、今回の処理で"人"(y1)と判断された画像領域が前回の処理で"人"(y1)と判断された画像領域から所定の範囲内にあれば、同一の物体とみなし、継続的な一致判断(即ち、同じ物体を継続して検知している状態の判断)を行ってよい。物体検知装置70は、継続的な一致判断を行う場合、今回の判断で用いる画像領域を、前回の判断に用いた画像領域に加え、この画像領域から所定の範囲内の画像領域も含めてよい。これにより、ショベル100が走行したり、旋回したりしたとしても、物体検知装置70は、ショベル100の周囲の同じ物体に関して継続的な一致判断を行うことができる。
【0082】
また、物体検知装置70は、ニューラルネットワークDNNを用いる方法以外の任意の機械学習に基づく物体検知方法を用いて、ショベル100の周囲の物体を検知してもよい。
【0083】
例えば、物体検知装置70の撮像画像から取得される多変数の局所特徴量について、この多変数の空間上で物体の種類ごとにその種類の物体である範囲とその種類の物体でない範囲とを区分(分類)する境界を表す学習済みモデルが、教師あり学習により生成されてよい。境界に関する情報の生成に適用される機械学習(教師あり学習)の手法は、例えば、サポートベクターマシーン(SVM:Support Vector Machine)、k近傍法、混合ガウス分布モデル等であってよい。これにより、物体検知装置70は、当該学習済みモデルに基づき、撮像画像から取得される局所特徴量が所定の種類の物体である範囲にあるのか、その種類の物体でない範囲にあるのかに基づき、物体を検知することができる。
【0084】
<ショベル支援システムの情報共有機能に関する動作(第1例)>
続いて、
図5、
図6を参照して、ショベル支援システムSYSの動作、具体的には、ショベル支援システムSYSにおける複数のショベル100の間での情報共有機能に関する動作の第1例について説明する。
【0085】
図5、
図6は、本実施形態に係るショベル支援システムSYSの情報共有機能に関する動作の第1例を説明する図である。具体的には、
図5は、同じ作業現場(作業領域400)内のショベル100同士で、情報共有機能によって、物体検知情報が共有される状況を説明する図である。
図6は、同じ作業現場(作業領域400)内でのショベル100ごとの周囲の物体に関する認識状態を説明する図であり、より具体的には、
図5の情報共有機能に関する動作時におけるショベル100ごとの周囲の物体に関する認識状態を示す図である。以下、本例では、複数のショベル100を区別するため、掘削作業中のショベル100を便宜的に"ショベル100A"と称し、走行中のショベル100を便宜的に"ショベル100B"と称する。
【0086】
図5に示すように、作業領域400内において、ショベル100Aは、施工対象領域401の掘削作業を行っており、ショベル100Aの右側方に排土山402が形成されている。また、作業領域400内において、ショベル100Bは、ショベル100A及び施工対象領域401の左側方を通過する態様で、走行している。また、ショベル100Aとショベル100Bが走行して通過する帯状の範囲との間のショベル100に相対的に近接した監視領域内で、作業者Wが作業を行っている。
【0087】
作業者Wは、ショベル100Aから見たときに、後を向いて、顔が見えない状態で作業を行っている。そのため、ショベル100Aの物体検知装置70は、例えば、撮像画像から作業者Wを検知しようとしても、顔を認識することができず、物体検知アルゴリズムによっては、作業者Wを監視対象の物体(人)として検知することができない場合がある。よって、本例では、ショベル100Aの物体検知装置70は、作業者Wを検知できず、本来、作業者Wがショベル100Aに近接した監視領域内に侵入していることを以て、当接回避制御が実行され、警報装置49が作動すべきところ、警報装置49が作動せず、失報状態になってしまっている。また、同様に、減圧弁50や制御弁60に制御指令が出力され、ショベル100の動作が制限されるべきところ、ショベル100の動作が制限されない状態が継続している。この場合、ショベル100Aのオペレータは、作業者Wに気付かないまま、掘削した土砂等を排土山402に排土させるために、上部旋回体3を右旋回させると、上部旋回体3の後部と作業者Wとの位置関係が非常に近くなり、最悪の場合、接触してしまう可能性がある。
【0088】
一方、ショベル100Bは、作業者Wの前を通過するように走行しており、作業者Wは、ショベル100Bから見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ショベル100Bの物体検知装置70は、ショベル100Bから作業者Wまでの距離は遠いものの、例えば、撮像画像から作業者Wの顔を認識し、作業者Wを検知することができる可能性が高い。よって、本例では、ショベル100Bの物体検知装置70は、作業者Wを検知することができている。
【0089】
ここで、ショベル100Bのコントローラ30は、上述の如く、物体検知装置70から作業者Wの検知に関する物体検知情報を取得し、通信機器90を通じて、ショベル100Bからショベル100Aに作業者Wの検知に関する物体検知情報を通知する。これにより、ショベル100Aのコントローラ30は、通信機器90を通じてショベル100Bから受信される物体検知情報に基づき、作業者Wがショベル100Aの左側方の近接する位置に存在することを認識することができる。そのため、ショベル100Aのコントローラ30は、警報装置49を作動させて、オペレータや周囲の作業者Wに向けて、ショベル100Aの周囲の監視領域内で作業者Wが検知されたことを報知することができる。よって、ショベル100のオペレータがショベル100の作業を一時中断させたり、作業者Wがショベル100から離れたり等、それぞれが安全確保のための行動をとることが可能となり、ショベル支援システムSYSは、情報共有機能を通じて、ショベル100A,100Bが作業する作業領域400の安全性を向上させることができる。
【0090】
具体的には、
図6に示すように、ショベル100Bのコントローラ30は、通信機器90を通じて、作業現場内の位置情報管理装置から作業領域400の基準点RPを原点とするローカル座標系(以下、単に「ローカル座標系」)でのショベル100B自身の位置情報を取得し、確認できる。また、ショベル100Bのコントローラ30は、物体検知装置70の物体検知情報に基づき、作業者Wのショベル100Bに対する相対位置を確認できる。更に、ショベル100Bのコントローラ30は、物体検知装置70の物体検知情報に基づき、掘削作業中のショベル100Aのショベル100Bに対する相対位置を確認できる。そのため、ショベル100Bのコントローラ30は、これらの情報を用いて、ローカル座標系上でのショベル100Aと作業者Wとの位置関係を導出することができる。よって、ショベル100Bのコントローラ30は、通信機器90を通じて、ショベル100Bからショベル100Aにショベル100Aと作業者Wとの位置関係に関する情報を通知することができる。
【0091】
また、例えば、ショベル100Aの上部旋回体3の上面で作業している作業員がいる場合、ショベル100Aの物体検知装置70は、当該作業員を検出することができない。これに対して、ショベル100Bの物体検知装置70は、当該作業員を検知することができる。このように、ショベル100B(の物体検知装置70)は、ショベル100Aの物体検知装置70の死角領域も補間監視することができる。
【0092】
尚、ショベル100Bのコントローラ30は、ショベル100Bに搭載される測位装置(例えば、GNSS受信機)の検出情報と、予め規定されるローカル座標系の基準点RPに関する情報とに基づき、ローカル座標系でのショベル100Bの位置情報を取得してもよく、ショベル100Aの場合についても同様である。また、ショベル100Bのコントローラ30は、ローカル座標系に代えて、絶対座標系(例えば、緯度、経度、高度で表される世界測地系)で、ショベル100Bの位置情報を取得したり、ショベル100Aと作業者Wとの位置関係等を導出したりしてもよく、ショベル100Aの場合についても同様である。
【0093】
一方、ショベル100Aのコントローラ30は、通信機器90を通じて、作業現場内の位置情報管理装置からローカル座標系でのショベル100A自身の位置情報を取得し、確認できる。また、ショベル100Aのコントローラ30は、走行中のショベル100Bから通知を受信することにより、ショベル100A自身と作業者Wとの位置関係を確認することができる。そのため、ショベル100Aのコントローラ30は、これらの情報を用いて、ローカル座標系上でショベル100Aから見た作業者Wの相対位置を認識することができる。よって、ショベル100Aのコントローラ30は、作業者Wが監視領域内にいるかを確認した上で、警報装置49を作動させたり、ショベル100の動作の制動、停止等の動作制限を行ったりすることができる。この場合、検知された物体の種類に基づき、動作を継続させるか、動作を減速させるか、動作を停止させるか等の安全度に関する対応関係が予め設定されている。特に、ショベル100の場合は、アクチュエータの種類が多いため、検知された物体の種類に基づいて、動作を継続させるか、動作を減速させるか、動作を停止させるか等の対応関係がアクチュエータごとに予め設定されてもよい。
【0094】
また、本例では、ショベル100Aは、一台のショベル100Bから物体検知情報を受信するが、他のショベル100から更に物体検知情報を受信してもよい。つまり、一のショベル100は、周囲の作業を行う複数のショベル100から物体検知情報を受信してもよい。この場合、一のショベル100は、複数のショベル100から受信された物体検知情報を総合的に判断して、周囲の作業者等の監視対象の存在の有無を判断してよい。具体的には、複数のショベル100から受信された物体検知情報の中には、ある監視対象の存在を肯定する物体検知情報と、当該監視対象を検知できる位置にいたショベル100からの通知であるにも関わらず、当該監視対象の存在を否定する物体検知情報との双方が存在する場合が有りうる。そのため、受信側の一のショベル100のコントローラ30は、例えば、安全性を優先し、監視対象の存在を肯定する物体検知情報を優先的に採用してよい。また、受信側の一のショベル100のコントローラ30は、ショベル100の安全性と誤報による作業性の悪化とのバランスを重視し、監視対象の存在を肯定する物体検知情報の数と、否定する物体検知情報の数を比較したり、物体検知情報の送信元のショベル100の物体検知装置70の精度情報を比較したりすることによって、どちらを採用するかを判断してもよい。
【0095】
また、一のショベル100で検知された物体の位置情報と、周囲の他のショベル100から送信された物体検知情報の位置情報とが同一の場合、一のショベル100のコントローラ30は、両者を比較して識別精度が高い方を採用することができる。例えば、同一の位置に存在する物体に対して、一のショベル100のコントローラ30では識別率50%で木材と識別され、周囲の他のショベル100のコントローラ30では識別率60%で人と識別された場合、一のショベル100のコントローラは、より精度が高い物体検知装置70を搭載する周囲の他のショベル100のコントローラ30による識別結果を採用する。
【0096】
また、一のショベル100で検知された物体の位置情報と、周囲のショベル100から送信された物体検知情報の位置情報とが同一の場合、一のショベル100のコントローラ30は、両者を比較して安全度が高い方の情報に基づき、自機の制御を行うことができる。例えば、同一の位置に存在する物体に対して、一のショベル100のコントローラ30では識別率50%で木材と識別された識別結果に基づき動作継続の判断(即ち、安全度が低い判断)がなされ、周囲の他のショベル100のコントローラ30では識別率30%で人と識別された識別結果に基づき動作停止の判断(即ち、安全度が高い判断)がなされた場合、周囲の他のショベル100のコントローラ30による識別結果が識別率30%で人とする判断であったとしても、一のショベル100のコントローラ30は、相対的に安全度が高い判断結果、つまり、周囲の他のショベル100での判断結果に基づき、自機を制御する。
【0097】
また、本例では、ショベル100(ショベル100A)での警報装置49の失報等を回避する場合を例示したが、情報共有機能は、当然の如く、ショベル100での警報装置49の誤報等を回避する場合に用いられてもよい。例えば、ショベル100Aの周囲に監視対象が存在しない状況で、ショベル100Aの物体検知装置70が、実際は存在しない監視対象を
図5、
図6の作業者Wの位置に検知した場合を想定する。この場合、ショベル100Bの物体検知装置70は、ショベル100Aの左側方に監視対象が存在しないと判断し、監視対象が存在しないことを表す物体検知情報を出力する可能性が高い。そのため、ショベル100Bのコントローラ30は、通信機器90を通じて、ショベル100Bからショベル100Aに監視対象の存在を否定する物体検知情報を送信する。よって、ショベル100Aのコントローラ30は、何等かの判断基準に基づき、ショベル100Bから通知を優先し、監視対象が存在しないと判断し、警報装置49の作動の取りやめ、或いは、作動開始後の警報装置49の停止を行ったり、ショベル100の動作制限の取りやめ、或いは、制限開始後のショベル100の動作制限の停止を行ったりすることができる。このとき、当該判断基準には、例えば、物体検知情報の送信元のショベル100Bの物体検知装置70の精度情報がある基準を超えていることや、物体検知情報に含まれる、監視対象が存在しないと判断したときの監視対象の存在確率(予測確率)に関する情報がある基準を下回っていること等が含まれうる。
【0098】
このように、ショベル100Bは、ショベル100Bの監視領域内において監視対象が存在するかどうかを判断するとともに、ショベル100Bの監視領域外においても監視対象が存在するかどうかも判断する。このとき、ショベル100Bのコントローラ30は、それぞれの判断結果(例えば、監視対象の有無、監視対象の種類、監視対象の位置等に関する情報)を所定の記憶部(例えば、補助記憶装置等)に記憶させる。同様に、ショベル100Aは、ショベル100Aの監視領域内において監視対象が存在するかどうかも判断するとともに、ショベル100Aの監視領域外においても監視対象が存在するかどうかも判断する。このとき、ショベル100Aのコントローラ30は、それぞれの判断結果(例えば、監視対象の有無、監視対象の種類、監視対象の位置等に関する情報)を所定の記憶部(例えば、補助記憶装置等)に記憶させる。そのため、ショベル100の物体検知装置70の死角領域を相互に補間監視することができる。また、ショベル100の監視領域外における監視対象が存在するかどうかの判断は、ショベル100が操作不可状態においても、実行される。
【0099】
また、ショベル100Aは、ショベル100Bに代えて、或いは、加えて、作業領域400内に定点設置され、物体検知装置70と同様の物体検知装置を含む定置装置から物体検知情報を受信してもよい。つまり、ショベル支援システムSYSは、複数のショベル100に加えて、複数のショベル100と比較的近い位置に配置される(例えば、複数のショベル100が作業する作業現場(作業領域))に定置される上述の定置装置を含んでもよい。これにより、ショベル100Aは、ショベル100Bからだけでなく、定置装置からも周囲の物体の有無に関する物体検知情報を受信することができる。
【0100】
<ショベル支援システムの情報共有機能に関する動作(第2例)>
続いて、ショベル支援システムSYSの情報共有機能に関する動作の第2例を説明する。
【0101】
複数のショベル100の間で共有される作業領域情報は、作業領域内の施工領域に関する情報であってよい。
【0102】
例えば、複数のショベル100が同じ施工領域を担当する場合に、一のショベル100で設定された目標施工面に関する情報や作業範囲(下部走行体1、上部旋回体3、アタッチメント等の被駆動要素が作業中の動作が許可される範囲)の外縁を表す仮想面(以下、「作業範囲仮想面」)等の施工領域に関する情報をその他のショベル100に送信する。これにより、一のショベル100で設定された施工領域に関する情報をその他のショベル100でそのまま利用できるため、作業効率を向上させることができる。
【0103】
具体的には、二台のショベル100が両端から比較的長い溝の掘削を開始する際、一方のショベル100のコントローラ30は、当該ショベル100で設定された溝の形状を指示する溝の側面や底面に対応する目標施工面に関する情報を、通信機器90を通じて、他方のショベル100に送信してよい。このとき、一のショベル100において、溝の形状を指示する目標施工面に関する情報は、例えば、操作入力部DS2を通じたオペレータの操作入力によって設定されてもよいし、例えば、既に一部が掘削された溝の壁面及び底面や壁面に設置される矢板等が撮像装置80の撮像画像等を通じて認識されることによって自動的に設定されてもよい。
【0104】
また、例えば、複数のショベル100が同じ作業領域内で作業を行う際、一のショベル100のコントローラ30は、当該ショベル100で設定される作業範囲仮想面に関する情報を、通信機器90を通じて、その他のショベル100に送信してよい。このとき、一のショベル100において、作業範囲仮想面に関する情報は、例えば、操作入力部DS2を通じたオペレータの操作入力によって設定されてもよいし、例えば、作業範囲を規定する複数のロードコーンや障害物(例えば、柵、電柱、電線)等が撮像装置80の撮像画像等を通じて認識されることによって自動的に認識されてもよい。
【0105】
<ショベル支援システムの情報共有機能に関する動作(第3例)>
続いて、
図7を参照して、ショベル支援システムSYSの情報共有機能に関する動作の第3例を説明する。
【0106】
本例では、ショベル支援システムSYSは、複数のショベル100に加えて、ドローン700を含む。
【0107】
図7は、本実施形態に係るショベル支援システムSYSの情報共有機能に関する動作の第3例を説明する図である。本例では、ショベル100A、100Bは、上述の第1例(
図5、
図6)の場合と同様の状況にあり、更に、作業領域400の上空に、ショベル100と同様の物体検知機能を有するドローン700が飛行している前提で説明を進める。
【0108】
作業領域400の作業者Wは、ショベル100Aから見たときに、後を向いて、顔が見えない状態で作業を行っている。そのため、本例では、ショベル100Aの物体検知装置70は、取得される撮像画像を学習済みモデル(ニューラルネットワークDNN)に入力しても、"人"が存在する予測確率が10%と出力され、ローカル座標系上の位置"(e1,n1,h1)"の作業者Wを検知できていない。
【0109】
一方、ショベル100Bは、作業者Wの前を通過するように走行しており、作業者Wは、ショベル100Bから見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ショベル100Bの物体検知装置70は、取得される撮像画像を学習済みモデル(ニューラルネットワークDNN)に入力することで、"人"が存在する予測確率が80%と出力され、ローカル座標系上の位置"(e1,n1,h1)"の作業者Wを検知できている。よって、ショベル100Bのコントローラ30は、物体検知装置70から取得される、作業者Wの検知に関する物体検知情報を、上述の第1例の場合と同様、通信機器90を通じてショベル100Aに送信する。
【0110】
更に、ドローン700は、作業者Wの正面側の上空を飛行しており、作業者Wは、ドローン700から見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ドローン700は、自身に搭載される撮像装置で取得される撮像画像を学習済みモデル(ニューラルネットワーク)に入力することで、"人"が存在する予測確率が80%と出力され、ローカル座標系上の位置"(e1,n1,h1)"の作業者Wを検知できている。よって、ドローン700は、自身に搭載される所定の通信機器を通じて、作業者Wの検知に関する物体検知情報をショベル100A,100Bに送信する。
【0111】
尚、ドローン700は、ショベル100(物体検知装置70)と異なる環境情報や物体検知方法を用いて、物体を検知してもよい。
【0112】
ショベル100Aは、上述の如く、自身の物体検知装置70を用いて作業者Wを検知できないものの、ショベル100B及びドローン700からローカル座標系の座標"(e1,n1,h1)"にいる作業者Wの検知に関する物体検知情報を受信することができる。これにより、ショベル100Aは、ショベル100Bやドローン700との間の情報共有機能によって、自身の物体検知装置70では検知できない作業者Wの存在を認識することができる。また、ショベル100Aは、ショベル100Bからの物体検知情報に加えて、ドローン700からの物体検知情報を受信することができる。そのため、複数の装置からの物体検知情報を用いることで、ローカル座標系の座標"(e1,n1,h1)"に人(作業者W)がいる確からしさを高めることができる。よって、ショベル100Aは、周囲の物体の検知精度を向上させることができる。
【0113】
尚、ショベル100(100A,100B)は、ドローン700に代えて、或いは、加えて、作業領域400内の物体を検知可能な他の装置から物体検知情報を受信可能な情報共有機能を有していてもよい。他の装置は、例えば、作業領域400に設置される定点カメラであってよい。
【0114】
<ショベルの作業現場状況分析機能>
次に、
図8を参照して、ショベル100の作業現場状況分析機能に関する動作について説明する。
【0115】
図8は、ショベル100の作業現場状況分析機能に関する動作を説明する図である。具体的には、時刻t1~時刻tn(n:3以上の整数)の時系列での作業現場内のダンプトラックDTの移動状況(移動履歴)を分析し、作業現場内におけるダンプトラックDTの走行道路を把握する過程を表す図である。
【0116】
図8に示すように、ショベル100は、時刻t1~時刻tnの時系列での作業現場内のダンプトラックDTの移動状況を把握する。
【0117】
例えば、状況801に示すように、時刻t1では、ショベル100は、停車中のダンプトラックDTへの土砂の積み込み作業を行っている。これにより、ショベル100(コントローラ30)は、物体検知装置70により検知される、時刻t1における作業現場内のローカル座標系上のダンプトラックDTの座標から、土砂の積み込み時のダンプトラックDTの位置を把握することができる。
【0118】
また、例えば、状況802に示すように、時刻tk(k:1<k<nの整数)では、ショベル100の土砂の積み込み作業が終了し、ダンプトラックDTは、土砂の搬出のために作業現場の出入口に向かって走行して移動している。これにより、ショベル100(コントローラ30)は、物体検知装置70により検知される、時刻tkにおける作業現場内のローカル座標系上のダンプトラックDTの座標から、搬出時のダンプトラックDTの位置を把握することができる。
【0119】
また、例えば、状況803に示すように、時刻tnでは、ダンプトラックDTは、作業現場の出入口に到達している。これにより、ショベル100(コントローラ30)は、時刻t1(積み込み時)~時刻tn(作業現場の出入口の通過時)までの一連のダンプトラックDTの移動を把握することができる。
【0120】
コントローラ30は、時刻t1~時刻tnの移動履歴を分析することにより、作業現場のダンプトラックDT等の車両の走行道路(走行経路)を把握することができる。走行道路には、ダンプトラックDTの積み込み場所811、ダンプトラックDTの搬出時や搬入時の切り返し場所812、ダンプトラックDTが作業現場の出入口に向けて走行する搬入出道路813等が含まれる。
【0121】
また、コントローラ30は、ダンプトラックDTの移動履歴だけでなく、物体検知装置70により検知される、作業現場内の建屋(例えば,仮設事務所等)の位置を把握してもよい。
【0122】
例えば、ショベル100の作業現場には、決められた道路が敷設されている訳ではなく、作業現場におけるダンプトラック等の走行道路を表す道路情報等は、通常、存在しない場合が多い。また、作業現場の仮設の建屋等は、作業現場の状況等によって、設置箇所が計画から変更される場合もある。更に、作業現場の作業の進捗や天候等によって、ダンプトラック等の走行経路も変更されることが度々生じうる。そのため、例えば、現在の作業現場の状況を表す情報だけで、作業現場の状況を把握するのは難しい。
【0123】
これに対して、本例では、ショベル100(コントローラ30)は、時系列での物体検知情報を用いて、ダンプトラックDT等の作業現場内の車両の移動履歴を分析し、走行道路等の作業現場の状況を把握することができる。
【0124】
また、ショベル100(コントローラ30)は、把握した作業現場の状況に基づき、作業者等の人が危険性の高い場所(例えば、走行道路に相対的に近い範囲)に侵入すると、作業者に対して注意喚起を行ってもよい。コントローラ30は、例えば、警報装置49を作動させて、作業者に注意喚起を行ってよい。また、コントローラ30は、通信機器90を用いて、作業者が所持する携帯端末に所定の信号を送信することにより、携帯端末を振動させて、作業者に注意喚起を図ってもよい。例えば、
図8に示すように、コンローラ30は、物体検知装置70によって、走行道路(搬入出道路813)に非常に近い位置に作業者Wが検知される場合、警報装置49を作動させたり、通信機器90を用いて、作業者Wの携帯端末に所定の信号を送信したりしてよい。これにより、ショベル100は、作業現場の安全性を向上させることができる。
【0125】
[ショベル支援システムの他の例]
次に、
図9を参照して、ショベル支援システムSYSの他の例について説明する。
【0126】
図9は、ショベル支援システムSYSの構成の他の例を示す概略図である。
【0127】
図9に示すように、本例では、ショベル
支援システムSYSは、複数台のショベル100に加えて、支援装置200と、管理装置300とを含む。ショベル
支援システムSYSは、管理装置300によって、複数台のショベル100を管理する。
【0128】
ショベル支援システムSYSに含まれる支援装置200は、一つであってもよいし、複数であってもよい。同様に、ショベル支援システムSYSに含まれる管理装置300は、一つであってもよいし、複数であってもよい。
【0129】
支援装置200は、所定の通信回線を通じて、管理装置300と通信可能に接続される。また、支援装置200は、所定の通信回線を通じて、ショベル100と通信可能に接続されてもよい。所定の通信回線には、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、ブルートゥース(登録商標)やWiFi等の通信規格による近距離無線通信網等が含まれてよい。支援装置200は、例えば、ショベル100のオペレータやオーナ等、作業現場の作業者や監督者等、管理装置300の管理者や作業者等のユーザ(以下、「支援装置ユーザ」)が利用するユーザ端末である。支援装置200は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の携帯端末である。また、支援装置200は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
【0130】
管理装置300は、所定の通信回線を通じて、ショベル100や支援装置200と通信可能に接続される。管理装置300は、例えば、作業現場の外部の管理センタ等に設置されるクラウドサーバである。また、管理装置300は、例えば、作業現場内の仮設事務所等や作業現場に相対的に近い通信施設(例えば、基地局や局舎等)に設置されるエッジサーバであってもよい。また、管理装置300は、例えば、作業現場内で使用される端末装置であってもよい。端末装置は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の携帯端末であってもよいし、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
【0131】
支援装置200及び管理装置300の少なくとも一方には、表示装置や遠隔操作用の操作装置が設けられていてもよい。この場合、支援装置200や管理装置300を利用するオペレータは、遠隔操作用の操作装置を用いて、ショベル100を遠隔操作してもよい。遠隔操作用の操作装置を搭載する支援装置200や管理装置300は、例えば、近距離無線通信網、移動体通信網、衛星通信網等の所定の通信回線を通じて、ショベル100に搭載されているコントローラ30に通信可能に接続される。
【0132】
また、キャビン10の表示装置DSに表示されうる内容(例えば、ショベル100の周囲の様子を表す画像情報や各種の設定画面等)と同様の情報画像が、支援装置200や管理装置300の表示装置で表示されてもよい。ショベル100の周囲の様子を表す画像情報は、撮像装置80の撮像画像等に基づき生成されてよい。これにより、支援装置ユーザや管理装置ユーザは、ショベル100の周囲の様子を確認しながら、ショベル100の遠隔操作を行ったり、ショベル100に関する各種の設定を行ったりすることができる。
【0133】
また、管理装置300は、例えば、上述の一例の位置情報管理装置に相当する機能を果たしてもよい。
【0134】
また、ショベル100のコントローラ30は、例えば、通信機器90を用いて、支援装置200及び管理装置300の少なくとも一方に各種情報を送信してもよい。コントローラ30は、例えば、物体検知装置70の出力(物体検知情報)、及び、撮像装置80の撮像画像等の少なくとも一つを支援装置200及び管理装置300の少なくとも一方に送信してよい。また、ショベル100のコントローラ30は、例えば、作業現場状況分析機能による分析結果に関する情報(即ち、作業現場の状況を表す情報)を支援装置200及び管理装置300の少なくとも一方に送信してもよい。これにより、ショベル支援システムSYSは、支援装置200や管理装置300において、ショベル100で取得される物体検知情報や作業現場の状況を表す情報等の各種情報を所定の記憶部に記憶させることができる。また、支援装置ユーザや管理装置ユーザは、支援装置200や管理装置300の表示装置を通じて、物体検知情報や作業現場の状況を表す情報等を確認することができる。
【0135】
このように、本例では、ショベル支援システムSYSは、ショベル100関する情報(ショベル100で取得される情報)を支援装置ユーザや管理装置ユーザに共有させることができる。また、本例では、ショベル支援システムSYSは、支援装置200や管理装置300において、ショベル100の物体検知情報を所定の記憶部に記憶させることができる。例えば、支援装置200や管理装置300は、ショベル100の監視領域外における監視対象の種類と監視対象の位置等の監視対象に関する情報を時系列的に記憶部に記憶することができる。このとき、支援装置200や管理装置300の記憶部に記憶される監視対象に関する情報は、ショベル100の監視領域外であり、且つ、他のショベル100の監視領域内における監視対象の種類や監視対象の位置等に関する情報であってよい。
【0136】
[作用]
次に、本実施形態に係るショベル支援システムSYSの作用について説明する。
【0137】
本実施形態では、コントローラ30は、建設機械の周囲の作業領域に関する情報を取得し、通信機器90は、コントローラ30により取得された情報を当該ショベル100の周囲の他のショベル100に送信する。
【0138】
これにより、一のショベル100で取得される作業領域に関する情報を同じ作業領域で作業を行う他のショベル100でも利用できるようにすることができる。
【0139】
また、本実施形態では、コントローラ30により取得される作業領域に関する情報には、当該ショベル100の周囲の作業領域を撮像するカメラ(物体検知装置70)の撮像画像に基づき行われる、作業領域に関する所定の判断(例えば、作業領域における物体の有無の判断や物体の種類の判断等)の判断結果を含まれてよい。
【0140】
これにより、一のショベル100で取得される作業領域における物体の有無の判断や物体の種類の判断等に関する情報を同じ作業領域で作業を行う他のショベル100でも利用できるようにすることができる。そのため、例えば、他のショベル100で監視領域内の物体を検知できていないような場合であっても、他のショベル100は、一のショベル100で検知された当該物体に関する情報を利用し、当該物体との接触等を回避するための当接回避制御を行うことができる。よって、ショベル100の安全性を向上させることができる。
【0141】
また、本実施形態では、コントローラ30により取得される作業領域に関する情報には、作業領域の施工領域に関する情報(例えば、目標施工面に関する情報や作業範囲仮想面に関する情報)が含まれてよい。
【0142】
これにより、一のショベル100で取得される施工領域に関する情報を同じ作業領域で作業を行う他のショベル100で利用できるようにすることができる。そのため、例えば、他のショベル100は、一のショベル100で設定された施工領域に関する情報をそのまま利用することができる。よって、複数のショベル100で行われる作業全体の作業効率を向上させることができる。
【0143】
また、本実施形態では、通信機器90は、当該ショベル100の周囲に位置する所定の機器(例えば、他のショベル100、周囲の作業領域を撮像する定置型カメラを有する定置機器、作業領域の上空を飛行するドローン700等)から作業領域に関する情報を受信してよい。
【0144】
これにより、作業領域に関する情報を送信する側のショベル100も、他のショベル100、定置機器、ドローン700等の所定の機器で取得された作業領域に関する情報を利用することができる。
【0145】
また、本実施形態では、通信機器90は、定置型カメラの撮像画像、或いは、当該撮像画像に基づく作業領域に関する情報(例えば、作業領域における物体の有無の判断に関する情報等)を定置機器から受信してよい。
【0146】
これにより、ショベル100は、具体的に、定置機器に含まれる定置型カメラの撮像画像や、当該撮像画像に基づく作業領域に関する情報を利用することができる。
【0147】
[変形・改良]
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【0148】
例えば、上述した実施形態では、複数のショベル100が相互に作業領域情報等を送受信し合うが、ショベル100に代えて、或いは、加えて、他の建設機械を含む複数の建設機械が相互に作業領域情報等を送受信し合う構成であってもよい。即ち、上述した実施形態に係るショベル支援システムSYSは、ショベル100に代えて、或いは、加えて、ブルドーザ、ホイールローダ、アスファルトフィニッシャ等の道路機械や、ハーベスタ等を備える林業機械等の他の建設機械を含む態様であってもよい。
【0149】
最後に、本願は、2019年3月27日に出願した日本国特許出願2019-61771号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
【符号の説明】
【0150】
30 コントローラ(取得部)
49 警報装置
50 減圧弁
60 制御弁
70 物体検知装置(カメラ)
70B 後方センサ(カメラ)
70F 前方センサ(カメラ)
70L 左方センサ(カメラ)
70R 右方センサ(カメラ)
90 通信機器(送信部)
100 ショベル(建設機械)
700 ドローン
SYS ショベル支援システム(支援システム)