(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022157923
(43)【公開日】2022-10-14
(54)【発明の名称】ショベル
(51)【国際特許分類】
E02F 9/24 20060101AFI20221006BHJP
E02F 9/26 20060101ALI20221006BHJP
E02F 9/20 20060101ALI20221006BHJP
H04N 7/18 20060101ALI20221006BHJP
【FI】
E02F9/24 B
E02F9/26 B
E02F9/20 M
H04N7/18 J
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021062445
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】502246528
【氏名又は名称】住友建機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】黒澤 亮太
【テーマコード(参考)】
2D003
2D015
5C054
【Fターム(参考)】
2D003AA01
2D003AB03
2D003AB04
2D003AC06
2D003BA07
2D003BB05
2D003CA02
2D003CA10
2D003DA04
2D003DB04
2D003DB05
2D003FA02
2D015GA03
2D015GB06
2D015GB07
2D015HA03
2D015HB04
2D015HB05
5C054FC12
5C054FD03
5C054FE28
5C054FF06
5C054FF07
5C054HA30
(57)【要約】
【課題】ショベルの周辺における撮像装置や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保可能な技術を提供する。
【解決手段】本開示の一実施形態のショベル100は、下部走行体1と、下部走行体1に旋回自在に搭載される上部旋回体3と、上部旋回体3に取り付けられるアタッチメントATと、上部旋回体3に搭載され、ショベル100の周辺の状況に関する情報を取得可能な撮像装置40と、撮像装置40の出力に基づき、ショベル100の周辺の状況を確認可能な情報を提供する表示装置50と、撮像装置40によるショベル100の周辺の状況に関する情報の取得範囲の外におけるオペレータの死角になる可能性がある所定範囲に向かって、下部走行体1が走行する、或いは、アタッチメントATが近づくように上部旋回体3が旋回する場合に、オペレータに所定範囲に対する注意を促すための通知を行う音出力装置54と、を備える。
【選択図】
図6
【特許請求の範囲】
【請求項1】
下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられる作業アタッチメントと、
前記上部旋回体に搭載され、ショベルの周辺の状況に関するデータを取得可能な取得装置と、
前記取得装置の出力に基づき、ショベルの周辺の状況を確認可能な情報を提供する情報提供装置と、
ショベルの周辺における前記情報提供装置による情報を提供可能な範囲の外におけるオペレータの死角になる可能性がある所定範囲に向かって、前記下部走行体が走行する、又は前記作業アタッチメントが近づくように前記上部旋回体が旋回する場合に、オペレータに前記所定範囲に対する注意を促すための通知を行う通知装置と、を備える、
ショベル。
【請求項2】
前記作業アタッチメントの姿勢状態を測定する測定装置を備え、
前記通知装置は、前記作業アタッチメントの姿勢状態が、オペレータから見て、前記所定範囲が死角になるような状態にあり、且つ、前記所定範囲に向かって、前記下部走行体が走行する、又は前記作業アタッチメントが近づくように前記上部旋回体が旋回する場合に、前記通知を行う、
請求項1に記載のショベル。
【請求項3】
前記通知装置は、前記所定範囲に向かって、前記下部走行体が走行する操作、又は前記作業アタッチメントが近づくように前記上部旋回体が旋回する操作が開始される場合に、前記通知を行う、
請求項1又は2に記載のショベル。
【請求項4】
前記通知装置が前記通知を行うのと併せて、前記下部走行体又は前記上部旋回体の動作を制限する、
請求項1乃至3の何れか一項に記載のショベル。
【請求項5】
前記下部走行体又は前記上部旋回体の操作が解除されると、前記通知装置による前記通知、及び前記下部走行体又は前記上部旋回体の動作の制限を解除する、
請求項4に記載のショベル。
【請求項6】
前記下部走行体又は前記上部旋回体の操作が解除されてから所定時間以上経過した後に、前記所定範囲に向かうように、前記下部走行体又は前記上部旋回体の操作が行われる場合、前記下部走行体又は前記上部旋回体の動作を許可する、
請求項5に記載のショベル。
【請求項7】
前記取得装置の出力に基づき、ショベルの周辺の所定の物体を検知する物体検知機能、及び前記物体検知機能によりショベルの周辺の相対的に近い範囲に前記所定の物体が検知される場合にオペレータに対する警告及びショベルの動作制限の少なくとも一方を実行する安全機能を有し、
前記物体検知機能又は前記安全機能が無効にされている場合、前記通知装置が前記通知を行う機能を無効にする、
請求項1乃至3の何れか一項に記載のショベル。
【請求項8】
前記取得装置の出力に基づき、ショベルの周辺の所定の物体を検知する物体検知機能、及び前記物体検知機能によりショベルの周辺の相対的に近い範囲に前記所定の物体が検知される場合にオペレータに対する警告及びショベルの動作制限の少なくとも一方を実行する安全機能を有し、
前記物体検知機能又は前記安全機能が無効にされている場合、前記通知装置が前記通知を行う一方、前記下部走行体又は前記上部旋回体の動作を制限しない、
請求項4乃至6の何れか一項に記載のショベル。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ショベルに関する。
【背景技術】
【0002】
ショベルの周辺の画像をキャビン内の表示装置に表示したり、ショベルの周辺の監視対象の物体を検知しオペレータに通知したりする技術が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、表示装置に表示される画像の元画像を取得する撮像装置の撮像範囲は、ショベルの周辺の全ての方向をカバーできない可能性がある。同様に、ショベルの周辺の監視対象の物体を検知可能な範囲は、ショベルの周辺の全ての方向をカバーできない可能性がある。そのため、ショベルの周辺において、撮像装置や距離センサ等から見るときの死角と、オペレータから直接或いはミラー等を通じて見るときの死角とが重複する可能性がある。
【0005】
そこで、上記課題に鑑み、ショベルの周辺における撮像装置や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本開示の一実施形態では、
下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられる作業アタッチメントと、
前記上部旋回体に搭載され、ショベルの周辺の状況に関するデータを取得可能な取得装置と、
前記取得装置の出力に基づき、ショベルの周辺の状況を確認可能な情報を提供する情報提供装置と、
ショベルの周辺における前記情報提供装置による情報を提供可能な範囲の外におけるオペレータの死角になる可能性がある所定範囲に向かって、前記下部走行体が走行する、又は前記作業アタッチメントが近づくように前記上部旋回体が旋回する場合に、オペレータに前記所定範囲に対する注意を促すための通知を行う通知装置と、を備える、
ショベルが提供される。
【発明の効果】
【0007】
上述の実施形態によれば、ショベルの周辺における撮像装置や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【図面の簡単な説明】
【0008】
【
図1】ショベル管理システムの一例を示す図である。
【
図3】ショベルの構成の一例を示すブロック図である。
【
図4】表示装置に表示される監視画像の一例(スルー画像)を示す図である。
【
図5】表示装置に表示される監視画像の他の例(俯瞰画像)を示す図である。
【
図6】コントローラによる制御処理の第1例を概略的に示すフローチャートである。
【
図7】コントローラによる制御処理の第2例を概略的に示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して実施形態について説明する。
【0010】
[ショベル管理システムの概要]
まず、
図1、
図2を参照して、本実施形態に係るショベル管理システム1000の概要について説明をする。
【0011】
図1は、本実施形態に係るショベル管理システム1000の一例を示す図である。
図1では、ショベル100は、側面図が示される。また、
図2は、ショベル100の上面図である。
【0012】
ショベル管理システム1000は、ショベル100と、管理装置200と、端末装置300とを含む。
【0013】
ショベル管理システム1000は、例えば、管理装置200や端末装置300を用いて、ショベル100の稼働状況や運用状況等の監視(管理)を行う。
【0014】
ショベル管理システム1000に含まれるショベル100は、一台であってもよいし、複数台であってもよい。また、ショベル管理システム1000に含まれる管理装置200は、一つであってもよいし、複数であってもよい。例えば、複数の管理装置200は、それぞれ、複数のショベル100(全体)のうちの一部のショベル100の管理を担当することにより、複数のショベル100の全体の管理を分担してよい。また、ショベル管理システム1000に含まれる端末装置300は、一つであってもよいし、複数であってもよい。
【0015】
<ショベルの概要>
ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントATと、キャビン10とを備える。
【0016】
下部走行体1は、例えば、左右一対のクローラ1C、即ち、左側のクローラ1CL及び右側のクローラ1CRを含む。下部走行体1は、左側のクローラ1CL及び右側のクローラ1CRがそれぞれに対応する走行油圧モータ1M、即ち、左側の走行油圧モータ1ML及び右側の走行油圧モータ1MRで油圧駆動されることにより、自走する。
【0017】
上部旋回体3は、旋回油圧モータ2Aで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
【0018】
アタッチメントATは、ブーム4と、アーム5と、バケット6とを含む。
【0019】
ブーム4は、上部旋回体3の前部中央に俯仰可能に取り付けられ、ブーム4の先端には、アーム5が上下回動可能に取り付けられ、アーム5の先端には、バケット6が上下回動可能に取り付けられる。
【0020】
バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。
【0021】
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0022】
尚、ショベル100は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。
【0023】
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
【0024】
尚、後述の如く、ショベル100が遠隔操作される場合や完全自動運転で動作する場合、キャビン10は省略されてもよい。
【0025】
また、ショベル100は、例えば、通信装置70を搭載し、通信回線NWを通じて、ショベル100の外部(例えば、管理装置200や端末装置300)と通信を行う。
【0026】
通信回線NWは、例えば、広域ネットワーク(WAN:Wide Area Network)を含む。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、通信衛星を利用する衛星通信網が含まれてよい。また、広域ネットワークには、例えば、インターネット網が含まれてよい。また、通信回線NWは、例えば、管理装置200が設置される施設等の内部のローカルネットワーク(LAN:Local Area Network)を含む。ローカルネットワークは、有線であってもよいし、無線であってもよいし、その両方を含む態様であってもよい。また、通信回線NWは、例えば、WiFiやブルートゥース(登録商標)等の無線による近距離通信回線を含んでもよい。
【0027】
ショベル100は、例えば、通信装置70を用いて、管理装置200と相互に通信を行う。これにより、ショベル100は、管理装置200にショベル100(自機)に関するデータを送信したり、ショベル100(自機)の制御に関するデータを受信したりすることができる。
【0028】
また、ショベル100は、例えば、通信装置70を用いて、端末装置300と相互に通信を行ってもよい。この場合、ショベル100は、管理装置200を介して、間接的に、端末装置300と通信を行ってもよいし、直接的に、端末装置300と通信を行ってもよい。
【0029】
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
【0030】
また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成されてもよい。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータの操作装置26に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
【0031】
遠隔操作には、例えば、所定の外部装置で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる。所定の外部装置は、例えば、管理装置200や端末装置300であってよい。この場合、ショベル100は、例えば、後述の通信装置70を通じて、例えば、遠隔操作用の上部旋回体3の前方を撮像する前方カメラ42や後述の撮像装置40が出力する画像情報(撮像画像)を外部装置に送信してよい。そして、外部装置は、自装置に設けられる表示装置(以下、「遠隔操作用表示装置」)に受信される画像情報(撮像画像)を表示させてよい。また、ショベル100のキャビン10の内部の表示装置50に表示される各種の情報画像(情報画面)は、同様に、外部装置の遠隔操作用表示装置にも表示されてよい。これにより、外部装置のオペレータは、例えば、遠隔操作用表示装置に表示されるショベル100の周辺の様子を表す撮像画像や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。そして、ショベル100は、通信装置70により外部装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
【0032】
また、遠隔操作には、例えば、ショベル100の周辺の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてよい。具体的には、ショベル100は、ショベル100(自機)に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周辺の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してもよい。
【0033】
また、ショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル100は、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(いわゆる「自動運転機能」或いは「マシンコントロール(MC:Machine Control)機能」)を実現する。
【0034】
自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作に応じて、操作対象の被駆動要素(アクチュエータ)以外の被駆動要素(アクチュエータ)を自動で動作させる機能(いわゆる「半自動運機能」或いは「操作支援型のMC機能」)が含まれてよい。また、自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(アクチュエータ)の少なくとも一部を自動で動作させる機能(いわゆる「完全自動運転機能」或いは「全自動型のMC機能」)が含まれてよい。ショベル100において、完全自動運転機能が有効な場合、キャビン10の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素(アクチュエータ)の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル100が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素(アクチュエータ)の動作内容が決定される態様(いわゆる「自律運転機能」)が含まれてもよい。
【0035】
<管理装置の概要>
管理装置200は、ショベル100の外部に設けられ、例えば、ショベル100の稼働状態や運用状態等を管理する。また、管理装置200は、ショベル100の遠隔操作を支援してもよい。
【0036】
管理装置200は、例えば、ショベル100の作業現場の外部の管理センタ等に設置されるクラウドサーバである。また、管理装置200は、例えば、ショベル100の作業現場内の仮設事務所や作業現場の近くの局舎や基地局等に設置されるエッジサーバであってもよい。また、管理装置200は、例えば、ショベル100の作業現場内の仮設事務所等に配置される定置型の端末装置(定置端末)或いは携帯型の端末装置(携帯端末)であってもよい。定置端末には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯端末には、例えば、携帯電話、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。
【0037】
管理装置200は、制御装置210と、通信装置220と、出力装置230と、入力装置240とを含む。
【0038】
制御装置210は、管理装置200に関する制御を行う。制御装置210の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置210は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。以下、後述の制御装置310についても同様の構成であってよい。
【0039】
通信装置220は、通信回線NWを通じて、管理装置200の外部(例えば、ショベル100や端末装置300)等と通信を行う。
【0040】
出力装置230は、管理装置200の管理者や作業者等のユーザ(以下、「管理装置ユーザ」)に向けて情報を出力する。出力装置230は、例えば、視覚的な情報を出力する表示装置や照明装置等を含んでよい。表示装置は、例えば、画像情報を出力する液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等を含む。また、表示装置は、上述の遠隔操作用表示装置を含んでもよい。また、出力装置230は、例えば、聴覚的な情報を出力する音出力装置を含んでもよい。音出力装置は、例えば、スピーカやブザー等を含む。
【0041】
入力装置240は、管理装置ユーザからの各種入力を受け付け、その入力内容に対応する信号は、制御装置210に取り込まれる。入力装置240は、例えば、管理装置ユーザからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、トグル、レバー等を含んでよい。また、入力装置240は、例えば、管理装置ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、管理装置ユーザが発話する音声データを取得するマイクロフォンを含む。ジェスチャ入力装置は、例えば、管理装置ユーザのジェスチャの様子を撮像する撮像装置(カメラ)を含む。また、入力装置240は、例えば、遠隔操作用操作装置を含んでもよい。
【0042】
制御装置210は、通信装置220を用いて、ショベル100及び端末装置300のそれぞれと相互に通信を行う。これにより、管理装置200は、例えば、ショベル100から送信(アップロード)される各種データを受信し、ショベル100に関する各種データを収集することができる。また、制御装置210は、例えば、通信装置220を用いて、ショベル100の制御に関するデータをショベル100に送信し、外部からショベル100の制御を行ってもよい。また、制御装置210は、例えば、通信装置220を用いて、端末装置300からの要求に応じる形で、端末装置300に各種データを提供してよい。また、制御装置210は、例えば、通信装置220を用いて、入力装置240(遠隔操作用操作装置)から受け付けられる遠隔操作の内容を表す信号(遠隔操作信号)を遠隔操作の対象のショベル100に送信してよい。これにより、管理装置200は、ショベル100の遠隔操作を支援することができる。
【0043】
<端末装置の概要>
端末装置300は、例えば、ショベル管理システム1000において、情報提供を受けるユーザが利用する端末装置(ユーザ端末)である。また、端末装置300は、ショベル100の遠隔操作を支援してもよい。
【0044】
端末装置300は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、端末装置300は、デスクトップ型のコンピュータ等の汎用の定置端末であってもよい。また、端末装置300は、ショベル100に関するデータ(情報)の提供を受けたり、遠隔操作を支援したりするための専用の端末装置(携帯端末或いは定置端末)であってもよい。
【0045】
端末装置300は、制御装置310と、通信装置320と、出力装置330と、入力装置340とを含む。
【0046】
制御装置310は、端末装置300に関する制御を行う。
【0047】
通信装置320は、通信回線NWを通じて、端末装置300の外部(例えば、ショベル100や管理装置200)等と通信を行う。
【0048】
出力装置330は、端末装置300の管理者や作業者等のユーザ(以下、「端末装置ユーザ」)に向けて情報を出力する。出力装置330は、例えば、視覚的な情報を出力する表示装置や照明装置等を含んでよい。表示装置は、例えば、画像情報を出力する液晶ディスプレイや有機ELディスプレイ等を含む。また、表示装置は、上述の遠隔操作用表示装置を含んでもよい。また、出力装置330は、例えば、聴覚的な情報を出力する音出力装置を含んでもよい。音出力装置は、例えば、スピーカやブザー等を含む。
【0049】
入力装置340は、端末装置ユーザからの各種入力を受け付け、その入力内容に対応する信号は、制御装置310に取り込まれる。入力装置340は、例えば、端末装置ユーザからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、トグル、レバー等を含んでよい。また、入力装置340は、例えば、端末装置ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、端末装置ユーザが発話する音声データを取得するマイクロフォンを含む。ジェスチャ入力装置は、例えば、端末装置ユーザのジェスチャの様子を撮像する撮像装置(カメラ)を含む。また、入力装置340は、例えば、遠隔操作用操作装置を含んでもよい。
【0050】
制御装置310は、通信装置320を用いて、管理装置200と相互に通信を行う。これにより、端末装置300は、管理装置200に対して、ショベル100に関するデータ等の提供を要求することができる。また、端末装置300は、管理装置200から送信される、ショベル100に関するデータを受信し、出力装置330(表示装置)を通じて、ショベル100に関する情報をユーザに提供してよい。
【0051】
また、制御装置310は、通信装置320を用いて、ショベル100と相互に通信を行ってもよい。この場合、端末装置300は、管理装置200を介して、間接的に、ショベル100と通信を行ってもよいし、直接的に、ショベル100と通信を行ってもよい。制御装置310は、例えば、通信装置320を用いて、入力装置340(遠隔操作用操作装置)から受け付けられる遠隔操作の内容を表す信号(遠隔操作信号)を遠隔操作の対象のショベル100に送信してよい。これにより、端末装置300は、ショベル100の遠隔操作を支援することができる。
【0052】
[ショベルの構成]
次に、
図1、
図2に加えて、
図3~
図5を参照して、本実施形態に係るショベル100の構成について説明をする。
【0053】
図3は、本実施形態に係るショベル100の構成の一例を示す図である。
図4は、表示装置50に表示される監視画像の一例(スルー画像を含む監視画像MP1)を示す図であり、
図5は、表示装置50に表示される監視画像の他の例(視点変換画像を含む監視画像MP2)を示す図である。
【0054】
ショベル100は、油圧駆動系、操作系、ユーザインタフェース系、及び制御系等のそれぞれの構成要素を含む。
【0055】
<油圧駆動系>
ショベル100の油圧駆動系は、被駆動部の油圧駆動に関する構成要素群である。
【0056】
図1~
図3に示すように、ショベル100の油圧駆動系は、下部走行体1、ブーム4、アーム5、及びバケット6等の被駆動部のそれぞれを油圧駆動する油圧アクチュエータHAを含む。油圧アクチュエータHAには、走行油圧モータ1ML,1MR、旋回油圧モータ2A,ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。また、ショベル100の油圧駆動系は、原動機11と、メインポンプ14と、コントロールバルブ17とを含む。
【0057】
原動機11は、ショベル100の動力源である。原動機11は、例えば、所定の燃料(例えば、軽油)で稼働するエンジン(例えば、ディーゼルエンジン等)を含む。また、原動機11は、例えば、ショベル100に搭載される蓄電装置(例えば、キャパシタやリチウムイオンバッテリ等)やケーブルで接続される外部電源から供給される電力で稼働する電動機を含んでもよい。
【0058】
メインポンプ14は、上部旋回体3に搭載され、原動機11で駆動される。メインポンプ14は、コントローラ30の制御下で、作動油タンクTから作動油を吸い込み、各種の油圧アクチュエータHAに作動油を供給する。
【0059】
コントロールバルブ17は、被駆動要素(即ち、対応する油圧アクチュエータHA)の操作状態に応じて、メインポンプ14から吐出される作動油をそれぞれの油圧アクチュエータHAに選択的に供給し、油圧アクチュエータHAに供給される作動油の流量及び流れの方向を調整する。例えば、コントロールバルブ17は、それぞれの油圧アクチュエータHAに供給される作動油の方向及び流量を制御する複数の制御弁(方向切換弁)等により構成されてよい。コントロールバルブ17は、例えば、油圧駆動式(油圧パイロット式)であり、それぞれの油圧アクチュエータの操作内容や自動運転機能に対応する操作指令に応じたパイロット圧が入力される。これにより、入力されるパイロット圧に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される。また、コントロールバルブ17は、例えば、電磁ソレノイド式等の電気駆動式であってもよく、操作装置26の操作内容や自動運転機能に対応する操作指令に応じた電気信号が入力される。これにより、入力される電気信号に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される。
【0060】
油圧制御弁31は、パイロットポンプ15とコントロールバルブ17(具体的には、それぞれの油圧アクチュエータHAに対応する制御弁のパイロットポート)との間を繋ぐパイロットラインに設けられる。油圧制御弁31は、例えば、電磁比例弁である。油圧制御弁31は、コントローラ30からの制御指令で動作可能であり、コントロールバルブ17に作用するパイロット圧を調整する。油圧制御弁31は、例えば、パイロットポンプ15と油圧パイロット式の操作装置26との間のパイロットライン、つまり、操作装置26の一次側のパイロットラインに設けられてよい。また、油圧制御弁31は、例えば、操作装置26とコントロールバルブ17との間のパイロットライン、つまり、操作装置26の二次側のパイロットラインに設けられてもよい。また、油圧制御弁31は、例えば、上述の如く、電気式の操作装置26が採用される場合、或いは、ショベル100が遠隔操作される場合に利用される。また、油圧制御弁31は、コントローラ30の制御下で、操作装置26の操作内容、或いは、遠隔操作の内容とは関係なく、コントロールバルブ17に作用させるパイロット圧を調整することができる。換言すれば、油圧制御弁31は、コントローラ30の制御下で、操作装置26の操作内容や遠隔操作の内容と関係なく、ショベル100の動作を自動制御し、自動運転機能を実現することができる。
【0061】
<操作系>
ショベル100の操作系は、被駆動要素(アクチュエータ)の操作に関する構成要素群である。
【0062】
図1~
図3に示すように、ショベル100の操作系は、パイロットポンプ15と、電磁切換弁25Vと、操作装置26と、油圧制御弁31とを含む。
【0063】
パイロットポンプ15は、原動機11を動力源として駆動される。パイロットポンプ15は、作動油タンクTから作動油を吸い込み、油圧パイロット式の各種油圧機器(例えば、操作装置26やコントロールバルブ17等)に作動油を供給する。
【0064】
尚、パイロットポンプ15は、省略されてもよい。この場合、油圧制御弁31等の各種油圧機器には、メインポンプ14から吐出され、減圧弁等を介して所定のパイロット圧に減圧された作動油が供給されてよい。
【0065】
電磁切換弁25Vは、パイロットポンプ15と各種の油圧機器とを接続するパイロットライン25の最上流に配置される。電磁切換弁25Vは、コントローラ30の制御下で、パイロットライン25の連通状態と、非連通状態とを切り換える。これにより、コントローラ30は、電磁切換弁25Vを制御することで、パイロットライン25を非連通状態とし、パイロットポンプ15から操作装置26や油圧制御弁31に供給される作動油を遮断することができる。そのため、コントローラ30は、オペレータの操作の内容によらず、被駆動要素(油圧アクチュエータ)の動作を停止させることができる。
【0066】
尚、パイロットライン25が非連通状態の場合、パイロットライン25の電磁切換弁25Vより下流側の作動油は、作動油タンクTに戻される。また、電磁切換弁25Vは、省略されてもよい。
【0067】
操作装置26は、下部走行体1、上部旋回体3、アタッチメント(ブーム4、アーム5、及びバケット6)等のアクチュエータ(具体的には、油圧アクチュエータ)で駆動される被駆動要素を操作するために用いられる。換言すれば、操作装置26は、被駆動要素を駆動するそれぞれの油圧アクチュエータHAを操作するために用いられる。操作装置26は、例えば、それぞれの被駆動要素、即ち、それぞれの油圧アクチュエータHAに対応するレバー装置やペダル装置等を含む。
【0068】
操作装置26は、例えば、油圧パイロット式である。この場合、操作装置26は、パイロットポンプ15から供給される作動油を用いて、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容(例えば、操作方向及び操作量等)に応じたパイロット圧をコントロールバルブ17に出力する。これにより、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
【0069】
また、操作装置26は、例えば、電気式であってもよい。この場合、操作装置26は、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の操作内容に対応する電気信号(以下、「操作信号」)をコントローラ30に出力する。そして、コントローラ30は、パイロットポンプ15とコントロールバルブ17との間の油路(パイロットライン)に設けられる、操作用の油圧制御弁31に操作信号に対応する制御指令を出力する。これにより、操作用の油圧制御弁31は、パイロットポンプ15から供給される作動油を用いて、操作信号に応じたパイロット圧、つまり、操作装置26におけるそれぞれの被駆動要素(即ち、それぞれの油圧アクチュエータHA)に関する操作内容に応じたパイロット圧をコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータHA)の動作を実現することができる。
【0070】
また、ショベル100の被駆動要素、即ち、対応するアクチュエータ(油圧アクチュエータ)は、上述の如く、遠隔操作されてもよい。例えば、所定の外部装置から遠隔操作の内容を表す信号(遠隔操作信号)がショベル100に送信されると共に、コントローラ30は、通信装置70を通じて、遠隔操作信号を受信する。そして、コントローラ30は、操作用の油圧制御弁31に対して、遠隔操作信号で規定される遠隔操作の内容(例えば、操作対象の被駆動要素或いは油圧アクチュエータ、操作方向、及び操作量等)に応じた制御指令を出力する。これにより、操作用の油圧制御弁31は、パイロットポンプ15から供給される作動油を用いて、遠隔操作の内容に応じたパイロット圧を油圧駆動式のコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、遠隔操作の内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータHA)の動作を実現することができる。
【0071】
尚、上述の如く、油圧アクチュエータの一部又は全部は、電動アクチュエータに置換されてもよい。この場合、コントローラ30は、操作装置26の操作内容、遠隔操作信号で規定される遠隔操作の内容、自動運転機能に対応する操作指令の内容等に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバやインバータ等に出力してよい。
【0072】
<ユーザインタフェース系>
ショベル100のユーザインタフェース系は、ユーザとの間の情報のやり取りに関する構成要素群である。
【0073】
ショベル100のユーザインタフェース系は、表示装置50と、入力装置52と、音出力装置54とを含む。
【0074】
表示装置50(情報提供装置、通知装置の一例)は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機ELディスプレイであり、入力装置52を兼ねるタッチパネル式であってもよい。表示装置50は、例えば、後述の如く、コントローラ30(表示処理部301)の制御下で、撮像装置40の撮像画像に基づき、ショベル100(自機)の周辺の様子を表す画像(以下、「監視画像」)を表示する。
【0075】
入力装置52は、オペレータから各種入力を受け付け、コントローラ30に出力する。入力装置52は、例えば、タッチパネル、タッチパッド、ボタン、トグル、回転ノブ等の任意の操作入力装置を含む。また、入力装置52は、オペレータ等のユーザの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。
【0076】
音出力装置54(情報提供装置、通知装置の一例)は、キャビン10の内部及び外部の少なくとも一方に向けて音を出力する。音出力装置54は、例えば、キャビン10の内部に設けられるスピーカやブザー等を含んでよく、オペレータに向けて音を出力してよい。また、音出力装置54は、例えば、ホーンや走行アラーム等を含んでよく、キャビン10の外部、具体的には、ショベル100の周辺に向けて音を出力してよい。
【0077】
<通信系>
ショベル100の通信系は、ショベル100の外部との通信を行うための構成要素群である。
【0078】
尚、ショベル100の外部との通信には、ショベル100のキャビン10に持ち込まれる機器(例えば、オペレータが所持するユーザ端末やサービスマンが持ち込む診断用のツール等)との通信が含まれる。
【0079】
ショベル100の通信系は、通信装置70を含む。
【0080】
通信装置70は、通信回線NWを通じて、ショベル100の外部(例えば、管理装置200や端末装置300)と通信を行う。
【0081】
<制御系>
ショベル100の制御系は、ショベル100に関する各種制御を行うための構成要素群である。
【0082】
ショベル100の制御系は、コントローラ30を含む。また、ショベル100の制御系は、操作情報出力装置29と、撮像装置40と、前方カメラ42と、姿勢センサ44と、旋回角度センサ46とを含む。
【0083】
コントローラ30は、ショベル100に関する制御を行う。コントローラ30は、例えば、キャビン10の内部に搭載される。
【0084】
コントローラ30は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。コントローラ30は、例えば、CPU、RAM等のメモリ装置(主記憶装置)、ROM等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしCPU上で実行することにより各種機能を実現する。
【0085】
コントローラ30は、例えば、補助記憶装置にインストールプログラムをメモリ装置にロードしCPU上で実行することにより実現される機能部として、表示処理部301と、物体検知部302と、安全制御部303とを含む。
【0086】
尚、コントローラ30の機能の一部又は全部は、他のコントローラにより実現されてもよい。また、コントローラ30の機能の一部又は全部は、ショベル100の外部(例えば、管理装置200)に移管されてもよい。この場合、ショベル100は、例えば、管理装置200等の外部装置からの制御指令に応じて、リアルタイムにその動作が制御されてよい。例えば、5G(5th Generation)の移動体通信網等のように、通信回線NWを通じて非常に高速の通信を実行可能な場合、管理装置200からショベル100に制御指令を逐次送信する制御態様でも、遅延のないショベル100の動作制御を実現可能だからである。
【0087】
操作情報出力装置29は、操作装置26の操作内容、遠隔操作の内容、或いは、自動運転機能に対応する操作指令の内容、つまり、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータHA)に関する操作内容に関する情報(以下、「操作情報」)を出力する。
【0088】
操作情報出力装置29は、例えば、操作装置26の操作内容に関する情報を取得するセンサ(以下、「操作情報取得センサ」)であってよい。操作情報取得センサは、例えば、操作装置26のレバーやペダル等の操作方向や操作量を感知するリニアエンコーダである。また、操作情報取得センサは、例えば、油圧パイロット式の操作装置26の二次側のパイロット圧を感知する圧力センサである。また、操作情報出力装置29は、例えば、電気式の操作装置26であってよい。電気式の操作装置26から出力される操作信号は、操作情報に相当するからである。また、ショベル100が遠隔操作される場合、操作情報出力装置29は、例えば、外部装置から遠隔操作信号を受信する通信装置70である。また、ショベル100が自動運転機能により動作する場合、操作情報出力装置29は、例えば、操作指令を出力する演算装置であってよい。
【0089】
撮像装置40(取得装置の一例)は、上部旋回体3の上面に取り付けられ、ショベル100に相対的に近い領域から相対的に遠い領域に亘るショベル100の周辺を撮像し、撮像画像を出力する。撮像装置40は、カメラ40B,40L,40Rを含む。以下、カメラ40B,40L,40Rを包括的に「カメラ40X」と称する場合がある。
【0090】
カメラ40B、カメラ40L、及びカメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40Xは、非常に広い画角を有する単眼カメラ(即ち、広角カメラ)である。また、例えば、カメラ40Xは、ステレオカメラやデプスカメラ等であってもよい。カメラ40Bは、上部旋回体3の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Lは、例えば、上部旋回体3の左側方の撮像範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Rは、例えば、上部旋回体3の右側方の撮像範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Xは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。
【0091】
カメラ40Xは、例えば、ショベル100の起動(即ち、キースイッチON)から停止(即ち、キースイッチOFF)までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力する。カメラ40Xから出力される撮像画像は、コントローラ30に取り込まれる。
【0092】
尚、撮像装置40に代えて、或いは、加えて、上部旋回体3の後方、左側方、及び右側方の物体との距離を検出可能な距離センサ(取得装置の一例)が搭載されてもよい。距離センサは、例えば、LIDAR(Light Detection and Ranging)、ミリ波レーダ、超音波センサ、距離画像センサ等を含む。
【0093】
前方カメラ42は、ショベル100の前方の様子を撮像し、遠隔操作を行うオペレータが確認するための画像を取得する。前方カメラ42は、アタッチメントATによる作業の様子を撮像可能であれば、上部旋回体3の前部の任意の位置に設けられてよい。例えば、前方カメラ42は、キャビン10の上面の前端部に取り付けられる。また、前方カメラ42は、キャビン10の前面に取り付けられてもよい。
【0094】
尚、ショベル100の遠隔操作が行われない場合、前方カメラ42は、省略されてもよい。
【0095】
姿勢センサ44(測定装置の一例)は、ショベル100の姿勢状態を計測する。
【0096】
姿勢センサ44は、例えば、ブーム4の姿勢角度を計測するブーム角度センサを含む。ブーム角度センサは、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、IMU(Inertial Measurement Unit)等を含んでよい。また、ブーム角度センサは、ブームシリンダ7の伸縮位置を検出可能なシリンダセンサを含んでもよい。
【0097】
また、姿勢センサ44は、例えば、アーム5の姿勢角度を計測するアーム角度センサを含む。アーム角度センサは、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、IMU等を含んでよい。また、アーム角度センサは、アームシリンダ8の伸縮位置を検出可能なシリンダセンサを含んでもよい。
【0098】
また、姿勢センサ44は、例えば、バケット6の姿勢角度を計測するバケット角度センサを含む。バケット角度センサは、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、IMU等を含んでよい。また、バケット角度センサは、バケットシリンダ9の伸縮位置を検出可能なシリンダセンサを含んでもよい。
【0099】
また、姿勢センサ44は、例えば、機体(下部走行体1及び上部旋回体3)の姿勢状態を計測する機体姿勢センサを含む。機体の姿勢状態には、機体の傾斜状態が含まれる。機体の傾斜状態には、例えば、上部旋回体3の左右軸回りの姿勢状態に相当する、前後方向の傾斜状態、及び上部旋回体3の前後軸回りの姿勢状態に相当する、左右方向の傾斜状態が含まれる。また、機体の姿勢状態には、上部旋回体3の旋回軸回りの姿勢状態に相当する、上部旋回体3の旋回状態が含まれてもよい。機体姿勢センサは、例えば、上部旋回体3に搭載され、上部旋回体3の前後軸、左右軸回りの姿勢角度(以下、「前後傾斜角度」及び「左右傾斜角度」)に関する検出データを取得(出力)する。また、機体姿勢センサは、旋回軸回りの姿勢角度に関する検出データを取得(出力)してもよい。これにより、機体姿勢センサは、地面を基準とする上部旋回体3の向き(旋回軸回りの旋回姿勢)に関する検出情報を取得することができる。上部旋回体3の向きは、例えば、上面視で、アタッチメントATが延び出す方向、つまり、上部旋回体3から見た前方を意味する。機体姿勢センサは、例えば、加速度センサ(傾斜センサ)、角速度センサ、六軸センサ、IMU等を含んでよい。
【0100】
尚、姿勢センサ44は、省略されてもよい。
【0101】
旋回角度センサ46は、下部走行体1を基準とする上部旋回体3の相対的な旋回角度を計測(検出)する。これにより、旋回角度センサ46は、下部走行体1基準とする上部旋回体3の向きに関する計測(検出)情報を取得することができる。旋回角度センサ46は、例えば、所定基準(例えば、下部走行体1の前進方向と上部旋回体3の前方とが一致する状態)に対する上部旋回体3の旋回角度に関する検出情報を取得する。旋回角度センサ46は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。
【0102】
尚、下部走行体1を基準とする上部旋回体3の向きに関する情報は、旋回角度センサ46に代えて、或いは、加えて、他の装置から取得されてもよい。例えば、下部走行体1及び上部旋回体3のそれぞれに地磁気センサが搭載されてもよい。この場合、コントローラ30は、下部走行体1の地磁気センサの出力と、上部旋回体3の地磁気センサの出力とに基づき、下部走行体1を基準とする上部旋回体3の向きに関する情報を取得することができる。また、例えば、コントローラ30は、撮像装置40の出力(撮像画像)を用いて、撮像装置の中の下部走行体1の映っている位置等から下部走行体1を基準とする上部旋回体3の向きを判断してもよい。つまり、下部走行体1を基準とする上部旋回体3の向きに関する情報は、撮像装置40から取得されてもよい。
【0103】
表示処理部301は、撮像装置40の撮像画像に基づき、表示装置50にショベル100の周辺の様子(状況)を表す監視画像(周辺画像)を表示させる。
【0104】
例えば、表示処理部301は、入力装置52に対する所定操作に応じて、或いは、自動的に、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つの撮像画像を表示装置50に表示させる。つまり、表示処理部301は、カメラ40B,40L,40Rのうちの全ての撮像画像或いは二つのカメラの撮像画像を表示装置50に並べて表示させてもよいし、何れか一つのカメラの撮像画像を表示装置50に表示させてもよい。典型的には、表示処理部301は、カメラ40B,40Rの撮像画像を表示装置50に並べて表示させてよい(
図6参照)。以下、表示装置50に表示される当該撮像画像を「スルー画像」と称する場合がある。
【0105】
表示処理部301は、入力装置52に対する所定操作に応じて、カメラ40B,40L,40Rの撮像画像のうちのどの撮像画像を表示装置50に表示させるかを切り替えてよい。これにより、オペレータは、入力装置52を操作することで、自分が見たい方向のスルー画像を表示装置50に表示させることができる。
【0106】
また、例えば、表示処理部301は、撮像装置40の撮像画像に基づき、複数のカメラ(カメラ40B,40L,40Rのうちの少なくとも二つのカメラ)の撮像画像を合成した合成画像を生成し、合成画像を含む監視画像を表示装置50に表示させる。
【0107】
具体的には、表示処理部301は、合成画像として、カメラ40B、40L,40Rの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、表示処理部301は、合成画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示処理部301は、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周辺に配置される視点変換画像とを含む監視画像を生成し、表示装置50に表示させる。
【0108】
例えば、
図4に示すように、本例では、表示装置50には、監視画像MP1として、カメラ40Bの撮像画像(スルー画像)MP11及びカメラ40Rの撮像装置(スルー画像)MP12が表示されている。これにより、オペレータは、ショベル100の周辺(本例では、上部旋回体3の後方)の状況(例えば、ショベル100の周辺における人等の監視対象の有無)を把握することができる。特に、オペレータは、上部旋回体3の左側方及び左側方は、キャビン10の左側に設けられるミラーを通じて比較的容易に視認することが可能な一方、上部旋回体3の後方、及び右側方を直接或いはミラーで間接的に視認することはほぼ不可能である。そのため、オペレータは、表示装置50のスルー画像MP11及びスルー画像MP12を確認することによって、ショベル100の左側方に加えて、後方や右側方の様子を確認することができる。
【0109】
また、スルー画像MP11の右下の隅には、スルー画像に対応するカメラ40X(カメラ40B)の撮像範囲を表すアイコンIC1が含まれる。アイコンIC1は、ショベル100を模式的に表すショベルアイコンIC11と、ショベルアイコンIC11を基準としたカメラ40X(カメラ40B)の撮像範囲を模式的に表す撮像範囲アイコンIC12とを含む。これにより、オペレータは、スルー画像MP11がショベル100から見て後方の様子を表していることを容易に認識することができる。
【0110】
また、スルー画像MP12の右下の隅には、スルー画像に対応するカメラ40X(カメラ40R)の撮像範囲を表すアイコンIC2が含まれる。アイコンIC2は、ショベル100を模式的に表すショベルアイコンIC21と、ショベルアイコンIC21を基準としたカメラ40X(カメラ40R)の撮像範囲を模式的に表す撮像範囲アイコンIC22とを含む。これにより、オペレータは、スルー画像MP11がショベル100から見て右方の様子を表していることを容易に認識することができる。
【0111】
尚、表示装置50は、スルー画像MP11,MP12を上下に並べて表示してもよい。また、スルー画像MP11,MP12の左右方向或いは上下方向の配置の順序は任意であってよい。
【0112】
また、例えば、
図5に示すように、表示装置50には、ショベル画像CGと、ショベル画像CGの周辺に配置される視点変換画像EPとを含む監視画像MP2が表示される。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周辺の物体との位置関係を適切に把握することができる。
【0113】
また、監視画像MP2の視点変換画像EPには、ショベル100からの一定距離のラインLN1が重畳して表示される。ラインLN1は、例えば、コントローラ30(物体検知部302)による監視対象の監視エリアの外縁を表してよい。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周辺の物体との距離関係を適切に把握することができる。
【0114】
本例では、視点変換画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとの組み合わせで構成される。視点変換画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
【0115】
また、表示処理部301は、通信装置70を通じて、撮像装置40の撮像画像に基づき生成する監視画像を管理装置200や端末装置300に送信してもよい。これにより、管理装置200は、ショベル100から監視画像を受信し、出力装置230(例えば、遠隔操作用表示装置)に監視画像を表示させることができる。同様に、端末装置300は、ショベル100から監視画像を受信し、出力装置330(例えば、遠隔操作用表示装置)に監視画像を表示させることができる。そのため、管理装置200や端末装置300を利用するショベル100のオペレータは、出力装置230や出力装置330に表示される監視画像を確認しながら、ショベル100を遠隔操作することができる。また、管理装置200や端末装置300を利用するショベル100の管理者等は、出力装置230や出力装置330に表示される監視画像を確認しながら、自動運転機能で作業を行う複数のショベル100のそれぞれの作業状況を遠隔から監視することができる。
【0116】
尚、ショベル100が遠隔操作される場合、上述の監視画像だけでなく、当然の如く、前方カメラ42の撮像画像も、通信装置70を通じて、管理装置200や端末装置300に送信され、出力装置230,330に表示される。
【0117】
物体検知部302は、撮像装置40の出力に基づき、ショベル100(上部旋回体3)の周辺の監視対象の物体(以下、「監視物体」)を検知する。
【0118】
監視物体には、ショベル100の周辺で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視物体には、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体(即ち、障害物)が含まれうる。
【0119】
物体検知部302は、撮像装置40の出力、即ち、撮像装置40で撮像された撮像画像に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「監視エリア」)において、監視物体を検知する。以下、物体検知部302に関する説明は、ショベル100が水平面に位置している仮定の下で行う。
【0120】
尚、物体検知部302は、上部旋回体3に上述の距離センサが搭載される場合、距離センサの出力に基づき、監視物体を検知してよい。
【0121】
物体検知部302は、例えば、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、便宜的に「作業平面」)に沿う方向に延在する監視エリア内において、監視物体を検知する。具体的には、物体検知部302は、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth1(例えば、5メートル)以内の監視エリア内で、監視物体を検知してよい。
【0122】
例えば、物体検知部302は、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視物体を認識する。また、監視物体が作業者等の人である場合、物体検知部302は、認識した人が予め登録される複数の登録済みの作業者(以下、「登録作業者」)の中の何れに該当するかを特定してもよい。
【0123】
また、物体検知部302は、既知の各種手法を適用することにより、単眼の撮像装置40の撮像画像に映っている、認識された監視物体(人)が存在する位置(例えば、足元位置)(以下、「実在位置」)を判定(推定)することができる。
【0124】
例えば、物体検知部302は、認識された監視物体の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視物体の撮像画像上における大きさは、監視物体がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視物体には、想定される大きさの範囲(例えば、想定される人の身長の範囲)があるため、想定された大きさの範囲に含まれる当該監視物体のショベル100から見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、物体検知部302は、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視物体の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視物体の実在位置(ショベル100からの水平位置)を推定することができる。
【0125】
また、例えば、物体検知部302は、監視物体がショベル100(具体的には、下部走行体1)と同じ平面上に存在する前提の下、撮像画像の当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
【0126】
また、物体検知部302は、入力装置52に対するオペレータ等による所定の操作に応じて、その機能がON(有効)/OFF(無効)の間で切り替えられてもよい。
【0127】
安全制御部303は、ショベル100の機能安全に関する制御を行う。安全制御部303は、安全制御部303A,303Bを含む。
【0128】
安全制御部303Aは、物体検知部302により監視対象が検知される場合に、第1の安全機能を作動させる。
【0129】
第1の安全機能には、例えば、キャビン10の内部、キャビン10の外部、及びショベル100の遠隔のオペレータや管理者等の少なくとも一つに対する警報等を出力し、監視対象の検知を報知する報知機能が含まれてよい。これにより、キャビン10の内部のオペレータ、ショベル100の周辺の作業者、ショベル100の遠隔操作を行うオペレータや管理者等に対して、ショベル100の周辺の所定範囲内に監視対象が存在していることに関する注意を促すことができる。以下、キャビン10の内部(オペレータ)への報知機能を「内部報知機能」、ショベル100の外部(作業者等)への報知機能を「外部報知機能」、及びショベル100の遠隔操作を行うオペレータへの報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。
【0130】
また、第1の安全機能には、例えば、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル100の動作を制限する動作制限機能が含まれてよい。これにより、ショベル100の動作を強制的に制限し、ショベル100と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。
【0131】
安全制御部303Aは、例えば、物体検知部302により監視エリアに含まれる所定の範囲(以下、「報知範囲」)で監視対象が検知される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。
【0132】
安全制御部303Aは、例えば、音出力装置54を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による内部報知機能や外部報知機能を作動させる。このとき、安全制御部303Aは、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。
【0133】
また、安全制御部303Aは、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部303Aは、表示処理部301を通じて表示装置50を制御することにより、表示装置50に表示されている監視画像上に、監視対象が検知されていることを表す画像を表示させてよい。また、安全制御部303Aは、表示処理部301を通じて、表示装置50に表示される監視画像に映っている監視対象や、検知された監視対象のショベル100から見た位置に対応する監視画像上の位置を強調させてもよい。より具体的には、安全制御部303Aは、表示処理部301を通じて、監視画像上に映っている監視対象を囲む枠を重畳して表示させたり、検知された監視対象の実在位置に対応する監視画像上の位置にマーカを重畳して表示させたりしてよい(例えば、
図10、
図21、
図22参照)。これにより、表示装置50は、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部303Aは、キャビン10の内部の警告灯や照明装置等を用いて、監視対象が検知されていることをキャビン10の内部のオペレータ等に対して通知してもよい。
【0134】
また、安全制御部303Aは、例えば、上部旋回体3のハウス部等に設けられる前照灯等の照明装置や外部用の表示装置を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部303Aは、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ30は、オペレータやショベル100の周辺の作業者及び監督者等に対して、ショベル100の周辺に監視対象(例えば、作業者等の人)が存在することを認識させることができる。そのため、コントローラ30は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
【0135】
また、安全制御部303Aは、例えば、通信装置70を通じて、報知機能の作動を示す指令信号を管理装置200や端末装置300に送信することにより、遠隔報知機能を作動させてもよい。この場合、管理装置200(制御装置210)は、通信装置220によりショベル100から指令信号を受信すると、出力装置230を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、管理装置200の管理者、作業者、管理装置200を通じてショベル100の遠隔操作を行うオペレータ等は、ショベル100の周辺の報知範囲内に監視対象が進入したことを把握することができる。同様に、端末装置300(制御装置310)は、通信装置320によりショベル100から指令信号を受信すると、出力装置330を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。
【0136】
尚、安全制御部303Aの遠隔報知機能は、管理装置200や端末装置300に移管されてもよい。この場合、管理装置200は、ショベル100から物体検知部302による監視対象の検知状況に関する情報を受信し、受信した情報に基づき、報知範囲内への監視対象の進入の有無を判断し、報知範囲内に監視対象が存在する場合に、外部報知機能を作動させる。端末装置300の場合も同様であってよい。
【0137】
また、安全制御部303Aは、報知範囲内で検知されている監視対象と、ショベル100との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
【0138】
例えば、安全制御部303Aは、物体検知部302により報知範囲内で検知された監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に緊急度が低い警報(以下、「注意レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100から相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部303Aは、物体検知部302により報知範囲内で検知された監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報(以下、「警戒レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100からの距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。
【0139】
この場合、安全制御部303Aは、注意レベルの警報と警戒レベルの警報との間で、音出力装置54から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部303Aは、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像上に表示される監視対象が検知されていることを表す画像や、監視対象或いは監視対象の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ30は、音出力装置54から出力される報知音(警報音)や表示装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視対象のショベル100に対する接近度を把握させることができる。
【0140】
安全制御部303Aは、報知機能の作動開始後、物体検知部302により検知されていた監視対象が監視エリア内で検知されなくなった場合、或いは、入力装置52を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてよい。
【0141】
また、安全制御部303Aは、例えば、物体検知部302により監視エリアに含まれる所定範囲(以下、「動作制限範囲」)内で監視対象が検知される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。また、動作制限範囲には、操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速範囲、及び操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル100に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
【0142】
安全制御部303Aは、油圧制御弁31を制御することにより、ショベル100の動作を制限する動作制限機能を作動させる。この場合、安全制御部303Aは、全ての被駆動要素(即ち、対応する油圧アクチュエータ)の動作を制限してもよいし、一部の被駆動要素(油圧アクチュエータ)の動作を制限してもよい。これにより、コントローラ30は、ショベル100の周辺に監視対象が存在する場合に、ショベル100の動作を減速させたり、停止させたりすることができる。そのため、コントローラ30は、ショベル100の周辺の監視対象とショベル100との接触の発生を抑制することができる。また、安全制御部303Aは、電磁切換弁25Vを制御し、パイロットライン25を遮断することにより、動作制限機能(動作停止機能)を作動させてもよい。
【0143】
また、安全制御部303Aは、動作制限機能の作動開始後、物体検知部302により検知されていた監視対象が検知されなくなった場合、或いは、入力装置52を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、動作制限機能を停止させる。入力装置52に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同一であってもよいし、異なっていてもよい。
【0144】
また、安全制御部303Aは、入力装置52に対するオペレータ等による所定の操作に応じて、その機能がON(有効)/OFF(無効)の間で切り替えられてもよい。
【0145】
安全制御部303Bは、ショベル100の周辺における、撮像装置40から見るときの死角の範囲、及びオペレータから見て死角となる可能性のある範囲が重複する範囲での安全性の確保に関する制御を行う。具体的には、安全制御部303Bは、撮像装置40から見るときの死角の範囲、及びオペレータから見て死角となる可能性のある範囲が重複する範囲に向かって、下部走行体1が走行する場合、第2の安全機能を作動させる。同様に、安全制御部303Bは、撮像装置40から見るときの死角の範囲、及びオペレータから見て死角となる可能性のある範囲が重複する範囲に向かって、アタッチメントATが近づくように上部旋回体3が旋回する場合、第2の安全機能を作動させる。
【0146】
オペレータから見て死角となる可能性のある領域には、キャビン10のオペレータから見て死角となる可能性がある領域と、遠隔操作のオペレータから見て死角となる可能性がある領域、即ち、前方カメラ42から見るときの死角領域の双方が含まれてよい。
【0147】
図2に示すように、撮像装置40(カメラ40B,40L,40R)の撮像範囲(画角)は、図中の二点鎖線で表され、上部旋回体3の前方は、撮像装置40の死角領域に相当する。
【0148】
また、アタッチメントAT(ブーム4、アーム5、及びバケット6)の姿勢状態によっては、キャビン10のオペレータから見て、上部旋回体3の右前方領域BSが死角になる可能性がある。同様に、前方カメラ42の撮像画像の中でも映り込んだアタッチメントATが遮って、上部旋回体3の右前方領域BSが死角になる可能性がある。特に、ブーム4が相対的に下がっている場合やアーム5が相対的に閉じられている場合に、アタッチメントATがオペレータの視界や前方カメラ42の前を遮って、上部旋回体3の右前方領域BSが死角になる可能性が高い。
【0149】
例えば、
図2に示すように、作業者W1が存在する上部旋回体3の右方は、カメラ40Rの撮像範囲に含まれる。そのため、オペレータは、表示装置50に表示される監視画像や、物体検知部302により作業者W1が検知されることによる第1の安全機能の作動によって、作業者W1の存在を確認することができる。よって、仮に、上部旋回体3の向きと、下部走行体1の進行可能な方向の向きとが相対的に大きく乖離している場合(図中の一点鎖線)であっても、オペレータは、作業者W1の存在を確認し、その方向(図中の一点鎖線の白抜き矢印)に走行操作を行う可能性は非常に低い。同様に、オペレータは、作業者W1が存在する右方向に上部旋回体3の旋回操作を行う可能性は非常に低い。
【0150】
一方、上述の如く、上部旋回体3の右前方領域BSはオペレータの死角になる可能性があることから、オペレータは、上部旋回体3の右前方の作業者W2を確認できない可能性がある。そのため、上部旋回体3の向きと、下部走行体1の進行可能な方向との差が相対的に小さい場合、オペレータが作業者W2に気づかずに、作業者W2に向かうように走行操作を行い、その結果、ショベル100が作業者W2に接近してしまう可能性がある。同様に、オペレータは、作業者W2が存在する右方向に上部旋回体3の旋回操作を行い、その結果、アタッチメントATが作業者W2に接近してしまう可能性がある。
【0151】
これに対して、安全制御部303Bは、このような状況で、第2の安全機能を作動させることができる。
【0152】
例えば、第2の安全機能には、キャビン10の内部、及びショベル100の遠隔のオペレータや管理者等の少なくとも一方に対して、上部旋回体3の右前方領域BSに対する注意を促す通知等を出力する注意喚起機能が含まれてよい。これにより、キャビン10の内部のオペレータ、ショベル100の遠隔操作を行うオペレータ等に対して、ショベル100の周囲における死角になる可能性がある範囲(右前方領域BS)のへの注意を促すことができる。そのため、コントローラ30は、オペレータに、ショベル100が死角(右前方領域BS)に向かうような走行操作やアタッチメントATが死角(右前方領域BS)に向かうような旋回操作を中止(解除)させることができる。
【0153】
キャビン10の内部のオペレータに対する注意喚起機能は、例えば、上述の内部報知機能の場合と同様、音出力装置54を通じて実行されてよい。また、キャビン10の内部のオペレータに対する注意喚起機能は、例えば、上述の内部報知機能の場合と同様、表示装置50を通じて実行されてもよい。また、ショベル100の遠隔操作を行うオペレータへの注意喚起は、上述の遠隔報知機能の場合と同様、通信装置70を通じて、注意喚起機能の作動を示す指令信号が管理装置200や端末装置300に送信されることにより実現されてよい。
【0154】
また、例えば、第2の安全機能には、上述の第1の安全機能の場合と同様、例えば、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル100の走行動作や旋回動作を制限する動作制限機能が含まれてもよい。これにより、ショベル100の動作を強制的に制限(減速或いは停止)し、オペレータから死角になる可能性がある、上部旋回体3の右前方領域BSの物体(作業者W2)とショベル100の機体やアタッチメントATとの接近や接触等の可能性を低減させることができる。
【0155】
[第2の安全機能に関する制御処理]
次に、
図6、
図7を参照し、コントローラ30による第2の安全機能に関する制御処理について説明する。
【0156】
<制御処理の第1例>
図6は、コントローラ30による制御処理の第1例を概略的に示すフローチャートである。本フローチャートは、例えば、ショベル100の起動時の初期処理完了後からショベル100の停止時の終了処理の開始前までの範囲で繰り返し実行される。また、本フローチャートの処理は、例えば、物体検知部302の機能、及び安全制御部303Aの機能(第1の安全機能)の双方が有効な場合に限定して、実施されてもよい。以下、後述の
図7のフローチャートについても同様であってよい。
【0157】
尚、本フローチャートで使用される機能作動フラグF11は、下部走行体1の走行動作に関する第2の安全機能(注意喚起機能や下部走行体1の走行動作の動作制限機能)の作動の有無を表す。また、本フローチャートで使用される走行許可フラグF12は、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲に向かう走行動作の許可の有無を表す。機能作動フラグF11及び走行許可フラグF12は、それぞれ、ショベル100の起動時に初期状態として"OFF"に設定される。
【0158】
図6に示すように、ステップS102にて、安全制御部303Bは、操作情報出力装置29の出力に基づき、下部走行体1の走行操作が行われたか否かを判定する。安全制御部303Bは、下部走行体1の走行操作が行われている場合、ステップS103に進み、行われていない場合、ステップS114に進む。
【0159】
ステップS103にて、安全制御部303Bは、走行許可フラグF12が"ON"に設定されているか否かを判定する。安全制御部303Bは、走行許可フラグF12が"ON"に設定されていない場合、ステップS104に進み、走行許可フラグF12が"ON"に設定されている場合、下部走行体1の走行を許可し、ステップS122に進む。
【0160】
ステップS104にて、安全制御部303Bは、走行操作の方向が、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲に向かう方向であるか否かを判定する。具体的には、安全制御部303Bは、走行操作の方向が、上部旋回体3の右前方領域BSに向かう方向であるか否かを判定する。より具体的には、安全制御部303Bは、旋回角度センサ46の出力に基づき、下部走行体1を基準とする上部旋回体3の向きを把握することにより、走行操作の方向が、上部旋回体3の右前方領域BSに向かう方向であるか否かを判定してよい。安全制御部303Bは、走行操作の方向が、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲に向かう方向でない場合、ステップS106に進み、オペレータから見た死角になる可能性がある範囲との重複する範囲に向かう方向である場合、ステップS108に進む。
【0161】
尚、ステップS104でYESの場合、更に、安全制御部303Bは、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲が、実際にオペレータの死角になっているか否かを判定してもよい。具体的には、安全制御部303Aは、姿勢センサ44の出力に基づき、アタッチメントATの姿勢状態を把握することにより、実際にオペレータの死角になっているか否かを判定してよい。より具体的には、安全制御部303Bは、ブーム4の姿勢角度やアーム5の姿勢角度が、それぞれ、オペレータの視界を遮ると想定される所定の範囲に含まれているか否かにより、実際にオペレータの死角になっているか否かを判定してよい。オペレータの視界を遮ると想定される、ブーム4の姿勢角度やアーム5の姿勢角度の所定の範囲に関するデータは、例えば、コントローラ30の補助記憶装置に格納されていてよい。このデータは、例えば、通信装置70等を通じて、外部(例えば、管理装置200)から取得されてもよいし、工場出荷時に予め登録されてもよい。そして、安全制御部303Bは、実際にはオペレータの死角になっていない場合、ステップS106に進み、実際にオペレータの死角になっている場合、ステップS108に進んでよい。
【0162】
ステップS106にて、安全制御部303Bは、機能作動フラグF11を"OFF"に設定する。これにより、安全制御部303Bは、下部走行体1の走行動作に関する第2の安全機能が作動している場合、第2の安全機能を作動停止させる。
【0163】
コントローラ30は、ステップS106の処理が完了すると、今回のフローチャートの処理を終了する。
【0164】
一方、ステップS108にて、安全制御部303Bは、機能作動フラグF11をONに設定する。これにより、安全制御部303Bは、下部走行体1の走行動作に関する第2の安全機能が作動していない場合、下部走行体1の走行動作に関する第2の安全機能を作動させる。
【0165】
例えば、安全制御部303Bは、オペレータに対して、上部旋回体3の右前方への注意を促す注意喚起機能を作動させる。また、例えば、安全制御部303Bは、下部走行体1の走行動作の動作制限機能を作動させる。また、安全制御部303Bは、注意喚起機能及び下部走行体1の走行動作の動作制限機能の双方を作動させてもよい。
【0166】
尚、物体検知部302の機能、及び上述の安全制御部303Aの機能(第1の安全機能)の少なくとも一方がOFF(無効)にされている場合、下部走行体1の走行動作の動作制限機能が作動されないようにしてもよい。また、注意喚起機能及び下部走行体1の走行動作の動作制限機能のうちの後者だけを作動させる場合、表示装置50、音出力装置54、通信装置70等を通じて、下部走行体1の走行動作が制限されることやその理由等がオペレータに通知されてよい。
【0167】
コントローラ30は、ステップS108の処理が完了すると、今回のフローチャートの処理を終了する。
【0168】
一方、ステップS114にて、安全制御部303Bは、機能作動フラグF11が"ON"に設定されているか否か、即ち、下部走行体1の走行動作に関する第2の安全機能(注意喚起機能や動作制限機能)が作動中であるか否かを判定する。安全制御部303Bは、機能作動フラグF11が"ON"に設定されている場合、ステップS116に進み、それ以外の場合、今回のフローチャートの処理を終了する。
【0169】
ステップS116にて、安全制御部303Bは、走行操作が解除された状態(例えば、走行操作のためのレバー操作が中立位置の状態)で一定時間が経過したか否かを判定する。安全制御部303Bは、走行操作が解除された状態で一定時間が経過している場合、ステップS118に進み、それ以外の場合、今回のフローチャートを終了する。
【0170】
ステップS118にて、安全制御部303Bは、機能作動フラグF11を"OFF"に設定する。これにより、安全制御部303Bは、作動中の第2の安全機能を解除する。そのため、オペレータは、下部走行体1の走行操作を解除すると共に、上部旋回体3の右前方を十分に確認し問題ないことを確認することによって、注意喚起機能や動作制限機能を解除させることができる。
【0171】
コントローラ30は、ステップS118の処理が完了すると、ステップS120に進む。
【0172】
ステップS120にて、安全制御部303Bは、走行許可フラグF12を"ON"に設定する。これにより、オペレータは、下部走行体1の走行操作を解除すると共に、上部旋回体3の右前方を十分に確認し問題ないことを確認することによって、次回のステップS103の処理に応じて、下部走行体1を走行させることができる。
【0173】
一方、ステップS122にて、安全制御部303Bは、走行操作が継続中か否かを判定する。安全制御部303Bは、走行操作が継続中である場合、本ステップの処理を繰り返し、走行操作が継続中でない、即ち、解除された場合、ステップS124に進む。
【0174】
ステップS124にて、安全制御部303Bは、走行許可フラグF12を"OFF"に設定する。これにより、次回の走行操作時には、再度、ステップS104以降の処理が実行されることから、ショベル100の安全性を確保することができる。
【0175】
安全制御部303Bは、ステップS124の処理が完了すると、今回のフローチャートの処理を終了する。
【0176】
このように、本例では、安全制御部303Bは、走行操作の方向が、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲に向かう方向である場合、注意喚起機能や走行動作の動作制限機能を作動させる。
【0177】
これにより、ショベル100の安全性を向上させることができる。
【0178】
<制御処理の第2例>
図7は、コントローラ30による制御処理の第2例を概略的に示すフローチャートである。
【0179】
尚、本フローチャートで使用される機能作動フラグF21は、上部旋回体3の旋回動作に関する第2の安全機能(注意喚起機能や上部旋回体3の旋回動作の動作制限機能)の作動の有無を表す。また、本フローチャートで使用される旋回許可フラグF22は、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲にアタッチメントATが向かう旋回動作の許可の有無を表す。機能作動フラグF21及び旋回許可フラグF22は、それぞれ、ショベル100の起動時に初期値として"OFF"に設定される。
【0180】
ステップS202にて、安全制御部303Bは、上部旋回体3の旋回操作が行われているか否かを判定する。安全制御部303Bは、上部旋回体3の旋回操作が行われている場合、ステップS203に進み、行われていない場合、ステップS214に進む。
【0181】
ステップS203にて、安全制御部303Bは、旋回許可フラグF22が"ON"に設定されているか否かを判定する。安全制御部303Bは、旋回許可フラグF22が"ON"に設定されていない場合、ステップS204に進み、旋回許可フラグF22が"ON"に設定されている場合、上部旋回体3の旋回動作を許可し、ステップS222に進む。
【0182】
ステップS204にて、安全制御部303Bは、旋回操作の方向が、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲にアタッチメントATが向かう方向であるか否かを判定する。具体的には、安全制御部303Bは、旋回操作の方向が、上部旋回体3の右前方領域BSにアタッチメントATが向かう方向、即ち、右方向であるか否かを判定する。安全制御部303Bは、旋回方向が右方向でない場合、ステップS206に進み、旋回方向が右方向である場合、ステップS208に進む。
【0183】
尚、上述の第1例(
図6)の場合と同様、ステップS204でYESの場合、更に、安全制御部303Bは、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲が、実際にオペレータの死角になっているか否かを判定してもよい。そして、安全制御部303Bは、実際にはオペレータの死角になっていない場合、ステップS206に進み、実際にオペレータの死角になっている場合、ステップS208に進んでよい。
【0184】
ステップS206にて、安全制御部303Bは、機能作動フラグF21を"OFF"に設定する。これにより、安全制御部303Bは、上部旋回体3の旋回動作に関する第2の安全機能が作動している場合、第2の安全機能を作動停止させる。
【0185】
コントローラ30は、ステップS206の処理が完了すると、今回のフローチャートの処理を終了する。
【0186】
一方、ステップS208にて、安全制御部303Bは、機能作動フラグF21を"ON"に設定する。これにより、安全制御部303Bは、下部走行体1の走行動作に関する第2の安全機能が作動していない場合、下部走行体1の走行動作に関する第2の安全機能を作動させる。
【0187】
例えば、安全制御部303Bは、オペレータに対して、上部旋回体3の右前方への注意を促す注意喚起機能を作動させる。また、例えば、安全制御部303Bは、上部旋回体3の旋回動作の動作制限機能を作動させる。また、安全制御部303Bは、注意喚起機能及び上部旋回体3の旋回動作の動作制限機能の双方を作動させてもよい。
【0188】
尚、上述の第1例の場合と同様、物体検知部302の機能、及び上述の安全制御部303Aの機能(第1の安全機能)の少なくとも一方がOFF(無効)にされている場合、上部旋回体3の旋回動作の動作制限機能が作動されないようにしてもよい。また、上述の第1例の場合と同様、注意喚起機能及び上部旋回体3の旋回動作の動作制限機能のうちの後者だけを作動させる場合、表示装置50、音出力装置54、通信装置70等を通じて、上部旋回体3の旋回動作が制限されることやその理由等がオペレータに通知されてよい。
【0189】
コントローラ30は、ステップS208の処理が完了すると、今回のフローチャートの処理を終了する。
【0190】
一方、ステップS214にて、安全制御部303Bは、機能作動フラグF21が"ON"に設定されているか否か、即ち、上部旋回体3の旋回動作に関する第2の安全機能(注意喚起機能や動作制限機能)が作動中であるか否かを判定する。安全制御部303Bは、機能作動フラグF21が"ON"に設定されている場合、ステップS216に進み、それ以外の場合、今回のフローチャートの処理を終了する。
【0191】
ステップS216にて、安全制御部303Bは、旋回操作が解除された状態(例えば、旋回操作のためのレバー操作が中立位置の状態)で一定時間が経過したか否かを判定する。安全制御部303Bは、旋回操作が解除された状態で一定時間が経過している場合、ステップS218に進み、それ以外の場合、今回のフローチャートを終了する。
【0192】
ステップS218にて、安全制御部303Bは、機能作動フラグF21を"OFF"に設定する。これにより、安全制御部303Bは、作動中の第2の安全機能を解除する。そのため、オペレータは、上部旋回体3の旋回操作を解除すると共に、上部旋回体3の右前方を十分に確認し問題ないことを確認することによって、注意喚起機能や動作制限機能を解除させることができる。
【0193】
コントローラ30は、ステップS218の処理が完了すると、ステップS220に進む。
【0194】
ステップS220にて、安全制御部303Bは、旋回許可フラグF22を"ON"に設定する。これにより、オペレータは、上部旋回体3の旋回操作を解除すると共に、上部旋回体3の右前方を十分に確認し問題ないことを確認することによって、次回のステップS203の処理に応じて、上部旋回体3を旋回させることができる。
【0195】
一方、ステップS222にて、安全制御部303Bは、上部旋回体3の旋回操作が継続中か否かを判定する。安全制御部303Bは、旋回操作が継続中である場合、本ステップの処理を繰り返し、旋回操作が継続中でない、即ち、解除された場合、ステップS224に進む。
【0196】
ステップS224にて、安全制御部303Bは、旋回許可フラグF22を"OFF"に設定する。これにより、次回の旋回操作時には、再度、ステップS204以降の処理が実行されることから、ショベル100の安全性を確保することができる。
【0197】
安全制御部303Bは、ステップS224の処理が完了すると、今回のフローチャートの処理を終了する。
【0198】
このように、本例では、安全制御部303Bは、旋回操作の方向が、撮像装置40から見るときの死角の範囲と、オペレータから見た死角になる可能性がある範囲との重複する範囲にアタッチメントATが向かう方向である場合、注意喚起機能や旋回動作の動作制限機能を作動させる。
【0199】
これにより、ショベル100の安全性を向上させることができる。
【0200】
[作用]
次に、本実施形態に係るショベル100の作用について説明する。
【0201】
本実施形態では、撮像装置40や距離センサは、上部旋回体3に搭載され、ショベル100の周辺の状況に関するデータを取得可能に構成される。また、表示装置50や音出力装置54は、撮像装置40や距離センサの出力に基づき、ショベル100の周辺の状況を確認可能な情報(例えば、監視画像やショベル100の周辺の監視物体の検知を表す情報)を提供する。そして、表示装置50や音出力装置54や通信装置70は、コントローラ30の制御下で、ショベル100の周辺における情報を提供可能な範囲(例えば、撮像装置40の撮像範囲や物体検知部302の物体検知可能な範囲)の外におけるオペレータの死角になる可能性がある所定範囲(例えば、上部旋回体3の右前方領域BS)に向かって、下部走行体1が走行する、或いは、アタッチメントATが近づくように上部旋回体3が旋回する場合に、オペレータに上述の所定範囲に対する注意を促すための通知を行う。
【0202】
これにより、ショベル100は、オペレータの死角になる可能性がある所定範囲に向かうような走行操作やアタッチメントATが近づくような旋回操作を解除(中止)させることができる。そのため、オペレータが所定範囲に人などが存在することを確認できない場合であっても、人等にショベルが接近したり接触したりするような事態の発生を抑制することができる。よって、ショベル100は、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0203】
また、本実施形態では、表示装置50や音出力装置54や通信装置70は、コントローラ30の制御下で、アタッチメントATの姿勢状態が、オペレータから見て、上述の所定範囲が死角になるような状態にあり、且つ、所定範囲に向かって、下部走行体1が走行する、或いは、アタッチメントATが近づくように上部旋回体3が旋回する場合に、オペレータに上述の所定範囲に対する注意を促すための通知を行ってよい。
【0204】
これにより、ショベル100は、上述の所定範囲が実際にアタッチメントATによって遮られて死角になっている状態に限定して、オペレータへの注意を促すことができる。そのため、ショベル100は、通知がされることによるオペレータの煩わしさを抑制しつつ、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0205】
また、本実施形態では、表示装置50や音出力装置54や通信装置70は、コントローラ30の制御下で、上述の所定範囲に向かって、下部走行体1の走行操作、或いは、アタッチメントATが近づくような上部旋回体3の旋回操作が開始される場合に、オペレータに上述の所定範囲に対する注意を促すための通知を行ってよい。
【0206】
これにより、ショベル100は、オペレータに上述の所定範囲に対する注意を促すための通知の機会を、下部走行体1の走行操作や上部旋回体3の旋回操作が開始された場合に限定することができる。そのため、ショベル100は、例えば、一度、下部走行体1の走行動作や上部旋回体3の旋回動作が許可されると、オペレータに注意を促すための通知を行うことなく、下部走行体1の走行動作や上部旋回体3の旋回動作を継続させることができる。よって、ショベル100は、通知がされることによるオペレータの煩わしさを抑制しつつ、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0207】
本実施形態では、ショベル100(コントローラ30)は、表示装置50や音出力装置54や通信装置70がオペレータに上述の所定範囲に対する注意を促すための通知を行うのと併せて、下部走行体1或いは上部旋回体3の動作を制限してよい。
【0208】
これにより、ショベル100の下部走行体1の走行動作や上部旋回体3の旋回動作を強制的に減速させたり、停止させたりすることができる。そのため、ショベル100の安全性をより向上させることができる。
【0209】
また、本実施形態では、ショベル100(コントローラ30)は、下部走行体1或いは上部旋回体3の操作が解除されると、表示装置50等による注意を促す通知、及び下部走行体1或いは上部旋回体3の動作の制限を解除してよい。
【0210】
これにより、ショベル100は、オペレータの下部走行体1や上部旋回体3の操作の解除によって、オペレータによる上述の所定範囲を確認する意思を判断し、オペレータに注意を促す通知や下部走行体1或いは上部旋回体3の動作制限を解除することができる。そのため、ショベル100は、オペレータの利便性やショベルの作業効率の低下を抑制しつつ、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0211】
また、ショベル100(コントローラ30)は、下部走行体1或いは上部旋回体3の操作が解除されてから所定時間以上経過した後に、上述の所定範囲に向かうように、下部走行体1或いは上部旋回体3の操作が行われる場合、下部走行体1或いは上部旋回体3の動作を許可してよい。
【0212】
これにより、ショベル100は、操作の解除から所定時間が経過したことをもって、おペレーによる上述の所定範囲の確認の完了を判断し、下部走行体1や上部旋回体3の動作を許可することができる。そのため、ショベル100は、オペレータの利便性やショベルの作業効率の低下を抑制しつつ、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0213】
また、本実施形態では、ショベル100(コントローラ30)は、物体検知部302の機能或いは安全制御部303Aの機能が無効にされている場合、安全制御部303Bの機能(オペレータに所定範囲に対する注意を促すための通知を行う機能)を無効にしてよい。
【0214】
これにより、ショベル100(コントローラ30)は、オペレータが入力装置52を通じて物体検知部302の機能や安全制御部303Aの機能を無効にしている状況に合わせて、安全制御部303Bの機能も自動で無効にすることができる。そのため、ショベル100は、オペレータの利便性を向上させることができる。
【0215】
また、ショベル100(コントローラ30)は、物体検知部302の機能或いは安全制御部303Aの機能が無効にされている場合、安全制御部303Bの機能のうちのオペレータに上述の所定範囲に対する注意を促すための通知を行う機能を作動させる一方、下部走行体1或いは上部旋回体3の動作を制限する機能を作動させなくてもよい。
【0216】
これにより、ショベル100(コントローラ30)は、オペレータが入力装置52を通じて物体検知部302の機能や安全制御部303Aの機能を無効にしている状況に合わせて、安全制御部303Bの機能のうちの動作制限機能を無効にする一方、注意喚起機能を継続させることができる。そのため、ショベル100は、オペレータの利便性を考慮しつつ、自機の周辺における撮像装置40や距離センサ等からの死角とオペレータからの死角とが重複する範囲での安全性を確保することができる。
【0217】
[変形・変更]
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【0218】
例えば、上述した実施形態に係る第1の安全機能や第2の安全機能は、ショベル100以外の任意の作業機械に採用されてよい。例えば、第1の安全機能や第2の安全機能は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
【符号の説明】
【0219】
1 下部走行体
1C,1CL,1CR クローラ
3 上部旋回体
4 ブーム
5 アーム
6 バケット
10 キャビン
30 コントローラ
31 油圧制御弁
40 撮像装置(取得装置)
40B,40L,40R カメラ
42 前方カメラ
44 姿勢センサ(測定装置)
46 旋回角度センサ
50 表示装置(情報提供装置、通知装置)
52 入力装置
54 音出力装置(通知装置)
70 通信装置
100 ショベル
200 管理装置
210 制御装置
220 通信装置
230 出力装置
240 入力装置
300 端末装置
301 表示処理部
302 物体検知部
303 安全制御部
303A 安全制御部
303B 安全制御部
310 制御装置
320 通信装置
330 出力装置
340 入力装置
1000 ショベル管理システム