(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007069
(43)【公開日】2025-01-17
(54)【発明の名称】ショベル、及び、ショベルの表示装置
(51)【国際特許分類】
E02F 9/20 20060101AFI20250109BHJP
【FI】
E02F9/20 M
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023108229
(22)【出願日】2023-06-30
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】佐野 裕介
(72)【発明者】
【氏名】平手 奨二
【テーマコード(参考)】
2D003
【Fターム(参考)】
2D003AA01
2D003AB02
2D003AB03
2D003AB04
2D003AC09
2D003BA03
2D003BB05
2D003DA04
2D003DB04
2D003FA02
(57)【要約】
【課題】コストを削減する。
【解決手段】実施形態の一態様に係るショベルは、当該ショベル近傍を含んだ領域を測定対象とした空間認識装置によって得られた物体の形状を示した情報を受信する通信装置と、受信した前記情報で示された前記物体の形状に基づいて、前記ショベルの動作を自律制御するように構成されている制御部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
当該ショベル近傍を含んだ領域を測定対象とした空間認識装置によって得られた物体の形状を示した情報を受信する通信装置と、
受信した前記情報で示された前記物体の形状に基づいて、前記ショベルの動作を自律制御するように構成されている制御部と、
を備えるショベル。
【請求項2】
前記通信装置は、情報処理装置又は他のショベルから、前記情報を受信する、
請求項1に記載のショベル。
【請求項3】
第1の座標系における前記ショベルの位置情報を計測する測位装置を、さらに備え、
前記通信装置は、前記第1の座標系で示された前記物体の形状を示した前記情報を受信し、
前記制御部は、前記第1の座標系で示された前記物体の形状を、前記測位装置により測定された前記位置情報に基づいて、前記ショベルが自律制御に用いる第2の座標系に変換し、当該第2の座標系における前記物体の形状に基づいて、自律制御するように構成されている、
請求項1に記載のショベル。
【請求項4】
前記ショベルの周囲を撮像可能な撮像装置をさらに備え、
前記制御部は、前記撮像装置で撮像された画像情報と、前記物体の形状と、に基づいて、前記自律制御するように構成されている、
請求項1に記載のショベル。
【請求項5】
アタッチメントをさらに備え、
前記制御部は、前記アタッチメントの先端部の位置に基づいて得られた物体の形状と、受信した前記情報で示された前記物体の形状と、に基づいて、前記自律制御するように構成されている、
請求項1に記載のショベル。
【請求項6】
前記通信装置は、前記アタッチメントの先端部の位置に基づいて得られた前記物体の形状を示した情報を、他のショベルに送信する、
請求項5に記載のショベル。
【請求項7】
前記アタッチメントを用いて掘削を行った時に前記先端部の位置に基づいて得られた前記物体の形状と、他のショベルから受信した前記情報で示された前記物体の形状と、を合成し、合成した情報に基づいて、前記自律制御するように構成されている、
請求項5に記載のショベル。
【請求項8】
他のショベル近傍を含んだ領域を測定対象とした空間認識装置と、
前記空間認識装置によって得られた物体の形状を示した情報を、前記他のショベルに送信する通信装置と、
を備えるショベル。
【請求項9】
第1のショベルの周囲を撮像可能な撮像装置で撮像された画像情報を当該第1のショベルから受信し、当該第1のショベル近傍を含んだ領域を測定対象とした空間認識装置によって得られた物体の形状を示した情報を第2のショベルから受信する通信装置と、
前記画像情報に基づいた第1の表示情報と、前記情報で示された前記物体の形状を表した第2の表示情報と、を表示するように構成されている制御部と、
を備えるショベルの表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ショベル、及び、ショベルの表示装置に関する。
【背景技術】
【0002】
近年、ショベルとして作業現場で行われる作業を自律制御する技術が提案されている。自律制御するためには、作業対象の地形を把握する必要がある。このため、ショベルには、LIDAR(Light Detection And Ranging)などの地形センサを搭載する技術が提案されている(特許文献1参照)。ショベルは、地形センサで計測することで掘削位置の地形を認識できる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、作業現場においては、複数のショベルが作業を行うことがある。特許文献1に記載された技術では、ショベルの各々に地形センサを搭載しているので、複数のショベルで作業させるとコストが上昇するとともに、複数のショベルが同じ物体の形状を計測するという重複処理が生じている可能性もある。
【0005】
上述に鑑み、ショベルが、他の機器から受信した物体の形状に基づいて自律制御することで、処理負担を軽減すると共に、コストの削減を実現する。
【課題を解決するための手段】
【0006】
本発明の一態様に係るショベルは、当該ショベル近傍を含んだ領域を測定対象とした空間認識装置によって得られた物体の形状を示した情報を受信する通信装置と、受信した前記情報で示された前記物体の形状に基づいて、前記ショベルの動作を自律制御するように構成されている制御部と、を備える。
【発明の効果】
【0007】
本発明の一態様によれば、ショベルに空間認識装置を設けずとも、ショベルの周辺の物体の形状を認識できるので、コストの削減を実現する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1の実施形態に係る自律制御システムの一例を示す図である。
【
図2】
図2は、第1の実施形態に係るショベルの上面図である。
【
図3】
図3は、第1の実施形態に係るショベルの上面図である。
【
図4】
図4は、第1の実施形態に係るショベルの駆動制御系の構成例を示す図である。
【
図5】
図5は、第1の実施形態に係るショベルのショベルコントローラ内の機能ブロックを例示した図である。
【
図6】
図6は、第1の実施形態に係る2台のショベルが自律制御を行っている状況を示した概念図である。
【
図7】
図7は、第1の実施形態に係る2台のショベルの各々で行われる自律制御を示したシーケンス図である。
【
図8】
図8は、第1の実施形態の変形例1に係る2台のショベルの各々で行われる自律制御を示したシーケンス図である。
【
図9】
図9は、第1の実施形態の変形例2に係る2台のショベルの各々で行われる自律制御を示したシーケンス図である。
【
図10】
図10は、第2の実施形態に係る自律制御システムの一例を示す図である。
【
図11】
図11は、第3の実施形態に係る遠隔操作システムの一例を示す概要図である。
【
図12】
図12は、第3の実施形態に係る2台のショベル、及び遠隔操作室の各々で行われる制御を示したシーケンス図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る自律制御システムSYSの一例を示す図である。
図1では、ショベル100の左側面図が示される。
【0011】
図1に示すように、自律制御システムSYSは、互いに比較的近い場所で作業を行う複数のショベル100(作業機械の一例)を含む。
【0012】
図1に示す例では、自律制御システムSYSは、同じ作業現場WSで作業を行う、2台のショベル100(100A、100B)を含む。また、自律制御システムSYSは、2台のショベル100に制限するものではなく、3台以上のショベル100を含んでもよい。
【0013】
複数のショベル100の各々は、作業現場WSにおいて自律制御によって作業を行うように構成されている。作業現場WSで自律制御している全てのショベル100に空間認識装置を備えるとコストが高くなる。
【0014】
そこで、自律制御システムSYSでは、ショベル100Bは、他のショベル100Aに搭載される空間認識装置S7(
図2参照)の測定情報に基づいた情報を取得する。これにより、ショベル100Bは、他のショベル100Aから受信した情報に基づいて物体形状を認識できる。
【0015】
測定情報に基づいた情報で表される物体形状とは、ショベル100B近傍、換言すればショベル100Bの作業領域に存在する物体の形状を含み、例えば、ショベル100B周辺の土砂形状、ショベル100Bのバケット6に積載する対象となる物体の形状、ショベル100Bの周囲に存在する障害物の形状、又は、ショベル100Bが走行する路面の形状等が含まれる。
【0016】
本実施形態においては、ショベル100間の情報の送受信は、直接行われる例とする。ショベル100間は、無線通信回線によって接続されてもよいし、作業現場WSの中の局所的な通信回線を通じて接続されてもよい。
【0017】
本実施形態に係るショベル100Aに搭載される空間認識装置S7は、ショベル100Aを基準とした所定の範囲(例えば半径30m)内に存在する物体形状を検出可能とする。さらに、ショベル100Aは周辺の物体に関するデータを取得するために撮像装置が設けられている。空間認識装置S7が検出可能な範囲には、少なくともショベル100Bの作業領域が含まれるようにする必要がある。このため、空間認識装置S7の検出可能な範囲に応じて、ショベル100Bの作業範囲を予め定める。
【0018】
図2は、本実施形態に係るショベル100Aの上面図である。
図2に示されるように、ショベル100Aには、4個の空間認識装置S7が設けられているとともに、4個の撮像装置S6が設けられている。
【0019】
空間認識装置S7は、ショベル100Aの周囲の空間の形状を認識するように構成されている。空間認識装置S7は、ショベル100Aの後方の空間の検知を行う後方空間認識装置S7B、ショベル100Aの左方の空間の検知を行う左方空間認識装置S7L、ショベル100Aの右方の空間の検知を行う右方空間認識装置S7R、及びショベル100Aの前方の空間の検知を行う前方空間認識装置S7Fを含む。
【0020】
空間認識装置S7は、ショベル100Aの周辺に存在する物体を検出するためにLIDARを用いてもよい。LIDARは、例えば、監視範囲内にある100万点以上の点とLIDARとの間の距離を測定する。なお、本実施形態は、LIDARを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、距離画像カメラ、又はミリ波レーダなどの測距装置を用いてもよい。空間認識装置S7としてミリ波レーダ等が利用される場合には、空間認識装置S7から多数の信号(レーザ光等)を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。
【0021】
後方空間認識装置S7Bは、上部旋回体3の上面の後端に取り付けられる。左方空間認識装置S7Lは、上部旋回体3の上面の左端に取り付けられる。右方空間認識装置S7Rは、上部旋回体3の上面の右端に取り付けられる。前方空間認識装置S7Fは、キャビン10の上面の前端に取り付けられる。また、ショベル100Aに設けられる空間認識装置の数は、4個に制限するものではなく、3個以下でもよいし、5個以上でもよい。空間認識装置S7は、さらにアーム5の上方側面に取り付けられてもよい。
【0022】
空間認識装置S7は、ショベル100Aの周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。例えば、空間認識装置S7は、人と人以外の物体とを区別しながら人を検知できるように構成された人検知機能を有していてもよい。
【0023】
撮像装置S6はショベル100Aの周辺の画像を取得するように構成されている。本実施形態では、撮像装置S6は、ショベル100Aの前方の空間を撮像する前カメラS6F、ショベル100Aの左方の空間を撮像する左カメラS6L、ショベル100Aの右方の空間を撮像する右カメラS6R、及びショベル100Aの後方の空間を撮像する後カメラS6Bを含む。
【0024】
撮像装置S6は、例えば、CCDやCMOS等の撮像素子を有する単眼カメラであり、撮像した画像を(図示しない)表示装置に出力してもよい。
【0025】
前カメラS6Fは、例えば、キャビン10の屋根に取り付けられている。左カメラS6Lは、上部旋回体3の上面左端に取り付けられている。右カメラS6Rは、上部旋回体3の上面右端に取り付けられている。後カメラS6Bは、上部旋回体3の上面後端に取り付けられている。
【0026】
本実施形態は、撮像装置S6を上述した配置に設けることで、ショベル100Aの周辺に存在する物体を撮像できる。
【0027】
ショベル100Bは、ショベル100Aにより測定された物体形状に基づいて、ショベル100Bの周囲の空間の物体形状を認識する。このため、ショベル100Bには、空間認識装置S7が設けられていない。
【0028】
図3は、本実施形態に係るショベル100Bの上面図である。
図2に示されるように、ショベル100Bには、4個の撮像装置S6が設けられている。ショベル100Bに設けられた4個の撮像装置S6は、ショベル100Aに設けられたものと同様として、説明を省略する。
【0029】
つまり、本実施形態では、自律制御システムSYSに含まれる複数のショベル100のうちの少なくとも1台のショベル100Aは、空間認識装置S7を搭載している。そして、空間認識装置S7を有するショベル100Aは、その周辺に位置する他のショベル100Bに、物体形状を示す情報を提供する。
【0030】
なお、自律制御システムSYSは、ショベル100に加えて、他の作業機械を含んでもよい。例えば、自律制御システムSYSは、移動式クレーンなどの作業機械を含んでいてもよい。また、自律制御システムSYSにおいて、複数の作業機械の一部は、作業現場WSに定置される空間認識装置、作業現場WSに存在する作業車両、又は、ドローン(何れも所定の機器の一例)等に置換されてもよい。これにより、ショベル100は、作業現場WSに定置されている空間認識装置、作業現場WSの作業車両、又は、ドローン等に搭載される空間認識装置の測定情報を取得し、その測定情報に基づき、ショベル100の周辺の地形を認識できる。
【0031】
図1に示すように、ショベル100(100A、100B)は、下部走行体1と、上部旋回体3と、ブーム4、アーム5、及び、バケット6を含むアタッチメントATと、キャビン10とを備える。
【0032】
図2、
図3に示されるように、下部走行体1は、例えば、左側のクローラ1CL及び右側のクローラ1CRを含み、クローラ1CL,1CRがそれぞれに対応する走行油圧モータ1L、1Rで油圧駆動されることにより、自走する。
【0033】
上部旋回体3は、旋回機構2を介して下部走行体1に旋回可能に搭載される。例えば、上部旋回体3は、旋回油圧モータ2A(
図4参照)で旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
【0034】
ブーム4は、左右方向の回転軸を中心として俯仰可能なように、上部旋回体3の前部中央に取り付けられる。アーム5は、左右方向の回転軸を中心として回転可能なように、ブーム4の先端に取り付けられる。バケット6は、左右方向の回転軸を中心として回転可能なように、アーム5の先端に取り付けられる。
【0035】
バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
【0036】
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0037】
ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケット6にはバケット角度センサS3が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
【0038】
ブーム角度センサS1はブーム4の回動角度を検出する。本実施形態では、ブーム角度センサS1は加速度センサであり、上部旋回体3に対するブーム4の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム4を最も下げたときに最小角度となり、ブーム4を上げるにつれて大きくなる。
【0039】
アーム角度センサS2はアーム5の回動角度を検出する。本実施形態では、アーム角度センサS2は加速度センサであり、ブーム4に対するアーム5の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム5を最も閉じたときに最小角度となり、アーム5を開くにつれて大きくなる。
【0040】
バケット角度センサS3はバケット6の回動角度を検出する。本実施形態では、バケット角度センサS3は加速度センサであり、アーム5に対するバケット6の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット6を最も閉じたときに最小角度となり、バケット6を開くにつれて大きくなる。
【0041】
ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。
【0042】
上部旋回体3には運転室であるキャビン10が設けられ且つエンジン11(
図4参照)等の動力源が搭載される。また、上部旋回体3には機体傾斜センサS4、及び旋回角速度センサS5、通信装置T1、及び測位装置S8が取り付けられている。
【0043】
駆動源はエンジン11に限定されず、モータでもよい。ショベル100は、駆動源として、エンジン及びモータを備えていてもよい。ショベル100は、エンジンのみで駆動されるものでもよく、エンジン及びモータにより駆動されるハイブリッドタイプのものでもよく、モータのみにより駆動される電気ショベル(電気式の作業機械)でもよい。
【0044】
機体傾斜センサS4は所定の平面に対する上部旋回体3の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサS4は、水平面に関する上部旋回体3の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベル100の旋回軸上の一点であるショベル中心点を通る。
【0045】
旋回角速度センサS5は、上部旋回体3の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサS5は、ジャイロセンサである。旋回角速度センサS5は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサS5は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
【0046】
通信装置T1は、ショベル100と外部との間の通信を制御する装置である。通信装置T1は、例えば、外部のGNSS(Global Navigation Satellite System)測量システムとショベル100との間の無線通信を制御する。ショベル100は、通信装置T1を用いることで無線通信を介して設計データを取得できる。但し、ショベル100は、半導体メモリ等を用いて設計データを取得してもよい。なお、設計データは、三次元設計データを含む。
【0047】
通信装置T1は、ショベル100の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置T1は、(無線通信回線を含む)通信回線を介し、通信装置T1とショベル100の外部にある機器との間の通信を制御するように構成されている。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。
【0048】
また、通信装置T1は、例えば、外部のGNSS(Global Navigation Satellite System)測量システムとショベル100との間の無線通信を制御する。
【0049】
測位装置S8は、ショベル100の位置情報を取得するように構成されている。本実施形態では、測位装置S8は、ショベル100の位置情報として、ショベル100の位置及び向きを測定するように構成されている。具体的には、測位装置S8は、電子コンパスを組み込んだGNSS受信機であり、ショベル100の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル100の向きを測定する。
【0050】
測位装置S8が取得する位置情報は、基準座標系(第1の座標系の一例)で表現されている。基準座標系は、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、X軸をグリニッジ子午線と赤道との交点の方向に、Y軸を東経90度の方向に、そして、Z軸を北極の方向にとる三次元直交XYZ座標系である。
【0051】
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
【0052】
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
【0053】
本実施形態に係るショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させることができる。これにより、ショベル100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(「自律制御機能」又は「MC(Machine Control:マシンコントロール)機能」)を実現できる。
【0054】
自律制御機能には、操作者の操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(アクチュエータ)の少なくとも一部を自動で動作させる機能が含まれてよい。また、ショベル100において、自律制御機能が有効な場合、キャビン10の内部は無人状態であってよい。
【0055】
[ショベルの駆動制御系]
図4は、本実施形態に係るショベル100Aの駆動制御系の構成例を示す図である。
図4において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。
【0056】
本実施形態に係るショベル100Aの駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブユニット17を含む。また、本実施形態に係るショベル100Aの油圧駆動系は、上述の如く、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6のそれぞれを油圧駆動する走行油圧モータ1L,1R、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
【0057】
エンジン11は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、後述するショベルコントローラ30Aによる直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
【0058】
レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、ショベルコントローラ30Aからの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。レギュレータ13は、例えば、後述の如く、レギュレータ13L,13Rを含む。
【0059】
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ30Aによる制御下で、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御される。
【0060】
コントロールバルブユニット17は、ショベル100Aにおける油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブユニット17は、制御弁171~176を含む。コントロールバルブユニット17は、制御弁171~176を通じ、メインポンプ14が吐出する作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁171~176は、例えば、メインポンプ14から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、走行油圧モータ1L、1R、及び旋回油圧モータ2Aを含む。より具体的には、制御弁171は、左走行油圧モータ1Lに対応し、制御弁172は、右走行油圧モータ1Rに対応し、制御弁173は、旋回油圧モータ2Aに対応する。また、制御弁174は、バケットシリンダ9に対応し、制御弁175は、ブームシリンダ7に対応し、制御弁176は、アームシリンダ8に対応する。
【0061】
パイロットポンプ15は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ15は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ15は、省略されてもよい。
【0062】
操作装置26は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。
【0063】
吐出圧センサ28は、メインポンプ14の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ28は、検出した値をショベルコントローラ30Aに対して出力する。吐出圧センサ28は、例えば、後述の如く、吐出圧センサ28L,28Rを含む。
【0064】
操作センサ29は、操作装置26を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を検出し、検出した値をショベルコントローラ30Aに対して出力する。本実施形態では、ショベルコントローラ30Aは、操作センサ29の出力に応じて比例弁31の開口面積を制御する。そして、ショベルコントローラ30Aは、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力(パイロット圧)は、原則として、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力である。このように、操作装置26は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給できるように構成されている。
【0065】
マシンコントロール用制御弁として機能する比例弁31は、パイロットポンプ15とコントロールバルブユニット17内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁31は、ショベルコントローラ30Aが出力する制御指令に応じて動作する。そのため、ショベルコントローラ30Aは、操作者による操作装置26の操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31を介し、コントロールバルブユニット17内の制御弁のパイロットポートに供給できる。
【0066】
この構成により、ショベルコントローラ30Aは、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。
【0067】
ショベルコントローラ30Aは、各種演算を実行する演算装置である。ショベルコントローラ30Aは、例えば、キャビン10内に設けられ、ショベル100Aの駆動制御を行う。ショベルコントローラ30Aは、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ30Aは、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ30Aは、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより各種機能を実現する。
【0068】
例えば、ショベルコントローラ30Aは、現在行う作業に応じて、目標回転数を設定し、エンジン11を一定回転させる駆動制御を行う。
【0069】
また、例えば、ショベルコントローラ30Aは、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。
【0070】
なお、ショベルコントローラ30Aの機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、ショベルコントローラ30Aの機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(制御装置)により実現されてもよい。
【0071】
なお、ショベル100Bの駆動制御系の構成は、
図4に示されたショベル100Aの駆動制御系の構成から、空間認識装置S7が除かれると共に、ショベルコントローラ30Aの代わりにショベルコントローラ30Bが設けられた構成になるものとして説明を省略する。
【0072】
<<ショベルの機能ブロック>>
ショベル100のショベルコントローラ内の各機能ブロックについて説明する。
図5は、本実施形態に係るショベル100のショベルコントローラ内の機能ブロックを例示した図である。なお、ショベルコントローラ内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、CPUにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
【0073】
図5に示される例では、ショベル100A及びショベル100Bは、自律制御を行う点で共通しているが、ショベルコントローラ30A及びショベルコントローラ30Bでは実行する処理が異なる。これは、ショベル100Aの空間認識装置S7により計測された物体形状に基づいて、ショベル100Bが自律制御を行うためである。
【0074】
図6は、本実施形態に係る2台のショベル100が自律制御を行っている状況を示した概念図である。
図6に示される例では、ショベル100A及びショベル100Bが、同じ作業現場WSで作業を行っているものとする。
【0075】
ショベル100Aは、4個の空間認識装置S7による検出可能な領域1601内に存在する物体形状を検出する。これにより、ショベル100Aの作業対象1611の土砂形状、及び、ショベル100Bの作業対象1612の土砂形状を検出できる。領域1601は、空間認識装置S7が検出可能な範囲であって、例えば半径30m程度とする。
【0076】
そして、ショベル100Aは、空間認識装置S7により検出された物体形状を示す情報を、ショベル100Bに送信することで、ショベル100Bは、作業対象1612に存在する土砂形状を認識できる。
【0077】
ところで、ショベル100Aが自律制御を行うための相対座標系と、ショベル100Bが自律制御を行うための相対座標系とは、異なる。
図6で示される例では、ショベル100Aが自律制御を行うための3次元空間を表した第1の相対座標系1651(X1、Y1、Z1)と、ショベル100Bが自律制御を行うための3次元空間を表した第2の相対座標系(X2、Y2、Z2)と、が存在する。
【0078】
第1の相対座標系1651(X1、Y1、Z1)は、例えば、ショベル100Aの中心位置が原点となり、第2の相対座標系1652(X2、Y2、Z2)は、例えば、ショベル100Bの中心位置が原点となる。
【0079】
空間認識装置S7の計測情報は、ショベル100Aを基準とした相対的な距離に基づいて物体形状を計測した情報である。換言すれば、空間認識装置S7の計測情報は、第1の相対座標系1651において物体形状が表されている。このため、ショベル100Aの空間認識装置S7の計測情報では、ショベル100Bが周囲の物体形状等を認識するのが難しい。
【0080】
そこで、ショベル100Aは、空間認識装置S7の計測情報を、基準座標系1650(X、Y、Z)に変換する。このために、ショベル100Aは、測位装置S8から、基準座標系1650における現在の位置情報を取得する。基準座標系は、上述したように、世界測地系であるので、ショベル100A及びショベル100Bの各々が認識できる座標系である。
【0081】
そして、ショベル100Aは、基準座標系1650(X、Y、Z)に変換された、土砂形状を示した情報を、ショベル100Bに送信する。
【0082】
そして、ショベル100Bは、受信した情報で示されている基準座標系(第1の座標系の例)1650の物体形状を、第2の相対座標系(第2の座標系の例)1652に変換する。ショベル100Bは、変換を行うために、測位装置S8から基準座標系1650における現在の位置情報を取得している。そこで、ショベル100Bは、現在の位置情報に基づいて、受信した情報に示された物体形状の座標系を変換する。これにより、ショベル100Bは、作業対象1612に存在する物体形状等を認識できる。次に、ショベルコントローラ30A及びショベルコントローラ30Bの構成について説明する。
【0083】
図5に戻り、ショベルコントローラ30Aは、プログラムを実現することで、取得部301Aと、送信制御部302Aと、受信制御部303Aと、ショベル状態特定部304Aと、目標軌跡生成部305Aと、自律制御部306Aと、座標系変換部307Aと、を備える。
【0084】
取得部301Aは、ショベル100Aに設けられた各種検出装置からの信号を取得する。例えば、取得部301Aは、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3)の検出結果を取得する。また、取得部301Aは、画像情報、測定情報、及び、位置情報を取得する。
【0085】
画像情報は、撮像装置S6により撮像された情報とする。測定情報は、空間認識装置S7により測定された形状を示した情報とする。位置情報は、測位装置S8により測定された基準座標系におけるショベル100の位置及び向きを示した情報とする。
【0086】
送信制御部302Aは、通信装置T1を介して、様々な情報を、外部の装置(例えば、ショベル100B)に送信するための制御を行う。
【0087】
ショベル状態特定部304Aは、取得部301Aが取得した信号に基づいて、ショベル100Aの状態を特定するように構成されている。本実施形態では、ショベル100Aの状態は、ショベル100Aの位置と向き、及びショベル100のアタッチメントATの状態(例えば、ブーム4、アーム5、及びバケット6の位置)を含む。ショベル100の位置は、例えば、ショベル100の基準座標系における位置(ショベル100基準点の緯度、経度、及び高度)である。このように、ショベル状態特定部304Aは、測位装置S8の出力に基づいてショベル100の位置及び向き、アタッチメントATの状態を特定する。
【0088】
アタッチメントの状態(例えば、ブーム4、アーム5、及びバケット6の位置)は、角度センサ(ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3)の検出結果、並びに、ブーム4、アーム5、及びバケット6の各々のサイズから特定できる。
【0089】
目標軌跡生成部305Aは、ショベル100Aが自律制御するための目標軌跡を生成する。本実施形態に係る目標軌跡生成部305Aは、施工情報、画像情報、測定情報、及びショベル100Bの状況に基づいて、目標軌跡を生成する。施工情報とは、ショベル100Aの(図示しない)不揮発性記憶装置に記憶されている、施工後の作業対象(例えば土砂)の形状を示した情報とする。測定情報とは、第1の相対座標系で表された物体(例えば、作業対象の土砂)の形状を示している。
【0090】
例えば、目標軌跡生成部305Aは、画像情報及び計測情報の組み合わせで表されるショベル100Aの周囲の状況が、施工情報で示される形状になるように、現在のショベル100のアタッチメントATが掘削するための目標軌跡を生成する。
【0091】
自律制御部306Aは、目標軌跡生成部305Aにより生成された目標軌跡に沿って移動させるために、動作要素(油圧アクチュエータ)の動作内容を決定し、決定された動作内容に応じた操作信号を生成して、ショベル100Aの自律制御機能を実現する。
【0092】
座標系変換部307Aは、位置情報及び測定情報に基づいて、測定情報で示されている、ショベル100Aを基準とした第1の相対座標系で表されている物体形状を、基準座標系に変換する。
【0093】
送信制御部302Aは、通信装置T1を介して、基準座標系に変換された物体形状を示す情報を、ショベル100Bに送信する。
【0094】
ショベルコントローラ30Bは、プログラムを実現することで、取得部301Bと、送信制御部302Bと、受信制御部303Bと、ショベル状態特定部304Bと、目標軌跡生成部305Bと、自律制御部306Bと、座標系変換部307Bと、を備える。
【0095】
取得部301Bは、ショベル100Bに設けられた各種検出装置からの信号を取得する。例えば、取得部301Bは、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3)の検出結果を取得する。また、取得部301Bは、画像情報、及び、位置情報を取得する。
【0096】
送信制御部302Bは、通信装置T1を介して、様々な情報を、外部の装置(例えば、ショベル100A)に送信するための制御を行う。
【0097】
受信制御部303Bは、通信装置T1を介して、様々な情報を、外部の装置(例えば、ショベル100A)から受信するための制御を行う。例えば、受信制御部303Bは、通信装置T1を介して、基準座標系で物体形状を示した情報を、ショベル100A(他のショベルの一例)から受信する。受信した情報は、
図6に示されるように、ショベル100Aを基準としてショベル100B周辺を含んだ領域を測定した物体形状が表されている。つまり、受信した情報には、ショベル100Bの作業対象1612の土砂形状が含まれている。したがって、ショベル100Bは、作業対象1612の土砂形状を認識できる。
【0098】
ショベル状態特定部304Bは、取得部301Bが取得した信号に基づいて、ショベル100の状態を特定するように構成されている。ショベル状態特定部304Bにより特定されるショベル100Bの状態は、ショベル状態特定部304Aにより特定されるショベル100Aの状態と同様として説明を省略する。
【0099】
座標系変換部307Bは、受信した情報による、基準座標系で表されている物体形状を、測位装置S8で計測された位置情報に基づいて、第2の相対座標系に変換する。したがって、ショベルコントローラ30Bは、ショベル100Bを基準とした第2の相対座標系で、物体形状を認識できる。
【0100】
目標軌跡生成部305Bは、ショベル100Bが自律制御するための目標軌跡を生成する。本実施形態に係る目標軌跡生成部305Bは、施工情報、画像情報、第2の相対座標系の物体形状、及びショベル100Bの状況に基づいて、目標軌跡を生成する。施工情報とは、ショベル100Bの(図示しない)不揮発性記憶装置に記憶されている、施工後の作業対象の物体形状(例えば土砂形状)を示した情報とする。第2の相対座標系の物体形状には、ショベル100Bの作業対象となる現在の物体形状(例えば、土砂形状)を含んでいる。なお、本実施形態は、目標軌跡を生成する一例を示したものであって、施工情報、画像情報、第2の相対座標系の物体形状、及びショベル100Bの状態に基づいて目標軌跡を生成する手法に制限するものではない。目標軌跡の生成は、少なくとも、第2の相対座標系の物体形状に基づいて行われればよい。本実施形態では目標軌跡の生成によって、ショベルの動作を自律制御させることが可能となる。
【0101】
例えば、目標軌跡生成部305Bは、画像情報、及び、第2の相対座標系の物体形状の組み合わせで表されるショベル100Bの周囲の状況が、施工情報で示される形状になるように、現在のショベル100のアタッチメントATが掘削するための目標軌跡を生成する。このように受信した物体形状と共に、撮像装置S6で撮像された画像情報を組み合わせて、ショベル100Bの周囲の状況を認識するので、より精度の高い目標軌跡の生成を実現できる。したがって、自律制御の精度の向上を実現できる。
【0102】
自律制御部306Bは、目標軌跡生成部305Bにより生成された目標軌跡に沿って移動させるために、動作要素(油圧アクチュエータ)の動作内容を決定し、決定された動作内容に応じた操作信号を生成して、ショベル100Bの自律制御機能を実現する。
【0103】
本実施形態では、目標軌跡に従ってショベル100Bを動作させる例について説明するが、ショベル100Bの動作の自律制御の手法を目標軌跡に従った動作に制限するものでなく、物体の形状に基づいて、ショベル100Bの動作を自律制御する手法であれば、どのような手法を用いてもよい。
【0104】
図7は、本実施形態に係るショベル100A及びショベル100Bの各々で行われる自律制御を示したシーケンス図である。
【0105】
まず、ショベル100Aの取得部301Aは、撮像装置S6の画像情報を取得する(S1701)。取得部301Aは、測位装置S8により測定された基準座標系における位置情報を取得する(S1702)。
【0106】
取得部301Aは、空間認識装置S7による物体形状を表された測定情報を取得する(S1703)。
【0107】
ショベル状態特定部304Aは、取得部301Aが取得した信号に基づいて、ショベル100Aの状態を特定する(S1704)。
【0108】
目標軌跡生成部305Aは、ショベル100Aの状態、画像情報、及び、測定情報で示される物体形状に基づいて、目標軌跡を生成する(S1705)。
【0109】
自律制御部306Aは、目標軌跡生成部305Aにより生成された目標軌跡に沿って移動させるために自律制御(例えば掘削制御)を行う(S1706)。
【0110】
その後、取得部301Aは、自律制御(例えば掘削制御)が行われた後の物体形状が表された測定情報を取得する(S1707)。
【0111】
そして、座標系変換部307Aが、位置情報に基づいて、測定情報で示されている物体形状を、基準座標系に変換する(S1708)。
【0112】
送信制御部302Aが、基準座標系で物体形状を表した情報を、ショベル100Bに送信する(S1709)。
【0113】
一方、ショベル100Bの取得部301Bは、撮像装置S6の画像情報を取得する(S1711)。取得部301Bは、測位装置S8により測定された基準座標系における位置情報を取得する(S1712)。
【0114】
ショベル状態特定部304Bは、取得部301Bが取得した信号に基づいて、ショベル100Bの状態を特定する(S1713)。
【0115】
座標系変換部307Bが、S1712で取得した位置情報に基づいて、S1709で受信した情報で示されている物体形状を、第2の相対座標系に変換する(S1714)。
【0116】
目標軌跡生成部305Bは、ショベル100Bの状態、画像情報、及び、第2の相対座標系で示された物体形状に基づいて、目標軌跡を生成する(S1715)。
【0117】
自律制御部306Bは、目標軌跡生成部305Bにより生成された目標軌跡に沿って移動させるために自律制御を行う(S1716)。
【0118】
本実施形態ではショベル100A及びショベル100Bが上述した制御を行うことで、ショベル100Bが、ショベル100Aで測定された物体形状に基づいて、自律制御を行うことができる。なお、
図7は、ショベル100Aがショベル100Bに物体形状を示した情報を送信するタイミングの一例を示したものである。当該情報の送信は、実施態様に応じて定めればよく、例えば、物体の形状の変化を検出したタイミングでもよいし、所定の時間間隔(例えば、1秒ごと)等でもよい。
【0119】
なお、本実施形態においては、ショベル100Bが、基準座標系で表されている物体形状を、第2の相対座標系に変換する例について説明した。これにより、本実施形態では、ショベルコントローラ30Bが、ショベル100Bの中心とした座標系で物体形状を認識できる。したがって、ショベルコントローラ30Bは、周囲の物体形状を適切に認識できるので、自律制御の精度の向上を実現できる。
【0120】
しかしながら、本実施形態は、座標系の変換を行う手法に制限するものではない。例えば、ショベル100Bが、座標系の変換を行わず、基準座標系の物体形状に基づいて、自律制御を行ってもよい。
【0121】
本実施形態に係るショベル100A、100Bは、例えば施工情報に従って自律制御が行われる。ショベル100A、100Bの移動は、施工情報等に定められている。換言すれば、ショベル100A、100Bの移動は、施工者によって定められるので、ショベル100Bが、ショベル100Aの空間認識装置S7の検出可能な領域1601外に移動することを抑制できる。
【0122】
(第1の実施形態の変形例1)
上述した実施形態では、ショベル100Bは、ショベル100Aから受信した情報に基づいて物体の形状を認識する例について説明した。しかしながら、上述した実施形態は、物体形状の認識に用いる情報を、空間認識装置S7による測定情報のみに制限するものではない。そこで、第1の実施形態の変形例1においては、測定情報の他に、バケット6の爪先で測定される物体形状を用いる例について説明する。
【0123】
つまり、ショベル100Bは、アタッチメントATで掘削する際に、バケット6の爪先が、作業対象の土砂に当接する。そこで、ショベルコントローラ30Bは、バケット6が土砂の掘削を開始する際に、バケット6の爪先の移動軌跡を、物体形状(土砂形状)として特定する。
【0124】
バケット6の爪先の位置に基づいて、物体(例えば土砂)の形状を特定する手法は、周知の手法を問わず、どのような手法を用いてもよい。例えば、バケット6の爪先が土砂に当接しているか否かは、ブームシリンダ7、アームシリンダ8、又は、バケットシリンダ9に生じている圧力により判定できる。したがって、検出された圧力によってバケット6の爪先が土砂に当接していると判定された場合に、現在のバケット6の爪先の位置を、土砂の表面として特定する。これにより、ショベルコントローラ30Bは、バケット6の爪先位置から土砂形状(物体形状の一例)を特定できる。
【0125】
そして、ショベル100Bのショベルコントローラ30Bは、アタッチメントATのバケット6の爪先(先端部)の位置に基づいて得られた物体形状と、ショベル100Aで測定された情報で示された物体形状と、を組み合わせた情報に基づいて、自律制御を行う。具体的な自律制御の手法について説明する。
【0126】
図8は、本変形例に係るショベル100A及びショベル100Bの各々で行われる自律制御を示したシーケンス図である。
図8で示されるシーケンス図は、ショベル100A及びショベル100Bの自律制御が繰り返し行われている例とする。そして、ショベル100Bの前回の自律制御の際に検出された、バケット6の爪先の位置による物体形状を、今回の自律制御に用いる例とする。
【0127】
ショベル100の自律制御部306Bが、既に生成された目標軌跡に従って自律制御(例えば掘削制御)を行うと共に、取得部301Bが、角度センサS1、S2、S3、及びシリンダ(ブームシリンダ7、アームシリンダ8、又は、バケットシリンダ9)の圧力に基づいて特定される、アタッチメントATのバケット6の爪先の位置から、物体形状(例えば土砂形状)を特定する(S1821)。特定された物体形状は、ショベル100Bを基準とした第2の相対座標系で示される。目標軌跡の生成は、後述する手法を用いるものとして説明を省略する。
【0128】
取得部301Bは、測位装置S8により測定された基準座標系における位置情報を取得する(S1822)。そして、座標系変換部307Bが、特定された(爪先の位置による)物体形状を、位置情報に基づいて、基準座標系に変換する(S1823)。そして、送信制御部302Bが、基準座標系の(爪先の位置による)物体形状を、ショベル100Aに送信する(S1824)。これにより、ショベル100Aによって物体形状を合成できる。
【0129】
ショベル100Aの取得部301Aは、撮像装置S6の画像情報を取得する(S1801)。取得部301Aは、測位装置S8により測定された基準座標系における位置情報を取得する(S1802)。
【0130】
取得部301Aは、空間認識装置S7による物体形状を表された測定情報を取得する(S1803)。
【0131】
そして、座標系変換部307Aは、S1824で受信した情報で示された物体形状を、位置情報に基づいて、第1の相対座標系に変換する(S1804)。
【0132】
さらに、座標系変換部307Aは、S1804で第1の相対座標系に変換された物体形状と、測定情報で表された物体形状と、を合成する(S1805)。これにより、ショベルコントローラ30Aは、ショベル100Bのバケット6の爪先の位置を考慮した物体形状を認識できる。
【0133】
さらに、座標系変換部307Aは、合成後の物体形状を、位置情報に基づいて、基準座標系に変換する(S1806)。そして、送信制御部302Aが、基準座標系で示された合成後の物体形状の情報を、ショベル100Bに送信する(S1807)。
【0134】
ショベル状態特定部304Aは、取得部301Aが取得した信号に基づいて、ショベル100Aの状態を特定する(S1808)。
【0135】
目標軌跡生成部305Aは、ショベル100Aの状態、画像情報、及び、第1の相対座標系で示された合成後の物体形状に基づいて、目標軌跡を生成する(S1809)。
【0136】
自律制御部306Aは、目標軌跡生成部305Aにより生成された目標軌跡に沿って移動させるために自律制御(例えば掘削制御)を行う(S1810)。
【0137】
一方、ショベル100Bの取得部301Bは、撮像装置S6の画像情報を取得する(S1825)。取得部301Bは、測位装置S8により測定された基準座標系における位置情報を取得する(S1826)。
【0138】
ショベル状態特定部304Bは、取得部301Bが取得した信号に基づいて、ショベル100Bの状態を特定する(S1827)。
【0139】
座標系変換部307Bが、S1826で取得した位置情報に基づいて、S1807で受信した情報で示されている物体形状を、第2の相対座標系に変換する(S1828)。
【0140】
目標軌跡生成部305Bは、ショベル100Bの状態、画像情報、及び、第2の相対座標系の物体形状に基づいて、目標軌跡を生成する(S1829)。
【0141】
自律制御部306Bは、生成された目標軌跡に従って自律制御を行うと共に、取得部301Bが、角度センサS1、S2、S3、及びシリンダ(ブームシリンダ7、アームシリンダ8、又は、バケットシリンダ9)の圧力に基づいて特定される、アタッチメントATのバケット6の爪先の位置を示した座標から、物体形状を特定する(S1830)。特定された物体形状は、次回の自律制御に用いられる。
【0142】
本変形例1では、上述した制御を行うことで、ショベル100Bのバケット6の爪先の位置に基づいた物体形状を考慮した自律制御が実現できる。これにより、ショベル100Aの空間認識装置S7では検出しにくい領域で、ショベル100Bが作業を行う場合でも、ショベル100Bのバケット6の爪先の位置で当該領域の物体形状を特定できる。これにより、物体形状を特定する精度を向上できる。したがって、自律制御の精度の向上を実現できる。
【0143】
(第1の実施形態の変形例2)
上述した変形例では、物体形状の合成を、空間認識装置S7を備えるショベル100Aで行う例について説明した。しかしながら、上述した変形例は、物体形状の合成を、ショベル100Aで行う手法に制限するものではない。そこで、本変形例では、ショベル100Bで行う例について説明する。
【0144】
図9は、本変形例に係るショベル100A及びショベル100Bの各々で行われる自律制御を示したシーケンス図である。
図9で示されるシーケンス図は、ショベル100A及びショベル100Bの自律制御が繰り返し行われている例とする。そして、ショベル100Bの前回の自律制御の際に検出された物体形状を、今回の自律制御に用いる例とする。
【0145】
ショベル100の自律制御部306Bが、既に生成された目標軌跡に従って自律制御(例えば掘削制御)を行うと共に、取得部301Bが、角度センサS1、S2、S3、及びシリンダ(ブームシリンダ7、アームシリンダ8、又は、バケットシリンダ9)の圧力に基づいて特定される、アタッチメントATのバケット6の爪先の位置を示した座標から、物体形状(例えば土砂形状)を特定する(S1921)。特定された土砂形状は、ショベル100Bを基準とした第2の相対座標系で示される。
【0146】
一方、ショベル100Aの取得部301Aは、撮像装置S6の画像情報を取得する(S1901)。取得部301Aは、測位装置S8により測定された基準座標系における位置情報を取得する(S1902)。
【0147】
取得部301Aは、空間認識装置S7による物体形状を表された測定情報を取得する(S1903)。
【0148】
座標系変換部307Aは、測定情報で示される物体形状を、位置情報に基づいて、基準座標系に変換する(S1904)。そして、送信制御部302Aが、基準座標系で示された物体形状を示した情報を、ショベル100Bに送信する(S1905)。
【0149】
一方、ショベル100Bの取得部301Bは、撮像装置S6の画像情報を取得する(S1922)。取得部301Bは、測位装置S8により測定された基準座標系で示された位置情報を取得する(S1923)。
【0150】
ショベル状態特定部304Bは、取得部301Bが取得した信号に基づいて、ショベル100Bの状態を特定する(S1924)。
【0151】
さらに、座標系変換部307Bは、S1905で受信した情報で示されている物体形状を、位置情報に基づいて、第2の相対座標系に変換する(S1925)。
【0152】
そして、座標系変換部307Bは、S1925で第2の相対座標系に変換された物体形状と、S1921で特定された物体形状と、を合成する(S1926)。
【0153】
座標系変換部307Bは、合成後の物体形状を、位置情報に基づいて、基準座標系に変換する(S1927)。
【0154】
送信制御部302Bが、基準座標系で示された合成後の物体形状を示した情報を、ショベル100Aに送信する(S1928)。
【0155】
目標軌跡生成部305Bは、ショベル100Bの状態、画像情報、及び、第2の相対座標系で示された合成後の物体形状に基づいて、目標軌跡を生成する(S1929)。
【0156】
自律制御部306Bは、生成された目標軌跡に従って自律制御を行うと共に、取得部301Bが、角度センサS1、S2、S3、及びシリンダ(ブームシリンダ7、アームシリンダ8、又は、バケットシリンダ9)の圧力に基づいて特定される、アタッチメントATのバケット6の爪先の位置を示した座標から、物体形状を特定する(S1930)。特定された物体形状は、次回の自律制御に用いられる。
【0157】
座標系変換部307Aが、S1902で取得した位置情報に基づいて、S1927で受信した情報で示されている物体形状を、第1の相対座標系に変換する(S1906)。
【0158】
目標軌跡生成部305Aは、ショベル100Aの状態、画像情報、及び、第1の相対座標系で示された物体形状に基づいて、目標軌跡を生成する(S1907)。
【0159】
自律制御部306Aは、目標軌跡生成部305Aにより生成された目標軌跡に沿って移動させるために自律制御(例えば掘削制御)を行う(S1908)。
【0160】
本変形例2では、上述した制御を行うことで、ショベル100Bのバケット6の爪先の位置に基づいた物体形状を考慮した自律制御が実現できる。上述した変形例と同様に、自律制御の精度の向上を実現できる。
【0161】
(第2の実施形態)
上述した実施形態及び変形例は、2台のショベルが直接通信を行う例について説明した。しかしながら、上述した実施形態及び変形例は、2台のショベルが直接通信を行う手法に制限するものではない。そこで、第2の実施形態では、サーバを介して通信を行う場合について説明する。
【0162】
図10は、第2の実施形態に係る自律制御システムSYS1の一例を示す図である。
図10では、ショベル100の左側面図が示される。
【0163】
図10に示すように、自律制御システムSYS1は、互いに比較的近い場所で作業を行う複数のショベル100(作業機械の一例)を含む。具体的には、自律制御システムSYS1は、同じ作業現場WSで作業を行う複数のショベル100を含む。
【0164】
図10に示される例では、自律制御システムSYS1は、2台のショベル100(100A、100B)を含む。また、自律制御システムSYS1は、2台のショベル100に制限するものではなく、3台以上のショベル100を含んでもよい。
【0165】
2台のショベル100A、100Bの構成は、上述した実施形態と同様として説明を省略する。
【0166】
そして、本実施形態では、ショベル100Aとショベル100Bとの間の通信は、管理サーバ(情報処理装置の一例)2000を介して行う。
【0167】
例えば、ショベル100Aが、基準座標系の物体形状を示した情報を、管理サーバ2000に送信する。そして、管理サーバ2000は、基準座標系の物体形状を示した情報を保存する。そして、ショベル100Bが、管理サーバ2000から基準座標系の物体形状を示した情報を受信して、ショベル100Bの周囲の物体形状を認識する。
【0168】
なお、管理サーバ2000が保存する情報は、ショベル100Aから送信された情報に制限するものではない。例えば、管理サーバ2000は、同じ作業現場WSに存在する定点計測装置、又はドローン等から、基準座標系の物体形状を示した情報を受信して、当該情報を保存してもよい。
【0169】
さらに、管理サーバ2000は、複数の機器(例えば、ショベル100A、定点計測装置、及びドローンのうちいずれか2つ以上)から受信した物体形状を合成してもよい。この場合、管理サーバ2000は、合成した物体形状を、ショベル100Bに送信する。
【0170】
本実施形態においては、管理サーバ2000を設けることで、物体形状の管理が容易になる。当該構成を備えることで、ショベル100Aは、任意のタイミングで管理サーバ2000に物体形状を送信できると共に、ショベル100Bは、所望のタイミングで、管理サーバ2000から、物体形状を受信できる。したがって利便性の向上を実現できる。
【0171】
さらには、本実施形態で示したように、ショベル以外の機器によって物体形状を計測してもよい。これにより、ショベルに設けられた空間認識装置では計測できない領域の計測が容易になる。これにより、ショベル100の自律制御の精度の向上を実現できる。
【0172】
(第3の実施形態)
上述した実施形態及び変形例は、2台のショベルの各々が自律制御を行う例について説明した。しかしながら、上述した実施形態は、ショベルで測定された物体形状を、他のショベルの自律制御に用いる手法に制限するものではない。そこで第3の実施形態では、遠隔操作を行う手法について説明する。
【0173】
図11は、第3の実施形態に係る遠隔操作システムSYS2の一例を示す概要図である。
図11に示すように、第3の実施形態に係る遠隔操作システムSYS2は、2台のショベル100と、遠隔操作室RCと、を含んでいる。
【0174】
ショベル100、及び遠隔操作室RCは、通信回線NWを介してデータの送受信を可能に接続されている。
【0175】
ショベル100の無線通信が可能とする。そして、ショベル100は、通信回線NWに接続された機器(例えば、遠隔操作室RC)との間でデータの送受信を可能とする。
【0176】
そして、ショベル100は、作業現場に関する情報を、遠隔操作室RCに送信できる。これにより、遠隔操作室RCは、ショベル100からの情報に応じて、作業現場を確認できる。なお、本実施形態は、作業現場の測定を行う装置を、ショベル100に制限するものではなく、作業現場上を飛行するドローン、定点カメラ、又はユーザが所持可能な撮像装置など、他の態様の装置であってもよい。
【0177】
本実施形態においては、ショベル100Aが自律制御を行う。そして、ショベル100Bが遠隔操作室RCから遠隔操作が行われる。なお、本実施形態は、ショベル100の利用の一態様を例示したものであって、例えば、ショベル100Aで自律制御を行う代わりに、遠隔操作が行われてもよい。
【0178】
ショベル(第2のショベルの一例)100Aは、上述した実施形態と同様に空間認識装置S7が設けられている。そして、ショベル100Bは、空間認識装置S7が設けられていない。
【0179】
このため、遠隔操作室RCが、ショベル(第1のショベルの一例)100Bの遠隔制御を行う際に、ショベル100Aの空間認識装置S7により計測された物体形状を参照できるように構成した。
【0180】
遠隔操作システムSYS2に含まれるショベル100は、3台以上であってもよい。これにより、遠隔操作システムSYS2は、複数台のショベル100を通じて、遠隔操作室RCに作業現場に関する情報提供を行うことができる。
【0181】
<遠隔操作室の構成例>
遠隔操作室RCには、通信装置T2、遠隔コントローラ40、操作装置42、操作センサ43、及び表示装置D1を備えている。また、遠隔操作室RCには、ショベル100Bを遠隔操作する操作者OPが座る操作席DSが設置されている。
【0182】
通信装置T2は、ショベル100に取り付けられた通信装置T1との間で通信を制御するように構成されている。
【0183】
遠隔コントローラ40は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ40は、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ40の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
【0184】
操作装置42(操作部の一例)には、操作装置42の操作内容を検出するための操作センサ43が設置されている。操作センサ43は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ43は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ43は、検出した操作装置42の操作内容に関する情報を遠隔コントローラ40に対して出力する。遠隔コントローラ40は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル100に向けて送信する。操作センサ43は、操作信号を生成するように構成されていてもよい。この場合、操作センサ43は、遠隔コントローラ40を経由せずに、操作信号を通信装置T2に出力してもよい。これにより、遠隔操作室RCから、ショベル100の遠隔操作を実現できる。
【0185】
表示装置D1は、遠隔操作室RCにいる操作者OPがショベル100の周囲を視認するために、ショベル100から送信された情報に基づいた画面を表示する。表示装置D1は、操作者が遠隔操作室RCにいるにもかかわらず、ショベル100の周囲を含む作業現場の状況を確認できる。
【0186】
通信装置T2は、撮像装置S6で撮像された画像情報を、遠隔操作対象であるショベル100Bから受信する。さらに、通信装置T2は、空間認識装置S7によって得られた物体形状を示した情報を、ショベル100Aから受信する。
【0187】
そして、表示装置D1は、ショベル100Bから受信した画像情報に基づいた画面(第1の表示情報の一例)を表示する。これにより、ショベル100Bの周囲の状況を確認できる。さらに、表示装置D1は、ショベル100Aから受信した情報で示される物体形状を表した画面(第2の表示情報の一例)も併せて表示する。物体形状を表した画面と、画像情報に基づいた画面と、の表示は、どのような手法を用いてもよい。例えば、表示装置D1が複数の表示装置で構成されている場合に、物体形状を表した画面と、画像情報に基づいた画面と、を別々の表示装置に表示してもよい。
【0188】
また、ショベル100Aから受信した情報で示される物体形状を表した画面を表示する際に、ショベル100Bから受信した位置情報に基づいて、ショベル100Bの周囲を表すように物体形状を表示してもよい。
【0189】
図12は、本実施形態に係るショベル100A、ショベル100B、及び遠隔操作室RCの各々で行われる制御を示したシーケンス図である。
【0190】
まず、ショベル100Bの取得部301Bは、撮像装置S6の画像情報を取得する(S2311)。取得部301Bは、測位装置S8により測定された基準座標系における位置情報を取得する(S2312)。
【0191】
そして、ショベル100Bの送信制御部302Bは、画像情報及び位置情報を、遠隔操作室RCに送信する(S2313)。
【0192】
一方、ショベル100Aの取得部301Aは、撮像装置S6の画像情報を取得する(S2301)。取得部301Aは、測位装置S8により測定された基準座標系における位置情報を取得する(S2302)。
【0193】
取得部301Aは、空間認識装置S7による物体形状を表された測定情報を取得する(S2303)。
【0194】
そして、座標系変換部307Aが、位置情報に基づいて、測定情報で示されている物体形状を、基準座標系に変換する(S2304)。
【0195】
送信制御部302Aが、基準座標系で物体形状を表した情報を、ショベル100Bに送信する(S2305)。
【0196】
遠隔操作室RCの遠隔コントローラ40は、受信した画像情報に基づいた画面、及び物体形状を表した画面を、表示装置D1に表示制御を行う(S2321)。
【0197】
遠隔コントローラ40は、操作センサ43から、操作装置42が受け付けた操作を示した操作信号を受信する(S2322)。
【0198】
遠隔コントローラ40は、操作信号を、ショベル100Bに送信する(S2323)。
【0199】
これにより、ショベル100Bのショベルコントローラ30Bは、受信した操作信号に基づいて、ショベル100Bの制御を行う(S2314)。
【0200】
一方、ショベル100Aは、物体形状を表した情報を送信した後、ショベル状態特定部304Aが、取得部301Aが取得した信号に基づいて、ショベル100Aの状態を特定する(S2304)。
【0201】
目標軌跡生成部305Aは、ショベル100Aの状態、画像情報及び測定情報で示される物体形状等に基づいて、目標軌跡を生成する(S2306)。
【0202】
自律制御部306Aは、目標軌跡生成部305Aにより生成された目標軌跡に沿って移動させるために自律制御(例えば掘削制御)を行う(S2307)。
【0203】
本実施形態は、ショベル100Bの表示装置が遠隔操作室RCの場合について説明した。しかしながら、本実施形態は、ショベル100Bの表示装置を、遠隔操作室RCに制限するものではない。例えば、ショベル100Bの表示装置が、PC、タブレット端末などの携帯通信端末等であってもよい。
【0204】
<作用>
上述した第1の実施形態、第2の実施形態においては、ショベル100B(他のショベルの一例)は、ショベル100Aの空間認識装置S7で検出された物体形状を認識できるので、自律制御の精度向上を実現できる。これにより、作業効率の向上を実現できる。また、ショベル100Bは、空間認識装置をショベルの各々に設ける必要がないので、コストの削減を実現できる。
【0205】
上述した第3の実施形態においては、遠隔操作対象のショベルに空間認識装置を当該されていなくとも、他のショベルに搭載された空間認識装置で検出された物体形状が表示されるので、操作者は物体形状を認識できる。したがって、操作性の向上を実現できる。また、操作対象のショベルに空間認識装置が搭載されていなくともよいので、コストの削減を実現できる。
【0206】
上述した実施形態及び変形例においては、作業機械の一例としてショベルを用いた場合について説明した。しかしながら、実施形態及び変形例で示した構成は、作業機械としてショベルに適用させる例に制限するものではなく、例えば、クレーン、フォークリフト等に適用してもよい。
【0207】
以上、ショベル、及びショベルの表示装置の一例を示した実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
【符号の説明】
【0208】
100A、100B ショベル
1 下部走行体
2 旋回機構
3 上部旋回体
4 ブーム
5 アーム
6 バケット
S6 撮像装置
S7 空間認識装置
S8 測位装置
T1 通信装置
30A、30B ショベルコントローラ
301A、301B 取得部
302A、302B 送信制御部
303A、303B 受信制御部
304A、304B ショベル状態特定部
305A、305B 目標軌跡生成部
306A、306B 自律制御部
307A、307B 座標系変換部
RC 遠隔操作室
T2 通信装置
D1 表示装置
40 遠隔コントローラ
42 操作装置
43 操作センサ