IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友建機株式会社の特許一覧 ▶ 学校法人千葉工業大学の特許一覧

<>
  • 特許-ショベル用のシステム 図1
  • 特許-ショベル用のシステム 図2
  • 特許-ショベル用のシステム 図3
  • 特許-ショベル用のシステム 図4
  • 特許-ショベル用のシステム 図5
  • 特許-ショベル用のシステム 図6
  • 特許-ショベル用のシステム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-11
(45)【発行日】2024-12-19
(54)【発明の名称】ショベル用のシステム
(51)【国際特許分類】
   E02F 9/26 20060101AFI20241212BHJP
   H04N 7/18 20060101ALI20241212BHJP
【FI】
E02F9/26 B
H04N7/18 J
H04N7/18 K
【請求項の数】 13
(21)【出願番号】P 2020090918
(22)【出願日】2020-05-25
(65)【公開番号】P2021188258
(43)【公開日】2021-12-13
【審査請求日】2023-02-20
【前置審査】
(73)【特許権者】
【識別番号】502246528
【氏名又は名称】住友建機株式会社
(73)【特許権者】
【識別番号】598163064
【氏名又は名称】学校法人千葉工業大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】泉川 岳哉
(72)【発明者】
【氏名】守本 崇昭
(72)【発明者】
【氏名】藤井 浩光
(72)【発明者】
【氏名】畠山 佑太
【審査官】亀谷 英樹
(56)【参考文献】
【文献】特開2021-056543(JP,A)
【文献】特開2021-055256(JP,A)
【文献】特開2020-035380(JP,A)
【文献】特開平11-210020(JP,A)
【文献】特開2012-021290(JP,A)
【文献】特開2013-133631(JP,A)
【文献】特開平11-211438(JP,A)
【文献】特開平11-310389(JP,A)
【文献】特開2000-192514(JP,A)
【文献】特開2016-089388(JP,A)
【文献】特開2018-024997(JP,A)
【文献】特開2017-085370(JP,A)
【文献】特開2020-020156(JP,A)
【文献】米国特許出願公開第2017/0220044(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/26
E02F 9/20-9/22
E02F 3/42-3/43
E02F 3/84-3/85
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
下部走行体と、
前記下部走行体に旋回可能に搭載された上部旋回体と、
前記上部旋回体に取り付けられたアタッチメントと、を有するショベル用のシステムであって、
物体検知装置の出力に基づいてダンプトラックに関する点群データを取得し、前記ダンプトラックに関する点群データから無作為に1つの注目点を抽出し、前記注目点まわりの局所的な点群データに対して主成分分析を施し、前記注目点における法線及び前記法線に垂直で前記注目点を含む面を前記ダンプトラックの荷台を構成する面として検出することで、前記ダンプトラックの荷台を構成する面に属する前記ダンプトラックに関する点群データから前記ダンプトラックの位置、向き、及び大きさのうちの少なくとも1つを推定する、
ショベル用のシステム。
【請求項2】
下部走行体と、
前記下部走行体に旋回可能に搭載された上部旋回体と、
前記上部旋回体に取り付けられたアタッチメントと、を有するショベル用のシステムであって、
物体検知装置の出力に基づいてダンプトラックに関する点群データを取得し、前記ダンプトラックの荷台を構成する少なくとも1つの面を検出する前であって、前記ダンプトラックの荷台を構成する少なくとも1つの別の面を検出した後に、前記ダンプトラックの荷台を構成する少なくとも1つの別の面に属する点群データを除去することにより、前記ダンプトラックの荷台を構成する少なくとも1つの別の面に属する点群データが、前記ダンプトラックの荷台を構成する少なくとも1つの面の検出に利用されないようにする
ショベル用のシステム。
【請求項3】
前記ダンプトラックを検出する向きに応じ、点群データが除去される前記ダンプトラックの荷台を構成する少なくとも1つの別の面は変更される、
請求項2に記載のショベル用のシステム。
【請求項4】
前記ダンプトラックの荷台を構成する面のうちの少なくとも1つの別の面は、底面、前面、後面、左側面、及び右側面のうちの少なくとも1つである、
請求項2に記載のショベル用のシステム。
【請求項5】
前記ダンプトラックの荷台を構成する少なくとも1つの面のうち、全体形状が認識可能な面に関する情報に基づいて前記ダンプトラックの位置、向き、及び大きさのうちの少なくとも1つを推定し、
前記ダンプトラックの荷台を構成する少なくとも1つの面は何れも長方形であり、
前記全体形状が認識可能な面は、3つ以上の角部が認識可能な面である、
請求項1乃至請求項4の何れかに記載のショベル用のシステム。
【請求項6】
前記ダンプトラックの荷台を構成する少なくとも1つの面に関する情報は、前記ダンプトラックの荷台の底面以外の面に関する情報である、
請求項1乃至5の何れかに記載のショベル用のシステム。
【請求項7】
前記ダンプトラックの荷台を構成する少なくとも1つの面の形状に関する情報に基づき、前記ダンプトラックの大きさ又は種類を導き出し、或いは、
前記ダンプトラックの荷台を構成する少なくとも1つの面の位置に関する情報に基づき、前記ダンプトラックの位置を導き出し、或いは、
前記ダンプトラックの荷台を構成する少なくとも1つの面の向きに関する情報に基づき、前記ダンプトラックの向きを導き出す、
請求項1乃至6の何れかに記載のショベル用のシステム。
【請求項8】
前記ダンプトラックの荷台を構成する少なくとも1つの面に関する情報に基づいて前記ダンプトラックの位置、向き、及び大きさのうちの一部を推定し、前記ダンプトラックの荷台を構成する少なくとも1つの別の面に関する情報に基づいて前記ダンプトラックの位置、向き、及び大きさのうちの残りを推定する、
請求項1乃至7の何れかに記載のショベル用のシステム。
【請求項9】
前記ダンプトラックの荷台を構成する少なくとも1つの面に関する情報に基づいて推定した前記ダンプトラックの位置、向き、及び大きさのうちの少なくとも1つと、前記ダンプトラックの荷台を構成する少なくとも1つの別の面に関する情報に基づいて推定した前記ダンプトラックの位置、向き、及び大きさの少なくとも1つとに基づき、前記ダンプトラックの位置、向き、及び大きさの少なくとも1つを推定する、
請求項1乃至8の何れかに記載のショベル用のシステム。
【請求項10】
前記ダンプトラックに関する点群データを取得する前に前記ダンプトラックの存否を判定し、
前記ダンプトラックが存在すると判定したときの前記ダンプトラックの位置は、前記ダンプトラックに関する点群データの取得を開始したときの前記ダンプトラックの位置よりもショベルから離れている、
請求項1乃至9の何れかに記載のショベル用のシステム。
【請求項11】
前記ダンプトラックに関する点群データを取得する前に前記ダンプトラックの位置、向き、及び種類のうちの少なくとも1つを推定し、
前記ダンプトラックに関する点群データを取得する前に前記ダンプトラックの位置、向き、及び種類のうちの少なくとも1つを推定したときの前記ダンプトラックの位置は、前記ダンプトラックに関する点群データの取得を開始するときの前記ダンプトラックの位置よりもショベルから離れている、
請求項1乃至10の何れかに記載のショベル用のシステム。
【請求項12】
前記ダンプトラックが所定の範囲内に進入したか否かを判定し、
前記ダンプトラックが所定の範囲内に進入したときの前記ダンプトラックの位置は、前記ダンプトラックに関する点群データの取得を開始するときの前記ダンプトラックの位置よりもショベルから離れている、
請求項1乃至11の何れかに記載のショベル用のシステム。
【請求項13】
ショベルに搭載されたカメラが撮像した画像に基づいて前記ダンプトラックの存否を判定し、
ショベルに搭載されたカメラが撮像した画像に基づいて前記ダンプトラックが存在すると判定したときの前記ダンプトラックの位置は、前記ダンプトラックに関する点群データの取得を開始するときの前記ダンプトラックの位置よりもショベルから離れている、
請求項1乃至12の何れかに記載のショベル用のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ショベル用のシステムに関する。
【背景技術】
【0002】
従来、ショベルの掘削アタッチメントとダンプトラックとの接触を防止するためにダンプトラックの荷台の後側の角の位置を認識するショベルが知られている(特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2012-21290号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のショベルは、ダンプトラックの荷台の後側の角の位置を局所的に認識するのみであり、ダンプトラックの荷台の大きさを認識していない。そのため、積み込み作業を適切に支援することはできない。
【0005】
そこで、積み込み作業をより適切に支援できるショベル用のシステムを提供することが望ましい。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係るショベル用のシステムは、下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、前記上部旋回体に取り付けられたアタッチメントと、を有するショベル用のシステムであって、物体検知装置の出力に基づいてダンプトラックに関する点群データを取得し、前記ダンプトラックに関する点群データから無作為に1つの注目点を抽出し、前記注目点まわりの局所的な点群データに対して主成分分析を施し、前記注目点における法線及び前記法線に垂直で前記注目点を含む面を前記ダンプトラックの荷台を構成する面として検出することで、前記ダンプトラックの荷台を構成する面に属する前記ダンプトラックに関する点群データから前記ダンプトラックの位置、向き、及び大きさのうちの少なくとも1つを推定する。
【発明の効果】
【0007】
上述のショベル用のシステムは、積み込み作業をより適切に支援できる。
【図面の簡単な説明】
【0008】
図1】施工支援システムの構成例を示す図である。
図2】ショベルの上面図である。
図3】ショベルに搭載される駆動システムの構成例を示す図である。
図4】推定処理の一例を示すフローチャートである。
図5】推定処理で利用されるデータの例を示す図である。
図6】施工現場におけるショベル及びダンプトラックの上面図である。
図7】推定処理の別の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について図面を参照して説明する。各図面において、同一の又は対応する構成については同一の又は対応する符号を付して説明を省略する。
【0010】
図1は、本発明の一実施形態に係るショベル用のシステムの一例である施工支援システムSYSの構成例を示す図である。施工支援システムSYSは、運搬車両としてのダンプトラック200の位置、大きさ、及び向き等を認識し、ひいては、建設機械としての掘削機(ショベル100)による積み込み作業を支援できるように構成されている。図2は、ショベル100の上面図である。図3は、ショベル100に搭載される駆動システムの構成例を示す図である。駆動システムは、ショベル100を駆動するためのシステムである。
【0011】
最初に、図1及び図2を参照して、ショベル100の概要について説明する。ショベル100は、下部走行体1、旋回機構2、上部旋回体3、ブーム4、アーム5、バケット6、及びキャビン10等を備える。上部旋回体3は、旋回機構2を介して旋回可能に下部走行体1に搭載されている。ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントを構成している。アタッチメントは、リフティングマグネットアタッチメント又はグラップルアタッチメント等であってもよい。
【0012】
下部走行体1は、図2に示すように、左クローラ1CL及び右クローラ1CRを含むクローラ1Cを有する。クローラ1Cは、走行油圧モータ2Mによって駆動される。走行油圧モータ2Mは、左クローラ1CLを駆動する左走行油圧モータ2ML、及び、右クローラ1CRを駆動する右走行油圧モータ2MRを含む。
【0013】
上部旋回体3は、旋回油圧モータ2Aによって駆動される。旋回油圧モータ2Aは、下部走行体1に対する上部旋回体3の向きを変化させることができる。尚、上部旋回体3は、旋回用電動機により電気的に駆動されてもよい。旋回油圧モータ2Aと旋回用電動機とは併用されてもよい。
【0014】
ブーム4は、上部旋回体3の前部中央に回動可能に取り付けられている。ブーム4の先端には、アーム5が回動可能に取り付けられ、アーム5の先端には、エンドアタッチメントとしてのバケット6が回動可能に取り付けられている。ブーム4は、ブームシリンダ7により駆動される。アーム5は、アームシリンダ8により駆動される。バケット6は、バケットシリンダ9により駆動される。
【0015】
アーム5の先端には、作業内容等に応じて、エンドアタッチメントの一例であるバケット6の代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、リフティングマグネット又はグラップル等である。
【0016】
キャビン10は、オペレータが搭乗する運転室である。キャビン10は、上部旋回体3の前部左側に搭載されている。ショベル100が無人ショベルである場合、キャビン10は省略されてもよい。
【0017】
次に、ショベル100の機能について説明する。ショベル100の駆動系は、図3に示すように、エンジン11、レギュレータ13、メインポンプ14、及びコントロールバルブユニット17等を含む。ショベル100の油圧駆動系は、図2に示すように、走行油圧モータ2M、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
【0018】
エンジン11は、油圧駆動系の動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、後述するショベルコントローラ30による直接或いは間接的な制御の下で、予め設定される目標回転数で回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
【0019】
ショベル100のキャビン10内には、ダイヤル75が設けられている。ダイヤル75は、エンジン回転数を調整するためのダイヤルであり、例えば、エンジン回転数を段階的に切り替えるために利用される。本実施形態では、ダイヤル75は、SPモード、Hモード、Aモード、及びIDLEモードの4段階にエンジン回転数を切り替えることができるように設けられている。ダイヤル75は、エンジン回転数の設定状態を示すデータをショベルコントローラ30に送るように構成されている。尚、図3には、ダイヤル75によりHモードが選択された状態が示されている。
【0020】
SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。IDLEモードは、エンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン11は、ダイヤル75で設定された回転数モードに対応するエンジン回転数で一定回転数に制御される。
【0021】
メインポンプ14は、作動油を吐出するように構成されている。メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、作動油ラインを通じてコントロールバルブユニット17に作動油を供給する。メインポンプ14は、エンジン11により駆動される。本実施形態では、メインポンプ14は、斜板式可変容量型油圧ポンプであり、ショベルコントローラ30による制御の下で吐出流量(1回転当たりの押し退け容積)が制御される。
【0022】
レギュレータ13は、メインポンプ14の吐出量を制御するように構成されている。本実施形態では、レギュレータ13は、ショベルコントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。
【0023】
メインポンプ14が吸入する作動油が貯蔵されたタンクとメインポンプ14との間の管路に設けられている油温センサ14cは、管路を流れる作動油の温度を表すデータをショベルコントローラ30に送るように構成されている。
【0024】
コントロールバルブユニット17は、複数の制御弁を含む油圧制御装置である。コントロールバルブユニット17は、例えば、上部旋回体3の中央部に搭載され、オペレータによる操作装置26に対する操作に応じて、油圧駆動系を制御するように構成されている。コントロールバルブユニット17は、作動油ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、操作装置26の操作状態に応じて、複数の油圧アクチュエータ(走行油圧モータ2M、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9)のうちの1つ又は複数に選択的に供給する。具体的には、コントロールバルブユニット17は、メインポンプ14から複数の油圧アクチュエータのそれぞれに供給される作動油の流量と流れ方向を制御する複数の制御弁(スプール弁)を含む。
【0025】
ショベル100の操作系は、パイロットポンプ15及び操作装置26を含む。また、ショベル100の操作系は、ショベルコントローラ30によるマシンコントロール機能(後述)に関する構成として、シャトル弁32を含む。
【0026】
パイロットポンプ15は、例えば、上部旋回体3の後部に搭載され、パイロットラインを介して操作装置26等の機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ15は、固定容量型油圧ポンプであり、エンジン11により駆動される。
【0027】
操作装置26は、キャビン10内の操縦席の近くに設けられている。操作装置26は、被操作部(下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等)の操作に利用される操作入力手段である。即ち、操作装置26は、被操作部を駆動する油圧アクチュエータ(左走行油圧モータ2ML、右走行油圧モータ2MR、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等)の操作に利用される操作入力手段である。操作装置26は、操作レバー及び走行レバーを含む。操作装置26のそれぞれは、二次側のパイロットラインに設けられるシャトル弁32を介して、コントロールバルブユニット17内における対応する制御弁に接続されている。これにより、各制御弁には、対応する操作装置26の操作状態に応じたパイロット圧が入力される。そのため、各制御弁は、対応する操作装置26の操作状態に応じて動作し、油圧アクチュエータは、対応する制御弁の動作に応じて駆動される。操作レバーは、左操作レバー及び右操作レバーを含む。左操作レバーは、例えば、旋回油圧モータ2A及びアームシリンダ8を操作するために利用され、右操作レバーは、例えば、ブームシリンダ7及びバケットシリンダ9を操作するために利用される。走行レバーは、左走行レバー及び右走行レバーを含む。左走行レバーは、例えば、左走行油圧モータ2MLを操作するために利用され、右走行レバーは、例えば、右走行油圧モータ2MRを操作するために利用される。左走行レバーは左走行ペダルと連動するように構成されていてもよい。右走行レバーについても同様である。
【0028】
操作装置26にはスイッチNSが設けられている。本実施形態では、スイッチNSは、押しボタンスイッチである。操作者は、スイッチNSを指で押しながら操作装置を手で操作できる。スイッチNSは、例えば、マシンコントロール機能を実行する際に利用される。
【0029】
シャトル弁32は、2つの入口ポートと1つの出口ポートを有し、2つの入口ポートのそれぞれに入力(流入)された作動油のうちの圧力が高い方の作動油を出口ポートから出力(流出)させる。シャトル弁32は、2つの入口ポートのうちの一方が操作装置26に接続され、他方が比例弁31に接続されている。シャトル弁32の出口ポートは、パイロットラインを通じて、コントロールバルブユニット17内の対応する制御弁のパイロットポートに接続されている。そのため、シャトル弁32は、操作装置26が生成するパイロット圧と比例弁31が生成するパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、ショベルコントローラ30は、操作装置26によって生成されるパイロット圧よりも高い、比例弁31によって生成されるパイロット圧を、対応する制御弁のパイロットポートに作用させることにより、オペレータによる操作装置26の操作とは無関係に、対応する制御弁を制御して対応する被操作部を動作させることができる。即ち、ショベルコントローラ30は、ショベル100を自律的に動作させることができる。
【0030】
操作装置26は、パイロット圧を生成する油圧パイロット式ではなく、電気信号を出力する電気式であってもよい。この場合、操作装置26からの電気信号は、ショベルコントローラ30に入力される。ショベルコントローラ30は、入力された電気信号に応じて、コントロールバルブユニット17内の制御弁を制御することにより、操作装置26に対する操作内容に応じて油圧アクチュエータを動作させることができる。コントロールバルブユニット17内の制御弁は、ショベルコントローラ30からの指令により駆動する電磁ソレノイド式スプール弁であってもよい。或いは、パイロットポンプ15とコントロールバルブユニット17内の制御弁のそれぞれのパイロットポートとの間には、ショベルコントローラ30からの電気信号に応じて動作する電磁弁が配置されてもよい。この場合、電気式の操作装置26を用いた手動操作が行われると、ショベルコントローラ30は、その操作量(例えば、レバー操作量)に対応する電気信号によって、対応する電磁弁を動作させることができる。具体的には、ショベルコントローラ30は、パイロットポンプ15が吐出する作動油を利用して生成されるパイロット圧を電磁弁によって増減させることで、操作装置26の操作量に合わせ、対応する制御弁を動作させることができる。
【0031】
ショベル100が無人ショベルである場合、操作装置26は、省略されてもよい。或いは、ショベル100が遠隔操作型のショベルである場合、操作装置26は、ショベル100(キャビン10)の外部に設置されていてもよい。
【0032】
本実施形態では、ショベル100の制御系は、吐出圧センサ28、操作圧センサ29、ショベルコントローラ30、比例弁31、表示装置40、入力装置42、音出力装置43、記憶装置47、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回状態センサS5、空間認識装置S6、測位装置P1、及び通信装置T1を含む。
【0033】
制御装置の一例であるショベルコントローラ30は、例えば、キャビン10内に設けられ、ショベル100の駆動制御を行うように構成されている。ショベルコントローラ30は、ハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてもよい。本実施形態では、ショベルコントローラ30は、CPU、揮発性記憶装置、不揮発性記憶装置、及び、各種入出力インターフェース等を含むコンピュータによって構成されている。そして、ショベルコントローラ30は、不揮発性記憶装置に格納される各種プログラムを実行することにより各種機能を実現する。
【0034】
例えば、ショベルコントローラ30は、オペレータ等の所定操作により予め設定される作業モード等に基づき、エンジン11の目標回転数を設定し、エンジン11を一定回転させる制御を行う。また、例えば、ショベルコントローラ30は、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。また、例えば、ショベルコントローラ30は、オペレータによる操作装置26を通じたショベル100の手動操作をガイド(案内)するマシンガイダンス機能を実行してもよい。また、ショベルコントローラ30は、例えば、オペレータによる操作装置26を通じたショベル100の手動操作を自動的に支援する、或いは、手動操作とは無関係にショベル100を動作させるマシンコントロール機能を実行してもよい。或いは、マシンコントロール機能は、無人ショベルを動作させるための機能であってもよい。
【0035】
尚、ショベルコントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、上述の機能は、複数のコントローラにより分散処理される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(制御装置)により実現されてもよい。
【0036】
本実施形態では、ショベルコントローラ30は、ダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つ(以下、「位置等」とする。)を推定するように構成されている。尚、ショベルコントローラ30によるダンプトラック200の位置等の推定についてはその詳細が後述される。
【0037】
吐出圧センサ28は、メインポンプ14の吐出圧を検出するように構成されている。吐出圧センサ28は、吐出圧に関する検出信号をショベルコントローラ30に向けて送信する。
【0038】
操作状態検出装置の一例である操作圧センサ29は、操作装置26の操作状態を検出するように構成されている。本実施形態では、操作圧センサ29は、操作装置26が生成するパイロット圧を検出する。操作圧センサ29は、操作圧に関する検出信号をショベルコントローラ30に向けて送信する。
【0039】
操作状態検出装置は、操作レバーの傾倒方向及び傾倒角度等を検出可能な、エンコーダ、ポテンショメータ、又は傾倒センサ等であってもよい。
【0040】
比例弁31は、パイロットポンプ15とシャトル弁32とを接続するパイロットラインに設けられ、その流路面積(作動油が通流可能な断面積)を変更できるように構成されている。そして、比例弁31は、ショベルコントローラ30から入力される制御指令に応じて動作する。この構成により、ショベルコントローラ30は、例えば、操作レバーが操作されていない場合であっても、パイロットポンプ15が吐出する作動油を、比例弁31及びシャトル弁32を介し、コントロールバルブユニット17内の対応する制御弁のパイロットポートに向けて供給でき、油圧アクチュエータを動作させることができる。
【0041】
表示装置40は、様々な画像を表示できるように構成されている。本実施形態では、表示装置40は、キャビン10内の操縦席に着座したオペレータから視認し易い位置に設けられ、ショベルコントローラ30による制御の下で各種画像を表示する。表示装置40は、CAN等の車載通信ネットワークを介してショベルコントローラ30に接続されていてもよく、一対一の専用線を介してショベルコントローラ30に接続されていてもよい。
【0042】
本実施形態では、表示装置40は、蓄電池70から電力の供給を受けて動作する。蓄電池70は、エンジン11のオルタネータ11aで発電した電力で充電される。蓄電池70の電力は、ショベルコントローラ30及び表示装置40以外のショベルの電装品72等にも供給される。また、エンジン11のスタータ11bは、蓄電池70からの電力で駆動されてエンジン11を始動させる。
【0043】
エンジン制御装置74は、エンジン11を制御するように構成されている。エンジン制御装置74からは、エンジン11の状態を示す各種データ(例えば、水温センサ11cで検出される冷却水温を示すデータ等)がショベルコントローラ30に送信される。ショベルコントローラ30は内部の一時記憶部(メモリ)にこのデータを蓄積し、適宜表示装置40に送信できる。
【0044】
入力装置42は、制御装置に情報を入力するための装置である。本実施形態では、入力装置42は、キャビン10内の操縦席に着座したオペレータから手が届く範囲に設けられ、オペレータによる入力を受け付け、その入力に応じた信号をショベルコントローラ30に出力する。入力装置42は、タッチパネル、操作レバーの先端に設けられるノブスイッチ、表示装置40の周囲に設置されるボタンスイッチ、レバー、トグル、又は回転ダイヤル等であってもよい。入力装置42は、入力に関する信号をショベルコントローラ30に向けて送信する。
【0045】
音出力装置43は、音を出力するように構成されている。本実施形態では、音出力装置43は、キャビン10内に設けられ、ショベルコントローラ30に接続されている。そして、音出力装置43は、ショベルコントローラ30による制御の下で音を出力するように構成されている。具体的には、音出力装置43は、スピーカ又はブザー等である。音出力装置43は、ショベルコントローラ30からの出力指令に応じて各種情報を聴覚的に出力する。
【0046】
記憶装置47は、情報を記憶するように構成されている。本実施形態では、記憶装置47は、キャビン10内に設けられ、ショベルコントローラ30による制御の下で各種情報を記憶するように構成されている。具体的には、記憶装置47は、半導体メモリ等の不揮発性記憶媒体である。記憶装置47は、ショベル100の動作中に各種機器が出力する情報を記憶してもよく、ショベル100の動作が開始される前に各種機器を介して取得した情報を記憶してもよい。記憶装置47は、例えば、通信装置T1等を介して取得される、或いは、入力装置42等を通じて設定される目標施工面に関するデータを記憶してもよい。目標施工面は、ショベル100のオペレータにより設定されてもよいし、施工管理者等により設定されてもよい。
【0047】
ブーム角度センサS1は、ブーム4に取り付けられ、ブーム4の上部旋回体3に対する回動角度(以下、「ブーム角度」とする。)を検出するように構成されている。ブーム角度センサS1は、ブーム角度に関する検出信号をショベルコントローラ30に向けて送信する。
【0048】
アーム角度センサS2は、アーム5に取り付けられ、アーム5のブーム4に対する回動角度(以下、「アーム角度」とする。)を検出するように構成されている。アーム角度センサS2は、アーム角度に関する検出信号をショベルコントローラ30に向けて送信する。
【0049】
バケット角度センサS3は、バケット6に取り付けられ、バケット6のアーム5に対する回動角度(以下、「バケット角度」とする。)を検出するように構成されている。バケット角度センサS3は、バケット角度に関する検出信号をショベルコントローラ30に向けて送信する。
【0050】
ブーム角度センサS1は、例えば、ロータリエンコーダ、加速度センサ、ジャイロセンサ、又は慣性計測装置等の少なくとも1つで構成される。ブーム角度センサS1は、可変抵抗器を利用したポテンショメータ、ブーム角度に対応する油圧シリンダ(ブームシリンダ7)のストローク量を検出するシリンダストロークセンサ等であってもよい。アーム角度センサS2及びバケット角度センサS3についても同様である。
【0051】
機体傾斜センサS4は、所定の仮想平面に対する機体の傾斜状態を検出するように構成されている。所定の仮想平面は、例えば、仮想水平面である。機体は、例えば、上部旋回体3である。機体傾斜センサS4は、例えば、上部旋回体3に取り付けられ、上部旋回体3の前後軸回りの傾斜角度であるロール角、及び、上部旋回体3の左右軸回りの傾斜角度であるピッチ角を検出する。機体傾斜センサS4は、例えば、加速度センサ、ジャイロセンサ、及び慣性計測装置等の少なくとも1つであってもよい。そして、機体傾斜センサS4は、傾斜状態に関する検出信号をショベルコントローラ30に向けて送信する。
【0052】
旋回状態センサS5は、上部旋回体3の旋回状態を検出するように構成されている。旋回状態センサS5は、例えば、上部旋回体3の旋回角速度を検出する。旋回状態センサS5は、上部旋回体3の旋回角度を検出してもよい。具体的には、旋回状態センサS5は、ジャイロセンサ、レゾルバ、又はロータリエンコーダ等である。旋回状態センサS5は、上部旋回体3の旋回角度又は旋回角速度に関する検出信号をショベルコントローラ30に向けて送信する。
【0053】
空間認識装置S6は、監視対象である空間の状態を認識するように構成されている。空間の状態は、その空間における物体の存否を含む。本実施形態では、空間認識装置S6は、ショベル100の周辺の空間の状態を認識するように構成されている。具体的には、空間認識装置S6は、ショベル100の前方の空間の状態を認識するセンサS6F、ショベル100の左方の空間の状態を認識するセンサS6L、ショベル100の右方の空間の状態を認識するセンサS6R、及び、ショベル100の後方の空間の状態を認識するセンサS6Bを含む。
【0054】
センサS6Fは、キャビン10の上面前端に取り付けられ、センサS6Lは、上部旋回体3の上面左端に取り付けられ、センサS6Rは、上部旋回体3の上面右端に取り付けられ、センサS6Bは、上部旋回体3の上面後端に取り付けられている。
【0055】
本実施形態では、空間認識装置S6は、LIDARである。具体的には、センサS6Fは、複数のLIDARの組み合わせで構成されている。センサS6Fは、1つのLIDARで構成されていてもよい。センサS6B、センサS6L、及びセンサS6Rについても同様である。また、センサS6B、センサS6F、センサS6L、及びセンサS6Rのそれぞれは、単眼カメラを含んでいてもよい。また、空間認識装置S6は、RGB-Dセンサ、ステレオカメラ、距離画像カメラ、赤外線センサ、超音波センサ、ミリ波レーダ、又はレーザレーダ等であってもよく、CCD又はCMOS等の撮像素子を有する、広角レンズが取り付けられた単眼カメラであってもよい。空間認識装置S6は、取得した情報をショベルコントローラ30に向けて送信する。空間認識装置S6は、取得した情報を表示装置40に向けて送信してもよい。
【0056】
空間認識装置S6は、物体検知装置として機能してもよい。この場合、空間認識装置S6は、ショベル100の周囲に存在する物体を検知してよい。検知対象の物体は、例えば、人、動物、車両、建設機械、建造物、又は穴等である。また、空間認識装置S6は、空間認識装置S6又はショベル100と検知された物体との間の距離を算出してもよい。この場合も、空間認識装置S6は、物体検知装置として機能してもよい。空間認識装置S6は、超音波センサ、ミリ波レーダ、レーザレーダ、LIDAR、RGB-Dセンサ、又は赤外線センサ等である場合には、多数の信号(レーザ光等)を周囲に向けて発信し、その反射信号を受信することで、空間認識装置S6と物体との間の距離、及び、物体が存在する方向を検出してもよい。
【0057】
本実施形態では、空間認識装置S6は、ショベルコントローラ30に直接的に接続されている。但し、空間認識装置S6は、表示装置40に接続され、表示装置40を介してショベルコントローラ30に間接的に接続されていてもよい。
【0058】
測位装置P1は、上部旋回体3の位置を測定するように構成されている。測位装置P1は、上部旋回体3の向きを検出するように構成されていてもよい。本実施形態では、測位装置P1は、GNSSコンパスであり、上部旋回体3の位置及び向きを導き出す。そして、測位装置P1は、上部旋回体3の位置及び向きに関する情報をショベルコントローラ30に向けて送信する。上部旋回体3の向きは、上部旋回体3に取り付けられた方位センサの出力に基づいて検出されてもよい。
【0059】
通信装置T1は、移動体通信網、衛星通信網、近距離無線通信網、及びインターネット網等の少なくとも一つを含む通信ネットワークを通じて外部機器と通信するように構成されている。通信装置T1は、例えば、LTE、4G、若しくは5G等の移動体通信規格に対応する移動体通信モジュール、Wi-Fi若しくはBluetooth(登録商標)等の近距離無線通信規格に対応する近距離無線通信モジュール、又は、衛星通信網に接続するための衛星通信モジュール等である。
【0060】
次に、図1を参照し、施工支援システムSYSの詳細について説明する。施工支援システムSYSは、主に、ショベル100、ダンプトラック200、管理装置300、支援装置400、及び監視装置500を含む。ショベル100(ショベルコントローラ30)、ダンプトラック200(ダンプコントローラ210)、管理装置300(制御装置310)、支援装置400(制御装置410)、及び監視装置500(制御装置510)は、通信網900を介して通信可能に構成されている。
【0061】
ダンプトラック200は、運搬車両の一例である。本実施形態では、ダンプトラック200は、ショベル100によって積み込まれた積載物を運搬するための車両であり、主に、ダンプコントローラ210、表示装置220、通信装置230、及び測位装置240を有する。積載物は、例えば、土、砂利、砕石、アスファルト、又はコンクリート等(以下、「土砂等」とする。)である。
【0062】
ダンプコントローラ210は、CPU、揮発性記憶装置、不揮発性記憶装置、及び、各種入出力インターフェース等を含むコンピュータによって構成される。ダンプコントローラ210は、例えば、不揮発性記憶装置に格納される各種プログラムを実行することにより各種機能を実現する。ダンプコントローラ210は、表示装置220、通信装置230、及び測位装置240を制御するように構成されている。
【0063】
本実施形態では、ダンプコントローラ210は、画像生成部を有する。画像生成部は、目標停止位置(後述)に関する画像を含む画像を生成するように構成されている。具体的には、画像生成部は、通信装置230を介して、ショベルコントローラ30が算出した目標停止位置に関する情報を受信する。そして、画像生成部は、ダンプトラック200の運転者がダンプトラック200を目標停止位置に停止させることができるようにする画像を生成し、その画像を表示装置220に表示させる。
【0064】
表示装置220は、画像を表示するように構成されている。本実施形態では、表示装置220は、運転席に着座した運転者から視認し易い位置に設けられ、ダンプコントローラ210による制御の下で各種画像を表示する。表示装置220は、CAN等の車載通信ネットワークを介してダンプコントローラ210に接続されていてもよく、一対一の専用線を介してダンプコントローラ210に接続されていてもよい。
【0065】
通信装置230は、移動体通信網、衛星通信網、近距離無線通信網、及びインターネット網等の少なくとも一つを含む通信ネットワークを通じて外部機器と通信するように構成されている。通信装置230は、例えば、LTE、4G、若しくは5G等の移動体通信規格に対応する移動体通信モジュール、Wi-Fi若しくはBluetooth等の近距離無線通信規格に対応する近距離無線通信モジュール、又は、衛星通信網に接続するための衛星通信モジュール等である。
【0066】
測位装置240は、ダンプトラック200の位置を測定するように構成されている。測位装置240は、ダンプトラック200の向きを検出するように構成されていてもよい。本実施形態では、測位装置240は、GNSSコンパスであり、ダンプトラック200の位置及び向きを導き出す。そして、測位装置240は、ダンプトラック200の位置及び向きに関する情報をダンプコントローラ210に向けて送信する。ダンプトラック200の向きは、ダンプトラック200に取り付けられた方位センサの出力に基づいて検出されてもよい。
【0067】
管理装置300は、施工現場の外に設置される端末装置である。本実施形態では、管理装置300は、施工現場の外にある管理センタ等に設置される据え置き型のコンピュータであり、主に、制御装置310、表示装置320、及び通信装置330を有する。但し、管理装置300は、ノートPC、タブレットPC、又はスマートフォン等の携帯端末であってもよい。
【0068】
制御装置310は、CPU、揮発性記憶装置、不揮発性記憶装置、及び、各種入出力インターフェース等を含むコンピュータによって構成される。制御装置310は、例えば、不揮発性記憶装置に格納される各種プログラムを実行することにより各種機能を実現する。制御装置310は、表示装置320及び通信装置330を制御するように構成されている。
【0069】
表示装置320は、画像を表示するように構成されている。本実施形態では、表示装置320は、制御装置310による制御の下で各種画像を表示する。
【0070】
通信装置330は、移動体通信網、衛星通信網、近距離無線通信網、及びインターネット網等の少なくとも一つを含む通信ネットワークを通じて外部機器と通信するように構成されている。本実施形態では、通信装置330は、LTE、4G、若しくは5G等の移動体通信規格に対応する移動体通信モジュール、Wi-Fi若しくはBluetooth等の近距離無線通信規格に対応する近距離無線通信モジュール、又は、衛星通信網に接続するための衛星通信モジュール等である。
【0071】
支援装置400は、携帯端末であり、例えば、施工現場にいる作業者等が携帯するノートPC、タブレットPC、又はスマートフォン等である。本実施形態では、支援装置400は、ダンプトラック200の運転者が携帯するスマートフォンであり、主に、制御装置410、表示装置420、通信装置430、及び測位装置440を有する。制御装置410、表示装置420、及び通信装置430は、管理装置300における制御装置310、表示装置320、及び通信装置330と同様である。
【0072】
本実施形態では、制御装置410は、ダンプコントローラ210と同様に、画像生成部を有する。画像生成部は、目標停止位置(後述)に関する画像を含む画像を生成するように構成されている。具体的には、画像生成部は、通信装置430を介して、ショベルコントローラ30が算出した目標停止位置に関する情報を受信する。そして、画像生成部は、ダンプトラック200の運転者がダンプトラック200を目標停止位置に停止させることができるようにする画像を生成し、その画像を表示装置420に表示させる。
【0073】
測位装置440は、支援装置400の位置を測定するように構成されている。測位装置440は、支援装置400がダンプトラック200の運転席の近くに設けられたクレードルに取り付けられた場合に、ダンプトラック200の向きを検出するように構成されていてもよい。この場合、測位装置440は、例えば、支援装置400に取り付けられた方位センサの出力に基づいてダンプトラック200の向きを導き出す。そして、測位装置440は、ダンプトラック200の位置及び向きに関する情報を制御装置410に向けて送信する。
【0074】
監視装置500は、所定の領域を監視するように構成されている。本実施形態では、監視装置500は、マルチコプタ(ドローン)又は飛行船等の飛行体に搭載され、施工現場を上空から監視できるように構成されている。具体的には、監視装置500は、主に、制御装置510、通信装置530、測位装置540、及び空間認識装置550を有する。制御装置510及び通信装置530は、管理装置300における制御装置310及び通信装置330と同様である。監視装置500は、施工現場に設置された鉄塔等の高い構造物の上端に取り付けられ、その構造物の周辺を上空から監視してもよい。
【0075】
測位装置540は、監視装置500の位置を測定するように構成されている。測位装置540は、監視装置500の向きを検出するように構成されていてもよい。本実施形態では、測位装置540は、GNSSコンパスであり、監視装置500の位置及び向きを導き出す。そして、測位装置540は、監視装置500の位置及び向きに関する情報を制御装置510に向けて送信する。監視装置500の向きは、監視装置500に取り付けられた方位センサの出力に基づいて検出されてもよい。
【0076】
空間認識装置550は、空間認識装置S6と同様に、監視対象である空間の状態を認識するように構成されている。本実施形態では、空間認識装置550は、施工現場を上空から撮像するように構成されている。具体的には、空間認識装置550は、例えば、単眼カメラ、ステレオカメラ、距離画像カメラ、赤外線カメラ、超音波センサ、ミリ波レーダ、レーザレーダ、LIDAR、RGB-Dセンサ、又は赤外線センサ等である。本実施形態では、空間認識装置550は、マルチコプタに取り付けられた単眼カメラである。空間認識装置550は、空間認識装置S6と同様に、物体検知装置として機能してもよい。この場合、空間認識装置550は、施工現場内に存在する物体を検知してもよい。
【0077】
次に、図4及び図5を参照し、ショベルコントローラ30がダンプトラック200の位置等を推定する処理(以下、「推定処理」とする。)について説明する。図4は、推定処理の一例を示すフローチャートである。ショベルコントローラ30は、所定の制御周期で繰り返しこの推定処理を実行する。図5は、推定処理で利用されるデータの例を示す。
【0078】
最初に、ショベルコントローラ30は、ダンプトラック200に関する点群を抽出する(ステップST1)。本実施形態では、ショベルコントローラ30は、センサS6FとしてのLIDARが出力する点群データからダンプトラック200に関する点群データを抽出する。センサS6Fは、隣接する複数のLIDARで構成されていてもよい。
【0079】
点群データは、3次元データの一例である。本実施形態では、点群データは、距離画像で表される。距離画像は、二次元配列の各要素の値として所定点からの距離が用いられる画像である。
【0080】
例えば、ショベルコントローラ30は、地面又は資材等のダンプトラック200以外の物体に関する点群データを除去することによってダンプトラック200に関する点群データを抽出する。
【0081】
例えば、ショベルコントローラ30は、第1時点において取得した距離画像と、第1時点よりも後の第2時点において取得した距離画像との差分を、ダンプトラック200に関する点群データとして抽出してもよい。即ち、第1時点と第2時点との間の時間内に移動した物体に関する点群データを、ダンプトラック200に関する点群データとして抽出してもよい。或いは、ショベルコントローラ30は、地面からの高さが所定の高さ以上となる点群データをダンプトラック200に関する点群データとして抽出してもよい。或いは、ショベルコントローラ30は、他の任意の方法を用いてダンプトラック200に関する点群データとして抽出してもよい。
【0082】
図5(A)は、空間認識装置S6としてのLIDARに併設された単眼カメラが撮像したダンプトラック200の画像200Gを示す。図5(B)は、ショベルコントローラ30が抽出したダンプトラック200に関する点群データPG1を示す。図5(B)に示す点群データPG1は、図5(A)に示すダンプトラック200の画像200Gに対応している。尚、単眼カメラが撮像したダンプトラック200の画像200Gは、推定処理を行う上で必須のデータではない。そのため、単眼カメラによるダンプトラック200の撮影は省略されてもよく、単眼カメラ自体が省略されてもよい。
【0083】
その後、ショベルコントローラ30は、荷台の底面除去処理、及び、法線のヒストグラムを作成する(ステップST2)。本実施形態では、ショベルコントローラ30は、主成分分析により、点群における注目点とその近傍点からその注目点における法線aを求める。すなわち、ショベルコントローラ30は、ダンプトラック200の荷台を構成する5つの面に関する点群を構成する各注目点における法線aを求める。5つの面は、底面、前面(フロントパネル)、後面(リアゲート)、左側面(左サイドゲート)、及び右側面(右サイドゲート)である。そして、ショベルコントローラ30は、法線aと鉛直上向きの法線bとの間に形成される角度θを以下の式(1)を用いて求める。
【0084】
【数1】
ダンプトラック200の荷台の形状は、略直方体であるため、ショベルコントローラ30は、ダンプトラック200の荷台の前面、後面、左側面、右側面、及び底面の5つの面に対して角度θを算出できる。ダンプトラック200の荷台の底面は、荷台の側面とは異なり、ダンプトラック200の傾き、空間認識装置S6とダンプトラック200との間の距離、又は、空間認識装置S6から見たダンプトラック200の向き等の変化に応じて死角となる部分の範囲が変化し易い。そのため、本実施形態では、ショベルコントローラ30は、荷台の底面に関する点群データを除去した上で、残りの点群データに基づいてダンプトラック200の位置等を推定するように構成されている。
【0085】
ダンプトラック200が水平面に位置する場合、荷台の底面の法線の向きは、鉛直上向きである。そして、ショベルコントローラ30は、式(1)で求められる角度θが所定値以下であれば、法線aが鉛直上向きの法線bとほぼ同じ向きを有すると判定でき、そのときの注目点が荷台の底面に関する点群のうちの1つであると判定できる。そのため、ショベルコントローラ30は、角度θを求めることにより、ダンプトラック200に関する点群データから荷台の底面に関する点群データを除去することができる。このようにして、ショベルコントローラ30は、式(1)で求められる角度θが所定値より大きい面を、荷台の残りの4つの面として抽出できる。
【0086】
図5(C)は、ダンプトラック200に関する点群データPG1から荷台の底面に関する点群データを除去することによって得られる点群データPG2を示す。具体的には、図5(C)は、ダンプトラック200の荷台を構成する4つの面に関する点群データPG2を示す。4つの面は、前面(フロントパネル)、後面(リアゲート)、左側面(左サイドゲート)、及び右側面(右サイドゲート)である。
【0087】
そして、ショベルコントローラ30は、荷台の残りの4つの面に関する点群データに基づき、法線の奥行き方向(ショベル100の前後方向)の成分であるz成分を横軸にとり、奥行き方向に対する法線の角度を縦軸にとる2次元ヒストグラムを作成する。本実施形態では、このときの点群データは、荷台の底面に関する点群データを除く。
【0088】
点群データはノイズによる誤差を含んでおり、その点群データから求められる法線も同様にノイズによる誤差を含む。そのため、本実施形態では、ショベルコントローラ30は、点群の誤差のばらつきがガウス分布に従うと仮定し、法線から作成した2次元ヒストグラムが混合ガウス分布に従うと仮定する。そして、ショベルコントローラ30は、EM(Expectation-Maximization)アルゴリズムを用いて点群のクラスタリングを行うことにより、各面の法線を推定する。例えば、ショベルコントローラ30は、最多の点群を含むクラスに対応する法線を代表法線とし、そのクラスに属する点群に対し、近傍点までの3次元距離を閾値としたクラスタリングを行う。
【0089】
その後、ショベルコントローラ30は、面を検出する(ステップST3)。本実施形態では、ショベルコントローラ30は、荷台の底面に関する点群が除去された後のダンプトラック200に関する点群を面として検出する。具体的には、ショベルコントローラ30は、ダンプトラック200の荷台を構成する4つの面のうちの少なくとも1つを検出する。
【0090】
より具体的には、ショベルコントローラ30は、上述のようにクラスタリングされた点群を構成する点の数が所定値以上であり、且つ、3次元距離が最も小さいクラスに属する点群を面として検出する。
【0091】
更に、検出した面が長方形の短辺(荷台の前面又は後面)及び長辺(荷台の左側面又は右側面)の何れに対応するかを判定するために、ショベルコントローラ30は、検出した面の法線に対する角度が90度となる法線を抽出する。そして、ショベルコントローラ30は、上述のように、近傍点までの3次元距離を用いたクラスタリングにより別の面を検出する。そして、ショベルコントローラ30は、検出した各面の長さに基づき、各面が長方形の短辺に対応するか或いは長辺に対応するかを判定する。
【0092】
その後、ショベルコントローラ30は、法線を推定する(ステップST4)。本実施形態では、ショベルコントローラ30は、RANSAC(Random Sample Consensus)による法線の推定を実行する。具体的には、ショベルコントローラ30は、短辺(又は長辺)に対応する面に関しては、長辺(又は短辺)に対応する面とは区別して、代表法線から求めた面に対してRANSACによる法線の推定を実行する。
【0093】
検出した面に関する点群は、典型的には、多くのノイズを含んでいるため、導き出される法線の向きも誤差を含んでいる。そのため、本実施形態では、ショベルコントローラ30は、代表となる面に対しては、RANSACによる法線の推定を実行することで、ノイズの影響による誤差を少なくするように構成されている。
【0094】
その後、ショベルコントローラ30は、ダンプトラック200の位置等を推定する(ステップST5)。本実施形態では、ショベルコントローラ30は、上述のようにして求めた法線の向きと面の重心から、荷台を構成する面を検出し、検出した面の位置と向きに基づいてダンプトラック200の位置等を推定する。ダンプトラック200の荷台の形状は略直方体であるため、ショベルコントローラ30は、その略直方体を構成する面の形状を求めることで、ダンプトラック200の位置と向きを推定することができる。
【0095】
図5(D)は、ショベルコントローラ30によって検出された面の1つである、ダンプトラック200の荷台の右側面を表す長方形RSを示している。具体的には、長方形RSは、右サイドゲートの内側の表面に対応している。この場合、ショベルコントローラ30は、例えば、長方形RSの4辺のうちの少なくとも1つの3次元距離からダンプトラック200の大きさ(トン数又は車種等)を推定できる。この場合、ショベルコントローラ30は、長方形RSの4辺のうちの少なくとも1つの3次元距離とダンプトラック200の大きさとの関係を体系的に記憶したテーブルを参照してダンプトラック200の大きさを導き出してもよい。例えば、ショベルコントローラ30は、ダンプトラック200の荷台の右側面を表す長方形RSの長辺の3次元距離(右サイドゲートの長辺の長さに相当)を検索キーとしてテーブルを参照し、予め入力された車種情報からそのような長さの右サイドゲートを備えたダンプトラック200の車種を特定してもよい。そして、ショベルコントローラ30は、特定したダンプトラック200の車種に関連付けて記憶されているダンプトラック200の大きさ(例えば、最大積載量、車長、車幅、又は車高等)を導き出してもよい。また、ショベルコントローラ30は、例えば、長方形RSの法線の向きからダンプトラック200の向きを推定できる。また、ショベルコントローラ30は、例えば、測位装置P1の出力、及び、長方形RSの4つの頂点のうちの少なくとも1つと空間認識装置S6との間の3次元距離から、ダンプトラック200の位置を推定できる。
【0096】
ショベルコントローラ30は、検出した2つ以上の面に関する情報に基づいてダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つを推定するように構成されていてもよい。例えば、ショベルコントローラ30は、ダンプトラック200の荷台の右側面を表す長方形RSに加え、ダンプトラック200の荷台の後面を表す長方形を導き出してもよい。ダンプトラック200の荷台の後面を表す長方形は、例えば、リアゲートの外側の表面に対応している。この場合、ショベルコントローラ30は、例えば、荷台の右側面を表す長方形RSから暫定的に推定したダンプトラック200の位置等と、荷台の後面を表す長方形から暫定的に推定したダンプトラック200の位置等とに基づき、ダンプトラック200の位置等を最終的に推定してもよい。或いは、ショベルコントローラ30は、例えば、荷台の右側面を表す長方形RSからダンプトラック200の位置等の一部(例えば向きのみ)を推定し、荷台の後面を表す長方形からダンプトラック200の位置等の残り(例えば位置及び大きさ)を推定してもよい。
【0097】
この推定処理により、ショベルコントローラ30は、ダンプトラック200の位置等を正確に推定できる。そのため、ショベルコントローラ30は、例えば、マシンコントロール機能を実行する場合、ショベル100の油圧アクチュエータを適切に且つ自律的に動作させることができる。具体的には、ショベルコントローラ30は、ショベル100に搭載されている油圧アクチュエータを適切に且つ自律的に動作させることにより、ショベル100による積み込み作業の信頼性を高めることができる。上記の実施形態では、ショベルコントローラ30は、ダンプトラック200を後方より検出したため、荷台の底面を除去し右側面を抽出する処理を行ったが、ダンプトラック200を上方から検出する場合には底面を抽出する方がダンプトラック200の位置等の推定精度を高めることができる。この場合、ショベルコントローラ30は、前面、後面、左側面、及び右側面を除去し、抽出した底面に基づいてダンプトラック200の位置と向きを求めることができる。このように、ダンプトラック200を検出する向きに応じて除去される面や抽出される面は変更される。
【0098】
次に、図6を参照し、推定処理による効果について説明する。図6は、ショベル100によるダンプトラック200への土砂等の積み込みが行われている作業現場の様子の一例を示す。具体的には、図6は、施工現場におけるショベル100及びダンプトラック200の上面図である。図6において、実線で描かれたショベル100は掘削動作が終了したときのショベル100の状態を表し、一点鎖線で描かれたショベル100は排土動作が開始される前のショベル100の状態を表す。本実施形態では、排土動作は、バケット開き動作、又は、バケット開き動作を含む複合動作であり、旋回動作を含まない。典型的には、排土動作は、バケット開き動作、アーム開き動作、及びブーム下げ動作を含む複合動作である。また、実線で描かれたバケット6Aは掘削動作が終了したときのバケット6の状態を表し、一点鎖線で描かれたバケット6Bは排土動作が開始される前のバケット6の状態を表す。また、図6における太い破線は、バケット6の背面にある所定点が描く軌跡を表す。
【0099】
積み込み作業では、通常、ショベル100の操作者は、掘削動作終了後に操作装置26を用いてブーム上げ旋回操作を行う。本実施形態では、操作者は、右旋回操作を含む複合操作を行う。具体的には、ショベル100の姿勢が一点鎖線で示すような姿勢になるまで、即ち、バケット6の背面にある所定点が点P2に達するまで、操作者は、ブーム上げ操作と右旋回操作とを含む複合操作を行う。複合操作にはバケット6の開閉操作が含まれていてもよい。ダンプトラック200の荷台とバケット6とが接触しないようにしながら、バケット6を荷台の上に移動させるためである。このような一連の操作を行うことで、操作者は、ダンプトラック200の荷台に土砂等を積み込むことができる。
【0100】
太い点線で表される矩形CBは、推定処理によってショベルコントローラ30が推定したダンプトラック200の荷台の位置を表している。また、二点鎖線は、ショベルコントローラ30が推定したダンプトラック200の向きを表している。具体的には、二点鎖線は、ダンプトラック200の前後軸L1を表している。
【0101】
図6に示すように、ショベルコントローラ30は、ダンプトラック200の位置等を推定することによって、例えば、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差しない位置関係にあることを認識できる。即ち、ショベルコントローラ30は、上部旋回体3の旋回位置をどのように変化させたとしても、上部旋回体3の前後軸とダンプトラック200の前後軸L1とを平行にすることができないことを認識できる。
【0102】
そして、このような位置関係にあることを認識できた場合、ショベルコントローラ30は、例えば、排土動作の際に上部旋回体3を適切に旋回させなければ、バケット6内に取り込まれている土砂等をダンプトラック200の荷台上に偏り無く放出することができないことを認識できる。
【0103】
排土動作を開始する際に、上部旋回体3の前後軸とダンプトラック200の前後軸L1とが平行であれば、ショベル100は、排土動作を実行するだけで、バケット6内に取り込まれている土砂等をダンプトラック200の荷台上に均一に撒き均すことができる。ダンプトラック200の前後軸L1に沿ってバケット6を移動させることができるためである。しかしながら、上部旋回体3の前後軸とダンプトラック200の前後軸L1とが平行でない場合には、ショベル100は、排土動作を実行するだけでは、バケット6内に取り込まれている土砂等をダンプトラック200の荷台上に均一に撒き均すことができない。掘削アタッチメントATを動作させるだけでは、ダンプトラック200の前後軸L1に沿ってバケット6を移動させることができないためである。そのため、ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差しない位置関係にあることを認識した場合、排土動作の際に上部旋回体3を自律的に旋回させることで、バケット6内に取り込まれている土砂等がダンプトラック200の荷台上に均一に撒き均されるようにすることができる。すなわち、ショベル100の操作者は、排土動作の際に旋回操作を行わなくとも、バケット6内に取り込まれている土砂等をダンプトラック200の荷台上に均一に撒き均すことができる。
【0104】
或いは、ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差しない位置関係にあることを認識した場合、走行油圧モータ2Mを駆動して下部走行体1を動作させてもよい。具体的には、ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差するようにショベル100を移動させてもよい。
【0105】
或いは、ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差しない位置関係にあることをショベル100の操作者に知らせてもよい。ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差するようにショベル100を移動させることを操作者に促すためである。
【0106】
或いは、ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差しない位置関係にあることをダンプトラック200の運転者に知らせてもよい。ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差するようにダンプトラック200を移動させることを運転者に促すためである。この場合、ショベルコントローラ30は、目標停止位置を導き出し、その目標停止位置に関する情報をダンプトラック200の運転者に提示してもよい。目標停止位置は、ダンプトラック200を停止させるべき位置であり、例えば、ダンプトラック200を上から見たときのダンプトラック200の占有面積に対応する矩形で表される。そして、目標停止位置は、典型的には、その目標停止位置に停止したダンプトラック200の前後軸L1がショベル100の旋回軸SAと交差するように設定される。
【0107】
このように、ダンプトラック200の位置等を正確に推定できることは、ショベル100による積み込み作業の効率化を実現できる。ショベルコントローラ30は、ショベル100の旋回軸SAとダンプトラック200の前後軸L1とが交差した状態で積み込み作業が行われるよう、ショベル100の操作者、及び、ダンプトラック200の運転者の少なくとも一方に働きかけることができるためである。
【0108】
次に、図7を参照し、推定処理の別の一例について説明する。図7は、推定処理の別の一例を示すフローチャートである。ショベルコントローラ30は、所定の制御周期で繰り返しこの推定処理を実行する。図7に示す推定処理は、ステップST0を有する点で、図4に示す推定処理と異なるが、ステップST1~ステップST5を有する点では図4に示す推定処理と同じである。そのため、以下では、共通部分の説明が省略され、相違部分が詳説される。
【0109】
図7に示す推定処理では、ショベルコントローラ30は、ダンプトラック200が所定の作業範囲内に位置しているか否かを判定する(ステップST0)。本実施形態では、ショベルコントローラ30は、空間認識装置S6の出力を用いてダンプトラック200に関する点群を抽出する前に、この判定タスクを実行する。即ち、ショベルコントローラ30は、ダンプトラック200が所定の作業範囲内に位置していると判定するまでは、ダンプトラック200に関する点群の抽出を行わない。ダンプトラック200がショベル100から離れた位置(積み込み作業に適さない位置)にあるにもかかわらず、ダンプトラック200の位置等を正確に推定するといった必要以上の演算が行われてしまうのを防止するためである。
【0110】
具体的には、ショベルコントローラ30は、空間認識装置S6に併設された単眼カメラが撮像した画像に基づき、所定の作業範囲内にダンプトラック200が位置しているか否かを判定する。ショベルコントローラ30は、超音波センサ、ミリ波レーダ等の単眼カメラ以外の装置の出力に基づいてダンプトラック200の存否を判定してもよい。すなわち、ショベルコントローラ30は、ステップST1以降のタスクを実行するための演算コストよりも低い演算コストでステップST0の判定タスクを実行できるのであれば、LIDARを含めた任意の装置の出力に基づいてダンプトラック200の存否を判定してもよい。この段階では、ショベルコントローラ30は、ショベル100の周囲にダンプトラック200が存在するか否かを判定できればよく、ショベル100の周囲にダンプトラック200が存在する場合であっても、ダンプトラック200の位置を大まかに認識できればよいためである。例えば、ショベルコントローラ30は、予め登録されたダンプトラック200の画像と単眼カメラが撮像した画像に含まれる画像部分とを照合するパターンマッチングにより、ダンプトラック200の存否を判定し、或いは、ダンプトラック200の位置を認識してもよい。或いは、ショベルコントローラ30は、深層学習を利用することにより、単眼カメラが撮像した画像内にダンプトラック200の画像が存在するか否かを判定し、或いは、ダンプトラック200の位置を認識してもよい。ショベルコントローラ30は、例えば、ダンプトラック200の荷台の中心の座標、又は、ダンプトラック200の荷台の後端の座標等をダンプトラック200の位置として認識する。座標は、例えば、単眼カメラの位置を中心とする座標系における座標である。
【0111】
また、ショベルコントローラ30は、単眼カメラが撮像した画像に基づき、ダンプトラック200の位置及び向きを認識してもよい。この場合も、ショベルコントローラ30は、ダンプトラック200の位置及び向きを大まかに認識できればよい。
【0112】
所定の作業範囲は、例えば、積み込み作業に適した範囲である。すなわち、所定の作業範囲内にダンプトラック200が位置していることは、ダンプトラック200が積み込み作業に適した範囲内に位置していることを意味する。本実施形態では、所定の作業範囲は、単眼カメラの位置を中心とする座標系における座標範囲として設定される。
【0113】
ショベルコントローラ30は、認識したダンプトラック200の位置と、設定した所定の作業範囲とに基づき、ダンプトラック200が所定の作業範囲内に位置しているか否かを判定する。ショベルコントローラ30は、例えば、ダンプトラック200の荷台の中心の座標が、所定の作業範囲に対応する座標範囲内に含まれる場合に、ダンプトラック200が所定の作業範囲内に位置していると判定する。
【0114】
ダンプトラック200が所定の作業範囲内に位置していないと判定した場合(ステップST0のNO)、ショベルコントローラ30は、ステップST1以降のタスクを実行することなく、今回の推定処理を終了させる。
【0115】
一方、ダンプトラック200が所定の作業範囲内に位置していると判定した場合(ステップST0のYES)、ショベルコントローラ30は、ステップST1以降のタスクを実行し、ダンプトラック200の位置等を推定する。
【0116】
また、一旦、ダンプトラック200が所定の作業範囲内に位置していると判定した後は、次回以降の推定処理において、ショベルコントローラ30は、ステップST0の判定を省略し、ステップST1以降のタスクを実行してもよい。例えば、ダンプトラック200が所定の作業範囲内に位置していると判定した後の所定期間においては、或いは、推定処理を所定回数繰り返すまでは、ショベルコントローラ30は、ステップST0の判定を省略し、ステップST1以降のタスクを実行してもよい。演算負荷を低減させるためである。
【0117】
この構成により、ショベルコントローラ30は、ダンプトラック200の位置等の推定に関する演算負荷を低減させることができる。ショベル100の周囲にダンプトラック200が存在しない場合、或いは、積み込み作業に適さない場所にダンプトラック200が位置している場合には、ショベルコントローラ30は、ダンプトラック200の位置等を推定するためのタスクであるステップST1以降のタスクを実行しないためである。
【0118】
上述のように、本発明の一実施形態に係る、下部走行体1と、下部走行体1に旋回可能に搭載された上部旋回体3と、上部旋回体3に取り付けられたアタッチメントと、を有するショベル100のためのシステムである施工支援システムSYSは、物体検知装置の出力に基づいてダンプトラック200に関する3次元データを取得し、ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報に基づいてダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つを推定するように構成されている。物体検知装置は、典型的には、ショベル100に取り付けられた空間認識装置S6である。但し、物体検知装置は、ショベル100の外部に設置された空間認識装置であってもよい。例えば、物体検知装置は、他の建設機械、建屋、電柱、又は飛行体等に取り付けられていてもよい。
【0119】
この構成により、施工支援システムSYSは、ショベル100による積み込み作業をより適切に支援できる。ダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つを正確に推定できるためである。また、施工支援システムSYSは、深層学習等の機械学習を利用した画像認識処理を行うことなくダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つを推定できるため、学習済みモデル等が用意される必要もなく、容易に導入され得る。
【0120】
施工支援システムSYSは、ダンプトラック200に関する3次元データからダンプトラック200の荷台を構成する少なくとも1つの面に関する情報を抽出するように構成されていてもよい。ダンプトラック200の荷台を構成する少なくとも1つの面は、典型的には、ダンプトラック200の荷台を構成する4つの側面のうちの少なくとも1つである。
【0121】
施工支援システムSYSは、ダンプトラック200に関する3次元データからダンプトラック200の荷台に関する3次元データを抽出するように構成されていてもよい。例えば、施工支援システムSYSは、空間認識装置S6が出力する3次元データから、ダンプトラック200の周囲にある土砂、路面、又は、ダンプトラック200のタイヤ等に関する3次元データを除去することによって、ダンプトラック200の荷台に関する3次元データを抽出するように構成されていてもよい。
【0122】
施工支援システムSYSは、ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報を抽出する際には、全体形状が認識可能な面に関する情報を優先的に抽出するように構成されていてもよい。この場合、全体形状が認識可能な面は、例えば、3つ以上の角部が認識可能な面であってもよい。或いは、全体形状が認識可能な面は、例えば、2つ以上の角部が認識可能な面であってもよい。典型的には、全体形状が認識可能な面は、ダンプトラック200の荷台を構成する4つの側面のうちの少なくとも1つである。ダンプトラック200の荷台の底面は、空間認識装置S6から見た場合、ダンプトラック200の荷台を構成する側面の陰に隠れてしまう部分が多いため、上述の実施形態では、施工支援システムSYSは、ダンプトラック200の荷台の底面を優先的に抽出することはない。但し、別の実施形態では、施工支援システムSYSは、ダンプトラック200の荷台の底面を優先的に抽出してもよい。
【0123】
この構成により、施工支援システムSYSは、全体形状が認識可能な面に関する情報に基づいてダンプトラック200の位置、向き、及び大きさのうちの少なくとも1つを推定できるため、推定結果の信頼性を向上させることができる。
【0124】
ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報は、望ましくは、ダンプトラック200の荷台の底面以外の面に関する情報である。上述のように、ダンプトラック200の荷台の底面は、空間認識装置S6から見た場合、ダンプトラック200の荷台を構成する側面の陰に隠れてしまう部分が多いためである。
【0125】
施工支援システムSYSは、ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報のうちの、ダンプトラック200の荷台を構成する少なくとも1つの面の形状に関する情報に基づき、ダンプトラック200の大きさ又は種類を導き出すように構成されていてもよい。面の形状に関する情報は、例えば、長方形の長辺又は短辺の3次元距離である。
【0126】
施工支援システムSYSは、ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報のうちの、ダンプトラック200の荷台を構成する少なくとも1つの面の位置に関する情報に基づき、ダンプトラック200の位置を導き出すように構成されていてもよい。面の位置に関する情報は、例えば、その面の重心の座標、又は、その面の輪郭上の点の座標等である。
【0127】
施工支援システムSYSは、ダンプトラック200の荷台を構成する少なくとも1つの面に関する情報のうちの、ダンプトラック200の荷台を構成する少なくとも1つの面の向きに関する情報に基づき、ダンプトラック200の向きを導き出すように構成されていてもよい。面の向きに関する情報は、例えば、その面の法線の向き、又は、その面の長辺若しくは短辺の延長方向等である。
【0128】
施工支援システムSYSは、ダンプトラック200に関する3次元データを取得する前に、ダンプトラック200の存否を判定するように構成されていてもよい。或いは、施工支援システムSYSは、ダンプトラック200に関する3次元データを取得する前に、ダンプトラック200の位置、向き、及び種類のうちの少なくとも1つを推定するように構成されていてもよい。或いは、施工支援システムSYSは、ダンプトラック200に関する3次元データを取得する前に、ダンプトラック200が所定の作業範囲内に進入したか否かを判定するように構成されていてもよい。例えば、施工支援システムSYSは、ショベル100に搭載されたカメラが撮像した画像に基づいてダンプトラック200の存否を判定するように構成されていてもよい。この場合、カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ダンプトラック200がショベル100から離れているにもかかわらず、ダンプトラック200の位置等を正確に推定するための演算コストの高いタスクが実行されてしまうのを防止するためである。この構成により、施工支援システムSYSは、演算負荷が不必要に増大してしまうのを防止できる。
【0129】
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
【0130】
例えば、上述の実施形態では、ショベルコントローラ30は、推定処理において、ダンプトラック200の荷台の底面に関する点群データを除去するように構成されている。但し、ショベルコントローラ30は、ダンプトラック200の荷台の底面以外の別の一面に関する点群データを除去するように構成されていてもよい。例えば、空間認識装置S6が高い位置からダンプトラック200を見下ろすような状況では、ダンプトラック200の荷台の底面は、死角となる部分の範囲が狭くなる傾向にある。その一方で、例えば、ダンプトラック200の荷台の後面は、空間認識装置S6とダンプトラック200との間の距離等の変化に応じて死角となる部分の範囲が変化し易い。この場合、ショベルコントローラ30は、推定処理において、ダンプトラック200の荷台の後面に関する点群データを除去するように構成されていてもよい。
【符号の説明】
【0131】
1・・・下部走行体 1C・・・クローラ 1CL・・・左クローラ 1CR・・・右クローラ 2・・・旋回機構 2A・・・旋回油圧モータ 2M・・・走行油圧モータ 2ML・・・左走行油圧モータ 2MR・・・右走行油圧モータ 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 11a・・・オルタネータ 11b・・・スタータ 11c・・・水温センサ 13・・・レギュレータ 14・・・メインポンプ 14c・・・油温センサ 15・・・パイロットポンプ 17・・・コントロールバルブユニット 26・・・操作装置 28・・・吐出圧センサ 29・・・操作圧センサ 30・・・ショベルコントローラ 31・・・比例弁 32・・・シャトル弁 40・・・表示装置 42・・・入力装置 43・・・音出力装置 47・・・記憶装置 70・・・蓄電池 72・・・電装品 74・・・エンジン制御装置 75・・・ダイヤル 100・・・ショベル 200・・・ダンプトラック 210・・・ダンプコントローラ 220・・・表示装置 230・・・通信装置 240・・・測位装置 300・・・管理装置 310・・・制御装置 320・・・表示装置 330・・・通信装置 400・・・支援装置 410・・・制御装置 420・・・表示装置 430・・・通信装置 440・・・測位装置 500・・・監視装置 510・・・制御装置 530・・・通信装置 540・・・測位装置 550・・・空間認識装置 900・・・通信網 NS・・・スイッチ P1・・・測位装置 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回状態センサ S6・・・空間認識装置 S6B、S6F、S6L、S6R・・・センサ SYS・・・施工支援システム T1・・・通信装置
図1
図2
図3
図4
図5
図6
図7