特許 7481908 掘削計画作成装置、作業機械および掘削計画作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-01

(45)【発行日】2024-05-13

(54)【発明の名称】掘削計画作成装置、作業機械および掘削計画作成方法

(51)【国際特許分類】

   E02F 9/20 20060101AFI20240502BHJP

【ＦＩ】

E02F9/20 Q

【請求項の数】 10

(21)【出願番号】P 2020094297

(22)【出願日】2020-05-29

(65)【公開番号】P2021188362

(43)【公開日】2021-12-13

【審査請求日】2023-04-14

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】逢澤 正憲

【審査官】小倉 宏之

(56)【参考文献】

【文献】国際公開第２０１９／１８９８８８（ＷＯ，Ａ１）

【文献】特開２０１６－１３０４０９（ＪＰ，Ａ）

【文献】特開平０８－０４９２６５（ＪＰ，Ａ）

【文献】国際公開第２０１９／１３１９７９（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０４９８２１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０００６４８４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２０

(57)【特許請求の範囲】

【請求項1】

地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルであって、土質に係るパラメータを異ならせて機械学習された複数の計画モデルを記憶する記憶部と、
土質を推定する土質推定部と、
地形情報を取得する地形情報取得部と、
前記土質推定部が推定した土質に基づき前記計画モデルを選択し、選択した前記計画モデルに、前記地形情報取得部が取得した地形情報を入力し、前記計画モデルの出力として前記計画値を算出する計画値算出部と、
を備え、
前記土質推定部は、前記計画値算出部が算出した計画値が指示するバケットの刃先位置の計画軌跡と、前記バケットの実際の刃先の軌跡のずれに基づいて土質を推定する、
掘削計画作成装置。

【請求項2】

前記計画モデルは、掘削効率を評価値とする強化学習によって機械学習されている、
請求項１に記載の掘削計画作成装置。

【請求項3】

前記土質推定部は、前記計画軌跡より実際の軌跡が浅い場合には、実際の土質は推定土質より掘削抵抗が大きい土質であると推定し、また、前記計画軌跡と実際の軌跡の差が小さい場合には、実際の土質は推定土質に近い土質であると推定する、
請求項１または２に記載の掘削計画作成装置。

【請求項4】

バケットの刃先位置と前記バケットを支持する作業機の負荷の時系列データと、前記土質推定部が推定した土質とに基づき、前記地形情報を推定する地形情報推定部をさらに備え、
前記地形情報取得部が、前記地形情報推定部によって推定された前記地形情報を取得する、
請求項１から３のいずれか１項に記載の掘削計画作成装置。

【請求項5】

前記地形情報推定部は、前記バケットからのこぼれ土量の推定値を、前記掘削軌跡に加算して、加算後の地形を算出する、
請求項４に記載の掘削計画作成装置。

【請求項6】

前記地形情報推定部は、前記加算後の地形のくずれ量を想定して地形を算出する、
請求項５に記載の掘削計画作成装置。

【請求項7】

前記地形情報推定部は、前記こぼれ土量および前記くずれ量を前記土質に応じて変化させる、
請求項６に記載の掘削計画作成装置。

【請求項8】

請求項１から７のいずれか１項に記載の掘削計画作成装置、
を備える作業機械。

【請求項9】

地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルであって、土質に係るパラメータを異ならせて機械学習された複数の計画モデルを記憶する記憶部と、
土質を推定する土質推定部と、
地形情報を取得する地形情報取得部と、
前記土質推定部が推定した土質に基づき前記計画モデルを選択し、選択した前記計画モデルに、前記地形情報取得部が取得した地形情報を入力し、前記計画モデルの出力として前記計画値を算出する計画値算出部と、
バケットの刃先位置と前記バケットを支持する作業機の負荷の時系列データと、前記土質推定部が推定した土質とに基づき、前記地形情報を推定する地形情報推定部と、を備え、
前記地形情報取得部が、前記地形情報推定部によって推定された前記地形情報を取得する、
掘削計画作成装置。

【請求項10】

地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルであって、掘削効率を評価値として土質に係るパラメータをそれぞれ異ならせて機械学習された複数の計画モデルを記憶するステップと、
土質を推定するステップと、
地形情報を取得するステップと、
推定した土質に基づき前記計画モデルを選択し、選択した前記計画モデルに、取得した地形情報を入力し、前記計画モデルの出力として前記計画値を算出するステップと、
を含み、
前記土質を推定するステップでは、前記計画値を算出するステップで算出した計画値が指示するバケットの刃先位置の計画軌跡と、前記バケットの実際の刃先の軌跡のずれに基づいて土質を推定する、
掘削計画作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、掘削計画作成装置、作業機械および掘削計画作成方法である。

【背景技術】

【0002】

特許文献１には、掘削処理を効率的に行い得る戦略を決定するための方法等が開示されている。特許文献１に記載の方法では、掘削区域の分割や掘削順序は、ベテランオペレータの経験知識に基づくルールに従って決定される。また、バケットの最適な位置と向きを決定する際には、物質の状態（例えば、濡れた砂であるとか固まっていない土）も、掘削中にバケットが遭遇する抵抗力を予測するために考慮される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－２４７２３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、掘削計画における作業効率は、例えば、掘削土量と作業時間によって定義することができる。このうち掘削土量は、例えば、切り取り土量、切り取った後のバケットからのこぼれ土量、掘削箇所に崩れ込んでくるくずれ土量等によって決定される。これらの土量は、掘削箇所の土質（例えば、砂なのか粘土なのか）によって大きく変化する。

【0005】

特許文献１に記載の方法では、土質に係るパラメータについても一定程度考慮されているが、区域の分割や掘削順序の決定は一定のルールに従って行われるので、考慮が十分ではない場合があるという課題がある。

【0006】

本発明は、上記事情に鑑みてなされたものであり、掘削計画を作成する際に土質の影響を適切に考慮することができる掘削計画作成装置、作業機械および掘削計画作成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一態様は、地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルであって、掘削効率を評価値として土質に係るパラメータをそれぞれ異ならせて機械学習された複数の計画モデルを記憶する記憶部と、土質を推定する土質推定部と、地形情報を取得する地形情報取得部と、前記土質推定部が推定した土質に基づき前記計画モデルを選択し、選択した前記計画モデルに、前記地形情報取得部が取得した地形情報を入力し、前記計画モデルの出力として前記計画値を算出する計画値算出部とを備える掘削計画作成装置である。

【発明の効果】

【0008】

本発明によれば、掘削計画を作成する際に土質の影響を適切に考慮することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る掘削計画作成装置の構成例を示すブロック図である。

【図2】図１に示す掘削計画作成装置１００を搭載する作業機械としての油圧ショベル１の構成例を示す斜視図である。

【図3】図１に示す掘削計画作成装置１００の動作例を示すフローチャートである。

【図4】図１に示す土質推定部１０１の動作例を説明するための模式図である。

【図5】図１に示す地形情報推定部１０２の動作例を説明するための模式図である。

【図6】図１に示す計画モデル１０６の学習の仕方の一例を示す模式図である。

【図7】図２に示す油圧ショベル１の動作例を模式的に示す平面図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

【0011】

図１は、本発明の一実施形態に係る掘削計画作成装置１００の構成例を示すブロック図である。図２は、図１に示す掘削計画作成装置１００を搭載する作業機械としての油圧ショベル１の構成例を示す斜視図である。

【0012】

図１に示す掘削計画作成装置１００は、例えば、マイクロコンピュータ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のコンピュータ、または、コンピュータとその周辺回路あるいは周辺装置等を用いて構成することができる。そして、掘削計画作成装置１００は、コンピュータ、周辺回路、周辺装置等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、土質推定部１０１と、地形情報推定部１０２と、地形情報取得部１０３と、計画値算出部１０４と、記憶部１０５を備える。本実施形態の掘削計画作成装置１００は、例えば図２に示すように油圧ショベル１等の作業機械（掘削機械）に搭載される。油圧ショベル１は、図１に示す、掘削計画作成装置１００と、地形情報を計測する地形計測部１１０と、油圧ショベル１の各部を制御する制御部１２０を備える。

【0013】

図２に示す油圧ショベル１は、本体部としての車両本体１Ｂと作業機２とを有する。車両本体１Ｂは、旋回体である上部旋回体３と走行体としての走行装置５とを有する。上部旋回体３は、機関室３ＥＧの内部に、動力発生装置であるエンジンおよび油圧ポンプ等の装置を収容している。実施形態において、油圧ショベル１は、動力発生装置であるエンジンに、例えばディーゼルエンジン等の内燃機関が用いられるが、動力発生装置は内燃機関に限定されない。油圧ショベル１の動力発生装置は、例えば、内燃機関と発電電動機と蓄電装置とを組み合わせた、いわゆるハイブリッド方式の装置であってもよい。また、油圧ショベル１の動力発生装置は、内燃機関を有さず、蓄電装置と発電電動機とを組み合わせた装置であってもよい。

【0014】

上部旋回体３は、運転室４を有する。図２に示す例において、運転室４は、上部旋回体３の機関室３ＥＧが配置されている側とは反対の側に設置されている。ただし、運転室４と機関室３ＥＧの位置関係はこの例に限定されない。上部旋回体３の上方には、手すり９が取り付けられている。

【0015】

走行装置５は、上部旋回体３を搭載する。走行装置５は、履帯５ａ、５ｂを有している。走行装置５は、左右に設けられた油圧モータ５ｃの一方または両方が駆動する。走行装置５の履帯５ａ、５ｂが回転することにより、油圧ショベル１を走行させる。作業機２は、上部旋回体３の運転室４の側方側に取り付けられている。

【0016】

油圧ショベル１は、履帯５ａ、５ｂの代わりにタイヤを備え、エンジンの駆動力を、トランスミッションを介してタイヤへ伝達して走行が可能な走行装置を備えたものであってもよい。このような形態の油圧ショベル１としては、例えば、ホイール式油圧ショベルがある。また、油圧ショベル１は、このようなタイヤを有した走行装置を備え、さらに車両本体（本体部）に作業機が取り付けられ、図２に示すような上部旋回体３およびその旋回機構を備えていない構造を有する、例えばバックホウローダであってもよい。すなわち、バックホウローダは、車両本体に作業機が取り付けられ、車両本体の一部を構成する走行装置を備えたものである。

【0017】

上部旋回体３は、作業機２および運転室４が配置されている側が前であり、機関室３ＥＧが配置されている側が後である。上部旋回体３の前後方向がｙ方向である。前に向かって左側が上部旋回体３の左であり、前に向かって右側が上部旋回体３の右である。上部旋回体３の左右方向は、幅方向またはｘ方向ともいう。油圧ショベル１または車両本体１Ｂは、上部旋回体３を基準として走行装置５側が下であり、走行装置５を基準として上部旋回体３側が上である。上部旋回体３の上下方向がｚ方向である。油圧ショベル１が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。

【0018】

作業機２は、ブーム６とアーム７と作業具であるバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。ブーム６の基端部は、ブームピン１３を介して車両本体１Ｂの前部に回動可能に取り付けられている。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。アーム７の先端部には、バケットピン１５を介してバケット８が取り付けられている。バケット８は、バケットピン１５を中心として回動する。バケット８は、バケットピン１５とは反対側に複数の刃８Ｂが取り付けられている。刃先８Ｔは、刃８Ｂの先端である。

【0019】

バケット８は、複数の刃８Ｂを有していなくてもよい。つまり、図２に示されるような刃８Ｂを有しておらず、刃先が鋼板によってストレート形状に形成されたようなバケットであってもよい。作業機２は、例えば、単数の刃を有するチルトバケットを備えていてもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形したり、整地したりすることができ、底板プレートによる転圧作業もできるバケットである。この他にも、作業機２は、バケット８の代わりに、法面バケットまたは削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。

【0020】

図２に示されるブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ１０はブーム６を駆動して、昇降させる。アームシリンダ１１は、アーム７を駆動して、アームピン１４の周りを回動させる。バケットシリンダ１２は、バケット８を駆動して、バケットピン１５の周りを回動させる。

【0021】

また、作業機２は、図示していない第１ストロークセンサ、第２ストロークセンサおよび第３ストロークセンサを備えている。第１ストロークセンサはブームシリンダ１０に、第２ストロークセンサはアームシリンダ１１に、第３ストロークセンサはバケットシリンダ１２に、それぞれ設けられる。第１ストロークセンサは、ブームシリンダ１０の長さであるブームシリンダ長を検出して制御部１２０に出力する。第２ストロークセンサは、アームシリンダ１１の長さであるアームシリンダ長を検出して制御部１２０に出力する。第３ストロークセンサは、バケットシリンダ１２の長さであるバケットシリンダ長を検出して制御部１２０に出力する。

【0022】

ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機２の姿勢が決定される。したがって、これらを検出する第１ストロークセンサ、第２ストロークセンサおよび第３ストロークセンサは、作業機２の姿勢を検出する姿勢検出装置に相当する。姿勢検出装置は、第１ストロークセンサ、第２ストロークセンサおよび第３ストロークセンサに限定されるものではなく、角度検出器であってもよい。

【0023】

制御部１２０は、第１ストロークセンサが検出したブームシリンダ長から、油圧ショベル１の座標系であるローカル座標系における水平面と直交する方向（ｚ軸方向）に対するブーム６の傾斜角を算出する。制御部１２０は、また、第２ストロークセンサが検出したアームシリンダ長から、ブーム６に対するアーム７の傾斜角を算出する。制御部１２０は、また、第３ストロークセンサが検出したバケットシリンダ長から、アーム７に対するバケット８の傾斜角を算出する。ブーム６、アーム７およびバケット８の傾斜角は、作業機２の姿勢を示す情報である。

【0024】

上部旋回体３の上部には、アンテナ２１、２２が取り付けられている。アンテナ２１、２２は、油圧ショベル１の現在位置を検出するために用いられる。アンテナ２１、２２は、制御部１２０（またはその周辺回路）に接続されている。制御部１２０（またはその周辺回路）は、アンテナ２１、２２を用いて、ＲＴＫ－ＧＮＳＳ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ － Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍｓ、ＧＮＳＳは全地球航法衛星システムをいう）による電波を受信し、油圧ショベル１の現在位置を検出する。アンテナ２１、２２が受信したＧＮＳＳ電波に応じた信号は、制御部１２０に入力され、グローバル座標系におけるアンテナ２１、２２の設置位置が算出される。全地球航法衛星システムの一例としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）が挙げられるが、全地球航法衛星システムは、これに限定されるものではない。

【0025】

アンテナ２１、２２は、図２に示されるように、上部旋回体３の上であって、油圧ショベル１の左右方向、すなわち幅方向に離れた両端位置に設置されることが好ましい。実施形態において、アンテナ２１、２２は、上部旋回体３の幅方向両側にそれぞれ取り付けられた手すり９に取り付けられる。アンテナ２１、２２が上部旋回体３に取り付けられる位置は手すり９に限定されるものではないが、アンテナ２１、２２は、可能な限り離れた位置に設置される方が、油圧ショベル１の現在位置の検出精度は向上するので好ましい。また、アンテナ２１、２２は、オペレータの視界を極力妨げない位置に設置されることが好ましい。

【0026】

また、油圧ショベル１は、撮像装置１９を備える。撮像装置１９は、例えば、ステレオカメラであり、例えば油圧ショベル１の作業対象の領域を撮像し、撮像した画像を撮像装置１９が備える地形計測部１１０に出力する。地形計測部１１０は、撮像装置１９が撮影した視差画像に基づき、３次元の地形情報を作成して計測地形情報として掘削計画作成装置１００へ出力する。撮像装置１９は、例えば、上部旋回体３の運転室４の上方に設置される。ただし、撮像装置１９が設置される場所は運転席４の上方に限定されるものではない。例えば、撮像装置１９は、運転室４の内部かつ上方に設置されてもよい。なお、地形計測部１１０は、撮像装置１９に代えて、あるいは、とともに、三次元レーザーレンジファインダ、三次元レーザースキャナ、三次元距離センサ等を用いて地形情報を作成してもよい。

【0027】

図１に戻り、地形計測部１１０は、３次元の地形情報を表す計測地形情報を作成して、掘削計画作成装置１００へ例えば所定周期毎に出力する。

【0028】

また、制御部１２０は、掘削計画作成装置１００から掘削計画に基づく計画値を入力して作業機２と上部旋回体３を制御するとともに、刃先８Ｔの位置（３次元位置）と作業機２の負荷を表す時系列データを掘削計画作成装置１００へ出力する。ここで作業機２の負荷は、一般的にシリンダ圧やポンプ圧により計測される。本実施形態においては、作業機２の負荷は、例えば各シリンダ１０～１２の負荷圧等で表すことができ、掘削時の負荷（掘削負荷）と非掘削時（旋回時等）の負荷とを含む。また、掘削負荷は掘削抵抗を指す。掘削計画は、例えば、図７に示すに一定範囲内Ａ１００を目標土量や目標地形となるまで掘削する計画であり、計画値は掘削軌跡と旋回方向を表す情報であり、例えば目標軌跡、掘削開始点等のデータからなる旋回分を含む３次元情報である。図７は、図２に示す油圧ショベル１の動作例（一定範囲内Ａ１００を掘削し、掘削物をダンプトラック４００に積み込む際の動作例）を模式的に示す平面図である。

【0029】

土質推定部１０１は、制御部１２０から入力した刃先位置と負荷を表す時系列データと、後述する計画値算出部１０４が算出した計画値とを入力し、計画値が指示する刃先位置の軌跡（計画軌跡という）と実際の刃先の軌跡のずれに基づいて土質を推定する。本実施形態において計画値は、土質の推定結果に基づいて算出される。したがって、推定している土質と実際の土質とに差がある場合、計画軌跡と実際の軌跡とのずれが大きくなる傾向がある。例えば図４に示すように、計画軌跡２０１と実際の軌跡２０３のずれが、計画軌跡２０１と実際の軌跡２０４のずれより大きい場合、実際の軌跡２０３が得られたときの土質の推定結果は、実際の軌跡２０４が得られたときの土質の推定結果より、推定値と実際の値との差が大きかったということが分かる。そこで、土質推定部１０１は、計画軌跡と実際の刃先位置の軌跡のずれに基づいて、例えば、計画値より実際の軌跡が浅い場合には実際の土質は推定土質より掘削抵抗が大きい土質であると推定することができ、計画値と実際の軌跡の差が小さい場合には実際の土質は推定土質に近い土質であると推定することができる。なお、土質は、例えば、土、砂、粘土等の種別で表されていてもよいし、掘削抵抗や水分の含有量等の値あるいは値に基づく指標値などで表されていてもよい。なお、図４は、図１に示す土質推定部１０１の動作例を説明するための模式図であり、掘削面２００と計画軌跡２０１と実際の軌跡（の例）２０３および２０４の断面図を模式的に示す。

【0030】

地形情報推定部１０２は、制御部１２０から入力した刃先位置と負荷を表す時系列データと、土質推定部１０１が推定した土質とを入力し、３次元の地形情報を推定して、推定地形情報として地形情報取得部１０３へ出力する。地形情報推定部１０２は、例えば、地形情報計測部１１０が取得した計測地形情報を初期値（あるいは基準値）として、制御部１２０から入力した刃先位置を表す時系列データと、土質推定部１０１が推定した土質に基づいて、地形情報を推定する。あるいは、地形情報推定部１０２は、例えば、事前の空撮画像等に基づき作成された地形情報を初期値（あるいは基準値）としてもよい。この場合、例えば、地形計測部１１０を省略することができる。地形情報推定部１０２は、例えば、図５に示すように、掘削前の掘削面２１１に対して、掘削時の実際の刃先の軌跡が軌跡２１２として得られた場合、掘削後地形が掘削軌跡２１２に等しいものと仮定する（掘削軌跡２１２より上にある土が無くなる）。次に、地形情報推定部１０２は、バケットからのこぼれ土量の推定値を軌跡２１２に基づく現況地形に加算して加算後の地形２１３を求める。次に、地形情報推定部１０２は、くずれ量を想定して、移動平均によるスムージングを掛けて地形２１４を算出する。なお、こぼれ土量やくずれ量は、例えば切り取り土量の一定割合とすることができ、また、こぼれ土量やくずれ量は土質に応じて変化させることができる。また、移動平均は土の変化があった周辺のみとすることができる。なお、地形情報は、３次元情報として算出されるので、例えばガウシアンフィルタ等を用いてスムージング処理を行ってもよい。なお、図５は、図１に示す地形情報推定部１０２の動作例を説明するための模式図であり、掘削面２１１と実際の軌跡（の例）２１２と推定された地形２１３および２１４の断面図を模式的に示す。

【0031】

地形情報取得部１０３は、計測地形情報と推定地形情報を入力（取得）し、計測地形情報が地形計測部１１０から正常に取得できる場合には計測地形情報を選択して地形情報として計画値算出部１０４へ出力する。また、地形情報取得部１０３は、計測地形情報が地形計測部１１０から正常に取得できない場合には推定地形情報を選択して地形情報として計画値算出部１０４へ出力する。

【0032】

一方、記憶部１０５は、計画モデル１０６を複数、記憶する。複数の計画モデル１０６は、例えば作業機械１を基準とする一定の範囲内で目標土量や目標地形（例えば掘削後の斜面形状）となるまでの掘削計画を作成する際に、地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルであって、掘削効率を評価値として土質に係るパラメータをそれぞれ異ならせて機械学習された機械学習モデルである。計画モデル１０６は、例えば、ニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。計画モデル１０６は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。ここで、図６を参照して、計画モデル１０６の学習の仕方について説明する。

【0033】

図６は、図１に示す計画モデル１０６の学習の仕方の一例を示す模式図である。図６に示す例では、計画モデル１０６は、強化学習によって機械学習される。計画モデル１０６は、掘削シミュレータ３０１で生成された地形情報（掘削後地形３０２）を入力し、出力した掘削軌跡および旋回方向３０３を掘削シミュレータ３０１へ入力する。掘削シミュレータ３０１は、地形モデル３０５と、車体モデルおよび制御モデル３０７を含む。地形モデル３０５はパラメータとして土質３０４を入力するとともに刃先通過軌跡３０８を入力し、掘削後地形３０２と掘削抵抗３０６と掘削土量３１０を出力する。車体モデルおよび制御モデル３０７は、掘削軌跡および旋回方向３０３と掘削抵抗３０６を入力し、刃先通過軌跡３０８と掘削時間および旋回時間３０９を出力する。強化学習アルゴリズム３１２は、評価３１１において算出した掘削作業の効率を評価値として、既存の強化学習アルゴリズムの手法によって計画モデル１０６をアップデートする。なお、掘削作業の効率は、例えば、掘削土量を作業時間（＝掘削時間＋旋回時間）で除することで求めることができる。また、評価３１１においては、掘削計画における目標地形（例えば掘削範囲と掘削形状の目標値）に適合する掘削に対して評価値を高め、目標地形に適合しない掘削に対して評価値を低める処理を行う。例えば、目標地形として、掘削範囲外の掘削は禁止（マス堀り）、かつ、手前に６０度の斜面をなるべく残すという条件が与えられた場合、範囲外の掘削には報酬を与えず、６０度の斜面を崩す掘削には範囲内の掘削に対する報酬の数～数十分の一の報酬を与えるといった評価を行って、報酬（評価値）を算出する。なお、地形モデル３０５は、土質３０４が変化した場合に、掘削後地形３０２と掘削抵抗３０６と掘削土量３１０の少なくとも１つが変化するモデルとする。１つの計画モデル１０６の機械学習では、土質３０４の値は固定とする。この場合、各計画モデル１０６は、土質３０４の値に対応するモデルとなる。

【0034】

また、計画値算出部１０４は、土質推定部１０１が推定した土質に基づき計画モデル１０６を選択し、選択した計画モデル１０６に、地形情報取得部１０３が取得（出力）した地形情報を入力し、計画モデル１０６の出力として計画値を算出する。その際、計画値算出部１０４は、例えばオペレータが設定した掘削計画（目標土量や目標形状）と、学習時の掘削計画（目標土量や目標形状）の設定とが等しい計画モデル１０６を選択する。

【0035】

次に、図３を参照して、図１に示す掘削計画作成装置１００の動作例について説明する。図３は、図１に示す掘削計画作成装置１００の動作例を示すフローチャートである。

【0036】

例えば、油圧ショベル１のオペレータが、油圧ショベル１を掘削の開始位置まで移動させ、掘削方向を所定の方向に調整した後、自動掘削の開始を指示すると、掘削計画作成装置１００は、以後、自動掘削の終了条件が成立するまで（ステップＳ６で「ＹＥＳ」になるまで）、ステップ２～ステップＳ６の処理を所定の周期で繰り返し実行する（「開始」～ステップＳ１で「ＹＥＳ」）。ステップＳ２では、地形情報取得部１０３が、地形計測部１１０が出力した計測地形情報または地形情報推定部１０２が出力した推定地形情報の一方を、地形情報として取得して計画値算出部１０４へ出力する。次に、土質推定部１０１が土質を推定する（ステップＳ３）。次に、計画値算出部１０４が土質とオペレータが設定した掘削計画（目標土量や目標形状）に基づき、記憶部１０５から計画モデル１０６を選択する（ステップＳ４）。次に、計画値算出部１０４が、選択した計画モデル１０６に地形形状を入力し、計画モデル１０６の出力として計画値を算出する（ステップＳ５）。次に、掘削計画作成装置１００（例えば計画値算出部１０４）が、終了条件を満たすか否か（例えば掘削計画が完了したか否か）を判定する（ステップＳ６）。

【0037】

以上の処理によって、掘削計画作成装置１００は、掘削計画に基づき油圧ショベル１を自動制御することができる。その際、土質に合わせて計画モデル１０６が選択されるので、掘削計画作成装置１００は、掘削計画を作成する（掘削計画に基づき計画値を算出する）際に、土質の影響を適切に考慮することができる。

【0038】

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、計画モデル１０６を作成する際には、土質に加えて、例えば、掘削深さの制限値をパラメータとして車体モデルおよび制御モデル３０７に対して入力するようにしてもよい。例えば、土質を土と砂の２種類、掘削深さの制限値を１ｍ、８０ｃｍ、６０ｃｍの３種類に変化させて、強化学習を行えば、６種類の計画モデル１０６を作成することができる。また、機械学習の仕方は、強化学習に限定されず、例えば、教師あり学習としてもよい。また、計画値算出部１０４が算出した計画値は、制御部１２０へ出力するのに代えて、オペレータが目標値として視認できる表示形態で所定の表示部に出力するようにしてもよい。

【0039】

また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。

【符号の説明】

【0040】

１ 油圧ショベル（作業機械）、１００ 掘削計画作成装置、１０２ 地形情報推定部、１０３ 地形情報取得部、１０４ 計画値算出部、１０５ 記憶部、１０６ 計画モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】