特許 7503370 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-12

(45)【発行日】2024-06-20

(54)【発明の名称】学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム

(51)【国際特許分類】

   E02F 9/20 20060101AFI20240613BHJP

   G06T 7/00 20170101ALI20240613BHJP

【ＦＩ】

E02F9/20 Q

G06T7/00 350C

【請求項の数】 9

(21)【出願番号】P 2019123018

(22)【出願日】2019-07-01

(65)【公開番号】P2021008747

(43)【公開日】2021-01-28

【審査請求日】2022-03-31

【前置審査】

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】新田目 啓敬

【審査官】湯本 照基

(56)【参考文献】

【文献】国際公開第２０１９／０９３１５２（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２１６０７５（ＷＯ，Ａ１）

【文献】村井 浩一 KOICHI MURAI，製造現場の作業分析結果を利用したカメラと深層学習による作業手順のリアルタイム監視システム Real-time work procedure monitoring system by deep learning and web camera using results of work analysis at manufacturing，情報処理学会 研究報告 コンシューマ・デバイス＆システム（ＣＤＳ） ２０１９－ＣＤＳ－０２６ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

学習済みの作業分類推定モデルの製造方法であって、
作業機械の作業中の立体形状を示す３次元モデルを特定の視点位置から見た２次元画像と、前記２次元画像に対してラベル付けされた、前記作業機械の動作の内容を示す作業分類と、を含む学習用データを取得することと、
前記学習用データにより前記作業分類推定モデルを学習させることと、を備える、製造方法。

【請求項2】

前記作業機械は、作業機械本体と、前記作業機械本体に取り付けられた作業機とを有し、
前記作業機械本体に対する前記作業機の姿勢を示す姿勢データを取得することと、
前記姿勢データに基づいて前記３次元モデルを作成することと、をさらに備える、請求項１に記載の製造方法。

【請求項3】

前記作業機は、前記作業機械本体に連結されたブームと、前記ブームに連結されたアタッチメントとを含む、請求項２に記載の製造方法。

【請求項4】

前記姿勢データは、前記作業機械本体に対する前記ブームの角度と、前記ブームに対する前記アタッチメントの角度とを含む、請求項３に記載の製造方法。

【請求項5】

前記学習用データは、前記作業機械の動作に関する操作データをさらに含む、請求項１～４のいずれか１項に記載の製造方法。

【請求項6】

前記操作データは、前記作業機械の走行に関するデータを含む、請求項５に記載の製造方法。

【請求項7】

前記学習させることは、
前記作業分類推定モデルを用いて、前記２次元画像から、前記作業分類を推定した推定作業分類を求めることと、
前記推定作業分類が前記作業分類と一致しているか否かを判定することと、
前記判定の結果に基づいて、前記作業分類推定モデルを更新することと、を含む、請求項１～６のいずれか１項に記載の製造方法。

【請求項8】

コンピュータによって実行される方法であって、
作業機械を表示する画像データを取得することと、
請求項１～６のいずれか１項に記載の製造方法によって製造された学習済みの前記作業分類推定モデルに、前記画像データを入力して、前記作業分類を推定することと、
を備える方法。

【請求項9】

作業機械と、
コンピュータとを備え、
前記コンピュータは、請求項１～６のいずれか１項に記載の製造方法によって製造された学習済みの作業分類推定モデルを有し、
前記コンピュータは、前記作業機械を表示する画像データを取得し、前記作業分類推定モデルを用いて前記画像データから前記作業分類を推定した推定作業分類を出力する、作業機械を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステムに関する。

【背景技術】

【0002】

ホイールローダは、上下方向に移動可能なブームの先端に、ブームに対して回転可能なバケットを備えている。ホイールローダの掘削作業においては、車両を前進させることによりバケットを土砂の山に押し込むと共に、ブームを上昇させる。これにより、土砂がバケット上に掬い取られる。

【0003】

従来、水平方向に対するブームの傾斜角を検出するためのセンサと、ブームに対するバケットの傾斜角を検出するためのセンサとを備える、ホイールローダが提案されている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１３５６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ホイールローダの場合、作業機の姿勢を検出するセンサが搭載されており、センサで検出した作業機の姿勢から作業分類を達成できる構成とされている。一方、小型機種などの販売価格が安い機種にはセンサが搭載されておらず、センサで作業機の姿勢を検出することができない。

【0006】

ホイールローダは、様々な対象物に対して移動しながら作業を行なうため、外乱が多く、画像処理による作業分類を精度よく行なうことが困難である。

【0007】

本開示では、高精度の作業分類を可能とする、学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステムが提供される。

【課題を解決するための手段】

【0008】

本開示のある局面に従うと、学習済みの作業分類推定モデルの製造方法が提供される。製造方法は、以下の処理を備えている。第１の処理は、作業機械の作業中の立体形状を示す３次元モデルを特定の視点位置から見た２次元画像と、２次元画像に対してラベル付けされた、作業機械の動作の内容を示す作業分類と、を含む、学習用データを取得することである。第２の処理は、学習用データにより作業分類推定モデルを学習させることである。

【0009】

本開示のある局面に従うと、作業機械の作業分類を求める作業分類推定モデルを学習させるための学習用データが提供される。学習用データは、作業機械の作業中の立体形状を示す３次元モデルを特定の視点位置から見た２次元画像と、２次元画像に対してラベル付けされた、作業機械の動作の内容を示す作業分類と、を含んでいる。

【0010】

本開示のある局面に従うと、作業機械の作業分類を求める作業分類推定モデルを学習させるための学習用データが提供される。学習用データは、作業機械の作業中の立体形状を示す３次元モデルと、３次元モデルを仮想的に見る視点の位置を示す視点位置と、３次元モデルおよび視点位置に対してラベル付けされた、作業機械の動作の内容を示す作業分類と、を含んでいる。

【0011】

本開示のある局面に従うと、コンピュータによって実行される方法が提供される。当該方法は、以下の処理を備えている。第１の処理は、作業機械を表示する画像データを取得することである。第２の処理は、上記の製造方法によって製造された学習済みの作業分類推定モデルに、画像データを入力して、作業分類を推定することである。

【0012】

本開示のある局面に従うと、作業機械と、コンピュータとを備える、作業機械を含むシステムが提供される。コンピュータは、上記の製造方法によって製造された学習済みの作業分類推定モデルを有している。コンピュータは、作業機械を表示する画像データを取得し、作業分類推定モデルを用いて画像データから作業分類を推定した推定作業分類を出力する。

【発明の効果】

【0013】

本開示に従えば、作業分類を高精度に行なうことができる。

【図面の簡単な説明】

【0014】

【図1】作業機械の一例としてのホイールローダの側面図である。

【図2】ホイールローダを含む全体システムの構成を示す概略ブロック図である。

【図3】ホイールローダの掘削積込作業中の動作を説明する模式図である。

【図4】ホイールローダの掘削積込作業中の動作の判別方法を示すテーブルである。

【図5】作業機械を含むシステムに含まれる、コンピュータの構成を示す模式図である。

【図6】出荷前のホイールローダのシステム構成を示すブロック図である。

【図7】学習済みの作業分類推定モデルの製造方法を示すフローチャートである。

【図8】作業分類推定モデルを学習させるための処理を示す第１の概略図である。

【図9】作業分類推定モデルを学習させるための処理を示す第２の概略図である。

【図10】工場出荷されるホイールローダのシステム構成を示すブロック図である。

【図11】工場出荷後に作業分類を推定するためにコンピュータによって実行される処理を示すフローチャートである。

【図12】作業分類推定モデルの学習に関する変形例を示す概略図である。

【発明を実施するための形態】

【0015】

以下、実施形態について図に基づいて説明する。以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0016】

＜全体構成＞
実施形態においては、作業機械の一例としてホイールローダ１について説明する。図１は、実施形態に基づく作業機械の一例としてのホイールローダ１の側面図である。

【0017】

図１に示されるように、ホイールローダ１は、車体フレーム２と、作業機３と、走行装置４と、キャブ５とを備えている。車体フレーム２、キャブ５などからホイールローダ１の車体（作業機械本体）が構成されている。ホイールローダ１の車体には、作業機３および走行装置４が取り付けられている。

【0018】

走行装置４は、ホイールローダ１の車体を走行させるものであり、走行輪４ａ、４ｂを含んでいる。ホイールローダ１は、走行輪４ａ、４ｂが回転駆動されることにより自走可能であり、作業機３を用いて所望の作業を行うことができる。

【0019】

車体フレーム２は、前フレーム２ａと後フレーム２ｂとを含んでいる。前フレーム２ａと後フレーム２ｂとは、互いに左右方向に揺動可能に取り付けられている。前フレーム２ａと後フレーム２ｂとに亘って、一対のステアリングシリンダ１１が取り付けられている。ステアリングシリンダ１１は、油圧シリンダである。ステアリングシリンダ１１がステアリングポンプ（図示せず）からの作動油によって伸縮することによって、ホイールローダ１の進行方向が左右に変更される。

【0020】

本明細書中において、ホイールローダ１が直進走行する方向を、ホイールローダ１の前後方向という。ホイールローダ１の前後方向において、車体フレーム２に対して作業機３が配置されている側を前方向とし、前方向と反対側を後方向とする。ホイールローダ１の左右方向とは、平面視において前後方向と直交する方向である。前方向を見て左右方向の右側、左側が、それぞれ右方向、左方向である。ホイールローダ１の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向である。上下方向において地面のある側が下側、空のある側が上側である。

【0021】

前フレーム２ａには、作業機３および一対の走行輪（前輪）４ａが取り付けられている。作業機３は、車体の前方に配設されている。作業機３は、作業機ポンプ２５（図２参照）からの作動油によって駆動される。作業機ポンプ２５は、エンジン２０により駆動され、吐出する作動油によって作業機３を作動させる油圧ポンプである。作業機３は、ブーム１４と、作業具であるバケット６とを含んでいる。バケット６は、作業機３の先端に配置されている。バケット６は、ブーム１４の先端に着脱可能に装着されたアタッチメントの一例である。作業の種類に応じて、アタッチメントが、グラップル、フォーク、またはプラウなどに付け替えられる。

【0022】

ブーム１４の基端部は、ブームピン９によって前フレーム２ａに回転自在に取付けられている。バケット６は、ブーム１４の先端に位置するバケットピン１７によって、回転自在にブーム１４に取付けられている。

【0023】

前フレーム２ａとブーム１４とは、一対のブームシリンダ１６により連結されている。ブームシリンダ１６は、油圧シリンダである。ブームシリンダ１６の基端は、前フレーム２ａに取り付けられている。ブームシリンダ１６の先端は、ブーム１４に取り付けられている。ブームシリンダ１６が作業機ポンプ２５（図２参照）からの作動油によって伸縮することによって、ブーム１４が昇降する。ブームシリンダ１６は、ブーム１４を、ブームピン９を中心として上下に回転駆動する。

【0024】

作業機３は、ベルクランク１８と、バケットシリンダ１９と、リンク１５とをさらに含んでいる。ベルクランク１８は、ブーム１４のほぼ中央に位置する支持ピン１８ａによって、ブーム１４に回転自在に支持されている。バケットシリンダ１９は、ベルクランク１８と前フレーム２ａとを連結している。リンク１５は、ベルクランク１８の先端部に設けられた連結ピン１８ｃに連結されている。リンク１５は、ベルクランク１８とバケット６とを連結している。

【0025】

バケットシリンダ１９は、油圧シリンダであり作業具シリンダである。バケットシリンダ１９の基端は、前フレーム２ａに取り付けられている。バケットシリンダ１９の先端は、ベルクランク１８の基端部に設けられた連結ピン１８ｂに取り付けられている。バケットシリンダ１９が作業機ポンプ２５（図２参照）からの作動油によって伸縮することによって、バケット６が上下に回動する。バケットシリンダ１９は、バケット６を、バケットピン１７を中心として回転駆動する。

【0026】

後フレーム２ｂには、キャブ５および一対の走行輪（後輪）４ｂが取り付けられている。キャブ５は、ブーム１４の後方に配置されている。キャブ５は、車体フレーム２上に載置されている。キャブ５内には、オペレータが着座するシートおよび後述する操作装置などが配置されている。

【0027】

キャブ５の屋根部には、位置検出センサ６４が配置されている。位置検出センサ６４は、ＧＮＳＳアンテナと、グローバル座標演算器とを含む。ＧＮＳＳアンテナは、全地球航法衛星システム（ＲＴＫ－ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems）用のアンテナである。

【0028】

キャブ５の屋根部にはまた、撮像装置６５が搭載されている。実施形態の撮像装置６５は、単眼カメラである。撮像装置６５は、キャブ５の屋根部の前端部分に配置されている。撮像装置６５は、キャブ５の前方を撮像する。撮像装置６５は、作業機３を撮像する。撮像装置６５による撮像画像は、作業機３の少なくとも一部を含んでいる。

【0029】

キャブ５内には、ＩＭＵ（Inertial Measurement Unit）６６が配置されている。ＩＭＵ６６は、車体フレーム２の傾きを検出する。ＩＭＵ６６は、車体フレーム２の前後方向および左右方向に対する傾斜角を検出する。

【0030】

図２は、実施形態に従うホイールローダ１を含む全体システムの構成を示す概略ブロック図である。図２を参照して、実施形態に従う全体システムは、ホイールローダ１と、ホイールローダ１と無線通信または有線通信により通信可能に設けられた第２処理装置７０とを含む。

【0031】

ホイールローダ１は、エンジン２０、動力取り出し部２２、動力伝達機構２３、シリンダ駆動部２４、第１角度検出器２９、第２角度検出器４８、回動機構６０および第１処理装置３０（コントローラ）を備えている。

【0032】

エンジン２０は、たとえばディーゼルエンジンである。エンジン２０の出力は、エンジン２０のシリンダ内に噴射する燃料量を調整することにより制御される。エンジン２０には、温度センサ３１が設けられている。温度センサ３１は、温度を示す検出信号を第１処理装置３０に出力する。

【0033】

動力取り出し部２２は、エンジン２０の出力を、動力伝達機構２３とシリンダ駆動部２４とに振り分ける装置である。動力伝達機構２３は、エンジン２０からの駆動力を前輪４ａおよび後輪４ｂに伝達する機構であり、たとえばトランスミッションである。動力伝達機構２３は、入力軸２１の回転を変速して出力軸２３ａに出力する。動力伝達機構２３の出力軸２３ａには、ホイールローダ１の車速を検出するための車速検出部２７が取り付けられている。ホイールローダ１は、車速検出部２７を含んでいる。

【0034】

車速検出部２７はたとえば車速センサである。車速検出部２７は、出力軸２３ａの回転速度を検出することにより、走行装置４（図１）によるホイールローダ１の移動速度を検出する。車速検出部２７は、出力軸２３ａの回転速度を検出するための回転センサとして機能する。車速検出部２７は、走行装置４による移動を検出する移動検出器として機能する。車速検出部２７は、ホイールローダ１の車速を示す検出信号を第１処理装置３０に出力する。

【0035】

シリンダ駆動部２４は、作業機ポンプ２５および制御弁２６を有している。エンジン２０の出力は、動力取り出し部２２を介して、作業機ポンプ２５に伝達される。作業機ポンプ２５から吐出された作動油は、制御弁２６を介して、ブームシリンダ１６およびバケットシリンダ１９に供給される。

【0036】

ブームシリンダ１６には、ブームシリンダ１６の油室内の油圧を検出するための第１油圧検出器２８ａ、２８ｂが取り付けられている。ホイールローダ１は、第１油圧検出器２８ａ、２８ｂを含んでいる。第１油圧検出器２８ａ、２８ｂは、たとえばヘッド圧検出用の圧力センサ２８ａと、ボトム圧検出用の圧力センサ２８ｂとを有している。

【0037】

圧力センサ２８ａは、ブームシリンダ１６のヘッド側に取り付けられている。圧力センサ２８ａは、ブームシリンダ１６のシリンダヘッド側油室内の作動油の圧力（ヘッド圧）を検出することができる。圧力センサ２８ａは、ブームシリンダ１６のヘッド圧を示す検出信号を第１処理装置３０に出力する。圧力センサ２８ｂは、ブームシリンダ１６のボトム側に取り付けられている。圧力センサ２８ｂは、ブームシリンダ１６のシリンダボトム側油室内の作動油の圧力（ボトム圧）を検出することができる。圧力センサ２８ｂは、ブームシリンダ１６のボトム圧を示す検出信号を第１処理装置３０に出力する。

【0038】

第１角度検出器２９は、たとえば、ブームピン９に取り付けられたポテンショメータである。第１角度検出器２９は、ブーム１４の持ち上がり角度（チルト角度）を表すブーム角度を検出する。第１角度検出器２９は、ブーム角度を示す検出信号を第１処理装置３０に出力する。

【0039】

具体的には、図１に示すように、ブーム基準線Ａは、ブームピン９の中心とバケットピン１７の中心とを通る直線である。ブーム角度θ１は、ブームピン９の中心から前方に延びる水平線Ｈと、ブーム基準線Ａとの成す角度である。ブーム基準線Ａが水平である場合をブーム角度θ１＝０°と定義する。ブーム基準線Ａが水平線Ｈよりも上方にある場合にブーム角度θ１を正とする。ブーム基準線Ａが水平線Ｈよりも下方にある場合にブーム角度θ１を負とする。

【0040】

第２角度検出器４８は、たとえば、支持ピン１８ａに取り付けられたポテンショメータである。第２角度検出器４８は、ブーム１４に対するバケット６のチルト角度を表すバケット角度を検出する。第２角度検出器４８は、バケット角度を示す検出信号を第１処理装置３０に出力する。

【0041】

具体的には、図１に示すように、バケット基準線Ｂは、バケットピン１７の中心とバケット６の刃先６ａとを通る直線である。バケット角度θ２は、ブーム基準線Ａとバケット基準線Ｂとの成す角度である。バケット６を接地した状態でバケット６の刃先６ａが地上において水平となる場合をバケット角度θ２＝０°と定義する。バケット６を掘削方向（上向き）に移動した場合にバケット角度θ２を正とする。バケット６をダンプ方向（下向き）に移動した場合にバケット角度θ２を負とする。

【0042】

第２角度検出器４８は、ブーム１４に対するベルクランク１８の角度（ベルクランク角度）を検出することにより、バケット角度θ２を検出してもよい。ベルクランク角度は、支持ピン１８ａの中心と連結ピン１８ｂの中心とを通る直線と、ブーム基準線Ａとの成す角度である。第２角度検出器４８は、バケットピン１７に取り付けられたポテンショメータまたは近接スイッチであってもよい。または第２角度検出器４８は、バケットシリンダ１９に配置されたストロークセンサであってもよい。

【0043】

回動機構６０は、前フレーム２ａと後フレーム２ｂとを回動可能に連結している。後フレーム２ｂに対する前フレーム２ａの回動は、前フレーム２ａと後フレーム２ｂとの間に連結されたアーティキュレートシリンダを伸縮させることで行われる。そして、前フレーム２ａを後フレーム２ｂに対して屈曲させる（アーティキュレートさせる）ことで、ホイールローダの旋回時の旋回半径をより小さくすること、および、オフセット走行による溝掘や法切作業が可能である。回動機構６０には、アーティキュレート角度センサ６１が設けられている。アーティキュレート角度センサ６１は、アーティキュレート角度を検出する。アーティキュレート角度センサ６１は、アーティキュレート角度を示す検出信号を第１処理装置３０に出力する。

【0044】

位置検出センサ６４は、ホイールローダ１の位置を示す検出信号を第１処理装置３０に出力する。撮像装置６５は、撮像装置６５が撮像した撮像画像を第１処理装置３０に出力する。ＩＭＵ６６は、ホイールローダ１の傾斜角を示す検出信号を第１処理装置３０に出力する。

【0045】

図２に示されるように、ホイールローダ１は、キャブ５内に、オペレータによって操作される操作装置を備えている。操作装置は、前後進切換装置４９、アクセル操作装置５１、ブーム操作装置５２、変速操作装置５３、バケット操作装置５４、およびブレーキ操作装置５８を含んでいる。

【0046】

前後進切換装置４９は、前後進切換操作部材４９ａと、前後進切換検出センサ４９ｂとを含んでいる。前後進切換操作部材４９ａは、車両の前進および後進の切り換えを指示するためにオペレータによって操作される。前後進切換操作部材４９ａは、前進（Ｆ）、中立（Ｎ）、および後進（Ｒ）の各位置に切り換えられることができる。前後進切換検出センサ４９ｂは、前後進切換操作部材４９ａの位置を検出する。前後進切換検出センサ４９ｂは、前後進切換操作部材４９ａの位置によって表される前後進指令の検出信号（前進、中立、後進）を第１処理装置３０に出力する。前後進切換装置４９は、前進（Ｆ）、中立（Ｎ）および後進（Ｒ）を切り換え可能なＦＮＲ切換レバーを含む。

【0047】

アクセル操作装置５１は、アクセル操作部材５１ａと、アクセル操作検出部５１ｂとを含んでいる。アクセル操作部材５１ａは、エンジン２０の目標回転速度を設定するためにオペレータによって操作される。アクセル操作検出部５１ｂは、アクセル操作部材５１ａの操作量（アクセル操作量）を検出する。アクセル操作検出部５１ｂは、アクセル操作量を示す検出信号を第１処理装置３０に出力する。

【0048】

ブレーキ操作装置５８は、ブレーキ操作部材５８ａと、ブレーキ操作検出部５８ｂとを含んでいる。ブレーキ操作部材５８ａは、ホイールローダ１の減速力を操作するために、オペレータによって操作される。ブレーキ操作検出部５８ｂは、ブレーキ操作部材５８ａの操作量（ブレーキ操作量）を検出する。ブレーキ操作検出部５８ｂは、ブレーキ操作量を示す検出信号を第１処理装置３０に出力する。ブレーキ操作量としてブレーキオイルの圧力が用いられてもよい。

【0049】

ブーム操作装置５２は、ブーム操作部材５２ａと、ブーム操作検出部５２ｂとを含んでいる。ブーム操作部材５２ａは、ブーム１４を上げ動作または下げ動作させるためにオペレータによって操作される。ブーム操作検出部５２ｂは、ブーム操作部材５２ａの位置を検出する。ブーム操作検出部５２ｂは、ブーム操作部材５２ａの位置によって表されるブーム１４の上げ指令または下げ指令の検出信号を、第１処理装置３０に出力する。

【0050】

変速操作装置５３は、変速操作部材５３ａと、変速操作検出部５３ｂとを含んでいる。変速操作部材５３ａは、動力伝達機構２３における入力軸２１から出力軸２３ａへの変速を制御するためにオペレータによって操作される。変速操作検出部５３ｂは、変速操作部材５３ａの位置を検出する。変速操作検出部５３ｂは、変速操作部材５３ａの位置によって表される変速の検出指令を、第１処理装置３０に出力する。

【0051】

バケット操作装置５４は、バケット操作部材５４ａと、バケット操作検出部５４ｂとを含んでいる。バケット操作部材５４ａは、バケット６を掘削動作またはダンプ動作させるためにオペレータによって操作される。バケット操作検出部５４ｂは、バケット操作部材５４ａの位置を検出する。バケット操作検出部５４ｂは、バケット操作部材５４ａの位置によって表されるバケット６のチルトバック方向またはダンプ方向への操作指令の検出信号を、第１処理装置３０に出力する。

【0052】

アーティキュレート操作装置５５は、アーティキュレート操作部材５５ａと、アーティキュレート操作検出部５５ｂとを含んでいる。アーティキュレート操作部材５５ａは、回動機構６０を介して前フレーム２ａを後フレーム２ｂに対して屈曲させる（アーティキュレートさせる）ためにオペレータによって操作される。アーティキュレート操作検出部５５ｂは、アーティキュレート操作部材５５ａの位置を検出する。アーティキュレート操作検出部５５ｂは、アーティキュレート操作部材５５ａの位置によって表される左方向に対する屈曲指令または右方向に対する屈曲指令の検出信号を、第１処理装置３０に出力する。

【0053】

第１処理装置３０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記憶装置と、ＣＰＵ（Central Processing Unit）などの演算装置を含むマイクロコンピュータで構成されている。第１処理装置３０は、エンジン２０、作業機３（ブームシリンダ１６、バケットシリンダ１９など）、動力伝達機構２３などの動作を制御する、ホイールローダ１のコントローラの機能の一部として実現されてもよい。第１処理装置３０には、前後進切換装置４９によって検出される前後進指令の信号と、車速検出部２７によって検出されるホイールローダ１の車速の信号と、第１角度検出器２９によって検出されるブーム角度の信号と、圧力センサ２８ａによって検出されるブームシリンダ１６のヘッド圧の信号と、圧力センサ２８ｂによって検出されるブームシリンダ１６のボトム圧の信号とが主に入力される。

【0054】

ホイールローダ１は、表示部４０および出力部４５をさらに有している。表示部４０は、キャブ５に配置された、オペレータが視認するモニタである。

【0055】

出力部４５は、ホイールローダ１の外部に設置されたサーバ（第２処理装置７０）に、ホイールローダ１の動作情報を含む作業機械動作情報を出力する。出力部４５は、所定期間毎にホイールローダ１の動作情報を含む作業機械動作情報を出力しても良いし、または、複数の期間における作業機械動作情報を一括して出力してもよい。出力部４５は、たとえば、無線通信などの通信機能を有し、第２処理装置７０と通信してもよい。または、出力部４５は、たとえば、第２処理装置７０がアクセス可能な携帯記憶装置（メモリカードなど）のインタフェースであってもよい。第２処理装置７０は、モニタ機能にあたる表示部を有しており、出力部４５から出力された作業機械動作情報に基づく動作画像を表示することができる。第２処理装置７０は、ホイールローダ１と異なる位置に設けられており、一例として遠隔地において表示部によりホイールローダ１の作業中の動作画像を認識することが可能である。

【0056】

＜ホイールローダ１の動作、および作業分類＞
本実施形態のホイールローダ１は、土砂などの掘削対象物１００をバケット６に掬い取る掘削動作と、バケット６内の荷（掘削対象物１００）をダンプトラック１１０などの運搬機械に積み込む積込動作とを実行する。

【0057】

図３は、実施形態に基づくホイールローダ１の掘削積込作業中の動作を説明する模式図である。ホイールローダ１は、次のような複数の動作を順次に行うことを繰り返して、掘削対象物１００を掘削し、ダンプトラック１１０などの運搬機械に掘削対象物１００を積み込んでいる。

【0058】

図３（Ａ）に示されるように、ホイールローダ１は、掘削対象物１００に向かって前進する。この空荷前進動作において、オペレータは、ブームシリンダ１６およびバケットシリンダ１９を操作して、作業機３をブーム１４の先端が低い位置にありバケット６が水平を向いた掘削姿勢にして、ホイールローダ１を掘削対象物１００に向けて前進させる。

【0059】

図３（Ｂ）に示されるように、バケット６の刃先６ａが掘削対象物１００に食い込むまで、オペレータはホイールローダ１を前進させる。この掘削（突込み）動作において、バケット６の刃先６ａが掘削対象物１００に食い込む。

【0060】

図３（Ｃ）に示されるように、その後オペレータは、ブームシリンダ１６を操作してバケット６を上昇させるとともに、バケットシリンダ１９を操作してバケット６をチルトバックさせる。この掘削（掬込み）動作により、図中の曲線矢印のようにバケット軌跡Ｌに沿ってバケット６が上昇し、バケット６内に掘削対象物１００が掬い込まれる。これにより、掘削対象物１００を掬い取る掘削作業が実行される。

【0061】

掘削対象物１００の種類によって、バケット６を１回チルトバックさせるだけで掬込み動作が完了する場合がある。または、掬込み動作において、バケット６をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合もある。

【0062】

図３（Ｄ）に示されるように、バケット６に掘削対象物１００が掬い込まれた後、オペレータは、積荷後進動作にて、ホイールローダ１を後進させる。オペレータは、後退しながらブーム上げをしてもよく、図３（Ｅ）にて前進しながらブーム上げをしてもよい。

【0063】

図３（Ｅ）に示されるように、オペレータは、バケット６を上昇させた状態を維持しながら、またはバケット６を上昇させながら、ホイールローダ１を前進させてダンプトラック１１０に接近させる。この積荷前進動作により、バケット６はダンプトラック１１０の荷台のほぼ真上に位置する。

【0064】

図３（Ｆ）に示されるように、オペレータは、所定位置でバケット６をダンプして、バケット６内の荷（掘削対象物）をダンプトラック１１０の荷台上に積み込む。この動作は、いわゆる排土動作である。この後、オペレータは、ホイールローダ１を後進させながらブーム１４を下げ、バケット６を掘削姿勢に戻す。この動作は、後進・ブーム下げ動作である。以上が、掘削積込作業の１サイクルをなす典型的な各動作である。

【0065】

図４は、ホイールローダ１の掘削積込作業中の動作の判別方法を示すテーブルである。図４に示したテーブルにおいて、一番上の「動作」の行には、図３（Ａ）～図３（Ｆ）に示した各動作の名称が示されている。

【0066】

「前後進切換レバー」、「作業機操作」および「作業機シリンダ圧力」の行には、ホイールローダ１の現在の動作が、図３（Ａ）～図３（Ｆ）に示した各動作のうちどの動作であるかを判定するために第１処理装置３０（図２）が使用する、各種の判断条件が示されている。ここで、本明細書では、掘削積込作業中のホイールローダ１の現在の動作がどの動作であるかの判定を、作業分類と称する。作業分類は、掘削積込作業中のホイールローダ１の動作の内容を示すものである。

【0067】

より詳細には、「前後進切換レバー」の行には、前後進切換レバーについての判定条件が丸印で示されている。

【0068】

「作業機操作」の行には、作業機３に対するオペレータの操作についての判定条件が丸印で示されている。より詳細には、「ブーム」の行にはブーム１４に対する操作に関する判定条件が示されており、「バケット」の行にはバケット６に対する操作に関する判定条件が示されている。

【0069】

「作業機シリンダ圧力」の行には、作業機３のシリンダの現在の油圧、たとえばブームシリンダ１６のシリンダボトム室の油圧、についての判定条件が示されている。ここで、油圧に関して、４つの基準値Ａ、Ｂ、Ｃ、Ｐが予め設定され、これら基準値Ａ、Ｂ、Ｃ、Ｐにより複数の圧力範囲（基準値Ｐ未満の範囲、基準値ＡからＣの範囲、基準値ＢからＰの範囲、基準値Ｃ未満の範囲）が定義され、これらの圧力範囲が上記判断条件として設定されている。４つの基準値Ａ、Ｂ、Ｃ、Ｐの大きさは、Ａ＞Ｂ＞Ｃ＞Ｐとなっている。

【0070】

各動作に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせを用いることにより、第１処理装置３０は、ホイールローダ１の現在の動作が、どの動作であるのかを判別可能である。

【0071】

図４に示した制御を行う場合の第１処理装置３０の具体的動作を以下に説明する。図４に示した各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせが、記憶部３０ｊ（図２）に予め格納されている。第１処理装置３０は、前後進切換装置４９からの信号に基づいて、現在選択されている前後進切換レバー（Ｆ、Ｎ、Ｒ）を把握する。第１処理装置３０は、ブーム操作検出部５２ｂからの信号に基づいて、ブーム１４に対する現在の操作の種類（下げ、中立または上げ）を把握する。第１処理装置３０は、バケット操作検出部５４ｂからの信号に基づいて、バケット６に対する現在の操作の種類（ダンプ、中立またはチルトバック）を把握する。さらに、第１処理装置３０は、図２に示した圧力センサ２８ｂからの信号に基づいて、ブームシリンダ１６のシリンダボトム室の現在の油圧を把握する。

【0072】

第１処理装置３０は、把握された現在の前後進切換レバー、ブーム操作種類、バケット操作種類およびリフトシリンダ油圧の組み合わせ（つまり現在の作業状態）を、予め記憶してある各動作に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせと対照する。この対照する処理の結果として、第１処理装置３０は、現在の作業状態に最も良く一致する判定条件の組み合わせがどの動作に対応するのかを判定する。

【0073】

ここで、図４に示す掘削積込作業の各動作に対応する判定条件の組み合わせは、一例として次のとおりである。

【0074】

空荷前進動作においては、前後進切換レバーがＦであり、ブーム操作とバケット操作とがともに中立であり、作業機シリンダ圧力が基準値Ｐ未満である。掘削（突込み）動作においては、前後進切換レバーがＦ、ブーム操作とバケット操作とが共に中立、作業機シリンダ圧力が基準値ＡからＣの範囲である。掘削（掬込み）動作においては、前後進切換レバーがＦまたはＲ、ブーム操作が上げまたは中立、バケット操作がチルトバック、作業機シリンダ圧力が基準値ＡからＣの範囲である。バケット操作については、チルトバックと中立とが交互に繰り返される判定条件をさらに追加してもよい。掘削対象物の状態によっては、バケット６をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合があるからである。

【0075】

積荷後進動作においては、前後進切換レバーがＲ、ブーム操作が中立または上げ、バケット操作が中立、作業機シリンダ圧力が基準値ＢからＰの範囲である。積荷前進動作においては、前後進切換レバーがＦ、ブーム操作が上げまたは中立、バケット操作が中立、作業機シリンダ圧力が基準値ＢからＰの範囲である。排土動作においては、前後進切換レバーがＦ、ブーム操作が上げまたは中立、バケット操作がダンプ、作業機シリンダ圧力が基準値ＢからＰの範囲である。

【0076】

後進・ブーム下げ動作においては、前後進切換レバーがＲ、ブーム操作が下げ、バケット操作がチルトバック、作業機シリンダ圧力が基準値Ｐ未満である。

【0077】

図４にはさらに、ホイールローダ１が単純に走行する単純走行動作が示されている。単純走行動作では、オペレータはブーム１４を低い位置にしてホイールローダ１を前進させる。バケット６に荷を積んで荷を運搬する場合もあるし、バケット６に荷を積まずに走行する場合もある。単純走行動作においては、前後進切換レバーがＦ、ブーム操作とバケット操作とが共に中立、作業機シリンダ圧力が基準値Ｃ未満である。

【0078】

第１処理装置３０で判定されたホイールローダ１の動作に関する情報は、作業機械動作情報の一部として、出力部４５を介して第２処理装置７０に出力される。

【0079】

＜コンピュータ１０２Ａの詳細構成＞
図５は、作業機械を含むシステムに含まれる、コンピュータ１０２Ａの構成を示す模式図である。実施形態に係るシステムは、図４を参照して説明したテーブルによらずに、ホイールローダ１による掘削積込作業中の作業分類を実行するためのシステムである。図５に示されるコンピュータ１０２Ａは、図２に示される第１処理装置３０の一部構成を成すものである。コンピュータ１０２Ａは、実施形態に係るシステム用に専用に設計されたものであってもよく、または汎用のＰＣ（Personal Computer）であってもよい。

【0080】

コンピュータ１０２Ａは、プロセッサ１０３と、記憶装置１０４と、通信インタフェース１０５と、Ｉ／Ｏインタフェース１０６とを有している。プロセッサ１０３は、たとえばＣＰＵである。

【0081】

記憶装置１０４は、記憶されたプログラムおよびデータなどの情報をプロセッサ１０３が読み取り可能なように記憶する媒体を含んでいる。記憶装置１０４は、ＲＡＭ（Random Access Memory）、またはＲＯＭ（Read Only Memory）などのシステムメモリと、補助記憶装置とを含んでいる。補助記憶装置は、たとえばハードディスクなどの磁気的記録媒体、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）などの光学的記録媒体、またはフラッシュメモリなどの半導体メモリであってもよい。記憶装置１０４は、コンピュータ１０２Ａに内蔵されてもよい。記憶装置１０４は、コンピュータ１０２Ａに着脱可能に接続される外部記録媒体１０９を含んでもよい。外部記録媒体１０９は、ＣＤ－ＲＯＭであってもよい。

【0082】

通信インタフェース１０５は、たとえば有線ＬＡＮ（Local Area Network）モジュール、または無線ＬＡＮモジュールなどであり、通信ネットワークを介した通信を行うためのインタフェースである。Ｉ／Ｏインタフェース１０６は、たとえばＵＳＢ（Universal Serial Bus）ポートなどであり、外部装置と接続するためのインタフェースである。

【0083】

コンピュータ１０２Ａは、Ｉ／Ｏインタフェース１０６を介して、入力装置１０７、および出力装置１０８と接続される。入力装置１０７は、ユーザがコンピュータ１０２Ａへの入力を行うための装置である。入力装置１０７は、たとえば、マウス、またはトラックボールなどのポインティングデバイスを含んでいる。入力装置１０７は、キーボードなどの文字入力のための装置を含んでもよい。出力装置１０８は、たとえば、ディスプレイ（表示部４０、図２）を含んでいる。

【0084】

図６は、出荷前のホイールローダ１のシステム構成を示すブロック図である。図６に示されるプロセッサ１０３および記憶装置１０４は、図５に示されるコンピュータ１０２Ａの一部構成をなすものである。プロセッサ１０３は、操作データ生成部１６１を有している。

【0085】

操作データ生成部１６１は、第１油圧検出器２８ａ、２８ｂから、ブームシリンダ１６の油室内の作動油の圧力を検出した検出信号の入力を受ける。操作データ生成部１６１は、アクセル操作検出部５１ｂから、アクセル操作量を検出した検出信号の入力を受ける。操作データ生成部１６１は、車速検出部２７から、ホイールローダ１の車速を検出した検出信号の入力を受ける。車速検出部２７が出力軸２３ａの回転速度を検出した検出信号を操作データ生成部１６１に出力し、この検出信号に基づいて操作データ生成部１６１がホイールローダ１の車速を算出してもよい。

【0086】

プロセッサ１０３は、タイマ１６２を有している。操作データ生成部１６１は、タイマ１６２から現在時刻を読み出し、ホイールローダ１が掘削作業を実行しているときの、掘削作業開始からの経過時間を演算する。

【0087】

掘削作業が開始したこと、すなわちホイールローダ１の動作が空荷前進動作から掘削（突込み）動作へと移ったことは、バケット６の刃先６ａが掘削対象物１００に突っ込みバケット６に掘削対象物１００の負荷が作用し始めるときにブームシリンダ１６の油室内の油圧が増加することを検出すること、および作業機３が掘削作業を始める姿勢にあるかをブーム角度θ１とバケット角度θ２とにより確認することで、判定される。作業においてブームシリンダ１６が受ける負荷を基に、作業開始時点が判定されてもよい。作業開始は、ホイールローダ１の周辺を撮像装置６５で撮影した撮像データを基に判定してもよい。

【0088】

ブームシリンダ１６の油圧、アクセル操作量、車速、および掘削作業開始からの経過時間は、ホイールローダ１の動作に関する操作データに含まれる。操作データは、アクセル操作量および車速などの、ホイールローダ１の走行に関するデータを含んでいる。

【0089】

プロセッサ１０３は、姿勢データ生成部１６３を有している。姿勢データ生成部１６３は、第１角度検出器２９から、ブーム角度θ１を検出した検出信号の入力を受ける。姿勢データ生成部１６３は、第２角度検出器４８から、バケット角度θ２を検出した検出信号の入力を受ける。ブーム角度θ１およびバケット角度θ２は、作業機械本体（車体）に対する作業機３の姿勢を示す姿勢データを構成している。

【0090】

プロセッサ１０３は、作業分類判別部１６４を有している。作業分類判別部１６４は、前後進切換検出センサ４９ｂから、前後進指令の検出信号の入力を受ける。作業分類判別部１６４は、ブーム操作検出部５２ｂから、ブーム１４の上げ指令または下げ指令の検出信号の入力を受ける。作業分類判別部１６４は、バケット操作検出部５４ｂから、バケット６のチルトバック方向またはダンプ方向への操作指令の検出信号の入力を受ける。作業分類判別部１６４はまた、第１油圧検出器２８ｂから、ブームシリンダ１６のシリンダボトム室の油圧を検出した検出信号の入力を受ける。

【0091】

作業分類判別部１６４は、入力されたこれらの検出信号に基づいて、図４に示されるテーブルを参照して、ホイールローダ１の現在の動作がどの動作であるかの判定（すなわち、作業分類）を実行する。

【0092】

プロセッサ１０３は、動作状態画像生成部１６５を有している。動作状態画像生成部１６５は、姿勢データ生成部１６３で生成した姿勢データに基づいて、動作状態画像データを生成する。動作状態画像データは、作業中のホイールローダ１の立体形状を示す３次元モデル形状データを含む。３次元モデル形状データは、ホイールローダ１を構成する作業機３、車体、走行輪４ａ、４ｂなどのデータを含む。

【0093】

プロセッサ１０３は、特定視点画像生成部１６６を有している。特定視点画像生成部１６６は、動作状態画像生成部１６５で生成した３次元モデルと、その３次元モデルを仮想的に見る視点の位置を示す視点位置とから、３次元モデルを特定の視点位置から見た２次元画像を生成する。視点位置は、任意の位置に設定することが可能である。視点位置を調整することにより、３次元モデルを任意の方向から見た２次元画像の生成および表示が可能である。

【0094】

プロセッサ１０３は、作業分類推定部１６７を有している。記憶装置１０４には、作業分類推定モデル１８０が保存されている。

【0095】

作業分類推定モデル１８０は、一連の掘削積込作業中のホイールローダ１の現在の動作がどの動作であるかを推定するための人工知能モデルである。作業分類推定モデル１８０は、特定視点画像生成部１６６で生成した２次元画像から、ホイールローダ１の現在の動作がどの動作であるかを推定するように構成されている。コンピュータ１０２Ａは、人工知能の作業分類推定モデル１８０を用いることで、掘削積込作業中のホイールローダ１の動作を推定する。作業分類推定部１６７は、作業分類推定モデル１８０を用いて、ホイールローダ１の３次元モデルを特定の視点位置から見た２次元画像から作業分類を推定した推定作業分類を出力する。

【0096】

より具体的には、作業分類推定部１６７は、記憶装置１０４から作業分類推定モデル１８０を読み出し、特定視点画像生成部１６６で生成した２次元画像を作業分類推定モデル１８０に入力することで、作業分類の推定結果の出力を得る。作業分類推定部１６７は、操作データ生成部１６１で生成した操作データを作業分類推定モデル１８０に入力してもよい。２次元画像に加えて操作データを作業分類推定モデル１８０に入力することで、作業分類の推定の精度が高められる。

【0097】

作業分類推定モデル１８０は、ニューラルネットワークを含んでいる。作業分類推定モデル１８０は、たとえば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいる。

【0098】

実施形態におけるモデルは、ハードウェア、ハードウェア上で実行可能なソフトウェア、ファームウェア、またそれらの組合せに実装されていてもよい。モデルは、プロセッサ１０３によって実行されるプログラム、アルゴリズム、およびデータを含んでもよい。モデルの機能は、単一のモジュールによって実行されてもよく、または複数のモジュールに分散して実行されてもよい。モデルは、複数のコンピュータに分散して配置されてもよい。

【0099】

プロセッサ１０３は、判定部１６８を有している。判定部１６８は、作業分類推定部１６７によって推定された作業分類の推定結果と、作業分類判別部１６４で実行された作業分類の結果とを比較する。判定部１６８は、作業分類推定部１６７より出力された推定作業分類が、作業分類判別部１６４による作業分類の結果と一致しているか否かを判定する。

【0100】

プロセッサ１０３は、調整部１６９を有している。調整部１６９は、判定部１６８が判定した推定作業分類と作業分類との比較結果に基づいて、作業分類推定モデル１８０を更新する。このようにして、作業分類推定モデル１８０の学習が行なわれる。作業分類推定モデル１８０の学習は、ホイールローダ１の出荷前に、工場で行なわれる。

【0101】

＜学習済みの作業分類推定モデル１８０の製造方法＞
図７は、学習済みの作業分類推定モデル１８０の製造方法を示すフローチャートである。図８および図９は、作業分類推定モデル１８０を学習させるための処理を示す概略図である。図６について説明した内容と一部重複もあるが、図７～９を参照して、作業分類を推定する作業分類推定モデル１８０を学習させるための処理について、以下に説明する。

【0102】

図７に示されるように、まずステップＳ１０１において、操作データ２０１を生成する。ステップＳ１０２において、姿勢データ２０３を生成する。

【0103】

コンピュータ１０２Ａ、より詳しくは操作データ生成部１６１は、掘削作業中のある時刻における掘削作業開始からの経過時間を演算する。操作データ生成部１６１は、第１油圧検出器２８ａ，２８ｂ、アクセル操作検出部５１ｂ、および車速検出部２７を含む各種のセンサの検出結果に基づいて、当該時刻における操作データ２０１（図８）を生成する。コンピュータ１０２Ａ、より詳しくは姿勢データ生成部１６３は、第１角度検出器２９および第２角度検出器４８の検出結果に基づいて、当該時刻におけるブーム角度θ１およびバケット角度θ２を検出して、姿勢データ２０３（図８）を生成する。

【0104】

次にステップＳ１０３において、ホイールローダ１の動作を判別する。コンピュータ１０２Ａ、より詳しくは作業分類判別部１６４は、前後進切換検出センサ４９ｂ、ブーム操作検出部５２ｂ、バケット操作検出部５４ｂ、および第１油圧検出器２８ｂを含む各種のセンサの検出結果に基づいて、図４に示されるテーブルを参照して、ホイールローダ１の現在の動作の判別、すなわち作業分類を行ない、作業分類結果２０４（図８）を生成する。

【0105】

次にステップＳ１０４において、動作状態画像を生成する。コンピュータ１０２Ａ、より詳しくは動作状態画像生成部１６５は、姿勢データ２０３に基づいて、ホイールローダ１の立体形状を示す３次元モデルを生成する。図８に示す動作状態画像２０５は、作業中のホイールローダ１を含んでいる。動作状態画像２０５には、ホイールローダ１を構成する作業機３、車体、走行輪４ａ、４ｂなどが表示されている。

【0106】

次にステップＳ１０５において、特定視点画像を生成する。コンピュータ１０２Ａ、より詳しくは特定視点画像生成部１６６は、ステップＳ１０４で生成された動作状態画像２０５と、動作状態画像２０５に含まれる３次元モデルを仮想的に見る視点の位置を示す視点位置とから、３次元モデルを特定の視点位置から見た２次元画像である特定視点画像２０６（図８，９）を生成する。特定視点画像２０６は、３次元モデルを視点位置から仮想カメラにより撮像した仮想撮像画像であるともいえる。

【0107】

図８に示される特定視点画像２０６は、左側方から見たホイールローダ１を含んでいる。この場合の視点位置は、ホイールローダ１の左側方の位置である。図９に示される特定視点画像２０６は、右側方から見たホイールローダ１を含んでいる。この場合の視点位置は、ホイールローダ１の右側方の位置である。視点位置は、任意の位置に設定することが可能である。視点位置を変えることにより、１つの動作状態画像２０５から、複数の特定視点画像２０６が生成される。１つの動作状態画像２０５を任意の視点位置から撮像した複数の特定視点画像２０６の生成が可能である。

【0108】

図８に示される学習用データ１８８Ａは、操作データ２０１、特定視点画像２０６、および作業分類結果２０４を含んでいる。図９に示される学習用データ１８８Ｂも同様に、操作データ２０１、特定視点画像２０６、および作業分類結果２０４を含んでいる。作業分類結果２０４は、操作データ２０１および特定視点画像２０６に対してラベル付けされている。作業分類結果２０４は、特定視点画像２０６を作成する元データである、動作状態画像２０５および視点位置に対してラベル付けされている。作業分類結果２０４は、動作状態画像２０５を作成するための元データである姿勢データ２０３に対してラベル付けされている。

【0109】

学習用データ１８８Ａ，１８８Ｂにおいて、操作データ２０１および作業分類結果２０４は同一時刻のホイールローダ１に対して生成されたものであるため同一であり、特定視点画像２０６が異なる。視点位置を変えることにより、１つの動作状態画像２０５から、複数の学習用データ１８８Ａ，１８８Ｂが作成される。これにより、作業分類推定モデル１８０を学習させるための学習用データの数が増加されている。

【0110】

ステップＳ１０１～ステップＳ１０５の処理は、必ずしもこの順序で行われなくてもよい。ステップＳ１０１，Ｓ１０２およびＳ１０３の処理が同時に行なわれてもよく、ステップＳ１０２，Ｓ１０４およびＳ１０５の処理がこの順で行なわれた後にステップＳ１０１，Ｓ１０３の処理が行なわれてもよい。

【0111】

次にステップＳ１０６において、作業分類を推定する。コンピュータ１０２Ａ、より詳しくは作業分類推定部１６７は、記憶装置１０４から作業分類推定モデル１８０を読み出す。作業分類推定モデル１８０は、図８，９に示されるニューラルネットワークを含んでいる。ニューラルネットワークは、入力層１８１と、中間層（隠れ層）１８２と、出力層１８３とを含んでいる。中間層１８２は多層化されている。入力層１８１、中間層１８２および出力層１８３は、１または複数のユニット（ニューロン）を有している。入力層１８１、中間層１８２および出力層１８３のユニットの数は、適宜設定することができる。

【0112】

隣り合う層のユニット同士は結合されており、各結合には重みが設定されている。各ユニットにはバイアスが設定されている。各ユニットには閾値が設定されている。各ユニットへの入力値と重みとの積の総和にバイアスを加算した値が閾値を超えているか否かによって、各ユニットの出力値が決定される。

【0113】

作業分類推定モデル１８０は、作業中のホイールローダ１の立体形状を示す３次元モデルを特定の視点位置から見た２次元画像と、ホイールローダ１の動作に関する操作データとから、作業分類を推定した推定作業分類を出力するように学習される。学習によって調整された作業分類推定モデル１８０のパラメータは、記憶装置１０４に記憶されている。作業分類推定モデル１８０のパラメータは、たとえば、ニューラルネットワークの層数、各層におけるユニットの個数、ユニット同士の結合関係、各ユニット間の結合の重み、各ユニットに紐付けられているバイアス、および各ユニットの閾値を含んでいる。

【0114】

作業分類推定部１６７は、特定視点画像生成部１６６で生成した２次元画像である特定視点画像２０６と、操作データ生成部１６１で生成した操作データ２０１とを、入力層１８１に入力する。出力層１８３から、推定作業分類を示す出力値が出力される。たとえば、コンピュータ１０２Ａは、特定視点画像２０６および操作データ２０１を入力層１８１の入力として用いて、作業分類推定モデル１８０のニューラルネットワークの順方向伝播の演算処理を行なう。これにより、コンピュータ１０２Ａは、ニューラルネットワークの出力層１８３から出力される出力値として、作業分類を推定した推定作業分類を得る。

【0115】

次にステップＳ１０７において、推定作業分類の判定を行なう。コンピュータ１０２Ａ、より詳しくは判定部１６８は、作業分類推定モデル１８０の出力層１８３から出力された、作業分類を推定した推定作業分類と、学習用データ１８８Ａ，１８８Ｂに含まれる作業分類結果２０４とを比較して、推定作業分類が作業分類結果２０４と一致しているか否かを判定する。

【0116】

コンピュータ１０２Ａは、掘削作業中のある時刻における操作データ２０１と、当該時刻におけるホイールローダ１の立体形状を示す３次元モデルを特定の視点位置から見た特定視点画像２０６とを入力データとし、当該時刻における作業分類結果２０４を教師データとして、作業分類推定モデル１８０の学習を行なう。コンピュータ１０２Ａは、推定作業分類と作業分類結果２０４とを比較した判定の結果から、バックプロパゲーションにより、各ユニット間の結合の重み、各ユニットのバイアス、および各ユニットの閾値のそれぞれの誤差を算出する。

【0117】

次にステップＳ１０８において、作業分類推定モデル１８０のパラメータを調整する。コンピュータ１０２Ａ、より詳しくは調整部１６９は、判定部１６８による推定作業分類と作業分類結果２０４とを比較した判定の結果に基づいて、各ユニット間の結合の重み、各ユニットのバイアス、および各ユニットの閾値などの、作業分類推定モデル１８０のパラメータを調整する。このようにして、作業分類推定モデル１８０が更新される。そして、同じ操作データ２０１および特定視点画像２０６が入力層１８１に入力されたならば、教師データである作業分類結果２０４と一致する推定作業分類を出力する確率が高まるようにする。更新された作業分類推定モデル１８０のパラメータは、記憶装置１０４に記憶される。

【0118】

次回に作業分類を推定するときには、更新された作業分類推定モデル１８０に操作データ２０１および特定視点画像２０６を入力して、推定作業分類の出力を得る。コンピュータ１０２Ａは、作業分類推定モデル１８０が出力する推定作業分類が、操作データ２０１と、特定視点画像２０６の基となる姿勢データ２０３とを取得した時点での作業分類結果２０４と一致するようになるまで、ステップＳ１０１からステップＳ１０８までの処理を繰り返す。このようにして、作業分類推定モデル１８０のパラメータが最適化され、作業分類推定モデル１８０の学習が行われる。

【0119】

作業分類推定モデル１８０が十分に学習を積み重ねた結果、十分に精度の高い推定作業分類が得られるようになると、コンピュータ１０２Ａは作業分類推定モデル１８０の学習を終える。このようにして、学習済みの作業分類推定モデル１８０が作成される。そして、処理を終了する（エンド）。

【0120】

なお、作業分類推定モデル１８０の各種のパラメータの初期値は、テンプレートにより与えられてもよい。またはパラメータの初期値は、人間の入力により手動で与えられてもよい。作業分類推定モデル１８０の再学習を行うときには、コンピュータ１０２Ａは、再学習を行う対象となる作業分類推定モデル１８０のパラメータとして記憶装置１０４に記憶されている値に基づいて、パラメータの初期値を用意してもよい。

【0121】

以上説明したように、実施形態に係る学習済みの作業分類推定モデル１８０の製造方法では、作業中のホイールローダ１の立体形状を示す３次元モデルを特定の視点位置から見た２次元画像である特定視点画像２０６と、特定視点画像２０６に対してラベル付けされた作業分類結果２０４とを含む学習用データ１８８Ａ，１８８Ｂが取得される。そして、学習用データ１８８Ａ，１８８Ｂにより、作業分類推定モデル１８０の学習がなされる。

【0122】

作業分類推定モデル１８０を学習させる段階で、ホイールローダ１を実際に撮像した撮像画像を教師データとする場合、教師データを増やすためには、複数台の撮像装置およびセンサ類を準備して多数の撮像画像を作成する必要があり、多大な労力を必要とする。

【0123】

図８，９に示されるように、３次元モデルの動作状態画像２０５を教師データにし、視点位置を変えて３次元モデルを見る方向を自在に変更することで、作業分類推定モデル１８０の学習のための教師データの数を簡単に増やすことができる。多数の教師データによって作業分類推定モデル１８０を学習させることによって、学習済みの作業分類推定モデル１８０を用いた作業分類の推定の精度を向上できるので、作業分類を高精度に行なうことが可能になる。

【0124】

図６～９に示されるように、作業機３の姿勢を示す姿勢データ２０３に基づいて、ホイールローダ１の３次元モデルが作成される。作業機械本体に対するブーム１４の角度であるブーム角度θ１と、ブーム１４に対するバケット６の角度であるバケット角度θ２との検出結果を用いてホイールローダ１の３次元モデルを作成することで、高精度の３次元モデルを得ることができる。

【0125】

図８，９に示されるように、学習用データ１８８Ａ，１８８Ｂは、ホイールローダ１の動作に関する操作データ２０１をさらに含んでいる。作業分類推定モデル１８０を学習させるための学習用データ１８８Ａ，１８８Ｂとして操作データ２０１が追加されていることで、作業分類の推定の精度をさらに向上することができる。

【0126】

図７に示されるように、作業分類推定モデル１８０を学習させるための処理は、作業分類推定モデル１８０を用いて、特定視点画像２０６から作業分類を推定した推定作業分類を求めるステップ（ステップＳ１０６）と、学習用データ１８８Ａ，１８８Ｂに含まれる作業分類結果２０４に推定作業分類が一致しているか否かを判定するステップ（ステップＳ１０７）と、この判定の結果に基づいて、作業分類推定モデル１８０を更新するステップ（ステップＳ１０８）とを含んでいる。このようにすることで、工場出荷前の作業分類推定モデル１８０の学習段階で、作業分類推定モデル１８０を十分に学習させて、精度の高い作業分類推定モデル１８０を作成することができる。

【0127】

＜学習済みの作業分類推定モデル１８０を用いた作業分類の推定＞
図１０は、工場出荷されるホイールローダ１のシステム構成を示すブロック図である。工場出荷されるホイールローダ１は、図６に示されるコンピュータ１０２Ａに替えて、コンピュータ１０２Ｂを備えている。コンピュータ１０２Ｂは、プロセッサ１０３と記憶装置１０４とを有している。

【0128】

プロセッサ１０３は、図６と同様の、操作データ生成部１６１、タイマ１６２、動作状態画像生成部１６５、特定視点画像生成部１６６および作業分類推定部１６７を有している。プロセッサ１０３はまた、画像処理部１７１を有している。プロセッサ１０３は、図６に示される作業分類判別部１６４、判定部１６８および調整部１６９を有していない。記憶装置１０４は、学習済みの作業分類推定モデル１８０を有している。

【0129】

図１１は、工場出荷後に作業分類を推定するためにコンピュータ１０２Ｂによって実行される処理を示すフローチャートである。図１０，１１を参照して、工場出荷後のホイールローダ１の掘削作業中の作業分類を推定する処理について、以下に説明する。

【0130】

まずステップＳ２０１において、操作データ２０１を生成する。コンピュータ１０２Ｂ、より詳しくは操作データ生成部１６１は、掘削作業中のある時刻における掘削作業開始からの経過時間を演算する。操作データ生成部１６１は、第１油圧検出器２８ａ，２８ｂ、アクセル操作検出部５１ｂ、および車速検出部２７を含む各種のセンサの検出結果に基づいて、当該時刻における操作データを生成する。

【0131】

次にステップＳ２０２において、撮像画像を取得する。コンピュータ１０２Ｂ、より詳しくは画像処理部１７１は、撮像装置（カメラ）６５により撮像された撮像画像を、撮像装置６５から取得する。この撮像画像には、ホイールローダ１が表示されている。典型的には、撮像画像には、作業機３の少なくとも一部が表示されている。

【0132】

次にステップＳ２０３において、姿勢データを生成する。コンピュータ１０２Ｂ、より詳しくは姿勢データ生成部１６３は、撮像装置６５が撮像した撮像画像から、姿勢データ、具体的にはブーム角度θ１およびバケット角度θ２を出力する。姿勢データ生成部１６３は、作業機３に設定した特徴点の撮像画像内における位置を求めることにより、姿勢データを生成してもよい。または姿勢データ生成部１６３は、人工知能の学習済み姿勢推定モデルを利用して、姿勢データを生成してもよい。

【0133】

次にステップＳ２０４において、動作状態画像を生成する。コンピュータ１０２Ｂ、より詳しくは動作状態画像生成部１６５は、ステップＳ２０３で生成された姿勢データに基づいて、ホイールローダ１の立体形状を示す３次元モデルを生成する。

【0134】

次にステップＳ２０５において、特定視点画像を生成する。コンピュータ１０２Ｂ、より詳しくは特定視点画像生成部１６６は、ステップＳ２０４で生成された動作状態画像と、視点位置とから、３次元モデルを特定の視点位置から見た２次元画像である特定視点画像を生成する。

【0135】

次にステップＳ２０６において、作業分類を推定する。コンピュータ１０２Ｂ、より詳しくは作業分類推定部１６７は、作業分類推定モデル１８０および学習済みのパラメータの最適値を記憶装置１０４から読み出すことで、学習済みの作業分類推定モデル１８０を取得する。

【0136】

作業分類推定部１６７は、ステップＳ２０１で生成された操作データと、ステップＳ２０５で生成された特定視点画像とを、作業分類推定モデル１８０への入力データとして用いる。作業分類推定部１６７は、操作データおよび特定視点画像を、学習済みの作業分類推定モデル１８０の入力層１８１に含まれる各ユニットに入力する。学習済みの作業分類推定モデル１８０の出力層１８３から、掘削作業中のホイールローダ１の現在の動作を推定した推定作業分類１７７（図１０）が出力される。

【0137】

最後に、ステップＳ２０７において、コンピュータ１０２Ｂは、作業分類を含む管理データを生成する。コンピュータ１０２Ｂは、管理データを記憶装置１０４に記録する。そして、処理を終了する（エンド）。

【0138】

図１０，１１を参照して説明した実施形態では、３次元モデルから生成された特定視点画像を作業分類推定モデル１８０に入力して推定作業分類１７７を求める例について説明した。この例に限られず、撮像装置６５により撮像された撮像画像を、３次元モデル化することなく、実画像のまま作業分類推定モデル１８０に入力して推定作業分類１７７を求めてもよい。

【0139】

＜作業分類推定モデル１８０の学習に関する変形例＞
図１２は、作業分類推定モデル１８０の学習に関する変形例を示す概略図である。図６～９の説明においては、ホイールローダ１の工場出荷前に作業分類推定モデル１８０を学習させる例について説明した。作業分類推定モデル１８０を学習させるための学習用データは、複数のホイールローダ１から収集されてもよい。

【0140】

図１２に示される、第１のホイールローダ１（ホイールローダ１Ａ）と、第２のホイールローダ１（ホイールローダ１Ｂ）と、第３のホイールローダ１（ホイールローダ１Ｃ）とは、同じ機種である。ホイールローダ１Ａ，１Ｂ，１Ｃは、工場出荷後であり、作業現場にある。

【0141】

コンピュータ１０２Ａは、各ホイールローダ１Ａ，１Ｂ，１Ｃから、操作データ２０１と、姿勢データ２０３とを取得する。コンピュータ１０２Ａは、姿勢データ２０３に基づいて、動作状態画像２０５を生成し、さらに特定視点画像２０６を生成する。コンピュータ１０２Ａはまた、作業分類結果２０４を、姿勢データ２０３に対応付けて取得する。これらの学習用データを用いて、コンピュータ１０２Ａは、特定視点画像２０６および操作データ２０１から作業分類を推定した推定作業分類を求めることができるように、作業分類推定モデル１８０を学習させる。

【0142】

コンピュータ１０２Ａは、通信インタフェース１０５（図５）を介して、各ホイールローダ１Ａ，１Ｂ，１Ｃから、操作データ２０１、姿勢データ２０３、および作業分類結果２０４を取得してもよい。またはコンピュータ１０２Ａは、外部記録媒体１０９を介して、各ホイールローダ１Ａ，１Ｂ，１Ｃから、操作データ２０１、姿勢データ２０３、および作業分類結果２０４を取得してもよい。

【0143】

コンピュータ１０２Ａは、ホイールローダ１Ａ，１Ｂ，１Ｃと同じ作業現場に配置されていてもよい。またはコンピュータ１０２Ａは、作業現場から離れた遠隔地、たとえば管理センターに配置されていてもよい。ホイールローダ１Ａ，１Ｂ，１Ｃは、同じ作業現場にあってもよく、別々の作業現場にあってもよい。

【0144】

学習済みの作業分類推定モデル１８０は、通信インタフェース１０５または外部記録媒体１０９などを介して、各ホイールローダ１Ａ，１Ｂ，１Ｃへ提供される。このようにして、各ホイールローダ１Ａ，１Ｂ，１Ｃは、学習済みの作業分類推定モデル１８０を備えるものとされる。

【0145】

各ホイールローダ１Ａ，１Ｂ，１Ｃに既に作業分類推定モデル１８０が保存されている場合には、保存されている作業分類推定モデル１８０が書き換えられる。上述した学習用データの収集と作業分類推定モデル１８０の学習とを定期的に実行することで、作業分類推定モデル１８０の書き換えが定期的に行なわれるようにしてもよい。作業分類推定モデル１８０のパラメータの最新の更新値は、記憶装置１０４にその都度記憶されている。

【0146】

学習済みの作業分類推定モデル１８０は、第４のホイールローダ１（ホイールローダ１Ｄ）にも提供される。学習用データを提供するホイールローダ１Ａ，１Ｂ，１Ｃと、学習用データを提供しないホイールローダ１Ｄとの両方に、作業分類推定モデル１８０が提供される。ホイールローダ１Ｄは、ホイールローダ１Ａ，１Ｂ，１Ｃのいずれかと同じ作業現場にあってもよく、ホイールローダ１Ａ，１Ｂ，１Ｃとは異なる作業現場にあってもよい。ホイールローダ１Ｄは、工場出荷前であってもよい。

【0147】

ホイールローダ１Ｄは、ホイールローダ１Ａ，１Ｂ，１Ｃとは異なる機種であってもよい。たとえば、ホイールローダ１Ａ，１Ｂ，１Ｃは中型以上の機種であり、ホイールローダ１Ｄは小型機種であってもよい。ホイールローダの場合、車体の大小にかかわらず、作業機械本体に対する作業機の比率は大きくは変わらない。センサが搭載されている中型以上の機種で姿勢データを取得し、作業機の姿勢に対する作業分類の対応付けの学習がなされた作業分類推定モデル１８０を、センサを有しない小型機種であるホイールローダ１Ｄに適用することができる。このようにすれば、小型機種においても作業分類を精度よく推定することができる。

【0148】

上記実施形態では、作業分類推定モデル１８０はニューラルネットワークを含んでいる。これに限られず、作業分類推定モデル１８０は、たとえばサポートベクターマシン、決定木など、機械学習を用いて特定視点画像から作業分類を精度よく推定できるモデルであってもよい。

【0149】

実施形態においては、第１処理装置３０で作業分類を推定する例について説明したが、特にこれに限られず、第２処理装置７０で作業分類を推定するようにしてもよい。

【0150】

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0151】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ ホイールローダ、２ 車体フレーム、２ａ 前フレーム、２ｂ 後フレーム、３ 作業機、４ 走行装置、５ キャブ、６ バケット、６ａ 刃先、９ ブームピン、１４ ブーム、１６ ブームシリンダ、１７ バケットピン、１９ バケットシリンダ、２７ 車速検出部、２８ａ，２８ｂ 第１油圧検出器、２９ 第１角度検出器、３０ 第１処理装置、３０ｊ 記憶部、４５ 出力部、４８ 第２角度検出器、４９ 前後進切換装置、５１ アクセル操作装置、５２ ブーム操作装置、５３ 変速操作装置、５４ バケット操作装置、５５ アーティキュレート操作装置、５８ ブレーキ操作装置、６５ 撮像装置、７０ 第２処理装置、１００ 掘削対象物、１０２Ａ，１０２Ｂ コンピュータ、１０３ プロセッサ、１０４ 記憶装置、１１０ ダンプトラック、１６１ 操作データ生成部、１６２ タイマ、１６３ 姿勢データ生成部、１６４ 作業分類判別部、１６５ 動作状態画像生成部、１６６ 特定視点画像生成部、１６７ 作業分類推定部、１６８ 判定部、１６９ 調整部、１７１ 画像処理部、１７７ 推定作業分類、１８０ 作業分類推定モデル、１８１ 入力層、１８２ 中間層、１８３ 出力層、１８８Ａ，１８８Ｂ 学習用データ、２０１ 操作データ、２０３ 姿勢データ、２０４ 作業分類結果、２０５ 動作状態画像、２０６ 特定視点画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】