特許 7166088 作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-27

(45)【発行日】2022-11-07

(54)【発明の名称】作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法

(51)【国際特許分類】

   G07C 3/00 20060101AFI20221028BHJP

   E02F 9/20 20060101ALI20221028BHJP

   G06T 7/00 20170101ALI20221028BHJP

【ＦＩ】

G07C3/00

E02F9/20 Q

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2018123196

(22)【出願日】2018-06-28

(65)【公開番号】P2020004096

(43)【公開日】2020-01-09

【審査請求日】2021-05-06

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110000202

【氏名又は名称】新樹グローバル・アイピー特許業務法人

(72)【発明者】

【氏名】山中 伸好

(72)【発明者】

【氏名】藤井 賢佑

【審査官】塩治 雅也

(56)【参考文献】

【文献】特開平１０－０６０９４８（ＪＰ，Ａ）

【文献】特開２０１７－１４２７３５（ＪＰ，Ａ）

【文献】特開２０１５－２１７４８６（ＪＰ，Ａ）

【文献】特開２００８－２４０３６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｃ ３／００－３／１４

Ｅ０２Ｆ ９／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

走行体と、前記走行体に対して旋回可能に取り付けられた旋回体とを含む車両本体と、前記旋回体に対して可動的に取り付けられた作業機と、を含む作業車両が実行している作業を判定するためのシステムであって、
前記旋回体に取り付けられ、前記旋回体から前記作業機による作業位置に向けて配置され、前記作業位置を時系列で撮影した画像を示す画像データを生成するカメラと、
前記画像データを入力データとして、前記画像データに対応する前記作業の分類を出力する学習済みモデルを有するプロセッサと、
を備え、
前記プロセッサは、
前記画像データを取得し、
前記学習済みモデルを用いた画像解析により、前記画像データから前記作業の分類を決定する、
システム。

【請求項2】

前記作業機は、アームと、前記アームに対して回転可能に取り付けられたバケットとを含み、
前記画像データは、前記バケットの動作の映像を含む、
請求項１に記載のシステム。

【請求項3】

前記作業の分類は、掘削を含む、
請求項２に記載のシステム。

【請求項4】

前記作業の分類は、排土を含む、
請求項２又は３に記載のシステム。

【請求項5】

前記画像データは、前記バケットと、前記旋回体の旋回によって変化する前記バケットの背景の映像を含む、
請求項２から４のいずれかに記載のシステム。

【請求項6】

前記作業の分類は、ホイスト旋回を含む、
請求項５に記載のシステム。

【請求項7】

前記作業の分類は、空荷旋回を含む、
請求項５又は６に記載のシステム。

【請求項8】

前記画像データは、前記作業位置を撮影した動画を示す、
請求項１から７のいずれかに記載のシステム。

【請求項9】

走行体と、前記走行体に対して旋回可能に取り付けられた旋回体とを含む車両本体と、前記旋回体に対して可動的に取り付けられた作業機と、を含む作業車両が実行している作業を判定するために、コンピュータによって実行される方法であって、
前記作業機による作業位置に向けて前記旋回体において固定的に配置されたカメラから、前記作業位置を時系列で撮影した画像を示す画像データを取得することと、
前記画像データを入力データとして、前記画像データに対応する前記作業の分類を出力する学習済みモデルを用いた画像解析により、前記画像データから前記作業の分類を決定すること、
を備える方法。

【請求項10】

前記作業機は、アームと、前記アームに対して回転可能に取り付けられたバケットとを含み、
前記画像データは、前記バケットの動作の映像を含む、
請求項９に記載の方法。

【請求項11】

前記作業の分類は、掘削を含む、
請求項１０に記載の方法。

【請求項12】

前記作業の分類は、排土を含む、
請求項１０又は１１に記載の方法。

【請求項13】

前記画像データは、前記バケットと、前記旋回体の旋回によって変化する前記バケットの背景の映像を含む、
請求項１０から１２のいずれかに記載の方法。

【請求項14】

前記作業の分類は、ホイスト旋回を含む、
請求項１３に記載の方法。

【請求項15】

走行体と、前記走行体に対して旋回可能に取り付けられた旋回体とを含む車両本体と、前記旋回体に対して可動的に取り付けられた作業機と、を含む作業車両が実行している作業を判定するための学習済みモデルの製造方法であって、
前記旋回体から前記作業機による作業位置に向けて前記作業位置を時系列で撮影した画像を示す画像データを取得することと、
前記画像における時刻と、前記時刻ごとに割り当てられた前記作業の分類とを含む作業データを生成することと、
前記画像データと前記作業データとを学習データとして、画像解析のためのモデルを学習させることで、前記学習済みモデルを構築すること、
を備える学習済みモデルの製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法に関する。

【背景技術】

【0002】

従来、作業車両による作業をコンピュータによって推定する技術が知られている。例えば、油圧ショベルは、掘削、旋回、或いは排土などの動作を行う。特許文献１では、油圧ショベルのこれらの作業を、油圧ショベルに備えられたセンサからの検出値に基づいて、コントローラが判定している。例えば、油圧ショベルは、回転速度センサ、圧力センサ、及び複数の角度センサを備えている。回転速度センサは、エンジンの回転速度を検出する。圧力センサは、油圧ポンプの吐出圧を検出する。複数の角度センサは、ブーム角度、アーム角度、及びバケット角度を検出する。コントローラは、これらのセンサからの検出値に基づいて、油圧ショベルが実行している作業を判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１０３３０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の技術では、センサを備えていない作業車両の作業を判定することはできない。また、作業現場に配置された複数の作業車両を管理するために各作業車両の動作を判定する場合、全ての作業車両が、作業の判定に必要なセンサを備えているとは限らない。従って、作業現場に配置された複数の作業車両を管理するために各作業車両の作業を判定することは容易ではない。

【0005】

一方、近年、人や物の動作を撮影した動画を人工知能によって解析することで、どのような動作が行われているかをコンピュータが判定する技術が研究されている。例えば、動画を扱う人工知能のモデルとして、再帰型ニューラルネットワーク（RNN）などが研究されている。このような人工知能技術を用いて、作業車両の動作を撮影した動画を解析することができれば、作業車両の作業をコンピュータによって判定することができる。

【0006】

しかし、作業車両の外部に配置されたカメラにより作業車両を撮影する場合、同じ作業であっても、作業車両の向きに応じて、取得される動画は異なるものとなる。従って、人工知能のモデルを学習させるためには、作業車両の向きを変化させた膨大な量の動画が必要となる。そのため、判定精度の高い学習済みモデルを構築することは容易ではない。

【0007】

本発明の目的は、人工知能を用いて作業車両による作業を容易、且つ、精度良く判定することにある。

【課題を解決するための手段】

【0008】

第１の態様は、作業車両が実行している作業を判定するためのシステムである。作業車両は、車両本体と、車両本体に対して可動的に取り付けられた作業機と、を含む。本態様に係るシステムは、カメラとプロセッサとを備える。カメラは、車両本体に取り付けられ、車両本体から作業機による作業位置に向けて配置される。カメラは、作業位置を時系列で撮影した画像を示す画像データを生成する。プロセッサは、学習済みモデルを有する。学習済みモデルは、画像データを入力データとして、画像データに対応する作業の分類を出力する。プロセッサは、画像データを取得し、学習済みモデルを用いた画像解析により、画像データから作業の分類を決定する。

【0009】

第２の態様は、作業車両が実行している作業を判定するために、コンピュータによって実行される方法である。作業車両は、車両本体と、車両本体に対して可動的に取り付けられた作業機と、を含む。本態様に係る方法は、以下の処理を備える。第１の処理は、作業機による作業位置に向けて車両本体において固定的に配置されたカメラから、作業位置を時系列で撮影した画像を示す画像データを取得することである。第２の処理は、学習済みモデルを用いた画像解析により、画像データから作業の分類を決定することである。学習済みモデルは、画像データを入力データとして、画像データに対応する作業の分類を出力する。

【0010】

第３の態様は、作業車両が実行している作業を判定するための学習済みモデルの製造方法である。作業車両は、車両本体と、車両本体に対して可動的に取り付けられた作業機と、を含む。本態様に係る学習済みモデルの製造方法は、以下の処理を備える。第１の処理は、車両本体から作業機による作業位置に向けて作業位置を時系列で撮影した画像を示す画像データを取得することである。第２の処理は、画像における時刻と、時刻ごとに割り当てられた作業の分類とを含む作業データを生成することである。第３の処理は、画像データと作業データとを学習データとして、画像解析のためのモデルを学習させることで、学習済みモデルを構築することである。

【発明の効果】

【0011】

本発明では、作業機による作業位置に向けて車両本体に配置されたカメラから画像データが取得される。従って、作業車両の向きが変化しても、画像中の作業位置とカメラとの位置関係の変化は少ない。そのため、判定精度の高い学習済みモデルを容易に構築することができる。それにより、人工知能を用いて作業車両による作業を容易、且つ、精度良く判定することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係るシステムを示す模式図である。

【図2】システムのコンピュータの構成を示す模式図である。

【図3】コンピュータに実装されたシステムの構成を示す模式図である。

【図4】ニューラルネットワークの構成を示す模式図である。

【図5】作業車両の作業を推定するための処理を示すフローチャートである。

【図6】掘削の画像データの一例を示す図である。

【図7】ホイスト旋回の画像データの一例を示す図である。

【図8】排土の画像データの一例を示す図である。

【図9】空荷旋回の画像データの一例を示す図である。

【図10】学習システムの構成を示す模式図である。

【図11】作業データの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して実施形態について説明する。図１は、実施形態に係る分類システム１００を示す模式図である。分類システム１００は、作業車両１が行っている作業を判定するためのシステムである。本実施形態において、作業車両１は、油圧ショベルである。作業車両１は、車両本体２と作業機３とを含む。

【0014】

車両本体２は、走行体４と旋回体５とを含む。走行体４は、履帯６を含む。履帯６が駆動されることで、作業車両１は走行する。旋回体５は、走行体４に対して旋回可能に取り付けられている。作業機３は、車両本体２に対して可動的に取り付けられている。詳細には、作業機３は、旋回体５に対して回転可能に取り付けられている。作業機３は、ブーム７と、アーム８と、バケット９とを含む。ブーム７は、旋回体５に対して回転可能に取り付けられている。アーム８は、ブーム７に対して回転可能に取り付けられている。バケット９は、アーム８に対して回転可能に取り付けられている。

【0015】

分類システム１００は、カメラ１０１とコンピュータ１０２とを含む。カメラ１０１は、車両本体２に取り付けられている。詳細には、カメラ１０１は、旋回体５に取り付けられている。カメラ１０１は、車両本体２から作業機３による作業位置Ｐ１に向けて配置されている。車両本体２に対するカメラ１０１の向きは固定されている。作業位置Ｐ１は、作業機３の少なくとも一部、及び、その周囲を含む所定範囲である。

【0016】

詳細には、作業位置Ｐ１は、バケット９、及び、その周囲を含む。従って、画像データは、バケット９の動作の映像を含む。また、画像データは、バケット９の背景の映像を含む。作業位置Ｐ１は、アーム８の少なくとも一部をさらに含んでもよい。カメラ１０１は、作業位置Ｐ１を時系列で撮影した複数の画像を示す画像データを生成する。詳細には、カメラ１０１は、作業位置Ｐ１を撮影した動画データを生成する。

【0017】

コンピュータ１０２は、カメラ１０１と無線、或いは有線により通信を行う。カメラ１０１は、画像データをコンピュータ１０２に送信する。コンピュータ１０２は、通信ネットワークを介して、カメラ１０１から画像データを受信してもよい。コンピュータ１０２は、記録媒体を介してカメラ１０１から画像データを受信してもよい。

【0018】

コンピュータ１０２は、作業車両１が存在する作業現場に配置されてもよい。或いは、コンピュータ１０２は、作業現場から離れた管理センターに配置されてもよい。コンピュータ１０２は、分類システム１００用に専用に設計されたものであってもよく、或いは汎用のＰＣ（Personal Computer）であってもよい。コンピュータ１０２は、カメラ１０１から画像データを受信する。コンピュータ１０２は、人工知能の学習済みモデルを用いることで、画像データから作業車両１の作業の分類を決定する。

【0019】

図２は、コンピュータ１０２の構成を示す模式図である。図２に示すように、コンピュータ１０２は、プロセッサ１０３と、記憶装置１０４と、通信インタフェース１０５と、Ｉ／Ｏインタフェース１０６とを含む。プロセッサ１０３は、例えばＣＰＵ（Central Processing Unit）である。記憶装置１０４は、記録されたプログラム及びデータなどの情報をプロセッサ１０３が読み取り可能なように記録する媒体を含む。記憶装置１０４は、ＲＡＭ（Random Access Memory）、或いはＲＯＭ（Read Only Memory）などのシステムメモリと、補助記憶装置とを含む。補助記憶装置は、例えばハードディスク等の磁気的記録媒体、ＣＤ、ＤＶＤ等の光学的記録媒体、或いは、フラッシュメモリ等の半導体メモリであってもよい。記憶装置１０４は、コンピュータ１０２に内蔵されてもよい。記憶装置１０４は、コンピュータ１０２に着脱可能に接続される外部記録媒体を含んでもよい。

【0020】

通信インタフェース１０５は、例えば有線ＬＡＮ（Local Area Network）モジュール、或いは無線ＬＡＮモジュール等であり、通信ネットワークを介した通信を行うためのインタフェースである。Ｉ／Ｏインタフェース１０６は、例えばＵＳＢ（Universal Serial Bus）ポート等であり、外部装置と接続するためのインタフェースである。

【0021】

コンピュータ１０２は、Ｉ／Ｏインタフェース１０６を介して、入力装置１０７、及び出力装置１０８と接続される。入力装置１０７は、ユーザーがコンピュータ１０２への入力を行うための装置である。入力装置１０７は、例えば、マウス、或いはトラックボール等のポインティングデバイスを含む。入力装置１０７は、キーボード等の文字入力のための装置を含んでもよい。出力装置１０８は、例えば、ディスプレイを含む。

【0022】

図３は、分類システム１００の構成の一部を示す図である。図３に示すように、分類システム１００は、学習済みの分類モデル１１１を含む。学習済みの分類モデル１１１は、コンピュータ１０２に実装されている。学習済みの分類モデル１１１は、コンピュータ１０２の記憶装置１０４に保存されていてもよい。

【0023】

本実施形態において、モジュール及びモデルは、ハードウェア、ハードウェア上で実行可能なソフトウェア、ファームウェア、或いはそれらの組合せに実装されていてもよい。モジュール及びモデルは、プロセッサによって実行されるプログラム、アルゴリズム、及びデータを含んでもよい。モジュール及びモデルの機能は、単一のモジュールによって実行されてもよく、或いは複数のモジュールに分散して実行されてもよい。モジュール及びモデルは、複数のコンピュータに分散して配置されてもよい。

【0024】

分類モデル１１１は、画像解析のための人工知能モデルである。詳細には、分類モデル１１１は、動画解析のための人工知能モデルである。分類モデル１１１は、入力された画像データＤ１１を解析して、画像データＤ１１中の動画に対応する分類を出力する。コンピュータ１０２は、画像データＤ１１に対して、人工知能の分類モデル１１１を用いた動画解析を実行することにより、作業車両１の作業の分類を決定する。分類モデル１１１は、決定した作業の分類を示す出力データＤ１２を出力する。

【0025】

分類モデル１１１は、図４に示すニューラルネットワーク１２０を含む。例えば、分類モデル１１１は、畳み込みニューラルネットワーク（CNN）などのディープニューラルネットワークを含む。

【0026】

図４に示すように、ニューラルネットワーク１２０は、入力層１２１、中間層１２２（隠れ層）、及び出力層１２３を含む。各層１２１，１２２，１２３は、１又は複数のニューロンを備えている。例えば、入力層１２１のニューロンの数は、画像データＤ１１の画素数に応じて設定することができる。中間層１２２のニューロンの数は、適宜設定することができる。出力層１２３は、作業車両１の作業の分類数に応じて設定することができる。

【0027】

互いに隣接する層のニューロン同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。

【0028】

入力層１２１には、作業車両１の画像データＤ１１が入力される。出力層１２３には、分類された各動作の確率を示す出力値が出力される。分類モデル１１１は、画像データＤ１１が入力されると、分類された各作業の確率を示す出力値を出力するように学習済みである。学習によって得られた分類モデル１１１の学習済みパラメータは、記憶装置１０４に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク１２０の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。

【0029】

図５は、作業車両１の作業を判定するためにコンピュータ１０２（プロセッサ１０３）によって実行される処理を示すフローチャートである。図５に示すように、ステップＳ１０１では、コンピュータ１０２は、カメラ１０１が撮影した作業車両１の画像データＤ１１を取得する。コンピュータ１０２は、カメラ１０１が撮影した画像データＤ１１をリアルタイムに取得してもよい。或いは、コンピュータ１０２は、カメラ１０１が撮影した画像データＤ１１を所定時刻に、或いは所定時間ごとに取得してもよい。コンピュータ１０２は、画像データＤ１１を記憶装置１０４に保存する。

【0030】

ステップＳ１０２では、コンピュータ１０２は、学習済みの分類モデル１１１を用いた動画解析を実行する。コンピュータ１０２は、ステップＳ１０１で取得した画像データＤ１１が示す動画を、分類モデル１１１への入力データとして用いて、上述したニューラルネットワーク１２０に基づく画像解析を実行する。

【0031】

例えば、コンピュータ１０２は、画像データＤ１１に含まれる画素値をニューラルネットワーク１２０の入力層１２１に含まれる各ニューロンに入力する。コンピュータ１０２は、作業車両１の作業の各分類の確率を出力データＤ１２として得る。本実施形態において、作業の分類は、「掘削」、「ホイスト旋回」、「排土」、及び「空荷旋回」を含む。従って、コンピュータ１０２は、「掘削」、「ホイスト旋回」、「排土」、及び「空荷旋回」の各分類の確率を示す出力値を得る。

【0032】

図６は、カメラ１０１が撮影した「掘削」の画像データの一例を示す図である。図６に示すように、掘削の画像データは、バケット９が掘削方向に回転し、バケット９が土に接触してから離れるまでの動作を動画で示す。図７は、カメラ１０１が撮影した「ホイスト旋回」の画像データの一例を示す図である。図７に示すように、ホイスト旋回の画像データは、旋回体５の旋回により、バケット９の背景が連続的に変化し始めてから、変化が止まるまでの動作を動画で示す。

【0033】

図８は、カメラ１０１が撮影した「排土」の画像データの一例を示す図である。図８に示すように、排土の画像データは、バケット９が排土方向に回転して、バケット９が開き始めてから、バケット９から土が全て落ちるまでの動作を動画で示す。図９は、カメラ１０１が撮影した「空荷旋回」の画像データの一例を示す図である。図９に示すように、空荷旋回の画像データは、旋回体５の旋回により、バケット９の背景が連続的に変化し始めてから、変化が止まるまでの動作を動画で示す。ただし、空荷旋回の画像データでは、ホイスト旋回の画像データと比べて、バケット９の姿勢が異なる。

【0034】

分類モデル１１１は、図６に示すような掘削を示す画像データに対しては「掘削」の分類の出力値が高くなるように、学習済みである。分類モデル１１１は、図７に示すようなホイスト旋回を示す画像データに対しては「ホイスト旋回」の分類の出力値が高くなるように、学習済みである。分類モデル１１１は、図８に示すような排土を示す画像データに対しては「排土」の分類の出力値が高くなるように、学習済みである。分類モデル１１１は、図９に示すような空荷旋回を示す画像データに対しては「空荷旋回」の分類の出力値が高くなるように、学習済みである。

【0035】

ステップＳ１０３では、コンピュータ１０２は、作業車両１の作業の分類を決定する。コンピュータ１０２は、出力データＤ１２が示す各分類の確率に基づいて、作業車両１の作業の分類を決定する。コンピュータ１０２は、最も高い確率を有する分類を、作業車両１の作業として決定する。これにより、コンピュータ１０２は、作業車両１が実行している作業を推定する。

【0036】

ステップＳ１０４では、コンピュータ１０２は、ステップＳ１０３で決定された分類での作業車両１の作業時間を記録する。例えば、作業車両１が掘削を行っているときには、コンピュータ１０２は、作業の分類を「掘削」に決定すると共に、掘削の作業時間を記録する。

【0037】

ステップＳ１０５では、コンピュータ１０２は、作業の分類及び作業時間を含む管理データを生成する。コンピュータ１０２は、管理データを記憶装置１０４に記録する。なお、上述したステップＳ１０１からＳ１０５の処理は、それぞれ作業車両１の作業中にリアルタイムに実行されてもよい。或いは、ステップＳ１０１からＳ１０５の処理は、作業車両１の作業終了後に実行されてもよい。

【0038】

以上説明した本実施形態に係る分類システム１００では、作業機３による作業位置Ｐ１に向けて車両本体２に配置されたカメラ１０１から画像データが取得される。作業位置Ｐ１とカメラとの位置関係とは固定されている。従って、作業車両１の向きが変化しても、動画中の作業位置Ｐ１とカメラ１０１との位置関係は変化しない。そのため、判定精度の高い学習済みモデルを容易に構築することができる。それにより、人工知能を用いて作業車両１による作業を容易、且つ、精度良く判定することができる。

【0039】

分類システム１００では、コンピュータ１０２は、作業車両１の車両本体２に取り付けられたカメラ１０１から作業車両１を撮影した画像データＤ１１を取得して、作業車両１の作業を判定することができる。従って、特定のセンサなどの作業判定用の装備を備えていない作業車両１に対しても、カメラ１０１を取り付けることで、容易、且つ、精度良く作業を判定することができる。

【0040】

分類システム１００では、作業車両１の画像から、作業の分類を決定すると共に、当該分類の作業時間が管理データとして記録される。従って、作業車両１の画像を時系列で撮影することで、作業車両１による作業のタイムスタディをコンピュータ１０２によって容易且つ自動で行うことができる。また、作業現場における複数の作業車両１の時系列の画像をそれぞれ撮影して、分類システム１００によって管理データを生成することで、作業現場における複数の作業車両１による作業のタイムスタディをコンピュータ１０２によって容易且つ自動で行うことができる。

【0041】

次に、実施形態に係る分類モデル１１１の学習方法について説明する。図１０は、分類モデル１１１の学習を行う学習システム２００を示す図である。学習システム２００は、上述したコンピュータ１０２と同様にプロセッサと記憶装置とを含むコンピュータによって構成される。

【0042】

学習システム２００は、学習データ生成モジュール２１１と学習モジュール２１２とを含む。学習データ生成モジュール２１１は、作業車両１の画像データＤ２１と作業データＤ２２とから学習データＤ２３を生成する。画像データＤ２１は、上述した画像データＤ１１と同様に、車両本体２に取り付けられたカメラ１０１から取得される。

【0043】

図１１は、作業データＤ２２の一例を示す図である。図１１に示すように、作業データＤ２２は、画像データＤ２１中の画像における時刻と、当該時刻ごとに割り当てられた作業の分類とを含む。分類の割り当ては、人によって行われてもよい。

【0044】

学習システム２００には、画像解析のための分類モデル１１１が用意されている。学習モジュール２１２は、学習データＤ２３によって分類モデル１１１を学習させることで、分類モデル１１１のパラメータを最適化する。学習システム２００は、最適化されたパラメータを学習済みパラメータＤ２４として取得する。

【0045】

なお、分類モデル１１１の各種のパラメータの初期値は、テンプレートにより与えられてもよい。或いは、パラメータの初期値は、人間の入力により手動で与えられてもよい。学習システム２００は、分類モデル１１１の再学習を行ってもよい。分類モデル１１１の再学習を行うときには、学習システム２００は、再学習を行う対象となる分類モデル１１１の学習済みパラメータＤ２４に基づいて、パラメータの初期値を用意してもよい。

【0046】

学習システム２００は、上述した分類モデル１１１の学習を定期的に実行することで、学習済みパラメータＤ２４を更新してもよい。学習システム２００は、更新した学習済みパラメータＤ２４を分類システム１００のコンピュータ１０２に転送してもよい。コンピュータ１０２は、転送された学習済みパラメータＤ２４によって、分類モデル１１１のパラメータを更新してもよい。

【0047】

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。

【0048】

分類システム１００、及び／又は、学習システム２００の構成が変更されてもよい。例えば、分類システム１００は、複数のコンピュータを含んでもよい。上述した分類システム１００による処理は、複数のコンピュータに分散して実行されてもよい。

【0049】

学習システム２００は、複数のコンピュータを含んでもよい。上述した学習システム２００による処理は、複数のコンピュータで分散して実行されてもよい。例えば、学習データの生成と、分類モデル１１１の学習とは、異なるコンピュータによって実行されてもよい。すなわち、学習データ生成モジュール２１１と学習モジュール２１２とは異なるコンピュータに実装されてもよい。

【0050】

コンピュータ１０２は、複数のプロセッサを含んでもよい。上述した処理の少なくとも一部は、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）などの他のプロセッサによって実行されてもよい。上述した処理は、複数のプロセッサに分散して実行されてもよい。

【0051】

上記実施形態では、分類モデル１１１はニューラルネットワーク１２０を含む。しかし、分類モデル１１１は、ニューラルネットワークに限らず、例えば、サポートベクターマシンなど、画像解析を精度良く行えるモデルあってもよい。

【0052】

作業車両１は、油圧ショベルに限らず、ブルドーザ、ホイールローダ、グレーダー、或いはダンプトラックなどの他の車両であってもよい。分類システム１００は、複数の作業車両の作業を判定してもよい。分類モデル１１１、学習済みパラメータＤ２４、及び／又は、学習データＤ２３は、作業車両１の種類ごとに用意されてもよい。或いは、分類モデル１１１、学習済みパラメータＤ２４、及び／又は、学習データＤ２３は、複数種類の作業車両１に共通であってもよい。その場合、分類モデル１１１は、作業車両１の作業と共に作業車両１の種類を推定してもよい。

【0053】

分類システム１００は、カメラ１０１を複数有してもよい。複数のカメラ１０１は、複数の作業車両１の画像を撮影してもよい。コンピュータ１０２は、複数のカメラ１０１のそれぞれから、画像データＤ１１を受信してもよい。カメラ１０１は、時系列の静止画像を取得してもよい。すなわち、画像データＤ１１は、時系列の複数の静止画像を示すデータであってもよい。

【0054】

作業の分類の一部が変更、或いは省略されてもよい。或いは、作業の分類は、他の分類をさらに含んでもよい。例えば、作業の分類は、「積込」或いは「溝掘削」などの分類を含んでもよい。「積込」と「溝掘削」とでは、作業機３の動作は類似している。そのため、上述したセンサによる判定では、精度良く作業を判定することは困難である。しかし、作業機３の背景を含む画像データから分類モデル１１１によって作業を判定することで、精度良く作業を判定することができる。

【0055】

上述した処理の一部が省略、或いは変更されてもよい。例えば、作業時間を記録する処理が省略されてもよい。管理データを生成する処理が省略されてもよい。

【0056】

上述した分類モデル１１１は、学習データを用いて機械学習により学習したモデルに限らず、当該学習したモデルを利用して生成されたモデルであってもよい。例えば、分類モデル１１１は、学習済みモデルに新たなデータを用いて更に学習させることで、パラメータを変化させ、精度をさらに高めた別の学習済みモデル（派生モデル）であってもよい。或いは、分類モデル１１１は、学習済みモデルにデータの入出力を繰り返すことで得られる結果を基に学習させた別の学習済みモデル（蒸留モデル）であってもよい。

【産業上の利用可能性】

【0057】

本発明によれば、人工知能を用いて作業車両による作業を容易、且つ、精度良く判定することができる。

【符号の説明】

【0058】

２ 車両本体
３ 作業機
４ 走行体
５ 旋回体
８ アーム
９ バケット
１００ 分類システム
１０１ カメラ
１０３ プロセッサ
Ｐ１ 作業位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】