特開 2022-152093 教師画像データ作成装置、機械学習プログラム作成装置及び管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022152093

(43)【公開日】2022-10-12

(54)【発明の名称】教師画像データ作成装置、機械学習プログラム作成装置及び管理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221004BHJP

【ＦＩ】

G06T7/00 350Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021054737

(22)【出願日】2021-03-29

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 日本機械学会ロボティクス・メカトロニクス講演会’２０ 講演論文集（ＲＯＢＯＭＥＣＨ２０２０），２Ｐ２－Ａ０５，ｐｐ．１－３，金沢，Ｊｕｎｅ ２０２０． 発行日 令和 ２年 ５月２７日 ロボティクス・メカトロニクス講演会２０２０（ＲＯＢＯＭＥＣＨ２０２０ ｉｎ ＫＡＮＡＺＡＷＡ） 石川県産業展示館３号館 他（石川県金沢市袋畠町南１９３） 開催日 令和 ２年 ５月２９日 ＩＳＡＲＣ ２０２０ Ｏｎｌｉｎｅ（北九州市） ｈｔｔｐｓ：／／ｗｗｗ．ｉａａｒｃ．ｏｒｇ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２０／１０／ＩＳＡＲＣ－２０２０－Ｏｎｌｉｎｅ－Ｆｉｎａｌ－Ｓｃｈｅｄｕｌｅ－０８．ｐｄｆ 開催日 令和 ２年１０月２７日 ｈｔｔｐｓ：／／ｗｗｗ．ｉａａｒｃ．ｏｒｇ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｆｕｌｌｔｅｘｔ／ＩＳＡＲＣ＿２０２０＿Ｐａｐｅｒ＿３７４．ｐｄｆ ｈｔｔｐｓ：／／ｗｗｗ．ｉａａｒｃ．ｏｒｇ／ｐｕｂｌｉｃａｔｉｏｎｓ／２０２０＿ｐｒｏｃｅｅｄｉｎｇｓ＿ｏｆ＿ｔｈｅ＿３７ｔｈ＿ｉｓａｒｃ／ａｃｔｉｏｎ＿ｒｅｃｏｇｎｉｔｉｏｎ＿ｏｆ＿ｃｏｎｓｔｒｕｃｔｉｏｎ＿ｍａｃｈｉｎｅｒｙ＿ｆｒｏｍ＿ｓｉｍｕｌａｔｅｄ＿ｔｒａｉｎｉｎｇ＿ｄａｔａ＿ｕｓｉｎｇ＿ｖｉｄｅｏ＿ｆｉｌｔｅｒｓ．ｈｔｍｌ ウェブサイトの掲載日 令和 ２年１０月２７日 ２０２１ ＩＥＥＥ／ＳＩＣＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｙｓｔｅｍ Ｉｎｔｅｇｒａｔｉｏｎｓ予稿集 ＩＥＥＥ Ｃａｔａｌｏｇ Ｎｕｍｂｅｒ：ＣＦＰ２１ＳＳＴ－ＵＳＢ ＩＳＢＮ：９７８－１－７２８１－７６５７－４ 発行日 令和 ３年 １月１１日 ｈｔｔｐｓ：／／ｒａｓ．ｐａｐｅｒｃｅｐｔ．ｎｅｔ／ｃｏｎｆｅｒｅｎｃｅｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ＳＩＩ２１／ｐｒｏｇｒａｍ／ＳＩＩ２１＿ＣｏｎｔｅｎｔＬｉｓｔＷｅｂ＿２．ｈｔｍｌ ウェブサイトの掲載日 令和 ３年 １月１１日 ２０２１ ＩＥＥＥ／ＳＩＣＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｙｓｔｅｍ Ｉｎｔｅｇｒａｔｉｏｎｓ 福島県 いわき市 開催日 令和 ３年 １月１２日

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】千葉 拓史

(72)【発明者】

【氏名】山下 淳

(72)【発明者】

【氏名】沈 鎭赫

(72)【発明者】

【氏名】ルイ笠原 純ユネス

(72)【発明者】

【氏名】筑紫 彰太

(72)【発明者】

【氏名】山川 博司

(72)【発明者】

【氏名】田村 雄介

(72)【発明者】

【氏名】永谷 圭司

(72)【発明者】

【氏名】淺間 一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA02

5L096EA43

5L096FA16

5L096FA69

5L096GA02

5L096GA34

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】対象物の検出の精度をより高くでき、かつ、データ作成の負荷を少なくできる教師画像データを作成すること。
【解決手段】対象物を含む対象物画像及び対象物のラベルを含む対象物画像データと、複数の背景画像を含む背景画像データと、を記憶する記憶部と、対象物画像データから１つの対象物画像を取得する対象物画像取得部と、背景画像データから１つの背景画像を取得する背景画像取得部と、取得した背景画像に対象物画像を合成した合成画像を作成する画像合成部と、合成画像に対象物画像に含まれるラベルを付与するラベル付与部と、を含む教師画像データ作成装置を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を含む対象物画像および対象物のラベルを含む対象物画像データと、複数の背景画像を含む背景画像データと、を記憶する記憶部と、
前記対象物画像データから１つの前記対象物画像を取得する対象物画像取得部と、
前記背景画像データから１つの前記背景画像を取得する背景画像取得部と、
取得した前記背景画像に前記対象物画像を合成した合成画像を作成する画像合成部と、
前記合成画像に前記対象物画像に含まれるラベルを付与するラベル付与部と、を含む教師画像データ作成装置。

【請求項2】

前記対象物画像は、シミュレーションで作成した画像である請求項１に記載の教師画像データ作成装置。

【請求項3】

前記対象物画像は、動画である請求項１または請求項２に記載の教師画像データ作成装置。

【請求項4】

前記対象物は、建設機械であり、
前記ラベルは、前記建設機械の動作の情報及び前記建設機械の位置の情報である請求項３に記載の教師画像データ作成装置。

【請求項5】

前記背景画像は、撮影した画像である請求項１から請求項４のいずれか一項に記載の教師画像データ作成装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の教師画像データ作成装置で作成した複数の教師画像を含む教師画像データを記憶する記憶部と、
対象物を含む画像を学習し、画像から対象物を処理する学習済み学習モデルを作成する機械学習部と、
前記教師画像データを前記機械学習部に学習させる学習処理部と、を含む機械学習プログラム作成装置。

【請求項7】

請求項６に記載の機械学習プログラム作成装置で作成した学習済み学習モデルを記憶する記憶部と、
カメラで記憶した画像を前記学習済み学習モデルで処理し、前記画像に含まれる対象物を解析する画像解析部と、を含む管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師画像データ作成装置、機械学習プログラム作成装置及び管理装置に関する。

【背景技術】

【0002】

建設機械では、種々の作業が行われている。建設機械の動作を監視する方法として、現場にカメラを設置し、カメラの画像を用いて確認するする方法がある。また、特許文献１には、カメラの画像を解析し、対象物を抽出する技術の一例が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１７３２９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、機械学習を用いて、対象物を抽出する方法が提案されている。対象物を抽出し、対象物の評価を自動で行うことで、作業者の負担を軽くすることができる。対象物を抽出する機械学習には、教師データを作成し、教師データを用いて学習を行う方法がある。この場合、教師データは、対象物の情報を特定し、使用が想定される環境での多数の画像を作成する必要がある。教師データの画像と、対象物抽出処理時に取得した画像との差が大きい場合、検出の精度が低下する。また、教師データの画像を多数用意する処理は、作業者にとって負担が大きい。

【0005】

本開示は、上記の課題に鑑みてなされたものであって、対象物の検出の精度をより高くでき、かつ、データ作成の負荷を少なくできる教師画像データを作成する教師画像データ作成装置、機械学習プログラム作成装置及び管理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本開示の一態様の教師画像データ作成装置は、対象物を含む対象物画像及び対象物のラベルを含む対象物画像データと、複数の背景画像を含む背景画像データと、を記憶する記憶部と、前記対象物画像データから１つの前記対象物画像を取得する対象物画像取得部と、前記背景画像データから１つの前記背景画像を取得する背景画像取得部と、取得した前記背景画像に前記対象物画像を合成した合成画像を作成する画像合成部と、前記合成画像に前記対象物画像に含まれるラベルを付与するラベル付与部と、を含む。

【0007】

上記の目的を達成するため、本開示の一態様の機械学習プログラム作成装置は、上記に記載の教師画像データ作成装置で作成した複数の教師画像を含む教師画像データを記憶する記憶部と、対象物を含む画像を学習し、画像から対象物を処理する学習済み学習モデルを作成する機械学習部と、前記教師画像データを前記機械学習部に学習させる学習処理部と、を含む。

【0008】

上記の目的を達成するため、本開示の一態様の管理装置は、上記に記載の機械学習プログラム作成装置で作成した学習済み学習モデルを記憶する記憶部と、カメラで記憶した画像を前記学習済み学習モデルで処理し、前記画像に含まれる対象物を解析する画像解析部と、を含む。

【発明の効果】

【0009】

本開示によれば、対象物の検出の精度をより高くでき、かつ、データ作成の負荷を少なくできる教師画像データを作成する。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態の管理システムの概略構成を示すブロック図である。

【図2】図２は、本実施形態の教師画像データ作成装置の処理の一例を示すフローチャートである。

【図3】図３は、教師画像データの作成方法の一例を説明するための説明図である。

【図4】図４は、本実施形態の学習処理の一例を示すフローチャートである。

【図5】図５は、本実施形態の対象物の解析処理の一例を示すフローチャートである。

【図6】図６は、本実施形態の画像処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明につき図面を参照しつつ詳細に説明する。なお、本発明を実施するための形態（以下、実施形態という）により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。

【0012】

図１は、本実施形態の管理システムの概略構成を示すブロック図である。管理システム１０は、撮影した画像から対象物を検出する学習済み学習モデルを作成する。また、管理システム１０は、学習済み学習モデルの作成に用いる複数の教師画像を含む教師画像データを作成する。また、管理システム１０は、作成した学習済み学習モデルを用い、撮影した画像を解析し、対象物を検出し、対象物の評価を行う。本実施形態の対象物は、建設機械である。以下、対象物の建設機械を機器ともいう。対象物は特に限定されない。建設機械は、例えば、バックホウである。バックホウは、バケットを操作して、土砂等を掘り、搬送する。バックホウは、地面に接する履帯を備え、エンジンによって履帯を駆動することで、不整地を移動することができる。なお、本実施の形態では、学習済み学習モデルをプログラムとして説明をする。ただし、学習済み学習モデルは、機能を満たせば構成は限定されない。ハードウェアを用いて処理されてもよいし、ソフトウェアで処理されてもよい。

【0013】

また、本実施形態の管理システム１０は、画像として動画、つまり所定フレームレートで取得された連続した静止画を解析し、対象物の動作を評価する。なお、管理システム１０は、画像として静止画を解析してもよい。

【0014】

本実施形態の管理システム１０は、教師画像データ作成装置１２と、機械学習プログラム作成装置１４と、管理装置１６と、カメラ１８と、を含む。

【0015】

教師画像データ作成装置１２は、教師画像を作成し、複数の教師画像を含む教師画像データ（教師データ）を作成する。教師画像データ作成装置１２は、入力部２０と、出力部２２と、通信部２４と、演算部２６と、記憶部２８と、を含む。入力部２０は、ユーザが演算部２６へと指示をしたり、情報を入力したりするユーザインターフェースであり、画像データを記憶部２８が提供する記録媒体と接続する端子を有する。入力部２０は、例えばマウスおよびキーボード、ＵＳＢ端子等で構成される。出力部２２は、教師画像データ作成装置１２から情報を出力するデバイスであり、ディスプレイ、プリンタ等である。

【0016】

通信部２４は、外部の通信機器、機械学習プログラム作成装置１４と通信して各種データのやり取りを行う。通信部２４の通信の経路は、有線によるものであってもよいし、無線によるものであってもよいし、有線と無線とが混在するものであってもよい。また、通信経路の一部又は全部がインターネット等の公共通信回線を利用するものであってもよいし、通信経路の一部又は全部が実施形態専用に設けられたものであってもよい。通信部２４は、演算部２６からの指示にしたがって、外部の通信機器から教師画像の素材となる画像を取得する。また、通信部２４は、演算部２６からの指示にしたがって、作成した教師画像データを機械学習プログラム作成装置１４へと送信する。

【0017】

演算部２６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような演算装置を備える。演算部２６は、記憶部２８に記憶されているソフトウェア・プログラム及びデータ等を読み出して実行処理する。以下、単にプログラムと記載した場合、演算部２６に読み出されるソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に際して参照されるデータ等をさす。演算部２６は、機器画像取得部３０と、背景画像取得部３２と、画像合成部３４と、画像処理部３６と、ラベル付与部３８と、を含む。各部の機能は、記憶部２８の後に説明する。

【0018】

記憶部２８は、プログラムを記憶する二次記憶装置を含む。具体的には、記憶部２８は、図１に示すように、機器画像データ４０と、背景画像データ４２と、教師画像データ４４と、画像作成プログラム４６と、処理条件テーブル４８と、を記憶する。係る二次記憶装置の具体的な構成例として、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリーその他の不揮発性記憶装置が挙げられる。実施形態の記憶部２８は、これらのうち１つ以上を備える。また、記憶部２８は、演算部２６が行うプログラムの実行処理に際して記憶領域として利用されるＲＡＭ（Random access memory）として機能する一次記憶装置を含む。係る一時記憶装置の具体的な構成例として、ＤＲＡＭ（Dynamic Random Access Memory）として機能する半導体メモリ等が挙げられる。

【0019】

機器画像データ４０は、対象物である機器を含む機器画像を複数記憶する。機器画像は、画像上での建設機器の位置の情報、表示される領域の情報がラベルとして対応付けられる。また、機器画像は、連続した複数の画像内で建設機器が実行している処理の情報、例えば、掘削、移動、回転、バケットの中身のリリースの有無情報もラベルとして対応付けられる。機器画像は、建設機械の要素のみで構成される画像としてもよい。つまり、機器画像は、建設機械以外の部分を、同じ色の画素、または透明の画素で構成してもよい。また、機器画像は、建設機器の表示エリアの情報を対応付け、建設機器とその他を分離できる情報を含めてもよい。機器画像は、シミュレーションで作成することが好ましいが、実際の画像を加工して作成してもよい。教師画像データ作成装置１２は、入力部２０や通信部２４を介して機器画像を取得し、記憶部に記憶する。また、教師画像データ作成装置１２は、画像の要素の情報を取得し、画像処理部で処理して機器画像を作成してもよい。

【0020】

背景画像データ４２は、建設機械が作業を行う場所の画像である複数の背景画像を含む。背景画像は、例えば、建設機械を採石場で使用する場合、砕石場の画像である。ここで、背景画像は、管理システム１０で解析する対象の場所で取得した画像であることが好ましいが、シミュレーションで作成した画像や、同様の環境の種々の場所の画像を用いてもよい。教師画像データ作成装置１２は、入力部２０や通信部２４を介して背景画像を取得し、記憶部に記憶する。また、教師画像データ作成装置１２は、画像の要素の情報を取得し、画像処理部で処理して背景画像を作成してもよい。

【0021】

教師画像データ４４は、教師画像データ作成装置１２で作成した複数の教師画像である。教師画像は、背景画像に機器画像を合成した画像である。また、教師画像は、合成画像に含まれる対象物（建設機械）のラベルが対応付けられている。ラベルは、対象物が実行している動作、対象物の種類等を示す情報である。つまり、ラベルは、機械学習で用いる分類情報やバウンディングボックスの位置の情報である。

【0022】

画像作成プログラム４６は、実行されることで機器画像取得部３０と、背景画像取得部３２と、画像合成部３４と、画像処理部３６と、ラベル付与部３８との各部の機能を実現するプログラムである。処理条件テーブル４８は、機器画像取得部３０と、背景画像取得部３２と、画像合成部３４と、画像処理部３６と、ラベル付与部３８と、で実行する際の条件、つまり、教師画像データを作成するための条件である。

【0023】

演算部２６の詳細な機能について説明する。機器画像取得部３０は、外部の機器等から機器画像を取得し、機器画像データ４０に保存する。また、機器画像取得部３０は、教師画像データの作成時に機器画像データ４０から機器画像を選択する。機器画像取得部３０は、選択した機器画像を画像合成部３４に送る。

【0024】

背景画像取得部３２は、外部の機器等から機器画像を取得し、背景画像データ４２に保存する。また、背景画像取得部３２は、教師画像データの作成時に背景画像データ４２から背景画像を選択する。背景画像取得部３２は、選択した背景画像を画像合成部３４に送る。

【0025】

画像合成部３４は、背景画像に機器画像を合成し、背景画像に対象物が含まれる合成画像を作成する。合成画像が教師画像となる。背景画像に機器画像を合成する方法は、特に限定されず、機器画像から対象物の要素を取り出し、背景画像に重ねても、機器画像を対象物以外の部分が透明となる画像とし、背景画像の上に機器画像を重ねてもよい。画像合成部３４は、合成画像を教師画像データ４４に保存する。

【0026】

画像処理部３６は、機器画像、背景画像または合成画像を加工する。画像処理部３６は、設定に基づいて、画像から対象物を抽出する際に画像に対して実行する各種処理を実行する。画像処理としては、白黒（グレースケール）変換、二値化処理、エッジ抽出処理、シェーディング処理等が例示される。

【0027】

ラベル付与部３８は、合成画像にラベルを付与する。ここで、ラベル付与部３８は、機器画像に含まれた情報と、背景画像に機器画像を合成した位置に基づいて付与するラベルの情報を作成する。ラベルは、対象物が実行している動作、対象物の種類等を示す情報である。なお、ラベルには、機器画像における対象物の位置情報が含まれてもよい。

【0028】

次に、機械学習プログラム作成装置１４は、教師画像データで学習を実行し、画像に含まれる対象物を抽出し、対象物を評価する学習済み学習モデルを作成する。機械学習プログラム作成装置１４は、入力部５０と、出力部５２と、通信部５４と、演算部５６と、記憶部５８と、を含む。入力部５０は、ユーザが演算部５６へと指示をしたり、情報を入力したりするユーザインターフェースであり、画像データを記憶部５８が提供する記録媒体と接続する端子を有する。入力部５０は、例えばマウスおよびキーボード、ＵＳＢ端子等で構成される。出力部５２は、機械学習プログラム作成装置１４から情報を出力するデバイスであり、ディスプレイ、プリンタ等である。

【0029】

通信部５４は、教師画像データ作成装置１２、管理装置１６と通信して各種データのやり取りを行う。通信部５４の通信の経路は、有線によるものであってもよいし、無線によるものであってもよいし、有線と無線とが混在するものであってもよい。また、通信経路の一部又は全部がインターネット等の公共通信回線を利用するものであってもよいし、通信経路の一部又は全部が実施形態専用に設けられたものであってもよい。通信部５４は、演算部５６からの指示にしたがって、教師画像データ作成装置１２から教師画像データを取得する。また、通信部５４は、演算部５６からの指示にしたがって、作成した学習済み学習モデル７４を管理装置１６へと送信する。なお、教師画像データ、学習済み学習モデル７４は、記録媒体を用いてデータの授受を行ってもよい。

【0030】

演算部５６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような演算装置を備える。演算部５６は、記憶部５８に記憶されているソフトウェア・プログラム及びデータ等を読み出して実行処理する。以下、単にプログラムと記載した場合、演算部５６に読み出されるソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に際して参照されるデータ等をさす。演算部５６は、学習処理部６０と、機械学習部６２、を含む。

【0031】

学習処理部６０は、教師画像データ７０を用いた機械学習部６２の学習の処理を行う。つまり、学習済み学習モデルの作成を行う。機械学習部６２は、深層学習を実行する処理部である。機械学習部６２は、画像から対象物を抽出する各種学習を用いることができる。機械学習部６２は、学習モデルとして、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）と、回帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を組み合わせたモデルを用いることができる。回帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）としては、ＬＳＴＭ(Long short-term memory)を用いることが好ましい。なお、学習モデルは、画像から対象物を抽出する各種モデルを用いることができる。

【0032】

記憶部５８は、プログラムを記憶する二次記憶装置を含む。具体的には、記憶部５８は、図１に示すように、教師画像データ７０と、学習制御プログラム７２と、学習済み学習モデル７４と、を記憶する。係る二次記憶装置の具体的な構成例として、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリーその他の不揮発性記憶装置が挙げられる。実施形態の記憶部５８は、これらのうち１つ以上を備える。また、記憶部５８は、演算部５６が行うプログラムの実行処理に際して記憶領域として利用されるＲＡＭ（Random access memory）として機能する一次記憶装置を含む。係る一時記憶装置の具体的な構成例として、ＤＲＡＭ（Dynamic Random Access Memory）として機能する半導体メモリ等が挙げられる。

【0033】

教師画像データ７０は、教師画像データ４４と同じデータである。機械学習プログラム作成装置１４で作成した複数の教師画像である。学習制御プログラム７２は、実行されることで、学習処理部６０、機械学習部６２の各部の機能を実現するプログラムである。学習済み学習モデル７４は、機械学習部６２で教師画像データを用いて学習モデルへの学習を実行して作成されたプログラムである。学習済み学習モデル７４は、画像を入力して、対象物の評価を出力とするプログラムである。本実施形態の対象物の評価は、対象物の有無と対象物の実行している動作である。

【0034】

管理装置１６は、学習済み学習モデルを用いて、カメラで取得した画像の対象物を評価する。管理装置１６は、演算部８０と、記憶部８２と、を備える。説明を省略するが監視装置１６は、他の機器と同様に、入力部、出力部、通信部等を備えている。

【0035】

演算部８０は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような演算装置を備える。演算部８０は、記憶部８２に記憶されているソフトウェア・プログラム及びデータ等を読み出して実行処理する。以下、単にプログラムと記載した場合、演算部８０に読み出されるソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に際して参照されるデータ等をさす。演算部８０は、画像取得部９０と、画像解析部９２と、を含む。

【0036】

画像取得部９０は、カメラ１８から画像を取得する。画像解析部９２は、画像取得部９０が取得した画像を、学習済み学習モデルに入力し、対象物の有無と、対象物の動作を出力として、取得する。画像解析部９２は、取得した対象物の有無と対象物の動作に基づいて、評価結果を出力する。評価結果としては、建設機械が実行した動作の種類を出力しても、建設機械が実行した動作の情報を蓄積し、建設機械の運転状況を出力してもよい。

【0037】

記憶部８２は、プログラムを記憶する二次記憶装置を含む。具体的には、記憶部８２は、図１に示すように、動作抽出プログラム１０２、学習済み学習モデル１０４と、を記憶する。係る二次記憶装置の具体的な構成例として、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリーその他の不揮発性記憶装置が挙げられる。実施形態の記憶部８２は、これらのうち１つ以上を備える。また、記憶部８２は、演算部８０が行うプログラムの実行処理に際して記憶領域として利用されるＲＡＭ（Random access memory）として機能する一次記憶装置を含む。係る一時記憶装置の具体的な構成例として、ＤＲＡＭ（Dynamic Random Access Memory）として機能する半導体メモリ等が挙げられる。

【0038】

動作抽出プログラム１０２は、実行されることで、画像取得部９０と、画像解析部９２との各部の機能を実現するプログラムである。学習済み学習モデル１０４は、機械学習プログラム作成装置１４で作成されたプログラムである。学習済み学習モデル１０４は、画像を入力して、対象物の評価を出力とするプログラムである。本実施形態の対象物の評価は、対象物の有無と対象物の実行している動作である。

【0039】

カメラ２０は、建設機械が作業する対象の領域を撮影する。カメラ２０は、連続して画像を撮影できる。すなわち、カメラ２０は、動画を撮影できる。また、カメラ２０は、左右への旋回（パン）、上下への旋回（チルト）、撮影画像の拡大（ズームイン）、及び撮影画像の縮小（ズームアウト）ができる。また、カメラ２０は、工事現場に配置される台車に載せ、移動可能としてもよい。カメラ２０は、撮影した画像を管理装置１６に出力する。また、管理装置１６は、複数台のカメラから画像を取得してもよい。

【0040】

次に、図２から図６を用いて、管理システム１０の処理について説明する。まず、図２及び図３を用いて教師画像データ作成装置１２の処理動作について説明する。図２は、本実施形態の教師画像データ作成装置の処理の一例を示すフローチャートである。

【0041】

教師画像データ作成装置１２（以下データ作成装置１２ともいう。）は、機器画像を選択する（ステップＳ１２）。具体的には、機器画像取得部３０で、機器画像データ４０から１つの機器画像を選択する。次に、データ作成装置１２は、背景画像を選択する（ステップＳ１４）。具体的には、背景画像取得部３２で、背景画像データ４２から１つの背景画像を選択する。

【0042】

次に、データ作成装置１２は、選択した機器（対象物）と背景を合成し、合成画像を作成する（ステップＳ１６）。具体的には、背景画像に、機器画像の対象物を重ね合わせて合成画像を作成する。

【0043】

次に、データ作成装置１２は、合成した画像（合成画像）に機器画像に対応付けられたラベルを付与し、保存する（ステップＳ１８）。データ作成装置１２は、合成画像に対して、機器画像に対応付けられたラベルを付与する。なお、合成画像に対し画像処理された画像にラベルを付与してもよい。また、データ作成装置１２は、作成したラベルが付与された合成画像を教師画像の１つとして、教師画像データ４４に記憶させる。

【0044】

次に、データ作成装置１２は、合成画像の作成を終了するかを判定する（ステップＳ２０）。ここで、終了の判定基準は、種々の設定とすることができる。例えば、設定した枚数の合成画像を作成した場合、処理終了と判定する基準や、機器と背景について全ての組み合わせの合成画像を作成した場合、処理終了と判定する基準がある。データ作成装置１２は、作成終了ではない（ステップＳ２０でＮｏ）と判定した場合、ステップＳ１２に戻り、別の合成画像を作成する。ここで、データ作成装置１２は、機器画像と背景画像の組み合わせを変えて別の合成画像を作成することに限定されず、背景画像に組み合わせる機器画像の位置、大きさを変化させることで、別の合成画像を作成してもよい。データ作成装置１２は、作成終了である（ステップＳ２０でＹｅｓ）と判定した場合、本処理を終了する。

【0045】

図３は、教師画像データの作成方法の一例を説明するための説明図である。データ作成装置１２は、以上の処理を行うことで、機器画像２０２と背景画像２０４とを合成し、合成画像２０６を作成する。背景画像２０４に機器画像２０２の対象物の画像のみを重ねることで、背景に対象物のみは積層された合成画像２０６を作成できる。

【0046】

次に、図４は、本実施形態の学習処理の一例を示すフローチャートである。図２は、本実施形態の機械学習プログラム作成装置１４（以下プログラム作成装置１４ともいう。）の処理の一例を示すフローチャートである。プログラム作成装置１４は、教師画像データを読み込む（ステップＳ３２）。プログラム作成装置１４は、教師画像データから画像を特定する（ステップＳ３４）つまり、プログラム作成装置１４は、学習に用いる教師画像を特定する。ここで、プログラム作成装置１４は、例えば、教師画像データから所定の枚数の教師画像を学習用データとし、教師画像データから所定の枚数の教師画像を検証用データとする。比率は、例えば、学習用データを７とした場合、検証用データを３とする。

【0047】

プログラム作成装置１４は、特定した教師画像を用いて学習モデルの学習を行う（ステップＳ３６）。プログラム作成装置１４は、学習用データの教師画像を用いて学習モデルの学習を行いて学習済み学習モデルを作成し、検証用データの教師画像のラベルを削除した画像を学習済み学習モデルに入力して算出された結果とラベルを比較して、精度を評価する。

【0048】

プログラム作成装置１４は、終了条件を満たすかを判定する（ステップＳ３８）。プログラム作成装置１４は、終了条件を満たさない（ステップＳ３８でＮｏ）と判定した場合、例えば、精度が条件を満たさない場合、ステップＳ３４に戻り、再度ステップＳ３４とステップＳ３６の処理を行う。この場合、現状の学習済み学習モデルに対してさらに学習を行う再学習を行っても、教師画像データから特定する教師画像の組み合わせを変更してもよい。プログラム作成装置１４は、終了条件を満たす（ステップＳ３８でＹｅｓ）と判定した場合、学習済み学習モデルを保存または登録して（ステップＳ４０）、本処理を終了する。

【0049】

図５は、本実施形態の対象物の解析処理の一例を示すフローチャートである。図５は、管理装置１６が、カメラ１８の画像を解析する処理である。管理装置１６は、保存または登録された学習済み学習モデルを読み込み（ステップＳ５２）。次に、管理装置１６は、カメラ１８から画像を取得する（ステップＳ５４）。

【0050】

次に、管理装置１６は、機械学習部で対象物抽出を行う（ステップＳ５６）。つまり、画像解析部９２で、画像を学習済み学習モデル１０４に入力し、対象物の抽出結果を出力として取得する。次に、管理装置１６は、抽出結果を出力する（ステップＳ５８）。ここで、抽出結果は、対象物の特定結果や、対象物が実行している動作の情報である。

【0051】

管理装置１６は、処理終了かを判定する（ステップＳ６０）。管理装置１６は、処理終了ではない（ステップＳ６０でＮｏ）と判定した場合、ステップＳ５４に戻り、画像から対象物を評価する処理を実行する。管理装置１６は、処理終了である（ステップＳ６０でＹｅｓ）と判定した場合、本処理を終了する。以上の寄りで、管理装置１６は、画像から対象物を特定し、対象物の動作を特定し、評価を行うことができる。なお、ステップＳ５４に戻る場合、カメラ１８によって取得された画像に対し画像処理を行ってもよい。

【0052】

ここで、管理システム１０は、画像から対象物を抽出する処理を実行する前に、画像処理を実行してもよい。図６は、本実施形態の画像処理の一例を示すフローチャートである。以下、図６の処理を画像処理部３６の処理として説明する。なお、画像から対象物を抽出する処理を実行する前に、画像処理を実行する場合、教師画像の作成時に処理を実行し、管理装置１６で画像を評価する際も画像取得部９０で、画像処理部３６と同様の処理を実行する。これにより、入力となる画像を同様の条件とすることができる。

【0053】

画像処理部３６は、画像を取得する（ステップＳ７２）。ここで、本実施形態の画像は合成画像となる。画像処理部３６は、画像をグレースケール変換し（ステップＳ７４）、エッジ抽出し（ステップＳ７６）、二値化処理する（ステップＳ７８）。画像処理部３６は、図６の処理を実行することで、画像を白黒の線図とすることができる。

【0054】

以上で説明したように、本実施形態の教師画像データ作成装置１２は、対象物を含む対象物画像と対象物のラベルを含む対象物画像データと、複数の背景画像を含む背景画像データと、を記憶する記憶部と、対象物画像データから１つの前記対象物画像を取得する対象物画像取得部と、背景画像データから１つの前記背景画像を取得する背景画像取得部と、取得した前記背景画像に前記対象物画像を合成した合成画像を作成する画像合成部と、合成画像に前記対象物画像に含まれるラベルを付与するラベル付与部と、を含む。教師画像データ作成装置１２は、対象物の画像である機器画像と、背景画像を別々で準備し、合成画像を作成して、教師画像を作成することで、効率よく教師画像を作成することができる。また、本実施形態の教師画像データで学習を行うことで、検出精度の高い学習済み学習モデルを簡単に作成することができる。また、この学習済み学習モデルを用いることで、簡単に高い精度で検出を行うことができる。

【0055】

実際の作業場所で、対象物を種々の位置で作業を実行することで、取得できる教師画像を、背景画像を取得し、複数の背景画像に対して、複数の対象物画像を組み合わせることで、多数の組み合わせの教師画像を作成することができる。これにより、効率よくより多くかつ網羅的な組み合わせの教師画像を作成することができる。

【0056】

また、対象物画像をシミュレーションで作成した画像とすることで、種々の姿勢の対象物画像をより効率良く作成できる。また、シミュレーションにより対象物が実行している動作の情報を高い精度で特定することができる。これにより、ラベルを高い精度かつ細かい分類で付与することができる。

【0057】

対象物画像を、動画とすることで、対象物の動作をより正確に特定することができる教師画像データ、学習済み学習モデルを作成することができる。

【0058】

対象物は、建設機械とし、ラベルを、建設機械の動作の情報及び建設機械の位置の情報であるとすることで、建設機械が実行している作業を自動で抽出することができ、作業をより高い精度評価することができる。

【0059】

また、背景画像は、撮影した画像であるとすることで、解析精度を高くすることができる。また、管理システム１０は、画像に画像処理を行い、白黒の線図を用いるようにしてもよい。

【符号の説明】

【0060】

１０ 管理システム
１２ 教師画像データ作成装置
１４ 機械学習プログラム作成装置
１６ 管理装置
１８ カメラ
２０、５０ 入力部
２２、５２ 出力部
２４、５４ 通信部
２６、５６、８０ 演算部
２８、５８、８２ 記憶部
３０ 機器画像取得部
３２ 背景画像取得部
３４ 画像合成部
３６ 画像処理部
３８ ラベル付与部
４０ 機器画像データ
４２ 背景画像データ
４４ 教師画像データ
４６ 画像作成プログラム
４８ 処理条件テーブル
６０ 学習処理部
６２ 機械学習部
７０ 教師画像データ
７２ 学習制御プログラム
７４ 学習済み学習モデル
９０ 画像取得部
９２ 画像解析部
１０２ 動作抽出プログラム
１０４ 学習済み学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】