特開 2024-25410 作業分類装置、作業分類方法、プログラムおよび学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025410

(43)【公開日】2024-02-26

(54)【発明の名称】作業分類装置、作業分類方法、プログラムおよび学習装置

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240216BHJP

   G06T 7/00 20170101ALN20240216BHJP

【ＦＩ】

G06Q50/04

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022128826

(22)【出願日】2022-08-12

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】松田 達也

(72)【発明者】

【氏名】梅本 翔

(72)【発明者】

【氏名】松村 一毅

(72)【発明者】

【氏名】西川 晴敏

(72)【発明者】

【氏名】大本 裕矢

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC04

5L096BA02

5L096CA05

5L096DA02

5L096GA34

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】実作業を複数の作業区分へ適切に分類することができる作業分類装置、作業分類方法、プログラムおよび学習装置を提供する。
【解決手段】作業分類装置は、複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への教示作業の分類付けが学習された学習済モデルと、複数のカメラにより実作業が撮影された複数の実画像を取得する実画像取得部と、学習済モデルと実画像に基づき、実作業を複数の作業区分へ分類する分類部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと、
前記複数のカメラにより実作業が撮影された複数の実画像を取得する実画像取得部と、
前記学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類する分類部と、
を備える作業分類装置。

【請求項2】

前記複数の作業区分が、主体作業、準備作業、付随作業、および余裕作業を含む
請求項１に記載の作業分類装置。

【請求項3】

前記分類部は、前記学習済モデルと前記実画像に基づき、前記実画像に含まれている作業工具の分析結果を反映させて、前記実作業を前記複数の作業区分へ分類する
請求項１または２に記載の作業分類装置。

【請求項4】

前記分類部は、前記学習済モデルと前記実画像に基づき、前記実作業の内容と着手日時と完了日時を記録したデータベースを参照して、前記実作業を前記複数の作業区分へ分類する
請求項１または２に記載の作業分類装置。

【請求項5】

複数のカメラにより実作業が撮影された複数の実画像を取得するステップと、
前記複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、
を含む作業分類方法。

【請求項6】

複数のカメラにより実作業が撮影された複数の実画像を取得するステップと、
前記複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、
をコンピュータに実行させるプログラム。

【請求項7】

複数のカメラにより実作業が撮影された複数の実画像を入力するとともに前記実作業を複数の作業区分へ分類した結果を出力する機械学習モデルを、前記複数の作業区分がラベリングされた複数の教示画像に基づき機械学習する機械学習部を
備える学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業分類装置、作業分類方法、プログラムおよび学習装置に関する。

【背景技術】

【0002】

特許文献１には、作業現場の映像データを含む作業データに基づいて、作業現場で作業者によって行われる作業を複数の時系列的な詳細工程に分類する作業データ管理システムが記載されている。特許文献１に記載されている作業データ管理システムでは、作業者の頭、手等の身体の所定部位の位置の変化に基づいて作業者が行っている詳細工程が特定される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６８２４８３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の作業データ管理システムでは、身体の所定部位の位置の変化の撮影が困難な作業については、詳細工程の分類が難しい場合があるという課題がある。

【0005】

本開示は、上記課題を解決するためになされたものであって、実作業を複数の作業区分へ適切に分類することができる作業分類装置、作業分類方法、プログラムおよび学習装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示に係る作業分類装置は、複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと、前記複数のカメラにより実作業が撮影された複数の実画像を取得する実画像取得部と、前記学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類する分類部と、を備える。

【0007】

本開示に係る作業分類方法は、複数のカメラにより実作業が撮影された複数の実画像を取得するステップと、前記複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、を含む。

【0008】

本開示に係るプログラムは、複数のカメラにより実作業が撮影された複数の実画像を取得するステップと、前記複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、をコンピュータに実行させる。

【0009】

本開示に係る学習装置は、複数のカメラにより実作業が撮影された複数の実画像を入力するとともに前記実作業を複数の作業区分へ分類した結果を出力する機械学習モデルを、前記複数の作業区分がラベリングされた複数の教示画像に基づき機械学習する機械学習部を備える。

【発明の効果】

【0010】

本開示の作業分類装置、作業分類方法、プログラムおよび学習装置によれば、実作業を複数の作業区分へ適切に分類することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態に係る作業分類システムの構成例を示すブロック図である。

【図2】本開示の実施形態に係る作業データベースの構成例を示す模式図である。

【図3】本開示の実施形態に係る作業区分の定義の例を示す模式図である。

【図4】本開示の実施形態に係る時間の分類の例を示す模式図である。

【図5】本開示の実施形態に係る教示画像の例を示す模式図である。

【図6】本開示の実施形態に係る教示画像の例を示す模式図である。

【図7】本開示の実施形態に係る教示画像の例を示す模式図である。

【図8】本開示の実施形態に係る教示画像の例を示す模式図である。

【図9】本開示の実施形態に係る教示画像の例を示す模式図である。

【図10】本開示の実施形態に係る教示画像の例を示す模式図である。

【図11】本開示の実施形態に係る教示画像の例を示す模式図である。

【図12】本開示の実施形態に係る教示画像の例を示す模式図である。

【図13】本開示の実施形態に係る教示画像の例を示す模式図である。

【図14】本開示の実施形態に係る作業分類装置の動作例を示すフローチャートである。

【図15】本開示の実施形態に係る作業分類システムの実装例を示す模式図である。

【図16】本開示の実施形態に係る作業分類システムの実装例を示す模式図である。

【図17】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態に係る作業分類装置、作業分類方法、プログラムおよび学習装置について、図１～図１７を参照して説明する。図１は、本開示の実施形態に係る作業分類システムの構成例を示すブロック図である。図２は、本開示の実施形態に係る作業データベースの構成例を示す模式図である。図３は、本開示の実施形態に係る作業区分の定義の例を示す模式図である。図４は、本開示の実施形態に係る時間の分類の例を示す模式図である。図５～図１３は、本開示の実施形態に係る教示画像の例を示す模式図である。図１４は、本開示の実施形態に係る作業分類装置の動作例を示すフローチャートである。図１５および図１６は、本開示の実施形態に係る作業分類システムの実装例を示す模式図である。図１７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

【0013】

（作業分類システムの構成）
図１は、本開示の実施形態に係る作業分類システム１００の構成例を示す。図１に示す作業分類システム１００は、作業分類装置１と、複数のカメラ２と、複数の作業者端末３と、作業データベース４とを備える。作業分類システム１００は、複数のカメラ２が撮影した画像に基づいて、撮影した画像に含まれる作業を複数の作業区分へ分類するシステムである。なお、本実施形態において作業の内容等に関する例は、航空機やその部品の組み立て作業を前提とした例を挙げる。ただし、本実施形態の適用はこの例に限定されない。

【0014】

カメラ２は、分類の対象となる作業の作業場所に設置され、作業を撮影する。カメラ２は、例えばＷｅｂ（ウェブ）カメラであり、撮影した静止画像または動画像を表す画像データを図示していない通信回線を介して作業分類装置１へ向けて送信する。動画像を表す画像データは、例えば、映像を表すビデオデータと、カメラ２の周囲の音を表すオーディオデータとを含んでいる。また、複数のカメラ２が撮影した各画像データは、互いに同期がとれた時刻情報をそれぞれ含んでいる。カメラ２は、例えば、作業対象となる部品や製品と、部品や製品に対して作業を実施する１または複数の作業者と、作業者が使用する工具や計量器、治具、副資材等（以下、まとめて「工具等」ともいう）とを撮影する。なお、本実施形態では、後述する教師あり機械学習にて学習された学習済モデル１４を用いて、カメラ２が撮影した画像に基づき、撮影された作業の作業区分や使用されている工具等を特定する。その学習済モデル１４の機械学習の際に教師データとなる画像を教示画像という。また、教示画像が含む作業を教示作業という。また、分類の基準となる（分類対象となる）画像を実画像といい、実画像が含む作業を実作業という。

【0015】

作業者端末３は、例えばタブレット端末であり、各作業者が携帯する。各作業者は、例えば、実施する実作業の着手日時（着手時刻）と完了日時（完了時刻）等を示す情報を作業者端末３へ入力する。作業者端末３は、入力された着手日時、完了日時等を示す情報を作業データベース４へ登録する。

【0016】

図２は、作業データベース４の構成例を示す。図２に示すように、作業データベース４は、複数のレコード４１を格納する。なお、本実施形態では、作業データベース４は、管理対象となる情報を格納するファイルの集合と、ファイル内の情報を管理するシステムとを含むものとする。図２に示す例では、各レコード４１ は、作業内容（作業場所、作業項目、手直し作業か否かを表す情報）、着手時刻（年月日時分）、完了時刻（年月日時分）、作業者名を表すデータを格納する複数のフィールドを含んでいる。作業データベース４は、例えば作業者名と日時等を指定した問い合わせに対して、着手時刻と完了時刻を示す情報を回答する。あるいは、作業データベース４は、例えば作業場所と日時等を指定した問い合わせに対して、作業内容と、作業者名と、着手時刻と完了時刻を示す情報を回答する。なお、本実施形態では、作業内容は、例えば、当該作業が、正味の作業なのか、あるいは正味の作業で生じた不具合を直すための作業なのか（これを手直し作業という）を区別するための情報を含んでいる。作業が手直し作業であることを示す情報は、例えば作業者が作業者端末３から登録する。

【0017】

（作業分類装置の構成）
図１に示す作業分類装置１は、例えば、１または複数のサーバ、パーソナルコンピュータ、タブレット端末等のコンピュータを用いて構成することができ、そのコンピュータ、周辺装置等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として次の各部を備える。すなわち、作業分類装置１は、教示画像取得部１１、教示部１２、機械学習部１３、学習済モデル１４、実画像取得部１５、分類部１６、入出力部１７および記憶部１８を備える。また、学習済モデル１４は、工程分析用学習済モデル１４１と、工具分析用学習済モデル１４２とを含む。なお、作業分類装置１内の機能的構成の一部または全部は、クラウド環境、オンプレミス環境等においてネットワーク上に構成されていてもよい。また、作業分類装置１は、本開示に係る学習装置の一構成例でもある。なお、入出力部１７は、例えば、キーボード、マウス、ディスプレイ、タッチディスプレイ等を用いて、操作者との間で情報を入出力する機能的構成である。

【0018】

ここで、図３および図４を参照して、本実施形態における作業区分の例と、作業に係る時間の分類例について説明する。図３は、本実施形態における作業区分の例を示す。本実施形態では、作業を、主体作業と、付随作業と、準備作業と、余裕作業の４つの作業区分に分類する。各作業の定義は次のとおりである。主体作業は、作業者が工具を持っている、または、作業音がしている作業である。主体作業は、正味作業ともいう。また、付随作業は、正味作業、準備作業、余裕作業以外の作業である。また、準備作業は、作業者がモノを取りに行く、または置きに行く作業である。余裕作業は、作業者がほかの誰かと話している状態の作業である。

【0019】

図４は、本実施形態における時間の分類の例を示す。本実施形態では、作業に係る時間（例えば就労時間）を、主体時間（正味時間）、付随時間、準備時間、余裕時間、および離脱時間の５種類の時間に分類する。主体時間（正味時間）は、主体作業（正味作業）の時間であり、部品の形状、組み付け等の状態を変更するために直接必要とする正味の時間であって、作業プロセスで不可避な時間である。主体時間（正味時間）は、例えば、穴明け作業の時間、シール前清掃の時間等である。また、付随時間は、付随作業の時間であり、部品形状、組み付け等の状態を変更するため規則的に発生し間接的に消費する時間である。付随時間は、例えば、製品や部品の清掃である一般清掃の時間、検査のための時間である。また、準備時間は、準備作業の時間であり、作業の切替に発生する準備および後始末の時間である。準備時間は、例えば、工具または部品を準備する時間や片付けの時間である。また、余裕時間は、余裕作業の時間であり、疲れを回復する時間、不具合に対する再加工時間（手直し作業時間）、規律や工場の管理方式に起因する避けられない時間である。余裕時間は、例えば、休憩、朝礼、昼礼、教育、作業場所の清掃等の時間である。そして、離脱時間は、作業エリア（あるいは作業対象）から所定距離以上離れた状態で行われる準備、段取、後始末をする時間である。上記付随時間、準備時間、または、余裕時間の内、作業エリアから離れる時間である。離脱時間は、例えば、工具室へ何かを借用しに行くための時間、塗料調合のための時間、ゴミ捨てのための時間等である。

【0020】

作業分類装置１が備える教示画像取得部１１は、複数のカメラ２により教示作業が撮影された複数の教示画像を取得し、記憶部１８に記憶する。教示部１２は、教示画像を入出力部１７に表示し、操作者の入出力部１７に対する入力操作に従って、教示画像に対して作業区分の内容や作業工具等の種類をラベル付けし、ラベル付けした教示画像を記憶部１８に記憶する。

【0021】

なお、本実施形態では工具等の種類が、主体作業用工具、準備作業用工具、または、付随作業用工具に分類される。主体作業用工具は、主として主体作業で使用される工具であり、例えば、ドリル工具、カシメ工具、シール工具等である。準備作業用工具は、主として準備作業で使用される工具であり、例えば、計量器、定規、型板等の治具、抜型等の治具等である。付随作業用工具は、主として付随作業で使用される工具であり、例えば、一般清掃で使用される工具等である。機械学習部１３は、ラベル付けされた教示画像を教師データとして、学習済モデル１４（あるいは学習済モデル１４が未学習の状態のモデル）を機械学習（あるいは再学習）する。機械学習部１３は、複数のカメラにより実作業が撮影された複数の実画像を入力するとともに実作業を複数の作業区分へ分類した結果を出力する機械学習モデルを、複数の作業区分や工具等の種類がラベリングされた複数の教示画像に基づき機械学習する。なお、本実施形態では、学習済モデル１４が工程分析用学習済モデル１４１と工具分析用学習済モデル１４２を含んでいるが、工具分析用学習済モデル１４２は省略してもよい。この場合、学習済モデル１４は工程分析用学習済モデル１４１と同義となる。

【0022】

工程分析用学習済モデル１４１は、複数のカメラ２により教示作業が撮影された複数の教示画像に基づき、複数の作業区分への教示作業の分類付けが学習された学習済モデルである。工程分析用学習済モデル１４１は、例えばニューラルネットワークを要素とする学習済モデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。工程分析用学習済モデル１４１は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。工程分析用学習済モデル１４１は、１または複数フレーム分の実画像を入力とし、推定される作業区分の分類を出力とし、ラベル付けされた教示画像を教師データとして機械学習された学習済み機械学習モデルである。

【0023】

また、工具分析用学習済モデル１４２は、上述した工程分析用学習済モデル１４１と同様に例えばニューラルネットワークを要素とする学習済モデルである。工具分析用学習済モデル１４２は、１または複数フレーム分の実画像を入力とし、推定される工具等の種類の分類を出力とし、工具等の種類がラベル付けされた教示画像を教師データとして機械学習された学習済み機械学習モデルである。なお、工具分析用学習済モデル１４２は、工具等の種類の分類ができなかった場合には、その旨のデータを出力する。

【0024】

図５～図１３は教示画像の例を示す。図５は、破線のブロック内の作業者が主体作業（この例ではリベットかしめ作業）を実施している場合の教示画像の例を示す。図５に示す教示画像に対しては「主体作業」がラベル付けされる。図６は、破線のブロック内の作業者が付随作業（この例では作業記録、品確記録等）を実施している場合の教示画像の例を示す。図６に示す教示画像に対しては「付随作業」がラベル付けされる。図７は、破線のブロック内の作業者が準備作業（この例では部品準備のため部品を手に取る作業）を実施している場合の教示画像の例を示す。図７に示す教示画像に対しては「準備作業」がラベル付けされる。

【0025】

また、図８は、主体作業用工具（この例ではドリル工具）を含む教示画像の例を示す。図８に示す教示画像に対しては「主体作業用工具」がラベル付けされる。図９は、主体作業用工具（この例ではカシメ工具）を含む教示画像の例を示す。図９に示す教示画像に対しては「主体作業用工具」がラベル付けされる。図１０は、準備作業用工具（この例ではスケール）を含む教示画像の例を示す。図１０に示す教示画像に対しては「準備作業用工具」がラベル付けされる。図１１は、準備作業用工具（この例ではバイス）を含む教示画像の例を示す。図１１に示す教示画像に対しては「準備作業用工具」がラベル付けされる。図１２は、準備作業用工具（この例では治具）を含む教示画像の例を示す。図１２に示す教示画像に対しては「準備作業用工具」がラベル付けされる。図１３は、付随作業用工具（この例では掃除機）を含む教示画像の例を示す。図１３に示す教示画像に対しては「付随作業用工具」がラベル付けされる。

【0026】

実画像取得部１５は、複数のカメラ２により実作業が撮影された複数の実画像を取得し、記憶部１８に記憶する。

【0027】

分類部１６は、学習済モデル１４（工程分析用学習済モデル１４１）と実画像に基づき、実作業を複数の作業区分へ分類し、分類した結果を記憶部１８に記憶する。本実施形態では、複数の作業区分は、主体作業、準備作業、付随作業、および余裕作業を含む。

【0028】

また、分類部１６は、学習済モデル（工具分析用学習済モデル１４２）と実画像に基づき、実画像に含まれている作業工具の分析結果を反映させて、実作業を複数の作業区分へ分類する。例えば、分類部１６は、工程分析用学習済モデル１４１によって主体作業と特定された場合であっても、工具分析用学習済モデル１４２によって主体作業用工具と特定されなかったときには、作業区分を主体作業以外に特定する。

【0029】

また、分類部１６は、学習済モデル１４と実画像に基づき、実作業の内容と着手日時と完了日時を記録した作業データベース４を参照して、実作業を複数の作業区分へ分類する。例えば、分類部１６は、作業データベース４を参照して、作業データベース４内の作業内容が「手直し作業」である場合、学習済モデル１４を用いて特定した作業区分に関わらず、作業区分を「余裕作業」に分類する。

【0030】

なお、分類部１６は、所定の画像認識処理を行うことで、実画像に含まれている作業者が位置するエリアや作業対象からの距離を検出する機能、作業者を識別する機能等を有している。この場合、画像認識処理の仕方について限定はなく、既存の処理の仕方を用いることができる。また、分類部１６は、作業者が位置するエリアが所定の作業エリア内（例えば作業対象から所定の距離内）であるか否かを判定する機能を有している。

【0031】

記憶部１８は、教示画像、ラベル付けの結果、実画像、実画像の分類結果等を示す情報を記憶する。

【0032】

（作業分類装置の動作例）
図１４を参照して、作業分類装置１の動作例について説明する。図１４に示すフローチャートは、図１に示す作業分類装置１による作業区分の分類処理の流れを示す。図１４に示す処理は、所定の時間分の分類対象となる実画像が記憶部１８に記憶された状態で、例えば操作者が、入出力部１７に対して処理対象の実画像の指定と処理の開始を指示すると、開始される。なお、学習済モデル１４（工程分析用学習済モデル１４１と工具分析用学習済モデル１４２）は、機械学習済みであるとする。また、処理対象の実画像が特定の作業者を撮影した画像である場合を例として説明する。

【0033】

図１４に示す処理が開始されると、まず、分類部１６が、記憶部１８に記憶されている１または複数のカメラ２の１または複数フレーム分の実画像を取得し（ステップＳ１１）、実画像における作業者が位置しているエリアを検出する（ステップＳ１２）。次に、分類部１６は、検出したエリアが作業エリア内であるか否かを判定する（ステップＳ１３）。検出したエリアが作業エリア内でなかった場合（ステップＳ１３：Ｎｏ）、分類部１６は、分析した実画像の撮影時刻を離脱時間に分類する（ステップＳ１４）。

【0034】

検出したエリアが作業エリア内であった場合（ステップＳ１３：Ｙｅｓ）、分類部１６は、作業データベース４を参照し、分析中の実画像の撮影時刻が「手直し作業」であるか否かを判定する（ステップＳ１５）。分析中の実画像の撮影時刻が「手直し作業」であった場合（ステップＳ１５：Ｙｅｓ）、分類部１６は、分析した実画像の撮影時刻を余裕時間に分類する（ステップＳ１６）。

【0035】

分析中の実画像の撮影時刻が「手直し作業」でなかった場合（ステップＳ１５：Ｎｏ）、分類部１６は、工程分析用学習済モデル１４１を用いて作業区分を検出するとともに（ステップＳ１７）、工具分析用学習済モデル１４２を用いて工具種類を検出する（ステップＳ１８）。次に、分類部１６は、検出された作業が主体作業であるか否かを判定する（ステップＳ１９）。検出された作業が主体作業である場合（ステップＳ１９：Ｙｅｓ）、分類部１６は、検出された工具が主体作業用であったか否かを判定する（ステップＳ２０）。検出された工具が主体作業用であった場合（ステップＳ２０：Ｙｅｓ）、分類部１６は、分析した実画像の撮影時刻を主体時間に分類する（ステップＳ２１）。

【0036】

一方、検出された作業が主体作業でなかった場合（ステップＳ１９：Ｎｏ）、または、検出された工具が主体作業用でなかった場合（ステップＳ２０：Ｎｏ）、分類部１６は、検出された作業が準備作業であるか否かを判定する（ステップＳ２２）。検出された作業が準備作業であった場合（ステップＳ２２：Ｙｅｓ）、分類部１６は、分析した実画像の撮影時刻を準備時間に分類する（ステップＳ２３）。検出された作業が準備作業でなかった場合（ステップＳ２２：Ｎｏ）、分類部１６は、分析した実画像の撮影時刻を付随時間に分類する（ステップＳ２４）。

【0037】

ステップＳ１４、ステップＳ１６、ステップＳ２１、ステップＳ２３、または、ステップＳ２４の処理の後、分類部１６は、処理対象の実画像に対する分類処理がすべて終了したか否かを判定する（ステップＳ２５）。処理対象の実画像に対する分類処理がすべて終了した場合（ステップＳ２５：Ｙｅｓ）、分類部１６は、図１４に示す処理を終了する。処理対象の実画像に対する分類処理がすべて終了していない場合（ステップＳ２５：Ｎｏ）、分類部１６は、ステップＳ１１以降の処理を再度実行する。

【0038】

（作業分類システムの実装例）
図１５および図１６を参照して、図１を参照して説明した作業分類システム１００の実装例ついて説明する。図１５は学習済モデル１４を作成する機能の実装例を示し、図１６は作業を分類する機能の実装例を示す。

【0039】

図１５に示す実装例では、まず、作業者２０１が教示作業を実施し、Ｗｅｂカメラ２０２で撮影する（ステップＳ２０１）。撮影した画像または動作データは、データベース２０３に登録される（ステップＳ２０２）。次に、ＩＥ（Ｉｎｄｕｓｔｒｉａｌ Ｅｎｇｉｎｅｅｒｉｎｇ）観測者２０４が端末２０５で、静止画像または動画像を表す画像データに対して、作業区分を教示する（ラベル付けする）（ステップＳ２０３）。次に機械学習を実行し、学習済み機械学習モデル２０６を作成する（ステップＳ２０４）。次に、学習済み機械学習モデル２０６にモデルデプロイメントを実行し、実行可能な学習済み機械学習モデル２０７を構築する（ステップＳ２０５）。

【0040】

図１６に示す実装例では、時刻が同期された複数のＷｅｂカメラ３０３にて複数の作業者３０１を撮影する（ステップＳ３０１）。複数のＷｅｂカメラ３０３は、タイムサーバ３０４からネットワーク上の時刻データを受信することで時刻同期がなされる。撮影された静止画像または動画像を表す画像データは、クラウドＤＢ（データベース）３０５に登録される（ステップＳ３０２）。

【0041】

また、作業者３０１は、タブレット端末３０２を用いて、時刻が同期されたクラウドコンピューティング３０９上の着完システム３１０へ着完データを入力する（ステップＳ３０７）。作業監督者３１１は、端末３１２で、着完システム３１０に登録されたデータを監視する。

【0042】

登録された静止画像または動画像を表す画像データに対しては、クラウドコンピューティング３０６で学習済み機械学習モデル２０７を実行し、作業を分類する（ステップＳ３０３）。作業分類データ（作業分類結果）は、クラウドＤＢ３０７に登録される（ステップＳ３０４）。また、分類結果を活用し、学習済み機械学習モデル２０６を再学習する（ステップＳ３０４および図１５のステップＳ２０４）。

【0043】

次に、クラウドコンピューティング３０８でクリエを実行し、着完システム３１０に登録されている着完データとの整合性が検証される（ステップＳ３０５）。その後、ＩＥ観測者２０４が端末２０５で、作業分析を実施する（ステップＳ３０６）。

【0044】

図１５および図１６に示す作業分類システムでは、Ｗｅｂカメラにより作業者の撮影を行うことで、作業観測員を配置せず、作業者のカメラデータ取得が可能である。また、同期された時刻データにより、複数のカメラにて撮影し、時刻データで結合することができる。また、カメラデータは、教師あり学習にて、作業区分（主体作業、付随作業、準備作業、余裕作業（余裕時間））を学習した機械学習モデルにて、自動分析し、作業着完データとの整合性確認が実施される。分析結果は、データベース上に自動で保管され、作業観測員による入力を要しない。カメラおよび作業着完データのみ使用するため、作業者に身体的な負担を生じることなく観測が可能である。

【0045】

なお、図１５および図１６に示す実装例と、図１に示す構成との関係は以下のとおりである。Ｗｅｂカメラ２０２およびＷｅｂカメラ３０３が図１に示すカメラ２に対応する。データベース２０３が図１に示す教示画像取得部１１および記憶部１８の組み合わせに対応する。クラウドＤＢ３０５が図１に示す実画像取得部１５および記憶部１８の組み合わせに対応する。端末２０５が図１に示す教示部１２および入出力部１７の組み合わせに対応する。学習済み機械学習モデル２０６および学習済み機械学習モデル２０７が図１に示す学習済モデル１４に対応する。タブレット端末３０２が図１に示す作業者端末３に対応する。クラウドコンピューティング３０９および着完システム３１０の組み合わせが図１に示す作業データベース４に対応する。クラウドコンピューティング３０６が図１に示す分類部１６に対応する。クラウドＤＢ３０７が図１に示す記憶部１８に対応する。

【0046】

図１５および図１６に示す作業分類システムの実装例は次のような機能的構成を活用する。すなわち、図１５および図１６に示す実装例は、ネットワークに接続された汎用カメラ（Ｗｅｂカメラ）、ネットワークにて同期された時刻データ、クラウド環境またはオンプレミス環境に構築されたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）等の機械学習モデルおよびＭＬ（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ；機械学習）ツール、クラウド環境またはオンプレミス環境に構築されたデータベースに保管された作業着完データを活用する。
なお、作業区分の分類結果は、例えば、生産効率指標を分析する生産性改善システムにおいて活用することができる。
また、本実装例では、生産性改善システムは、クラウドコンピューティング３０６で学習済み機械学習モデル２０７を実行しているが、学習済み機械学習モデル２０７を実行できるなら、生産性改善システムは、どのように構成されてもよい。変形例として、低レイテンシ（低遅延時間）が要求される分析環境では、生産性改善システムは、汎用カメラ（Ｗｅｂカメラ）に関連して実装されたエッジコンピューティングデバイスで学習済み機械学習モデル２０７を実行してもよい。

【0047】

図１５および図１６に示す作業分類システムによれば、特定の作業領域において過去に経験のない作業であっても、教師あり機械学習により分析可能であり、サイクルタイムが長く頻度の低い作業に汎用的に適用することができる。また、Ｗｅｂカメラにより作業者の撮影を行うことで、作業観測員を配置せず作業者のカメラデータ取得が可能である。また、同期された時刻データにより、複数のカメラにて撮影し、時刻データで結合することができる。Ｗｅｂカメラで取得されたカメラデータは、教師あり学習にて、作業区分（主体作業、準備作業、付随作業、余裕作業（あるいは余裕時間））を学習した学習済モデルにて自動分析し、作業着完データとの整合性確認を実施することができる。なお、分析結果は、データベース上に自動で保管され、作業観測員による入力を要しない。また、主体作業、準備作業、付随作業、余裕作業の定義のみで教師あり学習が完結するため、汎用的な観測が可能である。これにより、サイクルタイムの長い作業の観測が容易に実施できる。また、カメラおよび作業着完データのみを使用するため、例えば狭隘部での作業等への可用性が向上する。また、マーカーの取付が不要なため、作業者の身体的な負担が生じない。

【0048】

（作用効果）
上記構成の作業分類装置、作業分類方法、プログラムおよび学習装置では、複数のカメラにより教示作業が撮影された複数の教示画像に基づき、複数の作業区分への教示作業の分類付けが学習された学習済モデルと、複数のカメラにより実作業が撮影された複数の実画像に基づき、実作業を複数の作業区分へ分類する。したがって、実施形態の作業分類装置、作業分類方法、プログラムおよび学習装置によれば、実作業を複数の作業区分へ適切に分類することができる。

【0049】

また、上記実施形態では、複数の作業区分が、主体作業、準備作業、付随作業、および余裕作業を含むので、実作業を細やかに分類することができる。

【0050】

また、上記実施形態では、作業分類装置、作業分類方法、プログラムおよび学習装置は、実画像に含まれている作業工具の分析結果を反映しているので、実作業を細やかに分類することができる。

【0051】

また、上記実施形態では、作業分類装置、作業分類方法、プログラムおよび学習装置は、実作業の内容と着手日時と完了日時を記録したデータベース（作業データベース４）を参照しているので、実作業を細やかに分類することができる。

【0052】

（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記実施形態では、作業区分を、主体作業、付随作業、準備作業および余裕作業の４つとしたが、これに限定されない。作業区分は、例えば、主体作業と主体作業以外の作業の２つにしたり、主体作業と付随または準備作業と余裕作業の３つにしたりしてもよい。また、上記実施形態では学習済モデル１４への入力を静止画像または動画像としたが、これに限るものではなく、例えば動画像とともに記録されたオーディオデータを入力としてもよい。あるいは、学習済モデル１４による分類と並列してオーディオデータの認識処理を行ってもよい。この場合、例えば、所定の作業音の有無等を主体作業であるか否かの判定の要素に加えることができる。

【0053】

〈コンピュータ構成〉
図１７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図を示す。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の作業分類装置１は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

【0054】

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0055】

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

【0056】

＜付記＞
各実施形態に記載の作業分類装置１は、例えば以下のように把握される。

【0057】

（１）第１の態様に係る作業分類装置１は、複数のカメラ２により教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデル１４と、前記複数のカメラ２により実作業が撮影された複数の実画像を取得する実画像取得部１５と、前記学習済モデル１４と前記実画像に基づき、前記実作業を前記複数の作業区分へ分類する分類部１６と、を備える。本態様によれば、実作業を複数の作業区分へ適切に分類することができる。

【0058】

（２）第２の態様に係る作業分類装置１は、（１）の作業分類装置１であって、前記複数の作業区分が、主体作業、準備作業、付随作業、および余裕作業を含む。本態様によれば、実作業を細やかに分類することができる。

【0059】

（３）第３の態様に係る作業分類装置１は、（１）または（２）の作業分類装置１であって、前記分類部１６は、前記学習済モデル１４と前記実画像に基づき、前記実画像に含まれている作業工具の分析結果を反映させて、前記実作業を前記複数の作業区分へ分類する。この態様によれば、より分類精度を高めることができる。

【0060】

（４）第４の態様に係る作業分類装置１は、（１）から（３）のいずれか一つの作業分類装置１であって、前記分類部１６は、前記学習済モデル１４と前記実画像に基づき、前記実作業の内容と着手日時と完了日時を記録したデータベース（作業データベース４）を参照して、前記実作業を前記複数の作業区分へ分類する。この態様によれば、より分類精度を高めることができる。

【0061】

（５）第５の態様に係る作業分類方法は、複数のカメラ２により実作業が撮影された複数の実画像を取得するステップと、前記複数のカメラ２により教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、を含む。この態様によれば、実作業を複数の作業区分へ適切に分類することができる。

【0062】

（６）第６の態様に係るプログラムは、複数のカメラ２により実作業が撮影された複数の実画像を取得するステップと、前記複数のカメラ２により教示作業が撮影された複数の教示画像に基づき、複数の作業区分への前記教示作業の分類付けが学習された学習済モデルと前記実画像に基づき、前記実作業を前記複数の作業区分へ分類するステップと、をコンピュータに実行させる。この態様によれば、実作業を複数の作業区分へ適切に分類することができる。

【0063】

（７）第７の態様に係る学習装置１は、複数のカメラ２により実作業が撮影された複数の実画像を入力するとともに前記実作業を複数の作業区分へ分類した結果を出力する機械学習モデルを、前記複数の作業区分がラベリングされた複数の教示画像に基づき機械学習する機械学習部１３を備える。この態様によれば、実作業を複数の作業区分へ適切に分類することができる。

【符号の説明】

【0064】

１００…作業分類システム
１…作業分類装置（学習装置）
２…カメラ
３…作業者端末
４…作業データベース
１１…教示画像取得部
１２…教示部
１３…機械学習部
１４…学習済モデル
１５…実画像取得部
１６…分類部
１７…入出力部
１８…記憶部
４１…レコード
９０…コンピュータ
９１…プロセッサ
９２…メインメモリ
９３…ストレージ
９４…インタフェース
１００…作業分類システム
１４１…工程分析用学習済モデル
１４２…工具分析用学習済モデル
２０１…作業者
２０２…Ｗｅｂカメラ
２０３…データベース
２０４…ＩＥ観測者
２０５…端末
２０６…機械学習モデル
２０７…機械学習モデル
３０１…作業者
３０２…タブレット端末
３０３…Ｗｅｂカメラ
３０４…タイムサーバ
３０５…クラウドＤＢ
３０７…クラウドＤＢ
３０６…クラウドコンピューティング
３０８…クラウドコンピューティング
３０９…クラウドコンピューティング
３１０…着完システム
３１１…作業監督者
３１２…端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】