特開 2024-172267 作業管理装置、作業管理システム、推論装置、機械学習装置、作業管理方法、推論方法、及び、機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172267

(43)【公開日】2024-12-12

(54)【発明の名称】作業管理装置、作業管理システム、推論装置、機械学習装置、作業管理方法、推論方法、及び、機械学習方法

(51)【国際特許分類】

   G06Q 10/063 20230101AFI20241205BHJP

【ＦＩ】

G06Q10/063

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023089862

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000000239

【氏名又は名称】株式会社荏原製作所

(74)【代理人】

【識別番号】100214248

【弁理士】

【氏名又は名称】青山 純

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(72)【発明者】

【氏名】村田 誠治

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA06

5L049AA06

(57)【要約】

【課題】作業者の作業状況を高精度で自動的に記憶し、作業状況を適切に確認することができる作業管理装置を提供する。
【解決手段】作業管理装置５は、所定の対象物に対して作業者Ｕが行う複数の作業を管理する作業管理装置５であって、作業者Ｕが画像撮影部６３を備える作業者装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１を取得する画像データ取得部５０１と、画像データ取得部５０１により取得された画像データ１１１に基づいて、作業者Ｕが所定の作業対象２に対して行う作業を作業毎に作業情報１１２として生成する作業情報生成部５０２と、作業情報生成部５０２によって作業毎に生成された作業情報１１２を時系列で記憶する記憶部５２と、を備える。
【選択図】 図４

【特許請求の範囲】

【請求項1】

所定の対象物に対して作業者が行う複数の作業を管理する作業管理装置であって、
前記作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データを取得する画像データ取得部と、
前記画像データ取得部により取得された前記画像データに基づいて、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として生成する作業情報生成部と、
前記作業情報生成部によって前記作業毎に生成された前記作業情報を時系列で記憶する記憶部と、
を備える、
作業管理装置。

【請求項2】

前記作業情報は、
前記作業の行われた日時を示す日時情報と、
前記作業者を示す作業者情報と、
前記作業対象を示す作業対象情報と、
前記作業に使用された道具を示す作業道具情報と、
前記作業の状況を示す作業状況情報と、
の少なくとも１つ
を含む
請求項１に記載の作業管理装置。

【請求項3】

前記作業情報は、前記道具の作業値を示す作業値情報を含み、
前記規定情報は、前記作業道具情報と前記対象情報に基づいて予め定めた前記作業での前記道具の規定値を示す規定値情報を含む
請求項２に記載の作業管理装置。

【請求項4】

前記作業情報は、前記作業の順序を示す作業順情報を含み、
前記規定情報は、予め定めた前記作業の順序を示す規定順情報を含む
請求項２に記載の作業管理装置。

【請求項5】

前記作業情報に基づいて、現実空間の前記作業対象にオブジェクト情報を重畳表示可能な出力部をさらに備える前記作業者装置が前記作業者に装着されたときに、前記作業者の周囲に存在する前記作業対象に前記作業情報を重畳表示させるための前記オブジェクト情報を生成するオブジェクト情報生成部をさらに備える、
請求項１に記載の作業管理装置。

【請求項6】

前記記憶部は、前記作業対象に対する設計上の規定を示す規定情報を予め記憶し、
前記オブジェクト情報生成部は、前記作業者の周囲に存在する前記作業対象に前記規定情報を重畳表示させるための前記オブジェクト情報を生成する
請求項３に記載の作業管理装置。

【請求項7】

前記記憶部は、前記対象物に対する設計上の形状を示す設計情報を予め記憶し、
前記作業情報生成部は、前記画像データ及び前記設計情報に基づいて前記作業情報を生成する
請求項１に記載の作業管理装置。

【請求項8】

前記作業情報生成部は、前記画像データと前記作業情報との相関関係を機械学習させた
学習モデルに、前記画像データ取得部により取得された前記画像データを入力することにより、当該画像データに対する前記作業情報を生成する、
請求項１に記載の作業管理装置。

【請求項9】

作業者の前方に向けて配置される画像撮影部を有し、所定の対象物に対して複数の作業を行う前記作業者が装着する作業者装置と、
前記画像撮影部により撮影された画像データと、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として構成される学習用データを複数組記憶する学習用データ記憶部、複数組の前記学習用データを学習モデルに入力することで、前記画像データと前記作業情報との相関関係を前記学習モデルに学習させる機械学習部、及び、前記機械学習部により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶部、を有する機械学習装置と、
前記画像データを取得する画像データ取得部、前記学習モデルに、前記画像データ取得部により取得された前記画像データを入力することにより、当該画像データに対する前記作業情報を生成する作業情報生成部、及び、前記作業情報生成部によって前記作業毎に生成された前記作業情報を時系列で記憶する記憶部を有する作業管理装置と、
を備える
作業管理システム。

【請求項10】

メモリと、プロセッサとを備える推論装置であって、
前記プロセッサは、
所定の対象物に対して所定の作業を行う作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データを取得する画像データ取得処理と、
前記画像データ取得処理により取得された当該画像データに基づいて、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として推論する推論処理と、
を実行する、
推論装置。

【請求項11】

所定の対象物に対して複数の作業を行う作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データと、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として構成される学習用データを複数組記憶する学習用データ記憶部と、
複数組の前記学習用データを学習モデルに入力することで、前記画像データと前記作業情報との相関関係を前記学習モデルに学習させる機械学習部と、
前記機械学習部により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶部と、
を備える、
機械学習装置。

【請求項12】

所定の対象物に対して作業者が行う複数の作業を管理する作業管理方法であって、
前記作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データを取得する画像データ取得工程と、
前記画像データ取得工程により取得された前記画像データに基づいて、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として生成する作業情報生成工程と、
前記作業毎に生成された前記作業情報を時系列で記憶する記憶工程と、
を備える、
作業管理方法。

【請求項13】

メモリと、プロセッサとを備える推論装置により実行される推論方法であって、
前記プロセッサは、
所定の対象物に対して所定の作業を行う作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データを取得する画像データ取得工程と、
前記画像データ取得工程にて前記画像データを取得すると、当該画像データに基づいて、前記作業者が所定の作業対象に対して行う前記作業を作業情報として推論する推論工程と、を実行する、
推論方法。

【請求項14】

所定の対象物に対して作業を行う作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データと、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として構成される学習用データを学習用データ記憶部に複数組記憶する学習用データ記憶工程と、
複数組の前記学習用データを学習モデルに入力することで、前記画像データと前記作業情報との相関関係を前記学習モデルに学習させる機械学習工程と、
前記機械学習工程により前記相関関係を学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程と、を備える、
機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理装置、作業管理システム、推論装置、機械学習装置、作業管理方法、推論方法、及び、機械学習方法に関する。

【背景技術】

【0002】

従来、所定の対象物に対して作業者が行った作業の完了を確認するために、レポートを作成したり、写真等を撮影することで後々確認できるようにしていた。例えば、特許文献１には、赤外線カメラで撮影した画像データを熱画像解析処理し、道具を用いた作業者の作業内容を記録する作業記録装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】実用新案登録第２５７５４３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された作業記録装置は、遠方から作業者を撮影するので、近傍から撮影した画像と比較して明らかに精度が落ちてしまう。また、赤外線カメラを用いて熱画像を画像処理するので、実際の画像を解析するよりも明らかに精度が落ちてしまう。

【0005】

本発明は、上記の課題に鑑み、作業者の作業状況を高精度で自動的に記憶し、作業状況を適切に確認することができる作業管理装置、作業管理システム、推論装置、機械学習装置、作業管理方法、推論方法、及び、機械学習方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の一態様に係る作業管理装置は、
所定の対象物に対して作業者が行う複数の作業を管理する作業管理装置であって、
前記作業者が画像撮影部を備える作業者装置を装着したときに前記作業者の前方に向けて配置される前記画像撮影部により撮影された画像データを取得する画像データ取得部と、
前記画像データ取得部により取得された前記画像データに基づいて、前記作業者が所定の作業対象に対して行う前記作業を前記作業毎に作業情報として生成する作業情報生成部と、
前記作業情報生成部によって前記作業毎に生成された前記作業情報を時系列で記憶する記憶部と、
を備える。

【発明の効果】

【0007】

本発明の一態様に係る作業管理装置によれば、作業者の前方に向けて配置される画像撮影部により撮影された画像データに基づいて、作業者が所定の作業位置の作業対象に対して道具を使用して行う作業を作業毎に作業情報として生成し、時系列に記録するので、作業者の作業を高精度で自動的に記憶し、作業状況を適切に確認することができる。また、標準化・マニュアル化できていない作業について、作業者の属人的な作業結果の質を、組織知化・形式知化することができる。さらに、質の高い作業を行う作業員の作業履歴を解析して、XRで作業情報を再現可能となるように指示することができる。

【0008】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の作業管理システム１の一例を示す全体構成図である。

【図2】作業対象物２の第１例としての減速機２ａを示す斜視図である。

【図3】道具２２の一例としてのトルクドライバ２２ａ及びグリスガン２２ｂを示す。

【図4】作業管理装置５の一例を示すブロック図である。

【図5】作業管理装置５の一例を示す機能説明図である。

【図6】作業情報生成部５０２により生成される作業情報１１２及び記憶部５２に記憶された規定情報５２２の一例を示すデータ構成図である。

【図7】ユーザ端末装置６の一例を示すブロック図である。

【図8】コンピュータ９００の一例を示すハードウエア構成図である。

【図9】作業管理装置５及びユーザ端末装置６による作業管理方法の一例を示すフローチャートである。

【図10】現実空間の作業対象物２に作業情報１１２を重畳表示した第１の例を示す図である。

【図11】現実空間の作業対象物２に作業情報１１２を重畳表示した第２の例を示す図である。

【図12】第２実施形態の作業管理システム１の一例を示す全体構成図である。

【図13】機械学習装置４の一例を示すブロック図である。

【図14】学習モデル１０及び学習用データ１１の一例を示す図である。

【図15】機械学習装置４による機械学習方法の一例を示すフローチャートである。

【図16】第２実施形態の作業管理装置５の一例を示すブロック図である。

【図17】第２実施形態の作業管理装置５の一例を示す機能説明図である。

【図18】ユーザ端末装置６の一例を示すブロック図である。

【図19】作業管理装置５及びユーザ端末装置６による安全支援方法の一例を示すフローチャートである。

【図20】作業対象物２の第２例としての駆動装置２ｂを示す。

【図21】作業対象物２の第３例としてのロールクリーナ２ｃのストッパを示す。

【図22】作業対象物２の第４例としてのフィルタファン２ｄを示す。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
（作業管理システム１）

【0011】

図１は、第１実施形態の作業管理システム１の一例を示す全体構成図である。本実施形態に係る作業管理システム１は、作業対象物２に対する作業を管理するシステムとして機能する。作業管理システム１は、その主要な構成として、データベース装置３と、作業管理装置５と、ユーザ端末装置６とを備える。データベース装置３、作業管理装置５及びユーザ端末装置６は、例えば、汎用又は専用のコンピュータ（後述の図８参照）で構成されるとともに、有線又は無線のネットワーク７に接続されて、各種のデータ（図１には一部のデータの送受信を破線の矢印にて図示）を相互に送受信可能に構成される。なお、データベース装置３、作業管理装置５及びユーザ端末装置６の数やネットワーク７の接続構成は、図１の例に限られず、適宜変更してもよい。

【0012】

（作業対象物２）
図２は、作業対象物２の第１例としての減速機２ａを示す斜視図である。本実施形態で用いられる作業対象物２の一例は、サーキュラスプライン２ａ１とフレクスプライン２ａ２等を含む減速機２ａである。また、作業対象部２１は、例えば、サーキュラスプライン２ａ１に締結されるボルト２１ａ、又は、サーキュラスプライン２ａ１とフレクスプライン２ａ２の間に塗布されるグリス２１ｂ等である。

【0013】

（道具２２）
図３は、道具２２の一例としてのトルクドライバ２２ａ及びグリスガン２２ｂを示す。道具２２は、ボルト２１ａを締結するためのトルクドライバ２２ａ、又は、サーキュラスプライン２ａ１とフレクスプライン２ａ２の間に塗布されるグリス２１ｂを塗布するグリスガン２２ｂ等でよい。トルクドライバ２２ａは、締結時のトルクが表示されるトルク表示部２２ａ１等を有すると好ましい。また、グリスガン２２ｂは、塗布されたグリスの量がわかる目盛２２ｂ１等を有すると好ましい。なお、道具２２は、作業対象部２１に基づいてその作業にあうものを選択すればよい。例えば、トルクドライバ２２ａに代えてトルクレンチ等を用いてもよく、グリスガン２２ｂに代えて刷毛等を用いてもよい。なお、作業対象部２１、道具２２を含む作業対象物２は、作業対象を構成する。

【0014】

データベース装置３は、作業が行われたときの履歴に関する作業履歴情報３０を管理する装置である。データベース装置３は、作業対象物２に対して作業が行われたときに、作業管理装置５から作業情報１１２等の少なくとも一部を含む各種のレポートＲを随時受信し、作業履歴情報３０に登録することで、作業履歴情報３０には、作業に関する作業情報１１２等の少なくとも一部を含むレポートＲが蓄積される。なお、データベース装置３には、上記の他に、各種情報が記憶されていてもよく、その場合には、作業管理装置５がこれらの情報を参照するようにしてもよい。

【0015】

（作業管理装置５）
図４は、作業管理装置５の一例を示すブロック図である。図５は、作業管理装置５の一例を示す機能説明図である。作業管理装置５は、所定の作業対象物２に対して作業者Ｕが行う複数の作業を管理する。作業管理装置５は、作業のための各種情報を取得、生成又は処理する制御部５０と、データベース装置３及びユーザ端末装置６等と接続され、各種のデータを送受信する通信インターフェースとして機能する通信部５１と、作業管理装置５の動作で使用される各種のプログラム（オペレーティングシステムやユーザ端末プログラム等）やデータ（学習モデル１０）等の各種情報を記憶する記憶部５２と、を備える。

【0016】

制御部５０は、画像データ取得部５０１、作業情報生成部５０２、オブジェクト情報生成部５０３及び出力処理部５０４として機能する。

【0017】

画像データ取得部５０１は、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１を取得する。本実施形態では、画像データ取得部５０１は、ユーザ端末装置６から通信部５１及びネットワーク７を介して画像データ１１１を取得（受信）する。

【0018】

作業情報生成部５０２は、画像データ取得部５０１により取得された画像データ１１１及び記憶部５２に予め記憶した設計情報５２１に基づいて、作業者Ｕが所定の作業位置の作業対象物２の作業対象部２１に対して道具２２を使用して行う作業を、作業毎に時系列で作業情報１１２として生成する。生成された作業情報１１２は、記憶部５２に記憶する。

【0019】

例えば、作業情報生成部５０２は、画像撮影部６３で現実空間を撮影したときの画角内
に、設計情報５２１として記憶された作業対象部２１の設計上の特徴点が含まれるか否かを判定し、設計上の特徴点が含まれていることを検知したとき、当該特徴点の位置に基づいて作業情報１１２を取得する。特徴点は、例えば、作業対象部２１の外形形状や外形色に基づくものでもよいし、作業対象部２１に貼付されたシール上の文字や二次元コード等に基づくものでもよい。

【0020】

なお、作業対象物２の各部の設計図データが設計情報５２１として記憶部５２に記憶されている場合には、作業情報生成部５０２は、設計図データを参照し、画像撮影部６３で現実空間を撮影したときの撮影範囲に、設計図データにおける作業対象部２１の特徴点が含まれていることを検知したとき、当該特徴点に基づいて作業対象部２１の空間位置情報を取得するようにしてもよい。

【0021】

オブジェクト情報生成部５０３は、作業情報生成部５０２により生成された作業情報１１２と、設計情報５２１とに基づいて、ユーザ端末装置６が作業者Ｕに装着されたときに作業者Ｕの周囲に存在する作業対象物２に作業情報１１２を重畳表示させるためのオブジェクト情報１１３を生成する。

【0022】

出力処理部５０４は、作業情報生成部５０２により生成された作業情報１１２やオブジェクト情報生成部５０３により生成されたオブジェクト情報１１３を出力するための出力処理を行う。例えば、出力処理部５０４は、作業情報１１２をユーザ端末装置６に送信することで、ユーザ端末装置６では、その作業情報１１２に基づく表示画面や音声が出力される。また、出力処理部５０４は、オブジェクト情報１１３をユーザ端末装置６に送信することで、ユーザ端末装置６では、そのオブジェクト情報１１３に基づく表示画面が出力される。

【0023】

記憶部５２は、作業管理装置５の動作で使用される各種のプログラム（オペレーティングシステムやユーザ端末プログラム等）やデータ（学習モデル１０）等の各種情報、設計情報５２１としての各部の設計図データ、規定情報５２２としての作業対象部２１に対する設計上の規定等を予め記憶している。また、作業情報生成部５０２により生成された作業情報１１２を作業が完了した記録として記憶する。記憶部５２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）の記憶部で代用されてもよく、その場合には、制御部５０は、当該外部コンピュータにアクセスすればよい。

【0024】

（各種情報）
図６は、各種情報の一例を示すデータ構成図である。図６に示す各種情報は、作業情報１１２、設計情報５２１、規定情報５２２である。

【0025】

作業情報１１２は、作業対象物２に対して所定の作業が行われたときに取得される。作業情報１１２は、例えば、作業ナンバー、日時、作業者、作業対象物、作業対象部、道具、作業結果、規定等が登録される。作業情報１１２は、１つの作業工程を複数の作業で行う場合、複数の作業情報１１２を時系列で登録して作業テーブル１１２ａを構成してもよい。また、作業情報１１２は、作業テーブル１１２ａを複数有してもよい。

【0026】

作業ナンバー情報は、作業情報生成部５０２により生成された順番に番号を付与すればよい。日時情報は、作業管理装置５に内蔵された時計等により特定する。作業者情報は、作業者Ｕを特定する情報であり、予め作業者個人に番号等を付与しておき、作業時にその番号を作業管理装置５に入力したり、画像データ取得部５０１が画像データ１１１から取得すればよい。

【0027】

作業対象物情報は、作業対象物２を特定し、作業対象部情報は、作業対象物２の作業対
象部２１を特定し、作業道具情報は、作業対象部２１に作業する道具を特定する。作業対象物情報、作業対象部情報、及び、作業道具情報は、作業対象情報を構成し、画像データ取得部５０１が取得した画像データ１１１と予め記憶部５２に記憶された設計情報５２１とに基づいて取得すればよい。作業状況情報は、画像データ取得部５０１が画像データ１１１から取得したり、センサ等から取得する作業値情報や作業順情報等である。なお、作業状況情報は、作業対象部２１に対する作業の有無等を示すものでもよい。

【0028】

設計情報５２１は、予め記憶された作業対象物２及びその寸法、作業対象部２１及びその位置、及び、作業対象部２１に使用する道具２２の情報等でよい。設計情報５２１は、３Ｄ－ＣＡＤ等にすでに入力された情報を用いてもよい。

【0029】

規定情報５２２は、予め記憶された、例えば、作業対象物、作業対象部、道具、規定値、規定順等でよい。規定情報５２２は、作業対象部２１に対して作業する道具２２の規定値情報及び規定順情報（規定の作業順序）を規定テーブル５２２ｂとして構成してもよい。同じ作業対象部２１に対して異なる道具２２で作業する場合も規定テーブル５２２ａに記憶しておく。

【0030】

規定値は、作業対象部２１に対して作業する道具２２毎に予め定めた規定の値である。例えば、規定値は、ボルト毎の締結トルクの値、グリスの塗布量等を示す。また、規定順は、例えば、ボルトの締結順序等、規定の作業順序を示す。

【0031】

規定情報５２２は、作業対象部２１に対して道具２２が行う作業の適正な値を予め記憶した記憶部５２から取得すればよい。なお、作業状況情報が作業対象部２１に対する作業の有無、作業の順序等を示す場合、規定情報５２２は、作業対象部２１に対する作業の有無、適切な作業の順序等を示せばよい。

【0032】

（ユーザ端末装置６）
図７は、ユーザ端末装置６の一例を示すブロック図である。ユーザ端末装置６は、作業者Ｕが作業対象物２に対して作業を行う際に使用される作業者装置である。ユーザ端末装置６は、作業者Ｕが頭部等に装着可能な携帯型の装置であり、例えば、スマートグラス、透過型のヘッドマウントディスプレイ等のウェアラブル機器で構成される。ユーザ端末装置６は、制御部６０と、通信部６１と、記憶部６２と、現実空間を撮影可能な画像撮影部６３と、入力部６４と、現実空間の作業対象物２にオブジェクト情報１１３を重畳表示可能な出力部６５と、センサ群６６と、を備える。

【0033】

画像撮影部６３は、所定の解像度（画素数）を有するＣＭＯＳセンサやＣＣＤセンサ等のカメラ（イメージセンサ）で構成され、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される。ユーザ端末装置６は、作業者Ｕが作業対象物２に対して作業を行う際に、作業者Ｕの前方に向けて配置された画像撮影部６３により撮影された画像データ１１１を作業管理装置５に随時送信する。出力部６５は、作業者Ｕがユーザ端末装置６を装着したときに、例えば、作業者Ｕの片目又は両目の前方に配置される。ユーザ端末装置６は、画像データ１１１及び作業情報１１２に対するオブジェクト情報１１３を作業管理装置５から随時受信し、例えば、作業者Ｕの視野内の現実空間に存在する作業対象物２に重畳するように、オブジェクト情報１１３を表示する。

【0034】

制御部６０は、画像データ送信処理部６００、作業情報処理部６０１及びオブジェクト情報処理部６０２として機能する。通信部６１は、ネットワーク７を介して外部装置（例えば、データベース装置３及び作業管理装置５等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。記憶部６２は、ユーザ端末装置６の動作で使用される各種のプログラム（オペレーティングシステムやユーザ端末プログラム等）やデー
タ等を記憶する。画像撮影部６３は、現実空間を撮影し、画像データ１１１を生成する。入力部６４は、各種の入力操作を受け付けるとともに、出力部６５は、表示画面や音声を介して各種の情報を出力することで、ユーザインターフェースとして機能する。センサ群６６は、自装置の加速度、角速度、姿勢、トルク等を検出する。

【0035】

画像データ送信処理部６００は、画像撮影部６３により所定の撮影周期で撮影された画像データ１１１を作業管理装置５に通信部６１及びネットワーク７を介して随時送信する。

【0036】

作業情報処理部６０１は、作業管理装置５に送信した画像データ１１１に対する応答として、作業管理装置５から作業情報１１２を受信し、その作業情報１１２を、例えば、出力部６５による音声や表示画面を介して作業者Ｕに通知する。

【0037】

オブジェクト情報処理部６０２は、作業管理装置５に送信した画像データ１１１に対する応答として、作業管理装置５からオブジェクト情報１１３を受信し、そのオブジェクト情報１１３に基づいて、作業者Ｕの前方に存在する作業対象物２としての減速機２ａに作業情報１１２を出力部６５により重畳表示させることにより、作業情報１１２を作業者Ｕに通知する。なお、作業管理装置５の記憶部５２に予め記憶した規定情報５２２を作業者Ｕにあわせて通知してもよい。

【0038】

（各装置のハードウエア構成）
図８は、コンピュータ９００の一例を示すハードウエア構成図である。作業管理装置５の制御部５０、及び、ユーザ端末装置６等は、汎用又は専用のコンピュータ９００により構成される。

【0039】

コンピュータ９００は、図８に示すように、その主要な構成要素として、バス９１０、プロセッサ９１２、メモリ９１４、入力デバイス９１６、出力デバイス９１７、表示デバイス９１８、ストレージ装置９２０、通信Ｉ／Ｆ（インターフェース）部９２２、外部機器Ｉ／Ｆ部９２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部９２６、及び、メディア入出力部９２８を備える。なお、上記の構成要素は、コンピュータ９００が使用される用途に応じて適宜省略されてもよい。

【0040】

プロセッサ９１２は、１つ又は複数の演算処理装置（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）で構成され、コンピュータ９００全体を統括する制御部として動作する。メモリ９１４は、各種のデータ及びプログラム９３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ）、フラッシュメモリ等とで構成される。

【0041】

入力デバイス９１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス９１７は、例えば、音（音声）出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス９１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス９１６及び表示デバイス９１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置９２０は、例えば、ＨＤＤ、ＳＳＤ等で構成され、記憶部として機能する。ストレージ装置９２０は、オペレーティングシステムやプログラム９３０の実行に必要な各種のデータを記憶する。

【0042】

通信Ｉ／Ｆ部９２２は、インターネットやイントラネット等のネットワーク９４０（図１のネットワーク７と同じであってもよい）に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器Ｉ／Ｆ部９２４は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器９５０に有線又は無線により接続され、所定の通信規格に従って外部機器９５０との間でデータの送受信を行う通信部として機能する。Ｉ／ＯデバイスＩ／Ｆ部９２６は、各種のセンサ、アクチュエータ等のＩ／Ｏデバイス９６０に接続され、Ｉ／Ｏデバイス９６０との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部９２８は、例えば、ＤＶＤドライブ、ＣＤドライブ等のドライブ装置、メモリカードスロット、ＵＳＢコネクタで構成され、ＤＶＤ、ＣＤ、メモリカード、ＵＳＢメモリ等のメディア（非一時的な記憶媒体）９７０に対してデータの読み書きを行う。

【0043】

上記構成を有するコンピュータ９００において、プロセッサ９１２は、ストレージ装置９２０に記憶されたプログラム９３０をメモリ９１４に呼び出して実行し、バス９１０を介してコンピュータ９００の各部を制御する。なお、プログラム９３０は、ストレージ装置９２０に代えて、メモリ９１４に記憶されていてもよい。プログラム９３０は、インストール可能なファイル形式又は実行可能なファイル形式でメディア９７０に記録され、メディア入出力部９２８を介してコンピュータ９００に提供されてもよい。プログラム９３０は、通信Ｉ／Ｆ部９２２を介してネットワーク９４０経由でダウンロードすることによりコンピュータ９００に提供されてもよい。また、コンピュータ９００は、プロセッサ９１２がプログラム９３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウエアで実現するものでもよい。

【0044】

コンピュータ９００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ９００は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよいし、例えば、制御盤、コントローラ（マイコン、プログラマブルロジックコントローラ、シーケンサを含む）等と呼ばれる組込型コンピュータでもよい。コンピュータ９００は、作業管理装置５の制御部５０、及び、ユーザ端末装置６以外の装置にも適用されてもよい。

【0045】

（作業管理方法）
図９は、作業管理装置５及びユーザ端末装置６による作業管理方法の一例を示すフローチャートである。以下では、ユーザ端末装置６を装着した作業者Ｕが、作業対象物２の作業対象部２１に対して、道具２２を使用して作業する例として説明する。なお、図９に示すフローチャートは、ユーザ端末装置６が、例えば、作業者Ｕから調整作業の開始を指示する入力操作を受け付けることで画像撮影部６３による撮影を開始し、画像撮影部６３による撮影周期が経過する度に繰り返し実行される。

【0046】

まず、ステップＳ１１０において、ユーザ端末装置６の画像撮影部６３は、調整作業を行う作業者Ｕの前方の現実空間を撮影し、画像データ１１１を生成する。そして、画像データ送信処理部６００は、画像撮影部６３により撮影された画像データ１１１を作業管理装置５に送信する。

【0047】

次に、ステップＳ１２０において、作業管理装置５の画像データ取得部５０１は、ステップＳ１１０で送信された画像データ１１１を受信する。

【0048】

次に、ステップＳ１３０において、作業情報生成部５０２は、ステップＳ１２０で取得
された画像データ１１１と、データベース装置３又は記憶部５２に記憶された設計情報５２１及び規定情報５２２に基づいて、当該画像データ１１１に対する作業情報１１２を生成する。

【0049】

なお、ステップＳ１３０において、出力処理部５０４は、作業情報１１２をユーザ端末装置６にも送信してもよく、その場合には、ユーザ端末装置６の作業情報処理部６０１は、その作業情報１１２を音声や表示画面を介して作業者Ｕに通知するようにしてもよい。

【0050】

次に、ステップＳ１４０において、データベース装置３又は記憶部５２は、作業情報１１２を記憶する。作業情報１１２を記憶することによって、適切に作業が完了したことを記録として残しておくことができる。

【0051】

次に、ステップＳ１５０において、オブジェクト情報生成部５０３は、ステップＳ１３０で生成された作業情報１１２、設計情報５２１及び規定情報５２２に基づいて、作業者Ｕの周囲に存在する作業対象物２に作業情報１１２を重畳表示させるためのオブジェクト情報１１３を生成する。そして、ステップＳ１６０において、出力処理部５０４は、ステップＳ１５０で生成されたオブジェクト情報１１３を出力するための出力処理として、そのオブジェクト情報１１３をユーザ端末装置６に送信する。

【0052】

次に、ステップＳ１７０において、ユーザ端末装置６のオブジェクト情報処理部６０２は、ステップＳ１６０で送信されたオブジェクト情報１１３を受信すると、そのオブジェクト情報１１３に基づいて、現実空間の作業対象物２に対して作業情報１１２を示す仮想オブジェクトをユーザ端末装置６の出力部６５に表示する。

【0053】

図１０は、現実空間の作業対象物２に作業情報１１２を重畳表示した第１の例を示す図である。図１１は、現実空間の作業対象物２に作業情報５０２Ｂを重畳表示した第２の例を示す図である。以下では、説明の簡略化のため、画像データ１１１の画角と、作業者Ｕの視野とが一致するものとして説明するが、画像データ１１１の画角と、作業者Ｕの視野とは一致しなくてもよく、いずれか一方が広くてもよい。

【0054】

図１０では、作業者Ｕが、作業対象物２の手前に立って、作業対象部２１まで手が届くような状態であるときに、画像撮影部６３により撮影された画像データ１１１に基づいて生成された作業情報１１２の一部が、仮想オブジェクト１２０Ａ～１２０Ｂとして表示された場合を図示している。

【0055】

仮想オブジェクト１２０Ａは、画像データ１１１に撮影されたボルト２１ａを締結するトルクドライバ２２ａに対する作業情報１１２として、トルクドライバ２２ａの作業値情報を示している。また、記憶部５２に予め記憶されたボルト２１ａ１のトルクの規定値情報を規定情報５２２として示している。具体的には、ボルト２１ａ１の締結トルクの規定値は15Ncmで、現在のトルクの作業値は、15Ncmであることを示している。このように、作業者Ｕに対して規定値を示すことによって、複数の作業者Ｕの間で統一した作業を行うことができる。また、この映像を記憶しておけば、作業者Ｕがボルト２１ａ１を規定値と同じ作業値のトルクで締結したことを確認することができる。

【0056】

また、仮想オブジェクト１２０Ｂは、画像データ１１１に撮影されたボルト２１ａ１を締結した後、次に締結するボルト２１ａ２を示している。次に締結するボルト２１ａ２の位置は、規定情報５２２として記憶部５２に予め記憶された規定順情報から示される。このように、作業者Ｕが次に作業する規定の順序を示すことによって、複数の作業者Ｕの間で統一した作業を行うことができる。また、この映像を記憶しておけば、作業者Ｕが締結したボルトの作業順情報を確認することができる。

【0057】

図１１では、仮想オブジェクト１２０Ｃは、画像データ１１１に撮影された作業対象部２１としてのグリス塗布部の作業有無情報を示している。具体的には、グリス塗布部にグリス２１ｂが適切に塗布されているか否かを示す。仮想オブジェクト１２０Ｃは、少なくとも一部にグリス２１ｂが塗布されていない場合を示している。このように、作業者Ｕに対して少なくとも一部にグリス２１ｂが塗布されていないことを示すことができ、適切に作業を行うことができる。また、この映像を記憶しておけば、作業者Ｕがグリス２１ｂを適切に塗布したことを確認することができる。

【0058】

以上のように、本実施形態に係る作業管理システム１、作業管理装置５及び作業管理方法によれば、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１から、作業情報１１２を求め、作業者の作業を高精度で自動的に記憶し、作業状況を適切に確認することができる。また、作業情報１１２及び予め定めた規定情報５２２の少なくとも１つをオブジェクト情報１１３として表示し、作業者Ｕの作業を補助することができる。したがって、標準化・マニュアル化できていない作業について、作業者の属人的な作業結果の質を、組織知化・形式知化することができる。さらに、質の高い作業を行う作業員の作業履歴を解析して、XRで作業情報を再現可能となるように指示することができる。

【0059】

図１２は、第２実施形態の作業管理システム１の一例を示す全体構成図である。
第２実施形態の作業管理システム１は、機械学習装置４を備える。その他の構成は、第１実施形態と同様なので、説明は省略する。

【0060】

機械学習装置４は、機械学習の学習フェーズの主体として動作する装置である。機械学習装置４は、例えば、複数の学習用データ１１に基づいて、作業管理装置５にて用いられる学習モデル１０を機械学習により生成する。学習済みの学習モデル１０は、ネットワーク７や記録媒体等を介して作業管理装置５に提供される。

【0061】

作業管理装置５は、作業対象物２に対して作業を行う作業者Ｕに装着されたユーザ端末装置６から画像データ１１１を随時受信し、その画像データ１１１を機械学習装置４から提供された学習モデル１０に入力することにより、作業者Ｕが作業対象物２に対して作業を行うときの作業情報１１２を生成し、ユーザ端末装置６等に随時送信する。

【0062】

（機械学習装置４）
図１３は、機械学習装置４の一例を示すブロック図である。機械学習装置４は、制御部４０、通信部４１、学習用データ記憶部４２、学習済みモデル記憶部４３、入力部４４、及び、出力部４５を備える。

【0063】

制御部４０は、学習用データ取得部４００及び機械学習部４０１として機能する。通信部４１は、ネットワーク７を介して外部装置（例えば、データベース装置３、作業管理装置５、ユーザ端末装置６、三次元モデル装置（不図示）等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。入力部４４は、各種の入力操作を受け付けるとともに、出力部４５は、表示画面や音声を介して各種の情報を出力することで、ユーザインターフェースとして機能する。

【0064】

学習用データ取得部４００は、入力データしての画像データ１１１と、出力データとしての作業情報１１２で構成される学習用データ１１を取得する。学習用データ取得部４００は、例えば、通信部４１及びネットワーク７を介して接続される外部装置と連携して学習用データ１１を取得してもよいし、入力部４４及び出力部４５を介して入力操作を受け付けることにより学習用データ１１を取得してもよい。学習用データ１１は、教師あり学
習における教師データ（トレーニングデータ）、検証データ及びテストデータとして用いられるデータである。また、作業情報１１２は、教師あり学習における正解ラベルとして用いられるデータである。

【0065】

学習用データ記憶部４２は、学習用データ取得部４００で取得した学習用データ１１を複数組記憶するデータベースである。なお、学習用データ記憶部４２を構成するデータベースの具体的な構成は適宜設計すればよい。

【0066】

機械学習部４０１は、学習用データ記憶部４２に記憶された複数組の学習用データ１１を用いて機械学習を実施する。すなわち、機械学習部４０１は、学習モデル１０に学習用データ１１を複数組入力し、学習用データ１１に含まれる画像データ１１１と作業情報１１２との相関関係を学習モデル１０に学習させることで、学習済みの学習モデル１０を生成する。

【0067】

学習済みモデル記憶部４３は、機械学習部４０１により生成された学習済みの学習モデル１０（具体的には、調整済みの重みパラメータ群）を記憶するデータベースである。学習済みモデル記憶部４３に記憶された学習済みの学習モデル１０は、ネットワーク７や記録媒体等を介して実システム（例えば、作業管理装置５）に提供される。なお、図１３では、学習用データ記憶部４２と、学習済みモデル記憶部４３とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

【0068】

図１４は、学習モデル１０及び学習用データ１１の一例を示す図である。学習モデル１０の機械学習に用いられる学習用データ１１は、画像データ１１１と作業情報１１２とで構成される。

【0069】

学習用データ１１を構成する画像データ１１１は、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影されたものである。画像データ１１１には、例えば、作業者Ｕが、作業対象物２に対して作業を行うときに撮影されたものであり、作業対象物２の各部が、撮影位置、撮影角度、撮影範囲等が異なる様々な撮影条件で撮影されたものである。

【0070】

学習用データ１１を構成する作業情報１１２は、少なくとも作業対象物譲歩、作業対象部情報、作業道具情報を含む。作業対象物情報は、作業対象物２を特定し、作業対象部情報は、作業対象物２の作業対象部２１を特定し、作業道具情報は、作業対象部２１に作業する道具を特定する。

【0071】

学習用データ取得部４００は、例えば、作業対象物２を用いて、ユーザ端末装置６を装着した試験者が、実際の作業者Ｕが作業対象物２に対して作業を行うときと同じような位置や姿勢を取ることで、様々な撮影条件で画像撮影部６３にて撮影した画像データ１１１を取得するとともに、その画像データ１１１を撮影したときの位置や姿勢に対して作業情報１１２の一部を取得する。作業情報１１２は、試験者が、ユーザ端末装置６を介して入力してもよいし、入力部４４及び出力部４５を介して入力してもよい。

【0072】

また、学習用データ取得部４００は、例えば、三次元モデル装置により提供される三次元モデルを用いて、作業対象物２の各部の三次元形状が再現された仮想空間にて作業者Ｕが特定の位置に存在すると仮定したときに、画像撮影部６３で撮影されると想定される仮想空間データを画像データ１１１として取得する。

【0073】

学習モデル１０は、例えば、ニューラルネットワークの構造を採用したものであり、入力層１００、中間層１０１、及び、出力層１０２を備える。各層の間には、各ニューロン
をそれぞれ接続するシナプス（不図示）が張られており、各シナプスには、重みがそれぞれ対応付けられている。各シナプスの重みからなる重みパラメータ群が、機械学習により調整される。

【0074】

入力層１００は、入力データとしての画像データ１１１の各画素に対応する数のニューロンを有し、各画素の画素値が各ニューロンにそれぞれ入力される。出力層１０２は、出力データとしての作業情報１１２に対応する数のニューロンを有し、画像データ１１１に対する作業情報１１２の予測結果（推論結果）が、出力データとして出力される。

【0075】

なお、学習済みモデル記憶部４３に記憶される学習モデル１０の数は１つに限定されず、例えば、機械学習の手法、作業対象物２の機構の違い、画像撮影部６３の仕様（解像度やイメージセンサの種類）の違い、作業情報１１２に含まれるデータの種類等のように、条件が異なる複数の学習モデルが記憶されてもよい。その場合には、学習用データ記憶部４２には、条件が異なる複数の学習モデルにそれぞれ対応するデータ構成を有する複数種類の学習用データが記憶されるようにすればよい。

【0076】

（機械学習方法）
図１５は、機械学習装置４による機械学習方法の一例を示すフローチャートである。

【0077】

まず、ステップＳ２１０において、学習用データ取得部４００は、機械学習を開始するための事前準備として、所望の数の学習用データ１１を取得し、その取得した学習用データ１１を学習用データ記憶部４２に記憶する。ここで準備する学習用データ１１の数については、最終的に得られる学習モデル１０に求められる推論精度を考慮して設定すればよい。

【0078】

次に、ステップＳ２２０において、機械学習部４０１は、機械学習を開始すべく、学習前の学習モデル１０を準備する。ここで準備する学習前の学習モデル１０は、ニューラルネットワークモデルで構成されており、各シナプスの重みが初期値に設定されている。

【0079】

次に、ステップＳ２３０において、機械学習部４０１は、学習用データ記憶部５３に記憶された複数組の学習用データ１１から、例えば、ランダムに１組の学習用データ１１を取得する。

【0080】

次に、ステップＳ２４０において、機械学習部４０１は、１組の学習用データ１１に含まれる入力データ（画像データ１１１）を、準備された学習前（又は学習中）の学習モデル１０の入力層１００に入力する。その結果、学習モデル１０の出力層１０２から推論結果として出力データ（作業情報１１２）が出力されるが、当該出力データは、学習前（又は学習中）の学習モデル１０によって生成されたものである。そのため、学習前（又は学習中）の状態では、推論結果として出力された出力データは、学習用データ１１に含まれる正解ラベル（作業情報１１２）とは異なる情報を示す。

【0081】

次に、ステップＳ２５０において、機械学習部４０１は、ステップＳ２３０において取得された１組の学習用データ１１に含まれる正解ラベルと、ステップＳ２４０において出力層１０２から推論結果として出力された出力データとを比較し、各シナプスの重みを調整する処理（バックプロパゲーション）を実施することで、機械学習を実施する。これにより、機械学習部４０１は、入力データと出力データとの相関関係を学習モデル１０に学習させる。

【0082】

次に、ステップＳ２６０において、機械学習部４０１は、所定の学習終了条件が満たされたか否かを、例えば、学習用データ１１に含まれる正解ラベルと、推論結果として出力
された出力データとに基づく誤差関数の評価値や、学習用データ記憶部４２内に記憶された未学習の学習用データ１１の残数に基づいて判定する。

【0083】

ステップＳ２６０において、機械学習部４０１が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合（ステップＳ２６０でＮｏ）、ステップＳ２３０に戻り、学習中の学習モデル１０に対してステップＳ２３０～Ｓ２５０の工程を未学習の学習用データ１１を用いて複数回実施する。一方、ステップＳ２６０において、機械学習部４０１が、学習終了条件が満たされて、機械学習を終了すると判定した場合（ステップＳ２６０でＹｅｓ）、ステップＳ２７０に進む。

【0084】

そして、ステップＳ２７０において、機械学習部４０１は、各シナプスに対応付けられた重みを調整することで生成された学習済みの学習モデル１０（調整済みの重みパラメータ群）を学習済みモデル記憶部４３に記憶し、図１５に示す一連の機械学習方法を終了する。機械学習方法において、ステップＳ２１０が学習用データ記憶工程、ステップＳ２２０～Ｓ２６０が機械学習工程、ステップＳ２７０が学習済みモデル記憶工程に相当する。

【0085】

以上のように、本実施形態に係る機械学習装置４及び機械学習方法によれば、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１から、作業情報１１２を予測（推論）することが可能な学習モデル１０を提供することができる。

【0086】

（作業管理装置５）
図１６は、第２実施形態の作業管理装置５の一例を示すブロック図である。図１７は、第２実施形態の作業管理装置５の一例を示す機能説明図である。作業管理装置５は、制御部５０、通信部５１、及び、記憶部５２を備える。

【0087】

制御部５０は、画像データ取得部５０１、作業情報生成部５０２、オブジェクト情報生成部５０３及び出力処理部５０４として機能する。通信部５１は、ネットワーク７を介して外部装置（例えば、データベース装置３、機械学習装置４、及び、ユーザ端末装置６等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。記憶部５２は、作業管理装置５の動作で使用される各種のプログラム（オペレーティングシステムやユーザ端末プログラム等）やデータ（学習モデル１０）等を記憶する。

【0088】

画像データ取得部５０１は、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１を取得する。本実施形態では、画像データ取得部５０１は、ユーザ端末装置６から通信部５１及びネットワーク７を介して画像データ１１１を取得（受信）する。

【0089】

作業情報生成部５０２は、画像データ取得部５０１により取得された画像データ１１１に基づいて、作業情報１１２を生成する。本実施形態では、作業情報生成部５０２は、画像データ１１１と作業情報１１２との相関関係を機械学習させた学習モデル１０に、画像データ取得部５０１により取得された画像データ１１１を入力することにより、当該画像データ１１１に対する作業情報１１２を生成する。

【0090】

記憶部５２には、作業情報生成部５０２にて用いられる学習済みの学習モデル１０が記憶されている。なお、記憶部５２に記憶される学習モデル１０の数は１つに限定されず、例えば、機械学習の手法、作業対象物２の機構の違い、画像撮影部６３の仕様（解像度やイメージセンサの種類）の違い、作業情報１１２に含まれるデータの種類等のように、条件が異なる複数の学習済みモデルが記憶され、選択的又は並列的に利用可能としてもよい。記憶部５２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピ
ュータ）の記憶部で代用されてもよく、その場合には、作業情報生成部５０２は、当該外部コンピュータにアクセスすればよい。

【0091】

オブジェクト情報生成部５０３は、作業情報生成部５０２により生成された作業情報１１２に基づいて、ユーザ端末装置６が作業者Ｕに装着されたときに作業者Ｕの周囲に存在する作業対象物２に作業情報１１２を重畳表示させるためのオブジェクト情報１１３を生成する。

【0092】

出力処理部５０４は、作業情報生成部５０２により生成された作業情報１１２やオブジェクト情報生成部５０３により生成されたオブジェクト情報１１３を出力するための出力処理を行う。例えば、出力処理部５０４は、作業情報１１２をユーザ端末装置６に送信することで、ユーザ端末装置６では、その作業情報１１２に基づく表示画面や音声が出力される。また、出力処理部５０４は、オブジェクト情報１１３をユーザ端末装置６に送信することで、ユーザ端末装置６では、そのオブジェクト情報１１３に基づく表示画面が出力される。

【0093】

（ユーザ端末装置６）
図１８は、ユーザ端末装置６の一例を示すブロック図である。ユーザ端末装置６は、制御部６０、通信部６１、記憶部６２、画像撮影部６３、入力部６４、出力部６５、及び、センサ群６６を備える。

【0094】

制御部６０は、画像データ送信処理部６００、作業情報処理部６０１及びオブジェクト情報処理部６０２として機能する。通信部６１は、ネットワーク７を介して外部装置（例えば、データベース装置３、機械学習装置４、及び、作業管理装置５等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。記憶部６２は、ユーザ端末装置６の動作で使用される各種のプログラム（オペレーティングシステムやユーザ端末プログラム等）やデータ等を記憶する。画像撮影部６３は、現実空間を撮影し、画像データ１１１を生成する。入力部６４は、各種の入力操作を受け付けるとともに、出力部６５は、表示画面や音声を介して各種の情報を出力することで、ユーザインターフェースとして機能する。センサ群６６は、自装置の加速度、角速度、姿勢等を検出する。

【0095】

画像データ送信処理部６００は、画像撮影部６３により所定の撮影周期で撮影された画像データ１１１を作業管理装置５に通信部６１及びネットワーク７を介して随時送信する。

【0096】

作業情報処理部６０１は、作業管理装置５に送信した画像データ１１１に対する応答として、作業管理装置５から作業情報１１２を受信し、その作業情報１１２を、例えば、出力部６５による音声や表示画面を介して作業者Ｕに通知する。

【0097】

オブジェクト情報処理部６０２は、作業管理装置５に送信した画像データ１１１に対する応答として、作業管理装置５からオブジェクト情報１１３を受信し、そのオブジェクト情報１１３に基づいて、作業者Ｕの周囲に存在する作業対象物２に作業情報１１２を出力部６５により重畳表示させることにより、作業情報１１２を作業者Ｕに通知する。

【0098】

（作業管理方法）
図１９は、作業管理システム１による作業管理方法の一例を示すフローチャートである。以下では、ユーザ端末装置６を装着した作業者Ｕが、作業対象物２の作業対象部２１に対して、道具２２を使用して作業する例として説明する。なお、図１９に示すフローチャートは、ユーザ端末装置６が、例えば、作業者Ｕから調整作業の開始を指示する入力操作を受け付けることで画像撮影部６３による撮影を開始し、画像撮影部６３による撮影周期
が経過する度に繰り返し実行される。

【0099】

まず、ステップＳ３１０において、ユーザ端末装置６の画像撮影部６３は、調整作業を行う作業者Ｕの前方の現実空間を撮影し、画像データ１１１を生成する。そして、画像データ送信処理部６００は、画像撮影部６３により撮影された画像データ１１１を作業管理装置５に送信する。

【0100】

次に、ステップＳ３２０において、作業管理装置５の画像データ取得部５０１は、ステップＳ３１０で送信された画像データ１１１を受信する。

【0101】

次に、ステップＳ３３０において、作業情報生成部５０２は、ステップＳ３２０で取得された画像データ１１１と、記憶部５２に記憶された学習モデル１０に基づいて、当該画像データ１１１に対する作業情報１１２を生成する。

【0102】

なお、ステップＳ３３０において、出力処理部５０４は、作業情報１１２や規定情報５２２をユーザ端末装置６にも送信してもよく、その場合には、ユーザ端末装置６の作業情報処理部６０１は、その作業情報１１２や規定情報５２２を音声や表示画面を介して作業者Ｕに通知するようにしてもよい。

【0103】

次に、ステップＳ３４０において、記憶部５２は、作業情報１１２を記憶する。作業情報１１２を記憶することによって、適切に作業が完了したことを記録として残しておくことができる。なお、作業情報１１２は、データベース装置３に記憶してもよい。

【0104】

次に、ステップＳ３５０において、オブジェクト情報生成部５０３は、ステップＳ３３０で生成された作業情報１１２に基づいて、作業者Ｕの周囲に存在する作業対象物２に作業情報１１２を重畳表示させるためのオブジェクト情報１１３を生成する。そして、ステップＳ３６０において、出力処理部５０４は、ステップＳ３５０で生成されたオブジェクト情報１１３を出力するための出力処理として、そのオブジェクト情報１１３をユーザ端末装置６に送信する。

【0105】

次に、ステップＳ３７０において、ユーザ端末装置６のオブジェクト情報処理部６０２は、ステップＳ３６０で送信されたオブジェクト情報１１３を受信すると、そのオブジェクト情報１１３に基づいて、現実空間の作業対象物２に対して作業情報１１２を示す仮想オブジェクトをユーザ端末装置６の出力部６５に表示する。出力部６５には、図１１又は図１２に示したような画像が表示される。

【0106】

以上のように、本実施形態に係る作業管理システム１、作業管理装置５及び作業管理方法によれば、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１から、作業情報１１２を求め、作業者の作業を高精度で自動的に記憶し、作業状況を適切に確認することができる。また、作業情報１１２及び予め定めた規定情報５２２の少なくとも１つをオブジェクト情報１１３として表示し、作業者Ｕの作業を補助することができる。したがって、標準化・マニュアル化できていない作業について、作業者の属人的な作業結果の質を、組織知化・形式知化することができる。さらに、質の高い作業を行う作業員の作業履歴を解析して、XRで作業情報を再現可能となるように指示することができる。

【0107】

（作業対象物２（第２例））
図２０は、作業対象物２の第２例としての駆動装置２ｂを示す。本実施形態で用いられる作業情報１１２における作業対象物２の一例は、ＡＣサーボモータ２ｂ１と減速機２ｂ２を締結した駆動装置２ｂである。また、作業対象部２１の一例は、ボルト、軸、ゴムキ
ャップ等である。作業ナンバー１－１において、作業対象物２が減速機２ｂ２であり、作業対象部２１が図示しない入力軸継手ボルトとなる。しかしながら、ボルトを孔にあわせるだけの作業なので、道具２２に関する作業情報１１２が無しとなり、作業情報１１２としての作業値情報は無く、作業順情報は１となる。図２０に示すような作業情報１１２は、記憶部５２又はデータベース装置３に記憶される。

【0108】

（作業対象物２（第３例））
図２１は、作業対象物２の第３例としてのロールクリーナ２ｃのストッパを示す。本実施形態で用いられる作業情報１１２における作業対象物２の一例は、ＣＭＰ装置においてウェハＷを洗浄するロールクリーナ２ｃである。また、作業対象部２１は高さ調節ストッパのストッパボルト２１ｃ１であり、道具２２はジグ２２ｃ１、スパナ２２ｃ２又はレンチ等である。作業ナンバー１－１では、ロールと同じ径を有するジグ２２ｃ１をウェハＷと接触させる。次に、作業ナンバー１－２で、スパナ２２ｃ２によってストッパボルト２１ｃ１を回転させて、ストッパを高さａで仮位置決めする。次に、作業ナンバー１－３で、スパナ２２ｃ２によってストッパボルト２１ｃ１を回転させて、ストッパを仮決めした位置ａから規定量移動させる。図２１に示すような作業情報１１２は、記憶部５２又はデータベース装置３に記憶される。

【0109】

（作業対象物２（第４例））
図２２は、作業対象物２の第４例としてのフィルタファン２ｄを示す。本実施形態で用いられる作業対象物２の一例は、フィルタファン２ｄ１及びコントローラ２ｄ２である。また、作業対象部２１の一例は、フィルタファン２ｄ１から所定距離下方の測定点２１ｄ１～２１ｄ９及びダイヤル２１ｄ１０である。道具２２は、風速計２２ｄ１である。作業ナンバー１－１から１－９では、第１測定点２１ｄ１から第９測定点２１ｄ９まで風速計２２ｄ１により作業値情報としての風速を計測する。なお、計測時に、作業管理装置５は、測定点を規定情報５２２として予め記憶部５２に記憶しておき、画面上に表示してもよい。続いて、第１測定点２１ｄ１から第９測定点２１ｄ９までの測定値の平均値を求める。この平均値が予め定めた規定範囲内の場合、作業情報１１２を記憶部５２又はデータベース装置３に記憶する。平均値が予め定めた規定範囲外の場合、ダイヤル２１ｄ１０を変更して、平均値が予め定めた規定範囲内になるまで作業を行い、作業情報１１２を記憶部５２又はデータベース装置３に記憶する。

【0110】

このように、本実施形態に係る作業管理システム１、作業管理装置５及び作業管理方法によれば、どのような作業対象物２であっても、作業者Ｕがユーザ端末装置６を装着したときに作業者Ｕの前方に向けて配置される画像撮影部６３により撮影された画像データ１１１から、作業情報１１２を求め、作業者の作業を高精度で自動的に記憶し、作業状況を適切に確認することができる。また、作業情報１１２及び予め定めた規定情報５２２の少なくとも１つをオブジェクト情報１１３として表示し、作業者Ｕの作業を補助することができる。したがって、標準化・マニュアル化できていない作業について、作業者の属人的な作業結果の質を、組織知化・形式知化することができる。さらに、質の高い作業を行う作業員の作業履歴を解析して、XRで作業情報を再現可能となるように指示することができる。

【0111】

すなわち、作業管理装置５により作業情報１１２の記憶が行われるとともに、作業者Ｕは、出力部６５に表示された仮想オブジェクト１２０Ａ～１２０Ｃを視認することにより作業状況を把握することができる。そして、作業者Ｕの身体の位置や向きが変更されて、画像データ１１１の撮影条件が変更されることに応じて、作業情報１１２及びオブジェクト情報１１３を生成する処理が繰り返し行われる。これにより、作業者Ｕは、適切に作業を実施することができる。

【0112】

なお、上記の作業管理方法において、ステップＳ１２０、Ｓ２２０が画像データ取得工程、ステップＳ１３０、Ｓ２３０が作業情報生成工程、ステップＳ１４０、Ｓ２４０が作業情報記憶工程、ステップＳ１５０、Ｓ２５０がオブジェクト情報生成工程に相当する。

【0113】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0114】

上記実施形態では、データベース装置３、機械学習装置４、作業管理装置５及びユーザ端末装置６は、別々の装置で構成されたものとして説明したが、それら４つの装置が、単一の装置で構成されていてもよいし、それら４つの装置のうち任意の２つ又は３つの装置が、単一の装置で構成されていてもよい。また、機械学習装置４及び作業管理装置５の少なくとも一方は、ユーザ端末装置６に組み込まれていてもよい。例えば、ユーザ端末装置６の記憶部６２に学習モデル１０を記憶し、ユーザ端末装置６の制御部６０が、画像データ取得部５０１、作業情報生成部５０２及びオブジェクト情報生成部５０３として機能するようにしてもよい。また、作業情報、設計情報、規定情報、及び、作業履歴情報等は、データベース装置３、作業管理装置５の記憶部５２及びユーザ端末装置６の記憶部６２等の少なくとも１つに記憶されればよい。

【0115】

上記実施形態では、機械学習部４０１による機械学習を実現する学習モデルとして、ニューラルネットワークを採用した場合について説明したが、他の機械学習のモデルを採用してもよい。他の機械学習のモデルとしては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク、畳み込みニューラルネットワーク、ＬＳＴＭ等のニューラルネット型(ディープラーニングを含
む)、階層型クラスタリング、非階層型クラスタリング、ｋ近傍法、ｋ平均法等のクラス
タリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。

【0116】

（機械学習プログラム及び作業管理プログラム）
本発明は、機械学習装置４が備える各部としてコンピュータ９００を機能させるプログラム（機械学習プログラム）や、機械学習方法が備える各工程をコンピュータ９００に実行させるためのプログラム（機械学習プログラム）の態様で提供することもできる。また、本発明は、作業管理装置５やユーザ端末装置６が備える各部としてコンピュータ９００を機能させるためのプログラム（作業管理プログラム）や、上記実施形態に係る作業管理方法が備える各工程をコンピュータ９００に実行させるためのプログラム（作業管理プログラム）の態様で提供することもできる。

【0117】

（推論装置、推論方法及び推論プログラム）
本発明は、上記実施形態に係る作業管理装置５（作業管理方法又は作業管理プログラム）の態様によるもののみならず、作業情報を推論するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供することもできる。その場合、推論装置（推論方法又は推論プログラム）としては、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行するものである。当該一連の処理とは、画像データ１１１を取得する画像データ処理（画像データ取得工程）と、画像データ取得処理にて画像データを取得すると、当該画像データに基づいて、作業情報１１２を推論する推論処理（推論工程）とを含む。

【0118】

推論装置（推論方法又は推論プログラム）の態様で提供することで、作業管理装置を実装する場合に比して簡単に種々の装置への適用が可能となる。推論装置（推論方法又は推
論プログラム）が作業情報を推論する際、上記実施形態に係る機械学習装置及び機械学習方法により生成された学習済みの学習モデルを用いて、作業情報生成部が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。

【符号の説明】

【0119】

１…作業管理システム、３…データベース装置、
４…機械学習装置、５…作業管理装置、６…ユーザ端末装置（作業者装置）、
７…ネットワーク、１０…学習モデル、１１…学習用データ
４０…制御部、４１…通信部、４２…学習用データ記憶部、
４３…学習済みモデル記憶部、４４…入力部、４５…出力部、
５０…制御部、５１…通信部、５２…記憶部、
６０…制御部、６１…通信部、６２…記憶部、６３…画像撮影部、６４…入力部、
６５…出力部、６６…センサ群、
１１１…画像データ、１１２…作業情報、１１３…オブジェクト情報、
１２０Ａ～１２３Ａ…仮想オブジェクト、
４００…学習用データ取得部、４０１…機械学習部、
５０１…画像データ取得部、５０２…作業情報生成部、
５０３…オブジェクト情報生成部、５０４…出力処理部、
６００…画像データ送信処理部、６０１…作業情報処理部、
６０２…オブジェクト情報処理部、
９００…コンピュータ、Ｕ…作業者、Ｗ…ウェハ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】