特開 2022-183565 定義データ生成装置及び管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022183565

(43)【公開日】2022-12-13

(54)【発明の名称】定義データ生成装置及び管理システム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20221206BHJP

   G06T 7/00 20170101ALI20221206BHJP

【ＦＩ】

G05B19/418 Z

G06T7/00 610

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021090946

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110000648

【氏名又は名称】弁理士法人あいち国際特許事務所

(74)【代理人】

【識別番号】110000604

【氏名又は名称】弁理士法人 共立特許事務所

(72)【発明者】

【氏名】荒木 力

【テーマコード（参考）】

3C100

5L096

【Ｆターム（参考）】

3C100AA29

3C100AA57

3C100BB15

3C100BB17

3C100BB34

5L096BA03

5L096CA04

5L096DA02

5L096FA69

5L096HA09

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】作業効率を向上させると共にバラつきの小さい定義データを生成する定義データ生成装置及び定義データ生成装置を用いた管理システムを提供すること。
【解決手段】定義データ生成装置１０の制御部１３は、時刻情報Ｔに基づいて映像における所定状態を切り替える映像切替部１３１と、切り替えられた映像にて所定状態にある特定対象を識別するタグ情報ＴＪを取得するタグ情報取得部１３２と、特定対象の映像中の位置を識別するポジション情報ＰＪを取得し、特定対象が存在するエリア情報ＡＪを設定するエリア設定部１３３と、タグ情報ＴＪとエリア情報ＡＪとを互いに関連付けることにより、特定対象の状況を定義する判定用定義データＴＤを生成する定義データ生成部１３４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影対象を時間的に連続して撮影した映像を表す映像データを取得する映像データ取得部と、
前記映像中の前記撮影対象の複数の所定状態に関する時刻情報を取得する時刻情報取得部と、
前記映像データ取得部によって取得された前記映像データ及び前記時刻情報取得部によって取得された前記時刻情報を取得する制御部と、を備え、
前記制御部は、
前記時刻情報に基づいて前記映像データによる前記映像における前記所定状態を切り替える映像切替部と、
切り替えられた前記映像にて前記所定状態にある前記撮影対象のうちの特定対象を識別するタグ情報を取得するタグ情報取得部と、
前記特定対象の前記映像中の位置を識別するポジション情報を取得し、前記ポジション情報に基づいて前記特定対象が存在する領域を表すエリア情報を設定するエリア設定部と、
前記タグ情報取得部によって取得された前記タグ情報と前記エリア設定部によって設定された前記エリア情報とを互いに関連付けることにより、前記特定対象の状況を定義する定義データを生成する定義データ生成部と、
を備えた、定義データ生成装置。

【請求項2】

前記時刻情報取得部は、
前記所定状態が継続する時間を定めた前記時刻情報を取得する、請求項１に記載の定義データ生成装置。

【請求項3】

前記タグ情報取得部は、前記映像を画像解析することによって前記タグ情報を取得し、
前記エリア設定部は、前記映像を画像解析することによって前記ポジション情報を取得する、請求項１又は２に記載の定義データ生成装置。

【請求項4】

前記タグ情報取得部は、前記映像中にて指定された前記タグ情報を取得し、
前記エリア設定部は、前記映像中にて指定された前記ポジション情報を取得する、請求項１又は２に記載の定義データ生成装置。

【請求項5】

前記タグ情報取得部によって取得された前記タグ情報、及び、前記エリア設定部によって設定された前記エリア情報を調整する調整部を備え、
前記定義データ生成部は、前記調整部によって調整された前記タグ情報及び前記エリア情報を互いに関連付けて前記定義データを生成する、請求項１－４の何れか一項に記載の定義データ生成装置。

【請求項6】

前記調整部は、
前記タグ情報取得部によって取得された前記タグ情報の削除、又は、前記タグ情報取得部によって取得された前記タグ情報に対して新たな前記タグ情報の追加を行うことにより、前記タグ情報を調整する、請求項５に記載の定義データ生成装置。

【請求項7】

前記タグ情報取得部は、
前記映像データを説明変数とすると共に前記時刻情報を目的変数とする機械学習を行うことにより生成されて、前記所定状態を画像解析するための学習済みモデルを用いて、前記タグ情報を取得する、請求項１－６の何れか一つに記載の定義データ生成装置。

【請求項8】

前記所定状態は、作業者が工作機械を用いた作業状態を含む、請求項１－７の何れか一項に記載の定義データ生成装置。

【請求項9】

請求項１－８に記載の前記定義データ生成装置によって生成された前記定義データを記憶する定義データ記憶装置と、
前記撮影対象を撮影する撮影装置と、
前記撮影装置によって撮影された映像における前記特定対象について前記定義データを用いて解析し、前記特定対象が前記定義データによる定義に一致した場合に前記所定状態に関する前記時刻情報を出力する時刻出力装置と、
を備えた、管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、定義データ生成装置及び同装置を用いた管理システムに関する。

【背景技術】

【0002】

従来から、特許文献１に開示された映像監視システムが知られている。この従来の映像監視システムは、製品を生産する生産ラインの機器を制御する制御機器から取得した制御情報に基づいて、生産ラインを撮影する撮影装置による画像から、製品を生産する作業の工程の画像を自動的に抽出して表示するようになっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１５６９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば、作業の開始又は終了等を定義する定義データを生成する場合において、人が、撮影された映像を再生しながら画像や映像における人物や部材、工具等を目視によって認識し、認識した人物や部材、工具等の位置を指定することによって状況（パターン）を定義する定義データを生成することが行われている。この場合、人が行う作業において、例えば、対象となる人物や部材、工具等を映像から探し出す際には多大な工数を要するため、更なる効率化が求められている。又、人が定義データを生成する場合、映像に基づいて定義データを生成する際の知識量や作業経験の違い等により、生成される定義データ自体にバラつきが生じる虞もある。

【0005】

本発明は、作業効率を向上させると共にバラつきの小さい定義データを生成する定義データ生成装置及び定義データ生成装置を用いた管理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

定義データ生成装置は、撮影対象を時間的に連続して撮影した映像を表す映像データを取得する映像データ取得部と、映像中の撮影対象の複数の所定状態に関する時刻情報を取得する時刻情報取得部と、映像データ取得部によって取得された映像データ及び時刻情報取得部によって取得された時刻情報を取得する制御部と、を備え、制御部は、時刻情報に基づいて映像データによる映像における所定状態を切り替える映像切替部と、切り替えられた映像にて所定状態にある撮影対象のうちの特定対象を識別するタグ情報を取得するタグ情報取得部と、特定対象の映像中の位置を識別するポジション情報を取得し、ポジション情報に基づいて特定対象が存在する領域を表すエリア情報を設定するエリア設定部と、タグ情報取得部によって取得されたタグ情報とエリア設定部によって設定されたエリア情報とを互いに関連付けることにより、特定対象の状況を定義する定義データを生成する定義データ生成部と、を備える。

【0007】

これによれば、映像切替部は、時刻情報を用いることにより、撮影対象を時間的に連続して撮影した映像における所定状態（場面）を容易に切り替えることができる。これにより、定義データの作成者が映像中の所望の映像を容易に確認することができる。従って、特定対象を映像から探し出す際の工数を大幅に低減することができ、定義データの生成の作業効率を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】定義データ生成装置の構成を示す図である。

【図2】作成ツールによって作成される表示画面を説明するための図である。

【図3】作業手順の出力を説明するための図である。

【図4】作業手順を説明するための図である。

【図5】標準作業組み合わせ表（時刻情報）を説明するための図である。

【図6】タグ情報ＴＪ及びポジション情報ＰＪを説明するための図である。

【図7】判定用定義データを形成するエリア情報を説明するための図である。

【図8】判定用定義データを説明するための図である。

【図9】管理システムの構成を示す図である。

【図10】映像データの一例を示す図である。

【図11】作業実績（時刻情報）の一例を示す図である。

【発明を実施するための形態】

【0009】

（１．定義データ生成装置１０の構成）
定義データ生成装置１０の構成について、図１を参照して説明する。定義データ生成装置１０は、撮影対象を時間的に連続して撮影した映像を表す映像データと、映像中の撮影対象の複数の所定状態に関する時刻情報とを用いて、撮影対象のうちの特定対象の状況（パターン）を定義する定義データを生成するものである。本例の定義データ生成装置１０は、例えば、製品を生産する際の作業の工程ごとにおける特定対象としての作業者の作業開始及び作業終了を自動的に状況判定（パターン判定）するための定義データ（以下、「判定用定義データ」と称呼する。）を生成する場合を例示する。

【0010】

定義データ生成装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、各種インターフェースを備えた演算装置及び記憶装置を有するコンピュータ装置である。本例の定義データ生成装置１０は、図１に示すように、映像データ取得部１１、時刻情報取得部１２、及び、制御部１３を主に備える。

【0011】

映像データ取得部１１は、作業に関与する人物（作業者）、部材（製品）、工具等を撮影対象として時間的に連続して撮影する撮影装置１から映像データＭを取得する。ここで、映像データＭには、時間的に連続した時刻データが含まれている。尚、以下の説明においては、指定された作業者が予め設定された作業手順及び作業要領に従うモデル作業を行った際の作業状態（即ち、所定状態）を撮影した映像を表す映像データＭを、「リファレンス映像データＲＭ」として区別する。そして、本例の映像データ取得部１１は、取得した映像データＭ（リファレンス映像データＲＭ）を制御部１３に出力する。

【0012】

時刻情報取得部１２は、撮影装置１（又は、映像取得部１１）から取得したリファレンス映像データＲＭに対応して、モデル作業における各工程を行った際の作業開始時刻及び作業終了時刻を表す各々の時刻情報Ｔを取得する。そして、時刻情報取得部１２は、取得した時刻情報Ｔを制御部１３に出力する。

【0013】

ここで、本例においては、時刻情報取得部１２は、図１に示すように、撮影装置１によって撮影されたリファレンス映像データＲＭを用いて作業手順及び作業要領を定めた作業手順Ｓを作成する作成ツール２（コンピュータ装置によって実行されるアプリケーション）から時刻情報Ｔを取得する場合を例示する。

【0014】

作成ツール２は、例えば、判定用定義データの作成者による操作に従い、図２に示すように、リファレンス映像データＲＭを取得し、取得したリファレンス映像データＲＭに基づいて人物、部材、工具等を識別するためのタグ情報ＴＪを設定すると共に、タグ情報ＴＪによって識別された人物、部材、工具等の位置を識別するポジション情報ＰＪを設定した表示画面を作成する。尚、タグ情報ＴＪ及びポジション情報ＰＪの設定については、作成ツール２がソフトウェアによる画像解析によって自動的に設定しても良いし、作成者が手動によって設定しても良い。

【0015】

又、作成ツール２は、表示画面において、例えば、作成者によって、製品を生産する工程ごとの作業手順及び作業上の留意点等を含む作業要領を入力することができる。そして、作成ツール２は、図３に示すように、作成者によって表示画面上に表示されるメニューから「作業手順書出力」が選択されることにより、図４に示す作業手順Ｓ（作業手順情報）を生成する。

【0016】

更に、作成ツール２は、リファレンス映像データＲＭ及び生成した作業手順Ｓに基づいて、図５に示すように、作業時間を定めた標準作業時刻情報である標準作業組み合わせ表Ｌを出力する。標準作業組み合わせ表Ｌは、作業手順Ｓに基づき、工程ごとに作業開始から作業終了までの経過時間や作業者が工程間を移動する移動時間、即ち、製品を生産する際の標準的な時刻情報Ｔを定めたものである。そして、作成ツール２は、工程ごとの作業開始、作業終了、移動を時間軸上に表した図５に示す標準作業組み合わせ表Ｌ即ち時刻情報Ｔを作成して時刻情報取得部１２に出力する。

【0017】

尚、本例においては、作成者が作成ツール２を用いることによって、作業手順Ｓ及び標準作業組み合わせ表Ｌ即ち時刻情報Ｔを自動的に作成する場合を例示する。しかしながら、作成者が、例えば、別途、撮影装置１によって撮影されたリファレンス映像データＲＭを確認しながら、必要に応じて手動により作業手順Ｓ及び標準作業組み合わせ表Ｌ（時刻情報Ｔ）を作成することも可能である。そして、時刻情報取得部１２は、作成ツール２によって作成された標準作業組み合わせ表Ｌ即ち時刻情報Ｔを制御部１３に出力する。

【0018】

制御部１３は、映像データ取得部１１からリファレンス映像データＲＭを取得すると共に、時刻情報取得部１２から時刻情報Ｔ（標準作業組み合わせ表Ｌ）を取得し、判定用定義データを生成する。このため、制御部１３は、図１に示すように、映像切替部１３１、タグ情報取得部１３２、エリア設定部１３３、判定用定義データ生成部１３４、及び、調整部１３５を主に備える。

【0019】

映像切替部１３１は、図６－８に示すように、例えば、作成者による操作に応じて、表示画面上に表示されるリファレンス映像データＲＭにおいて、取得した時刻情報Ｔに含まれる各々の工程の作業開始時刻に対応するように、リファレンス映像データＲＭを表示する。即ち、映像切替部１３１は、各々の工程の作業開始時刻に対応するように、リファレンス映像データＲＭに含まれる時刻データを用いてリファレンス映像データＲＭの頭出しを行うことができる。この場合、作成者は、例えば、図示省略の入力装置を用いて、「工程１」や「工程２」等を入力することにより、リファレンス映像データＲＭにおける「工程１」の作業開始時の映像や「工程２」の作業開始時の映像の場面を表示させることができる。

【0020】

尚、例えば、「工程１」の作業終了時刻に対応するリファレンス映像データＲＭについては、頭出しした「工程２」の作業開始時刻からリファレンス映像データＲＭを巻き戻すことによって容易に「工程１」の作業終了時の映像を表示することができる。即ち、作業終了時刻に対応する映像は、後工程の作業開始時の映像を頭出しすることによって容易に表示することができる。

【0021】

タグ情報取得部１３２は、図６にて太線の四角により示すように、映像切替部１３１によって切り替えられたリファレンス映像データＲＭに表示されている人物、部材、工具等を特定対象として識別するタグ情報ＴＪを取得する。ここで、タグ情報取得部１３２は、周知の画像解析技術を用いて人物、部材、工具等を識別してタグ情報ＴＪを自動的に取得したり、或いは、作成者がリファレンス映像データＲＭを視認しながら個々のタグ情報ＴＪを設定（指定）したりして取得することが可能である。

【0022】

エリア設定部１３３は、タグ情報ＴＪによって識別された人物、部材、工具等について、リファレンス映像データＲＭによる映像中の位置を識別するポジション情報ＰＪを取得する。そして、エリア設定部１３３は、図７にて太い枠線により示すように、取得したポジション情報ＰＪに基づいて（即ち、ポジション情報ＰＪを含むように）、タグ情報ＴＪによって識別された人物、部材、工具等が存在する領域を座標を用いて表すエリア情報ＡＪを設定する。ここで、エリア設定部１３３は、周知の画像解析技術を用いてエリア情報ＡＪをソフトウェア上で自動的に設定したり、或いは、作成者がリファレンス映像データＲＭを視認しながら個々のエリア情報ＡＪを設定したりして決定することが可能である。尚、エリア情報ＡＪについては、図７に示すような四角に代えて、種々の形状を用いて設定可能であることは言うまでもない。

【0023】

判定用定義データ生成部１３４は、図８に示すように、各々の工程において、タグ情報取得部１３２によって取得されたタグ情報ＴＪとエリア設定部１３３によって決定されたエリア情報ＡＪ（座標）とを互いに関連付けることにより、特定対象である人物（作業者）、部材（製品）、工具等のパターンをリスト化して判定用定義データＴＤを生成する。そして、判定用定義データ生成部１３４は、生成した判定用定義データＴＤを候補として表示画面上に表示する。

【0024】

これにより、作成者は、候補として表示された判定用定義データＴＤについて、判定に必要となるタグ情報ＴＪが含まれており、且つ、設定されたエリア情報ＡＪが正しければ、図８に示すように、表示されたダイアログの「適用」を選択することによって表示された判定用定義データＴＤを正式な定義データとして登録する。

【0025】

この場合、作成者は、例えば、「工程２」の作業開始時の判定用定義データＴＤ、詳しくは、タグ情報ＴＪ及びエリア情報ＡＪについて確認する際には、図６及び図７に示すように、映像切替部１３１に対して「工程２」のリファレンス映像データＲＭを頭出しさせることができる。これにより、作成者は、「工程２」の作業開始時の判定に必要なタグ情報ＴＪ及びエリア情報ＡＪが候補として表示された判定用定義データＴＤとなっているか否かを素早く且つ簡便に確認することができる。

【0026】

一方、判定用定義データ生成部１３４によって候補として表示された判定用定義データＴＤについて、タグ情報ＴＪの過不足又はエリア情報ＡＪの調整が必要な場合には、作成者は、調整部１３５を用いて判定用定義データＴＤの調整（修正）を行う。例えば、作成者は、図８に示すように、候補として表示された判定用定義データＴＤに合わせて表示画面に表示されたダイアログの「追加」を選択する。

【0027】

これにより、調整部１３５は、図６及び図７に示すように、映像切替部１３１に対して作成者が調整したい（確認したい）映像、例えば、「工程２」の作業開始時の映像等を表示させる。これにより、調整部１３５は、図６に示すようにタグ情報取得部１３２に対して表示されたリファレンス映像データＲＭにおけるタグ情報ＴＪを表示させると共に、図７に示すようにエリア設定部１３３に対してタグ情報ＴＪに対応するエリア情報ＡＪを表示させる。そして、作成者は、図示省略の入力装置を用いて、例えば、不要なタグ情報ＴＪを消去したり、必要なタグ情報ＴＪを追加したりする。つまり、調整部１３５は、タグ情報取得部１３２によって取得されたタグ情報ＴＪの要否の選別を可能とする。又、作成者は、図示省略の入力装置を用いて、例えば、図７に示す枠線によって囲まれたエリア情報ＡＪについて、必要な領域となるように枠線に囲まれた範囲（大きさ）を修正即ち映像中のエリア情報ＡＪを設定する座標を修正する。

【0028】

このように、タグ情報ＴＪ及びエリア情報ＡＪが修正されると、判定用定義データ生成部１３４は、修正された判定用定義データＴＤを改めて表示し、調整部１３５は、図８に示すように、表示画面に改めてダイアログを表示する。これにより、作成者が「適用」を選択すると、修正（調整）された判定用定義データＴＤが正式に登録される。尚、判定用定義データ生成部１３４によって候補として生成される判定用定義データＴＤの精度が高い場合には、適宜、調整部１３５を省略することも可能である。

【0029】

以上の説明からも理解できるように、定義データ生成装置１０によれば、撮影装置１から取得した映像データＭ（リファレンス映像データＲＭ）の時刻データと時刻情報Ｔとにより、作成者が映像中の所望の映像を容易に確認することができる。これにより、タグ情報ＴＪの付された特定対象を映像から探し出す際の工数を大幅に低減することができ、判定用定義データ（定義データ）の生成の作業効率を向上させることができる。

【0030】

（２．管理システム２０の構成）
本例の管理システム２０は、例えば、製品を生産する工場に設置されており、上述した定義データ生成装置１０によって生成された判定用定義データＴＤ（定義データ）を用いて、各作業者の作業実績即ち作業に関連する時刻情報を管理する。このため、管理システム２０は、図９に示すように、撮影装置２１と、管理装置２２とを備える。

【0031】

撮影装置２１は、図１０に示すように、作業に関与する人物（作業者）、部材（製品）、工具等を撮影対象として時間的に連続し、映像データＭを時間経過と共に連続的に出力する。即ち、撮影装置２１は、映像データＭと共に時間データを管理装置２２に出力する。

【0032】

管理装置２２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、各種インターフェース及び記憶装置を備えたコンピュータ装置である。管理装置２２は、定義データ記憶装置としての定義データ記憶部２２１と、時刻出力装置としての映像データ取得部２２２、作業実績生成部２２３及び出力部２２４とを備える。定義データ記憶部２２１は、上述したように、定義データ生成装置１０によって事前に生成された判定用定義データＴＤを取得して記憶する。映像データ取得部２２２は、撮影装置２２によって撮影されて時間データを有する映像データＭを時間経過と共に連続的に取得する。

【0033】

作業実績生成部２２３は、定義データ記憶部２２１に記憶された判定用定義データＴＤと、映像データ取得部２２２によって連続的に取得された映像データＭとを用いて、図１０に示すように、特定対象である人物（作業者）、部材（製品）、工具についてタグ情報ＴＪ及びポジション情報ＰＪを設定する。尚、タグ情報ＴＪ及びポジション情報ＰＪの設定について、作業実績生成部２２３は、例えば、周知の画像解析技術を用いてエリア情報ＡＪをソフトウェア上で自動的に設定することができる。

【0034】

そして、作業実績生成部２２３は、タグ情報ＴＪ及びポジション情報ＰＪが設定された映像データＭと判定用定義データＤとを用いて、図１１に示すように、作業者による工程ごとの作業開始及び作業終了、並びに、工程間の移動（例えば、徒歩等）等の時刻情報Ｔを含む作業実績ＷＰを生成する。即ち、作業実績生成部２２３は、所定状態である作業者の作業状態に関する時刻情報Ｔを作業実績ＷＰとして生成する。出力部２２４は、作業実績生成部２２３によって生成された作業実績ＷＰを、例えば、管理者が所持する端末装置に出力する。これにより、管理者は、作業者の作業実績ＷＰ即ち時刻情報Ｔを把握することができる。

【0035】

以上の説明からも理解できるように、管理システム２０によれば、定義データ生成装置１０によって生成された判定用定義データ（定義データ）を用いて、撮影装置２１によって撮影された映像（映像データＭ）における特定対象の状況を判定し、判定に基づいて時刻情報Ｔ（作業実績ＷＰ）を出力することができる。これにより、人為的な定義のバラつきをより小さくすることができ、時刻情報Ｔ（作業実績ＷＰ）の信頼性を高めることができる。又、自動的に時刻情報Ｔ（作業実績ＷＰ）を出力することができるため、手動によって時刻情報Ｔ（作業実績ＷＰ）を作成する場合に比べて、より簡単に時刻情報Ｔ（作業実績ＷＰ）を記録することができる。

【0036】

（３．別例）
上述した本例においては、定義データ生成装置１０のタグ情報取得部１３２及びエリア設定部１３３が周知の画像解析技術を用いて、タグ情報ＴＪ及びポジション情報ＰＪを設定するようにした。これに代えて、タグ情報取得部１３２及びエリア設定部１３３が、例えば、映像データＭ（リファレンス映像データＲＭ）を説明変数とすると共に時刻情報Ｔ（標準作業組み合わせ表Ｌ）を目的変数とする機械学習を行うことにより生成されて、所定状態を画像解析するための学習済みモデルを用いて、タグ情報ＴＪ及びポジション情報ＰＪを設定するようにすることも可能である。

【0037】

このように、機械学習による学習済みモデルを用いることにより、生産する製品に関係する特定対象の認識精度、即ち、タグ情報ＴＪ及びポジション情報ＰＪの設定精度を向上させることができる。その結果、作成者が調整部１３５を用いて判定用定義データＴＤの修正頻度を少なくすることが可能となり、判定用定義データ（定義データ）の生成における作業効率を向上させることに寄与することができる。

【符号の説明】

【0038】

１…撮影装置、２…作成ツール、１０…定義データ生成装置、１１…映像データ取得部、１２…時刻情報取得部、１３…制御部、１３１…映像切替部、１３２…タグ情報取得部、１３３…エリア設定部、１３４…定義データ生成部、１３５…調整部、２０…管理装置、２１…撮影装置、２２…管理装置、２２１…定義データ記憶部（定義データ記憶装置）、２２２…映像データ取得部（時刻出力装置）、２２３…作業実績生成部（時刻出力装置）、２２４…出力部（時刻出力装置）、Ｍ…映像データ、ＲＭ…リファレンス映像データ、ＴＪ…タグ情報、ＰＪ…ポジション情報、Ｔ…時刻情報、ＴＤ…判定用定義データ（定義データ）、ＷＰ…作業実績、Ｓ…作業手順、Ｌ…標準作業組み合わせ表

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】