特開 2024-168660 情報処理装置、情報処理装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168660

(43)【公開日】2024-12-05

(54)【発明の名称】情報処理装置、情報処理装置の制御方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241128BHJP

   G06Q 50/04 20120101ALI20241128BHJP

【ＦＩ】

G06T7/20 300Z

G06Q50/04

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023085529

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(74)【代理人】

【識別番号】100118278

【弁理士】

【氏名又は名称】村松 聡

(72)【発明者】

【氏名】齋藤 祐季

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC04

5L050CC04

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096GA51

5L096HA02

5L096HA09

5L096JA03

(57)【要約】      （修正有）

【課題】例えば作業が追加されたり、削除されたりする等の作業手順に変更が生じた場合でも、作業の基準となる新たな作業手順情報を迅速に生成することができる情報処理装置、情報処理装置の制御方法およびプログラムを提供することを目的とする。
【解決手段】情報処理システム１において、情報処理装置２は、複数の作業の手順に関する作業手順情報と、各作業を撮影した基準画像と、新規の作業を撮影した新規画像とを取得する取得手段（撮影手段３、操作手段５）と、新規画像と基準画像との類似度に基づいて、新規画像に含まれる新規の作業を特定可能な特定手段（制御手段２１）と、特定手段で特定された新規の作業と、作業手順情報とに基づいて、新たな作業手順情報を生成する制御手段２１と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の作業の手順に関する作業手順情報と、前記各作業を撮影した基準画像と、新規の作業を撮影した新規画像と、を取得する取得手段と、
前記新規画像と前記基準画像との類似度に基づいて、前記新規画像に含まれる前記新規の作業を特定可能な特定手段と、
前記特定手段で特定された前記新規の作業と、前記作業手順情報とに基づいて、新たな作業手順情報を生成する情報処理手段と、を備えることを特徴とする情報処理装置。

【請求項2】

前記情報処理手段は、前記新たな作業手順情報を生成する際、前記作業手順情報に基づいて、前記特定手段で特定された前記新規の作業に関する情報を設定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記作業手順情報には、前記各作業の名称が含まれており、
前記情報処理手段は、前記新規の作業に関する情報として、前記各作業の名称のうちのいずれかの名称を付与することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記特定手段での前記新規の作業の特定がなされなかった場合に、該新規の作業に関する情報を入力する操作を行う操作手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記情報処理手段は、前記新規の作業に関する情報を前記新たな作業手順情報に反映させることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記作業手順情報と、前記新たな作業手順情報とを表示手段に表示させる制御を行う表示制御手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記作業手順情報と、前記新たな作業手順情報とのを対比可能に前記表示手段に表示させる制御を行うことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記基準画像と、前記新規画像とを表示手段に表示させる制御を行う表示制御手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記特定手段で前記新規の作業が特定された時間帯と、前記特定手段での前記新規の作業の特定がなされなかった時間帯とを前記表示手段に表示させる制御を行うことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記新規画像は、複数の画像で構成される画像群であり、
前記画像群を分割する操作と、前記画像群を統合する操作とのうちの少なくとも一方の操作を行う操作手段を備えることを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記基準画像および前記新規画像には、それぞれ、作業者が含まれており、
前記特定手段は、前記基準画像中の作業者の姿勢と、前記新規画像中の作業者の姿勢との一致度を前記類似度とすることを特徴とする請求項１に記載の情報処理装置。

【請求項12】

前記新たな作業手順情報の正確性を検証する検証手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項13】

前記新たな作業手順情報に基づいて、前記新規の作業を含む新たな作業の正誤を判断する判断手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項14】

前記判断手段での判断の結果を報知する報知手段を備えることを特徴とする請求項１３に記載の情報処理装置。

【請求項15】

前記基準画像および前記新規画像は、それぞれ、動画であることを特徴とする請求項１に記載の情報処理装置。

【請求項16】

情報処理が可能な情報処理装置を制御する方法であって、
複数の作業の手順に関する作業手順情報と、前記各作業を撮影した基準画像と、新規の作業を撮影した新規画像と、を取得する取得工程と、
前記新規画像と前記基準画像との類似度に基づいて、前記新規画像に含まれる前記新規の作業を特定可能な特定工程と、
前記特定工程で特定された前記新規の作業と、前記作業手順情報とに基づいて、新たな作業手順情報を生成する情報処理工程と、を有することを特徴とする情報処理装置の制御方法。

【請求項17】

請求項１に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

製造業における製造工程では、例えば部品同士を組み立てる組立作業等の種々の作業を経るが、ときとして、一部の作業の抜けや漏れが生じて、製造品が不良品となるおそれがある。このような作業の抜けや漏れを低減させるために、各作業を撮影した撮影画像を、機械学習を用いて解析することにより、作業の抜けや漏れを検出することが従来から行われている。例えば、特許文献１には、作業場を撮影した撮影画像を機械学習によって解析して作業工程を把握し、作業者の支援を行う作業支援システムが開示されている。この特許文献１に記載の作業支援システムでは、機械学習における教師データを生成する際、撮影画像に作業場所や作業者等の変更があった場合でも、少ない手間で精度の高い教師データを生成することができる。

【0003】

ところで、このような作業支援システムでは、作業者が正しい手順で各作業を行った否かを判定するための基準となる作業手順情報が用いられる。作業手順情報は、基準となる作業工程を撮影した撮影画像に基づいて作業工程を幾つかの作業に区分けし、各作業の名称（作業名）を作業工程に沿って並べた情報である。実際の作業支援では、作業者の実際の作業を撮影した撮影画像を解析して得られた各作業の作業名と、作業手順情報の作業名を比較し、作業の抜けや漏れを検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１２５８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、製造工程において、新たに作業が追加されたり、今までの作業が削除されたりする場合、新たな作業手順情報を作成する必要がある。その際に、新たな作業工程を撮影した撮影画像（新規画像）に基づいて新たな作業手順情報を作成することになるが、新規画像を一から作業工程を幾つかの作業に区分けし、各作業に名称を付与するのは手間がかかる。

【0006】

本発明は、上記の課題に鑑みてなされたものである。本発明は、例えば作業が追加されたり、削除されたりする等の作業手順に変更が生じた場合でも、新たな作業手順情報を迅速に生成することができる情報処理装置、情報処理装置の制御方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の情報処理装置は、複数の作業の手順に関する作業手順情報と、前記各作業を撮影した基準画像と、新規の作業を撮影した新規画像と、を取得する取得手段と、前記新規画像と前記基準画像との類似度に基づいて、前記新規画像に含まれる前記新規の作業を特定可能な特定手段と、前記特定手段で特定された前記新規の作業と、前記作業手順情報とに基づいて、新たな作業手順情報を生成する情報処理手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、例えば作業が追加されたり、削除されたりする等の作業手順に変更が生じた場合でも、新たな作業手順情報を迅速に生成することができる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの外観例を示す外観図である。

【図2】図１に示す情報処理システムのハードウェア構成例を示すブロック図である。

【図3】情報処理装置で実行される処理を示すフローチャートである。

【図4】図３に示すフローチャートのステップＳ０１０３（サブルーチン）での処理を示すフローチャートである。

【図5】図４に示すフローチャートのステップＳ０２１６（サブルーチン）での処理を示すフローチャートである。

【図6】図３に示すフローチャートのステップＳ０１０４（サブルーチン）での処理を示すフローチャートである。

【図7】作業手順更新処理を実行するモードの第１画面の一例を示す図である。

【図8】作業手順更新処理を実行するモードの第１画面の一例（変形例）を示す図である。

【図9】作業手順更新処理を実行するモードの第２画面の一例を示す図である。

【図10】作業手順更新処理を実行するモードの第２画面の一例（変形例）を示す図である。

【図11】作業ミス検知処理を実行するモードの画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。

【0011】

図１は、情報処理システムの外観例を示す外観図である。図２は、図１に示す情報処理システムのハードウェア構成例を示すブロック図である。図１、図２に示すように、情報処理システム１は、情報処理が可能な情報処理装置２と、各種の作業を行う作業者ＷＫを撮影する撮影手段３としてのカメラ３１と、画像等を表示する表示手段４としてのディスプレイ（モニタ）４１と、入力操作等を行うための操作手段５としてのキーボード５１およびマウス５２と、を有し、これらが互いに通信可能に接続されている。カメラ３１は、動画を撮影可能なデジタルカメラである。また、情報処理装置２は、制御手段２１、記憶手段２２を有するコンピュータ（サーバ）である。制御手段２１は、例えばＣＰＵを有し、撮影手段３と、表示手段４、操作手段５の作動を制御することができる。なお、制御手段２１は、さらにＧＰＵ等を有していてよい。記憶手段２２は、例えばＨＤＤ、ＲＯＭ、ＲＡＭ等を有する。また、記憶手段２２には、各種プログラムや、カメラ３１で撮影された画像等が記憶される。各種プログラムには、例えば、情報処理装置２の各手段（情報処理装置の制御方法）をコンピュータに実行させるためのプログラム等が含まれる。

【0012】

図３は、情報処理装置で実行される処理を示すフローチャートである。図３に示すように、ステップＳ０１０１では、情報処理装置２に対して、各種の処理を実行するモードが、操作手段５を介して入力される。このモードには、作業手順更新処理を実行するモードと、作業ミス検知処理を実行するモードが含まれている。「作業手順更新処理」とは、今まで（現在まで）作業手順を新たな作業手順に更新する（変更する）処理である。「作業ミス検知処理」とは、作業者ＷＫが今まで作業手順または新たな作業手順に沿って作業を行っているか否かを検知する、すなわち、確認する処理である。

【0013】

ステップＳ０１０２では、制御手段２１は、ステップＳ０１０１で入力されたモードが作業手順更新処理を実行するモードであるか否かを判断する。ステップＳ０１０２での判断の結果、作業手順更新処理を実行するモードであると判断された場合には、処理はステップＳ０１０３に進む。ステップＳ０１０２での判断の結果、作業手順更新処理を実行するモードではないと判断された場合には、処理はステップＳ０１０４に進む。

【0014】

ステップＳ０１０３では、制御手段２１は、作業手順更新処理を実行する。作業手順更新処理には、変更前の複数の作業の手順（旧手順）に関する作業手順情報と、各作業を撮影した基準画像と、新規の作業を含む、変更後の複数の作業を撮影した新規画像とが用いられる。これらは、作業手順更新処理の実行に先立って、予め取得されて（取得工程）、記憶手段２２に記憶される。作業手順情報としては、例えば、各作業と紐づけられた作業名（名称）等が含まれている。この作業手順情報は、例えば操作手段５（取得手段）での入力操作によって取得される。各画像は、撮影手段３（取得手段）での撮影によって取得される。なお、本実施形態では、基準画像および新規画像は、それぞれ、静止画であってもよいが、動画であるのが好ましい。動画の場合には、当該動画に含まれる作業を特定する際に、その特定を正確に行うことができる。

【0015】

ステップＳ０１０４では、制御手段２１は、作業ミス検知処理を実行する。後述するように作業ミス検知処理で、作業手順に沿った作業が行われていないことが検知された場合には、その旨が報知される。作業ミス検知処理では、作業手順に沿った作業を作業者ＷＫが実際に行う。

【0016】

図４は、図３に示すフローチャートのステップＳ０１０３（サブルーチン）での処理を示すフローチャートである。図４に示すように、ステップＳ０２０１では、情報処理装置２の制御手段２１は、記憶手段２２に記憶されている、新規の作業を撮影した新規画像（新手順の動画）を読み出す。前述したように本実施形態では、新規画像は、動画である、すなわち、複数の静止画像で構成される画像群である。

【0017】

ステップＳ０２０２では、制御手段２１は、新規画像の全フレームに対して、ステップＳ０２０３～ステップＳ０２１４の処理を繰り返す。

【0018】

ステップＳ０２０３では、制御手段２１は、新規画像から１フレームの画像を取得する。

【0019】

ステップＳ０２０４では、制御手段２１は、ステップＳ０２０３で取得したフレームについての類似度の値を初期化する。ここで「類似度」とは、新規画像の基準画像との類似度のことである。基準画像および新規画像には、それぞれ、作業者ＷＫが含まれている。本実施形態では、基準画像中の作業者ＷＫの姿勢と、新規画像中の作業者ＷＫの姿勢とを検出して、双方の姿勢の一致度を類似度とする。そして後の処理で、制御手段２１（特定手段）は、この類似度に基づいて、新規画像に含まれる新規の作業を特定することができる（特定工程）。

【0020】

ステップＳ０２０５では、制御手段２１は、記憶手段２２に記憶されている、変更前の作業を撮影した基準画像（旧手順の動画）を読み出す。基準画像についても、新規画像と同様に動画である。

【0021】

ステップＳ０２０６では、制御手段２１は、基準画像の全フレームに対して、ステップＳ０２０７～ステップＳ０２１１の処理を繰り返す。

【0022】

ステップＳ０２０７では、制御手段２１は、基準画像から１フレームの画像を取得する。

【0023】

ステップＳ０２０８では、制御手段２１は、ステップＳ０２０３で取得した新規画像と、ステップＳ０２０７で取得した基準画像との類似度の計算を行う。前述したように本実施形態では、類似度は、基準画像中の作業者ＷＫの姿勢と、新規画像中の作業者ＷＫの姿勢と一致度であるが、これに限定されない。

【0024】

ステップＳ０２０９では、制御手段２１は、ステップＳ０２０８で計算した類似度が、ステップＳ０２０３で取得した新規画像に対しての最善の類似度よりも高い（良い）か否かを判断する。例えば、まず、新規画像の１つ目の作業手順と、基準画像の１つ目の作業手順とを比較する。この１回目の比較で、新規画像と基準画像との類似度を取得することができる。次いで、新規画像の１つ目の作業手順と、基準画像の２つ目の作業手順とを比較する。この２回目の比較でも、新規画像と基準画像との類似度を取得することができ、当該類似度が先の類似度よりも高くなったとする。この場合、２回目の比較で取得された類似度を最善の類似度とする。このような比較を繰り返して、最善の類似度を検索していく。なお、制御手段２１がＧＰＵを有する場合には、ステップＳ０２０９での比較に、例えば機械学習を用いることもできる。そして、ステップＳ０２０９での判断の結果、最善の類似度よりも高いと判断された場合には、処理はステップＳ０２１０に進む。一方、ステップＳ０２０９での判断の結果、最善の類似度よりも高くはないと判断された場合には、処理はステップＳ０２１２に進む。

【0025】

ステップＳ０２１０では、制御手段２１は、新規画像についての最善の類似度をステップＳ０２０８で計算した類似度に更新する。

【0026】

ステップＳ０２１１では、制御手段２１は、基準画像に付されている動作情報（作業名）を記憶手段２２に保存する。

【0027】

ステップＳ０２１２では、制御手段２１は、ステップＳ０２０３で取得した新規画像に対しての最善の類似度が閾値の条件を満たすか否か、すなわち、類似度が閾値以上か否か判断を行う。なお、閾値は、記憶手段２２に予め記憶されている。また、閾値は、操作手段５を操作することによって適宜変更可能である。そして、ステップＳ０２１２での判断の結果、閾値の条件を満たすと判断された場合には、処理はステップＳ０２１３に進む。一方、ステップＳ０２１２での判断の結果、閾値の条件を満たさないと判断された場合には、処理はステップＳ０２１４に進む。

【0028】

ステップＳ０２１３では、制御手段２１は、ステップＳ０２１１で保存した動作情報を現在の新規画像に割り当る。具体的には、例えば、基準画像の１つのシーンに「ネジ締め」があり、新規画像の１つのシーンにも「ネジ締め」があったとする。このときの、新規画像の１つのシーン「ネジ締め」には、未だ作業名が付与されていない。そして、双方の「ネジ締め」が最善の類似度があったとする。この場合、基準画像における作業名「ネジ締め」を、新規画像の「ネジ締め」（新規の作業に関する情報）に付与して、割り当てる。このようにステップＳ０２１３では、まず、制御手段２１は、最善の類似度が閾値の条件を満たした新規画像に含まれる新規の作業を特定する。この新規の作業の特定は、前記具体例では、新規画像の１つのシーン「ネジ締め」に相当する。次いで、制御手段２１は、この特定された新規の作業と、旧手順における作業手順情報とに基づいて、新たな作業手順情報を生成する（情報処理工程）。この旧手順における作業手順情報は、前記具体例では、基準画像における作業名「ネジ締め」に相当する。また、新たな作業手順情報を生成は、前記具体例では、基準画像における作業名「ネジ締め」を、新規画像の「ネジ締め」に割り当てることに相当する。

【0029】

ステップＳ０２１４では、制御手段２１は、現在の新規画像に対して、動作を未割り当てとする。具体的には、制御手段２１は、現在の新規画像に対して、特定の動作は割り当てず、後の処理で動作を手動で割り当てることとする。

【0030】

ステップＳ０２１５では、制御手段２１は、割り当て動作の確認ボタン０５０５（図７参照）に対する押下（操作）が行われたか否かを判断する。ステップＳ０２１５での判断の結果、押下が行われたと判断された場合には、処理はステップＳ０２１６に進む。一方、ステップＳ０２１５での判断の結果、押下が行われていないと判断された場合には、処理はステップＳ０２１５のまま待機する。

【0031】

ステップＳ０２１６では、制御手段２１（検証手段）は、ステップＳ０２１３、ステップＳ０２１４で割り当てた動作の確認や修正を行う、すなわち、新たな作業手順情報の正確性を検証する。この割り当て動作確認処理では、例えば、既に割り当てられた動作を別の動作に変更したり、未割り当て部分に動作を割り当てたりする。また、動作の区切り位置の変更や、動作の新規追加も行われる。

【0032】

図５は、図４に示すフローチャートのステップＳ０２１６（サブルーチン）での処理を示すフローチャートである。図５に示すように、ステップＳ０３０１では、制御手段２１は、新規動画と、当該新規動画に現在割り当てられている動作情報とを読み出す。

【0033】

ステップＳ０３０２では、制御手段２１は、記憶手段２２に記憶されている動作情報の一覧を読み出す。

【0034】

ステップＳ０３０３では、制御手段２１は、登録作業終了ボタン０７０３（図９参照）が押下されるまで、ステップＳ０３０４～ステップＳ０３２１の処理を繰り返す。登録作業終了ボタン０７０３は、例えば作業者ＷＫ等のユーザが、動作確認を完了して、さらに動作割り当て作業が完了したときに押下されるボタンである。

【0035】

ステップＳ０３０４では、制御手段２１は、動作名ボタン０７０１、動作追加ボタン０７０２、登録作業終了ボタン０７０３、分割ボタン０７０７、統合ボタン０７０８、シークバー０７０６（図９参照）に対する操作を、入力操作として受け付ける。なお、動作名ボタン０７０１、動作追加ボタン０７０２、登録作業終了ボタン０７０３、分割ボタン０７０７、統合ボタン０７０８、シークバー０７０６は、制御手段２１（表示制御手段）での制御によってディスプレイ４１（表示手段４）に表示される。

【0036】

ステップＳ０３０５では、制御手段２１は、ステップＳ０３０４での入力が動作名ボタン０７０１のクリック（押下）であるか否かを判断する。ステップＳ０３０５での判断の結果、動作名ボタン０７０１のクリックであると判断された場合には、処理はステップＳ０３０６に進む。一方、ステップＳ０３０５での判断の結果、動作名ボタン０７０１のクリックではないと判断された場合には、処理はステップＳ０３０７に進む。

【0037】

ステップＳ０３０６では、制御手段２１は、シークバー０７０６の矢印０７０９で指定されている現在の区画に対して、ステップＳ０３０５で判断された動作名ボタン０７０１に対応する動作を割り当てる。以下、１フレーム以上連続して同じ動作を割り当てられている画像群を「区画」と言う。なお、動作未割り当てについても動作の１種類として扱う。

【0038】

ステップＳ０３０７では、制御手段２１は、ステップＳ０３０４での入力が動作追加ボタン０７０２のクリックであるか否かを判断する。ステップＳ０３０７での判断の結果、動作追加ボタン０７０２のクリックであると判断された場合には、処理はステップＳ０３０８に進む。一方、ステップＳ０３０７での判断の結果、動作追加ボタン０７０２のクリックではないと判断された場合には、処理はステップＳ０３１３に進む。

【0039】

ステップＳ０３０８では、制御手段２１は、ポップアップ０８０１（図１０参照）をディスプレイ４１（表示手段４）に表示する。ポップアップ０８０１には、動作名入力部０８０２、ＯＫボタン０８０３、キャンセルボタン０８０４が含まれている。動作名入力部０８０２は、例えば新規の作業の特定がなされなかった場合に、新規の作業に関する情報として、新規の作業名（動作名）の入力操作を行う操作手段である。これにより、動作名入力部０８０２に所望の新規の作業名することができる。ＯＫボタン０８０３は、動作名入力部０８０２に入力された新規の作業名を決定するときに押下される。キャンセルボタン０８０４は、動作名入力部０８０２に対する新規の作業名の入力を取り消すときに押下される。

【0040】

ステップＳ０３０９では、制御手段２１は、ステップＳ０３０８で表示されたポップアップ０８０１上で入力された新規の作業名を受け付ける。

【0041】

ステップＳ０３１０では、制御手段２１は、ポップアップ０８０１内のＯＫボタン０８０３またはキャンセルボタン０８０４に対する操作を、入力操作として受け付ける。

【0042】

ステップＳ０３１１では、制御手段２１は、ステップＳ０３１０での入力がＯＫボタン０８０３のクリックであるか否かを判断する。ステップＳ０３１１での判断の結果、ＯＫボタン０８０３のクリックであると判断された場合には、処理はステップＳ０３１２に進む。一方、ステップＳ０３１１での判断の結果、ＯＫボタン０８０３のクリックではないと判断された場合には、処理はステップＳ０３１２の次のステップに進む。

【0043】

ステップＳ０３１２では、制御手段２１は、ステップＳ０３０９で入力された動作名で、新しい動作を登録する。この登録結果は、記憶手段２２に記憶される。また、制御手段２１は、動作情報の一覧がディスプレイ４１に表示されている場合には、動作情報の一覧に登録結果を反映させて（追加して）、ディスプレイ４１上での動作情報の一覧の更新を行う。

【0044】

ステップＳ０３１３では、制御手段２１は、ステップＳ０３０４での入力が分割ボタン０７０７のクリックであるか否かを判断する。ステップＳ０３１３での判断の結果、分割ボタン０７０７のクリックであると判断された場合には、処理はステップＳ０３１４に進む。一方、ステップＳ０３１３での判断の結果、分割ボタン０７０７のクリックではないと判断された場合には、処理はステップＳ０３１５に進む。

【0045】

ステップＳ０３１４では、制御手段２１は、シークバー０７０６で指定された区画を、現在のシークバー０７０６の矢印０７０９の位置を基準として左右に分割を行う。分割後の左右の区画同士は、互いに別の区画となるが、動作としては、元の区画と同じ動作を割り当てる。

【0046】

ステップＳ０３１５では、制御手段２１は、ステップＳ０３０４での入力が統合ボタン０７０８のクリックであるか否かを判断する。ステップＳ０３１５での判断の結果、統合ボタン０７０８のクリックであると判断された場合には、処理はステップＳ０３１６に進む。一方、ステップＳ０３１５での判断の結果、統合ボタン０７０８のクリックではないと判断された場合には、処理はステップＳ０３１８に進む。

【0047】

ステップＳ０３１６では、制御手段２１は、シークバー０７０６の矢印０７０９を介して左側の区画と右側の区画とが互いに別区画であるか否かを判断する。前述したように、「区画」とは、１フレーム以上連続して同じ動作を割り当てられている画像群のことである。そして、ステップＳ０３１６での判断の結果、互いに別区画であると判断された場合には、処理はステップＳ０３１７に進む。

【0048】

ステップＳ０３１７では、制御手段２１は、左側の区画と右側の区画とを１つの区画に統合する統合処理を行う。また、制御手段２１は、左側の区画と右側の区画とのうちの時間の早い区画に割り当てられていた動作を、統合処理された区画に割り当てる。

【0049】

なお、ステップＳ０３１６での判断の結果、互いに別区画ではないと判断された場合には、処理はステップＳ０３１７の次のステップに進む。当該次のステップでは、左側の区画と右側の区画とが同じ区画となっているため、左側の区画と右側の区画とを１つの区画に統合する統合処理ができない。従って、例えば左側の区画が「区画Ａ」、右側の区画が「区画Ｂ」となっていることを確認する。なお、区画Ａ、区画Ｂにそれぞれ割り当てられている動作の種類については問わない。このようにステップＳ０３１６では、シークバー０７０６の矢印０７０９が、互いに別の区画である左側の区画と右側の区画との境界に位置しているか否かが判断される。

【0050】

ステップＳ０３１８では、制御手段２１は、ステップＳ０３０４での入力が、シークバー０７０６の操作であるか否かを判断する。ステップＳ０３１８での判断の結果、シークバー０７０６の操作であると判断された場合には、処理はステップＳ０３１９に進む。一方、ステップＳ０３１８での判断の結果、シークバー０７０６の操作ではないと判断された場合には、処理はステップＳ０３２１の次のステップに進む。

【0051】

ステップＳ０３１９では、制御手段２１は、シークバー０７０６の矢印０７０９の位置を、ステップＳ０３１８で操作された位置に移動する。

【0052】

ステップＳ０３２０では、制御手段２１は、ディスプレイ４１に表示されている画像０７０４を、現在のシークバー０７０６の矢印０７０９の位置に対応する画像に変更する。

【0053】

ステップＳ０３２１では、制御手段２１は、ステップＳ０３２０で表示された画像に割り当てられている動作を、現在の画像の動作表示位置０７０５に表示する。

【0054】

以上のような処理により、ステップＳ０２１３、ステップＳ０２１４での割り当てが正しいことを確認することができる。そして、構成の情報処理装置２では、例えば作業が追加されたり、削除されたりする等の作業手順に変更が生じた場合でも、作業の基準となる正確な新たな作業手順情報、すなわち、割り当てが正しい新たな作業手順情報を迅速に生成して、記憶手段２２に保存することができる。特に、情報処理システム１（情報処理装置２）では、新しい工程の作業動画の各作業のうち、旧い手順情報（基準動画）の作業と似ているものがあれば、新しい工程の作業動画の似ている作業へ、旧い手順情報（基準動画）の作業の作業名称を付与することができる。これにより、新しい工程の作業動画の似ている作業の作業名称を迅速に設定される（決定される）。また、新しい工程の作業動画の各作業のうち、旧い手順情報（基準動画）の作業と似ていないものに対しては、作業者ＷＫや監督者等が手作業で作業名称を付与することができる。このように新しい工程の作業動画の各作業のうち、旧い手順情報（基準動画）の作業と似ているかいないかに関わらず、新しい工程の作業の作業名称を設定することができる。そして、作業名称は、作業ミス検知処理で用いることができる。

【0055】

図６は、図３に示すフローチャートのステップＳ０１０４（サブルーチン）での処理を示すフローチャートである。ステップＳ０４０１では、制御手段２１は、作業手順情報（新たな作業手順情報）を記憶手段２２から読み出す。作業手順情報としては、例えば部品を組み立てる組立作業の場合、手順１「ドライバを取る」、手順２「ネジを取る」、手順３「ネジを締める」等である。また、作業手順情報には、各作業の開始時間も含まれる。例えば、手順１「ドライバを取る」の開始時間は、部品の組立作業開始から０秒後とすることができる。また、手順２「ネジを取る」の開始時間は、部品の組立作業開始から２５秒後とすることができる。

【0056】

ステップＳ０４０２では、制御手段２１は、作業ミス検知を行う対象となる動画を読み出す。この対象動画は、例えば、記憶手段２２に既に記憶されている動画であってもよいし、撮影手段３で撮影中の動画であってもよい。

【0057】

ステップＳ０４０３では、制御手段２１は、検査終了ボタン０９０６（図１１参照）が未押下の間、ステップＳ０４０４～ステップＳ０４１４の処理を繰り返す。

【0058】

ステップＳ０４０４では、制御手段２１は、作業開始ボタン０９０４（図１１参照）に対する操作を、入力操作として受け付ける。

【0059】

ステップＳ０４０５では、制御手段２１は、作業の開始時間として、現在時刻を設定する。

【0060】

ステップＳ０４０６では、制御手段２１は、対象動画の次フレームを読み出し、作業終了ボタン０９０５が未押下の間、ステップＳ０４０７～ステップＳ０４１３の処理を繰り返す。

【0061】

ステップＳ０４０７では、制御手段２１は、対象動画の現在のフレームを取得する。

【0062】

ステップＳ０４０８では、制御手段２１は、現在のフレームの画像特徴と、過去のフレームの画像特徴とに基づいて、現在のフレーム中の動作、すなわち、作業を認識する。この認識方法としては、例えば、前述した類似度に基づいた新しい作業の特定方法等を用いることができる。

【0063】

ステップＳ０４０９では、制御手段２１は、過去の動作認識結果（作業情報）を取得する。これにより、現在の動作認識結果と合わせて、作業の実施漏れ等のミスの有無を正確に判断することができる。

【0064】

ステップＳ０４１０では、制御手段２１（判断手段）は、新しい作業順序情報（時刻情報を含む）、現在の動作認識結果、過去の実施作業情報に基づいて、作業ミスの有無、すなわち、作業の正誤を判断する。

【0065】

ステップＳ０４１１では、制御手段２１は、ステップＳ０４１０の判断結果に基づいて、アラート、すなわち、作業ミス有りの旨の通知が必要か否かを判断する。ステップＳ０４１１での判断の結果、アラートの通知が必要であると判断された場合には、処理はステップＳ０４１２に進む。一方、ステップＳ０４１１での判断の結果、アラートの通知が必要ではないと判断された場合には、処理はステップＳ０４１３に進む。

【0066】

ステップＳ０４１２では、制御手段２１は、アラートの通知を行う。この通知方法としては、特に限定されず、例えば、ディスプレイ４１にポップアップ等を表示する方法、スピーカ等で音声を発する方法、シグナルランプ等で赤色の光を発する方法等が挙げられる。このようにディスプレイ４１、スピーカ、シグナルランプ等は、ステップＳ０４１０の判断結果を報知する報知手段として機能する。また、これらの報知手段は、作業ミス有りの旨を報知するのに限定されず、例えば、作業ミス無しの旨を報知してもよい。

【0067】

ステップＳ０４１３では、制御手段２１は、現在のフレームに対しての動作認識結果および作業ミス判断に基づいて、過去の作業情報の更新を行う。これにより、次以降のフレームで作業ミス判断を行う際に、更新された作業情報を用いることができる。

【0068】

ステップＳ０４１４では、制御手段２１は、作業終了時間として、現在時刻を設定する。

【0069】

以上のように作業ミスが生じた場合には、情報処理装置２は、当該作業ミスを正確に検知して、その検知結果を作業者ＷＫに報知することができる。これにより、作業者ＷＫは、作業ミスを改めることができる。前述したように、作業手順更新処理では、実際の作業動画の各作業が、手順情報（基準動画）のどの作業と似ているかを判断して、実際の作業動画の各作業へ手順情報の各作業の作業名称を与えていく。そして、作業ミス検知処理では、実際の作業動画の各作業名称の並びが、手順情報（基準動画）の各作業名称の並びと一致するか否かや、手順情報（基準動画）の各作業名称と比較して、実際の作業動画へ付与された各作業名称に抜けが無いか否かを確認する。この確認結果に基づいて、作業ミスを検知することができる。例えば、抜けがあった作業名称が判明すれば、当該作業名称の作業が抜けていると検知することができる。

【0070】

図７は、作業手順更新処理を実行するモードの第１画面の一例を示す図である。図７に示す作業手順更新処理モード画面０５００には、画像０５０１、画像０５０２、旧手順動作一覧０５０３、新手順動作一覧０５０４、確認ボタン０５０５が含まれている。画像０５０１は、旧手順の動画における１フレームの画像であり、画像０５０２は、新手順の動画における１フレームの画像である。また、画像０５０１は、画像０５０２に最も類似していると判断された画像であり、左上側に動作名（作業名）０５０６が表示されている。また、画像０５０２を表示することにより、当該画像０５０２に対して割り当てられるべき動作の解析を行っていることを把握することができる。このように情報処理システム１では、ディスプレイ４１に、基準画像である画像０５０１と、画像０５０１の下側に、新規画像である画像０５０２とを表示させることができる。これにより、画像０５０２に類似する画像が存在し、当該画像が画像０５０２であることを把握することができる。

【0071】

旧手順動作一覧０５０３は、旧手順の動作名の一覧を示し、例えば、「土台を移動する」の旨の動作名０５１１、「ドライバーを取る」の旨の動作名０５１２、「ネジを取る」の旨の動作名０５１３、「ネジを締める」の旨の動作名０５１４、「指差し確認」の旨の動作名０５１５が挙げられている。新手順動作一覧０５０４は、現在までの解析で新手順の動画に１フレーム以上に割り当てられた動作名の一覧を示し、例えば、「土台を移動する」の旨の動作名０５２１、「ドライバーを取る」の旨の動作名０５２２、「ネジを取る」の旨の動作名０５２３、「ネジを締める」の旨の動作名０５２４が挙げられている。このように情報処理システム１では、ディスプレイ４１に、旧手順の動作名と、旧手順の動作名の右側に新手順の動作名とを表示させることができる。これにより、旧手順の動作名と、新手順の動作名とを対比することができる。例えば図７の場合、旧手順動作一覧０５０３に動作名０５１５が有るが、新手順動作一覧０５０４には動作名０５１５が無いことを把握することができる。

【0072】

確認ボタン０５０５は、新手順の動画の解析が終了した後に押下されるボタンである。確認ボタン０５０５を押下することより、割り当てられた動作の確認や変更、新しい動作の追加等を行うページに遷移することができる。

【0073】

図８は、作業手順更新処理を実行するモードの第１画面の一例（変形例）を示す図である。ここでは、前述した図７との相違点を中心に説明し、同様の事項はその説明を省略する。作業手順更新処理モード画面０５００では、画像０５０１に代えて、画像０６０１が含まれている。画像０６０１は、画像０５０２に対して、類似する旧手順動画（画像０５０１）がなかった場合に表示される。画像０６０１では、動作名０５０６が空欄となる。また、画像０６０１が表示された場合の画像０５０２は、動作が未割り当て状態になる。

【0074】

図９は、作業手順更新処理を実行するモードの第２画面の一例を示す図である。図９に示す作業手順更新処理モード画面０７００には、動作名ボタン０７０１、動作追加ボタン０７０２、登録作業終了ボタン０７０３、画像０７０４、シークバー０７０６、分割ボタン０７０７、統合ボタン０７０８が含まれている。動作名ボタン０７０１は、シークバー０７０６で選択された区画に動作を割り当てるときに操作される。動作名ボタン０７０１としては、例えば、「土台を移動する」の旨の動作名０７１１、「ドライバーを取る」の旨の動作名０７１２、「ネジを取る」の旨の動作名０７１３、「ネジを締める」の旨の動作名０７１４、「指差し確認」の旨の動作名０７１５、「新動作」の旨の動作名０７１６が挙げられている。動作追加ボタン０７０２は、新しい動作を追加するときに操作される。動作追加ボタン０７０２を操作することにより、ポップアップ０８０１（図１０参照）が表示される。登録作業終了ボタン０７０３は、動作登録が完了し、確認を終了するときに操作される。

【0075】

画像０７０４は、新手順動画の１フレームの画像である。この画像０７０４は、シークバー０７０６の矢印０７０９で指定された位置の画像である。画像０７０４の下側の動作表示位置０７０５には、画像０７０４に割り当てられている動作の名称（作業名）が表示される。なお、動作表示位置０７０５には、未割り当ての旨も表示されることもある。シークバー０７０６は、新手順動画のうち、どのフレームの画像・動作を表示するかを決定するときに操作される。シークバー０７０６は、１フレーム以上連続した同一動作が割り当てられた画像群（区画）ごとに分割される。このシークバー０７０６は、予め、初期状態で割り当てた連続した動作ごとに区画が設定されており、当該区画の変更が可能である。また、シークバー０７０６は、例えば、赤色（左上から右下に傾斜したハッチング部分）、緑色（右上から左下に傾斜したハッチング部分）、橙色（クロスハッチング部分）に着色されている。赤色は、動作が未割り当てであり、動作名ボタン０７０１を操作して、動作の割り当てを行う必要があることを示す。緑色は、手動で動作の割り当てが行われたことを示す。橙色は、作業手順更新モードの自動動作割り当てによって、動作が割り当てられたことを示す。なお、自動割り当ての動作を変更する場合は、シークバー０７０６の矢印０７０９を自動割り当て動作変更対象区間に移動させて、動作名ボタン０７０１を操作する。これにより、矢印０７０９の移動先の区間の色が緑色に変化する。このように情報処理システム１では、動作が自動または手動で割り当てられた（新規の作業が特定された）時間帯と、動作が未割り当て（新規の作業の特定がなされなかった）時間帯とを色分けしてディスプレイ４１に表示させることができる。これにより、シークバー０７０６を視認すれば、動作の割り当て状態を迅速に把握することができる。

【0076】

分割ボタン０７０７は、シークバー０７０６で指定された区画を、現在のシークバー０７０６の位置を基準として左右に分割する操作手段である。分割後の左右の区画同士は、別の区画となるが、動作については、元の区画と同じ動作を割り当てる。統合ボタンで０７０８は、シークバー０７０６で指定された左右の区画を１つの区画に統合する操作手段である。前述したように、統合後の区画の動作については、時間の早い区画に割り当てられていた動作を割り当てる。これにより、区画を分割したり、統合したりして、区画を整理することができ、よって、作業手順情報の生成に寄与する。
なお、情報処理システム１では、本実施形態では、区画を分割する分割ボタン０７０７と、区画を統合する統合ボタンで０７０８との双方の表示が可能であるが、これに限定されない。例えば作業の種類によっては、分割ボタン０７０７および統合ボタンで０７０８のうちの一方のボタンが表示可能であってもよい。

【0077】

図１０は、作業手順更新処理を実行するモードの第２画面の一例（変形例）を示す図である。ここでは、前述した図９との相違点を中心に説明し、同様の事項はその説明を省略する。図１０に示す作業手順更新処理モード画面０７００には、ポップアップ０８０１が含まれている。ポップアップ０８０１は、動作追加ボタン０７０２を操作することによって表示される。前述したように、ポップアップ０８０１には、動作名入力部０８０２、ＯＫボタン０８０３、キャンセルボタン０８０４が含まれている。動作名入力部０８０２に新規の作業名を入力して、ＯＫボタン０８０３を操作することにより、当該新規の作業名が動作名０７１６に追加される。これにより、新規の作業名（新規の作業に関する情報）を新たな作業手順情報に反映させることができ、当該作業手順情報を作業ミス検知処理に用いることができる。なお、キャンセルボタン０８０４を操作した場合には、動作名ボタン０７０１の総ボタン数は変化しない。

【0078】

図１１は、作業ミス検知処理を実行するモードの画面の一例を示す図である。図１１に示す画面０９００には、画像０９０１、作業一覧０９０２、アラート０９０３、作業開始ボタン０９０４、作業終了ボタン０９０５、検査終了ボタン０９０６が含まれている。画像０９０１は、解析中の動画の現在のフレームに、動作認識結果（一例として「指差し確認」）を重畳表示した画像である。作業一覧０９０２は、作業名の一覧であり、例えば、「土台を移動する」の旨の動作名０９１１、「ドライバーを取る」の旨の動作名０９１２、「ネジを取る」の旨の動作名０９１３、「ネジを締める」の旨の動作名０９１４、「指差し確認」の旨の動作名０９１５が作業順に挙げられている。

【0079】

アラート０９０３は、各動作のアラートの状態を色分けして示す。例えば、緑色（左上から右下に傾斜したハッチング部分）は、正常に動作（作業）が完了した状態を示す。図９では、動作名０９１１、動作名０９１２が緑色のアラートとなっている。赤色（右上から左下に傾斜したハッチング部分）は、動作の実施漏れがある状態を示す。図９では、動作名０９１３が赤色のアラートとなっている。黄色（クロスハッチング部分）は、動作が予定時間外に実施された状態を示す。図９では、動作名０９１４が赤色のアラートとなっている。白色は、動作実施前の状態を示す。図９では、動作名０９１５が白色のアラートとなっている。作業開始ボタン０９０４を操作することにより、一連の作業の開始時刻を認識し、作業の解析が始まる。作業終了ボタンで０９０５を操作することにより、一連の作業の終了時刻を認識し、作業の解析を終了する。検査終了ボタン０９０６は、作業ミス検知処理の実行を終了するときに操作される。

【0080】

以上のような画面０９００により、各作業がどのような状態にあるのかを把握することができる。

【0081】

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0082】

１ 情報処理システム
２ 情報処理装置
３ 撮影手段
４ 表示手段
５ 操作手段
２１ 制御手段
２２ 記憶手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】