特開 2022-129404 監視装置、監視システム、監視方法および監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022129404

(43)【公開日】2022-09-06

(54)【発明の名称】監視装置、監視システム、監視方法および監視プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20220830BHJP

   G16Y 10/25 20200101ALI20220830BHJP

   G16Y 20/20 20200101ALI20220830BHJP

   G16Y 20/40 20200101ALI20220830BHJP

   G16Y 40/10 20200101ALI20220830BHJP

   G16Y 40/20 20200101ALI20220830BHJP

【ＦＩ】

G06Q50/04

G16Y10/25

G16Y20/20

G16Y20/40

G16Y40/10

G16Y40/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021028034

(22)【出願日】2021-02-25

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】小田 賢治

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC04

(57)【要約】

【課題】正常な作業とは異なる作業を検出し、作業の内容を検証することができる監視装置を提供する。
【解決手段】監視装置１００を、画像取得部１０１と、異常検出部１０２と、出力部１０３を備える構成とする。画像取得部１０１は、定められた順番で行われる作業を撮影した画像データを取得する。異常検出部１０２は、作業に要する時間である作業時間の異常を監視し、異常を検出した場合に、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する。出力部１０３は、異常を検出したことを示す情報が付加された画像データを出力する。
【選択図】 図１０

【特許請求の範囲】

【請求項1】

定められた順番で行われる作業を撮影した画像データを取得する画像取得手段と、
前記作業に要する時間である作業時間の異常を監視し、前記異常を検出した場合に、前記異常を検出したときに取得された画像データに、前記異常を検出したことを示す情報を付加する異常検出手段と、
前記情報が付加された画像データを出力する出力手段と
を備える監視装置。

【請求項2】

前記異常検出手段は、定められた順番で繰り返して行われる前記作業の繰り返し１回あたりの時間が基準外であった場合に、前記異常を検出する請求項１に記載の監視装置。

【請求項3】

前記画像データから前記作業を行う作業者の動きを検出して前記作業時間を特定する画像解析手段をさらに備え、
前記異常検出手段は、前記画像解析手段が前記作業者の動きを基に特定した前記作業時間の異常を検出する請求項１または２に記載の監視装置。

【請求項4】

前記出力手段は、前記異常を検出した前記作業時間に対応する時間分の画像データを出力する請求項１から３いずれかに記載の監視装置。

【請求項5】

前記出力手段は、前記作業時間をグラフとして表示する表示データを出力し、選択されたデータに対応する前記画像データを出力する請求項１から４いずれかに記載の監視装置。

【請求項6】

定められた順番で繰り返して行われる作業の画像を撮影し、撮影した前記画像の画像データを出力する複数の撮影装置と、
請求項１から５いずれかに記載の監視装置と
を備え、
前記監視装置の前記画像取得手段は、それぞれの前記撮影装置から前記画像データを取得し、前記異常検出手段は、前記撮影装置ごとの前記画像データの前記作業時間の異常を監視し、前記異常を検出した場合に、前記異常が検出されたときに取得された前記画像データに、異常を検出したことを示す情報を付加する監視システム。

【請求項7】

定められた順番で行われる作業を撮影した画像データを取得し、
前記作業に要する時間である作業時間の異常を監視し、前記異常を検出した場合に、前記異常を検出したときに取得された画像データに、前記異常を検出したことを示す情報を付加し、
前記情報が付加された画像データを出力する監視方法。

【請求項8】

定められた順番で繰り返して行われる前記作業の繰り返し１回あたりの時間が基準外であった場合に、前記異常を検出する請求項７に記載の監視方法。

【請求項9】

前記画像データから前記作業を行う作業者の動きを検出して前記作業時間を特定し、
前記作業者の動きを基に特定した前記作業時間の異常を検出する請求項７または８に記載の監視方法。

【請求項10】

定められた順番で行われる作業を撮影した画像データを取得する処理と、
前記作業に要する時間である作業時間の異常を監視し、前記異常を検出した場合に、前記異常を検出したときに取得された画像データに、前記異常を検出したことを示す情報を付加する処理と、
前記情報が付加された画像データを出力する処理と
をコンピュータに実行させる監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製造ラインを監視する技術に関するものであり、特に、作業状態を監視する技術に関するものである。

【背景技術】

【0002】

製造ラインでは品質の維持および安全の確保のための作業手順が定められ、作業者は、作業手順に従って作業を進める。品質に異常が生じた場合には、作業が正しい手順の確認が行われることがある。しかし、異常が生じたタイミングを作業記録から見つけだすには膨大な作業が必要となる。また、異常が生じたタイミングに行われていた作業を作業者の記憶に従って検証すると、異常の発生要因を正確に特定できない恐れがある。そのため、異常の検出および異常が生じた際の作業状態を確認できる技術があることが望ましい。そのような、異常を検出する技術としては、例えば、特許文献１のような技術が開示されている。

【0003】

特許文献１は、生産状況の異常を検出する生産管理装置に関するものである。特許文献１の生産管理装置は、生産設備からの製品の繰り出しの際に出力される信号を用いてサイクルタイムを取得している。特許文献１の生産管理装置は、サイクルタイムが下限閾値未満の場合に異常として検出している。

【0004】

特許文献２には、複数工程を撮影するカメラを用いた工程監視装置が開示されている。特許文献２の工程監視装置は、異常を認識した作業者によってスイッチが操作されたとき、操作されたスイッチに対応する作業領域を撮影した画像データを保存している。

【0005】

特許文献３には、監視カメラの画像データの記録装置が開示されている。特許文献３の記録装置は、時刻が前後する２つの画像データを比較し、２つが異なると判定したときに画像データにチャプターを付加して記録している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－０６１６２８号公報

【特許文献2】特開２０１８－１２８７２９号公報

【特許文献3】特開２００７－０８１６６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１の生産管理装置は、生産装置から出力される信号を用いてサイクルタイムの異常を検出しているが、異常が生じた場合に、作業がどのように行われていたかを検証することはできない。また、特許文献２の技術は、作業者が異常と認識していない場合には映像が記録されないため、作業者が認識していない異常を検証することはできない。また、特許文献３の技術は、時刻が前後する画像を比較しているため、定められた順番に従って正しく作業が行われたかを検証することはできない。

【0008】

本発明は、上記の課題を解決するため、正常な作業とは異なる作業を検出し、作業の内容を検証することができる監視装置等を提供することを目的としている。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、本発明の監視装置は、画像取得部と、異常検出部と、出力部を備えている。画像取得部は、定められた順番で行われる作業を撮影した画像データを取得する。異常検出部は、作業に要する時間である作業時間の異常を監視し、異常を検出した場合に、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する。出力部は、情報が付加された画像データを出力する。

【0010】

本発明の監視方法は、定められた順番で行われる作業を撮影した画像データを取得する。本発明の監視方法は、作業に要する時間である作業時間の異常を監視し、作業時間の異常を検出した場合に、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する。本発明の監視方法は、情報が付加された画像データを出力する。

【0011】

本発明の監視プログラムは、定められた順番で行われる作業を撮影した画像データを取得する処理をコンピュータに実行させる。本発明の監視プログラムは、作業に要する時間である作業時間の異常を監視し、異常を検出した場合に、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する処理をコンピュータに実行させる。本発明の監視プログラムは、情報が付加された画像データを出力する処理をコンピュータに実行させる。

【発明の効果】

【0012】

本発明によると、正常な作業とは異なる作業を検出し、作業の内容を検証することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態の構成の概要を示す図である。

【図2】本発明の第１の実施形態の監視装置の構成の例を示す図である。

【図3】本発明の第１の実施形態の作業手順の例を示す図である。

【図4】本発明の第１の実施形態の監視装置の動作フローの例を示す図である。

【図5】本発明の第１の実施形態における作業時間の例をグラフとして示す図である。

【図6】本発明の第１の実施形態の他の構成の例を示す図である。

【図7】本発明の第２の実施形態の構成の概要を示す図である。

【図8】本発明の第２の実施形態の監視装置の構成の例を示す図である。

【図9】本発明の第２の実施形態の監視装置の動作フローの例を示す図である。

【図10】本発明の第３の実施形態の監視装置の構成の例を示す図である。

【図11】本発明の第３の実施形態の監視装置の動作フローの例を示す図である。

【図12】本発明の実施形態の他の構成の例を示す図である。

【発明を実施するための形態】

【0014】

（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の監視システムの構成の概要を示す図である。本実施形態の監視システムは、監視装置１０と、撮影装置２０と、入力装置３０を備えている。図１は、作業台の上に作業対象が載置され、作業者が作業対象に対して行う作業を撮影できる位置に撮影装置２０が設置されている例を示している。監視装置１０は、撮影装置２０とネットワークを介して接続されている。また、監視装置１０は、入力装置３０とネットワークを介して接続されている。

【0015】

本実施形態の監視システムは、製造ラインにおいて行われる作業を監視するシステムである。本実施形態の監視システムは、あらかじめ設定された順番に従った作業が繰り返して行われる製造ラインの監視に用いられる。あらかじめ設定された順番に従う作業とは、例えば、製品の組み立て工程において、作業対象の作業台への載置、部材の取り出し、部材の製品への取り付けおよび作業が完了した作業対象の搬出のように作業の順番が設定され、設定された順番に従って行われる作業のことをいう。作業は、製品の梱包および製品の工程間の搬送など製品の組み立て作業以外であってもよい。また、作業は、設定された順番で行われるものであればよく、作業者の作業着および防具の装着、作業者の身体の洗浄および塵埃の除去、並びに装置のメンテナンスなど作業の繰り返の間隔が短時間でないものであってもよい。

【0016】

監視装置１０の構成について説明する。図２は、監視装置１０の構成の例を示す図である。監視装置１０は、画像取得部１１と、作業データ取得部１２と、異常検出部１３と、記憶部１４と、出力部１５を備えている。

【0017】

画像取得部１１は、製造ラインにおいて、あらかじめ設定された順番に従って実施される作業を撮影した画像データを取得する。画像取得部１１は、撮影装置２０が製造ラインにおける作業を撮影した画像の画像データを取得する。画像取得部１１は、取得した画像データを記憶部１４に保存する。

【0018】

図３は、製造ラインにおいて行われる作業の順番を示す作業指示書の例を示す図である。図３は、製造ラインのうち工程Ｘにおいて行われる作業の順番が設定されている例を示している。図３の例において、工程Ｘの作業者は、工具置き場からの工具Ａの取り出し、部品棚からの部品Ｂの取り出しを行った後、製品に部品Ｂを取り付け、工具Ａを工具置き場に戻す作業を行う。作業者は、工具Ａを工具置き場に収納したのち、５番以降の作業を順番に行う。工程Ｘの作業者は、作業対象の製品を替えながら作業手順書に示された順番に従った作業を繰り返す。画像取得部１１は、図３の作業指示書に示されるようなあらかじめ設定された順番に従って作業者が繰り返して行う作業を撮影した画像の画像データを撮影装置２０から取得する。

【0019】

作業データ取得部１２は、作業者の識別情報、作業対象の識別情報、作業の開始時刻および終了時刻のデータを作業履歴データとして取得する。作業データ取得部１２は、例えば、作業者が勤務を開始するときに入力装置３０に入力した作業者の識別情報を、入力装置３０から取得する。作業データ取得部１２は、図示しない生産管理システムから作業者の識別情報を取得してもよい。また、作業者の識別情報は、監視装置１０に直接、入力されてもよい。

【0020】

作業データ取得部１２は、例えば、作業の開始のときと、作業の終了のときに読み取られる作業対象の識別情報を入力装置３０から取得する。作業対象の識別情報は、例えば、作業対象に添付されている識別情報のバーコードから読み取られる。バーコードの読み取り装置は、例えば、作業台に設置されている。識別情報のバーコードの読み取りは、例えば、作業者がバーコードの読み取り装置を操作することによって行われる。また、作業データ取得部１２は、識別情報の読み取りが行われた時刻を作業の開始時刻と終了時刻として取得する。作業データ取得部１２は、作業者の識別情報、作業の対象の識別情報、作業の開始時刻および終了時刻のデータを関連付けて記憶部１４に保存する。作業の開始時刻と終了時刻は、作業者の操作によって入力装置３０に入力されてもよい。

【0021】

異常検出部１３は、作業の終了時刻と開始時刻のデータから作業に要した時間を作業時間として算出する。定められた順番に従って繰り返し行われる作業の１回あたりの作業時間は、サイクルタイムともいう。異常検出部１３は、作業時間が正常な作業時間の基準の範囲外であったとき、作業時間に異常が生じていると特定する。あらかじめ定められた手順に従って行われる作業の作業時間は、正しい順番で行われた場合には、平均値から大きく外れることはない。そのため、異常検出部１３において、作業時間を基準と比較し、基準の範囲外であった作業時間を異常が生じていると特定することで、作業対象の製品の不良要因になる恐れがある作業を検出することができる。

【0022】

異常検出部１３は、例えば、作業時間があらかじめ設定された閾値以上であるときに作業時間に異常が生じていると特定する。また、異常検出部１３は、作業時間があらかじめ設定された閾値未満であるときに作業時間に異常が生じていると特定する。正常な範囲と異常との境界値を設定する閾値は、上限または下限のいずれか一方でもよい。作業時間の異常の有無を判定する際の閾値は、正常に作業を行った際に作業に要する時間を用いて設定されている。正常な作業時間の範囲を示す基準は、作業の内容ごとに設定される。また、正常な作業時間の範囲を示す基準は、作業者ごとに設定されていてもよく、作業者の作業の熟練度に応じて設定されていてもよい。

【0023】

異常検出部１３は、作業時間に異常が生じていることを特定したとき、異常を検出したことを示す情報を画像データに付加する。異常検出部１３は、異常を検出されたときに記憶部１４に保存された画像データに、異常を検出したことを示す情報（以下、異常検出情報とも称す）を付加する。

【0024】

記憶部１４は、画像データおよび作業履歴のデータを保存する。記憶部１４は、例えば、ハードディスクドライブによって構成されている。記憶部１４は、不揮発性の半導体記憶装置など他の記憶装置によって構成されていてもよい。また、記憶部１４は、複数の種類の記憶装置の組み合わせによって構成されていてもよい。

【0025】

出力部１５は、異常検出情報が付加されている画像データを図示しない表示装置に出力する。出力部１５は、異常が検出されたことを示す情報が付加されている画像データを、ネットワークを介して接続されている端末装置またはサーバに出力してもよい。

【0026】

画像取得部１１、作業データ取得部１２、異常検出部１３および出力部１５における各処理は、例えば、ＣＰＵ（Central Processing Unit）においてコンピュータプログラムを実行することで行われる。画像取得部１１、作業データ取得部１２、異常検出部１３および出力部１５における各処理は、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等の半導体装置によって行われてもよい。

【0027】

撮影装置２０は、製造ラインにおいて行われている作業を撮影する。撮影装置２０は、例えば、作業者の手元など作業状態を撮影できるように設置されている。撮影装置２０は、撮影した画像の画像データを生成し、生成した画像データを監視装置１０に送る。撮影装置２０は、例えば、可視光領域を撮影するカメラを用いて構成されている。撮影装置２０には、遠赤外線カメラなど可視光領域以外の撮影を行うカメラが用いられていてもよい。

【0028】

入力装置３０は、作業者の識別情報、作業対象の識別情報、作業の開始時刻および終了時刻のデータの入力を作業履歴データとして受け付ける。入力装置３０は、受け付けた作業履歴データを監視装置１０に送る。入力装置３０は、例えば、作業者の所持しているＩＤカードの識別情報を読み取ることで作業者の識別情報を取得する。入力装置３０は、例えば、作業対象の製品に添付されているロット番号の情報を読み取ることで作業対象の情報を取得する。入力装置３０は、例えば、作業者の操作によって作業開始と作業終了が入力された時刻を作業の開始時刻および終了時刻として特定する。また、入力装置３０は、作業者の操作によって作業の開始時と終了時に作業対象の識別情報を読み取ることで、作業の開始時刻と終了時刻の情報を取得してもよい。また、入力装置３０は、作業対象の製品の作業台の載置および作業台からの搬出の情報をセンサを介して取得することで作業の開始時刻および終了時刻を特定してもよい。

【0029】

本実施形態の監視システムの動作について説明する。図４は、監視装置１０の動作フローの例を示す図である。

【0030】

撮影装置２０は、製造ラインにおいて作業者の作業を撮影する。撮影装置２０は、撮影した画像の画像データを監視装置１０に送る。また、入力装置３０は、作業者の識別情報、作業対象の識別情報、作業の開始時刻および終了時刻の情報を取得し、作業履歴データとして監視装置１０に送る。

【0031】

図４において、画像取得部１１は、作業を撮影した画像データを撮影装置２０から取得する（ステップＳ１１）。画像データを取得すると、画像取得部１１は、取得した画像データを記憶部１４に保存する。

【0032】

また、作業データ取得部１２は、作業者の識別情報、作業対象の識別情報、作業の開始時刻および終了時刻のデータを作業履歴データとして取得する（ステップＳ１２）。作業履歴データが取得されると、異常検出部１３は、作業の開始時刻と作業の終了時刻から作業時間を算出する（ステップＳ１３）。作業時間を算出すると、異常検出部１３は、算出した作業時間を、正常な作業時間の基準と比較する。

【0033】

算出した作業時間が基準の範囲内であったとき（ステップＳ１４でＹｅｓ）、監視対象の製造ラインの稼働が継続されている場合には（ステップＳ１７でＹｅｓ）、監視装置１０は、ステップＳ１１からの作業時間の異常の有無の監視の動作を継続する。

【0034】

算出した作業時間が基準の範囲外であったとき（ステップＳ１４でＮｏ）、異常検出部１３は、作業時間に異常が発生していることを示す情報を画像データに付加する（ステップＳ１５）。異常検出部１３は、作業時間の異常を検出したときに取得された画像データに異常検出情報を付加して記憶部１４に保存する。また、異常検出情報には、異常を検出したときに作業を行っていた作業者の識別情報および作業対象の識別情報が含まれていてもよい。

【0035】

異常検出情報を画像データに付加すると、出力部１５は、異常検出情報が付加されている部分の画像データを出力する（ステップＳ１６）。出力部１５は、例えば、製造ラインの管理者が所持している図示しない端末装置に、異常検出情報が付加されている部分の画像データを出力する。出力部１５は、例えば、異常検出情報が付加されている部分から作業時間分、遡った時刻、すなわち、作業開始時刻に対応する画像から、異常検出情報が付加されている部分の画像、すなわち、作業終了時刻に対応する画像までの長さの画像データを端末装置に出力する。

【0036】

出力部１５は、端末装置から異常が発生した個所の画像データを要求されたときに、端末装置に、異常検出情報が付加されている部分の画像データを出力してもよい。また、出力部１５は、異常検出情報が付加されている画像データを確認して行う操作によって要求された部分の画像データを端末装置に出力してもよい。

【0037】

異常検出情報が付加されている部分の画像データを出力したとき、監視対象の製造ラインの稼働が継続されている場合には（ステップＳ１７でＹｅｓ）、監視装置１０は、ステップＳ１１からの異常の有無の監視の動作を継続する。

【0038】

ステップＳ１７において、製造ラインの稼働が停止しているとき（ステップＳ１７でＮｏ）、監視装置１０は、製造ラインの監視の動作を終了する。

【0039】

図５は、作業時間の記録を用いて生成されたグラフの例を模式的に示した図である。図５の横軸は、例えば、作業の終了時刻を示し、縦軸は、各時刻において終了した作業の作業時間を示している。図５の閾値Ｔｈは、作業時間の異常を判断する基準として設定され、作業時間がＴｈ以上のとき、異常検出部１３は、作業時間の異常が生じていると特定する。図５の例では、正常な範囲の下限値は示されていないが、正常な範囲を示す基準は、下限と上限を示す閾値を用いて設定されていてもよい。

【0040】

出力部１５は、図５に示すようなグラフを表示する表示データを端末装置に出力してもよい。図５のようなグラフを表示する構成とした場合に、例えば、端末装置の利用者の操作によって異常の位置にある黒丸が選択されたときに、すなわち、いずれかの作業時間のデータが選択されたときに、出力部１５は、対応する画像データを端末装置に出力してもよい。そのような構成とすることで、監視システムの利用者は、確認対象とする画像データを作業時間を参照して決定することが容易になる。

【0041】

出力部１５は、作業時間の統計データを端末装置に出力してもよい。出力部１５は、例えば、所定の期間あたりの作業時間の異常の回数および所定の期間あたりの作業時間の異常の平均回数を算出して端末装置に出力してもよい。また、出力部１５は、作業時間の統計データを出力する際に、個人ごと、グループごとおよび工程ごとの作業時間の異常の統計データを端末装置に出力してもよい。そのような統計データを出力することで、製造ラインの管理者は、作業時間の異常の傾向を参照して画像データを参照することで工程の管理をより効率的に行うことができる。

【0042】

出力部１５は、作業時間の統計データを算出する際に、作業時間のばらつきがあらかじめ設定された基準以上であった場合に、作業時間のばらつきが大きいことを示す情報を端末装置に出力してもよい。作業時間のばらつきが大きい場合には、作業者による作業が安定していない可能性があるため、作業時間のばらつきが大きいことを示す情報を出力することで、製造ラインの管理者は、作業の内容を検証し作業の効率化を行うことができる。

【0043】

上記の例では、監視装置１０は、１台の撮影装置２０の撮影装置によって撮影されている作業における作業時間の監視および画像データの保存を行っているが、監視装置１０は、複数の撮影装置２０で撮影された作業それぞれの作業時間の監視を行ってもよい。

【0044】

図６は、５台の撮影装置２０で作業の撮影を行っている例を示している。図６の例では、各作業区画における作業を、各作業区画に設置された撮影装置２０が撮影している。また、入力装置３０は、各作業区画ごとに設置されている。図６の例において、監視装置１０の作業データ取得部１２は、各作業区画の作業履歴データを取得する。また、異常検出部１３は、作業時間の異常の有無を監視し、異常を検出した場合に、異常を検出した作業区画を撮影した画像の画像データに異常検出情報を付加する。また、図６の例では、各作業区画に撮影装置２０が設置されているが、１台の撮影装置２０が複数の作業区画を撮影する構成であってもよい。そのような構成とする場合には、監視装置１０は、異常検出情報に加え、異常を検出した作業区画の情報を画像データに付加してもよい。また、撮影装置２０の数は、５台以外であってもよい。

【0045】

以上説明したように、本実施形態の監視システムは、あらかじめ設定された手順に従って繰り返される作業の１回の繰り返しあたりの作業時間の異常を検出したときに、作業を撮影した画像に、異常を検出したことを示す情報である異常検出情報を付加して保存している。サイクルタイムとも言われる１回の繰り返しあたりの作業時間は、作業手順に従って正しく作業が行われた場合には、大きく変動することはない。作業時間が変動した場合には、正しい手順に従って作業が行われていないため、製品に異常が生じている恐れがある。本実施形態の監視システムでは、作業時間に異常検出情報を画像データに付加して保存し、検証の際などに参照することで、製品に異常が生じている恐れがある個所の画像を確認し、実際に行われた作業の手順を確認することができる。その結果、本実施形態の監視システムを用いることで正常な作業とは異なる作業を検出し、作業の内容を検証することができる。

【0046】

（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図７は、本実施形態の監視システムの構成の概要を示す図である。本実施形態の監視システムは、監視装置４０と、撮影装置２０と、入力装置３０を備えている。監視装置４０は、撮影装置２０とネットワークを介して接続されている。また、監視装置４０は、入力装置３０とネットワークを介して接続されている。

【0047】

第１の実施形態の監視システムは、作業の開始時刻と終了時刻の入力データから作業時間を算出し、作業時間の異常を検出している。そのような構成に対し、本実施形態の監視システムは、作業を撮影した画像データから作業者の動きを検出することで作業の開始時刻と終了時刻を特定することで作業時間を算出する。

【0048】

本実施形態の撮影装置２０および入力装置３０の構成と機能は、第１の実施形態の撮影装置２０および入力装置３０とそれぞれ同様である。

【0049】

監視装置４０の構成について説明する。図８は、監視装置４０の構成の例を示す図である。監視装置４０は、画像取得部１１と、画像解析部４１と、データ取得部４２と、異常検出部１３と、記憶部１４と、出力部１５を備えている。本実施形態の画像取得部１１、記憶部１４および出力部１５の構成と機能は、第１の実施形態の同名称の部位と同様である。

【0050】

画像解析部４１は、画像データから作業者の動きを検出する。画像解析部４１は、例えば、手の色、作業者が装着している手袋または作業者が装着具の動きの有無を周知の画像認識技術によって検出する。画像解析部４１は、例えば、作業者の動きを検出しているときを「１」、動き検出していないときを「０」とする時系列のデータを生成する。

【0051】

画像解析部４１は、作業の開始時刻と終了時刻を特定する。画像解析部４１は、あらかじめ設定された時間以上、動作を検出していない時間が継続している時間が継続した後に、動作を検出した時刻を作業の開始時刻として特定する。また、画像解析部４１は、作業の開始時刻を特定した後、あらかじめ設定された時間以上、動作を検出していない時間が継続している時間が継続したとき、最後に動作を検出した時刻を作業の終了時刻として特定する。

【0052】

データ取得部４２は、作業者の識別情報および作業対象の識別情報を作業履歴データとして取得する。データ取得部４２は、例えば、作業者が勤務を開始するときに入力装置３０に入力した作業者の識別情報を、入力装置３０から取得する。データ取得部４２は、図示しない生産管理システムから作業者の識別情報を取得してもよい。また、作業者の識別情報は、監視装置４０に直接、入力されてもよい。

【0053】

データ取得部４２は、例えば、作業の開始のときと、作業の終了のときに読み取られる作業対象の識別情報を入力装置３０から取得する。作業対象の識別情報は、第１の実施形態と同様に読み取られる。データ取得部４２は、作業者の識別情報および作業の対象の識別情報を情報の取得日時と関連付けて記憶部１４に保存する。また、作業者および作業対象の識別は、画像解析部４１において画像認識によって行われてもよい。

【0054】

異常検出部１３は、画像解析部４１が特定した作業の開始時刻と終了時刻から作業時間を算出する。異常検出部１３は、作業時間が正常な作業時間の基準の範囲外であったとき、作業時間に異常が生じていると特定する。異常検出部１３は、第１の実施形態と同様の方法で異常の有無を特定する。異常検出部１３は、作業時間の異常を検出したとき、異常を検出したことを示す情報である異常検出情報を画像データに付加する。異常検出部１３は、異常を検出されたときに記憶部１４に保存された画像の位置に異常検出情報を付加する。

【0055】

画像解析部４１は、例えば、ＣＰＵにおいてコンピュータプログラムを実行することで行われる。画像解析部４１における各処理は、ＦＰＧＡまたはＡＳＩＣ等の半導体装置によって行われてもよい。

【0056】

本実施形態の監視システムの動作について説明する。図９は、監視装置４０の動作フローの例を示す図である。

【0057】

撮影装置２０は、製造ラインにおいて作業者の作業を撮影する。撮影装置２０は、撮影した画像の画像データを監視装置４０に送る。また、入力装置３０は、作業者の識別情報および作業対象の識別情報を取得し、作業履歴データとして監視装置４０に送る。

【0058】

図９において、監視装置４０の画像取得部１１は、製造ラインにおいて作業を撮影した画像データを撮影装置２０から取得する（ステップＳ２１）。画像データを取得すると、画像取得部１１は、取得した画像データを記憶部１４に保存する。また、データ取得部４２は、作業者の識別情報および作業対象の識別情報を作業履歴データとして取得する。

【0059】

画像データが取得されると、画像解析部４１は、画像データから作業の開始時刻と終了時刻を特定する（ステップＳ２２）。作業の開始時刻と終了時刻が特定されると、異常検出部１３は、作業の開始時刻と作業の終了時刻から作業時間を算出する（ステップＳ２３）。作業時間を算出すると、異常検出部１３は、算出した作業時間と、正常な作業時間の基準を比較する。

【0060】

算出した作業時間が基準の範囲内であったとき（ステップＳ２４でＹｅｓ）、監視対象の製造ラインの稼働が継続されている場合には（ステップＳ２７でＹｅｓ）、監視装置４０は、ステップＳ２１からの異常の有無の監視の動作を継続する。

【0061】

算出した作業時間が基準の範囲外であったとき（ステップＳ２４でＮｏ）、異常検出部１３は、異常検出情報を画像データに付加する（ステップＳ２５）。異常検出部１３は、作業時間の異常を検出したときに取得された画像データに異常検出情報を付加して記憶部１４に保存する。また、異常検出情報には、異常を検出したときに作業を行っていた作業者の識別情報および作業対象の識別情報が含まれていてもよい。

【0062】

異常検出情報を画像データに付加すると、出力部１５は、異常検出情報が付加されている部分の画像データを出力する（ステップＳ２６）。異常検出情報が付加されている部分の画像データを出力したとき、監視対象の製造ラインの稼働が継続されている場合には（ステップＳ２７でＹｅｓ）、監視装置４０は、ステップＳ２１からの異常の有無の監視の動作を継続する。

【0063】

ステップＳ２７において、製造ラインの稼働が停止しているとき（ステップＳ２７でＮｏ）、監視装置４０は、製造ラインの監視の動作を終了する。

【0064】

本実施形態の監視システムは、あらかじめ設定された手順に従って繰り返される作業の開始時刻と終了時刻を、作業を撮影した画像データを解析することで特定している。そのため、本実施形態の監視システムは、作業の開始時刻と終了時刻の情報の入力に作業者が介在しないため、正確に作業時間を算出することができる。よって、本実施形態の監視システムは作業時間の異常をより正確に検出することができる。作業時間の異常の検出の精度が向上することで、本実施形態の監視システムでは、異常の発生の恐れのある画像データの確認をより効率的に行うことができる。

【0065】

（第３の実施形態）
本発明の第３の実施形態について図を参照して詳細に説明する。図１０は、本実施形態の監視装置１００の構成の概要を示す図である。

【0066】

本実施形態の監視装置１００は、画像取得部１０１と、異常検出部１０２と、出力部１０３を備えている。画像取得部１０１は、定められた順番で行われる作業を撮影した画像データを取得する。異常検出部１０２は、作業に要する時間である作業時間の異常を監視し、異常を検出した場合に、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する。異常を検出したことを示す情報は、異常検出情報ともいう。出力部１０３は、異常を検出したことを示す情報が付加された画像データを出力する。

【0067】

第１の実施形態および第２の実施形態の画像取得部１１は、画像取得部１０１の一例である。また、画像取得部１０１は、画像取得手段の一態様である。第１の実施形態および第２の実施形態の異常検出部１３は、異常検出部１０２の一例である。また、異常検出部１０２は、異常検出手段の一態様である。第１の実施形態および第２の実施形態の出力部１５は、出力部１０３の一例である。また、出力部１０３は、出力手段の一態様である。

【0068】

監視装置１００の動作について説明する。図１１は、監視装置１００の動作フローの例を示す図である。画像取得部１０１は、定められた順番で行われる作業を撮影した画像データを取得する（ステップＳ１０１）。画像データが取得されると、異常検出部１０２は、作業に要する時間である作業時間の異常を監視する（ステップＳ１０２）。異常を検出した場合に、異常検出部１０２は、異常を検出したときに取得された画像データに、異常を検出したことを示す情報を付加する（ステップＳ１０３）。異常を検出したことを示す情報が付加されると、出力部１０３は、異常を検出したことを示す情報が付加された画像データを出力する（ステップＳ１０４）。

【0069】

本実施形態の監視装置１００は、定められた順番で繰り返して行われる作業の作業時間の異常を監視し、異常を検出したときに異常を検出したことを示す情報を画像データに付加している。定められた順番で行われる作業では、正常とは異なった作業が行われると作業時間に異常が生じる。よって、作業時間の異常を検出することで、正常な作業とは異なる作業が行われたことを検出することができる。そのため、本実施形態の監視装置１００を用いることで、正常な作業とは異なる作業を検出し、作業の内容を検証することができる。

【0070】

第１の実施形態の監視装置１０、第２の実施形態の監視装置４０および第３の実施形態の監視装置１００における各処理は、コンピュータプログラムをコンピュータで実行することによって行うことができる。図１２は、第１の実施形態の監視装置１０、第２の実施形態の監視装置４０および第３の実施形態の監視装置１００における各処理を行うコンピュータプログラムを実行するコンピュータ２００の構成の例を示したものである。コンピュータ２００は、ＣＰＵ２０１と、メモリ２０２と、記憶装置２０３と、入出力Ｉ／Ｆ（Interface）２０４と、通信Ｉ／Ｆ２０５を備えている。

【0071】

ＣＰＵ２０１は、記憶装置２０３から各処理を行うコンピュータプログラムを読み出して実行する。ＣＰＵ２０１は、ＣＰＵとＧＰＵ（Graphics Processing Unit）の組み合わせによって構成されていてもよい。メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ２０１が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置２０３は、ＣＰＵ２０１が実行するコンピュータプログラムを記憶している。記憶装置２０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置２０３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力Ｉ／Ｆ２０４は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信Ｉ／Ｆ２０５は、監視システムを構成する各装置との間でデータの送受信を行うインタフェースである。

【0072】

各処理の実行に用いられるコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。

【符号の説明】

【0073】

１０ 監視装置
１１ 画像取得部
１２ 作業データ取得部
１３ 異常検出部
１４ 記憶部
１５ 出力部
２０ 撮影装置
３０ 入力装置
４０ 監視装置
４１ 画像解析部
４２ データ取得部
１００ 監視装置
１０１ 画像取得部
１０２ 異常検出部
１０３ 出力部
２００ コンピュータ
２０１ ＣＰＵ
２０２ メモリ
２０３ 記憶装置
２０４ 入出力Ｉ／Ｆ
２０５ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】