特許 6855801 異常検知システム、異常検知装置、異常検知方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6855801

(24)【登録日】2021年3月22日

(45)【発行日】2021年4月7日

(54)【発明の名称】異常検知システム、異常検知装置、異常検知方法およびプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20210329BHJP

   G06T 7/20 20170101ALI20210329BHJP

【ＦＩ】

   G06Q50/04

   G06T7/20 300Z

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2017-4793(P2017-4793)

(22)【出願日】2017年1月16日

(65)【公開番号】特開2018-116325(P2018-116325A)

(43)【公開日】2018年7月26日

【審査請求日】2019年11月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】岸 礼子

(72)【発明者】

【氏名】増田 誠

【審査官】 久慈 渉

(56)【参考文献】

【文献】 特開２０１３−１３２７３６（ＪＰ，Ａ）

【文献】 特開２００６−２０９４６８（ＪＰ，Ａ）

【文献】 特開２０１６−２２１６７１（ＪＰ，Ａ）

【文献】 特開２００７−２４３８４６（ＪＰ，Ａ）

【文献】 特開２００３−１６７６１３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３５８３２４（ＵＳ，Ａ１）

【文献】 加藤 慶信，カメラ、活動量計、ビーコン 生産・物流現場の作業が、ここまで丸見え！ 動線分析でつかむカイゼンの糸口，日経情報ストラテジー Ｎｏ．２９８ NIKKEI INFORMATION STRATEGY，日本，日経ＢＰ社 Nikkei Business Publications,Inc.，２０１６年１２月２９日，ｐ．３０−３５

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

製作物に対する作業を撮像し、撮像画像を生成する撮像部と、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、
前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備え、
前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、
異常検知システム。

【請求項2】

前記異常が含まれる可能性がある製作物の部分は、異常な作業が検知された時間帯において作業者の手が触れていた部分である、
請求項１に記載の異常検知システム。

【請求項3】

前記異常が含まれる可能性がある製作物の部分は、異常な作業が検知された前後の前記撮像画像において差分が検知された部分である、
請求項１に記載の異常検知システム。

【請求項4】

前記製作物に対する作業は、連続して行われる複数の作業であり、
前記複数の作業間の区切りの通知を行う作業区切り通知部を更に備え、
前記検知部は、前記区切りの通知に基づいて前記検知を行う、
請求項１から３のいずれか１項に記載の異常検知システム。

【請求項5】

前記作業区切り通知部は、前記製作物に対する作業に関係する電子機器に備えられる、
請求項４に記載の異常検知システム。

【請求項6】

前記電子機器は、前記製作物に対する作業の手順を表示する機器、前記製作物に対する作業に用いられる工具若しくはロボットまたは前記撮像部である、
請求項５に記載の異常検知システム。

【請求項7】

前記検知部は、正常作業の特徴量が学習された正常作業辞書と前記製作物に対する作業を比較することで前記検知を行い、
前記異常に関する情報に対する作業者からのフィードバックを通知するフィードバック通知部と、
前記フィードバックに基づいて前記正常作業辞書を更新する辞書更新部と、を更に備える、
請求項１から６のいずれか１項に記載の異常検知システム。

【請求項8】

製作物に対する作業を撮像し、撮像画像を生成する撮像部と、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、
前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備え、
前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、
異常検知装置。

【請求項9】

製作物に対する作業を撮像し、撮像画像を生成することと、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、
前記異常な作業の後工程へ、異常に関する情報を通知することと、を有し、
前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、
異常検知方法。

【請求項10】

製作物に対する作業を撮像し、撮像画像を生成することと、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、
前記異常な作業の後工程へ、異常に関する情報を通知することと、
をコンピュータに実現させるためのプログラムであって、
前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常検知システム、異常検知装置、異常検知方法およびプログラムに関する。

【背景技術】

【0002】

近年、製品の生産が行われる工場において、作業者によるミスやロボットの異常動作を自動検知することによって、不良品の発生頻度を低減させる様々な技術が開発されている。

【0003】

例えば、特許文献１には、製品の生産に係る作業を行った作業者の動作が、予め定められた基準動作を満たしているか否かを検査するシステムの発明が記載されている。より具体的には、パターンマッチングの技術を用いて、作業者の動作と、予め定められた要素作業（作業全体から細分化された一の作業）の基準動作パターンとを比較することで、基準動作パターンに適合する作業区間と適合しない作業区間とを特定するシステムの発明が記載されている。当該システムは、基準動作パターンに適合しない作業区間を異常動作区間として検出することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−０４２３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記のような既存システムにおいては、複数の工程を有する作業において異常な作業が行われた場合に、異常に関する情報を後工程に通知することができなかった。例えば、複数の工程で構成される流れ作業が行われる既存の工場においては、製作物に対して異常な作業が行われた場合、例えば、当該異常な作業を行った作業者に対して異常の発生が通知されたり、製造ライン全体が停止されたりすることで、製作物に異常が含まれているか否かを確認する作業や異常を除去する修正作業が行われていた。しかし、異常な作業を行った作業者が確認作業や修正作業を行わないまま、異常が含まれる製作物を後工程に送ることも可能であった。また、異常な作業を行った作業者が何らかのトラブルによって確認作業や修正作業を行うことができない場合にも、異常が含まれる製作物が後工程に送られることがあった。

【0006】

そこで、本発明は、上記事情に鑑みてなされたものであり、本発明の目的とするところは、複数の工程を有する製作物に対する作業において、異常な作業が行われた場合に、異常に関する情報を後工程に通知することが可能な、新規かつ改良された異常検知システム、異常検知装置、異常検知方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、製作物に対する作業を撮像し、撮像画像を生成する撮像部と、前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備え、前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、異常検知システムが提供される。

【0008】

前記異常が含まれる可能性がある製作物の部分は、異常な作業が検知された時間帯において作業者の手が触れていた部分であってもよい。

【0009】

前記異常が含まれる可能性がある製作物の部分は、異常な作業が検知された前後の前記撮像画像において差分が検知された部分であってもよい。

【0010】

前記製作物に対する作業は、連続して行われる複数の作業であり、前記複数の作業間の区切りの通知を行う作業区切り通知部を更に備え、前記検知部は、前記区切りの通知に基づいて前記検知を行ってもよい。

【0011】

前記作業区切り通知部は、前記製作物に対する作業に関係する電子機器に備えられてもよい。

【0012】

前記電子機器は、前記製作物に対する作業の手順を表示する機器、前記製作物に対する作業に用いられる工具若しくはロボットまたは前記撮像部であってもよい。

【0013】

前記検知部は、正常作業の特徴量が学習された正常作業辞書と前記製作物に対する作業を比較することで前記検知を行い、前記異常に関する情報に対する作業者からのフィードバックを通知するフィードバック通知部と、前記フィードバックに基づいて前記正常作業辞書を更新する辞書更新部と、を更に備えてもよい。

【0014】

また、上記課題を解決するために、本発明の別の観点によれば、製作物に対する作業を撮像し、撮像画像を生成する撮像部と、前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備え、前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、異常検知装置が提供される。

【0015】

また、上記課題を解決するために、本発明の別の観点によれば、製作物に対する作業を撮像し、撮像画像を生成することと、前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、前記異常な作業の後工程へ、異常に関する情報を通知することと、を有し、前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、異常検知方法が提供される。

【0016】

また、上記課題を解決するために、本発明の別の観点によれば、製作物に対する作業を撮像し、撮像画像を生成することと、前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、前記異常な作業の後工程へ、異常に関する情報を通知することと、をコンピュータに実現させるためのプログラムであって、前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、プログラムが提供される。

【発明の効果】

【0017】

以上説明したように本発明によれば、複数の工程を有する製作物に対する作業において、異常な作業が行われた場合に、当該異常に関する情報を後工程に共有することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る異常検知システムの構成を示す図である。

【図2】本実施形態に係る異常検知システムの導入イメージを示す図である。

【図3】本実施形態に係る撮像装置によって撮像される撮像画像の一例を示す図である。

【図4】本実施形態に係る解析装置が作業者本人の表示装置に表示させる解析結果の一例を示す図である。

【図5】本実施形態に係る解析装置が後工程の表示装置に表示させる解析結果の一例を示す図である。

【図6】本実施形態に係る作業項目の一例を示す図である。

【図7】本実施形態に係る解析装置の機能構成を示すブロック図である。

【図8】異常検知処理における各装置の動作を示すフローチャートである。

【図9】本実施形態に係る解析装置を実現し得る情報処理装置のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0019】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0020】

＜１．背景＞
まず、本発明の背景について説明する。本発明の一実施形態に係る異常検知システムは、例えば、製品の生産が行われる様々な工場に導入されるシステムである。

【0021】

近年、製品の生産が行われる工場において、作業者によるミスやロボットの異常動作を自動検知することによって、不良品の発生頻度を低減させる様々な技術が開発されている。上記のとおり、特許文献１には、製品の生産に係る作業を行った作業者の動作が、予め定められた基準動作を満たしているか否かを検査するシステムの発明が記載されている。

【0022】

しかし、上記のような既存システムにおいては、複数の工程を有する作業において異常な作業が行われた場合に、異常に関する情報を後工程に通知することができなかった。例えば、複数の工程で構成される流れ作業が行われる既存の工場においては、製作物に対して異常な作業が行われた場合、例えば、当該異常な作業を行った作業者に対して異常の発生が通知されたり、製造ライン全体が停止されたりすることで、異常が含まれているか否かを確認する作業や異常を除去する修正作業が行われていた。しかし、異常な作業を行った作業者が確認作業や修正作業を行わないまま、異常が含まれる製作物を後工程に送ることも可能であった。また、異常な作業を行った作業者が何らかのトラブルによって確認作業や修正作業を行うことができない場合にも、異常が含まれる製作物が後工程に送られることがあった。

【0023】

また、既存システムにおいては、異常な作業が検知されたとしても、その異常に関する詳細な情報は作業者に通知されない場合が多かった。例えば、既存システムは、異常な作業を検知したとしても、アラームを鳴動させたり、製造ラインを停止させたりすることによって異常の発生を通知すること等は行っていたが、異常に関するより詳細な情報は通知しない場合が多かった。これにより、既存システムにて異常な作業が検知されたとしても、作業者は、確認作業または修正作業を円滑かつ迅速に行うことが困難であった。

【0024】

そこで、本件の発明者は、上記事情に着眼し、本発明を創作するに至った。本実施形態に係る異常検知システムは、複数の工程を有する作業において、異常な作業が行われた場合に、当該異常に関する情報を後工程に通知することが可能である。より具体的には、本実施形態に係る異常検知システムは、後工程の作業者に、異常な作業が行われた製作物の部分、手順書における異常な作業が行われた手順、確認方法、修正方法等に関する情報を作業者に通知することができる。これによって、本実施形態に係る異常検知システムは、後工程の作業者が確認作業または修正作業を正確かつ円滑に行うことを可能にすることができる。

【0025】

＜２．異常検知システムの概要＞
上記では、本発明の背景について説明した。続いて、本実施形態に係る異常検知システムの概要について説明する。まず、図１を参照して、本実施形態に係る異常検知システムの構成について説明する。図１は、本実施形態に係る異常検知システムの構成を示す図である。図１に示すように、本実施形態に係る異常検知システムは、解析装置１００と、撮像装置２００と、電子機器３００と、表示装置４００と、を備える。

【0026】

また、本実施形態に係る異常検知システムは複数の工程を有し、各工程には異なる作業者が配置される工場へ導入されることを想定している。ここで、図２を参照して、本実施形態に係る異常検知システムの導入イメージについて具体的に説明する。図２は、本実施形態に係る異常検知システムの導入イメージを示す図である。

【0027】

図２に示すように、異常検知システムにおける上記の各構成は、工程毎（または作業者毎）に設けられる。例えば、製造工程が、作業者ａによって行われる工程ａ、作業者ｂによって行われる工程ｂ、作業者ｃによって行われる工程ｃによって構成され、工程ａ、工程ｂ、工程ｃの順に実施されるとする。そして、工程ａ〜工程ｃ（または作業者ａ〜作業者ｃ）のそれぞれに、解析装置１００、撮像装置２００、電子機器３００および表示装置４００が設けられるとする（図中では、工程ａ（または作業者ａ）には、解析装置１００ａ、撮像装置２００ａ、電子機器３００ａおよび表示装置４００ａが設けられている。他の工程についても同様とする）。

【0028】

そして、本実施形態に係る異常検知システムは、製作物に対する作業を撮像する機能と、撮像画像を解析し製作物に対する異常な作業を検知する機能と、異常な作業が検知された場合に、後工程に異常に関する情報を通知する機能と、を実現する。以下では、各装置の概要について説明する。

【0029】

（撮像装置２００）
撮像装置２００は、製作物に対する作業を撮像する撮像部として機能する装置である。より具体的に説明すると、撮像装置２００は、製作物に対する作業を行う作業者またはロボットの動作を撮像し、撮像画像データを生成する。例えば、撮像装置２００は、作業者の手元を含む領域を撮像領域として、手作業による作業を撮像したり、作業者の身体全体が含まれる領域を撮像領域として、身体全体の動きを伴う作業を撮像したり、ロボットの稼働箇所を含む領域を撮像領域として、ロボットによる作業を撮像したりする。もちろん、撮像装置２００は、人とロボットの共同作業を撮像してもよい。

【0030】

ここで、図３を参照して、撮像装置２００によって撮像される撮像画像の一例について説明する。図３は、本実施形態に係る撮像装置２００によって撮像される撮像画像の一例を示す図である。図３は、部品にねじを締める作業が撮像された撮像画像であり、撮像装置２００が作業者の手元を含む領域を撮像領域として撮像を行っている。撮像装置２００は、生成した撮像画像データを解析装置１００へ提供する。

【0031】

（解析装置１００）
解析装置１００は、撮像装置２００から提供された撮像画像データを解析し、解析結果の情報を作業者本人に対して通知する。より具体的に説明すると、解析装置１００は、撮像装置２００から提供される撮像画像データと、予め学習された正常作業辞書データとを比較することで作業の異常度を算出する。そして、解析装置１００は、算出した異常度と所定の閾値とを比較することによって、「ＯＫ（異常なし）」「要確認（異常が含まれる可能性あり）」「やり直し（異常あり）」等の多段階の解析結果を作業者本人の表示装置４００に表示させる。

【0032】

ここで、図４を参照して、解析装置１００が作業者本人の表示装置４００に表示させる解析結果の一例について説明する。図４は、本実施形態に係る解析装置１００が作業者本人の表示装置４００に表示させる解析結果の一例を示す図である。図４Ａには「ＯＫ」の解析結果が表示されている。また、図４Ｂには「要確認」の解析結果が表示されており、作業者による確認作業が行われた後に押下される確認完了ボタン（図中に「確認しました」と記載されているボタン）も表示されている。また、図４Ｃには「やり直し」の解析結果が表示されており、作業者が修正作業を行う場合に押下される修正作業開始ボタン（図中に「やり直す」と記載されているボタン）も表示されている。解析装置１００は、これらの解析結果を作業者本人の表示装置４００に表示させることによって、当該作業者に確認作業または修正作業を指示することができる。

【0033】

さらに、本実施形態に係る解析装置１００は、前工程にて異常な作業が行われた場合に、当該異常に関する様々な情報を後工程の作業者に対しても通知する。より具体的に説明すると、前工程にて異常な作業が行われた場合、解析装置１００は、異常な作業を行った作業者本人による確認作業または修正作業が行われた後に、前工程にて異常な作業が行われた製作物の部分（すなわち、例えば、異常が除去されたはずの部分）を、後工程の表示装置４００へ表示させる。

【0034】

ここで、図５を参照して、解析装置１００が後工程の表示装置４００に表示させる解析結果の一例について説明する。図５は、本実施形態に係る解析装置１００が後工程の表示装置４００に表示させる解析結果の一例を示す図であり、前工程にて異常が検知された部分が矩形１０で囲まれている。解析装置１００は、このような通知によって、異常な作業が行われた工程の後工程における作業者に、該当部分に異常が含まれないこと、または、該当部分の修正処理が成功していることを円滑かつ迅速に確認させ、自らの工程の作業を開始させることができる。また、このような通知によって、前工程で発生した異常が後工程の段階でも除去されていない場合には、後工程の作業者は、異常が含まれる製作物を前工程に戻すこともできるようになるし、自ら修正作業を行うこともできるようになる。

【0035】

ここで、解析装置１００が異常な作業が行われた製作物の部分（例えば、図５における矩形１０で囲まれた部分）を特定する方法は任意である。例えば、解析装置１００は、各作業項目にて作業が行われる製作物の部分（または、撮像画像中の領域等）を予め把握しておくことで、異常な作業が行われた製作物の部分を特定してもよい。また、解析装置１００は、撮像画像を解析し、異常な作業が検知された時間帯において作業者の手等が触れていた部分を求めることによって、異常な作業が行われた製作物の部分を特定してもよい。また、解析装置１００は、異常な作業が検知された前後の撮像画像を比較することで、差異が検知された部分を異常な作業が行われた製作物の部分としてもよい。

【0036】

なお、解析装置１００が後工程の表示装置４００に表示させる解析結果は、図５に示す例に限定されない。例えば、解析装置１００は、作業の手順書における異常な作業が行われた手順に関する情報を後工程の表示装置４００に表示させてもよい。より具体的に説明すると、解析装置１００は、異常な作業が行われた手順の識別番号や手順の記載自体を後工程の表示装置４００に表示させてもよい。これにより、例えば、製作物が、図５に示したような固体ではなく、液体または気体である場合においても、解析装置１００は作業者に対して異常に関する詳細な情報を通知することができるため、後工程の作業者は円滑かつ迅速に確認作業または修正作業を行うことができる。

【0037】

また、解析装置１００は、具体的な確認指示または具体的な修正指示を後工程の表示装置４００に表示させてもよい。より具体的に説明すると、解析装置１００は、検知した異常な作業の内容に基づいて、製作物の確認作業の手順または修正作業の手順を後工程の表示装置４００に表示させてもよい。これにより、例えば、確認作業または修正作業が複雑であることが原因で、これらの作業が行われることによって別の新たな異常が誘発され易い場合等において、作業者が別の新たな異常を発生させることなく的確にこれらの作業を行うことができる。

【0038】

なお、上記では、図４に示す解析結果が、異常な作業を行った作業者本人に通知される旨を説明したが、本実施形態に係る解析装置１００は、図４に示す解析結果を、異常な作業を行った作業者本人だけでなく、後工程の作業者にも通知してよい。これにより、後工程の作業者は、前工程における異常の発生状況を把握することができる。すなわち、後工程の作業者は、前工程にて確認作業または修正作業が発生したか否か等を把握することができるため、自らの工程における作業の計画の作成や変更等をより容易に行うことができる。

【0039】

次に、解析装置１００による解析方法について説明する。本実施形態に係る解析装置１００は、製作物に対する作業を、作業項目という単位に区切って解析を行う。より具体的には、本実施形態に係る解析装置１００は、作業項目毎に正常作業の学習を行い、当該学習によって得られた結果と実際に行われた作業とを比較することで異常作業の検知を行う。

【0040】

ここで、図６を参照して、作業項目について具体的に説明する。図６は、本実施形態に係る作業項目の一例を示す図である。本実施形態に係る作業項目とは、複数の作業からなる一連の作業のうちの一部の作業を指す。例えば、図６の例では、「小作業１：部品をとる」〜「小作業６：ねじを締める（左側）」からなる一連の作業において、小作業１と小作業２が合わせられた作業が作業項目１であり、小作業３と小作業４が合わせられた作業が作業項目２であり、小作業５と小作業６が合わせられた作業が作業項目３である。なお、小作業とは、図６の例における作業の最小単位を意味しているとする。ここで、作業項目の区切り方は任意である。例えば、図６において、各小作業のそれぞれが作業項目であってもよいし、３以上の小作業が合わせられた作業が作業項目であってもよい。

【0041】

このような解析方法によって、本実施形態に係る解析装置１００は、複数の作業が連続して行われる一連の作業における異常な作業の検知精度を向上させることができる。より具体的に説明すると、一般的に、一連の作業が行われる時間が長くなるほど、または、一連の作業に含まれる作業の種類が多いほど、学習される正常作業の特徴が、特徴空間において、より広く広がってしまうため、異常な作業の検知精度が低下する。

【0042】

一方、本実施形態のように作業項目毎に学習が行われると、特徴空間において正常作業の特徴の広がりが抑制されるため、異常な作業の検知精度が向上するため、例えば、手作業等の細かい作業における異常も検知され易くなる。

【0043】

なお、本実施形態に係る解析装置１００は、後述する電子機器３００から提供される各作業項目の区切りを通知する信号（以降、便宜的に「区切り信号」と呼称する）に基づいて作業項目の区切りを認識することとする（詳細は以下で説明する）。

【0044】

（電子機器３００）
電子機器３００は、解析装置１００に対して区切り信号を通知する作業区切り通知部として機能する装置である。例えば、本実施形態に係る電子機器３００は、作業項目の手順を作業項目毎に表示するタブレット型ＰＣであるとする。例えば、作業者は、ある作業項目を実施した後に、次の作業項目の手順を電子機器３００に表示させる操作（例えば、操作画面に表示された「次へ」ボタンを押下する操作）を行う。電子機器３００は、当該次の作業項目の手順を表示させる操作が行われたことに基づいて、ある作業項目が完了したとみなし、区切り信号を生成する。電子機器３００は、生成した区切り信号を解析装置１００へ提供する。電子機器３００のように、作業に用いられる装置が区切り信号を生成することによって、本実施形態に係る異常検知システムは、より適切なタイミングで区切り信号を生成することができる。

【0045】

（表示装置４００）
表示装置４００は、解析結果を表示する装置である。より具体的に説明すると、表示装置４００は、解析装置１００から提供された解析結果に関する情報に基づいて解析結果を表示する。例えば、表示装置４００は、図４または図５に示したような解析結果を表示する。なお、上記のとおり、表示装置４００が表示する解析結果は、図４または図５の例に限定されず、手順書における異常な作業が行われた手順、確認方法、修正方法等に関する情報であってもよい。

【0046】

＜３．装置の機能構成（解析装置１００の機能構成）＞
以上では、本実施形態に係る異常検知システムの概要について説明した。続いて、図７を参照して、本実施形態に係る解析装置１００の機能構成について説明する。図７は、本実施形態に係る解析装置１００の機能構成を示すブロック図である。

【0047】

図７に示すように、本実施形態に係る解析装置１００は、通信部１１０と、処理部１２０と、制御部１３０と、記憶部１４０と、を備える。また、処理部１２０は、特徴抽出部１２１と、学習部１２２と、正常作業辞書１２３と、検知部１２４と、を備える。

【0048】

（通信部１１０）
通信部１１０は、撮像装置２００、電子機器３００および表示装置４００との通信を行う。撮像装置２００との通信について具体的に説明すると、通信部１１０は、正常作業の学習のとき、または、異常作業の検知処理が行われるときに撮像装置２００から撮像画像データを受信し、当該データを後述する処理部１２０へ提供する。また、電子機器３００との通信について具体的に説明すると、通信部１１０は、異常作業の検知処理が行われるときに電子機器３００から区切り信号を受信し、当該信号を処理部１２０へ提供する。また、表示装置４００との通信について具体的に説明すると、通信部１１０は、異常な作業が検知された場合に、処理部１２０から提供される解析結果に関する情報を表示装置４００へ送信する。

【0049】

（処理部１２０）
処理部１２０は、異常な作業を検知する検知部として機能する。より具体的には、処理部１２０は、撮像装置２００によって撮像された撮像画像を解析し、製作物に対する作業の異常度を算出することで、異常な作業を検知する。そして、処理部１２０は、異常を作業者に通知する異常通知部としても機能する。より具体的には、処理部１２０は、異常に関する情報を表示装置４００に表示させることで作業者に通知する。上記のとおり、処理部１２０は、特徴抽出部１２１と、学習部１２２と、正常作業辞書１２３と、検知部１２４と、を備え、これらの機能構成が連携して処理を行うことで異常な作業の検知処理を実現する。以下に、処理部１２０が備える各機能構成について説明する。

【0050】

（特徴抽出部１２１）
特徴抽出部１２１は、撮像装置２００によって撮像された撮像画像から特徴量を抽出する。より具体的に説明すると、正常作業の学習に際しては、特徴抽出部１２１は、正常作業が撮像された複数の撮像画像に共通して存在する特徴量を統計的手法で抽出し、抽出結果を学習部１２２に提供することで、正常作業の特徴量が作業項目毎に集められた正常作業モデルの生成を可能にする。

【0051】

また、異常作業の検知に際して、特徴抽出部１２１は、撮像装置２００によって撮像された撮像画像から特徴量を抽出し、後述する検知部１２４に提供することで、検知部１２４による異常な作業の検知を可能にする。

【0052】

（学習部１２２）
学習部１２２は、正常作業モデルの生成または更新を行う辞書更新部として機能する。より具体的に説明すると、学習部１２２は、特徴抽出部１２１によって抽出された正常作業の特徴量を集めることで正常作業モデルを生成し、これを後述する正常作業辞書１２３に記憶させる。また、学習部１２２は、パラメータ（例えば、ヘイズリダクション（画像鮮明化）の処理パラメータ等）を変更して学習を行うことで、複数種類の正常作業モデルを生成してもよい。

【0053】

なお、学習部１２２は、正常作業モデルを随時更新してもよい。例えば、異常動作の検知処理が行われ、作業者本人に対して解析結果の通知が行われた際、当該作業者が何らかの方法により、解析結果が適切であるか否かをフィードバックできる機能が備えられてもよい。そして、例えば、解析結果が適切ではないとフィードバックされた場合には、学習部１２２は、解析に使用された正常作業モデルにおける特徴量の情報を適宜修正してもよい。これにより、学習部１２２は、異常な作業の検知精度を向上させていくことができる。なお、作業者が解析結果に対するフィードバックを行う方法は任意である。例えば、作業者が電子機器３００を用いて解析結果が適切であるか否かに関する情報を入力することで、フィードバックが行われてもよい。この場合、電子機器３００がフィードバック通知部として機能することになる。

【0054】

さらに、学習部１２２は、特定の作業者の作業を解析するために正常作業モデルをカスタマイズしてもよい。例えば、学習部１２２は、ある作業者が行ったフィードバックの傾向と他の作業者が行ったフィードバックの傾向とを比較することによって、作業者毎の特徴を把握し、その作業者毎の特徴に基づいて正常作業モデルにおける特徴量の情報を修正してもよい。これによって、学習部１２２は、動きが特徴的な作業者（例えば、身体的障害者）に正常作業モデルを対応させることができるため、特に各作業の担当者が頻繁に変更されない場合において、異常な作業の検知精度を向上させることができる。

【0055】

（正常作業辞書１２３）
正常作業辞書１２３は、学習部１２２によって生成された正常作業モデルを記憶する。上記のとおり、正常作業辞書１２３は、複数種類の正常作業モデルを記憶してもよい。

【0056】

（検知部１２４）
検知部１２４は、異常な作業の検知を行う。より具体的に説明すると、検知部１２４は、製作物に対する作業が撮像された撮像画像から特徴抽出部１２１によって抽出された特徴量と、正常作業辞書１２３によって記憶されている正常作業モデルとを比較することで、作業の異常度を算出する。そして、例えば、検知部１２４は、算出した異常度と所定の閾値とを比較することによって、上記のように、「ＯＫ」「要確認」「やり直し」等の解析結果を出力する。

【0057】

（制御部１３０）
制御部１３０は、各機能構成を制御することによって、解析装置１００の処理全体を統括的に制御する。例えば、制御部１３０は、異常作業の検知に際して、通信部１１０に撮像装置２００から撮像画像データを受信させ、電子機器３００から区切り信号を受信させる。そして、制御部１３０は、これらの情報を処理部１２０に提供することで、処理部１２０に作業の異常度を算出させる。最後に、制御部１３０は、通信部１１０に解析結果に関する情報を表示装置４００に対して送信させる。その他の処理についても、制御部１３０は各機能構成を適宜制御する。

【0058】

（記憶部１４０）
記憶部１４０は、制御部１３０が各種制御処理を実施するに際して参照可能な各種のパラメータ、データベースまたは各種のプログラム等を記憶する。また、記憶部１４０は、制御部１３０によって各種制御処理が実施される際に生成される一時的なデータや各種の履歴情報等を記憶してもよい。制御部１３０は、記憶部１４０に対して、自由にデータのリード／ライト処理を実施することが可能である。

【0059】

＜４．装置の動作＞
上記では、本実施形態に係る解析装置１００の機能構成について説明した。続いて、図８を参照して、本実施形態に係る装置の動作について説明する。図８は、異常検知処理における各装置の動作を示すフローチャートである。なお、図８には、上記の図２の工程ａにおける異常検知処理が一例として示されている。

【0060】

ステップＳ１０００では、作業者ａが電子機器３００ａに表示されている作業開始ボタンを押下する。その後、電子機器３００ａは、作業開始ボタンが押下されたことを解析装置１００ａに通知し、所定の作業項目の手順を表示する。ステップＳ１００４では、解析装置１００ａが、表示装置４００ａに対して作業項目を通知し、表示装置４００ａは当該作業項目を表示する。

【0061】

ステップＳ１００８では、撮像装置２００ａが撮像を開始し、作業者ａによる作業を撮像する。撮像装置２００ａは、生成した撮像画像データを解析装置１００ａへ提供する。ステップＳ１０１２では、解析装置１００ａが撮像画像データを解析する。解析装置１００ａは、区切り信号を電子機器３００ａから受信するまで解析処理を継続し、区切り信号を電子機器３００ａから受信した場合（ステップＳ１０１６／Ｙｅｓ）、ステップＳ１０２０にて、異常度を算出し、所定の閾値との比較処理等を適宜行う。

【0062】

解析装置１００ａが、作業者ａによる作業に異常がないと判定した場合（ステップＳ１０２４／Ｙｅｓ）、ステップＳ１０２８にて、解析装置１００ａは、異常が検知されなかった旨（例えば、図４Ａに示す「ＯＫ」）を所定の時間にわたって表示装置４００ａに表示させる。そして、作業者ａが担当する全作業が完了した場合（ステップＳ１０３２／Ｙｅｓ）、ステップＳ１０３６にて、解析装置１００ａは、解析結果に関する情報を解析装置１００ｂに提供し、解析装置１００ｂは、表示装置４００ｂに当該解析結果を表示することで、作業者ｂに作業者ａによる作業の解析結果を通知し、工程ａの処理が終了する。ステップＳ１０３２にて、作業者ａが担当する作業の全てが完了していない場合（ステップＳ１０３２／Ｎｏ）、処理がステップＳ１００４に移動する（すなわち、表示装置４００ａが次の作業項目を表示する）。

【0063】

ステップＳ１０２４にて、解析装置１００ａが、作業者ａによる作業に異常が含まれる可能性があると判定し（ステップＳ１０２４／Ｎｏ）、製作物の確認が必要であると判定した場合（ステップＳ１０４０／Ｙｅｓ）、ステップＳ１０４４にて、解析装置１００ａは、製作物の確認が必要である旨（例えば、図４Ｂに示す「要確認」および「確認しました」というボタン）を表示装置４００ａに表示させる。作業者ａは、製作物の確認作業を行った後に、「確認しました」というボタンを押下する。その後、処理がステップＳ１０３２へ移動する。

【0064】

ステップＳ１０２４にて、解析装置１００ａが、作業者ａによる作業に異常が含まれる可能性があると判定し（ステップＳ１０２４／Ｎｏ）、作業のやり直しが必要であると判定した場合（ステップＳ１０４０／Ｎｏ）、ステップＳ１０４８にて、解析装置１００ａは、作業のやり直しが必要である旨（例えば、図４Ｃに示す「やり直し」および「やり直す」というボタン）を表示装置４００ａに表示させる。作業者ａは、「やり直す」というボタンを押下し、作業をやり直す（すなわち、処理がステップＳ１００４へ移動し、撮像処理、解析処理等が再度行われる）。

【0065】

＜５．ハードウェア構成＞
以上、本実施形態における各装置の動作について説明した。上記の異常検知システムにおける、作業の異常検知等の情報処理は、ソフトウェアと、以下に説明する解析装置１００のハードウェアとの協働により実現される。

【0066】

図９は、本実施形態に係る解析装置１００を実現し得る情報処理装置９００のハードウェア構成を示したブロック図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、を備える。また、情報処理装置９００は、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、音声出力装置９１０と、ストレージ装置９１１と、ドライブ９１２と、ネットワークインタフェース９１５とを備える。

【0067】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0068】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0069】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、該入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0070】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプ等の表示装置を含む。また、音声出力装置９１０は、スピーカーおよびヘッドホン等の音声出力装置を含む。

【0071】

ストレージ装置９１１は、本実施形態にかかる解析装置１００の記憶部１４０の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１１は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0072】

ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0073】

ネットワークインタフェース９１５は、例えば、撮像装置２００、電子機器３００および表示装置４００との通信を行うための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース９１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0074】

＜６．むすび＞
以上で説明したように、本実施形態に係る異常検知システムは、複数の工程を有する作業において、異常な作業が行われた場合に、当該異常に関する情報を後工程に通知することが可能である。より具体的には、本実施形態に係る異常検知システムは、後工程の作業者に、異常な作業が行われた製作物の部分、手順書における異常な作業が行われた手順、確認方法、修正方法等に関する情報を作業者に通知することができる。これによって、本実施形態に係る異常検知システムは、後工程の作業者が確認作業または修正作業を正確かつ円滑に行うことを可能にすることができる。

【0075】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0076】

例えば、上記の各フローチャートに示した各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理される必要はない。すなわち、各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、図８に示したフローチャートでは、ステップＳ１０１６にて区切り信号が受信された後に、ステップＳ１０２４にて異常度の算出が行われているが、区切り信号が受信される前に、順次異常度が算出されてもよい。

【0077】

また、解析装置１００の構成の一部は、適宜解析装置１００外に設けられ得る。また、解析装置１００の機能の一部が、制御部１３０よって具現されてもよい。例えば、制御部１３０が通信部１１０、処理部１２０の機能の一部を具現してもよい。

【0078】

また、電子機器３００の機能と表示装置４００の機能が一つの装置に集約されてもよい。すなわち、作業項目の手順の表示機能および解析結果の表示機能が一つの装置によって実現されてもよい。

【0079】

また、上記では、電子機器３００が作業項目の手順を表示するタブレット型ＰＣである場合について説明したが、これはあくまで一例であり、電子機器３００は任意の機器でよい。例えば、電子機器３００は電動ドライバー等の工具であってもよい。すなわち、作業者が電動ドライバー等の工具を一度使用することによって、区切り信号が生成され、当該信号が解析装置１００に提供されてもよい。また、電子機器３００は作業を行うロボットであってもよい。すなわち、当該ロボットが作業項目を把握しており、各作業項目の実施が終了する度に、当該ロボットが区切り信号を生成してもよい。

【0080】

また、撮像装置２００が電子機器３００として機能してもよい。例えば、各作業を撮像し撮像画像データを生成した撮像装置２００が、当該撮像画像データを解析し、各作業項目の区切りを検知することで、区切り信号を生成してもよい。

【0081】

また、上記では、解析装置１００が表示装置４００の表示を制御する例については説明したが、解析装置１００は撮像装置２００または電子機器３００を制御してもよい。例えば、解析装置１００は、撮像画像データの解析結果に基づいて撮像装置２００による撮像領域、撮像タイミング等の撮像処理に関する各種パラメータを変更してもよい。

【0082】

また、図示していないが、本実施形態に係る異常検知システムは、表示装置４００によって解析結果を作業者に通知するだけでなく、スピーカー等の鳴動装置をさらに備えることで、当該鳴動装置によって解析結果を作業者に通知してもよい。

【0083】

また、上記では、本実施形態に係る異常検知システムが製作物に対する異常な作業を検知する旨を説明したが、「製作物」には新規に製作される物以外の物も含まれることとする。例えば、「製作物」には、修理される物、改良される物、変更される物、メンテナンスされる物等も含まれることとする。

【0084】

また、上記では、工場の各工程に異なる作業者が配置される例について説明したが、これに限定されず、本実施形態に係る異常検知システムは、各工程に同一の作業者が配置される工場へ適用されてもよい。

【0085】

また、上記では、異常に関する情報が後工程の作業者に通知される旨を説明したが、これはあくまで一例であり、当該情報の通知先は、工場の管理者等であってもよい。

【0086】

また、上記では、一工程前の作業の解析結果が後工程に通知される例について説明したが、複数工程における作業の解析結果、または、終了した全ての前工程における作業の解析結果が、後工程に累積的に通知されてもよい。

【0087】

また、上記では、異常検知システムの各構成が工程毎（または作業者毎）に設けられる場合を説明したが、これに限定されず、一台の装置が複数工程（または複数の作業者）における処理を行ってもよい。

【0088】

また、上記では、作業の撮像画像が解析されることによって、異常な作業が検知されていたが、これに加えて、作業が行われた製作物自体が撮像された撮像画像が解析されることによって、異常な作業が検知されてもよい。例えば、製作物の各部品の有無または各部品の位置が解析されることで、異常な作業が行われたか否かが検知されてもよい。これによって、本実施形態に係る異常検知システムは、異常な作業の検知精度をより向上させることができる。

【0089】

また、上記では、主に人間による作業が解析されていたが、これはあくまで一例であり、解析対象は任意に変更され得る。例えば、製造ロボットの作業における異常作業の検知処理が行われてもよい。より具体的には、解析装置１００は、製造ロボットの作業の撮像画像を解析し、作業の異常度を算出してもよい。これによって、製造ロボットからの各種信号からは作業に異常があるか否かが不明である場合においても、解析装置１００は、撮像画像における製造ロボットの作業の様子に基づいて異常な作業を検知することができる。

【0090】

また、上記では説明しなかったが、異常な作業後に行われる確認作業または修正作業においても異常作業の検知処理が行われてもよい。より具体的に説明すると、解析装置１００は、予め、正常な確認作業または正常な修正作業に関する正常作業モデルを生成しておき、確認作業における特徴量または修正作業における特徴量と、当該正常作業モデルとを比較することで、これらの作業の異常度を算出してもよい。なお、異常作業の検知処理を停止させるボタンが設けられ、作業者は、確認作業または修正作業を行う前に当該ボタンを押下することで、これらの作業中は異常作業の検知処理が行われないようにしてもよい。

【0091】

また、上記では、本発明が製品の生産が行われる工場に導入される例について説明したが、これはあくまで一例であり、本発明は、その他の様々なシステムまたは装置等に導入されてもよい。

【符号の説明】

【0092】

１００ 解析装置
１１０ 通信部
１２０ 処理部
１２１ 特徴抽出部
１２２ 学習部
１２３ 正常作業辞書
１２４ 検知部
１３０ 制御部
１４０ 記憶部
２００ 撮像装置
３００ 電子機器
４００ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】