特許 6805199 設備監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6805199

(24)【登録日】2020年12月7日

(45)【発行日】2020年12月23日

(54)【発明の名称】設備監視システム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20201214BHJP

   G06T 7/00 20170101ALI20201214BHJP

   B25J 19/06 20060101ALI20201214BHJP

   H04N 7/18 20060101ALI20201214BHJP

【ＦＩ】

   G01M99/00

   G06T7/00

   B25J19/06

   H04N7/18 D

【請求項の数】9

【全頁数】12

(21)【出願番号】特願2018-57424(P2018-57424)

(22)【出願日】2018年3月26日

(65)【公開番号】特開2019-169021(P2019-169021A)

(43)【公開日】2019年10月3日

【審査請求日】2019年3月25日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】100108062

【弁理士】

【氏名又は名称】日向寺 雅彦

(72)【発明者】

【氏名】酒井 理佐

(72)【発明者】

【氏名】山田 渉

【審査官】 福田 裕司

(56)【参考文献】

【文献】 特開平０９−２００７３４（ＪＰ，Ａ）

【文献】 特開平０４−００６４０４（ＪＰ，Ａ）

【文献】 特開２０１７−２１５２３９（ＪＰ，Ａ）

【文献】 特開２００７−２２２９９７（ＪＰ，Ａ）

【文献】 特開平０８−２８８６４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｂ２５Ｊ １９／０６

Ｇ０１Ｍ ９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

第１動作を繰り返す設備について、前記第１動作の第１タイミングと前記第１タイミングよりも前の第２タイミングとにおける前記設備をそれぞれ撮影した第１画像及び第２画像を繰り返し取得する撮像部と、
新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に写された前記設備の異常を判定する処理部と、
を備え、
前記処理部は、
前記新規の第１画像と、前記過去の複数の第１画像の１つと、をそれぞれ複数のメッシュに分割し、
対応する前記メッシュ同士の間の特徴量の差をそれぞれ算出し、
いずれかの前記差が予め設定された第１閾値を超えている場合に、前記新規の第１画像に写された前記設備を異常と判定し、
前記処理部は、前記新規の第１画像の複数のメッシュへの分割の際に、
前記新規の第１画像と、前記新規の第１画像の直前の前記第２画像と、をそれぞれ複数のメッシュに分割し、
対応する前記メッシュ同士の間の前記特徴量の差をそれぞれ算出し、
前記新規の第１画像に含まれる複数のメッシュに対して、前記差が相対的に小さいメッシュ同士を結合させ、前記差が相対的に大きいメッシュを複数に分割する、
設備監視システム。

【請求項2】

第１動作を繰り返す設備について、前記第１動作の第１タイミングと前記第１タイミングよりも前の第２タイミングとにおける前記設備をそれぞれ撮影した第１画像及び第２画像を繰り返し取得する撮像部と、
新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に写された前記設備の異常を判定する処理部と、
を備え、
前記処理部は、
前記新規の第１画像と、前記過去の複数の第１画像の１つと、をそれぞれ複数のメッシュに分割し、
対応する前記メッシュ同士の間の特徴量の差をそれぞれ算出し、
前記第１動作に関連する前記設備の第１信号を検出し、
いずれかの前記差が予め設定された第１閾値を超え、且つ、前記第１信号の強度が第１範囲を外れている場合に、前記新規の第１画像に写された前記設備を異常と判定し、
前記処理部は、前記新規の第１画像の複数のメッシュへの分割の際に、
前記新規の第１画像と、前記新規の第１画像の直前の前記第２画像と、をそれぞれ複数のメッシュに分割し、
対応する前記メッシュ同士の間の前記特徴量の差をそれぞれ算出し、
前記新規の第１画像に含まれる複数のメッシュに対して、前記差が相対的に小さいメッシュ同士を結合させ、前記差が相対的に大きいメッシュを複数に分割する、
設備監視システム。

【請求項3】

前記処理部は、前記新規の第１画像に写された前記設備が異常と判定されたとき、前記設備に対して信号を送信する請求項１又は２に記載の設備監視システム。

【請求項4】

前記処理部は、前記新規の第１画像に写された前記設備が異常と判定されたとき、前記新規の第１画像を出力する請求項１〜３のいずれか１つに記載の設備監視システム。

【請求項5】

前記処理部は、前記新規の第１画像に写された前記設備が異常と判定されたとき、前記新規の第１画像の直前の前記第２画像と、過去の別の前記第２画像と、の比較結果に基づき、前記異常を分類する請求項１又は２に記載の設備監視システム。

【請求項6】

前記処理部は、前記新規の第１画像に写された前記設備を異常と判定されたとき、前記新規の第１画像と、前記異常の分類と、を出力する請求項５記載の設備監視システム。

【請求項7】

前記処理部は、前記直前の第２画像をさらに出力する請求項６記載の設備監視システム。

【請求項8】

前記処理部は、前記新規の第１画像の一部に異常を示す目印を付して、前記新規の第１画像を出力する請求項４、６、又は７に記載の設備監視システム。

【請求項9】

前記撮像部は、前記第１動作の前記第１タイミング以外の少なくとも一部において、前記設備を撮影しない請求項１〜８のいずれか１つに記載の設備監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、設備監視システムに関する。

【背景技術】

【0002】

稼働時の設備の異常を監視するシステムがある。このような設備監視システムについて、より簡便に設備の異常を判定できる技術の開発が望まれている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−１４４５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、より簡便に設備の異常を判定できる設備監視システムを提供することである。

【課題を解決するための手段】

【0005】

実施形態に係る設備監視システムは、撮像部及び処理部を備える。前記撮像部は、前記第１動作の第１タイミングと前記第１タイミングよりも前の第２タイミングとにおける前記設備をそれぞれ撮影した第１画像及び第２画像を繰り返し取得する。前記処理部は、新規の前記第１画像が取得された際に、過去の複数の前記第１画像に基づき、前記新規の第１画像に含まれる前記設備の異常を判定する。前記処理部は、前記新規の第１画像と、前記過去の複数の第１画像の１つと、をそれぞれ複数のメッシュに分割し、対応する前記メッシュ同士の間の特徴量の差をそれぞれ算出し、いずれかの前記差が予め設定された第１閾値を超えている場合に、前記新規の第１画像に写された前記設備を異常と判定する。前記処理部は、前記新規の第１画像の複数のメッシュへの分割の際に、前記新規の第１画像と、前記新規の第１画像の直前の前記第２画像と、をそれぞれ複数のメッシュに分割し、対応する前記メッシュ同士の間の前記特徴量の差をそれぞれ算出し、前記新規の第１画像に含まれる複数のメッシュに対して、前記差が相対的に小さいメッシュ同士を結合させ、前記差が相対的に大きいメッシュを複数に分割する。

【図面の簡単な説明】

【0006】

【図1】実施形態に係る設備監視システムの構成を表すブロック図である。

【図2】設備監視システムを説明するための模式図である。

【図3】設備監視システムを説明するための模式図である。

【図4】設備監視システムを説明するための模式図である。

【図5】設備監視システムを説明するための模式図である。

【図6】設備監視システムを説明するための模式図である。

【図7】設備監視システムを説明するための模式図である。

【図8】実施形態に係る設備監視システムの動作の一例を表すフローチャートである。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

図１は、実施形態に係る設備監視システムの構成を表すブロック図である。
図１に表したように、実施形態に係る設備監視システム１は、撮像部１０、処理部２０、出力部３０、及び記憶部４０を備える。

【0009】

設備監視システム１は、設備を監視し、異常の有無を調べるために用いられる。異常とは、例えば、設備の通常の動作に対して、特定の動作の遅れ、設備の特定部位の可動域の変化、処理されるワークの位置や傾きの変化などを含む。

【0010】

撮像部１０は、ある第１動作を繰り返す設備を撮影し、静止画を取得する。具体的には、撮像部１０は、設備が第１動作を開始してから第１時間が経過した、第１タイミングにおける設備の様子を繰り返し撮影する。これにより、第１タイミングにおける設備を表す第１画像が繰り返し取得されていく。撮像部１０は、撮影した画像を、記憶部４０に記憶する。

【0011】

撮像部１０で新規の第１画像が取得されると、処理部２０は、記憶部４０を参照し、過去の第１画像を取得する。処理部２０は、過去の複数の第１画像に基づき、新規の第１画像に含まれる設備に異常が有るか判定する。例えば、過去の第１画像に写された設備の状態と、新規の第１画像に写された設備の状態と、実質的に同じ場合、設備は正常と判定される。過去の第１画像中の設備の状態と、新規の第１画像中の設備の状態と、が大きく異なる場合、設備は異常と判定される。

【0012】

例えば、設備が異常と判定されると、処理部２０は、監視対象の設備に対して信号を送信する。当該設備は、その信号を受信すると、動作を停止する。設備が異常と判定されると、処理部２０は、予め設定された登録先に通知を発しても良い。又は、処理部２０は、異常と判定された結果を出力部３０へ送信しても良い。

【0013】

出力部３０は、例えば、設備に異常が有ることを、音や光などを発して報知する。出力部３０は、異常と判定された第１画像を表示させる、又は、第１画像を予め設定された宛先に送信しても良い。

【0014】

撮像部１０は、例えばカメラである。処理部２０は、ＣＰＵ(Central Processing Unit)及びメモリなどを含む。出力部３０は、例えば、モニタ、プリンタ、スピーカ、又は照明などである。

【0015】

実施形態に係る設備監視システム１によれば、設備の異常が、新しい第１画像と、過去の複数の第１画像と、の比較に基づいて判定される。設備の異常を判定するための参照データ等を用意する必要が無い。従って、より簡便に設備の監視を行うことができる。例えば、稼働したばかりの設備に対しても、参照データを用意することなく、設備監視システム１を適用できる。設備の監視を、他の方法に比べて早く開始できる。また、設備監視システム１によれば、新しい第１画像を取得した際に設備の異常が判定されるため、設備をリアルタイムに監視できる。

【0016】

撮像部１０は、設備を動画撮影しても良い。処理部２０は、その動画の一部を切り出すことで複数の第１画像を取得する。ただし、この場合、データ量が非常に大きくなる。このため、撮像部１０は、第１動作の第１タイミングで設備を撮影し、静止画を取得することが望ましい。すなわち、撮像部１０は、第１動作の第１タイミング以外の少なくとも一部では、設備を撮影しない。特定の瞬間の静止画のみを取得することで、データ量を小さくできる。

【0017】

また、撮像部１０は、さらに、第１動作の別のタイミングにおいて、設備を繰り返し撮影しても良い。例えば、撮像部１０は、第１動作の第２タイミング及び第３タイミングにおいて設備を撮影し、第２画像及び第３画像を取得する。第２タイミングは、第１タイミングよりも前である。第３タイミングは、第２タイミングよりも前である。

【0018】

処理部２０は、第２画像及び第３画像についても、上述した動作を行っても良い。すなわち、処理部２０は、新規の第２画像が取得されると、過去の複数の第２画像に基づき、新規の第２画像に含まれる設備の異常を判定しても良い。処理部２０は、新規の第３画像が取得されると、過去の複数の第３画像に基づき、新規の第３画像に含まれる設備の異常を判定しても良い。

【0019】

図２〜図７は、設備監視システムを説明するための模式図である。
以下で、設備監視システム１の詳細を、図２〜図７を参照しつつ説明する。

【0020】

図２に表した例では、設備９０が、コンベヤ上を流れるワーク９１を処理している。この例では、ワーク９１は、組み立て途中の仕掛品である。撮像部１０は、設備９０及びワーク９１を撮影する。画像には、監視対象の設備及びワーク以外の他の被写体が含まれていても良い。ただし、監視の精度を向上させるためには、他の被写体の動きが小さい又は無いことが望ましい。

【0021】

図３（ａ）〜図３（ｃ）は、設備９０の正常な動作を撮影して取得された画像を例示している。図３（ａ）〜図３（ｃ）は、それぞれ、第３画像Ａ３、第２画像Ａ２、及び第１画像Ａ１を例示する。第１画像Ａ１〜第３画像Ａ３は、それぞれ、第１動作の、第１タイミング、第２タイミング、及び第３タイミングにおける設備９０を撮影することで取得される。設備９０は、図３（ａ）〜図３（ｃ）に表した一連の動作（第１動作）を、繰り返し実行する。撮像部１０は、第１動作が行われるたびに、特定のタイミングにおける設備９０及びワーク９１を繰り返し撮影する。

【0022】

撮像部１０は、例えば、設備９０の動作に関連する信号を受信する。この信号を受信したタイミングを基準に、設備９０を撮影するタイミングを特定する。一例として、撮像部１０は、第１動作を開始させる際に、設備９０に入力される制御信号を受信する。撮像部１０は、この制御信号の受信を、時間の測定の起点とする。撮像部１０は、この起点から所定時間経過後の特定のタイミングで、設備９０を撮影する。又は、撮像部１０は、設備９０の動画を撮影し、設備９０又はワーク９１が特定の状態となったときを、時間の測定の起点としても良い。

【0023】

図４において、横軸は時間Ｔを表す。撮像部１０は、例えば図４に表したように、第３タイミングＴ３、第２タイミングＴ２、及び第１タイミングＴ１で、設備９０及びワーク９１を撮影する。これにより、それぞれのタイミングにおける設備９０及びワーク９１を表す第３画像Ａ３、第２画像Ａ２、及び第１画像Ａ１が取得される。設備９０が第１動作を行うたびに、撮像部１０による撮影が行われる。この結果、図４に表したように、複数の第１画像Ａ１、複数の第２画像Ａ２、及び複数の第３画像Ａ３が取得される。

【0024】

以降では、第１画像Ａ１中の設備の異常を判定する方法について説明する。後述する方法は、第２画像Ａ２を用いた設備の異常の判定、及び第３画像Ａ３を用いた設備の異常の判定にも、同様に適用できる。

【0025】

処理部２０は、複数の第１画像Ａ１を用いて、例えば、教師無し学習を行う。教師無し学習の具体的な手法としては、主成分分析又はクラスタリングなどを用いることができる。処理部２０は、教師無し学習により生成された、第１画像Ａ１中の設備の異常を判定するためのモデルを、記憶部４０に記憶する。

【0026】

図５（ａ）〜図５（ｃ）は、設備９０に異常が有る場合の第１動作を例示している。図５（ａ）及び図５（ｂ）は、それぞれ、図３（ａ）及び図３（ｂ）に表した正常時の動作と同じである。一方、図５（ｃ）では、設備９０のアーム９０ａの位置（角度）及びハンド９０ｂの位置が、図３（ｃ）に表した状態と異なる。設備監視システム１は、このような設備９０の動作の変化（異常）を検知する。

【0027】

例えば、処理部２０は、新規の第１画像と、過去の複数の第１画像の１つと、の特徴量の差を算出する。過去の複数の第１画像の当該１つは、例えば、新規の第１画像の直前に取得された第１画像である。特徴量の抽出方法（アルゴリズム）としては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）又はＳＵＲＦ（Speed-Upped Robust Feature）などを用いることができる。処理部２０は、算出された差と、第１閾値と、を比較する。当該差が第１閾値を超えているときに、処理部２０は、新規の第１画像の被写体である設備に異常が有ると判定する。

【0028】

第１閾値は、特徴量データに基づいて設定される。例えば、過去の特徴量データを基に、その平均値及び標準偏差を算出する。３σを計算し、それを第１閾値と設定する。機械学習により、設定された第１閾値と、新たに取得された第１画像に基づく特徴量と、が比較され、閾値内に入っているか判定される。

【0029】

例えば、図３（ｃ）に表した画像同士の間では、特徴量の差が小さい。図３（ｃ）に表した画像と、図５（ｃ）に表した画像と、では、アーム９０ａ及びハンド９０ｂの位置が大きく異なる。このため、これらの画像の間では特徴量の差が大きく、図５（ｃ）に表した画像中の設備９０が異常と判定される。

【0030】

処理部２０は、取得した第１画像をメッシュ処理し、特徴量の差を算出しても良い。メッシュ処理では、各画像が複数のメッシュに分割され、メッシュごとに特徴量が算出される。処理部２０は、新規の第１画像と、過去の第１画像と、の間で、対応するメッシュ同士の間で特徴量の差を算出する。処理部２０は、いずれかのメッシュにおける特徴量の差が第１閾値以上の場合、設備が異常と判定する。また、第１画像をメッシュ処理することで、第１画像において設備の異常が生じている箇所（メッシュ）を特定できる。

【0031】

処理部２０は、第１画像をメッシュ処理する際に、被写体の動きが大きい部分は、より小さなメッシュに分割し、被写体の動きが小さい（又は無い）部分は、大きなメッシュに分割しても良い。こうすることで、特徴量に重み付けすることができ、特徴量の変化を検出し易くなる。画像中における、細かくメッシュ処理する領域と粗くメッシュ処理する領域は、例えば、第１画像と、その直前の画像と、の間の特徴量の変化を基に決定される。

【0032】

例えば、処理部２０は、ｎ回目（ｎ＝１、２、３・・・）の第２タイミングで撮影された第２画像を複数のメッシュに分割する。第２タイミングは、第１タイミングの前である。処理部２０は、ｎ回目の第１タイミングで撮影された第１画像を複数のメッシュに分割する。処理部２０は、第１画像と第２画像との間で、対応するメッシュ同士の間の特徴量の差をそれぞれ算出する。特徴量の差が大きいほど、そのメッシュにおける被写体の動きが大きいことを示す。

【0033】

処理部２０は、特徴量の差が小さかったメッシュ同士を結合させ、より大きなメッシュとする。処理部２０は、特徴量の差が大きかったメッシュを複数に分割し、より小さなメッシュとする。これにより、被写体の動きが大きい部分ほど、特徴量をより大きく重み付けできる。

【0034】

処理部２０は、設備の異常を判定する際に、第１画像に加えて、設備で発生する信号を利用しても良い。例えば、設備９０では、アーム９０ａ及びハンド９０ｂを駆動させる際、設備９０における電圧値又は電流値の変化が生じるとする。この場合、処理部２０は、設備９０における電圧値又は電流値を検出するセンサから、電圧値又は電流値を示す信号を受信する。処理部２０は、受信した信号の強度を、予め設定された第１範囲と比較する。処理部２０は、例えば、新規の第１画像と過去の第１画像との特徴量の差が第１閾値を超え、且つ、信号強度が第１範囲を外れていた場合に、設備９０が異常と判定する。

【0035】

設備に異常が生じている場合、典型的には、設備から出力される信号にも異常が生じる。撮影された画像と、設備から出力される信号と、に基づいて設備の異常を判定することで、判定の精度を向上させることができる。これにより、例えば、設備に異常が生じていないにも拘わらず異常と判定される可能性を低減できる。処理部２０は、電圧値及び電流値以外に、例えば、設備における圧力やガス流量などを示す信号を利用し、設備の異常を判定しても良い。

【0036】

以上では、処理部２０が、特徴量の差を算出する場合を説明した。この方法に代えて、処理部２０は、新規の第１画像と、過去の複数の第１画像の１つと、の間の類似度を算出しても良い。処理部２０は、算出された類似度と、予め設定された閾値と、を比較する。類似度が閾値未満であるときに、処理部２０は、新規の第１画像の被写体である設備に異常が有ると判定する。

【0037】

または、処理部２０は、複数の第１画像をそれぞれメッシュ処理し、対応するメッシュ同士の間の類似度をそれぞれ算出しても良い。処理部２０は、第１画像をメッシュ処理する際に、被写体の動きの大きさに応じて、メッシュの大きさを変化させても良い。また、処理部２０は、類似度に加えて、設備で発生する信号を異常の判定に用いても良い。

【0038】

出力部３０による出力内容は、処理部２０における処理に応じて適宜変更できる。出力部３０は、第１画像において、異常が生じている箇所を具体的に示しても良い。例えば、処理部２０で第１画像がメッシュ処理された場合、第１画像において異常が生じている箇所（メッシュ）を特定できる。出力部３０は、処理部２０により特定された箇所を示す。これにより、設備のどこが設備監視システム１により異常と判定されたか、ユーザが容易に把握できる。

【0039】

処理部２０は、設備が異常と判定された際に、異常の分類を判定しても良い。この点について、以下で、図６及び図７を参照して説明する。

【0040】

図６（ａ）〜図６（ｃ）は、正常な第１動作を表す。図６（ｄ）〜図６（ｆ）は、少なくとも一部が異常な第１動作を表す。図６（ａ）と図６（ｄ）は、同じ第３タイミングＴ３で撮影された第３画像Ａ３を表す。図６（ｂ）と図６（ｅ）は、同じ第２タイミングＴ２で撮影された第２画像Ａ２を表す。図６（ｃ）と図６（ｆ）は、同じ第１タイミングＴ１で撮影された第１画像Ａ１を表す。

【0041】

ハンド９０ｂとワーク９１との相対的な位置関係は、図６（ａ）と図６（ｄ）の第３画像Ａ３同士の間、及び図６（ｂ）と図６（ｅ）の第２画像Ａ２同士の間で、少し異なっている。また、図６（ｃ）の第１画像Ａ１と図６（ｆ）の第１画像Ａ１とを対比すると、ハンド９０ｂとワーク９１との相対的な位置関係が大きく異なっている。例えば、処理部２０により、図６（ｄ）及び図６（ｅ）の第３画像Ａ３及び第２画像Ａ２は、正常と判定され、図６（ｆ）の第１画像Ａ１は、異常と判定される。

【0042】

処理部２０は、図６（ｆ）を異常と判定すると、その前に撮影された図６（ｄ）及び図６（ｅ）の第３画像Ａ３及び第２画像Ａ２を参照する。処理部２０は、図６（ｄ）及び図６（ｅ）の画像中の設備が、それぞれ、図６（ａ）及び図６（ｂ）の画像中の設備とどの程度ずれているか算出する。ずれは、例えば、特徴量の差で表される。
又は、処理部２０は、図６（ｄ）の第３画像Ａ３及び図６（ｅ）の第２画像Ａ２の異常判定を行った際の算出結果を参照しても良い。例えば、記憶部４０には、図６（ａ）と図６（ｄ）の第３画像Ａ３同士の間の特徴量の差、及び図６（ｂ）と図６（ｅ）の第２画像Ａ２同士の間の特徴量の差の算出結果が記憶されている。処理部２０は、その算出結果を参照しても良い。

【0043】

算出結果から、処理部２０は、他の正常な画像と比べて、図６（ｄ）及び図６（ｅ）の画像中の設備９０にずれが存在することを検出する。すなわち、図６（ｄ）及び図６（ｅ）の画像から、各タイミングで設備９０の動作が少しずつ遅れ、その遅れが蓄積されて、図６（ｆ）の第１画像Ａ１が異常と判定されたことが分かる。このような異常は、例えば、設備の動作の遅れ、と分類される。

【0044】

図７（ａ）〜図７（ｃ）は、正常な第１動作を表す。図７（ｄ）〜図７（ｆ）は、少なくとも一部が異常な第１動作を表す。図７（ａ）〜図７（ｃ）は、正常な第１動作を表す。図７（ｄ）〜図７（ｆ）は、少なくとも一部が異常な第１動作を表す。図７（ａ）と図７（ｄ）は、同じ第３タイミングＴ３で撮影された第３画像Ａ３を表す。図７（ｂ）と図７（ｅ）は、同じ第２タイミングＴ２で撮影された第２画像Ａ２を表す。図７（ｃ）と図７（ｆ）は、同じ第１タイミングＴ１で撮影された第１画像Ａ１を表す。

【0045】

ハンド９０ｂとワーク９１との相対的な位置関係が、図７（ａ）と図７（ｄ）の第３画像Ａ３同士の間、及び図７（ｂ）と図７（ｅ）の第２画像Ａ２同士の間で、同じである。一方、図７（ｃ）と図７（ｆ）を対比すると、ハンド９０ｂとワーク９１との相対的な位置関係が大きく異なっている。処理部２０により、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２は、正常と判定され、図７（ｆ）の第１画像Ａ１は、異常と判定される。

【0046】

図７（ｆ）の第１画像Ａ１が異常と判定された際、上述したように、処理部２０は、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２を参照する。処理部２０は、図７（ｄ）及び図７（ｅ）の画像中の被写体を、それぞれ、図７（ａ）及び図７（ｂ）の画像中の被写体と比較する。

【0047】

比較の結果から、図７（ｄ）の第３画像Ａ３及び図７（ｅ）の第２画像Ａ２は、それぞれ、他の正常な画像と比べて、ずれが十分に小さいことが検出される。すなわち、図７（ｆ）の第１画像Ａ１が撮影された第１タイミングＴ１でのみ、設備９０の動作（位置）が大きく異なっている。例えば、設備９０が何らかの原因により、図７（ｂ）に表した状態から図７（ｃ）に表した状態へ変化できず、可動域が変化していると考えられる。このような異常は、例えば、設備９０の可動域の変化、と分類される。

【0048】

上述した例を換言すると、例えば、処理部２０により、ｎ回目の第１動作において、第１タイミングで撮影された第１画像中の設備が異常と判定される。処理部２０は、ｎ回目の第１動作において、第２タイミングで撮影された第２画像と、ｎ−１回目の第１動作において、第２タイミングで撮影された第２画像と、の比較結果に基づき、異常の分類を決定する。例えば、処理部２０は、ｎ回目の第１動作の第２画像と、ｎ−１回目の第１動作の第２画像と、の間の特徴量の差が、第１閾値未満であり、第２閾値を超えている場合、第１分類の異常が生じていると判定する。第１分類は、設備の動作の遅れである。処理部２０は、特徴量の当該差が第２閾値未満の場合、第２分類の異常が生じていると判定する。第２分類は、設備の可動域の変化である。処理部２０は、その異常の分類を、ユーザに向けて出力する。

【0049】

処理部２０は、異常の分類に加えて、ｎ回目の第１動作の第１画像及び第２画像を出力しても良い。異常と判定された第１画像に加えて、正常と判定された第２画像を出力することで、ユーザが異常の詳細を把握し易くなる。処理部２０は、さらに、第１画像が撮影された時刻、第１動作の開始からの時間などを出力しても良い。

【0050】

処理部２０は、第１画像において異常と判定された箇所に目印を付すとともに、第２画像において第１画像の異常と関連しうる箇所に目印を付しても良い。こうすることで、ユーザが異常の詳細をより把握し易くなる。

【0051】

図８は、実施形態に係る設備監視システムの動作の一例を表すフローチャートである。
撮像部１０は、第１動作を繰り返す設備について、第１動作の第１タイミングにおける設備を撮影した第１画像を繰り返し取得する（ステップＳ１）。処理部２０は、監視対象の設備の動作に関する情報を取得する（ステップＳ２）。この情報は、例えば、設備から出力される信号である。処理部２０は、新規の第１画像を、過去の複数の第１画像と比較し、機械学習を行う（ステップＳ３）。また、処理部２０は、新規の第１画像と過去の複数の第１画像との比較結果、及び設備の動作に関する情報に基づき、設備の動作が正常か判定する（ステップＳ４）。

【0052】

設備の動作が正常と判定されると、再びステップＳ１が実行される。設備の動作が異常と判定されると、処理部２０は、異常を分類する（ステップＳ５）。処理部２０は、例えば、異常の分類と、異常と判定された第１画像と、を出力する（ステップＳ６）。

【0053】

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

【符号の説明】

【0054】

１ 設備監視システム、 １０ 撮像部、 ２０ 処理部、 ３０ 出力部、 ４０ 記憶部、 ９０ 設備、 ９０ａ アーム、 ９０ｂ ハンド、 ９１ ワーク、 Ａ１ 第１画像、 Ａ２ 第２画像、 Ａ３ 第３画像、 Ｓ１〜Ｓ６ ステップ、 Ｔ１ 第１タイミング、 Ｔ２ 第２タイミング、 Ｔ３ 第３タイミング

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】