特開 2024-77859 異常監視装置、異常監視方法、製造システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077859

(43)【公開日】2024-06-10

(54)【発明の名称】異常監視装置、異常監視方法、製造システム、およびプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240603BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022190058

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】平松 伸泰

(72)【発明者】

【氏名】小河 洋平

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC03

5L050CC03

(57)【要約】

【課題】製造ラインの周囲の異常を監視すること。
【解決手段】本発明の一態様は、製造ラインの定常状態を表す定常状態情報を登録する登録部と、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定する設定部と、前記製造ラインの周囲の状態を示す周囲状態情報を取得し、前記周囲状態情報と前記定常状態情報とを比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、前記設定部により設定された前記監視対象の異常状態に該当するか否かを判定する監視部と、前記監視部の監視結果に基づいて、通知または前記製造ラインの制御を行う通知制御部と、を備える、異常監視装置、である。
【選択図】図１

【特許請求の範囲】

【請求項1】

製造ラインの定常状態を表す定常状態情報を登録する登録部と、
前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定する設定部と、
前記製造ラインの周囲の状態を示す周囲状態情報を取得し、前記周囲状態情報と前記定常状態情報とを比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、前記設定部により設定された前記監視対象の異常状態に該当するか否かを判定する監視部と、
前記監視部の監視結果に基づいて、通知または前記製造ラインの制御を行う通知制御部と、
を備える、異常監視装置。

【請求項2】

前記登録部は、前記製造ラインの定常状態情報として、前記製造ラインの映像情報を登録し、
前記設定部は、前記製造ラインの異常状態として監視対象、監視レベルおよび通知内容または制御内容を設定し、
前記監視部は、前記製造ラインの稼働時に取得した前記製造ラインの映像情報と、前記登録部により登録された前記製造ラインの映像情報とを比較した結果、前記定常状態と異なる状態が存在する場合において、前記設定部により設定された前記監視対象の状態が、前記設定部により設定された前記監視レベルに達しているかを判定し、
前記設定部により設定された前記監視対象の状態が、前記設定部により設定された前記監視レベルに達している場合、前記通知制御部は、前記設定部により設定された前記通知内容の通知、または前記設定部により設定された前記制御内容の制御を行う、
請求項１に記載の異常監視装置。

【請求項3】

前記登録部は、前記製造ラインの定常状態情報として、前記製造ラインの稼働前または稼働後の映像情報を登録し、
前記設定部は、前記製造ラインの異常状態として、前記製造ラインの稼働前または稼働後の監視対象、監視レベルおよび通知内容または制御内容を設定し、
前記監視部は、前記製造ラインの稼働前または稼働後に取得した前記製造ラインの映像情報と、前記登録部により登録された前記製造ラインの稼働前または稼働後の映像情報とを比較した結果、前記定常状態と異なる状態が存在する場合において、前記設定部により設定された前記製造ラインの稼働前または稼働後の前記監視対象の状態が、前記設定部により設定された前記監視レベルに達しているかを判定し、
前記設定部により設定された前記監視対象の状態が、前記設定部により設定された前記監視レベルに達している場合、前記通知制御部は、前記設定部により設定された前記通知内容の通知、または前記設定部により設定された前記制御内容の制御を行う、
請求項１に記載の異常監視装置。

【請求項4】

前記登録部は、前記製造ラインの定常状態情報として、作業員の距離情報を登録し、
前記設定部は、前記製造ラインの異常状態として、前記作業員の密集人数および前記作業員の密集時間を含む監視レベル、および、通知内容または制御内容を設定し、
前記監視部は、前記製造ラインの稼働前または稼働後に取得した前記作業員の距離情報と、前記登録部により登録された前記作業員の距離情報とを比較した結果、前記定常状態と異なる状態が存在する場合において、前記設定部により設定された前記製造ラインの稼働前または稼働後の前記作業員の状態が、前記設定部により設定された前記監視レベルに達しているかを判定し、
前記設定部により設定された前記作業員の状態が、前記設定部により設定された前記監視レベルに達している場合、前記通知制御部は、前記設定部により設定された前記通知内容の通知、または前記設定部により設定された前記制御内容の制御を行う、
請求項１に記載の異常監視装置。

【請求項5】

前記設定部は、前記監視対象として物体または人物の数、密度、過不足、位置のうち少なくとも一つを設定し、前記監視レベルとして前記監視対象ごとの数、大きさ、継続時間、物体の危険度のうち少なくとも一つを設定し、前記監視レベルに対応した前記通知内容または制御内容を設定する、請求項２に記載の異常監視装置。

【請求項6】

製造ラインの定常状態を表す定常状態情報を登録するステップと、
前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定するステップと、
前記製造ラインの周囲の状態を示す周囲状態情報を取得するステップと、
前記周囲状態情報と前記定常状態情報とを比較するステップと、
比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、設定された前記監視対象の異常状態に該当するか否かを判定するステップと、
判定した結果に基づいて、通知または前記製造ラインの制御を行うステップと、
を含む、異常監視方法。

【請求項7】

製造ラインと、
前記製造ラインの周囲を撮像するカメラ装置と、
前記製造ラインの定常状態を表す定常状態情報を登録する登録部と、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定する設定部と、前記カメラ装置から撮像映像を取得し、前記撮像映像と前記定常状態情報とを比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、前記設定部により設定された前記監視対象の異常状態に該当するか否かを判定する監視部と、前記監視部の監視結果に基づいて、通知または前記製造ラインの制御を行う通知制御部と、備える、異常監視装置と、
を備える、製造システム。

【請求項8】

コンピュータに、
製造ラインの定常状態を表す定常状態情報を登録するステップと、
前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定するステップと、
前記製造ラインの周囲の状態を示す周囲状態情報を取得するステップと、
前記周囲状態情報と前記定常状態情報とを比較するステップと、
比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、設定された前記監視対象の異常状態に該当するか否かを判定するステップと、
判定した結果に基づいて、通知または前記製造ラインの制御を行うステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常監視装置、異常監視方法、製造システム、およびプログラムに関する。

【背景技術】

【0002】

従来、製造ラインの異常を検出するための技術として特許文献１に記載された予防保全装置が知られている。特許文献１に記載された予防保全装置は、製造ラインに設置された撮影装置により撮影された対象物の画像データに基づいて対象物の状態を判定し、判定結果を示すデータとユーザにより登録された製造ラインの状態を示すデータとが対応付けられた学習データに基づいて製造ラインの状態を推定する推定モデルを生成し、判定結果を示すデータと推定モデルとに基づいて製造ラインの状態を推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２７４２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した予防保全装置は、製造ラインの状態を推定するために、対象物の状態の判定結果を示すデータとユーザにより登録された製造ラインの状態を示すデータとを用いて推定モデルを生成しているので、対象物の状態に基づくことがない製造ラインの異常を判定することができない。上述した予防保全装置は、例えば、製造ラインの稼働中において対象物の状態は正常であるが、製造ラインの周囲の異常は判定することができず、トラブルを未然に防止することができないという問題があった。さらに、上述した予防保全装置は、製造ラインが稼働している最中における状態を推定しているため、製造ラインの稼働前における周囲に異常があるにもかかわらず製造ラインの稼働を開始してしまう場合がある。

【0005】

上述の課題を鑑み、本発明の目的は、製造ラインの周囲の異常を監視することができる異常監視装置、異常監視方法、製造システム、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本発明の一態様は、製造ラインの定常状態を表す定常状態情報を登録する登録部と、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定する設定部と、前記製造ラインの周囲の状態を示す周囲状態情報を取得し、前記周囲状態情報と前記定常状態情報とを比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、前記設定部により設定された前記監視対象の異常状態に該当するか否かを判定する監視部と、前記監視部の監視結果に基づいて、通知または前記製造ラインの制御を行う通知制御部と、を備える、異常監視装置、である。

【0007】

本発明の他の態様は、製造ラインの定常状態を表す定常状態情報を登録するステップと、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定するステップと、前記製造ラインの周囲の状態を示す周囲状態情報を取得するステップと、前記周囲状態情報と前記定常状態情報とを比較するステップと、比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、設定された前記監視対象の異常状態に該当するか否かを判定するステップと、判定した結果に基づいて、通知または前記製造ラインの制御を行うステップと、を含む、異常監視方法、である。

【0008】

本発明の他の態様は、製造ラインと、前記製造ラインの周囲を撮像するカメラ装置と、前記製造ラインの定常状態を表す定常状態情報を登録する登録部と、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定する設定部と、前記カメラ装置から撮像映像を取得し、前記撮像映像と前記定常状態情報とを比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、前記設定部により設定された前記監視対象の異常状態に該当するか否かを判定する監視部と、前記監視部の監視結果に基づいて、通知または前記製造ラインの制御を行う通知制御部と、備える、異常監視装置と、を備える、製造システム、である。

【0009】

本発明の他の態様は、コンピュータに、製造ラインの定常状態を表す定常状態情報を登録するステップと、前記製造ラインの監視対象および前記監視対象の異常状態を表す監視設定情報を設定するステップと、前記製造ラインの周囲の状態を示す周囲状態情報を取得するステップと、前記周囲状態情報と前記定常状態情報とを比較するステップと、比較した結果、前記定常状態と異なる状態が存在する場合、前記定常状態と異なる状態が、設定された前記監視対象の異常状態に該当するか否かを判定するステップと、判定した結果に基づいて、通知または前記製造ラインの制御を行うステップと、を実行させる、プログラム、である。

【発明の効果】

【0010】

本発明の一態様によれば、製造ラインの周囲の異常を監視することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態における製造システムの一例を示すブロック図である。

【図2】実施の形態における製造システムの処理手順の一例を示す図である。

【図3】実施の形態において製造ラインの定常状態を登録するための撮像映像の一例を示す図である。

【図4】実施の形態における監視設定テーブルの一例を示す図である。

【図5】監視対象が存在するときの異常通知画面の一例を示す図である。

【図6】製造装置に異常がるときの異常通知画面の一例を示す図である。

【図7】人物の異常があるときの異常通知画面の一例を示す図である。

【図8】実施の形態における製造システムの処理手順の他の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明を適用した異常監視装置、異常監視方法、製造システム、およびプログラムを、図面を参照して説明する。

【0013】

（製造システムの構成）
図１は、実施の形態における製造システム１の一例を示すブロック図である。製造システムは、例えば、異常監視装置１００と、製造ライン２００と、複数のカメラ装置２１０Ａ、２１０Ｂ、２１０Ｃと、ユーザデバイス２２０Ａ、２２０Ｂ、２２０Ｃと、監視用端末装置３００と、を備える。なお、以下の説明においてカメラ装置２１０Ａ、２１０Ｂ、２１０Ｃを総称する場合には単に「カメラ装置２１０」と記載し、ユーザデバイス２２０Ａ、２２０Ｂ、２２０Ｃを総称する場合には単に「ユーザデバイス２２０」と記載する。

【0014】

異常監視装置１００は、製造ライン２００、カメラ装置２１０、ユーザデバイス２２０、および監視用端末装置３００に通信ネットワークを介して接続される。異常監視装置１００、製造ライン２００、カメラ装置２１０、ユーザデバイス２２０、および監視用端末装置３００は、各種のネットワークに接続するためのＮＩＣ（Network Interface Card）または無線通信モジュールなどの通信インターフェースを有する。ネットワークＮＷは、例えばインターネット等の汎用ネットワーク、例えばＺＥＴＡと称されるLPWA(Low Power Wide Area)ネットワーク、および、ＬＡＮ、ローカル５ＧまたはＷｉｆｉ（登録商標）などのプライベートなネットワークを含んでよい。

【0015】

異常監視装置１００は、例えばコンピュータにより各種処理を実行する情報処理装置である。異常監視装置１００は、例えば、登録部１１０と、設定部１２０と、監視部１３０と、通知部１４０と、制御部１５０と、を備える。登録部１１０、設定部１２０、監視部１３０、通知部１４０、および制御部１５０といった機能部は、例えばＣＰＵ（Central Processing Unit）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

【0016】

登録部１１０は、製造ライン２００の定常状態を登録する。設定部１２０は、製造ライン２００の異常状態を設定する。監視部１３０は、製造ライン２００の周囲の状態を示す周囲状態情報を取得し、周囲状態情報により示される製造ライン２００の周囲の状態と正常状態とを比較した結果、定常状態と異なる状態が存在する場合、定常状態と異なる状態が、設定部１２０により設定された異常状態に該当するか否かを判定する。通知部１４０は、監視部１３０の監視結果に基づいて通知を行う。制御部１５０は、監視部１３０の監視結果に基づいて製造ライン２００の制御を行う。

【0017】

製造ライン２００は、例えば、製造装置２００Ａ、２００Ｂ、および２００Ｃを備える。製造装置２００Ａ、２００Ｂ、および２００Ｃのそれぞれは、例えば、製造ライン２００における製造物を搬送する搬送部（不図示）を備える。例えば、第１の工程、第２の工程、および第３の工程を含む製造工程によって製造物が製造されるとする。製造装置２００Ａは第１の工程を行って製造物を製造装置２００Ｂに搬送し、製造装置２００Ｂは第２の工程を行って製造物を製造装置２００Ｃに搬送し、製造装置２００Ｃは第３の工程を行って製造物を後工程に関わる場所に搬送する。

【0018】

製造装置２００Ａ、２００Ｂ、および２００Ｃはそれぞれ、製造物を製造する機能に加えて、例えば、制御部２０２と、通知部２０４とを備える。制御部２０２は、例えば、ＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。制御部２０２異常監視装置１００の制御部１５０からの制御信号に従って製造物を製造する機能の停止等の制御を行う。通知部２０４は、例えば、製造装置２００Ａ、２００Ｂ、および２００Ｃに設置されたパトランプ、スピーカ等の通知装置を含む。通知部２０４は、異常監視装置１００の通知部１４０からの通知信号に従って製造装置２００Ａ、２００Ｂ、および２００Ｃ周囲の異常等を通知する。

【0019】

カメラ装置２１０は、撮像映像を生成して、生成した撮像映像を異常監視装置１００に送信する。例えば、カメラ装置２１０Ａは製造装置２００Ａの周囲を撮像し、カメラ装置２１０Ｂは製造装置２００Ｂの周囲を撮像し、カメラ装置２１０Ｃは製造装置２００Ｃの周囲を撮像する。カメラ装置２１０Ａ、２１０Ｂ、２１０Ｃのそれぞれの撮像範囲は、製造装置２００Ａ、２００Ｂ、および２００Ｃを含む監視範囲を撮像するように設定されている。なお、カメラ装置２１０の撮像範囲は、製造ライン２００の周辺であって製造ライン２００の異常を判定する範囲であれば、製造装置を含んでいなくてよい。

【0020】

ユーザデバイス２２０は、製造ライン２００に関わる作業者により保有されるデバイスである。ユーザデバイス２２０は、例えば、ユーザに装着されるウエラブル端末、スマートフォン、タブレット端末等の装置である。具体的に、ユーザデバイス２２０は、ビーコン端末、バーコードリーダ等の特化した機能を持つ装置であってよい。例えば、ユーザデバイス２２０Ａは製造装置２００Ａを管理する作業員に保有され、ユーザデバイス２２０Ｂは製造装置２００Ｂを管理する作業員に保有され、ユーザデバイス２２０Ｃは製造装置２００Ｃを管理する作業員に保有されてよい。ユーザデバイス２２０は、作業者間の距離を検出するセンサ機能を備えていてよい。ユーザデバイス２２０は、作業者間の距離を示すセンサ値を、異常監視装置１００に出力する。

【0021】

監視用端末装置３００は、例えば、製造ライン２００の全体を監視する管理者により操作されるパーソナルコンピュータである。監視用端末装置３００は、例えば、表示部３１０と、操作部３２０と、制御部３３０とを備える。表示部３１０は、例えば液晶ディスプレイ等の表示装置である。操作部３２０は、例えばキーボードやマウス等の操作デバイスである。制御部３３０は、例えば、ＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。

【0022】

図２は、実施の形態における製造システム１の処理手順の一例を示す図である。異常監視装置１００の登録部１１０は、先ず、製造ライン２００の定常状態を登録する（ステップＳ１０２）。図３は、実施の形態において製造ライン２００の定常状態を登録するための撮像映像の一例を示す図である。監視用端末装置３００は、例えば操作部３２０により管理者の操作を受け付けたことに基づいて、カメラ装置２１０の撮像映像を異常監視装置１００に要求し、製造ライン２００の定常状態における撮像映像を異常監視装置１００から取得する。監視用端末装置３００は、表示部３１０に、定常状態登録画面５００を表示させる。定常状態登録画面５００には、例えば、製造装置５１２および製造物５１４を含む製造装置２００Ａ、２００Ｂ、および２００Ｃ周辺の映像である撮像映像５１０と、登録ボタン５２０とが含まれる。管理者は、撮像映像５１０を確認し、撮像映像５１０が製造ライン２００の定常状態を表していると判断した場合に、登録ボタン５２０に対して操作を行う。制御部３３０は、登録ボタン５２０に対する操作を受け付けたときに撮像映像５１０を異常監視装置１００に送信する。登録部１１０は、監視用端末装置３００から送信された撮像映像５１０に含まれている物体（オブジェクト）を認識する。登録部１１０は、例えば、パターン認識処理を行うことで、撮像映像５１０に、製造装置５１２、製造物５１４が含まれていることを認識し、認識した物体情報を定常状態情報として登録する。なお、製造ライン２００の定常状態は、撮像映像であるが、これに限定されず、静止画像、動画像であってもよく、静止画像および動画像は、例えば、1サイクル分の製造工程を表す画像であってよい。

【0023】

登録部１１０は、撮像映像５１０が取得されたときにおける作業員の距離情報を、定常状態として登録してよい。登録部１１０は、撮像映像５１０が取得されたときにおけるユーザデバイス２２０間の距離を、定常状態情報として登録する。ユーザデバイス２２０間の距離は、例えば、ビーコンを利用してよい。

【0024】

なお、監視用端末装置３００および登録部１１０は、製造装置ごとに定常状態を登録してよく、カメラ装置２１０ごとに定常状態を登録してよく、製造工程ごとに定常状態を登録してよく、製造ライン２００の全体で定常状態を登録してよい。

【0025】

次に異常監視装置１００の設定部１２０は、監視設定処理を行う（ステップＳ１０４）。設定部１２０は、例えば操作部３２０に対する管理者の操作を受け付けることにより、監視対象と、当該監視対象の異常状態との対応関係を設定する。または、設定部１２０は、例えば、過去に発生した事故の前後における製造ライン２００の周囲の監視対象および監視対象の状態を表すデータに基づいて、監視対象と、当該監視対象の異常状態との対応関係を設定してよい。図４は、実施の形態における監視設定テーブル６００の一例を示す図である。監視設定テーブル６００は、監視対象として物体または人物の数、密度、過不足、位置のうち少なくとも一つを設定し、監視レベルとして監視対象ごとの数、大きさ、継続時間、物体の危険度のうち少なくとも一つを設定し、監視レベルに対応した通知内容または制御内容を設定する。物体の危険度は、例えば、製造ライン２００の周囲に存在することが危険な工具、一斗缶などであり、物体ごとに設定されている。

【0026】

監視設定テーブル６００は、例えば、ジョブ名情報、監視対象情報、監視レベル情報、およびアクション情報を対応付けた情報である。ジョブ名情報は、例えば、異常の種類を示す情報である。監視対象情報は、例えば、人または物体を示す情報である。監視レベル情報は、監視対象の量、検出の継続時間、物体検知の有無を示す情報である。物体検知の有無を示す情報は、例えば、人および物の有無を表すが、工具、一斗缶、液体などの特定の対象物の有無を示す情報であってよい。アクション情報は、通知内容を示す情報、および制御内容を示す情報である。通知内容を示す情報は、例えばパトランプのオンオフ情報、ユーザデバイス２２０にインストールされたアプリケーションによる通知のオンオフ情報、およびメール通知のオンオフ情報である。制御内容を示す情報は、例えば、インターロックの有無情報、および製造装置の停止の有無情報である。なお、設定部１２０は、製造装置ごとに監視設定テーブル６００を設定してよく、カメラ装置２１０ごとに監視設定テーブル６００を設定してよく、製造工程ごとに監視設定テーブル６００を設定してよく、製造ライン２００の全体で監視設定テーブル６００を設定してよい。

【0027】

次に異常監視装置１００は、製造ライン２００の監視タイミングであるか否かを判定する（ステップＳ１０６）。監視タイミングは、例えば、製造ライン２００の稼働準備が完了した後の製造ライン２００の稼働前、製造ライン２００の稼働中、製造ライン２００が稼働した後のメンテナンス完了後などの製造ライン２００の周囲の異常を監視する期間において到来する。異常監視装置１００は、製造ライン２００が稼働中である場合（ステップＳ１０６:ＹＥＳ）、製造ライン２００の周囲の状態を示す周囲状態情報として、カメラ装置２１０から撮像映像を収集し、さらに、ユーザデバイス２２０からセンサ値を収集する（ステップＳ１０８）。異常監視装置１００は、製造ライン２００が稼働中ではない場合（ステップＳ１０６:ＮＯ）、本フローチャートの処理を終了する。

【0028】

次に異常監視装置１００の監視部１３０は、ステップＳ１０２において登録された定常状態の撮像映像に含まれる物体と、ステップＳ１０８において取得した製造ライン２００の撮像映像に含まれる物体とを常時比較（解析）することによって異常を監視する（ステップＳ１１０）。監視部１３０は、撮像映像に、監視対象の物体を検知したか否かを判定する（ステップＳ１１２）。監視部１３０は、定常状態において存在しないはずの物体が存在するか否かを判定する。監視部１３０は、定常状態において存在しないはずの監視対象の物体を検知していない場合（ステップＳ１１２：ＮＯ）、ステップＳ１０８以降の処理を繰り返す。

【0029】

監視部１３０は、定常状態において存在しないはずの監視対象の物体を検知した場合（ステップＳ１１２：ＹＥＳ）、検知した監視対象の物体について監視設定テーブル６００に設定された異常レベルに達した異常が発生したか否かを判定する（ステップＳ１１４）。監視部１３０は、異常が発生していない場合（ステップＳ１１４：ＮＯ）、ステップＳ１０８以降の処理を繰り返す。

【0030】

監視部１３０は、異常が発生した場合（ステップＳ１１４：ＹＥＳ）、発生した異常に対応した通知または制御を行わせる（ステップＳ１１６）。具体的に、通知部１４０は、監視設定テーブル６００における監視対象が、監視レベルを超える状態に達した場合、当該監視対象および監視レベルに対応した通知を行うための通知信号を、製造ライン２００、または監視用端末装置３００に送信する。制御部１５０は、監視設定テーブル６００における監視対象が、監視レベルを超える状態に達した場合、当該監視対象および監視レベルに対応した制御を行うための制御信号を、製造ライン２００に送信する。

【0031】

ステップＳ１１０からステップＳ１１６は、ユーザデバイス２２０からのセンサ値に基づいて作業員について行ってよい。異常監視装置１００の監視部１３０は、ステップＳ１０２において登録された定常状態の作業員の距離情報と、ステップＳ１０８において取得したユーザデバイス２２０からのセンサ値とを常時比較（解析）することによって異常を監視する（ステップＳ１１０）。監視部１３０は、ユーザデバイス２２０からのセンサ値によって人物の密集を検知したか否かを判定する（ステップＳ１１２）。監視部１３０は、定常状態において存在しないはずの密集が存在するか否かを判定する。監視部１３０は、定常状態において存在しないはずの密集を検知していない場合（ステップＳ１１２：ＮＯ）、ステップＳ１０８以降の処理を繰り返す。

【0032】

監視部１３０は、定常状態において存在しないはずの密集を検知した場合（ステップＳ１１２：ＹＥＳ）、検知した密集について監視設定テーブル６００に設定された異常レベルに達した異常が発生したか否かを判定する（ステップＳ１１４）。監視部１３０は、異常が発生していない場合（ステップＳ１１４：ＮＯ）、ステップＳ１０８以降の処理を繰り返す。

【0033】

監視部１３０は、異常が発生した場合（ステップＳ１１４：ＹＥＳ）、発生した異常に対応した通知または制御を行わせる（ステップＳ１１６）。具体的に、通知部１４０は、密集が、監視レベルを超える状態に達した場合、当該密集および監視レベルに対応した通知を行うための通知信号を、製造ライン２００、または監視用端末装置３００に送信する。制御部１５０は、監視設定テーブル６００における監視対象が、監視レベルを超える状態に達した場合、当該密集および監視レベルに対応した制御を行うための制御信号を、製造ライン２００に送信する。

【0034】

図５は、監視対象が存在するときの異常通知画面の一例を示す図であり、図６は、製造装置に異常がるときの異常通知画面の一例を示す図であり、図７は、人物の異常があるときの異常通知画面の一例を示す図である。通知部１４０は、例えば、撮像映像７１０に、製造装置７１２上に監視対象が存在することを示すマーキング画像７３０を重畳した画像を監視用端末装置３００に送信する。これにより監視用端末装置３００は、表示部３１０に異常通知画面を表示することができる。通知部１４０は、マーキング画像７３０に、監視対象を表す文字情報を含ませてよい。

【0035】

異常監視装置１００は、異常に対する対応が完了したか否かを判定する（ステップＳ１１８）。異常に対する対応は、例えば、異常と判定された監視対象を取り除くことである。異常監視装置１００は、異常が発生したときの撮像映像と、通知または制御を行った後にカメラ装置２１０から取得した撮像映像とを比較して、異常と判定された監視対象が取り除かれたかを判定する。異常監視装置１００は、異常に対する対応が完了したと判定していない場合（ステップＳ１１８：ＮＯ）、通知または制御（ステップＳ１１４）を継続し、異常に対する対応が完了したと判定した場合（ステップＳ１１８：ＹＥＳ）、ステップＳ１０８以降の処理を繰り返す。

【0036】

図８は、実施の形態における製造システム１の処理手順の他の一例を示す図である。製造システム１は、製造ライン２００の状況に応じて、定常状態の登録（ステップＳ２００）、監視設定テーブル６００の設定（ステップＳ２０２）を行ってよい。製造ライン２００の状況は、例えば、稼働中の製造工程、稼働中において監視すべき製造装置、稼働中において監視する場所などである。異常監視装置１００は、監視タイミングにおいて（ステップＳ１０６）、製造ライン２００の状況に応じた定常状態情報、および監視設定テーブル６００を読み出す（ステップＳ２０４）。

【0037】

次に異常監視装置１００は、状況に応じてカメラ装置２１０から撮像映像を収集し、さらに、ユーザデバイス２２０からセンサ値を収集する（ステップＳ１０８）。次に異常監視装置１００の監視部１３０は、ステップＳ２０４において読み出した定常状態の撮像映像に含まれる物体と、ステップＳ１０８において取得した製造ライン２００の撮像映像に含まれる物体とを常時比較（解析）することによって異常を監視する（ステップＳ１１０）。監視部１３０は、撮像映像に、監視対象の物体を検知したか否かを判定する（ステップＳ１１２）。監視部１３０は、定常状態において存在しないはずの物体が存在するか否かを判定する。監視部１３０は、定常状態において存在しないはずの監視対象の物体を検知していない場合（ステップＳ１１２：ＮＯ）、ステップＳ２０４以降の処理を繰り返す。

【0038】

監視部１３０は、定常状態において存在しないはずの監視対象の物体を検知した場合（ステップＳ１１２：ＹＥＳ）、検知した監視対象の物体について監視設定テーブル６００に設定された異常レベルに達した異常が発生したか否かを判定する（ステップＳ１１４）。監視部１３０は、異常が発生していない場合（ステップＳ１１４：ＮＯ）、ステップＳ２０４以降の処理を繰り返す。

【0039】

監視部１３０は、異常が発生した場合（ステップＳ１１４：ＹＥＳ）、発生した異常に対応した通知または制御を行わせる（ステップＳ１１６）。具体的に、通知部１４０は、監視設定テーブル６００における監視対象が、監視レベルを超える状態に達した場合、現在の状況、監視対象および監視レベルに対応した通知を行うための通知信号を、製造ライン２００、または監視用端末装置３００に送信する。制御部１５０は、現在の状況に応じた監視設定テーブル６００における監視対象が、監視レベルを超える状態に達した場合、現在の状況、監視対象および監視レベルに対応した制御を行うための制御信号を、製造ライン２００に送信する。

【0040】

異常監視装置１００は、異常に対する対応が完了したか否かを判定する（ステップＳ１１８）。異常監視装置１００は、異常に対する対応が完了したと判定していない場合（ステップＳ１１８：ＮＯ）、通知または制御（ステップＳ１１４）を継続し、異常に対する対応が完了したと判定した場合（ステップＳ１１８：ＹＥＳ）、ステップＳ２０４以降の処理を繰り返す。

【0041】

以上のように、実施の形態の異常監視装置１００は、製造ライン２００の定常状態を表す定常状態情報を登録する登録部１１０と、製造ライン２００の監視対象および監視対象の異常状態を表す監視設定情報を設定する設定部１２０と、製造ライン２００の周囲の状態を示す周囲状態情報を取得し、周囲状態情報と定常状態情報とを比較した結果、定常状態と異なる状態が存在する場合、定常状態と異なる状態が、設定部１２０により設定された監視対象の異常状態に該当するか否かを判定する監視部１３０と、監視部１３０の監視結果に基づいて、通知または製造ライン２００の制御を行う通知部１４０および制御部１５０を備える。この異常監視装置１００によれば、製造ライン２００の周囲の異常を監視することができる。

【0042】

同様に、実施の形態によれば、製造ライン２００の定常状態を表す定常状態情報を登録するステップと、製造ライン２００の監視対象および監視対象の異常状態を表す監視設定情報を設定するステップと、製造ライン２００の周囲の状態を示す周囲状態情報を取得するステップと、周囲状態情報と定常状態情報とを比較するステップと、比較した結果、定常状態と異なる状態が存在する場合、定常状態と異なる状態が、設定された監視対象の異常状態に該当するか否かを判定するステップと、判定した結果に基づいて、通知または製造ライン２００の制御を行うステップと、を含む、異常監視方法を実現することができる。同様に、実施の形態によれば、コンピュータに、製造ライン２００の定常状態を表す定常状態情報を登録するステップと、製造ライン２００の監視対象および監視対象の異常状態を表す監視設定情報を設定するステップと、製造ライン２００の周囲の状態を示す周囲状態情報を取得するステップと、周囲状態情報と定常状態情報とを比較するステップと、比較した結果、定常状態と異なる状態が存在する場合、定常状態と異なる状態が、設定された監視対象の異常状態に該当するか否かを判定するステップと、判定した結果に基づいて、通知または製造ライン２００の制御を行うステップと、を実行させる、プログラムを実現することができる。

【0043】

また、異常監視装置１００によれば、製造ライン２００の稼働時に取得した製造ライン２００の映像情報と、登録部１１０により登録された製造ライン２００の映像情報とを比較した結果、定常状態と異なる状態が存在する場合において、設定部１２０により設定された監視対象の状態が、設定部１２０により設定された監視レベルに達しているかを判定することによって、製造ライン２００の稼働時における製造ライン２００の周囲の異常を監視することができる。

【0044】

さらに、異常監視装置１００によれば、製造ライン２００ンの定常状態情報として、製造ライン２００の稼働前または稼働後の映像情報を登録し、製造ライン２００の異常状態として、製造ライン２００の稼働前または稼働後の監視対象、監視レベルおよび通知内容または制御内容を設定することによって、製造ライン２００の稼働前または稼働後における製造ライン２００の周囲の異常を監視することができる。

【0045】

さらに、異常監視装置１００によれば、設定部１２０により、監視対象として物体または人物の数、密度、過不足、位置のうち少なくとも一つを設定し、監視レベルとして監視対象ごとの数、大きさ、継続時間、物体の危険度のうち少なくとも一つを設定するので、これらの設定内容を製造ライン２００の周囲の異常として監視することができる。具体的に、異常監視装置１００によれば、カメラ装置２１０の撮像映像に映りこむ人数、および作業員の密状態を監視することができる。さらに、異常監視装置１００によれば、製造ライン２００の周囲に余分な物体があるか否か、製造ライン２００の周囲において不足する物体があるか否か、製造ライン２００の周囲に存在する監視対象の位置が変化しているか否かを監視することができる。

【0046】

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【符号の説明】

【0047】

１…製造システム、１００…異常監視装置、１１０…登録部、１２０…設定部、１３０…監視部、１４０…通知部、１５０…制御部、２００…製造ライン、２００Ａ、２００Ｂ、２００Ｃ…製造装置、２０２…制御部、２０４…通知部、２１０…カメラ装置、２１０Ａ、２１０Ｂ、２１０Ｃ…カメラ装置、２２０、２２０Ａ、２２０Ｂ、２２０Ｃ…ユーザデバイス、３００…監視用端末装置、３１０…表示部、３２０…操作部、３３０…制御部、５００…定常状態登録画面、５１０…撮像映像、５１２…製造装置、５１４…製造物、５２０…登録ボタン、６００…監視設定テーブル、７１０…撮像映像、７１２…製造装置、７３０…マーキング画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】