特許7427050情報処理システム、情報処理システムの制御方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】情報処理システム、情報処理システムの制御方法、およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240126BHJP
G05B 19/042 20060101ALI20240126BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 U
G05B19/042
【請求項の数】
8
(21)【出願番号】P 2022084064
(22)【出願日】2022-05-23
(62)【分割の表示】P 2016255252の分割
【原出願日】2016-12-28
(65)【公開番号】P2022107675
(43)【公開日】2022-07-22
【審査請求日】2022-05-23
(73)【特許権者】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(74)【代理人】
【識別番号】110002767
【氏名又は名称】弁理士法人ひのき国際特許事務所
(72)【発明者】
【氏名】羽部 高志
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２００１－０８４０３１（ＪＰ，Ａ）
【文献】特開平０８－１２３９４６（ＪＰ，Ａ）
【文献】特開２０１３－０２３３１３（ＪＰ，Ａ）
【文献】特開昭６２－０８６９９０（ＪＰ，Ａ）
【文献】特開２００４－２０１８１５（ＪＰ，Ａ）
【文献】特開２００７－２８５８８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０３Ｂ １３／００－３１／００
Ｇ０６Ｔ １／００－ ７／００
Ｇ０５Ｂ １９／０４
(57)【特許請求の範囲】
【請求項1】
監視対象エリアを撮像する撮像手段で撮像された画像を取得する取得手段と、前記取得手段で取得した画像と、予め認識させたパターンであって、前記監視対象エリアでエラーが発生していないときに被撮像対象物を撮像した画像の変化のパターンとを用いて、前記取得手段で取得した画像のうち、前記被撮像対象物のエラーを検出するエラー検出手段から受信した異常発生を示す情報に基づくエラーイベントの内容に応じた特定領域の中で、前記パターンと異なる変化をしている箇所をエラーの要因に係る箇所として特定する特定手段と、
前記特定手段で特定された箇所をズームして撮像し、当該ズームして撮像された画像を表示するように制御する表示制御手段と、
を有することを特徴とする情報処理システム。
【請求項2】
前記エラー検出手段はＰＬＣであることを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記ＰＬＣからの異常発生を示す前記情報を受信するＰＬＣクライアント端末から、前記情報に応じた信号を受信した場合に、前記特定手段による特定処理を実行することを特徴とする請求項２に記載の情報処理システム。
【請求項4】
前記特定手段は、前記取得手段で取得した画像の所定の領域と、前記エラーが発生していないときに前記被撮像対象物を撮像した画像とを用いて、前記取得手段で取得した画像の中からエラーの要因となった可能性の高い箇所を特定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項5】
前記表示制御手段は、前記取得手段で取得した画像と、前記エラーが発生していないときに前記被撮像対象物を撮像した前記画像とを並列して表示するように制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項6】
前記表示制御手段は、前記取得手段で取得した画像を表示するとともに、当該表示された画像上の、前記特定手段によって特定されたエラーの要因に係る箇所を識別可能に表示するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項7】
監視対象エリアを撮像する撮像手段で撮像された画像を取得する取得ステップと、前記取得ステップで取得した画像と、予め認識させたパターンであって、前記監視対象エリアでエラーが発生していないときに被撮像対象物を撮像した画像の変化のパターンとを用いて、前記取得ステップで取得した画像うち、前記被撮像対象物のエラーを検出するエラー検出手段から受信した異常発生を示す情報に基づくエラーイベントの内容に応じた特定領域の中で、前記パターンと異なる変化をしている箇所をエラーの要因に係る箇所として特定する特定ステップと、
前記特定ステップで特定された箇所をズームして撮像し、当該ズームして撮像された画像を表示するように制御する表示制御ステップ
と、
を有することを特徴とする情報処理システムの制御方法。
【請求項8】
少なくとも１つのコンピュータを、請求項１乃至６のいずれか１項に記載された情報処理システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることが可能な仕組みに関する。
【背景技術】
【0002】
一般に生産工場においては、様々な工作機械を制御するためにＰＬＣ（Ｐｒｏｇｒａｍｍａｒａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）が使用されており、生産工程に不具合が発生した場合は、ＰＬＣがエラーのアラートを上げる。また、別途生産ラインを監視するネットワークカメラが設置されており、両者は別のシステムとして稼働する場合もあれば１つのシステムとして稼動する場合もある。
【0003】
特許文献１には、ネットワークカメラで物の生産工程を監視する仕組が開示されている。更に特許文献１には工作機械からアラートがあがると、ネットワークカメラをアラートがあがった方向に向けることが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００８－１７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、特許文献１のように工作機械からアラートがあがると、ネットワークカメラをその方向に向けるだけでは、実際に何が起きてエラーとなったのかという原因特定を特定することが難しいケースが存在する可能性があった。例えば、生産物を持ち上げて、箱に梱包する製造装置のアームについているについているセンサーが、本来ならば工作機械１０１が生産物３０１を持ち上げていればＯＮになるはずなのにＯＮにならなかったことを示すエラーイベントである場合に、もし当該エラーイベントの発生原因が工作機械１０１のアームのネジが外れていることに起因するものであったとしてもエラーイベントや、アラートがあがった方向を広範囲で撮像するネットワークカメラ１０４の画像データからは分からない可能性があった。
【0006】
本発明は、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、監視対象エリアを撮像する撮像手段で撮像された画像を取得する取得手段と、 前記取得手段で取得した画像と、予め認識させたパターンであって、前記監視対象エリアでエラーが発生していないときに被撮像対象物を撮像した画像の変化のパターンとを用いて、前記取得手段で取得した画像のうち、前記被撮像対象物のエラーを検出するエラー検出手段から受信した異常発生を示す情報に基づくエラーイベントの内容に応じた特定領域の中で、前記パターンと異なる変化をしている箇所をエラーの要因に係る箇所として特定する特定手段と、前記特定手段で特定された箇所をズームして撮像し、当該ズームして撮像された画像を表示するように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【0010】
本発明によると、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の生産工程監視システムの構成の一例を示すシステム構成図。
【図3】本発明の生産工程監視システムを適用した一例を示す図。
【図4】ネットワークカメラデータベースの一例を示す図。
【図5】ネットワークカメラ１０４で撮像した画像を閲覧クライアント端末１０７で表示したときの表示画面の一例を示す図。
【図6】本発明の生産工程監視システムにおける全体の処理に関するフローチャートの一例を示す図。
【図7】本発明の生産工程監視システムを適用した一例を示す図。
【図9】ネットワークカメラ１０４で撮像した画像を閲覧クライアント端末１０７で表示したときの表示画面の一例を示す図。
【図12】ネットワークカメラ１０４で撮像した画像を閲覧クライアント端末１０７で表示したときの表示画面の一例を示す図。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【0013】
図１は本発明の工作機械１０１、ＰＬＣ１０２、ＰＬＣクライアント端末１０３、ネットワークカメラ１０４、中継サーバ１０５、録画サーバ１０６、閲覧クライアント端末１０７を含む、工場のラインを流れる物の生産工程を監視する生産工程監視システムの構成の一例を示すシステム構成図である。
【0014】
本生産工程監視システムでは、各装置が、ネットワーク１０８や無線ＬＡＮ（移動体通信網を含む）を介して通信接続可能に接続されている。
工作機械１０１は、生産対象となっている生産物の組立、加工、梱包等を行なう。
工作機械１０１は、生産対象となっている生産物の組立、加工、梱包等を行なう。
【0015】
ＰＬＣ１０２は、工作機械１０１を制御する。また、工作機械１０１にエラーが発生した場合に、エラーを検出し、ＰＬＣクライアント端末１０３に、ＰＬＣ１０２の処理結果を送信する。また、工作機械１０１に異常が発生したときには、異常発生時の原因を示すコードを、ＰＬＣクライアント端末１０３に送信する。
【0016】
ＰＬＣクライアント端末１０３は、ＰＬＣ１０２から送信されたＰＬＣ１０２の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がＰＬＣ１０２の異常発生時の原因を示すコードである場合には、エラーを示すイベント（エラーイベントともいう）を中継サーバ１０５に送信する。
【0017】
なお、エラーイベントとは、例えば、「生産工程Ａで、容器取出しロボット＿把持ＯＦＦ異常（生産物である容器を取り出す工作機械１０１のハンドについているセンサーがＯＮにならない。）」といった、生産工程監視システム上で発生する各種エラーである。
【0018】
中継サーバ１０５は、エラーを示すイベントをＰＬＣクライアント端末１０３から受信すると、イベントの内容に応じて、ネットワークカメラ１０４のＰＴＺ（左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと）を調整するかを決定し、決定した内容を録画サーバ１０６に送信する。
【0019】
録画サーバ１０６は、ネットワークカメラ１０４に、画像データ（撮像データとも言う）の取得リクエストを送って、当該ネットワークカメラ１０４で撮像した画像データを取得して記憶したり、閲覧クライアント端末１０７に取得した画像データを送信したりする。更に、録画サーバは、取得した画像データを解析し、ネットワークカメラ１０４のＰＴＺの調整が必要であるかを判断する。
【0020】
なお、本実施形態では中継サーバ１０５と録画サーバ１０６を別々の装置としたが他の実施形態として、中継サーバ１０５と録画サーバ１０６は同一の装置であっても良い。
【0021】
ネットワークカメラ１０４は、生産工程ごとに、１または複数設けられ、各生産工程を撮像する。そして、録画サーバ１０６に対して当該ネットワークカメラ１０４で撮像した画像データを送信する。また、録画サーバ１０６からの指示に従って、当該ネットワークカメラ１０４のＰＴＺの調整を行なう。
【0022】
閲覧クライアント端末１０７は、ユーザがエラーイベント発生時の画像データを確認したりするために用いられ、録画サーバ１０６から送信された画像データをディスプレイに表示する。
以上で、図１の説明を終了する。
以上で、図１の説明を終了する。
【0023】
【0024】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【0025】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【0026】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【0027】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【0028】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【0029】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【0030】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【0031】
次に、図３を用いて、本発明の生産工程監視システムを適用した一例を示す図であり、ある工場の生産ラインを上から見た図である。
【0032】
図３に示す生産ラインでは、生産工程Ａ～生産工程Ｃまでの３つの生産工程からなり、生産工程ごとにネットワークカメラ１０４が１台ずつ設置されている。ネットワークカメラ１０４は、設置時に予めユーザにより決定されたプリセットで、通常は撮像を行なっている。
【0033】
なお、生産ラインに設置されたネットワークカメラ１０４の情報は、図４に示すネットワークカメラデータベースで管理されている。
【0034】
また、生産工程ごとに工作機械１０１が設けられており、工作機械１０１は、生産物３０１の組立や、加工、梱包等を行なっている。生産物３０１は搬送台３０２によって、各生産工程に搬送される。以上で図３の説明を終了する。
次に図４を用いて、ネットワークカメラデータベースについて説明する。
次に図４を用いて、ネットワークカメラデータベースについて説明する。
【0035】
図４は、中継サーバ１０５、または録画サーバ１０６の外部メモリ２１１で管理する、ネットワークカメラデータベースの一例を示す図であり、ネットワークカメラデータベースは、各ネットワークカメラ１０４を一意に識別するためのネットワークカメラ名４０１、ネットワークカメラ名４０１で示されるネットワークカメラ１０４が撮影している生産工程を示す撮像対象４０２、ネットワークカメラ名４０１で示されるネットワークカメラ１０４のプリセットを示すプリセット４０３で構成される。以上で図４の説明を終了する。
【0036】
次に図５を用いて、ネットワークカメラ１０４で撮像した画像を閲覧クライアント端末１０７で表示したときの表示画面の一例について説明する。
【0037】
図５は、閲覧クライアント端末１０７のディスプレイ２１０に表示される、ネットワークカメラ１０４で撮像した画像を閲覧クライアント端末１０７で表示したときの表示画面の一例を示す図である。
【0038】
表示画面５００は、生産ラインを、イラスト化した画像データを表示する生産ライン表示領域５０１、現在ネットワークカメラ１０４が撮像している画像データ（ライブ映像）を表示するライブ映像領域５０２、生産工程でエラーイベントが発生したときの画像データ（録画映像）を表示する録画映像表示領域５０３、生産工程で発生したエラーイベントの一覧を表示する一覧領域５０４で構成される。
【0039】
生産ライン表示領域５０１には、現在ライブ映像を表示しているネットワークカメラ１０４の位置をユーザが認識可能となるように画像データを表示する。
【0040】
一覧領域５０４は、エラーイベントの発生日時を示す日時５０５、エラーの状態（新規で追加されたエラーイベントであれば「新規」と表示）を示す名称５０６、エラーイベントの内容を示すメッセージ５０７、エラーイベントが発生した生産工程と、当該生産工程を撮像するネットワークカメラ１０４を示すソース５０８で構成される。以上で、図５の説明を終了する。
次に、図６を用いて、本発明の生産工程監視システムにおける全体の処理について説明する。
次に、図６を用いて、本発明の生産工程監視システムにおける全体の処理について説明する。
【0041】
図６は、本発明の生産工程監視システムにおける全体の処理に関するフローチャートの一例を示す図である。
【0042】
【0043】
ステップＳ６０１において、ＰＬＣクライアント端末１０３は、ＰＬＣ１０２から送信されたＰＬＣ１０２の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がＰＬＣ１０２の異常発生時の原因を示すコードであるかを判定して（ステップＳ６０２）、受信した情報がＰＬＣ１０２の異常発生時の原因を示すコードである場合には、エラーイベントを中継サーバ１０５に送信する（ステップＳ６０３）。
【0044】
ステップＳ６０４において、中継サーバ１０５は、エラーイベントをＰＬＣクライアント端末１０３から受信すると（ステップＳ６０４）、受信したエラーイベント解析処理を実行する（ステップＳ６０５）。ステップＳ６０５の処理の詳細は、図８を用いて後ほど説明する。
【0045】
なお、いずれのＰＬＣ１０２から受信したエラーイベントなのかは、送信元のＩＰアドレスから判別可能とする。また、ＰＬＣ１０２はメーカーによってエラーイベントの送信手順、送信データ形式は異なるが、中継サーバ１０５は、対応する複数のＰＬＣメーカーの送信手順、送信データ形式に対してメーカー別の受信ドライバを実装することで、メーカーの違いを吸収できるものとなっている。
【0046】
また、本発明では、エラーイベントからエラーのおおよその発生箇所やエラーの内容を特定できるものとする。
【0047】
複数のエラーイベントがある場合には、ステップＳ６０４において、中継サーバ１０５は、それらすべてのエラーイベントを取得する。
【0048】
ステップＳ６０４は、本発明における、前記生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段の一例である。
【0049】
ステップＳ６０６において、中継サーバ１０５は、ステップＳ６０５の処理で決定された、ネットワークカメラ１０４のＰＴＺ（左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと）を調整するかの内容を含むエラーイベントの情報を録画サーバ１０６に送信し、録画サーバ１０６を介して、ネットワークカメラ１０４に調整指示を行なう。
【0050】
ステップＳ６０６は、本発明における、前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段の一例である。
【0051】
ステップＳ６０７において、録画サーバ１０６は、ネットワークカメラ１０４に対して当該ネットワークカメラ１０４で撮像した画像データの取得リクエストを送信する。
【0052】
ステップＳ６０８において、録画サーバ１０６は、ステップＳ６０７における画像データの取得リクエストに対して、ネットワークカメラ１０４から送信される画像データを取得して、当該画像データに対する処理を実行する（ステップＳ６０９）。ステップＳ６０９の処理の詳細は、図１０を用いて後ほど説明する。なお、取得した画像データは所定時間バッファリングする。
【0053】
ステップＳ６１０において、録画サーバ１０６は、閲覧クライアント端末１０７にネットワークカメラ１０４から取得した画像データを送信する。
【0054】
ステップＳ６１１において、ネットワークカメラ１０４は、録画サーバ１０６からのリクエストを受信し、リクエストに応じた処理を実行する（ステップＳ６１２）。ステップＳ６１２の処理の詳細は、図１１を用いて後ほど説明する。
【0055】
ステップＳ６１３において、閲覧クライアント端末１０７は、録画サーバ１０６から送信された画像データを受信し、当該画像データをディスプレイ２１０に表示する処理を実行する（ステップＳ６１４）。ステップＳ６１４の処理の詳細は、図１３を用いて後ほど説明する。
【0056】
ステップＳ６１３は、本発明における、前記監視対象エリアでエラーが発生したときの前記撮像手段で撮像した画像データを取得する取得手段の一例である。
以上で図６の説明を終了する。
次に図７、８を用いて、図６のステップＳ６０５の処理の詳細について説明する。
以上で図６の説明を終了する。
次に図７、８を用いて、図６のステップＳ６０５の処理の詳細について説明する。
【0057】
図４で説明したとおり、生産工程ごとに撮像するネットワークカメラ１０４は決まっているため、生産工程でエラーイベントが発生した場合には、当該生産工程を撮影対象（撮像対象４０２）とするネットワークカメラ１０４（ネットワークカメラ名４０１によって示されるネットワークカメラ）が、当該生産工程を撮像する。しかしながら、エラーの内容によっては、そのネットワークカメラ１０４の画像データだけではエラー状態が把握できない場合がある。
【0058】
例えば、図３に示す状態で、生産工程Ａでエラーイベントが発生した場合に、カメラ１では、工作機械ａのカメラ１で撮像している側と反対側、つまり工作機械ａの背面がカメラ１から死角となり、エラー箇所が撮像できない可能性がある。また、生産物３０１を搬送する搬送台３０２より下でエラーイベントが発生した場合にもエラー箇所が撮像できない可能性があった。
【0059】
そこで、本発明は、図８に示す処理を実行することにより、上述したような場合であってもエラー箇所を撮像可能な仕組を提供する。
【0060】
具体的には、図８の処理を実行することによって、エラーイベントが発生した生産工程を撮像するネットワークカメラ１０４の死角となる位置でエラーイベントが発生した場合には、当該エラーイベントの発生箇所のおおよその位置は、ＰＬＣクライアント端末１０３から送信されるエラーイベントの情報から特定できるため、そのような場合には、図７に示すとおり、他の生産工程を撮像するネットワークカメラ１０４もエラーイベントが発生した生産工程を撮像するように決定する。
【0061】
図７は、本発明の生産工程監視システムを適用した一例を示す図であり、図３に示す生産ラインにおいて、エラーイベントが発生した生産工程を撮像するネットワークカメラ１０４の死角となる位置でエラーイベントが発生した場合に、他の生産工程を撮像するネットワークカメラ１０４（カメラ２とカメラ３）もエラーイベントが発生した生産工程を撮像するようにした図である。
【0062】
他の生産工程を撮像するネットワークカメラ１０４もエラーイベントが発生した生産工程を撮像することで、カメラ１では死角となる場所も撮影することが可能となる。
【0063】
さらに、このとき、エラーイベントが発生した生産工程から最も遠い生産工程を撮像するネットワークカメラ１０４（図７の場合は、カメラ３）については、ズームアウトさせるように制御する（つまり、広い範囲を撮像させる）ことにより、本発明では、生産工程で発生したエラーイベントが、他の生産工程に影響を与えていたとしても、ズームアウトしたネットワークカメラ１０４の画像データからその影響を確認可能とする。
では、ここから、図８の各ステップについて説明する。
では、ここから、図８の各ステップについて説明する。
【0064】
ステップＳ８０１において、中継サーバ１０５は、ステップＳ６０４で取得したエラーイベントが、エラーイベントが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ１０４も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるかを判定する。つまり、エラーイベントが発生した生産工程を撮像するネットワークカメラ１０４の死角となる位置でエラーイベントが発生したかを判定する。他の生産工程を撮像するネットワークカメラ１０４も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるならばステップＳ８０３に処理を移行し、他の生産工程を撮像するネットワークカメラ１０４も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントでなければステップＳ８０２に処理を移行する。
【0065】
ステップＳ８０２において、中継サーバ１０５は、エラーイベントが発生した生産工程を撮像するネットワークカメラ１０４でエラーの発生箇所を撮像すると決定して、本処理を終了する。
【0066】
ステップＳ８０３において、中継サーバ１０５は、他の生産工程でもエラーイベントが発生しているかを、ステップＳ６０４で複数のエラーイベントを取得し、かつそれぞれのエラーイベントが発生した生産工程が異なるかにより判定する。他の生産工程でもエラーイベントが発生していると判定した場合には、ステップＳ８０５に処理を移行し、そうでなければステップＳ８０４に処理を移行する。
【0067】
ステップＳ８０４において、中継サーバ１０５は、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ１０４も当該エラーが発生した生産工程を撮像するようにすると決定する。
【0068】
ステップＳ８０４は、本発明における、前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段の一例である。
【0069】
ステップＳ８０５において、中継サーバ１０５は、他の生産工程で発生しているエラーイベントが、重大なエラーを示すエラーイベントであるかを、ステップＳ６０４で取得したエラーイベントの内容から判定する。中継サーバ１０５は、重大なエラーを示すエラーイベントであれば、ステップＳ８０６に処理を移行し、重大なエラーを示すエラーイベントでなければステップＳ８０４に処理を移行する。
【0070】
つまり、他の生産工程でエラーイベントが発生していたとしても軽微なエラーイベントであれば、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ１０４も当該エラーが発生した生産工程を撮像するようにすると決定する。
【0071】
重大なエラーイベントであるかは、ユーザが各エラーイベントに対して、重み付けを設定しておき、重み付けの値が基準値を超える場合に重大なエラーであると特定することが可能である。
【0072】
ここでいう重大なエラーとは、例えば、工作機械１０１が誤作動をおこし制御不可能になったり、工作機械１０１が完全に停止してしまったりしている場合等である。
【0073】
ステップＳ８０６において、中継サーバ１０５は、各ネットワークカメラ１０４を、元々それぞれが撮像対象（撮像対象４０２）としていた生産工程を撮像させると決定する。
【0074】
なお、ステップＳ８０１では、エラーイベントが発生した生産工程を撮像するネットワークカメラ１０４の死角となる位置でエラーイベントが発生したとしても軽微なエラーイベントであれば、他の生産工程を撮像するネットワークカメラ１０４を当該エラーが発生した生産工程を撮像するようにしなくとも良い。以上で、図８の説明を終了する。
次に、図９、１０を用いて、図６のステップＳ６０９の処理の詳細について説明する。
次に、図９、１０を用いて、図６のステップＳ６０９の処理の詳細について説明する。
【0075】
これまで説明してきたとおり、中継サーバ１０５は、エラーイベントをＰＬＣクライアント端末１０３から受信すると、エラーイベントが発生した生産工程を撮影対象とするネットワークカメラ１０４が、当該生産工程を撮像するが、実際に何が起きてエラーとなったのかという原因特定は、エラーイベントの内容と、当該生産工程を予め設定されたプリセットで撮像するネットワークカメラ１０４の画像データをユーザが目視で確認するだけでは難しいケースが存在する。例えば、生産物３０１を持ち上げて、箱に梱包する工作機械１０１のアームについているについているセンサーが、本来ならば工作機械１０１が生産物３０１を持ち上げていればＯＮになるはずなのにＯＮにならなかったことを示すエラーイベントである場合に、もし当該エラーイベントの発生原因が工作機械１０１のアームの部品が外れていることに起因するものであったとしてもエラーイベントや、予め設定されたプリセットで撮像するネットワークカメラ１０４の画像データからは分からない可能性があった。
【0076】
そこで、本発明では、予め録画サーバ１０６で管理する、当該生産工程で工作機械１０１が正しく動作が実行されているときの画像データ（正常系の画像データ）をＰｌｕｇ－ｉｎアプリに読み込ませることで、正常時の一定時間における画像データの変化のパターン（工作機械１０１が正しく動作しているときの画像データの変化のパターン）を認識させておき、エラーイベントが発生したときの当該生産工程を撮像した画像データの変化の中で、認識させた画像データの変化パターンと異なる変化を検知する。そして、異なる変化を検知した部分に対応する現実空間上の位置をネットワークカメラ１０４でズームして撮像するように指示をする。ユーザは、ズームしたネットワークカメラ１０４で撮像した画像データを確認することで、よりエラーイベントの原因となった箇所を詳細に確認することが可能となる。
【0077】
更に本発明では、画像の変化を検知する上で、予めエラーイベントの内容から、当該画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形を設定し、当該矩形の中の画像データの変化が、認識させた画像データと異なる変化をしているかを検知することで、変化の特定に要する処理時間の短縮や、録画サーバ１０６の負荷を軽減する。
なお、矩形は、エラーイベントの内容から問題発生が予想される箇所に対して設定される。
ここまでの処理を実施した結果のイメージを図９に示す。
なお、矩形は、エラーイベントの内容から問題発生が予想される箇所に対して設定される。
ここまでの処理を実施した結果のイメージを図９に示す。
【0078】
図９は、閲覧クライアント端末１０７のディスプレイ２１０に表示される、ネットワークカメラ１０４で撮像した画像データを閲覧クライアント端末１０７で表示したときの表示画面の一例を示す図である。
【0079】
図９では録画映像表示領域５０３内の画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形９０１を設定している。そして、図９の例では、矩形９０１の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所として枠９０２の箇所が特定されている状態を示す。その後、枠９０２の箇所をズームするように録画サーバ１０６から指示されたネットワークカメラ１０４によりズーム撮像が実行されると、録画映像表示領域５０３内にズーム撮像した画像データ（ズーム画像データ９０３）が表示される。なお、他の実施形態として、正常時に生産工程を撮像した画像データを、一時的に生産ライン表示領域５０１や、ライブ映像領域５０２に表示することで、エラーイベントが発生したときの当該生産工程を撮像した画像データ（録画映像表示領域５０３内に表示される画像データ）との、変化の違いをユーザが比較できるようにすることも可能である。
【0080】
ステップＳ１００１において、録画サーバ１０６は、エラーイベントを受信したかを判定する。録画サーバ１０６は、エラーイベントを受信したならば、ステップＳ１００４に処理を移行し、そうでなければステップＳ１００２－１に処理を移行する。
【0081】
ステップＳ１００２－１において、録画サーバ１０６は、ステップＳ６０８でネットワークカメラ１０４から取得した画像データを閲覧クライアント端末１０７のライブ映像領域５０２に表示させるべく閲覧クライアント端末１０７に当該画像データを送信し、その後当該画像データを所定時間バッファリングしている間にステップＳ１００１でエラーイベントを受信しないと、ステップＳ１００２において、当該画像データを削除する。
【0082】
ステップＳ１００３において、録画サーバ１０６は、ユーザから終了指示を受け付けたかを判定し、終了指示を受け付けたならば本処理を終了し、そうでなければステップＳ１００１に処理を戻す。
【0083】
ステップＳ１００４において、録画サーバ１０６は、中継サーバ１０５からネットワークカメラ１０４の動作指示（具体的には、ステップＳ８０４のエラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ１０４も当該エラーが発生した生産工程を撮像するようにする指示）を受信しているかを判定する。中継サーバ１０５からネットワークカメラ１０４の動作指示を受信しているならば、受信した動作指示をネットワークカメラ１０４に送信し（ステップＳ１００５）、そうでなければステップＳ１００６に処理を移行する。
【0084】
ステップＳ１００６において、録画サーバ１０６は、バッファリングした画像データのうちエラーイベント発生前後所定時間の画像データを外部メモリ２１１に記憶（録画）する。
【0085】
ステップＳ１００７において、録画サーバ１０６は、エラーイベントが発生したときの生産工程を撮像した画像データの変化の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所を特定する。
【0086】
ステップＳ１００７は、本発明における前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段の一例である。
【0087】
ステップＳ１００８において、録画サーバ１０６は、ステップＳ１００７の処理の結果、ネットワークカメラ１０４のズームが必要であるかを判定する。ネットワークカメラ１０４のズームが必要であればステップＳ１００９に処理を移行し、そうでなければステップＳ１００１に処理を移行する。
【0088】
ステップＳ１００９において、録画サーバ１０６は、ネットワークカメラ１０４に、ステップＳ１００７で異なる変化をしていると特定された箇所に対応する生産工程の位置をズームして撮像するようにリクエストを送信する。その後、ネットワークカメラ１０４がズームして撮像した画像データを取得し、外部メモリ２１１に記憶（録画）する。
【0089】
ステップＳ１００９は、本発明における、前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段の一例である。
以上で図１０の説明を終了する。
次に、図１１を用いて、図６のステップＳ６１２の処理の詳細について説明する。
以上で図１０の説明を終了する。
次に、図１１を用いて、図６のステップＳ６１２の処理の詳細について説明する。
【0090】
ステップＳ１１０１において、ネットワークカメラ１０４は、ステップＳ６１１で受信したリクエストが、何をするリクエストかを判定する。ネットワークカメラ１０４で撮像した画像データの送信リクエストであれば、ステップＳ１１０２で、画像データを録画サーバ１０６に送信し、プリセット位置変更指示であれば、ステップＳ１１０３で支持されたプリセット位置に変更し、ズームイン、またはズームアウト指示であれば、ズームイン、またはズームアウトを実行し、その他の指示であれば、指示の内容に従った操作を実行し、終了指示であれば、本処理を終了する。以上で、図１１の説明を終了する。
次に図１２、１３を用いて、図６のステップＳ６１４の処理の詳細について説明する。
次に図１２、１３を用いて、図６のステップＳ６１４の処理の詳細について説明する。
【0091】
図５で説明したように、閲覧クライアント端末１０７は、生産工程でエラーイベントが発生すると、エラーイベントが発生したときの画像データ（録画映像）を録画映像表示領域５０３に表示するが、従来、エラーイベントが発生したときの画像データ（録画映像）を録画映像表示領域５０３に表示させ、当該エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生すると、録画映像表示領域５０３に次のエラーイベントが発生したときの画像データが表示されてしまうため、それまでユーザが閲覧していたエラーイベントの画像データの閲覧が中断してしまっていた。
【0092】
そのため、もし閲覧が中断されたエラーイベントの画像データを引き続きユーザが閲覧したい場合には、一覧領域５０４から該当するエラーイベントを探し出して録画映像表示領域５０３に表示させ、更に閲覧を中断した所まで画像データを送る必要があり、操作が非常に煩雑であった。
【0093】
そこで、本発明では、図１２に示すとおり、エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生した場合には、次のエラーイベントが発生したときの画像データを録画映像表示領域５０３に表示させるかをユーザに選択させるためのポップアップ１２０１を表示画面５００に表示させ、ＹＥＳボタン１２０２がユーザ操作に従って選択されると、次のエラーイベントが発生したときの画像データを録画映像表示領域５０３に表示させ、ＮＯボタン１２０３がユーザ操作に従って選択されると、現在のエラーイベントが発生したときの画像データを録画映像表示領域５０３に継続して表示させることで、ユーザの煩雑な操作を軽減する。
では、ここから図１３の各ステップについて説明する。
では、ここから図１３の各ステップについて説明する。
【0094】
ステップＳ１３０１において、閲覧クライアント端末１０７は、録画サーバ１０６がネットワークカメラ１０４から取得した画像データ（ライブ映像）を、ライブ映像領域５０２に表示させる。
【0095】
ステップＳ１３０２において、閲覧クライアント端末１０７は、エラーイベントの画像データを録画サーバ１０６から受信したかを判定する。エラーイベントの画像データを録画サーバ１０６から受信したならば、ステップＳ１３０４に処理を移行し、エラーイベントの画像データを録画サーバ１０６から受信しなければ、ユーザから終了指示を受け付けたかを判定して（ステップＳ１３０３）、終了指示を受け付けたなら本処理を終了する。
【0096】
ステップＳ１３０４において、閲覧クライアント端末１０７は、エラーイベントが発生したときの画像データを、現在録画映像表示領域５０３に表示しているかを判定する。エラーイベントが発生したときの画像データを、現在録画映像表示領域５０３に表示しているならばステップＳ１３０６に処理を移行し、エラーイベントが発生したときの画像データを、現在録画映像表示領域５０３に表示していなければ、ステップＳ１３０５において、受信した画像データを、録画映像表示領域５０３に表示する。
【0097】
ステップＳ１３０４は、本発明における、記取得手段により、前記画像データを取得したときに、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御しているかを判定する判定手段の一例である。
【0098】
また、ステップＳ１３０５は、本発明における、前記取得手段で取得した画像データを表示するように制御する表示制御手段の一例である。
【0099】
ステップＳ１３０６において、閲覧クライアント端末１０７は、画像データを録画サーバ１０６から受信したエラーイベントが重大なエラーであるかを判定する重大なエラーであれば、ステップＳ１３０９において、強制的に受信した画像データを録画映像表示領域５０３に表示させ、そうでなければ、ステップＳ１３０７において、図１２に示す、次のエラーイベントが発生したときの画像データを録画映像表示領域５０３に表示させるかをユーザに選択させるためのポップアップ１２０１を表示画面５００に表示させる。
【0100】
ステップＳ１３０７は、本発明における、前記判定手段により、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御していると判定されることを条件に、通知する通知手段の一例である。
【0101】
なお、ここでいう重大なエラーとは、例えば、工作機械１０１が誤作動をおこし制御不可能になったり、工作機械１０１が完全に停止してしまったりしている場合等である。
【0102】
ステップＳ１３０８において、閲覧クライアント端末１０７は、ステップＳ１３０７で表示したポップアップ１２０１のＹＥＳボタン１２０２がユーザ操作に従って選択されたかを判定する。ＹＥＳボタン１２０２がユーザ操作に従って選択されると、ステップ１３０９に処理を移行し、ＮＯボタン１２０３がユーザ操作に従って選択されると、ステップＳ１３１０に処理を移行して、現在のエラーイベントが発生したときの画像データを録画映像表示領域５０３に継続して表示させる。
【0103】
ステップＳ１３１１において、閲覧クライアント端末１０７は、ＮＯボタン１２０３がユーザ操作に従って選択されてから所定時間が経過するか、録画映像表示領域５０３に継続して表示させている現在のエラーイベントが発生したときの画像データの再生が終了すると、ステップＳ１３０９に処理を移行する。
以上で図１３の説明を終了する。
以上で図１３の説明を終了する。
【0104】
以上、本発明によると、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることができる。
【0105】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【0106】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【0107】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0108】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【0109】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－Ｒ）などもある。
【0110】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0111】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【0112】
また、本発明のプログラムを暗号化してＣＤ－ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0113】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0114】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【0115】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0116】
１０１ 工作機械
１０２ ＰＬＣ
１０３ ＰＬＣクライアント端末
１０４ ネットワークカメラ
１０５ 中継サーバ
１０６ 録画サーバ
１０７ 閲覧クライアント端末
１０２ ＰＬＣ
１０３ ＰＬＣクライアント端末
１０４ ネットワークカメラ
１０５ 中継サーバ
１０６ 録画サーバ
１０７ 閲覧クライアント端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】