(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022108238
(43)【公開日】2022-07-25
(54)【発明の名称】工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバ
(51)【国際特許分類】
G05B 19/418 20060101AFI20220715BHJP
G06Q 50/04 20120101ALI20220715BHJP
【FI】
G05B19/418 Z
G06Q50/04
【審査請求】未請求
【請求項の数】8
【出願形態】書面
(21)【出願番号】P 2021029211
(22)【出願日】2021-01-12
(71)【出願人】
【識別番号】321009373
【氏名又は名称】宮吉 尚明
(71)【出願人】
【識別番号】516022909
【氏名又は名称】河村 一郎
(71)【出願人】
【識別番号】520399291
【氏名又は名称】青井 孝敏
(72)【発明者】
【氏名】宮吉 尚明
(72)【発明者】
【氏名】河村 一郎
(72)【発明者】
【氏名】青井 孝敏
【テーマコード(参考)】
3C100
5L049
【Fターム(参考)】
3C100AA29
3C100AA59
3C100BB03
3C100BB12
3C100BB13
3C100BB15
3C100BB17
3C100BB34
3C100CC02
5L049CC03
(57)【要約】
【課題】従来、PLC等の制御装置によって実行される製造工場における製造工程の稼働データの収集及び稼働状況の監視を、画像認識処理で実現するための工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバを提供する。
【解決手段】製造工程の監視項目である製造機器、作業者、表示装置、又は製造加工物を含む監視画像を監視カメラ50が撮影し、LAN60を経由して工程監視装置103、104、105・・・が受信し、深層学習の画像認識処理で監視項目の稼働状態の変化を検出し監視項目更新データ及び工程監視データを生成し、また監視データベースに蓄積することで製造工程における稼働状況の監視を実現する。さらに、監視データ通信方法で監視項目更新データを工程監視サーバ300が受信し蓄積することで、1つ以上の製造ラインの各々に含まれる製造工程の稼働状況を遠隔監視することを実現する。
【選択図】
図28
【特許請求の範囲】
【請求項1】
製造工程に1以上の監視項目が含まれ、前記1以上の監視項目の各々は1の製造機器、1の作業者、製造設備に装備され稼働データを表示する1の表示装置、又は1以上の製造加工物のいずれか1つであり、ローカルエリアネットワークに接続された1以上の監視カメラが前記製造工程に備えられ、前記1以上の監視カメラの各々が撮影する時系列の監視画像に含まれる1以上の前記監視項目の少なくとも1つを監視対象として、前記ローカルエリアネットワークを経由して受信する前記監視画像を画像認識処理することで、前記製造工程における稼働データを生成し稼働状況を監視する工程監視装置であって、
前記ローカルエリアネットワークを経由してデータ通信を行う機能を有するデータ通信処理部と、
前記データ通信処理部を介して前記1以上の監視カメラの各々が撮影する前記監視対象の監視画像を予め定められた一定の時間間隔で入力し、前記データ通信処理部から前記監視対象の監視画像を入力した日付時刻を記録し、前記監視対象の監視画像から前記監視対象に含まれる1以上の前記監視項目の各々の部分画像を切出す監視項目抽出機能、及び前記監視項目抽出機能から入力される前記部分画像に対応する前記監視項目の稼働状態を認識する予め学習済みの深層学習による画像認識処理を実行し、稼働状態の変化が検出された時の前記監視項目を更新対象監視項目とし、前記更新対象監視項目の稼働データである監視項目更新データを生成し、前記製造工程に含まれる1以上の前記監視対象の各々を構成する1以上の前記監視項目の各々の前記監視項目更新データを含む工程監視データを生成する監視データ生成機能を具備する工程画像認識処理部と、
を備えることを特徴とする工程監視装置。
【請求項2】
請求項1に記載の工程監視装置において、補助記憶装置を具備し、前記監視項目更新データを前記補助記憶装置の監視データベースに記録し、及び前記監視データベースから検索する機能を有する監視データベース管理部がさらに設けられたことを特徴とする工程監視装置。
【請求項3】
請求項2に記載の工程監視装置において、モニタ表示要求の入力手段を有するコンソールを接続し、前記監視対象の構成、前記工程監視データの構成データ、及び前記監視データベースの記録データを前記コンソールに表示する機能を有するモニタリング処理部がさらに設けられたことを特徴とする工程監視装置。
【請求項4】
請求項1~3のいずれか1項に記載の工程監視装置において、前記製造工程の稼働状況を遠隔で監視又は制御する前記ローカルエリアネットワークに接続された遠隔監視制御装置に、前記監視項目更新データを前記データ通信処理部を介して送信する機能を有する監視データ送信部がさらに設けられたことを特徴とする工程監視装置。
【請求項5】
請求項2に記載の工程監視装置において、前記監視項目更新データを記録し及び検索する前記補助記憶装置の監視データベースのデータ構造であって、
前記製造工程に含まれる1以上の前記監視対象の各々を構成する1以上の前記監視項目の各々の監視項目更新データ履歴を含み、
前記監視項目更新データ履歴は、前記監視項目更新データ履歴の記録対象である前記監視項目の前記監視項目更新データの時系列の履歴を含み、
前記監視項目更新データ履歴に含まれる前記更新対象監視項目の稼働データである前記監視項目更新データは、前記更新対象監視項目の部分画像を含む前記監視対象の監視画像を前記監視項目抽出機能で入力した時の前記日付時刻及び前記更新対象監視項目の部分画像を含む前記監視対象の監視画像と、
前記更新対象監視項目の前記画像認識の結果を基に作成する前記更新対象監視項目の製造関連情報と、
前記更新対象監視項目の前記画像認識の結果とを含み、
制御部及び記憶部を有するコンピュータを備える前記製造工程を監視又は制御する監視制御装置に用いられ、前記記憶部は前記製造工程に含まれる1以上の前記監視対象の各々を構成する1以上の前記監視項目の各々の前記監視項目更新データ履歴を有し、前記記憶部から前記制御部が検索対象とする前記監視項目更新データ履歴に含まれる前記監視項目更新データの前記日付時刻を参照し、任意の日付時刻と比較し、前記任意の日付時刻以前で最新の日付時刻を有する前記監視項目更新データを探索することで、前記任意の日付時刻以前における前記検索対象とする前記監視項目更新データ履歴に含まれる最新の前記監視項目更新データを検索する監視データベースのデータ構造。
【請求項6】
請求項4に記載の工程監視装置において、前記遠隔監視制御装置に前記監視項目更新データを前記監視データ送信部から前記データ通信処理部を介して送信する監視データ通信方法であって、
前記監視項目更新データの送信の開始及び停止をする通信手順と、
前記監視項目更新データを前記データ通信処理部を介して前記遠隔監視制御装置に送信する通信手順と、
を備えることを特徴とする監視データ通信方法。
【請求項7】
製造工場において1つ以上の製造ラインの各々が1つ以上の製造工程で構成され、前記1つ以上の製造ラインの各々を構成する前記1つ以上の製造工程の少なくとも1つの製造工程の各々を監視する請求項4に記載の工程監視装置が備えられおり、前記工程監視装置が送信する前記監視項目更新データを前記ローカルエリアネットワークを経由して受信することで、前記製造工場に含まれる1つ以上の製造工程の各々の稼働データを収集し稼働状況を遠隔監視する工程監視サーバであって、
前記ローカルエリアネットワークに接続しデータ通信を行うサーバデータ通信処理部と、
前記工程監視装置が送信する前記監視項目更新データを前記サーバデータ通信処理部を介して受信しサーバ監視データに記録する機能を有するサーバ監視データ受信部と、
前記サーバ監視データ受信部で受信した前記監視項目更新データをサーバ監視データベースに記録し、及び前記サーバ監視データベースから検索する機能を有するサーバ監視データベース管理部と、
を備えることを特徴とする工程監視サーバ。
【請求項8】
請求項7に記載の工程監視サーバにおいて、モニタ表示要求を入力するコンソールを接続し、前記製造ラインの構成、前記サーバ監視データの構成データ、及び前記サーバ監視データベースの記録データを前記コンソールに表示する機能、並びに前記コンソールから前記工程監視装置による前記監視項目更新データの送信の開始及び停止の要求を入力する機能を有するサーバモニタリング処理部がさらに設けられたことを特徴とする工程監視サーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、製造工程の稼働データを収集し稼働状況を監視する工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバに関するものである。
【背景技術】
【0002】
従来、下記特許文献1に開示されるように、製造工場における製造工程の稼働データの収集及び稼働状況の監視は、製造設備と連動して装備されるプログラマブルロジックコントローラ(PLC:Programmable Logic Controllerの略称)等の制御装置で行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6443312号広報(段落番号0026~0047、
図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のPLC等の制御装置においては、製造工場における製造工程へのPLC等の制御装置の導入にあたって既存の製造設備の改修を伴う課題、及び、製造工場における製造工程が機械化又は自動制御化されていないためPLC等の制御装置を製造工程に導入できない課題があった。本発明は、既存の製造設備の改修を伴わずに製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現し、並びに、PLC等の制御装置の導入をできない製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現する工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明の工程監視装置は、1つ以上の監視項目を含み1つ以上の監視項目の各々が1台の製造機器、1人の作業者、製造設備に装備され稼働データを表示する1台の表示装置、又は1つ以上の製造加工物のいずれか1つである製造工程において、ローカルエリアネットワーク(LAN:Local Area Networkの略称)に接続された1台以上の監視カメラが上記製造工程に備えられ、1台以上の監視カメラの各々が撮影する時系列の監視画像に含まれる1つ以上の監視項目の少なくとも1つを監視対象として、上記LANを経由して受信する監視画像を画像認識処理することで、製造工程における稼働データを生成し稼働状況を監視する。工程監視装置は、データ通信処理部と工程画像認識処理部を備える。データ通信処理部は、LANを経由してデータ通信を行う機能を有する。工程画像認識処理部は、データ通信処理部を介して監視カメラが撮影する監視対象の監視画像を予め定められた一定の時間間隔で入力し、入力した監視画像の日付時刻を記録し、監視画像から監視対象に含まれる監視項目の各々の部分画像を切出す監視項目抽出機能、及び、監視項目抽出機能から入力される部分画像に対応する監視項目の稼働状態を認識する予め学習済みの深層学習による画像認識処理を実行し、稼働状態の変化が検出された時の監視項目を更新対象監視項目とし、更新対象監視項目の稼働データである監視項目更新データを生成し、製造工程に含まれる1つ以上の監視対象の各々を構成する1つ以上の監視項目の各々の監視項目更新データを含む工程監視データを生成する監視データ生成機能を有する。本発明の工程監視装置により、PLC等の制御装置を導入することなく製造工程における稼働データの収集及び稼働状況の監視を実現できる。
【0006】
好ましくはさらに、工程監視装置において、工程画像認識処理部で生成した工程監視データに含まれる監視項目更新データを補助記憶装置の監視データベースに記録し、及び監視データベースから検索する機能を有する監視データベース管理部を備えても良い。これにより、製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することで記録データ量、並びに記録及び検索の処理負荷を低減する監視データベースの構築を実現できる。
【0007】
好ましくはさらに、監視データベース管理部を備える工程監視装置において、モニタ表示要求の入力手段を有するコンソールを接続し、監視対象の構成、工程監視データの構成データ、及び監視データベースの記録データをコンソールに表示するモニタリング処理部を備えても良い。これにより、工程監視装置を用いて製造工程における稼働状況の可視化を実現できる。
【0008】
好ましくはさらに、工程監視装置、監視データベース管理部を備える工程監視装置、又は監視データベース管理部及びモニタリング処理部を備える工程監視装置のいづれか1つの工程監視装置において、製造工程の稼働状況を遠隔で監視又は制御する上記LANに接続される遠隔監視制御装置に監視項目更新データをデータ通信処理部を介して送信する監視データ送信部を備えても良い。これにより、当該遠隔監視制御装置において監視項目更新データを用いることで製造工程の遠隔監視を実現できる。
【0009】
上記課題を解決するため、本発明の監視データベースのデータ構造は、監視データベース管理部を備える工程監視装置において、監視項目更新データを記録し及び検索する補助記憶装置の監視データベースのデータ構造であって、製造工程に含まれる1つ以上の監視対象の各々を構成する1つ以上の監視項目の各々の監視項目更新データ履歴を含み、監視項目更新データ履歴は、監視項目更新データ履歴の記録対象である監視項目の監視項目更新データの時系列の履歴を含み、監視項目更新データ履歴に含まれる更新対象監視項目の稼働データである監視項目更新データは、更新対象監視項目の部分画像を含む監視対象の監視画像を監視項目抽出機能で入力した時の日付時刻及び当該監視画像、更新対象監視項目の画像認識の結果を基に作成する更新対象監視項目の製造関連情報、並びに更新対象監視項目の画像認識の結果を含む。監視データベースのデータ構造は、制御部及び記憶部を有するコンピュータを備える製造工程を監視又は制御する監視制御装置に用いられ、上記記憶部は製造工程に含まれる1つ以上の監視対象の各々を構成する1つ以上の監視項目の各々の監視項目更新データ履歴を有し、上記記憶部から上記制御部が検索対象とする監視項目更新データ履歴に含まれる監視項目更新データの日付時刻を参照し、任意の日付時刻と比較し、任意の日付時刻以前で最新の日付時刻を有する監視項目更新データを探索する。これにより、任意の日付時刻以前における検索対象とする監視項目更新データ履歴に含まれる最新の監視項目更新データを検索することを実現する。本発明の監視データベースのデータ構造を用いることで、監視項目更新データを記録及び検索することにより製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することにより記録データ量、並びに記録及び検索の処理負荷を低減する監視用データベースの構築を実現できる。
【0010】
上記課題を解決するため、本発明の監視データ通信方法は、監視データ送信部を備える工程監視装置、監視データ送信部及び監視データベース管理部を備える工程監視装置、又は、監視データ送信部、監視データベース管理部、及びモニタリング処理部を備える工程監視装置のいずれか1つの工程監視装置において、上記遠隔監視制御装置に更新対象監視項目の監視項目更新データを監視データ送信部からデータ通信処理部を介して送信する通信手順を有する。監視データ通信方法は、監視項目更新データの送信の開始及び停止をする通信手順と、監視項目更新データをデータ通信処理部を介して上記遠隔監視制御装置に送信する通信手順を備える。本発明の監視データ通信方法により、上記遠隔監視制御装置における遠隔監視を実現し、また、本発明の監視項目更新データのみを送信することで通信データ量及び通信処理負荷の低減を実現できる。
【0011】
上記課題を解決するため、本発明の工程監視サーバは、1つ以上の製造ラインの各々が1つ以上の製造工程で構成され、1つ以上の製造ラインの各々を構成する1つ以上の製造工程の少なくとも1つの製造工程の各々を監視する監視データ送信部を備える工程監視装置、監視データ送信部及び監視データベース管理部を備える工程監視装置、又は、監視データ送信部、監視データベース管理部、及びモニタリング処理部を備える工程監視装置のいずれか1つの工程監視装置が備えられている製造工場において、当該工程監視装置が送信する監視項目更新データをLANを経由して受信することで、製造工場に含まれる1つ以上の製造工程の各々の稼働データを収集し稼働状況を遠隔監視する。工程監視サーバは、LANを経由してデータ通信を行うサーバデータ通信処理部と、上記工程監視装置が送信する監視項目更新データをサーバデータ通信処理部を介して受信しサーバ監視データに記録する機能を有するサーバ監視データ受信部と、サーバ監視データ受信部が受信した監視項目更新データをサーバ監視データベースに記録し及びサーバ監視データベースから検索する機能を有するサーバ監視データベース管理部を備える。本発明の工程監視サーバにより、PLC等の制御装置を導入することなく製造工場に含まれる1つ以上の製造工程の各々における稼働データの収集、及び稼働状況の遠隔監視を実現できる。
【0012】
好ましくはさらに、工程監視サーバにおいて、モニタ表示要求の入力手段を有するコンソールを接続し、製造ラインの構成、サーバ監視データの構成データ、及びサーバ監視データベースの記録データをコンソールに表示する機能、並びにコンソールから工程監視装置による監視項目更新データの送信の開始及び停止の要求を入力する機能を有するサーバモニタリング処理部を備えても良い。これにより、製造工程の稼働データを収集する工程監視装置を選択し、1つ以上の製造工程の稼働状況を遠隔監視するモニタ表示を実現できる。
【発明の効果】
【0013】
上記のように構成された本発明の工程監視装置、監視データベースのデータ構造、監視データ通信方法、及び工程監視サーバによれば、PLC等の制御装置の導入に伴う既存の製造設備の改修を伴わずに製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現し、並びにPLC等の制御装置の導入をできない製造工場における製造工程の稼働データの収集及び稼働状況の監視を実現することができる。さらに、製造工場における製造工程から収集された稼働データを用いることで、製造工場における稼働状況の分析、予測、制御、及び管理を実行することができる。
【図面の簡単な説明】
【0014】
【
図1】工程監視装置、監視カメラ、製造工程、監視対象、及び監視項目の構成例である。
【
図2】監視項目の分類における製造機器、作業者、表示装置、及び製造加工物の例である。
【
図3】製造工程、監視対象、及び監視項目の構成例である。
【
図4】工程監視装置100の基本構成の機能ブロック図である。
【
図5】監視データベース管理部を備える工程監視装置101の機能ブロック図である。
【
図6】モニタリング処理部を備える工程監視装置102の機能ブロック図である。
【
図7】監視データ送信部を備える工程監視装置103の機能ブロック図である。
【
図8】監視データ送信部を備える工程監視装置104の機能ブロック図である。
【
図9】監視データ送信部を備える工程監視装置105の機能ブロック図である。
【
図10】工程監視装置のハードウェア構成図である。
【
図11】工程監視装置の工程画像認識処理部 監視項目抽出機能のフローチャートである。
【
図12】工程監視装置の工程画像認識処理部 監視データ生成機能のフローチャートである。
【
図13】工程監視装置の監視データベース管理部のフローチャートである。
【
図14】製造工程における監視対象及び監視項目の構成のモニタ表示例である。
【
図15】製造工程における監視対象及び監視項目の稼働状況のモニタ表示例である。
【
図16】工程監視装置の工程構成管理表のデータ構造例である。
【
図17】工程監視装置の監視対象構成表のデータ構造例である。
【
図18】工程監視装置の監視項目プロファイル表のデータ構造例である。
【
図19】工程監視装置の工程監視データのデータ構造例である。
【
図20】監視項目が製造機器である工程監視データのデータ構造例である。
【
図21】監視項目が作業者である工程監視データのデータ構造例である。
【
図22】監視項目が表示装置である工程監視データのデータ構造例である。
【
図23】監視項目が製造加工物である工程監視データのデータ構造例である。
【
図24】工程監視装置の監視データベースのデータ構造である。
【
図25】監視データ通信方法:監視項目更新データの送信の開始、及び停止の通信手順である。
【
図26】監視データ通信方法:監視項目更新データを送信する通信手順である。
【
図27】工程監視コマンドのフォーマット例である。
【
図28】工程監視サーバ、工程監視装置、監視カメラ、製造ライン、製造工程の構成例である。
【
図29】工程監視サーバ300の機能ブロック図である。
【
図30】工程監視サーバ301の機能ブロック図である。
【
図31】工程監視サーバのハードウェア構成図である。
【
図32】工程監視サーバのサーバ監視データベース管理部のフローチャートである。
【
図33】製造ライン及び製造工程の構成のモニタ表示例である。
【
図34】工程監視サーバのサーバ構成管理表のデータ構造例である。
【
図35】工程監視サーバのサーバ監視データのデータ構造例である。
【
図36】工程監視サーバのサーバ監視データベースのデータ構造例である。
【発明を実施するための形態】
【0015】
以下、本発明の具体的な実施形態を図面に基づいて詳細に説明する。以下に説明する実施形態は、本発明の実施形態の例を示したものであり、本発明の範囲が狭く限定されるものではない。
【0016】
<<工程監視装置、監視カメラ、製造工程、監視対象、及び監視項目の構成>>
図1は、工程監視装置、監視カメラ、製造工程、監視対象、及び監視項目の構成例である。
図2は、監視項目の分類における製造機器、作業者、表示装置、及び製造加工物の例である。
図3は、製造工程、監視対象、及び監視項目の構成例である。
【0017】
図1に示すように、製造工程20は1つ以上の監視項目を含む。
図2に示すように、監視項目の各々は、1台の製造機器、1人の作業者、製造設備に装備され稼働データを表示する1台の表示装置、又は1つ以上の製造加工物のいずれか1つである。LAN60に接続された1台以上の監視カメラ50が製造工程20に設置され、監視カメラ50の各々が撮影する時系列の監視画像に含まれる1つ以上の監視項目の少なくとも1つを監視対象として、工程監視装置100はLAN60を経由して受信する監視画像を画像認識処理することで、製造工程20における稼働データを生成し稼働状況を監視する。
【0018】
本実施形態例においては、
図1~3に示す製造工程、監視対象、及び監視項目の構成例に基づいて詳細に説明する。
図1に示すように、製造工程20は、監視対象31が監視項目41および監視項目42を含み、監視対象32が監視項目43及び監視項目44を含む構成例である。
図2に示すように、監視項目は1台の製造機器、1人の作業者、製造設備に装備され稼働データを表示する1台の表示装置、又は1つ以上の製造加工物の4種類に分類される。
図3に示すように、監視対象31が製造機器である監視項目41及び作業者である監視項目42を含み、並びに監視対象32が表示装置である監視項目43及び製造加工物である監視項目44を含む構成例である。
【0019】
本実施形態例の説明では、
図1及び
図3に示す製造工程20における監視対象31~32を「監視対象1」~「監視対象2」とも表記し、監視項目41~44を「監視項目1」~「監視項目4」とも表記して使用する。また、「監視項目1」を製造機器、「監視項目2」を作業者、「監視項目3」を表示装置、及び「監視項目4」を製造加工物である監視項目の例として使用する。
【0020】
<<工程監視装置100の基本構成>>
図4は、工程監視装置100の機能ブロック図である。
図4に示すように、工程監視装置100はデータ通信処理部110と工程画像認識処理部120とを備える。
【0021】
データ通信処理部110は、LAN接続を行う通信インタフェースとインターネット通信を実行するプロトコルスタックで構成する。
【0022】
工程画像認識処理部120は、監視項目抽出機能121及び監視データ生成機能122を備える。監視項目抽出機能121は、データ通信処理部100を介して監視カメラ50から受信した監視対象の各々の監視画像の日付時刻を記録し、監視対象に含まれる監視項目の各々の部分画像を抽出する。監視データ生成機能122は、監視項目抽出機能121で抽出した監視項目の部分画像に対して予め学習済みの深層学習の画像認識プログラムで画像認識処理を実行し、次表1に示す稼働状態の変化が検出された時の監視項目を更新対象監視項目とし、更新対象監視項目の稼働データである監視項目更新データを生成する。また、監視対象の各々に含まれる監視項目の各々の監視項目更新データを含む工程監視データ600を生成する。
【0023】
【0024】
<<工程監視装置100のハードウェア構成>>
図10は工程監視装置のハードウェア構成図である。工程監視装置は汎用のコンピュータ、又は専用ハードウェアで実装しても良い。
図10に示すように、工程監視装置100は中央演算処理装置であるCPU200(CPU:Central Processing Unitの略称)、メインメモリ201、画像処理装置であるGPU202(GPU:Graphics Processing Unitの略称)、入出力機器インタフェース203、LANインタフェース204、補助記憶装置210、及びシステムバス220を備えている。
【0025】
CPU200は、工程監視装置100の起動時に、基本ソフトウェア211、並びにデータ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212を補助記憶装置210からメインメモリに読込み実行する。
【0026】
メインメモリ201は、基本ソフトウェア211、並びにデータ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212の実行領域として用いられ、並びに工程構成管理表500、工程監視データ600、及び監視データベース650の作業用のメモリ領域として用いられる。
【0027】
GPU202は、工程画像認識処理部120の工程監視データ生成機能122で実行する深層学習の画像認識プログラムにより1つ以上の部分画像の画像処理を並列処理する。
【0028】
入出力機器インタフェース203は、補助記憶装置、モニタ表示装置等の入出力機器を接続しこれらの入出力機器を制御する。
【0029】
LANインタフェース204は、LAN60に接続するための通信インタフェースである。
【0030】
補助記憶装置210は、基本ソフトウェア211、データ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212、並びに工程構成管理表500を記憶するために用いられる。
【0031】
システムバス220は、CPU200、メインメモリ201、GPU202、入出力機器203、LANインタフェース204、及び補助記憶装置210を接続し、各接続コンポーネント間での制御信号及びデータの相互転送を行う共通バスとして使用される。
【0032】
なお、補助記憶装置230は、工程監視装置が監視データベース管理部130を有する場合、監視データベース650の補助記憶装置として接続する。コンソール240は、工程監視装置がモニタリング処理部140を有する場合、工程監視データ600又は監視データベース650の記録データのモニタ表示要求の入力及びモニタ表示を行うコンソールとして接続する。
【0033】
<<工程監視装置100 起動時の処理>>
工程監視装置100の起動時に、基本ソフトウェア211、並びにデータ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212を補助記憶装置210からメインメモリに読込み、これらプログラムの実行を開始する。
【0034】
また、監視コアプログラム212の実行に用いる基本情報を有する
図16の工程構成管理表500を補助記憶装置210からメインメモリに読込む。
図16に示す工程構成管理表500の詳細を、<<工程監視データ500のデータ構造>>で説明する。
【0035】
<<工程構成管理表500のデータ構造>>
図16は、工程監視装置の工程構成管理表500のデータ構造例である。本実施形態例の説明では、
図16に示す工程構成管理表500における監視対象構成511~512を監視対象1~監視対象2の監視対象構成として「監視対象1構成」~「監視対象2構成」とも表記し、監視項目プロファイル521~524を監視項目1~監視項目4の監視項目プロファイルとして「監視項目1プロファイル」~「監視項目4プロファイル」とも表記して使用する。
【0036】
図16に示すように、工程構成管理表500は監視対象構成表510及び監視項目プロファイル表520から構成され、製造工程20の監視対象及び監視項目の構成を管理する。
【0037】
図17は、工程監視装置の監視対象構成表510のデータ構造例である。
図17に示すように、製造工程20に含まれる監視対象の構成表である監視対象構成511、監視対象構成512、・・・を有する。監視対象構成は、監視対象を撮影する監視カメラ、監視対象に含まれる1つ以上の監視項目の各々の監視項目識別名、及び1つ以上の監視項目の各々の監視項目分類を管理する。監視対象構成511においては、カメラ1が監視対象1を撮影し、監視対象1が製造機器である監視項目1及び作業者である監視項目2から構成されていることを表す。監視対象構成表510は、工程画像認識処理部120における監視項目抽出機能121及び監視データ生成機能122の処理、並びに
図14~15のモニタ表示を行う処理で用いられる。
【0038】
なお、監視対象に含まれる監視項目が他の監視対象にも含まれて、当該監視項目の稼働状態を認識する同一の画像認識処理が重複して実行されることを避けるため、監視対象に含まれる監視項目が他の監視対象に重複して含まれないように監視対象の構成を設定しても良い。また、監視対象に含まれる監視項目が他の監視対象にも含まれて、当該監視項目の稼働状態を認識する異なる画像認識処理が実行される場合、当該監視項目に異なる監視項目識別名を付与し、異なる監視項目として他の監視対象に含まれるように監視対象の構成を設定しても良い。これにより、同一の監視項目における稼働状態を認識する異なる画像認識処理を実行することで、異なる種類の稼働データを収集することが可能となる。
【0039】
図18は、工程監視装置の監視項目プロファイル表520のデータ構造例である。監視項目プロファイルは監視対象構成表510の監視対象構成に含まれる監視項目ごとに作成される。監視項目プロファイル521は製造機器である監視項目1の監視項目1プロファイルであり、監視項目プロファイル522は作業者である監視項目2の監視項目2プロファイルである。監視項目プロファイル521~522に示すように、監視項目の作業シーケンス、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル521~522の製造機器及び作業者の管理情報を用いて、製造機器である監視項目1及び作業者である監視項目2を含む監視対象1の監視画像に対する監視項目抽出機能121及び監視データ生成機能122による画像処理を実行する。
【0040】
監視項目プロファイル523は表示装置である監視項目3の監視項目3プロファイルである。監視項目プロファイル523に示すように、監視項目の表示項目、表示項目の各々の属性、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル523の表示装置に関する管理情報を用いて、表示装置である監視項目3を含む監視対象2の監視画像に対する監視項目抽出機能121及び監視データ生成機能122による画像処理を実行する。
【0041】
監視項目プロファイル524は製造加工物である監視項目4の監視項目4プロファイルである。監視項目プロファイル524に示すように、監視対象の監視画像から部分画像を抽出する部分画像抽出時間間隔、監視対象の監視画像における部分画像の画像位置の座標値、及び監視項目の部分画像の画像認識処理を実行する画像認識プログラム名を管理する。監視項目プロファイル524の製造加工物に関する管理情報を用いて、製造加工物である監視項目4を含む監視対象2の監視画像に対する監視項目抽出機能121及び監視データ生成機能122による画像処理を実行する。
【0042】
<<工程監視装置100 監視項目抽出機能121の処理フロー>>
図11は、工程画像認識処理部120 監視項目抽出機能121のフローチャートである。
図11のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。
【0043】
監視項目抽出機能121の処理フローに関する本説明では、監視対象1の監視項目抽出処理を例として説明する。なお、同様の処理が複数の監視対象に対して並行して実行される。
図11に示すように、S101において、監視対象1の監視画像をデータ通信処理部110から入力する。監視対象1の監視画像の監視項目抽出機能121への入力は、監視対象1に含まれる監視項目の各々の部分画像抽出時間間隔の中で最小の部分画像抽出時間間隔を用いて実行する。当該最小の部分画像抽出時間間隔は、工程構成管理表500における監視対象1構成に含まれる監視項目1及び監視項目2の監視項目プロファイル521~522を用いて決定される。
【0044】
S102において、監視対象1の監視画像を監視項目抽出機能121へ入力した日付時刻を記録する。当該日付時刻は「年月日時分秒」、又は秒以下の単位で記録しても良い。本実施形態例の説明では、「年月日時分秒」を用いる。
【0045】
S103において監視項目抽出機能121は監視対象1の監視画像から監視項目1及び監視項目2の部分画像を抽出する。監視項目の各々の部分画像を抽出する時間間隔は、工程監視装置の処理負荷を低減するために、監視項目プロファイル521~522における部分画像抽出時間間隔以下で、監視対象1の監視画像を監視項目抽出機能121へ入力する時間間隔の整数倍で実行しても良い。部分画像の抽出は、監視項目プロファイル521~522における画像位置の座標値により実行する。
【0046】
S104において、順次、監視項目1及び監視項目2の部分画像を監視データ生成機能122に入力し、監視項目1及び監視項目2に対する深層学習の画像認識の処理を起動する。S105~109において、監視対象2に対して上記と同様の処理を実行する。
【0047】
なお、本実施形態例では、監視画像から部分画像を抽出する処理を、監視項目プロファイル520における画像位置の座標値を用いて実行するが、監視対象に含まれる監視項目各々に対して予め学習済みの深層学習による画像位置検出プログラムで実行しても良い。
【0048】
<<工程監視装置100 監視データ生成機能122の処理フロー>>
図12は、工程画像認識処理部120 監視データ生成機能122のフローチャートである。
図12のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。
【0049】
監視データ生成機能122の処理フローに関する本説明では、監視項目1の画像認識処理を例として説明する。なお、同様の処理が複数の監視項目に対して並行して実行される。
図12に示すように、S112において監視項目1の学習モデルを予め学習済みである深層学習の画像認識プログラムを用いて、監視項目1の部分画像の画像認識処理を実行する。S112では、監視項目の分類である製造機器、作業者、表示装置、及び製造加工物に対応する各々の画像認識処理を実行し、製造機器及び作業者の作業動作の認識、表示装置の表示内容の認識、並びに製造加工物の検出を実行する。
【0050】
監視項目1の学習モデルを予め学習済みである深層学習の画像認識プログラムは、
図10に示す補助記憶装置210に保存されている監視コアプログラム212に含まれており、工程監視装置100の起動時にメインメモリ201に読込まれ実行される。監視項目1の部分画像の画像認識処理は
図10に示すGPU202で並行処理される。
【0051】
S113においてS112の画像認識処理により稼働状態の変化が検出された場合、S114において更新対象監視項目である監視項目1の監視項目更新データを
図19に示す工程監視データ600に記録し更新する。当該監視項目更新データは、更新対象監視項目である監視項目1の部分画像を含む監視対象1の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像、監視項目1の監視データ生成機能122で生成した画像認識の結果を基に作成する監視項目1の製造関連情報、並びに当該画像認識の結果を有する。
【0052】
S114において、監視項目1の監視項目更新データの工程監視データ600への更新は、監視項目1の上記日付時刻及び上記監視画像を監視項目監視対象データ611の監視項目1監視対象データに記録し、監視項目1の上記製造関連情報を監視項目監視データ612の監視項目1監視データに記録し、並びに上記画像認識の結果を監視項目画像認識データ613の監視項目1画像認識データに記録することで実行される。同様の処理が監視項目2、監視項目3、監視項目4、・・・の各々に対して実行される。
図19に示す工程監視データ600の詳細を、<<工程監視データ600のデータ構造>>で説明する。
【0053】
S115は、工程監視装置100のLANインタフェース204を介して製造工程20を監視し又は制御する装置へ、工程監視データ600の構成データを送信するための処理機能を拡張する場合に用いる割込みイベントを起動する処理である。なお、S115では、当該処理機能が実装されていない場合、割込みイベントを起動しても割込みイベントの処理は実行されない。
【0054】
S116は、工程監視装置100の入出力機器インタフェース203を介して補助記憶装置に工程監視データ600の構成データを記録し蓄積する処理機能を拡張する場合に用いる割込みイベントを起動する処理である。なお、S116では、当該処理機能が実装されていない場合、割込みイベントを起動しても割込みイベントの処理は実行されない。
【0055】
<<工程監視データ600のデータ構造>>
図19は、工程監視装置の工程監視データ600のデータ構造例である。本実施形態例の説明では、
図19に示す工程監視データ600における監視項目更新データ610~640を監視項目1~監視項目4の監視項目更新データとして「監視項目1更新データ」~「監視項目4更新データ」とも表記し、監視項目監視対象データ611~641を監視項目1~監視項目4の監視項目監視対象データとして「監視項目1監視対象データ」~「監視項目4監視対象データ」とも表記し、監視項目監視データ612~642を監視項目1~監視項目4の監視項目監視データとして「監視項目1監視データ」~「監視項目4監視データ」とも表記し、監視項目画像認識データ613~643を監視項目1~監視項目4の監視項目画像認識データとして「監視項目1画像認識データ」~「監視項目4画像認識データ」とも表記して使用する。
【0056】
図19に示すように、工程監視データ600は監視対象に含まれる監視項目の監視項目更新データ610~640、・・・を含む。
図19に示す工程監視データ600の例では、監視項目更新データ610は、更新対象監視項目である監視項目1の部分画像を含む監視対象の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像を含む監視項目監視対象データ611、更新対象監視項目である監視項目1の監視データ生成機能122で生成した画像認識の結果を基に作成する監視項目1の製造関連情報を含む監視項目監視データ612、並びに当該画像認識の結果を含む監視項目画像認識データ613を有している。監視項目更新データ620~640も同様のデータ構造を有する。
【0057】
図20は、監視項目が製造機器である監視項目更新データのデータ構造例である。監視項目更新データ610の監視項目1更新データは、
図18の監視項目プロファイル521に示すように、作業シーケンスが予め定められている製造機器である監視項目1の監視項目更新データである。
【0058】
監視項目監視対象データ611の監視項目1監視対象データは、更新対象監視項目である監視項目1の部分画像を含む監視対象1の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像を含む。
【0059】
監視項目監視データ612の監視項目1監視データは、更新対象監視項目である監視項目1の監視データ生成機能122で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報の例として、作業シーケンスの作業項目、作業シーケンスを構成する作業項目の累積時間及び作業項目の平均時間、並びに作業サイクルの回数及び異常の回数を有する。当該製造関連情報では、稼働状態の変化が検出された時の作業項目と1つ前の作業認識結果である作業項目との時間差を1つ前の作業項目の累積時間に加算し、作業項目の作業シーケンスが一巡した場合は作業サイクルの回数に1を加算し作業項目の各々の累積時間を作業サイクルの回数で除算し平均時間に記録する。異常発生の場合は、1つ前の作業認識結果との時間差を異常の累積時間に加算し、異常の回数に1を加算し累積時間を異常の回数で除算し平均時間に記録する。
【0060】
監視項目画像認識データ613の監視項目1画像認識データは、更新対象監視項目である監視項目1の監視データ生成機能122で生成された画像認識の結果である作業認識結果を含む。
【0061】
図21は、監視項目が作業者である監視項目更新データのデータ構造例である。監視項目更新データ620の監視項目2更新データは、
図18の監視項目プロファイル522に示すように、作業シーケンスが予め定められている作業者である監視項目2の監視項目更新データである。製造機器である監視項目2の監視項目更新データ610のデータ構造例と同様であり、説明を省略する。
【0062】
図22は、監視項目が表示装置である監視項目更新データのデータ構造例である。監視項目更新データ630の監視項目3更新データは、
図18の監視項目プロファイル523に示すように、表示項目及び表示項目の属性が予め定められている表示装置である監視項目3の監視項目更新データである。
【0063】
監視項目監視対象データ631の監視項目3監視対象データは、更新対象監視項目である監視項目3の部分画像を含む監視対象2の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像を含む。
【0064】
監視項目監視データ632の監視項目3監視データは、更新対象監視項目である監視項目3の監視データ生成機能122で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報の例として、生産数、稼働状況、製造累積時間、製造平均時間、及び異常累積時間を有する。当該製造関連情報では、更新対象監視項目である監視項目3の監視データ生成機能122で生成した画像認識の結果である表示項目の認識データ、及び当該表示項目の認識データを基に作成する正常稼働の製造累積時間、製造平均時間、及び異常発生から正常稼働に復帰するまでの経過時間の異常累積時間を記録する。
【0065】
監視項目画像認識データ633の監視項目3画像認識データは、更新対象監視項目である監視項目3の監視データ生成機能122で生成した画像認識の結果である作業認識結果を含む。
【0066】
図23は、監視項目が製造加工物である監視項目更新データのデータ構造例である。監視項目更新データ640の監視項目4更新データは、製造加工物である監視項目4の監視項目更新データである。
【0067】
監視項目監視対象データ641の監視項目4監視対象データは、更新対象監視項目である監視項目4の部分画像を含む監視対象2の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像を含む。
【0068】
監視項目監視データ642の監視項目4監視データは、更新対象監視項目である監視項目4の監視データ生成機能122で生成した画像認識の結果を基に作成する製造関連情報を含む。当該製造関連情報として、製造加工物累積数、製造加工物異常累積数、製造累積時間、及び製造平均時間を有する。上記製造関連情報は、更新対象監視項目である監視項目4の画像認識の結果である製造加工物カウント数及び異常製造加工物カウント数を基に作成する製造加工物累積数、製造加工物異常累積数、製造累積時間、及び製造平均時間を記録する。
【0069】
監視項目画像認識データ643の監視項目4画像認識データは、更新対象監視項目である監視項目4の監視データ生成機能122で生成された画像認識の結果である製造加工物カウント数及び異常製造加工物カウント数の認識データを有する。
【0070】
<<監視データベース管理部130を備える工程監視装置101の構成>>
図5は工程監視装置101の機能ブロック図である。
図5に示すように、工程監視装置101は工程監視装置100の構成に監視データベース管理部130を備える構成である。以下においては、両者の異なる監視データベース管理部130を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置100と対応する箇所には、同一の符号を付して説明する。
【0071】
監視データベース管理部130は、工程監視データ600に含まれる更新対象監視項目の監視項目更新データを補助記憶装置230の監視データベース650に記録し、及び監視データベース650から検索する機能を実行する。
【0072】
監視データベース管理部130において、工程監視データ600に含まれる更新対象監視項目の監視項目更新データのみを記録することにより監視データベース650の記録データ量、並びに記録及び検索の処理負荷を低減することが可能となる。
【0073】
<<工程監視装置101のハードウェア構成>>
工程監視装置101は、
図10に示す工程監視装置100の構成に、監視データベース650を有する補助記憶装置230を備える構成である。
【0074】
また、補助記憶装置210は、基本ソフトウェア211、データ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212、並びに工程構成管理表500に加えて、監視データベース管理部130の機能を実現するプログラムを記憶する。
【0075】
<<工程監視装置101 起動時の処理>>
工程監視装置100の起動時の処理に加えて、監視データベース管理部130の機能を実現するプログラムを補助記憶装置210からメインメモリに読込み実行を開始する。
【0076】
<<工程監視装置101 監視データベース管理部130の処理フロー>>
図13は、監視データベース管理部130のフローチャートである。
図13のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。監視データベース管理部130は、S133において、工程監視データ600に含まれる更新対象監視項目の監視項目更新データを、
図24に示すデータ構造を有する監視データベース650に含まれる当該監視項目更新データに対応する監視項目更新データ履歴に追加して履歴を蓄積する。
図24に示すように、監視項目1において監視データ生成機能122で稼働状態の変化が検出された場合、工程監視データ600の監視項目更新データ610である監視項目1更新データを、監視データベース650に含まれる監視項目更新データ履歴660に監視項目更新データ661、662、・・・として追加して履歴を蓄積する。監視項目の各々において同様の処理を実行する。
図24に示す工程監視データベース650の詳細は、<<監視データベース650のデータ構造>>で説明する。
【0077】
また、S134において、監視データベース650の監視項目更新データ履歴660、670、680、・・・の各々に記録されている監視項目更新データに含まれる日付時刻を検索キーとして監視項目更新データを検索する。
【0078】
<<監視データベース650のデータ構造>>
図24は、工程監視装置の監視データベース650のデータ構造例である。本実施形態例の説明では、
図24に示す監視データベース650における監視項目更新データ履歴660~680を監視項目1~監視項目3の監視項目更新データ履歴として「監視項目1更新データ履歴」~「監視項目3更新データ履歴」とも表記して使用する。また、監視項目更新データ661~662を監視項目1の監視項目更新データとして「監視項目1更新データa」~「監視項目1更新データb」、監視項目更新データ671~672を監視項目2の監視項目更新データとして「監視項目2更新データa」~「監視項目2更新データb」、及び監視項目更新データ681~682を監視項目3の監視項目更新データとして「監視項目3更新データa」~「監視項目3更新データb」とも表記して使用する。
【0079】
図24に示すように、監視データベース650は監視項目1、監視項目2、監視項目3、・・・の各々に対応する監視項目更新データ履歴660の監視項目1更新データ履歴、監視項目更新データ履歴670の監視項目2更新データ履歴、監視項目更新データ履歴680の監視項目3更新データ履歴、・・・を含む。監視項目1更新データ履歴は工程監視データ600に含まれる監視項目1の監視項目1更新データを時系列に記録し蓄積する。監視項目2更新データ履歴、監視項目3更新データ履歴、・・・の各々においても同様の処理を実行する。
【0080】
監視項目1更新データ履歴は、監視項目1更新データを時系列に記録し蓄積した履歴であり、監視項目更新データ661の監視項目1更新データa、監視項目更新データ662の監視項目1更新データb、・・・の履歴を含む。監視項目2監視データ履歴、監視項目3更新データ履歴、・・・の各々においても同様である。
【0081】
監視項目更新データ履歴660の監視項目1更新データ履歴に含まれる監視項目更新データ661の監視項目1更新データa、監視項目更新データ662の監視項目1更新データb、・・・のデータ構造は、
図19に示す工程監視データ600に含まれる監視項目更新データ610である監視項目1更新データと同様のデータ構造を有する。監視項目更新データ履歴670、680、・・・の各々においても同様である。監視項目更新データの各々は、更新対象監視項目の部分画像を含む監視対象の監視画像を監視項目抽出機能121で入力した時の日付時刻及び当該監視画像を含む監視項目監視対象データ、監視データ生成機能122で生成した更新対象監視項目の画像認識の結果を基に作成する更新対象監視項目の製造関連情報を含む監視項目監視データ、並びに上記画像認識の結果を含む監視項目画像認識データを有する。
【0082】
本実施形態における監視データベース650のデータ構造は、制御部及び記憶部を有するコンピュータを備える製造工程を監視又は制御する監視制御装置において用いることができる。上記記憶部は監視データベース650のデータ構造を含む監視用データベースを有し、当該監視用データベースは監視対象の各々に含まれる監視項目の各々の監視項目更新データ履歴を有する。上記制御部が、上記記憶部の監視用データベースから検索対象とする監視項目更新データ履歴に含まれる監視項目更新データの日付時刻を参照し、任意の日付時刻と比較することで、当該任意の日付時刻以前で最新の日付時刻を有する監視項目更新データを探索する。上記処理により、当該任意の日付時刻以前における上記検索対象とする監視項目更新データ履歴に含まれる最新の監視項目更新データを検索する。
【0083】
図24に示す監視データベース650のデータ構造を用いることで、監視項目更新データを記録及び検索することにより製造工程における稼働状況の変化の履歴を蓄積し及び参照し、また、監視項目更新データのみを記録することにより記録データ量、並びに記録及び検索の処理負荷を低減する監視用データベースの構築を実現できる。
【0084】
<<モニタリング処理部140を備える工程監視装置102の構成>>
図6は工程監視装置102の機能ブロック図である。
図6に示すように、工程監視装置102は工程監視装置101の構成にモニタリング処理部140を備える構成である。以下においては、両者の異なるモニタリング処理部140を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置101と対応する箇所には、同一の符号を付して説明する。
【0085】
モニタリング処理部140を備えることにより、製造工程20に含まれる監視対象の構成、工程監視データ600の構成データ、及び監視データベース650の記録データをモニタ表示することで、製造工程における監視対象及び監視項目の稼働状況を可視化することが可能なる。
【0086】
<<工程監視装置102のハードウェア構成>>
工程監視装置102は、工程監視装置101の構成にコンソール240を備える構成である。
【0087】
また、補助記憶装置210は、基本ソフトウェア211、データ通信処理部110及び工程画像認識処理部120の機能を実現する監視コアプログラム212、監視データベース管理部130の機能を実現するプログラム、並びに工程構成管理表500に加えて、モニタリング処理部140の機能を実現するプログラムを記憶する。
【0088】
<<工程監視装置102 起動時の処理>>
工程監視装置101の起動時の処理に加えて、モニタリング処理部140の機能を実現するプログラムを補助記憶装置210からメインメモリに読込み実行を開始する。
【0089】
<<工程監視装置102 モニタリング処理部140の処理フロー>>
モニタリング処理部140は、工程構成管理表500、工程監視データ600、及び監視データベース650を参照しモニタ表示を実行する。
図14は、製造工程における監視対象及び監視項目の構成のモニタ表示例である。
図15は、製造工程における監視対象及び監視項目の稼働データのモニタ表示例である。
【0090】
起動時に、初期画面として
図14に示すモニタ表示141が表示される。起動後は、モニタ表示141は、ポインティングデバイス入力部142の「監視対象の構成」を選択することで表示される。
【0091】
図15に示すモニタ表示144について説明する。
図15に示すように、監視対象及び監視項目の稼働データのモニタ表示は、ポインティングデバイス入力部142又はキーボード入力部143から実行することができる。ポインティングデバイスでの入力は、ポインティングデバイス入力部142に表示されている監視対象又は監視項目のアイコンを選択することによって行う。キーボードでの入力は、キーボード入力部143に
図27に示す工程監視コマンド270の「DISPLAY」コマンドを用いて行う。ポインティングデバイス入力部142による入力の内容はキーボード入力部143に表示され入力の確認、修正および入力の追加が可能な機能を有する。なお、
図27に示す工程監視コマンド270を、<<工程監視コマンドのフォーマット>>で説明する。
【0092】
ポインティングデバイス入力部142の入力例として監視対象1と監視項目1を選択した場合、キーボード入力部143に「DISPLAY 製造工程識別名 -o 監視対象1 監視項目1」と入力表示される。さらに日付時刻指定を追加して入力する場合、キーボードからオプションフラグ「t」を付加し、「-t 日付時刻1」を入力する。これらの入力により、監視対象1の監視項目1において日付時刻1以前の最新の稼働状態がモニタ表示される。キーボードから同様の入力を行う場合、「DISPLAY 製造工程識別名 -o 監視対象1 監視項目1 -t 日付時刻1」を入力する。
【0093】
オプションフラグ「t」で日付時刻を指定する場合は、監視データベース650を参照してモニタ表示を実行する。「t」で日付時刻を指定しない場合は工程監視データ600を参照してモニタ表示を実行する。
【0094】
オプションフラグ「t」で「日付時刻1」を指定する場合、モニタ表示をする1つ以上の監視項目において、日付時刻1以前で最新の稼働状態を保有する当該監視項目の各々の監視項目更新データを監視データベース650から検索しモニタ表示する。
【0095】
オプションフラグ「t」で「日付時刻1:日付時刻2」を指定する場合、モニタ表示をする1つ以上の監視項目において、日付時刻1以前の最新の稼働状態を保有する当該監視項目の各々の監視項目更新データを監視データベース650から検索しモニタ表示する。次に、モニタ表示している当該監視項目の各々の監視項目更新データに含まれる日付時刻の中で最新の日付時刻を選択し、当該最新の日付時刻を超えて最も近い日付時刻を含む監視項目更新データを監視データベース650から検索し、当該監視項目更新データを有する監視項目のモニタ表示を更新する。上記モニタ表示の更新を上記最新の日付時刻が日付時刻2を超えない日付時刻まで実行する。
【0096】
<<監視データ送信部150を備える工程監視装置103~105の構成>>
図7~9は工程監視装置103~105の機能ブロック図である。
図7~9に示すように、工程監視装置103~105の各々は工程監視装置100~102の各々の構成に監視データ送信部150を備える構成である。
図7に示すように、工程監視装置103は工程監視装置100の構成に監視データ送信部150を有する構成である。
図8に示すように、工程監視装置104は工程監視装置101の構成に監視データ送信部150を有する構成である。
図9に示すように、工程監視装置105は工程監視装置102の構成に監視データ送信部150を有する構成である。以下においては、工程監視装置103及び工程監視装置100、工程監視装置104及び工程監視装置101、並びに工程監視装置105及び工程監視装置102の各々において両者の異なる監視データ送信部150を中心に説明し、同様の箇所については説明を省略する。また、工程監視装置103及び工程監視装置100、工程監視装置104及び工程監視装置101、並びに工程監視装置105及び工程監視装置102の各々において対応する箇所には、同一の符号を付して説明する。
【0097】
<<工程監視装置103~105のハードウェア構成>>
工程監視装置103は、工程監視装置100のハードウェア構成に加えて、補助記憶装置210に監視データ送信部150の機能を実現するプログラムを追加して記憶する。
【0098】
工程監視装置104は、工程監視装置101のハードウェア構成に加えて、補助記憶装置210に監視データ送信部150の機能を実現するプログラムを追加して記憶する。
【0099】
工程監視装置105は、工程監視装置102のハードウェア構成に加えて、補助記憶装置210に監視データ送信部150の機能を実現するプログラムを追加して記憶する。
【0100】
<<工程監視装置103~105 起動時の処理>>
工程監視装置103は、工程監視装置100の起動時の処理に加えて、監視データ送信部150の機能を実現するプログラムを補助記憶装置210からメインメモリに読込み実行を開始する。
【0101】
工程監視装置104は、工程監視装置101の起動時の処理に加えて、監視データ送信部150の機能を実現するプログラムを補助記憶装置210からメインメモリに読込み実行を開始する。
【0102】
工程監視装置105は、工程監視装置102の起動時の処理に加えて、監視データ送信部150の機能を実現するプログラムを補助記憶装置210からメインメモリに読込み実行を開始する。
【0103】
<<工程監視装置103~105 監視データ送信部150の処理フロー>>
監視データ送信部150は、
図25~26に示す監視データ通信方法で、工程監視データ600の監視項目更新データ610、620、630、640、・・・を工程監視装置103~105から製造工程20を遠隔で監視又は制御する遠隔監視制御装置250にLAN60を経由して送信する機能を有する。
【0104】
<<監視データ通信方法>>
図25~26は監視データ通信方法による監視項目更新データの通信手順例である。
図25は監視項目更新データの送信の開始及び停止の通信手順であり、並びに
図26は監視項目更新データを送信する通信手順である。
図25~26に示すように監視項目更新データの通信手順は、工程監視コマンド270であるRCVコマンド、SNDコマンド、ACKコマンドで実行される。
【0105】
なお、
図26における遠隔監視制御装置250の遠隔監視制御装置監視データ260のデータ構造は工程監視装置103~105の工程監視データ600のデータ構造を含む構成である。
【0106】
図25における監視項目更新データの送信の開始及び停止の通信手順例について以下に説明する。送信開始の通信手順は、
図25に示すように、S211において遠隔監視制御装置250が工程監視コマンド270のRCVコマンドにオプションフラグ「p」を付加し、監視項目更新データの送信要求「RCV 工程監視装置識別名 -p on」を工程監視装置103~105に送信する。工程監視装置103~105は、S201において上記RCVコマンドを受信後に監視項目更新データ 送信フラグをonに設定し、S202においてACKコマンドを遠隔監視制御装置250に送信することで送信開始の通信手順を完了したことを通知する。
【0107】
送信停止の通信手順は、
図25に示すように、S212において遠隔監視制御装置250が工程監視コマンド270のRCVコマンドにオプションフラグ「p」を付加し、監視項目更新データの送信停止要求「RCV 工程監視装置識別子 -p off」を工程監視装置103~105に送信する。工程監視装置103~105は、S203において上記RCVコマンドを受信後に監視項目更新データ 送信フラグをoffに設定し、S204においてACKコマンドを遠隔監視制御装置250に送信することで送信停止の通信手順を完了したことを通知する。
【0108】
監視項目更新データを送信する通信手順は、
図26に示すように、工程監視装置103~105において、S205で工程監視データ600が更新されデータ通信処理の割込みが発生し、S206で監視項目更新データの送信フラグがonに設定されている場合に、S207で監視項目更新データの送信が実行される。「SND 遠隔監視制御装置識別名」を含む監視コマンド部並びに「稼働状態が変化した監視項目の識別名及び当該監視項目の監視項目更新データ」を含む監視データ部を有するメッセージを作成して送信する。監視項目更新データの送信フラグがoffの場合は実行されない。
【0109】
S213において、遠隔監視制御装置250は監視項目更新データを受信し、遠隔監視制御装置監視データ260を更新し、S214においてACKコマンドを送信し監視項目更新データの受信を完了したことを通知する。
【0110】
上記監視データ通信方法により、工程監視装置103~105の工程監視データ600に含まれる監視項目更新データ610、620、630、640、・・・をLAN60を経由して送信することで、遠隔監視制御装置250による遠隔監視が可能となる。また、監視項目更新データのみを送信することで通信データ量及び通信処理負荷を低減して遠隔監視を実行することが可能となる。
【0111】
<<工程監視コマンドのフォーマット>>
図27は工程監視コマンドのフォーマット例である。コマンドの入力形式は、
図27に示すように、コマンド、コマンド対象、及びオプション入力から構成されている。コマンドは、監視データ通信方法により監視項目更新データを送信するための「RCV」及び「SND」、並びに工程監視データ600に含まれる構成データ、監視データベース650の記録データ、サーバ監視データ750に含まれる構成データ、及びサーバ監視データベース800の記録データをモニタ表示するための「DISPLAY」である。コマンド対象は、「RCV」及び「SND」の送信先の装置識別名、並びに「DISPLAY」のモニタ表示対象の製造工程識別名である。
【0112】
オプション入力は、「p」、「t」、及び「o」のオプションフラグから構成される。「p」は「RCV」及び「SND」のオプションフラグである。監視項目更新データの送信開始のon、又は送信停止のoffを指定する。
【0113】
「t」及び「o」は「DISPLAY」のオプションフラグである。オプションフラグ「t」は監視データベース650及びサーバ監視データベース800におけるモニタ表示する記録データの日付時刻を指定する。「o」は工程監視データ600、監視データベース650、サーバ監視データ750、及びサーバ監視データベース800におけるモニタ表示の項目を指定するオプションフラグである。
【0114】
「o」を「t」と共に用いる場合、監視データベース650に含まれる監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定し、又はサーバ監視データベース800に含まれる製造工程の各々の監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定する。「o」のみを入力する場合、工程監視データ600に含まれる監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定し、又はサーバ監視データ750に含まれる製造工程の監視対象及び監視項目を監視対象識別名及び監視項目識別名で指定する。
【0115】
<<工程監視サーバ、工程監視装置、監視カメラ、製造ライン、及び製造工程の構成>>
図28は、工程監視サーバ、工程監視装置、監視カメラ、製造ライン、及び製造工程の構成例である。
図28に示すように、製造工場において1つ以上の製造ラインの各々が1つ以上の製造工程で構成されており、1つ以上の製造ラインの各々を構成する1つ以上の製造工程の少なくとも1つの製造工程の各々を監視する工程監視装置103~105のいずれか1つの工程監視装置が備えられている。工程監視サーバ300は、当該工程監視装置が送信する更新対象監視項目の監視項目更新データをLAN60を経由して受信することで、製造工場に含まれる1つ以上の製造工程の各々の稼働データを収集し稼働状況を遠隔監視する。なお、上記監視項目更新データの監視項目監視対象データに含まれる日付時刻は、LAN60に接続されている上記の工程監視装置103~105の各々において同期されている日付時刻を用いられるものとする。
【0116】
図28に示す構成例では、製造ライン11が製造工程21及び製造工程22を備え、製造ライン12が製造工程23、・・・を備え、工程監視装置103が製造工程21を監視し、工程監視装置104が製造工程22を監視し、工程監視装置105が製造工程23を監視する構成である。本実施形態例の説明では、
図28に示す製造ライン11~12を「製造ライン1」~「製造ライン2」とも表記し、製造工程21~23を「製造工程1」~「製造工程3」とも表記し、工程監視装置103~105を「工程監視装置1」~「工程監視装置3」とも表記して使用する。
【0117】
なお、製造工程21、22、23、・・・の各々における監視対象及び監視項目の構成方法は、
図1に示す製造工程20と同様の構成方法である。製造工程21、22、23、・・・の各々は1つ以上の監視項目を含み、監視項目の各々は
図2の監視項目の分類に示す監視項目例の1台の製造機器、1人の作業者、1台の表示装置、又は1つ以上の製造加工物のいずれか1つである。
【0118】
また、監視カメラ50の各々が撮影する時系列の監視画像に含まれる1つ以上の監視項目の少なくとも1つを監視対象として、工程監視装置1、工程監視装置2、工程監視装置3、・・・の各々は製造工程21、22、23、・・・の各々における稼働データを収集し稼働状況を監視する。
【0119】
<<工程監視サーバ300の構成>>
図29は工程監視サーバ300の機能ブロック図である。
図29に示すように、工程監視サーバ300はサーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330を備える。
【0120】
サーバデータ通信処理部310は、LAN接続を行う通信インタフェースとインターネット通信を実行するプロトコルスタックで構成する。
【0121】
サーバ監視データ受信部320は、サーバデータ通信処理部310を介して、工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々から監視項目更新データを受信し、
図35に示すサーバ監視データ750に記録する。
【0122】
サーバ監視データベース管理部330は、サーバ監視データ受信部320を介して受信した上記監視項目更新データを補助記憶装置420の
図36に示すサーバ監視データベース800に記録し、及びサーバ監視データベース800から検索する機能を実行する。
【0123】
<<工程監視サーバ300のハードウェア構成>>
図31は工程監視サーバ300のハードウェア構成図である。
工程監視サーバ300は汎用のコンピュータ、又は専用ハードウェアで実装しても良い。
図31に示すように、工程監視サーバ300は中央演算処理装置であるCPU400、メインメモリ401、入出力機器インタフェース402、LANインタフェース403、補助記憶装置410、補助記憶装置420、及びシステムバス430を備えている。
【0124】
CPU400は、工程監視サーバ300の起動時に、基本ソフトウェア411、並びにサーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330の機能を実現する監視サーバコアプログラム412を補助記憶装置410からメインメモリに読込みこれらプログラムを実行する。
【0125】
メインメモリ401は、基本ソフトウェア411、並びにサーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330の機能を実現する監視サーバコアプログラム412の実行領域として用いられ、並びにサーバ監視データ750の作業用のメモリ領域として用いられる。
【0126】
入出力機器インタフェース402は、補助記憶装置410~420、コンソール440等の入出力機器を接続しこれらの入出力機器を制御するプログラムを実装する。
【0127】
LANインタフェース403は、LAN60に接続するための通信インタフェースである。
【0128】
補助記憶装置410は、基本ソフトウェア411、サーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330の機能を実現する監視サーバコアプログラム412を記憶するために用いられる。補助記憶装置420は、サーバ監視データベース800を記憶するために用いられる。
【0129】
システムバス430は、CPU400、メインメモリ401、入出力機器インタフェース402、LANインタフェース403、補助記憶装置410、及び補助記憶装置420を接続し、各接続コンポーネント間での制御信号及びデータの相互転送を行う共通バスとして用いられる。
【0130】
なお、コンソール440は、工程監視サーバ300がサーバモニタリング処理部340を有する場合、製造ラインの構成及び製造工程のモニタ表示を行い、並びに工程監視コマンド270の入力を行うコンソールとして接続する。
【0131】
<<工程監視サーバ300 起動時の処理>>
工程監視サーバ300の起動時に、基本ソフトウェア411、並びにサーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330の機能を実現する監視サーバコアプログラム412を補助記憶装置410からメインメモリに読込み、これらプログラムの実行を開始する。
【0132】
<<工程監視サーバ300 サーバ監視データ受信部320の処理フロー>>
サーバ監視データ受信部320は、工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々から監視項目更新データをサーバデータ通信処理部310を介して受信し、
図35に示すサーバ監視データ750における当該工程監視装置の各々に対応する監視項目更新データに記録する。サーバ監視データ750を、<<サーバ監視データ750のデータ構造>>で説明する。
【0133】
サーバ監視データ受信部320による上記処理は、
図25~26に示す監視データ通信方法で実行される。
図25~26において、遠隔監視制御装置250を工程監視サーバ300に置換え、遠隔監視制御装置監視データ260をサーバ監視データ750に置換えた上記監視データ通信方法で実行される。上記監視データ通信方法は、工程監視装置103~105の監視データ送信部150の処理フローにおける監視項目更新データの通信手順と同様であり、詳細の説明を省略する。
【0134】
サーバ監視データ受信部320における監視項目更新データの通信手順により、工程監視サーバ300において遠隔監視が可能となり、また監視項目更新データのみを受信することで通信データ量及び通信処理負荷を低減して遠隔監視を実行することが可能となる。
【0135】
<<サーバ監視データ750のデータ構造>>
図35は、サーバ監視データ750のデータ構造例である。本実施形態例の説明では、
図35に示すサーバ監視データ750における工程監視データ760~780を製造工程1~製造工程3の工程監視データとして「工程1監視データ」~「工程3監視データ」とも表記し、監視項目更新データ761~764を製造工程1の監視項目1である工程1監視項目1~製造工程1の監視項目4である工程1監視項目4の監視項目更新データとして「工程1監視項目1更新データ」~「工程1監視項目4更新データ」とも表記して使用する。
【0136】
サーバ監視データ750の工程監視データ760、770、780、・・・の各々は、製造工程1、製造工程2、製造工程3、・・・の各々に対応する工程監視データである。工程監視データ760、770、780、・・・の各々のデータ構造は、製造工程1、製造工程2、製造工程3、・・・の各々を監視する工程監視装置の工程監視データのデータ構造と同様であり、工程監視データ760、770、780、・・・の各々は製造工程1、製造工程2、製造工程3、・・・の各々を構成する監視項目の監視項目更新データを含む。
図35に示す監視項目更新データ761~764、・・・の各々は製造工程1を構成する工程1監視項目1~工程1監視項目4、・・・の各々の監視項目更新データである。
【0137】
<<工程監視サーバ300 サーバ監視データベース管理部330の処理フロー>>
図32は工程監視サーバにおけるサーバ監視データベース管理部330のフローチャートである。
図32のフローチャートは、電源オフや処理終了の割り込みにより処理は終了する。サーバ監視データベース管理部330は、工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々からサーバ監視データ受信部320を介して監視項目更新データを受信し、
図32のS333において、当該工程監視装置の各々に対応する
図36に示すサーバ監視データベース800の監視項目更新データ履歴に記録し蓄積する。
【0138】
工程監視装置103の工程監視装置1における監視項目更新データをサーバ監視データベース800に記録する場合、工程監視装置1に対応する監視データベース810の工程1監視データベースに含まれる監視項目更新データ履歴811に記録する。工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々から受信する監視項目更新データに対して、同様の処理を実行する。
【0139】
なお、当該工程監視装置の各々に対応するサーバ監視データベース800に含まれる監視データベース810、820、830、・・・のデータ構造は、監視データベース650と同様のデータ構造を有する。監視データベース810、820、830、・・・の各々は、対応する工程監視装置が監視する製造工程ごとに固有の監視データベースである。サーバ監視データベース800を、<<サーバ監視データベース800のデータ構造>>で説明する。
【0140】
また、S334において、サーバ監視データベース800に記録されている当該工程監視装置の各々の監視項目更新データの検索を実行する。監視データベース810、820、830、・・・の各々の監視項目更新データ履歴に記録されている監視項目更新データに含まれる日付時刻を検索キーとして検索する。
【0141】
監視装置103の工程監視装置1における監視項目更新データをサーバ監視データベース800から検索する場合、工程監視装置1に対応する監視データベース810の工程1監視データベースの監視項目更新データ履歴811に記録されている監視項目更新データに含まれる日付時刻を検索キーとして検索する。工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々の監視項目更新データに対して、同様の処理を実行する。
【0142】
サーバ監視データベース管理部330により、工程監視サーバ300が遠隔で管理する1台以上の工程監視装置の各々から受信する監視項目更新データのみをサーバ監視データベース800に記録することで、記録データ量、並びに記録及び検索の処理負荷を低減することが可能となる。さらに、当該工程監視装置が監視データベースを有する場合、サーバ監視データベース800により監視データベースの二重化を実現し信頼性を向上することが可能となる。
【0143】
<<サーバ監視データベース800のデータ構造>>
図36は、サーバ監視データベース800のデータ構造例である。本実施形態例の説明では、
図36に示すサーバ監視データベース800における監視データベース810~830を製造工程1~製造工程3の監視データベースとして「工程1監視データベース」~「工程3監視データベース」とも表記し、監視項目更新データ履歴811~814を製造工程1の監視項目1である工程1監視項目1~製造工程1の監視項目4である工程1監視項目4の監視項目更新データ履歴として「工程1監視項目1更新データ履歴」~「工程1監視項目4更新データ履歴」とも表記して使用する。
【0144】
サーバ監視データベース800の監視データベース810、820、830、・・・の各々は、製造工程1、製造工程2、製造工程3、・・・の各々に対応する監視データベースである。監視データベース810、820、830、・・・の各々のデータ構造は、監視データベース650と同様のデータ構造を有する。監視データベース810、820、830、・・・の各々は製造工程1、製造工程2、製造工程3、・・・の各々を構成する監視項目の監視項目更新データ履歴を含む。
図36に示す監視項目更新データ履歴811~814、・・・の各々は製造工程1を構成する工程1監視項目1~工程1監視項目4、・・・の各々の監視項目更新データ履歴である。
【0145】
<<サーバモニタリング処理部340を備える工程監視サーバ301の構成>>
図30は工程監視サーバ301の機能ブロック図である。
図30に示すように、工程監視サーバ301は工程監視サーバ300の構成にサーバモニタリング処理部340を備える構成である。以下においては、両者の異なるモニタリング処理部340を中心に説明し、同様の箇所については説明を省略する。また、工程監視サーバ300と対応する箇所には、同一の符号を付して説明する。
【0146】
サーバモニタリング処理部340を備えることにより、製造ライン11、12、・・・の構成、サーバ監視データ750の構成データ、及びサーバ監視データベース800の記録データをモニタ表示する。製造工程1、製造工程2、製造工程3、・・・における稼働状況を遠隔監視し、並びに監視項目更新データの送信の開始及び停止の要求を入力することで製造工程1、製造工程2、製造工程3、・・・における稼働データの収集を開始及び停止する。
【0147】
<<工程監視サーバ301のハードウェア構成>>
工程監視サーバ301は、工程監視サーバ300のハードウェア構成にコンソール440をさらに備える構成である。また、補助記憶装置410は、基本ソフトウェア411、サーバデータ通信処理部310、サーバ監視データ受信部320、及びサーバ監視データベース管理部330の機能を実現する監視サーバコアプログラム412に加えて、サーバ構成管理表700、及びサーバモニタリング処理部340の機能を実現するプログラムを記憶する。
【0148】
<<工程監視サーバ301 起動時の処理>>
工程監視サーバ300の起動時の処理に加えて、サーバモニタリング処理部340の機能を実現するプログラムを補助記憶装置410からメインメモリに読込み実行を開始する。
【0149】
また、サーバモニタリング処理部340の実行に用いる基本情報を有する
図34のサーバ構成管理表700をメインメモリに補助記憶装置410から読込む。サーバ構成管理表700について、<<サーバ構成管理表700のデータ構造>>で説明する。
【0150】
<<サーバ構成管理表700のデータ構造>>
図34は、サーバ構成管理表700のデータ構造例である。本実施形態例の説明では、
図34に示すサーバ構成管理表700における監視対象構成表720~740を製造工程1~製造工程3の監視対象構成表として「工程1監視対象構成表」~「工程3監視対象構成表」とも表記し、監視対象構成721を製造工程1の監視対象1の監視対象構成として「工程1監視対象1構成」とも表記して使用する。
【0151】
図34に示すように、サーバ構成管理表700は製造ライン構成管理表710、及び監視対象構成表720、730、740、・・・を含む。
【0152】
製造ライン構成管理表710は、製造ラインを構成する製造工程及び製造工程の各々を監視する工程監視装置の構成を管理する。
【0153】
監視対象構成表720、730、740、・・・の各々は、製造工程1、製造工程2、製造工程3、・・・の各々に対応する監視対象構成表である。監視対象構成表720、730、740、・・・の各々のデータ構造は、製造工程1、製造工程2、製造工程3、・・・の各々を監視する工程監視装置の監視対象構成表のデータ構造と同様である。監視対象構成表720、730、740、・・・の各々は製造工程1、製造工程2、製造工程3、・・・の各々を構成する監視対象の監視対象構成を含み、監視対象の監視画像を撮影する監視カメラ、監視対象に含まれる監視項目及び当該監視項目の分類を管理する。
【0154】
図34のサーバ構成管理表700の例では、製造ライン構成管理表710は、製造ライン1が製造工程1及び製造工程2から構成され、製造工程1が工程監視装置1に監視され、並びに製造工程2が工程監視装置2に監視されていることを表す。また、監視対象構成表720は製造工程1における監視対象構成を含み、監視対象構成721は、監視カメラの工程1カメラ1が監視対象の工程1監視対象1を撮影し、工程1監視対象1が製造機器である工程1監視項目1及び作業者である工程1監視項目2から構成されていることを表す。
【0155】
<<サーバモニタリング処理部340の処理フロー>>
サーバモニタリング処理部340は、サーバ構成管理表700、サーバ監視データ750、及びサーバ監視データベース800を参照し、工程監視サーバ301が監視する製造工程の稼働データのモニタ表示を実行する。
【0156】
起動時に、初期画面として製造ラインの構成である
図33に示すモニタ表示341が表示される。起動後は、モニタ表示341は、ポインティングデバイス入力部342の「製造ラインの構成」を選択することで表示される。
【0157】
サーバモニタリング処理部340による製造工程の監視対象及び監視項目のモニタ表示は、
図33のモニタ表示341から監視対象の構成である
図14のモニタ表示141に移行することで実行する。モニタ表示341からモニタ表示141への移行は、ポインティングデバイス入力部342で製造工程を選択することで実行する。サーバモニタリング処理部340による製造工程の監視対象及び監視項目のモニタ表示の処理は、モニタリング処理部140と同様の処理フローであるため、説明を省略する。
【0158】
また、サーバモニタリング処理部340は、工程監視コマンド270のRCVコマンド用いて監視項目更新データの送信開始要求である「RCV 工程監視装置識別子 -p on」、又は監視項目更新データの送信停止要求である「RCV 工程監視装置識別子 -p off」をキーボード入力部343から入力し、工程監視サーバ300が遠隔から管理する1台以上の工程監視装置の各々に対して監視項目更新データの送信の開始、又は停止をすることができる。サーバモニタリング処理部340から入力された上記送信開始要求又は送信停止要求はサーバデータ受信部320から当該工程監視装置の各々に送信される。
【符号の説明】
【0159】
10~12 製造ライン、20~23 製造工程
31~32 監視対象、41~44 監視項目
50 監視カメラ
60 ローカルエリアネットワーク(LAN)
71 製造機器、72 作業者、73 表示装置、74 製造加工物、75 製造設備、76~78 搬送装置
100~105 工程監視装置
110 データ通信処理部
120 工程画像認識処理部、121 監視項目抽出機能、122 監視データ生成機能
130 監視データベース管理部
140 モニタリング処理部
141、144、341 モニタ表示
142、342 ポインティングデバイス入力部、143、343 キーボード入力部
150 監視データ送信部
200、400 CPU、201、401 メインメモリ、202 GPU
203、402 入出力機器インタフェース
204、403 LANインタフェース
210、230、410、420 補助記憶装置
220、430 システムバス
211、411 基本ソフトウェア
212 監視コアプログラム、412 監視サーバコアプログラム
240、440 コンソール
250 遠隔監視制御装置、260 遠隔監視制御装置監視データ
270 工程監視コマンド
300、301 工程監視サーバ
310 サーバデータ通信処理部
320 サーバ監視データ受信部
330 サーバ監視データベース管理部
340 サーバモニタリング処理部
500 工程構成管理表
510、720、730、740 監視対象構成表
511、512、721 監視対象構成
520 監視項目プロファイル表、521~524監視項目プロファイル
600、760、770、780 工程監視データ
610、620、630、640、661、662、671、672、681、682、761~764 監視項目更新データ
611、621、631、641 監視項目監視対象データ
612、622、632、642 監視項目監視データ
613、623、633、643 監視項目画像認識データ
650、810、820、830 監視データベース
660、670、680、811~814 監視項目更新データ履歴
700 サーバ構成管理表
710 製造ライン構成管理表
750 サーバ監視データ
800 サーバ監視データベース