特許 7437961 監視制御装置、監視制御方法、監視システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】監視制御装置、監視制御方法、監視システム及びプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240216BHJP

【ＦＩ】

G06Q50/04

【請求項の数】 11

(21)【出願番号】P 2020020894

(22)【出願日】2020-02-10

(65)【公開番号】P2021128379

(43)【公開日】2021-09-02

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】佐藤 雄一郎

【審査官】宮地 匡人

(56)【参考文献】

【文献】特開２０１８－１９５０８３（ＪＰ，Ａ）

【文献】特開２００２－１３２３２４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００８－００４５３１８（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

撮影手段ごとに監視対象とする対象機器の識別情報と対応する画面中の領域とを保存した保存手段と、
ジョブごとの、該ジョブで用いる機器の状態を保持する保持手段と、
前記対象機器を含む映像を前記撮影手段により撮影し、前記対象機器に対応する前記領域を対象領域として所定の順序で監視する制御手段とを有し、
前記制御手段は、前記所定の順序に従って次の対象機器を特定し、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とする監視制御装置。

【請求項2】

請求項１に記載の監視制御装置であって、
前記制御手段はさらに、前記対象機器の状態が処理待ち状態であるジョブがあり、かつ、当該ジョブの前記対象機器で実行される工程の前に処理待ち状態の工程があれば、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とする監視制御装置。

【請求項3】

請求項２に記載の監視制御装置であって、
前記制御手段はさらに、前記対象機器が予め定めた種類の機器である場合には、前記対象機器を用いるジョブがすべて完了していれば、前記対象機器を前記制御手段により監視する
ことを特徴とする監視制御装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の監視制御装置であって、
前記制御手段は、
前記撮影手段により所定時間の映像を撮影し、
前記映像の撮影前の前記対象機器の状態に基づいて、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定し、
前記対象機器が特定されなかった場合には、前記映像の撮影後の前記対象機器の状態に基づいて、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とする監視制御装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の監視制御装置であって、
前記撮影手段により撮影した前記映像に基づいて、前記対象機器と対応する前記領域から前記対象機器に関するイベントを検出する検出手段をさらに有する
ことを特徴とする監視制御装置。

【請求項6】

請求項５に記載の監視制御装置であって、
前記検出手段は、前記映像から予め定めた対象を検出することでイベントを検出する
ことを特徴とする監視制御装置。

【請求項7】

請求項６に記載の監視制御装置であって、
前記予め定めた対象には、作業者または前記対象機器のランプの点灯を含む
ことを特徴とする監視制御装置。

【請求項8】

請求項５乃至７のいずれか一項に記載の監視制御装置であって、
検出した前記イベントを、該イベントをユーザインタフェースに表示する情報処理装置に対して送信する手段をさらに有する
ことを特徴とする監視制御装置。

【請求項9】

請求項８に記載の監視制御装置と、
監視対象の機器を撮影可能な撮像手段と、
前記監視制御装置から前記イベントを受信して該イベントをユーザインタフェースに表示する情報処理装置と
を有することを特徴とする監視システム。

【請求項10】

撮影手段ごとに監視対象とする対象機器の識別情報と対応する画面中の領域とを保存した保存手段と、
ジョブごとの、該ジョブで用いる機器の状態を保持する保持手段と、
前記対象機器を含む映像を前記撮影手段により撮影し、前記対象機器に対応する前記領域を対象領域として所定の順序で監視する制御手段としてコンピュータを機能させるためのプログラムであって、
前記制御手段は、前記所定の順序に従って次の対象機器を特定し、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とするプログラム。

【請求項11】

撮影手段ごとに監視対象とする対象機器の識別情報と対応する画面中の領域とを保存した保存手段と、ジョブごとの、該ジョブで用いる機器の状態を保持する保持手段とを有する監視制御装置が、
前記対象機器を含む映像を前記撮影手段により撮影し、
前記対象機器に対応する前記領域を対象領域として所定の順序で監視することを特徴とする監視制御方法であって、
前記所定の順序に従って次の対象機器を特定し、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とする監視制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、たとえばネットワークカメラによる印刷工場稼働状況などの収集に関する監視制御装置、監視制御方法、監視システム及びプログラムに関する。

【背景技術】

【0002】

現在、印刷工場内の機器稼働状況及び作業員の作業実施状況を収集、分析することで、生産性向上のための改善活動への利用が求められている。印刷工場で使用されるプリンタは、ネットワーク経由で機器の稼働状況を管理システムであるワークフローシステムに通知、収集可能である。しかし、機器稼働に関連する前処理作業や後処理作業については、プリンタを通して作業状況の自動収集ができない。前処理作業の例としては、作業指示書やデータの確認、機材や用紙の準備、試し出しなどがある。後処理作業の例としては、検品、指示書とのつき合わせなどがある。

【0003】

これらネットワーク経由で稼働情報が取得できない作業については、開始および終了などの作業情報をモバイル端末で入力し、入力した情報を情報収集サーバーに送信し保持する仕組みが提案されている（特許文献１）。しかしこの方法では、作業者の負担がかかる上に、作業者のタイミングによって入力されるため正確な時間が記録されるとは限らない。

【0004】

一方、印刷工場の稼働状況を収集するため、ネットワークカメラによる稼働監視が考えられる。ネットワークに接続されたカメラでプリンタや後加工機のコントロールパネル表示やパイロットランプの点灯状態、機器周辺での作業者の状況を撮影し、その稼働状況の変化を検出し、イベントとして収集する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－８１７１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ネットワークカメラで、撮影した複数の機器が映った映像を解析して稼働状況の収集を行う場合、解析対象の機器が大量にあるとすべての領域を解析するための処理時間が増大してしまう。一方、前処理作業を含む生産性の管理が求められていることから、プリンタから情報収集できない前処理作業の情報を収集する必要性も高い。そのため、単純にすべての機器の領域の映像解析をすると効率的に前工程作業の情報を収集できないという課題がある。また、注文の状況次第では使用されない機器がある。例えばリーフレットの場合、製本機は使用されないため、常にすべての映像の解析を行うと、製本機の周辺で前処理作業に似た作業が行われていると、当該機器が使用されないような状況であっても前処理作業が行われたと誤検知してしまう場合がある。

【0007】

本発明は上記従来例に鑑みて成されたもので、監視対象の機器のステータスに応じて監視対象を切り替えることで、監視対象の機器の状態変化の見逃しおよび誤検知を低減することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明は以下の構成を有する。すなわち、本発明の一側面によれば、撮影手段ごとに監視対象とする対象機器の識別情報と対応する画面中の領域とを保存した保存手段と、
ジョブごとの、該ジョブで用いる機器の状態を保持する保持手段と、
前記対象機器を含む映像を前記撮影手段により撮影し、前記対象機器に対応する前記領域を対象領域として所定の順序で監視する制御手段とを有し、
前記制御手段は、前記所定の順序に従って次の対象機器を特定し、特定した前記対象機器の状態が処理待ち状態であるジョブがなければ、前記所定の順序に従って前記対象機器の次の機器を対象機器として特定する
ことを特徴とする監視制御装置が提供される。

【発明の効果】

【0009】

本発明によれば、監視対象の機器のステータスに応じて監視対象を切り替えることで、監視対象の機器の状態変化の見逃しおよび誤検知を低減することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態のイベント収集システムの全体構成を示す図である。

【図2】本実施形態のハードウェア構成を示す図である。

【図3】本実施形態のソフトウェア構成を示す図である。

【図4】本実施形態のイベント検出方法及び検出判定方法を説明するフローチャートである。

【図5】本実施形態の稼働状況画面生成方法を説明するフローチャートである。

【図6】本実施形態の稼働状況画面の例を示す図である。

【図7】実施形態２の検出判定方法を説明するフローチャートである。

【図8】実施形態３のカメラ管理システム１０２のソフトウェア構成を示す図である。

【図9】実施形態３の検出判定方法を説明するフローチャートである。

【図10】本実施形態のネットワークカメラ１０３の撮影映像の例を示す図である。

【発明を実施するための形態】

【0011】

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

＜システム構成＞
図１は本実施形態のイベント収集システムの構成を示すブロック図である。
イベント収集システムは、ワークフローシステム１０１、カメラ管理システム１０２、ネットワークカメラ１０３、プリンタ１０４、後加工機１０５、ＤＢ１０６がネットワーク１００を介して通信可能に構成されている。ここでは、プリンタ１０４はワークフローシステム１０１とネットワーク接続されている。印刷後の後加工（断裁や製本等）を行う後加工機１０５は複数あり、それぞれネットワーク接続されている例を説明する。ただし、プリンタ１０４は複数であってもよし、後加工機１０５は複数でなくてもよい。ネットワークは例えば、インターネット等のＬＡＮ、ＷＡＮ、電話回線等により実現されるいわゆる通信ネットワークであり、データの送受信が可能であればよい。なおイベント収集システムは、監視対象の機器を監視する監視システムということもできる。

【0013】

ワークフローシステム１０１は、プリンタ１０４による印刷や後加工機１０５による後加工処理の管理を行うシステムであり、注文品生産のための印刷データ、印刷設定、後加工機の機器設定、工程情報を含むジョブ情報を管理する。また、ワークフローシステム１０１はプリンタ１０４や後加工機１０５から機器稼働状態および工程の開始、終了の指示を受け取り、それを管理する。

【0014】

ワークフローシステム１０１は、情報処理装置により実行されるプログラムで実現されてよい。ワークフローシステム１０１は、たとえば元となる文書データや書式（印刷設定）、後処理設定などの情報に基づいて、ネットワークで接続された機器に送信する印刷ジョブや後処理ジョブを生成し、各機器に送信する。さらに処理手順を指示するための指示書を生成し、印刷物やデータとしてオペレータに提示する。オペレータはその指示書に従って例えば各機器による印刷や後処理のための準備すなわち前処理作業を行い、対象の工程を実行させる。前処理作業には、たとえば前段の機器の出力物を指示に従って移動し、次段の機器の所定箇所に載置することなどが含まれる。なお本実施形態では、１つの文書を印刷物の製品に仕上げるまでの一連の工程をジョブと呼び、ジョブに含まれる加工の単位を工程と呼んでいる。しかしながら、ある工程がプリンタや後加工機で実施される場合には、その工程についてワークフローシステムにより生成される作業指示情報またそれに基づく処理を「ジョブ」と呼ぶことがある。例えば印刷ジョブや後加工機による加工ジョブなどである。

【0015】

カメラ管理システム１０２は複数のネットワークカメラ１０３を管理し、ネットワークカメラ１０３に対して撮影の指示および撮影された映像の受信を行う。また、カメラ管理システム１０２は受信した映像からプリンタ１０４および後加工機１０５の各機器に対する前処理作業の有無を検出し、それをイベントとしてＤＢ１０６へ送信する。カメラ管理システム１０２は、情報処理装置により実行されるプログラムで実現されてよい。カメラ管理システムは監視制御システムによる監視機能を制御するもので、監視制御装置と呼ぶこともでき、それにより実行される処理により監視制御方法を実施する。

【0016】

プリンタ１０４は、ワークフローシステム１０１から印刷データおよび印刷設定を受信し、印刷を行う。それととともに、自身の機器状態（実行中、正常終了、エラー終了、待機状態等）をジョブと工程を特定できる情報とともにワークフローシステム１０１に送信する。後加工機１０５は、ワークフローシステム１０１から後加工機の機器設定を受け取り、後加工処理を行う。それとともに、自身の機器状態（実行中、正常終了、エラー終了、待機状態等）をジョブと工程を特定できる情報とともにワークフローシステム１０１に送信する。ＤＢ１０６はカメラ管理システム１０２からのイベントを受信し、それを保持する。また、ＤＢ１０６は不図示のクライアントＰＣからのリクエストに応じてワークフローシステム１０１のジョブ情報とイベントから印刷工場の稼働状況を確認できる画面を生成する。

【0017】

＜ハードウェア構成＞
図２（ａ）は、図１のワークフローシステム１０１、カメラ管理システム１０２、ＤＢ１０６のハードウェア構成を示すブロック図である。
２０１はユーザインタフェースであり、ディスプレイ、キーボード、マウス、タッチパネルなどによる、情報の入出力を行う。２０３はネットワークインタフェースであり、ＬＡＮなどのネットワーク１００に接続して、他のコンピュータやネットワーク機器との通信を行う。２０４はＲＯＭで、組込済みプログラムおよびデータが記録されている。２０５は一時メモリ領域のＲＡＭである。２０６はＨＤＤに代表されるような二次記憶装置である。２０２はＣＰＵであり、ＲＯＭ２０４、ＲＡＭ２０５、二次記憶装置２０６などから読み込んだプログラムを実行する。各部はバス２０７を介して接続されている。

【0018】

図２（Ｂ）は、図１のネットワークカメラ１０３のハードウェア構成を示すブロック図である。２１１はユーザインタフェースであり、リモートシェルなどにより、他のコンピュータから接続・操作することができる。２１３はネットワークインタフェースであり、ＬＡＮなどのネットワークに接続して、他のコンピュータやネットワーク機器との通信を行う。２１４はＲＯＭで、組込済みプログラムおよびデータが記録されている。２１５は一時メモリ領域のＲＡＭである。
２１６はＨＤＤに代表されるような二次記憶装置である。２１３はＣＰＵであり、ＲＯＭ２１４、ＲＡＭ２１５、二次記憶装置２１６などから読み込んだプログラムを実行する。２１７はＣＣＤ等を備える撮像部であり、撮像対象を撮像して得られる映像を二次記憶装置２１６に記憶させる。各部はバス２１８を介して接続されている。

【0019】

図２（Ｃ）は、図１のプリンタ１０４のハードウェア構成を示すブロック図である。２２１はユーザインタフェースであり、ディスプレイ、キーボード、タッチパネルなどによる、情報の入出力を行う。２２３はネットワークインタフェースであり、ＬＡＮなどのネットワーク１００に接続して、他のコンピュータやネットワーク機器との通信を行う。２２４はＲＯＭで、組込済みプログラムおよびデータが記録されている。２２５は一時メモリ領域のＲＡＭである。２２６はＨＤＤに代表されるような二次記憶装置である。２２２はＣＰＵであり、ＲＯＭ２２４、ＲＡＭ２２５、二次記憶装置２２６などから読み込んだプログラムを実行する。２２７は印刷エンジンであり、紙（シート）へデータの印刷を行う。各部はバス２２８を介して接続されている。後加工機１０５は、図２（C）の構成のうち印刷エンジン２２７を後加工のためのデバイスに置き換えた構成を有していてよい。

【0020】

＜ソフトウェア構成＞
図３は図１に示したワークフローシステム１０１、カメラ管理システム１０２、ネットワークカメラ１０３、プリンタ１０４、後加工機１０５およびＤＢ１０６それぞれのソフトウェア構成を示す図である。以下これらの動作について説明する。これらの動作は、各装置のメモリに保存されたブログラムをＣＰＵが実行することにより実現される。

【0021】

●ワークフローシステム
ワークフローシステム１０１は、ジョブ管理部３０１、通信部３０２、印刷ジョブ送信部３０３を有する。ワークフローシステム１０１のジョブ管理部３０１は注文生産品を生産するための生産工程に関する情報をジョブ情報として管理する。表１にジョブ管理部３０１で管理されるジョブ情報の一部の例を示す。尚、ここでは、説明のために、ジョブが３つの例を示すが、ジョブ情報は、例えば、その日に処理すべき多くのジョブに関する情報であることが多い。

【0022】

【表1】

【0023】

ジョブ情報はワークフローシステム１０１で管理される注文生産品の生産工程および生産状況を管理するデータテーブルであり、ジョブＩＤ、工程ＩＤ、デバイスＩＤ、ステータス、開始日時、終了日時で構成される。

【0024】

ジョブＩＤはワークフローシステム１０１で管理している注文生産品を識別するＩＤであり、後述する複数の工程ＩＤで構成される。工程ＩＤはプリンタ１０４での印刷や後加工機１０５での製本、断裁等の処理といったジョブを構成する作業工程を一意に識別するＩＤである。工程には順番があり、本実施形態においてその順番は工程ＩＤの大小を比較することで判別可能なものとする。表Ａの例によれば３個の注文生産品を生産するためのジョブが存在し、ジョブ「ｊｏｂ＿００１」については工程「ｐ＿００１」、「ｐ＿００２」がこの順番で構成され、それ以外のジョブは単一の工程で構成されている。

【0025】

デバイスＩＤは作業工程で使用されるプリンタ１０４、後加工機１０５の機器を一意に識別するＩＤである。ステータスは作業工程の実施状態を表す。
本実施形態においてはステータスとして作業工程の開始前状態の「処理待ち」、プリンタ１０４および後加工機１０５による動作中状態の「実行中」、作業工程が完了した状態の「正常終了」があるが、それ以外のステータスであってもよい。

【0026】

開始日時は作業工程の作業開始日時、終了日時は作業工程の作業終了日時であり、後述するプリンタ１０４や不図示のクライアントＰＣからの機器稼働状況通知リクエストにより前記ステータスの変更とともに追加する。

【0027】

また、ジョブ管理部３０１はプリンタ１０４や不図示のクライアントＰＣからデバイスＩＤ、機器稼働状況及び工程ＩＤを含む機器稼働状況通知リクエストを受信する。そして、受信した機器稼働状況通知リクエストの内容に応じてジョブ情報のステータス、開始日時、終了日時を更新する。

【0028】

例えば、プリンタ１０４は、ジョブＩＤが「ｊｏｂ＿００１」であり、工程ＩＤが「ｐ＿００１」の印刷ジョブをワークフローシステム１０１から受信し、印刷処理を実行する。プリンタ１０４で印刷処理が開始されると、プリンタ１０４は自身の機器状態の変更（あるいは変化）をイベントとして検知する。そしてそのイベントに応じて、デバイスＩＤ「Ｄｅｖｉｃｅ＿Ａ」、ジョブＩＤ「ｊｏｂ＿００１」、工程ＩＤ「ｐ＿００１」、機器稼働状況「印刷中」を含む機器稼働状況通知リクエストを送信する。この時ジョブ管理部３０１はジョブ情報からジョブＩＤおよび工程ＩＤが一致するレコードを検索し、該当するレコードのステータスが「処理待ち」だった場合は当該作業工程が動作中状態になったとし、当該レコードのステータスを「実行中」に変更する。合わせてジョブ管理部３０１はステータスが「実行中」に変更した時刻であるリクエスト受け付け時刻を開始日時に設定する。一方該当するレコードがなければ、新たにレコードを追加して受信した情報の各項目の値を登録する。

【0029】

また、プリンタ１０４は印刷処理を完了すると、そのイベントに応じて自身のデバイスＩＤ「Ｄｅｖｉｃｅ＿Ａ」、ジョブＩＤ「ｊｏｂ＿００１」、工程ＩＤ「ｐ＿００１」、機器稼働状況「印刷終了」を含む機器稼働状況通知リクエストを送信する。この時ジョブ管理部３０１はジョブ情報からジョブＩＤおよび工程ＩＤが一致するレコードを検索、当該レコードのステータスが「実行中」だった場合は当該作業工程が完了状態になったとし、当該レコードのステータスを「正常終了」に変更する。合わせてジョブ管理部３０１はステータスが「正常終了」に変更した時刻であるリクエスト受け付け時刻を終了日時に設定する。

【0030】

後加工機１０５についても、プリンタ１０４と同様、イベントの発生に応じてネットワーク経由で稼働状況通知リクエストを送信する。尚、本実施形態では、後加工機１０５はネットワーク接続されている例を示すが、ネットワーク経由で稼働状況通知リクエストが送信できない後加工機１０５についても対応可能である。ネットワーク接続されていない後加工機１０５は、作業者が不図示のタブレットやクライアントＰＣから稼働状況通知リクエストを作成、送信する。

【0031】

また、ジョブ管理部３０１はカメラ管理システム１０２およびＤＢ１０６からのジョブ情報取得リクエストを受信し、ジョブ情報をレスポンスとして送信する。

【0032】

印刷ジョブ送信部３０３は通信部３０２を通じてジョブＩＤ、工程ＩＤとともに印刷データを印刷ジョブとしてプリンタ１０４に送信することで印刷指示を行う。加工ジョブ送信部３０４は通信部３０２を通じてジョブＩＤ、工程ＩＤとともに後加工機の機器設定を加工ジョブとして後加工機１０５に送信することで加工指示を行う。

【0033】

●カメラ管理システム
カメラ管理システム１０２はカメラ操作指示部３１１、映像受信部３１２、通信部３１３、映像解析部３１４、イベント送信部３１５、監視先情報管理部３１６、検出制御部３１７を有する。

【0034】

カメラ操作指示部３１１は通信部３１３を通じてネットワークカメラ１０３へ撮影指示を行い、映像受信部３１２はネットワークカメラ１０３からの撮影された映像すなわち撮影映像を受信する。受信した撮影映像は映像解析部３１４で人物検知や機器コントロールランプの点灯検知等の映像解析を行い、前処理作業が実行中かどうかの前処理作業状況を判定する。イベント送信部３１５は前処理作業状況の判定結果と後述するデバイスＩＤ、時刻をイベントとして通信部３１３を通じてＤＢ１０６に送信する。

【0035】

表２に監視先情報管理部３１６で管理される監視先情報の例を示す。

【0036】

【表2】

【0037】

監視先情報はカメラ管理システム１０２で管理されるネットワークカメラ１０３と監視対象のデバイスを、映像の領域、映像解析方法とともに監視先として管理するデータテーブルであり、カメラＩＤ、監視先デバイスＩＤ、領域、解析方法で構成される。

【0038】

カメラＩＤはカメラ管理システム１０２が管理するネットワークカメラ１０３を一意に識別するＩＤである。監視先デバイスＩＤは前述のカメラＩＤ、領域で特定されるプリンタ１０４、後加工機１０５を一意に識別するＩＤである。すなわち監視先デバイスＩＤは、監視対象の機器の識別情報である。領域はネットワークカメラから取得した映像の画面中の領域の値を保持する。この値は、たとえば監視対象の機器とその周辺など、解析対象の領域が含まれた矩形領域の対角点を構成する2点の座標を示していてよい。もちろんより複雑な形状の領域を示す輪郭点の座標であってもよいし、他の方法で示されていてもよい。この領域に対し、後述する解析処理を行うことで監視先デバイスＩＤにおける前処理作業が行われたかの検出が可能となる。解析方法は撮影映像の解析処理であり、どの解析処理を用いて前処理作業の有無の検出を行うかを示す。あるいは解析方法は、検出対象を示しているともいえる。

【0039】

解析方法は例えば「人物検出」の場合、映像内に人物を検出した時間を前処理作業時間であると判定し、「ランプ点灯検出」の場合、機器カバー開閉状態ランプなどのランプが点灯している時間を前処理作業時間であると判定する処理を指定するものである。

【0040】

表２の例の場合、カメラＩＤ「Ｃａｍ＿Ａ」で撮影した映像では機器「Ｄｅｖｉｃｅ＿Ａ」、「Ｄｅｖｉｃｅ＿Ｂ」、「Ｄｅｖｉｃｅ＿Ｃ」の３つの機器について前処理作業の検出を行う監視先が関連付けられている。例えば1行目の監視先は、「Ｃａｍ＿Ａ」で撮影された映像の領域「（１２０，６５），（１００，１００）」内でその映像から人物が検出された時間を特定し、それを機器「Ｄｅｖｉｃｅ＿Ａ」で行われた前処理作業時間だと判定する解析方法が設定されている。

【0041】

検出制御部３１７は、原則的には監視先情報に応じてネットワークカメラ１０３による監視対象の撮影と監視対象の領域の映像解析とを制御する。それに加えて、ワークフローシステム１０１からジョブ情報を取得し、前述の監視先情報に含まれる機器のうち、どの機器に対する映像の解析を行うかどうかを判断する。すなわち、監視対象として設定されている機器であっても、ジョブ情報に応じて、その機器に対応する映像領域の解析をスキップする制御を行う。

【0042】

●ネットワークカメラ
ネットワークカメラ１０３は撮影部３２１、映像送信部３２２、通信部３２３を有する。撮影部３２１は通信部３２３を通じてカメラ管理システム１０２から撮影指示を受け取ると、カメラ撮影を行い、映像送信部３２２は撮影部３２１で撮影した映像を、通信部３２３を通じてカメラ管理システム１０２に送信する。ネットワークカメラ１０３は、図１０に示したように、監視対象を含む広範囲の映像を撮影可能である。

【0043】

●プリンタ
プリンタ１０４は印刷ジョブ受信部３３１、印刷部３３２、通信部３３３、ステータス送信部３３４を有する。印刷ジョブ受信部３３１は、通信部３３３を通じてワークフローシステム１０１から送信された印刷ジョブを受信し、印刷部３３２で印刷出力を行う。また、ステータス送信部３３４は自身の機器ステータス（実行中、エラー終了、正常終了、待機状態等）に変化が生じた際に、その変化を検知する。そして変化後のステータスを印刷ジョブで受信した（すなわち機器の状態が変化したジョブの）ジョブＩＤ、工程ＩＤとともに機器稼働状況通知リクエストとしてワークフローシステム１０１に送信する。

【0044】

●後加工機
後加工機１０５はジョブ受信部３５１、加工部３５２、通信部３５３、ステータス送信部３５４を有する。加工ジョブ受信部３５１は、通信部３５３を通じてワークフローシステム１０１から送信されたジョブを受信し、加工部３５２で後加工処理を行う。また、ステータス送信部３５４は自身の機器ステータス（実行中、エラー終了、正常終了、待機状態等）に変化が生じた際に、その変化を検知する。そして変化後のステータスを印刷ジョブで受信した（すなわち機器の状態が変化したジョブの）ジョブＩＤ、工程ＩＤとともに稼働状況通知リクエストとしてワークフローシステム１０１に送信する。

【0045】

●データベース（ＤＢ）
ＤＢ１０６は通信部３４１、イベント情報管理部３４２、稼働状況生成部３４３を有する。イベント情報管理部３４２は通信部３４１を通じてカメラ管理システム１０２から送信されたイベントを受信し、後述するイベント情報として管理する。
表３にイベント情報管理部３４２で管理されるイベント情報の例を示す。

【0046】

【表3】

【0047】

イベント情報は前処理作業を開始した検出開始日時、前処理作業を終了した検出終了日時および前処理作業の実施されたデバイスＩＤから構成される。

【0048】

表３によると、例えば１行目のレコードは、デバイスＩＤ「Ｄｅｖｉｃｅ＿Ｂ」の機器で前処理作業が行われていたことを示している。そしてその期間は、検出開始日時の「２０１９－１１－２１Ｔ１０：３１：００Ｚ」から検出終了日時の「２０１９－１１－２１Ｔ１０：３２：００Ｚ」までである。

【0049】

稼働状況生成部３４３は不図示のクライアントＰＣからの稼働状況画面取得リクエストに応じて、ワークフローシステム１０１のジョブ情報およびイベント情報から各デバイスの前処理作業および機器稼働状況を表示した画面を生成する。

【0050】

＜イベント検出処理＞
図４（ａ）は本実施形態を示すカメラ管理システム１０２におけるイベント検出処理方法を説明するフローチャートである。なお、各ステップは、ＣＰＵ２０２が記憶された制御プログラムを実行することで実現される。

【0051】

Ｓ４０１において、検出制御部３１７は通信部３１３を通じてワークフローシステム１０１へジョブ情報取得リクエストを送信する。それに応じて、Ｓ４０２により取得する映像の撮影前の、処理対象のすべてのジョブ情報を第一のジョブ情報として取得する。たとえば、表1のようなジョブ情報がここでは取得される。

【0052】

次にＳ４０２でカメラ操作指示部３１１は通信部３１３を通じて監視先情報に含まれるカメラＩＤのネットワークカメラ１０３へ撮影指示を送信する。表２の例の場合「Ｃａｍ＿Ａ」へ撮影指示を送信する。複数のカメラＩＤが監視先情報に含まれていればすべてのカメラに対して撮影時を送信する。この時、カメラ操作指示部３１１は不図示の撮影時間を撮影指示に含めて送信する。この撮影時間は所定時間であり、例えば固定値で「６０秒」など、１回の検出処理を行う撮影映像の長さでありどのような値でもよい。撮影時間を含む撮影指示を受信したネットワークカメラ１０３の撮影部３２１は、カメラ操作指示部３１１から指示された撮影時間だけ映像を撮影する。撮影後、映像送信部３２２はカメラ管理システム１０２へ撮影映像を送信することでカメラ管理システム１０２の映像受信部３１２は「Ｃａｍ＿Ａ」の撮影映像を受信する。

【0053】

本実施形態のＳ４０２では、カメラ管理システム１０２からの指示によりネットワークカメラ１０３で撮影を開始するが、この他、ネットワークカメラ１０３は常に映像撮影と送信を行い、カメラ管理システム１０２は必要な映像を取得するよう構成しても良い。

【0054】

Ｓ４０３において、検出制御部３１７は通信部３１３を通じてワークフローシステム１０１へジョブ情報取得リクエストを送信する。それに応じて、Ｓ４０２により取得する映像の撮影後の、処理対象のすべてのジョブ情報を第二のジョブ情報として取得する。ここでは映像撮影後のジョブ情報が取得される。もしも撮影中に状態（ステータス）が変化したジョブがあれば、そのジョブのステータスはＳ４０１で取得したジョブ情報のステータスと相違しているはずである。

【0055】

次にＳ４０４において、検出制御部３１７は監視先情報管理部３１６を通じて、監視先情報（表２）に含まれた、解析対象の映像を撮影するカメラＩＤのカメラによる監視先をすべて取得する。表2ではカメラＩＤはＣａｍ＿Ａのみであり、Ｃａｍ＿Ａによる監視先すなわち監視対象の機器は、Ｄｅｖｉｃｅ＿Ａ、Ｄｅｖｉｃｅ＿Ｂ、Ｄｅｖｉｃｅ＿Ｃの３台である。

【0056】

次にＳ４０５で、検出制御部３１７はＳ４０４で取得した監視先設定の監視先を先頭から順番に読み出し、監視先デバイスＩＤを取得する。すなわち所定の順序に従って監視先デバイスＩＤを取得する。

【0057】

Ｓ４０６において、カメラ管理システム１０２は、Ｓ４０２で取得した映像から監視先の監視先デバイスＩＤの映像の解析、イベント情報送信を前記第一のジョブ情報に応じて行う。このステップでは、監視対象の領域（すなわち対象領域）からイベントを検出する。監視先デバイスＩＤの映像の解析は、たとえば監視先デバイスＩＤに対応する領域に含まれた画像を対象として、監視先デバイスＩＤに対応する解析方法により行ってよい。本処理の詳細は後述する。

【0058】

Ｓ４０７にて、検出制御部３１７はＳ４０６にて監視先の映像の解析と前処理工程のイベント検出を実行したかを判定する。具体的には、後述するＳ４１２、Ｓ４１３の処理を実行したかどうかを判定する。Ｓ４１２、Ｓ４１３の処理を実行していた場合、Ｓ４０９の処理を実行する。Ｓ４１２、Ｓ４１３の処理を実施していなかった場合、後述するＳ４０８の処理を実行する。

【0059】

次にＳ４０８において、カメラ管理システム１０２はＳ４０２で取得した映像から監視先の監視先デバイスＩＤの映像の解析、イベント情報送信を前記第二のジョブ情報に応じて行う。このステップでは、監視対象の領域からイベントを検出する。本処理の詳細は後述する。このように、映像取得後のタイミングで取得した第二のジョブ情報を用いて、Ｓ４０８にて再度検出判定を行う。こうすることにより、Ｓ４０２で取得した映像の時間（内でジョブ情報のステータスが例えば「実行中」から「処理待ち」に変化した場合であっても、稼働状況の変化の検出可能となる。

【0060】

Ｓ４０９にて、検出制御部３１７は次の監視先が取得できるかどうかを判定する。監視先が取得できなかった場合、例えば表２の場合は３か所すべての監視先でのイベント検出が完了していればＳ４１０に遷移する。Ｓ４０９にて監視先が取得できた場合、つまりすべての監視先について処理をしていない場合はＳ４０５の処理に戻る。

【0061】

次にＳ４１０にて、カメラ操作指示部３１１は検出終了指示を受け付けたかどうかを確認し、検出終了指示を受け付けていた場合は処理を終了、受け付けていない場合はＳ４０１へ戻りイベント検出処理を繰り返す。

【0062】

図４（ｂ）は本実施形態を示すカメラ管理システム１０２における検出判定方法を説明するフローチャートであり、図４（ａ）のＳ４０６およびＳ４０８で実行する処理である。以降、Ｓ４０６の処理として図４（ｂ）の検出判定方法が実行された場合はジョブ情報として第一のジョブ情報が、Ｓ４０８の処理として実行された場合はジョブ情報として第二のジョブ情報が使用されるものとする。

【0063】

Ｓ４１１で検出制御部３１７はＳ４０１またはＳ４０３で取得したジョブ情報のうち、監視先設定に含まれる監視先デバイスＩＤが一致するデバイスＩＤについて、対応するステータスに「処理待ち」が含まれるレコードがあるかどうかを判定する。例えば、監視先に含まれる監視先デバイスＩＤが「Ｄｅｖｉｃｅ＿Ａ」であった場合、ジョブ情報が表１のような状態であれば、ステータスに「処理待ち」であるレコードが存在する（表１の３行目を参照）と判断する。

【0064】

Ｓ４１１にてステータスが「処理待ち」のレコードがなかった場合は処理を終了し、「処理待ち」のステータスのレコードが存在した場合は前処理作業が行われる可能性があると判断し、後述のＳ４１２を実行する。

【0065】

Ｓ４１２において、映像解析部３１４は監視先情報管理部３１６から、Ｓ４１１で「処理待ち」と判定された監視先デバイスＩＤに対応する領域と解析方法とを取得し、その解析処理に従って撮影映像の領域内において解析を行う。例えば「人物検出」の場合は、対応領域内の撮影映像に人物が映り込んでいるかどうか、「ランプ点灯検出」の場合はコントロールランプが点灯しているかどうかを解析し、前処理作業が実施されているかどうかを解析する。「人物検出」の場合は、対応領域内の撮影映像に人物が検出された場合に、「ランプ点灯検出」の場合は、対応領域内の撮影映像にコントロールランプの点灯が検出された場合に、前処理作業が実施されていると判定する。前処理作業が検出された場合はその検出日時を後述するＳ４１３にてイベント情報としてＤＢ１０６へ送信する。検出日時は映像情報の属性として含まれた日時を抽出して用いればよい。

【0066】

Ｓ４１３にて、イベント送信部３１５は監視先であるデバイスＩＤ、Ｓ４１１の映像解析により検出した前処理作業の検出開始日時および終了日時をイベント情報として通信部３１３を通じてＤＢ１０６へ送信する。ＤＢ１０６は受信した情報を表３のようなイベント情報に登録する。

【0067】

以上により、カメラ管理システム１０２はネットワークカメラ１０３によるイベント検出処理を行う。

【0068】

＜稼働状況画面生成＞
図５は本実施形態におけるＤＢ１０６が印刷工場の稼働状況画面を生成するフローチャートである。

【0069】

Ｓ５０１においてＤＢ１０６の稼働状況生成部３４３は、通信部３４１を通じて不図示のクライアントＰＣから稼働状況画面生成リクエストを受け取る。

【0070】

Ｓ５０２にて、稼働状況生成部３４３はワークフローシステム１０１からジョブ情報を取得する。ジョブ情報にはデバイスＩＤ、開始日時、終了日時が含まれており、各機器がどの時間帯に稼働をしていたかが分かる。

【0071】

次にＳ５０３にて稼働状況生成部３４３はイベント情報管理部３４２を通じてイベント情報を取得する。イベント情報には検出開始日時、検出終了日時、デバイスＩＤが含まれており、各機器がどの時間帯に前処理作業が行われていたかが分かる。

【0072】

Ｓ５０４にて稼働状況生成部３４３は後述する稼働状況画面６００を生成し、Ｓ５０５にて稼働状況生成部３４３はクライアントＰＣへ稼働状況画面をレスポンスとして送信する。以上により、ＤＢ１０６は稼働状況画面を生成する。

【0073】

図６は本実施形態における稼働状況生成部３４３が図５のＳ５０４にて生成する稼働状況画面６００の例である。６０１はデバイスＩＤ表示部分である。６０２は各機器における前処理作業が行われていた時間帯を示すタイムラインでありＳ５０３で取得したイベント情報から生成する。６０３は各機器における機器稼働時間帯を示すタイムラインであり、Ｓ５０２で取得したイベント情報から生成する。

【0074】

イベント情報で取得できるイベントの前処理作業を示す時間は離散的となる。これはカメラ管理システム１０２で一定時間で区切って機器の撮影または映像の取得をしているため、映像を未取得の時間帯が存在するためである。

【0075】

例えば表３の場合、Ｄｅｖｉｃｅ＿Ｂの前処理作業時間は、「２０１９－１１－２１Ｔ１０：３２：００Ｚ」から「２０１９－１１－２１Ｔ１０：３４：００Ｚ」の間は前処理作業が行われていないことになっている。これは、この時間の間、ネットワークカメラ１０３が撮影をしていないか、または撮影した映像を取得していないために空白時間が存在していることを示している。そのため稼働状況生成部３４３は一定時間以内の空白時間についてそれを無視し前処理作業が継続しているとみなしてもよく、本実施形態においては撮影間隔以内の空白時間を無視することとする。

【0076】

このとき表３の例の場合、Ｄｅｖｉｃｅ＿Ｂは「２０１９－１１－２１Ｔ１０：３１：００Ｚ」から「２０１９－１１－２１Ｔ１０：３５：００Ｚ」でひとつの前処理作業が行われたとする。また、「２０１９－１１－２１Ｔ１０：４１：００Ｚ」から「２０１９－１１－２１Ｔ１０：４５：００Ｚ」までについても別のひとつの前処理作業が行われたとし、その間の時間については前処理作業が行われていないとみなす。これは例えば、その間の時間は、撮影間隔を超えているためである。なお、映像を取得できない時間帯がないとしても、図４の手順のように連続的な映像を一定の期間に区切って解析することで、その解析結果は表３のような離散的なものとなる。

【0077】

この稼働状況画面により、機器の稼働状態だけでなく前処理作業も含めた印刷工場の正確な稼働状況を把握できるようになる。

【0078】

［実施形態２］
実施形態１では、図４（ａ）のＳ４０６およびＳ４０８において、ジョブ情報のステータスに「処理待ち」がある場合は必ず検出対象とし、映像解析を行っていた。ある機器について「処理待ち」の工程があっても、前工程が実行中の場合、前工程の処理が完了するまでは当該機器の「処理待ち」工程の前処理作業が行われることは少ない。前工程の出力物が次の工程の加工の対象となることが多いためである。そこで本実施形態では監視対象機器を、その着目工程（あるいは基準工程）の前工程のステータスよって検出対象とするかを判定することによって、より効率的に検出を行う例について説明する。なお、実施形態１と同様の部分の説明は省略する。

【0079】

図７は本実施形態を示すカメラ管理システム１０２における検出判定方法を説明するフローチャートである。Ｓ７０１、Ｓ７０３、Ｓ７０４はそれぞれＳ４１１、Ｓ４１２、Ｓ４１３と同様のため説明を省略する。図７の処理は、本実施形態では実施形態１の図４（ｂ）に代えて実行される。

【0080】

Ｓ７０１にて、「処理待ち」のステータスのレコードが存在した場合は前処理作業が行われる可能性があると判断し、Ｓ７０２を実行する。ここで、Ｓ７０１でステータスが「処理待ち」であったレコードを基準工程レコードとする。

【0081】

次にＳ７０２にて検出制御部３１７は、基準工程レコードのジョブＩＤが一致するジョブ情報のレコードであって、さらに基準工程レコードより前工程のレコードを取得する。本実施形態においては前工程かどうかの判別は工程ＩＤの大小を比較することで判別可能なものとする。Ｓ７０２では、取得した前工程のレコードのステータスが「処理待ち」であるかを判定する。

【0082】

Ｓ７０２にてステータスが「処理待ち」だった場合は処理を終了し、すべて「実行中」か「正常終了」であった場合はＳ７０３の処理を実行する。ここで基準工程の前工程が複数あった場合には、そのうちのいずれかが「処理待ち」であれば、Ｓ７０２では「処理待ち」である判定してよい。

【0083】

Ｓ７０２によりステータスが「処理待ち」と判定されると、Ｓ７０１にて検出対象と判断された場合であっても、前工程の処理が完了するまでは検出処理をスキップすることができる。これにより前工程の作業が行われる可能性が少ない領域の映像解析を減らすことで、結果としてより効率的な映像解析を行うことができる。

【0084】

［実施形態３］
実施形態１及び２では、前工程作業の情報を効率的に取得するための方法を説明した。そのため、実施形態１及び２ではジョブのＳ７０１において、ジョブ情報のステータスがすべて「正常終了」の場合、つまり稼働予定のない機器については撮影映像の解析処理を行わなかった。実施形態３では、後工程作業の情報も効率的に取得することで、後工程作業を含めた生産性向上を図ることが可能な実施形態を説明する。機器の種類によってはすべてのジョブの終了後にも後工程作業として作業が行われる機器がある。例えば断裁機の場合、切りくず受けの清掃作業がそれにあたる。本実施形態ではすべての稼働ジョブの終了後であってもイベントを検知したい機器を映像解析対象とすることで、後処理作業の情報も取得する例について説明する。なお、実施形態２と同様の部分の説明は省略する。

【0085】

図８は本実施形態におけるカメラ管理システム１０２のソフトウェア構成を示す図である。カメラ管理システム１０２はカメラ操作指示部３１１、映像受信部３１２、通信部３１３、映像解析部３１４、イベント送信部３１５、監視先情報管理部３１６、検出制御部３１７、機器情報管理部３１８を有する。表４に機器情報管理部３１８で管理される機器情報の例を示す。

【0086】

【表4】

【0087】

機器情報はプリンタ１０４および後加工機１０５を一意に識別するデバイスＩＤおよびプリンタ、断裁機、製本機といった機器種別であるデバイスタイプで構成される。

【0088】

図９は本実施形態を示すカメラ管理システム１０２の検出判定方法を説明するフローチャートである。Ｓ９０３からＳ９０６はそれぞれＳ７０１からＳ７０４と同様のため処理を省略する。本実施形態においては、図９の処理が、実施形態２の図７に代えて実行される。

【0089】

Ｓ９０１において、検出制御部３１７は機器情報管理部３１８を通じて監視先設定に含まれる監視先のデバイスＩＤが一致する機器情報のデバイスタイプを取得し、それがｐｒｉｎｔｅｒ（プリンタ）かどうかを判別する。本実施形態においてはデバイスタイプがｐｒｉｎｔｅｒかどうかにより処理を切り替えているが、ｐｒｉｎｔｅｒ以外のデバイスタイプであってもよい。Ｓ９０１にてデバイスタイプがｐｒｉｎｔｅｒだった場合、Ｓ９０３の処理を実行する。Ｓ９０１にてデバイスタイプがｐｒｉｎｔｅｒでなかった場合、Ｓ９０２を実行する。

【0090】

Ｓ９０２において検出制御部３１７は、Ｓ４０６またはＳ４０８で取得したジョブ情報のうち、監視先設定に含まれる監視先デバイスＩＤが一致するステータスがすべて「正常終了」であるかどうか確認する。例えば、監視先設定に含まれる監視先デバイスＩＤが「Ｄｅｖｉｃｅ＿Ｂ」であった場合、ジョブ情報が表１のような状態であれば、ステータスがすべて「正常終了」であると判断する。Ｓ９０２にてステータスがすべて「正常終了」だった場合、後述するＳ９０５の処理を実行し、そうでなかった場合はＳ９０３の処理を実行する。Ｓ９０１およびＳ９０２により、ステータスがすべて「正常終了」の機器であっても前処理作業のイベント検出を継続したい機器がある場合に検出処理を継続することで稼働状況の変化の見逃しを低減できる。なおＳ９０１では撮影対象のデバイスがプリンタであるか判定し、プリンタ以外であればＳ９０２に分岐している。これを、Ｓ９０１では撮影対象のデバイスが、処理後の後作業が必要なデバイス、たとえば断裁機であるか判定し、該当するデバイスであればＳ９０２に分岐してもよい。このように構成することで、後作業が必要な機器についてジョブの完了後にも監視を継続することができる。

【0091】

図１０は本実施形態におけるネットワークカメラ１０３による撮影映像の例を示す平面図である。作業室内にプリンタ１０４と後加工機１０５が配置されている。１００１は作業者である。実施形態１から３では３つの機器を例にしてイベント収集方法の説明をしたが、図１０のように機器が多数の場合、映像を解析しイベントを検出すべき領域も多数となるため、本発明はより効果を得ることができる。

【0092】

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0093】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0094】

１０１ ワークフローシステム、１０２ カメラ管理システム、１０３ ネットワークカメラ、１０４ プリンタ、１０５ 後加工機、３０１ ジョブ管理部、３１６ 監視先情報管理部、３１７ 検出制御部、３１８ 機器情報管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】