特許 7340799 監視システムおよび監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-31

(45)【発行日】2023-09-08

(54)【発明の名称】監視システムおよび監視方法

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20230901BHJP

   G08B 25/00 20060101ALI20230901BHJP

   G08B 21/00 20060101ALI20230901BHJP

   G08B 29/04 20060101ALI20230901BHJP

   G05B 23/02 20060101ALI20230901BHJP

【ＦＩ】

H04Q9/00 331Z

G08B25/00 510M

G08B21/00

G08B29/04

G05B23/02 T

G05B23/02 V

G05B23/02 302Z

【請求項の数】 9

(21)【出願番号】P 2019117301

(22)【出願日】2019-06-25

(65)【公開番号】P2021005751

(43)【公開日】2021-01-14

【審査請求日】2022-06-23

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】堤 隆太

(72)【発明者】

【氏名】渕上 竜司

(72)【発明者】

【氏名】杉澤 裕史

(72)【発明者】

【氏名】森崎 公太

【審査官】北村 智彦

(56)【参考文献】

【文献】特開２０００－２５９２３９（ＪＰ，Ａ）

【文献】特開２０１８－０４５４００（ＪＰ，Ａ）

【文献】特開２０１６－０５５３６５（ＪＰ，Ａ）

【文献】特開２００２－０９１９１３（ＪＰ，Ａ）

【文献】特開２００６－１１９７５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２１／００

Ｇ０８Ｂ ２９／０４

Ｇ０５Ｂ ２３／０２

Ｇ０６Ｖ ３０／００

(57)【特許請求の範囲】

【請求項1】

監視対象の施設に設置される情報源機器と接続される情報処理装置と、前記情報処理装置と接続される画像処理装置と、を含む監視システムであって、
前記情報処理装置は、
前記情報源機器から送出される元データに基づいて、監視員が認識し易いデータ形式を有する第１の施設監視状況データと、前記画像処理装置が認識し易いデータ形式を有しかつ前記第１の施設監視状況データの内容と同一の内容を有する第２の施設監視状況データとを生成し、
前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて、前記監視員が位置する監視室に設置されるモニタに送出して表示し、
前記画像処理装置は、
前記第２の施設監視状況データを認識処理し、その認識処理結果に基づいて、前記施設の監視状況を判定する、
監視システム。

【請求項2】

前記情報処理装置は、
前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて蓄積する、
請求項１に記載の監視システム。

【請求項3】

前記情報処理装置は、
前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて送出し、
前記画像処理装置は、
画像取込機器を介して、前記第１の施設監視状況データと前記第２の施設監視状況データとを取り込んで入力する、
請求項１に記載の監視システム。

【請求項4】

前記情報処理装置は、
前記第２の施設監視状況データを前記画像処理装置に送出し、
前記画像処理装置は、
画像取込機器を介して、前記第２の施設監視状況データを取り込んで入力する、
請求項１に記載の監視システム。

【請求項5】

前記画像処理装置は、入力された前記第１の施設監視状況データと前記第２の施設監視状況データとの少なくとも一方を含むデータをモニタに表示する、
請求項３に記載の監視システム。

【請求項6】

前記画像取込機器は、前記情報処理装置から送出される前記第１の施設監視状況データと前記第２の施設監視状況データとを撮像するカメラである、
請求項３～５のうちいずれか一項に記載の監視システム。

【請求項7】

前記画像処理装置は、
前記第２の施設監視状況データを認識処理可能な監視ロボットにより構成され、
前記情報処理装置は、
前記監視員だけが前記第１の施設監視状況データを用いて監視する第１の監視室の情報と、前記監視ロボットだけが前記第２の施設監視状況データを用いて監視する第２の監視室の情報と、前記監視員と監視ロボットとが共存して監視する第３の監視室の情報と、を含む監視室情報を保持し、
前記監視室情報に基づいて、前記第１の施設監視状況データおよび前記第２の施設監視状況データのうち少なくとも１つを選択的に送出する、
請求項１に記載の監視システム。

【請求項8】

前記画像処理装置は、
前記施設の監視状況として異常が発見されたことを判定した場合に、前記画像処理装置に接続される通知装置にアラート通知を指示する、
請求項１～７のうちいずれか一項に記載の監視システム。

【請求項9】

監視対象の施設に設置される情報源機器と接続される情報処理装置と、前記情報処理装置と接続される画像処理装置と、を含む監視システムにより実行される画像監視方法であって、
前記情報処理装置は、
前記情報源機器から送出される元データに基づいて、監視員が認識し易いデータ形式を有する第１の施設監視状況データと、前記画像処理装置が認識し易いデータ形式を有しかつ前記第１の施設監視状況データの内容と同一の内容を有する第２の施設監視状況データとを生成し、
前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて、前記監視員が位置する監視室に設置されるモニタに送出して表示し、
前記画像処理装置は、
前記第２の施設監視状況データを認識処理し、その認識処理結果に基づいて、前記施設の監視状況を判定する、
画像監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視システムおよび監視方法に関する。

【背景技術】

【0002】

特許文献１には、文字認識装置において、記録紙の表面に文字画像が印刷され、文字画像の各文字が文字コードに変換され、この文字コードからコード画像が生成されることが開示されている。また、この文字認識装置では、記録紙の裏面にコード画像が印刷され、目立たないようにコード画像が付加される。一方、文字認識装置では、記録紙の画像を読み取るときにコード画像から文字データが生成され、文字データが出力される。これにより、文字の認識精度を高めながら、ＯＣＲ（Optical Character Recognition）処理を素早く行える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１９３１２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術によれば、記録紙の表面に印刷された文字画像（言い換えると、人が認識し易い情報）を認識することは可能である。しかし、この技術は、例えば監視対象の施設に設置された情報源機器から送出された測定データ画像に基づいて人の認識し易いデータとして生成された監視状況画面の機械的な画像認識に適用することは想定されていない。例えば、監視状況画面は人が見てその内容を正確に把握できるが、機械的な画像認識により監視状況画面の内容を画像認識装置に判別させようとした場合、監視状況画面が取り込まれた画像認識装置の周囲の環境（例えば、照度あるいは監視状況画面内の色）によっては、監視状況画面の画像認識時に誤認識が発生し得るため、適切な監視業務が難しいという課題が考えられる。

【0005】

本開示は、上述した従来の状況に鑑みて案出され、監視対象の施設に設置された情報源機器の状況の判別精度を効率的に向上し、監視業務の効率を向上する監視システムおよび監視方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、監視対象の施設に設置される情報源機器と接続される情報処理装置と、前記情報処理装置と接続される画像処理装置と、を含む監視システムであって、前記情報処理装置は、前記情報源機器から送出される元データに基づいて、監視員が認識し易いデータ形式を有する第１の施設監視状況データと、前記画像処理装置が認識し易いデータ形式を有しかつ前記第１の施設監視状況データの内容と同一の内容を有する第２の施設監視状況データとを生成し、前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて、前記監視員が位置する監視室に設置されるモニタに送出して表示し、前記画像処理装置は、前記第２の施設監視状況データを認識処理し、その認識処理結果に基づいて、前記施設の監視状況を判定する、監視システムを提供する。

【0007】

また、本開示は、監視対象の施設に設置される情報源機器と接続される情報処理装置と、前記情報処理装置と接続される画像処理装置と、を含む監視システムにより実行される画像監視方法であって、前記情報処理装置は、前記情報源機器から送出される元データに基づいて、監視員が認識し易いデータ形式を有する第１の施設監視状況データと、前記画像処理装置が認識し易いデータ形式を有しかつ前記第１の施設監視状況データの内容と同一の内容を有する第２の施設監視状況データとを生成し、前記第１の施設監視状況データと前記第２の施設監視状況データとを対応付けて、前記監視員が位置する監視室に設置されるモニタに送出して表示し、前記画像処理装置は、前記第２の施設監視状況データを認識処理し、その認識処理結果に基づいて、前記施設の監視状況を判定する、画像監視方法を提供する。

【発明の効果】

【0008】

本開示によれば、監視対象の施設に設置された情報源機器の状況の判別精度を効率的に向上し、監視業務の効率を向上できる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る監視システムの構成例を示す図

【図2】情報処理装置のハードウェア構成例を示す図

【図3】画像処理装置のハードウェア構成例を示す図

【図4】実施の形態１に係る監視システムによる画像監視の動作手順例を示すフローチャート

【図5】人間用画像の一例を示す図

【図6】合成画像例を示す図

【図7】人間用画像の他の一例を示す図

【図8】実施の形態２に係る監視システムの構成例を示す図

【図9】実施の形態２に係る監視システムによる画像監視の動作手順例を示すフローチャート

【図10】実施の形態３に係る各監視エリアおよび各監視エリアにそれぞれ配置される映像出力装置に表示されるモニタ画面例を示す図

【図11】比較例に係る各監視エリアおよび各監視エリアにそれぞれ配置される映像出力装置に表示されるモニタ画面例を示す図

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、本開示に係る監視システムおよび監視方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0011】

（実施の形態１）
図１は、実施の形態１における監視システム５の構成例を示す図である。監視システム５は、情報源機器８から施設の状況を表すデータ（元データ）を取得し、元データを解析して施設の状況を監視する。監視システム５は、１つの施設に限らず、複数の施設に設置された複数の情報源機器８からそれぞれ元データを入力し、複数の施設の状況を監視可能である。ここでは、説明を簡単にするために、１つの施設を監視する場合を例示する。

【0012】

以下の説明において、監視システム５による監視対象となる施設として、例えばダムあるいは発電所等が挙げられる。情報源機器８は、ダムあるいは発電所等の施設に設置された少なくとも１つの計測器である。例えばダムの水位を計測する水位計、発電所の発電量を計測する電力量計が情報源機器８である。元データは、水位計、電力量計のメータ値である。

【0013】

監視システム５は、情報処理装置１０と、映像切替機２１と、映像取込機器２２と、画像処理装置３０と、通知装置２５と、映像出力装置２３，２４とを含む構成である。

【0014】

情報処理装置１０は、情報源機器８から送信される元データを基に、人間用画像のデータと機械用画像のデータを生成する。人間用画像のデータは、監視員がモニタ画面を見て認識し易いデータであり、監視員（人間）が目視で判別可能な具体的なデータ（例えば、数字、文字、グラフ、図面、または、これらの一部あるいは全てが組み合わされたデータ）が適宜配列等されて構成された表示用画面のデータである。従って、例えば、人間用画像のデータは、施設ごとの状況を文字あるいは数字等で具現化したテーブル、一施設の状況を文字あるいは数字等で具現化して時系列に表すタイムチャート等のデータ（第１の施設監視状況データの一例）である。一方、機械用画像のデータは、人間用画像のデータと実質的に同一の内容を有するが、画像処理装置３０等の機械にとって認識の処理が行い易いデータで構成され、監視員（人間）が目視で判別不可なデータ（例えば、文字コード、数字コード、グラフあるいは図面等のバイナリーデータ、または、これらの一部あるいは全てが組み合わされたデータ）が適宜配列等されて構成されたデータである。従って、例えば、機械用画像のデータは、２次元コード、バーコード、カラーコード、ドットの粗密等で描画される画像（マーカ）のデータ（第２の施設監視状況データの一例）である。なお、機械用画像のデータは、単なる数値、文字列等のデータであってもよい。ここでは、機械用画像のデータとして、２次元コードを用いる場合を示す。また、情報処理装置１０は、人間用画像に機械用画像を重畳した合成画像の画像データを生成する。情報処理装置１０は、合成画像の画像データを映像切替機２１に送信する。

【0015】

なお、情報処理装置１０は、人間用画像および機械用画像を生成する場合、元データから人間用画像および機械用画像を別々に生成してもよいが、元データを基に人間用画像を生成した後、生成した人間用画像を基に、機械用画像を生成してもよい。この場合、機械用画像を生成する処理は、元データから独立した処理となるので、処理プログラムの変更や拡張が容易である。

【0016】

映像切替機２１は、情報処理装置１０から出力される合成画像のデータを入力し、映像出力装置２３に合成画像のデータを出力する。また、映像切替機２１は、映像取込機器２２に合成画像のデータを出力する。なお、映像切替機２１の数は、１台に限らず、複数台でもよい。

【0017】

映像取込機器２２は、少なくとも１台の映像切替機２１から出力される合成画像のデータを取り込む集線装置（ハブ）である。

【0018】

画像処理装置３０は、機械用画像のデータを読み取る機能を少なくとも有し、機械用画像のデータの読み取り結果を基に、施設の状況を判断する。例えば、画像処理装置３０は、コードリーダを有し、機械用画像である２次元コードをコードリーダで読み取ってもよい。画像処理装置３０は、画像処理の結果を映像出力装置２４に出力する。また、画像処理装置３０は、施設の状況が異常である場合、通知装置２５にアラート通知を行う。

【0019】

通知装置２５は、画像処理装置３０からアラート通知があった場合、アラーム音、ライト点滅等を行う。

【0020】

映像出力装置２３は、情報処理装置１０からの指示に従い、施設の状況を表すモニタ画面（監視状況画面の一例）を表示する。映像出力装置２４は、画像処理装置３０からの指示に従い、施設の状況および画像処理の結果を表すモニタ画面を表示する。

【0021】

図２は、情報処理装置１０のハードウェア構成例を示す図である。情報処理装置１０は、情報源機器８から元データを取得し、人間用画像のデータ、機械用画像のデータおよび合成画像のデータを生成するものであり、プロセッサ１１、メモリ１２、ストレージ１３、および入出力インターフェース１４を有する。

【0022】

プロセッサ１１は、メモリ１２に記憶されたプログラムを実行することで、各種機能を実現する。プロセッサは、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）、等を含んでよい。

【0023】

メモリ１２は、プロセッサ１１のワーキングメモリとして使用される。メモリ１２は、一次記憶装置（例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory））等を含む。

【0024】

ストレージ１３は、プロセッサ１１によって生成された人間用画像のデータと機械用画像のデータとを対応付けて蓄積する。対応付けは、人間用画像と機械用画像とが重畳した合成画像のデータを生成することで行われてもよいし、人間用画像のデータと機械用画像のデータとを紐づける識別データを人間用画像のデータと機械用画像のデータに付加することで行われてもよい。ストレージ１３は、二次記憶装置（例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive））、三次記憶装置（例えば光ディスク、ＳＤカード）等を含む。

【0025】

入出力インターフェース１４は、画像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）等のインターフェースを含む。

【0026】

図３は、画像処理装置３０のハードウェア構成例を示す図である。画像処理装置３０は、機械用画像のデータを基に、施設の状況の異常の有無を判定し、異常があった場合、通知装置２５にアラート通知を行うものであり、プロセッサ３１、メモリ３２、ストレージ３３、および入出力インターフェース３４を有する。

【0027】

プロセッサ３１は、メモリ３２に記憶されたプログラムを実行することで、各種機能を実現する。プロセッサは、ＭＰＵ（Micro processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）、等を含んでよい。

【0028】

メモリ３２は、プロセッサ３１のワーキングメモリとして使用される。メモリ３２は、一次記憶装置（例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory））等を含む。

【0029】

ストレージ３３は、機械用画像のデータを記憶する。ストレージ３３は、二次記憶装置（例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive））、三次記憶装置（例えば光ディスク、ＳＤカード）等を含む。

【0030】

入出力インターフェース３４は、画像データを高速に転送可能なＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）等のインターフェースを含む。

【0031】

次に、実施の形態１に係る監視システム５の動作を示す。

【0032】

図４は、実施の形態１に係る監視システム５による画像監視の動作手順例を示すフローチャートである。監視システム５は、本動作（つまり図４に示す動作手順）を定期的に実行する。

【0033】

図４において、情報処理装置１０のプロセッサ１１は、入出力インターフェース１４を介して情報源機器８から元データを入力する（Ｓ１）。プロセッサ１１は、元データを読み込み、元データの内容を解析する（Ｓ２）。プロセッサ１１は、解析の結果、元データに基づく人間用画像を生成する（Ｓ３)。プロセッサ１１は、更に、解析の結果、元データに基づく機械用画像を生成する（Ｓ４)。

【0034】

プロセッサ１１は、人間用画像と機械用画像を合成し、合成画像を生成する（Ｓ５）。合成画像は、人間用画像に機械用画像を重畳した画像、あるいは機械用画像に人間用画像を重畳した画像でよい。プロセッサ１１は、入出力インターフェース１４を介して映像切替機２１に合成画像を出力する（Ｓ６）。

【0035】

映像切替機２１は、映像出力装置２３および映像取込機器２２に合成画像を分配する（Ｓ７）。映像出力装置２３は、モニタ画面に合成画像を表示する。映像出力装置２３のモニタ画面に表示される合成画像に含まれる人間用画像は、監視員が見て施設の状況を把握可能な画像である。映像取込機器２２は、合成画像を取り込み、画像処理装置３０に出力する（Ｓ８）。

【0036】

画像処理装置３０は、合成画像を入力する（Ｓ９）。画像処理装置３０は、入力された合成画像に含まれる機械用画像に対して画像処理を行う（Ｓ１０）。画像処理装置３０は、画像処理の結果を映像出力装置２４に表示するとともに、画像処理の結果に対応する動作を行う（Ｓ１１）。画像処理の結果として、元データに基づく施設の状況が異常である場合、例えば施設であるダムの水位が低く貯水率が下がっている場合、画像処理装置３０は、通知装置２５にアラート通知を指示し、通知装置２５を作動させる。通知装置２５は、アラーム音を鳴動したり、アラームランプを点滅させる等の動作を行う。これにより、監視員ｈｍは、施設の異常にいち早く気付くことができる。この後、監視システム５は、本動作（つまり図４に示す動作手順）を終了する。

【0037】

図５は、人間用画像ＧＺ１の一例を示す図である。人間用画像ＧＺ１は、ダムの状態を時系列に示す画面を表す。ここでは、ダムの貯水率が０％～１００％の範囲において斜線領域で示される。貯水率の目盛りは、横線で示される。また、ダムの状態を判定するための貯水率のしきい値Ｔｈは縦線で示される。例えば、「日時：５／８ １０：００：００」において、「貯水率が７０～８０％」であり、水位の高いダムの状況が示される。また、「日時：５／９ １０：００：００」において、「貯水率がほぼ１００％」であり、満杯に近いダムの状況が示される。５／８および５／９のいずれの貯水率もしきい値Ｔｈを上回っており、ダムの水位は、高い状況にある。

【0038】

図６は、合成画像ＧＺ３を示す図である。合成画像ＧＺ３は、例えば図５に示す人間用画像ＧＺ１に機械用画像ＧＺ２を重畳することで合成されて生成される。機械用画像ＧＺ２は、人間用画像ＧＺ１と同一の内容を、画像処理装置３０が把握し易いように、表現された画像である。ここでは、機械用画像ＧＺ２は、例えば２次元コードで描画される。合成画像ＧＺ３では、人間用画像ＧＺ１の右下隅に機械用画像ＧＺ２が重畳して配置される。画像処理装置３０は、例えばコードリーダが合成画像ＧＺ３に含まれる機械用画像ＧＺ２を探索して画像認識を行い、２次元コードを解析することで施設の状況を把握する。

【0039】

図７は、人間用画像ＧＺ１１の他の一例を示す図である。人間用画像ＧＺ１１は、複数の施設の状況をテーブル形式で、一覧で示す画像である。ここでは、複数の施設として、ダム、発電所、送電所等が示される。施設の状況は、ＯＫ～ＮＧの範囲を横線とする斜線領域で示される。例えば、ダムは、ほぼＯＫの状況にある。発電所は、発電量が低く、中間の状況にある。送電所は、送電を一時停止しており、ＮＧに近い状況にある。監視員は、人間用画像ＧＺ１１が表示された、映像出力装置２３のモニタ画面を見ることで、各施設の状況を把握する。なお、合成画像を生成する場合、人間用画像ＧＺ１１に含まれる余白等の位置に、人間用画像ＧＺ１１と同一の内容を表す機械用画像が重畳される。

【0040】

このように、監視システム５では、監視員は、映像出力装置２３に表示される合成画像を見て、施設の状況を判断できる。一方、画像処理装置３０は、合成画像に含まれる機械用画像のデータを取得することで、施設の状況を判断できる。また、画像処理装置３０が映像出力装置２３の監視状況画面（モニタ画面の一例）を撮像して施設の状況を読み取る場合、監視状況画面が周囲の環境（例えば、照度あるいは監視状況画面内の色）によって見ずらい状況になっても、画像処理装置３０は、文字認識処理を行うことなく、２次元コードを解読できる。従って、誤認識が抑えられる。

【0041】

以上により、実施の形態１では、監視システム５は、監視対象の施設に設置される情報源機器８と接続される情報処理装置１０と、情報処理装置１０と接続される画像処理装置３０とを含む。情報処理装置１０は、情報源機器８から送出される元データに基づいて、監視員が認識し易い人間用画像のデータ（データ形式を有する第１の施設監視状況データの一例）と、画像処理装置３０が認識し易い機械用画像のデータ（第１の施設監視状況データの内容と実質的に同一の内容を有する第２の施設監視状況データの一例）とを生成する。画像処理装置３０は、機械用画像のデータを認識処理し、その認識処理結果に基づいて、施設の異常の有無（監視状況の一例）を判定する。

【0042】

これにより、監視システム５は、監視対象の施設に設置された情報源機器の状況の判別精度を効率的に向上し、監視業務の効率を向上できる。

【0043】

また、情報処理装置１０のプロセッサ１１は、人間用画像ＧＺ１のデータ（第１の施設監視状況データの一例）と機械用画像ＧＺ２のデータ（第２の施設監視状況データの一例）とを対応付けてストレージ１３に蓄積する。これにより、監視システムは、施設の状況を表すデータを統計的に扱うことができ、施設の状況を時系列で把握し、また、複数の施設を一括で監視することも可能である。

【0044】

また、情報処理装置１０は、映像切替機２１を介して、人間用画像ＧＺ１と機械用画像ＧＺ２が重畳された合成画像ＧＺ３を監視員が存在する監視室に設置される映像出力装置２３に送出して表示する。これにより、監視員は、施設の状況を、モニタ画面を見て確認できる。

【0045】

また、情報処理装置１０は、人間用画像ＧＺ１と機械用画像ＧＺ２が重畳された合成画像ＧＺ３のデータを画像処理装置３０に送出する。画像処理装置３０は、映像取込機器２２（画像取込機器の一例）を介して、合成画像ＧＺ３のデータを取り込んで入力する。これにより、画像処理装置は、合成画像に含まれる機械用画像を認識し、施設の状況を容易に把握できる。従って、画像処理装置は、人間用画像に含まれる文字等の情報を文字認識機能を使用して認識することなく、認識処理の負荷を軽減できる。従って、誤認識が抑制される。

【0046】

また、情報処理装置１０は、人間用画像のデータを監視員が存在する監視室に設置される映像出力装置２３に送出して表示するとともに、機械用画像のデータを画像処理装置３０に送出する。画像処理装置３０は、映像取込機器２２を介して、機械用画像のデータを取り込んで入力する。これにより、映像出力装置２３は、人間用画像のデータを取得して、人間用画像だけを表示できる。一方、画像処理装置３０は、機械用画像のデータだけを取得する。これにより、必要としないデータの転送が省かれ、また、表示が不要となる。

【0047】

また、画像処理装置３０は、入力した人間用画像のデータと機械用画像のデータの少なくとも一方を含むデータを映像出力装置２４に表示する。これにより、映像出力装置２４は、監視員および画像処理装置のいずれに対しても、認識し易い画像を表示できる。

【0048】

なお、監視システムの構成は、上述した実施の形態１に示す構成に限られず、種々の変更が可能である。例えば、監視システムは、映像切替機器を省き、情報処理装置が人間用画像を映像出力装置に出力する構成であってもよい。映像出力装置は、人間用画像を表示する。映像取込機器は、合成画像を画像処理装置に出力する。

【0049】

また、監視システムは、情報処理装置が人間用画像および合成画像を生成する構成であってもよい。情報処理装置は、人間用画像を映像出力装置に出力し、合成画像を映像取込機器に出力する。映像出力装置は、人間用画像を表示する。映像取込機器は、合成画像を画像処理装置に出力する。画像処理装置は、合成画像から人間用画像を抽出して映像出力装置に出力する。

【0050】

また、監視システムは、情報処理装置が人間用画像および機械用画像を生成し、合成画像を生成しない構成であってもよい。情報処理装置は、人間用画像を映像出力装置に出力し、機械用画像を映像取込機器に出力する。映像出力装置は、人間用画像を表示する。映像取込機器は、機械用画像を画像処理装置に出力する。画像処理装置は、機械用画像を映像出力装置に出力する。

【0051】

また、監視システムは、情報分離装置を備え、情報処理装置が合成画像を生成する構成であってもよい。情報分離装置は、合成画像から人間用画像を分離して映像出力装置に出力し、合成画像から機械用画像を分離して映像取込機器に出力する。映像出力装置は、人間用画像を表示する。映像取込機器は、機械用画像を画像処理装置に出力する。画像処理装置は、機械用画像を映像出力装置に出力する。

【0052】

（実施の形態２）
実施の形態２では、映像切替機から合成画像のデータを取り込むことなく、映像出力装置のモニタ画面に表示される合成画像を撮像することで、画像処理装置３０が合成画像のデータを取り込む場合を示す。

【0053】

実施の形態２における監視システムは実施の形態１とほぼ同一の構成を有する。実施の形態１と同一の構成要素については同一の符号を用いることで、その説明を省略する。

【0054】

図８は、実施の形態２に係る監視システム５Ａの構成例を示す図である。監視システム５Ａでは、映像切替機が省略される。また、映像取込機器２２Ａは、映像出力装置２３のモニタ画面を撮像可能なカメラである。画像処理装置３０は、映像取込機器２２Ａで撮像されたモニタ画面に表示された合成画像の画像データを入力し、合成画像に含まれる機械用画像に対し画像処理を行う。画像処理装置３０は、映像出力装置２４に画像処理の結果を表示する。また、画像処理装置３０は、画像処理の結果、施設の状況が異常である場合、通知装置２５にアラート通知を行う。

【0055】

図９は、実施の形態２に係る監視システム５による画像監視の動作手順例を示すフローチャートである。記実施の形態１と同一のステップ処理については、同一のステップ番号を付して説明を簡略化あるいは省略し、異なる内容について説明する。ステップＳ１～Ｓ５の処理は、実施の形態１と同様である。

【0056】

図９において、情報処理装置１０のプロセッサ１１は、ステップＳ５で人間用画像と機械用画像を合成し、合成画像を生成すると、入出力インターフェース１４を介して映像出力装置２３に合成画像を出力する（Ｓ６Ａ）。映像出力装置２３は、合成画像をモニタ画面に表示する（Ｓ７Ａ）。

【0057】

映像取込機器２２Ａは、映像出力装置２３のモニタ画面を撮像し、合成画像を取得し、画像処理装置３０に出力する（Ｓ８Ａ）。ステップＳ９の以降の動作は、前記実施の形態１と同様である。画像処理装置３０は、ステップＳ９で合成画像を入力する。画像処理装置３０は、ステップＳ１０で入力した合成画像に含まれる機械用画像に対し画像処理を行う。画像処理装置３０は、ステップＳ１１で画像処理の結果を映像出力装置２４に表示するとともに、画像処理の結果に対応する動作を行う。

【0058】

このように、監視システム５Ａでは、情報処理装置１０は、合成画像を生成して映像出力装置２３に表示させるだけで済む。従って、情報処理装置１０は、合成画像のデータを画像処理装置３０に送信する処理を省くことができ、簡単化される。また、映像取込機器であるカメラは、撮像することで合成画像を取得できる。

【0059】

以上により、実施の形態２では、映像取込機器２２は、情報処理装置１０から送出される、人間用画像と機械用画像を撮像するカメラである。これにより、監視員による映像取込機器の取り扱いが容易である。また、監視システムは、情報処理装置と画像処理装置を電気的に分離でき、情報処理装置と画像処理装置を遠方に配置することも可能である。

【0060】

なお、監視システムの構成は、上述した実施の形態２に示す構成に限られず、種々の変更が可能である。例えば、監視システムは、情報処理装置が合成画像でなく機械用画像を生成する構成であってもよい。映像出力装置は、機械用画像を表示する。映像取込機器は、機械用画像を取り込み、機械用画像を画像処理装置に出力する。画像処理装置は、機械用画像を映像出力装置に出力する。この場合、人間用画像が不要であるので、監視員が施設の状況を監視しなくて済む。

【0061】

（実施の形態３）
実施の形態３では、画像処理装置は、情報処理装置によって生成される、人間用画像、機械用画像、および合成画像のいずれかを選択し、人間専用の監視エリア、機械専用の監視エリア、人間と機械の共用の監視エリアに設置された各映像出力装置に配信する場合を示す。監視エリアは、閉空間である監視室であってもよいし、開空間である監視場所であってもよい。

【0062】

実施の形態３における監視システムは実施の形態１，２とほぼ同一の構成を有する。実施の形態１，２と同一の構成要素については同一の符号を用いることで、その説明を省略する。

【0063】

図１０は、実施の形態３における各監視エリアおよび各監視エリアにそれぞれ配置される映像出力装置に表示されるモニタ画面を示す図である。実施の形態３では、画像処理装置３０は、機械用画像のデータを認識処理可能な監視ロボットｍｂを含む。監視ロボットｍｂは、カメラを搭載し、映像出力装置に表示された機械用画像を撮像することで、機械用画像のデータを読み取り可能である。また、監視エリアは、一例として、監視ロボットｍｂだけが機械用画像のデータを用いて監視する監視室ＳＡ１と、監視員ｈｍと監視ロボットｍｂとが共存して監視する監視室ＳＡ２と、監視員ｈｍだけが人間用画像のデータを用いて監視する監視室ＳＡ３とを含む。監視室ＳＡ１には、機械用画像を表示可能な映像出力装置２３Ａ，２３Ｂが配置される。監視室ＳＡ２には、合成画像を表示可能な映像出力装置２３Ｃ，２３Ｄが配置される。監視室ＳＡ３には、人間用画像を表示可能な映像出力装置２３Ｅ，２３Ｆが配置される。

【0064】

情報処理装置１０のプロセッサ１１は、メモリ１２に監視室情報を記憶する。監視室情報は、監視室ＳＡ１が監視ロボットｍｂ専用、監視室ＳＡ２が監視員ｈｍと監視ロボットｍｂの共用、および監視室ＳＡ３が監視員ｈｍ専用であることを示す情報を含む。情報処理装置１０は、監視室情報に基づき、監視室ＳＡ１に配置された映像出力装置２３Ａ，２３Ｂに機械用画像のデータを送信する。映像出力装置２３Ａ，２３Ｂは、機械用画像を表示する。また、情報処理装置１０は、監視室情報に基づき、監視室ＳＡ２に配置された映像出力装置２３Ｃ，２３Ｄに合成画像のデータを送信する。映像出力装置２３Ｃ，２３Ｄは、合成画像を表示する。また、情報処理装置１０は、監視室情報に基づき、監視室ＳＡ３に配置された映像出力装置２３Ｅ，２３Ｆに人間用画像のデータを送信する。映像出力装置２３Ｅ，２３Ｆは、人間用画像を表示する。情報処理装置１０が映像出力装置２３Ａ～２３Ｆに対し人間用画像、機械用画像および合成画像を配信する処理は、実施の形態１の図４に示したステップＳ６において行われる。

【0065】

このように、情報処理装置１０は、監視室情報に基づいて、映像出力装置２３Ａ～２３２３Ｆに対し、人間用画像のデータおよび機械用画像のデータのうち少なくとも１つを選択的に送出する。

【0066】

これにより、画像処理装置は、各監視室に、監視する主体に適した画像のデータを送出でき、無駄なデータの送出を抑制できる。また、監視システムは、監視室で監視する主体を明確に区別でき、監視責任の所在を適正に管理できる。

【0067】

また、画像処理装置３０は、施設の監視状況として異常が発見されたことを判定した場合に、画像処理装置３０に接続される通知装置２５にアラート通知を指示する。これにより、監視員ｈｍは、施設の異常にいち早く気付くことができる。

【0068】

図１１は、比較例における各監視エリアおよび各監視エリアにそれぞれ配置される映像出力装置に表示されるモニタ画面を示す図である。比較例３では、情報処理装置１０は、監視室ＳＡ１に配置された映像出力装置２３Ａ，２３Ｂに合成画像のデータを送信する。映像出力装置２３Ａ，２３Ｂは、合成画像を表示する。また、情報処理装置１０は、監視室ＳＡ２に配置された映像出力装置２３Ｃ，２３Ｄに合成画像のデータを送信する。映像出力装置２３Ｃ，２３Ｄは、合成画像を表示する。また、情報処理装置１０は、監視室ＳＡ３に配置された映像出力装置２３Ｅ，２３Ｆに合成画像のデータを送信する。映像出力装置２３Ｅ，２３Ｆは、合成画像を表示する。この場合、監視室ＳＡ１，ＳＡ２，ＳＡ３のいずれにおいても、監視員および監視ロボットは、施設の状況を監視可能であるが、監視する主体ごとに監視室を管理できない。また、情報処理装置は、各映像出力装置に合成画像のデータを送信しなければならず、データ通信量が増加する。

【0069】

このように、実施の形態３における監視システムでは、画像処理装置３０は、機械用画像のデータを認識処理可能な監視ロボットｍｂにより構成される。情報処理装置１０は、監視員ｈｍだけが人間用画像のデータを用いて監視する監視室ＳＡ１（第１の監視室の一例）と、監視ロボットｍｂだけが機械用画像のデータを用いて監視する監視室ＳＡ２（第２の監視室の一例）と、監視員ｈｍと監視ロボットとが共存して監視する監視室ＳＡ３（第３の監視室の一例）と、を含む監視室情報を保持する。情報処理装置１０は、監視室情報に基づいて、人間用画像のデータおよび機械用画像のデータのうち少なくとも１つを選択的に送出する。

【0070】

これにより、画像処理装置は、各監視室に、監視する主体に適した画像のデータを送出でき、無駄なデータの送出を抑制できる。また、監視システムは、監視室で監視する主体を明確に区別でき、監視責任の所在を適正に管理できる。

【0071】

また、上述した実施の形態１～３のいずれにもにおいて、画像処理装置３０は、施設の監視状況として異常が発見されたことを判定した場合に、画像処理装置３０に接続される通知装置２５にアラート通知を指示する。これにより、監視員ｈｍは、施設の異常にいち早く気付くことができる。

【0072】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【0073】

例えば、上述した実施の形態では、情報処理装置は、人間用画像と機械用画像を重畳して合成画像を生成する場合を示したが、合成画像を生成することなく、人間用画像と機械用画像とがタグデータで紐付けられるようにして別々に管理してもよい。この場合、映像出力装置は、人間用画像と機械用画像を重ねることなく、上下左右に並べてモニタ画面に表示可能である。

【産業上の利用可能性】

【0074】

本開示は、監視対象の施設に設置された情報源機器の状況の判別精度を効率的に向上し、監視業務の効率を向上する監視システムおよび監視方法として有用である。

【符号の説明】

【0075】

５ 監視システム
８ 情報源機器
１０ 情報処理装置
１１、３１ プロセッサ
１２、３２ メモリ
１３、３３ ストレージ
１４、３４ 入出力インターフェース
２１ 映像切替機
２２ 映像取込機器
２３、２４ 映像出力装置
２５ 通知装置
３０ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】