特許 6453281 監視カメラシステム、情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6453281

(24)【登録日】2018年12月21日

(45)【発行日】2019年1月16日

(54)【発明の名称】監視カメラシステム、情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190107BHJP

   H04N 5/915 20060101ALI20190107BHJP

   H04N 5/93 20060101ALI20190107BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 V

   H04N5/915

   H04N5/93

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2016-168661(P2016-168661)

(22)【出願日】2016年8月31日

(65)【公開番号】特開2018-37812(P2018-37812A)

(43)【公開日】2018年3月8日

【審査請求日】2016年9月7日

(73)【特許権者】

【識別番号】511212077

【氏名又は名称】株式会社ＮＥＸＰＯＩＮＴ

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(74)【代理人】

【識別番号】100134533

【弁理士】

【氏名又は名称】伊藤 夏香

(72)【発明者】

【氏名】佐久間 昭弘

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１６−５８９９４（ＪＰ，Ａ）

【文献】 特開２００８−１７８００９（ＪＰ，Ａ）

【文献】 特開２０１５−１５９５２０（ＪＰ，Ａ）

【文献】 特開２００７−１７４４７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／９１５

Ｈ０４Ｎ ５／９３

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスに接続される情報処理装置を具備し、
前記情報処理装置が、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、
を有し、
前記結合映像データ作成手段が、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べることにより、前記結合映像データを作成することを特徴とする監視カメラシステム。

【請求項2】

ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスに接続される情報処理装置を具備し、
前記情報処理装置が、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、
を有し、
さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、
前記結合映像データ作成手段は、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとすることを特徴とする監視カメラシステム。

【請求項3】

監視カメラシステムで用いられる情報処理装置であり、ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスに接続される情報処理装置であって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、
を備え、
前記結合映像データ作成手段が、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べることにより、前記結合映像データを作成することを特徴とする情報処理装置。

【請求項4】

監視カメラシステムで用いられる情報処理装置であり、ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスに接続される情報処理装置であって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、
を備え、
さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、
前記結合映像データ作成手段は、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとすることを特徴とする情報処理装置。

【請求項5】

画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスを備える監視カメラシステムで用いられる情報処理方法であって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を含み、
前記結合映像データ作成ステップにおいて、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べることにより、前記結合映像データを作成することを特徴とする情報処理方法。

【請求項6】

画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスを備える監視カメラシステムで用いられる情報処理方法であって、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を含み、
さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成ステップを有し、
前記結合映像データ作成ステップにおいて、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとすることを特徴とする情報処理方法。

【請求項7】

画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスを備える監視カメラシステムで用いられるコンピュータに、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を実行させるためのプログラムであって、
前記結合映像データ作成ステップにおいて、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べることにより、前記結合映像データを作成することを特徴とするプログラム。

【請求項8】

画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイスを備える監視カメラシステムで用いられるコンピュータに、
計測データ種別毎に、前記計測デバイスから取得した計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
前記計測デバイスの計測データ種別とカメラとが関連付けられて記憶されている記憶装置を参照して、当該計測データ種別が紐付けられたカメラ毎に、前記カメラによって撮影されたカメラ画像を動画形式にした個別映像データから、結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を実行させるためのプログラムであって、
さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成ステップを実行させ、
前記結合映像データ作成ステップにおいて、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとすることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、防犯や管理等のために、撮影した画像やデータを蓄積し、端末に表示させる監視カメラシステムと、監視カメラシステムにおける動画閲覧方法と、複数の動画を結合する動画結合方法に関する。

【背景技術】

【0002】

従来、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果をインターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている（例えば、特許文献１、２、３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−５１５３４号公報

【特許文献2】特開２００２−７７８８２号公報

【特許文献3】特開２００６−１９０２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の監視カメラシステムでは、ライブでの映像再生では、複数のカメラを同時に閲覧できたが、アーカイブとなった映像では、１動画ずつの再生しかできず、閲覧性が悪いという問題があった。

【0005】

また、後日問題が発覚した際、例えば配送現場において、問題のあったトラックの誤配先を確認したいとき、そのトラックの車載映像全てを１つ１つ確認しなければならず、不要な動画まで閲覧しなければならなかったので、閲覧性が悪く、問題発覚から問題究明までに時間がかかるという問題があった。

【0006】

したがって、本発明の第１の目的は、上記した課題を解決し、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる監視カメラシステム及び監視カメラシステムにおける動画閲覧方法並びに動画結合方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明の発明者は、同じ時間間隔で取得した映像を、時間単位で１動画ずつ監視カメラの映像を閲覧するのではなく、保存された動画を有効利用するため、全く別な切り口で、保存した動画を使用して新たな用途の動画を生成するという考えに立ち、本発明を完成させたものである。

【0008】

本発明の第１の態様は、上記目的を達成するため、ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイス及び１又は複数の端末に接続され、前記カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、前記計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバを具備し、
前記録画サーバが、
前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、
当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、
前記端末に、前記結合映像データを送出して表示させる送出手段
を有することを特徴とする監視カメラシステムを提供する。

【0009】

本発明の第１の態様によれば、録画映像の結合がされるので、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。また、扉を開けたとき等、１又は複数のトリガーが発生した複数の時刻の動画のみを同時にあるいは順次閲覧したりできる。また、目的に応じた結合動画を閲覧するだけですむので、問題発生時に、多くの動画を長時間かけて閲覧して問題の発生原因等を見つける労力が、削減できる。複数同時閲覧とすることで、閲覧の作業負担が減り、業務が改善される。また、保存動画を、同じ時間で今までより多く見ることができるようになるため、犯罪等の抑止力が高まることが期待できる。配送時のクレームなどの真偽が簡単に確認できる。したがって、嘘のクレームが減るという効果が期待できる。高い解像度を保ちながらデータ量が小さく低コスト化を可能とする。また、目的に応じた結合画像のみ保存しておけば、元の個別の動画を削除することができるので、容量削減と低コスト化を実現できる。

【0010】

本発明において、「ネットワーク」には、ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網及びそれらの組合せから構成されるネットワークを含む。本発明において、カメラは、静止画を撮影するカメラ及び動画を撮影するカメラのいずれか又は両方であって、カメラに撮影させる画像が、静止画及び動画のいずれか又は両方であってもよい。各カメラは、出力機能と、静止画撮影機能及び／又は動画撮影機能を有する。カメラはＩＰカメラであることが好ましいが、アナログカメラでも可能である。静止画を撮影するカメラから取得した画像について、動画への圧縮形式は、現時点で高圧縮であるＨ．２６４であることがさらに好ましい。軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易である。また、動画を撮影するカメラは、録画サーバとＬＡＮネットワークで接続されていることが好ましいが、この限りではない。また、本発明における録画サーバがカメラとネットワークを介して接続されカメラの画像を収集するものであってもよいし、本発明における録画サーバがカメラとネットワークを介して接続されておらず、カメラの画像を、カメラとネットワークで接続された別のサーバで収集して、収集したサーバから本発明における録画サーバに送信して動画形式で映像データとして本発明における録画サーバに蓄積するものであってもよい。なお、録画サーバはクラウドサーバであってもよい。

【0011】

さらに、選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、
前記結合映像データ作成手段が、前記結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、前記計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとするものであるものであってもよい。

【0012】

計測データの値を映像と同時に確認できるので便利であり、またフレーム調整してあるので、元の映像のフレーム数や間隔が異なっていても調整されるので無駄な画像が含まれないし、複数カメラの映像を１つにして同時に表示できる。

【0013】

本発明の第２の態様は、上記目的を達成するため、ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイス及び１又は複数の端末に接続され、前記カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、前記計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが、
前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
選択された個別映像データのカメラに紐づけられた計測データ種別全てについてカメラ毎に前記所定の時間帯の計測データを選択する計測データ選択ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
前記端末に、前記結合映像データを送出して表示させる送出ステップ
を含むことを特徴とする動画閲覧方法を提供する。

【0014】

本発明の第２の態様によれば、本発明の第１の態様と同様に、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。

【0015】

本発明の第３の態様は、１又は複数のカメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、１又は複数の計測デバイスから取得した計測データをフォルダに保存し、前記計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが
前記計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、
当該計測データ種別が紐付けられたカメラ毎に、前記フォルダから結合する前記トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、
選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、
前記結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、
を含むことを特徴とする動画結合方法を提供する。

【0016】

本発明の第３の態様によれば、録画映像の結合がされるので、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。また、扉を開けたとき等、１又は複数のトリガーが発生した複数の時刻の動画のみを同時にあるいは順次閲覧できるので、問題発生時に、多くの動画を長時間かけて閲覧して問題の発生原因等を見つける労力が、削減できる。複数同時閲覧とすることで、閲覧の作業負担が減り、業務が改善される。また、保存動画を、同じ時間で今までより多く見ることができるようになるため、犯罪等の抑止力が高まることが期待できる。配送時のクレームなどの真偽が簡単に確認できる。したがって、嘘のクレームが減るという効果が期待できる。高い解像度を保ちながらデータ量が小さく低コスト化を可能とする。また、トリガーが発生した動画のみをまとめて１つの結合動画として保存しておけば、元の個別の動画を削除することができるので、容量削減と低コスト化を実現できる。

【発明の効果】

【0017】

本発明によれば、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の監視カメラシステムの実施例１のネットワーク構成の一例を示す図である。

【図2】本発明の監視カメラシステムの実施例１の録画サーバの構成図である。

【図3】本発明の監視カメラシステムの実施例１の録画サーバのデータベースと計測デバイスの計測データと画像での表示方法（温度計測例）のイメージ図である。

【図4】本発明の監視カメラシステムの実施例１の計測デバイス（ＨＴＴＰ接続）の構成図である。

【図5】本発明の監視カメラシステムの実施例１の端末（モバイル）の構成図である。

【図6】本発明の監視カメラシステムの実施例１の端末（ＰＣ）の構成図である。

【図7】本発明の動画結合方法の実施例１の動画連結方法（温度計測例）のイメージ図である。

【図8】本発明の動画結合方法の実施例１の計測データ取得フロー（自動ドア例）の概略図である。

【図9】本発明の動画結合方法の実施例１の動画連結フロー（自動ドア例）の概略図である。

【図10】本発明の動画結合方法の実施例１の連結手順のイメージ図である。

【図11】本発明の動画結合方法の実施例１のフレーム数調整手順のイメージ図である。

【図12】本発明の動画結合方法の実施例１における監視カメラの設置状況（トラック配送例）のイメージ図である。

【図13】本発明の動画結合方法の実施例１における二次映像データ（トラック配送例）を示すイメージ図である。

【図14】本発明の動画結合方法の実施例１の動画連結フロー（トラック配送例）のイメージ図である。

【図15】本発明の動画結合方法の実施例１の表示画面（トラック配送例）を示すイメージ図である。

【発明を実施するための形態】

【0019】

以下、本発明について、実施例を用いて本発明を具体的に説明するが、本発明はこれらに限定されるものではない。

【実施例1】

【0020】

本実施例は、監視用カメラで撮りためた映像を閲覧しやすい形に加工して保存するもので、トリガーが生じた部分を抽出して繋ぎ合わせて合成して表示するものである。詳細には、ネットワークを介して録画サーバで監視用カメラを作動させて、録画サーバが動画及び静止画のカメラ画像を撮影・収集して作成した一次データを元に、カメラ毎に所定の時間単位で動画として完結した二次映像データである個別映像データを作成し、複数の二次映像データを結合加工して三次映像データである結合映像データを作成し、録画サーバがユーザの端末に端末からの要求に応じてネットワークを介して、トリガーが生じた部分を抽出して繋ぎ合わせて合成して、モニターする映像を送信するものである。なお、再生のみならず、巻戻し・早送りも可能である。したがって、本実施例では、保存した映像の有効利用を実現できる。例えば、ある作業室において、材料投入時に異物混入のあった時間帯がなかったかを後日確認しようとした際、すぐに知ることができるし、問題のあったロットについて従業員に不審な動きがなかったかを後日確認しようとした際も、すぐに知ることができるし、作業室の不審者が入らなかったかを、扉があいた時の映像のみ同時再生してすぐに知ることができる。したがって、本実施例によれば、後日確認時の閲覧性が向上し、これまで長時間労力をかけて調べていた問題究明を、極めて短時間に、小さな労力で調べることができる。

【0021】

｛構成｝
図１は、本発明の監視カメラシステムの実施例１のネットワーク構成の一例を示す図である。ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網の組み合わせから構成されるネットワーク５００上には、（１）画像を撮影するカメラとして、複数台の監視用カメラ（静止画用）４００Ａ〜Ｃ及び監視用カメラ（動画用）４０１、（２）ネットワーク５００を介して監視用カメラ４００、４０１と接続され、カメラで撮影した画像データを取得し蓄積し端末に送信する録画サーバとして、録画サーバ１００、（３）ネットワーク５００を介して録画サーバ１００と接続され、録画サーバ１００からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末２００Ａ〜Ｃや、デスクトップＰＣ（パーソナルコンピュータ）やノートＰＣなどの閲覧ＰＣ３００Ａ〜Ｃ、（４）ネットワーク５００を介して録画サーバ１００と接続され、録画サーバ１００に計測データを送信する計測デバイスとして、ＲＦＩＤセンサ７００Ａや、ビーコンセンサ７００Ｂや、自動ドア等のＯＮ／ＯＦＦセンサ７００Ｃや、温度センサ７００Ｄが接続されている。また、オープンデータベース等の他システムデータベースを介して、センサ７００Ｅが接続されている。カメラは、監視用静止画カメラのみでもよいし、監視用動画カメラのみでもよいし、共に、録画サーバの処理範囲内であれば台数に制限はない。なお、以下、モバイル端末と閲覧ＰＣとをまとめるときは、「端末」又は「Ｖｉｅｗｅｒ」という。計測デバイスは例示であって、計測機器やセンサ等であってもよい。本実施例では、ＯＮ／ＯＦＦセンサ７００Ｃは、ＨＴＴＰ接続のセンサであり、温度センサ７００ＤはＳＯＣＫＥＴ接続であるが、ＦＴＰ接続等、他の接続方法であってもよい。計測デバイスから録画サーバへのデータの送信方法は、計測デバイス側から録画サーバに、例えば５分、１０分、１時間といった間隔で送信するものであってもよいし、録画サーバ側から計測デバイスに1秒毎のように短い間隔でデータを取得しにいくものでもよい。温度センサ７００Ｄからは温度情報等を直接録画サーバに取得させるため、短い周期での情報取得が可能となる。カメラと同じ接続になるので、ローカルネットワーク外からの接続には、ルータにポートフォワーディング等の設定を行う。センサ７００Ｅに接続された他システムデータベースは、センサ７００Ｅの独自のクラウドデータベースであって、センサ７００Ｅは１０分毎にかかるデータベースにアップロードし、録画サーバは、かかるデータベースからデータを取得する。かかる方法によれば、短い周期の情報取得はできないが、デバイスの設置環境に影響しない情報取得が可能となる。計測デバイスの種類や数は、１以上いくつでもよい。また録画サーバとの接続方法についても、上述した接続方法以外の接続でもよい。

【0022】

録画サーバ１００は、動画を撮影する監視用カメラ(動画用)４０１と同じＬＡＮ内に存在するが、静止画を撮影する監視用カメラ(静止画用)４００が同じＬＡＮ内に存在する場合に限らず、インターネットやＬＡＮ等、複数のネットワークを介して接続されていてもよい。また、同じネットワーク上に複数の録画サーバがあってもよい。本実施例では、監視用カメラ４００、４０１と録画サーバ１００との通信がＴＣＰ／ＩＰ方式で、静止画を撮影する監視用カメラ(静止画用)４００では、同じＬＡＮ内にカメラと録画サーバが存在しなくても、確実に画像データの送受信ができ、信頼性が高い。監視用カメラ４００、４０１は、本実施例ではＩＰカメラであるが、アナログカメラでもよい。画像表示用の端末である閲覧ＰＣ３００も、録画サーバ１００と同じＬＡＮ内に存在する場合に限らず、インターネットやＬＡＮやＷｉ-Ｆｉ回線等、複数のネットワークを介して接続されていてもよい。画像表示用の端末であるモバイル端末２００についても、ＬＡＮ、インターネット、携帯電話用ネットワーク（Ｗｉ−Ｆｉ回線や３Ｇ／ＬＴＥ回線等）等、複数のネットワークを介して接続されていてもよい。なお、ＬＡＮとインターネット間や静止画を撮影する監視用カメラとインターネット間やＨＴＴＰ接続の計測デバイスとインターネット間はルータ６００を介する。図１は、監視用カメラ（動画用）及び監視用カメラ（静止画用）や閲覧ＰＣやモバイル端末や計測デバイスを、録画サーバと複数のネットワークを介して接続した接続例を示すものであり、これに限定されない。本実施例では、監視用カメラ４００、４０１と録画サーバ１００との通信は、セッションを確立してから通信を開始する信頼性の高いＴＣＰで行うが、セッションを確立しないでデータを送信する早くてリアルタイム性に優れたＵＤＰでもよく、ＴＣＰ、ＵＤＰどちらのプロトコルでも画像を取得できる。各種センサやバーコード読取装置やＲＦＩＤの情報読取装置等の計測デバイスから録画サーバに送信された計測データから、１又は複数種類のトリガーの有無を検出する。

【0023】

１台の録画サーバ１００は、複数台の監視カメラ４００、４０１から画像を取得することができる。本実施例では、録画サーバ１００側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。また、通信が不通になった場合にも再開が容易である。

【0024】

図２は、本発明の監視カメラシステムの実施例１の録画サーバの構成図である。録画サーバ１００は、キャッシュメモリであるメモリ１０２を伴うＣＰＵ１０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置１１０と、ネットワークインターフェース１０４等の通信制御装置や表示装置としてのディスプレイ１０３、キーボード１０５、マウス１０６等で構成される入出力装置とを備えている。記憶装置１１０には、一次画像フォルダ１１１と二次映像フォルダ１１２と三次映像フォルダ１１６と動画連結・結合プログラム１１３をはじめとする各種プログラムと認証用データベースと環境設定フォルダ等の他、オペレーティングシステム１１４が格納されている。二次映像データである個別映像データから三次映像データである結合映像データを作成するための結合用映像データも記憶装置１１０内のフォルダに格納されている。また、計測デバイスから取得した計測データも記憶装置１１０内のフォルダに格納されている。さらに、計測デバイスの計測データ種別とカメラを紐づけたデータベースも、記憶装置１１０内に格納されている。動画連結・結合プログラム１１３をはじめとする各種プログラムは、通常、記憶装置１１０の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ１１１には、カメラ画像を一次データとして蓄積し、二次映像フォルダ１１２には、一次画像フォルダ１１１内に蓄積された一定時間分の一次データを動画圧縮変換して二次映像データとして蓄積する。かかる二次映像データが、カメラが撮影したカメラ画像を動画形式にした個別映像データである。認証用データベースには、モバイル端末２００及び閲覧ＰＣ３００の受付情報であるＩＤ、パスワード、個体識別情報（ＵＩＤ）が蓄積され、各監視用カメラ４００、４０１や計測デバイス７００のアクセス情報であるＩＰアドレス、ポート番号、ＩＤ、パスワードが蓄積されている。本実施例では、録画サーバ１００は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ１０３、また入力手段としてのキーボード１０５やマウス１０６を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各監視用カメラの画像取得タイミング、一次データや二次映像データの作成間隔、圧縮条件、三次映像データ（結合映像データ）作成時のレイアウト等の条件、一次データや二次画像データの作成間隔、圧縮条件、計測データ取得タイミング、計測データから作成する計測データ表示画像の各種条件やレイアウト等が蓄積されている。録画サーバ１００は、設置型のサーバであるが、クラウドサーバであってもよい。

【0025】

本実施例における録画サーバは、また、各計測デバイスの計測データ種別ごとに再生単位時間長データを有するデータベースを有する。

【0026】

録画サーバ１００は、ＣＰＵ１０１が、動画連結・結合プログラム１１３をメモリ１０２にロードして実行することにより本発明の動画結合編集処理等が可能なコンピュータの機能を実現する。ＣＰＵ１０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0027】

録画サーバ１００は、１台のサーバとする他、複数のサーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間（例えば２４時間）経過後の二次映像データについては、保存先を、カメラ画像を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。

【0028】

録画サーバ１００は、監視用カメラとの接続を行い、一定時間（例えば１秒）毎に、接続した静止画撮影用の監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させ、一定時間（例えば１０秒）ずつ、接続した動画撮影用の監視用カメラに動画を連続撮影させ撮影したカメラ画像を録画サーバに入力させ、圧縮して一次データを作成し記憶装置１１０の一次画像フォルダ１１１に蓄積する。そして一次データを、一定時間（例えば１０分）毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する。本実施例では、二次映像データすなわち個別映像データは、それぞれ、同じ時間分のデータであり、全て同じフレーム数に調整してある。本実施例では、１０分間分の個別映像データとしてあるが、これに限らない。

【0029】

本実施例において、映像の結合方法は、１つのカメラについてトリガーの前後一定時間の映像を時系列で並べて連続表示するか、１つのカメラについてトリガーの前後一定時間の映像を合成して１画面に表示するか、複数のカメラについてトリガーの前後一定時間の映像を合成して１画面に表示するかのいずれかとする、トリガー結合である。

【0030】

録画サーバ１００は、計測デバイス７００との接続を行い、一定時間（例えば、５分、１０分、１時間）毎に計測デバイスから送信された計測データを取得し、あるいは、一定時間（例えば１秒）毎に計測デバイスに計測データを送信させて計測データを取得し、記憶装置１１０のフォルダに蓄積する。

【0031】

図３は、本発明の監視カメラシステムの実施例１の録画サーバのデータベースと計測デバイスの計測データと画像での表示方法（温度計測例）のイメージ図である。録画サーバ１００は、データベースに、計測デバイス毎に計測デバイスキーや情報収集間隔や接続方法等を紐づけたセンサマスタと、カメラ毎にカメラキーや画像収集間隔や接続方法等を紐づけたカメラマスタと、計測デバイスの計測種別すなわちセンサ項目毎にセンサ項目キーと計測デバイス（センサ）キーや項目名や単位等を紐づけたセンサ項目マスタと、センサ項目キーとカメラキーを紐づけたセンサ項目カメラ紐付マップとを有する。

【0032】

動画連結・結合プログラムは、コンピュータに、（１）計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出機能、(２)当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択機能、(３)選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成機能、(４)結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成機能、(５)端末との接続を行う端末接続機能、(６)端末から動画閲覧要求を受け付ける閲覧要求受付機能、(７)端末に、結合映像データを送出して表示させる送出機能を実現させるためのプログラムである。どのカメラの映像をどのレイアウトで結合させるかの設定及び複数連結の要否及び／又は一部削除の要否や、トリガー毎のトリガー何分間前からトリガー何分後までの映像とするかの時間要件やどの計測装置のトリガーに基づいてどのカメラの映像をピックアップするかについては、予め録画サーバ１００のデータベースに結合条件として記憶されている。

【0033】

本実施例では、動画連結・結合プログラムは、さらに、（８）選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成機能を有し、（４）の結合映像データ作成機能が、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとする結合映像データ作成機能を実現させるためのプログラムである。

【0034】

なお、本実施例では、端末に表示した結合映像データについての巻戻し要求及び早送り要求及び再生要求を端末から受け付け、要求により、表示する結合映像データの巻戻し・早送り・再生を行う。

【0035】

本実施例では、一定時間（例えば１０分）分毎に二次映像データが作成され、二次映像データがあれば三次映像データである結合映像データが作成できる。複数カメラのトリガーのある映像のみを、一画面もしくは連続して見ることができ、かつ一つの動画として録画サーバから端末へ送出されるためデータ量が小さくて済む。

【0036】

本実施例では、監視カメラと録画サーバとの接続はＴＣＰ／ＩＰ方式で行い、監視カメラを特定するため、認証を行ってからカメラ画像の撮影等の要求を行う。端末と録画サーバとの接続もＴＣＰ／ＩＰ方式で行い、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

【0037】

録画サーバ１００は、接続開始時毎に、監視用カメラや端末や計測デバイスのＩＰアドレス及びポート番号、ＵＩＤを調べ、ローカル環境（例えば、同じＬＡＮ上）にあるカメラや端末や計測デバイスとの接続開始時には、ＩＰアドレス及びポート番号やＵＩＤを用いた接続によって接続相手を特定でき、録画サーバ側で設定したユーザＩＤとパスワードで認証する。録画サーバ１００は、インターネット網を介する等、遠隔環境にある監視用カメラとの接続では、ルータのポート転送（ポートフォワーディングなどとも表現される）を用いることで、グローバルＩＰアドレス及びポート番号を用いて接続相手を特定する。録画サーバ１００は、モバイル端末２００又は閲覧ＰＣ３００の接続開始時にＵＩＤを用いた端末固有情報を元に端末を特定するため、ユーザＩＤとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。

【0038】

図４は、本発明の監視カメラシステムの実施例１の計測デバイス（ＨＴＴＰ接続）の構成図である。ＨＴＴＰ接続の計測デバイス７００は、メモリ７０２を伴うＣＰＵ７０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置７１０と、ネットワークインターフェース７０４等の通信制御装置や表示装置としてのディスプレイ７０３等で構成される入出力装置とを備えている。記憶装置７１０には、データ収集プログラム等を含むプログラム７１３やオペレーティングシステム７１４やＨＴＴＰサービスプログラム７１７やデジタル／アナログ変換７１８が格納されている。ＨＴＴＰ接続の計測デバイス７００は、例えば、市販のＨＴＴＰ接続タイプの計測デバイスでもよい。ＣＰＵ７０１は、通常の計測デバイスに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。アナログで計測を行う場合、アナログセンサ７１６に記憶装置７１０に格納されているデジタル／アナログ変換７１８に接続して、デジタルデータに変換してデータ収集を行い、録画サーバにデータを送信する。他の接続方法の計測デバイス７００でも、データ収集を行い、録画サーバにデータを送信する。シリアル接続の計測デバイス７００では、ＲＳ２３２Ｃ／ＲＳ４８５シリアルデバイスを用いる。ソケット接続すなわちＴＣＰ／ＩＰ接続の計測デバイス７００では、ＴＣＰ／ＩＰ通信で録画サーバにデータを送信する。

【0039】

図５は、本発明の監視カメラシステムの実施例１の端末（モバイル）の構成図である。モバイル端末２００は、メモリ２０２を伴うＣＰＵ２０１やデバイスドライバ等を有する制御・演算装置と、記憶装置２１０、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ２０３、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置２１０には、画像表示プログラム２１３やオペレーティングシステム２１４が格納されている。モバイル端末２００は、例えばスマートフォン等の携帯電話等であり、ＣＰＵ２０１が画像表示プログラム２１３をメモリ２０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。ＣＰＵ２０１は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0040】

本実施例においては、録画サーバ１００と閲覧ＰＣ３００とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末２００もクロック機能等を備えている。

【0041】

図６は、本発明の監視カメラシステムの実施例１の端末（ＰＣ）の構成図である。閲覧ＰＣ３００は、メモリ３０２を伴うＣＰＵ３０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置３１０と、ネットワークインターフェース３０４等の通信制御装置や表示装置としてのディスプレイ３０３、キーボード３０５、マウス３０６等で構成される入出力装置とを備えている。記憶装置３１０には、画像表示プログラム３１３やオペレーティングシステム３１４が格納されている。閲覧ＰＣ３００は、例えばデスクトップＰＣやノートＰＣ、タブレット端末等であり、ＣＰＵ３０１が画像表示プログラム３１３をメモリ３０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。ＣＰＵ３０１は、通常のＰＣに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0042】

画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバから送信された画像を表示する画像表示機能を実現させるためのプログラムである。

【0043】

本実施例では、画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、巻戻し又は早送りの要求の入力を受け付け、録画サーバに三次映像データである結合映像データの一定単位分前又は後の映像を要求する巻戻し・早送り要求機能をも実現させるためのプログラムである。

【0044】

本実施例では、複数カメラの映像を結合して動画としてあるため、表示中の全てのカメラの映像を一度に巻き戻し・早送りすることができる。

【0045】

動画連結・結合プログラムと画像表示プログラムとを有する動画閲覧方法のプログラムは、それぞれのプログラムによるステップをコンピュータに実行させるものである。

【0046】

監視用カメラに併設される各種センサやバーコード読取装置やＲＦＩＤの情報読取装置は、録画サーバとネットワーク接続やシリアル接続もしくは中継器で変換された情報を録画サーバーに送る。例えば、トラックに搭載された監視用カメラに扉の開閉センサが併設されている場合、扉の開閉情報とカメラ画像を録画サーバに送信される。録画サーバは、センサ情報をデータベース管理し、動画結合指示と照合し目的の結合映像データを生成する。例えば、製品を製造するベルトコンベア上に設置された複数の監視用カメラとＲＦＩＤ情報読取装置が設置されている場合、あらかじめ監視カメラとＲＦＩＤ情報読取装置を紐付けし、商品のＲＦタグに入っている情報をリーダで読み取り、地点通過情報を管理する。

【0047】

本実施例では、画像を撮影する監視用カメラ４００、４０１にネットワーク５００を介して接続された録画サーバ１００と、録画サーバ１００にネットワーク５００を介して接続され画像を表示する端末２００、３００とを具備しており、録画サーバ１００には、監視用カメラとの接続を行い、一定時間（例えば１秒）毎に、接続した静止画撮影用の監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させ、一定時間（例えば１０秒）ずつ、接続した動画撮影用の監視用カメラに動画を連続撮影させ撮影したカメラ画像を録画サーバに入力させ、圧縮して一次データを作成し記憶装置１１０の一次画像フォルダ１１１に蓄積する。そして一次データを、一定時間（例えば１０分）分毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する、各手段を設けてある。さらに、録画サーバ１００には、（１）計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出手段、（２）当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択手段、(３)選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成手段、(４)結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成手段、(５)端末との接続を行う端末接続手段、(６)端末から動画閲覧要求を受け付ける閲覧要求受付手段、(７)端末に、結合映像データを送出して表示させる送出手段をも設けてある。

【0048】

本実施例では、録画サーバ１００には、さらに、（８）選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成手段を有し、（４）の結合映像データ作成手段が、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、前記結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとする結合映像データ作成手段である。

【0049】

本実施例では、録画サーバ１００は、前述のハードウェア構成と動画連結・結合プログラム１１３によって、（１）〜（８）の手段として機能する。

【0050】

また、端末（モバイル端末２００及び閲覧ＰＣ３００）に、（１）録画サーバ１００から送信された画像を表示する画像表示手段及び(２)巻戻し要求及び早送り要求及び再生手段を設けてある。

【0051】

本実施例では、端末２００、３００は、前述のハードウェア構成と画像表示プログラム２１３、３１３によって、（１）〜（２）の手段として機能する。例えば、録画翌日等に再生を行うとき、何日の何時の録画について再生をしたいかを選択し、１０分分ずつ２次データに変換されたファイルを呼び出して、再生を行う。再生中の巻戻しや早送りも可能である。

【0052】

本実施例の監視カメラシステムは、静止画又は動画を撮影するカメラ群にネットワークを介して接続された録画サーバが、一定時間毎に、前記カメラ群からＴＣＰ／ＩＰ方式で、カメラ画像を静止画又は動画で取得し、圧縮して一次データを作成して、一定期間内は一次データのまま保存し、一定期間経過後に、タイムスタンプ情報を付加した高圧縮動画ファイルの二次映像データに変換して保存し直す。本実施例では、Ｈ．２６４形式で圧縮して動画ファイルに変換する。さらに、録画サーバで定めた形式又は端末からの要望に従った形式で、二次映像データである個別映像データを複数組み合わせて同時に並行して組合せ表示するための合成をした動画として三次映像データすなわち結合映像データを作成して端末に表示する。

【0053】

本実施例の監視カメラシステムは、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。複数のカメラの動画を同時に再生でき、例えば、問題発覚から問題究明までの時間が短縮できる。

【0054】

｛手順｝
上述した本発明の監視カメラシステムの実施例１における動画結合方法及び、本発明の動画結合方法の実施例１を使用した動画閲覧方法の手順について次に説明する。なお、図を用いた手順の説明には、温度計測の例と自動ドアの例とトラック配送の例を適宜用いる。いずれも基本的な手順は同じであり、計測デバイスの種類やトリガーの種類や結合条件等が異なる。

【0055】

本実施例の動画結合方法における動画閲覧方法は、ネットワークを介して、画像を撮影する１又は複数のカメラ及び１又は複数の計測デバイス及び１又は複数の端末に接続され、カメラが撮影したカメラ画像を動画形式にしてフォルダに個別映像データとして保存し、計測デバイスから取得した計測データをフォルダに保存し、計測デバイスの計測データ種別とカメラを紐付けたデータベースを有する録画サーバが、（１）計測データ種別毎に、計測データから指定する条件に合致するものを選択し、当該計測データの時刻情報を抽出しトリガーデータとするトリガーデータ抽出ステップ、（２）当該計測データ種別が紐付けられたカメラ毎に、フォルダから結合するトリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する個別映像データ選択ステップ、（３）選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行い、それぞれ結合用映像データとする結合用映像データ作成ステップ、（４）選択された個別映像データのカメラに紐づけられた計測データ種別全てについてカメラ毎に前記所定の時間帯の計測データを選択する計測データ選択ステップ、（５）結合用映像データを１つの動画に合成して結合映像データとする結合映像データ作成ステップ、（６）端末に、前記結合映像データを送出して表示させる送出ステップを含む。

【0056】

さらに、本実施例においては、（４）の計測データ選択ステップ後、（５）の結合映像データ作成ステップの前に、（８）選択された個別映像データのカメラに紐づけられた計測データ種別のうち表示する計測データ種別全てについて前記所定の時間帯の計測データを選択して計測データ表示画像を作成する計測データ表示画像作成ステップを含み、（５）の結合映像データ作成ステップが、結合用映像データのうち、同時に表示させる結合用映像データ同士は、フレーム数を同数に調整しフレーム間隔を同じに調整し、順次表示させる結合用映像データは表示順に並べて、結合用映像データに、計測データ表示画像を合成し、調整後の結合用映像データ全てを１つの動画に合成して結合映像データとする結合映像データ作成ステップである。

【0057】

録画サーバには、断続的にあるいは連続的に複数の監視用カメラから送信されるカメラ画像が一次画像フォルダに一次データとして蓄積され、一次データから作成された二次映像データが二次映像フォルダに蓄積される。二次映像データは、カメラ画像を動画形式にしてフォルダに保存された個別映像データである。対象となる個別映像データが作成された時点以降は端末からの結合映像データの表示要求に答えられるため、早い段階で複数カメラの映像を一度に確認でき、閲覧性が高い。

【0058】

本実施例においては、カメラやトリガーの種類や結合方法等については録画サーバにあらかじめ記憶されているが、端末から再生する対象となるカメラの選択やトリガーの選択を受け付け、次に映像の結合方法の選択を受け付け、受け付けた結合方法に応じて個別映像を連結・結合を行って表示させてもよい。

【0059】

本実施例では、録画サーバで予め定めた方法で選択した全てのカメラについて、トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する。本実施例の動画結合方法は、例えば、所定のカメラに紐付けられた温度湿度センサで計測された温度が一定以上となった時の前後の映像のみを連続して確認したいときや、扉を開けたときの複数方向に設置したカメラの映像のみを一度に確認したいときなどに有用な結合方法である。

【0060】

端末から動画閲覧要求を受け付けると、本実施例では、選択した全てのカメラについて、トリガーデータの時刻を含む所定の時間帯の個別映像データを１又は複数選択する。トリガーデータは、計測データ種別ごとに指定する条件に合致して選択された計測データの時刻情報である。例えば、図３に示した例で説明すると、カメラ００１（キーＣ０１）に紐付けられた温度湿度センサである計測デバイス「温湿計Ａ」（キーＳ０１）の計測データ種別が温度（キーＩ０１）と湿度（キーＩ０２）であって、計測データ種別の一つである温度（キーＩ０１）について指定する条件が２５℃以上であるときに、温度湿度センサ（キーＳ０１）で２５℃以上を記録した計測データ（キーＩ０１）の時刻情報が１２時５分から１２時７分までと１３時１５分から１３時２０分までであるとき、トリガーデータは、計測デバイスが温度湿度センサで計測データ種別が温度（キーＩ０１）では、１２時５分から１２時７分と１３時１５分から１３時２０分までとなり、トリガーデータの時刻を含む所定の時間帯を、前２分、後３分とすると、選択されるカメラ００１１（キーＣ０１）の個別映像データは、１２時３分から１２時１０分と１３時１３分から１３時２３分までのデータとなる。

【0061】

表示方法が複数のカメラの映像についての同時表示の場合、カメラ００１（キーＣ０１）に紐付けられた温度湿度センサである計測デバイス「温湿計Ａ」（キーＳ０１）の計測データ種別が温度（キーＩ０１）と湿度（キーＩ０２）であって、計測データ種別の一つである温度（キーＩ０１）について指定する条件が２５℃以上であるときに、温度湿度センサで２５℃以上を記録した計測データ（キーＩ０１）の時刻情報が１２時５分から１２時７分であり、別のカメラであるカメラ００２（キーＣ０２）に紐づけられた温度湿度センサ「温度計Ｂ」（キーＳ０２）でも同じ指定条件であって、温度湿度センサ（キーＳ０２）で２５℃以上を記録した計測データの時刻情報が１３時１５分から１３時２０分であるとき、トリガーデータは、計測デバイスが温度湿度センサ（キーＳ０１、キーＳ０２）で計測データ種別が温度（キーＩ０１、Ｉ０３）では、カメラ００１（キーＣ０１）では１２時５分から１２時７分まで、カメラ００２（キーＣ０２）では１３時１５分から１３時２０分までとなり、トリガーデータの時刻を含む所定の時間帯を、前２分、後３分とすると、選択される個別映像データは、カメラ００１（キーＣ０１）では１２時３分から１２時１０分、カメラ００２（キーＣ０２）では１３時１３分から１３時２３分のデータとなる。カメラ００１（キーＣ０１）の１２時３分から１２時１０分までの個別映像データと、カメラ００２（キーＣ０２）の１３時１３分から１３時２３分までの個別映像データを、フレーム間隔及びフレーム数をデータ間でそれぞれ同数に調整し、調整後の結合用映像データを全て１画面に分割して表示されるように１つの動画に合成したもの、あるいは調整後の結合用映像データに計測データ表示画像を合成して１つの動画としたものが、結合映像データとなる。

【0062】

表示方法が１つのカメラの映像についての連続表示の場合、次のようになる。図７は、本発明の動画結合方法の実施例１の動画連結方法（温度計測例）のイメージ図である。指定する条件を、「温湿計Ａ」（キーＳ０１）の計測データ種別が温度（キーＩ０１）について３０℃とし、トリガーデータの時刻を含む所定の時間帯を、前２秒前、後５秒とし、動画単位を１時間とすると、カメラ００１１（キーＣ０１）の１２時２６分２５秒から１２時２６分３７秒までの個別映像データと１２時２８分６秒から１２時２８分１３秒までの個別映像データを連結して結合用映像データとし、その結合用映像データ、あるいはその結合用映像データに所定の計測データ種別（Ｉ０１、Ｉ０２、Ｉ０３）の計測データ表示画像を合成して１つの動画としたものが、結合映像データとなる。

【0063】

表示方法が１つのカメラの映像についての同時表示の場合、当該カメラの１２時２６分２５秒から１２時２６分３７秒までの個別映像データと１２時２８分６秒から１２時２８分１３秒までの個別映像データを、フレーム間隔及びフレーム数をデータ間でそれぞれ同数に調整し、調整後の結合用映像データを全て１画面に分割して表示されるように１つの動画に合成したもの、あるいは調整後の結合用映像データに計測データ表示画像を合成して１つの動画としたものが、結合映像データとなる。

【0064】

図８は、本発明の動画結合方法の実施例１の計測データ取得フロー（自動ドア例）の概略図である。録画サーバは、計測デバイス（例えば、自動ドアが「開」のとき「ＯＮ」、「閉」のとき「ＯＦＦ」となるＨＴＴＰ接続のセンサに対し、ＨＴＴＰ通信接続を要求し、ユーザ・パスワード認証で接続を完了し、一定時間毎にセンサに対し計測データ（センサーデータ）を要求すると、センサ側で取得した計測データを録画サーバへ送信し、録画サーバのデバイスデータベースに取得した計測データを保存する。

【0065】

図９は、本発明の動画結合方法の実施例１の動画連結フロー（自動ドア例）の概略図である。端末から、閲覧要求を受け付けると、予め録画サーバで設定された方法で三次映像データである結合映像データの作成を開始する。本実施例においては、同一のカメラの映像の連結であり、自動ドアが「開」のときセンサが「ＯＮ」の計測データとなる計測デバイスで、録画サーバは、「ＯＮ」の計測データとなる時刻情報すなわちトリガーデータを、９時５分２秒、９時１３分７秒、９時２０分１７秒とし、動画単位を１分間、開始条件をトリガーデータが含まれる動画単位の開始時、終了条件をトリガーデータが含まれる動画単位の終了時、すなわち１つの動画単位を個別映像データの単位として、９時台の入出写動画を生成する。対象となるカメラ、図９の場合で、自動ドア正面のカメラの二次映像データから、トリガーデータに基づいて、個別映像データとして、９時５分０秒から１分間、９時１３分０秒から１分間、９時２０分０秒から１分間、の各映像データをピックアップし、それらの動画を時系列で連結して結合用映像データとし、かかる結合用データを１つの動画として結合映像データすなわち三次映像データとして保存する。

【0066】

図１０は、本発明の動画結合方法の実施例１の連結手順のイメージ図である。第一のトリガーデータと紐づけられたカメラの個別映像データが、カメラＣＡＭ０１の１０時００分からの映像と１０時２０分からの映像と１０時３０分からの映像であって、第二のトリガーデータと紐づけられたカメラの個別映像データが、カメラＣＡＭ０１の１０時４０分からの映像と、ＣＡＭ０３の１０時００分からの映像と１０時２０分からの映像と、ＣＡＭ０４の１０時１０分からの映像と、ＣＡＭ０６の１０時２０分からの映像である場合であって、トリガーとして第一のトリガーが選択されたとき、ＣＡＭ０１の１０時００分からの映像と１０時２０分からの映像と１０時３０分からの映像を連結して合成する。トリガーが同時刻で別の個別映像データで重なる場合、そのタイミングの画面を、重なったカメラの映像で複数分割して一画面にするのか時系列に単純に並べるかを指定する。トリガーとして第二のトリガーが選択されたとき、同時刻の時は結合する場合には、ＣＡＭ０３とＣＡＭ０６の１０時２０分の映像については１画面で表示するように合成し、複数のカメラの対象となる映像を撮影時間順に連結して合成する。例えば、ＣＡＭ０１について１日毎に黒丸のトリガー映像を連結したもの（フレーム数がすべて同一）が、図１０の左下のＣＡＭ０１＿２０１６０４１５１のような映像になる。ＣＡＭ０１＿２０１６０４１５１は、対象カメラ映像が完全に完成する時刻を経過した後に、ピックアップから連結が開始される。黒丸のトリガーの場合、最後に完成する二次映像データはＣＡＭ０１＿１０３０であるので、対象カメラＣＡＭ０１の三次映像データについては、１０時３０分以降に動画生成が開始される。完成時間は不明となる。複数のカメラについて白丸のトリガー映像を連結したもの（フレーム数がすべて同一）であって重なったカメラの映像を複数分割して一画面にしたものが、図１０の右下のＣＡＭ０１＿２０１６０４１５２のような映像になる。

【0067】

複数の個別映像データを連結する方法は、例えば、９時２０分から１０分間の個別映像データと９時３０分から１０分間の個別映像データと９時４０分から１０分間の個別映像データと９時５０分から１０分間の個別映像データから、９時２５分から９時５５分の結合用映像データを作成するときは、まずは個別映像を連結して、９時２０分から５分間分の映像と９時５５分から５分間分の映像を削除するトリミングをすることで行う。

【0068】

複数の結合用映像データについてフレーム間隔及びフレーム数を映像データ間でそれぞれ同数に調整する方法は、元となる個別映像データが、例えば、Ａ、Ｂ、Ｃのカメラで、Ａのカメラの一次データが１秒間に１フレーム、Ｂのカメラの一次データが１秒間に５フレーム、Ｃのカメラの一次データが１秒間に１０フレームであるとき、全てを１秒間に５フレームの動画とする場合、足りない分は直前のフレームで補い、多い分は間引きする。

【0069】

図１１は、本発明の動画結合方法の実施例１のフレーム数調整手順のイメージ図である。複数の結合用映像データについてフレーム間隔及びフレーム数を映像データ間でそれぞれ同数に調整する方法は、元となる個別映像データが、例えば、Ａ、Ｂ、Ｃのカメラで、Ａのカメラの一次データが１秒間に１フレーム、Ｂのカメラの一次データが１秒間に５フレーム、Ｃのカメラの一次データが１秒間に１０フレームであるとき、全てを１秒間に５フレームの動画とする場合、足りない分は直前のフレームで補い、多い分は間引きする。

【0070】

図１２は、本発明の動画結合方法の実施例１における監視カメラの設置状況（トラック配送例）のイメージ図である。図１２に示した監視カメラの設置例では、トラックの後部扉と各集配拠点に監視カメラを設置していて、トラックの後部扉には、監視カメラ（Ｔカメラ）と扉の開閉センサが設置されており、連続的なＴカメラの映像が録画サーバに送信されるとともに、扉が開いた時に、「ＯＮ」の計測データとなり「ＯＮ」となったときの時刻情報がトリガーデータとして録画サーバに蓄積される。さらに、トラックの集配拠点である、Ａ拠点、Ｂ拠点、及びＣ拠点において、商品の箱等に埋め込まれているＲＦタグの情報を読み取り地点通過情報を管理するＲＦＩＤの読み取り装置が設けられており、各集配拠点の監視カメラ（Ａ〜Ｃカメラ）は、それぞれの拠点のＲＦＩＤの読み取り装置に紐付けられており、連続的なＡ〜Ｃカメラの映像が録画サーバに送信されるとともに、地点通過情報のデータが録画サーバに送信され、地点通過情報と共に、地点通過情報を読み取ったときの時刻情報がトリガーデータとして録画サーバに蓄積される。ＲＦＩＤによりトラックが各拠点に入庫したことを検知するものであってもよい。

【0071】

図１３は、本発明の動画結合方法の実施例１における二次映像データ（トラック配送例）を示すイメージ図である。Ａ拠点においてトラックが９時３０分から９時４５分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得し、Ｂ拠点においてトラックが１１時２０分から１１時４０分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得し、Ｃ拠点においてトラックが１５時００分から１５時２５分までに扉を開けて荷物を降ろして読取装置で地点通過情報を取得した場合に、二次映像データには、Ａカメラ、Ｂカメラ、Ｃカメラの連続的映像データと、Ｔカメラの断続的映像データが蓄積される。Ｔカメラでは扉が開いたときのみ明るくなるため、９時３０分から９時４５分まで、１１時２０分から１１時４０分まで、１５時００分から１５時２５分まで以外は真っ暗な映像となる。図１２に示した例では、トラックに搭載したカメラからは各拠点のベルトコンベアが写り、各拠点のカメラには、トラックからの荷卸し状況が写る。

【0072】

図１４は、本発明の動画結合方法の実施例１の動画連結フロー（トラック配送例）のイメージ図である。ＡカメラとＢカメラとＣカメラとＴカメラについて、トリガーデータをＲＦＩＤ読取装置での地点通過情報読み取り時、すなわち、Ａ拠点では９時３０分から９時４５分まで、Ｂ拠点では１１時２０分から１１時４０分まで、Ｃ拠点では１５時００分から１５時２５分まで、トラックの扉センサでは９時３０分から９時４５分までと１１時２０分から１１時４０分までと１５時００分から１５時２５分までとすると、まずはこれらのトリガーデータを抽出し、個別映像データとして、９時３０分から９時４５分までのＡカメラ及びＴカメラの映像と、１１時２０分から１１時４０分までのＢカメラ及びＴカメラの映像と、１５時００分から１５時２５分までのＣカメラ及びＴカメラの映像とをピックアップし、動画連結を行って結合用映像データを作成し、全ての結合用映像データについてフレーム調整を行って１つの動画に結合し、結合映像データすなわち三次映像データを作成して保存する。

【0073】

図１５は、本発明の動画結合方法の実施例１の表示画面（トラック配送例）を示すイメージ図である。トラックの扉の開閉に合わせて映像を確保し、トラックに設置したＲＦＩＤにより各拠点の到達を認識する。トラックのカメラ（Ｔカメラ）と、各拠点のカメラ（Ａ，Ｂ，Ｃカメラ）を結合し、それぞれを連結することで映像を生成する。

【0074】

結合映像データは、９時３０分から９時４５分までのＡカメラ及びＴカメラの映像と、１１時２０分から１１時４０分までのＢカメラ及びＴカメラの映像と、１５時００分から１５時２５分までのＣカメラ及びＴカメラの映像を１つの動画に合成したもので、短時間で各拠点の映像とトラックの映像を同時に確認することができる。異なる時間帯でも全てのカメラについて１つの画面に分割して表示することができる。その他、１つのカメラを対象にトリガーのあった動画だけを結合する場合、例えば、トラックの配送などで積み荷の中に設置したカメラの映像について扉が開いている時だけを集めることが可能となる。その場合、画面内を分割して一度に閲覧したり、画面内を分割せずに１つ目の動画の後ろに結合して連結することで、クレームなどがあった時の状況確認や、配送の早い人の作業方法を確認したりすることも可能となる。トリガーとなる情報は、扉の開閉だったり、映像が明るくなった時など、状況により様々可能であり、段ボールにＲＦＩＤやバーコード等を設置すればゲート通過時等の映像をすべて結合することも可能となる。

【0075】

｛効果｝
本実施例によれば、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる。１又は複数のカメラの動画を同時に再生でき、例えば、温度異常や入場者確認や荷物紛失等、問題発覚から問題究明までの時間が短縮できる。

【0076】

より詳細には、本実施例によれば、時間単位の単純な閲覧ではなく全く新しい切り口で新たな用途の動画を生成することができる。例えば、製造現場でのロット(段ボール)単位であったり、配送トラックの荷物の出し入れタイミングなど、後日確認時の閲覧性を向上させることができる。また不要な録画情報を削減できる。さらに独自の再生機をソフト開発することで、結合した三次映像データから目的動画を拡大表示し、詳細な閲覧も可能にする。

【0077】

本実施例の動画結合方法によれば、トリガーのある映像のみを集めて一度に見ることができるので、閲覧性を向上させることができる。

【0078】

今までは、問題発生時にしかカメラ映像は閲覧されなかったが、本実施例の監視カメラシステムによれば、短時間で確認できるため日常的にチェックすることも可能となり、業務改善や問題行動の早期発見に効果がある。また、結合映像データすなわち三次映像データのみあれば事足りるような場面では、元となった一次データのみならず二次映像データも削除することで、ストレージを劇的に削減できる。

【0079】

本実施例によれば、問題発生時に多くの動画ファイルを長時間かけて見つけていた労力が削減できる。また、複数同時閲覧は業務に組み込んでも負担にならないので業務改善される。また、保存動画を多く見るようになることで、抑止力が強まる。また、配送時のクレームなどの真偽が確認できる。なお、これによる波及効果として配送業者への嘘のクレームが減ると考えられる。

【0080】

本実施例によれば、一部のカメラの映像についてフレーム数を減らしても、全体として意味のある三次映像データができる。

【0081】

なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。

【符号の説明】

【0082】

１００ 録画サーバ
１０１ ＣＰＵ
１０２ メモリ
１０３ ディスプレイ
１０４ ネットワークインターフェース
１０５ キーボード
１０６ マウス
１１０ 記憶装置
１１２ 二次映像フォルダ
１１３ 動画連結・結合プログラム
１１４ オペレーティングシステム
１１６ 三次映像フォルダ
２００ モバイル端末
２０１ ＣＰＵ
２０２ メモリ
２０３ ディスプレイ
２１０ 記憶装置
２１３ 画像表示プログラム
２１４ オペレーティングシステム
３００ 閲覧ＰＣ
３０１ ＣＰＵ
３０２ メモリ
３０３ ディスプレイ
３０４ ネットワークインターフェース
３０５ キーボード
３０６ マウス
３１０ 記憶装置
３１３ 画像表示プログラム
３１４ オペレーティングシステム
４００ 監視用カメラ（静止画用）
４０１ 監視用カメラ（動画用）
５００ ネットワーク
６００ ルータ
７００ 計測デバイス
７０１ ＣＰＵ
７０２ メモリ
７０３ ディスプレイ
７０４ ネットワークインターフェース
７１０ 記憶装置
７１３ プログラム
７１４ オペレーティングシステム
７１６ アナログセンサ
７１７ ＨＴＴＰサービス
７１８ Ｄ／Ａ変換

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】