特許 6238255 監視カメラシステムによる監視方法及び動画分割装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6238255

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】監視カメラシステムによる監視方法及び動画分割装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171120BHJP

   H04N 5/765 20060101ALI20171120BHJP

   H04N 5/91 20060101ALI20171120BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 U

   H04N7/18 K

   H04N5/765

   H04N5/91

【請求項の数】4

【全頁数】21

(21)【出願番号】特願2016-104723(P2016-104723)

(22)【出願日】2016年5月25日

(65)【公開番号】特開2017-212611(P2017-212611A)

(43)【公開日】2017年11月30日

【審査請求日】2016年8月17日

(73)【特許権者】

【識別番号】511212077

【氏名又は名称】株式会社ＮＥＸＰＯＩＮＴ

(74)【代理人】

【識別番号】100134533

【弁理士】

【氏名又は名称】伊藤 夏香

(72)【発明者】

【氏名】佐久間 昭弘

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開平１０−３３６６７０（ＪＰ，Ａ）

【文献】 特開２００３−３０９８４７（ＪＰ，Ａ）

【文献】 特開２０１０−１７１６５９（ＪＰ，Ａ）

【文献】 特開２０１２−１４７１０７（ＪＰ，Ａ）

【文献】 特開２０１５−１９５４７４（ＪＰ，Ａ）

【文献】 特開２０１２−６０５３１（ＪＰ，Ａ）

【文献】 特開２０１５−１７０８７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ５／７６５

５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

７／１０

７／１４−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

動画を撮影するカメラ群の各カメラに接続され、ルータとインターネットとを介して録画サーバに接続され、データを保存する蓄積フォルダを有する動画分割装置であって、
前記カメラに動画を要求し、前記カメラから撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得手段、
取得した前記動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し前記蓄積フォルダに蓄積することを繰り返す分割データ作成手段、
前記録画サーバから最新の分割データの要求を受信する毎に、前記蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出手段、
抽出した前記最新の分割データを前記録画サーバに転送する最新の分割データ転送手段、
前記録画サーバから補完の映像要求を受信する毎に、前記蓄積フォルダから分割データを、１つずつ、補完の分割データとして、前記録画サーバに転送する補完の分割データ転送手段、
を有することを特徴とする動画分割装置。

【請求項2】

動画を撮影するカメラ群と、前記カメラ群のカメラに接続されデータを保存する蓄積フォルダを有する動画分割装置と、前記動画分割装置にルータ及びインターネットを介して接続された録画サーバと、を有する監視カメラシステムにおける監視方法であって、
前記動画分割装置が、前記カメラに動画を要求し、前記カメラから撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得ステップ、
前記動画分割装置が、取得した前記動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し前記蓄積フォルダに蓄積することを繰り返す分割データ作成ステップ、
前記録画サーバが、前記動画分割装置に、所定の時間毎に最新の分割データを要求する定時収集要求ステップ、
前記動画分割装置が、前記録画サーバから最新の分割データの要求を受信する毎に、前記蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出ステップ、
前記動画分割装置が、抽出した前記最新の分割データを前記録画サーバに転送する最新の分割データ転送ステップ、
前記録画サーバが、前記動画分割装置に、繰り返し補完の分割データを要求する補完の分割データ収集要求ステップ、
前記動画分割装置が、前記録画サーバから補完の分割データの要求を受信する毎に、前記最新の分割データ転送ステップのタイミング以外で、前記蓄積フォルダから分割データを、１つずつ、補完の分割データとして、前記録画サーバに転送する補完の分割データ転送ステップ、
前記録画サーバが、前記最新の分割データ又は前記補完の分割データを受信する毎に、Ｉフレームを抽出し、前記Ｉフレームを一次画像データとして保存する画像保存ステップ、
前記録画サーバが、前記最新の分割データと前記補完の分割データを一次映像データ生成単位の時間分ずつ結合して一次映像データとして保存する映像保存ステップ、
を含むことを特徴とする監視カメラシステムによる監視方法。

【請求項3】

さらに、前記録画サーバが、前記動画分割装置に、前記一次映像データ生成単位の時間経過毎に、前記蓄積フォルダ内の分割データを削除する削除ステップを含むことを特徴とする請求項２記載の監視カメラシステムによる監視方法。

【請求項4】

前記補完の分割データ転送ステップにおいて、前記蓄積フォルダに残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとすることを特徴とする請求項２記載の監視カメラシステムによる監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、防犯や管理等のために、撮影した動画をサーバに転送し蓄積させる、監視カメラシステムによる監視方法と、監視カメラからの動画転送に適した動画分割装置に関する。

【背景技術】

【0002】

従来、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果を、インターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている。静止画を撮影して、サーバで取得した画像を圧縮してから端末に表示するカメラシステムも開発されているが（例えば、特許文献１参照）、一般には、カメラで撮影した動画を記録するシステムの方が知られている（例えば、特許文献２参照）。また、動画の画像を符号化し復号する方法は、いくつか知られている（例えば、特許文献３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−５１５３４号公報

【特許文献2】特開２００２−７７８８２号公報

【特許文献3】ＷＯ２０１４／１０３５２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来のシステムでは、サーバにおいては画像圧縮ができるが、監視カメラからサーバまでの動画転送では、回線状況の悪化に弱く、特に動画の場合に顕著であるという問題があった。

【0005】

また、監視カメラからサーバまでの回線状況の悪化による映像の解像度の悪化を防ぐには、撮影間隔を長くして転送するフレーム数を減らすか、解像度を下げて撮影することが必要となるという問題があった。

【0006】

これらの問題から、動画を扱いにくいクラウド環境での安定的な監視カメラ映像を収集がしにくいという問題が生じていた。

【0007】

したがって、本発明の第１の目的は、上記した課題を解決し、クラウド環境で安定的な監視カメラ映像の収集を可能とする監視カメラシステムによる監視方法と、これに用いる動画分割装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、上記目的を達成するため、動画を撮影するカメラ群の各カメラに接続され、ルータとインターネットとを介して録画サーバに接続され、データを保存する蓄積フォルダを有する動画分割装置であって、
前記カメラに動画を要求し、前記カメラから撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得手段、
取得した前記動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し前記蓄積フォルダに蓄積することを繰り返す分割データ作成手段、
前記録画サーバから最新の分割データの要求を受信する毎に、前記蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出手段、
抽出した前記最新の分割データを前記録画サーバに転送する最新の分割データ転送手段、
前記録画サーバから補完の映像要求を受信する毎に、前記蓄積フォルダから分割データを、１つずつ、補完の分割データとして、前記録画サーバに転送する補完の分割データ転送手段、
を有することを特徴とする動画分割装置を提供する。ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）は、１つ以上のＩフレームと複数のＰフレームやＢフレームからなるフレーム群である。

【0009】

本発明の第１の態様によれば、カメラ群から映像データを録画サーバへ転送する際に、後で元の映像を復元でき容量が小さい単位に分割して、ネットワークの混雑を回避しつつ送信できるので、クラウド環境で安定的な監視カメラ映像の収集を可能とする。

【0010】

なお、「画像」は、静止画像と動画像の両方の意味を含む言葉であるが、本願においては、静止画像を「画像」、動画像を「映像」と表示して、区別するものとする。

【0011】

本発明の第２の態様は、上記目的を達成するため、動画を撮影するカメラ群と、前記カメラ群のカメラに接続されデータを保存する蓄積フォルダを有する動画分割装置と、前記動画分割装置にルータ及びインターネットを介して接続された録画サーバと、を有する監視カメラシステムにおける監視方法であって、
前記動画分割装置が、前記カメラに動画を要求し、前記カメラから撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得ステップ、
前記動画分割装置が、取得した前記動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し前記蓄積フォルダに蓄積することを繰り返す分割データ作成ステップ、
前記録画サーバが、前記動画分割装置に、所定の時間毎に最新の分割データを要求する定時収集要求ステップ、
前記動画分割装置が、前記録画サーバから最新の分割データの要求を受信する毎に、前記蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出ステップ、
前記動画分割装置が、抽出した前記最新の分割データを前記録画サーバに転送する最新の分割データ転送ステップ、
前記録画サーバが、前記動画分割装置に、繰り返し補完の分割データを要求する補完の分割データ収集要求ステップ、
前記動画分割装置が、前記録画サーバから補完の分割データの要求を受信する毎に、前記最新の分割データ転送ステップのタイミング以外で、前記蓄積フォルダから分割データを、１つずつ、補完の分割データとして、前記録画サーバに転送する補完の分割データ転送ステップ、
前記録画サーバが、前記最新の分割データ又は前記補完の分割データを受信する毎に、Ｉフレームを抽出し、前記Ｉフレームを一次画像データとして保存する画像保存ステップ、
前記録画サーバが、前記最新の分割データと前記補完の分割データを一次映像データ生成単位の時間分ずつ結合して一次映像データとして保存する映像保存ステップ、
を含むことを特徴とする監視カメラシステムによる監視方法を提供する。

【0012】

本発明の第２の態様によれば、カメラ群から映像データを録画サーバへ転送する際に、後で元の映像を復元でき容量が小さい単位に分割して、ネットワークの混雑を回避しつつ送信でき、録画サーバに送信された直後に静止画で確認できる画像も、高画質の動画で確認できる映像も作成できるので、クラウド環境で安定的な監視カメラ映像の収集を可能とする。

【0013】

さらに、前記録画サーバが、前記動画分割装置に、前記一次映像データ生成単位の時間経過毎に、前記蓄積フォルダ内の分割データを削除する削除ステップを含むことが好ましい。動画分割装置の容量が小さくて済み、したがって、コンパクト性に優れ、またコスト削減が可能となる。

【0014】

前記補完の分割データ転送ステップにおいて、前記蓄積フォルダに残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとすることが好ましい。補完データを収集できなかった分によるデータの欠損に伴い生じる映像飛び（コマ落ち、フレーム抜け）の時間を減少させることができる。

【0015】

本発明において、「ネットワーク」には、ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網及びそれらの組合せから構成されるネットワークを含む。各カメラは、出力機能と動画撮影機能を有する。カメラはＩＰカメラであることが好ましいが、アナログカメラでも可能である。また、本態様においては、前記カメラは、前記録画サーバとＬＡＮネットワークで接続される必要がなく、３Ｇ／ＬＴＥ回線を介してインターネットに接続された動画監視カメラであっても、復元して解像度の高い動画を再生できるデータを録画サーバに転送でき、動画の監視カメラを置ける範囲が広くなる。

【発明の効果】

【0016】

本発明によれば、クラウド環境で安定的な監視カメラ映像の収集を可能とする。

【図面の簡単な説明】

【0017】

【図1】本発明の監視方法における監視カメラシステムの構成の一例を示す図である。

【図2】本発明の監視方法の実施例１における監視カメラシステムの録画サーバの構成図である。

【図3】本発明の動画分割装置の実施例１の構成図である。

【図4】本発明の監視方法の実施例１における監視カメラシステムの端末（モバイル）の構成図である。

【図5】本発明の監視方法の実施例１における監視カメラシステムの端末（ＰＣ）の構成図である。

【図6】本発明の監視方法の実施例１における監視用カメラ（動画用）から録画サーバへのデータ送信のイメージ図である。

【図7】本発明の監視方法の実施例１におけるカメラと録画サーバとの接続から一次映像データ書き込みまでの手順概要を示すフロー図である。

【図8】本発明の監視カメラシステムによる監視方法の実施例１におけるカメラから動画分割装置までの動画の送信方法と分割データの保存方法の説明図である。

【発明を実施するための形態】

【0018】

以下、本発明について、実施例を用いて本発明を具体的に説明するが、本発明はこれらに限定されるものではない。

【実施例1】

【0019】

実施例１の監視方法は、ネットワークを介して録画サーバで監視用カメラを作動させて、録画サーバが動画や静止画のカメラ画像を撮影・収集・編集・保存し、録画サーバがユーザの端末に端末からの要求に応じてネットワークを介してモニターする画像を送信する監視カメラシステムであって、なかでも、録画サーバと同じＬＡＮネットワーク上になくインターネットを介して録画サーバと接続された動画撮影用カメラがある監視カメラシステムにおける監視方法である。実施例１の監視方法に用いる実施例１の動画分割装置についても合わせて説明する。

【0020】

上記監視カメラシステムは、録画サーバにおいて復元された画像や映像を端末等に送信して、ライブ画像の再生・巻戻し・早送りもリライブ再生も行うことができるものである。また、上記監視カメラシステムは、復元された画像を圧縮して保存し、画像を端末等に送信して、過去の画像の再生・巻戻し・早送りも行うことができるものである。本実施例では、カメラで撮影した動画を分割して動画分割装置から録画サーバにＴＣＰ/ＩＰで転送することにより、動画分割装置と録画サーバの間の回線が安定しない環境でも最大限データを収集することができ、現地に録画サーバを設置せずにクラウドサーバ等での動画収集が可能となる。また、単純な動画収集に比べて、高画質の映像復元を可能としながら回線状況の悪化に強いデータ送信が可能となる。さらに、動画分割装置における動画を分割した後の送信する順序及び送信タイミング並びに録画サーバでの処理によって、録画サーバへの映像送信の遅延を防止し、録画サーバで動画収集中にも高画質のライブ画像を再生・巻戻し・早送りでき、さらに、高画質で再生・巻戻し・早送り可能な動画での保存もできる。

【0021】

｛構成｝
図１は、本発明の監視方法における監視カメラシステムの構成の一例を示す図である。ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網の組み合わせから構成されるネットワーク５００上には、（１）画像を撮影するカメラとして、複数台の監視用カメラ（動画用）７００Ａ〜Ｃと複数台の監視用カメラ（静止画用）７０１Ａ、（２）監視用カメラ（動画用）７００Ｂ、Ｃのそれぞれに接続されており、監視用カメラで撮影した映像を取得して録画サーバ１００に転送する動画分割装置４００Ｂ、Ｃ、（２）ネットワーク５００を介して監視用カメラ（静止画用）７０１や監視用カメラ（動画用）７００と接続され、カメラで撮影した画像データや映像データを取得し蓄積し端末に送信する録画サーバとして、録画サーバ１００、（３）ネットワーク５００を介して録画サーバ１００と接続され、録画サーバ１００からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末２００Ａ、Ｂや、デスクトップＰＣ（パーソナルコンピュータ）やノートＰＣなどの閲覧ＰＣ３００Ａ〜Ｃが接続されている。図１中では、監視用カメラ（動画用）で撮影された動画（ストリーム動画）の流れを点線矢印で図示している。なお、以下、モバイル端末と閲覧ＰＣとをまとめるときは、「端末」又は「Ｖｉｅｗｅｒ」という。

【0022】

録画サーバ１００は、監視用カメラ（動画用）７００Ｂ、Ｃとは、インターネットを含むネットワーク５００を介して接続されている。本実施例における監視カメラシステムでは、録画サーバ１００と同じＬＡＮ以外のネットワーク上にも、静止画を撮影する監視用カメラ（静止画用）のみならず、動画を撮影する監視用カメラ（動画用）を設けてある。本実施例は、録画サーバと同じＬＡＮ以外のネットワーク上にある監視用カメラ（動画用）を含む監視カメラシステムにおける監視方法であり、監視用カメラ（静止画用）や録画サーバと同じＬＡＮネットワーク上にある監視用カメラ（動画用）はなくてもよい。また、閲覧する端末は、録画サーバと同じＬＡＮネットワーク上だけでもよいし、録画サーバとインターネットを介して接続されたものだけでもよいし、録画サーバが閲覧端末を兼ねてもよい。録画サーバ１００は、監視用カメラ（動画用）７００Ｂとは、動画分割装置４００Ｂ、ルータ６００Ｂ、インターネット、ルータ６００Ａ及びＬＡＮネットワークを介して接続されており、監視用カメラ（動画用）７００Ｃとは、動画分割装置４００Ｃ、ルータ６００Ｃ、インターネット、ルータ６００Ａ及びＬＡＮネットワークを介して接続されており、監視用カメラ（動画用）７００Ｂ、Ｃからは、それぞれ動画分割装置４００Ｂ、Ｃから画像データを取得する。録画サーバ１００が接続されたＬＡＮとルータ６００Ａを介して接続されたインターネット網には、３Ｇ／ＬＴＥ回線が接続され、またルータ６００Ｃを介して別のＬＡＮが接続されている。動画分割装置４００Ｂは、ルータ６００Ｂと３Ｇ／ＬＴＥ回線を介してインターネット網に接続されており、動画分割装置４００Ｃは、ルータ６００ＣとＬＡＮネットワークを介してインターネット網に接続されている。動画分割装置４００Ｃは、録画サーバ１００とは異なるＬＡＮに接続されている。図１は、監視用カメラ（動画用）及び監視用カメラ（静止画用）や閲覧ＰＣやモバイル端末を、録画サーバと複数のネットワークを介して接続した接続例を示すものであり、これに限定されない。本実施例では、監視用カメラ（静止画用）７０１と録画サーバ１００との通信及び監視用カメラ（動画用）７００と録画サーバ１００との通信は、セッションを確立してから通信を開始する信頼性の高いＴＣＰで行うが、セッションを確立しないでデータを送信する早くてリアルタイム性に優れたＵＤＰでもよく、ＴＣＰ、ＵＤＰどちらのプロトコルでも画像を取得できる。

【0023】

監視用カメラ（動画用）や監視用カメラ（静止画用）は、本実施例ではＩＰカメラであるが、アナログカメラでもよい。ただし、アナログの場合、変換器を要する。画像表示用の端末である閲覧ＰＣ３００も、録画サーバ１００と同じＬＡＮ内に存在する場合に限らず、インターネットやＬＡＮやＷｉ-Ｆｉ回線等、複数のネットワークを介して接続されていてもよい。画像表示用の端末であるモバイル端末２００についても、ＬＡＮ、インターネット、携帯電話用ネットワーク（Ｗｉ−Ｆｉ回線や３Ｇ／ＬＴＥ回線等）等、複数のネットワークを介して接続されていてもよい。なお、ＬＡＮとインターネット間や、監視用カメラ（動画用）及び監視用カメラ（静止画用）とインターネット間は、ルータ６００を介する。

【0024】

１台の録画サーバ１００は、複数台の監視カメラ（動画用）７００からカメラ動画を、また複数台の監視カメラ（静止画用）７０１からカメラ静止画を取得することができる。本実施例では、録画サーバ１００側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。また、通信が不通になった場合にも再開が容易である。

【0025】

録画サーバ１００にはＬＡＮを介して監視用カメラ（動画用）７００Ａと監視用カメラ（静止画用）７０１Ａにも接続されているが、本実施例の監視方法は、監視用カメラ（動画用）のみを対象とし、また、録画サーバ１００とＬＡＮ上で接続されたカメラについては対象としていないため、以下で述べるカメラには、監視用カメラ（静止画用）（図１では監視用カメラ（静止画用）７０１Ａで例示される）及び、録画サーバ１００とＬＡＮ上で接続された監視用カメラ（動画用）（図１では監視用カメラ（動画用）７００Ａで例示される）を含まない。

【0026】

従来のＩＰカメラシステムでは、動画を取得する監視カメラは、録画サーバと同じＬＡＮ上に置かないと、回線状況が悪化したときに映像が粗くなる可能性が高かったが、本実施例では、クラウド環境で安定的な監視カメラ映像の収集を可能とするので、インターネット上、また、携帯端末等、３Ｇ／ＬＴＥ回線上にも動画用の監視カメラを設けることができるため、自由度が非常に高くなる。

【0027】

図２は、本発明の監視方法の実施例１における監視カメラシステムの録画サーバの構成図である。録画サーバ１００は、キャッシュメモリであるメモリ１０２を伴うＣＰＵ１０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置１１０と、ネットワークインターフェース１０４等の通信制御装置や表示装置としてのディスプレイ１０３、キーボード１０５、マウス１０６等で構成される入出力装置とを備えている。記憶装置１１０には、一次画像フォルダ１１１と一次映像フォルダ１１５と二次映像フォルダ１１２とプログラム１１３と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム１１４が格納されている。プログラム１１３は、通常、記憶装置１１０の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ１１１には、動画分割装置４００から取得した分割データから抽出した、Ｉフレームの静止画を一次画像データとして蓄積し、一次映像フォルダ１１５には、動画分割装置４００から取得した分割データをシリアルナンバー順に結合して作成された動画を一次映像データとして蓄積し、二次映像フォルダ１１２には、一次映像フォルダ１１１内に蓄積された一定時間分の一次映像データを動画圧縮変換して二次映像データとして蓄積する。プログラム１１３には、収集・編集プログラムや送信プログラム等、各種プログラムを含む。認証用データベースには、ＩＤ、パスワード、各監視用カメラ７００、７０１やモバイル端末２００や閲覧ＰＣ３００のポート番号とＩＰアドレス、ＩＰアドレスのない端末では個体識別情報（ＵＩＤ）が蓄積されている。本実施例では、録画サーバ１００は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ１０３、また入力手段としてのキーボード１０５やマウス１０６を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各動画分割装置からの映像取得タイミング、一次画像データや一次映像データや二次映像データの作成間隔、圧縮条件等が蓄積されている。録画サーバ１００は、クラウドサーバであるが、設置型のサーバであってもよい。

【0028】

録画サーバ１００は、インターネットを介して接続された監視カメラ（動画用）７００Ｂ、Ｃには、それぞれ動画分割装置４００Ｂ、Ｃを通じて接続要求し、動画分割装置４００Ｂ、Ｃから監視カメラ（動画用）７００Ｂ、Ｃに動画の撮影を要求することにより動画分割装置４００Ｂ、Ｃが監視カメラ（動画用）７００Ｂ、Ｃから取得した動画を、動画分割装置４００Ｂ、Ｃにおいて分割し、録画サーバから動画分割装置４００Ｂ、Ｃに動画の分割データを要求することにより、録画サーバ１００は、動画分割装置４００Ｂ、Ｃに、後で復元できるように分割したデータで個々に録画サーバ１００に送信させる。

【0029】

録画サーバ１００は、ＣＰＵ１０１が、収集・編集プログラムをメモリ１０２にロードして実行することにより本実施例の監視方法における動画分割装置からの画像取得から編集保存までが可能なコンピュータの機能を実現する。録画サーバ１００は、ＣＰＵ１０１が、送信プログラムをメモリ１０２にロードして実行することにより端末への画像送出処理が可能なコンピュータの機能を実現する。ＣＰＵ１０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0030】

録画サーバ１００は、１台のサーバとする他、複数の録画サーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間（例えば２４時間）経過後の二次映像データについては、保存先を、カメラ画像を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。

【0031】

収集・編集プログラムは、コンピュータに、（１）動画分割装置との接続を行う動画分割装置接続機能、（２）一定時間（例えば３秒）毎に、接続した動画分割装置に最新の分割データを録画サーバに入力させる最新の分割データ取得機能、（３）動画分割装置に補完の分割データを録画サーバに入力させる補完の分割データ取得機能、（４）動画分割装置から取得した分割データからＩフレームを抽出するＩフレーム抽出機能、（５）抽出したＩフレームをメモリに展開するＩフレームメモリ展開機能、（６）抽出したＩフレームを一次画像データとして一次画像データフォルダに保存する一次画像データ保存機能、（７）動画分割装置から取得した分割データを一次映像データ生成単位の時間（例えば１０分）分ずつ結合して一次映像データとして一次映像データフォルダに保存する一次映像データ保存機能、（８）一次映像データ生成単位の時間を経過したかを判断する一次映像データ生成単位時間経過判断機能、（９）取得した分割データのシリアルナンバーに抜けがないかを判断する補完要否判断機能、（１０）動画分割装置に所定の分割データを削除させる分割データ削除要求機能を実現させるためのプログラムである。

【0032】

本実施例では、収集・編集プログラムは、より好ましい態様として、さらに、コンピュータに、一次映像データを、一定時間（例えば１０分）分毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する二次映像データ作成機能をも実現させるためのプログラムである。一次画像データは、全て全画像（Ｉフレーム（イントラフレーム））であり、一次映像データは、取得した分割データを撮影順（すなわちシリアルナンバー順）に並べて結合させた、ＩフレームとＰフレーム（予測インターフレーム）とで構成される動画のデータであり、二次映像データは、一次映像データを動画形式のまま圧縮し、例えば、Ｉフレームを２００フレームにつき１枚の割合とし、Ｐフレーム（予測インターフレーム）だけでなくＢフレーム（双方向予測インターフレーム）を組み合わせて挿入してもよく、劣化せずに容量を削減する。本実施例では、未来のＩフレームを参照することができるので、Ｂフレームを挿入できる。Ｂフレームは前後比較差分であるので、Ｐフレームよりも小さくなる。

【0033】

送信プログラムは、コンピュータに、端末との接続を行う端末接続機能、端末にカメラ一覧を表示して端末からのカメラの選択を受け付ける画像選択受付機能、選択されたカメラについて一次データの画像をライブ画像として端末に送信するライブ画像送信機能、端末よりライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付機能、巻戻し要求毎に、端末に前回送信した画像より一定時間分（例えば１秒分）過去の時点の一次データを抽出して巻戻しライブ画像として端末に送信する巻戻しライブ画像送信機能、端末より巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付機能、早送り要求毎に、現時点の画像に達するまでは、端末に前回送信した画像より一定時間分（例えば１秒分）未来の時点の一次データを抽出して早送りライブ画像として端末に送信する早送りライブ画像送信機能をも実現させるためのプログラムである。「現時点の画像」とは、動画分割装置から取得した分割データから抽出したＩフレームのうち一番新しいものを意味する。したがって、現時点の画像は、動画分割装置からの分割データが録画サーバに入力される度に、新しい画像に変わる。

【0034】

送信プログラムは、さらに、コンピュータに、端末より巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付機能、リライブ画像要求毎に、端末に前回送信した画像より一定時間分、詳細には、動画分割装置４００から録画サーバ１００への最新の分割データの取得間隔分、未来の時点の一次画像データを抽出して早送りライブ画像として端末に送信するリライブ画像送信機能をも実現させるためのプログラムである。なお、ここで「リライブ画像」は、ライブ画像から過去へ巻き戻しての再生画像を指す。

【0035】

また、送信プログラムは、さらに、コンピュータに、二次映像データ作成後に、端末より映像の再生要求があった場合は、一次画像データの代わりに二次映像データを抽出し、再生や巻戻しや早送りといった端末からの求めに応じ、端末に映像を送信する二次映像送信機能をも実現するためのプログラムである。

【0036】

本実施例では、端末２００、３００と録画サーバ１００との接続もＴＣＰ／ＩＰ方式で行い、ユーザＩＤとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

【0037】

端末が同じＬＡＮ上になくても録画サーバがルータを介してネットワークで繋がっていれば、接続するルータのＩＰアドレスとルータに割り振られたポート番号で録画サーバから画像（全画像、若しくは圧縮画像）の取得を行う。端末の接続には、端末認証時に登録したＵＩＤを利用して端末の認証を行う。

【0038】

録画サーバ１００は、モバイル端末２００の接続開始時にＵＩＤを用いた端末固有情報を元に端末を特定するため、ユーザＩＤとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。

【0039】

図３は、本発明の動画分割装置の実施例１の構成図である。動画分割装置４００は、メモリ４０２を伴うＣＰＵ４０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置４１０と、ネットワークインターフェース４０４等の通信制御装置や、メンテナンス時のみ接続して用いる表示装置としてのディスプレイ４０３、キーボード４０５、マウス４０６等で構成される入出力装置とを備えている。記憶装置４１０には、蓄積フォルダ４１１や環境設定フォルダや動画分割プログラム４１３やオペレーティングシステム４１４が格納されている。蓄積フォルダ４１１は、画像を保存するフォルダであって、蓄積フォルダ４１１には、監視用カメラ（動画用）から取得して分割長をＧＯＰ単位（例えば１秒分）にしてＩフレームが先頭の画像となるように分割して撮影時刻順にシリアルナンバーを付した分割データを蓄積する。環境設定フォルダには、Ｉフレームの出現を判断する条件や分割長の条件等が蓄積されている。シリアルナンバーは、撮影時刻が早い方から順に連続した番号となるように付与され、例えば、００００１、００００２、００００３のような形式でも良いし、撮影日時と分割長から０２０１１５３０５９、０２０１１５３１００、０２０１１５３１０１のような形式でも良い。

【0040】

動画分割装置４００は、録画サーバ１００とインターネットを介して接続された監視用カメラ（動画用）７００に、一台につき一台ずつ接続されている。

【0041】

動画分割装置４００は、本実施例では、録画サーバ１００によって、動画分割装置４００が接続している監視用カメラ（動画用）７００への接続要求を制御され、監視用カメラ（動画用）７００から動画分割装置４００が取得したカメラ映像を所定の分割データにして、所定の間隔で最新の分割データを録画サーバ１００に送信し、その間に補完の分割データを録画サーバ１００に送信する。

【0042】

動画分割装置４００は、ＣＰＵ４０１が、動画分割プログラム４１３をメモリ４０２にロードして実行することにより、本実施例の監視方法におけるカメラ画像取得から編集保存、そして録画サーバへの送信までが可能なコンピュータの機能を実現する。ＣＰＵ４０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0043】

動画分割プログラム４１３は、コンピュータに、（１）録画サーバと接続した後、監視用カメラ（動画用）との接続を行うカメラ接続機能、（２）接続した監視用カメラ（動画用）に動画を要求し、当該監視用カメラ（動画用）から撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得機能、（３）取得した動画からＩフレームを検出して、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し蓄積フォルダに蓄積することを繰り返す分割データ作成機能、（４）録画サーバから最新の分割データの要求を受信する毎に、蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出機能、（５）抽出した最新の分割データを録画サーバに転送する最新の分割データ転送機能、（６）録画サーバから補完の映像要求を受信する毎に、蓄積フォルダから分割データを、１つずつ、補完の分割データとして、録画サーバに転送する補完の分割データ転送機能、を実現させるためのプログラムである。

【0044】

本実施例では、収集・編集プログラムは、より好ましい態様として、さらに、コンピュータに、補完の分割データについて、蓄積フォルダに残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとする補完の分割データ作成機能をも実現されるためのプログラムである。

【0045】

本実施例では、監視カメラと動画分割装置との接続はＴＣＰ／ＩＰ方式で行い、監視カメラを特定するため、録画サーバ側で設定したユーザＩＤとパスワードで動画分割装置を介して認証を行ってからカメラ画像の撮影等の要求を行う。認証は、動画分割装置を介して録画サーバ上の認証用データベースによる認証が好ましい。

【0046】

本実施例の監視方法における、動画分割装置４００Ｂ、Ｃは録画サーバと同じＬＡＮ上になくルータを介してネットワークで繋がっているため、接続するルータのＩＰアドレスとルータに割り振られたポート番号で動画分割装置から動画の取得を行う。グローバルＩＰを持たない環境で接続されているときは、動画分割装置から録画サーバに向けて動画転送を行う。この際は、録画サーバ側ルータのポート番号を開放し、録画サーバにポート転送する。動画分割装置４００Ｂ、Ｃは、それぞれ監視用カメラ（動画用）７００Ｂ、Ｃと同じＬＡＮ上にネットワークで繋がっており、録画サーバの要求に関係なく動画の取得、分割、蓄積を行う。

【0047】

録画サーバ１００は、ローカル環境（例えば、同じＬＡＮ上）にある監視用カメラの場合、接続開始時にＩＰアドレス及びポート番号を用いた接続によって接続相手を特定でき、ユーザＩＤとパスワードで認証するが、インターネット網を介する等、遠隔環境にある監視用カメラとの接続では、ルータのポート転送（ポートフォワーディングなどとも表現される）を用いることで、グローバルＩＰアドレス及びポート番号を用いて接続相手を特定する。

【0048】

図４は、本発明の監視方法の実施例１における監視カメラシステムの端末（モバイル）の構成図である。モバイル端末２００は、メモリ２０２を伴うＣＰＵ２０１やデバイスドライバ等を有する制御・演算装置と、記憶装置２１０、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ２０３、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置２１０には、画像表示プログラム２１３やオペレーティングシステム２１４が格納されている。モバイル端末２００は、例えばスマートフォン等の携帯電話等であり、ＣＰＵ２０１が画像表示プログラム２１３をメモリ２０２にロードして実行することにより本実施例の監視方法における画像表示が可能なコンピュータの機能を実現する。ＣＰＵ２０１は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0049】

図５は、本発明の監視方法の実施例１における監視カメラシステムの端末（ＰＣ）の構成図である。閲覧ＰＣ３００は、メモリ３０２を伴うＣＰＵ３０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置３１０と、ネットワークインターフェース３０４等の通信制御装置や表示装置としてのディスプレイ３０３、キーボード３０５、マウス３０６等で構成される入出力装置とを備えている。記憶装置３１０には、画像表示プログラム３１３やオペレーティングシステム３１４が格納されている。閲覧ＰＣ３００は、例えばデスクトップＰＣやノートＰＣ、タブレット端末等であり、ＣＰＵ３０１が画像表示プログラム３１３をメモリ３０２にロードして実行することにより本実施例の監視方法における画像表示が可能なコンピュータの機能を実現する。ＣＰＵ３０１は、通常のＰＣに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

【0050】

画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバから送信された画像を表示する画像表示機能を実現させるためのプログラムである。

【0051】

画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、ライブ画像表示中に、監視用カメラから録画サーバへのカメラ画像取得間隔毎に、ライブ画像を録画サーバに要求するライブ画像要求機能、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバに要求する巻戻し開始要求機能、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間（例えば０．２秒）毎に、巻戻しライブ画像を録画サーバに要求する巻戻し継続要求機能、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付け、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り開始要求機能、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間（例えば０．２秒）毎に、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り継続要求機能をも実現させるためのプログラムである。

【0052】

本実施例では、画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像を録画サーバに要求するリライブ画像開始要求機能、リライブ画像表示中に、カメラから録画サーバへのカメラ画像取得間隔毎に、リライブ画像を録画サーバに要求するリライブ画像継続要求機能をも実現させるためのプログラムである。

【0053】

本実施例においては、録画サーバ１００と閲覧ＰＣ３００と動画分割装置４００とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末２００もクロック機能等を備えている。

【0054】

本実施例の監視方法では、実施例１の動画分割装置４００は、動画を撮影するカメラ群の各カメラ（監視用カメラ（動画用）７００Ｂ、Ｃ）に接続され、ルータ６００とインターネットとを含むネットワーク５００とを介して録画サーバ１００に接続され、データを保存する蓄積フォルダ４１１を有する動画分割装置であって、（１）接続された監視用カメラ（動画用）７００に動画を要求し、監視用カメラ（動画用）７００から撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得手段、（２）取得した動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し蓄積フォルダ４１１に蓄積することを繰り返す分割データ作成手段、（３）録画サーバ１００から最新の分割データの要求を受信する毎に、蓄積フォルダ４１１から最新の分割データを抽出する最新の分割データ抽出手段、（４）抽出した最新の分割データを録画サーバ１００に転送する最新の分割データ転送手段、（５）録画サーバ１００から補完の映像要求を受信する毎に、蓄積フォルダ４１１から分割データを、１つずつ、補完の分割データとして、録画サーバ１００に転送する補完の分割データ転送手段、を設けてある。本実施例では、さらに、(６)蓄積フォルダ４１１に残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとする補完の分割データ作成手段をも設けてある。

【0055】

動画分割装置４００は、前述のハードウェア構成と動画分割プログラム４１３によって、（１）〜（６）の手段として機能する。

【0056】

本実施例の監視方法では、録画サーバ１００は、（１）動画分割装置との接続を行う動画分割装置接続手段、（２）一定時間（例えば３秒）毎に、接続した動画分割装置に最新の分割データを録画サーバに入力させる最新の分割データ取得手段、（３）動画分割装置に補完の分割データを録画サーバに入力させる補完の分割データ取得手段、（４）動画分割装置から取得した分割データからＩフレームを抽出するＩフレーム抽出手段、（５）抽出したＩフレームをメモリに展開するＩフレームメモリ展開手段、（６）抽出したＩフレームを一次画像データとして一次画像データフォルダに保存する一次画像データ保存手段、（７）動画分割装置から取得した分割データを一次映像データ生成単位の時間（例えば１０分）分ずつ結合して一次映像データとして一次映像データフォルダに保存する一次映像データ保存手段、（８）一次映像データ生成単位の時間を経過したかを判断する一次映像データ生成単位時間経過判断手段、（９）取得した分割データのシリアルナンバーに抜けがないかを判断する補完要否判断手段、（１０）動画分割装置に所定の分割データを削除させる分割データ削除要求手段を設けてあり、さらに、（１１）一次映像データを、一定時間（例えば１０分）分毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換する二次映像データ作成手段を設けてある。

【0057】

録画サーバ１００は、前述のハードウェア構成と収集・編集プログラムによって、（１）〜（１１）の手段として機能する。また、録画サーバ１００は、前述のハードウェア構成と送信プログラムによって、端末へのライブ画像やリライブ画像やそれらの画像の巻戻しや早送り等の画像送信手段として機能する。

【0058】

また、端末２００、３００に、（１）録画サーバ１００との接続を行う端末接続手段、（２）録画サーバ１００から送信された画像を表示する画像表示手段を設けてある。端末は、前述のハードウェア構成と画像表示プログラム２１３、３１３によって、（１）〜（２）の手段として機能する。画像表示手段は、詳細には、さらに、（２−１）監視権限のある１又は複数の監視用カメラ７００、７０１についてカメラ動画のライブ再生を録画サーバ１００に要求するライブ再生要求手段、（２−２）録画サーバ１００から送信された一次画像データを表示するライブ再生表示手段、（２−３）監視権限のある１又は複数の監視用カメラ７００、７０１について過去のカメラ動画の再生を録画サーバ１００に要求する過去映像再生要求手段、（２−４）録画サーバ１００から送信された一次映像データ又は二次映像データを表示する過去映像再生表示手段を含む。

【0059】

なお、カメラ画像データを圧縮して作成された二次映像データは、一定時間毎に録画サーバで二次映像データに変換されているので、端末は、ライブ画像の巻戻しや巻戻し後の早送り以外に、従来の録画再生装置で可能な、過去のカメラ画像の再生や巻戻し、早送りも可能である。高画質でありながらデータ量が小さく、巻戻しライブ合成画像や早送りライブ合成画像は、一次的な保存用に圧縮した一次データを使用するため、高画質ながらデータ量が小さい。頻繁には使用しない、二次データ作成単位以上に過去分の再生や早送り巻戻しは、圧縮変換した動画ファイルである二次映像データを使用するため、動画ながら保存に要するデータ量が小さくて済む。また、ライブ合成画像の巻戻し後の再生が可能となる。

【0060】

上述した監視カメラと動画分割装置と録画サーバと端末とによって構成される監視カメラシステムは、実施例１の監視方法を実現する監視カメラシステムであり、動画分割装置から録画サーバへの送信データの転送制御を行うことで、ローカル環境以外に設置した動画撮影用カメラでもデータ遅延等の問題が生じにくく、カメラで撮影した動画を分割して録画サーバに転送することにより、動画分割装置と録画サーバの間の回線が安定しない環境でも最大限データを収集することができ、現地に録画サーバを設置せずにクラウドサーバ等での動画収集が可能となる。すなわち、クラウド環境で安定的な監視カメラ映像の収集を可能とする。また、解像度が高く高画質ながら回線状況の悪化に強いデータ送信が可能となる監視システムを実現できる。ネットワーク上に同時に流れるデータの転送制御を行うので、一般のインターネット回線などを通じてカメラ画像を録画サーバに流すことができ、また、一般のインターネット回線などにも、ネットワークカメラ情報を流すことができる。したがって、インターネット回線（ＷＡＮ）越しのクラウドサーバでの監視用カメラからの動画データ蓄積を可能にする。録画サーバへの映像送信の遅延を防止し、録画サーバで動画収集中にも高画質のライブ画像を再生・巻戻し・早送りでき、さらに、高画質で再生・巻戻し・早送り可能な動画での保存もできる。上述した監視カメラシステムによれば、ストリーミングの映像録画で、カメラと録画サーバをインターネットを介して接続しているのにＬＡＮと同じように接続しただけでは回線状況が悪化した時に映像が汚くなったりフレームが抜けてしまう現象を、回線の影響を受けないカメラ近くの装置で安定的に録画し、それを分割し転送制御しながら録画サーバに送ることで、映像の劣化、フレームの欠損をなくすことを実現できる。

【0061】

｛手順｝
本発明の監視カメラシステムによる監視方法の実施例１の監視手順について次に説明する。本手順では、上述した、監視用カメラ（動画用）と、動画分割装置と、かかる監視用カメラ（動画用）とインターネットを介して接続された録画サーバと、端末とによって構成される監視カメラシステムを使用する。

【0062】

図６は、本発明の監視方法の実施例１における監視用カメラ（動画用）から録画サーバへのデータ送信のイメージ図である。監視用カメラ（動画用）であるストリームＩＰカメラは、ネットワークＨＵＢを介して動画分割装置に接続されており、動画分割装置は、ネットワークＨＵＢを介してインターネット網に接続されており、録画サーバであるサーバ機は、インターネット網に接続されている。

【0063】

録画サーバから動画分割装置へは分割データの要求が送信され、動画分割装置は、録画サーバから接続要求を受けて、監視用カメラ（動画用）に接続して動画を要求する。動画分割装置からの要求に基づいて、監視用カメラ（動画用）はストリーム動画を動画分割装置に送信する。動画分割装置に送信されたストリーム動画は、動画分割装置において、ＧＯＰ単位に分割した分割データに編集して録画サーバにＴＣＰ/ＩＰで送信する。

【0064】

ストリームデータ（ＲＴＳＰ：リアルタイムストリーミングプロトコル）は回線状況により転送容量が変化したり寸断するような状況に非常に弱いプロトコルであり、３Ｇ／ＬＴＥ等、ＬＡＮ以外の回線を介してやり取りすると安定した動画取得が行えないという問題があり、回線が細くなったときに著しくフレームが少なかったり、映像が粗くなり、さらに回線状況が悪化して通信が寸断すると再接続に非常に時間がかかる。しかし、本発明の監視方法の実施例１によれば、動画分割装置と録画サーバの間の回線が安定しない環境でも最大限データを収集することができ、回線状況の悪化に強いデータ送信が可能となる。回線状況が安定している場合は、本発明の監視方法の実施例１はストリーム動画をそのまま送信する従来方法と同レベルの動画を生成可能であるが、回線状況が悪化して、例えば、データ伝送速度が３００ｋｂｐｓ（キロビット毎秒）から３７．５ｋｂｐｓになった場合、ストリーム動画をそのまま送信する従来方法ではフレーム数を維持しようとするので映像が粗くなる可能性が高く、３００ｋｂｐｓをフルに利用していたとすると画質は８分の１となり、解像度でいえば、ＶＧＡ（６４０×４８０ドット）が１６０×１２０ドットを引き延ばした映像になるところ、本発明の監視方法の実施例１では飛び飛びの映像になり、単純に考えると８秒毎の映像になる。そして、本発明の監視方法の実施例１では回線状況が改善されると、補完処理が機能するので、８秒の飛びは補完される可能性がある。なお、カメラと動画分割装置との間はＬＡＮであるので、その間を流れる映像は、録画サーバと動画分割装置の間の回線の状況に左右されない。ストリーム動画をそのまま送信する従来方法では、回線状況が悪化した後改善されても、補完処理しないので映像は荒いままとなる。ストリーム動画をそのまま送信する従来方法では、回線状況がさらに悪化して通信が寸断し場合、簡単には復旧しにくい。ＬＡＮであれば比較的早い時間（１分程度）で再接続される可能性もあるが、３Ｇ／ＬＴＥ等、ＬＡＮ以外の回線では復旧しない可能性が高い。これは、接続する録画サーバがＬＡＮ以外の接続を考慮していない場合が多いためであるが、多少リトライ回数を多くしても、接続途中で寸断が発生すると、中途半端な状態で認識されカメラからの応答が取れないことがある。一方で、本発明の監視方法の実施例１では、そもそも、分割して転送する、１回ずつ途切れた通信であるので、寸断しても映像に影響は出ない。寸断している時間の長さが長くなるとフレームが抜けることになるが、補完機能があるので後から埋まる可能性も高い。補完を意識すると、３００ｋｂｐｓを最大とするならば２５６ｋｂｐｓを基準に設定すると回線状況が悪くなっても問題が生じにくい。

【0065】

図７は、本発明の監視方法の実施例１におけるカメラと録画サーバとの接続から一次映像データ書き込みまでの手順概要を示すフロー図である。

【0066】

本実施例の監視方法では、動画を撮影するカメラ群と、カメラ群のカメラ（監視用カメラ（動画用））に接続されデータを保存する蓄積フォルダを有する動画分割装置と、動画分割装置にルータ及びインターネットを介して接続された録画サーバと、を有する監視カメラシステムにおける監視方法であって（１）動画分割装置が、監視用カメラ（動画用）に動画を要求し、監視用カメラ（動画用）から撮影した動画をベースラインプロファイルでストリーム方式で動画として取得する動画取得ステップ、（２）動画分割装置が、取得した動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し蓄積フォルダに蓄積することを繰り返す分割データ作成ステップ、（３）録画サーバが、動画分割装置に、所定の時間毎に最新の分割データを要求する定時収集要求ステップ、（４）動画分割装置が、録画サーバから最新の分割データの要求を受信する毎に、蓄積フォルダから最新の分割データを抽出する最新の分割データ抽出ステップ、（５）動画分割装置が、抽出した最新の分割データを録画サーバに転送する最新の分割データ転送ステップ、（６）録画サーバが、動画分割装置に、繰り返し補完の分割データを要求する補完の分割データ収集要求ステップ、（７）動画分割装置が、録画サーバから補完の分割データの要求を受信する毎に、最新の分割データ転送ステップのタイミング以外で、蓄積フォルダから分割データを、１つずつ、補完の分割データとして、録画サーバに転送する補完の分割データ転送ステップ、（８）録画サーバが、最新の分割データ又は補完の分割データを受信する毎に、Ｉフレームを抽出し、Ｉフレームを一次画像データとして保存する画像保存ステップ、（９）録画サーバが、最新の分割データと補完の分割データを一次映像データ生成単位の時間分ずつ結合して一次映像データとして保存する映像保存ステップ、を含む。また、本実施例では、（１０）録画サーバが、動画分割装置に、一次映像データ生成単位の時間経過毎に、蓄積フォルダ内の分割データを削除する削除ステップをも含む。また、本実施例では、上述した補完の分割データ転送ステップにおいて、蓄積フォルダに残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとする。

【0067】

収集・編集プログラムと、動画分割プログラムとを有する監視カメラシステムのプログラムは、これらのステップをコンピュータに実行させるものである。

【0068】

（ステップＳ）
まず、録画サーバは、ＴＣＰ／ＩＰ方式で動画分割装置に接続を要求する。動画分割装置は、かかる接続要求を受けて監視用カメラ（動画用）に接続要求する。監視用カメラ（動画用）は１又は複数台で構成され、各カメラと録画サーバは、動画分割装置を介して、ユーザＩＤ及びパスワードで認証を行う。動画分割装置が各カメラからの接続応答を受けて、動画分割装置は、監視用カメラ（動画用）に、動画を撮影し撮影したストリーム動画のカメラ画像を動画分割装置に送信することを要求する、動画要求をする。

【0069】

（ステップ１）
図８は、本発明の監視カメラシステムによる監視方法の実施例１におけるカメラから動画分割装置までの動画の送信方法と分割データの保存方法の説明図である。監視用カメラ（動画用）は、動画要求を受けて、動画を連続撮影して、撮影して得られた動画をストリーム方式でＨ．２６４ベースラインプロファイルのカメラ映像を動画として動画分割装置に送信する。動画分割装置は、監視用カメラ（動画用）からストリーム方式で動画を受信すると、接続応答を録画サーバに送信し、録画サーバの認証用データベースを参照して認証に成功すると、録画サーバと監視用カメラ（動画用）は動画分割装置を介して接続状態となる。接続が確立できなくなったら、ステップＳに戻る。

【0070】

（ステップ２）
動画分割装置は、監視用カメラ（動画用）から取得した動画からＩフレームを検出し、Ｉフレームが先頭の画像となるＧＯＰ単位で撮影時刻順にシリアルナンバーを付した分割データを作成し前記蓄積フォルダに蓄積する。監視カメラ（動画用）から動画を受信している間はこれを繰り返す。本実施例では、Ｉフレームを検出すると、次のＩフレームを検出した直前のフレームまでを１つの分割データとする。本実施例では、ＧＯＰ単位は１秒とするが、それに限られない。本実施例では、１秒に１つＩフレームを含む動画とするが、何秒毎にＩフレームを入れるかは動画分割装置で設定して、監視用カメラ（動画用）に、動画要求する際に指示する。本実施例では、１つの分割データは、例えば、Ｉフレームが１つと１又は複数のＰフレームからなる。本実施例では、一つの分割データに１つのＩフレームとするが、一つの分割データに２以上の所定の数のＩフレームを含んでもよく、それに限られない。所定の数のＩフレームを検出したら、次のＩフレームを検出した直前のフレームまでを１つの分割データとする。ただし、インターネット網に送信するデータ量が大きくなり、録画サーバでの処理の負荷も大きくなるので、Ｉフレームを検出する毎に一つの分割データを作成することが好ましい。その場合、分割データには先頭のみＩフレームを含む。

【0071】

（ステップ３）
次に、録画サーバから動画分割装置に、所定の時間（例えば３秒）毎に、最新の分割データを要求する定時収集要求を行う。動画分割装置は、かかる最新の分割データの要求を受けて、蓄積データフォルダの中で、最新の分割データ、すなわちシリアルナンバーが最も大きい分割データを抽出し、録画サーバに送信する。例えば、蓄積データフォルダ内に分割データが、シリアルナンバーで００００５、００００６、００００７の３件であるとき、定時の収集では最新の分割データであるシリアルナンバー００００７の分割データを録画サーバに送信する。

【0072】

（ステップ４）
録画サーバは、動画分割装置から分割データを取得すると、分割データからＩフレームを抽出し、抽出したＩフレームをメモリ展開し、また、抽出したＩフレームを一次画像フォルダに一次画像データとして保存する。また、取得した分割データを一次映像データ生成単位の時間（例えば１０分）分ずつ結合して一次映像データフォルダに一次映像データとして保存する。さらに、録画サーバは、一次映像データ生成単位の時間を経過したかを判断する。一次映像データ生成単位の時間を経過していなかった場合はステップ５に進み、一次映像データ生成単位の時間を経過していた場合は、ステップ８に進む。

【0073】

（ステップ５）
一次映像データ生成単位の時間を経過していなかった場合、次に、取得した分割データのシリアルナンバーに抜けがないかを判断する。シリアルナンバーに抜けがあった場合はステップ６に進み、シリアルナンバーに抜けがなかった場合はステップ８に進む。

【0074】

（ステップ６）
シリアルナンバーに抜けがあった場合、動画分割装置に、補完の分割データを要求する。動画分割装置が、録画サーバから補完の分割データの要求を受信する毎に、最新の分割データを録画サーバに転送するタイミング以外のタイミングで、蓄積フォルダから分割データを、１つずつ、補完の分割データとして、録画サーバに転送し、ステップ４に戻る。補完の分割データについて、蓄積フォルダに残っている分割データのうち、一次映像データ生成単位の先頭及び最終の分割データがあれば優先して補完の分割データとし、次に、付されたシリアルナンバーについて最も連続性が高い群の中でシリアルナンバーが中央値に最も近いもののうち撮影時刻が現在時刻に近い方の分割データを優先して補完の分割データとする。すなわち、補完の分割データの収集では、間隔のあいている箇所から対象とする。例えば、蓄積データフォルダ内に、シリアルナンバーで００００１、００００２、００００５、０００１０、０００１２の５件があるとき、補完の分割データの収集では、一番間隔のあいているシリアルナンバー００００５と０００１０の間を補完するので、シリアルナンバー００００７と００００８のうち現在時刻に近い００００８が対象となる。なお、一次映像データ生成単位の先頭と最終の分割データについては、常に最優先で補完する。

【0075】

（ステップ７）
ステップ４において、一次映像データ生成単位の時間を経過していた場合、動画分割装置に、所定の分割データを削除させる分割データ削除要求をする。原則として、定時で収集された最新の分割データの群と、その間に補完的に収集された補完の分割データの群によって、動画分割装置の蓄積データフォルダにある分割データが全て録画サーバに送信され結合されて蓄積されるため、蓄積データフォルダ内の分割データは削除する。定期的蓄積データフォルダが空になることにより、動画分割装置の空き容量が増える。トラブル等により、一次映像データ生成単位の時間を経過しても補完の分割データを収集しきれなかったときも、蓄積データフォルダ内の分割データを削除する。その場合は、一次映像データフォルダに蓄積される一次映像データには、データの欠損に伴い生じる映像飛びが発生する。分割データ削除後、ステップ８に進む。

【0076】

（ステップ８）
ここで、ステップ３に戻る。所定の時間が経過していない場合は、経過するまでスリープする。

【0077】

（ステップＴ）
録画サーバは、負荷が集中しないタイミングで、一次映像データを、一定時間（例えば１０分）分毎に結合させタイムスタンプを付して動画形式で圧縮した二次映像データに変換し、二次映像データフォルダに蓄積する。

【0078】

なお、蓄積された一次画像データ、二次映像データは、上述の通り、端末に送信して、再生・巻戻し・早送りを行うことができる。

【0079】

｛効果｝
本実施例によれば、クラウド環境で安定的な監視カメラ映像の収集を可能とする。

【0080】

本実施例によれば、カメラから録画サーバへデータを送信する際に、動画分割装置と録画サーバの間の回線が安定しない環境でも最大限データを収集することができる。したがって、回線状況の悪化に強いデータ送信が可能となり、インターネット回線（ＷＡＮ）越しのクラウドサーバでの安定的なデータ蓄積が可能となる。現地に録画サーバを設置必要がなくなり、自由度が高くなる。また、高画質の映像復元を可能に分割してあり、動画分割装置における動画を分割した後の送信する順序及び送信タイミング並びに録画サーバでの処理により、常に最新の画像を高画質で端末に送信でき、さらに、動画での確認もスムーズとなる。

【0081】

なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。

【0082】

例えば、動画を撮影するカメラ群から取得した映像の動画分割装置への送信は、Ｈ．２６４が好ましいが、これに限られず、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ２でもよく、Ｈ．２６４のベースラインプロファイルと同値とみなされる方法、すなわち、Ｉフレームと同値とみなされる全画像とＰフレームと同値とみなされる差分画像との組み合わせによる方法で、連続的に動画分割装置へ送信してもよい。圧縮形式は、現時点で高圧縮であるＨ．２６４であることが、軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易であるので、好ましいが、動画分割装置への送信方法に合わせた他の方法でもよい。

【符号の説明】

【0083】

１００ 録画サーバ
１０１ ＣＰＵ
１０２ メモリ
１０３ ディスプレイ
１０４ ネットワークインターフェース
１０５ キーボード
１０６ マウス
１１０ 記憶装置
１１１ 一次画像フォルダ
１１２ 二次映像フォルダ
１１３ 分割データ収集・編集プログラム
１１４ オペレーティングシステム
１１５ 一次映像フォルダ
２００ モバイル端末
２０１ ＣＰＵ
２０２ メモリ
２０３ ディスプレイ
２１０ 記憶装置
２１３ 画像表示プログラム
２１４ オペレーティングシステム
３００ 閲覧ＰＣ
３０１ ＣＰＵ
３０２ メモリ
３０３ ディスプレイ
３０４ ネットワークインターフェース
３０５ キーボード
３０６ マウス
３１０ 記憶装置
３１３ 画像表示プログラム
３１４ オペレーティングシステム
４００ 動画分割装置
４０１ ＣＰＵ
４０２ メモリ
４０３ ディスプレイ
４０４ ネットワークインターフェース
４０５ キーボード
４０６ マウス
４１０ 記憶装置
４１１ 蓄積フォルダ
４１３ 動画分割・送信プログラム
４１４ オペレーティングシステム
５００ ネットワーク
６００ ルータ
７００ 監視用カメラ（動画用）
７０１ 監視用カメラ（静止画用）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】