【実施例1】
【0022】
本実施例は、ネットワークを介してサーバで監視用カメラを作動させて、サーバが画像を収集・編集・保存し、サーバがユーザの端末に端末からの要求に応じてネットワークを介してモニターする画像を送信するもので、過去の画像の再生・巻戻し・早送りもライブ画像の再生・巻戻し・早送りもリライブ再生も行うものである。例えば、ネットワークで接続されている地方工場内の製造ラインに取り付けられた監視用カメラの画像を本社の管理部門の担当者や各工場の責任者のスマートフォンに送信して管理するのに利用できる。
【0023】
{構成}
図1は、本発明の監視カメラシステムの実施例1のネットワーク構成の一例を示す図である。LANやインターネット、Wi−Fi回線、3G回線等の通信網から構成されるネットワーク500上には、(1)画像を撮影するカメラとして、複数台の監視用カメラ400A〜F、(2)ネットワーク500を介して監視用カメラ400と接続され、カメラで撮影した画像データを取得し蓄積し端末に送信するサーバとして、録画サーバ100、(3)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末200A、Bや、デスクトップPC(パーソナルコンピュータ)やノートPCなどの閲覧PC300A〜Cが接続されている。以下、モバイル端末と閲覧PCとをまとめるときは、「端末」又は「Viewer」という。
【0024】
録画サーバ100は、監視用カメラ400が同じLAN内に存在する場合に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。本実施例では、監視用カメラ400と録画サーバ100との通信がTCP/IP方式で、同じLAN内にカメラとサーバが存在しなくても、確実に画像データの送受信ができ、信頼性が高い。監視用カメラ400は、本実施例ではIPカメラであるが、アナログカメラでもよい。画像表示用の端末である閲覧PC300も、録画サーバ100と同じLAN内に存在する場合に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。画像表示用の端末であるモバイル端末200についても、LAN、インターネット、携帯電話用ネットワーク(Wi−Fi回線や3G回線等)等、複数のネットワークを介して接続されていてもよい。
【0025】
1台の録画サーバ100は、複数台の監視カメラ400から画像を取得することができる。従来のIPカメラシステムでは、1つの同容量のサーバで管理できるカメラの台数はIPカメラで20台程度であるが、本実施例では、1秒に1回録画する場合でも、同一ネットワーク環境において、100台のIPカメラの接続が可能である。したがって、コスト削減と大規模監視を同時に可能とする。また、サーバ側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。
【0026】
図2は、本発明の監視カメラシステムの実施例1のサーバの構成図である。録画サーバ100は、キャッシュメモリであるメモリ102を伴うCPU101やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置110と、ネットワークインターフェース104等の通信制御装置や表示装置としてのディスプレイ103、キーボード105、マウス106等で構成される入出力装置とを備えている。記憶装置110には、一次画像フォルダ111と二次画像フォルダ112と撮影・編集・送信プログラム113と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム114が格納されている。撮影・編集・送信プログラム113は通常記憶装置110の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ111には、カメラ画像を圧縮したファイルを一次データとして蓄積し、二次画像フォルダ112には、一次画像フォルダ111内に蓄積された一定時間分の一次データを動画圧縮変換して二次データとして蓄積する。認証用データベースには、ID、パスワード、各監視用カメラ400やモバイル端末200や閲覧PC300のポート番号とIPアドレス、IPアドレスのない端末では個体識別情報(UID)が蓄積されている。本実施例では、録画サーバ100は、サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ103、また入力手段としてのキーボード105やマウス106を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各監視用カメラの画像取得タイミング、一次画像データや二次画像データの作成間隔、圧縮条件等が蓄積されている。
【0027】
録画サーバ100は、CPU101が、撮影・編集・送信プログラム113をメモリ102にロードして実行することにより本発明のカメラ画像取得及び端末への画像送出処理が可能なコンピュータの機能を実現する。CPU101は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
【0028】
録画サーバ100は、1台のサーバとする他、複数のサーバからなるサーバ群であってもよい。例えば、二次画像フォルダについて、一定期間(例えば24時間)経過後の二次データについては、保存先を、カメラ画像を取得するサーバと別のサーバに設けた二次画像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。
【0029】
撮影・編集・送信プログラムは、コンピュータに、監視用カメラとの接続を行うカメラ接続機能、端末との接続を行う端末接続機能、一定時間(例えば1秒)毎に、接続した監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させるカメラ画像取得機能、前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成機能、端末からのカメラ一覧の要求を受け付ける一覧受付機能、端末に監視権限があるカメラの一覧を抽出する権限確認機能、抽出されたカメラの一覧を端末に送信する一覧送信機能、端末からのサムネイル画像を表示するカメラの1又は複数の選択を前記一覧から受け付けるすなわち監視権限のある1又は複数のカメラについてサムネイル画像要求を受け付けるサムネイル画像選択受付機能、サムネイル画像要求を受け付けたカメラについてカメラ画像からサムネイル画像を作成するサムネイル画像作成機能、サムネイル画像を端末に送信するサムネイル画像送信機能、端末からのライブ画像を表示するカメラの選択を受け付けるライブ画像選択受付機能、選択されたカメラについてサムネイル画像に代えてカメラ画像データをライブ画像として端末に送信するライブ画像送信機能、端末よりライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付機能、巻戻し要求毎に、端末に前回送信した画像より一定時間分(例えば1秒分)過去の時点の一次データを抽出して巻戻しライブ画像として端末に送信する巻戻しライブ画像送信機能、端末より巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付機能、早送り要求毎に、現時点の画像に達するまでは、端末に前回送信した画像より一定時間分(例えば1秒分)未来の時点の一次データを抽出して早送りライブ画像として端末に送信する早送りライブ画像送信機能を実現させるためのプログラムである。「現時点の画像」とは、監視用カメラから取得した最新の画像を意味する。したがって、現時点の画像は、カメラ画像がサーバに入力される度に、新しい画像に変わる。
【0030】
本実施例では、撮影・編集・送信プログラムは、さらに、コンピュータに、一次データを、一定時間分(例えば1時間分)毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成機能をも実現させるためのプログラムである。
【0031】
本実施例では、撮影・編集・送信プログラムは、さらに、コンピュータに、端末より巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付機能、リライブ画像要求毎に、端末に前回送信した画像より一定時間分、詳細には、カメラでの設定監視用カメラ400から録画サーバ100へのカメラ画像取得間隔分、未来の時点の一次データを抽出して早送りライブ画像として端末に送信するリライブ画像送信機能をも実現させるためのプログラムである。
【0032】
本実施例では、監視カメラと録画サーバとの接続はTCP/IP方式で行い、監視カメラを特定するため、録画サーバ側で設定したユーザIDとパスワードで認証を行ってからカメラ画像の撮影等の要求を行う。端末と録画サーバとの接続もTCP/IP方式で行い、ユーザIDとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。
【0033】
端末やカメラが同じLAN上になくてもルータを介してネットワークで繋がっていれば、接続するルータのIPアドレスとそれぞれに割り振られたポート番号で行う。インターネットで接続されているときは、両者の間のルータのポート番号を「有効」にする。IPアドレスのないモバイル端末ではUIDを利用する。
【0034】
図3は、本発明の監視カメラシステムの実施例1の端末(モバイル)の構成図である。モバイル端末200は、メモリ202を伴うCPU201やデバイスドライバ等を有する制御・演算装置と、記憶装置210、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ204、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置210には、画像表示プログラム213やオペレーティングシステム214が格納されている。モバイル端末200は、例えばスマートフォン等の携帯電話等であり、CPU201が画像表示プログラム213をメモリ202にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。CPU201は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
【0035】
図4は、本発明監視カメラシステムの実施例1の端末(PC)の構成図である。閲覧PC300は、メモリ302を伴うCPU301やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置310と、ネットワークインターフェース304等の通信制御装置や表示装置としてのディスプレイ303、キーボード305、マウス306等で構成される入出力装置とを備えている。記憶装置310には、画像表示プログラム313やオペレーティングシステム314が格納されている。閲覧PC300は、例えばデスクトップPCやノートPC、タブレット端末等であり、CPU301が画像表示プログラム313をメモリ302にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。CPU301は、通常のPCに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
【0036】
画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバにカメラ一覧の要求をし、サーバから取得したカメラ一覧を表示する一覧表示機能、サムネイル画像を表示する監視用カメラの選択又はライブ画像を表示する監視用カメラの選択をするカメラ選択機能、録画サーバから送信された画像を表示する画像表示機能、サムネイル画像表示中に、一定時間(例えば1秒)毎に、サムネイル画像を録画サーバに要求するサムネイル画像要求機能、ライブ画像表示中に、監視用カメラから録画サーバへのカメラ画像取得間隔毎に、ライブ画像を録画サーバに要求するライブ画像要求機能、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバに要求する巻戻し開始要求機能、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間(例えば0.2秒)毎に、巻戻しライブ画像を録画サーバに要求する巻戻し継続要求機能、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付け、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り開始要求機能、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間(例えば0.2秒)毎に、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り継続要求機能、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像をサーバに要求するリライブ画像開始要求機能、リライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求機能を実現させるためのプログラムである。
【0037】
録画サーバ100は、接続開始時毎に、監視用カメラや端末のIPアドレス及びポート番号、UIDを調べ、またIPアドレス及びポート番号やUIDを用いた接続によって接続相手を特定でき、ユーザIDとパスワードで認証する。ルータのポート番号を「有効」にしてあれば、端末側のルータの設定を録画サーバ100から行うことができ、グローバルIPアドレスやプライベートIPアドレスの割当設定をすることができる。したがって、LAN内のPCのアドレスが変換されてしまった場合でも、監視用カメラの認識をするので、カメラ画像の取得が可能である。監視用カメラ側でグローバルIPアドレス、プライベートIPアドレスの割当設定等を行う必要がなく、ブロードバンドルータなどを利用していてLAN内のPCのアドレスが変換されてしまう場合でもカメラ画像の送受信が可能であり、また、ユーザのPC操作能力が、様々な設定を行うことができないレベルであっても画像表示が可能である。監視用カメラと録画サーバとが同じLAN内に限定されるときは、ローカルIPアドレスとポート番号で認識を行ってもよい。
【0038】
本実施例においては、録画サーバ100と閲覧PC300とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末200もクロック機能等を備えている。
【0039】
本実施例では、静止画を撮影する監視用カメラ400にネットワーク500を介して接続された録画サーバ100と、録画サーバ100に500を介して接続され画像を表示する端末(モバイル端末200や閲覧PC300)とを具備しており、録画サーバ100には、(1)一定時間毎に、監視用カメラ400に静止画を撮影させ撮影したカメラ画像を録画サーバ100に入力させるカメラ画像取得手段、(2)前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成手段、(3)端末から、カメラ一覧の要求を受け付ける一覧受付手段、(4)監視用カメラ400のうち、前記端末に監視権限があるカメラの一覧を抽出する権限確認手段、(5)前記権限確認手段で抽出されたカメラの一覧を前記端末に送信する一覧送信手段、(6)前記端末から、サムネイル画像を表示する監視用カメラ400の1又は複数の選択を前記一覧から受け付ける、すなわち監視権限のある1又は複数のカメラについてサムネイル画像要求を受け付けるサムネイル画像選択受付手段、(7)サムネイル画像要求を受け付けた監視用カメラ400について前記カメラ画像からサムネイル画像を作成するサムネイル画像作成手段、(8)前記サムネイル画像作成手段で作成されたサムネイル画像を前記端末に送信するサムネイル画像送信手段、(9)前記端末から、ライブ画像を表示する監視用カメラ400の選択を受け付けるライブ画像選択受付手段、(10)前記ライブ画像選択受付手段で選択された監視用カメラ400についてサムネイル画像に代えて前記カメラ画像データをライブ画像として前記端末に送信するライブ画像送信手段、(11)前記端末から、ライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付手段、(12)前記巻戻し要求毎に、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信手段、(13)前記端末から、巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付手段、(14)前記早送り要求毎に、現時点の画像に達するまでは、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信手段、(15)前記一次データを、一定時間分毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成手段、(16)前記端末から、巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付手段、(17)前記リライブ画像要求毎に、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出してリライブ画像として前記端末に送信するリライブ画像送信手段とを設けてある。録画サーバ100は、前述のハードウェア構成と撮影・編集・送信プログラム112によって、(1)〜(17)の手段として機能する。
【0040】
また、端末(モバイル端末200及び閲覧PC300)に、(1)録画サーバ100にカメラ一覧の要求をし、録画サーバ100から取得したカメラ一覧を表示する一覧表示手段、(2)サムネイル画像を表示する監視用カメラ400の選択又はライブ画像を表示する監視用カメラ400の選択をするカメラ選択手段、(3)録画サーバ100から送信された画像を表示する画像表示手段、(4)サムネイル画像表示中に、一定時間毎に、サムネイル画像を録画サーバ100に要求するサムネイル画像要求手段、(5)ライブ画像表示中に、監視用カメラ400から録画サーバ100へのカメラ画像取得間隔毎に、ライブ画像を録画サーバ100に要求するライブ画像要求手段、(6)ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバ100に要求する巻戻し開始要求手段、(7)巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像を録画サーバ100に要求する巻戻し継続要求手段、(8)巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像を録画サーバ100に要求する巻戻しライブ画像早送り開始要求手段、(9)早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像を録画サーバ100に要求する巻戻しライブ画像早送り継続要求手段、(10)巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像を録画サーバ100に要求するリライブ画像開始要求手段、(11)リライブ画像表示中に、カメラから録画サーバ100へのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求手段、とを設けてある。端末は、前述のハードウェア構成と画像表示プログラム213によって、(1)〜(11)の手段として機能する。なお、本実施例では、カメラ画像データを圧縮して作成された一次データは、一定時間毎に録画サーバで二次データに変換されているので、端末は、ライブ画像の巻戻しや巻戻し後の早送り以外に、従来の録画再生装置で可能な、過去のカメラ画像の再生や巻戻し、早送りも可能である。例えば、録画翌日等に再生を行うとき、何日の何時の録画について再生をしたいかを選択し、1時間分ずつ2次データに変換されたファイルを呼び出して、再生を行う。再生中の巻戻しや早送りも可能である。ライブ画像は、カメラから入力されたカメラ画像を圧縮せず使用するため高画質でありながら静止画であるためデータ量が小さく、サムネイル画像は、カメラ画像を、指定されたサイズに縮小化及び圧縮して使用するため十分な画質と十分な小データ量で、巻戻しライブ画像や早送りライブ画像は、一次的な静止画保存用に圧縮した一次データを使用するため、高画質ながらデータ量が小さい。頻繁には使用しない、二次データ作成単位以上に過去分の再生や早送り巻戻しは、圧縮変換した動画ファイルである二次データを使用するため、動画ながら保存に要するデータ量が小さくて済む。また、本実施例の構成により、ライブ画像の巻戻し後の再生が可能となる。
【0041】
本実施例の監視カメラシステムは、静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記カメラ群からTCP/IP方式で、カメラ画像をJPEG形式の静止画で取得し、一定期間内は静止画で保存し、一定期間経過後に、動画ファイルへの圧縮形式、例えば現時点で高圧縮であるH.264形式で高圧縮動画ファイルに変換して保存し直す。本実施例では、H.264形式で圧縮して動画ファイルに変換する。TCP/IP方式の通信にてサーバー主導型によりカメラ群に静止画データを要求することにより、通信上におけるデータの欠損がなく、データの高い保全性を実現できる。従来、ネットワークカメラから動画品質(例:30fps程度)でデータ取得を行うと、経由するネットワーク上に膨大なデータが流れてしまい、多台数のカメラを同一ネットワーク上に設置することができなかったが、本実施例では、動画でデータ取得を行うのではなく、例えば、1秒間に1画像と、画像取得間隔を長くし、動画ではなく静止画の画像としてデータを取得する。したがって、ネットワーク上に同時に流れるデータ量が少なくなり、一般のインターネット回線などにも、ネットワークカメラ情報を流すことができる。さらに、従来の動画転送方法ではパケット紛失やデータ転送量などが問題で不可能であった、インターネット回線(WAN)越しのクラウドサーバーでのデータ蓄積を可能にする。従来のネットワークカメラ録画システムでは、ネットワークカメラ側の録画条件が、そのまま録画サーバー側の保存の条件になっており、動画データを軽量化するために現在主流であるH.264形式の動画フォーマットで録画するには、ネットワークカメラ側にH.264形式で録画する機能を備えたカメラを製造する必要があったが、本実施例では、サーバー側でH.264形式に変換を行うため、カメラ側に保存したい動画フォーマットの機能が備わっている必要がない。また、従来システムの場合、ファイルサイズが軽量化するH.264形式であっても長期保存するにはまだまだデータ量が大きく、動画データを取得する段階(ネットワークカメラで録画する段階)で解像度を下げるなどの対応が必要で、また、保存期間を長くするために解像度を下げてしまうことで、動画データの画質が粗くなってしまうという問題点があったが、本実施例では、画像データ収集時のデータを、一次データ、すなわち、高解像度の一時保存データ(頻繁に見る可能性があるデータ)、として保存して、一定期間を経過すると、二次データ、すなわち、解像度を低くしたり画質を軽量化したりするなどして一時保存データ(長期保存データ)、に変換することで、保存期間のさらなる延長が可能となる。本実施例では、データから二次データへの変換については、画像とタイムスタンプ情報を付加しながら、二次データへの変換を行い、例えば1秒間に1フレーム(1fps)の設定であれば、3600枚の画像とタイムスタンプを二次データに格納し、何らかの異常で画像が欠落している場合は、一つ前の画像と同じ画像を再度使って、時間軸を調整する。
【0042】
{手順}
本発明の監視カメラシステムの実施例1の監視手順について次に説明する。本手順では、上述した監視カメラシステムを使用するが、
図1における録画サーバ100はサーバ、監視用カメラ400はカメラ、モバイル端末200及び閲覧PC300は端末として表して説明をする。各端末は、サーバを介して、複数のカメラで撮影した画像を同時に表示させることができる。
【0043】
本実施例の監視方法では、(1)静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記カメラ群に静止画を撮影させ撮影したカメラ画像データを前記サーバに入力させるカメラ画像取得ステップ、(2)前記サーバが、前記カメラ画像データを圧縮して一次データを作成し蓄積する一次データ作成ステップ、(4)前記サーバにネットワークを介して接続され画像を表示する端末が、ライブ画像を表示するカメラの選択をするカメラ選択ステップ、(5)前記サーバが、選択されたカメラのカメラ画像データをライブ画像として、前記端末に、送信するライブ画像送信ステップ、(6)前記端末が、前記サーバから送信されたライブ画像を表示するライブ画像表示ステップ、(7)前記端末が、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像をサーバに要求する巻戻し開始要求ステップ、(8)前記サーバが、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信ステップ、(9)前記端末が、前記サーバから送信された巻戻しライブ画像を表示する巻戻しライブ画像表示ステップ、(10)前記端末が、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像をサーバに要求する巻戻し継続要求ステップ、(11)前記サーバが、前記巻戻し要求毎に、前記巻戻しライブ画像送信ステップ、(12)巻戻しライブ画像表示ステップを繰り返し、(13)前記端末が、巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像をサーバに要求する早送り開始要求ステップ、(14)前記サーバが、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信ステップ、(15)前記端末が、前記サーバから送信された早送りライブ画像を表示する早送りライブ画像表示ステップ、(16)前記端末が、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像をサーバに要求する早送り継続要求ステップ、(17)前記サーバが、現時点の画像に達するまでは、前記早送りライブ画像要求毎に、前記早送りライブ画像送信ステップ、(18)早送りライブ画像表示を繰り返し、(19)前記一次データを、一定時間分毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成ステップを含む。
【0044】
本実施例の監視方法では、(20)前記端末が、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像をサーバに要求するリライブ画像開始要求ステップ、(21)前記サーバが、前記端末からの、巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付ステップ、(22)リライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求ステップ、(23)前記リライブ画像要求毎に、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出してリライブ画像として前記端末に送信するリライブ画像送信ステップを含む。
【0045】
撮影・編集・送信プログラムと画像表示プログラムとを有する監視カメラシステムのプログラムは、これらのステップをコンピュータに実行させるものである。図を用いて、さらに具体的に説明する。
【0046】
(カメラとサーバとの接続、撮影から画像編集まで)
図5は、本発明の監視カメラシステムの実施例1におけるカメラとサーバとの接続から画像編集までの手順概要を示すフロー図である。先ず、サーバは、カメラにTCP/IP方式で、接続を要求する。カメラは複数台で構成され、各カメラとサーバはユーザID及びパスワードで認証を行う。サーバの認証用データベースを参照して認証に成功すると、接続状態となる。サーバからカメラに、静止画を撮影し撮影したカメラ画像をJPEG形式でサーバに送信することを要求する。カメラは、画像の要求を受けてスナップショット(静止画)を撮影して、撮影して得られた静止画をJPEG形式でカメラ画像としてTCP/IP方式でサーバに送信する。
【0047】
本実施例では、カメラがJPEG形式の静止画で画像を撮影してサーバに送信するため、カメラが、H.264形式で録画する機能を有しなくても使用できる。また、後述のように、本実施例では、サーバ側で一定時間毎に二次データに動画圧縮変換するため、カメラに動画フォーマットの機能が備わっている必要がない。したがって、カメラは、IPカメラのほか、アナログカメラでもよく、古いカメラも利用でき、コストが削減できる。
【0048】
サーバは静止画のカメラ画像を受信すると、カメラ画像をメモリに展開する。さらに、カメラ画像を圧縮して、静止画の一次データを作成する。カメラ画像受信後、一定時間スリープして、接続状態のカメラに、また、静止画を撮影し撮影したカメラ画像をサーバに送信することを要求する。スリープする時間は、10分の1秒、1秒、3秒あるいは60秒等、予め任意で設定する。本実施例では1秒とする。
【0049】
図6は、本発明の監視カメラシステムの実施例1における画像データ収集フロー図である。サーバにおけるカメラ画像取得のさらに詳細なフローを示す。サーバはカメラとTCP/IP方式でコネクションを張り、コネクションができたら、一定時間(本実施例では1秒)毎にカメラから静止画像のカメラ画像を取得する。取得ができなかった場合は再度コネクションを張る。取得ができた場合は、カメラ画像をファイルへ保存する。終了信号があるまでカメラ画像の取得を行う。
【0050】
図7は、本発明の監視カメラシステムの実施例1のデータ圧縮フロー図である。一次データから二次データへの動画圧縮変換をするステップである。一次データを作成し始めて一定期間(本実施例では1時間とする)経過したら、一次データが蓄積された一次画像フォルダから、時系列順に一次データのファイルを開き、それぞれを動画の1コマ分のコマ画像として取得する。カメラ画像を1秒に1回取得する場合には、60×60=3600個のファイルが一次画像フォルダにあることになる。コマ画像を取得ごとに軽量化をしてよいかを判断する。予め決めた解像度や画質以上であれば、解像度や画質を落とす。例えば、解像度が640×480dpiであったファイルを320×240dpiの画質に落とす、あるいは画質を90%から60%に落とす等で軽量化を行う。解像度や画質が予め決めた値以下であればそのままとする。次に、一定時間、本実施例では1時間経過したら、1時間分のコマ画像、すなわち本実施例では3600個、を集めて動画の二次データに圧縮変換する。ファイルの終端、すなわち3600個完了に達したら、二次データへの変換の終了を待機し、一次データのファイルをクローズする。
【0051】
(端末とサーバとの接続、画像表示まで)
図8は、本発明の監視カメラシステムの実施例1における端末とサーバとの接続から画像表示までの手順概要を示すフロー図である。先ず、端末は、ユーザによるサーバへの接続要求を受付け、接続要求が入力されると、サーバにTCP/IP方式で接続を要求する。モバイルの端末では、一部分を携帯電話独自のプロトコルを使用して接続することもある。端末は1又は複数台で構成され、各端末とサーバはユーザID及びパスワードで認証を行う。サーバの認証用データベースを参照し、端末の認証登録がされていない場合は、初回のみ暗号化キーを発行して登録を行い、登録時にユーザIDとパスワードを発行する。認証に成功すると、接続状態となる。
【0052】
端末は、ユーザからのカメラ一覧要求を受付け、カメラ一覧要求が入力されると、サーバにカメラ一覧要求を送信する。サーバは、カメラ一覧要求を受信すると、要求した端末が監視できるカメラについての権限情報を確認する。サーバは、権限のあるカメラ一覧データを端末に送信する。端末は受信したカメラ一覧データをディスプレイに表示し、ユーザからの、サムネイル画像を表示させるカメラの選択を受け付ける。
【0053】
端末は、サムネイル画像を表示させるカメラの選択が入力されると、選択されたカメラの数とディスプレイの画面サイズからサムネイル画像のサイズを計算し、サーバに選択されたカメラのサムネイル画像をサイズ指定で要求する。サーバは、サムネイル画像の要求を受信すると、各カメラから取得してメモリ上に展開された最新のカメラ画像を指定されたサイズに縮小化及び圧縮し、サムネイル画像として、端末へ送信する。端末は送信されたサムネイル画像をディスプレイに表示する。終了信号を確認するまでは、一定時間毎、例えば1秒毎に、繰り返す。
【0054】
図9は、本発明の監視カメラシステムの実施例1のライブ画像選択フロー図である。端末は、表示されたサムネイル画像の中からライブ画像を見たいカメラについて、ユーザからの選択を受け付ける。端末は、ライブ画像の再生を表示させるカメラの選択が入力されると、サーバに選択されたカメラのライブ画像を要求する。サーバはライブ画像の要求を受信すると、選択されたカメラから取得してメモリ上に展開された最新のカメラ画像を、ライブ画像として、端末へ送信する。端末は送信されたライブ画像をディスプレイに表示する。ユーザによってカメラの選択が解除されるまで、あるいは再生以外が選択されている間を除き、端末は、カメラでの画像取得タイミング毎に、ライブ画像の要求以降を繰り返す。
【0055】
図10は、本発明の監視カメラシステムの実施例1における端末からの各種要求とサーバからの応答を示す説明図である。端末は、ライブ画像を表示中、ユーザからの巻戻し要求の入力を受け付ける。端末は、巻戻し要求が入力されると、サーバに巻戻し画像を要求する。サーバは巻戻し画像の要求を受信すると、端末に前回送信した画像より、一定時間分過去の時点の一次データを抽出し、巻戻しライブ画像として端末に送信する。本実施例では、一定時間分過去の時点を1秒分過去の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に巻戻しが入力されたときは、1枚前の一次データが送信される。
【0056】
巻戻しが選択されている間中、すなわち、巻戻しライブ画像の表示中は、端末は、サーバに、一定時間毎に巻戻しライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ画像の一次データから作成された巻戻しライブ画像が表示されることになる。
【0057】
さらに、端末は、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付ける。端末は、早送り要求が入力されると、サーバに早送りライブ画像を要求する。サーバは早送りライブ画像の要求を受信すると、端末に前回送信した画像より、一定時間分未来の時点の一次データを抽出し、早送りライブ画像として端末に送信する。本実施例では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に早送り要求が入力されたときは、巻戻しライブ画像として現在表示されている一次データより、1枚未来の一次データが送信される。
【0058】
早送りが選択されている間中、すなわち、早送りライブ画像の表示中は、端末は、サーバに、一定時間毎に巻戻し画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ画像が表示されることになる。早送りライブ画像が現時点の画像までたどり着いたら、ライブ画像表示に切り替わり、早送りは終了する。
【0059】
さらに、端末は、巻戻しライブ画像表示中に、ユーザからのリライブ画像要求の入力を受け付ける。端末は、リライブ要求が入力されると、サーバにリライブ画像を要求する。サーバはリライブ画像の要求を受信すると、端末に前回送信した画像より、一定時間分未来の時点の一次データを抽出し、リライブ画像として端末に送信する。本実施例では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に早送り要求が入力されたときは、巻戻しライブ画像として現在表示されている一次データより、1枚未来の一次データが送信される。
【0060】
リライブが選択されている間中、すなわち、リライブ画像の表示中は、端末は、サーバに、一定時間毎にリライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔と同じ一定時間であって、本実施例では1秒毎である。したがって、端末には、1秒毎に、1秒ずつ前のカメラ画像が表示されることになる。リライブ以外の選択を行うと、リライブは終了する。
【0061】
サーバにおいて、カメラ画像を圧縮して作成された一次データは、一定時間毎、本実施例では1時間毎、に録画サーバで二次データに変換される。タイムスタンプを付して動画に変換して圧縮されるため、データ保存に要する容量は小さくて済む。例えば、Quad−VGA画像にて、1280×960dpiで録画保存した場合のIPカメラ一台のデータ容量は、夜間での撮影に適したカメラにて1秒に1画像取得の場合で1時間で10MB、1カ月で7.2GB、1年で86.4GBで済むので、40台のIPカメラのデータを1年間保存した場合でも3.456TBで済む。VGA画像であれば、640×480dpiで録画保存した場合のIPカメラ一台のデータ容量は、夜間での撮影に適したカメラにて1秒に1画像取得の場合で1時間で8MB、1カ月で5.76GB、1年で69.12GBで済むので、40台のIPカメラのデータを1年間保存した場合でも2.7648TBで済む。したがって、保存データ容量の大幅削減が実現できる。
【0062】
{効果}
本実施例は、かかる構成であるため、高画質の再生やライブ画像の巻戻しが手軽にでき、かつデータ量が小さく低コスト化を可能とする。
【0063】
詳細には、本実施例では、静止画で送信しているので、撮影中のライブ画像の再生中に、即時に、現時点の画像からの巻戻し及びリライブ再生、さらには現時点の画像への早送りができる。何らかの理由で撮影できなかった時点が生じても、本実施例では、欠損した時点の静止画を、一つ前時点の静止画をコピーしたもので補うため、低コストでコマ落ちのない再生を可能とする。また、ライブ画像において問題が発見された時、すぐその場で、巻戻してリライブ再生で見直すことができる。
【0064】
本実施例では、カメラから録画サーバへ動画でなく静止画が送られ、サーバ主導で撮影・静止画保存・再生画像送出が行われるので、通信するデータ量は小さくなる。したがって、通信網へ負荷がかからず、トラフィックの混雑が生じにくい。トラフィックが常に安定するために多くのカメラをサーバー1台で管理することができる。本実施例によれば、カメラ画像は、取得して一定時間内は、画像を圧縮して一次データとするため、データ容量が小さく、カメラやユーザが多数であっても必要容量が小さく、サーバ数が少なくて済む。例えば、1つのサーバで50台以上のカメラの接続が可能である。また、一次データは、サーバにおいて、一定時間経過するとまとめて動画圧縮変換され保存するため、データ容量が小さくて済み、したがって長期保存も可能となる。動画に比べ格段にデータ量が小さく、高い解像度で送出することができ、鮮明な画像で再生できる。H.264に変換することにより、例えば、Motion JPEGと比べて80%以上、MPEG−4と比べて50%以上も、保存容量を削減できる。また、IPカメラだけでなく、変換機を利用することでアナログカメラも併用が可能である。
【0065】
スマートフォンなどの端末で再生する際に、再生などの操作を行ってから実行されるまでに時間がかからないため、ストレスなく再生でき、また、トラブル発見がすぐできる。複数のカメラをモニターする場合でもスマートフォンで、手軽に、かつスムーズに再生でき、場所を移動しながらの作業の傍らでチェックするということが容易にできる。本実施例では、撮影した静止画を順次リアルタイムで送信し、かつ、巻戻し等の操作時には撮影した静止画を圧縮した静止画を順次送信し、さらに、過去分の再生等には、静止画から圧縮変換してデータを軽くして作成しておいた動画を用いるということを組合わせているため、便利かつ簡単でありながら、データ容量が少なくて済む。
【0066】
本実施例によれば、画像を再生する端末側は、持ち運びできてリアルタイムの再生や巻戻しなどが、すぐその場でスムーズにできるため、現場での検証も容易にできる。さらに、本実施例によれば、高機能と低コスト化を、ともに実現でき、また電力も抑制できエコロジーである。例えば、カメラ100台で撮影する場合、消費電力量においても二酸化炭素排出量においても、従来の約3分の1で済む。巻戻しにおいて、表示間隔が再生よりも短くなるだけでコマ飛ばしをしないため、巻戻し中の画像に漏れがなく、したがってチェック漏れが防止でき、またライブ画像再生に比べて画像が飛び飛びになっているような違和感がない。
【0067】
本実施例は、ネットワークで接続されている地方工場内の製造ラインに取り付けられた監視用カメラの画像を本社の管理部門の担当者や各工場の責任者のスマートフォンに送信して管理することにより、稼働状況の監視のみならず、製造ライン間や各工場の連携にも利用できる。利用可能なシーンは幅広く、配送センターのように広大な敷地内のセキュリティや配送状況管理にも利用でき、配送物の紛失や積み忘れのチェック、また、マンション等の集合住宅におけるエントランスや通用口等を管理人や住人が管理室等決まった部屋にいなくてもチェックすることを可能にでき、個人宅、商店、街頭各所などのセキュリティ目的や、通行人数等の調査目的にも利用可能である。本実施例によれば、携帯端末にて遠隔でモニター確認中にトラブルが発覚した際、現場に急行し到着して直ぐに携帯端末の巻戻してリライブ画像を見ながら、的確で迅速な対応を可能とする。
【0068】
カメラが多数であっても、全ての同一のネットワーク上に設置することができ、1台のサーバで多数のカメラを制御できる。
【0069】
カメラから端末へデータを送信する際にパケット紛失が起きにくく、データ転送量が少なくて済む。したがって、インターネット回線(WAN)越しのクラウドサーバでのデータ蓄積が可能となる。
【0070】
本実施例によれば、カメラ側から静止画にて画像を取得して、録画サーバー側で、高圧縮動画ファイルに変換(H.264形式で変換)を行うので、カメラ側に保存したい動画フォーマットの機能が備わっていなくても、録画サーバー側で変換することが可能となる。さらに、画像収集時のデータを、まずは、頻繁に見る可能性があるデータとして、高解像度の一時保存データで保存して、一定期間を経過すると解像度を低くしたり画質を軽量化したりするなどして長期保存データに変換することで、保存期間のさらなる延長が可能となる。
【0071】
なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。