(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、通信回線に障害が発生した場合に未送信データを保持し続け、通信回線が復旧した後、保持しておいた未送信データから優先的に送信するよう規定された通信プロトコルがある。例えば、信頼性が比較的高いTCP(Transmission Control Protocol)が、その通信プロトコルに該当する。このような通信プロトコルを監視システムに採用すると、通信回線が復旧した後、保持しておいた未送信分の映像データが、ライブ映像に優先して古い順から監視センタに送られることになる。しかしながら、通信障害時の古い映像データがライブ映像に優先して監視センタに送られると、ユーザは過去の映像を閲覧することになり、ライブ映像によってリアルタイムで監視をすることができなくなる。一方で、通信障害時に発生したイベントを確認したい場合等には、その通信障害時の映像データが必要となることがある。
【0010】
本発明の目的は、通信回線に障害が発生した場合に未送信データを保持し続けるよう規定された通信プロトコルに従って映像データを送信する場合に、通信回線の復旧後にライブ映像を送信するとともに、通信障害中の映像データを送信することが可能な映像データ送信装置及び映像データ管理システムを提供することである。
【課題を解決するための手段】
【0036】
請求項
1に係る発明は、
映像データ送信装置と、通信回線を介して前記映像データ送信装置に接続される映像データ管理装置と、を備えた映像データ管理システムであって、前記映像データ送信装置は、対象エリアを撮影することで映像データを取得する撮像手段と、前記撮像手段によって取得された映像データをライブ映像として前記通信回線を介して前記映像データ管理装置に送信する第1送信手段であって、前記通信回線に障害が発生し、その後、前記通信回線が復旧した場合、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを送信せずに、前記通信回線の復旧後に前記撮像手段によって新たに取得された映像データをライブ映像として前記映像データ管理装置に送信する第1送信手段と、前記撮像手段によって取得された映像データを記録する第1記録手段と、前記通信回線の復旧後、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを前記第1記録手段から取得し、前記通信回線を介して前記映像データ管理装置に送信する第2送信手段と、を有し、前記映像データ管理装置は、前記第1送信手段によって送信された映像データをライブ映像として受信する第1受信手段と、前記ライブ映像を表示手段に表示させる表示制御手段と、前記第2送信手段によって送信された映像データを受信する第2受信手段と、前記第1受信手段及び前記第2受信手段によって受信された映像データを記録する第2記録手段と、を有し、前記映像データ送信装置は、前記映像データを複数のセグメントデータに分割する分割手段と、各セグメントデータ又は外部入力信号からイベントを検知するイベント検知手段と、過去から各セグメントデータが撮影されるまでの間にイベントが検知されたセグメントデータの数の累計をカウントするイベントカウント手段と、イベントが検知されたセグメントデータに、増加済みのカウンタの累計を示すイベントカウンタ情報とイベントが検知されたことを示すイベントフラグとを付加し、イベントが検知されていないセグメントデータにイベントカウンタ情報を付加する付加手段と、を更に有し、前記第1記録手段は、前記付加手段による付加処理がなされた各セグメントデータを記録し、前記
第1送信手段は、前記付加手段による付加処理がなされた各セグメントデータを送信し、前記映像データ管理装置は、前記
第1受信手段によって受信された各セグメントデータのイベントカウンタ情報が示すカウントの累計の変化と、セグメントデータに付帯されているイベントフラグの有無とに応じて、セグメントデータの
送信要求を前記映像データ送信装置に対して行
う制御手段を更に有する、ことを特徴とする
映像データ管理システムである。
【0037】
請求項
2に係る発明は、
映像データ送信装置と、通信回線を介して前記映像データ送信装置に接続される映像データ管理装置と、を備えた映像データ管理システムであって、前記映像データ送信装置は、対象エリアを撮影することで映像データを取得する撮像手段と、前記撮像手段によって取得された映像データをライブ映像として前記通信回線を介して前記映像データ管理装置に送信する第1送信手段であって、前記通信回線に障害が発生し、その後、前記通信回線が復旧した場合、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを送信せずに、前記通信回線の復旧後に前記撮像手段によって新たに取得された映像データをライブ映像として前記映像データ管理装置に送信する第1送信手段と、前記撮像手段によって取得された映像データを記録する第1記録手段と、前記通信回線の復旧後、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを前記第1記録手段から取得し、前記通信回線を介して前記映像データ管理装置に送信する第2送信手段と、を有し、前記映像データ管理装置は、前記第1送信手段によって送信された映像データをライブ映像として受信する第1受信手段と、前記ライブ映像を表示手段に表示させる表示制御手段と、前記第2送信手段によって送信された映像データを受信する第2受信手段と、前記第1受信手段及び前記第2受信手段によって受信された映像データを記録する第2記録手段と、を有し、前記映像データ送信装置は、前記映像データを複数のセグメントデータに分割する分割手段と、各セグメントデータ又は外部入力信号からイベントを検知するイベント検知手段と、過去から各セグメントデータが撮影されるまでの間にイベントが検知されたセグメントデータの数の累計をカウントするイベントカウント手段と、イベントが検知されたセグメントデータに、増加前のカウンタの累計を示すイベントカウンタ情報とイベントが検知されたことを示すイベントフラグとを付加し、当該イベントが検知されたセグメントデータの次のセグメントデータから、増加済みのカウンタの累計を示すイベントカウンタ情報を付加する付加手段と、を更に有し、前記第1記録手段は、前記付加手段による付加処理がなされた各セグメントデータを記録し、前記
第1送信手段は、前記付加手段による付加処理がなされた各セグメントデータを送信し、前記映像データ管理装置は、前記
第1受信手段によって受信された各セグメントデータのイベントカウンタ情報が示すカウントの累計の変化と、セグメントデータに付帯されているイベントフラグの有無とに応じて、セグメントデータの
送信要求を前記映像データ送信装置に対して行
う制御手段を更に有する、ことを特徴とする
映像データ管理システムである。
【0038】
請求項
3に係る発明は、請求項
1又は請求項
2に記載の映像データ管理システムであって、前
記制御手段は、前記
第1受信手段によって受信された第1のセグメントデータのイベントカウンタ情報が示すカウントの累計が、前記第1のセグメントデータの直前に前記
第1受信手段によって受信された第2のセグメントデータのイベントカウンタ情報が示すカウントの累計よりも増加し、かつ、前記第1のセグメントデータにイベントフラグが付帯されていない場合に、イベントが検知されたセグメントデータを含む1個又は複数個の連続したセグメントデータが欠落したと判断し、前記欠落したセグメントデータの
送信要求を前記映像データ送信装置に対して行う、ことを特徴とする。
【0039】
請求項
4に係る発明は、請求項
3に記載の映像データ管理システムであって、前
記制御手段は、前記第1のセグメントデータが撮影された時間と前記第2のセグメントデータが撮影された時間との間の時間に撮影された1個又は複数個の連続した第3のセグメントデータを前記欠落したセグメントデータとして
送信要求を行う、ことを特徴とする。
【0040】
請求項
5に係る発明は、請求項
3又は請求項
4に記載の映像データ管理システムであって、前
記制御手段は、欠落した一連のセグメントデータがイベント検知されたセグメントデータを含む場合に、イベント検知されたセグメントデータを含まない欠落した一連のセグメントデータよりも優先して
送信要求する、ことを特徴とする。
【0041】
請求項
6に係る発明は、
映像データ送信装置と、通信回線を介して前記映像データ送信装置に接続される映像データ管理装置と、を備えた映像データ管理システムであって、前記映像データ送信装置は、対象エリアを撮影することで映像データを取得する撮像手段と、前記撮像手段によって取得された映像データをライブ映像として前記通信回線を介して前記映像データ管理装置に送信する第1送信手段であって、前記通信回線に障害が発生し、その後、前記通信回線が復旧した場合、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを送信せずに、前記通信回線の復旧後に前記撮像手段によって新たに取得された映像データをライブ映像として前記映像データ管理装置に送信する第1送信手段と、前記撮像手段によって取得された映像データを記録する第1記録手段と、前記通信回線の復旧後、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを前記第1記録手段から取得し、前記通信回線を介して前記映像データ管理装置に送信する第2送信手段と、を有し、前記映像データ管理装置は、前記第1送信手段によって送信された映像データをライブ映像として受信する第1受信手段と、前記ライブ映像を表示手段に表示させる表示制御手段と、前記第2送信手段によって送信された映像データを受信する第2受信手段と、前記第1受信手段及び前記第2受信手段によって受信された映像データを記録する第2記録手段と、を有し、前記映像データ管理装置は、前記通信回線の障害期間の長さが予め設定された第1閾値以上となる場合に、前記通信回線の障害期間中に前記撮像手段によって取得された映像データの送信要求を前記映像データ送信装置に対して行
う制御手段を更に有
し、
前記第1閾値は、イベントが発生していると想定される時間の長さである、ことを特徴とする
映像データ管理システムである。
【0042】
請求項
7に係る発明は、
映像データ送信装置と、通信回線を介して前記映像データ送信装置に接続される映像データ管理装置と、を備えた映像データ管理システムであって、前記映像データ送信装置は、対象エリアを撮影することで映像データを取得する撮像手段と、前記撮像手段によって取得された映像データをライブ映像として前記通信回線を介して前記映像データ管理装置に送信する第1送信手段であって、前記通信回線に障害が発生し、その後、前記通信回線が復旧した場合、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを送信せずに、前記通信回線の復旧後に前記撮像手段によって新たに取得された映像データをライブ映像として前記映像データ管理装置に送信する第1送信手段と、前記撮像手段によって取得された映像データを記録する第1記録手段と、前記通信回線の復旧後、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを前記第1記録手段から取得し、前記通信回線を介して前記映像データ管理装置に送信する第2送信手段と、を有し、前記映像データ管理装置は、前記第1送信手段によって送信された映像データをライブ映像として受信する第1受信手段と、前記ライブ映像を表示手段に表示させる表示制御手段と、前記第2送信手段によって送信された映像データを受信する第2受信手段と、前記第1受信手段及び前記第2受信手段によって受信された映像データを記録する第2記録手段と、を有し、前記映像データ管理装置は、前記通信回線の障害期間の前後に受信した映像データの差が予め設定された第2閾値以上となる場合に、前記通信回線の障害期間中に前記撮像手段によって取得された映像データの送信要求を前記映像データ送信装置に対して行
う制御手段を更に有
し、
前記第2閾値は、イベントが発生したと想定される程度の映像データの差である、ことを特徴とする
映像データ管理システムである。
【0043】
請求項
8に係る発明は、
映像データ送信装置と、通信回線を介して前記映像データ送信装置に接続される映像データ管理装置と、を備えた映像データ管理システムであって、前記映像データ送信装置は、対象エリアを撮影することで映像データを取得する撮像手段と、前記撮像手段によって取得された映像データをライブ映像として前記通信回線を介して前記映像データ管理装置に送信する第1送信手段であって、前記通信回線に障害が発生し、その後、前記通信回線が復旧した場合、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを送信せずに、前記通信回線の復旧後に前記撮像手段によって新たに取得された映像データをライブ映像として前記映像データ管理装置に送信する第1送信手段と、前記撮像手段によって取得された映像データを記録する第1記録手段と、前記通信回線の復旧後、前記通信回線の障害期間中に前記撮像手段によって取得された映像データを前記第1記録手段から取得し、前記通信回線を介して前記映像データ管理装置に送信する第2送信手段と、を有し、前記映像データ管理装置は、前記第1送信手段によって送信された映像データをライブ映像として受信する第1受信手段と、前記ライブ映像を表示手段に表示させる表示制御手段と、前記第2送信手段によって送信された映像データを受信する第2受信手段と、前記第1受信手段及び前記第2受信手段によって受信された映像データを記録する第2記録手段と、を有し、前記映像データ管理装置は、前記通信回線の障害期間の長さが予め設定された第1閾値以上となり、かつ、前記通信回線の障害期間の前後に受信した映像データの差が予め設定された第2閾値以上となる場合に、前記通信回線の障害期間中に前記撮像手段によって取得された映像データの送信要求を前記映像データ送信装置に対して行
う制御手段を更に有
し、
前記第1閾値は、イベントが発生していると想定される時間の長さであり、前記第2閾値は、イベントが発生したと想定される程度の映像データの差である、ことを特徴とする
映像データ管理システムである。
【0047】
請求項
9に係る発明は、請求項
1から請求項
8のいずれか一項に記載の映像データ管理システムであって、前記映像データ送信装置は、前記通信回線の障害期間中、前記撮像手段によって取得さ
れライブ映像として送信される予定の映像データを
、前記第1送信手段に送信させない手段を更に有する、ことを特徴とする。
請求項10に係る発明は、請求項9に記載の映像データ管理システムであって、前記映像データ送信装置は、前記送信される予定の映像データが前記第1送信手段によって送信されない場合、前記第1記録手段に記録されている映像データのうち前記第1送信手段によって送信されない映像データと同一の映像データに未送信のマークを付与する手段を更に有する、ことを特徴とする。
請求項11に係る発明は、請求項9又は請求項10に記載の映像データ管理システムであって、前記映像データ送信装置は、前記送信される予定の映像データが前記第1送信手段によって送信されない場合、前記第1記録手段に記憶されている映像データのうち前記第1送信手段によって送信されない映像データと同一の映像データを未送信ディレクトリに移動させる手段を更に有する、ことを特徴とする。
【0048】
請求項
12に係る発明は、請求項
1から請求項
11のいずれか一項に記載の映像データ管理システムであって、前記映像データ送信装置は、映像データを暗号化する暗号化手段と、を更に有し、前記第1記録手段は、暗号化された映像データを記録し、前記
第1送信手段は、暗号化された映像データをライブ映像として前記映像データ管理装置に送信し、前記通信回線の復旧後に前記撮像手段によって新たに取得されて暗号化された映像データをライブ映像として前記映像データ管理装置に送信し、前記
第2送信手段は、前記通信回
線の障害期間中の暗号化された映像データを前記第1記録手段から取得して前記映像データ管理装置に送信し、前記映像データ管理装置は、暗号化された映像データを復号する復号手段を更に有し、前記表示制御手段は、復号された映像データに基づくライブ映像を表示手段に表示させ、前記第2記録手段は、前記
第1受信手段及び前記
第2受信手段によって受信され暗号化された映像データを記録する、ことを特徴とする。
【0049】
請求項
13に係る発明は、請求項
12に記載の映像データ管理システムであって、前記映像データ管理装置は、暗号化された映像データを復号するための復号プログラムを生成するプログラム生成手段と、前記第2記録手段に記録され暗号化された映像データと前記復号プログラムとを可搬性記録媒体に書き込む書込手段と、を更に有し、前記復号プログラムは、仮想ファイルシステムを用いて映像データの再生を可能とする、ことを特徴とする。
【0050】
請求項
14に係る発明は、請求項
13に記載の映像データ管理システムであって、前記書込手段は、暗号化された映像データを本来の映像データ格納用ディレクトリとは異なるディレクトリに格納する、ことを特徴とする。
【発明の効果】
【0051】
本発明によると、通信回線が復旧した場合、通信回線の障害期間中に撮像手段によって取得された映像データを送信せずに、通信回線の復旧後に撮像手段によって取得された映像データを送信することで、通信回線の復旧後にライブ映像を送信することが可能となる。また、撮像手段によって取得された映像データを記録しておくことで、通信回線の障害期間中に取得された映像データを送信することが可能となる。
【発明を実施するための形態】
【0053】
図1に、本発明の実施形態に係る映像データ管理システムの一例を示す。映像データ管理システム1は、撮像装置10及び映像データ管理装置50を含み、撮像装置10及び映像データ管理装置50は、通信回線としてのネットワークNを介して接続されている。例えば、インターネット等の公衆通信回線がネットワークNとして利用される。通信プロトコルは一例としてTCPである。撮像装置10は監視カメラの一例に相当し、映像データ管理装置50は監視センタの一例に相当する。撮像装置10によって取得された映像データが、ネットワークNを介して映像データ管理装置50に送信され、映像データ管理装置50においてユーザが映像データに基づいて監視することが可能となっている。なお、
図1に示す例では、1つの撮像装置10がネットワークNに接続されているが、複数の撮像装置10がネットワークNに接続されていてもよい。複数の撮像装置10をネットワークNに接続することで、複数地点の映像を映像データ管理装置50にて集中的に管理し、複数地点の映像を用いて監視することが可能となる。
【0054】
(撮像装置10)
図2に、撮像装置10の一例を示す。撮像装置10は、撮像部12、エンコーダ14、分割部16、暗号化部18、切捨て部22、送受信部24、記録処理部26、ローカルストレージ28、読み出し部30、再送受信部32及び回線障害検出部38を含む。なお、撮像装置10は、CPU等のプロセッサ、メモリ及びデータバス等を備え、メモリに記憶されたプログラムをCPUが実行することにより、各部の機能が実現される。
【0055】
撮像部12は例えば監視カメラであり、対象エリアを撮像して映像データを取得する。
【0056】
エンコーダ14は、撮像部12によって取得された映像データをストリームファイルに変換する。
【0057】
分割部16は、ストリームファイルを複数のセグメントデータに分割する。例えば、分割部16は、ストリームファイルを単位時間長さの複数のセグメントデータに分割する。単位時間の長さは任意であり、例えば、ストリームファイルを10秒間隔(単位時間)で分割することで、再生時間が10秒間の複数のセグメントデータを生成する。また、分割部16は、例えば、複数のセグメントデータに連続した通し番号を与える。各セグメントデータのファイル名に番号を含ませてもよいし、各セグメントデータのメタデータに番号を含ませてもよい。
【0058】
暗号化部18は、予め与えられた暗号化鍵20(パスワード等)を用いて、複数のセグメントデータを暗号化して切捨て部22及び記録処理部26に出力する。暗号化部18による暗号化処理は、分割部16による分割処理の前に実行されてもよいし、後に実行されてもよい。なお、暗号化部18を設けず、セグメントデータの暗号化を行わなくてもよい。
【0059】
切捨て部22は、ネットワークNに障害が発生し、ライブ映像用の映像データの送信が完了できない場合、暗号化部18にて暗号化されたストリームファイルをセグメントデータ単位で破棄(削除)する。ネットワークNの障害として、例えば回線の断線や一時的な帯域不足等が考えられる。ネットワークNが復旧した場合、切捨て部22は、ライブ映像用のストリームファイルをセグメントデータ単位で送受信部24に出力する。
【0060】
送受信部24は、切捨て部22によって破棄されていないストリームファイルをセグメントデータ単位で映像データ管理装置50に送信する。送受信部24は、当該ストリームファイルをライブ映像として映像データ管理装置50に送信する。
【0061】
記録処理部26は、ストリームファイル(セグメントデータ)をローカルストレージ28に記憶させる。記録処理部26は、撮像部12によって取得されたすべてのストリームファイルをローカルストレージ28に記憶させてもよいし、切捨て部22によって破棄されて送受信部24によって送信されなかったストリームファイルのみをローカルストレージ28に記憶させてもよい。記録処理部26は、切捨て部22によって破棄されて送受信部24によって送信されなかったストリームファイルに未送信のマークを付与してもよい。また、記録処理部26は、切捨て部22によって破棄されて送受信部24によって送信されなかったストリームファイルを、ローカルストレージ28の未送信ディレクトリに記憶させてもよい。
【0062】
読み出し部30は、ネットワークNが復旧した後、ネットワークNの障害期間中に撮像部12によって取得されたストリームファイルの再送要求を映像データ管理装置50から受けた場合、再送要求対象のストリームファイルをローカルストレージ28から読み出し、再送受信部32に出力する。
【0063】
再送受信部32は、セグメントデータの再送要求を映像データ管理装置50から受信し、当該再送要求を読み出し部30に出力する。また、再送受信部32は、読み出し部30によって読み出されたストリームファイルをセグメントデータ単位で映像データ管理装置50に送信する。なお、再送受信部32は、再送要求対象のセグメントデータに再送であることを示すマークを付与してもよい。ネットワークNが復旧しているため、送受信部24及び再送受信部32はそれぞれ並行してセグメントデータを映像データ管理装置50に送信する。再送受信部32によって再送対象のセグメントデータの送信が完了した場合、記録処理部26は、当該再送対象のセグメントデータをローカルストレージ28から削除してもよい。ローカルストレージ28は撮像装置10に設置された記録装置であり、記録容量が比較的小さい場合があるため、送信済みのセグメントデータを削除することで、記録容量が節約される。または、記録処理部26は、映像データ管理装置50に記録が完了したセグメントデータをローカルストレージ28から削除してもよい。例えば、記録処理部26は、ローカルストレージ28に記憶されているセグメントデータのファイル名等のリストと、後述する映像データ管理装置50の記録装置56に記録されているセグメントデータのファイル名等のリストとを比較し、両リストにてファイル名が一致するセグメントデータを、ローカルストレージ28から削除する。
【0064】
回線障害検出部38は、ネットワークNの障害(回線障害)を検出し、また、ネットワークNの復旧(回線復旧)を検出する。例えば、回線障害検出部38は、送受信されるデータのパケットを監視して整合性を確認したり、必要に応じて監視用パケットの送受信を行ってネットワークNと通信相手の状態を確認したり、回線障害と回線復旧を検出して撮像装置10内の必要な各部に検出結果を出力したりする。
【0065】
図3に、切捨て部22の具体的な構成を示す。切捨て部22は、例えば、第1バッファ22A、第2バッファ22B及びスイッチ22C,22Dを含む。第1バッファ22A及び第2バッファ22Bは記憶部であり、暗号化されたセグメントデータが一時的に書き込まれる。スイッチ22Cは、第1バッファ22A及び第2バッファ22Bの出力側と、送受信部24との間に設けられ、第1バッファ22A又は第2バッファ22Bから送受信部24へのセグメントデータの出力を切り替える。スイッチ22Dは、暗号化部18の出力側と、第1バッファ22A及び第2バッファ22Bの入力側との間に設けられ、第1バッファ22A又は第2バッファ22Bへのセグメントデータの入力を切り替える。
【0066】
例えば
図3(a)に示すように、スイッチ22Cによって第1バッファ22Aと送受信部24とが接続されると、送受信部24は、第1バッファ22Aに記憶されているセグメントデータを送信する。その送信が完了するまで、スイッチ22Dによって第2バッファ22Bと暗号化部18とが接続され、暗号化されたセグメントデータが第2バッファ22Bに書き込まれて記憶される。セグメントデータが既に第2バッファ22Bに記憶されている場合、既に記憶されていたセグメントデータに対して新たなセグメントデータを上書きすることで、新たなセグメントデータを第2バッファ22Bに記憶させる。
【0067】
第1バッファ22Aからのセグメントデータの送信が完了すると、
図3(b)に示すように、スイッチ22Cの接続が切り替わり、スイッチ22Cによって第2バッファ22Bと送受信部24とが接続される。また、スイッチ22Dによって第1バッファ22Aと暗号化部18とが接続される。送受信部24は、第2バッファ22Bに記憶されているセグメントデータを送信し、その送信の間、暗号化されたセグメントデータが第1バッファ22Aに書き込まれて記憶される。このとき、第1バッファ22Aに既に記憶されているセグメントデータは上書きされることになる。このように、送受信部24によるセグメントデータの送信が完了する度に、セグメントデータの書き込み先を第1バッファ22Aと第2バッファ22Bとで切り替える。
【0068】
そして、ネットワークNに障害が発生すると、第1バッファ22A又は第2バッファ22Bからのセグメントデータの送信が滞ることになるため、第1バッファ22A又は第2バッファ22Bにセグメントデータが入力し続けてセグメントデータが上書きされ続ける。これにより、ライブ映像用のセグメントデータが上書きされ続けて破棄されることになる。例えば、
図3(a)に示す状態でネットワークNに障害が発生した場合、ネットワークNが復旧するまで、第1バッファ22Aに記憶されているセグメントデータの送信が完了することがない。この場合、スイッチ22Cは第1バッファ22Aに接続されたままであり、スイッチ22Dは第2バッファ22Bに接続されたままである。これにより、切捨て部22に後から入力されるセグメントデータによって、第2バッファ22Bに既に記憶されているセグメントデータが上書きされることになり、その結果、当該既に記憶されているセグメントデータは送信されることなく破棄されることになる。すなわち、ライブ映像用のセグメントデータは破棄されることになる。
【0069】
ネットワークNが復旧した後は、第1バッファ22A及び第2バッファ22Bにそれぞれ記憶されているセグメントデータが送受信部24によって送信され、送信完了に伴ってスイッチ22C,22Dが切り替えられるため、ライブ映像用のセグメントデータは破棄されずに送信されることになる。
【0070】
(映像データ管理装置50)
図4に、映像データ管理装置50の一例を示す。映像データ管理装置50は、送受信部52、記録処理部54、記録装置56、復号部58、表示制御部60、オーサリング部62、連番確認部64、ファイル名比較部66、再送制御部68、再送受信部70及び回線障害検出部76を含む。なお、映像データ管理装置50は、CPU等のプロセッサ、メモリ、データバス、入出力インタフェース、キーボード等の入力デバイス、表示装置等の出力デバイス及びBDレコーダ等を備え、メモリに記憶されたプログラムをCPUが実行することにより、各部の機能が実現される。
【0071】
送受信部52は、ライブ映像として撮像装置10から送信されたセグメントデータ(ストリームファイル)を受信し、セグメントデータを記録処理部54及び復号部58に出力する。
【0072】
記録処理部54は、送受信部52によって受信されたセグメントデータを記録装置56に記憶させる。また、記録処理部54は、後述する再送受信部70によって受信されたセグメントデータを記録装置56に記憶させる。
【0073】
復号部58は、ライブ映像としてのセグメントデータを送受信部52から受け、予め決定された復号鍵(パスワード等)を用いて当該セグメントデータを復号し、復号されたセグメントデータを表示制御部60に出力する。なお、セグメントデータを暗号化しない場合には、復号部58を設けなくてもよい。
【0074】
表示制御部60は、復号されたセグメントデータに基づく映像を表示装置100に表示させる。送受信部52によって受信されたセグメントデータはライブ映像であるため、そのライブ映像が表示装置100に表示される。これにより、ユーザはリアルタイムで監視することができる。
【0075】
オーサリング部62は、記録装置56に記録されているセグメントデータ(ストリームファイル)を読み込み、可搬性記録媒体110に書き込む。また、セグメントデータが暗号化されている場合、オーサリング部62は、暗号化されたセグメントデータを復号して再生するための復号プログラムを、セグメントデータとともに可搬性記録媒体110に書き込む。
【0076】
連番確認部64は、撮像装置10から送信された各セグメントデータに付された番号を確認し、その確認結果を再送制御部68に出力する。
【0077】
ファイル名比較部66は、撮像装置10に記録されているセグメントデータのファイル名を示すファイル名情報(以下、「第1ファイル名情報」と称する)と、映像データ管理装置50の記録装置56に記録されているセグメントデータのファイル名を示すファイル名情報(以下、「第2ファイル名情報」と称する)とを比較し、その比較結果を再送制御部68に出力する。例えば、後述する再送制御部68の下、再送受信部70が第1ファイル名情報の取得要求を撮像装置10に送信することで、映像データ管理装置50は第1ファイル名情報を取得するようにしてもよい。なお、映像データ管理装置50は、連番確認部64又はファイル名比較部66のいずれか一方を備えていればよい。
【0078】
再送制御部68は、セグメントデータの再送要求を行う。例えば、再送制御部68は連番確認部64から確認結果を受け、セグメントデータに付された番号の連続が欠けている場合、番号が欠けているセグメントデータの再送要求を再送受信部70に出力する。または、再送制御部68はファイル名比較部66から比較結果を受け、第1ファイル名情報に含まれるが第2ファイル名情報に含まれないファイル名のセグメントデータの再送要求を再送受信部70に出力してもよい。再送要求には、例えば再送要求対象のセグメントデータのファイル名が含まれる。また、再送制御部68は、ネットワークNに障害が発生した時から所定時間が経過した場合、障害期間中に撮像装置10によって取得されたセグメントデータの再送要求を再送受信部70に出力してもよい。
【0079】
別の例として、再送制御部68は、ネットワークNの障害期間の長さが予め設定された第1閾値以上となる場合に、障害期間中に撮像装置10によって取得された映像データの再送要求を再送受信部70に出力してもよい。監視対象となるイベントは、通常、ある程度の時間に亘って継続するのが一般的である。ここで、例えば、映像データに表された映像の重要な変化をイベントと称することにする。例えば、温度センサや人感センサ等の外部センサの作動、特定領域への人の侵入、物の放置、又は、「あばれ検知」等の不自然な動き等を検知した場合、イベントが発生したものとする。一例として監視エリアへの人の侵入を考えてみると、監視エリアに人が侵入してから撤退するまでには、ある程度の時間を要すると考えられる。従って、想定されるイベントの発生時間の長さよりも障害期間が短いと考えられる場合には、その障害期間中にイベントが発生した可能性は低いと考えられるため、イベントの確認という観点からすると、障害期間中の映像データを取得しなくてもよいと考えられる。このように、障害期間の長さが、イベントが発生しているとは想定できない時間の長さである場合にまで、障害期間中の映像データを撮像装置10から映像データ管理装置50に送信すると、映像データ管理装置50は、本来であれば監視に不要な映像データまでを取得することになってしまい、記録装置56の記憶容量を無駄に消費するおそれがある。一方で、想定されるイベントの発生時間の長さよりも障害期間が長い場合には、その障害期間中にイベントが発生し、その障害期間中の映像データにイベントが映されている可能性がある。この場合、障害期間中の映像データが撮像装置10から得られないとすると、障害期間中に発生したイベントを発見することができなくなってしまう。従って、イベントが発生していると想定できる時間の長さを第1閾値として用い、障害期間の長さが第1閾値以上となった場合に、障害期間中の映像データの再送要求を出力することで、イベントが映されている可能性が高い映像データを取得することができるとともに、イベントが映されている可能性が低い映像データを取得しなくて済む。これにより、映像データ管理装置50は、障害期間中の映像データのうち、監視に必要な映像データのみを取得することが可能となる。
【0080】
また別の例として、再送制御部68は、ネットワークNの障害期間の前後に受信した映像データを画像解析し、その映像データの差が、予め設定された第2閾値以上となる場合に、障害期間中に撮像装置10によって取得された映像データの再送要求を再送受信部70に出力してもよい。障害期間中にイベントが発生したことで、障害期間の前後で、監視エリアの状態が変化する可能性がある。例えば、障害期間中に監視エリアに人が侵入した場合、監視エリア内の物が移動したり無くなっていたりして、障害期間の前後で状態が変化している可能性がある。この場合、障害期間の前後に受信した映像データを解析し、その映像データに差がある場合には、障害期間中にイベントが発生した可能性が高いと考えられる。一方で、障害期間の前後の映像データに差が無い場合には、障害期間中にイベントが発生した可能性は低いと考えられるため、イベントの確認という観点からすると、障害期間中の映像データを取得しなくてもよいと考えられる。このように、障害期間の前後の映像データの差が、イベントが発生しているとは想定できない差である場合にまで、障害期間中の映像データを撮像装置10から映像データ管理装置50に送信すると、映像データ管理装置50は、本来であれば監視に不要な映像データまでを取得することになってしまい、記録装置56の記憶容量を無駄に消費するおそれがある。従って、イベントが発生したと想定できる程度の映像データの差を第2閾値として用い、障害期間の前後の映像データの差が第2閾値以上となった場合に、障害期間中の映像データの再送要求を出力することで、イベントが映されている可能性が高い映像データを取得することができるとともに、イベントが映されている可能性が低い映像データを取得しなくて済む。これにより、映像データ管理装置50は、障害期間中の映像データのうち、監視に必要な映像データのみを取得することが可能となる。
【0081】
また、再送制御部68は、ネットワークNの障害期間の長さが第1閾値以上となり、かつ、障害期間の前後に受信した映像データの差が第2閾値以上となる場合に、障害期間中の映像データの再送要求を出力するようにしてもよい。
【0082】
また別の例として、再送制御部68は、ネットワークNの障害期間の直前の映像データを画像解析し、その画像解析の結果に基づきイベントを検知した場合に、障害期間中の映像データの再送要求を出力するようにしてもよい。障害期間の直前の映像データにイベントが映されている場合には、障害期間中の映像データにもイベントが映されている可能性があるため、障害期間中の映像データを撮像装置10から映像データ管理装置50に送信することで、映像データ管理装置50にて、障害期間中のイベントの様子を確認することが可能となる。一方で、障害期間の直前の映像データにイベントが映されていない場合、障害期間中の映像データにイベントが映されている可能性は低いと考えられるため、障害期間中の映像データを撮像装置10から映像データ管理装置50に送信しない。これにより、映像データ管理装置50は、障害期間中の映像データのうち、監視に必要な映像データのみを取得することが可能となる。なお、障害期間の直前の時間は、予め設定された時間であってもよいし、ユーザが任意に変更できるようにしてもよい。また、障害期間の直前の映像データの意味として、数フレームから数十フレームの映像データとしてもよい。
【0083】
再送受信部70は、ネットワークNが復旧した後、再送制御部68から出力された再送要求を撮像装置10に送信し、再送要求対象のセグメントデータを撮像装置10から受信し、当該セグメントデータを再送制御部68に出力する。再送制御部68は、再送受信部70によって受信されたセグメントデータを記録処理部54に出力し、記録処理部54は、当該セグメントデータを記録装置56に記憶させる。
【0084】
なお、撮像装置10に再送制御部を設けてもよい。この再送制御部は、障害期間中に映像データ管理装置50に送信できなかった未送信のセグメントデータを自動で映像データ管理装置50に再送するように再送受信部32を制御する。これにより、映像データ管理装置50から再送要求を撮像装置10に送信しなくても、ネットワークNが復旧して回線障害検出部38が回線復旧を検出した場合、送信が完了されなかった映像データが、撮像装置10から映像データ管理装置50に自動で再送されることになる。
【0085】
回線障害検出部76は、ネットワークNの障害(回線障害)を検出し、また、ネットワークNの復旧(回線復旧)を検出する。例えば、回線障害検出部76は、送受信されるデータのパケットを監視して整合性を確認したり、必要に応じて監視用パケットの送受信を行ってネットワークNと通信相手の状態を確認したり、回線障害と回線復旧を検出して映像データ管理装置50内の必要な各部に検出結果を出力したりする。
【0086】
(通常時の動作)
次に、映像データ管理システム1の動作について説明する。まず、ネットワークNに障害が発生していない通常時の動作例について説明する。撮像装置10の撮像部12が対象エリアを撮影することで映像データを取得すると、当該映像データはエンコーダ14でストリームファイルに変換され、分割部16にて複数のセグメントデータに分割され、暗号化部18にて暗号化処理が施される。そして、暗号化済みのセグメントデータは切捨て部22を介して送受信部24に出力され、送受信部24は、暗号化済みのセグメントデータを映像データ管理装置50に送信する。一方、記録処理部26は、暗号化済みのセグメントデータをローカルストレージ28に記憶させる。
【0087】
撮像装置10から送信された暗号済みのセグメントデータは、映像データ管理装置50の送受信部52によって受信され、復号部58にて復号され、復号された映像が表示制御部60によって表示装置100に表示される。これにより、撮像装置10によって取得された映像がライブ映像として表示装置100に表示されることになる。ユーザは、表示装置100に表示されたライブ映像によってリアルタイムで監視することができる。一方、記録処理部54は、暗号化済みのセグメントデータを記録装置56に記憶させる。セグメントデータを可搬性記録媒体110に書き込む場合、オーサリング部62は、書き込み対象のセグメントデータと復号プログラムとを可搬性記録媒体110に書き込む。
【0088】
(通信回線の障害時及び復旧後の動作)
次に、ネットワークNに障害が発生し、その後、ネットワークNが復旧した場合の動作例について説明する。通常時と同様に、撮像部12によって取得された映像データは、エンコーダ14、分割部16及び暗号化部18によってそれぞれ処理が施され、その後、切捨て部22に出力される。ネットワークNに障害が発生した場合、切捨て部22は、障害期間中に撮像部12によって取得されたセグメントデータを破棄(削除)することで、ネットワークNの復旧後に、障害期間中に取得されたセグメントデータがあたかもライブ映像のようにして送信されないようにする。一方、記録処理部26は、暗号化済みのセグメントデータをローカルストレージ28に記憶させる。これにより、障害期間中に撮像部12によって取得されたが送受信部24によって送信されなかった映像データが、ローカルストレージ28に記憶される。
【0089】
ネットワークNに障害が発生し、撮像装置10からセグメントデータが送信されない場合、映像データ管理装置50の送受信部52は、撮像装置10からセグメントデータを受信することはない。この場合、再送制御部68は、連番確認部64の確認結果又はファイル名比較部66の比較結果に基づき、セグメントデータの再送要求を再送受信部70に出力する。または、再送制御部68は、上述した第1閾値及び第2閾値のうち少なくとも1つを用いて再送要求の要否を判断し、その判断結果に応じて再送要求を再送受信部70に出力してもよい。そして、ネットワークNが復旧して回線障害検出部76が回線復旧を検出した場合、再送受信部70は、セグメントデータの再送要求を撮像装置10に送信する。
【0090】
撮像装置10の再送受信部32は、映像データ管理装置50から再送要求を受けると、その再送要求を読み出し部30に出力する。読み出し部30は、再送要求対象のセグメントデータをローカルストレージ28から読み出し、再送受信部32は、再送要求対象のセグメントデータを映像データ管理装置50に送信する。例えば、再送受信部32は、再送要求対象のセグメントデータを再送用の送信先に送信する。一例として、映像データ管理装置50において、ライブ映像のセグメントデータと再送要求対象のセグメントデータとで異なる受信ポートを設けておき、送受信部24は、ライブ映像のセグメントデータをライブ映像用の受信ポートを用いて送信し、再送受信部32は、再送要求対象のセグメントデータを再送用の受信ポートを用いて送信する。または、ライブ映像のセグメントデータと再送要求対象のセグメントデータとで、送信先として異なるURLを用いることで、ライブ映像のセグメントデータと再送要求対象のセグメントデータとを異なる送信先に送信してもよい。また、送信するセグメントデータに再送フラグを設定してもよい。
【0091】
映像データ管理装置50の再送受信部70は、再送要求対象のセグメントデータを撮像装置10から受信し、記録処理部54は当該セグメントデータを記録装置56に記憶させる。
【0092】
また、ネットワークNが復旧した場合、切捨て部22は、ライブ映像用のセグメントデータを送受信部24に出力し、送受信部24は、当該セグメントデータを映像データ管理装置50に送信する。このように、送受信部24及び再送受信部32は、それぞれ並行してセグメントデータを映像データ管理装置50に送信する。送受信部24は、ライブ映像としてのセグメントデータを送信し、再送受信部32は、障害期間中のセグメントデータを送信することになる。一方、映像データ管理装置50の送受信部52及び再送受信部70は、それぞれ並行してセグメントデータを撮像装置10から受信する。送受信部52は、ライブ映像としてのセグメントデータを受信し、再送受信部70は、障害期間中のセグメントデータを受信することになる。送受信部52によって受信されたセグメントデータは記録装置56に記憶されるとともに復号部58にて復号され、ライブ映像として表示装置100に表示される。一方、再送受信部70によって受信されたセグメントデータは、記録装置56に記憶される。
【0093】
以上のように、ネットワークNの障害期間中に取得されたライブ映像用のセグメントデータを破棄することで、TCP等のように信頼性が高い通信プロトコルを用いた場合であっても、ネットワークNが復旧した後は、最新の映像データをライブ映像として映像データ管理装置50に送信することが可能となる。これにより、映像データ管理装置50において、最新のライブ映像によってリアルタイムで監視を行うことが可能となる。TCPを通信プロトコルに用いた場合、ネットワークNの障害期間中に取得された映像データが保持され、ネットワークNが復旧した後、保持された古い映像データから順に送信されることになる。しかしながら、本実施形態では、障害期間中に取得されたライブ映像用のセグメントデータを破棄することで、古い映像データがライブ映像として送信されないため、最新のライブ映像によって監視を行うことが可能となる。すなわち、ネットワークNの復旧後は、障害期間中のセグメントデータをライブ映像として送信する必要がないため、障害期間中に取得されたライブ映像用のセグメントデータを破棄することで、ネットワークNの復旧後は、最新のライブ映像を送信することができる。
【0094】
一方、障害期間中に取得されたセグメントデータをライブ映像用としてではなく記録しておくことで、障害期間中に取得されたセグメントデータを映像データ管理装置50に送信することができる。これにより、映像データ管理装置50は、障害期間中に取得されたセグメントデータを回収することが可能となる。例えば、障害期間中に発生したイベントを、障害期間中に取得された映像データに基づいて検出することが可能となる。
【0095】
(変形例)
次に、
図5から
図8を参照して、変形例に係る映像データ管理システムについて説明する。変形例に係る映像データ管理システムは、
図5に示す変形例に係る撮像装置10Aと、
図8に示す変形例に係る映像データ管理装置50Aとを含んで構成される。
【0096】
(撮像装置10A)
図5に、変形例に係る撮像装置10Aを示す。撮像装置10Aは、
図2に示す撮像装置10の構成に加え、イベント検知部34及びイベントカウント部36を含む。イベント検知部34及びイベントカウント部36以外の構成は、撮像装置10の構成と同じであるため、それらの説明を省略し、以下では、主にイベント検知部34及びイベントカウント部36について説明する。
【0097】
イベント検知部34は、撮像部12から映像データを受け、映像データ又は外部入力信号からイベントを検知し、検知結果を分割部16及びイベントカウント部36に出力する。外部入力信号としては、例えば外部センサ、ラジオ、テレビ又はネットワーク経由等からの信号が該当する。外部センサとしては、例えば、人感センサ、振動センサ、地震計、温度センサ、音響センサ等が該当する。例えば、温度センサや人感センサ等の外部センサの作動、特定領域への人の侵入、物の放置、又は、「あばれ検知」等の不自然な動き等を検知した場合、イベントが発生したとし、イベント検知部34は、イベントを検知したことを示すイベントフラグを分割部16及びイベントカウント部36に出力する。イベント検知部34は、映像データを映像解析することで、特定領域への人の侵入、物の放置又は不自然な動き等をイベントとして検知してもよい。また、イベント検知部34は、イベントの種類を示す情報を分割部16に出力してもよい。
【0098】
イベントカウント部36は、過去から各セグメントデータが撮影されるまでの間にイベントが検知されたセグメントデータの数の累計をカウントし、その累計を示すイベントカウンタを分割部16に出力する。
【0099】
分割部16は、ストリームファイルを複数のセグメントデータに分割し、各セグメントデータのメタデータにイベントカウンタを付加する機能(付加機能)を備える。また、分割部16は、イベントが検知されたセグメントデータのメタデータにイベントフラグを付加する機能(付加機能)を備える。また、分割部16は、イベントが検知されたセグメントデータのメタデータに、イベントの種類を示すイベントリストを付加してもよい。
図6に、セグメントデータのデータ構造を示す。セグメントデータ200は、映像データ210とメタデータ220とを含んで構成されている。メタデータ220には、イベントフラグ222、イベントカウンタ224及びイベントリスト226が含まれる。
【0100】
分割部16は、イベントが検知されたセグメントデータのメタデータに、当該イベントが検知されたセグメントデータを含む累計(増加済みのカウンタの累計)を示すイベントカウンタを付加してもよい。または、分割部16は、イベントが検知されたセグメントデータのメタデータに、当該イベントが検知されたセグメントデータを含まない累計(増加前のカウンタの累計)を示すイベントカウンタを付加し、当該イベントが検知されたセグメントデータの次のセグメントデータから、増加済みのカウンタの累計を示すイベントカウンタを追加してもよい。
【0101】
以上のような構成を備えた撮像装置10Aによると、イベントが検知されたセグメントデータのメタデータにはイベントフラグが追加され、すべてのセグメントデータのメタデータには、過去から各セグメントデータが撮像されるまでの間にイベントが検知されたセグメントデータの数の累計を示すイベントカウンタが含まれることになる。各セグメントデータは、メタデータにイベントカウンタが含まれた状態でローカルストレージ28に記憶され、イベントが検知されたセグメントデータは、メタデータにイベントフラグとイベントカウンタとが含まれた状態でローカルストレージ28に記憶される。
【0102】
ここで
図7を参照して、イベントカウンタの変化の一例を時系列に沿って説明する。例えばセグメントデータ300でイベントが最初に検知された場合、セグメントデータ300のメタデータにイベントフラグが追加され、イベントカウンタの値は「1」となる。その次のセグメントデータ310でもイベントが検知された場合、セグメントデータ310のメタデータにイベントフラグが追加され、イベントカウンタの値は「2」に更新される。さらに次のセグメントデータ320でもイベントが検知された場合、セグメントデータ320のメタデータにイベントフラグが追加され、イベントカウンタの値は「3」に更新される。そして、次のセグメントデータ330でイベントが検知されなかった場合、セグメントデータ330のメタデータにはイベントフラグが追加されず、イベントカウンタの値は「3」のまま維持される。さらに次のセグメントデータ340でもイベントが検知されなかった場合、セグメントデータ340のメタデータにはイベントフラグが追加されず、イベントカウンタの値は「3」のまま維持される。そして、次のセグメントデータ350でイベントが検知された場合、セグメントデータ350のメタデータにイベントフラグが追加され、イベントカウンタの値は「4」に更新される。
【0103】
(映像データ管理装置50A)
図8に、変形例に係る映像データ管理装置50Aを示す。映像データ管理装置50Aは、
図4に示す映像データ管理装置50の構成に加え、フラグ検知部72及びカウンタ検証部74を含む。フラグ検知部72及びカウンタ検証部74以外の構成は、映像データ管理装置50の構成と同じであるため、それらの説明は省略し、以下では、主にフラグ検知部72及びカウンタ検証部74について説明する。
【0104】
フラグ検知部72は、送受信部52からセグメントデータを受け、セグメントデータのメタデータに含まれるイベントフラグを検知し、その検知結果をカウンタ検証部74に出力する。フラグ検知部72は、イベントフラグを検知した場合はイベントフラグが含まれる旨の検知結果をカウンタ検証部74に出力し、イベントフラグを検知しなかった場合はイベントフラグが含まれない旨の検知結果をカウンタ検証部74に出力する。
【0105】
カウンタ検証部74は、送受信部52からセグメントデータを受け、イベントフラグの検知結果をフラグ検知部72から受け、セグメントデータのメタデータに含まれるイベントカウンタとイベントフラグの検知結果とに基づき、イベントが検知されたと推測されるセグメントデータを含む1個又は複数個の連続したセグメントデータの欠落を検知する。例えば、カウンタ検証部74は、送受信部52から受けたセグメントデータ(「最新のセグメントデータ」と称することにする)のイベントカウンタと、当該最新のセグメントデータの直前に送受信部52から受けたセグメントデータのイベントカウンタとを比較する。そして、カウンタ検証部74は、直前のセグメントデータに比べて最新のセグメントデータのイベントカウンタが増加しているにもかかわらず、最新のセグメントデータのメタデータにイベントフラグが含まれていない場合、イベントが検知されたと推測されるセグメントデータを含む1個又は複数個の連続したセグメントデータが欠落していると判断し、その判断結果を再送制御部68に出力する。例えば、カウンタ検証部74は、最新のセグメントデータが撮影された時間と直前のセグメントデータが撮影された時間との間の時間に撮影されたセグメントデータが欠落していると判断し、その判断結果を再送制御部68に出力する。最新のセグメントデータのイベントカウンタが、直前のセグメントデータのイベントカウンタよりも増加しているのであれば、最新のセグメントデータにてイベントが検知されているはずである。しかしながら、最新のセグメントデータのメタデータにイベントフラグが含まれていないということは、別のセグメントデータにてイベントが検知されたと推測される。例えば、最新のセグメントデータと直前のセグメントデータとの間に別のセグメントデータが存在し、その別のセグメントデータにてイベントが検知されたと推測される。カウンタ検証部74は、その別のセグメントデータを含む1個又は複数個の連続したセグメントデータが欠落していることを示す判断結果を再送制御部68に出力する。なお、映像データ管理装置50Aによるセグメントデータの受信の順番が入れ替わる場合があることを想定し、映像データ管理装置50Aが最新のセグメントデータを受信してから所定時間後又は所定数のセグメントデータを受信した後の時点で、カウンタ検証部74は欠落したセグメントデータの検知を行ってもよい。
【0106】
再送制御部68は、カウンタ検証部74から判断結果を受け、欠落しているセグメントデータの再送要求を再送受信部70に出力する。
【0107】
ここで
図7を参照して、カウンタ検証部74の具体的な処理内容を説明する。例えば
図7に示すように、イベントが検知されたセグメントデータ320が欠落した場合について説明する。この場合、映像データ管理装置50Aは、セグメントデータ300,310,330,・・・を順番に受信するものとする。カウンタ検証部74は、セグメントデータ300,310,330,340,・・・を送受信部52から受け、各セグメントデータについてイベントカウンタの変化を検証する。そして、セグメントデータ340が送受信部52によって受信されると、カウンタ検証部74は、最新のセグメントデータ340を送受信部52から受け、イベントフラグの検知結果をフラグ検知部72から受ける。セグメントデータ340ではイベントは検知されておらず、メタデータにイベントフラグが含まれていないため、イベントフラグが含まれない旨の検知結果が、フラグ検知部72からカウンタ検証部74に出力される。カウンタ検証部74は、最新のセグメントデータ340のイベントカウンタと、セグメントデータ340の直前に送受信部52から受けたセグメントデータ310のイベントカウンタとを比較する。直前のセグメントデータ310のイベントカウンタは「2」を示しており、最新のセグメントデータ340のイベントカウンタは「3」を示しているため、イベントカウンタは増加している。しかしながら、最新のセグメントデータ340のメタデータにはイベントフラグが含まれていない。従って、別のセグメントデータにてイベントが検知されたと推測される。例えば、最新のセグメントデータ340が撮影された時間と直前のセグメントデータ310が撮影された時間との間の時間に別のセグメントデータ(
図7ではセグメントデータ320,330)が撮影され、その別のセグメントデータのいずれか又はすべてにてイベントが検知されたと推測される。従って、カウンタ検証部74は、その別のセグメントデータが欠落していることを示す判断結果を再送制御部68に出力する。なお、
図7に示す例では、2つのセグメントデータ320,330が欠落しているものとして説明しているが、3つ以上のセグメントデータが欠落している場合や1つのセグメントデータのみが欠落している場合も考えられる。
【0108】
再送制御部68は、カウンタ検証部74から判断結果を受けると、欠落したセグメントデータの再送要求を再送受信部70に出力する。再送制御部68は、欠落した一連のセグメントセグメントデータがイベント検知されたセグメントデータを含む場合、イベント検知されたセグメントデータを含まない欠落した一連のセグメントデータよりも優先して再送要求してもよい。イベント検知されたセグメントデータを含む欠落した一連のセグメントデータの再送要求の優先度を、イベント検知されたセグメントデータを含まない欠落した一連のセグメントデータの再送要求の優先度よりも高くすることで、映像データ管理装置50Aは、イベントが映されていると推測されるセグメントデータを含む一連のセグメントデータを優先的に取得し、イベントが映されている映像をより迅速に表示することが可能となる。
【0109】
以上のようにイベントカウンタの変化とイベントフラグとを用いることで、イベントが検知されたと推測されるセグメントデータの欠落を検知することが可能となる。イベントが含まれるセグメントデータは監視の点からも重要なデータであるため、このセグメントデータを優先して再送要求することで、イベントへの対応の遅れの防止を図ることが可能となる。
【0110】
なお、撮像装置10Aにイベントカウント部36を設けず、映像データ管理装置50Aにカウンタ検証部74を設けなくてもよい。この場合、再送制御部68は、メタデータにイベントフラグが含まれる欠落したセグメントデータの再送要求を再送受信部70に出力する。
【0111】
(可搬性記録媒体110への記録形式、オーサリング部62)
次に、可搬性記録媒体110への記録形式とオーサリング部62の具体例について説明する。なお、以下に説明するオーサリング部62の機能及び記録形式は一例であり、上述した実施形態及び変形例はこれらに限定されるものではない。映像データを記録する可搬性記録媒体110としては、DVD、CD、Blu−Rayディスク(BD)等の光ディスク媒体が想定されるが、不揮発性の半導体メモリ等であってもよい。本実施形態では、一例として、可搬性記録媒体110はBlu−Rayディスク(BD)であるとして説明する。まず、本実施形態において前提となるBD規格について簡単に説明する。
【0112】
図9に、BD規格で定められたディレクトリ及びファイル構造を示す。主なBDファイルは、ルートディレクトリ直下のBDMVディレクトリの下に格納される。BDMVディレクトリは、PLAYLIST、CLIPINFO、STREAM、JAR及びその他のディレクトリを含む。
【0113】
STREAMディレクトリは、「0100.m2ts」、「0200.m2ts」等の各ストリームファイルを含む。なお、拡張子「m2ts」は、MPEG−2のTransport Streamであることを示す。
【0114】
CLIPINFOディレクトリは、クリップ(Clip)のデータベースファイルを含む。BD規格では、ストリームファイルはクリップ(Clip)ストリームファイルと呼ばれ、これに関連するデータベースファイルをClipinformationファイルと呼ぶ。Clipinformationファイルは、対応するストリームファイルのアクセスポイントのタイムスタンプを記憶する。このタイムスタンプを用いることで再生装置はストリームのどこからデータを読み出すべきかを認識する。ClipストリームファイルとClipinformationファイルとの間には1対1の関係がある。図において、「0100.m2ts」ファイルには「0100.clpi」ファイルが対応し、「0200.m2ts」ファイルには「0200.clpi」ファイルが対応する。
【0115】
PLAYLISTディレクトリは、PlayListのデータベースファイルを含む。PlayList(Movie PlayList)は、クリップ(Clip)の再生インターバルリストである。再生インターバルは、クリップ(Clip)の再生開始時点と再生終了時点とから構成される。
【0116】
JARディレクトリは、Java(登録商標)プラットフォームに基づくJava(登録商標)アプリケーションファイルを含む。BD規格では、Java(登録商標)プラットフォームに基づくプログラマブルなアプリケーションに対応しており、これを「BD−J」と称する。本実施形態では、このJARディレクトリに格納されるJava(登録商標)アプリケーションを用いて、暗号化されたストリームファイルの復号と所定位置への格納とを行うとともに、復号されたストリームファイルをBDの映像コンテンツとして認識させるためにVFS(Virtual File System)の制御を行う。
【0117】
その他のディレクトリは、サウンドデータファイル、フォントデータファイル及びバックアップファイル等を含む。
【0118】
図10に、オーサリング部62のブロック図を示す。オーサリング部62は、プレイリスト作成部62A、プログラム生成部62B及び書込部62Cを含む。オーサリング部62の説明の前に、撮像装置10のエンコーダ14及び暗号化部18のそれぞれの処理について説明する。
【0119】
エンコーダ14は、映像データに基づき、ストリームファイル(図においてm2tsで示す)とクリップファイル(図においてclipで示す)を作成するものとする。また、撮像装置10の暗号化部18は、パスワード等の暗号化鍵20を用いて、エンコーダ14から供給されたストリームファイルを暗号化して出力する。なお、本実施形態における暗号化は、セグメントデータの可逆的破壊ということもでき、たとえパーソナルコンピュータでセグメントデータ自体を直接開いたとしても、元の映像データを再生できないような形態で加工される。
【0120】
図9に示すようにストリームファイルは本来であればSTREAMディレクトリに格納されるべきところを、オーサリング部62は、BD−Jアプリケーションからアクセス可能なディレクトリ、例えばJARディレクトリの下にDATAディレクトリを作成してその下に格納する。暗号化されたストリームファイルの拡張子は例えば「.ents」とする。不正規入手者がストリームの検索を行ってもストリームファイルが暗号化されているため、映像を再生することができない。
【0121】
プレイリスト作成部62Aは、ストリームファイル及びクリップファイルに基づき、プレイリストファイルを作成して書込部62Cに出力する。
【0122】
プログラム生成部62Bは、ストリームファイル、クリップファイル及び復号鍵(パスワード)に基づき、Java(登録商標)アプリケーションを作成して書込部62Cに出力する。この復号鍵(パスワード)は、暗号化部18で暗号化する際に用いられたパスワードであり、復号化の際に用いられるパスワードである。
【0123】
書込部62Cは、
図9に示されたディレクトリ構造に従って各ファイルをそれぞれのディレクトリに格納し、BDとしての可搬性記録媒体110に書き込む。但し、本実施形態では上記のように、ストリームファイルは暗号化された上でSTREAMディレクトリではなくJARディレクトリに格納される。
【0124】
次に、本実施形態におけるストリームファイルの暗号化処理及び復号処理について詳細に説明する。
【0125】
図11に、本実施形態に係るディレクトリ及びファイル構造の一部を示す。ストリームファイルとして、説明の都合上、簡略化して、
00001.m2ts
00002.m2ts
が存在するものとする。本来であれば、これらのストリームファイルは、エンコードされてSTREAMディレクトリに格納される。
【0126】
本実施形態では、入力されたパスワード(暗号化鍵)に基づき、ストリームファイルを暗号化部18で暗号化を実施する。例えば、
00001.m2ts
00002.m2ts
を暗号化し、オーサリング部62は、これらをJARディレクトリ下のDATAディレクトリの下に
00001.ents
00002.ents
として格納する。なお、JARディレクトリにおける
00001.jar
00002.jar
は、Java(登録商標)アプリケーションである。
【0127】
以上のようにしてストリームファイルを暗号化してSTREAMディレクトリからJARディレクトリ下のDATAディレクトリに移動して格納すると、このままでは汎用の再生装置では元の映像を再生することができない。このため、本実施形態では、BD規格において定められているVFSを利用して汎用の再生装置での再生を可能としている。
【0128】
図12にVFSの概念図を示す。VFSは、BD内のファイルと、再生装置内のローカルストレージのデータエリア(Binding Unit Data Area:BUDA)内に保存されたファイルを組み合わせて、1つの仮想的なディクスパッケージに見立ててコンテンツを更新する仕組みである。
【0129】
図12(a)はBD内のファイル構造であり、上述したようにPLAYLISTディレクトリ、CLIPINFOディレクトリ、STREAMディレクトリ及びJARディレクトリが存在する。一方、
図12(b)はBUDA内のファイル構造であり、同様に、PLAYLISTディレクトリ、CLIPINFOディレクトリ、STREAMディレクトリ及びJARディレクトリが存在する。VFSでは、Binding Unit Manifest File(BUMF)というXMLファイルで、更新するファイルのマッピングを定義する。すなわち、BD内のファイルとBUDA内のファイルとを組み合わせた新たなファイルを定義する。
【0130】
図12(c)に、BD内のファイルとBUDA内のファイルとを組み合わせたVirtual Packageのファイル構造を示す。PLAYLISTディレクトリには、BD内のPLAYLISTディレクトリに格納されていたプレイリストファイル00001.mplsと、BUDA内のPLAYLISTディレクトリに格納されていたプレイリストファイル00002.mplsとが組み合わされ、
00001.mpls
00002.mpls
の2つのファイルが格納される。
【0131】
同様に、CLIPINFOディレクトリには、BD内のCLIPINFOディレクトリに格納されていたクリップファイル00001.clpiと、BUDA内のCLIPINFOディレクトリに格納されていたクリップファイル00002.clpiとが組み合わされ、
00001.clpi
00002.clpi
の2つのファイルが格納される。
【0132】
同様に、STREAMディレクトリには、BD内のSTREAMディレクトリに格納されていたストリームファイル00001.m2tsと、BUDA内のSTREAMディレクトリに格納されていたストリームファイル00002.m2tsとが組み合わされ、
00001.m2ts
00002.m2ts
の2つのファイルが格納される。
【0133】
また、JARディレクトリには、BD内のJARディレクトリに格納されていたJava(登録商標)アプリケーションファイル00001.jarと、BUDA内のJARディレクトリに格納されていたJava(登録商標)アプリケーションファイル00002.jarとが組み合わされ、
00001.jar
00002.jar
の2つのファイルが格納される。
【0134】
なお、BD内のファイル名とBUDA内のファイル名とが同一である場合、2つを組み合わせる結果、BD内のファイルがBUDA内のファイルで置換されることでコンテンツがアップデートされる。
【0135】
このようなVFSにおいて、Virtual PackageのSTREAMディレクトリに着目すると、BD内のSTREAMディレクトリにストリームファイルが存在していなくても、BUDA内のSTREAMディレクトリにストリームファイルが存在していれば、Virtual Package内のSTREAMディレクトリにはストリームファイルが存在することがわかる。これは、ネットワークからのダウンロードによるコンテンツの追加・更新を想定した仕組みである。本実施形態では、この仕組みを利用する。すなわち、暗号化されたストリームファイルの復号を行い、BUDA内のSTREAMディレクトリに格納することで、暗号化されたストリームファイルを再生可能としている。
【0136】
図13に、本実施形態の復号処理を模式的に示す。
図13(a)に、暗号化された後のBDのファイル構造の一部を示す。JARディレクトリ下のDATAディレクトリに、
00001.ents
00002.ents
の2つの暗号化されたストリームファイルが存在する。このようなファイル構造を有するBDを図示しない汎用再生装置に装着すると、JARディレクトリに格納されたJava(登録商標)アプリケーションが起動して、汎用再生装置のユーザにパスワードを要求する。入力されたパスワードが一致すると、Java(登録商標)アプリケーションは、復号処理を開始し、JARディレクトリ下のDATAディレクトリに格納されたファイルのうち、暗号化された
00001.ents
00002.ents
を抽出し、これらを復号した上で汎用再生装置のBUDA内のSTREAMディレクトリに格納する。
図13(b)に、BUDA内のファイル構造の一部を示す。BD内のJARディレクトリ下のDATAディレクトリに格納されているストリームファイルが、BUDA内のSTREAMディレクトリに格納される様子を矢印で示す。本実施形態における復号処理は、入力されたパスワードに応じて、BD内のJARディレクトリ下のDATAディレクトリに格納された暗号化済みのストリームファイルを復号した上で、BUDA内のSTREAMディレクトリに移動する処理と表現することができる。なお、BDに書き込まれたファイルは消去することができないので、ストリームファイルの移動とは、実際にはストリームファイルをコピーしてBUDA内のSTREAMディレクトリに格納することを意味する。
【0137】
図14に、BD内のファイル構造とBUDA内のファイル構造とを組み合わせたVirtual Packageのファイル構造の一部を示す。STREAMディレクトリには、BD内のストリームファイルと、BUDA内のストリームファイルとが組み合わされ、
00001.m2ts
00002.m2ts
のストリームファイルが格納されることになり、元の映像データを再生することが可能となる。
【0138】
図15に、汎用再生装置の表示装置に表示される画面の一例を示す。BDを汎用再生装置に装着すると、JARディレクトリに格納されたJava(登録商標)アプリケーションが起動し、パスワードの入力を要求する画面を表示装置に表示させる。この要求に応じ、ユーザがリモコン等の入力デバイスを操作してパスワードを入力すると、Java(登録商標)アプリケーションは、入力されたパスワードが暗号化時に用いられたパスワードと一致するか否か、又は暗号化時のパスワードに対応する復号パスワードであるか否かを判定する。入力されたパスワードが一致又は対応する場合、Java(登録商標)アプリケーションは、
図13に示す復号処理を実行し、ストリームファイルを再生可能とする。この後は通常のBDの再生処理と同様であり、プレイリストファイルに従ってクリップファイルを順次再生していく。
【0139】
入力されたパスワードが一致しない又は対応しない場合、Java(登録商標)アプリケーションは
図13に示す復号処理を実行しない。この場合、汎用再生装置では元の映像を再生することができない。また、仮に第三者がBDを入手したとしても、STREAMディレクトリには完全なストリームファイルが存在しないため、これを直接開いても元の映像を再生することができない。従って、パスワードを入手した正規のユーザのみが汎用再生装置を用いて元の映像を再生することができ、映像コンテンツの保護が図られる。
【0140】
なお、
図11に示すBD規格のファイル構造の作成は、映像データ管理装置50のオーサリング部62によって行われてもよいし、撮像装置10の暗号化部18によって行われてもよい。すなわち、暗号化部18がオーサリング部62の機能を備えていてもよい。例えば、暗号化部18によって暗号化処理のみがなされた場合、オーサリング部62が、
図11に示すBD規格のファイル構造を作成する。一方、暗号化部18が
図11に示すBD規格のファイル構造を作成した場合、当該ファイル構造を有するストリームファイルをそのままの形式でオーサリング部62によって可搬性記録媒体110に書き込むだけで、BD規格のストリームファイルを可搬性記録媒体110で配布することができる。または、暗号化部18によって
図11に示すBD規格のファイル構造を作成し、オーサリング部62によって、ストリームファイルと復号プログラムとを可搬性記録媒体110に書き込んでもよい。復号プログラムを撮像装置10にてストリームファイルに付与するよりも、映像データ管理装置50にて付与することで、映像データの安全性が更に向上する。