(58)【調査した分野】(Int.Cl.,DB名)
前記プレイリスト生成部は、前記メタデータに含まれる前記イベント情報の開始時点を再生開始時点、前記イベント情報の終了時点を再生終了時点とするイベントシーンを生成することを特徴とする請求項1記載の映像データ作成装置。
前記プレイリスト生成部は、前記メタデータに含まれる前記イベント情報の発生時点より所定期間前の時点を再生開始時点、前記イベント情報の発生時点より所定期間後の時点を再生終了時点とするイベントシーンを生成することを特徴とする請求項1記載の映像データ作成装置。
【発明を実施するための形態】
【0016】
以下、図面に基づき本発明の実施形態について説明する。以下の実施形態において、イベントとは時系列の映像データにおいてある時刻に生じた事象を意味し、イベント情報とは当該イベントの種類や時刻等の属性を意味するものとする。
【0017】
図1に、本実施形態における映像データ作成装置を含む映像データ記録再生システムの全体構成図を示す。映像データ記録再生システムは、監視カメラで取得した映像が記憶された映像サーバ10、映像データ作成装置としてのオーサリング用コンピュータ12、及びオーサリング用コンピュータ12で作成されたBD−ROM等の可搬性記録媒体14を再生する汎用再生装置16から構成される。
【0018】
映像サーバ10は、1又は複数の監視カメラで取得した映像を記憶する。また、各種センサで検出された、映像データに付随するメタデータも映像データに関連付けて記憶する。
【0019】
オーサリング用コンピュータ12は、映像サーバ10に記憶されている映像データ及びメタデータを取り込み、これらのデータを編集してBD−ROM等の可搬性記憶媒体14に書き込む。この際、イベント情報を用いた映像データの検索が可能となるようなフォーマットあるいは形態で映像データを作成して可搬性記憶媒体14に書き込む。
【0020】
汎用再生装置16は、例えば汎用BDプレーヤであり、オーサリング用コンピュータ12で作成された可搬性記憶媒体14を再生して表示装置に表示する。この際、ユーザは、リモコン18を操作して汎用再生装置16の動作を制御するとともに、イベント情報を用いた映像データの検索を実行する。
【0021】
以下、可搬性記憶媒体14としてBD−ROMを例にとり、BD−ROM14として用いた場合の実施形態を具体的に説明する。まず、本実施形態において前提となるBD−ROM規格について簡単に説明する。
【0022】
図2に、BD−ROM規格で定められたディレクトリ及びファイル構造を示す。主なBD−ROMファイルは、ルートディレクトリ直下のBDMVディレクトリの下に格納される。BDMVディレクトリは、Stream、Clipinfo、PlayList、Jar、その他の各ディレクトリを含む。
【0023】
Streamディレクトリは、「0100.m2ts」、「0200.m2ts」等の各AVストリームファイルを含む。なお、拡張子「m2ts」は、MPEG−2のTransport Streamであることを示す。
【0024】
Clipinfoディレクトリは、クリップ(Clip)のデータベースファイルを含む。BD−ROM規格では、AVストリームファイルはクリップ(Clip)AVストリームファイルと呼ばれ、これに関連するデータベースファイルをClipinformationファイルと呼ぶ。Clipinformationファイルは、対応するAVストリームファイルのアクセスポイントのタイムスタンプを記憶する。このタイムスタンプを用いることで再生装置はAVストリームのどこからデータを読み出すべきかを認識する。ClipAVストリームファイルとClipinformationファイルとの間には1対1の関係がある。図において、「0100.m2ts」ファイルには「0100.cpli」ファイルが対応し、「0200.m2ts」ファイルには「0200.cpli」ファイルが対応する。
【0025】
PlayListディレクトリは、PlayListのデータベースファイルを含む。PlayList(Movie PlayList)は、クリップ(Clip)の再生インターバルリストである。再生インターバルは、クリップ(Clip)の再生開始時点と再生終了時点から構成され、プレイアイテム(PlayItem)と称される。
【0026】
Jarディレクトリは、Java(登録商標)プラットフォームに基づくJava(登録商標)アプリケーションファイルを含む。BD−ROM規格では、Java(登録商標)プラットフォームに基づくプログラマブルなアプリケーションに対応しており、これを「BD−J」と称する。本実施形態では、このJarディレクトリに格納されるJava(登録商標)アプリケーションを用いてイベント情報を用いた検索を可能とする。すなわち、オーサリング用コンピュータ12は、映像データ及びメタデータを用いてJava(登録商標)アプリケーション(Java(登録商標) Xlet)を作成し、Jarディレクトリに格納する。Java(登録商標)アプリケーションは、Xletインタフェースを介してアプリケーションマネージャにより制御される。
【0027】
その他のディレクトリは、サウンドデータファイルやフォントデータファイル、バックアップファイル等を含む。
【0028】
図3に、映像データ作成装置としてのオーサリング用コンピュータ12の構成ブロック図を示す。なお、オーサリング用コンピュータ12は、CPU、メモリ、データバス、入出力インタフェース、キーボード等の入力デバイス、表示装置等の出力デバイス及びBDレコーダを備え、CPUがメモリとの協働により各部の機能を実現することは言うまでもない。オーサリング用コンピュータ12は、図に示すように、エンコーダ12a、メタデータ解析部12b、PlayList生成部12c、Java(登録商標)生成部12d及び書込部12eを含む。
【0029】
エンコーダ12aは、映像サーバ10に記憶された映像データを取り込み、AVストリームファイル(図においてm2tsで示す)とクリップファイル(図においてClipで示す)を作成する。エンコーダ12aは、作成したAVストリームファイル及びクリップファイルをPlayList生成部12c、Java(登録商標)生成部12d及び書込部12eに出力する。
【0030】
メタデータ解析部12bは、映像サーバ10に記憶されたメタデータ20を取り込み、映像データに付随するイベント情報を解析する。イベント情報は、上記のようにセンサの動きや画像内の動きタイマ動作等であり、キーボードやマウス等の入力デバイスからユーザにより入力されたイベント選択データに基づき、選択されたイベント情報が存在するか否か解析する。メタデータ解析部12bは、解析結果をPlayList生成部12c及びJava(登録商標)生成部12dに出力する。
【0031】
PlayList(プレイリスト)生成部12cは、エンコーダ12aからのAVストリームファイル及びクリップファイル、メタデータ解析部12bからの解析結果、並びにイベント選択データに基づき、プレイリストを作成して書込部12eに出力する。
【0032】
Java(登録商標)生成部12dは、エンコーダ12aからのAVファイル及びクリップファイル、メタデータ解析部12bからの解析結果、並びにイベント選択データに基づき、Java(登録商標)アプリケーションを作成して書込部12eに出力する。
【0033】
書込部12eは、
図2に示されたディレクトリ構造に従って各ファイルをそれぞれのディレクトリに格納し、BD−ROM14に書き込む。
【0034】
図4に、オーサリング用コンピュータ12の表示装置12fに表示される画面の一例を示す。表示装置12fには、映像サーバ10から取り込んだ映像データが表示されるとともに、イベントを選択するためのチェックボックスが表示される。図では、イベントを検知するか否かのチェックボックスに加え、「動き検知」、「暴れ検知」、「エリア侵入」、「顔検出」、「センサ01入力」、「停電検知」の各イベントを選択するためのチェックボックスが表示される。各イベントは、映像サーバ10のメタデータ20に含まれており、監視カメラで監視映像を取得するとともに各種センサで検知したデータを用いて作成されたものである。例えば、「動き検知」は、動体センサで検出され、動きを示すデータがメタデータとして付加される。もちろん、映像を処理することで動きの有無を検出しメタデータとして付加してもよい。「暴れ検知」は、映像内の人物が所定の動きを行った場合に暴れとしてメタデータとして付加される。例えば、エレベータ内において人物が腕を振り回す動きをした場合に暴れとしてメタデータが付加される。
【0035】
図では、オーサリング用コンピュータ12のユーザが、マウスを用いてイベント検知のチェックボックスをチェックし、かつ、暴れ検知のチェックボックスをチェックした場合を示す。すなわち、イベント選択データとして、暴れ検知のイベントを選択した場合である。イベント選択データは、上記のようにPlayList生成部12cに供給される。PlayList生成部12cは、このイベント選択データに基づき、メタデータ20から暴れ検知のメタデータを抽出し、シーケンシャルに映像を再生するための従来のプレイリストに加え、選択したイベント用のプレイリスト、つまり暴れ検知のメタデータの開始タイミングを再生開始時点、暴れ検知のメタデータの終了タイミングを再生終了時点とするプレイリストを作成する。すなわち、PlayList生成部12cは、クリップの再生開始時点として暴れ検知の開始タイミングを設定し、かつ、クリップの再生終了時点として暴れ検知の終了タイミングを設定することでプレイリストを作成する。メタデータ20に複数回の暴れ検知のメタデータが存在する場合、全ての暴れ検知の開始タイミングと終了タイミングを用いてプレイリストが作成される。イベント用のプレイリストの一例は以下の通りである。
【0036】
再生開始時点 00:00
再生終了時点 1:30
再生開始時点(チャプター#1) 1:30
再生終了時点(チャプター#2) 3:00
再生開始時点 3:00
再生終了時点 10:00
再生開始時点(チャプター#3) 10:00
再生終了時点(チャプター#4) 12:00
【0037】
ここで、チャプター#1はあるイベントの開始時点を表し、チャプター#2は当該イベントの終了時点を表す。また、チャプター#3は同一若しくは異なるイベントの発生時点を表し、チャプター#4は当該イベントの終了時点を表す。
【0038】
また、イベント選択データは、上記のようにJava(登録商標)生成部12dにも供給される。Java(登録商標)生成部12dは、このイベント選択データに基づき、プレイリストの各チャプターと選択したイベントとの関連付けを行うアプリケーションファイルを作成する。具体的には、上記のようにプレイリストのチャプターとしてチャプター#1〜チャプター#4が存在する場合、それぞれを選択したイベントと関連付けて、
チャプター#1=暴れの開始
チャプター#2=暴れの終了
チャプター#3=エリア侵入の開始
チャプター#4=エリア侵入の終了
とする。すなわち、Java(登録商標)アプリケーションは、イベントの開始と終了を用いてイベントシーンを作成し、各イベントシーンを特定のイベントの種類と関連付ける。
図4の画面において、オーサリングコンピュータ12のユーザが暴れ検知のみならず、動き検知やエリア侵入のチェックボックスもチェックした場合、Java(登録商標)生成部12dは、これらのイベント選択データに基づいて、各チャプターとイベントとの関連付けを行う。具体的には、
チャプター#1=暴れの開始
チャプター#2=暴れの終了
チャプター#3=エリア侵入の開始
チャプター#4=エリア侵入の終了
チャプター#5=動きの開始
チャプター#6=動きの終了
等である。さらに、Java(登録商標)生成部12dは、イベント選択データに基づき、汎用再生装置16で再生される際に、汎用再生装置16のリモコン18の操作に応じて表示装置に表示されるイベントリストを表示するアプリケーションファイルを作成する。
【0039】
また、
図4において、イベントを選択するためのチェックボックスに加え、イベント連動で高画質化のチェックボックス、及びイベント用プレイリスト作成のチェックボックスが表示される。イベント用プレイリストのチェックボックスがチェックされた場合の処理は上記の通りであり、PlayList生成部12cでイベント用のプレイリストが生成される。イベント用プレイリストのチェックボックスがチェックされない場合、イベントは選択されてもイベント用のプレイリストは生成されず、イベントのサーチ再生はできない。一方、イベント連動で高画質化のチェックボックスがチェックされた場合、このデータもイベント選択データの一部としてメタデータ解析部12bに供給される。メタデータ解析部12bは、イベント選択データに基づいてメタデータを解析するが、選択されたイベントに相当するメタデータが存在する場合、そのメタデータが付随する映像データをその他の映像よりも解像度を向上させる、あるいは圧縮比を低下させる等の高画質化を行ってエンコードすべき指令をエンコーダ12aに出力する。
図3において、メタデータ解析部12bからエンコーダ12aに矢印で出力のあることが示されているが、このような特定イベントに関連した映像データの高画質化を行うことを示すものである。
【0040】
再び
図4に戻り、以上のようにしてユーザが各チェックボックスをチェックして「書出し」ボタンを操作すると、CPU、メモリ及びBDレコーダで構成される
図3の各機能ブロックが処理を実行し、BD−ROM14が作成される。
【0041】
本実施形態においてイベント選択データに基づきPlayList生成部12cで生成されるプレイリストについて、より具体的に説明する。
【0042】
まず、本実施形態におけるプレイリストと対比するため、従来のプレイリストについて説明する。
【0043】
図5に、従来のAVストリームファイルとクリップファイル及びプレイリストとの対応関係を示す。イベント情報が存在していない場合である。上記のように、AVストリームファイルとクリップファイルは1対1に対応しており、プレイリストはクリップファイルの再生開始時点と再生終了時点からなるプレイアイテムの集合で構成される。イベント情報が存在しないため、特定のイベントに対応するチャプターも存在していない。従って、このようなプレイリストを有するBD−ROMを汎用再生装置16で再生した場合、イベントに関連したプレイアイテムが存在せず最初から最後まで映像がシーケンシャルに再生される。
【0044】
一方、
図6に、本実施形態におけるAVストリームファイルとクリップファイル及びプレイリストとの対応関係を示す。図に示すように、AVストリームファイルの「Stream002」のある時点で選択イベントが発生し、「Stream003」のある時点で当該選択イベントが終了したものとする。また、「Stream005」のある時点で同一若しくは別の選択イベントが発生し、「Stream006」のある時点で当該選択イベントが終了したものとする。この場合、プレイリストには選択イベントの発生時点及び終了時点でそれぞれチャプターが生成される。図において、最初のイベントの発生時点、終了時点にそれぞれ対応したチャプターマークが生成され、次のイベントの発生時点、終了時点にそれぞれ対応したチャプターマークが生成される。例えば、これらのチャプターマークをチャプター#1〜#4として、
チャプター#1 2:10
チャプター#2 3:30
チャプター#3 7:30
チャプター#4 8:40
等である。チャプター#1、#2で1つのイベントシーンが構成され、チャプター#3、#4で他のイベントシーンが構成される。各チャプターとイベントはJava(登録商標)アプリケーションで関連付けされる。例えば、チャプター#1=暴れの開始、チャプター#2=暴れの終了等である。
【0045】
従って、汎用再生装置16において、BD−ROM14を再生すると、プレイリストに従って最初から順次再生されるとともに、リモコン18を用いてチャプター選択することで特定のチャプターまで飛んで再生できる。そして、各チャプターとイベントとは関連付けられているから、選択したイベントに対応するチャプターに飛んで再生することができる。例えば、チャプター#1、#2は暴れ検知であり、チャプター#3、#4がエリア侵入であるとすると、再生時にユーザが暴れ検知を選択した場合、チャプター#1までスキップして再生される。また、再生時にユーザがエリア侵入を選択した場合、チャプター#3までスキップして再生される。
【0046】
なお、
図6では、プレイリスト全体の中でチャプターマークを規定しているが、これに代えて、選択イベントのみでプレイリストを生成することもできる。
【0047】
図7に、このような場合のAVストリームファイルとクリップファイル及びプレイリストとの対応関係を示す。「Stream002」のある時点で選択イベントが発生し、「Stream003」のある時点で選択イベントが終了したものとする。また、別の選択イベントは「Stream005」で生じたものとする。なお、前者のイベントはイベントが一定期間にわたって発生している区間型のイベントであり、後者のイベントはある瞬間のみに発生している単発型のイベントといえる。
【0048】
プレイリストは、区間型イベントについてはイベントの発生期間を規定するように生成され、単発型イベントについてはそのイベントの発生タイミングを含む所定期間を規定するように生成される。具体的には、区間型イベントが「Stream002」のある時点で発生し、「Stream003」のある時点で終了しているので、その発生時点をClip002ファイルの再生開始時点、当該クリップファイルの最後を再生終了時点として1つのイベントシーンを構成し、Clip003ファイルの最初を再生開始時点、当該イベントの終了時点を再生終了時点として別のイベントシーンを構成することでプレイリストを生成する。また、単発型イベントは、「Stream005」のある時点で発生しているので、Clip005の当該イベント発生時点より所定期間前を再生開始時点、当該イベントの発生時点よりも所定期間後を再生終了時点として1つのイベントシーンを構成しプレイリストを生成する。
【0049】
区間型イベントのプレイリストを例示すと以下の通りである。
<プレイリスト#1>
再生開始時点 00:00
再生終了時点 1:30
再生開始時点 1:30
再生終了時点 3:00
<プレイリスト#2>
再生開始時点 5:00
再生終了時点 6:00
<プレイリスト#3>
再生開始時点 10:00
再生終了時点 11:00
【0050】
また、単発型イベントのプレイリストを例示すると以下の通りである。
<プレイリスト#4>
再生開始時点 12:00
再生終了時点 14:00
【0051】
ここで、単発型イベントの実際の発生時点は13:00であり、その時点より1分だけ前の時点を再生開始時点、その時点より1分だけ後の時点を再生終了時点としている。もちろん、前後の期間は任意に設定することができ、単発型イベントの種類に応じて適応的に増減調整することも可能であろう。
【0052】
また、上記のように選択イベントのみでプレイリストを生成する場合、イベント毎にプレイリストが生成される点に留意されたい。上記の例では、プレイリスト#1は暴れ検知に対応し、プレイリスト#2はエリア侵入に対応し、プレイリスト#3は動き検知に対応し、プレイリスト#4は停電復帰に対応する等である。Java(登録商標)アプリケーションは、各プレイリストとイベントとを関連付けることで、イベント毎の再生を可能とする。
【0053】
このようなプレイリストによれば、イベントに関連する部分のみが再生されることになる。つまり、区間型イベントについては当該イベントが発生している区間のみが再生され、単発型イベントについては当該イベントが発生した前後の所定期間のみが再生されることになる。
図6のプレイリストは、AVストリームファイル全部を対象とするプレイリストであるのに対し、
図7のプレイリストは、選択イベントに対応するAVストリームファイルのみを対象とするプレイリストと言える。
【0054】
図8に、汎用再生装置16でBD−ROM14を再生する場合の汎用再生装置16の表示装置16fに表示される画面例を示す。
【0055】
汎用再生装置16のCPUは、BD−ROM14のJava(登録商標)アプリケーションを読み込み、これを実行することで表示装置16fにイベントを選択するメニューを表示する。図では、イベントの種類として、「外部センサ1」、「暴れ検知」、「顔検出」、「停電復帰」が表示される。これらのイベントは、オーサリング用コンピュータ12で選択されたイベントの種類に対応する。汎用再生装置16のユーザは、リモコン18を操作して再生したい所望のイベントの種類を選択する。図では、「暴れ検知」が選択されたことを示す。この状態でユーザが「決定」ボタンを操作すると、汎用再生装置16のCPUは、Java(登録商標)アプリケーションの実行により、プレイリストにおける、選択されたイベントに対応するチャプターに飛んで再生する。例えば、
図6のプレイリストにおいて、Java(登録商標)アプリケーションによりチャプター#1が暴れの開始、チャプター#2が暴れの終了を示すから、チャプター#1までスキップし、チャプター#1からチャプター#2まで再生する。また、チャプター#3が別の暴れの開始、チャプター#4が当該暴れの終了である場合、チャプター#3まで飛んでチャプター#3からチャプター#4まで再生する。また、
図7のプレイリストでは、選択イベントに関連する映像ストリームのみが再生される。
【0056】
図9に、汎用再生装置16でBD−ROM14を再生する場合の汎用再生装置16の表示装置16fに表示される他の画面例を示す。
図8の場合と異なり、イベントの種類とともに、各イベントの開始時刻が表示される。例えば、「外部センサ1」については「2012/01/30−17:00:00」と時刻が表示される。これは、外部センサ1のイベントは、2012年1月30日の17時00分00秒に開始していることを示す。このような表示は、Java(登録商標)アプリケーションにおいて、イベントの各時刻とそのイベントの種類を関連付けて記述しておくことで可能である。すなわち、Java(登録商標)アプリケーションは、上記のように各チャプターとイベントの種類とを関連付ける他に、各時刻とイベントとを関連付けることも可能である。例えば、
2012/01/30 17:00:00=外部センサ1の開始
2012/01/30 17:10:00=外部センサ1の終了
2012/01/30 18:31:00=暴れの開始
2012/01/30 18:35:00=暴れの終了
等である。CPUは、このようなJava(登録商標)アプリケーションを実行することで
図9に示す画面を表示する。ユーザは、リモコン18を用いて所望のイベントを選択することで、選択したイベントの映像ストリームを再生できる。
【0057】
以上説明したように、本実施形態では、監視カメラで取得した映像データに付随するメタデータ20に含まれるイベント情報を用いてプレイリスト及びJava(登録商標)アプリケーションを生成してBD−ROM14に書き込むことで、汎用再生装置16であっても高機能の専用機と同様に特定イベントを選択的にサーチして再生することが可能となる。従って、例えばビルの管理者がBD−ROM14を作成して当該ビルのテナントに配布し、テナントが映像データの中から特定のイベント、例えばエリア侵入イベント等を選択的にサーチして効率的に視聴することができる。
【0058】
また、メタデータ12に複数種類のイベント情報が含まれていれば、オーサリング用コンピュータ12でこれら複数種類のイベント情報に基づいてプレイリスト及びJava(登録商標)アプリケーションを生成することができるので、多様なニーズに柔軟に対応することもできる。特に、
図8や
図9に示すように、汎用再生装置16でも複数種類のイベントから所望のイベントを選択してサーチできることは、ユーザにとり使い勝手が飛躍的に高まることになろう。監視カメラの映像は一般的に長時間である場合が多いことを考えると、一層効果的である。
【0059】
また、本実施形態では、オーサリング用コンピュータ12で選択したイベントに応じてプレイリストを生成しているが、選択されたイベントが区間型であるか単発型であるかに応じてプレイリストを適応的に変化させることで、効率的にプレイリストを生成することができる。すなわち、イベントが区間型イベントであればそのイベントの開始時点と終了時点をそれぞれ再生開始時点と再生終了時点としてイベントシーンを生成する一方、イベントが単発型であればそのイベントの発生時点を基準として所定期間前の時点と所定期間後の時点をそれぞれ再生開始時点と再生終了時点としてイベントシーンを生成することで、複数種類のイベントに対応することができる、イベントが区間型であるか単発型であるかは、メタデータ20に含まれていればそのデータを援用すればよく、メタデータ20に含まれていなければオーサリング時にイベントの発生時刻から当該イベントが区間型であるか単発型であるかを判定してプレイリスト及びJava(登録商標)アプリケーションを生成すればよい。区間型イベントとしてはエリア侵入や暴れ検知等が挙げられ、単発型イベントとしては停電復帰やセンサ入力等が挙げられる。
【0060】
さらに、本実施形態では、イベントに関連する映像データは、その他の映像データよりも高画質化されてBD−ROM14に書き込まれているので、ユーザは特定イベントに関連する映像をより明瞭に視聴することができる。顔検出のイベントを視聴する際等には、高画質な映像データが有利であろう。
【0061】
なお、本実施形態では、記憶媒体としてBD−ROMを例示したが、本発明はこれに限定されるものではなく、USBメモリやフラッシュメモリ等の任意の可搬性記憶媒体にも適用し得る。