(58)【調査した分野】(Int.Cl.,DB名)
前記データ送信装置は、複数の前記パケットから前記撮像画像を復元し、前記復元した撮像画像に基づいて、前記部分画像の前記撮像画像内の位置を特定する、請求項1または2に記載のデータ配信システム。
前記データ送信装置は、前記拡張パケットにおいて、前記端末装置が復号可能な暗号化方式によって前記ペイロード部を暗号化する、請求項1〜請求項4の何れか一項に記載のデータ配信システム。
【発明を実施するための形態】
【0016】
以下、本発明のデータ配信システムについて図を参照しつつ説明する。
【0017】
図1は、本実施形態によるデータ配信システム1の概略構成を示す図である。
図1に示すように、データ配信システム1は、画像送信装置10、警備装置20、データ送信装置30、配信制御装置40、複数の端末装置50、及び、画像解析装置60等を有する。画像送信装置10及び警備装置20は、警備エリア2に配置される。画像送信装置10及びデータ送信装置30は、それぞれネットワーク3に通信接続され、ネットワーク3を介して通信する。ネットワーク3は、例えばインターネット等の有線ネットワークである。なお、ネットワーク3は、無線LAN(Local Area Network)、WiMAX(Worldwide Interoperability for Microwave Access)又はPHS(Personal Handy-phone System)等の無線ネットワークでもよい。
配信制御装置40は、通信事業者網4の網内装置である。警備装置20、データ送信装置30、配信制御装置40、複数の端末装置50、及び、画像解析装置60は、それぞれ通信事業者網4に通信接続され、通信事業者網4内に配置された配信制御装置40と通信する。通信事業者網4は、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000又はLTE(Long Term Evolution)等の通信方式に従ったネットワークである。なお、通信事業者網4は、イントラネット等の有線ネットワークでもよい。
【0018】
画像送信装置10は、例えばネットワークカメラ等に搭載され、ネットワークカメラが撮像した撮像画像をパケット化する。例えば、各画像送信装置10は、ネットワークカメラが警備エリア2内の画像を撮像するように、警備エリア2内に配置され、警備エリア2内の侵入人物、不審物体等の監視対象を撮像した撮像画像を取得する。画像送信装置10は、取得した撮像画像を、H.264/MPEG(Moving Picture Experts Group)−4 AVC(Advanced Video Coding)規格等の所定の符号化規格に従って、所定の解像度、画質、フレームレート等の属性を有する画像データに符号化し、符号化した画像データに係る画像パケットを生成する。なお、画像送信装置10は、撮像画像を所定単位毎に複数の部分画像に分割し、部分画像毎に符号化して画像パケットを生成する。例えば、H.264/MPEG−4 AVC規格では、所定単位は、スライス(slice)である。画像送信装置10は、通信部を有し、生成した画像パケットを通信部を介してデータ送信装置30に送信する。
なお、データ配信システム1は、複数の画像送信装置10を有し、各画像送信装置10が画像パケットをデータ送信装置30に送信してもよい。
【0019】
警備装置20は、家屋、マンションの住戸等の警備エリア2内に設置され、警備エリア2内に侵入する侵入人物、警備エリア2内に存在する不審物体等の監視対象を監視し、警備する。警備装置20には、警備エリア2内の異常を検出するための1つ以上のセンサが接続される。センサは、例えば、受光した赤外線の光量変化に基づいて探知範囲内における監視対象の有無を検知する赤外線センサ、撮像画像と予め記憶された正常時の画像との差分信号に基づいて撮像範囲内における監視対象の有無を検知する画像センサ等である。警備装置20には「警備」又は「非警備」が設定される。警備装置20は、「警備」が設定されている間、警備エリア2内に監視対象が存在するか否かを監視し、警備エリア2内において監視対象を検知すると、配信制御装置40を介して端末装置50へ、監視対象が検知されたことを示す異常通報を行う。
【0020】
端末装置50は、画像送信装置10が送信した撮像画像を長期保存する長期保管用のデータセンタに配置されるサーバ、画像送信装置10が送信した撮像画像を管制員により監視するための、監視管制センタに配置されるパーソナルコンピュータ、又は、撮像画像に写っている人物の顔等に基づいて人物を認証する認証装置等である。各端末装置50は、通信部及び表示部を有し、通信部を介して配信制御装置40から、画像送信装置10により送信された画像パケットに基づくパケットを受信し、受信したパケットから撮像画像を復元して表示部に表示する。
【0021】
図2は、データ送信装置30の概略構成を示す図である。データ送信装置30は、画像送信装置10から画像パケットを受信し、受信した画像パケットから拡張パケットを生成して配信制御装置40に送信する。データ送信装置30は、例えば、所定のアプリケーションプログラムに従ってデータ処理を実行可能なセットトップボックス等に搭載される。なお、データ送信装置30と画像送信装置10は、一つの装置として実装されてもよい。
図2に示すように、データ送信装置30は、第1通信部31、第2通信部32、記憶部33及び制御部34等を有する。
【0022】
第1通信部31は、データ送信装置30がネットワーク3と、TCP/IP等の通信方式に従った通信を行うための通信インタフェース回路を有する。第1通信部31は、ネットワーク3を介して画像送信装置10から受信したデータを制御部34に送る。また、第1通信部31は、制御部34から受け取ったデータをネットワーク3を介して画像送信装置10に送信する。
【0023】
第2通信部32は、データ送信装置30が通信事業者網4と、W−CDMA、CDMA2000又はLTE等の通信方式に従った携帯電話の無線通信を行うための通信インタフェース回路を有する。第2通信部32は、通信事業者網4を介して配信制御装置40から受信したデータを制御部34に送る。また、第2通信部32は、制御部34から受け取ったデータを通信事業者網4を介して配信制御装置40に送信する。
【0024】
記憶部33は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、又は、磁気記録媒体及びそのアクセス装置もしくは光記録媒体及びそのアクセス装置等を有する。記憶部33は、データ送信装置30を制御するためのコンピュータプログラム及び各種データを記憶し、制御部34との間でこれらの情報を入出力する。コンピュータプログラムは、CD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部33にインストールされてもよい。また、記憶部33には、拡張パケット生成用情報331等が記憶される。拡張パケット生成用情報331の詳細については後述する。
【0025】
制御部34は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、周辺回路等を有する。制御部34は、拡張パケット生成部341及び拡張パケット送信部342等を有する。
拡張パケット生成部341は、第1通信部31を介して画像送信装置10から受信した、撮像画像内の部分画像に係る画像パケットのペイロード部の情報から、その部分画像の撮像画像内の位置を特定する。拡張パケット生成部341は、特定した位置に関する位置情報である部分画像位置情報を、その画像パケットのヘッダ部に含ませることにより拡張パケットを生成する。
拡張パケット送信部342は、拡張パケット生成部341が生成した拡張パケットを第2通信部32を介して配信制御装置40に送信する。
【0026】
図3は、配信制御装置40の概略構成を示す図である。配信制御装置40は、データ送信装置30から拡張パケットを受信し、受信した拡張パケットに基づいて配信用パケットを生成する。また、配信制御装置40は、画像解析装置60から、撮像画像において、各端末装置50のユーザが関心を持ち、閲覧を要求する関心対象が写っている位置と、その位置に写っている関心対象とを示す関心位置情報を含む関心領域パケットを受信する。関心対象は、例えば人物又は物体の一部(人物の顔等)又は全部である。なお、関心対象は、警備エリア2へ侵入する侵入人物、不審物体等、特定の人物又は物体の一部又は全部でもよい。配信制御装置40は、受信した関心領域パケットに含まれる関心位置情報に基づいて、配信用パケットを送信すべき端末装置50を特定し、特定した端末装置50に配信用パケットを送信する。配信制御装置40は、例えば、所定のアプリケーションプログラムに従ってデータ処理を実行可能なルータ等に搭載される。
図3に示すように、配信制御装置40は、通信部41、記憶部42及び制御部43等を有する。
【0027】
通信部41は、配信制御装置40が通信事業者網4を介して警備装置20、データ送信装置30、端末装置50及び画像解析装置60と通信を行うための通信インタフェース回路を有する。通信部41は、警備装置20、データ送信装置30、端末装置50又は画像解析装置60から受信したデータを制御部43に送る。また、通信部41は、制御部43から受け取ったデータを警備装置20、データ送信装置30、端末装置50又は画像解析装置60に送信する。
【0028】
記憶部42は、ROM、RAM等の半導体メモリ、又は、磁気記録媒体及びそのアクセス装置もしくは光記録媒体及びそのアクセス装置等を有する。記憶部42は、配信制御装置40を制御するためのコンピュータプログラム及び各種データを記憶し、制御部43との間でこれらの情報を入出力する。コンピュータプログラムは、CD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部42にインストールされてもよい。
また、記憶部42には、配信先要求情報421及び配信先情報422等が記憶される。配信先要求情報421には、各端末装置50の識別情報と、複数の関心対象の内、各端末装置50の利用者が閲覧を要求する関心対象を示す要求対象情報とが対応付けて記憶される。各端末装置50の識別情報は、例えば各端末装置50のIPアドレス及びポート番号等(以下、配信先端末アドレスと称する場合がある)である。要求対象情報は、関心対象情報の一例である。配信先情報422には、拡張パケットを配信すべき端末装置50の配信先端末アドレス等が記憶される。配信先要求情報421及び配信先情報422の詳細については後述する。
【0029】
制御部43は、CPU、MPU、周辺回路等を有する。制御部43は、拡張パケット受信部431、関心位置情報受信部432、配信先情報更新部433、特定部434、配信用パケット生成部435及びパケット配信部436等を有する。
拡張パケット受信部431は、データ送信装置30から送信された拡張パケットを通信部41を介して受信する。
関心位置情報受信部432は、画像解析装置60から送信された関心位置情報を含む関心領域パケットを通信部41を介して受信する。
配信先情報更新部433は、配信先要求情報421と、画像解析装置60から送信された関心領域パケットに含まれる関心位置情報とに基づいて配信先情報422を更新する。
特定部434は、拡張パケット受信部431が受信した拡張パケットの内、ヘッダ部に含まれる部分画像位置情報に係る位置が、関心位置情報受信部432が受信した関心位置情報に係る位置に対応する拡張パケットを特定する。さらに、特定部434は、配信先要求情報421に記憶されている要求対象情報に係る関心対象が、関心位置情報受信部432が受信した関心位置情報に係る関心対象に対応する端末装置50を特定する。
配信用パケット生成部435は、拡張パケット受信部431が受信した拡張パケットに基づいて配信用パケットを生成する。
パケット配信部436は、配信用パケット生成部435が生成した配信用パケットの内、特定部434が特定した拡張パケットに基づく配信用パケットを、通信部41を介して、特定部434が特定した各端末装置50に配信する。
【0030】
図4は、画像解析装置60の概略構成を示す図である。画像解析装置60は、撮像画像を画像解析することにより、撮像画像に関心対象が写っている位置を検出し、検出した位置と、その位置に写っている関心対象とを示す関心位置情報を生成し、生成した関心位置情報を含む関心領域パケットを配信制御装置40に送信する。なお、配信制御装置40と画像解析装置60は、一つの装置として実装されてもよい。
図4に示すように、画像解析装置60は、通信部61、記憶部62及び制御部63等を有する。
【0031】
通信部61は、画像解析装置60が通信事業者網4と、W−CDMA、CDMA2000又はLTE等の通信方式に従った携帯電話の無線通信を行うための通信インタフェース回路を有する。通信部61は、通信事業者網4を介して配信制御装置40から受信したデータを制御部63に送る。また、通信部61は、制御部63から受け取ったデータを通信事業者網4を介して配信制御装置40に送信する。
【0032】
記憶部62は、ROM、RAM等の半導体メモリ、又は、磁気記録媒体及びそのアクセス装置もしくは光記録媒体及びそのアクセス装置等を有する。記憶部62は、画像解析装置60を制御するためのコンピュータプログラム及び各種データを記憶し、制御部63との間でこれらの情報を入出力する。コンピュータプログラムは、CD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部62にインストールされてもよい。
【0033】
制御部63は、CPU、MPU、周辺回路等を有する。制御部63は、関心位置情報生成部631及び関心位置情報送信部632等を有する。
関心位置情報生成部631は、配信制御装置40から拡張パケットを受信し、受信した拡張パケットから撮像画像を復元する。関心位置情報生成部631は、復元した撮像画像から、公知の画像処理技術を用いて、関心対象を検知し、撮像画像に関心対象が写っている位置を特定する。そして、関心位置情報生成部631は、特定した位置(範囲を示す座標)と、その位置に写っている関心対象の識別子とを示す関心位置情報を生成し、関心位置情報を含む関心領域パケットを生成する。
関心位置情報送信部632は、関心位置情報生成部631が生成した関心位置情報を含む関心領域パケットを、通信部61を介して、配信制御装置40に送信する。
【0034】
図5は、本実施形態に係るデータ配信システム1の全体動作シーケンス図である。以下に説明する動作シーケンスは、データ配信システム1が有する各装置の記憶部に予め記憶されているプログラムに基づいて、主に各装置の制御部により、各装置の各要素と協働して実行される。
まず、各画像送信装置10は、ネットワークカメラが撮像した撮像画像を取得し、取得した撮像画像内の部分画像を符号化し、符号化した部分画像に係る画像パケットを生成する(ステップS101)。
【0035】
図6(a)〜(c)は、画像パケットのデータ構造の一例を示す模式図である。
図6(a)〜(c)に示すように、画像パケットはヘッダ部及びペイロード部を有する。
ヘッダ部は、画像送信装置ID及びデータ送信装置アドレス等を有する。画像送信装置IDは、画像送信装置10を一意に識別可能なユニークな値である。データ送信装置アドレスは、データ送信装置30のアドレスであり、例えばデータ送信装置30のIPアドレス及びポート番号等である。画像パケットの構成はペイロード部の構成によって3種類に分類される。
【0036】
図6(a)は、時系列で連続する画像列について、解像度、画質又はフレームレート等の共通の形式情報を示す画像列形式情報がペイロード部に含まれる画像パケットの例である。
図6(d)は、画像列形式情報のデータ構造の一例を示す模式図である。
図6(d)に示すように、画像列形式情報は、画像の解像度を示す解像度情報、画像の符号化品質(量子化パラメータ等)を示す画質情報、又は、1秒間に含まれる画像の枚数(フレーム数)を示すフレームレート情報等を有する。
画像列形式情報は、時系列で連続する画像列(複数フレームの画像)について、復号し表示するために必要な共通の形式情報である。例えば、H.264/MPEG−4 AVC規格では、画像列形式情報として、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)等が設定される。
なお、解像度情報として、SPSのframe_mbs_only_flag、pic_width_in_mbs_minus1、pic_height_in_map_units_minus1等が設定される。frame_mbs_only_flagは、ピクチャにフレーム・マクロブロックしか含まれない場合、即ちインターレースでない場合に1となり、そうでない場合に0となる。pic_width_in_mbs_minus1は(ピクチャの水平方向のマクロブロックの数−1)であり、pic_height_in_map_units_minus1は(ピクチャの垂直方向のマクロブロックの数−1)である。マクロブロックの水平及び垂直方向の画素数が16である場合、水平方向の画素数及び垂直方向の画素数は、以下の式により算出される。
水平方向の画素数=(pic_width_in_mbs_minus1+1)×16
垂直方向の画素数=(2−frame_mbs_only_flag)×(pic_height_in_map_units_minus1+1)×16
画像列形式情報には、上記した情報以外の情報が含まれていてもよい。
【0037】
図6(b)は、画像データの一部である所定単位の部分画像データについて、符号化のタイプ等の形式情報を示す画像形式情報と、その部分画像データの一部とがペイロード部に含まれる画像パケットの例である。
図6(e)は、画像形式情報のデータ構造の一例を示す模式図である。
図6(e)に示すように、画像形式情報は、フレーム番号、先頭マクロブロック番号等を有する。フレーム番号は、そのフレームの番号であり、先頭マクロブロック番号は、そのフレームに含まれる先頭のマクロブロックの番号である。画像形式情報は、符号化された画像の形式等のように、所定単位の画像データを復号し表示するために必要な形式情報である。例えば、H.264/MPEG−4 AVC規格では、画像形式情報として、スライス・ヘッダ(slice header)等が設定される。また、フレーム番号として、スライス・ヘッダ(slice header)のframe_num等が設定され、先頭マクロブロック番号として、スライス・ヘッダのfirst_mb_in_slice等が設定される。また、画像形式情報には、上記した情報以外の情報が含まれていてもよい。
所定単位の部分画像データが1つのパケットのサイズを超える場合、部分画像データは、さらに複数の画像データに分割されて複数のパケットに格納される。画像形式情報は、部分画像データの先頭に格納される。
【0038】
図6(c)は、部分画像データの一部のみがペイロード部に含まれる画像パケットの例である。
【0039】
次に、
図5のステップS102において、画像送信装置10は、生成した画像パケットを通信部を介してデータ送信装置30に送信する(ステップS102)。次に、データ送信装置30の拡張パケット生成部341は、第1通信部31を介して各画像送信装置10から画像パケットを受信する(ステップS103)。次に、拡張パケット生成部341は、受信した各画像パケットについて、拡張パケット生成処理を実行する(ステップS104)。
【0040】
図7は、拡張パケット生成処理の動作の例を示すフローチャートである。なお、
図7に示す拡張パケット生成処理は、画像パケットを受信する度に実行される。また、拡張パケット生成部341は、各画像送信装置10から受信する画像パケットについて、画像列形式情報を含む画像パケットを最初に受信するまでは拡張パケット生成処理を実行しない。即ち、
図7に示す拡張パケット生成処理は、画像列形式情報を含む画像パケットから実行されるものとする。
【0041】
まず、拡張パケット生成部341は、受信した画像パケットに画像列形式情報が含まれるか否かを判定する(ステップS201)。受信した画像パケットに画像列形式情報が含まれる場合(ステップS201のYes)、拡張パケット生成部341は、画像列形式情報に基づいて、拡張パケット生成用情報331を記憶(初期化)する(ステップS202)。
【0042】
図8(a)は、拡張パケット生成用情報331のデータ構造の一例を示す模式図である。
図8(a)に示すように、拡張パケット生成用情報331として、各画像送信装置10から受信する、時系列で連続する画像列毎に、画像送信装置ID、画像列形式情報、画像形式情報、フレームID及び部分画像位置情報等の各情報が対応付けて記憶される。
【0043】
画像送信装置IDは、画像パケットに含まれる画像送信装置IDである。
画像列形式情報は、画像パケットに含まれる画像列形式情報である。
画像形式情報は、画像パケットに含まれる画像形式情報である。
フレームIDは、各フレームを一意に識別可能な、フレーム毎にユニークな値である。フレームIDとして、例えばフレーム毎に1つずつ増加する値が割り当てられる。または、フレームIDとして、対応する画像が撮像された時刻等が割り当てられてもよい。
【0044】
部分画像位置情報は、画像パケットのペイロード部に含まれる部分画像データに係る部分画像の撮像画像内の位置(座標)を示す位置情報である。例えば、部分画像が矩形領域である場合、部分画像位置情報として、部分画像の左上頂点のX座標及びY座標と、右下頂点のX座標及びY座標が設定される。また、部分画像が、H.264/MPEG−4 AVC規格の複数のマクロブロック(固定サイズの矩形の画素集合)に対応する場合、部分画像位置情報として、マクロブロック毎に上記の座標が設定される。
部分画像位置情報は、例えば、画像パケットの画像形式情報における先頭マクロブロック番号(first_mb_in_slice)を用いて算出される。拡張パケット生成部341は、受信した画像パケットの画像形式情報における先頭マクロブロック番号を記憶しておく。拡張パケット生成部341は、今回受信した1スライス分の画像パケットの画像形式情報における先頭マクロブロック番号から、前回受信した画像パケットの画像形式情報における先頭マクロブロック番号を減算した差分を部分画像データに含まれるマクロブロックの合計数(macroblock_count_in_slice)として算出する。なお、拡張パケット生成部341は、1スライス分の画像パケットを蓄積し、蓄積した画像パケットを走査して、1スライスに含まれるマクロブロックの合計数を計数してもよい。
拡張パケット生成部341は、マクロブロック番号がi{i=first_mb_in_slice, ... , first_mb_in_slice+macroblock_count_in_slice−1}である各マクロブロックの左上頂点のX座標left_top_x_i及びY座標left_top_y_iと、右下頂点のX座標right_bottom_x_i及びY座標right_bottom_y_iとを下記式により算出する。
left_top_x_i=(i%(pic_width_in_mbs_minus1+1))×16
left_top_y_i=[(i÷(pic_width_in_mbs_minus1+1))]×16
right_bottom_x_i=left_top_x_i+16
right_bottom_y_i=left_top_y_i+16
なお、上記式において、マクロブロックの水平及び垂直方向のサイズはそれぞれ16画素であるものとする。[%]は剰余を算出する算出記号である。pic_width_in_mbs_minus1は、画像列形式情報の解像度情報に含まれ、ピクチャの水平方向のマクロブロックの数−1を示す。
また、部分画像位置情報として、各マクロブロックの番号が設定されてもよい。
【0045】
このように、画像パケットのペイロード部には、画像パケットに含まれる部分画像の撮像画像内における位置が記載されており、拡張パケット生成部341は、画像パケットのペイロード部に記載された、部分画像の撮像画像内の位置を読み出すことにより、部分画像の撮像画像内における位置を特定する。
なお、拡張パケット生成部341は、画像パケットのペイロード部を解析することにより、部分画像の撮像画像内における位置を特定してもよい。例えば、撮像画像に係る画像データが、水平方向の解像度に対する垂直方向の解像度が予め定められた比率になるようにRGB値による各画素が配置されたRAWデータであり、各フレームの先頭にスタートデータが含まれ、各フレームの最後にストップデータが含まれる場合について説明する。拡張パケット生成部341は、複数の画像パケットからスタートデータ及びストップデータを検出し、スタートデータとストップデータの間の画素数から撮像画像の解像度を特定し、撮像画像を復元する。そして、拡張パケット生成部341は、復元した撮像画像において、ペイロード部に含まれる各部分画像が対応する位置を特定する。
これにより、拡張パケット生成部341は、部分画像の撮像画像内の位置がペイロード部に記載されていない画像パケットについても、画像パケットに含まれる部分画像の撮像画像内の位置を特定することができる。
【0046】
ステップS202により、拡張パケット生成部341は、受信した画像パケットに画像列形式情報が含まれる場合、画像パケットに含まれる画像送信装置ID及び画像列形式情報を拡張パケット生成用情報331に設定することで、初期化する。
【0047】
次に、
図7のステップS203において、拡張パケット生成部341は、拡張パケット生成用情報331に基づいて、拡張パケットを生成し(ステップS203)、一連のステップを終了する。
【0048】
図8(b)〜(d)は、拡張パケットのデータ構造の一例を示す模式図である。
図8(b)〜(d)に示すように、拡張パケットは画像パケットと同様のヘッダ部及びペイロード部を有する。
但し、ヘッダ部は、データ送信装置アドレスの代わりに配信制御装置アドレスを有し、さらに、部分画像領域情報を有する。配信制御装置アドレスは、配信制御装置40のアドレスであり、例えば配信制御装置40のIPアドレス及びポート番号等である。拡張パケットの構成も、画像パケットの構成と同様に、ペイロード部の構成によって3種類に分類される。
図8(e)は、部分画像領域情報のデータ構造の一例を示す模式図である。
図8(e)に示すように、部分画像領域情報は、フレームID及び部分画像位置情報等の情報を有する。フレームID及び部分画像位置情報として、それぞれ拡張パケット生成用情報331に記憶されたフレームID及び部分画像位置情報が設定される。
【0049】
拡張パケット生成部341は、画像列形式情報を含む画像パケット(
図6(a))を受信した場合、画像列形式情報を含む拡張パケット(
図8(b))を生成する。また、拡張パケット生成部341は、画像形式情報を含む画像パケット(
図6(b))を受信した場合、画像形式情報を含む拡張パケット(
図8(c))を生成する。一方、拡張パケット生成部341は、画像列形式情報及び画像形式情報を含まない画像パケット(
図6(c))を受信した場合、画像列形式情報及び画像形式情報を含まない拡張パケット(
図8(d))を生成する。
【0050】
なお、拡張パケット生成部341は、拡張パケットにおいて、端末装置50又は画像解析装置60が復号可能な暗号化方式によってペイロード部を暗号化してもよい。配信制御装置40は、拡張パケットのペイロード部を参照できなくても、ヘッダ部のみに基づいて、配信先の端末装置50を特定することができる。一方、拡張パケットのペイロード部を暗号化することにより、配信制御装置40は、拡張パケットに含まれる画像データにアクセスできず、配信制御装置40の管理者等は、拡張パケットに含まれる画像データの内容を閲覧できなくなるため、セキュリティ性の向上及びプライバシーの保護を図ることが可能となる。
【0051】
図7のステップS201において、受信した画像パケットに画像列形式情報が含まれない場合(ステップS201のNo)、拡張パケット生成部341は、受信した画像パケットに画像形式情報が含まれるか否かを判定する(ステップS204)。受信した画像パケットに画像形式情報が含まれる場合(ステップS204のYes)、拡張パケット生成部341は、画像形式情報に基づいて、拡張パケット生成用情報331を更新する(ステップS205)。
【0052】
ステップS205において、拡張パケット生成部341は、受信した画像パケットがフレームの先頭に対応する画像パケットであるか否かを判定し、フレームの先頭に対応する画像パケットである場合、拡張パケット生成用情報331のフレーム番号をインクリメント(1増加)する。拡張パケット生成部341は、画像形式情報に含まれるフレームタイプからフレーム番号を特定し、特定したフレーム番号が、前回受信した画像形式情報に含まれていたフレーム番号と異なるか否かにより、受信した画像パケットがフレームの先頭に対応する画像パケットであるか否かを判定する。
また、拡張パケット生成部341は、画像パケットに含まれる画像形式情報を拡張パケット生成用情報331に設定する。また、拡張パケット生成部341は、画像形式情報に含まれる先頭マクロブロック番号から部分画像位置情報を算出し、拡張パケット生成用情報331に設定する。
【0053】
次に、拡張パケット生成部341は、拡張パケット生成用情報331に基づいて、拡張パケットを生成し(ステップS203)、一連のステップを終了する。
【0054】
ステップS204において、受信した画像パケットに画像形式情報が含まれない場合(ステップS204のNo)、拡張パケット生成部341は、拡張パケット生成用情報331に基づいて、拡張パケットを生成し(ステップS203)、一連のステップを終了する。
【0055】
次に、
図5のステップS105において、拡張パケット送信部342は、拡張パケット生成部341が生成した拡張パケットを第2通信部32を介して配信制御装置40に送信する(ステップS105)。次に、配信制御装置40の拡張パケット受信部431は、通信部41を介してデータ送信装置30から拡張パケットを受信する(ステップS106)。次に、拡張パケット受信部431は、受信した拡張パケットを通信部41を介して画像解析装置60に送信する(ステップS107)。次に、画像解析装置60の関心位置情報生成部631は、通信部61を介して配信制御装置40から拡張パケットを受信する(ステップS108)。次に、関心位置情報生成部631は、受信した拡張パケットに基づいて、撮像画像の画像解析処理を実行する(ステップS109)。
【0056】
図9は、画像解析処理の動作の例を示すフローチャートである。なお、関心位置情報生成部631は、受信した拡張パケットを、画像送信装置IDとフレームIDが同一である拡張パケット毎に関連付けて記憶部62に記憶し、1枚の画像として復号することができた時点で
図9に示す画像解析処理を実行する。
【0057】
まず、関心位置情報生成部631は、受信した拡張パケットのペイロード部を復号して撮像画像を復元する。関心位置情報生成部631は、復元した撮像画像から、公知の画像処理技術を用いて、侵入人物、不審物体等の関心対象を検知する(ステップS301)。
例えば、関心位置情報生成部631は、機械学習技術を用いて、関心対象を検知する。関心位置情報生成部631は、関心対象が写っている複数のサンプル画像と関心対象が写っていない複数のサンプル画像を用いて、関心対象が写っている画像に対して関心対象が写っていることを示す識別結果を出力し、関心対象が写っていない画像に対しては関心対象が写っていないことを示す識別結果を出力するように事前に識別器を学習させておく。関心位置情報生成部631は、復元した撮像画像内の所定の大きさの領域を、その位置をずらしながら切り出して識別器に入力し、その領域内に関心対象が写っているか否かを示す識別結果を得ることにより、関心対象を検知する。
または、関心位置情報生成部631は、パターンマッチング技術を用いて、関心対象を検知してもよい。関心位置情報生成部631は、関心対象が写っている複数の画像のパターンを予め記憶部62に記憶しておく。関心位置情報生成部631は、復元した撮像画像内の所定の大きさの領域を、その位置をずらしながら切り出して、記憶部62に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度が閾値以上であるか否かにより、関心対象を検知する。類似の程度は、例えば正規化相互相関値とすることができる。
【0058】
次に、関心位置情報生成部631は、撮像画像から関心対象を検知した場合、検知した関心対象毎に、関心位置情報を生成するとともに、関心位置情報を含む関心領域パケットを生成し(ステップS302)、一連のステップを終了する。
【0059】
図10は、関心領域パケットのデータ構造の一例を示す模式図である。
図10に示すように、関心領域パケットは、配信制御装置アドレス、画像送信装置ID、フレームID及び関心位置情報等を有する。
配信制御装置アドレス、画像送信装置ID及びフレームIDとして、関心対象が検知された拡張パケットに含まれる配信制御装置アドレス、画像送信装置ID及びフレームIDが設定される。
関心位置情報は、対応位置情報及び対応対象情報を有する。対応位置情報は、撮像画像に関心対象が写っている領域(特定の意味を有する領域)の位置(座標)を示す。対応対象情報は、対応位置情報が示す位置に写っている関心対象を示す識別子(ID)である。例えば、関心対象が画像全体である場合、対応対象情報として1が設定され、関心対象が人物の顔である場合、対応対象情報として2が設定され、関心対象が不審物体である場合、対応対象情報として3が設定される。
【0060】
図5のステップS110において、関心位置情報送信部632は、関心位置情報生成部631が生成した関心位置情報を含む関心領域パケットを通信部61を介して配信制御装置40に送信する(ステップS110)。次に、配信制御装置40の関心位置情報受信部432は、通信部41を介して画像解析装置60から、関心位置情報を含む関心領域パケットを受信する(ステップS111)。次に、配信先情報更新部433は、関心位置情報受信部432が受信した関心領域パケットに含まれる関心位置情報と、記憶部42に記憶された配信先要求情報421とに基づいて、記憶部42に記憶された配信先情報422を更新する(ステップS112)。
【0061】
図11(a)は、配信先要求情報421のデータ構造の一例を示す模式図である。
図11(a)に示すように、配信先要求情報421として、配信用パケットの配信先である端末装置50に対応する項目毎に、画像送信装置ID、配信先端末アドレス及び要求対象情報等の各情報が対応付けて記憶される。配信先要求情報421は、不図示の入力装置を用いて、管理者により事前に設定される。または、配信先要求情報421は、各端末装置50から受信する、各画像送信装置10の利用者からの要求に従って設定されてもよい。
【0062】
画像送信装置IDは、その端末装置50が受信すべき配信用パケットに対応する画像パケットを送信する画像送信装置10の画像送信装置IDである。
配信先端末アドレスは、配信用パケットの配信先の端末装置50のアドレスであり、例えば端末装置50のIPアドレス及びポート番号等である。
要求対象情報は、各端末装置50のユーザが関心を持っており、写っている画像を各端末装置50において受信し表示することが要求されている関心対象を示す識別子(ID)である。要求対象情報は、対応対象情報と同じ定義に従って設定される。
【0063】
図11(b)は、配信先情報422のデータ構造の一例を示す模式図である。
図11(b)に示すように、配信先情報422として、配信用パケットの配信先である端末装置50に対応する項目毎に、画像送信装置ID、配信先端末アドレス、フレームID及び関心位置情報等の各情報が対応付けて記憶される。
【0064】
画像送信装置ID、フレームID及び関心位置情報として、関心領域パケットに含まれる画像送信装置ID、フレームID及び関心位置情報が設定される。
配信先端末アドレスは、配信用パケットの配信先の端末装置50のアドレスであり、例えば端末装置50のIPアドレス及びポート番号等である。
【0065】
ステップS112において、配信先情報更新部433は、まず、関心位置情報受信部432が受信した関心領域パケットから画像送信装置ID及び対応対象情報を抽出する。そして、抽出した画像送信装置ID及び対応対象情報の組合せに対応(一致)する画像送信装置ID及び要求対象情報の組合せとなる項目が、配信先要求情報421に記憶されているか否かを判定する。そして、対応する項目が記憶されている場合、配信先情報422に新たな項目を追加する。ここで、配信先情報422に新たに追加する項目の画像送信装置ID、フレームID及び関心位置情報は、それぞれ関心領域パケットに含まれる画像送信装置ID、フレームID及び関心位置情報である。また、配信先情報422に新たに追加する項目の配信先端末アドレスは、配信先要求情報421において、関心領域パケットから抽出した画像送信装置ID及び対応対象情報に対応する項目の配信先端末アドレスである。なお、関心領域パケットから抽出した画像送信装置ID及び対応対象情報の組合せと対応する画像送信装置ID及び要求対象情報の組合せとなる項目が、配信先要求情報421に記憶されていない場合、配信先情報更新部433は、当該対応対象情報が示す関心領域を必要とする端末装置40が存在しないとみなして、配信先情報422を更新しない。
【0066】
次に、
図5のステップS113において、特定部434は、受信した拡張パケットに基づくパケットの配信先を特定するために、端末装置特定処理を実行する(ステップS113)。
【0067】
図12は、端末装置特定処理の動作の例を示すフローチャートである。なお、
図12に示す端末装置特定処理は、拡張パケットを受信する度に実行される。
【0068】
まず、特定部434は、受信した拡張パケットに含まれる画像送信装置IDが、記憶部42に配信先情報422として記憶されている画像送信装置IDの内の何れかに対応(一致)する項目が存在するか否かを判定する(ステップS401)。
拡張パケットに含まれる画像送信装置IDが、配信先情報422として記憶されている項目において何れの画像送信装置IDにも対応しない場合、特定部434は、対応する端末装置40(配信用パケットの配信先となる端末装置40)が存在しないとみなし(ステップS401のNo)、特に処理を実行せずに一連のステップを終了する。この場合、受信した拡張パケットに基づく配信用パケットは、何れの端末装置50にも配信されない。
一方、拡張パケットに含まれる画像送信装置IDが、配信先情報422として記憶されている項目の画像送信装置IDの内の何れかに対応する場合、特定部434は、対応する端末装置40(配信用パケットの配信先となる端末装置40)が存在するとみなし(ステップS401のYes)、配信先情報422から、当該項目を抽出する。次に、特定部434は、受信した拡張パケットに含まれる部分画像領域情報におけるフレームID及び部分画像位置情報が、配信先情報422から抽出した各項目におけるフレームID及び対応位置情報に対応するか否かを判定する(ステップS402)。
ここで、特定部434は、各フレームIDが一致し、且つ、拡張パケットの部分画像位置情報で示される領域と、配信先情報422の対応位置情報で示される領域の少なくとも一部が重複する場合、各情報が対応すると判定する。なお、特定部434は、拡張パケットの部分画像位置情報で示される領域が、配信先情報422の対応位置情報で示される領域に含まれる場合、各情報が対応すると判定してもよい。また、配信先情報422の対応位置情報で示される領域が、拡張パケットの部分画像位置情報で示される領域に含まれる場合、各情報が対応すると判定してもよい。また、拡張パケットの部分画像位置情報で示される領域と、配信先情報422の対応位置情報で示される領域とが一致する場合に限り、各情報が対応すると判定してもよい。
このように、特定部434は、拡張パケット受信部431により受信した拡張パケットの内、拡張パケットのヘッダ部に含まれる部分画像位置情報が配信先情報422の対応位置情報(関心位置情報受信部432が受信した関心位置情報)に対応する拡張パケットを特定する。そして、特定した拡張パケットに基づいて、配信用パケットを生成する。
また、配信先情報422において各情報が対応すると判定された項目における配信先端末アドレスは、関心位置情報受信部432により受信した関心位置情報に係る関心対象に対応する端末装置50のアドレスである。即ち、特定部434は、配信先情報422において各情報が対応する項目を特定することにより、配信先要求情報421に記憶されている要求対象情報に係る関心対象が、関心位置情報受信部432により受信した関心位置情報に係る関心対象に対応する端末装置50を特定している。
【0069】
各情報が対応しない場合(ステップS402のNo)、特定部434は、特に処理を実行せずに一連のステップを終了する。この場合、拡張パケットに基づく配信用パケットは、何れの端末装置50にも配信されない。
一方、各情報が対応する場合(ステップS402のYes)、配信用パケット生成部435は、拡張パケットに基づいて、配信用パケットを生成し(ステップS403)、一連のステップを終了する。なお、ステップS403では、上記の特定した拡張パケットだけでなく、当該特定した拡張パケットと同じ画像送信装置IDを持つ
図8(b)の拡張パケットについても配信用パケットが生成されるものとする。
【0070】
図11(c)〜(e)は、配信用パケットのデータ構造の一例を示す模式図である。
図11(c)〜(e)に示すように、配信用パケットは拡張パケットと同様のヘッダ部及びペイロード部を有する。
但し、ヘッダ部は、配信制御装置アドレスの代わりに配信先端末アドレスを有し、部分画像領域情報は、ヘッダ部から除去される。配信先端末アドレスは、配信先情報422における画像送信装置ID及びフレームIDが受信した拡張パケットの画像送信装置ID及びフレームIDと一致する項目であって、対応位置情報が受信した拡張パケットの部分画像位置情報に対応すると判定された項目における配信先端末アドレスである。画像送信装置ID及びフレームIDが一致し、対応位置情報に対応すると判定された項目が複数ある(配信先端末アドレスのみが異なる)場合、配信先端末アドレスが異なる複数の配信用パケットが生成される。このように、特定部434は、配信先情報422の対応対象情報と対応付けられた一又は複数の端末装置50を特定することにより、配信先となる端末装置50を特定する処理を行う。ここで、配信先情報422における対応対象情報と端末装置50との対応付けは、画像解析装置60から送信された関心位置情報に基づいて生成されたものである。したがって、画像解析装置60が、(関心対象の識別子を示す)対応対象情報と当該関心対象の位置を示す対応位置情報とを関心位置情報として(関心領域パケットにより)送信することにより、当該関心対象の配信を要求する複数の端末装置50に対しても、当該関心対象に対応する部分画像の配信用パケットを適切に配信することが可能となる。
なお、配信用パケットの種類も、拡張パケットの種類と同様に、ペイロード部の構成によって3種類に分類される。
【0071】
配信用パケット生成部435は、画像列形式情報を含む拡張パケット(
図8(b))を受信した場合、画像列形式情報を含む配信用パケット(
図11(c))を生成する。また、配信用パケット生成部435は、画像形式情報を含む拡張パケット(
図8(c))を受信した場合、画像形式情報を含む配信用パケット(
図11(d))を生成する。一方、配信用パケット生成部435は、画像列形式情報及び画像形式情報を含まない拡張パケット(
図8(d))を受信した場合、画像列形式情報及び画像形式情報を含まない配信用パケット(
図11(e))を生成する。
【0072】
次に、
図5のステップS114において、パケット配信部436は、配信用パケット生成部435が生成した配信用パケットを通信部41を介して、配信用パケットに含まれる配信先端末アドレスの各端末装置50に送信する(ステップS114)。次に、各端末装置50は、通信部を介して配信制御装置40から配信用パケットを受信する(ステップS115)。次に、各端末装置50は、受信した配信用パケットのペイロード部を復号して部分画像を復元し、表示部に表示する(ステップS115)。なお、本実施形態では、スライス単位の画像データをペイロード部に含まれる部分画像データとしている。したがって、各端末装置50では、撮像画像の内、受信した配信用パケットに含まれるスライスの領域のみが表示され、他のスライスの領域については表示されない(黒色表示される)。これにより、データ配信システム1の全体動作シーケンスは終了する。
【0073】
なお、配信制御装置40のパケット配信部436は、所定の条件を満たす場合に限り、各配信用パケットを配信してもよい。
例えば、パケット配信部436は、警備装置20が監視対象を警備中である場合に限り、各配信用パケットを配信してもよい。その場合、配信制御装置40は、記憶部42に、警備装置20に「警備」が設定されているか「非警備」が設定されているか、即ち警備装置20が監視対象を警備中であるか否かを示す警備状態情報を記憶しておく。上記したように、画像パケットに含まれる撮像画像は、警備装置20により警備される監視対象を撮像した画像である。パケット配信部436は、警備装置20が監視対象を警備中でない場合は、各配信用パケットを配信せずに、警備装置20が監視対象を警備中である場合に限り、各配信用パケットを配信する。
これにより、警備装置20が監視対象を警備中でない場合は、各端末装置50が受信するパケットのデータ量を低減させてネットワーク負荷を軽減させつつ、警備装置20が監視対象を警備中である場合は、各端末装置50に画像を表示させることが可能となる。
【0074】
また、画像解析装置60は、配信制御装置40から拡張パケットを受信することにより、撮像画像を取得するのではなく、他の方法により撮像画像を取得してもよい。例えば、画像解析装置60は、データ送信装置30から拡張パケットを受信することにより、撮像画像を取得してもよいし、画像送信装置10から画像パケットを受信することにより、撮像画像を取得してもよい。
【0075】
また、配信制御装置40は、配信先要求情報421において記憶されている関心対象情報に係る関心対象が、画像解析装置60から受信した関心位置情報に係る関心対象に対応する端末装置50を特定せずに、予め定められた所定の端末装置50に配信用パケットを配信してもよい。
【0076】
以上説明してきたように、本発明の一実施形態に係るデータ配信システム1では、配信制御装置40が、撮像画像内の部分画像に係るパケットについて、部分画像に関心対象が写っているパケットを特定し、その特定したパケットのみを端末装置50に配信する。これにより、データ配信システム1は、端末装置50に対して関心対象が写っている部分画像のパケットのみを配信することができ、各端末装置50が受信するパケットのデータ量を低減させてネットワーク負荷を軽減させることが可能となる。
また、配信制御装置40は、パケットを配信すべき端末装置50を即時に特定し、配信するため、受信したパケットを長期にわたって保持しておく必要がない。したがって、配信制御装置40における記憶容量の低減を図ることが可能となる。
また、配信制御装置40は、所定のデータに係るパケットを、パケット単位で取捨選択することによって、各端末装置50へ割り振るため、パケットから撮像画像を再構成して端末装置50が必要とする部分画像を切り出すような画像変換を実行する必要がなく、処理負荷を軽減させることが可能となる。
また、配信制御装置40は、データのヘッダ部のみにアクセスすればよく、ペイロード部(データ自体)にアクセスする必要がないため、配信制御装置40の管理者によるデータの閲覧を難しくすることが可能となり、セキュリティ性の向上及びプライバシーの保護を図ることが可能となる。特に、ペイロード部のデータを暗号化して送信した場合であっても、ヘッダ部のみに基づいてパケット単位で取捨選択できるため、配信制御装置40におけるデータの閲覧をより一層困難にすることができる。