特許 6443145 動画像データ蓄積装置、動画像データ蓄積プログラム、動画像データ蓄積方法、及び動画像データ蓄積システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6443145

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】動画像データ蓄積装置、動画像データ蓄積プログラム、動画像データ蓄積方法、及び動画像データ蓄積システム

(51)【国際特許分類】

   G08G 1/04 20060101AFI20181217BHJP

   G08G 1/056 20060101ALI20181217BHJP

   G08G 1/052 20060101ALI20181217BHJP

   H04N 7/18 20060101ALI20181217BHJP

   G06T 7/20 20170101ALI20181217BHJP

   G06K 9/00 20060101ALI20181217BHJP

【ＦＩ】

   G08G1/04 D

   G08G1/056

   G08G1/052

   H04N7/18 D

   H04N7/18 U

   G06T7/20

   G06K9/00 S

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2015-51458(P2015-51458)

(22)【出願日】2015年3月13日

(65)【公開番号】特開2016-170735(P2016-170735A)

(43)【公開日】2016年9月23日

【審査請求日】2018年1月15日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】田中 律子

【審査官】 白石 剛史

(56)【参考文献】

【文献】 特開２０１３−１８２５５０（ＪＰ，Ａ）

【文献】 特開２００６−３３２８８１（ＪＰ，Ａ）

【文献】 特開２００１−３５７４０２（ＪＰ，Ａ）

【文献】 特開２００２−３３５４７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０４

Ｇ０６Ｋ ９／００

Ｇ０６Ｔ ７／２０

Ｇ０８Ｇ １／０５２

Ｇ０８Ｇ １／０５６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

所定領域の動画像を撮像する撮像装置から送信される動画像データを受信する受信部と、
前記受信部が受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出する抽出部と、
前記抽出部が抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出する認識部と、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出する算出部と、
前記算出部が算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する記憶部と、
を備える動画像データ蓄積装置。

【請求項2】

前記記憶部は、複数の車両それぞれが前記撮像装置に撮像されていると予測される時間帯が重複している場合に、少なくともいずれかの時間帯が含まれる時間帯の動画像データを、前記複数の車両それぞれのナンバープレート情報及びそれぞれの時間帯の情報とともに記憶する、ことを特徴とする請求項１に記載の動画像データ蓄積装置。

【請求項3】

前記ナンバープレート情報は、前記ナンバープレートの大きさを特定する情報、及び前記ナンバープレートに記載されている分類番号の上１桁の情報、の少なくとも一方であり、
前記算出部は、前記ナンバープレート情報から特定した車両の大きさの情報に基づいて前記時間帯を算出することを特徴とする請求項１又は２に記載の動画像データ蓄積装置。

【請求項4】

前記記憶部は、通信回線を介して接続された外部の記憶装置に、前記算出部が算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶することを特徴とする請求項１〜３のいずれか一項に記載の動画像データ蓄積装置。

【請求項5】

前記車両が前記撮像装置により撮像されていると予測される時間帯の終了時刻に撮像されたフレームを確認し、当該車両が撮像されていた場合に、前記時間帯を延長する延長部、を更に備える請求項１〜４のいずれか一項に記載の動画像データ蓄積装置。

【請求項6】

所定領域の動画像を撮像する撮像装置から送信される動画像データを受信し、
受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出し、
抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出し、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出し、
算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する、
処理をコンピュータに実行させることを特徴とする動画像データ蓄積プログラム。

【請求項7】

所定領域の動画像を撮像する撮像装置から送信される動画像データを受信し、
受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出し、
抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出し、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出し、
算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する、
処理をコンピュータが実行することを特徴とする動画像データ蓄積方法。

【請求項8】

請求項１〜５のいずれか一項に記載の動画像データ蓄積装置と、
前記動画像データ蓄積装置の記憶部が動画像データ、ナンバープレート情報及び時間帯情報を記憶する記憶装置を有する外部装置と、を備える動画像データ蓄積システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像データ蓄積装置、動画像データ蓄積プログラム、動画像データ蓄積方法及び動画像データ蓄積システムに関する。

【背景技術】

【0002】

従来、移動物体を認識したことをトリガとして任意のタイミングで画像データを記録する技術が知られている（例えば、特許文献１等参照）。例えば、特許文献１では、移動物体を認識した時点を中心として、その前後に同時間、画像を記録する点や、移動物体を認識した時点で画像記録を終了する点について開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−１８２４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像データを記録する場合において、ハードディスク等の記憶装置の記憶容量を効率的に利用するためには、撮像された画像データのうち必要な部分のみを記録することが好ましい。例えば、道路などにおいて車両などの移動物体を監視する装置の場合には、移動物体が撮像されている時間帯に絞って画像データを記録することが好ましい。

【0005】

しかしながら、上記特許文献１では、移動物体が撮像されている時間帯に絞って、画像データを記録することはできない。

【0006】

１つの側面では、本発明は、車両が撮像されている時間帯に絞って動画像データを記憶することができる動画像データ蓄積装置、動画像データ蓄積プログラム、動画像データ蓄積方法及び動画像データ蓄積システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様では、動画像データ蓄積装置は、所定領域の動画像を撮像する撮像装置から送信される動画像データを受信する受信部と、前記受信部が受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出する抽出部と、前記抽出部が抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出する認識部と、前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出する算出部と、前記算出部が算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する記憶部と、を備えている。

【発明の効果】

【0008】

１つの側面として、車両が撮像されている時間帯に絞って動画像データを記憶することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る監視システムの構成を概略的に示す図である。

【図2】図２（ａ）は、監視装置のハードウェア構成を示す図であり、図２（ｂ）は、サーバのハードウェア構成を示す図である。

【図3】監視装置の機能ブロック図である。

【図4】解析結果ＤＢのデータ構造の一例を示す図である。

【図5】映像ＤＢのデータ構造の一例を示す図である。

【図6】車両大きさテーブルの動画像データ蓄積システム

【図7】図７（ａ）〜図７（ｃ）は、ナンバープレートの大きさの違いを示す図である。

【図8】監視装置の処理を示すフローチャート（その１）である。

【図9】監視装置の処理を示すフローチャート（その２）である。

【図10】車両の滞在時間を算出する方法について説明するための図（その１）である。

【図11】車両の滞在時間を算出する方法について説明するための図（その２）である。

【図12】車両Ａを認識した場合の、図９のステップＳ３２の処理後の解析結果ＤＢを示す図である。

【図13】車両Ｂ，Ｃを認識した場合の、図９のステップＳ３２の処理後の解析結果ＤＢを示す図である。

【図14】動画データ（映像ファイル）の保存方法について概略的に示す図である。

【発明を実施するための形態】

【0010】

以下、動画像データ蓄積システムの一実施形態である、監視システムについて、図１〜図１４に基づいて詳細に説明する。

【0011】

図１には、一実施形態にかかる監視システム１００の構成が概略的に示されている。図１に示すように、監視システム１００は、撮像装置としての複数の監視カメラ１０と、動画像データ蓄積装置としての複数の監視装置２０と、外部装置としてのサーバ７０と、を備える。監視カメラ１０と監視装置２０は通信ケーブル等を介して接続され、監視装置２０、及びサーバ７０は、インターネットなどのネットワーク８０に接続されている。

【0012】

監視カメラ１０は、例えば、道路近傍に設置され、道路及び道路を走行する車両等を撮像する。監視カメラ１０は、一例として動画（映像）を撮像し、撮像した動画データ（映像データ）を監視装置２０に送信する。

【0013】

監視装置２０は、各監視カメラ１０に対応して、各監視カメラ１０の近傍に設けられており、監視カメラ１０において撮像された動画データを受信し、動画データから得られる情報に基づいて、記憶（蓄積）する動画データの範囲を決定する。また、監視装置２０は、記憶した動画及び動画から得られる情報をサーバ７０に対して送信する。

【0014】

図２（ａ）には、監視装置２０のハードウェア構成が示されている。図２（ａ）に示すように、監視装置２０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら監視装置２０の構成各部は、バス９８に接続されている。ＣＰＵ９０は、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（動画像データ蓄積プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（動画像データ蓄積プログラムを含む）を実行することにより、監視装置２０を、図３に示す各部として機能させる。なお、図３には、監視装置２０のＨＤＤ９６等に格納されている解析結果ＤＢ（database）４０、映像ＤＢ４２、及び車両大きさテーブル４４も図示されている。

【0015】

図３には、監視装置２０の機能ブロック図が示されている。図３に示すように、ＣＰＵ９０がプログラムを実行することにより、監視装置２０は、受信部及び抽出部としての画像入力部２２、車両抽出部２４、プレート抽出・認識部２６、車両速度算出部２８、算出部としての滞在時間予測部３０、延長部としての映像保存時間判定部３２、記憶部としての保存部３４、出力部３６、として機能する。

【0016】

画像入力部２２は、監視カメラ１０から送信されてくる動画データを受信し、該動画データから１つのフレーム及び該フレームの撮像時刻を取得し、車両抽出部２４に対して送信する。車両抽出部２４は、画像入力部２２から受信したフレームから車両が撮像されている部分（車両部分）を抽出し、プレート抽出・認識部２６に送信する。プレート抽出・認識部２６は、車両抽出部２４から受信した車両部分に基づいて、ナンバープレート部分を抽出し、ナンバープレートに記載されているナンバー情報（運輸支局等、分類番号、かな文字、一連指定番号）やナンバープレートの大きさ（大型、中型、小型）を認識する。プレート抽出・認識部２６は、認識結果を保存部３４に送信し、保存部３４は、認識結果を解析結果ＤＢ４０に格納する。

【0017】

車両速度算出部２８は、車両が撮像されている複数フレームにおける車両の位置（移動量）に基づいて、車両の移動方向（進行方向）及び車両速度を算出する。車両速度算出部２８は、算出した車両の移動方向（進行方向）や速度の情報を保存部３４に送信し、保存部３４は車両の移動方向（進行方向）や速度の情報を解析結果ＤＢ４０に格納する。滞在時間予測部３０は、車両を認識した時刻（認識開始時刻）や、車両速度、ナンバー情報やナンバープレートの大きさ、車両大きさテーブル４４等に基づいて、車両が監視カメラ１０によって撮像されている時間（動画内に車両が滞在している時間：滞在時間）を予測する。なお、本実施形態では、車両が監視カメラ１０によって撮像されている時間（滞在時間）とは、車両の少なくとも一部が撮像され始めた時刻から車両の全てが撮像されなくなるまでの時刻までの間の時間を意味する。滞在時間予測部３０は、予想結果を保存部３４に送信し、保存部３４は予測結果を解析結果ＤＢ４０に格納する。

【0018】

映像保存時間判定部３２は、滞在時間予測部３０の予測結果に基づいて、映像を保存する時間範囲（時間帯）を判定する。ここで、映像保存時間判定部３２は、滞在時間予測部３０が予測した時間が終了した時点で、実際に車両が撮像されていないかを確認し、車両が撮像されていなければ、予測した時間内に撮像された動画を保存すると判定する。また、映像保存時間判定部３２は、予測した時間が終了した時点で車両が未だ撮像されていることを確認した場合には、動画データを保存する時間（時間帯）を延長する。保存部３４は、映像保存時間判定部３２が判定した、動画データを保存する時間に基づいて、映像ＤＢ４２に動画（映像）データを保存する。また、保存部３４は、前述したように動画データから得られる情報を解析結果ＤＢ４０に格納する。出力部３６は、定期的に、映像ＤＢ４２に保存された動画データと解析結果ＤＢ４０に格納された情報とを、サーバ７０に対して送信する。

【0019】

なお、プレート抽出・認識部２６及び車両速度算出部２８を含んで、抽出した複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、複数枚のフレームから車両の移動方向（進行方向）及び移動速度を算出する、認識部としての機能が実現されている。

【0020】

ここで、解析結果ＤＢ４０、映像ＤＢ４２、及び車両大きさテーブル４４のデータ構造について説明する。

【0021】

図４には、解析結果ＤＢ４０のデータ構造が示されている。解析結果ＤＢ４０は、車両抽出部２４により抽出された車両ごとに、「認識ＩＤ」、「認識日時」、「認識場所」、「認識方向」、「ナンバー情報」、「ナンバープレートの大きさ」、「車両速度」、「進行方向」、「滞在時間」、「映像ＩＤ」を格納する。「認識ＩＤ」は、車両抽出部２４が車両を抽出するたびに発行する識別番号であり、「認識日時」は、車両抽出部２４が車両を抽出した日時、「認識場所」は、監視カメラ１０が設置された場所、「認識方向」は、監視カメラ１０の撮像方向を意味する。なお、「認識場所」及び「認識方向」は、監視カメラ１０ごとに予め定義されている情報である。

【0022】

「ナンバー情報」は、運輸支局等、分類番号、かな文字、一連指定番号を含み、図７（ａ）〜図７（ｃ）に示すようなナンバープレートからプレート抽出・認識部２６が認識した情報が格納される。なお、図７（ａ）の例では、運輸支局等が「仙台」、分類番号が「１９９」、かな文字が「は」、一連指定番号が「４４４４」となっている。「ナンバープレートの大きさ」としては、中型や大型などがある。図７（ａ）〜図７（ｃ）には、大きさの異なるナンバープレートの例が示されている。図７（ａ）は、大型のナンバープレートを示し、図７（ｂ）は中型のナンバープレートを示している。また、図７（ｃ）は、小型のナンバープレートを示している。なお、プレート抽出・認識部２６は、ナンバープレートの大きさを、各文字の大きさ関係、配置などから認識することが可能である。

【0023】

「車両速度」は、車両速度算出部２８が算出した車両の速度情報であり、「進行方向」は、「認識方向」と車両速度算出部２８が算出した車両の映像内における移動方向とから特定される車両の進行方向を意味する。また、「滞在時間」としては、車両が撮像範囲に入ってきたと予測される時刻（入場予測時刻）、実際に車両を最初に認識した時刻（認識開始時刻）、実際に車両が映像内から消えた時刻（退出時刻）、車両が撮像範囲内から消えると予測された時刻（退出予測時刻）とが格納される。「映像ＩＤ」としては、映像に付与された識別番号が格納される。なお、図４においては、車両Ｂと車両Ｃとが同時に撮像されている時間があることから、車両Ｂと車両Ｃの動画を別々にせずに一つの動画にまとめている（映像ＩＤが同一となる）。

【0024】

図５には、映像ＤＢ４２のデータ構造が示されている。映像ＤＢ４２には、保存部３４が保存した動画像データ（映像データ）が、「映像ＩＤ」、「開始時刻」、「終了時刻」とともに記憶されている。

【0025】

図６には、車両大きさテーブル４４のデータ構造が示されている。車両大きさテーブル４４は、ナンバープレートの分類番号１桁目（上１桁目）と、ナンバープレートの大きさ（中型、大型、不明）とに基づいて、車両の大きさ（全長）を推定するのに用いられるテーブルである。例えば、ナンバープレートの分類番号上１桁目が「２」であり、ナンバープレートの大きさが「中型」であった場合には、車両大きさテーブル４４より、車両の大きさ（全長）が「６ｍ」と推定される。

【0026】

図１に戻り、サーバ７０は、各監視装置２０から送信されてきた動画データ及び動画データから得られる情報を管理する装置である。サーバ７０は、図２（ｂ）に示すようなハードウェア構成を有する。具体的には、サーバ７０は、図２（ｂ）に示すように、ＣＰＵ１９０、ＲＯＭ１９２、ＲＡＭ１９４、記憶装置としての記憶部（ＨＤＤ）１９６、ネットワークインタフェース１９７、及び可搬型記憶媒体１９１に記憶されたデータを読み取り可能な可搬型記憶媒体用ドライブ１９９等を備えている。これらサーバ７０の構成各部は、バス１９８に接続されている。ＣＰＵ１９０は、ネットワーク８０に接続された各監視装置２０の出力部３６から送信されてきた動画データや、動画データに関連する情報を収集し、ＨＤＤ１９６等に格納する。

【0027】

（監視装置２０の処理）
次に、図８、図９のフローチャートに沿って、その他図面を適宜参照しつつ、監視装置２０の処理について、詳細に説明する。

【0028】

図８の処理では、まず、ステップＳ１０において、画像入力部２２が、監視カメラ１０において撮像された動画データの１つのフレーム（最新のフレーム）を取得する。なお、画像入力部２２は、取得したフレームの撮像時刻の情報についても取得する。

【0029】

次いで、ステップＳ１２では、車両抽出部２４が、１つのフレームから車両部分を抽出する。なお、車両部分の抽出方法としては、例えば、車両のテンプレート画像を用いたテンプレートマッチング等を採用することができる。ただし、これに限らず、車両部分の抽出方法としては、種々の方法を採用することができる。

【0030】

次いで、ステップＳ１４では、車両抽出部２４が、新たな車両を抽出できたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１０に戻る。なお、ステップＳ１４の判断が否定されている間は、ステップＳ１０の処理は、例えば動画の１フレームに対応する時間毎に実行されるものとする。

【0031】

一方、ステップＳ１４の判断が肯定された場合、すなわち、新たな車両を抽出できた場合には、ステップＳ１６に移行し、プレート抽出・認識部２６は、フレームからナンバープレート部分を抽出する。なお、プレート抽出・認識部２６は、１つのフレームの車両部分において、白や黄色、緑色の略矩形領域をナンバープレート部分として抽出する。

【0032】

次いで、ステップＳ１８では、プレート抽出・認識部２６が、ナンバーを認識し、保存部３４を介して解析結果ＤＢ４０に記憶する。なお、ナンバーの認識には、ナンバープレート情報（ナンバープレートに記載されている文字の情報）のほか、ナンバープレートの大きさ情報も含まれる。

【0033】

次いで、ステップＳ２０では、車両速度算出部２８が、画像入力部２２から次のフレーム（及び撮像時刻の情報）を取得し、該次のフレームとステップＳ１０で取得したフレームとに基づいて、車両の進行方向と車両速度を算出し、保存部３４を介して解析結果ＤＢ４０に記憶する。この場合、車両速度算出部２８は、２枚のフレーム間における車両の移動量を公知の技術に基づいて算出し、算出した移動量と２枚のフレームの撮像時間間隔とから、車両速度を算出する。なお、車両速度を何らかの理由により算出できなかった場合には、その旨を保存部３４を介して解析結果ＤＢ４０に記憶する。また、車両速度算出部２８は、監視カメラ１０の認識方向と２枚のフレームから算出した車両の移動方向とから車両の進行方向を特定する。ステップＳ２０の後は、ステップＳ１０に戻り、監視装置２０においては、上述した処理が繰り返し実行される。

【0034】

なお、ステップＳ２０の処理が行われた段階では、図４の解析結果ＤＢ４０には、「項目」、「認識ＩＤ」、「認識日時」、「認識場所」、「認識方向」、「ナンバー情報」、「ナンバープレートの大きさ」、「車両速度」、「進行方向」の情報が格納される。

【0035】

次に、図９に基づいて、監視装置２０において、図８の処理と並行して実行される処理について、詳細に説明する。

【0036】

図９の処理では、まず、ステップＳ３０において、滞在時間予測部３０が、新たな車両速度が解析結果ＤＢ４０に記憶されたか否かを判断する。このステップＳ３０の判断が否定された場合には、ステップＳ３４に移行するが、肯定された場合には、ステップＳ３２に移行する。

【0037】

ステップＳ３２に移行すると、滞在時間予測部３０は、新たな車両の滞在時間を算出する。ここで、滞在時間の算出方法の一例について、図１０に基づいて説明する。なお、監視カメラ１０ごとに撮像距離、車両の進行方向、標準車両速度（例えば設置場所の法定速度）が予め定義されているものとする。

【0038】

(1)まず、滞在時間予測部３０は、図６の車両大きさテーブル４４を参照し、ナンバープレートの大きさと分類番号の上１桁目の認識結果とに基づいて、車両の長さを推定する。

【0039】

(2)次いで、滞在時間予測部３０は、進行方向が順方向（予め定義しておいた方向と同じ方向）の場合は、ナンバープレートを認識した位置（認識位置）のフレーム内における位置情報に基づいて、図１０に示す距離Ａ（フレーム内に車両が入場してからナンバープレートが認識されるまでの走行距離）を算出する。具体的には、ナンバープレートのフレーム上端からの距離の、フレームの上下方向に関する大きさに対する比率と、図１０に示す撮像距離とにより距離Ａを算出する。

【0040】

(3)次いで、滞在時間予測部３０は、車両速度、距離Ａ、及びナンバープレートを認識した時刻から、撮像範囲に車両が入場した時刻を予測し、予測した時刻を「入場予測時刻」とする。なお、車両速度が不明な場合は、滞在時間予測部３０は、車両の速度を標準車両速度（例えば法定速度）と仮定して入場予測時刻を予測する。

【0041】

(4)次いで、滞在時間予測部３０はナンバープレートを認識した位置（認識位置）のフレーム内における位置情報と、撮像距離とに基づいて距離Ｂを算出する。そして、滞在時間予測部３０は、車両速度、「距離Ｂ＋車両の長さ」、ナンバープレートを認識した時刻に基づいて、撮像範囲から退出する時刻を予測し、予測した時刻を「退出予測時刻」とする。なお、本実施形態では、車両全体が通過するまでを滞在時間としている。なお、滞在時間予測部３０は、撮像距離と距離Ａとの差から、距離Ｂを算出してもよい。

【0042】

なお、図１１に示すように、車両の進行方向が逆方向（予め定義した方向と反対の方向）の場合は、車両後部のナンバープレートを認識するので、入場予測時刻は、車両速度と「距離Ｃ＋車両の長さ」、撮像時刻から算出し、退出予測時刻は車両速度と距離Ｄ、撮像時刻から算出することになる。

【0043】

なお、ステップＳ３２の処理が行われた段階では、解析結果ＤＢ４０は、図１２に示すように、退出時刻の項目以外の項目にデータが格納された状態となる。なお、同時に２台の車両（車両Ｂ，Ｃ）が存在する時間がある場合には、後述するステップＳ３４の判断が肯定されるまでの間に、ステップＳ３２が２回行われるので、図１３に示すように、解析結果ＤＢ４０は、車両Ｂ，Ｃの退出時刻の項目以外の項目にデータが格納された状態となる。

【0044】

ステップＳ３２の後、又はステップＳ３０の判断が否定された後は、ステップＳ３４に移行し、滞在時間予測部３０が、退出時刻が記録されていない車両の退出予測時刻のうち最も遅い時刻が到来したか否かを判断する。なお、退出時刻が記録されていない車両の退出予測時刻が１つである場合（図１２の場合）には、滞在時間予測部３０は、当該退出予測時刻が到来したか否かを判断する。ここでの判断が否定された場合には、ステップＳ３０に戻るが、肯定された場合には、ステップＳ３６に移行する。

【0045】

ステップＳ３６に移行すると、映像保存時間判定部３２が、車両の退出予測時刻において撮像されたフレームを取得し、解析を行う。次いで、ステップＳ３８では、映像保存時間判定部３２は、フレームに車両が存在したか否かを判断する。

【0046】

ステップＳ３８の判断が否定された場合、すなわち車両が既に撮像されていない場合には、ステップＳ４０に移行し、保存部３４は、入場予測時刻から退出時刻（ここでは、退出予測時刻と同一時刻）の間の映像データを映像ＤＢ４２に格納するとともに、現在時刻を解析結果ＤＢ４０に記憶する。なお、図１２の場合には、車両Ａの退出時刻として車両Ａの退出予測時刻と同一時刻が格納される。一方、図１３の場合には、車両Ｃの退出時刻として車両Ｃの退出予測時刻と同一時刻が格納される。なお、車両Ｂの退出時刻については、車両Ｂの退出予測時刻と同一時刻を格納することとしてもよいし、映像保存時間判定部３２がフレームを解析し続ける場合には、車両Ｂが撮像されなくなった実際の時刻を退出時刻としてもよい。その後は、図９の全処理を終了する。

【0047】

一方、ステップＳ３８の判断が肯定された場合、すなわちフレームに車両が存在していた場合には、ステップＳ４２に移行し、滞在時間予測部３０は、所定時間待機し、ステップＳ３６に戻る。なお、ステップＳ４２の処理は、動画データを残す時間帯を延長する処理であるといえる。なお、ステップＳ３６に戻った後は、滞在時間予測部３０は、所定時間経過後のフレームを取得し、解析を行う。そして、ステップＳ３８の判断が否定された場合には、上記と同様にステップＳ４０の処理を実行する。なお、ステップＳ４０においては、図１２の場合であれば、車両Ａの退出時刻として車両Ａの退出予測時刻に（ステップＳ４２の実行回数）×（ステップＳ４２の所定時間）を加算した時刻が格納される。一方、図１３の場合には、車両Ｃの退出時刻として車両Ｃの退出予測時刻に（ステップＳ４２の実行回数）×（ステップＳ４２の所定時間）を加算した時刻が格納される。なお、車両Ｂの退出時刻については、車両Ｂの退出予測時刻と同一時刻を格納することとしてもよいし、映像保存時間判定部３２がフレームを解析し続ける場合には、車両Ｂが撮像されなくなった実際の時刻を退出時刻としてもよい。その後は、図９の全処理を終了する。

【0048】

ここで、図９の処理が終了する前に、２台以上の車両が同時に撮像される時間が存在した場合には、図４の車両Ｂ，Ｃのように、１つの映像ＩＤ(201401010001)に対して、２つの車両の滞在時間（タイムスタンプ）の情報が対応付けられる。一方、２台以上の車両が同時に撮像される時間が存在しなかった場合には、図４の車両Ａのように、１つの映像ＩＤに対して、１つの車両の滞在時間（タイムスタンプ）の情報が対応付けられる。図１４には、映像ファイルと各車両のタイムスタンプの関係が模式的に示されている。図１４に示すように、車両Ｂと車両Ｃが同時に撮像されている時間が存在する場合には、車両Ｂの入場予測時刻から車両Ｃの退出時刻までの動画データが１つの映像ファイルとして映像ＤＢ４２に記憶され、解析結果ＤＢ４０には、車両Ｂ，Ｃのタイムスタンプ（入場予測時刻と退出時刻）が記憶されることになる。

【0049】

なお、出力部３６は、解析結果ＤＢ４０に蓄積されたデータと、映像ＤＢ４２に蓄積されたデータを、適宜（例えば所定時間毎に）サーバ７０に対して出力する。なお、出力部３６がサーバに送信したデータは、解析結果ＤＢ４０や映像ＤＢ４２から削除するようにしてもよい。

【0050】

以上、詳細に説明したように、本実施形態によると、監視装置２０は、道路等の動画を撮像する監視カメラ１０から送信される動画データを受信し、画像入力部２２が受信した動画データから同一の車両が撮像されている２枚のフレーム及びそれぞれの撮像時刻を抽出する画像入力部２２と、抽出したフレームの少なくとも１枚からナンバープレート部分を抽出し、抽出した部分からナンバープレート情報（ナンバーの文字情報やナンバープレートの大きさ）を認識するプレート抽出・認識部２６と、２枚のフレームから車両の移動方向及び移動速度を算出する車両速度算出部２８と、撮像時刻、ナンバープレート情報、移動方向及び移動速度に基づいて、車両が監視カメラ１０により撮像されていると予測される時間帯（滞在時間）を算出する滞在時間予測部３０と、算出した時間帯（滞在時間）に対応する動画データをナンバー情報及び時間帯（滞在時間）とともに記憶する保存部３４と、を備える。これにより、車両が監視カメラ１０により撮像されている時間帯に絞って動画データを映像ＤＢ４２やサーバ７０に記憶することができるので、ＨＤＤ９６やサーバ７０のＨＤＤ１９６の記憶容量を効率的に利用することができる。また、動画データは、車両のナンバー情報と車両の滞在時間の情報と関連付けられるため、動画データがどの車両を撮像したものであるかを判別しやすくすることができる。また、本実施形態では、車両の大きさを考慮することで、車両が撮像されている間（車両の少なくとも一部が撮像され始めてから車両の全てが撮像されなくなるまでの間）の時間を予測することができる。これにより、適切な時間範囲の動画データを保存することが可能である。

【0051】

また、本実施形態では、保存部３４は、複数の車両それぞれが監視カメラ１０に撮像されていると予測される時間帯（滞在時間）が重複している場合に、少なくともいずれかの時間帯（滞在時間）が含まれる範囲の動画データを、複数の車両それぞれのナンバープレート情報及びそれぞれの時間帯の情報とともに記憶する。このように、複数の車両が同時に撮像されている場合に、１つの動画データとして保存することから、車両ごとに複数の動画データを別々に保存する場合に比べ、効率的な保存が可能となる。

【0052】

また、本実施形態では、プレート抽出・認識部２６が、ナンバープレートの大きさを特定する情報（文字の配置関係や大きさ関係などナンバープレートが大型、中型、小型のいずれであるかを示す情報）と、ナンバープレートに記載されている分類番号の上１桁の情報を認識し、滞在時間予測部３０は、プレート抽出・認識部２６が認識した情報に基づいて時間帯を算出する。これにより、車両の大きさを精度良く予測し、該予測結果に基づいて、滞在時間（車両が撮像されている時間）を精度よく算出することができる。

【0053】

また、本実施形態では、映像保存時間判定部３２は、車両が監視カメラ１０により撮像されていると予測される時間帯の終了時刻に撮像されたフレームを確認し（Ｓ３６）、当該車両が撮像されていた場合（Ｓ３８：肯定）に、時間帯を延長する（Ｓ４２）。これにより、予測した時間帯を超えて車両が監視カメラ１０により撮像されている場合にも、車両が撮像されている間の動画データを保存することが可能となる。

【0054】

なお、上記実施形態では、ステップＳ４２の処理が頻繁に繰り返される場合や、退出予測時刻と退出時刻との差分の平均が所定値以上になった場合には、図６の車両大きさテーブル４４の数値を長く変更（補正）するようにしてもよい。また、ステップＳ３８の判断が常に否定されるような場合には、ステップＳ３８の判断が所定頻度で適度に肯定されるように図６の車両大きさテーブル４４の数値を調整し、滞在時間として適切な時間が算出されるようにしてもよい。

【0055】

なお、上記実施形態では、監視装置２０からサーバ７０に対して各種データを送信する場合について説明したが、これに限らず、監視装置２０が各種データを保持し続けてもよい。この場合、図１からサーバ７０を省略してもよい。

【0056】

なお、上記実施形態では、監視装置２０が動画データの記憶する範囲を決定し、映像ＤＢ４２に記憶したり、サーバ７０に送信する場合について説明したがこれに限られるものではない。例えば、監視装置２０は、解析結果ＤＢ４０のデータを蓄積し、当該解析結果ＤＢ４０のデータをサーバ７０に送信することとし、サーバ７０が、解析結果ＤＢ４０に基づいて動画データの記憶する範囲を決定することとしてもよい。この場合、監視装置２０とサーバ７０を含んで動画像データ蓄積装置として機能する。

【0057】

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

【0058】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0059】

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

【0060】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【0061】

なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 所定領域の動画像を撮像する撮像装置から送信される動画像データを受信する受信部と、
前記受信部が受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出する抽出部と、
前記抽出部が抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出する認識部と、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出する算出部と、
前記算出部が算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する記憶部と、
を備える動画像データ蓄積装置。
（付記２） 前記記憶部は、複数の車両それぞれが前記撮像装置に撮像されていると予測される時間帯が重複している場合に、少なくともいずれかの時間帯が含まれる時間帯の動画像データを、前記複数の車両それぞれのナンバープレート情報及びそれぞれの時間帯の情報とともに記憶する、ことを特徴とする付記１に記載の動画像データ蓄積装置。
（付記３） 前記ナンバープレート情報は、前記ナンバープレートの大きさを特定する情報、及び前記ナンバープレートに記載されている分類番号の上１桁の情報、の少なくとも一方であり、
前記算出部は、前記ナンバープレート情報から特定した車両の大きさの情報に基づいて前記時間帯を算出することを特徴とする付記１又は２に記載の動画像データ蓄積装置。
（付記４） 前記記憶部は、通信回線を介して接続された外部の記憶装置に、前記算出部が算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶することを特徴とする付記１〜３のいずれかに記載の動画像データ蓄積装置。
（付記５） 前記車両が前記撮像装置により撮像されていると予測される時間帯の終了時刻に撮像されたフレームを確認し、当該車両が撮像されていた場合に、前記時間帯を延長する延長部、を更に備える付記１〜４のいずれかに記載の動画像データ蓄積装置。
（付記６） 所定領域の動画像を撮像する撮像装置から送信される動画像データを受信し、
受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出し、
抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出し、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出し、
算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する、
処理をコンピュータに実行させることを特徴とする動画像データ蓄積プログラム。
（付記７） 前記記憶する処理では、複数の車両それぞれが前記撮像装置に撮像されていると予測される時間帯が重複している場合に、少なくともいずれかの時間帯が含まれる時間帯の動画像データを、前記複数の車両それぞれのナンバープレート情報及びそれぞれの時間帯の情報とともに記憶する、ことを特徴とする付記６に記載の動画像データ蓄積プログラム。
（付記８） 前記ナンバープレート情報は、前記ナンバープレートの大きさを特定する情報、及び前記ナンバープレートに記載されている分類番号の上１桁の情報、の少なくとも一方であり、
前記時間帯を算出する処理では、前記ナンバープレート情報から特定した車両の大きさの情報に基づいて前記時間帯を算出することを特徴とする付記６又は７に記載の動画像データ蓄積プログラム。
（付記９） 前記記憶する処理では、通信回線を介して接続された外部の記憶装置に、算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶することを特徴とする付記６〜８のいずれかに記載の動画像データ蓄積プログラム。
（付記１０） 前記車両が前記撮像装置により撮像されていると予測される時間帯の終了時刻に撮像されたフレームを確認し、当該車両が撮像されていた場合に、前記時間帯を延長する、処理を前記コンピュータに更に実行させる付記６〜９のいずれかに記載の動画像データ蓄積プログラム。
（付記１１） 所定領域の動画像を撮像する撮像装置から送信される動画像データを受信し、
受信した前記動画像データから同一の車両が撮像されている複数枚のフレーム及びそれぞれの撮像時刻を抽出し、
抽出した前記複数枚のフレームのうちの少なくとも１枚からナンバープレートの部分を抽出し、抽出した部分からナンバープレート情報を認識するとともに、前記複数枚のフレームから前記車両の移動方向及び移動速度を算出し、
前記撮像時刻、前記ナンバープレート情報、前記移動方向及び前記移動速度に基づいて、前記車両が前記撮像装置により撮像されていると予測される時間帯を算出し、
算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶する、
処理をコンピュータが実行することを特徴とする動画像データ蓄積方法。
（付記１２） 前記記憶する処理では、複数の車両それぞれが前記撮像装置に撮像されていると予測される時間帯が重複している場合に、少なくともいずれかの時間帯が含まれる時間帯の動画像データを、前記複数の車両それぞれのナンバープレート情報及びそれぞれの時間帯の情報とともに記憶する、ことを特徴とする付記１１に記載の動画像データ蓄積方法。
（付記１３） 前記ナンバープレート情報は、前記ナンバープレートの大きさを特定する情報、及び前記ナンバープレートに記載されている分類番号の上１桁の情報、の少なくとも一方であり、
前記時間帯を算出する処理では、前記ナンバープレート情報から特定した車両の大きさの情報に基づいて前記時間帯を算出することを特徴とする付記１１又は１２に記載の動画像データ蓄積方法。
（付記１４） 前記記憶する処理では、通信回線を介して接続された外部の記憶装置に、算出した前記時間帯に対応する動画像データを前記ナンバープレート情報及び前記時間帯の情報とともに記憶することを特徴とする付記１１〜１３のいずれかに記載の動画像データ蓄積方法。
（付記１５） 前記車両が前記撮像装置により撮像されていると予測される時間帯の終了時刻に撮像されたフレームを確認し、当該車両が撮像されていた場合に、前記時間帯を延長する、処理を前記コンピュータが更に実行する付記１１〜１４のいずれかに記載の動画像データ蓄積方法。
（付記１６） 付記１〜５のいずれかに記載の動画像データ蓄積装置と、
前記動画像データ蓄積装置の記憶部が動画像データ、ナンバープレート情報及び時間帯情報を記憶する記憶装置を有する外部装置と、を備える動画像データ蓄積システム。

【符号の説明】

【0062】

１０ 監視カメラ（撮像装置）
２０ 監視装置（動画像データ蓄積装置）
２２ 画像入力部（受信部、抽出部）
２６ プレート抽出・認識部（認識部の一部）
２８ 車両速度算出部（認識部の一部）
３０ 滞在時間予測部（算出部）
３２ 映像保存時間判定部（延長部）
３４ 保存部（記憶部）
７０ サーバ（外部装置）
１００ 監視システム（動画像データ蓄積システム）
１９６ ＨＤＤ（記憶装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】