特許 6144966 映像解析装置及び映像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6144966

(24)【登録日】2017年5月19日

(45)【発行日】2017年6月7日

(54)【発明の名称】映像解析装置及び映像解析方法

(51)【国際特許分類】

   G06F 17/30 20060101AFI20170529BHJP

【ＦＩ】

   G06F17/30 350C

   G06F17/30 170D

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2013-108784(P2013-108784)

(22)【出願日】2013年5月23日

(65)【公開番号】特開2014-229103(P2014-229103A)

(43)【公開日】2014年12月8日

【審査請求日】2016年3月14日

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】和氣 勝

【審査官】 川▲崎▼ 博章

(56)【参考文献】

【文献】 特開２０１１−１８６７３３（ＪＰ，Ａ）

【文献】 特開２０１０−１２３０６９（ＪＰ，Ａ）

【文献】 特開２０１３−０２５７４８（ＪＰ，Ａ）

【文献】 特開２００９−１５１７９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

監視映像の映像データを解析して検出対象の映像を確認するための映像解析装置であって、
前記検出対象の特徴情報に基づいて、複数の映像データのそれぞれから前記検出対象が含まれる映像のみを抽出データとして抽出する検出対象映像抽出部と、
前記検出対象映像抽出部によって抽出された抽出データを１つの統合データに統合する抽出データ統合部と、
前記抽出データを形成するフレームデータから所定情報を含む部分領域を切り出した切出インデックス、及び前記抽出データに含まれる検出対象のサムネイル画像から、前記統合データに含まれる各抽出データの情報を示すインデックスを生成するインデックス生成部と
を備えることを特徴とする映像解析装置。

【請求項2】

前記抽出データ統合部は、抽出元の映像データ、各抽出データの撮像日時及び各抽出データに前記検出対象が含まれる可能性の少なくともいずれか１つに基づいて、複数の抽出データを並べ替えてから統合することを特徴とする請求項１に記載の映像解析装置。

【請求項3】

映像データを所定のデータフォーマットに変換する映像データ変換部
をさらに備え、
前記検出対象映像抽出部は前記映像データ変換部による変換後の映像データから抽出データを抽出する
ことを特徴とする請求項１又は２に記載の映像解析装置。

【請求項4】

前記検出対象映像抽出部は前記抽出データの前後の映像データを抽出して、
前記抽出データ統合部は各抽出データに前後の映像データを加えてから１つの統合データに統合する
ことを特徴とする請求項１〜３のいずれか１項に記載の映像解析装置。

【請求項5】

前記インデックスには、統合データの再生時に、該統合データに含まれる各抽出データの前後の映像データを再生するか否かを設定する設定項目が含まれることを特徴とする請求項４に記載の映像解析装置。

【請求項6】

監視映像の映像データを解析して検出対象が含まれる映像を確認するための映像解析方法であって、
前記検出対象の特徴情報に基づいて、複数の映像データのそれぞれから前記検出対象が含まれる映像のみを抽出データとして抽出する検出対象映像抽出工程と、
前記検出対象映像抽出工程によって抽出された抽出データを１つの統合データに統合する抽出データ統合工程と、
前記抽出データを形成するフレームデータから所定情報を含む部分領域を切り出した切出インデックス、及び前記抽出データに含まれる検出対象のサムネイル画像から、前記統合データに含まれる各抽出データの情報を示すインデックスを生成するインデックス生成工程と
を含んだことを特徴とする映像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、市街地や構造物に設置された複数の映像データの内容を効率よく確認することができる映像解析装置及び映像解析方法に関する。

【背景技術】

【0002】

従来、ＴＶ番組や監視映像などの映像データを形成するフレームデータから特定の人物を検索する技術が知られている。例えば、特許文献１には、検索処理とフィルタリング処理に異なる特徴量を用いることによって、異なるシーンに登場した同一人物を効率的に検索することができる人物画像検索装置が開示されている。具体的には、ユーザが指定した検索キーと類似したデータを映像コンテンツ内から探してその結果を提示する類似検索技術並びに映像コンテンツ内の類似した顔画像やシーンを一括りにして画像群を作成し、その画像群の代表画像のみをユーザに提示することにより、所望の顔画像やシーンをユーザが選択しやすいように提示するグループ化技術を用いる。

【0003】

また、長時間記録した監視映像データを録画時間の数十分の一で閲覧・検索するための技術も知られている。例えば、特許文献２には、監視イベントと呼ばれる画像データ上の変化状態やターゲットを予め設定し、その変化状態が起こったフレーム（画像データ）を記憶するよう構成した画像記憶装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１１０４６０号公報

【特許文献2】特許第４６７８０４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来技術を利用しても、多数の監視カメラで撮像された監視映像等、複数の映像データの内容を確認するためには多大な手間と時間を要するという問題があった。例えば、映像データに特定の人物や車両が映っているか否かを確認したい場合に、上記従来技術を利用すれば、映像データ内で検出対象が映ったフレームデータを特定することができる。特定されたフレームデータを再生すれば、検出対象を捉えた映像を確認することができるが、映像データの解析及び検出対象の映像確認を、検出対象の数だけ繰り返して行う必要がある。さらに、多数の監視カメラが設置されている場合には、各監視カメラの映像データを順に解析して検出対象の映像を確認する作業を繰り返す必要があるため、多大な手間と時間を要する。

【0006】

本発明は、上記従来技術の課題を解消するためになされたものであって、複数の映像データに含まれる検出対象の映像を効率よく確認することができる映像解析装置及び映像解析方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、監視映像の映像データを解析して検出対象の映像を確認するための映像解析装置であって、前記検出対象の特徴情報に基づいて、複数の映像データのそれぞれから前記検出対象が含まれる映像のみを抽出データとして抽出する検出対象映像抽出部と、前記検出対象映像抽出部によって抽出された抽出データを１つの統合データに統合する抽出データ統合部と、前記抽出データを形成するフレームデータから所定情報を含む部分領域を切り出した切出インデックス、及び前記抽出データに含まれる検出対象のサムネイル画像から、前記統合データに含まれる各抽出データの情報を示すインデックスを生成するインデックス生成部とを備えることを特徴とする。

【0008】

また、本発明は、上記発明において、前記抽出データ統合部は、抽出元の映像データ、各抽出データの撮像日時及び各抽出データに前記検出対象が含まれる可能性の少なくともいずれか１つに基づいて、複数の抽出データを並べ替えてから統合することを特徴とする。

【0009】

また、本発明は、上記発明において、映像データを所定のデータフォーマットに変換する映像データ変換部をさらに備え、前記検出対象映像抽出部は前記映像データ変換部による変換後の映像データから抽出データを抽出することを特徴とする。

【0011】

また、本発明は、上記発明において、前記検出対象映像抽出部は前記抽出データの前後の映像データを抽出して、前記抽出データ統合部は各抽出データに前後の映像データを加えてから１つの統合データに統合することを特徴とする。

【0012】

また、本発明は、上記発明において、前記インデックスには、統合データの再生時に、該統合データに含まれる各抽出データの前後の映像データを再生するか否かを設定する設定項目が含まれることを特徴とする。

【0013】

また、本発明は、監視映像の映像データを解析して検出対象が含まれる映像を確認するための映像解析方法であって、前記検出対象の特徴情報に基づいて、複数の映像データのそれぞれから前記検出対象が含まれる映像のみを抽出データとして抽出する検出対象映像抽出工程と、前記検出対象映像抽出工程によって抽出された抽出データを１つの統合データに統合する抽出データ統合工程と、前記抽出データを形成するフレームデータから所定情報を含む部分領域を切り出した切出インデックス、及び前記抽出データに含まれる検出対象のサムネイル画像から、前記統合データに含まれる各抽出データの情報を示すインデックスを生成するインデックス生成工程とを備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、監視映像等の複数の映像データのそれぞれから、検出対象が映った映像のみを抽出して１つの統合データを生成するので、統合データを再生して映像を確認するだけで、複数の映像データに含まれる検出対象の映像を効率よくまとめて確認することができる。

【0015】

また、本発明によれば、検出対象が含まれるとして抽出された複数の抽出データを、抽出元の映像データや日時等に基づいて並べ替えてから統合データを生成することができるので、統合データを再生して、目的に応じて所望の順に並べた抽出データの映像を確認することができる。

【0016】

また、本発明によれば、監視映像データのデータフォーマットを変換することができるので、様々なデータフォーマットの映像を受け付けて、検出対象が映った映像を抽出して１つの統合データにまとめることができる。

【0017】

また、本発明によれば、抽出データを形成するフレームデータの画像から日時や監視カメラに関する情報等を含む部分画像を切り出した切出インデックスと、抽出データに含まれる検出対象のサムネイル画像とを利用してインデックスが生成されるので、インデックスを表示して各抽出データの内容を容易に確認することができる。

【0018】

また、本発明によれば、映像解析により検出対象が含まれると認識された抽出データに加えて、この前後の映像データを含む統合データを生成することができるので、映像解析では検出できない形で検出対象が映っている可能性がある抽出データの前後の映像を、統合データ上で確認することができる。

【0019】

また、本発明によれば、インデックス上で、切出インデックス及び検出対象のサムネイル画像を確認しながら抽出データの前後の映像データを再生するか否かを簡単に設定することができるので、必要な場合にのみ、抽出データに加えて前後の映像データを再生して映像の内容を確認することができる。

【図面の簡単な説明】

【0020】

【図1】図１は、本実施形態に係る映像解析装置による処理内容を示す図である。

【図2】図２は、本実施形態に係る映像解析装置の内部構成を示すブロック図である。

【図3】図３は、映像解析により検出対象の映像データを抽出する方法を示す図である。

【図4】図４は、映像解析により検出対象が検出された映像データに加えてその前後の映像データを抽出する方法を示す図である。

【図5】図５は、統合データに含まれる各抽出データから生成されたインデックスの例を示す図である。

【図6】図６は、統合データを再生して映像を確認する際の画面の例を示す図である。

【図7】図７は、映像解析装置により複数の映像データから統合データを生成する方法を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下に、添付図面を参照して、本発明に係る映像解析装置及び映像解析方法の好適な実施例を詳細に説明する。本実施形態に係る映像解析装置及び映像解析方法では、監視カメラや防犯カメラの他、一般家庭で利用されるビデオカメラやデジタルカメラ等、撮像装置の種類によらず、撮像された様々な映像データの映像解析を行うことができるが、以下では、監視カメラによって撮像された監視映像を例に説明を行う。

【0022】

図１は、本実施形態に係る映像解析装置による処理内容を示す図である。映像解析装置では、様々な監視カメラで撮像された、解像度、フレームレート、圧縮形式等のデータフォーマットが異なる監視映像を処理することができる。

【0023】

例えば、Ａ社製の監視カメラシステムでは、監視カメラで撮像された映像データが、Ａ社独自のデータフォーマットで専用のレコーダに保存され、このＡ社のレコーダを操作して出力される映像信号を液晶テレビや液晶ディスプレイ等の汎用の表示装置に入力して再生できるようになっている。また、Ｂ社製の監視カメラシステムでは、監視カメラで撮像された映像データがＢ社独自のデータフォーマットでカメラ内に保存され、監視カメラを操作して出力される映像信号を汎用の表示装置に入力して再生できるようになっている。また、Ｃ社製の監視カメラシステムでは、監視カメラで撮像された映像データが汎用のデータフォーマットでコンピュータ装置に保存され、コンピュータ装置上で専用ビューワを起動して映像データを再生できるようになっている。

【0024】

映像解析装置では、液晶ディスプレイや液晶テレビに表示するための映像信号又は映像データであれば、これを取り込んで所定のデータフォーマットを有する映像データに変換し、取込データとして保存することができる（Ａ−１）。具体的には、独自のデータフォーマットの映像データは、これを液晶テレビや液晶ディスプレイに出力する際の映像信号を取り込んで所定のデータフォーマットを有する映像データに変換する。また、汎用のデータフォーマットの映像データは、データ変換処理により、所定のデータフォーマットに変換する。

【0025】

例えば、図１（ａ）に示すように、Ａ社のレコーダから出力される映像信号とＢ社の監視カメラから出力される映像信号から、所定のデータフォーマットを有する映像データである取込データＡ及び取込データＢを生成する。また、Ｃ社の専用ビューワで再生される映像データを変換して、所定のデータフォーマットを有する映像データである取込データＣを生成する。取込データのデータフォーマットは、例えば、モーションＪＰＥＧやＭＰＥＧ等、汎用の動画圧縮形式とすることが望ましい。

【0026】

映像解析装置では、こうして取り込んだ取込データＡ、Ｂ及びＣの映像を解析して、検出対象を検出する処理を行う（Ａ−２）。具体的には、予め、映像解析装置に入力された検出対象の特徴情報に基づいて取込データＡ、Ｂ及びＣを形成する各フレームデータを解析する。例えば、人物であれば髪形、髪の色、服装の色や形、車であれば車体やホイールの形状、大きさ、色等の情報が特徴情報として入力設定される。そして、各フレームデータ上で、設定された特徴情報に一致する画像の探索が行われる。フレームデータが特徴情報を満たす画像を含む場合に、検出対象を含むフレームデータとして特定する。

【0027】

こうして、取込データＡ、Ｂ及びＣで、検出対象が含まれるフレームデータが特定されると、このフレームデータで形成される映像データが抽出データとして抽出される（Ａ−３）。

【0028】

例えば、白い車を検出対象として、取込データＡ、Ｂ及びＣの映像を解析した結果、図１（ａ）に示すように、取込データＡの一部（Ａ１及びＡ２）、取込データＢの一部（Ｂ１及びＢ２）、取込データＣの一部（Ｃ１）で、検出対象として設定された白い車の画像が検出されると、これらが映像データＡ１、Ａ２、Ｂ１、Ｂ２及びＣ１として抽出される。

【0029】

このとき、映像解析装置では、検出対象が含まれると判定された抽出データＡ１、Ａ２、Ｂ１、Ｂ２及びＣ１に加えて、その直前及び直後の所定時間分の映像データが抽出される。図１（ａ）では、抽出データの直前及び直後の映像データを斜線で示している。なお、抽出データと共に抽出される前後映像データの長さは、予め数秒〜数十秒の間の所定時間に設定される。

【0030】

検出対象を検出するための映像解析は、映像解析装置に入力された特徴情報を利用して自動的に行われる。このため、例えば、白い車の大部分が隠れるように黒い車が停車されているために映像解析を行っても白い車を検出することができず、黒い車が移動してはじめて白い車が検出される場合がある。このような場合に、抽出データの前後の映像データから白い車に関する有用な情報が得られる可能性がある。このため、映像解析装置では、検出対象が含まれると特定された抽出データに加えて、その前後の映像データを抽出できるようになっている。

【0031】

なお、図１（ａ）では、検出対象を含むと判定された映像データの全てを抽出対象とする例を示しているが、映像解析装置では、抽出する映像データの条件を設定することもできる。例えば、取込データ上で検出対象が検出された時間、フレームデータ内で検出された検出対象の大きさや位置等を抽出条件として設定して、この抽出条件を満たす映像データのみを抽出データとする。例えば、取込データの最初から１０分以内の映像データ等、取込データの所定範囲内の時間を抽出条件として設定し、この抽出条件を満たす映像データのみを抽出データとする。また、フレーム内での検出対象の大きさを抽出条件として設定したり、検出対象が検出された位置がフレーム内の所定領域内に含まれることを抽出条件として設定したりすることもできる。これにより、検出対象が検出された映像データの中から、さらに抽出条件を満たす映像データのみを選択して抽出データとすることができる。例えば、検出対象とする白い車を含む映像データが多数ある場合でも、取込データの最初から１０分以内の映像でフレームの右半分に検出対象が映っている映像データのみを抽出するといった抽出条件を設定して、抽出する映像データを絞り込むことが可能となる。

【0032】

検出対象を含む抽出データと、この抽出データの前後の所定時間分の映像データとが抽出されると、これらの映像データが統合データとして統合される（Ａ−４）。このとき、予め設定された設定内容に従って、図１（ａ）に示すように、抽出データのみを統合した統合データとすることもできるし、抽出データに直前及び直後の映像データを付加した状態で統合した統合データとすることもできる。

【0033】

また、映像データを統合する際に、予め設定された設定内容に従って、データフォーマットを変換することができる。例えば、解像度の異なる抽出データの解像度を統一するための変換、統合後の映像データの容量を所定容量以下とするための圧縮形式の変換等を行う。

【0034】

また、映像データを統合する際に、予め設定された設定内容に従って、抽出データを並べ替えることもできる。例えば、取込データＡからの抽出データ、取込データＢからの抽出データ、取込データＣからの抽出データの順で統合する設定とすることもできるし、図１（ａ）のように各抽出データの撮像順に並べ替えて統合するよう設定することもできる。図１（ａ）の例では、抽出データがＡ１、Ａ２、Ｂ１、Ｃ１、Ｂ２の順で撮像されているため、撮像順に並べた統合データが生成されている。なお、抽出データの撮像日時は、予め入力された取込データＡ、Ｂ及びＣの開始時点の日時から算出されるが、後述する切出インデックスに含まれる日時を文字認識して特定することもできる。

【0035】

また、映像データの並べ替えについては、映像解析時に、検出対象が含まれる可能性を示す数値を算出しておいて、この算出値に基づいて、検出対象が含まれる可能性が高い順に並べ替えることもできる。取込データの映像解析時には、検出対象の特徴情報と所定値以上の相関値を示す画像が検出された場合に、検出対象が含まれていると判定される。判定時の相関値が高い順に映像データを並べ替えて統合データを生成すれば、統合データを再生して、検出対象が含まれている可能性が高い抽出データから順に、その映像を確認することができる。

【0036】

このように、本実施形態に係る映像解析装置では、多数の監視カメラで撮像された監視映像の映像データから、検出対象が含まれる一部の映像だけを抽出して統合した統合データが生成される。これにより、生成された統合データを再生して確認するだけで、検出対象を捉えた映像の略全てを効率よく確認することができる。このとき、解像度や圧縮形式を変換して、統合データを、汎用性が高く容易に再生できる映像データとすることができる。また、映像解析により検出対象を検出した抽出データに加えて、その前後の映像データを確認するように設定することもできるので、映像解析では検出対象が検出されなかったものの、検出対象が含まれる可能性がある映像についても、統合データを再生してこれを確認することができる。

【0037】

映像解析装置では、統合データに含まれる各抽出データのインデックスが生成される。インデックスには、例えば、図１（ｂ）に示すように、統合データに含まれる各抽出データの番号（Ｎｏ．）と、統合データの再生を開始してから各抽出データの再生が開始されるまでの時間を示す解析経過時間と、各抽出データに関する情報を示す切出インデックスと、各抽出データで検出対象であると判定された検出画像のサムネイル画像とが含まれる。

【0038】

切出インデックスは、抽出データを形成するフレームデータから、予め設定された切出領域の画像を切り出して生成される（Ｂ−１）。監視カメラで撮像された映像には、日時、監視カメラを識別するための情報、監視カメラの設置場所を示す情報等が埋め込まれることが多いが、埋め込まれる情報や情報を埋め込む位置は、監視カメラシステムによって異なっている。映像解析装置では、取込データＡ、Ｂ及びＣ上で、これらの情報が表示されている領域を切出領域として指定することにより、映像抽出時に切出領域の画像を切り出した切出インデックスを自動的に生成することができる。

【0039】

なお、切出インデックスは、映像抽出時に生成する他、例えば、検出対象の検出時や統合データの統合時に生成してもよいし、インデックス情報を表示する際に生成する態様であっても構わない。予め指定した切出領域の画像をフレームデータから切り出してインデックスとして表示することができれば、切出インデックスの生成タイミングは特に限定されない。

【0040】

映像解析装置では、複数の検出対象を検出するように設定することができるので、例えば、人物と車を検出対象とした場合に、インデックスを表示して、車が含まれる抽出データのみを選択して映像を再生確認することができる。また、例えば、車が含まれる抽出データの中でも、サムネイル画像から明らかに検出対象の車ではないと判断できるものを除いて、確認したい抽出データのみを再生することもできる。また、インデックスが表示された画面上で各抽出データの並びを変更することにより再生順序を指定して、指定した再生順に抽出データを再生することもできる。これにより、取込データの一部を抽出して生成した統合データの内容を効率よく確認することができる。

【0041】

次に、映像解析装置の構成について説明する。図２は、映像解析装置１の内部構成を示すブロック図である。映像解析装置１は、Ｉ／Ｆ部１０、記憶部２０、制御部３０、表示部４０及び入力部５０を有する。

【0042】

Ｉ／Ｆ部１０は、レコーダ、監視カメラ、コンピュータ装置等から出力される映像信号の取り込みや、映像データを受信するためのインターフェイスである。例えば、ＲＣＡ等、映像信号の規格に準ずる端子を経由した映像信号の取り込み、ＬＡＮやＵＳＢ等を経由した映像データファイルの受信を行う。また、Ｉ／Ｆ部１０は、検出対象の特徴情報等、映像解析装置１の動作に必要なデータの送受信を行うために利用される。さらに、Ｉ／Ｆ部１０は、映像信号の出力、映像データのファイル送信にも利用される。

【0043】

表示部４０は、映像データやインデックス等、各種の映像及び情報を表示するための液晶ディスプレイ等の表示装置である。入力部５０は、検出対象に関する設定、切出インデックス用の切出領域の設定、インデックスの確認や再生する映像データの指定等、各種情報の入力操作を行うためのキーボードやマウス等の入力装置である。

【0044】

記憶部２０は、フラッシュメモリやハードディスク等の不揮発性の記憶装置である。記憶部２０には、Ｉ／Ｆ部１０を介して取り込んだ取込データ、取込データから検出対象を含むとして抽出された抽出データ、抽出データを統合した統合データ等が、映像データ２１として保存される。また、統合データに含まれる各抽出データについて生成されたインデックスが、インデックスデータ２２として保存される。その他、記憶部２０は、映像解析時に検出対象を検出するための検出対象の特徴情報、切出インデックスを切り出すための切出領域の設定情報、抽出データを絞り込むための抽出条件等、映像解析装置１の動作に必要な各種のデータ保存にも利用される。

【0045】

制御部３０は、映像解析装置１の全体を制御するもので、映像データ再生部３１、映像データ変換部３２、検出対象映像抽出部３３、インデックス生成部３４及び抽出データ統合部３５を有する。これらの各機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、ＣＰＵがこれらのプログラムを実行することにより制御部３０の動作及び機能を実現することができる。

【0046】

映像データ再生部３１は、Ｉ／Ｆ部１０から入力された映像信号及び映像データによる映像、記憶部２０に保存された映像データ２１による映像を表示部４０に表示する機能を有する。

【0047】

映像データ変換部３２は、Ｉ／Ｆ部１０から入力される映像信号及び映像データの解像度、フレームレート、圧縮形式等のデータフォーマットを変換する機能を有する。映像データ変換部３２により、Ｉ／Ｆ部１０を介して入力された映像信号及び映像データが、必要に応じて所定のデータフォーマットの映像データに変換されて、取込データとして記憶部２０に保存される。また、映像データ変換部３２により、抽出データを統合して生成される統合データのデータフォーマットを、必要に応じて所定のデータフォーマットに変換することもできる。

【0048】

検出対象映像抽出部３３は、Ｉ／Ｆ部１０から入力される映像信号、映像データ、記憶部２０に映像データ２１として保存された取込データの映像解析を行って、検出対象を含むフレームデータを特定する機能を有する。また、検出対象映像抽出部３３は、検出対象を含むフレームデータと共に、このフレームデータの直前及び直後の所定時間分のフレームデータを抽出する機能を有する。さらに、検出対象映像抽出部３３は、抽出条件が設定されている場合には、抽出条件を満たすフレームデータのみを抽出データとする機能を有する。

【0049】

検出対象を検出するための映像解析は、Ｉ／Ｆ部１０又は入力部５０を利用して予め設定された検出対象の特徴情報に基づいて行われる。人、物、二輪車、自動車等の形状、大きさ、色等の特徴情報が設定されると、映像データを形成する各フレームデータ内で、特徴情報を満たす画像の探索が行われる。

【0050】

図３及び図４は、映像解析の例を説明するための図である。例えば、四角い白の紙袋を持った人物を検出対象として特徴情報を設定すると、この特徴情報に基づいて、映像データを形成する各フレームデータの映像解析が行われる。そして、映像解析の結果に基づいて、図３に示すように、検出対象の特徴情報と一致する画像６１、６２が含まれる一部の映像データＡ１、Ａ２が、抽出データとして記憶部２０に保存される。

【0051】

また、記憶部２０には、抽出データＡ１及びＡ２に加えて、この抽出データの直前及び直後の映像データが記憶部２０に保存される。例えば、抽出データＡ１では、図４に示すように、抽出データＡ１の直前の映像データＡ１ｆ及び抽出データＡ１の直後の映像データＡ１ｒが記憶部２０に保存される。映像データＡ１ｆ、Ａ１ｒの長さは予め設定することができる。抽出データの前後の映像データの時間は、例えば、検出対象が車である場合にはフレーム（撮影領域）内を車が走り去る時間に基づいて設定され、検出対象が人物である場合にはフレーム内を人物が歩いて通過する時間に基づいて設定される。また、前後の映像データの時間は、取込データＡ、Ｂ及びＣのそれぞれで、異なる設定時間とすることができる。

【0052】

図３では、検出対象に含まれる白い四角い紙袋が鮮明に映っているため、映像解析により抽出データＡ１が抽出されている。この人物６１は、図４に示すように、その直前の映像データＡ１ｆにも映っているが、紙袋を脇に抱えているためにフレームデータ上で紙袋を認識することができず映像解析を行っても検出対象として検出されない。同様に、抽出データＡ１の直後の映像データＡ１ｒでは、検出した人物６１から紙袋を手渡された別の人物６３が、監視カメラから見て人物６３の向こう側に紙袋を持ったため、この人物６３も検出対象として検出されない。このような場合に、映像解析で検出された抽出データＡ１に加えて、その前後の映像データＡ１ｆ、Ａ１ｒを抽出することで、検出された人物６１の追加情報、映像解析では検出できなかった人物６３の情報等を得ることができる。

【0053】

検出対象映像抽出部３３による映像解析処理及び映像データの抽出処理が、全ての検出対象及び全ての取込データについて行われる。これにより、全ての取込データから、検出対象を含む一部の映像データを抽出データとして抽出することができる。

【0054】

図２の抽出データ統合部３５は、こうして検出対象映像抽出部３３によって抽出された抽出データを１つの映像データに統合して、統合データとして、記憶部２０に保存する機能を有する。抽出データの統合は、取込データ毎に順に並べて統合することもできるし、抽出データの映像が撮像された日時の順や検出対象が含まれる可能性が高い順に並べて統合することもできる。統合データの生成方法は、予め設定された方法に基づいて行われる。

【0055】

インデックス生成部３４は、検出対象映像抽出部３３で抽出された抽出データのインデックスを生成する機能を有する。記憶部２０に保存された取込データを表示部４０に表示して、入力部５０により、日時、監視カメラに関する情報、監視カメラの設置場所に関する情報等が表示された領域を切出領域として設定すれば、インデックス生成部３４により、抽出データの先頭のフレームデータから切出領域の画像が切り出されて切出インデックスが生成される。

【0056】

図５は、インデックスの一例を示す図である。インデックスには、抽出された各映像データの番号（Ｎｏ．）と、映像データの抽出元である取込データを特定するための映像情報と、切出インデックスと、各映像データで検出対象と判定された画像のサムネイル画像と、統合データの再生を開始してから各抽出データの再生が開始されるまでの時間を示す経過時間と、各抽出データの時間長さを示す検出長さと、抽出データの前後映像を再生するか否かを設定するためのチェックボックスとが含まれる。

【0057】

図５に示すインデックスを表示部４０に表示して確認すれば、統合データを再生する際に再生される各抽出データの情報を確認することができる。具体的には、切出インデックスから抽出データの撮像日時等の情報を確認することができる。また、経過時間及び検出長さから、統合データを再生した際に各抽出データの再生が開始されるタイミングや再生時間を認識することができる。

【0058】

図５に示すインデックスで、Ｎｏ．１のように、前後映像のチェックボックスをチェックした状態で統合データを再生すると、図４に示す抽出データＡ１の再生時には、抽出データＡ１に加えて映像データＡ１ｆ、Ａ１ｒが再生される。すなわち、抽出データＡ１を再生する際には、映像データＡ１ｆ、Ａ１、Ａ１ｒの順に映像が再生される。これに対して、図５のインデックスで、Ｎｏ．２のようにチェックボックスのチェックを外した状態では、抽出データＡ２のみが再生される。なお、図５の例では、Ｎｏ．１の８分４０秒間の抽出データＡ１に加えて前後それぞれ１分間の映像データが再生されるので、Ｎｏ．２の抽出データＡ２の再生が開始されるまでの経過時間は１０分４０秒後となっている。

【0059】

図５に示すインデックスは、統合データに含まれる抽出データの再生順を示しており、この例では、抽出データがＡ１、Ａ２、Ｂ１…の順に再生される。インデックスを表示した画面上で、入力部５０を操作して、並べ替えを行うことで、抽出データの再生順を変更することもできる。

【0060】

図６は、統合データを再生する際の表示部４０の画面例を示している。画面上部には、再生中の抽出データに関するインデックスの情報が表示され、右上部には、切出インデックスが表示される。また、画面右部には、映像の再生を制御するための再生／一時停止ボタン、コマ送りボタン、スキップボタン、映像選択ボタン、前後映像のチェックボックスが表示される。

【0061】

スキップボタンは、再生中の映像を前後の抽出データへスキップするためのものである。なお、抽出データに加えて前後の映像データを再生する設定となっている場合には、スキップボタンを操作して、抽出データの開始点及び終了点、抽出データの直前の映像データの開始点、抽出データの直後の映像データの終了点との間で映像の再生をスキップする。

【0062】

図６に示す映像選択ボタンを押すと、図５に示すインデックスが表示部４０に表示される。そして、インデックス上で再生したい映像データのＮｏ．を押すと、この映像データの再生が開始される。

【0063】

また、図６に示す前後映像のチェックボックスは、インデックスでの設定に従って、インデックスでチェックボックスがチェックされていればチェックされた状態で、チェックが外されていればチェックが外された状態で表示される。例えば、表示部４０に映像を再生している間に、前後映像の再生は不要であると判断した場合には、インデックスの表示画面に戻らずとも、再生画面上でチェックボックスを外せば、前後の映像データが再生されなくなる。また、逆に、チェックボックスが外されている状態でも、再生画面上でチェックボックスをチェックすれば、前後データを再生することができる。

【0064】

次に、映像解析装置１により、入力された映像データから統合データを生成するまでの処理の流れについて説明する。図７は、映像解析装置１による処理の流れを示すフローチャートである。

【0065】

まず、映像解析装置１は、検出対象の特徴情報の入力を受け付けて設定する（ステップＳ１）。特徴情報の設定はＩ／Ｆ部１０を介して入力することもできるし、表示部４０に表示された情報を確認しながら入力部５０を操作して設定することもできる。

【0066】

特徴情報が設定された後、映像データの入力を受け付ける（ステップＳ２）。Ｉ／Ｆ部１０を介して入力された様々なデータフォーマットの映像データを、映像データ変換部３２によって所定のデータフォーマットに変換して、取込データとして記憶部２０に保存する。こうして、検出対象を検出する処理対象となる全ての映像データが入力される。

【0067】

続いて、検出対象映像抽出部３３により、設定された特徴情報に基づいて取込データの映像解析を行って、検出対象を検出する処理が行われる（ステップＳ３）。ただし、検出処理の対象とする映像データは処理開始後に記憶部２０に保存された取込データに限定されるものではなく、以前の処理で保存されていた取込データや統合データ等、記憶部２０に映像データ２１として保存されていたものを利用して検出対象を検出する処理を行うこともできる。

【0068】

検出対象映像抽出部３３により検出対象が検出された映像データは、抽出データとして記憶部２０に保存される（ステップＳ４）。このとき、抽出条件が設定されていれば、この抽出条件を満たす映像データのみが抽出データとして記憶部２０に保存される。また、インデックス生成部３４により抽出データからインデックスを生成する処理が行われる（ステップＳ５）。生成されたインデックスは、インデックスデータ２２として記憶部２０に保存される。

【0069】

検出対象を検出して抽出した抽出データを保存し、各抽出データのインデックスを生成する処理は、全ての検出対象及び全ての取込データの処理を終えるまで継続して行われる（ステップＳ６；Ｎｏ）。そして、全ての検出対象及び全ての取込データについての処理を終えると（ステップＳ６；Ｙｅｓ）、抽出データ統合部３５により、全ての抽出データを１つに統合する処理が行われる（ステップＳ７）。抽出データを統合した統合データは、記憶部２０に保存される。

【0070】

上述してきたように、本実施形態に係る映像解析装置１では、解像度、フレームレート、圧縮形式等のデータフォーマットが異なる複数の映像データを取り込んで検出対象について設定された特徴情報に基づく映像解析を行うことにより、各映像データから検出対象を含む一部の映像データだけを抽出することができる。また、抽出した映像データを統合して１つの映像データに統合することができるので、統合した１つの映像データを再生するだけで、全ての監視映像に含まれる検出対象の映像を確認することができる。

【0071】

また、映像解析により検出対象を含むとして抽出された映像データだけではなく、その前後の映像を所定時間分抽出して、この前後の映像を確認することができるので、映像解析では得られなかった検出対象に関する情報を得ることができる。

【0072】

また、統合された映像データに含まれる各抽出データに関する情報からインデックスが自動的に生成されるので、インデックスを参照することにより、各抽出データの抽出元となる映像データの情報、映像解析で検出された検出対象のサムネイル画像、各抽出データの再生時間の長さ等を確認することができる。また、インデックスには、各抽出データの先頭のフレームデータから一部を切り出した切出インデックスが含まれるので、各抽出データが撮像された日時等の情報を確認することができる。

【産業上の利用可能性】

【0073】

以上のように、本発明に係る映像解析装置及び映像解析方法は、市街地や構造物に設置された監視カメラで撮像された複数の映像データに含まれる検出対象の映像データを効率よく確認する場合に有用である。

【符号の説明】

【0074】

１ 映像解析装置
１０ Ｉ／Ｆ部
２０ 記憶部
３０ 制御部
３１ 映像データ再生部
３２ 映像データ変換部
３３ 検出対象映像抽出部
３４ インデックス生成部
３５ 抽出データ統合部
４０ 表示部
５０ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】