特開 2021-114637 ビデオ監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-114637(P2021-114637A)

(43)【公開日】2021年8月5日

(54)【発明の名称】ビデオ監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210709BHJP

   G06T 7/254 20170101ALI20210709BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 V

   G06T7/254 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【外国語出願】

【全頁数】10

(21)【出願番号】特願2019-239853(P2019-239853)

(22)【出願日】2019年12月27日

(31)【優先権主張番号】201911351802.6

(32)【優先日】2019年12月25日

(33)【優先権主張国】CN

(71)【出願人】

【識別番号】520002759

【氏名又は名称】北京恒峰致遠科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｈｅｎｇｆｅｎｇｚｈｉｙｕａｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，ＬＴＤ．

(74)【代理人】

【識別番号】100205936

【弁理士】

【氏名又は名称】崔 海龍

(74)【代理人】

【識別番号】100132805

【弁理士】

【氏名又は名称】河合 貴之

(72)【発明者】

【氏名】陳 禹

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC13

5C054FC14

5C054FD03

5C054FE09

5C054FE11

5C054FF03

5C054GB01

5C054GB05

5C054HA19

5L096BA02

5L096CA05

5L096DA02

5L096EA05

5L096EA43

5L096FA26

5L096GA08

5L096HA03

5L096JA11

(57)【要約】

【課題】本発明は、ビデオ監視システムである。
【解決手段】本発明におけるビデオ監視システムでは、複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得し、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせ、全てのパノラマ画像を対応する仮想監視シーンに変換し、前記仮想監視シーンにおいてパノラマ表示により再生を行う。複数の監視ビデオを一つの仮想監視シーンに統合してパノラマとして見ることにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。また、本発明では、抽出された画像を処理して視覚的注目画像を取得することにより、再生時にビデオにおける人の目が注目したビデオ情報やビデオの詳細を顕著化することに利し、同様に再生効率を向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオ監視システムであって、
複数の監視カメラを含み、監視カメラ毎に１つずつの監視角度でビデオ監視することに用いられる監視処理モジュールと、
複数のビデオを含む監視ビデオを取得することに用いられる取得処理モジュールと、
前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続けることに用いられる画像抽出処理モジュールと、
複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得することに用いられる視覚的注目度検出処理モジュールと、
各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることに用いられる繋ぎ合わせ処理モジュールと、
全てのパノラマ画像を対応する仮想監視シーンに変換することに用いられる仮想監視シーン変処理モジュールと、
前記仮想監視シーンにおいてパノラマ表示により再生を行うことに用いられる再生処理モジュールと、
を含むことを特徴とするビデオ監視システム。

【請求項2】

２１） 各監視ビデオから抽出された画像から、第１のフレーム画像によって背景画像ａ（ｘ，ｙ）を作成し、
２２） 背景画像ａ（ｘ，ｙ）に対してメディアンフィルタリング、エッジ強調及び２値化を行って背景画像ａ（ｘ，ｙ）の演算後の画像Ａ（ｘ，ｙ）を取得し、
２３） 各監視ビデオから抽出された第２のフレーム画像に対して、同様にメディアンフィルタリング、エッジ強調及び２値化を行って第２のフレーム画像の演算後の画像Ｂ（ｘ，ｙ）を取得し、
２４）前記画像Ａ（ｘ，ｙ）と画像Ｂ（ｘ，ｙ）に対して差分演算を行ってＤ（ｘ，ｙ）＝ Ｂ（ｘ，ｙ）−Ａ（ｘ，ｙ）を取得し、
２５） Ｄ（ｘ，ｙ）において値が１である点の数Ｎが閾値Ｔより小さければ、移動目標が検出されなかったと判断し、その数Ｎが閾値Ｔ以上であれば、移動目標が検出されたと判断し、次にＤ（ｘ，ｙ）をトラバースして画素値が１である点を見つけ出し、Ｂ（ｘ，ｙ）の対応位置の画素値を０にして移動目標領域とし、その他の位置の画素値をそのままにして、その第２のフレーム画像に対応する、移動目標領域が顕著化された画像を取得し、
２６） 各監視ビデオから抽出された他の残りの画像をステップ２３）〜２５）に従って処理して、他の残りの画像に対応する、移動目標領域が顕著化された画像を取得するという方式で、
抽出された画像を前処理することに用いられる画像前処理モジュール、
を含むことを特徴とする請求項１に記載のシステム。

【請求項3】

視覚的注目度検出処理モジュールは、
スパースコーディングにより各フレーム画像を特徴記述し、
そのフレーム画像のスパースコーディングに基づいて視覚的注目度の計算を行い、
視覚的注目度の計算結果に基づき、そのフレーム画像に対して視覚的注目領域の分割を行ってそのフレーム画像の視覚的注目画像を取得し、
そのグループの他のフレーム画像に対して前記処理を繰り返し、そのグループの他のフレーム画像に対応する視覚注目画像を取得する、という方法によって各グループの視覚的注目画像を取得することを特徴とする請求項１に記載のシステム。

【請求項4】

繋ぎ合わせ処理モジュールは、
そのグループの視覚的注目画像における任意の２つの画像Ａ、Ｂに対してそれぞれウェーブレット分解を行い、低周波数成分と高周波数成分を取得し、
低周波成分の場合、融合画像の低周波係数について、ソース画像の視覚的注目度の値が大きい位置に対応する低周波係数を選択し、
高周波成分の場合、融合画像の高周波係数について、絶対値が大きい方を融合後の高周波係数として採用し、
融合後の低周波部分と高周波部分に対してウェーブレット逆変換を行うことにより、最終画像Ａ、Ｂのスティッチング画像を取得し、
また、前記方法に従い、各グループの他の視覚的注目画像と画像Ａ、Ｂとを繋ぎ合わせ続けて最終的なパノラマ画像を取得するという態様で繋ぎ合わせる、
ことを特徴とする請求項１に記載の方法。

【請求項5】

再生処理モジュールは、設定された自動ローミング経路に沿ったパノラミック再生を行うことを特徴とする請求項１に記載のシステム。

【請求項6】

前記所定の期間は、１秒であることを特徴とする請求項１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はインテリジェント監視技術分野に関し、より具体的には、本発明は再生効率を向上させるインテリジェントビデオ監視システムに関する。

【背景技術】

【0002】

ビデオ監視は、各産業の主要部門や重要な場所でリアルタイム監視を行うための基礎であり、管理部門は、それを通して有効なビデオ情報を取得し、突発的な異常事象の経緯をタイムリーに監視して記憶し、効率的かつ即時的な指揮と派遣、警備の手配、事件の処理などに利用する。しかし、監視ビデオの再生は時間と手間がかかることが多い。例えば、ある場所のビデオ監視が６台の監視カメラによって行われる場合、監視ビデオを再生するには６本の監視ビデオを再生する必要があるため、６人に分けて見ても多くの時間を要し、しかも監視ビデオの中の多くの時間は無駄である。しかし、有効な手がかりを見つけるために、従来技術では、ビデオレビュー者は、手作業で細かいところをチェックしなければならず、多くの無駄な作業を費やしてきた。かつ、ビデオレビュー者は、６本の監視ビデオを同時にチェックすることができず、全体から監視場所の状況を把握することができない。また、ビデオレビュー者が長時間の視聴により、目が疲れてしまい、重要なビデオ情報やキーポイントとなるビデオの詳細を見落としがちである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の解決しようとする技術的課題は、複数の監視ビデオを同時に再生し、再生時間を減少させ、且つビデオの中で人の目が注目したビデオ情報やビデオの詳細を顕著化し、再生効率を向上させることができるビデオ監視システムを提供することである。

【課題を解決するための手段】

【0004】

上述した課題を解決するために、本発明は下記の構成を採用する。
ビデオ監視システムは、
複数の監視カメラを含み、監視カメラ毎に１つずつの監視角度でビデオ監視する監視処理モジュールと、
複数のビデオを含む監視ビデオを取得することに用いられる取得処理モジュールと、
前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続けることに用いられる画像抽出処理モジュールと、
複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行い、そのグループに対応する視覚的注目画像を取得することに用いられる視覚的注目度検出処理モジュールと、
各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることに用いられる繋ぎ合わせ処理モジュールと、
全てのパノラマ画像を対応する仮想監視シーンに変換することに用いられる仮想監視シーン変換処理モジュールと、
前記仮想監視シーンにおいてパノラマ表示により再生を行うことに用いられる再生処理モジュールを含む。

【発明の効果】

【0005】

従来技術に比べて、本発明は以下のような有利な効果を有する。
本発明のビデオ監視システムでは、各処理モジュールで複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得し、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせ、全てのパノラマ画像を対応する仮想監視シーンに変換し、前記仮想監視シーンにおいてパノラマ表示により再生を行う。複数の監視ビデオを一つの仮想監視シーンに統合してパノラマとして見ることにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。また、１秒間ないし数秒間内の監視画面は大きな違いがないため、本発明では、複数の監視ビデオに対して、すべての画像を抽出して再生するのではなく、同じ時点で１つのフレーム画像を抽出し、所定の期間を置いた後に次のフレーム画像を抽出することにより、同様に重要なビデオ情報を見逃すことなく再生効率を向上させることができる。また、本発明では、抽出された画像を処理して視覚的注目画像を取得することにより、再生時にビデオにおける人の目が注目したビデオ情報やビデオの詳細を顕著化することに利し、同様に再生効率を向上させることができる。

【図面の簡単な説明】

【0006】

【図1】本発明のビデオ監視システムの第一の具体実施例のブロック図である。

【図2】本発明のビデオ監視システムにおける視覚的注目度検出処理モジュールが検出を行う一具体実施例のフローチャートである。

【図3】本発明のビデオ監視システムにおける視覚的注目度検出処理モジュールがパノラマ画像を繋ぎ合わせる一具体実施例のフローチャートである。

【図4】本発明のビデオ監視システムの第二の具体実施例のブロック図である。

【発明を実施するための形態】

【0007】

図１を参照すると、その図は本発明のビデオ監視システムの一具体実施例のブロック図である。本実施例におけるシステムは主に監視処理モジュール１０１、取得処理モジュール１０２、画像抽出処理モジュール１０３、視覚的注目度検出処理モジュール１０４、繋ぎ合わせ処理モジュール１０５、仮想監視シーン変換処理モジュール１０６、再生処理モジュール１０７を含む。

【0008】

監視処理モジュール１０１は、複数の監視カメラを含み、監視カメラ毎に１つずつの監視角度でビデオ監視を行う。
取得処理モジュール１０２は、主に複数のビデオを含む監視ビデオを取得するに用いられるモジュールである。具体的に実現する場合、各ビデオの監視範囲はクロスオーバーしていてもよく、クロスオーバーしていなくてもよい。本実施例では、クロスオーバーの場合を例として説明する。

【0009】

画像抽出処理モジュール１０３は、主に前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続けることに用いられるモジュールである。具体的に実現する場合、監視ビデオの伝送プロトコルが異なれば、１秒間に伝送されるビデオフレームは異なる。例えば、１秒間に２４フレームの画像が伝送されるが、本発明では、２４フレームの画像をすべて抽出する必要がない。それは、１秒間に伝送される画像は、実際にビデオの内容があまり変わらず、ひいては数秒範囲内の画像でも類似しているからである。したがって、本発明では、実際の状況に応じて所定の期間を設定することができる。例えば、所定の期間を１秒に設定すると、つまり１秒間に１フレームの画像が抽出される。あるいは、所定の期間を３秒に設定すると、つまり３秒間に１フレームの画像が抽出される。また、抽出された時間がバラバラにならないように、画像を抽出する前に、各ビデオの時間を同期させて揃える必要があるが、ここでは説明を省略する。

【0010】

視覚的注目度検出処理モジュール１０４は、主に複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得することに用いられるモジュールである。本実施例で得られた視覚的注目画像は、再生時に監視シートにおける目標の識別力を向上させるのに便利である。また、従来技術では、画像領域の周囲・近傍領域に対する特徴のコントラストを計算することにより視覚的注目度を取得するが、計算効率が低い。好ましい実施例として、図２を参照されたい。本実施例における視覚的注目度検出処理モジュール１０４では、改良された方法によって検出し、具体的には、本実施例の各グループの視覚的注目画像は以下の方法により検出される。

【0011】

まず、ステップＳ１０３１では、スパースコーディングにより各フレーム画像を特徴記述し、
ステップＳ１０３２では、そのフレーム画像のスパースコーディングに基づいて視覚的注目度の計算を行い、
ステップＳ１０３３では、視覚的注目度の計算結果に基づき、そのフレーム画像に対して視覚的注目領域の分割を行ってそのフレーム画像の視覚的注目画像を取得し、
ステップＳ１０３４では、そのグループの他のフレーム画像に対して前記処理を繰り返し、そのグループの他のフレーム画像に対応する視覚注目画像を取得する。本実施例では、画像のスパースコーディングを用いて視覚的顕著度を計算することで、計算効率を向上させることができる。ここでは説明を省略する。

【0012】

また、本実施例における繋ぎ合わせ処理モジュール１０５は、主に各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることに用いられるモジュールである。具体的に実現する場合、好ましい実施例として、図３を参照されたい。本実施例における繋ぎ合わせ処理モジュール１０５は、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせる。具体的に以下のステップを含む。
ステップＳ１０４１：そのグループの視覚的注目画像における任意の２つの画像Ａ、Ｂに対してそれぞれウェーブレット分解を行い、低周波数成分と高周波数成分を取得する。
ステップＳ１０４２：低周波成分の場合、融合画像の低周波係数について、ソース画像の視覚的注目度の値が大きい位置に対応する低周波係数を選択する。
ステップＳ１０４３：高周波成分の場合、融合画像の高周波係数について、絶対値が大きい方を融合後の高周波係数として採用する。
ステップＳ１０４４：融合後の低周波部分と高周波部分に対してウェーブレット逆変換を行うことにより、最終画像Ａ、Ｂのスティッチング画像を取得する。
ステップＳ１０４５：前記方法に従い、各グループの他の視覚的注目画像と画像Ａ、Ｂとを繋ぎ合わせ続けて最終的なパノラマ画像を取得する。

【0013】

なお、従来技術においてウェーブレット変換を用いて画像融合を行う場合、融合画像は各分解層で別々に行われるが、低周波部分については、分解層数が低いと画像コントラストが低下する。一方、本実施例では、低周波成分について、視覚的注目度に基づく融合アルゴリズムを採用するため、ソース画像の細部を融合させることができ、融合効果がより良好になる。ここでは説明を省略する。

【0014】

また、本実施例における仮想監視シーン変換処理モジュール１０６は、主に全てのパノラマ画像を対応する仮想監視シーンに変換することに用いられるモジュールである。具体的に実現する場合、パノラマ画像は仮想監視シーンを構成する基本単位であり、従来技術では立方体モード、球体モード及び円柱モードを用いて対応する仮想監視シーンに変換することができる。本実施例では、円柱モードを使用している。すなわち、パノラマ画像を、カメラ視点を中心とした円柱に繋ぎ合わせることで、水平方向において視線の３６０度見渡しを実現できる一方、垂直方向において視線の回転角度が１８０度未満となる。ここでは説明を省略する。

【0015】

また、本実施例における再生処理モジュール１０７は、主に前記仮想監視シーンにおいてパノラマ表示により再生を行うに用いられるモジュールである。具体的に実現する場合、再生処理モジュール１０７で前記仮想監視シーンにおいてパノラマ表示により再生を行うことは、設定された自動ローミング経路に沿ったパノラミック再生である。例えば、３６０度のパノラミック回転で再生した後は、引き続き次の仮想監視シーンを再生する。

【0016】

上記実施例では、バーチャルリアリティ方式により、複数の監視ビデオを一つの仮想監視シーンに統合して再生することにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。

【0017】

また、監視ビデオにおいて、レビュー者が注目すべきのは動く物体であり、静止している物体や微動だけしている物体にはあまり注目する必要がない。好ましい実施例として、図４を参考されたい。本実施例は、さらに画像前処理モジュール１０８を含むことに前記実施例と相違している。画像前処理モジュール１０８は、仮想監視シーンに用いる監視ビデオ画像をさらに次のように前処理する。つまり、複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成する前に、さらに下記のように画像前処理を行う。
２１） 各監視ビデオから抽出された画像から、第１のフレーム画像によって背景画像ａ（ｘ，ｙ）を作成する。具体的に実現する場合、ガウスモデル法によってモデル化することができ、ｘはそのガウス座標系における横軸で、ｙはそのガウス座標系における縦軸である。
２２） 背景画像ａ（ｘ，ｙ）に対してメディアンフィルタリング、エッジ強調及び２値化を行って背景画像ａ（ｘ，ｙ）の演算後の画像Ａ（ｘ，ｙ）を取得する。
２３） 各監視ビデオから抽出された第２のフレーム画像に対して、同様にメディアンフィルタリング、エッジ強調及び２値化を行って第２のフレーム画像の演算後の画像Ｂ（ｘ，ｙ）を取得する。
２４）前記画像Ａ（ｘ，ｙ）と画像Ｂ（ｘ，ｙ）に対して差分演算を行ってＤ（ｘ，ｙ） ＝ Ｂ（ｘ，ｙ）−Ａ（ｘ，ｙ）を取得する。
２５） Ｄ（ｘ，ｙ）において値が１である点の数Ｎが閾値Ｔより小さければ、移動目標が検出されなかったと判断し、その数Ｎが閾値Ｔ以上であれば、移動目標が検出されたと判断し、次にＤ（ｘ，ｙ）をトラバースして画素値が１である点を見つけ出し、Ｂ（ｘ，ｙ）の対応位置の画素値を０にして移動目標領域とし、その他の位置の画素値をそのままにして、その第２のフレーム画像に対応する、移動目標領域が顕著化された画像を取得する。具体的に実現する場合、Ｄ（ｘ，ｙ）の値が１であることは動き領域であることを表すが、本実施例では、閾値Ｔを１つ設定し、Ｄ（ｘ，ｙ）の値が１である点の個数Ｎが閾値Ｔより大きい場合のみ、移動目標が検出されたとする。一方、Ｄ（ｘ，ｙ）の値が１である点の個数Ｎが閾値Ｔより小さい場合は、移動目標があったものの、微動のみだったことを表し、移動目標が検出されなかったと見なしてもよい。実際には、監視の再生目的に応じて閾値Ｔの大きさを調整することができる。微細な動きの検出が必要とする場合、閾値Ｔを小さくし、微細な動きを無視してもよい場合、閾値Ｔを大きくすればよい。ここでは、閾値Ｔの値について特に限定しない。なお、本実施例では、Ｂ（ｘ，ｙ）は二値画像であり、Ｂ（ｘ，ｙ）の対応する位置の画素値を０に設定し、つまりハイライト部分又は前景部分を表し、対応する位置の画素値を２５５に設定し、つまり背景部分を表す。Ｂ（ｘ，ｙ）を原画像に重ね合わせれば、原画像において移動目標領域が顕著化された画像が得られる。ここでは説明を省略する。
２６）各監視映像から抽出された他の残りの画像をステップ２３）〜２５）に従って処理して、他の残りの画像に対応する、移動目標領域が顕著化された画像を取得する。

【0018】

以上のように、本発明のビデオ監視システムによれば、一方では、再生時間を減少することができる。例えば、レビュー者が駐車場で他の車を擦った事故車を確認するための場合、３本の監視ビデオで各ビデオが３時間だとすると、従来技術では９時間を要するのに対し、本発明では３時間、ひいては１時間又はそれ以下であればよい。他方、静止画面にあまり注意を払う必要がなく、本発明では、上述した画像前処理モジュール１０８で抽出された画像を前処理することによって、車両が動き出す時の移動画面を顕著化することによって、レビュー者は所要する肝心なビデオ情報を素早く発見でき、同様に再生効率を向上させることができる。

【0019】

以上は、本発明の好ましい実施形態に過ぎず、本発明を限定するものではなく、本発明の精神及び原則内で行われたあらゆる修正、等価変換、改良などは、いずれも本発明の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】

2021114637000001.pdf