特許 7018462 目標対象物の監視方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-02

(45)【発行日】2022-02-10

(54)【発明の名称】目標対象物の監視方法、装置及びシステム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220203BHJP

   G08B 25/00 20060101ALI20220203BHJP

   A01K 29/00 20060101ALI20220203BHJP

【ＦＩ】

H04N7/18 D

G08B25/00 510M

A01K29/00 A

【請求項の数】 33

(21)【出願番号】P 2019570566

(86)(22)【出願日】2019-04-01

(65)【公表番号】

(43)【公表日】2021-06-10

(86)【国際出願番号】 CN2019080747

(87)【国際公開番号】W WO2020151084

(87)【国際公開日】2020-07-30

【審査請求日】2019-12-19

(31)【優先権主張番号】201910068774.0

(32)【優先日】2019-01-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519348336

【氏名又は名称】北京明略軟件系統有限公司

【氏名又は名称原語表記】ＭＩＮＩＮＧＬＡＭＰ ＳＯＦＴＷＡＲＥ ＳＹＳＴＥＭＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】１００２， １０ＴＨ ＦＬＯＯＲ， ＢＬＯＣＫ Ａ， ＩＮＮＯＶＡＴＩＯＮ ＰＬＡＺＡ， ＴＵＳＰＡＲＫ， ＢＵＩＬＤＩＮＧ １， ＹＡＲＤ １， ＥＡＳＴ ＺＨＯＮＧＧＵＡＮＣＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８４， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】臧 云 波

(72)【発明者】

【氏名】支 建 壮

(72)【発明者】

【氏名】魯 鄒 尭

(72)【発明者】

【氏名】呉 明 輝

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１７／２０８３５６（ＷＯ，Ａ１）

【文献】特許第６３８８０９３（ＪＰ，Ｂ１）

【文献】特開２０１１－１９７３６５（ＪＰ，Ａ）

【文献】特開２００４－２６６７３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２３／００－３１／００

Ａ０１Ｋ ２９／００

(57)【特許請求の範囲】

【請求項1】

第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、前記画像は、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから取得した画像であることと、
前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定することと、
を含み、
前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定することは、
前記第１のサーバが、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
前記第１のサーバが、各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記第１のサーバが、前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、を含む目標対象物の監視方法。

【請求項2】

前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定した後、
前記対象物が前記目標対象物であると判定された場合に、前記第１のサーバが、前記目標ビデオを取得すること、をさらに含む、請求項１に記載の方法。

【請求項3】

前記第１のサーバが、前記目標ビデオを取得することは、
前記第１のサーバが、前記ビデオ監視機器から前記目標ビデオを取得すること、或いは、
前記第１のサーバが、第２のサーバから前記目標ビデオを取得すること、を含み、
前記目標ビデオは、移動する対象物が目標領域に現れると検出された場合に前記ビデオ監視機器によって前記第２のサーバに送信されたものである、請求項２に記載の方法。

【請求項4】

前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定した後、
前記対象物が前記目標対象物ではないと判定された場合に、前記第１のサーバが、前記目標ビデオを削除するように前記第２のサーバに指示するための指示情報を前記第２のサーバへ送信すること、をさらに含む、請求項３に記載の方法。

【請求項5】

前記第１のサーバが、前記目標ビデオを取得した後、
前記第１のサーバが、前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定すること、をさらに含む、請求項２に記載の方法。

【請求項6】

前記第１のサーバが、前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定した後、
前記第１のサーバが、前記移動軌跡に基づいて、前記目標対象物を排除する方式を提示するための提示情報を生成すること、をさらに含む、請求項５に記載の方法。

【請求項7】

前記第１のサーバが、前記移動軌跡に基づいて、提示情報を生成した後、
前記第１のサーバが、前記目標対象物に対応する、前記目標領域に前記目標対象物が現れたことを示すためのアラート情報を生成し、前記アラート情報には、前記目標ビデオ、前記移動軌跡、前記提示情報の少なくとも一方が含まれていることと、
前記第１のサーバが、前記アラート情報をクライアントに送信することと、をさらに含む、請求項６に記載の方法。

【請求項8】

第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信する前に、
前記ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャすることと、
前記ビデオ監視機器が、キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信すること、或いは、前記ビデオ監視機器が、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信することと、をさらに含む、請求項１に記載の方法。

【請求項9】

前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定することは、
前記第１のサーバが、受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識し、各前記ビデオ画像に対応する認識結果を得ることと、
前記第１のサーバが、受信した全ての前記ビデオ画像に対応する認識結果を目標結果となるように統合することと、
前記第１のサーバが、前記目標結果に基づいて、前記対象物が目標対象物であるか否かを判定することと、を含む、請求項８に記載の方法。

【請求項10】

前記第１のサーバが、受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識することは、
前記第１のサーバが、受信した各前記ビデオ画像に前記対象物が現れたか否かを判定することと、
前記第１のサーバが、前記対象物が現れた前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識することと、を含む、請求項９に記載の方法。

【請求項11】

前記第１のサーバが、各前記目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定することは、
各前記目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する目標ベクトルを取得し、それぞれ、対応する１つの前記目標ビデオフレーム画像における前記対象物が前記目標画像領域を通る時の動き速度及び動き方向を表すための複数の目標ベクトルを得て、前記複数の目標ベクトルを、ビデオファイルにおける各前記目標ビデオフレーム画像の時間順に従って前記動き特徴に含まれる第１の目標ベクトルとして構成すること、或いは、
各前記目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図を取得し、それぞれ、対応する１つの前記目標ビデオフレーム画像における前記対象物が前記目標画像領域を通る時の動き速度及び動き方向を含む複数の２次元オプティカルフロー図を得て、前記複数の２次元オプティカルフロー図を、ビデオファイルにおける各前記目標ビデオフレーム画像の時間順に従って前記動き特徴に含まれる３次元の第２の目標ベクトルとして構成すること、を含む、請求項１に記載の方法。

【請求項12】

前記第１のサーバが、前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することは、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための対象物認識結果を得ること、を含む、請求項１に記載の方法。

【請求項13】

前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得ることは、
各前記画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、前記複数の第１の特徴ベクトルと前記動き特徴を統合し、第２の特徴ベクトルを得て、前記第２の特徴ベクトルを全結合層に入力し分類し、第１の分類結果を得て、前記ニューラルネットワークモデルは、前記ニューラルネットワーク層構造及び前記全結合層を含み、前記対象物認識結果は、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための前記第１の分類結果を含むこと、或いは、
各前記画像特徴に畳み込み層、正規化層及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、前記動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得て、前記複数の第１の特徴ベクトルと前記第２の特徴ベクトルを統合し、第３の特徴ベクトルを得て、前記第３の特徴ベクトルを全結合層に入力し分類し、第２の分類結果を得て、前記ニューラルネットワークモデルは、前記第１のニューラルネットワーク層構造、前記第２のニューラルネットワーク層構造及び前記全結合層を含み、前記対象物認識結果は、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための前記第２の分類結果を含むこと、を含む、請求項１２に記載の方法。

【請求項14】

前記第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信することは、
前記第１のサーバが、ビデオ監視機器から送信された、前記ビデオ監視機器によって、前記目標ビデオのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得て、前記１グループのビデオフレーム画像における画素点の画素値に基づいて、前記１グループのビデオフレーム画像において特定した前記複数の目標ビデオフレーム画像を受信すること、或いは、
前記第１のサーバが、ビデオ監視機器から送信された、前記ビデオ監視機器によって、前記目標ビデオのフレーム抽出・サンプリングを行なって得られた１グループのビデオフレーム画像を受信し、前記１グループのビデオフレーム画像における画素点の画素値に基づいて、前記１グループのビデオフレーム画像において前記複数の目標ビデオフレーム画像を特定すること、を含む、請求項１に記載の方法。

【請求項15】

前記第１のサーバは、第１のクラウドサーバを含む、請求項１乃至１４のうちいずれか一項に記載の方法。

【請求項16】

前記第２のサーバは、第２のクラウドサーバを含む、請求項３に記載の方法。

【請求項17】

ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得することと、
前記ビデオ監視機器が、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように第１のサーバに指示するための前記画像を前記第１のサーバに送信することと、
を含み、
前記画像は、
各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、
で、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するよう前記第１のサーバに指示するために用いられる目標対象物の監視方法。

【請求項18】

移動する対象物が目標領域に現れると検出された場合に、
前記ビデオ監視機器が、前記目標ビデオを、前記第１のサーバから送信された第１の要求を受信した場合に、前記第１の要求に応えて前記目標ビデオを前記第１のサーバに送信するための第２のサーバに送信すること、をさらに含む、請求項１７に記載の方法。

【請求項19】

前記ビデオ監視機器が、前記画像を第１のサーバに送信した後、
前記ビデオ監視機器が、前記第１のサーバから送信された第２の要求を受信することと、
前記ビデオ監視機器が、前記第２の要求に応えて前記目標ビデオを前記第１のサーバに送信することと、をさらに含む、請求項１７に記載の方法。

【請求項20】

前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得することは、前記ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャすること、を含み、
前記ビデオ監視機器が、前記画像を第１のサーバに送信することは、前記ビデオ監視機器が、キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信すること、或いは、前記ビデオ監視機器が、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信すること、を含む、請求項１７に記載の方法。

【請求項21】

移動する対象物が目標領域に現れると検出された場合に、
前記ビデオ監視機器が、前記目標領域を撮像したビデオから、前記目標領域に前記対象物が現れてから前記目標領域に前記対象物が現れなくなるまでの第１のビデオを取得することと、
前記ビデオ監視機器が、前記目標領域に前記対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、前記目標領域に前記対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得することと、
前記ビデオ監視機器が、前記第２のビデオ、前記第１のビデオ及び前記第３のビデオを前記目標ビデオとして特定することと、をさらに含む、請求項１７に記載の方法。

【請求項22】

ビデオ監視機器と第１のサーバとを備える目標対象物の監視システムであって、
前記ビデオ監視機器が前記第１のサーバに接続され、
前記ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得し、前記画像を前記第１のサーバに送信するように構成され、
前記第１のサーバは、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように構成され、
前記第１のサーバは、
各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、
で、前記画像に基づいて前記対象物が目標対象物であるか否かを判定する目標対象物の監視システム。

【請求項23】

前記ビデオ監視機器は、
移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャし、
キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信するか、或いは、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信するように構成される、請求項２２に記載のシステム。

【請求項24】

前記第１のサーバは、
受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識し、各前記ビデオ画像に対応する認識結果を得て、
受信した全ての前記ビデオ画像に対応する認識結果を目標結果となるように統合し、
前記目標結果に基づいて、前記対象物が目標対象物であるか否かを判定するように構成される、請求項２３に記載のシステム。

【請求項25】

前記第１のサーバは、さらに、
前記対象物が前記目標対象物であると判定された場合に、前記目標ビデオを取得し、
前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定し、
前記移動軌跡に基づいて、前記目標対象物を排除する方式を提示するための提示情報を生成し、
前記目標対象物に対応する、前記目標領域に前記目標対象物が現れたことを示すためのアラート情報を生成し、前記アラート情報には、前記目標ビデオ、前記移動軌跡、前記提示情報の少なくとも一方が含まれているように構成される、請求項２２に記載のシステム。

【請求項26】

クライアントをさらに備え、
前記第１のサーバが前記クライアントに接続され、
前記第１のサーバは、前記アラート情報を前記クライアントに送信するように構成され、
前記クライアントは、表示インターフェースに前記アラート情報を表示するように構成される、請求項２５に記載のシステム。

【請求項27】

第２のサーバをさらに備え、
前記第２のサーバが前記ビデオ監視機器及び前記第１のサーバに接続され、
前記ビデオ監視機器は、さらに、前記ビデオを前記第２のサーバに送信するように構成され、
前記第２のサーバは、前記目標ビデオを記憶するように構成され、
前記第１のサーバは、前記第２のサーバから前記目標ビデオを取得するように構成される、請求項２５に記載のシステム。

【請求項28】

前記第１のサーバは、さらに、前記対象物が前記目標対象物ではないと判定された場合に、前記第２のサーバへ指示情報を送信するように構成され、
前記第２のサーバは、前記指示情報に応えて前記目標ビデオを削除するように構成される、請求項２７に記載のシステム。

【請求項29】

前記ビデオ監視機器は、さらに、
前記目標領域を撮像したビデオから、前記目標領域に前記対象物が現れてから前記目標領域に前記対象物が現れなくなるまでの第１のビデオを取得し、
前記目標領域に前記対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、前記目標領域に前記対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得し、
前記第２のビデオ、前記第１のビデオ及び前記第３のビデオを前記目標ビデオとして特定するように構成される、請求項２５に記載のシステム。

【請求項30】

第１のサーバに適用される目標対象物の監視装置であって、
移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、前記画像は、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから取得した画像であるように構成される受信モジュールと、
前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように構成される判定モジュールと、を備え、
前記判定モジュールは、
各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、
で、前記画像に基づいて前記対象物が目標対象物であるか否かを判定する目標対象物の監視装置。

【請求項31】

ビデオ監視機器に適用される目標対象物の監視装置であって、
移動する対象物が目標領域に現れると検出された場合に、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得するように構成される取得モジュールと、
前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように第１のサーバに指示するための前記画像を前記第１のサーバに送信するように構成される送信モジュールと、を備え、
前記画像は、
各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、
で、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように第１のサーバに指示するために用いられる目標対象物の監視装置。

【請求項32】

実行されると、請求項１乃至２１のうちいずれか一項に記載の方法を実行するように構成されるコンピュータプログラムが記憶されている記憶媒体。

【請求項33】

メモリとプロセッサとを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサは、前記コンピュータプログラムを実行して請求項１乃至２１のうちいずれか一項に記載の方法を実行するように構成される電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータの分野に関し、具体的には、目標対象物の監視方法、装置及びシステムに関する。

【背景技術】

【0002】

現在、目標対象物を監視する方法は、通常、撮像したビデオにて目標対象物を認識するようにしているが、しかし、このような方式は、効率が低い傾向がある。

【0003】

上記問題に対して、現在、未だに有効な対応策が提示されていない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願実施例は、関連技術における、目標対象物を監視する効率が低いとの問題を少なくとも解決するように、目標対象物の監視方法、装置及びシステムを提供する。

【課題を解決するための手段】

【0005】

本願の一実施例は、第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、前記画像は、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから取得した画像であることと、前記第１のサーバ前記画像に基づいて前記対象物が目標対象物であるか否かを判定することと、を含む目標対象物の監視方法を提供する。

【0006】

オプションとして、前記第１のサーバが前記画像に基づいて前記対象物が目標対象物であるか否かを判定した後、前記方法は、前記対象物が前記目標対象物であると判定された場合に、前記第１のサーバが、前記目標ビデオを取得すること、をさらに含んでもよい。

【0007】

オプションとして、前記第１のサーバが、前記目標ビデオを取得することは、前記第１のサーバが、前記ビデオ監視機器から前記目標ビデオを取得すること、或いは、前記第１のサーバが、第２のサーバから前記目標ビデオを取得すること、を含み、前記目標ビデオは、移動する対象物が目標領域に現れると検出された場合に前記ビデオ監視機器によって前記第２のサーバに送信されたものであってもよい。

【0008】

オプションとして、前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定した後、前記方法は、前記対象物が前記目標対象物ではないと判定された場合に、前記第１のサーバが、前記目標ビデオを削除するように前記第２のサーバに指示するための指示情報を前記第２のサーバへ送信すること、をさらに含んでもよい。

【0009】

オプションとして、前記第１のサーバが、前記目標ビデオを取得した後、前記方法は、前記第１のサーバが、前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定すること、をさらに含んでもよい。

【0010】

オプションとして、前記第１のサーバが、前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定した後、前記方法は、前記第１のサーバが、前記移動軌跡に基づいて、前記目標対象物を排除する方式を提示するための提示情報を生成すること、をさらに含んでもよい。

【0011】

オプションとして、前記第１のサーバが、前記移動軌跡に基づいて、提示情報を生成した後、前記方法は、前記第１のサーバが前記目標対象物に対応する、前記目標領域に前記目標対象物が現れたことを示すためのアラート情報を生成し、前記アラート情報には、前記目標ビデオ、前記移動軌跡、前記提示情報の少なくとも一方が含まれていることと、前記第１のサーバが、前記アラート情報をクライアントに送信することと、をさらに含んでもよい。

【0012】

オプションとして、第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信する前に、前記方法は、前記ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャすることと、前記ビデオ監視機器が、キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信すること、或いは、前記ビデオ監視機器が、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信することと、をさらに含んでもよい。

【0013】

オプションとして、前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定することは、前記第１のサーバが、受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識し、各前記ビデオ画像に対応する認識結果を得ることと、前記第１のサーバが、受信した全ての前記ビデオ画像に対応する認識結果を目標結果となるように統合することと、前記第１のサーバが、前記目標結果に基づいて、前記対象物が目標対象物であるか否かを判定することと、をさらに含んでもよい。

【0014】

オプションとして、前記第１のサーバが、受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識することは、前記第１のサーバが、受信した各前記ビデオ画像に前記対象物が現れたか否かを判定することと、前記第１のサーバが、前記対象物が現れた前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識することと、をさらに含んでもよい。

【0015】

オプションとして、前記第１のサーバが、前記画像に基づいて前記対象物が目標対象物であるか否かを判定することは、
前記第１のサーバが、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各前記目標ビデオフレーム画像の画像特徴を得て、前記画像は、前記目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各前記目標ビデオフレーム画像は、前記目標領域における前記対象物を示すために用いられ、前記画像特徴は、前記対象物のうち、前記目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられることと、
前記第１のサーバが、各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像における前記対象物の動き速度及び動き方向を表すための動き特徴を特定することと、
前記第１のサーバが、前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することと、を含んでもよい。

【0016】

オプションとして、前記第１のサーバが、各前記目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定することは、
各前記目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する目標ベクトルを取得し、それぞれ、対応する１つの前記目標ビデオフレーム画像における前記対象物が前記目標画像領域を通る時の動き速度及び動き方向を表すための複数の目標ベクトルを得て、前記複数の目標ベクトルを、前記ビデオファイルにおける各前記目標ビデオフレーム画像の時間順に従って前記動き特徴に含まれる第１の目標ベクトルとして構成すること、或いは、
各前記目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図を取得し、それぞれ、対応する１つの前記目標ビデオフレーム画像における前記対象物が前記目標画像領域を通る時の動き速度及び動き方向を含む複数の２次元オプティカルフロー図を得て、前記複数の２次元オプティカルフロー図を、前記ビデオファイルにおける各前記目標ビデオフレーム画像の時間順に従って前記動き特徴に含まれる３次元の第２の目標ベクトルとして構成すること、を含んでもよい。

【0017】

オプションとして、前記第１のサーバが、前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴に基づいて、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを判定することは、
前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための対象物認識結果を得ること、を含んでもよい。

【0018】

オプションとして、前記動き特徴及び各前記目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得ることは、
各前記画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、前記複数の第１の特徴ベクトルと前記動き特徴を統合し、第２の特徴ベクトルを得て、前記第２の特徴ベクトルを全結合層に入力し分類し、第１の分類結果を得て、前記ニューラルネットワークモデルは、前記ニューラルネットワーク層構造及び前記全結合層を含み、前記対象物認識結果は、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための前記第１の分類結果を含むこと、或いは、
各前記画像特徴に畳み込み層、正規化層及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、前記動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得て、前記複数の第１の特徴ベクトルと前記第２の特徴ベクトルを統合し、第３の特徴ベクトルを得て、前記第３の特徴ベクトルを全結合層に入力し分類し、第２の分類結果を得て、前記ニューラルネットワークモデルは、前記第１のニューラルネットワーク層構造、前記第２のニューラルネットワーク層構造及び前記全結合層を含み、前記対象物認識結果は、前記複数の目標ビデオフレーム画像に前記目標対象物が現れたか否かを表すための前記第２の分類結果を含むこと、を含んでもよい。

【0019】

オプションとして、前記第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信することは、
前記第１のサーバが、ビデオ監視機器から送信された、前記ビデオ監視機器によって、前記目標ビデオのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得て、前記１グループのビデオフレーム画像における画素点の画素値に基づいて、前記１グループのビデオフレーム画像において特定した前記複数の目標ビデオフレーム画像を受信すること、或いは、
前記第１のサーバが、ビデオ監視機器から送信された、前記ビデオ監視機器によって、前記目標ビデオのフレーム抽出・サンプリングを行なって得られた１グループのビデオフレーム画像を受信し、前記１グループのビデオフレーム画像における画素点の画素値に基づいて、前記１グループのビデオフレーム画像において前記複数の目標ビデオフレーム画像を特定すること、を含んでもよい。

【0020】

オプションとして、前記第１のサーバは、第１のクラウドサーバを含んでもよい。
オプションとして、前記第２のサーバは、第２のクラウドサーバを含んでもよい。

【0021】

本願の他の実施例は、ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得することと、前記ビデオ監視機器が、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように前記第１のサーバに指示するための前記画像を第１のサーバに送信することと、を含む目標対象物の監視方法を提供する。

【0022】

オプションとして、移動する対象物が目標領域に現れると検出された場合に、前記方法は、前記ビデオ監視機器が、前記目標ビデオを、前記第１のサーバから送信された第１の要求を受信した場合に、前記第１の要求に応えて前記目標ビデオを前記第１のサーバに送信するための第２のサーバに送信すること、をさらに含んでもよい。

【0023】

オプションとして、前記ビデオ監視機器が、前記画像を第１のサーバに送信した後、前記方法は、前記ビデオ監視機器が、前記第１のサーバから送信された第２の要求を受信することと、前記ビデオ監視機器が、前記第２の要求に応えて前記目標ビデオを前記第１のサーバに送信することと、をさらに含んでもよい。

【0024】

オプションとして、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得することは、前記ビデオ監視機器が、移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャすること、を含み、前記ビデオ監視機器が、前記画像を第１のサーバに送信することは、前記ビデオ監視機器が、キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信すること、或いは、前記ビデオ監視機器が、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信すること、を含んでもよい。

【0025】

オプションとして、移動する対象物が目標領域に現れると検出された場合に、前記方法は、前記ビデオ監視機器が、前記目標領域を撮像したビデオから、前記目標領域に前記対象物が現れてから前記目標領域に前記対象物が現れなくなるまでの第１のビデオを取得することと、前記ビデオ監視機器が、前記目標領域に前記対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、前記目標領域に前記対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得することと、前記ビデオ監視機器が、前記第２のビデオ、前記第１のビデオ及び前記第３のビデオを前記目標ビデオとして特定することと、をさらに含んでもよい。

【0026】

本願の他の実施例は、ビデオ監視機器と第１のサーバとを備える目標対象物の監視システムであって、前記ビデオ監視機器が前記第１のサーバに接続され、前記ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得し、前記画像を前記第１のサーバに送信するように構成され、前記第１のサーバは、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように構成されるシステムを提供する。

【0027】

オプションとして、前記ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、前記目標領域に前記対象物が現れてから所定時間毎に、前記ビデオ監視機器で目標領域を撮像したビデオから前記画像に含まれるビデオ画像を、前記対象物が前記目標領域に現れなくなるまで、キャプチャし、キャプチャした前記ビデオ画像を前記第１のサーバにリアルタイムに送信するか、或いは、キャプチャした全てのビデオ画像を含む画像セットを取得し、前記画像セットを前記第１のサーバに送信するように構成されてもよい。

【0028】

オプションとして、前記第１のサーバは、受信した各前記ビデオ画像における前記対象物が前記目標対象物であるか否かを認識し、各前記ビデオ画像に対応する認識結果を得て、受信した全ての前記ビデオ画像に対応する認識結果を目標結果となるように統合し、前記目標結果に基づいて、前記対象物が目標対象物であるか否かを判定するように構成されてもよい。

【0029】

オプションとして、前記第１のサーバは、さらに、前記対象物が前記目標対象物であると判定された場合に、前記目標ビデオを取得し、前記目標ビデオにおいて、前記目標領域における前記目標対象物の移動軌跡を特定し、前記移動軌跡に基づいて、前記目標対象物を排除する方式を提示するための提示情報を生成し、前記目標対象物に対応する、前記目標領域に前記目標対象物が現れたことを示すためのアラート情報を生成し、前記アラート情報には、前記目標ビデオ、前記移動軌跡、前記提示情報の少なくとも一方が含まれているように構成されてもよい。

【0030】

オプションとして、前記システムは、クライアントをさらに備え、前記第１のサーバが前記クライアントに接続され、前記第１のサーバは、前記アラート情報を前記クライアントに送信するように構成され、前記クライアントは、表示インターフェースに前記アラート情報を表示させるように構成されてもよい。

【0031】

オプションとして、前記システムは、第２のサーバをさらに備え、前記第２のサーバが前記ビデオ監視機器及び前記第１のサーバに接続され、前記ビデオ監視機器は、さらに、前記ビデオを前記第２のサーバに送信するように構成され、前記第２のサーバは、前記目標ビデオを記憶するように構成され、前記第１のサーバは、前記第２のサーバから前記目標ビデオを取得するように構成されてもよい。

【0032】

オプションとして、前記第１のサーバは、さらに、前記対象物が前記目標対象物ではないと判定された場合に、前記第２のサーバへ指示情報を送信するように構成され、前記第２のサーバは、前記指示情報に応えて前記目標ビデオを削除するように構成されてもよい。

【0033】

オプションとして、前記ビデオ監視機器は、さらに、前記目標領域を撮像したビデオから、前記目標領域に前記対象物が現れてから前記目標領域に前記対象物が現れなくなるまでの第１のビデオを取得し、前記目標領域に前記対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、前記目標領域に前記対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得し、前記第２のビデオ、前記第１のビデオ及び前記第３のビデオを前記目標ビデオとして特定するように構成されてもよい。

【0034】

本願の他の実施例は、第１のサーバに適用される目標対象物の監視装置であって、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、前記画像は、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから取得した画像であるように構成される受信モジュールと、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように構成される判定モジュールと、を備える装置を提供する。

【0035】

本願の他の実施例は、ビデオ監視機器に適用される目標対象物の監視装置であって、移動する対象物が目標領域に現れると検出された場合に、前記ビデオ監視機器で目標領域を撮像したビデオのうち前記対象物が現れた目標ビデオから画像を取得するように構成される取得モジュールと、前記画像に基づいて前記対象物が目標対象物であるか否かを判定するように前記第１のサーバを指示するための前記画像を第１のサーバに送信するように構成される送信モジュールと、を備える装置を提供する。

【0036】

本願の更なる実施例は、実行されると、上記いずれかの方法実施例におけるステップを実行するように構成されるコンピュータプログラムが記憶されている記憶媒体をさらに提供する。

【0037】

本願の更なる実施例は、メモリとプロセッサとを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサは、前記コンピュータプログラムを実行して上記いずれかの方法実施例におけるステップを実行するように構成される電子装置をさらに提供する。

【発明の効果】

【0038】

本願によれば、第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像であり、第１のサーバは、画像に基づいて、対象物が目標対象物であるか否かを判定する方式により、第１のサーバは、ビデオ監視機器から取得した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定し、該画像は、移動する対象物が目標領域に現れるとビデオ監視機器によって検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得したものであり、これにより、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、対象物が存在する可能性のある画像を第１のサーバへ送信すれば、第１のサーバは、受信した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定することができ、このように、ビデオによる目標対象物の監視方式に比べると、伝送データのデータ量を大幅に低減することができ、そのうえ、伝送速度を高め、伝送時間を短縮し、監視効率を向上させる。それゆえ、関連技術における、目標対象物を監視する効率が低いという問題を解決することができ、目標対象物を監視する効率を向上させる効果を達成する。

【0039】

ここに説明される図面は、本発明をさらに理解させるためのものであり、本願の一部を構成し、また、本願における模式的実施例及びその説明は本願を説明するものであり、本願を不当に限定するものではない。図面において、

【図面の簡単な説明】

【0040】

【図1】本願実施例の目標対象物の監視方法のモバイル端末のハードウェアの構造ブロック図である。

【図2】本願実施例による目標対象物の監視方法の第１のフローチャートである。

【図3】本願実施例による各モジュールがデータ接続される模式図である。

【図4】本願実施例によるねずみによる被害の検出システムの原理模式図である。

【図5】本願実施例のFaster-RCNNネットワークモデルの模式図である。

【図6】本願実施例による目標対象物の監視方法の第２のフローチャートである。

【図7】本願実施例による目標対象物の監視装置の第１の構造ブロック図である。

【図8】本願実施例による目標対象物の監視装置の第２の構造ブロック図である。

【図9】本願実施例による目標対象物の監視システムの構造ブロック図である。

【図10】本願の代替な実施例による目標対象物の監視アーキテクチャの模式図である。

【発明を実施するための形態】

【0041】

以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。なお、衝突しない限り、本願実施例及び実施例中の構成要件を組み合わせることができる。

【0042】

なお、本願の明細書及び特許請求の範囲並びに上記図面に言及された「第１」、「第２」等の用語は、類似した対象を区別するためのものであり、特定の順番又は前後順序を説明するためのものではない。

【0043】

本願実施例１に提供される方法実施例は、モバイル端末、コンピュータ端末又は類似した演算装置にて実行される。モバイル端末にて実行されることを例として、図１は、本願実施例の目標対象物の監視方法のモバイル端末のハードウェア構造ブロック図である。図１に示すように、モバイル端末１０は、１つ又は複数（図１には一つのみが示される）のプロセッサ１０２（プロセッサ１０２は、マイクロプロセッサＭＣＵ又はプログラマブルロジックデバイスＦＰＧＡ等の処理装置を含みうるが、これに限られない）と、データを記憶するためのメモリ１０４とを備えることができる。オプションとして、上記モバイル端末は、通信機能のための伝送装置１０６及び入出力装置１０８をさらに備えてもよい。図１に示される構造は模式的なものに過ぎず、上記モバイル端末の構造を限定していないことは、当業者が理解することができる。例えば、モバイル端末１０は、図１に示されるものよりも多いか少ない構成要素をさらに含むか、或いは、図１に示されるものとは異なる構成を有してもよい。

【0044】

メモリ１０４は、コンピュータプログラム、例えば、本願実施例における目標対象物の監視方法に対応するコンピュータプログラムのようなアプリケーションソフトウェアのソフトウェアプログラム及びモジュールを記憶することができる。プロセッサ１０２は、メモリ１０４内に記憶されるコンピュータプログラムを実行することで、様々な機能アプリケーション及びデータ処理を実行し、即ち、上述した方法を実現する。メモリ１０４は、高速ランダムメモリを含むことができ、また、不揮発性メモリ、例えば、１つ又は複数の磁性記憶装置、フラッシュメモリ、又は他の不揮発性ソリッドステートメモリを含むこともできる。一部の例において、メモリ１０４は、プロセッサ１０２に対して遠隔配置されたメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークを介してモバイル端末１０に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信網及びそれらの組み合わせを含むが、これに限られない。

【0045】

伝送装置１０６は、ネットワークを介してデータの送受信を行うように構成される。上記ネットワークの具体例は、モバイル端末１０の通信サプライヤが提供した無線ネットワークを含むことができる。一例において、伝送装置１０６は、基地局を介して他のネットワーク機器に接続されることでインターネットと通信可能なネットワークアダプター（Network Interface Controller、単にＮＩＣという）を含む。一例において、伝送装置１０６は、無線の方式によりインターネットと通信するように構成される無線周波数（Radio Frequency、単にＲＦ）モジュールであることができる。

【0046】

本実施例において目標対象物の監視方法を提供する。図２は、本願実施例による目標対象物の監視方法の第１のフローチャートであり、図２に示すように、そのフローは、以下のステップＳ２０２～ステップＳ２０４を含む。

【0047】

ステップＳ２０２：第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像である。

【0048】

ステップＳ２０４：第１のサーバは、画像に基づいて、対象物が目標対象物であるか否かを判定する。

【0049】

オプションとして、本実施例において、目標対象物は、ねずみ、害虫などの有害生物を含んでもよいが、これに限られない。

【0050】

オプションとして、本実施例において、目標領域は、キッチン、倉庫、工場などを含んでもよいが、これに限られない。

【0051】

オプションとして、本実施例において、ビデオ監視機器は、カメラ、モニターなどを含んでもよいが、これに限られない。

【0052】

オプションとして、上記カメラは、赤外線照明機能付きのカメラ、例えば、赤外線微光暗視カメラを含んでもよいが、これに限られない。さらに、このカメラは、移動検知機能、記憶機能、ネットワーキング機能（例えば、ワイヤレス・フィディリティー（WIerless Fidelity、単にＷＩＦＩという）ネットワーキング）及び高精細化（例えば、１０８０ｐよりも大きい）構成をも含んでもよいが、これに限られない。

【0053】

オプションとして、本実施例において、ビデオ監視機器は、１つ又は複数のビデオ監視機器を含んでもよいが、これに限られない。

【0054】

オプションとして、本実施例において、第１のサーバは、第１のクラウドサーバを含んでもよいが、これに限られない。例えば、プライベートクラウドである。

【0055】

上記ステップを通じて、第１のサーバは、ビデオ監視機器から取得した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定し、該画像は、移動する対象物が目標領域に現れるとビデオ監視機器によって検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得したものであり、これにより、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、対象物が存在する可能性のある画像を第１のサーバへ送信すれば、第１のサーバは、受信した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定することができ、このように、ビデオによる目標対象物の監視方式に比べると、伝送データのデータ量を大幅に低減することができ、そのうえ、伝送速度を高め、伝送時間を短縮し、監視効率を向上させる。それゆえ、関連技術における、目標対象物を監視する効率が低いという問題を解決することができ、目標対象物を監視する効率を向上させる効果を達成する。

【0056】

オプションとして、第１のサーバは、目標領域に現れた対象物が目標対象物であると判定した場合に、目標ビデオを取得してもよい。目標領域に現れた対象物が目標対象物でなければ、目標ビデオをこれ以上取得しないことにすることで、リソースを節約する。例えば、上記ステップＳ２０４の後に、対象物が目標対象物であると判定した場合に、第１のサーバは目標ビデオを取得する。

【0057】

オプションとして、目標ビデオの記憶位置は、ビデオ監視機器又は第２のサーバを含んでもよいが、これに限られない。例えば、第１のサーバは、下記いずれかの方式で目標ビデオを取得してもよいが、これに限られない。

【0058】

方式１：第１のサーバは、ビデオ監視機器から目標ビデオを取得する。
方式２：第１のサーバは、第２のサーバから目標ビデオを取得し、目標ビデオは、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって第２のサーバに送信されたものである。

【0059】

オプションとして、本実施例において、第２のサーバは、第２のクラウドサーバを含んでもよいが、これに限られない。例えば、EZVIZクラウドである。

【0060】

オプションとして、ビデオ監視機器は、目標ビデオを第２のサーバに送信してもよい。第１のサーバは、画像に基づいて、目標領域に現れた対象物が目標対象物ではないと判定していれば、目標ビデオを削除するように第２のサーバに指示する指示情報を第２のサーバに送信することができ、これにより、記憶空間を節約する。例えば、上記ステップＳ２０４の後に、対象物が目標対象物ではないと判定した場合に、第１のサーバは、目標ビデオを削除するように第２のサーバに指示するための指示情報を第２のサーバへ送信する。

【0061】

オプションとして、第１のサーバは、目標ビデオを取得した後、目標ビデオから目標領域における目標対象物の移動軌跡を解析してもよい。例えば、第１のサーバが目標ビデオを取得した後、第１のサーバは、目標ビデオにおいて、目標領域における目標対象物の移動軌跡を特定する。

【0062】

オプションとして、第１のサーバは、解析した目標対象物の移動軌跡に基づいて、目標対象物を排除するためのアドバイスを生成して、ユーザに提供してもよい。例えば、第１のサーバが目標ビデオにおいて、目標領域における目標対象物の移動軌跡を特定した後、第１のサーバは、移動軌跡に基づいて、目標対象物を排除する方式を提示するための提示情報を生成する。

【0063】

オプションとして、第１のサーバは、目標ビデオ、移動軌跡、提示情報が付加されたアラート情報をクライアントへ送信してもよく、これにより、ユーザに目標対象物のアラートを提供するとともに、目標対象物の移動軌跡、目標対象物をどのように排除するかの方式、及び目標対象物の移動過程の再生を参照のためにユーザに提供する。例えば、第１のサーバが移動軌跡に基づいて提示情報を生成した後、第１のサーバは、目標対象物に対応するアラート情報を生成し、アラート情報は、目標領域に目標対象物が現れたことを示すために用いられ、アラート情報には、目標ビデオ、移動軌跡、提示情報の少なくとも一方が含まれており、第１のサーバは、アラート情報をクライアントに送信する。

【0064】

オプションとして、上記ステップＳ２０２の前に、ビデオ監視機器は、第１のサーバに送信する画像を以下の方式で取得してもよいが、これに限られない。ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、対象物が目標領域に現れてから所定時間毎に、ビデオ監視機器で目標領域を撮像したビデオからビデオ画像を、対象物が目標領域に現れなくなるまで、キャプチャし、画像はビデオ画像を含む。そして、ビデオ監視機器は、キャプチャしたビデオ画像を第１のサーバにリアルタイムに送信する。或いは、ビデオ監視機器は、キャプチャした全てのビデオ画像を含む画像セットを取得し、画像セットを第１のサーバに送信する。

【0065】

オプションとして、ビデオ監視機器から第１のサーバに送信される画像は、複数枚の画像であり、第１のサーバは、各画像を認識し認識結果を得て、これらの認識結果を統合し、最終の目標結果を得るようにしてもよい。例えば、上記ステップＳ２０４において、第１のサーバは、受信した各ビデオ画像における対象物が目標対象物であるか否かを認識し、各ビデオ画像に対応する認識結果を得て、そして、第１のサーバは、受信した全てのビデオ画像に対応する認識結果を目標結果となるように統合し、さらに、第１のサーバは、目標結果に基づいて、対象物が目標対象物であるか否かを判定する。

【0066】

オプションとして、第１のサーバは、ビデオ画像における対象物が目標対象物であるか否かを以下の方式で認識してもよいが、これに限られない。

【0067】

第１のサーバは、受信した各ビデオ画像に対象物が現れたか否かを判定する。
第１のサーバは、対象物が現れたビデオ画像における対象物が目標対象物であるか否かを認識する。

【0068】

オプションとして、上記ステップＳ２０４において、目標対象物を以下の方式で認識してもよいが、これに限られない。

【0069】

第１のサーバは、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得る。画像は、目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各目標ビデオフレーム画像は、目標領域における対象物を示すために用いられ、画像特徴は、移動する対象物のうち、目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられる。

【0070】

第１のサーバは、各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像における対象物の動き速度及び動き方向を表すための動き特徴を特定する。

【0071】

第１のサーバは、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定する。

【0072】

オプションとして、本実施例において、目標対象物の特定方法をさらに提供してもよい。ビデオ監視機器が撮像機器であり、取得した画像が、目標ビデオから抽出した画像フレームであるとする。上記方法は、以下のステップＳ１～ステップＳ６を含む。

【0073】

ステップＳ１：撮像機器で目標領域を撮像したビデオファイルを取得する。
本願の上記ステップＳ１に提供される技術的構成において、撮像機器は監視カメラであり、例えば、該撮像機器は、目標領域を撮像監視し、ビデオファイルを得るための赤外線微光暗視カメラである。目標領域は、目標建物内の検出される空間領域であり、即ち、目標対象物が現れたか否かを検出するための領域であり、該目標対象物は、防除の必要がある大型のベクトル生物であることができ、例えば、該目標対象物はねずみである。

【0074】

該実施例のビデオファイルは、目標領域を撮像した生ビデオデータを含み、目標領域の監視ビデオシーケンスを含んでもよく、該監視ビデオシーケンスは、すなわち、画像ビデオシーケンスである。

【0075】

オプションとして、該実施例では、ビデオデータ収集層においてＡＲＭボードによって目標領域の生ビデオデータを取得して、上記ビデオファイルを生成してもよい。これにより、目標領域のビデオを収集する目的を実現する。

【0076】

ステップＳ２：ビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得る。

【0077】

本願の上記ステップＳ２に提供される技術的構成において、撮像機器で目標領域を撮像したビデオファイルを取得した後、ビデオファイルを前処理し、ビデオデータ処理層においてビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得ることができる。

【0078】

該実施例において、ビデオファイルに対して等間隔のフレーム抽出・サンプリングを行うことにより、ビデオファイルの１グループのビデオフレーム画像を得ることができる。例えば、ビデオファイルは、１００個のビデオフレームシーケンスを含み、フレーム抽出・サンプリングを行った後、１０個のビデオフレームシーケンスを得ていれば、この１０個のビデオフレームシーケンスを上記１グループのビデオフレーム画像と、これにより、目標対象物を特定するアルゴリズムの演算量を低減する。

【0079】

ステップＳ３：１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定する。

【0080】

本願の上記ステップＳ３に提供される技術的構成において、ビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得た後、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定し、各目標ビデオフレーム画像は、対応する目標領域内を移動する対象物を示すために用いられる。

【0081】

該実施例において、ビデオファイルを前処理することは、ビデオファイルの動的検出を行い、１グループのビデオフレーム画像から目標領域内を移動する対象物を示すための目標ビデオフレーム画像、即ち、該目標ビデオフレーム画像における移動する対象物を特定することをさらに含み、該目標ビデオフレーム画像は、移動する対象物のビデオセグメントであることができ、移動する対象物は目標対象物であるかもしれないし、目標対象物ではないかもしれない。該実施例では、動的検出アルゴリズムによって目標ビデオフレーム画像を特定し、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定し、さらにステップＳ４を実行する。

【0082】

オプションとして、１グループのビデオフレーム画像のうち、複数の目標ビデオフレーム画像以外のビデオフレーム画像は、移動する画像が対応する目標領域にあることを示していないため、後の検出を行わなくてもよい。

【0083】

ステップＳ４：各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得る。

【0084】

本願の上記ステップＳ４に提供される技術的構成において、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定した後、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得る。画像特徴は、各目標ビデオフレーム画像にとって、移動する対象物のうち、目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられる。

【0085】

該実施例において、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、つまり、目標ビデオフレーム画像に存在する動き物体を検出する。目標検出システムで、動的目標検出方法及びニューラルネットワークに基づく目標検出方法を用いて、目標ビデオフレーム画像に存在する動き物体を検出し、各目標ビデオフレーム画像の画像特徴を得ることができる。動的目標検出方法の演算速度が速く、機器の構成に対する要求が低い一方、ニューラルネットワークに基づく目標検出方法の正確性及びロバスト性がより優れている。画像特徴は、目標画像領域を表すための、矩形枠における視覚情報であることができ、該矩形枠は、移動する対象物のうち、認識されるべき目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すための検出枠であることができる。つまり、上記画像特徴は、粗選別で確認した目標対象物が現れる可能性のある位置を示すために用いられる。

【0086】

ステップＳ５：各目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定する。

【0087】

本願の上記ステップＳ５に提供される技術的構成において、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得た後、各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像における移動する対象物の動き速度及び動き方向を表すための動き特徴を特定する。

【0088】

該実施例において、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得た後、各目標ビデオフレーム画像の画像特徴を動き特徴抽出モジュールに入力することができ、該動き特徴抽出モジュールは、各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像にとって、複数の目標ビデオフレーム画像における移動する対象物の動き速度及び動き方向を表すための動き特徴を特定すると同時に、非目標対象物の移動による干渉画像をさらに除去し、例えば、蚊や昆虫の移動等の干渉情報を削除する。

【0089】

オプションとして、該実施例において、各目標ビデオフレーム画像における移動する対象物の動きは連続するため、動き特徴抽出モジュールの動き特徴抽出アルゴリズムは、まず各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像間の画像特徴の相関性を検出してもよい。相関性が大きい画像特徴に対応する対象物を同一対象物として特定することができ、それぞれの目標ビデオフレーム画像の画像特徴の照合を行い、対象物の一連の動画像を得る。最後に、３次元（3-Dimension、単に３Ｄという）の特徴抽出ネットワークを用いて動きシーケンスの特徴を抽出することにより、動き特徴を得ることができる。例えば、各目標ビデオフレーム画像の検出枠に基づいて、複数の目標ビデオフレーム画像間の検出枠の相関性を算出し、相関性が大きい検出枠に対応する対象物を同一対象物として特定することができ、各目標ビデオフレーム画像の検出枠の照合を行い、対象物の一連の動画像を得る。最後に、３Ｄの特徴抽出ネットワークを用いて動きシーケンスの特徴を抽出し、動き特徴を得て、さらに、複数の目標ビデオフレーム画像における移動する対象物の動き速度及び動き方向を特定する。

【0090】

オプションとして、該実施例では、複数の目標ビデオフレーム画像の画像特徴を統合し、そして特徴抽出を行ってもよい。これにより、単一フレームの目標検出器が誤判断することを防止し、さらに、目標ビデオフレーム画像を精選別して、目標対象物が現れたか否かを正確に判定することを実現する。

【0091】

ステップＳ６：動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定する。

【0092】

本願の上記ステップＳ６に提供される技術的構成において、各目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定した後、動き特徴及び各目標ビデオフレーム画像の画像特徴を統合し、予めトレーニングしておいた分類ネットワークに入力してもよい。該分類ネットワークは、予めデザインしておいた、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定するための分類ネットワークモデルである。さらに、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定し、例えば、複数の目標ビデオフレーム画像にねずみが現れたか否かを判定する。

【0093】

オプションとして、該実施例では、複数の目標ビデオフレーム画像に目標対象物がある画像における画像特徴を、フロントエンド表示インターフェースを入力してもよい。該フロントエンド表示インターフェースは、さらに、目標対象物の検出枠及び移動軌跡を表示することができる。

【0094】

オプションとして、該実施例の分類ネットワークモデルは、非目標対象物のピクチャシーケンスを除去し、目標対象物のピクチャシーケンスを保留することに用いられてもよい。これにより、誤警報確率を下げ、目標対象物の提示情報の正確性を保証する。

【0095】

上記ステップＳ１～ステップＳ６を通じて、撮像機器で目標領域を撮像したビデオファイルを取得し、ビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得て、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定し、各目標ビデオフレーム画像は、目標領域内を移動する対象物を示すために用いられ、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得て、画像特徴は、移動する対象物のうち、目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられ、各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像における移動する対象物の動き速度及び動き方向を表すための動き特徴を特定し、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定する。つまり、目標領域のビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得て、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において目標領域内を移動する対象物を示すための複数の目標ビデオフレーム画像を特定してから、各目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定し、さらに、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを自動的に判定する目的を達成し、目標対象物を特定するための人件費を大幅に低減するだけでなく、目標対象物を特定する正確率を高め、目標対象物を特定する効率が低いという問題を解決し、さらに、ねずみによる被害の検出正確度を向上させる効果を達成する。

【0096】

代替な実施形態として、ステップＳ３では、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定することは、１グループのビデオフレーム画像における各画素点の平均画素値を取得することと、１グループのビデオフレーム画像のそれぞれにおける各画素点の画素値と対応する平均画素値との差を取得することと、１グループのビデオフレーム画像のうち差が所定条件を満たすビデオフレーム画像を、目標ビデオフレーム画像として特定することと、を含む。

【0097】

該実施例において、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定する時に、１グループのビデオフレーム画像における各画素点の画素値を取得し、各画素点の画素値に基づいて平均画素値を算出し、さらに、１グループのビデオフレーム画像における各画素点の画素値と対応する平均画素値との差を取得することができる。

【0098】

オプションとして、該実施例では、１グループのビデオフレーム画像のそれぞれにおける各画素点の画素値と背景又は各ビデオフレーム画像の前のフレームとの差を取得してもよい。

【0099】

上記差を取得した後、その差が所定条件を満たすか否かを判断し、１グループのビデオフレーム画像のうち差が所定条件を満たすビデオフレーム画像を、目標ビデオフレーム画像として特定することにより、１グループのビデオフレーム画像における複数の目標ビデオフレーム画像を得る。

【0100】

代替な実施形態として、１グループのビデオフレーム画像のそれぞれにおける各画素点の画素値と対応する平均画素値との差を取得することは、１グループのビデオフレーム画像のそれぞれにおける各画素点に対して以下の操作を実行することを含む。以下の操作を実行する時に、各ビデオフレーム画像を現在ビデオフレーム画像と見なし、各画素点を現在画素点と見なす。

【0101】

【数1】

【0102】

ただし、(x,y)は、現在ビデオフレーム画像における現在画素点の座標であり、f(x,y)は、現在画素点の画素値を表し、b(x,y)は、現在画素点の平均画素値を表し、D(x,y)は、現在画素点の画素値と対応する平均画素値との差を表す。

【0103】

該実施例において、１グループのビデオフレーム画像のそれぞれにおける各画素点の画素値と対応する平均画素値との差を取得する時に、各ビデオフレーム画像を現在ビデオフレーム画像と見なし、各画素点を現在画素点と見なし、現在ビデオフレーム画像における現在画素点の座標を(x,y)で表すことができ、例えば、現在ビデオフレーム画像の左上角を原点とし、幅方向をＸ軸とし、高さ方向をＹ軸として確立した座標系における画素点の座標であり、現在画素点の画素値をf(x,y)で表し、現在画素点の平均画素値をb(x,y)で表し、現在画素点の画素値と対応する平均画素値との差をD(x,y)で表し、式

【0104】

【数2】

【0105】

に従って現在画素点の画素値と対応する平均画素値との差を算出し、そこで、上記方法によって、１グループのビデオフレーム画像のそれぞれにおける各画素点の画素値と対応する平均画素値との差を取得する目的を達成する。

【0106】

代替な実施形態として、１グループのビデオフレーム画像のうち差が所定条件を満たすビデオフレーム画像を、目標ビデオフレーム画像として特定することは、１グループのビデオフレーム画像のそれぞれにおける各画素点に対して以下の操作を実行することを含む。以下の操作を実行する時に、各ビデオフレーム画像を現在ビデオフレーム画像と見なし、各画素点を現在画素点と見なす。

【0107】

【数3】

【0108】

ただし、D(x,y)は、現在画素点の画素値と対応する平均画素値との差を表し、Tは、第１の予め設定された閾値である。所定条件は、目標ビデオフレーム画像におけるM(x,y)=1の画素点の数が第２の予め設定された閾値を超えることを含む。

【0109】

該実施例において、１グループのビデオフレーム画像のうち差が所定条件を満たすビデオフレーム画像を、目標ビデオフレーム画像として特定する時に、各ビデオフレーム画像を現在ビデオフレーム画像と見なし、各画素点を現在画素点と見なし、現在ビデオフレーム画像をM(x,y)で表し、D(x,y)は、現在画素点の画素値と対応する平均画素値との差を表し、第１の予め設定された閾値をTで表し、現在ビデオフレームにおけるM(x,y)=1の画素点の数が第２の予め設定された閾値を超えていれば、現在ビデオフレーム画像を目標ビデオフレーム画像として特定し、つまり、現在ビデオフレーム画像における移動する対象物は、目標ビデオフレーム画像であり、そうでなければ、現在ビデオフレーム画像における移動しない対象物である。

【0110】

該実施例の１グループのビデオフレーム画像において、複数の目標ビデオフレーム画像で動き目標ビデオフレーム画像を形成し、モルフォロジー演算により画素点を合成することで、全ての動き物体を出力結果として得ることができる。

【0111】

オプションとして、該実施例では、目標ビデオフレーム画像における移動する対象物の検出は、ニューラルネットワークに基づく目標検出であってもよい。１グループのビデオフレーム画像を、予めトレーニングしておいたネットワークモデルに入力し、全ての移動する対象物及びその信頼度を得て、ある信頼度の閾値を超えた画像特徴を該ネットワークモジュールの出力とすることができる。使用されるネットワークモデルは、単発多目標検出器(Single Shot MultiBox Detector、単にＳＳＤという）、領域ベース畳み込みネットワーク(Faster Region-CNN、単にFaster-ＲＣＮＮという)、特徴ピラミッドネットワーク（Feature Pyramid Network、単にＦＰＮという）等を含むことができるが、これに限られず、ここでは何ら限定もしない。

【0112】

代替な実施形態として、ステップＳ５では、各目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定することは、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する目標ベクトルを取得し、複数の目標ベクトルを得て、各目標ベクトルは、対応する１つの目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を表すために用いられ、複数の目標ベクトルを、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って第１の目標ベクトルとして構成し、動き特徴は第１の目標ベクトルを含むこと、或いは、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図を取得し、複数の２次元オプティカルフロー図を得て、各２次元オプティカルフロー図は、対応する１つの目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を含み、複数の２次元オプティカルフロー図を、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って３次元の第２の目標ベクトルとして構成し、動き特徴は３次元の第２の目標ベクトルを含むこと、を含む。

【0113】

該実施例において、各目標ビデオフレーム画像の画像特徴は、目標画像領域に対応する目標ベクトルを示すために用いられることができ、これにより、複数の目標ビデオフレームと１対１に対応する複数の目標ベクトルを得る。各目標ベクトルは、対応する１つの目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を表すために用いられる。つまり、各目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を、各目標ビデオフレーム画像の画像特徴とすることができる。複数の目標ベクトルを得た後、複数の目標ベクトルを、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って第１の目標ベクトルとして構成し、ビデオファイルにおける各目標ビデオフレーム画像の時間順を時間軸で表すことができ、さらに、複数の目標ベクトルを時間軸に沿って結合し、第１の目標ベクトルを得ることができ、該第１の目標ベクトルは１次元ベクトルであり、該１次元ベクトルを動き特徴として出力する。

【0114】

オプションとして、各目標ビデオフレーム画像の画像特徴は目標画像領域を表すために用いられ、各目標画像領域のオプティカルフロー（Optical flow or optic flow）を算出することで、該目標画像領域に対応する２次元オプティカルフロー図を得て、さらに、複数の目標ビデオフレーム画像と１対１に対応する複数の２次元オプティカルフロー図を得るようにしてもよい。オプティカルフローは、観察者の動きに対する観測対象、表面又はエッジの動きを記述するために用いられる。該実施例の各２次元オプティカルフロー図は、対応する１つの目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を含み、つまり、目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向は、２次元オプティカルフロー図で表されることができる。複数の２次元オプティカルフロー図を得た後、複数の２次元オプティカルフロー図を、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って３次元の第２の目標ベクトルとして構成し、ビデオファイルにおける各目標ビデオフレーム画像の時間順を時間軸で表すことができる。複数の２次元オプティカルフロー図を時間軸に沿って結合し、第２の目標ベクトルを得ることができ、該第２の目標ベクトルは３次元ベクトルであり、該３次元ベクトルを動き特徴として出力する。

【0115】

該実施例では、対応する１つの目標ビデオフレーム画像における移動する対象物が目標画像領域を通る時の動き速度及び動き方向を表すための目標ベクトル、或いは、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図によって、動き特徴を特定し、該動き特徴は、１次元ベクトル又は３次元ベクトルであることができる。これにより、各目標ビデオフレーム画像の画像特徴に基づいて、動き特徴を特定する目的を実現し、さらに、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定し、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを自動的に判定する目的を達成し、目標対象物を特定する正確率を高める。

【0116】

代替例として、上記移動する対象物の検出（目標検出）と動き特徴の抽出を統合したネットワーク出力特徴マップによって、視覚と動き特徴を含む４次元ベクトルを統合し、該４次元ベクトルは、時間次元、チャンネル次元、長さ次元、高さ次元を含むことができるが、これに限られない。

【0117】

代替な実施形態として、ステップＳ６では、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定することは、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための対象物認識結果を得ることを含む。

【0118】

該実施例において、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定する時に、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得ることができる。該ニューラルネットワークモデルは、すなわち、分類ネットワークモデルであり、動きのある目標対象物が存在する画像特徴サンプル、動き特徴サンプル及び目標対象物を示すためのデータに基づいて初期ニューラルネットワークモデルをトレーニングすることができるとともに、ビデオフレーム画像に目標対象物が現れたか否かを判定するためのモデルである。対象物認識結果は、すなわち、分類結果、判別結果であり、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すために用いられる。

【0119】

代替な実施形態として、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得ることは、各画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、複数の第１の特徴ベクトルと動き特徴を統合し、第２の特徴ベクトルを得て、第２の特徴ベクトルを全結合層に入力して分類し、第１の分類結果を得て、ニューラルネットワークモデルは、ニューラルネットワーク層構造と全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第１の分類結果を含むこと、或いは、各画像特徴に畳み込み層、正規化及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得て、複数の第１の特徴ベクトルと第２の特徴ベクトルを統合し、第３の特徴ベクトルを得て、第３の特徴ベクトルを全結合層に入力して分類し、第２の分類結果を得て、ニューラルネットワークモデルは、第１のニューラルネットワーク層構造、第２のニューラルネットワーク層構造及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第２の分類結果を含むこと、を含む。

【0120】

該実施例において、ニューラルネットワークモデルの全体構造は、畳み込み層、正規化層、活性化関数層、全結合層に分けられることができ、畳み込み層は、いくつかの畳み込みユニットからなり、各畳み込みユニットのパラメータは、それぞれバックプロパゲーションアルゴリズムの最適化により得られたものである。正規化層は、ニューラルネットワークモデルのトレーニングの過剰適合を防止するために用いられることができ、活性化関数層は非線形性をネットワークに導入することができ、全結合層は、畳み込みニューラルネットワーク全体において分類器として機能する。

【0121】

該実施例において、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得る時に、各画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得ることができ、該複数の第１の特徴ベクトルと上記動き特徴を統合することで、第２の特徴ベクトルを得て、動き特徴は１次元動き特徴である。

【0122】

代替な統合方式として、複数の第１の特徴ベクトルと動き特徴を結合して（或いは、組み合わせて）、第２の特徴ベクトルを得ることができる。

【0123】

第２の特徴ベクトルを得た後、第２の特徴ベクトルを全結合層に入力して分類し、つまり、全結合層により第２の特徴ベクトルを分類することで、第１の分類結果を得る。該実施例のニューラルネットワークモデルは、上記ニューラルネットワーク層構造及び上記全結合層を含み、第１の分類結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かの対象物認識結果を示すために用いられ、例えば、複数の目標ビデオフレーム画像にねずみが現れたか否かの分類結果である。

【0124】

オプションとして、上述したような、各画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、複数の第１の特徴ベクトルと動き特徴を統合し、第２の特徴ベクトルを得て、第２の特徴ベクトルを全結合層に入力して分類し、第１の分類結果を得る方法は、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する目標ベクトルを取得し、複数の目標ベクトルを得て、複数の目標ベクトルを、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って第１の目標ベクトルとして構成した後に実行されてもよい。

【0125】

オプションとして、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得る時に、各画像特徴に畳み込み層、正規化及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、上記動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得るようにしてもよい。第１の特徴ベクトルを得るとともに第２の特徴ベクトルを得た後、複数の第１の特徴ベクトルと第２の特徴ベクトルを統合し、第３の特徴ベクトルを得る。

【0126】

代替な統合方式として、複数の第１の特徴ベクトルと第２の特徴ベクトルを結合して（或いは、組み合わせて）、第３の特徴ベクトルを得ることができる。

【0127】

第３の特徴ベクトルを得た後、第３の特徴ベクトルを全結合層に入力して分類することで、第２の分類結果を得る。該実施例のニューラルネットワークモデルは、第１のニューラルネットワーク層構造、第２のニューラルネットワーク層構造及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第２の分類結果を含み、例えば、複数の目標ビデオフレーム画像にねずみが現れたか否かの分類結果である。

【0128】

オプションとして、上述したような、各画像特徴に畳み込み層、正規化及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得て、複数の第１の特徴ベクトルと第２の特徴ベクトルを統合し、第３の特徴ベクトルを得て、第３の特徴ベクトルを全結合層に入力して分類し、第２の分類結果を得る方法は、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図を取得し、複数の２次元オプティカルフロー図を得て、複数の２次元オプティカルフロー図を、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って３次元の第２の目標ベクトルとして構成した後に実行されてもよい。

【0129】

他の代替例として、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、対象物認識結果を得ることは、各画像特徴に複数のブロックを順に通らせ、複数の第１の特徴ベクトルを得て、各ブロックにおいて、ブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作、活性化関数層における活性化操作を順に実行し、複数の第１の特徴ベクトルと動き特徴を結合し、第２の特徴ベクトルを得て、第２の特徴ベクトルを全結合層に入力し、全結合層により出力して第１の分類結果を得て、ニューラルネットワークモデルは複数のブロック及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第１の分類結果を含むこと、或いは、各画像特徴に複数の第１のブロックを順に通らせ、複数の第１の特徴ベクトルを得て、各第１のブロックにおいて、第１のブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作、活性化関数層における活性化操作を順に実行し、動き特徴に複数の第２のブロックを順に通らせ、第２の特徴ベクトルを得て、各第２のブロックにおいて、第２のブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作、活性化関数層における活性化操作を順に実行し、複数の第１の特徴ベクトルと第２の特徴ベクトルを結合し、第３の特徴ベクトルを得て、第３の特徴ベクトルを全結合層に入力し、全結合層により出力して第２の分類結果を得て、ニューラルネットワークモデルは、複数の第１のブロック、複数の第２のブロック及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第２の分類結果を含むこと、を含む。

【0130】

該実施例において、さらに、ブロックによって各画像特徴を処理することもできる。各画像特徴に複数のブロックを順に通らせ、複数の第１の特徴ベクトルを得て、各ブロックにおいて、ブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作及び活性化関数層における活性化操作を順に実行することができる。複数の第１の特徴ベクトルを得た後、複数の第１の特徴ベクトルと動き特徴を結合することで、第２の特徴ベクトルを得る。第２の特徴ベクトルを得た後、第２の特徴ベクトルを全結合層に入力して分類し、全結合層により出力して第１の分類結果を得る。該実施例のニューラルネットワークモデルは、複数のブロック及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第１の分類結果を含み、例えば、複数の目標ビデオフレーム画像にねずみが現れたか否かの分類結果である。

【0131】

オプションとして、該実施例では、第１のブロックによって各画像特徴を処理し、各画像特徴に複数の第１のブロックを順に通らせ、複数の第１の特徴ベクトルを得て、各第１のブロックにおいて、第１のブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作及び活性化関数層における活性化操作を順に実行するようにしてもよい。該実施例では、さらに、第２のブロックによって動き特徴を処理し、動き特徴に複数の第２のブロックを順に通らせ、第２の特徴ベクトルを得て、各第２のブロックにおいて、第２のブロックの入力に対して畳み込み層における畳み込み操作、正規化層における正規化操作及び活性化関数層における活性化操作を順に実行することもできる。複数の第１の特徴ベクトル及び第２の特徴ベクトルを得た後、複数の第１の特徴ベクトル及び第２の特徴ベクトルを結合し、第３の特徴ベクトルを得て、最後に、第３の特徴ベクトルを全結合層に入力して分類し、全結合層により出力して第２の分類結果を得る。該実施例のニューラルネットワークモデルは、複数の第１のブロック、複数の第２のブロック及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第２の分類結果を含み、例えば、複数の目標ビデオフレーム画像にねずみが現れたか否かの分類結果である。

【0132】

代替な実施形態として、ビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得ることは、ビデオファイルにおけるビデオシーケンスに対して等間隔のフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得ることを含む。

【0133】

該実施例において、ビデオファイルがビデオシーケンスを含み、ビデオファイルのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得る時に、ビデオファイルにおけるビデオシーケンスに対して等間隔のフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得ることができ、これにより、目標対象物を特定するアルゴリズムの演算量を低減し、さらに、複数の目標ビデオフレームに目標対象物が現れたか否かを迅速に判断し、目標対象物を特定する効率を向上させる。

【0134】

代替な実施形態として、撮像機器で目標領域を撮像したビデオファイルを取得することは、赤外線微光暗視カメラで目標領域を撮像したビデオファイルを取得し、ビデオファイルにおけるビデオフレーム画像は、赤外線微光暗視カメラで撮像した画像であることを含む。

【0135】

該実施例において、撮像機器はカメラであることができ、例えば、赤外線微光暗視カメラであり、該赤外線微光暗視カメラは赤外線照明機能が付いている。赤外線微光暗視カメラで目標領域を撮像し、ビデオファイルを得て、該ビデオファイルにおけるビデオフレーム画像は、赤外線微光暗視カメラで撮像した画像である。

【0136】

オプションとして、該実施例の撮像機器は、移動検知機能、ネットワーキング機能（例えば、ＷＩＦＩネットワーキング）及び高精細化（例えば、１０８０ｐよりも大きい）構成をさらに含んでもよいが、これに限られない。

【0137】

代替な実施形態として、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定した後、該方法は、複数の目標ビデオフレーム画像に目標対象物が現れたと判定された場合に、複数の目標ビデオフレーム画像における目標対象物の位置を特定することと、位置を複数の目標ビデオフレーム画像に表示することと、をさらに含む。

【0138】

該実施例において、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定した後、複数の目標ビデオフレーム画像に目標対象物が現れたと判定された場合に、複数の目標ビデオフレーム画像における目標対象物の位置をさらに特定し、例えば、複数の目標ビデオフレーム画像におけるねずみの位置を特定することができ、さらに、位置を複数の目標ビデオフレーム画像に表示し、例えば、位置を示すためのアイコン、テキスト等の情報を複数の目標ビデオフレーム画像に表示する。

【0139】

オプションとして、該実施例では、目標対象物が現れた時間、目標領域における動き領域等の情報を取得し、目標対象物の位置、時間、目標領域における具体的な動き領域、目標領域における動き頻度、移動軌跡等の情報をフロントエンドに出力してもよい。該フロントエンドは、すなわち、表示部材であり、目標対象物が現れた時間、動き領域等の情報を表示インターフェースに表示させることができ、これにより、目標対象物を人が特定することに起因して、目標対象物を特定する効率が低下する問題を回避する。

【0140】

オプションとして、複数の目標ビデオフレーム画像に目標対象物が現れたと判定された場合に、関連防除作業者が防除策を取るように、目標領域に目標対象物が現れたことを示すための警報情報をフロントエンドに送信してもよい。これにより、目標対象物を防除する効率を向上させる。

【0141】

代替な実施形態として、目標対象物の特定方法は、ローカルに設けられたサーバによって実行される。

【0142】

該実施例の目標対象物の特定方法は、ローカルに設けられたサーバによって実行されることができ、クラウドサーバに接続される必要がなく、内部で上記演算及び可視化を実現することができ、演算側がクラウドサーバにあるため、計算リソース面、伝送面の問題が発生し、フレームワーク全体の効率が低下する問題を回避し、これにより、目標対象物を特定する効率を向上させる。

【0143】

該実施例は、画像認識技術を適用して、画像特徴及び動き特徴を統合し、監視ビデオに目標対象物があるか否かを自動的に検出し、目標対象物の位置決めと追跡を行うことを目的としており、目標対象物の移動軌跡及び各目標領域における動き頻度を生成することができ、全過程はすべてアルゴリズムによって実現され、余計な人件費が発生しない。また、該実施例では、目標捕捉装置を置くことで目標領域における目標対象物を特定する必要がないし、観測のための人手がかかる必要もなく、目標対象物をモニタリングする人件費を大幅に低減するだけでなく、目標対象物を特定する効率を向上させ、さらに、目標対象物の更なる防除作業が容易になる。

【0144】

さらに、以下、代替な実施例を結合して本願実施例の技術的構成について例を挙げて説明する。具体的には、目標対象物がねずみであることを例として説明する。

【0145】

本願実施例による他の目標対象物の特定方法である。該方法は、さらに以下のステップを含む。

【0146】

ステップＳ１：赤外線微光暗視カメラで撮像したビデオファイルを取得する。
ステップＳ２：ビデオファイルに動き物体が存在するか否かを判断する。

【0147】

ステップＳ３：動き物体が存在すれば、動き物体が存在するビデオセグメントを抽出する。

【0148】

ステップＳ４：動き物体が存在するビデオセグメントの画像特徴及び動的特徴を抽出する。

【0149】

ステップＳ５：抽出した画像特徴及び動的特徴に基づいて、動き物体がねずみであるか否かを判断する。

【0150】

ステップＳ６：判断結果がＹＥＳであれば、提示情報を送る。
該実施例では、赤外線微光暗視カメラで撮像したビデオファイルを取得することと、ビデオファイルに動き物体が存在するか否かを判断することと、動き物体が存在すれば、動き物体が存在するビデオセグメントを抽出することと、動き物体が存在するビデオセグメントの画像特徴及び動的特徴を抽出することと、抽出した画像特徴及び動的特徴に基づいて、動き物体がねずみであるか否かを判断することと、判断結果がＹＥＳであれば、提示情報を送ることとにより、目標対象物を特定する効率が低いという問題を解決し、さらに、ねずみによる被害の検出正確度を向上させる効果を達成する。

【0151】

本願実施例の技術的構成は、視覚特徴及び軌跡特徴を統合したねずみによる被害に対するビデオモニタリング方法とすることができ、様々な場面に適用されて、撮像したビデオにねずみが存在するか否かを検出することに用いられることができ、赤外線微光暗視カメラで現在環境のビデオファイルを撮像し、そして、動き物体が存在するか否かを判断し、動き物体が存在すれば、動き物体のビデオセグメントを抽出し特徴認識を行うことで、抽出した動き物体がねずみであるか否かをさらに判断し、ねずみであると判断されていれば、提示情報を送り、提示情報として、画面に文字を表示してもよいし、音声提示情報を送ってもよいし、或いは、点灯又は点滅等、様々なタイプの提示情報を送ってもよい。

【0152】

なお、本願実施例の技術的構成において、監視カメラとして、赤外線微光暗視カメラを利用し、また、その判断、抽出等の処理過程はローカルサーバにて行われ、データをリモートサーバに送信して処理させる必要がなく、データ伝送量を低減し、モニタリング効率を高めることができる。

【0153】

オプションとして、提示情報を送った後、ビデオファイルの各フレームのピクチャにおける動き物体の位置を特定し、予め設定されたマーカーを各フレームのピクチャの対応する位置に重ねてフロントエンドインターフェースに表示させるようにしてもよい。

【0154】

ねずみがある旨の提示を送った後、ビデオファイルの各フレームのピクチャにおけるねずみの位置を特定し、そして、予め設定されたマーカーを各フレームのピクチャの対応する位置に重ねて表示させ、予め設定されたマーカーは、緑色又は赤色の矩形枠であることができ、各フレームのピクチャにおけるねずみの位置を矩形枠でマークし、これにより、ユーザは、ねずみの位置及びよく出る領域をタイムリーにチェックすることが容易になる。

【0155】

オプションとして、ビデオファイルに動き物体が存在するか否かを判断することは、ビデオファイルにおけるビデオシーケンスに対して等間隔のフレーム抽出・サンプリングを行い、サンプリングビデオフレームを得ることと、動的目標検出アルゴリズム又はニューラルネットワークに基づく目標検出アルゴリズムに基づいて、サンプリングビデオフレーム画像に動き物体があるか否かを判断することと、を含んでもよい。

【0156】

ビデオファイルに動き物体が存在するか否かを判断する時に、ビデオシーケンスに対して等間隔のフレーム抽出・サンプリングを行うことができ、これにより、アルゴリズムの演算量を低減し、その後、サンプリングビデオフレームに動き物体があるか否かを判断し、判断時に、動的目標検出アルゴリズム又はニューラルネットワークに基づく目標検出アルゴリズムのうちのいずれかを利用することができ、場合によって、両者を混合して使用してもよい。

【0157】

オプションとして、動的目標検出アルゴリズムによってサンプリングビデオフレーム画像に動き物体があるか否かを判断することは、

【0158】

【数4】

【0159】

によって現在フレームと背景又は前のフレームとの差を算出することと、

【0160】

【数5】

【0161】

によって動き物体が存在するか否かを判断し、（x,y）は、画像の左上角を原点とし、幅方向をＸ軸とし、高さ方向をＹ軸として確立した座標系における画素点の座標であり、kは現在フレームのインデックスであり、fは現在フレームを表し、bは背景又は前のフレームを表し、M（x,y）は動き画像であり、Tは閾値であることと、を含んでもよい。

【0162】

M（x,y）が１であれば、動き目標があることを表し、全てのX（x,y）の画素で動き目標のビデオフレーム画像を形成し、モルフォロジー演算により画素点を合成して全ての動き目標を得ることができる。

【0163】

オプションとして、抽出した画像特徴及び動的特徴に基づいて、動き物体がねずみであるか否かを判断することは、抽出した画像特徴及び動的特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、モデル判別を行い、モデル出力結果を得ることと、モデル出力結果に基づいて、動き物体がねずみであるか否かを判断することと、を含んでもよい。

【0164】

予めトレーニングしておいたニューラルネットワークモデルによって、抽出した画像特徴及び動的特徴に対してモデル判別を行うことができ、モデルは、予め数多くのサンプルに基づいてトレーニングしたものであり、数多くのサンプルは、ピクチャ及び該ピクチャにねずみがあるか否かのラベルを含み、場合によって、該ピクチャにおけるねずみの数のラベルをさらに含んでもよく、このようにして、モデルをより正確にすることができる。

【0165】

本願実施例の技術的構成は、キッチン、レストラン等、ねずみによる被害があるか否かをモニタリングする必要のある応用場面に適用されることができ、ホテル業界学校、実験室、病院等、室内外の環境衛生が要求される場所に使用されることもでき、ねずみによる被害防除作業において、本願実施例の画像認識技術を適用してねずみの検出と追跡を行い、独立した装置を用いて、監視カメラによってローカルにてねずみによる被害の監視を完成し、ハサミ式ねずみ捕り器、かご式ねずみ捕り器を置く必要がないし、観測のための人手がかかる必要もなく、ねずみによる被害のモニタリングを高効率かつ全自動的な流れ作業で完成し、ねずみによる被害をモニタリングするための人件費を大幅に低減するだけでなく、正確率が高く、ねずみによる被害や衛生の規制が容易となり、同時に、軌跡情報を提供し、更なるねずみ駆除作業が容易となる。

【0166】

本願実施例の技術的構成は、代替な実施形態をさらに提供し、以下、該代替な実施形態を結合して、本願実施例の技術的構成を説明する。

【0167】

本願実施例は、画像認識技術を適用して、視覚及び画像シーケンス特徴を統合し、監視ビデオにねずみがあるか否かを自動的に検出し、ねずみの位置決めと追跡を行うとともに、ねずみの動き軌跡や経路及び各領域における動き頻度を生成することを目的としており、全過程はすべてアルゴリズムによって実現され、余計な人件費が発生しない。そして、独立した装置であり、クラウドサーバに接続される必要がなく、内部で全ての演算及び可視化を実現することができる。

【0168】

本願実施例によるねずみによる被害のビデオモニタリング装置は、赤外線微光暗視カメラ、データ処理モジュール及びフロントエンド表示部材といったいくつかの部材に分けられることができ、上記装置の作業時の原理は、以下の通りである。赤外線微光暗視カメラは、シーンビデオシーケンスを収集する役割を担い、データ処理モジュールは、ビデオシーケンスを受信するとともに、ビデオにねずみがあるか否かを検出し、ねずみを検出していれば、ねずみの位置等、一連の情報をフロントエンド表示インターフェースに出力し、フロントエンド表示インターフェースは、ねずみの位置、出る時間、動き領域を表示するとともに、ねずみによる被害の警報を即時に行うことができる。

【0169】

上記データ処理モジュールは、ビデオ収集モジュール３０２、ビデオ処理モジュール３０４及び記憶モジュール３０６に分けられることができる。図３は、本願実施例による各モジュールのデータ接続の模式図であり、図３に示すように、ビデオ収集モジュール３０２は、縮小命令セットコンピュータ（Reduced Instruction Set Computer、単にＲＩＳＣという）マイクロプロセッサ（Advanced RISC Machines、単にＡＲＭという）ボード３０２２によってビデオデータを収集し、ビデオ前処理モジュール３０２４によって前処理を行い、ビデオ処理モジュール３０４は、トレーニングしておいたモデルを読み込み、組み込み型グラフィックスプロセッサ（Graphics Processing Unit、単にＧＰＵという）プロセッサ３０４２にてディープラーニングアルゴリズムに基づいてビデオ処理を行い、ディープラーニングネットワークモデルは、あるセグメント時間にねずみがあると検出していれば、該セグメント及び対応する検出結果を記憶モジュール３０６に記憶し、記憶モジュール３０６は、この一連の情報をフロントエンドに出力する。

【0170】

図４は、本願実施例によるねずみによる被害の検出システムの原理模式図である。図４に示すように、該アルゴリズムは、前処理、目標検出、動き特徴の抽出及び分類ネットワークといったいくつかのモジュールを含み、システムの入力は、生ビデオシーケンスであり、前処理は、フレーム抽出と動的検出の２ステップを含み、まず、生ビデオシーケンスに対して等間隔のフレーム抽出・サンプリングを行い、アルゴリズムの演算量を低減し、その後、目標検出アルゴリズムを用いて目標検出を行い、画像に動き物体があるか否かを判断し、動き物体がなければ、後の検出を行わないが、動き物体があれば、動き物体があるビデオセグメントを後のモジュールに入力する。目標の検出過程において、前処理後のビデオシーケンスのそれぞれのフレームを検出し、ねずみが存在する可能性のある位置にて画像特徴（例えば、該位置に対応する検出枠内の視覚情報）を取得し、動き特徴抽出モジュールによって、各ビデオ画像フレーム間の情報を統合し、特徴抽出を行い、単一フレームの目標検出器が誤判断することを防止し、その後、抽出した動き特徴及び画像特徴を分類ネットワークに入力し、分類ネットワークが、ねずみであるか否かを判別し、ねずみであれば、それぞれのフレームにおけるねずみの位置の矩形検出枠をフロントエンド表示インターフェースに伝送する。

【0171】

なお、本実施例において、上記目標検出過程は、具体的な機器計算リソースに基づいて、動的目標検出アルゴリズムとニューラルネットワークに基づく目標検出アルゴリズムという２つのアルゴリズムが割り当てられ、前者は、演算速度が速く、機器の構成に対する要求が低く、後者は、正確性及びロバスト性に優れている。

【0172】

１）動的目標検出アルゴリズムは、背景差分法及びフレーム差分法を含み、下記式（１）により、現在フレームと背景又は前のフレームとの差を算出する。

【0173】

【数6】

【0174】

上記式において、（x,y）は、画像の左上角を原点とし、幅方向をＸ軸とし、高さ方向をＹ軸として確立した座標系における画素点の座標であり、kは、現在フレームのインデックスであり、fは、現在フレームを表し、bは、背景又は前のフレームを表す。式（２）により動き目標が存在するか否かを判断する。

【0175】

【数7】

【0176】

M（x,y）は、動き画像であり、Tは閾値であり、M（x,y）が１であれば、動き目標があることを表し、全てのX（x,y）の画素で動き目標のビデオフレーム画像を形成し、モルフォロジー演算により画素点を合成することで、全ての動き目標を得ることができ、該モジュールの出力とする。

【0177】

２）ニューラルネットワークに基づく目標検出アルゴリズムでは、ピクチャを予めトレーニングしておいたネットワークモデルに入力し、あらゆる可能な目標及びその信頼度を得て、ある信頼度の閾値を超えた検出枠を該モジュールの出力とする。使用されるネットワークモデルは、ＳＳＤ、Faster-RCNN、ＦＰＮ等を含むが、これに限られない。図５は、本願実施例のFaster-RCNNネットワークモデルの模式図である。図５に示すように、convは、畳み込み層であり、畳み込みカーネル（行列である）が入力において移動窓を設定し、各入力された移動窓の位置をそれぞれ式（３）に従って行列と点乗積し、その結果Ｆを該移動窓の位置の特徴として出力する。

【0178】

【数8】

【0179】

ＲＰＮは領域のためにネットワークを確立し、一連の候補枠を提案し、関心領域プーリング層（ROI pooling）は、畳み込み層の提案した特徴マップを、ＲＰＮで出力した座標に基づく領域においてサイズ（ｗ，ｈ）が一定である矩形枠にマッピングし、全結合層からなる分類器及びバウンディングボックス回帰子に入力し、バウンディングボックス回帰子は、ねずみの存在可能な座標位置を出力し、分類器は、該位置におけるねずみの信頼度を出力する。

【0180】

上記動き特徴の抽出：物体の動きが連続するため、動き特徴抽出アルゴリズムではまずそれぞれのフレームに基づく検出枠から、フレームとフレーム間の検出枠の相関性を算出し、相関性が大きい検出枠を同一の物体と認め、それぞれのフレームの検出枠を照合し、物体の一連の動画像を得て、最後に、３Ｄ特徴抽出ネットワークを用いて動きシーケンスの特徴を抽出する。

【0181】

上記分類ネットワーク：目標検出枠における視覚情報と動き特徴を統合し、デザインしておいた分類用のネットワークモデルに入力し、ねずみではないピクチャシーケンスを排除し、誤警報確率を下げ、結果をフロントエンド表示インターフェースに入力し、ねずみの検出枠及び軌跡を表示させる。

【0182】

本願実施例において、フレームワーク全体について、フレームワークのレイアウトコストを節約するように、さらに目標の検出及び分類ネットワークによって検出や認識の目的を達成してもよいが、これに限られない。

【0183】

本願実施例では、画像認識アルゴリズムを用いて、監視ビデオにおけるねずみを自動的に認識し、ハサミ式ねずみ捕り器、かご式ねずみ捕り器を配置する必要がないし、観測のための人手がかかる必要もなく、ねずみによる被害のモニタリングを高効率で全自動的な流れ作業で完成し、ねずみによる被害をモニタリングするための人件費を大幅に低減するだけでなく、正確率が高く、キッチンにおけるねずみによる被害や衛生への規制が容易となり、同時に、ねずみの動き軌跡をさらに提供することができ、作業者がねずみ駆除工具や配置位置を選択することが容易となり、更なる被害駆除作業が容易となる。

【0184】

本実施例において他の目標対象物の監視方法をさらに提供する。図６は、本願実施例による目標対象物の監視方法の第２のフローチャートであり、図６に示すように、そのフローは以下のステップを含む。

【0185】

ステップＳ６０２：ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから画像を取得する。

【0186】

ステップＳ６０４：ビデオ監視機器は、画像に基づいて、対象物が目標対象物であるか否かを判定するように第１のサーバに指示するための画像を第１のサーバに送信する。

【0187】

オプションとして、本実施例において、目標対象物は、ねずみ、害虫などの有害生物を含んでもよいが、これに限られない。

【0188】

オプションとして、本実施例において、目標領域は、キッチン、倉庫、工場などを含んでもよいが、これに限られない。

【0189】

オプションとして、本実施例において、ビデオ監視機器は、カメラ、モニターなどを含んでもよいが、これに限られない。

【0190】

オプションとして、本実施例において、ビデオ監視機器は、１つ又は複数のビデオ監視機器を含んでもよいが、これに限られない。

【0191】

オプションとして、本実施例において、第１のサーバは、第１のクラウドサーバを含んでもよいが、これに限られない。例えば、プライベートクラウドである。

【0192】

上記ステップを通じて、第１のサーバは、ビデオ監視機器から取得した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定し、該画像は、移動する対象物が目標領域に現れるとビデオ監視機器によって検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得したものであり、これにより、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、対象物が存在する可能性のある画像を第１のサーバへ送信すれば、第１のサーバは、受信した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定することができ、このように、ビデオによる目標対象物の監視方式に比べると、伝送データのデータ量を大幅に低減することができ、そのうえ、伝送速度を高め、伝送時間を短縮し、監視効率を向上させる。それゆえ、関連技術における、目標対象物を監視する効率が低いという問題を解決することができ、目標対象物を監視する効率を向上させる効果を達成する。

【0193】

オプションとして、移動する対象物が目標領域に現れると検出された場合に、ビデオ監視機器は、目標ビデオを、第１のサーバから送信された第１の要求を受信した場合に、第１の要求に応えて目標ビデオを第１のサーバに送信する第２のサーバに送信してもよい。

【0194】

オプションとして、上記ステップＳ６０４の後、ビデオ監視機器は、第１のサーバから送信された第２の要求を受信し、ビデオ監視機器は、第２の要求に応えて目標ビデオを第１のサーバに送信してもよい。

【0195】

オプションとして、上記ステップＳ６０２において、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、目標領域に対象物が現れてから所定時間毎に、ビデオ監視機器で目標領域を撮像したビデオからビデオ画像を、対象物が目標領域に現れなくなるまで、キャプチャし、画像はビデオ画像を含む。ビデオ監視機器が画像を第１のサーバに送信することは、ビデオ監視機器が、キャプチャしたビデオ画像をリアルタイムに第１のサーバに送信すること、或いは、ビデオ監視機器が、キャプチャした全てのビデオ画像を含む画像セットを取得し、画像セットを第１のサーバに送信すること、を含む。

【0196】

オプションとして、移動する対象物が目標領域に現れると検出された場合に、ビデオ監視機器は、目標領域を撮像したビデオから、目標領域に対象物が現れてから目標領域に対象物が現れなくなるまでの第１のビデオを取得し、ビデオ監視機器は、目標領域に対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、目標領域に対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得し、ビデオ監視機器は、第２のビデオ、第１のビデオ及び第３のビデオを目標ビデオとして特定するようにしてもよい。

【0197】

以上の実施形態で説明したように、上記実施例による方法は、ソフトウェア及び必要な汎用ハードウェアフラップフォームを介して実現されることができ、もちろんハードウェアによって実現されることもできるが、多くの場合、前者がより適切な実施形態であることは、当業者にとって明らかである。このような理解に基づいて、本願の技術的構成は、本質上、或いは、関連技術に貢献する部分が、ソフトウェア製品の形で体現されることができ、このコンピュータソフトウェア製品は、記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末機器（携帯電話、コンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本願の各実施例の方法を実行させるための若干の命令を含む。

【0198】

本実施例において、第１のサーバに適用される目標対象物の監視装置をさらに提供し、該装置は、上記実施例及び代替な実施形態を実現するものであって、既に説明したものは省略される。以下で使用する用語である「モジュール」とは、所定の機能を実現可能なソフトウェア及び／又はハードウェアの組み合わせである。以下の実施例に説明する装置をソフトウェアで実現することが好ましいが、ハードウェア又はソフトウェアとハードウェアとの組み合わせにより実現することも可能であり、構想されている。

【0199】

図７は、本願実施例による目標対象物の監視装置の第１の構造ブロック図である。図７に示すように、該装置は、
移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像であるように構成される受信モジュール７２と、
画像に基づいて、対象物が目標対象物であるか否かを判定するように構成される判定モジュール７４と、を備える。

【0200】

オプションとして、本実施例において、目標対象物は、ねずみ、害虫などの有害生物を含んでもよいが、これに限られない。

【0201】

オプションとして、本実施例において、目標領域は、キッチン、倉庫、工場などを含んでもよいが、これに限られない。

【0202】

オプションとして、本実施例において、ビデオ監視機器は、カメラ、モニターなどを含んでもよいが、これに限られない。

【0203】

オプションとして、上記カメラは、赤外線照明機能付きのカメラ、例えば、赤外線微光暗視カメラを含んでもよいが、これに限られない。さらに、該カメラは、移動検知機能、記憶機能、ネットワーキング機能（例えば、ｗｉｆｉネットワーキング）及び高精細化（例えば、１０８０ｐよりも大きい）構成を含んでもよいが、これに限られない。

【0204】

オプションとして、本実施例において、ビデオ監視機器は、１つ又は複数のビデオ監視機器を含んでもよいが、これに限られない。

【0205】

オプションとして、本実施例において、第１のサーバは、第１のクラウドサーバを含んでもよいが、これに限られない。例えば、プライベートクラウドである。

【0206】

オプションとして、上記装置は、さらに、対象物が目標対象物であると判定した場合に、目標ビデオを取得するように構成されてもよい。

【0207】

オプションとして、上記装置は、さらに、ビデオ監視機器から目標ビデオを取得するか、或いは、第２のサーバから、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって第２のサーバに送信された目標ビデオを取得するように構成されてもよい。

【0208】

オプションとして、上記装置は、さらに、対象物が目標対象物ではないと判定した場合に、目標ビデオを削除するように第２のサーバに指示するための指示情報を第２のサーバへ送信するように構成されてもよい。

【0209】

オプションとして、上記装置は、さらに、目標ビデオにおいて、目標領域における目標対象物の移動軌跡を特定するように構成されてもよい。

【0210】

オプションとして、上記装置は、さらに、移動軌跡に基づいて、目標対象物を排除する方式を提示するための提示情報を生成するように構成されてもよい。

【0211】

オプションとして、上記装置は、さらに、目標対象物に対応する、目標領域に目標対象物が現れたことを示すためのアラート情報を生成し、アラート情報には、目標ビデオ、移動軌跡、提示情報の少なくとも一方が含まれており、アラート情報をクライアントに送信するように構成されてもよい。

【0212】

オプションとして、判定モジュールは、受信した各ビデオ画像における対象物が目標対象物であるか否かを認識し、各ビデオ画像に対応する認識結果を得て、受信した全てのビデオ画像に対応する認識結果を目標結果となるように統合し、目標結果に基づいて、対象物が目標対象物であるか否かを判定するように構成されてもよい。

【0213】

オプションとして、判定モジュールは、さらに、受信した各ビデオ画像に対象物が現れたか否かを判定し、対象物が現れたビデオ画像における対象物が目標対象物であるか否かを認識するように構成されてもよい。

【0214】

オプションとして、判定モジュールは、各目標ビデオフレーム画像ごとに目標対象物の検出を行い、各目標ビデオフレーム画像の画像特徴を得て、画像は、目標ビデオから取得した複数の目標ビデオフレーム画像を含み、各目標ビデオフレーム画像は、目標領域における対象物を示すために用いられ、画像特徴は、対象物のうち、目標対象物との類似度が第１の閾値を超えた対象物がある目標画像領域を表すために用いられ、各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像における対象物の動き速度及び動き方向を表すための動き特徴を特定し、動き特徴及び各目標ビデオフレーム画像の画像特徴に基づいて、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを判定するように構成されてもよい。

【0215】

オプションとして、判定モジュールは、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する目標ベクトルを取得し、それぞれ、対応する１つの目標ビデオフレーム画像における対象物が目標画像領域を通る時の動き速度及び動き方向を表すための複数の目標ベクトルを得て、複数の目標ベクトルをビデオファイルにおける各目標ビデオフレーム画像の時間順に従って第１の目標ベクトルとして構成し、動き特徴は第１の目標ベクトルを含み、或いは、各目標ビデオフレーム画像の画像特徴で表される目標画像領域に対応する２次元オプティカルフロー図を取得し、それぞれ、対応する１つの目標ビデオフレーム画像における対象物が目標画像領域を通る時の動き速度及び動き方向を含む複数の２次元オプティカルフロー図を得て、複数の２次元オプティカルフロー図を、ビデオファイルにおける各目標ビデオフレーム画像の時間順に従って３次元の第２の目標ベクトルとして構成し、動き特徴は３次元の第２の目標ベクトルを含むように構成されてもよい。

【0216】

オプションとして、判定モジュールは、動き特徴及び各目標ビデオフレーム画像の画像特徴を、予めトレーニングしておいたニューラルネットワークモデルに入力し、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための対象物認識結果を得るように構成されてもよい。

【0217】

オプションとして、判定モジュールは、各画像特徴に畳み込み層、正規化層及び活性化関数層を含むニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、複数の第１の特徴ベクトルと動き特徴を統合し、第２の特徴ベクトルを得て、第２の特徴ベクトルを全結合層に入力して分類し、第１の分類結果を得て、ニューラルネットワークモデルは、ニューラルネットワーク層構造と全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第１の分類結果を含み、或いは、各画像特徴に畳み込み層、正規化及び活性化関数層を含む第１のニューラルネットワーク層構造を通らせ、複数の第１の特徴ベクトルを得て、動き特徴に畳み込み層、正規化層、活性化関数層を含む第２のニューラルネットワーク層構造を通らせ、第２の特徴ベクトルを得て、複数の第１の特徴ベクトルと第２の特徴ベクトルを統合し、第３の特徴ベクトルを得て、第３の特徴ベクトルを全結合層に入力して分類し、第２の分類結果を得て、ニューラルネットワークモデルは、第１のニューラルネットワーク層構造、第２のニューラルネットワーク層構造及び全結合層を含み、対象物認識結果は、複数の目標ビデオフレーム画像に目標対象物が現れたか否かを表すための第２の分類結果を含むように構成されてもよい。

【0218】

オプションとして、受信モジュールは、ビデオ監視機器から送信された複数の目標ビデオフレーム画像を受信し、複数の目標ビデオフレーム画像は、通過ビデオ監視機器対目標ビデオのフレーム抽出・サンプリングを行い、１グループのビデオフレーム画像を得て、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において特定したものであり、或いは、
ビデオ監視機器から送信された１グループのビデオフレーム画像を受信し、１グループのビデオフレーム画像は、ビデオ監視機器によって目標ビデオのフレーム抽出・サンプリングを行ったものであり、１グループのビデオフレーム画像における画素点の画素値に基づいて、１グループのビデオフレーム画像において複数の目標ビデオフレーム画像を特定するように構成されてもよい。

【0219】

本実施例において、ビデオ監視機器に適用される他の目標対象物の監視装置をさらに提供し、該装置は、上記実施例及び代替な実施形態を実現するものであって、既に説明したものは省略される。以下で使用する用語である「モジュール」とは、所定の機能を実現可能なソフトウェア及び／又はハードウェアの組み合わせである。以下の実施例に説明する装置をソフトウェアで実現することが好ましいが、ハードウェア又はソフトウェアとハードウェアとの組み合わせにより実現することも可能であり、構想されている。

【0220】

図８は、本願実施例による目標対象物の監視装置の第２の構造ブロック図である。図８に示すように、該装置は、
移動する対象物が目標領域に現れると検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから画像を取得するように構成される取得モジュール８２と、
画像に基づいて、対象物が目標対象物であるか否かを判定するように第１のサーバに指示するための画像を第１のサーバに送信するように構成される送信モジュール８４と、を備える。

【0221】

オプションとして、上記装置は、さらに、移動する対象物が目標領域に現れると検出された場合に、目標ビデオを、第１のサーバから送信された第１の要求を受信した場合に、第１の要求に応えて目標ビデオを第１のサーバに送信するように構成される第２のサーバに送信するように構成されてもよい。

【0222】

オプションとして、上記装置は、さらに、第１のサーバから送信された第２の要求を受信し、第２の要求に応えて目標ビデオを第１のサーバに送信するように構成されてもよい。

【0223】

オプションとして、取得モジュールは、移動する対象物が目標領域に現れるとビデオ監視機器によって検出された場合に、目標領域に対象物が現れてから所定時間毎に、ビデオ監視機器で目標領域を撮像したビデオからビデオ画像を、対象物が目標領域に現れなくなるまで、キャプチャし、画像はビデオ画像を含むように構成されてもよい。

【0224】

送信モジュールは、ビデオ監視機器によって、キャプチャしたビデオ画像を第１のサーバにリアルタイムに送信し、或いは、ビデオ監視機器によって、キャプチャした全てのビデオ画像を含む画像セットを取得し、画像セットを第１のサーバに送信するように構成されてもよい。

【0225】

オプションとして、上記装置は、さらに、移動する対象物が目標領域に現れると検出された場合に、目標領域を撮像したビデオから、目標領域に対象物が現れてから目標領域に対象物が現れなくなるまでの第１のビデオを取得し、目標領域に対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、目標領域に対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得し、第２のビデオ、第１のビデオ及び第３のビデオを目標ビデオとして特定するように構成されてもよい。

【0226】

なお、上記各モジュールはソフトウェア又はハードウェアによって実現されることができ、後者の場合、以下の方式で実現されることができるが、これに限定られない。上記モジュールは、すべて同一のプロセッサに位置するか、或いは、上記各モジュールは、任意に組み合わせる形でそれぞれ異なるプロセッサに位置する。

【0227】

本実施例において、目標対象物の監視システムをさらに提供する。図９は、本願実施例による目標対象物の監視システムの構造ブロック図である。図９に示すように、該システムは、ビデオ監視機器９２と、第１のサーバ９４とを備える。

【0228】

ビデオ監視機器９２は、第１のサーバ９４に接続される。
ビデオ監視機器９２は、移動する対象物が目標領域に現れると検出された場合に、目標領域を撮像したビデオのうち対象物が現れた目標ビデオから画像を取得し、画像を第１のサーバ９４に送信するように構成される。

【0229】

第１のサーバ９４は、画像に基づいて、対象物が目標対象物であるか否かを判定するように構成される。

【0230】

オプションとして、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、目標領域に対象物が現れてから所定時間毎に、ビデオ監視機器で目標領域を撮像したビデオからビデオ画像を、対象物が目標領域に現れなくなるまで、キャプチャし、画像はビデオ画像を含み、キャプチャしたビデオ画像リアルタイムに第１のサーバに送信し、或いは、キャプチャした全てのビデオ画像を含む画像セットを取得し、画像セットを第１のサーバに送信するように構成されてもよい。

【0231】

オプションとして、第１のサーバは、受信した各ビデオ画像における対象物が目標対象物であるか否かを認識し、各ビデオ画像に対応する認識結果を得て、受信した全てのビデオ画像に対応する認識結果を目標結果となるように統合し、目標結果に基づいて、対象物が目標対象物であるか否かを判定するように構成されてもよい。

【0232】

オプションとして、第１のサーバは、さらに、対象物が目標対象物であると判定した場合に、目標ビデオを取得し、目標ビデオにおいて、目標領域における目標対象物の移動軌跡を特定し、移動軌跡に基づいて、目標対象物を排除する方式を提示するための提示情報を生成し、目標対象物に対応する、目標領域に目標対象物が現れたことを示すためのアラート情報を生成し、アラート情報には、目標ビデオ、移動軌跡、提示情報の少なくとも一方が含まれるように構成されてもよい。

【0233】

オプションとして、上記システムは、クライアントをさらに備え、第１のサーバがクライアントに接続され、第１のサーバは、アラート情報をクライアントに送信するように構成され、クライアントは、表示インターフェースにアラート情報を表示させるように構成されてもよい。

【0234】

オプションとして、上記システムは、第２のサーバをさらに備え、第２のサーバがビデオ監視機器及び第１のサーバに接続され、ビデオ監視機器は、さらに、ビデオを第２のサーバに送信するように構成され、第２のサーバは、目標ビデオを記憶するように構成され、第１のサーバは、第２のサーバから目標ビデオを取得するように構成されてもよい。

【0235】

オプションとして、第１のサーバは、さらに、対象物が目標対象物ではないと判定した場合に、指示情報を第２のサーバへ送信するように構成され、第２のサーバは、指示情報に応えて目標ビデオを削除するように構成されてもよい。

【0236】

オプションとして、ビデオ監視機器は、さらに、目標領域を撮像したビデオから、目標領域に対象物が現れてから目標領域に対象物が現れなくなるまでの第１のビデオを取得し、目標領域に対象物が現れる前の第１の目標時間帯の第２のビデオ、及び、目標領域に対象物が現れなくなった後の第２の目標時間帯の第３のビデオを取得し、第２のビデオ、第１のビデオ及び第３のビデオを目標ビデオとして特定するように構成されてもよい。

【0237】

以下、本願の代替な実施例を結合して詳しく説明する。
本願の代替な実施例は、目標対象物の監視アーキテクチャを提供する。図１０は、本願の代替な実施例による目標対象物の監視アーキテクチャの模式図である。図１０に示すように、内外部環境及び有害生物の動き情報を監視するシステムアーキテクチャを提供する。該システムは、迅速に配置されることができる特徴を有し、顧客サイトにサーバを配置する必要がなく、ビデオ監視機器でデータを収集するとともに、データアップロードのための無線ネットワーク環境を配置すればよく、全ての後続計算分析はクラウド側にて完成され、システムのハードウェアコスト、システム配置の複雑さを大幅に低減するとともに、虫類やねずみによる被害のリアルタイムな警報、ビデオ再生、パス分析、ねずみ昆虫駆除助言等の機能を見事に遂げることができる。本システムは、さらに、虫類やねずみによる被害のモニタリングと虫類やねずみによる被害の防除とを組み合わせて、良性な閉ループを形成し、実際の虫類やねずみによる被害防除作業を全体として援助する役割を担う。

【0238】

該システムは、データ収集部分、データ分析部分、即時アラート部分、ビデオ再生部分、パス分析部分およびアプリケーション（Application、単にＡＰＰという）表示部分を含む。

【0239】

データ収集部分は、ビデオ及びピクチャセットを収集し、キッチン等の場所で、視界が良い適切な位置を選択し、ビデオ監視機器を配置し、虫類、ねずみ族の出没状況を観察するためのキッチン主要施設のビデオデータを取得する。室内環境は、実際の状況に応じて、複数グループの監視機器を配置してもよい。ねずみが夜間で出没する特徴を考慮し、ビデオ監視機器は赤外暗視機能を持つ必要がある。

【0240】

ビデオ監視機器は、移動検知方式を用いて、撮像された画面内容に少しでも変化が生じた場合（例えば、ねずみが現れたり、ゴキブリが現れたり、異物が飛んできたりする場合）、該周期内のビデオをＳＤカードに書き込み（ビデオで完全たる動作を録画できるように、一般的には、ビデオの録画を５秒間予め開始し、遅延するようにする）、ビデオデータをビデオクラウドサーバ（即ち、EZVIZクラウドであり、他のパブリッククラウドであってもよい）に即時アップロードする。ビデオ監視機器は、中断点再開送信機能を持っており、ネットワーク環境が不安定な場合でも、ビデオを後でビデオクラウドサーバに完全にアップロードすることを保証できる。ビデオクラウドサーバは、ビデオデータを一時的に保存するように構成され、後でピクチャの画像認識分析を行うことにより、確かに虫類やねずみによる被害があると確認した場合に、これを呼び出して再生し、さらに分析することに用いる。

【0241】

撮像された画面内容に少しでも変化が生じた場合、ビデオ監視機器は、ビデオを保存しアップロードすると同時に、５００ミリ秒（ｍｓ）毎に１枚のピクチャを保存し、画像認識のために、ピクチャをプライベートクラウドサーバにリアルタイムにアップロードする。

【0242】

プライベートクラウドサーバがピクチャを受け取った後、ピクチャの画像認識を即時に完成し、人工知能（Artificial Intelligence、単にＡＩという）技術により、画像に目標有害生物、例えば、ねずみ、ゴキブリ等があるか否か、或いは、ただ異物が飛んできたような非虫害攻撃シーンに過ぎないことを判断する。即ち、データ分析部分に入る。

【0243】

データ分析部分は、プライベートクラウドにより画像認識を行い、ビデオ監視機器から返した画像に対して画像認識アルゴリズムを適用し、ねずみ、ゴキブリ等の虫類やねずみによる被害を認識する。真であると認識された場合、この時刻でねずみによる被害、虫害を発見したと認められ、ビデオクラウドサーバへ要求を送信し、更なる分析のために該時間帯における虫類やねずみによる被害が出没するビデオデータを呼び出す（サーバが連続するピクチャセットを受信し終わり、かつ虫害が侵入していると判断した場合、全時間帯のビデオをリアルタイムに要求する）。偽であると認識された場合、この時刻の動的認識が虫類やねずみによる被害に関係なしと認められ、更なる処理を行わない。

【0244】

オプションとして、判別の正確率を高めるために、人工再確認を導入してもよい。これにより、毎回検出されたのは、確かにねずみ、ゴキブリ等が出没するものであることを確認し、虫類やねずみによる被害への判別の正確率を高める。

【0245】

即時アラート部分は、緊急のねずみ駆除に用いられ、ピクチャセットの認識により、ねずみの出没を検出した時に、クラウドサービス側がユーザ端末へ警報情報を送信し、措置を取るようにレストラン運営者、虫害防除作業者に指示する。また、画像再生を提供し、ねずみ、ゴキブリ等、認識された有害生物をメークすることで、作業者がその現れた位置及び危害を初期判断し、適時な制御措置を取ることが容易となる。

【0246】

緊急のねずみ駆除シーンは、コンピューター室、病院等、ねずみによる被害が許可されない場所の監視に適し、人がこれを常に監視しなければならない。ねずみを発見した後すぐに措置を取るように関係者に指示し、システムは、ピクチャ及びビデオ再生を、ねずみ駆除や参考のためにタイムリーに提供する役割を担う。

【0247】

オプションとして、警報情報は、ショートメッセージ、プッシュ情報等の方式で送信されてもよい。

【0248】

ビデオ再生部分では、ビデオクラウドサーバが、要求されるビデオデータを返し、プライベートクラウドにダウンロードした後、ユーザ端末がビデオ再生データにアクセスすることができる。ビデオのダウンロード速度は、ネットワークがスムーズか否かによって決められ、ピクチャをリアルタイムに見せる場合よりやや遅れるが、一般的には、ねずみが発生した後数分間以内にビデオ再生データを取得することができる。

【0249】

パス分析部分は、ビデオデータをさらに分析することで、ねずみ、ゴキブリ等の有害生物の移動パスを抽出し、ねずみ出没時の侵入箇所、隠れ箇所、進行経路、動き時間長、皮膚の色等の情報をマークすることで、ねずみ駆除、虫類駆除のための更なるソリューションを作成し、ユーザ端末に表示させる。

【0250】

ねずみパスの表示は、句読点で表されることができ、一連の数字を小さい順に線分に表すことで、ねずみ又はゴキブリの進行方向を表す。

【0251】

ＡＰＰ表示部分は、ねずみ駆除、虫類駆除助言を表示することができ、通常の虫類やねずみによる被害防除に用いられ、各接触箇所で収集された虫類やねずみによる被害情報をまとめ、虫類やねずみによる被害が出没する履歴パスによって、所在場所におけるねずみ捕り粘着シート、ゴキブリ捕獲器等の器具の配置に適する位置を結合して、配置位置の助言を提供する。

【0252】

ＡＰＰによってレストラン運営者及び虫害防除作業者に見せ、日ごとに自動的にレポートし、ウィーチャットの公式アカウント、ショートメッセージ等の選択可能な方式によって、レストラン運営者又は関係者にプッシュする。

【0253】

見せるためのデータの次元は、前日／夕方の虫類やねずみによる被害が活発になる時間長、虫害種類、捕獲数等をさらに含んでもよい。

【0254】

本願実施例は、記憶媒体をさらに提供し、該記憶媒体には、上記いずれかの方法実施例におけるステップを実行するように構成されるコンピュータプログラムが記憶されている。

【0255】

オプションとして、本実施例において、上記記憶媒体は、以下のステップを実行するためのコンピュータプログラムを記憶するように構成されてもよい。

【0256】

Ｓ１：第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像である。

【0257】

Ｓ２：第１のサーバは、画像に基づいて、対象物が目標対象物であるか否かを判定する。

【0258】

オプションとして、本実施例において、上記記憶媒体は、ＵＳＢフラッシュディスク、リードオンリーメモリ（Read-Only Memory、単にＲＯＭという）、ランダムアクセスメモリ（Random Access Memory、単にＲＡＭという）、ポータブルハードディスク、磁気ディスク又は光ディスク等、コンピュータプログラムを記憶可能な様々な媒体をを含んでもよいが、これに限られない。

【0259】

本願実施例は、電子装置をさらに提供し、メモリとプロセッサとを備え、該メモリにはコンピュータプログラムが記憶され、該プロセッサは、コンピュータプログラムを実行して上記いずれかの方法実施例におけるステップを実行するように構成される。

【0260】

オプションとして、上記電子装置は、上記プロセッサに接続される伝送装置と、上記プロセッサに接続される入出力装置と、をさらに備えてもよい。

【0261】

オプションとして、本実施例において、上記プロセッサは、コンピュータプログラムによって以下のステップを実行するように構成されてもよい。

【0262】

Ｓ１：第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像である。

【0263】

Ｓ２：第１のサーバは、画像に基づいて、対象物が目標対象物であるか否かを判定する。

【0264】

オプションとして、本実施例における具体例は、上記実施例及び代替な実施形態に説明された例を参照してもよいが、本実施例では、その詳細な説明を省略する。

【0265】

当業者にとって、上述した本願の各モジュール又は各ステップは汎用の計算装置によって実現することができ、単独の計算装置に集成させることができれば、複数の計算装置から構成されるネットワークに分布させることもできる。オプションとして、計算装置で実行可能なプログラムのコードによって実現されてもよい。このため、それらを記憶装置に格納して計算装置によって実行することができ、そして場合によって、示した又は説明したステップを上述と異なる手順で実行することができ、それぞれ集積回路モジュールに製作したり、それらのうち複数のモジュール又はステップを単独の集積回路モジュールに製作したりして実現することができることは、明らかなことである。このように、本願は、如何なる特定のハードウェアとソフトウェアの結合に限定されない。

【0266】

以上は、本願の好適な実施例に過ぎず、本願を限定することは意図していない。当業者であれば、本願に様々な変更や変形が可能である。本願の原則内の如何なる修正、均等の置き換え、改良なども、本願の保護範囲内に含まれるべきである。

【産業上の利用可能性】

【0267】

以上の説明から分かるように、本願では、第１のサーバが、移動する対象物が目標領域に現れると検出された場合にビデオ監視機器によって送信された画像を受信し、画像は、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得した画像であり、第１のサーバは、画像に基づいて、対象物が目標対象物であるか否かを判定する方式により、第１のサーバは、ビデオ監視機器から取得した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定し、該画像は、移動する対象物が目標領域に現れるとビデオ監視機器によって検出された場合に、ビデオ監視機器で目標領域を撮像したビデオのうち対象物が現れた目標ビデオから取得したものであり、これにより、ビデオ監視機器は、移動する対象物が目標領域に現れると検出された場合に、対象物が存在する可能性のある画像を第１のサーバへ送信すれば、第１のサーバは、受信した画像に基づいて、目標領域に現れた対象物が目標対象物であるか否かを判定することができ、このように、ビデオによる目標対象物の監視方式に比べると、伝送データのデータ量を大幅に低減することができ、そのうえ、伝送速度を高め、伝送時間を短縮し、監視効率を向上させる。それゆえ、関連技術における、目標対象物を監視する効率が低いという問題を解決することができ、目標対象物を監視する効率を向上させる効果を達成する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】