特許 6893204 徘徊イベントを検出するための方法、デバイスおよびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6893204

(24)【登録日】2021年6月2日

(45)【発行日】2021年6月23日

(54)【発明の名称】徘徊イベントを検出するための方法、デバイスおよびシステム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20210614BHJP

   G08B 21/02 20060101ALI20210614BHJP

【ＦＩ】

   G08B25/04 K

   G08B21/02

【請求項の数】15

【外国語出願】

【全頁数】20

(21)【出願番号】特願2018-233841(P2018-233841)

(22)【出願日】2018年12月13日

(65)【公開番号】特開2019-135640(P2019-135640A)

(43)【公開日】2019年8月15日

【審査請求日】2020年12月18日

(31)【優先権主張番号】17208476.6

(32)【優先日】2017年12月19日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】オルソン， トム

(72)【発明者】

【氏名】バックマン， マティアス

(72)【発明者】

【氏名】モーリン， ダニエル

(72)【発明者】

【氏名】グンペルト， ヤーコプ

(72)【発明者】

【氏名】ファルク， マリアン

(72)【発明者】

【氏名】ローゼル， ニクラス

【審査官】 石井 則之

(56)【参考文献】

【文献】 特開２０１３−２１１７７５（ＪＰ，Ａ）

【文献】 特開２０１２−２４８１４１（ＪＰ，Ａ）

【文献】 特開２０１７−３３１４４（ＪＰ，Ａ）

【文献】 特開昭６２−１３６９８８（ＪＰ，Ａ）

【文献】 特開２００８−３５０９５（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１０４８３５（ＷＯ，Ａ１）

【文献】 特開２００８−８３９３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ７／００−７／９０

Ｇ０８Ｂ１３／００−１５／０２

１９／００−３１／００

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

対象エリア（１０４）（ＡＯＩ）内の徘徊イベントを検出するための方法であって、
監視シーン（１０２）内の検出された第１の対象物（１０６ａ）に対応する第１の対象物データ（４１０ａ）を受信するステップ（Ｓ５０８）であって、前記第１の対象物データは、第１のＩＤ、第１の位置データおよび第１のタイムスタンプを含む、ステップと、
前記第１の位置データが前記ＡＯＩと重なり合うと判断するステップ（Ｓ５１４）と、
前記監視シーン内の検出された第１の対象物に対応する第２の対象物データ（４１０ｂ）を受信するステップ（Ｓ５０８）であって、前記第２の対象物データは、前記第１のＩＤ、第２の位置データおよび第２のタイムスタンプを含む、ステップと、
前記第２の位置データが前記ＡＯＩと重なり合うと判断するステップ（Ｓ５１４）と、
前記第２のタイムスタンプと前記第１のタイムスタンプとの間の時間差を集約期間（２０２）に追加するステップ（Ｓ５１８）と、
前記監視シーン内の検出された第２の対象物（１０６ｂ）に対応する第３の対象物データ（４１０ｅ）を受信するステップ（Ｓ５０８）であって、前記第３の対象物データは、前記第１のＩＤと異なる第２のＩＤ、第３の位置データおよび第３のタイムスタンプを含み、前記第３のタイムスタンプは、前記第２のタイムスタンプよりも後である、ステップと、
前記第３の位置データが前記ＡＯＩと重なり合うと判断するステップ（Ｓ５１４）と、
前記監視シーン内の前記検出された第２の対象物に対応する第４の対象物データ（４１０ｆ）を受信するステップ（Ｓ５０８）であって、前記第４の対象物データは、前記第２のＩＤ、第４の位置データおよび第４のタイムスタンプを含む、ステップと、
前記第４の位置データが前記ＡＯＩと重なり合うと判断するステップ（Ｓ５１４）と、
前記第４のタイムスタンプと前記第３のタイムスタンプとの間の時間差を集約期間（２０２）に追加するステップ（Ｓ５１８）と、
前記集約期間が第１の閾値期間を超えているとき、徘徊イベント（４１４）を検出するステップ（Ｓ５２０）と、
を含む、方法。

【請求項2】

前記第３のタイムスタンプと前記第２のタイムスタンプとの間の時間差が第２の時間閾値を超えている場合（Ｓ５０２）、
前記第４のタイムスタンプと前記第３のタイムスタンプとの間の時間差を前記集約期間に追加する前記ステップの前に、前記集約期間をゼロにセットするステップ（Ｓ５０４）をさらに含む、請求項１に記載の方法。

【請求項3】

前記ＡＯＩと重なり合う位置データを有する各受信された対象物データ間の時間を測定するステップをさらに含み、前記集約期間をゼロにセットする前記ステップは、前記時間が前記第２の時間閾値を超えているときに実行される、請求項２に記載の方法。

【請求項4】

徘徊イベントが検出されたとき、前記ＡＯＩと重なり合う位置データを有する、後続して受信された２つの対象物データ間の時間が前記第２の時間閾値を超えるまで、徘徊イベントの検出を継続するステップをさらに含む、請求項３に記載の方法。

【請求項5】

前記監視シーン内の前記検出された第２の対象物に対応する第５の対象物データを受信するステップ（Ｓ５０８）であって、前記第５の対象物データは、前記第２のＩＤ、第５の位置データおよび第５のタイムスタンプを含む、ステップと、
前記第５の位置データが前記ＡＯＩと重なり合うと判断するステップ（Ｓ５１４）と、
前記第５のタイムスタンプと前記第４のタイムスタンプとの間の時間差を前記集約期間に追加するステップ（Ｓ５１８）と、
をさらに含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記第４の位置データが除外エリアとさらに重なり合うと判断するステップ（Ｓ５１６）をさらに含み、これによって、前記第４のタイムスタンプと前記第３のタイムスタンプとの間の前記時間差を前記集約期間に追加するステップは実行されない、請求項１から４のいずれか一項に記載の方法。

【請求項7】

前記監視シーン内の前記検出された第２の対象物に対応する第５の対象物データを受信するステップ（Ｓ５０８）であって、前記第５の対象物データは、前記第２のＩＤ、第５の位置データおよび第５のタイムスタンプを含む、ステップと、
前記第５の位置データが前記ＡＯＩと重なり合い（Ｓ５１４）、前記除外エリアとは重なり合わない（Ｓ５１６）と判断するステップと、
前記第５のタイムスタンプと前記第４のタイムスタンプとの間の時間差を前記集約期間に追加するステップ（Ｓ５１８）と、
をさらに含む、請求項６に記載の方法。

【請求項8】

受信された対象物データは、検出された対象物のサイズに対応するサイズデータをさらに含み、前記方法は、
前記第３の対象物データおよび前記第４の対象物データのサイズデータを閾値サイズと比較するステップ（Ｓ５１２）をさらに含み、前記第４のタイムスタンプと前記第３のタイムスタンプとの間の時間差を前記集約期間に追加するステップは、それぞれのサイズデータが前記閾値サイズを超えている場合にのみ実行される、請求項１から７のいずれか一項に記載の方法。

【請求項9】

受信された対象物データは、検出された対象物のタイプに対応する対象物タイプデータをさらに含み、前記方法は、
前記第３の対象物データおよび前記第４の対象物データの対象物タイプデータを所定の対象物タイプと比較するステップ（Ｓ５１２）をさらに含み、前記第４のタイムスタンプと前記第３のタイムスタンプとの間の時間差を前記集約期間に追加するステップは、それぞれの対象物タイプデータが前記所定の対象物タイプに等しい場合にのみ実行される、請求項１から７のいずれか一項に記載の方法。

【請求項10】

徘徊イベントを検出するように適合されたデバイス（４１２）であって、
監視シーン（１０２）内の検出された第１の対象物（１０６ａ）に対応する第１の対象物データ（４１０ａ）を受信し（Ｓ５０８）、前記第１の対象物データは、第１のＩＤ、第１の位置データおよび第１のタイムスタンプを含み、
前記第１の位置データが前記ＡＯＩと重なり合うと判断し（Ｓ５１４）、
監視シーン内の前記検出された第１の対象物に対応する第２の対象物データ（４１０ｂ）を受信し（Ｓ５０８）、前記第２の対象物データは、前記第１のＩＤ、第２の位置データおよび第２のタイムスタンプを含み、
前記第２の位置データが前記ＡＯＩと重なり合うと判断し（Ｓ５１４）、
前記第２のタイムスタンプと前記第１のタイムスタンプとの間の時間差を集約期間（２０２）に追加し（Ｓ５１８）、
前記監視シーン内の検出された第２の対象物（１０６ｂ）に対応する第３の対象物データ（４１０ｅ）を受信し（Ｓ５０８）、前記第３の対象物データは、前記第１のＩＤと異なる第２のＩＤ、第３の位置データおよび第３のタイムスタンプを含み、前記第３のタイムスタンプは、前記第２のタイムスタンプよりも後であり、
前記第３の位置データが前記ＡＯＩと重なり合うと判断し（Ｓ５１４）、
前記監視シーン内の前記検出された第２の対象物に対応する第４の対象物データ（４１０ｆ）を受信し（Ｓ５０８）、前記第４の対象物データは、前記第２のＩＤ、第４の位置データおよび第４のタイムスタンプを含み、
前記第４の位置データが前記ＡＯＩと重なり合うと判断し（Ｓ５１４）、
前記第４のタイムスタンプと前記第３のタイムスタンプとの間の時間差を集約期間（２０２）に追加し（Ｓ５１８）、
前記集約期間が第１の閾値期間を超えているとき、徘徊イベント（４１４）を検出する（Ｓ５２０）、
ように適合されたプロセッサを備える、デバイス。

【請求項11】

シーン（１０２）のデータ（４０６）を連続的に取り込むための第１のデバイス（４０４）と、
前記第１のデバイスから前記取り込まれたデータ（４０６）を受信し、前記取り込まれたデータにおける対象物を検出および追跡するように適合された第２のデバイス（４０４）であって、前記取り込まれたデータにおける検出および追跡された対象物に対応する対象物データ（４１０）を抽出し、前記抽出された対象物データの対応するタイムスタンプを抽出するようにさらに適合され、各対象物データは、検出および追跡された対象物に関連付けられ、前記関連付けられた対象物のＩＤ、前記関連付けられた対象物の位置データ、および前記タイムスタンプを含む、第２のデバイスと、
前記第２のデバイスから前記抽出された対象物データを受信するように適合された、請求項１０に記載の第３のデバイス（４１２）と、
を備える、システム。

【請求項12】

前記第３のデバイスから検出された徘徊イベント（４１４）を受信し、オペレータに前記徘徊イベントに気づかせるための視覚および／または可聴信号（４１６）を生成するように適合された第４のデバイス（４１８）をさらに備える、請求項１１に記載のシステム。

【請求項13】

前記第１のデバイスは、以下のリスト、すなわち、
ビデオ取込みデバイス、ＲＡＤＡＲデバイス、赤外線センサデバイス、マイクロフォンアレイ、サーマルカメラ、およびＴＯＦカメラ、
のうちの１つである、請求項１１または１２に記載のシステム。

【請求項14】

前記第１のデバイス、前記第２のデバイスおよび前記第３のデバイスは、ビデオ取込みデバイスにおいて実施される、請求項１１から１３のいずれか一項に記載のシステム。

【請求項15】

処理能力を有するデバイスによって実行されると、請求項１から９のいずれか一項に記載の方法を実行するように適合された命令を有する非一時的コンピュータ可読ストレージ媒体を備えるコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視アプリケーションに関する。特に、本発明は、徘徊イベントを検出するための方法、デバイスおよびシステムに関する。

【背景技術】

【0002】

セキュリティに対する関心が高まることにより、部屋、建物、空港、都市等におけるサーベイランスカメラ等の監視手段を監視目的で設置することが多くなった。しかしながら、全てのライブイベントまたは取り込まれたビデオを監視することは労働集約的である。これらのイベントを手動で監視することが最も効率的で正確であることは十分認識されているが、これはセキュリティ人員の注意を常に要する。長期間にわたって注意を保つことの問題はよく知られている。このため、取り込まれた監視材料の解析を自動化することにより、セキュリティ人員がサーベイランスタスクをより効率的に行うことが可能になる。

【0003】

要求の厳しい監視タスクの１つは、徘徊イベントを検出することである。徘徊イベントの検出は、徘徊挙動が多くの場合に、麻薬取引活動等の有害な活動、強盗事件の現場捜査、さらには公共エリアで時間を浪費する１０代の若者の不健全な社会問題に関するため、極めて重大である。

【0004】

徘徊イベントを検出するためのシステムおよび方法は、通常、徘徊検出を行うために当該の対象物の追跡を必要とする。徘徊イベントの検出の精度は、追跡方法の性能に非常に依存する。

【0005】

このため、この状況における改善が必要である。

【発明の概要】

【0006】

上記に鑑みて、本発明の目的は、上記で論じた問題を克服するかまたは少なくとも軽減することである。特に、多岐にわたる徘徊挙動および事態について徘徊イベントの検出を改善する方法、デバイスおよびシステムを提供することが目的である。

【0007】

本発明の第１の態様によれば、対象エリア（Ａｒｅａ ｏｆ Ｉｎｔｅｒｅｓｔ）ＡＯＩ内の徘徊イベントを検出するための方法が提供される。本方法は、
・監視シーン内の検出された第１の対象物に対応する第１の対象物データを受信するステップであって、第１の対象物データは、第１のＩＤ、第１の位置データおよび第１のタイムスタンプを含む、ステップと、
・第１の位置データがＡＯＩと重なり合うと判断するステップと、
・監視シーン内の検出された第１の対象物に対応する第２の対象物データを受信するステップであって、第２の対象物データは、第１のＩＤ、第２の位置データおよび第２のタイムスタンプを含む、ステップと、
・第２の位置データがＡＯＩと重なり合うと判断するステップと、
・第２のタイムスタンプと第１のタイムスタンプとの間の時間差を集約期間に追加するステップと、
・監視シーン内の検出された第２の対象物に対応する第３の対象物データを受信するステップであって、第３の対象物データは、第１のＩＤと異なる第２のＩＤ、第３の位置データおよび第３のタイムスタンプを含み、第３のタイムスタンプは、第２のタイムスタンプよりも後である、ステップと、
・第３の位置データがＡＯＩと重なり合うと判断するステップと、
・監視シーン内の検出された第２の対象物に対応する第４の対象物データを受信するステップであって、第４の対象物データは、第２のＩＤ、第４の位置データおよび第４のタイムスタンプを含む、ステップと、
・第４の位置データがＡＯＩと重なり合うと判断するステップと、
・第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加するステップと、
・集約期間が第１の閾値期間を超えているとき、徘徊イベントを検出するステップと、
を含む。

【0008】

「ＩＤ」とは、一般に、関連付けられた対象物を他の対象物に対して差別化するために用いることができる任意のタイプのインジケーションを意味する。例えば、対象物データがサイズデータを含む場合、そのようなデータは、複数の受信した対象物データに関連付けられた対象物を差別化するために用いることができる。ＩＤの別の目的は、対象物を時間において追跡できることであり、すなわち、異なるタイムスタンプを有する複数の対象物データを時間において連結することができるようにすることである。ＩＤは、整数、例えば１、２、３等のシリアル番号によって表すことができる。ＩＤは、対象物名等のテキストによって表すことができる。ＩＤは、「識別情報」、「タグ」、「ラベル」、「名称」、「差別化特徴」等と呼ばれる場合もある。換言すれば、ＩＤは、対象物を他の対象物に対し差別化するために用いることができる任意のタイプのデータとすることができる。

【0009】

「対象エリア」（ＡＯＩ）とは、一般に、対象物を徘徊対象物として定義することができる監視シーン内のエリアの定義を意味する。いくつかの実施形態では、ＡＯＩは、監視シーン全体である。別の実施形態では、ＡＯＩは座標によって定義される。この実施形態では、ＡＯＩの座標は、受信された対象物データの位置データの座標に依拠することができる。例えば、対象エリアは、受信された対象物データの位置データがＸ座標、Ｙ座標および／またはＺ座標において定義される場合、そのような座標によって定義されるエリアとすることができる。ＡＯＩは、監視シーンを取り込むデバイス（例えば、カメラ、ＲＡＤＡＲデバイス等）の座標系、すなわち大域座標によって定義されてもよい。また、ＡＯＩは、ｘ座標およびｙ座標における範囲−１〜１をカバーするシーンのビューにおけるｘ＝０．３〜０．７、ｙ＝０．３〜０−７（すなわち、座標（０，３；０，３）、（０，３；０，７）、（０，７；０，７）、（０，７；０，３）によって定義される）等の、監視シーンに対する座標（例えば、ビデオ取込みデバイスによって取り込まれるビデオ内の画像平面における位置）において定義されてもよい。ＲＡＤＡＲデータを用いる実施形態において、ＡＯＩは、角度範囲および任意選択でデプス範囲を用いて定義されてもよい。

【0010】

「位置データ」とは、一般に、監視シーン内の対象物のための位置を特定するのに用いることができる任意のタイプのデータを意味する。位置データは、例えば、空間内の１つの点とすることができる。他の実施形態では、位置データは、空間内の対象物のためのバウンディングボックスまたは対象物のためのより複雑な多角形構造の頂点の座標によって定義される。位置データは、上記で説明したように、大域座標系（例えば、ＲＡＤＡＲデバイスからのデータによって定義されるような対象物の実際の物理的位置）または相対座標系（例えば、画像取込みデバイスによって取り込まれるビデオ内の画像平面内の位置）において定義されてもよい。ＲＡＤＡＲデータを用いる実施形態において、位置データは、シーン内の検出された対象物についての角度およびデプスのインジケーションを含んでもよい。

【0011】

本明細書において用いられるとき、「位置データがＡＯＩ（または以下で定義される除外されるエリア）と重なり合うと判断する」とは、一般に、対象物の定義された部分がＡＯＩ内にあることを意味する。ＡＯＩが監視シーン全体である実施形態では、このステップは、対象物データが受信されるという点で暗黙的に行われる。ＡＯＩが監視シーンの一部のみである実施形態では、位置データはＡＯＩの座標と比較される。位置データが点である実施形態では、点がＡＯＩ内にあるという定義であるが、バウンディングボックス等のより複雑な位置データの場合、他の規則が適用されてもよい。１つの実施形態では、重なり合っていると定義されるには、バウンディングボックス／多角形内の単一の点が、ＡＯＩ内にあれば十分である。別の実施形態では、重なり合っていると定義されるには、バウンディングボックス／多角形全体がＡＯＩ内にある必要がある場合がある。さらに別の実施形態では、重なり合っていると定義されるには、バウンディングボックス／多角形エリアの１／３がＡＯＩ内になくてはならない。さらに別の実施形態では、重なり合っていると定義されるには、対象物のバウンディングボックス内の所定の点（バウンディングボックスの高さの１／３および幅の１／２等）がＡＯＩ内になくてはならない。

【0012】

従来技術において、徘徊イベントの検出は、通常、ＡＯＩ内で或る期間を費やす個々の対象物に基づいて行われ、「個々の対象物」の定義は、取り込まれたシーンのデータを解析するデバイスの検出および追跡能力に依拠する。しかしながら、この手法には問題がある場合がある。多くの場合に、対象物の検出は対象物の動きに基づく。対象物が或る期間にわたって静止している場合、対象物の追跡は通常失われ、対象物が再び動き出したとき、これは新たな対象物とみなされる。徘徊の観点から、この対象物についての徘徊時間の測定は誤ったものとなる。測定はすなわち、対象物が静止する（追跡が失われた）前の期間についての１つの測定、および対象物が再び動き出した期間についての１つの測定であり、これらの第１の測定および第２の測定が結びつかない。したがって、この対象物の徘徊イベントの検出は見逃される場合がある。追跡アルゴリズムの固有に機能により徘徊イベントが見逃され得る別の場合は、対象物が或る期間にわたって見えない（例えば、木の影に隠れている）ときである。この場合、上記で説明した静止している場合と同様に、アルゴリズムにより結果として２つの異なる対象物が検出される場合がある。

【0013】

さらに、個々の対象物のみに基づいて徘徊イベントを検出することにより、結果としていくつかのタイプの徘徊挙動が見逃される場合がある。例えば、第１の人物が盗品をＡＯＩ内に落とし、少したって第２の人物に拾われる場合、第１の人物または第２の人物が、徘徊イベントがトリガされるのに十分な時間（この期間は、徘徊イベントがトリガされる前に、任意の対象物がＡＯＩ内をどれだけ長く徘徊することを許されるかを定義し、本明細書では第１の閾値期間と呼ばれる）にわたってＡＯＩ内に存在しない場合、そのような挙動の結果として徘徊イベントが検出されない場合がある。

【0014】

本発明者らは、互いに続いてＡＯＩ内で時間を費やす、異なる対象物ＩＤを有する対象物の徘徊時間（すなわち、対象物がＡＯＩ内で費やす期間）を結合することによって、上記で論じた見逃された徘徊挙動を正しく検出することができることを認識した。重なり合う期間は結合されず１回のみカウントされることに留意するべきである。換言すれば、（第１の対象物についての）期間３〜２０および（第２の対象物についての）１５〜３０の結果として３〜３０の徘徊期間、および値２７を有する集約期間が得られる。

【0015】

結合された徘徊時間（本明細書において集約期間と呼ばれる）がトリガ時間閾値（本明細書において第１の時間閾値と呼ばれる）を超えるとき、徘徊イベントが検出される。第１の時間閾値は、２０秒、４０秒または１分等の任意の適した時間量とすることができる。

【0016】

いくつかの実施形態によれば、第３のタイムスタンプと第２のタイムスタンプとの間の時間差が第２の時間閾値を超えている場合、本方法は、第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加するステップの前に、集約期間をゼロにセットするステップをさらに含む。この実施形態において、集約期間がリセットされる（ゼロにセットされる）前に、ＡＯＩがどれだけ長く空である（ＡＯＩ内の位置データを有する対象物データが受信されない）ことができるかを定義するリセット時間マージン（第２の時間閾値）が定義される。第２の時間閾値は、徘徊挙動として検出されるべき挙動のタイプに基づいて調整することができる。第２の時間閾値は、３秒、６秒、３０秒または任意の適した時間量とすることができる。

【0017】

いくつか実施形態によれば、本方法は、ＡＯＩの座標と重なり合う位置データを有する各受信された対象物データ間の時間を測定することをさらに含み、集約期間をゼロにセットするステップは、時間が第２の閾値を超えているときに実行される。この実施形態において、ＡＯＩの座標と重なり合う位置データを有する対象物データが受信される度に、クロックが再始動される。時間が第２の閾値に達するやいなや、集約期間がゼロにセットされる。例えば、集約期間を示すＧＵＩ内のグラフィック対象物（例えば、プログレスバー）は、第２の時間閾値が経過するやいなやゼロにすることができ、これにより徘徊ステータスの即時フィードバックをオペレータに提供するため、これは有利であり得る。他の実施形態によれば、集約期間は、（徘徊対象物データを前回受信してから第２の時間閾値を超えて）次の徘徊対象物データが受信されるまで、すなわち、新たな時間差を集約期間に追加する直前までリセットされない。

【0018】

いくつかの実施形態によれば、本方法は、徘徊イベントが検出されたとき、ＡＯＩの座標と重なり合う位置データを有する、後続して受信された２つの対象物データ間の時間が第２の閾値を超えるまで、徘徊イベントの検出を継続するステップをさらに含む。換言すれば、ＡＯＩの座標と重なり合う位置データを有する対象物データが受信される度に再始動されるクロックは、全ての対象物がＡＯＩを出た後、徘徊イベントの検出がどれだけ長く継続されるべきかを定義するために用いることができる。したがって、徘徊イベントが検出されたとき、この検出は、ＡＯＩ内の位置を有する任意の対象物データが、ＡＯＩ内の位置を有する対象物データが前回受信されてから第２の期間内に受信される限り継続される。この実施形態に従って徘徊イベントの検出を継続することによって、オペレータが徘徊挙動を検出する機会を増大させることができる。

【0019】

いくつかの実施形態によれば、本方法は、監視シーン内の検出された第２の対象物に対応する第５の対象物データを受信するステップであって、第５の対象物データは、第２のＩＤ、第５の位置データおよび第５のタイムスタンプを含む、ステップと、第５の位置データがＡＯＩと重なり合うと判断するステップと、第５のタイムスタンプと第４のタイムスタンプとの間の時間差を集約期間に追加するステップと、をさらに含む。

【0020】

したがって、集約期間は、第１の閾値期間に達するまで、第２の対象物がＡＯＩ内で検出される限り増大される。

【0021】

いくつかの実施形態によれば、ＡＯＩ内で除外領域（または除外エリア）を定義することができる。このエリア内の対象物は、集約期間に寄与するべきでない。これは、例えば、喫煙のために人が出て行く場合が多い、ＡＯＩ内のドアの周囲のエリアとすることができる。そのような挙動は、検出されるべき徘徊挙動でない場合がある。除外領域は、例えばオペレータにとって所定のものであってもよく、または定義可能なものであってもよい。この実施形態では、本方法は、第４の位置データが除外エリアの座標とさらに重なり合うと判断するステップをさらに含むことができ、これによって、第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加するステップは実行されない。

【0022】

いくつかの実施形態によれば、本方法は、監視シーン内の検出された第２の対象物に対応する第５の対象物データを受信するステップであって、第５の対象物データは、第２のＩＤ、第５の位置データおよび第５のタイムスタンプを含む、ステップと、第５の位置データがＡＯＩの座標と重なり合い、除外エリアの座標とは重なり合わないと判断するステップと、第５のタイムスタンプと第４のタイムスタンプとの間の時間差を集約期間に追加するステップと、をさらに含む。したがって、対象物が除外エリアの外側であるが依然としてＡＯＩ内に移動するやいなや、時間が再び測定され、集約期間に寄与する。

【0023】

いくつかの実施形態によれば、受信された対象物データのフィルタリングが、この対象物データに関連付けられた対象物を徘徊候補とみなす前に実行される。本明細書において用いられるとき、「徘徊候補」という用語は、一般に、ＡＯＩ内に存在する期間が測定され、このため集約期間に寄与することができる、ＡＯＩ内（しかし、任意選択で除外領域内ではない）に位置する対象物を意味することが理解される。

【0024】

フィルタリングは、任意のタイプのフィルタリングとすることができる。例えば、いくつかの実施形態によれば、受信された対象物データは、検出された対象物のサイズに対応するサイズデータをさらに含む。この場合、本方法は、第３の対象物データおよび第４の対象物データのサイズデータを閾値サイズと比較するステップをさらに含み、第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加するステップは、それぞれのサイズデータが閾値サイズを超えている場合にのみ実行される。サイズデータは、例えば、位置データがバウンディングボックスまたは多角形を定義する場合、位置データによって暗黙的に実行することができる。サイズデータは、受信される対象物データにおける別個のデータフィールドとすることもできる。この実施形態によって、動物（猫、犬、うさぎ）、ＡＯＩ内に吹き込む葉またはビニール袋等の対象物をフィルタリング除去し、これによって徘徊イベントが検出されないようにすることができる。

【0025】

他の実施形態では、受信された対象物データは、検出された対象物のタイプに対応する対象物タイプデータをさらに含む。この場合、本方法は、第３の対象物データおよび第４の対象物データの対象物タイプデータを所定の対象物タイプと比較するステップをさらに含み、第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加するステップは、それぞれの対象物タイプデータが所定の対象物タイプに等しい場合にのみ実行される。対象物タイプデータは、整数、ｅｎｕｍ、テキスト文字列または任意の適切なデータフィールドとすることができる。例として、対象物データは、対象物が「自動車」タイプであると定義することができる。徘徊検出システムの管理者は、「人間」タイプの対象物についてのみ徘徊イベントを検出するようにシステムをセットアップしてもよい。対象物データを含め、そのようなデータに対しフィルタリングを行うことによって、そのようなシナリオが可能になり得る。

【0026】

本発明の第２の態様によれば、上記の目的は、徘徊イベントを検出するように適合されたデバイスによって達成され、このデバイスは、
・監視シーン内の検出された第１の対象物に対応する第１の対象物データを受信し、第１の対象物データは、第１のＩＤ、第１の位置データおよび第１のタイムスタンプを含み、
・第１の位置データがＡＯＩの座標と重なり合うと判断し、
・監視シーン内の検出された第１の対象物に対応する第２の対象物データを受信し、第２の対象物データは、第１のＩＤ、第２の位置データおよび第２のタイムスタンプを含み、
・第２の位置データがＡＯＩの座標と重なり合うと判断し、
・第２のタイムスタンプと第１のタイムスタンプとの間の時間差を集約期間に追加し、
・監視シーン内の検出された第２の対象物に対応する第３の対象物データを受信し、第３の対象物データは、第１のＩＤと異なる第２のＩＤ、第３の位置データおよび第３のタイムスタンプを含み、
・第３の位置データがＡＯＩの座標と重なり合うと判断し、
・監視シーン内の検出された第２の対象物に対応する第４の対象物データを受信し、第４の対象物データは、第２のＩＤ、第４の位置データおよび第４のタイムスタンプを含み、
・第４の位置データがＡＯＩの座標と重なり合うと判断し、
・第４のタイムスタンプと第３のタイムスタンプとの間の時間差を集約期間に追加し、
・集約期間が第１の閾値期間を超えているとき、徘徊イベントを検出する、
ように適合されたプロセッサを備える。

【0027】

本発明の第３の態様によれば、上記の目的は、
・シーンのデータを連続的に取り込むための第１のデバイスと、
・第１のデバイスから取込み済みデータを受信し、取込み済みデータにおける対象物を検出および追跡するように適合された第２のデバイスであって、取り込まれたデータにおける検出および追跡された対象物に対応する対象物データを抽出し、抽出された対象物データの対応するタイムスタンプを抽出するようにさらに適合され、各対象物データは、検出および追跡された対象物に関連付けられ、関連付けられた対象物のＩＤ、関連付けられた対象物の位置データ、およびタイムスタンプを含む、第２のデバイスと、
・第２のデバイスから抽出された対象物データを受信するように適合された、第２の態様による第３のデバイスと、
を備える、システムによって達成される。

【0028】

いくつかの実施形態によれば、本システムは、第３のデバイスから検出された徘徊イベントを受信し、オペレータに徘徊イベントに気づかせるための視覚および／または可聴信号を生成するように適合された第４のデバイスをさらに備える。

【0029】

いくつかの実施形態によれば、第１のデバイスは、以下のリスト、すなわち、ビデオ取込みデバイス、ＲＡＤＡＲデバイス、赤外線センサデバイス、マイクロフォンアレイ、サーマルカメラ、およびＴＯＦカメラのうちの１つである。

【0030】

第１のデバイス、第２のデバイス、第３のデバイスおよび第４のデバイスのうちの任意のものは、単一の物理デバイスにおいて実施することができる。いくつかの実施形態によれば、第１のデバイス、第２のデバイスおよび第３のデバイスは、ビデオ取込みデバイスにおいて実施される。第４のデバイスも、ビデオ取込みデバイスによって実施されてもよい。

【0031】

本発明の第４の態様によれば、上記の目的は、処理能力を有するデバイスによって実行されると、第１の態様の方法を実行するように適合された命令を有するコンピュータ可読ストレージ媒体を備えるコンピュータプログラム製品によって達成される。

【0032】

第２の態様、第３の態様および第４の態様は、一般に、第１の態様と同じ特徴および利点を有することができる。本発明は、別段の明示的な指示がない限り、特徴の全ての可能な組み合わせに関することにさらに留意されたい。

【0033】

本発明の上記のおよび更なる目的、特徴および利点は、添付の図面を参照して、本発明の好ましい実施形態の以下の例示的で非限定的な詳細な説明を通じてより良好に理解されるであろう。添付の図面において、同じ参照符号は類似の要素について用いられる。

【図面の簡単な説明】

【0034】

【図1】従来技術による徘徊検出を示す。

【図2】実施形態による、対象エリア内の徘徊イベントを検出するための方法を示す。

【図3】実施形態による、静止対象物を含む対象エリア内の徘徊イベントを検出するための方法を示す。

【図4】実施形態による、除外エリアを含む対象エリア内の徘徊イベントを検出するための方法を示す。

【図5】いくつかの実施形態による、徘徊イベントを検出するためのシステムを示す。

【図6】いくつかの実施形態による、徘徊イベントを検出するための方法のフローチャートを示す。

【発明を実施するための形態】

【0035】

ここで、以下で本発明の実施形態が示される添付の図面を参照して、本発明をより完全に説明する。本明細書に開示されるシステムおよびデバイスは、動作中に関して説明される。

【0036】

例えば、カメラによって取り込まれるビデオストリームに基づく基本的な徘徊検出が当該技術分野において知られている。しかしながら、既知の徘徊検出は、個々の対象物ベースで行われる。対象物は、カメラビューにおいて検出および追跡され、対象物が定義された対象エリア内に位置する期間が、徘徊イベントの検出について指定された予め定められた期間と比較される。

【0037】

図１は、例として、カメラによって監視される、対象のシーン１０２の３つのスナップショット中の個々の徘徊検出を示す。上側部分において、時点ｔ_０におけるシーンが示されている。このスナップショットにおいて、第１の対象物１０６ａおよび第３の対象物１０６ｃは、所定の対象エリア（ＡＯＩ）１０４内に存在し、第２の対象物１０６ｂはＡＯＩ１０４外に位置する。対象物１０６ａ〜ｃは、シーン１０２およびＡＯＩ１０４に対するこれらの対象物の位置を定義するバウンディングボックス１０８ａ〜ｃによって定義される。徘徊イベントを検出するために、対象物１０６ａ〜ｃがＡＯＩ１０４内に位置する期間が測定される。この理由により、ＡＯＩ１０４内の各対象物１０６ａ、１０６ｃの下にプログレスバー１１０ａ、１１０ｃが示され、これらは、各対象物１０６、１０６ｃがＡＯＩ１０４内に存在している期間を表す。プログレスバー１１０ａ、１１０ｃによって見えるように、対象物１０６ａ、１０６ｃがＡＯＩ１０４内に位置している個々に測定された期間は、徘徊イベントについて指定された予め定められた期間に近づきつつある。

【0038】

第２のスナップショット（図１の中央部分）において、時点ｔ_１＞ｔ_０におけるシーン１０２が示されている。このスナップショットにおいて、第１の対象物１０６ａは、ＡＯＩ１０４の外側に移動済みである。したがって、この対象物１０６についての時間はもはや測定されず、ＡＯＩ内における第１の対象物１０６ａの徘徊による徘徊イベントは検出されなかった。第３の対象物１０６ｃは、シーン１０２内の静止対象物（例えば、木）によって隠されている。したがって、シーンを取り込むカメラからの画像を解析する対象物検出および追跡アルゴリズムは、もはや対象物１０６ｃを追跡することができない。第２の対象物１０６ｂは、依然としてＡＯＩ１０４の外側にある。このスナップショット中、ＡＯＩ１０４内で対象物が検出されないので、時間が測定されない。

【0039】

最後のスナップショットにおいて、時点ｔ_２＞ｔ_１におけるシーン１０２が示される。このスナップショットにおいて、第３の対象物１０６ｃは、再びシーン１０２内に見え、ＡＯＩ１０４内に位置を占めている。しかしながら、シーンの画像を解析する検出および追跡アルゴリズムにとって、第３の対象物はシーンに対する新たな対象物である（なぜなら、追跡は時点ｔ_１においてまたは時点ｔ_０〜ｔ_２間で失われたためである）。上述したように、ＡＯＩ１０４内の各対象物１０６ｂ、１０６ｃの下にプログレスバー１１０ｂ、１１０ｃが示され、これらは、各対象物１０６ｂ、１０６ｃがＡＯＩ１０４内に存在している期間を表す。見て取ることができるように、測定された期間は、第１のスナップショットと比較して、第３のスナップショットにおいて短い。

【0040】

上記で説明されたように、徘徊期間を測定するこの戦略にはいくつかの問題が存在する。多くの場合に、互いに続いてＡＯＩ内で時間を費やす、異なる対象物ＩＤを有する対象物の徘徊時間を結合すること、すなわち、グループ徘徊戦略または不特定対象物徘徊戦略が有益であろう。ここで、そのような徘徊検出戦略が図２〜図６を用いて説明される。

【0041】

図５は、例として、徘徊検出のためのシステムを示す。この例において、第１のデバイス４０４（例えば、カメラ）は、シーン１０２のデータ４０６を連続的に取り込まれている。第１のデバイス４０４は、ビデオ取込みデバイス、ＲＡＤＡＲデバイス、赤外線センサデバイス、マイクロフォンアレイ、サーマルカメラ、ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラ等の、シーン１０２内の対象物の個々の検出および追跡のために用いることができるデータを取り込むのに適した任意のデバイスとすることができる。

【0042】

取込み済みデータ４０６（フォーマットは第１のデバイス４０４に依拠する）は、次に、第２のデバイス４０８に送信される。第２のデバイス４０８は、第１のデバイス４０４から取込み済みデータ４０６を受信し、取込み済みデータ内の対象物１０６ａ、１０６ｂを検出および追跡するように適合される。第２のデバイス４０８は、第１のデバイス４０４内で実施されてもよく、または第１のデバイス４０４と別個のデバイスにおいて実施されてもよい。第２のデバイス４０８は、取込み済みデータ４０６内の検出および追跡される対象物１０６ａ、１０６ｂに対応する対象物データ４１０を抽出し、抽出された対象物データ４１０の対応するタイムスタンプを抽出するように適合される。各対象物データ４１０は、検出および追跡される対象物１０６ａ、１０６ｂに関連付けられ、関連付けられた対象物１０６ａ、１０６ｂのＩＤ、関連付けられた対象物１０６ａ、１０６ｂの位置データ、およびタイムスタンプを含んでいる。このため、第２のデバイスは、第１のデバイス４０４から受信される取込み済みデータ４０６のタイプ（例えば、画像データ、ビデオデータ、オーディオデータ、ＲＡＤＡＲデータ等）に基づいて、適切な解析アルゴリズムを実施する。

【0043】

いくつかの実施形態によれば、出力された対象物データ４１０は、対象物が検出された画像フレームに対応する対象物データフレームにおいてグループ化され、このため、対象物データは、取り込まれた画像フレーム（またはシーンのデータを取り込むデバイス４０４に依拠して、検出サンプル、スナップショット、オーディオデータフレーム等）と同様にタイムスタンプを付される。換言すれば、この実施形態において、第１のデバイス４０４によって取り込まれたシーン１０２の１つの時点において２つ以上の対象物が検出される場合、対応する抽出された対象物データが１つのデータセットにグループ化され、このデータセットが徘徊検出デバイス（第３のデバイス）４１２に送信される。対象物ＩＤ、位置データおよびタイムスタンプ以外に、そのようなグループ化された対象物データは、
− 以前に見られたが今は姿を消している対象物、
− マージの一部であった対象物（２つ以上の対象物が１つの対象物にマージする）、
− スプリットの一部であった対象物（１つの対象物が２つ以上の対象物にスプリットする）、
等の他の情報を含む場合がある。

【0044】

他の実施形態では、シーン１０２の一時点において検出された各対象物は、結果として対象物データ４１０の別個の送信を引き起こす。

【0045】

サイズデータ、対象物タイプデータ、色データ等の、検出および追跡される対象物の更なる情報を抽出された対象物データ４１０に含めることができる。

【0046】

第２のデバイス４０８における対象物データ４１０の抽出は、第１のデバイス４０４から受信された取込み済みデータ４０６のサンプリングレートと異なるサンプリングレート（例えば、ＦＰＳ、すなわちフレーム毎秒（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ））において行われてもよい。換言すれば、全ての取込み済みデータ４０６が第２のデバイス４０８によって解析されるわけではない場合がある。他の実施形態では、第１のデバイス４０４および第２のデバイス４０８によって出力されるデータ４０６、４１０のＦＯＳは等しくてもよく、これは、全ての取込み済みデータ４０６が第２のデバイス４０８によって解析されることを意味する。

【0047】

次に、抽出された対象物データ４１０は、第３のデバイス４１２に連続的に送信される。第３のデバイス４１２は、受信対象物データ４１０から徘徊イベント４１４（以下でさらに説明される）を検出するように適合される。第３のデバイス４１２は、第１のデバイス４０４および／もしくは第２のデバイス４０８において実装されてもよく、または第１のデバイス４０４と別個のデバイスにおいて実装されてもよい。いくつかの実施形態によれば、第１のデバイス４０４、第２のデバイス４０８および第３のデバイス４１２は、ビデオレコーディングデバイスにおいて実装される。代替として、第３のデバイス４１２は、ネットワークまたは類似のものを介して第１のデバイス４０４／第２のデバイス４０８に接続された外部サーバー上に配置されてもよい。当然ながら、第２のデバイス４０８および第３のデバイス４１２の双方がサーバー（例えば、ビデオ管理サーバー、すなわちＶＭＳ）に配置されてもよい。このため、本明細書に説明されるシステムおよび方法の利点は、実装の柔軟性を高くすることができることである。第３のデバイス４１２は、本明細書に記載の徘徊イベントの検出のための方法を実行するように適合された１つまたは複数のプロセッサを備える。例えば、第３のデバイス４１２は、処理機能を有するデバイス４１２によって実行されると方法を実行するように適合された命令を有するコンピュータ可読ストレージ媒体を備えるコンピュータプログラム製品を実行することができる。

【0048】

いくつかの実施形態では、検出された徘徊イベント４１４は、第４のデバイス（例えば、ディスプレイ４１８）に送信される。第４のデバイスは、第３のデバイス４１２から検出された徘徊イベント４１４を受信し、オペレータに徘徊イベントに気づかせるための視覚および／または可聴信号４１６を生成するように適合される。第４のデバイスは、同時に、取込み済みデータ４０６、またはＡＯＩ内のデータ等の取込み済みデータ４０６の一部を表示することができる。第４のデバイスは、例えば、対象物データ４１０から抽出された、シーン内の対象物のバウンディングボックスまたは多角形、対象物のＩＤ等の記述データをさらに表示することができる。

【0049】

いくつかの実施形態では、検出された徘徊イベントは、メッセージ（電子メール、ＳＭＳ）の送信、発呼等のアクションをトリガするか、または他の形で、検出された徘徊イベントを誰かに警告することができる。検出された徘徊イベントは、より高い解像度での監視シーンのデータの記録、より高い解像度または別個のデータストリームでの徘徊対象物のデータの記録、データベースへの徘徊対象物の画像の記憶等のアクションをさらにトリガすることができる。

【0050】

ここで、第３のデバイス４１２の機能が、図５の徘徊検出のためのシステムおよび図６の流れ図と合わせて、図２〜図４を用いて説明される。以下において、例として、３つのシナリオが説明される。これらのシナリオは全て、図５の取込み済みデータ４０６、抽出された対象物データ４１０、および検出された徘徊イベント４１４の番号にマッピングされる。しかしながら、例えば、２つのシナリオ間で同じ参照符号を有する抽出された対象物データのコンテンツは、異なる場合があることに留意するべきである。

【0051】

図２〜図４の例において、説明を容易にするために、各期間中に１つの対象物１０６しかＡＯＩ１０４内に存在しないことにさらに留意するべきである。しかしながら、期間中にＡＯＩ１０４内に複数の対象物１０６が存在し得ることに留意するべきである。これらの場合、上記で説明し、当業者に理解されるように、１つの期間のみが集約期間に加えられる。

【0052】

図２は、例として、対象シーン１０２の期間（ｔ_０〜ｔ_１、ｔ_２〜ｔ_３、およびｔ_４〜ｔ_５、ただし、ｔ_０＜ｔ_１＜ｔ_２＜ｔ_３＜ｔ_４＜ｔ_５）中のグループ徘徊検出を示す。シーン１０２は、ＡＯＩ１０４を含む。

【0053】

徘徊検出のための方法を説明するために、期間ごとに、第１のデバイス４０４からの２つの取込み済みデータ４０６（例えば、第１の期間について、ｔ_０における１つ、およびｔ_１における１つ）が第２のデバイス４０８によって解析されると仮定する。類似の仮定は以下で図３〜図４についても行われる。

【0054】

第１の期間（図２の上側部分）にわたって、第２のデバイスは、第１のデバイス４０４から、対象物について解析される２つの取込み済みデータ４０６ａ、４０６ｂを受信する。この期間中、第１の対象物１０６ａがシーン１０２内に存在する。この期間中、他の対象物はシーン内に存在しない。（時点ｔ_０における）第１の取込み済みデータについて、第２のデバイス４０８は、監視シーン１０２内の検出された第１の対象物１０６ａに対応する第１の対象物データ４１０ａを抽出する。第１の対象物データは、少なくとも、第１のＩＤ、第１の位置データおよび第１のタイムスタンプｔ_０を含む。（時点ｔ_１における）第２の取込み済みデータについて、第２のデバイス４０８は、監視シーン１０２内の検出された第１の対象物１０６ａに対応する第２の対象物データ４１０ｂを抽出する。第１の対象物データは、少なくとも、第１のＩＤ、第２の位置データおよび第２のタイムスタンプｔ_１を含む。これは、徘徊イベントを検出するように構成される第３のデバイス（徘徊検出デバイス）４１２が、第１の対象物データ４１０ａおよび第２の対象物データ４１０ｂを受信した（Ｓ５０８）ことを意味する。

【0055】

第１の対象物データ４１０ａについて、第３のデバイス４１２は、まず、第１の対象物データの対象物が徘徊候補であるか否かを判断する（Ｓ５１０）。これは、少なくとも、第１の位置データがＡＯＩ１０４と重なり合うか否かを判断すること（Ｓ５１４）によって行われる。図２の例において、位置データは、第１の対象物１０６ａのバウンディングボックス（図において１０８ａで参照される）であり、ＡＯＩ１０４は、監視シーン１０２の一部のみをカバーするように定義されている。第１の位置データがＡＯＩ１０４の座標と重なり合うと判断される。上記で説明されたように、ＡＯＩ１０４が監視シーン１０２全体をカバーする場合、全ての受信された対象物は、ＡＯＩと重なり合う位置を有すると判断することができる。しかしながら、図２〜図４の例では、ＡＯＩ１０４は、監視シーン１０２の一部のみをカバーすることが定義されている。これらの実施形態において、受信対象物データの位置データは、関連付けられた対象物がＡＯＩ１０４の外側の位置を占めるか、またはＡＯＩ１０４と重なり合っていることを記述することができる。したがって、位置データがＡＯＩ１０４と重なり合っているか否かを判断するステップは、位置データおよびＡＯＩの座標を用いて行われる。

【0056】

ここで図２に戻ると、この例では、この対象物１０６ａについての他の対象物データが第３のデバイスによって以前に受信されていないため、集約期間に期間が追加されない。集約期間が徘徊検出クロックとして定義されている場合、クロックはここで始動される。

【0057】

第２の対象物データ４１０ｂについて、第３のデバイス４１２は、まず、上記で第１の対象物データ４１０ａについて説明したように、第２の対象物データ４１０ｂの対象物が徘徊候補であるか否かを判断する（S５１０）。第２の位置データが、ＡＯＩ１０４の座標と重なり合うと判断される（Ｓ５１４）。

【0058】

任意選択で、各受信対象物データ４１０間で、第３のデバイス４１２は、徘徊候補データであると判断された（Ｓ５１０）各受信対象物データ間の時間を継続的に測定し、この時間が第２の閾値を超えているか否かをチェックする（Ｓ５０２）。超えている場合、集約期間はゼロにセットされる。第２の時間閾値は、２つの徘徊候補間の期間が第２の時間閾値を超えたことに起因して、徘徊検出クロックがリセットされるべきであるか否かを判断する。チェックＳ５０２は、対象物データが受信されていないとき（Ｓ５０６）、対象物が徘徊候補でないと判断されるとき（Ｓ５１０）、および各徘徊候補が本明細書に記載されるように処理された後に行うことができる。他の実施形態では、図６においてＳ５０２およびＳ５０４で参照されるステップは、第３のデバイス４１２によって別個のプロセスで継続的に行われる。任意のイベント時に、集約期間に期間を追加するステップＳ５１８の前にチェックが行われる。さらに、上記で説明されたように、いくつかの実施形態によれば、受信された（Ｓ５０８）対象物データは複数の対象物データを含む場合があり、換言すれば、この実施形態において、第１のデバイスによって取り込まれたシーンの１つの時点において２つ以上の対象物が検出される場合、対応する抽出される対象物データは、１つのデータセットにグループ化され、このデータセットが徘徊検出デバイス（第３のデバイス）４１２に送信されることが留意されるべきである。この場合、受信データセット内の各対象物データは、本明細書に記載されるように処理される。

【0059】

この場合、期間ｔ_１−ｔ_０は、第２の時間閾値を超えない。代わりに、期間ｔ_１−ｔ_０は、図２においてプログレスバー２０２によって表される集約期間に追加される（Ｓ５１６）。集約期間２０２は、第１の閾値期間（図２において、フルプログレスバーによって表される）をまだ超えていないため、徘徊イベントは検出されない。

【0060】

第２の期間（図２の中央部分に示されるｔ_２〜ｔ_３）中、第２のデバイスは、第１のデバイス４０４から、対象物について解析される２つの取込み済みデータ４０６ｃ、４０６ｄを受信する。この期間中、第２の対象物１０６ｂは、シーン１０２内に存在する。この期間中、他の対象物はシーン内に存在しない。上記で説明したように、これは、第３のデバイス４１２が第３の対象物データ４１０ｃおよび第４の対象物データ４１０ｄを受信する（Ｓ５０８）ことを意味する。しかしながら、これらの対象物データ４１０ｃ、４１０ｄの双方について、これらのいずれも徘徊対象物を表さないと判断される（Ｓ５１０）。なぜなら、それぞれの位置データがＡＯＩ１０４の座標と重なり合わないと判断される（Ｓ５１４）ためである。この期間中、集約期間２０２に期間が追加されない。このため、クロックを用いる例えでは、クロックが中断される。

【0061】

第２の期間（図２の下側部分に示されるｔ_４〜ｔ_５）中、第２のデバイスは、第１のデバイス４０４から、対象物について解析される２つの取込み済みデータ４０６ｅ、４０６ｆを受信する。この期間中、第２の対象物１０６ｂはシーン１０２内に存在する。この期間中、他の対象物はシーン内に存在しない。上記で説明したように、これは、第３のデバイス４１２が、第５の対象物データ４１０ｅおよび第６の対象物データ４１０ｆを受信する（Ｓ５０８）ことを意味する。

【0062】

第５の対象物データ４１０ｅについて、第３のデバイス４１２は、まず、上記で第１の対象物データ４１０ａについて説明したように、第５の対象物データ４１０ｅの対象物が徘徊候補であるか否かを判断する（Ｓ５１０）。第５の位置データが、ＡＯＩ１０４の座標と重なり合うと判断される（Ｓ５１４）。

【0063】

上記で説明されたように、第３のデバイス４１２は、ＡＯＩの座標と重なり合う位置データを有する各受信対象物データ間の時間を継続的に測定し、測定された時間が第２の閾値を超えていると判断される（Ｓ５０２）とき、集約期間をゼロにセットする（Ｓ５０４）ことができる。換言すれば、第５のタイムスタンプｔ_４と第２のタイムスタンプｔ_１との間の時間差（最後の徘徊候補が存在すると判断された時間）が第２の時間閾値を超えていると判断される場合、集約期間はゼロにセットされる。

【0064】

しかしながら、この例において、集約期間２０２はゼロにセットされない（Ｓ５０４）。第３のデバイス４１２は、第２の対象物１０６ｃに関連付けられた、徘徊対象物を表すと判断された対象物を以前に受信していないため、集約期間２０２に期間が追加されない（Ｓ５１８）。徘徊検出クロックの例えを用いて、ここでクロックは再び始動される。

【0065】

第６の対象物データ４１０ｆについて、第３のデバイス４１２は、上記で第１の対象物データ４１０ａについて説明したように、第６の対象物データ４１０ｆの対象物が徘徊候補であるか否かを判断する（Ｓ５１０）。第６の位置データが、ＡＯＩ１０４の座標と重なり合うと判断される（Ｓ５１４）。

【0066】

このため、期間ｔ_５−ｔ_４（すなわち、第６のタイムスタンプと第５のタイムスタンプとの間の時間差）が、図２においてプログレスバー２０２によって表される集約期間に追加される（Ｓ５１８）。第２の対象物１０６ｂがＡＯＩ内に留まっている間（または新たな徘徊候補がシーン１０２に入る場合）、徘徊イベント４１４が検出されるまで、集約期間２０２は、上記で開示したのと同じ方式で増加し続ける。

【0067】

図２において、集約期間２０２は、ここで、第１の閾値期間（図２において、フルプログレスバー２０２によって表される）を超えているため、徘徊イベント４１４が検出される。

【0068】

このようにして、互いに続く異なる対象物（例えば、人物）の徘徊により、徘徊イベントを検出させることができる。ＡＯＩ内を徘徊する人物のグループは、多くの場合、単一の対象物がこの単一の対象物の徘徊時間のみに基づいて徘徊イベントが検出されるのに十分な時間量にわたってＡＯＩ内に留まっていない場合であっても、疑わしい挙動を示すため、これはセキュリティの関係から有利であり得る。

【0069】

いくつかの実施形態によれば、徘徊イベントは、第１の検出後、少なくとも第２の時間閾値にわたって連続的に検出されてもよい。いくつかの実施形態では、徘徊イベントは、全ての徘徊候補が消えるまで連続的に検出されてもよい。換言すれば、徘徊候補であると判断される（Ｓ５１０）新たな対象物がシーン１０２に入る場合、徘徊イベントは、シーン１０２が徘徊候補を含む限り（および任意選択で、全ての徘徊候補が消えた後、追加の第２の時間閾値にわたって）連続的に検出される。同様に、これは、第２の対象物１０６ｂがシーン内に留まっており、徘徊候補であると判断される（Ｓ５１０）限り、この場合にも当てはまり得る。

【0070】

徘徊イベントがもはや検出されなくなるやいなや、集約期間はゼロにセットされる。

【0071】

図３は、個々の徘徊検出が、疑わしい挙動を検出するには十分でない場合がある別のシナリオを示す。この場合、ＡＯＩ２０２は、静止対象物３０４（例えば、木、自動車、または徘徊候補を隠し得る任意の他の対象物）を含む。多くの場合に、対象物検出および追跡のためのアルゴリズムは、シーンからしばらくの間消える対象物を追跡可能でない場合がある。対象物が再度現れるとき、アルゴリズムは、これを、例えば新たな対象物ＩＤを有する新たな対象物であると解釈する場合がある。徘徊の観点から、これにより、上記でも説明したように、徘徊イベントが見逃される場合がある。以下で説明されるように、本明細書に記載される徘徊検出のための方法は、この問題を解決し、このシナリオにおいても徘徊イベントを正しく検出することができる。

【0072】

図３は、例として、対象シーン１０２の期間（ｔ_０〜ｔ_１、ｔ_２〜ｔ_３、ｔ_４〜ｔ_５、ここでｔ_０＜ｔ_１＜ｔ_２＜ｔ_３＜ｔ_４＜ｔ_５）中のグループ徘徊検出を示す。シーン１０２は、ＡＯＩ１０４を含む。

【0073】

図２の場合と同様に、第１の期間（図３の上側部分に示される）の結果として、ｔ_１−ｔ_０の集約期間２０２が生じる。

【0074】

第２の期間（図３の中央部分）にわたって、ＡＯＩ内の対象物（図３の上側部分において１０６ａで参照される）が静止対象物３０４によって隠されているため、集約期間２０２はそのままにされる。別の対象物３０６は、取込み済みデータ４０６ｃ、４０６ｄの一部であるが、対応する対象物データ４１０ｃ、４１０ｄの結果として徘徊候補が生じない場合がある。なぜなら、このシナリオにおいて、対象物が徘徊候補であるか否かを判断する（Ｓ５１０）とき、更なるフィルタリングＳ５１２（ＡＯＩ１０４の外側の位置データを除く）が行われるためである。この場合、対象物データ４１０ｃ、４１０ｄは、検出された対象物３０６のサイズに対応するサイズデータを含む。この場合、サイズデータは、第２のデバイス４０８によって決定される検出される対象物のバウンディングボックス３０８から抽出することができる。この実施形態において、第３の対象物データ４１０ｃおよび第４の対象物データ４１０ｄのサイズデータは、閾値サイズと比較される（Ｓ５１２）。検出される対象物のサイズが小さすぎると判断されるため、第４のタイムスタンプ（ｔ_３）と第３のタイムスタンプ（ｔ_２）との間の時間差を集約期間に加えるステップＳ５１８は行われない。対象物タイプデータ（自動車、人間、動物）、または色、形状、速さ、速度等の対象物データに関連付けられた対象物の他のタイプの記述データに対するフィルタリング等の、他のタイプのフィルタリングが行われてもよい。

【0075】

第３の期間（ｔ_４〜ｔ_５、図３の下側部分）にわたって、以前に隠されていた対象物が再び見え、依然としてＡＯＩ１０４内にある。しかしながら、上記で説明したように、第２のデバイス４０８によって抽出された対象物データ４１０ｅ、４１０ｆは、第１の期間（ｔ_０〜ｔ_１、図３の上側部分）にわたって第２のデバイス４０８によって抽出された対象物データ４１０ａ、４１０ｂと比較して異なる対象物ＩＤを有する。したがって、図３において、図３の下側部分における対象物は、図３の上側部分における対象物と比較して異なる参照符号（１０６ｂ）で参照される。なぜなら、徘徊の観点から、これらの対象物は異なる（異なるＩＤを有する）ためである。しかしながら、検出された対象物が異なる期間中に異なるＩＤを有することは、徘徊イベントの検出に影響を及ぼしてはならない。このため、上記で図２に関連して説明されたように、第３の期間について、第６のタイムスタンプ（ｔ_５）と第５のタイムスタンプ（ｔ_４）との間の時間差が集約期間２０２に追加され（Ｓ５１８）、これにより徘徊イベント４１４が検出される（Ｓ５２０）ことになる。

【0076】

本明細書において定義される徘徊検出における更なる概念は、除外エリアである。これは、対象物が費やす時間が徘徊としてカウントされるべきでないＡＯＩ１０４内のエリアである。この概念については図４に示されている。

【0077】

図４において、図２〜図３の場合と同様に、第１の期間（図４の上側部分に示される）の結果としてｔ_１−ｔ_０の集約期間２０２が得られる。

【0078】

第２の期間（図４の中央部分に示される、ｔ_２〜ｔ_３）中、第２のデバイスは、対象物について解析される第１のデバイス４０４から２つの取込み済みデータ４０６ｃ、４０６ｄを受信する。この期間中、第２の対象物１０６ｂは、シーン１０２内に存在する。この期間中、他の対象物はシーン内に存在しない。上記で説明したように、これは、第３のデバイス４１２が、第３の対象物データ４１０ｃおよび第４の対象物データ４１０ｄを受信する（Ｓ５０８）ことを意味する。しかしながら、これらの対象物データ４１０ｃ、４１０ｄの双方について、これらのいずれも徘徊対象物を表さないと判断される（Ｓ５１０）。なぜなら、それぞれの位置データが除外領域３０２の座標と重なり合うと判断される（Ｓ５１６）ためである。この期間中、集約期間２０２に期間が追加されない。このため、クロックを用いる例えでは、クロックが中断される。

【0079】

しかしながら、上記で開示し、図４の下側部分に示されるように、第２の対象物が除外領域３０２の外側であるが依然としてＡＯＩ１０４の内側に位置を占めるやいなや、時間が再び集約期間２０２に追加される（Ｓ５１８）。いくつかの実施形態によれば、除外領域３０２内の位置データを有する最後の対象物データ４１０ｄと、後続の対象物データ４１０ｅとの間の期間（この期間において、第２の対象物１０６ｂは、除外領域３０２の外側であるが依然としてＡＯＩ１０４の内側に位置を占める）が集約期間に追加され、これは、第５のタイムスタンプ４１０ｅと第４のタイムスタンプ４１０ｄとの間の時間差（ｔ_４−ｔ_３）が集約期間に追加されることを意味する。この実施形態において、当然ながら、第６のタイムスタンプ４１０ｅと第５のタイムスタンプ４１０ｄとの間の時間差（ｔ_５−ｔ_４）も、上記で説明したのと同様に集約期間２０２に追加される。

【0080】

他の実施形態によれば、このシナリオにおいて、集約期間は、第６のタイムスタンプ（ｔ_５）まで増加されず、これは、第６のタイムスタンプ４１０ｆと第５のタイムスタンプ４１０ｅとの間の時間差（ｔ_５−ｔ_４）が集約期間２０２に追加される（Ｓ５１８）一方で、第５のタイムスタンプ４１０ｅと第４のタイムスタンプ４１０ｄとの間の時間差（ｔ_４−ｔ_３）は追加されないことを意味する。

【0081】

上記において、本発明の概念は、限られた数の例を参照して主に説明された。しかしながら、当業者には容易に理解されるように、上記で開示した以外の例も、添付の特許請求の範囲によって定義される本発明の概念の範囲内で等しく可能である。例えば、徘徊イベントを検出するための方法は異なる形で定義される場合があるが、依然として添付の特許請求の範囲の適用範囲内にある。１つの実施形態によれば、ＡＯＩ内で徘徊イベントを検出するための方法は、
− 監視シーン内の少なくとも１つの検出された対象物に対応する対象物データを受信するステップであって、対象物データは少なくとも１つの位置データを含み、各位置データは、少なくとも１つの検出された対象物のうちの検出された対象物に関連付けられ、タイムスタンプは位置データに関連付けられる、ステップと、
− 受信した対象物データに基づいて、ＡＯＩ内で少なくとも１つの対象物が検出された時点を特定するステップと、
− 特定された時点ごとに、以前に特定された最も近い時点に対する時間差を計算するステップと、
− 各計算された時間差を第２の閾値時間と比較し、計算された時間差が第２の閾値時間未満であると判断すると、計算された時間差を集約期間に追加するステップと、
− 集約期間が第１の閾値期間を超えているとき、徘徊イベントを検出するステップと、
を含むことができる。

【0082】

いくつかの実施形態によれば、計算された時間差が第２の時間閾値を超えている場合、本方法は、集約期間をゼロにセットすることをさらに含む。

【0083】

いくつかの実施形態によれば、対象物データは、関連付けられた検出された対象物のＩＤをさらに含み、各特定された時点は少なくとも１つのＩＤに関連付けられ、特定された時点のうちの少なくとも２つは、異なる少なくとも１つのＩＤに関連付けられる。いくつかの実施形態では、第１の特定された時点に関連付けられた少なくとも１つのＩＤは、第２の特定された時点に関連付けられた少なくとも１つのＩＤと相互排他的であり、第２の特定された時点は第１の時点の後にある。

【0084】

本明細書において定義される任意の他の方法は、この異なる形で定義された方法に合うように再編成することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】