知財求人 - 知財ポータルサイト「IP Force」
特開2023-165641所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023165641
(43)【公開日】2023-11-16
(54)【発明の名称】所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231109BHJP
【ＦＩ】
G06T7/00 300F
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023072883
(22)【出願日】2023-04-27
(31)【優先権主張番号】22171780
(32)【優先日】2022-05-05
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ダニエルソン， ニクラス
(72)【発明者】
【氏名】ケスキカンガス， アクセル
(72)【発明者】
【氏名】アルド， ホーカン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096GA51
5L096HA11
5L096JA03
5L096JA11
(57)【要約】 （修正有）
【課題】所与の期間の所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定する方法及び装置を提供する。
【解決手段】方法は、第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルを受信し、初期値を有するインジケータを、第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル又は第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てて、特徴ベクトルと第１の特徴ベクトルとの間の類似性又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づきインジケータの値を更新し、インジケータの値に基づき、キャプチャされたシーン内に位置する可動オブジェクトがあると判定する。
【選択図】図１
【解決手段】方法は、第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルを受信し、初期値を有するインジケータを、第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル又は第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てて、特徴ベクトルと第１の特徴ベクトルとの間の類似性又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づきインジケータの値を更新し、インジケータの値に基づき、キャプチャされたシーン内に位置する可動オブジェクトがあると判定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するためのコンピュータ実施方法であって、
前記所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信することと、
初期値を有するインジケータを、画像フレームの前記第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は前記第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てることと、
画像フレームの前記第１のシーケンス内の前記第１の画像フレームに続いて、前記第１の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新することと、
前記インジケータの前記値が、前記反復更新が完了すると前記第１の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定することと
により前記インジケータを反復して更新することと
を含む、コンピュータ実施方法。
前記所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信することと、
初期値を有するインジケータを、画像フレームの前記第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は前記第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てることと、
画像フレームの前記第１のシーケンス内の前記第１の画像フレームに続いて、前記第１の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新することと、
前記インジケータの前記値が、前記反復更新が完了すると前記第１の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定することと
により前記インジケータを反復して更新することと
を含む、コンピュータ実施方法。
【請求項2】
前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすること
をさらに含む、請求項１に記載のコンピュータ実施方法。
をさらに含む、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記インジケータが前記第１の特徴ベクトルに割り当てられ、前記初期値が第１の閾値よりも大きく、前記第１の閾値よりも大きい前記インジケータの値が、前記第１の特徴ベクトルが生きていることを示し、前記閾値以下である前記インジケータの値が、前記第１の特徴ベクトルが生きていないことを示し、
前記インジケータが、
前記インジケータの前記値を第１の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性に基づいて第２の量を判定することと、前記インジケータの前記値を前記第２の量だけ増加させることと
によって反復的に更新される、請求項１又は２に記載のコンピュータ実施方法。
前記インジケータが、
前記インジケータの前記値を第１の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性に基づいて第２の量を判定することと、前記インジケータの前記値を前記第２の量だけ増加させることと
によって反復的に更新される、請求項１又は２に記載のコンピュータ実施方法。
【請求項4】
前記特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信され、前記第２の量が、前記さらなる特徴ベクトルと前記第１の特徴ベクトルとの間の距離に基づいて判定される、請求項３に記載のコンピュータ実施方法。
【請求項5】
前記第２の量が、前記特徴ベクトルと前記第１の特徴ベクトルとの間の前記距離が小さいほど大きくなるように判定される、請求項４に記載のコンピュータ実施方法。
【請求項6】
前記第２の量が、前記特徴ベクトルと前記第１の特徴ベクトルとの間の前記距離が閾値距離よりも小さい場合に固定されたゼロでない量であると判定され、前記特徴ベクトルと前記第１の特徴ベクトルとの間の前記距離が前記閾値距離以上である場合にゼロであると判定される、請求項４に記載のコンピュータ実施方法。
【請求項7】
前記インジケータが前記特徴ベクトルのクラスターに割り当てられ、前記初期値が第２の閾値よりも大きく、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第２の閾値よりも大きいことを示す前記インジケータの値が、前記特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第２の閾値以下であることを示す前記インジケータの値が、前記第１の特徴ベクトルが生きていないことを示し、
前記インジケータが、
前記インジケータの前記値を第３の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第４の量だけ増加させることと
によって反復的に更新される、請求項１又は２に記載のコンピュータ実施方法。
前記インジケータが、
前記インジケータの前記値を第３の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第４の量だけ増加させることと
によって反復的に更新される、請求項１又は２に記載のコンピュータ実施方法。
【請求項8】
前記特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信され、前記特徴ベクトルが、前記クラスターアルゴリズムに従って前記特徴ベクトルのクラスターに属すると判定される、請求項７に記載のコンピュータ実施方法。
【請求項9】
前記特徴ベクトルが、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互の距離を有する種々の画像フレーム内の前記同じ可動オブジェクトについて特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、前記インジケータの前記値が、前記特徴ベクトルと前記第１の特徴ベクトルとの間の距離、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新される、請求項１から３及び７のいずれか一項に記載のコンピュータ実施方法。
【請求項10】
前記機械学習モジュールがニューラルネットワークを備える、請求項１から９のいずれか一項に記載のコンピュータ実施方法。
【請求項11】
プロセッサ及び受信機を有する装置によって実行されたときに、請求項１から１０のいずれか一項に記載の方法を実施するための命令を格納した非一時的コンピュータ可読記憶媒体。
【請求項12】
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置であって、前記装置が、
前記所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信するように構成された受信機能と、
初期値を有するインジケータを、画像フレームの前記第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は前記第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てるように構成された割り当て機能と、
更新機能であって、画像フレームの前記第１のシーケンス内の前記第１の画像フレームに続いて、前記第１の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新すること
によって前記インジケータを反復的に更新するように構成された更新機能と、
前記インジケータの前記値が、前記反復更新が完了すると前記第１の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成された判定機能と
を実行するように構成された回路を備える、装置。
前記所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信するように構成された受信機能と、
初期値を有するインジケータを、画像フレームの前記第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は前記第１の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てるように構成された割り当て機能と、
更新機能であって、画像フレームの前記第１のシーケンス内の前記第１の画像フレームに続いて、前記第１の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新すること
によって前記インジケータを反復的に更新するように構成された更新機能と、
前記インジケータの前記値が、前記反復更新が完了すると前記第１の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成された判定機能と
を実行するように構成された回路を備える、装置。
【請求項13】
前記割り当て機能では、前記インジケータが前記第１の特徴ベクトルに割り当てられ、前記初期値が閾値より大きく、前記閾値より大きい前記インジケータの値が、前記第１の特徴ベクトルが生きていることを示し、前記閾値以下である前記インジケータの値が、前記第１の特徴ベクトルが生きていないことを示し、
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第１の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性に基づいて第２の量を判定することと、前記インジケータの前記値を前記第２の量だけ増加させることと
によって反復的に更新される、請求項１２に記載の装置。
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第１の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第１の特徴ベクトルとの間の類似性に基づいて第２の量を判定することと、前記インジケータの前記値を前記第２の量だけ増加させることと
によって反復的に更新される、請求項１２に記載の装置。
【請求項14】
前記割り当て機能では、前記インジケータが前記特徴ベクトルのクラスターに割り当てられ、前記初期値が第２の閾値よりも大きく、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第２の閾値よりも大きいことを示す前記インジケータの値が、前記特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第２の閾値以下であることを示す前記インジケータの値が、前記第１の特徴ベクトルが生きていないことを示し、
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第３の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第４の量だけ増加させることと
によって反復的に更新される、請求項１２に記載の装置。
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第３の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第４の量だけ増加させることと
によって反復的に更新される、請求項１２に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、キャプチャされたシーン内の可動オブジェクトの位置を経時的に分析することに関し、詳細には、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定することに関する。
【背景技術】
【0002】
人、車両、バッグなどの可動オブジェクトが、所与の期間にわたってカメラによってキャプチャされたシーン内に位置するときを識別することは、自動画像分析のタスクである。このタスクは、徘徊検出と呼ばれることもあり、アラーム、キャプチャされたシーンの画像データのさらなる分析、及び／又はさらなる動作をトリガするために、キャプチャされたシーン内の典型的な挙動から予想されるよりも長いキャプチャされたシーン内のどこかに可動オブジェクトが位置するときを検出するために使用され得る。例えば、バッグが所定の期間の間空港のキャプチャされたシーンに位置していること、人が所定の期間の間、現金自動預け払い機（ＡＴＭ）を含むキャプチャされたシーンに位置していることなどは、さらなる分析及び／又はさらなる動作を必要とする状況を構成し得る。タスクに対応するために様々な手法が使用されている。例えば、１つの手法は、シーン内の可動オブジェクトの追跡を使用し、オブジェクトがシーン内で追跡される時間を測定し、追跡されたオブジェクトが所与の期間中に所与の期間よりも長くシーン内に位置するかどうかを判定する。しかしながら、そのような手法では、可動オブジェクトの追跡は一時的に中断され得る。例えば、可動オブジェクトは、一時的に隠されてもよく、又は可動オブジェクトは、一時的にシーンを離れ（又はシーンから除去され）、その後、シーンに戻る（又はシーンに再導入される）ことができる。可動オブジェクトが識別され、中断後に再び追跡されると、中断前の可動オブジェクトの追跡と中断後の可動オブジェクトの追跡との間に関連性が存在しない可能性がある。この問題を克服するために、再識別アルゴリズムを使用して、オブジェクトがシーン内で以前識別されているかどうかを識別することができる。しかしながら、そのような再識別は他の問題をもたらす。例えば、多くの可動オブジェクトがシーンに入る（導入される）及びシーンから出る（取り除かれる）シナリオでは、可動オブジェクトが誤って再識別されるリスクが経時的に高くなる。
【発明の概要】
【0003】
本発明の目的は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかの判定を向上させることを容易にすることである。
【0004】
第１の態様によれば、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための方法が提供される。本方法は、所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトの複数の特徴ベクトルを受信することを含み、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトの同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。本方法は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は第１の画像フレームに先行する所与の期間の前にキャプチャされた第２のシーケンスの画像フレーム内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに初期値を有するインジケータを割り当てることをさらに含む。第１のベクトル又は特徴ベクトルのクラスターがそれぞれ生きているか否かは、インジケータの値に基づいて判定可能である。本方法は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新することをさらに含む。本方法は、インジケータの値が、反復更新が完了すると第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することをさらに含む。
【0005】
本開示は、特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性が、特徴ベクトルが第１の特徴ベクトルと同じ可動オブジェクトに関連付けられている可能性、又は特徴ベクトルのクラスターの１つ又は複数の特徴ベクトルが同じ可動オブジェクトにそれぞれ関連付けられている可能性の尺度であるという認識を利用する。これは、特徴ベクトルが、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信されるためである。類似性が判定され、インジケータの値が所与の期間中にフレームごとに更新されるので、各更新は、インジケータの値の全反復更新の一部にのみ寄与する。特徴ベクトルが同じ可動オブジェクトに関連付けられていない場合であっても、特徴ベクトルが第１の特徴ベクトル又は特徴ベクトルのクラスターに類似している場合は、比較的まれにすることができる。したがって、これらの場合は、インジケータの値の全反復更新にわずかしか寄与しない。
【0006】
第１の態様の方法は、特徴ベクトルが同じ可動オブジェクトに関連付けられていなくても、特徴ベクトルが第１の特徴ベクトル又は特徴ベクトルのクラスターに類似している場合、単一のインスタンスの影響を受けにくいため、例えば追跡又は再識別に基づく方法よりも堅牢である。これらのインスタンスは、インジケータの値の全反復更新の一部にのみ寄与する。さらに、これらのインスタンスは、機械学習モジュールの訓練によって比較的まれにすることができる。
【0007】
「可動オブジェクト」とは、人、車両、バッグ、又は箱など、移動することができる、又は移動することができる物体を意味する。
【0008】
「所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクト」とは、移動可能な物体が、キャプチャされたシーンを離れ（そこから除去され）、１回又は複数回ただし所与の期間にわたって、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するキャプチャされたシーンに再び入る（再び導入される）ことができることができることを意味する。所定の部分は、０より大きく所与の期間以下の任意の部分であり得る。さらに、可動オブジェクトは、シーン内の同じ場所に位置する必要はなく、シーン内を動き回ることができる。
【0009】
特定の時点に関連して「インジケータの値は、第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示す」とは、インジケータの値が、方法がその特定の時点で終了した場合に、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると結論付けられるような値であることを意味する。例えば、生きていると見なされるための条件は、インジケータが閾値よりも大きいことに基づくことができる。
【0010】
可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置すると判定することは、画像フレーム内の特徴ベクトル及び特徴ベクトルの第１の特徴ベクトル又はクラスターの類似性に基づいており、この類似性は機械学習モジュールに基づいているため、判定は特定の信頼度に対してのみ行うことができることに留意されたい。
【0011】
第１の態様による方法は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすることをさらに含むことができる。
【0012】
一実施形態では、インジケータは第１の特徴ベクトルに割り当てられ、初期値は第１の閾値よりも大きく、第１の閾値よりも大きいインジケータの値は第１の特徴ベクトルが生きていることを示し、第１の閾値以下のインジケータの値は第１の特徴ベクトルが生きていないことを示す。さらに、インジケータは、ｉ）インジケータの値を第１の量だけ減少させることと、ｉｉ）画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似度に基づいて第２の量を判定することと、インジケータの値を第２の量だけ増加させることとによって反復的に更新される。反復更新は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームに対して実行される。
【0013】
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができ、第２の量は、さらなる特徴ベクトルと第１の特徴ベクトルとの間の距離に基づいて判定される。次いで、第２の量は、特徴ベクトルと第１の特徴ベクトルとの間の距離が小さいほど大きくなると判定することができる。
【0014】
代替で、第２の量は、特徴ベクトルと第１の特徴ベクトルとの間の距離が閾値距離よりも小さい場合、固定されたゼロでない量であると判定され、特徴ベクトルと第１の特徴ベクトルとの間の距離が閾値距離以上である場合、ゼロであると判定されてもよい。
【0015】
一実施形態では、インジケータは特徴ベクトルのクラスターに割り当てられ、初期値は第２の閾値よりも大きく、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値よりも大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値以下であることを示すインジケータの値は、第１の特徴ベクトルが生きていないことを示す。さらに、インジケータは、ｉ）インジケータの値を第３の量だけ減少させることと、ｉｉ）画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定し、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第４の量だけ増加させることとによって反復的に更新される。反復更新は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームに対して実行される。
【0016】
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、特徴ベクトルは、クラスターアルゴリズムに従って特徴ベクトルのクラスターに属すると判定される。
【0017】
特徴ベクトルは、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互の距離を有する種々の画像フレーム内の同じ可動オブジェクトについての特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、インジケータの値は、特徴ベクトルと第１の特徴ベクトルとの間の距離、又は特徴ベクトルと特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新される。
【0018】
機械学習モジュールは、ニューラルネットワークを備えることができる。
【0019】
第２の態様によれば、処理及び受信機を有する装置によって実行されたときに、第１の態様による方法を実施するための命令又は第１の態様による方法を格納した非一時的コンピュータ可読記憶媒体が提供される。
【0020】
第３の態様によれば、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための方法が提供される。装置は、受信機能、割り当て機能、更新機能、及び判定機能を実行するように構成された回路を備える。受信機能は、所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトについての複数の特徴ベクトルを受信するように構成され、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについての同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。割り当て機能は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は第１の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに、初期値を有するインジケータを割り当てるように構成される。更新機能は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新するように構成される。判定機能は、インジケータの値が、反復更新が完了すると第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成される。
【0021】
割り当て機能において、インジケータは、第１の特徴ベクトルに割り当てられてもよく、初期値は、第１の閾値よりも大きく、第１の閾値よりも大きいインジケータの値は、第１の特徴ベクトルが生きていることを示し、第１の閾値以下のインジケータの値は、第１の特徴ベクトルが生きていないことを示す。更新機能では、次いで、インジケータは、インジケータの値を第１の量だけ減少させることと、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似度に基づいて第２の量を判定することと、インジケータの値を第２の量だけ増加させることとによって反復的に更新され得る。
【0022】
代替で、割り当て機能において、インジケータは、特徴ベクトルのクラスターに割り当てられてもよく、初期値は、第２の閾値よりも大きく、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値よりも大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値以下であることを示すインジケータの値は、第１の特徴ベクトルが生きていないことを示す。更新機能では、次いで、インジケータの値を第３の量だけ減少させることと、画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似度に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定することと、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第４の量だけ増加させることとによって、インジケータを反復的に更新することができる。
【0023】
本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の様々な変更及び修正がこの詳細な説明から当業者に明らかになるので、詳細な説明及び特定の例は、本発明の好ましい実施形態を示しているが、単なる例示として与えられていることを理解されたい。
【0024】
したがって、本発明は、記載された装置の特定の構成部品又は記載された方法の動作に限定されず、そのような装置及び方法は変化し得ることを理解されたい。本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書及び添付の特許請求の範囲で使用される場合、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、及び「前記（ｓａｉｄ）」は、文脈が明らかにそうでないことを指示しない限り、１つ又は複数の要素があることを意味することを意図していることに留意されたい。さらに、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、及び同様の表現は、他の要素又はステップを排除するものではない。
【0025】
本発明の上記及び他の態様は、添付の図面を参照してより詳細に説明される。図面は限定的であると見なされるべきではなく、説明及び理解のために使用される。
【図面の簡単な説明】
【0026】
【図1】本開示の方法の実施形態に関連するフローチャートを示す。
【図2】本開示の方法の実施形態に関連してインジケータを反復的に更新する動作のサブステップを含むフローチャートを示す。
【図3】本開示の方法の代替的な実施形態に関連してインジケータを反復的に更新する動作のサブステップを含むフローチャートを示す。
【図4】本開示の装置の実施形態に関連する概略図を示す。
【発明を実施するための形態】
【0027】
本発明の現在好ましい実施形態が示されている添付の図面を参照して、本発明を以下に説明する。しかしながら、本発明は、多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。
【0028】
本発明は、画像フレームのシーケンス内の経時的にキャプチャされたシーンに可動オブジェクトが入る（導入される）及び離れる（除去される）シナリオに適用可能である。画像フレームのシーケンスは、ビデオの一部を形成することができる。そのようなシナリオは、例えば、監視カメラによって画像フレームのシーケンス内でシーンがキャプチャされるときに発生する。可動オブジェクトは、任意の種類のオブジェクト検出を使用するオブジェクト検出モジュールを使用して検出されている。本発明の目的は、人、車両、バッグなどの可動オブジェクトが、キャプチャされたシーン内に残っているか、又は、可動オブジェクトが所与の期間の所定の部分より多くキャプチャされたシーン内に位置するように、捕捉されたシーンの内外に繰り返し移動するかを判定することである。これは、徘徊検出と呼ばれることもあるが、人以外の他の可動オブジェクトもカバーするように拡張され、また、所与の期間にわたって１回又は複数回、キャプチャされたシーンから一時的に移動するように可動オブジェクトもカバーするように拡張される。キャプチャされたシーンは、例えば、キャプチャされたシーンから移動して相当な期間の間戻ってこない前に、可動オブジェクトが１回だけ通過し、及び／又は予想される期間の間だけ留まると予想されるキャプチャされたシーンであってもよい。そのようなシーンは、空港のシーン、ＡＴＭを含むシーンであり得る。
【0029】
以下では、図１を参照して、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定する方法１００の実施形態について説明する。
【0030】
所定の部分は、０より大きく所与の期間以下の任意の部分であり得る。所定の部分及び所与の期間は、キャプチャされたシーン内の可動オブジェクトの典型的な移動パターンに基づいて設定することができる。例えば、所定の部分及び所与の期間は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトが、予想される移動パターンからの偏差を構成する、及び／又はさらに分析されるべき移動パターンを構成するように設定され得る。例えば、これは、監視の観点から望ましくない又は疑わしい移動パターンを構成し得る。
【0031】
所定の部分を０よりも大きく所与の期間よりも短く設定することは、キャプチャされたシーンを離れる（除去される）前に所与の期間の少なくとも所定の部分に可動オブジェクトが残って所与の期間の残りの期間中にキャプチャされたシーンに戻らない（再導入されない）ときを識別するのに適している。所定部分を０よりも大きく所与の期間よりも短く設定することは、可動オブジェクトが、合計で所与の期間の少なくとも所定の部分に位置するように、可動オブジェクトが、２回以上キャプチャされたシーンに入り（導入される）、離れる（除去される）ときを識別するのにも適している。
【0032】
所定部分を所与の期間に等しく設定することは、可動オブジェクトが所与の期間のすべてにおいて、キャプチャされたシーン内に残っているときを識別するためにのみ適している。
【0033】
方法１００は、所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトについて複数の特徴ベクトルを受信することＳ１１０を含む。これは、特徴ベクトルが、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信されるためである。
【0034】
画像フレームの第１のシーケンスは、所与の期間中にキャプチャされたすべての画像フレームであってもよいが、所与の期間中にキャプチャされたすべての画像フレームのサブセットであってもよい。画像フレームの第１のシーケンスが所与の期間中にキャプチャされたすべての画像フレームのサブセットである場合、それは例えば、２つおきの画像フレーム、３つおきの画像フレームなどであり得る。これがすべての画像フレームのサブセットである場合、所与の期間にわたって均一に分布した画像フレームからなることが好ましい。
【0035】
特徴ベクトルの特性は、それらを受信する機械学習モジュールの種類に依存する。例えば、機械学習モジュールは、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク、又は他の種類の機械学習を含むことができる。例えば、Ｚ．Ｍｉｎｇらによる「Ｄｅｅｐ ｌｅａｒｎｉｎｇ－ｂａｓｅｄ ｐｅｒｓｏｎ ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄｓ：Ａ ｓｕｒｖｅｙ ａｎｄ ｏｕｔｌｏｏｋ ｏｆ ｒｅｃｅｎｔ ｗｏｒｋｓ」、Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ、Ｃｈｅｎｄｕ ６１００６５、Ｃｈｉｎｅ、２０２２（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１１０．０４７６４）を参照されたい。機械学習モジュールからの特徴ベクトルの代わりに、色ヒストグラムなどのハンドクラフトの特徴を使用することも可能である。しかしながら、後者は、あまり正確でない判定をもたらす可能性がある。
【0036】
いくつかの実施形態では、画像フレームの第１のシーケンスの各画像フレーム内の各可動オブジェクトについて１つの特徴ベクトルのみが抽出される。代替で、画像フレームの第１のシーケンスの各画像フレーム内の各可動オブジェクトについて、２つ以上の特徴ベクトルを抽出することができる。例えば、２つ以上の特徴ベクトルが抽出される場合、これらは可動オブジェクトの異なる部分に関連し得る。この代替案では、本方法は、特徴ベクトルのうちの１つ又は複数に対して実行されてもよい。例えば、人の顔について別個の特徴ベクトルが抽出され、画像フレーム内の人の他の部分について１つ又は複数の他の特徴ベクトルが抽出される場合、本方法は、顔に関連する特徴ベクトルのみに対して、又は１つ又は複数の他の特徴ベクトルの一部又はすべてに対して実行され得る。
【0037】
方法１００は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトルに初期値を有するインジケータを割り当てることＳ１２０、又は所与の期間の前、すなわち第１の画像フレームの前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルのクラスターにインジケータを割り当てることＳ１２０をさらに含む。
【0038】
インジケータが特徴ベクトルのクラスターに割り当てられると、本方法は、画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルを受信することと、画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中の特徴ベクトルのクラスターを識別することと、によって先行されるか、又は暗黙的に含む。
【0039】
画像フレームの第２のシーケンスは、画像フレームの第１のシーケンスの前にキャプチャされた画像フレームの任意のシーケンスであってもよいが、好ましくは、画像フレームの第１のシーケンスの開始直前に終了するシーケンスである。
【0040】
画像フレームの第２のシーケンスは、画像フレームの第１のシーケンスの開始前のさらなる所与の期間中にキャプチャされたすべての画像フレームであってもよいが、さらなる所与の期間中にキャプチャされたすべての画像フレームのサブセットであってもよい。画像フレームの第２のシーケンスがさらなる所与の期間中にキャプチャされたすべての画像フレームのサブセットである場合、それは、例えば、第２の画像フレームごと、第３の画像フレームごとなどであり得る。これがすべての画像フレームのサブセットである場合、さらなる所与の期間にわたって均一に分布した画像フレームからなることが好ましい。
【0041】
特徴ベクトルのクラスターは、ｋ平均、期待値最大化（ＥＭ）、凝集クラスターリングなどの任意の適切なクラスターアルゴリズムを使用して、画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。特徴ベクトルのクラスターは、特徴ベクトルのクラスターの特徴ベクトルが同じ可動オブジェクトについて抽出される可能性が高いように定義されてもよい。これは、例えば、特徴ベクトルのクラスターの特徴ベクトルの類似性に基づくことができる。
【0042】
方法１００は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、インジケータを反復的に更新することＳ１３０をさらに含む。各反復では、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルに対して更新が実行される。更新は、特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することを含む。
【0043】
特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいてインジケータの値が更新されることによって、より高い類似性は、反復更新における値の全更新に対するより大きな寄与をもたらすことを意味する。
【0044】
インジケータの値の更新には、各画像フレーム内の各特徴ベクトルと第１の特徴ベクトルとの間の類似性のみが使用されるか、又は各画像フレーム内の各特徴ベクトルと特徴ベクトルのクラスターとの間の類似性が要求される。種々の画像フレーム内の同じ可動オブジェクトについて異なる特徴ベクトルが抽出されるかどうか、又は種々の画像フレーム内の同じ可動オブジェクトについて特徴ベクトルのクラスターのすべての特徴ベクトルが抽出されるかどうかをさらに解析する必要はない。したがって、第１の特徴ベクトルとは異なる可動オブジェクトについて抽出される画像フレーム内の特徴ベクトルは、インジケータの値の更新にいくらかの寄与を与えることができる。しかしながら、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールとして、第１の特徴ベクトルと同じ可動オブジェクトについて抽出された特徴ベクトルは、第１の特徴ベクトルとは異なる可動オブジェクトについて抽出された特徴ベクトルよりも高い寄与を有する。
【0045】
特徴ベクトルと特徴ベクトルのクラスターとの間の類似性の同じ尺度は、第１の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中の特徴ベクトルのクラスターを識別するときに使用されたように更新に使用することができる。
【0046】
機械学習モジュールによって可動オブジェクトについて抽出された特徴ベクトルが多数の次元（例えば２５６）を含む場合、例えば機械学習モジュールがニューラルネットワークを含む場合、特徴ベクトルと第１の特徴ベクトルとの間の類似性を判定する前に、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性を判定する前に、次元の数を減らすことができる。例えば、特徴ベクトルの次元は、特徴ベクトルを主成分分析（ＰＣＡ）空間に投影することによって削減され得る。次元の削減は、特徴ベクトルが機械学習モジュールから受信された後に実行されてもよく、又は受信される前に実行されてもよい。前者の場合、本方法は、複数の特徴ベクトルの各特徴ベクトルの次元を削減するさらなる動作を含む。後者の場合、複数の特徴ベクトルの各特徴ベクトルの次元数は、機械学習モジュールから受信したときに既に削減されている。
【0047】
方法１００は、インジケータの値が、反復更新が完了すると第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すという条件Ｃ１４０に基づいて、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することＳ１５０をさらに含む。
【0048】
特定の時点に関連して「インジケータの値は、第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示す」とは、インジケータの値が、方法がその特定の時点で終了した場合に、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると結論付けられるような値であることを意味する。
【0049】
所与の期間中の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することＳ１５０は、さらに、インジケータの値が、第１のベクトル又は特徴ベクトルのクラスターがそれぞれ、インジケータの反復更新を通して生きていることを示すことを条件とするＣ１４０ことができる。
【0050】
方法１００は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすることＳ１６０をさらに含むことができる。
【0051】
インジケータの値が、反復更新が完了すると第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていないことを示す場合、これは、第１の特徴ベクトル又は特徴ベクトルのクラスターに割り当てられたインジケータに基づいて、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるとは言えないことを意味する。この状況は、通常、その方法で実行される任意の特定のさらなる動作にはつながらない。具体的には、典型的には、所与の期間中に監視されている第１の特徴ベクトルに対応するいくつかの他の特徴ベクトル、又は特徴ベクトルのクラスターに対応する特徴ベクトルのいくつかの他のクラスターがあり、それぞれのインジケータが割り当てられ、反復的に更新されるため、これらのいくつかの他の特徴ベクトル又は特徴ベクトルのいくつかの他のクラスターのうちの１つは、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する他の可動オブジェクトに関連し得るため、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがないとは言えない。
【0052】
方法１００は、第１の特徴ベクトル又は特徴ベクトルのクラスターのいずれかに対して実行されてもよい。しかしながら、方法１００はまた、第１の特徴ベクトルに対して、又は特徴ベクトルのクラスターに対して並列に実行されてもよい。
【0053】
特徴ベクトルは、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互距離を有する種々の画像フレーム内の同じ可動オブジェクトについて特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができるＳ１１０。次いで、インジケータの値は、特徴ベクトルと第１の特徴ベクトルとの間の距離、又は特徴ベクトルと特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新され得る。
【0054】
方法１００は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターについて説明されている。次いで、方法１００は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して、又は画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行され得る。さらに、方法１００は、第１の画像フレームに続く各画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。特徴ベクトルのクラスターは、一定の間隔、例えば画像フレームの第２のシーケンスに対応する間隔で、可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。
【0055】
【0056】
インジケータが第１の特徴ベクトルに割り当てられるＳ１２０実施形態の場合、インジケータの初期値は、第１の閾値よりも大きい値に設定されてもよい。第１の閾値より大きいインジケータの値は、第１の特徴ベクトルが生きていることを示し、第１の閾値以下のインジケータの値は、第１の特徴ベクトルが生きていないことを示す。
【0057】
図２に関連して、画像フレームの第１のシーケンスにおける第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされたフレームの数はｎであり、したがって、インジケータの反復更新Ｓ１３０は、各画像フレームｉ＝１→ｎに対して実行される。さらに、各フレームｊについて抽出された特徴ベクトルの数はｍｉ個であり、したがって、各画像フレームｉについて、その画像フレームｉのそれぞれの抽出された特徴ベクトルｊ＝１→ｍｉに対して更新が実行される。
【0058】
画像フレームの第１のシーケンス内の第１の画像フレームに続く第１の画像フレームｉ＝１ Ｓ１３０５から開始して、インジケータの値は第１の量だけ減少するＳ１３１０。第１の量は、通常、すべての画像フレームｉ＝１→ｎに対するすべての反復について同じである。したがって、すべての画像フレームｉ＝１→ｎにわたる反復について、インジケータの値は、ｎ・第１の量だけ減少する。第１の画像フレームｉ＝１について第１の抽出された特徴ベクトルｊ＝１ Ｓ１３１５から開始して、特徴ベクトルｊ＝１と第１の特徴ベクトルとの間の類似性に基づいて第２の量が判定されるＳ１３２０。次いで、インジケータの値が第２の量だけ増加されるＳ１３２５。特徴ベクトルのインデックスｊは、ｊ＝ｊ＋１ Ｓ１３３０で増分され、ベクトルのインデックスｊが画像フレームｉ＝１ ｊ＞ｍｉ Ｓ１３３５に対して特徴ベクトルの数ｍｉ以下である限り、第２の量を判定するＳ１３２０、増加させるＳ１３２５、及び特徴ベクトルのインデックスｊ Ｓ１３３０を増分する動作が繰り返される。次に、画像フレームのインデックスｉが増分されるｉ＝ｉ＋１ Ｓ１３４０。次いで、反復更新が、第１の画像フレームｉ＝１の場合と同様の方法で、残りの画像フレームｉ＝２→ｎに対して実行される。
【0059】
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判断することＳ１５０は、反復更新が完了すると、インジケータの値が第１の閾値よりも大きいこと、すなわち第１の特徴ベクトルが生きていることを条件とする。
【0060】
第１の量、第２の量、及び第１の閾値は、好ましくは、第１の特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する場合、図２の反復更新後、インジケータの値が第１の閾値よりも大きくなければならず、第１の特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置しない場合、図２の反復更新後、インジケータの値が第１の閾値以下でなければならないように設定される。値は、第１の特徴ベクトルに関連付けられた可動オブジェクトが、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するかどうかを正確に判定する方法能力の評価を伴う反復プロセスによって設定され得る。値は、可動オブジェクトの種類、及び可動オブジェクトの特徴ベクトルを抽出するために使用される機械学習モジュールの種類に依存する。値はまた、所与の期間の長さに依存する、画像フレームの第１のシーケンス内の画像フレームの数に依存する。値はまた、所定の部分に依存する。
【0061】
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができるＳ１１０。次いで、第２の量は、特徴ベクトルと第１の特徴ベクトルとの間の距離に基づいて判定され得るＳ１３２０。次いで、第２の量は、特徴ベクトルと第１の特徴ベクトルとの間の距離が小さいほど大きくなると判定することができるＳ１３２０。
【0062】
代替で、第２の量は、特徴ベクトルと第１の特徴ベクトルとの間の距離が閾値距離よりも小さい場合、固定されたゼロでない量であると判定されＳ１３２０、特徴ベクトルと第１の特徴ベクトルとの間の距離が閾値距離以上である場合、ゼロであると判定されてもよいＳ１３２０。これにより、第１の特徴ベクトルまでの距離が閾値距離よりも長いいずれの特徴ベクトルも、インジケータの値の更新に寄与しない。
【0063】
方法１００は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトルについて説明されている。次いで、方法１００は、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。さらに、方法１００は、第１の画像フレームに続く各画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。したがって、本方法は、各画像フレーム内の各抽出された特徴ベクトルに対して実行することができ、したがって、抽出された各特徴ベクトルは、それに割り当てられたインジケータを有する。抽出された特徴ベクトルに関して所与の期間が満了すると、その割り当てられたインジケータが特徴ベクトルが生きていることを示すかどうか判定される。この場合、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定される。そうでない場合、その特徴ベクトルは、所与の期間の所定の部分より多くキャプチャされたシーン内に位置する可動オブジェクトがあることを示さない。特徴ベクトルに関連する所与の期間の後、方法は終了し、その特徴ベクトルに関連して後続の画像フレーム内の抽出された特徴ベクトルとのさらなる比較は実行されず、その特徴ベクトルに割り当てられたインジケータは破棄することができる。各画像フレーム内の各抽出された特徴ベクトルに対して方法を実行することによって、頑健性が達成される。第１の画像フレーム内で抽出され、可動オブジェクトに関連する第１の特徴ベクトルに割り当てられたインジケータが、第１の画像フレームから所与の期間後に第１の特徴ベクトルが生きていることを示さない場合、第１の画像フレームに続く第２の画像フレーム内で抽出され、同じ可動オブジェクトに関連する第２の特徴ベクトルは、第２の画像フレームから所与の期間後に第２の特徴ベクトルが生きていることを示す割り当てられたインジケータを有することができる。
【0064】
【0065】
インジケータが特徴ベクトルのクラスターに割り当てられるＳ１２０実施形態の場合、インジケータの初期値は、第２の閾値よりも大きい値に設定することができる。時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値より大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値以下であることを示すインジケータの値は、第１の特徴ベクトルが生きていないことを示す。
【0066】
図３に関連して、画像フレームの第１のシーケンスにおける第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされたフレームの数はｎであり、したがって、インジケータの反復更新Ｓ１３０は、各画像フレームに対して実行されるｉ＝１→ｎ。さらに、各フレームｊについて抽出された特徴ベクトルの数はｍｉ個であり、したがって、各画像フレームｉについて、その画像フレームｉのそれぞれの抽出された特徴ベクトルｊ＝１→ｍｉに対して更新が実行される。
【0067】
画像フレームの第１のシーケンス内の第１の画像フレームに続く第１の画像フレームｉ＝１ Ｓ１３５０５で開始して、インジケータの値は第３の量だけ減少するＳ１３５５。第３の量は、通常、すべての画像フレームｉ＝１→ｎに対するすべての反復について同じである。したがって、すべての画像フレームｉ＝１→ｎにわたる反復について、インジケータの値は、ｎ・第１の量だけ減少する。第１の画像フレームｉ＝１について第１の抽出された特徴ベクトルｊ＝１ Ｓ１３６０で開始して、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうか判定されＳ１３６５、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値は第４の量だけ増加するＳ１３７０。特徴ベクトルインデックスｊは、ｊ＝ｊ＋１ Ｓ１３７５で増分され、ベクトルインデックスｊが画像フレームｉ＝１ ｊ＞ｍｉ Ｓ１３８０に対して特徴ベクトルの数ｍｉ以下である限り、特徴ベクトルｊが特徴ベクトルのクラスターに属するかどうかを判定するＳ１３６５、増分するＳ１３７０、特徴ベクトルインデックスｊ Ｓ１３７５を増分する動作が繰り返される。次に、画像フレームのインデックスｉが増分されるｉ＝ｉ＋１ Ｓ１３８５。次いで、反復更新が、第１の画像フレームｉ＝１の場合と同様の方法で、残りの画像フレームｉ＝２→ｎに対して実行される。
【0068】
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判断することＳ１５０は、反復更新が完了すると、インジケータの値が第２の閾値よりも大きいこと、すなわち特徴ベクトルのクラスターが生きていることを条件とする。
【0069】
第３の量、第４の量、及び第２の閾値は、特徴ベクトルのクラスターに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する場合、図３の反復更新後のインジケータの値が第２の閾値よりも大きくなるように、及びクラスター特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置しない場合、図２の反復更新後のインジケータの値が第２の閾値以下になるように設定されることが好ましい。値は、第１の特徴ベクトルに関連付けられた可動オブジェクトが、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するかどうかを正確に判定する方法能力の評価を伴う反復プロセスによって設定され得る。値は、可動オブジェクトの種類、及び可動オブジェクトの特徴ベクトルを抽出するために使用される機械学習モジュールの種類に依存する。値はまた、所与の期間の長さに依存する、画像フレームの第１のシーケンス内の画像フレームの数に依存する。値はまた、所定の部分に依存する。
【0070】
方法１００は、画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターについて説明されている。方法１００は、画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行することができる。特徴ベクトルのクラスターは、一定の間隔、例えば画像フレームの第２のシーケンスに対応する間隔で、可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。次いで、方法１００は、一定の間隔で可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行され得る。クラスターの識別は、特徴ベクトルの各クラスターが１つの可動オブジェクトに対応する可能性が高いようにすべきである。特徴ベクトルのクラスターを定期的に識別することによって、本方法は、シーンに入る新しい可動オブジェクトに対して実行することができる。各クラスターに関連する所与の期間の後、方法は終了し、後続の画像フレーム内の抽出された特徴ベクトルとのさらなる比較はそのクラスターに対して実行されず、そのクラスターに割り当てられたインジケータは破棄することができる。
【0071】
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができるＳ１１０。次いで、特徴ベクトルは、クラスターアルゴリズムに従って特徴ベクトルのクラスターに属すると判定され得るＳ１３７０。
【0072】
例えば、ノイズを伴うアプリケーションの密度ベースの空間クラスターリング（ＤＢＳＣＡＮ）は、例えばＥｓｔｅｒ，Ｍ．らが開示しているように、クラスターアルゴリズムとして使用することができる。「Ａ ｄｅｎｓｉｔｙ－ｂａｓｅｄ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｉｓｃｏｖｅｒｉｎｇ ｃｌｕｓｔｅｒｓ ｉｎ ｌａｒｇｅ ｓｐａｔｉａｌ ｄａｔａｂａｓｅｓ ｗｉｔｈ ｎｏｉｓｅ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ（ＫＤＤ－９６）．ＡＡＡＩ Ｐｒｅｓｓ．ｐｐ．２２６－２３１．ＣｉｔｅＳｅｅｒＸ １０．１．１．１２１．９２２０．ＩＳＢＮ １－５７７３５－００４－９．
【0073】
代替で、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができるＳ１１０。固定された第４の量を有する代わりに、第４の量は、特徴ベクトルとクラスターとの間の距離に基づいて判定されてもよい。次いで、第４の量は、特徴ベクトルとクラスターとの間の距離が小さいほど大きくなるように判定され、特徴ベクトルがクラスターに属するという条件なしにインジケータに追加され得る。
【0074】
図４は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうか判定するための本開示の装置２００の実施形態に関する概略図を示す。装置２００は回路２１０を備える。回路２１０は、装置２００の機能を実行するように構成される。回路２１０は、中央処理装置（ＣＰＵ）、マイクロコントローラ、又はマイクロプロセッサなどのプロセッサ２１２を含むことができる。プロセッサ２１２は、プログラムコードを実行するように構成される。プログラムコードは、例えば、装置２００の機能を実行するように構成されてもよい。
【0075】
装置２００は、メモリ２３０をさらに備えることができる。メモリ２３０は、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、又は別の適切な装置のうちの１つ又は複数とすることができる。典型的な配置では、メモリ２３０は、長期データ記憶用の不揮発性メモリと、回路２１０用のデバイスメモリとして機能する揮発性メモリとを含むことができる。メモリ２３０は、データバス上で回路２１０とデータを交換することができる。メモリ２３０と回路２１０との間に付随する制御線及びアドレスバスも存在してもよい。
【0076】
装置２００の機能は、装置２００の非一時的コンピュータ可読媒体（例えば、メモリ２３０）に格納され、回路２１０（例えば、プロセッサ２１２を使用して）によって実行される実行可能論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化されてもよい。さらに、装置２００の機能は、スタンドアロンのソフトウェアアプリケーションであってもよく、又は装置２００に関連する追加のタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。記載された機能は、処理ユニット、例えば回路２１０のプロセッサ２１２が実行するように構成された方法と考えることができる。また、記載された機能はソフトウェアで実施されてもよいが、そのような機能は、専用のハードウェア若しくはファームウェア、又はハードウェア、ファームウェア及び／若しくはソフトウェアの何らかの組み合わせを介して実行されてもよい。
【0077】
回路２１０は、受信機能２３１、割り当て機能２３２、更新機能２３３、及び判定機能２３４を実行するように構成される。
【0078】
受信機能２３１は、所与の期間中にキャプチャされた画像フレームの第１のシーケンス内の可動オブジェクトについて複数の特徴ベクトルを受信するように構成され、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。
【0079】
割り当て機能２３２は、初期値を有するインジケータを、画像フレームの第１のシーケンスの第１の画像フレーム内の可動オブジェクトについて抽出された第１の特徴ベクトル、又は第１の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第２のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てるように構成される。
【0080】
更新機能２３３は、画像フレームの第１のシーケンス内の第１の画像フレームに続く、第１の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトに対する複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新するように構成される。
【0081】
判定機能２３４は、インジケータの値が、更新機能２３３による反復更新が完了すると第１の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていると示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成される。
【0082】
装置２００は、機能のうちの１つ又は複数の物理的位置で実施され、１つ又は複数の他の機能が別の物理的位置で実施されるように、１つ又は複数の物理的位置で実現されてもよい。代替で、装置２００の機能のすべては、単一の物理的位置にある単一の装置として実施されてもよい。単一の装置は、例えば監視カメラであってもよい。
【0083】
割り当て機能２３２では、インジケータは、第１の特徴ベクトルに割り当てられてもよく、初期値は、第１の閾値よりも大きく、第１の閾値よりも大きいインジケータの値は、第１の特徴ベクトルが生きていることを示し、第１の閾値以下のインジケータの値は、第１の特徴ベクトルが生きていないことを示す。更新機能２３３では、次いで、インジケータの値を第１の量だけ減少させ、画像フレーム内の可動オブジェクトに対して複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第１の特徴ベクトルとの間の類似性に基づいて第２の量を判定し、インジケータの値を第２の量だけ増加させることによって、インジケータを反復的に更新することができる。さらなる詳細及び可能な適合については、図２及びそれを参照する説明を参照する。
【0084】
代替で、割り当て機能２３２では、特徴ベクトルのクラスターにインジケータを割り当てることができ、初期値は０であり、単位時間当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値より大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、単位時間当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第２の閾値以下であることを示すインジケータの値は、第１の特徴ベクトルが生きていないことを示す。次いで、更新機能２３３では、インジケータは、画像フレーム内の可動オブジェクトに対する複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定し、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第４の量だけ増加させることによって反復的に更新することができる。さらなる詳細及び可能な適合については、図３及びそれを参照する説明を参照する。
【0085】
【0086】
当業者であれば、本発明が上記の実施形態に限定されないことを理解する。むしろ、添付の特許請求の範囲内で多くの修正及び変形が可能である。そのような修正及び変形は、図面、開示、及び添付の特許請求の範囲の研究から、特許請求される発明を実施する当業者によって理解及び達成され得る。
【図1】
【図2】
【図3】
【図4】
【外国語明細書】