特許 6847254 歩行者追跡の方法および電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6847254

(24)【登録日】2021年3月4日

(45)【発行日】2021年3月24日

(54)【発明の名称】歩行者追跡の方法および電子デバイス

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210315BHJP

   G06T 7/246 20170101ALI20210315BHJP

   G06T 7/254 20170101ALI20210315BHJP

   H04N 7/18 20060101ALI20210315BHJP

【ＦＩ】

   G06T7/20 300Z

   G06T7/246

   G06T7/254 B

   H04N7/18 D

【請求項の数】26

【全頁数】95

(21)【出願番号】特願2019-553258(P2019-553258)

(86)(22)【出願日】2018年3月20日

(65)【公表番号】特表2020-515974(P2020-515974A)

(43)【公表日】2020年5月28日

(86)【国際出願番号】CN2018079514

(87)【国際公開番号】WO2018177153

(87)【国際公開日】20181004

【審査請求日】2019年11月27日

(31)【優先権主張番号】201710208767.7

(32)【優先日】2017年3月31日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲楊▼ 怡

(72)【発明者】

【氏名】▲陳▼ 茂林

(72)【発明者】

【氏名】周 ▲剣▼▲輝▼

(72)【発明者】

【氏名】白 博

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１５−１９１３３８（ＪＰ，Ａ）

【文献】 特開２０１４−１９１３９３（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０４０６３６８１（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

歩行者追跡の方法であって、
追跡されるべきビデオの検出期間および追跡期間を決定するステップと、
前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するステップと、
前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するステップと、
前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するステップと、
前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するステップであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、ステップとを含む歩行者追跡の方法。

【請求項2】

前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得する前記ステップの前に、
前記上半身検出ボックスに基づき下半身走査領域を取得するステップと、
下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するステップとをさらに含む請求項1に記載の方法。

【請求項3】

前記上半身検出ボックスは

【数1】

[この文献は図面を表示できません]

であり、

【数2】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの左上水平座標であり、

【数3】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの左上垂直座標であり、

【数4】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの右下水平座標であり、

【数5】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの右下垂直座標であり、
前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは
第1のパラメータを決定するステップであって、前記第1のパラメータは

【数6】

[この文献は図面を表示できません]

であり、Ratio_defaultはプリセットされた比である、ステップと、
第2のパラメータを決定するステップであって、前記第2のパラメータは

【数7】

[この文献は図面を表示できません]

である、ステップと、
第3のパラメータを決定するステップであって、前記第3のパラメータは

【数8】

[この文献は図面を表示できません]

である、ステップと、
前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップとを含む請求項2に記載の方法。

【請求項4】

前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは、
前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップであって、前記下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]であり、L^Sは、前記下半身走査領域の左上水平座標であり、T^Sは、前記下半身走査領域の左上垂直座標であり、R^Sは、前記下半身走査領域の右下水平座標であり、B^Sは、前記下半身走査領域の右下垂直座標であり、

【数9】

[この文献は図面を表示できません]

である、ステップを含み、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項3に記載の方法。

【請求項5】

前記下半身検出ボックスは

【数10】

[この文献は図面を表示できません]

であり、

【数11】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの左上水平座標であり、

【数12】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの左上垂直座標であり、

【数13】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの右下水平座標であり、

【数14】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき前記検出期間全身ボックスを取得する前記ステップは、
前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は

【数15】

[この文献は図面を表示できません]

である、ステップと、
前記検出期間全身ボックスの左上垂直座標が

【数16】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスの右下水平座標が

【数17】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスの右下垂直座標が

【数18】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスが

【数19】

[この文献は図面を表示できません]

であると決定するステップとを含む請求項2から4のいずれか一項に記載の方法。

【請求項6】

前記検出期間全身ボックスを決定する前記ステップの後に、
前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が

【数20】

[この文献は図面を表示できません]

であると決定するステップと、
前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が

【数21】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスを、

【数22】

[この文献は図面を表示できません]

に基づき、決定するステップとをさらに含む請求項5に記載の方法。

【請求項7】

前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は

【数23】

[この文献は図面を表示できません]

である、ステップと、
前記検出期間全身ボックスの左上垂直座標が

【数24】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスの右下水平座標が

【数25】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスの右下垂直座標が

【数26】

[この文献は図面を表示できません]

であると決定するステップと、
前記検出期間全身ボックスが

【数27】

[この文献は図面を表示できません]

であると決定するステップとをさらに含む請求項3または4に記載の方法。

【請求項8】

前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比

【数28】

[この文献は図面を表示できません]

を取得するステップをさらに含み、
前記検出期間全身ボックスを決定する前記ステップの後、
前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が

【数29】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスを、

【数30】

[この文献は図面を表示できません]

に基づき、決定するステップとをさらに含む請求項7に記載の方法。

【請求項9】

前記上半身追跡ボックスは

【数31】

[この文献は図面を表示できません]

であり、

【数32】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの左上水平座標であり、

【数33】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの左上垂直座標であり、

【数34】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの右下水平座標であり、

【数35】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの右下垂直座標であり、
前記追跡期間全身ボックスを、

【数36】

[この文献は図面を表示できません]

に基づき、決定する前記ステップは、
前記追跡期間全身ボックスの左上水平座標を決定するステップであって、

【数37】

[この文献は図面を表示できません]

である場合、前記追跡期間全身ボックスの前記左上水平座標は

【数38】

[この文献は図面を表示できません]

である、ステップと、
前記追跡期間全身ボックスの左上垂直座標が

【数39】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスの右下水平座標が

【数40】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスの右下垂直座標が

【数41】

[この文献は図面を表示できません]

であると決定するステップであって、

【数42】

[この文献は図面を表示できません]

である、ステップと、
前記追跡期間全身ボックスが

【数43】

[この文献は図面を表示できません]

であると決定するステップとを含む請求項6または8に記載の方法。

【請求項10】

前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得する前記ステップは、
前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させるステップであって、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じである、ステップと、
前記上半身追跡ボックスを決定するステップであって、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ステップとを含む請求項1から9のいずれか一項に記載の方法。

【請求項11】

前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得する前記ステップは、
前記追跡期間全身ボックスの前記左上水平座標を決定するステップであって、

【数44】

[この文献は図面を表示できません]

である場合、前記追跡期間全身ボックスの前記左上水平座標は

【数45】

[この文献は図面を表示できません]

である、ステップと、
前記追跡期間全身ボックスの前記左上垂直座標が

【数46】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスの前記右下水平座標が

【数47】

[この文献は図面を表示できません]

であると決定するステップと、
前記追跡期間全身ボックスの前記右下垂直座標が

【数48】

[この文献は図面を表示できません]

であると決定するステップであって、

【数49】

[この文献は図面を表示できません]

である、ステップと、
前記追跡期間全身ボックスが

【数50】

[この文献は図面を表示できません]

であると決定するステップとを含む請求項9に記載の方法。

【請求項12】

前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するステップであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、ステップと、
前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するステップと、
前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって前記追跡されるべきビデオの任意の画像フレームの前景領域を取得するステップと、
前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって前記追跡されるべき歩行者を取得するステップとをさらに含む請求項1から11のいずれか一項に記載の方法。

【請求項13】

前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得する前記ステップは、
ターゲット画像フレームを決定するステップであって、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームである、ステップと、
前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得するステップとを含む請求項12に記載の方法。

【請求項14】

追跡されるべきビデオの検出期間および追跡期間を決定するように構成されている第1の決定ユニットと、
前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するように構成されている第1の取得ユニットと、
前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するように構成されている第2の取得ユニットと、
前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するように構成されている第3の取得ユニットと、
前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するように構成されている第4の取得ユニットであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、第4の取得ユニットとを備える電子デバイス。

【請求項15】

前記第2の取得ユニットは、前記上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するように、特に構成される請求項14に記載の電子デバイス。

【請求項16】

前記上半身検出ボックスは

【数51】

[この文献は図面を表示できません]

であり、

【数52】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの左上水平座標であり、

【数53】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの左上垂直座標であり、

【数54】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの右下水平座標であり、

【数55】

[この文献は図面を表示できません]

は、前記上半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、第1のパラメータを決定し、前記第1のパラメータは

【数56】

[この文献は図面を表示できません]

であり、Ratio_defaultはプリセットされた比であり、第2のパラメータを決定し、前記第2のパラメータは

【数57】

[この文献は図面を表示できません]

であり、第3のパラメータを決定し、前記第3のパラメータは

【数58】

[この文献は図面を表示できません]

であり、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定する、ように特に構成される請求項15に記載の電子デバイス。

【請求項17】

前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するように特に構成され、前記下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]であり、L^Sは、前記下半身走査領域の左上水平座標であり、T^Sは、前記下半身走査領域の左上垂直座標であり、R^Sは、前記下半身走査領域の右下水平座標であり、B^Sは、前記下半身走査領域の右下垂直座標であり、

【数59】

[この文献は図面を表示できません]

であり、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項16に記載の電子デバイス。

【請求項18】

前記下半身検出ボックスは

【数60】

[この文献は図面を表示できません]

であり、

【数61】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの左上水平座標であり、

【数62】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの左上垂直座標であり、

【数63】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの右下水平座標であり、

【数64】

[この文献は図面を表示できません]

は、前記下半身検出ボックスの右下垂直座標であり、
前記上半身検出ボックスおよび下半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は

【数65】

[この文献は図面を表示できません]

であり、前記検出期間全身ボックスの左上垂直座標が

【数66】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスの右下水平座標が

【数67】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスの右下垂直座標が

【数68】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスが

【数69】

[この文献は図面を表示できません]

であると決定する、ように特に構成される請求項15から17のいずれか一項に記載の電子デバイス。

【請求項19】

前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が

【数70】

[この文献は図面を表示できません]

であると決定し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が

【数71】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスを、

【数72】

[この文献は図面を表示できません]

に基づき、決定する、ように特に構成される請求項18に記載の電子デバイス。

【請求項20】

前記上半身検出ボックスおよび下半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は

【数73】

[この文献は図面を表示できません]

であり、前記検出期間全身ボックスの左上垂直座標が

【数74】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスの右下水平座標が

【数75】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスの右下垂直座標が

【数76】

[この文献は図面を表示できません]

であると決定し、前記検出期間全身ボックスが

【数77】

[この文献は図面を表示できません]

であると決定する、ように特に構成される請求項16または17に記載の電子デバイス。

【請求項21】

前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比

【数78】

[この文献は図面を表示できません]

を取得し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が

【数79】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスを、

【数80】

[この文献は図面を表示できません]

に基づき、決定する、ように特に構成される請求項20に記載の電子デバイス。

【請求項22】

前記上半身追跡ボックスは

【数81】

[この文献は図面を表示できません]

であり、

【数82】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの左上水平座標であり、

【数83】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの左上垂直座標であり、

【数84】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの右下水平座標であり、

【数85】

[この文献は図面を表示できません]

は、前記上半身追跡ボックスの右下垂直座標であり、
前記追跡期間全身ボックスを

【数86】

[この文献は図面を表示できません]

に基づき決定するときに、前記第4の取得ユニットは、前記追跡期間全身ボックスの左上水平座標を決定し、

【数87】

[この文献は図面を表示できません]

である場合、前記追跡期間全身ボックスの前記左上水平座標は

【数88】

[この文献は図面を表示できません]

であり、前記追跡期間全身ボックスの左上垂直座標が

【数89】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスの右下水平座標が

【数90】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスの右下垂直座標が

【数91】

[この文献は図面を表示できません]

であると決定し、

【数92】

[この文献は図面を表示できません]

であり、前記追跡期間全身ボックスが

【数93】

[この文献は図面を表示できません]

であると決定する、ように特に構成される請求項19または21に記載の電子デバイス。

【請求項23】

前記第3の取得ユニットは、前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じであり、前記上半身追跡ボックスを決定し、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ように特に構成される請求項14から22のいずれか一項に記載の電子デバイス。

【請求項24】

前記第4の取得ユニットは、前記追跡期間全身ボックスの前記左上水平座標を決定し、

【数94】

[この文献は図面を表示できません]

である場合、前記追跡期間全身ボックスの前記左上水平座標は

【数95】

[この文献は図面を表示できません]

であり、前記追跡期間全身ボックスの前記左上垂直座標が

【数96】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスの前記右下水平座標が

【数97】

[この文献は図面を表示できません]

であると決定し、前記追跡期間全身ボックスの前記右下垂直座標が

【数98】

[この文献は図面を表示できません]

であると決定し、

【数99】

[この文献は図面を表示できません]

であり、前記追跡期間全身ボックスが

【数100】

[この文献は図面を表示できません]

であると決定する、ように特に構成される請求項22に記載の電子デバイス。

【請求項25】

前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成されている第5の取得ユニットであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、第5の取得ユニットと、
前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するように構成されている第6の取得ユニットと、
前記追跡されるべきビデオの任意の画像フレームの前景領域を、前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって取得するように構成されている第7の取得ユニットと、
前記追跡されるべき歩行者を、前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって取得するように構成されている第8の取得ユニットとをさらに備える請求項14から24のいずれか一項に記載の電子デバイス。

【請求項26】

前記第1の取得ユニットは、ターゲット画像フレームを決定し、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームであり、前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得する、ように特に構成される請求項25に記載の電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、全体が参照により本明細書に組み込まれている、2017年3月31日に中国特許庁に出願した中国特許出願第201710208767.7号、名称「PEDESTRIAN TRACKING METHOD AND ELECTRONIC DEVICE」の優先権を主張するものである。

【0002】

本発明は、通信技術の分野に関するものであり、具体的には、歩行者追跡の方法および電子デバイスに関するものである。

【背景技術】

【0003】

安全な都市を構築する歴史的背景において、インテリジェント型ビデオ分析システムの関与は大きくなりつつある。作業効率を大きく改善し、人件費を大幅に低減するために、インテリジェント型ビデオ分析システムが、大量のビデオデータの中の歩行者を自動的にインテリジェントに分析する、たとえば、歩行者のモーション軌跡を計算する、制限領域内の異常な歩行者進入を検出する、道路上の歩行者を自動的に検出し、歩行者を回避するよう運転者に注意する、画像ベースの画像検索を通じて警察が犯罪容疑者を捜索するのを助ける、ことを行う必要がある。

【0004】

大量のビデオデータから歩行者を自動的に抽出するために、歩行者検出および追跡アルゴリズムが使用される必要がある。歩行者検出は、画像を入力し、検出アルゴリズムを使用することによって画像内の歩行者を自動的に見つけ、矩形ボックスの形態の中に歩行者の配置を提供することを指す。矩形ボックスは、歩行者の検出ボックスと称される。歩行者はビデオ内で動いているので、ビデオ内の各フレームの中の歩行者の配置を取得するために歩行者追跡アルゴリズムを使用することによって歩行者が追跡される必要がある。この配置は、また、矩形ボックスの一形態で提供され、矩形ボックスは、歩行者の追跡ボックスと称される。

【0005】

従来技術における不利点は、次のとおりである。1.検出ボックスは十分に正確ではない。歩行者の検出ボックスの縦横比は固定されており、歩行者の全身が検出される。したがって、歩行者が異常な姿勢で出現する、たとえば、脚が広く開いている、したがって縦横比が大きくなっているときに、縦横比が固定されている歩行者の検出ボックスは、十分に正確ではない。2.検出ボックスおよび追跡ボックスは、歩行プロセスに入っている歩行者の姿勢の変化を捕捉できない。歩行者はビデオ内で動いているので、歩行者の姿勢は、歩行プロセスにおいて大きく変化し得る。この変化は、ビデオ画像内の歩行者の最小限界矩形ボックスの縦横比の変化として現れる。歩行プロセスに入っている歩行者の姿勢の変化は、縦横比が固定されている検出ボックスおよび追跡ボックスに基づいては捕捉できない。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明は、歩行追跡の方法および電子デバイスを提供するものであり、したがって、追跡は、追跡されるべき歩行者の姿勢の変化に関係なく正確に実装され得る。

【0007】

本発明の実施形態の第1の態様は、次のステップを含む、歩行者追跡の方法を提供する。

【0008】

ステップA:追跡されるべきビデオの検出期間および追跡期間を決定する。

【0009】

任意選択で、検出期間は追跡期間に含まれ、検出期間の持続時間は追跡期間の持続時間より短い。

【0010】

任意選択で、この実施形態において示されている検出期間は追跡期間に含まれ得ず、検出期間は追跡期間の前であり、検出期間の持続時間は追跡期間の持続時間より短い。

【0011】

ステップB:追跡されるべき歩行者の上半身検出ボックスを取得する。

【0012】

具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得される。

【0013】

より具体的には、ターゲット画像フレームが最初に決定され、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。

【0014】

ターゲット画像フレームが決定されたときに、上半身検出ボックスは、ターゲット画像フレーム内で取得され得る。

【0015】

ステップC:追跡されるべき歩行者の検出期間全身ボックスを取得する。

【0016】

具体的には、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得される。

【0017】

ステップD:追跡されるべき歩行者の上半身追跡ボックスを取得する。

【0018】

具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスは、追跡期間内に取得される。

【0019】

この実施形態において、検出期間内に取得される検出期間全身ボックスは追跡ターゲットとして初期化され、それにより、追跡ターゲットとして働く追跡されるべき歩行者は、追跡期間内に追跡され得る。

【0020】

ステップE:追跡期間全身ボックスを取得する。

【0021】

具体的には、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき取得される。

【0022】

追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。

【0023】

この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。

【0024】

本発明の実施形態の第1の態様に関連して、本発明の実施形態の第1の態様の第1の実装形態において、ステップCの前に、次のステップがさらに実行される。

【0025】

ステップC01:下半身走査領域を取得する。

【0026】

この実施形態において、追跡されるべき歩行者の上半身検出ボックスが取得された後、追跡されるべき歩行者の下半身走査領域は、追跡されるべき歩行者の上半身検出ボックスに基づき取得され得る。

【0027】

ステップC02:検出期間全身ボックスを取得する。

【0028】

具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスは、上半身検出ボックスおよび下半身検出ボックスに基づき取得される。

【0029】

この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。

【0030】

本発明の実施形態の第1の態様の第1の実装形態に関連して、本発明の実施形態の第1の態様の第2の実装形態において、上半身検出ボックスは

【0031】

【数1】

[この文献は図面を表示できません]

【0032】

であり、ここで、

【0033】

【数2】

[この文献は図面を表示できません]

【0034】

は、上半身検出ボックスの左上水平座標であり、

【0035】

【数3】

[この文献は図面を表示できません]

【0036】

は、上半身検出ボックスの左上垂直座標であり、

【0037】

【数4】

[この文献は図面を表示できません]

【0038】

は、上半身検出ボックスの右下水平座標であり、

【0039】

【数5】

[この文献は図面を表示できません]

【0040】

は、上半身検出ボックスの右下垂直座標である。

【0041】

ステップC01は、具体的には、次のステップを含む。

【0042】

ステップC011:第1のパラメータを決定する。

【0043】

第1のパラメータは

【0044】

【数6】

[この文献は図面を表示できません]

【0045】

であり、ここで、Ratio_defaultはプリセットされた比である。

【0046】

任意選択で、この実施形態におけるRatio_defaultは事前に記憶され、Ratio_defaultは人体検出ボックスの縦横比に基づきプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、Ratio_defaultは3/7に設定されるものとしてよく、Ratio_defaultが記憶され、それにより、このステップを実行するプロセスにおいて、Ratio_defaultは、第1のパラメータ

【0047】

【数7】

[この文献は図面を表示できません]

【0048】

を計算するために抽出され得る。

【0049】

ステップC012:第2のパラメータを決定する。

【0050】

第2のパラメータは

【0051】

【数8】

[この文献は図面を表示できません]

【0052】

である。

【0053】

ステップC013:第3のパラメータを決定する。

【0054】

第3のパラメータは、

【0055】

【数9】

[この文献は図面を表示できません]

【0056】

である。

【0057】

ステップC014:下半身走査領域を決定する。

【0058】

具体的には、下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され得る。

【0059】

第1のパラメータ、第2のパラメータ、および第3のパラメータが取得されるときに、下半身走査領域が決定されてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。

【0060】

本発明の実施形態の第1の態様の第2の実装形態に関連して、本発明の実施形態の第1の態様の第3の実装形態において、
ステップC014は、具体的には、次のように実行される。下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され、ここで、下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]である。

【0061】

具体的には、L^Sは、下半身走査領域の左上水平座標であり、T^Sは、下半身走査領域の左上垂直座標であり、R^Sは、下半身走査領域の右下水平座標であり、B^Sは、下半身走査領域の右下垂直座標である。

【0062】

より具体的には、

【0063】

【数10】

[この文献は図面を表示できません]

【0064】

である。

【0065】

paral1、paral2、およびparal3は、プリセット値であり、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。

【0066】

imgWは、検出期間内の追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの任意の画像フレームの高さである。

【0067】

この実施形態において示されている方法を使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている方法の高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。

【0068】

本発明の実施形態の第1の態様の第1の実装形態から本発明の実施形態の第1の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第4の実装形態において、
下半身検出ボックスは

【0069】

【数11】

[この文献は図面を表示できません]

【0070】

であり、ここで、

【0071】

【数12】

[この文献は図面を表示できません]

【0072】

は、下半身検出ボックスの左上水平座標であり、

【0073】

【数13】

[この文献は図面を表示できません]

【0074】

は、下半身検出ボックスの左上垂直座標であり、

【0075】

【数14】

[この文献は図面を表示できません]

【0076】

は、下半身検出ボックスの右下水平座標であり、

【0077】

【数15】

[この文献は図面を表示できません]

【0078】

は、下半身検出ボックスの右下垂直座標である。

【0079】

ステップCは、次のステップを含む。

【0080】

ステップC11:検出期間全身ボックスの左上水平座標を決定する。

【0081】

具体的には、検出期間全身ボックスの左上水平座標は

【0082】

【数16】

[この文献は図面を表示できません]

【0083】

である。

【0084】

ステップC12:検出期間全身ボックスの左上垂直座標を決定する。

【0085】

具体的には、検出期間全身ボックスの左上垂直座標は

【0086】

【数17】

[この文献は図面を表示できません]

【0087】

である。

【0088】

ステップC13:検出期間全身ボックスの右下水平座標を決定する。

【0089】

具体的には、検出期間全身ボックスの右下水平座標は

【0090】

【数18】

[この文献は図面を表示できません]

【0091】

である。

【0092】

ステップC14:検出期間全身ボックスの右下垂直座標を決定する。

【0093】

具体的には、検出期間全身ボックスの右下垂直座標は

【0094】

【数19】

[この文献は図面を表示できません]

【0095】

である。

【0096】

ステップC15:検出期間全身ボックスを決定する。

【0097】

具体的には、検出期間全身ボックスは

【0098】

【数20】

[この文献は図面を表示できません]

【0099】

である。

【0100】

この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。

【0101】

本発明の実施形態の第1の態様の第4の実装形態に関連して、本発明の実施形態の第1の態様の第5の実装形態において、
ステップCの後に、次のステップがさらに実行される必要がある。

【0102】

ステップD01:検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比を決定する。

【0103】

具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比は

【0104】

【数21】

[この文献は図面を表示できません]

【0105】

である。

【0106】

ステップD02:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。

【0107】

具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は

【0108】

【数22】

[この文献は図面を表示できません]

【0109】

である。

【0110】

ステップD03:追跡期間全身ボックスを決定する。

【0111】

具体的には、追跡期間全身ボックスは

【0112】

【数23】

[この文献は図面を表示できません]

【0113】

に基づき決定される。

【0114】

この実施形態において示されている方法を使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。

【0115】

本発明の実施形態の第1の態様の第2の実装形態または本発明の実施形態の第1の態様の第3の実装形態による方法に関連して、本発明の実施形態の第1の態様の第6の実装形態において、
ステップC01の後に、次のステップがさらに実行される必要がある。

【0116】

ステップC21:検出期間全身ボックスの左上水平座標を決定する。

【0117】

具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得されない場合、検出期間全身ボックスの左上水平座標が決定される。

【0118】

より具体的には、検出期間全身ボックスの左上水平座標は

【0119】

【数24】

[この文献は図面を表示できません]

【0120】

である。

【0121】

ステップC22:検出期間全身ボックスの左上垂直座標を決定する。

【0122】

具体的には、検出期間全身ボックスの左上垂直座標は

【0123】

【数25】

[この文献は図面を表示できません]

【0124】

である。

【0125】

ステップC23:検出期間全身ボックスの右下水平座標を決定する。

【0126】

具体的には、検出期間全身ボックスの右下水平座標は

【0127】

【数26】

[この文献は図面を表示できません]

【0128】

である。

【0129】

ステップC24:検出期間全身ボックスの右下垂直座標を決定する。

【0130】

具体的には、検出期間全身ボックスの右下垂直座標は

【0131】

【数27】

[この文献は図面を表示できません]

【0132】

である。

【0133】

ステップC25:検出期間全身ボックスが

【0134】

【数28】

[この文献は図面を表示できません]

【0135】

であると決定する。

【0136】

この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算され得、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。

【0137】

本発明の実施形態の第1の態様の第6の実装形態に関連して、本発明の実施形態の第1の態様の第7の実装形態において、
この方法は、次のステップをさらに含む。

【0138】

ステップC31:検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比を取得する。

【0139】

具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比は

【0140】

【数29】

[この文献は図面を表示できません]

【0141】

である。

【0142】

ステップC32:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。

【0143】

具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は

【0144】

【数30】

[この文献は図面を表示できません]

【0145】

である。

【0146】

ステップC33:追跡期間全身ボックスを、

【0147】

【数31】

[この文献は図面を表示できません]

【0148】

に基づき、決定する。

【0149】

この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。

【0150】

本発明の実施形態の第1の態様の第5の実装形態または本発明の実施形態の第1の態様の第7の実装形態による方法に関連して、本発明の実施形態の第1の態様の第8の実装形態において、
上半身追跡ボックスは

【0151】

【数32】

[この文献は図面を表示できません]

【0152】

であり、ここで、

【0153】

【数33】

[この文献は図面を表示できません]

【0154】

は、上半身追跡ボックスの左上水平座標であり、

【0155】

【数34】

[この文献は図面を表示できません]

【0156】

は、上半身追跡ボックスの左上垂直座標であり、

【0157】

【数35】

[この文献は図面を表示できません]

【0158】

は、上半身追跡ボックスの右下水平座標であり、

【0159】

【数36】

[この文献は図面を表示できません]

【0160】

は、上半身追跡ボックスの右下垂直座標である。

【0161】

ステップC33は、具体的には、次のステップを含む。

【0162】

ステップC331:追跡期間全身ボックスの左上水平座標を決定する。

【0163】

具体的には、

【0164】

【数37】

[この文献は図面を表示できません]

【0165】

である場合、追跡期間全身ボックスの左上水平座標は

【0166】

【数38】

[この文献は図面を表示できません]

【0167】

である。

【0168】

ステップC332:追跡期間全身ボックスの左上垂直座標を決定する。

【0169】

具体的には、追跡期間全身ボックスの左上垂直座標は

【0170】

【数39】

[この文献は図面を表示できません]

【0171】

である。

【0172】

ステップC333:追跡期間全身ボックスの右下水平座標を決定する。

【0173】

具体的には、追跡期間全身ボックスの右下水平座標は

【0174】

【数40】

[この文献は図面を表示できません]

【0175】

である。

【0176】

ステップC334:追跡期間全身ボックスの右下垂直座標を決定する。

【0177】

具体的には、追跡期間全身ボックスの右下垂直座標は

【0178】

【数41】

[この文献は図面を表示できません]

【0179】

である。

【0180】

より具体的には、

【0181】

【数42】

[この文献は図面を表示できません]

【0182】

である。

【0183】

ステップC335:追跡期間全身ボックスを決定する。

【0184】

具体的には、追跡期間全身ボックスは

【0185】

【数43】

[この文献は図面を表示できません]

【0186】

である。

【0187】

この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標

【0188】

【数44】

[この文献は図面を表示できません]

【0189】

が上半身検出ボックスの左上水平座標

【0190】

【数45】

[この文献は図面を表示できません]

【0191】

に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。

【0192】

本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第8の実装形態のうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第9の実装形態において、
ステップDは、具体的には、次のステップを含む。

【0193】

ステップD11:上半身検出ボックスを中心として使用することによって複数の粒子を散乱させる。

【0194】

具体的には、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じである。

【0195】

上半身検出ボックスが追跡されるべきビデオの検出期間内に決定される場合、追跡されるべき歩行者は、追跡されるべきビデオの追跡期間内に追跡される。追跡されるべき歩行者は追跡されるべきビデオ内で動いており、検出期間および追跡期間内の追跡されるべき歩行者の配置は異なる。したがって、追跡されるべき歩行者を追跡するために、複数の粒子が追跡されるべき歩行者の上半身検出ボックスの周りに散乱される必要があり、それにより追跡されるべき歩行者を追跡する。

【0196】

ステップD12:上半身追跡ボックスを決定する。

【0197】

具体的には、上半身追跡ボックスは、複数の粒子のうちで上半身検出ボックスに最も類似する粒子である。

【0198】

この実施形態において示されている方法を使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。

【0199】

本発明の実施形態の第1の態様の第8の実装形態に関連して、本発明の実施形態の第1の態様の第10の実装形態において、
ステップEは、具体的には、次のステップを含む。

【0200】

ステップE11:追跡期間全身ボックスの左上水平座標を決定する。

【0201】

具体的には、

【0202】

【数46】

[この文献は図面を表示できません]

【0203】

である場合、追跡期間全身ボックスの左上水平座標は

【0204】

【数47】

[この文献は図面を表示できません]

【0205】

である。

【0206】

ステップE12:追跡期間全身ボックスの左上垂直座標を決定する。

【0207】

具体的には、追跡期間全身ボックスの左上垂直座標は

【0208】

【数48】

[この文献は図面を表示できません]

【0209】

である。

【0210】

ステップE13:追跡期間全身ボックスの右下水平座標を決定する。

【0211】

具体的には、追跡期間全身ボックスの右下水平座標は

【0212】

【数49】

[この文献は図面を表示できません]

【0213】

である。

【0214】

ステップE14:追跡期間全身ボックスの右下垂直座標を決定する。

【0215】

具体的には、追跡期間全身ボックスの右下垂直座標は

【0216】

【数50】

[この文献は図面を表示できません]

【0217】

である。

【0218】

より具体的には、

【0219】

【数51】

[この文献は図面を表示できません]

【0220】

である。

【0221】

ステップE15:追跡期間全身ボックスを決定する。

【0222】

具体的には、追跡期間全身ボックスは

【0223】

【数52】

[この文献は図面を表示できません]

【0224】

である。

【0225】

この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標

【0226】

【数53】

[この文献は図面を表示できません]

【0227】

が下半身検出ボックスの左上水平座標

【0228】

【数54】

[この文献は図面を表示できません]

【0229】

に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。

【0230】

本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第10の実装形態のいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第11の実装形態において、
この方法は、次のステップをさらに含む。

【0231】

ステップE21:追跡されるべきビデオのターゲット画像フレームシーケンスを取得する。

【0232】

ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。

【0233】

ステップE22:追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得する。

【0234】

具体的には、ターゲット画像フレームシーケンス内の任意の画像フレームにおいて、静的背景モデルを使用することによって静止している物体が取得され、静止している物体は追跡されるべきビデオの背景領域として決定される。

【0235】

ステップE23:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。

【0236】

具体的には、追跡されるべきビデオの画像フレームの前景領域は、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得される。

【0237】

具体的には、追跡されるべきビデオの背景領域が取得されたときに、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分が取得され、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。

【0238】

ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。

【0239】

モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。

【0240】

ステップE24:追跡されるべき歩行者を取得する。

【0241】

具体的には、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得される。

【0242】

本発明の実施形態の第1の態様の第11の実装形態に関連して、本発明の実施形態の第1の態様の第12の実装形態において、
ステップBは、次のステップを含む。

【0243】

ステップB11:ターゲット画像フレームを決定する。

【0244】

具体的には、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。

【0245】

ステップB12:ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。

【0246】

この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。

【0247】

本発明の実施形態の第2の態様は、第1の決定ユニット、第1の取得ユニット、第2の取得ユニット、第3の取得ユニット、および第4の取得ユニットを含む、電子デバイスを提供する。

【0248】

第1の決定ユニットは、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。

【0249】

この実施形態において示されている第1の決定ユニットは、本発明の実施形態の第1の態様において示されているステップAを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0250】

第1の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成される。

【0251】

この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップBを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0252】

第2の取得ユニットは、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。

【0253】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップCを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0254】

第3の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。

【0255】

この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップDを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0256】

第4の取得ユニットは、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。

【0257】

この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップEを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0258】

この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている電子デバイスを使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。

【0259】

本発明の実施形態の第2の態様に関連して、本発明の実施形態の第2の態様の第1の実装形態において、電子デバイスは、さらに次のことを含む。
第2の取得ユニットは、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように特に構成される。

【0260】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC01とステップC02とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0261】

この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。

【0262】

本発明の実施形態の第2の態様の第1の実装形態に関連して、本発明の実施形態の第2の態様の第2の実装形態において、
上半身検出ボックスは

【0263】

【数55】

[この文献は図面を表示できません]

【0264】

であり、ここで、

【0265】

【数56】

[この文献は図面を表示できません]

【0266】

は、上半身検出ボックスの左上水平座標であり、

【0267】

【数57】

[この文献は図面を表示できません]

【0268】

は、上半身検出ボックスの左上垂直座標であり、

【0269】

【数58】

[この文献は図面を表示できません]

【0270】

は、上半身検出ボックスの右下水平座標であり、

【0271】

【数59】

[この文献は図面を表示できません]

【0272】

は、上半身検出ボックスの右下垂直座標であり、
上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、第1のパラメータを決定し、ここで第1のパラメータは

【0273】

【数60】

[この文献は図面を表示できません]

【0274】

であり、ここでRatio_defaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは

【0275】

【数61】

[この文献は図面を表示できません]

【0276】

であり、第3のパラメータを決定し、ここで第3のパラメータは

【0277】

【数62】

[この文献は図面を表示できません]

【0278】

であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。

【0279】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC011と、ステップC012と、ステップC013と、ステップC014とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0280】

第1のパラメータ、第2のパラメータ、および第3のパラメータを取得するときに、この実施形態において示されている電子デバイスは下半身走査領域を決定するものとしてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。

【0281】

本発明の実施形態の第2の態様の第2の実装形態に関連して、本発明の実施形態の第2の態様の第3の実装形態において、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定するように特に構成され、ここで、下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]であり、L^Sは、下半身走査領域の左上水平座標であり、T^Sは、下半身走査領域の左上垂直座標であり、R^Sは、下半身走査領域の右下水平座標であり、B^Sは、下半身走査領域の右下垂直座標であり、ここで、

【0282】

【数63】

[この文献は図面を表示できません]

【0283】

であり、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。

【0284】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC014を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0285】

この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている電子デバイスの高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。

【0286】

本発明の実施形態の第2の態様の第1の実装形態から本発明の実施形態の第2の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第2の態様の第4の実装形態において、
下半身検出ボックスは

【0287】

【数64】

[この文献は図面を表示できません]

【0288】

であり、ここで

【0289】

【数65】

[この文献は図面を表示できません]

【0290】

は、下半身検出ボックスの左上水平座標であり、

【0291】

【数66】

[この文献は図面を表示できません]

【0292】

は、下半身検出ボックスの左上垂直座標であり、

【0293】

【数67】

[この文献は図面を表示できません]

【0294】

は、下半身検出ボックスの右下水平座標であり、

【0295】

【数68】

[この文献は図面を表示できません]

【0296】

は、下半身検出ボックスの右下垂直座標であり、
上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は

【0297】

【数69】

[この文献は図面を表示できません]

【0298】

であり、検出期間全身ボックスの左上垂直座標が

【0299】

【数70】

[この文献は図面を表示できません]

【0300】

であると決定し、検出期間全身ボックスの右下水平座標が

【0301】

【数71】

[この文献は図面を表示できません]

【0302】

であると決定し、検出期間全身ボックスの右下垂直座標が

【0303】

【数72】

[この文献は図面を表示できません]

【0304】

であると決定し、検出期間全身ボックスが

【0305】

【数73】

[この文献は図面を表示できません]

【0306】

であると決定する、ように特に構成される。

【0307】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC11と、ステップC12と、ステップC13と、ステップC14と、ステップC15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0308】

この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。

【0309】

本発明の実施形態の第2の態様の第4の実装形態に関連して、本発明の実施形態の第2の態様の第5の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が

【0310】

【数74】

[この文献は図面を表示できません]

【0311】

であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が

【0312】

【数75】

[この文献は図面を表示できません]

【0313】

であると決定し、追跡期間全身ボックスを、

【0314】

【数76】

[この文献は図面を表示できません]

【0315】

に基づき、決定する、ように特に構成される。

【0316】

この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD01と、ステップD02と、ステップD03とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0317】

この実施形態において示されている電子デバイスを使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。

【0318】

本発明の実施形態の第2の態様の第2の実装形態または本発明の実施形態の第2の態様の第3の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第6の実装形態において、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は

【0319】

【数77】

[この文献は図面を表示できません]

【0320】

であり、検出期間全身ボックスの左上垂直座標が

【0321】

【数78】

[この文献は図面を表示できません]

【0322】

であると決定し、検出期間全身ボックスの右下水平座標が

【0323】

【数79】

[この文献は図面を表示できません]

【0324】

であると決定し、検出期間全身ボックスの右下垂直座標が

【0325】

【数80】

[この文献は図面を表示できません]

【0326】

であると決定し、検出期間全身ボックスが

【0327】

【数81】

[この文献は図面を表示できません]

【0328】

であると決定する、ように特に構成される。

【0329】

この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC21と、ステップC22と、ステップC23と、ステップC24と、ステップC25とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0330】

この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算されてよく、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。

【0331】

本発明の実施形態の第2の態様の第6の実装形態に関連して、本発明の実施形態の第2の態様の第7の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比

【0332】

【数82】

[この文献は図面を表示できません]

【0333】

を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が

【0334】

【数83】

[この文献は図面を表示できません]

【0335】

であると決定し、追跡期間全身ボックスを、

【0336】

【数84】

[この文献は図面を表示できません]

【0337】

に基づき、決定する、ように特に構成される。

【0338】

この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC31と、ステップC32と、ステップC33とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0339】

この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。

【0340】

本発明の実施形態の第2の態様の第5の実装形態または本発明の実施形態の第2の態様の第7の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第8の実装形態において、
上半身追跡ボックスは

【0341】

【数85】

[この文献は図面を表示できません]

【0342】

であり、ここで、

【0343】

【数86】

[この文献は図面を表示できません]

【0344】

は、上半身追跡ボックスの左上水平座標であり、

【0345】

【数87】

[この文献は図面を表示できません]

【0346】

は、上半身追跡ボックスの左上垂直座標であり、

【0347】

【数88】

[この文献は図面を表示できません]

【0348】

は、上半身追跡ボックスの右下水平座標であり、

【0349】

【数89】

[この文献は図面を表示できません]

【0350】

は、上半身追跡ボックスの右下垂直座標であり、
追跡期間全身ボックスを

【0351】

【数90】

[この文献は図面を表示できません]

【0352】

に基づき決定するときに、第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、

【0353】

【数91】

[この文献は図面を表示できません]

【0354】

である場合、追跡期間全身ボックスの左上水平座標は

【0355】

【数92】

[この文献は図面を表示できません]

【0356】

であり、追跡期間全身ボックスの左上垂直座標が

【0357】

【数93】

[この文献は図面を表示できません]

【0358】

であると決定し、追跡期間全身ボックスの右下水平座標が

【0359】

【数94】

[この文献は図面を表示できません]

【0360】

であると決定し、追跡期間全身ボックスの右下垂直座標が

【0361】

【数95】

[この文献は図面を表示できません]

【0362】

であると決定し、ここで、

【0363】

【数96】

[この文献は図面を表示できません]

【0364】

であり、追跡期間全身ボックスが

【0365】

【数97】

[この文献は図面を表示できません]

【0366】

であると決定する、ように特に構成される。

【0367】

この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC331と、ステップC332と、ステップC333と、ステップC334と、ステップC335とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0368】

この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標

【0369】

【数98】

[この文献は図面を表示できません]

【0370】

が上半身検出ボックスの左上水平座標

【0371】

【数99】

[この文献は図面を表示できません]

【0372】

に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。

【0373】

本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第8の実装形態のうちのいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第9の実装形態において、
第3の取得ユニットは、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。

【0374】

この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD11とステップD12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0375】

この実施形態において示されている電子デバイスを使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。

【0376】

本発明の実施形態の第2の態様の第8の実装形態に関連して、本発明の実施形態の第2の態様の第10の実装形態において、
第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、

【0377】

【数100】

[この文献は図面を表示できません]

【0378】

である場合、追跡期間全身ボックスの左上水平座標は

【0379】

【数101】

[この文献は図面を表示できません]

【0380】

であり、追跡期間全身ボックスの左上垂直座標が

【0381】

【数102】

[この文献は図面を表示できません]

【0382】

であると決定し、追跡期間全身ボックスの右下水平座標が

【0383】

【数103】

[この文献は図面を表示できません]

【0384】

であると決定し、追跡期間全身ボックスの右下垂直座標が

【0385】

【数104】

[この文献は図面を表示できません]

【0386】

であると決定し、ここで、

【0387】

【数105】

[この文献は図面を表示できません]

【0388】

であり、追跡期間全身ボックスが

【0389】

【数106】

[この文献は図面を表示できません]

【0390】

であると決定する、ように特に構成される。

【0391】

この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE11と、ステップE12と、ステップE13と、ステップE14と、ステップE15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0392】

この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標

【0393】

【数107】

[この文献は図面を表示できません]

【0394】

が下半身検出ボックスの左上水平座標

【0395】

【数108】

[この文献は図面を表示できません]

【0396】

に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。

【0397】

本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第10の実装形態のいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第11の実装形態において、電子デバイスは、第5の取得ユニットと、第6の取得ユニットと、第7の取得ユニットと、第8の取得ユニットとをさらに備える。

【0398】

第5の取得ユニットは、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。

【0399】

この実施形態において示されている第5の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE21を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0400】

第6の取得ユニットは、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。

【0401】

この実施形態において示されている第6の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE22を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0402】

第7の取得ユニットは、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。

【0403】

この実施形態において示されている第7の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE23を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0404】

第8の取得ユニットは、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。

【0405】

この実施形態において示されている第8の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE24を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0406】

本発明の実施形態の第2の態様の第11の実装形態に関連して、本発明の実施形態の第2の態様の第12の実装形態において、
第1の取得ユニットは、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。

【0407】

この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップB11とステップB12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。

【0408】

この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。

【0409】

本発明の実施形態は、歩行者追跡の方法および電子デバイスを提供する。この方法により、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得されるものとしてよく、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得され、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき追跡期間内に取得される。追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡され得ることがわかる。検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、これらの実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。

【図面の簡単な説明】

【0410】

【図1】本発明による電子デバイスの一実施形態の概略構造図である。

【図2】本発明によるプロセッサの一実施形態の概略構造図である。

【図3A】本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。

【図3B】本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。

【図4】本発明による歩行者追跡の方法の一実施形態の概略アプリケーション図である。

【図5】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。

【図6】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。

【図7】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。

【図8】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。

【図9A】本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。

【図9B】本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。

【図10A】本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。

【図10B】本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。

【図11】本発明による電子デバイスの別の実施形態の概略構造図である。

【発明を実施するための形態】

【0411】

本発明の実施形態は、歩行者追跡の方法を提供する。本発明の実施形態において示されている歩行者追跡の方法をよりよく理解するために、以下では、最初に、本発明の実施形態において示されている方法を実行することができる電子デバイスの具体的な構造について詳しく説明する。

【0412】

実施形態において示されている電子デバイスの具体的な構造は、図1を参照しつつ詳しく以下で説明される。図1は、本発明による電子デバイスの一実施形態の概略構造図である。

【0413】

電子デバイス100は、構成または性能により大きく異なることがあり、1つまたは複数のプロセッサ122を備え得る。

【0414】

プロセッサ122は、プロセッサ122が実施形態において示されている歩行者追跡の方法を実行するための計算および画像処理能力を有することができる限り、この実施形態では制限されない。任意選択で、この実施形態において示されているプロセッサ122は、中央演算処理装置(CPU)であってよい。

【0415】

1つまたは複数の記憶媒体130(たとえば、1つまたは複数の大容量記憶デバイス)は、アプリケーションプログラム142またはデータ144を記憶するように構成される。

【0416】

記憶媒体130は、一時的記憶媒体または永続的記憶媒体であってよい。記憶媒体130に記憶されているプログラムは、1つまたは複数のモジュール(図中でマークされていない)を含むものとしてよく、各モジュールは、電子デバイス内の一連の命令演算を含み得る。

【0417】

さらに、プロセッサ122は、記憶媒体130と通信し、電子デバイス100内の記憶媒体130に収められている一連の命令演算を実行するように構成され得る。

【0418】

電子デバイス100は、1つもしくは複数の電源126、1つもしくは複数の入力/出力インターフェース158、ならびに/またはWindows Server(商標)、Mac OS X(商標)、Unix(商標)、Linux(登録商標)、およびFreeBSD(商標)などの1つもしくは複数のオペレーティングシステム141をさらに含み得る。

【0419】

本発明の一実装形態において、電子デバイスは、画像処理能力および計算能力を有する任意のデバイスであってよく、限定はしないが、サーバ、カメラ、モバイルコンピュータ、タブレットコンピュータ、および同様のものを含む。

【0420】

この実施形態において示されている電子デバイスが実施形態において示されている歩行者追跡の方法を実行する場合、この実施形態において示されている入力/出力インターフェース158は、大量の監視ビデオを受信するように構成されるものとしてよく、入力/出力インターフェース158は、検出プロセス、歩行者追跡結果、および同様のものを表示することができる。プロセッサ122は、歩行者検出を実行し、歩行者追跡アルゴリズムを実行するように構成される。記憶媒体130は、オペレーティングシステム、アプリケーションプログラム、および同様のものを記憶するように構成され、記憶媒体130は、歩行者追跡プロセスにおける中間結果、および同様のものを記憶することができる。実施形態において示されている方法を実行するプロセスにおいて、この実施形態において示されている電子デバイスは、大量の監視ビデオから追跡される必要のあるターゲット歩行者を見つけ出し、ターゲット歩行者が監視ビデオ中に出現する時刻および場所などの情報を提供することができることがわかる。

【0421】

実施形態において示されている歩行者追跡の方法を実装するように構成されているプロセッサ122の具体的な構造は、図2を参照しつつ詳しく以下で説明される。

【0422】

具体的には、プロセッサ122は、メタデータ抽出ユニット21と問い合わせユニット22とを備える。

【0423】

より具体的には、メタデータ抽出ユニット21は、物体抽出モジュール211と、特徴抽出モジュール212と、インデックス構築モジュール213とを備える。

【0424】

より具体的には、問い合わせユニット22は、特徴抽出モジュール221と、特徴融合モジュール222と、インデックス作成および問い合わせモジュール223とを備える。

【0425】

この実施形態において、プロセッサ122は、記憶媒体130に記憶されているプログラムを実行して、図2に示されているプロセッサ122に備えられている任意のユニット内の任意のモジュールの機能を実装することができる。

【0426】

図1および図2に示した電子デバイスに基づき、実施形態に示されている歩行者追跡の方法の具体的な実行手順は、図3Aおよび図3Bを参照しつつ詳しく以下で説明される。

【0427】

図3Aおよび図3Bは、本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。

【0428】

最初に、この実施形態において示されている歩行者追跡の方法の実行本体部は電子デバイスであり、具体的にはプロセッサ122の1つまたは複数のモジュール、たとえば、物体抽出モジュール211であってよいことに留意されたい。

【0429】

この実施形態において示されている歩行者追跡の方法は、次のステップを含む。

【0430】

ステップ301:追跡されるべきビデオを取得する。

【0431】

具体的には、この実施形態において示されているプロセッサ122に備えられている物体抽出モジュール211は、追跡されるべきビデオを取得するように構成される。

【0432】

任意選択で、この実施形態において示されている電子デバイスがカメラを備えていない、たとえば、電子デバイスがサーバである場合、この実施形態において示されている電子デバイスは、入力/出力インターフェース158を使用することによって複数のカメラと通信する。カメラは、追跡されるべきビデオを生成するために追跡されるべき歩行者を撮影するように構成される。それに対応して、電子デバイスは、入力/出力インターフェース158を使用することによって、カメラによって送信された追跡されるべきビデオを受信し、さらに、プロセッサ122の物体抽出モジュール211は、入力/出力インターフェース158によって受信された追跡されるべきビデオを取得する。

【0433】

任意選択で、この実施形態において示されている電子デバイスがカメラを備えている、たとえば、電子デバイスがビデオカメラである場合、電子デバイスのプロセッサ122の物体抽出モジュール211は、電子デバイスのカメラによって撮影された追跡されるべきビデオを取得する。

【0434】

具体的な応用例において、この実施形態において示されている追跡されるべきビデオは、通常、大量のビデオである。

【0435】

この実施形態における追跡されるべきビデオを取得する方式は任意選択の一例であり、物体抽出モジュール211が歩行者追跡に使用される追跡されるべきビデオを取得することができる限り、制限とはならないことに留意されたい。

【0436】

ステップ302:ターゲット画像フレームシーケンスを取得する。

【0437】

具体的には、この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームシーケンスを取得する。

【0438】

より具体的には、追跡されるべきビデオを取得した後、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内のターゲット画像フレームシーケンスを決定する。

【0439】

ターゲット画像フレームシーケンスは、追跡されるべきビデオの最初のM個の画像フレームであり、Mの具体的な値は、Mが1より大きい正整数である限り、この実施形態では制限されない。

【0440】

ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含む。

【0441】

ステップ303:追跡されるべきビデオの背景領域を取得する。

【0442】

具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオのターゲット画像フレームシーケンスを学習し、追跡されるべきビデオの背景領域を取得する。この実施形態において示されている追跡されるべきビデオの背景領域については、図4を参照されたい。

【0443】

任意選択で、物体抽出モジュール211は、具体的には次の方式で追跡されるべきビデオの背景領域を取得し得る。物体抽出モジュール211は、静的背景モデルを使用することによってターゲット画像フレームシーケンスの任意の画像フレームから静止している物体を取得し、静止している物体を追跡されるべきビデオの背景領域として決定する。

【0444】

この実施形態において追跡されるべきビデオの背景領域を取得するという記述は、任意選択の一例であり、制限とはならないことに留意されたい。たとえば、物体抽出モジュール211は、代替的に、物体抽出モジュール211が背景領域を取得することができる限り、フレーム差分の方法、オプティカルフロー場の方法、または同様の方法を使用し得る。

【0445】

この実施形態において示されているステップ303は、任意選択の一ステップであることにさらに留意されたい。

【0446】

ステップ304:追跡されるべきビデオの検出期間および追跡期間を決定する。

【0447】

具体的には、物体抽出モジュール211は、検出期間T1および追跡期間T2を決定する。

【0448】

任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ、検出期間T1の持続時間は追跡期間T2の持続時間より短い。

【0449】

たとえば、追跡期間T2の持続時間は10分であるものとしてよく、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間のうちの10分以内の最初の2秒は検出期間T1である。

【0450】

任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ得ず、検出期間T1は追跡期間T2の前であり、検出期間T1の持続時間は追跡期間T2の持続時間より短い。

【0451】

たとえば、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間は10分であってよく、追跡期間T2は検出期間T1の後にさらに実行される。

【0452】

この実施形態における検出期間T1の持続時間および追跡期間T2の持続時間の記述は、任意選択の例であり、制限とはならないことに留意されたい。

【0453】

この実施形態において、検出期間T1が追跡期間T2に含まれる一例は、説明のために使用されている。

【0454】

より具体的には、この実施形態において示されている検出期間T1の開始フレームは、追跡されるべきビデオの第tのフレームであり、tはMより大きい。この実施形態におけるターゲット画像フレームシーケンスは、検出期間T1の前にあることがわかる。

【0455】

ステップ305:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。

【0456】

具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得する。

【0457】

図5は、この実施形態において示されている追跡されるべきビデオの画像フレームの取得された前景領域を示している。具体的には、図5に示されている白色ピクセルは、追跡されるべきビデオの画像フレームの前景領域である。

【0458】

具体的には、追跡されるべきビデオの背景領域を取得するときに、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分を取得し、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。

【0459】

ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。

【0460】

この実施形態において示されているプリセット閾値は予め設定され、プリセット閾値の値は、追跡されるべきビデオの画像フレームのモーション領域がプリセット閾値に基づき決定され得る限り、この実施形態において制限されない。

【0461】

モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。

【0462】

ステップ306:追跡されるべき歩行者を取得する。

【0463】

この実施形態において示されている物体抽出モジュール211は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得する。

【0464】

物体抽出モジュール211によって検出される追跡されるべき歩行者の具体的な数は、この実施形態において制限されない。

【0465】

ステップ307:追跡されるべき歩行者の上半身検出ボックスを取得する。

【0466】

この実施形態において示されている追跡されるべき歩行者の上半身検出ボックスを取得するために、この実施形態において示されている物体抽出モジュール211は、最初に、ターゲット画像フレームを決定する。

【0467】

具体的には、この実施形態において示されているターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。

【0468】

任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に任意の画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現する画像フレームがターゲット画像フレームであると決定し得る、すなわち、ターゲット画像フレームは追跡されるべきビデオの検出期間内に追跡されるべき歩行者が出現する画像フレームである。

【0469】

任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に連続する画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。

【0470】

任意選択で、この実施形態において示されている追跡されるべき歩行者が間隔を置いて追跡されるべきビデオの検出期間T1内に画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。

【0471】

ターゲット画像フレームを決定する仕方についての先の記述は、任意選択の一例であり、追跡されるべき歩行者がターゲット画像フレーム内に出現する限り、制限とはならないことに留意されたい。

【0472】

ターゲット画像フレームを決定するときに、物体抽出モジュール211は、ターゲット画像フレーム内の上半身検出ボックスを取得し得る。

【0473】

第1の検出器は、この実施形態において示されている物体抽出モジュール211上に配設されてよく、第1の検出器は、上半身検出ボックスを検出するように構成される。

【0474】

具体的には、物体抽出モジュール211の第1の検出器は、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。

【0475】

この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームの前景領域内の追跡されるべき歩行者を検出することができる、言い換えると、追跡されるべき歩行者を検出するプロセスにおいて、物体抽出モジュール211は背景領域を検出する必要はなく、そのため、歩行者検出に必要な時間を大幅に短縮する一方、歩行者検出精度が改善される。

【0476】

次に、物体抽出モジュール211が、ターゲット画像フレームの前景領域内で追跡されるべき歩行者の上半身検出ボックスを取得する仕方を説明する。

【0477】

具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得する。

【0478】

具体的には、この実施形態において示されている上半身検出ボックスは

【0479】

【数109】

[この文献は図面を表示できません]

【0480】

である。

【0481】

【数110】

[この文献は図面を表示できません]

【0482】

は、上半身検出ボックスの左上水平座標であり、

【0483】

【数111】

[この文献は図面を表示できません]

【0484】

は、上半身検出ボックスの左上垂直座標であり、

【0485】

【数112】

[この文献は図面を表示できません]

【0486】

は、上半身検出ボックスの右下水平座標であり、

【0487】

【数113】

[この文献は図面を表示できません]

【0488】

は、上半身検出ボックスの右下垂直座標である。

【0489】

追跡されるべき歩行者を検出するときに、この実施形態において示されている物体抽出モジュール211は、

【0490】

【数114】

[この文献は図面を表示できません]

【0491】

を取得し得る。

【0492】

物体抽出モジュール211によって決定されたターゲット画像フレームが図6に示されている一例が使用される。この実施形態において示されている前述の方法を使用することによって、ターゲット画像フレーム内に出現する追跡されるべき歩行者が検出され、それにより各追跡されるべき歩行者の上半身検出ボックスを取得することができる。

【0493】

図6に示されている検出プロセスにおいて、ターゲット画像フレーム内の歩行者601は、ターゲット画像フレームのエッジ上に出現し、歩行者601の全身が完全には表示されないので、この実施形態において示されている物体抽出モジュール211は、歩行者601の上半身検出ボックスを取得することができない。

【0494】

ターゲット画像フレーム内の歩行者602の全身および歩行者603の全身の両方がターゲット画像フレーム内にはっきりと出現した場合、物体抽出モジュール211は、歩行者602の上半身検出ボックスと、歩行者603の上半身検出ボックスとを取得し得る。

【0495】

ターゲット画像フレーム内の領域604の中の各歩行者がはっきりと表示されない場合、この実施形態において示されている物体抽出モジュール211は、領域604の中の各歩行者の上半身検出ボックスを取得できない。

【0496】

この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレーム内に表示されている追跡されるべき歩行者の上半身検出ボックスしか検出しないことがわかる。

【0497】

具体的には、追跡されるべき歩行者は、ターゲット画像フレーム内に完全に表示されている歩行者である、言い換えると、追跡されるべき歩行者の上半身および下半身の両方がターゲット画像フレーム内に完全に表示される。

【0498】

より具体的には、追加されるべき歩行者は、ターゲット画像フレーム内に表示されるその歩行者の領域が物体抽出モジュール211のプリセット閾値以上である歩行者である、言い換えると、ターゲット画像フレーム内に表示されるその歩行者の領域がプリセット閾値以上である追跡されるべき歩行者である場合、これは追跡されるべき歩行者がターゲット画像フレーム内にはっきりと表示されることを示している。ターゲット画像フレーム内の追跡されるべき歩行者がプリセット閾値未満であるときに、物体抽出モジュール211は、追跡されるべき歩行者を検出することができない。

【0499】

ステップ308:上半身検出ボックスに基づき下半身走査領域を取得する。

【0500】

この実施形態において、物体抽出モジュール211が追跡されるべき歩行者の上半身検出ボックスを取得した後、物体抽出モジュール211は、追跡されるべき歩行者の下半身走査領域を、追跡されるべき歩行者の上半身検出ボックスに基づき取得し得る。

【0501】

追跡されるべき歩行者の下半身走査領域を取得するために、物体抽出モジュール211は、第1のパラメータと、第2のパラメータと、第3のパラメータとを取得する必要がある。

【0502】

第1のパラメータは

【0503】

【数115】

[この文献は図面を表示できません]

【0504】

であり、ここで、Ratio_defaultはプリセットされた比である。

【0505】

任意選択で、この実施形態におけるRatio_defaultは、物体抽出モジュール211によってメモリ媒体130内に事前記憶され、Ratio_defaultは、人体検出ボックス(背景技術の項に示されているような)の縦横比に基づき物体抽出モジュール211によってプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、物体抽出モジュール211は、Ratio_defaultを3/7に設定し、Ratio_defaultをメモリ媒体130に記憶するものとしてよく、それにより、このステップを実行するプロセスにおいて、物体抽出モジュール211は、Ratio_defaultをメモリ媒体130から抽出し、第1のパラメータ

【0506】

【数116】

[この文献は図面を表示できません]

【0507】

を計算することができる。

【0508】

第2のパラメータは

【0509】

【数117】

[この文献は図面を表示できません]

【0510】

であり、第3のパラメータは

【0511】

【数118】

[この文献は図面を表示できません]

【0512】

である。

【0513】

物体抽出モジュール211が第1のパラメータと、第2のパラメータと、第3のパラメータとを取得したときに、物体抽出モジュール211は、下半身走査領域を決定し得る。

【0514】

下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]であり、ここで、L^Sは、下半身走査領域の左上水平座標であり、T^Sは、下半身走査領域の左上垂直座標であり、R^Sは、下半身走査領域の右下水平座標であり、B^Sは、下半身走査領域の右下垂直座標である。

【0515】

具体的には、

【0516】

【数119】

[この文献は図面を表示できません]

【0517】

である。

【0518】

より具体的には、paral1、paral2、およびparal3は、プリセット値である。

【0519】

paral1、paral2、およびparal3の具体的な値は、この実施形態において制限されず、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。

【0520】

imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。

【0521】

ステップ309:追跡されるべき歩行者の下半身検出ボックスは、下半身走査領域内で検出されるかどうかを決定し、追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出された場合にステップ310を実行するか、または追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出されない場合にステップ313を実行する。

【0522】

具体的には、この実施形態において示されている物体抽出モジュール211は、下半身走査領域内で下半身検出を実行して、追跡されるべき歩行者の下半身検出ボックスが検出され得るかどうかを決定する。

【0523】

ステップ310:下半身検出ボックスを取得する。

【0524】

具体的には、下半身検出器は、物体抽出モジュール211上に配設され得る。

【0525】

より具体的には、下半身走査領域内で下半身検出を実行するときに、追跡されるべき歩行者の下半身検出ボックスを取得できるかどうかを決定するために、この実施形態において示されている物体抽出モジュール211の下半身検出器は、下半身検出ボックスが

【0526】

【数120】

[この文献は図面を表示できません]

【0527】

であると決定し、ここで

【0528】

【数121】

[この文献は図面を表示できません]

【0529】

は、下半身検出ボックスの左上水平座標であり、

【0530】

【数122】

[この文献は図面を表示できません]

【0531】

は、下半身検出ボックスの左上垂直座標であり、

【0532】

【数123】

[この文献は図面を表示できません]

【0533】

は、下半身検出ボックスの右下水平座標であり、

【0534】

【数124】

[この文献は図面を表示できません]

【0535】

は、下半身検出ボックスの右下垂直座標である。

【0536】

ステップ311:検出期間全身ボックスを取得する。

【0537】

具体的には、物体抽出モジュール211は、上半身検出ボックスおよび下半身検出ボックスに基づき検出期間全身ボックスを取得する。

【0538】

より具体的には、この実施形態において示されている物体抽出モジュール211は、上半身検出ボックスと下半身検出ボックスとを組み合わせて、検出期間全身ボックスを取得する。

【0539】

検出期間全身ボックスは

【0540】

【数125】

[この文献は図面を表示できません]

【0541】

である。

【0542】

検出期間全身ボックスの左上水平座標は

【0543】

【数126】

[この文献は図面を表示できません]

【0544】

であり、検出期間全身ボックスの左上垂直座標は

【0545】

【数127】

[この文献は図面を表示できません]

【0546】

であり、検出期間全身ボックスの右下水平座標は

【0547】

【数128】

[この文献は図面を表示できません]

【0548】

であり、検出期間全身ボックスの右下垂直座標は

【0549】

【数129】

[この文献は図面を表示できません]

【0550】

である。

【0551】

ステップ312:第1の比と第2の比とを取得する。

【0552】

具体的には、検出期間全身ボックスを取得した後、この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第1の比を決定し得る。

【0553】

第1の比は検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比であり、第1の比は

【0554】

【数130】

[この文献は図面を表示できません]

【0555】

である。

【0556】

この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第2の比を決定する。

【0557】

具体的には、第2の比は、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であり、第2の比は

【0558】

【数131】

[この文献は図面を表示できません]

【0559】

である。

【0560】

ステップ313:第3の比を取得する。

【0561】

この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しない場合、物体抽出モジュール211は第3の比を取得する。第3の比は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比

【0562】

【数132】

[この文献は図面を表示できません]

【0563】

である。

【0564】

ステップ314:検出期間全身ボックスを取得する。

【0565】

この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しないときに、物体抽出モジュール211は検出期間全身ボックス

【0566】

【数133】

[この文献は図面を表示できません]

【0567】

を取得する。

【0568】

検出期間全身ボックスの左上水平座標は

【0569】

【数134】

[この文献は図面を表示できません]

【0570】

であり、検出期間全身ボックスの左上垂直座標は

【0571】

【数135】

[この文献は図面を表示できません]

【0572】

であり、検出期間全身ボックスの右下水平座標は

【0573】

【数136】

[この文献は図面を表示できません]

【0574】

であり、検出期間全身ボックスの右下垂直座標は

【0575】

【数137】

[この文献は図面を表示できません]

【0576】

である。

【0577】

ステップ315:検出期間全身ボックスの第4の比を決定する。

【0578】

この実施形態において示されている物体抽出モジュール211は、第4の比が上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であると決定する。

【0579】

第4の比は

【0580】

【数138】

[この文献は図面を表示できません]

【0581】

である。

【0582】

ステップ312またはステップ315が実行された後、この実施形態において示されているステップ316が引き続き実行される。

【0583】

ステップ316:上半身追跡ボックスを決定する。

【0584】

この実施形態において、物体抽出モジュール211は、検出期間T1内に取得された検出期間全身ボックスを追跡ターゲットとして初期化し、それにより、物体抽出モジュール211は、追跡ターゲットとして働く追跡されるべき歩行者を、追跡期間T2内に追跡することができる。

【0585】

この実施形態において、前述のステップにおいて決定された少なくとも1人の追跡されるべき歩行者があり得ることに留意されたい。複数の追跡されるべき歩行者がいる場合、複数の追跡されるべき歩行者の各々は追跡のために追跡ターゲットとして使用される必要がある。

【0586】

たとえば、前述のステップにおいて決定された追跡されるべき歩行者が歩行者A、歩行者B、歩行者C、および歩行者Dである場合、歩行者Aは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要があり、歩行者Bは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある、言い換えると、追跡されるべきビデオ内の各追跡されるべき歩行者は、追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある。

【0587】

追跡されるべき歩行者を追跡するときに、物体抽出モジュール211は、最初に、上半身検出ボックスを決定する。物体抽出モジュール211は、上半身検出ボックスを中心として使用することによって通常の分割サンプリングを別々に実行する、言い換えると、上半身検出ボックスの周りに複数の粒子を散乱させ、複数の粒子で上半身追跡ボックスを決定する。

【0588】

よりよく理解できるように、次にアプリケーションシナリオを参照しつつ説明を行う。

【0589】

物体抽出モジュール211が追跡されるべきビデオの検出期間T1内にN1フレームの中の上半身検出ボックスを決定する場合、物体抽出モジュール211は、追跡されるべきビデオの追跡期間T2内にN2フレーム内の追跡されるべき歩行者を追跡する。N2フレームは、追跡されるべきビデオの検出期間T2内の任意のフレームである。

【0590】

追跡されるべき歩行者は追跡されるべきビデオ内で動いており、N1フレーム内の追跡されるべき歩行者の配置は、N2フレーム内の追跡されるべき歩行者の配置と異なる。したがって、物体抽出モジュール211が追跡されるべき歩行者を追跡するために、物体抽出モジュール211は、複数の粒子を追跡されるべき歩行者の上半身検出ボックスの周りに散乱させる必要があり、それにより追跡されるべき歩行者を追跡する。

【0591】

具体的には、複数の粒子のうちのいずれか1つの第5の比は上半身検出ボックスの第6の比と同じであり、第5の比は複数の粒子のうちのいずれか1つの幅と高さとの比であり、第6の比は上半身検出ボックスの幅と上半身検出ボックスの高さとの比である。

【0592】

この実施形態において示されている方法を使用することによって、物体抽出モジュール211によって上半身検出ボックスの周りに散乱されている粒子は、幅と高さとが上半身検出ボックスと同じ比を有する矩形ボックスであることがわかる。

【0593】

物体抽出モジュール211は、複数の粒子における上半身追跡ボックスを決定する。

【0594】

具体的には、物体抽出モジュール211は、複数の粒子のうちで上半身検出ボックスに最も類似する粒子が上半身追跡ボックスであると決定する。

【0595】

上半身追跡ボックスは

【0596】

【数139】

[この文献は図面を表示できません]

【0597】

であり、ここで、

【0598】

【数140】

[この文献は図面を表示できません]

【0599】

は、上半身追跡ボックスの左上水平座標であり、

【0600】

【数141】

[この文献は図面を表示できません]

【0601】

は、上半身追跡ボックスの左上垂直座標であり、

【0602】

【数142】

[この文献は図面を表示できません]

【0603】

は、上半身追跡ボックスの右下水平座標であり、

【0604】

【数143】

[この文献は図面を表示できません]

【0605】

は、上半身追跡ボックスの右下垂直座標である。

【0606】

ステップ317:追跡されるべき歩行者の追跡期間全身ボックスを取得する。

【0607】

この実施形態において、物体抽出モジュール211は、検出期間全身ボックスに基づき、上半身追跡ボックスに対応する追跡期間全身ボックスを取得する。

【0608】

追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。

【0609】

次に、物体抽出モジュール211が具体的に追跡期間全身ボックスをどのように取得するかを詳しく説明する。

【0610】

物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、上半身検出ボックス701の左上水平座標

【0611】

【数144】

[この文献は図面を表示できません]

【0612】

が検出期間全身ボックス702の左上水平座標

【0613】

【数145】

[この文献は図面を表示できません]

【0614】

に等しいかどうかを決定する。

【0615】

図7の(a)に示されているように、物体抽出モジュール211が、

【0616】

【数146】

[この文献は図面を表示できません]

【0617】

であると決定した場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は

【0618】

【数147】

[この文献は図面を表示できません]

【0619】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が

【0620】

【数148】

[この文献は図面を表示できません]

【0621】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が

【0622】

【数149】

[この文献は図面を表示できません]

【0623】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が

【0624】

【数150】

[この文献は図面を表示できません]

【0625】

であると決定し、ここで、

【0626】

【数151】

[この文献は図面を表示できません]

【0627】

である。

【0628】

【数152】

[この文献は図面を表示できません]

【0629】

の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。

【0630】

この実施形態において示されている物体抽出モジュール211は、追跡期間全身ボックスが

【0631】

【数153】

[この文献は図面を表示できません]

【0632】

であると決定し得る。

【0633】

物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、検出期間全身ボックス702の左上水平座標

【0634】

【数154】

[この文献は図面を表示できません]

【0635】

が下半身検出ボックス703の左上水平座標

【0636】

【数155】

[この文献は図面を表示できません]

【0637】

に等しいかどうかを決定する。

【0638】

図7の(b)に示されているように、検出期間全身ボックス702の左上水平座標

【0639】

【数156】

[この文献は図面を表示できません]

【0640】

が下半身検出ボックス703の左上水平座標

【0641】

【数157】

[この文献は図面を表示できません]

【0642】

に等しい場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は

【0643】

【数158】

[この文献は図面を表示できません]

【0644】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が

【0645】

【数159】

[この文献は図面を表示できません]

【0646】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が

【0647】

【数160】

[この文献は図面を表示できません]

【0648】

であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が

【0649】

【数161】

[この文献は図面を表示できません]

【0650】

であると決定し、ここで、

【0651】

【数162】

[この文献は図面を表示できません]

【0652】

であり、
物体抽出モジュール211は、追跡期間全身ボックスが

【0653】

【数163】

[この文献は図面を表示できません]

【0654】

であると決定する。

【0655】

【数164】

[この文献は図面を表示できません]

【0656】

の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。

【0657】

この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡期間T2内に追跡されるべきビデオ内で追跡され得る。

【0658】

本発明のこの実施形態において示されている方法をよりよく理解するために、この実施形態において示されている歩行者追跡の方法の有利な効果は図8に示されているアプリケーションシナリオを参照しつつ詳しく以下で説明される。

【0659】

この実施形態において示されている物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の上半身検出ボックス801を、検出期間T1内に取得する。上半身検出ボックス801を取得する具体的なプロセスについては、前述のステップを参照されたい。詳細については、このアプリケーションシナリオでは説明しない。

【0660】

物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の下半身検出ボックス802を、検出期間T1内に取得する。下半身検出ボックス802を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。

【0661】

物体抽出モジュール211は、図8に示されている検出期間全身ボックス803を、検出期間T1内に取得する。検出期間全身ボックス803を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。

【0662】

検出期間全身ボックス803を取得した後に、物体抽出モジュール211は、検出期間全身ボックス803の幅と検出期間全身ボックス803の高さとの比

【0663】

【数165】

[この文献は図面を表示できません]

【0664】

および上半身検出ボックス801の高さと検出期間全身ボックス803の高さとの比

【0665】

【数166】

[この文献は図面を表示できません]

【0666】

を取得し得る。

【0667】

この実施形態において示されている方法を使用することによって、検出期間全身ボックス803を取得するプロセスにおいて、物体抽出モジュール211によって取得された検出期間全身ボックス803は、追跡されるべき歩行者の上半身検出ボックス801と追跡されるべき歩行者の下半身検出ボックス802とを組み合わせることによって取得される。物体抽出モジュール211によって取得された検出期間全身ボックス803の縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間T1内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、物体抽出モジュール211は、追跡されるべき歩行者の正確な検出期間全身ボックス803を、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得し得る。

【0668】

物体抽出モジュール211は、変化し得るこの実施形態における検出期間全身ボックス803の縦横比に基づき追跡されるべき歩行者の姿勢の変化を正確に捕捉することができ、それにより、検出期間全身ボックス803は、追跡されるべき歩行者の姿勢の変化を正確に捕捉することができる。正確な検出期間全身ボックス803は、それでも、追跡されるべき歩行者の姿勢の変化に関係なく取得され得ることがわかる。

【0669】

物体抽出モジュール211は、検出期間T2内に上半身追跡ボックス804と追跡期間全身ボックス805とを取得することができる。具体的な取得プロセスについては、前述のステップを参照されたい。詳細については、この実施形態では説明しない。

【0670】

この実施形態において示されている物体抽出モジュール211は、それでも、追跡期間T2内に

【0671】

【数167】

[この文献は図面を表示できません]

【0672】

を使用して、変化し得る

【0673】

【数168】

[この文献は図面を表示できません]

【0674】

に基づきより正確な追跡期間全身ボックス805を取得することができる。このようにして、追跡されるべき歩行者の姿勢が変化した場合でも、追跡されるべき歩行者は、追跡期間T2内でなお正確に追跡され得る。

【0675】

歩行者を追跡する具体的なプロセスにおいて、この実施形態において示されているステップ304からこの実施形態において示されているステップ317は、複数回にわたって実行され、それにより、追跡されるべき歩行者をより正確に追跡することができる。たとえば、物体抽出モジュール211が追跡期間T2を1回実行した後、物体抽出モジュール211は、その後の時間内に複数回にわたって追跡期間T2を繰り返し実行し得る。追跡期間T2を実行する回数は、この実施形態では制限されない。

【0676】

この実施形態において示されている物体抽出モジュール211は、複数回にわたって追跡期間T2を実行し得るので、物体抽出モジュール211は、検出結果に基づき複数回にわたって

【0677】

【数169】

[この文献は図面を表示できません]

【0678】

の特定の値を更新し、それにより、追跡期間T2内により正確な追跡期間全身ボックスを取得し、それによって歩行者を正確に追跡し得る。

【0679】

この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行される。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、電子デバイスによる追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、電子デバイスによる追跡されるべき歩行者を追跡する効率を改善する。

【0680】

図1および図2に示されている電子デバイスに基づき、図9Aおよび図9Bおよび図10を参照しつつ一実施形態による歩行者問い合わせの方法について次に詳しく説明する。

【0681】

図9Aおよび図9Bは、本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。図10は、本発明による歩行者追跡の方法の一実施形態の実行ステップの概略図である。

【0682】

この実施形態において示されている歩行者問い合わせの方法の各実行本体部の記述は、任意選択の一例であり、制限とならない、言い換えると、この実施形態において示されている各ステップの実行本体部は、図2に示されているプロセッサ122の任意のモジュールであり得るか、またはこの実施形態において示されている各ステップの実行本体部は、図2に示されていないモジュールであり得ることにまず留意されたい。これは、電子デバイスがこの実施形態において示されている歩行者問い合わせの方法を実行できる限り、この実施形態において特に制限されることはない。

【0683】

ステップ901:追跡されるべきビデオを取得する。

【0684】

この実施形態において示されているステップ901の具体的な実行プロセスについては、図3Aおよび図3Bに示されているステップ301を参照されたい。具体的な実行プロセスは、この実施形態において説明されない。

【0685】

ステップ902:追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡し、歩行者シーケンスを取得する。

【0686】

この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡するように構成される。具体的な実行プロセスについては、前述の実施形態に示されているステップ302からステップ317を参照されたい。詳細については、この実施形態では説明しない。

【0687】

具体的には、この実施形態において示されている物体抽出モジュール211が前述のステップにおいて複数の追跡されるべき歩行者を取得した場合、物体抽出モジュール211は、前述のステップにおける要約を通じて歩行者シーケンスを取得する。

【0688】

物体抽出モジュール211によって取得された歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つはターゲットサブシーケンスであり、ターゲットサブシーケンスはターゲットである追跡されるべき歩行者に対応しており、ターゲットである追跡されるべき歩行者は前述のステップにおいて決定された複数の追跡されるべき歩行者のうちの1人に対応している。

【0689】

この実施形態において示されているターゲットサブシーケンスは複数の画像フレームを含み、複数の画像フレームのうちのいずれか1つはターゲットである追跡されるべき歩行者を含む。

【0690】

ターゲットサブシーケンス内に含まれる任意の画像フレームは、ターゲットである追跡されるべき歩行者に対応している、前述のステップにおいて示されている追跡期間全身ボックスを有する。

【0691】

この実施形態において示されている歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つは複数の画像フレームを含み、サブシーケンス内に含まれる画像フレームは、追跡されるべき歩行者の、サブシーケンスに対応している、追跡期間全身ボックスを表示することがわかる。

【0692】

図10に示されているように、電子デバイスがカメラを含まない一例が、この実施形態における説明に使用されている。この実施形態において示されている電子デバイスは、カメラクラスタ105と通信することができる。カメラクラスタ105は複数のカメラを含み、各カメラは追跡されるべき歩行者を撮影して追跡されるべきビデオを生成することができ、それにより、電子デバイスはカメラによって送信された追跡されるべきビデオを受信することができる。

【0693】

物体抽出モジュール211は、異なるターゲットである追跡されるべき歩行者に対して異なるサブシーケンス1001を生成することができ、サブシーケンス1001は、ターゲットである追跡されるべき歩行者に対応している、ターゲットである追跡されるべき歩行者が出現する、複数の画像フレームを含む。

【0694】

ステップ903:歩行者シーケンスを特徴抽出モジュール212に送信する。

【0695】

この実施形態において、物体抽出モジュール211は、歩行者シーケンスを特徴抽出モジュール212に送信する。

【0696】

ステップ904:歩行者シーケンスの特徴を取得する。

【0697】

この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスを入力として使用して歩行者シーケンスの特徴を抽出する。

【0698】

具体的には、特徴抽出モジュール212は、歩行者シーケンスを分析して、歩行者シーケンスに含まれる任意の画像フレーム内の各ピクセルが特徴を表すかどうかをチェックし、それにより歩行者シーケンスの特徴を抽出するものとしてよい。

【0699】

具体的には、歩行者シーケンスの特徴は、歩行者シーケンスに含まれるすべてのターゲットである追跡されるべき歩行者の特徴のセットである。

【0700】

たとえば、歩行者シーケンスが5人の追跡されるべき歩行者、A、B、C、D、およびEを含む場合、特徴抽出モジュール212は、歩行者Aの画像フレーム上で特徴抽出を実行して歩行者Aに対応するターゲットである追跡されるべき歩行者の特徴セットを取得し、歩行者Bの画像フレーム上で特徴抽出を実行して歩行者Bに対応するターゲットである追跡されるべき歩行者の特徴セットを取得することを、歩行者シーケンス内のすべての歩行者の特徴抽出が完了するまで行い得る。

【0701】

図10に示されているように、特徴抽出モジュール212によって生成される特徴セット1002は、ターゲットである追跡されるべき歩行者に対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者に対応する複数の画像特徴とを含む。

【0702】

ターゲットである追跡されるべき歩行者が歩行者Aである一例が使用され、ターゲットである追跡されるべき歩行者Aに対応する特徴セット1002は、ターゲットである追跡されるべき歩行者Aに対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者Aに対応する複数の画像特徴とを含む。

【0703】

この実施形態において示されている特徴抽出モジュール212は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係を生成できることがわかる。

【0704】

ステップ905:歩行者シーケンスの特徴をインデックス構築モジュール213に送信する。

【0705】

この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスの取得された特徴をインデックス構築モジュール213に送信することができる。

【0706】

ステップ906:インデックスリストを確定する。

【0707】

歩行者シーケンスの特徴を受信した後、この実施形態において示されているインデックス構築モジュール213はインデックスリストを確定する。インデックスリストに含まれる対応関係は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係である。それに加えて、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを使用することによって、異なるターゲット識別子IDと、対応するターゲットである追跡されるべき歩行者が追跡されるべきビデオ内に出現する時刻と場所などの任意の情報をさらに生成することができる。

【0708】

ステップ907:インデックスリストを記憶媒体130に記憶する。

【0709】

インデックスリストを生成した後、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを記憶媒体130に記憶する。

【0710】

この実施形態において示されているステップ901からステップ907において、異なる歩行者は大量の追跡されるべきビデオ内で分類され、それによりその後の追跡ターゲット問い合わせを円滑にすることができる。

【0711】

追跡ターゲットを問い合わせる必要があるときに、次のステップが実行され得る。

【0712】

ステップ908:追跡ターゲットを受信する。

【0713】

この実施形態において示されているように、画像ベースの画像検索が実装され得る、言い換えると、問い合わせ時に追跡ターゲットが出現する画像が特徴抽出モジュール221内に入力され得る。

【0714】

図10が、一例として使用されている。追跡ターゲットを問い合わせるために、追跡ターゲットが出現する画像1003が特徴抽出モジュール221に入力され得る。

【0715】

ステップ909:追跡ターゲット上で特徴抽出を実行する。

【0716】

具体的には、この実施形態において示されている特徴抽出モジュール221は追跡ターゲットが出現する画像を分析して、追跡ターゲットの特徴を取得することができる。この実施形態において示されている方法を使用することによって、追跡ターゲットに対応する複数の特徴が取得され得る。

【0717】

ステップ910:追跡ターゲットの異なる特徴を融合する。

【0718】

この実施形態において、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合することができる。

【0719】

図10に示されているように、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合して融合済み特徴を取得することができる。この実施形態において示されている融合済み特徴は追跡ターゲットに対応していることがわかる。

【0720】

ステップ911:融合済み特徴をインデックス作成および問い合わせモジュールに送信する。

【0721】

ステップ912:追跡ターゲットを問い合わせる。

【0722】

この実施形態において示されているインデックス作成および問い合わせモジュール223は、追跡ターゲットに対応する融合済み特徴に基づき追跡ターゲットを問い合わせる。

【0723】

具体的には、インデックス作成および問い合わせモジュール223は、融合済み特徴と記憶媒体130に記憶されているインデックスリストとを照合し、融合済み特徴に対応するターゲット識別子IDを見つけ出し、それにより、インデックス作成および問い合わせモジュール223は、インデックスリストに基づき、ターゲット識別子IDに対応する歩行者が追跡されるべきビデオ内に出現する時刻および場所などの任意の情報を取得することができる。この実施形態において、ターゲット識別子IDに対応する歩行者は追跡ターゲットである。

【0724】

この実施形態において示されている方法を使用することによって、追跡ターゲットが大量のビデオ内に出現する時刻および場所などの情報を取得するために追跡ターゲットが出現する画像のみが受信される必要があることがわかる。

【0725】

この実施形態において示されている方法で追跡されるべき歩行者を検出し、追跡することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。

【0726】

この実施形態において示されている方法を使用することによって、追跡ターゲットを探索するプロセスにおいて、追跡ターゲットは、大量の追跡されるべきビデオ内で素早く正確に配置を特定され、それにより、追跡ターゲットが大量の追跡されるべきビデオ内に出現する時刻および場所などの情報を素早く取得することができる。

【0727】

この実施形態において示されている方法のアプリケーションシナリオは制限されない。たとえば、この方法は、安全な都市において画像ベースの画像検索を実行し、追跡ターゲットに関係する情報を素早く取得することに適用され得る。この方法は、移動軌跡生成および分析、人口統計収集、運転支援システムにおける歩行者警告、ならびに同様のものにさらに適用され得る。具体的には、歩行者を含むビデオがインテリジェントな仕方で分析される必要がある限り、歩行者検出および追跡は、本発明のこの実施形態を使用することによって実行され、それにより、歩行者の配置および軌跡などの情報を抽出し得る。

【0728】

図1は、物理的ハードウェアの観点から電子デバイスの具体的構造を説明している。次に、前述の実施形態において示されている歩行者追跡の方法の手順を実行する観点から図11を参照しつつ電子デバイスの構造を説明しており、この実施形態において示されている電子デバイスは前述の実施形態において示されている歩行者追跡の方法を実行することができる。

【0729】

電子デバイスは、第1の決定ユニット1101と、第5の取得ユニット1102と、第6の取得ユニット1103と、第7の取得ユニット1104と、第8の取得ユニット1105と、第1の取得ユニット1106と、第2の取得ユニット1107と、第3の取得ユニット1108と、第4の取得ユニット1109とを備える。

【0730】

第1の決定ユニット1101は、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。

【0731】

第5の取得ユニット1102は、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。

【0732】

第6の取得ユニット1103は、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。

【0733】

第7の取得ユニット1104は、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。

【0734】

第8の取得ユニット1105は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。

【0735】

任意選択で、この実施形態に示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までは任意選択のユニットである。具体的な応用例では、電子デバイスは、この実施形態において示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までを含まなくてよい。

【0736】

第1の取得ユニット1106は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成され、ここで、上半身検出ボックスは

【0737】

【数170】

[この文献は図面を表示できません]

【0738】

であり、ここで、

【0739】

【数171】

[この文献は図面を表示できません]

【0740】

は、上半身検出ボックスの左上水平座標であり、

【0741】

【数172】

[この文献は図面を表示できません]

【0742】

は、上半身検出ボックスの左上垂直座標であり、

【0743】

【数173】

[この文献は図面を表示できません]

【0744】

は、上半身検出ボックスの右下水平座標であり、

【0745】

【数174】

[この文献は図面を表示できません]

【0746】

は、上半身検出ボックスの右下垂直座標である。

【0747】

任意選択で、第1の取得ユニット1106は、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。

【0748】

第1の取得ユニット1107は、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。

【0749】

任意選択で、第2の取得ユニット1107は、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように、特に構成される。

【0750】

上半身検出ボックスは

【0751】

【数175】

[この文献は図面を表示できません]

【0752】

であり、ここで、

【0753】

【数176】

[この文献は図面を表示できません]

【0754】

は、上半身検出ボックスの左上水平座標であり、

【0755】

【数177】

[この文献は図面を表示できません]

【0756】

は、上半身検出ボックスの左上垂直座標であり、

【0757】

【数178】

[この文献は図面を表示できません]

【0758】

は、上半身検出ボックスの右下水平座標であり、

【0759】

【数179】

[この文献は図面を表示できません]

【0760】

は、上半身検出ボックスの右下垂直座標である。

【0761】

任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、第1のパラメータを決定し、ここで第1のパラメータは

【0762】

【数180】

[この文献は図面を表示できません]

【0763】

であり、ここでRatio_defaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは

【0764】

【数181】

[この文献は図面を表示できません]

【0765】

であり、第3のパラメータを決定し、ここで第3のパラメータは

【0766】

【数182】

[この文献は図面を表示できません]

【0767】

であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。

【0768】

任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定し、ここで、下半身走査領域は、ScanArea=[L^S,T^S,R^S,B^S]であり、L^Sは、下半身走査領域の左上水平座標であり、T^Sは、下半身走査領域の左上垂直座標であり、R^Sは、下半身走査領域の右下水平座標であり、B^Sは、下半身走査領域の右下垂直座標であり、ここで

【0769】

【数183】

[この文献は図面を表示できません]

【0770】

である、ように特に構成される。

【0771】

paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。

【0772】

下半身検出ボックスは

【0773】

【数184】

[この文献は図面を表示できません]

【0774】

であり、ここで

【0775】

【数185】

[この文献は図面を表示できません]

【0776】

は、下半身検出ボックスの左上水平座標であり、

【0777】

【数186】

[この文献は図面を表示できません]

【0778】

は、下半身検出ボックスの左上垂直座標であり、

【0779】

【数187】

[この文献は図面を表示できません]

【0780】

は、下半身検出ボックスの右下水平座標であり、

【0781】

【数188】

[この文献は図面を表示できません]

【0782】

は、下半身検出ボックスの右下垂直座標である。

【0783】

任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は

【0784】

【数189】

[この文献は図面を表示できません]

【0785】

であり、検出期間全身ボックスの左上垂直座標が

【0786】

【数190】

[この文献は図面を表示できません]

【0787】

であると決定し、検出期間全身ボックスの右下水平座標が

【0788】

【数191】

[この文献は図面を表示できません]

【0789】

であると決定し、検出期間全身ボックスの右下垂直座標が

【0790】

【数192】

[この文献は図面を表示できません]

【0791】

であると決定し、検出期間全身ボックスが

【0792】

【数193】

[この文献は図面を表示できません]

【0793】

であると決定する、ように特に構成される。

【0794】

任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は

【0795】

【数194】

[この文献は図面を表示できません]

【0796】

であり、検出期間全身ボックスの左上垂直座標が

【0797】

【数195】

[この文献は図面を表示できません]

【0798】

であると決定し、検出期間全身ボックスの右下水平座標が

【0799】

【数196】

[この文献は図面を表示できません]

【0800】

であると決定し、検出期間全身ボックスの右下垂直座標が

【0801】

【数197】

[この文献は図面を表示できません]

【0802】

であると決定し、検出期間全身ボックスが

【0803】

【数198】

[この文献は図面を表示できません]

【0804】

であると決定する、ように特に構成される。

【0805】

第3の取得ユニット1108は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。

【0806】

任意選択で、第3の取得ユニット1108は、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。

【0807】

第4の取得ユニット1109は、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、ここで、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。

【0808】

任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比

【0809】

【数199】

[この文献は図面を表示できません]

【0810】

を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が

【0811】

【数200】

[この文献は図面を表示できません]

【0812】

であると決定し、追跡期間全身ボックスを、

【0813】

【数201】

[この文献は図面を表示できません]

【0814】

に基づき、決定する、ように特に構成される。

【0815】

任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が

【0816】

【数202】

[この文献は図面を表示できません]

【0817】

であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が

【0818】

【数203】

[この文献は図面を表示できません]

【0819】

であると決定し、追跡期間全身ボックスを、

【0820】

【数204】

[この文献は図面を表示できません]

【0821】

に基づき、決定する、ように特に構成される。

【0822】

上半身追跡ボックスは

【0823】

【数205】

[この文献は図面を表示できません]

【0824】

であり、ここで、

【0825】

【数206】

[この文献は図面を表示できません]

【0826】

は、上半身追跡ボックスの左上水平座標であり、

【0827】

【数207】

[この文献は図面を表示できません]

【0828】

は、上半身追跡ボックスの左上垂直座標であり、

【0829】

【数208】

[この文献は図面を表示できません]

【0830】

は、上半身追跡ボックスの右下水平座標であり、

【0831】

【数209】

[この文献は図面を表示できません]

【0832】

は、上半身追跡ボックスの右下垂直座標である。

【0833】

任意選択で、追跡期間全身ボックスを

【0834】

【数210】

[この文献は図面を表示できません]

【0835】

に基づき決定するときに、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、

【0836】

【数211】

[この文献は図面を表示できません]

【0837】

である場合、追跡期間全身ボックスの左上水平座標は

【0838】

【数212】

[この文献は図面を表示できません]

【0839】

であり、追跡期間全身ボックスの左上垂直座標が

【0840】

【数213】

[この文献は図面を表示できません]

【0841】

であると決定し、追跡期間全身ボックスの右下水平座標が

【0842】

【数214】

[この文献は図面を表示できません]

【0843】

であると決定し、追跡期間全身ボックスの右下垂直座標が

【0844】

【数215】

[この文献は図面を表示できません]

【0845】

であると決定し、ここで、

【0846】

【数216】

[この文献は図面を表示できません]

【0847】

であり、追跡期間全身ボックスが

【0848】

【数217】

[この文献は図面を表示できません]

【0849】

であると決定する、ように特に構成される。

【0850】

任意選択で、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、

【0851】

【数218】

[この文献は図面を表示できません]

【0852】

である場合、追跡期間全身ボックスの左上水平座標は

【0853】

【数219】

[この文献は図面を表示できません]

【0854】

であり、追跡期間全身ボックスの左上垂直座標が

【0855】

【数220】

[この文献は図面を表示できません]

【0856】

であると決定し、追跡期間全身ボックスの右下水平座標が

【0857】

【数221】

[この文献は図面を表示できません]

【0858】

であると決定し、追跡期間全身ボックスの右下垂直座標が

【0859】

【数222】

[この文献は図面を表示できません]

【0860】

であると決定し、ここで、

【0861】

【数223】

[この文献は図面を表示できません]

【0862】

であり、追跡期間全身ボックスが

【0863】

【数224】

[この文献は図面を表示できません]

【0864】

であると決定する、ように特に構成される。

【0865】

この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。

【0866】

この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。

【0867】

説明をわかりやすく、簡潔にするために、前述のシステム、装置、およびユニットの詳細な作動プロセスについて、前述の方法実施形態における対応するプロセスを参照することは当業者によって明確に理解されるものとしてよく、詳細について本明細書で再び説明することはしない。

【0868】

本出願において提供されるいくつかの実施形態において、開示されているシステム、装置、および方法が、他の方式で実装され得ることが理解されるであろう。たとえば、説明されている装置の実施形態は、単なる例にすぎない。たとえば、ユニットを分けることは、単に論理機能を分けることであり、実際の実装では他の分け方であってもよい。たとえば、複数のユニットまたは構成要素が、別のシステム内に組み合わされ得るか、もしくは一体化され得るか、またはいくつかの特徴が無視され得るか、もしくは実施されなくてよい。それに加えて、表示されている、または説明されている相互結合または直接的結合または通信接続は、いくつかのインターフェースを使用することによって実装され得る。装置またはユニットの間の間接的結合または通信接続は、電子的な、機械的な、または他の形態で実装され得る。

【0869】

分離している部分として説明されるユニットは、物理的に分離されてもされなくてもよく、およびユニットとして表示される部分は、物理的ユニットであってもなくてもよく、1つの位置に配置され得るか、または複数のネットワークユニット上に分散され得る。ユニットの一部または全部は、実施形態の解決方法の目的を達成するために実際に必要になるものに基づき選択され得る。

【0870】

それに加えて、本発明の実施形態における機能ユニットは、1つのプロセッサ内に一体化され得るか、またはユニットの各々が、物理的に単独で存在し得るか、または2つ以上のユニットが、1つのユニット内に一体化される。一体化されたユニットは、ハードウェアの形態で実装され得るか、またはソフトウェア機能ユニットの形態で実装され得る。

【0871】

一体化されたモジュールがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、一体化されたユニットは、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づき、本発明の技術的解決方法は本質的に、または従来技術に寄与する部分は、または技術的解決方法の全部もしくは一部は、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明されている方法のステップのうちのすべてまたはいくつかを実行することをコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイス、または同様のものであってよい)に命令するための複数の命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能なハードディスク、リードオンリーメモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる媒体を含む。

【0872】

前述の実施形態は、本発明を制限するのではなく、本発明の技術的解決方法を説明することのみを意図している。本発明は、前述の実施形態を参照しつつ詳しく説明されているけれども、当業者であれば、本発明の実施形態の技術的解決方法の範囲から逸脱することなく、前述の実施形態において説明されている技術的解決方法に修正を加えるか、またはその一部の技術的特徴に対する同等の置き換えを行うことがなお可能であることを理解するであろう。

【符号の説明】

【0873】

21 メタデータ抽出ユニット
22 問い合わせユニット
100 電子デバイス
105 カメラクラスタ
122 プロセッサ
126 電源
130 記憶媒体
141 オペレーティングシステム
142 アプリケーションプログラム
144 データ
158 入力/出力インターフェース
211 物体抽出モジュール
212 特徴抽出モジュール
213 インデックス構築モジュール
221 特徴抽出モジュール
222 特徴融合モジュール
223 インデックス作成および問い合わせモジュール
601 歩行者
602 歩行者
603 歩行者
701 上半身検出ボックス
702 検出期間全身ボックス
801 上半身検出ボックス
802 下半身検出ボックス
803 検出期間全身ボックス
1001 サブシーケンス
1002 特徴セット
1003 画像
1101 第1の決定ユニット
1102 第5の取得ユニット
1103 第6の取得ユニット
1104 第7の取得ユニット
1105 第8の取得ユニット
1106 第1の取得ユニット
1107 第2の取得ユニット
1108 第3の取得ユニット
1109 第4の取得ユニット

【図1】

[この文献は図面を表示できません]

【図2】

[この文献は図面を表示できません]

【図3A】

[この文献は図面を表示できません]

【図3B】

[この文献は図面を表示できません]

【図4】

[この文献は図面を表示できません]

【図5】

[この文献は図面を表示できません]

【図6】

[この文献は図面を表示できません]

【図7(a)】

[この文献は図面を表示できません]

【図7(b)】

[この文献は図面を表示できません]

【図8】

[この文献は図面を表示できません]

【図9A】

[この文献は図面を表示できません]

【図9B】

[この文献は図面を表示できません]

【図10A】

[この文献は図面を表示できません]

【図10B】

[この文献は図面を表示できません]

【図11】

[この文献は図面を表示できません]