知財求人 - 知財ポータルサイト「IP Force」
特表2024-542639歩行者マッチング方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】歩行者マッチング方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20241108BHJP
G06V 10/77 20220101ALI20241108BHJP
G06T 7/60 20170101ALI20241108BHJP
G06F 18/2115 20230101ALI20241108BHJP
G06N 3/08 20230101ALI20241108BHJP
【ＦＩ】
G06T7/00 300F
G06V10/77
G06T7/60 150D
G06T7/60 180A
G06T7/00 350B
G06F18/2115
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024532210
(86)(22)【出願日】2021-12-31
(85)【翻訳文提出日】2024-05-29
(86)【国際出願番号】 CN2021143571
(87)【国際公開番号】W WO2023097858
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】202111453596.7
(32)【優先日】2021-12-01
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】524179651
【氏名又は名称】深▲セン▼須弥雲図空間科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＸＵＭＩ ＹＵＮＴＵ ＳＰＡＣＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】２５Ｆ２５０４， Ｗｉｒｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｎｏ． ３３６９， Ｂｉｎｈａｉ Ａｖｅｎｕｅ， Ｈａｉｚｈｕ Ｃｏｍｍｕｎｉｔｙ， Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ． Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０５４ （ＣＮ）
(74)【代理人】
【識別番号】100146374
【弁理士】
【氏名又は名称】有馬 百子
(72)【発明者】
【氏名】祁 暁▲亭▼
(72)【発明者】
【氏名】蒋 召
(72)【発明者】
【氏名】楊 戦波
(72)【発明者】
【氏名】黄 澤元
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096EA23
5L096FA09
5L096FA72
5L096JA11
5L096KA04
(57)【要約】
歩行者マッチング方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体であって、該方法は、第１画像、第２画像を取得するステップと、第１画像、第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップであって、第１局所特徴及び第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれるステップと、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップと、第１高次特徴及び第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップと、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、第１画像と第２画像に同一の歩行者が含まれるか否かを特定するステップと、を含む。本方法は、画像における異常点の歩行者マッチングに対する影響を低減させることができ、マッチング結果がより正確である。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
歩行者マッチング方法であって、第１画像、第２画像を取得するステップと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれるステップと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するステップと、を含む
ことを特徴とする歩行者マッチング方法。
【請求項2】
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップは、前記第１画像及び前記第２画像に対してそれぞれ人体局所特徴抽出を行い、前記第１局所特徴、前記第２局所特徴を取得するステップと、
前記第１局所特徴に対して特徴集約を行い第１高次特徴を取得し、前記第２局所特徴に対して特徴集約を行い前記第２高次特徴を取得するステップと、を含む
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記人体の重要なポイントは２つ以上含まれ、局所特徴に対して特徴集約を行い高次特徴を取得するステップは、
各前記人体の重要なポイントが対応する局所特徴ベクトルに基づいて前記局所特徴が対応する第１パラメータ、第２パラメータ及び第３パラメータを学習し特定するステップと、
前記第１パラメータ、第２パラメータ及び第３パラメータに基づき、各前記局所特徴ベクトルが対応するクエリ、キー及び値を生成するステップと、
前記クエリ及び前記キーに基づいて、２つずつの前記局所特徴ベクトル間の重み係数を特定するステップと、
任一の前記局所特徴ベクトルに対して、前記局所特徴ベクトルと他の各前記局所特徴ベクトルとの間の関係に基づいて、調節係数を特定するステップと、
前記重み係数、調節係数及び前記値に基づいて、前記局所特徴が対応する集約特徴を取得するステップと、
各前記局所特徴が対応する集約特徴によって、前記高次特徴をが特定されるステップと、を含み、
前記局所特徴が前記第１局所特徴及び前記第２局所特徴を含み、前記高次特徴が前記第１高次特徴及び前記第２高次特徴を含む
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップは、前記第１局所特徴と前記第２局所特徴との局所特徴類似性を算出するステップと、
前記第２局所特徴、前記局所特徴類似性に基づいて前記第２局所特徴の前記第１局所特徴における第１マッチング特徴を特定するステップと、
前記第１局所特徴、前記局所特徴類似性に基づいて前記第１局所特徴の前記第２局所特徴における第２マッチング特徴を特定するステップと、
前記第１マッチング特徴に対して特徴抽出を行い、前記第１融合特徴を取得し、前記第２マッチング特徴に対して特徴抽出を行い、前記第２融合特徴を取得するステップと、を含む
ことを特徴とする請求項１に記載の方法。
【請求項5】
前記第２局所特徴、前記局所特徴類似性に基づいて前記第２局所特徴の前記第１局所特徴における第１マッチング特徴を特定するステップは、前記局所特徴類似性と前記第２局所特徴との第１積を算出するステップと、前記第１積と前記第１局所特徴との和値を前記第１マッチング特徴として特定するステップを、含み、
前記第１局所特徴、前記局所特徴類似性に基づいて前記第１局所特徴の前記第２局所特徴における第２マッチング特徴を特定するステップは、
前記局所特徴類似性を転置して、転置後局所特徴類似性を取得ステップと、
前記転置後局所特徴類似性と前記第１局所特徴との第２積を算出するステップと、
前記第２積と前記第２局所特徴との和値を前記第２マッチング特徴として特定するステップと、を含む
ことを特徴とする請求項４に記載の方法。
【請求項6】
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップは、前記第１高次特徴と前記第２高次特徴との高次特徴類似性を算出するステップと、
前記第２高次特徴、前記高次特徴類似性に基づいて、前記第２高次特徴の前記第１高次特徴における第１高次マッチング特徴を特定するステップと、
前記第１高次特徴、前記高次特徴類似性に基づいて、前記第１高次特徴の前記第２高次特徴における第２高次マッチング特徴を特定するステップと、
前記第１高次マッチング特徴に対して特徴抽出を行い、前記第１高次融合特徴を取得し、前記第２高次マッチング特徴に対して特徴抽出を行い、前記第２高次融合特徴を取得するステップと、を含む
ことを特徴とする請求項１に記載の方法。
【請求項7】
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するステップは、前記第１融合特徴、前記第１高次融合特徴に対してスプライスを行い、第１スプライス特徴を取得するステップと、
前記第２融合特徴、前記第２高次融合特徴に対してスプライスを行い、第２スプライス特徴を取得するステップと、
前記第１スプライス特徴と前記第２スプライス特徴との比較損失値を算出し、前記比較損失値に基づいて前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するステップと、を含む
ことを特徴とする請求項１に記載の方法。
【請求項8】
歩行者マッチング装置であって、第１画像、第２画像を取得するための取得モジュールと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するための特徴抽出モジュールであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれる特徴抽出モジュールと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するための第１特徴整列モジュールと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するための第２特徴整列モジュールと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するためのマッチングモジュールと、を備える
ことを特徴とする歩行者マッチング装置。
【請求項9】
メモリ、プロセッサ、前記メモリ内に記憶され前記プロセッサで実行可能なコンピュータプログラムを備える電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項１に記載の方法のステップを実現する
ことを特徴とする電子機器。
【請求項10】
コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時に、請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本公開は画像処理技術分野に関し、特に歩行者マッチング方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
画像マッチングとは、画像内容、特徴、構造、関係、テクスチャ及びグレースケール等の対応関係により、類似性と一貫性の分析を行い、類似の画像ターゲットを求める方法を意味する。画像マッチング方法は、歩行者マッチングに用いられてもよく、歩行者マッチングは、異なる画像間に出る歩行者が同一歩行者であるか否かを比較することができる。
【0003】
従来の歩行者マッチングの方式は、多く人体の全局特徴マッチングをそのまま利用し、或いは人体の局所特徴マッチングに基づくが、実際な状況で、ほとんどの画像は通常に品質がさまざまで、例えば画像において人体が遮られ、人体の姿勢が異なり、画像の明るさが異なり、即ちいくつかの異常点又は外れ点があり、歩行者マッチングを行う時に特徴整列がマッチングしない状況が容易に現れるので、歩行者マッチングの結果が十分に正確ではない問題になる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これに鑑みて、本公開の実施例は、従来技術において画像にいくつかの異常点や外れ点があることによって歩行者マッチング結果が正確ではないという問題を解決するように、歩行者マッチング方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体が提供される。
【課題を解決するための手段】
【0005】
本公開の実施例の第１態様は、
第１画像、第２画像を取得するステップと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれるステップと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するステップと、を含む歩行者マッチング方法が提供される。
第１画像、第２画像を取得するステップと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれるステップと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するステップと、を含む歩行者マッチング方法が提供される。
【0006】
本公開の実施例の第２態様は、
第１画像、第２画像を取得するための取得モジュールと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するためのものであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれる特徴抽出モジュールと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するための第１特徴整列モジュールと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するための第２特徴整列モジュールと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するためのマッチングモジュールと、を備える歩行者マッチング装置が提供される。
第１画像、第２画像を取得するための取得モジュールと、
前記第１画像、前記第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するためのものであって、前記第１局所特徴及び前記第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれる特徴抽出モジュールと、
前記第１局所特徴、前記第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するための第１特徴整列モジュールと、
前記第１高次特徴及び前記第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するための第２特徴整列モジュールと、
前記第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、前記第１画像と前記第２画像に同一の歩行者が含まれるか否かを特定するためのマッチングモジュールと、を備える歩行者マッチング装置が提供される。
【0007】
本公開の実施例の第３態様は、メモリ、プロセッサ、メモリ内に記憶されプロセッサで実行可能なコンピュータプログラムを備える電子機器であって、該プロセッサがコンピュータプログラムを実行する時に上記方法のステップを実現する電子機器が提供される。
【0008】
本公開の実施例の第４態様は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、該コンピュータプログラムがプロセッサによって実行される時に、上記方法のステップを実現するコンピュータ読み取り可能な記憶媒体が提供される。
【発明の効果】
【0009】
本公開の実施例が従来技術に比べて存在する有益効果：取得した第１画像及び第２画像に対して特徴抽出をそれぞれ行うことにより、２枚の画像において人体の重要なポイントが対応する局所特徴及び高次特徴を取得し、それぞれ第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴と記し、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴及び第２融合特徴を取得し、第１高次特徴、第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得し、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて２枚の画像に同一の歩行者が含まれるか否かを特定する。画像における人体局所特徴及び高次特徴を抽出し、異なる特徴整列策略を用いて局所特徴及び高次特徴に対してそれぞれ特徴整列を行い、特徴相互間の関係を組み込み、特徴相互間の情報を統合的に利用し、より効果的な特徴を取得し、画像における異常点又は外れ点の歩行者マッチングに対する影響を低減させ、より正確的なマッチング結果を取得する。
【図面の簡単な説明】
【0010】
本公開の実施例における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に紹介し、明らかに、以下に説明する図面は本公開のいくつかの実施例に過ぎず、当業者にとって、創造的作業の必要がない前提で、これらの図面に基づいて他の図面を取得することができる。
【0011】
【図1】本公開の実施例で提供される歩行者マッチング方法のフローチャットである。
【図2】本公開の実施例で提供される、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて第１画像と第２画像に同一の歩行者が含まれるか否かを特定するフローチャットである。
【図3】本公開の実施例で提供される、局所特徴に対して特徴集約を行い高次特徴を取得するフローチャットである。
【図4】本公開の実施例で提供される人体の重要なポイント番号の概略図である。
【図5】本公開の実施例で提供される、第１局所特徴、第２局所特徴に対して特徴整列を行い第１融合特徴、第２融合特徴を取得するフローチャットである。
【図6】本公開の実施例で提供される、第１局所特徴、第２局所特徴に対してそれぞれ特徴整列を行うフローチャットである。
【図7】本公開の実施例で提供される、第１高次特徴及び第２高次特徴に対して特徴整列を行い第１高次融合特徴及び第２高次融合特徴を取得するフローチャットである。
【図8】本公開の実施例で提供される、第１高次特徴、第２高次特徴に対してそれぞれ特徴整列を行うフローチャットである。
【図9】本公開の実施例で提供される別の歩行者マッチング方法のフローチャットである。
【図10】本公開の実施例で提供される歩行者マッチング装置の構造概略図である。
【図11】本公開の実施例で提供される別の歩行者マッチング装置の構造概略図である。
【図12】本公開の実施例で提供される電子機器の構造概略図である。
【発明を実施するための形態】
【0012】
下記の説明において、限定ではなく、説明するために、例えば特定のシステム構造、技術のような具体的詳細を提供することにより、本公開の実施例を徹底的に理解する。しかしながら、当業者は、これらの具体的詳細がない他の実施例においても本公開を実現できることを分かるすべきである。他の場合には、周知のシステム、装置、回路及び方法についての詳細な説明を省略し、不要な詳細が本公開の説明を妨げることを回避する。
【0013】
以下、図面を参照しながら、本公開の実施例による歩行者マッチング方法及び装置を詳細に説明する。
【0014】
【0015】
Ｓ１０１であって、第１画像、第２画像を取得する。
【0016】
第１画像及び第２画像は、歩行者をマッチングするための画像であり、本実施例において、第１画像と第２画像を比較することによって、そのうちに同一の歩行者が含まれるか否かを特定する。
【0017】
具体的には、第１画像及び第２画像は、データベースから取得されたものであってもよいし、モニタリング装置が収集した画像からリアルタイムに抽出されたものであってもよい。一実施例において、歩行者マッチング方法を人々が滞在するシーンに用いる場合、第１画像及び第２画像はいずれもモニタリング装置が収集した画像から抽出されたものであってもよく、所定の時間ごとにモニタリング装置が収集した画像から２枚の画像を抽出して比較し、同一の歩行者が含まれるか否かを特定し、さらに同一の場所で長い間滞在する人々がいるか否かを特定する。更には、一実施例において、モニタリング装置が収集した画像から人々を検出した時に、歩行者マッチング方法をトリガーし、所定の時間ごとに２枚の画像を抽出し、歩行者マッチングによって、人々が同一の位置で長い間滞在するか否かを判断することができる。他の実施例において、歩行者マッチング方法は、他のシーンにも適用されてもよい。
【0018】
なお、本願に公開されるの実施例において、言及される「第１」、「第２」等の概念は、異なる名前を区別するためのものに過ぎず、実際な意味を示すものではない。
【0019】
Ｓ１０２であって、第１画像、第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得する。
【0020】
コンピュータに画像を「理解」させるために、通常に画像から役立つデータや情報を抽出し、例えば、数値、ベクトル及び符号等のような画像の「非画像」の表現又は説明を取得する。このような過程は特徴抽出であるが、抽出されたこれらの「非画像」の表現又は説明は特徴である。画像にとって、それぞれの画像はいずれも他タイプの画像と区別できる自体特徴を有し、例えば明るさ、エッジ、テクスチャ、カラーなどの直感的に感じられる自然な特徴があり、例えばモーメント、ヒストグラム、主成分などの取得するための変換や処理が必要な特徴もある。
【0021】
いくつかの実施例において、画像に対して特徴抽出を行うのは、ニューラルネットワークを用いて実現することができる。本実施例において、歩行者マッチングを行うことを目的とするので、特徴抽出時に、画像に含まれる人体の特徴を抽出する必要があるため、人体検出モジュール、人体の重要なポイント推定モデルを用いて特徴抽出を行うことができる。
【0022】
局所特徴は人体の各重要なポイントが対応する局所特徴ベクトルの局所特徴を含み、本実施例において、区別させるために、第１画像から抽出された特徴を第１局所特徴、第１高次特徴と記し、第２画像から抽出された特徴を第２局所特徴及び第２高次特徴と記する。
【0023】
いくつかの実施例において、第１画像、第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するステップは、第１画像及び第２画像に対してそれぞれ人体局所特徴抽出を行い、第１局所特徴、第２局所特徴を取得するステップと、第１局所特徴に対して特徴集約を行い第１高次特徴を取得し、第２局所特徴に対して特徴集約を行い第２高次特徴を取得するステップと、を含む。
【0024】
具体的な一実施例において、第１画像に対して特徴抽出を行い第１局所特徴を取得するステップは、第１画像を人体検出モデルに入力し、第１画像に対して人体検出を行い、第１画像における人体検出フレームを取得するステップと、人体検出フレームを人体の重要なポイント推定モデルに入力し、人体検出フレームが対応する各人体の重要なポイントの特徴である第１局所特徴を取得するステップと、を含み、当然のことながら、第２画像に対して特徴抽出を行い第２局所特徴を取得するのは、第１画像の局所特徴抽出と類似し、ここで重複に説明しない。ここで、任意の１種類の人体検出モデル、人体の重要なポイント推定モデルを用いて画像に対して特徴抽出を行うことができる。
【0025】
更には、具体的な一実施例において、人体検出モデルにより画像に対して特徴抽出を行い人体検出フレームを取得した後、人体検出フレームを人体の重要なポイント推定モデルに入力し、ここで、人体の重要なポイント推定モデルが、入力された人体検出フレームを処理する具体的なプロセスは、まずそれぞれの特徴図を１＊１畳み込みによって１０２４に統合的に変換し、その後、ＲＯＩＡｌｉｇｎ（校正）によって特徴図の長さと幅を［１６，８］に統合的にプーリングし、この際に、それぞれの人体特徴図Ｇ１の次元を［１０２４，１６，８］として取得する。Ｇ１を３つの畳み込みｂｌｏｃｋ（ｃｏｎｖ（３，３）、ＢＮ、ｒｅｌｕ）によって、特徴図［１０２４，１６，８］、［５１２，１６，８］、［２５６，１６，８］を順に取得する。最後にｃｏｎｖ（１，１）、ＢＮ、ｒｅｌｕによって、すべての人体の重要なポイントのヒートマップを取得し、人体の重要なポイントが１４個である場合に、ヒートマップを［１４，１６，８］として表してもよい。ここで、ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ，バッチ正規化）は、各層の入力に対して正規化する。ｒｅｌｕ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ，リニア整流関数）は、修正リアルユニットとも称され、人工ニューラルネットワークでよく用いられる活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）であり、通常にランプ関数及びその変形で表される非線形関数を指す。
【0026】
それぞれの重要なポイントのヒートマップ次元は［１，１６，８］であり、その後、スタックを繰り返して、その次元を［１０２４，１６，８］に変え、人体の特徴図Ｇ１［１０２４，１６，８］と乗算し、該重要なポイントの特徴図［２０４８，１６，８］を取得し、最後に全体平均プーリングして、重要なポイントの特徴ベクトル［１０２４］を取得する。同様に、上記方法によれば、人体のそれぞれの重要なポイントの特徴ベクトルを取得することができ、第１画像において人体のそれぞれの重要なポイントは第１局所特徴であり、第２画像において人体のそれぞれの重要なポイントは第２局所特徴である。
【0027】
いくつかの実施例において、局所特徴を取得した後、それぞれ局所特徴に対して特徴集約を行うことにより、高次特徴を取得することができ、同様に、本実施例において、第１局所特徴を集約して取得した高次特徴を第１高次特徴と記し、第２局所特徴に対して特徴集約を行って取得した高次特徴を第２高次特徴と記する。具体的には、局所特徴に対して特徴集約を行い高次特徴を取得する具体的な過程について、後の実施例で詳しく説明し、ここで重複に説明しない。
【0028】
Ｓ１０３であって、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得する。
【0029】
歩行者が異なる時刻で異なる画像に出る姿勢が同じではなく、異なる画像に対して歩行者マッチングを行う時に、画像特徴を整列することにより、２枚の画像における同名点を探して、そのうちに同じ歩行者が含まれるか否かを求める。本実施例において、２枚の画像からそれぞれ抽出された人体局所特徴に対して特徴整列を行い、整列による特徴を第１融合特徴、第２融合特徴と記する。具体的に、第１局所特徴、第２局所特徴に対して特徴整列を行い第１融合特徴、第２融合特徴を取得する具体的なステップについては、後の実施例で詳しく説明する。
【0030】
Ｓ１０４であって、第１高次特徴及び第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得する。
【0031】
本実施例において、特徴抽出を行う場合に、低次の人体局所特徴が取得され、低次の人体局所特徴により画像の高次特徴が取得されたため、特徴整列を行う場合に、低次の局所特徴に対して低次特徴整列を行い、高次特徴に対して高次特徴整列策略を用い、収集した画像特徴を十分に利用して、抽出された特徴をより良くする。更には、本実施例において、高次特徴を整列した後、取得した特徴を第１高次融合特徴、第２高次融合特徴と記する。
【0032】
Ｓ１０５であって、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、第１画像と第２画像に同一の歩行者が含まれるか否かを特定する。
【0033】
一実施例において、図２に示すように、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて第１画像と第２画像に同一の歩行者が含まれるか否かを特定するステップは、ステップＳ２０１からステップＳ２０３を含む。
【0034】
Ｓ２０１であって、第１融合特徴、第１高次融合特徴に対してスプライスを行い、第１スプライス特徴を取得する。
【0035】
Ｓ２０２であって、第２融合特徴、第２高次融合特徴に対してスプライスを行い、第２スプライス特徴を取得する。
【0036】
いくつかの実施例において、特徴スプライスはｃｏｎｃａｔ関数によって完了されることができ、ｃｏｎｃａｔ関数は、２つ以上のアレイを接続するためのものである。本実施例において、第１融合特徴、第１高次融合特徴に対してスプライスを行って取得した特徴を第１スプライス特徴と記し、第２融合特徴、第２高次融合特徴に対してスプライスを行って取得した特徴を第２スプライス特徴と記する。他の実施例において、特徴スプライスは他の方式によって実現されてもよい。
【0037】
Ｓ２０３であって、第１スプライス特徴と第２スプライス特徴との比較損失値を算出し、比較損失値に基づいて第１画像と第２画像に同一の歩行者が含まれるか否かを特定する。
【0038】
いくつかの実施例において、比較損失関数により第１スプライス特徴と第２スプライス特徴との比較損失値を算出し、比較損失関数は、サンプルに対するマッチング度合としてうまく表されることができ、本実施例において、比較損失関数を利用して第１スプライス特徴と第２スプライス特徴について比較損失値を算出し、第１画像と第２画像とのマッチング度合の説明に用いることができる。具体的には、本実施例において、任一の比較損失関数を用いて２つのスプライス特徴間の比較損失値を算出することができる。
【0039】
比較損失値を取得した後、比較損失値に基づき、第１画像と第２画像に同一の歩行者が含まれるか否かを特定することができる。一実施例において、比較損失値に基づき、第１画像と第２画像に同一の歩行者が含まれるか否かを特定するのは、所定の条件を設定することによって行うことができ、比較損失値が所定の条件を満たすと、第１画像と第２画像に同一の歩行者が含まれると判定でき、所定の条件は実際状況に応じて設定されることができ、比較損失値に基づき第１画像と第２画像とのマッチング度合が高いと判定するほど、第１画像と第２画像に同一の歩行者が含まれる可能性が高くなる。
【0040】
他の実施例において、第１スプライス特徴、第２スプライス特徴を取得した後、第１スプライス特徴、第２スプライス特徴に基づき、他の方式で第１画像、第２画像に同一歩行者が含まれるか否かを特定することができ、例えば、第１スプライス特徴と第２スプライス特徴との類似性を算出し、類似性に基づいて第１画像、第２画像に同一歩行者が含まれるか否かを特定する。
【0041】
本公開の実施例で提供される技術的解決手段によれば、取得した第１画像及び第２画像に対して特徴抽出をそれぞれ行うことにより、２枚の画像において人体の重要なポイントが対応する局所特徴及び高次特徴を取得し、それぞれ第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴と記し、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴及び第２融合特徴を取得し、第１高次特徴、第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得し、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて２枚の画像に同一の歩行者が含まれるか否かを特定する。画像における人体局所特徴及び高次特徴を抽出し、異なる特徴整列策略を用いて局所特徴及び高次特徴に対してそれぞれ特徴整列を行い、特徴相互間の関係を組み込み、特徴相互間の情報を統合的に利用し、より効果的な特徴を取得し、画像における異常点又は外れ点の歩行者マッチングに対する影響を低減させ、より正確的なマッチング結果を取得する。
【0042】
いくつかの実施例において、人体の重要なポイントは２つ以上含まれ、本実施例において、図３に示すように、局所特徴に対して特徴集約を行い高次特徴を取得するステップは、ステップＳ３０１からステップＳ３０６を含み、局所特徴が第１局所特徴及び第２局所特徴を含み、高次特徴が第１高次特徴及び第２高次特徴を含む。
【0043】
Ｓ３０１であって、各人体の重要なポイントが対応する局所特徴ベクトルに基づいて局所特徴が対応する第１パラメータ、第２パラメータ及び第３パラメータを学習し特定する。
【0044】
人体の重要なポイントは通常に２つ以上含まれ、人体局所特徴の抽出時に、それぞれの人体の重要なポイントが対応する局所特徴ベクトルを取得することができ、局所特徴に含まれる局所特徴ベクトル数は、人体の重要なポイントの数に対応する。本実施例における局所特徴は、第１画像及び第２画像からそれぞれ抽出された第１局所特徴及び第２局所特徴を含む。
【0045】
具体的には、各人体の重要なポイントが対応する局所特徴ベクトルに基づき局所特徴が対応する第１パラメータ、第２パラメータ及び第３パラメータを学習するのは、任意の一方式で実現されてもよく、例えば、ニューラルネットワークによって実現されてもよく、具体的な一実施例において、Ｔｒａｎｓｆｏｒｍｅｒネットワーク（Ａｓｈｉｓｈ Ｖａｓｗａｎｉ提出）によって実現されてもよい。いくつかの実施例において、局所ベクトルが対応する第１パラメータ、第２パラメータ及び第３パラメータの範囲はいずれもＲ１０２４×２５６である。
【0046】
Ｓ３０２であって、第１パラメータ、第２パラメータ及び第３パラメータに基づき、各局所特徴ベクトルが対応するクエリ、キー及び値を生成する。
【0047】
クエリ、キー及び値は、Ｔｒａｎｓｆｏｒｍｅｒネットワークでの概念である。第１パラメータ、第２パラメータ及び第３パラメータに基づいて、各局所特徴ベクトルが対応するクエリｑｕｅｒｙ、キーｋｅｙ及び値ｖａｌｕｅを生成し、下記のように表してもよい。
【0048】
ｑｕｅｒｙ：Ｑｉ＝ｆｉ＊Ｗｑであり、Ｗｑが第１パラメータを表し、
ｋｅｙ：Ｋｉ＝ｆｉ＊Ｗｋであり、Ｗｋが第２パラメータを表し、
ｖａｌｕｅ：Ｖｉ＝ｆｉ＊Ｗｖであり、Ｗｖが第３パラメータを表す。
ｋｅｙ：Ｋｉ＝ｆｉ＊Ｗｋであり、Ｗｋが第２パラメータを表し、
ｖａｌｕｅ：Ｖｉ＝ｆｉ＊Ｗｖであり、Ｗｖが第３パラメータを表す。
【0049】
Ｓ３０３であって、クエリ及びキーに基づいて、２つずつの局所特徴ベクトル間の重み係数を特定する。
【0050】
いくつかの実施例において、クエリ及びキーに基づいて、２つずつの局所特徴ベクトル間の重み係数を特定するステップは、２つの局所特徴ベクトルを第１対象局所特徴ベクトル、第２対象局所特徴ベクトルとして選択し、第１対象局所特徴ベクトルのクエリ及び第２対象局所特徴ベクトルのキーで、第１対象局所特徴ベクトルと第２対象局所特徴ベクトルとの重み係数を算出する。
【0051】
更には、具体的な一実施例において、第１対象局所特徴ベクトルのクエリ及び第２対象局所特徴ベクトルのキーで、第１対象局所特徴ベクトルと第２対象局所特徴ベクトルとの重み係数を算出し、下記のように表してもよい。
【0052】
ａｉｊは、番号ｉ及び番号ｊの局所特徴ベクトル間の重み係数を表し、ｉ、ｊはそれぞれ人体の重要なポイントが対応する番号を表し、人体の重要なポイントを予め番号つけることができ、Ｑｉは第１対象局所特徴ベクトルが対応するクエリを表し、Ｋｊは第２対象局所特徴ベクトルのキーを表し、Ｋｊ
TはＫｊを転置することを表し、２５６はＱｉ、Ｋｊの次元であり、ｓｏｆｔｍａｘ（）はロジスティック回帰アルゴリズムを表し、ａｉｊは第１対象局所特徴ベクトルと第２対象局所特徴ベクトルとの重み係数を表す。ここで、転置の定義としては、Ａの全部要素を、１行目、１列目の要素から始まる右下からの４５度の射線のまわりに、ミラー反転すると、Ａの転置を取得する。
【0053】
上記方法によれば、２つずつの人体の重要なポイントが対応する局所特徴ベクトル間の重み係数を算出することができる。
【0054】
Ｓ３０４であって、任一の局所特徴ベクトルに対して、局所特徴ベクトルと他の各局所特徴ベクトルとの間の関係に基づいて、調節係数を特定する。
【0055】
局所特徴ベクトルと他の局所特徴ベクトルとの間の関係は、人体の重要なポイントについて予め設定された番号から特定されることができる。具体的な一実施例において、それぞれの人体の重要なポイントについて１つの番号を設定し、図４に示すように、頭＝１、首＝２、左肩＝右肩＝３、左肘＝右肘＝４、左手＝右手＝５、左腰 ＝ 右腰＝６、左膝＝右膝＝７、左足 ＝ 右足＝８である。歩行者マッチングを行う時に、位置が近いほど、人体の重要なポイントの間の影響が大きくなるため、本実施例で、調節係数を設定することによって、重要なポイントの間の影響度合に応じて集約して高次特徴を取得する。
【0056】
具体的な一実施例において、局所特徴ベクトルと他の局所特徴ベクトルとの間の関係に基づいて、調節係数を特定し、下記のように表してもよい。
【0057】
ｐは調節係数を表し、ｒはハイパーパラメータであり、ハイパーパラメータの数値について実際状況に応じて定義することができ、ｉ、ｊはそれぞれ重要なポイントの番号を表す。
【0058】
Ｓ３０５であって、重み係数、調節係数及び値に基づいて、局所特徴が対応する集約特徴を取得する。
【0059】
いくつかの実施例において、重み係数、調節係数及び値に基づいて局所特徴が対応する集約特徴を取得するステップは、下記のように表されてもよい。
【0060】
ｆｉ
ａｔは、番号ｉの局所特徴ベクトルが対応する集約特徴を表し、ａｉｊは、番号ｉ及び番号ｊの局所特徴ベクトル間の重み係数を表し、ｐは調節係数を表し、Ｖｊは、番号ｊの局所特徴ベクトルが対応する値を表し、ｉ、ｊはそれぞれ重要なポイントの番号を表し、１４は局所特徴ベクトル（人体の重要なポイント）の数を表す。
【0061】
Ｓ３０６であって、各局所特徴が対応する集約特徴によって、高次特徴をが特定される。
【0062】
ステップＳ３０５で、それぞれの人体の重要なポイント（局所特徴ベクトル）が対応する集約特徴を取得することができ、それぞれの集約特徴を一緒に合わせると、対応する高次特徴を取得する。本実施例において、第１局所特徴に基づき集約して取得したものは第１高次特徴であり、第２局所特徴に基づき集約して取得したものは第２高次特徴である。
【0063】
更には、上記した局所特徴に基づき集約して高次特徴を取得するプロセスは、ｔｒａｎｓｆｏｒｍｅｒモデルによって実現されてもよい。
【0064】
本公開の実施例で提供される技術的解決手段によれば、ｔｒａｎｓｆｏｒｍｅｒモデルにより、入力された第１局所特徴及び第２局所特徴に対して、対応する第１パラメータ、第２パラメータ及び第３パラメータをそれぞれ学習し、第１パラメータ、第２パラメータ及び第３パラメータに基づいて各局所特徴ベクトルのクエリ、キー及び値を算出してから、各局所特徴ベクトルが対応するクエリ、キーに基づいて２つずつの局所特徴ベクトル間の重み係数を算出するとともに、２つずつの局所特徴ベクトル間の関係に基づいて調節係数を特定し、最後に重み係数、局所特徴ベクトルが対応する値及び調節係数に基づいて、集約して新しい局所特徴を取得し、最後に局所特徴の集約による融合特徴を取得する。本実施例は、局所特徴ベクトル間の関係、即ち人体の重要なポイントの先験的な位相構造関係に基づき、調節係数を設計し、調節係数により局所特徴ベクトル間の影響度合を特徴集約に追加し、集約して取得した高次特徴をより良くする。
【0065】
いくつかの実施例において、図５に示すように、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するステップは、ステップＳ５０１からステップＳ５０４を含む。
【0066】
Ｓ５０１であって、第１局所特徴と第２局所特徴との局所特徴類似性を算出する。
【0067】
局所特徴間の類似性の算出は、任意の一方式によって実現されてもよい。一実施例において、第１局所特徴及び第２局所特徴を同一の特徴空間にマッピングすることにより、２つの局所特徴間のコサイン距離を２つの局所特徴間の特徴類似性として算出する。更には、第１局所特徴及び第２局所特徴を同一の特徴空間にマッピングするステップは、第１局所特徴及び第２局所特徴の分布を正規化処理することによって実現されてもよい。一実施例において、第１局所特徴及び第２局所特徴を同一の特徴空間にマッピングするとともに、２つの局所特徴間のコサイン距離を２つの局所特徴間の特徴類似性として算出するステップは、下記のように表されてもよい。
Ｍ１＝ｎｏｒｍａｌｉｚｅ（Ｆｐ）＊［ｎｏｒｍａｌｉｚｅ（Ｆｇ）］Ｔ
Ｍ１＝ｎｏｒｍａｌｉｚｅ（Ｆｐ）＊［ｎｏｒｍａｌｉｚｅ（Ｆｇ）］Ｔ
【0068】
Ｆｐは第１局所特徴を表し、Ｆｇは第２局所特徴を表し、ｎｏｒｍａｌｉｚｅ（）は局所特徴を正規化処理することを表し、Ｍ１は第１局所特徴Ｆｐと第２局所特徴Ｆｇとの類似性を表す。
【0069】
他の実施例において、第１局所特徴と第２局所特徴との局所特徴類似性の算出は、其他の方式によって実現されてもよい。
【0070】
Ｓ５０２であって、第２局所特徴、局所特徴類似性に基づいて第２局所特徴の第１局所特徴における第１マッチング特徴を特定する。
【0071】
いくつかの実施例において、第２局所特徴、局所特徴類似性に基づいて第２局所特徴の第１局所特徴における第１マッチング特徴を特定するステップは、局所特徴類似性と第２局所特徴との第１積を算出するステップと、第１積と第１局所特徴との和値を第１マッチング特徴として特定するステップと、を含む。
【0072】
局所特徴類似性と第２局所特徴との第１積を算出し、第１局所特徴に含まれる、第２局所特徴とマッチングするポイントを表し、マッチングポイントに基づき、第１局所特徴においてどのようなポイントを重点として利用するかを特定して、外れ点又はオクルージョン点を排除することができる。
【0073】
第１積と第１局所特徴との和値を算出し、第１局所特徴が含まれる元の特徴にも第２局所特徴との関係が含まれ、本実施例において、該和値を第１マッチング特徴と記し、第１マッチング特徴に基づき、第１画像においてどのようなポイントが第２画像との間でマッチングする必要があるかを特定することができる。
【0074】
具体的な一実施例において、局所特徴類似性と第２局所特徴との第１積を算出し、
Ｆｇ １＝Ｍ１＊Ｆｇ
として表してもよい。
Ｆｇ １＝Ｍ１＊Ｆｇ
として表してもよい。
【0075】
Ｆｇ
１は第１積を表し、Ｍ１は局所特徴類似性を表し、Ｆｇは第２局所特徴を表す。
【0076】
第１積と第１局所特徴との和値を第１マッチング特徴として特定し、
Ｆｐ ２＝Ｆｐ＋Ｆｇ １
として表す。
Ｆｐ ２＝Ｆｐ＋Ｆｇ １
として表す。
【0077】
Ｆｐ
２は第１マッチング特徴を表し、Ｆｐは第１局所特徴を表す。
【0078】
Ｓ５０３であって、第１局所特徴、局所特徴類似性に基づいて第１局所特徴の第２局所特徴における第２マッチング特徴を特定する。
【0079】
第１マッチング特徴の特定に類似するが、第１局所特徴、局所特徴類似性に基づき、第２マッチング特徴を特定することができる。相違点としては、本実施例でまず局所特徴類似性を転置し、転置後の局所特徴類似性を用いて第２マッチング特徴を特定することである。
【0080】
いくつかの実施例において、第１局所特徴、局所特徴類似性に基づいて第１局所特徴の第２局所特徴における第２マッチング特徴を特定するステップは、局所特徴類似性を転置して、転置後局所特徴類似性を取得ステップと、転置後局所特徴類似性と第１局所特徴との第２積を算出するステップと、第２積と第２局所特徴との和値を第２マッチング特徴として特定するステップと、を含む。
【0081】
転置後局所特徴類似性と第１局所特徴との第２積を算出し、第２局所特徴に含まれる、第１局所特徴とマッチングするポイントを表し、マッチングポイントに基づき、第２局所特徴においてどのようなポイントを重点として利用するかを特定して、外れ点又はオクルージョン点を排除することができる。
【0082】
第２積と第２局所特徴との和値を算出し、第１局所特徴が含まれる元の特徴にも第２局所特徴との関係が含まれ、本実施例において、該和値を第２マッチング特徴と記し、第２マッチング特徴に基づき、第２画像においてどのようなポイントが第１画像との間でマッチングする必要があるか、どのようなポイントがマッチングしないかを特定することができる。
【0083】
具体的な一実施例において、転置後局所特徴類似性と第１局所特徴との第２積を算出し、Ｆｐ
１＝Ｍ１
Ｔ＊Ｆp
として表してもよい。
として表してもよい。
【0084】
Ｆｐ
１は第２積を表し、Ｍ１
Ｔは転置後局所特徴類似性を表し、Ｆｐは第１局所特徴を表す。
【0085】
第２積と第２局所特徴との和値を第２マッチング特徴として特定し、
Ｆｇ ２＝Ｆｇ＋Ｆｐ １として表す。
Ｆｇ ２＝Ｆｇ＋Ｆｐ １として表す。
【0086】
Ｆｇ
２は第２マッチング特徴を表し、Ｆｇは第２局所特徴を表す。
【0087】
Ｓ５０４であって、第１マッチング特徴に対して特徴抽出を行い、第１融合特徴を取得し、第２マッチング特徴に対して特徴抽出を行い、第２融合特徴を取得する。
【0088】
第１マッチング特徴及び第２マッチング特徴を取得した後、それぞれ特徴抽出を行い、低次特徴整列後に融合した新しい特徴を取得し、即ち第１融合特徴、第２融合特徴となる。
【0089】
いくつかの実施例において、入力されたマッチング特徴に対してそれぞれ特徴抽出を行い、ｆｃ＋ｒｅｌｕによって実現することができる。ｆｃ層は全結合層であり、全結合層のそれぞれのノードは、前の層のすべてのノードに繋がり、前に抽出された特徴を結合するために用いられる。Ｒｅｌｕ層は、通常に活性化関数から組成される。マッチング特徴は、第１マッチング特徴及び第２マッチング特徴を含む。
【0090】
具体的な一実施例において、図６に示すように、第１局所特徴、第２局所特徴に対してそれぞれ特徴整列を行うステップフローチャートであり、Ｆｐが第１局所特徴、Ｆｇが第２局所特徴、Ｆｐ
tが第１融合特徴、Ｆg
tが第２融合特徴を表す。
【0091】
本公開の実施例で提供される技術的解決手段によれば、局所特徴間の局所特徴類似性を算出し、局所特徴類似性に基づき第１マッチング特徴及び第２マッチング特徴を算出し、最後に第１マッチング特徴及び第２マッチング特徴に対してそれぞれ特徴抽出を行い、低次特徴整列した新しい特徴、即ち第１融合特徴及び第２融合特徴を取得する。その後、整列した局所特徴に基づいて、歩行者マッチングを行うと、より正確なマッチング結果を取得することができる。
【0092】
別のいくつかの実施例において、図７に示すように、第１高次特徴及び第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するステップは、ステップＳ７０１乃至ステップＳ７０４を含む。
【0093】
Ｓ７０１であって、第１高次特徴と第２高次特徴との高次特徴類似性を算出する。
【0094】
高次特徴間の類似性の算出は、任意の一方式によって実現されてもよい。一実施例において、ネットワークにより高次特徴間の類似性を学習して特定してもよく、下記のように表してもよい。
【0095】
【0096】
他の実施例において、第１高次特徴と第２高次特徴との類似性の算出は、他の任意の一方式によって実現されてもよい。
【0097】
Ｓ７０２であって、第２高次特徴、高次特徴類似性に基づいて、第２高次特徴の第１高次特徴における第１高次マッチング特徴を特定する。
【0098】
いくつかの実施例において、第２高次特徴、高次特徴類似性に基づいて、第２高次特徴の第１高次特徴における第１高次マッチング特徴を特定するステップは、高次特徴類似性と第２高次特徴との第３積を算出するステップと、第３積と第１高次特徴との和値を第１高次マッチング特徴として特定するステップとを含む。
【0099】
具体的な一実施例において、高次特徴類似性と第２高次特徴との第３積を算出し、
として表してもよい。
【0100】
【0101】
第３積と第１高次特徴との和値を第１高次マッチング特徴として特定し、
として表す。
【0102】
【0103】
Ｓ７０３であって、第１高次特徴、高次特徴類似性に基づいて、第１高次特徴の第２高次特徴における第２高次マッチング特徴を特定する。
【0104】
第１高次マッチング特徴の特定と類似し、第１高次特徴、高次特徴類似性に基づいて第２高次マッチング特徴を特定することができる。相違点としては、本実施例でまず高次特徴類似性を転置し、転置後の高次特徴類似性を用いて第２高次マッチング特徴を特定することである。
【0105】
いくつかの実施例において、第１高次特徴、高次特徴類似性に基づいて、第１高次特徴の第２高次特徴における第２高次マッチング特徴を特定するステップは、高次特徴類似性を転置して転置後高次特徴類似性を取得するステップと、転置後高次特徴類似性と第１高次特徴との第４積を算出するステップと、第４積と第２高次特徴との和値を第２高次マッチング特徴として特定するステップと、を含む。
【0106】
具体的な一実施例において、転置後高次特徴類似性と第１高次特徴との第４積を算出し、
として表してもよい。
【0107】
【0108】
第４積と第２高次特徴との和値を第２高次マッチング特徴として特定し、
【0109】
【0110】
Ｓ７０４であって、第１高次マッチング特徴に対して特徴抽出を行い、第１高次融合特徴を取得し、第２高次マッチング特徴に対して特徴抽出を行い、第２高次融合特徴を取得する。
【0111】
第１高次マッチング特徴及び第２高次マッチング特徴を取得した後、それぞれ特徴抽出を行い、高次特徴整列後に融合した新しい特徴を取得し、即ち第１高次融合特徴、第２高次融合特徴となる。
【0112】
いくつかの実施例において、入力された高次マッチング特徴に対してそれぞれ特徴抽出を行い、ｆｃ＋ｒｅｌｕによって実現することができる。ｆｃ層は全結合層であり、全結合層のそれぞれのノードは、前の層のすべてのノードに繋がり、前に抽出された特徴を結合するために用いられる。Ｒｅｌｕ層は、通常に活性化関数から組成される。高次マッチング特徴は、第１高次マッチング特徴及び第２高次マッチング特徴を含む。
【0113】
【0114】
本公開の実施例で提供される技術的解決手段によれば、高次特徴間の高次特徴類似性を算出し、高次特徴類似性に基づき第１高次マッチング特徴及び第２高次マッチング特徴を算出し、最後に第１高次マッチング特徴及び第２高次マッチング特徴に対してそれぞれ特徴抽出を行い、高次特徴整列した新しい特徴、即ち第１高次融合特徴及び第２高次融合特徴を取得する。その後、整列した高次特徴に基づいて、歩行者マッチングを行うと、より正確なマッチング結果を取得することができる。
【0115】
具体的な一実施例において、図９に示すように、具体的な一実施例において歩行者マッチング方法の具体的なフローチャットである。
【0116】
（１）２枚の写真ｐｒｏｂｅ及びｇａｌｌｅｒｙの入力：
それぞれ人体検出モデルを通して、人体検出フレームｂｂｏｘを取得し、人体の重要なポイント推定モジュールに送る。
それぞれ人体検出モデルを通して、人体検出フレームｂｂｏｘを取得し、人体の重要なポイント推定モジュールに送る。
【0117】
（２）第（１）ステップで取得した人体検出フレームの入力：
まず、それぞれの人体検出フレームが対応する特徴図を１＊１畳み込みによって１０２４に統合的に変換し、その後、ＲＯＩＡｌｉｇｎによって特徴図の長さと幅を［１６，８］に統合的にプーリングし、この際に、それぞれの人体特徴図Ｇ１の次元を［１０２４，１６，８］として取得する。
まず、それぞれの人体検出フレームが対応する特徴図を１＊１畳み込みによって１０２４に統合的に変換し、その後、ＲＯＩＡｌｉｇｎによって特徴図の長さと幅を［１６，８］に統合的にプーリングし、この際に、それぞれの人体特徴図Ｇ１の次元を［１０２４，１６，８］として取得する。
【0118】
Ｇ１を３つの畳み込みｂｌｏｃｋ（ｃｏｎｖ（３，３）、ＢＮ、ｒｅｌｕ）によって、特徴図［１０２４，１６，８］、［５１２，１６，８］、［２５６，１６，８］を順に取得する。最後に、ｃｏｎｖ（１，１）、ＢＮ、ｒｅｌｕによって、すべての重要なポイントのヒートマップ［１４，１６，８］を取得する。（ここで、人体の重要なポイントについて、頭、首、左手、左肘、左肩、左腰、左膝、左足、右手、右肘、右肩、右腰、右膝、右足などの１４個が設けられる）。
【0119】
それぞれの重要なポイントのヒートマップ次元は［１，１６，８］であり、各重要なポイントのヒートマップを繰り返して、その次元を［１０２４，１６，８］に変え、人体の特徴図Ｇ１［１０２４，１６，８］と乗算し、該重要なポイントの特徴図［２０４８，１６，８］を取得し、最後に全体平均プーリングして、重要なポイントの特徴ベクトル［１０２４］を取得する。同様に、それぞれの重要なポイントの特徴ベクトルを取得することができる。即ち、第１局所特徴Ｆｐ及び第２局所特徴Ｆｇを取得し、Ｆｐ及びＦｇの次元は、いずれも［１４，１０２４］である。
【0120】
【0121】
【0122】
（５）第（３）ステップに従って、
その次元がいずれも［１４，１０２４］である。高次特徴マッチング策略モジュールに送り、
その次元がいずれも［１４，１０２４］である。ここで、具体的に、如何に高次特徴整列を行うかについて、図７に示す実施例の説明を参照する。
【0123】
【0124】
本公開の実施例における歩行者マッチング方法によれば、特徴整列モジュールを設計し、低次特徴整列策略及び高次特徴整列策略により、特徴相互間の関係を組み込み、特徴相互間の情報を統合的に利用し、抽出された特徴をより良くする。ここで、低次特徴整列策略は、人体の重要なポイントの局所特徴の類似性によりマッチングするが、２つのポイントの間にマッチングするか否かについては、２つのポイント間の類似性によって決められるだけではなく、２つのポイントがマッチングすると、他のマッチングへの影響も考えられる必要もあり、よって、全体のエネルギーを最大するように、１つのマッチングを選択する。このため、本公開の実施例の歩行者マッチング方法に高次特徴マッチング策略（高次特徴をエッジの特徴情報として理解できる）も追加され、具体的に、ｔｒａｎｓｆｏｒｍｅｒコーディングモジュールにより前に抽出された人体の重要なポイントの局所特徴を集約して高次特徴情報とし、その後、ネットワークに、これらの高次特徴を如何にマッチングするかを学習させ、ロバストネスがより高くなる。また、ｔｒａｎｓｆｏｒｍｅｒコーディングによって高次特徴を集約する場合に、人体の重要なポイントの先験的な位相構造関係に基づき、１つの調節係数ｐを算出して重要なポイントの相互間の影響度合に基づいて高次意味情報を集約する。
【0125】
本願は、上記した歩行者マッチング方法が応用される応用シナリオがさらに提供される。具体的には、該応用シナリオでの該歩行者マッチング方法の応用は下記の通りである。
【0126】
本実施例において、歩行者マッチング方法をビデオ監視における人の滞留検出の応用シナリオで応用し、該応用シナリオで、人の長時間の滞在や徘徊による不審な現象を検出し、報知する必要がある。連続する複数のフレームで検出された人体特徴を比較することによって、同一人物であるか否かを判定し、同じ場所で人が長時間滞在しているか否かを判定することができる。
【0127】
本応用シナリオで、監視画像に人が出ると検出されると、歩行者マッチング方法をトリガーする。所定時間ごとにモニタリング装置から２枚の画像を取得し、２枚の画像に対して歩行者マッチング検出を行う。更には、所定時間ごとの２枚の画像に同一歩行者が含まれると連続して複数回検出すると、監視画像に出る人がここで長い時間滞在していることを表し、この状況を報知することができる。ここで、所定時間は、実際な状況に応じて設定されてもよく、例えば１分間、３分間、５分間等として設定されてもよい。実際な状況に応じて、同一歩行者が監視画像に出ると連続して検出する回数が所定回数に達すると、報知をトリガーするように、設定することができる。
【0128】
上記したすべての選択可能な技術的解決手段は、任意の組み合わせで本願の選択可能な実施例を形成してもよいが、ここで一つずつに説明しない。
【0129】
下記は、本公開の方法実施例を実行するための本公開の装置実施例である。本公開の装置実施例に公開されない詳細については、本公開の方法実施例を参照してください。
【0130】
図１０は本公開の実施例で提供される歩行者マッチング装置の概略図である。図１０に示すように、該歩行者マッチング装置は、
第１画像、第２画像を取得するための取得モジュール１００１と、
第１画像、第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するためのものであって、第１局所特徴及び第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれる特徴抽出モジュール１００２と、
第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するための第１特徴整列モジュール１００３と、
第１高次特徴及び第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するための第２特徴整列モジュール１００４と、
第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、第１画像と第２画像に同一の歩行者が含まれるか否かを特定するためのマッチングモジュール１００５と、を備える。
第１画像、第２画像を取得するための取得モジュール１００１と、
第１画像、第２画像に対してそれぞれ特徴抽出を行い、第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴を取得するためのものであって、第１局所特徴及び第２局所特徴に、人体の各重要なポイントが対応する局所特徴ベクトルがそれぞれ含まれる特徴抽出モジュール１００２と、
第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴、第２融合特徴を取得するための第１特徴整列モジュール１００３と、
第１高次特徴及び第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得するための第２特徴整列モジュール１００４と、
第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて、第１画像と第２画像に同一の歩行者が含まれるか否かを特定するためのマッチングモジュール１００５と、を備える。
【0131】
本公開の実施例で提供される技術的解決手段によれば、取得した第１画像及び第２画像に対して特徴抽出をそれぞれ行うことにより、２枚の画像において人体の重要なポイントが対応する局所特徴及び高次特徴を取得し、それぞれ第１局所特徴、第２局所特徴、第１高次特徴及び第２高次特徴と記し、第１局所特徴、第２局所特徴に対して特徴整列を行い、第１融合特徴及び第２融合特徴を取得し、第１高次特徴、第２高次特徴に対して特徴整列を行い、第１高次融合特徴及び第２高次融合特徴を取得し、第１融合特徴、第２融合特徴、第１高次融合特徴及び第２高次融合特徴に基づいて２枚の画像に同一の歩行者が含まれるか否かを特定する。画像における人体局所特徴及び高次特徴を抽出し、異なる特徴整列策略を用いて局所特徴及び高次特徴に対してそれぞれ特徴整列を行い、特徴相互間の関係を組み込み、特徴相互間の情報を統合的に利用し、より効果的な特徴を取得し、画像における異常点又は外れ点の歩行者マッチングに対する影響を低減させ、より正確的なマッチング結果を取得する。
【0132】
いくつかの実施例において、上記歩行者マッチング装置の特徴抽出モジュールは、
第１画像及び第２画像に対して、それぞれ人体局所特徴抽出を行い、第１局所特徴、第２局所特徴を取得するための局所特徴抽出サブモジュールと、
第１局所特徴に対して特徴集約を行い第１高次特徴を取得し、第２局所特徴に対して特徴集約を行い第２高次特徴を取得するための集約サブモジュールと、を備える。
第１画像及び第２画像に対して、それぞれ人体局所特徴抽出を行い、第１局所特徴、第２局所特徴を取得するための局所特徴抽出サブモジュールと、
第１局所特徴に対して特徴集約を行い第１高次特徴を取得し、第２局所特徴に対して特徴集約を行い第２高次特徴を取得するための集約サブモジュールと、を備える。
【0133】
いくつかの実施例において、人体の重要なポイントは２つ以上含まれ、図１１に示すように、本実施例において、上記装置の特徴抽出モジュールは、
各人体の重要なポイントが対応する局所特徴ベクトルに基づいて局所特徴が対応する第１パラメータ、第２パラメータ及び第３パラメータを学習し特定するためのパラメータ学習サブモジュール１１０１と、
第１パラメータ、第２パラメータ及び第３パラメータに基づき、各局所特徴ベクトルが対応するクエリ、キー及び値を生成するためのパラメータ特定サブモジュール１１０２と、
クエリ及びキーに基づいて、２つずつの局所特徴ベクトル間の重み係数を特定するための重み係数特定サブモジュール１１０３と、
任一の局所特徴ベクトルに対して、局所特徴ベクトルと他の各局所特徴ベクトルとの間の関係に基づいて、調節係数を特定するための調節係数特定サブモジュール１１０４と、
重み係数、調節係数及び値に基づいて、局所特徴が対応する集約特徴を取得するための集約サブモジュール１１０５と、
各局所特徴が対応する集約特徴によって、高次特徴をが特定されるためのものであって、局所特徴が第１局所特徴及び第２局所特徴を含み、高次特徴が第１高次特徴及び第２高次特徴を含む高次特徴特定サブモジュール１１０６と、を備える。
各人体の重要なポイントが対応する局所特徴ベクトルに基づいて局所特徴が対応する第１パラメータ、第２パラメータ及び第３パラメータを学習し特定するためのパラメータ学習サブモジュール１１０１と、
第１パラメータ、第２パラメータ及び第３パラメータに基づき、各局所特徴ベクトルが対応するクエリ、キー及び値を生成するためのパラメータ特定サブモジュール１１０２と、
クエリ及びキーに基づいて、２つずつの局所特徴ベクトル間の重み係数を特定するための重み係数特定サブモジュール１１０３と、
任一の局所特徴ベクトルに対して、局所特徴ベクトルと他の各局所特徴ベクトルとの間の関係に基づいて、調節係数を特定するための調節係数特定サブモジュール１１０４と、
重み係数、調節係数及び値に基づいて、局所特徴が対応する集約特徴を取得するための集約サブモジュール１１０５と、
各局所特徴が対応する集約特徴によって、高次特徴をが特定されるためのものであって、局所特徴が第１局所特徴及び第２局所特徴を含み、高次特徴が第１高次特徴及び第２高次特徴を含む高次特徴特定サブモジュール１１０６と、を備える。
【0134】
いくつかの実施例において、図１１を引き続き参照すると、上記装置の第１特徴整列モジュールは、
第１局所特徴と第２局所特徴との局所特徴類似性を算出するための局所特徴算出サブモジュール１１０７と、
第２局所特徴、局所特徴類似性に基づいて第２局所特徴の第１局所特徴における第１マッチング特徴を特定するための第１マッチング特徴特定サブモジュール１１０８と、
第１局所特徴、局所特徴類似性に基づいて第１局所特徴の第２局所特徴における第２マッチング特徴を特定するための第２マッチング特徴特定サブモジュール１１０９と、
第１マッチング特徴に対して特徴抽出を行い、第１融合特徴を取得し、第２マッチング特徴に対して特徴抽出を行い、第２融合特徴を取得するための特徴抽出サブモジュール１１１０と、を備える。
第１局所特徴と第２局所特徴との局所特徴類似性を算出するための局所特徴算出サブモジュール１１０７と、
第２局所特徴、局所特徴類似性に基づいて第２局所特徴の第１局所特徴における第１マッチング特徴を特定するための第１マッチング特徴特定サブモジュール１１０８と、
第１局所特徴、局所特徴類似性に基づいて第１局所特徴の第２局所特徴における第２マッチング特徴を特定するための第２マッチング特徴特定サブモジュール１１０９と、
第１マッチング特徴に対して特徴抽出を行い、第１融合特徴を取得し、第２マッチング特徴に対して特徴抽出を行い、第２融合特徴を取得するための特徴抽出サブモジュール１１１０と、を備える。
【0135】
いくつかの実施例において、上記装置の第１マッチング特徴特定サブモジュールは、局所特徴類似性と第２局所特徴との第１積を算出するための乗算ユニットと、第１積と第１局所特徴との和値を第１マッチング特徴として特定するための加算ユニットとを備える。
【0136】
いくつかの実施例において、上記装置の第２マッチング特徴特定サブモジュールは、局所特徴類似性を転置して転置後局所特徴類似性を取得するための転置ユニットと、転置後局所特徴類似性と第１局所特徴との第２積を算出するための乗算ユニットと、第２積と第２局所特徴との和値を第２マッチング特徴として特定するための加算ユニットと、を備える。
【0137】
いくつかの実施例において、図１１を引き続き参照すると、上記装置の第２特徴整列モジュールは、
第１高次特徴と第２高次特徴との高次特徴類似性を算出するための高次特徴類似性算出サブモジュール１１１１と、
第２高次特徴、高次特徴類似性に基づいて、第２高次特徴の第１高次特徴における第１高次マッチング特徴を特定するための第１高次マッチング特定サブモジュール１１１２と、
第１高次特徴、高次特徴類似性に基づいて、第１高次特徴の第２高次特徴における第２高次マッチング特徴を特定するための第２高次マッチング特定サブモジュール１１１３と、
第１高次マッチング特徴に対して特徴抽出を行い、第１高次融合特徴を取得し、第２高次マッチング特徴に対して特徴抽出を行い、第２高次融合特徴を取得するための特徴抽出サブモジュール１１１４と、を備える。
第１高次特徴と第２高次特徴との高次特徴類似性を算出するための高次特徴類似性算出サブモジュール１１１１と、
第２高次特徴、高次特徴類似性に基づいて、第２高次特徴の第１高次特徴における第１高次マッチング特徴を特定するための第１高次マッチング特定サブモジュール１１１２と、
第１高次特徴、高次特徴類似性に基づいて、第１高次特徴の第２高次特徴における第２高次マッチング特徴を特定するための第２高次マッチング特定サブモジュール１１１３と、
第１高次マッチング特徴に対して特徴抽出を行い、第１高次融合特徴を取得し、第２高次マッチング特徴に対して特徴抽出を行い、第２高次融合特徴を取得するための特徴抽出サブモジュール１１１４と、を備える。
【0138】
いくつかの実施例において、図１１を引き続き参照すると、上記装置のマッチングモジュールは、
第１融合特徴、第１高次融合特徴に対してスプライスを行い、第１スプライス特徴を取得するための第１スプライスサブモジュール１１１５と、
第２融合特徴、第２高次融合特徴に対してスプライスを行い、第２スプライス特徴を取得するための第２スプライスサブモジュール１１１６と、
第１スプライス特徴と第２スプライス特徴との比較損失値を算出し、比較損失値に基づいて第１画像と第２画像に同一の歩行者が含まれるか否かを特定するための比較損失算出サブモジュール１１１７と、を備える。
第１融合特徴、第１高次融合特徴に対してスプライスを行い、第１スプライス特徴を取得するための第１スプライスサブモジュール１１１５と、
第２融合特徴、第２高次融合特徴に対してスプライスを行い、第２スプライス特徴を取得するための第２スプライスサブモジュール１１１６と、
第１スプライス特徴と第２スプライス特徴との比較損失値を算出し、比較損失値に基づいて第１画像と第２画像に同一の歩行者が含まれるか否かを特定するための比較損失算出サブモジュール１１１７と、を備える。
【0139】
理解すべきこととして、上記実施例における各ステップの番号の大きさは実行順序の前後を意味するものではなく、各プロセスの実行順序はその機能及び固有論理で確定されるべきであり、本公開の実施例の実施プロセスを任意に限定するものではない。
【0140】
図１２は本公開の実施例で提供される電子機器１２の概略図である。図１２に示すように、該実施例の電子機器１２は、プロセッサ１２０１、メモリ１２０２、該メモリ１２０２内に記憶されプロセッサ１２０１で実行可能なコンピュータプログラム１２０３を備える。プロセッサ１２０１は、コンピュータプログラム１２０３を実行する時に、上記各方法実施例におけるステップを実現する。或いは、プロセッサ１２０１は、コンピュータプログラム１２０３を実行する時に、上記各装置実施例における各モジュール／ユニットの機能を実現する。
【0141】
例示として、コンピュータプログラム１２０３は、１つ又は複数のモジュール／ユニットに分割され、１つ又は複数のモジュール／ユニットがメモリ１２０２内に記憶され、プロセッサ１２０１によって実行されて、本公開を完成するようにしてもよい。１つ又は複数のモジュール／ユニットは、特定機能を発揮することができるシリーズのコンピュータプログラムコマンドセクションであってもよく、該コマンドセクションは、コンピュータプログラム１２０３が電子機器１２で実行されるプロセスを説明するためのものである。
【0142】
電子機器１２は、デスクトップコンピュータ、ノートパソコン、パームトップコンピュータ及びクラウドサーバ等の電子機器であってもよい。電子機器１２は、プロセッサ１２０１及びメモリ１２０２を備えてもよいが、それらに限定されない。当業者であれば理解できるように、図１２は電子機器１２の例示に過ぎず、電子機器１２を限定するものではなく、図示より多いか又は少ない部品を含み、或いはある部品や異なる部品を組み合わせることができ、例えば電子機器は、入出力機器、ネットワークアクセス機器、バスなどを含んでもよい。
【0143】
プロセッサ１２０１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ ＧａｔｅＡｒｒａｙ，ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネント等であってもよい。汎用プロセッサはマイクロプロセッサであってもよいし、任意の一般的なプロセッサ等であってもよい。
【0144】
メモリ１２０２は、電子機器１２の内部記憶ユニット、例えば電子機器１２のハードディスク又はＲＡＭであってもよい。メモリ１２０２は、電子機器１２の外部記憶機器、例えば電子機器１２に装備するプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ，ＳＭＣ）、セキュリティデジタル（ＳｅｃｕｒｅＤｉｇｉｔａｌ，ＳＤ）カード、フラッシュカード（ＦｌａｓｈＣａｒｄ）等であってもよい。さらに、メモリ１２０２は、電子機器１２の内部記憶ユニットを含むだけでなく外部記憶機器も含むことができる。メモリ１２０２は、コンピュータプログラムと、電子機器に所要のほかのプログラム及びデータを記憶するためのものである。メモリ１２０２は、出力された、又は出力されるべきデータを一時的に記憶するために用いられてもよい。
【0145】
当業者であれば、説明の利便性及び簡潔のために、上記各機能ユニット、モジュールの分割のみを例に挙げて説明したが、実際の適用において、必要に応じて上記機能を異なる機能ユニット、モジュールに割り当てて完成させることができ、すなわち装置の内部構造を異なる機能ユニット又はモジュールに分割することにより、以上に説明した全て又は一部の機能を完了することを明確に理解することができる。実施例における各機能ユニット、モジュールは一つの処理ユニットに統合されてもよく、各ユニットが単独で物理的に存在してもよく、二つ以上のユニットが一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。なお、各機能ユニット、モジュールの具体的な名称について互いに区別されやすいためのものであり、本願の保護範囲を限定するものではない。上記システムにおけるユニット、モジュールの具体的な動作過程については、前述方法の実施例における対応過程を参照することができ、ここで説明を省略する。
【0146】
上記実施例において、各実施例に対する説明はそれぞれの重点を有し、ある実施例において詳しく説明又は記載されていない部分については、他の実施例の関連説明を参照することができる。
【0147】
当業者であれば、本明細書に公開された実施例で説明された各例のユニット及びアルゴリズムステップを、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現することができることを意識することができる。これらの機能がハードウェアで実行されるか、あるいはソフトウェアで実行されるかについては、技術的解決手段の特定の適用及び設計の制約条件に決められる。当業者はそれぞれの特定の適用に対して異なる方法を用いて説明された機能を実現してもよいが、このような実現は本公開の範囲を超えると考えられるべきではない。
【0148】
本公開で提供される実施例において、公開された装置／電子機器及び方法は、他の方式で実現することができると理解すべきである。例えば、上記説明された装置／電子機器の実施例は例示的なものに過ぎず、例えば、モジュール又はユニットの分けは、論理的機能分けに過ぎず、実際に実現時に他の分け方式があてもよく、例えば複数のユニット又はコンポーネントを結合するか又は他のシステムに統合することができ、又はいくつかの特徴を無視するか、あるいは実行しなくてもよい。また、表示されるか又は議論される相互間の結合又は直接結合又は通信接続はいくつかのインタフェース、装置又はユニットによる間接結合又は通信接続であってもよく、電気的、機械的又は他の形式であってもよい。
【0149】
分離部材として説明されるユニットは物理的に分離されてもよいし、又はそうでなくてもよく、ユニットとして表示される部材は物理的ユニットであってもよいし又はそうでなくてもよく、即ち１つの箇所に位置してもよいし、又は複数のネットワークユニットに分布してもよい。実際な需要に応じてそのうちの一部又は全部のユニットを選択して本実施例の方案の目的を達成することができる。
【0150】
なお、本公開における各機能ユニットは一つの処理ユニットに統合されてもよいし、各ユニットが単独で物理的に存在してもよいし、二つ以上のユニットが一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。
【0151】
統合されたモジュール／ユニットは、ソフトウェア機能ユニットの形式で実現されるとともに、独立した製品として販売されるか又は使用される場合に、コンピュータ読取可能な記憶媒体に記憶されてもよい。このような理解により、本公開は上記実施例の方法における全部又は一部のプロセスの実現について、コンピュータプログラムにより関連するハードウェアを指令して完了することができ、コンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶することができ、該コンピュータプログラムがプロセッサにより実行される場合に、上記それぞれの方法実施例のステップを実現することができる。コンピュータプログラムは、コンピュータプログラムコードを含んでもよく、コンピュータプログラムコードはソースコード形式、オブジェクトコード形式、実行可能なファイル又はある中間形式等であってもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコードをキャリア可能な任意のエンティティ又は装置、記録媒体、Ｕディスク、リムーバブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体等を含んでもよい。なお、コンピュータ読み取り可能な記憶媒体に含まれた内容は司法管轄エリア内立法及び特許実践の要求に応じて適当に増減を行うことができ、例えばある司法管轄エリアにおいて、立法及び特許実践に基づいて、コンピュータ読み取り可能な記憶媒体は電気搬送波信号及び電気通信信号を含まない。
【0152】
上記した実施例は本公開の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前述の実施例を参照して本公開を詳細に説明したが、当業者は、依然として前述の各実施例に記載の技術的解決手段を補正してもよく、又はそのうちの一部の技術的特徴を同等置換することができるが、これらの補正又は置換が、対応する技術的解決手段の実質が本公開の各実施例の技術的解決手段の思想及び範囲から逸脱することがなく、いずれも本公開の保護範囲内に含まれるべきであることを理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】