特許 6868061 人物追跡方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6868061

(24)【登録日】2021年4月13日

(45)【発行日】2021年5月12日

(54)【発明の名称】人物追跡方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210426BHJP

   H04N 7/18 20060101ALI20210426BHJP

【ＦＩ】

   G06T7/20 300Z

   H04N7/18 D

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2019-122659(P2019-122659)

(22)【出願日】2019年7月1日

(65)【公開番号】特開2019-204518(P2019-204518A)

(43)【公開日】2019年11月28日

【審査請求日】2019年7月1日

(31)【優先権主張番号】201810710538.X

(32)【優先日】2018年7月2日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100106297

【弁理士】

【氏名又は名称】伊藤 克博

(72)【発明者】

【氏名】ワン、 ジーガン

(72)【発明者】

【氏名】ワン、 ジエン

(72)【発明者】

【氏名】リー、 シュビン

(72)【発明者】

【氏名】カン、 ラ

(72)【発明者】

【氏名】リウ、 ズユ

(72)【発明者】

【氏名】リウ、 シャオ

(72)【発明者】

【氏名】スン、 ハオ

(72)【発明者】

【氏名】ウエン、 シーレイ

(72)【発明者】

【氏名】バオ、 インズ

(72)【発明者】

【氏名】チェン、 ミンユー

(72)【発明者】

【氏名】ディン、 エルイ

【審査官】 武田 広太郎

(56)【参考文献】

【文献】 特開２０１４−２４１５７８（ＪＰ，Ａ）

【文献】 特開２００８−２１７７１４（ＪＰ，Ａ）

【文献】 特開２０１８−０３２０７８（ＪＰ，Ａ）

【文献】 特開２００４−０４６６４７（ＪＰ，Ａ）

【文献】 特開２０１７−１６３２８６（ＪＰ，Ａ）

【文献】 特開２０１０−２３８１８７（ＪＰ，Ａ）

【文献】 特開２０１７−０１６３５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

人物追跡装置によって実行される人物追跡方法であって、
前記人物追跡装置が対象撮影機器が現時点で撮影した現フレーム画像を取得するステップと、
前記人物追跡装置が前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得するステップと、
前記人物追跡装置が予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算するステップと、
前記人物追跡装置が前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定する前記ステップと、を含み、前記対象位置情報は、第１位置情報と第２位置情報のうちより正確な方の位置情報であり、
ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、前記人物追跡装置が複数の撮影機器が過去の異なる時点で撮影した画像に基づいて確定されるものであり、
前記人物追跡装置が第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定する前記ステップは、
前記人物追跡装置が前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することと、
前記人物追跡装置が前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報とに基づいて、前記現フレーム画像内で前記第２位置情報と一致しない第１位置情報に対応する第２人物を確定することと、
前記人物追跡装置が前記第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定することと、を含み、
前記人物追跡装置が第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することは、
前記人物追跡装置が前記第１人物の前記現フレーム画像における第２位置情報を前記現フレーム画像におけるすべての人物の第１位置情報と比較することと、
前記人物追跡装置が前記現フレーム画像におけるすべての人物の第１位置情報がいずれも前記第２位置情報と一致しない場合、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を抽出することと、
前記人物追跡装置が前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較することと、
前記人物追跡装置が前記プリセットリストに前記第１領域の画像特徴と一致する歩行者特徴がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とすることと、を含み、
前記方法は、前記現フレーム画像におけるすべての人物の第１位置情報のうち前記第２位置情報と一致する第１位置情報がある場合、前記人物追跡装置が前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とすること、をさらに含み、
前記人物追跡装置が第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定することは、
前記人物追跡装置が前記現フレーム画像内で前記第２人物に対応する第２領域の画像特徴を抽出することと、
前記人物追跡装置が前記第２領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較することと、
前記人物追跡装置が前記プリセットリストに前記第２領域の画像特徴と一致する歩行者特徴がある場合、前記第２人物の第１位置情報を前記第２人物の前記現フレーム画像における対象位置情報とすることと、を含むことを特徴とする人物追跡方法。

【請求項2】

前記方法は、さらに、
前記人物追跡装置が前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記予め設置した追跡アルゴリズムに対応する追跡器のパラメータを更新すること、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記方法は、さらに、
前記人物追跡装置が前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記プリセットリストのうち追跡できた歩行者特徴を更新すること、を含むことを特徴とする請求項１に記載の方法。

【請求項4】

対象撮影機器が現時点で撮影した現フレーム画像を取得するために用いられる取得モジュールと、
前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得するために用いられる検知モジュールと、
予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算するために用いられる計算モジュールと、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定するために用いられる確定モジュールと、を含み、
前記対象位置情報は、第１位置情報と第２位置情報のうちより正確な方の位置情報であり、
ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が過去の異なる時点で撮影した画像に基づいて確定されるものであり、
前記確定モジュールは、具体的には、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することと、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報とに基づいて、前記現フレーム画像内で前記第２位置情報と一致しない第１位置情報に対応する第２人物を確定することと、
前記第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定することと、に用いられ、
前記確定モジュールは、
前記第１人物の前記現フレーム画像における第２位置情報を前記現フレーム画像におけるすべての人物の第１位置情報と比較するために用いられる比較ユニットと、
前記現フレーム画像におけるすべての人物の第１位置情報がいずれも前記第２位置情報と一致しない場合、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を抽出するために用いられる特徴抽出ユニットと、
前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較するために用いられる比較ユニットと、
前記プリセットリストに前記第１領域の画像特徴と一致する歩行者特徴がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とするために用いられる確定ユニットとを含み、
前記確定ユニットは、さらに、前記現フレーム画像におけるすべての人物の第１位置情報のうち前記第２位置情報と一致する第１位置情報がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とするために用いられ、
前記特徴抽出ユニットは、さらに、前記現フレーム画像内で前記第２人物に対応する第２領域の画像特徴を抽出するために用いられ、
前記比較ユニットは、さらに、前記第２領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較するために用いられ、
前記確定ユニットは、さらに、前記プリセットリストに前記第２領域の画像特徴と一致する歩行者特徴がある場合、前記第２人物の第１位置情報を前記第２人物の前記現フレーム画像における対象位置情報とするために用いられる、ことを特徴とする人物追跡装置。

【請求項5】

前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記予め設置した追跡アルゴリズムに対応する追跡器のパラメータを更新するために用いられる更新モジュールをさらに含む、ことを特徴とする請求項４に記載の人物追跡装置。

【請求項6】

さらに、前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記プリセットリストのうち追跡できた歩行者特徴を更新するために用いられる更新モジュールをさらに含む、ことを特徴とする請求項４に記載の人物追跡装置。

【請求項7】

メモリと、
プロセッサと、
コンピュータプログラムと、を含み、
ここで、前記コンピュータプログラムは、前記メモリに記憶され、且つ請求項１〜３のいずれか１項に記載の方法を実施するために、前記プロセッサにより執行されるように構成されること、を特徴とする画像処理機器。

【請求項8】

プロセッサによる執行で請求項１〜３のいずれか１項に記載の方法を実施するためのコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、通信技術分野に関し、特に人物追跡方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

従来技術では、撮影機器で撮影したビデオ又は画像に人物が含まれる可能性があり、異なる画像における人物を追跡する必要がある場合もある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、空間における人物の位置は常に変化するものである可能性があり、その結果、異なる画像における同じ人物の位置も変化するもので、それにより画像内で行われる人物追跡の正確さが低い。

【課題を解決するための手段】

【0004】

本発明の実施例は、画像内で行われる人物追跡の正確さを改善するために、人物追跡方法、装置、機器及び記憶媒体を提供する。

【0005】

第１態様では、本発明の実施例に係る人物追跡方法は、
対象撮影機器が現時点で撮影した現フレーム画像を取得するステップと、
前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得するステップと、
予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算するステップと、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定するステップと、を含み、
ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されるものである。

【0006】

第２態様では、本発明の実施例に係る人物追跡装置は、
対象撮影機器が現時点で撮影した現フレーム画像を取得するために用いられる取得モジュールと、
前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得するために用いられる検知モジュールと、
予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算するために用いられる計算モジュールと、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定するために用いられる確定モジュールと、を含み、
ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されるものである。

【0007】

第３態様では、本発明の実施例に係る画像処理機器は、
メモリと、
プロセッサと、
コンピュータプログラムと、を含み、
ここで、前記コンピュータプログラムは、前記メモリに記憶され、且つ第１態様に記載の方法を実施するために、前記プロセッサにより執行されるように構成される。

【0008】

第４態様では、本発明の実施例に係るコンピュータ可読記憶媒体には、第１態様に記載の方法を実施するための、プロセッサにより執行されるコンピュータプログラムが記憶されている。

【発明の効果】

【0009】

本発明の実施例は、人物追跡方法、装置、機器及び記憶媒体を提供し、現フレーム画像におけるすべての人物を検知することにより、前記現フレーム画像におけるすべての人物の第１位置情報を取得し、及び予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算し、前記第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定し、前記前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されるものであり、前記対象位置情報は、第１位置情報と第２位置情報のうちより正確な方の位置情報であり、それにより、画像内で行われる人物追跡の正確さを向上させる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例に係る応用シーンを示す模式図である。

【図2】本発明の実施例に係る人物追跡方法のフローチャートである。

【図3】本発明の実施例に係る現フレーム画像を示す模式図である。

【図4】本発明の実施例に係る人物追跡を示す模式図である。

【図5】本発明の他の実施例に係る人物追跡方法のフローチャートである。

【図6】本発明の実施例に係る現フレーム画像を示す模式図である。

【図7】本発明の実施例に係る人物追跡装置の構造を示す模式図である。

【図8】本発明の実施例に係る画像処理機器の構造を示す模式図である。

【0011】

上記の添付図面により、本発明に明確に開示された実施例を示し、より詳細な説明は後述する。これらの添付図面とテキストの説明は、いかなる方法で本発明の構想範囲を制限するためのものではなく、特定の実施例を参考としながら、当業者に本発明の概念を説明するためのものである。

【発明を実施するための形態】

【0012】

ここでは、例示的な実施例について詳細に説明し、その例を添付図面に表す。図面に関する以下の説明について、特に明記しない限り、異なる添付図面における同じ数字は同じ又は同様の要素を表す。以下の例示的な実施例に記載された実施形態は、本発明と一致するすべての実施形態を示せず、特許請求の範囲に詳述した、本発明の一部の態様と一致する装置及び方法の例にすぎない。

【0013】

本発明に係る人物追跡方法は、図１に示す応用シーンに適用できる。図１に示すように、前記応用シーンは、具体的には、例えばスーパーマーケット、ショッピングモールなどの図１に示すような閉鎖環境１１にすることができる。閉鎖環境１１には複数の撮影機器、例えば、撮影機器１２、撮影機器１３、撮影機器１４、撮影機器１５、撮影機器１６が設置されており、ここは例示的な説明に過ぎず、前記閉鎖環境における撮影機器の数も、複数の撮影機器が前記閉鎖環境における位置も制限しない。具体的には、複数の撮影機器により前記閉鎖環境における異なる位置を撮影することができる。

【0014】

本発明に係る人物追跡方法は、従来技術の上記のような技術的問題を解決することを目的とする。

【0015】

以下、本発明の技術的解決手段及び本願の技術的解決手段でどのように上記の技術的問題を解決するかについて、具体的な実施例を参照しながら詳細に説明する。以下の具体的な実施例は組み合わせて使うことができ、一部の実施例では、同じ又は同様の概念又はプロセスについての詳細な説明を省略する。以下、添付図面を参照しながら、本発明の実施例について説明する。

【0016】

図２は、本発明の実施例に係る人物追跡方法のフローチャートである。本発明の実施例は、従来技術の上記のような技術的問題に対して、人物追跡方法を提供し、前記方法は具体的に以下のステップを含む。

【0017】

ステップ２０１では、対象撮影機器が現時点で撮影した現フレーム画像を取得する。

【0018】

図１に示すような応用シーンに、人物追跡装置もさらに含まれ、前記人物追跡装置は複数の撮影機器から独立した機器であってもよく、各撮影機器に集積されている部材であってもよい。

【0019】

人物追跡装置が複数の撮影機器から独立した機器である場合、前記人物追跡装置は複数の撮影機器それぞれに通信接続され、通信接続方法は有線接続でも無線接続でもよい。又は、複数の撮影機器それぞれは１つの人物追跡装置に接続され、各撮影機器に対応する人物追跡装置が互いに通信接続される。

【0020】

前記人物追跡装置が各撮影機器内に集積された部材である場合、各撮影機器は１つの人物追跡装置を含み、各撮影機器に含まれている人物追跡装置が互いに通信接続される。

【0021】

図１に示すように、前記人物追跡装置１７は、閉鎖環境１１におけるローカルコンピュータであってもよく、閉鎖環境１１以外のリモートサーバ、クラウドサーバなどであってもよい。又は、前記人物追跡装置１７は、具体的に画像処理機能を有する端末機器であってもよい。本実施例において、人物追跡装置１７は複数の撮影機器それぞれに通信接続され、具体的には、人物追跡装置１７は各撮影機器が撮影した画像情報を受信する。例えば、人物追跡装置１７は、撮影機器１２のような対象撮影機器が現時点で撮影した現フレーム画像を受信する。

【0022】

ステップ２０２では、前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得する。

【0023】

人物追跡装置１７は、撮影機器１２から送信された現フレーム画像を受信した後、前記現フレーム画像における人物を認識し、即ち前記現フレーム画像におけるすべての人物を検知し、且つ現フレーム画像におけるすべての人物の第１位置情報を取得する。

【0024】

図３に示すように、３０は撮影機器１２が現時点で撮影した現フレーム画像を示し、人物追跡装置１７は、訓練済みの歩行者検知モデルを用いて現フレーム画像３０における人物を検知し、例えば、図３に示すような複数の人物，例えば人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅを検知し、図３に示す複数の点線枠のような現フレーム画像３０におけるすべての人物の境界枠を取得し、ここは例示的な説明に過ぎず、現フレーム画像３０に含まれる人物の数と位置を制限するものではない。

【0025】

例えば、点線枠３１は、図３に示すように、複数の人物のうちある人物の境界枠であり、点線枠３１に基づいて前記人物が現フレーム画像３０における第１位置情報を確定することができ、具体的には、前記人物が現フレーム画像３０における第１位置情報は、点線枠３１の左上隅、例えば点３２の現フレーム画像３０における座標及び点線枠３１の高さと幅を含む。現フレーム画像３０において、その他の人物の第１位置情報はそれと同様であるため、詳細な説明を省略する。

【0026】

必要に応じて、人物追跡装置１７は、現フレーム画像３０、現フレーム画像３０における人物、及び人物の境界枠を表示しなくてもよく、現フレーム画像３０におけるすべての人物の第１位置情報のみを確定した後、前記すべての人物の第１位置情報を記憶する。又は、人物追跡装置１７は、現フレーム画像３０、現フレーム画像３０における人物、及び人物の境界枠を表示してもよく、現フレーム画像３０におけるすべての人物の第１位置情報を確定した後、前記すべての人物の第１位置情報を記憶する。即ち、本実施例において、人物の第１位置情報は、人物追跡装置１７が歩行者検知モデルを用いて現フレーム画像３０における人物を検知して取得したものである。

【0027】

ステップ２０３では、予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算する。

【0028】

図４に示すように,４０は、現フレーム画像３０の前のフレーム画像を示し、４１、４２、４３は、人物追跡装置１７が予め設定した追跡アルゴリズム、例えばカーネル化相関フィルタ（ｋｅｒｎｅｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ ｆｉｌｔｅｒｓ、ＫＣＦ）追跡アルゴリズムを用いて前フレーム画像４０内で追跡できた人物であり、ここで、人物４１、人物４２、人物４３を第１人物と記録する。具体的には、人物追跡装置１７が前フレーム画像４０における人物を追跡した結果は、人物４１、人物４２、人物４３それぞれの前フレーム画像４０における位置情報及び人物４１、人物４２、人物４３それぞれの識別情報例えばＩＤ番号を含む。人物４１、人物４２、人物４３の前フレーム画像４０における位置情報は、具体的に各人物の境界枠の左上隅の前フレーム画像４０における座標及び境界枠の高さと幅である。

【0029】

人物追跡装置１７が現フレーム画像３０を取得した後、現フレーム画像３０及び人物追跡装置１７の前フレーム画像４０における人物に対する追跡結果に基づいて、ＫＣＦ追跡アルゴリズムを用いて前フレーム画像４０内で追跡できた第１人物、例えば人物４１、人物４２、人物４３の現フレーム画像３０における位置情報を計算し、ここでは、人物４１、人物４２、人物４３の現フレーム画像３０における位置情報を第２位置情報と記録する。即ち、本実施例において、人物の第２位置情報は、人物追跡装置１７が予め設定した追跡アルゴリズム、例えばＫＣＦ追跡アルゴリズムを用いて、前フレーム画像４０における人物を追跡して取得した前記人物の現フレーム画像３０における位置情報である。

【0030】

追跡プロセスにおいて、人物の位置情報及び外観の特徴を利用する。図４に示すように、現フレーム画像３０内で追跡できた人物４１、人物４２、人物４３は、前フレーム画像４０内で追跡できた人物４１、人物４２、人物４３に比べて、各人物の位置が変化した。

【0031】

ステップ２０４では、前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定する。

【0032】

ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されるものである。

【0033】

本実施例において、人物追跡装置１７は、複数の撮影機器が撮影した過去の画像を受信でき、各撮影機器が撮影した過去の画像に基づいて、前記過去の画像における歩行者特徴を確定することができ、且つ前記過去の画像における歩行者特徴に基づいて、プリセットリストを生成し、前記プリセットリストには歩行者特徴及び前記歩行者特徴に対応する歩行者の識別情報、例えばＩＤ番号が記憶されている。

【0034】

図３に示すように、人物追跡装置１７は、訓練済みの歩行者検知モデルを用いて現フレーム画像３０における人物を検知して、現フレーム画像３０におけるすべての人物の境界枠を取得し、それにより検知されたすべての人物の現フレーム画像３０における第１位置情報を取得する。図４に示すように、処理装置１７は、予め設定した追跡アルゴリズム、例えばＫＣＦ追跡アルゴリズムを用いて前フレーム画像４０における人物を追跡して取得した前記人物の現フレーム画像３０における第２位置情報を取得する。図３に示される人物Ａと図４に示される人物４１が同一人物であると、図３に示される人物Ｂと図４に示さるる人物４２は同一人物であると、図３に示す人物Ｃと図４に示す人物４３も同一人物であると仮定すると、人物Ａの現フレーム画像３０における第１位置情報と人物４１の現フレーム画像３０における第２位置情報は異なる可能性もあり、人物Ｂの現フレーム画像３０における第１位置情報と人物４２の現フレーム画像３０における第２位置情報も異なる可能性があり、人物Ｃの現フレーム画像３０における第１位置情報と人物４３の現フレーム画像３０における第２位置情報も異なる可能性があるということが理解できる。したがって、現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定する必要がある。

【0035】

具体的には、前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定する前記ステップは、前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することと、前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報とに基づいて、前記現フレーム画像内で前記第２位置情報と一致しない第１位置情報に対応する第２人物を確定することと、前記第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定することと、を含む。

【0036】

例えば、人物４１、人物４２、人物４３の現フレーム画像３０における第２位置情報と、現フレーム画像３０におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、人物４１、人物４２、人物４３の現フレーム画像３０における対象位置情報を確定し、前記対象位置情報は、第１位置情報と第２位置情報のうちより正確な方の位置情報である。

【0037】

さらに、人物４１、人物４２、人物４３のそれぞれの現フレーム画像３０における第２位置情報を現フレーム画像３０におけるすべての人物の第１位置情報と比較し、現フレーム画像３０におけるすべての人物の第１位置情報から人物４１、人物４２又は人物４３の現フレーム画像３０における第２位置情報と一致する第１位置情報を確定する。例えば、比較により、人物Ａの現フレーム画像３０における第１位置情報と人物４１の現フレーム画像３０における第２位置情報が一致し、人物Ｂが現フレーム画像３０における第１位置情報と人物４２の現フレーム画像３０における第２位置情報が一致し、人物Ｃの現フレーム画像３０における第１位置情報と人物４３の現フレーム画像３０における第２位置情報が一致することを確定し、即ち、人物Ａと人物４１が一致し、人物Ｂと人物４２が一致し、人物Ｃと人物４３が一致する。このように、人物Ｄは人物４１、人物４２、人物４３のいずれとも一致せず、人物Ｅは人物４１、人物４２、人物４３のいずれとも一致せず、現フレーム画像３０は撮影機器１２が現時点で撮影したものであるため、人物Ｄと人物Ｅは現時点に撮影機器１２の撮影範囲内に新しく入ってきた人物である可能性があることが分かる。ここでは、追跡できた人物、例えば人物４１、人物４２、人物４３のいずれと一致しない人物を第２人物と記録し、さらに人物Ｄと人物Ｅの現フレーム画像３０における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、人物Ｄと人物Ｅの現フレーム画像３０における対象位置情報を確定する。

【0038】

具体的には、前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することは、前記第１人物の前記現フレーム画像における第２位置情報を前記現フレーム画像におけるすべての人物の第１位置情報と比較することと、前記現フレーム画像におけるすべての人物の第１位置情報がいずれも前記第２位置情報と一致しない場合、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を抽出することと、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較することと、前記プリセットリストに前記第１領域の画像特徴と一致する歩行者特徴がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とすることとを含む。例えば、人物追跡装置１７が人物４１の現フレーム画像３０における第２位置情報を用いて現フレーム画像３０における人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅの第１位置情報それぞれとのマッチングを行う時、人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅの第１位置情報はいずれも人物４１の現フレーム画像３０における第２位置情報と一致しない場合、現フレーム画像３０における人物４１に対応する領域の画像特徴を抽出し、ここでは、現フレーム画像３０における人物４１、人物４２、人物４３に対応する領域を第１領域と記録する。図４に示すように、点線枠４４は現フレーム画像３０における人物４１に対応する領域である。点線枠４４の位置情報は、人物４１の現フレーム画像３０における第２位置情報である。さらに、人物追跡装置１７は、点線枠４４における画像特徴をプリセットリストに記憶されている追跡できたすべての歩行者特徴と比較し、具体的には、前記プリセットリストには追跡できたすべての歩行者特徴及び前記歩行者特徴に対応する歩行者ＩＤが記憶されている。必要に応じて、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、人物追跡装置１７が図１に示された複数の撮影機器が過去の異なる時点で撮影した画像に基づいて確定されたものであってもよく、前記複数の撮影機器は撮影機器１２のような対象撮影機器を含んでもよく、撮影機器１２のような対象撮影機器を含まなくてもよい。なお、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、図１に示された閉鎖環境１１におけるすべての歩行者特徴であってもよいことが理解できる。具体的には、前記プリセットリストに点線枠４４における画像特徴と一致する歩行者特徴がある場合、人物４１の現フレーム画像３０における第２位置情報を人物４１の現フレーム画像３０における対象位置情報とする。前記プリセットリストに点線枠４４における画像特徴と一致する歩行者特徴がない場合、人物４１の現フレーム画像３０における第２位置情報を破棄し、即ち、人物４１の現フレーム画像３０における第２位置情報が正確でないと見なす。

【0039】

同様に、人物追跡装置１７が人物４２（又は人物４３）の現フレーム画像３０における第２位置情報を用いて現フレーム画像３０における人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅの第１位置情報それぞれとのマッチングを行うとき、人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅの第１位置情報がいずれも人物４２（又は人物４３）の現フレーム画像３０における第２位置情報と一致しないと、人物追跡装置１７はさらに上記プリセットリストに記憶されている歩行者特徴と比較する方法を用いて、人物４２（又は人物４３）の現フレーム画像３０における対象位置情報を確定することができる。

【0040】

また、前記現フレーム画像におけるすべての人物の第１位置情報に前記第２位置情報と一致する第１位置情報がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とする。

【0041】

具体的には、人物追跡装置１７が人物４１の現フレーム画像３０における第２位置情報を用いて現フレーム画像３０における人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅの第１位置情報それぞれとのマッチングを行い、人物Ａ、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅのうち、例えば人物Ａの第１位置情報が人物４１の現フレーム画像３０における第２位置情報と一致する人物があると、人物４１の現フレーム画像３０における第２位置情報を人物４１の現フレーム画像３０における対象位置情報とする。同様に、人物Ｂの第１位置情報が人物４２の現フレーム画像３０における第２位置情報と一致すると、人物４２の現フレーム画像３０における第２位置情報を人物４２の現フレーム画像３０における対象位置情報とし、人物Ｃの第１位置情報が人物４３の現フレーム画像３０における第２位置情報と一致すると、人物４３の現フレーム画像３０における第２位置情報を人物４３の現フレーム画像３０における対象位置情報とする。

【0042】

本発明の実施例は、現フレーム画像におけるすべての人物を検知することにより、前記現フレーム画像におけるすべての人物の第１位置情報を取得し、且つ予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算し、前記第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定し、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されたものであり、前記対象位置情報は、第１位置情報と第２位置情報のうちより正確な方の位置情報であり、それにより画像内で行われる人物追跡の正確さを向上させた。

【0043】

図５は、本発明の他の実施例に係る人物追跡方法のフローチャートである。上記実施例を基に、前記第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定する前記方法は、具体的に以下のステップを含む。

【0044】

ステップ５０１では、前記現フレーム画像内で前記第２人物に対応する第２領域の画像特徴を抽出する。

【0045】

図３に示すように、点線枠３１は、現フレーム画像３０内で人物Ｅが占める領域で、点線枠３３は、現フレーム画像３０内で人物Ｄが占める領域であり、ここでは、現フレーム画像３０内で人物Ｅと人物Ｄが占める領域を第２領域と記録する。具体的には、人物追跡装置１７が点線枠３１内の画像特徴及び点線枠３３内の画像特徴を抽出する。

【0046】

ステップ５０２では、前記第２領域の画像特徴をプリセットリストに記憶されている追跡できたすべての歩行者特徴と比較する。

【0047】

必要に応じて、人物追跡装置１７は、点線枠３１内の画像特徴をプリセットリストに記憶されている追跡できたすべての歩行者特徴と比較し、且つ点線枠３３内の画像特徴をプリセットリストに記憶されている追跡できたすべての歩行者特徴と比較する。

【0048】

ステップ５０３では、前記プリセットリストに前記第２領域の画像特徴と一致する歩行者特徴がある場合、前記第２人物の第１位置情報を前記第２人物の前記現フレーム画像における対象位置情報とする。

【0049】

前記プリセットリストに点線枠３１内の画像特徴と一致する歩行者特徴がある場合、人物Ｅの現フレーム画像３０における第１位置情報を人物Ｅの現フレーム画像３０における対象位置情報とする。前記プリセットリストに点線枠３１内の画像特徴と一致する歩行者特徴がない場合、人物Ｅの現フレーム画像３０における第１位置情報を破棄し、即ち人物Ｅの現フレーム画像３０における第１位置情報が正確でないと見なす。

【0050】

同様に、前記プリセットリストに点線枠３３内の画像特徴と一致する歩行者特徴がある場合、人物Ｄの現フレーム画像３０における第１位置情報を人物Ｄの現フレーム画像３０における対象位置情報とする。前記プリセットリストに点線枠３３内の画像特徴と一致する歩行者特徴がない場合、人物Ｄの現フレーム画像３０における第１位置情報を破棄し、即ち人物Ｄの現フレーム画像３０における第１位置情報が正確でないと見なす。

【0051】

また、図３に示された人物Ａ、人物Ｂと人物Ｃのうち人物Ａを例として、人物Ａの第１位置情報が図４に示された人物４１、人物４２、人物４３のいずれか一人の現フレーム画像３０における第２位置情報いずれとも一致しない場合、人物Ｄと人物Ｅの対象位置情報を確定する方法と同様の方法により、人物Ａの現フレーム画像３０における対象位置情報を確定することもできる。ここでは、具体的なプロセスの詳細な説明を省略する。

【0052】

また、前記方法は、本実施例を基に、前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記予め設置した追跡アルゴリズムに対応する追跡器のパラメータを更新することをさらに含む。

【0053】

人物４１、人物４２、人物４３の現フレーム画像３０における第２位置情報はいずれも対応する対象位置情報であり、人物Ｄと人物Ｅの現フレーム画像３０における第１位置情報がいずれも対応する対象位置情報であると仮定すると、図６に示された現フレーム画像３０におけるすべての人物の最終位置を確定することができる。

【0054】

本実施例において、一人の歩行者に１つの追跡器が対応し、人物追跡装置１７が現フレーム画像３０におけるすべての人物の最終位置を確定した後、現フレーム画像３０におけるすべての人物の最終位置に基づいて、現フレーム画像３０におけるすべての人物のそれぞれに対応する追跡器のパラメータを更新し、なお、前記追跡器はＫＣＦ追跡アルゴリズムのような予め設置した追跡アルゴリズムに関連していることが理解できる。

【0055】

さらに、前記方法は、本実施例を基に、前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記プリセットリストのうち追跡できた歩行者特徴を更新することを含む。

【0056】

なお、プリセットリストは、人物４１、人物４２、人物４３、人物Ｄ及び人物Ｅの歩行者特徴を含むが、これらに限定されず、人物追跡装置１７が現フレーム画像３０におけるすべての人物の最終位置を確定した後、さらに、人物４１、人物４２、人物４３、人物Ｄ及び人物Ｅの現フレーム画像３０における最終位置に基づいて、前記プリセットリストにおける人物４１、人物４２、人物４３、人物Ｄ及び人物Ｅそれぞれに対応する歩行者特徴を更新することが理解できる。

【0057】

本発明の実施例は、予め設定した追跡アルゴリズムに対応する追跡器のパラメータを常に更新することにより、予め設置した追跡アルゴリズムに対応する追跡器が追跡対象の位置と外観の変化に常に適応することができ、画像内での人物追跡の精度を向上させ、また、前記プリセットリストにおける追跡できた歩行者特徴を常に更新することにより、プリセットリストに最新の歩行者特徴が記憶されることを保証し、画像内での人物追跡の精度をさらに向上させる。

【0058】

図７は、本発明の実施例に係る人物追跡装置の構造を示す模式図である。本発明の実施例に係る人物追跡装置は、人物追跡方法の実施例に係る処理フローを執行することができ、図７に示すように、人物追跡装置７０は、取得モジュール７１と、検知モジュール７２と、計算モジュール７３と、確定モジュール７４とを含み、ここで、取得モジュール７１は、対象撮影機器が現時点で撮影した現フレーム画像を取得するために用いられ、検知モジュール７２は、前記現フレーム画像におけるすべての人物を検知して、前記現フレーム画像におけるすべての人物の第１位置情報を取得するために用いられ、計算モジュール７３は予め設定した追跡アルゴリズムを用いて前記現フレーム画像の前のフレーム画像内で追跡できた第１人物の前記現フレーム画像における第２位置情報を計算するために用いられ、確定モジュール７４は前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記現フレーム画像内でのすべての人物の前記現フレーム画像における対象位置情報を確定するために用いられ、ここで、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴は、複数の撮影機器が撮影した過去の画像に基づいて確定されるものである。

【0059】

必要に応じて、確定モジュール７４は、具体的には、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報と、プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第１人物の前記現フレーム画像における対象位置情報を確定することと、
前記第１人物の前記現フレーム画像における第２位置情報と、前記現フレーム画像におけるすべての人物の第１位置情報とに基づいて、前記現フレーム画像内で前記第２位置情報と一致しない第１位置情報に対応する第２人物を確定することと、
前記第２人物の前記現フレーム画像における第１位置情報と、前記プリセットリストに記憶されている追跡できたすべての歩行者特徴とに基づいて、前記第２人物の前記現フレーム画像における対象位置情報を確定することと、に用いられる。

【0060】

必要に応じて、確定モジュール７４は、比較ユニット７４１と、特徴抽出ユニット７４２と、確定ユニット７４３とを含み、比較ユニット７４１は、前記第１人物の前記現フレーム画像における第２位置情報を前記現フレーム画像におけるすべての人物の第１位置情報と比較するために用いられ、特徴抽出ユニット７４２は前記現フレーム画像におけるすべての人物の第１位置情報がいずれも前記第２位置情報と一致しない場合、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を抽出するために用いられ、比較ユニット７４１は、さらに、前記現フレーム画像内で前記第２位置情報に対応する第１領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較するために用いられ、確定ユニット７４３は、前記プリセットリストに前記第１領域の画像特徴と一致する歩行者特徴がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とするために用いられる。

【0061】

必要に応じて、確定ユニット７４３は、さらに、前記現フレーム画像におけるすべての人物の第１位置情報に前記第２位置情報と一致する第１位置情報がある場合、前記第２位置情報を前記第１人物の前記現フレーム画像における対象位置情報とするために用いられる。

【0062】

必要に応じて、特徴抽出ユニット７４２は、前記現フレーム画像内で前記第２人物に対応する第２領域の画像特徴を抽出するために用いられ、比較ユニット７４１は、前記第２領域の画像特徴を前記プリセットリストに記憶されている追跡できたすべての歩行者特徴と比較するために用いられ、確定ユニット７４３は、前記プリセットリストに前記第２領域の画像特徴と一致する歩行者特徴がある場合、前記第２人物の第１位置情報を前記第２人物の前記現フレーム画像における対象位置情報とするために用いられる。

【0063】

必要に応じて、人物追跡装置７０は、さらに、前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記予め設置した追跡アルゴリズムに対応する追跡器のパラメータを更新するために用いられる更新モジュール７５を含む。

【0064】

必要に応じて、更新モジュール７５は、前記第１人物の前記現フレーム画像における対象位置情報と、前記第２人物の前記現フレーム画像における対象位置情報とに基づいて、前記プリセットリストのうち追跡できた歩行者特徴を更新するために用いられる。

【0065】

図７に示された実施例の人物追跡装置は、上記方法の実施例の技術的解決手段を執行するために用いられることができ、その実施原理と技術効果が同様であるため、ここでは、詳細な説明を省略する。

【0066】

図８は、本発明の実施例に係る画像処理機器の構造を示す模式図である。本発明の実施例に係る画像処理機器は、人物追跡方法の実施例に係る処理フローを執行することができ、図８に示すように、画像処理機器８０は、メモリ８１と、プロセッサ８２と、コンピュータプログラムと、通信インタフェース８３とを含み、ここで、上記実施例に係る人物追跡方法を執行するための、プロセッサ８２により執行されるコンピュータプログラムはメモリ８１に記憶される。

【0067】

図８に示された実施例の画像処理機器は、上記方法実施例の技術的解決手段を執行することができ、その実施原理と技術効果が同様であるため、ここでは、詳細な説明を省略する。

【0068】

また、本実施例は、さらに、プロセッサによる上記実施例に係る人物追跡方法を実施するためのコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。

【0069】

本発明に係るいくつかの実施例において、その他の方法で開示された装置及び方法を実施できることが理解できる。例えば、上述の装置の実施例は単なる例示であり、例えば、前記ユニットの分割は論理機能の分割にすぎず、実際に執行する際には別の分割方法もありえ、例えば複数のユニット又は部品を組み合わせて１つのシステムに集積してもよく、又は一部の特徴を無視するか、執行しなくてもよい。さらに、図示又は説明した相互結合又は直接結合又は通信接続は、何らかのインタフェース、装置又はユニットの間接結合又は通信接続であっても、電気的、機械的または他の形態であってもよい。

【0070】

前記分離部材として説明したユニットは、物理的に分離しても分離しなくてもよく、ユニットとして図示された部材は、物理的ユニットであってもなくてもよく、即ち、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要性に応じて、本実施例の手段と目的を実施するために一部又は全部のユニットを選択することができる。

【0071】

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが物理的に別々に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記の集積ユニットは、ハードウェアの形を用いてもよく、ソフトウェア機能ユニット付きハードウェアの形を用いてもよい。

【0072】

上記ソフトウェア機能ユニットの形で実施された集積ユニットは、コンピュータ可読記憶媒体に格納される。上記ソフトウェア機能ユニットは、記憶媒体に格納され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであり得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に説明された方法の一部のステップを執行させるためのコマンドを含む。前記記憶媒体は、フラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、光ディスクなど、プログラムコードを記憶することができる様々な媒体を含む。

【0073】

説明の便宜及び簡潔さのために、上記の各機能モジュールの分割を例として説明したが、実際の応用において、必要性に応じて上記機能が異なる機能モジュールにより執行されるように構成してもよく、即ち上述の全部又は一部の機能を執行するために、装置の内部構造を異なる機能モジュールに分割することは当業者には明らかであろう。上述の装置の具体的な作業プロセスは、前述方法の実施例における対応のプロセスを参考できるため、ここでは詳細な説明を省略する。

【0074】

最後に、以上の各実施例は本発明の技術的解決手段を説明するものにすぎず、それに限定されない。前述の各実施例を参照しながら、本発明について詳細に説明したが、当業者であれば、前述の各実施例に記載された技術的解決手段は変更でき、又はその一部又は全部の技術特徴に対して同価置換を行うことができ、これらの変更又は置換に対応する技術的解決手段は、本発明の各実施例の技術的解決手段の範囲から逸脱しないことを理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】