特許 7270617 歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-27

(45)【発行日】2023-05-10

(54)【発明の名称】歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230428BHJP

   G06T 7/60 20170101ALI20230428BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/60 110

【請求項の数】 18

(21)【出願番号】P 2020520032

(86)(22)【出願日】2018-10-24

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 CN2018111713

(87)【国際公開番号】W WO2019080881

(87)【国際公開日】2019-05-02

【審査請求日】2020-04-08

【審判番号】

【審判請求日】2022-06-29

(31)【優先権主張番号】201711002265.5

(32)【優先日】2017-10-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519274389

【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(73)【特許権者】

【識別番号】517241916

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】車 広 富

(72)【発明者】

【氏名】陳 宇

(72)【発明者】

【氏名】安 山

(72)【発明者】

【氏名】劉 強

(72)【発明者】

【氏名】翁 志

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】渡辺 努

(56)【参考文献】

【文献】特開２０１７－９７５１０（ＪＰ，Ａ）

【文献】特開２０１７－１２３０２４（ＪＰ，Ａ）

【文献】特開２００９－３１１３１１（ＪＰ，Ａ）

【文献】「ＣｒｏｗｄＶｉｓｉｏｎ － Ａｕｔｏｍａｔｅｄ ｃｕｓｔｏｍｅｒ ａｎａｌｙｔｉｃｓ ｆｏｒ ｒｅｔａｉｌ ｓｔｏｒｅｓ ａｎｄ ｍａｌｌｓ」、［ｏｎｌｉｎｅ］、２０１７年２月１９日、［令和４年１１月１５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｅｂ．ａｒｃｈｉｖｅ．ｏｒｇ／ｗｅｂ／２０１７０２１９１３５６２９／ｈｔｔｐｓ：／／ｗｗｗ．ｃｒｏｗｄｖｉｓｉｏｎ．ｃｏｍ／ｓｏｌｕｔｉｏｎｓ－ｒｅｔａｉｌ／＃ｔａｂ２＞

【文献】Ｚｈｉｑｉａｎｇ Ｌｉ ｅｔ ａｌ．， “Ｄｅｅｐ Ｐｅｏｐｌｅ Ｃｏｕｎｔｉｎｇ ｗｉｔｈ Ｆａｓｔｅｒ Ｒ－ＣＮＮ ａｎｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｔｒａｃｋｉｎｇ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｒｎｅｔ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｅｒｖｉｃｅ （ＩＣＩＭＣＳ’１６）， ２０１６．８．１９， Ｐａｇｅｓ ５７－６０

【文献】Ｋｗａｎｇ－Ｙｏｎｇ Ｋｉｍ ｅｔ ａｌ．， “Ｍｕｌｔｉ－ｏｂｊｅｃｔ ｔｒａｃｋｅｒ ｕｓｉｎｇ ｋｅｍｅｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ ｆｉｌｔｅｒ ｂａｓｅｄ ｏｎ ａｐｐｅａｒａｎｃｅ ａｎｄ ｍｏｔｉｏｎ ｍｏｄｅｌ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ （ＩＣＡＣＴ ２０１７）， ２０１７．２．１９， Ｐａｇｅｓ ７６１－７６４

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00 - 7/90

(57)【特許請求の範囲】

【請求項1】

現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップと、を含み、
前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップは、
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップを含み、
前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップは、
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップと、
前記類似度に応じて前記追跡シーケンスセットを更新するステップと、を含むことを特徴とする歩行者流量ファネル生成方法。

【請求項2】

前記現在のフレームの画像を取得する前に、前記方法は、
第１のフレームの画像を取得し、且つ、前記頭肩認識モデルに応じて前記第１のフレームの画像における頭肩領域を取得し、前記頭肩領域により前記追跡シーケンスセットの初期化を行うステップをさらに含む
ことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項3】

前記方法は、
性別年齢認識モデルに応じて前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識するステップをさらに含む
ことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項4】

前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップは、
前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成するステップを含むことを特徴とする請求項２に記載の歩行者流量ファネル生成方法。

【請求項5】

前記カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップは、
前記追跡シーケンスセットにおける各頭肩領域の直前のフレームの画像での位置に基づいて、前記現在のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標をそれぞれ取得するステップと、
各前記頭肩領域に対応するトラッカーに応じて、対応的に各前記頭肩領域に対応する候補追跡目標の応答値をそれぞれ計算するステップと、
各前記頭肩領域に対応する候補追跡目標における最大応答値を持つ候補追跡目標を、対応する頭肩領域の前記現在のフレームの画像での追跡目標として確定するステップと、
各前記頭肩領域の前記現在のフレームの画像での追跡目標に応じて、対応的に前記追跡シーケンスセットにおける各頭肩領域を更新するステップと、を含むことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項6】

前記方法は、各前記頭肩領域に対応するトラッカーを計算するステップをさらに含み、
各前記頭肩領域に対応するトラッカーを計算するステップは、
前記追跡シーケンスセットにおける各頭肩領域の前記直前のフレームの画像での位置に基づいて、前記直前のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する第１のトレーニングサンプルセットをそれぞれ取得するステップと、
各前記頭肩領域に対応する第１のトレーニングサンプルセットに応じて回帰モデルをそれぞれトレーニングして、各前記頭肩領域に対応するトラッカーを得るステップと、を含むことを特徴とする請求項５に記載の歩行者流量ファネル生成方法。

【請求項7】

前記方法は、畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップをさらに含み、
畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップは、
ＩｍａｇｅＮｅｔ分類データセットに応じてＭｏｂｉｌｅＮｅｔネットワークをトレーニングして、前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を得るステップと、
前記ＭｏｂｉｌｅＮｅｔネットワークに予め設けられた層数の畳み込み層を追加して、頭肩検出ネットワークを得るステップであって、前記畳み込み層のサイズを層ごとに小さくする、前記頭肩検出ネットワークを得るステップと、
前記頭肩領域がマークアップされた第２のトレーニングサンプルセットを取得し、前記第２のトレーニングサンプルセットに応じて前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、前記頭肩認識モデルを得るステップと、を含むことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項8】

【数1】

【請求項9】

前記類似度に応じて前記追跡シーケンスセットを更新するステップは、
前記類似度及び類似度の閾値に応じて、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域とをそれぞれマッチングするステップと、
マッチングに成功した場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、
マッチングに失敗した場合、前記現在のフレームの画像におけるマッチングに失敗した頭肩領域を前記追跡シーケンスセットに追加するステップと、を含むことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項10】

前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップは、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域及び対応する前記追跡シーケンスセットにおける頭肩領域の信頼度をそれぞれ計算するステップと、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域の信頼度が、対応する前記追跡シーケンスセットにおける頭肩領域の信頼度よりも大きい場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、を含むことを特徴とする請求項９に記載の歩行者流量ファネル生成方法。

【請求項11】

【数2】

【請求項12】

前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析する前に、前記方法は、
前記追跡シーケンスセットには、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない追跡状態にある頭肩領域がある場合、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない頭肩領域を追跡状態から異常状態に変更するステップと、
前記追跡シーケンスセットには、第２の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域がある場合、追跡シーケンスセットにおいて、第２の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域を削除するステップと、をさらに含むことを特徴とする請求項９に記載の歩行者流量ファネル生成方法。

【請求項13】

前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップは、
前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップと、
各頭肩領域の移動軌跡に応じて、仮想カウントラインを組み合わせて歩行者をカウントするステップと、を含むことを特徴とする請求項１に記載の歩行者流量ファネル生成方法。

【請求項14】

前記方法は、前記性別年齢認識モデルを構築するステップをさらに含み、
前記性別年齢認識モデルを構築するステップは、
ＬＦＷデータセット及びソーシャルネットワーキングサイトにおいて性別及び年齢範囲がマークアップされた第３のトレーニングサンプルセットを取得するステップと、
前記第３のトレーニングサンプルセットにより性別年齢ネットワークをトレーニングして、前記性別年齢認識モデルを得るステップであって、前記性別年齢ネットワークが３つの畳み込み層及び３つの全結合層を含む、前記性別年齢認識モデルを得るステップと、を含むことを特徴とする請求項３に記載の歩行者流量ファネル生成方法。

【請求項15】

現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される追跡更新モジュールと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するように構成される検出更新モジュールと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するように構成される技術生成モジュールと、を含み、
前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新することは、
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新することを含み、
前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新することは、
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算することと、
前記類似度に応じて前記追跡シーケンスセットを更新することと、を含むことを特徴とする歩行者流量ファネルを生成する装置。

【請求項16】

プロセッサにより実行される場合、請求項１～請求項１４のいずれか１項に記載の歩行者流量ファネル生成方法を実現することを特徴とするプログラム。

【請求項17】

請求項１６に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【請求項18】

プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより、請求項１～請求項１４のいずれか１項に記載の歩行者流量ファネル生成方法を実行するように構成されることを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１７年１０月２４日に出願された、発明の名称が「歩行者流量ファネル生成方法及び装置、記憶媒体、電子機器」であって、出願番号が２０１７１１００２２６５．５である中国特許出願に基づいて優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

【0002】

本発明は、データ処理技術の分野に関し、特に、歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器に関する。

【背景技術】

【0003】

社会の継続的な進歩に伴い、ビデオ監視システムの適用範囲は、益々拡大している。スーパーマーケット、ショッピングモール、体育館、空港、駅などの場所の出入口には、警備員及び管理者がこれらの場所の出入口を監視するように、監視カメラが取り付けられる。一方、スーパーマーケット、ショッピングモール、体育館、空港、駅などの場所に出入りする人流量は、上記の場所の運営者又は管理者にとって重要な意義を有し、ここで、人流量とは、一定の方向に流れる人数を指し、本明細書において、特に進入と退去の両方向に流れる人数を指す。

【0004】

従来のビデオ監視において、人流量の統計は、主に監視人員の手動清算によって実現されるが、正確率を確保しにくい問題が存在し、また人件費が高い。

【0005】

このため、人流量データ及び性別と年齢の統計データをより迅速且つ正確に取得し、さらに正確な人流量データ及び性別と年齢の統計データに基づいてより正確な歩行者流量ファネルを生成することができる歩行者流量ファネル生成方法を提供する必要がある。

【0006】

なお、上記の背景技術の部分に開示されている情報は、本発明の背景に対する理解を深めるためのものに過ぎないため、当業者に知られている従来技術を構成しない情報を含んでもよい。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、少なくともある程度で関連技術の制限及び欠陥による１つ又は複数の課題を解決するために、歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様によれば、歩行者流量ファネル生成方法を提供し、前記方法は、
現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップと、を含む。

【0009】

本発明の例示的な実施例において、前記現在のフレームの画像を取得する前に、前記方法は、
第１のフレームの画像を取得し、且つ、前記頭肩認識モデルに応じて前記第１のフレームの画像における頭肩領域を取得し、前記頭肩領域により前記追跡シーケンスセットの初期化を行うステップをさらに含む。

【0010】

本発明の例示的な実施例において、前記方法は、
性別年齢認識モデルに応じて前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識するステップをさらに含む。

【0011】

本発明の例示的な実施例において、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップは、
前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成するステップを含む。

【0012】

本発明の例示的な実施例において、前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップは、
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップを含む。

【0013】

本発明の例示的な実施例において、前記カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップは、
前記追跡シーケンスセットにおける各頭肩領域の直前のフレームの画像での位置に基づいて、前記現在のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標をそれぞれ取得するステップと、
各前記頭肩領域に対応するトラッカーに応じて、対応的に各前記頭肩領域に対応する候補追跡目標の応答値をそれぞれ計算するステップと、
各前記頭肩領域に対応する候補追跡目標における最大応答値を持つ候補追跡目標を、対応する頭肩領域の前記現在のフレームの画像での追跡目標として確定するステップと、
各前記頭肩領域の前記現在のフレームの画像での追跡目標に応じて、対応的に前記追跡シーケンスセットにおける各頭肩領域を更新するステップと、を含む。

【0014】

本発明の例示的な実施例において、前記方法は、各前記頭肩領域に対応するトラッカーを計算するステップをさらに含み、
各前記頭肩領域に対応するトラッカーを計算するステップは、
前記追跡シーケンスセットにおける各頭肩領域の前記直前のフレームの画像での位置に基づいて、前記直前のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する第１のトレーニングサンプルセットをそれぞれ取得するステップと、
各前記頭肩領域に対応する第１のトレーニングサンプルセットに応じて回帰モデルをそれぞれトレーニングして、各前記頭肩領域に対応するトラッカーを得るステップと、を含む。

【0015】

本発明の例示的な実施例において、前記方法は、畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップをさらに含み、
畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップは、
ＩｍａｇｅＮｅｔ分類データセットに応じてＭｏｂｉｌｅＮｅｔネットワークをトレーニングして、前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を得るステップと、
前記ＭｏｂｉｌｅＮｅｔネットワークに予め設けられた層数の畳み込み層を追加して、頭肩検出ネットワークを得り、ここで、前記畳み込み層のサイズが層ごとに小さくするステップと、
前記頭肩領域がマークアップされた第２のトレーニングサンプルセットを取得し、前記第２のトレーニングサンプルセットに応じて前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、前記頭肩認識モデルを得るステップと、を含む。

【0016】

本発明の例示的な実施例において、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップは、
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップと、
前記類似度に応じて前記追跡シーケンスセットを更新するステップと、を含む。

【0017】

本発明の例示的な実施例において、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップは、
次の式により、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップを含み、

【0018】

【数1】

【0019】

本発明の例示的な実施例において、前記類似度に応じて前記追跡シーケンスセットを更新するステップは、
前記類似度及び類似度の閾値に応じて、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域とをそれぞれマッチングするステップと、
マッチングに成功した場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、
マッチングに失敗した場合、前記現在のフレームの画像におけるマッチングに失敗した頭肩領域を前記追跡シーケンスセットに追加するステップと、を含む。

【0020】

本発明の例示的な実施例において、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップは、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域及び対応する前記追跡シーケンスセットにおける頭肩領域の信頼度をそれぞれ計算するステップと、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域の信頼度が、対応する前記追跡シーケンスセットにおける頭肩領域の信頼度よりも大きい場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、を含む。

【0021】

本発明の例示的な実施例において、前記信頼度の計算式は、

【0022】

【数2】

【0023】

本発明の例示的な実施例において、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析する前に、前記方法は、
前記追跡シーケンスセットには、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない追跡状態にある頭肩領域がある場合、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない頭肩領域を追跡状態から異常状態に変更するステップと、
前記追跡シーケンスセットには、第２の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域がある場合、追跡シーケンスセットにおいて、第２の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域を削除するステップと、をさらに含む。

【0024】

本発明の例示的な実施例において、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップは、
前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップと、
各頭肩領域の移動軌跡に応じて、仮想カウントラインを組み合わせて歩行者をカウントするステップと、を含む。

【0025】

本発明の例示的な実施例において、前記方法は、前記性別年齢認識モデルを構築するステップをさらに含み、
前記性別年齢認識モデルを構築するステップは、
ＬＦＷデータセット及びソーシャルネットワーキングサイトにおいて性別及び年齢範囲がマークアップされた第３のトレーニングサンプルセットを取得するステップと、
前記第３のトレーニングサンプルセットにより性別年齢ネットワークをトレーニングして、前記性別年齢認識モデルを得り、ここで、前記性別年齢ネットワークが３つの畳み込み層及び３つの全結合層を含むステップと、を含む。

【0026】

本発明の一態様によれば、歩行者流量ファネル生成装置を提供し、前記装置は、
現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される追跡更新モジュールと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するように構成される検出更新モジュールと、
前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するように構成される技術生成モジュールと、を含む。

【0027】

本発明の一態様によれば、プロセッサにより実行される場合、上記のいずれか１項に記載の歩行者流量ファネル生成方法を実現するプログラムを提供する。
本発明の一態様によれば、上記のプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

【0028】

本発明の一態様によれば、電子機器を提供し、前記電子機器は、
プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより上記のいずれか１項に記載の歩行者流量ファネル生成方法を実行するように構成される。

【発明の効果】

【0029】

本発明の例示的な実施例に提供された歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器によれば、まず、現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新し、そして、頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新し、最後に、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成する。多目標追跡アルゴリズムと頭肩認識モデルとを組み合わせることにより、頭肩領域の検出漏れを回避し、頭肩領域の検出正確率を向上させ、さらに歩行者のカウント正確率を向上させ、これにより、歩行者流量ファネルの正確率を向上させることができる。一方、頭肩認識モデルにより頭肩領域を迅速に取得することができ、しかもコストも低いので、頭肩領域のカウント速度を高めると共に、カウントのコストを削減し、これにより、歩行者流量ファネルの生成速度を高めると共に、歩行者流量ファネルの生成のコストを削減することができる。

【0030】

なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。

【0031】

図面を参照して例示的な実施例を詳細に説明し、本発明の上記の内容、他の特徴及び利点は、より明らかになる。なお、以下の記載における図面はただ本発明の一部の実施例に過ぎず、当業者の場合、創造的な労働を付与しない前提で、これらの図面によって他の図面を得ることができる。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明に係る歩行者流量ファネル生成方法を示すフローチャートである。

【図2】図２は、本発明に係る一例示的な実施例に係るマスクレイアウトの模式図である。

【図3】図３は、本発明に係る歩行者流量ファネル生成方法を示すブロック図である。

【図4】図４は、本発明に係る一例示的な実施例における電子機器のモジュールを示す模式図である。

【図5】図５は、本発明に係る一例示的な実施例におけるプログラム製品を示す模式図である。

【発明を実施するための形態】

【0033】

次に、図面を参照しながら、例示的な実施例をより全面的に説明する。しかしながら、例示的な実施例は、様々な形態で実施することができ、ここに記述の実施例に限定されると理解されるべきではない。逆に、これらの実施例が提供されることにより、本発明が全面且つ完全になり、例示的な実施例の構想を当業者に全面的に伝えることができる。図面において、同一の符号は、同一又は類似の構成を示すので、その詳細な説明は省略する。

【0034】

なお、説明された特徴、構造または特性は、１つのまたは複数の実施例に任意の適切な方法で組み合わせることができる。以下の説明では、本発明の実施例を十分に理解するために、多くの具体的な詳細を述べる。しかしながら、当業者は、本発明の技術案が特定の詳細の１つまたは複数を使用しなく実施できること、または、他の方法、構成要素、材料、装置、ステップなどが採用できることを理解するべきである。他の場合では、本発明の各局面を不明瞭にすることを避けるために、周知の構造、方法、装置、実現、材料、または操作を詳細に図示または説明しない。

【0035】

図面に示されたブロック図は、単に機能エンティティであり、必ずしも物理的に独立のエンティティに対応する必要はない。即ち、ソフトウェアを採用してこれらの機能エンティティを実現してもよく、または、１つまたは複数のソフトウェアが硬化したモジュールではこれらの機能エンティティまたは機能エンティティの一部を実現してもよく、または、異なるネットワーク及び/又はプロセッサ装置及び/又はマイクロコントローラ装置ではこれらの機能エンティティを実現してもよい。

【0036】

関連するビデオ監視技術において、人流量の統計は、主に監視人員による手動カウントによって実現される。このような人流量を手動で統計する方法は、監視時間が短く人流量が少ない場合に信頼性が高いが、人の目の生物学的特性の制限により、監視時間が長く人流量が密集している場合に統計の正確性が大幅に低下し（即ち、検出漏れが生じる）、また、手動による統計方法は、多くの人件費が必要になる。これを基にして、人流量の性別及び年齢を統計しようとする場合、統計の効率及び正確率をさらに低減すると共に、コストも増加する。また、人流量と性別及び年齢の統計の正確率が低いので、人流量、性別、年齢の不正確な統計データに基づいて得られた流量ファネルの正確率も高くなくなり、これにより、統計人員は、この流量ファネルによりさらに正確な分析データを取得することができない。

【0037】

本例示的な実施例において、まず、歩行者流量ファネル生成方法を開示しており、図１を参照すると、前記歩行者流量ファネル生成方法は、以下のステップを含んでもよい。

【0038】

ステップＳ１において、現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新する。

【0039】

ステップＳ２において、頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新する。

【0040】

ステップＳ３において、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成する。

【0041】

本例示的な実施例に係る歩行者流量ファネル生成方法によれば、多目標追跡アルゴリズムと頭肩認識モデルとを組み合わせることにより、頭肩領域の検出漏れを回避し、頭肩領域の検出の正確率を向上させ、さらに、歩行者のカウント正確率を向上させ、これにより、歩行者流量ファネルの正確率を向上させる。一方、頭肩認識モデルにより頭肩領域を迅速に取得することができ、且つ、コストも低いので、頭肩領域のカウント速度を高めると共に、カウントのコストを削減し、これにより、歩行者流量ファネルの生成速度を高めると共に、歩行者流量ファネルの生成のコストを削減することができる。

【0042】

以下、図１を参照しつつ本例示的な実施例における歩行者流量ファネル生成方法をさらに説明する。

【0043】

ステップＳ１において、現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新する。

【0044】

本例示的な実施例において、前記現在のフレームの画像を取得する前に、前記方法は、第１のフレームの画像を取得し、且つ、前記頭肩認識モデルに応じて前記第１のフレームの画像における頭肩領域を取得し、前記頭肩領域により前記追跡シーケンスセットの初期化を行うステップをさらに含んでよい。本例示的な実施例において、監視機器から伝送されるビデオ資料をリアルタイムで受信し、且つ、ビデオ資料から第１のフレームの画像を切り出してもよい。例えば、ショッピングモールの営業時間中の人流量と性別及び年齢範囲を統計する場合、ショッピングモールの営業開始時間の画像を第１のフレームの画像として取得してもよい、例えば、８時から画像を取得する。第１のフレームの画像を取得した場合、頭肩認識モデルに応じて第１のフレームの画像における頭肩領域を認識し、頭肩領域を認識した後、認識された頭肩領域に応じて追跡シーケンスセットの初期化を行い、即ち、認識された頭肩領域を追跡シーケンスセットに追加する。なお、頭肩認識モデルにより第１のフレームの画像における頭肩領域を認識する場合、頭肩認識モデルにより、各頭肩領域のスコア値、即ち各頭肩領域のカテゴリ帰属確率を計算してもよい。

【0045】

本例示的な実施例において、畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成することができ、具体的には、畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップは、以下のステップを含む。

【0046】

ステップＳ１１１において、ＩｍａｇｅＮｅｔ分類データセットに応じてＭｏｂｉｌｅＮｅｔネットワークをトレーニングして、前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を得る。

【0047】

本例示的な実施例において、前記ＩｍａｇｅＮｅｔは、現在、世界で画像認識が最大であるデータベースである。前記ＭｏｂｉｌｅＮｅｔネットワークは、流線型のアーキテクチャを基にして、深度分離可能な畳み込みを使用する軽量なディープニューラルネットワークであり、標準な畳み込みを深度畳み込みと点畳み込みに分解することができ、即ち、各畳み込みカーネルを各チャネルに適用し、１×１畳み込みは、チャネル畳み込みの出力を合わせるためのものである。このような分解により、計算量を効果的に低減し、モデルのサイズを削減し、ネットワーク性能をより良好にすると共に、速度も非常に速くなることが証明された。ステップＳ１１において、ＩｍａｇｅＮｅｔ分類データセットにおける頭肩領域をマークアップした各画像をＭｏｂｉｌｅＮｅｔネットワークに入力して、ＭｏｂｉｌｅＮｅｔネットワークの重み値を得ることができる。

【0048】

ステップＳ１１２において、前記ＭｏｂｉｌｅＮｅｔネットワークに予め設けられた層数の畳み込み層を追加して、頭肩検出ネットワークを得り、ここで、前記畳み込み層のサイズが層ごとに小さくする。

【0049】

本例示的な実施例において、前記予め設けられた層数は、具体的な要求に応じて設定されてもよく、例えば、３層であってもよいし、６層であってもよく、本例示的な実施例は、これを特に限定しない。前記畳み込み層のサイズが層ごとに小さくすることにより、サイズが層ごとに小さくなる畳み込み層により頭肩領域に対する多次元の予測を完成する。

【0050】

ステップＳ１１３において、前記頭肩領域がマークアップされた第２のトレーニングサンプルセットを取得し、前記第２のトレーニングサンプルセットに応じて前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、前記頭肩認識モデルを得る。

【0051】

本例示的な実施例において、頭肩認識モデルによる頭肩領域の認識正確率を向上させるように第２のトレーニングサンプルセットの多様性を確保するために、画像取得モジュールにより異なる角度及び異なる背景（枝によって遮られたり、建物によって遮られたりする背景）における頭肩画像を取得すると共に、各頭肩画像における頭肩領域に対してマークアップを行うことにより、頭肩領域がマークアップされた第２のトレーニングサンプルセットを得ることができる。第２のトレーニングサンプルセットに基づいて、転移率学習の方法を利用して前記ＭｏｂｉｌｅＮｅｔネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、頭肩認識モデルを得る。具体的には、第２のトレーニングサンプルセットにおける頭肩領域がマークアップされた画像を頭肩検出ネットワークに入力して、頭肩検出ネットワークにおける重み値を取得し、頭肩検出ネットワークの損失が基本的に安定して低下せず且つ平均値が０．８である場合、この頭肩検出ネットワークは、頭肩認識モデルである。

【0052】

本例示的な実施例において、ステップＳ１における追跡シーケンスセットは、現在のフレームの画像の直前のフレームの画像において更新された追跡シーケンスセットである。なお、現在のフレームの画像の直前のフレームの画像が第１のフレームの画像である場合、この時の追跡シーケンスセットは、第１のフレームの画像において初期化された追跡シーケンスセットである。

【0053】

ステップＳ１において、前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップは、カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップを含んでもよい。具体的には、前記カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップは、以下のステップを含んでもよい。

【0054】

ステップＳ１２１において、前記追跡シーケンスセットにおける各頭肩領域の直前のフレームの画像での位置に基づいて、前記現在のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標をそれぞれ取得する。

【0055】

本例示的な実施例において、追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標を順次に取得することができ、ここで、各頭肩領域に対応する候補追跡目標が複数であってもよい。以下、追跡シーケンスセットにおける第１の頭肩領域に対応する候補追跡目標を取得する場合を例として説明する。現在のフレームの画像において第１の頭肩領域の直前のフレームの画像での位置を中心として、予め設けられた範囲において複数の候補追跡目標を取得し、この複数の候補追跡目標は、第１の頭肩領域に対応する候補追跡目標であり、前記予め設けられた範囲は、開発元により設定されてもよい。追跡シーケンスセットにおける他の頭肩領域に対応する候補追跡目標を取得する場合に、その取得原則は、第１の頭肩領域に対応する候補追跡目標を取得するものと同一であり、取得する位置のみが変更されるので、ここでは詳細な説明を省略する。

【0056】

ステップ１２２において、各前記頭肩領域に対応するトラッカーに応じて、対応的に各前記頭肩領域に対応する候補追跡目標の応答値をそれぞれ計算する。

【0057】

本例示的な実施例において、まず、各前記頭肩領域に対応するトラッカーを計算する過程を説明する。各前記頭肩領域に対応するトラッカーを計算するステップは、前記追跡シーケンスセットにおける各頭肩領域の前記直前のフレームの画像での位置に基づいて、前記直前のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する第１のトレーニングサンプルセットをそれぞれ取得するステップと、各前記頭肩領域に対応する第１のトレーニングサンプルセットに応じて回帰モデルをそれぞれトレーニングして、各前記頭肩領域に対応するトラッカーを得るステップと、を含んでもよい。

【0058】

本例示的な実施例において、追跡シーケンスセットにおける第１の頭肩領域に対応するトラッカーを計算する場合を例として説明する。直前のフレームの画像において第１の頭肩領域の直前のフレームの画像での位置を中心として、複数の第１のトレーニングサンプルを取得し、第１の頭肩領域に対応する第１のトレーニングサンプルセットを構成し、第１のトレーニングサンプルセットにおけるすべての第１のトレーニングサンプルを回帰モデルに入力して、回帰モデルをトレーニングし、このトレーニングされた回帰モデルを第１の頭肩領域に対応するトラッカーとして確定する。追跡シーケンスセットにおける他の頭肩領域に対応するトラッカーを計算する過程は、上記の第１の頭肩領域に対応するトラッカーを計算するものと同一であり、第１のトレーニングサンプルセットを取得する位置のみが異なるので、ここでは詳細な説明を省略する。

【0059】

以上から分かるように、頭肩領域に対応するトラッカーを計算する場合、頭肩領域の直前のフレームの画像での位置に基づいて、直前のフレームの画像において頭肩領域に対応する第１のトレーニングサンプルセットを取得し、また、異なるフレームの画像において同一の頭肩領域の位置が異なるので、異なるフレームの画像における同一の頭肩領域に対応するトラッカーは、異なる。このことから、各フレームに対応するトラッカーにより計算された応答値がより正確であるため、追跡目標の追跡及び確定がより正確になる。

【0060】

このことから、第１の頭肩領域に対応するトラッカーに応じて第１の頭肩領域に対応する候補追跡目標の応答値を計算する場合を例として説明し、それぞれ第１の頭肩領域に対応する各候補追跡目標を第１の頭肩領域に対応するトラッカーに代入して、第１の頭肩領域に対応する候補追跡目標の応答値を得る。追跡シーケンスセットにおける他の頭肩領域に対応する候補追跡目標の応答値を計算する過程は、上記の第１の頭肩領域に対応する候補追跡目標の応答値を計算するものと同一であり、トラッカーのみが変更され、即ち、トラッカーが頭肩領域に対応し、したがって、ここでは詳細な説明を省略する。

【0061】

ステップ１２３において、各前記頭肩領域に対応する候補追跡目標における最大応答値を持つ候補追跡目標を、対応する頭肩領域の前記現在のフレームの画像での追跡目標として確定する。

【0062】

本例示的な実施例において、追跡シーケンスセットにおける第１の頭肩領域を例として説明し、それぞれ第１の頭肩領域に対応する各候補追跡目標の応答値を比較し、最大応答値を持つ候補追跡目標を第１の頭肩領域の現在のフレームの画像での追跡目標として確定し、即ち、この候補追跡目標は、現在のフレームの画像における第１の頭肩領域である。なお、追跡シーケンスセットにおける他の頭肩領域の現在のフレームの画像での追跡目標の確定方式は、上記の第１の頭肩領域の現在のフレームの画像での追跡目標の確定方式と同一であるので、ここでは詳細な説明を省略する。

【0063】

ステップ１２４において、各前記頭肩領域の前記現在のフレームの画像での追跡目標に応じて、対応的に前記追跡シーケンスセットにおける各頭肩領域を更新する。

【0064】

本例示的な実施例において、追跡シーケンスセットにおける各頭肩領域を、現在のフレームの画像における、追跡シーケンスセットにおける各頭肩領域に対応する追跡目標で対応的に置き換えて、追跡シーケンスセットにおける各頭肩領域を更新する。

【0065】

上記のように、頭肩領域が広い背景から枝などの遮蔽物により遮蔽された背景に入ると、頭肩認識モデルにより遮蔽物がある背景画像において当該頭肩領域を検出できない可能性がある。このことから、頭肩認識モデルのみにより現在のフレームにおける頭肩領域に対して検出を行って、追跡シーケンスセットにおける頭肩領域を追跡することを実現する場合、追跡シーケンスにおける頭肩領域を検出できない可能性があるので、頭肩領域の検出漏れを招く。しかしながら、本例示的な実施例において、多目標追跡アルゴリズムにより追跡シーケンスセットにおけるすべての頭肩領域を追跡することにより、頭肩領域の検出漏れを回避し、頭肩領域の検出正確率を向上させ、さらに歩行者のカウント正確率を向上させ、これにより、歩行者流量ファネルの正確率を向上させることができる。

【0066】

ステップＳ２において、頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新する。

【0067】

本例示的な実施例において、現在のフレームの画像を頭肩認識モデルに入力して、現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新し、即ち、新たな頭肩領域を追跡シーケンスセットに追加すると共に、追跡シーケンスにおける元の頭肩領域を更新する。頭肩認識モデルにより頭肩領域を迅速に取得でき、しかもコストも低いので、頭肩領域のカウント速度を高めると共に、カウントのコストを削減し、これにより、歩行者流量ファネルの生成速度を高めると共に、歩行者流量ファネルの生成のコストを削減することができる。

【0068】

前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップは、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップと、前記類似度に応じて前記追跡シーケンスセットを更新するステップと、を含んでもよい。

【0069】

前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップは、次の式により、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップを含んでもよい。

【0070】

【数3】

【0071】

現在のフレームの画像における第１の頭肩領域と追跡シーケンスセットにおける各頭肩領域との類似度をそれぞれ計算する場合を例として説明し、現在のフレームの画像における第１の頭肩領域の面積及び追跡シーケンスセットにおける各頭肩領域の面積を取得し、上記の式を組み合わせて、現在のフレームの画像における第１の頭肩領域と追跡シーケンスセットにおける各頭肩領域との類似度を計算する。なお、上記のステップを繰り返すことにより現在のフレームの画像における他の頭肩領域と追跡シーケンスセットにおける各頭肩領域との類似度をそれぞれ計算することができる。

【0072】

前記類似度に応じて前記追跡シーケンスセットを更新するステップは、以下のステップを含んでもよい。

【0073】

ステップＳ２１において、前記類似度及び類似度の閾値に応じて、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域とをそれぞれマッチングする。

【0074】

本例示的な実施例において、前記類似度の閾値は、０．５であってもよいが、本例示的な実施例は、これを特に限定しない。以下、現在のフレームの画像における第１の頭肩領域をマッチングする過程を説明する。まず、第１の頭肩領域と追跡シーケンスセットにおける各頭肩領域との最大の類似度を取得すると共に、当該最大の類似度が類似度の閾値よりも大きいか否かを判断し、当該最大の類似度が類似度の閾値よりも大きいと判断する場合、マッチングが成功すると考えられ、即ち、第１の頭肩領域は、対応する追跡シーケンスセットにおける頭肩領域と同一の頭肩領域である。当該最大の類似度が類似度の閾値以下であると判断する場合、マッチングが失敗すると考えられ、即ち、当該頭肩領域は、新たな頭肩領域である。

【0075】

ステップＳ２２において、マッチングに成功した場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換える。

【0076】

本例示的な実施例において、現在のフレームの画像における第１の頭肩領域を例として説明し、第１の頭肩領域と追跡シーケンスセットにおける各頭肩領域との最大の類似度が類似度の閾値よりも大きい場合、追跡シーケンスセットにおける頭肩領域を当該第１の頭肩領域で対応的に置き換える。

【0077】

マッチングの精度をさらに向上させるために、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップは、前記現在のフレームの画像におけるマッチングに成功した頭肩領域及び対応する前記追跡シーケンスセットにおける頭肩領域の信頼度をそれぞれ計算するステップと、前記現在のフレームの画像におけるマッチングに成功した頭肩領域の信頼度が、対応する前記追跡シーケンスセットにおける頭肩領域の信頼度よりも大きい場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、を含んでもよい。

【0078】

本例示的な実施例において、前記信頼度の計算式は、

【0079】

【数4】

【0080】

現在のフレームの画像における第１の頭肩領域と追跡シーケンスセットにおける第３の頭肩領域とのマッチングに成功した場合を例として上記の過程を説明する。上記の信頼度の計算式により、現在のフレームの画像における第１の頭肩領域の信頼度及び追跡シーケンスセットにおける第３の頭肩領域の信頼度をそれぞれ計算する。現在のフレームの画像における第１の頭肩領域の信頼度が追跡シーケンスセットにおける第３の頭肩領域の信頼度よりも大きい場合、追跡シーケンスセットにおける第３の頭肩領域を、現在のフレームの画像における第１の頭肩領域で置き換える。

【0081】

ステップＳ２３において、マッチングに失敗した場合、前記現在のフレームの画像におけるマッチングに失敗した頭肩領域を前記追跡シーケンスセットに追加する。

【0082】

本例示的な実施例において、現在のフレームの画像における第１の頭肩領域を例として説明し、第１の頭肩領域と追跡シーケンスセットにおける各頭肩領域との最大の類似度が類似度の閾値以下である場合、当該第１の頭肩領域を追跡シーケンスセットに追加して新たな追跡目標となる。

【0083】

以上から分かるように、肩認識モデルにより現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算し、且つ、前記類似度に応じて前記追跡シーケンスセットを更新することにより、検出された新たな頭肩領域を追跡シーケンスセットに追加すると共に、追跡シーケンスセットにおける元の頭肩領域を更新し、これにより、頭肩領域の検出正確率を高め、カウント正確率を向上させ、追跡目標の検出漏れを回避し、さらに歩行者流量ファネルの正確率を向上させることができる。

【0084】

ステップＳ３において、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成する。

【0085】

本例示的な実施例において、追跡目標の正確率を高めてさらに歩行者のカウント正確率を向上させるために、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析する前に、前記方法は、以下のステップをさらに含んでもよい。

【0086】

ステップＳ３１において、前記追跡シーケンスセットには、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない追跡状態にある頭肩領域がある場合、第１の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない頭肩領域を追跡状態から異常状態に変更する。

【0087】

本例示的な実施例において、前記第１の予め設けられたフレーム数の画像は、連続する５フレームの画像又は連続する１０フレームの画像であってもよく、本例示的な実施例は、これを特に限定しない。連続する５フレームの画像を例としてステップＳ３１を説明し、頭肩認識モデルに応じて上記の５フレームの画像に対応する頭肩領域をそれぞれ取得し、上記の５フレームの画像に対応する頭肩領域のいずれにも追跡シーケンスセットにおける１つの追跡状態にある頭肩領域とのマッチングに成功した頭肩領域がない場合、当該頭肩領域が異常な頭肩領域であると判定し、当該頭肩領域を追跡状態から異常状態に変更する。

【0088】

ステップＳ３２において、前記追跡シーケンスセットには、第２の予め設けられたフレーム数の画像においていずれもマッチングに成功しない異常状態にある頭肩領域がある場合、前記追跡シーケンスセットにおいて、第２の予め設けられたフレーム数の画像においていずれもマッチングに成功しない異常状態にある頭肩領域を削除する。

【0089】

本例示的な実施例において、前記第２の予め設けられたフレーム数の画像は、連続する５フレームの画像又は連続する１０フレームの画像であってもよく、本例示的な実施例は、これを特に限定しない。連続する５フレームの画像を例としてステップＳ３２を説明し、頭肩認識モデルに応じて上記の５フレームの画像に対応する頭肩領域をそれぞれ取得し、上記の５フレームの画像に対応する頭肩領域のいずれにも追跡シーケンスセットにおける１つの異常状態にある頭肩領域とのマッチングに成功した頭肩領域がない場合、当該頭肩領域が誤検出されるものであると判定し、追跡シーケンスセットから当該頭肩領域を削除する。

【0090】

ステップＳ３において、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップは、前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップと、各頭肩領域の移動軌跡に応じて、仮想カウントラインを組み合わせて歩行者をカウントするステップと、を含んでもよい。

【0091】

本例示的な実施例において、追跡シーケンスセットにおける各頭肩領域の異なるフレームの画像での位置に応じて、各頭肩領域の移動軌跡を生成することができる。本例示的な実施例において、カウントを容易にするために、仮想カウントラインを設定し、頭肩領域の移動軌跡が当該仮想カウントラインに跨るか否か、及び仮想カウントラインに跨る方向を判断することにより、異なる方向の歩行者をカウントしてもよい。具体的には、頭肩領域の移動軌跡が当該仮想カウントラインに跨るか否か、及び仮想カウントラインに跨る方向を判断することにより異なる方向の歩行者をカウントするステップは、以下のステップを含み、即ち、マスクレイアウト（ＭＡＳＫ）で仮想カウントラインの両側の領域、例えば第１の領域、第２の領域を示し（図２に示すように）、これを基にして、各頭肩領域の移動軌跡の画素値に応じて、各頭肩領域が第１の領域から第２の領域に跨ったか否かを判断し、又は、各頭肩領域が第２の領域から第１の領域に跨ったか否かを判断することができる。

【0092】

例えば、第１の領域がセルの内側であり、第２の領域がセルの外側であり、頭肩領域が第１の領域から第２の領域に跨った場合、セルから出る人数は、１を加算し、頭肩領域が第２の領域から第１の領域に跨った場合、セルに入る人数は、１を加算する。

【0093】

なお、二重カウントを防ぐために、カウントされた頭肩領域に対してマークアップを行ってもよい。以上から分かるように、各前記頭肩領域の移動軌跡及び仮想カウントラインに応じて前記歩行者をカウントし、カウント方法が簡単であり、その実現が容易になり、カウント正確率が高い。

【0094】

各頭肩領域の移動軌跡に応じて歩行者をカウントした後、現在のフレームの画像が最後のフレームの画像であるか否かを判断し、現在のフレームの画像が最後のフレームの画像でない場合、ステップＳ２及びステップＳ３を繰り返して、歩行者を継続的にカウントする。現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成する。例えば、異なる期間における人流量を分析して歩行者流量ファネルを生成することにより、作業者は、この歩行者流量ファネルに応じてサービスフローの問題などを分析して、マクロデータを把握することができる。

【0095】

作業者がこの歩行者流量ファネルに応じて多次元からサービスフローの問題などを分析してマクロデータを把握できるように、歩行者流量ファネルがより多くの次元のデータをカバーできるために、前記方法は、性別年齢認識モデルに応じて前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識するステップと、前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成するステップと、をさらに含む。

【0096】

本例示的な実施例において、まず、前記性別年齢認識モデルを構築する過程を説明し、ここで、前記性別年齢認識モデルを構築するステップは、ＬＦＷデータセット及びソーシャルネットワーキングサイトにおいて性別及び年齢範囲がマークアップされた第３のトレーニングサンプルセットを取得するステップと、前記第３のトレーニングサンプルセットにより性別年齢ネットワークをトレーニングして、前記性別年齢認識モデルを得り、前記性別年齢ネットワークが３つの畳み込み層及び３つの全結合層を含むステップと、を含んでもよい。

【0097】

本例示的な実施例において、３つの畳み込み層及び３つの全結合層を含む性別年齢ネットワークを確立し、ＬＦＷデータセット及びソーシャルプラットフォームにおいて第３のトレーニングサンプルセットを取得し、且つ、第３のトレーニングサンプルセットにおける各第３のトレーニングサンプルの人の顔を中心として裁断を行い、例えば、人の顔を中心として２５６＊２５６のサイズの第３のトレーニングサンプルを２２７＊２２７のサイズの第３のトレーニングサンプルに裁断し、裁断されたトレーニングサンプルに対して性別及び年齢範囲をマークアップし、ここで、性別を男性又は女性でマークアップし、年齢範囲に応じて年齢をマークアップし、例えば、年齢範囲を、０～３、４～７、８～１４、１５～２４、２５～３７、３８～４７、４８～５９、６０＋の８段階に分けてマークアップすることができる。なお、年齢範囲の分け方式は、これに限定されなく、必要に応じて開発元によって設定されてもよく、標準偏差が０．０１で平均値が０である正太ガウス分布により性別年齢ネットワークにおける重み値の初期化を行い、確率的勾配降下法とドロップアウトのとを組み合わせて前記初期化された性別年齢ネットワークをトレーニングすることにより、性別年齢認識モデルを得る。ここで、ドロップアウトの比率は、０．５を採用する。

【0098】

当該性別年齢認識モデルに基づいて各追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識する。なお、追跡シーケンスセットに１回目に追加された頭肩領域の年齢範囲及び性別のみを認識すればよい。また、年齢範囲及び性別の認識が同一の性別年齢認識モデルを採用するので、年齢を認識する場合、性別年齢認識モデルの出力は、２であり、性別を認識する場合、性別年齢認識モデルの出力は、８である。

【0099】

これを基にして、頭肩領域の性別及び年齢を認識した後、前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成する。例えば、異なる期間における人流量、性別の割合及び年齢の割合を分析して歩行者流量ファネルを得ることにより、作業者は、この歩行者流量ファネルに応じて多次元からサービスフローの問題などを分析してマクロデータを把握することができる。

【0100】

なお、図面において所定の順序で本発明における方法の各ステップを説明するが、当該所定の順序でこれらのステップを実行しなければならないこと、又は、期待の結果を実現するために図示される全てのステップを実行しなければならないことを要求又は暗示することではない。それ以外にも、あるステップを省略したり、複数のステップを組み合わせて１つのステップにして実行したり、及び／又は、１つのステップを複数のステップに分解して実行したりなどしてもよい。

【0101】

本発明の例示的な実施例において、歩行者流量ファネル生成装置をさらに提供し、図３に示すように、前記歩行者流量ファネルを生成する装置１００は、追跡更新モジュール１０１と、検出更新モジュール１０２と、技術生成モジュール１０３と、を含んでもよい。ここで、
追跡更新モジュール１０１は、現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される。

【0102】

検出更新モジュール１０２は、頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するように構成される。

【0103】

技術生成モジュール１０３は、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するように構成される。

【0104】

上記の歩行者流量ファネル生成装置の各モジュールの具体的な細部は、既に対応する歩行者流量ファネル生成方法において詳細に説明したので、ここでは詳細な説明を省略する。

【0105】

なお、以上の詳細な説明では、実行するための機器のいくつかのモジュール又はユニットを説明したが、このような区分は、強制的なものではない。実際には、本発明の実施例によれば、上述した２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットで具体化されてもよい。逆に、上述した１つのモジュール又はユニットの特徴及び機能は、複数のモジュール又はユニットによりさらに具体化されてもよい。

【0106】

本発明の例示的な実施例において、上記の方法を実現できる電子機器をさらに提供する。

【0107】

当業者は、本発明の各態様がシステム、方法又はプログラム製品として実現できることを理解すべきである。したがって、本発明の各態様は、以下の形式で実現でき、即ち、完全なハードウェア実施例、完全なソフトウェア実施例（ファームウェア、マイクロコード等を含み）、又は、ハードウェアとソフトウェアを結合する実施例であり、ここでは、「回路」、「モジュール」又は「システム」と総称してもよい。

【0108】

以下、図４を参照して本発明のこのような実施例の電子機器６００を説明する。図４に示される電子機器６００は、単なる一例に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。

【0109】

図４に示すように、電子機器６００は、汎用な計算機器の形式で表現される。電子機器６００のコンポーネントは、少なくとも１つの処理ユニット６１０、少なくとも１つの記憶ユニット６２０、異なるシステムコンポーネント（記憶ユニット６２０と処理ユニット６１０を含み）に接続するバス６３０、表示ユニット６４０を含んでもよいが、これらに限定されない。

【0110】

ここで、前記記憶ユニットには、プログラムコードが記憶され、前記プログラムコードは、前記処理ユニット６１０により実行されてもよく、これにより、前記処理ユニット６１０は、本明細書の上記の「例示的な方法」の部分に説明した本発明の様々な例示的な実施例のステップを実行する。例えば、前記処理ユニット６１０は、図１に示すような、現在のフレームの画像を取得し、多目標追跡アルゴリズムに応じて前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップＳ１と、頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップＳ２と、前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップＳ３とを実行してもよい。

【0111】

記憶ユニット６２０は、例えば、ランダムアクセス記憶ユニット（ＲＡＭ）６２０１及び／又は高速キャッシュ記憶ユニット６２０２などの揮発性記憶ユニットの形態の読み取り可能な媒体を含んでもよく、読み取り専用の記憶ユニット（ＲＯＭ）６２０３をさらに含んでもよい。

【0112】

記憶ユニット６２０は、一組（少なくとも１つ）のプログラムモジュール６２０５を備えるプログラム／ユーティリティツール６２０４をさらに含んでもよく、このようなプログラムモジュール６２０５は、操作システム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されなく、これらの例における各々又はその特定の組み合わせは、ネットワーク環境の実現を含んでもよい。

【0113】

バス６３０は、いくつかの種類のバス構造のうちの１種又は複数種であってもよく、記憶ユニットバス又は記憶ユニットコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、処理ユニット又は複数種のバス構造のうちの任意のバス構造を使用するローカルバスを含む。

【0114】

電子機器６００は、１つ又は複数の外部機器７００（例えば、キーボード、指向機器、ブルートゥース（登録商標）機器等）と通信してもよく、ユーザと当該電子機器６００とのインタラクションを可能にする１つ又は複数の機器と通信してもよく、及び／又は、当該電子機器６００が１つ又は複数の他の計算機器と通信することを可能にする任意の機器（例えば、ルータ、モデム等）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース６５０を介して行ってもよい。そして、電子機器６００は、ネットワークアダプタ６６０を介して１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は共通のネットワーク、例えば、インターネット）と通信してもよい。図に示すように、ネットワークアダプタ６６０は、バス６３０を介して電子機器６００の他のモジュールと通信する。なお、図には示されないが、他のハードウェア及び／又はソフトウェアモジュールを電子機器６００と共に使用してもよく、上記の他のハードウェア及び／又はソフトウェアモジュールは、マイクロコード、機器ドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ及びデータバックアップ記憶システム等を含むが、これらに限定されない。

【0115】

以上の実施例の説明によって、当業者は、本明細書に記載される例示的な実施例がソフトウェアにより実現されてもよいこと、ソフトウェアと必要なハードウェアを結合することにより実現されてもよいことを容易に理解することができる。したがって、本発明の実施例に係る技術案は、ソフトウェア製品の形態で体現されてもよく、当該ソフトウェア製品は、１つの不揮発性記憶媒体（ＣＤーＲＯＭ、ＵＳＢデバイス、モバイルハードディスク等であってもよい）又はネットワークに記憶されてもよく、本発明の実施例に係る方法を計算機器（パーソナルコンピュータ、サーバ、端末装置又はネットワーク機器等であってもよい）に実行させるいくつかの指令を含む。

【0116】

本発明の例示的な実施例において、本明細書における上記の方法を実現できるプログラム製品が記憶されるコンピュータ読み取り可能な記憶媒体をさらに提供する。いくつかの可能な実施例では、本発明の各態様は、プログラムコードを含むプログラム製品の形態で実現されてもよく、前記プログラム製品が端末機器で実行される場合、前記プログラムコードは、本明細書の上記の「例示的な方法」の部分に説明した本発明の様々な例示的な実施例のステップを前記端末機器に実行させる。

【0117】

図５に示すように、本発明の実施例による上記の方法を実現するためのプログラム製品８００は、コンパクトディスク読み取り専用メモリ（ＣＤーＲＯＭ）を使用し、プログラムコードを含み、端末機器（例えば、パーソナルコンピュータ）で実行されることができる。しかしながら、本発明のプログラム製品は、これに限定されない。本願において、読み取り可能な記憶媒体は、プログラムを含む又は記憶する任意の有形媒体であってもく、当該プログラムは、指令実行システム、装置又は部品により使用されてもよく、又は、それらに結合して使用されてもよい。

【0118】

前記プログラム製品は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを使用してもよい。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、又は半導体のシステム、装置又は部品、又は、上記の任意の組み合わせであってもよいが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的リスト）は、１つ又は複数の導線を有する電気的接続、可搬型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去／プログラムが可能な読み取り専用のメモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバー、コンパクトディスク読み取り専用のメモリ（ＣＤーＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は、これらの任意の組み合わせを含む。

【0119】

コンピュータ読み取り可能な信号媒体は、ベースバンドに含まれ又は搬送波の一部として伝播されるデータ信号を含んでもよく、その中で読み取り可能なプログラムコードを担持する。このような伝播されるデータ信号は、多くの形式を採用してもよく、電磁信号、光信号又は上記の任意の組み合わせを含むが、これらに限定されない。読み取り可能な信号媒体は、読み取り可能な記憶媒体以外の任意の読み取り可能な媒体であってもよく、当該読み取り可能な媒体は、指令実行システム、装置又は部品により使用され又はそれらと組み合わせて使用されるためのプログラムを送信、伝播又は転送することができる。

【0120】

読み取り可能な媒体に含まれるプログラムコードは、任意の適切な媒体により転送されてもよく、無線、有線、光ケーブル、ＲＦ等、又は、上記の任意の適切な組み合わせを含むが、これらに限定されない。

【0121】

本発明の動作を実行するためのプログラムコードは、１種又は複数種のプログラム言語の任意の組み合わせで書かれてもよく、前記プログラム言語は、Ｊａｖａ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラム言語を含んでもよく、「Ｃ」言語又は類似のプログラム言語などの通常の手続型プログラム言語を含んでもよい。プログラムコードは、完全にユーザ計算機器で実行されたもよく、一部がユーザ計算機器で実行されてもよく、１つの独立のソフトウェアパッケージとして実行されてもよく、一部がユーザ計算機器で実行されてもよく、一部が遠隔計算機器で実行されてもよく、又は、完全に遠隔計算機器又はサーバで実行されてもよい。遠隔計算機器に係る場合、遠隔計算機器は、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザの計算機器に接続されてもよく、又は、外部計算機器（例えば、インターネットサービスプロバイダによりインターネットを介して接続され）に接続されてもよい。

【0122】

なお、上記の図面は、本発明の例示的な実施例の方法に含まれるプロセスの例示的な説明のみであり、限定することを意図するものではない。上記の図に示されたプロセスはこれらのプロセスの時間的な順序を明確に示したり、限定したりするものではないことを容易に理解されるであろう。また、これらのプロセスは、例えば複数のモジュールにおいて同期的又は非同期的に実行されてもよいことも容易に理解されるであろう。

【0123】

当業者は、本明細書を考慮し、本明細書に開示された発明を実施した後、本発明の他の実施例を容易に想到できる。本願は、本発明の任意の変形、用途又は適応性の変更を含み、これらの変形、用途又は適応性の変更は、本発明の一般的な原理に従うと共に、本発明に開示されない当技術分野における公知な常識又はで慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の真の範囲及び精神は、特許請求の範囲において指摘されている。

【0124】

本発明は、以上説明され、且つ図面に示された正確な構成に限定されず、その範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解すべきである。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。

【図1】

【図2】

【図3】

【図4】

【図5】