特表 2022-519149 展示エリア状態認識方法、装置、電子デバイス、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-22

(54)【発明の名称】展示エリア状態認識方法、装置、電子デバイス、及び記録媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220314BHJP

   H04N 7/18 20060101ALI20220314BHJP

【ＦＩ】

G06T7/20 300

H04N7/18 K

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021528437

(86)(22)【出願日】2020-07-28

(85)【翻訳文提出日】2021-05-20

(86)【国際出願番号】 CN2020105284

(87)【国際公開番号】W WO2021135196

(87)【国際公開日】2021-07-08

(31)【優先権主張番号】201911416336.5

(32)【優先日】2019-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】▲孫▼ ▲賀▼然

(72)【発明者】

【氏名】李 佳▲寧▼

(72)【発明者】

【氏名】程 玉文

(72)【発明者】

【氏名】任 小兵

(72)【発明者】

【氏名】▲賈▼ 存迪

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054EA05

5C054EA07

5C054FC01

5C054FC12

5C054FC15

5C054FC16

5C054FE05

5C054FE16

5C054FE18

5C054FF03

5C054GB18

5L096BA02

5L096BA18

5L096CA04

5L096FA67

5L096FA69

5L096HA02

5L096HA04

5L096HA05

5L096JA03

5L096JA09

5L096JA11

5L096JA22

(57)【要約】

本発明は、展示エリア状態認識方法、装置、電子デバイス、及び記録媒体を提供する。１例として、当該方法は、展示エリアにおいて収集したビデオ画面を取得することと、前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定することであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことと、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することと、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

展示エリア状態認識方法であって、
展示エリアにおいて収集したビデオ画面を取得することと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定することであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することと、を含む
ことを特徴とする展示エリア状態認識方法。

【請求項2】

前記群衆状態データは、群衆人気レベルを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記表示インターフェース内の前記展示エリアに対応する表示エリアのレイヤが、前記群衆人気レベルにマッチングされる色レベルを現わすように、制御することを含む
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項3】

前記群衆人気レベルを確定することは、
前記顧客フローデータの中の少なくとも２つの顧客フローデータにそれぞれ対応する重み係数、および、前記少なくとも２つの顧客フローデータの数値に基づいて、群衆人気値を確定することと、
前記群衆人気値が属する範囲に対応する群衆人気レベルを確定することと、を含む
ことを特徴とする請求項２に記載の展示エリア状態認識方法。

【請求項4】

前記顧客フローデータが前記顧客フロー人数および前記顧客フロー延べ人数を含む場合、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、
前記顧客フロー人数および前記顧客フロー延べ人数を利用して、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を取得することを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数に基づいて、前記表示インターフェースに、前記第１時間帯内での前記展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示することを含む
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項5】

前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、
各ユーザの属性情報に基づいて、各属性を有する群衆分布データを確定することを含み、
前記群衆分布データは、年齢、性別、魅力値、感情の中の少なくとも１つの属性の分布データを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記各属性を有する群衆分布データを利用して、前記表示インターフェース内に、各種類の属性を有する群衆分布図をそれぞれ展示するように、制御することを含む
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項6】

前記顧客フローデータが各ユーザの注目持続時間および各ユーザの属性情報を含む場合、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、
前記展示エリアに出現した各ユーザの属性情報に基づいて、各ユーザを各種類の属性の群衆グループに分類することと、
各種類の属性の群衆グループ中の各ユーザの前記展示エリアにおける注目持続時間を取得することと、
各種類の属性の群衆グループ中の各ユーザに対応する前記注目持続時間に基づいて、各種類の属性の群衆グループの総注目時間を確定することと、を含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
各種類の属性の群衆グループの総注目時間に基づいて、前記表示インターフェース内に、前記各種類の属性の群衆グループの注目状態効果図を現わすように、制御することを含む
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項7】

前記各種類の属性の群衆グループ中のユーザは、年齢、性別、魅力値、感情の中の少なくとも２つ属性を満たす
ことを特徴とする請求項６に記載の展示エリア状態認識方法。

【請求項8】

前記注目状態効果図は、特定の図形で表示され、各種類の属性の群衆グループの総注目時間は互いに異なり、対応される特定画像の表示効果も互いに異なる
ことを特徴とする請求項６に記載の展示エリア状態認識方法。

【請求項9】

前記注目持続時間を確定することは、
各々のユーザ毎に、前記収集したビデオ画面内の前記ユーザの顔向きデータを認識することと、
前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目していることを示すことが、検出された場合、前記ユーザが前記展示物体を最初に注目した時間を記録することと、
記録した複数の前記ユーザが前記展示物体を最初に注目した時間に基づいて、前記第１時間帯内で前記ユーザが前記展示物体を注目した注目持続時間を確定することであって、前記注目持続時間は前記第１時間帯を超えないことと、を含む
ことを特徴とする請求項１または６乃至８の中のいずれか１項に記載の展示エリア状態認識方法。

【請求項10】

前記顔向きデータは、顔のピッチ角とヨー角とを含み、
前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目したことを示すとして確定する
ことを特徴とする請求項９に記載の展示エリア状態認識方法。

【請求項11】

前記第１時間帯内での前記展示エリアの顧客フロー延べ人数を確定することは、
前記第１時間帯内での前記展示エリア内の各ユーザの総出現回数を確定することを含み、
ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに毎回入るときの開始時間を記録し、記録した２回の前記開始時間同士の間の間隔が第１時間を超えると、前記ユーザが１回出現したとして確定し、前記第１時間は、前記第１時間帯を超えない
ことを特徴とする請求項１または４に記載の展示エリア状態認識方法。

【請求項12】

前記第１時間帯内での前記展示エリアのユーザの滞在持続時間を確定することは、
前記第１時間帯内で各ユーザが毎回出現したときに滞在した総持続時間を確定することを含み、
ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに２回進入したときの開始時間同士の間の間隔が第１時間を超えたとして確定された場合、前記間隔を前記ユーザが１回出現したときの滞在した持続時間とする
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項13】

前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御する前に、
前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することをさらに含む
ことを特徴とする請求項１乃至１２の中のいずれか１項に記載の展示エリア状態認識方法。

【請求項14】

前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することは、
前記表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御することと、
前記収集したビデオ画面内のユーザ姿態を検出することと、
前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得たとして確認することと、を含む
ことを特徴とする請求項１３に記載の展示エリア状態認識方法。

【請求項15】

展示エリア状態認識装置であって、
展示エリアにおいて収集したビデオ画面を取得するための取得モジュールと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定するための第１確定モジュールはであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含む第１確定モジュールと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するための第２確定モジュールと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するための制御モジュールと、を備える
ことを特徴とする展示エリア状態認識装置。

【請求項16】

電子デバイスであって、
プロセッサとメモリとを備え、
前記メモリには、前記プロセッサによって実行可能な機械可読命令が格納されており、
前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサが、請求項１乃至１４の中のいずれか１項に記載の展示エリア状態認識方法を実行するようにする
ことを特徴とする電子デバイス。

【請求項17】

コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
前記コンピュータプログラムがプロセッサによって運行されると、前記プロセッサが、請求項１乃至１４の中のいずれか１項に記載の展示エリア状態認識方法を実行するようにする
ことを特徴とするコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の互いに引用＞
本発明は、出願日が２０１９年１２月３１日であり、出願番号が２０１９１１４１６３３６５である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
本発明は、コンピュータ技術の分野に関し、具体的には、展示エリア状態認識方法、装置、電子デバイス、及び記録媒体に関する。

【背景技術】

【0002】

スーパーマーケットやショッピング店舗、展示ホールなどの展示会所では、通常、ユーザが購入または参観するために、各展示エリアで様々な物品を展示している。ユーザの各展示エリア内の物品の関心の程度は、多くの店舗または展示会が注目している問題の１つである。しかしながら、店舗または展示会の人物の流れの特徴は、密集した群衆や不規則な状態でのユーザ活動の軌跡にほとんど反映されるため、ユーザの各展示エリアの物品に対する関心の程度を分析することはより困難になる。

【発明の概要】

【0003】

これに鑑みて、本発明は、展示エリア状態認識の解決策を少なくとも提供する。

【0004】

第１態様によると、本発明は、展示エリア状態認識方法を提供し、当該方法は、
展示エリアにおいて収集したビデオ画面を取得することと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定することであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することと、を含む。

【0005】

上記の方法において、収集したビデオ画面に基づいて顧客フローデータを確定し、顧客フローデータを利用して第１時間帯内での展示エリアの群衆状態データを確定し、群衆状態データを利用して表示インターフェース内の展示エリアの表示状態を制御することができる。展示エリアの表示状態は、当該展示エリア内の群衆状態データをプロンプトするために使用されることができるため、展示エリアの群衆状態に対する動的モニタリングを実現することができ、さらに展示エリアの注目群衆を分析することができる。

【0006】

可能な１実施形態において、前記群衆状態データは、群衆人気レベルを含み、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、前記表示インターフェース内の前記展示エリアに対応する表示エリアのレイヤが、前記群衆人気レベルにマッチングされる色レベルを現わすように、制御することを含む。

【0007】

異なる色レベルを利用して、異なる群衆人気レベルを展示することによって、展示エリアの表示状態を現わす方式を豊富にしたうえで、異なる展示エリアの群衆人気情報をより直感的に展示することができる。

【0008】

可能な１実施形態において、前記群衆人気レベルを確定することは、前記顧客フローデータの中の少なくとも２つの顧客フローデータにそれぞれ対応する重み係数、および、前記少なくとも２つの顧客フローデータの数値に基づいて、群衆人気値を確定することと、前記群衆人気値が属する範囲に対応する群衆人気レベルを確定することと、を含む。

【0009】

このような方式によって確定した群衆人気値は、少なくとも２つの顧客フローデータの特徴を結合したため、確定された群衆人気値は当該展示エリアの顧客フロー特徴をよりよく反映することができ、確定された群衆人気レベルがより精確である。

【0010】

可能な１実施形態において、前記顧客フローデータが前記顧客フロー人数および前記顧客フロー延べ人数を含む場合、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、前記顧客フロー人数および前記顧客フロー延べ人数を利用して、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を取得することを含み、前記群衆状態データを利用して、表示インターフェース内の対応する表示状態を制御することは、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数に基づいて、前記表示インターフェースに、前記第１時間帯内での前記展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示することを含む。

【0011】

上記の実施形態において、展示エリアの顧客フロー人数および顧客フロー回数の変化状況をより直感的に展示することができる。

【0012】

可能な１実施形態において、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、各ユーザの属性情報に基づいて、異なる属性を有する群衆分布データを確定することを含み、前記群衆分布データは、年齢、性別、魅力値、感情の中の少なくとも１つの属性の分布データを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、前記異なる属性を有する群衆分布データを利用して、前記表示インターフェース内に、各種類の属性を有する群衆分布図をそれぞれ展示するように、制御することを含む。

【0013】

上記の実施形態において、各展示エリアのより詳細な群衆分布状況を展示するために、異なる属性の群衆分布データに基づいて、各種類の属性の群衆分布図を展示することができる。

【0014】

可能な１実施形態において、前記顧客フローデータが各ユーザの注目持続時間および各ユーザの属性情報を含む場合、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することは、前記展示エリアに出現した各ユーザの属性情報に基づいて、各ユーザを異なる種類の属性の群衆グループに分類することと、各種類の属性の群衆グループ中の各ユーザの前記展示エリアにおける注目持続時間を取得することと、各種類の属性の群衆グループ中の各ユーザに対応する前記注目持続時間に基づいて、各種類の属性の群衆グループの総注目時間を確定することと、を含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、各種類の属性の群衆グループの総注目時間に基づいて、前記表示インターフェース内に、前記各種類の属性の群衆グループの注目状態効果図を現わすように、制御することを含む。

【0015】

上記の実施形態に基づいて、表示インターフェース内に現わされた各種類の属性の群衆グループの注目状態効果図は、異なる種類の属性の群衆の展示エリアに対する注目程度を示すために使用することができる。

【0016】

可能な１実施形態において、前記各種類の属性の群衆グループ中のユーザは、年齢、性別、魅力値、感情の中の少なくとも２つ属性を満たす。

【0017】

可能な１実施形態において、前記注目状態効果図は、特定の図形で表示され、各種類の属性の群衆グループの総注目時間は互いに異なり、対応される特定画像の表示効果も互いに異なる。

【0018】

可能な１実施形態において、前記注目持続時間を確定することは、各々のユーザ毎に、前記収集したビデオ画面内の前記ユーザの顔向きデータを認識することと、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目していることを示すことが、検出された場合、前記ユーザが前記展示物体を最初に注目した時間を記録することと、記録した複数の前記ユーザが前記展示物体を最初に注目した時間に基づいて、前記第１時間帯内で前記ユーザが前記展示物体を注目した注目持続時間を確定することであって、前記注目持続時間は前記第１時間帯を超えないことと、を含む。

【0019】

可能な１実施形態において、前記顔向きデータは、顔のピッチ角とヨー角とを含み、前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目したことを示すとして確定する。

【0020】

上記の実施形態において、記録したユーザの展示物体を最初に注目した時間のみに基づいて、第１時間帯内でユーザが展示物体を注目した注目持続時間を確定することができるため、ユーザが展示物体を最初に注目した時間との間の間隔が短すぎて引き起こした注目持続時間の頻繁的な統計を回避することができ、さらに、注目持続時間を計算する方式がより合理的にする。

【0021】

可能な１実施形態において、第１時間帯内での前記展示エリアの顧客フロー延べ人数を確定することは、前記第１時間帯内での前記展示エリア内の各ユーザの総出現回数を確定することを含み、ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに毎回入るときの開始時間を記録し、記録した２回の前記開始時間同士の間の間隔が第１時間を超えると、前記ユーザが１回出現したとして確定し、前記第１時間は、前記第１時間帯を超えない。

【0022】

上記の実施形態において、比較的短時間でのユーザ出現回数の繰り返し統計を回避することができ、顧客フロー延べ人数の統計の精度を向上させることができる。

【0023】

可能な１実施形態において、第１時間帯内での前記展示エリアのユーザの滞在持続時間を確定することは、前記第１時間帯内で各ユーザが毎回出現したときに滞在した総持続時間を確定することを含み、ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに２回進入したときの開始時間同士の間の間隔が第１時間を超えたとして確定された場合、前記間隔を前記ユーザが１回出現したときの滞在した持続時間とする。

【0024】

上記の実施形態において、比較的短時間でユーザが複数回出現するときの滞在持続時間の複数回の計算を回避することができ、滞在持続時間の計算量が減り、滞在持続時間を計算する方式もより合理的にする。

【0025】

可能な１実施形態において、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御する前に、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することをさらに含む。

【0026】

可能な１実施形態において、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することは、前記表示インターフェースが姿態プロンプトフレームを表示するように制御すること、前記ジェスチャプロンプトフレーム中は、姿態記述内容を含む；前記収集したビデオ画面内のユーザ姿態を検出することと、前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得たとして確認することと、を含む。

【0027】

上記の実施形態において、表示インターフェースにおける表示エリアに対するトリガ操作を取得するときに、ビデオ画面内のユーザ姿態を収集する方式によって実現することができ、トリガ操作のトリガ方式を豊富にし、ユーザとデバイスとの間の対話を増加した。

【0028】

第２態様によると、本発明の実施例は、展示エリア状態認識装置を提供し、当該装置は、
展示エリアにおいて収集したビデオ画面を取得するための取得モジュールと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定するための第１確定モジュールはであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含む第１確定モジュールと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するための第２確定モジュールと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するための制御モジュールと、を備える。

【0029】

第３態様によると、本発明は、電子デバイスを提供し、当該電子デバイスは、プロセッサとメモリとを備え、前記メモリには、前記プロセッサによって実行可能な機械可読命令が格納されており、前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサが、上記の第１態様または任意の実施形態に記載の展示エリア状態認識方法を実行するようにする。

【0030】

第４態様によると、本発明は、コンピュータプログラムが格納されているコンピュータ可読記録媒体を提供し、当該コンピュータプログラムがプロセッサによって運行されると、前記プロセッサが、上記の第１態様または任意の実施形態に記載の展示エリア状態認識方法を実行するようにする。

【0031】

以下、本発明の上記の目的、特徴、および、利点をより明確かつ理解可能にするために、好ましい実施例を挙げて、図面を参照しながら、以下のように詳細に説明する。

【図面の簡単な説明】

【0032】

以下、本発明の実施例の術解決策をより明確に説明するために、実施例に必要な図面を簡単に紹介する。本明細書の図面は、本明細書に組み込まれて本明細書の一部を構成する。これら図面は、本発明の実施例を示し、明細書と一緒に本発明の技術的解決策を説明するために使用される。以下の図面は、本発明の特定の実施例を示すだけであり、したがって、範囲を限定するもとと見なされるべきではないことを理解すべきである、当業者にとって、創造的な作業なしで、これら図面に基づいての他の関連する図面を得ることができる。

【図1】本発明の実施例によって提供される展示エリア状態認識方法のフローを示す模式図である。

【図2】本発明の実施例によって提供される表示インターフェース内の異なる色レベルの展示エリアの展示を示す模式図である。

【図3】本発明の実施例によって提供される表示インターフェース内の各種類の属性の群衆分布図である。

【図4】本発明の実施例によって提供される顧客フロー人数の変化傾向および顧客フロー回数の変化傾向との間の比較結果を示す模式図である。

【図5】本発明の実施例によって提供されるユーザの注目持続時間確定方法のフローを示す模式図である。

【図6】本発明の実施例によって提供される注目状態効果図である。

【図7】本発明の実施例によって提供される姿態プロンプトフレームを示す模式図である。

【図8A】本発明の実施例によって提供されるもう１つの表示インターフェースを示す模式図である。

【図8B】本発明の実施例によって提供されるもう１つの表示インターフェースを示す模式図である。

【図9】本発明の実施例によって提供される展示エリア状態認識装置の構成を示す模式図である。

【図10】本発明の実施例によって提供される電子デバイスの構成を示す模式図である。

【発明を実施するための形態】

【0033】

以下、本発明の実施例の目的、技術的解決策、および、利点をより明確にするために、図面を参照しながら、本発明の実施例を明確かつ完全に記述する。当然ながら、記述される実施例は、本発明のいくつかの実施例に過ぎず、すべての実施例ではない。一般的に、本明細書の図面に記述および示されている本発明の実施例の構成要素は、異なる構成で配置および設計することができる。したがって、図面に提供される本発明の実施例の以下の詳細な記述は、請求された本発明の範囲を限定することを意図するものではなく、単に本発明の選定された実施例を表す。本発明の実施例に基づいて、当業者在創造的な作業なしに得られたすべてのその他の実施例、本発明の保護範囲に含まれるものとする。

【0034】

関連技術で、各展示エリアをモニタリングするときに、一般的に、現在の展示エリア内の群衆密度をモニタリングする方式を採用するが、統計した群衆密度のみによっては、展示エリアの顧客フロー群衆に対する具体的な分析を実現することができない。たとえば、展示エリアに対する顧客フロー群衆の注目持続時間、顧客フロー群衆中のユーザの属性情報などの分析を実現することができなく、さらに、ユーザの展示エリアに対する関心の程度の分析を実現することができない。

【0035】

これに鑑みて、本発明によって提供される展示エリア状態認識方法は、収集したビデオ画面に基づいて、第１時間帯内での展示エリアの顧客フローデータを確定し、確定された顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことができるため、顧客フローデータ中の少なくとも２つの特徴を参考して群衆状態データを確定することができ、群衆状態データに基づいて表示インターフェース内の展示エリアの表示状態を制御するときに、展示エリア内の群衆特徴をより精確で直感的に展示することができる。

【0036】

本発明の実施例によって提供される展示エリア状態認識方法は、サーバまたは表示機能をサポートする端末デバイスに適用され得る。サーバは、ローカルサーバまたはクラウドサーバであり得、端末デバイスは、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、スマートテレビなどであり得、本発明はこれに対して限定しない。

【0037】

本発明の実施例がサーバに適用される場合、本発明中のデータは、端末デバイスおよび／または撮影デバイスから取得たされたものであり得、表示インターフェース内の展示エリアに対応する表示状態の制御は、端末デバイスに制御命令を発送することによって、端末デバイスの表示インターフェース内の展示エリアに対応する表示状態の制御を実現することができる。

【0038】

本発明の実施例の理解を容易にするために、まず、展示エリア状態認識方法を詳細に紹介する。

【0039】

図１は、本発明の実施例によって提供される展示エリア状態認識方法のフローを示す模式図であり、当該方法は、ステップＳ１０１～Ｓ１０４を含む。

【0040】

Ｓ１０１において、展示エリアにおいて収集したビデオ画面を取得する。

【0041】

Ｓ１０２において、収集したビデオ画面に基づいて、第１時間帯内での展示エリアの顧客フローデータを確定し、顧客フローデータは、展示エリアに出現された各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含む。

【0042】

Ｓ１０３において、顧客フローデータを利用して第１時間帯内での展示エリアの群衆状態データを確定する。

【0043】

Ｓ１０４において、群衆状態データを利用して、表示インターフェース内の展示エリアに対応する表示状態を制御する。

【0044】

本実施例によって提供される方法は、収集したビデオ画面に基づいて顧客フローデータを確定し、顧客フローデータを利用して第１時間帯内での展示エリアの群衆状態データを確定し、群衆状態データを利用して表示インターフェース内の展示エリアに対応する表示状態を制御することができる。展示エリアの表示状態は、当該展示エリア内の群衆状態データをプロンプトするために使用されることができるため、展示エリアの群衆状態に対する動的モニタリングを実現することができ、さらに展示エリアの注目群衆を分析することができる。

【0045】

ビデオ画面内に複数の展示エリアが含まれている場合、異なる展示エリアの群衆状態データに基づいて、表示インターフェース内の異なる展示エリアを現わす対応する異なる表示状態を制御することができ、さらに、異なる展示エリアの群衆状態に対して比較分析を実行することができる。

【0046】

本発明の１実施例において、群衆状態データは、群衆人気レベルを含む。以下の方式によって群衆人気レベルを確定することができ、すなわち、顧客フローデータの中の少なくとも２つの顧客フローデータにそれぞれ対応する重み係数、および、少なくとも２つの顧客フローデータの数値に基づいて、群衆人気値を確定し、続いて群衆人気値が属している所在範囲に対応する群衆人気レベルを確定する。

【0047】

具体的に、異なる群衆人気レベルに対応する群衆人気値範囲を予め設定することができ、たとえば、第１レベルの群衆人気に対応する群衆人気値範囲は、０～１０であり、これに対応して、第１レベルの群衆人気内の群衆人気値の値は、０、５、１０であり得、第２レベルの群衆人気に対応する群衆人気値範囲は、１１～２０であり、これに対応して、第２レベルの群衆人気内の群衆人気値の値は、１１、１５、２０であり得、第３レベルの群衆人気に対応する群衆人気値範囲は、２１～３０であり、これに対応して、第３レベルの群衆人気内の群衆人気値の値は、２１、２５、３０であり得る。顧客フローデータの数値、および、各種類の顧客フローデータの重み係数に基づいて群衆人気値を確定した後に、群衆人気値が属している範囲を確定し、続いて対応する群衆人気レベルを確定することができる。たとえば、確定された群衆人気値が２５であると、対応する群衆人気レベルが第３レベルの群衆人気であるとして確定することができる。

【0048】

例示的に、以下の式に従って、顧客フロー延べ人数および顧客フロー人数に基づいて群衆人気値を計算することができる。
Ｐ＝ａｘ_１＋ｂｘ_２ 式（１）

【0049】

ここで、Ｐは、群衆人気値を表し、ｘ_１は、顧客フロー延べ人数の値を表し、ｘ_２は、顧客フロー人数の値を表し、ａは、顧客フロー延べ人数の重みを表し、ｂは、顧客フロー人数の重みを表す。

【0050】

例示的に、顧客フロー人数と滞在持続時間との結合に基づいて群衆人気値を計算することもでき、または、顧客フロー人数および注目持続時間の結合に基づいて群衆人気値を計算することもでき、本発明はこれに対して限定しない。

【0051】

群衆状態データを利用して、表示インターフェース内の展示エリアの表示状態を制御するときに、表示インターフェース内の展示エリアに対応する表示エリアのレイヤが、群衆人気レベルにマッチングされる色レベルを現わすように、制御することができる。

【0052】

異なる群衆人気レベルは、異なる色レベルにマッチングされる。たとえば、第１レベルの群衆人気とマッチングされる色レベルは、緑色であり得、第２レベルの群衆人気にマッチングされる色は、黄色であり得、第３レベルの群衆人気にマッチングされる色は、赤色であり得る。または、異なる色レベルは、異なるグレー値を現わすことができる。ここで、異なる群衆人気レベルにマッチングされる色レベルは、予め設定されたものであり得る。

【0053】

群衆人気レベルを確定した後に、当該群衆人気レベルにマッチングされる色レベルを確定し、続いて、表示インターフェース内の展示エリアに対応する表示エリアのレイヤが、当該色レベルの色を現わすように、制御することができる。例示的に、表示インターフェース内の異なる色レベルの展示エリアの展示模式図は、図２に示したとおりであり得る。図２で異なる灰色エリアは、異なる展示エリアを示し、グレー値は、当該展示エリアの群衆人気を示し、グレー値が高いほど、群衆人気値が高い。

【0054】

表示インターフェース内に各展示エリアに対応する表示エリアが含まれている場合、各表示エリアのレイヤの色に基づいて、異なる展示エリアの群衆人気情報を展示することができ、展示方式がより直感的である。

【0055】

本発明のもう１実施例において、表示インターフェース内に展示エリアが顧客フローデータに関連する表示状態を表示するように制御することができ、たとえば顧客フローデータの異なる種類に従って、表示インターフェース内で異なる種類の顧客フローデータに関連する表示状態を現わすように制御することができる。

【0056】

可能な１実施形態において、顧客フローデータを利用して第１時間帯内での展示エリアの群衆状態データを確定することは、各ユーザの属性情報に基づいて、異なる属性を有する群衆分布データを確定することを含み、前記群衆分布データは、年齢、性別、魅力値、感情の中の少なくとも１つの属性の分布データを含む。例示的に、群衆分布データの人数統計は、顧客フロー人数に基づいて計算することができ、このような場合、顧客フローデータは、展示エリアに出現された各ユーザの属性情報および顧客フロー人数を少なくとも含む。

【0057】

これに応じて、前記群衆状態データを利用して、表示インターフェース内の展示エリアの表示状態を制御することは、異なる属性を有する群衆分布データを利用して、表示インターフェース内に各種類の属性の群衆分布図をそれぞれ展示するように制御することができる。

【0058】

ここで、表示インターフェースに展示される各種類の属性の群衆分布図は、円グラフ、リングチャート、ヒストグラムなどであり得る。例示的に、表示インターフェース内の各種類の属性の群衆分布図は、図３に示したとおりであり得る。図３で展示された属性はそれぞれ性別、年齢、魅力値、感情であり、また、各種類の属性分布の横にある図の例は、異なる区間内の数量が占める比率を示す。たとえば、顧客フロー年齢分布の横の「ＸＸＸＸ」は、異なる年齢区間を示し、「ＸＸＸ」は、対応する年齢区間の人数の総人数で占める比率（または、対応する年齢区間の人数値を示すことができる）を示し、顧客フロー性別分布の横の「ＸＸＸ」は、異なる性別のユーザが占める比率（または、対応する性別の人数値を示すことができる）を示し、魅力値分布の横の「ＸＸＸＸ」は、異なる魅力値区間を示し、「ＸＸＸ」は、対応する魅力値区間の人数が総人数で占める比率（または、対応する魅力値区間の人数値を示すことができる）を示し、感情分布の横の「ＸＸＸＸ」は、異なるタイプの感情を示し、「ＸＸＸ」は、対応するタイプの感情の人数が総人数で占める比率（または、対応するタイプの感情の人数値を示すことができる）を示す。

【0059】

本発明のもう１実施例において、群衆状態データは、第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を含む。第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を確定するときに、顧客フローデータ中の顧客フロー人数および顧客フロー延べ人数から取得することができる。

【0060】

計算量を減らすために、第１時間帯内での展示エリアの顧客フロー人数および顧客フロー延べ人数を確定するときに、所定の時間帯ごとに１回確定することができ、たとえば、１分ごとに、顧客フロー人数および顧客フロー延べ人数を１回確定することができる。

【0061】

具体的に顧客フロー延べ人数を確定するときに、第１時間帯内での展示エリア内の各ユーザの総出現回数を確定することができる。ここで、各々のユーザ毎に、当該ユーザが展示エリアに毎回入るときの開始時間を記録し、記録した２回開始時間同士の間の間隔が第１時間を超えると、ユーザが１回出現したとして確定し、第１時間は、第１時間帯を超えない。

【0062】

例示的に、ユーザが展示エリアＡに入るときの開始時間をそれぞれ１０:００、１０:０８、および、１０:１１に記録し、第１時間が１０分であると、１０:００～１０:０８の間の間隔の時間が第１時間未満であり、ユーザが０回出現したと確定し、１０:００～１０:１１との間の間隔の時間が第１時間よりも大きく、ユーザが１回出現したと確定する。

【0063】

上記の方式において、記録した２回の開始時間同士の間の間隔が第１時間を超えると、ユーザが１回出現したと確定し、このような方式によって、比較的短時間でのユーザ出現回数の繰り返し統計を回避することができ、顧客フロー延べ人数の統計の精度を向上させることができる。

【0064】

顧客フロー人数を確定するときに、第１所定の時間帯内で収集したビデオ画面内に含まれた顔画像の数を取得してから、取得た顔画像に対して重複排除処理を行うことができ、すなわち、ユーザ顔の異なる時間でビデオ画面内に出現したことを統一して、当該ユーザに対応する顧客フロー人数を１として確定し、重複排除処理後の顔画像の数を顧客フロー人数として確定する。

【0065】

顧客フロー人数および顧客フロー人数がいずれもリアルタイムで変化されることを考慮して、計算量を減らすために、第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を取得することができ、ここで、任意の隣接する２つの時間ノードとの間の時間の間隔は、同一であり得る。

【0066】

可能な１実施形態において、同じ座標系において、第１時間帯内の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を展示することができる。例示的に、時間ノードを横座標に設定し、各時間ノードに対応する顧客フロー人数を縦座標に設定して、ポリライン図を描画する。続いて、同じ座標系において、同じ時間ノードを横座標にし、各時間ノードに対応する顧客フロー延べ人数を縦座標にして、ポリライン図を描画し、ポリライン図を利用して第１時間帯内での展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示することができる。本発明のもう１例において、ヒストグラム、円グラフなどを描画する方式によって、第１時間帯内での展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示することができる。

【0067】

例示的に、表示インターフェースに展示された顧客フロー人数の変化傾向および顧客フロー回数の変化傾向、および、両者の間の比較結果は、図４に示したとおりである。

【0068】

上記の実施形態において、表示インターフェースを利用して展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を表示することによって、展示エリアの顧客フロー人数および顧客フロー回数の変化状況をより直感的に展示することができる。

【0069】

本発明のもう１実施例において、群衆状態データは、各種類の属性の群衆グループの総注目時間を含み、例示的に、顧客フローデータは、ユーザの注目持続時間および各ユーザの属性情報を含む。ここで、ユーザの属性情報は、年齢、性別、魅力値、感情の中の少なくとも２つ属性を含む。

【0070】

ユーザの注目持続時間を確定するときに、図５に示した方法は、以下の幾つかのステップを含む。

【0071】

Ｓ５０１において、各々のユーザ毎に、収集したビデオ画面内の前記ユーザの顔向きデータを認識する。

【0072】

ここで、顔向きデータは、顔のピッチ角とヨー角とを含む。ピッチ角が第１角度範囲内にいるか否か、および、ヨー角が第２角度範囲内にいるか否かを判断することによって、ユーザが展示エリアの展示物体を注目しているか否かを確定することができる。

【0073】

Ｓ５０２において、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目していることを示すことが、検出された場合、前記ユーザが前記展示物体を最初に注目した時間を記録する。

【0074】

顔向きデータ中のピッチ角が第１角度範囲内にあり、かつ、顔向きデータ中のヨー角が第２角度範囲内にある場合、当該顔向きデータが、ユーザが展示エリアの展示物体を注目していることを示すと、確定することができる。

【0075】

Ｓ５０３において、記録した複数の前記ユーザが前記展示物体を最初に注目した時間に基づいて、前記第１時間帯内で前記ユーザが前記展示物体を注目した注目持続時間を確定し、ここで、前記注目持続時間は前記第１時間帯を超えない。

【0076】

具体的に、第１時間帯内でユーザが展示物体を注目した注目持続時間を確定するときに、まず、ユーザが第１時間帯内で展示物体を注目し始めた開始時間を確定し、続いて、ユーザが展示物体を２回注目した開始時間同士の間の間隔が所定の時間を超えたことが確定された場合、当該間隔をユーザが展示物体を１回注目した注目持続時間として使用する。

【0077】

例示的に、第１時間帯が１０:００～１０:３０であり、ユーザが展示物体を注目した開始時間がそれぞれ１０:０２、１０:０５、１０:１３、１０:１５、および、１０:２５であり、第１時間が１０分であると、１番目の注目持続時間は、１０:１３-１０:０２=１１分であり、２番目の注目持続時間は、１０:２５-１０:１３=１２分である。

【0078】

上記の方法において、記録したユーザの展示物体を最初に注目した時間のみに基づいて、第１時間帯内でユーザが展示物体を注目した注目持続時間を確定することができるため、ユーザが展示物体を最初に注目した時間との間の間隔が短すぎて引き起こした注目持続時間の頻繁的な統計を回避することができ、注目持続時間を計算するときの計算量を減らし、また計算された注目持続時間がより合理的にした。

【0079】

具体的に、各ユーザの注目持続時間および各ユーザの属性情報を利用して、第１時間帯内での各種類の属性の群衆グループの総注目時間を確定するときに、展示エリアに出現された各ユーザの属性情報に基づいて、各ユーザを異なる種類の属性の群衆グループに分類し、続いて、各種類の属性の群衆グループ中の各ユーザの展示エリアにおける注目持続時間を取得し、各種類の属性の群衆グループ中の各ユーザに対応する注目持続時間に基づいて、各種類の属性の群衆グループの総注目時間を確定することができる。

【0080】

可能な１実施形態において、第１時間帯内での各種類の属性の群衆グループの総注目時間を利用して、表示インターフェースに各種類の属性の群衆グループの注目状態効果図を展示することができる。

【0081】

ここで、注目効果図は、特定の図形で表示することができる。各種類の属性の群衆グループの総注目時間は互いに異なり、対応される特定画像の表示効果も互いに異なる。例示的に、注目状態効果図は、図６に示したようであり、図６は、総注目時間が同じ区間範囲内にいる異なる種類の属性のユーザの分布状況を示し、属性が性別および年齢である例を挙げると、まず群衆グループ中で性別が男である群衆サブグループ、および、性別が女である群衆サブグループをそれぞれ確定し、続いて、性別が男である群衆サブグループ中の各年齢区間の年齢サブグループをそれぞれ確定し、また性別が女である群衆サブグループ中の各年齢区間の年齢サブグループをそれぞれ確定し、さらに、確定された年齢サブグループにそれぞれ基づいて対応する円の直径を確定し、円中の「ＸＸＸＸ」は、異なる年齢区間を示す。ここで、分割された異なる性別および異なる年齢区間のサブグループを、異なる種類の属性の群衆グループと見なすことができる。

【0082】

さらに、上記の注目持続時間の計算方式に従って、異なる種類の属性の群衆グループ中の各ユーザの注目持続時間を統計し、続いて、異なる種類の属性の群衆グループ中の各ユーザの総注目時間に基づいて、各種類の属性の群衆グループの注目状態効果図を表示することができる。たとえば、図６に示したように、総注目時間が長い群衆グループであるほど、対応する注目状態効果図のサイズも大きい。

【0083】

上記の実施形態において、異なる属性の群衆分布データに基づいて、各種類の属性の群衆分布図を展示し、さらに、異なる総注目時間の異なる属性の群衆に対する分析を実現することができる。

【0084】

本発明のもう１実施例において、群衆状態データは、各種類の属性の群衆グループの滞在総時間を含み、この場合、顧客フローデータは、第１時間帯内で前記展示エリアに出現した各ユーザの滞在持続時間および各ユーザの属性情報を含む。

【0085】

ここで、展示エリアに出現された各ユーザの滞在持続時間を確定するときに、第１時間帯内で各ユーザが毎回出現したときに滞在した総持続時間を確定することができ、ここで、各々のユーザ毎に、ユーザが展示エリアを２回進入したときの開始時間同士の間の間隔が第１時間を超えたことが確定された場合、前記間隔をユーザが１回出現したときの滞在した持続時間として使用することができる。

【0086】

例示的に、第１時間帯が１０:００～１０:３０であり、ユーザが展示エリアに入るときの開始時間がそれぞれ１０:０２、１０:０５、１０:１３、１０:１５、および、１０:２５であり、第１時間が１０分であると、１番目の滞在持続時間は１０:１３-１０:０２=１１分であり、２番目の滞在持続時間は１０:２５-１０:１３=１２分である。

【0087】

可能な１実施形態において、第１時間帯内で前記展示エリアに出現した各ユーザの滞在持続時間および各ユーザの属性情報を利用して、各種類の属性の群衆グループの滞在総時間を確定し、続いて、各種類の属性の群衆グループの滞在総時間を利用して、表示インターフェースに各種類の属性の群衆グループの滞在状態効果図を展示することができる。

【0088】

具体的に、まず、展示エリアに出現された各ユーザの属性情報に基づいて、各ユーザを異なる属性の群衆グループに分類し、続いて、各種類の属性の群衆グループ中の各ユーザの展示エリアにおける滞在持続時間を取得し、各種類の属性の群衆グループ中の各ユーザに対応する滞在持続時間に基づいて、各種類の属性の群衆グループの滞在総時間を確定することができる。

【0089】

滞在状態効果図は、特定の画像で表示する。各種類の属性の群衆グループの滞在総時間は、異なっており、対応する特定画像の展示効果も互いに異なる。例示的に、滞在状態効果図は、図３に示したとおりであってもよいが、このときに図３に展示されたのは、同じ区間範囲内での異なる属性のユーザの滞在持続時間の分布状況である。

【0090】

上記の実施形態において、異なる属性の群衆分布データに基づいて、各種類の属性の群衆分布図を展示し、さらに、異なる滞在総時間の異なる属性群衆に対する分析を実現することができる。

【0091】

本発明の１例において、さらに、表示インターフェースにおける展示エリアに対するトリガ操作を取得た後に、群衆状態データを利用して、表示インターフェース内の展示エリアの表示状態を制御することができる。

【0092】

ここで、表示インターフェースにおける展示エリアに対するトリガ操作を取得することは、表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御し、続いて、撮影デバイスによって収集されたビデオ画面内のユーザ姿態を検出し、ユーザ姿態が姿態記述内容に記録された姿態を満たすことが検出されると、表示インターフェースにおける展示エリアに対するトリガ操作が取得されたとして確認することであり得る。

【0093】

例示的に、姿態プロンプトフレームは、図７に示したように、姿態プロンプトフレーム内には、「正面をファインダー枠に入って、手を上げて確認してください」の姿態記述情報が含まれており、ラインの部分が展示した人体姿態は、ユーザが対応する位置で当該動作姿態をとるようにプロンプトするために使用される。ユーザファインダー枠のラインの部分が挙手動作をとったことが検出されると、表示インターフェースにおける展示エリアに対するトリガ操作が取得されたとして確定することができる。

【0094】

本発明のもう１例において、表示インターフェースにおける展示エリアに対するトリガ操作を取得することは、さらに、スクリーンにおける展示エリアに対応する位置がクリックされたことが検出されたことであり得、クリック方式は、シングルクリック、ダブルクリック、長押し、ダブルプレスなどを含むが、これらに限定されない。または、表示インターフェースにおける展示エリアに対するトリガ操作を取得することは、さらに、ユーザによって入力された音声命令を受信し、音声命令を解析して、表示インターフェースにおける展示エリアに対するトリガ操作を取得されたと確定することであり得る。

【0095】

上記の各実施形態を結合して、以下の具体的な例を提供する。

【0096】

顧客フローデータが、前記展示エリアの各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数に反映されたときに、初期に展示される表示インターフェースは、図８Ａに示したとおりであり得る。図８Ａの左側の展示エリアにおいて、異なる人気レベルのエリアのグレー値が異なる。右側の展示エリアには、第１時間帯内での前記展示エリアの顧客フロー人数の変化傾向と顧客フロー回数の変化傾向との間の比較結果、各種類の属性の群衆分布図、および、顧客フローデータ統計結果が展示されている。ここで、顧客フローデータ統計結果は、今日顧客フロー人数、今日顧客フロー延べ人数、今日滞在総時間、過去顧客フロー人数、過去顧客フロー延べ人数、一人あたりの滞在時間などを含み、左側の展示エリア内の任意１つの展示エリアがトリガされたことが検出されると、表示インターフェースは、図８Ｂのように展示されることができる。図８Ｂにおいて、図８Ａの右側に展示されたエリア内に展示された注目状態効果図を、トリガされた展示エリアに対応するインターフェース画面に置き換える。インターフェース画面に、トリガされた展示エリアの顧客フローデータ統計情報（顧客フロー人数、顧客フロー延べ人数、滞在持続時間などを含む）、顧客フロー人数／延べ人数変化傾向、注目度群衆分析（たとえば、注目状態効果図）などを展示することができる。ここで、図８Ａおよび図８Ｂに展示された顧客フローデータ統計結果において、各数値は、リアルタイムで変化されるものであり、今日内、７日間、３０日間などの一定の期間内の顧客フローデータ統計結果を統計することができる。前記「今日」とは、今日から始めて現在時点まで統計したことを意味する。

【0097】

当業者は、具体的な実施形態の上記の方法において、各ステップの説明順序は、厳密な実行順序を意味して実施過程に対する制限を構成するのではなく、各ステップの具体的な実行順序は、その機能および可能の内部ロジックによって決定されるべきであることを理解できる。

【0098】

本発明の実施例は、同じ概念に基づいて、展示エリア状態認識装置をさらに提供する。図９は、本発明の実施例によって提供される展示エリア状態認識装置の構成を示す模式図である。当該装置は、取得モジュール９０１と、第１確定モジュール９０２と、第２確定モジュール９０３と、制御モジュール９０４と、を備え得る。

【0099】

取得モジュール９０１は、展示エリアにおいて収集したビデオ画面を取得する。

【0100】

第１確定モジュール９０２は、前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定し、ここで、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含む。

【0101】

第２確定モジュール９０３は、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定する。

【0102】

制御モジュール９０４は、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御する。

【0103】

可能な１実施形態において、前記群衆状態データは、群衆人気レベルを含み、前記制御モジュール９０４は、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するときに、前記表示インターフェース内の前記展示エリアに対応する表示エリアのレイヤが、前記群衆人気レベルにマッチングされる色レベルを現わすように、制御する。

【0104】

可能な１実施形態において、前記第２確定モジュール９０３は、さらに、前記群衆人気レベルを確定するときに、前記顧客フローデータの中の少なくとも２つの顧客フローデータにそれぞれ対応する重み係数、および、前記少なくとも２つの顧客フローデータの数値に基づいて、群衆人気値を確定し、前記群衆人気値が属する範囲に対応する群衆人気レベルを確定する。

【0105】

可能な１実施形態において、前記顧客フローデータが前記顧客フロー人数および前記顧客フロー延べ人数を含む場合、前記第２確定モジュール９０３は、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するときに、前記顧客フロー人数および前記顧客フロー延べ人数を利用して、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を取得し、
前記制御モジュール９０４は、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するときに、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数に基づいて、前記表示インターフェースに、前記第１時間帯内での前記展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示する。

【0106】

可能な１実施形態において、前記第２確定モジュール９０３は、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するときに、各ユーザの属性情報に基づいて、異なる属性を有する群衆分布データを確定し、前記群衆分布データは、年齢、性別、魅力値、感情の中の少なくとも１つの属性の分布データを含み、
前記制御モジュール９０４は、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するときに、前記異なる属性を有する群衆分布データを利用して、前記表示インターフェース内に、各種類の属性を有する群衆分布図をそれぞれ展示するように、制御する。

【0107】

可能な１実施形態において、前記顧客フローデータが各ユーザの注目持続時間および各ユーザの属性情報を含む場合、前記第２確定モジュール９０３は、前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するときに、前記展示エリアに出現した各ユーザの属性情報に基づいて、各ユーザを異なる種類の属性の群衆グループに分類し、各種類の属性の群衆グループ中の各ユーザの前記展示エリアにおける注目持続時間を取得し、各種類の属性の群衆グループ中の各ユーザに対応する前記注目持続時間に基づいて、各種類の属性の群衆グループの総注目時間を確定し、
前記制御モジュール９０４は、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するときに、各種類の属性の群衆グループの総注目時間に基づいて、前記表示インターフェース内に、前記各種類の属性の群衆グループの注目状態効果図を現わすように、制御する。

【0108】

可能な１実施形態において、前記各種類の属性の群衆グループ中のユーザは、年齢、性別、魅力値、感情の中の少なくとも２つ属性を満たす。

【0109】

可能な１実施形態において、前記注目状態効果図は、特定の図形で表示され、各種類の属性の群衆グループの総注目時間は互いに異なり、対応される特定画像の表示効果も互いに異なる。

【0110】

可能な１実施形態において、前記第１確定モジュール９０２は、さらに、前記注目持続時間を確定するときに、各々のユーザ毎に、前記収集したビデオ画面内の前記ユーザの顔向きデータを認識し、
前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目していることを示すことが、検出された場合、前記ユーザが前記展示物体を最初に注目した時間を記録し、記録した複数の前記ユーザが前記展示物体を最初に注目した時間に基づいて、前記第１時間帯内で前記ユーザが前記展示物体を注目した注目持続時間を確定し、ここで、前記注目持続時間は前記第１時間帯を超えない。

【0111】

可能な１実施形態において、前記顔向きデータは、顔のピッチ角とヨー角とを含み、前記第１確定モジュール９０２は、前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目したことを示すとして確定する。

【0112】

可能な１実施形態において、前記第１確定モジュール９０２は、さらに、第１時間帯内での前記展示エリアの顧客フロー延べ人数を確定するときに、前記第１時間帯内での前記展示エリア内の各ユーザの総出現回数を確定し、ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに毎回入るときの開始時間を記録し、記録した２回の前記開始時間同士の間の間隔が第１時間を超えると、前記ユーザが１回出現したとして確定し、前記第１時間は、前記第１時間帯を超えない。

【0113】

可能な１実施形態において、前記第１確定モジュール９０２は、さらに、第１時間帯内での前記展示エリアのユーザの滞在持続時間を確定するときに、前記第１時間帯内で各ユーザが毎回出現したときに滞在した総持続時間を確定し、ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに２回進入したときの開始時間同士の間の間隔が第１時間を超えたとして確定された場合、前記間隔を前記ユーザが１回出現したときの滞在した持続時間とする。

【0114】

可能な１実施形態において、前記取得モジュール９０１は、さらに、前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御する前に、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得する。

【0115】

可能な１実施形態において、前記取得モジュール９０１は、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得するときに、前記表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御し、前記収集したビデオ画面内のユーザ姿態を検出し、前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得たとして確認する。

【0116】

いくつかの実施例において、本発明の実施例によって提供される装置に含まれる機能またはテンプレートを使用して、上記の方法の実施例に記述された方法を実行することができ、その具体的な実装は上記の方法の実施例の記述を参照することができる。

【0117】

本発明の実施例は、同じ技術的概念に基づいて、電子デバイスをさらに提供する。図１０は、本発明の実施例によって提供される電子デバイスの構成を示す模式図である。当該電子デバイスは、プロセッサ１００１と、メモリ１００２と、バス１００３と、を備える。ここで、メモリ１００２は、内部メモリ１００２１と外部メモリ１００２２とを含む。ここでの内部メモリ１００２１は、メモリとも呼ばれ、プロセッサ１００１中の計算データおよびハードディスクなどの外部メモリ１００２２と交換するデータを一時的に格納する。プロセッサ１００１は、内部メモリ１００２１を利用して外部メモリ１００２２とデータ交換を実行する。電子デバイス１０００が運行されると、プロセッサ１００１とメモリ１００２との間がバス１００３を介して通信することによって、プロセッサ１００１が以下の命令を実行するようにし、当該命令は、
展示エリアにおいて収集したビデオ画面を取得することと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定することであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することと、を含む。

【0118】

なお、本発明の実施例は、コンピュータプログラムが格納されているコンピュータ可読記録媒体をさらに提供し、当該コンピュータプログラムがプロセッサによって運行されると、上記の方法の実施例に記載の展示エリア状態認識方法のステップが実行される。

【0119】

本発明の実施例によって提供される展示エリア状態認識方法のコンピュータプログラム製品は、プログラムコードが格納されたコンピュータ可読記録媒体を含み、前記プログラムコードに含まれた命令は、上記の方法の実施例に記載の展示エリア状態認識方法のステップを実行するために使用される。

【0120】

当業者は、上記のシステムおよび装置の具体的な作業過程は、方法の実施例での過程を参考することができ、記述の便宜及び簡潔化のために、ここでは繰り返して説明しないことを明確に理解することができる。本発明によって提供される実施例で開示されるシステム、装置、および、方法は、その他の方式によって実現できることを理解すべきである。上記の装置の実施例は、単に模式的なものである。たとえば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実装では、他の分割方法があり得、また、たとえば、複数のユニットまたは構成要素は、組み合わされたり、別のシステムに統合されたり、一部の特徴が忽略されたり実行されなかったりする場合がある。さらに、表示または議論された互いに結合または直接結合または通信接続は、いくつかの通信インターフェース、デバイスまたはユニットの間接結合または通信接続を介することができ、電気的、機械的または他の形態であり得る。

【0121】

前記の分離部品として説明されたユニットは、物理的に分離されている場合と物理的に分離されていない場合があり、ユニットとして表示される部品は、物理ユニットである場合とそうでない場合がある。1つの場所に配置されることも、複数のネットワークユニットに分散させることもできる。ユニットのいくつかまたはすべては、本開示の実施例の解決策の目的を達成するための実際の必要性に従って選択され得る。

【0122】

また、本発明の各実施例での各機能ユニットは、１つの処理ユニットに統合され得るか、または各ユニットが物理的に単独で存在し得るか、または２つ以上のユニットが１つのユニットに統合され得る。

【0123】

前記機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売または使用される場合、１つのプロセッサによって実行可能な不揮発性のコンピュータ可読取記録媒体に格納されることができる。このような理解に基づいて、本発明の実施例は、本質的にソフトウェア製品の形態で具体化されるか、または、先行技術に寄与する部分または実施形態の一部がソフトウェア製品の形態で具体化されることができる。当該コンピュータソフトウェア製品は、記録媒体に格納され、パーソナルコンピュータ、サーバ、またはネットワークデバイスなどのコンピュータデバイスに、以下の様々な実施形態に記載された方法のステップのすべてのまたは一部を実行させるためのいくつかの命令を含む。前述した記録媒体は、Ｕディスク、移動ハードディスク、読み取り専用メモリ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光学ディスクなどの、プログラムコードを格納できる様々な媒体を含む。

【0124】

上記は本発明のいくつかの実施形態にすぎないし、本発明の保護範囲はそれに限定されない。本開示に基づいて当業者が容易に想像することができる変更または置換は、本開示の範囲内に含まれるものとする。したがって、本開示の範囲は、特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【手続補正書】

【提出日】2021-05-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

展示エリア状態認識方法であって、
展示エリアにおいて収集したビデオ画面を取得することと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定することであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含むことと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定することと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することと、を含む
ことを特徴とする展示エリア状態認識方法。

【請求項2】

前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記群衆状態データが群衆人気レベルを含む場合、前記表示インターフェース内の前記展示エリアに対応する表示エリアのレイヤが、前記群衆人気レベルにマッチングされる色レベルを現わすように、制御することを含むか、
および／または、
前記顧客フローデータが前記顧客フロー人数および前記顧客フロー延べ人数を含む場合、
前記顧客フロー人数および前記顧客フロー延べ人数を利用して、前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数を取得することを含むか、
および／または、
各ユーザの属性情報に基づいて、各属性を有する群衆分布データを確定することを含むか、
および／または、
前記顧客フローデータが各ユーザの注目持続時間および各ユーザの属性情報を含む場合、前記展示エリアに出現した各ユーザの属性情報に基づいて、各ユーザを各種類の属性の群衆グループに分類することと、
各種類の属性の群衆グループ中の各ユーザの前記展示エリアにおける注目持続時間を取得することと、
各種類の属性の群衆グループ中の各ユーザに対応する前記注目持続時間に基づいて、各種類の属性の群衆グループの総注目時間を確定することと、を含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記第１時間帯の複数の時間ノードでの顧客フロー人数および顧客フロー延べ人数に基づいて、前記表示インターフェースに、前記第１時間帯内での前記展示エリアの顧客フロー人数の変化傾向および顧客フロー回数の変化傾向を展示することを含み、
前記群衆分布データは、年齢、性別、魅力値、感情の中の少なくとも１つの属性の分布データを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
前記各属性を有する群衆分布データを利用して、前記表示インターフェース内に、各種類の属性を有する群衆分布図をそれぞれ展示するように、制御することを含み、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御することは、
各種類の属性の群衆グループの総注目時間に基づいて、前記表示インターフェース内に、前記各種類の属性の群衆グループの注目状態効果図を現わすように、制御することを含む
ことを特徴とする請求項１に記載の展示エリア状態認識方法。

【請求項3】

前記群衆人気レベルを確定することは、
前記顧客フローデータの中の少なくとも２つの顧客フローデータにそれぞれ対応する重み係数、および、前記少なくとも２つの顧客フローデータの数値に基づいて、群衆人気値を確定することと、
前記群衆人気値が属する範囲に対応する群衆人気レベルを確定することと、を含む
ことを特徴とする請求項２に記載の展示エリア状態認識方法。

【請求項4】

前記各種類の属性の群衆グループ中のユーザは、年齢、性別、魅力値、感情の中の少なくとも２つ属性を満たし、
前記注目状態効果図は、特定の図形で表示され、各種類の属性の群衆グループの総注目時間は互いに異なり、対応される特定画像の表示効果も互いに異なる
ことを特徴とする請求項２に記載の展示エリア状態認識方法。

【請求項5】

前記注目持続時間を確定することは、
各々のユーザ毎に、前記収集したビデオ画面内の前記ユーザの顔向きデータを認識することと、
前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目していることを示すことが、検出された場合、前記ユーザが前記展示物体を最初に注目した時間を記録することと、
記録した複数の前記ユーザが前記展示物体を最初に注目した時間に基づいて、前記第１時間帯内で前記ユーザが前記展示物体を注目した注目持続時間を確定することであって、前記注目持続時間は前記第１時間帯を超えないことと、を含み、
および／または、
前記第１時間帯内での前記展示エリアの顧客フロー延べ人数を確定することは、
前記第１時間帯内での前記展示エリア内の各ユーザの総出現回数を確定することを含み、
ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに毎回入るときの開始時間を記録し、記録した２回の前記開始時間同士の間の間隔が第１時間を超えると、前記ユーザが１回出現したとして確定し、前記第１時間は、前記第１時間帯を超えないし、
および／または、
前記第１時間帯内での前記展示エリアのユーザの滞在持続時間を確定することは、
前記第１時間帯内で各ユーザが毎回出現したときに滞在した総持続時間を確定することを含み、
ここで、各々のユーザ毎に、前記ユーザが前記展示エリアに２回進入したときの開始時間同士の間の間隔が第１時間を超えたとして確定された場合、前記間隔を前記ユーザが１回出現したときの滞在した持続時間とする
ことを特徴とする請求項１、２、または４の中のいずれか１項にに記載の展示エリア状態認識方法。

【請求項6】

前記顔向きデータは、顔のピッチ角とヨー角とを含み、
前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記ユーザが前記展示エリアの展示物体を注目したことを示すとして確定する
ことを特徴とする請求項５に記載の展示エリア状態認識方法。

【請求項7】

前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御する前に、
前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することをさらに含む
ことを特徴とする請求項１乃至６の中のいずれか１項に記載の展示エリア状態認識方法。

【請求項8】

前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得することは、
前記表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御することと、
前記収集したビデオ画面内のユーザ姿態を検出することと、
前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースにおける前記展示エリアに対するトリガ操作を取得たとして確認することと、を含む
ことを特徴とする請求項７に記載の展示エリア状態認識方法。

【請求項9】

展示エリア状態認識装置であって、
展示エリアにおいて収集したビデオ画面を取得するための取得モジュールと、
前記収集したビデオ画面に基づいて、第１時間帯内での前記展示エリアの顧客フローデータを確定するための第１確定モジュールはであって、前記顧客フローデータは、前記展示エリアに出現した各ユーザの滞在持続時間、各ユーザの注目持続時間、各ユーザの属性情報、顧客フロー人数、顧客フロー延べ人数の中の少なくとも２つを含む第１確定モジュールと、
前記顧客フローデータを利用して、前記第１時間帯内での前記展示エリアの群衆状態データを確定するための第２確定モジュールと、
前記群衆状態データを利用して、表示インターフェース内の前記展示エリアに対応する表示状態を制御するための制御モジュールと、を備える
ことを特徴とする展示エリア状態認識装置。

【請求項10】

電子デバイスであって、
プロセッサとメモリとを備え、
前記メモリには、前記プロセッサによって実行可能な機械可読命令が格納されており、
前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサが、請求項１乃至８の中のいずれか１項に記載の展示エリア状態認識方法を実行するようにする
ことを特徴とする電子デバイス。

【請求項11】

コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
前記コンピュータプログラムがプロセッサによって運行されると、前記プロセッサが、請求項１乃至８の中のいずれか１項に記載の展示エリア状態認識方法を実行するようにする
ことを特徴とするコンピュータ可読記録媒体。

【請求項12】

コンピュータ命令を含むコンピュータプログラムであって、
前記コンピュータ命令がデバイスのプロセッサによって運行されると、請求項１乃至８のいずれか１項に記載の展示エリア状態認識方法が実現される
ことを特徴とするコンピュータプログラム。

【国際調査報告】