(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-31
(54)【発明の名称】データプッシュ方法、装置、電子デバイス、コンピュータ記憶媒体、及びコンピュータプログラム
(51)【国際特許分類】
G06Q 30/02 20120101AFI20220324BHJP
【FI】
G06Q30/02 398
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021524015
(86)(22)【出願日】2020-10-15
(85)【翻訳文提出日】2021-05-06
(86)【国際出願番号】 CN2020121249
(87)【国際公開番号】W WO2021143228
(87)【国際公開日】2021-07-22
(31)【優先権主張番号】202010054747.0
(32)【優先日】2020-01-17
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520291939
【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司
【氏名又は名称原語表記】BEIJING SENSETIME TECHNOLOGY DEVELOPMENT CO.,LTD.
【住所又は居所原語表記】Room 1101-1117,11th Floor No.58 Northwest 4th Ring Road, Haidian District Beijing 100080 China
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲趙▼ 馨逸
(72)【発明者】
【氏名】于 萌
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB08
(57)【要約】
本発明の実施例は、データプッシュ方法、装置、電子デバイス、コンピュータ記憶媒体、及びコンピュータプログラムを提案し、当該方法は、画像収集装置によって収集された複数フレームの人物画像を取得するステップと、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップと、前記滞在時間に基づいて候補投入ターゲットを決定するステップと、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するステップと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
データプッシュ方法であって、
画像収集装置によって収集された複数フレームの人物画像を取得するステップと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップと、
前記滞在時間に基づいて候補投入ターゲットを決定するステップと、
前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するステップと、を含む
ことを特徴とするデータプッシュ方法。
【請求項2】
前記滞在時間に基づいて候補投入ターゲットを決定するステップは、
前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするステップを含む
ことを特徴とする請求項1に記載のデータプッシュ方法。
【請求項3】
前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である
ことを特徴とする請求項1または2に記載のデータプッシュ方法。
【請求項4】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であるステップと、
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む
ことを特徴とする請求項1乃至3の何れか1項に記載のデータプッシュ方法。
【請求項5】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であるステップと、
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む
ことを特徴とする請求項1乃至3の何れか1項に記載のデータプッシュ方法。
【請求項6】
前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定するステップであって、前記所定のサイズは、前記画像収集解像度成と正の相関を有するステップ、をさらに含む
ことを特徴とする請求項5に記載のデータプッシュ方法。
【請求項7】
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップは、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するステップを含む
ことを特徴とする請求項1乃至6の何れか1項に記載のデータプッシュ方法。
【請求項8】
前記複数フレームの人物画像のうちの各人物画像における顔品質を決定するステップと、
前記候補投入ターゲットに対応する画像中から顔品質が最も高い1フレームの画像を選択するステップと、をさらに含む
ことを特徴とする請求項7に記載のデータプッシュ方法。
【請求項9】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記顔品質が最も高い1フレームの画像に対応する候補投入ターゲットの顔画像に基づいて推薦情報を決定するステップを含む
ことを特徴とする請求項8に記載のデータプッシュ方法。
【請求項10】
データプッシュ装置であって、
画像収集装置によって収集された複数フレームの人物画像を取得するための取得モジュールと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するための決定モジュールと、
前記滞在時間に基づいて候補投入ターゲットを決定し、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するための処理モジュールと、を備える
ことを特徴とする請求項に記載のデータプッシュ装置。
【請求項11】
前記滞在時間に基づいて候補投入ターゲットを決定するとき、前記処理モジュールは、
前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするように構成されている
ことを特徴とする請求項10に記載のデータプッシュ装置。
【請求項12】
前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である
ことを特徴とする請求項10または11に記載のデータプッシュ装置。
【請求項13】
前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュールは、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であり、
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている
ことを特徴とする請求項10乃至12の何れか1項に記載のデータプッシュ装置。
【請求項14】
前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュールは、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であり、
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている
ことを特徴とする請求項10乃至12の何れか1項に記載のデータプッシュ装置。
【請求項15】
前記処理モジュールは、さらに、前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定し、前記所定のサイズは、前記画像収集解像度成と正の相関を有するように構成されている
ことを特徴とする請求項14に記載のデータプッシュ装置。
【請求項16】
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するとき、決定モジュールは、具体的には、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するように構成されている
ことを特徴とする請求項10乃至15の何れか1項に記載のデータプッシュ装置。
【請求項17】
前記決定モジュールは、さらに、
前記複数フレームの人物画像のうちの各人物画像における顔品質を決定し、
前記候補投入ターゲットに対応する画像中から顔品質が最も高い1フレームの画像を選択するように構成されている
ことを特徴とする請求項16に記載のデータプッシュ装置。
【請求項18】
前記処理モジュールは、具体的には、前記顔品質が最も高い1フレームの画像に対応する候補投入ターゲットの顔画像に基づいて推薦情報を決定するように構成されている
ことを特徴とする請求項17に記載のデータプッシュ装置。
【請求項19】
電子デバイスであって、
プロセッサと、
当該プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を備え、
前記プロセッサによって前記コンピュータプログラムが実行されるときに、請求項1乃至9の何れか1項に記載のデータプッシュ方法が実行される
ことを特徴とする電子デバイス。
【請求項20】
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサが請求項1乃至9の何れか1項に記載のデータプッシュ方法を実現するようにする
ことを特徴とするコンピュータ記憶媒体。
【請求項21】
コンピュータプログラムであって、
当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサが請求項1乃至9の何れか1項に記載のデータプッシュ方法を実現するようにする
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビジョン技術に関し、特に、データプッシュ方法、装置、電子デバイス、コンピュータ記憶媒体、及びコンピュータプログラムに関する。
【0002】
<関連出願の相互引用>
本発明は、出願日が2020年1月17日であり、出願番号が202010054747.0であり、発明名称が「データプッシュ方法、装置、電子デバイス、および、コンピュータ記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
【背景技術】
【0003】
新しい小売業界の背景において、オフラインビジネス場面に広告などの推薦情報の投入が、ますます普及している。大手ショッピングモールへの広告の投入を例とすると、現在、多くの推薦情報は、ショッピングモールのプロモーションコンテンツやパートナーの宣伝コンテンツなどを含んでいるが、視聴者層の多様化により、当該推薦情報が往々にして理想的な投入効果を得ることができなくなり、結果的に投入リソースの浪費をもたらすことになる。
【発明の概要】
【0004】
本発明の実施例は、データプッシュ方法を提供し、前記方法は、
画像収集装置によって収集された複数フレームの人物画像を取得するステップと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップと、
前記滞在時間に基づいて候補投入ターゲットを決定するステップと、
前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するステップと、を含む。
【0005】
選択的に、前記滞在時間に基づいて候補投入ターゲットを決定するステップは、前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするステップを含む。
【0006】
選択的に、前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である。
【0007】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であるステップと、
【0008】
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む。
【0009】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であるステップと、
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む。
【0010】
選択的に、前記方法は、
前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定するステップであって、前記所定のサイズは、前記画像収集解像度成と正の相関を有するステップをさらに含む。
【0011】
選択的に、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップは、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するステップを含む。
【0012】
選択的に、前記方法は、
前記複数フレームの人物画像のうちの各人物画像における顔品質を決定するステップと、
前記候補投入ターゲットに対応する画像中から顔品質が最も高い1フレームの画像を選択するステップと、をさらに含む。
【0013】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するステップは、前記顔品質が最も高い1フレームの画像に対応する候補投入ターゲットの顔画像に基づいて推薦情報を決定するステップを含む。
【0014】
本発明の実施例は、データプッシュ装置をさらに提供し、前記装置は、
画像収集装置によって収集された複数フレームの人物画像を取得するための取得モジュールと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するための決定モジュールと、
前記滞在時間に基づいて候補投入ターゲットを決定し、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するための処理モジュールと、を備える。
【0015】
選択的に、前記滞在時間に基づいて候補投入ターゲットを決定するとき、前記処理モジュールは、具体的には、
前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするように構成されている。
【0016】
選択的に、前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である。
【0017】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュールは、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であり、
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている。
【0018】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュールは、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であり、
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている。
【0019】
選択的に、前記処理モジュールは、さらに、前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定し、前記所定のサイズは、前記画像収集装置の画像収集解像度と正の相関を有するように構成されている。
【0020】
選択的に、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するとき、決定モジュールは、具体的には、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するように構成されている。
【0021】
選択的に、前記決定モジュールは、さらに、
前記複数フレームの人物画像のうちの各人物画像における顔品質を決定し、
前記候補投入ターゲットに対応する画像中から顔品質が最も高い1フレームの画像を選択するように構成されている。
【0022】
選択的に、前記処理モジュールは、具体的には、前記顔品質が最も高い1フレームの画像に対応する候補投入ターゲットの顔画像に基づいて推薦情報を決定するように構成されている。
【0023】
本発明の実施例は、電子デバイスをさらに提供し、当該電子デバイスは、プロセッサと、当該プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を備え、ここで、
前記プロセッサが前記コンピュータプログラムを実行するときに、上記の任意の1項に記載のデータプッシュ方法が実行される。
【0024】
本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ記憶媒体をさらに提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサによって上記の任意の1項に記載のデータプッシュ方法が実現される。
【0025】
本発明の実施例は、コンピュータプログラムをさらに提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサによって上記の任意の1項に記載のデータプッシュ方法が実現される。
【0026】
本発明の実施例において、情報表示装置の前での滞在時間は、ユーザが推薦情報に注目しているか否かを判断する重要な参考要素であるため、顔の情報表示装置の前での滞在時間に基づいて候補投入ターゲットを決定する方式は、狙いをつけて推薦情報の投入ターゲットを選択することができ、推薦情報プッシュの有効性がいっそう高くなり、投入リソースの浪費を削減し、さらに、推薦情報の入出力比の向上に有利である。
【0027】
上記の一般的な記述および以下の詳細な記述は、例示的かつ解釈的なもの過ぎず、本発明に対する限定ではないことを理解すべきである。
【図面の簡単な説明】
【0028】
ここでの図面は、明細書に組み込まれて本明細書の一部を構成する。これら図面は、本発明に合致する実施例を示し、明細書とともに本発明の実施例を説明するために用いられる。
【
図1】本発明の実施例のデータプッシュ方法のフローチャートである。
【
図2】本発明の実施例の1つの適用場面の模式図である。
【
図3】本発明の実施例のもう1つの適用場面の模式図である。
【
図4】本発明の実施例のデータプッシュ装置の構成の模式図である。
【
図5】本発明の実施例の電子デバイスの構成の模式図である。
【発明を実施するための形態】
【0029】
以下、図面および実施例を参照して、本発明をさらに詳細に説明する。ここで提供される実施例は、本発明を解釈するためのものに過ぎず、本発明を限定しないことを理解すべきである。また、以下で提供される実施例は、本発明を実施するための全部の実施例ではなく、本発明を実施するための一部の実施例であり、矛盾がない場合、本発明の実施例は、任意の組み合わせで実施することができる。
【0030】
本発明の実施例において、「含む」と「備える」のような用語またはそれらのいかなる他の変形は、非排他的な「含む」をカバーすることを意図することによって、一連の要素を含む方法または装置が、明確に記載された要素にのみならず、明確に記載されていない他の要素、または、方法または装置の実施に固有の要素も含むようにすることを説明する必要がある。これ以上の限定がない場合、「1つの...を含む」のような語句で限定される要素は、当該要素を含む方法または装置にさらに存在する他の関連要素を除外しない(例えば、方法中のステップまたは装置中のユニットであり、例えば、装置中のユニットは一部の回路、一部のプロセッサ、一部のプログラムまたはソフトウェアなどであり得る)。
【0031】
本発明で使用される「および/または」のような用語は、ただ、関連対象の関連関係を記述するためにのみ使用されており、3種の関係が存在できることを意味し、例えば、Aおよび/またはB、それは、Aが単独的に存在する場合、AおよびBが同時に存在する場合、および、Bが単独的に存在する場合のような3種の場合が存在することを示している。また、本発明で使用される「少なくとも1種」のような用語は、複数種の要素の中の任意の1種または複数種の要素の中の少なくとも2種の任意の組み合わせを意味する。例えば、A、B、Cの中の少なくとも1種は、A、B、および、Cから構成されたセット中で選択した任意の1つまたは複数の要素を意味する。
【0032】
例えば、本発明の実施例によって提供されるデータプッシュ方法は、一連のステップを含むが、本発明の実施例によって提供されるデータプッシュ方法は、記載されたステップに限定されなく、同様に、本発明の実施例によって提供されるデータプッシュ装置は、一連のモジュールを含むが、本発明の実施例によって提供されるデータプッシュ装置は、明確に記載したモジュールを含むことに限定されなく、さらに、関連情報を取得するときまたは情報に基づいて処理を実行するときに配置する必要があるモジュールを備えてもよい。
【0033】
本発明の実施例は、端末、サーバなどのハードウェアまたはハードウェアから構成されたコンピュータシステムに適用して、他の多くの汎用または専用の計算システム環境または構成と一緒に動作することができ、または、プロセッサがコンピュータ実行可能コードを実行する方式によって、本発明の実施例を実現することができる。ここで、端末は、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブルな消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステムなどであり得、サーバは、サーバコンピュータシステム、小型コンピュータシステム、大型コンピュータシステム、上記のいかなるシステムを含む分散型クラウドコンピューティング環境であり得る。
【0034】
端末、サーバなどの電子デバイスは、コンピュータシステムによって実行されるコンピュータシステム実行可能命令(例えばプログラムモジュール)の一般的なコンテキストで記述できる。一般的に、プログラムモジュールには、特定のタスクを実行する、または特定の抽象データタイプを実装するルーチン、プログラム、対象プログラム、コンポーネント、ロジック、データ構造などが含まれてもよい。コンピュータシステム/サーバは、分散型クラウドコンピューティング環境に実現されてもよく、分散型クラウドコンピューティング環境では、タスクは、通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカルまたはリモートコンピューティングシステムの記憶媒体に配置できる。
【0035】
オフラインビジネス場面において、ますます多くのハードウェアデバイスは、画像収集能力を備え始めており、これらのハードウェアデバイスは、ショッピングモール、店舗などの領域の人々に効果的にリーチし、異なる人物の特性に基づいて異なる推薦情報をプッシュする「新しい小売」の可能性を提供する。しかしながら、カメラが収集した人の流れの場面が複雑であり、撮影されたビデオには同時に複数の人が出現することが多く、このような複雑な環境は、推薦情報の投入ターゲットの選択に困難度を増加させた。
【0036】
本発明のいくつかの実施例において、データプッシュ方法を提案し、本発明の実施例は、広告の投入、オフライン小売などの、推薦情報の投入を実行する必要がある場面に適用され得る。
【0037】
図1は、本発明の実施例のデータプッシュ方法のフローチャートであり、
図1に示すように、当該データプッシュ方法は、ステップ101~ステップ104を含んでもよい。
【0038】
ステップ101において、画像収集装置によって収集された複数フレームの人物画像を取得する。
【0039】
本発明の実施例において、画像収集装置は、ビデオストリームまたは画像を収集するためのデバイスを示し、例えば、画像収集装置は、ビデオ検出デバイスであってもよいし、キャプチャカメラなどの画像を収集するデバイスであってもよい。
【0040】
画像収集装置は、情報表示装置の周囲に配置されてもよく、画像収集装置の撮影範囲は、情報表示装置の前方領域を含んでもよく、情報表示装置の前方領域は、情報表示装置の表示内容を見ることができる領域である。例示的に、情報表示装置の前方領域は、情報表示装置の真っ正面の領域および/または側正面領域であり得、本発明の実施例はこれに対して限定しない。
【0041】
本発明の実施例において、情報表示装置は、推薦情報を表示する装置である。例示的に、情報表示装置は、表示スクリーンまたは他の種類の表示装置であり得る。情報表示装置が推薦情報を表示する形式は、画像とテキスト、リストなどによって表示する方式を含んでもよいが、これらに限定されない。実際の表示過程において、静的または動的に表示する方式で推薦情報を表示することができる。ここで、動的に表示する方式は、推薦情報の定期または非定期の切り替えを含むが、これらに限定されなく、たとえば、スクロール、ページめくり、ハイライトなどの形式による推薦情報の切り替えを含むが、これらに限定されない。
【0042】
1実施形態において、画像収集装置が前記情報表示装置上に配備され、このようにすると、画像収集装置の撮影範囲が情報表示装置の表示内容を見る位置の領域を含むことになり、上記の情報表示装置の前方領域の説明と結合すると、本発明の実施例は、画像収集装置の情報表示装置の前方領域の人物画像の収集に有利である。
【0043】
別の実施形態において、画像収集装置と情報表示装置との間の距離が所定の距離閾値以下である。画像収集装置と情報表示装置との間の距離がより小さい場合、画像収集装置の撮影範囲が情報表示装置の表示内容を見る位置の領域を含む可能性が大きいことを理解できる。上記の情報表示装置の前方領域の説明と結合すると、本発明の実施例は、画像収集装置の情報表示装置の前方領域の人物画像の収集に有利である。
【0044】
ここで、所定の距離閾値は、画像収集装置の撮影範囲と正の相関を有し、画像収集装置の撮影範囲がより大きい場合、所定の距離閾値がより大きく、このようにすると、画像収集装置と情報表示装置との間の距離がより大きい場合にも、画像収集装置の撮影範囲が前記情報表示装置の前方領域を含むことができる。画像収集装置の撮影範囲がより小さい場合、画像収集装置と情報表示装置との間の距離より小さいと、画像収集装置の情報表示装置の前方領域の撮影に有利である。
【0045】
ここで、画像収集装置がビデオストリームを収集した場合、ビデオストリームの全ての画像フレームから、顔認識および/または人体識別によって、複数フレームの人物画像をを選択してもよいし、まず、ビデオストリームの全ての画像フレームの中から一部の画像フレームを選択した後、上記の一部の画像フレームから、顔認識および/または人体識別によって、複数フレームの人物画像を選択してもよい。もういくつかの実施例において、画像収集装置がキャプチャカメラなどの画像収集ためのデバイスである場合、複数回のキャプチャによって、複数フレームの人物画像を得てもよい。
【0046】
ステップ102において、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定する。
【0047】
実際の適用において、各々のフレームの人物画像に対して顔検出を実行してもよく、それによって複数フレームの人物画像に対する顔追跡を実現することができる。本発明の実施例においては、顔検出および顔追跡の実現形態に対して限定しない。
【0048】
1実施形態において、複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定することができる。具体的に、複数フレームの人物画像に対して顔追跡を実行することによって、異なるフレームの人物画像における同一の顔を決定した後、異なるフレームの人物画像を収集した収集時間間隔に基づいて、複数フレームの人物画像における顔の画像収集装置の前での滞在時間を決定することができる。
【0049】
ステップ103において、前記滞在時間に基づいて候補投入ターゲットを決定する。
【0050】
具体的に、複数フレームの人物画像における顔の情報表示装置の前での滞在時間に基づいて、複数フレームの人物画像における顔に対応する人物の中から、候補投入ターゲットを選択することができる。
【0051】
本ステップの実現形態の場合、1例において、複数フレームの人物画像における顔に対応する人物の中から、滞在時間が所定の時間以上である顔に対応する人物を、候補投入ターゲットとすることができる。
【0052】
本発明の実施例において、所定の時間は、デフォルト値であり得、または、実際の適用要件に従って予め設定することができる。例示的に、情報表示装置が人の流れの速度が相対的に速い場面に位置する場合、人が情報に注目する時間が限られるため、より低い所定の時間を設定でき、このようにすると、滞在時間がより低い所定の時間以上であると、該当する人物が情報表示装置に効果的に注目しているとして見なすことができる。情報表示装置が人の流れの速度が相対的に遅い場面に位置する場合、人物が情報に注目する時間が十分であるため、より高い所定の時間を設定でき、このようにすると、滞在時間がより高い所定の時間以上であると、該当する人物が情報表示装置に効果的に注目しているとして見なすことができる。具体的な例において、情報表示装置が地下鉄の駅などの人の流れの速度が相対的に速い場面に位置する場合、所定の時間を3秒に設定してもよい。情報表示装置がバス内や建物内などの人の流れの速度が相対的に遅い場面に位置する場合、所定の時間を5秒に設定してもよい。
【0053】
情報表示装置の前での滞在時間がより短いユーザは、推薦情報に注目する可能性がより低く、情報表示装置の前での滞在時間がより長いユーザは、推薦情報に注目する可能性がいっそう高いため、顔の情報表示装置の前での滞在時間が所定の時間以上である場合、当該顔に対応する人物を推薦情報の候補投入ターゲットとすることは、狙いをつけて推薦情報の投入ターゲットを選択することができることを理解できる。
【0054】
本ステップの実現形態の場合、別の例として、複数フレームの人物画像における顔に対応する人物の中から、滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとしてもよい。
【0055】
本発明の実施例において、所定の範囲は、デフォルト範囲であり得、または、実際の適用要件に従って予め設定することができる。
【0056】
所定の範囲の上限、下限、および、インターバルスパンは、いずれも柔軟に設定されることができる。例示的に、範囲の下限の値を設定する方式は、上記の時間の値を設定する方式と、同一であり得、すなわち、情報表示装置が人の流れの速度が相対的に速い場面に位置する場合、所定の範囲の下限がより低く、情報表示装置が人の流れの速度が相対的に遅い場面に位置する場合、所定の範囲の下限がより高い。
【0057】
所定の範囲の上限は、実際の場面の人の流れの速度に基づいて決定されることができる。例示的に、情報表示装置が人の流れの速度が相対的に速い場面に位置する場合、人物が情報に注目する時間が限られるため、より低い所定の範囲の上限を設定でき、滞在時間が、より低い所定の範囲の上限以上であると、人物がただ情報表示装置の前で長時間滞在しただけであり、情報表示装置の表示内容に注目しなかったとして見なすことができる。情報表示装置が人の流れの速度が相対的に遅い場面に位置する場合、人物が情報に注目する時間が十分であるため、より高い所定の範囲の上限を設定でき、このとき、滞在時間が、より高い所定の範囲の上限以上であると、人物がただ情報表示装置の前で長時間滞在しただけであり、情報表示装置の表示内容に注目しなかったとして見なすことができる。具体的な例において、情報表示装置が地下鉄の駅などの人の流れの速度相対的に速い場面に位置する場合、所定の範囲の上限を1分に設定し、情報表示装置がバス内、建物内などの人の流れの速度が相対的に遅い場面に位置する場合、所定の範囲の上限を2分に設定することができる。
【0058】
所定の範囲のインターバルスパンの決定方式について、例示的に、前述した内容に基づいて、まず、所定の範囲の上限と下限を決定し、さらに、所定の範囲のインターバルスパンを決定することができる。例えば、所定の範囲の下限が4秒であり、かつ、所定の範囲の上限が80秒である場合、所定の範囲のインターバルスパンが76秒であり、所定の範囲の下限が6秒であり、かつ、所定の範囲の上限が120秒である場合、所定の範囲のインターバルスパンが114秒である。
【0059】
前述した内容に基づいて、情報表示装置の前での滞在時間が所定の範囲内にあるユーザは、推薦情報に注目する可能性がより高く、情報表示装置の前での滞在時間が所定の範囲に属しないユーザは、推薦情報に注目する可能性がより低いため、顔の情報表示装置の前での滞在時間が所定の範囲に属すると、当該顔に対応する人物を推薦情報の候補投入ターゲットとすることによって、狙いをつけて推薦情報の投入ターゲットを選択できることが分かる。
【0060】
実際の適用において、推薦情報を投入する前に、推薦情報の投入の設定項目を予め設定することができ、当該設定項目は、所定の時間、所定の範囲の上限、所定の範囲の下限、および、所定の範囲のインターバルスパンを含んでもよい。
【0061】
ステップ104において、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示する。
【0062】
狙いをつけて該当する投入ターゲットに対して推薦情報を提供するために、推薦情報は、候補投入ターゲットおよび/または以下で言及する最終投入ターゲットの関連データと組み合わせて決定されてもよい。1実現形態において、上記の関連データは、投入ターゲットの顔属性を含んでもよいが、これらに限定されない。ここで、顔属性は、投入ターゲットの身分特徴を表すために用いられ、当該身分特徴は、具体的に、以下の例に挙げた1項または複数項の組み合わせを含んでもよく、当該例は、たとえば、顔認識子などの異なる投入ターゲットを効果的に区分できる識別子と、性別、年齢、表情などの投入ターゲットの基本情報の中の少なくとも1項と、総消費金額および/または消費回数と、を含んでもよい。当然ながら、当該身分特徴は、例に挙げられなかった内容をさらに含んでもよく、ここでは限定しない。本発明の実施例において、推薦情報を選択する条件、方式などに対して限定しない。
【0063】
実際の適用において、推薦情報を決定した後、情報表示装置が推薦情報を表示するように指示するように、情報表示装置に表示命令を送信することができ、情報表示装置は、表示命令をした後、上記の推薦情報を表示することができる。
【0064】
実際の適用において、ステップ101~ステップ104は、電子デバイス中のプロセッサを利用して実現されることができる。上記のプロセッサは、特定用途集積回路(Application Specific Integrated circuit、ASIC)、デジタル信号プロセッサ(Digital Signal Processor、DSP)、デジタル信号処理デバイス(Digital Signal Processing Device、DSPD)、プログラマブルロジックデバイス(Programmable Logic Device、PLD)、フィールドプログラマブルゲートアレイ(Field programmable gate array、FPGA)、中央処理ユニット(Central Processing Unit、CPU)、コントローラ、マイクロコントローラ、マイクロプロセッサの中の少なくとも1種であり得る。
【0065】
本発明の実施例において、情報表示装置の前での滞在時間は、ユーザが推薦情報に注目しているか否かを判断する重要な参考要素であるため、顔の情報表示装置の前での滞在時間に基づいて候補投入ターゲットを決定する方式は、狙いをつけて推薦情報の投入ターゲットを選択することができ、推薦情報プッシュの有効性がいっそう高くなり、投入リソースの浪費を削減し、さらに、推薦情報の入出力比の向上に有利であることが分かる。
【0066】
また、本発明の実施例は、画像収集装置によって複数人が撮影された場合、各々の顔の画像収集装置の前での滞在時間を効果的に識別することができ、すなわち、本発明の実施例は、複数人の場面の推薦情報の投入に適合できる。
【0067】
候補投入ターゲットに基づいて推薦情報を決定する実現形態について、1番目の例において、候補投入ターゲットのうちの各候補投入ターゲットと情報表示装置との間の距離に基づいて、候補投入ターゲットの中の少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定することができ、最終投入ターゲットと情報表示装置との間の距離は、所定の距離以下である、
【0068】
最終投入ターゲットを得た後に、最終投入ターゲットに対して前記推薦情報を決定することができる。
【0069】
1実施形態において、所定の距離を予め決定することができ、当該所定の距離は、ユーザが情報表示装置の表示内容に対して効果的な注目を形成する最大の距離を表す。例えば、所定の距離は、0.5m、1m、2m、3m、5mなどである。可能な1実現形態において、所定の距離は、他の候補投入ターゲット(すなわち、最終投入ターゲット以外の候補投入ターゲット)と情報表示装置との間の距離であり得る。実際の適用において、所定の距離の値は、自動的に調整でき、たとえば、候補投入ターゲットの数、および、候補投入ターゲットを収集するための画像収集装置のイメージング解像度などの、最終投入ターゲットの選別に影響を与える可能性がある多くの要因の中の1項または複数項の組み合わせに基づいて決定されることができ、ここでは限定しない。
【0070】
その後、各候補投入ターゲットの中から、情報表示装置との間の距離が所定の距離以下である少なくとも1つの候補投入ターゲットを選択し、選択した少なくとも1つの候補投入ターゲットを最終投入ターゲットとし、最終投入ターゲットに基づいて他の投入ターゲットを決定することができる。他の投入ターゲットと情報表示装置との間の距離が所定の距離よりも大きいことが分かる。
【0071】
実際の適用において、情報表示装置が表示する情報の表示サイズに基づいて、前記所定の距離を決定でき、前記所定の距離は、前記表示サイズと正の相関を有する。ここで、情報表示装置が表示する情報は、文字、画像などの情報であり得る。情報表示装置が表示する情報が文字である場合、情報表示装置が表示する情報の表示サイズは、文字のフォントの大きさを表すことができ、情報表示装置が表示する情報が画像である場合、情報表示装置が表示する情報の表示サイズは、画像の大きさを表すことができる。例えば、情報表示装置が表示する文字のフォントが特大フォントである場合、所定の距離は5mであり、在情報表示装置が表示する文字のフォントが小さいフォントである場合、所定の距離は1mである。
【0072】
情報表示装置が表示する情報の表示サイズがより大きい場合、ユーザはより遠い距離で情報を効果的に見ることができ、情報表示装置が表示する情報の表示サイズがより小さい場合、ユーザはより近い距離で情報を効果的に見ることはできるため、所定の距離は上記の表示サイズと正の相関を有し、所定の距離が実際のの視聴ニーズに合致させることを理解できる。
【0073】
候補投入ターゲットと情報表示装置との間の距離が相対的に小さい場合、候補投入ターゲットは情報表示装置の前での効果的な注目距離にいる人である可能性がいっそう高く、情報表示装置の前に滞在して推薦情報に注目している可能性がいっそう高い。従って、上記の候補投入ターゲットと情報表示装置との間の距離に基づいて最終投入ターゲットを決定する方式は、狙いをつけて推薦情報の投入ターゲットを選択することができ、推薦情報プッシュの有効性がいっそう高くなり、投入リソースの浪費を削減できることが分かる。
【0074】
候補投入ターゲットに基づいて推薦情報を決定する実現形態について、2番目の例において、前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、候補投入ターゲットの中の少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定することができ、最終投入ターゲットのターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、最終投入ターゲットのターゲット人物画像における顔に対応する領域の、ターゲット人物画像における参考領域に対する割合は、所定の比率以上である。
【0075】
最終投入ターゲットを得た後、最終投入ターゲットに対して前記推薦情報を決定することができる。
【0076】
本発明の実施例において、ターゲット人物画像は、画像収集装置によって収集された候補投入ターゲットを含む画像を表し、ターゲット人物画像には、1つの候補投入ターゲットが含まれてもよいし、複数の候補投入ターゲットが含まれてもよく、本発明の実施例はこれに対して限定しない。ピクセルサイズは、顔が画像で占めるピクセル値の大きさを表し、例示的に、ピクセルサイズは、顔が占めるピクセルの長さおよび/または幅を含んでもよく、これに応じて、所定のサイズは、ピクセルの長さ値および/または幅値を含んでもよい。顔が占めるピクセルの長さが所定のサイズ中の長さ値以上である、および/または、顔が占めるピクセルの幅が所定のサイズ中の幅値以上であると、顔に対応するピクセルサイズが所定のサイズ以上であると見なすことができ、そうではないと、顔に対応するピクセルサイズが所定のサイズ未満であると見なすことができる。
【0077】
具体的に実現する実施例において、顔認識アルゴリズムを使用して、顔の縁を沿って顔の外接長方形を決定し、さらに、顔外接長方形の長さおよび/または幅のピクセル値を、顔が占めるピクセルの長さおよび/または幅とすることができる。
【0078】
1実施形態において、所定の距離および/または画像収集装置の画像収集解像度に基づいて、所定のサイズを決定する。所定のサイズは、所定の距離と負の関連を有し、および/または、所定のサイズは、画像収集装置の画像収集解像度と正の相関を有する。
【0079】
ここで、画像収集装置の画像収集解像度は、収集された画像の解像度を表し、画像収集装置の画像収集解像度が高いほど、画像収集装置によって収集された画像のピクセル長さ値および/またはピクセル幅値が大きい。
【0080】
所定の距離がより大きい場合、候補投入ターゲットと情報表示装置との間の距離がより大きい可能性があり、このとき、画像収集装置の画像収集特性により、ターゲット人物画像における顔に対応するピクセルサイズがより小さいため、より小さい所定のサイズを設定することは、いっそう実際のニーズに合っており、所定の距離がより小さい場合、候補投入ターゲットと情報表示装置との間の距離がより小さい可能性があり、このとき、画像収集装置の画像収集特性により、ターゲット人物画像における顔に対応するピクセルサイズがより大きいため、より大きい所定のサイズを設定することは、いっそう実際のニーズに合っていることを理解できる。
【0081】
画像収集装置の画像収集解像度がより小さい場合、画像収集装置の画像収集特性により、ターゲット人物画像における顔に対応するピクセルサイズがより小さいため、より小さい所定のサイズを設定することは、いっそう実際のニーズに合っており、画像収集装置の画像収集解像度がより大きい場合、画像収集装置の画像収集特性により、ターゲット人物画像における顔に対応するピクセルサイズより大きいため、より大きい所定のサイズを設定することは、いっそう実際のニーズに合っている。
【0082】
1例において、参考領域は、ターゲット人物画像の領域全体を表し、ターゲット人物画像の領域は、画像収集装置の撮影範囲によって決定されてもよく。例えば、ターゲット人物画像の領域全体は、人体、地面、建物、動物、植物などの構成を含む1枚の画像であり得、ターゲット人物画像の領域全体は、画像のピクセルサイズで表すことができる。例えば、ターゲット人物画像の領域全体は、3800*2450(長さ*幅)の領域であり、すなわち、ターゲット人物画像全体のピクセル長さ値が3800であり、ターゲット人物画像全体のピクセル幅値が2450である。
【0083】
別の例において、参考領域は、ターゲット人物画像全体におけるすべての顔領域の合計を表し、ターゲット人物画像全体は、1つまたは複数の顔の画像を含んでもよい。実際の実施例において、ターゲット人物画像全体を収集した後に、顔認識アルゴリズムを利用してターゲット人物画像全体における各々の顔領域の大きさを検出することができ、合計によって、ターゲット人物画像全体におけるすべての顔領域の合計を算出し得る。
【0084】
1実施形態において、所定の距離に基づいて所定の比率を決定し、所定の比率は、所定の距離と負の関連を有する。例えば、所定の距離が5mであると、所定の比率は10%であり、所定の距離が1mであると、所定の比率は30%である。
【0085】
所定の距離がより大きい場合、候補投入ターゲットと情報表示装置との間の距離がより大きい可能性があり、このとき、画像収集装置の画像収集特性により、最終投入ターゲットのターゲット人物画像における顔に対応する領域の、上記の参考領域に対する割合がより小さい可能性があるため、より小さい所定の比率を設定することは、いっそう実際のニーズに合っており、所定の距離がより小さい場合、候補投入ターゲットと情報表示装置との間の距離がより小さい可能性があり、このとき、画像収集装置の画像収集特性により、最終投入ターゲットのターゲット人物画像における顔に対応する領域の、上記の参考領域に対する割合がより大きい可能性があるため、より大きい所定の比率を設定することは、いっそう実際のニーズに合っていることを理解できる。
【0086】
候補投入ターゲットのターゲット人物画像における顔に対応するピクセルサイズが相対的に大きい場合、または、候補投入ターゲットのターゲット人物画像における顔に対応する領域の、上記の参考領域対する割合が相対的に大きい場合、候補投入ターゲットは情報表示装置の前での効果的な注目距離にいる人である可能性がいっそう高く、情報表示装置の前に滞在して推薦情報に注目している可能性がいっそう高い。従って、上記の候補投入ターゲットのターゲット人物画像における顔大きさに基づいて最終投入ターゲットを決定する方式は、狙いをつけて推薦情報の投入ターゲットを選択することができ、推薦情報プッシュの有効性がいっそう高くなり、投入リソースの浪費を削減できることが分かる。
【0087】
候補投入ターゲットに基づいて推薦情報を決定する実現形態について、3番目の例において、第1要因と第2要因に基づいて、候補投入ターゲットの中の少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定することができる。ここで、第1要因は、上記の候補投入ターゲットのうちの各候補投入ターゲットと情報表示装置との間の距離を表し、第2要因は、上記の候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズを表す。
【0088】
1例において、候補投入ターゲットの中から、第1条件と第2条件を同時に満たす候補投入ターゲットを最終投入ターゲットとして選択することができ、ここで、第1条件は、候補投入ターゲットと情報表示装置との間の距離が所定の距離以下であることを表し、第2条件は、候補投入ターゲットのターゲット人物画像における顔に対応するピクセルサイズが所定のサイズ以上であるか、または、候補投入ターゲットのターゲット人物画像における顔に対応する領域の、ターゲット人物画像における参考領域に対する割合が、所定の比率以上であることを表す。
【0089】
別の例において、重みを導入して第1要因と第2要因を総合的に考慮することができ、すなわち、第1要因および第2要因それぞれに対して重みを設定し、第1要因の重み値と第2要因の重み値とは、同一であってもよいし、互いに異なってもよい。一つの適用場面において、情報表示装置と画像収集装置がエレベーターなどの閉鎖的で狭い場面に位置しており、このような場面でのすべての位置は、いずれも情報表示装置の表示内容に対して注目を形成する位置と見なすことができ、このような場面で顔が正面から情報表示装置に面していると、当該顔に対応する人物が情報表示装置の表示内容に対して注目を形成した可能性がいっそう高い。このような場面で顔が側方から情報表示装置に面していると、当該顔に対応する人物が情報表示装置の表示内容に対して注目を形成した可能性がより低い。一方、顔が正面から情報表示装置に面していると、顔サイズがより大きい可能性があり、顔が側方から情報表示装置に面していると、顔サイズがより小さい可能性がある。したがって、当該適用場面において、第1要因に対してより小さい重み値を設定し、第2要因に対してより大きい重み値を設定することができる。
【0090】
別の適用場面において、情報表示装置と画像収集装置が道路の両側などのより広々とした場面に位置し、また情報表示装置と画像収集装置がより高いところに位置している場合、このような場面で画像収集装置によって撮影された顔画像のサイズがいずれも相対的に小さく、このような場面で顔に対応する人物と情報表示装置との間の距離がより小さいと、情報表示装置の表示内容に対して注目を形成した可能性がいっそう高い。そうではない場合、顔に対応する人物と情報表示装置との間の距離より大きいと、情報表示装置の表示内容を明確に見ることができない可能性があり、すなわち、情報表示装置の表示内容に対して注目を形成する可能性がより低く、したがって、当該適用場面において、第1要因に対してより大きい重み値を設定し、第2要因に対してより小さい重み値を設定することができる。
【0091】
実際の適用において、前記複数フレームの人物画像に対して顔追跡を実行する場合、さらに、複数フレームの人物画像のうちの各人物画像における顔品質を決定することができる。さらに、すべての候補投入ターゲットに対応する画像または最終投入ターゲットに対応する画像の中から、顔品質が最も高い1フレームの画像を選択することによって、当該選択した顔品質が最も高い1フレームの画像に基づいて顔認識または後続処理を実行することができる。ここで、各々のフレームの人物画像の顔品質は、顔の鮮明さ、画像の明るさ、顔の角度、遮られているか否かなど指標を表すことができる。
【0092】
図2は、本発明の実施例の1つの適用場面の模式図であり、
図3は、本発明の実施例のもう1つの適用場面の模式図であり、
図2および
図3において、情報表示装置1は、高いところに位置し、画像収集装置2は、情報表示装置の真上に位置する。本発明の実施例の前述した内容に基づいて、画像収集装置2が収集した画像に対して処理を実行した後、候補投入ターゲットを決定することができ、さらに、最終投入ターゲットを決定することができる。候補投入ターゲットまたは最終投入ターゲットに対して、情報表示装置1を利用して推薦情報を表示することができ、
図2および
図3において、情報表示装置1が表示する推薦情報は、車両画像である。
【0093】
図2を参照すると、顔は、正面から情報表示装置1に面しており、画像収集装置2が収集した顔画像は、正面顔画像である。
図3を参照すると、顔は、側方から情報表示装置1に面しており、画像収集装置2が収集した顔画像は、側面顔画像である。前述した内容に基づいて、画像の顔品質を評価する場合、顔の角度に基づいて顔品質を評価することができる。他の指標(たとえば、顔の鮮明さ、画像の明るさ、遮られているか否かなどの指標)いずれも等しい場合、
図2の場面で画像収集装置2を利用して収集した正面顔画像の品質が、
図3の場面で画像収集装置2を利用して収集した側面顔画像の品質よりも高い。
【0094】
さらに、顔品質が最も高い1フレームの画像を選択した後に、当該顔品質が最も高い1フレームの画像に対応する候補投入ターゲットまたは最終投入ターゲットの顔画像に基づいて、推薦情報を決定することができる。
【0095】
前述した実施例によって提出されるデータプッシュ方法に基づいて、本発明の実施例は、データプッシュ装置を提案する。
【0096】
図4は、本発明の実施例のデータプッシュ装置の構成の模式図であり、
図4に示すように、当該データプッシュ装置は、取得モジュール401と、決定モジュール402と、処理モジュール403とを備えてもよい。
【0097】
取得モジュール401は、画像収集装置によって収集された複数フレームの人物画像を取得する。
【0098】
決定モジュール402は、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定する。
【0099】
処理モジュール403は、前記滞在時間に基づいて候補投入ターゲットを決定し、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示する。
【0100】
選択的に、前記滞在時間に基づいて候補投入ターゲットを決定するとき、前記処理モジュール403は、具体的には、
【0101】
前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするように構成されている。
【0102】
選択的に、前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である。
【0103】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュール403は、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であり、
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている。
【0104】
選択的に、前記候補投入ターゲットに基づいて推薦情報を決定するとき、前記処理モジュール403は、具体的には、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定し、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であり、
【0105】
前記最終投入ターゲットに対して前記推薦情報を決定するように構成されている。
【0106】
選択的に、前記処理モジュール403は、さらに、前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定し、前記所定のサイズは、前記画像収集装置の画像収集解像度と正の相関を有するように構成されている。
【0107】
選択的に、前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するとき、前記決定モジュール402は、具体的には、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するように構成されている。
【0108】
実際の適用において、取得モジュール401、決定モジュール402、および、処理モジュール403は、いずれも、電子デバイス中のプロセッサを利用して実現することができ、上記のプロセッサは、ASIC、DSP、DSPD、PLD、FPGA、CPU、コントローラ、マイクロコントローラ、マイクロプロセッサの中の少なくとも1種であり得る。
【0109】
また、本実施例の各機能モジュールは、1つの処理ユニット中に統合されてもよいし、各ユニットが単独的に物理的に存在されてもよいし、2個の以上のユニットが1つのユニット中に統合されてもよい。上記の統合されたユニットは、ハードウェアを使用する形式で実現されてもよいし、ソフトウェア機能モジュールを使用する形式で実現されてもよい。
【0110】
前記統合されたユニットが、独立的な製品として販売または使用されずに、ソフトウェア機能モジュールの形式で実現される場合、1つのコンピュータ読み取り可能記憶媒体に記憶されてもよい。このような理解を基として、本実施例は、本質上、ソフトウェア製品の形式で具体化されるか、または、本実施例の全部または一部は、ソフトウェア製品の形式で具体化されることができる。当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶されており、一つのコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る)またはprocessor(プロセッサ)が本実施例に記載の方法の全部または一部ステップを実行するように、いくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(Read Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク、光ディスクなどのプログラムコードを記憶することができるいろんな媒体を含む。
【0111】
具体的に、本実施例のデータプッシュ方法に対応するコンピュータプログラム命令は、光ディスク、ハードディスク、Uディスクなどの記憶媒体に記憶されることができ、記憶媒体中のデータプッシュ方法に対応するコンピュータプログラム命令が電子デバイスに読み取られるかまたは実行されると、前述した実施例の任意のデータプッシュ方法が実現される。
【0112】
前述した実施例に基づいて、
図5を参照すると、
図5は本発明の実施例によって提供される電子デバイス500を示し、当該電子デバイス500は、メモリ501とプロセッサ502とを含んでもよい、
前記メモリ501は、コンピュータプログラムとデータを記憶し、
前記プロセッサ502は、前記メモリに記憶されているコンピュータプログラム実行することによって、前述した実施例の任意のデータプッシュ方法を実現する。
【0113】
実際の適用において、上記のメモリ501は、RAMなどの揮発性メモリ(volatile memory)、ROM、フラッシュメモリ(flash memory)、ハードディスク(Hard Disk Drive、HDD)、ソリッドステートディスク(Solid-State Drive、SSD)などの不揮発性メモリ(non-volatile memory)、または、上記の種類のメモリの組み合わせであり得、プロセッサ502に命令とデータを提供する。
【0114】
上記のプロセッサ502は、ASIC、DSP、DSPD、PLD、FPGA、CPU、コントローラ、マイクロコントローラ、マイクロプロセッサの中の少なくとも1種であり得る。異なる拡張リアリティクラウドプラットフォームによって、上記のプロセッサ機能を実現するため電子デバイスはさらにその他のものであり得、本発明の実施例は具体的に限定しないことを理解できる。
【0115】
本発明の実施例は、コンピュータプログラムをさらに提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、前述した実施例の任意のデータプッシュ方法が実現される。
【0116】
いくつかの実施例において、本発明の実施例によって提供される装置が有する機能または当該装置に含まれたモジュールは、上記の方法の実施例に記述した方法を実行するために使用されることができ、その具体的な実現は、上記の方法の実施例の記述を参照すればよく、簡素化のためにここでは繰り返して説明しない。
【0117】
上記に各実施例に対する記述は、各実施例同士の間の違いを強調する傾向があり、同一または類似なところは互いに参考すればよく、簡素化のためにここでは繰り返して説明しない。
【0118】
本発明によって提供される各方法の実施例によって開示された方法は、競合することなく可以任意の組み合わせて新たな製品の実施例を得ることができる。
【0119】
本発明によって提供される各製品のによって開示された特徴は、競合することなく任意に組み合わせて新たな製品の実施例を得ることができる。
【0120】
本発明によって提供される各方法またはデバイスの実施例によって開示された特徴は、競合することなく任意に組み合わせて新たな方法の実施例またはデバイスの実施例を得ることができる。
【0121】
当業者は、以上の実施形態の記述によって、上記の方法の実施例は、ソフトウェアと必要な汎用ハードウェアプラットフォームの方式によって実現されることができ、当然ながら、ハードウェアによって実現されることができるが、多くの場合、前者がより良い実施形態であることを明確に理解することができる。このような理解を基として、本発明の実施例は、本質的にソフトウェア製品の形式で具体化されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体(たとえば、ROM/RAM、磁気ディスク、光ディスク)に記憶されており、一つの端末(携帯電話、コンピュータ、サーバ、エアコン、ネットワークデバイスなど)が本発明の各実施例に記載の方法を実行することができるように、いくつかの命令を含む。
【0122】
上記に図面を参照して本発明の実施例を記述したが、本発明は上記の具体的な実施形態に限定されない。上記の具体的な実施形態は、模式的なものにすぎず、限定的なものでない。当業者は、本発明の示唆の下で、本発明の主旨および請求項が保護しようとする範囲を逸脱することなく、多くの形態を設計することができ、これらはいずれも本発明の保護範囲に属する。
【手続補正書】
【提出日】2021-05-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データプッシュ方法であって、
画像収集装置によって収集された複数フレームの人物画像を取得するステップと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップと、
前記滞在時間に基づいて候補投入ターゲットを決定するステップと、
前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するステップと、を含む
ことを特徴とするデータプッシュ方法。
【請求項2】
前記滞在時間に基づいて候補投入ターゲットを決定するステップは、
前記滞在時間が所定の時間以上である顔に対応する人物、および/または、前記滞在時間が所定の範囲内にある顔に対応する人物を、候補投入ターゲットとするステップを含む
ことを特徴とする請求項1に記載のデータプッシュ方法。
【請求項3】
前記画像収集装置の撮影範囲は、前記情報表示装置の前方領域を含み、
前記画像収集装置は、前記情報表示装置上に配備されるか、または、前記画像収集装置と前記情報表示装置との間の距離は、所定の距離閾値以下である
ことを特徴とする請求項1または2に記載のデータプッシュ方法。
【請求項4】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットと前記情報表示装置との間の距離に基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットと前記情報表示装置との間の距離は、所定の距離以下であるステップと、
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む
ことを特徴とする請求項1乃至3の何れか1項に記載のデータプッシュ方法。
【請求項5】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記候補投入ターゲットのうちの各候補投入ターゲットの、ターゲット人物画像における顔サイズに基づいて、前記候補投入ターゲットのうちの少なくとも1つの候補投入ターゲットを最終投入ターゲットとして決定するステップであって、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応するピクセルサイズは、所定のサイズ以上であるか、または、前記最終投入ターゲットの前記ターゲット人物画像における顔に対応する領域の、前記ターゲット人物画像における参考領域に対する割合が、所定の比率以上であるステップと、
前記最終投入ターゲットに対して前記推薦情報を決定するステップと、を含む
ことを特徴とする請求項1乃至3の何れか1項に記載のデータプッシュ方法。
【請求項6】
前記画像収集装置の画像収集解像度に基づいて前記所定のサイズを決定するステップであって、前記所定のサイズは、前記画像収集解像度成と正の相関を有するステップ、をさらに含む
ことを特徴とする請求項5に記載のデータプッシュ方法。
【請求項7】
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するステップは、
前記複数フレームの人物画像に対して顔追跡を実行することによって、前記複数フレームの人物画像における顔の前記情報表示装置の前での滞在時間を決定するステップを含む
ことを特徴とする請求項1乃至6の何れか1項に記載のデータプッシュ方法。
【請求項8】
前記複数フレームの人物画像のうちの各人物画像における顔品質を決定するステップと、
前記候補投入ターゲットに対応する画像中から顔品質が最も高い1フレームの画像を選択するステップと、をさらに含む
ことを特徴とする請求項7に記載のデータプッシュ方法。
【請求項9】
前記候補投入ターゲットに基づいて推薦情報を決定するステップは、
前記顔品質が最も高い1フレームの画像に対応する候補投入ターゲットの顔画像に基づいて推薦情報を決定するステップを含む
ことを特徴とする請求項8に記載のデータプッシュ方法。
【請求項10】
データプッシュ装置であって、
画像収集装置によって収集された複数フレームの人物画像を取得するための取得モジュールと、
前記複数フレームの人物画像に基づいて、前記複数フレームの人物画像における顔の情報表示装置の前での滞在時間を決定するための決定モジュールと、
前記滞在時間に基づいて候補投入ターゲットを決定し、前記候補投入ターゲットに基づいて推薦情報を決定し、前記情報表示装置を介して前記推薦情報を表示するための処理モジュールと、を備える
ことを特徴とする請求項に記載のデータプッシュ装置。
【請求項11】
電子デバイスであって、
プロセッサと、
当該プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を備え、
前記プロセッサによって前記コンピュータプログラムが実行されるときに、請求項1乃至9の何れか1項に記載のデータプッシュ方法が実行される
ことを特徴とする電子デバイス。
【請求項12】
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサが請求項1乃至9の何れか1項に記載のデータプッシュ方法を実現するようにする
ことを特徴とするコンピュータ記憶媒体。
【請求項13】
コンピュータプログラムであって、
当該コンピュータプログラムがプロセッサによって実行されるときに、当該プロセッサが請求項1乃至9の何れか1項に記載のデータプッシュ方法を実現するようにする
ことを特徴とするコンピュータプログラム。
【国際調査報告】