特表 2023-527239 情報を獲得するための方法およびデバイス、ならびに注目度を検出するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-27

(54)【発明の名称】情報を獲得するための方法およびデバイス、ならびに注目度を検出するためのシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230620BHJP

   G06V 10/82 20220101ALI20230620BHJP

   G06F 16/783 20190101ALI20230620BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06F16/783

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022573607

(86)(22)【出願日】2021-05-13

(85)【翻訳文提出日】2023-01-30

(86)【国際出願番号】 CN2021093517

(87)【国際公開番号】W WO2021238664

(87)【国際公開日】2021-12-02

(31)【優先権主張番号】202010479278.7

(32)【優先日】2020-05-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522380893

【氏名又は名称】北京沃▲東▼天▲駿▼信息技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｗｏｄｏｎｇ Ｔｉａｎｊｕｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ａ４０２，４／ｆ，Ｎｏ．２ Ｂｕｉｌｄｉｎｇ，Ｎｏ．１８ Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ，Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ，Ｂｅｉｊｉｎｇ １００１７６，Ｃｈｉｎａ

(71)【出願人】

【識別番号】517241916

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲聶▼ ▲銘▼君

(72)【発明者】

【氏名】王 ▲ジン▼▲ジン▼

(72)【発明者】

【氏名】▲呉▼ 江旭

(72)【発明者】

【氏名】胡 ▲ミャオ▼▲楓▼

(72)【発明者】

【氏名】▲馬▼ 事▲偉▼

(72)【発明者】

【氏名】▲張▼ 然

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA04

5B175FB02

5B175FB03

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA16

5L096FA66

5L096GA51

5L096HA02

5L096HA11

5L096KA04

5L096KA09

(57)【要約】

情報をキャプチャするための方法およびデバイス、ならびに注目のレベルを測定するための方法、デバイス、およびシステム。情報をキャプチャするための方法が、ビデオキャプチャデバイスによってキャプチャされたビデオフレームを順次に獲得すること(101)、第1の深層学習モデルを利用してビデオフレーム内に個人が存在するかどうかを検出すること(102)、ビデオフレーム内に個人が存在する限りで、第2の深層学習モデルを利用してその個人に関して個人バウンディングボックスを生成するようにビデオフレームを処理すること、およびその個人バウンディングボックスに対応する個人識別子を割り当てること(103)、第3の深層学習モデルを利用してその個人の特徴情報を認識するようにその個人バウンディングボックス内の画像を認識すること(104)、データベースに個人履歴データを書き込むこと(105)であって、個人履歴データが、ビデオフレームのタイムスタンプおよび識別子、個人バウンディングボックスの座標情報、個人識別子、および特徴情報を含む、書き込むこと(105)を含む。

【特許請求の範囲】

【請求項1】

ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得するステップと、
第1の深層学習モデルを使用することによって前記ビデオフレーム内に歩行者が存在するかどうかを検出するステップと、
前記ビデオフレーム内に前記歩行者が存在する条件下で、前記歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用して前記ビデオフレームを処理し、前記歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるステップと、
第3の深層学習モデルを使用して前記歩行者の特徴情報を識別することによって前記歩行者バウンディングボックス内の画像を識別するステップと、
データベースに歩行者履歴データを書き込むステップであって、前記歩行者履歴データは、前記ビデオフレームのタイムスタンプと、前記ビデオフレームの識別子と、前記歩行者バウンディングボックスの座標情報と、前記歩行者識別子と、前記歩行者の前記特徴情報とを含む、書き込むステップと
を含む、情報獲得方法。

【請求項2】

前記データベースに前記歩行者履歴データを書き込んだ後、前記歩行者識別子により前記データベース内のすべての歩行者履歴データをグループ化するステップと、
同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームの前記タイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各グループ内のすべての歩行者履歴データに対して第1の重複排除処理を実行するステップと
をさらに含む、請求項1に記載の情報獲得方法。

【請求項3】

前記データベースに前記歩行者履歴データを書き込んだ後、前記ビデオフレームの生成時刻により前記データベース内のすべての歩行者履歴データをグループ化するステップと、
前記歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各グループ内のすべての歩行者履歴データに対して第2の重複排除処理を実行するステップと
をさらに含む、請求項2に記載の情報獲得方法。

【請求項4】

前記歩行者バウンディングボックスに前記対応する歩行者識別子を割り当てる前記ステップは、
第2の深層学習モデルを使用することによって前記歩行者バウンディングボックス内の歩行者特徴情報を識別するステップと、
前記歩行者特徴情報が歩行者特徴ライブラリに含まれるかどうかを検索するステップと、
前記歩行者特徴情報が前記歩行者特徴ライブラリに含まれないという条件下で、前記歩行者特徴ライブラリに前記歩行者特徴情報を書き込むステップと、
前記歩行者バウンディングボックスに新たな歩行者識別子を割り当てるステップと
を含む、請求項1に記載の情報獲得方法。

【請求項5】

前記歩行者バウンディングボックスに前記対応する歩行者識別子を割り当てる前記ステップは、
前記歩行者特徴情報が前記歩行者特徴ライブラリに含まれるという条件下で、前記歩行者特徴ライブラリ内の前記歩行者特徴情報に関連付けられた歩行者特徴を前記歩行者バウンディングボックスに割り当てるステップを含む、請求項4に記載の情報獲得方法。

【請求項6】

前記ビデオフレーム内に歩行者が全く存在しないという条件下で前記ビデオフレームを破棄するステップをさらに含む、請求項1に記載の情報獲得方法。

【請求項7】

前記歩行者の前記特徴情報は、前記歩行者の属性特徴情報と、前記歩行者の行動特徴情報とを含む、請求項1から6のいずれか一項に記載の情報獲得方法。

【請求項8】

前記歩行者の前記属性特徴情報は、前記歩行者の性別、前記歩行者の年令、前記歩行者の服装、および前記歩行者の外観特徴のうちの少なくとも1つを含み、
前記歩行者の前記行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む、請求項7に記載の情報獲得方法。

【請求項9】

ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、および第1の深層学習モデルを使用することによって前記ビデオフレーム内に歩行者が存在するかどうかを検出することを行うように構成された第1の処理モジュールと、
前記ビデオフレーム内に前記歩行者が存在するという条件下で、前記歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用して前記ビデオフレームを処理し、前記歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるように構成された第2の処理モジュールと、
第3の深層学習モデルを使用して前記歩行者の特徴情報を識別することによって前記歩行者バウンディングボックス内の画像を識別するように構成された第3の処理モジュールと、
データベースに歩行者履歴データを書き込むように構成された第4の処理モジュールであって、前記歩行者履歴データは、前記ビデオフレームのタイムスタンプと、前記ビデオフレームの識別子と、前記歩行者バウンディングボックスの座標情報と、前記歩行者識別子と、前記歩行者の前記特徴情報とを含む、第4の処理モジュールと
を含む、情報獲得装置。

【請求項10】

命令を記憶するように構成されたメモリと、
前記メモリに結合されたプロセッサと
を含む情報獲得装置であって、
前記メモリに記憶された前記命令に基づいて、前記プロセッサは、請求項1から8のいずれか一項に記載の方法を実施するように構成される、情報獲得装置。

【請求項11】

所定の区域の注目度をクエリするクエリ要求を受信するステップと、
所定のデータベースから前記所定の区域に関連付けられた複数の歩行者履歴データを抽出するステップであって、前記歩行者履歴データは、ビデオフレームのタイムスタンプと、前記ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出するステップと、
前記複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により前記所定の区域の前記注目度を決定するステップと
を含む、注目度検出方法。

【請求項12】

前記複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により前記所定の区域の前記注目度を決定する前記ステップは、
前記複数の歩行者履歴データから検出されるべき複数の歩行者履歴データを抽出するステップであって、検出されるべき前記複数の歩行者履歴データにおけるタイムスタンプは、所定の時間範囲内にある、抽出するステップと、
検出されるべき前記歩行者履歴データにおける前記歩行者の特徴情報の数を計数するステップと、
計数の結果により前記所定の区域の前記注目度を決定するステップと
を含む、請求項11に記載の注目度検出方法。

【請求項13】

前記歩行者の前記特徴情報は、前記歩行者の属性特徴情報と、前記歩行者の行動特徴情報とを含む、請求項11または12に記載の注目度検出方法。

【請求項14】

前記歩行者の前記属性特徴情報は、前記歩行者の性別、前記歩行者の年令、前記歩行者の服装、および前記歩行者の外観特徴のうちの少なくとも1つを含み、前記歩行者の前記行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む、請求項13に記載の注目度検出方法。

【請求項15】

所定の区域の注目度をクエリするクエリ要求を受信するように構成された受信モジュールと、
所定のデータベースから前記所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、前記歩行者履歴データは、ビデオフレームのタイムスタンプと、前記ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および前記複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により前記所定の区域の前記注目度を決定することを行うように構成された注目度クエリモジュールと
を含む、注目度検出装置。

【請求項16】

命令を記憶するように構成されたメモリと、
前記メモリに結合されたプロセッサと
を含む注目度検出装置であって、
前記メモリに記憶された前記命令に基づいて、前記プロセッサは、請求項11から14のいずれか一項に記載の方法を実施するように構成される、注目度検出装置。

【請求項17】

所定の区域のビデオ情報を獲得するように構成されたビデオキャプチャ機器と、
請求項9または10に記載の情報獲得装置と、
請求項15または16に記載の注目度検出装置と
を含む、注目度検出システム。

【請求項18】

プロセッサによって実行されると、請求項1から8、および請求項11から14のいずれか一項に記載の方法を実施するコンピュータ命令を記憶する、非一過性のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本開示は、参照によりその開示全体が本明細書に組み込まれている、2020年5月29日に出願した中国特許出願第202010479278.7号に基づくとともに、その優先権を主張するものである。

【0002】

本開示は、情報処理の分野に関し、より詳細には、情報を獲得するための方法および装置、ならびに注目度を検出するための方法、装置、およびシステムに関する。

【背景技術】

【0003】

オフライン商店において、各棚が、適切な位置に配置されているかどうか、各棚が、ユーザから十分な注目度を引き寄せるかどうか、およびどのような種類の顧客が各棚によって最も引き寄せられるかを示すデータおよびそれぞれの統計結果は、商店における棚のレイアウトを調整すること、商店における商品のレイアウトを最適化すること、および商品の選択を誘導することのための有効なデータである。これらのデータが収集され得る場合、商業者は、商店内のレイアウトを調整すること、および商品の展示を好都合に最適化することができ、また、ブランド所有者がブランドの物品を展示する適切な棚を選択することの助けにもなる。

【0004】

現在、棚に払われる注目度のレベルの商業者の知識は、棚の前の顧客の行動を手動で観察すること、または棚区域において販売された物品の量を使用することによって棚に払われた注目度のレベルを逆に推測することに主に基づく。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の実施形態の第1の態様によれば、情報獲得方法が、提供される。情報獲得方法は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出すること、ビデオフレーム内に歩行者が存在する条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てること、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別すること、およびデータベースに歩行者履歴データを書き込むことであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、書き込むことを含む。

【0006】

一部の実施形態において、データベースに歩行者履歴データを書き込んだ後、歩行者識別子によりデータベース内のすべての歩行者履歴データをグループ化すること、および同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各グループ内のすべての歩行者履歴データに対して第1の重複排除処理を実行すること。

【0007】

一部の実施形態において、データベースに歩行者履歴データを書き込んだ後、ビデオフレームの生成時刻によりデータベース内のすべての歩行者履歴データをグループ化すること、および歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各グループ内のすべての歩行者履歴データに対して第2の重複排除処理を実行すること。

【0008】

一部の実施形態において、歩行者バウンディングボックスに対応する歩行者識別子を割り当てることは、第2の深層学習モデルを使用することによって歩行者バウンディングボックス内の歩行者特徴情報を識別すること、その歩行者特徴情報が歩行者特徴ライブラリに含まれるかどうかを検索すること、その歩行者特徴情報が歩行者特徴ライブラリに含まれないという条件下で、歩行者特徴ライブラリにその歩行者特徴情報を書き込むこと、およびその歩行者バウンディングボックスに新たな歩行者識別子を割り当てることを含む。

【0009】

一部の実施形態において、歩行者バウンディングボックスに対応する歩行者識別子を割り当てることは、その歩行者特徴情報が歩行者特徴ライブラリに含まれるという条件下で、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴をその歩行者バウンディングボックスに割り当てることを含む。

【0010】

一部の実施形態において、ビデオフレーム内に歩行者が全く存在しないという条件下でビデオフレームを破棄すること。

【0011】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0012】

一部の実施形態において、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含み、歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0013】

本開示の実施形態の第2の態様によれば、情報獲得装置が、提供される。情報獲得装置は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、および第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出することを行うように構成された第1の処理モジュールと、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるように 構成された第2の処理モジュールと、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別するように構成された第3の処理モジュールと、データベースに歩行者履歴データを書き込むように構成された第4の処理モジュールであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、第4の処理モジュールとを含む。

【0014】

本開示の実施形態の第3の態様によれば、情報獲得装置が、提供される。情報獲得装置は、命令を記憶するように構成されたメモリと、メモリに結合されたプロセッサとを含み、メモリに記憶された命令に基づいて、プロセッサは、前段で説明される実施形態による方法を実施するように構成される。

【0015】

本開示の実施形態の第4の態様によれば、注目度検出方法が、提供される。注目度検出方法は、所定の区域の注目度をクエリするクエリ要求を受信すること、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することを含む。

【0016】

一部の実施形態において、複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することは、複数の歩行者履歴データから検出されるべき複数の歩行者履歴データを抽出することであって、検出されるべき複数の歩行者履歴データにおけるタイムスタンプが、所定の時間範囲内にある、抽出すること、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数を計数すること、および計数の結果により所定の区域の注目度を決定することを含む。

【0017】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0018】

一部の実施形態において、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含み、歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0019】

本開示の実施形態の第5の態様によれば、注目度検出装置が、提供される。注目度検出装置は、所定の区域の注目度をクエリするクエリ要求を受信するように構成された受信モジュールと、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することを行うように構成された注目度クエリモジュールとを含む。

【0020】

本開示の実施形態の第6の態様によれば、注目度検出装置が、提供される。注目度検出装置は、命令を記憶するように構成されたメモリと、メモリに結合されたプロセッサとを含み、メモリに記憶された命令に基づいて、プロセッサは、前段で説明される実施形態のいずれか1つによる方法を実施するように構成される。

【0021】

本開示の実施形態の第7の態様によれば、注目度検出システムが、提供される。注目度検出システムは、所定の区域のビデオ情報を獲得するように構成されたビデオキャプチャ機器と、前段で説明される実施形態による情報獲得装置と、前段で説明される実施形態による注目度検出装置とを含む。

【0022】

本開示の実施形態の第8の態様によれば、非一過性のコンピュータ可読記憶媒体が、提供され、非一過性のコンピュータ可読記憶媒体は、プロセッサによって実行されると、前段で説明される実施形態のいずれか1つによる方法を実施するコンピュータ命令を記憶する。

【0023】

本開示のその他の特徴、およびそれら特徴の利点は、添付の図面を参照して行われる、本開示の例示的な実施形態の後段の詳細な説明から明白となろう。

【0024】

本明細書に組み込まれて、本明細書の一部分を構成する添付の図面が、本開示の実施形態を例示し、説明と相俟って本開示の原理を説明するのに役立つ。

【0025】

本開示は、添付の図面を参照して後段の詳細な説明から、より明確に理解されてよい。

【図面の簡単な説明】

【0026】

【図1】本開示の一実施形態による情報獲得方法を示す概略フロー図である。

【図2】本開示の一実施形態による情報獲得装置を示す概略構造図である。

【図3】本開示の別の実施形態による情報獲得装置を示す概略構造図である。

【図4】本開示の一実施形態による注目度検出方法を示す概略フロー図である。

【図5】本開示の一実施形態による注目度検出装置を示す概略構造図である。

【図6】本開示の別の実施形態による注目度検出装置を示す概略構造図である。

【図7】本開示の一実施形態による注目度検出システムを示す概略構造図である。

【発明を実施するための形態】

【0027】

図面に示される様々な部分の寸法は、実際の縮尺どおりには描かれていないことを理解されたい。さらに、同一の、または類似した参照符号は、同一の、または類似した構成要素を表す。

【0028】

次に、本開示の様々な例示的な実施形態が、添付の図面を参照して詳細に説明される。例示的な実施形態の説明は、例示的であるに過ぎず、本開示、本開示の用途または用法を限定することは全く意図していない。本開示は、異なる多くの形態において実施されてよく、本明細書において説明される実施形態に限定されない。これらの実施形態は、本開示を徹底的で、完全であるようにすべく与えられ、本開示の範囲を当業者に完全に伝える。これらの実施形態において示される部分およびステップの相対的な並び、材料および値の構成は、特に明記されない限り、単に例示的なものであり、限定するものではないと解釈すべきであることに留意されたい。

【0029】

本開示における「含む」または「備える」などの使用は、その語に先行する要素が、その語の後に列挙される要素を包含することを意味することを意図しており、その他の要素が包含されてもよい可能性を排除するものではない。

【0030】

本明細書において使用されるすべての用語(技術用語または科学用語を含む)は、特にそうでないことが定義されない限り、本開示が属する分野の業者によって一般的に理解されるのと同一の意味を有する。一般的に使用される辞書において定義されるような用語は、関係のある技術の脈絡におけるそれらの用語の意味と一貫性のある意味を有するものと解釈されるべきであり、本明細書において明示的にそのように定義されない限り、理念化された意味で解釈されることも、過度に形式的な意味で解釈されることもないことがさらに理解されよう。

【0031】

当業者に知られている技術、方法、および装置については、詳細には説明されないことがあるが、適宜、本明細書の一部であることが意図される。

【0032】

本発明者らは、棚の前の顧客の行動を手動で観察することが人的資源の浪費であることを研究を通じて見出した。その一方で、手動モードは、検出を逸すること、または誤った検出をもたらすことを生じがちであり、記録されたデータは、大規模データ解析の標準を満たすことが困難である。さらに、棚に払われる注目の度合は、商品決済情報により逆に推測されるので、販売された物品が配置された棚の注目度を導き出すことだけが可能である一方で、ユーザの選択行動および注目行動、ならびに払われた注目の度合を正確に得ることは不可能であり、棚に注目を払うユーザの属性を得ることが不可能であることは言うまでもなく、その結果、解析が科学的に実行され得ない。

【0033】

したがって、本開示は、歩行者の特徴情報を識別することによって関心対象の区域内に置かれた棚に対する歩行者の注目度を迅速に、かつ好都合に知ることを可能にする注目度検出のソリューションを提供する。

【0034】

図1は、本開示の一実施形態による情報獲得方法の概略フロー図である。一部の実施形態において、情報獲得方法の以下のステップが、情報獲得装置によって実行される。

【0035】

ステップ101において、ビデオキャプチャ機器によってキャプチャされたビデオフレームが、順次に獲得される。

【0036】

例えば、ビデオキャプチャ機器は、所定の棚の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。

【0037】

ステップ102において、第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかが検出される。

【0038】

例えば、第1の深層学習モデルは、CNN(畳み込みニューラルネットワーク)、Faster-RCNN、YOLOv3、またはそれに類するものなどのモデルである。

【0039】

ステップ103において、ビデオフレームが、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームが処理され、その歩行者バウンディングボックスに、対応する歩行者識別子が割り当てられる。

【0040】

例えば、第2の深層学習モデルは、多層CNNモデルである。

【0041】

一部の実施形態において、歩行者バウンディングボックス内の歩行者特徴情報が、第2の深層学習モデルを使用することによって識別され、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるかどうかが検索される。その歩行者特徴情報が歩行者特徴ライブラリに含まれないという条件下で、その歩行者特徴情報は、歩行者特徴ライブラリに書き込まれ、その歩行者バウンディングボックスに新たな歩行者識別子が割り当てられる。

【0042】

さらに、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるという条件下で、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴が、その歩行者バウンディングボックスに割り当てられる。

【0043】

例えば、モールまたはスーパーマーケットに入ったばかりの歩行者Pに関して、歩行者特徴ライブラリは、歩行者Pの特徴情報を含まず、したがって、新たな歩行者識別子005が、歩行者Pの歩行者バウンディングボックスに割り当てられる必要がある。歩行者Pが、棚Aから物品を手に取り、次に、棚Bまで歩く。歩行者Pの特徴情報は、歩行者特徴ライブラリに既に含まれるので、歩行者Pの歩行者バウンディングボックスに割り当てられた歩行者識別子は、依然として005である。

【0044】

一部の実施形態において、ビデオフレームは、ビデオフレーム内に歩行者が全く存在しないという条件下で、破棄される。歩行者の存在しないビデオフレームを破棄することによって、計算負担が、効果的に低減可能である。

【0045】

ステップ104において、歩行者バウンディングボックス内の画像が、歩行者の特徴情報を認識すべく第3の深層学習モデルによって識別される。

【0046】

例えば、第3の深層学習モデルは、多層CNNモデルである。

【0047】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0048】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0049】

ステップ105において、歩行者履歴データが、データベースに書き込まれ、歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0050】

例えば、歩行者履歴データは、TABLE 1(表1)に示されるとおりであってよい。

【0051】

【表1】

【0052】

本開示の前段の実施形態によって提供される情報獲得方法において、ビデオフレーム内の歩行者バウンディングボックスの座標情報、歩行者識別子、および歩行者の特徴情報は、データベースに記録され、それにより、データベースを使用することによって所定の区域に対する異なる歩行者の注目度が検索される。

【0053】

一部の実施形態において、データは、歩行者履歴データがデータベースに書き込まれた後、時間次元および空間次元において重複排除処理を受けさせられ、それにより、データベースによって占有される記憶空間が低減される。

【0054】

一部の実施形態において、データベースにおける歩行者履歴データは、歩行者識別子によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0055】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同一の歩行者識別子を有するように歩行者識別子によってグループ化される。次に、各グループ内の歩行者履歴データが、ビデオフレームのタイムスタンプによって並べ替えられ、所定のしきい値(例えば、500ミリ秒)より小さい時間間隔を有するデータは、同一のアクションに対応するものと見なされる。この事例において、それらのデータのうちの1つだけが保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0056】

一部の実施形態において、データベースにおける歩行者履歴データが、ビデオフレームの生成時刻によってグループ化される。歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データが保持されるように、歩行者履歴データの各グループに対して第2の重複排除処理が実行される。

【0057】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同時に生成されるようにビデオフレームの生成時刻によりグループ化される。次に、各グループ内で、各歩行者履歴データにおける歩行者バウンディングボックスの中心位置が、それぞれ計算される。歩行者バウンディングボックスの中心位置間の距離が所定のしきい値より小さい複数の複数の歩行者履歴データに関して、それは、繰り返される歩行者バウンディングボックスと見なされてよい。この事例において、1つだけのデータが、保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0058】

前段で説明される重複排除プロセスを通して、対応する歩行者履歴データは、TABLE 2(表2)に示されるとおりであってよい。

【0059】

【表2】

【0060】

図2は、本開示の一実施形態による情報獲得装置の概略構造図である。図2に示されるとおり、情報獲得装置は、第1の処理モジュール21と、第2の処理モジュール22と、第3の処理モジュール23と、第4の処理モジュール24とを含む。

【0061】

第1の処理モジュール21は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、および第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出することを行うように構成される。

【0062】

例えば、ビデオキャプチャデバイスは、指定された棚の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。

【0063】

例えば、第1の深層学習モデルは、CNN、Faster-RCNN、YOLOv3モデル、およびそれに類するものである。

【0064】

第2の処理モジュール22は、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるように構成される。

【0065】

例えば、第2の深層学習モデルは、多層CNNモデルである。

【0066】

一部の実施形態において、第2の処理モジュール22は、第2の深層学習モデルを使用することによって歩行者バウンディングボックス内の歩行者特徴情報を識別し、歩行者特徴情報が歩行者特徴ライブラリに既に含まれるかどうかを検索する。さらに、その歩行者特徴情報が歩行者特徴ライブラリに含まれないという条件下で、その歩行者特徴情報が歩行者特徴ライブラリに書き込まれ、その歩行者バウンディングボックスに新たな歩行者識別子が割り当てられる。

【0067】

さらに、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるという条件下で、第2の処理モジュール22は、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴をその歩行者バウンディングボックスに割り当てる。

【0068】

一部の実施形態において、ビデオフレーム内に歩行者が全く存在しないという条件下で、第1の処理モジュール21は、ビデオフレームを破棄する。歩行者の存在しないビデオフレームを破棄することによって、計算負担が、効果的に低減可能である。

【0069】

第3の処理モジュール23は、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別するように構成される。

【0070】

例えば、第3の深層学習モデルは、多層CNNモデルである。

【0071】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0072】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0073】

第4の処理モジュール24は、データベースに歩行者履歴データを書き込むように構成され、歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0074】

一部の実施形態において、歩行者履歴データがデータベースに書き込まれた後、データは、時間次元および空間次元において重複排除処理を受けさせられて、データベースによって占有される記憶空間が低減される。

【0075】

一部の実施形態において、データベースにおける歩行者履歴データは、歩行者識別子によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0076】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同一の歩行者識別子を有するように歩行者識別子によってグループ化される。次に、各グループ内の歩行者履歴データが、ビデオフレームのタイムスタンプによって並べ替えられ、所定のしきい値(例えば、500ミリ秒)より小さい時間間隔を有するデータは、同一のアクションに対応するものと見なされる。この事例において、それらのデータのうちの1つだけが保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0077】

一部の実施形態において、データベースにおける歩行者履歴データが、ビデオフレームの生成時刻によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0078】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同時に生成されるようにビデオフレームの生成時刻によりグループ化される。次に、各グループ内で、各歩行者履歴データにおける歩行者バウンディングボックスの中心位置が、それぞれ計算される。歩行者バウンディングボックスの中心位置間の距離が所定のしきい値より小さい複数の複数の歩行者履歴データに関して、それは、繰り返される歩行者バウンディングボックスと見なされてよい。この事例において、1つだけのデータが、保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0079】

図3は、本開示の別の実施形態による情報獲得装置の概略構造図である。図3に示されるとおり、情報獲得装置は、メモリ31と、プロセッサ32とを含む。

【0080】

メモリ31は、命令を記憶するために使用され、プロセッサ32は、メモリ31に結合され、プロセッサ32は、メモリに記憶された命令に基づいて、図1における実施形態のいずれかによる方法を実行するように構成される。

【0081】

図3に示されるとおり、情報獲得装置は、他のデバイスとの情報対話のための通信インターフェース33をさらに含む。その一方で、情報獲得装置は、バス34と、バス34を介して互いに通信するプロセッサ32と、通信インターフェース33と、メモリ31とをさらに含む。

【0082】

メモリ31は、高速RAMメモリを含んでよく、また、少なくとも1つのディスクメモリなどの不揮発性メモリを含んでもよい。また、メモリ31は、メモリアレイであってもよい。また、ストレージ31は、ブロックに区分化されてもよく、ブロックは、いくつかの規則により組み合わされて仮想ボリュームにされてよい。

【0083】

さらに、プロセッサ32は、中央処理装置CPUであってよく、または特定用途向け集積回路ASICであってよく、または本開示の実施形態を実施するように構成された1つもしくは複数の集積回路であってよい。

【0084】

また、本開示は、コンピュータ命令が記憶される非一過性のコンピュータ可読媒体にも関し、プロセッサによって実行されると、命令は、図1における実施形態のいずれか1つによる方法を実施する。

【0085】

図4は、本開示の一実施形態による注目度検出方法の概略フロー図である。一部の実施形態において、注目度検出方法の以下のステップが、注目度検出装置によって実行される。

【0086】

ステップ401において、所定の区域の注目度をクエリするクエリ要求が、受信される。

【0087】

ステップ402において、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データが、抽出される。歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0088】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0089】

一部の実施形態において、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0090】

本明細書において使用されるデータベースは、図1におけるいずれか1つの実施形態による方法を使用することによって得られることに留意されたい。

【0091】

ステップ403において、所定の区域の注目度は、複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により決定される。

【0092】

一部の実施形態において、検出されるべき歩行者の複数の履歴データは、歩行者の複数の履歴データから抽出され、検出されるべき歩行者の複数の履歴データにおけるタイムスタンプは、所定の時間範囲内にあり、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数が、計数され、所定の区域の注目度が、計数の結果により決定される。

【0093】

例えば、所定の時間範囲内で、特徴情報の統計値がより大きいという条件下で、そのことは、所定の区域に対する歩行者の注目度がより高いことを示す。

【0094】

図5は、本開示の実施形態による注目度検出装置の概略構造図である。図5に示されるとおり、注目度検出装置は、受信モジュール51と、注目度クエリモジュール52とを含む。

【0095】

受信モジュール51は、所定の区域の注目度をクエリするクエリ要求を受信するように構成される。

【0096】

注目度クエリモジュール52は、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することを行うように構成される。

【0097】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0098】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0099】

一部の実施形態において、注目度クエリモジュール52は、歩行者の複数の履歴データから検出されるべき歩行者の複数の履歴データを抽出し、検出されるべき歩行者の複数の履歴データにおけるタイムスタンプは、所定の時間範囲内にあり、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数が、計数され、所定の区域の注目度は、計数の結果により決定される。

【0100】

例えば、所定の時間範囲内で、特徴情報の統計値がより大きいという条件下で、そのことは、所定の区域に対する歩行者の注目度がより高いことを示す。

【0101】

本明細書において使用されるデータベースは、図1におけるいずれかの実施形態による方法を使用することによって得られることに留意されたい。

【0102】

さらに、データベースを利用することによって、歩行者の行動の細かい管理が実現され得るように歩行者の軌跡とアクションが追跡可能である。

【0103】

図6は、本開示の別の実施形態による注目度検出装置の概略構造図である。図6に示されるとおり、装置は、メモリ61と、プロセッサ62と、通信インターフェース63と、バス64とを含む。図6は、図6に示される実施形態において、プロセッサ62が、メモリに記憶された命令に基づいて図4の実施形態のいずれかにおいて参照される方法を実施するように構成されるという点で図3とは異なる。

【0104】

また、本開示は、プロセッサによって実行されると、図4における実施形態のいずれか1つにおいて参照される方法を実施する命令を記憶するための非一過性のコンピュータ可読記憶媒体にも関する。

【0105】

図7は、本開示の実施形態による注目度検出システムの概略構造図である。図7に示されるとおり、注目度検出システムは、ビデオキャプチャ機器71と、情報獲得装置72と、注目度検出装置73とを含む。情報獲得装置72は、図2または図3の実施形態のいずれか1つにおいて参照される情報獲得装置である。注目度検出装置73は、図5または図6の実施形態のいずれか1つにおいて参照される注目度検出装置である。

【0106】

ビデオキャプチャ機器71は、所定の区域のビデオ情報をキャプチャするように構成される。

【0107】

一部の実施形態において、ビデオキャプチャ機器71は、棚74の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。したがって、歩行者が棚74を通り過ぎて歩くとき、または棚74の前に停止して、物品を手に取るアクションもしくはそれに類することを実行するときはいつでも、ビデオキャプチャ機器71は、それに相応してビデオキャプチャを実行する。情報獲得装置72は、ビデオキャプチャ機器71によってキャプチャされたビデオフレームに基づいて情報獲得を実行し、獲得された情報をデータベースに書き込む。注目度検出装置73は、データベースに基づいて所定の区域内の異なる歩行者の特徴情報を使用することによって所定の区域の注目度を決定する。

【0108】

一部の実施形態において、前段で説明される機能ユニットモジュールは、汎用プロセッサ、プログラマブルロジックコントローラ(PLC)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブルロジックデバイス、ディスクリートのゲートもしくはトランジスタロジック、ディスクリートのハードウェア構成要素、または本開示において説明される機能を実行するためのその任意の適切な組合せとして実装可能である。

【0109】

以上、本開示の実施形態について詳細に説明されてきた。当技術分野においてよく知られている一部の詳細については、本開示の概念を不明瞭にするのを回避するために説明されていない。今や、当業者は、以上の説明に鑑みて、本明細書において開示される技術ソリューションをどのように実施すべきかを完全に認識することができよう。

【0110】

本開示の一部の特定の実施形態について、例として詳細に説明されてきたものの、前段の実施例は、単に例示のためであり、本開示の範囲を限定することは意図していないことが当業者には理解されよう。本開示の範囲および趣旨を逸脱することなく、様々な変更が行われてよく、技術的特徴の一部に均等形態が置き換えられてよいことが当業者には理解されよう。本開示の範囲は、添付の特許請求の範囲によって規定される。

【符号の説明】

【0111】

21 第1の処理モジュール
22 第2の処理モジュール
23 第3の処理モジュール
24 第4の処理モジュール
31 メモリ
32 プロセッサ
33 通信インターフェース
34 バス
51 受信モジュール
52 注目度クエリモジュール
61 メモリ
62 プロセッサ
63 通信インターフェース
64 バス
71 ビデオキャプチャ機器
72 情報獲得装置
73 注目度検出装置
74 棚

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-01-31

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本開示は、参照によりその開示全体が本明細書に組み込まれている、2020年5月29日に出願した中国特許出願第202010479278.7号に基づくとともに、その優先権を主張するものである。

【0002】

本開示は、情報処理の分野に関し、より詳細には、情報を獲得するための方法および装置、ならびに注目度を検出するためのシステムに関する。

【背景技術】

【0003】

オフライン商店において、各棚が、適切な位置に配置されているかどうか、各棚が、ユーザから十分な注目度を引き寄せるかどうか、およびどのような種類の顧客が各棚によって最も引き寄せられるかを示すデータおよびそれぞれの統計結果は、商店における棚のレイアウトを調整すること、商店における商品のレイアウトを最適化すること、および商品の選択を誘導することのための有効なデータである。これらのデータが収集され得る場合、商業者は、商店内のレイアウトを調整すること、および商品の展示を好都合に最適化することができ、また、ブランド所有者がブランドの物品を展示する適切な棚を選択することの助けにもなる。

【0004】

現在、棚に払われる注目度のレベルの商業者の知識は、棚の前の顧客の行動を手動で観察すること、または棚区域において販売された物品の量を使用することによって棚に払われた注目度のレベルを逆に推測することに主に基づく。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の実施形態の第1の態様によれば、情報獲得方法が、提供される。情報獲得方法は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを獲得すること、第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出すること、ビデオフレーム内に歩行者が存在する条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てること、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別すること、およびデータベースに歩行者履歴データを書き込むことであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、書き込むことを含む。

【0006】

一部の実施形態において、データベースに歩行者履歴データを書き込んだ後、歩行者識別子によりデータベース内のすべての歩行者履歴データをグループ化して、複数の第1のグループを得ること、および同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各第1のグループ内のすべての歩行者履歴データに対して第1の重複排除処理を実行すること。

【0007】

一部の実施形態において、データベースに歩行者履歴データを書き込んだ後、ビデオフレームの生成時刻によりデータベース内のすべての歩行者履歴データをグループ化して、複数の第2のグループを得ること、および歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各第2のグループ内のすべての歩行者履歴データに対して第2の重複排除処理を実行すること。

【0008】

一部の実施形態において、歩行者バウンディングボックスに対応する歩行者識別子を割り当てることは、第2の深層学習モデルを使用することによって歩行者バウンディングボックス内の歩行者特徴情報を識別すること、その歩行者特徴情報が歩行者特徴ライブラリに含まれるかどうかを検索すること、その歩行者特徴情報が歩行者特徴ライブラリに含まれないという条件下で、歩行者特徴ライブラリにその歩行者特徴情報を書き込むこと、およびその歩行者バウンディングボックスに新たな歩行者識別子を割り当てることを含む。

【0009】

一部の実施形態において、歩行者バウンディングボックスに対応する歩行者識別子を割り当てることは、その歩行者特徴情報が歩行者特徴ライブラリに含まれるという条件下で、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴をその歩行者バウンディングボックスに割り当てることを含む。

【0010】

一部の実施形態において、ビデオフレーム内に歩行者が全く存在しないという条件下でビデオフレームを破棄すること。

【0011】

一部の実施形態において、歩行者の特徴情報は、歩行者の行動特徴情報を含む。

【0012】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報を含む。

【0013】

本開示の実施形態の第2の態様によれば、情報獲得装置が、提供される。情報獲得装置は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、および第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出することを行うように構成された第1の処理モジュールと、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるように 構成された第2の処理モジュールと、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別するように構成された第3の処理モジュールと、データベースに歩行者履歴データを書き込むように構成された第4の処理モジュールであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、第4の処理モジュールとを含む。

【0014】

本開示の実施形態の第2の態様によれば、情報獲得装置が、提供される。情報獲得装置は、命令を記憶するように構成されたメモリと、第1のメモリに結合された第1のプロセッサとを含み、第1のメモリに記憶された命令に基づいて、第1のプロセッサは、前段で説明される実施形態による方法を実施するように構成される。

【0015】

本開示の実施形態の第3の態様によれば、注目度検出システムが、提供される。注目度検出システムは、所定の区域のビデオ情報を獲得するように構成されたビデオキャプチャ機器と、前段で説明される実施形態による情報獲得装置と、注目度検出装置とを含み、注目度検出装置は、命令を記憶するように構成された第2のメモリと、第2のメモリに結合された第2のプロセッサとを含み、第2のメモリに記憶された命令に基づいて、第2のプロセッサは、所定の区域の注目度をクエリするクエリ要求を受信すること、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出すること、その複数の歩行者履歴データにおけるタイムスタンプおよび歩行者の特徴情報により所定の区域の注目度を決定することを行うように構成される。

【0016】

一部の実施形態において、第2のプロセッサは、その複数の歩行者履歴データから検出されるべき複数の歩行者履歴データを抽出することであって、検出されるべき複数の歩行者履歴データにおけるタイムスタンプが、所定の時間範囲内にある、抽出すること、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数を計数すること、および計数の結果により所定の区域の注目度を決定することを行うように構成される。

【0017】

一部の実施形態において、歩行者の特徴情報は、歩行者の行動特徴情報を含む。

【0018】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報を含む。

【0019】

本開示の実施形態の第5の態様によれば、注目度検出装置が、提供される。注目度検出装置は、所定の区域の注目度をクエリするクエリ要求を受信するように構成された受信モジュールと、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することを行うように構成された注目度クエリモジュールとを含む。

【0020】

本開示の実施形態の第4の態様によれば、非一過性のコンピュータ可読記憶媒体が、提供され、非一過性のコンピュータ可読記憶媒体は、プロセッサによって実行されると、前段で説明される実施形態のいずれか1つによる方法を実施するコンピュータ命令を記憶する。

【0021】

本開示の第5の態様によれば、コンピュータプログラムが、提供され、コンピュータプログラムは、プロセッサに、前段で説明される実施形態のいずれか1つによる方法を実行させるように構成される。

【0022】

本開示の実施形態の第8の態様によれば、非一過性のコンピュータ可読記憶媒体が、提供され、非一過性のコンピュータ可読記憶媒体は、プロセッサによって実行されると、前段で説明される実施形態のいずれか1つによる方法を実施するコンピュータ命令を記憶する。

【0023】

本開示のその他の特徴、およびそれら特徴の利点は、添付の図面を参照して行われる、本開示の例示的な実施形態の後段の詳細な説明から明白となろう。

【0024】

本明細書に組み込まれて、本明細書の一部分を構成する添付の図面が、本開示の実施形態を例示し、説明と相俟って本開示の原理を説明するのに役立つ。

【0025】

本開示は、添付の図面を参照して後段の詳細な説明から、より明確に理解されてよい。

【図面の簡単な説明】

【0026】

【図1】本開示の一実施形態による情報獲得方法を示す概略フロー図である。

【図2】本開示の一実施形態による情報獲得装置を示す概略構造図である。

【図3】本開示の別の実施形態による情報獲得装置を示す概略構造図である。

【図4】本開示の一実施形態による注目度検出方法を示す概略フロー図である。

【図5】本開示の一実施形態による注目度検出装置を示す概略構造図である。

【図6】本開示の別の実施形態による注目度検出装置を示す概略構造図である。

【図7】本開示の一実施形態による注目度検出システムを示す概略構造図である。

【発明を実施するための形態】

【0027】

図面に示される様々な部分の寸法は、実際の縮尺どおりには描かれていないことを理解されたい。さらに、同一の、または類似した参照符号は、同一の、または類似した構成要素を表す。

【0028】

次に、本開示の様々な例示的な実施形態が、添付の図面を参照して詳細に説明される。例示的な実施形態の説明は、例示的であるに過ぎず、本開示、本開示の用途または用法を限定することは全く意図していない。本開示は、異なる多くの形態において実施されてよく、本明細書において説明される実施形態に限定されない。これらの実施形態は、本開示を徹底的で、完全であるようにすべく与えられ、本開示の範囲を当業者に完全に伝える。これらの実施形態において示される部分およびステップの相対的な並び、材料および値の構成は、特に明記されない限り、単に例示的なものであり、限定するものではないと解釈すべきであることに留意されたい。

【0029】

本開示における「含む」または「備える」などの使用は、その語に先行する要素が、その語の後に列挙される要素を包含することを意味することを意図しており、その他の要素が包含されてもよい可能性を排除するものではない。

【0030】

本明細書において使用されるすべての用語(技術用語または科学用語を含む)は、特にそうでないことが定義されない限り、本開示が属する分野の業者によって一般的に理解されるのと同一の意味を有する。一般的に使用される辞書において定義されるような用語は、関係のある技術の脈絡におけるそれらの用語の意味と一貫性のある意味を有するものと解釈されるべきであり、本明細書において明示的にそのように定義されない限り、理念化された意味で解釈されることも、過度に形式的な意味で解釈されることもないことがさらに理解されよう。

【0031】

当業者に知られている技術、方法、および装置については、詳細には説明されないことがあるが、適宜、本明細書の一部であることが意図される。

【0032】

本発明者らは、棚の前の顧客の行動を手動で観察することが人的資源の浪費であることを研究を通じて見出した。その一方で、手動モードは、検出を逸すること、または誤った検出をもたらすことを生じがちであり、記録されたデータは、大規模データ解析の標準を満たすことが困難である。さらに、棚に払われる注目の度合は、商品決済情報により逆に推測されるので、販売された物品が配置された棚の注目度を導き出すことだけが可能である一方で、ユーザの選択行動および注目行動、ならびに払われた注目の度合を正確に得ることは不可能であり、棚に注目を払うユーザの属性を得ることが不可能であることは言うまでもなく、その結果、解析が科学的に実行され得ない。

【0033】

したがって、本開示は、歩行者の特徴情報を識別することによって関心対象の区域内に置かれた棚に対する歩行者の注目度を迅速に、かつ好都合に知ることを可能にする注目度検出のソリューションを提供する。

【0034】

図1は、本開示の一実施形態による情報獲得方法の概略フロー図である。一部の実施形態において、情報獲得方法の以下のステップが、情報獲得装置によって実行される。

【0035】

ステップ101において、ビデオキャプチャ機器によってキャプチャされたビデオフレームが、順次に獲得される。

【0036】

例えば、ビデオキャプチャ機器は、所定の棚の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。

【0037】

ステップ102において、第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかが検出される。

【0038】

例えば、第1の深層学習モデルは、CNN(畳み込みニューラルネットワーク)、Faster-RCNN、YOLOv3、またはそれに類するものなどのモデルである。

【0039】

ステップ103において、ビデオフレームが、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームが処理され、その歩行者バウンディングボックスに、対応する歩行者識別子が割り当てられる。

【0040】

例えば、第2の深層学習モデルは、多層CNNモデルである。

【0041】

さらに、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるという条件下で、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者識別子が、その歩行者バウンディングボックスに割り当てられる。

【0042】

さらに、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるという条件下で、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴が、その歩行者バウンディングボックスに割り当てられる。

【0043】

例えば、モールまたはスーパーマーケットに入ったばかりの歩行者Pに関して、歩行者特徴ライブラリは、歩行者Pの特徴情報を含まず、したがって、新たな歩行者識別子005が、歩行者Pの歩行者バウンディングボックスに割り当てられる必要がある。歩行者Pが、棚Aから物品を手に取り、次に、棚Bまで歩く。歩行者Pの特徴情報は、歩行者特徴ライブラリに既に含まれるので、歩行者Pの歩行者バウンディングボックスに割り当てられた歩行者識別子は、依然として005である。

【0044】

一部の実施形態において、ビデオフレームは、ビデオフレーム内に歩行者が全く存在しないという条件下で、破棄される。歩行者の存在しないビデオフレームを破棄することによって、計算負担が、効果的に低減可能である。

【0045】

ステップ104において、歩行者バウンディングボックス内の画像が、歩行者の特徴情報を認識すべく第3の深層学習モデルによって識別される。

【0046】

例えば、第3の深層学習モデルは、多層CNNモデルである。

【0047】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0048】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0049】

ステップ105において、歩行者履歴データが、データベースに書き込まれ、歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0050】

例えば、歩行者履歴データは、TABLE 1(表1)に示されるとおりであってよい。

【0051】

【表1】

【0052】

本開示の前段の実施形態によって提供される情報獲得方法において、ビデオフレーム内の歩行者バウンディングボックスの座標情報、歩行者識別子、および歩行者の特徴情報は、データベースに記録され、それにより、データベースを使用することによって所定の区域に対する異なる歩行者の注目度が検索される。

【0053】

一部の実施形態において、データは、歩行者履歴データがデータベースに書き込まれた後、時間次元および空間次元において重複排除処理を受けさせられ、それにより、データベースによって占有される記憶空間が低減される。

【0054】

一部の実施形態において、データベースにおける歩行者履歴データは、歩行者識別子によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0055】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同一の歩行者識別子を有するように歩行者識別子によってグループ化される。次に、各グループ内の歩行者履歴データが、ビデオフレームのタイムスタンプによって並べ替えられ、所定のしきい値(例えば、500ミリ秒)より小さい時間間隔を有するデータは、同一のアクションに対応するものと見なされる。この事例において、それらのデータのうちの1つだけが保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0056】

一部の実施形態において、データベースにおける歩行者履歴データが、ビデオフレームの生成時刻によってグループ化される。歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データが保持されるように、歩行者履歴データの各グループに対して第2の重複排除処理が実行される。

【0057】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同時に生成されるようにビデオフレームの生成時刻によりグループ化される。次に、各グループ内で、各歩行者履歴データにおける歩行者バウンディングボックスの中心位置が、それぞれ計算される。歩行者バウンディングボックスの中心位置間の距離が所定のしきい値より小さい複数の複数の歩行者履歴データに関して、それは、繰り返される歩行者バウンディングボックスと見なされてよい。この事例において、1つだけのデータが、保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0058】

前段で説明される重複排除プロセスを通して、対応する歩行者履歴データは、TABLE 2(表2)に示されるとおりであってよい。

【0059】

【表2】

【0060】

図2は、本開示の一実施形態による情報獲得装置の概略構造図である。図2に示されるとおり、情報獲得装置は、第1の処理モジュール21と、第2の処理モジュール22と、第3の処理モジュール23と、第4の処理モジュール24とを含む。

【0061】

第1の処理モジュール21は、ビデオキャプチャ機器によってキャプチャされたビデオフレームを順次に獲得すること、および第1の深層学習モデルを使用することによってビデオフレーム内に歩行者が存在するかどうかを検出することを行うように構成される。

【0062】

例えば、ビデオキャプチャデバイスは、指定された棚の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。

【0063】

例えば、第1の深層学習モデルは、CNN、Faster-RCNN、YOLOv3モデル、およびそれに類するものである。

【0064】

第2の処理モジュール22は、ビデオフレーム内に歩行者が存在するという条件下で、その歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用してビデオフレームを処理し、その歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるように構成される。

【0065】

例えば、第2の深層学習モデルは、多層CNNモデルである。

【0066】

一部の実施形態において、第2の処理モジュール22は、第2の深層学習モデルを使用することによって歩行者バウンディングボックス内の歩行者特徴情報を識別し、歩行者特徴情報が歩行者特徴ライブラリに既に含まれるかどうかを検索する。さらに、その歩行者特徴情報が歩行者特徴ライブラリに含まれないという条件下で、その歩行者特徴情報が歩行者特徴ライブラリに書き込まれ、その歩行者バウンディングボックスに新たな歩行者識別子が割り当てられる。

【0067】

さらに、その歩行者特徴情報が歩行者特徴ライブラリに既に含まれるという条件下で、第2の処理モジュール22は、歩行者特徴ライブラリ内のその歩行者特徴情報に関連付けられた歩行者特徴をその歩行者バウンディングボックスに割り当てる。

【0068】

一部の実施形態において、ビデオフレーム内に歩行者が全く存在しないという条件下で、第1の処理モジュール21は、ビデオフレームを破棄する。歩行者の存在しないビデオフレームを破棄することによって、計算負担が、効果的に低減可能である。

【0069】

第3の処理モジュール23は、第3の深層学習モデルを使用して歩行者の特徴情報を識別することによって歩行者バウンディングボックス内の画像を識別するように構成される。

【0070】

例えば、第3の深層学習モデルは、多層CNNモデルである。

【0071】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0072】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0073】

第4の処理モジュール24は、データベースに歩行者履歴データを書き込むように構成され、歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0074】

一部の実施形態において、歩行者履歴データがデータベースに書き込まれた後、データは、時間次元および空間次元において重複排除処理を受けさせられて、データベースによって占有される記憶空間が低減される。

【0075】

一部の実施形態において、データベースにおける歩行者履歴データは、歩行者識別子によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0076】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同一の歩行者識別子を有するように歩行者識別子によってグループ化される。次に、各グループ内の歩行者履歴データが、ビデオフレームのタイムスタンプによって並べ替えられ、所定のしきい値(例えば、500ミリ秒)より小さい時間間隔を有するデータは、同一のアクションに対応するものと見なされる。この事例において、それらのデータのうちの1つだけが保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0077】

一部の実施形態において、データベースにおける歩行者履歴データが、ビデオフレームの生成時刻によってグループ化される。さらに、同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームのタイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、歩行者履歴データの各グループに対して第1の重複排除処理が実行される。

【0078】

例えば、データベースにおける歩行者履歴データが、各グループ内の歩行者履歴データが同時に生成されるようにビデオフレームの生成時刻によりグループ化される。次に、各グループ内で、各歩行者履歴データにおける歩行者バウンディングボックスの中心位置が、それぞれ計算される。歩行者バウンディングボックスの中心位置間の距離が所定のしきい値より小さい複数の複数の歩行者履歴データに関して、それは、繰り返される歩行者バウンディングボックスと見なされてよい。この事例において、1つだけのデータが、保持される。例えば、収集された最後の歩行者履歴データが、保持される。

【0079】

図3は、本開示の別の実施形態による情報獲得装置の概略構造図である。図3に示されるとおり、情報獲得装置は、メモリ31と、プロセッサ32とを含む。

【0080】

メモリ31は、命令を記憶するために使用され、プロセッサ32は、メモリ31に結合され、プロセッサ32は、メモリに記憶された命令に基づいて、図1における実施形態のいずれかによる方法を実行するように構成される。

【0081】

図3に示されるとおり、情報獲得装置は、他のデバイスとの情報対話のための通信インターフェース33をさらに含む。その一方で、情報獲得装置は、バス34と、バス34を介して互いに通信するプロセッサ32と、通信インターフェース33と、メモリ31とをさらに含む。

【0082】

メモリ31は、高速RAMメモリを含んでよく、また、少なくとも1つのディスクメモリなどの不揮発性メモリを含んでもよい。また、メモリ31は、メモリアレイであってもよい。また、ストレージ31は、ブロックに区分化されてもよく、ブロックは、いくつかの規則により組み合わされて仮想ボリュームにされてよい。

【0083】

さらに、プロセッサ32は、中央処理装置CPUであってよく、または特定用途向け集積回路ASICであってよく、または本開示の実施形態を実施するように構成された1つもしくは複数の集積回路であってよい。

【0084】

また、本開示は、コンピュータ命令が記憶される非一過性のコンピュータ可読媒体にも関し、プロセッサによって実行されると、命令は、図1における実施形態のいずれか1つによる方法を実施する。

【0085】

図4は、本開示の一実施形態による注目度検出方法の概略フロー図である。一部の実施形態において、注目度検出方法の以下のステップが、注目度検出装置によって実行される。

【0086】

ステップ401において、所定の区域の注目度をクエリするクエリ要求が、受信される。

【0087】

ステップ402において、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データが、抽出される。歩行者履歴データは、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む。

【0088】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0089】

一部の実施形態において、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0090】

本明細書において使用されるデータベースは、図1におけるいずれか1つの実施形態による方法を使用することによって得られることに留意されたい。

【0091】

ステップ403において、所定の区域の注目度は、複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により決定される。

【0092】

一部の実施形態において、検出されるべき歩行者の複数の履歴データは、歩行者の複数の履歴データから抽出され、検出されるべき歩行者の複数の履歴データにおけるタイムスタンプは、所定の時間範囲内にあり、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数が、計数され、所定の区域の注目度が、計数の結果により決定される。

【0093】

例えば、所定の時間範囲内で、特徴情報の統計値がより大きいという条件下で、そのことは、所定の区域に対する歩行者の注目度がより高いことを示す。

【0094】

図5は、本開示の実施形態による注目度検出装置の概略構造図である。図5に示されるとおり、注目度検出装置は、受信モジュール51と、注目度クエリモジュール52とを含む。

【0095】

受信モジュール51は、所定の区域の注目度をクエリするクエリ要求を受信するように構成される。

【0096】

注目度クエリモジュール52は、所定のデータベースから所定の区域に関連付けられた複数の歩行者履歴データを抽出することであって、歩行者履歴データが、ビデオフレームのタイムスタンプと、ビデオフレームの識別子と、歩行者バウンディングボックスの座標情報と、歩行者識別子と、歩行者の特徴情報とを含む、抽出すること、および複数の歩行者履歴データにおける歩行者のタイムスタンプおよび特徴情報により所定の区域の注目度を決定することを行うように構成される。

【0097】

一部の実施形態において、歩行者の特徴情報は、歩行者の属性特徴情報と、歩行者の行動特徴情報とを含む。

【0098】

例えば、歩行者の属性特徴情報は、歩行者の性別、歩行者の年令、歩行者の服装、および歩行者の外観特徴のうちの少なくとも1つを含む。歩行者の行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む。

【0099】

一部の実施形態において、注目度クエリモジュール52は、歩行者の複数の履歴データから検出されるべき歩行者の複数の履歴データを抽出し、検出されるべき歩行者の複数の履歴データにおけるタイムスタンプは、所定の時間範囲内にあり、検出されるべき歩行者履歴データにおける歩行者の特徴情報の数が、計数され、所定の区域の注目度は、計数の結果により決定される。

【0100】

例えば、所定の時間範囲内で、特徴情報の統計値がより大きいという条件下で、そのことは、所定の区域に対する歩行者の注目度がより高いことを示す。

【0101】

本明細書において使用されるデータベースは、図1におけるいずれかの実施形態による方法を使用することによって得られることに留意されたい。

【0102】

さらに、データベースを利用することによって、歩行者の行動の細かい管理が実現され得るように歩行者の軌跡とアクションが追跡可能である。

【0103】

図6は、本開示の別の実施形態による注目度検出装置の概略構造図である。図6に示されるとおり、装置は、メモリ61と、プロセッサ62と、通信インターフェース63と、バス64とを含む。図6は、図6に示される実施形態において、プロセッサ62が、メモリに記憶された命令に基づいて図4の実施形態のいずれかにおいて参照される方法を実施するように構成されるという点で図3とは異なる。

【0104】

また、本開示は、プロセッサによって実行されると、図4における実施形態のいずれか1つにおいて参照される方法を実施する命令を記憶するための非一過性のコンピュータ可読記憶媒体にも関する。

【0105】

図7は、本開示の実施形態による注目度検出システムの概略構造図である。図7に示されるとおり、注目度検出システムは、ビデオキャプチャ機器71と、情報獲得装置72と、注目度検出装置73とを含む。情報獲得装置72は、図2または図3の実施形態のいずれか1つにおいて参照される情報獲得装置である。注目度検出装置73は、図5または図6の実施形態のいずれか1つにおいて参照される注目度検出装置である。

【0106】

ビデオキャプチャ機器71は、所定の区域のビデオ情報をキャプチャするように構成される。

【0107】

一部の実施形態において、ビデオキャプチャ機器71は、棚74の前の関心対象の区域のビデオ情報をキャプチャするためのカメラである。したがって、歩行者が棚74を通り過ぎて歩くとき、または棚74の前に停止して、物品を手に取るアクションもしくはそれに類することを実行するときはいつでも、ビデオキャプチャ機器71は、それに相応してビデオキャプチャを実行する。情報獲得装置72は、ビデオキャプチャ機器71によってキャプチャされたビデオフレームに基づいて情報獲得を実行し、獲得された情報をデータベースに書き込む。注目度検出装置73は、データベースに基づいて所定の区域内の異なる歩行者の特徴情報を使用することによって所定の区域の注目度を決定する。

【0108】

一部の実施形態において、前段で説明される機能ユニットモジュールは、汎用プロセッサ、プログラマブルロジックコントローラ(PLC)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブルロジックデバイス、ディスクリートのゲートもしくはトランジスタロジック、ディスクリートのハードウェア構成要素、または本開示において説明される機能を実行するためのその任意の適切な組合せとして実装可能である。

【0109】

以上、本開示の実施形態について詳細に説明されてきた。当技術分野においてよく知られている一部の詳細については、本開示の概念を不明瞭にするのを回避するために説明されていない。今や、当業者は、以上の説明に鑑みて、本明細書において開示される技術ソリューションをどのように実施すべきかを完全に認識することができよう。

【0110】

本開示の一部の特定の実施形態について、例として詳細に説明されてきたものの、前段の実施例は、単に例示のためであり、本開示の範囲を限定することは意図していないことが当業者には理解されよう。本開示の範囲および趣旨を逸脱することなく、様々な変更が行われてよく、技術的特徴の一部に均等形態が置き換えられてよいことが当業者には理解されよう。本開示の範囲は、添付の特許請求の範囲によって規定される。

【符号の説明】

【0111】

21 第1の処理モジュール
22 第2の処理モジュール
23 第3の処理モジュール
24 第4の処理モジュール
31 メモリ
32 プロセッサ
33 通信インターフェース
34 バス
51 受信モジュール
52 注目度クエリモジュール
61 メモリ
62 プロセッサ
63 通信インターフェース
64 バス
71 ビデオキャプチャ機器
72 情報獲得装置
73 注目度検出装置
74 棚

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオキャプチャ機器によってキャプチャされたビデオフレームを獲得するステップと、
第1の深層学習モデルを使用することによって前記ビデオフレーム内に歩行者が存在するかどうかを検出するステップと、
前記ビデオフレーム内に前記歩行者が存在する条件下で、前記歩行者の歩行者バウンディングボックスを生成するために、第2の深層学習モデルを使用して前記ビデオフレームを処理し、前記歩行者バウンディングボックスに、対応する歩行者識別子を割り当てるステップと、
第3の深層学習モデルを使用して前記歩行者の特徴情報を識別することによって前記歩行者バウンディングボックス内の画像を識別するステップと、
データベースに歩行者履歴データを書き込むステップであって、前記歩行者履歴データは、前記ビデオフレームのタイムスタンプと、前記ビデオフレームの識別子と、前記歩行者バウンディングボックスの座標情報と、前記歩行者識別子と、前記歩行者の前記特徴情報とを含む、書き込むステップと
を含む、情報獲得方法。

【請求項2】

前記データベースに前記歩行者履歴データを書き込んだ後、前記歩行者識別子により前記データベース内のすべての歩行者履歴データをグループ化して、複数の第1のグループを得るステップと、
同一の特徴情報を有しており、時間しきい値より小さい、ビデオフレームの前記タイムスタンプ間の間隔を有している、複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各第1のグループ内のすべての歩行者履歴データに対して第1の重複排除処理を実行するステップと
をさらに含む、請求項1に記載の情報獲得方法。

【請求項3】

前記データベースに前記歩行者履歴データを書き込んだ後、前記ビデオフレームの生成時刻により前記データベース内のすべての歩行者履歴データをグループ化して、複数の第2のグループを得るステップと、
前記歩行者バウンディングボックスの中心位置間の距離が距離しきい値より小さい複数の歩行者履歴データのなかで1つだけの歩行者履歴データを保持するために、各第2のグループ内のすべての歩行者履歴データに対して第2の重複排除処理を実行するステップと
をさらに含む、請求項2に記載の情報獲得方法。

【請求項4】

前記歩行者バウンディングボックスに前記対応する歩行者識別子を割り当てる前記ステップは、
第2の深層学習モデルを使用することによって前記歩行者バウンディングボックス内の歩行者特徴情報を識別するステップと、
前記歩行者特徴情報が歩行者特徴ライブラリに含まれるかどうかを検索するステップと、
前記歩行者特徴情報が前記歩行者特徴ライブラリに含まれないという条件下で、前記歩行者特徴ライブラリに前記歩行者特徴情報を書き込むステップと、
前記歩行者バウンディングボックスに新たな歩行者識別子を割り当てるステップと
を含む、請求項1に記載の情報獲得方法。

【請求項5】

前記歩行者バウンディングボックスに前記対応する歩行者識別子を割り当てる前記ステップは、
前記歩行者特徴情報が前記歩行者特徴ライブラリに含まれるという条件下で、前記歩行者特徴ライブラリ内の前記歩行者特徴情報に関連付けられた歩行者識別子を前記歩行者バウンディングボックスに割り当てるステップを含む、請求項4に記載の情報獲得方法。

【請求項6】

前記ビデオフレーム内に歩行者が全く存在しないという条件下で前記ビデオフレームを破棄するステップをさらに含む、請求項1に記載の情報獲得方法。

【請求項7】

前記歩行者の前記特徴情報は、前記歩行者の行動特徴情報を含む、請求項1から6のいずれか一項に記載の情報獲得方法。

【請求項8】

前記歩行者の前記特徴情報は、前記歩行者の属性特徴情報を含む、請求項7に記載の情報獲得方法。

【請求項9】

前記歩行者の前記属性特徴情報は、前記歩行者の性別、前記歩行者の年令、前記歩行者の服装、および前記歩行者の外観特徴のうちの少なくとも1つを含み、
前記歩行者の前記行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む、請求項8に記載の情報獲得方法。

【請求項10】

命令を記憶するように構成された第1のメモリと、
前記第1のメモリに結合された第1のプロセッサと
を含む情報獲得装置であって、
前記第1のメモリに記憶された前記命令に基づいて、前記第1のプロセッサは、請求項1から9のいずれか一項に記載の方法を実施するように構成される、情報獲得装置。

【請求項11】

所定の区域のビデオ情報を獲得するように構成されたビデオキャプチャ機器と、
請求項10に記載の情報獲得装置と、
注目度検出装置とを含む注目度検出システムであって、前記注目度検出装置は、
命令を記憶するように構成された第2のメモリと、
前記第2のメモリに結合された第2のプロセッサとを含み、
前記第2のメモリに記憶された前記命令に基づいて、前記第2のプロセッサは、
所定の区域の注目度をクエリするクエリ要求を受信すること、
所定のデータベースから前記所定の区域に関連付けられた複数の歩行者履歴データを抽出すること、
前記複数の歩行者履歴データにおけるタイムスタンプおよび歩行者の特徴情報により前記所定の区域の注目度を決定することを行うように構成される、注目度検出システム。

【請求項12】

前記第2のプロセッサは、
前記複数の歩行者履歴データから検出されるべき複数の歩行者履歴データを抽出することであって、検出されるべき前記複数の歩行者履歴データにおけるタイムスタンプは、所定の時間範囲内にある、抽出すること、
検出されるべき前記歩行者履歴データにおける前記歩行者の特徴情報の数を計数すること、
計数の結果により前記所定の区域の前記注目度を決定することを行うように構成される、請求項11に記載の注目度検出システム。

【請求項13】

前記歩行者の前記特徴情報は、前記歩行者の行動特徴情報を含む、請求項11または12に記載の注目度検出システム。

【請求項14】

前記歩行者の前記特徴情報は、前記歩行者の属性特徴情報を含む、請求項13に記載の注目度検出システム。

【請求項15】

前記歩行者の前記属性特徴情報は、前記歩行者の性別、前記歩行者の年令、前記歩行者の服装、および前記歩行者の外観特徴のうちの少なくとも1つを含み、前記歩行者の前記行動特徴情報は、歩くこと、留まること、手に取ること、戻すこと、および保持することのうちの少なくとも1つを含む、請求項14に記載の注目度検出システム。

【請求項16】

プロセッサによって実行されると、請求項1から9のいずれか一項に記載の方法を実施するコンピュータ命令を記憶する、非一過性のコンピュータ可読記憶媒体。

【請求項17】

プロセッサに、請求項1から9のいずれか一項に記載の方法を実行させるように構成された、コンピュータプログラム。

【国際調査報告】