知財求人 - 知財ポータルサイト「IP Force」
▶ ファインダーズ エーアイ インコーポレイテッドの特許一覧
特開2024-153531店舗の決済サービスを提供する電子装置及び方法｛Ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｓｔｏｒｅ ｐａｙｍｅｎｔ ｓｅｒｖｉｃｅ｝
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153531
(43)【公開日】2024-10-29
(54)【発明の名称】店舗の決済サービスを提供する電子装置及び方法｛Ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｓｔｏｒｅ ｐａｙｍｅｎｔ ｓｅｒｖｉｃｅ｝
(51)【国際特許分類】
G06Q 30/06 20230101AFI20241022BHJP
【ＦＩ】
G06Q30/06
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023173464
(22)【出願日】2023-10-05
(31)【優先権主張番号】10-2023-0050004
(32)【優先日】2023-04-17
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】523380069
【氏名又は名称】ファインダーズ エーアイ インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100176418
【弁理士】
【氏名又は名称】工藤 嘉晃
(72)【発明者】
【氏名】ソク ブム ホン
(72)【発明者】
【氏名】ミュン ウォン ハム
(72)【発明者】
【氏名】ビュン フン リ
(72)【発明者】
【氏名】ス ミン リム
(72)【発明者】
【氏名】スン ビン パク
(72)【発明者】
【氏名】ジ ヒュン キム
(72)【発明者】
【氏名】ヒュン ジュン アン
【テーマコード（参考）】
5L030
5L049
【Ｆターム（参考）】
5L030BB72
5L049BB72
(57)【要約】
【課題】本発明は、店舗の決済サービスを提供する電子装置及び方法を開示する。
【解決手段】前記店舗の決済サービスを提供する電子装置は、プロセッサ及びメモリを含み、メモリは、実行時にプロセッサによって：複数の画像データを受信し、各々に対して、複数の２次元ポーズデータを生成し、各々を結合して、３次元ポーズデータを生成し、当該データのトラッキングデータを生成し、トリガー時点およびトリガーが発生した位置を含むトリガーデータを識別し、前記位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくとも１つを識別し、トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、それに基づいて使用者候補群を識別して第１信頼度を計算し、それに基づいて、トリガーに関連する使用者が第１使用者であることを識別し、第１使用者の仮想カートに対してトリガーに関するアップデートを実行する。
【選択図】図１
【解決手段】前記店舗の決済サービスを提供する電子装置は、プロセッサ及びメモリを含み、メモリは、実行時にプロセッサによって：複数の画像データを受信し、各々に対して、複数の２次元ポーズデータを生成し、各々を結合して、３次元ポーズデータを生成し、当該データのトラッキングデータを生成し、トリガー時点およびトリガーが発生した位置を含むトリガーデータを識別し、前記位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくとも１つを識別し、トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、それに基づいて使用者候補群を識別して第１信頼度を計算し、それに基づいて、トリガーに関連する使用者が第１使用者であることを識別し、第１使用者の仮想カートに対してトリガーに関するアップデートを実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
店舗の決済サービスを提供する電子装置であって、
プロセッサ、及び
前記プロセッサに作動的に（operatively）連結されたメモリを含み、
前記メモリは、実行されたときに前記プロセッサによって：
前記店舗内の複数の画像センサから複数の画像データを受信し、
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成し、
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対して一マッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成し、
前記店舗に陳列された複数の商品のうち少なくともいずれか1つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別し、
前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別し、
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、
前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別し、
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別し、
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行するようにする、
インストラクション（instructions）を記憶する、
店舗の決済サービスを提供する電子装置。
プロセッサ、及び
前記プロセッサに作動的に（operatively）連結されたメモリを含み、
前記メモリは、実行されたときに前記プロセッサによって：
前記店舗内の複数の画像センサから複数の画像データを受信し、
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成し、
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対して一マッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成し、
前記店舗に陳列された複数の商品のうち少なくともいずれか1つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別し、
前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別し、
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、
前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別し、
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別し、
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行するようにする、
インストラクション（instructions）を記憶する、
店舗の決済サービスを提供する電子装置。
【請求項2】
前記インストラクションは、前記プロセッサが、
前記トリガーに関連する前記棚に対する棚画像データで、前記トリガー時点での前記棚画像データを識別し、
前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
前記トリガーに関連する前記棚に対する棚画像データで、前記トリガー時点での前記棚画像データを識別し、
前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
【請求項3】
前記インストラクションは、前記プロセッサが、
第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、前記第１使用者を識別し、
前記第１使用者識別方式は、前記第１トラッキングデータに基づいて、前記トリガーに関連する前記棚に接近したかどうかを基準にして前記使用者候補群を識別し、
前記第２使用者識別方式は、前記第１トラッキングデータで、前記複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別し、
前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、前記第１使用者を識別し、
前記第１使用者識別方式は、前記第１トラッキングデータに基づいて、前記トリガーに関連する前記棚に接近したかどうかを基準にして前記使用者候補群を識別し、
前記第２使用者識別方式は、前記第１トラッキングデータで、前記複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別し、
前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
【請求項4】
前記インストラクションは、前記プロセッサが、
前記棚の上に前記第１商品が陳列される第１プレートに連結された第１重量センサと、第２商品が陳列される第２プレートに連結された第２重量センサのうち、前記第１重量センサによって検出された重量変化をさらに含む前記トリガーデータを識別し、
前記トリガーが発生した前記位置である前記第１重量センサの位置、及び前記第１プレートに対する画像を含む棚画像データのうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
前記棚の上に前記第１商品が陳列される第１プレートに連結された第１重量センサと、第２商品が陳列される第２プレートに連結された第２重量センサのうち、前記第１重量センサによって検出された重量変化をさらに含む前記トリガーデータを識別し、
前記トリガーが発生した前記位置である前記第１重量センサの位置、及び前記第１プレートに対する画像を含む棚画像データのうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
【請求項5】
前記インストラクションは、前記プロセッサが、
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化と、前記複数の画像データに基づく第２相互作用情報のうち、少なくとも１つをさらに含む前記トリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記第１トラッキングデータおよび前記トリガーデータを基に、前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記少なくとも１人の使用者のそれぞれが手に取っている前記複数の商品のうち少なくとも１つの種類及び個数を識別した結果と、前記複数の商品のうち少なくとも１つの種類及び前記個数が変化したかどうかを含む前記第１相互作用情報に基づいて、前記使用者候補群を識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化と、前記複数の画像データに基づく第２相互作用情報のうち、少なくとも１つをさらに含む前記トリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記第１トラッキングデータおよび前記トリガーデータを基に、前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記少なくとも１人の使用者のそれぞれが手に取っている前記複数の商品のうち少なくとも１つの種類及び個数を識別した結果と、前記複数の商品のうち少なくとも１つの種類及び前記個数が変化したかどうかを含む前記第１相互作用情報に基づいて、前記使用者候補群を識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
【請求項6】
前記棚画像データは、
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
前記インストラクションは、前記プロセッサが、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記重量センサによって検出された前記重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも1つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにする、
請求項５に記載の店舗の決済サービスを提供する電子装置。
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
前記インストラクションは、前記プロセッサが、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記重量センサによって検出された前記重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも1つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにする、
請求項５に記載の店舗の決済サービスを提供する電子装置。
【請求項7】
前記インストラクションは、前記プロセッサが、
前記複数の画像データに基づいて、前記棚と前記少なくとも１人の使用者のうち少なくとも一部と相互作用が発生した場合、前記相互作用の時点、前記相互作用が発生した位置及び前記相互作用の主体である前記第１使用者に対する情報を含む第３相互作用情報を識別し、前記第３相互作用情報をさらに含むトリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記トリガーデータの前記第３相互作用情報に基づいて前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記第３相互作用情報に基づいて、前記第１トラッキングデータで前記第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
前記複数の画像データに基づいて、前記棚と前記少なくとも１人の使用者のうち少なくとも一部と相互作用が発生した場合、前記相互作用の時点、前記相互作用が発生した位置及び前記相互作用の主体である前記第１使用者に対する情報を含む第３相互作用情報を識別し、前記第３相互作用情報をさらに含むトリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記トリガーデータの前記第３相互作用情報に基づいて前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記第３相互作用情報に基づいて、前記第１トラッキングデータで前記第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項３に記載の店舗の決済サービスを提供する電子装置。
【請求項8】
前記インストラクションは、前記プロセッサが、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用し、前記第１商品を識別し、
前記第１商品識別方式は、
第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとの比較結果に基づいて、商品変化の位置を推定し、
前記商品変化の位置に対応する第３棚画像データおよび前記トリガーが発生した時点に基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果、及び前記比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにする、
請求項７に記載の店舗の決済サービスを提供する電子装置。
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用し、前記第１商品を識別し、
前記第１商品識別方式は、
第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとの比較結果に基づいて、商品変化の位置を推定し、
前記商品変化の位置に対応する第３棚画像データおよび前記トリガーが発生した時点に基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果、及び前記比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか1つが前記第１商品を含むことを識別するようにする、
請求項７に記載の店舗の決済サービスを提供する電子装置。
【請求項9】
前記インストラクションは、前記プロセッサが、
前記複数の画像センサから受信した棚画像データ、前記複数の画像センサから受信した前記少なくとも１人の使用者を含む使用者画像データ、および前記棚に連結された重量センサから受信した重量データのうち少なくとも１つに基づいて、前記棚の上の前記複数の商品に変化があったか否かを判断し、
前記判断を基に前記トリガーデータの有効性を判断するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
前記複数の画像センサから受信した棚画像データ、前記複数の画像センサから受信した前記少なくとも１人の使用者を含む使用者画像データ、および前記棚に連結された重量センサから受信した重量データのうち少なくとも１つに基づいて、前記棚の上の前記複数の商品に変化があったか否かを判断し、
前記判断を基に前記トリガーデータの有効性を判断するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
【請求項10】
店舗の決済サービスを提供する方法において、前記店舗内の複数の画像センサから複数の画像データを受信する段階；
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階；
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階；
前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別する段階；
前記トリガー時点及び前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階；
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階；
前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階；
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階；
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階；および
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行する段階を含む、
店舗の決済サービスを提供する方法。
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階；
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階；
前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別する段階；
前記トリガー時点及び前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階；
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階；
前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階；
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階；
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階；および
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行する段階を含む、
店舗の決済サービスを提供する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、店舗の決済サービスを提供する電子装置及び方法に関するもので、具体的には、無人決済サービスを提供する店舗で無人決済サービスを提供する電子装置及び方法に関するものである。
【背景技術】
【0002】
この部分に記述された内容は、単に本実施例に関する背景情報を提供するだけで、従来技術を構成するものではない。
【0003】
最近、無人店舗の数が増加するにつれて、決済無人化が必須的に求められている。決済無人化のために、店舗を利用するどの使用者がどの商品を購入しようとしているのかを把握することが重要である。
【0004】
どの使用者がどの商品を購入しようとしているのかを把握するために、特殊カメラ（例えば、LiDARまたはDepth camera）を使用して使用者及び商品を識別する場合、特殊カメラから得た結果の画像にのみ依存して把握の正確度が低くなる可能性があり、特殊カメラによって高いコストが要求され、経済的ではないという問題点があり得る。
【0005】
また、どの使用者がどの商品を購入しようとしているのかを把握するために、汎用カメラ（例えば、RGBカメラ）を使用して使用者および商品を識別する場合、カメラに対するコスト面では効率的であり得るが、結果に対する正確度が低く、一般カメラを使用した判断結果に対して、人が追加的にチェックしなければならない場合が生じることもあり得る。
【0006】
したがって、汎用カメラを使用しながら、どの使用者がどの商品を購入しようとしているのかを把握した結果に対する正確度を向上できる技術に対するニーズが存在した。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、無人店舗でどの使用者がどの商品を購入しようとしているのかを把握した結果に対する正確度を向上できる店舗の決済サービスを提供する電子装置および方法を提供することである。
【0008】
本発明の目的は、以上で言及した目的に限定されず、言及されていない本発明の他の目的および利点は、下記の説明によって理解され、本発明の実施例によってより明確に理解されるだろう。さらに、本発明の目的および利点は、特許請求の範囲に示される手段およびその組み合わせによって実現できることが容易に分かるだろう。
【課題を解決するための手段】
【0009】
本発明の実施例による店舗の決済サービスを提供する電子装置において、プロセッサ及び前記プロセッサに作動的に（operatively）連結されたメモリを含み、前記メモリは、実行されたときに前記プロセッサによって：前記店舗内の複数の画像センサから複数の画像データを受信し、前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置及び前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成し、前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内の前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成し、前記店舗に陳列されている複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または棚に追加されるトリガーが発生したトリガー時点、及び前記トリガーが発生した位置を含むトリガーデータを識別し、前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別し、前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、前記第１トラッキングデータに基づいて前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別し、前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別し、前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行するようにするインストラクション（instructions）を記憶する。
【0010】
また、前記インストラクションは、前記プロセッサが、前記トリガーに関連する前記棚に対する棚画像データで、前記トリガー時点での前記棚画像データを識別し、前記第１時間区間で、前記使用者候補群に関連する商品を検出画像データを識別し、前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする。
【0011】
また、前記インストラクションは、前記プロセッサが、第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、前記第１使用者を識別し、前記第１使用者識別方式は、前記第１トラッキングデータに基づいて、前記トリガーに関連する前記棚に接近したかどうかを基準にして前記使用者候補群を識別し、前記第２使用者識別方式は、前記第１トラッキングデータで前記複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別する。
【0012】
また、前記インストラクションは、前記プロセッサが、前記棚の上に前記第１商品が陳列される第１プレートに連結された第１重量センサと、第２商品が陳列される第２プレートに連結された第２重量センサのうち、前記第１重量センサによって検出された重量変化をさらに含む前記トリガーデータを識別し、前記トリガーが発生した前記位置である第１重量センサの位置、及び前記第１プレートに対する画像を含む棚画像データのうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする。
【0013】
また、前記インストラクションは、前記プロセッサが、前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化と、前記複数の画像データに基づく第２相互作用情報のうち少なくとも１つをさらに含む前記トリガーデータを識別し、前記第１使用者識別方式が使用される場合、前記第１トラッキングデータおよび前記トリガーデータを基に、前記使用者候補群を識別し、前記第２使用者識別方式が使用される場合、前記少なくとも１人の使用者のそれぞれが手に取っている前記複数の商品のうち少なくとも１つの種類及び個数を識別した結果と、前記複数の商品のうち少なくとも１つの種類及び前記個数が変化したかどうかを含む前記第１相互作用情報に基づいて、前記使用者候補群を識別するようにする。
【0014】
また、前記棚画像データは、第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとを含み、前記インストラクションは、前記プロセッサが、第１商品識別方式および第２商品識別方式のうち少なくとも1つを使用して、前記第１商品を識別し、前記第１商品識別方式は、前記重量センサによって検出された前記重量変化、および前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化位置を推定し、前記商品変化位置及び前記重量変化に基づいて、前記第１商品及び第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、前記第２商品識別方式は、前記商品検出画像データに基づいて前記使用者候補群のそれぞれが手に取っている商品の種類および個数を識別した結果と、前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、前記商品変化の有無に基づいて、前記第１商品及び前記第２商品のそれぞれに対する前記第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別する。
【0015】
また、前記インストラクションは、前記プロセッサが、前記複数の画像データに基づいて、前記棚と前記少なくとも１人の使用者のうち前記少なくとも一部と相互作用が発生した場合、前記相互作用の時点、前記相互作用が発生した位置及び前記相互作用の主体である前記第１使用者に対する情報を含む第３相互作用情報を識別し、前記第３相互作用情報をさらに含むトリガーデータを識別し、前記第１使用者識別方式が使用される場合、前記トリガーデータの前記第３相互作用情報に基づいて前記使用者候補群を識別し、前記第２使用者識別方式が使用される場合、前記第３相互作用情報に基づいて、前記第１トラッキングデータで前記第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする。
【0016】
また、前記インストラクションは、前記プロセッサが、第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、前記第１商品識別方式は、第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとの比較結果に基づいて、商品変化の位置を推定し、前記商品変化の位置に対応する第３棚画像データおよび前記トリガーが発生した時点に基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別し、前記第２商品識別方式は、前記商品検出画像データに基づいて前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果、及び前記比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定し、前記商品変化の有無に基づいて、前記第１商品及び前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする。
【0017】
また、前記インストラクションは、前記プロセッサが、前記複数の画像センサから受信される棚画像データ、前記複数の画像センサから受信される前記少なくとも１人の使用者を含む使用者画像データ、及び前記棚に連結された重量センサから受信される重量データのうち少なくとも１つに基づいて、前記棚の上の前記複数の商品に変化があったか否かを判断し、前記判断を基に前記トリガーデータの有効性を判断するようにする。
本発明の実施例による店舗の決済サービスを提供する方法は、店舗内の複数の画像センサから複数の画像データを受信する段階、前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階、前記複数の２次元データポーズのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも一人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階、前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、およびトリガーが発生した位置を含むトリガーデータを識別する段階、前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階、前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階、前記第１トラッキングデータに基づいて、前記少なくとも1人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階、前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階、前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階、及び前記第１使用者の仮想カートに対して前記トリガーと関連したアップデートを実行する段階を含む。
本発明の実施例による店舗の決済サービスを提供する方法は、店舗内の複数の画像センサから複数の画像データを受信する段階、前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階、前記複数の２次元データポーズのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて、前記少なくとも一人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階、前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、およびトリガーが発生した位置を含むトリガーデータを識別する段階、前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階、前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階、前記第１トラッキングデータに基づいて、前記少なくとも1人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階、前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階、前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階、及び前記第１使用者の仮想カートに対して前記トリガーと関連したアップデートを実行する段階を含む。
【発明の効果】
【0018】
本発明の店舗の決済サービスを提供する電子装置及び方法は、店舗内で使用者に対応する３次元ポーズデータをトラッキングした結果とトリガーが発生した時点を基に購入行為の使用者及び商品を識別し、使用者及び使用者が購入しようとする商品を識別した結果に対する正確度を向上させ、決済エラーの可能性を減らすことができる。
【0019】
本発明の店舗の決済サービスを提供する電子装置及び方法は、店舗内で使用者に対応する３次元ポーズデータをトラッキングした結果、トリガーが発生した時点及び重量センサから得たデータを基に購入行為の使用者及び商品を識別し、使用者及び使用者が購入しようとする商品を識別した結果に対する正確度を向上させ、決済エラーの可能性を減らすことができる。
【0020】
上述した内容に加えて、本発明の具体的な効果については、以下の発明を実施するための具体的な事項を説明しながら一緒に説明する。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
本明細書および特許請求の範囲で使用される用語や単語は、一般的または辞書的な意味に限定されて解釈されてはならない。発明者が彼自身の発明を最良の方法で説明するために用語や単語の概念を定義することができるという原則に従って、本発明の技術的思想と符合する意味と概念として解釈されなければならない。また、本明細書に記載された実施例と図面に示される構成は、本発明が実現される一つの実施例に過ぎず、本発明の技術的思想を全て代弁するものではないので、本出願時点においてこれらを代替できる様々な均等物と変形及び応用可能な例があり得ることを理解しなければならない。
【0023】
本明細書および特許請求の範囲で使用される第１、第２、Ａ、Ｂなどの用語は、様々な構成要素を説明するために使用することができるが、前記構成要素は前記用語によって限定されてはならない。前記用語は、1つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱することなく、第１構成要素を第２構成要素と命名することができ、同様に第２構成要素も第１構成要素と命名することができる。「および／または」という用語は、複数の関連する記載された項目の組み合わせまたは複数の関連する記載された項目のいずれかを含む。
【0024】
本明細書および特許請求の範囲で使用される用語は、単に特定の実施例を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。本出願において「含む」または「有する」などの用語は、本明細書に記載されている特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されなけらばならない。
【0025】
他に定義されない限り、技術的または科学的用語を含めてここで使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。
【0026】
一般的に使用される辞書で定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されなければならず、本出願で明確に定義されていない限り、理想的または過度に形式的な意味として解釈されない。さらに、本発明の各実施例に含まれる各構成、過程、工程、または方法などは、技術的に相互間矛盾しない範囲内で共有することができる。
【0027】
【0028】
図１は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。
【0029】
図１を参照すると、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置（100）は、プロセッサ（110）およびメモリ（120）を含むことができる。
【0030】
店舗の決済サービスを提供する電子装置（100）には、１つ以上の他の構成要素（例えば、通信モジュール）を追加することができる。いくつかの実施例では、これらの構成要素の一部は1つの統合された回路で実装することができる。
【0031】
店舗の決済サービスを提供する電子装置（100）は、センサモジュール（200）と通信することができる。センサモジュール（200）は店舗内に設置することができる。センサモジュール（200）は、少なくとも１つの種類のセンサを含むことができる。例えば、センサモジュール（200）は、店舗内に設置された、少なくとも１つの画像センサと少なくとも１つの重量センサとを含むことができる。
【0032】
メモリ（120）は、店舗の決済サービスを提供する電子装置（100）の少なくとも１つの構成要素（例えば、プロセッサ（110））によって使用される様々なデータを記憶することができる。データは、例えば、ソフトウェアおよびそれに関連する命令に対する入力データまたは出力データを含むことができる。メモリ（120）は、揮発性メモリまたは不揮発性メモリを含むことができる。
【0033】
メモリ（120）は、店舗の決済サービスを提供する電子装置（100）に含まれる構成要素の動作に関連する命令、情報、またはデータを記憶することができる。例えば、メモリ（120）は、実行時に、プロセッサ（110）が本文書に記載された多様な動作を実行できるようにするインストラクション（instructions）を記憶することができる。
【0034】
プロセッサ（110）は、店舗の決済サービスを提供する電子装置（100）の全般的な機能を実行するために、メモリ（120）と作動的に（operatively）連結される（coupled）ことが可能である。プロセッサ（110）は、例えば、１つ以上のプロセッサを含むことができる。１つ以上のプロセッサは、例えば、イメージシグナルプロセッサ（image signal processor、ISP）、アプリケーションプロセッサ（application processor、AP）、または通信プロセッサ（communication processor、CP）を含むことができる。
【0035】
プロセッサ（110）は、例えば、ソフトウェア（例えば、プログラム）を実行してプロセッサ（110）に連結された店舗の決済サービスを提供する電子装置（100）の少なくとも１つの他の構成要素（例えば、ハードウェアまたはソフトウェアの構成要素）を制御することができ、様々なデータ処理または演算を行うことができる。一実施例によれば、データ処理または演算の少なくとも一部として、プロセッサ（110）は他の構成要素（例えば、センサモジュール（200）または通信モジュール）から受信した命令またはデータをメモリ（120）にロードし、メモリ（120）に記憶された命令またはデータを処理し、結果データをメモリ（120）に記憶することができる。プログラムをメモリ（120）にソフトウェアとして記憶することができる。
【0036】
プロセッサ（110）は、データ収集モジュール（111）、使用者追跡モジュール（113）、トリガー生成モジュール（115）、最終決定モジュール（117）、およびアップデートモジュール（119）を含むことができる。これらの構成要素の一部は、一つの統合された回路で実装することができる。さらに、プロセッサ（110）に含まれるモジュールのうちいずれか1つ（例えば、データ収集モジュール（111））は、別途の回路（例えば、通信モジュール）で実装されるか、または他の回路（例えば、通信モジュール）に含まれることも可能である。
【0037】
以下、図２乃至図６ｂを参照して、プロセッサ（110）に含まれるモジュールの動作について具体的に説明する。図２は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置の動作を説明するためのフローチャートである。図３は、図２の動作S103および動作S105を説明するためのフローチャートである。図４ａおよび図４ｂは、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置の動作を説明するための図面である。図５は、図２の動作S109を説明するためのフローチャートである。図６ａ及び図６ｂは、図２の動作S111及び動作S113を説明するためのフローチャートである。
【0038】
図１及び図２を参照すると、プロセッサ（110）（例えば、データ収集モジュール（111））は、複数の画像センサから複数の画像データを受信することができる（S101）。
センサモジュール（200）は、 複数の画像センサを含むことができる。複数の画像センサのそれぞれは、店舗内で互いに異なる方向および／または互いに異なる角度で設置されたものであり得る。また、複数の画像センサのそれぞれは、店舗内で互いに異なる一定領域を互いに異なる方向および／または互いに異なる角度で撮影した複数の画像データを生成することができる。
センサモジュール（200）は、 複数の画像センサを含むことができる。複数の画像センサのそれぞれは、店舗内で互いに異なる方向および／または互いに異なる角度で設置されたものであり得る。また、複数の画像センサのそれぞれは、店舗内で互いに異なる一定領域を互いに異なる方向および／または互いに異なる角度で撮影した複数の画像データを生成することができる。
【0039】
複数の画像センサから受信される複数の画像データは、店舗内にいる少なくとも１人の使用者を含むことができる。場合によっては、複数の画像データは、少なくとも１人の使用者だけでなく、店舗内の棚および棚に陳列されている複数の商品を含むことができる。
プロセッサ（110）（例えば、使用者追跡モジュール（113））は、複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、３次元ポーズデータを生成することができる（S103）。プロセッサ（110）（例えば、使用者追跡モジュール（113））は、３次元ポーズデータをトラッキングするトラッキングデータを生成することができる（S105）。
プロセッサ（110）（例えば、使用者追跡モジュール（113））は、複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、３次元ポーズデータを生成することができる（S103）。プロセッサ（110）（例えば、使用者追跡モジュール（113））は、３次元ポーズデータをトラッキングするトラッキングデータを生成することができる（S105）。
【0040】
図１、図２、および図３を参照すると、プロセッサ（110）（例えば、使用者追跡モジュール（113））は、３次元ポーズデータを生成し（S103）、トラッキングデータを生成する（S105）ために、まず複数の２次元ポーズデータを生成することができる（S201）。
【0041】
プロセッサ（110）は、複数の画像データのそれぞれに対して少なくとも１人の使用者を識別することができる。例えば、プロセッサ（110）は、店舗内の少なくとも１人の使用者として、第１使用者、第２使用者、および第３使用者を識別することができる。
【0042】
プロセッサ（110）は、少なくとも１人の使用者のそれぞれの関節位置および少なくとも１人の使用者のそれぞれの姿勢を推定した複数の２次元ポーズデータを生成することができる。例えば、プロセッサ（110）は、複数の画像データのそれぞれに対して、それぞれに含まれる少なくとも１人の使用者のそれぞれの関節位置および姿勢を推定し、複数の画像データのそれぞれに対応する複数の２次元ポーズデータを生成することができる。
【0043】
例えば、プロセッサ（110）は、複数の画像データのうち、第１画像データに含まれる第１使用者、第２使用者、および第３使用者のそれぞれの関節位置および姿勢を推定した２次元の第１ポーズデータを生成することができる。また、プロセッサ（110）は、複数の画像データのうち、第２画像データに含まれる第１使用者乃至第３使用者のそれぞれの関節位置及び姿勢を推定した２次元の第２ポーズデータを生成することができる。複数の２次元ポーズデータは、２次元の第１ポーズデータと２次元の第２ポーズデータとを含むことができる。このような方式で、プロセッサ（110）は、複数の画像データのそれぞれに対応する複数の２次元ポーズデータを生成することができる。
【0044】
プロセッサ（110）（例えば、使用者追跡モジュール（113））は、複数の２次元ポーズデータに基づいて少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成することができる（S203）。
【0045】
プロセッサ（110）は、複数の２次元ポーズデータのそれぞれを結合し、少なくとも１人の使用者のそれぞれに対してマッチングされる３次元ポーズデータを生成することができる。３次元ポーズデータは、少なくとも１人の使用者のそれぞれに対して生成することができる。
【0046】
例えば、プロセッサ（110）は、２次元の第１ポーズデータ及び２次元の第２ポーズデータのそれぞれで識別された第１使用者の関節位置と姿勢推定結果とを結合し、第１使用者に対する３次元ポーズデータを生成することができる。また、プロセッサ（110）は、２次元の第１ポーズデータ及び２次元の第２ポーズデータのそれぞれで識別された第２使用者の関節位置と姿勢推定結果とを結合し、第２使用者に対する３次元ポーズデータを生成することができる。また、プロセッサ（110）は、２次元の第１ポーズデータ及び２次元の第２ポーズデータのそれぞれで識別された第３使用者の関節位置と姿勢推定結果とを結合し、第３使用者に対する３次元ポーズデータを生成することができる。
【0047】
プロセッサ（110）（例えば、使用者追跡モジュール（113））は、３次元ポーズデータをトラッキングするトラッキングデータを生成することができる（S205）。３次元ポーズデータを生成し（S203）、３次元ポーズデータをトラッキングすること（S205）を同時に行うことができる。すなわち、プロセッサ（110）は、３次元ポーズデータを生成して、３次元ポーズデータをトラッキングするトラッキングデータを生成することができる。
【0048】
プロセッサ（110）は、店舗内で少なくとも１人の使用者のそれぞれの動きに応じて、少なくとも１人の使用者のそれぞれに対して生成された３次元ポーズデータをトラッキング（tracking）するトラッキングデータを生成することができる。
【0049】
図４ａおよび図４ｂを参照すると、トラッキングデータは、店舗内で第１使用者の３次元ポーズデータ（311）、第２使用者の３次元ポーズデータ（312）、および第３使用者の３次元ポーズデータ（313）を時間の流れに沿ってトラッキングした結果を含むことができる。プロセッサ（110）は、同じ時間に、多様な角度および方向から得られた画像データをセンサモジュール（200）から受信することができ、前記画像データは３次元ポーズデータを含むことができる。
【0050】
プロセッサ（110）は、少なくとも１人の使用者のそれぞれに対する３次元ポーズデータに対してアイディーを設定することができる。例えば、トラッキングデータでは、第１使用者は第１アイディー（321）で識別し、第２使用者は第２アイディー（322）で識別し、第３使用者は第３アイディー（323）で識別することができる。プロセッサ（110）は、少なくとも１人の使用者のそれぞれに対するアイディーおよびアイディーに関連する３次元ポーズデータを、時間の流れに沿って店舗内でトラッキングしてトラッキングデータを生成することができる。
【0051】
トラッキングデータは、店舗内で３次元ポーズデータの動きに関する情報と、時間情報とを含むことができる。例えば、トラッキングデータは、第１使用者の３次元ポーズデータ（311）を時間の流れに沿って店舗内でトラッキングした結果を含み、プロセッサ（110）は、トラッキングデータに基づいて特定の時点（例えば、トリガー時点）で第１使用者が棚（300）に対してどのような姿勢を取ったか、または特定の時点（例えば、トリガー時点）で第１使用者の姿勢に基づいて第１使用者が商品を持っているかどうかなどを識別することができる。
【0052】
【0053】
トリガーは、例えば、店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または棚に追加されるイベントであり得る。
【0054】
図４ａを参照すると、第１使用者が第１商品（331）を棚（300）に陳列された第１商品グループ（301）から取り上げ、第１商品（331）が棚（300）から取り外されたことは、トリガーと言える。プロセッサ（110）は、トリガーが発生したことを基に、トリガーが発生した時点およびトリガーが発生した位置を含むトリガーデータを識別することができる。
【0055】
トリガーは、例えば、センサモジュール（200）によって識別することができる。例えば、プロセッサ（110）は、センサモジュール（200）の画像センサから得られた画像データに基づいて、どの使用者がどの商品を取り上げたというトリガーが発生したことを識別することができる。例えば、プロセッサ（110）は、センサモジュール（200）の重量センサから得られた重量変化に基づいて、どの使用者がどの商品を取り上げたというトリガーが発生したことを識別することができる。
【0056】
いくつかの実施例では、プロセッサ（110）は、トリガーデータに対する有効性を判断することができる。プロセッサ（110）は、複数の画像センサから受信される棚画像データ、複数の画像センサから受信される少なくとも１人の使用者を含む使用者画像データ、および棚に連結された重量センサから受信される重量データのうち少なくとも１つに基づいて、棚の上の複数の商品に変化があったか否かを判断することができる。プロセッサ（110）は、判定結果を基に、トリガーデータの有効性を判定することができる。例えば、プロセッサ（110）は、ある使用者が棚に陳列されている商品に触れて、重量センサに変化が検出されたが、棚に追加されたり、棚から取り外されたりせず、実質的なトリガーが発生しなかった場合、トリガーデータを無効と判断することができる。
【0057】
図１および図２を参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガーデータに基づいて、第１商品を識別することができる（S109）。
プロセッサ（110）は、トリガー時点およびトリガーが発生した位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
プロセッサ（110）は、トリガー時点およびトリガーが発生した位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
【0058】
図５を参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガー時点での棚画像データ、商品検出画像データ、およびトリガーが発生した位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品の少なくともいずれか1つが第１商品を含むことを識別することができる（S301、S302、S303）。
【0059】
例えば、プロセッサ（110）は、トリガーに関連する商品を識別するために、トリガー時点での棚画像データに対する画像処理を使用して、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。プロセッサ（110）は、棚画像データに基づいて商品を識別しようとする場合、まず棚画像データを識別することができる（S301）。
【0060】
棚画像データは、店舗に設置された複数の棚のうちトリガーに関連する棚に対する画像データであり、トリガー時点での棚画像データであり得る。例えば、図４ａのように、第１使用者が第１商品（331）を棚（300）から取り上げたトリガーが発生した時点で撮影された棚（300）に対する棚画像データをセンサモジュール（200）から生成することができる。プロセッサ（110）は、トリガーに関連し、トリガー時点での棚画像データをセンサモジュール（200）から受信することができる。
【0061】
プロセッサ（110）は、例えば、前記棚画像データに対して画像処理方法（例えば、オブジェクト検出（Object detection）、画像セグメンテーション（segmentation）、および画像分類（classification）のうち少なくとも１つ）を使用して、ある使用者が第１商品（331）を棚（300）から取り上げたり、棚（300）に戻したりすることを識別することができる。
【0062】
別の例として、プロセッサ（110）は、商品検出画像データに基づいて、複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。商品検出画像データは、例えば、使用者候補群に関連するものであり得る。プロセッサ（110）は、後述する第１トラッキングデータに基づいて少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別することができる。プロセッサ（110）は、商品検出画像データに基づいて、使用者候補群のそれぞれが手に取っている商品の種類および個数を識別した結果に基づいて、商品変化の有無を推定することができる。プロセッサ（110）は、商品変化の有無に基づいて、商品に対する信頼度を計算し、計算された信頼度に基づいて複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。プロセッサ（110）は、商品変化の有無を推定するために、後述する第１棚画像データと第２棚画像データとの比較結果に基づいて判断することができる。
【0063】
別の例として、プロセッサ（110）は、トリガーが発生した位置に基づいて位置に対応する棚に陳列された商品を識別することによって、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。トリガーが発生した位置に基づいてトリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別する場合、プロセッサ（110）は、予め記憶された商品の陳列位置に対する情報を基に、トリガーが発生した位置に対応する棚の位置に陳列された商品を識別することによって、第１商品を識別することができる。
【0064】
別の例として、プロセッサ（110）は、棚画像データ、商品検出画像データ、およびトリガーが発生した位置の全てに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
【0065】
いくつかの実施例では、プロセッサ（110）は、棚画像データに基づいて商品が識別された結果に対する信頼度と、商品検出画像データに基づいて商品が識別された結果に対する信頼度と、トリガーが発生した位置に基づいて商品が識別された結果に対する信頼度とを計算することができる。プロセッサ（110）は、計算されたそれぞれの信頼度に基づいて、最も高い信頼度が計算された結果を基にトリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
【0066】
図１および図２を参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、第１トラッキングデータを識別することができる（S111）。プロセッサ（110）（例えば、最終決定モジュール（117））は、第１トラッキングデータに基づいて第１使用者を識別することができる（S113）。プロセッサ（110）が複数の商品のうち少なくともいずれか１つを識別する段階（S109、S301、S302、S303）と、第１使用者を識別する段階（S111、S113、S115）とは同時に実行することもでき、順次に実行することもできる。
【0067】
図１、図２、図４ａ、図４ｂ、図６ａ、および図６ｂを参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガー時点を含む第１時間区間に対応するトラッキングデータの第１トラッキングデータを識別することができる（S401）。
【0068】
第１トラッキングデータは、トラッキングデータの一部であり得る。第１トラッキングデータは、トリガー時点以前の一定時間とトリガー時点以降の一定時間とを含む第１時間区間でのトラッキングデータの一部であり得る。
【0069】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、第１使用者を識別することができる。プロセッサ（110）は、第１トラッキングデータに基づいて少なくとも１人の使用者のうち少なくとも一部を使用者候補群として識別することができる。
【0070】
例えば、プロセッサ（110）は、第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、少なくとも１人の使用者（例えば、第１使用者、第２使用者、および第３使用者）のうちの第１使用者及び第２使用者を使用者候補群として識別することができる。
【0071】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１使用者識別方式を使用する場合、第１トラッキングデータに基づいて、トリガーに関連する棚（300）に接近したかどうかを基準にして使用者候補群を識別することができる（S403）。トリガーに関連する棚（300）は、店舗に設置された複数の棚のうちトリガーが発生した位置に対応する棚であり得る。プロセッサ（110）は、棚（300）から一定距離ほど離れた領域まで境界（340）を設定し、第１トラッキングデータで境界（340）内に位置する少なくとも一部の使用者（例えば、第１使用者および第２使用者）を識別して使用者候補群として決定することができる。別の例として、プロセッサ（110）は、第１トラッキングデータで、棚（300）に手を伸ばした使用者を識別して、使用者候補群を決定することができる。
【0072】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第２使用者識別方式を使用する場合、まず第１トラッキングデータで複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別することができる（S405）。複数の商品のうち少なくとも１つは、商品に対する識別が優先して行われる場合、第１商品であり得る。または、複数の商品のうち少なくとも１つは、商品に対する識別が行われる前の場合、複数の商品のうち、ある使用者と相互作用が発生した商品をすべて含むことができる。プロセッサ（110）は、第１トラッキングデータで複数の商品のうち少なくとも１つを棚（300）から取り上げたり、棚（300）に戻したりする相互作用が発生したことを識別し、第１相互作用情報を生成することができる。
【0073】
第１相互作用情報は、例えば、複数の商品のうち少なくとも１つと相互作用した使用者に対する情報、相互作用の時点、および相互作用の位置のうち少なくとも１つを含むことができる。第１相互作用情報は、例えば、少なくとも１人の使用者のそれぞれが手に取っている複数の商品のうち少なくとも１つの種類および個数を識別した結果を含むことができる。第１相互作用情報は、例えば、少なくとも１人の使用者のそれぞれが手に取っている複数の商品のうち少なくとも１つの種類および個数が変化したかどうかを含むことができる。
【0074】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１相互作用情報に基づいて、使用者候補群を識別することができる（S407）。プロセッサ（110）は、第１相互作用の情報を基に、第１トラッキングデータで少なくとも１人の使用者のそれぞれが手に取っている商品の種類および／または個数の変化を識別して、使用者候補群を識別することができる。例えば、プロセッサ（110）は、第１トラッキングデータで第１使用者が第１商品（331）を手に取っている情報（すなわち、第１相互作用の情報）に基づいて、第１使用者を使用者候補群に含めることができる。もし第２使用者も第１商品（331）と相互作用（例えば、第１商品（331）を取り上げるか、または再び棚（300）に戻す場合）があったら、プロセッサ（110）は第２使用者も第1使用者と共に使用者候補群に含めることができる。
【0075】
プロセッサ（110）（例えば、最終決定モジュール（117））は、使用者候補群を識別した後、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して第１信頼度を計算することができる（S409）。例えば、使用者候補群に第１使用者と第２使用者とが含まれる場合、プロセッサ（110）は、第１使用者が第１商品（331）のトリガーに関連する使用者である確率に対する信頼度を計算し、第２使用者が第１商品（331）のトリガーに関連する使用者である確率に対する信頼度を計算することができる。第１信頼度は、第１使用者が第１商品（331）のトリガーに関連する使用者である確率に対する信頼度、および第２使用者が第１商品（331）のトリガーに関連する使用者である確率に対する信頼度を含むことができる。
【0076】
信頼度は、例えば、第１トラッキングデータのフレームごとに、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して計算することができる。例えば、特定フレームに対する信頼度は、トリガー時点に該当する第１トラッキングデータのフレームと特定フレームがどれだけ近いか、使用者候補群に含まれる使用者間の距離、及び使用者候補群の使用者それぞれと第１商品（331）の間の距離のうち少なくとも１つに基づいて計算することができる。例えば、図４ｂでは、第１使用者に対する信頼度は第２使用者に対する信頼度よりも高く計算することができる。
【0077】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１信頼度に基づいて、トリガーに関連する使用者が第１使用者であることを識別することができる（S411）。例えば、プロセッサ（110）は、図４ｂで第１使用者に対する信頼度が第２使用者に対する信頼度よりも高く計算されたことに基づいて、第１使用者がトリガーに関連する使用者であることを識別することができる。言い換えれば、プロセッサ（110）は、第１使用者が第１商品（331）を棚（300）から取り上げた使用者であることを識別することができる。
【0078】
図１および図２を参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、第１使用者の仮想カートに対してトリガーに関連するアップデートを実行することができる（S115）。プロセッサ（110）は、トリガーが発生したことが第１使用者および第１商品と関連があると決定されたことに基づいて、第１使用者の仮想カートをアップデートすることができる。例えば、プロセッサ（110）は、トリガーが第１商品が棚から取り外されたことである場合、第１使用者の仮想カートに第１商品を追加するアップデートを実行することができる。例えば、プロセッサ（110）は、トリガーが第１商品が棚に追加されたことである場合、第１使用者の仮想カートから第１商品を削除するアップデートを実行することができる。
【0079】
【0080】
図７は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。図８は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。図９は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するためのフローチャートである。
【0081】
図７、図８、及び図９を参照すると、店舗の決済サービスを提供する電子装置（図１の100）のプロセッサ（110）は、センサモジュール（200）の画像センサ（210）及び重量センサ（220）のそれぞれからデータを受信することができる。画像センサ（210）および重量センサ（220）は店舗内に設置されたものであり得る。画像センサ（210）は、店舗内の棚（300）を含む複数の棚を様々な角度および方向から撮影した画像データを生成することができる。重量センサ（220）は棚（300）のプレートに連結され、プレートの重量変化を検出することができる。重量センサ（220）は、例えば、第１重量センサ（1011）および第２重量センサ（1012）を含むことができる。
【0082】
例えば、店舗内の棚（300）は、第１プレート（1001）および第２プレート（1002）を含むことができる。第１プレート（1001）および第２プレート（1002）のそれぞれに複数の商品を陳列することができる。第１プレート（1001）は第１重量センサ（1011）に連結し、第２プレート（1002）は第２重量センサ（1012）に連結することができる。図面では、１つのプレートに１つの重量センサを連結しているように示しているが、これに限定されない。例えば、１つのプレートに複数個の重量センサを連結することができる。
【0083】
店舗内の棚のどのプレートにどの商品が陳列されたかに対する情報は、予め記憶されていることが可能である。例えば、第１プレート（1001）に第１商品が陳列され、第２プレート（1002）に第２商品が陳列されたという情報は、予め記憶されている情報であり得る。
【0084】
プロセッサ（110）（例えば、データ収集モジュール（111））は、画像センサ（210）から第１プレート（1001）に対する画像を含む棚画像データを受信することができる。プロセッサ（110）は、画像センサ（210）から他のプレートに対する画像を含む棚画像データを受信することができるのはもちろんである。棚画像データは、重量変化が検出された第１重量センサ（1011）が位置する棚（300）に対する画像データであり得る。
【0085】
プロセッサ（110）（例えば、トリガー生成モジュール（115））は、第１重量センサ（1011）によって検出された第１プレート（1001）の重量変化情報を重量センサ（220）から受信し、重量変化情報をトリガーデータにさらに含めることができる（S501）。例えば、図２を参照して説明したトリガーデータ（S107）は、重量変化情報をさらに含むことができる。例えば、トリガーデータは、トリガーが発生した時点、トリガーが発生した位置、および第１プレート（1001）の重量が変化したという重量変化情報を含むことができる。
【0086】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１プレートに対する画像を含む棚画像データおよび第１重量センサの位置（すなわち、トリガーが発生した位置）のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか1つが第１商品を含むことを識別することができる（S503）。例えば、図５を参照して説明した棚画像データ（S301）は、第１重量センサの位置に基づいてトリガーに関連する棚を識別することによって取得することができる。
【0087】
例えば、プロセッサ（110）は、重量変化が発生した第１重量センサの位置（すなわち、トリガーが発生した位置）を基に、トリガーに関連する商品が第１商品であることを識別することができる。プロセッサ（110）は、トリガーデータに含まれる重量変化情報を基に、第１プレート（1001）に重量変化が検出されたことを識別し、第１プレート（1001）に第１商品が陳列されたという予め記憶された情報に基づいて、トリガーに関連する商品が第１商品であることを識別することができる。
【0088】
別の例として、プロセッサ（110）は、トリガーデータの重量変化情報に基づいて、トリガーが発生した位置が第１プレート（1001）であることが識別されたことを基に、トリガー時点での第１プレート（1001）に対する画像を含む棚画像データに対する画像処理を使用して、トリガーに関連する複数の商品のうち少なくともいずれか1つが第１商品を含むことを識別することができる。
【0089】
もし第１商品が第１プレート（1001）ではなく第２プレート（1002）に誤って陳列されている場合、使用者が第２プレート（1002）から第１商品を取り上げると、重量変化情報に基づいてプロセッサ（110）は、トリガーに関連する複数の商品のうち少なくともいずれか1つで第１商品ではなく第２商品を識別することができる。この場合、棚画像データにさらに基づいて商品を識別すると、プロセッサ（110）によって識別される商品に対する信頼性を向上させることができる。
【0090】
プロセッサ（110）（例えば、最終決定モジュール（117））は、図２の動作S111および動作S113を参照して説明したように、トリガーに関連する使用者を識別することができる。
【0091】
【0092】
図１０は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。図１１は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。図１２、図１３ａ、及び図１３ｂは、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するためのフローチャートである。
【0093】
図１０および図１１を参照すると、店舗の決済サービスを提供する電子装置（図１の100）のプロセッサ（110）は、センサモジュール（200）の画像センサ（210）および重量センサ（220）のそれぞれからデータを受信することができる。プロセッサ（110）（例えば、トリガー生成モジュール（115））は、トリガーデータの生成時に画像センサ（210）から得たデータをさらに使用することができる。
【0094】
例えば、店舗内の棚（300）は、第１プレート（1001）および第２プレート（1002）を含むことができる。第１プレート（1001）および第２プレート（1002）のそれぞれに複数の商品を陳列することができる。第１プレート（1001）および第２プレート（1002）は、第１重量センサ（1011）と連結することができる。
【0095】
プロセッサ（110）（例えば、データ収集モジュール（111））は、画像センサ（210）から第１棚画像データと第２棚画像データとを含む棚画像データを受信することができる。棚画像データは、重量変化が検出された第１重量センサ（1011）の位置に関連する棚（300）に対する画像データであり得る。
【0096】
図１０、図１１、および図１２を参照すると、プロセッサ（110）（例えば、データ収集モジュール（111）およびトリガー生成モジュール（115））は、トリガーに関連する使用者を識別するために、まず第１重量センサ（1011）から受信される重量変化、および画像センサ（210）から受信される複数の画像データから識別された第２相互作用情報のうち少なくとも１つをさらに含むトリガーデータを識別することができる（S601）。
【0097】
プロセッサ（110）は、第１重量センサ（1011）から重量変化を受信することによって、重量変化の時点、重量が変化した位置、および重量変化による商品の追加または削除のうち少なくとも１つをトリガーデータに含めることができる。
【0098】
プロセッサ（110）は、棚画像データから、棚に商品が置かれるか、または棚から商品が削除される第２相互作用が発生したことを識別することができる。プロセッサ（110）は、第２相互作用が発生した時点、第２相互作用が発生した位置、および第２相互作用の主体である使用者に対する情報を含む第２相互作用情報を識別することができる。
【0099】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１トラッキングデータおよびトリガーデータを基に、使用者候補群を識別することができる（S603）。プロセッサ（110）は、第１トラッキングデータで第２相互作用が発生した位置および／または第２相互作用の主体である使用者を識別することによって、識別された使用者を使用者候補群に含めることができる。例えば、プロセッサ（110）は、第１トラッキングデータで、重量変化の位置または第２相互作用が発生した位置を識別し、前記位置に手が近接した少なくとも１人の使用者を識別して使用者候補群に含めることができる。
【0100】
プロセッサ（110）は、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して第１信頼度を計算し（S409）、第１信頼度に基づいてトリガーに関連する使用者が第１使用者であることを識別することができる（S411）。
【0101】
図１０、図１１、および図１３ａを参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガーに関連する商品を識別するために、まず重量センサによって検出された重量変化（すなわち、トリガーが発生した位置）、及びトリガー時点を基準にして得た第１棚画像データと第２棚画像データとの比較結果のうち少なくとも1つに基づいて、商品変化の位置を推定することができる（S701）。
【0102】
棚画像データは、第２時間区間の開始時点での第１棚画像データと、第２時間区間の終了時点での第２棚画像とを含むことができる。第２時間区間は、第１時間区間とは異なる時間区間であり得る。しかし、これに限定されるものではなく、必要に応じて第１時間区間と第２時間区間は同一の時間区間を指すこともできる。
【0103】
例えば、プロセッサ（110）は、第１重量センサ（1011）から受信した重量変化データに基づいて、第１重量センサ（1011）に連結された棚（300）を識別することができる。例えば、プロセッサ（110）は、複数個の重量センサのそれぞれに対する位置および重量変化データに基づいて、実際に重量変化が発生した位置を計算することができる。複数の重量センサは、店舗内に位置する複数の重量センサであり得る。例えば、複数の重量センサは、同じ棚（例えば、棚（300））内に設置されたものであり得る。
【0104】
また、プロセッサ（110）は、トリガー発生前である第１棚画像データとトリガー発生後である第２棚画像データとを比較して、棚（300）での商品の変化を識別することにより、商品が変化した商品変化位置を識別することができる。
【0105】
プロセッサ（110）（例えば、最終決定モジュール（117））は、商品変化の位置および重量変化に基づいて、第１商品および第２商品のそれぞれに対する第２信頼度を計算することができる（S703）。
【0106】
例えば、プロセッサ（110）は、重量変化および商品変化の位置に基づいて、棚（300）に陳列された第１商品および第２商品を商品候補群として識別することができる。プロセッサ（110）は、第１商品に対する信頼度を計算し、第２商品に対する信頼度を計算することができる。第２信頼度は、第１商品に対する信頼度および第２商品に対する信頼度を含むことができる。
【0107】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第２信頼度に基づいて、複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる（S705）。例えば、プロセッサ（110）は、第１商品に対する信頼度が第２商品に対する信頼度より高いことに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
【0108】
図１０、図１１、および図１３ｂを参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガーに関連する商品を識別するために、まず商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、第１棚画像データと第２棚画像データとの比較結果のうち少なくとも1つに基づいて、商品変化の有無を推定することができる（S702）。
【0109】
プロセッサ（110）は、商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類および個数を識別することができる。また、プロセッサ（110）は、商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類及び個数の変化有無を識別することができる。
【0110】
プロセッサ（110）（例えば、最終決定モジュール（117））は、商品変化の有無に基づいて、第１商品および第２商品のそれぞれに対する第２信頼度を計算することができる（S704）。
【0111】
【0112】
図１４は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するための図面である。図１５および図１６は、本発明のいくつかの実施例による店舗の決済サービスを提供する電子装置を説明するためのフローチャートである。
【0113】
【0114】
プロセッサ（110）（例えば、データ収集モジュール（111）およびトリガー生成モジュール（115））は、画像センサ（210）から受信される複数の画像データに基づいて、第３相互作用情報を識別し、第３相互作用情報をトリガーデータに含めることができる（S801）。例えば、プロセッサ（110）は、複数の画像データに基づいて、棚と少なくとも１人の使用者（例えば、第１乃至第３使用者）のうち少なくとも一部（例えば、第１使用者）と相互作用が発生したことを識別することができる。プロセッサ（110）は、相互作用が発生した時点、相互作用が発生した位置、および相互作用の主体である第１使用者に対する情報を含む第３相互作用情報を識別し、第３相互作用情報をトリガーデータにさらに含めることができる。
【0115】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第１使用者識別方式を使用する場合、トリガーデータの第３相互作用情報に基づいて使用者候補群を識別することができる（S803）。第３相互作用情報には既に相互作用の主体である第１使用者に対する情報が含まれているので、プロセッサ（110）は第１使用者を含む使用者候補群を識別することができる。
【0116】
プロセッサ（110）（例えば、最終決定モジュール（117））は、第２使用者識別方式を使用する場合、まずトリガーデータの第３相互作用情報に基づいて、第１トラッキングデータで第１相互作用情報を識別することができる（S805）。第３相互作用情報には既に相互作用に関連する情報が含まれているので、プロセッサ（110）は第２使用者識別方式で使用される第１相互作用情報（第１商品と相互作用した使用者に対する情報、相互作用の時点、および相互作用位置のうち少なくとも１つを含む情報）をトリガーデータに基づいて識別することができる。
【0117】
プロセッサ（110）は、第１相互作用情報に基づいて使用者候補群を識別することができる（S407）。
【0118】
プロセッサ（110）は、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して第１信頼度を計算し（S409）、第１信頼度に基づいてトリガーに関連する使用者が第１使用者であることを識別することができる（S411）。
【0119】
図１４および図１６を参照すると、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガー時点を基準にして得た第１棚画像データと第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化位置を推定することができる（S901）。
【0120】
プロセッサ（110）（例えば、最終決定モジュール（117））は、商品変化の位置に対応する第３棚画像データおよびトリガーが発生した時点に基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１ 商品を含むことを識別することができる（S903）。例えば、プロセッサ（110）は、第３棚画像データに対する画像処理を使用して、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。または、例えば、プロセッサ（110）は、トリガーが発生した時点に関連する第１トラッキングデータで、使用者が手に取っている商品の変化を識別することによって、トリガーに関連する複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別することができる。
【0121】
図１３ｂおよび図１４を参照すると、別の例では、プロセッサ（110）（例えば、最終決定モジュール（117））は、トリガーに関連する商品を識別するために、まず商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類と個数を特定した結果と、第１棚画像データと第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定することができる（S702）。
【0122】
プロセッサ（110）は、商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類および個数を識別することができる。また、プロセッサ（110）は、商品検出画像を基に、使用者候補群のそれぞれが手に取っている商品の種類及び個数の変化有無を識別することができる。
【0123】
プロセッサ（110）（例えば、最終決定モジュール（117））は、商品変化の有無に基づいて、第１商品および第２商品のそれぞれに対する第２信頼度を計算することができる（S704）。
【0124】
以下、図１７を参照して、本発明の実施例による店舗の決済サービスを提供する方法について説明する。説明を明確にするために前述したものと重複することは省略する。
図１７は、本発明のいくつかの実施例による店舗の決済サービスを提供する方法を説明するためのフローチャートである。
図１７は、本発明のいくつかの実施例による店舗の決済サービスを提供する方法を説明するためのフローチャートである。
【0125】
以下では、図１の店舗の決済サービスを提供する電子装置（100）が図１７のプロセスを実行することを想定する。店舗の決済サービスを提供する電子装置（100）によって実行されることと記述された動作は、前記店舗の決済サービスを提供する電子装置（100）のプロセッサ（110）によって遂行（または、実行）できるインストラクション（コマンド）で実装することができる。前記インストラクションは、例えば、コンピュータ記録媒体または図１の店舗の決済サービスを提供する電子装置（100）のメモリ（120）に記憶することができる。
【0126】
図１７を参照すると、店舗の決済サービスを提供する方法は、店舗内の複数の画像センサから様々な角度および方向に対する複数の画像データを受信する段階（S1001）を含むことができる。
【0127】
店舗の決済サービスを提供する方法は、複数の画像データのそれぞれに対して、複数の２次元ポーズデータを生成する段階（S1003）を含むことができる。
店舗の決済サービスを提供する方法は、複数の２次元ポーズデータのそれぞれを結合して、少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成する段階（S1005）を含むことができる。
店舗の決済サービスを提供する方法は、複数の２次元ポーズデータのそれぞれを結合して、少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成する段階（S1005）を含むことができる。
【0128】
店舗の決済サービスを提供する方法は、店舗内の少なくとも１人の使用者のそれぞれの動きに応じて、少なくとも１人の使用者のそれぞれに対する３次元ポーズデータをトラッキングするトラッキングデータを生成する段階（S1007）を含むことができる。
店舗の決済サービスを提供する方法は、トリガーが発生したトリガー時点、およびトリガーが発生した位置を含むトリガーデータを識別する段階（S1009）を含むことができる。
店舗の決済サービスを提供する方法は、トリガー時点およびトリガーが発生した前記位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つを識別する段階（S1011）を含むことができる。
店舗の決済サービスを提供する方法は、トリガーが発生したトリガー時点、およびトリガーが発生した位置を含むトリガーデータを識別する段階（S1009）を含むことができる。
店舗の決済サービスを提供する方法は、トリガー時点およびトリガーが発生した前記位置のうち少なくとも１つに基づいて、トリガーに関連する複数の商品のうち少なくともいずれか１つを識別する段階（S1011）を含むことができる。
【0129】
店舗の決済サービスを提供する方法は、トリガー時点を含む第１時間区間に対応するトラッキングデータの第１トラッキングデータを識別する段階（S1013）を含むことができる。
【0130】
店舗の決済サービスを提供する方法は、第１トラッキングデータに基づいて少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階（S1015）を含むことができる。
【0131】
店舗の決済サービスを提供する方法は、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、第１信頼度に基づいて、トリガーに関連する使用者が第１使用者であることを識別する段階（S1017）を含むことができる。
店舗の決済サービスを提供する方法は、第１使用者の仮想カートに対してトリガーに関するアップデートを実行する段階（S1019）を含むことができる。
店舗の決済サービスを提供する方法は、第１使用者の仮想カートに対してトリガーに関するアップデートを実行する段階（S1019）を含むことができる。
【0132】
本明細書で使用される「モジュール」という用語は、ハードウェア、ソフトウェア、またはファームウェアで実装したユニットを含むことができ、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用することができる。モジュールは、一体的に構成された部品、或いは、1つまたはそれ以上の機能を遂行する、前記部品の最小段位またはその一部になることができる。例えば、一実施例によれば、モジュールはASIC（application-specific integrated circuit）の形態で実装することができる。
【0133】
本明細書の様々な実施例は、機器（machine）（例えば、店舗の決済サービスを提供する電子装置（100））によって読み取ることができる記憶媒体（storage medium）（例えば、メモリ（120））に記憶された１つ以上の命令を含むソフトウェア（例えば、プログラム）として実装することができる。例えば、機器（例えば、店舗の決済サービスを提供する電子装置（100））のプロセッサ（例えば、プロセッサ（110））は、記憶媒体から記憶された１つ以上の命令のうち少なくとも１つの命令を呼び出し、それを実行することができる。これは機器が前記呼び出された少なくとも1つの命令に従って少なくとも1つの機能を遂行するように運営されることを可能にする。前記１つ以上の命令は、コンパイラによって生成されたコードまたはインタプリタによって実行できるコードを含むことができる。機器で読み取り可能な記憶媒体は、非一時的（non-transitory）記憶媒体の形態で提供することができる。ここで、「非一時的」とは、記憶媒体が実在（tangible）する装置であり、信号（signal）（例えば、電磁波）を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に記憶される場合と一時的に記憶される場合を区別しない。
【0134】
一実施例によれば、本明細書に開示された様々な実施例による方法は、コンピュータプログラム製品（computer program product）に含まれて提供することができる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引することができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、コンパクトディスク読み取り専用メモリ（CD－ROM））の形態で配布されるか、またはアプリケーションストア（例えば、プレイストアTM）を介して、または２つの使用者装置（例えば、スマートフォン）の間で直接、オンラインで配布（例えば、ダウンロードまたはアップロード）されることが可能である。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造会社のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリなどのデバイスで読み取り可能な記憶媒体に少なくとも一時的に記憶されるか、または臨時的に生成されることが可能である。
【0135】
様々な実施例によれば、前記の構成要素のそれぞれの構成要素（例えば、モジュールまたはプログラム）は、単数または複数の個体を含むことができる。様々な実施例によれば、前述した当該構成要素のうち１つ以上の構成要素または動作を省略するか、または１つ以上の他の構成要素または動作を追加することができる。代替的または追加的に、複数の構成要素（例えば、モジュールまたはプログラム）を１つの構成要素に統合することができる。この場合、統合された構成要素は、前記複数の構成要素それぞれの構成要素の１つ以上の機能を、前記統合前に前記複数の構成要素のうち当該構成要素によって実行されることと同一または類似に実行することができる。様々な実施例によれば、モジュール、プログラム、または他の構成要素によって実行される動作は、順次、並列的、反復的、またはヒューリスティックに実行されたり、前記の動作のうち1つ以上が異なる順序で実行されたり、省略されたり、または１つ以上の他の動作が追加されたりすることができる。
【0136】
以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。したがって、本実施例は、本実施例の技術思想を限定するためのものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、以下の特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13a】
【図13b】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2024-10-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
店舗の決済サービスを提供する電子装置であって、
プロセッサ、及び
前記プロセッサに作動的に（operatively）連結されたメモリを含み、
前記メモリは、実行されたときに前記プロセッサによって：
前記店舗内の複数の画像センサから複数の画像データを受信し、
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成し、
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対して一マッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて時間経過に従って、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成し、前記トラッキングデータは、前記３次元ポーズデータの動きに関する情報と時間情報とを含み、
前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別し、
前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別し、
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、
前記第１トラッキングデータに含まれる前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別し、
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別し、
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行するようにする、
インストラクション（instructions）を記憶し、
前記第１信頼度は、前記第１トラッキングデータのフレームごとに、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して計算され、
前記第１信頼度は、トリガー時点に該当する前記第１トラッキングデータのトリガーフレームと第１のフレームとがどれだけ近いか、前記少なくとも一部の使用者のそれぞれと前記複数の商品のうち少なくとも１つとの距離、および少なくとも一部の使用者のそれぞれと前記トリガーが発生した位置との距離のうち少なくとも１つに基づいて計算され、
前記トリガーに関連する棚の棚画像データとして、前記トリガー時点での前記棚画像データを識別し、
前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別し、
前記棚画像データは、
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
店舗の決済サービスを提供する電子装置。
プロセッサ、及び
前記プロセッサに作動的に（operatively）連結されたメモリを含み、
前記メモリは、実行されたときに前記プロセッサによって：
前記店舗内の複数の画像センサから複数の画像データを受信し、
前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成し、
前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対して一マッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて時間経過に従って、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成し、前記トラッキングデータは、前記３次元ポーズデータの動きに関する情報と時間情報とを含み、
前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別し、
前記トリガー時点および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別し、
前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別し、
前記第１トラッキングデータに含まれる前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別し、
前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算し、
前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別し、
前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行するようにする、
インストラクション（instructions）を記憶し、
前記第１信頼度は、前記第１トラッキングデータのフレームごとに、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して計算され、
前記第１信頼度は、トリガー時点に該当する前記第１トラッキングデータのトリガーフレームと第１のフレームとがどれだけ近いか、前記少なくとも一部の使用者のそれぞれと前記複数の商品のうち少なくとも１つとの距離、および少なくとも一部の使用者のそれぞれと前記トリガーが発生した位置との距離のうち少なくとも１つに基づいて計算され、
前記トリガーに関連する棚の棚画像データとして、前記トリガー時点での前記棚画像データを識別し、
前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別し、
前記棚画像データは、
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
店舗の決済サービスを提供する電子装置。
【請求項2】
前記インストラクションは、前記プロセッサが、
第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、前記使用者候補群を識別し、
前記第１使用者識別方式は、前記第１トラッキングデータに基づいて、前記トリガーに関連する前記棚に接近したかどうかを基準にして前記使用者候補群を識別し、
前記第２使用者識別方式は、前記第１トラッキングデータで、前記複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別し、
前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
第１使用者識別方式および第２使用者識別方式のうち少なくとも１つを使用して、前記使用者候補群を識別し、
前記第１使用者識別方式は、前記第１トラッキングデータに基づいて、前記トリガーに関連する前記棚に接近したかどうかを基準にして前記使用者候補群を識別し、
前記第２使用者識別方式は、前記第１トラッキングデータで、前記複数の商品のうち少なくとも１つと相互作用した第１相互作用情報を識別し、
前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
【請求項3】
前記インストラクションは、前記プロセッサが、
前記棚の上に前記第１商品が陳列される第１プレートに連結された第１重量センサと、第２商品が陳列される第２プレートに連結された第２重量センサのうち、前記第１重量センサによって検出された重量変化をさらに含む前記トリガーデータを識別し、
前記トリガーが発生した前記位置である前記第１重量センサの位置、及び前記第１プレートに対する画像を含む棚画像データのうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
前記棚の上に前記第１商品が陳列される第１プレートに連結された第１重量センサと、第２商品が陳列される第２プレートに連結された第２重量センサのうち、前記第１重量センサによって検出された重量変化をさらに含む前記トリガーデータを識別し、
前記トリガーが発生した前記位置である前記第１重量センサの位置、及び前記第１プレートに対する画像を含む棚画像データのうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
【請求項4】
前記インストラクションは、前記プロセッサが、
前記重量センサによって検出された重量変化と、前記複数の画像データに基づく第２相互作用情報のうち、少なくとも１つをさらに含む前記トリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記第１トラッキングデータおよび前記トリガーデータを基に、前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記少なくとも１人の使用者のそれぞれが手に取っている前記複数の商品のうち少なくとも１つの種類及び個数を識別した結果と、前記複数の商品のうち少なくとも１つの種類及び前記個数が変化したかどうかを含む前記第１相互作用情報に基づいて、前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
前記重量センサによって検出された重量変化と、前記複数の画像データに基づく第２相互作用情報のうち、少なくとも１つをさらに含む前記トリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記第１トラッキングデータおよび前記トリガーデータを基に、前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記少なくとも１人の使用者のそれぞれが手に取っている前記複数の商品のうち少なくとも１つの種類及び個数を識別した結果と、前記複数の商品のうち少なくとも１つの種類及び前記個数が変化したかどうかを含む前記第１相互作用情報に基づいて、前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
【請求項5】
前記インストラクションは、前記プロセッサが、
前記複数の画像データに基づいて、前記棚と前記少なくとも１人の使用者のうち少なくとも一部と相互作用が発生した場合、前記相互作用の時点、前記相互作用が発生した位置及び前記相互作用の主体である前記第１使用者に対する情報を含む第３相互作用情報を識別し、前記第３相互作用情報をさらに含むトリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記トリガーデータの前記第３相互作用情報に基づいて前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記第３相互作用情報に基づいて、前記第１トラッキングデータで前記第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
前記複数の画像データに基づいて、前記棚と前記少なくとも１人の使用者のうち少なくとも一部と相互作用が発生した場合、前記相互作用の時点、前記相互作用が発生した位置及び前記相互作用の主体である前記第１使用者に対する情報を含む第３相互作用情報を識別し、前記第３相互作用情報をさらに含むトリガーデータを識別し、
前記第１使用者識別方式が使用される場合、前記トリガーデータの前記第３相互作用情報に基づいて前記使用者候補群を識別し、
前記第２使用者識別方式が使用される場合、前記第３相互作用情報に基づいて、前記第１トラッキングデータで前記第１相互作用情報を識別し、前記第１相互作用情報に基づいて前記使用者候補群を識別するようにする、
請求項２に記載の店舗の決済サービスを提供する電子装置。
【請求項6】
前記インストラクションは、前記プロセッサが、
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用し、前記第１商品を識別し、
前記第１商品識別方式は、
第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとの比較結果に基づいて、商品変化の位置を推定し、
前記商品変化の位置に対応する第３棚画像データおよび前記トリガーが発生した時点に基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果、及び前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
請求項５に記載の店舗の決済サービスを提供する電子装置。
第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用し、前記第１商品を識別し、
前記第１商品識別方式は、
第２時間区間の開始時点での第１棚画像データと前記第２時間区間の終了時点での第２棚画像データとの比較結果に基づいて、商品変化の位置を推定し、
前記商品変化の位置に対応する第３棚画像データおよび前記トリガーが発生した時点に基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果、及び前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
請求項５に記載の店舗の決済サービスを提供する電子装置。
【請求項7】
前記インストラクションは、前記プロセッサが、
前記複数の画像センサから受信した棚画像データ、前記複数の画像センサから受信した前記少なくとも１人の使用者を含む使用者画像データ、および前記棚に連結された重量センサから受信した重量データのうち少なくとも１つに基づいて、前記棚の上の前記複数の商品に変化があったか否かを判断し、
前記判断を基に前記トリガーデータの有効性を判断するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
前記複数の画像センサから受信した棚画像データ、前記複数の画像センサから受信した前記少なくとも１人の使用者を含む使用者画像データ、および前記棚に連結された重量センサから受信した重量データのうち少なくとも１つに基づいて、前記棚の上の前記複数の商品に変化があったか否かを判断し、
前記判断を基に前記トリガーデータの有効性を判断するようにする、
請求項１に記載の店舗の決済サービスを提供する電子装置。
【請求項8】
店舗の決済サービスを提供する方法において、店舗の決済サービスを提供する電子装置に含まれるプロセッサによって、前記店舗内の複数の画像センサから複数の画像データを受信する段階；
前記プロセッサによって、前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階；
前記プロセッサによって、前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて時間経過に従って、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階であって、前記トラッキングデータは、前記３次元ポーズデータの動きに関する情報と時間情報とを含む、段階；
前記プロセッサによって、前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別する段階；
前記プロセッサによって、前記トリガー時点及び前記トリガーが発生した前記位置のうち少なくとも１つに含まれる前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階；
前記プロセッサによって、前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階；
前記プロセッサによって、前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階；
前記プロセッサによって、前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階；
前記プロセッサによって、前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階；および
前記プロセッサによって、前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行する段階を含み、
前記第１信頼度は、前記第１トラッキングデータのフレームごとに、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して計算され、
前記第１信頼度は、トリガー時点に該当する前記第１トラッキングデータのトリガーフレームと第１のフレームとがどれだけ近いか、前記少なくとも一部の使用者のそれぞれと前記複数の商品のうち少なくとも１つとの距離、および少なくとも一部の使用者のそれぞれと前記トリガーが発生した位置との距離のうち少なくとも１つに基づいて計算され、
前記プロセッサによって、前記トリガーに関連する棚の棚画像データとして、前記トリガー時点での前記棚画像データを識別し、
前記プロセッサによって、前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記プロセッサによって、前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別し、
前記棚画像データは、
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
前記プロセッサによって、第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
店舗の決済サービスを提供する方法。
前記プロセッサによって、前記複数の画像データに少なくとも１人の使用者が含まれていることに基づいて、前記複数の画像データのそれぞれに対して、前記少なくとも１人の使用者のそれぞれの関節位置および前記少なくとも１人の使用者のそれぞれの姿勢を推定した、複数の２次元ポーズデータを生成する段階；
前記プロセッサによって、前記複数の２次元ポーズデータのそれぞれを結合して、前記少なくとも１人の使用者のそれぞれに対してマッチングされる、前記少なくとも１人の使用者のそれぞれに対する３次元ポーズデータを生成し、前記店舗内で前記少なくとも１人の使用者のそれぞれの動きに応じて時間経過に従って、前記少なくとも１人の使用者のそれぞれに対する前記３次元ポーズデータをトラッキングするトラッキングデータを生成する段階であって、前記トラッキングデータは、前記３次元ポーズデータの動きに関する情報と時間情報とを含む、段階；
前記プロセッサによって、前記店舗に陳列された複数の商品のうち少なくともいずれか１つが棚から取り外されるか、または前記棚に追加されるトリガーが発生したトリガー時点、及びトリガーが発生した位置を含むトリガーデータを識別する段階；
前記プロセッサによって、前記トリガー時点及び前記トリガーが発生した前記位置のうち少なくとも１つに含まれる前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つを識別する段階；
前記プロセッサによって、前記トリガー時点を含む第１時間区間に対応する前記トラッキングデータの第１トラッキングデータを識別する段階；
前記プロセッサによって、前記第１トラッキングデータに基づいて、前記少なくとも１人の使用者のうち少なくとも一部に対して使用者候補群を識別する段階；
前記プロセッサによって、前記使用者候補群に含まれる前記少なくとも一部の使用者のそれぞれに対して、第１信頼度を計算する段階；
前記プロセッサによって、前記第１信頼度に基づいて、前記トリガーに関連する使用者が第１使用者であることを識別する段階；および
前記プロセッサによって、前記第１使用者の仮想カートに対して前記トリガーに関連するアップデートを実行する段階を含み、
前記第１信頼度は、前記第１トラッキングデータのフレームごとに、使用者候補群に含まれる少なくとも一部の使用者のそれぞれに対して計算され、
前記第１信頼度は、トリガー時点に該当する前記第１トラッキングデータのトリガーフレームと第１のフレームとがどれだけ近いか、前記少なくとも一部の使用者のそれぞれと前記複数の商品のうち少なくとも１つとの距離、および少なくとも一部の使用者のそれぞれと前記トリガーが発生した位置との距離のうち少なくとも１つに基づいて計算され、
前記プロセッサによって、前記トリガーに関連する棚の棚画像データとして、前記トリガー時点での前記棚画像データを識別し、
前記プロセッサによって、前記第１時間区間で、前記使用者候補群に関連する商品検出画像データを識別し、
前記プロセッサによって、前記棚画像データ、前記商品検出画像データ、および前記トリガーが発生した前記位置のうち少なくとも１つに基づいて、前記トリガーに関連する前記複数の商品のうち少なくともいずれか１つが第１商品を含むことを識別し、
前記棚画像データは、
第２時間区間の開始時点での第１棚画像データと、
前記第２時間区間の終了時点での第２棚画像データとを含み、
前記プロセッサによって、第１商品識別方式および第２商品識別方式のうち少なくとも１つを使用して、前記第１商品を識別し、
前記第１商品識別方式は、
前記第１商品が陳列される第１プレート及び第２商品が陳列される第２プレートを含む前記棚に連結された重量センサによって検出された重量変化、及び前記第１棚画像データと前記第２棚画像データとの比較結果のうち少なくとも１つに基づいて、商品変化の位置を推定し、
前記商品変化の位置および前記重量変化に基づいて、前記第１商品および前記第２商品のそれぞれに対する第２信頼度を計算し、前記第２信頼度に基づいて前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにし、
前記第２商品識別方式は、
前記商品検出画像データを基に、前記使用者候補群のそれぞれが手に取っている商品の種類及び個数を識別した結果と、前記比較結果のうち少なくとも１つに基づいて、商品変化の有無を推定し、
前記商品変化の有無に基づいて、前記第１商品および前記第２商品のそれぞれに対する前記第２信頼度を計算し、
前記第２信頼度に基づいて、前記複数の商品のうち少なくともいずれか１つが前記第１商品を含むことを識別するようにする、
店舗の決済サービスを提供する方法。