(58)【調査した分野】(Int.Cl.,DB名)
入口エリアにおいて、前記商品を選択して購入する前記ユーザの顔認識データを取得するステップであって、前記顔認識データが前記ユーザのユーザ識別子に対応する、ステップと、
前記商品および前記ユーザが前記出口エリアにあるとの判定に応答して、前記顔認識データに対応する前記ユーザ識別子を取得するために前記顔認識データを、前記出口エリアにおいて取得するステップであって、前記注文が前記ユーザ識別子に対応する、ステップと
をさらに含む、請求項4に記載の方法。
【発明を実施するための形態】
【0009】
人々の日常生活において、スーパーマーケット、ショッピングモール、コンビニエンスストアなどでの買い物は、一般的な買い物行動である。商品を選択して購入した後、顧客は商品の代金を払うために出口のチェックアウトカウンターに並ぶ必要があり、これは時間がかかり不便である。買い物効率を向上させるために、買い物管理システムが使用され、買い物中に消費者によって選択され購入された商品を自動的に識別し、消費者と消費者によって選択され購入された商品との間の関連付け関係を決定し、対応する請求書をセルフサービス支払いの消費者に自動的にプッシュする。したがって、消費者は、商品の代金を払うために出口で並ぶ必要がなく、それによって買い物の効率が向上する。
【0010】
先の方法を実施するための重要な要素は、消費者と消費者によって選択され購入された商品との間の関連付け関係を決定することであり、消費者に対応する請求書は関連付け関係が決定された後にのみ得られ得る。本開示では、この関連付け関係を「注文情報」、すなわち消費者によって選択され購入された商品と呼ぶことがある。本開示において提供される注文情報決定方法は、迅速な支払いを支援するために、簡単かつ正確に注文情報を決定することを意図している。
【0011】
以下、消費者がコンビニエンスストアで買い物をする場合を例にして、本開示における注文情報決定方法の処理プロセスについて説明する。しかしながら、本方法は、例えばスーパーマーケットでの買い物、ショッピングモールでの買い物、倉庫の在庫監視(どの人が倉庫からどの物を取ったか)、および図書館のための本の管理(どのユーザがどの本を借りたか)など、人と物品との間の関連付け関係を決定する必要があるシナリオなどの他のシナリオにも適用することができる。
【0012】
図1は、コンビニエンスストアのエリアレイアウトを示す図である。
図1に示すように、コンビニエンスストア100は、入り口エリア101と、収納エリア102と、出口エリア103とを含むことができる。消費者は、入り口エリア101からコンビニエンスストア100に入り、収納エリア102の商品を選択して購入することができる。選択および購入が完了した後、消費者は出口エリア103からコンビニエンスストアを出る。収納エリア102は多くの商品を収納できる。例えば、
図1に示す1021〜1024は、コンビニエンスストア内の商品であり、果物、飲み物、牛乳、パンなどを含むことができる。
図1では商品の一部のみを示しており、実際には収納エリア102はより多くの商品を含むことができる。
図1に示すコンビニエンスストアのレイアウトは、機能エリアの区分であり、実際の物理エリアの区分ではない。一例では、複数の入口エリア101、収納エリア102、および出口エリア103を別々に配置する代わりに、統合して一緒に配置することができる。
【0013】
図1のコンビニエンスストア100は、買い物管理システム104をさらに含むことができる。買い物管理システム104は、入り口エリア101、収納エリア102、および出口エリア103と通信およびインタラクトすることができる。
図2は、コンビニエンスストア内のレイアウトをより詳細に示している。例えば、いくつかの顔認識デバイス201は、コンビニエンスストア100の入り口エリア101に配置され得る。消費者202がコンビニエンスストアに入ると、顔認識デバイス201は自動的に消費者202の顔認識データを収集できる。例えば、顔認識デバイス201は、入り口エリア内の消費者の画像を収集し、特定のポリシーを使用することによって画像を検索して、画像が顔を含むかどうかを判定し、画像が顔を含む場合に顔の位置、大きさ、および
姿勢を返す。加えて、顔認識デバイス201は、顔画像に対して前処理および特徴抽出を行い、顔認識データを取得できる。いくつかの棚203が格納エリア102に置かれ、多くの商品、例えば
図2に示すバナナ2031およびミルク2032が、棚203に置かれ得る。例えば、商品を選択して購入する場合、消費者は商品を手に持ったり、腕に持ったり、すなわち、消費者は身体の部位を使って商品を持ち運ぶことがある。買い物が完了した後、消費者はコンビニエンスストアの出口エリアに行き、支払いのために列に並ぶことなく出口チャネル204を通ってコンビニエンスストアを出ることができる。通常、一人だけが一つの出口チャネル204を順番に通過できる。
【0014】
一例では、本開示では、無線周波数識別(RFID)ラベルを各商品に貼付することができ、例えば、
図2の棚203の商品に貼付されたRFIDラベル205を貼付できる。異なる商品のラベルは異なる情報を含み、ラベルは商品の識別情報を含む。
【0015】
図2に示すように、RFIDラベル信号を受信するように構成された複数のリーダが、コンビニエンスストアの壁、屋根などにさらに設置され得、例えば、リーダ206がエントランスエリアに配置され、リーダ207が収納エリアに配置され、リーダ208が出口エリアに配置される。リーダは、受信したRFIDラベル情報を買い物管理システム104に送信でき、買い物管理システム104はその情報を格納し処理することができる。加えて、カメラ209などの監視デバイスがコンビニエンスストア内にさらに配置され、これらの監視デバイスが、店舗内でビデオ監視を実行するように構成され得る。監視情報も買い物管理システム104に送信され得る。買い物管理システム104はさらに、店舗に設置された無線アンテナなどのネットワークデバイスを使用することによって、システム内の情報を表示のために別のデバイスに送信できる。例えば、買い物管理システム104は、消費者が携帯するスマートフォンに情報を送信でき、それにより消費者は、携帯電話を使用することによって買い物管理システムにより得られた情報を便利に確認できる。
【0016】
買い物管理システム104は、ローカルまたはリモートのサーバシステムであってよく、複数のコンピューティング処理デバイスを含むことができる。例えば、2つのコンピューティングデバイスが
図2に示され、実際の実施では、より多くのコンピューティングデバイスを有することができる。
図3に示すように、コンピューティングデバイスは、プロセッサ301、入出力インターフェース302、ネットワークインターフェース303、およびメモリ304を含むことができる。プロセッサ301、入出力インターフェース302、ネットワークインターフェース303、およびメモリ304は、バス305を使用することによって互いに接続され、通信できる。
図3はいくつかの構成要素のみを示しており、実際のコンピューティングデバイスはより多くのまたはより少ない構成要素を含んでよい。メモリ304は、データ管理モジュール3041および買い物管理モジュール3042をさらに含むことができる。これらのモジュールは、ハードウェア、ソフトウェアなどの形態であってよく、それらがソフトウェアの形態である場合、コンピュータ実行可能プログラムであってよい。
【0017】
例えば、コンピューティングデバイスは、ネットワークインターフェース303を介して、コンビニエンスストア内のRFIDラベルまたはカメラなどのデバイスによって送信された情報を受信し、例えば、RFIDラベルを使用することによって測位により得られた商品の位置情報、消費者によって送信されたメンバーID情報などの情報を処理することができる(これについては後の例で詳細に説明される)。プロセッサ301は、買い物管理モジュール3042の命令を実行することによって受信した情報を処理して、例えば、コンビニエンスストアに入店する新規の消費者に関する情報、商品の位置情報、ユーザの
姿勢データ、または消費者の注文情報などのいくつかの最新のデータを取得できる。加えて、プロセッサ301は、データ管理モジュール3041の指示を実行することによってデータベース305に対してデータを更新できる。
【0018】
一例では、データベース305はデータを格納することができ、例えば、データはユーザ情報、位置情報、注文情報、および
姿勢データを含むことができる。ユーザ情報は、買い物管理システムに登録されている一部のユーザのメンバーIDとすることができ、位置情報は、後の例で説明される商品を位置決めすることによって得られた情報とすることができ、注文情報は、消費者によって選択され購入された商品についての情報とすることができ、
姿勢データは、後半に説明されるユーザに対する動的な
人体の姿勢認識を実行することによって得られるデータとすることができる。加えて、コンピューティングデバイスは、最新の受信データに基づいて情報を更新できる。例えば、コンピューティングデバイスは、新規登録ユーザがいるときにユーザ情報を更新でき、商品のリアルタイム測位中に商品の位置情報を更新することができ、さらに注文における商品の変更に基づいて注文情報を更新することができる。加えて、コンピューティングデバイスは、データベース内のデータをさらに出力することができる。例えば、コンピューティングデバイスは、データベースから注文情報を抽出し、消費者の携帯電話などの別のデバイスに注文情報を送信することができ、それにより消費者は情報を確認できる。
【0019】
図4は、注文情報決定プロシージャを示す。消費者が商品を選択して購入するためにコンビニエンスストアに入るとき、消費者は入り口エリアからコンビニエンスストアに入り、買い物中に棚の商品を選択して購入し、手または腕で商品を持ち運び、選択と購入が完了した後、出口エリアから直接コンビニエンスストアを出ることがある。この処理において、買物管理システムは、
図4のプロシージャを実行して注文情報を決定する、すなわち、コンビニエンスストアにおいて消費者によって選択され購入された商品を決定することができる。
【0020】
ステップ401において、消費者が商品を選択して購入するためにコンビニエンスストアに入ると、消費者は入り口エリアにメンバーIDを入力できる。例えば、ユーザは、スマートフォンにインストールされた買い物ソフトウェアを使用することによって識別情報を識別する二次元コードを生成できる。買い物ソフトウェアは買い物管理システム内のクライアントソフトウェアであってよく、ユーザはクライアントソフトウェアに登録されているメンバーIDを携帯電話に入力している。メンバーIDは、ユーザ識別子と呼ぶことができる。あるいは、ユーザは、バンドなどのインテリジェントデバイスを使用することによってNFCを介してメンバーIDを入力することができ、インテリジェントデバイスはメンバーIDと関連付けられている。クライアントソフトウェアはさらに、取得したメンバーIDを買い物管理システムにアップロードできる。
【0021】
加えて、エントランスエリアにおいて、顔認識デバイス201がユーザに対する顔認識を実行し、取得した顔認識データを買い物管理システムに送信できる。このように、買い物管理システムは、顔の特徴を有する消費者に対応するメンバーIDの学習に相当する、顔認識データとユーザ識別子として使用されるメンバーIDとの対応付けに関する情報を受信でき、買い物管理システムはマッピング関係をデータベース305に格納できる。
【0022】
ユーザが商品を選択して購入するために収納エリアに入ると、コンビニエンスストア全体において、商品に貼付されたRFIDラベルが、店舗に設置されたRFIDリーダ208などを使用することによって見つけられ得る。例えば、リーダ208は、商品上のRFIDラベルによって送信されたラベル信号を受信できる。ラベル信号は商品情報を含むことができる。例えば、商品情報は、商品を一意に識別する商品コードを含むことができる。ステップ402において、リーダ208は、ラベル信号を買い物管理システムに送信することができ、買い物管理システムは、ラベル信号に基づいて位置決め計算を実行して、商品上の位置決めラベルの位置情報を取得することができる。例えば、
図3を参照すると、コンピューティングデバイスのプロセッサ301は、ショッピング管理モジュール3042において実行可能コードを実行し、ラベル信号に基づいて位置決め計算を実行し、データ管理モジュール3041において実行可能コードを実行することによって計算により得られた位置情報をデータベース305に格納できる。本ステップでは、一般的なRFID位置決め技術に基づいて位置決めを実行できる。さらに、いくつかの顔認識デバイスは、コンビニエンスストア内の選択および購入エリアに設置され得る。これらのデバイスは顔の特徴を検出できるだけでなく、人の位置を探して店舗内の消費者の位置情報を取得することができる。
【0023】
ステップ403において、買い物管理システムは、位置情報に基づいて、商品およびユーザがコンビニエンスストアの出口エリアにあると決定できる。
【0024】
ステップ404において、買い物管理システムは、出口エリアに設置された顔認識デバイス210を使用することによってユーザに対して
人体の姿勢認識を実行して、ユーザの
姿勢データを取得し、出口エリアのリーダ208を使用することによって商品ラベルを位置決めして、商品の位置情報を取得できる。入力ビデオが分析され、例えば、人が胸の前に手を置くか手をぶらさげる、または人が腕をしっかりと抱えているかどうかなど、
人体の姿勢を認識することができる。ユーザの
姿勢データは、人体のすべての部位間の位置関係に相当する。
【0025】
本例では、ユーザの
姿勢が商品を取っているかどうかが、
姿勢データと位置情報とに基づいて判定され得る。例えば、位置決めラベルの位置情報に対応するユーザの部位の
姿勢を使用することによって商品が取られ得るか否かを、
姿勢データに基づいて判定することができる。位置決めラベルの位置に対応するユーザの部位がユーザの胸であるが、ユーザの
姿勢データが胸の前には何もないことを示し、ユーザは手をぶら下げていると仮定すると、商品はユーザによって持たれていない。反対の例では、位置決めラベルの位置に対応するユーザの部位がユーザの大腿部の側部にあり、
姿勢データに基づいて、ユーザが手をぶら下げ、かつユーザの手もこのエリアにあると判定されると仮定すると、ユーザが商品を手に持っていると判定され得る。
【0026】
ステップ405において、判定結果がユーザが商品を取ったとされる場合、商品の商品情報がユーザの注文に追加され得る。加えて、出口エリアにおいて、顔認識デバイスは、顔認識データを再取得し、そのデータに対応するメンバーIDを取得し、メンバーIDに対応する注文に商品を追加する。対応するメンバーIDが顔認識によって得られない場合、他の方法がメンバーIDの入力に試みられ、例えばメンバーIDが二次元コードまたはNFCにより入力され得る。商品検出では、コンビニエンスストアに属さない商品ラベルが除外され得る。
【0027】
本開示における注文情報決定の間、ユーザの
姿勢データが認識され、商品が位置決めされ、次いで
姿勢と商品との位置関係を使用することによって商品が属する注文が決定される。この方法は、注文を決定する上でより正確である。例えば、多くの人が同時に棚の商品を取っていっても、商品とユーザの
姿勢との位置関係がさらに判定される必要があり、商品が商品取得
姿勢を満たす場合にのみ注文が決定される。他の例として、ユーザが類似度の高い商品を誤った場所に置いても、最終的な商品の決定やユーザの
姿勢には影響がない。この方法は、多くの誤解を招く要因の影響を受けることなく、商品が属する注文を決定する上でより正確であり得る。
【0028】
商品の注文の所有権は、ユーザがコンビニエンスストアに入った後の任意の時点における商品とカートとの間の距離に基づいて決定され得る。場合によっては、メンバーIDと関連付けられた顔認識データとが入口エリアにおいて取得された後、収納エリアにおける商品の選択および購入の間に認識が実行されない。代わりに、ユーザの
姿勢と商品との間の位置関係が出口エリアで認識され、商品が属する注文を決定できる。
【0029】
加えて、ユーザの注文に商品を追加する場合、買い物管理システムは、データベース305内の注文情報データを更新する、すなわち、ユーザの注文において選択され購入された商品が更新され得る。加えて、買い物管理システムは、注文情報をさらにユーザのスマートフォンに送信できる。
図3に示すように、ユーザのスマートフォンにインストールされているクライアントソフトウェアは、カート情報インターフェースを有することができ、カート情報インターフェースは商品注文情報のリストを表示できる。ユーザは、「あなたは次の商品を選び、購入しました:バナナとりんご」という情報を見ることができ、それによりユーザはいつでも注文における変更を知ることができる。カート情報インターフェースはさらに、ユーザによって選択され購入された商品の数量を表示でき、あるいは商品の生産地などのより多くの他の商品情報を表示できる。注文情報の決定を支援するための他の補助決定技術の使用は、本開示において排除されず、例えば、複数のセンサを支援のために使用することができる。
【0030】
注文情報が決定された後、買い物管理システムは、注文に基づいて支払われるべき請求書を生成し、支払われるべき請求書をユーザにプッシュすることができる。ユーザは、メンバーIDに対応する資金口座において請求書に対する支払いができる。ユーザの資金口座は、十分なお金を持っている必要があるか、注文の支払いに使用できる十分なお金を持っている別の支払いチャネルに接続され得る。そうでない場合、ユーザは、支払能力を超える商品とともに立ち去ることを制限される可能性があり、または警告デバイスがトリガされて警告を発することができる。
【0031】
本開示の例では、商品にRFIDラベルが貼付されており、このRFIDラベルを使用することによって商品が位置決めされる。具体的な実施形態では、本明細書はこれに限定されず、商品は別の位置決め方法で位置決めされ得る。別の位置決めラベルを商品に貼付することができ、商品は別の対応する位置決め技術を使用することによって位置決めされる。
【0032】
本開示の方法によれば、消費者の注文情報を迅速かつ正確に決定することができ、注文の支払いが自動的に完了する。買い物が完了した後、消費者は支払いのためにチェックアウトカウンターに並ぶことなく直接去ることができ、それによって買い物の効率を向上し、極めて良好な買い物体験を提供する。
【0033】
本開示は、注文情報決定装置をさらに提供する。装置は、
図3の買い物管理モジュールまたは
図1の買い物管理システムであってよい。
図5に示すように、装置は、
姿勢認識モジュール51、商品位置決めモジュール52、情報処理モジュール53、および注文処理モジュール54を含むことができる。
【0034】
姿勢認識モジュール51は、ユーザの
姿勢データを取得するために、ユーザに対して
人体の姿勢認識を実行するように構成される。
【0035】
商品位置決めモジュール52は、商品の位置情報を取得するために商品を位置決めするように構成される。
【0036】
情報処理モジュール53は、
姿勢データと位置情報とに基づいて、ユーザの
姿勢が商品を取っているかどうかを判定するように構成される。
【0037】
注文処理モジュール54は、判定結果がユーザが商品を取ったとされる場合に、その商品をユーザの注文に追加するように構成される。
【0038】
一例では、情報処理モジュール53は、位置決めラベルによって送信されたラベル信号に基づいて商品上の位置決めラベルを位置決めし、位置決めラベルの位置情報を取得し、ラベル信号は商品情報を含み、ユーザの
姿勢データに基づいて、位置決めラベルの位置情報に対応するユーザの部位の
姿勢を使用することによって商品が取られ得るか否かを判定するように構成される。
【0039】
一例では、位置決めラベルは無線周波数識別RFIDラベルである。
【0040】
一例では、情報処理モジュール53は、位置決めにより得られた商品およびユーザの位置情報に基づいて、商品およびユーザが出口エリアにいると判定されると、ユーザの
姿勢が商品を取っているか否かを判定するように構成される。
【0041】
一例では、注文処理モジュール54はさらに、入口エリアにおいて、商品を選択して購入したユーザの顔認識データを取得し、この顔認識データはユーザのユーザ識別子に対応し、商品およびユーザが出口エリアにあると判定されると、顔認識データに対応するユーザ識別子を取得するために顔認識データを再取得するように構成され、注文はユーザ識別子に対応するユーザの注文である。
【0042】
前述の実施形態で説明された装置またはモジュールは、コンピュータチップまたはエンティティによって実施することができ、あるいは特定の機能を有する製品によって実施することができる。典型的な実施デバイスはコンピュータである。コンピュータの特定の形態は、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ付き携帯電話、スマートフォン、個人情報端末、メディアプレーヤ、ナビゲーションデバイス、電子メール送受信デバイス、ゲーム機、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスに含まれるいくつかのデバイスの組み合わせであってよい。
【0043】
説明を容易にするために、前述の装置は、機能を様々なモジュールに分割することによって説明されている。確かに、本開示が実施されるとき、各モジュールの機能は1つまたは複数のソフトウェアおよび/またはハードウェアで実施することができる。
【0044】
例えば、本願のこの実施形態における支払いに関連する技術的キャリアは、近距離無線通信(NFC)、WIFI、3G/4G/5G、POSカードスワイプ技術、二次元コードスキャン技術、バーコードスキャン技術、Bluetooth(登録商標)、赤外線、ショートメッセージサービス(SMS)、およびマルチメディアメッセージサービス(MMS)を含むことができる。
【0045】
前述の説明は、本開示の実施形態の単なる例であり、本開示を限定することを意図するものではない。本開示の精神および原理から逸脱することなくなされたいかなる修正、等価な置換え、または改良も本開示の保護範囲内に入るものとする。