特表 2022-539920 視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-14

(54)【発明の名称】視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220907BHJP

   G06T 7/00 20170101ALI20220907BHJP

【ＦＩ】

G06Q30/06

G06T7/00 660B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020540494

(86)(22)【出願日】2020-04-14

(85)【翻訳文提出日】2020-07-21

(86)【国際出願番号】 CN2020084780

(87)【国際公開番号】W WO2021042730

(87)【国際公開日】2021-03-11

(31)【優先権主張番号】202010256683.2

(32)【優先日】2020-04-02

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】201910840293.7

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518107992

【氏名又は名称】▲図▼▲霊▼通▲諾▼（北京）科技有限公司

【氏名又は名称原語表記】Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ１５１１，Ｂｌｏｃｋ Ｂ，ＳＯＨＯ Ｓｈａｎｇｄｕ Ｎｏｒｔｈ Ｔｏｗｅｒ， Ｄｏｎｇｄａｑｉａｏ Ｒｏａｄ ８＃， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， １００１０７ Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100111257

【弁理士】

【氏名又は名称】宮崎 栄二

(74)【代理人】

【識別番号】100110504

【弁理士】

【氏名又は名称】原田 智裕

(72)【発明者】

【氏名】▲呉▼ 一黎

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB72

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA69

5L096HA09

(57)【要約】

本発明、視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置が開示され、コンピューター技術分野に属する。方法は、顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内に前記顧客をリアルタイムに追跡し、載置重量が変化する棚の棚位置を取得し、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、前記棚位置と、前記顧客の手部位置と、前記顧客の動作行為とに基づいて、購入者の身分情報を特定し、前記購入者は、前記商品認識結果とマッチする顧客であること、を含む。装置は、顧客追跡モジュールと、棚位置取得モジュールと、商品認識結果取得モジュールと、マッチモジュールと、を含む。本発明は、上記技術案により、商品認識結果と顧客との正確なマッチを実現し、無人コンビニの会計作業の完成に有利であり、さらに商品の認識精度を向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内に前記顧客をリアルタイムに追跡し、
載置重量が変化する棚の棚位置を取得し、
棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、
前記棚位置と、前記顧客の手部位置と、前記顧客の動作行為とに基づいて、購入者の身分情報を特定し、前記購入者は、前記商品認識結果とマッチする顧客であること、
を含むことを特徴とする視覚及び重力感知に基づく商品と顧客とのマッチ方法。

【請求項2】

前記棚位置と、前記顧客の手部位置と、前記顧客の動作行動とに基づいて、購入者の身分情報を特定することは、
前記棚位置と前記顧客の位置決め位置とに基づいて棚近傍顧客を特定し、前記棚近傍顧客は、載置重量が変化する時に前記棚の近傍に位置する顧客であり、
前記棚近傍顧客の手部位置と動作行為とに基づいて購入者を特定し、前記購入者の動作行為によって棚の載置重量が変化したこと、
を含むことを特徴とする請求項１に記載のマッチ方法。

【請求項3】

前記棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得することは、
重力感知技術に基づいて、棚の載置重量が変化する重量変化値を取得し、
前記重量変化値と前記棚に載置される各商品の重力値とに基づいて、重量認識結果を取得し、前記重量認識結果を前記商品認識結果とすること、
を含むことを特徴とする請求項１に記載のマッチ方法。

【請求項4】

前記棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得することは、
視覚認識技術に基づいて、顧客の取得及び返還行為に係る商品に対応する視覚認識結果を取得し、前記取得及び返還行為が実行する取得及び返還時間は、棚の載置重量が変化する重量変化時間とマッチし、
視覚認識結果を商品認識結果とすること、
を含むことを特徴とする請求項１に記載のマッチ方法。

【請求項5】

前記視覚認識結果を前記商品認識結果とすることの前に、
前記重量変化値と取得及び返還重力値とが一致するか否かを判断し、前記取得及び返還重力値は、前記取得及び返還時間に対応する取得及び返還商品の重力値であり、
一致しないと判断する場合、前記重量変化値と、前記ショッピング場所内に各商品の重力値と、前記視覚認識結果とに基づいて、前記商品認識結果を取得し、
一致すると判断する場合、前記視覚認識結果を前記商品認識結果とするステップに移行すること、
をさらに含むことを特徴とする請求項４に記載のマッチ方法。

【請求項6】

顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内に前記顧客をリアルタイムに追跡する顧客追跡モジュールと、
載置重量が変化する棚の棚位置を取得する棚位置取得モジュールと、
棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得する商品認識結果取得モジュールと、
前記棚位置と、前記顧客の手部位置と、前記顧客の動作行為とに基づいて、購入者の身分情報を特定し、前記購入者は、前記商品認識結果とマッチする顧客とするマッチモジュールと、
を含むことを特徴とする視覚及び重力感知に基づく商品と顧客とのマッチ装置。

【請求項7】

前記マッチモジュールは、
前記棚位置と前記顧客の位置決め位置とに基づいて棚近傍顧客を特定し、前記棚近傍顧客は、載置重量が変化する時に前記棚の近傍に位置する顧客である棚近傍顧客特定手段と、
前記棚近傍顧客の手部位置と動作行為とに基づいて購入者を特定し、前記購入者の動作行為によって棚の載置重量が変化したマッチ手段と、
を含むことを特徴とする請求項６に記載のマッチ装置。

【請求項8】

前記商品認識結果取得モジュールは、
重力感知技術に基づいて、棚の載置重量が変化する重量変化値を取得する重量変化値取得手段と、
前記重量変化値と前記棚に載置される各商品の重力値とに基づいて重量認識結果を取得し、前記重量認識結果を、前記商品認識結果とする第１商品認識結果取得手段と、
を含むことを特徴とする請求項６に記載のマッチ装置。

【請求項9】

前記商品認識結果取得モジュールは、
視覚認識技術に基づいて、顧客の取得及び返還行為に係る商品に対応する視覚認識結果を取得し、前記取得及び返還行為が実行する取得及び返還時間は、棚の載置重量が変化する重量変化時間とマッチする視覚認識結果取得手段と、
前記視覚認識結果を、前記商品認識結果とする第２商品認識結果取得手段と、
を含むことを特徴とする請求項６に記載のマッチ装置。

【請求項10】

前記商品認識結果取得モジュールは、
前記重量変化値と取得及び返還重力値とが一致するか否かを判断し、前記取得及び返還重力値は、前記取得及び返還時間に対応する取得及び返還商品の重力値である判断手段と、
一致しないと判断する場合、前記重量変化値と、前記ショッピング場所内の各商品の重力値と、前記視覚認識結果とに基づいて、前記商品認識結果を取得する第３商品認識結果取得手段と、
一致すると判断する場合、前記視覚認識結果を前記商品認識結果とするステップに移行する移行手段と、
をさらに含むことを特徴とする請求項９に記載のマッチ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピューター技術分野に属し、特に視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置に関する。

【背景技術】

【0002】

顧客は、スーパー、店舗等のショッピング場所で自分が好き又は必要である商品を見つけた場合、該商品の入手は、会計することが必要である。

【0003】

従来技術において、通常、顧客と商品とのマッチは、顧客がレジカウンターに並び、且つレジ係りの持っているバーコードスキャナ端末で商品のバーコードをスキャンすることによって実現し、ある顧客が商品を購入しようとする商品を特定し、会計に用いられる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

顧客と商品とのマッチプロセスは、レジ係りの参与が必要であり、しかしながら、レジ係りの作業時間が限られており、全天候で作業することができず、異なる顧客のショッピングニーズを満たすことに不利になり、顧客のショッピング体験が悪い。

【課題を解決するための手段】

【0005】

従来技術における問題を解決するために、本発明の一側面は、顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内に前記顧客をリアルタイムに追跡し、載置重量が変化する棚の棚位置を取得し、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、前記棚位置と、前記顧客の手部位置と、前記顧客の動作行為とに基づいて、購入者の身分情報を特定し、前記購入者は前記商品認識結果とマッチする顧客であること、を含む視覚及び重力感知に基づく商品と顧客とのマッチ方法が提供されている。

【0006】

本発明の他の側面は、顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内に前記顧客をリアルタイムに追跡する顧客追跡モジュールと、載置重量が変化する棚の棚位置を取得する棚位置取得モジュールと、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得する商品認識結果取得モジュールと、前記棚位置と、前記顧客の手部位置と、前記顧客の動作行為とに基づいて、購入者の身分情報を特定し、前記購入者は前記商品認識結果とマッチする顧客であるマッチモジュールと、を含む視覚及び重力感知に基づく商品と顧客とのマッチ装置が提供されている。

【0007】

本発明の別の側面は、メモリと、プロセッサと、を含む視覚及び重力感知に基づく商品と顧客とのマッチ装置が提供されている。プロセッサは、メモリに接続され、メモリに記憶されたコマンドに基づいて、上記視覚及び重力感知に基づく商品と顧客とのマッチ方法を実施するように配置される。

【0008】

本発明のまた別の側面は、コンピュータープログラムを記憶するコンピューター読み取り可能の記憶媒体が提供され、このコンピュータープログラムがプロセッサで実行される時に上記視覚及び重力感知に基づく商品と顧客とのマッチ方法を実現する。

【発明の効果】

【0009】

本発明の実施例は上記技術案によって以下のような有益な効果をもたらした。

【0010】

ショッピング場所内の顧客をリアルタイムに追跡し、載置重量が変化する棚の棚位置を取得し、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、棚位置と、顧客の手部位置と、顧客の動作行為とに基づいて、購入者の身分情報を特定し、該購入者は商品認識結果とマッチする顧客であることによって、商品認識結果と顧客との正確なマッチを実現し、無人コンビニの会計作業の完成に有利である。

【図面の簡単な説明】

【0011】

【図1】本発明の１つの実施例により提供される視覚及び重力感知に基づく商品と顧客とのマッチ方法のフローチャートである。

【図2】本発明の他の実施例により提供される視覚及び重力感知に基づく商品と顧客とのマッチ方法のフローチャートである。

【図3】本発明の他の実施例により提供される他の視覚及び重力感知に基づく商品と顧客とのマッチ方法のフローチャートである。

【図4】本発明の１つの実施例により提供される視覚及び重力感知に基づく商品と顧客とのマッチ装置の構成模式図である。

【発明を実施するための形態】

【0012】

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面と合わせて本発明の実施形態をさらに詳しく説明する。

【0013】

図１を参照して、本発明の実施例は視覚及び重力感知に基づく商品と顧客とのマッチ方法が提供され、該方法は、ステップ１０１～ステップ１０４を含む。

【0014】

ステップ１０１において、顧客の身分情報を取得し、ショッピング場所内に顧客をリアルタイムに追跡する。

【0015】

具体的には、顧客は、店舗、スーパー、特に無人店舗を例としたショッピング場所に入場する前に、携帯電話、タブレットコンピュータを例とした端末設備に該マッチング方法に対応する又は含むＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーションソフトウェア）をインストールすること、又は、アプレットやウィーチャット公式アカウントによって、顧客の登録を完成してもよく、ショッピング場所に配置されるセルフサービス登録端末に登録を完成してもよく、ただし、アプレットは、ウィーチャット（ＷｅＣｈａｔ）内のアプレット（又は、ウィーチャットアプレットと呼ぶ）であっでもよい。登録時、顧客の身分情報（ＩＤ）を収集することが必要であり、それは、異なる顧客を区別するために用いられ、顧客の唯一の標識であって、身分証番号、携帯電話番号、ユーザアカウント、ニックネーム、顔情報、指紋情報等のうちの１種又は複数種を含んでもよい。顧客が会計する時に、支払口座番号を提示する代わりに、自動的に支払うことができるように、該身分情報は、支払口座番号をさらに含んでもよい。支払口座番号は、銀行口座番号であってもよく、例えば、余額宝、ウィーチャット支払い、ＱＱ財布、京東財布等の第三者支払口座番号であってもよい。顧客に必要な商品をより良好に提供するために、該身分情報は、氏名、性別、職業等をさらに含んでもよい。

【0016】

ショッピング場所の入口にゲートが配置され、身分情報認識装置は、顧客の身分情報を取得した後、該身分情報を認証し、認証できた顧客に対してゲートを開鎖し、該顧客がショッピング場所に入場してショッピングすることができ、登録されていない又は認証できていない顧客に対してゲートを開鎖せず、該顧客がショッピング場所に入場することができない。身分情報認識装置は、顔認識装置であってもよく、対応する身分情報が顔情報である。身分情報認識装置は、指紋認識装置であってもよく、対応する身分情報が指紋情報である。他の実施例において、身分情報認識装置は、バーコードスキャナ端末のような他の装置であってもよく、顧客の身分情報が記載された媒体が２次元コードであってもよい。バーコードスキャナ端末は、顧客の持っている端末装置に表示される２次元コードを走査することにより、顧客の身分情報の認証を実現する。身分情報認識装置は、ショッピング場所の番号を表す２次元コード又はバーコードであってもよく、顧客は、端末装置におけるAppによって該２次元コード又はバーコードを走査し、身分情報の認証を実現する。ショッピング場所内に商品が載置される棚が配置され、複数の棚が間隔で積層されて１つの商品棚を形成することができ、棚の数が複数であってもよく、複数の棚がショッピング場所に形成される空間内に配置される。顧客がショッピング場所に入場した後、自分の必要に応じて棚の前に停留でき、取得行為と返還行為を含む取得及び返還行為を実行することにより購入しようとする商品を選択することができる。取得行為は、購入意欲を有し、商品に対して取得動作を行うことを示し、返還行為は、購入意欲を放棄し、商品に対して返還動作を行うことを示す。ショッピング場所のスペースが大きく、複数の顧客を同時に収納してショッピングすることができる。商品がどの顧客が購入したかを特定するためには、顧客がショッピング場所に入場した後、該顧客に対するリアルタイムの追従を維持すること、すなわち、顧客のショッピング場所内の位置決め位置をリアルタイムに取得することが必要である。

【0017】

リアルタイム追跡の実現方法は、デプスカメラに基づく位置決め方法であってもよく、例えばショッピング場所内の頂部又は天井に複数のデプスカメラを配置し、デプスカメラは、撮像方向を下向きにし、数がショッピング場所の大きさに応じて調整することができ、実時に、撮像範囲がショッピング場所の形成された空間をカバーすることが好ましい。顧客がショッピング場所内で活動する場合、各デプスカメラは、各画像フレームの画面においてターゲット検出アルゴリズムにより顧客の画面における位置を検出し、その後、デプス情報に基づいて顧客がショッピング場所に形成された３次元空間における位置を算出する。近隣の時点で、顧客位置の間の距離を算出することにより、位置の変化が最も小さい顧客を見つけ、顧客の追跡を完成し、すなわち、隣接する画像フレームのうちの前記３次元空間内の顧客の距離を比較することにより、２つのフレームの間の距離が最も近い顧客は同一の顧客であると考えられる。デプス情報とは、デプスカメラを有するカメラが撮像された各画素点に対応する３次元空間中の物体から該カメラ自体までの距離である。デプスカメラが棚の上方に配置される場合、デプスカメラ技術に基づいて顧客の手部位置を取得することができる。実現プロセスは、画像処理に関するものであるから、視覚に基づく技術と呼ばれることができる。

【0018】

ステップ１０２において、載置重量が変化する棚の棚位置を取得する。

【0019】

ショッピング場所に入場した後、顧客はショッピング場所内で移動し、顧客が自分が好きな商品を見つけた場合、商品を載置する棚の前に停留し、その後、商品に対して取得動作を行うことにより、該商品が購入しようとする商品に属していることを示し、又は、商品に対して返還動作を行うことにより、該商品が購入しようとする商品に属していないことを示す。顧客が取得動作を行う時、棚に載置される重量が減少し、顧客が返還動作を行う時、棚に載置される重量が増加する。重力感知技術に基づいて棚の載置重量変化を検出し、例えば棚に重力センサを設置する。載置重量が減少することを検知した場合、顧客が商品を取得したことを示し、載置重量が増加することを検知した場合、顧客が商品を返還したことを示す。使用前に、各棚はショッピング場所内の３次元空間の位置を測定し、且つその上に設置された重力センサに対応することにより、重力センサが載置重量の変化を検出した時に、載置重量が変化する棚の棚位置を特定することができる。

【0020】

ステップ１０３において、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得する。

【0021】

具体的には、重力感知技術に基づいて、棚の載置重量が変化する重量変化値を取得し、重量変化値及び棚に載置される各商品の重力値に基づいて重量認識結果を取得し、該重量認識結果を商品認識結果とする。

【0022】

例えば、各棚に対して重力センサが配置され、棚に異なる重量の商品のみ置かれ、棚のコラムに一つの商品を置って、且つ棚のコラムに置かれた商品の重量が異なり、該棚の棚重力値テーブルには、棚において各商品の種類及び対応的な重量値が記録され、複数のコラムは、棚の支持板に間隔を空けて仕切り板を設けて形成されてもよい。顧客が取得及び返還動作を実行する時、重力センサは、棚の載置重量が変化する重量変化値を検出する。該重量変化値が減少する場合、顧客が該商品について取得行為を実行したことを示し、該重量変化値が増加する場合、顧客が該商品について返還行為を実行したことを示す。棚重力値テーブルおいて、該重量変化値の絶対値に対応する重力値を検索し、検索できる場合、該重力値に対応する商品の種類及び商品の数を重量認識結果とし、その後、該重量認識結果を商品認識結果とする。

【0023】

ステップ１０４において、棚位置と、顧客の手部位置と、顧客の動作行為とに基づいて、購入者の身分情報を特定し、購入者は商品認識結果とマッチする顧客である。

【0024】

具体的には、棚位置と顧客の位置決め位置とに基づいて載置重量が変化する時に棚の近傍に位置する顧客である棚近傍顧客を特定し、その後、該棚近傍顧客の動作行為及び該棚近傍顧客の手部位置によって、棚近傍顧客のうちのどの顧客の動作行為が棚の載置重量の変化を引き起こしたかを特定することにより、該顧客を購入者である。このようにして商品認識結果と顧客とのマッチすることが完成され、顧客の身分情報が特定された後、商品認識結果に基づいて該顧客のショッピングカー（ショッピングリスト又は仮想ショッピングカー）に対して商品追加の操作や商品削除の操作を行い、会計に有利である。

【0025】

要約すると、本発明の実施例は、ショッピング場所内の顧客をリアルタイムに追跡し、載置重量が変化する棚の棚位置を取得し、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、棚位置と、顧客の手部位置と、顧客の動作行為とに基づいて、購入者の身分情報を特定し、該購入者は商品認識結果とマッチする顧客であることによって、商品認識結果と顧客との正確なマッチを実現し、無人コンビニの会計作業の完成に有利であり、レジ係りの作業を減少させる。

【0026】

図２を参照して、本発明の他の実施例は、視覚及び重力感知に基づく商品と顧客とのマッチ方法が提供され、該方法は、ステップ２０１～ステップ２０８を含む。

【0027】

ステップ２０１において、顧客の身分情報を取得し、ショッピング場所内の顧客をリアルタイムに追跡する。

【0028】

ステップ２０２において、載置重量が変化する棚の棚位置を取得する。

【0029】

ステップ２０３において、重力感知技術に基づいて、棚の載置重量が変化する重量変化値を取得し、重量変化値及びショッピング場所内の各商品の重力値によって、重量認識結果を取得する。

【0030】

通常、総重力値テーブルにショッピング場所内の各商品の種類、対応する重力値及び初期安置棚を記録する。なお、ステップ２０１～ステップ２０３の説明については、上記の実施例に関連する説明を参照し、ここで一々重複説明を省略する。

【0031】

ステップ２０４において、視覚認識技術に基づいて、顧客の取得及び返還行為に係る商品に対応する視覚認識結果を取得し、取得及び返還行為が実行する取得及び返還時間は、棚の載置重量が変化する重量変化時間とマッチする。

【0032】

具体的には、顧客の商品に対する取得及び返還行為を撮像し、このようにして顧客のショッピングプロセスにおける画像を取得することができ、撮像カメラの配置方法は、棚に形成された立体空間の前の上方に、例えばショッピング場所の頂部又は棚に、カメラを配置し、カメラの撮像方向を下向きにしてもよい。取得行為の認識は、動作行為の軌跡によって判断することができる。顧客は、商品を手に持ち、棚から徐々に離れる場合、該行為は商品に対する取得行為であると認識する。顧客は、商品を手に持ち、棚に近づいてくる場合、該行為は商品に対する返還行為であると認識する。商品の認識は、認識モデルにより完成することができ、例えば畳み込みニューラルネットワークモデルである。モデルの入力は、収集した商品画像であってもよく、モデルの出力は、取得及び返還商品（または商品画像において商品の種類と呼ぶ）、すなわち、顧客の取得及び返還動作に対応する商品であってもよい。棚位置は、載置重量が変化することを検出した重力センサに基づいて特定するものであり、且つ重量変化は、必ず顧客が取得及び返還行為を実行したことに起因するため、この視覚認識技術に係る取得及び返還時間は、棚載置重量が変化する時間とマッチすることが必要であり、すなわち、視覚認識結果に対応する取得及び返還時間において棚載置重量が変化する時間とマッチするもののみを商品認識結果とする。視覚認識結果は、取得及び返還商品の種類を含んでもよく、取得及び返還商品の種類および数を含んでもよい。

【0033】

取得及び返還時間は、該回の取得及び返還行為が実行される時間であり、それは、商品を含む画像を収集した任意の時間を取得及び返還時間としてもよい。取得及び返還行為が取得行為である場合、今回の取得及び返還行為において最初に商品を含む画像を収集した時間を取得及び返還時間（又は商品取得時間と呼ぶ）としてもよく、取得及び返還行為が返還行為である場合、今回の取得及び返還行為において最後に商品を含む画像を収集した時間を取得及び返還時間（又は商品返還時間と呼ぶ）としてもよい。

【0034】

この技術により、ショッピング場所内の販売しようとする商品を自由に安置することができ、すなわち、固定された位置を有していなくてもよく、同時に、各商品の重量は同じでもよく、重量が異なることに限らず、このようにして商品の種類を豊富にし、さらに顧客の個別化のニーズを満たすことができる。商品を認識する時には、画像処理に係るものであるため、視覚に基づく技術と呼ばれ、本技術は重力感知技術に対して、商品の安置を限らなくてもよく、例えば、顧客が購入しようとしない商品は元の位置（又は初期位置）に戻さなくてもよく、他の棚又は他の商品棚に置いてもよい。

【0035】

ステップ２０５において、視覚認識結果を、商品認識結果とする。

【0036】

なお、ステップ２０４及び２０５の関連説明内容も、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得するステップの実現形態である。

【0037】

あるシーンで、例えば一回で複数の商品を取得し、複数の商品の間に相互遮蔽現象が発生する可能性があり、視覚認識結果の正確度に影響し、このとき、視覚認識結果の取得及び返還商品は、顧客が実時に取得する商品ではなく、例えば、認識した取得及び返還商品はＤであることに対して、顧客が実時に取得した商品はＣであり、すなわち、実時の商品Ｃを商品Ｄに認識し、商品Ｄを商品認識結果とすると、顧客が会計を行う場合、顧客の無人ショッピングの体験に影響を与えるため、顧客のショッピング体験を向上させ、商品認識の正確度を向上させるために、図３を参照し、ステップ２０４の後、ステップ２０５の前に、本マッチング方法はさらにステップ２０６～ステップ２０８を含む。

【0038】

ステップ２０６において、重量変化値と視覚認識結果に対応する商品重力値とが一致するか否かを判断する。

【0039】

視覚認識結果に対応する商品の重量値は、総重力テーブルから検索することができる。その後、それを重量変化値と比較する。

【0040】

ステップ２０７において、一致しないと判断する場合、重量変化値と、ショッピング場所内に各商品の重力値と、視覚認識結果とに基づいて、商品認識結果を取得する。

【0041】

具体的には、該ステップの実現形態は、以下のとおりであってもよい。
重量変化値と、ショッピング場所内の各商品の重力値とに基づいて、１つの重量認識結果のみが取得された場合、該重量認識結果を商品認識結果とする。例えば、重量変化値がＧである場合、Ｇの絶対値を限定条件とし、組み合わせた後の総重量をＧと一致するようにショッピング場所内の各商品を組み合わせ、１つの組み合わせの場合のみが取得られた場合、該組合せを構成する商品を重量予測商品と呼び、それを商品認識結果における実時の商品として、すなわち、重量認識結果を商品認識結果とし、通常、このシーンでも、視覚認識結果と重量認識結果とが一致するため、商品認識結果は視覚認識結果であってもよい。

【0042】

該ステップの実現形態は、以下のとおりであってもよい。
重量変化値と、ショッピング場所内の各商品の重力値とに基づいて、複数の重量認識結果が取得された場合、複数の重量認識結果において視覚認識結果との重なり度が最も高い重量認識結果を商品認識結果とする。重なり度とは、重量認識結果と視覚認識結果とが同じ種類の商品を有し、すなわち両者が共通点を有し、換言すれば、視覚認識結果に最も近い重量認識結果を商品認識結果とする。

【0043】

該ステップの実現形態は、以下のとおりであってもよい。
視覚認識結果における商品が多規格商品に属する場合、多規格商品は、同一の外観で異なる重量を有する商品であり、例えば、異なる規格のコーラであり、視覚認識結果に基づいて商品の種類を特定し、特定された商品の種類と、ショッピング場所内の各商品の重力値とに基づいて、視覚認識結果に対応する商品の規格を特定し、重量変化値と該商品の重力値とに基づいて商品の数を特定し、この時、商品認識結果では、商品の規格と、商品の種類と、商品の数とが含まれることによって、ショッピング内の商品の選択肢を多様化になることができ、顧客の体験性をより向上させることができる。

【0044】

ステップ２０８において、一致すると判断する場合、ステップ２０５に移行する。
該ステップにおいて、重量認識結果及び視覚認識結果の両方が取得され、且つ対応する重量変化値及び重量値が一致する場合、この視覚認識結果が正しいものと判断され、ステップ２０５に移行し、すなわち、ステップ２０５を実行する。

【0045】

なお、ステップ２０４～ステップ２０８の関連説明内容も、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得するステップの実現形態である。

【0046】

要約すると、本発明の実施例は、ショッピング場所内の顧客をリアルタイムに追跡し、載置重量が変化する棚の棚位置を取得し、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得し、棚位置と、顧客の手部位置と、顧客の動作行為とに基づいて、購入者の身分情報を特定し、該購入者は商品認識結果とマッチする顧客であることによって、商品認識結果と顧客との正確なマッチを実現し、無人コンビニの会計作業の完成に有利であり、また、商品の認識正確度を向上させ、レジ係りの作業を減少させることができる。

【0047】

図４を参照して、本発明の１つの実施例は視覚及び重力感知に基づく商品と顧客とのマッチ装置が提供され、上記方法の実施例を実現する機能を有し、該機能は、ハードウェアで実現されてもよく、ハードウェアで対応するソフトウェアを実行してもよい。該マッチング装置は、顧客追跡モジュール４０１と、棚位置取得モジュール４０２と、商品認識結果取得モジュール４０３と、マッチモジュール４０４と、を含む。

【0048】

ただし、顧客追跡モジュールは、顧客の身分情報を取得し、商品を載置する棚が配置されるショッピング場所内の顧客をリアルタイムに追跡する。棚位置取得モジュールは、載置重量が変化する棚の棚位置を取得する。商品認識結果取得モジュールは、棚の載置重量の変化を引き起こす商品を認識し、商品認識結果を取得する。マッチモジュールは、棚位置と、顧客の手部位置と、顧客の動作行為とに基づいて、購入者の身分情報を特定し、購入者は商品認識結果とマッチする顧客である。

【0049】

好ましくは、マッチモジュールは、棚近傍顧客特定手段と、マッチ手段と、を含む。棚近傍顧客特定手段は、棚位置と顧客の位置決め位置とに基づいて棚近傍顧客を特定し、棚近傍顧客は載置重量が変化する時に棚の近傍に位置する顧客である。マッチ手段は、棚近傍顧客の手部位置と動作行為とに基づいて購入者を特定し、購入者の動作行為に応じて棚の載置重量が変化する。

【0050】

好ましくは、商品認識結果取得モジュールは、重量変化値取得手段と、第１商品認識結果取得手段と、を含む。重量変化値取得手段は、重力感知技術に基づいて、棚の載置重量が変化する重量変化値を取得する。第１商品認識結果取得手段は、重量変化値及び棚に載置される各商品の重力値に基づいて重量認識結果を取得し、重量認識結果が商品認識結果である。

【0051】

好ましくは、商品認識結果取得モジュールは、視覚認識結果取得手段と、第２商品認識結果取得手段とを含む。視覚認識結果取得手段は、視覚認識技術に基づいて、顧客の取得及び返還行為に係る商品に対応する視覚認識結果を取得し、取得及び返還行為が実行する取得及び返還時間は、棚の載置重量が変化する重量変化時間とマッチする。第２商品認識結果取得手段は、視覚認識結果が商品認識結果にする。

【0052】

好ましくは、商品認識結果取得モジュールは、判断手段と、第３商品認識結果取得手段と、移行手段と、をさらに含む。判断手段は、前記重量変化値と取得及び返還重力値とが一致するか否かを判断し、前記取得及び返還重力値は、前記取得及び返還時間に対応する取得及び返還商品の重力値である。第３商品認識結果取得手段は、一致しないと判断する場合、前記重量変化値と、前記ショッピング場所内の各商品の重力値と、前記視覚認識結果とに基づいて、前記商品認識結果を取得する。移行手段は、一致すると判断する場合、第２商品認識結果取得手段の機能を実行する。

【0053】

要約すると、本発明の実施例は、顧客追跡モジュールと、棚位置取得モジュールと、商品認識結果取得モジュールと、マッチモジュールとを設置することによって、商品認識結果と顧客との正確なマッチを実現し、無人コンビニの会計作業の完成に有利であり、また、商品の認識正確度を向上させ、レジ係りの作業を減少させることができる。

【0054】

本発明の１つの実施例は視覚及び重力感知に基づく商品と顧客とのマッチ装置が提供され、メモリと、プロセッサと、を含む。プロセッサは、メモリに接続され、メモリに記憶されたコマンドに基づいて、上記視覚及び重力感知に基づく商品と顧客とのマッチ方法を実施するように配置される。

【0055】

本発明の実施例は、コンピューター読み取り可能の記憶媒体が提供され、その中で、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、プロセッサでロードされて上記視覚及び重力感知に基づく商品と顧客とのマッチ方法を実現する。コンピューター記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置等であってもよい。

【0056】

本文に記載の実施例はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又は他の任意の組み合わせによって実現してもよい。ハードウェアの実現形態について、前記の端末装置は１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタルシグナルプロセッサデバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子部品を設計して本文の前記機能を実行するモジュール又はその組み合わせで実現することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコード、プログラムコード、及びコードセグメントで本実施形態を実現する時、これらを記憶部材等の機械読み取り可能な媒体に記憶してもよい。

【0057】

技術常識からわかるように、本発明は、その精神的な実質又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】