2022-528023 会計方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-08

(54)【発明の名称】会計方法、装置及びシステム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20220601BHJP

   G07G 1/00 20060101ALI20220601BHJP

   G06Q 20/40 20120101ALI20220601BHJP

【ＦＩ】

G07G1/12 321Z

G07G1/00 311Z

G07G1/12 301E

G07G1/12 361Z

G07G1/12 321L

G06Q20/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020526571

(86)(22)【出願日】2020-03-09

(85)【翻訳文提出日】2020-05-14

(86)【国際出願番号】 CN2020078470

(87)【国際公開番号】W WO2021179137

(87)【国際公開日】2021-09-16

(81)【指定国・地域】

(71)【出願人】

【識別番号】518107992

【氏名又は名称】▲図▼▲霊▼通▲諾▼（北京）科技有限公司

【氏名又は名称原語表記】Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ１５１１，Ｂｌｏｃｋ Ｂ，ＳＯＨＯ Ｓｈａｎｇｄｕ Ｎｏｒｔｈ Ｔｏｗｅｒ， Ｄｏｎｇｄａｑｉａｏ Ｒｏａｄ ８＃， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， １００１０７ Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100129540

【弁理士】

【氏名又は名称】谷田 龍一

(74)【代理人】

【識別番号】100137648

【弁理士】

【氏名又は名称】吉武 賢一

(72)【発明者】

【氏名】呉一黎

【テーマコード（参考）】

3E142

5L055

【Ｆターム（参考）】

3E142CA20

3E142FA01

3E142GA16

3E142GA41

3E142JA01

5L055AA73

(57)【要約】

本発明は、会計方法、装置及びシステムを開示し、視覚認識技術分野に属する。会計方法は、購入者の身分情報を取得し、前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得し、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行うことを含む。会計装置は、取得モジュールと、認識モジュールと、会計モジュールと、を含む。他の会計装置は、商品棚と、測距センサと、身分検証取得モジュールと、認識画像取得モジュールと、プロセッサと、メモリと、を含む。会計システムは、クライアント端末と、会計装置と、を含む。本発明によれば、販売の流れが良くなり、顧客体験が良くなり、一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。
【選択図】図１

【特許請求の範囲】

【請求項1】

購入者の身分情報を取得するステップＳ１と、
前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得するステップＳ２と、
前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行うステップＳ３と、
を含むことを特徴とする会計方法。

【請求項2】

前記購入者の身分情報を取得することは、具体的に、
目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断し、
予め設定された閾値に合致すると判断する場合、前記目標対象を購入者として確認し、
取得された前記購入者の顔画像に基づいて前記購入者の身分情報を取得すること、を含むことを特徴とする請求項１に記載の会計方法。

【請求項3】

ステップＳ２において、前記購入者の取得動作又は返還動作を認識することは、具体的に、
前記商品を載置する商品棚の前に位置する前記購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、
前記商品棚に対する前記手部の運動軌跡の移動方向に基づいて、前記購入者の動作を取得動作又は返還動作として認識すること、を含むことを特徴とする請求項１に記載の会計方法。

【請求項4】

ステップＳ２において、取得動作又は返還動作に対応する商品を認識して商品認識結果を取得することは、具体的に、
取得された、前記商品を載置する商品棚の前に位置する前記購入者の複数のフレームの手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚内の全ての商品で訓練されたモデルである１次分類モデルに基づいて、複数のプライマリー分類結果を取得するステップＳ２１と、
複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、１次分類結果を取得するステップＳ２２と、
前記１次分類結果に基づいて商品認識結果を取得するステップＳ２３と、
を含むことを特徴とする請求項１から請求項３のいずれか一項に記載の会計方法。

【請求項5】

ステップＳ２２の後、
前記１次分類結果が類似商品か否かを判断するステップＳ２４と、
類似商品と判断する場合、複数のフレームの前記手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚上の全ての類似商品で訓練されたモデルである２次分類モデルに基づいて、複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、前記２次分類結果に基づいて商品認識結果を取得するステップＳ２５と、
類似商品でないと判断する場合、ステップＳ２３に移行するステップＳ２６と、をさらに含むことを特徴とする請求項４に記載の会計方法。

【請求項6】

購入者の身分情報を取得する取得モジュールと、
前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得する認識モジュールと、
前記取得モジュールと前記認識モジュールとに接続され、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行う会計モジュールと、を含むことを特徴とする会計装置。

【請求項7】

前記取得モジュールは、
目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断する距離判断ユニットと、
前記距離判断ユニットの判断結果が予め設定された閾値に合致する場合、前記目標対象を購入者として確認する確認ユニットと、
取得された前記購入者の顔画像に基づいて前記購入者の身分情報を取得する取得ユニットと、
を含むことを特徴とする請求項６に記載の会計装置。

【請求項8】

前記認識モジュールは、
前記商品を載置する商品棚の前に位置する前記購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、前記商品棚に対する前記手部の運動軌跡の移動方向に基づいて、前記購入者の動作を取得動作又は返還動作として認識する動作認識ユニットと、
取得された、前記商品を載置する商品棚の前に位置する前記購入者の複数のフレームの手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚内の全ての商品で訓練されたモデルである１次分類モデルに基づいて、複数のプライマリー分類結果を取得し、複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、１次分類結果を取得し、前記１次分類結果に基づいて商品認識結果を取得する商品認識ユニットと、
を含むことを特徴とする請求項６に記載の会計装置。

【請求項9】

前記商品認識ユニットは、さらに、
前記１次分類結果を取得した後、前記１次分類結果が類似商品か否かを判断し、類似商品と判断する場合、複数のフレームの前記手部画像と、事前訓練された、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚上の全ての類似商品で訓練されたモデルである２次分類モデルに基づいて、複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、前記２次分類結果に基づいて商品認識結果を取得し、類似商品ではないと判断する場合、前記１次分類結果に基づいて商品認識結果を取得することに用いられることを特徴とする請求項８に記載の会計装置。

【請求項10】

商品を載置する商品棚と、
前記商品棚に設置され、目標対象と測距センサとの距離情報を生成する測距センサと、
前記商品棚に設置され、前記目標対象の顔画像を取得する身分検証取得モジュールと、
前記商品棚に設置され、前記目標対象の手部画像を取得する認識画像取得モジュールと、
プロセッサと、
プロセッサが実行可能なコマンドを記憶するためのメモリと、を含み、
プロセッサは、前記距離情報及び顔画像に基づいて購入者の身分情報を取得し、前記認識画像取得モジュールから送信された手部画像に基づいて前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得し、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行うように構成されることを特徴とする会計装置。

【請求項11】

クライアント端末と、会計装置と、を含み、
前記クライアント端末は、前記目標対象の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の生成する会計明細書を受信するものであり、
前記会計装置は、請求項６から請求項９のいずれか一項に記載の会計装置であることを特徴とする会計システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚認識技術分野に属し、特に、会計方法と、装置及びシステムに関する。

【背景技術】

【0002】

自動販売機（自販機ともいう）は、係員の操作を必要としないため、販売が便利になる。現在、人が集まる地域、例えば駅、デパート、病院、学校では、非常に人気になる。自動販売機の販売流れは以下の通りである。顧客は、自分の好きな商品を一つ選別し、該商品に対応するボタンを押し、そして硬貨又は紙幣を投入し、又は例えばアリペイ、ウィーチャット等の移動支払い手段を使用して支払いを完了することにより、該商品を手に入る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

情報技術の発展に従い、顧客は、自動販売機の販売流れが良くないとますます感じ、「ジャスト・ウォーク・アウト」という会計方式を実現することができない。該会計方式により、顧客は、自分の好きな商品を選別すれば、すぐに離れることができる。なお、自動販売機が一度に一つの商品の取引のみを完了するので、複数の商品を購入するニーズがある場合、顧客は複数回の取引とする必要があり、購入が不便になる。また、自動販売機の商品棚に置かれるものは、サンプルであり、即ち非現実的に販売できる商品である。また、商品棚には、一行のサンプルしか置かれないので、商品の種類は、とても少なく、顧客の商品多様化のニーズを満たすことができない。

【課題を解決するための手段】

【0004】

従来技術に存在する問題を解決するために、本発明の一側面には、購入者の身分情報を取得するステップＳ１と、前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得するステップＳ２と、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行うステップＳ３と、を含む会計方法が提供されている。

【0005】

好ましくは、以上の前記会計方法において、前記購入者の身分情報を取得することは、具体的に、目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断し、予め設定された閾値に合致すると判断する場合、前記目標対象を購入者として確認し、取得された前記購入者の顔画像に基づいて前記購入者の身分情報を取得すること、を含む。

【0006】

好ましくは、以上の前記会計方法におけるステップＳ２について、前記購入者の取得動作又は返還動作を認識することは、具体的に、前記商品を載置する商品棚の前に位置する前記購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関する時間軸に沿って手部の運動軌跡を作成し、前記商品棚に対する前記手部の運動軌跡の移動方向に基づいて、前記購入者の動作を取得動作又は返還動作として認識すること、を含む。

【0007】

好ましくは、以上の前記会計方法におけるステップＳ２について、取得動作又は返還動作に対応する商品を認識して商品認識結果を取得することは、具体的に、取得された前記商品を載置する商品棚の前に位置する前記購入者の連続した複数のフレームの手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚内の全ての商品で訓練されたモデルである１次分類モデルに基づいて、複数のプライマリー分類結果を取得するステップＳ２１と、複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて１次分類結果を取得するステップＳ２２と、前記１次分類結果に基づいて商品認識結果を取得するステップＳ２３と、を含む。

【0008】

好ましくは、以上の前記会計方法において、ステップＳ２２の後、前記会計方法は、前記１次分類結果が類似商品か否かを判断するステップＳ２４と、類似商品と判断する場合、複数のフレームの前記手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚上の全ての類似商品で訓練されたモデルである２次分類モデルに基づいて、複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、前記２次分類結果に基づいて商品認識結果を取得するステップＳ２５と、類似商品でないと判断する場合、ステップＳ２３に移行するステップＳ２６と、をさらに含む。

【0009】

本発明の他の側面には、購入者の身分情報を取得する取得モジュールと、前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得する認識モジュールと、前記取得モジュールと前記認識モジュールとに接続され、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行う会計モジュールと、を含む会計装置が提供されている。

【0010】

好ましくは、以上の前記会計装置において、前記取得モジュールは、目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断するための距離判断ユニットと、前記距離判断ユニットの判断結果が予め設定された閾値に合致する場合、前記目標対象を購入者として確認するための確認ユニットと、取得された前記購入者の顔画像に基づいて前記購入者の身分情報を取得する取得ユニットと、を含む。

【0011】

好ましくは、以上の前記会計装置において、前記認識モジュールは、前記商品を載置する商品棚の前に位置する前記購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関する時間軸に沿って手部の運動軌跡を作成し、前記商品棚に対する前記手部の運動軌跡の移動方向に基づいて、前記購入者の動作を取得動作又は返還動作として認識する動作認識ユニットと、取得された前記商品を載置する商品棚の前に位置する前記購入者の複数のフレームの手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚内の全ての商品で訓練されたモデルである１次分類モデルに基づいて、複数のプライマリー分類結果を取得し、複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて１次分類結果を取得し、前記１次分類結果に基づいて商品認識結果を取得する商品認識ユニットと、を含む。

【0012】

好ましくは、以上の前記会計装置において、前記商品認識ユニットは、さらに、
前記１次分類結果を取得した後、前記１次分類結果が類似商品か否かを判断し、類似商品と判断する場合、複数のフレームの前記手部画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記商品棚上の全ての類似商品で訓練されたモデルである２次分類モデルに基づいて複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、前記２次分類結果に基づいて商品認識結果を取得し、類似商品でないと判断する場合、前記１次分類結果に基づいて商品認識結果を取得するものである。

【0013】

本発明のまた他の側面には、商品を載置する商品棚と、前記商品棚に設置され、目標対象と測距センサとの距離情報を生成する測距センサと、前記商品棚に設置され、前記目標対象画像の顔画像を取得する身分検証取得モジュールと、前記商品棚に設置され、前記目標対象画像の手部画像を取得する認識画像取得モジュールと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を含み、前記プロセッサは、前記距離情報及び顔画像に基づいて購入者の身分情報を取得し、前記認識画像取得モジュールから送信された手部画像に基づいて前記購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得し、前記購入者の身分情報と、前記動作認識結果と、前記商品認識結果とに基づいて会計を行うように構成される会計装置が提供されている。

【0014】

本発明の又他の側面には、クライアント端末と、会計装置と、を含み、前記クライアント端末は、前記目標対象の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の生成する会計明細書を受信するものであり、会計装置は上記の会計装置である会計システムが提供されている。

【発明の効果】

【0015】

本発明の実施例は、上記の技術方案により以下の有益な効果をもたらす。
販売の流れが良くなり、顧客体験が良くなる。一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施例による会計方法のフローチャートである。

【図2】本発明の実施例による商品認識方法のフローチャートである。

【図3】本発明の実施例による他の商品認識方法のフローチャートである。

【図4】本発明の実施例による会計装置の構成模式図である。

【発明を実施するための形態】

【0017】

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。

【0018】

図１を参照して、本発明の実施例には、会計方法が提供されている。図１を参照して、該方法は、以下のようなステップを含む。

【0019】

ステップＳ１において、購入者の身分情報を取得する。

【0020】

具体的に、該ステップの実現方式は、目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断し、予め設定された閾値に合致すると判断する場合、目標対象を購入者として確認し、そして購入者の顔画像を取得し、取得された購入者の顔画像に基づいて購入者の身分情報を取得すること、を含む。この実現方式は、特に、企業のオフィス内を例とした開放式無人のショッピングシーンに適用し、すなわち、商品を載置する商品棚に対してドアロックモジュールを設ける必要がない。従来の方法では、通常、ドアロックモジュールを設置し、ドアロック制御モジュールが開いた状態にある時のみ、購入者は商品を選択できるようになっている。

【0021】

測距センサは、超音波測距センサ、赤外線測距センサ、レーダセンサ等であってもよい。予め設定された閾値は、例えば６５ｃｍ、７５ｃｍ等に設定され、具体的な数値は実際の応用状況に応じて選択することができ、本実施例はこれに限定されない。測距センサの位置は商品を載置する商品棚の位置と相関関係を有することによって、すなわち、目標対象と測距センサとの距離によって目標対象と商品棚との距離を表し、例えば測距センサは商品棚上に設置される。目標対象がショッピングしようとする時、徐々に測距センサに近づき、測距センサは、目標対象に関する距離情報を生成し、下記のプロセッサは、該距離情報を予め設定された閾値と比較し、予め設定された閾値と一致する場合、目標対象が購入者であることを確認し、且つ下記の身分検証取得モジュールを起動することにより、該目標対象（この時に購入者といえる）の顔画像を取得し、予め設定された閾値より大きい場合、距離情報と予め設定された閾値の大きさと比較し続ける。そして、購入者の顔画像を認識することにより、購入者の身分情報を確認する。応用する前に、アプリケーションシーン内の目標対象の顔画像を取得する必要があり、下記のクライアント端末によって取得することができる。

【0022】

ステップＳ２において、購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得する。

【0023】

具体的に、購入者の身分情報を確認した後、取得動作又は返還動作を該購入者に関連付けることにより、どの購入者が商品に対して取得動作又は返還動作を行ったか、すなわち、どの購入者が商品を買おうとするかが知られる。取得動作又は返還動作に対応する商品がどの商品であるかを認識した後、該顧客に対応する買物明細書（仮想ショッピングカーともいう）を生成する。顧客が商品に対して取得動作を行うと、その顧客の買物明細書に該商品を対応的に追加し、顧客が商品に対して返還動作を行うと、買物明細書に該商品を対応的に取り除き、つまり、買物明細書が顧客の取得動作又は返還動作に応じてリアルタイムで更新されている。

【0024】

該ステップにおけるサブステップにおいて、購入者の取得動作または返還動作を認識して動作認識結果を取得することの実現方式は、商品を載置する商品棚の前に位置する購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関する時間軸に沿って手部の運動軌跡を作成し、商品棚に対する手部の運動軌跡の移動方向に基づいて、購入者の動作を取得動作又は返還動作として認識すること、を含む。

【0025】

認識画像収集モジュール、例えば撮像ヘッドは、顧客の手部画像を撮像することが有利になるため、撮像範囲が商品棚の前方を覆うように、商品棚のドア框上に配置され、その撮像方向が下向きである。撮像ヘッドは、１秒毎に複数のフレーム、例えば３０フレームの画像を撮像する。撮像ヘッドの撮像した購入者の手部画像を１フレームずつ検出し、各フレームの手部画像における手部の位置をマークして保存し、１フレームずつ前述の操作を繰り返すことで、時間軸上に１本の手部の運動軌跡が取得される。各フレームの画像中の手部の位置が取得されるだけでなく、あるフレームの手部画像に基づいて、手に商品を持っているか否かと判断し、及び商品の種別を確認することができる。ドア框の下部には、手部画像の撮像と商品認識の確度を確保するため、撮像方向が上向きである認識画像取得モジュールが配置されている。認識の確度を向上するため、各認識画像収集モジュールの数は複数であり、例えば2つである。実際に適用する時に、2つの認識画像取得モジュールは商品棚上で対角に設置され、この時に一つの認識画像取得モジュールの撮像角度は斜め下向きであり、もう一つの認識画像取得モジュールの撮像角度は斜め上向きである。

【0026】

手部画像には、商品棚と一定の距離、例えば8ｃｍ、１２ｃｍの間隔をあける１つの仮想動作境界線が付されている。手部の運動軌跡が商品棚から離れた位置から動作境界線を通って商品棚に近い位置に動くことを検出した場合、簡単に言えば、動作境界線外から動作境界線内に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の返還動作であると認定される。手部の運動軌跡が商品棚に近い位置から動作境界線を通って商品棚から離れた位置に動くことを検出した場合、簡単に言えば、動作境界線内から動作境界線外に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の取得動作であると認定される。

【0027】

撮像ヘッドは、ビデオデータを継続的に取得し、１秒毎に複数のフレーム、例えば数十フレームの手部画像を取得する。１秒ごとに１フレームの手部画像が取得され、手部位置が切り出されてもよい。手中の商品の分類（又は認識と称する）は、事前訓練された下記の分類モデルで実現することができる。

【0028】

図２を参照して、取得動作又は返還動作に対応する商品を認識する方法は、次のステップを採用することができる。

【0029】

ステップＳ２１において、取得された商品を載置する商品棚の前に位置する購入者の複数のフレームの手部画像と、事前訓練された１次分類モデルに基づいて、複数のプライマリー分類結果を取得する。

【0030】

具体的には、手部画像から商品に対応する目標領域をマークするように、商品が含まれるフレームごとの手部画像に目標検査を行い、目標領域に対応する画像を目標領域画像と呼ばれる。目標領域の形状は、矩形、円形であってもよい。複数のフレームの手部画像の取得は、1つの下記の認識画像取得モジュールから由来してもよく、複数の下記の認識画像取得モジュールから由来してもよく、例えば、２つである。本実施例はこれに限定されない。

【0031】

事前訓練された１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚内の全ての商品で訓練されたモデルである。訓練済みの１次分類モデルは、各目標領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、商品棚上の商品の総数を表す。ベクトルにおける各元素の意味は、１次分類モデルの分類しようとする商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルのうちどの要素の値が最大であることは、モデルが分類しようとする商品がその要素に対応する商品であると認定することを意味する。フレームの数が５つであるとき、プライマリー分類結果の数は、５つのｎ次元ベクトルである。

【0032】

１次分類モデルを訓練しているときに、事前に取得してデータセットを作成する必要がある。データを取得するプロセスは、１）商品棚上の全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含むが、この限りではない。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、商品棚上の全ての商品のデータを用いて訓練される。訓練する時に勾配降下の方式で行うことができる。

【0033】

ステップＳ２２において、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、１次分類結果を取得する。

【0034】

具体的に、１次分類モデルを訓練しているときに、１次分類モデルが出力したプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する手部画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練済みの１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品が商品棚上の商品の中のどの類別に属することを予測した結果を示している。

【0035】

ステップＳ２３において、１次分類結果に基づいて商品認識結果を取得し、すなわち、１次分類結果を商品認識結果として確定する。

【0036】

商品棚上の商品は多種である。該多種の商品の中ではいくらかの外観が類似し、また視覚上で混同しやすい商品が存在しており、これらの商品を類似商品と呼ぶ。分類しようとする一個の商品が類似商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。したがって、図３を参照して、ステップＳ２２の後、下記のステップＳ２４を実行する必要がある。１次分類結果が類似商品か否かを判断し、類似商品と判断する場合、ステップＳ２５を実行し、類似商品でないと判断する場合、ステップＳ２６を実行し、すなわち、ステップＳ２３に移行する。

【0037】

ステップＳ２５において、類似商品と判断する場合、複数のフレームの手部画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚上の全ての類似商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、２次分類結果に基づいて商品認識結果を取得する。

【0038】

具体的には、ステップＳ２２に作成したデータセットにおける類似商品のデータにより２次分類モデルを訓練する。訓練する時に勾配降下の方式により行うことができる。２次分類モデルは、訓練する時に使うデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータは、ショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータは、収納ケースにおける類似商品のデータである。

【0039】

訓練済みの２次分類モデルによって、前記複数の目標領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各元素の意味は、２次分類モデルの分類しようとする一個の商品がｍ個の類似商品の中の各商品に属することを認定する確率を表している。目標領域画像が５枚である時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つ商品棚上の類似商品の総数を表している。

【0040】

２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つの２次分類結果を得るとともに、これを商品認識結果とする。該２次分類結果は、２次線形回帰モデルによって画像中の商品が商品棚上のどの類別に属することを予測した結果を表している。

【0041】

ステップＳ３において、購入者の身分情報と、動作認識結果と、商品認識結果とに基づいて会計を行う。

【0042】

具体的に、購入者の身分情報を取得し、そして購入者のショッピング状況を認識し、すなわちどの購入しようとする商品を選択し、そして該商品に対応する価格を照会し、購入者に必要な支払い費用を取得し、それにより該購入者に対応する会計明細書を生成し、該会計明細書に基づいて会計を行う。会計する時に、購入者は下記のクライアント端末で下記の会計装置の支払い番号にアップロードさせて引き落としを行うことができ、支払い番号は口座番号であってもよく、第三者の口座番号であってもよく、例えばアリペイ番号とテンペイ番号などである。

【0043】

本発明の実施例は、購入者の身分情報を取得することにより、購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得し、また、購入者の身分情報と、動作認識結果と、商品認識結果とに基づいて会計を行い、販売の流れが良くなり、顧客体験が良くなる。一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。

【0044】

図４を参照して、本発明の他の実施例には、取得モジュール４０１と、認識モジュール４０２と、会計モジュール４０３と、を含む会計装置が提供されている。

【0045】

取得モジュール４０１は、購入者の身分情報を取得するものである。認識モジュール４０２は、購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得するものである。会計モジュール４０３は、取得モジュールと認識モジュールとに接続され、購入者の身分情報と、動作認識結果と、商品認識結果とに基づいて会計を行うためのものである。

【0046】

好ましくは、取得モジュールは、目標対象と測距センサとの距離が予め設定された閾値に合致するか否かを判断する距離判断ユニットと、距離判断ユニットの判断結果が予め設定された閾値に合致する場合、目標対象を購入者として確認する確認ユニットと、得られた購入者の顔画像に基づいて購入者の身分情報を取得する取得ユニットと、を含む。

【0047】

好ましくは、認識モジュールは、商品を載置する商品棚の前に位置する購入者の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関する時間軸に沿って手部の運動軌跡を作成し、商品棚に対する手部の運動軌跡の移動方向に基づいて、購入者の動作を取得動作又は返還動作として認識するための動作認識ユニットと、取得された商品を載置する商品棚の前に位置する購入者の複数のフレームの手部画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚内の全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて１次分類結果を取得し、１次分類結果に基づいて商品認識結果を取得する商品認識ユニットと、を含む。

【0048】

好ましくは、商品認識ユニットは、さらに、１次分類結果が取得された後、１次分類結果が類似商品か否かを判断し、類似商品と判断する場合、複数のフレームの手部画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚上の全ての類似商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて２次分類結果を取得し、２次分類結果に基づいて商品認識結果を取得し、類似商品でないと判断する場合、１次分類結果に基づいて商品認識結果を取得するものである。

【0049】

なお、取得モジュール４０１と、認識モジュール４０２と、会計モジュールの具体的な説明については、上記実施例におけるステップＳ１～Ｓ３及びＳ２１～Ｓ２６の関連内容を参照可能であり、ここで省略する。

【0050】

本発明における別の実施例には、商品棚と、測距センサと、身分検証取得モジュールと、認識画像取得モジュールと、プロセッサと、メモリと、を含む会計装置が提供されている。

【0051】

商品棚は、商品を載置するものである。測距センサは、前記商品棚に設置され、目標対象と前記測距センサとの距離情報を生成するものである。身分検証取得モジュールは、前記商品棚に設置され、前記目標対象の顔画像を取得するものである。認識画像取得モジュールは、前記商品棚に設置され、前記目標対象の手部画像を取得するものである。プロセッサである。メモリは、プロセッサが実行可能なコマンドを記憶するものである。プロセッサは、距離情報及び顔画像に基づいて購入者の身分情報を取得し、認識画像取得モジュールから送信された手部画像に基づいて購入者の取得動作または返還動作を認識して動作認識結果を取得し、取得動作または返還動作に対応する商品を認識して商品認識結果を取得し、購入者の身分情報と、動作認識結果と、商品認識結果とに基づいて会計を行うように構成される。身分検証取得モジュール及び認識画像取得モジュールは、いずれも撮像ヘッドであってもよい。

【0052】

認識効率を向上させるために、プロセッサは、ローカルプロセッサユニット及びリモートプロセッサユニットと、を含む。ローカルプロセッサユニット及びリモートプロセッサユニットは、いずれも前記プロセッサの実行機能とするように構成することができる。実際に適用する場合、本会計装置の適用時の信号強度によってローカルプロセッサユニットか、またはリモートプロセッサユニットか、を選択して処理することができ、例えば、信号強度が予め設定された閾値より低いか否かを判断し、信号強度が予め設定された閾値より低い場合、ローカルプロセッサユニットを選択して処理し、信号強度が予め設定された閾値より低くない場合、リモートプロセッサユニットを選択して処理する。

【0053】

本会計装置は、購入者が選択した商品情報をリアルタイムに提示するために、さらにショッピング明細書を表示する表示装置を含み、ショッピング明細書において、商品名、数量、価格を含むが、この限りではない。

【0054】

本会計装置の安全性を向上させるために、身分検証取得モジュールは、リアルタイムに商品棚の周辺環境の画像を取得し、目標対象と距離センサとの距離が予め設定された閾値に合致する場合だけで、プロセッサは身分検証取得モジュールで取得した画像を認識する。

【0055】

好ましくは、商品棚は、商品棚本体及び置物棚を含む。商品棚本体は、商品の載置空間を提供するものである。置物棚は、商品棚本体に取り付けられ、商品の載置位置を提供するものである。好ましくは、置物棚の数は複数であり、複数の置物棚は商品棚本体の内部に平行に取り付けられ、商品棚本体を上から下までに複数の独立した空間に分割し、各置物棚は、商品を載置する横板及び横板の端部に接続され、商品の落下を阻止する縦板を含む。

【0056】

商品棚は、商品の保管、商品の保護、かつ商品内容の表示を容易にするため、商品棚本体の左側、右側及び後側でパンチング板を取り囲んで保護する。商品棚本体の左側、右側、後側でパンチング板を取り囲んで保護することにより、商品棚本体内の商品を防護しやすくなり、商品が商品棚本体から落下することを防止する。

【0057】

会計装置が会計する時のエラーレートを減少させるために、商品棚は、商品棚本体の左側及び右側のパンチング板に取り付けられ、プーリーとスライドレールの方式でパンチング板に移動可能に接続され、パンチング板の左側壁及び右側壁で引き出されるガ-ドレ-ルをさらに含む。ガ-ドレ-ルを取り付けることにより、購入者と無関係の人たちを隔離し、且つ購入者のショッピングプロセスのプライバシーを保護することができ、さらに複数の購入者が順番に購入することを実現でき、それにより、本発明の誤判定によるエラーを減少させ、エラー率が低く、プライバシーを保護しやすいという特徴を有するようになっている。

【0058】

本発明における他の実施例には、クライアント端末と、会計装置と、を含む会計システムが提供されている。クライアント端末は、目標対象の入力した身分情報を受信して会計装置に送信し、また、会計装置の生成する会計明細書を受信するものであり、会計装置は、前記の会計装置である。

【0059】

要するに、本発明の実施例は、以下の有益な効果を得る。

【0060】

販売の流れが良くなり、顧客体験が良くなる。一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。

【0061】

技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない実施案によって実現することができる。したがって、上記開示された実施案は、各側面については、例示に過ぎず、唯一のものではない。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】