特開 2024-76996 物品数量を検出する装置と方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076996

(43)【公開日】2024-06-06

(54)【発明の名称】物品数量を検出する装置と方法及び電子機器

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240530BHJP

   G07G 1/00 20060101ALI20240530BHJP

【ＦＩ】

G06T7/60 110

G07G1/00 331B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023197340

(22)【出願日】2023-11-21

(31)【優先権主張番号】202211488522.1

(32)【優先日】2022-11-25

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジュ・シエヌタヌ

(72)【発明者】

【氏名】タヌ・ジミン

【テーマコード（参考）】

3E142

5L096

【Ｆターム（参考）】

3E142AA01

3E142BA01

3E142CA12

3E142EA04

3E142GA02

3E142GA03

3E142GA41

5L096BA08

5L096CA02

5L096DA02

5L096DA03

5L096FA02

5L096FA52

5L096GA51

5L096HA11

5L096JA11

5L096JA16

5L096JA22

(57)【要約】

【課題】本発明は、物品数量を検出する装置と方法及び電子機器を提供する。
【解決手段】物品数量を検出する装置は、買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出する検出装置；分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得する分類装置；及び、前記検出装置により検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算する計算装置を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

物品数量を検出する装置であって、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出する検出装置；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得する分類装置；及び
前記検出装置により検出された前記買い物容器内物品の数量と、前記分類重みとに基づいて、前記買い物容器内物品の数量の予測値を計算する計算装置を含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記予測値とスキャン値との差分を確定する判断装置をさらに含み、
前記スキャン値はスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である、装置。

【請求項3】

請求項２に記載の装置であって、
前記判断装置はさらに、前記差分と閾値との比較を行い、前記差分が前記閾値以上であるときに、アラーム情報を生成する、装置。

【請求項4】

請求項３に記載の装置であって、
前記閾値は前記予測値の所在する区間（ｒａｎｇｅ）に基づいて設定される、装置。

【請求項5】

請求項４に記載の装置であって、
前記予測値が大きいほど、前記閾値が大きくなる、装置。

【請求項6】

請求項１に記載の装置であって、
前記分類装置は、画像において買い物容器底部が物品により覆われる度合いに基づいて、前記分類結果を少なくとも２つのカテゴリに分類する、装置。

【請求項7】

請求項１に記載の装置であって、
前記計算装置は、検出された前記買い物容器内物品の数量と前記分類重みとの積を計算して前記買い物容器内物品の数量の予測値を取得する、装置。

【請求項8】

請求項１乃至７のうちの何れか１項に記載の装置を含む、電子機器。

【請求項9】

物品数量を検出する方法であって、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し；及び
検出された前記買い物容器内物品の数量と、前記分類重みとに基づいて、前記買い物容器内物品の数量の予測値を計算することを含む、方法。

【請求項10】

請求項９に記載の方法であって、
前記予測値とスキャン値との差分を確定することをさらに含み、
前記スキャン値はスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検出の技術分野に関する。

【背景技術】

【0002】

顧客の専用レジカウンターでのセルフレジは非常に便利であり、また、従業員削減や運営コスト削減にもつながる。

【0003】

セルフレジにおける商品数量の計算ミスを避けるために、商品数量を確認するための技術が幾つか登場している。例えば、幾つかの技術において、検出機器により、商品に設けられるＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグの情報を読み取って商品の数量や価格などの情報を検出でき、また、例えば、他の幾つかの技術において、コンピュータビジョン処理装置により、買い物かごが空か商品でいっぱいかを確定し、商品数量の計算ミスの可能性を評価できる。

【0004】

なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

商品数量を確認するための上述の技術には幾つかの制限が存在する。例えば、ＲＦＩＤタグにおける情報に基づいて商品数量を検出する場合に、商品毎にＲＦＩＤタグを設ける必要があるため、コストが高く、かつ労力がかかり、また、コンピュータビジョン処理装置を用いた技術の場合に、買い物かごが空か商品でいっぱいかのみを判断でき、買い物かごの中の商品の数量を正確に検出できない。

【0006】

上述の技術問題のうちの少なくとも１つに鑑み、本発明の実施例は、比較的低いコストで買い物容器内の物品の数量を正確に検出し得る物品数量検出装置と方法及び電子機器の提供を課題とする。

【課題を解決するための手段】

【0007】

本発明の実施例の１つの側面によれば、物品数量を検出する装置が提供され、前記物品数量を検出する装置は、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出する検出装置；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得する分類装置；及び
前記検出装置により検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算する計算装置を含む。

【0008】

本発明の実施例のもう１つの側面によれば、物品数量を検出する方法が提供され、前記物品数量を検出する方法は、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し；及び
検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算することを含む。

【0009】

本発明の実施例のまたもう１つの側面によれば、記憶器及び処理器を含む電子機器が提供され、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで物品数量を検出するための前述の方法を実現するように構成される。

【発明の効果】

【0010】

本発明の実施例の有利な効果は少なくとも次のとおりである。即ち、画像に基づいて検出された物品数量及び分類重みを使用して買い物容器内物品の数量を計算することにより、比較的低いコストで買い物容器の中の物品数量を正確に検出することができる。

【0011】

また、１つの実施例について説明した及び／又は示した特徴は、同じ又は類似した方式で１つ又は複数の他の実施例に使用し、他の実施例における特徴と組み合わせ、又は他の実施例における特徴を置換することもできる。

【0012】

なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。

【図面の簡単な説明】

【0013】

本発明の１つの図面又は１つの実施例に記載の要素及び特徴は、１つ又は複数の他の図面又は実施例に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面の中の対応部品を示し、複数の実施例に用いられる対応部品を示すためにも用いられる。

【図1】本発明の実施例において物品数量を検出する装置を示す図である。

【図2】本発明による物品数量検出装置の適用シナリオを示す図である。

【図3A】買い物容器内物品の画像を示す図（その１）である。

【図3B】買い物容器内物品の画像を示す図（その２）である。

【図3C】買い物容器内物品の画像を示す図（その３）である。

【図4】閾値と予測値の対応関係を示す図である。

【図5】本発明の実施例において物品数量を検出する方法を示す図である。

【図6】本発明の実施例に係る電子機器を示す図である。

【発明を実施するための形態】

【0014】

添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付した特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。

【0015】

以下、図面を参照しながら本発明の実施例について説明する。

【0016】

＜第一側面の実施例＞
本発明の実施例では、物品数量を検出する装置が提供される。

【0017】

図１は本発明の実施例において物品数量を検出する装置を示す図である。図１に示すように、物品数量を検出する装置１００は検出装置１、分類装置２及び計算装置３を含む。

【0018】

本発明の実施例において、検出装置１は買い物容器内物品の画像に基づいて該買い物容器内物品の数量を検出し、分類装置２は分類器を用いて買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し、計算装置３は検出装置１が検出した買い物容器内物品の数量、及び分類装置２が得た分類重みに基づいて、買い物容器内物品の数量を計算することで、買い物容器内物品の数量の予測値を得る。

【0019】

本発明の第一側面の実施例によれば、画像に基づいて検出された物品数量及び分類重みを使用して買い物容器内物品の数量を計算することにより、比較的低いコストで買い物容器の中の物品数量を正確に検出することができる。

【0020】

少なくとも１つの実施例において、物品数量を検出する装置１００は商店などの場所に適用され得る。図２は本発明による物品数量検出装置の１つの適用シナリオを示す図である。

【0021】

図２に示すように、買い物容器は物品（商品）を収納する容器（コンテナ）、例えば、買い物かごやショッピングカートなどであっても良い。図２における買い物容器２０１はショッピングカートである。

【0022】

少なくとも１つの実施例において、買い物容器内物品の画像は例えば、カメラを用いて買い物容器内物品を撮影して得た画像であっても良く、該カメラは買い物容器に設置されても良く、又は買い物容器の外部、例えば、商店のチェックアウトカウンターなどの位置に設置されても良い。カメラは買い物容器の上から買い物容器内物品を撮影してその画像を得ることができる。

【0023】

例えば、図２に示すように、カメラ２０３はチェックアウトカウンター２０２の近傍に配置され、買い物容器２０１の上から買い物容器２０１における物品を撮影して買い物容器内物品の画像２０４を取得し得る。

【0024】

物品数量を検出する装置１００は、カメラ２０３が得た買い物容器内物品の画像２０４に基づいて、買い物容器２０１の中の物品の数量を検出できる。

【0025】

少なくとも１つの実施例において、検出装置１は検出モデルを使用して画像２０４に対して検出を行うことで、買い物容器内物品の数量ｄｅｔｅｃｔ＿ｎｕｍを得ることができる。検出装置１が使用する該検出モデルは目標検出アルゴリズムに基づいても良く、該目標検出アルゴリズムは深層学習アルゴリズム、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）アルゴリズムであり得る。また、他のアルゴリズムであっても良い。

【0026】

少なくとも１つの例において、訓練サンプルとしての画像を用いて検出モデルを訓練することで訓練済みの検出モデルを得ることができる。検出装置１は訓練済みのモデルを使用して画像２０４に対して検出を行う。

【0027】

少なくとも１つの実施例において、検出装置１が物品検出を行うときのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）は０．５よりも大きくても良く、即ち、ＩｏＵ＞０．５である。そのうち、ＩＯＵとは、検出装置１が検出した物品の枠と、該物品の実際の枠との共通部分（Ｉｎｔｅｒｓｅｃｔｉｏｎ）と、検出装置１が検出した物品の枠と該物品の実際の枠との和集合（Ｕｎｉｏｎ）との比率（ｒａｔｉｏ）を指す。検出装置１が物品検出を行うときに、精度（ｐｒｅｃｉｓｉｏｎ）は０．８であっても良く、再現率（ｒｅｃａｌｌ）は０．８であっても良い。

【0028】

少なくとも１つの実施例において、分類装置２は分類器を用いて画像２０４を分類し、分類結果に対応する分類重みｗｉを得ることができる。

【0029】

分類装置２が分類した結果は画像２０４の中の買い物容器の底部が物品により覆われる程度（度合い）に対応しても良い。分類の結果は少なくとも２つのカテゴリ（クラスともいう）を含む。例えば、分類の結果は第一カテゴリ、第二カテゴリ及び第三カテゴリを含み得る。

【0030】

第一カテゴリは、買い物容器の底部が少量の物品により覆われる状態、例えば、物品により覆われる面積が買い物容器の底部面積の１／２よりも小さい状態に対応しても良く、該状態は、買い物容器が空（ｅｍｐｔｙ）に近い状態と見なすことでき、第二カテゴリは、買い物容器の底部がより多くの物品により覆われる状態、例えば、物品により覆われる面積が買い物容器の底部面積の１／２よりも大きく、かつ買い物容器の底部面積の２／３よりも小さい状態に対応しても良く、該状態は、買い物容器が半分近く埋まった状態と見なすことができ、第三カテゴリは、買い物容器の底部が大量の物品により覆われる状態、例えば、物品により覆われる面積が買い物容器の底部面積の２／３よりも大きい状態に対応しても良く、該状態は、買い物容器がフル（ｆｕｌｌ）に近い状態と見なすことができる。

【0031】

少なくとも１つの実施例において、分類装置２が使用する分類器は、ラベル付けられた訓練サンプル画像を利用して訓練することで得たものであっても良い。例えば、訓練サンプル画像の中の物品により覆われる買い物容器の底部面積に基づいて、該訓練サンプル画像は第一カテゴリ、第二カテゴリ又は第三カテゴリとラベル付けられても良い。具体的には、該訓練サンプル画像において、物品により覆われる買い物容器の底部面積が買い物容器の底部面積の１／２よりも小さい場合に、該訓練サンプル画像は第一カテゴリとラベル付けることができ、該訓練サンプル画像において、物品により覆われる買い物容器の底部面積が買い物容器の底部面積の１／２よりも大きく、かつ買い物容器の底部面積の２／３よりも小さい場合に、該訓練サンプル画像は第二カテゴリとラベル付けることができ、該訓練サンプル画像において、物品により覆われる買い物容器の底部面積が買い物容器の底部面積の２／３よりも大きい場合に、該訓練サンプル画像は第三カテゴリとラベル付けることができ、また、該訓練サンプル画像において、買い物かごの中の物品が該買い物容器の辺縁（エッジ）から露出した場合（例えば、買い物かごの中の物品の画像が該買い物容器の辺縁とオーバーラップした場合）に、該訓練サンプル画像は第三カテゴリとラベル付けることもできる。

【0032】

なお、上述の第一カテゴリ、第二カテゴリ及び第三カテゴリは例示に過ぎず、分類の結果は４つ以上のカテゴリを有しても良い。

【0033】

少なくとも１つの実施例において、分類装置２が使用する分類器は、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ、Ｒｅｓｎｅｔ）５０のネットワーク構成を有しても良い。

【0034】

少なくとも１つの実施例において、分類装置２は分類結果に対応する分類重みｗｉを得ることができ、例えば、分類装置２は、分類結果と分類重みとの間のマッピング関係に基づいて分類重みｗｉを得ることができ、異なる分類結果は異なる分類重みｗｉに対応し得る。１つの具体的な例において、第一カテゴリに対応する分類重みｗｉは１．３３に等しくても良く、第二カテゴリに対応する分類重みｗｉは２．２１に等しくても良く、第三カテゴリに対応する分類重みｗｉは３．６４に等しくても良い。

【0035】

各分類結果に対応する分類重みｗｉは、該分類結果に対応する訓練サンプル画像において、買い物容器の中の物品の真（実際）の数量と、検出装置１により検出された物品の数量との間の比率を表すために用いられても良い。

【0036】

各分類結果に対応する分類重みｗｉは次のような方式で計算することにより得られても良く、即ち、該分類結果に対応する所定数量の訓練サンプル画像における買い物容器内物品の実際の数量の和を求めて、実際の数量の総和ｓｕｍ＿ｇｔを取得し、検出装置１が該所定数量の各訓練サンプル画像について検出した物品の数量の和を求めて、検出数量の総和ｓｕｍ＿ｄｅｔｅｃｔｉｏｎを取得し、そして、実際の数量の総和ｓｕｍ＿ｇｔと検出数量の総和ｓｕｍ＿ｄｅｔｅｃｔｉｏｎの商を求めて分類重みｗｉを取得し、即ち、ｗｉ＝ｓｕｍ＿ｇｔ／ｓｕｍ＿ｄｅｔｅｃｔｉｏｎである。

【0037】

本発明において、計算装置３は、検出装置１が画像２０４について検出した買い物容器内物品の数量ｄｅｔｅｃｔ＿ｎｕｍ、及び分類装置２が該画像２０４について得た分類重みｗｉに基づいて、画像２０４における買い物容器内物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍを算出する。例えば、該予測値ｐｒｅｄｉｃｔ＿ｎｕｍは、検出された買い物容器内物品の数量ｄｅｔｅｃｔ＿ｎｕｍと分類重みｗｉとの積であっても良く、即ち、ｐｒｅｄｉｃｔ＿ｎｕｍ＝ｄｅｔｅｃｔ＿ｎｕｍ＊ｗｉである。

【0038】

これにより、計算装置３は買い物容器内物品の画像に基づいて買い物容器内物品の数量を正確に計算でき、かつコストが比較的低い。

【0039】

図３Ａ－図３Ｂは、買い物容器内物品の画像を示す図である。

【0040】

例えば、図３Ａに示す画像について、検出装置１が検出した物品数量ｄｅｔｅｃｔ＿ｎｕｍは６であり、分類装置２が分類した結果は第一カテゴリであり、対応する分類重みｗｉは１．３３である。よって、計算装置３が算出した予測値は、ｐｒｅｄｉｃｔ＿ｎｕｍ＝ｄｅｔｅｃｔ＿ｎｕｍ＊ｗｉ＝６＊１．３３＝８である。

【0041】

また、例えば、図３Ｂに示す画像について、検出装置１が検出した物品数量ｄｅｔｅｃｔ＿ｎｕｍは９であり、分類装置２が分類した結果は第二カテゴリであり、対応する分類重みｗｉは２．２１である。よって、計算装置３が算出した予測値は、ｐｒｅｄｉｃｔ＿ｎｕｍ＝ｄｅｔｅｃｔ＿ｎｕｍ＊ｗｉ＝９＊２．２１＝２０である。

【0042】

さらに、例えば、図３Ｃに示す画像について、検出装置１が検出した物品数量ｄｅｔｅｃｔ＿ｎｕｍは１１であり、分類装置２が分類した結果は第三カテゴリであり、対応する分類重みｗｉは３．６４である。よって、計算装置３が算出した予測値は、ｐｒｅｄｉｃｔ＿ｎｕｍ＝ｄｅｔｅｃｔ＿ｎｕｍ＊ｗｉ＝１１＊３．６４＝４０である。

【0043】

図１に示すように、物品数量を検出する装置１００は判断装置４をさらに含んでも良い。

【0044】

判断装置４は、計算装置３が算出した買い物容器内物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍと、スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍとの差分Ｅｒｒｏｒを確定でき、即ち、Ｅｒｒｏｒ＝ｐｒｅｄｉｃｔ＿ｎｕｍ－ｓｃａｎｎｉｎｇ＿ｎｕｍである。

【0045】

スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍはスキャン機器が買い物容器内物品をスキャンして得た物品の数量である。例えば、図２に示すように、スキャン機器２０５はチェックアウトカウンター２０２又はチェックアウトカウンター２０２の近傍に設置されても良く、スキャン機器２０５は物品上のバーコード、ＱＲコード(登録商標)又は磁場などをスキャンすることで、物品数量情報及び／又は価格情報などを得ることができる。

【0046】

少なくとも１つの実施例において、判断装置４はさらに、差分Ｅｒｒｏｒと閾値Ｔｈとを比較し、差分Ｅｒｒｏｒが閾値Ｔｈ以上のときに、アラーム情報を生成することもできる。

【0047】

例えば、顧客はチェックアウトカウンター２０２でチェックアウトするときに、買い物容器内物品を取り出して一つずつスキャン機器２０５に置いてスキャンを行うことで、チェックアウトを行うことができる。スキャンが完了した後に、スキャン機器２０５が得た物品の数量はスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍであり、また、計算装置３が買い物容器内物品の画像に基づいて算出した物品数量の予測値はｐｒｅｄｉｃｔ＿ｎｕｍであり、判断装置４は予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒを計算し、該差分Ｅｒｒｏｒが閾値Ｔｈ以上のときにアラーム情報を生成する。スタッフは該アラーム情報を受け取ったときに、該買い物容器内物品の数量に対して手動で確認するなどの処理を行うことができる。これにより、買い物容器内物品のスキャン漏れを回避できる。

【0048】

少なくとも１つの実施例において、判断装置４が使用する閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍの所在する区間（ｒａｎｇｅ）に基づいて設定されても良い。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが大きいほど、閾値Ｔｈが大きくなる。

【0049】

図４は閾値と予測値の対応関係を示す図である。図４に示すように、異なる閾値Ｔｈは異なる予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間に対応でき、即ち、閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍに対して階段状に変わっても良い。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（０、８］であり、閾値Ｔｈは１であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（８、１５］であり、閾値Ｔｈは３であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（１５、２６］であり、閾値Ｔｈは９であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが２６よりも大きいときに、閾値Ｔｈは２０である。

【0050】

なお、以上、本発明に係る各部品又はモジュールのみを説明したが、本発明はこれらに限定されない。物品数量を検出する装置１００は他の部品又はモジュールをさらに含んでも良く、また、これらの部品又はモジュールの具体的な内容については関連技術を参照できる。

【0051】

便宜のため、図１には各部品又はモジュールの間の接続関係又は信号方向のみが示されているが、当業者が理解できるように、バス接続などの様々な関連技術を採用しても良い。また、上述の各部品又はモジュールは例えば、処理器、記憶器などのハードウェアにより実現されても良いが、本発明の実施例ではこれらについて限定しない。

【0052】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形などを行っても良い。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0053】

＜第二側面の実施例＞
本発明の実施例では、物品数量を検出する方法が提供され、それは、第一側面の実施例において物品数量を検出する装置に対応する。なお、第二側面の実施例では第一側面の実施例と同じ内容の記載を省略する。

【0054】

図５は物品数量を検出する方法を示す図である。図５に示すように、該方法は以下の操作（ステップ）を含む。

【0055】

操作５０１：買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し、検出値ｄｅｔｅｃｔ＿ｎｕｍを取得し；
操作５０２：分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みｗｉを取得し；及び
操作５０３：検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍを計算する。

【0056】

操作５０３では、検出値ｄｅｔｅｃｔ＿ｎｕｍと分類重みｗｉの積を求めて予測値ｐｒｅｄｉｃｔ＿ｎｕｍを得ることができる。

【0057】

操作５０１、５０２、５０３により、比較的低いコストで買い物容器の中の物品数量を正確に検出することができる。

【0058】

図５に示すように、物品数量を検出する方法はさらに次の操作（ステップ）を含んでも良い。

【0059】

操作５０４：前記予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒを確定する。

【0060】

操作５０４では、スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍはスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である。

【0061】

図５に示すように、物品数量を検出する方法はさらに次の操作（ステップ）を含んでも良い。

【0062】

操作５０５：差分Ｅｒｒｏｒと閾値Ｔｈを比較し、差分が閾値以上のときに、アラーム情報を生成する。

【0063】

操作５０５で使用される閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間に応じて設定され得る。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが大きいほど、閾値Ｔｈが大きくなる。

【0064】

以上、本発明に係る各ステップ又はプロセスを説明したが、本発明はこれらに限定されない。物品数量を検出する方法はさらに他のステップ又はプロセスを含んでも良く、また、これらのステップ又はプロセスの具体的な内容については従来技術を参照できる。さらに、以上、物品数量を検出する方法で使用されるモデルの幾つかの構成を例にして本発明の実施例について例示的に説明したが、本発明はこれらの構成に限定されず、これらの構成に対して適切な変形などを行っても良く、また、これらの変形の実施例も本発明の実施例の範囲に含まれるべきである。

【0065】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形などを行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0066】

上述の実施例から分かるように、本発明の物品数量を検出する方法により、画像に基づいて検出された物品数量及び分類重みを使用して、買い物容器内物品の数量を計算することで、比較的低いコストで買い物容器の中の物品数量を正確に検出することができる。

【0067】

＜第三側面の実施例＞
本発明の実施例では、電子機器が提供され、それは、第一側面の実施例に記載の物品数量を検出する装置１００を含み、その内容は、ここに合併される。該電子機器は例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。

【0068】

図６は本発明の実施例に係る電子機器を示す図である。図６に示すように、電子機器６００は処理器（例えば、中央処理器ＣＰＵ）６１０及び記憶器６２０を含んでも良く、記憶器６２０は中央処理器６１０に接続される。そのうち、該記憶器６２０は各種のデータを記憶でき、また、情報処理用のプログラム６２１をも記憶でき、かつ処理器６１０の制御下で該プログラム６２１を実行できる。

【0069】

幾つかの実施例において、物品数量を検出する装置１００の機能は処理器６１０に統合して実現される。そのうち、処理器６１０は第二側面の実施例に記載の物品数量を検出する方法を実現するように構成される。

【0070】

幾つかの実施例において、物品数量を検出する装置１００は処理器６１０と別々に配置され、例えば、物品数量を検出する装置を、処理器６１０に接続されるチップとして構成し、処理器６１０の制御により物品数量を検出する装置の機能を実現しても良い。

【0071】

例えば、処理器６１０は次のような制御を行うように構成されても良く、即ち、買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し；分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し；及び、検出される前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算する。

【0072】

少なくとも幾つかの実施例において、前記物品数量を検出する方法はさらに、前記予測値とスキャン値の差分を確定することを含み、そのうち、前記スキャン値はスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である。

【0073】

少なくとも幾つかの実施例において、前記物品数量を検出する方法はさらに、前記差分與と閾値を比較し、前記差分が前記閾値以上のときにアラーム情報を生成することを含む。

【0074】

少なくとも幾つかの実施例において、前記閾値は前記予測値の所在する区間に基づいて設定される。

【0075】

少なくとも幾つかの実施例において、前記予測値が大きいほど、前記閾値が大きくなる。

【0076】

少なくとも幾つかの実施例において、画像中の前記買い物容器底部が物品により覆われる程度に基づいて、前記分類結果は少なくとも２つのカテゴリに分けられる（分類される）。

【0077】

少なくとも幾つかの実施例において、検出された前記買い物容器内物品の数量と、前記分類重みとの積を求めることで、前記買い物容器内物品の数量の予測値を取得する。

【0078】

また、図６に示すように、電子機器６００はさらに、Ｉ／Ｏ装置６３０、表示器６４０などを含む。そのうち、これらの部品の機能は従来技術と同様であり、ここではその詳しい説明を省略する。なお、電子機器６００は図６中のすべての部品を含む必要がない。また、電子機器６００はさらに、図６にない部品を含んでも良く、これについては関連技術を参照できる。

【0079】

本発明の実施例ではさらにコンピュータ可読プログラムが提供され、そのうち、電子機器で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記電子機器で第二側面の実施例に記載の物品数量を検出する方法を実行させる。

【0080】

本発明の実施例ではさらに、コンピュータ可読プログラムを記憶している記憶媒体が提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、電子機器で第二側面の実施例に記載の物品数量を検出する方法を実行させる。

【0081】

また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の各種の方法又はステップを実現させる。ロジック部品は例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明はさらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、ＤＶＤ、フラッシュメモリなどにも関する。

【0082】

さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせはさらに、計算装置の組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。

【0083】

また、上述の実施例などに関し、さらに以下のような付記をも開示する。

【0084】

（付記１）
物品数量を検出する方法であって、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し；及び
検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算することを含む、方法。

【0085】

（付記２）
付記１に記載の物品数量を検出する方法であって、
前記物品数量を検出する方法はさらに、前記予測値とスキャン値の差分を確定することを含み、
そのうち、前記スキャン値はスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である、方法。

【0086】

（付記３）
付記２に記載の物品数量を検出する方法であって、
前記物品数量を検出する方法はさらに、前記差分と閾値を比較し、前記差分が前記閾値以上のときにアラーム情報を生成することを含む、方法。

【0087】

（付記４）
付記３に記載の物品数量を検出する方法であって、
前記閾値は前記予測値の所在する区間に基づいて設定される、方法。

【0088】

（付記５）
付記４に記載の物品数量を検出する方法であって、
前記予測値が大きいほど、前記閾値が大きくなる、方法。

【0089】

（付記６）
付記１に記載の物品数量を検出する方法であって、
画像中の前記買い物容器底部が物品により覆われる程度に基づいて、前記分類結果を少なくとも２つのカテゴリに分ける（分類する）、方法。

【0090】

（付記７）
付記１に記載の物品数量を検出する方法であって、
検出された前記買い物容器内物品の数量と前記分類重みの積を求めて前記買い物容器内物品の数量の予測値を得る、方法。

【0091】

（付記８）
コンピュータ可読プログラムを記憶した記憶媒体であって、
前記コンピュータ可読プログラムは、該記憶媒体に接続される処理器に、以下の方法を実行させ、即ち、
買い物容器内物品の画像に基づいて前記買い物容器内物品の数量を検出し；
分類器を用いて前記買い物容器内物品の画像を分類し、分類結果に対応する分類重みを取得し；及び
検出された前記買い物容器内物品の数量、及び前記分類重みに基づいて、前記買い物容器内物品の数量の予測値を計算することを含む方法である、記憶媒体。

【0092】

（付記９）
付記８に記載の記憶媒体であって、
前記物品数量を検出する方法はさらに、前記予測値とスキャン値の差分を確定することを含み、
そのうち、前記スキャン値はスキャン機器が前記買い物容器内物品をスキャンして得た物品の数量である、記憶媒体。

【0093】

（付記１０）
付記９に記載の記憶媒体であって、
前記物品数量を検出する方法はさらに、前記差分と閾値を比較し、前記差分が前記閾値以上のときにアラーム情報を生成することを含む、記憶媒体。

【0094】

（付記１１）
付記１０に記載の記憶媒体であって、
前記閾値は前記予測値の所在する区間に基づいて設定される、記憶媒体。

【0095】

（付記１２）
付記１１に記載の記憶媒体であって、
前記予測値が大きいほど、前記閾値が大きくなる、記憶媒体。

【0096】

（付記１３）
付記８に記載の記憶媒体であって、
画像中の前記買い物容器底部が物品により覆われる程度（度合い）に基づいて、前記分類結果を少なくとも２つのカテゴリに分類する、記憶媒体。

【0097】

（付記１４）
付記８に記載の記憶媒体であって、
検出された前記買い物容器内物品の数量と前記分類重みの積を計算して前記買い物容器内物品の数量の予測値を得る、記憶媒体。

【0098】

以上、本発明の好ましい実施例を説明したが、本発明はこのような実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】