特開 2024-76997 物品数量を検出する装置と方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076997

(43)【公開日】2024-06-06

(54)【発明の名称】物品数量を検出する装置と方法及び電子機器

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240530BHJP

   G07G 1/00 20060101ALI20240530BHJP

【ＦＩ】

G06T7/60 110

G07G1/00 331B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023197341

(22)【出願日】2023-11-21

(31)【優先権主張番号】202211487552.0

(32)【優先日】2022-11-25

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジュ・シエヌタヌ

(72)【発明者】

【氏名】タヌ・ジミン

【テーマコード（参考）】

3E142

5L096

【Ｆターム（参考）】

3E142AA01

3E142BA20

3E142CA12

3E142EA04

3E142GA02

3E142GA03

3E142GA41

5L096BA08

5L096CA02

5L096DA02

5L096DA03

5L096EA35

5L096FA02

5L096FA52

5L096GA51

5L096HA11

5L096JA11

5L096JA16

5L096JA22

(57)【要約】

【課題】本発明は、物品数量を検出する装置と方法及び電子機器を提供する。
【解決手段】物品数量を検出する装置は、画像における買い物容器を検出する第一検出装置；分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定する分類装置；及び、前記分類装置により確定された前記物品数量が第一閾値よりも大きいときに、前記分類装置により確定された前記物品数量を前記買い物容器内の物品の数量の予測値とする数量設定装置を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

物品数量を検出する装置であって、
画像における買い物容器を検出する第一検出装置；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定する分類装置；及び
前記分類装置により確定された前記物品数量が第一閾値よりも大きいときに、前記分類装置により確定された前記物品数量を前記買い物容器内の物品の数量の予測値とする数量設定装置を含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記買い物容器内の物品の画像に基づいて前記買い物容器内の物品の数量を検出する第二検出装置をさらに含み、
前記分類装置により確定された前記物品数量が前記第一閾値以下の場合に、前記数量設定装置は、前記第二検出装置により検出された物品の数量を前記予測値とする、装置。

【請求項3】

請求項１に記載の装置であって、
前記予測値と、スキャン値との差分を確定する判断装置をさらに含み、
前記スキャン値は、スキャン装置が前記買い物容器内の物品をスキャンして得た物品の数量である、装置。

【請求項4】

請求項３に記載の装置であって、
前記判断装置はさらに、前記差分と、第二閾値との比較を行い、前記差分が前記第二閾値以上のときにアラーム情報を生成する、装置。

【請求項5】

請求項４に記載の装置であって、
前記第二閾値は、前記予測値の所在する区間に基づいて設定される、装置。

【請求項6】

請求項５に記載の装置であって、
前記予測値が大きいほど、前記第二閾値が大きくなる、装置。

【請求項7】

請求項１に記載の装置であって、
前記分類結果の異なるカテゴリは、異なる物品数量に対応する、装置。

【請求項8】

請求項１乃至７のうちの任意の１項に記載の装置を含む、電子機器。

【請求項9】

物品数量を検出する方法であって、
画像における買い物容器を検出し；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び
確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とすることを含む、方法。

【請求項10】

請求項９に記載の方法であって、
確定された前記物品数量が前記第一閾値以下の場合に、前記買い物容器内の物品の画像に基づいて検出された前記買い物容器内の物品の数量を前記予測値とすることをさらに含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検出の技術分野に関する。

【背景技術】

【0002】

顧客の専用レジカウンターでのセルフレジは非常に便利であり、また、従業員削減や運営コスト削減にもつながる。

【0003】

セルフレジにおける商品数量の計算ミスを避けるために、商品数量を確認するための技術が幾つか登場している。例えば、幾つかの技術において、検出機器により、商品に設けられるＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグの情報を読み取って商品の数量や価格などの情報を検出でき、また、例えば、他の幾つかの技術において、コンピュータビジョン処理装置により、買い物かごが空か商品でいっぱいかを確定し、商品数量の計算ミスの可能性を評価できる。

【0004】

なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

商品数量を確認するための上述の技術には幾つかの制限が存在する。例えば、ＲＦＩＤタグにおける情報に基づいて商品数量を検出する場合に、商品毎にＲＦＩＤタグを設ける必要があるため、コストが高く、かつ労力がかかり、また、コンピュータビジョン処理装置を用いた技術の場合に、買い物かごが空か商品でいっぱいかのみを判断でき、買い物かごの中の商品の数量を正確に検出できない。

【0006】

上述の技術問題のうちの少なくとも１つに鑑み、本発明の実施例は、比較的低いコストで買い物容器内の物品の数量を正確に検出し得る物品数量検出装置と方法及び電子機器の提供を課題とする。

【課題を解決するための手段】

【0007】

本発明の実施例の１つの側面によれば、物品数量を検出する装置が提供され、前記物品数量を検出する装置は、
画像における買い物容器を検出する第一検出装置；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定する分類装置；及び
前記分類装置により確定された前記物品数量が第一閾値よりも大きいときに、前記分類装置により確定された前記物品数量を前記買い物容器内の物品の数量の予測値とする数量設定装置を含む。

【0008】

本発明の実施例のもう１つの側面によれば、物品数量を検出する方法が提供され、前記物品数量を検出する方法は、
画像における買い物容器を検出し；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び
確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とすることを含む。

【0009】

本発明の実施例のまたもう１つの側面によれば、記憶器及び処理器を含む電子機器が提供され、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで、前述の方法を実現するように構成される。

【発明の効果】

【0010】

本発明の実施例の有利な効果は少なくとも次のとおりである。即ち、画像を分類した結果に対応する物品数量と閾値との関係を用いて、買い物容器内の物品数量を確定することで、比較的低いコストで買い物容器内の物品数量を正確に検出できる。

【0011】

また、１つの実施例について説明した及び／又は示した特徴は、同じ又は類似した方式で１つ又は複数の他の実施例に使用し、他の実施例における特徴と組み合わせ、又は他の実施例における特徴を置換することもできる。

【0012】

なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在若しくは付加を排除しないということも指す。

【図面の簡単な説明】

【0013】

本発明の１つの図面又は１つの実施例に記載の要素及び特徴は、１つ又は複数の他の図面又は実施例に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面の中の対応部品を示し、複数の実施例に用いられる対応部品を示すためにも用いられる。

【図1】本発明の実施例において物品数量を検出する装置を示す図である。

【図2】本発明による物品数量検出装置の適用シナリオを示す図である。

【図3】閾値と予測値との対応関係を示す図である。

【図4A】本発明による物品数量検出装置が異なる画像に対して処理を行うことを示す図（その１）である。

【図4B】本発明による物品数量検出装置が異なる画像に対して処理を行うことを示す図（その２）である。

【図5】本発明の実施例において物品数量を検出する方法を示す図である。

【図6】本発明の実施例における電子機器を示す図である。

【発明を実施するための形態】

【0014】

添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付した特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。

【0015】

以下、図面を参照しながら本発明の実施例について説明する。

【0016】

＜第一側面の実施例＞
本発明の実施例では、物品数量を検出する装置が提供される。

【0017】

図１は本発明の実施例において物品数量を検出する装置を示す図である。図１に示すように、物品数量を検出する装置１００は第一検出装置１、分類装置２及び数量設定装置３を含む。

【0018】

本発明の実施例において、第一検出装置１は画像における買い物容器を検出し、第一検出装置１が検出した画像に買い物容器がある場合に、分類装置２は分類器を用いて買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し、分類装置２が確定した物品数量が第一閾値よりも大きいときに、数量設定装置３は分類装置２が確定した物品数量を該買い物容器内の物品の数量の予測値とする。

【0019】

本発明の第一側面の実施例によれば、画像を分類した結果に対応する物品数量と閾値との関係を用いて、買い物容器内の物品数量を確定することで、比較的低いコストで買い物容器内の物品数量を正確に検出できる。

【0020】

少なくとも１つの実施例において、物品数量を検出する装置１００は商店などの場所に適用できる。図２は本発明による物品数量検出装置の適用シナリオを示す図である。

【0021】

図２に示すように、買い物容器は物品（商品）を収納する容器（コンテナ）、例えば、買い物かごやショッピングカートなどであっても良い。なお、図２における買い物容器２０１はショッピングカートである。

【0022】

少なくとも１つの実施例において、買い物容器内の物品の画像は例えば、カメラを用いて買い物容器内の物品を撮影して得た画像であっても良く、該カメラは買い物容器に設置されても良く、又は買い物容器の外部、例えば、商店のチェックアウトカウンターなどの位置に設置されても良い。カメラは買い物容器の上から買い物容器内の物品を撮影してその画像を得ることができる。

【0023】

例えば、図２に示すように、カメラ２０３はチェックアウトカウンター２０２の近傍に配置され、買い物容器２０１の上から買い物容器２０１における物品を撮影して買い物容器内の物品の画像２０４を取得し得る。

【0024】

物品数量を検出する装置１００は、カメラ２０３が得た買い物容器内の物品の画像２０４に基づいて、買い物容器２０１の中の物品の数量を検出できる。

【0025】

少なくとも１つの実施例において、第一検出装置１は、カメラ２０３が撮影した画像に対して検出を行うことで、画像に買い物容器があるかを検出できる。第一検出装置１は一般的な目標検出器により、画像における買い物容器を検出できる。

【0026】

少なくとも１つの実施例において、第一検出装置１により、画像に買い物容器があると検出されたときに、該画像は買い物容器内の物品の画像２０４とすることができ、あるいは、該画像内の買い物容器の所在する領域は買い物容器内の物品の画像２０４として抽出できる。

【0027】

少なくとも１つの実施例において、分類装置２は分類器を利用して画像２０４を分類し、分類結果に対応する物品数量を得ることができる。

【0028】

分類装置２が分類した結果は画像２０４における買い物容器内の物品の数量に対応し得る。分類の結果は少なくとも２つのカテゴリ（クラスともいう）を含み、各カテゴリは物品数量の１つの区間（ｒａｎｇｅ）に対応する。分類装置２は、分類により得られたカテゴリに基づいて、対応する物品数量を確定できる。以下の表１はカテゴリ、物品数量の区間及び対応する物品数量の対応関係の一例である。

【0029】

【表1】

表１に示す例では、カテゴリは１５個あり、各カテゴリはカテゴリ番号ｃｌａｓｓ＿ｎｕｍを有しても良く、カテゴリ番号ｃｌａｓｓ＿ｎｕｍの数値範囲は０～１４である。各カテゴリに対応する物品数量の区間はｎｕｍ＿ｒａｎｇｅであり、例えば、カテゴリ番号ｃｌａｓｓ＿ｎｕｍが４のときに、対応する物品数量は９又は１０である。各区間では、１つの数量を、該カテゴリに対応する物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍとしてとり、即ち、分類装置２は物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍを、該カテゴリに対応する物品数量として確定する。例えば、分類装置２が画像２０４を分類して得たカテゴリ番号ｃｌａｓｓ＿ｎｕｍが１０のときに、対応する物品数量の区間は２１～２３であり、該区間内の数量２２を、カテゴリ番号ｃｌａｓｓ＿ｎｕｍ＝１０に対応する物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍとして確定する。

【0030】

なお、表１に示す例は例示に過ぎず、カテゴリ、物品数量の区間及び対応する物品数量は他の対応関係を有しても良い。

【0031】

少なくとも１つの実施例において、分類装置２が使用する分類器は例えば、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ、Ｒｅｓｎｅｔ）５０のネットワーク構成を有しても良い。また、本発明はこれに限定されず、分類装置２はさらに他の類型の分類器を採用しても良い。

【0032】

少なくとも１つの実施例において、分類装置２が使用する分類器は、訓練サンプル画像を用いて訓練を行うことで得られても良い。例えば、訓練サンプル画像における買い物容器内の物品数量の所在する区間ｎｕｍ＿ｒａｎｇｅがマーク（ラベル付け）されても良く、このようにして、訓練完了後に得られた分類器は、画像における買い物容器内の物品数量を正確に検出し、対応するカテゴリ番号ｃｌａｓｓ＿ｎｕｍを出力できる。訓練サンプル画像における買い物容器内の物品数量の所在する区間ｎｕｍ＿ｒａｎｇｅが１つの客観的な数値区間であるため、訓練サンプルをマークするときに誤差が比較的小さく、訓練完了後に得られた分類器の分類精度は比較的高い。

【0033】

少なくとも１つの実施例において、数量設定装置３は、分類装置２が確定した、分類結果に対応する物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍの比較を行い、比較結果に基づいて該買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍを設定する。

【0034】

例えば、分類装置２が確定した物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍが第一閾値よりも大きい場合に、数量設定装置３は、分類装置２が確定した物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍを、該買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍとする。第一閾値が例えば１０であり、即ち、分類装置２が分類した結果が「カテゴリ番号ｃｌａｓｓ＿ｎｕｍが５～１４である」のときに、数量設定装置３は、分類装置２が確定した物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍを、買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍとする。また、本発明はこれに限られず、第一閾値は他の数値であっても良い。

【0035】

また、例えば、分類装置２が確定した物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍが第一閾値以下の場合に、数量設定装置３は、以下の第二検出装置４が検出した買い物容器内の物品の数量ｄｅｔｅｃｔ＿ｎｕｍを、該買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍとすることができる。

【0036】

図１に示すように、物品数量を検出する装置１００は第二検出装置４をさらに含み得る。第二検出装置４は、買い物容器内の物品の画像２０４に基づいて買い物容器内の物品の数量を検出できる。

【0037】

少なくとも１つの実施例において、第二検出装置４は検出モデルを用いて画像２０４に対して検出を行うことで、買い物容器内の物品の数量ｄｅｔｅｃｔ＿ｎｕｍを得ることができる。第二検出装置４が使用する該検出モデルは目標検出アルゴリズムに基づいても良く、該目標検出アルゴリズムは深層学習アルゴリズム、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）アルゴリズムであっても良い。また、他のアルゴリズムであっても良い。

【0038】

少なくとも１つの例において、訓練サンプルとしての画像を用いて検出モデルを訓練することで訓練済みの検出モデルを得ることができる。第二検出装置４は訓練済みのモデルを使用して画像２０４に対して検出を行う。

【0039】

少なくとも１つの実施例において、第二検出装置４が物品検出を行うときのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）は０．５よりも大きくても良く、即ち、ＩｏＵ＞０．５である。そのうち、ＩＯＵとは、第二検出装置４が検出した物品の枠と、該物品の実際の枠との共通部分（Ｉｎｔｅｒｓｅｃｔｉｏｎ）と、第二検出装置４が検出した物品の枠と該物品の実際の枠との和集合（Ｕｎｉｏｎ）との比率（ｒａｔｉｏ）を指す。第二検出装置４が物品検出を行うときに、精度（ｐｒｅｃｉｓｉｏｎ）は０．８であっても良く、再現率（ｒｅｃａｌｌ）は０．８であっても良い。

【0040】

図１に示すように、物品数量を検出する装置１００は判断装置５をさらに含んでも良い。

【0041】

判断装置５は、数量設定装置３が得た買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒを確定でき、即ち、Ｅｒｒｏｒ＝ｐｒｅｄｉｃｔ＿ｎｕｍ－ｓｃａｎｎｉｎｇ＿ｎｕｍである。

【0042】

スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍはスキャン装置が買い物容器内の物品をスキャンして得た物品の数量である。例えば、図２に示すように、スキャン装置２０５はチェックアウトカウンター２０２又はチェックアウトカウンター２０２の近傍に設置されても良く、スキャン装置２０５は物品上のバーコード、ＱＲコード(登録商標)又は磁場などをスキャンすることで、物品の数量情報及び／又は価格情報などを得ることができる。

【0043】

少なくとも１つの実施例において、判断装置５はさらに、差分Ｅｒｒｏｒと第二閾値Ｔｈを比較し、差分Ｅｒｒｏｒが第二閾値Ｔｈ以上のときに、アラーム情報を生成し得る。

【0044】

例えば、顧客はチェックアウトカウンター２０２でチェックアウトするときに、買い物容器内の物品を取り出して一つずつスキャン装置２０５に置いてスキャンを行ってもらうことで、チェックアウトを行うことができる。スキャンが完了した後に、スキャン装置２０５が得た物品の数量はスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍであり、また、数量設定装置３が買い物容器内の物品の画像に基づいて得た物品数量の予測値はｐｒｅｄｉｃｔ＿ｎｕｍであり、判断装置５は予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒを計算し、該差分Ｅｒｒｏｒが第二閾値Ｔｈ以上のときにアラーム情報を生成する。スタッフは該アラーム情報を受け取ったときに、該買い物容器内の物品の数量に対して手動で確認するなどの処理を行うことができる。これにより、買い物容器内の物品のスキャン漏れを回避できる。

【0045】

少なくとも１つの実施例において、判断装置５が使用する第二閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍの所在する区間（ｒａｎｇｅ）に基づいて設定されても良い。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが大きいほど、第二閾値Ｔｈが大きくなる。

【0046】

図３は第二閾値と予測値との対応関係を示す図である。図３に示すように、異なる第二閾値Ｔｈは異なる予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間に対応でき、即ち、第二閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍに対して階段状に変わっても良い。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（０，８］であり、第二閾値Ｔｈは１であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（８，１５］であり、第二閾値Ｔｈは３であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間が（１５，２６］であり、第二閾値Ｔｈは９であり、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが２６よりも大きいときに、第二閾値Ｔｈは２０である。

【0047】

図４Ａ－図４Ｂは、本発明の物品数量検出装置１００が異なる画像に対して処理を行うことを示す図である。

【0048】

［図４Ａに示す処理］
買い物容器内の物品の画像４１０について、分類装置２が確定した買い物容器内の物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍは６であり、第一閾値１０よりも小さく；
第二検出装置４が画像４１０に対して検出を行って得た買い物容器内の物品数量の検出値ｄｅｔｅｃｔ＿ｎｕｍは４であり；
数量設定装置３は買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍを検出値ｄｅｔｅｃｔ＿ｎｕｍとして設定し、即ち、ｐｒｅｄｉｃｔ＿ｎｕｍ＝４であり；
予測値ｐｒｅｄｉｃｔ＿ｎｕｍが４のときに、対応する第二閾値Ｔｈは１であり；
スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍが４の場合に、予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒが０であり、第二閾値Ｔｈよりも小さいので、判断装置５はアラーム情報を生成しない。

【0049】

［図４Ｂに示す処理］
買い物容器内の物品の画像４２０について、分類装置２が確定した買い物容器内の物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍは１２であり、第一閾値１０よりも大きい。よって、数量設定装置３は買い物容器内の物品の数量の予測値ｐｒｅｄｉｃｔ＿ｎｕｍを、分類装置２が確定した物品数量ｃｏｎｖｅｒｔｅｄ＿ｎｕｍとして設定し、即ち、ｐｒｅｄｉｃｔ＿ｎｕｍ＝１２であり；
予測値ｐｒｅｄｉｃｔ＿ｎｕｍが１２のときに、対応する第二閾値Ｔｈは５であり；
スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍが６の場合に、予測値ｐｒｅｄｉｃｔ＿ｎｕｍとスキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍの差分Ｅｒｒｏｒは６であり、第二閾値Ｔｈよりも大きい。従って、判断装置５はアラーム情報を生成する。

【0050】

なお、以上、本発明に係る各部品又はモジュールのみを説明したが、本発明はこれらに限定されない。物品数量を検出する装置１００は他の部品又はモジュールをさらに含んでも良く、また、これらの部品又はモジュールの具体的な内容については関連技術を参照できる。

【0051】

便宜のため、図１には各部品又はモジュールの間の接続関係又は信号方向のみが示されているが、当業者が理解できるように、バス接続などの様々な関連技術を採用しても良い。また、上述の各部品又はモジュールは例えば、処理器、記憶器などのハードウェアにより実現されても良いが、本発明の実施例ではこれらについて限定しない。

【0052】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形などを行っても良い。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0053】

＜第二側面の実施例＞
本発明の実施例では、物品数量を検出する方法が提供され、それは第一側面の実施例において物品数量を検出する装置に対応する。なお、第二側面の実施例では第一側面の実施例と同じ内容の記載を省略する。

【0054】

図５は物品数量を検出する方法を示す図である。図５に示すように、該方法は以下の操作（ステップ）を含む。

【0055】

操作５０１：画像における買い物容器を検出し；
操作５０２：分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び
操作５０３：確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とする。

【0056】

操作５０２では、分類結果の異なるカテゴリは異なる物品数量に対応する。

【0057】

操作５０１、５０２、５０３により、比較的低いコストで買い物容器内の物品数量を正確に検出できる。

【0058】

図５に示すように、物品数量を検出する方法はさらに次の操作を含み得る。

【0059】

操作５０４：確定された前記物品数量が前記第一閾値以下の場合に、前記買い物容器内物品の画像に基づいて検出された前記買い物容器内の物品の数量を前記予測値とする。

【0060】

図５に示すように、物品数量を検出する方法はさらに次の操作を含み得る。

【0061】

操作５０５：前記予測値とスキャン値の差分を確定する。

【0062】

操作５０５では、スキャン値ｓｃａｎｎｉｎｇ＿ｎｕｍは、スキャン装置が前記買い物容器内の物品をスキャンして得た物品の数量である。

【0063】

図５に示すように、物品数量を検出する方法はさらに次の操作を含み得る。

【0064】

操作５０６：差分Ｅｒｒｏｒと第二閾値Ｔｈを比較し、差分が第二閾値以上のときに、アラーム情報を生成する。

【0065】

操作５０６が使用する第二閾値Ｔｈは予測値ｐｒｅｄｉｃｔ＿ｎｕｍの区間に基づいて設定され得る。例えば、予測値ｐｒｅｄｉｃｔ＿ｎｕｍが大きいほど、第二閾値Ｔｈが大きくなる。

【0066】

以上、本発明に係る各ステップ又はプロセスを説明したが、本発明はこれらに限定されない。物品数量を検出する方法はさらに他のステップ又はプロセスを含んでも良く、また、これらのステップ又はプロセスの具体的な内容については従来技術を参照できる。さらに、以上、物品数量を検出する方法で使用されるモデルの幾つかの構成を例にして本発明の実施例について例示的に説明したが、本発明はこれらの構成に限定されず、これらの構成に対して適切な変形などを行っても良く、また、これらの変形の実施例も本発明の実施例の範囲に含まれるべきである。

【0067】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形などを行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0068】

上述の実施例から分かるように、本発明の物品数量を検出する方法により、画像を分類した結果に対応する物品数量と閾値との関係を用いて、買い物容器内の物品数量を確定することで、比較的低いコストで買い物容器内の物品数量を正確に検出できる。

【0069】

＜第三側面の実施例＞
本発明の実施例では、電子機器が提供され、それは、第一側面の実施例に記載の物品数量を検出する装置１００を含み、その内容はここに合併される。該電子機器は例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。

【0070】

図６は本発明の実施例に係る電子機器を示す図である。図６に示すように、電子機器６００は処理器（例えば、中央処理器ＣＰＵ）６１０及び記憶器６２０を含んでも良く、記憶器６２０は中央処理器６１０に接続される。そのうち、該記憶器６２０は各種のデータを記憶でき、また、情報処理用のプログラム６２１をも記憶でき、かつ処理器６１０の制御下で該プログラム６２１を実行できる。

【0071】

幾つかの実施例において、物品数量を検出する装置１００の機能は処理器６１０に統合して実現される。そのうち、処理器６１０は第二側面の実施例に記載の物品数量を検出する方法を実現するように構成される。

【0072】

幾つかの実施例において、物品数量を検出する装置１００は処理器６１０と別々に配置され、例えば、物品数量を検出する装置を、処理器６１０に接続されるチップとして構成し、処理器６１０の制御により、物品数量を検出する装置の機能を実現しても良い。

【0073】

例えば、処理器６１０は次のような制御を行うように構成されても良く、即ち、画像における買い物容器を検出し；分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び、確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とする。

【0074】

少なくとも幾つかの実施例において、前記物品数量を検出する方法はさらに、確定された前記物品数量が前記第一閾値以下の場合に、前記買い物容器内の物品の画像に基づいて検出された前記買い物容器内の物品の数量を前記予測値とすることを含む。

【0075】

少なくとも幾つかの実施例において、前記物品数量を検出する方法はさらに、前記予測値とスキャン値の差分を確定し、そのうち、前記スキャン値はスキャン装置が前記買い物容器内の物品をスキャンして得た物品の数量である。

【0076】

少なくとも幾つかの実施例において、前記物品数量を検出する方法はさらに、前記差分と第二閾値を比較し、前記差分が前記第二閾値以上のときにアラーム情報を生成することを含む。

【0077】

少なくとも幾つかの実施例において、前記第二閾値は前記予測値の所在する区間に基づいて設定される。

【0078】

少なくとも幾つかの実施例において、前記予測値が大きいほど、前記第二閾値が大きくなる。

【0079】

少なくとも幾つかの実施例において、前記分類結果の異なるカテゴリは異なる物品数量に対応する。

【0080】

また、図６に示すように、電子機器６００はさらに、Ｉ／Ｏ装置６３０、表示器６４０などを含む。そのうち、これらの部品の機能は従来技術と同様であり、ここではその詳しい説明を省略する。なお、電子機器６００は図６の中のすべての部品を含む必要がない。また、電子機器６００はさらに、図６にない部品を含んでも良く、これについては関連技術を参照できる。

【0081】

本発明の実施例ではさらにコンピュータ可読プログラムが提供され、そのうち、電子機器で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記電子機器で第二側面の実施例に記載の物品数量を検出する方法を実行させる。

【0082】

本発明の実施例ではさらに、コンピュータ可読プログラムを記憶している記憶媒体が提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、電子機器で第二側面の実施例に記載の物品数量を検出する方法を実行させる。

【0083】

また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の各種の方法又はステップを実現させる。ロジック部品は例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明はさらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、ＤＶＤ、フラッシュメモリなどにも関する。

【0084】

さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせはさらに、計算装置の組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。

【0085】

また、上述の実施例などに関し、さらに以下のような付記を開示する。

【0086】

（付記１）
物品数量を検出する方法であって、
画像における買い物容器を検出し；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び
確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とすることを含む、方法。

【0087】

（付記２）
付記１に記載の方法であって、
前記方法はさらに、
確定された前記物品数量が前記第一閾値以下の場合に、前記買い物容器内の物品の画像に基づいて検出された前記買い物容器内の物品の数量を前記予測値とすることを含む、方法。

【0088】

（付記３）
付記１に記載の物品数量を検出する方法であって、
前記物品数量を検出する方法はさらに、
前記予測値とスキャン値の差分を確定することを含み、
前記スキャン値は、スキャン装置が前記買い物容器内の物品をスキャンして得た物品の数量である、方法。

【0089】

（付記４）
付記３に記載の物品数量を検出する方法であって、
前記物品数量を検出する方法はさらに、
前記差分と第二閾値を比較し、前記差分が前記第二閾値以上のときにアラーム情報を生成することを含む、方法。

【0090】

（付記５）
付記４に記載の物品数量を検出する方法であって、
前記第二閾値は前記予測値の所在する区間に基づいて設定される、方法。

【0091】

（付記６）
付記５に記載の物品数量を検出する方法であって、
前記予測値が大きいほど、前記第二閾値が大きくなる、方法。

【0092】

（付記７）
付記１に記載の物品数量を検出する方法であって、
前記分類結果の異なるカテゴリは異なる物品数量に対応する、方法。

【0093】

（付記８）
コンピュータ可読プログラムを記憶した記憶媒体であって、
前記コンピュータ可読プログラムは、該記憶媒体に接続される処理器に、以下の方法を実行させ、即ち、
画像における買い物容器を検出し；
分類器を用いて前記買い物容器内の物品の画像を分類し、分類結果に対応する物品数量を確定し；及び
確定された前記物品数量が第一閾値よりも大きいときに、確定された前記物品数量を前記買い物容器内の物品の数量の予測値とすることを含む方法である、記憶媒体。

【0094】

（付記９）
付記８に記載の記憶媒体であって、
前記方法はさらに、
確定された前記物品数量が前記第一閾値以下の場合に、前記買い物容器内の物品の画像に基づいて検出された前記買い物容器内の物品の数量を前記予測値とすることを含む、記憶媒体。

【0095】

（付記１０）
付記８に記載の記憶媒体であって、
前記物品数量を検出する方法はさらに、
前記予測値とスキャン値の差分を確定することを含み、
前記スキャン値は、スキャン装置が前記買い物容器内の物品をスキャンして得た物品の数量である、記憶媒体。

【0096】

（付記１１）
付記１０に記載の記憶媒体であって、
前記物品数量を検出する方法はさらに、
前記差分と第二閾値を比較し、前記差分が前記第二閾値以上のときにアラーム情報を生成することを含む、記憶媒体。

【0097】

（付記１２）
付記１１に記載の記憶媒体であって、
前記第二閾値は、前記予測値の所在する区間に基づいて設定される、記憶媒体。

【0098】

（付記１３）
付記１２に記載の記憶媒体であって、
前記予測値が大きいほど、前記第二閾値が大きくなる、記憶媒体。。

【0099】

（付記１４）
付記８に記載の記憶媒体であって、
画像において前記買い物容器底部が物品により覆われる度合に基づいて、前記分類結果を少なくとも２つのカテゴリに分類する、記憶媒体。

【0100】

以上、本発明の好ましい実施例を説明したが、本発明はこのような実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】