特表 2022-528022 スーパーマーケット商品棚上の商品の分析方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-08

(54)【発明の名称】スーパーマーケット商品棚上の商品の分析方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220601BHJP

   G06Q 30/06 20120101ALI20220601BHJP

【ＦＩ】

G06T7/00 350C

G06Q30/06

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2020525892

(86)(22)【出願日】2020-03-09

(85)【翻訳文提出日】2020-05-08

(86)【国際出願番号】 CN2020078471

(87)【国際公開番号】W WO2021179138

(87)【国際公開日】2021-09-16

(81)【指定国・地域】

(71)【出願人】

【識別番号】518107992

【氏名又は名称】▲図▼▲霊▼通▲諾▼（北京）科技有限公司

【氏名又は名称原語表記】Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ１５１１，Ｂｌｏｃｋ Ｂ，ＳＯＨＯ Ｓｈａｎｇｄｕ Ｎｏｒｔｈ Ｔｏｗｅｒ， Ｄｏｎｇｄａｑｉａｏ Ｒｏａｄ ８＃， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， １００１０７ Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100111257

【弁理士】

【氏名又は名称】宮崎 栄二

(74)【代理人】

【識別番号】100110504

【弁理士】

【氏名又は名称】原田 智裕

(72)【発明者】

【氏名】▲呉▼ 一黎

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB72

5L096BA08

5L096CA04

5L096DA04

5L096GA55

5L096HA11

5L096KA04

(57)【要約】

本発明は、視覚認識技術分野に関し、スーパーマーケット商品棚上の商品の分析方法及びシステムが開示された。方法は、スーパーマーケット商品棚上の商品及び商品に対応する値札を含む商品棚画像１枚を取得し、１枚の商品棚画像は１つの撮像角度に対応することと、商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルに基づいて、スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得することと、商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示することと、を含む。システムは、画像取得装置と、プライマリー分類装置と、表示装置と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

スーパーマーケット商品棚上の商品及び前記商品に対応する値札を含む商品棚画像１枚を取得し、１枚の前記商品棚画像は１つの撮像角度に対応する画像取得ステップと、
前記商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札で訓練されたモデルである値札テキスト認識モデルとに基づいて、前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を取得するプライマリー分類ステップと、
前記商品棚画像には、前記プライマリー商品分類結果及びプライマリー価格認識結果を表示する表示ステップと、を含むことを特徴とするスーパー商品棚上の商品の分析方法。

【請求項2】

前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果を取得した後、
前記プライマリー商品分類結果に対応する商品価格を取得し、
前記商品価格が前記プライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信すること、をさらに含むことを特徴とする請求項１に記載の分析方法。

【請求項3】

前記スーパーマーケット商品棚上の商品は果物や生鮮食品である場合、前記プライマリー分類ステップの後に、
前記商品棚画像と、事前訓練された、前記プライマリー商品分類結果に対応する、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである果物や生鮮食品腐敗モデルとに基づき、前記プライマリー商品分類結果が腐敗状態にあるか否かを判断し、
腐敗状態にあると判断する場合、第２リマインダー情報を送信すること、をさらに含むことを特徴とする請求項１に記載の分析方法。

【請求項4】

前記プライマリー分類ステップの後に、
前記商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、前記スーパーマーケット商品棚上の商品が売り切れ状態にあるか否かを判断し、
売り切れ状態にあると判断する場合、第３リマインダー情報を送信すること、をさらに含むことを特徴とする請求項１に記載の分析方法。

【請求項5】

前記画像取得ステップの前に、
撮像角度の数が複数であるか否かを判断し、複数の前記撮像角度が複数枚の前記商品棚画像と１対１で対応し、
撮像角度の数が複数であると判定する場合、各前記商品棚画像における前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を得るように、取得された複数枚の前記商品棚画像における各前記商品棚画像に対して前記プライマリー分類ステップを実行し、複数の前記プライマリー商品分類結果と、複数の前記プライマリー価格認識結果と、事前訓練された、１次商品線形回帰モデル及び１次値札線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得し、前記商品棚画像には、前記１次商品分類結果及び１次価格認識結果を表示し、
撮像角度の数が複数ではないと判定する場合、前記画像取得ステップに移行すること、を含むことを特徴とする請求項１に記載の分析方法。

【請求項6】

複数の前記プライマリー商品分類結果と、複数の前記プライマリー価格認識結果と、事前訓練された１次商品線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得した後に、
前記プライマリー商品分類結果が類似商品であるか否かを判断し、
類似商品であると判断する場合、複数枚の前記商品棚画像と、事前訓練された、予め畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての類似商品で訓練されたモデルである２次商品分類モデルとに基づいて、前記類似商品に対応するセカンダリー商品分類結果を取得し、そして複数の前記セカンダリー商品分類結果と事前訓練された２次商品線形回帰モデルとに基づいて、前記類似商品に対応する２次商品分類結果を取得し、
対応的に、前記商品棚画像には、前記２次商品分類結果及び１次価格認識結果を表示し、
類似商品ではないと判定する場合、前記表示ステップに移行すること、をさらに含むことを特徴とする請求項５に記載の分析方法。

【請求項7】

スーパーマーケット商品棚上の商品及び前記商品に対応する値札を含む商品棚画像１枚を取得し、１枚の前記商品棚画像は１つの撮像角度に対応する画像取得装置と、
前記商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札で訓練されたモデルである値札テキスト認識モデルとに基づいて、前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を取得するプライマリー分類装置と、
前記商品棚画像には、前記プライマリー商品分類結果及びプライマリー価格認識結果を表示する表示装置と、を含むことを特徴とするスーパーマーケット商品棚上の商品の分析システム。

【請求項8】

前記プライマリー商品分類結果に対応する商品価格を取得し、且つ前記商品価格が前記プライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信する第１リマインダーモジュール、をさらに含むことを特徴とする請求項７に記載の分析システム。

【請求項9】

前記スーパーマーケット商品棚上の商品は果物又は生鮮食品である場合、
前記商品棚画像と、事前訓練された前記プライマリー商品分類結果に対応する、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである果物又は生鮮食品腐敗モデルとに基づき、前記プライマリー商品分類結果が腐敗状態にあるか否かを判断し、腐敗状態にあると判断する場合、第２リマインダー情報を送信する第２リマインダーモジュール、をさらに含むことを特徴とする請求項７に記載の分析システム。

【請求項10】

前記商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、前記スーパーマーケット商品棚上の商品が売り切れ状態にあるか否かを判断し、売り切れ状態にあると判断する場合、第３リマインダー情報を送信する第３リマインダーモジュール、をさらに含むことを特徴とする請求項７に記載の分析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚認識技術分野に関し、特にスーパーマーケット商品棚上の商品の分析方法及びシステムに関する。

【背景技術】

【0002】

スーパーマーケットやモールには、通常、スーパーマーケット商品棚（モール商品棚やスーパーマーケット商品棚と呼ぶ）が設置されており、スーパーマーケット商品棚上には、販売しようとする商品が配置されている。商品をよりよく管理するために、スーパーマーケット商品棚上の商品の情報を知ることが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来技術において、スーパーマーケットやモールの管理者は、商品棚にある商品を管理する時に、まずスーパーマーケット商品棚の前に行って、商品の情報を一つずつ調査して記録し、それにより商品台帳との照合を行うことができる。管理者はスーパーマーケット商品棚の現場に出向いて商品を１つずつ調査することが必要であるため、人力を浪費し、手間がかかり、管理効率が低いことになる。

【課題を解決するための手段】

【0004】

上記問題を解決するために、本発明の一側面は、スーパーマーケット商品棚上の商品及び前記商品に対応する値札を含む商品棚画像１枚を取得し、１枚の前記商品棚画像は１つの撮像角度に対応する画像取得ステップと、前記商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札で訓練（トレーニング）されたモデルである値札テキスト認識モデルとに基づいて、前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を取得するプライマリー分類ステップと、前記商品棚画像には、前記プライマリー商品分類結果及びプライマリー価格認識結果を表示する表示ステップと、を含むスーパーマーケット商品棚上の商品の分析方法が提供されている。

【0005】

上記のような分析方法において、好ましくは、前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果を取得した後、前記分析方法は、前記プライマリー商品分類結果に対応する商品価格を取得し、前記商品価格が前記プライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信すること、をさらに含む。

【0006】

上記のような分析方法において、好ましくは、前記スーパーマーケット商品棚上の商品は果物や生鮮食品である場合、前記プライマリー分類ステップの後に、前記分析方法は、前記商品棚画像と、事前訓練された、前記プライマリー商品分類結果に対応する、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである果物や生鮮食品腐敗モデルとに基づき、前記プライマリー商品分類結果が腐敗状態にあるか否かを判断し、腐敗状態にあると判断する場合、第２リマインダー情報を送信すること、をさらに含む。

【0007】

上記のような分析方法において、好ましくは、前記プライマリー分類ステップの後に、前記分析方法は、前記商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、前記スーパーマーケット商品棚上の商品が売り切れ状態にあるか否かを判断し、売り切れ状態にあると判断する場合、第３リマインダー情報を送信すること、をさらに含む。

【0008】

上記のような分析方法において、好ましくは、前記画像取得ステップの前に、前記分析方法は、撮像角度の数が複数であるか否かを判断し、複数の前記撮像角度が複数枚の前記商品棚画像と１対１で対応し、撮像角度の数が複数であると判定する場合、前記商品棚画像ごとにおける前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を得るように、取得された複数枚の前記商品棚画像における前記商品棚画像ごとに対して前記プライマリー分類ステップを順次に実行し、複数の前記プライマリー商品分類結果と、複数の前記プライマリー価格認識結果と、事前訓練された、１次商品線形回帰モデル及び１次値札線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得し、前記商品棚画像には、前記１次商品分類結果及び１次価格認識結果を表示し、撮像角度の数が複数ではないと判定する場合、前記画像取得ステップに移行すること、を含む。

【0009】

上記のような分析方法において、好ましくは、複数の前記プライマリー商品分類結果と、複数の前記プライマリー価格認識結果と、事前訓練された１次商品線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得した後に、前記分析方法は、前記プライマリー商品分類結果が類似商品であるか否かを判断し、類似商品であると判断する場合、複数枚の前記商品棚画像と、事前訓練された、予め畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての類似商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似商品に対応するセカンダリー商品分類結果を取得し、そして複数の前記セカンダリー商品分類結果と事前訓練された２次商品線形回帰モデルとに基づいて、前記類似商品に対応する２次商品分類結果を取得し、対応的に、前記商品棚画像には、前記２次商品分類結果及び１次価格認識結果を表示し、類似商品ではないと判定する場合、前記表示ステップに移行すること、をさらに含む。

【0010】

本発明の他の側面は、スーパーマーケット商品棚上の商品及び前記商品に対応する値札を含む商品棚画像１枚を取得し、１枚の前記商品棚画像は１つの撮像角度に対応するための画像取得装置と、前記商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札で訓練されたモデルである値札テキスト認識モデルとに基づいて、前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を取得するためのプライマリー分類装置と、前記商品棚画像に、前記プライマリー商品分類結果及びプライマリー価格認識結果を表示するための表示装置と、を含むスーパーマーケット商品棚上の商品の分析システムが提供されている。

【0011】

上記のような分析システムにおいて、好ましくは、前記分析システムは、前記プライマリー商品分類結果に対応する商品価格を取得し、且つ前記商品価格が前記プライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信するための第１リマインダーモジュール、をさらに含む。

【0012】

上記の分析システムにおいて、好ましくは、前記スーパーマーケット商品棚上の商品は果物や生鮮食品である場合、前記分析システムは、前記商品棚画像と、事前訓練された前記プライマリー商品分類結果に対応する、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである果物や生鮮食品腐敗モデルとに基づき、前記プライマリー商品分類結果が腐敗状態にあるか否かを判断し、腐敗状態にあると判断する場合、第２リマインダー情報を送信するための第２リマインダーモジュール、をさらに含む。

【0013】

上記のような分析システムにおいて、好ましくは、前記分析システムは、前記商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、前記スーパーマーケット商品棚上の商品が売り切れ状態にあるか否かを判断し、売り切れ状態にあると判断する場合、第３リマインダー情報を送信するための第３リマインダーモジュール、をさらに含む。

【0014】

上記の分析システムにおいて、好ましくは、前記分析システムは、撮像角度の数が複数であるか否かを判断し、複数の前記撮像角度が複数枚の前記商品棚画像と１対１で対応するための第１判断装置と、前記第１判断装置が撮像角度の数が複数であると判定する場合、前記商品棚画像ごとにおける前記スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び前記値札に対応するプライマリー価格認識結果を得るように、取得された複数枚の前記商品棚画像における前記商品棚画像ごとに対して前記プライマリー分類ステップを順次に実行し、複数の前記プライマリー商品分類結果と、複数の前記プライマリー価格認識結果と、事前訓練された、１次商品線形回帰モデル及び１次値札線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得し、前記商品棚画像には、前記１次商品分類結果及び１次価格認識結果を表示するための１次分類装置を選択して実行し、前記第１判断装置が撮像角度の数が複数ではないと判定する場合、画像取得装置を選択して実行するための第１選択装置と、をさらに含む。

【0015】

上記のような分析システムにおいて、好ましくは、前記分析システムは、前記プライマリー商品分類結果が類似商品であるか否かを判断するための第２判断装置と、前記第２判断装置は類似商品であると判定する場合、複数枚の前記商品棚画像と、事前訓練された、予め畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての類似商品で訓練されたモデルである２次商品分類モデルとに基づいて、前記類似商品に対応するセカンダリー商品分類結果を取得し、そして複数の前記セカンダリー商品分類結果と事前訓練された２次商品線形回帰モデルとに基づいて、前記類似商品に対応する２次商品分類結果を取得し、前記商品棚画像には、前記2次商品分類結果及び１次価格認識結果を表示するための２次分類装置を選択して実行し、前記第２判断装置が類似商品ではないと判定する場合、画像取得装置を選択して実行するための第２選択装置と、をさらに含む。

【発明の効果】

【0016】

本発明の実施例により提供される技術案により以下のような有益な効果をもたらした。

【0017】

商品棚画像を取得し、そして商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得し、続いて商品棚画像に、プライマリー商品分類結果及びプライマリー価格認識結果を表示することによって、ショッピング場所の管理者が商品棚上の商品情報を管理する時、商品棚の前に商品包装を１つずつ調査してから、商品情報を記録することを回避できるため、管理効率を向上させ、管理者にとってスーパーマーケット商品棚上の全ての商品情報が一目瞭然であり、全ての商品の管理が便利になる。

【図面の簡単な説明】

【0018】

【図1】本発明の１つの実施例により提供されるスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図2】本発明の他の実施例により提供されるスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図3】本発明の別の実施例により提供される別のスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図4】本発明の別の実施例により提供されるまた別のスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図5】本発明の別の実施例により提供される他のスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図6】本発明の他の実施例により提供されるスーパーマーケット商品棚上の商品の分析方法のフローチャートである。

【図7】本発明の１つの実施例により提供されるスーパーマーケット商品棚上の商品の分析システムの構成模式図である。

【発明を実施するための形態】

【0019】

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面と併せて本発明の実施形態をさらに詳しく説明する。

【0020】

以下、図面を参照して実施例と併せて本発明を詳しく説明する。各例は、本発明の説明のために提供され、本発明を限定するものではない。実際、当業者は、本発明の範囲または精神から逸脱しない場合、本発明において修正および変形を行うことができることが明らかになっている。例えば、他の実施例を生成するように、１つの実施例の一部特徴として別の実施例で用いられる。従って、本発明は、添付の特許請求の範囲およびその同じな物の範囲内にあるような修正および変形を含むことが期待される。

【0021】

図１を参照して、本発明の１つの実施例により提供されるスーパーマーケット商品棚上の商品の分析方法は、
スーパーマーケット商品棚上の商品及び商品に対応する値札を含む商品棚画像１枚を取得し、１枚の商品棚画像は１つの撮像角度に対応し、値札は販売業者が商品の価格を顧客に公開する形態であり、それが価格情報を含んでいるステップ１０１（画像取得ステップ）と、
商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつ商品棚上の全ての商品に対応する値札で訓練されたモデルである値札テキスト認識モデルとに基づいて、商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得するステップ１０２（プライマリー分類ステップ）と、
商品棚画像に、プライマリー商品分類結果及びプライマリー価格認識結果を表示するステップ１０３（表示ステップ）と、を含む。

【0022】

本発明の実施例は、商品棚画像を取得し、そして商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得し、続いて商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示することによって、ショッピング場所の管理者が商品棚上の商品情報を管理する時、商品棚の前に商品包装を１つずつ調査してから、商品情報を記録することを回避できるため、管理効率を向上させ、管理者にとってスーパーマーケット商品棚上の全ての商品情報が一目瞭然であり、全ての商品の管理が便利になる。

【0023】

図２を参照し、上記の実施例の内容と併せて、本発明の他の実施例により提供されるスーパーマーケット商品棚上の商品の分析方法は、ステップ２０１～ステップ２１０を含む。

【0024】

ステップ２０１において、商品棚画像１枚を取得する。

【0025】

具体的には、スーパーマーケット商品棚上の商品の配置状況に基づいて、商品棚画像を取得するように、スーパーマーケット商品棚上の商品及び商品に対応する値札を撮像するための画像収集装置の位置を設置し、画像収集装置はカメラであってもよい。スーパーマーケット商品棚上の商品は、水平面又は水平面に対して予め設定された角度で傾斜するように配置する時、画像収集装置がスーパーマーケット商品棚の上方に設置され、商品及び値札を上方から下方へ撮像する。スーパーマーケット商品棚上の商品が垂直面で配置する時、画像収集装置がスーパーマーケット商品棚の前方に設置され、スーパーマーケット商品棚の前方から商品及び値札を撮像する。実際に適用する時には、その撮像領域が撮像しようとする商品及び商品に対応する値札を被覆するように、画像収集装置の位置を調整する。画像収集装置は、固定式構造であってもよく、例えば、画像収集装置がスーパーマーケット商品棚の上方又は前方のラックに固定され、移動式構造であってもよく、例えば、画像収集装置が移動端末のカメラであり、移動端末が携帯電話又はタブレットコンピュータであってもよい。固定式構造を採用することにより、スーパーマーケット商品棚上の商品の分析に有利であるだけでなく、商品棚のリアルタイムの監視が便利になる。

【0026】

ステップ２０２において、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルを取得する。

【0027】

具体的には、データを収集してデータセットを作成する。データを収集するプロセスは、１）スーパーマーケット商品棚上の全ての商品を各撮像角度及び各姿勢で撮像して大量の画像を取得することと、２）そしてこれらの画像に関して注記を行い、例えば、画像中の商品の位置、大きさ及び類別と、値札の位置、大きさ及び価格とを注記することと、を含むが、この限りではない。データセットに含まれるデータとは、前述のこれらの画像及びこれらの画像に関して行われた注記である。プライマリー商品分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、スーパーマーケット商品棚上の全ての商品のデータを用いてプライマリー商品分類モデルを訓練する。訓練する時に勾配降下の方式で行うことができる。値札テキスト認識モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、スーパーマーケット商品棚上の全ての商品に対応する値札のデータを用いて値札テキスト認識モデルを訓練する。訓練する時に勾配降下の方式で行うことができる。

【0028】

ステップ２０３において、商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得する。

【0029】

具体的には、まず、受信した商品棚画像を目標検出し、目標検出する時に、該画像には、商品に対応する商品目標領域と、対応的な値札に対応する値札目標領域とをマークし、目標領域に対応する画像は、それぞれ商品目標領域画像と、値札目標領域画像と呼ばれる。目標領域の形状は、矩形、円形であってもよい。

【0030】

訓練済みのプライマリー商品分類モデルは、商品目標の領域画像を分類し、商品ごとに対応するプライマリー商品分類結果を得る。該プライマリー商品分類結果は、以下のような方式で得られる。該モデルの出力が１つのＯ次元ベクトルである。Ｏは、スーパーマーケット商品棚上の商品の総数を表す。ベクトルにおける各元素の意味は、１次商品分類モデルの予測して分類しようとする商品がＯ種類の商品における各種の商品に属する確率を表している。実際に適用する際には、通常、確率値が最大となる商品を予測結果（すなわち、プライマリー商品分類結果）として選択している。

【0031】

訓練済みの値札テキスト認識モデルは値札目標領域画像を認識すると、値札ごとに対応するプライマリー価格認識結果が得られる。値札に含まれる価格情報は、通常、複数の数字及び小数点からなる。該モデルは、認識しようとする数字が各数字である確率を予測する。実際に適用する際には、確率値が最大となる数字を予測結果として選択し、このように複数の数字の予測を実現し、その組み合わせと小数点をプライマリー価格認識結果とする。

【0032】

ステップ２０４において、商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示する。

【0033】

具体的には、該商品棚画像には、商品目標領域画像及び値札目標領域画像をマークし、プライマリー商品分類結果を商品棚画像における目標領域の近傍に表示し、プライマリー価格認識結果を商品棚画像における値札目標領域の近傍に表示する。

【0034】

実際の応用において、商品の値札で示される価格と商品の実際の値札とが一致してしないことを出現し、顧客のショッピング体験は友好的ではなくなるとともに、モールやスーパーマーケットに損失を引き起こすことになり、このような状況の管理を便利になるために、図３を参照し、本分析方法は、ステップ２０３後、ステップ２０５～ステップ２０６をさらに含む。

【0035】

ステップ２０５において、プライマリー商品分類結果に対応する商品価格を取得する。

【0036】

具体的には、モールやスーパーマーケットなどのショッピング場所で商品を購入した後に商品の価格データベースを確立する。プライマリー商品分類結果をインデックスとして価格データベースに照会すると、プライマリー商品分類結果に対応する実際の価格が得られる。

【0037】

ステップ２０６において、商品価格がプライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信する。

【0038】

具体的には、商品価格を取得した後、それをプライマリー価格認識結果と比べて、両者が一致するか否か、すなわち商品価格がプライマリー価格認識結果と同じであるか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信する。第１リマインダー情報は商品の価格が一致しないことを表し、例えば音声の方式で送信することができ、音声は、“ある商品の価格が一致しない”などを例とした文字の内容を含んでもよく、ビ―ッを例とした警告音であってもよく、また、ショートメッセージや印刷文書を例としたテキストで送信してもよく、図形注記の形式で送信してもよく、例えば、商品棚画像にプライマリー価格認識結果が表示され、且つその結果の近傍に価格が誤っていることを表示されたり、その結果が強調フォントやフォントの色で注記されたりするようになっている。

【0039】

実際の応用において、スーパーマーケット商品棚上に配置された商品は様々であり、商品が果物や生鮮食品である場合、その貯蔵条件が過酷であってメンテナンス期間が短いことにより、販売期間に腐敗現象がすごく発生しやすく、顧客のショッピング体験に影響を与え、一時的に清掃しなければ、モールやスーパーマーケットに損失を引き起こす。このような状況の管理が便利になるために、図４を参照し、スーパーマーケット商品棚上の商品が果物や生鮮食品である場合、本分析方法は、ステップ２０３後、ステップ２０７～ステップ２０８をさらに含む。

【0040】

ステップ２０７において、商品棚画像と、事前訓練された、プライマリー商品分類結果に対応する、果物や生鮮食品腐敗モデルとに基づき、プライマリー商品分類結果が腐敗状態にあるか否かを判断する。

【0041】

具体的には、データを収集してデータセットを作成する。データを収集するプロセスは、１）各種の腐敗状態にある果物や生鮮食品を各撮像角度から撮像することと、２）そしてこれらの画像を注記することと、を含むが、この限りではない。果物や生鮮食品腐敗モデルは畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである。訓練する時に勾配降下の方式で行うことができる。果物や生鮮食品腐敗モデルを用いて商品目標領域画像を認識し、そして１次商品分類結果が腐敗状態にあるか否かが得られる。

【0042】

ステップ２０８において、腐敗状態にあると判断する場合、第２リマインダー情報を送信する。

【0043】

具体的には、１次商品分類結果が腐敗状態にあると判断した後、第２リマインダー情報を送信し、第２リマインダー情報は商品が腐敗状態にあることを表し、例えば音声の方式で送信することができ、音声は、“ある商品が腐敗状態にある”などを例とした文字の内容を含んでもよく、ビ―ッを例とした警告音であってもよく、また、ショートメッセージや印刷文書を例としたテキストで送信してもよく、図形注記の形式で送信してもよく、例えば、商品棚画像にプライマリー価格認識結果が表示され、且つその結果の近傍に腐敗状態にあることを表示されたり、その結果が強調フォントやフォントの色で注記されたりするようになっている。

【0044】

実際の応用において、ある商品はよく売れる商品に属し、それがスーパーマーケット商品棚で一定時間で配置された後、他の商品に対して、売れ切れしやすく、すなわち売り切れ状態になる。管理者に在庫をタイムリーに補充することをリマインダーさせ、且つ顧客が再び購入することを便利にし、顧客のショッピング体験を向上させるために、図５を参照し、本分析方法は、ステップ２０３後、ステップ２０９～ステップ２１０をさらに含む。

【0045】

ステップ２０９において、商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、スーパーマーケット商品棚上の商品が売り切れ状態にあるか否かを判断する。

【0046】

具体的には、データを収集してデータセットを作成する。データを収集するプロセスは、１）各種の売り切れ状態にある商品棚を各撮像角度から撮像することと、２）そしてこれらの画像を注記することと、を含むが、この限りではない。商品のない空の商品棚モデルは畳み込みニューラルネットワーク画像認識技術で構築されかつ全ての売り切れ状態にあるスーパーマーケット商品棚で訓練されたモデルである。訓練する時に勾配降下の方式で行うことができる。商品のない空の商品棚モデルを用いて商品目標領域画像を認識し、そして商品棚が売り切れ状態にあるか否かが得られる。

【0047】

ステップ２１０において、売り切れ状態にあると判断する場合、第３リマインダー情報を送信する。

【0048】

具体的には、スーパーマーケット商品棚が売り切れ状態にあると判断した後、売り切れ状態であると判定する商品棚画像と、売り切れ状態でないと判定する商品棚画像とを比較し、商品目標領域画像を確定し、そして先にその商品目標領域画像に対するプライマリー商品認識結果を売り切れ状態にある商品とし、第３リマインダー情報を送信する。第３リマインダー情報はスーパーマーケット商品棚が売り切れ状態にあることを表し、例えば音声の方式で送信することができ、音声は、“ある商品棚が売り切れ状態にある”などを例とした文字の内容を含んでもよく、ビ―ッを例とした警告音であってもよく、また、ショートメッセージや印刷文書を例としたテキストで送信してもよく、図形注記の形式で送信してもよく、例えば、商品棚画像にプライマリー商品分類結果が表示され、且つその結果の近傍に商品のない空の状態にあることを表示する。

【0049】

本発明の実施例は、商品棚画像を取得し、そして商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得し、続いて商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示することによって、ショッピング場所の管理者が商品棚上の商品情報を管理する時、商品棚の前に商品包装を１つずつ調査してから、商品情報を記録することを回避できるため、管理効率を向上させ、管理者にとってスーパーマーケット商品棚上の全ての商品情報が一目瞭然であり、全ての商品の管理が便利になる。

【0050】

図６を参照し、上記の実施例の内容と併せて、本発明の他の実施例により提供されるスーパーマーケット商品棚上の商品の分析方法は、ステップ３０１～ステップ３０９を含む。

【0051】

ステップ３０１において、撮像角度の数が複数であるか否かを判断し、複数の撮像角度が複数枚の商品棚画像と１対１で対応し、撮像角度の数が複数であると判定する場合、ステップ３０２～ステップ３０４に移行し、撮像角度の数が複数ではないと判定する場合、ステップ３０５～ステップ３０６に移行する。

【0052】

具体的には、画像収集装置は、ある撮像角度でスーパーマーケット商品棚上の商品及び値札を撮影することにより、商品棚画像１枚を取得する。１つの撮像角度が１枚の商品棚画像に対応し、異なる撮像角度に変換することにより、異なる撮像角度に対応する商品棚画像を収集することができ、このようにして商品及び値札の認識率の向上が便利になる。画像収集装置がカメラであることを例として、複数の撮像角度を実現する方式を説明する。複数の撮像角度と１対１で対応する複数のカメラを配置してもよく、N個のカメラを配置してもよく、カメラの位置及び/又は向きを変換することにより複数の撮像角度を実現し、Nは１以上の正整数で且つ撮像角度の数より小さいであり、本実施例は複数の撮像角度の実現方式を限定するものではない。なお、各カメラは、移動端に位置するカメラ（すなわち、移動する時のカメラ）であってもよく、固定ラックに位置するカメラであってもよく、移動ラックに位置するカメラであってもよい。本文での撮像角度は、撮影方向である１つの要素を指してもよく、撮影方向及び撮影距離である２つの要素を指してもよく、他の要素又は他の数の要素を指してもよく、本実施例はこれを限定するものではない。

【0053】

実際の応用において、作業現場に配置される画像収集装置の数に基づいて撮像角度の数を確定し、作業現場に１つの画像収集装置が配置されると、撮像角度の数は１つであり、作業現場に複数の画像収集装置が配置される場合、撮像角度の数は複数である。

【0054】

ステップ３０２において、複数枚の商品棚画像を取得し、複数枚の商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、商品棚上の商品に対応する複数のプライマリー商品分類結果及び値札に対応する複数のプライマリー価格認識結果を取得する。

【0055】

具体的には、どのように事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルを取得する方法と、どのようにプライマリー商品分類結果及びプライマリー価格認識結果を取得する方法とについては、それぞれ、上記の実施例におけるステップ２０２およびステップ２０３に関連する紹介を参照し得る。ここで一々重複説明を省略する。商品棚画像の数が複数であることにより、商品ごとに対応する複数のプライマリー商品分類結果が得られ、すなわち、プライマリー商品分類結果の数と画像の枚数と一致し、このときのプライマリー商品分類結果がＯ次元ベクトルで表され、選択する確率値が最大となる商品をプライマリー商品分類結果とするものではない。

【0056】

ステップ３０３において、複数のプライマリー商品分類結果と、複数のプライマリー価格認識結果と、事前訓練された、１次商品線形回帰モデル及び１次値札線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得する。

【0057】

具体的には、プライマリー商品分類モデルを訓練する時、１次商品線形回帰モデルを訓練するように、プライマリー商品分類モデルを出力するプライマリー商品分類結果を１次商品線形回帰モデルの入力とし、該プライマリー商品分類結果に対応する画像に含まれる商品の正確な分類を１次商品線形回帰モデルの出力とする。訓練済みの１次商品線形回帰モデルは商品の複数のプライマリー商品分類結果をデータ融合し、商品に対応する１つの、１次商品線形回帰モデルの予測画像におけるある商品がスーパーマーケット商品棚上の全ての商品の中でのどの種類であるかを示す１次商品分類結果を得る。

【0058】

値札テキスト認識モデルを訓練する時、１次値札線形回帰モデルを訓練するように、値札テキスト認識モデルを出力するプライマリー価格認識結果を１次値札線形回帰モデルの入力とし、該プライマリー価格認識結果に対応する画像に含まれる商品の正確な認識を１次値札線形回帰モデルの出力とする。訓練済みの１次値札線形回帰モデルは値札の複数のプライマリー価格認識結果をデータ融合し、値札に対応する１つの、１次値札線形回帰モデルの予測画像におけるある値札がいくらであるかを示す１次価格認識結果を得る。

【0059】

該商品棚画像には、商品目標領域画像及び値札目標領域画像をマークし、１次商品分類結果を商品棚画像における商品目標領域の近傍に表示し、１次価格認識結果を商品棚画像における値札目標領域の近傍に表示する。

【0060】

ステップ３０４において、商品棚画像には、１次商品分類結果及び１次価格認識結果を表示する。

【0061】

ステップ３０５において、１枚の商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得する。

【0062】

ステップ３０６において、商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示する。

【0063】

ステップ３０５についての実現方法は、上記の実施例におけるステップ２０２及び２０３に関連する紹介を参照でき、ステップ３０６についての実現方法は、上記の実施例におけるステップ２０４に関連する紹介を参照でき、ここで一々重複説明を省略する。

【0064】

通常、スーパーマーケット商品棚上の商品は多種である。該多種の商品の中ではいくらかの外観が類似し、また視覚上で混同しやすい商品が存在しており、これらの商品を類似商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）であり、ある製造業者のミネラルウォーターと他の製造業者のミネラルウォーターである。分類しようとする一個の商品が類似商品である場合に、プライマリー商品分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類し、該製造業者のミネラルウォーターを他の製造業者のミネラルウォーターに予測する。したがって、識別精度を向上させるために、ステップ３０４の前に、本分析方法は、ステップ３０７～ステップ３０９をさらに含む。

【0065】

ステップ３０７において、プライマリー商品分類結果が類似商品であるか否かを判断し、類似商品であると判定する場合、ステップ３０８～ステップ３０９に移行し、類似商品ではないと判定する場合、ステップ３０５～ステップ３０６に移行する。

【0066】

具体的には、多種の類似商品を一つの類似商品表に整理し、プライマリー商品分類結果を得た後、予め設定された類似商品表で検索し、プライマリー商品分類結果と一致する類似商品を検索した場合、プライマリー商品分類結果が類似商品であると判断し、プライマリー商品分類結果と一致する類似商品を検索していない場合、プライマリー商品分類結果が類似商品ではないと判断する。

【0067】

ステップ３０８において、複数枚の商品棚画像と、事前訓練された２次商品分類モデルとに基づいて、類似商品に対応する複数のセカンダリー商品分類結果を取得する。

【0068】

具体的には、上記実施例でのステップ２０２に作成したデータセットにおける類似商品のデータにより２次商品分類モデルを訓練する。訓練する時に勾配降下の方式により行うことができる。２次商品分類モデルも、畳み込みニューラルネットワーク画像認識技術で構築され、訓練する時に使うデータという点において１次商品分類モデルとは異なる。１次商品分類モデルに用いられるデータは、スーパーマーケット商品棚上の全ての商品のデータであり、２次商品分類モデルに用いられるデータは、スーパーマーケット商品棚上の全ての類似商品のデータである。

【0069】

訓練済みの２次商品分類モデルによって、商品目標領域画像における類似商品を分類し、類似商品に対応する複数のセカンダリー分類結果を得る。各セカンダリー分類結果も１つのｐ次元ベクトルであり、ベクトル中の各元素の意味は、２次商品分類モデルの分類しようとする商品がｐ個の類似商品の中の各商品に属することを認定する確率を表している。ｐはＯ以下であり、且つスーパーマーケット商品棚上の全ての類似商品の総数を表している。

【0070】

実際の応用において、スーパーマーケット商品棚上の類似商品は複数組がある。例えば、１組の類似商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似商品は、ソーダ灰と小麦粉を含んでいる。全ての組の類似商品に対して１つの２次商品分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似商品に対して１つの２次商品分類モデルを訓練するとき、１次商品分類結果が類似商品であれば、該１次商品分類結果に対応する２次商品分類モデルを用いる。

【0071】

ステップ３０９において、複数のセカンダリー商品分類結果と、事前訓練された２次商品線形回帰モデルとに基づいて、類似商品に対応する２次商品分類結果を取得する。

【0072】

この時、ステップ３０４を対応的に実行し、商品棚画像には、２次商品分類結果及び１次価格認識結果を表示する。

【0073】

具体的には、２次商品分類モデルを訓練する時、２次商品線形回帰モデルを訓練するように、２次商品分類モデルを出力するセカンダリー商品分類結果を２次商品線形回帰モデルの入力とし、該セカンダリー商品分類結果に対応する画像に含まれる商品の正確な分類を２次商品線形回帰モデルの出力とする。訓練済みの２次商品線形回帰モデルは類似商品に対応する複数のセカンダリー商品分類結果をデータ融合し、１つの、２次商品線形回帰モデルの予測画像における商品がスーパーマーケット商品棚上の全ての商品のどの種類であるかを示す２次商品分類結果を得る。そして、商品棚画像上には、２次商品分類結果及び１次価格認識結果を表示する。

【0074】

ステップ３０８～ステップ３０９についての実現方法は、上記の実施例におけるステップ２０１～ステップ２０４に関連する紹介を参照でき、ここで一々重複説明を省略する。

【0075】

本発明の実施例は撮像角度の数を判断し、そして撮像角度の数に基づいて対応する枚数の商品棚画像を取得し、さらに対応的に異なる処理プロセスを実行することによって、ショッピング場所の管理者が商品棚上の商品情報を管理する時、商品棚の前に商品包装を１つずつ調査してから、商品情報を記録することを回避できるため、管理効率を向上させ、管理者にとってスーパーマーケット商品棚上の全ての商品情報が一目瞭然であり、全ての商品の管理が便利になる。

【0076】

図７を参照して、本発明の１つの実施例により提供される、上記実施例に提供される分析方法を実行するためのスーパーマーケット商品棚上の商品の分析システムは、画像取得装置４０１と、プライマリー分類装置４０２と、表示装置４０３と、を含む。

【0077】

画像取得装置４０１は、スーパーマーケット商品棚上の商品及び商品に対応する値札を含む商品棚画像を取得するためのものである。プライマリー分類装置４０２は、商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札で訓練されたモデルである値札テキスト認識モデルとに基づいて、スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得するためのものである。表示装置４０３は、商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示するためのものである。

【0078】

好ましくは、本分析システムは、プライマリー商品分類結果に対応する商品価格を取得し、且つ商品価格がプライマリー価格認識結果と一致するか否かを判断し、一致しないと判断する場合、第１リマインダー情報を送信するための第１リマインダーモジュール、をさらに含む。

【0079】

好ましくは、商品棚上の商品は果物や生鮮食品である場合、本分析システムは、商品棚画像と、事前訓練された、１次商品分類結果に対応する、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての腐敗状態にある商品で訓練されたモデルである果物や生鮮食品腐敗モデルとに基づき、１次商品分類結果が腐敗状態にあるか否かを判断し、腐敗状態にあると判断する場合、第２リマインダー情報を送信するための第２リマインダーモジュール、をさらに含む。

【0080】

好ましくは、本分析システムは、商品棚画像と、事前訓練された、商品のない空の商品棚モデルとに基づき、スーパーマーケット商品棚上の商品が売り切れ状態であるか否かを判断し、売り切れ状態であると判断する場合、第３リマインダー情報を送信するための第３リマインダーモジュール、をさらに含む。

【0081】

好ましくは、本分析システムは、撮像角度の数が複数であるか否かを判断し、複数の撮像角度が複数の商品棚画像と１対１対応するための第１判断装置と、第１判断装置が撮像角度の数が複数であると判定する場合、複数枚の商品棚画像を取得し、そして複数枚の商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、スーパーマーケット商品棚上の商品に対応する複数のプライマリー商品分類結果及び値札に対応する複数のプライマリー価格認識結果を取得し、複数のプライマリー商品分類結果と、複数のプライマリー価格認識結果と、事前訓練された、１次商品線形回帰モデル及び１次値札線形回帰モデルとに基づいて、１次商品分類結果及び１次価格認識結果を取得し、商品棚画像には、１次商品分類結果及び１次価格認識結果を表示するための１次分類装置を選択して実行し、かつ第１判断装置が撮像角度の数が複数ではないと判定する場合、画像取得装置を選択して実行するための第１選択装置と、をさらに含む。

【0082】

好ましくは、本分析システムは、プライマリー商品分類結果が類似商品であるか否かを判断するための第２判断装置と、第２判断装置は類似商品であると判定する場合、複数枚の商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての類似商品で訓練されたモデルである２次商品分類モデルとに基づいて、類似商品に対応するセカンダリー商品分類結果を取得し、そして複数のセカンダリー商品分類結果と事前訓練された２次商品線形回帰モデルとに基づいて、類似商品に対応する２次商品分類結果を取得し、前記商品棚画像には、1次商品分類結果及び１次価格認識結果を表示するための２次分類装置を選択して実行し、かつ第２判断装置が類似商品ではないと判定する場合、画像取得装置を選択して実行するための第２選択装置と、をさらに含む。

【0083】

なお、画像取得装置４０１と、プライマリー分類装置４０２と、表示装置４０３と、第１判断装置と、第１選択装置と、１次分類装置と、第２判断装置と、第２選択装置と、２次分類装置と、第１リマインダーモジュールと、第２リマインダーモジュールと、第３リマインダーモジュールとについての具体的な説明は、上記の実施例におけるステップ１０１～ステップ１０３と、ステップ２０１～ステップ２１０と、ステップ３０１～ステップ３１０とに関連する内容を参照でき、ここで一々重複説明を省略する。

【0084】

本発明の１つの実施例には、画像収集装置と、プロセッサと、メモリと、を含むスーパーマーケット商品棚上の商品の分析システムが提供されている。

【0085】

画像収集装置は、スーパーマーケット商品棚上の商品及び商品に対応する値札を含む商品棚画像を取得するためのものである。メモリは、プロセッサが実行可能なコマンドを記憶するためのものである。プロセッサは、商品棚画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品で訓練されたモデルであるプライマリー商品分類モデルと、畳み込みニューラルネットワーク画像認識技術で構築されかつスーパーマーケット商品棚上の全ての商品に対応する値札訓練されたモデルである値札テキスト認識モデルとに基づいて、スーパーマーケット商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得し、商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示するように配置される。画像収集装置及びプロセッサについての具体的な説明は、上記の実施例におけるステップ１０１～ステップ１０３と、ステップ２０１～ステップ２１０と、ステップ３０１～ステップ３１０とに関連する内容を参照でき、ここで一々重複説明を省略する。

【0086】

以上により、本発明の実施例により以下のような有益な効果をもたらした。

【0087】

商品棚画像を取得し、そして商品棚画像と、事前訓練された、プライマリー商品分類モデル及び値札テキスト認識モデルとに基づいて、商品棚上の商品に対応するプライマリー商品分類結果及び値札に対応するプライマリー価格認識結果を取得し、続いて商品棚画像には、プライマリー商品分類結果及びプライマリー価格認識結果を表示することによって、ショッピング場所の管理者が商品棚上の商品情報を管理する時、商品棚の前に商品包装を１つずつ調査してから、商品情報を記録することを回避できるため、管理効率を向上させ、管理者にとってスーパーマーケット商品棚上の全ての商品情報が一目瞭然であり、商品の管理が便利になる。

【0088】

技術常識からわかるように、本発明は、その精神的な実質又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】