特許 6709862 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6709862

(24)【登録日】2020年5月27日

(45)【発行日】2020年6月17日

(54)【発明の名称】畳み込みニューラルネットワーク画像認識技術による会計方法及び設備

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200608BHJP

   G06N 3/04 20060101ALI20200608BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/04

【請求項の数】10

【全頁数】14

(21)【出願番号】特願2018-567956(P2018-567956)

(86)(22)【出願日】2017年9月8日

(65)【公表番号】特表2019-526848(P2019-526848A)

(43)【公表日】2019年9月19日

(86)【国際出願番号】CN2017100999

(87)【国際公開番号】WO2019019291

(87)【国際公開日】20190131

【審査請求日】2018年12月26日

(31)【優先権主張番号】201710607759.X

(32)【優先日】2017年7月24日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518107992

【氏名又は名称】▲図▼▲霊▼通▲諾▼（北京）科技有限公司

【氏名又は名称原語表記】Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】▲呉▼ 一黎

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１６−０３８７９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３２８６６０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得ステップと、
前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップと、
複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類ステップと、
前記１次分類結果を１回目の分類結果とする確認ステップと、
前記１回目の分類結果に基づいて会計を行う会計ステップと、を含むことを特徴とする畳み込みニューラルネットワーク画像認識技術による会計方法。

【請求項2】

前記１次分類結果が類似する商品であるとき、前記第１分類ステップの後、前記確認ステップの前に、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得する、第２分類ステップと、
前記１次分類結果を１回目の分類結果とする確認ステップを経ず、前記２次分類結果を１回目の分類結果とする確認ステップと、
をさらに含み、
前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであることを特徴とする請求項１に記載の会計方法。

【請求項3】

前記確認ステップの後、前記会計ステップの前に、
複数枚の前記矩形領域画像と前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、前記会計ステップへ移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含むことを特徴とする請求項１又は２に記載の会計方法。

【請求項4】

分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得することを特徴とする請求項１に記載の会計方法。

【請求項5】

レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得装置と、
前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出装置と、
複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類装置と、
前記１次分類結果を１回目の分類結果とする確認装置と、
前記１回目の分類結果に基づいて会計を行う会計装置と、を備えることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。

【請求項6】

前記１次分類結果が類似する商品であるとき、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とする第２分類装置と、をさらに備え、
対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行うことを特徴とする請求項５に記載の会計設備。

【請求項7】

複数枚の前記矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、
一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えることを特徴とする請求項５に記載の会計設備。

【請求項8】

前記取得装置は撮像ヘッドであり、
分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、
分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得することを特徴とする請求項５に記載の会計設備。

【請求項9】

レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得する撮像ヘッドと、
プロセッサと、
プロセッサが実行可能なコマンドを記憶するメモリと、を備え、
前記プロセッサは、
前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得し、前記１次分類結果を１回目の分類結果として、前記１回目の分類結果に基づいて会計を行うように構成されていることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。

【請求項10】

前記プロセッサは、さらに、
前記１次分類結果が類似する商品であるときは、
複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とし、
そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されていることを特徴とする請求項９に記載の会計設備。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識技術分野に関し、特に畳み込みニューラルネットワーク画像認識技術による会計方法及び設備に関する。

【背景技術】

【0002】

顧客は、スーパーやレストラン等のショッピング場所で自分が好き又は必要な商品を見るとき、購入するためにはレジカウンターで会計することが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来技術において、よく使う会計方法は、２種類がある。第１種類は、バーコードに基づく会計方法である。該方法では、商品におけるバーコードを走査することによって商品を認識し、認識された商品を会計し、走査操作がキャッシャ又は顧客自助（セルフサービス）で完成される。しかし、該方法は、以下のような欠点がある。即ち、走査は面倒であり、人力が浪費され、かつ操作に所定の条件がある。また、通常１回当たり一件の商品のみを走査でき、複数件の商品を同時に走査できなくて、效率が低い。第２種類は、ＲＦＩＤに基づく会計方法である。該方法では、電池を必要としない小さい無線周波数モジュール（ＲＦＩＤ）を商品に貼り付け、該商品がレジカウンターを通すとき、レジカウンターが該商品に無線信号を送信し、該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックし、該フィードバック信号には商品のＩＤ情報が携帯され、そしてそれに基づいて会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとには小さい無線周波数モジュールが貼り付けられる必要があるので、面倒であって、また小さい無線周波数モジュールが自然に落ちても人為的に引き剥がされても、商品から落ちると、店側は損害が発生する。なお、商品が金属商品であるときは、該金属商品にＲＦＩＤが貼り付けられると、信号がブロックされる虞がある。

【課題を解決するための手段】

【0004】

従来技術に存在する問題を少なくとも解決するために、本発明の一側面により、畳み込みニューラルネットワーク画像認識技術による会計方法が提供されている。該会計方法は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得ステップと、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップと、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類ステップと、前記１次分類結果を１回目の分類結果とする確認ステップと、前記１回目の分類結果に基づいて会計を行う会計ステップと、を含んでいる。

【0005】

上記の会計方法において、好ましくは、前記会計方法は、前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、複数枚の前記矩形領域画像と、訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果として、前記確認ステップを移行する、第２分類ステップをさらに含んでいる。前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。

【0006】

上記の会計方法において、好ましくは、前記会計方法は、確認ステップの後、会計ステップの前に、複数枚の前記矩形領域画像と前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、前記会計ステップを移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいる。

【0007】

上記の会計方法において、好ましくは、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品品を斜め上から撮像して画像を取得する。

【0008】

本発明の他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の前記画像を取得する取得装置と、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出装置と、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得する第１分類装置と、前記１次分類結果を１回目の分類結果とする確認装置と、前記１回目の分類結果に基づいて会計を行う会計装置と、を備える。

【0009】

上記の会計設備において、好ましくは、前記会計設備は、前記１次分類結果が類似する商品であるとき、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とする第２分類装置とをさらに備え、前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行う。

【0010】

上記の会計設備において、好ましくは、前記会計設備は、複数枚の前記矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置とをさらに備える。

【0011】

上記の会計設備において、好ましくは、前記取得装置は撮像ヘッドであり、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得する、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。

【0012】

本発明の更に他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得する撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を備え、前記プロセッサは、前記画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の前記矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の前記画像の１次分類結果を取得し、前記１次分類結果を１回目の分類結果として、前記１回目の分類結果に基づいて会計を行うように構成されている。

【0013】

上記の会計設備において、好ましくは、前記プロセッサは、さらに、前記１次分類結果が類似する商品であるときは、複数枚の前記矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の前記画像の２次分類結果を取得し、前記２次分類結果を１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されている。前記２次分類モデルは、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。

【発明の効果】

【0014】

本発明の実施例は、上記技術案により以下のような有益な効果をもたらした。
商品を確実に認識でき、自助会計に便利である。

【図面の簡単な説明】

【0015】

【図1】本発明の１つの実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図2】本発明の他の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図3】本発明のまた別の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図4】本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計設備の構造模式図である。

【発明を実施するための形態】

【0016】

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。

【0017】

図１を参照して、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計方法の一実施例を説明する。この実施例による該会計方法は、
レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する取得ステップ１０１と、
画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する目標検出ステップ１０２と、
複数枚の矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得する第１分類ステップ１０３と、
１次分類結果を１回目の分類結果とする確認ステップ１０４と、
１回目の分類結果に基づいて会計を行う会計ステップ１０５と、を含んでいる。

【0018】

要するに、一個の商品に対して複数枚の画像を取得し、１次分類モデルを利用して画像ごとに対して処理を行い、対応的に複数の分類結果を取得し、そして１つの最終的な結果を出力するように複数の分類結果をデータ融合し、つまり、線形回帰モデルを利用して処理を行い、該商品がどの商品であるかを得ることができ、よって、商品認識の正確率を高める。

【0019】

図２を参照して、本発明にかかる畳み込みニューラルネットワーク画像認識技術による会計方法の他の実施例を説明する。以下において、本実施例に含まれるステップ２０１〜ステップ２０７を詳細に説明する。

【0020】

ステップ２０１において、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する。

【0021】

具体的には、該ステップにおいて、１つの撮像角度から該商品を撮像し、１枚の画像を取得する。１つの撮像角度が１枚の画像に対応するため、異なる撮像角度に変えることで、異なる撮像角度に対応する画像を取得できる。撮像角度の数が複数であるとき、複数枚の画像を取得でき、このように商品を認識するためのキー情報を捕えることが確保できる。該キー情報とは、商品の外観で商品識別（又は分類と称する）に重要な役割を果たす情報を意味している。例えば、商品がミネラルウォーターであるとき、さまざまな種類のミネラルウォーターがあるので、異なる種類のミネラルウォーターを区別することは、ミネラルウォーター瓶に貼られているプラスチック紙上の図案を主に依存している。該図案は、ミネラルウォーターのキー情報である。

【0022】

レジカウンターに複数の撮像角度を形成するように複数の撮像ヘッド、例えば、５つ、４つ又は６つを配置し、撮像ヘッドの数は、画像の枚数と同一である。撮像ヘッド数量が５つとされる場合の撮像ヘッドの撮像角度を説明すると、分類しようとする商品の真上に１つの撮像ヘッドを配置し、真上から下に向いて商品を撮像し、分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、いずれも斜め上から商品を撮像してもよく、または分類しようとする商品の周りに５つの撮像ヘッドを均一に配置し、そのうちの２つの撮像ヘッドが斜め下から商品を撮像し、ほかの３つの撮像ヘッドが斜め上から商品を撮像してもよい。本実施例は、撮像ヘッドの数及び配置方式を限定しない。通常、撮像ヘッドの数が多ければ多いほど取得した画像の数が多くなり、画像全体に含まれた商品の情報も多くなる。このように商品の分類に有利になる。しかし、これは、ハードウェアの複雑度を増加させ、演算量を増大させるため、実際の状況に応じて撮像ヘッドの数を選択できる。

【0023】

なお、本文中の撮像角度は、撮像方向の１つの要素を指してもよく、撮像方向及び撮像距離の２つの要素を指してもよく、さらに他の要素又は他の数値の要素を指してもよい。本実施例は、これに対して限定しない。

【0024】

取得動作（又は撮像動作と称する）は、レジカウンターに配置される秤により触発され得る。例えば、秤は、圧力センサーを備える秤であり、秤が感知した重量の変化に基づいて撮像を触発するか否かを決定する。秤が重量の変化を感知し、また該変化が既に安定したと感知したとき、撮像ヘッドは、撮像を始める。このように条件を満たす画像を撮像することが保証できる。つまり、顧客が商品を載置した後、その時刻の画像を撮像できる。他の実施例において、撮像ヘッドの撮像動作の触発は、図形認識や計算機視覚の技術手段を利用してもよい。撮像ヘッドは、まず、物品が載置される領域を継続的に観察及び撮像し、例えば、顧客の手が差し込み、１つの商品を下ろし、そして手を離すこのような１つの動作をビデオから捕らえることができたとき、撮像が指令されて、撮像ヘッドは触発されて撮像する。

【0025】

ステップ２０２において、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する。

【0026】

具体的には、画像ごとに目標検出を行う時に、画像ごとに１つの商品を含む矩形枠（または矩形領域と称する）を切り出し、該矩形枠に対応する画像は、商品の分類を行うための画像であり、ステップ２０３に出力される。画像の数が５枚であるとき、該５枚の画像から、商品を含む矩形領域に対応する５枚の画像を取得する。

【0027】

ステップ２０３において、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、事前訓練された１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。

【0028】

具体的には、データを取得してデータセットを作成する。データを取得する過程は、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術によるフレームワークのモデルであり、ショッピング場所における全ての商品のデータを用いて１次分類モデルが訓練される。訓練する時に勾配降下の方式で行うことができる。

【0029】

訓練された１次分類モデルは、各矩形領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、ショッピング場所における商品の総数を表す。ベクトルにおける各元素の意味は、１次分類モデルは分類しようとする一個の商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルにおける１つの要素が最大値であるということは、モデルは分類しようとする商品が該要素に対応する商品であることを認定するという意味である。矩形領域画像が５枚であるとき、プライマリー分類結果の数は、５つのｎ次元ベクトルである。

【0030】

ステップ２０４において、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数枚の画像の１次分類結果を取得し、１次分類結果が類似する商品であるとき、下記ステップ２０５に移行し、そうではないとき、１次分類結果を１回目の分類結果とし、ステップ２０６に移行する。

【0031】

具体的には、ステップ２０３において、１次分類モデルを訓練しているときに、１次分類モデルが出力するプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練された１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。

【0032】

ショッピング場所における商品は多種である。該多種の商品の中ではいくらか外観が類似し、また視覚で混同しやすい商品が存在しており、これらの商品を類似する商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、下記のステップ２０５を実行する必要がある。類似する商品ではないとき、１次分類結果を直接に１回目の分類結果とし、会計に応用する。

【0033】

第２分類ステップ２０５において、複数枚の矩形領域画像と、訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組の商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。

【0034】

具体的には、ステップ２０３において作成したデータセット中の類似する商品のデータで２次分類モデルを訓練する。訓練する時に勾配降下の方式によって行うことができる。２次分類モデルは、訓練する時に用いるデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータはショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータはショッピング場所における類似する商品のデータである。

【0035】

訓練された２次分類モデルによって、各矩形領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各元素の意味は、２次分類モデルは分類しようとする一個の商品がｍ個類似する商品の中の各商品に属することを認定する確率を表している。５枚の矩形領域画像がある時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つショッピング場所における類似する商品の総数を表している。

【0036】

実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。

【0037】

２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、これを１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を表している。

【0038】

ステップ２０６において、１回目の分類結果に基づいて会計を行う。

【0039】

具体的には、１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得すれば、顧客がレジカウンターに載置した商品のために支払うべき費用を確定することができる。商品名称と、商品価格と、支払い費用と、をレジカウンターに備えられているディスプレイに表示してもよく、また音声によって商品名称を顧客に提示してもよい。顧客が費用を支払うとき、ディスプレイに表示される二次元コードを走査することによって、又は携帯端末に表示される自分の口座の二次元コードをレジカウンターに備えられているコードスキャナ端末に合わせて走査させることによって支払いを済ませることが可能である。

【0040】

図３に示されているように、分類エラーを回避し、会計の正確率を高めるために、ステップ２０６の前に、さらに、ステップ２０７を含んでもよい。

【0041】

ステップ２０７においては、複数枚の矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断し、一致であるときは、上記ステップ２０６に移行し、そうではないときは、商品は在庫がないことを顧客に提示する。

【0042】

具体的には、ショッピング場所における商品ごとにサポートベクトルマシンの機械学習モデル（又はサポートベクトルマシンモデルと称する）を構築する。即ち、商品ごとは、それに対応するサポートベクトルマシンモデルを有し、ステップ２０３において作成されたデータセット中の商品に対応するデータを用いて該モデルを訓練する。１次分類モデルを構築するときに、１つの中間計算結果が存在し、それは、長さが１０２４となるベクトルである。該ベクトルは、画像の１つの特徴と見なすことができ、そうすることによって該ベクトルから該商品はある類別の商品に属するか否かを判断するための１つのサポートベクトルマシンモデルを構築する。

【0043】

１回目の分類結果を取得した後、該１回目の分類結果に対応するサポートベクトルマシンモデルを用いて矩形領域画像ごとに含まれる商品を判断し、初歩的な判断結果を得る。該初歩的な判断結果は、該画像中の商品が１回目の分類結果に一致するか否かを表す。矩形領域画像の数は複数枚であると、初歩的な判断結果は複数個がある。複数の初歩的な判断結果における一致する数が予め設定された閾値以上であるときは、該画像中の商品は１回目の分類結果に一致することを判断し、そうではないときは、該商品は在庫がないことを顧客に提示し、つまり、会計することができない。例えば画像の枚数が５枚であり、予め設定された閾値が３であり、５つの初歩的な判断結果は、順に一致、一致、不一致、不一致、一致となると、一致となる数は３である。一致となる数は予め設定された閾値に等しいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に一致することを判断し、前述の分類過程は正しいと認定する。即ち、一種の正しい商品を識別した。この時、顧客は、会計を通して該商品を取得できる。仮に５つの初歩的な判断結果は、順に、不一致、不一致、不一致、不一致、一致なると、一致となる数が１である。一致となる数は、予め設定された閾値より小さいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に不一致となることを判断し、前述の分類過程は不成功だと認定する。即ち、識別が失敗した。このとき、音声及び／又は画面による「在庫には該商品がない、該商品を識別できない」等の提示によって該商品を会計できないことが顧客に提示される。

【0044】

以下において、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の一実施例を説明する。この会計設備は、取得装置３０１と、目標検出装置３０２と、第１分類装置３０３と、確認装置３０４と、会計装置３０５と、を備えている。

【0045】

取得装置３０１は、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する複数枚の画像を取得する。

【0046】

好ましくは、取得装置３０１は、撮像ヘッドであり、分類しようとする商品の真上に１つの撮像ヘッドを配置して、該商品を真上から下へ向いて撮像して画像を取得し、分類しようとする商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。

【0047】

目標検出装置３０２は、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得する。

【0048】

第１分類装置３０３は、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得する。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。

【0049】

確認装置３０４は、１次分類結果を１回目の分類結果とする。

【0050】

会計装置３０５は、１回目の分類結果に基づいて会計を行う。

【0051】

該会計設備は、１次分類結果が類似する商品であるとき、複数枚の矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする第２分類装置をさらに備え、対応的に、会計装置は、１次分類結果が類似する商品であるとき、第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、第１分類装置で取得された１次分類結果に基づいて会計を行う。

【0052】

該会計設備は、複数枚の矩形領域画像と１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、会計装置３０５を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置とをさらに備えている。

【0053】

なお、取得装置３０１についての具体的な説明は、上記の実施例におけるステップ１０１と２０１に関連する内容を参照し得る。目標検出装置３０２についての具体的な説明は、上記の実施例におけるステップ１０２と２０３に関連する内容を参照し得る。第１分類装置３０３についての具体的な説明は、上記の実施例におけるステップ１０３と２０３に関連する内容を参照し得る。確認装置３０４についての具体的な説明は、上記の実施例におけるステップ１０４と２０４に関連する内容を参照し得る。会計装置３０５についての具体的な説明は、上記の実施例におけるステップ１０５と２０６に関連する内容を参照し得る。第２分類装置についての具体的な説明は、上記の実施例におけるステップ２０５に関連する内容を参照し得る。判断装置と選別装置についての具体的な説明は、上記の実施例におけるステップ２０７に関連する内容を参照し得る。ここで一々その詳細な重複説明を省略する。

【0054】

また、下記においては、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の他の実施例を説明する。この会計設備は、撮像ヘッドと、プロセッサ及びメモリを備えている。

【0055】

撮像ヘッドは、レジカウンターに載置して分類しようとする一個の商品の複数枚の画像であって、複数の撮像角度に１対１で対応する画像を取得するためである。メモリは、プロセッサが実行可能なコマンドを記憶するためである。プロセッサは、画像ごとに目標検出を行って商品を含む矩形領域に対応する画像である矩形領域画像を取得し、複数枚の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルであり、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数枚の画像の１次分類結果を取得し、１次分類結果を１回目の分類結果として、１回目の分類結果に基づいて会計を行うように構成されている。

【0056】

プロセッサは、さらに、１次分類結果が類似する商品であるときは、複数枚の矩形領域画像と、事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、２次分類モデルは、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであり、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数枚の画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうではないときは、１次分類結果を１回目の分類結果とするように構成されている。

【0057】

以下、１本のミネラルウォーターを購入することを例として本方法の具体的な動作過程を説明する。

【0058】

顧客が清算する過程において、秤量台に１本のミネラルウォーターが載置される。秤量台の電子秤が重量の変化を検出し、そして重量領域が安定になった時に、５つの撮像ヘッドからデータを取得し始め、５枚の写真を取得した。まず、この５枚の写真を画一的にある予め設定された寸法まで縮小／拡大し、そして目標検出モデルによりこの５枚の写真でミネラルウォーターである物体を検出する。検出結果は、写真における見つかった物体を含む１つの矩形領域である。その後、各矩形領域を画一的にある予め設定された寸法まで縮小／拡大し、そして１次分類モデルにより各矩形領域を分類することで、該物体が各類別の商品に属する確率を得る。その後、全ての確率結果は、１つの１次線形回帰モデルの使用により全ての商品類別における該物体の１次分類結果が得られる。該１次分類結果が２次分類モデルでさらに分類される必要がある商品類別に属する場合、対応の２次分類モデルを使用し、各矩形領域を分類し、該物体が各類別に属するそれぞれの確率値を得る。そして２次線形回帰モデルの使用により該物体は全ての商品類別での分類結果が得られる。最後には、該類別のサポートベクトルマシンモデル（又は小モデルと称する）によって、５枚の写真中の矩形領域を判断し、該商品が該類別に属するか否かを判別する。そうであると判別するときは、該商品類別に戻り、そうではないと判別するときは、該物品がいずれかの商品類別に属しないと認定する。

【0059】

以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。

【0060】

商品を確実に認識でき、自助会計に便利である。

【0061】

技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】