特許 6709320 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6709320

(24)【登録日】2020年5月26日

(45)【発行日】2020年6月10日

(54)【発明の名称】畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20200601BHJP

   G07G 1/00 20060101ALI20200601BHJP

   G06T 7/00 20170101ALI20200601BHJP

   G06N 3/04 20060101ALI20200601BHJP

   G06N 20/10 20190101ALI20200601BHJP

【ＦＩ】

   G06Q30/06

   G07G1/00 311Z

   G06T7/00 350C

   G06N3/04

   G06N20/10

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2019-502005(P2019-502005)

(86)(22)【出願日】2017年12月11日

(65)【公表番号】特表2019-536121(P2019-536121A)

(43)【公表日】2019年12月12日

(86)【国際出願番号】CN2017115443

(87)【国際公開番号】WO2019019525

(87)【国際公開日】20190131

【審査請求日】2019年1月15日

(31)【優先権主張番号】201710607759.X

(32)【優先日】2017年7月24日

(33)【優先権主張国】CN

(31)【優先権主張番号】201711008973.X

(32)【優先日】2017年10月25日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518107992

【氏名又は名称】▲図▼▲霊▼通▲諾▼（北京）科技有限公司

【氏名又は名称原語表記】Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100121120

【弁理士】

【氏名又は名称】渡辺 尚

(72)【発明者】

【氏名】▲呉▼一黎

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１６−０３８７９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３２８６６０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ２０／１０

Ｇ０６Ｑ ３０／０６

Ｇ０７Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップと、
まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出ステップと、
前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップと、
各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認ステップと、
各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計ステップと、
を含んでおり、
Ｍ、Ｎは、２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計方法。

【請求項2】

前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、前記会計ステップへ移行し、前記１次分類結果が類似する商品でないとき、確認ステップへ移行する、第２分類ステップをさらに含んでおり、
前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであることを特徴とする請求項１に記載の会計方法。

【請求項3】

確認ステップの後、会計ステップの前に、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、会計ステップへ移行し、一致でないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいることを特徴とする請求項１又は２に記載の会計方法。

【請求項4】

分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、
分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得することを特徴とする請求項１に記載の会計方法。

【請求項5】

レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得装置と、
まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出装置と、
前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類装置と、
各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認装置と、
各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計装置と、を備えており、
Ｍ、Ｎは、２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。

【請求項6】

前記１次分類結果が類似する商品であるとき、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とする第２分類装置をさらに備え、
対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行うことを特徴とする請求項５に記載の会計設備。

【請求項7】

各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、
一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えていることを特徴とする請求項５に記載の会計設備。

【請求項8】

前記取得装置は撮像ヘッドであり、
分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、
分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得することを特徴とする請求項５に記載の会計設備。

【請求項9】

レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得するＮ個の撮像ヘッドと、
プロセッサと、
プロセッサが実行可能なコマンドを記憶するメモリと、を備え、
前記プロセッサは、
まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する前記１次分類結果を各商品の１回目の分類結果として、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計するように構成され、
Ｍ、Ｎは２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。

【請求項10】

前記プロセッサは、さらに、
前記１次分類結果が類似する商品であるときは、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されていることを特徴とする請求項９に記載の会計設備。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識技術分野に関し、特に畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備に関する。

【背景技術】

【0002】

顧客は、スーパーやレストラン等のショッピング場所で自分が好きな又は必要な商品を見るとき、購入するためにはレジカウンターで会計することが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来技術において、よく使う会計方法は、２種類がある。第１種類は、バーコードに基づく会計方法である。該方法では、商品におけるバーコードを走査することによって商品を認識し、認識された商品を会計し、走査操作がキャッシャ又は顧客自助（セルフサービス）で完成される。しかし、該方法は、以下のような欠点がある。即ち、走査は面倒であり、人力が浪費され、かつ操作に所定の条件がある。また、通常１回当たり一件の商品のみを走査でき、複数件の商品を同時に走査できなくて、效率が低い。第２種類は、ＲＦＩＤに基づく会計方法である。該方法では、電池を必要としない小さい無線周波数モジュール（ＲＦＩＤ）を商品に貼り付け、該商品がレジカウンターを通すとき、レジカウンターが該商品に無線信号を送信し、該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックし、該フィードバック信号には商品のＩＤ情報が携帯され、そしてそれに基づいて会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとには小さい無線周波数モジュールが貼り付けられる必要があるので、面倒であって、また小さい無線周波数モジュールが自然に落ちても人為的に引き剥がされても、商品から落ちると、店側に損害が発生する。なお、商品が金属商品であるときは、該金属商品にＲＦＩＤが貼り付けられると、信号がブロックされる虞がある。

【課題を解決するための手段】

【0004】

従来技術に存在する問題を少なくとも解決するために、本発明の一側面により、畳み込みニューラルネットワーク画像認識技術による会計方法が提供されている。該会計方法は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップと、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出ステップと、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップと、各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認ステップと、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計ステップと、を含んでおり、Ｍ、Ｎは、２以上の自然数である。

【0005】

上記の会計方法において、好ましくは、前記会計方法は、前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、確認ステップへ移行する、第２分類ステップをさらに含んでおり、前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。

【0006】

上記の会計方法において、好ましくは、前記会計方法は、確認ステップの後、会計ステップの前に、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、会計ステップへ移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいる。
上記の会計方法において、好ましくは、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得する。

【0007】

本発明の他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得装置と、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出装置と、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類装置と、各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認装置と、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計装置と、を備えており、Ｍ、Ｎは、２以上の自然数である。

【0008】

上記の会計設備において、好ましくは、前記会計設備は、前記１次分類結果が類似する商品であるとき、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とする第２分類装置をさらに備え、対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行う。

【0009】

上記の会計設備において、好ましくは、前記会計設備は、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えている。

【0010】

上記の会計設備において、好ましくは、前記取得装置は撮像ヘッドであり、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得する。

【0011】

本発明の更に他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得するＮ個の撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を備え、前記プロセッサは、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する前記１次分類結果を各商品の１回目の分類結果として、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計するように構成され、Ｍ、Ｎは２以上の自然数である。

【0012】

上記の会計設備において、好ましくは、前記プロセッサは、前記１次分類結果が類似する商品であるときは、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするようにさらに構成されている。

【発明の効果】

【0013】

本発明の実施例は、上記技術案により以下のような有益な効果をもたらした。
商品を確実に認識でき、自助会計に便利である。

【図面の簡単な説明】

【0014】

【図1】本発明の１つの実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図2】本発明の他の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図3】本発明のまた別の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。

【図4】本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計設備の構造模式図である。

【発明を実施するための形態】

【0015】

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。
会計効率を高めるために、本発明の実施例は、特に、顧客がＭ個の商品（Ｍは２以上の自然数である）をレジカウンターに載置する場合に適用されている。

【0016】

図１を参照して、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計方法の一実施例を説明する。この実施例による該会計方法は、
レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像（Ｎは２以上の自然数である）であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップ１０１と、
まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の、商品を含む矩形領域画像である第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の、商品を含む矩形領域画像である残り矩形領域画像を各画像から取得する目標検出ステップ１０２と、
第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップ１０３と、
各商品に対応する１次分類結果を各商品の１回目の分類結果とする確認ステップ１０４と、
各商品の１回目の分類結果に基づいてＭ個の商品を会計する会計ステップ１０５と、を含んでいる。

【0017】

これにより、複数の撮像角度で複数の商品に対して画像取得を行ってから、第１撮像角度での画像を用いて商品の数を確定し、第１矩形領域画像を取得し、該数により複数枚の画像における残りの画像にそれぞれ目標検出を行うことで、各画像において同数の残り矩形領域画像を取得し、１次分類モデルを用いて複数の第１矩形領域画像を処理し、各商品の１つの分類結果を得る。１次分類モデルを用いて複数の画像における残りの画像のそれぞれの複数の残り矩形領域画像を処理し、各商品のいくつかの分類結果を取得し、該分類結果の数に前記分類結果の数（即ち１つ）を加える数は、画像の数と同一である。そして、各商品の複数の分類結果をデータ融合することにより、１つの最終的な結果を出力し、つまり、線形回帰モデルを用いて処理し、該商品がどの商品であるかを得ることができる。さらに、複数の商品がそれぞれどの商品であるかを対応に得ることができる。そのため、会計効率を高めるとともに、商品認識の正確率を高める。

【0018】

図２を参照して、本発明にかかる畳み込みニューラルネットワーク画像認識技術による会計方法の他の実施例を説明する。以下において、本実施例に含まれるステップ２０１〜ステップ２０７を詳細に説明する。
ステップ２０１において、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得する。前記Ｎ枚の画像は、少なくとも１つの、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を有するＮ個の撮像角度に１対１で対応している。

【0019】

具体的には、該ステップにおいて、１つの撮像角度から該商品を撮像し、１枚の画像を取得する。１つの撮像角度が１枚の画像に対応するため、異なる撮像角度に変えることで、異なる撮像角度に対応する画像を取得できる。撮像角度の数がＮ個であるとき、Ｎ枚の画像を取得でき、このように商品を認識するためのキー情報を捕えることが確保できる。該キー情報とは、商品の外観で商品識別（又は分類と称する）に重要な役割を果たす情報を意味している。例えば、商品がミネラルウォーターであるとき、さまざまな種類のミネラルウォーターがあるので、異なる種類のミネラルウォーターを区別することは、ミネラルウォーター瓶に貼られているプラスチック紙上の図案を主に依存している。該図案は、ミネラルウォーターのキー情報である。

【0020】

レジカウンターにＮ個の撮像角度を形成するようにＮ個の撮像ヘッド、例えば、５つ、４つ又は６つを配置し、撮像ヘッドの数は、画像の枚数と同一である。Ｍ個の商品を確実に認識するために、Ｎ個の撮像角度は、少なくとも１つの、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する第１撮像角度という撮像角度を有し、つまり、Ｍ個の商品の真上に１つの撮像ヘッドを配置し、Ｍ個の商品を真上から下へ向いて撮像する。撮像ヘッド数量が５つとされる場合の撮像ヘッドの撮像角度を説明すると、分類しようとする商品の真上に１つの撮像ヘッドを配置し、真上から下に向いて商品を撮像し、分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、いずれも斜め上から商品を撮像してもよく、または分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、そのうちの２つの撮像ヘッドが斜め上から商品を撮像し、ほかの２つの撮像ヘッドが斜め下から商品を撮像してもよい。本実施例は、撮像ヘッドの数及び配置方式を限定しない。通常、撮像ヘッドの数が多ければ多いほど取得した画像の数が多くなり、画像全体に含まれた商品の情報も多くなる。このように商品の分類に有利になる。しかし、これは、ハードウェアの複雑度を増加させ、演算量を増大させるため、実際の状況に応じて撮像ヘッドの数を選択できる。

【0021】

なお、本文中の撮像角度は、撮像方向の１つの要素を指してもよく、撮像方向及び撮像距離の２つの要素を指してもよく、さらに他の要素又は他の数値の要素を指してもよい。本実施例は、これに対して限定しない。
取得動作（又は撮像動作と称する）は、レジカウンターに配置される秤により触発され得る。例えば、秤は、圧力センサーを備える秤であり、秤が感知した重量の変化に基づいて撮像を触発するか否かを決定する。秤が重量の変化を感知し、また該変化が既に安定したと感知したとき、例えば、予定時間（即ち、重量が変化した時刻を初期時刻とし、初期時刻＋予定時間を終了時刻とする時間帯）内に重量が変化しないとき、撮像ヘッドは、撮像を始める。このように条件を満たす画像を撮像することが保証できる。つまり、顧客が商品を載置した後、その時刻の画像を撮像できる。他の実施例において、撮像ヘッドの撮像動作の触発は、図形認識や計算機視覚の技術手段を利用してもよい。撮像ヘッドは、まず、物品が載置される領域を継続的に観察及び撮像し、例えば、顧客の手が差し込み、１つの商品を下ろし、そして手を離すこのような１つの動作をビデオから捕らえることができたとき、初期時刻を記録し、予定時間（即ち、該動作を捕捉した時刻を初期時刻とし、初期時刻＋予定時間を終了時刻とする時間帯）内にこのような動作をビデオから捕らえることができたとき、撮像が指令されて、撮像ヘッドは触発されて撮像する。

【0022】

ステップ２０２において、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する。
具体的には、まず第１撮像角度で取得された画像に目標検出を行う時に、該画像からＭ個の商品を含む矩形枠（または矩形領域と称する）を切り出し、ステップ２０３に出力する。各矩形枠には、１つの商品が含まれ、該矩形枠に対応する画像（または第１矩形領域画像と称する）は、商品を分類するための画像である。矩形枠の数は、分類しようとする商品の数と同一である。遮蔽がないため、Ｍ個の商品の真上から下へ向いて撮像して取得された画像により、レジカウンターに載置して分類しようとする商品の数を確実に確定できる。この数に基づいて、他の撮像角度で取得された各画像に目標検出を行う時に、他の撮像角度での各画像から商品の数と同一の矩形枠を切り出し、ステップ２０３に出力する。各矩形枠には、１つの商品も含まれ、該矩形枠に対応する画像（または残り矩形領域画像と称する）は、商品を分類するための画像である。商品の数Ｍが４個であり、画像の数Ｎが５枚であり、第１撮像角度で取得された画像が１枚である場合、商品を含む矩形領域に対応する４つの画像を第１撮像角度で取得された画像から取得し、商品を含む矩形領域に対応する４つの画像を残りの４枚の画像のそれぞれから取得する。

【0023】

ステップ２０３において、第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得する。
具体的には、データを取得してデータセットを作成する。データを取得する過程は、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術によるフレームワークのモデルであり、ショッピング場所における全ての商品のデータを用いて１次分類モデルが訓練される。訓練する時に勾配降下の方式で行うことができる。

【0024】

訓練された１次分類モデルは、各画像のＭ枚の第１矩形領域画像又はＭ枚の残り矩形領域画像中の商品を分類する。画像の枚数は、Ｎ枚であるため、各商品に対応するＮ個のプライマリー分類結果を得る。即ち、プライマリー分類結果の数は、画像の枚数と一致する。該プライマリー分類結果は、１つのＯ次元ベクトルである。Ｏは、ショッピング場所における商品の総数を示す。ベクトルにおける各元素の意味は、１次分類しようとする該商品がＯ個の商品における各商品に属すると分類モデルの認定する確率を示している。画像の数Ｎが５枚である場合、プライマリー分類結果の数は、５つのＯ次元ベクトルである。

【0025】

ステップ２０４において、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、１次分類結果が類似する商品であるとき、下記ステップ２０５を実行し、そうではないとき、各商品に対応する１次分類結果を各商品の１回目の分類結果とする。
具体的には、ステップ２０３において、１次分類モデルを訓練しているときに、１次分類モデルが出力するプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練された１次線形回帰モデルによって各商品のＮ個のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。

【0026】

ショッピング場所における商品は多種である。該多種の商品の中ではいくらか外観が類似し、また視覚で混同しやすい商品が存在しており、これらの商品を類似する商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、下記のステップ２０５を実行する必要がある。類似する商品ではないとき、１次分類結果を直接に１回目の分類結果とし、会計に応用する。

【0027】

第２分類ステップ２０５、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された２次分類モデルに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とする。２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである。
具体的には、ステップ２０３において作成したデータセット中の類似する商品のデータで２次分類モデルを訓練する。訓練する時に勾配降下の方式によって行うことができる。２次分類モデルは、訓練する時に用いるデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータはショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータはショッピング場所における類似する商品のデータである。

【0028】

訓練された２次分類モデルによって、類似する商品に対応する第１矩形領域画像及び残り矩形領域画像における商品を分類し、類似する商品に対応するＮ個のセカンダリー分類結果を得る。該セカンダリー分類結果も１つのｐ次元ベクトルであり、ベクトル中の各元素の意味は、分類しようとする商品がｐ個の類似する商品における各商品に属すると２次分類モデルが認定する確率を表している。画像の数Ｎは５枚である時に、セカンダリー分類結果の数は５つのｐ次元ベクトルである。ＰはＯ以下であり、且つショッピング場所における類似する商品の総数を表している。

【0029】

実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。
２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、類似する商品に対応するＮ個のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、それを類似する商品の１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属するかを予測した結果を表している。

【0030】

ステップ２０６において、各商品の１回目の分類結果に基づいてＭ個の商品を会計する。
具体的には、１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得し、さらにレジカウンターに載置されたＭ個の商品の価格を取得すれば、顧客がレジカウンターに載置した商品のために支払うべき費用を確定することができる。商品名称と、商品価格と、支払い費用と、をレジカウンターに備えられているディスプレイに表示してもよく、また音声によって商品名称を顧客に提示してもよい。顧客が費用を支払うとき、ディスプレイに表示される二次元コードを走査することによって、又は携帯端末に表示される自分の口座の二次元コードをレジカウンターに備えられているコードスキャナ端末に合わせて走査させることによって支払いを済ませることが可能である。
図３に示されているように、分類エラーを回避し、会計の正確率を高めるために、ステップ２０６の前に、さらに、ステップ２０７を含んでもよい。

【0031】

ステップ２０７においては、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、該商品の１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断し、一致であるときは、上記ステップ２０６に移行し、そうではないときは、商品は在庫がないことを顧客に提示する。
具体的には、ショッピング場所における商品ごとにサポートベクトルマシンの機械学習モデル（又はサポートベクトルマシンモデルと称する）を構築する。即ち、商品ごとは、それに対応するサポートベクトルマシンモデルを有し、ステップ２０３において作成されたデータセット中の商品に対応するデータを用いて該モデルを訓練する。１次分類モデルを構築するときに、１つの中間計算結果が存在し、それは、長さが１０２４となるベクトルである。該ベクトルは、画像の１つの特徴と見なすことができ、そうすることによって該ベクトルから該商品はある類別の商品に属するか否かを判断するための１つのサポートベクトルマシンモデルを構築する。

【0032】

各商品の１回目の分類結果を取得した後、そのうち１つの商品の１回目の分類結果に対応するサポートベクトルマシンモデルを用いてＮ枚画像中の第１矩形領域画像及び残り矩形領域画像に含まれる該商品をそれぞれ判断し、各画像中の該商品が１回目の分類結果に一致するか否かを表すＮ個の初歩的な判断結果を得る。第１矩形領域画像及び残り矩形領域画像の数はＮ枚であると、初歩的な判断結果は合計Ｎ個がある。Ｎ個の初歩的な判断結果における一致する数が予め設定された閾値以上であるときは、該画像中のその該商品は１回目の分類結果に一致するように判断し、そうではないときは、該商品は在庫がないことを顧客に提示し、つまり、会計することができない。第１撮像角度で取得された画像において、Ｍ個の商品における該商品が会計できないことを表明できるように、該商品に表記するとともにディスプレイにより顧客に提示する。例えば画像の枚数が５枚であり、予め設定された閾値が３であり、５つの初歩的な判断結果は、順に一致、一致、不一致、不一致、一致となると、一致となる数は３である。一致となる数は予め設定された閾値に等しいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に一致することを判断し、前述の分類過程は正しいと認定する。即ち、一種の正しい商品を識別した。この時、顧客は、会計を通して該商品を取得できる。仮に５つの初歩的な判断結果は、順に、不一致、不一致、不一致、不一致、一致なると、一致となる数が１である。一致となる数は、予め設定された閾値より小さいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に不一致となることを判断し、前述の分類過程は不成功だと認定する。即ち、識別が失敗した。このとき、音声及び／又は画面による「在庫には該商品がない、該商品を識別できない」等の提示によって該商品を会計できないことが顧客に提示される。このように循環することで、サポートベクトルマシンモデルを用いてＭ個の商品に対する判断を完成することができる。

【0033】

以下に、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の一実施例を説明する。この会計設備は、取得装置３０１と、目標検出装置３０２と、第１分類装置３０３と、確認装置３０４と、会計装置３０５と、を備えている。
取得装置３０１は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得する。Ｎ枚の画像は、Ｎ個の撮像角度に１対１で対応する。Ｎ個の撮像角度は、少なくとも１つの第１撮像角度を有する。第１撮像角度は、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である。Ｍ、Ｎのそれぞれは２以上の自然数である。

【0034】

好ましくは、取得装置３０１は、撮像ヘッドであり、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、該Ｍ個の商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。
目標検出装置３０２は、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する。

【0035】

第１分類装置３０３は、第１矩形領域画像と、残り矩形領域画像と、事前訓練された１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
確認装置３０４は、各商品に対応する１次分類結果を各商品の１回目の分類結果とする。

【0036】

会計装置３０５は、各商品の１回目の分類結果に基づいてＭ個の商品を会計する。
該会計設備は、１次分類結果が類似する商品であるとき、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とする第２分類装置をさらに備え、対応的に、会計装置は、１次分類結果が類似する商品であるとき、第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、第１分類装置で取得された１次分類結果に基づいて会計を行う。ここで、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。

【0037】

該会計設備は、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、会計装置３０５を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置をさらに備えている。
なお、取得装置３０１についての具体的な説明は、上記の実施例におけるステップ１０１と２０１に関連する内容を参照し得る。目標検出装置３０２についての具体的な説明は、上記の実施例におけるステップ１０２と２０３に関連する内容を参照し得る。第１分類装置３０３についての具体的な説明は、上記の実施例におけるステップ１０３と２０３に関連する内容を参照し得る。確認装置３０４についての具体的な説明は、上記の実施例におけるステップ１０４と２０４に関連する内容を参照し得る。会計装置３０５についての具体的な説明は、上記の実施例におけるステップ１０５と２０６に関連する内容を参照し得る。第２分類装置についての具体的な説明は、上記の実施例におけるステップ２０５に関連する内容を参照し得る。判断装置と選別装置についての具体的な説明は、上記の実施例におけるステップ２０７に関連する内容を参照し得る。ここで一々その詳細な重複説明を省略する。
また、下記においては、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の他の実施例を説明する。この会計設備は、撮像ヘッドと、プロセッサ及びメモリを備えている。

【0038】

Ｎ個の撮像ヘッドは、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得するためである。Ｎ枚の画像は、Ｎ個の撮像角度に１対１で対応する。Ｎ個の撮像角度は、少なくとも１つの第１撮像角度を有する。第１撮像角度は、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である。メモリは、プロセッサが実行可能なコマンドを記憶するためである。プロセッサは、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、第１矩形領域画像と、残り矩形領域画像と、事前訓練された１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する１次分類結果を各商品の１回目の分類結果として、各商品の１回目の分類結果に基づいてＭ個の商品を会計するように構成されている。ここで、１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。Ｍ、Ｎのそれぞれは２以上の自然数である。

【0039】

プロセッサは、さらに、１次分類結果が類似する商品であるときは、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とし、そうではないときは、１次分類結果を１回目の分類結果とするように構成されている。

【0040】

以下、本方法の具体的な動作過程を説明する。
顧客が清算する過程において、秤量台に１本のミネラルウォーター及び１袋のクアズが順に載置した。秤量台の電子秤が重量の変化を検出し、そして重量領域が安定になった時に、５つの撮像ヘッドからデータを取得し始め、５枚の写真を取得した。まず、この５枚の写真を画一的にある予め設定された寸法まで縮小／拡大し、そして目標検出モデルにより真上から下へ向いてミネラルウォーター及びクアズである商品を検出する。検出結果は、写真において見つかった商品を含む２つの矩形領域である。商品の数は２つであるため、矩形領域の数は２つである。その後、目標検出モデルによって残りの４枚の写真に対し、数を２つとして商品検出を行う。検出結果も、各写真において見つかった商品を含む２つの矩形領域である。次に、１次分類モデルによって各商品に対応する各矩形領域を分類することで、各商品が各類別の商品に属する確率を得る。その後、各商品の全ての確率結果は、１つの１次線形回帰モデルの使用によって、全ての商品類別における各商品の１次分類結果が得られる。該１次分類結果が２次分類モデルによってさらに分類される必要がある商品類別に属する場合、つまり、１次分類結果が類似する商品である場合、対応の２次分類モデルを使用し、類似する商品に対応する各矩形領域を分類し、該商品が各類別に属するそれぞれの確率値を得る。そして２次線形回帰モデルの使用により該物体は全ての商品類別での分類結果が得られる。最後には、該類別のサポートベクトルマシンモデル（又は小モデルと称する）によって、５枚の写真中の矩形領域を判断し、該商品が該類別に属するか否かを判別する。そうであると判別するときは、該商品類別に戻り、そうではないと判別するときは、該物品がいずれかの商品類別に属しないと認定する。

【0041】

以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。
商品を確実に認識でき、自助会計に便利である。

【0042】

技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】