特開 2022-39930 コンピュータービジョンを利用したセルフ取引処理方法及びその取引処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022039930

(43)【公開日】2022-03-10

(54)【発明の名称】コンピュータービジョンを利用したセルフ取引処理方法及びその取引処理システム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20220303BHJP

   G06T 7/00 20170101ALI20220303BHJP

   G06Q 20/18 20120101ALI20220303BHJP

   G06Q 30/06 20120101ALI20220303BHJP

【ＦＩ】

G07G1/00 311Z

G06T7/00 350B

G07G1/00 311E

G06Q20/18

G06Q30/06

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021060252

(22)【出願日】2021-03-31

(31)【優先権主張番号】17/004,154

(32)【優先日】2020-08-27

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】391007161

【氏名又は名称】エヌ・シー・アール・コーポレイション

【氏名又は名称原語表記】ＮＣＲ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100098589

【弁理士】

【氏名又は名称】西山 善章

(74)【代理人】

【識別番号】100098062

【弁理士】

【氏名又は名称】梅田 明彦

(74)【代理人】

【識別番号】100147599

【弁理士】

【氏名又は名称】丹羽 匡孝

(72)【発明者】

【氏名】シャヤン ヘマティヤン

(72)【発明者】

【氏名】ジョシュア ミグダル

【テーマコード（参考）】

3E142

5L049

5L055

5L096

【Ｆターム（参考）】

3E142CA12

3E142GA35

3E142GA41

5L049BB72

5L055AA38

5L096DA03

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】コンピュータービジョンを利用したセルフ取引処理システムを提供する。
【解決手段】機械学習アルゴリズムを利用し、集合に対して導出された特徴ベクトル空間において出力特徴ベクトルとして生成するために、多様な商品のセットを有する画像上で訓練される。新しい商品の新しい商品画像はアルゴリズムに渡され、新しい特徴ベクトルはベクトル空間に投影される。各新しい商品の分類器は、新しい商品が新しい商品であるか、または新しい商品でないかを判定するために、新しい特徴ベクトルについて訓練される。取引中、商品に対してスキャンされた商品コードと商品画像を取得する。商品画像がアルゴリズムに渡され、特徴ベクトルが取得され、商品コードに対応する分類器が取得され、特徴ベクトルが分類器に渡され、商品画像および商品コードが、商品コードと関連付けられるべき特定の商品に合致するかどうかの判定が行われる。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

商品の商品画像を第一の訓練された機械学習アルゴリズムに渡し、
前記第一の訓練された機械学習アルゴリズムから出力として特徴ベクトルを取得し、
前記商品からスキャンされた商品コードに基づいて、第二の訓練された機械学習アルゴリズムを選択し、
前記第二の訓練された機械学習アルゴリズムへの入力として前記特徴ベクトルを提供し、
前記特徴ベクトルが商品コードに関連付けられているか、または前記商品コードに関連付けられていないかについて、前記第二の訓練された機械学習アルゴリズムから表示を受信する、
各工程を含むことを特徴とするセルフ取引処理方法。

【請求項2】

渡すことが、前記商品が取引端末のスキャナによってスキャンされる際に、前記取引端末で前記商品の取引中に前記商品画像を取得することをさらに含む、請求項１に記載のセルフ取引処理方法。

【請求項3】

選択することが、前記スキャナが前記商品コードを取引マネジャーに提供する時に、前記取引端末の前記取引マネジャーから前記商品コードを取得することをさらに含む、請求項２に記載のセルフ取引処理方法。

【請求項4】

前記表示が、前記特徴ベクトルが前記商品コードと関連付けられていないことを示すとき、前記取引を停止させるように前記取引マネジャーに警告を送信することをさらに含む、請求項３に記載のセルフ取引処理方法。

【請求項5】

前記表示が、前記特徴ベクトルが前記商品コードに関連付けられていることを示すとき、前記表示を無視することをさらに含む、請求項３に記載のセルフ取引処理方法。

【請求項6】

受信することが、前記商品が前記商品コードに関連付けられていないが、前記特徴ベクトルに基づいて決定を下すことができないという判定として前記表示を受信し、前記商品画像が不十分な品質であったか、または前記商品画像内の前記商品が前記商品画像内に遮られ、前記第一の訓練された機械学習アルゴリズムが前記商品に対して前記特徴ベクトルの不正確なバージョンを提供する結果となったというさらなる表示を提供することをさらに含む、請求項１に記載のセルフ取引処理方法。

【請求項7】

前記商品の取引に関連付けられた取引端末に通知を送信し、前記取引端末に、前記取引端末のオペレーターに前記商品の前記商品コードを再スキャンするように要求させ、その結果、前記商品の新しい商品画像が撮像され、前記新しい商品画像を前記商品画像として前記渡すことに戻り繰り返す、請求項６に記載のセルフ取引処理方法。

【請求項8】

前記商品の取引に関連する取引端末に通知を送り、前記取引端末に前記取引を中断させ、係員または監督者に、前記商品コードに関連する前記商品をレビューするように要求させることをさらに含む、請求項６に記載のセルフ取引処理方法。

【請求項9】

スキャナと、プロセッサーと、取引マネジャー用の実行可能な命令を含む非一時的コンピューター可読記憶媒体とを含む取引端末と、サーバープロセッサーと、第一の訓練された機械学習アルゴリズム、複数の第二の訓練された機械学習アルゴリズム、および商品セキュリティマネジャーのための実行可能な命令を含む、サーバー非一時的コンピューター可読記憶媒体とを含むサーバーと、を含み、
前記非一時的コンピューター可読記憶媒体から前記プロセッサーによって実行される前記取引マネジャーは、前記プロセッサーとの間で、
取引中に前記スキャナによってスキャンされた商品の商品コードを受信し、
前記商品コードおよび前記商品に対して撮像された商品画像を前記サーバーに供給し、
前記取引中に、前記商品を再スキャンする必要があることを示す、または係員または監督者が、前記取引が前記取引端末で進行する前に、前記商品コードに関して前記商品を検査する必要があることを示す警告を前記サーバーから受信したときに、前記取引を中断することを含む取引操作処理を実行させ、
前記サーバープロセッサーによって前記サーバー非一時的コンピューター可読記憶媒体から実行される、前記第一の訓練された機械学習アルゴリズム、前記第二の訓練された機械学習アルゴリズム、および前記商品セキュリティマネジャーが、前記サーバープロセッサーに対して、
前記商品セキュリティマネジャーによって、前記商品画像を前記第一の訓練された機械学習アルゴリズムに渡し、
前記第一の訓練された機械学習アルゴリズムによって、前記商品画像から特徴ベクトルを生成し、
前記商品セキュリティマネジャーによって、前記商品コードに基づいて、特定の第二の訓練された機械学習アルゴリズムを選択し、
前記商品セキュリティマネジャーによって、前記特徴ベクトルを前記特定の第二の訓練された機械学習アルゴリズムに渡し、
前記特定の第二の訓練された機械学習アルゴリズムによって、前記特徴ベクトルが、前記商品コードによって定義される前記商品と関連付けられているか、前記商品と関連付けられていないか、または前記特徴ベクトルが前記商品と関連付けられているかどうかについて判定ができないように散乱（クラッター）しているかを示す表示を生成し、
前記商品セキュリティマネジャーによって、前記表示が、前記特徴ベクトルが前記商品と関連付けられていない、または散乱（クラッター）しているとき、前記表示を前記取引端末に送信することとを含む、セキュリティ操作を実行させる、
各工程を行うことを特徴とするセルフ取引処理システム。

【請求項10】

前記取引端末が、セルフサービス端末（ＳＳＴ）または販売時点情報管理（ＰＯＳ）端末である、請求項９に記載のセルフ取引処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顧客自身が商品のバーコードをセルフスキャンするセルフチェックアウトシステムに関し、特に、チケット交換を可能にするセルフ取引処理方法及びその取引処理システムに関する。

【背景技術】

【0002】

小売業者は、レジ係のサポートなしにセルフサービス端末（ＳＳＴ）で顧客が商品バーコードをセルフスキャンするセルフ精算技術を採用している。顧客は、当初はセルフ精算を嫌がっていたが、長年にわたり、この技術に慣れ親しんで受けいれている。結果として、かなりの量の取引がセルフ精算となり、小売業者は通常、レジ係が補助する精算の実施に関連するスタッフを企業の他の必要なタスクに再配分することができた。

【0003】

しかし、盗難は、セルフ精算中に小売業者にとって大きな懸念となっている。セルフ精算中の盗難の一つの一般的な形態は、チケット交換と呼ばれる。チケット交換により、顧客は、より高価な商品のより高価な商品バーコードを、より安価な商品に関連付けられたより安価な商品バーコードで置き換える。次に、顧客は、高価格の商品のセルフ精算中に、より安価な商品バーコードをスワイプするが、これは、顧客が顧客取引の各商品を適切にスキャンしているかのようにＳＳＴを監視するスタッフに表示され、ＳＳＴからセキュリティ上の問題を誘発しないことがあり得る。

【0004】

また、販売時点情報管理（ＰＯＳ）端末でレジ係が支援した取引でもチケット交換が生じ得るが、注意深いレジ係は、スキャン中に、スキャンしたものが、実際に購入しているものの取引表示に表示されるものと一致していないことを、認識することができる。また、レジ係が支援する取引中にチケット交換に関連する懸念を不注意または意図的に無視するレジ係もいる可能性がありそのため、チケット交換も精算支援の問題となり得る。

【0005】

チケット交換に対する既存のコンピュータービジョンベースのアプローチでは、スキャンされた商品画像が商品バーコードに対して戻された商品詳細に対応していないことを認識するのに、応答時間が長すぎる。結果として、これらのアプローチは、取引のスキャン時間をほとんどの顧客にとって許容できないレベルまで遅くし、ＳＳＴまたはＰＯＳ端末で長い顧客待ち行列を生成し、チケット交換に対して多すぎる偽陽性結果を生成するため、が、偽陽性が、係員または監督者によって取り消されるまで取引中断を強制する。

【0006】

結果として、精算中のチケット交換に対処するために、実用的で、処理効率が高く、より精度の高い（正確な）技術が必要とされる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

このような解決すべき課題に鑑みて、本発明は、セルフチェックシステムにおける種々の実施形態において適応可能なコンピュータービジョンベースのチケット交換検出方法及びその提供する。

【課題を解決するための手段】

【0008】

実施形態によれば、コンピュータービジョンベースのチケット交換検出のための方法を提示する。例えば、商品の商品画像は、第一の訓練された機械学習アルゴリズムに渡される。特徴ベクトルが、第一の訓練された機械学習アルゴリズムから出力として取得される。第二の訓練された機械学習アルゴリズムは、商品からスキャンされた商品コードに基づいて選択される。特徴ベクトルは、第二の訓練された機械学習アルゴリズムへの入力として提供され、特徴ベクトルが商品コードと関連付けられているか、または商品コードと関連付けられないのかについて、表示が、第二の訓練された機械学習アルゴリズムから受信される。

【図面の簡単な説明】

【0009】

【図1A】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のためのシステムの図である。

【図1B】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための全体的なプロセスフローの図である。

【図1C】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための機械学習アルゴリズムおよび分類器を訓練するための方法の図である。

【図1D】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための機械学習アルゴリズムに関連付けられた訓練プロセスを視覚的に描写する図である。

【図1E】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための分類器に関連する訓練プロセスを視覚的に描写する図である。

【図2】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出の方法の図である。

【図3】本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための別の方法の図である。

【発明を実施するための形態】

【0010】

図１Ａは、本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のためのシステム１００の図である。構成要素は、説明する実施形態の理解に関連する構成要素のみを残して大幅に単純化された形態により模式的に表されることが認められるべきである。

【0011】

さらに、さまざまな構成要素（図１に示される）を説明し、そして構成要素の配置は説明のみを目的として提示する。本明細書中、以下に示すチケット交換の検出および判定の教示から逸脱することなく、より多くの、またはより少ない構成要素の配置が可能であることは認められるべきである。

【0012】

システム１００は、一つまたは複数のカメラ１１０、一つまたは複数の取引端末１２０、および一つまたは複数のサーバー１２０を含む。

【0013】

カメラ１１０は、指定された領域（取引中の取引端末の取引エリアなど、および例としてのみ）のビデオおよび／または画像を撮像し、ビデオおよび／または画像は、サーバー１２０またはサーバー１２０からアクセス可能な任意の他のネットワーク位置またはネットワークファイルにリアルタイムでストリーミングされる。一実施形態では、取引エリアは、商品の商品バーコードがスキャナ１２１によってスキャンされる商品スキャンエリアである。

【0014】

各取引端末１２０は、スキャナ１２１、プロセッサー１２２、および取引端末１２４を表す実行可能な命令を含む非一時的コンピューター可読記憶媒体１２３を含む。

【0015】

媒体１２３からプロセッサー１２２によって実行されたとき、取引マネジャー１２４は、取引マネジャー１２４に関して、プロセッサー１２２に、本明細書および以下で論じる動作を行わせる。

【0016】

各取引端末１２０は、スキャナ１２１の他に、単なる例として、タッチスクリーンディスプレイ、キーパッド、個人識別番号（ＰＩＮ）パッド、レシートプリンター、通貨アクセプター、コインアクセプター、通貨ディスペンサー、コインディスペンサー、貴重なメディア保管庫、カードリーダー（接触ベース（磁気および／またはチップ）のカードリーダーおよび／または非接触（無線）カードリーダー（近距離無線通信（ＮＦＣ）など））、一つまたは複数の統合カメラ、製品計量器（商品バーコードリーダーおよび計量器を含む複合デバイスとしてスキャナ１２１に統合され得る）、バッグ計量器、マイク、スピーカー、ライトが組み込まれた端末ステータスポールなどの他の周辺機器を含んでもよいことが認められるべきである。

【0017】

サーバー１３０は、プロセッサー１３１と、非一時的コンピューター可読記憶媒体１３２とを含む。媒体１３２は、機械学習アルゴリズム１３３、複数の商品分類器１３４、一つまたは複数のトレーナー１３５、商品セキュリティマネジャー１３６、およびサーバーベースの取引マネジャー１３７に対する実行可能な命令を含む。

【0018】

実行可能な命令１３３～１３７は、媒体１３２からのプロセッサー１３１によって実行されたとき、プロセッサー１３１に、１３３～１３７に関して本明細書および以下で論じる動作を実行させる。

【0019】

本明細書および以下でより完全に図示されるように、システム１００は、機械学習アルゴリズム（ＭＬＡ）１３３が、商品画像からのコンピュータービジョンベースの商品認識に従来必要なものよりもはるかに少ない商品の画像について、トレーナー１３５によって訓練されることを許容する。ＭＬＡ１３３の出力は、商品識別子ではなく特徴のベクトルである。次いで、各商品分類器１３４は、トレーナー１３５によって訓練され、指定された商品の特徴のベクトルを入力として受信し、入力されたベクトル（端末１２０上の取引中に提供された所定の商品画像に基づいてＭＬＡ１３３から出力されたものとして取得される）が、所定の商品に関連付けられている（真－非疑わしい）か、またはそうでない（偽－疑わしい）かを示す、真または偽の分類を出力する。スキャナ１２１は、商品からスキャンまたは撮像された商品バーコードを提供する。各商品バーコードは、対応する商品分類器１３４にリンクされる。システム１００は、チケット交換に関連する改善された不正行為検出を提供し、従来達成可能なものよりもはるかに早い取引中の不正行為判定を提供し、システム１００は、従来のアプローチよりもより精度がよく正確なチケット交換判定を提供する。

【0020】

チケット交換とは、商品の元の価格よりも低い金額を支払おうとする意図を持って、商品の価格／チケット（商品バーコード、クイック応答（ＱＲ）コードなど）を切り替える故意の行為である。窃盗犯は、元の商品（よる値段の高い）を保持したまま、安価な商品をスキャンすることが一般的である。

【0021】

チケット切り替えを識別するための主な課題は、データ収集、モデルのトレーニング、メンテナンス、トレーニング／評価の速度、不正の正確性の判断、モデルのメモリフットプリント、およびモデルをメモリにロードして処理できる速度（所定の商品モデルのＭＬＡ１３３および対応する商品分類器１３４は小さく、取引中に実行するためにリアルタイムで動的にロードできる）である。

【0022】

従来的なアプローチでは、比較的低い速度精度のトレードオフ（特に、小型で低品質の画像データセットを有する場合）に難がある。システム１００は、高速で正確な機械学習分類器の利点を利用することによって、速度／精度のトレードオフ閾値の目覚ましい著しい改善を示すハイブリッドネットワークである。

【0023】

トレーナー１３５は、ＭＬＡ１３３のマスター分類モデルを全商品に対して作成する、異なる商品に対する大規模で多様な商品クラスについてＭＬＡ１３３を訓練するために使用される。ＭＬＡ１３３は、モデル化される全ての商品クラスの識別および識別に有用な一般的な特徴を学習し、より限定的な例のセットに存在する可能性のある局所的なトレードオフを作ることができないため、過剰適合する傾向がない。さらに、ＭＬＡ１３３は、従来の商品分類器の役割として使用されていない。代わりに、ＭＬＡ１３３は、Ｎ次元特徴固有ベクトル空間の中の特徴固有ベクトルを（トレーナー１３５によって訓練中に提供される商品画像から）出力として生成し、各次元は、Ｎ次元特徴固有ベクトル空間の対応する次元に関連付けられた所与の特徴の特定の点／値を表す。

【0024】

逆に、従来のアプローチでは、（商品ＳＫＵまたは商品コードに基づく）個々の商品クラスごとに訓練が行われ、これは遅く、面倒で、過剰適合しやすい。

【0025】

ＭＬＡ１３３が訓練されると、Ｎ次元特徴固有ベクトル空間は、訓練されたＭＬＡ１３３によって定義される。

【0026】

次に、ＭＬＡ１３３の訓練セッションに含まれていなかった商品に関連付けられた新しい商品画像が、訓練されたＭＬＡ１３３に提供される。これにより、新しい商品および対応する特徴が、出力された特徴固有ベクトルのＮ次元特徴固有ベクトル空間に投影される。別個の商品クラス特徴固有ベクトルの各々は、特徴固有ベクトル上で訓練されて、所与の特徴固有ベクトルが、所与の特徴固有ベクトルに関連付けられた商品であるか、または所与の特徴固有ベクトルに関連付けられた商品ではないかを判定する、対応する分類器１３４を有する。

【0027】

ＭＬＡ１３３および商品分類器１３４がトレーナー１３５によって訓練されると、システム１００は、取引マネジャー１２４によって端末１２０上で処理されるライブ取引中に使用準備が整う。

【0028】

システム１００の動作中、スキャナ１２１によって商品からスキャンされる商品コードおよび商品コードは、取引マネジャー１２４に提供される。同時に、カメラ１１０は、スキャナ１２１を通過する際にスキャンされた商品の画像を撮像する。取引マネジャー１２４は、サーバー１３０の取引マネジャー１３７に商品コードを提供し、商品セキュリティマネジャー１３６は商品画像を取得する。取引マネジャー１３７は、取引マネジャー１２４に戻される、商品の詳細および価格を検索する。一方で、商品セキュリティマネジャー１３６が、商品画像を訓練されたＭＬＡ１３３への入力として提供する。訓練されたＭＬＡ１３３は、商品画像に対してＮ次元の特徴固有ベクトルを出力として提供する。商品セキュリティマネジャー１３６は、取引マネジャー３１７によって受信された商品コードを使用して、対応する訓練された商品分類器１３４を取得し、Ｎ次元の特徴固有ベクトルが対応する商品分類器１３４への入力として提供される。対応する商品分類器１３４は、疑わしい（偽）値または非疑わしい（真）値を出力する。非疑わしい値が返された場合、スキャンされた商品が、取引に関連付けられた顧客によるチケット交換がなかったことを示す、商品画像に関連付けられた商品として識別されるため、さらなる処理を行う必要はない。しかし、疑わしい値が返された場合、商品セキュリティマネジャー１３６は、取引マネジャー１３７に警告を送信し、取引マネジャー１３７は、その警告を受信し、取引の処理を中断し、係員または監督者に介入を求め、スキャンされた商品コードが取引のために購入される実際の商品と一致していることを確認する。

【0029】

本発明の一実施形態では、訓練されたＭＬＡ１３３から返された特徴固有ベクトルは、対応する訓練された商品分類器１３４によって撮像された商品画像に関連付けられた商品であるかどうかを判定することができない場合がある。これは、撮影された低品質な画像、端末１１０のオペレーターの手によって不明瞭にされた不明瞭な商品画像、他の物体または商品によって不明瞭にされた不明瞭な商品画像など、さまざまな理由による可能性がある。このような場合、対応する訓練された商品分類器は、商品セキュリティマネジャー１３６に、撮像された商品画像に基づいてチケット交換判定を行うことができないことを示す、“散乱（クラッター）した”商品値を返す。こうした状況では、取引マネジャー１２４に、オペレーターが最後に処理された商品の最も最近または最後にスキャンされた商品コードを再スキャンするように指示する通知を送信することができる。あるいは、取引中断を、係員または監督者が問題の商品を再スキャンするために提起し得る。実際には、商品セキュリティマネジャー１３６および取引マネジャー１２４によって取られる措置は、さまざまな要因（時間、端末オペレーターの同一性、顧客の同一性、実行の総取引価格、暦日、週の日、問題の商品のスキャンされた商品コード、商品コードに関連付けられたチケット交換の既知の確率、およびその他の任意の企業定義の要因）に基づいてカスタマイズすることができる。

【0030】

本発明の一実施形態では、ＭＬＡ１３３は、入力された商品画像から特徴固有ベクトルを生成するカスタマイズされた畳み込みニューラルネットワーク（ＣＮＮ）であり、商品分類器１３４は、ＭＬＡ１３３によって商品画像から出力として生成される入力された特徴固有ベクトルに基づいて、真、偽、および選択的にクラッター値（上述されたように）を生成する、カスタマイズされた機械学習分類器である。

【0031】

システム１００は、ｎ個の多様な商品クラス画像のセットからの一般的な特徴抽出を利用して、ＭＬＡ１３３を訓練して、商品画像のｎ次元にマッピングされた特徴固有ベクトルを生成するハイブリッドアプローチである。個々の訓練された商品分類器１３４が訓練されたＭＬＡ１３３の上に積み重ねられる。ハイブリッドアプローチは、訓練されたＭＬＡ１３３から積み重ねられた訓練された商品分類器１３４への伝達学習を活用する。これは、計算の複雑さの大幅な減少と、所定の商品画像および所定のスキャンされた商品バーコードがチケット交換に関連付けられているか関連付けられていないかを判定する処理速度の大幅な増加を特徴とする、拡張可能なモデルを提供する。訓練されたＭＬＡ１３３は、一度のみ訓練され、再訓練する必要はなく、一度訓練されたＭＬＡ１３３は、単一の訓練セッション中に使用されなかった商品画像上に特徴固有ベクトルを生成するために使用することができる。結果として得られる新しい商品に対する特徴固有ベクトルは、対応する商品分類器１３４を訓練する際に適切に処理される。また、システム１００は、単一の訓練されたＭＬＡ１３３のみをメモリに記憶し、必要に応じて必要な商品分類器１３４を読み込むことによって、メモリフットプリント（メモリ使用／負荷）の顕著な減少も示す。このハイブリッドアプローチ／モデルは、必要に応じて、移転可能な建築物の高品質分類モデルである新しい商品の迅速なトレーニングをサポートする。最後に、システム１００（ハイブリッドモデル）は、偽陽性フィルターカスケードを追加することによって、チケット交換の検出に関連する正確性の大幅な改善を提供し、現実世界の小売用途で発生する一般的な条件を除去する。

【0032】

図１Ｂは、本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための全体的なプロセスフローの図である。

【0033】

１４０で、端末１２０での取引中にスキャナ１２１を通過して撮像された商品の入力として、商品画像が提供される。取引マネジャー１２４はまた、スキャナ１２１によって商品をスキャンした商品バーコードも提供する。商品セキュリティマネジャー１３６は、商品画像を１３３Ａで訓練されたＭＬＡ１３３への入力として提供する。訓練されたＭＬＡ１３３は、入力された商品画像に対する特徴固有ベクトルを出力として生成し、特徴固有ベクトルは、Ｎ値に関連付けられた値を有する。ここで、Ｎは、トレーナー１３５によって訓練で使用されるさまざまな商品クラスに対する商品画像の初期訓練セットにわたる次元数または固有の特徴である。商品セキュリティマネジャー１３６は、商品の商品バーコードに関連付けられた対応する訓練された分類器を読み出し、１３３Ａで出力として生成される特徴固有ベクトルを１３４Ａで対応する分類器１３４に提示する。対応する商品分類器１３４は、特徴固有ベクトルが、それが訓練された商品に関連付けられているか、それが訓練された商品に関連付けられていないか、または特徴固有ベクトルが導出された元の提供された商品画像が品質の点で欠陥があることを示し散乱（クラッター）されているか、または何らかの方法で遮られているされているか（スキャンされた商品バーコードが商品画像であることがわかっているか、商品画像ではないことがわかっているかに関する判定）に関する指示を出力として返す。商品セキュリティマネジャー１３６は、１５０で出力を取り、取引を中断するか、または取引の継続を許容するために、取引マネジャー１２４に警告または通知を発するかどうかを判定する。

【0034】

図１Ｃは、本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための機械学習アルゴリズムおよび分類器を訓練するための方法１３５－１の図である。

【0035】

１３５Ａでは、トレーナー１３５は、Ｎクラスの多様な商品で初期訓練データセットを処理する。

【0036】

１３５Ｂで、トレーナー１３５は、多様な商品のＮクラスの各商品画像についてＭＬＡ１３３を訓練する。

【0037】

１３５Ｃでは、トレーナー１３５は、各Ｎクラスについて訓練される商品の重量をメモする。

【0038】

１３５Ｄでは、トレーナー１３５は、ＭＬＡ１３３の訓練中に、訓練または多様な商品のＮクラスに関連付けられていなかった新しい商品を取得する。

【0039】

１３５Ｅで、トレーナー１３５は、新しい商品の画像と、新しい商品に記された重量で、すでに訓練されたＭＬＡを新しい商品でテストする。

【0040】

１３５Ｆで、トレーナー１３５は、新しい商品のＮの特徴次元への投影された特徴を、取得する。すなわち、新しい商品は、ＭＬＡ１３３の訓練中に使用されたＮ個の多様な商品のＮ次元特徴固有ベクトル空間に投影される。

【0041】

１３５Ｇで、トレーナー１３５は、各分類器１３４の対応する商品バーコードに関連付けられた商品バーコードおよび特徴固有ベクトルに基づいて分類器を訓練し、所与の特徴固有ベクトルが、商品である、商品でない、または散乱（クラッター）（何らかの方法で欠陥がある）しているとみなされるかを判定する。

【0042】

１３５Ｈで、トレーナー１３５は、各分類器１３４の訓練中に適切な出力が取得され、適切な正確性が取得されることを確認する。

【0043】

本発明の一実施形態では、商品画像ごとに特徴固有ベクトルを生成する修正ＣＮＮ分類器（修正ＲｅｓＮｅｔ１８）としてＭＬＡ１３３を訓練するために、商品クラスの多様なセットを表す約１０００個の固有の商品セットを使用した（商品バーコードまたはクラスごとに約５００個の商品画像を試験した）。次に、訓練されたＣＮＮは、商品クラス内の各画像について新しい特徴固有ベクトルを取得するために、最初の１０００個の固有商品セットに含まれていない新しい商品に関連付けられた新しい商品画像について試験された。次に、異なる機械学習分類器（ＡｄａＢｏｏｓｔ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、線形ＳＶＭ、およびロジスティック回帰）を、所与の商品クラスに関連付けられた特徴固有ベクトルの各セットで訓練した。最適化をスピードアップするために、学習速度を調節するための事前に定義されたスケジュールステップ関数を有する確率勾配降下（ＳＧＤ）最適化アルゴリズムを使用した。訓練データセット（一意の１０００個のセットの各商品に対して５００の画像）は、９０％の訓練と１０％の検証に分割された。訓練および検証の性能は、多くのエポックの関数としてプロットされた。１００のエポックの後、訓練エラーと検証エラーはそれぞれ５％と４％未満に達し、ハイブリッドモデルの性能を示した。マスターＣＮＮモデルが訓練されると、モデルは、訓練セットに属する第一の商品に適用され、その後、新しい商品（訓練セットにない）に適用された。訓練セット中の商品に対するＣＮＮの結果確率ベクトルが、元の商品に属する特定のクラスでスパイクすることが観察された。新しい商品については、投入されるクラスの分布が観察された。これは線形代数における特徴固有ベクトル空間に似ている。最後に、異なる機械学習分類器を、バイナリ分類およびマルチクラス分類それぞれについて、取得された特徴固有ベクトルについて訓練した。検証誤差を、異なる機械学習分類器で訓練された４２個の新しい商品に対してプロットした。分類を検証するための指標として、混同行列を、ＡｄａＢｏｏｓｔのバイナリ分類およびマルチクラス分類の両方についてプロットした。結果は、ＡｄａＢｏｏｓｔおよびＲａｎｄｏｍ－Ｆｏｒｅｓｔが、新しい商品について、４％未満のエラーで有意に良好に性能を示している。全てのバイナリＡｄａＢｏｏｓｔに対し一つを使って新しい商品４２個に対する検証エラー（平均リコール９９％超）は３．４％未満、マルチクラスＡｄａＢｏｏｓｔ分類器を使用したエラーは９％未満であることが観察された。個別のＣＮＮも、各商品クレームについて訓練され、１００個の固有商品セットに対して６％を超える検証エラー、および新しい商品に対して１６％を超える検証エラーをもたらした。これは、ハイブリッド修正特徴ベクトルＣＮＮ／分類器が、速度／正確性トレードオフ閾値の顕著な改善とともに、正確性の改善を示し、個々のＣＮＮよりも優れた性能を示すことを実証した。

【0044】

図１Ｄは、本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための機械学習アルゴリズムに関連付けられた訓練プロセスを視覚的に描写する図である。

【0045】

各商品クラス（商品バーコード）の各画像は、ＭＬＡ１３３への入力として渡され、マッピングされた固有の商品ごとにＮ次元（Ｎクラス）の特徴固有ベクトルのセットがもたらされる。多様な商品クラスのセットについて訓練を受けると、ＭＬＡ１３３は、新しい商品バーコードおよび訓練されていない商品バーコードに関連付けられた新しい商品の新しい商品クラス画像を処理する目的で再訓練を必要としない。

【0046】

図１Ｅは、例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための分類器に関連する訓練プロセスを視覚的に描写する図である。

【0047】

ＭＬＡ１３３が、多様な商品セットについて一度訓練された後、新しい商品を、訓練されたＭＬＡ１３３への入力として、訓練されたＭＬＡ１３３を凍結（変更されないまま）して渡すことができる。ＭＬＡ１３３は、新しい商品の新しい画像をＮ次元特徴固有ベクトル空間に投影する。これらの新しい商品に関連付けられた特定の特徴は、各商品のバーコードに基づいて、各新しい商品の特定の分類器１３４の訓練を通して説明することができる。これにより、新しい商品が、取引中にスキャンされた商品バーコードに関連付けられているか、または関連付けられていないかを判定する正確性を向上させるため、Ｎ次元特徴固有ベクトル空間に投影された特徴固有ベクトルを考慮に入れることができる分類器１３４がもたらされる。分類器１３４は、バイナリまたはマルチクラスであってもよく、図１Ｅに示すように、凍結され訓練されたＭＬＡ１３３が特徴固有ベクトルを生成したオリジナルの画像が、提供される特徴固有ベクトルに基づいて何らかの方法で欠陥があった時を判定し得る（これは、図１Ｅにおいて散乱（クラッター）された出力値として表示される）。

【0048】

システム１００は、Ｎ次元特徴固有ベクトル空間の作成を可能にし、訓練で使用されない新しい商品は、新しい特徴固有ベクトルを取得するために投影され、新しい機械学習分類器が、新しい商品ごとに追加されて、新しい特徴固有ベクトルが、取引中に商品のスキャンされたバーコードと関連付けられているか否かを判定する。

【0049】

本発明の一実施形態では、取引端末１２０は、セルフ精算を実施する顧客によって操作されるセルフサービス端末（ＳＳＴ）である。

【0050】

本発明の一実施形態では、取引端末１２０は、補助される顧客精算中に店員または係員によって操作される販売時点情報管理（ＰＯＳ）端末である。

【0051】

上に議論された実施形態および他の実施形態について図２、３を参照して議論する。

【0052】

図２は、例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための方法２００の図である。方法２００を実施するソフトウェアモジュールを、「商品セキュリティマネジャー」という。商品セキュリティマネジャーはプログラムされた実行可能な命令として実装され、メモリおよび／または非一時的なコンピューター可読記憶（プロセッサー可読）媒体の内部に常駐し、機器の一つまたは複数のプロセッサーにより実行される。商品セキュリティマネジャーを実行する装置のプロセッサーは、商品セキュリティマネジャーを処理するように具体的に構成され、プログラムされる。商品セキュリティマネジャーは、その処理中に一つまたは複数のネットワーク接続にアクセスできる。ネットワークは有線、無線、または有線と無線の組み合わせであり得る。

【0053】

本発明の一実施形態では、商品セキュリティマネジャーはサーバー１２０上で実行する。一実施形態では、サーバー１２０は、クラウド処理環境（クラウド）を表す単一のサーバーとして論理的に協働する複数のサーバーのうちの一つである。

【0054】

本発明の一実施形態では、商品セキュリティマネジャーを実行する装置は、取引端末１２０（ＰＯＳ端末またはＳＳＴ端末）である。

【0055】

本発明の一実施形態では、商品セキュリティマネジャーはキーフレーム商品セキュリティマネジャー１３６である。

【0056】

２１０で、商品セキュリティマネジャーは、商品の商品画像を第一の訓練された機械学習アルゴリズム（ＭＬＡ）に渡す。一実施形態では、第一の訓練されたＭＬＡは、ＭＬＡ１３３である。

【0057】

本発明の一実施形態では、２１１で、商品セキュリティマネジャーは、商品が取引端末のスキャナによってスキャンされる際に、取引端末での商品の取引中に商品画像を取得する。

【0058】

２２０で、商品セキュリティマネジャーは、第一の訓練されたＭＬＡから出力として特徴ベクトルを取得する。これは、図１Ａ～１Ｅに関連して上記で詳細に議論された。一実施形態では、特徴ベクトルは、上述した特徴固有ベクトルである。

【0059】

２３０で、商品セキュリティマネジャーは、商品の商品コード（バーコード、ＱＲコードなど）に基づいて、複数の利用可能な第二の訓練されたＭＬＡから第二の訓練されたＭＬＡを選択する。

【0060】

２１１および２３０の一実施形態では、２３１で、商品セキュリティマネジャーは、スキャナが商品コードを取引マネジャーに提供した時に、取引端末の取引マネジャーから商品コードを取得する。

【0061】

２４０で、商品セキュリティマネジャーは、第二の訓練されたＭＬＡへの入力として、特徴ベクトルを提供する。

【0062】

２５０で、商品セキュリティマネジャーは、特徴ベクトルが商品コードに関連付けられているか、または商品コードに関連付けられていないかについて、第二の訓練されたＭＬＡからの指示を受信する。

【0063】

２３１および２５０の一実施形態では、２５１で、商品セキュリティマネジャーは、表示が特徴ベクトルが商品コードと関連付けられていないことを示すとき、取引を停止するよう取引マネジャーに警告を送信する。

【0064】

２３１および２５０の一実施形態では、２５２で、商品セキュリティマネジャーは、表示が特徴ベクトルが商品コードに関連付けられていることを示すとき、表示を無視する。

【0065】

本発明の一実施形態では、２５３で、商品セキュリティマネジャーは、商品が商品コードと関連付けられていないが、提供される特徴ベクトルに基づいて判定を行うことができないという判断として、当該表示を受信する。これは、商品画像が不十分な品質であったか、または商品画像の中の商品が商品画像において遮られており、第一の訓練されたＭＬＡが商品の特徴ベクトルの不正確なバージョンを提供する結果となったという表示さらに提供する。

【0066】

２５３および２５４の一実施形態では、商品セキュリティマネジャーは、商品の取引に関連付けられた取引端末に通知を送信し、取引端末に、取引端末のオペレーターに商品の商品コードを再スキャンするように要求させ、その結果、新しい商品画像が撮像され、商品セキュリティマネジャーは、新しい商品画像を商品画像として２１０に戻り繰り返す。

【0067】

２５３および２５５の一実施形態では、商品セキュリティマネジャーは、その商品の取引に関連付けられた取引端末に通知を送信し、取引端末に取引を中断させ、係員または監督者に、商品コードに関連付けられた商品をレビューするよう要求させる。

【0068】

図３は、本発明の例示的な実施形態による、コンピュータービジョンベースのチケット交換検出のための方法３００の図である。方法３００を実施するソフトウェアモジュールを「チケット交換訓練および検出マネジャー」という。チケット交換訓練および検出マネジャーはプログラムされた実行可能な命令として実装され、メモリおよび／または非一時的なコンピューター可読（プロセッサー可読）記憶媒体の内部に常駐し、機器の一つまたは複数のプロセッサーにより実行される。チケット交換訓練および検出マネジャーを実行するデバイスのプロセッサーは、チケット交換訓練および検出マネジャーを処理するように具体的に構成され、プログラムされる。チケット交換訓練および検出マネジャーは、その処理中に一つまたは複数のネットワーク接続へのアクセスを有し得る。ネットワークは有線、無線、または有線と無線の組み合わせであり得る。

【0069】

本発明の一実施形態では、チケット交換訓練および検出マネジャーを実行する装置は、サーバー１２０である。一実施形態では、サーバー１２０は、クラウド処理環境に関連付けられた単一のサーバーとして協働し、論理的に存在する複数のサーバーのうちの一つである。

【0070】

本発明の一実施形態では、チケット交換訓練および検出マネジャーを実行する装置は、取引端末１２０（ＰＯＳ端末またはＳＳＴ）である。

【0071】

本発明の一実施形態では、チケット交換訓練および検出マネジャーは、ＭＬＡ１３３、分類器１３４、トレーナー１３５、商品セキュリティマネジャー１３６、および／または方法２００の全て、または一部の組み合わせである。

【0072】

チケット交換訓練および検出マネジャーは、別の、およびいくつかの点で、方法２００について上述したものの改良された処理の視点を表す。

【0073】

３１０で、チケット交換訓練および検出マネジャーは、対応する商品画像に基づいて、第一の商品セットの各商品に対する特徴ベクトルを生成するために、第一の商品セットに対する第一の商品画像について、第一のＭＬＡを訓練する。

【0074】

本発明の一実施形態では、３１１で、チケット交換訓練および検出マネジャーは、第一のＭＬＡを修正畳み込みニューラルネットワーク（ＣＮＮ）として訓練する。

【0075】

３１１および３１２の一実施形態では、チケット交換訓練および検出マネジャーは、修正ＣＮＮの学習速度を調整するために、所定のステップ関数を有する確率勾配降下最適化アルゴリズムを用いて、修正ＣＮＮを修正する。

【0076】

本発明の一実施形態では、３１３で、チケット交換訓練および検出マネジャーは、第一の商品セットに対する商品画像および新しい商品画像を含むデータセットを取得する。チケット交換訓練および検出マネジャーは、３１０についての訓練データセットとしてデータセットの約９０％を取得し、データセットの約１０％は、以下の３２０で処理された新しい商品画像を含むテストデータセットとして残る。

【0077】

３２０で、チケット交換訓練および検出マネジャーは、第一の商品セットに存在せず、かつ第一の商品画像に存在しなかった、新しい商品に関連付けられた新しい商品画像について、第一のＭＬＡを試験する。

【0078】

３３０で、チケット交換訓練および検出マネジャーは、第一の商品セットに関連付けられた特徴空間に投影される新しい商品画像に基づいて、第一のＭＬＡから新しい特徴ベクトルを受信する。一実施形態では、特徴空間は、上述したＮ次元特徴固有ベクトル空間である。

【0079】

３４０で、チケット交換訓練および検出マネジャーは、新しい特徴ベクトルに基づいて新しい商品を識別するために、新しい特徴ベクトル上の第二のＭＬＡを訓練する。

【0080】

本発明の一実施形態では、３４１で、チケット交換訓練および検出マネジャーは、複数の異なる種類のＭＬＡとして第二のＭＬＡを訓練する。

【0081】

３４１および３４２の一実施形態では、チケット交換訓練および検出マネジャーは、第二のＭＬＡの少なくとも一部をバイナリ分類器として訓練する。

【0082】

３４１の実施形態で、および３４３で、チケット交換訓練および検出マネジャーは、第二のＭＬＡの少なくとも一部をマルチクラス分類器として訓練する。

【0083】

３４１および３４４の一実施形態では、チケット交換訓練および検出マネジャーは、第二のＭＬＡの少なくとも一部を、適応ブースト（ＡｄａＢｏｏｓｔ）分類器として訓練する。

【0084】

３４１および３４５の一実施形態では、チケット交換訓練および検出マネジャーは、第二のＭＬＡの少なくとも一部をランダムフォレスト分類器として訓練する。

【0085】

３５０で、チケット交換訓練および検出マネジャーは、第二のＭＬＡの各々を、新しい商品の特定の一つに関連付けられた商品コードと関連付ける。

【0086】

３６０で、チケット交換訓練および検出マネジャーは、第一のＭＬＡと第二のＭＬＡを取引端末での取引に関連付けられた取引処理ワークフローに統合して、チケット交換が存在するとき検出する（特定の取引のワークフロー中にスキャンされた商品コードが、スキャンされた商品コード用に撮像された商品画像と一致または対応していない（購入する商品の商品コードが正しくないことを示す）ときに検出する。取引ワークフローを、図１Ａ～１Ｅで議論された。

【0087】

本発明の一実施形態では、３７０で、チケット交換訓練および検出マネジャーは、取引中に、チケット交換が検出されたとき、対応する取引端末に警告を発し、端末で処理している取引マネジャーが、取引を中断し、問題の商品バーコードの再スキャンを要求する、または係員または監督者が取引中に商品を手動で検査し、中断を無効にするように要求することを許可する。

【0088】

ソフトウエアが特定の形態（構成要素またはモジュールなど）で説明される場合、それは単に理解を助けるためであり、それらの機能を実施するソフトウエアがどのように設計されるか、あるいはどのような構造であるかを限定するものではないことが理解されるべきである。例えば、モジュールは別個のモジュールとして説明されるが、同種のコードとして、個別の構成要素として実施されてもよく、またこうしたモジュールの全体でなく一部を組み合わせてもよく、その他の任意の都合の良い方法で構造化されたソフトウエア内で機能が実施され得る。

【0089】

さらに、ソフトウェアモジュールは、一つのハードウエア上で実行されるものとして説明されるが、ソフトウエアは、複数のプロセッサーにまたがる、またはその他の任意の都合の良い方法で分布され得る。

【0090】

上述の説明は、本発明の例証的な記載であってこれに限定されるものではない。当業者には、上述の説明を検討することにより、その他の数多くの実施形態が明らかとなるであろう。従って、実施形態の範囲は、これらの請求項が権利を持つ均等物の完全な範囲とともに、添付の請求項を参照して、判定されるべきである。

【0091】

本発明の実施形態についての上述の説明では、本発明の開示を具現化する目的でさまざまな特徴が単一の実施形態で記載した。従って、記載された各実施形態が、各請求項で明示的に詳述されるものよりも多くの特徴を有することを反映するとは解釈されない。むしろ、本発明の主題は、単一の開示された実施形態の全ての特徴よりも少ない。特許請求の範囲は、本明細書に実施形態の明細書に組み込まれるが、各特許請求の範囲は別個の例示的な実施形態としてそれ自体で存在する。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3】