特許 6204491 セルフチェックアウト端末における不正行為の検証

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6204491

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】セルフチェックアウト端末における不正行為の検証

(51)【国際特許分類】

   G07G 1/00 20060101AFI20170914BHJP

   G06Q 30/06 20120101ALI20170914BHJP

   G07G 1/12 20060101ALI20170914BHJP

【ＦＩ】

   G07G1/00 331Z

   G06Q30/06

   G07G1/12 321K

【請求項の数】21

【全頁数】17

(21)【出願番号】特願2015-549865(P2015-549865)

(86)(22)【出願日】2013年12月23日

(65)【公表番号】特表2016-513296(P2016-513296A)

(43)【公表日】2016年5月12日

(86)【国際出願番号】US2013077607

(87)【国際公開番号】WO2014100827

(87)【国際公開日】20140626

【審査請求日】2015年12月2日

(31)【優先権主張番号】61/740,858

(32)【優先日】2012年12月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515165041

【氏名又は名称】ジョシュア ミグダル

【氏名又は名称原語表記】Ｊｏｓｈｕａ ＭＩＧＤＡＬ

(73)【特許権者】

【識別番号】515165052

【氏名又は名称】マシュー フェロウ

【氏名又は名称原語表記】Ｍａｔｔｈｅｗ ＦＡＲＲＯＷ

(73)【特許権者】

【識別番号】515165063

【氏名又は名称】マレイ クンデュ

【氏名又は名称原語表記】Ｍａｌａｙ ＫＵＮＤＵ

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100181021

【弁理士】

【氏名又は名称】西尾 剛輝

(72)【発明者】

【氏名】ジョシュア ミグダル

(72)【発明者】

【氏名】マシュー フェロウ

(72)【発明者】

【氏名】マレイ クンデュ

【審査官】 森林 宏和

(56)【参考文献】

【文献】 特開２００５−１２２４２０（ＪＰ，Ａ）

【文献】 特表２００５−５０１３５１（ＪＰ，Ａ）

【文献】 特表２００８−５３８０３０（ＪＰ，Ａ）

【文献】 特開２０１０−０３９５４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００ − ５／００

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

セルフチェックアウト端末において顧客がとる行動を監視することによって不正行為を発見する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるとともに、取引時間の少なくとも一部の間に商品を監視することによって生成されるビデオフィードを取得するステップと、
データソースから生成されるとともに、前記取引時間の少なくとも一部の間に前記商品を監視することによって生成されるデータフィードを取得するステップと、
前記ビデオフィードを分析して、前記ビデオフィードの少なくとも１つのフレームを前記商品に相当する想定内ビデオフィードと比較することによって、前記行動に相当する前記ビデオフィードの部分を見つけるステップと、
前記行動に相当する前記データフィードの部分を見つけるステップと、
前記データフィードの前記部分および前記データフィードの前記部分の両方に基づいて、前記行動が前記不正行為であると判断する場合、アラートを発行するステップと
を備える、方法。

【請求項2】

前記ビデオフィードを修正するステップであって、前記ビデオフィードは画像処理される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
をさらに備え、
前記アラートを発行するステップでは、前記データフィードの前記部分、前記データフィードの前記部分、に加え、前記人的検証端末から受信した人的検証応答に基づいて前記行動が前記不正行為であるか否かが判断される、
る、請求項１に記載の方法。

【請求項3】

前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項２に記載の方法。

【請求項4】

データソースからデータフィードを取得する前記ステップは、
取引データから前記データフィードを取得するステップであって、前記取引データは、前記商品が前記セルフチェックアウト端末でスキャンされる時に前記セルフチェックアウト端末から生成される、ステップと、
重量センサから前記データフィードを取得するステップであって、前記重量センサは、前記重量センサに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記重量センサから前記データフィードを取得する前記ステップは、
前記セルフチェックアウト端末から、前記商品の前記重量を受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記重量を取得する、ステップと、
前記商品の前記重量を想定内重量許容差と比較することによって、前記行動に相当する前記重量を持つ前記商品を見つけるステップと
を含む、請求項４に記載の方法。

【請求項6】

セルフチェックアウト端末において顧客がとる行動を監視して不正行為を発見する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
前記セルフチェックアウト端末から、商品の想定外重量データを受信するステップであって、重量センサが、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記想定外重量データを取得する、ステップと、
前記商品の前記想定外重量データを想定内重量許容差と比較することによって、前記行動に相当する前記想定外重量データの部分を見つけるステップであって、前記想定外重量データは、前記重量データが、前記想定内重量許容差に対応するかを検証するために分析される、ステップと、
ビデオフィードの少なくとも１つのフレームを前記商品に相当する想定内ビデオフィードと比較することによって、前記行動に相当する前記ビデオフィードの部分を見つけるステップであって、前記ビデオフィードは、取引エリアにおいて前記商品を監視するビデオソースから生成され、前記ビデオフィードは、取引時間の少なくとも一部の間に生成される、ステップと
を備える、方法。

【請求項7】

前記行動に相当する前記ビデオフィードの前記部分を、前記行動に相当する前記想定外重量データの部分と相互に比較し、前記行動が前記不正行為であるか否かを判定するステップをさらに備えた、請求項６に記載の方法。

【請求項8】

ビデオフィードを修正するステップであって、前記ビデオフィードは画像処理される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から受信した人的検証応答に基づいて、前記行動が前記不正行為であるか否かを判定するステップと
をさらに備える、請求項６に記載の方法。

【請求項9】

前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項８に記載の方法。

【請求項10】

前記行動に相当する前記ビデオフィードの部分、前記行動に相当する前記想定外重量データの部分の両方に基づいて、前記行動が前記不正行為であると判断される場合、アラートを発行するステップをさらに備える、請求項７に記載の方法。

【請求項11】

前記行動に相当する前記ビデオフィードの部分、および前記行動に相当する前記想定外重量データの部分の少なくとも１つに基づいて、前記行動が前記不正行為ではないと判定される場合、アラートを発行しないステップをさらに備える、請求項７に記載の方法。

【請求項12】

前記人的検証応答と、
前記行動に相当する前記ビデオフィードの部分と、
前記行動に相当する前記想定外重量データの部分と
の少なくとも２つによって、前記行動が前記不正行為であると判断される場合、アラートを発行するステップをさらに備えた、請求項８に記載の方法。

【請求項13】

前記行動に相当する前記ビデオフィードの部分、前記行動に相当する前記想定外重量データの部分、および前記人的検証応答に基づいて、前記行動が前記不正行為であると判定される場合、アラートを発行するステップをさらに備える、請求項８に記載の方法。

【請求項14】

セルフチェックアウト端末において顧客がとる行動を監視して不正行為を発見するシステムであって、
コンピュータプロセシングユニットと通信可能に結合されたビデオソースであって、前記コンピュータプロセシングユニットは前記セルフチェックアウト端末と通信し、前記ビデオソースは、取引時間の少なくとも一部の間に前記商品を監視することによって、取引エリアに置かれた商品のビデオフィードを生成するように動作可能である、ビデオソースと、
前記セルフチェックアウト端末と通信可能に結合された重量センサであって、前記重量センサによって計測された前記商品の重量は、前記セルフチェックアウト端末から前記コンピュータプロセシングユニットに送信される、重量センサと、
前記ビデオフィードの少なくとも１つのフレームを前記商品に相当する想定内ビデオフィードと比較することによって、および、前記商品の前記重量を想定内重量差と比較することによって、前記行動が前記不正行為であるか否かを判断するよう動作可能な前記コンピュータプロセシングユニットであって、前記ビデオフィードと前記重量の比較の両方によって前記行動が前記不正行為であると判断される場合にアラートを発行する、コンピュータプロセシングユニットと、
を備える、システム。

【請求項15】

前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記ビデオフィードの少なくとも一部を利用して、前記行動が前記不正行為であるか否かを判定する、人的検証端末をさらに備える、請求項１４に記載のシステム。

【請求項16】

前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記コンピュータプロセシングユニットによって生成される画像処理されたビデオフィードを受信し、前記行動が前記不正行為であるか否かについての人的検証応答を送信する、人的検証端末をさらに備える、請求項１４に記載のシステム。

【請求項17】

前記人的検証応答によって前記行動が前記不正行為であると判断される時に前記コンピュータプロセシングユニットが前記アラートを発行する、請求項１５に記載のシステム。

【請求項18】

セルフチェックアウト端末において顧客がとる行動を監視して不正行為を発見する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオフィードを取得するステップであって、前記ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成され、前記ビデオフィードは、取引時間の少なくとも一部の間に生成される、ステップと、
前記コンピュータプロセシングユニットにより実行されるビデオ分析によって、前記取得されたビデオフィードに基づいて、前記行動に相当する前記ビデオフィードの部分を見つけるステップと、
前記ビデオフィードを修正するステップであって、前記ビデオフィードは画像処理される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信するステップと、
前記人的検証に基づいて、前記行動が前記不正行為であるかを判定するステップと、
前記ビデオ分析および前記人的検証応答に基づいて、アラートを発行するステップと
を備える、方法。

【請求項19】

ビデオフィードを取得する前記ステップは、前記ビデオフィードの少なくとも一部を前記コンピュータプロセシングユニットに記憶するステップを含む、請求項１８に記載の方法。

【請求項20】

セルフチェックアウト端末において顧客がとる行動を監視して不正行為を発見する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオフィードを取得するステップであって、前記ビデオフィードは、取引時間の少なくとも一部の間に商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、前記商品の想定外重量データを取得するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得し、前記想定外重量データは、前記重量センサから測定された前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
前記ビデオフィードを分析して、ビデオ分析を実行することによって、前記行動に相当する前記ビデオフィードの部分を見つけるステップと、
前記ビデオフィードを修正するステップであって、前記ビデオフィードは画像処理される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から人的検証応答を受信するステップと、
前記人的検証に基づいて、前記行動が前記不正行為であるか否かを判断するステップと、
前記分析されたビデオフィード、前記想定外重量データ、および前記人的検証応答の全てに基づいて、前記行動が前記不正行為であると判断される場合、アラートを発行するステップと
を備える、方法。

【請求項21】

セルフチェックアウト端末において顧客がとる行動を監視して不正行為を発見する方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
前記セルフチェックアウト端末、前記セルフチェックアウト端末と通信可能に結合された重量センサから、商品の想定外重量データを受信するステップであって、前記セルフチェックアウト端末は、袋に詰めるエリアに置かれている前記商品の前記想定外重量データを取得する、ステップと、
前記想定外重量データに基づいて、前記行動に相当する前記想定外重量データの部分を見つけるステップであって、前記想定外重量データは、前記重量センサからの前記商品の重量が、想定内重量許容差に対応するかを特定するために取得される、ステップと、
ビデオフィードを修正するステップであって、前記ビデオフィードは画像処理され、前記ビデオフィードは、取引時間の少なくとも一部の間に前記商品を監視するビデオソースから生成され、前記商品は、取引エリアに位置している、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記人的検証端末から、人的検証応答を受信するステップと、
前記人的検証応答に基づいて、前記行動が前記不正行為であるか否かを判断するステップと
を備える、方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。

【0002】

本発明は概して、セルフチェックアウト端末において発生する不正行為を防止するセキュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不正行為を検証する方法およびシステムに関する。

【背景技術】

【0003】

セルフチェックアウトは、またたく間に、顧客による小売商品に対して代金を支払う確立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシーを高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによる有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、小売業者にとって魅力となっている。

【0004】

一方で、セルフチェックアウトは幾つかの問題を提示する。否認することができる機会、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチェックアウトよりも多くなり得る。

【0005】

したがって、セルフチェックアウトは、袋に詰めるエリア（ｂａｇｇｉｎｇ ａｒｅａ）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェックアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加えて、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェックアウトから盗むことができるさらなる方法を許容してしまう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、セルフチェックアウトにおいて発生することがある盗難行為、および不正行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とされている。

【課題を解決するための手段】

【0007】

本出願の主題は、場合により、相互関連した製品、特定の問題に対する代替的な解決法、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。

【0008】

一態様では、セルフチェックアウト端末において対象となる起こり得る行為を検証する方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリアにおける取引時間の少なくとも一部の間に商品を監視することによってデータフィードが生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよびデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析されたビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を確認するときに、アラートが発行される。

【0009】

別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証する方法が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定される。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監視するデータソースから生成される。

【0010】

さらなる別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータフィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こり得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデータフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引データ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシングユニットに通信可能に結合される。

【0011】

さらなる態様では、セルフチェックアウト端末において損失インシデントを特定する方法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデオフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオフィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて、アラートが発行される。

【図面の簡単な説明】

【0012】

【図1】セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態を提供する。

【図2】セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を提供する。

【図3】人的検証に対して送信されるビデオフィード修正の実施形態を提供する。

【図4】人的検証処理の実施形態を提供する。

【図5】セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を提供する。

【発明を実施するための形態】

【0013】

以下で添付図面と関連して記載される詳細な説明は、本発明の現在の好ましい実施形態の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機能させるステップの機能および順序を記載する。

【0014】

発行された米国特許第７，６３１，８０８号明細書は、ビデオ分析および取引データ分析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行された特許の電子的写しを提供するよう求められている。

【0015】

要するに、米国特許第７，６３１，８０８号明細書は、取引端末において顧客による商品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビデオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（ｆｏｃｕｓｅｄ ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ ｃａｍｅｒａ）から取得されてもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析アルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリアにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができる。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定することができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって、および／または取引エリアにおいてオペレータの行為を検出することによって、このことが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に商品が持ち込まれることを検出することを含み得る。

【0016】

取引データと比較してビデオ分析の組み合わせを使用して、システムは、ビデオデータの分析において特定された商品の存在が、取引データにおいて対応する存在を有しているかを判定することができ、有していない場合、不審行為を特定する。例として、各検出器に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によって検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本明細書で開示され、その詳細が詳細な説明のセクションで提供される。

【0017】

概して、本発明は、顧客によってセルフチェックアウト取引の間に発生することがある、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証に基づいてのみ発行される。

【0018】

起こり得る不正行為の例は、セルフチェックアウト端末において顧客が取引されていない商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集のために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入されていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。

【0019】

誤検出の不正行為の例は、非売買商品（財布、携帯電話、傘、上着など）が袋に詰めるエリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付けられていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品によって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエリア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ ｏｎ）する場合、再使用可能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでもよいが、それらに限定されない。

【0020】

本明細書で考慮されるビデオソースは、アナログカメラおよびＩＰカメラなどのビデオカメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有するポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。

【0021】

本明細書で考慮されるデータフィードは、シリアル、イーサネット（登録商標）などの任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、ＪＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない。

【0022】

一実施形態では、セルフチェックアウト端末において対象となる起こり得る行為が検証されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為でない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ ｃａｌｌ）を含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよく、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。

【0023】

セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）などのコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェックアウト端末を含んでもよい。

【0024】

コンピュータプロセシングユニットは、セルフチェックアウト端末においてスキャンされる商品を監視することによって生成されるデータフィードを分析するように動作可能であってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量データを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュータプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさらに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデオフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データは、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。

【0025】

一実施形態では、想定内重量許容差は、商品に割り当てられた条件を満たした重量の範囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差に割り当てられてもよい。

【0026】

別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差によって指定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。

【0027】

さらなる別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差内にあることを示し、よって、起こり得る不正行為を否定してもよい。

【0028】

さらなる別の実施形態では、商品は、想定内重量許容差に割り当てられなくてもよい。この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、したがって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起こり得る不正行為を特定してもよい。

【0029】

さらなる実施形態では、想定外重量データは、重量センサから測定された商品の重量と、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示してもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ ｎｕｍｂｅｒ）であってもよく、想定外重量データは、同様の方法で差異を示してもよい。

【0030】

セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい。

【0031】

一実施形態では、コンピュータプロセシングユニットは、ビデオフィードを修正するように動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介してリアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化する。人的検証の詳細な処理は、本開示でさらに開示される。

【0032】

ビデオフィードを簡易化することは、ビデオフィードの一部を検証するために、それを短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ ｓｎｉｐｐｅｔ）にクリップできるほど簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよい。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィードに対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィードの簡易化として理解されることになる。

【0033】

複数のデータフィードは、セルフチェックアウト端末において取引される商品ごとに生成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによってトリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすることを保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシングユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデータと比較して分析されてもよい。

【0034】

プリセットされたデータは、店舗において販売されている各商品に割り当てられた想定内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されない。

【0035】

一実施形態では、起こり得る不正行為は、重量センサを利用して検証されてもよい。重量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の想定内重量許容差と比較されてもよい。

【0036】

想定内重量許容差は、店舗において販売されている各商品に割り当てられてもよく、条件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されてもよい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、１つ購入すると１つが無料になるイベント（ａ ｂｕｙ ｏｎｅ ｇｅｔ ｏｎｅ ｆｒｅｅ ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。

【0037】

想定内重量許容差は、袋に詰めるエリアに置かれている商品を捕捉するのに利用されてもよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグを設定するためにデフォルトでゼロに設定されてもよい。

【0038】

したがって、想定外重量データは、本明細書で開示されたように生成されてもよい。重量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい。

【0039】

別の実施形態では、起こり得る不正行為を検証するのにビデオ分析が利用されてもよい。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成されてもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セルフチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロセシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィードが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書に組み込まれる。

【0040】

さらなる別の実施形態では、起こり得る不正行為を検証するために、取引データがビデオ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照による組み込みによって、提供されている。

【0041】

セルフチェックアウト端末において発生する起こり得る不正行為は、介入が必要であるかを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させることなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよい。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフチェックアウトの係員に提供されてもよい。

【0042】

一実施形態では、起こり得る不正行為が複数のデータフィードのうちの２つに基づいて確認される場合に、アラートが発行されてもよい。

【0043】

別の実施形態では、複数のデータフィードのうちの１つによって特定される起こり得る不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。

【0044】

さらなる別の実施形態では、複数のデータフィードの各々が異なる結果を示す場合でさえ、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人的検証はさらに起こり得る不正行為を検証してもよい。

【0045】

起こり得る不正行為は、人的検証によってさらに検証されてもよい。人的検証は、ビデオソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正されてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィードは、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正されたビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにくい場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析によって操作されてもよい。

【0046】

一実施形態では、複数のデータフィードによって検証される、起こり得る不正行為を確認する最終ステップとして、人的検証が行われてもよい。

【0047】

本明細書で開示されるビデオフィードの修正は、人的検証を促進するのに使用することができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をトリミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフローを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ ｂｕｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示すること（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない。

【0048】

起こり得る不正行為の検証は、人的検証でリアルタイムに行われてもよい。

【0049】

人的検証は、起こり得る不正行為の非人的対応検証方法における欠陥を補償すると考えられてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、システムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理しやすいものに低減させることが可能な複合システムを得ることができる。

【0050】

一実施形態では、人的検証は、ウェブサービスを利用して処理されてもよい。修正されたビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用する、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュータプロセシングユニットから送信されるアラートを検討および検証するためにウェブアプリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェースを作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立されてもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出しは、即時に返却しなくてもよい。

【0051】

一実施形態では、ジョブは、ジョブを待機中のウェブアプリケーションクライアントに渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。

【0052】

損失インシデントは、ビデオ分析によって検証されてもよい。本明細書で考慮される損失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよいが、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれていないときに発生することがあり、重量センサがその機能を実行することを不可能にする。損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検証を受けてもよい。

【0053】

一実施形態では、セルフチェックアウト端末における損失インシデントは、取引エリアにおいて商品を監視するビデオソースから生成されるビデオフィードを取得することによって、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットによって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が発行されてもよい。

【0054】

次に図１を参照して、セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入にフラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末におけるインシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。

【0055】

複数のデータのうちの１つ以上の分析が、起こり得る不正行為が実際に不正なものであることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラートがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理される取引に介入するよう通知する、形式で提供されてもよい。

【0056】

複数のデータのうちの１つ以上の分析が、起こり得る不正行為を否定する場合（１０５）、インシデントが無視されてもよく、介入が行われない（１０７）。

【0057】

図２は、セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析から損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。その後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェックアウトユニットに提供される（２０５）。

【0058】

図３は、ビデオ分析によって行われる人的検証に対して送信されるビデオフィードの修正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すことによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリアにおける関連のある変更を示している。そして、モルフォロジー演算およびブロブベースの接続されたコンポーネント分析（ｂｌｏｂ ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示されたビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに加えられる単一の商品を示す。

【0059】

図４は、人的検証の実施形態を提供する。最初に、人的検証要求４０２を受信することによって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶＡ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信されてもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることになる人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返信される。

【0060】

図５は、セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックアウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニットは、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データは、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。

【0061】

好ましい実施形態または特定の実施形態の例によって、本発明の幾つかの変形形態が例示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施形態を発展することができることが明らかである。しかしながら、そのような修正形態および適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含むがそれに限定されないことを明確に理解するべきである。

【図1】

【図2】

【図3】

【図4】

【図5】