特許 6550105 セルフチェックアウト端末における不正行為の検証

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6550105

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】セルフチェックアウト端末における不正行為の検証

(51)【国際特許分類】

   G07G 1/12 20060101AFI20190711BHJP

   G06Q 20/18 20120101ALI20190711BHJP

   G06Q 30/06 20120101ALI20190711BHJP

【ＦＩ】

   G07G1/12 341G

   G06Q20/18

   G06Q30/06

【請求項の数】16

【全頁数】16

(21)【出願番号】特願2017-164910(P2017-164910)

(22)【出願日】2017年8月30日

(62)【分割の表示】特願2015-549865(P2015-549865)の分割

【原出願日】2013年12月23日

(65)【公開番号】特開2018-32404(P2018-32404A)

(43)【公開日】2018年3月1日

【審査請求日】2017年8月30日

(31)【優先権主張番号】61/740,858

(32)【優先日】2012年12月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515165041

【氏名又は名称】ジョシュア ミグダル

【氏名又は名称原語表記】Ｊｏｓｈｕａ ＭＩＧＤＡＬ

(73)【特許権者】

【識別番号】515165052

【氏名又は名称】マシュー フェロウ

【氏名又は名称原語表記】Ｍａｔｔｈｅｗ ＦＡＲＲＯＷ

(73)【特許権者】

【識別番号】515165063

【氏名又は名称】マレイ クンデュ

【氏名又は名称原語表記】Ｍａｌａｙ ＫＵＮＤＵ

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100181021

【弁理士】

【氏名又は名称】西尾 剛輝

(72)【発明者】

【氏名】ジョシュア ミグダル

(72)【発明者】

【氏名】マシュー フェロウ

(72)【発明者】

【氏名】マレイ クンデュ

【審査官】 森林 宏和

(56)【参考文献】

【文献】 米国特許第０５９６５８６１（ＵＳ，Ａ）

【文献】 特開平１１−３２８５３３（ＪＰ，Ａ）

【文献】 特開平０７−１４１５５３（ＪＰ，Ａ）

【文献】 特開２０１０−０４４４７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００ − １／１４

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

セルフチェックアウト端末において顧客による盗難に対して発行される誤検出のアラートを減少させる方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるとともに、取引時間の少なくとも一部の間に前記セルフチェックアウト端末の取引エリアに置かれる商品を監視することによって生成されるビデオフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得するステップと、
データソースから生成されるとともに、前記取引時間の少なくとも一部の間に前記商品を監視することによって生成されるデータフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得するステップと、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別するステップと、
を備え、
データソースからのデータフィードを分析することによって前記盗難の第２の識別を取得する前記ステップは、
取引データからの前記データフィードを分析するステップであって、前記取引データは、前記商品が前記セルフチェックアウト端末でスキャンされる時に前記セルフチェックアウト端末から生成される、ステップと、
重量センサからの前記データフィードを分析するステップであって、前記重量センサは、前記重量センサに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、方法。

【請求項2】

前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記盗難を確認するために、人的検証端末から人的検証応答を受信するステップと、
をさらに備え
る、請求項１に記載の方法。

【請求項3】

前記第１および第２の識別の両方が前記盗難を確認するものの、前記人的検証応答が前記盗難を確認しない場合に、前記盗難を前記誤検出事象として識別するステップ、
をさらに備える、請求項２に記載の方法。

【請求項4】

前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項２に記載の方法。

【請求項5】

前記重量センサからの前記データフィードを分析する前記ステップは、
前記セルフチェックアウト端末から、前記商品の前記重量を受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記重量を取得する、ステップと、
前記商品の前記重量を想定内重量許容差と比較することによって、前記第２の識別を取得するステップと
を含む、請求項１に記載の方法。

【請求項6】

前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するステップ、
をさらに備える、請求項１に記載の方法。

【請求項7】

セルフチェックアウト端末において盗難に対して発行される誤検出のアラートを減少させる方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるとともに、取引時間の少なくとも一部の間に前記セルフチェックアウト端末の取引エリアに置かれる商品を監視することによって生成されるビデオフィードをフレームごとに分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得するステップと、
重量センサが、前記セルフチェックアウト端末に通信可能に結合されており、前記セルフチェックアウト端末が前記重量センサに置かれている前記商品の重量を取得し、前記商品の前記重量を分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得するステップであって、前記第２の識別は前記重量を想定内重量許容差と比較することによって取得される、ステップと、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別するステップと、
を備える方法。

【請求項8】

ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記盗難を確認するために、前記人的検証端末から人的検証応答を受信するステップと
をさらに備える、請求項７に記載の方法。

【請求項9】

前記第１および第２の識別の少なくとも一方が前記盗難を確認するものの、前記人的検証応答が前記盗難を確認しない場合に、前記盗難を前記誤検出事象として識別するステップ、
をさらに備える、請求項８に記載の方法。

【請求項10】

前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項８に記載の方法。

【請求項11】

前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するステップ、
をさらに備える、請求項７に記載の方法。

【請求項12】

セルフチェックアウト端末において盗難に対して発行される誤検出のアラートを減少させるシステムであって、
コンピュータプロセシングユニットと通信可能に結合されたビデオソースであって、前記コンピュータプロセシングユニットは前記セルフチェックアウト端末と通信し、前記ビデオソースは、取引時間の少なくとも一部の間に商品を監視することによって、取引エリアに置かれた前記商品のビデオフィードを生成するように動作可能である、ビデオソースと、
前記セルフチェックアウト端末と通信可能に結合されたデータソースであって、前記データソースは前記取引時間の少なくとも一部の間に前記商品を監視することによってデータフィードを発生させ、前記データフィードは、前記データソースから前記コンピュータプロセシングユニットに送信される、データソースと、
コンピュータプロセシングユニットであって、
前記ビデオフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得し、
前記データフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得し、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別する、
ように構成されたコンピュータプロセシングユニットと、
を備え、
データソースからのデータフィードを分析することによって前記盗難の第２の識別を取得する前記ステップは、
取引データからの前記データフィードを分析するステップであって、前記取引データは、前記商品が前記セルフチェックアウト端末でスキャンされる時に前記セルフチェックアウト端末から生成される、ステップと、
重量センサからの前記データフィードを分析するステップであって、前記重量センサは、前記重量センサに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、
システム。

【請求項13】

前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記コンピュータプロセシングユニットによって生成される簡易化されたビデオフィードを受信し、前記盗難を確かめる人的検証応答を送信する、人的検証端末をさらに備える、請求項１２に記載のシステム。

【請求項14】

前記簡易化されたビデオフィードは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項１３に記載のシステム。

【請求項15】

前記重量センサからの前記データフィードを分析する前記ステップは、
前記セルフチェックアウト端末から、前記商品の前記重量を受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記重量を取得する、ステップと、
前記商品の前記重量を想定内重量許容差と比較することによって、前記第２の識別を取得するステップと
を含む、請求項１２に記載のシステム。

【請求項16】

前記コンピュータプロセシングユニットはさらに、前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するように構成された、請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５
８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行
された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。

【0002】

本発明は概して、セルフチェックアウト端末において発生する不正行為を防止するセキ
ュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不
正行為を検証する方法およびシステムに関する。

【背景技術】

【0003】

セルフチェックアウトは、またたく間に、顧客による小売商品に対して代金を支払う確
立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシー
を高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによ
る有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、
小売業者にとって魅力となっている。

【0004】

一方で、セルフチェックアウトは幾つかの問題を提示する。否認することができる機会
、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキ
ャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする
。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチ
ェックアウトよりも多くなり得る。

【0005】

したがって、セルフチェックアウトは、袋に詰めるエリア（ｂａｇｇｉｎｇ ａｒｅａ
）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対
策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の
重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェッ
クアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加え
て、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェ
ックアウトから盗むことができるさらなる方法を許容してしまう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、セルフチェックアウトにおいて発生することがある盗難行為、および不正
行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とさ
れている。

【課題を解決するための手段】

【0007】

本出願の主題は、場合により、相互関連した製品、特定の問題に対する代替的な解決法
、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。

【0008】

一態様では、セルフチェックアウト端末において対象となる起こり得る行為を検証する
方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引
エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成
されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリア
における取引時間の少なくとも一部の間に商品を監視することによってデータフィードが
生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよ
びデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析され
たビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を
確認するときに、アラートが発行される。

【0009】

別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証する方法
が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商
品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置
かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト
端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定され
る。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量
データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基
づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監
視するデータソースから生成される。

【0010】

さらなる別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証
するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複
数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備
える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品
を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータ
フィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こ
り得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデー
タフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラ
ートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引デー
タ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユ
ニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量
センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェ
ックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシング
ユニットに通信可能に結合される。

【0011】

さらなる態様では、セルフチェックアウト端末において損失インシデントを特定する方
法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデ
オフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオ
フィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユ
ニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを
特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが
人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的
検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて
、アラートが発行される。

【図面の簡単な説明】

【0012】

【図1】セルフチェックアウト端末において起こり得る不正行為を検証する方法の実施形態を提供する。

【図2】セルフチェックアウト端末において損失インシデントを特定する方法の実施形態を提供する。

【図3】人的検証に対して送信されるビデオフィード修正の実施形態を提供する。

【図4】人的検証処理の実施形態を提供する。

【図5】セルフチェックアウト端末において起こり得る不正行為を検証するシステムの実施形態を提供する。

【発明を実施するための形態】

【0013】

以下で添付図面と関連して記載される詳細な説明は、本発明の現在の好ましい実施形態
の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形
式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機
能させるステップの機能および順序を記載する。

【0014】

発行された米国特許第７，６３１，８０８号明細書は、ビデオ分析および取引データ分
析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８
０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行され
た特許の電子的写しを提供するよう求められている。

【0015】

要するに、米国特許第７，６３１，８０８号明細書は、取引端末において顧客による商
品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果
を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビ
デオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、
またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（
ｆｏｃｕｓｅｄ ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ ｃａｍｅｒａ）から取得され
てもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析ア
ルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた
取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの
一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリ
アにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができ
る。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定する
ことができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって
、および／または取引エリアにおいてオペレータの行為を検出することによって、このこ
とが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から
商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に
商品が持ち込まれることを検出することを含み得る。

【0016】

取引データと比較してビデオ分析の組み合わせを使用して、システムは、ビデオデータ
の分析において特定された商品の存在が、取引データにおいて対応する存在を有している
かを判定することができ、有していない場合、不審行為を特定する。例として、各検出器
に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも
一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によっ
て検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる
。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは
、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）
を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを
通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本
明細書で開示され、その詳細が詳細な説明のセクションで提供される。

【0017】

概して、本発明は、顧客によってセルフチェックアウト取引の間に発生することがある
、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を
、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な
検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以
上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および
任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その
組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特
定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明
は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証
に基づいてのみ発行される。

【0018】

起こり得る不正行為の例は、セルフチェックアウト端末において顧客が取引されていな
い商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている
商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア
、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集の
ために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入さ
れていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。

【0019】

誤検出の不正行為の例は、非売買商品（財布、携帯電話、傘、上着など）が袋に詰める
エリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合
、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付け
られていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を
追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品に
よって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエ
リア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ ｏｎ）する場合、再使用可
能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでも
よいが、それらに限定されない。

【0020】

本明細書で考慮されるビデオソースは、アナログカメラおよびＩＰカメラなどのビデオ
カメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、
ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有す
るポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。

【0021】

本明細書で考慮されるデータフィードは、シリアル、イーサネット（登録商標）などの
任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、Ｊ
ＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない
。

【0022】

一実施形態では、セルフチェックアウト端末において対象となる起こり得る行為が検証
されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定
および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為で
ない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行
為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェ
ックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印
刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ ｃａｌｌ）を
含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり
得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよ
く、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。

【0023】

セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を
実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）など
のコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェッ
クアウト端末を含んでもよい。

【0024】

コンピュータプロセシングユニットは、セルフチェックアウト端末においてスキャンさ
れる商品を監視することによって生成されるデータフィードを分析するように動作可能で
あってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量デー
タを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュー
タプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさ
らに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデ
オフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい
。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重
量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データ
は、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。

【0025】

一実施形態では、想定内重量許容差は、商品に割り当てられた条件を満たした重量の範
囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差
に割り当てられてもよい。

【0026】

別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差によって指
定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内
重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。

【0027】

さらなる別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差内
にあることを示し、よって、起こり得る不正行為を否定してもよい。

【0028】

さらなる別の実施形態では、商品は、想定内重量許容差に割り当てられなくてもよい。
この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、した
がって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起
こり得る不正行為を特定してもよい。

【0029】

さらなる実施形態では、想定外重量データは、重量センサから測定された商品の重量と
、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容
差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示し
てもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ ｎｕｍｂｅｒ）であってもよ
く、想定外重量データは、同様の方法で差異を示してもよい。

【0030】

セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を
実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末
は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい
。

【0031】

一実施形態では、コンピュータプロセシングユニットは、ビデオフィードを修正するよ
うに動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分
析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介して
リアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化す
る。人的検証の詳細な処理は、本開示でさらに開示される。

【0032】

ビデオフィードを簡易化することは、ビデオフィードの一部を検証するために、それを
短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ ｓｎｉｐｐｅｔ）にクリップできるほど
簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよ
い。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。
加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフ
ィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィード
に対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィ
ードの簡易化として理解されることになる。

【0033】

複数のデータフィードは、セルフチェックアウト端末において取引される商品ごとに生
成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによって
トリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり
得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。
最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすること
を保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検
証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフ
ィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシン
グユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデー
タと比較して分析されてもよい。

【0034】

プリセットされたデータは、店舗において販売されている各商品に割り当てられた想定
内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の
想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されな
い。

【0035】

一実施形態では、起こり得る不正行為は、重量センサを利用して検証されてもよい。重
量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく
、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の
想定内重量許容差と比較されてもよい。

【0036】

想定内重量許容差は、店舗において販売されている各商品に割り当てられてもよく、条
件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差
を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されても
よい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、
１つ購入すると１つが無料になるイベント（ａ ｂｕｙ ｏｎｅ ｇｅｔ ｏｎｅ ｆｒ
ｅｅ ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。

【0037】

想定内重量許容差は、袋に詰めるエリアに置かれている商品を捕捉するのに利用されて
もよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは
、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグ
を設定するためにデフォルトでゼロに設定されてもよい。

【0038】

したがって、想定外重量データは、本明細書で開示されたように生成されてもよい。重
量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが
取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい
。

【0039】

別の実施形態では、起こり得る不正行為を検証するのにビデオ分析が利用されてもよい
。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成され
てもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セル
フチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロ
セシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに
分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が
、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特
定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィー
ドが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可
能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書
に組み込まれる。

【0040】

さらなる別の実施形態では、起こり得る不正行為を検証するために、取引データがビデ
オ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照
による組み込みによって、提供されている。

【0041】

セルフチェックアウト端末において発生する起こり得る不正行為は、介入が必要である
かを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させる
ことなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよ
い。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフ
チェックアウトの係員に提供されてもよい。

【0042】

一実施形態では、起こり得る不正行為が複数のデータフィードのうちの２つに基づいて
確認される場合に、アラートが発行されてもよい。

【0043】

別の実施形態では、複数のデータフィードのうちの１つによって特定される起こり得る
不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。

【0044】

さらなる別の実施形態では、複数のデータフィードの各々が異なる結果を示す場合でさ
え、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証
するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの
房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想
定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人
的検証はさらに起こり得る不正行為を検証してもよい。

【0045】

起こり得る不正行為は、人的検証によってさらに検証されてもよい。人的検証は、ビデ
オソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正さ
れてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィード
は、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正され
たビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手
段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにく
い場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析に
よって操作されてもよい。

【0046】

一実施形態では、複数のデータフィードによって検証される、起こり得る不正行為を確
認する最終ステップとして、人的検証が行われてもよい。

【0047】

本明細書で開示されるビデオフィードの修正は、人的検証を促進するのに使用すること
ができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正
は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細
部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をト
リミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ
ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方
、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤
去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフロ
ーを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認
された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例
えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ ｂｕ
ｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）
をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示するこ
と（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない
。

【0048】

起こり得る不正行為の検証は、人的検証でリアルタイムに行われてもよい。

【0049】

人的検証は、起こり得る不正行為の非人的対応検証方法における欠陥を補償すると考え
られてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、シ
ステムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％
の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある
。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量
（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理
しやすいものに低減させることが可能な複合システムを得ることができる。

【0050】

一実施形態では、人的検証は、ウェブサービスを利用して処理されてもよい。修正され
たビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用す
る、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュ
ータプロセシングユニットから送信されるアラートを検討および検証するためにウェブア
プリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェース
を作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサ
ービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング
機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立され
てもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却
する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウ
ェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを
有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出し
は、即時に返却しなくてもよい。

【0051】

一実施形態では、ジョブは、ジョブを待機中のウェブアプリケーションクライアントに
渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結
果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。

【0052】

損失インシデントは、ビデオ分析によって検証されてもよい。本明細書で考慮される損
失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよい
が、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれてい
ないときに発生することがあり、重量センサがその機能を実行することを不可能にする。
損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検
証を受けてもよい。

【0053】

一実施形態では、セルフチェックアウト端末における損失インシデントは、取引エリア
において商品を監視するビデオソースから生成されるビデオフィードを取得することによ
って、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィ
ードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから
、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットに
よって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証
によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が
発行されてもよい。

【0054】

次に図１を参照して、セルフチェックアウト端末において起こり得る不正行為を検証す
る方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入に
フラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末における
インシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端
末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成
されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェ
ックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プ
ロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを
判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る
不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正
行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。

【0055】

複数のデータのうちの１つ以上の分析が、起こり得る不正行為が実際に不正なものであ
ることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく
（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラー
トがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理さ
れる取引に介入するよう通知する、形式で提供されてもよい。

【0056】

複数のデータのうちの１つ以上の分析が、起こり得る不正行為を否定する場合（１０５
）、インシデントが無視されてもよく、介入が行われない（１０７）。

【0057】

図２は、セルフチェックアウト端末において損失インシデントを特定する方法の実施形
態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、
中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認
され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析か
ら損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（
２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分
析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。そ
の後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェック
アウトユニットに提供される（２０５）。

【0058】

図３は、ビデオ分析によって行われる人的検証に対して送信されるビデオフィードの修
正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを
示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋
に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すこ
とによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリア
における関連のある変更を示している。そして、モルフォロジー演算およびブロブベース
の接続されたコンポーネント分析（ｂｌｏｂ ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍ
ｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示された
ビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに
加えられる単一の商品を示す。

【0059】

図４は、人的検証の実施形態を提供する。最初に、人的検証要求４０２を受信すること
によって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶ
Ａ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオ
ソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信され
てもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４
０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることにな
る人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８
またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検
証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返
信される。

【0060】

図５は、セルフチェックアウト端末において起こり得る不正行為を検証するシステムの
実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックア
ウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０
５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。
コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カ
ート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における
行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成
され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニット
は、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得
る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データ
は、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基
づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、
想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。

【0061】

好ましい実施形態または特定の実施形態の例によって、本発明の幾つかの変形形態が例
示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施
形態を発展することができることが明らかである。しかしながら、そのような修正形態お
よび適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含
むがそれに限定されないことを明確に理解するべきである。

【図1】

【図2】

【図3】

【図4】

【図5】