特許 7530902 セルフチェックアウト小売環境における異常検出のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】セルフチェックアウト小売環境における異常検出のための方法および装置

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240801BHJP

【ＦＩ】

G06Q30/06

【請求項の数】 11

(21)【出願番号】P 2021542534

(86)(22)【出願日】2020-01-21

(65)【公表番号】

(43)【公表日】2022-03-17

(86)【国際出願番号】 EP2020051433

(87)【国際公開番号】W WO2020152181

(87)【国際公開日】2020-07-30

【審査請求日】2023-01-11

(31)【優先権主張番号】19153108.6

(32)【優先日】2019-01-22

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518072210

【氏名又は名称】エバーシーン リミテッド

【氏名又は名称原語表記】Ｅｖｅｒｓｅｅｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】４ｔｈ Ｆｌｏｏｒ， Ｔｈｅ Ａｔｒｉｕｍ， Ｂｌａｃｋｐｏｏｌ Ｒｅｔａｉｌ Ｐａｒｋ， Ｂｌａｃｋｐｏｏｌ， Ｃｏｒｋ， Ｉｒｅｌａｎｄ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100173794

【弁理士】

【氏名又は名称】色部 暁義

(72)【発明者】

【氏名】デイヴィッド チプリアン ペトル

(72)【発明者】

【氏名】ダン アレクサンドル ぺスカル

(72)【発明者】

【氏名】ヴァシル ギ

(72)【発明者】

【氏名】コスミン セルナザヌ－グラヴァン

(72)【発明者】

【氏名】アンドレイ プリコチ

(72)【発明者】

【氏名】オヴィディウ パーヴュ

(72)【発明者】

【氏名】ボグダン シウボタル

(72)【発明者】

【氏名】ギャヴィン ドイル

【審査官】原 忠

(56)【参考文献】

【文献】特開２０１８－０３２４０４（ＪＰ，Ａ）

【文献】特開２０１６－０２４６５１（ＪＰ，Ａ）

【文献】国際公開第２０１１／００１５１６（ＷＯ，Ａ１）

【文献】米国特許第０９５８９４３３（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１８／００９６５６７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

セルフチェックアウト端末から受信したトランザクションデータから特徴量のセットを抽出し、
前記特徴量のセットに基づいてアクティビティを特徴付け、
特徴づけられる各アクティビティのために複数の活性区間を定め、
前記複数の活性区間の定められた活性区間ごとにメタ特徴ベクトルを決定し、
各メタ特徴ベクトルを事前に定められたベクトルのセットと比較し、
比較に基づいて異常を検出する
ために構成される処理ユニットを備え、
前記アクティビティを特徴付けることは、
受信した前記トランザクションデータから特徴量のセットを抽出することと、
前記特徴量のセットを対応する特徴量活性化値のセットに変換することと、
ある時間区間にわたる前記特徴量活性化値のセットの発展を決定し、前記アクティビティ（Activity^μ）を、
{f_i(n)│i∈featureSet^μ, μ∈[1, K], n∈[N₁, N₂], N₂= N₁ + N_a }
に従って定めることと、を含み、
N_aは、前記アクティビティを検出するために考慮されるフレームの数であり、
f_i(n)は、抽出された特徴量の設定値であり、
featureSet^μは、Activity^μを表現する特徴量のセットであり、
[N₁, N₂]は、最初のフレームN₁の時間と最後のフレームN₂の時間との間の時間区間で抽出される連続フレームのセットを表し、
プロセッサは、前記アクティビティを定めるフレーム数N_aを推定するようにさらに構成され、
推定は、活性化関数 A(f_i(n)_fR_i) を定めることと、前記活性化関数に基づいて時間領域を活性区間に分割することと、を含み、
A(f_i(n)_fR_i)は、

【数1】

と特徴付けられ、
R_iは、それぞれの特徴量f_i(n)についてユーザによって定められる規則のセットを表し、
f_i(n)は、R_iが真であるときに活性であり、
すべてのアクティビティに対する各活性区間が、

【数2】

と定義され、
前記メタ特徴ベクトルを決定することは、
前記活性区間内の各特徴量f_iについて複数の統計的尺度を計算することと、
前記特徴量を組み合わせて、各活性区間についてメタ特徴ベクトルを形成することと、を含む、セルフチェックアウト環境における異常検出のためのシステム。

【請求項2】

前記プロセッサは、隣接する活性区間の間の非活性区間を決定するようにさらに構成される、請求項１に記載のシステム。

【請求項3】

さらに前記非活性区間を閾値と比較し、隣接する前記活性区間および前記非活性区間を組み合わせて、マージされた活性区間にする、請求項２に記載のシステム。

【請求項4】

プロセッサは、決定された前記メタ特徴ベクトルと第１の分類システムモデルとの間で第１の比較を実行し、前記第１の比較に基づいて警告を作成するように構成される、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記プロセッサは、決定された前記メタ特徴ベクトルと第２のシステムモデルとの間で第２の分類比較を実行するように構成される、請求項４に記載のシステム。

【請求項6】

前記プロセッサは、前記第１の比較および第２の分類比較に基づいて第１のシステムモデルおよび前記第２のシステムモデルの性能を比較し、前記第２のシステムモデルの前記性能が前記第１のシステムモデルを上回る場合、前記第１のシステムモデルを前記第２のシステムモデルと置換するように構成される、請求項５に記載のシステム。

【請求項7】

前記第１のシステムモデルをバックアップモデルとして記憶するためのメモリをさらに備える、請求項６に記載のシステム。

【請求項8】

前記プロセッサは、前記警告に関するフィードバックを受信し、前記フィードバックに基づいて前記第２のシステムモデルを更新するように構成される、請求項７に記載のシステム。

【請求項9】

前記プロセッサは、前記第１のシステムモデルの性能を前記バックアップモデルの性能と比較し、前記バックアップモデルが前記第１のシステムモデルを性能で上回る場合、前記第１のシステムモデルを前記バックアップモデルと置換するように構成される、請求項７に記載のシステム。

【請求項10】

セルフチェックアウト端末から受信したトランザクションデータから特徴量のセットを抽出するステップと、
前記特徴量のセットに基づいてアクティビティを特徴付けるステップと、
特徴付けられたアクティビティごとに複数の活性区間を定めるステップと、
複数の前記活性区間のうちの定められた活性区間ごとにメタ特徴ベクトルを決定するステップと、
各メタ特徴ベクトルを、事前に定められたベクトルのセットと比較するステップと、
比較に基づいて異常を検出するステップと、を含み、
前記アクティビティを特徴付けることは、
受信した前記トランザクションデータから特徴量のセットを抽出することと、
前記特徴量のセットを対応する特徴量活性化値のセットに変換することと、
ある時間区間にわたる前記特徴量活性化値のセットの発展を決定し、前記アクティビティ（Activity^μ）を、
{f_i(n)│i∈featureSet^μ, μ∈[1, K], n∈[N₁, N₂], N₂= N₁ + N_a }
に従って定めることと、を含み、
N_aは、前記アクティビティを検出するために考慮されるフレームの数であり、
f_i(n)は、抽出された特徴量の設定値であり、
featureSet^μは、Activity^μを表現する特徴量のセットであり、
[N₁, N₂]は、最初のフレームN₁の時間と最後のフレームN₂の時間との間の時間区間で抽出される連続フレームのセットを表し、
プロセッサは、前記アクティビティを定めるフレーム数N_aを推定するようにさらに構成され、
推定は、活性化関数 A(f_i(n)_fR_i) を定めることと、前記活性化関数に基づいて時間領域を活性区間に分割することと、を含み、
A(f_i(n)_fR_i)は、

【数3】

と特徴付けられ、
R_iは、それぞれの特徴量f_i(n)についてユーザによって定められる規則のセットを表し、
f_i(n)は、R_iが真であるときに活性であり、
すべてのアクティビティに対する各活性区間が、

【数4】

と定義され、
前記メタ特徴ベクトルを決定することは、
前記活性区間内の各特徴量f_iについて複数の統計的尺度を計算することと、
前記特徴量を組み合わせて、各活性区間についてメタ特徴ベクトルを形成することと、を含む、システムのプロセッサによって実行される、セルフチェックアウト環境における異常検出方法。

【請求項11】

処理モデルによって実行されるときに請求項１０に記載の方法を実施するコンピュータプログラムが記憶され格納されている、読み取り可能なコンピュータプログラマブル媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、セルフチェックアウト小売環境における異常検出のための方法及び装置に関する。

【背景技術】

【0002】

小売環境では、セルフチェックアウトおよび自動化プロセスがますます主流になっている。しかしながら、これは、セルフチェックアウト(SCOs)に基づく小売環境が、典型的にはさまざまな理由から、顧客のフローをより減少させる原因となり、不利になる。消費者または顧客は、典型的にはセルフチェックアウトのメカニズムについて熟練しておらず、多くの場合、その技術に満足していない。顧客の知識不足及び経験不足は、チェックアウトや商品代金の支払いプロセスを遅らせる可能性がある。例えば、顧客がスキャンプロセスを間違って実行して、小売店の従業者が機械をリセットし、若しくはトランザクションの許可を与えるのを待たなければならないかもしれないし、又は実際は、顧客が関連するバーコードをスキャンすることに単に苦労するかもしれない。明らかに、トランザクションを意図的に回避しようとする試みも発生する。トランザクションを無効にするために待機することによる時間損失、較正を必要とする計量器、およびさらなる非理想的なシナリオが、中断の原因となる。これらの非理想的なシナリオには、無スキャン、過剰請求、無効なトランザクションなどが含まれる。
上述したように顧客のフローが中断すれば、例えば活動がピークな時間帯を考慮すると、収益及び売上高に影響を及ぼし得ることが理解されよう。フローが中断すれば、顧客の処理能力を遅らせ、滞らせる可能性があり、および/または、フローが中断しなければ何か衝動買いをしたかもしれない顧客に不愉快な思いをさせることがある。これは、次に、売上高に影響を及ぼし、セルフチェックアウトシステムの効率を低下させる。以前は、小売業者は、係員/オペレータを介して、SCOsを人間が監視することによって問題を制御しようと試みてきた。係員の仕事は、一般に2つの部分、すなわち、監視要素と、判定/行動要素の2つの部分がある。監視要素は、係員がSCOsにおけるあらゆる不正および障害に気づくことが要求されるときに存在し、行動要素は、不正を発見したときに、係員がそれに伴って生じる問題を是正しようとする試みである。明らかに、これもまた、フローに不正を引き起こす可能性がある。係員は、典型的には機械をリセットし、製品がスキャンされていなかった事実を無視する傾向がある。このことは、小売店のオーナーにとって損失であり、悪用される可能性がある。不正とは、予期される購入手順のパターンに従わないあらゆるアクティビティとして定義される。購入手順は、ある領域から物体を拾い上げる、ある領域に物体を落とす、スキャナに物体を通す、ボタンまたはあるタッチスクリーン領域を押す、製品を袋詰めする、空でないカートを通すなどの一連の動作によって形成される。

【0003】

したがって、顧客のフローを最適化するために、自動化された方法および装置を実施することが必要である。

【発明の概要】

【0004】

前述の概念と、以下でより詳細に論じられる追加の概念とのすべての組合せ(そのような概念が相互に矛盾しないという条件で)は、本明細書で開示される本発明の主題の一部であると考えられることが理解されるだろう。特に、本開示の末尾の特許請求の範囲に記載される主題の全ての組合せは、本明細書に開示される発明の対象の一部であると考えられることが理解されるだろう。また、本明細書で明示的に使用される用語は、参照により組み込まれる任意の開示においても現れることがあり、本明細書で開示される特定の概念と意味が一致することも理解されるだろう。

【0005】

一つの態様では、本発明は、セルフチェックアウト環境における異常検出のためのシステムを提供し、システムは、セルフチェックアウト端末から受信したトランザクションデータから特徴量のセットを抽出し、特徴量のセットに基づいてアクティビティを特徴付け、特徴づけられる各アクティビティのために複数の活性区間を定め、複数の活性区間の定められた活性区間ごとにメタ特徴ベクトルを決定し、各メタ特徴ベクトルを事前に定められたベクトルのセットと比較し、比較に基づいて異常を検出するための処理ユニットを備える。

【0006】

アクティビティを特徴付けることは、受信したデータから特徴量のセットを抽出し、特徴量のセットを対応する活性化値の特徴量のセットに変換し、ある時間区間にわたる活性化値のセットの発展を決定し、アクティビティActivity^μを定義することを含んでもよい。 Activity^μは、

【数1】

,
に従う。Naは、アクティビティを検出するために考慮されるフレームの数である。fi(n)は、抽出された特徴量セット値である。featureSet^μ は、Activity^μを記述する特徴量のセットである。[N₁, N₂]は、最初のフレームN1の時刻と最後のフレームN2の時刻との間の時間区間内に抽出された連続フレームのセットを表す。

【0007】

プロセッサは、アクティビティを定義するフレームの数Naを推定するように、さらに構成されてもよい。この推定は、活性化関数A(fi(n), Ri)を定義することと、この関数に基づいて時間領域を活性区間に分割することを含み、以下のようにA(fi(n), Ri)が特徴付けられる。

【0008】

【数2】

（Riは、特徴量fiごとにユーザが定義した規則のセットを表す。特定のフレームnに対してRi が真の場合、fi(n)が活性になる。）

【0009】

すべてのK個のアクティビティに対する各活性区間は、以下のように定義してもよい。

【数3】

【0010】

プロセッサは、隣接する活性区間の間にある非活性区間を決定するように、さらに構成されてもよい。

【0011】

プロセッサは、非活性区間を閾値と比較することと、隣接する活性区間および非活性区間を組み合わせて、マージされた活性区間にすることと、を含むように、さらに構成されてもよい。

【0012】

メタ特徴ベクトルを決定するステップは、活性区間内の各特徴量fiについて複数の統計的尺度を計算するステップと、前述の特徴量を組み合わせて各活性区間についてメタ特徴ベクトルを形成するステップと、を含んでもよい。

【0013】

統計的尺度は、統計的モーメント及び/又は順序統計量を含むことができる。

【0014】

プロセッサは、決定されたメタ特徴ベクトルと第1の分類システムモデルとの間で第1の比較を実行し、その比較に基づいて警告を作成するように構成されてもよい。

【0015】

プロセッサは、定義されたメタ特徴ベクトルと第2のシステムモデルとの間で第2の分類比較を実行するように構成されてもよい。

【0016】

プロセッサは、第1および第2の比較に基づいて第1のシステムモデルおよび第2のシステムモデルの性能を比較し、第2のシステムモデルの性能が第1のシステムモデルを上回る場合、第1のシステムモデルを第2のシステムモデルと置換するように構成されてもよい。

【0017】

システムは、第1のシステムモデルをバックアップモデルとして記憶するためのメモリをさらに含むことができる。

【0018】

プロセッサは、警告に関するフィードバックを受信し、フィードバックに基づいて第2のシステムモデルを更新するように構成されてもよい。

【0019】

プロセッサは、第1のシステムモデルの性能をバックアップモデルのパ性能と比較し、バックアップモデルが第1のシステムモデルを性能で上回る場合、第1のシステムモデルをバックアップモデルと置換するように構成されてもよい。

【0020】

システムは、警告を報告するための複数の報告デバイスをさらに含んでもよい。報告デバイスは、モバイルコンピューティングデバイス、モバイル通信デバイス、スマートフォンウォッチ、スマートグラス、パーソナルコンピュータ、ネットワークサーバ、視覚表示ユニット及び音声出力デバイスを含むリストから選択してもよい。システムは、POSデバイスをさらに含んでもよい。

【0021】

システムは、セルフチェックアウト端末からのトランザクションデータを感知するための複数のセンサを更に含んでもよい。

【0022】

本発明のさらなる実施形態は、セルフチェックアウト環境における異常検出方法であって、セルフチェックアウト端末から受信したトランザクションデータから特徴量のセットを抽出するステップと、特徴量のセットに基づいてアクティビティを特徴付けるステップと、特徴付けられたアクティビティごとに複数の活性区間を定義するステップと、複数の活性区間のうちの定義された活性区間ごとにメタ特徴ベクトルを決定するステップと、各メタ特徴ベクトルを事前定義されたベクトルのセットと比較するステップと、比較に基づいて異常を検出するステップと、を含む異常検出方法を組み込む。

【0023】

本方法は、アクティビティを特徴付けるステップが、受信したデータから特徴量のセットを抽出するステップと、それらを対応する特徴量活性化値のセットに変換するステップと、ある時間区間にわたるこれらの値のセットの発展を決定し、次いで、以下のセットに従ってActivity^μを定義することを含んでもよい。

【数4】

ここで、Kはシステムナレッジベースに記録されたアクティビティの総数を表し、featureSet^μはActivity^μを記述する特徴量のセットであり、Naはアクティビティを検出するために考慮されるフレームの数であり、fi(n)は抽出された特徴量の設定値であり、[N₁, N₂]は最初のフレームN₁の時間と最後のフレームN₂の時間との間の時間区間で抽出された連続フレームのセットを表す。

【0024】

本方法はさらに、アクティビティを定義するフレーム数Naを推定することを含んでもよく、推定は活性化関数A(fi(n), Ri)を規定するステップと、関数に基づいて時間領域を活性区間に分割するステップとを含み、A(fi(n), Ri)は、以下のように特徴付けられる。

【数5】

ここで、Riはそれぞれの特徴量fi(n)に対してユーザによって規定された規則のセットを表し、fi(n)はRiが真であるときに活性になる。

【0025】

K個のアクティビティすべてに対する各活性区間は、以下のように定義してもよい。

【数6】

【0026】

本方法は、隣接する活性区間の間にある非活性区間を決定するステップをさらに含んでもよい。

【0027】

本方法は、非活性区間を閾値と比較するステップと、隣接する活性区間および非活性区間を組み合わせて、マージされた活性区間にするステップとをさらに含んでもよい。

【0028】

本方法は、メタ特徴ベクトルを決定するステップが、活性区間内の各特徴量fiについて複数の統計的尺度を計算するステップと、特徴量を組み合わせて、各活性区間についてメタ特徴ベクトルを形成するステップとをさらに含むように構成してもよい。

【0029】

統計的尺度は、統計的モーメント及び/又は順序統計量を含むことができる。

【0030】

本方法は、決定されたメタ特徴ベクトルと第1の分類制度モデルについて第1の比較を実行するステップと、比較に基づいて警告を作成するステップとを含むことができる。

【0031】

本方法は、決定されたメタ特徴ベクトルと第2のシステムモデルについて第2の分類比較を実行することを含むことができる。

【0032】

本方法は、第1の比較及び第2の比較に基づいて第1のシステムモデル及び第2のシステムモデルの性能を比較することと、第2のシステムモデルの性能が第1のシステムモデルよりも優れている場合、第1のシステムモデルを第2のシステムモデルと置換することと、を含んでもよい。

【0033】

本方法は、第1のシステムモデルをバックアップモデルとして記憶するステップをさらに含んでもよい。

【0034】

本方法は、フィードバックに基づいて第2のシステムモデルを更新する警告についてフィードバックを受信するステップを更に含んでもよい。

【0035】

本方法は、第1のシステムモデルの性能をバックアップモデルの性能と比較するステップと、バックアップモデルが第1のシステムモデルより性能が優れている場合に第1のシステムモデルをバックアップモデルと置換するステップと、をさらに含む。

【0036】

また、記録媒体、キャリア信号、またはリードオンリーメモリ上に組み込むことができる、上記方法をコンピュータプログラムに実行させるためのプログラム命令を含むコンピュータプログラムも提供される。

【図面の簡単な説明】

【0037】

【図1】本発明の一実施形態によるセルフチェックアウト環境を示す。

【図2】本発明の一実施形態による処理ユニットの一例を示すフロー図である。

【図3】警告に応答する係員の判定プロセスの一例を示すフロー図である。

【図4】図4Aおよび図4Bは、本発明による活性区間の絵画図を提供する。

【図5】本発明に従うメタ特徴ベクトルである。

【図6】本発明の一実施形態に従う分類および報告モデルを示す。

【発明を実施するための形態】

【0038】

本発明の実施形態は、添付の図面を参照して、単なる例として説明される。

【0039】

本発明の一実施形態によれば、セルフチェックアウト環境100、処理ユニット102、および報告メカニズム103が提供される。報告メカニズムは、複数の報告デバイスを備える。

【0040】

セルフチェックアウト環境は、販売時点情報管理デバイスまたはセルフ・チェックアウトマシンと、センサネットワーク101と、を備える。センサネットワークは、複数のセンサを備える。センサは、カメラ、オーディオセンサ、3次元スキャナなどを含むことができる。これらのセンサは、バーコード、QRコード、トランザクションに関連するオーディオ、ビデオ又は静止画などの、小売トランザクションに関連する情報を抽出することができる任意のセンサを備えることができる。トランザクションの間、トランザクションデータは、センサネットワーク(101)で抽出され、処理ユニット(102)に提供される。トランザクションデータには、バーコード、QRコード、トランザクション中に記録されたオーディオ、トランザクションのビデオ、静止画などのトランザクションデータが含まれる。トランザクションデータとは、トランザクションに関連するデータである。

【0041】

処理ユニット(102)は、小売環境内に配置することができ、または小売環境から離れて、例えば中央ハブに配置することができる。中央ハブは、複数の小売環境にネットワーク接続されてもよい。例えば、中央ハブは、複数の小売サイト、小売業者のチェーンなどからのデータを処理する役割を果たしてもよい。処理ユニットは、センサネットワークからのデータを処理する。警告又は情報の処理に対応して、メッセージを複数の報告デバイス103に報告することができる。これらの報告デバイスは、マシン、リモートユニット、パーソナルコンピューティングデバイス、ワイヤレス通信デバイス、スマートフォンウォッチ、スマートグラス、ページャなどのコンピューティング端末などのオンライン報告デバイスを含むことができる。報告デバイスには、データベースサーバー、クラウドサーバーなどを含む、多数のオフライン報告デバイスを含めることもできる。オンラインとオフラインの両方の報告デバイスは、安全なネットワークを介して接続される。これらの情報メッセージは、これらのデバイスのうちの1つ以上を、例えば、操作者104および/または管理者若しくは経営側に提供することができる。さらに、報告は、例えば検出された異常について顧客に警告するために、顧客にあててもよい。異常を修正するために、助言を顧客に提供できることが理解されるであろう。報告メッセージは、例えば音声出力及び/又はSCOディスプレイ上に記述されるメッセージを用いて、予め記録された標準フレーズとすることができる。このタイプの顧客報告は、操作者の必要性を最小限に抑え、したがって流れを維持する。しかしながら、有用性は、不正な状況では制限される。または、インシデントが検出され操作者の介入が必要な場合に、操作者が警告しつつ、上記の情報のようなメッセージを発することもできる。

【0042】

図2の処理ユニットは、分析ユニット201および決定ユニット204を備える。別個のユニットとして示されているが、これらのユニットは単一のユニットに組み合わされていてもよいことが理解されよう。センサネットワークは、小売取引を特徴付けるために使用できるデータを抽出する。この抽出されたデータはトランザクションデータであり、販売時点情報管理環境101に設置されたセンサによって収集される。このトランザクションデータには、バーコード、QRコード、トランザクション中に記録されたオーディオ、トランザクションのビデオ、静止画などのデータが含まれる。データを分析することによって、小売プロセスのステップを認識することができる。ステップは例えば、製品を拾い上げること、製品をスキャンすること、または製品を袋詰めすることを含む。このデータは、データを処理する分析ユニット201に渡される。データの処理は、データからメタ特徴量を抽出するために使用される。この情報は、その後、判定ユニットに渡される。判定ユニットは、データに不正があるか否かを判定する。不正に関する決定が行われると、警告または情報メッセージが、関連する報告デバイスに送信される。関連する報告デバイスは、事前に選択され、各小売環境に対して個別に構成され得る。情報メッセージは、単に不正に関する警告であってもよい。さらに、検出を容易にするために、不正の種類に関する情報を提供することができる。

【0043】

上記で概説したように、情報メッセージは、オンラインデバイスおよびオフラインのデバイスのネットワークを介して提供される。オンラインデバイスおよびオフラインのデバイスによる通信は、任意に、あるまたはすべてのデバイスに対して双方向にできることが理解されよう。操作者が双方向デバイスを使用して、受信した情報メッセージに関するフィードバックを提供できる。フィードバックは、警告の確認/拒否を含んでもよい。フィードバックは、報告デバイスによって判定ユニット(204)に送られる。フィードバックは、アルゴリズムを適応させるために使用される。この適応アルゴリズムは、精度、誤検出に対する堅牢性、および検出速度を改善する。フィードバックは例えば、警告が発せられているが、係員の評価が誤りを示したときに生じる。モデルの適応要素を更新できるように、関連するシステムデータが入力される。

【0044】

また、係員または操作者は、自発的なフィードバックを提供できることも理解されよう。例えば、警告またはメッセージは提供されないが、不正が操作者によって検出された場合、フィードバックを提供することができる。この情報は、新しい警告または問題の例を作成するために使用できる。また、小売のフローにおける係員の介入についての、かかった時間、取られた行動、およびフローへの影響を含むフィードバックを提供する。

【0045】

例えば、図3のステップ301でセルフチェックアウトを監視する係員は、警告を待つことになる。係員は、警告と、検出された不正に関する任意の関連データを受信するであろう(302)。警告および情報に基づいて、係員は警告を評価し、インシデントがあるかどうかについて判定306を行う。インシデントが検出された場合、係員は顧客308に関して適切な措置をとり、関連するフィードバックを提供する。インシデントがない場合、係員は、判定の原因となった理論に関する客観的評価に関するフィードバック310を提供する。

【0046】

別の実施例は、今度は顧客を対処する報告に関連し、音声出力および/またはSCO表示装置上に書き込まれたメッセージを用いて、いくつかの事前に記録された標準フレーズを提供することを含む。このようなメッセージ(例えば、「製品を再スキャンしてください!」)は、顧客を小売プロセスで案内する。この種類の報告は、操作者の必要性を最小限に抑え、したがってフローを維持する。

【0047】

図3に関連して説明されている方法は、操作者および補助者による判定および行動要素を置き換え、補助することを目的とする。

【0048】

メタ特徴量の抽出は、セルフチェックアウトフローに疑わしいイベントまたは不正があるかどうかを判定するための根拠を提供する。上述のようなフィードバックを、不正についての新しい例やケースを含む判定モデルを構築しおよび適応させるために使用し、そして精度を高めるために使用することができる。

【0049】

不正または異常検出のメカニズムに関するさらなる詳細は、以下に説明される。

【0050】

図1に関連して概説したように、情報またはトランザクションデータは、複数のセンサから獲得される。この情報は例えば、小売及びセルフチェックアウトプロセスに関連する画像のストリームを提供するビデオデータを含むことができる。以下に説明する方法ではビデオデータについて説明するが、どんなデータを使用してもよい。
各ビデオフレーム(n)について、センサネットワークにおける1つ以上のセンサの出力がサンプリングされて、離散時間nにおけるトランザクションデータから1組の特徴量fi(n), i=1, 2, 3 … Kが抽出される。センサネットワークは、複数のアクティビティを同時に監視することが、理解されよう。特徴量は例えば、ビデオフレーム内の前景ピクセルの割合、数、ビデオフレームの特定のエリア内の動きベクトルの方向、又はビデオフレーム内における関心領域内に存在するキーポイントの数を含むことができる。メタ特徴量は、統計的関数を特徴量に適用することによって、時間区間にわたる特徴量の変化に基づいて取得され、例えば統計的モーメント(平均値、分散、歪み、尖度など)または順序統計量(最小値、最大値、中央値、四分位、刈込み平均、絶対偏差の中央値など)が該当する。Y個の特徴量を有するときは、N × Y個の統計的尺度が計算され、メタ特徴ベクトルにエンコードされることになる。それぞれのActivity^μは、事前定義された、特徴量の部分集合featureSet^μと、この部分集合に対応するメタ特徴量の値のセットによって特徴付けられる。したがって、特定のアクティビティが発生し、または進行中であるとき、対応する特徴量の部分集合は、活性化関数の値がゼロでないことに基づいて、センサネットワークによって「アクティブ」として検出される。異なるアクティビティは、異なる特徴量の部分集合に対応できる。選択される実際の特徴量の部分集合は、検出されるアクティビティに依存する。したがって、アクティビティは、その特徴量のセットに基づいて特徴付けられる。これらの特徴量は、アプリケーションに関する特定のタスクの解決に関連する情報によって表される。これらは手動または自動で選択できる。自動選択は、ニューラルネットワークまたは他のマシンネットワーク技術を使用して実施することができる。そのため、特徴量は、1つの変数または変数のグループの値によって表される。本願では、ビデオから特徴量を抽出し(例えば、皮膚検出、動き検出、動き検出のパターン、前景/背景検出、身体部検出、など)、他はセンサによって生成できる(例えば、スキャンに関連する音の検出、ティル（till）情報など)。これらの特徴量は、計算量の観点から、複雑さのレベルが異なる可能性がある。低レベルの特徴量は、センサから直接抽出される特徴量、または単純なコンピュータビジョンのアルゴリズムによって得られる特徴量によって表現される(通常、これらの単純な特徴量はピクセルレベルで得られる)。低レベルの特徴量の例として、検出された縁、検出された線、検出された皮膚のピクセル、支配的な色、特定の音の存在、スキャンのタイムスタンプ、スキャンマシンから抽出された信号などが該当する。高いレベルの特徴量は、特定のアルゴリズムを適用した低レベルの特徴量を組み合わせることによって得ることができる。
特定のROI(Region of Interest)から抽出される特徴量の例は、
- 手の有無
- 前景ピクセルの割合
- 指定された閾値を超える所与方向への突起部を有する動きベクトルの割合
- 指定角度範囲内の主要動きベクトルの方向
である。
2つの連続するフレームN1とN2の間の時間区間[N₁, N₂]で生じるアクティビティは、以下に従って、特徴量のセットfi(n)の発展によって特徴付けることができる。

【数7】

ここで、Kはシステムのナレッジベースに記録されたアクティビティの総数を表し、featureSet^μ はActivity^μを記述するの特徴量のセットであり、Naはアクティビティを検出するために考慮されるフレームの数であり、fi(n)は抽出された特徴量の設定値であり、[N₁, N₂]は最初のフレームN₁の時間と最後のフレームN₂の時間の間の時間区間で抽出された連続するフレームの集合を表す。フレーム番号のN₁とN₂は、アクティビティごとに特有である。従って、メタ特徴量ベクトルの計算を実行する前に、活性区間[N₁, N₂]は、モデルによって記憶された活動ごとに繰り返し決定されるべきである。活性区間[N₁, N₂]は、活性区間の検出方法に基づいて決定することができる。実際、この区間は、アクティビティによって決定される特徴量の特定の部分集合に依存する。

【0051】

各特徴量を定義するために推定されるフレーム数は変化する、すなわち、Naは可変であり、言い換えれば、一定ではないことが理解されよう。Naは、人によって異なり、そして実際には、1人の者が単一のアクティビティを繰り返すことによって異なることになる。1人の者に対する各製品のスキャンは、多数の製品をチェックアウトする過程で変化する可能性がある。一定のNaを有するスライディングウィンドウ方式は、ウィンドウサイズがトランザクションに対して最適化されないため、多くのエラーを生成する可能性がある。最適ではないウィンドウサイズは、アクティビティの検出におけるエラーにつながる。

【0052】

ウィンドウサイズを最適化し、それによって検出のメカニズムの効率を改善するために、本明細書では以下の提案をする。
(i) 最適ウィンドウサイズを推定する
(ii) ウィンドウサイズに対して正規化された時間領域の特徴量を定義する

【0053】

＜Naの推定＞
再び、アクティビティを特徴付けるために抽出された特徴量の集合fi(n)を検討する。

【0054】

特徴量の集合fi(n)ごとに、活性化関数が定義される。

【数8】

Riは、各特徴量fiごとにユーザによって定義される規則のセットを表す。Riが真の場合、fi(n)が活性になる。-

【0055】

たとえば、ユーザが定義するルールは次のようにできる。

【数9】

式(i)～(iii)について考えると、「value, value1, value2」は特徴量の範囲を定義する。特徴量fi(n)が0と1との間の値をとるように正規化されると仮定すると、value = 0.5 は、特徴量fi(n)がその最大スパンの半分より低い値をとるときにのみfi(n)を活性化する、という規則を生成するであろう。式(ii)は、value1とvalue2との間の値をとる場合にのみ、特徴量を活性化する。value1およびvalue2のような境界は、標準的な機械学習方法を使用して、または試行錯誤によって、設計プロセスにおいて設定される。

【0056】

各特徴量fiについて、活性化関数 A(fi(n), Ri) は、時間領域を活性区間に分割するために使用される(A関数は区間中1の値を有する)。K個のアクティビティすべてに対する各活性区間は、以下のように定義することができる。

【数10】

【0057】

一例として図4aに示すように、4つの特徴量である特徴量1、特徴量2、特徴量3および特徴量4が考慮される。図4Aは、各トラックが関数A(fi(n), Ri)の発展を表す4つの特徴量トラックを示す。4つの活性区間401、402、403、404が示されている。ギャップ、すなわち、隣接する活性区間の間にある非活性区間405、406、407も示されている。これらのギャップは、システム内のノイズに起因して発生する。

【0058】

第1の活性区間401における特徴量1については、特徴量1が1回検出されている。第2の活性区間402では、特徴量2がより短い時間間隔の間に1回検出されている。特徴量1は、第3の活性区間403または第4の活性区間404においては検出されていない。

【0059】

特徴量2は、第1の活性区間401において1回検出され、第3の活性区間403において再び検出されている。特徴量2は、第2の活性区間402または第4の活性区間404において検出されていない。

【0060】

特徴量3は、第1の活性区間401、第2の活性区間402、および第4の活性区間404で検出され、第3の活性区間403では特徴量3は検出されていない。

【0061】

特徴量4の特徴量トラックを考慮すると、2つの活性区間がある。第1の活性区間401では、特徴量4が2回検出される。特徴量4は404に対して検出される。

【0062】

図4aでは、各アクティビティの活性区間の長さの変化を見ることができる。区間は、通例のチェックアウトアクティビティに通常関連する区間への決定に基づいて、アクティビティの検出のために事前定義された閾値を有するように、事前定義されてもよい。ギャップのサイズを変えることができる。例えば、ギャップ407はギャップ405よりも小さい。

【0063】

小さなギャップまたは非活性区間を排除するために、図4bに示されるように、2つの活性区間がマージされて単一区間になるように区間の「緩和結合」が実行され、特に図4bでマージされるギャップ区間407に関して、活性区間403および404がマージされて単一の活性区間408になる。

【0064】

マージされる区間を決定するために、複数の活性区間ζの間のギャップが、閾値τと比較される。τ(ギャップの閾値)の最適値は、抽出された活性区間のデータベースを使用して決定される。τの値は、その後の分類器の精度を最大にする値として得られる。これは実験によって行われる。緩和結合のために有効なギャップは、閾値(例えば、300ms)よりも小さなギャップであると考えられる。より大きなギャップは、活性区間に含めることができない。閾値は、(任意の既存の方法によって)学習が可能であり、または実験によって見出すことが可能である。

【0065】

各活性区間に対して、メタ特徴ベクトルが図5に示すように定義される。メタ特徴ベクトルは、活性区間中のアクティビティに関する関連情報を、固定サイズのベクトルにカプセル化する。次いで、このベクトルを使用して、アクティビティを検出または分類する。

【0066】

すべての特徴量fiについて、N個の統計的尺度のセットが計算される。統計的尺度は、特徴量fiの項目の値に関数を適用することによって計算される。統計的尺度の例は、（これらに限定されないが、）統計的モーメント(平均値、分散、歪み、尖度など)および順序統計量(最小値、最大値、中央値、四分位数、刈込み平均、絶対偏差の中央値など)である。

【0067】

Y個の特徴量を有する時は、N × Y個の統計的尺度が計算され、活性区間ごとにメタ特徴ベクトルにエンコードされ得る。このメタ特徴量は、アクティビティ検出器の入力を表す。図5に、4つの特徴量を有する特徴量セットに対する統計的尺度のセットの例が示される。メタベクトルは図4に示す各活性区間から形成される。図5に示すように、メタベクトルは、区間内の各特徴量の平均値、区間内の各特徴量の分散、および各特徴量の歪みから形成される。尖度などの追加的な特徴量を組み込んでもよい。

【0068】

次に、判定ユニットは、メタ特徴ベクトルに基づいて、警告を発するべきか否かを決定する。判定ユニットは、決定したメタ特徴ベクトルを、事前定義されたベクトルまたは分類モデルのセットと比較し、その比較に基づいて異常を検出する。最初に、分類器は、教師あり学習プロセスによって得られた数学モデルに基づいて、入力データを、定義された出力カテゴリに分類する。学習プロセスの一部として、数学的モデルに、対応する出力データを得るための入力のペアが提供される。したがって、モデルは、メタ特徴量のセット、ユースケースのセット、およびメタ特徴量とユースケースのセットとの間の対応関係から構成されるコレクションを表し得る。上で概説したようなフィードバックに基づいて、モデルは、モデルの誤差関数を最小化することによって、分類精度を最大化するように調整される。

【0069】

図1の処理ユニットのさらなる詳細を図6に示す。

【0070】

処理ユニット内では、2種類のモデルが分類のために使用される。すなわち、実行モデル、または第1のモデル601とシャドウモデルまたは第2のモデル602とである。上述のようなメタ特徴ベクトルは、実行モデル602、シャドウモデル603、および1つ以上の数のバックアップモデル605a～mに入力される。実行モデル602は、活性判定のために使用されるモデルまたは事前定義されたメタデータベクトルを表す。上記で概説したように、分類の間、このモデルは凍結されており、すなわち、このモデルを変更することができない。

【0071】

システムにおける堅牢性を維持するために、シャドウモデル602が並行して開発され、シャドウモデル602は実行中のモデル判定および操作者またはシステムのフィードバックに基づいている。

【0072】

フィードバックは、検証および分析モジュール603に提供され、このモジュールは以下でさらに説明するように、モデルの交換も担当している。シャドウモデルが判定に影響を与えないことは注目に値する。しかしながら、シャドウモデルは、実行モデルを使用して行われた判定を検証するために使用される。

【0073】

判定を検証するために、シャドウモデルの結果と実行モデルの結果との間で比較が行われる。

【0074】

シャドウモデルが実行モデルを性能で上回る場合、検証、分析、およびモデル交換モジュール603は、シャドウモデルを実行モデルと交換する。シャドウモデルが実行モデルになる。置き換えられる実行モデルは、バックアップモデル605a～mとして保存される。バックアップモデルは、バックアップモデルバッファーに保管されている以前の実行モジュールである。バックアップモデルを以下に概説するように、実行モデルとして復元することができる。検証、分析、およびモデル交換モジュールは、1つ以上のプロセッサによって実装することができる。

【0075】

シャドウモデルの性能はNf回のフィードバックサイクルにわたって評価される。操作者604から検証、分析およびモデル交換モジュールへのフィードバックが受信されるたびに、シャドウモデルは更新され、シャドウモデルおよび実行モデルの性能が評価される。評価は、Nf回のサイクルに対して判定が無効にされた割合に基づく。Nfは、システムの要求精度に応じて変化する。Nfがより少なければ、より速い適応性をもたらすであろう。Nfがより多ければ、速度を犠牲にして、より高い信頼性をもたらすであろう。Nfの値に含まれる例として、(a)より速い適応性のためには、1日から1週間にわたって収集されたフィードバックと等しいと考えることができ、(b)一方で、より高い信頼性のために、1ヶ月にわたって収集されたフィードバックよりも大きな値を選択することができる。

【0076】

性能評価の結果から、3つの別々のケースを検討する。

【0077】

第1のケースでは、実行モデルは活性化したままである。シャドウモデルは、受信したフィードバック(シャドウモデルの訓練セットに追加された活性区間のメタ特徴量)に基づいて更新される。シャドウモデルは、更新された訓練セットを用いて訓練される。

【0078】

第2のケースでは、シャドウモデルの性能が実行モデルの性能を超える場合に、実行モデルをシャドウモデルと交換する。実行モデルはバックアップモデルのバッファに保管され、シャドウモデルは実行モデルになる。

【0079】

第3のケースでは、実行モデルがバックアップモデルに変更される。このことは、バックアップモデルが実行モデルより性能が高い場合に発生する。

【0080】

バックアップモデルは、最後に使用されたメカニズムを使用してバッファに保存される。バックアップモデルを維持することは、照明、時刻などの変化のような小売環境の変化に対処する際に柔軟性をもたらすことが理解されよう。それゆえに、システムは最適化される。分類は最適な点から始まり、最良性能のモデルが使用される。バックアップモデルと実行モデルとの間で切り替える方が、新しいモデルを訓練するよりも容易かつ効率的である。

【0081】

一旦実行モデルが上述のように異常を分類するために使用されると、１つ以上の警告が上述のように送信される。

【0082】

上述した特徴量の組み合わせは、上述したような一貫し複製可能な検出、訓練、及び最適化プロセスを介して、セルフチェックアウト小売環境における異常検出を改善する一貫した更新可能なモデルを提供する。
本発明に関して本明細書で使用される場合、「備える/備えている」という語および「有する/含む」という語は、述べられた特徴量、整数、ステップまたは構成要素の存在を指定するために使用されるが、1つ以上の他の特徴量、整数、ステップ、構成要素またはそれらのグループの存在または追加を排除するものではない。

【0083】

本発明の特定の構成は、明確性のために、別個の実施形態の文脈で説明され、単一の実施形態において組み合わせて提供されてもよいことが理解される。逆に、本発明の様々な特徴は、簡潔性のために、単一の実施形態の文脈で説明され、別々にまたは任意の適切な部分的組み合わせで提供されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】