特許 7297073 セルフチェックアウト端末でスキャンの不規則性を検出するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-15

(45)【発行日】2023-06-23

(54)【発明の名称】セルフチェックアウト端末でスキャンの不規則性を検出するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230616BHJP

   G06T 7/90 20170101ALI20230616BHJP

   G07G 1/00 20060101ALI20230616BHJP

   G07G 1/12 20060101ALI20230616BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/90 C

G07G1/00 311D

G07G1/12 341G

G07G1/12 301E

【請求項の数】 20

(21)【出願番号】P 2021542467

(86)(22)【出願日】2019-10-18

(65)【公表番号】

(43)【公表日】2022-03-22

(86)【国際出願番号】 IB2019058912

(87)【国際公開番号】W WO2020152517

(87)【国際公開日】2020-07-30

【審査請求日】2021-09-15

(31)【優先権主張番号】16/254,760

(32)【優先日】2019-01-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518072210

【氏名又は名称】エバーシーン リミテッド

【氏名又は名称原語表記】Ｅｖｅｒｓｅｅｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】４ｔｈ Ｆｌｏｏｒ， Ｔｈｅ Ａｔｒｉｕｍ， Ｂｌａｃｋｐｏｏｌ Ｒｅｔａｉｌ Ｐａｒｋ， Ｂｌａｃｋｐｏｏｌ， Ｃｏｒｋ， Ｉｒｅｌａｎｄ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】アンドレイ プリコチ

(72)【発明者】

【氏名】デイビッド チプリアン

(72)【発明者】

【氏名】コスミン セルナザヌ－グラヴァン

(72)【発明者】

【氏名】ダン ペスカル

【審査官】佐藤 実

(56)【参考文献】

【文献】米国特許出願公開第２０１０／００５９５８９（ＵＳ，Ａ１）

【文献】特開平１０－０７４２８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０７Ｇ １／００ － １／１２

(57)【特許請求の範囲】

【請求項1】

スキャナーを使用するユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出するためのシステムであって、
少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信するように構成された画像受信モジュールであり、前記スキャンゾーンは、前記スキャナーの視野内の領域である、画像受信モジュールと、
前記ビデオストリームの各画像フレームを処理して、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するように構成された画像処理モジュールであり、検出された前記視覚的スキャン間隔は、受信した前記ビデオストリームの時間間隔内の一連の画像フレームであり、当該時間間隔において、当該一連の画像フレーム内で、前記スキャナーでスキャンされる前記スキャンゾーンにおいて、前記アイテムが識別されている、画像処理モジュールと、
決定モジュールであり、
スキャンアクションを含む処理された視覚的スキャン間隔を生成するための事前定義されたルールのセットに基づいて検出された前記視覚的スキャン間隔の各々を処理し、前記処理された視覚的スキャン間隔は、前記視覚的スキャン間隔の前記１つまたは複数の画像フレームの計算されたガラス動きカバレッジに少なくとも基づいて生成され、
前記処理された視覚的スキャン間隔におけるスキャン中に識別されたアイテムが対応する時間間隔中に前記スキャナーによって生成されたアイテムのリストに存在しないとき、チェックアウトプロセスにおけるスキャンの不規則性を検出し、
ユーザーコンピューティングデバイスで前記スキャンの不規則性に関するアラートを提供する
ように構成された。決定モジュールと、
を備えた、システム。

【請求項2】

前記画像処理モジュールは、
現在の画像フレーム内の人間の手の存在の検出に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出するように構成された肌色検出器であり、前記人間の手の存在は前の画像フレームに対する前記現在の画像フレーム内の肌ピクセルのパーセンテージに基づいて検出される、肌色検出器と、
前記現在の画像フレームにおける前記人間の手の動きに基づいて前記現在の画像フレームにおける前記スキャンアクションを検出するように構成された動き検出器であり、前記動きは前記前の画像フレームに対する前記現在の画像フレーム内の動きピクセルのパーセンテージに基づいて検出される、動き検出器と、
前記人間の手の物体の存在に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出するように構成されたキーポイント検出器であり、前記物体の前記存在は前記スキャンゾーン内のキーポイントの数に基づいて決定され、前記スキャンゾーン内に存在するキーポイントの数の時間的変化に関する閾値が、前記視覚的スキャン間隔の推定値を提供し、前記現在の画像フレームにおいて前記スキャンアクションが発見される場合、当該キーポイント検出器が前記現在の画像フレームについて視覚的スキャン間隔を検出する、キーポイント検出器と、
を備えた、請求項１に記載のシステム。

【請求項3】

前記決定モジュールは、前記事前定義されたルールのセットのうちの第１の事前定義されたルールに基づいて事前定義されたスキャン間隔の範囲を設定するように構成され、前記決定モジュールは、前記視覚的スキャン間隔の前記事前定義された範囲の外にある前記検出された視覚的スキャン間隔を無効化する、請求項１に記載のシステム。

【請求項4】

前記決定モジュールは、前記事前定義されたルールのセットのうちの第２の事前定義されたルールに基づいて事前定義された閾値距離を設定するように構成され、前記決定モジュールは、２つの連続する視覚的スキャン間隔の間の距離が前記事前定義された閾値距離よりも小さい場合に、前記２つの連続する視覚的スキャン間隔をマージする、請求項１に記載のシステム。

【請求項5】

前記決定モジュールは、前記事前定義されたルールのセットのうちの第３の事前定義されたルールに基づいて、視覚的スキャン間隔を処理する際に、前記ビデオカメラと前記スキャナーとの間の同期遅延を考慮するように構成される、請求項１に記載のシステム。

【請求項6】

前記ガラス動きカバレッジは、前記スキャンゾーンのガラス領域を描写するフレームの数と前記ガラス領域以外の前景を有するフレームの数との間の比率である、請求項１に記載のシステム。

【請求項7】

前記決定モジュールは、前記事前定義されたルールのセットのうちの第５の事前定義されたルールに基づいて、対応する画像フレームにおいて前景ピクセルに対する肌ピクセルのパーセンテージに基づいて、検出された前記視覚的スキャン間隔を検証するように構成される、請求項１に記載のシステム。

【請求項8】

前記決定モジュールは、前記事前定義されたルールのセットのうちの第６の事前定義されたルールに基づいて、対応する画像フレームにおいてキーポイントの数がキーポイント閾値より小さい場合に検出された前記視覚的スキャン間隔を無効化するように構成される、請求項１に記載のシステム。

【請求項9】

スキャナーを使用するユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出するための方法であって、
少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信することであり、前記スキャンゾーンは、前記スキャナーの視野内の領域である、ことと、
前記ビデオストリームの各画像フレームを処理して、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出することであり、検出された前記視覚的スキャン間隔は、受信した前記ビデオストリームの時間間隔内の一連の画像フレームであり、当該時間間隔において、当該一連の画像フレーム内で、前記スキャナーでスキャンされる前記スキャンゾーンにおいて、前記アイテムが識別されている、ことと、
スキャンアクションを含む処理された視覚的スキャン間隔を生成するための事前定義されたルールのセットに基づいて検出された前記視覚的スキャン間隔の各々を処理することであり、前記処理された視覚的スキャン間隔は、前記視覚的スキャン間隔の前記１つまたは複数の画像フレームの計算されたガラス動きカバレッジに基づいて生成される、ことと、
前記処理された視覚的スキャン間隔におけるスキャン中に識別されたアイテムが対応する時間間隔中に前記スキャナーによって生成されたアイテムのリストに存在しないとき、チェックアウトプロセスにおけるスキャンの不規則性を検出することと、
ユーザーコンピューティングデバイスで前記スキャンの不規則性に関するアラートを提供することと
を含む、方法。

【請求項10】

前記ビデオストリームの各画像フレームを前記処理することは、
現在の画像フレーム内の人間の手の存在に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出することであり、前記人間の手の存在は前の画像フレームに対する前記現在の画像フレーム内の肌ピクセルのパーセンテージに基づいて検出される、ことと、
前記現在の画像フレームにおける前記人間の手の動きに基づいて前記現在の画像フレームにおける前記スキャンアクションを検出することであり、前記動きは前記前の画像フレームに対する前記現在の画像フレーム内の動きピクセルのパーセンテージに基づいて検出される、ことと、
前記人間の手の物体の存在に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出することであり、前記物体の前記存在は前記スキャンゾーン内のキーポイントの数に基づいて決定され、前記スキャンゾーン内に存在するキーポイントの数の時間的変化に関する閾値が、前記視覚的スキャン間隔の推定値を提供し、前記現在の画像フレームにおいて前記スキャンアクションが発見される場合、キーポイント検出器が前記現在の画像フレームについて視覚的スキャン間隔を検出する、ことと、
を含む、請求項９に記載の方法。

【請求項11】

前記事前定義されたルールのセットのうちの第１の事前定義されたルールに基づいて事前定義されたスキャン間隔の範囲を設定することであり、前記スキャン間隔の前記事前定義された範囲の外にある検出された前記視覚的スキャン間隔が無効化されること、をさらに含む請求項９に記載の方法。

【請求項12】

２つの連続する視覚的スキャン間隔の間の距離が事前定義された閾値距離よりも小さい場合に、前記事前定義されたルールのセットのうちの前記２つの連続する視覚的スキャン間隔をマージする第２の事前定義されたルールに基づいて前記事前定義された閾値距離を設定すること、をさらに含む請求項９に記載の方法。

【請求項13】

前記事前定義されたルールのセットのうちの第３の事前定義されたルールに基づいて、視覚的スキャン間隔を処理する際に、前記ビデオカメラと前記スキャナーとの間の同期遅延を考慮すること、をさらに含む請求項９に記載の方法。

【請求項14】

前記ガラス動きカバレッジは、前記スキャンゾーンのガラス領域を描写するフレームの数と前記ガラス領域以外の前景を有するフレームの数との間の比率である、請求項９に記載の方法。

【請求項15】

前記事前定義されたルールのセットのうちの第５の事前定義されたルールに基づいて、対応する画像フレームにおいて前景ピクセルに対する肌ピクセルのパーセンテージに基づいて、検出された前記視覚的スキャン間隔を検証するように構成される、をさらに含む請求項９に記載の方法。

【請求項16】

前記事前定義されたルールのセットのうちの第６の事前定義されたルールに基づいて、対応する画像フレームにおいてキーポイントの数がキーポイント閾値より小さい場合に検出された前記視覚的スキャン間隔を無効化すること、をさらに含む請求項９に記載の方法。

【請求項17】

プログラムを記憶した非一時的コンピュータ可読記録媒体であって、コンピュータのプロセッサによって実行されるときに前記プログラムは、前記プロセッサに、
スキャナーを使用するユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出させるものであり、前記プログラムは、前記プロセッサに、
少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信させ、前記スキャンゾーンは、前記スキャナーの視野内の領域であり、
１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するために前記ビデオストリームの各画像フレームを処理させ、検出された前記視覚的スキャン間隔は、受信した前記ビデオストリームの時間間隔内の一連の画像フレームであり、当該時間間隔において、当該一連の画像フレーム内で、前記スキャナーでスキャンされる前記スキャンゾーンにおいて、前記アイテムが識別されており、
スキャンアクションを含む処理された視覚的スキャン間隔を生成するための事前定義されたルールのセットに基づいて検出された前記視覚的スキャン間隔の各々を処理させ、前記処理された視覚的スキャン間隔は、前記視覚的スキャン間隔の前記１つまたは複数の画像フレームの計算されたガラス動きカバレッジに少なくとも基づいて生成され、
前記処理された視覚的スキャン間隔におけるスキャン中に識別されたアイテムが対応する時間間隔中に前記スキャナーによって生成されたアイテムのリストに存在しないとき、チェックアウトプロセスにおけるスキャンの不規則性を検出させ、
ユーザーコンピューティングデバイスで前記スキャンの不規則性に関するアラートを提供させる、非一時的コンピュータ可読記録媒体。

【請求項18】

前記プロセッサによって実行されるときに前記プログラムは、前記プロセッサに、
現在の画像フレーム内の人間の手の存在に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出させ、前記人間の手の存在は前の画像フレームに対する前記現在の画像フレーム内の肌ピクセルのパーセンテージに基づいて検出され、
前記現在の画像フレームにおける前記人間の手の動きに基づいて前記現在の画像フレームにおける前記スキャンアクションを検出させ、前記動きは前記前の画像フレームに対する前記現在の画像フレーム内の動きピクセルのパーセンテージに基づいて検出され、
前記人間の手の物体の存在に基づいて前記現在の画像フレームにおける前記スキャンアクションを検出させ、前記物体の前記存在は前記スキャンゾーン内のキーポイントの数に基づいて決定され、前記スキャンゾーン内に存在するキーポイントの数の時間的変化に関する閾値が、前記視覚的スキャン間隔の推定値を提供し、前記現在の画像フレームにおいて前記スキャンアクションが発見される場合、キーポイント検出器が前記現在の画像フレームについて視覚的スキャン間隔を検出する、請求項１７に記載の非一時的コンピュータ可読記録媒体。

【請求項19】

前記プロセッサによって実行されるときに前記プログラムは、前記プロセッサに、
第１の事前定義されたルールに基づいて事前定義されたスキャン間隔の範囲を設定させ、決定モジュールが前記スキャン間隔の前記事前定義された範囲の外にある検出された前記視覚的スキャン間隔を無効化し、
２つの連続する視覚的スキャン間隔の間の距離が事前定義された閾値距離よりも小さい場合に、前記２つの連続する視覚的スキャン間隔をマージする第２の事前定義されたルールに基づいて前記事前定義された閾値距離を設定させ、
第３の事前定義されたルールに基づいて、視覚的スキャン間隔を処理する際に、前記ビデオカメラと前記スキャナーとの間の同期遅延を考慮させ、
第５の事前定義されたルールに基づいて、対応する画像フレームにおいて前景ピクセルに対する肌ピクセルのパーセンテージに基づいて、検出された視覚的スキャン間隔を検証させ、
第６の事前定義されたルールに基づいて、対応する画像フレームにおいてキーポイントの数がキーポイント閾値より小さい場合に検出された視覚的スキャン間隔を無効化させる、請求項１７に記載の非一時的コンピュータ可読記録媒体。

【請求項20】

前記計算されたガラス動きカバレッジは、前記スキャンゾーンのガラス領域を描写するフレームの数と前記ガラス領域以外の前景を有するフレームの数との間の比率である、請求項１７に記載の非一時的コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、小売店のセルフチェックアウト端末、より具体的には、視覚的スキャン検出にスキャンの不規則性がある場合にアラートを生成するシステムに関する。

【背景技術】

【0002】

セルフチェックアウトマシンは、顧客が小売業者からの購入を処理するための仕組みを提供する。これらは、従来のレジ係が配置されたチェックアウトの代替手段である。顧客は、アイテムに対してスキャンを行いおよび支払いを適用することにより、レジ係の仕事を自分で実行する。通常のセルフチェックアウトシステムでは、顧客は各アイテムをスキャナーでスキャンしてから、必要な支払いを行う必要がある。

【0003】

しかし、顧客は、セルフサービスのチェックアウト端末の操作に関するトレーニングをほとんどまたはまったく受けていないことがあり得、アイテムのチェックアウト時にエラーを生じさせることがあり得る。顧客は、スキャン中に意図せずに一部のアイテムを見逃したり、必要な支払いを行わずに店を出たりすることがあり得る。さらに、万引きは、セルフチェックアウトストアに関連付けられた大きな欠点である。たとえば、顧客が、意図的に一部のアイテムをスキャンせず、スキャンされていないアイテムをショッピングカートに入れたり、全額を支払わずに店を出たりすることがあり得る。その結果、セルフチェックアウトストアは、巨額の損失を被り得る。 したがって、現在のセルフチェックアウトストアは、盗難や商品の不正な持ち出しを防ぐために、依然として多数の人員またはストアオペレーターが必要なままであり得る。

【0004】

したがって、前述の議論に照らして、セルフチェックアウトストアにおけるスキャンの不規則性を検出し、ユーザーの買い物かごに存在する製品とスキャナーによって生成されたアイテムのスキャンされたリストとの間に不一致があるときにアラートを生成する方法およびシステムであり、既存のセルフチェックアウトシステムに関連する前述の欠点を克服する方法およびシステムが必要である。

【発明の概要】

【0005】

本開示の第１の態様によれば、小売店でのチェックアウトプロセス中に、ユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出するためのシステムが提供される。システムは、少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信するように構成された画像受信モジュールを含み得、スキャンゾーンは、小売店のスキャナーの視野内の領域である。システムは、ビデオストリームの各画像フレームを処理して、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するように構成された画像処理モジュールをさらに含み得、視覚的スキャン間隔は、スキャナーでスキャンするためのスキャンゾーンにおいてアイテムが識別される時間間隔である。システムは、事前定義されたルールのセットに基づいて検出された各視覚的スキャン間隔を処理するように構成され、処理された視覚的スキャン間隔は有効なスキャンアクションを含み、有効なスキャンアクションはアイテムをスキャンするために実行されるユーザーアクションであり、チェックアウトプロセスにおけるスキャンの不規則性を検出するように構成され、処理されたビジュアルスキャン間隔でスキャンするために識別されたアイテムが対応する間隔中にスキャナーによって生成されたスキャンされたアイテムのリストに存在しない場合にスキャンの不規則性は処発生し、ユーザーコンピューティングデバイスでスキャンの不規則性に関するアラートを提供するように構成された決定モジュールをさらに含み得る。

【0006】

本開示の第２の態様によれば、小売店でのチェックアウトプロセス中に、ユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出するための方法が提供される。方法は、少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信することを含み得、スキャンゾーンは、小売店のスキャナーの視野内の領域である。方法は、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するためにビデオストリームの各画像フレームを処理することをさらに含み得、視覚的スキャン間隔は、スキャナーでスキャンするためのスキャンゾーンにおいてアイテムが識別される時間間隔である。この方法は、事前定義されたルールのセットに基づいて検出された各視覚的スキャン間隔を処理することをさらに含み得、処理された視覚的スキャン間隔は有効なスキャンアクションを含み、有効なスキャンアクションはアイテムをスキャンするために実行されるユーザーアクションである。この方法は、チェックアウトプロセスにおけるスキャンの不規則性を検出することをさらに含み得、処理されたビジュアルスキャン間隔でスキャンするために識別されたアイテムが対応する間隔中にスキャナーによって生成されたスキャンされたアイテムのリストに存在しない場合にスキャンの不規則性は処発生する。この方法は、ユーザーコンピューティングデバイスでスキャンの不規則性に関するアラートを提供することをさらに含み得る。

【0007】

本開示の第３の態様によれば、小売店でのチェックアウトプロセス中に、ユーザーによる１つまたは複数のアイテムのスキャンの最中におけるスキャンの不規則性を検出するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、一連の命令を含み、プロセッサによって実行されるときの一連の命令は、プロセッサに、少なくとも１つのビデオカメラからリアルタイムでスキャンゾーンのビデオストリームを受信させ、スキャンゾーンは、小売店のスキャナーの視野内の領域であり、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するためにビデオストリームの各画像フレームを処理させ、視覚的スキャン間隔は、スキャナーでスキャンするためのスキャンゾーンにおいてアイテムが識別される時間間隔であり、事前定義されたルールのセットに基づいて検出された各視覚的スキャン間隔を処理させ、処理された視覚的スキャン間隔は有効なスキャンアクションを含み、有効なスキャンアクションはアイテムをスキャンするために実行されるユーザーアクションであり、チェックアウトプロセスにおけるスキャンの不規則性を検出させ、処理されたビジュアルスキャン間隔でスキャンするために識別されたアイテムが対応する間隔中にスキャナーによって生成されたスキャンされたアイテムのリストに存在しない場合にスキャンの不規則性は処発生し、ユーザーコンピューティングデバイスでスキャンの不規則性に関するアラートを提供させる。

【0008】

本開示の様々な実施形態は、セルフチェックアウトストアにおけるスキャンの不規則性を検出し、ユーザーの買い物かごに存在する製品とスキャナーによって生成されたアイテムのスキャンされたリストとの間に不一致がある場合にアラートを生成するシステムおよび方法を提供する。

【0009】

本開示の特徴は、添付の特許請求の範囲によって定義される通りの本開示の範囲から外れることなく、さまざまな組合せにおいて組み合わせられる余地があることが認められるであろう。

【0010】

以上の概要、ならびに例証的な実施形態の以下の詳細な説明は、添付の図面と併せて読まれた場合によりよく理解される。本開示を例証する目的のために、本開示の例示的な構造が、図面において示されている。しかしながら、本開示は、本明細書で開示される特定の方法および手段には限定されない。その上、当業者は、図面が縮尺通りではないことを理解するであろう。可能であれば常に、同様の要素は、同一の番号によって示されている。

【0011】

本開示の実施形態は、以下の図を参照して、例としてのみ説明される。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示の様々な実施形態を実施することができる小売環境を示す。

【図2】図２は、本開示の一実施形態による、小売環境における視覚的スキャン検出にスキャンの不規則性があるときにアラートを生成するためのシステムを示す。

【図3】図３は、本開示の一実施形態による、小売環境における視覚的スキャン検出にスキャンの不規則性があるときにアラートを生成するための方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

添付の図面において、下線のある番号は、下線のある番号が位置付けられるアイテム、または下線のある番号が隣接しているアイテムを表すために採用される。下線のない番号は、下線のない番号をアイテムにリンクする線によって識別されるアイテムに関する。番号は、下線がなく、関連付けられる矢印によって付随された場合に、下線のない番号は、矢印が向いている一般的なアイテムを識別するために使用される。

【0014】

以下の詳細な説明は、本開示の実施形態およびそれらが実装されることが可能であるやり方を例証する。本開示を実施するいくつかのモードが開示されているが、当業者は、本開示を実施または実践するための他の実施形態も可能であることを認識するであろう。

【0015】

図１を参照すると、本開示の様々な実施形態を実施することができる小売環境１００が示されている。小売環境１００は、第１から第３のセルフチェックアウト端末１０２ａから１０２ｃ（以下、まとめてセルフチェックアウト端末１０２と呼ぶ）と、通信ネットワーク１０６を介して互いに通信可能に結合された中央制御ユニット１０４とを含む。

【0016】

通信ネットワーク１０６は、本開示の範囲を制限することなく、任意の適切な有線ネットワーク、無線ネットワーク、これらの組み合わせ、または任意の他の従来のネットワークとし得る。いくつかの例は、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ接続、インターネット接続、ポイントツーポイント接続、または他のネットワーク接続およびそれらの組み合わせを含んでもよい。一例では、ネットワークは、モバイル通信ネットワーク、例えば、２Ｇ、３Ｇ、４Ｇ、または５Ｇモバイル通信ネットワークを含み得る。通信ネットワークは、１つまたは複数の他のネットワークに結合することができ、それにより、より多くのデバイス間の結合を提供する。これは、たとえば、ネットワークがインターネットを介して相互に結合されている場合とすることができる。

【0017】

各セルフチェックアウト端末１０２ａ～１０２ｃ、例えば、第１のチェックアウト端末１０２ａは、ユーザーが１つまたは複数のアイテムを自分でスキャンできるようにするための第１のスキャナー１０８と、ユーザーが１つまたは複数のアイテムの必要な選択と支払いを可能にするための第１のユーザーディスプレイ１１０とを備えている。一例では、第１のスキャナー１０８は、アイテムのバーコードをスキャンしてそのアイテムを識別するためのバーコードスキャナーであり得る。好ましくは、第１のスキャナー１０８は、スキャンゾーンに配置されたアイテムをスキャンするための、スーパーマーケットおよび他の小売店のチェックアウトカウンター用に設計された固定壁またはテーブルマウントスキャナーである。本開示の文脈において、スキャンゾーンは、ユーザーがそれらのアイテムを購入する目的でスキャンするためにアイテムを持ち出す、第１のスキャナー１０８の前の領域である。

【0018】

さらに、各セルフチェックアウト端１０２ａ～１０２ｃは、各セルフチェックアウト端末１０２ａ～１０２ｃのスキャンゾーンをキャプチャするための１つまたは複数のオーバーヘッドビデオカメラによって囲まれ得る。例えば、第１のセルフチェックアウト端末１０２ａは、第１のビデオカメラ１１２によって囲まれる。第１のビデオカメラ１１２は、ユーザーによってスキャンのために持ち出されたアイテムと第１のスキャナー１０８によってスキャンされた実際のアイテムとの不一致によるスキャンの不規則性の検出を容易にするために、スキャンゾーンのビデオを連続的にキャプチャするように構成される。

【0019】

第１のユーザーディスプレイ１１０は、１つまたは複数の命令を受信して表示するように構成されたタッチベースのディスプレイであり得る。いくつかの例は、これらに限定されないが、液晶ディスプレイ（ＬＣＤ）デバイス、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ベースのディスプレイデバイス、およびマイクロＯＬＥＤベースのディスプレイデバイスを含み得る。

【0020】

一例では、第１のチェックアウト端末１０２ａは、第１のスキャナー１０８による１つまたは複数のアイテムのスキャンを記録するため、および１つまたは複数のスキャンされたアイテムの支払いについて第１のユーザーディスプレイ１１０に指示を提供するために、第１のスキャナー１０８および第１のユーザーディスプレイ１０８と通信可能に結合されたプロセッサ（不図示）を含む。本開示を通して、「プロセッサ」という用語は、それぞれのセルフチェックアウト端末１０２ａから１０２ｃを駆動する命令に応答して処理するように動作可能な計算要素に関する。任意選択で、プロセッサは、限定されないが、マイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、または他の任意のタイプの処理回路を含む。さらに、「プロセッサ」という用語は、１つまたは複数の個々のプロセッサ、処理デバイス、およびそれらに関連する様々な要素を指し得る。

【0021】

第２および第３のチェックアウト端子１０２ｂおよび１０２ｃのそれぞれは、構造および機能の点で第１のチェックアウト端子１０２ａと同様であり、したがって、これらは、簡潔にするために、本明細書では再度説明していない。

【0022】

中央制御ユニット１０４は、各セルフチェックアウト端末１０２ａから１０２ｃに、それらの動作を制御および管理するために、通信可能に結合されている。本開示の一実施形態では、各セルフチェックアウト端末１０２ａ～１０２ｃのスキャナーは、さらなる処理のために、スキャンされたコンテンツを中央制御ユニット１０４のメモリに記録する中央制御ユニット１０４に通信可能に結合されている。さらに、本開示の別の実施形態では、小売店環境１００に存在するビデオカメラは、中央制御ユニット１０４に通信可能に結合されている。

【0023】

中央制御ユニット１０４は、スキャンゾーンでスキャンするために持ち出されたアイテムと小売環１００内の対応するスキャナーによってスキャンされた実際のアイテムとの不一致を検出するためのシステム１１４を含み得る。本開示全体を通して、「システム１１４」という用語は、情報を格納、処理、および／または共有するように構成されたプログラマブルコンポーネントおよび／または非プログラマブルコンポーネントを含む構造および／またはモジュールを指し得る。オプションで、システム１１４は、さまざまな計算タスクを実行するために、情報を強化することができる物理的または仮想的な計算エンティティの任意の配置を含む。例において、システム１１４は、情報を記憶し、処理し、および／または他のコンピューティングコンポーネントと共有するために、メモリ、プロセッサ、ネットワークアダプタなどのコンポーネントを含み得る。

【0024】

図２は、本開示の一実施形態による、小売環境１００における視覚的スキャン検出にスキャンの不規則性があるときにアラートを生成するためのシステム１１４を示す。本開示の文脈において、「スキャンの不規則性」は、ユーザーによってスキャンゾーンにおけるスキャンのために持ち込まれたアイテムと対応するスキャナーによって生成されたスキャンされたアイテムのリストとの間に不一致がある場合に発生する。システム１１４は、制御ユニット１０４、または各セルフチェックアウト端子１０２、あるいはその両方に実装され得る。

【0025】

システム１１４は、小売環境１００の１つまたは複数のビデオカメラによってキャプチャされた画像を受信するための画像受信モジュール２０１、キャプチャされた画像を処理して視覚的スキャン間隔を検出するための画像処理モジュール２０２、および有効なスキャンを検出し、スキャンのために持ち出されたアイテムと小売環境１００の対応するスキャナーによってスキャンされた実際のアイテムとの間に不一致が生じた場合にアラートを生成するための決定モジュール２０４を含む。

【0026】

図１に戻ると、「スキャンアクション」は、ユーザーが第１のスキャナー１０８のスキャンゾーンでスキャンするためにアイテムを持ち出すときのユーザーアクションとみなされるが、第１のスキャナー１０８によって正常に走査される場合とされない場合があり得る。一例では、ユーザーは、第１のスキャナー１０８のスキャンゾーンにアイテムを持ち出しているかもしれないが、ユーザーは、アイテムのバーコードがバーコードスキャナー１０８に見えないようにアイテムを保持しているかもしれない。そのような場合、ユーザーは、スキャンアクションを実行した後にアイテムをショッピングバッグに入れるかもしれないが、実際には、第１のスキャナー１０８によってスキャンされていないかもしれず、ユーザーはそのアイテムの請求を受けないかもしれない。したがって、ビデオカメラによってキャプチャされた画像フレーム内のスキャンアクションの検出は、小売環境１００においてスキャナーによってスキャンされたアイテムにおける１つまたは複数のスキャンの不規則性を決定する上で重要である。

【0027】

再び図２を参照すると、画像処理モジュール２０２は、画像受信モジュール２０１によって受信された現在の画像フレームから、現在の画像フレーム内でのスキャンアクションの発生を示す特徴を抽出するために使用される１つまたは複数の特徴抽出モジュールを含む。特徴は、検出されるアクションに応じて設計され得る。本開示の文脈において、画像処理モジュール２０２は、肌色検出器２０６、動き検出器２０８、およびキーポイント検出器２１０を含む。

【0028】

肌色検出器２０６は、スキャンアクションに関与する手があるかどうかを決定することを意図して、前の画像フレームに対する現在の画像フレーム内の肌ピクセルのパーセンテージを抽出するように構成されている。本開示の文脈において、画像ピクセルが人間の肌の色に類似した色を有することが見出された場合、画像ピクセルは肌ピクセルとしてラベル付けされる。製品をスキャンしている間、通常、スキャンゾーンに顧客の手が存在するため、現在の画像フレームの肌ピクセルのパーセンテージが増加は、スキャンアクションを示し得る。肌色検出器２０６は、現在の画像フレームを入力として受け取り、現在の画像フレームで肌色が検出されているか検出されていないかどうかを示すバイナリマップを生成する。本開示の一実施形態では、前景ピクセルに対する肌ピクセルのパーセンテージは、各画像フレームにおいて事前定義された肌ピクセルの閾値よりも小さくなければならない。これは、スキャン領域での空の手の通過による誤検知を制限するために行われる。

【0029】

動き検出器２０８はスキャンアクションに関与する動きがあるかどうかを決定することを意図して、前の画像フレームに対する現在の画像フレーム内の動きピクセルのパーセンテージを抽出するように構成されている。本開示の文脈において、現在の画像ピクセルは、前の画像ピクセルに対して現在の画像ピクセルで動きが検出された場合、動きピクセルとしてラベル付けされる。製品をスキャンしている間、通常、顧客の手がスキャンゾーンを移動するため、ビデオフレームで検出された動きは、スキャンアクションを示すことができる。本開示の一実施形態では、動き検出器２０４は、入力として現在の画像フレームを受け取り、動きが現在の画像フレームで検出されているか検出されていないかどうかを示すバイナリマップを生成する。

【0030】

キーポイント検出器２１０は、スキャンゾーン内の物体の存在を示すように構成されている。製品のスキャン中、通常、新しいオブジェクトがスキャンゾーンに入ると、シーンに存在する新しい幾何学的形状（製品）により、および製品を覆うテクスチャにより、キーポイントの数が増加することになり、それらは新しい角点を作成できる。本開示の一実施形態では、キーポイント検出器２０８は、入力として現在の画像フレームを受け取り、出力としてキーポイントのセットを生成する。通常、多数のキーポイントがスキャンアクションに関連付けられる。スキャンゾーンに存在するキーポイントの数の時間的変化に関する閾値は、視覚的スキャン間隔の推定値を提供する。本開示の文脈において、製品の視覚的スキャン間隔は、製品がスキャンゾーンに存在した時間間隔である。たとえば、製品がスキャンゾーンに午前１０時００分から午前１０時００分０２秒まで存在した場合、製品の視覚的スキャン間隔は２秒である。

【0031】

システム１１４は、検出された視覚的スキャン間隔が有効であるか有効でないかどうか、すなわちそれがスキャンアクションを含むか含まないかどうか、を決定するように構成された決定モジュール２０４をさらに含む。決定モジュール２０４は、検出されたスキャン間隔を正則化し、特定の同期遅延に対処し、最終的な誤分類を防ぐために、１つまたは複数の事前定義された規則に基づいて、検出された視覚的スキャン間隔がスキャンアクションを含むか含まないかどうかを決定するようにさらに構成されている。

【0032】

第１の事前定義された規則によれば、決定モジュール２０４は、事前定義されたスキャン間隔の範囲を設定し、事前定義された閾値サイズに関してして小さすぎる、または事前定義された閾値サイズに関して大きすぎる視覚的スキャン間隔を破棄するように構成される。本開示の一実施形態では、事前定義された閾値サイズは、人間の手の通常の速度に対応し得る。

【0033】

第２の事前定義された規則よれば、決定モジュール２０４は、連続する視覚的スキャン間隔の間に事前定義された閾値第１の距離を設定し、事前定義された閾値第１の距離に関して近い視覚的スキャン間隔をマージするように構成される。例では、事前定義された閾値距離が2秒で、１番目の視覚的スキャン間隔が午前１０時００分から午前１０時００分０２秒までで、２番目の視覚的スキャン間隔が午前１０時００分０３秒から１０時００分０４秒までである場合、両方の視覚的スキャン間隔を組み合わせられ得る、そして組み合わせられた視覚的スキャン間隔が午前１０時００分から午前１０時００分０４秒まで形成される。第３の事前定義された規則よれば、決定モジュール２０４は、スキャナーとビデオカメラとの間の同期遅延に対処するために、スキャンされた製品リストからのアイテムをスキャン間隔から特定の距離に保つように構成される。距離は、視覚的スキャン間隔の境界と、スキャンされたアイテムのタイムスタンプによって指定された瞬間との間の時間である。決定モジュール２０４は、２つの連続するスキャン間の休止よりも小さい小さな非同期化を修正するように構成されている。しばしば生じ得るのは、ネットワークの待ち時間が長いため、スキャンしたアイテムに関する情報が遅れ得ることである。例では、アイテムは実際には午前１０時０２分にスキャンされたかもしれないが、待ち時間が長いため、アイテムのスキャンのタイムスタンプは午前１０時０３分として記録され得る。したがって、決定モジュール２０４は、この小さな遅延を考慮して、検出された視覚的スキャン間隔を検証／無効化し、スキャナーとカメラとの間の同期を維持する。

【0034】

第４の事前定義された規則によれば、決定モジュール２０４は、対応するガラス動きカバレッジの計算に基づいて、検出された視覚的スキャン間隔を検証／無効化するように構成される。本開示の文脈において、ガラス動きカバレッジは、スキャンゾーンのガラス領域を描写するフレームの数と、スキャンゾーンにおけるガラス領域以外の前景を有するフレームの数との間の比率である。ガラス領域は、スキャナーを覆うガラスを含むスキャンゾーン内の領域である。ガラス動きカバレッジが計算されるフレーム数は、２５ｆｐｓのビデオストリームで約１０フレームになる可能性がある。これは、スキャンの意図のない、スキャンゾーン内のオブジェクトの通過による誤検知を排除するために行われますが。スキャンゾーン内で、しかしガラス領域の外側で、動きを起こすことは可能である（たとえば、頭部がスキャナー領域の一部を通過するなど）。

【0035】

第５の事前定義された規則によれば、決定モジュール２０４は、前景ピクセルに対する肌ピクセルのパーセンテージに基づいて、検出された視覚的スキャン間隔を検証／無効化するように構成される。決定モジュール２０４は、肌ピクセルのパーセンテージが、事前定義された肌ピクセル閾値よりも大きい場合、スキャンゾーン内の空の手の存在を示すので、視覚的スキャン間隔における視覚スキャンの不在を検出し得る。また、顧客がスキャンの意図なしでスキャンゾーンを操作したことを示すこともある。したがって、決定モジュール２０４は、対応する視覚的スキャン間隔を無効にし、視覚的スキャン検出におけるスキャンの不規則性を決定するためにそれを使用しない。

【0036】

第６の事前定義された規則によれば、決定モジュール２０４は、対応するキーポイントの数の増加がキーポイント閾値よりも小さい場合、それがノイズによるポイントのキーの数の増加およびノイズ関連の誤検出を示すので、検出された視覚的スキャン間隔を無効にするように構成される。決定モジュール２０４は、対応する視覚的スキャン間隔を無効にし、視覚的スキャン検出におけるスキャンの不規則性を決定するためにそれを使用しない。

【0037】

決定モジュール２０４は、検証された視覚的スキャン間隔ごとにスキャンの不規則性を検出し、スキャンの不規則性が検出されたときにアラートを生成するように構成される。例えば、決定モジュール２０４は、検証された視覚的スキャン間隔のアイテムを、その間隔について生成されたスキャンされたアイテムのリストと比較する。検証された視覚的スキャン間隔のアイテムが、その間隔でスキャナーによってスキャンされたアイテムのリストに見つからない場合、決定モジュール２０４は、視覚スキャン検出にスキャンの不規則性があったことを示唆する。たとえば、ビデオカメラが、製品がスキャンゾーンに午前１０時００分から午前１０時００分０２秒まで存在したことを検出したが、午前１０時００分から午前１０時００分０２秒までスキャナーによってスキャンされたアイテムのリストには存在しない場合、決定モジュール２０４は、製品の視覚的スキャン検出にスキャンの不規則性があると推測する。次に、決定モジュール２０４は、アラートを生成するように構成される。アラートは、インスタントメッセージ、電子メール、またはショートメッセージサービスとして、ユーザーコンピューティングデバイス上で、または対応するセルフチェックアウト端末のディスプレイで送信され得る。

【0038】

図３は、本開示の一実施形態による、小売環境１００における視覚的スキャン検出にスキャンの不規則性がある場合にアラートを生成するための方法３００を示すフローチャートである。方法３００が説明される順序は、限定として解釈されることを意図するものではなく、説明された方法ブロックの任意の数を任意の適切な順序で組み合わせて、方法３００または代替方法を実行することができる。さらに、個々のブロックは、本明細書に記載の主題の範囲から逸脱することなく、方法３００から削除されてもよい。

【0039】

ステップ３０２において、リアルタイムでのスキャンゾーンのビデオストリームは、少なくとも１つのビデオカメラから受信され、ここで、スキャンゾーンは、小売店のスキャナーの視野内の領域である。ステップ３０４で、ビデオストリームの各画像フレームは、１つまたは複数の画像フレーム内の１つまたは複数の視覚的スキャン間隔を検出するために処理され、視覚的スキャン間隔は、スキャナーでスキャンするためのスキャンゾーンにおいてアイテムが識別される時間間隔である。本開示の一実施形態では、画像処理は、現在の画像フレーム内の人間の手の存在に基づいて現在の画像フレーム内のスキャンアクションを検出することを含み、人間の手の存在は、前の画像フレームに対する現在の画像フレーム内の肌ピクセルのパーセンテージに基づいて検出される。画像処理は、現在の画像フレーム内の人間の手の動きに基づいて現在の画像フレーム内のスキャンアクションを検出することをさらに含み、動きは、前の画像フレームに対する現在の画像フレーム内の動きピクセルのパーセンテージに基づいて検出される。画像処理は、現在の画像フレーム内の人間の手における物体の存在に基づいて現在の画像フレーム内のスキャンアクションを検出することをさらに含み、物体の存在は、スキャンゾーン内のキーポイントの数に基づいて決定され、キーポイント検出器は、スキャンアクションが現在の画像フレームで検出された場合、現在の画像フレームの視覚的スキャン間隔を検出する。

【0040】

ステップ３０６において、検出された各視覚的スキャン間隔は、事前定義された規則のセットに基づいて処理され、処理された視覚的スキャン間隔は、有効なスキャンアクションを含み、有効なスキャンアクションは、アイテムをスキャンするために実行されるユーザーアクションである。

【0041】

第１の事前定義された規則によれば、視覚的スキャン間隔の事前定義された範囲が設定され、視覚的スキャン間隔の事前定義された範囲外である検出された視覚的スキャン間隔は無効化される。第２の事前定義された規則によれば、事前定義された閾値距離が設定され、２つの連続する視覚的スキャン間隔間の距離が事前定義された閾値距離よりも小さい場合、２つの連続する視覚的スキャン間隔がマージされる。第３の事前定義された規則によれば、視覚的スキャン間隔を処理する際に、ビデオカメラとスキャナーの間の同期遅延が考慮される。第４の事前定義された規則によれば、検出された視覚的スキャン間隔は、１つまたは複数の対応する画像フレームにおけるガラス動きカバレッジの計算に基づいて検証される。第５の事前定義されたルールによれば、検出された視覚的スキャン間隔は、対応する画像フレームの前景ピクセルに対する肌ピクセルのパーセンテージに基づいて検証される。第６の事前定義された規則によれば、対応する画像フレーム内のキーポイントの数がキーポイント閾値よりも少ない場合、検出された視覚的スキャン間隔は無効化される。

【0042】

ステップ３０８において、スキャンの不規則性は、チェックアウトプロセスにおいて検出され、スキャンの不規則性は、処理された視覚的スキャン間隔でスキャンするために識別されたアイテムが、対応する間隔中にスキャナーによって生成されたスキャンされたアイテムのリストに存在しない場合に発生する。一例では、ユーザーは、スキャナーのスキャンゾーンにアイテムを持ち出しているかもしれないが、ユーザーは、アイテムのバーコードがバーコードスキャナーに見えないようにアイテムを保持しているかもしれない。このような場合、ユーザーはスキャンアクションを実行した後にアイテムをショッピングバッグに入れるかもしれないが、実際にはスキャナーによってスキャンされていないかもしれず、ユーザーはそのアイテムの請求を受けないかもしれない。これはスキャンの不規則性につながる。

【0043】

ステップ３１０において、ユーザーコンピューティングデバイスでのスキャンの不規則性に関するアラートが提供される。アラートは、インスタントメッセージ、電子メール、またはショートメッセージサービスとして、ユーザーコンピューティングデバイス上で、または対応するセルフチェックアウト端末のディスプレイで送信され得る。

【0044】

前述の本開示の実施形態に対する修正形態は、添付の特許請求の範囲によって定義される通りの本開示の範囲から逸脱することなく可能である。本開示を説明し、請求するために使用される「～を含む」、「～を備える」、「～を組み込む」、「～からなる」、「～を有する」、「～である」などの言い回しは、非排他式にみなされることが意図されており、すなわち、明示的に説明されていないアイテム、コンポーネント、または要素もまた存在するように考慮する。単数形への言及もまた、複数形に関するようにみなされることになる。

【図1】

【図2】

【図3】