特許 7220221 販売エリアのゴンドラの商品レイアウトを該ゴンドラの想定商品レイアウトを表すリアログラムデータベースと照合する方法、この方法を実行するコード命令を含むコンピュータプログラム製品、及び売り場のゴンドラの商品レイアウトを確認するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-01

(45)【発行日】2023-02-09

(54)【発明の名称】販売エリアのゴンドラの商品レイアウトを該ゴンドラの想定商品レイアウトを表すリアログラムデータベースと照合する方法、この方法を実行するコード命令を含むコンピュータプログラム製品、及び売り場のゴンドラの商品レイアウトを確認するシステム

(51)【国際特許分類】

   G07G 1/01 20060101AFI20230202BHJP

   A47F 5/00 20060101ALI20230202BHJP

   G06T 7/90 20170101ALI20230202BHJP

【ＦＩ】

G07G1/01 301D

A47F5/00 E

G06T7/90 Z

【請求項の数】 15

(21)【出願番号】P 2020537855

(86)(22)【出願日】2018-09-18

(65)【公表番号】

(43)【公表日】2020-11-26

(86)【国際出願番号】 EP2018075221

(87)【国際公開番号】W WO2019057716

(87)【国際公開日】2019-03-28

【審査請求日】2021-05-21

(31)【優先権主張番号】1758650

(32)【優先日】2017-09-19

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】520096688

【氏名又は名称】セス・イマーゴタグ

【氏名又は名称原語表記】ＳＥＳ－ｉｍａｇｏｔａｇ

【住所又は居所原語表記】５５ ＰＬＡＣＥ ＮＥＬＳＯＮ ＭＡＮＤＥＬＡ， ９２０００ ＮＡＮＴＥＲＲＥ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】ガドゥ、 ティエリ

(72)【発明者】

【氏名】ロビン、 フランソワ

(72)【発明者】

【氏名】レッスル、 アンドレアス

(72)【発明者】

【氏名】シュヴァルツ、 トーマス

【審査官】塩治 雅也

(56)【参考文献】

【文献】国際公開第２０１７／０８３４２４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０１７３６６（ＷＯ，Ａ１）

【文献】特開２０１１－０９６０３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００－５／００

Ａ４７Ｆ ５／００

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

販売エリアのゴンドラの商品レイアウトを、該ゴンドラの想定商品レイアウトを表すリアログラムデータベース（Ｐ）と照合する方法であって、
前記ゴンドラは、複数の電子棚札（１０）を備え、各電子棚札（１０）は、１つの製品スロットフィールド（ｉ，ｊ，ｋ）を有する前記ゴンドラの一致領域に対応しており、前記製品スロットフィールドは、
前記ゴンドラに割り当てられたゴンドラ番号（ｉ）と、
１つの特定のゴンドラ（ｉ）内の電子棚札の連続した行（１，…，ｊ，…）のうち１つに対応する行番号（ｊ）と、
１つの特定の行（ｊ）内の連続した電子棚札（１０）のうち１つに対応する札番号（ｋ）と、
を含み、
前記方法（２００）は、コンピュータにより実施される、
撮像装置によって取得した前記ゴンドラの画像（Ｉ）における一直線上の電子棚札のセット（１，…，ｊ，…）を検出するステップと、
検出された電子棚札の各セットに行番号を振り当て、検出された電子棚札の各セットの各電子棚札を検出された行番号に関連付けるステップと、
検出された電子棚札の各セットの各電子棚札に札番号を割り当てるステップと、
検出されたセットの電子棚札に関して、前記ゴンドラに割り当てられた前記ゴンドラ番号（ｉ）と、前記電子棚札に関連する前記行番号（ｊ）と、前記電子棚札に振り当てられた札番号（ｋ）とを含む対応する前記製品スロットフィールド（ｉ，ｊ，ｋ）を決定するステップと、
前記取得した画像（Ｉ）上の前記電子棚札に対応する前記ゴンドラの前記一致領域を決定するステップと、
前記取得した画像（Ｉ）を用いた画像認識により、前記ゴンドラの領域に陳列された商品のレイアウト情報を検出するステップと、
各製品スロットフィールドと商品識別子とが関連付けられたリアログラムデータベース（Ｐ）にアクセスするステップと、
前記決定されたスロットフィールド（ｉ，ｊ，ｋ）に関連付けられた商品識別子（Ｐ_ｉｊｋ）を前記リアログラムデータベース（Ｐ）において識別するステップと、
識別商品（Ｐ_ｉｊｋ）に関して、前記検出されたレイアウト情報と前記リアログラムデータベースに記憶された想定レイアウトとが一致しているか確認するステップと、
を含むことを特徴とする方法。

【請求項2】

各電子棚札は、札データベース（ＤＢ）において、１つの商品識別子に関連付けされ、
特定の対応するスロットフィールドを有する所与の電子棚札が、前記札データベース（ＤＢ）において特定の商品識別子に関連付け又は再関連付けされると、該対応するスロットフィールド（ｉ，ｊ，ｋ）も、前記リアログラムデータベース（Ｐ）において前記特定の商品識別子に関連付け又は再関連付けされ、前記札データベースに対して前記リアログラムデータベース（Ｐ）がリアルタイムで更新される、請求項１に記載の方法。

【請求項3】

前記ゴンドラの画像（Ｉ）の取得（３１０）後、前記取得した画像（Ｉ）において、前記ゴンドラの少なくとも１つの空の領域（３０）を画像認識により識別するステップ（３２２）を更に含み、
前記所与の電子棚札（１０）に関して、前記ゴンドラの前記一致領域で検出された前記レイアウト情報が、該一致領域が空であるという情報である場合、前記識別商品（Ｐ_ｉｊｋ）が前記ゴンドラにおいて品切れであると判定される（３５０）、請求項１又は２に記載の方法。

【請求項4】

前記空の領域（３０）の識別は、棚の行又は棚の背面の所定のパターンに対する色認識によって実行される、請求項３に記載の方法。

【請求項5】

商品画像データベース（Ａ）において前記識別商品（Ｐ_ｉｊｋ）に関連付けられた事前登録画像（４１）を取得するステップ（９５０）を更に含み、前記事前登録画像は、前記商品識別子（Ｐ_ｉｊｋ）に関する想定正面図であり、
前記方法は、前記レイアウト情報を検出するのに用いた前記ゴンドラの前記一致領域の実際の正面図に対応する前記取得した画像（４０）の区画と、前記事前登録画像（４１）の前記想定正面図との間の類似度を算出すること（９６０）を更に含み、
前記類似度の値から前記正面図が不一致であると判定されたスロットフィールド（ｉ，ｊ，ｋ）のリスト及び／又は商品識別子（Ｐ_ｉｊｋ）のリスト（Ｌ_２）を出力する（９７０）、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記リアログラムデータベース（Ｐ）において、前記決定されたスロットフィールド（ｉ，ｊ，ｋ）の想定フェイス情報を取得するステップ（１１５０）と、
画像認識により、前記ゴンドラ（３１）の前記一致領域に関して、前記取得した画像（Ｉ）上で視認可能な実際のフェイス情報と、前記想定フェイス情報とが一致しているか確認するステップ（１１６０）と、を更に含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記想定フェイス情報は、前記ゴンドラに陳列する同一商品（Ｐ_ｉｊｋ）の連続する列の数である、請求項６に記載の方法。

【請求項8】

前記ゴンドラの空の領域（３０）を強調する視覚信号、及び／又は、
前記ゴンドラで検出された空の領域に関連付けられた商品識別子（Ｐ_ｉｊｋ）及び／又はスロットフィールド（ｉ，ｊ，ｋ）が補充される必要があることを示す視覚的な警告、及び／又は、
想定正面図と一致しない前記ゴンドラの領域を強調する視覚信号、及び／又は、
想定フェイスと一致しない前記ゴンドラ（３１）の領域を強調する視覚信号とともに、
グラフィカルインターフェースによりユーザにゴンドラ（１）の表現を表示可能である（２６０，９７０，１１７０）、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記取得した画像（Ｉ）上の前記電子棚札の検出は、前記電子棚札が有し得る形状の所定のセットに対するパターン認識によって実行される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記取得した画像（Ｉ）上で検出された所与の電子棚札（１０）に関して、該電子棚札の直上、且つ、該電子棚札の右隣りの電子棚札との間に位置する前記取得した画像（Ｉ）の区画を、該電子棚札（１０）に対応するゴンドラの前記一致領域の画像として定めることで、前記一致領域が画定される、請求項１～９のいずれか一項に記載の方法。

【請求項11】

コンピュータ装置のサーバ上で実行される、請求項１～１０のいずれか一項に記載の方法を実行するコード命令を含む、コンピュータプログラム製品。

【請求項12】

売り場のゴンドラ（１）の商品レイアウトを確認するシステムであって、前記システムは、
前記ゴンドラに配置された複数の電子棚札（１０）と、
一意の札識別子によって識別された各電子棚札（１０）が１つの商品識別子に関連付けられた札データベース（ＤＢ）と通信するように構成されたサーバ（２）であって、前記電子棚札は、１つの製品スロットフィールド（ｉ，ｊ，ｋ）を有する前記ゴンドラの一致領域に対応しており、前記サーバは、各製品スロットフィールド（ｉ，ｊ，ｋ）が商品識別子（Ｐ_ｉｊｋ）に関連付けられたリアログラムデータベース（Ｐ）とも通信するように構成されたものである前記サーバと、
前記ゴンドラ（１）の画像（Ｉ）を取得可能な撮像装置と、
を備え、
前記サーバは、
ゴンドラ番号が割り当てられた前記ゴンドラの画像であって撮像装置によって取得した前記画像における電子棚札を検出するステップと、
前記取得した画像における一直線上の電子棚札のセットを検出することを含み、前記取得した画像において電子棚札の行を検出するステップと、
電子棚札の検出した行のそれぞれに行番号を割り当てるとともに、電子棚札の検出した行における電子棚札のそれぞれを前記取得した行の前記行番号に関連付けるステップと、
電子棚札の前記検出した行のそれぞれにおいて、電子棚札の前記検出した行における検出した電子棚札のそれぞれに札番号を割り当てるステップと、
前記取得した画像において視認可能な所与の電子棚札に関して、前記ゴンドラに割り当てられた前記ゴンドラ番号と、前記所与の電子棚札に関連付けられた前記行番号と、前記所与の電子棚札に割り振られた前記札番号とに基づいて、対応する製品スロットフィールドを決定するステップと、
前記取得した画像において前記電子棚札に対応する前記ゴンドラの前記一致領域であって、前記電子棚札と前記取得した同じ行内の連続した電子棚札との間に位置する一致領域を決定するステップと、
前記取得した画像を用いた画像認識により、前記ゴンドラの前記一致領域に陳列された商品のレイアウト情報を検出するステップと、
各製品スロットフィールドと商品識別子とが関連付けられたリアログラムデータベースにアクセスするステップと、
前記決定された製品スロットフィールドに関連付けられた前記商品識別子を前記リアログラムデータベースにおいて識別するステップと、
前記識別商品に関して、前記検出されたレイアウト情報と前記リアログラムデータベースに記憶された想定レイアウトとが一致しているか確認するステップと、
を行うように更に構成されることを特徴とするシステム。

【請求項13】

前記サーバは、各商品識別子（Ｐ_ｉｊｋ）と、識別商品の想定正面図である事前登録画像（４１）とが関連付けられた商品画像データベース（Ａ）と通信するように更に構成され、前記サーバは、検出されるレイアウト情報に対応する実際の正面図に対応する取得した画像（４０）の区画と、前記想定正面図とを比較可能である、請求項１２に記載のシステム。

【請求項14】

取得した前記画像上で検出可能な前記レイアウト情報は、前記ゴンドラの空の領域（３０）の自動認識を含む、請求項１２又は１３に記載のシステム。

【請求項15】

取得した前記画像上で検出可能な前記レイアウト情報は、前記ゴンドラの領域内で視認可能な、前記ゴンドラの前記領域内の列数を含む、実際のフェイスを含み、
前記サーバは、前記実際のフェイスと、前記リアログラムデータベース（Ｐ）において取得される想定フェイス情報とを比較可能である、請求項１２～１４のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、販売エリアで販売される商品のレイアウトの管理の分野に関する。

【背景技術】

【0002】

売り場の棚は通常、ゴンドラで構成され、販売中の商品は各ゴンドラに複数段並べられる。
一般に、棚は、価格、重量あたりの価格、商品名などの販売される商品に関する情報を表示するため、棚の外縁に沿って配置された棚札、好ましくは電子棚札も備える。

【0003】

電子棚札（ｅｌｅｃｔｒｏｎｉｃ ｓｈｅｌｆ ｌａｂｅｌ、以下ＥＳＬと呼ぶ）の場合、１つのＥＳＬの画面に表示される情報は、低周波であれ高周波であれ、無線周波により遠隔制御される。販売中の各商品に関する表示情報は、例えば札データベースに含まれるデータベースの中央ファイルの更新に従って、リアルタイムで更新できる。中央ファイルにおいて、一意の商品識別子で識別される各商品は、価格、商品名、重量あたりの価格などの複数のデータと関連付けられており、これらは、全てのＥＳＬ画面が中央データに含まれる最新の関連情報を表示するように継続的に更新可能である。特定の電子棚札と対応する商品との間のリンクは、通常、中央ファイルにおける各ＥＳＬに固有の札識別子と商品識別子との関連付けによって識別される。実際には、販売中の商品は棚の所定の領域、一般に、対応するＥＳＬの直下又は直上に位置する。以下、所与のＥＳＬに対応する棚の領域を、そのＥＳＬの「一致領域」と呼ぶ。商品関連情報を表示するＥＳＬに関して、対応する一致領域にはその商品が１つ以上含まれ、棚の該領域内に１列以上並べられる。陳列される商品の列数は、売り場の商品の「フェイス情報」の一部である。

【0004】

このように、売り場の顧客には、法的要件に準拠した有効な情報が常に提供される。購入品の支払いの清算時に効果的に使用される情報は、同じ中央ファイルから取得されるため、顧客が選択した際に棚のＥＳＬに表示される情報と、支払い時に使用される情報との間の齟齬が回避される。また、棚にＥＳＬが設置されている売り場では、中央ファイル内の製品情報の変更が自動的且つ非常に迅速に棚の消費者に表示される情報に変換されるが、電子棚札がない場合は手動でそれぞれ変更する必要がある。

【0005】

売り場の商品のレイアウトは、売り場のプラノグラム（棚割計画）データベースで表すことができる。プラノグラムデータベースには、販売中の商品の識別子と、その商品を収容する売り場の棚の領域との間のリンクが含まれる。このようなプラノグラムデータベースは通常、ＥＡＮ番号などの商品識別子と、売り場内の位置（棚の領域など）の識別子とを照合する相関表の形式をとる。通常、プラノグラムデータベースは、視覚的プラノグラム、すなわち、棚の配置の２次元的又は３次元的視覚表現によって拡張され、商品は、棚に面した顧客の目に入るであろう商品の前面、すなわち「正面図」で視覚的に認識できる。

【0006】

しかしながら、標準的なケースでは、売り場を開く際、その売り場に必ずしも適合しない汎用モデルに従って、プラノグラムデータベースや対応する視覚的プラノグラムを売り場に対して作成する場合がある。これは特に、店舗の大きさに対応したモデルである。特定の製品への棚の領域の割り当ては、プラノグラムデータベースが初期化された後、最終的に変更される可能性がある。近年、「リアログラム」、すなわち、棚スペースの割り当てに加えられた変更、又は棚札の割り当てに加えられた変更を考慮したプラノグラムを作成する努力がなされてきた。電子棚札が設置された売り場では、典型的に、ＥＳＬが別の製品に再割り当てされるたびに「リアログラムデータベース」が更新される。したがって、リアログラムデータベースは、（全ての商品が棚に適切に想定された向きで置かれていた場合）信頼性がある最新の棚の現実表現となり、リアログラムデータベースと売り場の実際の棚との間には齟齬が生じない。

【0007】

信頼性の高いリアログラムデータベースを維持するためには、紙棚札ではなく、電子棚札を使用することが非常に望ましい。実際、電子棚札は、売り場の中央ファイルに従った商品情報の自動更新を可能にするだけでなく、棚札と商品識別子の関連付けに加えられた変更をリアログラムデータベースに反映させることもできる。また、ＥＳＬは通常、売り場の担当者が意図しない限り、変更できない棚の特定の位置に固定される。したがって、所与のＥＳＬが別の製品に再割り当てされると、棚札の再割り当てにより、その棚札に対応する棚の領域のリアログラムデータベースに存在する情報が影響を受け得る。

【0008】

信頼性の高い完全なリアログラムデータベースを提供することで、売り場の顧客又は売り場の従業員の両者に向けた、売り場内の商品の位置情報アプリケーションの開発が可能となる。どちらの場合も、商品に関する最新のレイアウト情報（棚の対応領域が空か満杯か、棚が適切な商品リファレンスで満たされているか、商品が棚に十分に置かれているかなど）を有することは、店舗の収益や品出しの作業効率を向上させるために重要である。顧客にとっては、商品の入手可能性の最適化や品出し時間の短縮により満足度が向上し、売り場の魅力が向上する。棚出しや在庫管理に関わる従業員にとっては、これにより生産性が向上する。

【0009】

対処すべき最初の問題は、売り場で販売される商品が不足することである。売り場で通常入手可能な特定の品目を購入しようとする顧客が、その品目が売り場にないことに気付く状況は、販売機会を逃したことによる損失と、不満を感じた顧客が一時的又は永久的に競合他社の別の売り場に乗り換えるリスクが生じるという２つのレベルで不利である。

【0010】

理論上、全ての商品の販売が清算時に中央在庫管理ファイルに直ちに反映され、販売中の各品目がその入手可能度が臨界閾値を下回るとすぐに補充される場合、商品不足は起こらない。商品不足を回避するためのもう１つの重要な要素は、フェイス（すなわち、棚の所与の領域に対する、行の長さ、及び商品の列数）が製品の実際の消費率に適合していることである。フェイスは、製品の季節性や変動する需要を考慮して変更する必要がある。フェイスが実際の消費率と比較して少なすぎる場合、商品不足を回避するには製品を非常に高い頻度で補充する必要がある。フェイス情報はリアログラムの情報の一部であるため、空スペース、ゴンドラに現在存在する商品、フェイス情報等を含む（ただしこれらには限定されない）、ゴンドラの現在の状態に関する信頼性の高い情報を提供する方法が望まれる。

【0011】

尚、中央在庫管理ファイルは、供給や清算などの、売り場の情報システムの他の機能と常に完全に同期しているわけではない。顧客は、探している製品の棚が空になっているのを依然として頻繁に目にする。顧客は、空の製品スロットの近くに配置された棚札から、製品がないことを理解するため、これは非常に不便である。

【0012】

商品レイアウト管理用の既知のシステムには、棚の正面視で空の領域を検出できるものがある。しかしながら、既知のシステムでは、リアログラムデータベースにある情報を利用しないため、検出された空の領域は対応する商品リファレンスには自動的に関連付けされない。したがって、既知のシステムでは、商品不足を効率的に管理することはできない。

【0013】

別の問題は、棚で入手可能な商品とリアログラムの計画レイアウトとの一致である。ここで重要なのは、棚の所与の領域について、その領域のリアログラムに含まれる想定商品リファレンスと、実際にその領域にある商品とが一致しているかである。商品リファレンスが誤って陳列されている、フェイスが間違っている（例えば、棚に２列あるべき特定の商品が１列のみである）など、想定レイアウトに準拠していない商品のレイアウトは、売り場の効率に悪影響を及ぼす。上述のように、想定したものと異なるフェイスは、実際のフェイスが多すぎる場合はゴンドラのスペースの無駄になり、実際のフェイスが少なすぎる場合は商品不足が生じやすい。また、売り場で販売されているブランドには、商品を棚に表示する方法について特定の要件を有している場合がある。

【0014】

商品レイアウト管理に関する上記の問題を考慮すると、売り場の売上高を最大１５％増加する余地があると推定される。商品不足の回避は、約３％～５％の収益増加に相当し、売り場で実際に入手可能な製品が、リアログラムデータベースの情報に対して正しい場所にあり、顧客が簡単に追跡可能であることで、５％の増加が見込まれる。また、（複数の売り場に対して１つの想定プラノグラムではなく）特定の売り場ごとに専用化された信頼性の高いリアログラムデータベースを設けることで、３％～５％の増加が見込まれる。

【発明の概要】

【発明が解決しようとする課題】

【0015】

したがって、売り場で販売中の商品のレイアウト情報を検出し、売り場の担当者に問題を通知して、棚にない商品を注文及び／又は再注文する、あるいは、レイアウトがリアログラムデータベースで入手可能な情報と一致していない場合にレイアウトを再調整するなど、迅速な対応を可能とする解決法が必要とされる。

【0016】

以下で説明する解決法では、商品のレイアウトが売り場のデータベースに存在する情報と一致しているかを確認するシステムによって、前述の従来技術の欠点が解消される。このシステムにより、画像認識により不一致（商品が入手可能であるはずの棚の領域が空である、商品のフェイスが間違っている、商品の正面図が間違っているなど）を直接追跡することができる。

【課題を解決するための手段】

【0017】

上記の目的のため、第１の態様によると、本発明は、
販売エリアのゴンドラの商品レイアウトを、該ゴンドラの想定商品レイアウトを表すリアログラムデータベースと照合する方法であって、
各ゴンドラは、少なくとも１つの電子棚札を備え、各電子棚札は、１つの製品スロットフィールドを有するゴンドラの一致領域に対応しており、スロットフィールドは、
ゴンドラ番号と、
１つの特定のゴンドラ内の電子棚札の連続した行のうち１つに対応する行番号と、
１つの特定の行内の連続した電子棚札のうち１つに対応する札番号と、を含み、
上記方法は、コンピュータにより実施される、
撮像装置によりゴンドラの画像を取得するステップと、
取得したゴンドラの画像上の電子棚札を自動検出するステップと、
取得した画像上の電子棚札の行を自動検出するステップと、
取得した画像上で視認可能な所与の電子棚札に関して、該電子棚札の行番号及び札番号を決定し、対応する製品スロットフィールドを決定するステップと、
取得した画像上の電子棚札に対応するゴンドラの一致領域を決定するステップと、
取得した画像を用いた画像認識により、ゴンドラの一致領域に陳列された商品のレイアウト情報を検出するステップと、
各スロットフィールドと商品識別子とが関連付けられたリアログラムデータベースにアクセスするステップと、
決定されたスロットフィールドに関連付けられた商品識別子をリアログラムデータベースにおいて識別するステップと、
識別商品に関して、検出されたレイアウト情報をリアログラムデータベースに記憶された想定レイアウト情報と照合するステップと、を含むことを特徴とする方法に関する。

【0018】

ここで提供されるシステムは、ゴンドラの各領域が、該領域のすぐ近く、例えば該領域の下に位置するゴンドラの行（ｒｏｗ）に設けられた電子棚札（又はＥＳＬ）に対応するという事実を利用する。取得したゴンドラの画像、通常はゴンドラの正面図から、棚の所与の領域に陳列される商品のレイアウト情報を自動画像認識で検出できる。このレイアウト情報は、電子棚札又はＥＳＬを介して、以下で「スロットフィールド」と呼ばれる、データベースにおけるゴンドラの領域の識別子に対応させることができる。実際、取得した画像上でＥＳＬを自動認識することで、本システムはゴンドラの領域に対応するスロットフィールドを識別することができる。

【0019】

本方法は、限定的ではないが、有利には、単独で、又は任意の技術的に実現可能な組み合わせに従って、以下の特徴によって完成される。

【0020】

上記方法は、棚の画像の取得後、取得した画像において、ゴンドラの少なくとも１つの空の領域を画像認識により識別するステップを更に含み、
所与の電子棚札に関して、ゴンドラの一致領域で検出されたレイアウト情報が、該一致領域が空であるという情報である場合、その識別商品がゴンドラにおいて品切れであると判定される。

【0021】

上述の方法において、空の領域の識別は、ゴンドラの行又はゴンドラの背面の所定のパターンに対する色認識によって実行される。

【0022】

上記方法は、商品画像データベースにおいて識別商品に関連付けられた事前登録画像を取得するステップを更に含み、事前登録画像は、商品識別子に関する想定正面図であり、
上記方法は、ゴンドラの一致領域の実際の正面図に対応する取得した画像の区画と、事前登録画像の想定正面図との間の類似度を算出することを更に含み、
類似度の値からゴンドラの正面図が不一致であると判定されたスロットフィールド及び／又は商品識別子のリストを出力する。

【0023】

上記方法は、リアログラムデータベースにおいて、決定されたスロットフィールドの想定フェイス情報を取得するステップと、
上記スロットフィールドにより識別される商品スロットに関して、画像認識により、取得した画像上で視認可能な実際のフェイス情報と、想定フェイス情報とが一致しているか検出するステップと、を更に含む。

【0024】

上述の方法において、想定フェイス情報は、ゴンドラ内の同一商品の品目の連続する列の数である。

【0025】

上記方法は、ゴンドラの空の領域を強調する視覚信号、及び／又は、
ゴンドラで検出された空の商品スロットに関連付けられた商品識別子及び／又はスロットフィールドが補充される必要があることを示す視覚的な警告、及び／又は、
想定正面図と一致しないゴンドラの領域を強調する視覚信号、及び／又は、
想定フェイスと一致しないゴンドラの領域を強調する視覚信号とともに、
グラフィカルインターフェースにゴンドラの表現を表示するステップを更に含む。

【0026】

取得した画像上の電子棚札の自動検出は、電子棚札が有し得る形状の所定のセットに対するパターン認識によって実行される。

【0027】

取得した画像上で検出された所与の電子棚札に関して、該電子棚札の直上、且つ、該電子棚札の右隣りの電子棚札との間に位置する取得した画像の区画を、該電子棚札に対応するゴンドラの一致領域の画像として定めることで、一致領域が画定される。

【0028】

第２の態様によると、商品レイアウトを確認するための上記方法を実行するコード命令を含む、コンピュータプログラム製品が提供される。

【0029】

別の態様によると、本発明は、売り場のゴンドラの商品レイアウトを確認するシステムであって、本システムは、
ゴンドラに配置された複数の電子棚札と、
一意の札識別子によって識別された各電子棚札が１つの商品識別子に関連付けられた札データベースと通信するように構成されたサーバであって、電子棚札は、１つの製品スロットフィールドを有するゴンドラの一致領域に対応しており、サーバは、各スロットフィールドが商品識別子に関連付けられたリアログラムデータベースとも通信するように構成されたものであるサーバと、
ゴンドラの画像を取得可能な撮像装置と、を備え、
サーバは、
撮像装置によって提供されたゴンドラの画像上で電子棚札を自動認識し、
電子棚札に対応するスロットフィールドと、電子棚札に対応するゴンドラの一致領域とを決定し、
画像上でゴンドラの所与の領域において視認可能な商品のレイアウト情報を検出し、
検出されたレイアウト情報をリアログラムデータベースに記憶された情報と照合するように更に構成された、システムを提供する。

【0030】

上述したシステムは、限定的ではないが、有利には、単独で、又は任意の技術的に実現可能な組み合わせに従って、以下の特徴を有することができる。

【0031】

サーバは、各商品識別子と、識別商品の想定正面図である事前登録画像とが関連付けられた商品画像データベースと通信するように更に構成され、また、サーバは、検出されるレイアウト情報を作成する実際の正面図に対応する取得した画像の区画と、想定正面図とを比較可能である。

【0032】

取得した画像上でのレイアウト情報の検出は、ゴンドラの空の領域の自動認識を含む。

【0033】

取得した画像上で検出可能なレイアウト情報は、ゴンドラの領域内で視認可能な、ゴンドラの領域内の列数を含む、実際のフェイスを含み、
サーバは、実際のフェイスと、リアログラムデータベースにおいて取得される想定フェイス情報とを比較可能である。

【0034】

以下、本発明の他の特徴、目的、及び利点を、以下の添付の図面を参照して、詳細に説明するが、これらは単なる例示であり、本発明を限定するものではない。

【図面の簡単な説明】

【0035】

【図1】電子棚札、中央サーバ、及び携帯端末を含む、先行技術による既知の価格表示システムを示す図である。

【図2】棚の商品レイアウトを確認する方法のステップを概略的に示す図である。

【図3】棚の空の領域を検出する、特定の実施形態における商品レイアウト確認方法のステップを概略的に示す図である。

【図4】図３に示される方法の棚札検出ステップの概略図である。

【図5】図３に示される方法の行検出ステップ及び棚札計数ステップの概略図である。

【図6】図３に示される方法の空棚領域検出ステップの概略図である。

【図7】図３に示される方法の一部として、検出された空の領域に対応するスロットフィールドに関連付けられた商品が品切れであることを判定するステップの概略図である。

【図8】複数のゴンドラが判別された、売り場の棚の代替的な概略図である。

【図9】棚の所与の領域で視認可能な実際の正面図と、想定正面図とが比較される、別の実施形態による商品レイアウト確認方法を概略的に示す図である。

【図10】売り場の棚に関連するリアログラムデータベースと商品画像データベースの例示的な表現を概略的に示す図である。

【図11】特定のフェイス情報（棚の特定の領域における製品の列数）が検出され、想定フェイス情報と比較される、更に別の実施形態による商品レイアウト確認方法を概略的に表す図である。

【図12】図１１に示される方法の一部として、棚の所与の領域における製品の列数を取得するステップの概略図である。

【図13】図１１に示される方法の一部として、検出された製品の列数と想定数を照合するステップの概略図である。

【発明を実施するための形態】

【0036】

以下、売り場の自動化棚レイアウト管理に部分的又は完全に関連するいくつかの方法が説明される。以下に説明される添付図面において、類似する要素は、同一の参照番号によって示される。

【0037】

以下、ゴンドラの一致領域に「対応する」電子棚札又はＥＳＬについて述べる場合、この電子棚札はゴンドラの該領域において顧客が入手可能な製品に関する情報を表示することが意図されていることを意味する。これは、ＥＳＬが特定の商品識別子の商品情報を表示している場合、ゴンドラの対応する領域に、その商品の品目が特定の数含まれている必要があることを意味する。したがって、「ゴンドラの領域」は、１列又は複数列の同一製品を収容できる、あるいは収容できない、ゴンドラの地理的区画として定義される。この領域は、通常、ゴンドラの隣り合う行の間の、特定の長さを有する水平方向の区画に位置する。

【0038】

後述する商品レイアウト確認システムは、取得した画像上で視認できるゴンドラの「一致領域」と、画像上で視認できるＥＳＬとの対応を単独で判別することができる。このシステムは、所与のＥＳＬから開始される、ゴンドラの一致領域の自動認識（すなわち、ゴンドラの該領域が視認可能な画像の区画の認識）に関して、所定の規則を利用できる。

【0039】

以下、ゴンドラに配置され、検出された所与のＥＳＬに関して、該ＥＳＬの直上、且つ、該ＥＳＬとその右隣りのＥＳＬとの間に位置する、取得したゴンドラの画像の区画をゴンドラの一致領域の画像とし、このように画定される一致領域を識別する条件について検討する。またその逆、すなわち、ゴンドラの所与の領域に関して、対応するＥＳＬが、該ゴンドラの領域の直下の行、且つ、該領域の左側に位置する最も近いＥＳＬである場合について検討する。

【0040】

尚、ゴンドラの各領域は、以下で「製品スロットフィールド」又は「スロットフィールド」と呼ばれる一意の特定の番号で識別される。以下、スロットフィールドを定義するための特定の態様について説明する。スロットフィールドに「対応する」ＥＳＬについて述べる場合、このＥＳＬは該スロットフィールドによって識別されるゴンドラの一致領域に陳列される製品に関する情報を表示することが意図されていることを意味する。

【0041】

また、以下では、ゴンドラに陳列される商品の「レイアウト情報」の検出について述べる。レイアウト情報とは、広義には、ゴンドラの画像（通常は棚の正面図）を使用した自動認識から推測できる、ゴンドラで販売されている商品の状態に関する全ての情報を意味する。レイアウト情報としては、例えば、ゴンドラの領域が空状態か否か（棚に商品がないかどうか）や、ゴンドラ内で視認可能な同一製品の列数などが挙げられる。

【0042】

図１は、顧客に価格情報を表示するために販売エリアに展開可能な電子棚札管理システムを例示的且つ非限定的に示す概略図である。このシステムは、出願人の代理で提出された国際公開第２０１７／０１７３６６号に記載されたシステムと類似する。このシステムは、ゴンドラに設置された電子棚札サブシステム１、中央サーバ２、及び読取装置３を備える。中央サーバ２は、ローカル又はリモートネットワークを介して、図１には示されない表示システムと付加的に通信することができる。また、中央サーバ２は、商品のレイアウトを監視するため、任意の撮像方法で、売り場のゴンドラの写真を撮ることができる１つ又は複数の撮像装置とも通信する。読取装置３と中央サーバ２との間の通信は、Ｗｉ－Ｆｉ、３Ｇ、４Ｇ、又はＤＥＣＴなどの任意の通信ネットワークに従って実行することができる。

【0043】

電子棚札（以下ＥＳＬとも呼ぶ）は、販売エリア全体の棚に優先的に配置される。図１では、販売中の商品を陳列する棚の縁に位置する棚レール１３に３つのＥＳＬ１０、１１、１２が配置されている。各ＥＳＬは、製品情報を表示するための液晶表示画面などのディスプレイ１４を備える。この情報は通常、法的要件に準拠した商品の価格と、キロあたりの価格などの他の必要な情報 を含む。各ＥＳＬは、例えばバーコードを介して、ＥＳＬの筐体上に表示可能な一意の札識別子により識別される。この札識別子は、通常、特定の英数字の羅列である。札識別子は、売り場の各棚札を誤りなく識別する。また、各電子棚札は、それ自体がＥＡＮコードなどの特定の商品識別子によって識別可能な１つの販売中の商品に対応している。

【0044】

ＥＳＬは、好ましくは、販売エリア全体に展開され、これにより、エリア全体で提供される価格情報を中央サーバ２に記憶された情報と一致させることができる。

【0045】

棚札１０などのＥＳＬと、図１に示した電子棚札管理システムの他の構成要素との間の通信は、次のように動作させることができる。ＥＳＬは、中央サーバ２に接続された中央ステーションが発信する無線周波数信号にエンコードされた商品情報を受信できる無線周波数通信モジュールを備える。ＥＳＬは通常、アンテナと、ＮＦＣチップ又はＲＦＩＤチップを備える。また、ＥＳＬは、送信されたデータを記憶するためのメモリと、スクリーン１４にデータを表示するためのマイクロコントローラを備える。読取装置３は、ＥＳＬの無線周波数周辺機器による無線通信を介してＥＳＬと通信することができる。このように、読取装置３は、ＥＳＬの設置時に、ＥＳＬを商品識別子に関連付けるのに使用することができる。読取装置３は、バーコードを用いてＥＳＬの札識別子を光学的に認識するモジュールも備えている。

【0046】

その結果、棚札管理システムの構成要素１、２、３の全ては、無線通信を介した通信が可能となる。

【0047】

中央サーバ２は、例えば、一意の札識別子と商品のＥＡＮ番号との相関表の形式である、電子棚札（ＥＳＬ１０、１１、１２など）と販売中の商品との関連付け情報を含む札データベースＤＢを少なくとも有する。ここで、中央サーバ２は、リアログラムデータベースＰと商品画像データベースＡも備えている。しかしながら、データベースＡは、以下で説明する方法全てに必要なわけではない。

【0048】

リアログラムデータベースＰは、製品スロットフィールド、売り場で販売中の商品の商品識別子、及び売り場の棚に設けられたＥＳＬの札識別子間の関連付け情報を含む。製品スロットフィールドは、棚の製品スロットを明確に識別できるものであれば任意の形式でよい。

【0049】

以下において、製品スロットフィールドは（図１には示されない）３つの数値インデックスで構成される。第１のインデックスｉは、売り場のゴンドラに対応する。ゴンドラは、１つの棚又は並列に積み重ねられた複数の棚から構成される。第２のインデックスｊは、ゴンドラｉの特定の行に対応する。以下において、行は、１つのゴンドラ内の一番下の行（行０）から一番上の行まで連番で数えられる。第３のインデックスｋは、行ｊ内の特定の電子棚札に対応する。以下において、ＥＳＬは、左端のＥＳＬ（ＥＳＬ１）から右端のＥＳＬまで行に沿って（すなわち、棚レールに沿って）連番で数えられる。３つ一組のインデックスｉ、ｊ、ｋの組み合わせ（ｉ，ｊ，ｋ）により、単一の電子棚札を明確に識別することができる。

【0050】

リアログラムデータベースＰで製品スロットフィールド（ｉ，ｊ，ｋ）に関連付けられた商品識別子は、Ｐ_ｉｊｋで指定される。製品スロットフィールド（ｉ，ｊ，ｋ）に関連付けられた、売り場の１つのＥＳＬを識別する一意の札識別子は、Ｌ_ｉｊｋで表される。したがって、札データベースＤＢでは、一意の札識別子Ｌ_ｉｊｋが商品識別子Ｐ_ｉｊｋに関連付けられる。以下、図１０を参照して、リアログラムデータベースＰのグラフィック表現について説明する。

【0051】

商品画像データベースＡは、各商品識別子（ＥＡＮ番号など）を、その識別子によって識別された商品の正面図の想定画像に対応する任意のフォーマットの数値画像に関連付ける。

【0052】

また、中央サーバは、価格情報や顧客に表示する他の情報、在庫情報などの管理情報を含む売り場の運営に必要な情報と、各商品識別子とを関連付けた商品情報にアクセスする。

【0053】

札データベースＤＢ、商品画像データベースＡ、及びリアログラムデータベースＰは、売り場の単一ファイルに内包されてもよく、別々のファイルに内包されてもよい。複数の売り場の管理は、単一の中央ファイルによって遠隔で管理してもよく、各売り場が独自のファイル又はファイルセットを有していてもよい。

【0054】

また、任意ではあるが、リアログラムデータベースＰは、札データベースＤＢに存在する情報に対して、リアルタイムで更新されることが非常に有利である。これは、棚において予め決められた位置を有し、その位置に固定された所与のＥＳＬに関して、このＥＳＬが、図１に示すように、棚の棚レール１３に固定されており、したがって所与のスロットフィールド（ｉ，ｊ，ｋ）に対応しているため、このＥＳＬに関する情報が、札データベースＤＢにおいて（新たな商品識別子への関連付け、又は前に関連付けられた商品識別子とは異なる新たな商品識別子への再関連付けによって）変更された場合、それに応じてリアログラムデータベースＰの情報が変更され、その結果、対応するスロットフィールド（ｉ，ｊ，ｋ）も新しい商品識別子に関連付けられることを意味する。例えば、リアログラムは、札識別子とスロットフィールドとの間の関連付けを含むことができるため、特定の札識別子が札データベースＤＢにおいて新たな商品識別子と再関連付けされると、この変更がリアログラムデータベースＰに直ちに反映される。

【0055】

次に、図２を参照して、棚内の商品のレイアウトを、（前述した広義の）レイアウト情報の検出という形で確認する方法について説明する。

【0056】

ステップ２１０では、顧客に示される商品のフェイスが見えるゴンドラｉを含む、１つ又は複数のゴンドラの数値画像を中央サーバ２と通信する撮像装置によって取得する。ゴンドラｉの画像Ｉが得られ、中央サーバ２のメモリに記憶される。

【0057】

ステップ２２０では、画像Ｉ上に存在する全てのＥＳＬが自動検出される。この取得画像上の電子棚札の自動検出は、通常、中央サーバ２のメモリに記憶された、電子棚札が有し得る形状の所定のセットに対するパターン認識によって行われる。

【0058】

画像上で視認可能な全ての電子棚札が抽出された後、行検出ステップ２２１（すなわち、同一の棚レール１４に位置する連続したＥＳＬのセットの検出）を実行することができる。行ｊは、前のステップ２２０で検出された、ほぼ一直線上のＥＳＬのセットごとに検出される。次いで、行に対して、一番下の行から一番上の行まで、０から番号を振ることができる。

【0059】

ステップ２２２では、各行ｊで検出された棚札に対して、左端の棚札から右端の棚札まで、連番で１から番号が振られる。

【0060】

ここで、中央サーバ２は、ゴンドラｉで視認可能な行ｊがいくつあるか、また、各行に対応する各棚レール上に棚札がいくつ配置されているかを把握する。したがって、サーバは、図１を参照して定義したスロットフィールド（ｉ，ｊ，ｋ）を、取得した画像Ｉ上で視認可能な各ＥＳＬに属性付けることができる。

【0061】

以降の図２の方法の全ステップ、すなわちステップ２３０～２６０は、取得された画像上で視認可能な単一の所与のＥＳＬについて説明される。しかしながら、これらのステップは、必要に応じて何度実行されてもよい。特に、商品のフェイスの間違いや、棚の品切れ領域などの事象を自動検出するために、棚全体のＥＳＬごとに、又は、棚の地理的区画のＥＳＬごとに繰り返すことができる。

【0062】

ステップ２３０では、スロットフィールド（ｉ，ｊ，ｋ）に対応する所与のＥＳＬから開始して、このＥＳＬに対応する画像Ｉ上で視認可能な棚の一致領域を、サーバにより識別することができる。このステップで、サーバは所定の条件を使用する。尚、例示的な条件としては、所与のＥＳＬの直上、且つ、該ＥＳＬとその右隣りのＥＳＬとの間に位置する棚の領域を、そのＥＳＬに対応する棚の領域とする。当業者であれば、サーバにより一致領域の認識がどのように実行できるかを理解するのに困難はないであろう。

【0063】

次に、ステップ２４０で、サーバは、棚の決定領域に関するレイアウト情報を検出する。以下、このようなレイアウト情報の検出を実行する特定の態様について、いくつかの実施形態に対応する複数種類のレイアウト情報と関連して、更に詳細に説明する。

【0064】

ここで、システムは、検出されたレイアウト情報と、上記所与のＥＳＬに対応するスロットフィールド（ｉ，ｊ，ｋ）を対応させることができる。実際、システムは、前のステップ２２２の結果、棚内のＥＳＬの順序を把握しているため、視認可能なＥＳＬにそれぞれ対応するスロットフィールド（ｉ，ｊ，ｋ）を確立することができる。図２の方法では、所与のＥＳＬのスロットフィールドは、ステップ２２２の終わりとステップ２５０の始まりとの間の任意の時点でサーバによって決定される。

【0065】

次に、ステップ２５０で、リアログラムデータベースＰで利用可能な情報を参照する。ここでの目的は、ステップ２４０で検出されたレイアウト情報を特定の商品識別子に結び付けることである。尚、リアログラムデータベースＰには、スロットフィールド（ｉ，ｊ，ｋ）と、商品のＥＡＮ番号などの商品識別子Ｐ_ｉｊｋとの関連付けが含まれている。ステップ２５０では、スロットフィールド（ｉ，ｊ，ｋ）に対して商品識別子Ｐ_ｉｊｋが取得される。この製品スロットフィールドに関連して取得される識別子は、製品スロットフィールドに対応する棚の領域内に置かれ、販売可能であると想定される商品に対応する。

【0066】

最後に、ステップ２６０で、検出されたレイアウト情報が確認される。一般には、ステップ２３０で決定された棚の領域に陳列されることが想定される商品の商品識別子Ｐ_ｉｊｋがわかっている場合、その商品識別子Ｐ_ｉｊｋに関してリアログラムデータベースＰで利用可能な情報を参照することや、商品の想定正面図などの商品レイアウトに関する他の情報に商品識別子Ｐ_ｉｊｋが関連付けられた他のデータベースを参照することができる（後述する図１０に関する説明参照）。

【0067】

図２の方法により、棚内の商品のレイアウトを管理する非常に単純で効果的な手段が提供される。例えば、本方法は、棚の検出可能なＥＳＬごとに、定期的に実行することができる。棚の商品に関して検出されたレイアウト情報と、リアログラムデータベースの想定情報との間のリンクは、ＥＳＬを介して自動的に行われるため、手動入力の必要はほとんどない。ステップ２６０での確認の結果が否定的だった、不備のある商品、又は不備のあるスロットフィールドのリストは、オペレータに自動的に提供されるため、商品のレイアウトを修正するために適切な行動をとることができる。

【0068】

次に、方法２００の例示的な実施形態について説明する。本実施形態は、図３及び図４～７に参照される、特定のゴンドラｉ内の空の領域を検出するための方法３００に関する。

【0069】

ここで検出されるレイアウト情報は、単に、棚の所与の領域における商品の有無である。また、この特定の実施形態では、レイアウト情報は、所与のＥＳＬだけでなく、取得された画像で検出された各ＥＳＬについて検出される。

【0070】

つまり、本方法は、ゴンドラｉ全体で実行され、ゴンドラｉ内の全ての空の領域を検出する。

【0071】

しかしながら、本方法は、検出されたＥＳＬの総数のうち、任意のＥＳＬのセットに対して実行することもできる。

【0072】

ステップ３１０～３２２は、上記のステップ２１０～２２２と同様である。したがって、ステップ３１０～３２２の結果、サーバは、ゴンドラｉの取得画像Ｉを留保し、ゴンドラ内のＥＳＬの行ｊと各行のＥＳＬの順序とともに、ゴンドラ上の全てのＥＳＬを検出する。

【0073】

ＥＳＬ検出ステップ３２０を参照すると、中央サーバ２の表示システムは、検出の結果をリアルタイムで表示することができる。例示的な表示（ビュー）が図４に示される。このビューでは、ＥＳＬに対応する画像Ｉの検出区画が点線で示されており、そのうちＥＳＬ１０は棚１３に位置する。ゴンドラｉは複数の棚レール１３を含み、各棚レール１３には複数のＥＳＬが配置されている。本方法のこの段階では、ＥＳＬに対応する画像Ｉの部分全てがパターン認識によって抽出される。ＥＳＬの形状に対応する取得画像Ｉ上の全ての形状が、中央サーバ２によって１つの電子棚札として認識される。

【0074】

次にステップ３２１を参照すると、行に対して、一番下の行から一番上の行まで、０から番号を振ることができる。ステップ３２２では、各行ｊの検出された棚札に対して、左端の棚札から右端の棚札まで１から連番で番号が振られる。この操作の結果が図５に示される。説明のため、特定の電子棚札１０、より正確には一番下の行の左から２番目の棚札が抜粋されている。

【0075】

再び図３を参照すると、方法３００は、画像Ｉ上で視認可能な棚の空の領域を検出する補足的なステップ３３０を含む。このステップでは、棚の全ての空の領域が識別される。ここでは、空の製品スロットの識別は、ステップ３２０、３２１、３２２での棚札と行の検出後に実行されているが、棚札と行の検出前に、空の製品スロットの検出に対応する画像Ｉの区画を検出することも可能である。

【0076】

画像の読み取りと空の領域の検出には、いくつかの態様を使用することができる。空きスロットの検出は、棚の背面又は棚の行の所定のパターンに対する色認識によって実行することができる。例えば、各棚の上面が鮮やかな薄緑色で、棚の上面が見える角度で撮影したとされる画像Ｉがある場合、ステップ３３０では、鮮やかな薄緑色の区画の検出を行う。空でない領域に対応する画像の区画が空の領域と混同されるのを回避するため、棚の上面を特定のパターンで覆い、ステップ３３０で、このパターンを有する画像Ｉの区画の検出を行ってもよい。また、ステップ３３０で、明度が低い区画を画像Ｉから探すこともできる。ゴンドラｉの照明が作動している場合、品目を含む製品スロットは、空の製品スロットよりも画像Ｉ上での外観が明るくなる。

【0077】

空の領域を識別するステップ３３０の間、サーバは、中央サーバ２の検出の進行に応じて、ゴンドラの画像Ｉの処理結果をユーザに表示することができる。ステップ３３０による画像Ｉの処理結果は、図６に概略的に示される。

【0078】

説明のため、棚の特定の空の領域３０が図６に抜粋されている。この空の領域は、ゴンドラｉの行４の４番目の位置にある。

【0079】

ステップ３３０の結果として、中央サーバ２は、一方で、棚の空の領域に対応する画像Ｉの区画を抽出し、一方で、行ｊを検出して、画像Ｉ上に存在する各棚札を製品スロットフィールド（ｉ，ｊ，ｋ）に関連付けることができる。

【0080】

次に、空の領域を、品切れの商品、又はシステム内で欠落しているリアログラムリファレンスと対応させる必要がある。ここで、方法３００の一部として、サーバは、図７のＥＳＬ１０を含む視認可能な各ＥＳＬについてステップ３４０～３５１を実行する。

【0081】

ＥＳＬ１０は、行４の左から４番目の棚札であり、インデックスｋ＝４に相当する。また、撮像装置が特定のゴンドラ又は複数のゴンドラの画像を撮るように設定されているため、ゴンドラ番号がｉであることが既にわかっている。したがって、ＥＳＬ１０の対応する製品スロットフィールドは（ｉ，４，４）である。

【0082】

ステップ３４０で、サーバは、図５でスポットされたＥＳＬ１０に対応する画像Ｉ上で視認可能な一致領域（すなわち棚の領域）（図７において参照番号３０で示される）を求める。

【0083】

次に、ステップ３４１で、サーバは、ＥＳＬ１０について、対応する棚の領域（すなわち、領域３０）が空であるかどうかを確立することができる。図６の場合、領域３０は実際に空の区画として検出されている。

【0084】

次に、ステップ３５０で、リアログラムデータベースＰを参照することにより、サーバは、スロットフィールド（ｉ，４，４）に関連付けられた商品識別子Ｐ_ｉ４４を取得する。

【0085】

最後に、ステップ３５１で、棚の領域３０が空であるため、商品Ｐ_ｉ４４が棚にないと判定される。

【0086】

あるいは、所与のＥＳＬに対応する棚の領域がステップ３４１で空であることが判明し、ステップ３５０でサーバが関連する商品識別子の取得に失敗した場合、棚の該領域が商品に関連付けられておらず、リアログラムリファレンスに欠落がある可能性がある。この場合、リアログラムを完成させる必要があることを担当者に警告するために、特定の警告を実施することができる。

【0087】

ステップ３２０で予め検出された全てのＥＳＬに対してステップ３４０～３５１が実行された後、品切れの商品Ｐ_ｉｊｋのリストＬ_１、又は棚の空の領域に対応するスロットフィールドのリストをユーザに提供することができる。

【0088】

ステップ３５１の後、任意に、中央サーバ２のグラフィカルインターフェースにより、空の製品スロットを通知する信号とともに、棚の視覚表現を端末ユーザに表示することができる。この棚の視覚表現は、図４～７の表現に相当するものであってもよく、他の棚の任意の視覚表現でもよい。

【0089】

上記の視覚表現としては、例えば、長方形又は円などの特定の記号を含む、棚の空の製品スロットを強調する視覚的信号を用いることができる。あるいは、中央サーバ２は、検出された空の領域に関連するスロットフィールドを補充する必要があるというポップアップメッセージなどの視覚的警告を送ることもできる。これに代わって、端末ユーザへ棚の視覚表現をせず、空の領域に対応するスロットフィールドを数値形式で端末ユーザに提供することもできる。

【0090】

図８は、売り場のゴンドラの別の種類の視覚表現を示している。ここでは、並置された複数のゴンドラｉ＝１，２，３，４が示されている。２番目のゴンドラ内の行インデックスｊ＝７に対応する行が強調表示されている。この行内には、棚札ｋ＝１からｋ＝９が示されている。複数のゴンドラの空の領域を合わせて監視するため、ユーザは、方法３００によって検出された空の領域を強調表示する視覚信号及び／又は警告メッセージとともに、この複数のゴンドラの共同視覚表現を有利に用いることができる。

【0091】

このように、図３の方法３００は、空の領域を自動検出する非常に単純な方法を提供する。本方法を実行する中央サーバ２は、適切なアクションをとるため、在庫管理用システムとインターフェースで接続することができる。本方法は単純な画像読み取りに基づいているため、非常に簡単である。

【0092】

次に、図９を参照して第２の実施形態について説明する。商品画像データベースＡの想定正面図に対して不一致な棚内正面図を検出するための方法９００が提供される。この特定の実施形態では、「レイアウト情報」は、棚の所定の領域で視認可能な品目の正面図である。

【0093】

まず、図３の方法のステップ３１０と同様に、ステップ９１０で、ゴンドラｉを含む、１つ又は複数のゴンドラの画像Ｉを取得する。その結果、ゴンドラｉの画像Ｉが得られ、中央サーバ２のメモリに記憶される。

【0094】

取得した画像Ｉに基づき、図３の方法の前述のステップ３２０～３２２と同様に、取得画像上のＥＳＬの認識及びＥＳＬの順序付けのステップ９２０が実行される。

【0095】

次に、図３の方法のステップ３４０と同様に、ステップ９３０で、所与のＥＳＬに対応する棚の一致領域が決定される。有利には、ステップ９３０～９６０は、ステップ９２０で検出された全てのＥＳＬに対して実行される。

【0096】

一方、取得した画像Ｉの行が自動検出され、各行内の棚札が数えられているため、ステップ９３１で、検討される電子棚札をスロットフィールド（ｉ，ｊ，ｋ）と照合することができる。これに代わって、ＥＳＬを棚の領域に対応させる前にスロットフィールドを決定してもよい（すなわち、ステップ９３０と９３１は逆でもよい）。

【0097】

最後に、ステップ９３２で、サーバは、棚の決定領域内で、商品の実際の正面図に対応する画像Ｉの区画を抽出する。決定領域に品目が１列しか含まれていない場合、実際の正面図は、列の一番目の品目の前面となる。

【0098】

棚の決定領域に品目が複数列含まれている場合、単一の棚の領域に対して複数の実際の正面図が考慮され、それぞれの実際の正面図に対して次の比較ステップ９６０が繰り返されるか、あるいは、品目の列のうち１つだけが考慮され、実際の正面図が１つだけ取得される。

【0099】

次に、方法９００では、所与のＥＳＬ及び対応する棚の領域に対して、ステップ９４０～９６０が実行される。

【0100】

ステップ９４０では、図３の方法のステップ３５０と同様に、スロットフィールド（ｉ，ｊ，ｋ）に対応する領域にどの商品が陳列されるべきか決定するために、リアログラムデータベースＰが参照される。これにより、リアログラムデータベースＰから商品識別子Ｐ_ｉｊｋが取得される。

【0101】

次に、ステップ９５０で、中央サーバ２は、商品画像データベースＡを参照する。商品画像データベースＡにおいて、決定された商品識別子Ｐ_ｉｊｋに関連付けられた事前登録画像が取得される。この画像は、決定された商品識別子Ｐ_ｉｊｋの想定正面図に相当する。この画像は、通常、製品スロットフィールドと商品識別子との関連付けを示すために、リアログラムデータベースＰの視覚表現で使用される正面図の画像である。

【0102】

ステップ９６０では、取得された画像Ｉ上で視認可能な実際の正面図と商品画像データベースＡから取得された想定正面図との間の類似度が計算される。このステップ９６０の目的は、棚の商品スロットに陳列されている商品の実際の正面図が、想定正面図と一致しているか判定することである。特に、商品スロットに陳列されている商品が、リアログラムで想定されているものとは別のリファレンスに対応している状況を検出することができる。

【0103】

このように、リアログラムで計画されている商品の想定配置と、売り場での実際の商品の配置との間に不一致が生じている棚の領域を追跡することができるため、不一致を自動検出し、容易に修正することができる。

【0104】

このステップでは、決定された領域において適切な商品が顧客に示されているが、想定正面図を伴っていない状況を検出することもできる。例えば、領域内の品目の前面が正しい位置にない場合、想定正面図との類似度は低くなる。

【0105】

実際には、製品スロットフィールド（ｉ，ｊ，ｋ）の実際の正面図に対応する取得画像Ｉの区画のピクセルと、実際の正面図に対応する取得画像Ｉの区画の寸法と一致するように再調整された、商品データベースＡに含まれる適合された想定正面図の事前登録画像のピクセルとを比較することができる。

【0106】

ステップ９６０では、 画像を比較し、類似度を計算するための他の既知の手法を実施してもよい。特に、画像Ｉ上の実際の正面図と想定正面図との間の明度や向きの変化を考慮するように、単純なピクセル比較よりも賢いアルゴリズムを利用することができる。

【0107】

添付の図１０に例が示されている。左端の画像Ｉは、取得されたゴンドラｉの画像Ｉの一部に対応する。画像上では、特定の商品の正面図４０、ここではマンゴージュースのボトルの正面図が視認できる。

【0108】

ステップ９３０で、この商品の正面図が製品スロットフィールド（ｉ，０，８）（ゴンドラｉ、下から１つ目の行、左端の棚札から８番目の電子棚札）に対応することが決定される。

【0109】

図１０の中央の画像で模式的に表されるリアログラムデータベースＰでは、スロットフィールド（ｉ，０，８）は、実際には商品リファレンス「マンゴージュース」に対応する商品識別子に関連付けられている。リアログラムデータベースＰには、商品に関連付けられたフェイス情報や価格などの他の商品情報を含めることができる（後述の図１１の説明を参照）。

【0110】

右端の画像は、リアログラムデータベースＰと商品画像データベースＡの組み合わせの結果であり、想定されるゴンドラｉの完全なビューに相当する。実際には、この視覚表現に示されている全ての製品スロットは、その領域のスロットフィールドに関連してリログラムデータベースＰに商品識別子が登録されている商品の想定正面図を含む。

【0111】

実際の正面図４０に示されるマンゴージュースについては、スロットフィールド（ｉ，０，８）に関して、右端の画像に示される想定正面図４１が左端の画像の商品の正面図４０と類似であるため、ステップ９６０でこの正面図は一致している判定される。想定正面図４１及び実際の正面図４０は、異なる明度条件及び異なる視野角によってわずかに異なる場合がある。実際の正面図と想定正面図との間の類似度を計算する際、画像Ｉの撮影時の上記の条件を考慮することができる。

【0112】

画像Ｉ上で検出された全ての製品スロット、又は、検出された製品スロットの一部のみについて、ステップ９４０～９６０が完了した後、対応する製品スロットで提供された正面図が想定正面図と一致していないと判定されたスロットフィールド及び／又は商品識別子のリストＬ_２を出力することができる。このリストでは不一致だった製品の正面図が強調される。

【0113】

類似度の下限値を中央サーバ２に事前に登録し、この類似度を超えていれば実際の正面図が一致していると見なし、対応する製品スロットフィールド及び／又は商品識別子を不一致な製品正面図を強調するリストに含めないようにすることもできる。

【0114】

不一致な正面図に対応するスロットフィールド及び／又は商品識別子の出力リストは、検出された不一致を端末ユーザに警告する視覚信号を提供するステップ９７０で使用することができる。例えば、図１０の右端の画像に示される表現は、不一致な正面図に対応する強調区画を含むことができる。

【0115】

図９の不一致なフェイスを検出する方法は、図２の空の製品スロットを検出する方法と完全に独立していることに留意されたい。しかしながら、２つの方法は有利に組み合わせることもできる。例えば、空き領域を検出した後、残りの製品スロットのいくつか又は全てについて類似度の計算を行うことができる。最終的に警告が端末ユーザに送信され、空の領域（及び対応する商品識別子）、及び、実際の正面図が想定正面図と一致しない領域の両方が通知される。

【0116】

これに代わって、実際の正面図と想定正面図との間の類似度の計算は、対応する棚の領域が空であるという決定を含むこともできる。後者の場合、領域が空であるかどうか、また、商品の正面図が一致しているかどうかの２つの判定が一緒に行われる。

【0117】

最後に、図１１及び図１２、１３を参照して、第３の実施形態について説明する。本実施形態は、リアログラムデータベースＰに含まれる想定フェイス情報に対して、不一致な棚内商品フェイスを検出する方法１１００に関する。

【0118】

この特定の実施形態では、「レイアウト情報」は、棚の所定の領域内の品目の列数である。これに代わって、他の種類のフェイス情報（例えば、特定の製品専用の棚の領域の長さ）も考えられる。

【0119】

前述の方法９００と同様、方法１１００は、不一致な商品正面図を検出するため、有利には、棚の視認可能なＥＳＬごとに実行することができるが、これに代わって、所与の１つのＥＳＬ又は指定されたＥＳＬのセットのみに対して実行することもできる。

【0120】

ステップ１１１０～１１３１は、方法９００のステップ９１０～９３１と同様である。つまり、ＥＳＬが画像認識によって検出、順序付けされ、所与のＥＳＬについて、棚の対応する領域が決定され、対応するスロットフィールド（ｉ，ｊ，ｋ）が決定される。

【0121】

その後、棚の決定領域で視認可能な品目の列数を自動認識するステップ１１３２が実行される。

【0122】

理論上、棚の決定領域全体に対応するＥＳＬは１つであるため、決定領域内に陳列される品目の列は、全て同じ製品である必要がある。さもなければ、前述の方法９００は、リアログラムデータベースＰに含まれる情報に関して、実際の正面図の１つが間違っているという結果を返すはずである。ここでは、領域内の全ての列の品目が同じ商品であることを前提とする。

【0123】

後続のステップ１１４０は、方法９００のステップ９４０と同様であり、リアログラムデータベースＰにおいて、予め決定されたスロットフィールド（ｉ，ｊ，ｋ）に関連付けられた商品識別子Ｐ_ｉｊｋが決定される。

【0124】

次に、ステップ１１５０で、棚の決定領域内の商品Ｐ_ｉｊｋの想定列数が、リアログラムデータベースＰ（又は、フェイス情報が商品識別子に関連付けられた、サーバが通信可能な他の任意のデータベース）から取得される。

【0125】

最後に、ステップ１１６０で、取得された想定列数が、実際に検出された列数と比較される。

【0126】

方法９００のステップ９７０と同様に、ステップ１１７０では、想定フェイスと一致しないと判定された、棚の区画を強調する視覚信号及び／又は商品識別子のリストＬ_３及び／又はスロットフィールドのリストを端末ユーザに提供することができる。

【0127】

不一致な商品フェイスを検出するための方法１１００の実施例が、図１２以降の添付図面に示される。

【0128】

この図では、図４～７を参照して上述したものと同じゴンドラｉが考慮されている。ここでは、別のＥＳＬ１１について考える。このＥＳＬは、下から３番目の行（ｊ＝３）の２つ目（ｋ＝２）に位置する。図１２に示されるように、棚札１１は、同じ製品の複数の列に対応する。

【0129】

方法１１００の過程でＥＳＬ１１に到達すると、ステップ１１３２の結果として、商品３列を含む、スロットフィールド（ｉ，２，２）に対応するＥＳＬ１１の棚の一致領域が検出される。

【0130】

次に、ステップ１１４０で、撮影されたゴンドラ内の商品の想定配置を表すリアログラムデータベースＰを参照することにより、商品識別子Ｐ_ｉ２２が決定される。

【0131】

図１３を参照すると、ステップ１１５０で、サーバは、リアログラムデータベースＰから、スロットフィールド（ｉ，２，２）の想定フェイス情報として、想定製品の列数を取得する。この場合、想定列数は４であり、ステップ１１５０において、実際のフェイスが想定フェイスと一致しないと判定される。したがって、実際に検出されたフェイス情報は、リアログラムデータベースに記憶されている想定フェイスと一致しない。

【0132】

上記の３つの実施形態による方法３００、９００、及び１１００は、別々に且つ独立して説明されているが、不一致な商品レイアウトに関して起こりうる複数の事象を検出するために有利に組み合わせることができる。また、当業者であれば、棚の取得画像上で、好ましくは手入力せずに自動化された方法で読み取り可能な他の種類のレイアウト情報が、本発明の実施形態として考えられることを容易に理解するであろう。

【0133】

更に、上記の方法はいずれも、販売エリアの棚の商品レイアウトに関連するパフォーマンス指標を決定するためのシステムと非常に有利に結び付けることができる。

【0134】

例えば、前述の方法の１つに含まれるサーバは、売り場の全てのゴンドラ、又は棚の全ての領域の満足度指数を計算するように構成されてもよい。このような満足度指数は、商品が存在するか、商品が想定された商品リファレンスに準拠しているか、実際のフェイスが想定されたフェイスに準拠しているか、陳列されている商品が想定されたレイアウトに対して正しい向きに配列されているかどうか、の順で重要ないくつかの基準を考慮に入れることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】