特許 7449683 管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-06

(45)【発行日】2024-03-14

(54)【発明の名称】管理装置

(51)【国際特許分類】

   B65G 1/137 20060101AFI20240307BHJP

   A47F 5/00 20060101ALI20240307BHJP

   G01G 19/52 20060101ALI20240307BHJP

   G06K 19/06 20060101ALI20240307BHJP

【ＦＩ】

B65G1/137 C

A47F5/00 Z

G01G19/52 D

G06K19/06 037

【請求項の数】 6

(21)【出願番号】P 2019215565

(22)【出願日】2019-11-28

(65)【公開番号】P2021084772

(43)【公開日】2021-06-03

【審査請求日】2022-10-27

(73)【特許権者】

【識別番号】000155469

【氏名又は名称】株式会社野村総合研究所

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100199277

【弁理士】

【氏名又は名称】西守 有人

(72)【発明者】

【氏名】廣戸 健一郎

(72)【発明者】

【氏名】堀内 悠生

【審査官】板澤 敏明

(56)【参考文献】

【文献】特開２０１８－２０６１５９（ＪＰ，Ａ）

【文献】特開２０１９－０９４１９１（ＪＰ，Ａ）

【文献】特開２００８－２８０１４０（ＪＰ，Ａ）

【文献】特開２０１７－２１５０６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３１０９６７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／１３７

Ａ４７Ｆ ５／００

Ｇ０６Ｑ ３０／０６

(57)【特許請求の範囲】

【請求項1】

商品棚の棚板に置かれた複数種類の商品の重量の変化を、当該棚板の重量を測定するセンサから取得する手段と、
前記棚板の少なくとも一部に複数種類の商品に対応する複数の値札又はコードが取り付けられている前記棚板の少なくとも一部を画角内に収めるように配置されたカメラから被写体の情報を取得する手段と、
前記カメラから取得された被写体の情報を解析することによって、人の所定の行為に関連する前記棚板の位置を特定する手段と、
取得された重量の変化と、特定された位置と、に基づいて、どの商品がピックアップされたかを検出する手段と、を備える管理装置。

【請求項2】

前記カメラの画角に収まる前記棚板の少なくとも一部には、複数種類の商品に対応する複数の値札が取り付けられており、
前記検出する手段は、特定された位置からピックアップされた商品の種類を特定する際に、前記複数の値札の位置を用いる請求項１に記載の管理装置。

【請求項3】

前記複数の値札のそれぞれは、対応する商品を特定する情報を符号化したコード情報を視認可能な態様で有する請求項２に記載の管理装置。

【請求項4】

前記カメラの画角に収まる前記棚板の少なくとも一部には、複数種類の商品に対応する複数のコードが取り付けられており、当該コードのそれぞれは、対応する商品を特定する情報を符号化したコード情報を視認可能な態様で有する請求項１に記載の管理装置。

【請求項5】

前記棚板には商品を種類ごとに仕切るためのセパレータが設けられている請求項１から４のいずれか一項に記載の管理装置。

【請求項6】

前記複数の値札のそれぞれの位置から対応する商品のセパレータの位置を推定する手段をさらに備える請求項２に従属する請求項５に記載の管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、商品棚に陳列される商品の管理に資する管理装置に関する。

【背景技術】

【0002】

近年、無人のＰＯＳで客自身が精算をするタイプや、ＰＯＳすらないタイプの無人店舗が広がりを見せている（例えば、非特許文献１参照）。無人店舗では、省人化の代わりに多種多様なセンサを数多く店舗に配置することで、不正防止や精算の自動化を実現している。

【0003】

無人店舗に設けられるセンサには例えばカメラ（例えば、特許文献１参照）や重量センサ（例えば、特許文献２参照）がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１９－５２３１９８号公報

【文献】特開２０１９－０３４８１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

図１の上段は商品陳列管理装置の従来技術を示す図であり、この従来技術では、各商品に専用の重量センサが設けられている。しかしながら、このようなシステムでは商品の配置の自由度が低く、コンビニエンスストアなどの店舗には受け入れられにくい。

【0006】

本発明はこうした課題に鑑みてなされたものであり、その目的は、商品棚への商品の配置の自由度や機動性を確保しつつ、商品のピックアップや返品の検出の自動化を実現できる技術の提供にある。

【課題を解決するための手段】

【0007】

本発明のある態様は、管理装置に関する。この管理装置は、商品棚の棚板に置かれた複数種類の商品の重量の変化を、当該棚板の重量を測定するセンサから取得する手段と、棚板の少なくとも一部に複数種類の商品に対応する複数の値札又はコードが取り付けられている前記棚板の少なくとも一部を画角内に収めるように配置されたカメラから被写体の情報を取得する手段と、前記カメラから取得された被写体の情報を解析することによって、人の所定の行為に関連する棚板の位置を特定する手段と、取得された重量の変化と、特定された位置と、に基づいて、どの商品がピックアップされたかを検出する手段と、を備える。

【0008】

「カメラ」は、ＲＧＢカメラであってもよいし、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラであってもよいし、それら二種類のカメラを含んでもよいし、それら二種類のカメラがひとつのカメラとして統合されたものであってもよい。ＴｏＦカメラは、深度情報を面的に取得できる赤外線カメラである。
「被写体の情報」は、ＲＧＢカメラから取得されたものであれば画像を含み、ＴｏＦカメラから取得されたものであれば深度情報を含み、二種類のカメラから取得されたものであれば画像および深度情報の両方を含む。したがって、被写体の情報は、画像および／または深度情報を含む。

【0009】

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、商品棚への商品の配置の自由度や機動性を確保しつつ、商品のピックアップや返品の検出の自動化を実現できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係る管理装置により実現される商品陳列の態様の例を示す模式図である。

【図2】実施の形態に係る管理装置により管理される商品棚を示す模式図である。

【図3】実施の形態に係る管理装置のハードウエア構成図である。

【図4】実施の形態に係る管理装置の機能および構成を示すブロック図である。

【図5】図４の客情報保持部の一例を示すデータ構造図である。

【図6】図４の商品情報保持部の一例を示すデータ構造図である。

【図7】図４の商品配置登録部における一連の処理の流れを示すフローチャートである。

【図8】図４の管理装置における一連の処理の流れを示すフローチャートである。

【図9】第１変形例に係る値札の斜視図である。

【図10】第２変形例に係る値札の斜視図である。

【発明を実施するための形態】

【0012】

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

【0013】

図１は、実施の形態に係る管理装置により実現される商品陳列の態様の例を示す模式図である。従来技術を示す図１の上側では、商品棚２の上には商品毎に専用の入れ物４ａ、４ｂ、４ｃ、４ｄが置かれている。入れ物４ａは、入れ物４ａに入れられた商品の重量を測定する重量センサ６ａと、セパレータ８ａと、を含む。他の入れ物も同様の構成を有する。このように、従来技術の商品陳列では、商品種類ごとに重量センサが用意されている。

【0014】

図１の従来技術の商品陳列では、商品の場所の登録が煩雑である。また、在庫量に応じた柔軟な配置換えも困難である。特に、前記従来技術では、図１に示されるように、在庫が減ってくると「歯抜け」陳列になる。これは見栄えが悪く、店舗には嫌われる傾向にある。

【0015】

このような従来技術の課題に鑑み、本実施の形態に係る管理装置では、商品登録の自動化を実現し、かつ、図１の下側に示されるような商品陳列の柔軟性を実現する。本実施の形態では、商品登録を自動化し、配置換えを可能とした結果、在庫が減ってきてもフェースアップとして中央に寄せることが可能となる。これにより、商品棚の見栄えを良好に保つことができる。

【0016】

図２は、実施の形態に係る管理装置により管理される商品棚１０を示す模式図である。商品棚１０は、上段の棚板１２と、下段の棚板１４と、を備える。上段の棚板１２には複数種類の商品が置かれている。上段の棚板１２には商品を種類ごとに仕切るためのセパレータ１６ａ、１６ｂ、１６ｃが設けられている。上段の棚板１２の前面には、複数種類の商品に対応する複数の値札１８ａ、１８ｂ、１８ｃが取り付けられている。値札１８ａには、対応する商品（図１の例では、「パンシチュー」）を特定する商品ＩＤを符号化したＱＲコード２０ａが印刷されている。値札１８ａと対応するセパレータ１６ａとは所定の位置関係を有するように配置される。例えば図２の形態では値札１８ａの左端とセパレータ１６ａとが一致するように配置される。この位置関係により、値札１８ａの位置からセパレータ１６ａの位置を推定することが可能となる。他の値札も値札１８ａと同様の構成を有する。

【0017】

上段の棚板１２にはさらに、上段の棚板１２全体の重量を測定するひとつの重量センサ２２が設けられている。重量センサ２２は、上段の棚板１２に置かれた複数種類の商品の重量の変化を検出可能であればどのようなセンサであってもよい。そのような重量センサ２２の構成自体は公知であるから本明細書では詳述しない。上段の棚板１２に置かれた商品の重量の変化は、それが上段の棚板１２上のどこで発生しても、重量センサ２２によって検出される。

【0018】

下段の棚板１４は、上段の棚板１２と同様に構成される。

【0019】

商品棚１０が設置されている店舗には、上段の棚板１２の全体および下段の棚板１４の前部を画角内に収める監視カメラ２４が設けられている。監視カメラ２４の画角に収まる上段の棚板１２の前部には複数の値札１８ａ、１８ｂ、１８ｃが取り付けられており、監視カメラ２４の画角に収まる下段の棚板１４の前部には、複数の値札１８ｄ、１８ｅが取り付けられている。

【0020】

管理装置は、無線または有線により監視カメラ２４および重量センサ２２と接続される。管理装置は、セパレータと値札との位置関係を知っているので、値札の位置を監視カメラ２４から検出することにより、動的に商品の位置の登録を行うことができる。

【0021】

管理装置は、客２６の腕２６ａを監視カメラ２４で検出し、次いで重量センサ２２から棚板全体の重量の変化を検出すると、商品のピックアップを検出する。腕２６ａの検出は公知のポーズ推定技術や深度情報を用いた方法などに依る。より具体的には、腕２６ａの位置の検出方法には、（１）ＴｏＦカメラの深度情報を用いて特定の棚のある位置に物体（腕）が外から接近してきたことを検出する方法、（２）ＲＧＢカメラを用いたポーズ推定を用いる方法、および（３）それら二つの方法を併用する方法、がある。図２の例では店舗内に取り付けられた監視カメラ２４（多くの場合、天井に設定される）が示されるが、これ以外にも例えば商品棚１０の上部に別のカメラ（不図示）を設置してもよい。監視カメラ２４および別のカメラのそれぞれは、ＲＧＢカメラとＴｏＦカメラとが統合されたカメラであってもよいし、どちらか一種類のみを備えてもよい。腕２６ａの位置の検出には、監視カメラ２４からの画像および／または深度情報と、別のカメラからの画像および／または深度情報と、を利用してもよい。
以下では、監視カメラ２４がＲＧＢカメラであって、監視カメラ２４から取得される画像を利用する場合を説明する。しかしながら、他の実施の形態では、ＴｏＦカメラから取得される深度情報のみを利用してもよく、あるいはＲＧＢ／ＴｏＦ統合カメラから取得される画像および深度情報を利用してもよいことは、本明細書に触れた当業者には理解される。
管理装置は、検出された腕２６ａの位置と登録されている商品の位置とから、どの場所にあるどの商品がピックアップされたか特定する。これにより、従業員が自由にセパレータを動かし、商品の置き場を変えても自動で商品位置の登録が済み、商品のピックアップ検知までできるようになるシステムが実現される。

【0022】

図３は、実施の形態に係る管理装置１００のハードウエア構成図である。管理装置１００は、メモリ１０４と、プロセッサ１０６と、通信インタフェース１０８と、ディスプレイ１０２と、入力インタフェース１１０と、を含む。これらの要素はそれぞれバス１１２に接続され、バス１１２を介して互いに通信する。

【0023】

メモリ１０４は、データやプログラムを記憶するための記憶領域である。データやプログラムは、メモリ１０４に恒久的に記憶されてもよいし、一時的に記憶されてもよい。プロセッサ１０６は、メモリ１０４に記憶されているプログラムを実行することにより、管理装置１００における各種機能を実現する。通信インタフェース１０８は、管理装置１００の外部との間でデータの送受信を行うためのインタフェースである。例えば、通信インタフェース１０８は監視カメラ２４および重量センサ２２と通信するためのインタフェースを含む。ディスプレイ１０２は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力インタフェース１１０は、ユーザからの入力を受け付けるためのデバイスである。入力インタフェース１１０は、例えば、ディスプレイ１０２上に設けられたタッチパネルや、各種入力キー等を含む。

【0024】

図４は、実施の形態に係る管理装置１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

【0025】

管理装置１００は、重量変化取得部１２０と、画像取得部１２２と、商品配置登録部１２４と、位置特定部１２６と、ピックアップ検出部１２８と、精算処理部１３０と、返品検出部１３１と、客情報保持部１３２と、商品情報保持部１３４と、を備える。

【0026】

図５は、図４の客情報保持部１３２の一例を示すデータ構造図である。客情報保持部１３２は、店舗内にいる客の情報を保持する。客情報保持部１３２は、客を特定する客ＩＤと、客の現在位置を示す店舗内の座標と、客が現在持っている未精算の商品の情報と、を対応付けて保持する。客の座標は、監視カメラ２４や他の監視カメラから得られる画像を解析することにより決定される。

【0027】

図６は、図４の商品情報保持部１３４の一例を示すデータ構造図である。商品情報保持部１３４は、商品棚１０に配置された各種商品の情報を保持する。商品情報保持部１３４は、商品を特定する商品ＩＤと、商品名と、商品の１個当たりの重量と、商品が置かれている棚板を特定する棚板ＩＤと、商品を仕切るためのセパレータの位置と、棚板における商品の存在範囲と、を対応付けて保持する。セパレータの位置は、棚板の左端を原点とし棚板の長手方向に沿って定義されるｚ座標により表される（図２参照）。商品の存在範囲はｚ座標の範囲により指定される。

【0028】

図４に戻り、重量変化取得部１２０は、商品棚１０の上段の棚板１２に置かれた複数種類の商品の重量の変化を、当該上段の棚板１２の重量を測定する重量センサ２２から取得する。重量変化取得部１２０は下段の棚板１４に置かれた商品の重量の変化についても同様に取得する。

【0029】

画像取得部１２２は、上段の棚板１２の少なくとも一部および下段の棚板１４の少なくとも一部を画角内に収める監視カメラ２４から画像を取得する。

【0030】

商品配置登録部１２４は、所定の時間間隔で、例えば１分ごと、１０分ごと、１時間ごと、に、画像取得部１２２によって取得された画像を解析することで上段の棚板１２や下段の棚板１４に置かれた商品の配置を特定する。あるいは店舗従業員などが棚の配置を変更した際に、スイッチを押したり、特定のポーズをとりポーズ推定により認識したりするなど明示的に登録指示を行ってもよい。商品配置登録部１２４は、特定された配置を商品情報保持部１３４に登録するか、特定された配置で商品情報保持部１３４を更新する。

【0031】

図７は、図４の商品配置登録部１２４における一連の処理の流れを示すフローチャートである。商品配置登録部１２４は、画像取得部１２２によって取得された商品棚１０の画像を取得する（Ｓ７０２）。商品配置登録部１２４は、取得された画像に写る値札のひとつを処理対象の値札として決定し、処理対象の値札のＱＲコードを読み取ることで、対応する商品を特定する（Ｓ７０４）。商品配置登録部１２４は、取得された画像における処理対象の値札の位置、すなわち処理対象の値札が取り付けられている棚板の棚板ＩＤおよび当該棚板に対して定義されるｚ座標で表される値札の位置、を特定する（Ｓ７０６）。商品配置登録部１２４は、ステップＳ７０６で特定した処理対象の値札の位置から、既知の位置関係を用いて対応するセパレータの位置を推定する。商品配置登録部１２４は、ステップＳ７０４で特定された商品に対応付けて、セパレータの位置の推定結果を商品情報保持部１３４の「棚板ＩＤ」、「セパレータ位置」に登録する。

【0032】

商品配置登録部１２４は取得された画像内の全ての値札が処理されたかを判定する（Ｓ７１０）。処理されていない値札が残っている場合（Ｓ７１０のＮ）、処理はステップＳ７０４に戻り、処理されていない値札が処理対象に選ばれる。全ての値札が処理された場合（Ｓ７１０のＹ）、商品配置登録部１２４は、商品情報保持部１３４に登録されている各商品のセパレータの位置から、当該商品の存在範囲を推定し、商品情報保持部１３４に登録する（Ｓ７１２）。例えば、商品配置登録部１２４は、ある商品のセパレータの位置がｚ＝１０で、その商品の隣の商品のセパレータの位置がｚ＝１５である場合、その商品の存在範囲を１０＜ｚ＜１５と推定する。図６には、このように推定した存在範囲の例が示されている。

【0033】

図４に戻り、位置特定部１２６は、画像取得部１２２によって取得された画像を解析することによって、客の所定の行為に関連する位置を特定する。本実施の形態では、位置特定部１２６は公知のポーズ推定の技術を用いて画像を解析し、客が棚板に置いてある商品に腕を伸ばしたことを検出する。位置特定部１２６は、合わせて、腕が伸ばされた先の棚板および当該棚板上の位置を特定する。図２の例では、位置特定部１２６は、上段の棚板１２の位置ｚ＝２０に客２６が腕２６ａを伸ばしたことを検出する。

【0034】

ピックアップ検出部１２８は、重量変化取得部１２０によって取得された重量の減少と、位置特定部１２６によって特定された位置と、に基づいて、どの客がどの商品をいくつピックアップしたかを検出する。ピックアップ検出部１２８は、複数の値札の位置から得られた各商品の存在範囲と、位置特定部１２６によって特定された位置と、を比較することで、ピックアップされた商品の種類を特定する。ピックアップ検出部１２８は、検出結果に基づき客情報保持部１３２を更新する。

【0035】

返品検出部１３１は、重量変化取得部１２０によって取得された重量の増加と、位置特定部１２６によって特定された位置と、に基づいて、どの客がどの商品を返品したかを検出する。返品検出部１３１は、検出結果に基づき客情報保持部１３２を更新する。

【0036】

精算処理部１３０は、客が店舗から出る（退店する）ときの精算処理を実行する。精算処理部１３０は、例えば、客が店舗のＰＯＳで精算処理を行う際に、客情報保持部１３２に登録されている当該客の未精算商品の情報をＰＯＳに送信してもよい。あるいはまた、精算処理部１３０は、客の退店が確認された後、客情報保持部１３２に登録されている当該客の未精算商品の情報に基づいて電子決済を実行してもよい。電子決済は、クレジットカード決済、電子マネー決済など公知の決済技術により実現されてもよい。
なお、本実施の形態では無人決済店舗への適用を例として説明するが、これに限られず、本実施の形態の技術的思想は例えば在庫管理等のシステムにも適用可能である。

【0037】

以上の構成による管理装置１００の動作を説明する。
図８は、図４の管理装置１００における一連の処理の流れを示すフローチャートである。位置特定部１２６は、監視カメラ２４から取得した画像を解析することで、客の腕を検出する（Ｓ８０２）。腕を検出すると（Ｓ８０２のＹ）、重量変化取得部１２０は、腕が伸びている先の棚板に取り付けられている重量センサの測定値を監視し、当該棚板の重量の変化を検出する（Ｓ８０４）。重量の変化がないまま腕が検出されなくなると（Ｓ８０４のＮ）、管理装置１００は客が商品をピックアップしなかったと判定し、処理をステップＳ８０２に戻す。

【0038】

ステップＳ８０４で重量の減少が検出された場合（Ｓ８０４の「減少検出」）、位置特定部１２６は、検出された腕の位置を特定する（Ｓ８０６）。ピックアップ検出部１２８は、ステップＳ８０６で特定された位置と、商品情報保持部１３４に登録されている商品の位置と、からピックアップされた商品の種類を特定する（Ｓ８０８）。例えば、ピックアップ検出部１２８は、腕が伸ばされた先の棚板に置かれている各商品の存在範囲を商品情報保持部１３４を参照して特定し、ステップＳ８０６で特定された位置がどの存在範囲に含まれるかを決定する。ピックアップ検出部１２８は、ステップＳ８０６で特定された位置を存在範囲に含む商品を特定する。

【0039】

図２の例では、ピックアップ検出部１２８は、腕２６ａが伸ばされている先の上段の棚板１２の棚板ＩＤ「ＰＡＮ１」に対応する商品およびその存在範囲を、図６の商品情報保持部１３４から以下のように特定する。
「パンシチュー」：２＜ｚ＜１０
「チーズパン」：１０＜ｚ＜１５
「アップルパイ」：１５＜ｚ＜３０
次に、ピックアップ検出部１２８は、特定された腕２６ａの位置ｚ＝２０を含む存在範囲が上記三つのうちの１５＜ｚ＜３０であると決定し、当該存在範囲に対応する「アップルパイ」を、ピックアップされた商品として特定する。

【0040】

ピックアップ検出部１２８は、ステップＳ８０４で検出された重量の減少量と、ステップＳ８０８で特定された商品の１個当たりの重量と、からピックアップされた商品の個数を、（ステップＳ８０４で検出された重量の減少量）／（特定された商品の１個当たりの重量）として算出する（Ｓ８１０）。例えば、商品の１個当たりの重量が５０ｇであり、検出された重量の減少量が１００ｇであった場合、ピックアップ検出部１２８は１００ｇ／５０ｇ＝２個の商品がピックアップされたと判定する。なお、ステップＳ８１０で算出される数が自然数にならない場合（例えば、１．５や２．３等）、ピックアップ検出部１２８は不正等の想定外の事象が発生していると判定し、オペレータに画像の確認を依頼してもよい。

【0041】

ピックアップ検出部１２８は、取得された画像を処理することで、商品をピックアップした客を特定する（Ｓ８１２）。例えば、管理装置１００は、客の入店時にＩＤ認証を行い、その後継続して来店客の場所をトラッキングする。図５の例では、管理装置１００は客の客ＩＤに対応する客の現在位置を更新し続ける。したがって、ステップＳ８０２、Ｓ８０４で商品のピックアップが検出された際に、誰がその棚の前に立っているか把握することができる。ピックアップ検出部１２８は、重量に変化があったことをトリガとして（Ｓ８０４）、ポーズ推定や深度情報などを組み合わせて腕とその腕の持ち主の来店客とを対応付ける処理を行う。ピックアップ検出部１２８は、ステップＳ８１２で特定された客が、ステップＳ８０８で特定された商品を、ステップＳ８１０で算出された個数、ピックアップしたことを、客情報保持部１３２に登録する（Ｓ８１４）。例えば、客ＩＤ「Ｃ０１」で特定される客が「アップルパイ」を「１個」ピックアップしたことが検出された場合、ピックアップ検出部１２８は、客情報保持部１３２の客ＩＤ「Ｃ０１」のエントリにある未精算商品の情報に「アップルパイ：１」を追加する（あるいはまた、既に「アップルパイ：１」が登録されていたならば、その数を＋１して「アップルパイ：２」とする）。

【0042】

ステップＳ８０４で重量の増加が検出された場合（Ｓ８０４の「増加検出」）、位置特定部１２６は、検出された腕の位置を特定する（Ｓ８１６）。返品検出部１３１は、ステップＳ８１６で特定された位置と、商品情報保持部１３４に登録されている商品の位置と、から返品された商品の種類を特定する（Ｓ８１８）。返品検出部１３１は、ステップＳ８０４で検出された重量の増加量と、ステップＳ８１８で特定された商品の重量と、が一致するか否か判定する（Ｓ８２０）。一致しない場合（Ｓ８２０のＮ）、客が誤ってまたは意図的に異なる商品を棚に戻している可能性があるので、返品検出部１３１はオペレータに画像の確認を依頼する（Ｓ８２２）。一致する場合（Ｓ８２０のＹ）、返品検出部１３１は、取得された画像を処理することで、商品を返品した客を特定する（Ｓ８２４）。返品検出部１３１は、ステップＳ８２４で特定された客が、ステップＳ８１８で特定された商品を返品したことを、客情報保持部１３２に登録する（Ｓ８２６）。例えば、客ＩＤ「Ｃ０２」で特定される客が「チョコレート」を返品したことが検出された場合、返品検出部１３１は、客情報保持部１３２の客ＩＤ「Ｃ０２」のエントリにある未精算商品の情報の「チョコレート：２」の数を－１して「チョコレート：１」とする。
なお、対象客の未精算商品の情報の中に、減算対象の商品がない場合もあるが、その場合は、オペレータに画像の確認を依頼してもよい。
また、ステップＳ８１２では客ＩＤを客が提示するカードから、またはスマートフォンのアプリとの通信により取得し、客ＩＤで特定される客をトラッキングすることにより当該客の位置を把握する場合を説明したが、これに限られない。プライバシーへの配慮が要求されない他の実施の形態では、取得された画像に写る客の顔を顔認識により認識することで、客ＩＤを取得してもよい。

【0043】

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

【0044】

本実施の形態に係る管理装置１００によると、棚板全体の重量の変化の検出と監視カメラの画像および／または深度情報からのポーズ推定とを組み合わせることで、どの客がどの棚のどの商品を何個ピックアップしたか、または返品したかを精度よく検出することができる。
また、返品動作に関しては、この動作をそのまま、店員の商品出しに適用することもできる。ただし、店員の商品出しに適用する場合には、図７の動作を重量増加検出時に実施することが望ましい。これにより、棚になかった新しい商品の品出しでも適切に商品数の検出が可能となる。

【0045】

また、本実施の形態に係る管理装置１００では、商品ごとに重量センサを設ける必要はなく、商品の配置の登録は監視カメラ２４を介して行われる。したがって、上記のピックアップ／返品自動検出を実現しつつ、ある商品が売り切れた場合でも棚板上の商品の配置を動的に変更することで、フェースアップを実現し、見栄えを保つことができる。また、新たな商品を棚に陳列したり、棚に陳列する商品を入れ替えたりする際の手間も削減できる。

【0046】

商品の単品重量が分かっている場合、原理的には、重量センサのみでもどの商品がピックアップ／返品されたかを検出することはできる。しかしながら、商品の単品重量が似通っている場合には、重量センサのみではピックアップされた商品の特定は困難である。そこで、本実施の形態に係る管理装置１００では、重量センサと画像認識とを合わせることで、商品の単品重量が似通っている場合にも確実にピックアップ／返品された商品を特定できる。

【0047】

重量センサを用いず監視カメラ２４のみでもどの商品がピックアップ／返品されたかを検出できる場合がある。しかしながら、図２に示されるように現実の商品棚１０および監視カメラ２４の配置構成では棚板の奥が死角になることが多く（図２では下段の棚板１４の奥が監視カメラ２４の死角になっている）、監視カメラ２４の画像のみでピックアップ／返品を検出する手法は汎用性に欠ける。その点、本実施の形態に係る管理装置１００では、重量センサと画像認識とを合わせることで、監視カメラ２４の画角に値札さえ入っていれば確実にピックアップ／返品された商品を特定することができ、監視カメラ２４の画角に商品自体が入っている必要はない。

【0048】

また、本実施の形態に係る管理装置１００では、商品を仕切るセパレータを設けている。したがって、例えば棚板の奥のほうで商品を入れ替えるといった不正行為を防止できる。図２の例でセパレータがない場合、客は、上段の棚板１２のチーズパンのところに腕を伸ばし、そのままチーズパンを素通りして奥の方で腕を左に曲げ、隣のパンシチューを掴んで引き出すことができる。この場合、チーズパンの値段「１５０円」でパンシチュー（「２４０円」）が買えてしまうことになる。パンシチューとチーズパンとの重量の差が大きければ、このような不正行為を検出できるが、重量の差が小さい場合は検出が比較的困難となる。そこで、商品間を仕切るセパレータを設けることにより、このような不正行為を防止することができる。

【0049】

以上、実施の形態に係る管理装置１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

【0050】

実施の形態では、商品を特定する情報を符号化したＱＲコードを値札に印刷する場合を説明したが、これに限られず、バーコードが用いられてもよく、より一般的には、値札が、対応する商品を特定する情報を符号化したコード情報を視認可能な態様でまたはカメラが認識可能な態様で有する他の形態が用いられてもよい。

【0051】

図９は、第１変形例に係る値札３０２の斜視図である。値札３０２は、それが示す商品を特定する情報を符号化した一次元コード３０４を含む。一次元コード３０４は、商品の名称および値段が印刷されている表示面３０６とは異なる面に設けられている。特に、一次元コード３０４は表示面３０６を前面としたときの上面に設けられている。これにより、表示面３０６は客に視認されやすく、かつ、一次元コード３０４は監視カメラ２４に写りやすくなる。

【0052】

図１０は、第２変形例に係る値札３０８の斜視図である。値札３０８には、それが示す商品を特定する情報を符号化したカラーコード３１０が印刷されている。図１０の例では３色のカラーコード３１０が、商品の名称および値段が印刷されている表示面に印刷されている。カラーコード３１０は表示面とは異なる面に設けられてもよい。

【0053】

他の変形例として、値札に人間の目では認識できないステルスコードを付与してもよいし、値札を電子値札として構成する場合には点滅パターンによりコードを表してもよい。

【0054】

実施の形態では、値札の位置からセパレータの位置を推定し、セパレータの位置から商品の存在範囲を推定する場合を説明したが、これに限られない。例えば、セパレータを設けない場合には、隣り合う値札の間を二等分する位置を商品の存在範囲の境界として認識してもよい。あるいはまた、商品ごとに存在範囲の大きさを予め設定してもよい。あるいはまた、商品配置登録部１２４による商品配置の自動登録を廃し、各商品の存在範囲を手入力で登録してもよい。この場合でもピックアップ検出部１２８による自動ピックアップ／返品検出は可能である。

【0055】

実施の形態では、返品される個数は１つと仮定したが、これに限られない。例えば図８のフローのステップＳ８２０において、重量の増加量と返品された商品の単品重量とが一致するかを判定することに代えて、重量の増加量と返品された商品の単品重量の整数倍とが一致するかを判定してもよい。この場合、一致しなければステップＳ８２２に進み、一致すればステップＳ８２４に進む。その後のステップＳ８２６において、特定された客の特定された商品の個数を、（重量の増加量）／（返品された商品の単品重量）個分減らす処理が行われる。

【符号の説明】

【0056】

１０ 商品棚、 １２ 上段の棚板、 １４ 下段の棚板、 ２２ 重量センサ、 ２４ 監視カメラ、 ２６ 客、 １００ 管理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】