特許 6239537 商品管理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239537

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】商品管理装置及びプログラム

(51)【国際特許分類】

   A47G 23/08 20060101AFI20171120BHJP

   G06Q 50/12 20120101ALI20171120BHJP

【ＦＩ】

   A47G23/08 Z

   G06Q50/12

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2015-1785(P2015-1785)

(22)【出願日】2015年1月7日

(65)【公開番号】特開2016-123788(P2016-123788A)

(43)【公開日】2016年7月11日

【審査請求日】2016年8月22日

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】小林 徹

【審査官】 大瀬 円

(56)【参考文献】

【文献】 特開２００８−１７９０２（ＪＰ，Ａ）

【文献】 特開２０１１−７６３４６（ＪＰ，Ａ）

【文献】 特開平１１−１２３１３６（ＪＰ，Ａ）

【文献】 特開平８−１８５４４０（ＪＰ，Ａ）

【文献】 特開２００３−２７１７１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ４７Ｇ ２３／０８

Ｇ０６Ｑ ５０／１２

(57)【特許請求の範囲】

【請求項1】

搬送体に載置された状態で搬送される商品の管理を行う商品管理装置であって、
前記搬送体の搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から前記搬送体を表す第１領域を検出する第１検出手段と、
前記第１領域から前記商品を表す第２領域を検出する第２検出手段と、
前記搬送路の搬送方向とは異なる他の方向に移動した前記第１領域を検出する第３検出手段と、
前記第１検出手段が検出した前記第１領域に対する、前記第２検出手段及び前記第３検出手段の検出結果に基づいて、不正行為を検出する第４検出手段と、
を備え、
前記第４検出手段は、前記第３検出手段が搬送路外から搬送路内へ移動した前記第１領域を検出し、前記第２検出手段が当該第１領域から前記第２領域を検出できない場合に、不正行為を検出したと判定する商品管理装置。

【請求項2】

前記第２領域に表された商品を特定する特定手段を更に備え、
前記第４検出手段は、前記第３検出手段が搬送路外から搬送路内へ移動した前記第１領域を検出し、前記第２検出手段が当該第１領域から前記第２領域を検出し、前記特定手段が当該第２領域に表された商品を特定できない場合に、不正行為を検出したと判定する請求項１に記載の商品管理装置。

【請求項3】

前記第２領域に表された商品の外形が所定の適正外形に合致するかを判定する判定手段を更に備え、
前記第４検出手段は、前記第３検出手段が搬送路外から搬送路内へ移動した前記第１領域を検出し、前記第２検出手段が当該第１領域から前記第２領域を検出し、前記判定手段が当該第２領域について相違すると判定した場合に、不正行為を検出したと判定する請求項１に記載の商品管理装置。

【請求項4】

前記第３検出手段は、前記他の方向に移動した前記第２領域を前記撮像画像から検出し、
前記第４検出手段は、前記第３検出手段が搬送路内から搬送路外へ移動した前記第２領域を検出し、且つ当該第２領域の検出元となる前記第１領域の移動を検出しない場合に、不正行為を検出したと判定する請求項１〜３の何れか一項に記載の商品管理装置。

【請求項5】

搬送体に載置された状態で搬送される商品の管理を行うコンピュータを、
前記搬送体の搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から前記搬送体を表す第１領域を検出する第１検出手段と、
前記第１領域から前記商品を表す第２領域を検出する第２検出手段と、
前記搬送路の搬送方向とは異なる他の方向に移動した前記第１領域を検出する第３検出手段と、
前記第１検出手段が検出した前記第１領域に対する、前記第２検出手段及び前記第３検出手段の検出結果に基づいて、不正行為を検出する第４検出手段と、
して機能させ、
前記第４検出手段は、前記第３検出手段が搬送路外から搬送路内へ移動した前記第１領域を検出し、前記第２検出手段が当該第１領域から前記第２領域を検出できない場合に、不正行為を検出したと判定するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、商品管理装置及びプログラムに関する。

【背景技術】

【0002】

従来、回転寿司と呼ばれる寿司店が存在している。係る店舗では、商品である寿司を皿に載せ、厨房や客席に接するように設けられた回転レーン上に載置することで、客席に寿司を循環搬送している。また、従来、各皿に当該皿に載置される商品の種別等を記録したＲＦＩＤタグを取り付け、搬送路に設置した読取装置で読み取ることで、搬送路上の商品を管理する技術が提案されている。

【0003】

ところで、上記の店舗では、回転レーン上の商品に対して不正行為が行われる場合がある。係る不正行為としては、例えば、空の皿を回転レーン上に戻す行為や、回転レーン上の皿から商品（寿司）のみを取り上げる行為等が挙げられる。このような不正行為を検出するには、店員が各客の動作を監視することになるが、労力が大きく見落としが発生する可能性もある。なお、上記した商品管理に係る従来技術では、客の不正行為を検出することはできないため、上記の問題を解決することはできない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、回転寿司等の店舗において客の不正行為を検出することが可能な商品管理装置及びプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の商品管理装置は、搬送体に載置された状態で搬送される商品の管理を行う商品管理装置であって、前記搬送体の搬送路上を撮像する撮像装置から撮像画像を取り込む取込手段と、前記取込手段が取り込んだ撮像画像から前記搬送体を表す第１領域を検出する第１検出手段と、前記第１領域から前記商品を表す第２領域を検出する第２検出手段と、前記搬送路の搬送方向とは異なる他の方向に移動した前記第１領域を検出する第３検出手段と、前記第１検出手段が検出した前記第１領域に対する、前記第２検出手段及び前記第３検出手段の検出結果に基づいて、不正行為を検出する第４検出手段と、を備え、前記第４検出手段は、前記第３検出手段が搬送路外から搬送路内へ移動した前記第１領域を検出し、前記第２検出手段が当該第１領域から前記第２領域を検出できない場合に、不正行為を検出したと判定する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係る店舗システムを模式的に示す図である。

【図2】図２は、商品管理装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、第１辞書ファイルのデータ構成の一例を模式的に示す図である。

【図4】図４は、第２辞書ファイルのデータ構成の一例を模式的に示す図である。

【図5】図５は、商品管理ファイルのデータ構成の一例を模式的に示す図である。

【図6】図６は、商品管理装置の機能構成の一例を示すブロック図である。

【図7】図７は、商品管理装置が行う商品管理処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0007】

以下では、回転寿司と呼ばれる寿司店（店舗）で用いられる商品管理装置及びプログラムについて、図面を参照して説明する。

【0008】

図１は、本実施形態に係る店舗システム１を模式的に示した図である。図１に示すように、店舗システム１は、搬送装置１０と、カメラ２０と、報知装置３０と、商品管理装置４０とを有する。ここで、カメラ２０、報知装置３０及び商品管理装置４０は、図示しない通信回線を介して通信可能に接続される。

【0009】

搬送装置１０は、本店舗での商品となる寿司を搬送するための搬送装置である。搬送装置１０は、略Ｕ字状に形成された循環型の搬送路（回転レーン）１０ａを有する。この回転レーン１０ａのうち、一部がバックヤードＲ１に配設され、他の部分が客室Ｒ２に配設される。

【0010】

バックヤードＲ１では、主に商品となる寿司等の製造が行われる。このバックヤードＲ１において、店員は、製造した寿司を搬送体となる皿Ｄに載せ、この皿Ｄを回転レーン１０ａ上に載置する。また、客室Ｒ２には、回転レーン１０ａに沿ってカウンターテーブル等の客席ＳＥが設けられる。搬送装置１０は、回転レーン１０ａ上に載置された皿を図中矢印方向に搬送することで、寿司を客席ＳＥに循環配送する。なお、搬送装置１０の搬送については、公知の技術を用いるものとする。また、回転レーン１０ａの形状は図１に限定されないものとする。

【0011】

カメラ２０は、カラーＣＣＤ（Charge Coupled Device）やカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えた撮像装置である。カメラ２０は、客席ＳＥ毎に設けられ、当該客席ＳＥに相対する回転レーン１０ａ上の所定領域を上方から撮像する。カメラ２０は、例えば３０ｆｐｓ等のフレームレートで動画像を撮像し、撮像画像として商品管理装置４０に送信する。なお、カメラ２０の台数は特に問わないものとする。なお、カメラ２０の各々が生成する撮像画像には、対応する客席ＳＥを特定可能な席識別子が付帯されているものとする。

【0012】

報知装置３０は、例えばバックヤードＲ１等に設けられ、店舗の店員に報知を行うための装置である。具体的に、報知装置３０は、商品管理装置４０の制御に従い動作することで、不適正な商品が存在することを店員に報知する。なお、報知装置３０の報知方法は特に問わないものとする。例えば、報知装置３０を電光掲示版や表示装置とすることで、メッセージや画像の出力により報知を行う構成としてもよい。また、報知装置３０をブザーやスピーカ等の音声出力装置とすることで、音声の出力により報知を行う構成としてもよい。

【0013】

商品管理装置４０は、バックヤードＲ１等に設けられるＰＣ（Personal Computer）等の情報処理装置である。商品管理装置４０は、カメラ２０で撮像される撮像画像に基づき、各客席ＳＥに搬送される商品（寿司等）の状態を管理する。以下、商品管理装置４０について説明する。

【0014】

図２は、商品管理装置４０のハードウェア構成の一例を示すブロック図である。商品管理装置４０は、情報処理を実行する情報処理部としてのマイクロコンピュータ４１を備える。マイクロコンピュータ４１は、主にＣＰＵ（Central Processing Unit）４２と、ＲＯＭ（Read Only Memory）４３と、ＲＡＭ（Random Access Memory）４４とにより構成される。ＲＯＭ４３は、ＣＰＵ４２が実行可能な各種プログラムを記憶する。ＲＡＭ４４は、商品管理装置４０の主記憶装置である。

【0015】

また、商品管理装置４０のＣＰＵ４２には、通信部４５が接続される。通信部４５は、ＣＰＵ４２の制御の下、カメラ２０や報知装置３０との間でデータ通信を行う。

【0016】

また、商品管理装置４０のＣＰＵ４２には、ＨＤＤやＳＳＤ等の記憶部４６が接続される。記憶部４６は、ＣＰＵ４２が実行可能な各種プログラムや各種ファイルを記憶する。また、記憶部４６は、第１辞書ファイルＦ１と、第２辞書ファイルＦ２と、商品管理ファイルＦ３とを記憶する。

【0017】

図３は、第１辞書ファイルＦ１のデータ構成の一例を模式的に示す図である。図３に示すように、第１辞書ファイルＦ１は、皿識別子に関連付けて、価格や皿特徴量を記憶する。皿識別子は、皿の種別毎に割り当てられた固有の識別子である。一般的に、回転寿司店においては、商品毎に価格がランク分けされており、当該価格毎に異なる模様の皿を用いて商品を搬送している。そこで、第１辞書ファイルＦ１の皿識別子には、商品の搬送に用いる皿の種別毎に、当該種別を識別可能な識別子が格納される。また、第１辞書ファイルＦ１の価格には、皿の種別（皿識別子）に対応する価格が格納される。また、第１辞書ファイルＦ１の皿特徴量は、皿の形状や皿の模様等、各皿が有する外観上の特徴をパラメータ化したデータである。

【0018】

図４は、第２辞書ファイルＦ２のデータ構成の一例を模式的に示す図である。図４に示すように、第２辞書ファイルＦ２は、各商品の商品識別子に関連付けて、当該商品の商品名（品名）、皿識別子、第１商品特徴量及び第２商品特徴量等を記憶する。

【0019】

ここで、商品識別子は、商品の種別毎に割り当てられた固有の識別子である。皿識別子は、商品を載置する皿の皿識別子である。第１商品特徴量は、商品の色合い、つや、模様、凹凸状況等、商品を構成する食材の外観上（表面）の特徴をパラメータ化したデータである。この第１商品特徴量は、主に商品の種別を特定するのに用いられる。また、第２商品特徴量は、商品を皿に載置した際の、当該商品の形やレイアウト、トッピング等の外形上の特徴をパラメータ化したデータである。この第２商品特徴量は、主に商品が所定の外形（適正外形）で皿に載置されているか否かを判定するのに用いられる。なお、第１商品特徴量及び第２商品特徴量は、適正な状態の商品に基づき作成されたものであるとする。

【0020】

図５は、商品管理ファイルＦ３のデータ構成の一例を模式的に示す図である。商品管理ファイルＦ３は、席識別子に関連付けて、商品情報、不正行為フラグ、不正行為画像等を記憶する。

【0021】

席識別子は、客席ＳＥの各々に割り当てられた固有の識別子である。商品情報は、商品識別子と日時情報とを有する。ここで、商品情報には、回転レーン１０ａ上から取得された商品の商品識別子と、取得が行われた日時を示す日時情報とが格納される。不正行為フラグは、不正行為が行われたか否かを識別するためのフラグ情報である。また、不正行為画像には、不正行為が検出された際のカメラ２０の撮像画像が格納される。

【0022】

後述する商品管理部４１６では、客が回転レーン１０ａから皿（商品）を取得する毎に、当該商品の商品識別子を含む商品情報を、その客が座る客席ＳＥの席識別子に関連付けて登録する。また、商品管理部４１６では、商品に対する不正行為を検出すると、当該商品の商品情報に関連付けて、不正行為フラグを設定する。また、商品管理部４１６は、当該商品の商品情報に関連付けて、不正行為が検出された際の撮像画像を不正行為画像として登録する。なお、席識別子に関連付けされた商品情報、不正行為フラグ、不正行為画像は、対応する客席ＳＥの客の会計完了に伴い、商品管理ファイルＦ３からクリアされるものとする。

【0023】

次に、図６を参照して、商品管理装置４０の機能構成について説明する。図６は、商品管理装置４０の機能構成の一例を示すブロック図である。商品管理装置４０は、ＣＰＵ４２と、ＲＯＭ４３や記憶部４６に記憶されたプログラムとの協働により、画像取込部４１１、皿検出部４１２、商品特定部４１３、外形判定部４１４、動作検出部４１５、商品管理部４１６及び報知処理部４１７を機能部として備える。

【0024】

画像取込部４１１は、本実施形態の取込手段に対応する機能部である。画像取込部４１１は、通信部４５を介して、カメラ２０が撮像した撮像画像の取り込みを行う。具体的に、画像取込部４１１は、図示しない通信回線を介して、カメラ２０が撮像した撮像画像を順次取り込み、ＲＡＭ４４上に保存する。なお、カメラ２０が撮像した撮像画像には、当該カメラ２０の席識別子が付帯されているものとする。

【0025】

皿検出部４１２は、本実施形態の第１検出手段及び第２検出手段に対応する機能部である。皿検出部４１２は、パターンマッチング技術等の公知技術を用いることで、画像取込部４１１により取り込まれた撮像画像内から皿や商品を表す領域を検出する。ここで、皿検出部４１２の検出方法は特に問わないものとする。

【0026】

例えば、皿検出部４１２は、撮像画像から抽出した輪郭線と、第１辞書ファイルＦ１の皿特徴量に定義された形状とを比較する。そして、皿検出部４１２は、皿特徴量の形状に合致した撮像画像中の領域を、皿領域（第１領域）として検出する。また、皿検出部４１２は、皿領域内に表された模様と、第１辞書ファイルＦ１の皿特徴量に定義された模様とを比較し、合致する模様を特定する。そして、皿検出部４１２は、皿領域内から合致した模様部分を取り除いた残りの領域を商品領域（第２領域）として検出する。また、皿検出部４１２は、皿領域の模様に合致した皿特徴量の模様の皿識別子を、皿の種別として特定する。

【0027】

商品特定部４１３は、本実施形態の特定手段に対応する機能部である。商品特定部４１３は、画像取込部４１１により取り込まれた撮像画像から、当該撮像画像に含まれた商品を特定する。具体的に、商品特定部４１３は、皿検出部４１２で検出された商品領域から、外観上（表面）の特徴を表すデータを第１商品特徴量として抽出する。商品特定部４１３は、商品領域から抽出した第１商品特徴量と、第２辞書ファイルＦ２に登録された各登録商品の第１商品特徴量とを比較し、類似度をそれぞれ算出する。ここで、類似度は、撮像画像中の商品と、各登録商品とがどの程度類似しているかを定量的に示すものである。なお、商品特定部４１３は、皿検出部４１２で特定された皿識別子に基づき、当該皿識別子に関連付けられた各登録商品の第１商品特徴量と比較することで、類似度を算出する形態としてもよい。そして、商品特定部４１３は、算出した類似度のうち、所定の閾値を上回り、且つ類似度の最も高い登録商品を、商品領域に表された商品の品目として特定（認識）する。

【0028】

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれる。一般物体認識については、例えば下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２７年１月６日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

【0029】

また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２７年１月６日検索]，インターネット<URL: http://jamie.shotton.org/work/publications/cvpr08.pdf >

【0030】

なお、類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合は、撮像画像中の商品の第１商品特徴量と、第２辞書ファイルＦ２に登録された各第１商品特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、類似度の総和が１００％となるよう算出すればよい。

【0031】

外形判定部４１４は、本実施形態の判定手段に対応する機能部である。外形判定部４１４は、パターンマッチング技術等の公知技術を用いることで、撮像画像に含まれた商品の外形が、適正か否かを判定する。具体的に、外形判定部４１４は、皿検出部４１２で検出された皿領域及び商品領域から、当該領域に存在する商品の形やレイアウト、トッピング等の外形上の特徴を第２商品特徴量として抽出する。また、外形判定部４１４は、商品特定部４１３が特定した登録商品の第２商品特徴量を第２辞書ファイルＦ２から読み出す。そして、外形判定部４１４は、皿領域から抽出した第２商品特徴量と、第２辞書ファイルＦ２から読み出した第２商品特徴量とを比較することで、商品の外形が合致するか否かを判定する。ここで、外形判定部４１４の判定結果が合致を示す場合、商品の外形が適正状態にあることを意味する。

【0032】

動作検出部４１５は、本実施形態の第３検出手段に対応する機能部である。動作検出部４１５は、フレーム間差分法などの公知技術を用いることで、画像取込部４１１により取り込まれた連続する複数の撮像画像から、皿や商品に対して行われた客の動作を検出する。具体的に、動作検出部４１５は、皿検出部４１２により検出された皿領域や商品領域が、回転レーン１０ａの搬送方向とは異なる他の方向に移動した場合に、その領域を検出する。

【0033】

例えば、動作検出部４１５は、第１の動作として、皿検出部４１２により検出された回転レーン１０ａ上の皿領域が、回転レーン１０ａ内から回転レーン１０ａ外に移動したことを検出する。また、動作検出部４１５は、第２の動作として、皿検出部４１２により検出された回転レーン１０ａ外の皿領域が、回転レーン１０ａ外から回転レーン１０ａ内に移動したことを検出する。ここで、第１の動作は、客が回転レーン１０ａ上から皿を取得する動作に相当する。また、第２の動作は、客が回転レーン１０ａ上に皿を戻す動作に相当する。

【0034】

また、動作検出部４１５は、第３の動作として、皿検出部４１２により検出された皿領域及び商品領域の組のうち、商品領域にのみ回転レーン１０ａ内から回転レーン１０ａ外に移動したことを検知する。この第３の動作は、客が回転レーン１０ａ上の皿から商品のみを取得する動作（不正行為）に相当する。

【0035】

商品管理部４１６は、本実施形態の第４検出手段に対応する機能部である。商品管理部４１６は、皿検出部４１２〜動作検出部４１５の処理結果に基づき、商品管理ファイルＦ３への商品情報の登録や登録の取り消しを行う。

【0036】

例えば、商品管理部４１６は、動作検出部４１５が第１の動作を検出すると、動作対象の皿領域（商品領域）から商品特定部４１３が特定した商品識別子を用いて、商品情報の登録を行う。より詳細には、商品管理部４１６は、第１の動作が検出されると、検出元の皿領域（商品領域）から商品特定部４１３が特定した商品識別子と、現在の日時情報とを含む商品情報を生成する。そして、商品管理部４１６は、第１の動作が検出された撮像画像の席識別子に関連付けて、生成した商品情報を商品管理ファイルＦ３に登録する。

【0037】

また、商品管理部４１６は、動作検出部４１５が第２の動作を検出すると、商品特定部４１３や外形判定部４１４等の処理結果に基づき、不正行為が行われたか否かを判定する。例えば、商品管理部４１６は、以下に示す処理結果（第１の処理結果、第２の処理結果、第３の処理結果）の場合に、不正行為を検出したと判定する。

【0038】

第１の処理結果としては、第２の動作が検出された皿領域について、皿検出部４１２が商品領域を検出できない場合が挙げられる。また、第２の処理結果としては、第２の動作が検出された皿領域について、皿検出部４１２が商品領域を検出したにも関わらず、商品特定部４１３が商品を特定できない場合が挙げられる。これらの処理結果が生じる原因としては、商品の全部又は一部が取り除かれた状態の皿が回転レーン１０ａ上に戻されたことが考えられる。そのため、商品管理部４１６は、第１又は第２の処理結果となった場合、不正行為を検出したと判定し、不正行為の記録を行う。

【0039】

より詳細には、商品管理部４１６は、第２辞書ファイルＦ２を参照し、第２の動作が検出された皿領域の皿識別子に対応する商品識別子を、対象識別子として特定する。また、商品管理部４１６は、商品管理ファイルＦ３を参照し、第２の動作が検出された撮像画像の席識別子に関連付けて登録された商品情報の中から、対象識別子を含むものを検索する。商品管理部４１６は、検索した商品情報の１つ、例えば日付情報が直近の商品情報に関連付けて、不正行為フラグを設定する。また、商品管理部４１６は、不正行為フラグを設定した商品情報に関連付けて、第２の動作が検出された撮像画像を不正行為画像として商品管理ファイルＦ３に登録する。なお、不正行為フラグが設定された商品情報については、対象識別子の検索範囲から除外するものとする。

【0040】

また、第３の処理結果としては、第２の動作が検出された皿領域について、商品特定部４１３が商品を特定したにも関わらず、外形判定部４１４の判定結果が相違を示す場合が挙げられる。この処理結果が生じる理由としては、商品の一部が取り除かれた状態の皿が回転レーン１０ａ上に戻されたことが考えられる。そのため、商品管理部４１６は、第２の処理結果となった場合、不正行為を検出したと判定し、不正行為の記録を行う。

【0041】

より詳細には、商品管理部４１６は、商品特定部４１３が特定した商品の商品識別子を、対象識別子として特定する。商品管理部４１６は、商品管理ファイルＦ３を参照し、第２の動作が検出された撮像画像の席識別子に関連付けて登録された商品情報の中から、対象識別子を含むものを検索する。そして、商品管理部４１６は、上記と同様に、検索した商品情報の１つに、不正フラグを設定するとともに不正行為画像を登録する。

【0042】

なお、上記した第１〜第３の処理結果以外の処理結果として、第２の動作が検出された皿領域内の商品領域について、商品特定部４１３が商品を特定し、且つ外形判定部４１４が合致と判定した場合が挙げられる。この場合、商品管理部４１６は、回転レーン１０ａ上から一度取られた皿が、回転レーン１０ａ上にそのまま戻されたと判定し、登録した商品情報を取り消す処理を行う。より詳細には、商品管理部４１６は、検出元の撮像画像の席識別子に関連付けて登録された商品情報の中から、商品特定部４１３が特定した商品識別子を含むものを検索する。そして、商品管理部４１６は、検索した商品情報の１つ、例えば日時情報が直近の取引情報を商品管理ファイルＦ３から削除する。

【0043】

また、商品管理部４１６は、動作検出部４１５が撮像画像内の商品領域について第３の動作を検出した場合、不正行為を検出したと判定し、不正行為の記録を行う。より詳細には、商品特定部４１３は、商品特定部４１３が特定した商品識別子と、現在の日時情報とを含む商品情報を生成し、第３の動作が検出された撮像画像の席識別子に関連付けて商品管理ファイルＦ３に登録する。そして、商品管理部４１６は、商品管理ファイルＦ３に登録した商品情報に対し、不正フラグを設定するとともに不正行為画像を登録する。なお、第３の動作の場合、回転レーン１０ａから皿が取り上げられたわけではないため、第３の動作であることを示す情報を商品情報に付加することで、他の不正行為と識別可能な構成としてもよい。

【0044】

報知処理部４１７は、図示しない通信回線を介して報知装置３０を制御し、報知を行う機能部である。具体的に、報知処理部４１７は、商品管理部４１６が不正行為と判定した場合、報知装置３０を動作させることで、不正行為が検出された客席ＳＥ（撮像画像）の席識別子を店員に報知する。なお、報知処理部４１７は、商品管理部４１６の判定結果に応じて、報知するメッセージ等や報知方法を切り替える構成としてもよい。これにより、店員は、報知内容を確認することで、不正行為の種別を判別することができるため、利便性を向上させることができる。

【0045】

以下、図７を参照して、商品管理装置４０が行う商品管理処理について説明する。ここで、図７は、商品管理装置４０が行う商品管理処理の手順を示すフローチャートである。なお、本処理の前提として、商品特定部４１３、外形判定部４１４及び動作検出部４１５は、バックグラウンドで動作しているものとする。

【0046】

まず、画像取込部４１１は、カメラ２０で撮像される撮像画像を順次取り込む（ステップＳ１１）。皿検出部４１２は、ステップＳ１１で取り込まれた撮像画像から、皿領域が検出されるまで待機する（ステップＳ１２；Ｎｏ）。皿検出部４１２は、皿領域を検出すると（ステップＳ１２；Ｙｅｓ）、当該皿領域に基づき皿種別の特定及び商品領域の検出を行う。

【0047】

続いて、商品管理部４１６は、動作検出部４１５が何れかの動作を検出したか否かを判定する。ここで、動作検出部４１５が第１の動作を検出した場合（ステップＳ１３；Ｙｅｓ）、商品管理部４１６は、検出元の皿領域（商品領域）から特定された商品識別子を含む商品情報を生成する。そして、商品管理部４１６は、第１の動作が検出された撮像画像の席識別子に関連付けて、生成した商品情報を商品管理ファイルＦ３に登録し（ステップＳ１４）、ステップＳ１２に処理を戻す。

【0048】

また、動作検出部４１５が第２の動作を検出した場合（ステップＳ１３；Ｎｏ→ステップＳ１５；Ｙｅｓ）、商品管理部４１６は、ステップＳ１６に移行する。ステップＳ１６において、商品管理部４１６は、第２の動作が検出された皿領域から、皿検出部４１２が商品領域を検出できたか否かを判定する（ステップＳ１６）。皿検出部４１２が商品領域を検出することができない場合（ステップＳ１６；Ｎｏ）、商品管理部４１６は、不正行為を検出したと判定し、ステップＳ２２に移行する。

【0049】

皿検出部４１２が商品領域を検出できた場合（ステップＳ１６；Ｙｅｓ）、商品管理部４１６は、検出された商品領域から商品特定部４１３が商品を特定できたか否かを判定する（ステップＳ１７）。商品特定部４１３が商品を特定することができない場合（ステップＳ１７；Ｎｏ）、商品管理部４１６は、不正行為を検出したと判定し、ステップＳ２２に移行する。

【0050】

商品特定部４１３が商品を特定できた場合（ステップＳ１７；Ｙｅｓ）、商品管理部４１６は、特定された商品についての外形判定部４１４の判定結果が、適正外形にあることを示す合致か否かを判定する（ステップＳ１８）。外形判定部４１４の判定結果が相違を示す場合（ステップＳ１８；Ｎｏ）、商品管理部４１６は、不正行為を検出したと判定し、ステップＳ２２に移行する。

【0051】

外形判定部４１４の判定結果が合致を示す場合（ステップＳ１８；Ｙｅｓ）、商品管理部４１６は、一度取られた皿が回転レーン１０ａ上に正常に戻されたと判定する。そして、商品管理部４１６は、登録した商品情報を取り消した後（ステップＳ１９）、ステップＳ１２に処理を戻す。

【0052】

また、動作検出部４１５が第３の動作を検出した場合（ステップＳ１３；Ｎｏ→ステップＳ１５；Ｎｏ→ステップＳ２０；Ｙｅｓ）、商品管理部４１６は、不正行為を検出したと判定する。次いで、商品管理部４１６は、検出元の皿領域（商品領域）から特定された商品識別子を含む商品情報を生成する。そして、商品管理部４１６は、第３の動作が検出された撮像画像の席識別子に関連付けて、生成した商品情報を商品管理ファイルＦ３に登録し（ステップＳ２１）、ステップＳ２２に移行する。なお、動作検出部４１５が何れの動作も検出しない場合には（ステップＳ１３；Ｎｏ→ステップＳ１５；Ｎｏ→ステップＳ２０；Ｎｏ）、商品管理部４１６は、ステップＳ１２に処理を戻すものとする。

【0053】

続くステップＳ２２において、商品管理部４１６は、不正行為と判定した商品の商品情報に不正行為フラグの設定及び不正行為画像の登録を行うことで、不正行為の記録を行う（ステップＳ２２）。そして、報知処理部４１７は、報知装置３０を動作させることで、不正行為が行われた席識別子を報知し（ステップＳ２３）、ステップＳ１２に処理を戻す。

【0054】

以上のように、本実施形態の商品管理装置４０は、回転レーン１０ａ上を撮像した撮像画像から、商品（皿）の状態と客の動作を検出し、その検出結果に基づいて不正行為の有無を判定する。これにより、商品に対する客の不正行為を検出することができるため、監視に係る店員の労力を省くことが可能となり、商品の管理を効率的に行うことができる。

【0055】

また、商品管理装置４０は、不正行為を検出した場合に、報知装置３０と協働することで不正行為が行われた客席ＳＥの席識別子を店員に報知する。これにより、不正行為が行われた旨及び当該不正行為が行われた客席ＳＥを店員に報知することができるため、不正行為の状況確認に係る利便性を向上させることができる。

【0056】

また、商品管理装置４０は、不正行為を検出した場合に、該当する席識別子（商品情報）に関連付けて不正行為フラグ及び不正行為画像を商品管理ファイルＦ３に登録することで、不正行為の記録を行う。これにより、不正行為の状況確認を効率的に行うことができるため、商品管理に係る業務の効率化を図ることができる。特に、不正行為画像を参照することで、不正行為の対象となった商品や、不正行為が行われた際の状況を確認することができるため、不正行為の妥当性判断の支援を行うことができる。

【0057】

また、商品管理装置４０は、客が回転レーン１０ａから商品を取得する動作を検出すると、当該商品の商品識別子を含む商品情報を、対応する席識別子に関連付けて商品管理ファイルＦ３に登録する。これにより、各席識別子の商品情報を参照することで、客が取得した商品の内訳を容易に確認することができるため、会計処理を効率的に行うことができる。例えば、商品情報に含まれた商品識別子に対応する皿識別子を第２辞書ファイルＦ２から特定し、当該識別子に対応する価格を第１辞書ファイルＦ１から特定する。そして、全ての商品情報から特定した価格を合算することで、客が取得した商品の合計金額を算出することができる。また、各席識別子の商品情報を参照することで、商品が取得された順番や時間間隔を容易に確認することができるため、店舗運営に係る分析等を効率的に行うことができる。

【0058】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合せ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0059】

例えば、上記実施形態の商品管理装置４０では、不正行為を検出した場合に報知を行う構成としたが、報知を行わない構成としてもよい。

【0060】

また、上記実施形態では、客席ＳＥ毎にカメラ２０を設ける構成としたが、これに限らず、複数の客席ＳＥに対し１つのカメラ２０を設ける構成としてもよい。この構成を採用する場合、カメラ２０が撮像する撮像画像内において、各客席ＳＥの位置に対応する検出領域が予め定められており、各客席ＳＥの席識別子が対応する検出領域に付帯されるものとする。そして、商品管理装置４０の商品管理部４１６は、皿検出部４１２が検出した皿領域や商品領域が属する検出領域の席識別子に基づき、商品情報の登録や不正行為の記録を行うものとする。

【0061】

また、上記実施形態では、店舗の一例として回転寿司を例に挙げたが、これに限らず、寿司以外の商品を取り扱う他の店舗に適用してもよい。なお、搬送路は循環型か否かを問わないものとする。

【0062】

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するが、これに限らないものとする。例えば、プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体（記録媒体）に記憶（記録）して提供してもよい。係る記憶媒体は、例えばＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等が挙げられる。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らないものとする。例えば、記憶媒体は、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードすることで、記憶又は一時記憶した記憶媒体も含まれる。

【0063】

また、上記各実施形態の各装置で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配布する構成としてもよい。

【符号の説明】

【0064】

１ 店舗システム
１０ 搬送装置
１０ａ 回転レーン
２０ カメラ
３０ 報知装置
４０ 商品管理装置
４１１ 画像取込部
４１２ 皿検出部
４１３ 商品特定部
４１４ 外形判定部
４１５ 動作検出部
４１６ 商品管理部
４１７ 報知処理部

【先行技術文献】

【特許文献】

【0065】

【特許文献1】特開２００６−２０８８１号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】