(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0007】
以下では、回転寿司と呼ばれる寿司店(店舗)で用いられる商品管理装置及びプログラムについて、図面を参照して説明する。
【0008】
図1は、本実施形態に係る店舗システム1を模式的に示す図である。
図1に示すように、店舗システム1は、搬送装置10と、カメラ20と、報知装置30と、商品管理装置40とを有する。ここで、カメラ20、報知装置30及び商品管理装置40は、図示しない通信回線を介して通信可能に接続される。
【0009】
搬送装置10は、本店舗での商品となる寿司を搬送するための搬送装置である。搬送装置10は、略U字状に形成された循環型の搬送路(回転レーン)10aを有する。この回転レーン10aのうち、一部がバックヤードR1に配設され、他の部分が客室R2に配設される。
【0010】
バックヤードR1では、主に商品となる寿司等の製造が行われる。このバックヤードR1において、店員は、製造した寿司を搬送体となる皿Dに載せ、この皿Dを回転レーン10a上に載置する。また、客室R2には、回転レーン10aに沿ってカウンターテーブル等の客席(図示せず)が設けられる。搬送装置10は、回転レーン10a上に載置された皿Dを図中矢印方向に搬送することで、商品を客席に循環配送する。なお、搬送装置10の搬送については、公知の技術を用いるものとする。また、回転レーン10aの形状は
図1に限定されないものとする。
【0011】
カメラ20は、カラーCCD(Charge Coupled Device)やカラーCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた撮像装置である。カメラ20は、バックヤードR1側において、例えば客室R2との境界部分に設けられ、回転レーン10aを上方から撮像する。つまり、カメラ20は、回転レーン10a上に載置された皿Dを上方から撮像する。カメラ20は、例えば30fps等のフレームレートで動画像を撮像し、撮像画像として商品管理装置40に送信する。なお、本実施形態では、カメラ20を2台備える構成としたが、カメラ20の台数は特に問わないものとする。また、本実施形態では、カメラ20をバックヤードR1側に設ける構成としたが、これに限らず、客室R2側に設ける構成としてもよい。
【0012】
報知装置30は、バックヤードR1等に設けられる報知装置である。具体的に、報知装置30は、商品管理装置40の制御に従い動作することで、不適正な商品が存在することを店員に報知する。なお、報知装置30の報知方法は特に問わないものとする。例えば、報知装置30を電光掲示版や表示装置とすることで、メッセージや画像の出力により報知を行う構成としてもよい。また、報知装置30をブザーやスピーカ等の音声出力装置とすることで、音声の出力により報知を行う構成としてもよい。
【0013】
商品管理装置40は、バックヤードR1等に設けられるPC(Personal Computer)等の情報処理装置である。商品管理装置40は、カメラ20で撮像された商品(寿司等)の画像に基づき、回転レーン10aによって搬送される商品の状態を管理する。以下、商品管理装置40について説明する。
【0014】
図2は、商品管理装置40のハードウェア構成の一例を示すブロック図である。商品管理装置40は、情報処理を実行する情報処理部としてのマイクロコンピュータ41を備える。マイクロコンピュータ41は、主にCPU(Central Processing Unit)42と、ROM(Read Only Memory)43と、RAM(Random Access Memory)44とにより構成される。ROM43は、CPU42が実行可能な各種プログラムを記憶する。RAM44は、商品管理装置40の主記憶装置である。
【0015】
また、商品管理装置40のCPU42には、通信部45が接続される。通信部45は、CPU42の制御の下、カメラ20や報知装置30との間でデータ通信を行う。
【0016】
また、商品管理装置40のCPU42には、HDDやSSD等の記憶部46が接続される。記憶部46は、CPU42が実行可能な各種プログラムや各種ファイルを記憶する。また、記憶部46は、商品を載置する各皿Dの特徴量を格納した第1辞書ファイルF1と、各商品の特徴量を格納した第2辞書ファイルF2とを記憶する。
【0017】
図3は、第1辞書ファイルF1のデータ構成の一例を模式的に示す図である。第1辞書ファイルF1は、皿識別子に関連付けて、皿特徴量を記憶する。皿識別子は、皿の種別毎にユニークに割り当てられた識別子である。一般的に、回転寿司店においては、商品毎に価格がランク分けされており、当該価格毎に異なる模様の皿Dを用いて商品を搬送している。そこで、第1辞書ファイルF1の皿識別子には、商品の搬送に用いる皿Dの種別毎に、当該種別を識別可能な識別子が格納される。また、皿特徴量は、皿Dの形状や皿Dの模様等、各皿Dが有する外観上の特徴をパラメータ化したデータである。
【0018】
図4は、第2辞書ファイルF2のデータ構成の一例を模式的に示す図である。第2辞書ファイルF2は、各商品に関する情報を格納する。具体的に、第2辞書ファイルF2は、各商品の商品識別子に関連付けて、当該商品の品目を表す商品名、皿識別子、第1商品特徴量及び第2商品特徴量等を記憶する。
【0019】
ここで、商品識別子は、商品の種別毎に割り当てられた固有の識別子である。皿識別子は、商品を載置する皿Dの皿識別子である。第1商品特徴量は、商品の色合い、つや、模様、凹凸状況等、商品を構成する食材の外観上(表面)の特徴をパラメータ化したデータである。この第1商品特徴量は、主に商品の種別を特定するのに用いられる。また、第2商品特徴量は、商品を皿Dに載置した際の、当該商品の形やレイアウト、トッピング等の外形上の特徴をパラメータ化したデータである。この第2商品特徴量は、主に商品が所定の外形(適正外形)で皿Dに載置されているか否かを判定するのに用いられる。なお、第1商品特徴量及び第2商品特徴量は、適正な状態の商品に基づき作成されたものであるとする。
【0020】
次に、
図5を参照して、商品管理装置40の機能構成について説明する。
図5は、商品管理装置40の機能構成の一例を示すブロック図である。商品管理装置40は、CPU42と、ROM43や記憶部46に記憶されたプログラムとの協働により、画像取込部411、皿検出部412、商品特定部413、外形判定部414、商品管理部415及び報知処理部416を、機能部として備える。
【0021】
画像取込部411は、通信部45を介して、カメラ20が撮像した撮像画像の取り込みを行う機能部である。具体的に、画像取込部411は、図示しない通信回線を介して、カメラ20が撮像した撮像画像を順次取り込み、RAM44上に保存する。
【0022】
皿検出部412は、パターンマッチング技術等の公知技術を用いることで、画像取込部411により取り込まれた撮像画像内から皿D等を表す領域を検出する。ここで、皿検出部412の検出方法は特に問わないものとする。
【0023】
例えば、皿検出部412は、撮像画像から抽出した輪郭線と、第1辞書ファイルF1の皿特徴量に定義された形状とを比較する。そして、皿検出部412は、皿特徴量の形状に合致した撮像画像中の領域を、皿領域として検出する。また、皿検出部412は、皿領域内に表された模様と、第1辞書ファイルF1の皿特徴量に定義された模様とを比較し、合致する模様を特定する。そして、皿検出部412は、皿領域から合致した模様を取り除いた残りの領域を商品領域として検出する。また、皿検出部412は、皿領域の模様に合致した皿特徴量の模様の皿識別子を、皿Dの種別として特定する。
【0024】
商品特定部413は、画像取込部411により取り込まれた撮像画像から、当該撮像画像に含まれた商品を特定する。具体的に、商品特定部413は、皿検出部412で検出された商品領域から、外観上(表面)の特徴を表すデータを第1商品特徴量として抽出する。商品特定部413は、商品領域から抽出した第1商品特徴量と、第2辞書ファイルF2に登録された各登録商品の第1商品特徴量とを比較し、類似度をそれぞれ算出する。ここで、類似度は、撮像画像中の商品と、各登録商品とがどの程度類似しているかを定量的に示すものである。なお、商品特定部413は、皿検出部412で特定された皿識別子に基づき、当該皿識別子に関連付けられた各登録商品の第1商品特徴量を比較の対象として、類似度を算出する。そして、商品特定部413は、算出した類似度のうち、所定の閾値を上回り、且つ類似度の最も高い登録商品を、商品領域に表された商品の品目として特定(認識)する。
【0025】
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれる。一般物体認識については、例えば下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16、[平成24年9月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【0026】
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成24年9月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3046&rep=rep1&type=pdf >
【0027】
なお、類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合は、撮像画像中の商品の第1商品特徴量と、第2辞書ファイルF2に登録された各第1商品特徴量とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、類似度の総和が100%となるよう算出すればよい。
【0028】
外形判定部414は、パターンマッチング技術等の公知技術を用いることで、撮像画像に含まれた商品の外形が、適正か否かを判定する。具体的に、外形判定部414は、皿検出部412で検出された皿領域及び商品領域から、当該領域に存在する商品の形やレイアウト、トッピング等の外形上の特徴を第2商品特徴量として抽出する。また、外形判定部414は、商品特定部413が特定した登録商品の第2商品特徴量を第2辞書ファイルF2から読み出す。そして、外形判定部414は、皿領域から抽出した第2商品特徴量と、第2辞書ファイルF2から読み出した第2商品特徴量とを比較することで、商品の外形が合致するか否かを判定する。ここで、外形判定部414の判定結果が合致を示す場合、商品の外形が適正状態にあることを意味する。
【0029】
商品管理部415は、皿検出部412〜外形判定部414の処理結果に基づき、回転レーン10a上を搬送される各商品の管理を行う機能部である。具体的に、商品管理部415は、皿検出部412〜外形判定部414の処理結果に基づき、各商品が適正な状態にあるか否かを判定する。例えば、報知処理部416は、以下に示す処理結果(第1の処理結果、第2の処理結果、第3の処理結果)の場合に、商品が不適正状態にあると判定する。
【0030】
第1の処理結果としては、皿検出部412が皿領域を検出したにも関わらず、当該皿検出部412が商品領域を検出できない場合が挙げられる。また、第2の処理結果としては、皿検出部412が検出した商品領域から、商品特定部413が商品を特定できない場合が挙げられる。これらの処理結果が生じる原因としては、皿Dの上に商品が載置されていないことや、鮮度の劣化等により商品が本来有する特徴(色やつや等)が失われたことが考えられる。また、皿Dと商品との組み合わせが間違っていることが考えられる。そこで、商品管理部415は、第1又は第2の処理結果となった場合に、商品が不適正状態にあると判定する。
【0031】
また、第3の処理結果としては、商品特定部413が商品を特定したにも関わらず、外形判定部414が相違と判定した場合が挙げられる。第3の処理結果が生じる原因としては、皿Dに載置された商品の形やレイアウトが崩れていることや、トッピングに間違いがある可能性がある。そこで、商品管理部415は、第3の処理結果となった場合、商品が不適正状態にあると判定する。
【0032】
報知処理部416は、図示しない通信回線を介して報知装置30を制御し、報知を行う機能部である。具体的に、報知処理部416は、商品管理部415が不正行為と判定した場合、報知装置30を動作させることで、商品が不適正状態にあることを店員に報知する。なお、報知処理部416は、処理結果(第1〜第3の処理結果)に応じて、報知するメッセージ等や報知方法を切り替える構成としてもよい。これにより、店員は、報知内容を確認することで商品の状態を把握できるため、商品管理に係る利便性を向上させることができる。
【0033】
以下、
図6を参照して、商品管理装置40が行う商品管理処理について説明する。ここで、
図6は、商品管理装置40が行う商品管理処理の手順を示すフローチャートである。
【0034】
まず、画像取込部411は、カメラ20で撮像される撮像画像を順次取り込む(ステップS11)。皿検出部412は、ステップS11で順次取り込まれる撮像画像から、皿領域を検出するまで待機する(ステップS12;No)。皿検出部412は、皿領域を検出すると(ステップS12;Yes)、当該皿領域から商品領域を検出できたか否かを判定する(ステップS13)。ここで、皿検出部412が商品領域を検出できない場合(ステップS13;No)、商品管理部415は、商品が不適正状態にあると判定し、ステップS19を実行させる。
【0035】
一方、皿検出部412が、商品領域を検出した場合には(ステップS13;Yes)、ステップS14に移行する。なお、画像取込部411は、皿領域を検出する際に、皿種別(皿識別子)の特定も行うものとする。
【0036】
続いて、商品特定部413は、ステップS12で検出された商品領域から第1商品特徴量を抽出する(ステップS14)。次いで、商品特定部413は、抽出した第1商品特徴量と、第1辞書ファイルF1に登録された各登録商品の第1商品特徴量とを比較し、類似度を算出する(ステップS15)。そして、商品特定部413は、ステップS14で算出した類似度に基づき、商品(品種)の特定を行う(ステップS16)。なお、商品特定部413は、ステップS12で特定された皿識別子に基づき、当該皿識別子が関連付けられた登録商品の第1特徴量と比較を行うものとする。
【0037】
商品特定部413が商品を特定できなかった場合(ステップS16;No)、商品管理部415は、商品が不適正状態にあると判定し、ステップS19を実行させる。
【0038】
また、商品特定部413が商品を特定した場合(ステップS16;Yes)、外形判定部414は、商品領域に表された商品の外形に係る特徴を第2商品特徴量として抽出する(ステップS17)。続いて、外形判定部414は、ステップS17で抽出した第2商品特徴量が、ステップS15で特定された商品の第2商品特徴量に合致するか否かを判定する(ステップS18)。
【0039】
外形判定部414の判定結果が相違を示す場合(ステップS18;No)、商品管理部415は、商品が不適正状態にあると判定し、ステップS19を実行させる。
【0040】
ステップS19では、報知処理部416が、報知装置30を用いて報知を行い(ステップS19)、ステップS12に戻る。また、外形判定部414の判定結果が合致を示す場合には(ステップS18;Yes)、商品管理部415は、商品が適正状態にあると判定し、ステップS12に戻る。
【0041】
以上のように、本実施形態の商品管理装置40は、回転レーン10a上を搬送される商品の中から不適正状態の商品を検出し、その旨を店員に報知する。これにより、商品状態の監視に係る店員の労力を省くことができ、不適正状態の商品が搬送され続けてしまう事態を防ぐことができるため、商品の管理を効率的に行うことが可能となる。
【0042】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合せ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0043】
例えば、上記実施形態の商品管理装置40では、商品が不適正な状態にあると判定した場合に報知を行う構成としたが、これに限らないものとする。例えば、商品管理装置40は、商品が不適正な状態にあると判定した場合に、当該商品を回転レーン10a上から排除する構成としてもよい。この構成を採用する場合、店舗システム1は、
図7に示すように、排除装置50を更に備える。
【0044】
ここで、
図7は、店舗システム1の他の構成例(変形例)を示す図である。排除装置50は、バックヤードR1側において、回転レーン10aの一側に設けられる。排除装置50は、図示しない通信回線を介して商品管理装置40に接続されており、商品管理装置40の制御に従い動作する。具体的に、排除装置50は、回転レーン10a上に載置された皿D(商品)を他側(図中矢印方向)へと押し出すことで、当該皿Dを回転レーン10a上から排除する。なお、排除装置50は、回転レーン10aの搬送方向において、カメラ20が撮像する回転レーン10a上の領域の後段に設置することが好ましい。
【0045】
一方、商品管理装置40では、商品管理部415が、報知対象となる処理結果を検知すると、報知装置30を用いて報知するとともに、排除装置50を用いることで該当する商品を回転レーン10a上から排除する。具体的に、商品管理部415は、報知対象となる処理結果を検出すると、その処理の対象となった商品が排除装置50の設置位置に搬送されたタイミングで排除装置50を動作させる。なお、排除装置50を動作させるタイミングは、排除装置50の設置位置や回転レーン10aの搬送速度等に応じて、予め定められているものとする。これにより、不適正な状態の商品を回転レーン10a上から排除することができるため、商品管理に係る店員の労力を削減することができる。
【0046】
なお、本変形例では、商品管理部415が、排除装置50を制御する構成としたが、これに限らず、排除装置50の制御を行う専用の機能部を備えてもよい。
【0047】
また、上記実施形態では、店舗の一例として回転寿司を例に挙げたが、これに限らず、寿司以外の商品を取り扱う他の店舗に適用してもよい。なお、搬送路は循環型か否かを問わないものとする。
【0048】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するが、これに限らないものとする。例えば、プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して提供してもよい。係る記憶媒体は、例えばCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等が挙げられる。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らないものとする。例えば、記憶媒体は、LANやインターネット等により伝達されたプログラムをダウンロードすることで、記憶又は一時記憶した記憶媒体も含まれる。
【0049】
また、上記各実施形態の各装置で実行されるプログラムは、インターネット等のネットワーク経由で提供又は配布する構成としてもよい。