特許 6974028 管理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6974028

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】管理装置及びプログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20211118BHJP

   G07G 1/00 20060101ALI20211118BHJP

   G06Q 30/06 20120101ALI20211118BHJP

   G06T 1/00 20060101ALI20211118BHJP

【ＦＩ】

   G07G1/12 331Z

   G07G1/00 331B

   G07G1/12 321K

   G06Q30/06

   G06T1/00 340A

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2017-85510(P2017-85510)

(22)【出願日】2017年4月24日

(65)【公開番号】特開2017-201516(P2017-201516A)

(43)【公開日】2017年11月9日

【審査請求日】2020年2月21日

(31)【優先権主張番号】特願2016-90108(P2016-90108)

(32)【優先日】2016年4月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】横山 佑季子

(72)【発明者】

【氏名】高橋 伸幸

【審査官】 毛利 太郎

(56)【参考文献】

【文献】 特開２０１３−２４２８３９（ＪＰ，Ａ）

【文献】 特開２０１６−０９１１０４（ＪＰ，Ａ）

【文献】 特開２０１２−２４８１６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００− １／１４

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

登録装置によって登録された商品を購入する客を撮像した第１撮像画像と、複数ある会計装置を各々識別する会計装置識別子のうち、前記登録が完了した商品の会計処理を行うよう指定された一の会計装置の会計装置識別子と、を対応付けて管理する管理手段と、
前記会計装置が前記会計処理を開始するにあたり、当該会計装置を操作する客を撮像した第２撮像画像に写っている客が、当該会計装置の会計装置識別子に対応する前記第１撮像画像に写っている客と一致するかを判定する判定手段と、
前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客が操作する前記会計装置で実行される前記会計処理を抑制する制御手段と、
を備え、
前記制御手段は、前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客と同じ客が写っている第１撮像画像に対応する会計装置識別子を、前記第２撮像画像に写った客が操作する前記会計装置に通知する管理装置。

【請求項2】

登録装置によって登録された商品を購入する客を撮像した第１撮像画像と、複数ある会計装置を各々識別する会計装置識別子のうち、前記登録が完了した商品の会計処理を行うよう指定された一の会計装置の会計装置識別子と、を対応付けて管理する管理手段と、
前記会計装置が前記会計処理を開始するにあたり、当該会計装置を操作する客を撮像した第２撮像画像と、前記管理手段が管理する前記第１撮像画像の各々とを照合し、前記第２撮像画像に写った客と同じ客が写っている第１撮像画像を特定する特定手段と、
前記特定手段が特定した前記第１撮像画像に対応する会計装置識別子と、前記第２撮像画像に写った客が操作する前記会計装置の会計装置識別子とが一致するかを判定する判定手段と、
前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客が操作する前記会計装置で実行される前記会計処理を抑制する制御手段と、
を備え、
前記制御手段は、前記判定手段が不一致と判定したことを条件に、前記特定手段が特定した前記第１撮像画像に対応する会計装置識別子を、前記第２撮像画像に写った客が操作する前記会計装置に通知する管理装置。

【請求項3】

前記制御手段は、前記特定手段が前記第１撮像画像を特定できないことを条件に、前記第２撮像画像に写った客が操作する前記会計装置で実行される前記会計処理を抑制する請求項２に記載の管理装置。

【請求項4】

前記制御手段は、前記判定手段が一致と判定したことを条件に、前記第２撮像画像に写った客が操作する前記会計装置に前記会計処理を実行させる請求項１又は２に記載の管理装置。

【請求項5】

前記管理手段は、前記第１撮像画像及び前記会計装置識別子とともに、当該第１撮像画像に写った客の会計を識別する会計識別子とを対応付けて管理し、
前記制御手段は、前記判定手段が一致と判定したことを条件に、一致した前記第１撮像画像に対応する前記会計識別子を、前記第２撮像画像に写った客が操作する前記会計装置に通知する請求項４に記載の管理装置。

【請求項6】

管理装置のコンピュータを、
登録装置によって登録された商品を購入する客を撮像した第１撮像画像と、複数ある会計装置を各々識別する会計装置識別子のうち、前記登録が完了した商品の会計処理を行うよう指定された一の会計装置の会計装置識別子と、を対応付けて管理する管理手段と、
前記会計装置が前記会計処理を開始するにあたり、当該会計装置を操作する客を撮像した第２撮像画像に写っている客が、当該会計装置の会計装置識別子に対応する前記第１撮像画像に写っている客と一致するかを判定する判定手段と、
前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客が操作する前記会計装置で実行される前記会計処理を抑制する制御手段と、
して機能させ、
前記制御手段は、前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客と同じ客が写っている第１撮像画像に対応する会計装置識別子を、前記第２撮像画像に写った客が操作する前記会計装置に通知するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、管理装置及びプログラムに関する。

【背景技術】

【0002】

従来、スーパーマーケット等の店舗では、店員がＰＯＳ（Point Of Sale）端末を操作することで、商品の登録と会計とを行っている。また、店舗では、商品の登録を店員が行い、商品の会計を客自身が行うセミセルフ等と呼ばれるチェックアウト方式も利用されている。セミセルフでは、商品の登録を行う装置（登録装置）と、商品の会計を行う装置（会計装置）とが分離されており、登録装置で商品の登録が完了した客は、会計装置に移動して会計を行う。

【0003】

また、セミセルフの一形態として、登録装置又は当該登録装置を操作する店員が、複数の会計装置の中から一の会計装置を選択（指定）し、その会計装置に登録した商品の会計に係る会計情報を送信するものがある。この場合、商品の登録を終えた客は、店員から指定された会計装置に移動し、先に送信された会計情報に基づいて会計を行うことになる。

【0004】

しかしながら、上記した形態のセミセルフでは、客が指定された会計装置とは異なる会計装置に移動してしまうと、誤った会計情報で会計が行われる可能性がある。そのため、客が誤った会計装置に移動した場合には、会計が行われてしまうことを防ぐことが可能な技術が望まれている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、指定した会計装置以外の他の会計装置で会計が行われてしまうことを防ぐことが可能な管理装置及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の管理装置は、管理手段と、判定手段と、制御手段とを備える。管理手段は、登録装置によって登録された商品を購入する客を撮像した第１撮像画像と、複数ある会計装置を各々識別する会計装置識別子のうち、前記登録が完了した商品の会計処理を行うよう指定された一の会計装置の会計装置識別子と、を対応付けて管理する。判定手段は、前記会計装置が前記会計処理を開始するにあたり、当該会計装置を操作する客を撮像した第２撮像画像に写っている客が、当該会計装置の会計装置識別子に対応する前記第１撮像画像に写っている客と一致するかを判定する。制御手段は、前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客が操作する前記会計装置で実行される前記会計処理を抑制する。また、制御手段は、前記判定手段が不一致と判定したことを条件に、前記第２撮像画像に写った客と同じ客が写っている第１撮像画像に対応する会計装置識別子を、前記第２撮像画像に写った客が操作する前記会計装置に通知する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る店舗レイアウトの一例を模式的に示す図である。

【図2】図２は、実施形態に係るチェックアウトシステムの構成の一例を模式的に示す図である。

【図3】図３は、実施形態に係る登録装置の構成の一例を示す図である。

【図4】図４は、実施形態の登録装置が実行する処理の一例を示すフローチャートである。

【図5】図５は、実施形態に係る会計装置の構成の一例を示す図である。

【図6】図６は、実施形態の会計装置が実行する処理の一例を示すフローチャートである。

【図7】図７は、報知画面の一例を示す図である。

【図8】図８は、実施形態に係る管理サーバの構成の一例を示す図である。

【図9】図９は、管理テーブルのデータ構造の一例を示す図である。

【図10】図１０は、実施形態の管理サーバが実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、本発明に係る管理装置及びプログラムの実施形態を詳細に説明する。以下に示す実施形態では、本発明をスーパーマーケット等の店舗に適用した例について説明するが、本発明はこの実施形態に限定されるものではない。

【0009】

図１は、実施形態に係る店舗レイアウトの一例を模式的に示す図である。図１に示すように、店舗は、商品の登録及び会計に係るチェックアウト領域Ａ１に、登録装置１０と、会計装置２０とを備える。

【0010】

登録装置１０は、店員により操作され、客が購入する商品の登録処理を行う。会計装置２０は、客により操作され、登録装置１０によって登録された商品の会計処理を行う。つまり、登録装置１０及び会計装置２０は、セミセルフ等と呼ばれるチェックアウト（登録・会計）方式を実現する。なお、登録装置１０及び会計装置２０の台数は特に問わないものとするが、効率性の観点から会計装置２０の台数は、登録装置１０の台数以上とすることが好ましい。

【0011】

図１のレイアウトにおいて、商品を購入する客は、商品を買い物カゴ等に入れて登録装置１０に運ぶ。登録装置１０の店員は、商品に付されたバーコードを後述する読取部１４で読み取る等により商品の登録を順次行う。商品の登録が完了すると、登録装置１０が自動で又は当該登録装置１０を操作する店員が手動で、空いている会計装置２０を一つ選択（指定）する。登録装置１０では、会計装置２０が指定されると、その会計装置２０宛に登録した各商品の代金等を含んだ会計情報を送信する。そして、店員は、指定した会計装置２０を会計先として客に伝える。

【0012】

登録装置１０で登録が完了すると、客は、店員から指定された会計装置２０に商品（買い物カゴ）を移動する。そして、客は会計装置２０を操作することで、先に送信された会計情報に基づく会計処理を実行する。このように、セミセルフでは、登録と会計とを分担することができるため、レジ待ち時間の短縮等、処理の効率化を図ることができる。

【0013】

しかしながら、上記したセミセルフの形態では、客が指定された会計装置２０以外の他の会計装置２０に移動してしまうと、誤った会計情報で会計処理が行われてしまう可能性がある。そこで、本実施形態の店舗では、後述するチェックアウトシステム（管理サーバ４０）により、客が指定された会計装置２０以外の他の会計装置２０に移動した場合に、誤った会計情報で会計が行われてしまうことを抑制する。以下、本実施形態に係るチェックアウトシステムについて説明する。

【0014】

図２は、チェックアウトシステムの構成の一例を模式的に示す図である。同図に示すように、チェックアウトシステムは、上述した登録装置１０及び会計装置２０とともに、第１カメラ３１、第２カメラ３２及び管理サーバ４０を備える。登録装置１０、会計装置２０及び管理サーバ４０は、イントラネット等のネットワークＮ１に接続される。

【0015】

第１カメラ３１は、登録装置１０を操作する店員に商品の登録を依頼した客を撮像するための撮像装置である。第１カメラ３１は、登録装置１０の各々に設けられる（図１参照）。より好ましくは、第１カメラ３１は、登録装置１０の各々において、客の顔を撮像することが可能な位置に設けられる。登録装置１０と第１カメラ３１とは、接続線Ｌ１により接続される。第１カメラ３１の設置位置は特に問わず、登録装置１０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

【0016】

登録装置１０は、店員の操作に応じて商品の登録処理を実行する商品データ処理装置である。また、登録装置１０は、第１カメラ３１と協働し、登録処理の間に撮像された撮像画像（以下、第１撮像画像という）を管理サーバ４０に送信する。なお、撮像画像は、静止画及び動画を含む概念である。

【0017】

図３は、登録装置１０の構成の一例を示す図である。図３に示すように、登録装置１０は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）やＳｏＣ（System-on-a-Chip）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のコンピュータ構成を有する。

【0018】

制御部１１には、バス等を介して、表示部１２、操作部１３、読取部１４、記憶部１５、接続インタフェース１６及び通信インタフェース１７等が接続される。

【0019】

表示部１２は、液晶ディスプレイ等の表示デバイスを有する。表示部１２は、制御部１１の制御の下、登録された商品の商品名や商品コード等、各種の情報を表示する。操作部１３は、各種の操作キーやポインティングデバイスを有し、オペレータ（店員）の操作を受け付ける。例えば、操作部１３は、登録の開始や終了を指示するための操作キーや、商品コードや商品の個数等を入力するための置数キー等を有する。なお、操作部１３は、表示部１２の表示面上に設けられたタッチパネルであってもよい。

【0020】

読取部１４は、バーコードや二次元コード等のコードシンボルを読み取り可能なコードリーダである。例えば、読取部１４は、商品に付されたコードシンボルから、当該コードシンボルに保持された商品コードを読み取る。ここで、商品コードは、商品を識別するための識別情報であって、商品の種別毎に固有の識別情報が付与されているものとする。

【0021】

記憶部１５は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置である。記憶部１５は、制御部１１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。例えば、記憶部１５は、各商品の商品コードと、当該商品の商品名及び単価等を含む商品情報とを対応付けた商品マスタ（図示せず）を予め記憶する。また、記憶部１５は、店員の顔と客の顔とを識別するため、各店員の顔画像や当該顔画像から抽出された特徴情報を予め記憶してもよい。

【0022】

接続インタフェース１６は、第１カメラ３１と接続可能なインタフェースである。接続インタフェース１６は、第１カメラ３１から入力される第１撮像画像を受け付ける。通信インタフェース１７は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース１７は、ネットワークＮ１に接続された外部装置（例えば、会計装置２０、管理サーバ４０）と各種情報を送受信する。

【0023】

上記構成の登録装置１０において、店員の操作により商品に付されたコードシンボルが読取部１４で読み取られると、制御部１１は、読取部１４から入力される商品コードをＲＡＭ等に記憶することで商品の登録を行う。また、制御部１１は、商品の点数（個数）が入力されると、その点数を商品コードと対応付けて登録する。また、制御部１１は、一取引に係る商品の登録処理が行われている間、第１カメラ３１で撮像された第１撮像画像を取得する。

【0024】

制御部１１は、一取引分の商品の登録が完了すると、それまでに登録された商品コード及び点数に基づいて会計情報を生成する。ここで、会計情報は、例えば、各商品（商品コード）の商品名や代金、総支払額等を含む。また、会計情報は、ジャーナルＩＤを含む。ジャーナルＩＤは、他の会計情報と一意に識別することが可能な会計識別子であり、制御部１１によって付与される。なお、商品名や代金の導出は、商品マスタに登録された商品情報に基づいて行われるものとする。

【0025】

また、制御部１１は、操作部１３等を介して、店員により特定の会計装置２０が指定されると、その会計装置２０宛に会計情報を送信する。さらに、制御部１１は、登録処理中に取得した第１撮像画像と、指定された会計装置２０の会計装置ＩＤと、会計情報に含まれたジャーナルＩＤとを含んだ登録情報を、管理サーバ４０に送信する。ここで、会計装置ＩＤは、会計装置２０の各々を一意に識別することが可能な会計装置識別子である。なお、管理サーバ４０に送信する第１撮像画像の枚数（静止画）や時間数（動画）は特に問わないものとする。

【0026】

なお、第１撮像画像は、後述する処理において、同一の客を識別（認識）する際の基準画像となる。そのため、制御部１１は、客の顔等の特徴的な部分が撮像された第１撮像画像を管理サーバ４０に送信することが好ましい。そこで、例えば、制御部１１は、登録処理中に撮像された第１撮像画像のうち、顔面積や同一人物の顔が出現する頻度等に基づいて管理サーバ４０に送信する第１撮像画像を選定する構成としてもよい。以下、第１撮像画像の選定に係る処理について説明する。

【0027】

図４は、登録装置１０が実行する処理の一例を示すフローチャートである。なお、本処理は、登録処理のバックグラウンドで実行される処理である。また、本処理において、顔検出や顔認識等に係る技術は、公知の技術を用いるものとする。

【0028】

まず、制御部１１は、操作部１３等を介して登録開始の指示を受け付けると（ステップＳ１１）、第１カメラ３１に撮像を開始させる（ステップＳ１２）。

【0029】

続いて、制御部１１は、第１カメラ３１から入力される第１撮像画像から、顔を表す顔領域を検出したか否かを判定する（ステップＳ１３）。第１撮像画像から顔領域を検出できない場合（ステップＳ１３；Ｎｏ）、制御部１１は、ステップＳ１７に移行する。また、制御部１１は、第１撮像画像から顔領域を検出すると（ステップＳ１３；Ｙｅｓ）、その顔領域の特徴と、記憶部１５に記憶された各店員の顔の特徴とを比較することで、撮像された人物が店員か否かを判別する（ステップＳ１４）。

【0030】

撮像された人物が店員の場合（ステップＳ１４；Ｙｅｓ）、制御部１１は、ステップＳ１３に処理を戻す。また、撮像された人物が店員以外、つまり客の場合（ステップＳ１４；Ｎｏ）、制御部１１は、顔領域の面積を導出し（ステップＳ１５）、その面積の降順（又は昇順）に第１撮像画像をＲＡＭ等に一時記憶する（ステップＳ１６）。

【0031】

続いて、制御部１１は、操作部１３等を介して登録完了の指示を受け付けたか否かを判定する（ステップＳ１７）。ここで、登録完了の指示を受け付けない場合（ステップＳ１７；Ｎｏ）、制御部１１は、ステップＳ１３に処理を戻す。つまり、商品の登録が行われている間、第１カメラ３１で撮像された客の顔領域を含む第１撮像画像が、その顔領域の面積の順に一時記憶されることになる。

【0032】

制御部１１は、登録完了の指示を受け付けると（ステップＳ１７；Ｙｅｓ）、それまでに登録された商品に基づいて会計情報を生成する。次いで、制御部１１は、会計先となる会計装置２０（会計装置ＩＤ）を指定すると（ステップＳ１８）、その指定した会計装置２０宛に会計情報を送信する（ステップＳ１９）。なお、会計装置２０の指定は、店員の操作により指定された会計装置２０を受け付けることで行ってもよいし、制御部１１が自動で指定してもよい。

【0033】

続いて、制御部１１は、一時記憶された第１撮像画像の間で顔領域の特徴を照合することで、同一の人物（客）をそれぞれ識別（認識）する。次いで、制御部１１は、識別した客の中から、最も多く出現した客の顔を特定する（ステップＳ２０）。例えば、第１カメラ３１が撮像する第１撮像画像の中には、取引に係る客以外の他の客（例えば、順番待ちの客等）が含まれる場合がある。そこで、制御部１１は、ステップＳ２０において、第１撮像画像の各々に含まれた客をそれぞれ認識し、その出現数が最も多い客を取引に係る客として特定する。

【0034】

続いて、制御部１１は、ステップＳ２０で特定した客の顔領域が含まれた第１撮像画像の中から、その顔領域の面積が最大となる第１撮像画像を選定する（ステップＳ２１）。そして、制御部１１は、ステップＳ２１で選定した第１撮像画像と、ステップＳ１８で指定した会計装置ＩＤと、会計情報のジャーナルＩＤとを含んだ登録情報を生成し、管理サーバ４０に送信する（ステップＳ２２）。

【0035】

上記の処理により、登録装置１０は、客の特徴（顔）が表れた第１撮像画像を管理サーバ４０に送信することができる。したがって、第１撮像画像を用いた客の認識精度を向上させることができる。

【0036】

図２に戻り、第２カメラ３２は、会計装置２０を操作する客を撮像するための撮像装置である。第２カメラ３２は、会計装置２０の各々に設けられる（図１参照）。より好ましくは、第２カメラ３２は、会計装置２０の各々において、客の顔を撮像することが可能な位置に設けられる。会計装置２０と第２カメラ３２とは、接続線Ｌ２により接続される。なお、第２カメラ３２の設置位置は特に問わず、会計装置２０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

【0037】

会計装置２０は、登録装置１０から送信された会計情報に基づいて会計処理を実行する商品データ処理装置である。また、会計装置２０は、第２カメラ３２と協働し、会計処理の間に撮像された撮像画像（以下、第２撮像画像という）を管理サーバ４０に送信する。

【0038】

図５は、会計装置２０の構成の一例を示す図である。図５に示すように、会計装置２０は、制御部２１を備える。制御部２１は、ＣＰＵやＳｏＣ、ＲＯＭ、ＲＡＭ等のコンピュータ構成を有する。

【0039】

制御部２１には、バス等を介して、表示部２２、操作部２３、印字部２４、記憶部２５、接続インタフェース２６及び通信インタフェース２７等が接続される。

【0040】

表示部２２は、液晶ディスプレイ等の表示デバイスを有する。表示部２２は、制御部２１の制御の下、会計情報等の各種の情報を表示する。操作部２３は、各種の操作キーやポインティングデバイスを有し、オペレータ（客）の操作を受け付ける。例えば、操作部２３は、会計処理の開始や完了を指示する操作キー等を有する。なお、操作部２３は、表示部２２の表示面上に設けられたタッチパネルであってもよい。

【0041】

印字部２４は、サーマルプリンタ等の印字装置である。印字部２４は、制御部２１の制御の下、会計（会計情報）の内訳等をレシート用紙等の紙媒体に印字する。記憶部２５は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部２５は、制御部２１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。

【0042】

接続インタフェース２６は、第２カメラ３２と接続可能なインタフェースである。接続インタフェース２６は、第２カメラ３２から入力される第２撮像画像を受け付ける。通信インタフェース２７は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース２７は、ネットワークＮ１に接続された外部装置（例えば、登録装置１０、管理サーバ４０）と各種情報を送受信する。

【0043】

また、制御部２１には、バス等を介して、硬貨や紙幣の入金を受け付ける金銭入金装置や、釣り銭等を払い出す金銭出金装置等が接続される（何れも図示せず）。

【0044】

上記構成の会計装置２０において、制御部２１は、登録装置１０から送信された会計情報をＲＡＭに一時記憶し、当該会計情報に係る会計処理の開始指示を待機する。客は、登録装置１０の店員により指定された会計装置２０に移動すると、操作部２３を介して会計処理の開始を指示する。制御部２１は、会計処理の開始指示に応じて、第２カメラ３２の撮像を開始し、当該第２カメラ３２で撮像された第２撮像画像を管理サーバ４０に送信する。そして、制御部２１は、管理サーバ４０からの応答情報に基づいて、会計処理を実行又は抑制する。以下、会計装置２０の動作について説明する。

【0045】

図６は、会計装置２０が実行する処理の一例を示すフローチャートである。まず、制御部２１は、操作部２３を介して会計処理の開始指示を受け付けると（ステップＳ３１）、第２カメラ３２の撮像を開始させる（ステップＳ３２）。次いで、制御部２１は、第２カメラ３２で撮像された第２撮像画像と、自己の会計装置２０を識別する識別情報とを含んだ照合情報を、管理サーバ４０に送信する（ステップＳ３３）。なお、制御部２１は、第２撮像画像の送信に際し、登録装置１０と同様の選定処理を行ってもよい。具体的には、制御部２１は、図４で説明したステップＳ１３〜Ｓ１６、Ｓ２０、Ｓ２１の処理を実行することで、顔領域の面積や客の出現頻度等に基づき、送信する第２撮像画像を選定してもよい。

【0046】

続いて、制御部２１は、管理サーバ４０からの応答を待機し（ステップＳ３４；Ｎｏ）、応答情報を受け付けると（ステップＳ３４；Ｙｅｓ）、その内容が会計処理の実行を指示するものか否かを判定する（ステップＳ３５）。応答情報が会計処理の実行を指示する場合（ステップＳ３５；Ｙｅｓ）、制御部２１は、ＲＡＭに一時記憶された会計情報に基づいて会計処理を開始する（ステップＳ３６）。より詳細には、ＲＡＭに一時記憶された会計情報のうち、応答情報に含まれたジャーナルＩＤに対応する会計情報に基づいて会計処理を実行する。

【0047】

制御部２１は、商品代金の入金等により会計処理が完了すると、その内訳を示したレシートを印字部２４から出力させる（ステップＳ３７）。そして、制御部２１は、会計処理の完了を管理サーバ４０に通知し（ステップＳ３８）、本処理を終了する。なお、制御部２１は、会計処理の完了に伴い、当該会計処理で使用した会計情報をＲＡＭから削除する。

【0048】

一方、ステップＳ３５において、応答情報が会計処理の抑制を指示する場合（ステップＳ３５；Ｎｏ）、制御部２１は、会計処理の実行を抑制する（ステップＳ３９）。次いで、制御部２１は、応答情報に会計装置ＩＤが含まれるか否かを判定する（ステップＳ４０）。応答情報に会計装置ＩＤが含まれる場合（ステップＳ４０；Ｙｅｓ）、制御部２１は、その会計装置ＩＤが指示する会計装置２０を会計先として報知し（ステップＳ４１）、本処理を終了する。

【0049】

ここで、管理サーバ４０から通知される会計装置ＩＤは、後述するように、第２カメラ３２で撮像されている客が、会計先として店員から指定された会計装置２０に対応する。つまり、その客の会計情報が送信された正しい会計装置２０を意味する。そこで、制御部２１は、ステップＳ４１において、例えば図７に示すような報知画面を表示部２２に表示させることで、正しい会計装置２０への移動を促す。

【0050】

図７は、会計装置２０の表示部２２に表示される報知画面の一例を示す図である。図７の報知画面では、会計を行うことができない旨を示すメッセージとともに、正しい会計装置２０（会計装置ＩＤがＭ２）に移動することを促すメッセージを表示している。これにより、客は、報知画面を確認することで、今いる会計装置２０が誤りであるとともに、会計先となる正しい会計装置２０を容易に把握できる。なお、報知画面は、図７の例に限らないものとする。

【0051】

また、ステップＳ４０において、応答情報に会計装置ＩＤが含まれない場合（ステップＳ４０；Ｎｏ）、制御部２１は、エラーを報知し（ステップＳ４２）、本処理を終了する。ここで、応答情報に会計装置ＩＤが含まれない場合には、後述するように、その客の撮像が登録装置１０で行われていないことを意味する。つまり、登録装置１０で商品の登録を行っていない、会計処理とは無関係の客を意味する。そこで、制御部２１は、ステップＳ４２において、エラーを示す報知画面を表示部２２に表示させる。なお、ステップＳ４２で表示される報知画面は特に問わないものとする。例えば、会計の対象者でないことを伝えるメッセージや、会計装置２０から離れることを促すメッセージを表示してもよい。

【0052】

また、制御部２１は、ステップＳ４１及びステップＳ４２において、店員に報知を行う構成としてもよい。この場合、報知方法は特に問わず、種々の形態が可能である。例えば、制御部２１は、通信インタフェース２７を介して、登録装置１０や店員が携帯する情報機器等の外部装置に、指定された会計装置２０以外に客がいることを報知するメッセージを送信してもよい。また、制御部２１は、図示しない発光装置や音声出力装置を駆動させることで、光や音により、指定された会計装置２０以外に客がいることを店員に報知してもよい。これにより、客が指定された会計装置２０以外の誤った会計装置２０にいる場合に、その旨を客に報知するとともに店員にも報知することができる。また、これにより、店員が客を正しい会計装置２０に案内することができるため、利便性の更なる向上を図ることができる。

【0053】

図２に戻り、管理サーバ４０は、第１カメラ３１及び第２カメラ３２で撮像された撮像画像に基づき、会計装置２０で行われる客の会計処理を管理するサーバ装置である。以下、管理サーバ４０について説明する。

【0054】

図８は、管理サーバ４０の構成の一例を示す図である。図８に示すように、管理サーバ４０は、制御部４１を備える。制御部４１は、ＣＰＵやＳｏＣ、ＲＯＭ、ＲＡＭ等のコンピュータ構成を有する。

【0055】

制御部４１には、バス等を介して記憶部４２が接続される。記憶部４２は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部４２は、制御部４１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。また、記憶部４２は、登録装置１０で商品の登録が完了した客の会計先を管理するための管理テーブルＴ１（図９参照）を記憶する。

【0056】

また、制御部４１には、バス等を介して通信インタフェース（Ｉ／Ｆ）４３が接続される。通信インタフェース４３は、ネットワークＮ１に接続し、他の装置（登録装置１０、会計装置２０等）との間で各種情報の授受を行う。

【0057】

また、制御部４１は、図８に示すように、情報受信部４１１、特徴抽出部４１２、登録処理部４１３、照合処理部４１４、会計先判定部４１５及び消込処理部４１６等の機能部を備える。これらの機能部は、記憶部４２に記憶されたプログラムの実行によりソフトウェア的に、或いは制御部４１が備える専用プロセッサ等によりハードウェア的に実現される。

【0058】

情報受信部４１１は、通信インタフェース４３を介して、登録装置１０及び会計装置２０から送信される各種の情報を受信する。より詳細には、情報受信部４１１は、登録装置１０の各々から送信され登録情報を受信する。また、情報受信部４１１は、会計装置２０の各々から送信される照合情報を受信する。

【0059】

特徴抽出部４１２は、情報受信部４１１が受信した登録情報及び照合情報の各々に含まれた撮像画像（第１撮像画像、第２撮像画像）から、当該撮像画像に含まれた（写った）人物（客）の特徴を表す特徴情報を抽出する。ここで、特徴情報は、例えば、撮像画像に含まれた顔領域の特徴を表す特徴量である。また、撮像画像中の人物がサングラスやマスク等を装着している等により、顔領域を検出できない場合がある。このような場合、特徴抽出部４１２は、その人物の服装や髪形、体型等の他の要素から、当該要素の特徴を特徴情報として抽出する。以下、第１撮像画像及び第２撮像画像の各々から抽出される特徴情報を、それぞれ第１特徴情報及び第２特徴情報をいう。なお、特徴情報の抽出方法は、特に問わず、顔認識や画像認識等の公知の技術を用いてもよい。

【0060】

登録処理部４１３は、会計を行う各客を管理テーブルＴ１に登録するための機能部である。より詳細には、登録処理部４１３は、特徴抽出部４１２により第１撮像画像から抽出された第１特徴情報を、管理テーブルＴ１に登録する。

【0061】

ここで、図９は、管理テーブルＴ１のデータ構造の一例を示す図である。図９に示すように、管理テーブルＴ１は、会計装置２０の各々に対応する会計装置ＩＤと、第１特徴情報及びジャーナルＩＤを格納するためのデータ格納領域とを対応付けて記憶する。ここで、Ｍ１〜Ｍ６は、図１に示した６台の会計装置２０の会計装置ＩＤである。

【0062】

登録処理部４１３は、登録情報に含まれた会計装置ＩＤのデータ格納領域に、当該登録情報に含まれた第１撮像画像から抽出された第１特徴情報と、当該登録情報に含まれたジャーナルＩＤとを登録（格納）する。なお、会計装置ＩＤに対応付けられるデータ格納領域の個数は一に限らず、複数個であってもよい。

【0063】

図８に戻り、照合処理部４１４は、第２撮像画像と、第１撮像画像の各々とを照合し、この第２撮像画像に写った客と同じ客が写っている第１撮像画像を特定する。より詳細には、照合処理部４１４は、第２撮像画像から抽出された第２特徴情報と、管理テーブルＴ１に登録された第１特徴情報の各々とを照合し、この第２特徴情報で特徴が表された客と同一の客の特徴を表した第１特徴情報を特定する。

【0064】

具体的には、照合処理部４１４は、第２特徴情報と第１特徴情報の各々との類似度を算出し、その類似度が閾値以上となる第１特徴情報が存在するか否かを判定する。類似度が閾値以上の第１特徴情報が存在する場合、照合処理部４１４は、その第１特徴情報に対応する客が第２撮像画像に対応する客と同一人物と判定する。ここで、特徴情報間の照合や類似度の判定は、顔認証やパターン認識等の公知の技術を用いることが可能である。なお、類似度が閾値以上の第１特徴情報が複数存在する場合、照合処理部４１４は、類似度が最も高い一の第１特徴情報を特定する。

【0065】

会計先判定部４１５は、照合処理部４１４により特定された第１特徴情報が対応付けられている会計装置ＩＤと、照合情報に含まれた会計装置ＩＤとが一致するか否かを判定する。ここで、会計先判定部４１５は、会計装置ＩＤが一致することを条件に、照合情報を送信した会計装置２０が客の会計先と判定する。この場合、会計先判定部４１５は、会計処理の開始を指示する制御情報と、照合処理部４１４により特定された第１特徴情報が対応付けられているジャーナルＩＤとを含んだ応答情報を、照合情報を送信した会計装置２０に送信する。

【0066】

また、会計先判定部４１５は、会計装置ＩＤが不一致となることを条件に、照合情報を送信した会計装置２０が客の非会計先と判定する。この場合、会計先判定部４１５は、会計処理の抑制を指示する制御情報と、照合処理部４１４により特定された第１特徴情報が対応付けられている会計装置ＩＤとを含んだ応答情報を、照合情報を送信した会計装置２０に送信する。

【0067】

また、会計先判定部４１５は、照合処理部４１４が第２特徴情報に対応する第１特徴情報が特定できないことを条件に、照合情報を送信した会計装置２０の客が会計処理とは無関係の人物であると判定する。この場合、会計先判定部４１５は、会計処理の抑制を指示する制御情報を含んだ応答情報を、照合情報を送信した会計装置２０に送信する。

【0068】

このように、照合処理部４１４及び会計先判定部４１５は、会計装置２０が会計処理を開始するにあたり、当該会計装置２０を操作する客を撮像した第２撮像画像に写っている客が、当該会計装置２０の会計装置ＩＤに対応する第１撮像画像に写っている客と一致するか否かを判定する。

【0069】

なお、本実施形態では、第２撮像画像に写った客と同じ客が写っている第１撮像画像（第１特徴情報）を特定した後、その第１撮像画像に対応する会計装置ＩＤと、第２撮像画像に写った客が操作する会計装置２０の会計装置ＩＤとの一致判定を行う構成としたが、処理の順序はこれに限らないものとする。例えば、制御部４１は、第２撮像画像に写った客が操作する会計装置２０の会計装置ＩＤに対応付けられた第１撮像画像（第１特徴情報）を管理テーブルＴ１から絞り込んだ後、当該第１撮像画像と第２撮像画像とを用いて客の同一判定を行ってもよい。

【0070】

消込処理部４１６は、管理テーブルＴ１に登録された第１特徴情報及びジャーナルＩＤの消し込みを行う機能部である。具体的には、消込処理部４１６は、会計先判定部４１５が会計処理の開始を指示する応答情報を会計装置２０に送信すると、この応答情報に含まれたジャーナルＩＤが格納されているデータ格納領域をクリアする。なお、消込処理部４１６は、会計装置２０からの会計処理の完了通知に応じて、当該会計処理に係る第１特徴情報及びジャーナルＩＤの消し込みを行う構成としてもよい。これにより、会計処理が完了した客の第２撮像画像が会計装置２０で撮像された場合であっても、当該客の会計処理が二重で実行されてしまうことを防ぐことができる。

【0071】

以下、上記した構成の管理サーバ４０の動作について説明する。図１０は、管理サーバ４０が行う処理の一例を示すフローチャートである。

【0072】

まず、情報受信部４１１は、登録情報又は照合情報が送信されるまで待機する（ステップＳ５１；Ｎｏ→ステップＳ５２；Ｎｏ）。特徴抽出部４１２は、情報受信部４１１が登録情報を受信したことを条件に（ステップＳ５１；Ｙｅｓ）、この登録情報に含まれた第１撮像画像から第１特徴情報を抽出する（ステップＳ５３）。

【0073】

続いて、登録処理部４１３は、抽出された第１特徴情報と、登録情報に含まれたジャーナルＩＤとを、当該登録情報に含まれた会計装置ＩＤに関連付けて、管理テーブルＴ１に登録する（ステップＳ５４）。そして、登録処理部４１３は、ステップＳ５１に処理を戻す。

【0074】

また、特徴抽出部４１２は、情報受信部４１１が照合情報を受信したことを条件に（ステップＳ５１；Ｎｏ→ステップＳ５２；Ｙｅｓ）、この照合情報に含まれた第２撮像画像から第２特徴情報を抽出する（ステップＳ５５）。続いて、照合処理部４１４は、抽出された第２特徴情報と、管理テーブルＴ１に登録された第１特徴情報の各々とを照合する（ステップＳ５６）。

【0075】

照合の結果、第２特徴情報と同一人物の特徴を表した第１特徴情報が存在しない場合（ステップＳ５７；Ｎｏ）、会計先判定部４１５は、会計処理の抑制を指示する応答情報を、照合情報を送信した会計装置２０に送信する（ステップＳ５８）。そして、会計先判定部４１５は、ステップＳ５１に処理を戻す。

【0076】

また、照合の結果、第２特徴情報と同一人物の特徴を表した第１特徴情報が存在する場合（ステップＳ５７；Ｙｅｓ）、照合処理部４１４は、その第１特徴情報を特定する（ステップＳ５９）。次いで、会計先判定部４１５は、特定された第１特徴情報に対応する会計装置ＩＤと、照合情報に含まれた会計装置ＩＤとを比較し、一致するか否かを判定する（ステップＳ６０）。

【0077】

ここで、会計先判定部４１５は、会計装置ＩＤが不一致であることを条件に（ステップＳ６１；Ｎｏ）、会計処理の抑制を指示する応答情報を、照合情報を送信した会計装置２０に送信する（ステップＳ６２）。より詳細には、会計先判定部４１５は、会計処理の抑制を指示する制御情報と、特定された第１特徴情報に対応する会計装置ＩＤとを含んだ応答情報を会計装置２０に送信する。次いで、照合処理部４１４は、ステップＳ５１に処理を戻す。

【0078】

また、会計先判定部４１５は、会計装置ＩＤが一致したことを条件に（ステップＳ６１；Ｙｅｓ）、会計処理の実行を指示する応答情報を、照合情報を送信した会計装置２０に送信する（ステップＳ６３）。より詳細には、会計先判定部４１５は、会計処理の実行を指示する制御情報と、特定した会計装置ＩＤに対応するジャーナルＩＤとを含んだ応答情報を会計装置２０に送信する。

【0079】

続いて、消込処理部４１６は、ステップＳ５９で特定された第１特徴情報と当該第１特徴情報に対応するジャーナルＩＤとの組を管理テーブルＴ１から削除し（ステップＳ６４）、ステップＳ５１に処理を戻す。なお、消込処理部４１６は、会計装置２０からの完了通知に応じて、ステップＳ６４を実行してもよい。

【0080】

以上のように、本実施形態のチェックアウトシステムでは、商品の会計を行う客が、指定された会計装置２０以外の他の会計装置２０で会計処理の開始を指示した場合に、その会計処理の実行を抑制する。これにより、会計装置２０は、客から会計処理の開始が指示された場合であっても、この会計装置２０が指定された会計先と異なる場合には、会計処理は実行されないため、誤った会計情報で会計処理が行われてしまうことを防止することができる。

【0081】

また、本実施形態のチェックアウトシステムでは、商品の会計を行う客が、指定された会計装置２０以外の他の会計装置２０で会計処理の開始を指示した場合に、会計先となる正しい会計装置２０を客に報知させる。これにより、会計装置２０では、客が指定された会計装置２０以外の他の会計装置２０に移動してしまった場合に、報知される情報（報知画面）に基づき正しい会計装置２０に移動することができるため、客の利便性を向上させることができる。

【0082】

また、本実施形態のチェックアウトシステムでは、登録装置１０で商品の登録を行った客以外の無関係の人物が、会計装置２０で会計処理の開始を指示した場合に、その会計処理の実行を抑制し、エラーを報知させる。これにより、会計装置２０では、無関係の人物から会計処理の開始が指示された場合に、会計処理の実行を抑制し、エラーを報知することができるため、誤って会計処理が行われてしまうことを防止することができる。

【0083】

以上、本発明の実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0084】

例えば、上記の実施形態では、会計装置２０において、会計処理の開始が指示されたことを条件に、照合情報を管理サーバ４０に送信する構成としたが、会計処理の開始が指示される前に照合情報を送信してもよい。この場合、例えば制御部２１は、第２カメラ３２の第２撮像画像から顔領域を検出すると、当該第２撮像画像を含んだ照合情報を管理サーバ４０に送信する。これにより、会計装置２０では、会計処理の開始指示に先駆けて照合情報を送信することができる。

【0085】

また、上記の実施形態では、管理サーバ４０（登録処理部４１３）は、第１撮像画像から抽出された第１特徴情報を管理テーブルＴ１に登録し管理する構成としたが、これに限らず、第１撮像画像を管理テーブルＴ１に登録して管理してもよい。この場合、特徴抽出部４１２は、照合処理部４１４と協働することで、第２撮像画像と照合する際に第１撮像画像の各々から第１特徴情報を抽出する。

【0086】

また、上記の実施形態では、各会計装置２０の各々で行われる会計処理を管理サーバ４０が管理する構成としたが、これに限らず、他の装置が管理する構成としてもよい。例えば、登録装置１０や会計装置２０のうち、代表となる一の装置が管理サーバ４０の機能を備えることで、各会計装置２０の各々で行われる会計処理を管理してもよい。また、管理サーバ４０が、管理テーブルＴ１、情報受信部４１１、特徴抽出部４１２、登録処理部４１３及び消込処理部４１６の機能を備え、会計装置２０の各々が、照合処理部４１４及び会計先判定部４１５の機能を備えることで、個々の会計装置２０で会計処理の実行可否を決定してもよい。

【0087】

また、上記の実施形態では、登録装置１０及び会計装置２０が撮像画像を送信する構成としたが、これに限らず、各カメラが直接送信する構成としてもよい。

【0088】

また、上記の実施形態では、客が購入する商品が登録装置１０で登録されてから、当該客が指定された会計装置２０に移動するまでの時間、つまり会計装置２０で撮像されるまでの時間は特に問わないものとしたが、当該時間を制限してもよい。

【0089】

この構成を採用する場合、例えば、登録装置１０の制御部１１は、客を撮像した第１撮像画像と、会計装置ＩＤと、ジャーナルＩＤともに、その取引が行われた日時を示す日時情報とを含んだ登録情報を生成し、管理サーバ４０に送信する。これにより、登録情報に含まれる第１撮像画像（第１特徴情報）、ジャーナルＩＤ及び日時情報は、会計装置ＩＤに関連付けて、管理サーバ４０の管理テーブルＴ１に登録される。また、会計装置２０の制御部２１は、第２撮像画像と、自己の会計装置２０の識別情報とともに、その第２撮像画像が撮像された日時を示す日時情報とを含んだ照合情報を管理サーバ４０に送信する。

【0090】

一方、管理サーバ４０の照合処理部４１４は、会計装置ＩＤが一致すると判定すると、その一致判定に係る第１撮像画像及び第２撮像画像の日時情報を比較することで、客が登録装置１０から会計装置２０に移動するまでに要した時間を算出する。そして、管理サーバ４０の会計先判定部４１５は、算出された時間が所定時間（例えば１時間等）を上回る場合、会計処理の抑制を指示する応答情報を、照合情報を送信した会計装置２０に送信する。この場合、会計先判定部４１５は、客に商品の再登録を行うことを促すメッセージを、会計装置２０の表示部２２に表示させてもよい。また、会計先判定部４１５は、会計装置２０が保持する会計情報を破棄するよう会計装置２０を制御してもよい。

【0091】

また、日時の計時は管理サーバ４０側で行う構成としてもよい。この場合、管理サーバ４０の登録処理部４１３は、情報受信部４１１が登録情報を受信した日時を取引が行われた日付情報とし、会計装置ＩＤ等と関連付けて管理テーブルＴ１に登録する。また、管理サーバ４０の照合処理部４１４は、情報受信部４１１が照合情報を受信した日時を客が会計装置２０に到着した日時情報として取り扱う。これにより、上記と同様の処理を行うことができる。なお、所定時間を上回った登録情報（第１特徴情報、ジャーナルＩＤ等）については、管理サーバ４０の消込処理部４１６が、管理テーブルＴ１から削除してもよいし、使用不可を示すフラグ情報等を対応付けることで使用不可としてもよい。

【符号の説明】

【0092】

１０ 登録装置
２０ 会計装置
３１ 第１カメラ
３２ 第２カメラ
４０ 管理サーバ
４１１ 情報受信部
４１２ 特徴抽出部
４１３ 登録処理部
４１４ 照合処理部
４１５ 会計先判定部
４１６ 消込処理部
Ｔ１ 管理テーブル

【先行技術文献】

【特許文献】

【0093】

【特許文献1】特開２０１３−１８６４９５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】