特許 7373729 精算決済装置および無人店舗システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-26

(45)【発行日】2023-11-06

(54)【発明の名称】精算決済装置および無人店舗システム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20231027BHJP

   G07G 1/01 20060101ALI20231027BHJP

   G06Q 20/40 20120101ALI20231027BHJP

【ＦＩ】

G07G1/00 311D

G07G1/01 301D

G07G1/00 301C

G06Q20/40

【請求項の数】 5

(21)【出願番号】P 2019067382

(22)【出願日】2019-03-29

(65)【公開番号】P2020166640

(43)【公開日】2020-10-08

【審査請求日】2022-03-14

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】植木 亮裕

(72)【発明者】

【氏名】鹿内 真樹

(72)【発明者】

【氏名】信江 守

(72)【発明者】

【氏名】西野 浩平

(72)【発明者】

【氏名】小山 崇

(72)【発明者】

【氏名】鈴木 創

(72)【発明者】

【氏名】山岡 めぐみ

【審査官】平野 貴也

(56)【参考文献】

【文献】特開２０１７－０１０５５０（ＪＰ，Ａ）

【文献】特開２０１７－２２０１９８（ＪＰ，Ａ）

【文献】特開２０１９－０４６４６１（ＪＰ，Ａ）

【文献】特開２０１３－０４５３６１（ＪＰ，Ａ）

【文献】特開２０１０－０４９６１９（ＪＰ，Ａ）

【文献】特開２０１６－１２６７４９（ＪＰ，Ａ）

【文献】特開２０１６－１７３６５７（ＪＰ，Ａ）

【文献】特開２０１８－０６７３０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００１７９４４（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０９３６０３５８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００ － ５／００

Ｇ０６Ｑ １０／００ － ５０／２０，

５０／２６ － ９９／００

Ｇ１６Ｚ ９９／００

(57)【特許請求の範囲】

【請求項1】

利用者が売場から選択した商品の精算、及び決済のための顔認証に関する処理を行う精算決済装置であって、
利用者が商品を置く載置部が設けられた天板部を有する本体と、
前記載置部に置かれた商品を撮影する複数の第１のカメラと、
前記第１のカメラのうち、特定カメラの撮影方向に対して投影方向を一致させて配置されたプロジェクタと、
前記天板部に設けられ、利用者の顔を撮影する第２のカメラと、
前記天板部の前記載置部に隣接して配置され、精算結果及び顔認証結果を表示する表示部と、
前記特定カメラ以外の撮影で取得した商品画像に基づいて、対象となる商品を認識して精算に関する処理を行うと共に、前記表示部に表示された前記載置部に置かれた商品の精算結果を確認した利用者からの前記顔認証の指示を受けて、前記第２のカメラで利用者の顔を正面から撮影して取得した顔画像に基づいて顔認証に関する処理を行う制御部と、
を備え、
前記制御部は、前記特定カメラで取得した商品画像に基づいて、商品の位置を検出して、認識が成功した対象となる商品を取り囲む枠画像を前記プロジェクタにより投影させる ことを特徴とする精算決済装置。

【請求項2】

前記特定カメラ以外の前記第１のカメラの少なくとも１つが前記載置部に置かれた商品を上方から撮影する商品認識用のカメラであることを特徴とする請求項１に記載の精算決済装置。

【請求項3】

前記特定カメラ以外の前記第１のカメラの１つが前記載置部に置かれた商品を側方から撮影する商品認識用のカメラであることを特徴とする請求項１または請求項２のいずれかに記載の精算決済装置。

【請求項4】

前記本体は、
前記天板部の下方に設けられて、商品の付属品を収容する収容部を有することを特徴とする請求項１から請求項３のいずれかに記載の精算決済装置。

【請求項5】

請求項１に記載の精算決済装置を備えた無人店舗システムであって、
前記精算決済装置とネットワークを介して接続されたサーバ装置を備え、
このサーバ装置は、
前記顔認証に関する処理として前記制御部が実施する前記第２のカメラの撮影で取得した顔画像に基づく顔認証の要求に応じて顔認証を実行し、
前記精算決済装置は、
前記サーバ装置での顔認証が成功した場合に、決済に関する処理を行うことを特徴とする無人店舗システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者が売場から選択した商品の精算、及び決済のための顔認証に関する処理を行う精算決済装置、並びに精算決済装置を用いた無人店舗システムに関するものである。

【背景技術】

【0002】

コンビニエンスストアやスーパーマーケットを始めとした小売店舗では、店員が、顧客が購入しようとする商品をＰＯＳ端末に登録する作業を行った後、ＰＯＳ端末が、精算の処理を行って商品の代金を顧客に提示し、店員が、顧客が支払う代金を受け取る会計（決済）の作業を行うが、近年、店員の作業を自動化する各種の技術が提案されている。

【0003】

このような店員の作業を自動化する技術として、従来、画像認識の技術を用いて商品を認識して、その商品を精算対象として登録して精算を行うようした技術が知られている（特許文献１参照）。また、この技術では、プロジェクタにより商品の載置台上に会計処理に関する像を投影して、店員の作業の効率化を図るようにしている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１２６２５３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、近年、人材不足などの理由で店舗の無人化が提案されているが、従来の技術では、商品の登録および精算の作業は一部自動化されているものの、代金の決済に関する作業は店員が行うようにしており、店舗の無人化とは程遠い状況と言わざるを得ず、店舗の無人化を図ることができないという問題があった。また、近年、コンビニエンスストアなどの店舗において、セルフレジやスマホレジなどの導入が進められているが、これらの技術は、店員の作業を軽減するため、作業の一部を利用者に転嫁しているに過ぎず、利用者の手間がかえって増大するという問題があり、店舗の無人化を図る際にも、利用者の手間を省くことができる技術が望まれる。

【0006】

そこで、本発明は、商品の登録および精算と代金の決済の作業を自動化して、利用者の手間を省きつつ店舗の無人化を図ることができる精算決済装置および無人店舗システムを提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の精算決済装置は、利用者が売場から選択した商品の精算、及び決済のための顔認証に関する処理を行う精算決済装置であって、利用者が商品を置く載置部が設けられた天板部を有する本体と、前記載置部に置かれた商品を撮影する複数の第１のカメラと、前記第１のカメラのうち、特定カメラの撮影方向に対して投影方向を一致させて配置されたプロジェクタと、前記天板部に設けられ、利用者の顔を撮影する第２のカメラと、前記天板部の前記載置部に隣接して配置され、精算結果及び顔認証結果を表示する表示部と、前記特定カメラ以外の撮影で取得した商品画像に基づいて、対象となる商品を認識して精算に関する処理を行うと共に、前記表示部に表示された前記載置部に置かれた商品の精算結果を確認した利用者からの前記顔認証の指示を受けて、前記第２のカメラで利用者の顔を正面から撮影して取得した顔画像に基づいて顔認証に関する処理を行う制御部と、を備え、前記制御部は、前記特定カメラで取得した商品画像に基づいて、商品の位置を検出して、認識が成功した対象となる商品を取り囲む枠画像を前記プロジェクタにより投影させる構成とする。

【0008】

また、本発明の無人店舗システムは、前記精算決済装置を備えた無人店舗システムであって、前記精算決済装置とネットワークを介して接続されたサーバ装置を備え、このサーバ装置は、前記第２のカメラの撮影で取得した顔画像に基づいて顔認証を実行し、前記精算決済装置は、前記サーバ装置での顔認証が成功した場合に、決済に関する処理を行う構成とする。

【発明の効果】

【0009】

本発明によれば、第１のカメラによる商品画像を用いた商品認識により、購入商品の登録が自動化されるため、利用者は載置部に商品を適当に並べて置くだけよく、セルフレジやスマホレジのような面倒な操作を行わなくて済む。また、載置部に置かれた商品の精算結果を確認した利用者からの顔認証の指示を受けて、第２のカメラで利用者の顔を正面から撮影することができるため、適切な顔画像を取得して、決済のための顔認証を確実に行うことができる。また、プロジェクタにより商品を取り囲む枠画像を投影するため、利用者の精算に関する操作を支援することができる。特に、認識が成功した商品を指し示す枠画像を投影することで、認識できなかった商品を利用者が容易に確認することができる。これにより、商品の登録および精算と代金の決済の作業を自動化して、利用者の手間を省きつつ店舗の無人化を図ることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る無人店舗システムの全体構成図

【図2】無人店舗のレイアウトを示す平面図

【図3】精算台２の全体斜視図

【図4】上壁部３４を斜め下方から見た斜視図

【図5】天板部３３を上方から見た平面図

【図6】精算台２の概略構成を示すブロック図

【図7】入店チェッカー１の概略構成を示すブロック図

【図8】入店チェッカー１のディスプレイ８２に表示される画面を示す説明図

【図9】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図10】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図11】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図12】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図13】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図14】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図15】精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図

【図16】精算台２のタッチパネルディスプレイ４２に表示される画面の階層構造を示す説明図

【図17】精算台２のタッチパネルディスプレイ４２に表示される画面の階層構造を示す説明図

【図18】ユーザ登録時におけるユーザ端末１１の動作手順を示すフロー図

【図19】入店チェッカー１の動作手順を示すフロー図

【図20】精算台２の動作手順を示すフロー図

【図21】精算台２の動作手順を示すフロー図

【図22】退店チェッカー３の動作手順を示すフロー図

【図23】本実施形態の変形例に係る精算台２を示す側面図

【図24】本実施形態の変形例に係る精算台２の構成内容を示す説明図

【図25】本実施形態の別の変形例に係る精算台２を示す側面図

【図26】本実施形態の別の変形例に係る精算台２の構成内容を示す説明図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、利用者が売場から選択した商品の精算、及び決済のための顔認証に関する処理を行う精算決済装置であって、利用者が商品を置く載置部が設けられた天板部を有する本体と、前記載置部に置かれた商品を撮影する複数の第１のカメラと、前記第１のカメラのうち、特定カメラの撮影方向に対して投影方向を一致させて配置されたプロジェクタと、前記天板部に設けられ、利用者の顔を撮影する第２のカメラと、前記天板部の前記載置部に隣接して配置され、精算結果及び顔認証結果を表示する表示部と、前記特定カメラ以外の撮影で取得した商品画像に基づいて、対象となる商品を認識して精算に関する処理を行うと共に、前記表示部に表示された前記載置部に置かれた商品の精算結果を確認した利用者からの前記顔認証の指示を受けて、前記第２のカメラで利用者の顔を正面から撮影して取得した顔画像に基づいて顔認証に関する処理を行う制御部と、を備え、前記制御部は、前記特定カメラで取得した商品画像に基づいて、商品の位置を検出して、認識が成功した対象となる商品を取り囲む枠画像を前記プロジェクタにより投影させる構成とする。

【0012】

これによると、第１のカメラによる商品画像を用いた商品認識により、購入商品の登録が自動化されるため、利用者は載置部に商品を適当に並べて置くだけよく、セルフレジやスマホレジのような面倒な操作を行わなくて済む。また、載置部に置かれた商品の精算結果を確認した利用者からの顔認証の指示を受けて、第２のカメラで利用者の顔を正面から撮影することができるため、適切な顔画像を取得して、決済のための顔認証を確実に行うことができる。また、プロジェクタにより商品を取り囲む枠画像を投影するため、利用者の精算に関する操作を支援することができる。特に、認識が成功した商品を指し示す枠画像を投影することで、認識できなかった商品を利用者が容易に確認することができる。これにより、商品の登録および精算と代金の決済の作業を自動化して、利用者の手間を省きつつ店舗の無人化を図ることができる。

【0013】

また、第２の発明は、前記特定カメラ以外の前記第１のカメラの少なくとも１つが前記載置部に置かれた商品を上方から撮影する商品認識用のカメラである構成とする。

【0014】

これによると、載置部に複数の商品が置かれた場合でも、全ての商品が写る撮影画像を取得することができる。特に、商品を斜め上方から撮影するように設けると、商品の上面の他に側面も撮影されるため、商品認識の精度を高めることができる。

【0017】

また、第３の発明は、前記特定カメラ以外の前記第１のカメラの１つが前記載置部に置かれた商品を側方から撮影する商品認識用のカメラである構成とする。

【0018】

これによると、縦長で主に側面に特徴がある商品、例えば、ペットボトル飲料のような縦長の商品で、側面にラベルが貼り付けられた商品の場合に、商品の側面が写る撮影画像を取得することができるため、商品認識の精度を高めることができる。

【0021】

また、第４の発明は、前記本体は、前記天板部の下方に設けられて、商品の付属品を収容する収容部を有する構成とする。

【0022】

これによると、商品の付属品、すなわち商品に付随して利用者に提供する物品を、利用者が収容部から容易に取り出すことができる。

【0023】

また、第５の発明は、第１の発明の精算決済装置を備えた無人店舗システムであって、前記精算決済装置とネットワークを介して接続されたサーバ装置を備え、このサーバ装置は、前記顔認証に関する処理として前記制御部が実施する前記第２のカメラの撮影で取得した顔画像に基づく顔認証の要求に応じて顔認証を実行し、前記精算決済装置は、前記サーバ装置での顔認証が成功した場合に、決済に関する処理を行う構成とする。

【0024】

これによると、第１の発明と同様に、商品の登録および精算と代金の決済の作業を自動化して、利用者の手間を省きつつ店舗の無人化を図ることができる。

【0025】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0026】

図１は、本実施形態に係る無人店舗システムの全体構成図である。

【0027】

この無人店舗システムは、コンビニエンスストアやスーパーマーケットなどの小売店舗において、精算および会計を行う店員が常駐しない無人化を図るようにしたものである。

【0028】

無人店舗には、入店チェッカー１（第１の顔認証機）と、精算台２（精算決済装置、第２の顔認証機）と、退店チェッカー３（第３の顔認証機）と、レジスター４（顔登録機）と、が設けられている。

【0029】

また、この無人店舗システムは、ユーザ端末１１と、決済サーバ１２と、ユーザ管理サーバ１３と、商品学習サーバ１４と、顔認証サーバ１５と、ＤＢサーバ１６（情報蓄積装置）と、分析サーバ１７（分析装置）と、を備えている。

【0030】

ユーザ端末１１、決済サーバ１２、ユーザ管理サーバ１３、商品学習サーバ１４、顔認証サーバ１５、ＤＢサーバ１６、および分析サーバ１７と、無人店舗に設けられた入店チェッカー１、精算台２、退店チェッカー３、およびレジスター４とは、インターネットやＬＡＮなどのネットワークを介して相互に接続されている。

【0031】

なお、ユーザ管理サーバ１３、商品学習サーバ１４、顔認証サーバ１５、ＤＢサーバ１６、および分析サーバ１７は、無人店舗内、例えば売場に併設されたバックヤードに設置するようにしてもよいが、無人店舗とは離れた場所、例えば無人店舗の運営者の本部などに設置するようにしてもよい。

【0032】

入店チェッカー１は、利用者の入店を許可するための顔認証に関する処理を行い、顔認証結果に応じて、入店ゲート５（ゲート装置）の開閉を制御する。本実施形態では、顔認証が失敗した場合に入店できない場合の対策としてパスワード認証を行う。

【0033】

精算台２は、利用者が無人店舗の売場で選択した商品の精算及び決済（代金の支払い）のための顔認証に関する処理を行う。本実施形態では、精算に関する処理として、商品の撮影画像から物体認識により商品を識別して（商品認識処理）、各商品の価格（単価）および数量から支払い代金の総額を算出する（精算処理）。また、決済に関する処理として、顔認証サーバ１５に対して顔認証処理を要求し、顔認証が成功すると、決済サーバ１２に対して決済処理を要求する。

【0034】

退店チェッカー３は、利用者の退店を確認するための顔認証に関する処理を行い、顔認証結果に応じて、退店ゲート６の開閉を制御する。

【0035】

レジスター４は、本システムを利用者が利用するために必要なユーザ登録（会員情報や顔画像の登録）に関する操作を利用者が行うものであり、例えばタブレット端末などで構成され、ユーザ登録のためのアプリケーションがインストールされている。

【0036】

ユーザ端末１１は、レジスター４と同様に、本システムを利用者が利用するために必要なユーザ登録（会員情報や顔画像の登録）に関する操作を行い、また、購入履歴（レシート情報）を管理するものであり、スマートフォンやタブレット端末などで構成され、ユーザ用のアプリケーションがインストールされている。

【0037】

決済サーバ１２は、決済サービスの事業者（クレジット会社など）が運営するものである。この決済サーバ１２は、精算台２からの決済の要求に応じて、利用者が購入する商品の代金に関する決済処理を実行する。なお、決済サーバ１２は、決済代行サービスの事業者が運営するもの（決済代行サーバ）であってもよい。

【0038】

ユーザ管理サーバ１３は、ユーザ管理サーバ１３は、ユーザのログインを管理するログインサーバとして機能し、パスワード認証を実行する。また、ユーザ管理サーバ１３は、精算台２と決済サーバ１２との間を中継する決済インタフェイスサーバとして機能する。

【0039】

また、ユーザ管理サーバ１３は、来店中の利用者（店舗に滞在中の利用者）に関する入店者リストを管理する。この入店者リストは、入店した利用者、すなわち入店チェッカー１による入店時の顔認証で取得した利用者と、退店した利用者、すなわち退店チェッカー３による退店時の顔認証で取得した利用者とに基づいて生成することができる。

【0040】

商品学習サーバ１４は、精算台２に搭載される商品認識エンジンを、ディープラーニングなどの機械学習により構築する。この商品学習サーバ１４では、予め登録対象となる商品を撮影することで取得した商品画像を入力情報とし、商品ごとの特徴情報を出力情報として機械学習が行われ、商品認識用のデータベースが構築される。

【0041】

顔認証サーバ１５は、顔管理サーバ２５と、顔照合サーバ２６とを備えている。顔管理サーバ２５は、登録された利用者の名前や顔情報（顔ＩＤ、顔画像）などの情報を蓄積して管理する。顔照合サーバ２６は、入店チェッカー１、精算台２、および退店チェッカー３からの顔認証の要求に応じて顔認証を実行する。この顔認証では、入店チェッカー１、精算台２、および退店チェッカー３から対象者の顔画像を取得して、その顔画像から対象者の顔特徴量を生成して、その対象者の顔特徴量と、自装置に保管された登録者（登録済みの利用者）の顔特徴量とを比較することによる顔照合を行って、対象者が登録者か否かを判定する（１対Ｎ認証）。なお、ユーザ管理サーバ１３で管理される入店者リストを取得して、入店者に絞り込んだ上で顔認証を行うようにしてもよい。

【0042】

ＤＢサーバ１６は、各種の情報を蓄積して管理する。具体的には、ユーザ管理情報として、ユーザごとの決済ＩＤ、顔ＩＤ、ユーザＩＤ、パスワード、オフィスコードなどの情報がデータベースに登録される。また、商品マスタ情報として、商品の識別情報（商品名や商品コードなど）などの情報がデータベースに登録される。また、購入ログ情報として、ユーザごとのユーザＩＤ、購入した商品の名称および金額などの情報がデータベースに登録される。

【0043】

分析サーバ１７は、ＤＢサーバ１６に蓄積された情報に基づいて、各種の分析処理を行う。具体的には、来店した利用者ごとの商品の購入および未購入の別に応じた分析処理を行う。例えば、購入者と未購入者との割合を所定の基準（曜日、時間帯など）で集計する。

【0044】

次に、無人店舗について説明する。図２は、無人店舗のレイアウトを示す平面図である。

【0045】

無人店舗には、出入口と売場と精算コーナーと登録コーナーとが設けられている。出入口の近傍には、仕切壁で仕切られた入店通路と退店通路とが設けられている。売場には、陳列棚が設置されている。登録コーナーは、精算コーナーに隣接して、出入口から直接進入できる位置に設けられている。

【0046】

入店チェッカー１は、出入口の近傍で出入口を内側から撮影するように設置されている。入店ゲート５は、入店通路を閉鎖するように設置されている。退店チェッカー３は、精算台２と向かい合わせに設置されている。退店ゲート６は、退店通路を閉鎖するように設置されている。精算コーナーには、精算台２が複数設置されている。登録コーナーには、レジスター４が設置されている。

【0047】

利用者が出入口から入店すると、入店チェッカー１が利用者の顔を撮影して顔認証を行い、顔認証が成功して入店ゲート５が開くと、売場に入ることができる。次に、利用者は、売場の陳列棚で商品の品定めをして、購入する商品を陳列棚から取り出す。次に、利用者は、精算コーナーに移動して、精算台２で精算および決済の操作を行う。このとき、利用者が選択した商品を精算台２に置くことで精算が行われ、ついで顔認証およびパスワード認証が行われ、顔認証およびパスワード認証が成功すると、決済が実行される。なお、この決済処理において、パスワード認証を省略することもできる。次に、利用者は、退店するために退店通路に移動する。このとき、退店チェッカー３が利用者の顔を撮影して顔認証を行い、顔認証が成功して退店ゲート６が開くと、利用者は出入口から退店することができる。

【0048】

ここで、退店チェッカー３は、精算および決済を終えた利用者が後ろを振り向いたタイミングで、その利用者の顔を撮影する。これにより、精算および決済を終えた利用者のみの顔を正面から撮影することができる。

【0049】

ちなみに、退店ゲート６に向かう人物を正面から撮影できるように退店チェッカー３を設置すると、店舗の奥側から出入口側に向かって移動している人物が全て撮影され、撮影画像は、退店する人物以外の人物が多数含まれる不適切な状態となる。また、精算を行わずに退店する人物は斜め向きの顔が撮影されるが、退店チェッカー３で顔認証に失敗し、退店ゲート６が開かない場合には、退店チェッカー３で正面向きの顔を撮影するように音声等で知らせるとよい。

【0050】

なお、本実施形態では、無人店舗について説明を行うが、無人店舗と有人店舗とが併存する形態も可能である。例えば、無人レジと有人レジとの双方を１つの店舗に設置するようにしてもよい。また、１つの店舗を無人エリアと有人エリアとに分割するようにしてもよい。

【0051】

次に、精算台２について説明する。図３は、精算台２の全体斜視図である。図４は、上壁部３４を斜め下方から見た斜視図である。図５は、天板部３３を上方から見た平面図である。

【0052】

図３に示すように、精算台２の本体３１は、箱状部３２と天板部３３と上壁部３４と後壁部３５とを備えている。天板部３３は、箱状部３２の上側に設けられている。後壁部３５は、箱状部３２の後側から上向きに突出した状態で設けられている。上壁部３４は、後壁部３５の上端から前向きに庇状に突出した状態で設けられている。

【0053】

天板部３３には、利用者が購入する商品（売場で選択した商品）を置く載置部４１が設けられている。利用者は、載置部４１に商品を並べて置くだけで、物体認識により、置かれた商品を識別して、商品の単価から支払う代金を算出する精算が行われる。なお、載置部４１は、皿状に凹設されており、商品を置く範囲を利用者が容易に把握することができる。

【0054】

また、天板部３３には、タッチパネルディスプレイ４２が設けられている。このタッチパネルディスプレイ４２には、商品認識結果、すなわち、精算対象となる商品が表示され、商品認識結果に誤りがなければ、顔認証およびパスワード認証に関する操作を行うことができる。また、商品認識結果に誤りがある場合には、精算対象となる商品を修正する操作を行うことができる。

【0055】

また、天板部３３には、カメラ４３が設けられている。このカメラ４３は、タッチパネルディスプレイ４２の近傍に設置されているため、タッチパネルディスプレイ４２を目視する利用者の顔を正面から撮影することができる。このカメラ４３で取得した顔画像は、決済のための顔認証の用途に用いられる。

【0056】

箱状部３２には、前側が開放された第１の収納部４６（棚部）と、前側が扉４７で閉鎖された第２の収納部４８とが設けられている。第１の収納部４６には、商品の付属品が収納される。この付属品は、無償で利用者に提供されるものであり、利用者が自由に持ち帰ることができる。具体的には、買い物袋やカトラリー（スプーンやフォークなど）などである。第２の収納部４８には、タッチパネルディスプレイ４２やカメラ４３などを制御するコントローラー４９（ＰＣ）が収納される。

【0057】

なお、第１の収納部４６の中が覗けるように前側の開口面を斜めに形成するようにしてもよい。これにより、収納部に収容された買い物袋やカトラリーを、利用者が斜め上方から容易に見ることができるようになる。

【0058】

後壁部３５には、ディスプレイ４５が設けられている。このディスプレイ４５は、デジタルサイネージとして機能し、店舗の案内や商品の広告などのコンテンツを常時表示する。

【0059】

図４に示すように、上壁部３４には、カメラ５１が設けられている。このカメラ５１は、天板部３３の載置部４１に置かれた商品を撮影する。ここでは、３つのカメラ５１が設けられている。中心のカメラ５１は、載置部４１に置かれた商品を真上から撮影し、その撮影画像は、載置部４１に置かれた商品の位置を検出する用途に用いられる。両側の２つのカメラ５１は、載置部４１に置かれた商品を斜め上方から撮影し、その撮影画像は、載置部４１に置かれた商品（商品名）を認識する用途に用いられる。

【0060】

また、上壁部３４には、プロジェクタ５２が設けられている。このプロジェクタ５２は、商品が置かれる載置部４１に対してプロジェクションマッピングを行うものであり、載置部４１に真上から所定画像を投影する。本実施形態では、図５に示すように、載置部４１に置かれた商品を取り囲む枠画像５５を投影する。特に、商品認識が成功した商品を取り囲むように枠画像５５を投影する。これにより、商品認識が成功した商品を利用者に知らせることができ、利用者は、認識できなかった商品だけを置き直したり並び替えたりすればよい。

【0061】

また、図４に示したように、上壁部３４には、スピーカ５３が設けられている。このスピーカ５３は、入店する利用者に応対する音声を出力する。

【0062】

ところで、上壁部３４に設けられた３つのカメラ５１の内の中心のカメラ５１は、載置部４１の真上から撮影するように設けられており、これにより載置部４１上での商品の位置を精度よく検出することができる。このため、高精度な位置情報に基づいて、プロジェクタ５２により、適切な位置に枠画像５５を投影することができる。また、プロジェクタ５２は、載置部４１の真上から投影する、すなわち光軸が鉛直方向となるように真下に向けて投影するように設けられており、これにより明瞭な画像を投影することができる。

【0063】

次に、精算台２の概略構成について説明する。図６は、精算台２の概略構成を示すブロック図である。

【0064】

精算台２は、タッチパネルディスプレイ４２と、カメラ４３と、ディスプレイ４５と、カメラ５１と、プロジェクタ５２と、スピーカ５３と、通信部６１と、記憶部６２と、制御部６３と、を備えている。

【0065】

タッチパネルディスプレイ４２およびカメラ４３は、天板部３３に設けられ、ディスプレイ４５は、後壁部３５に設けられている（図３参照）。カメラ５１、プロジェクタ５２およびスピーカ５３は、上壁部３４に設けられている（図４参照）。

【0066】

通信部６１は、ユーザ管理サーバ１３、商品学習サーバ１４、および顔認証サーバ１５との間でネットワークを介して通信を行う。

【0067】

記憶部６２は、制御部６３を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部６２は、商品マスタ情報を記憶する。具体的には、商品の識別情報（商品名や商品コードなど）や、商品認識処理に用いられる情報、すなわち、商品ごとの特徴情報や、精算処理に用いられる情報、すなわち、商品ごとの金額（単価）に関する情報などを記憶する。

【0068】

制御部６３は、商品検知部７１と、商品認識部７２と、精算処理部７３と、認証指示部７４と、決済指示部７５と、を備えている。この制御部６３は、プロセッサで構成され、制御部６３の各部は、記憶部６２に記憶されたプログラムをプロセッサで実行することで実現される。

【0069】

商品検知部７１は、載置部４１を撮影するカメラ５１の撮影画像に基づいて、載置部４１に商品が置かれたことを検知する。また、商品検知部７１は、載置部４１に商品が置かれた場合に、カメラ５１の撮影画像に基づいて、商品の位置を検出する。

【0070】

商品認識部７２は、カメラ５１の撮影画像に基づいて、載置部４１に置かれた商品を認識する。本実施形態では、ディープラーニングなどの機械学習により構築された商品認識エンジンを用いて、撮影画像から切り出した商品画像から特徴情報を抽出して、その特徴情報と、予め登録された商品ごとの特徴情報と照合することで、類似度などの認識結果を取得する。

【0071】

精算処理部７３は、載置部４１に置かれた商品の代金を精算する。すなわち、載置部４１に置かれた各商品の金額（単価）を取得して、その各商品の金額を集計して、代金の総額を算出する。

【0072】

認証指示部７４は、決済のための認証として、顔認証サーバ１５に対して顔認証の実行を指示し、また、ユーザ管理サーバ１３に対してパスワード認証の実行を指示する。本実施形態では、セキュリティ強化のため、顔認証とパスワード認証との２要素認証が採用され、顔認証およびパスワード認証の両方が成功した場合に決済を許可する。なお、顔認証時には、カメラ４３の撮影画像から顔画像を切り出して、その顔画像を顔認証サーバ１５に送信する。また、パスワード認証時には、利用者が入力したユーザＩＤおよびパスワードをユーザ管理サーバ１３に送信する。

【0073】

決済指示部７５は、決済サーバ１２に対して決済処理の実行を指示する。

【0074】

なお、精算台２の制御部６３では、この他に、商品検知部７１で取得した商品の位置情報に基づいて、プロジェクタ５２を制御して、枠画像５５を載置部４１に投影する処理（プロジェクションマッピング）や、ディスプレイ４５を制御して、デジタルサイネージ用のコンテンツをディスプレイ４５に表示する処理が行われる。このとき、コンテンツデータは、記憶部６２に予め記憶され、または、外部（コンテンツ配信サーバなど）から受信する。

【0075】

なお、本実施形態では、精算台２において、商品認識処理を行うようにしたが、この商品認識処理を外部のサーバで行うようにしてもよい。

【0076】

次に、入店チェッカー１の概略構成について説明する。図７は、入店チェッカー１の概略構成を示すブロック図である。

【0077】

入店チェッカー１は、カメラ８１と、ディスプレイ８２と、スピーカ８３と、通信部８４と、インタフェイス８５と、記憶部８６と、制御部８７と、を備えている。

【0078】

カメラ８１は、出入口を内側から撮影して、入店する利用者の顔を含む撮影画像を取得する。

【0079】

ディスプレイ８２は、入店する利用者に応対する画面を表示する。

【0080】

スピーカ８３は、入店する利用者に応対する音声を出力する。

【0081】

通信部８４は、ユーザ管理サーバ１３および顔認証サーバ１５との間でネットワークを介して通信を行う。

【0082】

インタフェイス８５は、入店ゲート５との間で制御信号を入出力する。

【0083】

記憶部８６は、制御部８７を構成するプロセッサで実行されるプログラムを記憶する。

【0084】

制御部８７は、人物検知部９１と、認証指示部９２と、ゲート制御部９３と、を備えている。この制御部８７は、プロセッサで構成され、制御部８７の各部は、記憶部８６に記憶されたプログラムをプロセッサで実行することで実現される。

【0085】

人物検知部９１は、出入口を撮影するカメラ８１の撮影画像に基づいて、人物が入店したことを検知する。

【0086】

認証指示部９２は、入店のための認証として、顔認証サーバ１５に対して顔認証の実行を指示する。本実施形態では、顔認証が失敗した場合に入店できない場合の対策としてパスワード認証の実行を指示する。

【0087】

ゲート制御部９３は、顔認証またはパスワード認証の結果に応じて、インタフェイス８５を介して入店ゲート５の開閉を制御する。

【0088】

なお、退店チェッカー３の構成は、入店チェッカー１と略同様である。

【0089】

次に、入店チェッカー１のディスプレイ８２に表示される画面について説明する。図８は、入店チェッカー１のディスプレイ８２に表示される画面を示す説明図である。

【0090】

入店チェッカー１では、入店する人物を検知すると、カメラ８１の撮影画面から入店者の顔画像を抽出して、その顔画像に基づく顔認証を顔認証サーバ１５に実施させて、顔認証が成功すると、図７（Ａ）に示す入店応対画面をディスプレイ８２に表示する。

【0091】

一方、顔認証が失敗した場合には、図７（Ｂ）に示す顔認証結果画面をディスプレイ８２に表示する。この顔認証結果画面には、顔認証が失敗した旨のメッセージ１０１（「認識できませんでした」）と共に、入店者の顔画像１０２と、「再認証する」のボタン１０３と「ＩＤ入力する」のボタン１０４と「やめる」のボタン１０５とが表示される。

【0092】

なお、退店チェッカー３では、入店チェッカー１と同様に、人物の撮影画像から抽出した顔画像に基づく顔認証を顔認証サーバ１５に実施させて、顔認証が成功した場合には、退店応対画面をディスプレイに表示する。

【0093】

次に、精算台２のタッチパネルディスプレイ４２に表示される画面について説明する。図９、図１０、図１１、図１２、図１３、図１４、図１５は、精算台２のタッチパネルディスプレイ４２に表示される画面を示す説明図である。

【0094】

精算台２のタッチパネルディスプレイ４２では、まず、図９（Ａ）に示す精算案内画面が表示される。この精算案内画面では、精算台２の載置部４１に商品を置くように利用者を促す案内メッセージ１１１と、商品の載せ方の要領を説明する案内画像１１２（イラストなど）とが表示される。ここで、利用者が載置部４１に商品を載せると、精算台２において、商品認識および精算の処理が行われて、購入商品確認画面（図９（Ｂ）参照）に遷移する。

【0095】

図９（Ｂ）に示す購入商品確認画面では、商品を確認するように利用者を促す案内メッセージ１１４と、商品の名称および金額が記載された商品ボックス１１５（商品表示部）が表示される。この商品ボックス１１５は、利用者が載置部４１に置いた商品、特に商品認識により認識された商品に関するものであり、複数の商品ボックス１１５が並べて表示される。

【0096】

また、この購入商品確認画面には、精算結果表示部１１６が設けられている。この精算結果表示部１１６には、精算結果、すなわち、載置部４１に載せた商品の総数および合計金額が表示される。

【0097】

また、この購入商品確認画面には、「会計をする」のボタン１１７と「商品を修正する」のボタン１１８と「会計をやめる」のボタン１１９とが設けられている。ここで、「会計をする」のボタン１１７を操作すると、顔認証画面（図１０（Ａ）参照）に遷移する。一方、「商品を修正する」のボタン１１８を操作すると、商品別修正内容選択画面（図１３（Ａ）参照）に遷移する。また、「会計をやめる」のボタン１１９を操作すると、キャンセル画面（図９（Ｃ）参照）に遷移する。また、載置部４１から商品を取り除いた場合にも、キャンセル画面に遷移する。

【0098】

図１０（Ａ）に示す顔認証画面では、利用者の撮影画像１２１と、利用者の顔が所定の撮影範囲に入っていない場合に顔の位置の調整を促すメッセージ１２２とが表示される。ここで、利用者は、画面に表示される自分の撮影画像１２１を見ながら、自分の顔の位置を調整し、顔が適切に撮影できると、顔認証サーバ１５に対して顔画像を送信して顔認証が開始され、このとき、顔認証中の顔認証画面（図１０（Ｂ）参照）に遷移する。

【0099】

図１０（Ｂ）に示す顔認証画面では、利用者の撮影画像から抽出した顔画像１２３と、顔認証の進捗状況を可視化したプリローダー１２４が表示される。精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0100】

ここで、顔認証が成功すると、顔認証結果確認画面（図１０（Ｃ）参照）に遷移する。一方、顔認証が失敗した場合、顔画像を再取得して、顔認証が所定回数繰り返され、所定回数連続して顔認証が失敗すると、顔認証を中止して、パスワード認証のみで決済を行うモードに移行して、ユーザＩＤ選択画面（図１２（Ａ）参照）に遷移する。

【0101】

図１０（Ｃ）に示す顔認証結果確認画面では、利用者の顔画像１２３と、利用者の名前に誤りがないかを問い合わせるメッセージ１２６と、が表示される。また、この顔認証結果確認画面では、「はい」のボタン１２７と「違います」のボタン１２８とが設けられている。ここで、「はい」のボタン１２７を操作すると、パスワード認証画面（図１１（Ａ）参照）に遷移する。「違います」のボタン１２８を操作すると、ユーザＩＤ選択画面（図１２（Ａ）参照）に遷移する。

【0102】

なお、図１０（Ａ），（Ｂ），（Ｃ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0103】

図１１（Ａ）に示すパスワード認証画面では、パスワードとしての暗証番号の入力を促すメッセージ１３１と、暗証番号の入力状況を表す画像１３２と、テンキー１３３とが設けられている。ここで、所定桁数の暗証番号の入力が終了すると、パスワード認証が実行され、パスワード認証が成功すると、決済確認画面（図１１（Ｂ）参照）に遷移する。一方、パスワード認証が失敗すると、パスワード再入力画面（図１２（Ｃ）参照）に遷移する。

【0104】

また、このパスワード認証画面には、「支払う」のボタン１３５と「戻る」のボタン１３６とが設けられている。ここで、「戻る」のボタン１３６を操作すると、暗証番号の未入力状態に戻る。また、「支払う」のボタン１３５は、グレーアウト表示で操作不能状態となっている。

【0105】

図１１（Ｂ）に示す決済確認画面では、「支払う」のボタン１３５が操作可能状態となり、この「支払う」のボタン１３５を操作すると、決済完了画面（図１１（Ｃ）参照）に遷移する。

【0106】

なお、図１１（Ａ），（Ｂ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0107】

図１２（Ａ）に示すユーザＩＤ選択画面では、利用者が自分のユーザＩＤを選択するように促すメッセージ１４１と、ユーザＩＤのボタン１４２とが設けられている。ユーザＩＤのボタン１４２は、入店者リストに登録された利用者に対応し、複数のボタン１４２が並べて表示される。また、このユーザＩＤ選択画面には、「候補がない」のボタン１４３が設けられている。ここで、利用者が自分のユーザＩＤのボタン１４２を操作すると、パスワード認証画面（図１１（Ａ）参照）に遷移する。「候補がない」のボタン１４３を操作すると、決済不可のエラー画面（図１２（Ｂ）参照）に遷移する。

【0108】

図１２（Ｃ）に示すパスワード再入力画面では、暗証番号が不正であることを表すメッセージ１４５が表示される。その他は、パスワード認証画面（図１１（Ａ）参照）と同様である。ここで、利用者はパスワードを再入力し、パスワード認証が成功すると、決済確認画面（図１１（Ｂ）参照）に遷移する。一方、再度、パスワード認証が失敗すると、パスワード不正のエラー画面（図１２（Ｄ）参照）に遷移する。

【0109】

なお、図１２（Ａ），（Ｃ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0110】

図１３（Ａ）に示す商品別修正内容選択画面では、修正の操作を促すメッセージ１５１と、商品ボックス１５２とが設けられている。商品ボックス１５２は、商品認識で取得した精算対象となる商品ごとに設けられ、複数の商品ボックス１５２が並べて表示される。この商品ボックス１５２は、購入商品確認画面（図９（Ｂ）参照）の商品ボックス１１５に対応する。

【0111】

商品ボックス１５２には、「削除」のボタン１５３と、「変更」のボタン１５４とが設けられている。また、この商品別修正内容選択画面には、「不足している商品を追加する」のボタン１５５が設けられている。ここで、「削除」のボタン１５３を操作すると、削除確認画面（図１４（Ｂ）参照）に遷移する。また、「変更」のボタン１５４を操作すると、商品変更時のカテゴリー選択画面（図１３（Ｂ）参照）に遷移する。また、「不足している商品を追加する」のボタン１５５を操作すると、商品追加時のカテゴリー選択画面（図１５（Ａ）参照）に遷移する。

【0112】

図１３（Ｂ）に示す商品変更時のカテゴリー選択画面には、商品（カテゴリー）の選択を促すメッセージ１５６と、変更元の商品の情報（名称および金額）を表示する変更元商品表示部１５７と、カテゴリーごとのボタン１５８とが設けられている。また、このカテゴリー選択画面では、「戻る」のボタン１５９が設けられている。ここで、カテゴリーのボタン１５８を操作すると、変更先商品選択画面（図１３（Ｃ）参照）に遷移する。また、「戻る」のボタン１５９を操作すると、１つ前の画面、すなわち商品別修正内容選択画面（図１３（Ａ）参照）に戻る。

【0113】

図１３（Ｃ）に示す商品変更時の商品選択画面には、カテゴリー選択画面（図１３（Ｂ）参照）で選択したカテゴリーに含まれる商品ごとのボタン１６０が設けられている。ここで、商品のボタン１６０を操作すると、変更確認画面（図１３（Ｄ）参照）に遷移する。なお、メッセージ１５６、変更元商品表示部１５７、および「戻る」のボタン１５９は、カテゴリー選択画面（図１３（Ｂ）参照）と同様である。

【0114】

図１３（Ｄ）に示す商品変更確認画面では、商品の変更を行う旨のメッセージ１６１と、変更前の商品の情報（名称および金額）を表示する変更前商品表示部１６２と、変更後の商品の情報（名称および金額）を表示する変更後商品表示部１６３とが設けられている。また、この変更確認画面には、「はい」のボタン１６５と「いいえ」のボタン１６６とが設けられている。ここで、「はい」のボタン１６５を操作すると、修正済みの商品別修正内容選択画面（図１４（Ａ）参照）に遷移する。また、「いいえ」のボタン１６６を操作すると、変更先商品選択画面（図１３（Ｃ）参照）に戻る。

【0115】

図１４（Ａ）に示す修正済みの商品別修正内容選択画面は、商品別修正内容選択画面（図１３（Ａ）参照）と略同様であるが、特にここでは、変更した商品に関する商品ボックス１５２が最初（最上部）に表示され、かつ、他の商品ボックス１５２とは異なる色で強調表示される。

【0116】

なお、図１３（Ａ），（Ｂ），（Ｃ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0117】

図１４（Ｂ）に示す削除確認画面には、商品の削除を行う旨のメッセージ１７１と、削除対象となる商品の情報（名称および金額）を表示する削除商品表示部１７２とが設けられている。また、この変更確認画面には、「はい」のボタン１７３と「いいえ」のボタン１７４とが設けられている。ここで、「はい」のボタン１７３を操作すると、修正済みの商品別修正内容選択画面（図示せず）に遷移する。この修正済みの商品別修正内容選択画面は、図１４（Ａ）に示す商品別修正内容選択画面と略同様であるが、このときの修正済みの商品別修正内容選択画面では、削除の操作が反映された状態で商品ボックス１５２が表示される。

【0118】

図１５（Ａ）に示す商品追加時のカテゴリー選択画面は、商品変更時のカテゴリー選択画面（図１３（Ｂ）参照）と略同様であるが、特にここでは、追加する商品（カテゴリー）の選択を促すメッセージ１８１が表示される。ここで、カテゴリーのボタン１５８を操作すると、追加商品選択画面（図１５（Ｂ）参照）に遷移する。

【0119】

図１５（Ｂ）に示す商品追加時の商品選択画面は、商品変更時の商品選択画面（図１３（Ｃ）参照）と略同様であるが、特にここでは、カテゴリー選択画面（図１５（Ａ）参照）で選択したカテゴリーに含まれる商品ごとのボタン１６０が表示される。ここで、商品のボタン１６０を操作すると、商品追加確認画面（図１５（Ｃ）参照）に遷移する。

【0120】

図１５（Ｃ）に示す商品追加確認画面では、商品の追加を行う旨のメッセージ１８５と、追加する商品の情報（名称および金額）を表示する追加商品表示部１８６とが設けられている。また、この追加確認画面には、「はい」のボタン１８７と「いいえ」のボタン１８８とが設けられている。ここで、「はい」のボタン１８７を操作すると、修正済みの商品別修正内容選択画面（図示せず）に遷移する。「いいえ」のボタン１８８を操作すると、追加商品選択画面（図１５（Ｂ）参照）に戻る。

【0121】

なお、図１５（Ａ），（Ｂ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、購入商品確認画面（図９（Ｂ）参照）と同様である。

【0122】

次に、精算台２のタッチパネルディスプレイ４２に表示される画面の階層構造について説明する。図１６，図１７は、精算台２のタッチパネルディスプレイ４２に表示される画面の階層構造を示す説明図である。

【0123】

図１６に示すように、精算台２のタッチパネルディスプレイ４２に表示される画面は、複数の画面（レイヤー）を重畳した階層構造を有している（重畳画面）。本実施形態では、２つの画面、すなわち、前面側に配置される第１の画面（前面レイヤー）と、背面側に配置される第２の画面（背面レイヤー）とが重畳されている。また、第１の画面は、タッチパネルディスプレイ４２の表示領域の下部に表示され、第２の画面は、タッチパネルディスプレイ４２の表示領域の全体に表示される。したがって、第２の画面は、下側の部分が第１の画面で覆われた状態となる。

【0124】

第１の画面は、重要度の高い情報や確定した情報を表示するとともに、重要度の高い操作を利用者が行えるようにしている。一方、第２の画面は、第１の画面に表示された情報の内訳や操作の判断根拠となる情報を表示するとともに、比較的重要度の低い操作を利用者が行えるようにしている。利用者は、画面を上側から下側に向けて見るため、まず、上側に位置する第２の画面を最初に見て、最後に第１の画面を見て、重要度の高い操作を行う手順となる。

【0125】

ここで、図１６に示す例は、購入商品確認画面（図９（Ｂ）参照）の場合である。この場合、第１の画面は、購入する商品の金額を集計した精算結果（合計金額）に関する情報を利用者に提示する（精算結果表示部１１６）。この第１の画面により、利用者が精算結果を確認することができる。第２の画面は、購入する商品ごとの金額に関する精算明細情報（精算内訳情報）を利用者に提示する（商品ボックス１１５）。この第２の画面により、利用者が精算に誤りがないか否かを確認することができる。なお、第１の画面に表示される精算結果（精算結果表示部１１６）は、顔認証に進んだ以降もそのまま表示される（図１０など参照）。

【0126】

また、第１の画面には、精算結果を承認するか否かを利用者が選択する操作部として、「会計をする」のボタン１１７と「会計をやめる」のボタン１１９とが設けられている。したがって、利用者は、第２の画面で精算明細を確認し、第１の画面で精算結果を確認し、精算に間違いなければ、第１の画面で精算結果を承認する操作を行うことができる。

【0127】

また、第２の画面には、商品の名称および金額が記載された商品ボックス１１５（商品表示部）が、利用者が選択した商品ごとに並べて配置されている。一方、第２の画面の下側部分には、第１の画面で部分的に覆われて見えなくなる非表示領域が形成される。このため、購入する商品の数が所定値を超えた場合には、第２の画面の非表示領域にも商品ボックス１１５が現れる。この場合、非表示領域の商品ボックス１１５は第１の画面に覆われて見えなくなる。

【0128】

そこで、本実施形態では、第２の画面において、商品ボックス１１５を、第１の画面の後側の非表示領域から外側（上側）の表示領域に移動させるスクロールバー１９１（スクロール指示部）が設けられている。このスクロールバー１９１は、第１の画面で覆われない表示領域に表示される。なお、商品ボックス１１５は縦方向に並べて配置されているため、スクロールバー１９１は、商品ボックス１１５を縦方向に移動させるように設けられている。

【0129】

さらに、本実施形態では、第２の画面における非表示領域と表示領域との境界部分に位置する商品ボックス１１５が部分的に隠れる、すなわち、商品ボックス１１５が途中で切れた状態で表示されるように、第１の画面を重畳する。具体的には、商品ボックス１１５の大きさおよび位置と、第１の画面の表示エリアの大きさとを設定する。これにより、第２の画面における第１の画面で覆われた部分に商品ボックス１１５が隠れていることを利用者が直感的に把握することができる。逆に、第１の画面の上方に所定以上の空白部分ができた場合には、全ての商品ボックス１１５が表示されていることを利用者が直感的に把握することができる。

【0130】

図１７（Ａ）に示す例は、顔認証が成功した際に表示される顔認証結果確認画面（図１０（Ｃ）参照）の場合である。この場合、第２の画面では、顔認証結果、すなわち顔認証で取得した利用者の名前（メッセージ１２６）が表示される。この第２の画面により、利用者が顔認証結果を確認することができる。また、第１の画面は、精算結果（精算結果表示部１１６）と共に、第２の画面に表示された顔認証結果を承諾するか否かを利用者が選択する操作部として、「はい」のボタン１２７と「違います」のボタン１２８とが設けられている。したがって、利用者は、第２の画面で顔認証結果を確認し、顔認証に間違いなければ、第１の画面で顔認証結果を承認する操作を行うことができる。

【0131】

図１７（Ｂ）に示す例は、パスワード認証が成功した際に表示される決済確認画面（図１１（Ｂ）参照）の場合である。この場合、第２の画面には、暗証番号（パスワード）の入力部としてのテンキー１３３が設けられている。また、第１の画面は、精算結果（精算結果表示部１１６）と、会計（決済）に進むか否かを利用者が選択する操作部として、「支払う」のボタン１３５と「会計をやめる」のボタン１１９とが設けられている。したがって、利用者は、パスワード認証が成功した場合に、第１の画面で会計（決済）の実行を指示することができる。

【0132】

次に、ユーザ登録時におけるユーザ端末１１の動作手順について説明する。図１８は、ユーザ登録時におけるユーザ端末１１の動作手順を示すフロー図である。

【0133】

ユーザ端末１１では、アプリケーションをインストールして最初に起動した際に、まず、個人情報確認画面を表示する（ＳＴ１０１）。この個人情報確認画面では、個人情報の取り扱いに関する同意書が表示される。この個人情報確認画面において、同意書を承認する操作をユーザが行うと、認証情報入力画面を表示する（ＳＴ１０２）。

【0134】

次に、認証情報入力画面において、ユーザＩＤおよびパスワードを入力する操作をユーザが行うと、ユーザＩＤおよびパスワードをユーザ管理サーバ１３に送信する（ＳＴ１０３）。次に、顔撮影画面を表示する（ＳＴ１０４）。この顔撮影画面において、ユーザが自分の顔を撮影する操作を行うと、撮影画像から顔画像を抽出して、その顔画像をユーザ管理サーバ１３に送信する（ＳＴ１０５）。

【0135】

このとき、ユーザ管理サーバ１３では、ユーザ端末１１から取得したユーザＩＤおよびパスワードを登録する処理を行う。また、ユーザ管理サーバ１３では、ユーザ端末１１から取得した顔画像を顔認証サーバ１５に送信し、顔認証サーバ１５において、顔画像を登録する処理を行う。

【0136】

次に、クレジット情報入力画面を表示する（ＳＴ１０６）。このクレジット情報入力画面において、ユーザがクレジット情報を入力する操作を行うと、そのクレジット情報を決済サーバ１２に送信する（ＳＴ１０７）。決済サーバ１２では、ユーザ端末１１から取得したクレジット情報を登録する処理を行う。

【0137】

次に、クレジット情報登録の完了通知を決済サーバ１２から受信すると、登録完了画面を表示する（ＳＴ１０８）。

【0138】

なお、店舗に設置されたレジスター４でも利用者がユーザ登録の操作を行うことができ、その手順も、ユーザ端末１１の場合と同様である。

【0139】

次に、入店チェッカー１の動作手順について説明する。図１９は、入店チェッカー１の動作手順を示すフロー図である。

【0140】

入店チェッカー１では、まず、カメラ８１の撮影画像から人物の顔を検知すると（ＳＴ2０１でＹｅｓ）、撮影画像から顔画像を抽出して（ＳＴ２０２）、その顔画像を含む顔認証のリクエストを顔認証サーバ１５に送信する（ＳＴ２０３）。このとき、顔認証サーバ１５では、顔認証のリクエストに応じて、入店チェッカー１から取得した顔画像に基づいて顔認証を実施し、認証結果を含む顔認証のレスポンスを入店チェッカー１に送信する。

【0141】

次に、顔認証のレスポンスを顔認証サーバ１５から受信し（ＳＴ２０４）、その顔認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ２０５でＹｅｓ）、ディスプレイ８２に入店応対画面（図７（Ｂ）参照）を表示し（ＳＴ２０６）、入店ゲート５を開ける制御を行う（ＳＴ２０７）。

【0142】

一方、認証結果が失敗である場合には（ＳＴ２０５でＮｏ）、顔認証結果画面（図８（Ｂ）参照）を表示する（ＳＴ２０８）。そして、この顔認証結果画面において、パスワード認証を選択する操作、具体的には「ＩＤ入力する」のボタン１０４の操作をユーザが行うと（ＳＴ２０９で「パスワード認証」）、パスワード認証画面（図示せず）を表示する（ＳＴ２１０）。

【0143】

次に、パスワード認証画面でユーザＩＤおよびパスワードを入力する操作をユーザが行うと、ユーザＩＤおよびパスワードを含むパスワード認証のリクエストをユーザ管理サーバ１３に送信する（ＳＴ２１１）。このとき、ユーザ管理サーバ１３では、パスワード認証のリクエストに応じて、入店チェッカー１から取得したユーザＩＤおよびパスワードに基づいてパスワード認証を実施し、認証結果を含むパスワード認証のレスポンスを入店チェッカー１に送信する。なお、ユーザ管理サーバ１３では、顔認証サーバ１５で行われた顔認証の認証結果と、ユーザ管理サーバ１３で行われたパスワード認証の認証結果とに基づいて、入店者リストを生成する。

【0144】

次に、パスワード認証のレスポンスをユーザ管理サーバ１３から受信し（ＳＴ２１２でＹｅｓ）、そのパスワード認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ２１３でＹｅｓ）、ディスプレイ８２に入店応対画面（図７（Ｂ）参照）を表示し（ＳＴ２０６）、入店ゲート５を開ける制御を行う（ＳＴ２０７）。

【0145】

一方、認証結果が失敗である場合には（ＳＴ２１３でＮｏ）、エラー画面を表示して（ＳＴ２１４）、処理を終了する。このとき、入店ゲート５を開ける制御は行わない。

【0146】

また、顔認証結果画面（図８（Ｂ）参照）において、中止を選択する操作、具体的には「やめる」のボタン１０５の操作をユーザが行うと（ＳＴ２０９で「中止」）、処理を終了する。また、顔認証結果画面において、再認証（顔認証の再実施）を選択する操作、具体的には「再認証する」のボタン１０３の操作をユーザが行うと（ＳＴ２０９で「再認証」）、ＳＴ２０２に戻り、顔認証をやり直す。

【0147】

次に、精算台２の動作手順について説明する。図２０、図２１は、精算台２の動作手順を示すフロー図である。

【0148】

精算台２では、まず、カメラ５１の撮影画像に基づいて、載置部４１に物体が置かれたことを検知すると（ＳＴ３０１でＹｅｓ）、載置部４１に置かれた物体の位置を検出する（ＳＴ２０３）。次に、載置部４１に置かれた物体がどの商品であるかを識別する（ＳＴ３０３）。次に、載置部４１に置かれた商品の代金を精算する（ＳＴ３０４）。次に、購入商品確認画面（図９（Ｂ）参照）を表示する（ＳＴ３０５）。

【0149】

次に、購入商品確認画面（図９（Ｂ）参照）において、中止を選択する操作、具体的には「会計をやめる」のボタン１１９を操作すると（ＳＴ３０５で「中止」）、キャンセル画面（図９（Ｃ）参照）に遷移する（ＳＴ３０９）。一方、決済を選択する操作、具体的には「会計をする」のボタン１１７の操作をユーザが行うと（ＳＴ３０５で「決済」）、顔認証に進み、顔認証画面（図１０（Ａ）参照）を表示する（ＳＴ３１１）。

【0150】

一方、購入商品確認画面（図９（Ｂ）参照）において、商品修正を選択する操作、具体的には「商品を修正する」のボタン１１８を操作すると（ＳＴ３０５で「商品修正」）、商品別修正内容選択画面（図１３（Ａ）参照）に遷移する（ＳＴ３０７）。

【0151】

次に、商品別修正内容選択画面（図１３（Ａ）参照）において、「変更」のボタン１５４を操作すると（ＳＴ３０８で「変更」）、カテゴリー選択画面（図１３（Ｂ）参照）に遷移する。また、「削除」のボタン１５３を操作すると（ＳＴ３０８で「削除」）、削除確認画面（図１４（Ｂ）参照）に遷移する。また、「不足している商品を追加する」のボタン１５５を操作すると（ＳＴ３０８で「追加」）、カテゴリー選択画面（図１５（Ａ）参照）に遷移する。その後、所要の操作を行うと、商品別修正内容選択画面に戻る（ＳＴ３０７）。このとき、商品別修正内容選択画面は、操作内容が反映された状態で表示される。

【0152】

また、中止を選択する操作、具体的には「会計をやめる」のボタン１１９を操作すると（ＳＴ３０５で「中止」）、キャンセル画面（図９（Ｃ）参照）に遷移する（ＳＴ３０９）。また、決済を選択する操作、具体的には「会計をする」のボタン１１７を操作すると（ＳＴ３０５で「決済」）、顔認証に進み、顔認証画面（図１０（Ａ）参照）を表示する（ＳＴ３１１）。

【0153】

次に、カメラ４３の撮影画像から顔画像を抽出して、その顔画像を含む顔認証のリクエストを顔認証サーバ１５に送信する（ＳＴ３１２）。このとき、顔認証サーバ１５では、顔認証のリクエストに応じて、精算台２から取得した顔画像に基づいて顔認証を実施し、認証結果を含む顔認証のレスポンスを精算台２に送信する。

【0154】

次に、顔認証のレスポンスを顔認証サーバ１５から受信し（ＳＴ３１３）、その顔認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ３１４でＹｅｓ）、次に、認証結果の人物が入店者と一致するか否かの判定を行う。具体的には、認証結果と入店者リストとを比較して、認証結果の人物と同一の人物が入店者の中にいるか否かを確認する。なお、顔認証では、類似度（照合スコア）が所定の基準値より高い人物を選択して認証結果として報告する。このため、認証結果には、類似度の高い人物が複数含まれる場合がある。この場合、認証結果の人物の中から入店者リストにいる人物を選択する。

【0155】

ここで、認証結果の人物が入店者と一致する場合には（ＳＴ３１５でＹｅｓ）、パスワード認証に進み、パスワード認証画面（図１１（Ａ）参照）を表示する（ＳＴ３１６）。

【0156】

次に、パスワード認証画面（図１１（Ａ）参照）において、利用者がパスワード（暗証番号）を入力すると、パスワード認証のリクエストをユーザ管理サーバ１３に送信する（ＳＴ３１７）。このとき、ユーザ管理サーバ１３では、パスワード認証のリクエストに応じて、精算台２から取得した顔画像に基づいて顔認証を実施し、認証結果を含む顔認証のレスポンスを精算台２に送信する。

【0157】

次に、パスワード認証のレスポンスをユーザ管理サーバ１３から受信し（ＳＴ３１８）、そのパスワード認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ３１９でＹｅｓ）、決済のリクエストを、ユーザ管理サーバ１３を介して決済サーバ１２に送信する（ＳＴ３２０）。決済サーバ１２では、決済のリクエストを受信すると、決済処理を実行して、決済のレスポンスを、ユーザ管理サーバ１３を介して精算台２に送信する。

【0158】

次に、決済のレスポンスを決済サーバ１２から受信すると（ＳＴ３２１）、決済完了画面（図１参照）を表示する（ＳＴ３２２）。次に、レシート発行処理を行い（ＳＴ３２３）、レシート情報を、ユーザ管理サーバ１３を介してユーザ端末１１に送信する（ＳＴ３２４）。次に、ユーザ端末１１では、レシート情報を受信すると、自装置の記憶部に記憶する。

【0159】

一方、認証結果が失敗である場合や（ＳＴ３１４でＮｏ）、認証結果の人物が入店者と一致しない場合には（ＳＴ３１５でＮｏ）、ユーザＩＤ選択画面（図１２（Ａ）参照）を表示する（ＳＴ３２５）。

【0160】

次に、ユーザＩＤ選択画面（図１２（Ａ）参照）において、ユーザＩＤ選択の操作、具体的にはユーザＩＤのボタン１４２の操作をユーザが行うと（ＳＴ３２６で「ユーザＩＤ選択」）、パスワード認証に進み、パスワード認証画面（図１１（Ａ）参照）を表示する（ＳＴ３１６）。また、候補なしの操作、具体的には「候補がない」のボタン１４３の操作をユーザが行うと（ＳＴ３２６で「候補なし」）、エラー画面（図１２（Ｂ）参照）を表示する（ＳＴ３２８）。また、中止の操作、具体的には「会計をやめる」のボタン１１９の操作をユーザが行うと（ＳＴ３２６で「中止」）、キャンセル画面（図９（Ｃ）参照）に遷移する（ＳＴ３０９）。

【0161】

また、パスワード認証の認証結果が失敗である場合には（ＳＴ３１９でＮｏ）、次に、パスワード認証が所定回数連続して失敗したか否かを判定する（ＳＴ３２８）。ここで、
パスワード認証が所定回数連続して失敗していない場合には（ＳＴ３２８でＮｏ）、再度、パスワード認証に進み、再入力状態のパスワード認証画面（図１２（Ｃ）参照）を表示する（ＳＴ３１６）。一方、パスワード認証が所定回数連続して失敗した場合には（ＳＴ３２８でＹｅｓ）、エラー画面（図１２（Ｄ）参照）を表示する（ＳＴ３２９）。

【0162】

なお、本実施形態では、セキュリティ強化のため、顔認証とパスワード認証との２要素認証が採用されており、顔認証が成功した場合でもパスワード認証を行うが、パスワード認証を省略して顔認証のみとしてもよい。

【0163】

次に、退店チェッカー３の動作手順について説明する。図２２は、退店チェッカー３の動作手順を示すフロー図である。

【0164】

退店チェッカー３では、まず、カメラ（図示せず）の撮影画像から人物の顔を検知すると（ＳＴ４０１でＹｅｓ）、撮影画像から顔画像を抽出して（ＳＴ４０２）、その顔画像を含む顔認証のリクエストを顔認証サーバ１５に送信する（ＳＴ４０３）。顔認証サーバ１５では、顔認証のリクエストに応じて、顔認証を実施し、顔認証のレスポンスを退店チェッカー３に送信する。

【0165】

次に、顔認証のレスポンスを顔認証サーバ１５から受信し（ＳＴ４０４）、その顔認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ４０５でＹｅｓ）、ディスプレイに退店応対画面（図示せず）を表示し（ＳＴ４０６）、退店ゲート６を開ける制御を行う（ＳＴ４０７）。

【0166】

一方、認証結果が失敗である場合には（ＳＴ４０５でＮｏ）、ディスプレイにエラー画面（図示せず）を表示し（ＳＴ４０８）、顔認証の再実行やユーザＩＤの入力など、他の認証方法を案内し、認証が成功すると、退店ゲート６を開ける制御を行う（ＳＴ４０７）。

【0167】

次に、本実施形態の変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図２３は、本実施形態の変形例に係る精算台２を示す側面図である。図２４は、本実施形態の変形例に係る精算台２の構成内容を示す説明図である。

【0168】

図４に示したように、本実施形態では、精算台２にプロジェクタ５２を設けたが、本変形例では、プロジェクタを省略している。

【0169】

図２３（Ａ）に示す例では、カメラ２０１が上壁部３４に設けられている。このカメラ２０１は、載置部４１に置かれた商品を撮影する第１のカメラであり、特に、撮影画像が商品認識の用途に利用される。また、カメラ２０２が天板部３３に設けられている。このカメラ２０２は、タッチパネルディスプレイ４２を目視する利用者の顔を撮影する第２のカメラであり、その撮影画像が顔認証に利用される。この変形例の構成は、図２４（Ａ）に示す通りである。

【0170】

図２３（Ｂ）に示す例では、図２１（Ａ）に示す例と同様に、カメラ２０１が上壁部３４に設けられ、カメラ２０２が天板部３３に設けられているが、本変形例では、さらにカメラ２０３が後壁部３５に設けられている。このカメラ２０３は、載置部４１に置かれた商品を撮影する第１のカメラであり、その撮影画像が商品認識に利用される。この変形例の構成は、図２４（Ｂ）に示す通りである。後壁部３５にはディスプレイ４５が設けられているため、カメラ２０３は、例えば、ディスプレイ４５の下方に配置すればよい。この構成では、多様な方向から商品を撮影する撮影画像が得られるため、商品認識の精度を高めることができる。

【0171】

図２３（Ｃ）に示す例では、図２１（Ａ），（Ｂ）に示す例と同様に、カメラ２０１が上壁部３４に設けられている。また、カメラ２０４が天板部３３に設けられているが、このカメラ２０４は、載置部４１に置かれた商品と、タッチパネルディスプレイ４２を目視する利用者の顔とを共に撮影できるように画角が設定されている。すなわち、カメラ２０４は、商品を撮影する第１のカメラと、利用者の顔を撮影する第２のカメラとの２つの役割を有しており、その撮影画像が商品認識と顔認証との２つの用途に利用される。この変形例の構成は、図２４（Ｃ）に示す通りである。この構成では、カメラを増やすことなく、多様な方向から商品を撮影することができる。

【0172】

なお、複数のカメラの撮影画像に基づく商品認識では、各撮影画像に基づく商品認識の結果を統合して、重複がないように商品を特定すればよい。

【0173】

また、天板部３３のカメラ２０４では、商品が含まれる撮影領域の画像を切り出して商品認識に用い、利用者の顔が含まれる撮影領域の画像を切り出して顔認証に用いればよい。また、天板部３３のカメラ２０４を、撮影角度が変化する構成として、商品認識のタイミングと顔認証とのタイミングで撮影角度を切り替えるようにしてもよい。

【0174】

次に、本実施形態の別の変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図２５は、本実施形態の別の変形例に係る精算台２を示す側面図である。図２６は、本実施形態の別の変形例に係る精算台２の構成内容を示す説明図である。

【0175】

図２３，図２４に示した例では、プロジェクタを省略したが、本変形例では、プロジェクタを設けている。

【0176】

図２５（Ａ）に示す例では、図２３（Ａ）に示した例と同様に、カメラ２０１が上壁部３４に設けられ、カメラ２０２が天板部３３に設けられており、さらにプロジェクタ２１１が上壁部３４に設けられている。このプロジェクタ２１１は、商品認識結果を表す画像、具体的には枠画像５５（図５参照）を載置部４１に投影する。

【0177】

また、図２３（Ａ）に示した例とは異なり、カメラ２０１，２１２が上壁部３４に２つ設けられている。この２つのカメラ２０１，２１２は共には、載置部４１に置かれた商品を撮影する第１のカメラであるが、一方のカメラ２１２は、載置部４１を略真上から撮影して、その撮影画像が、載置部４１に置かれた商品の位置を検出する商品位置検出の用途に利用され、他方のカメラ２０１は、載置部４１を斜め上方から撮影して、その撮影画像が、載置部４１に置かれた商品を認識する商品認識の用途に利用される。この変形例の構成は、図２６（Ａ）に示す通りである。なお、１つの撮影画像を、商品位置検出と商品認識との両方の用途に利用するようにしてもよい。

【0178】

図２５（Ｂ）に示す例では、図２３（Ｂ）に示した例と同様に、カメラ２０１が上壁部３４に設けられ、カメラ２０２が天板部３３に設けられて、カメラ２０３が後壁部３５に設けられており、さらにプロジェクタ２１１が上壁部３４に設けられている。この変形例の構成は、図２６（Ｂ）に示す通りである。

【0179】

図２５（Ｃ）に示す例では、図２３（Ｃ）に示した例と同様に、カメラ２０１が上壁部３４に設けられ、カメラ２０４が天板部３３に設けられており、さらにプロジェクタ２１１が上壁部３４に設けられている。この変形例の構成は、図２６（Ｃ）に示す通りである。

【0180】

なお、図２５に示した例では、上壁部３４の１つのカメラ２０１を、載置部４１を斜め上方から撮影するため、精算台２の奥行き方向にずらした位置に配置したが、図５に示した例と同様に、精算台２の幅方向にずらした位置に配置するようにしてもよい。また、商品位置検出用のカメラ２１２は１つあれば十分であるが、商品認識用のカメラ２０１，２０３は多く設置するほど商品認識の精度を高めることができる。

【0181】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0182】

本発明に係る精算決済装置および無人店舗システムは、商品の登録および精算と代金の決済の作業を自動化して、利用者の手間を省きつつ店舗の無人化を図ることができる効果を有し、利用者が売場から選択した商品の精算、及び決済のための顔認証に関する処理を行う精算決済装置、並びに精算決済装置を用いた無人店舗システムなどとして有用である。

【符号の説明】

【0183】

２ 精算台（精算決済装置）
１１ ユーザ端末
１２ 決済サーバ
１３ ユーザ管理サーバ
１５ 顔認証サーバ（サーバ装置）
３１ 本体
４１ 載置部
４２ タッチパネルディスプレイ（表示部）
４３，２０２ カメラ（第２のカメラ）
４６ 第１の収納部
５１，２０１，２１２ カメラ（第１のカメラ）
５２，２１１ プロジェクタ
６３ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】