特許 7531175 精算決済装置および精算決済システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-01

(45)【発行日】2024-08-09

(54)【発明の名称】精算決済装置および精算決済システム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20240802BHJP

   G07G 1/00 20060101ALI20240802BHJP

   G07G 1/01 20060101ALI20240802BHJP

   G06Q 30/06 20230101ALI20240802BHJP

【ＦＩ】

G07G1/12 301E

G07G1/00 311D

G07G1/01 301D

G06Q30/06

【請求項の数】 5

(21)【出願番号】P 2020079425

(22)【出願日】2020-04-28

(65)【公開番号】P2021174379

(43)【公開日】2021-11-01

【審査請求日】2023-04-18

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】村上 宣義

(72)【発明者】

【氏名】山岡 めぐみ

【審査官】中村 泰二郎

(56)【参考文献】

【文献】特開２０１９－０２１２５６（ＪＰ，Ａ）

【文献】特開２０１７－０１０５５０（ＪＰ，Ａ）

【文献】特開２０１８－０６７３０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００－ ５／００

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

利用者が売場から選択した商品を認識して、その代金の精算及び決済を行う精算決済装置であって、
利用者が購入する商品が置かれる載置部と、
この載置部を挟んで利用者に対峙するように配置されたタッチパネルディスプレイと、
前記載置部に置かれた商品を撮影するカメラと、
このカメラの撮影で取得した商品画像に基づいて、利用者が購入する商品を認識する商品認識処理を行い、その商品認識結果を前記タッチパネルディスプレイに表示する制御部と、
を備え、
前記制御部は、
前記タッチパネルディスプレイに、未確定の前記商品認識結果を表示すると共に、その商品認識結果を確定する操作部を表示し、
少なくとも前記操作部に対する利用者の操作に伴い、前記カメラの撮影エリアに入った利用者の手が前記撮影エリアを離れるまでの操作時間相当を含む確定待ち時間を設定して、前記商品認識処理による前記商品認識結果の表示の更新を無効とし、
前記確定待ち時間の経過後に、前記タッチパネルディスプレイに、確定した前記商品認識結果を表示すると共に、決済の実行を指示する操作部を表示することを特徴とする精算決済装置。

【請求項2】

前記制御部は、
所定の前記確定待ち時間が経過すると、確定した前記商品認識結果を前記タッチパネルディスプレイに表示しつつ、決済の実行に関する利用者の指示を受け付けると共に、前記商品認識結果を精算および決済に関する処理に反映させない休止状態に遷移することを特徴とする請求項１に記載の精算決済装置。

【請求項3】

利用者の顔を撮影する第２のカメラを有し、
前記制御部は、
決済の実行に関する利用者の指示があると、決済対象者となる利用者を特定するために、前記第２のカメラで撮影して取得した利用者の顔画像に基づいて顔認証に関する処理を行うことを特徴とする請求項１に記載の精算決済装置。

【請求項4】

前記制御部は、
前記確定待ち時間の最中に、前記タッチパネルディスプレイから手を戻すように利用者を促す案内を表示することを特徴とする請求項１に記載の精算決済装置。

【請求項5】

請求項３に記載の精算決済装置を有する精算決済システムであって、
前記精算決済装置とネットワークを介して接続されたサーバ装置を有し、
前記サーバ装置は、
前記第２のカメラにより取得した前記顔画像に基づいて顔認証処理を実行することを特徴とする精算決済システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者が売場から選択した商品を認識して、その代金の精算及び決済を行う精算決済装置および精算決済システムに関するものである。

【背景技術】

【0002】

コンビニエンスストアやスーパーマーケットを始めとした小売店舗では、店員が、顧客が購入しようとする商品をＰＯＳ端末に登録する作業を行った後、ＰＯＳ端末が、精算の処理を行って商品の代金を顧客に提示し、店員が、顧客が支払う代金を受け取る会計（決済）の作業を行うが、近年、このような店員の作業を自動化する各種の技術が提案されている。

【0003】

このような店員の作業を自動化する技術として、従来、物体認識（画像認識）の技術を用いて顧客が購入する商品を認識して、その商品を精算対象として登録して精算を行うようにした技術が知られている（特許文献１参照）。この技術では、店員が、タッチパネルディスプレイで撮影ボタンを操作するなどの必要な操作を行うだけでよく、顧客が購入する商品を登録する店員の手間を省くことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１７３６５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、近年、コンビニエンスストアを始めとする小売店舗では、顧客が購入する商品を登録する作業を顧客自らが行う、所謂、セルフレジの導入が進んでいる。一方、従来の技術は、有人店舗のレジカウンタに設置される精算決済装置に関するものであるが、この従来の技術のように、物体認識により顧客が購入する商品を認識する技術を、セルフレジ方式の精算決済装置に適用すると、商品を登録する顧客の手間を省くことができ、顧客の利便性を高めることができる。

【0006】

また、コンビニエンスストアやスーパーマーケットの他に、オフィスビルや駅などの施設内に設置される小規模な店舗（売店）においても、セルフレジ方式の精算決済装置が求められている。この場合、精算決済装置の省スペース化を図り、小規模な店舗でも容易に設置することができることが望まれる。しかしながら、従来の技術では、撮影台の上方にカメラが配置されると共に、撮影台の側方にタッチパネルディスプレイが配置されている。このため、装置が全体的に幅広で嵩張るという問題があり、精算決済装置の省スペース化の要望に対して何ら配慮されていないものであった。

【0007】

また、精算決済装置の省スペース化を図る場合、タッチパネルディスプレイの画面操作の最中に、タッチパネルディスプレイを操作する利用者の手が、商品認識用のカメラの撮影エリアに入ることで、商品の誤認識や認識漏れが発生する場合がある。この場合、タッチパネルディスプレイに表示された商品認識結果が不自然に変化して利用者に違和感を与えるという問題がある。このため、省スペース化を図るにあたっては、誤認識などの商品認識の機能が損なわれることがないように配慮する必要がある。

【0008】

そこで、本発明は、物体認識の技術を用いて利用者が購入する商品を認識すると共に、タッチパネルディスプレイを用いて利用者に必要な操作を行わせる場合に、商品認識の機能が損なわれることなく、省スペース化を図り、小規模な店舗にも容易に設置することができる精算決済装置および精算決済システムを提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本発明の精算決済装置は、利用者が売場から選択した商品を認識して、その代金の精算及び決済を行う精算決済装置であって、利用者が購入する商品が置かれる載置部と、この載置部を挟んで利用者に対峙するように配置されたタッチパネルディスプレイと、前記載置部に置かれた商品を撮影するカメラと、このカメラの撮影で取得した商品画像に基づいて、利用者が購入する商品を認識する商品認識処理を行い、その商品認識結果を前記タッチパネルディスプレイに表示する制御部と、を備え、前記制御部は、前記タッチパネルディスプレイに、未確定の前記商品認識結果を表示すると共に、その商品認識結果を確定する操作部を表示し、少なくとも前記操作部に対する利用者の操作に伴い、前記カメラの撮影エリアに入った利用者の手が前記撮影エリアを離れるまでの操作時間相当を含む確定待ち時間を設定して、前記商品認識処理による前記商品認識結果の表示の更新を無効とし、前記確定待ち時間の経過後に、前記タッチパネルディスプレイに、確定した前記商品認識結果を表示すると共に、決済の実行を指示する操作部を表示する構成とする。

【0010】

また、本発明の精算決済システムは、前記載置部に置かれた商品を撮影する第１のカメラと、利用者の顔を撮影する第２のカメラと、を有し、前記制御部は、決済の実行に関する利用者の指示があると、決済対象者となる利用者を特定するために、前記第２のカメラで撮影して取得した利用者の顔画像に基づいて顔認証に関する処理を行う構成とした精算決済装置を有する精算決済システムであって、前記精算決済装置とネットワークを介して接続されたサーバ装置を有し、前記サーバ装置は、前記第２のカメラにより取得した前記顔画像に基づいて顔認証処理を実行する構成とする。

【発明の効果】

【0011】

本発明によれば、タッチパネルディスプレイが、載置部を挟んで利用者に対峙するように配置されている。このため、省スペース化を図ることができ、大きな設置スペースを確保できない小規模な店舗（売店）にも容易に設置することができる。また、商品認識結果を確定する利用者の操作時間を含む確定待ち時間を設定したため、画面操作の最中に、タッチパネルディスプレイに表示された商品認識結果が不自然に変化して利用者に違和感を与えることを抑制することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る精算決済システムの全体構成図

【図2】精算台１の全体斜視図

【図3】精算台１の要部側面図

【図4】精算台１の天板部３３を上方から見た平面図

【図5】精算台１の概略構成を示すブロック図

【図6】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図7】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図8】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図9】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図10】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図11】精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図

【図12】精算台１における確定待ち時間および休止状態を示す説明図

【図13】精算台１のタッチパネルディスプレイ４５に表示されるテンキー１３３のキー配列パターンの変更状況の一例を示す説明図

【図14】ユーザ登録時におけるユーザ端末１１の動作手順を示すフロー図

【図15】精算台１の動作手順を示すフロー図

【図16】精算台１の動作手順を示すフロー図

【発明を実施するための形態】

【0013】

前記課題を解決するためになされた第１の発明は、利用者が売場から選択した商品を認識して、その代金の精算及び決済を行う精算決済装置であって、利用者が購入する商品が置かれる載置部と、この載置部を挟んで利用者に対峙するように配置されたタッチパネルディスプレイと、前記載置部に置かれた商品を撮影するカメラと、このカメラの撮影で取得した商品画像に基づいて、利用者が購入する商品を認識する商品認識処理を行い、その商品認識結果を前記タッチパネルディスプレイに表示する制御部と、を備え、前記制御部は、前記タッチパネルディスプレイに、未確定の前記商品認識結果を表示すると共に、その商品認識結果を確定する操作部を表示し、少なくとも前記操作部に対する利用者の操作に伴い、前記カメラの撮影エリアに入った利用者の手が前記撮影エリアを離れるまでの操作時間相当を含む確定待ち時間を設定して、前記商品認識処理による前記商品認識結果の表示の更新を無効とし、前記確定待ち時間の経過後に、前記タッチパネルディスプレイに、確定した前記商品認識結果を表示すると共に、決済の実行を指示する操作部を表示する構成とする。

【0014】

これによると、タッチパネルディスプレイが、載置部を挟んで利用者に対峙するように配置されている。このため、省スペース化を図ることができ、大きな設置スペースを確保できない小規模な店舗（売店）にも容易に設置することができる。また、商品認識結果を確定する利用者の操作時間を含む確定待ち時間を設定したため、画面操作の最中に、タッチパネルディスプレイに表示された商品認識結果が不自然に変化して利用者に違和感を与えることを抑制することができる。

【0015】

また、第２の発明は、前記制御部は、所定の前記確定待ち時間が経過すると、確定した前記商品認識結果を前記タッチパネルディスプレイに表示しつつ、決済の実行に関する利用者の指示を受け付けると共に、前記商品認識結果を精算および決済に関する処理に反映させない休止状態に遷移する構成とする。

【0016】

これによると、決済の実行を指示する利用者の操作の最中に商品認識結果が変化することで、誤った商品認識結果で精算および決済が行われることを避けることができる。なお、休止状態では、商品認識処理および精算処理を一時的に停止する制御を行えばよいが、商品認識処理および精算処理を継続させた上で、その商品認識結果および精算結果を決済に反映させない制御を行うようにしてもよい。

【0017】

また、第３の発明は、利用者の顔を撮影する第２のカメラを有し、前記制御部は、決済の実行に関する利用者の指示があると、決済対象者となる利用者を特定するために、前記第２のカメラで撮影して取得した利用者の顔画像に基づいて顔認証に関する処理を行う構成とする。

【0018】

これによると、利用者の手間をかけずに利用者を精度よく特定することができる。

【0021】

また、第４の発明は、前記制御部は、前記確定待ち時間の最中に、前記タッチパネルディスプレイから手を戻すように利用者を促す案内を表示する構成とする。

【0022】

これによると、利用者がタッチパネルディスプレイから手を離して、商品撮影用のカメラの撮影エリアから利用者の手がなくなる状態に、速やかに移行させることができる。

【0025】

また、第５の発明は、第３の発明に係る精算決済装置を有する精算決済システムであって、前記精算決済装置とネットワークを介して接続されたサーバ装置を有し、前記サーバ装置は、前記第２のカメラにより取得した前記顔画像に基づいて顔認証処理を実行する構成とする。

【0026】

これによると、第１の発明と同様に、物体認識の技術を用いて利用者が購入する商品を認識すると共に、タッチパネルディスプレイを用いて利用者に必要な操作を行わせる場合に、商品認識の機能が損なわれることなく、省スペース化を図り、小規模な店舗にも容易に設置することができる。

【0027】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0028】

図１は、本実施形態に係る精算決済システムの全体構成図である。

【0029】

精算決済システムは、オフィスビルや駅などの施設内に設置される小規模な店舗（売店）において、顧客が購入する商品の精算および決済（会計）を、店員を介さずに行うことができるようにしたものである。なお、この精算決済システムは、店員が常駐しない無人店舗を対象としてもよいが、有人店舗において店員の負担を軽減するものであってもよい。

【0030】

この精算決済システムは、店舗に設置された精算台１（精算決済装置）と、ユーザ端末１１と、決済サーバ１２と、ユーザ管理サーバ１３と、商品学習サーバ１４と、顔認証サーバ１５（サーバ装置）と、ＤＢサーバ１６と、分析サーバ１７と、を備えている。

【0031】

ユーザ端末１１、決済サーバ１２、ユーザ管理サーバ１３、商品学習サーバ１４、顔認証サーバ１５、ＤＢサーバ１６、および分析サーバ１７と、店舗に設けられた精算台１とは、インターネットやＬＡＮなどのネットワークを介して相互に接続されている。

【0032】

なお、ユーザ管理サーバ１３、商品学習サーバ１４、顔認証サーバ１５、ＤＢサーバ１６、および分析サーバ１７は、店舗内、例えば売場に併設されたバックヤードに設置するようにしてもよいが、店舗とは離れた場所、例えば店舗の運営者の本部などに設置するようにしてもよい。

【0033】

精算台１は、利用者が店舗の売場から選択した商品を認識して、その代金の精算及び決済（支払い）を行うものである。本実施形態では、商品の撮影画像から物体認識により商品を識別して（商品認識処理）、各商品の価格（単価）および数量から支払い代金の総額を算出する（精算処理）。また、商品を購入する利用者を特定するために、顔認証サーバ１５に対して顔認証処理を要求し（顔認証に関する処理）、顔認証が成功すると、決済サーバ１２に対して決済処理を要求する（決済に関する処理）。

【0034】

ユーザ端末１１は、本システムを利用者が利用するために必要なユーザ登録（会員情報や顔画像の登録）に関する操作を行い、また、購入履歴（レシート情報）を管理するものであり、スマートフォンやタブレット端末などで構成され、ユーザ用のアプリケーションがインストールされている。

【0035】

決済サーバ１２は、決済サービスの事業者（クレジット会社など）が運営するものである。この決済サーバ１２は、精算台１からの決済の要求に応じて、利用者が購入する商品の代金に関する決済処理を実行する。なお、決済サーバ１２は、決済代行サービスの事業者が運営するもの（決済代行サーバ）であってもよい。

【0036】

ユーザ管理サーバ１３は、ユーザ管理サーバ１３は、ユーザのログインを管理するログインサーバとして機能し、パスワード認証を実行する。また、ユーザ管理サーバ１３は、精算台１と決済サーバ１２との間を中継する決済インタフェイスサーバとして機能する。

【0037】

商品学習サーバ１４は、精算台１に搭載される商品認識エンジンを、ディープラーニングなどの機械学習により構築する。この商品学習サーバ１４では、予め登録対象となる商品を撮影することで取得した商品画像を入力情報とし、商品ごとの商品識別情報（商品の名称など）を出力情報として機械学習が行われ、商品認識用のデータベースが構築される。

【0038】

顔認証サーバ１５は、顔管理サーバ２５と、顔照合サーバ２６とを備えている。顔管理サーバ２５は、登録された利用者の名前や顔情報（顔ＩＤ、顔画像）などの情報を蓄積して管理する。顔照合サーバ２６は、精算台１からの顔認証の要求に応じて顔認証を実行する。この顔認証では、精算台１から対象者の顔画像を取得して、その顔画像から対象者の顔特徴量を生成して、その対象者の顔特徴量と、自装置に保管された登録者（登録済みの利用者）の顔特徴量とを比較することによる顔照合を行って、対象者が登録者か否かを判定する（１対Ｎ認証）。なお、ユーザ管理サーバ１３で管理される入店者リストを取得して、入店者に絞り込んだ上で顔認証を行うようにしてもよい。

【0039】

ＤＢサーバ１６は、各種の情報を蓄積して管理する。具体的には、ユーザ管理情報として、ユーザごとの決済ＩＤ、顔ＩＤ、ユーザＩＤ、パスワード、オフィスコードなどの情報がデータベースに登録される。また、商品マスタ情報として、商品の識別情報（商品名や商品コードなど）などの情報がデータベースに登録される。なお、この商品を管理するデータベースには、年齢制限商品に関する情報も登録される。また、購入ログ情報として、ユーザごとのユーザＩＤ、購入した商品の名称および金額などの情報がデータベースに登録される。

【0040】

分析サーバ１７は、ＤＢサーバ１６に蓄積された情報に基づいて、各種の分析処理を行う。具体的には、来店した利用者ごとの商品の購入および未購入の別に応じた分析処理を行う。例えば、購入者と未購入者との割合を所定の基準（曜日、時間帯など）で集計する。

【0041】

なお、本実施形態では、小規模な店舗（売店）で、周囲に仕切りがないか、または利用者が自由に出入りできる状態で、利用者が自由に陳列棚から商品を取り出して購入できる店舗を対象にしているが、この他に、店舗に設置スペースの余裕があれば、ゲートやチェッカー（顔認証機）を設置するようにしてもよい。例えば、入店チェッカーが、利用者の入店を許可するための顔認証に関する処理を行い、顔認証結果に応じて、入店ゲートの開閉を制御する。また、退店チェッカーが、利用者の退店を確認するための顔認証に関する処理を行い、顔認証結果に応じて、退店ゲートの開閉を制御する。また、店舗に設置スペースの余裕があれば、ユーザ端末１１と同様のユーザ登録に関する操作を利用者が行うレジスターを、店舗に設置するようにしてもよい。

【0042】

次に、精算台１について説明する。図２は、精算台１の全体斜視図である。図３は、精算台１の要部側面図である。図４は、精算台１の天板部３３を上方から見た平面図である。

【0043】

図２に示すように、精算台１の本体３１は、箱状部３２と天板部３３と上壁部３４と後壁部３５とを備えている。天板部３３は、箱状部３２の上側に設けられている。後壁部３５は、箱状部３２の後側から上向きに突出した状態で設けられている。上壁部３４は、後壁部３５の上端から前向きに庇状に突出した状態で設けられている。

【0044】

天板部３３には、利用者が購入する商品（売場で選択した商品）を置く載置部３７が設けられている。利用者は、載置部３７に商品を並べて置くだけで、物体認識により、置かれた商品が識別されて、商品の単価から支払う代金を算出する精算が行われる。なお、載置部３７は、皿状に凹設されており、商品を置く範囲を利用者が容易に把握することができる。

【0045】

上壁部３４には、商品撮影用のカメラ４１（第１のカメラ）が設けられている。この商品撮影用のカメラ４１は、天板部３３の載置部３７に置かれた商品を撮影する。なお、商品撮影用のカメラ４１を複数設けるようにしてもよい。この場合、１つのカメラ４１が、載置部３７に置かれた商品を真上から撮影し、その撮影画像は、載置部３７に置かれた商品の位置を検出する用途に用いられるようにするとよい。また、別のカメラ４１が、載置部３７に置かれた商品を斜め上方から撮影し、その撮影画像は、載置部３７に置かれた商品（商品名）を認識する用途に用いられるようにするとよい。

【0046】

また、上壁部３４には、プロジェクタ４２が設けられている。このプロジェクタ４２は、商品が置かれる載置部３７に対してプロジェクションマッピングを行うものであり、載置部３７に真上から所定画像を投影する。本実施形態では、図４に示すように、載置部３７に置かれた商品を取り囲む枠画像５５を投影する。特に、商品認識が成功した商品を取り囲むように枠画像５５を投影する。これにより、商品認識が成功した商品を利用者に知らせることができ、利用者は、認識できなかった商品だけを置き直したり並び替えたりすればよい。

【0047】

また、図２に示すように、上壁部３４には、ライト４３が設けられている。このライト４３は、載置部３７に置かれた商品を照明する。これにより、商品認識処理の認識精度を高めることができる。

【0048】

後壁部３５には、タッチパネルディスプレイ４５（表示部）が設けられている。このタッチパネルディスプレイ４５には、商品認識結果、すなわち、載置部３７に置かれた商品が表示され、商品認識結果に誤りがなければ、利用者が、顔認証およびパスワード認証に関する操作を行うことができる。また、商品認識結果に誤りがある場合には、利用者が、誤りがある商品を修正する操作を行うことができる。

【0049】

また、後壁部３５には、顔認証用のカメラ４６（第２のカメラ）が設けられている。この顔認証用のカメラ４６は、タッチパネルディスプレイ４５の近傍に配置されると共に、精算台１の前に立つ利用者に対峙するように配置されているため、タッチパネルディスプレイ４５を目視する利用者の顔を正面から撮影することができる。この顔認証用のカメラ４６で取得した顔画像は、決済のための顔認証の用途に用いられる。

【0050】

また、後壁部３５には、スピーカ４７が設けられている。このスピーカ４７は、利用者に応対する音声を出力する。例えば、操作要領を案内するガイド音声がスピーカ４７から出力される。

【0051】

また、後壁部３５には、マイク４８が設けられている。このマイク４８は、利用者が発話する音声を収音する。例えば、タッチパネルディスプレイ４５の画面に表示された操作部（ボタンなど）の文字を利用者が発話することで、その操作部を操作することができる。

【0052】

箱状部３２には、前側が開放された第１の収納部５１（棚部）と、前側が扉５３で閉鎖された第２の収納部５２とが設けられている。第１の収納部５１には、商品の付属品が収納される。この付属品は、無償で利用者に提供されるものであり、利用者が自由に持ち帰ることができる。具体的には、買い物袋やカトラリー（スプーンやフォークなど）などである。第２の収納部５２には、商品撮影用のカメラ４１やタッチパネルディスプレイ４５や顔認証用のカメラ４６などを制御するコントローラー５４（ＰＣ）が収納される。

【0053】

ここで、図３に示すように、載置部３７に対向するように上壁部３４に設置された商品撮影用のカメラ４１により、載置部３７に載置された商品が上方から撮影される。このとき、利用者が、タッチパネルディスプレイ４５を操作するために、タッチパネルディスプレイ４５に手を近づけると、利用者の手が商品撮影用のカメラ４１の撮影エリアに入る。

【0054】

一方、精算台１では、商品撮影用のカメラ４１の撮影画像に基づいて、載置部３７に載置された商品を認識する商品認識処理が行われる。このため、利用者が、タッチパネルディスプレイ４５を操作すると、載置部３７に載置された商品の誤認識や認識漏れが発生する。

【0055】

また、精算台１では、商品認識処理の認識結果がタッチパネルディスプレイ４５に表示される。特に、商品認識処理は定期的に行われ、その商品認識結果がリアルタイムに反映されるように、タッチパネルディスプレイ４５の画面が更新される。このため、利用者が、タッチパネルディスプレイ４５を操作すると、タッチパネルディスプレイ４５に表示された商品認識結果が不自然に変化し、利用者に違和感を与える。特に、決済（会計）を指示する操作の途中で、商品認識結果が変化すると、誤った商品認識結果で決済が行われるという問題がある。

【0056】

そこで、本実施形態では、タッチパネルディスプレイ４５の画面が不自然に変化して利用者に違和感を与えることを抑制することができ、さらに、誤った商品認識結果で精算および決済が行われることを避けることができる構成を備えている。

【0057】

次に、精算台１の概略構成について説明する。図５は、精算台１の概略構成を示すブロック図である。

【0058】

精算台１は、商品撮影用のカメラ４１、プロジェクタ４２、ライト４３、タッチパネルディスプレイ４５、顔認証用のカメラ４６、スピーカ４７、マイク４８（図２，図３参照）の他に、通信部６１と、記憶部６２と、制御部６３と、を備えている。なお、通信部６１、記憶部６２、および制御部６３は、コントローラー５４（図２参照）を構成するものである。

【0059】

通信部６１は、決済サーバ１２、ユーザ管理サーバ１３、商品学習サーバ１４、および顔認証サーバ１５との間でネットワークを介して通信を行う。

【0060】

記憶部６２は、制御部６３を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部６２は、商品マスタ情報を記憶する。具体的には、商品の識別情報（商品名や商品コードなど）や、商品認識処理に用いられる情報、すなわち、商品ごとの商品識別情報（商品の名称など）や、精算処理に用いられる情報、すなわち、商品ごとの金額（単価）に関する情報や、年齢制限商品に関する情報などを記憶する。

【0061】

制御部６３は、商品検知部７１と、商品認識部７２と、精算処理部７３と、状態制御部７４と、認証指示部７５と、年齢照合部７６と、決済指示部７７と、を備えている。この制御部６３は、プロセッサで構成され、制御部６３の各部は、記憶部６２に記憶されたプログラムをプロセッサで実行することで実現される。

【0062】

商品検知部７１は、載置部３７を撮影する商品撮影用のカメラ４１の撮影画像に基づいて、載置部３７に商品が置かれたことを検知する。また、商品検知部７１は、載置部３７に商品が置かれた場合に、商品撮影用のカメラ４１の撮影画像に基づいて、商品の位置を検出する。

【0063】

商品認識部７２は、商品撮影用のカメラ４１の撮影画像に基づいて、載置部３７に置かれた商品を認識する。本実施形態では、ディープラーニングなどの機械学習により構築された物体認識エンジンを用いて、商品撮影用のカメラ４１の撮影画像から切り出された商品画像から商品識別情報（商品の名称など）を取得する。

【0064】

精算処理部７３は、商品認識部７２による商品認識結果に基づいて、載置部３７に置かれた商品の代金を精算する。すなわち、載置部３７に置かれた各商品の金額（単価）を取得して、その各商品の金額を集計して、代金の総額を算出する（集計処理）。

【0065】

状態制御部７４は、商品認識部７２による商品認識結果を確定する利用者の操作が行われると、所定の確定待ち時間（例えば数秒間）を設定して、商品認識処理および精算処理を継続させる。その際、その商品認識結果および精算結果をリアルタイムに画面表示処理に反映させない制御を行うことができる。

【0066】

また、状態制御部７４は、所定の待ち時間が経過すると、休止状態に遷移するように制御する。この休止状態では、商品認識処理および精算処理を一時的に停止する制御が行われる。ここで、商品認識処理および精算処理を継続させた上で、その商品認識結果および精算結果を決済に反映させない制御を行うようにしてもよい。

【0067】

認証指示部７５は、決済対象者となる利用者を特定するために、顔認証サーバ１５に対して顔認証の実行を指示し、また、ユーザ管理サーバ１３に対してパスワード認証の実行を指示する。本実施形態では、セキュリティ強化のため、顔認証とパスワード認証との２要素認証が採用され、顔認証およびパスワード認証の両方が成功した場合に決済を許可する。なお、顔認証時には、顔認証用のカメラ４６の撮影画像から顔画像を切り出して、その顔画像を顔認証サーバ１５に送信する。また、パスワード認証時には、利用者が入力したユーザＩＤおよびパスワードをユーザ管理サーバ１３に送信する。

【0068】

年齢照合部７６は、顔認証により特定された利用者の年齢情報（生年月日、または現在の年齢）を、ユーザ管理サーバ１３から取得して、その年齢情報に基づいて、顔認証で特定された利用者が年齢制限対象者であるか否か、すなわち、利用者が成年（下限年齢）に達しているか否かを判定する（年齢確認）。この年齢照合処理は、商品認識部７２で認識された商品の中に、酒類などの年齢制限商品が含まれる場合に行われる。

【0069】

決済指示部７７は、顔認証により特定された利用者（決済対象者）を対象にして、精算処理で算出された代金に関する決済処理の実行を、決済サーバ１２に対して指示する。

【0070】

なお、精算台１の制御部６３では、この他に、商品検知部７１で取得した商品の位置情報に基づいて、プロジェクタ４２を制御して、枠画像５５（図４参照）を載置部３７に投影する処理（プロジェクションマッピング）が行われる。また、制御部６３では、マイク４８により収音された利用者の発話音声に対して音声認識が行われる。これにより、利用者が音声入力による画面操作を行うことができる。

【0071】

また、制御部６３では、載置部３７を照明するライト４３の光量が制御される。載置部３７では、日照条件などに応じて、載置された商品の明るさが変化する。そこで、商品撮影用のカメラ４１の撮影画像や、図示しない照度センサの出力などに基づいて、載置部３７の明るさを検出して、その検出結果に基づいて、ライト４３の光量が制御される。

【0072】

また、本実施形態では、精算台１が商品認識処理を行うようにしたが、この商品認識処理が外部のサーバで行われるようにしてもよい。

【0073】

また、本実施形態では、精算台１が、顔認証により特定された利用者の年齢情報をユーザ管理サーバ１３から取得して、その年齢情報に基づいて年齢照合を行うようにしたが、この年齢照合が顔認証サーバ１５で行われるようにしてもよい。この場合、精算台１が、顔認証のリクエストに年齢照合の指示を付加して顔認証サーバ１５に送信し、顔認証サーバ１５が、年齢照合結果を含む顔認証のレスポンスを精算台１に送信すればよい。

【0074】

次に、精算台１のタッチパネルディスプレイ４５に表示される画面について説明する。図６、図７、図８、図９、図１０、図１１は、精算台１のタッチパネルディスプレイ４５に表示される画面を示す説明図である。

【0075】

精算台１のタッチパネルディスプレイ４５では、まず、図６（Ａ）に示す精算案内画面が表示される。この精算案内画面では、精算台１の載置部３７に商品を置くように利用者を促す案内メッセージ１０１と、商品の載せ方の要領を説明する案内画像１０２（イラストなど）とが表示される。ここで、利用者が載置部３７に商品を載せると、精算台１において、商品認識および精算の処理が行われて、未確定状態の購入商品確認画面（図６（Ｂ）参照）に遷移する。

【0076】

また、精算案内画面では、発話による画面操作（音声入力）に関する案内メッセージ１０３が表示される。本実施形態では、タッチパネルディスプレイ４５の画面に表示された操作部（ボタンなど）の文字を利用者が発話することで、その操作部を操作することができる。

【0077】

図６（Ｂ）に示す未確定状態の購入商品確認画面では、商品を確認するように利用者を促す案内メッセージ１０４が表示される。また、この未確定状態の購入商品確認画面には、認識結果一覧表示部１０５が設けられている。この認識結果一覧表示部１０５には、商品の名称および金額が記載された商品ボックス１１５（商品表示部）が表示される。この商品ボックス１１５は、利用者が載置部３７に置いた商品、特に商品認識により認識された商品に関するものであり、複数の商品ボックス１１５が並べて表示される。

【0078】

また、この未確定状態の購入商品確認画面には、精算結果表示部１１６が設けられている。この精算結果表示部１１６には、精算結果、すなわち、載置部３７に載せた商品の総数および合計金額が表示される。

【0079】

また、この未確定状態の購入商品確認画面には、「確定する」のボタン１１２と、「会計をやめる」のボタン１１９とが設けられている。ここで、「確定する」のボタン１１２を操作すると、案内画面（図６（Ｃ）参照）に遷移する。なお、「確定する」のボタン１１２は、初期状態では青色で表示され、操作後はグレーに変化する。また、「会計をやめる」のボタン１１９を操作すると、キャンセル画面（図８（Ｄ）参照）に遷移する。また、載置部３７から商品を取り除いた場合にも、キャンセル画面に遷移する。

【0080】

図６（Ｃ）に示す案内画面では、スキャン中のためにタッチパネルディスプレイ４５から手を離すように利用者を促す案内メッセージ１０１と、タッチパネルディスプレイ４５から手を離した状態を表す案内画像１０２（イラストなど）とが表示される。このとき、タッチパネルディスプレイ４５から手を離すように利用者を促すガイド音声がスピーカ４７から出力される。

【0081】

図６（Ｄ）に示す確定状態の購入商品確認画面（決済指示受付画面）には、「会計をする」のボタン１１７（決済に関する処理の実行を指示する操作部）と、「再スキャン」のボタン１１８とが設けられている。その他は、未確定状態の購入商品確認画面（図６（Ｂ）参照）と同様である。

【0082】

ここで、「会計をする」のボタン１１７を利用者が操作すると、顔認証画面（図７（Ａ）参照）に遷移する。

【0083】

一方、「再スキャン」のボタン１１８を利用者が操作すると、再スキャン処理、すなわち、商品認識処理および精算処理が再度実行され、未確定状態の購入商品確認画面（図６（Ｂ）参照）に戻る。具体的には、商品認識処理で誤認識が発生して、認識結果一覧表示部１０５に表示された商品認識結果に誤りがある場合には、「再スキャン」のボタン１１８を利用者が操作すればよい。また、利用者が、未確定状態の購入商品確認画面（図６（Ｂ）参照）で「確定する」のボタン１１２を操作した後に、載置部３７に置かれた商品の入れ替え（追加や除外）を行う、すなわち、置き忘れていた商品を後から載置部３７に置いたり、購入を取りやめた商品を載置部３７から取り出したりした場合、「再スキャン」のボタン１１８を利用者が操作すればよい。なお、商品認識結果に誤りが改善されない場合、商品の置き方の変更を促すガイダンス情報を表示するようにしてもよい。

【0084】

また、この確定状態の購入商品確認画面において、認識結果一覧表示部１０５に表示された商品の修正（削除、変更）を行いたい場合には、誤りのある商品に関する商品ボックス１１５を利用者が操作する。これにより、修正内容選択画面（図１０（Ａ）参照）に遷移する。

【0085】

図７（Ａ）に示す顔認証画面では、利用者の撮影画像１２１と、利用者の顔が所定の撮影範囲に入っていない場合に顔の位置の調整を促す案内メッセージ１２２とが表示される。ここで、利用者は、画面に表示される自分の撮影画像１２１を見ながら、自分の顔の位置を調整し、顔が適切に撮影できると、顔認証サーバ１５に対して顔画像を送信して顔認証が開始される。このとき、顔認証中の顔認証画面（図７（Ｂ）参照）に遷移する。

【0086】

図７（Ｂ）に示す顔認証画面では、利用者の撮影画像から抽出した顔画像１２３と、顔認証の進捗状況を可視化したプリローダー１２４が表示される。

【0087】

ここで、顔認証が成功すると、顔認証結果確認画面（図７（Ｃ）参照）に遷移する。一方、顔認証が失敗した場合、顔画像を再取得して、顔認証が所定回数繰り返され、所定回数連続して顔認証が失敗すると、顔認証を中止して、パスワード認証のみで決済を行うモードに移行して、ユーザＩＤ選択画面（図９（Ａ）参照）に遷移する。

【0088】

図７（Ｃ）に示す顔認証結果確認画面では、利用者の顔画像１２３と、利用者の名前に誤りがないかを問い合わせる案内メッセージ１２６と、が表示される。また、この顔認証結果確認画面では、「はい」のボタン１２７と「違います」のボタン１２８とが設けられている。ここで、「違います」のボタン１２８を操作すると、ユーザＩＤ選択画面（図９（Ａ）参照）に遷移する。

【0089】

また、顔認証結果確認画面において、「はい」のボタン１２７を操作すると、利用者が購入する商品の中に年齢制限商品がない場合には、パスワード認証画面（図８（Ａ）参照）に遷移する。一方、利用者が購入する商品の中に年齢制限商品がある場合には、顔認証で特定された利用者に関する年齢照合処理が行われる。ここで、利用者が成年（下限年齢）に達している場合には、パスワード認証画面（図８（Ａ）参照）に遷移する。一方、利用者が成年（下限年齢）に達していない場合には、エラー画面（図７（Ｄ）参照）に遷移する。

【0090】

図７（Ｄ）に示すエラー画面では、利用者が年齢制限対象者である、すなわち、利用者が成年に達していないため、酒類や煙草などの年齢制限商品を販売できないことを表す画像１３７と案内メッセージ１３８とが表示される。また、このエラー画面には、「戻る」のボタン１２９が設けられている。この「戻る」のボタン１２９を操作すると、未確定状態の購入商品確認画面（図６（Ｂ）参照）に戻る。これにより、利用者が、年齢制限商品を除外して処理をやり直すことができる。

【0091】

なお、図７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様である。

【0092】

図８（Ａ）に示すパスワード認証画面では、パスワードとしての暗証番号の入力を促す案内メッセージ１３１と、暗証番号の入力状況を表す画像１３２と、テンキー１３３とが設けられている。ここで、所定桁数の暗証番号の入力が終了すると、パスワード認証が実行され、パスワード認証が成功すると、決済確認画面（図８（Ｂ）参照）に遷移する。一方、パスワード認証が失敗すると、再入力状態のパスワード認証画面（図９（Ｃ）参照）に遷移する。

【0093】

また、このパスワード認証画面には、「支払う」のボタン１３５と、「戻る」のボタン１２９とが設けられている。ここで、「戻る」のボタン１２９を操作すると、暗証番号の未入力状態に戻る。また、「支払う」のボタン１３５は、グレーアウト表示で操作不能状態となっている。

【0094】

図８（Ｂ）に示す決済確認画面では、「支払う」のボタン１３５が操作可能状態となり、この「支払う」のボタン１３５を操作すると、決済完了画面（図８（Ｃ）参照）に遷移する。

【0095】

なお、図８（Ａ），（Ｂ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様である。

【0096】

図９（Ａ）に示すユーザＩＤ選択画面では、利用者が自分のユーザＩＤを選択するように促す案内メッセージ１４１と、ユーザＩＤのボタン１４２とが設けられている。ユーザＩＤのボタン１４２は、ユーザＩＤの候補ごとに複数並べて表示される。また、このユーザＩＤ選択画面には、「候補がない」のボタン１４３が設けられている。ここで、利用者が自分のユーザＩＤのボタン１４２を操作すると、パスワード認証画面（図８（Ａ）参照）に遷移する。「候補がない」のボタン１４３を操作すると、決済不可のエラー画面（図９（Ｂ）参照）に遷移する。

【0097】

なお、本実施形態では、ユーザＩＤの候補を表示して、利用者に選択させるようにしたが、キーボードを表示して、利用者が自分のユーザＩＤを入力するようにしてもよい。

【0098】

また、本実施形態では、ユーザＩＤの候補ごとのボタン１４２が表示されるが、このユーザＩＤの候補は、顔認証サーバ１５において顔認証処理で取得した顔照合スコアの高い人物である。顔認証サーバ１５では、顔照合スコアが所定のしきい値以上となる人物がいない場合に、顔照合が失敗したものと判定されるが、このとき、顔照合スコアがしきい値未満となる人物のうち、顔照合スコアの高い方から所定数の人物が候補として抽出される。

【0099】

図９（Ｃ）に示す再入力状態のパスワード認証画面では、暗証番号が不正であることを表す案内メッセージ１４５が表示される。その他は、パスワード認証画面（図８（Ａ）参照）と同様である。ここで、利用者はパスワードを再入力し、パスワード認証が成功すると、決済確認画面（図８（Ｂ）参照）に遷移する。一方、再度、パスワード認証が失敗すると、パスワード不正のエラー画面（図９（Ｄ）参照）に遷移する。

【0100】

なお、図９（Ａ），（Ｃ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様である。

【0101】

図１０（Ａ）に示す修正内容選択画面では、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様に、認識結果一覧表示部１０５に商品ボックス１１５が並べて表示されるが、特に、確定状態の購入商品確認画面において利用者が選択した商品ボックス１１５は、商品ボックス１５２に変更される。この他は、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様である。

【0102】

この商品ボックス１５２には、「削除」のボタン１５３と、「変更」のボタン１５４とが設けられている。ここで、「削除」のボタン１５３を操作すると、削除確認画面（図１１（Ｂ）参照）に遷移する。また、「変更」のボタン１５４を操作すると、カテゴリー選択画面（図１０（Ｂ）参照）に遷移する。

【0103】

図１０（Ｂ）に示すカテゴリー選択画面には、商品（カテゴリー）の選択を促す案内メッセージ１５６と、変更元の商品の情報（名称および金額）を表示する変更元商品表示部１５７と、カテゴリーごとのボタン１５８とが設けられている。また、このカテゴリー選択画面では、「戻る」のボタン１２９が設けられている。ここで、カテゴリーのボタン１５８を操作すると、変更先商品選択画面（図１０（Ｃ）参照）に遷移する。また、「戻る」のボタン１２９を操作すると、１つ前の画面、すなわち修正内容選択画面（図１０（Ａ）参照）に戻る。

【0104】

図１０（Ｃ）に示す商品選択画面には、カテゴリー選択画面（図１０（Ｂ）参照）で選択したカテゴリーに含まれる商品ごとのボタン１６０が設けられている。ここで、商品のボタン１６０を操作すると、商品変更確認画面（図１０（Ｄ）参照）に遷移する。なお、案内メッセージ１５６、変更元商品表示部１５７、および「戻る」のボタン１２９は、カテゴリー選択画面（図１０（Ｂ）参照）と同様である。

【0105】

図１０（Ｄ）に示す商品変更確認画面では、商品の変更を行う旨の案内メッセージ１６１と、変更前の商品の情報（名称および金額）を表示する変更前商品表示部１６２と、変更後の商品の情報（名称および金額）を表示する変更後商品表示部１６３とが設けられている。また、この変更確認画面には、「はい」のボタン１６５と「いいえ」のボタン１６６とが設けられている。ここで、「はい」のボタン１６５を操作すると、修正内容確認画面（図１１（Ａ）参照）に遷移する。また、「いいえ」のボタン１６６を操作すると、商品選択画面（図１０（Ｃ）参照）に戻る。

【0106】

図１１（Ａ）に示す修正内容確認画面は、確定状態の購入商品確認画面（図６（Ｄ）参照）と略同様であるが、特にここでは、変更した商品に関する商品ボックス１１５が最初（最上部）に表示され、かつ、他の商品ボックス１１５とは異なる色で強調表示される。

【0107】

図１１（Ｂ）に示す削除確認画面には、商品の削除を行う旨の案内メッセージ１７１と、削除対象となる商品の情報（名称および金額）を表示する削除商品表示部１７２とが設けられている。また、この変更確認画面には、「はい」のボタン１７３と「いいえ」のボタン１７４とが設けられている。ここで、「はい」のボタン１７３を操作すると、修正内容確認画面（図１１（Ｃ）参照）に遷移する。「いいえ」のボタン１７４を操作すると、修正内容選択画面（図１０（Ａ）参照）に戻る。

【0108】

図１１（Ｃ）に示す修正内容確認画面では、認識結果一覧表示部１０５の商品ボックス１５２が、削除の操作が反映された状態で表示される。具体的には、削除の操作が行われた商品ボックス１１５がグレーアウトで表示される。また、図１１（Ｄ）に示す修正内容確認画面を表示するようにしてもよい。この修正内容確認画面では、商品ボックス１１５内に「戻す」のボタンが設けられている。この「戻す」のボタンを利用者が操作すると、修正内容選択画面（図１０（Ａ）参照）に戻る。

【0109】

なお、図１１（Ａ），（Ｂ），（Ｃ），（Ｄ）に示す画面に表示される精算結果表示部１１６および「会計をやめる」のボタン１１９は、確定状態の購入商品確認画面（図６（Ｄ）参照）と同様である。

【0110】

次に、精算台１における確定待ち時間および休止状態について説明する。図１２は、精算台１における確定待ち時間および休止状態を示す説明図である。

【0111】

図１２（Ａ）に示すように、本実施形態では、未確定状態の購入商品確認画面（図６（Ｂ）参照）において、認識結果一覧表示部１０５に表示された商品認識結果に誤りがないことを利用者が確認すると、利用者が、商品認識結果を確定する操作、具体的には、「確定する」のボタン１１２を操作すると、確定待ち時間が設定される。この確定待ち時間には、「確定する」のボタン１１２の操作後に手を戻す利用者の一部の操作時間が含まれる。

【0112】

この確定待ち時間では、商品認識処理および精算処理は継続される。この確定待ち時間において、商品認識結果をリアルタイムに精算処理および画面表示処理に反映させない制御を行い、認識結果一覧表示部１０５の表示内容が更新されないようにすることができる。

【0113】

なお、商品認識結果を確定する操作を利用者が行うまでは、商品認識処理が常時定期的に行われるため、利用者は、載置部３７に置かれた商品の入れ替え（追加や除外）を行う、具体的には、置き忘れていた商品を後から載置部３７に置いたり、購入を取りやめた商品を載置部３７から取り出したりすることができ、利用者が商品の入れ替えを行うと、タッチパネルディスプレイ４５に表示された商品認識結果が変化する。

【0114】

確定待ち時間は、商品認識結果を確定する操作が行われてから所定の時間（例えば数秒間）である。この確定待ち時間は、商品認識処理が正常に戻るまでの復帰時間であり、具体的には、利用者が、タッチパネルディスプレイ４５から手を離して、商品撮影用のカメラ４１の撮影エリアから利用者の手がなくなるのに要する時間（操作時間）に相当する。これにより、利用者がタッチパネルディスプレイ４５から手を離す際に、タッチパネルディスプレイ４５の画面が不自然に変化しても、すぐに商品認識処理が正常に復帰するので、利用者に違和感を与えることを抑制することができる。

【0115】

次に、確定待ち時間が経過すると、商品認識結果および精算結果が、確定状態の購入商品確認画面（図６（Ｄ）参照）に反映される。このとき、画面に表示された商品認識結果および精算結果は、確定情報であり、以降は、休止状態となる。この休止状態では、商品認識処理および精算処理を停止する制御が行われる。なお、休止状態において、商品認識処理および精算処理を停止する制御は行わず、商品認識結果をリアルタイムに精算処理および画面表示処理に反映させない制御を行ってもよい。

【0116】

ここで、利用者が、確定状態の購入商品確認画面に表示された商品認識結果に誤りがないことを確認すると、決済（会計）を指示する操作、具体的には、「会計をする」のボタン１１７を操作する。このとき、休止状態で、商品認識処理および精算処理を停止する制御が行われ、あるいは、商品認識結果をリアルタイムに精算処理および画面表示処理に反映させない制御が行われるため、画面に表示された商品認識結果および精算結果が変化したり、誤った商品認識結果で精算および決済が行われたりすることを避けることができる。

【0117】

なお、未確定状態の購入商品確認画面が表示されている状態では、商品認識処理が常時定期的に行われる。このため、利用者が、載置部３７に置かれた商品の入れ替え（追加や除外）を行う、すなわち、置き忘れていた商品を後から載置部３７に置いたり、購入を取りやめた商品を載置部３７から取り出したりすると、その商品の入れ替え状況に応じて、認識結果一覧表示部１０５の表示が更新される。

【0118】

また、確定状態の購入商品確認画面に遷移した後に、利用者が、載置部３７に置かれた商品の入れ替え（追加や除外）を行いたい場合がある。この場合、確定状態の購入商品確認画面において「再スキャン」のボタン１１８を操作すれば、商品認識処理のやり直しを行うことができる。

【0119】

また、図１２（Ｂ）に示すように、未確定状態の購入商品確認画面（図６（Ｂ）参照）に遷移したタイミングで、確定待ち時間を設定するようにしてもよい。この場合、確定待ち時間は、利用者が、未確定状態の購入商品確認画面を閲覧して、利用者が「確定する」のボタン１１２を操作し、さらに、タッチパネルディスプレイ４５から手を離して、商品撮影用のカメラ４１の撮影エリアから利用者の手がなくなるのに要する時間（操作時間）に相当する。

【0120】

これにより、利用者が、未確定状態の購入商品確認画面において「確定する」のボタン１１２を操作するために、タッチパネルディスプレイ４５に手を伸ばした際に、タッチパネルディスプレイ４５の画面が不自然に変化しても、すぐに商品認識処理が正常に復帰するので、利用者に違和感を与えることを避けることができる。

【0121】

次に、精算台１のタッチパネルディスプレイ４５に表示されるテンキー１３３のキー配列パターンの変更について説明する。図１３は、テンキー１３３のキー配列パターンの変更状況の一例を示す説明図である。

【0122】

本実施形態では、パスワード認証画面（図８（Ａ）参照）において、利用者が、テンキー１３３を用いてパスワード（暗証番号）を入力する。このとき、精算台１の正面にタッチパネルディスプレイ４５が配置されているため、利用者の背後にいる別人が利用者の指の動きを目視することができ、パスワードを盗み取られるおそれがある。

【0123】

そこで、本実施形態では、利用者が代わる度に、例えば、図１３（Ａ）～（Ｄ）に示すように、パスワード認証画面のテンキー１３３のキー配列パターン、すなわち、「１」から「９」の数字キーの配列パターンが変更される。図１３（Ａ）～（Ｄ）に示す例では、利用者が代わる度に、４通りのキー配列パターンがランダムに選択される。

【0124】

また、本実施形態では、パスワード認証画面（図８（Ａ）参照）で利用者が入力したパスワード（暗証番号）が不正である場合には、再入力状態のパスワード認証画面（図９（Ｃ）参照）に遷移するが、この再入力状態のパスワード認証画面では、最初のパスワード認証画面（図８（Ａ）参照）からキー配列パターンが変更される。

【0125】

なお、図１３（Ａ）～（Ｄ）に示す例では、数字キーの３×３の並び規則が変更されているが、この他に、例えば、数字キーの配置がランダムに変更されるようにしてもよい。また、テンキー１３３の全体的なレイアウトが変更されるようにしてもよい。

【0126】

次に、ユーザ登録時におけるユーザ端末１１の動作手順について説明する。図１４は、ユーザ登録時におけるユーザ端末１１の動作手順を示すフロー図である。

【0127】

ユーザ端末１１では、アプリケーションをインストールして最初に起動した際に、まず、個人情報確認画面を表示する（ＳＴ１０１）。この個人情報確認画面では、個人情報の取り扱いに関する同意書が表示される。この個人情報確認画面において、同意書を承認する操作をユーザが行うと、認証情報入力画面を表示する（ＳＴ１０２）。

【0128】

次に、認証情報入力画面において、ユーザＩＤおよびパスワードを入力する操作をユーザが行うと、ユーザＩＤおよびパスワードをユーザ管理サーバ１３に送信する（ＳＴ１０３）。

【0129】

次に、個人情報入力画面を表示する（ＳＴ１０４）。この個人情報入力画面では、生年月日などの個人情報をユーザが入力することができる。この個人情報入力画面において、個人情報を入力する操作をユーザが行うと、生年月日などを含む個人情報をユーザ管理サーバ１３に送信する（ＳＴ１０５）。

【0130】

次に、顔撮影画面を表示する（ＳＴ１０４）。この顔撮影画面において、ユーザが自分の顔を撮影する操作を行うと、撮影画像から顔画像を抽出して、その顔画像をユーザ管理サーバ１３に送信する（ＳＴ１０７）。

【0131】

このとき、ユーザ管理サーバ１３では、ユーザ端末１１から取得したユーザＩＤおよびパスワードを登録する処理を行う。また、ユーザ管理サーバ１３では、ユーザ端末１１から取得した顔画像を顔認証サーバ１５に送信し、顔認証サーバ１５において、顔画像を登録する処理を行う。

【0132】

次に、クレジット情報入力画面を表示する（ＳＴ１０８）。このクレジット情報入力画面において、ユーザがクレジット情報を入力する操作を行うと、そのクレジット情報を決済サーバ１２に送信する（ＳＴ１０９）。決済サーバ１２では、ユーザ端末１１から取得したクレジット情報を登録する処理を行う。

【0133】

次に、クレジット情報登録の完了通知を決済サーバ１２から受信すると、登録完了画面を表示する（ＳＴ１１０）。

【0134】

次に、精算台１の動作手順について説明する。図１５、図１６は、精算台１の動作手順を示すフロー図である。

【0135】

精算台１では、まず、商品撮影用のカメラ４１の撮影画像に基づいて、載置部３７に物体が置かれたことを検知すると（ＳＴ２０１でＹｅｓ）、載置部３７に置かれた物体の位置を検出する（ＳＴ２０２）。次に、載置部３７に置かれた物体がどの商品であるかを識別する（ＳＴ２０３）。次に、載置部３７に置かれた商品の代金を精算する（ＳＴ２０４）。次に、未確定状態の購入商品確認画面（図６（Ｂ）参照）を表示する（ＳＴ２０５）。

【0136】

次に、未確定状態の購入商品確認画面（図６（Ｂ）参照）において、「確定する」のボタン１１２を利用者が操作すると（ＳＴ２０６で「確定」）、案内画面（図６（Ｃ）参照）を表示する（ＳＴ２０７）。このとき、タッチパネルディスプレイ４５から手を離すように促すガイド音声、例えば「手を離してください」の音声がスピーカ４７から出力される。

【0137】

次に、確定状態の購入商品確認画面（決済指示画面）（図６（Ｄ）参照）を表示する（ＳＴ２０８）。そして、確定状態の購入商品確認画面において、決済を指示する操作、具体的には「会計をする」のボタン１１７を利用者が操作すると（ＳＴ２０９で「決済」）、顔認証に進み、顔認証画面（図７（Ａ）参照）を表示する（ＳＴ２２１）。このとき、購入商品に年齢制限商品が含まれているか否かを判定し、年齢制限商品が含まれている場合には、年齢制限フラグをオンとする処理を行う。

【0138】

また、中止を選択する操作、具体的には「会計をやめる」のボタン１１９を利用者が操作すると（ＳＴ２０９で「中止」）、キャンセル画面（図８（Ｄ）参照）に遷移する（ＳＴ２１２）。また、「再スキャン」のボタン１１８を利用者が操作すると（ＳＴ２０９で「再スキャン」）、ＳＴ２０１に戻り、商品認識処理が再度行われる。

【0139】

一方、誤りのある商品を選択する操作、具体的には、誤りのある商品に関する商品ボックス１１５を利用者が操作すると（ＳＴ２０９で「商品選択」）、修正内容選択画面（図１０（Ａ）参照）に遷移する（ＳＴ２１０）。

【0140】

次に、修正内容選択画面（図１０（Ａ）参照）において、「変更」のボタン１５４を操作すると（ＳＴ２１１で「変更」）、カテゴリー選択画面（図１０（Ｂ）参照）に遷移する。また、「削除」のボタン１５３を操作すると（ＳＴ２１１で「削除」）、削除確認画面（図１１（Ｂ）参照）に遷移する。その後、所要の操作を行うと、修正内容確認画面（図１１（Ａ），（Ｃ），（Ｄ）参照）に遷移する（ＳＴ２１０）。このとき、修正内容確認画面は、操作内容が反映された状態で表示される。

【0141】

また、中止を選択する操作、具体的には「会計をやめる」のボタン１１９を操作すると（ＳＴ２１１で「中止」）、キャンセル画面（図８（Ｄ）参照）に遷移する（ＳＴ２１２）。また、決済を選択する操作、具体的には「会計をする」のボタン１１７を操作すると（ＳＴ２１１で「決済」）、顔認証に進み、顔認証画面（図７（Ａ）参照）を表示する（ＳＴ２２１）。また、「再スキャン」のボタン１１８を利用者が操作すると（ＳＴ２１１で「再スキャン」）、ＳＴ２０１に戻り、商品認識処理が再度行われる。

【0142】

一方、顔認証画面（図７（Ａ）参照）を表示すると（ＳＴ２２１）、次に、顔認証用のカメラ４６の撮影画像から顔画像を抽出して、その顔画像を含む顔認証のリクエストを顔認証サーバ１５に送信する（ＳＴ２２２）。このとき、顔認証サーバ１５では、顔認証のリクエストに応じて、精算台１から取得した顔画像に基づいて顔認証を実施し、認証結果を含む顔認証のレスポンスを精算台１に送信する。

【0143】

次に、顔認証のレスポンスを顔認証サーバ１５から受信し（ＳＴ２２３）、その顔認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ２２４でＹｅｓ）、次に、購入商品に年齢制限商品が含まれている場合に、顔認証により特定された利用者の年齢照合が行われ、年齢制限対象者であるか否か、すなわち、利用者が成年（下限年齢）に達しているか否かを判定する（ＳＴ２２５）。このとき、年齢制限商品フラグに基づいて、購入商品に年齢制限商品が含まれていることを確認する。また、顔認証のレスポンスに含まれる年齢情報（生年月日、または現在の年齢）に基づいて、年齢制限対象者であるか否かを判定する。

【0144】

ここで、顔認証により特定された利用者が年齢制限対象者でない、すなわち、利用者が成年に達している場合には（ＳＴ２２５でＮｏ）、パスワード認証に進み、パスワード認証画面（図８（Ａ）参照）を表示する（ＳＴ２２６）。

【0145】

次に、パスワード認証画面（図８（Ａ）参照）において、利用者がパスワード（暗証番号）を入力すると、パスワード認証のリクエストをユーザ管理サーバ１３に送信する（ＳＴ２２７）。このとき、ユーザ管理サーバ１３では、パスワード認証のリクエストに応じて、精算台１から取得した顔画像に基づいて顔認証を実施し、認証結果を含む顔認証のレスポンスを精算台１に送信する。

【0146】

次に、パスワード認証のレスポンスをユーザ管理サーバ１３から受信し（ＳＴ２２８）、そのパスワード認証のレスポンスに含まれる認証結果が成功である場合には（ＳＴ２２９でＹｅｓ）、決済のリクエストを、ユーザ管理サーバ１３を介して決済サーバ１２に送信する（ＳＴ２３０）。決済サーバ１２では、決済のリクエストを受信すると、決済処理を実行して、決済のレスポンスを、ユーザ管理サーバ１３を介して精算台１に送信する。

【0147】

次に、決済のレスポンスを決済サーバ１２から受信すると（ＳＴ２３１）、決済完了画面（図８（Ｃ）参照）を表示する（ＳＴ２３２）。次に、レシート発行処理を行い（ＳＴ２３３）、レシート情報を、ユーザ管理サーバ１３を介してユーザ端末１１に送信する（ＳＴ２３４）。ユーザ端末１１では、レシート情報を受信すると、自装置の記憶部６２に記憶する。

【0148】

一方、認証結果が失敗である場合には（ＳＴ２２４でＮｏ）、ユーザＩＤ選択画面（図９（Ａ）参照）を表示する（ＳＴ２３５）。

【0149】

次に、ユーザＩＤ選択画面（図９（Ａ）参照）において、ユーザＩＤ選択の操作、具体的にはユーザＩＤのボタン１４２を利用者が操作すると（ＳＴ２３６で「ユーザＩＤ選択」）、パスワード認証に進み、パスワード認証画面（図８（Ａ）参照）を表示する（ＳＴ２２６）。また、候補なしの操作、具体的には「候補がない」のボタン１４３をユーザが操作すると（ＳＴ２３６で「候補なし」）、エラー画面（図９（Ｂ）参照）を表示する（ＳＴ２３７）。また、中止の操作、具体的には「会計をやめる」のボタン１１９をユーザが操作すると（ＳＴ２３６で「中止」）、キャンセル画面（図８（Ｄ）参照）に遷移する（ＳＴ２１２）。

【0150】

また、利用者が年齢制限対象者である、すなわち、利用者が成年に達していない場合には（ＳＴ２２５でＹｅｓ）、エラー画面（図７（Ｄ）参照）を表示する（ＳＴ２３８）。

【0151】

次に、エラー画面（図７（Ｄ）参照）において、中止の操作、具体的には「会計をやめる」のボタン１１９を利用者が操作すると（ＳＴ２３９で「中止」）、キャンセル画面（図８（Ｄ）参照）に遷移する（ＳＴ２１２）。また、復帰の操作、具体的には「戻る」のボタン１２９を利用者が操作すると（ＳＴ２３９で「復帰」）、ＳＴ２０１に戻り、商品検知処理（ＳＴ２０２）、商品認識処理（ＳＴ２０３）、および精算処理（ＳＴ２０４）が行われて、未確定状態の購入商品確認画面（図６（Ｂ）参照）に遷移する。これにより、利用者が、年齢制限商品を除外して処理をやり直すことができる。

【0152】

また、パスワード認証の認証結果が失敗である場合には（ＳＴ２２９でＮｏ）、次に、パスワード認証が所定回数連続して失敗したか否かを判定する（ＳＴ２４０）。ここで、パスワード認証が所定回数連続して失敗していない場合には（ＳＴ２４０でＮｏ）、再度、パスワード認証に進み、再入力状態のパスワード認証画面（図９（Ｃ）参照）を表示する（ＳＴ２２６）。一方、パスワード認証が所定回数連続して失敗した場合には（ＳＴ２４０でＹｅｓ）、エラー画面（図９（Ｄ）参照）を表示する（ＳＴ２４１）。

【0153】

なお、本実施形態では、セキュリティ強化のため、顔認証とパスワード認証との２要素認証が採用されており、顔認証が成功した場合でもパスワード認証を行うが、パスワード認証を省略して顔認証のみとしてもよい。

【0154】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0155】

本発明に係る精算決済装置および精算決済システムは、物体認識の技術を用いて利用者が購入する商品を認識すると共に、タッチパネルディスプレイを用いて利用者に必要な操作を行わせる場合に、商品認識の機能が損なわれることなく、省スペース化を図り、小規模な店舗にも容易に設置することができる効果を有し、利用者が売場から選択した商品を認識して、その代金の精算及び決済を行う精算決済装置および精算決済システムなどとして有用である。

【符号の説明】

【0156】

１ 精算台（精算決済装置）
１５ 顔認証サーバ（サーバ装置）
３７ 載置部
４１ 商品撮影用のカメラ（第１のカメラ）
４５ タッチパネルディスプレイ（表示部）
４６ 顔認証用のカメラ（第２のカメラ）
１１２ 「確定する」のボタン（操作部）
１１７ 「会計をする」のボタン（操作部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】