知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024003669
(43)【公開日】2024-01-15
(54)【発明の名称】プログラム、情報端末、システム
(51)【国際特許分類】
G06V 40/16 20220101AFI20240105BHJP
G07G 1/12 20060101ALI20240105BHJP
G07G 1/01 20060101ALI20240105BHJP
G06Q 30/00 20230101ALI20240105BHJP
G06T 7/00 20170101ALI20240105BHJP
【ＦＩ】
G06V40/16 B
G07G1/12 301Z
G07G1/12 321K
G07G1/01 301D
G06Q30/00
G06T7/00 660A
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022102965
(22)【出願日】2022-06-27
(71)【出願人】
【識別番号】000145068
【氏名又は名称】株式会社寺岡精工
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100145481
【弁理士】
【氏名又は名称】平野 昌邦
(72)【発明者】
【氏名】田鹿 博司
【テーマコード（参考）】
3E142
5L049
5L096
【Ｆターム（参考）】
3E142CA17
3E142DA08
3E142FA42
3E142GA02
3E142GA03
3E142GA13
3E142GA16
3E142GA22
3E142GA41
3E142JA01
3E142JA02
5L049BB44
5L096AA06
5L096CA05
5L096DA02
5L096FA67
5L096FA69
5L096JA11
(57)【要約】
【課題】携帯端末を用いた商品の登録を好適に実施する。
【解決手段】第１撮像部と第２撮像部とを有する情報端末としてコンピュータを機能させるプログラムであって、前記コンピュータを、出力手段、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段として機能させ、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する。
【選択図】図１
【解決手段】第１撮像部と第２撮像部とを有する情報端末としてコンピュータを機能させるプログラムであって、前記コンピュータを、出力手段、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段として機能させ、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１撮像部と第２撮像部とを有する情報端末としてコンピュータを機能させるプログラムであって、
前記コンピュータを、
出力手段、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段
として機能させ、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とするプログラム。
前記コンピュータを、
出力手段、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段
として機能させ、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とするプログラム。
【請求項2】
前記第１撮像画像から商品コードを取得するコード取得手段、
前記第２検出手段の検出結果に基づいて操作者の商品のかざし方の適否を判定する適否判定手段
として機能させ、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出し、かつ、前記コード取得手段が商品コードを取得しなかった場合、前記適否判定手段による判定結果に基づく情報を出力する
ことを特徴とする請求項１に記載のプログラム。
前記第２検出手段の検出結果に基づいて操作者の商品のかざし方の適否を判定する適否判定手段
として機能させ、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出し、かつ、前記コード取得手段が商品コードを取得しなかった場合、前記適否判定手段による判定結果に基づく情報を出力する
ことを特徴とする請求項１に記載のプログラム。
【請求項3】
店員介在の要否を判断する店員介在要否判断手段
として機能させ、
前記店員介在要否判断手段は、
前記適否判定手段によって商品のかざし方が適切でないと判定された回数に基づいて店員介在の要否を判断する
ことを特徴とする請求項２に記載のプログラム。
として機能させ、
前記店員介在要否判断手段は、
前記適否判定手段によって商品のかざし方が適切でないと判定された回数に基づいて店員介在の要否を判断する
ことを特徴とする請求項２に記載のプログラム。
【請求項4】
前記第２撮像画像は、
操作者の顔を撮像した画像であり、
前記所定の行為は、
商品のかざし方を調整する行為であり、
前記第２検出手段は、
前記第２撮像画像内の操作者の表情または目線から操作者が商品のかざし方を調整していることを検出する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載のプログラム。
操作者の顔を撮像した画像であり、
前記所定の行為は、
商品のかざし方を調整する行為であり、
前記第２検出手段は、
前記第２撮像画像内の操作者の表情または目線から操作者が商品のかざし方を調整していることを検出する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載のプログラム。
【請求項5】
前記出力手段は、
前記第２撮像部による撮像について操作者に許諾を求める画面を出力し、
当該画面において前記第２撮像画像の消去に関する情報を出力する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載のプログラム。
前記第２撮像部による撮像について操作者に許諾を求める画面を出力し、
当該画面において前記第２撮像画像の消去に関する情報を出力する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載のプログラム。
【請求項6】
第１撮像部と第２撮像部とを有する情報端末であって、
出力手段と、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段と
を備え、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とする情報端末。
出力手段と、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段と
を備え、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とする情報端末。
【請求項7】
第１撮像部と第２撮像部とを有する情報端末を含むシステムであって、
出力手段と、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段と
を備え、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とするシステム。
出力手段と、
前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、
前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段と
を備え、
前記出力手段は、
前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力する
ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報端末、システムに関する。
【背景技術】
【0002】
携帯端末を用いて顧客自ら商品を登録するシステムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１４７２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のようなシステムには、例えば悪意のある顧客や不慣れな顧客への対策において改善の余地がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、携帯端末を用いた商品の登録を好適に実施する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決するための一態様であるプログラムは、第１撮像部と第２撮像部とを有する情報端末としてコンピュータを機能させるプログラムであって、前記コンピュータを、出力手段、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段として機能させ、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力することを特徴とするプログラムである。
【図面の簡単な説明】
【0007】
【図1】販売システムを説明するためのネットワークの概念図である。
【図2】携帯端末を取り付け可能なカートについて説明する説明図である。
【図3】携帯端末、クラウドサーバ、精算装置の動作の概要を説明するシーケンス図である。
【図4】携帯端末の表示例である。
【図5】携帯端末の表示例である。
【図6】携帯端末の表示例である。
【図7】携帯端末の動作の一例を説明するフローチャートである。
【図8】携帯端末の動作の一例を説明するフローチャートである。
【図9】精算装置の表示例である。
【図10】精算装置の表示例である。
【図11】精算装置の表示例である。
【図12】精算装置の表示例である。
【図13】精算装置の表示例である。
【図14】精算装置の表示例である。
【発明を実施するための形態】
【0008】
図１は、本実施形態の販売システム１を説明するためのネットワークの概念図である。図１に示す販売システム１は、本部サーバ１０、クラウドサーバ２０、ストアコントローラ３０、取引状況管理装置４０（例えば、パーソナルコンピュータ等）、精算装置５０、携帯端末６０を含む。
【0009】
販売システム１は、種々の業態（スーパーマーケット、コンビニエンスストア、ドラッグストア、ホームセンタ、家電量販店等）に導入可能である。図１において、破線Ｔは、店舗内（商品陳列エリア、会計エリア、バックヤード等）を示している。図１に示すように、ストアコントローラ３０、取引状況管理装置４０、精算装置５０は、店舗内に設置される。これらは、ＬＡＮ１９（有線でも無線でもよい）を介して通信可能に接続される。店舗内には、携帯端末６０が存在する。携帯端末６０は、基本的には、カート（ショッピングカート）７０に取り付けられた状態（セットされた状態）で使用される。本部サーバ１０及びクラウドサーバ２０は、店舗外（例えば、本社やデータセンタ等）に設置される。店舗内に設置されている装置（ストアコントローラ３０、取引状況管理装置４０、精算装置５０）と店舗外に設置されている装置（本部サーバ１０、クラウドサーバ２０）とは、通信（直接的に通信、又は、ストアコントローラ３０を介して通信）可能である。
【0010】
なお、図１において、各装置（端末）の台数は例示である。例えば、図１において、精算装置５０の右側に「…」を図示したが、店舗内に設置される精算装置５０の数は１台以上であればよい。また例えば、図１において、２台の携帯端末６０を図示したが、店舗内において使用される携帯端末６０の数は客の数に応じて変化する。また、店舗内には、他の装置を設置してもよい。例えば、店舗内には、店員の操作に基づいて商品を登録し、顧客の操作に基づいて精算するセミセルフの装置群（登録装置、精算装置）や、顧客の操作に基づいて商品を登録し、顧客の操作に基づいて精算するフルセルフの装置（登録精算装置）を設置してもよい。
【0011】
（携帯端末６０）
携帯端末６０は、顧客によって使用される。具体的には、携帯端末６０は、店舗内において顧客自身が商品を登録する際に使用される。携帯端末６０は、例えば、スマートフォンであるが、タブレット端末であってもよい。携帯端末６０は、顧客の所有物であってもよいし、店側が貸与するものであってもよい。
携帯端末６０は、顧客によって使用される。具体的には、携帯端末６０は、店舗内において顧客自身が商品を登録する際に使用される。携帯端末６０は、例えば、スマートフォンであるが、タブレット端末であってもよい。携帯端末６０は、顧客の所有物であってもよいし、店側が貸与するものであってもよい。
【0012】
図示は省略するが、携帯端末６０は、例えば、ＣＰＵ、記憶部、表示部、操作部、音声出力部（スピーカ）、音声入力部（マイク）、撮像部（カメラ）及び通信部を備える。携帯端末６０は、更に、発光部（ライト）や、当該携帯端末６０（筐体）の姿勢や振動（変位、速度、又は、加速度）を検出可能なセンサ（例えば、加速度センサ、ジャイロセンサ）を備えてもよい。
【0013】
ＣＰＵは、中央演算処理装置であって、記憶部に記憶されているプログラムを読み出して実行することにより、携帯端末６０全体を制御する。記憶部は、種々の情報（例えば、ＣＰＵが参照又は生成等する情報、外部から取得した情報等）を記憶する。記憶部は、１以上の種々の記憶部材（例えば、メモリやストレージとなるもの。例えば、ＲＡＭ、ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）等）の総称である。表示部は、例えば、液晶ディスプレイであって、種々の情報（画像情報を含む）を表示する。表示部は、表示画面への操作を受付可能なタッチパネルとして構成される。操作部は、操作者（顧客）の操作を受け付ける。操作部は、１以上の種々の操作部材（筐体に設けられた種々の操作子（ハードボタン）の総称である。なお、表示部はタッチパネルとして構成されため、操作部の一部として捉えてもよい。音声出力部は、音声を出力する。音声入力部は、音声を入力する。撮像部については後述する。通信部は、種々の情報を送受信する。通信部は、１以上の種々の通信部材（例えば、５Ｇ等の携帯無線通信、無線ＬＡＮ、近距離無線通信、非接触通信等の通信部材）の総称である。
【0014】
（第１撮像部、第２撮像部、第１撮像画像、第２撮像画像）
携帯端末６０は、２つの撮像部を備える。具体的には、携帯端末６０は、背面側（表示部が設けられていない側）を撮像する第１撮像部（第１カメラ）と、手前側（表示部が設けられている側）を撮像する第２撮像部（第２カメラ）とを備える。第１撮像部は、いわゆるアウトカメラと称されるものである。第２撮像部は、いわゆるインカメラと称されるものである。
携帯端末６０は、２つの撮像部を備える。具体的には、携帯端末６０は、背面側（表示部が設けられていない側）を撮像する第１撮像部（第１カメラ）と、手前側（表示部が設けられている側）を撮像する第２撮像部（第２カメラ）とを備える。第１撮像部は、いわゆるアウトカメラと称されるものである。第２撮像部は、いわゆるインカメラと称されるものである。
【0015】
第１撮像部は、背面側を撮像し、背面側の撮像画像（静止画像、動画像）を取得（生成）する。第２撮像部は、手前側を撮像し、手前側の撮像画像（静止画像、動画像）を取得する。以下の説明において、第１撮像部によって撮像される撮像画像を第１撮像画像（又はアウトカメラ画像）と称し、第２撮像部によって撮像される撮像画像を第２撮像画像（又はインカメラ画像）と称する場合がある。
【0016】
（第１撮像画像、第２撮像画像の出力）
携帯端末６０は、第１撮像画像（アウトカメラ画像）をいわゆるスルー画像（ライブビュー画像）として表示部に表示可能である。第２撮像画像（インカメラ画像）についても同様である。携帯端末６０は、一方の撮像画像（例えば第１撮像画像）をスルー画像として表示しているときに他方の撮像画像（例えば第２撮像画像）をスルー画像として表示してもよい。携帯端末６０は、撮像した第１撮像画像の一部をスルー画像として表示してもよい。撮像した第１撮像画像の一部とは、複数の第１撮像画像のうちの一部（時間的に一部）、又は、一の撮像画像の一部の領域（撮像領域的に一部）である。第２撮像画像についても同様である。
携帯端末６０は、第１撮像画像（アウトカメラ画像）をいわゆるスルー画像（ライブビュー画像）として表示部に表示可能である。第２撮像画像（インカメラ画像）についても同様である。携帯端末６０は、一方の撮像画像（例えば第１撮像画像）をスルー画像として表示しているときに他方の撮像画像（例えば第２撮像画像）をスルー画像として表示してもよい。携帯端末６０は、撮像した第１撮像画像の一部をスルー画像として表示してもよい。撮像した第１撮像画像の一部とは、複数の第１撮像画像のうちの一部（時間的に一部）、又は、一の撮像画像の一部の領域（撮像領域的に一部）である。第２撮像画像についても同様である。
【0017】
携帯端末６０は、第１撮像画像をスルー画像として表示部に表示することに代えて又は加えて、第１撮像画像を記憶部に記憶してもよい。つまり、携帯端末６０は、第１撮像画像をスルー画像として表示部に表示せずに記憶部に記憶してもよいし、第１撮像画像を記憶部に記憶せずにスルー画像として表示部に記憶してもよいし、第１撮像画像をスルー画像として表示部に表示しつつ記憶部に記憶してもよい。携帯端末６０は、時間情報（例えば、現在時刻、撮像開始からの経過時間）に対応付けて、第１撮像画像を記憶してもよい。第２撮像画像についても同様である。携帯端末６０は、時間情報に対応付けて又は時間情報に対応付けずに、同じタイミングで撮像された第１撮像画像と第２撮像画像とを対応付けて記憶してもよい。
【0018】
携帯端末６０は、記憶部に記憶済の第１撮像画像を表示してもよい。第２撮像画像についても同様である。携帯端末６０は、記憶部に記憶済の一方の撮像画像（例えば第１撮像画像）の表示を表示しているときに記憶部に記憶済の他方の撮像画像（例えば第２撮像画像）を表示してもよい。携帯端末６０は、記憶部に記憶済の第１撮像画像の一部を表示してもよい。記憶部に記憶済の第１撮像画像の一部とは、記憶部に記憶済の複数の第１撮像画像のうちの一部（時間的に一部）、又は、記憶部に記憶済の一の撮像画像の一部の領域（撮像領域的に一部）である。第２撮像画像についても同様である。
【0019】
携帯端末６０は、第１撮像画像を表示部に表示することや記憶部に記憶することに代えて第１撮像画像を外部（例えば、クラウドサーバ２０、取引状況管理装置４０、精算装置５０）に送信してもよい。携帯端末６０は、現在取得している第１撮像画像（一部の撮像画像であってもよい）を外部に送信してもよいし、既に取得した第１撮像画像（記憶部に記憶済の第１撮像画像。一部の撮像画像であってもよい）を外部に送信してもよい。第２撮像画像についても同様である。
【0020】
携帯端末６０（ＣＰＵ）は、２つの撮像部（第１撮像部、第２撮像部）を並列的（同時）に制御し、夫々の撮像画像（第１撮像画像、第２撮像画像）を並列的に処理（出力、画像処理）可能である。
【0021】
（画像処理機能）
携帯端末６０（ＣＰＵ）は、撮像画像内のオブジェクトの抽出やパターン認識技術等を用いた画像処理機能（画像認識機能）を有する。
携帯端末６０（ＣＰＵ）は、撮像画像内のオブジェクトの抽出やパターン認識技術等を用いた画像処理機能（画像認識機能）を有する。
【0022】
（翳し動作検出機能）
例えば、携帯端末６０は、第１撮像画像から翳し動作（操作者が第１撮像部の前方に商品を翳す動作。スキャン動作とも称する）を検出する翳し動作検出機能を有する。なお、翳す（かざす）とは、例えば「スマホをかざす」等と同様、手に持ってどこかに位置させることであり、商品をスキャンするときの動作（ホルダ部７２と買物籠８０との間の空間に携帯端末６０を位置させる動作）である。つまり、上にあげる動作や覆う動作や光を遮る動作でなくてもよい。翳し動作検出機能は、例えば、第１撮像画像の周縁部において手、商品等が出現したか否かや第１撮像画像においてバーコードらしきものを新たに認識したか否かに基づいて、翳し動作を検出するものであってもよい。つまり、携帯端末６０は、翳し動作検出機能によって、例えば、第１撮像画像の周縁部において手、商品等が出現したか否かや第１撮像画像においてバーコードらしきものを新たに認識したか否かに基づいて、翳し動作を検出してもよい。なお、携帯端末６０は、第１撮像画像を出力（表示、記憶、送信）しつつ、翳し動作検出機能を有効化してもよい（働かせてもよい）。
例えば、携帯端末６０は、第１撮像画像から翳し動作（操作者が第１撮像部の前方に商品を翳す動作。スキャン動作とも称する）を検出する翳し動作検出機能を有する。なお、翳す（かざす）とは、例えば「スマホをかざす」等と同様、手に持ってどこかに位置させることであり、商品をスキャンするときの動作（ホルダ部７２と買物籠８０との間の空間に携帯端末６０を位置させる動作）である。つまり、上にあげる動作や覆う動作や光を遮る動作でなくてもよい。翳し動作検出機能は、例えば、第１撮像画像の周縁部において手、商品等が出現したか否かや第１撮像画像においてバーコードらしきものを新たに認識したか否かに基づいて、翳し動作を検出するものであってもよい。つまり、携帯端末６０は、翳し動作検出機能によって、例えば、第１撮像画像の周縁部において手、商品等が出現したか否かや第１撮像画像においてバーコードらしきものを新たに認識したか否かに基づいて、翳し動作を検出してもよい。なお、携帯端末６０は、第１撮像画像を出力（表示、記憶、送信）しつつ、翳し動作検出機能を有効化してもよい（働かせてもよい）。
【0023】
バーコードらしきものとは、例えば、輪郭が概ね矩形（長方形）であって全体として縞模様状のパターンを有するオブジェクトである。なお、輪郭が概ね矩形であって全体として縞模様状のパターンを有し、長辺の下部に数字が存在するオブジェクトをバーコードらしきものとしてもよい。携帯端末６０が、第１撮像画像においてバーコードらしきものを新たに認識したか否かを判断する方法は特に限定しないが、例えば、予めバーコードらしきものを集めたサンプル（パターン）を用意（記憶部に記憶）しておき、携帯端末６０は、新たに認識したオブジェクトと上記サンプルとを比較し、第１撮像画像においてバーコードらしきものを新たに認識したか否かを判断してもよい。上記サンプルには、例えば、斜めに撮像された（一端側と他端側とでカメラ迄の距離が異なる）バーコードのオブジェクトや、一部又は全部に焦点が合っていないバーコードのオブジェクトや、一部又は全部が反射、白飛び、又は、黒つぶれしたバーコードのオブジェクトや、一部又は全部に皺や汚れが生じているバーコードのオブジェクトや、顧客の指等によって少なくとも一部が覆い隠されているバーコードのオブジェクトのうちの少なくとも１つを含むものであってもよい。
【0024】
携帯端末６０は、翳し動作検出機能によって翳し動作を検出した場合、翳し動作を検出した旨の情報（翳し動作を検出している旨の情報）を出力する。例えば、携帯端末６０は、翳し動作を検出した場合、翳し動作を検出した旨の情報（例えば、画像、メッセージ等）を表示部に表示する。携帯端末６０は、表示部への表示に代えて又は加えて、翳し動作を検出した旨の情報（例えば、フラグ）を記憶部に記憶してもよい。携帯端末６０は、表示部への表示や記憶部への記憶に代えて又は加えて、翳し動作を検出した旨の情報を外部に送信してもよい。携帯端末６０は、上記に代えて又は加えて、音声（翳し動作の検出時用の音声）を出力（例えば０．２秒間出力）してもよい。
【0025】
（確認動作検出機能）
また、携帯端末６０は、第２撮像画像から翳し確認動作を検出する確認動作検出機能を有する。翳し確認動作とは、バーコードを読み取らせるために操作者が自身の翳し動作（翳し方）を調整、確認する動作である。確認動作検出機能は、例えば、第２撮像画像内の操作者の表情や操作者の顔の向きや目線の方向等に基づいて、翳し確認動作を検出するものであってもよい。つまり、携帯端末６０は、確認動作検出機能によって、例えば、第２撮像画像内の操作者の表情や操作者の顔の向きや目線の方向等に基づいて、翳し確認動作を検出してもよい。携帯端末６０は、第２撮像画像から、人の顔の輪郭、目（全体）、瞳、鼻（全体）、鼻の穴、口等の各パーツをオブジェクトとして認識し、夫々が撮像されているか否かや、夫々の位置やサイズや位置関係等に基づいて、顔の向きや目線の方向を判断してもよい。なお、携帯端末６０は、第２撮像画像を出力（表示、記憶、送信）しつつ、確認動作検出機能を有効化してもよい。
また、携帯端末６０は、第２撮像画像から翳し確認動作を検出する確認動作検出機能を有する。翳し確認動作とは、バーコードを読み取らせるために操作者が自身の翳し動作（翳し方）を調整、確認する動作である。確認動作検出機能は、例えば、第２撮像画像内の操作者の表情や操作者の顔の向きや目線の方向等に基づいて、翳し確認動作を検出するものであってもよい。つまり、携帯端末６０は、確認動作検出機能によって、例えば、第２撮像画像内の操作者の表情や操作者の顔の向きや目線の方向等に基づいて、翳し確認動作を検出してもよい。携帯端末６０は、第２撮像画像から、人の顔の輪郭、目（全体）、瞳、鼻（全体）、鼻の穴、口等の各パーツをオブジェクトとして認識し、夫々が撮像されているか否かや、夫々の位置やサイズや位置関係等に基づいて、顔の向きや目線の方向を判断してもよい。なお、携帯端末６０は、第２撮像画像を出力（表示、記憶、送信）しつつ、確認動作検出機能を有効化してもよい。
【0026】
携帯端末６０は、確認動作検出機能によって翳し確認動作を検出した場合には、翳し確認動作を検出した旨（翳し確認動作を検出している旨）の情報を出力する。例えば、携帯端末６０は、翳し確認動作を検出した場合、翳し確認動作を検出した旨の情報（例えば、画像、メッセージ等）を表示部に表示する。携帯端末６０は、表示部への表示に代えて又は加えて、翳し確認動作を検出した旨の情報（例えば、フラグ）を記憶部に記憶してもよい。携帯端末６０は、表示部への表示や記憶部への記憶に代えて又は加えて、翳し確認動作を検出した旨の情報を外部に送信してもよい。携帯端末６０は、上記に代えて又は加えて、音声（翳し確認動作の検出時用の音声）を出力（例えば０．２秒間出力）してもよい。
【0027】
（コード取得機能）
また、携帯端末６０は、第１撮像画像からコード（例えば、ＪＡＮコード等のバーコード）を読み取る（商品コードを取得する）コード取得機能（コード認識機能、スキャナ機能）を有する。コード取得機能は、例えば、オブジェクトとしてバーコードを認識し、商品コードを取得するものであってもよい。つまり、携帯端末６０は、コード取得機能によって、例えば、オブジェクトとしてバーコードを認識し、商品コードを取得してもよい。なお、携帯端末６０は、第１撮像画像を出力しつつ、コード取得機能を有効化してもよい。
また、携帯端末６０は、第１撮像画像からコード（例えば、ＪＡＮコード等のバーコード）を読み取る（商品コードを取得する）コード取得機能（コード認識機能、スキャナ機能）を有する。コード取得機能は、例えば、オブジェクトとしてバーコードを認識し、商品コードを取得するものであってもよい。つまり、携帯端末６０は、コード取得機能によって、例えば、オブジェクトとしてバーコードを認識し、商品コードを取得してもよい。なお、携帯端末６０は、第１撮像画像を出力しつつ、コード取得機能を有効化してもよい。
【0028】
携帯端末６０は、コード取得機能によって商品コードを取得した場合には、取得した商品コード等をクラウドサーバ２０に送信する。携帯端末６０は、商品コードを取得したときに翳し動作を検出した旨の情報や翳し確認動作を検出した旨の情報を表示している場合には、表示中の情報（翳し動作を検出した旨の情報、翳し確認動作を検出した旨の情報）を消去する。携帯端末６０は、商品コードを取得した場合、確認動作検出機能を無効化してもよい。
【0029】
携帯端末６０（ＣＰＵ）は、翳し動作検出機能、確認動作検出機能、コード取得機能のうちの２つ又は３つを並列的に制御可能である。例えば、携帯端末６０は、翳し動作検出機能及びコード取得機能を有効化しているときに翳し動作検出機能によって翳し動作を検出した場合、翳し動作検出機能及びコード取得機能に加え、確認動作検出機能を有効化してもよい。なお、携帯端末６０は、確認動作検出機能を有効化するタイミング（つまり翳し動作検出機能によって翳し動作を検出したタイミング）で第２撮像部による撮像を開始してもよいし、確認動作検出機能を有効化するタイミングよりも前のタイミング（例えば、第１撮像部による撮像を開始タイミング）で第２撮像部による撮像を開始してもよい。
【0030】
携帯端末６０は、翳し動作検出機能を有効化している時間や、翳し動作検出機能によって翳し動作を検出している時間（第１撮像画像の周縁部から出現した手や商品等を認識している時間、新たに出現した商品のバーコードらしきものを認識している時間）を計時（カウント）してもよい。携帯端末６０は、翳し動作検出機能によって翳し動作を検出している時間のうち商品のバーコードらしきものを認識している時間を計時してもよい。
【0031】
携帯端末６０は、確認動作検出機能を有効化している時間や、確認動作検出機能によって翳し確認動作を検出している時間を計時してもよい。携帯端末６０は、翳し動作検出機能によって翳し動作を検出し、かつ確認動作検出機能によって翳し確認動作を検出している時間（携帯端末６０が、顧客によって商品が翳され、かつ顧客が翳し方を調整、確認していると判断している時間）を計時してもよい。携帯端末６０は、翳し動作検出機能によって翳し動作を検出している時間のうち商品のバーコードらしきものを認識し、かつ確認動作検出機能によって翳し確認動作を検出している時間（携帯端末６０が、顧客によって商品のバーコード部分が翳され、かつ顧客が翳し方を調整、確認していると判断している時間）を計時してもよい。
【0032】
（翳し動作適否判断機能）
携帯端末６０は、画像処理機能（例えば、翳し動作検出機能、翳し確認動作、コード取得機能）に加えて他の機能も有する。例えば、携帯端末６０は、操作者が行った翳し動作が、携帯端末６０が商品コードを取得するのに足りるものであったか否か、つまり操作者が行った翳し動作の適否（良否）を判断（判定、評価）する翳し動作適否判断機能（翳し動作適否判定機能、翳し動作良否評価機能とも称する）を有する。
携帯端末６０は、画像処理機能（例えば、翳し動作検出機能、翳し確認動作、コード取得機能）に加えて他の機能も有する。例えば、携帯端末６０は、操作者が行った翳し動作が、携帯端末６０が商品コードを取得するのに足りるものであったか否か、つまり操作者が行った翳し動作の適否（良否）を判断（判定、評価）する翳し動作適否判断機能（翳し動作適否判定機能、翳し動作良否評価機能とも称する）を有する。
【0033】
翳し動作適否判断機能は、確認動作検出機能による翳し確認動作の検出結果を用いて、操作者が行った翳し動作の適否を判断するものである。翳し動作適否判断機能は、確認動作検出機能による翳し確認動作の検出結果、及び、翳し動作検出機能による翳し動作の検出結果を用いて、操作者が行った翳し動作の適否を判断するものであってもよい。つまり、携帯端末６０は、翳し動作適否判断機能によって、確認動作検出機能による翳し確認動作の検出結果等を用いて、操作者が行った翳し動作の適否を判断する。
【0034】
翳し動作適否判断機能の内容、つまり、携帯端末６０が、操作者が行った翳し動作の適否を判断する方法は、例えば、下記の方法Ａ～方法Ｇのうちの何れかであってもよい。
（方法Ａ）携帯端末６０は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間（操作者が自身の翳し動作を調整、確認している時間）が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｂ）携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出している時間（顧客が商品を翳している時間）が所定の第１基準時間（例えば５秒）以上であり、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の第２基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出している時間が第１基準時間未満であった場合、又は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が第２基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｃ）携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出し、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｄ）携帯端末６０は、翳し動作検出機能によって第１撮像画像においてバーコードらしきものを新たに認識している時間が所定の第１基準時間（例えば５秒）以上であり、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の第２基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、第１撮像画像においてバーコードらしきものを新たに認識している時間が第１基準時間未満であった場合、又は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が第２基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｅ）携帯端末６０は、翳し動作検出機能によって第１撮像画像においてバーコードらしきものを新たに認識し、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｆ）第１撮像画像から翳し動作を検出している時間に対する、第２撮像画像から翳し確認動作を検出している時間の割合（比率）が、所定の基準値（例えば６０％）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記割合が所定の基準値未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｇ）第１撮像画像からバーコードらしきものを新たに認識している時間に対する、第２撮像画像から翳し確認動作を検出している時間の割合が、所定の基準値（例えば５０％）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記割合が所定の基準値未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ａ）携帯端末６０は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間（操作者が自身の翳し動作を調整、確認している時間）が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｂ）携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出している時間（顧客が商品を翳している時間）が所定の第１基準時間（例えば５秒）以上であり、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の第２基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出している時間が第１基準時間未満であった場合、又は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が第２基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｃ）携帯端末６０は、翳し動作検出機能によって第１撮像画像から翳し動作を検出し、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｄ）携帯端末６０は、翳し動作検出機能によって第１撮像画像においてバーコードらしきものを新たに認識している時間が所定の第１基準時間（例えば５秒）以上であり、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の第２基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、第１撮像画像においてバーコードらしきものを新たに認識している時間が第１基準時間未満であった場合、又は、確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が第２基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｅ）携帯端末６０は、翳し動作検出機能によって第１撮像画像においてバーコードらしきものを新たに認識し、かつ確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間が所定の基準時間（例えば３秒）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記時間が所定の基準時間未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｆ）第１撮像画像から翳し動作を検出している時間に対する、第２撮像画像から翳し確認動作を検出している時間の割合（比率）が、所定の基準値（例えば６０％）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記割合が所定の基準値未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
（方法Ｇ）第１撮像画像からバーコードらしきものを新たに認識している時間に対する、第２撮像画像から翳し確認動作を検出している時間の割合が、所定の基準値（例えば５０％）以上であった場合には、操作者が行った翳し動作は適切であったと判断する。携帯端末６０は、上記割合が所定の基準値未満であった場合には、操作者が行った翳し動作は適切でなかったと判断する。
【0035】
図２は、携帯端末６０を取り付け可能なカート７０について説明する説明図である。カート７０は、図２に示すように、買物籠８０（非図示）を載置可能な買物籠載置部７１、携帯端末６０を取り付け可能なホルダ部７２を有する。携帯端末６０は、基本的にはカート７０に取り付けられた状態で使用されると説明したが、具体的にはホルダ部７２に取り付けられた状態で使用される。
【0036】
図２に示した例では、買物籠載置部７１には買物籠８０が載置されておらず、ホルダ部７２には携帯端末６０が取り付けられていないが、来店した顧客は、買物籠載置部７１に買物籠８０を載置し、ホルダ部７２に携帯端末６０を取り付ける。また、カート７０には、精算時において店員による確認が必要となる商品を一時的に保管するための専用バッグ９０が取り付けられている。
【0037】
携帯端末６０は、ホルダ部７２に取り付けられている状態において、第１撮像部による撮像が行われた場合、ホルダ部７２の位置から買物籠８０側を見下ろした方向の第１撮像画像を取得する。携帯端末６０は、ホルダ部７２に取り付けられている状態において、第２撮像部による撮像が行われた場合、ホルダ部７２の位置から天井側を見上げた方向の第２撮像画像を取得する。
【0038】
（１品目の商品コードを取得する迄の流れ（概要））
１品目の商品コードを取得する迄の基本的な流れは以下の通りである。
（１）顧客は、ホルダ部７２に携帯端末６０を取り付けた後（又はホルダ部７２に携帯端末６０を取り付ける前）に、サービス開始画面（メニュー画面。非図示）を表示させる操作を行う。例えば、顧客は、会員登録したときに生成されるアイコンを操作する。
（２）携帯端末６０は、サービス開始画面を表示する。
（３）顧客は、サービス開始画面において第２撮像部（インカメラ）による撮像を許諾する旨の操作を行う。当該操作は、事前設定や前回操作に基づいて省略してもよい。
（４）顧客は、サービス開始画面において買物開始指示ボタンを操作する。
（５）携帯端末６０は、初期登録画面（１品目の商品の登録前の登録画面。図４（Ａ）の登録画面）を表示する。また、携帯端末６０は、翳し動作検出機能及びコード取得機能を有効化する。なお、携帯端末６０は、会計指示ボタン（後述）の操作後に、翳し動作検出機能及びコード取得機能を無効化してもよい。
（６）顧客は、商品の陳列エリア（陳列棚）にて所望の商品（購入する商品）を見つけた場合、該商品に付されたバーコードを読み取らせるために、該商品をホルダ部７２の下方（ホルダ部７２と買物籠８０との間の空間）に移動させる。つまり、顧客は、購入する商品を第１撮像部（アウトカメラ）に撮像されるように、ホルダ部７２の下方に翳す。
（７）携帯端末６０は、顧客による商品を翳す動作を検出する（翳し動作検出機能）。また、携帯端末６０は、確認動作検出機能を動作させる（有効化する）。
（８）携帯端末６０は、当該商品の商品コードを取得する（コード取得機能）。また、携帯端末６０は、確認動作検出機能を無効化する。
１品目の商品コードを取得する迄の基本的な流れは以下の通りである。
（１）顧客は、ホルダ部７２に携帯端末６０を取り付けた後（又はホルダ部７２に携帯端末６０を取り付ける前）に、サービス開始画面（メニュー画面。非図示）を表示させる操作を行う。例えば、顧客は、会員登録したときに生成されるアイコンを操作する。
（２）携帯端末６０は、サービス開始画面を表示する。
（３）顧客は、サービス開始画面において第２撮像部（インカメラ）による撮像を許諾する旨の操作を行う。当該操作は、事前設定や前回操作に基づいて省略してもよい。
（４）顧客は、サービス開始画面において買物開始指示ボタンを操作する。
（５）携帯端末６０は、初期登録画面（１品目の商品の登録前の登録画面。図４（Ａ）の登録画面）を表示する。また、携帯端末６０は、翳し動作検出機能及びコード取得機能を有効化する。なお、携帯端末６０は、会計指示ボタン（後述）の操作後に、翳し動作検出機能及びコード取得機能を無効化してもよい。
（６）顧客は、商品の陳列エリア（陳列棚）にて所望の商品（購入する商品）を見つけた場合、該商品に付されたバーコードを読み取らせるために、該商品をホルダ部７２の下方（ホルダ部７２と買物籠８０との間の空間）に移動させる。つまり、顧客は、購入する商品を第１撮像部（アウトカメラ）に撮像されるように、ホルダ部７２の下方に翳す。
（７）携帯端末６０は、顧客による商品を翳す動作を検出する（翳し動作検出機能）。また、携帯端末６０は、確認動作検出機能を動作させる（有効化する）。
（８）携帯端末６０は、当該商品の商品コードを取得する（コード取得機能）。また、携帯端末６０は、確認動作検出機能を無効化する。
【0039】
（精算装置５０）
精算装置５０は、顧客によって使用される。具体的には、精算装置５０は、携帯端末６０によって登録された商品を顧客の操作に基づいて精算する。つまり、販売システム１は、携帯端末６０を使用して顧客自ら商品を登録し、精算装置５０を使用して顧客自ら精算するといった態様のサービスを提供する。
精算装置５０は、顧客によって使用される。具体的には、精算装置５０は、携帯端末６０によって登録された商品を顧客の操作に基づいて精算する。つまり、販売システム１は、携帯端末６０を使用して顧客自ら商品を登録し、精算装置５０を使用して顧客自ら精算するといった態様のサービスを提供する。
【0040】
図示は省略するが、精算装置５０は、ＣＰＵ、記憶部、表示部、スキャナ部、カード決済部（非現金決済部）、釣銭機（現金決済部）、印刷部、音声出力部、撮像部、通信部及びサインポールを備える。なお、精算装置５０は、１以上の種々の操作部材からなるキー操作部や、人の存在を検出（検知、認識）するセンサ（人感センサ等）等を更に備えてもよい。
【0041】
ＣＰＵは、中央演算処理装置であって、記憶部に記憶されているプログラムを読み出して実行することにより、精算装置５０全体を制御する。記憶部は、種々の情報を記憶する。記憶部は、１以上の種々の記憶部材の総称である。表示部は、例えば、液晶ディスプレイであって、種々の情報を表示する。表示部は、表示画面への操作を受付可能なタッチパネルとして構成される。スキャナ部は、種々のコード（例えば、精算用コード（後述）、商品コード、品券類やポイントカードや店員の名札等に付された店員コード）をスキャンし、夫々のコードを読み取る。
【0042】
カード決済部は、種々のカード（クレジットカード、交通系カード等のプリペイドカード、デビット支払時におけるキャッシュカード、ポイント支払時におけるポイントカード等）による決済機構である。釣銭機は、現金による決済機構である。印刷部は、種々の媒体（レシート等）を印刷、発行する。音声出力部は、音声（例えば、確認音、警告音、音声ガイダンス等）を出力する。撮像部（カメラ）は、撮像画像（静止画像、動画像）を取得する。通信部は、１以上の種々の通信部材の総称である。サインポールは、先端部分に発光部を有し、発光部の発光態様によって、種々の情報（店員呼出、動作状況等）を報知する。
【0043】
（本部サーバ１０）
本部サーバ１０は、販売システム１全体を管理するサーバである。本部サーバ１０は、例えば、種々の情報（例えば、商品マスタファイル（商品マスタ）等）や、種々の実績情報（例えば、売上実績情報、商品販売実績情報等）を記憶する。また、本部サーバ１０は、例えば、クラウドサーバ２０やストアコントローラ３０に種々の情報（例えば、商品マスタ等）を供給する。商品マスタは、商品コードに対応付けて商品名や価格等を記憶するファイルである。図示は省略するが、本部サーバ１０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。本部サーバ１０は、複数台のサーバから構成されてもよい。
本部サーバ１０は、販売システム１全体を管理するサーバである。本部サーバ１０は、例えば、種々の情報（例えば、商品マスタファイル（商品マスタ）等）や、種々の実績情報（例えば、売上実績情報、商品販売実績情報等）を記憶する。また、本部サーバ１０は、例えば、クラウドサーバ２０やストアコントローラ３０に種々の情報（例えば、商品マスタ等）を供給する。商品マスタは、商品コードに対応付けて商品名や価格等を記憶するファイルである。図示は省略するが、本部サーバ１０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。本部サーバ１０は、複数台のサーバから構成されてもよい。
【0044】
（クラウドサーバ２０）
クラウドサーバ２０は、主に携帯端末６０による商品の登録をサポートするサーバである。クラウドサーバ２０は、種々の情報（例えば、商品マスタ、取引情報（カート情報）等）を記憶する。また、クラウドサーバ２０は、例えば、携帯端末６０や精算装置５０に種々の情報（例えば、画面情報等）を供給する。図示は省略するが、クラウドサーバ２０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。クラウドサーバ２０は、複数台のサーバから構成されてもよい。
クラウドサーバ２０は、主に携帯端末６０による商品の登録をサポートするサーバである。クラウドサーバ２０は、種々の情報（例えば、商品マスタ、取引情報（カート情報）等）を記憶する。また、クラウドサーバ２０は、例えば、携帯端末６０や精算装置５０に種々の情報（例えば、画面情報等）を供給する。図示は省略するが、クラウドサーバ２０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。クラウドサーバ２０は、複数台のサーバから構成されてもよい。
【0045】
（ストアコントローラ３０）
ストアコントローラ３０は、主に店舗内に設置されている装置（取引状況管理装置４０、精算装置５０）と店舗外に設置されている装置（本部サーバ１０、クラウドサーバ２０）との間における情報の通信を担当するサーバである。図示は省略するが、ストアコントローラ３０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。
ストアコントローラ３０は、主に店舗内に設置されている装置（取引状況管理装置４０、精算装置５０）と店舗外に設置されている装置（本部サーバ１０、クラウドサーバ２０）との間における情報の通信を担当するサーバである。図示は省略するが、ストアコントローラ３０は、少なくとも、ＣＰＵ、記憶部及び通信部を備える。
【0046】
（取引状況管理装置４０）
取引状況管理装置４０は、店舗内に設置されている装置（ストアコントローラ３０、精算装置５０）を管理（処理状況、動作状況等を監視、制御等）する装置（例えば、パーソナルコンピュータ）である。図示は省略するが、取引状況管理装置４０は、少なくとも、ＣＰＵ、記憶部、表示部（タッチパネルとして構成してもよい）、操作部（キーボード、マウス等）、通信部を備える。取引状況管理装置４０は、印刷装置（非図示）と通信可能であり、種々の情報を印刷装置から出力してもよい。
取引状況管理装置４０は、店舗内に設置されている装置（ストアコントローラ３０、精算装置５０）を管理（処理状況、動作状況等を監視、制御等）する装置（例えば、パーソナルコンピュータ）である。図示は省略するが、取引状況管理装置４０は、少なくとも、ＣＰＵ、記憶部、表示部（タッチパネルとして構成してもよい）、操作部（キーボード、マウス等）、通信部を備える。取引状況管理装置４０は、印刷装置（非図示）と通信可能であり、種々の情報を印刷装置から出力してもよい。
【0047】
また、取引状況管理装置４０は、店舗内に設置されている装置の管理に加え、本部サーバ１０等にアクセスし、本部サーバ１０等に記憶されている商品マスタをメンテナンス（商品の設定等）してもよいし、クラウドサーバ２０にアクセスし、クラウドサーバ２０に記憶されている取引情報等を表示又は修正してもよい。
【0048】
（携帯端末６０、クラウドサーバ２０、精算装置５０の動作の概要）
図３は、携帯端末６０、クラウドサーバ２０、精算装置５０の動作の概要を説明するシーケンス図である。図３のシーケンス図は、携帯端末６０が、初期登録画面（例えば図４（Ａ）参照）を表示してから、精算装置５０が商品一覧画面（例えば図９参照）を表示する迄の、各装置（携帯端末６０、クラウドサーバ２０、精算装置５０）の動作を示している。なお、図３のシーケンス図は、主に各装置の連携を説明するものであるため、図３のシーケンス図では、上述した携帯端末６０の画像処理機能（翳し動作検出機能、確認動作検出機能、コード取得機能）等に関係する部分の説明を省略している。
図３は、携帯端末６０、クラウドサーバ２０、精算装置５０の動作の概要を説明するシーケンス図である。図３のシーケンス図は、携帯端末６０が、初期登録画面（例えば図４（Ａ）参照）を表示してから、精算装置５０が商品一覧画面（例えば図９参照）を表示する迄の、各装置（携帯端末６０、クラウドサーバ２０、精算装置５０）の動作を示している。なお、図３のシーケンス図は、主に各装置の連携を説明するものであるため、図３のシーケンス図では、上述した携帯端末６０の画像処理機能（翳し動作検出機能、確認動作検出機能、コード取得機能）等に関係する部分の説明を省略している。
【0049】
なお、携帯端末６０は、初期登録画面を表示する際に（買物開始指示ボタンの操作に基づいて）、当該携帯端末６０による取引（又は当該取引の取引識別情報）を識別する取引識別情報をクラウドサーバ２０から取得（受信）しているものとする。
【0050】
ステップＳ１：携帯端末６０は、顧客の翳し動作によって商品コードを取得する。
ステップＳ２：携帯端末６０は、当該取引の取引識別情報とステップＳ１にて取得した商品コードとをクラウドサーバ２０に送信する。
ステップＳ２：携帯端末６０は、当該取引の取引識別情報とステップＳ１にて取得した商品コードとをクラウドサーバ２０に送信する。
【0051】
ステップＳ３：クラウドサーバ２０は、取引識別情報と商品コードとを携帯端末６０から受信する。
ステップＳ４：クラウドサーバ２０は、当該取引（ステップＳ３で受信した取引識別情報に対応する取引）の取引情報を当該商品コードに基づいて更新する。つまり、クラウドサーバ２０は、ステップＳ３で受信した商品コードに対応する商品名や価格を商品マスタから取得（抽出）し、当該取引の取引情報に記憶する。
ステップＳ５：クラウドサーバ２０は、更新後の取引情報を携帯端末６０に送信する。例えば、クラウドサーバ２０は、更新後の取引情報の内容を反映した登録画面（例えば図５（Ａ）参照）を生成し、該登録画面の画面情報を携帯端末６０に送信する。
ステップＳ４：クラウドサーバ２０は、当該取引（ステップＳ３で受信した取引識別情報に対応する取引）の取引情報を当該商品コードに基づいて更新する。つまり、クラウドサーバ２０は、ステップＳ３で受信した商品コードに対応する商品名や価格を商品マスタから取得（抽出）し、当該取引の取引情報に記憶する。
ステップＳ５：クラウドサーバ２０は、更新後の取引情報を携帯端末６０に送信する。例えば、クラウドサーバ２０は、更新後の取引情報の内容を反映した登録画面（例えば図５（Ａ）参照）を生成し、該登録画面の画面情報を携帯端末６０に送信する。
【0052】
ステップＳ６：携帯端末６０は、画面情報（取引情報）をクラウドサーバ２０から受信する。
ステップＳ７：携帯端末６０は、ステップＳ６で受信した画面情報に基づいて登録画面を表示する。具体的には、１品目の商品の場合には、携帯端末６０は、初期登録画面に代えて当該１品目の商品を反映した登録画面を表示し、２品目以降の商品の場合には、携帯端末６０は、当該２品目以降の商品を反映した登録画面を表示する。
ステップＳ７：携帯端末６０は、ステップＳ６で受信した画面情報に基づいて登録画面を表示する。具体的には、１品目の商品の場合には、携帯端末６０は、初期登録画面に代えて当該１品目の商品を反映した登録画面を表示し、２品目以降の商品の場合には、携帯端末６０は、当該２品目以降の商品を反映した登録画面を表示する。
【0053】
ステップＳ７の後には、顧客の翳し動作によって商品コードを取得する場合（ステップＳ１に戻る場合）と、顧客の会計指示ボタン（例えば会計指示ボタンＢＴ５０。図５（Ａ）参照）の操作によって精算用コード（後述）を生成、表示する場合（ステップＳ８に進む場合）と、がある。つまり、ステップＳ１～Ｓ７は、商品コードを取得する毎、繰り返し実行される。
【0054】
ステップＳ８：携帯端末６０は、顧客の会計指示ボタンの操作によって精算用コード（例えば精算用コードＧＡ６０。図５（Ｂ）参照）を生成し、表示する。精算用コードとは、精算用情報をコード化（例えば２次元コード化）したものである。精算用情報とは、当該取引の取引情報をクラウドサーバ２０から取得するために必要な情報（例えば、当該取引を識別する取引識別情報）である。
【0055】
顧客は、携帯端末６０に表示されている精算用コードを精算装置５０に読み取らせる。 なお、精算装置５０は、待機状態において、精算用コードの読取（読取動作）を案内する案内画面を表示しているものとする。
【0056】
ステップＳ９：精算装置５０は、顧客の読取動作に基づいて、携帯端末６０に表示されている精算用コードを読み取る。つまり、精算装置５０は、当該取引を識別する取引識別情報を取得する。
ステップＳ１０：精算装置５０は、当該取引の取引情報をクラウドサーバ２０に要求する。例えば、精算装置５０は、当該取引を識別する取引識別情報を含む要求情報（取引情報取得要求情報）をクラウドサーバ２０に送信する。
ステップＳ１０：精算装置５０は、当該取引の取引情報をクラウドサーバ２０に要求する。例えば、精算装置５０は、当該取引を識別する取引識別情報を含む要求情報（取引情報取得要求情報）をクラウドサーバ２０に送信する。
【0057】
ステップＳ１１：クラウドサーバ２０は、要求（取引情報取得要求情報）を受信する。
ステップＳ１２：クラウドサーバ２０は、当該取引（ステップＳ１１で受信した取引情報取得要求情報に含まれる取引識別情報に対応する取引）の取引情報を精算装置５０に送信する。例えば、クラウドサーバ２０は、当該取引の取引情報の内容を反映した商品一覧画面（図９参照）を生成し、該商品一覧画面の画面情報を精算装置５０に送信する。
ステップＳ１２：クラウドサーバ２０は、当該取引（ステップＳ１１で受信した取引情報取得要求情報に含まれる取引識別情報に対応する取引）の取引情報を精算装置５０に送信する。例えば、クラウドサーバ２０は、当該取引の取引情報の内容を反映した商品一覧画面（図９参照）を生成し、該商品一覧画面の画面情報を精算装置５０に送信する。
【0058】
ステップＳ１３：精算装置５０は、携帯端末６０は、画面情報（取引情報）をクラウドサーバ２０から受信する。
ステップＳ１４：精算装置５０は、ステップＳ１３で受信した画面情報に基づいて商品一覧画面を表示する。
ステップＳ１４：精算装置５０は、ステップＳ１３で受信した画面情報に基づいて商品一覧画面を表示する。
【0059】
（携帯端末６０の表示例）
図４～図６は、携帯端末６０の表示例である。携帯端末６０は、既にカート７０（ホルダ部７２）に取り付けられているものとする。なお、ホルダ部７２の位置から買物籠８０を見下ろした方向の撮像画像には、翳し動作が行われていないときには買物籠８０や既に買物籠８０に投入された商品等が撮像され、翳し動作が行われているときには当該翳し動作の対象商品と当該対象商品の後方に買物籠８０や既に買物籠８０に投入された商品等が撮像されるが、図４～図６では、簡略化のため、翳し動作の対象商品以外のもの（買物籠８０や既に買物籠８０に投入された商品等）については、図示を省略している。
図４～図６は、携帯端末６０の表示例である。携帯端末６０は、既にカート７０（ホルダ部７２）に取り付けられているものとする。なお、ホルダ部７２の位置から買物籠８０を見下ろした方向の撮像画像には、翳し動作が行われていないときには買物籠８０や既に買物籠８０に投入された商品等が撮像され、翳し動作が行われているときには当該翳し動作の対象商品と当該対象商品の後方に買物籠８０や既に買物籠８０に投入された商品等が撮像されるが、図４～図６では、簡略化のため、翳し動作の対象商品以外のもの（買物籠８０や既に買物籠８０に投入された商品等）については、図示を省略している。
【0060】
図４（Ａ）は、翳し動作が行われていない状態の登録画面（初期登録画面）である。図４（Ａ）の登録画面（他の登録画面も同様）には、撮像画像表示領域ＨＲ６１０や登録情報表示領域ＨＲ６２０が設けられている。撮像画像表示領域ＨＲ６１０は、主に第１撮像画像（アウトカメラ画像）を表示する領域である。登録情報表示領域ＨＲ６２０は、主に商品の登録情報を表示する領域である。
【0061】
図４（Ｂ）は、図４（Ａ）の場面に続く場面の表示例である。具体的には、図４（Ｂ）は、顧客が商品（○○食パン）を翳し始めた場面の表示例である。携帯端末６０は、顧客による商品の翳し動作を検出した場合、翳し動作を検出した旨の情報を表示する。図４（Ｂ）に示した例では、携帯端末６０は、翳し動作を検出した旨の情報として、かざし中画像ＧＡ０１を表示している。
【0062】
図４（Ｃ）は、図４（Ｂ）の場面に続く場面の表示例である。具体的には、図４（Ｃ）は、顧客が自身の翳し動作を調整、確認し始めた場面の表示例である。携帯端末６０は、顧客の翳し確認動作（翳し動作を調整、確認する動作）を検出した場合、翳し確認動作を検出した旨の情報を表示する。図４（Ｃ）に示した例では、携帯端末６０は、翳し確認動作を検出した旨の情報として、確認中画像ＧＡ０２を表示している。
【0063】
図４（Ｄ）は、図４（Ｃ）の場面に続く場面の表示例である。具体的には、図４（Ｄ）は、翳し確認動作によって撮像画像内の商品のバーコードの位置が図４（Ｃ）の位置よりも読み取り易い位置に移動した場面の表示例である。
【0064】
図５（Ａ）は、図４（Ｄ）の場面に続く場面の表示例である。具体的には、図４（Ａ）は、翳し確認動作によって撮像画像内の商品のバーコードの位置が図４（Ｄ）の位置よりも読み取り易い位置に移動した結果、当該商品のバーコードが読み取られ、当該商品が登録された場面の表示例である。つまり、携帯端末６０は、商品（〇〇食パン）の商品コードを取得し（図３のステップＳ１）、取得した商品コード等をクラウドサーバ２０に送信し（図３のステップＳ２）、該商品の登録情報を登録情報表示領域ＨＲ６２０に表示する（図３のステップＳ７）。
【0065】
図５（Ａ）に示すように、携帯端末６０は、バーコードを読み取った場合、登録情報表示領域ＨＲ６２０に商品の登録情報を表示する。また、携帯端末６０は、バーコードを読み取った場合、かざし中画像ＧＡ０１や確認中画像ＧＡ０２を消去する。また、図５（Ａ）に示すように、携帯端末６０は、商品（１品目の商品）の登録後には、会計指示操作を受け付ける会計指示ボタンＢＴ５０（本例では「お会計へ進む」と表示したボタン）を操作可能に表示する。顧客は、精算（会計）に進む場合（つまり、商品の登録を終える場合）、会計指示ボタンＢＴ５０を操作する。
【0066】
図５（Ｂ）は、例えば図５（Ａ）の場面に続く場面の表示例である。つまり、携帯端末６０は、会計指示ボタンＢＴ５０の操作があった場合、精算用コードＧＡ６０を生成し、図５（Ｂ）に示したような画面（精算用コード表示画面）に表示する。
【0067】
図５（Ｃ）及び図５（Ｄ）は、状況は夫々異なるものの共に、顧客による商品の翳し動作後に商品コードを取得できなかった場面の表示例である。なお、携帯端末６０は、翳し動作があった後に（翳し動作を検出した後に）商品コードを取得することなく翳し動作がなくなった場合（かざし動作を検出しなくなった場合）に、商品の翳し動作後に商品コードを取得できなかったと判断する。携帯端末６０は、翳し動作があった後に商品コードを取得することなく翳し動作がなくなってかつ所定時間内に再度の翳し動作がなかった場合（かざし動作を検出しなくなってから所定時間内にかざし動作を再検出しなかった場合）に、商品の翳し動作後に商品コードを取得できなかったと判断してもよい。
【0068】
図５（Ｃ）は、商品の翳し動作後に商品コードを取得できなかった場面のうち、当該翳し動作が適切であった場合の表示例である。携帯端末６０は、商品の翳し動作後に商品コードを取得できなかったと判断し、かつ当該翳し動作が適切であったと判断した場合には、図５（Ｃ）に示したような小画面ＳＧ１０を表示する。例えば、図４（Ｃ）の場面から、商品の翳し動作後に商品コードを取得できなかったと判断し、かつ当該翳し動作が適切であったと判断した場合、初期登録画面の前面に小画面ＳＧ１０を表示する。
【0069】
図５（Ｄ）は、商品の翳し動作後に商品コードを取得できなかった場面のうち、当該翳し動作が適切でなかった場合の表示例である。携帯端末６０は、商品の翳し動作後に商品コードを取得できなかったと判断し、かつ当該翳し動作が適切でなかったと判断した場合には、図５（Ｄ）に示したような小画面ＳＧ２０を表示する。例えば、図４（Ｂ）の場面から、商品の翳し動作後に商品コードを取得できなかったと判断し、かつ当該翳し動作が適切でなかったと判断した場合、初期登録画面の前面に小画面ＳＧ２０を表示する。
【0070】
つまり、携帯端末６０は、顧客が商品を適切に翳したにも関わらず商品を登録できなかった場合には図５（Ｃ）に示したような小画面ＳＧ１０を表示し、顧客が商品を適切に翳していなかったために商品を登録できなかった場合には図５（Ｄ）に示したような小画面ＳＧ２０を表示する。
【0071】
図５（Ｃ）の小画面ＳＧ１０には、商品（バーコード）のスキャンに失敗した旨を報知するメッセージＭＳ１１と、翳し動作中（スキャン中）の顧客の顔画像ＧＡ１３と、が表示されている。また小画面ＳＧ１０には、ＯＫボタンＢＴ１５が操作可能に表示されている。顔画像ＧＡ１３は、第２撮像部が翳し動作中に撮像した第２撮像画像（又は、該第２撮像画像から顔部分をトリミングした画像）である。顔画像ＧＡ１３内の顧客の顔の向きは略正面（第２撮像部のレンズ方向）であり、目線も略カメラ目線である。
【0072】
【0073】
図５（Ｄ）の小画面ＳＧ２０には、商品のスキャンに失敗した旨を報知するメッセージＭＳ２１（小画面ＳＧ１０のメッセージＭＳ１１と同様）と、翳し方が適切でなかった可能性がある旨を報知するメッセージＭＳ２２と、翳し動作中の顧客の顔画像ＧＡ２３と、が表示されている。また小画面ＳＧ２０には、ＯＫボタンＢＴ２５が操作可能に表示されている。顔画像ＧＡ２３は、第２撮像部が翳し動作中に撮像した第２撮像画像（又は、該第２撮像画像から顔部分をトリミングした画像）である。顔画像ＧＡ２３内の顧客の顔の向きは正面ではなく、目線もカメラ目線ではない。
【0074】
携帯端末６０は、図５（Ｄ）の小画面ＳＧ２０のＯＫボタンＢＴ２５の操作があった場合、小画面ＳＧ２０に代えて図６（Ｂ）に示したような小画面ＳＧ４０（後述）を表示する。なお、携帯端末６０は、小画面ＳＧ３０（図６（Ａ））の登録するボタンＢＴ３６の操作があった場合にも、小画面ＳＧ３０に代えて小画面ＳＧ４０（図６（Ｂ））を表示する。
【0075】
図６（Ａ）は、図５（Ｃ）の場面に続く場面の表示例である。上述したように、携帯端末６０は、小画面ＳＧ１０（図５（Ｃ））のＯＫボタンＢＴ１５の操作があった場合、小画面ＳＧ１０に代えて、図６（Ａ）に示したような小画面ＳＧ３０を表示する。
【0076】
小画面ＳＧ３０には、確認である旨を報知するメッセージＭＳ３１と、商品を登録するか否かを確認するメッセージＭＳ３４と、が表示されている。また、小画面ＳＧ３０には、商品を登録しない旨の登録しないボタンＢＴ３５と、商品を登録する旨の登録するボタンＢＴ３６とが操作可能に表示されている。
【0077】
小画面ＳＧ３０において、顧客は、商品を登録しない場合には、商品を陳列棚に戻し、登録しないボタンＢＴ３５を操作する（登録しないボタンＢＴ３５を操作した後に商品を陳列棚に戻してもよい）。小画面ＳＧ３０において、顧客は、商品を登録する場合には、登録するボタンＢＴ３６を操作する。
【0078】
図６（Ｂ）は、図５（Ｄ）の場面又は図６（Ａ）の場面に続く場面の表示例である。上述したように、携帯端末６０は、小画面ＳＧ２０（図５（Ｄ））のＯＫボタンＢＴ２５の操作があった場合には、小画面ＳＧ２０に代えて図６（Ｂ）に示したような小画面ＳＧ４０を表示し、小画面ＳＧ３０（図６（Ａ））の登録するボタンＢＴ３６の操作があった場合には、小画面ＳＧ３０に代えて図６（Ｂ）に示したような小画面ＳＧ４０を表示する。
【0079】
小画面ＳＧ４０には、専用バッグ９０に商品を入れるべき旨を案内するメッセージＭＳ４１と、専用バッグ９０に商品を入れるべき旨を案内する画像ＧＡ４２と、精算機（精算装置５０）で店員が対応する旨を報知するメッセージＭＳ４４とが表示されている。また、小画面ＳＧ４０には、ＯＫボタンＢＴ４５が操作可能に表示されている。
【0080】
小画面ＳＧ４０において、顧客は、専用バッグ９０に商品を入れ、ＯＫボタンＢＴ４５を操作する（ＯＫボタンＢＴ４５を操作した後に専用バッグ９０に商品を入れてもよい）。
【0081】
携帯端末６０は、小画面ＳＧ３０において、登録しないボタンＢＴ３５の操作があった場合には、小画面ＳＧ３０を消去し、登録画面において、顧客の翳し動作は適切であったが商品のスキャンに失敗した旨の情報を表示する。例えば、携帯端末６０は、顧客の翳し動作は適切であったが商品のスキャンに失敗した旨の情報として、図６（Ｃ）に示すように「スキャン失敗（かざしＯＫ）」を登録情報表示領域ＨＲ６２０に表示する。
【0082】
携帯端末６０は、小画面ＳＧ４０において、ＯＫボタンＢＴ４５の操作があった場合には、小画面ＳＧ４０を消去し、登録画面において、顧客の翳し動作が適切でなく商品のスキャンに失敗した旨の情報を表示する。例えば、携帯端末６０は、顧客の翳し動作が適切でなく商品のスキャンに失敗した旨の情報として、図６（Ｄ）に示すように「スキャン失敗（かざしＮＧ）」を登録情報表示領域ＨＲ６２０に表示する。
【0083】
つまり、スキャンに失敗した場合であって顧客の翳し動作が適切であった場合には、図４（Ｃ）→図６（Ａ）と遷移し、図６（Ａ）において登録しないボタンＢＴ３５の操作があった場合には図６（Ａ）→図４（Ａ）と遷移し、図６（Ａ）において登録するボタンＢＴ３６の操作があった場合には図６（Ａ）→図６（Ｂ）→図６（Ｃ）と遷移する。一方、スキャンに失敗した場合であって顧客の翳し動作が適切でなかった場合には、図４（Ｄ）→図６（Ｂ）→図６（Ｃ）と遷移する。
【0084】
図７及び図８は、携帯端末６０の動作の一例を説明するフローチャートである。図８（Ａ）、図８（Ｂ）のフローチャートは、夫々、図７のフローチャートから遷移する。なお、図７及び図８のフローチャートは、図３のシーケンス図のステップＳ１、ステップＳ２、ステップＳ７、ステップＳ８等に関連する（主にステップＳ１に関連する）。
【0085】
（図７のフローチャート）
図７のフローチャートは、サービス開始画面における買物開始指示ボタンの操作に基づいて開始する。なお、第２撮像部による撮像は許諾されているものとする。また、図示は省略したが、携帯端末６０は、買物開始指示ボタンの操作に基づいて、翳し動作検出機能、コード取得機能を有効化するとともに、店員要確認フラグ（後述）を初期化するものとする。また、図示は省略したが、携帯端末６０は、翳し動作の適否の判断（ステップＳ１３０）に用いる各種の時間（確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間等）を計時するものとする。
図７のフローチャートは、サービス開始画面における買物開始指示ボタンの操作に基づいて開始する。なお、第２撮像部による撮像は許諾されているものとする。また、図示は省略したが、携帯端末６０は、買物開始指示ボタンの操作に基づいて、翳し動作検出機能、コード取得機能を有効化するとともに、店員要確認フラグ（後述）を初期化するものとする。また、図示は省略したが、携帯端末６０は、翳し動作の適否の判断（ステップＳ１３０）に用いる各種の時間（確認動作検出機能によって第２撮像画像から翳し確認動作を検出している時間等）を計時するものとする。
【0086】
ステップＳ１００：携帯端末６０は、顧客の翳し動作を検出したか否かを判断する。つまり、携帯端末６０は、翳し動作検出機能によって顧客の翳し動作を検出し始めたか否かを判断する。翳し動作を検出した場合（ステップＳ１００：ＹＥＳ）、ステップＳ１０１に進む。翳し動作を検出していない場合（ステップＳ１００：ＮＯ）、ステップＳ１００に戻る（ステップＳ１００を繰り返し実行する）。
【0087】
ステップＳ１０１：携帯端末６０は、翳し動作を検出した旨の情報（例えば、図４（Ｂ）のかざし中画像ＧＡ０１）を表示する。続いてステップＳ１０２に進む。
ステップＳ１０２：携帯端末６０は、確認動作検出機能を有効化する。続いてステップＳ１１０に進む。
ステップＳ１０２：携帯端末６０は、確認動作検出機能を有効化する。続いてステップＳ１１０に進む。
【0088】
なお、確認動作検出機能が有効である間（有効化後であって無効化される迄の間）、顧客が翳し動作を調整したり確認したりした場合、図示は省略したが、携帯端末６０は、確認動作検出機能によって翳し確認動作として検出する。携帯端末６０は、翳し確認動作を検出した場合、翳し確認動作を検出した旨の情報（例えば、図４（Ｃ）の確認中画像ＧＡ０２）を表示する。また、携帯端末６０は、翳し確認動作を検出しなくなった場合、翳し確認動作を検出した旨の情報を消去する。また、携帯端末６０は、翳し確認動作を検出した旨の情報の表示中に、翳し動作を検出しなくなった場合（ステップＳ１１０（ＮＯ））、商品コードを取得した場合（ステップＳ２００（ＹＥＳ））、表示中の翳し確認動作を検出した旨の情報を消去する。
【0089】
ステップＳ１１０：携帯端末６０は、顧客の翳し動作を検出中であるか否かを判断する。つまり、携帯端末６０は、ステップＳ１００において検出し始めた翳し動作を継続して検出しているか否かを判断する。翳し動作を検出中である場合（ステップＳ１１０：ＹＥＳ）、ステップＳ２００に進む。翳し動作を検出中でない場合（ステップＳ１１０：ＮＯ）、ステップＳ１１１に進む。
ステップＳ２００：携帯端末６０は、商品コードを取得したか否かを判断する。商品コードを取得した場合（ステップＳ２００：ＹＥＳ）、ステップＳ２１１に進む。商品コードを取得していない場合（ステップＳ２００：ＮＯ）、ステップＳ１１０に戻る。
ステップＳ２００：携帯端末６０は、商品コードを取得したか否かを判断する。商品コードを取得した場合（ステップＳ２００：ＹＥＳ）、ステップＳ２１１に進む。商品コードを取得していない場合（ステップＳ２００：ＮＯ）、ステップＳ１１０に戻る。
【0090】
ステップＳ１１１：携帯端末６０は、翳し動作を検出した旨の情報を消去する。続いてステップＳ１１２に進む。
ステップＳ１１２：携帯端末６０は、確認動作検出機能を無効化する。続いてステップＳ１２０に進む。
ステップＳ１１２：携帯端末６０は、確認動作検出機能を無効化する。続いてステップＳ１２０に進む。
【0091】
ステップＳ１２０：携帯端末６０は、顧客の翳し動作を検出したか否かを判断する。つまり、携帯端末６０は、顧客が翳し動作に復帰したか否かを判断する。翳し動作を検出した場合（ステップＳ１２０：ＹＥＳ）、ステップＳ１０１に戻る。翳し動作を検出していない場合（ステップＳ１２０：ＮＯ）、ステップＳ１２１に進む。
ステップＳ１２１：携帯端末６０は、復帰猶予時間内であるか否かを判断する。復帰猶予時間とは、翳し動作の未検出時（ステップＳ１１０（ＮＯ））から所定時間内（例えば３秒間）である。復帰猶予時間内である場合（ステップＳ１２１：ＹＥＳ）、ステップＳ１２０に戻る。復帰猶予時間内でない場合（ステップＳ１２１：ＮＯ）、ステップＳ１３０に進む。
ステップＳ１２１：携帯端末６０は、復帰猶予時間内であるか否かを判断する。復帰猶予時間とは、翳し動作の未検出時（ステップＳ１１０（ＮＯ））から所定時間内（例えば３秒間）である。復帰猶予時間内である場合（ステップＳ１２１：ＹＥＳ）、ステップＳ１２０に戻る。復帰猶予時間内でない場合（ステップＳ１２１：ＮＯ）、ステップＳ１３０に進む。
【0092】
つまり、携帯端末６０は、予め定めた一定の時間（復帰猶予時間）内に、再度、翳し動作を検出した場合には（ステップＳ１２０（ＹＥＳ））、一連の翳し動作（一の商品の翳し動作）が継続していると見做し、スキャン失敗の流れ（ステップＳ１３０以降）に進まないようにしている（ステップＳ１０１に戻るようにしている）。
【0093】
ステップＳ１３０：携帯端末６０は、顧客が行った翳し動作は適切であるか否かを判断する。例えば、携帯端末６０は、上述した方法Ａ～方法Ｇのうちの何れかの方法によって、顧客が行った翳し動作の適否を評価（判断）する。適切であった場合（ステップＳ１３０：ＹＥＳ）、図８（Ａ）のステップＳ１３２に進む。適切でなかった場合（ステップＳ１３０：ＮＯ）、図８（Ｂ）のステップＳ１７２に進む。
【0094】
ステップＳ２１１：携帯端末６０は、翳し動作を検出した旨の情報を消去する。続いてステップＳ２１２に進む。
ステップＳ２１２：携帯端末６０は、確認動作検出機能を無効化する。続いてステップＳ２２０に進む。
ステップＳ２２０：携帯端末６０は、商品を登録する。つまり、携帯端末６０は、取引識別情報とともに、ステップＳ２００において取得した商品コードをクラウドサーバ２０に送信し、当該商品の商品情報を表示部に表示する（図３のステップＳ２～Ｓ７）。続いてステップＳ２３０に進む。
ステップＳ２１２：携帯端末６０は、確認動作検出機能を無効化する。続いてステップＳ２２０に進む。
ステップＳ２２０：携帯端末６０は、商品を登録する。つまり、携帯端末６０は、取引識別情報とともに、ステップＳ２００において取得した商品コードをクラウドサーバ２０に送信し、当該商品の商品情報を表示部に表示する（図３のステップＳ２～Ｓ７）。続いてステップＳ２３０に進む。
【0095】
ステップＳ２３０：携帯端末６０は、顧客の翳し動作を検出したか否かを判断する。つまり、携帯端末６０は、再度、顧客の翳し動作を検出し始めたか否かを判断する。翳し動作を検出した場合（ステップＳ２３０：ＹＥＳ）、ステップＳ１０１に戻る。翳し動作を検出していない場合（ステップＳ２３０：ＮＯ）、ステップＳ２４０に進む。
ステップＳ２４０：携帯端末６０は、会計指示ボタンＢＴ５０の操作があったか否かを判断する。操作があった場合（ステップＳ２４０：ＹＥＳ）、ステップＳ２５０に進む。操作がなかった場合（ステップＳ２４０：ＹＥＳ）、ステップＳ２３０に戻る。
ステップＳ２５０：携帯端末６０は、精算用コードを生成し、表示する（図３のステップＳ８）。携帯端末６０は、店員要確認フラグがセットされている場合には、店員要確認フラグがセットされている取引である旨の情報を含む精算用コードを生成し、表示する。そして、図７のフローチャートは終了する。
ステップＳ２４０：携帯端末６０は、会計指示ボタンＢＴ５０の操作があったか否かを判断する。操作があった場合（ステップＳ２４０：ＹＥＳ）、ステップＳ２５０に進む。操作がなかった場合（ステップＳ２４０：ＹＥＳ）、ステップＳ２３０に戻る。
ステップＳ２５０：携帯端末６０は、精算用コードを生成し、表示する（図３のステップＳ８）。携帯端末６０は、店員要確認フラグがセットされている場合には、店員要確認フラグがセットされている取引である旨の情報を含む精算用コードを生成し、表示する。そして、図７のフローチャートは終了する。
【0096】
【0097】
ステップＳ１３２：携帯端末６０は、通知音（確認音）を出力（例えば、１秒間出力）する。通知音は、図８（Ｂ）のステップＳ１７２にて出力する警告音よりも柔らかい調子の音（例えば、「ポロローン」で形容されるような音）である。続いてステップＳ１４０に進む。
【0098】
ステップＳ１４０：携帯端末６０は、読み取り（スキャン）に失敗した旨、翳し動作中（スキャン動作）の顔画像を表示する。例えば、携帯端末６０は、図５（Ｃ）に示した小画面ＳＧ１０を表示する。続いてステップＳ１４１に進む。
ステップＳ１４１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図５（Ｃ）の小画面ＳＧ１０のＯＫボタンＢＴ１５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１４１：ＹＥＳ）、ステップＳ１５０に進む。確認の操作がなかった場合（ステップＳ１４１：ＮＯ）、ステップＳ１４１に戻る。
ステップＳ１４１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図５（Ｃ）の小画面ＳＧ１０のＯＫボタンＢＴ１５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１４１：ＹＥＳ）、ステップＳ１５０に進む。確認の操作がなかった場合（ステップＳ１４１：ＮＯ）、ステップＳ１４１に戻る。
【0099】
ステップＳ１５０：携帯端末６０は、商品を登録するか否かを顧客に確認する。例えば、携帯端末６０は、図６（Ａ）の小画面ＳＧ３０を表示する。続いてステップＳ１５１に進む。
ステップＳ１５１：携帯端末６０は、登録しない旨の操作があったか否かを判断する。例えば、携帯端末６０は、図６（Ａ）の小画面ＳＧ３０の登録しないボタンＢＴ３５の操作があったか否かを判断する。登録しない旨の操作があった場合（ステップＳ１５１：ＹＥＳ）、図７のステップＳ１００に戻る。登録しない旨の操作がなかった場合（ステップＳ１５１：ＮＯ）、ステップＳ１５２に進む。
ステップＳ１５１：携帯端末６０は、登録しない旨の操作があったか否かを判断する。例えば、携帯端末６０は、図６（Ａ）の小画面ＳＧ３０の登録しないボタンＢＴ３５の操作があったか否かを判断する。登録しない旨の操作があった場合（ステップＳ１５１：ＹＥＳ）、図７のステップＳ１００に戻る。登録しない旨の操作がなかった場合（ステップＳ１５１：ＮＯ）、ステップＳ１５２に進む。
【0100】
ステップＳ１５２：携帯端末６０は、登録する旨の操作があったか否かを判断する。例えば、携帯端末６０は、図６（Ａ）の小画面ＳＧ３０の登録するボタンＢＴ３６の操作があったか否かを判断する。登録する旨の操作があった場合（ステップＳ１５２：ＹＥＳ）、ステップＳ１６０に進む。登録する旨の操作がなかった場合（ステップＳ１５２：ＮＯ）、ステップＳ１５１に戻る。
【0101】
ステップＳ１６０：携帯端末６０は、専用バッグ９０への商品の投入を指示し、精算装置５０で店員が対応する旨を報知する。例えば、携帯端末６０は、図６（Ｂ）の小画面ＳＧ４０を表示する。続いてステップＳ１６１に進む。
ステップＳ１６１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図６（Ｂ）の小画面ＳＧ４０のＯＫボタンＢＴ４５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１６１：ＹＥＳ）、ステップＳ１６２に進む。確認の操作がなかった場合（ステップＳ１６１：ＮＯ）、ステップＳ１６１に戻る。
ステップＳ１６１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図６（Ｂ）の小画面ＳＧ４０のＯＫボタンＢＴ４５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１６１：ＹＥＳ）、ステップＳ１６２に進む。確認の操作がなかった場合（ステップＳ１６１：ＮＯ）、ステップＳ１６１に戻る。
【0102】
ステップＳ１６２：携帯端末６０は、店員要確認フラグをセットする。なお、既に、店員要確認フラグがセットされている場合には、ステップＳ１６０の処理は省略してもよい。続いてステップＳ１６３に進む。
【0103】
店員要確認フラグとは、精算装置５０の処理において店員の対応（店員の介在）が必要であるか否か（店員呼出となるか否か）を示したフラグである。店員要確認フラグがセットされている場合、店員の対応が必要である旨を示し、店員要確認フラグがクリアされている場合、店員の対応が必要でない旨を示す。上述したように、店員要確認フラグは、取引の開始時（買物開始指示ボタンの操作時）にクリアされる。
【0104】
ステップＳ１６３：携帯端末６０は、翳し操作は適切であったが、登録できなかった旨を表示する。例えば、携帯端末６０は、図６（Ｃ）に示すように、「スキャン失敗（かざしＯＫ）」を登録情報表示領域ＨＲ６２０に表示する。続いて、ステップＳ１６４に進む。
【0105】
ステップＳ１６４：携帯端末６０は、取引識別情報とともに、撮像画像、翳し操作は適切であったが登録できなかった旨を示すコード情報（例えば、コード情報「０１」等）をクラウドサーバ２０に送信する。そして、図７のステップＳ１００に戻る。
【0106】
携帯端末６０は、ステップＳ１６４（図８（Ｂ）のステップＳ１９４も同様）において、第１撮像部による第１撮像画像、第２撮像部による第２撮像画像を送信する。例えば、携帯端末６０は、翳し動作検出機能による翳し動作の検出中の第１撮像画像（図１３及び図１４に示した小画面ＳＧ５０において確認用画像ＧＡ５２として表示される画像）、翳し動作検出機能によって翳し動作が検出される前の第１撮像画像（図１３及び図１４に示した小画面ＳＧ５０において確認用画像ＧＡ５１として表示される画像）、翳し動作検出機能によって翳し動作が検出されなくなった後の第１撮像画像（図１３及び図１４に示した小画面ＳＧ５０において確認用画像ＧＡ５３として表示される画像）、翳し動作検出機能による翳し動作の検出中の複数の第２撮像画像（図１３及び図１４に示した小画面ＳＧ５０において顔画像ＧＡ５５として表示される画像）をクラウドサーバ２０に送信する。クラウドサーバ２０は、携帯端末６０から受信した撮像画像を当該取引に対応付けて記憶する。なお、携帯端末６０がクラウドサーバ２０に送信する撮像画像（第１撮像画像、第２撮像画像）は、必要な部分をトリミング等した画像であってもよい。
【0107】
【0108】
ステップＳ１７２：携帯端末６０は、警告音（注意音）を出力（例えば、１秒間出力）する。警告音は、図８（Ａ）のステップＳ１３２にて出力する通知音よりも強い調子の音（例えば、「ビブッ」と形容されるような音）である。続いてステップＳ１８０に進む。
【0109】
ステップＳ１８０：携帯端末６０は、読み取り（スキャン）に失敗した旨、翳し動作中（スキャン動作）の顔画像を表示する。例えば、携帯端末６０は、図５（Ｄ）に示した小画面ＳＧ２０を表示する。続いてステップＳ１８１に進む。
ステップＳ１８１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図５（Ｄ）の小画面ＳＧ２０のＯＫボタンＢＴ２５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１８１：ＹＥＳ）、ステップＳ１９０に進む。確認の操作がなかった場合（ステップＳ１８１：ＮＯ）、ステップＳ１８１に戻る。
ステップＳ１８１：携帯端末６０は、確認の操作があったか否かを判断する。例えば、携帯端末６０は、図５（Ｄ）の小画面ＳＧ２０のＯＫボタンＢＴ２５の操作があったか否かを判断する。確認の操作があった場合（ステップＳ１８１：ＹＥＳ）、ステップＳ１９０に進む。確認の操作がなかった場合（ステップＳ１８１：ＮＯ）、ステップＳ１８１に戻る。
【0110】
図８（Ｂ）のステップＳ１９０、ステップＳ１９１、ステップＳ１９２の処理は、夫々、図８（Ａ）のステップＳ１６０、ステップＳ１６１、ステップＳ１６２の処理と同一であるため、説明を省略する。ステップＳ１９２に続いてステップＳ１９３に進む。
【0111】
ステップＳ１９３：携帯端末６０は、翳し操作が適切でないため、登録できなかった旨を表示する。例えば、携帯端末６０は、図６（Ｄ）に示すように、「スキャン失敗（かざしＮＧ）」を登録情報表示領域ＨＲ６２０に表示する。続いて、ステップＳ１９４に進む。
【0112】
ステップＳ１９４：携帯端末６０は、取引識別情報とともに、撮像画像、翳し操作が適切でないため登録できなかった旨を示すコード情報（例えば、コード情報「０２」等）をクラウドサーバ２０に送信する。そして、図７のステップＳ１００に戻る。
【0113】
【0114】
（１）コード取得機能による商品コードの取得は、基本的には翳し動作検出機能による翳し動作の検出と関係するが、基本的には確認動作検出機能による翳し確認動作の検出とは関係しない。顧客が商品を翳しているときに該商品の商品コードが取得されるため、「翳し動作の検出中」→「商品コードの取得」といった流れとなるが、顧客が自身の翳し動作を確認等していないときにも商品コードが取得される場合（例えば、翳し動作を確認し終えた後（＝非確認中）に商品コードが取得される場合のほか、言わばノールックで商品が登録されるような場合）もあるため、「翳し確認動作の検出中」→「商品コードの取得」といった流れのほか、「翳し確認動作の非検出中」→「商品コードの取得」といった流れもある。つまり、翳し確認動作の検出中（確認中画像ＧＡ０２が表示されているとき）に加え、翳し確認動作の非検出中（確認中画像ＧＡ０２が表示されていないとき）にも商品コードが取得され得る。ここでは、商品コードが取得されたときではなく取得されなかったときの確認動作検出機能による翳し確認動作の検出結果に注目している。
【0115】
（２）商品コードが取得されたときではなく取得されなかったときの確認動作検出機能による翳し確認動作の検出結果に注目していると説明したが、商品コードが取得されたときの確認動作検出機能による翳し確認動作の検出結果に注目してもよい。例えば、商品コードが取得されたときの確認動作検出機能による翳し確認動作の検出結果を、翳し動作の適否の判断（ステップＳ１３０）に用いる基準時間等の設定（変更）に利用してもよい。
【0116】
一例として、方法Ａにおける基準時間（翳し確認動作の検出時間と比較する基準時間）を、商品コードが取得された場面における翳し確認動作の検出時間に基づいて設定（変更）してもよい。つまり、実験や実際の運用時において商品コードが取得された場面の翳し確認動作の検出時間を蓄積、集計し、方法Ａにおける基準時間を設定等してもよい。Ｎ件の場面の夫々において蓄積したＮ個の検出時間の中央値や平均値を、方法Ａにおける基準時間として設定等してもよい。また、適切でないとの評価の精度（確度）を高めるため（適切であるのに適切でないと判断されるケースを減らすため）、Ｎ個の検出時間のうちの最も短い時間（当該時間未満では商品コードの取得実績がない時間）や短いほうから上位１割程度の短い時間を、方法Ａにおける基準時間として設定等してもよい。
【0117】
図９～図１４は、精算装置５０の表示例である。図９（図１１、図１２も同様）は、取引内の商品を一覧表示する商品一覧画面である。図１０は、決済種別（決済方法、精算方法、支払方法）を選択可能な決済種別選択画面である。図１３（図１４も同様）は、商品一覧画面の前面に表示される小画面（状況確認画面）ＳＧ５０である。なお、説明の便宜上、図９等に示した商品一覧画面に対し、図１３等に示した小画面ＳＧ５０を拡大して図示している。
【0118】
図９は、店員の対応が必要でない場合の商品一覧画面の表示内容を示している。例えば、精算装置５０は、携帯端末６０において５品（〇〇食パン、〇〇コーヒー、〇〇スナック、〇〇缶詰、〇〇弁当）を順番に翳して夫々を順調に登録した取引（店員要確認フラグがセットされなかった取引）の精算用コードＧＡ６０を読み取った場合、図９に示したような商品一覧画面を表示する。
【0119】
図９の商品一覧画面には、上記５品（〇〇食パン、〇〇コーヒー、〇〇スナック、〇〇缶詰、〇〇弁当）が登録順に一覧表示されている。また、図９の商品一覧画面には、当該精算装置５０の処理を進行させる（決済種別の選択に進める）ための、会計ボタン（画面右下「お会計」と表示したボタン）が操作可能に表示されている。顧客は、商品や金額等を確認し、会計ボタンを操作する。
【0120】
精算装置５０は、商品一覧画面において会計ボタンの操作があった場合、決済種別選択画面を表示する。例えば、図９の商品一覧画面において会計ボタンの操作があった場合、精算装置５０は、図１０に示したような決済種別選択画面を表示する。顧客は、決済種別選択画面において所望の決済種別を選択する。精算装置５０は、選択された決済種別で精算する。なお、精算装置５０は、決済種別選択画面の「商品一覧」ボタンの操作があった場合、商品一覧画面を表示する（商品一覧画面に戻る）。
【0121】
図１１及び図１２は、店員の対応が必要である場合の商品一覧画面の表示内容を示している。例えば、精算装置５０は、携帯端末６０において上記５品を順番に翳したが、〇〇食パンについては翳し操作は適切であったが登録できずに「スキャン失敗（かざしＯＫ）」と表示し、〇〇缶詰については翳し操作が適切でないため登録できずに「スキャン失敗（かざしＮＧ）」と表示した取引（店員要確認フラグがセットされた取引）の精算用コードＧＡ６０を読み取った場合、図１１に示したような商品一覧画面を表示する。
【0122】
図１１の商品一覧画面には、「スキャン失敗（かざしＯＫ）」となった商品（〇〇商品）について「スキャンＮＧ（適切）」と表示され、「スキャン失敗（かざしＮＧ）」となった商品（〇〇缶詰）について「スキャンＮＧ（不適切）」と表示されている。例えば、精算装置５０は、翳し操作は適切であったが登録できなかった旨を示すコード情報（例えば、コード情報「０１」等）に基づいて「スキャンＮＧ（適切））」を表示し、翳し操作が適切でないため登録できなかった旨を示すコード情報（例えば、コード情報「０２」等）に基づいて「スキャンＮＧ（不適切）」を表示する。
【0123】
また例えば、精算装置５０は、携帯端末６０において上記５品を順番に翳したが、〇〇缶詰については翳し操作が適切でないため登録できずに「スキャン失敗（かざしＮＧ）」と表示した取引（店員要確認フラグがセットされた取引）の精算用コードＧＡ６０を読み取った場合、図１２に示したような商品一覧画面を表示する。図１２の商品一覧画面には、「スキャン失敗（かざしＮＧ）」となった商品（〇〇缶詰）について「スキャンＮＧ（不適切）」と表示されている。
【0124】
図１１の商品一覧画面（図１２の商品一覧画面も同様）には、会計ボタンが表示されていない。また、図１１の商品一覧画面（図１２の商品一覧画面も同様）には、店員の対応が必要であるため保留扱いとなった商品（保留商品。本例では「スキャン失敗（適切）」や「スキャン失敗（不適切）」に該当する商品）の数が示されている（画面右下「保留商品」の右側の数字）。
【0125】
精算装置５０において、店員の対応が必要である場合の商品一覧画面（例えば、図１１や図１２の商品一覧画面）が表示される場合には、店員が呼び出される（店員呼出処理が実行される）。店員呼出処理は、例えば、当該精算装置５０のサインポール（発光部）の発光、店員が使用する装置（例えば、取引状況管理装置４０、店員が携帯するタブレット端末やスマートフォン、セミセルフの登録装置、店内に設置されたサイネージ等）への店員呼出情報の送信等である。なお、図１１の商品一覧画面（図１２の商品一覧画面も同様）には、店員呼出中である旨の情報として、「店員を呼出しています。しばらくお待ちください。」が表示されている。
【0126】
精算装置５０は、商品一覧画面において「スキャン失敗（適切）」又は「スキャン失敗（不適切）」の欄の操作（タッチ）があった場合、商品一覧画面の前面に小画面ＳＧ５０を表示する。例えば、精算装置５０は、図１１の商品一覧画面の「スキャン失敗（適切）」の欄の操作があった場合、図１１の商品一覧画面の前面に図１３に示したような小画面ＳＧ５０を表示する。また例えば、精算装置５０は、図１２の商品一覧画面の「スキャン失敗（不適切）」の欄の操作があった場合、図１２の商品一覧画面の前面に図１４に示したような小画面ＳＧ５０を表示する。
【0127】
上述した小画面ＳＧ５０の表示は、店員（例えば呼び出された店員）によって行われる。精算装置５０は、店員がログインした場合に、「スキャン失敗（適切）」又は「スキャン失敗（不適切）」の欄の操作を受け付けるようにしてもよい。精算装置５０は、「スキャン失敗（適切）」又は「スキャン失敗（不適切）」の欄の操作後に店員がログインした場合（又は、店員が知る秘密の操作があった場合）に小画面ＳＧ５０を表示してもよい。精算装置５０は、店員の対応が必要である場合の商品一覧画面（図１１や図１２の商品一覧画面）の前面に店員のログインや秘密の操作を受け付ける小画面（非図示）を表示し、小画面（非図示）において店員のログインや秘密の操作を受け付ける前は、商品一覧画面の操作（「スキャン失敗（適切）」又は「スキャン失敗（不適切）」の欄の操作）を受け付けないようにしてもよい。
【0128】
図１３及び図１４に示すように、小画面ＳＧ５０の中央部分には、左から右にかけて確認用画像ＧＡ５１、確認用画像ＧＡ５２、確認用画像ＧＡ５３が表示されている。中央の確認用画像ＧＡ５２は、翳し動作の検出中の第１撮像画像である。左の確認用画像ＧＡ５１は、上記翳し動作が検出される前の第１撮像画像である。右の確認用画像ＧＡ５３は、上記翳し動作が検出されなくなった後の第１撮像画像である。小画面ＳＧ５０の右側部分には、顔画像ＧＡ５５が表示されている。顔画像ＧＡ５５は、翳し動作の検出中の第２撮像画像である。つまり、顔画像ＧＡ５５は、確認用画像ＧＡ５２と同じタイミングに撮像された第２撮像画像である。
【0129】
小画面ＳＧ５０の顔画像ＧＡ５５の上下には、前画像ボタンＢＴ５６と後画像ボタンＢＴ５７とが操作可能に表示されている。前画像ボタンＢＴ５６は、翳し動作の検出中の複数の第２撮像画像のなかから、現在、顔画像ＧＡ５５として表示している第２撮像画像よりも少し前に撮像された第２撮像画像を顔画像ＧＡ５５として表示させるボタンである。後画像ボタンＢＴ５７は、翳し動作の検出中の複数の第２撮像画像のなかから、現在、顔画像ＧＡ５５として表示している第２撮像画像よりも少し後に撮像された第２撮像画像を顔画像ＧＡ５５として表示させるボタンである。
【0130】
小画面ＳＧ５０の下部には、入力画面ボタンＢＴ５４が操作可能に表示されている。入力画面ボタンＢＴ５４は、スキャン失敗した商品等の未登録の商品を登録するための登録画面（非図示）を表示させるボタンである。
【0131】
上記画像（確認用画像ＧＡ５１～ＧＡ５３、顔画像ＧＡ５５）は、携帯端末６０からクラウドサーバ２０に送信されるが、精算装置５０は、上記画像を少なくとも（遅くとも）表示する前にクラウドサーバ２０から受信すればよい。例えば、精算装置５０は、精算用コードＧＡ６０の読取後の応答として（つまり処理の開始時に）、クラウドサーバ２０から上記画像を受信してもよいし、商品一覧画面において「スキャン失敗（適切）」又は「スキャン失敗（不適切）」の欄の操作があった場合に（つまり画像の小画面ＳＧ５０を表示するときに）、クラウドサーバ２０から上記画像を受信してもよい。
【0132】
図１３の小画面ＳＧ５０の確認用画像ＧＡ５２には、「スキャンＮＧ（適切）」（＝「スキャン失敗（かざしＯＫ）」）となった「〇〇食パン」の翳し動作が撮像されている。また、図５（Ｃ）の顔画像ＧＡ１３と同様、図１３の小画面ＳＧ５０の顔画像ＧＡ５５内の顧客の顔の向きは略正面であり、目線も略カメラ目線である。
【0133】
図１４の小画面ＳＧ５０の確認用画像ＧＡ５２には、「スキャンＮＧ（不適切）」（＝「スキャン失敗（かざしＮＧ）」）となった「〇〇缶詰」の翳し動作が撮像されている。また、図５（Ｄ）の顔画像ＧＡ２３と同様、図１４の小画面ＳＧ５０の顔画像ＧＡ５５内の顧客の顔の向きは正面ではなく、目線もカメラ目線ではない。
【0134】
店員は、小画面ＳＧ５０の確認用画像ＧＡ５１～ＧＡ５３からスキャンＮＧ（＝スキャン失敗）となったときの状況を確認する。具体的には、中央の確認用画像ＧＡ５２からスキャンＮＧとなったときの翳し動作を確認し、当該翳し動作が行われる前と当該翳し動作が行われた後における買物籠８０内の様子（変化の有無）を確認する。また、店員は、小画面ＳＧ５０の顔画像ＧＡ５５からスキャンＮＧとなったときの顧客の表情や目線を確認する。
【0135】
例えば、図１３の小画面ＳＧ５０の場合、店員は、中央の確認用画像ＧＡ５２や顔画像ＧＡ５５から、スキャンＮＧ（適切）と評価されているように、当該商品（〇〇食パン）について顧客が登録しようとしていた様子を確認することができる。また、店員は、左右の確認用画像ＧＡ５１、ＧＡ５３から（表示内容に変化がないことから）、若しくは、右の確認用画像ＧＡ５３から（当該商品が撮像されていないことから）、顧客が当該商品を買物籠８０に入れていないことを確認することができる。なお、スキャン失敗（かざしＯＫ）となった商品を購入する場合、当該商品を買物籠８０ではなく専用バッグ９０に入れるよう指示しているが（図８（Ａ）のステップＳ１６０）、専用バッグ９０に当該商品が入っているか否かでは、指示に従って専用バッグ９０に当該商品が入れつつ同一商品を買物籠８０に入れるといった行為の有無を確認できない。
【0136】
図１４の小画面ＳＧ５０の場合、店員は、中央の確認用画像ＧＡ５２や顔画像ＧＡ５５から、スキャンＮＧ（不適切）と評価されているように、当該商品（〇〇缶詰）について顧客が登録しようとしていない様子（疑似的にスキャンしている擬似スキャン。不正行為）を確認することができる。また、店員は、左右の確認用画像ＧＡ５１、ＧＡ５３から、若しくは、右の確認用画像ＧＡ５３から、顧客が当該商品を買物籠８０に入れていないことを確認することができる。なお、スキャン失敗（かざしＮＧ）の場合、当該商品を専用バッグ９０に入れるよう指示しているが（図８（Ｂ）のステップＳ１９０）、専用バッグ９０に当該商品が入っているか否かでは、指示に従って専用バッグ９０に当該商品が入れつつ同一商品を買物籠８０に入れるといった行為の有無を確認できない。
【0137】
上記のようにして登録時の状況を把握し、また専用バッグ９０の中身を確認した店員は、入力画面ボタンＢＴ５４を操作する。精算装置５０は、入力画面ボタンＢＴ５４が操作された場合、登録画面（非図示）を表示する。店員は、登録画面において、専用バッグ９０から取り出した商品（スキャン失敗の商品）の商品コードを入力（置数入力）し、又は、専用バッグ９０から取り出した商品のバーコードをスキャンする。精算装置５０は、商品コードの入力、又は、バーコードのスキャンに基づいて、商品コードを取得し、商品を登録する。なお、精算装置５０は、スキャン失敗の商品をすべて登録した場合、図９の商品一覧画面のように、会計ボタンを操作可能に表示する。
【0138】
以上、各実施形態について説明したが、各実施形態によれば、携帯端末を用いた商品の登録を好適に実施することができる。
【0139】
（変形例等）
以上、各実施形態について説明したが、機器の構成、データの構成、処理の流れ、表示及び出力の態様などは、例えば下記（１）～（４０）に示すように、適宜変更が可能である。また、下記（１）～（４０）は、夫々適宜組み合わされてよい。
以上、各実施形態について説明したが、機器の構成、データの構成、処理の流れ、表示及び出力の態様などは、例えば下記（１）～（４０）に示すように、適宜変更が可能である。また、下記（１）～（４０）は、夫々適宜組み合わされてよい。
【0140】
（１）図４では、携帯端末６０が翳し動作を検出しているときに翳し動作を検出している旨を表示（かざし中画像ＧＡ０１を表示）する例を説明したが、翳し動作検出機能について説明する際に述べたように、表示に代えて又は加えて、翳し動作を検出した旨の情報を記憶部に記憶してもよいし、翳し動作を検出した旨の情報を外部に送信してもよいし、音声を出力してもよい。
【0141】
（２）図４では、携帯端末６０が翳し動作を検出しているときに翳し動作を検出している旨を報知（かざし中画像ＧＡ０１を表示）する例を説明したが、当該報知は行わなくてもよい。つまり、上記（１）にも関連するが、携帯端末６０は、翳し動作検出機能の検出結果に応じて表示を異ならせなくてもよい。
【0142】
（３）図４では、携帯端末６０が翳し動作を検出しているときには翳し動作を検出している旨を報知（「かざし中」と示したかざし中画像ＧＡ０１を表示）し、翳し動作を検出していないときには何も報知しない例を説明したが、翳し動作を検出していないときには翳し動作を検出していない旨を報知（例えば「かざし無」や「未かざし」と示した画像を表示）してもよい。画像上の文字を検出結果に応じて切り替えてもよい。
【0143】
（４）図４では、携帯端末６０が翳し確認動作を検出しているときに翳し確認動作を検出している旨を報知（確認中画像ＧＡ０２を表示）する例を説明したが、確認動作検出機能について説明する際に述べたように、表示に代えて又は加えて、翳し確認動作を検出した旨の情報を記憶部に記憶してもよいし、翳し確認動作を検出した旨の情報を外部に送信してもよいし、音声を出力してもよい。
【0144】
（５）図４では、携帯端末６０が翳し確認動作を検出しているときに翳し動作を検出している旨を報知（かざし中画像ＧＡ０１を表示）する例を説明したが、当該報知は行わなくてもよい。つまり、上記（４）にも関連するが、携帯端末６０は、翳し動作検出機能の検出結果に応じて表示を異ならせなくてもよい。
【0145】
（６）図４では、携帯端末６０が翳し確認動作を検出しているときには翳し確認動作を検出している旨を報知（「確認中」と示した確認中画像ＧＡ０２を表示）し、翳し確認動作を検出していないときには何も報知しない例を説明したが、翳し確認動作を検出していないときには翳し確認動作を検出していない旨を報知（例えば「確認無」や「未確認」と示した画像を表示）してもよい。画像上の文字を検出結果に応じて切り替えてもよい。
【0146】
（７）図４では、携帯端末６０が翳し確認動作を検出しているときに翳し確認動作を検出している旨を明示的に報知（「確認中」と示した確認中画像ＧＡ０２を表示）する例を説明したが、翳し確認動作を検出しているときに翳し確認動作を検出している旨を明示的に報知しなくてもよい。例えば、携帯端末６０は、翳し確認動作を検出しているときと翳し確認動作を検出していないときとで表示を異ならせるだけであってもよい。一例として、携帯端末６０は、翳し確認動作の検出していないときには撮像画像表示領域ＨＲ６１０に「商品をかざしてください」と表示し、翳し確認動作の検出しているときには撮像画像表示領域ＨＲ６１０に図４（Ｃ）に示すように「バーコードをスキャンしてください」と表示してもよいし、「バーコードの位置を合わせてください」と表示してもよい。
【0147】
（８）上記（７）に関連するが、携帯端末６０は、翳し確認動作を検出しているときには、翳し確認動作を支援（サポート）するメッセージを表示してもよい。一例として、携帯端末６０は、翳し確認動作の検出していないときには撮像画像表示領域ＨＲ６１０に「商品をかざしてください」と表示し、翳し確認動作の検出しているときには撮像画像表示領域ＨＲ６１０に「バーコードをスキャンしてください」と表示してもよいし、「バーコードの位置を合わせてください」と表示してもよい。
【0148】
（９）上記実施形態では、携帯端末６０が翳し動作を検出した場合に確認動作検出機能を有効化する例を説明したが、翳し動作検出機能やコード取得機能と同様、取引の開始時（買物開始指示ボタンの操作に基づいて）、翳し動作適否判断機能を有効化してもよい。
【0149】
（１０）上記（９）に関連するが、携帯端末６０は、翳し動作を検出している旨を報知（かざし中画像ＧＡ０１を表示）していないときに、翳し確認動作を検出している旨を報知（確認中画像ＧＡ０２を表示）してもよい。つまり、携帯端末６０は、翳し動作を検出しているか否かに関わらず、翳し確認動作を検出しているときには翳し確認動作を検出している旨を報知してもよい。
【0150】
（１１）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切であると判断した場合（ステップＳ１３０（ＹＥＳ））、小画面ＳＧ１０（図５（Ｃ））で顔画像ＧＡ１３を表示する例を説明したが、小画面ＳＧ１０では顔画像ＧＡ１３を表示せずに、小画面ＳＧ１０に続く小画面ＳＧ３０において商品を登録する旨の操作（登録するボタンＢＴ３６の操作）があった場合に表示する小画面ＳＧ４０で顔画像ＧＡ１３を表示してもよい。
【0151】
（１２）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切であると判断した場合、小画面ＳＧ１０から小画面ＳＧ３０を表示し、小画面ＳＧ３０の操作に応じて小画面ＳＧ３０から小画面ＳＧ４０を表示する例を説明したが、顧客が行った翳し動作が適切であると判断した場合、小画面ＳＧ１０の内容と小画面ＳＧ３０の内容を兼ね備えた小画面を表示し、該小画面の操作に応じて該小画面から小画面ＳＧ４０を表示してもよい。
【0152】
（１３）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切でないと判断した場合（ステップＳ１３０（ＮＯ））、小画面ＳＧ２０（図５（Ｄ））で顔画像ＧＡ２３を表示する例を説明したが、小画面ＳＧ２０では顔画像ＧＡ２３を表示せずに、小画面ＳＧ２０に続く小画面ＳＧ４０で顔画像ＧＡ２３を表示してもよい。
【0153】
（１４）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切でないと判断した場合、小画面ＳＧ２０から小画面ＳＧ４０を表示する例を説明したが、顧客が行った翳し動作が適切でないと判断した場合、小画面ＳＧ２０の内容と小画面ＳＧ４０の内容を兼ね備えた小画面を表示してもよい。
【0154】
（１５）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切であると判断した場合（つまり、顧客に悪意がなく擬似スキャンの可能性が比較的低いと考えられる場合）であっても適切でないと判断した場合（つまり、顧客に悪意があり擬似スキャンの可能性が比較的高いと考えられる場合）であっても顔画像（前者の場合は顔画像ＧＡ１３、後者の場合は顔画像ＧＡ２３）を表示する例を説明したが、顧客が行った翳し動作が適切であるか否かの判断結果に応じて顔画像の非表示／表示を制御してもよい。
【0155】
例えば、携帯端末６０は、顧客が行った翳し動作が適切であると判断した場合には顔画像（顔画像ＧＡ１３）を表示せずに、顧客が行った翳し動作が適切でないと判断した場合に顔画像（顔画像ＧＡ２３）を表示してもよい。つまり、携帯端末６０は、顧客に悪意がなく擬似スキャンの可能性が比較的低いと考えられる場合には顔画像（顔画像ＧＡ１３）の表示を省略してもよい。なお、精算装置５０においても顔画像ＧＡ５５の表示を省略してもよいし、精算装置５０においては顔画像ＧＡ５５を表示してもよい。
【0156】
例えば、携帯端末６０は、顧客が行った翳し動作が適切でないと判断した場合には顔画像（顔画像ＧＡ２３）を表示せずに、顧客が行った翳し動作が適切であると判断した場合に顔画像（顔画像ＧＡ１３）を表示してもよい。つまり、携帯端末６０は、顧客に悪意があり擬似スキャンの可能性が比較的高いと考えられる場合には顔画像（顔画像ＧＡ２３）の表示を省略し、精算装置５０において顔画像ＧＡ５５を初めて表示するようにしてもよい。
【0157】
（１６）上記実施形態では、携帯端末６０は、商品コードを取得できなかった場合には顧客が行った翳し動作が適切であると判断した場合であっても適切でないと判断した場合であっても顔画像（前者の場合は顔画像ＧＡ１３、後者の場合は顔画像ＧＡ２３）を表示する例を説明したが、顔画像を表示しなくてもよい。つまり、精算装置５０において顔画像ＧＡ５５を初めて表示するようにしてもよい。なお、翳し動作が適切であると判断した場合には精算装置５０における顔画像ＧＡ５５の表示を省略してもよい。
【0158】
（１７）上記実施形態では、予め定めた一定の時間（復帰猶予時間）内に、再度、翳し動作を検出した場合には一連の翳し動作が継続していると見做している例を説明したが（図７のステップＳ１２０、Ｓ１２１）、例えば顧客が前方を向く迄の間（つまり当該商品への関心がなくなったと見做せるようになる迄の間）に、再度、翳し動作を検出した場合には一連の翳し動作が継続していると見做してもよい。なお、顧客が前方を向いているか否かは第２撮像画像内の顔の向きから判断可能である。
【0159】
（１８）上記実施形態では、携帯端末６０は、商品を専用バッグ９０に入れる場合に撮像画像（第１撮像画像、第２撮像画像）をクラウドサーバ２０に送信する例を説明したが（図８（Ａ）のステップＳ１６４、図８（Ｂ）のステップＳ１９４）、商品を陳列棚に戻す場合にも撮像画像をクラウドサーバ２０に送信してもよい。つまり、商品を専用バッグ９０に入れる場合に加えて商品を陳列棚に戻す場合にも、精算装置５０において、買物籠８０に商品が入れられていないことを確認できるようにしてもよい。
【0160】
（１９）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切であると判断しかつ顧客が商品を購入しない場合には商品を陳列棚に戻して処理を継続する例を説明したが、当該商品を専用バッグ９０に入れるように指示してもよい。つまり、上記実施形態では、図８（Ａ）のステップＳ１５１（ＹＥＳ）→ステップＳ１００と制御する例を説明したが、図８（Ａ）のステップＳ１５１（ＹＥＳ）→ステップＳ１６０と制御してもよい。
【0161】
（２０）上記実施形態では、携帯端末６０は、顧客が行った翳し動作が適切であると判断しかつ顧客が商品を購入する場合には当該商品を専用バッグ９０に入れるように指示する例を説明したが、再度、商品をスキャンさせてもよい。つまり、上記実施形態では、図８（Ａ）のステップＳ１５２（ＹＥＳ）→ステップＳ１６０と制御する例を説明したが、図８（Ａ）のステップＳ１５２（ＹＥＳ）→ステップＳ１００と制御してもよい。
【0162】
（２１）上記実施形態では、条件ａ１（下記）、条件ｂ１（下記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応する例を説明したが、条件ａ１を満たした場合に限って精算装置５０において店員が対応してもよい。なお、条件ｂ１の場合には店員が対応しなくて済むように、上記（２０）に示したように、再度、商品をスキャンさせてもよい。
（条件ａ１）取引内において、翳し動作が適切ではなく商品コードを取得できなかった場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図７のステップＳ１３０においてＮＯと判断した回数が１回以上である。
（条件ｂ１）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入する旨の操作がなされた場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図８（Ａ）のステップＳ１５２においてＹＥＳと判断した回数が１回以上である。
（条件ａ１）取引内において、翳し動作が適切ではなく商品コードを取得できなかった場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図７のステップＳ１３０においてＮＯと判断した回数が１回以上である。
（条件ｂ１）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入する旨の操作がなされた場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図８（Ａ）のステップＳ１５２においてＹＥＳと判断した回数が１回以上である。
【0163】
（２２）上記実施形態では、条件ａ１（上記）、条件ｂ１（上記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応する例を説明したが、条件ａ１、条件ｂ１、条件ｃ１（下記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応してもよい。
（条件ｃ１）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入しない旨の操作がなされた場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図８（Ａ）のステップＳ１５１においてＹＥＳと判断した回数が１回以上である。
（条件ｃ１）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入しない旨の操作がなされた場面が１回以上発生した。つまり、携帯端末６０が、一取引において、図８（Ａ）のステップＳ１５１においてＹＥＳと判断した回数が１回以上である。
【0164】
（２３）上記実施形態では、条件ａ１（上記）、条件ｂ１（上記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応する例を説明したが、条件ａ２（下記）を満たした場合に限って精算装置５０において店員が対応してもよい。
（条件ａ２）取引内において、翳し動作が適切ではなく商品コードを取得できなかった場面がＬ回以上発生した。Ｌは２以上である。なお、Ｌ回に至る迄は、店員が対応しなくて済むように、商品を陳列棚に戻させてもよい。
（条件ａ２）取引内において、翳し動作が適切ではなく商品コードを取得できなかった場面がＬ回以上発生した。Ｌは２以上である。なお、Ｌ回に至る迄は、店員が対応しなくて済むように、商品を陳列棚に戻させてもよい。
【0165】
（２４）上記実施形態では、条件ａ１（上記）、条件ｂ１（上記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応する例を説明したが、条件ａ２（上記）、条件ｂ２（下記）、条件ｃ２（下記）のうちの少なくとも１つの条件を満たした場合に精算装置５０において店員が対応してもよい。
（条件ｂ２）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入する旨の操作がなされた場面がＭ回以上発生した。条件ｂ２のＭは、条件ａ２のＬと同数であってもよいが、Ｌよりも大きいことが好ましい。なお、Ｍ回に至る迄は、店員が対応しなくて済むように、商品を陳列棚に戻させてもよい。
（条件ｃ２）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入しない旨の操作がなされた場面がＮ回以上発生した。条件ｃ２のＮは、条件ａ２のＬと同数であってもよいが、Ｌよりも大きいことが好ましい。条件ｂ２のＭと条件ｃ２のＮは同一でも異なっていてもよい。
（条件ｂ２）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入する旨の操作がなされた場面がＭ回以上発生した。条件ｂ２のＭは、条件ａ２のＬと同数であってもよいが、Ｌよりも大きいことが好ましい。なお、Ｍ回に至る迄は、店員が対応しなくて済むように、商品を陳列棚に戻させてもよい。
（条件ｃ２）取引内において、翳し動作が適切であるが商品コードを取得ができなかった商品について購入しない旨の操作がなされた場面がＮ回以上発生した。条件ｃ２のＮは、条件ａ２のＬと同数であってもよいが、Ｌよりも大きいことが好ましい。条件ｂ２のＭと条件ｃ２のＮは同一でも異なっていてもよい。
【0166】
（２５）上記（２２）～（２４）にも関連するが、商品コードを取得できなかった理由や商品コードを取得できなかった回数に基づいて、携帯端末６０を操作している顧客へのメッセージを異ならせてもよい。理由に基づく例として、携帯端末６０は、翳し動作が適切であったが商品コードを取得できなかった場合には単に「商品コードの取得に失敗しました」と表示し、翳し動作が適切でないため商品コードを取得できなかった場合には「スキャンが正しくないため商品コードの取得に失敗しました」と表示してもよい。また、回数に基づく例として、携帯端末６０は、初回は「バーコードを見ながらスキャンしてください」と表示し、２回目は「商品をしっかりとスキャンしてください」と表示し、３回目以降は「スキャンせずにかごに入れないでください」と表示してもよい。携帯端末６０は、理由と回数の組み合わせに応じてメッセージを異ならせてもよい。
【0167】
上記メッセージに代えて又は加えて、商品コードを取得できなかった理由や商品コードを取得できなかった回数に基づいて、音声（ボリューム（音量）、周波数（音の高低）、音声ガイダンスの文言、音声の有無等）を異ならせてもよい。例えば、初回は、「バーコードを見ながらスキャンしてください」＋単に状況を報知する優しい音（又は無音）、２回目は「商品をしっかりとスキャンしてください」＋注意を喚起する音、３回目以降は、スキャンせずにかごに入れないでください」＋周囲の顧客も気づくような警告音としてもよい。
【0168】
（２６）上記実施形態では、主に、翳し動作検出機能によって第１撮像画像から翳し動作を検出しているときの確認動作検出機能による第２撮像画像からの翳し確認動作に基づいて、翳し動作の適否を判断する例を説明した。つまり、上記実施形態では、主に、携帯端末６０が、商品が翳されている状態において顧客の表情等に基づいて翳し動作の適否を判断する例を説明した。しかしながら、上記（９）などにも関連するが、携帯端末６０は、商品が翳されている状態における顧客の表情等に代えて又は加えて商品が翳されていない状態における顧客の表情等に基づいて翳し動作の適否を判断してもよい。顧客は、商品を翳す際（実際に商品が翳される前）にもスルー画像を確認するため（商品自体がスルー画像内に撮像される前からスルー画像を見るため）、翳し動作の検出前の顧客の表情等も重要である。例えば、翳し前（翳し動作が検出される前の所定時間。例えば３秒間）の翳し確認動作を翳し中（翳し動作の検出中）の翳し確認動作と同様に重視し、翳し終了後（翳し動作が検出されなくなってから所定時間。例えば３秒間）の翳し確認動作を重視しないように重み付けして翳し動作の適否を判断してもよいし、翳し前を最も重視し、翳し中を次に重視し、翳し終了後を重視しないように重み付けして翳し動作の適否を判断してもよい。なお、携帯端末６０は、商品コード未取得の場合にはスキャン失敗した旨のメッセージを表示するが（図５（Ｃ）の小画面ＳＧ１０、又は、図５（Ｄ）の小画面ＳＧ２０）、当該メッセージに対する顧客の反応も顧客の行動に関係するとも考えられるため、上述した翳し終了後の時間には当該メッセージの表示時間も含まれるようにし、当該メッセージを見ているときの顔画像を解析（平然とした表情であるか、驚いているか、慌てているか等）し、翳し動作の適否を判断してもよい。
【0169】
（２７）上記実施形態では、携帯端末６０や精算装置５０が、翳し中の顔画像を表示する例を説明したが、携帯端末６０や精算装置５０は、翳し中の顔画像に代えて又は加えて、翳し前や翳し後の顔画像を表示してもよい。例えば、精算装置５０は、図１３（図１４も同様）の小画面ＳＧ５０において前画像ボタンＢＴ５６が操作された場合には翳し前の顔画像ＧＡ５５を表示し、後画像ボタンＢＴ５７が操作された場合には翳し後の顔画像ＧＡ５５を表示してもよい。なお、上記（２６）において翳し動作の検出前や翳し動作の検出後の翳し確認動作に基づいて翳し動作の適否を判断してもよいと説明したが、翳し動作の検出前や翳し動作の検出後の翳し確認動作に基づいて翳し動作の適否を判断するか否かに関わらず、携帯端末６０や精算装置５０は、翳し前や翳し後の顔画像を表示してもよい。
【0170】
（２８）上記実施形態では、精算用コードＧＡ６０を読み取った精算装置５０は、常に商品一覧画面を表示する例を説明したが、精算装置５０は、店員の対応が必要でない場合には商品一覧画面を表示しなくてもよい。つまり、精算用コードＧＡ６０を読み取った精算装置５０は、店員の対応が必要でない場合には図１０に示したような決済種別選択画面を表示し、店員の対応が必要である場合には図１１や図１２に示したような商品一覧画面を表示してもよい。換言すれば、クラウドサーバ２０は、店員の対応が必要でない取引の場合には図１０に示したような決済種別選択画面を精算装置５０に送信し、店員の対応が必要である取引の場合には図１１や図１２に示したような商品一覧画面を精算装置５０に送信してもよい。
【0171】
（２９）上記実施形態では、携帯端末６０において撮像された第２撮像画像（顔画像）が精算装置５０において表示される例を説明したが（図１３、図１４）、精算装置５０以外の装置（例えば、取引状況管理装置４０）においても表示されてもよい。例えば、取引状況管理装置４０は、クラウドサーバ２０にアクセスし、一の取引の商品一覧画面を表示し、該商品一覧画面から小画面ＳＧ５０を表示してもよい。
【0172】
（３０）上記実施形態では、携帯端末６０によって撮像された第２撮像画像が、外部（例えば、クラウドサーバ２０）に送信、記憶され、外部（例えば、精算装置５０）で表示される例を説明したが、本来の目的（翳し動作が適切であるか否かの判断や確認）以外の目的で使用されることがないように、適宜、第２撮像画像を消去してもよい。例えば、精算装置５０は、一の取引の精算が完了した場合にはクラウドサーバ２０に当該取引の精算情報を送信するが、精算情報の送信に加え、自身の記憶部に記憶している当該取引に関連する第２撮像画像を消去してもよい。また、クラウドサーバ２０は、一の取引の精算情報を受信した場合、自身の記憶部に記憶している当該取引に関連する第２撮像画像を消去してもよい。また、精算装置５０（クラウドサーバ２０も同様）は、例えば営業時間外の所定時刻に、記憶部に記憶している全取引に関連する第２撮像画像を一括して消去してもよい。
【0173】
（３１）上記実施形態では、第２撮像部による撮像について顧客に許諾を求めると説明したが、上記（３０）に関連し、顧客に許諾を求める際に、第２撮像画像を目的外に使用しない旨、第２撮像画像を外部に送信等する場合がある旨、外部に送信等された第２撮像画像はきちんと消去される旨のうちの１つ以上を顧客に報知してもよい。例えば、携帯端末６０は、第２撮像部による撮像について操作者に許諾を求める画面（サービス開始画面でもよい）を表示し、当該画面において第２撮像画像の消去に関する情報を表示してもよい。
【0174】
（３２）上記実施形態では、第２撮像部による撮像について顧客に許諾を求めると説明したが、許諾した顧客に特典（例えば、商品や合計金額の値引き、ポイントやクーポンの付与）を与えてもよい。
【0175】
（３３）上記実施形態では、確認動作検出機能について、第２撮像画像内の操作者の表情や操作者の顔の向きや目線の方向等に基づいて、翳し確認動作を検出すると説明したが、機械学習によって生成された学習済モデルを用いて翳し確認動作を検出してもよい。翳し確認動作を検出用の学習済モデル（以下、学習済モデル１２００と称する）は、例えば、ニューラルネットワークを用いて表されるモデルであってもよい。具体的には、学習済モデル１２００は、第２撮像画像を入力した場合に（つまり第２撮像画像に基づいて）、翳し確認動作が行われている確率（尤度）と、翳し確認動作が行われていない確率（尤度）と、を出力するものであってもよい。
【0176】
学習済モデル１２００は、学習モデル生成装置（例えば、パーソナルコンピュータ）によって生成される。学習モデル生成装置は、例えば、翳し確認動作が行われていない場面における第２撮像画像と、該夫々の場面では翳し確認動作が行われていない旨を示した教師データ（つまり、上記第２撮像画像の夫々に対応する、翳し確認動作が行われていない旨を示した教師データ）と、翳し確認動作が行われた場面における第２撮像画像と、該夫々の場面では翳し確認動作が行われた旨を示した教師データ（つまり、上記第２撮像画像の夫々に対応する、翳し確認動作が行われた旨を示した教師データ）とに基づいて生成されたモデルである。学習モデル生成装置によって生成された学習済モデル１２００は、携帯端末６０がアクセス可能な場所（例えば、携帯端末６０の記憶部）に記憶しておく。
【0177】
携帯端末６０は、第２撮像部から取得した第２撮像画像を学習済モデル１２００の入力層に入力し、出力層から出力値（翳し確認動作が行われている確率、翳し確認動作が行われていない確率）を得る。携帯端末６０は、例えば、出力層から得られた翳し確認動作が行われている確率が、所定の確率（例えば、５０％）未満であれば翳し確認動作が行われていないと判断し、所定の確率以上であれば翳し確認動作が行われていないと判断する。
【0178】
（３４）上記実施形態では、携帯端末６０が、商品コードを取得しなかった場合に翳し動作の適否を判断する例を説明したが、基準時間の設定や上記（３３）にも関連するが、商品コードを取得した場合にも翳し動作の適否を判断してもよい。なお、商品コードを取得しなかった場合には翳し動作の適否の判断結果を表示するが、商品コードを取得した場合には翳し動作の適否の判断結果を表示しないようにしてもよい。
【0179】
（３５）上記実施形態において、第１撮像画像は背面側の撮像画像（静止画像、動画像）であると説明し、第２撮像画像は手前側の撮像画像（静止画像、動画像）であると説明した通り、第１撮像画像（第２撮像画像も同様）は、静止画像であってもよいし動画像であってもよい。例えば、図５（Ｃ）の小画面ＳＧ１０の顔画像ＧＡ１３は動画であり、操作に応じて再生／停止等されるものであってもよい。図５（Ｄ）の小画面ＳＧ２０の顔画像ＧＡ２３、図１３及び図１４の小画面ＳＧ５０の顔画像ＧＡ５５についても同様である。また、図１３及び図１４の小画面ＳＧ５０の確認用画像ＧＡ５２は動画であり、操作に応じて再生／停止等されるものであってもよい。確認用画像ＧＡ５１、確認用画像ＧＡ５３についても同様である。
【0180】
（３６）上記実施形態では、撮像画像等を小画面（携帯端末６０における小画面ＳＧ１０、ＳＧ２０、精算装置５０における小画面ＳＧ５０）に表示する例を説明したが、小画面は一例であって、撮像画像等を表示する画面は小画面でなくてもよい。
【0181】
（３７）上記実施形態において、来店した顧客は、買物籠載置部７１に買物籠８０を載置し、ホルダ部７２に携帯端末６０を取り付けると説明したが（図２）、ホルダ部７２の角度（仰角）や高さは調整可能であってもよい。携帯端末６０は、ホルダ部７２の角度や高さを確認、調整するためのホルダ確認調整機能を有し、携帯端末６０は、ホルダ部７２に取り付けられた状態における、アウトカメラ画像やインカメラ画像に基づいて、ホルダ部７２の角度や高さを確認し、必要に応じて角度や高さを調整するべき旨をアナウンスしてもよい。一例として、携帯端末６０は、アウトカメラ画像の撮像範囲をチェック（例えば、買物籠８０の縁の一部、カート７０のカゴ受け台などが撮像されていればＯＫ）し、又は、インカメラ画像に撮像されているオブジェクトをチェック（例えば、顔の輪郭が撮像されていればＯＫ）し、調整が必要な場合にはホルダ部７２の角度や高さをどのように調整するべきか（例えば、高さは変えずに少し水平にする等）を画像（アニメーション）や文言で表示してもよい。なお、携帯端末６０は、サービス開始画面を表示する前に角度や高さを確認等してもよいし、１品目の商品の登録以降も角度や高さを確認等してもよい。
【0182】
（３８）上記実施形態では、携帯端末６０がカート７０（ホルダ部７２）に取り付けられる例を説明したが、携帯端末６０が顧客の所有物ではなくカート７０の一部であってもよい。カート７０と携帯端末６０とが一体的に構成されてもよい。
【0183】
（３９）上記実施形態では、第１撮像部（第１カメラ）や第２撮像部（第２カメラ）のレンズについては説明を省略したが、第１撮像部のレンズは、１つであってもよいし複数であってもよい。例えば、第１撮像部は画角（焦点距離）の異なる３つの単焦点レンズ（標準レンズ、広角レンズ、望遠レンズ）を備え、オブジェクト（バーコード）迄の距離に応じて切り替わるようにしてもよい。また、第１撮像部は、画角（焦点距離）に幅がある１つのズームレンズを備え、オブジェクト迄の距離に応じて画角を制御してもよい。光学ズームではなくデジタルズームを用いてもよい。
【0184】
（４０）各装置（携帯端末６０、精算装置５０、取引状況管理装置４０等）における各機能（入出力、記憶、処理（判断含む））の一部又は全部は、当該機能の実行主体として説明した装置とは異なる他の装置において実現してもよい。例えば、各装置は、入出力のインターフェース等に特化したいわゆるシンクライアントとして機能してもよい。一例として、各装置の動作を制御するためのプログラムをクラウドサーバ（クラウドサーバ２０と同一であってもよいし他のクラウドサーバであってもよい）が実行し、各装置はブラウジング機能によって画面を表示等してもよい。具体例として、クラウドサーバ２０が、翳し動作の適否を判断してもよい。
【0185】
＜実施形態の総括＞
［技術分野］
本発明は、プログラム、情報端末、システムに関する。
［背景技術］
携帯端末を用いて顧客自ら商品を登録するシステムが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８－１４７２５２号公報
［発明の概要］
［発明が解決しようとする課題］
しかしながら、上述のようなシステムには、例えば悪意のある顧客や不慣れな顧客への対策において改善の余地がある。本発明は、このような事情に鑑みてなされたもので、携帯端末を用いた商品の登録を好適に実施する技術を提供することを目的とする。
［課題を解決するための手段］
［技術分野］
本発明は、プログラム、情報端末、システムに関する。
［背景技術］
携帯端末を用いて顧客自ら商品を登録するシステムが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８－１４７２５２号公報
［発明の概要］
［発明が解決しようとする課題］
しかしながら、上述のようなシステムには、例えば悪意のある顧客や不慣れな顧客への対策において改善の余地がある。本発明は、このような事情に鑑みてなされたもので、携帯端末を用いた商品の登録を好適に実施する技術を提供することを目的とする。
［課題を解決するための手段］
【0186】
（１）上述した課題を解決するための一態様は、 第１撮像部と第２撮像部とを有する情報端末（例えば、携帯端末６０）としてコンピュータを機能させるプログラムであって、前記コンピュータを、出力手段、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段（例えば、翳し動作検出機能）、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段（例えば、確認動作検出機能）として機能させ、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果（例えば、確認中画像ＧＡ０２）を出力することを特徴とするプログラムである。
（１）のプログラムによれば、携帯端末を用いた商品の登録を好適に実施することができる。例えば、検出結果から、顧客がバーコードを読み取らせる積りで商品をかざしているか否かを確認することができる。また、顧客がバーコードを読み取らせる積りはなく商品をかざしていたことを確認できるため、携帯端末を用いた商品の登録を好適に実施することができる。
（１）のプログラムによれば、携帯端末を用いた商品の登録を好適に実施することができる。例えば、検出結果から、顧客がバーコードを読み取らせる積りで商品をかざしているか否かを確認することができる。また、顧客がバーコードを読み取らせる積りはなく商品をかざしていたことを確認できるため、携帯端末を用いた商品の登録を好適に実施することができる。
【0187】
（２）前記第１撮像画像から商品コードを取得するコード取得手段（例えば、コード取得機能）、前記第２検出手段の検出結果に基づいて操作者の商品のかざし方の適否を判定する適否判定手段（例えば、翳し動作適否判断機能）として機能させ、前記出力手段は、前記第１検出手段が商品をかざしていることを検出し、かつ、前記コード取得手段が商品コードを取得しなかった場合、前記適否判定手段による判定結果に基づく情報（例えば、小画面ＳＧ１０、小画面ＳＧ２０）を出力することを特徴とする（１）に記載のプログラムである。
（２）のプログラムによれば、例えば、正しいスキャンであったにも関わらず失敗したのか不正なスキャン（疑似的なスキャン）であったため失敗したのかを確認することができる。
（２）のプログラムによれば、例えば、正しいスキャンであったにも関わらず失敗したのか不正なスキャン（疑似的なスキャン）であったため失敗したのかを確認することができる。
【0188】
（３）店員介在の要否を判断する店員介在要否判断手段として機能させ、前記店員介在要否判断手段（例えば、店員要確認フラグをセットする部分）は、前記適否判定手段によって商品のかざし方が適切でないと判定された回数に基づいて店員介在の要否を判断することを特徴とする（２）に記載のプログラムである。
（３）のプログラムによれば、回数が多い等の深刻度に応じて店員を介在させるため、効果（改善される分量）と負担（店員介在の負担）のバランスを図りつつ、携帯端末を用いた商品の登録を好適に実施することができる。
（３）のプログラムによれば、回数が多い等の深刻度に応じて店員を介在させるため、効果（改善される分量）と負担（店員介在の負担）のバランスを図りつつ、携帯端末を用いた商品の登録を好適に実施することができる。
【0189】
（４）前記第２撮像画像は、操作者の顔を撮像した画像であり、前記所定の行為は、商品のかざし方を調整する行為であり、前記第２検出手段は、前記第２撮像画像内の操作者の表情または目線から操作者が商品のかざし方を調整していることを検出することを特徴とする（１）～（３）の何れかに記載のプログラムである。
（４）のプログラムによれば、例えば、顧客がバーコードを読み取らせる積りはなく商品を翳していたことを好適に検出することができる。
（４）のプログラムによれば、例えば、顧客がバーコードを読み取らせる積りはなく商品を翳していたことを好適に検出することができる。
【0190】
（５）前記出力手段は、前記第２撮像部による撮像について操作者に許諾を求める画面を出力し、当該画面において前記第２撮像画像の消去に関する情報を出力することを特徴とする（１）～（４）の何れかに記載のプログラムである。
（５）のプログラムによれば、例えば、顧客の理解が得られ易くなる。
（５）のプログラムによれば、例えば、顧客の理解が得られ易くなる。
【0191】
（６）上述した課題を解決するための一態様は、第１撮像部と第２撮像部とを有する情報端末であって、出力手段と、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段とを備え、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力することを特徴とする情報端末である。
（６）の情報端末によれば、（１）のプログラムと同様の効果を得ることができる。
（６）の情報端末によれば、（１）のプログラムと同様の効果を得ることができる。
【0192】
（７）上述した課題を解決するための一態様は、第１撮像部と第２撮像部とを有する情報端末を含むシステムであって、出力手段と、前記第１撮像部によって撮像される第１撮像画像に基づいて商品がかざされていることを検出する第１検出手段と、前記第２撮像部によって撮像される第２撮像画像に基づいて操作者の行為が所定の行為であることを検出する第２検出手段とを備え、前記出力手段は、前記第１検出手段が商品をかざしていることを検出しているときに前記第２検出手段の検出結果を出力することを特徴とするシステムである。
（７）の情報端末によれば、（１）のプログラムと同様の効果を得ることができる。
（７）の情報端末によれば、（１）のプログラムと同様の効果を得ることができる。
【0193】
なお、以上に説明した各装置（本部サーバ１０、ストアコントローラ３０、取引状況管理装置４０、精算装置５０、携帯端末６０等）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上記各装置の処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0194】
１…販売システム １０…本部サーバ ２０…クラウドサーバ ３０…ストアコントローラ ４０…取引状況管理装置 ５０…精算装置 ６０…携帯端末 ７０…ショッピングカート ９０…専用バッグ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】