(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023130057
(43)【公開日】2023-09-20
(54)【発明の名称】物品認識装置及び情報処理プログラム
(51)【国際特許分類】
G07G 1/00 20060101AFI20230912BHJP
G07G 1/12 20060101ALI20230912BHJP
G06T 7/70 20170101ALI20230912BHJP
【ＦＩ】
G07G1/00 311D
G07G1/00 311Z
G07G1/12 301E
G06T7/70 Z
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022034502
(22)【出願日】2022-03-07
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】柿野 友成
【テーマコード（参考）】
3E142
5L096
【Ｆターム（参考）】
3E142AA01
3E142CA12
3E142CA20
3E142EA02
3E142FA50
3E142GA02
3E142JA01
5L096AA06
5L096CA21
5L096DA01
5L096FA67
5L096FA69
5L096HA04
5L096JA03
(57)【要約】
【課題】 複数候補のうちの１つの指定にかかる操作者の手間を軽減する。
【解決手段】 実施形態の物品認識装置は、撮像デバイス、測定手段、認識手段、選択手段、表示手段、設定手段及び決定手段を備える。測定手段は、撮像デバイスの移動方向及び移動量を測定する。認識手段は、撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する。選択手段は、認識手段により認識された物品の候補を選択する。表示手段は、選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる。設定手段は、表示手段により表示された画面内に、測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する。決定手段は、設定手段により設定されたカーソル位置がエリア内となったことに応じて、当該エリアに関連付けられた候補が画像に映り込んでいる物品であると決定する。
【選択図】 図３
【解決手段】 実施形態の物品認識装置は、撮像デバイス、測定手段、認識手段、選択手段、表示手段、設定手段及び決定手段を備える。測定手段は、撮像デバイスの移動方向及び移動量を測定する。認識手段は、撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する。選択手段は、認識手段により認識された物品の候補を選択する。表示手段は、選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる。設定手段は、表示手段により表示された画面内に、測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する。決定手段は、設定手段により設定されたカーソル位置がエリア内となったことに応じて、当該エリアに関連付けられた候補が画像に映り込んでいる物品であると決定する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
撮像デバイスと、
前記撮像デバイスの移動方向及び移動量を測定する測定手段と、
前記撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する認識手段と、
前記認識手段により認識された物品の候補を選択する選択手段と、
前記選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる表示手段と、
前記表示手段により表示された画面内に、前記測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する設定手段と、
前記設定手段により設定されたカーソル位置が前記エリア内となったことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する決定手段と、
を具備する物品認識装置。
前記撮像デバイスの移動方向及び移動量を測定する測定手段と、
前記撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する認識手段と、
前記認識手段により認識された物品の候補を選択する選択手段と、
前記選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる表示手段と、
前記表示手段により表示された画面内に、前記測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する設定手段と、
前記設定手段により設定されたカーソル位置が前記エリア内となったことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する決定手段と、
を具備する物品認識装置。
【請求項2】
前記測定手段は、前記撮像デバイスにより異なるタイミングでそれぞれ得られた複数の画像に対するオプティカルフローによって前記撮像デバイスの移動方向及び移動量を測定する、
請求項１に記載の物品認識装置。
請求項１に記載の物品認識装置。
【請求項3】
前記測定手段は、前記撮像デバイスの移動を物理的に検出するセンサを含み、当該センサの検出結果に基づいて前記撮像デバイスの移動方向及び移動量を測定する、
請求項１に記載の物品認識装置。
請求項１に記載の物品認識装置。
【請求項4】
前記表示デバイスにより表示されている画面に対する操作者によるタッチ位置を検出する検出手段と、
をさらに具備し、
前記決定手段は、複数の前記エリア内の位置が前記タッチ位置として前記検出手段により検出されたことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する、
請求項１－請求項３のいずれか一項に記載の物品認識装置。
をさらに具備し、
前記決定手段は、複数の前記エリア内の位置が前記タッチ位置として前記検出手段により検出されたことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する、
請求項１－請求項３のいずれか一項に記載の物品認識装置。
【請求項5】
前記表示手段は、前記エリアの他にキャンセルエリアを含んだ画面を前記表示デバイスに表示させ、
前記決定手段は、前記カーソル位置が前記キャンセルエリア内となったことに応じて、前記認識手段による認識結果に基づく物品の決定を行わない、
請求項１－請求項４のいずれか一項に記載の物品認識装置。
前記決定手段は、前記カーソル位置が前記キャンセルエリア内となったことに応じて、前記認識手段による認識結果に基づく物品の決定を行わない、
請求項１－請求項４のいずれか一項に記載の物品認識装置。
【請求項6】
撮像デバイスを備える物品認識装置に設けられたコンピュータを、
前記撮像デバイスの移動方向及び移動量を測定する測定手段と、
前記撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する認識手段と、
前記認識手段により認識された物品の候補を選択する選択手段と、
前記選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる表示手段と、
前記表示手段により表示された画面内に、前記測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する設定手段と、
前記設定手段により設定されたカーソル位置が前記エリア内となったことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する決定手段と、
して機能させるための情報処理プログラム。
前記撮像デバイスの移動方向及び移動量を測定する測定手段と、
前記撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する認識手段と、
前記認識手段により認識された物品の候補を選択する選択手段と、
前記選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる表示手段と、
前記表示手段により表示された画面内に、前記測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する設定手段と、
前記設定手段により設定されたカーソル位置が前記エリア内となったことに応じて、当該エリアに関連付けられた候補が前記画像に映り込んでいる物品であると決定する決定手段と、
して機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、物品認識装置及び情報処理プログラムに関する。
【背景技術】
【0002】
カメラにより得た画像に映り込んだ物品（以下、対象物品と称する）を画像認識する技術は知られている。
しかしながら、対象物品に類似する別の物品が存在する場合には、画像認識で対象物品を複数の候補のうちのいずれであるか決定できない場合がある。
しかしながら、対象物品に類似する別の物品が存在する場合には、画像認識で対象物品を複数の候補のうちのいずれであるか決定できない場合がある。
【0003】
そこで、複数の候補を操作者に提示し、操作者による入力デバイスの操作によって指定された１つの候補を認識結果として決定するようにしている。
このため、操作者は複数候補のうちの１つを指定するための入力デバイスの操作を行わなければならなかった。
このような事情から、複数候補のうちの１つの指定にかかる操作者の手間を軽減できることが望まれていた。
このため、操作者は複数候補のうちの１つを指定するための入力デバイスの操作を行わなければならなかった。
このような事情から、複数候補のうちの１つの指定にかかる操作者の手間を軽減できることが望まれていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１３－８９０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、複数候補のうちの１つの指定にかかる操作者の手間を軽減することを可能とする物品認識装置及び情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の物品認識装置は、撮像デバイス、測定手段、認識手段、選択手段、表示手段、設定手段及び決定手段を備える。測定手段は、撮像デバイスの移動方向及び移動量を測定する。認識手段は、撮像デバイスにより得られた画像に基づいて、当該画像に映り込んでいる物品を認識する。選択手段は、認識手段により認識された物品の候補を選択する。表示手段は、選択手段により選択された候補を関連付けたエリアを一部として含んだ画面を表示デバイスに表示させる。設定手段は、表示手段により表示された画面内に、測定手段により測定された移動方向及び移動量に基づいてカーソル位置を設定する。決定手段は、設定手段により設定されたカーソル位置がエリア内となったことに応じて、当該エリアに関連付けられた候補が画像に映り込んでいる物品であると決定する。
【図面の簡単な説明】
【0007】
【図1】一実施形態に係る取引処理システムの概略構成と、取引処理システムに含まれるユーザ端末の要部回路構成と、を表すブロック図。
【図2】プロセッサによるスマホＰＯＳアプリに基づく情報処理のフローチャート。
【図3】プロセッサによるスマホＰＯＳアプリに基づく情報処理のフローチャート。
【図4】登録画面の一例を表す図。
【図5】選択画面の一例を表す図。
【図6】選択画面の一例を表す図。
【図7】選択画面の一例を表す図。
【発明を実施するための形態】
【0008】
以下、実施の形態の一例について図面を用いて説明する。
図１は本実施形態に係る取引処理システム１００の概略構成と、取引処理システム１００に含まれるユーザ端末１の要部回路構成と、を表すブロック図である。
取引処理システム１００は、ユーザ端末１と取引処理装置２とを通信ネットワーク２００を介して通信可能として構成されている。なお、ユーザ端末１及び取引処理装置２は、それぞれ任意の数が取引処理システム１００に含まれてよいが、図１では１台ずつのみを表している。
図１は本実施形態に係る取引処理システム１００の概略構成と、取引処理システム１００に含まれるユーザ端末１の要部回路構成と、を表すブロック図である。
取引処理システム１００は、ユーザ端末１と取引処理装置２とを通信ネットワーク２００を介して通信可能として構成されている。なお、ユーザ端末１及び取引処理装置２は、それぞれ任意の数が取引処理システム１００に含まれてよいが、図１では１台ずつのみを表している。
【0009】
ユーザ端末１は、客により所持される情報処理端末である。ユーザ端末１は、典型的には客により所有されていて、客によって店舗へと持ち込まれて使用される。ユーザ端末１は、取引処理装置２での取引処理のための客による操作を受け付ける端末装置である。かくしてユーザ端末１の操作者は、主として客である。
取引処理装置２は、ユーザ端末１をユーザインタフェースとして用いて店舗にて客により行われる操作に従って、当該客と店舗とでの商品の売買取引を処理するための情報処理を行う。取引処理装置２は、例えばクラウドサーバとして実現され、複数の店舗での取引を処理する。取引処理装置２は、例えばローカルサーバとして実現され、１つの店舗のみにおける取引を処理するのでもよい。
取引処理装置２は、ユーザ端末１をユーザインタフェースとして用いて店舗にて客により行われる操作に従って、当該客と店舗とでの商品の売買取引を処理するための情報処理を行う。取引処理装置２は、例えばクラウドサーバとして実現され、複数の店舗での取引を処理する。取引処理装置２は、例えばローカルサーバとして実現され、１つの店舗のみにおける取引を処理するのでもよい。
【0010】
通信ネットワーク２００は、インターネット、ＶＰＮ（virtual private network）、ＬＡＮ、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。通信ネットワーク２００としては、一例として、インターネット及び移動体通信網が組み合わせて用いられる。
【0011】
ユーザ端末１は、プロセッサ１１、メインメモリ１２、補助記憶ユニット１３、タッチパネル１４、カメラ１５、モーションセンサ１６、モバイル通信ユニット１７及び伝送路１８等を備える。プロセッサ１１と、メインメモリ１２、補助記憶ユニット１３、タッチパネル１４、カメラ１５、モーションセンサ１６及びモバイル通信ユニット１７とは、伝送路１８を介して通信可能とされている。そして、プロセッサ１１、メインメモリ１２及び補助記憶ユニット１３が伝送路１８により接続されていることによって、ユーザ端末１を制御するためのコンピュータが構成される。
【0012】
プロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従って、ユーザ端末１としての各種の機能を実現するべく各部を制御するための情報処理を実行する。
【0013】
メインメモリ１２は、上記コンピュータの主記憶部分に相当する。メインメモリ１２は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メインメモリ１２は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメインメモリ１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メインメモリ１２は、書き換え可能なメモリ領域を、プロセッサ１１によるワークエリアとして使用する。
【0014】
補助記憶ユニット１３は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１３は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disc drive）、ＳＳＤ（solid state drive）、あるいはその他の周知の各種の記憶デバイスを利用できる。補助記憶ユニット１３は、プロセッサ１１が各種の処理を行う上で使用するデータと、プロセッサ１１での処理によって生成されたデータとを記憶する。補助記憶ユニット１３は、上記の情報処理プログラムを記憶する場合もある。補助記憶ユニット１３は、本実施形態では、情報処理プログラムの１つであるスマホＰＯＳアプリＡＰＡを記憶する。スマホＰＯＳアプリＡＰＡは、スマートフォンなどの情報通信端末を取引処理システム１００のユーザ端末１として機能させるための後述する情報処理の手順について記述されたアプリケーションプログラムである。
【0015】
タッチパネル１４は、任意の画面を表示するとともに、画面に対するタッチによる操作を入力する。つまりタッチパネル１４は、ユーザ端末１の表示デバイス及び入力デバイスとして機能する。タッチパネル１４は、画面に対するタッチによる操作を入力するために、画面へのタッチ位置を検出する機能を備えており、検出手段の一例である。
カメラ１５は、光学系及びイメージセンサを含み、光学系により形成される視野内の像を表した画像データをイメージセンサにより生成する。カメラ１５は、例えばユーザ端末１のメインの筐体に固定されていて、ユーザ端末１の移動に伴ってユーザ端末１と同様に移動する。カメラ１５は、撮像デバイスの一例である。
カメラ１５は、光学系及びイメージセンサを含み、光学系により形成される視野内の像を表した画像データをイメージセンサにより生成する。カメラ１５は、例えばユーザ端末１のメインの筐体に固定されていて、ユーザ端末１の移動に伴ってユーザ端末１と同様に移動する。カメラ１５は、撮像デバイスの一例である。
【0016】
モーションセンサ１６は、ユーザ端末１の動きを検出する。モーションセンサ１６は、ユーザ端末１の移動を物理的に検出する。モーションセンサ１６としては、例えば加速度センサなどの周知のセンサデバイスを用いることができる。
モバイル通信ユニット１７は、通信ネットワーク２００を介したデータ通信のインタフェースである。モバイル通信ユニット１７としては、例えば移動体通信網を介したデータ通信を行うための周知の通信デバイスを利用できる。
伝送路１８は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
モバイル通信ユニット１７は、通信ネットワーク２００を介したデータ通信のインタフェースである。モバイル通信ユニット１７としては、例えば移動体通信網を介したデータ通信を行うための周知の通信デバイスを利用できる。
伝送路１８は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
【0017】
次に以上のように構成された取引処理システム１００の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。例えば、以下の説明では、本実施形態の特徴的な動作を分かり易く説明するために、一部の処理についての説明を省略している。例えば、何らかのエラーが発生した場合に、そのエラーに対処するための処理が行われる場合があるが、そのような処理については記載を省略している。
以下の説明においては、取引処理システム１００により客に提供されるサービスを「スマホＰＯＳサービス」と称する。
以下の説明においては、取引処理システム１００により客に提供されるサービスを「スマホＰＯＳサービス」と称する。
【0018】
客は、スマホＰＯＳサービスを利用するためには、スマホＰＯＳサービスの提供者に対して会員登録を行う。この会員登録により、客を識別するための識別子（以下、会員コードと称する）が決定されるとともに、当該客がスマホＰＯＳサービスを利用するに当たって必要となる各種の会員情報を上記の会員コードに関連付けて表すように、取引処理装置２により管理される会員データベースが更新される。また客は、スマホＰＯＳサービスを利用するためには、自らが所有するスマートフォン等の情報通信端末にスマホＰＯＳアプリＡＰＡをインストールして、ユーザ端末１として利用可能としておく。そして客は、スマホＰＯＳアプリＡＰＡに基づく情報処理を起動した状態のユーザ端末１を持って、スマホＰＯＳサービスの提供対象となっている店舗へと入る。
【0019】
【0020】
図２中のＡＣＴ１としてプロセッサ１１は、チェックインが指示されるのを待ち受ける。そしてプロセッサ１１は、例えば店舗に用意されたチェックイン用の二次元コードがカメラ１５によって撮影されるなどの予め定められた事象が発生すると、チェックインが指示されたとしてＹＥＳと判定し、ＡＣＴ２へと進む。
ＡＣＴ２としてプロセッサ１１は、客が入店した店舗での商品購買に関する取引を開始するためのチェックイン処理を実行する。プロセッサ１１はこのチェックイン処理では、取引処理装置２との通信ネットワーク２００を介しての通信を開始し、取引処理の実行を要求するとともに、取引処理のための各種情報を授受する。
取引処理装置２は、上記のようにしてユーザ端末１から取引処理の開始が要求されると、取引処理を開始する。なお取引処理装置２は、別のユーザ端末１を対象とした取引処理を既に実行中である場合には、その取引処理に並行して、新たな取引処理を開始する。
ＡＣＴ２としてプロセッサ１１は、客が入店した店舗での商品購買に関する取引を開始するためのチェックイン処理を実行する。プロセッサ１１はこのチェックイン処理では、取引処理装置２との通信ネットワーク２００を介しての通信を開始し、取引処理の実行を要求するとともに、取引処理のための各種情報を授受する。
取引処理装置２は、上記のようにしてユーザ端末１から取引処理の開始が要求されると、取引処理を開始する。なお取引処理装置２は、別のユーザ端末１を対象とした取引処理を既に実行中である場合には、その取引処理に並行して、新たな取引処理を開始する。
【0021】
ＡＣＴ３としてプロセッサ１１は、登録画面をタッチパネル１４に表示させる。
図４は登録画面ＳＣＡの一例を表す図である。
登録画面ＳＣＡは、画像ＩＭＡとボタンＢＵＡ，ＢＵＢ，ＢＵＣ，ＢＵＤとを表す。画像ＩＭＡは、登録済みの取引の内容の明細を表す。画像ＩＭＡは図４の例では、「ＡＡＡＡＡ」「ＣＣＣＣＣ」「ＤＤＤＤＤ」及び「ＥＥＥＥＥＥ」なる商品名の商品を１つずつと、「ＢＢＢＢＢ」なる商品名の商品を２つとの、合計６点、３，４３９円分の商品が取引リストに含まれている状態を表している。また画像ＩＭＡは、例えば「ＡＡＡＡＡ」なる商品名の商品の単価が３８０円であることを表している。ボタンＢＵＡは、バーコードスキャンによる商品の登録（以下、バーコード登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＢは、ボタン操作による商品の登録（以下、ボタン登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＣは、画像認識による商品の登録（以下、画像認識登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＤは、会計への移行指示を受けるためのソフトキーである。なお、画像ＩＭＡが表す明細は、取引リストの状態によって逐次変化する。ＡＣＴ３では取引リストはまだ商品を１つも含まないから、ここで表示される登録画面ＳＣＡでは例えば、画像ＩＭＡは、各商品の情報を表さず、合計０点、０円であることを表す画像である。
図４は登録画面ＳＣＡの一例を表す図である。
登録画面ＳＣＡは、画像ＩＭＡとボタンＢＵＡ，ＢＵＢ，ＢＵＣ，ＢＵＤとを表す。画像ＩＭＡは、登録済みの取引の内容の明細を表す。画像ＩＭＡは図４の例では、「ＡＡＡＡＡ」「ＣＣＣＣＣ」「ＤＤＤＤＤ」及び「ＥＥＥＥＥＥ」なる商品名の商品を１つずつと、「ＢＢＢＢＢ」なる商品名の商品を２つとの、合計６点、３，４３９円分の商品が取引リストに含まれている状態を表している。また画像ＩＭＡは、例えば「ＡＡＡＡＡ」なる商品名の商品の単価が３８０円であることを表している。ボタンＢＵＡは、バーコードスキャンによる商品の登録（以下、バーコード登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＢは、ボタン操作による商品の登録（以下、ボタン登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＣは、画像認識による商品の登録（以下、画像認識登録と称する）への移行指示を受けるためのソフトキーである。ボタンＢＵＤは、会計への移行指示を受けるためのソフトキーである。なお、画像ＩＭＡが表す明細は、取引リストの状態によって逐次変化する。ＡＣＴ３では取引リストはまだ商品を１つも含まないから、ここで表示される登録画面ＳＣＡでは例えば、画像ＩＭＡは、各商品の情報を表さず、合計０点、０円であることを表す画像である。
【0022】
ＡＣＴ４としてプロセッサ１１は、バーコード登録が指定されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ５へと進む。
ＡＣＴ５としてプロセッサ１１は、ボタン登録が指定されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ６へと進む。
ＡＣＴ６としてプロセッサ１１は、画像認識登録が指定されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ７へと進む。
ＡＣＴ７としてプロセッサ１１は、登録済みの取引内容の変更が指示されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ８へと進む。
ＡＣＴ８としてプロセッサ１１は、会計指示がなされたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ４へと戻る。
かくしてプロセッサ１１はＡＣＴ４～ＡＣＴ８としては、バーコード登録、ボタン登録又は画像認識登録が指定されるか、あるいは変更指示又は会計指示がなされるのを待ち受ける。
ＡＣＴ５としてプロセッサ１１は、ボタン登録が指定されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ６へと進む。
ＡＣＴ６としてプロセッサ１１は、画像認識登録が指定されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ７へと進む。
ＡＣＴ７としてプロセッサ１１は、登録済みの取引内容の変更が指示されたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ８へと進む。
ＡＣＴ８としてプロセッサ１１は、会計指示がなされたか否かを確認する。そしてプロセッサ１１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ４へと戻る。
かくしてプロセッサ１１はＡＣＴ４～ＡＣＴ８としては、バーコード登録、ボタン登録又は画像認識登録が指定されるか、あるいは変更指示又は会計指示がなされるのを待ち受ける。
【0023】
客は、バーコード登録を行うならば、例えばボタンＢＵＡをタップするなどの予め定められた操作によりバーコード登録を指定する。このような指定が例えばタッチパネル１４により受けられたことに応じてプロセッサ１１は、ＡＣＴ４にてＹＥＳと判定してＡＣＴ９へと進む。
ＡＣＴ９としてプロセッサ１１は、バーコード登録のための処理を実行する。プロセッサ１１は例えば、カメラ１５を起動させて、カメラ１５の撮影画像にバーコードが映り込むのを待つ。客は、登録しようとする商品のバーコードをカメラ１５の視野内に位置させる。プロセッサ１１は、カメラ１５により商品のバーコードが撮影されたならば、当該バーコードが表す商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。
ＡＣＴ１０としてプロセッサ１１は、取引処理装置２からの上記の指示に応じて登録画面ＳＣＡを更新する。そしてプロセッサ１１はこののち、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
ＡＣＴ９としてプロセッサ１１は、バーコード登録のための処理を実行する。プロセッサ１１は例えば、カメラ１５を起動させて、カメラ１５の撮影画像にバーコードが映り込むのを待つ。客は、登録しようとする商品のバーコードをカメラ１５の視野内に位置させる。プロセッサ１１は、カメラ１５により商品のバーコードが撮影されたならば、当該バーコードが表す商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。
ＡＣＴ１０としてプロセッサ１１は、取引処理装置２からの上記の指示に応じて登録画面ＳＣＡを更新する。そしてプロセッサ１１はこののち、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
【0024】
客は、ボタン登録を行うならば、例えばボタンＢＵＢをタップするなどの予め定められた操作によりボタン登録を指定する。このような指定が例えばタッチパネル１４により受けられたことに応じてプロセッサ１１は、ＡＣＴ５にてＹＥＳと判定してＡＣＴ１１へと進む。
ＡＣＴ１１としてプロセッサ１１は、ボタン登録のための処理を実行する。プロセッサ１１は例えば、商品が関連付けられたボタンを配置した画面をタッチパネル１４に表示させる。客は、登録しようとする商品が関連付けられたボタンをタップするなどの予め定められた操作によって商品を指定する。プロセッサ１１は、商品を指定する操作が例えばタッチパネル１４により受けられると、該当の商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そしてプロセッサ１１はこののち、ＡＣＴ１０を上述と同様に実行した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
ＡＣＴ１１としてプロセッサ１１は、ボタン登録のための処理を実行する。プロセッサ１１は例えば、商品が関連付けられたボタンを配置した画面をタッチパネル１４に表示させる。客は、登録しようとする商品が関連付けられたボタンをタップするなどの予め定められた操作によって商品を指定する。プロセッサ１１は、商品を指定する操作が例えばタッチパネル１４により受けられると、該当の商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そしてプロセッサ１１はこののち、ＡＣＴ１０を上述と同様に実行した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
【0025】
客は、画像認識登録を行うならば、例えばボタンＢＵＣをタップするなどの予め定められた操作により画像認証登録を指定する。このような指定が例えばタッチパネル１４により受けられたことに応じてプロセッサ１１は、ＡＣＴ６にてＹＥＳと判定して図３中のＡＣＴ１２へと進む。
ＡＣＴ１２としてプロセッサ１１は、画像認識の処理対象とする画像を取得する。プロセッサ１１は例えば、カメラ１５による動画撮影又は繰り返しの静止画撮影を開始させ、カメラ１５により商品が撮影されるのを待ち受ける。客は、登録しようとする商品をカメラ１５の視野内に位置させる。プロセッサ１１は、カメラ１５により商品のバーコードが撮影されたならば、それによりカメラ１５により生成された画像を取得する。
ＡＣＴ１２としてプロセッサ１１は、画像認識の処理対象とする画像を取得する。プロセッサ１１は例えば、カメラ１５による動画撮影又は繰り返しの静止画撮影を開始させ、カメラ１５により商品が撮影されるのを待ち受ける。客は、登録しようとする商品をカメラ１５の視野内に位置させる。プロセッサ１１は、カメラ１５により商品のバーコードが撮影されたならば、それによりカメラ１５により生成された画像を取得する。
【0026】
ＡＣＴ１３としてプロセッサ１１は、取得した画像に基づき、そこに映り込んでいる商品に関して、複数の商品との類似度をそれぞれ計算する。プロセッサ１１は例えば、取得した画像のうちの商品が映り込んでいる領域を特定する。そして、該当の領域内の画像を解析し、予め定められた複数項目のそれぞれに関する特徴量を抽出する。そしてプロセッサ１１は、上記の抽出した特徴量と、画像認識の対象として予め定められた各種の商品（以下、対象商品と称する）に関して予め定められた特徴量とのマッチングから、各種の対象商品との類似度をそれぞれ計算する。ここで計算される類似度が高い商品ほど、画像に映り込んでいる商品である可能性が高い。従ってプロセッサ１１は、ここで計算される類似度が高い商品として、画像に映り込んでいる商品を認識していることになる。かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは認識手段として機能する。
【0027】
ＡＣＴ１４としてプロセッサ１１は、対象商品の中から登録しようとしている商品の候補商品を選択する。プロセッサ１１は例えば、類似度が高い方の予め定められた数の対象商品を候補商品として選択する。プロセッサ１１は、本実施形態では、上位３位までの類似度が算出されている対象商品を候補商品とすることとする。なおプロセッサ１１は、類似度が基準値に比べて小さい対象商品については、候補商品として選択しないようにしてもよい。つまりプロセッサ１１は、大きな類似度が計算された商品が複数存在する場合、すなわち複数の商品が認識されている場合に、これら複数の商品のうちの予め定められた数の商品を候補商品として選択する。かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは制御手段として機能する。
なお、ＡＣＴ１２～ＡＣＴ１４は、既存の装置で既に行われている処理などの周知の処理を用いることができる。
なお、ＡＣＴ１２～ＡＣＴ１４は、既存の装置で既に行われている処理などの周知の処理を用いることができる。
【0028】
ＡＣＴ１５としてプロセッサ１１は、選択画面をタッチパネル１４に表示させる。選択画面は、候補商品のうちの１つを客に選択させるためのユーザインタフェース画面である。
図５は選択画面ＳＣＢの一例を表す図である。
選択画面ＳＣＢは、エリアＡＲＡ，ＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥを含む。エリアＡＲＡは、選択画面ＳＣＢの中央に位置するエリアである。エリアＡＲＡは、図５の例では矩形であるが、その形状は任意であり、スマホＰＯＳアプリＡＰＡの作成者などによって適宜に定められてよい。エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥは、エリアＡＲＡの４辺のそれぞれに対向する状態で配置された矩形の領域である。
図５は選択画面ＳＣＢの一例を表す図である。
選択画面ＳＣＢは、エリアＡＲＡ，ＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥを含む。エリアＡＲＡは、選択画面ＳＣＢの中央に位置するエリアである。エリアＡＲＡは、図５の例では矩形であるが、その形状は任意であり、スマホＰＯＳアプリＡＰＡの作成者などによって適宜に定められてよい。エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥは、エリアＡＲＡの４辺のそれぞれに対向する状態で配置された矩形の領域である。
【0029】
プロセッサ１１は、エリアＡＲＡで、カメラ１５により得られる動画を表示する。プロセッサ１１は、エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥは、表示色を周囲と異ならせて、各エリアを視認可能とする。プロセッサ１１は、枠線を描画するなどの別の任意の手法で、エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥを視認可能としてもよい。プロセッサ１１は、エリアＡＲＢ，ＡＲＣ，ＡＲＤに３つの候補商品をそれぞれ関連付けて、エリアＡＲＢ，ＡＲＣ，ＡＲＤの内側に関連付けた候補商品の名称の文字列を表す。プロセッサ１１は本実施形態では、最も大きな類似度が計算された候補商品を、エリアＡＲＢに関連付ける。プロセッサ１１は本実施形態では、２番目に大きな類似度が計算された候補商品を、エリアＡＲＣに関連付ける。プロセッサ１１は本実施形態では、３番目に大きな類似度が計算された候補商品を、エリアＡＲＤに関連付ける。つまり図５は、類似度が大きい順に「ジョナゴールド」「フジ」「トマト」がそれぞれ候補商品として選択されている場合の例である。プロセッサ１１は、「キャンセル」なる文字列をエリアＡＲＤに表す。エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥは、ＧＵＩ（graphical user interface）のボタンでもある。そこで以下においては、エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥは、個々を区別する必要が無い場合にはボタンエリアと称する。各ボタンエリアは、それぞれがエリアＡＲＡに隣接していればよく、形状、数及び配置は任意であり、スマホＰＯＳアプリＡＰＡの作成者などによって適宜に定められてよい。
かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは選択画面ＳＣＢを表示デバイスとしてのタッチパネル１４に表示させる表示手段として機能する。
かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは選択画面ＳＣＢを表示デバイスとしてのタッチパネル１４に表示させる表示手段として機能する。
【0030】
ＡＣＴ１６としてプロセッサ１１は、ユーザ端末１の移動方向及び移動量を測定する。プロセッサ１１は例えば、カメラ１５により撮影される動画の時間変化に基づき、オプティカルフローによりユーザ端末１の移動方向及び移動量を算出する。オプティカルフローに関しては、例えば特許文献１に記載された処理を用いることができる。オプティカルフローにより判定される移動方向及び移動量は、実際にはカメラ１５の移動方向及び移動量である。かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは測定手段として機能する。なお、カメラ１５はユーザ端末１の移動に伴ってユーザ端末１と同様に移動するから、カメラ１５の移動方向及び移動量は、ユーザ端末１の移動方向及び移動量でもある。
【0031】
ＡＣＴ１７としてプロセッサ１１は、カーソル位置を設定する。カーソル位置は、選択画面ＳＣＢ内に定めた二次元座標内の任意の位置である。プロセッサ１１は、エリアＡＲＡ内に予め定められた基準位置を、初期のカーソル位置とする。基準位置は、典型的にはエリアＡＲＡの中央であるが、スマホＰＯＳアプリＡＰＡの作成者又はユーザ端末１の利用者などによって任意に定められてよい。そしてプロセッサ１１は、ＡＣＴ１５からＡＣＴ１６を経てＡＣＴ１７へと進んだ場合には、基準位置から、ＡＣＴ１６で判定した移動方向に、ＡＣＴ１６で判定した移動量に応じた離間距離だけ離れた位置として新たなカーソル位置を設定する。かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは設定手段として機能する。
【0032】
ＡＣＴ１８としてプロセッサ１１は、選択画面ＳＣＢを更新する。プロセッサ１１は例えば、基準位置を基端とし、新たに設定したカーソル位置を先端とした矢印を追加して表すように選択画面ＳＣＢを更新する。
図６は更新後の選択画面ＳＣＢの一例を表す図である。
図６の選択画面ＳＣＢは、図５に表した選択画面ＳＣＢをタッチパネル１４に表示していたユーザ端末１が、エリアＡＲＣに向けて移動された場合の一例である。このため図６に表した選択画面ＳＣＢには、エリアＡＲＡの中央からエリアＡＲＣに向けて延びる矢印ＡＳＡが付加されている。
なお選択画面ＳＣＢは、カーソル位置を客が認識可能であればよく、例えば点あるいは固定形状の矢印の表示位置をカーソル位置に応じて移動させるのでもよい。
図６は更新後の選択画面ＳＣＢの一例を表す図である。
図６の選択画面ＳＣＢは、図５に表した選択画面ＳＣＢをタッチパネル１４に表示していたユーザ端末１が、エリアＡＲＣに向けて移動された場合の一例である。このため図６に表した選択画面ＳＣＢには、エリアＡＲＡの中央からエリアＡＲＣに向けて延びる矢印ＡＳＡが付加されている。
なお選択画面ＳＣＢは、カーソル位置を客が認識可能であればよく、例えば点あるいは固定形状の矢印の表示位置をカーソル位置に応じて移動させるのでもよい。
【0033】
ＡＣＴ１９としてプロセッサ１１は、ボタンエリアのいずれかがタップされたか否かを確認する。そしてプロセッサ１１は、エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれかがタップされたことがタッチパネル１４で検出されていなければＮＯと判定し、ＡＣＴ２０へと進む。
ＡＣＴ２０としてプロセッサ１１は、ＡＣＴ１７で新たに設定されたカーソル位置がボタンエリア内であるか否かを確認する。そしてプロセッサ１１は、ＡＣＴ１７で設定したカーソル位置がエリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれにも入っていないならばＮＯと判定し、ＡＣＴ１６へと戻る。そしてプロセッサ１１は、ＡＣＴ１６以降を前述と同様に繰り返す。ただしプロセッサ１１は、ＡＣＴ１７を２度目以降に実行する際には、ＡＣＴ１６で新たに判定した移動方向に、前回にＡＣＴ１７で設定したカーソル位置から、ＡＣＴ１６で新たに判定した移動量に応じた離間距離だけ離れた位置として新たなカーソル位置を設定する。そしてプロセッサ１１は、ＡＣＴ１８を２度目以降に実行する際には、矢印の基端の位置は基準位置のままに、先端の位置のみを新たに設定したカーソル位置とする。
ＡＣＴ２０としてプロセッサ１１は、ＡＣＴ１７で新たに設定されたカーソル位置がボタンエリア内であるか否かを確認する。そしてプロセッサ１１は、ＡＣＴ１７で設定したカーソル位置がエリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれにも入っていないならばＮＯと判定し、ＡＣＴ１６へと戻る。そしてプロセッサ１１は、ＡＣＴ１６以降を前述と同様に繰り返す。ただしプロセッサ１１は、ＡＣＴ１７を２度目以降に実行する際には、ＡＣＴ１６で新たに判定した移動方向に、前回にＡＣＴ１７で設定したカーソル位置から、ＡＣＴ１６で新たに判定した移動量に応じた離間距離だけ離れた位置として新たなカーソル位置を設定する。そしてプロセッサ１１は、ＡＣＴ１８を２度目以降に実行する際には、矢印の基端の位置は基準位置のままに、先端の位置のみを新たに設定したカーソル位置とする。
【0034】
図７は更新後の選択画面ＳＣＢの一例を表す図である。
図７の選択画面ＳＣＢは、図６に表した選択画面ＳＣＢをタッチパネル１４に表示していたユーザ端末１が、さらにエリアＡＲＣに向けて移動された場合の一例である。このため図７に表した選択画面ＳＣＢには、図６における矢印ＡＳＡが、それよりも長い矢印ＡＳＢに置き換えられている。
図７の選択画面ＳＣＢは、図６に表した選択画面ＳＣＢをタッチパネル１４に表示していたユーザ端末１が、さらにエリアＡＲＣに向けて移動された場合の一例である。このため図７に表した選択画面ＳＣＢには、図６における矢印ＡＳＡが、それよりも長い矢印ＡＳＢに置き換えられている。
【0035】
客は、選択画面ＳＣＢが表示されたならば、登録しようとしている商品が、エリアＡＲＢ，ＡＲＣ，ＡＲＤにそれぞれ表された候補商品のいずれであるかを判断し、該当のエリアの方向にユーザ端末１を移動させる。例えば、図５に表す選択画面ＳＣＢが表示され、登録しようとしている商品が「フジ」であるならば、エリアＡＲＣの向き、すなわち右方向へユーザ端末１を移動させる。そして客は、選択画面ＳＣＢに表されている矢印の先端が、判断した候補商品のボタンエリアに到達するようにユーザ端末１の移動を調整する。また客は、登録しようとしている商品が、エリアＡＲＢ，ＡＲＣ，ＡＲＤにそれぞれ表された候補商品のいずれでもない場合や、何らかの事情で認識させた商品の登録を取り止める場合には、ユーザ端末をエリアＡＲＥの方向に移動させる。
【0036】
選択画面ＳＣＢが図７に表す状態であるとき、ＡＣＴ１７で新たに設定されたカーソル位置がエリアＡＲＣ内となっている。このように、ＡＣＴ１７で新たに設定されたカーソル位置がエリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれかに入っているならば、ボタンエリア内であるとしてＡＣＴ２０にてＹＥＳと判定し、ＡＣＴ２１へと進む。
ＡＣＴ２１としてプロセッサ１１は、キャンセル指示であるか否かを確認する。そしてプロセッサ１１は、ＡＣＴ１７で新たに設定されたカーソル位置が入っているのがエリアＡＲＥではないならばＮＯと判定し、ＡＣＴ２２へと進む。
ＡＣＴ２１としてプロセッサ１１は、キャンセル指示であるか否かを確認する。そしてプロセッサ１１は、ＡＣＴ１７で新たに設定されたカーソル位置が入っているのがエリアＡＲＥではないならばＮＯと判定し、ＡＣＴ２２へと進む。
【0037】
ＡＣＴ２２としてプロセッサ１１は、カーソル位置が入っているボタンエリアに関連付けられた候補商品を取引の対象として追加するよう取引処理装置２に要求する。このときプロセッサ１１は、カーソル位置が入っているボタンエリアに関連付けられた候補商品を、画像に映り込んでいる商品であると決定していることになる。かくしてスマホＰＯＳアプリＡＰＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは決定手段として機能する。
なおプロセッサ１１は、ＡＣＴ１４では類似度が基準値に比べて小さい対象商品については候補商品として選択しないようにし、かつこれにより選択した候補商品が１つのみである場合には、ＡＣＴ１５～ＡＣＴ２１をパスし、選択した１つの候補商品が指定されたとしてＡＣＴ２２を実行してもよい。
なおプロセッサ１１は、ＡＣＴ１４では類似度が基準値に比べて小さい対象商品については候補商品として選択しないようにし、かつこれにより選択した候補商品が１つのみである場合には、ＡＣＴ１５～ＡＣＴ２１をパスし、選択した１つの候補商品が指定されたとしてＡＣＴ２２を実行してもよい。
【0038】
取引処理装置２は、ユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そこでプロセッサ１１は、図２中のＡＣＴ１０へと進み、取引処理装置２からの指示に応じて、タッチパネル１４での表示を更新された登録画面ＳＣＡに戻した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
【0039】
プロセッサ１１は、ＡＣＴ１７で新たに設定されたカーソル位置が入っているのがエリアＡＲＥであるならば、ＡＣＴ２１にてＹＥＳと判定し、ＡＣＴ１２へと戻り、ＡＣＴ１２以降の処理を前述と同様に繰り返す。つまりプロセッサ１１は、今回の画像認識の結果を破棄し、画像認識をやり直す。
【0040】
客は、ユーザ端末１を移動させるのに代えて、エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれかをタップするのでも構わない。エリアＡＲＢ，ＡＲＣ，ＡＲＤ，ＡＲＥのいずれかがタップされたことがタッチパネル１４で検出されたならば、プロセッサ１１はＡＣＴ１９にてＹＥＳと判定し、ＡＣＴ２３へと進む。
【0041】
ＡＣＴ２３としてプロセッサ１１は、キャンセル指示であるか否かを確認する。そしてプロセッサ１１は、タップされたのがエリアＡＲＥではないならばＮＯと判定し、ＡＣＴ２４へと進む。
ＡＣＴ２４としてプロセッサ１１は、タップされたボタンエリアに関連付けられた候補商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そこでプロセッサ１１は、図２中のＡＣＴ１０へと進み、取引処理装置２からの指示に応じて、タッチパネル１４での表示を更新された登録画面ＳＣＡに戻した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
ＡＣＴ２４としてプロセッサ１１は、タップされたボタンエリアに関連付けられた候補商品を取引の対象として追加するよう取引処理装置２に要求する。取引処理装置２は、当該のユーザ端末１からの要求に応じて取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そこでプロセッサ１１は、図２中のＡＣＴ１０へと進み、取引処理装置２からの指示に応じて、タッチパネル１４での表示を更新された登録画面ＳＣＡに戻した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
【0042】
プロセッサ１１は、タップされたのがエリアＡＲＥであるならば、ＡＣＴ２３にてＹＥＳと判定し、ＡＣＴ１２へと戻り、ＡＣＴ１２以降の処理を前述と同様に繰り返す。つまりプロセッサ１１は、今回の画像認識の結果を破棄し、画像認識をやり直す。
以上のように、客は、バーコードスキャン、ボタン操作又は画像認識を適宜に用いて取引の対象とする商品を登録して行くことができる。
以上のように、客は、バーコードスキャン、ボタン操作又は画像認識を適宜に用いて取引の対象とする商品を登録して行くことができる。
【0043】
客は、既に取引対象とされている商品についての数量を変更する場合は、登録画面ＳＣＡ上で該当商品の数量が表された領域をタップした上で、変更後の数量を選択する。このような取引内容の変更を指示するための予め定められた操作が行われたならばプロセッサ１１は、図２中のＡＣＴ７にてＹＥＳと判定してＡＣＴ２５へと進む。
ＡＣＴ２５としてプロセッサ１１は、変更の指示に応じて取引内容を変更するための変更処理を実行する。プロセッサ１１は例えば、数量の変更、あるいは商品の削除などを取引処理装置２に対して要求する。この要求に応じて取引処理装置２は、取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そしてプロセッサ１１はこののち、ＡＣＴ１０を上述と同様に実行した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
ＡＣＴ２５としてプロセッサ１１は、変更の指示に応じて取引内容を変更するための変更処理を実行する。プロセッサ１１は例えば、数量の変更、あるいは商品の削除などを取引処理装置２に対して要求する。この要求に応じて取引処理装置２は、取引リストを更新する。そして取引処理装置２は、登録画面ＳＣＡを、更新後の取引リストに応じた内容に更新するようにユーザ端末１に指示する。そしてプロセッサ１１はこののち、ＡＣＴ１０を上述と同様に実行した上で、ＡＣＴ４～ＡＣＴ８の待ち受け状態に戻る。
【0044】
客は、会計に進むことを希望するならば、登録画面ＳＣＡ上のボタンＢＵＤをタップするなどの予め定められた操作により会計を指示する。これに応じてプロセッサ１１はＡＣＴ８にてＹＥＳと判定し、ＡＣＴ２６へと進む。
ＡＣＴ２６としてプロセッサ１１は、会計処理を実行する。プロセッサ１１は例えば、取引処理装置２に対して会計を要求した上で、取引処理装置２との連携によって取引を会計するための予め定められた処理を実行する。
ＡＣＴ２６としてプロセッサ１１は、会計処理を実行する。プロセッサ１１は例えば、取引処理装置２に対して会計を要求した上で、取引処理装置２との連携によって取引を会計するための予め定められた処理を実行する。
【0045】
ＡＣＴ２７としてプロセッサ１１は、取引処理装置２との連携によって、スマホＰＯＳサービスの利用を終了するための予め定められたチェックアウト処理を実行する。
なお、会計処理及びチェックアウト処理は、例えば既存の別のスマホＰＯＳサービスで行われている処理と同様であってよい。
そしてプロセッサ１１は、チェックアウト処理を終えたならば、ＡＣＴ１の待ち受け状態に戻る。
なお、会計処理及びチェックアウト処理は、例えば既存の別のスマホＰＯＳサービスで行われている処理と同様であってよい。
そしてプロセッサ１１は、チェックアウト処理を終えたならば、ＡＣＴ１の待ち受け状態に戻る。
【0046】
以上のようにユーザ端末１は、選択画面ＳＣＢ内に設定したカーソル位置をカメラ１５の移動方向及び移動量に基づいて変化させて、当該カーソル位置が、候補商品が関連付けられたエリアＡＲＢ，ＡＲＣ，ＡＲＤのいずれかの内側となった場合に、該当のエリアに関連付けられた商品を認識結果として決定する。かくして客は、登録しようとする商品を撮影するために該当の商品に向けているカメラ１５を指定したい候補商品が関連付けられているエリアにカーソル位置が移動するように移動させるべく、ユーザ端末１を移動させればよく、その操作を少ない手間で済ませることができる。
【0047】
またユーザ端末１は、カメラ１５で得られた画像に基づくオプティカルフローによりカメラ１５の移動方向及び移動量を判定するので、カメラ１５の移動方向及び移動量の判定のためのセンサを設ける必要がない。
【0048】
またユーザ端末１は、カーソル位置が、エリアＡＲＥの内側となった場合に、認識をキャンセルする。かくして客は、候補商品のいずれかとして登録しようとする商品を登録しないことを決めたならば、登録しようとする商品を撮影するために該当の商品に向けているカメラ１５をエリアＡＲＥにカーソル位置が移動するように移動させるべく、ユーザ端末１を移動させればよく、その操作を少ない手間で済ませることができる。
【0049】
またユーザ端末１は、エリアＡＲＢ，ＡＲＣ，ＡＲＤのいずれかの内側がタップされた場合にも、そのエリアに関連付けられた商品を認識結果として決定する。かくして客は、選択画面ＳＣＢを容易にタップ可能であれば、タップによる候補商品の指定を行うこともできる。
【0050】
この実施形態は、次のような種々の変形実施が可能である。
ユーザ端末１の移動方向及び移動量は、モーションセンサ１６を用いて測定されてもよい。
ユーザ端末１の移動方向及び移動量は、モーションセンサ１６を用いて測定されてもよい。
【0051】
操作者により移動可能とされてカメラ１５を備えた第１のユニットと、この第１のユニットとは別のユニットとに分離された形態の装置として実現されてもよい。この場合には、第１のユニットの移動方向及び移動量を測定する。一例としては、ＰＯＳ端末用のハンディスキャナにカメラ１５を備えて、ハンディスキャナの移動方向及び移動量を測定する。
【0052】
取引の対象として登録する商品の認識とは異なる目的での商品の認識を行う物品認識別装置として実現されてもよい。
【0053】
商品ではない物品の認識を行う物品認識装置として実現されてもよい。
【0054】
物品の認識結果を、他のＰＯＳ端末などの任意の装置で利用するべく出力する物品認識装置として実現されてもよい。
【0055】
取引リストは、ユーザ端末１にてプロセッサ１１により作成、更新されて、補助記憶ユニット１３に記憶されてもよい。あるいは取引リストは、取引処理装置２に記憶されているものと同等のコピーが、ユーザ端末１の補助記憶ユニット１３に記憶されてもよい。
【0056】
情報処理によりプロセッサ１１が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
【0057】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0058】
１…ユーザ端末、２…取引処理装置、１１…プロセッサ、１２…メインメモリ、１３…補助記憶ユニット、１４…タッチパネル、１５…カメラ、１６…モーションセンサ、１７…モバイル通信ユニット、１８…伝送路、１００…取引処理システム、２００…通信ネットワーク。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
