知財求人 - 知財ポータルサイト「IP Force」
▶ キヤノンマーケティングジャパン株式会社の特許一覧 ▶ キヤノンＩＴソリューションズ株式会社の特許一覧
特開2023-37712情報処理システム、情報処理システムの制御方法、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023037712
(43)【公開日】2023-03-16
(54)【発明の名称】情報処理システム、情報処理システムの制御方法、プログラム
(51)【国際特許分類】
G06Q 30/0601 20230101AFI20230309BHJP
G07G 1/12 20060101ALI20230309BHJP
G07G 1/14 20060101ALI20230309BHJP
【ＦＩ】
G06Q30/06 340
G07G1/12 321L
G07G1/14
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021144452
(22)【出願日】2021-09-06
(71)【出願人】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(71)【出願人】
【識別番号】592135203
【氏名又は名称】キヤノンＩＴソリューションズ株式会社
(74)【代理人】
【識別番号】100189751
【弁理士】
【氏名又は名称】木村 友輔
(72)【発明者】
【氏名】片岡 新
【テーマコード（参考）】
3E142
5L049
【Ｆターム（参考）】
3E142AA10
3E142CA20
3E142FA01
3E142GA16
3E142JA02
5L049BB44
5L049BB56
(57)【要約】
【課題】 商品の管理や販売に関するより好適なシステムを提供する
【解決手段】 情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有する。
【選択図】 図１
【解決手段】 情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする情報処理システム。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする情報処理システム。
【請求項2】
前記端末装置は、前記電子機器とは直接の通信確立を行わないことを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記情報処理装置の前記第２の制御手段は、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする請求項１または２に記載の情報処理システム。
【請求項4】
前記情報処理装置の前記第２の制御手段は、前記関連付け処理を行うと、前記陳列場所情報に対応する前記端末装置に、前記関連付け処理を行った旨の通知を送信するように制御し、
前記端末装置の前記第１の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項３に記載の情報処理システム。
前記端末装置の前記第１の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項３に記載の情報処理システム。
【請求項5】
前記端末装置の前記第１の制御手段は、
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項４に記載の情報処理システム。
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項４に記載の情報処理システム。
【請求項6】
前記情報処理装置の前記第２の制御手段は、前記電子機器に設けられた撮像手段で撮像された画像から取得された前記陳列場所情報を前記電子機器から受信することを特徴とする請求項３乃至５に記載の情報処理システム。
【請求項7】
前記電子機器から受信する前記陳列場所情報は、前記撮像手段で一次元コードまたは二次元コードを撮像することにより取得されることを特徴とする請求項６に記載の情報処理システム。
【請求項8】
前記電子機器から受信する前記陳列場所情報は、ユーザーからの操作入力と前記電子機器の位置情報の少なくとも一方に基づいて取得されることを特徴とする請求項３乃至５に記載の情報処理システム。
【請求項9】
前記検知手段は、前記陳列場所を撮影した画像に基づいて検知を行うことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項10】
前記検知手段は、前記陳列場所の重量の変化、前記陳列場所に関する赤外線センサーからの出力、前記商品に添付されたＩＣタグとの通信の結果のいずれか一つに基づいて検知を行うことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
【請求項11】
前記電子機器は、前記情報処理装置から受信した前記商品情報が表す商品を購入するための決済指示を受け付ける受付手段を更に有し、
前記情報処理装置の前記第２の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
前記情報処理装置の前記第２の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
【請求項12】
前記電子機器を更に含むことを特徴とする請求項１乃至１１のいずれか1項に記載の情報処理システム。
【請求項13】
情報処理装置と、端末装置と、を含む情報処理システムの制御方法であって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御ステップと
を有することを特徴とする情報処理システムの制御方法。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御ステップと
を有することを特徴とする情報処理システムの制御方法。
【請求項14】
１つ以上のコンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人または少ない店員で商品の管理や販売が可能なシステムに関する。
【背景技術】
【0002】
従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。
【0003】
特許文献１には、重量センサーが備えられた商品棚に、それぞれＲＦＩＤタグが添付された複数の商品を配置した販売システム（商品管理装置）が提案されている。商品棚の重量の変化を検知すると、重量が変化した商品棚に置かれていた商品であって、かつ、ＲＦＩＤタグの受信強度が変化した商品を、物理的に移動した商品（購入者が手に取った可能性のある商品）として特定する。精算の際には、ＲＦＩＤリーダーによって、買い物カゴの中に入っている商品に添付されたＲＦＩＤタグを読み取ることで合計金額を算出して商品管理装置の表示部に表示する。そして、購入者が支払額読み取り部に金銭を投入することで精算が行われる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１６００４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載のシステムは、例えば、商品毎にＲＦＩＤタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、というものであった。販売システムの導入コストや設置スペースの削減などを考慮すると、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できることが課題となる。
【0006】
本発明は上記課題の少なくとも１つに鑑み、商品の管理や販売に関するより好適なシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、商品の管理や販売に関するより好適なシステムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態の販売システムのシステム構成図である。
【図2】本実施形態の販売システムに含まれる各装置のハードウェア構成図である。
【図3】購入者端末１００ａにおける処理フローチャートである。
【図4】サーバ装置１００ｂにおける処理フローチャートである。
【図5】サーバ装置１００ｂで管理している情報を説明する図である。
【図6】エッジＰＣ１００ｃにおける処理フローチャートである。
【図7】本実施形態の販売システムでの処理の例のシーケンス図である。
【図8】購入者端末１００ａにおける画面表示例である。
【発明を実施するための形態】
【0010】
特許文献１に記載のシステムは、例えば、商品毎にＲＦＩＤタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び／または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。
【0011】
本実施形態では上記課題の少なくとも１つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。
【0012】
以下、図面を参照して本発明の好適な実施形態を説明する。
【0013】
図１に、本実施形態の情報処理システム（販売システム）のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末１００ａ（電子機器）、サーバ装置１００ｂ（情報処理装置）、エッジＰＣ１００ｃ（情報処理装置としての端末装置）が含まれる。購入者端末１００ａはインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。また、エッジＰＣ１００ｃもインターネットを介して、あるいは直接、サーバ装置１００ｂと通信可能である。一方、購入者端末１００ａとエッジＰＣ１００ｃは直接通信を行う必要はない。
【0014】
商品１３１を含む１つ以上（少なくとも１つ）の商品が、商品の陳列場所（載置する場所を含む）の一例としての商品棚である棚１３０に載置（陳列）されている。また、棚１３０自体、あるいは棚１３０の近傍に、棚１３０の識別情報（棚ＩＤ）を持つＱＲコード（商標）１６０が掲示されている。本実施形態では棚１３０には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。
【0015】
棚１３０に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ１４０が設置される。カメラ１４０は、カメラ１４０で棚１３０からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジＰＣ１００ｃは棚１３０に対応付けられており、カメラ１４０で撮影された画像を取得可能なように、有線または無線通信でカメラ１４０と接続されている。本実施形態ではエッジＰＣと商品棚を１対１で対応づけて処理する例を説明するが、エッジＰＣ１台に対して複数の商品棚を対応付けて処理してもよい。
【0016】
エッジＰＣ１００ｃは、カメラ１４０から送信された撮影画像（映像）を解析し、棚１３０から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置１００ｂに送信する。
【0017】
購入者１２０は、自身の保有するスマートフォンなどの購入者端末１００ａでＱＲコード１６０を撮影することで、棚ＩＤを取得する。そして棚ＩＤと購入者１２０の識別情報（ユーザーＩＤ）とをサーバ装置１００ｂに送信する。
【0018】
サーバ装置１００ｂでは、購入者端末１００ａから受信した棚ＩＤとユーザーＩＤに基づき、購入者１２０のユーザーＩＤと、棚１３０の棚ＩＤとを関連付ける（すなわち、購入者１２０と棚１３０を関連付ける）。以下、ユーザーＩＤと棚ＩＤとを関連付ける（関連付けて記憶する）処理をチェックイン処理、関連付いた状態をチェックイン状態（チェックインされた状態）と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置１００ｂから購入者端末１００ａとエッジＰＣ１００ｂに通知する。この状態で購入者１２０が棚１３０に置かれた商品を取り出して良い状態となる。購入者１２０が棚１３０に置かれた商品を手に取って取り出すと、それをエッジＰＣ１００ｃがカメラ１４０で撮影された画像に基づいて検知し、サーバ装置１００ｂに検知結果を送信する。サーバでは取り出された商品を特定し、棚１３０と関連付けられた購入者１２０の仮想のカート（買い物かご。以下、単にカートと称する）に取り出された商品を追加する。カートの状態はサーバ装置１００ｂから購入者端末１００ａに送信され、購入者端末１００ａで表示されるため、購入者１２０は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末１００ａを操作して決済処理を行うと、サーバ装置１００ｂはインターネット上の決済サービス１７０を呼び出して決済を行う。このようにして、購入者１２０は購入者端末１００ａでＱＲコード１６０を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。
【0019】
図２（ａ）に、本発明を適用可能な装置の一例としての購入者端末１００ａの構成の一例を示す。購入者端末１００ａは購入者であるユーザーが持つ電子機器であり、スマートフォン（携帯電話端末）やタブレットＰＣなどを用いて構成可能なものである。
【0020】
図２において、内部バス１５０ａに対してＣＰＵ１０１ａ、メモリ１０２ａ、不揮発性メモリ１０３ａ、画像処理部１０４ａ、ディスプレイ１０５ａ、操作部１０６ａ、記録媒体Ｉ／Ｆ１０７ａ、外部Ｉ／Ｆ１０９ａ、通信Ｉ／Ｆ１１０ａが接続されている。内部バス１５０ａに接続される各部は、内部バス１５０ａを介して互いにデータのやりとりを行うことができるようにされている。
【0021】
メモリ１０２ａは、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１ａは、例えば不揮発性メモリ１０３ａに格納されるプログラムに従い、メモリ１０２ａをワークメモリとして用いて、購入者端末１００ａの各部を制御する。不揮発性メモリ１０３ａには、画像データや音声データ、その他のデータ、ＣＰＵ１０１ａが動作するための各種プログラムなどが格納される。不揮発性メモリ１０３ａは例えばフラッシュメモリやＲＯＭなどで構成される。
【0022】
画像処理部１０４ａは、ＣＰＵ１０１ａの制御に基づいて、不揮発性メモリ１０３ａや記録媒体１０８ａに格納された画像や、外部Ｉ／Ｆ１０９ａや通信Ｉ／Ｆ１１０ａを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部１０４ａが行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４ａは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４ａを用いずにＣＰＵ１０１ａがプログラムに従って画像処理を施すことも可能である。
【0023】
ディスプレイ１０５ａは、ＣＰＵ１０１ａの制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１ａは、プログラムに従い表示制御信号を生成し、ディスプレイ１０５ａに表示するための映像信号を生成してディスプレイ１０５ａに出力するように購入者端末１００ａの各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。なお、購入者端末１００ａ自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５ａは外付けのモニタ（テレビなど）で構成してもよい。
【0024】
操作部１０６ａは、ユーザー操作を受け付けるための入力デバイスである。操作部１００６ａには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル７０ａといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル７０ａは、ディスプレイ１０５ａに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【0025】
記録媒体Ｉ／Ｆ１０７ａは、メモリーカードなどの記録媒体１０８ａが装着可能とされ、ＣＰＵ１０１ａの制御に基づき、装着された記録媒体１０８ａからのデータの読み出しや、当該記録媒体１０８ａに対するデータの書き込みを行う。外部Ｉ／Ｆ１０９ａは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０ａは、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【0026】
カメラ部１１２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。カメラ部１１２ａには、ズームレンズやフォーカスレンズを含むレンズ群（撮影レンズ）、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部１０４ａは、カメラ部１１２ａで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部１０４ａにより得られた演算結果に基づいてＣＰＵ１０１ａが露光制御、測距制御、ＡＷＢ（オートホワイトバランス）処理を行う。カメラ部１１２ａで撮像され、画像処理部１０４ａで画像処理された表示用の画像データはディスプレイ１０５ａにより表示される。カメラ部１１２ａで撮像され、Ａ／Ｄ変換器によって一度Ａ／Ｄ変換されメモリ１０２ａに蓄積されたデジタル信号をＤ／Ａ変換器でアナログ変換し、ディスプレイ１０５ａに逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。ＣＰＵ１０１ａは、操作部１０６ａで行われたユーザー操作に基づく撮影準備指示に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ処理等の動作を開始するように、カメラ部１１２ａ、画像処理部１０４ａを制御する。ＣＰＵ１０１ａは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部１０４ａで画像処理して画像ファイルを生成し、記録媒体１０８ａに記録するまでの一連の撮影処理（本撮影）の動作を開始ように制御する。撮影指示は、操作部１０６ａに対するユーザー操作によって行うことができる。カメラ部１１２ａは、静止画及び動画の撮影が可能である。
【0027】
図２（ｂ）に、本発明を適用可能な装置の一例としてのサーバ装置１００ｂの構成の一例を示す。サーバ装置１００ｂは購入者端末１００ａ及びエッジＰＣ１００ｃと通信可能な情報処理装置であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。サーバ装置１００ｂが有する構成である、符号１０１ｂ～１０４ｂ、１０６ｂ～１１０ｂ、１５０ｂが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置１００ｂはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置１００ｂとして用いてもよい。
【0028】
図２（ｃ）に、本発明を適用可能な装置の一例としてのエッジＰＣ１００ｃの構成の一例を示す。エッジＰＣ１００ｃはサーバ装置１００ｂと通信可能な端末装置（情報処理装置）であり、パーソナルコンピュータ（ＰＣ）などを用いて構成可能なものである。エッジＰＣ１００ｃが有する構成である、符号１０１ｃ～１０４ｃ、１０６ｃ～１１０ｃ、１５０ｃが示す構成は、前述した購入者端末１００ａが有する符号１０１ａ～１０４ａ、１０６ａ～１１０ａ、１５０ａが示す構成と同様である。従って詳細な説明を省略する。また、エッジＰＣ１００ｃはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のＰＣ本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジＰＣ１００ｃとして用いてもよい。音声出力部１１３ｃはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部１１３ｃから出力する通知音または音声メッセージによって、購入者１２０に各種ガイダンスや警告などの情報を通知する（認識させる）ことができる。
【0029】
図３に、購入者端末１００ａにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。購入者１２０が棚１３０の商品を購入するべく、購入者端末１００ａにおけるＱＲコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム（以下、単に購入アプリと称する）を起動すると図３の処理が開始される。
【0030】
Ｓ３０１では、ＣＰＵ１０１ａは、ＱＲコードの読み取り画面にカメラ部１１２ａで撮影したＬＶ画像を表示する。図８（ａ）に、購入アプリによる、ディスプレイ１０５ａ（タッチパネル７０ａ）におけるＱＲコードの読み取り画面の表示例を示す。メッセージ８０１はＱＲコード１６０を購入者端末１００ａに読み取らせる（撮影範囲にＱＲコード１６０を収めるようにフレーミングする）ことを購入者１２０に促すガイダンスメッセージである。例えば、「商品棚に貼られているＱＲコードを読み取らせてください」と表示される。枠８０２は、ＱＲコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン８０３は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン８０３は、購入者１２０のユーザーＩＤに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、ＱＲコードの読み取り画面にはカメラ部１１２ａで撮影されているＬＶ画像が表示され、メッセージ８０１、枠８０２、カートアイコン８０３はＬＶ画像に重畳して表示される。
【0031】
Ｓ３０２では、ＣＰＵ１０１ａは、不揮発性メモリ１０３ａに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはＳ３０３に進み、そうでない場合（カートが空、あるいはカート情報が生成されていない初期状態）にはＳ３０４へ進む。
【0032】
Ｓ３０４では、ＣＰＵ１０１ａは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン８０３へのタッチ操作があった場合にはＳ３３０へ進み、そうでない場合にはＳ３０４へ進む。
【0033】
Ｓ３０４では、ＣＰＵ１０１ａは、ＱＲコードが撮影されてＱＲコードの持つ情報を取得できたか否かを判定する。購入者１２０が購入者端末１００ａをフレーミングしたことにより撮影範囲内にＱＲコード１６０が収まり、ＬＶ画像として撮影された画像からＱＲコード１６０を取得し、解析して、ＱＲコード１６０の持つ情報を取得できた場合にはＳ３１０に進む。そうでない場合にはＳ３０５に進む。
【0034】
Ｓ３０５では、ＣＰＵ１０１ａは、終了イベント（例えば、ＱＲコードの読み取り画面を閉じる操作）があったか否かを判定する。終了イベントが無い場合にはＳ３０２に戻って処理を繰り返し、終了イベントがあった場合には図３の処理を終了する。
【0035】
Ｓ３１０では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が棚ＩＤを含むか否かを判定する。ＱＲコードの情報が棚ＩＤを含まない場合とは、撮影されたＱＲコードが本実施形態の販売システムとは関係のないＱＲコードであった場合である。棚ＩＤを含む場合はＳ３１２に進み、棚ＩＤを含まない場合はＳ３１１に進んでエラー表示を行う、あるいは、本システムとは別の処理（ＱＲコードに基づく処理）を行う。
【0036】
Ｓ３１２では、ＣＰＵ１０１ａは、Ｓ３０４で取得したＱＲコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたＱＲコードが棚ＩＤの情報を持っていた場合、ディスプレイ１０５ａに「６７８９０番の棚にチェックインしますか？」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「６７８９０番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、ＱＲコードの情報が示す処理の実行を決定する操作があったと判定してＳ３１３に進む。「いいえ」が選択されるとＳ３０２に戻る。なお、ＱＲコード１６０に、購入アプリを起動する、あるいはインターネット上のＷＥＢアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のＱＲコードリーダーでＱＲコード１６０を読み取り、決定指示を受け付けた場合に購入アプリまたはＷＥＢアプリに従ってＳ３１３以降の処理を行う。また、Ｓ３１２の処理を省き、読み取ったＱＲコードに棚ＩＤが含まれていると判定した場合（Ｓ３１０Ｙｅｓ）に、購入者１２０からの操作（決定指示の操作）を待つことなくＳ３１３の処理を行ってもよい。
【0037】
Ｓ３１３では、ＣＰＵ１０１ａは、読み取ったＱＲコードから取得した棚ＩＤと、購入者１２０を識別するためのユーザーＩＤを含む、チェックインのリクエスト情報をサーバ装置１００ｂに送信する。棚ＩＤは、陳列場所である棚１３０を識別するための陳列場所情報である。ユーザーＩＤは本実施形態では、購入アプリへのログインＩＤ（予め記憶されていたもの、あるいは購入アプリ起動時に購入者１２０が入力したもの）とする。ユーザーＩＤはこれに限るものではなく、棚１３０にチェックインしている購入者１２０を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーＩＤとして例えば、購入者端末１００ａのＳＳＩＤ、ＳＮＳなどの連携している他のサービスのアカウント情報、購入者端末１００ａのログインアカウントの情報などを用いてもよい。すなわち、ユーザーＩＤは、購入者端末１００ａあるいは購入者１２０を識別するためのユーザー情報である。購入者端末１００ａからサーバ装置１００ｂに棚ＩＤとユーザーＩＤを送信すると、サーバ装置１００ｂにおいてチェックインを試み、サーバ装置１００ｂからチェックインできたかどうかの情報が返送されてくる。
【0038】
なお、本実施形態では購入者端末１００ａでの棚ＩＤの取得方法として、二次元コードであるＱＲコード１６０を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚ＩＤを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚ＩＤを、購入者端末１００ａのディスプレイ１０５ａに表示される棚ＩＤの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末１００ａのＧＰＳ測位ユニットなどの位置情報取得部（不図示）から取得された購入者端末１００ａの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも２つを組み合わせて棚ＩＤを取得してもよい。
【0039】
Ｓ３１４では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者１２０とは別のユーザーがすでに棚１３０にチェックインしていた場合、購入者１２０は棚１３０にはチェックインできないものとする。チェックイン不可通知を受信した場合にはＳ３１５に進み、そうでない場合には３１６に進む。
【0040】
Ｓ３１５では、ＣＰＵ１０１ａは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ１０５ａに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び／または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚１３０に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが（すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが）、本実施形態では扉を設けていない。そのため棚１３０の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚１３０の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者１２０が認識することができる。また、本実施形態のように、１人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚１３０から商品を取り出した利用者が誰なのか判別できなくなる（購入者の混同が起こる）ことも抑止することができる。
【0041】
Ｓ３１６では、ＣＰＵ１０１ａは、サーバ装置１００ｂから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはＳ３１７に進み、そうでない場合には３１４に戻る。
【0042】
Ｓ３１７では、ＣＰＵ１０１ａは、Ｓ３０２と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはＳ３３０へ進み、そうでない場合にはＳ３２０に進む。
【0043】
Ｓ３２０では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに空カート表示を行う。空カート表示の表示例を図８（ｂ）に示す。
【0044】
表示アイテム８１０は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。
【0045】
ガイダンス８１１は、ユーザーである購入者１２０に、棚１３０から商品を取り出すことを促すガイド表示である。図８（ｂ）の例では、「商品棚から商品を取り出してください」との文字列（メッセージ）が表示される。本実施形態の販売システムにおいては、商品棚１３０に扉やカバーを設けていない。従って、外観上は商品棚１３０を取り出して良い状態であるか否かを購入者１２０（ユーザー）が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス８１１を表示することで、購入者１２０は商品を棚１３０から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末１００ａのディスプレイ１０５ａにガイダンス８１１を表示することで、エッジＰＣ１００ｃの音声出力部１１３ｃでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境（静かにすべき環境、あるいは逆に雑音の大きい環境）であっても、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。また、エッジＰＣ１００ｃにディスプレイを接続したり、棚１３０付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者１２０に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス８１１は、購入者１２０に棚１３０からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末１００ａからの音声出力によるガイダンスでもよい。
【0046】
表示アイテム８１２はカートにある商品の合計金額を示す。図８（ｂ）の例では、カートに商品は無いので０円である旨が表示される。
【0047】
購入指示アイコン８１３は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン（表示アイテム）である。図８（ｂ）の例では、カートに商品が無く、何も購入できないため、グレーアウト（非アクティブ表示）されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。
【0048】
中止指示アイコン８１４は、購入動作（買い物）のキャンセル指示を受け付けるタッチアイコン（表示アイテム）である。
【0049】
棚移動アイテム８１５は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン（表示アイテム）である。
【0050】
Ｓ３２１では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３２２に進み、そうでない場合にはＳ３２５に進む。
【0051】
Ｓ３２２では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。
【0052】
Ｓ３２３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはＳ３２４にすすみ、そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。
【0053】
Ｓ３２４では、ＣＰＵ１０１ａは、メモリ１０２ａに保持したカート情報をクリア（消去）し、ディスプレイ１０５ａにチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。図８（ｄ）にチェックアウト表示の表示例を示す。チェックアウト表示には、購入（買い物）に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ８３０が表示される。チェックアウト表示を所定時間（例えば５秒）表示した後、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。
【0054】
Ｓ３２５では、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３２８へ進む。
【0055】
Ｓ３２６では、ＣＰＵ１０１ａは、棚移動操作が行われたことを示す棚移動指示をサーバ装置１００ｂに送信する。
【0056】
Ｓ３２７では、ＣＰＵ１０１ａは、サーバ装置１００ｂからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のＱＲコードを読み取るため、Ｓ３０１のＬＶ表示（ＱＲコードの読み取り画面）に戻る。そうでない場合にはＳ３２３でチェックアウト完了通知を受信するのを待つ。
【0057】
Ｓ３２８では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３２１へ進む。
【0058】
なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン８１３へのタッチ操作を受け付けない（無視する）例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン８１３へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示（Ｓ３２０の表示とは異なる第２の表示）を行ってもよい。例えば、ガイダンス８１１を点滅させたり色を変えたりするなどしてＳ３２０とは異なる表示形態で強調表示したり、ガイダンス８１１とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン８１３が操作された場合、購入者１２０が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。
【0059】
【0060】
商品一覧８２０は、サーバ装置１００ｂから受信した更新通知に含まれる商品情報を含む情報であって、メモリ１０２ａに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧８２０は行毎に１つの商品の情報を表しており、列８２１～列８２４を含む。列８２１は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン（例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど）が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末１００ａの不揮発性メモリ１０３ａに予め記憶されていた画像か、サーバ装置１００ｂから受信した画像を表示する。列８２２は各行の商品の名前（商品名）を表しており、列８２３は各行の商品の価格を表している。列８２４は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図８（ｃ）の例では、購入指示アイコン８１３は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている（アクティブ表示）。一方、中止指示アイコン８１４はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚１３０に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン８１４へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン８１４へのタッチ操作を受け付けないようにしてもよい。
【0061】
Ｓ３３１では、ＣＰＵ１０１ａは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列８２４に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面（タッチされた行の商品について修正する画面）での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚１３０に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者１２０が正しい内容に修正することができる。
【0062】
Ｓ３３２では、ＣＰＵ１０１ａは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置１００ｂに送信する。
【0063】
Ｓ３３３では、ＣＰＵ１０１ａは、サーバ装置１００ｂからの更新通知を待ち、更新通知があると通知に基づいてメモリ１０２ａに保持したカート情報を更新してＳ３１７に進む。こうして、ディスプレイ１０５ａのカート表示も修正を反映したものが表示される。
【0064】
Ｓ３３４では、ＣＰＵ１０１ａは、中止操作（中止指示アイコン８１４へのタッチ）があったか否かを判定する。中止指示があった場合にはＳ３３５に進み、そうでない場合にはＳ３４０に進む。
【0065】
Ｓ３３５では、ＣＰＵ１０１ａは、中止操作が行われたことを示す中止指示をサーバ装置１００ｂに送信する。
【0066】
Ｓ３３６では、ＣＰＵ１０１ａは、ディスプレイ１０５ａに返却メッセージを表示する。返却メッセージは、棚１３０から購入者１２０が取り出した商品を、棚１３０に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列（メッセージ）が表示される。これによって購入者１２０は、取り出した商品を棚１３０に戻さないと買い物の中止（キャンセル）ができないことを認識することができ、手に持っている商品を棚１３０に戻そうとする。この結果、カートに入っていた商品（購入者１２０が取り出した商品）が棚１３０に戻されると、カメラ１４０によって戻した様子の映像から商品が戻されたことが検知され、エッジＰＣ１００ｃからサーバ装置１００ｂに商品が戻された旨の情報が送信される。サーバ装置１００ｂは、商品戻された旨の情報を受信すると、サーバ装置１００ｂに保持したカート情報を更新し、更新通知として購入者端末１００ａに送信する。
【0067】
Ｓ３３７では、ＣＰＵ１０１ａは、サーバ装置１００ｂから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ１０２ａのカート情報を更新し、Ｓ３３８に進む。更新通知を受信できない場合はＳ３３７で更新通知の受信を待ち、チェックアウト表示には進まない。
【0068】
Ｓ３３８では、ＣＰＵ１０１ａは、Ｓ３３７で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者１２０が棚１３０から取り出した商品がすべて棚１３０に戻された場合である。カートに商品が無い場合にはＳ３３９に進み、そうでない場合（まだカートに商品がある場合）にはＳ３３６へ進む。
【0069】
ここで、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定された場合は、購入者１２０がまだ棚１３０から取り出した商品を棚１３０に戻していない場合である。従って、Ｓ３３４で中止指示があってから、Ｓ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、Ｓ３３６で表示した返却メッセージを表示し続けることにより、購入者１２０に確実な商品の返却を促す。また、返却メッセージを表示してからＳ３３７で更新通知を受信しない場合、あるいはＳ３３８でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。
【0070】
Ｓ３３９では、ＣＰＵ１０１ａは、Ｓ３２４と同様にチェックアウト表示を行う。また、メモリ１０２ａに保持したカート情報を消去（クリア）する。これによって購入者１２０は、取り出した商品を棚１３０に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。
【0071】
Ｓ３４０では、ＣＰＵ１０１ａは、購入指示の操作（購入指示アイコン８１３へのタッチ）があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはＳ３４１へ進み、そうでない場合にはＳ３４４へ進む。
【0072】
Ｓ３４１では、ＣＰＵ１０１ａは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置１００ｂに送信する。
【0073】
Ｓ３４２では、ＣＰＵ１０１ａは、サーバ装置１００ｂと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作（タッチパネル７０ａに対する決済操作）に応じて、カートに入った商品に対する支払い（決済、課金）が行われる。決済が完了するとＳ３３９へ進む。Ｓ３３９でのチェックアウト表示により、決済が正常に完了し、棚１３０から取り出した商品（購入済みの商品）をもってその場を立ち去ってもよいことを購入者１２０が認識できる。
【0074】
Ｓ３４４では、ＣＰＵ１０１ａは、棚移動操作（棚移動アイテム８１５へのタッチ）があったか否かを判定する。棚移動操作があった場合にはＳ３２６へ進み、そうでない場合にはＳ３４５へ進む。
【0075】
Ｓ３４５では、ＣＰＵ１０１ａは、サーバ装置１００ｂからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ１０２ａに記憶し（すなわちメモリ１０２ａに記憶されたカート情報を更新する）、Ｓ３１７へ進む。更新通知を受信していない場合にはＳ３３１へ進む。
【0076】
図４に、サーバ装置１００ｂにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ａに記録されたプログラムをメモリ１０２ａに展開し、ＣＰＵ１０１ａが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。
【0077】
Ｓ４０１では、ＣＰＵ１０１ｂは、メモリ１０２ｂに保持された各種変数、情報（カート情報）などを初期化する。また、不揮発性メモリ１０３ｂには、サーバ装置１００ｂで管理している複数の商品棚のＩＤが記憶されている。この管理対象の商品棚のＩＤをすべて読み込み、チェックイン状態の管理情報をメモリ１０２ｂに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図５（ａ）に示す。管理情報には、管理対象となる棚のＩＤと、チェックイン状態と、チェックイン状態である場合にはチェックイン（ＣＩ）しているユーザーのＩＤとが対応付けて記憶される。Ｓ４０１においては、チェックイン状態は全て非チェックイン、ＣＩユーザーはすべての棚において無しとなる。
【0078】
Ｓ４０２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚ＩＤを受信したか否かを判定する。これは前述の図３のＳ３１３で購入者端末１００ａから送信された棚ＩＤとユーザーＩＤを受信したか否かの判定である。棚ＩＤを受信した場合にはＳ４０２に進み、そうでない場合にはＳ４０７に進む。
【0079】
Ｓ４０３では、メモリ１０２ｂに保持したチェックイン状態の管理情報を参照し、受信した棚ＩＤの棚がすでにチェックイン中である（チェックイン状態である）か否かを判定する。チェックイン状態であればＳ４０４に進み、そうでない場合（非チェックイン状態である場合）にはＳ４０５に進む。
【0080】
Ｓ４０４では、チェックインできない旨を示すチェックイン不可通知を、Ｓ４０２で受信した棚ＩＤの送信元の購入者端末１００ａに送信する。また、メモリ１０２ｂに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚ＩＤでのチェックイン処理は行わない。こうしてＳ４０４で送信されたチェックイン不可通知が前述した図３のＳ３１４で受信され、Ｓ３１５でチェックインエラーが表示される。
【0081】
Ｓ４０５では、ＣＰＵ１０１ｂは、チェックイン処理を行う。具体的には、メモリ１０２ｂに保持されたチェックイン状態の管理情報において、Ｓ４０２で受信した棚ＩＤの棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーに、棚ＩＤとともに受信したユーザーＩＤを関連付けて記憶する。すなわち、チェックイン処理は、棚ＩＤ（陳列場所情報）とユーザーＩＤ（ユーザー情報）とを関連付ける関連付け処理である。この場合の管理情報の例を図５（ａ）に示す。棚ＩＤ「６７８ユーザーＩＤ９０」の棚について、チェックイン状態を「チェックイン」とし、ＣＩユーザーのＩＤ「１２３４５」を関連付けて記憶している。
【0082】
また、Ｓ４０４において、受と信したＣＩユーザーのカート情報が生成されていなかった場合には、メモリ１０２ｂにＣＩユーザーのカート情報を生成する。図５（ｂ）に、ユーザーＩＤ「１２３４５」のカート情報の例を示す。カート情報には、ユーザーＩＤ毎に生成される情報である。カート情報には、ユーザーＩＤ、チェックインしている棚ＩＤ、商品棚から取り出した商品（カートに入っている商品）の商品名（あるいは商品の識別情報）、価格、数量、小計、商品の取出元の棚ＩＤと、カート内の全商品の合計価格が関連付けて記憶される。図５（ａ）の例は、ユーザーが棚ＩＤ「６７８９０」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。
【0083】
なお、Ｓ４０２で受信した棚ＩＤとユーザーＩＤのうち、該当するユーザーＩＤのカート情報がメモリ１０２ｂにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーＩＤのカート情報におけるチェックイン中の棚ＩＤを受信した棚ＩＤで更新する。このケースは第１の棚からの棚移動指示があり、決済することなく第１の棚からのチェックアウトが行われた後に、別の棚（第２の棚）にチェックインするケースである。第２の棚にチェックインした後に、第２の棚から商品を取り出すと、取り出した商品がカートに追加される。図５（ｃ）に、棚ＩＤ「６７８９０」の棚（第１の棚）で商品Ａと商品Ｂを取り出した後に棚移動の指示が行われ、棚ＩＤ「６７８９１」の棚（第２の棚）にチェックインして商品Ｃが取り出された場合のカート情報を示す。第１の棚で取り出した商品Ａと商品Ｂに加え、第２の棚で取り出された商品Ｃが記録されており、合計価格は商品Ａ，Ｂ，Ｃの合計となっている。
【0084】
Ｓ４０６では、ＣＰＵ１０１ｂは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末１００ａと、エッジＰＣ１００ｃとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末１００ａにおいては前述の図３のＳ３１６で受信され、エッジＰＣ１００ｃにおいては後述する図６のＳ６０３で受信される。
【0085】
Ｓ４０７では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから送信された棚ＩＤと商品認識スコアを受信したか否かを判定する。受信した場合にはＳ４０８に進み、そうでない場合にはＳ４１１へ進む。
【0086】
Ｓ４０８では、ＣＰＵ１０１ｂは、エッジＰＣ１００ｃから受信した商品認識スコアに基づいて、棚からの取り出し／戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジＰＣ１００ｃでなくサーバ装置１００ｂ側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジＰＣに反映することなくサーバ装置１００ｂに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジＰＣ１００ｃの高機能化に伴う設置コスト増加や、エッジＰＣ１００ｃの更新作業などの管理負荷を軽減することができる。エッジＰＣから受信する商品認識スコアは、商品をある程度推定した結果の情報（推論スコア）であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ１４０で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジＰＣ１００ｃとサーバ装置１００ｂとの通信量を抑制し、高速な判定、応答を可能としている。
【0087】
なお、エッジＰＣ１００ｃからサーバ装置１００ｂに商品認識スコアを送信するものに限るものではない。例えば、エッジＰＣ１００ｃ側では商品が何であるかの判定のための処理を行わずに、商品の取り出し／戻しがあったと推定される場面についてカメラ１４０で撮影された画像自体（動画または静止画）を送信してもよい。この場合、受信したカメラ１４０での撮影画像に基づいてサーバ装置１００ｂで商品を判定する。また逆に、エッジＰＣ１００ｃ側で、取り出し／戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置１００ｂに送信するようにしてもよい。この場合はＳ４０８の処理は省略される。
【0088】
Ｓ４０９では、ＣＰＵ１０１ｂは、Ｓ４０８で判定された商品に基づき、メモリ１０２ｂに保持したカート情報を更新する。すなわち、Ｓ４０８で商品が棚から取り出されたと判定した場合は、受信した棚ＩＤに関連付いたユーザーＩＤのカート情報にＳ４０８で判定した商品の情報を追加する。逆に、Ｓ４０８で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚ＩＤが取り出し元として記録されているカート情報から、Ｓ４０８で判定した商品を削除する。図５（ｂ）に、元々カート情報に商品Ａが入っている状態から、Ｓ４０７で、棚ＩＤ「６７８９０」の棚ＩＤと商品認識スコアを受信し、Ｓ４０８で商品Ｂが棚から取り出されたと判定された場合のカート情報の例を示す。商品Ａに加えて商品Ｂの情報が追加されている。
【0089】
Ｓ４１０では、ＣＰＵ１０１ｂは、カート情報を更新したことを示す更新通知を購入者端末１００ａに送信する。更新通知にはメモリ１０２ｂに保持した最新のカート情報も含まれる。すなわち、商品棚１３０からの商品の取り出しが行われた場合には、Ｓ４０８で判定された取り出された商品情報を含むカート情報も送信する。
【0090】
Ｓ４１１では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された修正指示（前述の図３のＳ３３２で購入者端末１００ａから送信した修正内容）を受信したか否かを判定する。修正指示を受信したと判定した場合は、Ｓ４０９へ進み、修正指示として受信した修正内容に基づいてメモリ１０２ｂに保持したカート情報を更新する。修正指示を受信していない場合にはＳ４１２に進む。
【0091】
Ｓ４１２では、ＣＰＵ１０１ｂは。購入者端末１００ａから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはＳ４１３へ進み、そうでない場合にはＳ４１７へ進む。
【0092】
Ｓ４１３では、ＣＰＵ１０１ｂは、Ｓ４１２で受信した中止指示を行ったユーザーのユーザーＩＤのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはＳ４１４に進み、そうでない場合にはＳ４１９に進む。
【0093】
Ｓ４１４～Ｓ４１６の処理は、Ｓ４０８～Ｓ４１０の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとＳ４１３でＮｏと判定され、チェックアウト処理を伴う中止の処理（Ｓ４１９～Ｓ４２２の処理）が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはＳ４１３でＮｏと判定されないため、チェックアウト処理を伴う中止の処理は行われない。
【0094】
Ｓ４１７では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された決済指示（前述の図３のＳ３４１で購入者端末１００ａから送信した決済指示）を受信したか否かを判定する。決済指示を受信したと判定した場合は、Ｓ４１８へ進み、そうでない場合はＳ４２３に進む。
【0095】
Ｓ４１８では、ＣＰＵ１０１ｂは、決済サービス１７０を呼び出し、決済サービス１７０に基づく決済処理を行う。
【0096】
Ｓ４１９では、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤについてのメモリ１０２ｂに保持したカート情報をクリア（消去）する。
【0097】
Ｓ４２０では、ＣＰＵ１０１ｂは、チェックアウト処理を行う。具体的には、ＣＰＵ１０１ｂは、Ｓ４１２で中止指示を受け付けたユーザーＩＤまたはＳ４１７で決済指示を受け付けたユーザーＩＤでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報（図５（ａ））における該当の棚ＩＤについて、状態をチェックアウト状態とし、ＣＩユーザーを消去する。これによって、棚とユーザー（購入者）との関連付けが消去される。
【0098】
Ｓ４２１では、ＣＰＵ１０１ｂは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末１００ａとエッジＰＣ１００ｃに送信する。
【0099】
Ｓ４２２では、ＣＰＵ１０１ｂは、購入者端末１００ａから送信された棚移動指示（前述の図３のＳ３２８で購入者端末１００ａから送信した棚移動指示）を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、Ｓ４２３へ進み、そうでない場合はＳ４２４に進む。
【0100】
Ｓ４２３では、ＣＰＵ１０１ｂは、前述のＳ４２０と同様、チェックアウト処理を行う。
【0101】
Ｓ４２４では、ＣＰＵ１０１ｂは、図４の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図４の処理を終了し、終了イベントが無い場合にはＳ４０２に進んで処理を繰り返す。
【0102】
図６に、エッジＰＣ１００ｃにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ１０３ｃに記録されたプログラムをメモリ１０２ｃに展開し、ＣＰＵ１０１ｃが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング（営業時間の開始時間など）で、手動で開始される、あるいは所定の時間（営業時間の開示時間など）になったことに応じて自動的に開始される。図６は個別の棚に関する処理であり、本実施形態では棚１３０（棚ＩＤ：６７８９０）の棚に関する処理として説明する。
【0103】
Ｓ６０１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。
【0104】
Ｓ６０２では、ＣＰＵ１０１ｃは、カメラ１４０からの映像を取得する。ここで取得する映像は、棚１３０の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し／戻しの検知にカメラ１４０以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。
【0105】
Ｓ６０３では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはＳ６０４へ進み、そうでない場合にはＳ６０６に進む。
【0106】
Ｓ６０４では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態（棚１３０と購入予定者が関連付いた状態）とする。
【0107】
Ｓ６０５では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末１００ａでＱＲコード１６０を読み取ったことに応じて棚１３０にチェックインできた（棚１３０が応答した）ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者１２０に棚から商品と取り出すことを促す音声（音声ガイダンス）や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び／または、商品棚１３０から商品を取り出すことを促す。
【0108】
Ｓ６０６では、ＣＰＵ１０１ｃは、カメラ１４０から取得した映像に基づいて、棚１３０からの商品の取り出し、あるいは、棚１３０への商品の返却（戻し）があったか否かを判定する。すなわち、カメラ１４０で商品棚１３０を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚１３０の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてＳ６０７に進み、そうでない場合にはＳ６１０へ進む。
なお、本実施形態では、カメラ１４０で撮影された映像に基づいて商品の取り出し／戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚１３０の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し／戻しを検知してもよい。また、商品毎にＩＣタグなどのＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）タグを取り付けておき、このタグとの無線通信によって商品の取り出し／戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚１３０の手前（取り出し口）の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し／戻しを検知してもよい。複数の検知方法の１つを採用してもよいし、複数を組み合わせて商品の取り出し／戻しを検知してもよい。
なお、本実施形態では、カメラ１４０で撮影された映像に基づいて商品の取り出し／戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚１３０の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し／戻しを検知してもよい。また、商品毎にＩＣタグなどのＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）タグを取り付けておき、このタグとの無線通信によって商品の取り出し／戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚１３０の手前（取り出し口）の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し／戻しを検知してもよい。複数の検知方法の１つを採用してもよいし、複数を組み合わせて商品の取り出し／戻しを検知してもよい。
【0109】
Ｓ６０７では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはＳ６０８へ進み、そうでない場合にはＳ６０９に進む。
【0110】
Ｓ６０８では、ＣＰＵ１０１ｃは、管理対象である棚１３０の棚ＩＤ（本実施形態では６７８９０）と、Ｓ６０６で取り出しまたは返却があった旨、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置１００ｂに送信する。すなわち、商品の取り出し／返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ１４０で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ１４０で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。
【0111】
Ｓ６０９では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから音声でエラー通知（エラー出力）を行う。この場合、エッジＰＣ１００ｃからはサーバ装置１００ｂに対しての商品スコアの送信は行わない。サーバ装置１００ｂと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者１２０により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置１００ｂに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置１００ｂへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、Ｓ６０６で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚１３０に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者１２０にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。
【0112】
エラー通知は、非チェックイン状態で取り出された商品が棚１３０に戻された、もしくは所定時間（例えば１分）が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚１３０でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。
【0113】
エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたＱＲコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のＱＲコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚１３０から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者１２０（購入予定者）は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。
【0114】
Ｓ６１０では、ＣＰＵ１０１ｃは、サーバ装置１００ｂから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はＳ６１１に進み、そうでない場合にはＳ６１３に進む。
【0115】
Ｓ６１１では、ＣＰＵ１０１ｃは、棚１３０の状態としてメモリ１０２ｃまたは不揮発性メモリ１０３ｃに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン（棚１３０と購入予定者が関連付いていない状態）とする。
【0116】
Ｓ６１２では、ＣＰＵ１０１ｃは、音声出力部１１３ｃから、棚１３０からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。
【0117】
Ｓ６１３では、ＣＰＵ１０１ｃは、図６の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図６の処理を終了し、終了イベントが無い場合にはＳ０２に進んで処理を繰り返す。
【0118】
図７に、図３で説明した購入者端末１００ａの処理、図４で説明したサーバ装置１００ｂの処理、図６で説明したエッジＰＣ１００ｃの処理の連携によって実現する、本実施形態の販売システムでの販売に係る処理シーケンスの例を示す。括弧内に、図３、図４、図６で前述した処理の対応するステップを示す。
【0119】
Ｓ７００では、購入者端末１００ａにおいてＱＲコードの読み取り画面を開き、ＬＶ画像が表示された状態で、購入者１２０が購入者端末１００ａのカメラ部１１２ａをＱＲコード１６０に向ける。
【0120】
Ｓ７０１では、購入者端末１００ａのカメラ部１１２ａでＱＲコード１６０の撮影、読み取りが行われる（Ｓ３０４Ｙｅｓ）。
【0121】
Ｓ７０２では、購入者端末１００ａからサーバ装置１００ｂに棚ＩＤとユーザーＩＤが送信される（Ｓ３１３）。
【0122】
Ｓ７０３では、サーバ装置１００ｂにおいてチェックイン処理が行われる（Ｓ４０５）。
【0123】
Ｓ７０４でサーバ装置１００ｂからエッジＰＣ１００ｃにチェックイン完了通知が送信され（Ｓ４０６）、これに応じてＳ７０５ではエッジＰＣでのチェックイン（Ｓ６０４）と、音声ガイドの出力（Ｓ６０５）が行われる。
【0124】
Ｓ７０６でサーバ装置１００ｂから購入者端末１００ａにチェックイン完了通知が送信され（Ｓ４０６）、これに応じてＳ７０７で購入者端末１００ａにおける空カート表示が行われる（Ｓ３２０）。
【0125】
Ｓ７０８で、購入者１２０が棚１３０から商品を取り出す。
【0126】
Ｓ７０９では、エッジＰＣ１００ｃで商品が取り出されたことを検知し（Ｓ６０６Ｙｅｓ）、棚ＩＤと商品認識スコアをサーバ装置１００ｂに送信する（Ｓ６０８）。
【0127】
Ｓ７１０では、サーバ装置１００ｂで商品判定を行い（Ｓ４０８）、カート内の商品を更新する（Ｓ４０９）。
【0128】
Ｓ７１１では、サーバ装置１００ｂから購入者端末１００ａにカート情報の更新通知を送信する（Ｓ４１０）。
【0129】
Ｓ７１２では、購入者端末１００ａにおいてカートの表示を更新する。この例では、この状態で、Ｓ７０８で取り出した商品がカートに入った商品ありのカート表示となる（Ｓ３３０）。
【0130】
Ｓ７１３では、購入者１２０が中止指示アイコン８１４をタッチする中止操作を行う。
【0131】
Ｓ７１４では、中止操作に応じて、購入者端末１００ａからサーバ装置１００ｂに中止指示を送信する（Ｓ３３５）。
【0132】
Ｓ７１５では、カートに商品が入っているため、購入者端末１００ａにおいて返却メッセージを表示する（Ｓ３３６）。
【0133】
Ｓ７１６では、返却メッセージを見た購入者１２０が、Ｓ７０８で取り出した商品を、棚１３０に戻す（返却する）。
【0134】
Ｓ７１７では、エッジＰＣ１００ｃが、カメラ１４０で撮影された画像に基づいて商品が返却されたことを検知し（Ｓ６０６）、棚ＩＤと返却された商品認識スコアをサーバ装置１００ｂに送信する（Ｓ６０８）。
【0135】
Ｓ７１８では、サーバ装置１００ｂにおいて、受信した棚ＩＤと商品認識スコアに基づいて返却された商品を判定（特定）し（Ｓ４１５）、カート内の商品を更新する（Ｓ４１６）。すなわち、カートに入っていた商品のうち返却された商品を削除する。
【0136】
Ｓ７１９では、カート情報の更新通知をサーバ装置１００ｂから購入者端末１００ａに送信する（Ｓ４１６）。
【0137】
Ｓ７２０では、Ｓ７０８で取り出された商品が返却されたためカートに商品が無い状態となったため（Ｓ４１３Ｎｏ）、Ｓ７１４で送信された中止指示に応じてチェックアウト処理を行う（Ｓ４２０）。
【0138】
Ｓ７２１では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知を送信する（Ｓ４２１）。Ｓ７２２では、エッジＰＣ１００ｃがチェックアウト完了通知に応じて、棚１３０の状態を非チェックインとする（Ｓ６１１）。
【0139】
Ｓ７２２では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知を送信する（Ｓ４２１）。Ｓ７２４では、チャックアウト完了通知に応じて、購入者端末１００ａにおいてチェックアウト画面を表示した後（Ｓ３３９）、ＱＲコード読み取り画面でＬＶ表示を行う。
【0140】
また、別のケースとして、カートに商品が入っている状態で、Ｓ７３０で購入者１２０が購入指示アイコン８１３をタッチする購入指示の操作を行うと、Ｓ７３１で、購入者端末１００ａからサーバ装置１００ｂに決済指示の通知を送信する。
【0141】
Ｓ７３２では、サーバ装置１００ｂにおいて、決済指示の通知に応じて、決済サービス１７０を用いた決済処理を行う。決済を行うとカートの商品をクリアし、Ｓ７３３でチェックアウト処理を行う。
【0142】
Ｓ７３４では、サーバ装置１００ｂからエッジＰＣ１００ｃにチェックアウト完了通知が送信され、Ｓ７３５で
エッジＰＣ１００ｃが棚１３０の状態を非チェックインとする。
エッジＰＣ１００ｃが棚１３０の状態を非チェックインとする。
【0143】
Ｓ７３６では、サーバ装置１００ｂから購入者端末１００ａにチェックアウト完了通知を送信する。ＳＳ７２４では、チャックアウト完了通知に応じて、購入者端末１００ａにおいてチェックアウト画面を表示した後、ＱＲコード読み取り画面でＬＶ表示を行う（Ｓ３０１）。
【0144】
以上説明した本実施形態によれば、商品の管理や販売に関するより好適なシステムを提供することができる。
【0145】
また、本実施形態の販売システムは、図７のシーケンス図からも明らかなとおり、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がない。すなわち、本実施形態においては、購入者端末１００ａと前記エッジＰＣ１００ｃは直接の通信確立を行わない。従って、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信するための機能が無い装置も、購入者端末１００ａとして利用することができる。購入者端末１００ａとエッジＰＣ１００ｃとが直接通信するための機能としては、例えば、ＮＦＣ（Ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）やＢｌｕｅｔｏｏｔｈ（商標）などの近距離無線通信機能がある。しかし、安価なスマートフォンや携帯電話端末などの電子機器には、カメラ部を備えていても、ＮＦＣやＢｌｕｅｔｏｏｔｈの機能は有していないものが存在する。本実施形態の販売システムでは、そのようなＮＦＣやＢｌｕｅｔｏｏｔｈの機能を有していない電子機器でも購入者端末１００ａとして用いて買い物を行うことができる。すなわち、近距離無線通信機能の無い電子機器のユーザーの購入機会を妨げ、近距離無線通信機能を有する電子機器を所有するユーザーだけに購入者が限られてしまうということを防止することができる。言い換えれば、より幅広いユーザーが購入することが可能であり、販売機会の増大に寄与する。すなわち、より多くのユーザーが利用可能な販売システムを提供することができる。
【0146】
また、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がないため、エッジＰＣ１００ｃと接続された近距離無線通信の送受信機などの機器を商品棚１３０の近辺に設置する必要がない。従って設置スペースの増加や設置コストの増大も抑えることができる。
【0147】
また、購入者端末１００ａとエッジＰＣ１００ｃとの通信を行おうとする場合、ＮＦＣで接続したのちにＢｌｕｅｔｏｏｔｈにハンドオーバーするといった通信の仕方が考えられる。この場合、ＮＦＣは有効通信距離が１０ｃｍ程度と短く、ＮＦＣの送受信機をユーザーが手の届くところに設置しないといけないという設置場所の制約が発生する。また、Ｂｌｕｅｔｏｏｔｈを用いる場合、購入者端末１００ａで他の機器とＢｌｕｅｔｏｏｔｈ接続を行っていた場合に、元の接続を一度切断しなければならない場合があるという不利益がある。例えば、Ｂｌｕｅｔｏｏｔｈイヤホンで音楽を聴いたまま購入を行えないといったことが発生する。本実施形態の販売システムであれば、購入者端末１００ａとエッジＰＣ１００ｃとが直接通信する必要がないためこのような課題も解決される。
【0148】
また、本実施形態の販売システムでは、購入者１２０が棚１３０に載置された商品を購入する際にエッジＰＣ１００ｃに対して何等か操作や入力をする必要がない。従って、棚１３０に操作や入力を受け付けるための装置を設置する必要がなく、販売スペースの増大や設置コストの増加を抑えることができる。また、決済も購入者端末１００ａとサーバ装置１００ｂとの処理によって実行されるため、現金授受のための装置や、クレジットカードの読み取り装置といった決済のための装置を設置する必要が無く、設置スペース、設置コストを低減できる。
【0149】
なお、上述の実施形態においては、商品の陳列場所として商品棚１３０を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。
【0150】
また、上述の実施形態は、商品の販売の代わりに商品の在庫補充などの場合にも適用可能である。すなわち、本実施形態は、販売システムや在庫管理システムを含む商品管理システムに適用可能である。在庫管理の場合、上述の購入者１２０を在庫補充者に置き換え、商品を戻したことの検知を在庫を補充したことの検知に置き換え、商品を取り出したことの検知を商品の陳列を取りやめるために商品を取り出したことの検知に置き換えれば適用可能である。すなわち、在庫補充者が所有する端末でＱＲコード１６０を読み取ることで在庫補充者が棚１３０にチェックインする。チェックインした状態で在庫補充や陳列している商品の交換等を行えるようにして、チェックインしていない状態での作業はエラーとして上述した各種通知を行うようにしてもよい。
【0151】
なお、ＣＰＵ１０１ａ、１０１ｂ、１０１ｃが行うものとして説明した上述の各種制御は、それぞれ１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【0152】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である
【0153】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の１つ以上のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の１つ以上のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0154】
１００ａ：購入者端末 １００ｂ：サーバ装置 １００ｃ：エッジＰＣ １３０：棚
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-02-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第２の制御手段と
を有することを特徴とする情報処理システム。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第２の制御手段と
を有することを特徴とする情報処理システム。
【請求項2】
前記端末装置は、前記電子機器とは直接の通信確立を行わないことを特徴とする請求項
１に記載の情報処理システム。
１に記載の情報処理システム。
【請求項3】
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有し、
前記情報処理装置の前記第２の制御手段は、前記電子機器から受信した、前記陳列場所
を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別
するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とす
る情報処理システム。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御手段と
を有し、
前記情報処理装置の前記第２の制御手段は、前記電子機器から受信した、前記陳列場所
を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別
するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とす
る情報処理システム。
【請求項4】
前記情報処理装置の前記第２の制御手段は、前記関連付け処理を行うと、前記陳列場所
情報に対応する前記端末装置に、前記関連付け処理を行った旨の通知を送信するように制
御し、
前記端末装置の前記第１の制御手段は、前記情報処理装置から受信した前記通知に基づ
き、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するよう
に制御することを特徴とする請求項３に記載の情報処理システム。
情報に対応する前記端末装置に、前記関連付け処理を行った旨の通知を送信するように制
御し、
前記端末装置の前記第１の制御手段は、前記情報処理装置から受信した前記通知に基づ
き、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するよう
に制御することを特徴とする請求項３に記載の情報処理システム。
【請求項5】
前記端末装置の前記第１の制御手段は、
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知され
た場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象
が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項４に記載の情報処理システム。
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知され
た場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象
が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項４に記載の情報処理システム。
【請求項6】
前記情報処理装置の前記第２の制御手段は、前記電子機器に設けられた撮像手段で撮像
された画像から取得された前記陳列場所情報を前記電子機器から受信することを特徴とす
る請求項３乃至５に記載の情報処理システム。
された画像から取得された前記陳列場所情報を前記電子機器から受信することを特徴とす
る請求項３乃至５に記載の情報処理システム。
【請求項7】
前記電子機器から受信する前記陳列場所情報は、前記撮像手段で一次元コードまたは二
次元コードを撮像することにより取得されることを特徴とする請求項６に記載の情報処理
システム。
次元コードを撮像することにより取得されることを特徴とする請求項６に記載の情報処理
システム。
【請求項8】
前記電子機器から受信する前記陳列場所情報は、ユーザーからの操作入力と前記電子機
器の位置情報の少なくとも一方に基づいて取得されることを特徴とする請求項３乃至５に
記載の情報処理システム。
器の位置情報の少なくとも一方に基づいて取得されることを特徴とする請求項３乃至５に
記載の情報処理システム。
【請求項9】
前記検知手段は、前記陳列場所を撮影した画像に基づいて検知を行うことを特徴とする
請求項１乃至８のいずれか１項に記載の情報処理システム。
請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項10】
前記検知手段は、前記陳列場所の重量の変化、前記陳列場所に関する赤外線センサーか
らの出力、前記商品に添付されたＩＣタグとの通信の結果のいずれか一つに基づいて検知
を行うことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
らの出力、前記商品に添付されたＩＣタグとの通信の結果のいずれか一つに基づいて検知
を行うことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項11】
前記電子機器は、前記情報処理装置から受信した前記商品情報が表す商品を購入するた
めの決済指示を受け付ける受付手段を更に有し、
前記情報処理装置の前記第２の制御手段は、前記電子機器で受信された前記商品情報が
表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器
から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
めの決済指示を受け付ける受付手段を更に有し、
前記情報処理装置の前記第２の制御手段は、前記電子機器で受信された前記商品情報が
表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器
から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
【請求項12】
前記電子機器を更に含むことを特徴とする請求項１乃至１１のいずれか1項に記載の情
報処理システム。
報処理システム。
【請求項13】
情報処理装置と、端末装置と、を含む情報処理システムの制御方法であって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制
御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定ステップと、
前記特定ステップで特定された前記商品に係る情報を電子機器に送信して、前記
電子機器に前記商品に係る情報が表示されるように制御する第２の制御ステップと
を有することを特徴とする情報処理システムの制御方法。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制
御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定ステップと、
前記特定ステップで特定された前記商品に係る情報を電子機器に送信して、前記
電子機器に前記商品に係る情報が表示されるように制御する第２の制御ステップと
を有することを特徴とする情報処理システムの制御方法。
【請求項14】
情報処理装置と、端末装置と、を含む情報処理システムの制御方法であって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御ステップと
を有し、
前記情報処理装置の前記第２の制御ステップは、前記電子機器から受信した、前記陳列場所
を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別
するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とす
る情報処理システムの制御方法。
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第１の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第２の制御ステップと
を有し、
前記情報処理装置の前記第２の制御ステップは、前記電子機器から受信した、前記陳列場所
を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別
するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とす
る情報処理システムの制御方法。
【請求項15】
１つ以上のコンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理シ
ステムの各手段として機能させるためのプログラム。
ステムの各手段として機能させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第１の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第２の制御手段と
を有することを特徴とする。