IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノンマーケティングジャパン株式会社の特許一覧 ▶ キヤノンITソリューションズ株式会社の特許一覧

特許7290842情報処理システム、情報処理システムの制御方法、プログラム
<>
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図1
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図2
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図3
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図4
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図5
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図6
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図7
  • 特許-情報処理システム、情報処理システムの制御方法、プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-06
(45)【発行日】2023-06-14
(54)【発明の名称】情報処理システム、情報処理システムの制御方法、プログラム
(51)【国際特許分類】
   G06Q 30/06 20230101AFI20230607BHJP
   G07G 1/12 20060101ALI20230607BHJP
   G07G 1/14 20060101ALI20230607BHJP
【FI】
G06Q30/06
G07G1/12 321L
G07G1/14
【請求項の数】 13
(21)【出願番号】P 2021144452
(22)【出願日】2021-09-06
(65)【公開番号】P2023037712
(43)【公開日】2023-03-16
【審査請求日】2021-10-04
(73)【特許権者】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(73)【特許権者】
【識別番号】592135203
【氏名又は名称】キヤノンITソリューションズ株式会社
(74)【代理人】
【識別番号】100189751
【弁理士】
【氏名又は名称】木村 友輔
(72)【発明者】
【氏名】片岡 新
【審査官】速水 雄太
(56)【参考文献】
【文献】中国特許出願公開第110335409(CN,A)
【文献】特開2021-093649(JP,A)
【文献】再公表特許第2019/181499(JP,A1)
【文献】Brandon Lewis,With Edge AI, Tomorrow’s Autonomous Store Is Here Today [online],2020年02月07日,[2022年12月16日検索],インターネット:<URL: https://www.insight.tech/content/with-edge-ai-tomorrow-s-autonomous-store-is-here-today>
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G07G 1/12
G07G 1/14
(57)【特許請求の範囲】
【請求項1】
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御手段と
を有し、
前記情報処理装置の前記第2の制御手段は、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システム。
【請求項2】
前記情報処理装置の前記第2の制御手段は、前記関連付け処理を行うと、前記陳列場所情報に対応する前記端末装置に、前記関連付け処理を行った旨の通知を送信するように制御し、
前記端末装置の前記第1の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項に記載の情報処理システム。
【請求項3】
前記端末装置の前記第1の制御手段は、
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項に記載の情報処理システム。
【請求項4】
前記情報処理装置の前記第2の制御手段は、前記電子機器に設けられた撮像手段で撮像された画像から取得された前記陳列場所情報を前記電子機器から受信することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。
【請求項5】
前記電子機器から受信する前記陳列場所情報は、前記撮像手段で一次元コードまたは二次元コードを撮像することにより取得されることを特徴とする請求項に記載の情報処理システム。
【請求項6】
前記電子機器から受信する前記陳列場所情報は、ユーザーからの操作入力と前記電子機器の位置情報の少なくとも一方に基づいて取得されることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。
【請求項7】
前記端末装置は、前記電子機器とは直接の通信確立を行わないことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。
【請求項8】
前記検知手段は、前記陳列場所を撮影した画像に基づいて検知を行うことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。
【請求項9】
前記検知手段は、前記陳列場所の重量の変化、前記陳列場所に関する赤外線センサーからの出力、前記商品に添付されたICタグとの通信の結果のいずれか一つに基づいて検知を行うことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。
【請求項10】
前記電子機器は、前記情報処理装置から受信した前記商品情報が表す商品を購入するための決済指示を受け付ける受付手段を更に有し、
前記情報処理装置の前記第2の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。
【請求項11】
前記電子機器を更に含むことを特徴とする請求項1乃至1のいずれか1項に記載の情報処理システム。
【請求項12】
情報処理装置と、端末装置と、を含む情報処理システムの制御方法であって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第1の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御ステップと
を有し、
前記情報処理装置の前記第2の制御ステップは、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システムの制御方法。
【請求項13】
1つ以上のコンピュータを、請求項1乃至1のいずれか1項に記載された情報処理システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人または少ない店員で商品の管理や販売が可能なシステムに関する。
【背景技術】
【0002】
従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。
【0003】
特許文献1には、重量センサーが備えられた商品棚に、それぞれRFIDタグが添付された複数の商品を配置した販売システム(商品管理装置)が提案されている。商品棚の重量の変化を検知すると、重量が変化した商品棚に置かれていた商品であって、かつ、RFIDタグの受信強度が変化した商品を、物理的に移動した商品(購入者が手に取った可能性のある商品)として特定する。精算の際には、RFIDリーダーによって、買い物カゴの中に入っている商品に添付されたRFIDタグを読み取ることで合計金額を算出して商品管理装置の表示部に表示する。そして、購入者が支払額読み取り部に金銭を投入することで精算が行われる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-160042号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、というものであった。販売システムの導入コストや設置スペースの削減などを考慮すると、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できることが課題となる。
【0006】
本発明は上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第2の制御手段と
を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、商品の管理や販売に関するより好適なシステムを提供することができる。
【図面の簡単な説明】
【0009】
図1】本実施形態の販売システムのシステム構成図である。
図2】本実施形態の販売システムに含まれる各装置のハードウェア構成図である。
図3】購入者端末100aにおける処理フローチャートである。
図4】サーバ装置100bにおける処理フローチャートである。
図5】サーバ装置100bで管理している情報を説明する図である。
図6】エッジPC100cにおける処理フローチャートである。
図7】本実施形態の販売システムでの処理の例のシーケンス図である。
図8】購入者端末100aにおける画面表示例である。
【発明を実施するための形態】
【0010】
特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び/または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。
【0011】
本実施形態では上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。
【0012】
以下、図面を参照して本発明の好適な実施形態を説明する。
【0013】
図1に、本実施形態の情報処理システム(販売システム)のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末100a(電子機器)、サーバ装置100b(情報処理装置)、エッジPC100c(情報処理装置としての端末装置)が含まれる。購入者端末100aはインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。また、エッジPC100cもインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。一方、購入者端末100aとエッジPC100cは直接通信を行う必要はない。
【0014】
商品131を含む1つ以上(少なくとも1つ)の商品が、商品の陳列場所(載置する場所を含む)の一例としての商品棚である棚130に載置(陳列)されている。また、棚130自体、あるいは棚130の近傍に、棚130の識別情報(棚ID)を持つQRコード(商標)160が掲示されている。本実施形態では棚130には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。
【0015】
棚130に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ140が設置される。カメラ140は、カメラ140で棚130からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジPC100cは棚130に対応付けられており、カメラ140で撮影された画像を取得可能なように、有線または無線通信でカメラ140と接続されている。本実施形態ではエッジPCと商品棚を1対1で対応づけて処理する例を説明するが、エッジPC1台に対して複数の商品棚を対応付けて処理してもよい。
【0016】
エッジPC100cは、カメラ140から送信された撮影画像(映像)を解析し、棚130から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置100bに送信する。
【0017】
購入者120は、自身の保有するスマートフォンなどの購入者端末100aでQRコード160を撮影することで、棚IDを取得する。そして棚IDと購入者120の識別情報(ユーザーID)とをサーバ装置100bに送信する。
【0018】
サーバ装置100bでは、購入者端末100aから受信した棚IDとユーザーIDに基づき、購入者120のユーザーIDと、棚130の棚IDとを関連付ける(すなわち、購入者120と棚130を関連付ける)。以下、ユーザーIDと棚IDとを関連付ける(関連付けて記憶する)処理をチェックイン処理、関連付いた状態をチェックイン状態(チェックインされた状態)と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置100bから購入者端末100aとエッジPC100bに通知する。この状態で購入者120が棚130に置かれた商品を取り出して良い状態となる。購入者120が棚130に置かれた商品を手に取って取り出すと、それをエッジPC100cがカメラ140で撮影された画像に基づいて検知し、サーバ装置100bに検知結果を送信する。サーバでは取り出された商品を特定し、棚130と関連付けられた購入者120の仮想のカート(買い物かご。以下、単にカートと称する)に取り出された商品を追加する。カートの状態はサーバ装置100bから購入者端末100aに送信され、購入者端末100aで表示されるため、購入者120は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末100aを操作して決済処理を行うと、サーバ装置100bはインターネット上の決済サービス170を呼び出して決済を行う。このようにして、購入者120は購入者端末100aでQRコード160を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。
【0019】
図2(a)に、本発明を適用可能な装置の一例としての購入者端末100aの構成の一例を示す。購入者端末100aは購入者であるユーザーが持つ電子機器であり、スマートフォン(携帯電話端末)やタブレットPCなどを用いて構成可能なものである。
【0020】
図2において、内部バス150aに対してCPU101a、メモリ102a、不揮発性メモリ103a、画像処理部104a、ディスプレイ105a、操作部106a、記録媒体I/F107a、外部I/F109a、通信I/F110aが接続されている。内部バス150aに接続される各部は、内部バス150aを介して互いにデータのやりとりを行うことができるようにされている。
【0021】
メモリ102aは、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101aは、例えば不揮発性メモリ103aに格納されるプログラムに従い、メモリ102aをワークメモリとして用いて、購入者端末100aの各部を制御する。不揮発性メモリ103aには、画像データや音声データ、その他のデータ、CPU101aが動作するための各種プログラムなどが格納される。不揮発性メモリ103aは例えばフラッシュメモリやROMなどで構成される。
【0022】
画像処理部104aは、CPU101aの制御に基づいて、不揮発性メモリ103aや記録媒体108aに格納された画像や、外部I/F109aや通信I/F110aを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部104aが行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。画像処理部104aは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部104aを用いずにCPU101aがプログラムに従って画像処理を施すことも可能である。
【0023】
ディスプレイ105aは、CPU101aの制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101aは、プログラムに従い表示制御信号を生成し、ディスプレイ105aに表示するための映像信号を生成してディスプレイ105aに出力するように購入者端末100aの各部を制御する。ディスプレイ105は出力された映像信号に基づいて映像を表示する。なお、購入者端末100a自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105aは外付けのモニタ(テレビなど)で構成してもよい。
【0024】
操作部106aは、ユーザー操作を受け付けるための入力デバイスである。操作部1006aには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル70aといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル70aは、ディスプレイ105aに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【0025】
記録媒体I/F107aは、メモリーカードなどの記録媒体108aが装着可能とされ、CPU101aの制御に基づき、装着された記録媒体108aからのデータの読み出しや、当該記録媒体108aに対するデータの書き込みを行う。外部I/F109aは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110aは、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【0026】
カメラ部112aは、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子(撮像センサー)等で構成されるカメラユニットである。カメラ部112aには、ズームレンズやフォーカスレンズを含むレンズ群(撮影レンズ)、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するA/D変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部104aは、カメラ部112aで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部104aにより得られた演算結果に基づいてCPU101aが露光制御、測距制御、AWB(オートホワイトバランス)処理を行う。カメラ部112aで撮像され、画像処理部104aで画像処理された表示用の画像データはディスプレイ105aにより表示される。カメラ部112aで撮像され、A/D変換器によって一度A/D変換されメモリ102aに蓄積されたデジタル信号をD/A変換器でアナログ変換し、ディスプレイ105aに逐次転送して表示することで、ライブビュー表示(LV表示)を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。CPU101aは、操作部106aで行われたユーザー操作に基づく撮影準備指示に応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB処理等の動作を開始するように、カメラ部112a、画像処理部104aを制御する。CPU101aは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部104aで画像処理して画像ファイルを生成し、記録媒体108aに記録するまでの一連の撮影処理(本撮影)の動作を開始ように制御する。撮影指示は、操作部106aに対するユーザー操作によって行うことができる。カメラ部112aは、静止画及び動画の撮影が可能である。
【0027】
図2(b)に、本発明を適用可能な装置の一例としてのサーバ装置100bの構成の一例を示す。サーバ装置100bは購入者端末100a及びエッジPC100cと通信可能な情報処理装置であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。サーバ装置100bが有する構成である、符号101b~104b、106b~110b、150bが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置100bはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置100bとして用いてもよい。
【0028】
図2(c)に、本発明を適用可能な装置の一例としてのエッジPC100cの構成の一例を示す。エッジPC100cはサーバ装置100bと通信可能な端末装置(情報処理装置)であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。エッジPC100cが有する構成である、符号101c~104c、106c~110c、150cが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、エッジPC100cはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のPC本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジPC100cとして用いてもよい。音声出力部113cはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部113cから出力する通知音または音声メッセージによって、購入者120に各種ガイダンスや警告などの情報を通知する(認識させる)ことができる。
【0029】
図3に、購入者端末100aにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。購入者120が棚130の商品を購入するべく、購入者端末100aにおけるQRコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム(以下、単に購入アプリと称する)を起動すると図3の処理が開始される。
【0030】
S301では、CPU101aは、QRコードの読み取り画面にカメラ部112aで撮影したLV画像を表示する。図8(a)に、購入アプリによる、ディスプレイ105a(タッチパネル70a)におけるQRコードの読み取り画面の表示例を示す。メッセージ801はQRコード160を購入者端末100aに読み取らせる(撮影範囲にQRコード160を収めるようにフレーミングする)ことを購入者120に促すガイダンスメッセージである。例えば、「商品棚に貼られているQRコードを読み取らせてください」と表示される。枠802は、QRコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン803は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン803は、購入者120のユーザーIDに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、QRコードの読み取り画面にはカメラ部112aで撮影されているLV画像が表示され、メッセージ801、枠802、カートアイコン803はLV画像に重畳して表示される。
【0031】
S302では、CPU101aは、不揮発性メモリ103aに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはS303に進み、そうでない場合(カートが空、あるいはカート情報が生成されていない初期状態)にはS304へ進む。
【0032】
S304では、CPU101aは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン803へのタッチ操作があった場合にはS330へ進み、そうでない場合にはS304へ進む。
【0033】
S304では、CPU101aは、QRコードが撮影されてQRコードの持つ情報を取得できたか否かを判定する。購入者120が購入者端末100aをフレーミングしたことにより撮影範囲内にQRコード160が収まり、LV画像として撮影された画像からQRコード160を取得し、解析して、QRコード160の持つ情報を取得できた場合にはS310に進む。そうでない場合にはS305に進む。
【0034】
S305では、CPU101aは、終了イベント(例えば、QRコードの読み取り画面を閉じる操作)があったか否かを判定する。終了イベントが無い場合にはS302に戻って処理を繰り返し、終了イベントがあった場合には図3の処理を終了する。
【0035】
S310では、CPU101aは、S304で取得したQRコードの情報が棚IDを含むか否かを判定する。QRコードの情報が棚IDを含まない場合とは、撮影されたQRコードが本実施形態の販売システムとは関係のないQRコードであった場合である。棚IDを含む場合はS312に進み、棚IDを含まない場合はS311に進んでエラー表示を行う、あるいは、本システムとは別の処理(QRコードに基づく処理)を行う。
【0036】
S312では、CPU101aは、S304で取得したQRコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたQRコードが棚IDの情報を持っていた場合、ディスプレイ105aに「67890番の棚にチェックインしますか?」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「67890番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、QRコードの情報が示す処理の実行を決定する操作があったと判定してS313に進む。「いいえ」が選択されるとS302に戻る。なお、QRコード160に、購入アプリを起動する、あるいはインターネット上のWEBアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のQRコードリーダーでQRコード160を読み取り、決定指示を受け付けた場合に購入アプリまたはWEBアプリに従ってS313以降の処理を行う。また、S312の処理を省き、読み取ったQRコードに棚IDが含まれていると判定した場合(S310Yes)に、購入者120からの操作(決定指示の操作)を待つことなくS313の処理を行ってもよい。
【0037】
S313では、CPU101aは、読み取ったQRコードから取得した棚IDと、購入者120を識別するためのユーザーIDを含む、チェックインのリクエスト情報をサーバ装置100bに送信する。棚IDは、陳列場所である棚130を識別するための陳列場所情報である。ユーザーIDは本実施形態では、購入アプリへのログインID(予め記憶されていたもの、あるいは購入アプリ起動時に購入者120が入力したもの)とする。ユーザーIDはこれに限るものではなく、棚130にチェックインしている購入者120を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーIDとして例えば、購入者端末100aのSSID、SNSなどの連携している他のサービスのアカウント情報、購入者端末100aのログインアカウントの情報などを用いてもよい。すなわち、ユーザーIDは、購入者端末100aあるいは購入者120を識別するためのユーザー情報である。購入者端末100aからサーバ装置100bに棚IDとユーザーIDを送信すると、サーバ装置100bにおいてチェックインを試み、サーバ装置100bからチェックインできたかどうかの情報が返送されてくる。
【0038】
なお、本実施形態では購入者端末100aでの棚IDの取得方法として、二次元コードであるQRコード160を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚IDを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚IDを、購入者端末100aのディスプレイ105aに表示される棚IDの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末100aのGPS測位ユニットなどの位置情報取得部(不図示)から取得された購入者端末100aの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも2つを組み合わせて棚IDを取得してもよい。
【0039】
S314では、CPU101aは、サーバ装置100bから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者120とは別のユーザーがすでに棚130にチェックインしていた場合、購入者120は棚130にはチェックインできないものとする。チェックイン不可通知を受信した場合にはS315に進み、そうでない場合には316に進む。
【0040】
S315では、CPU101aは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ105aに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び/または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚130に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが(すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが)、本実施形態では扉を設けていない。そのため棚130の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚130の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者120が認識することができる。また、本実施形態のように、1人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚130から商品を取り出した利用者が誰なのか判別できなくなる(購入者の混同が起こる)ことも抑止することができる。
【0041】
S316では、CPU101aは、サーバ装置100bから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはS317に進み、そうでない場合には314に戻る。
【0042】
S317では、CPU101aは、S302と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはS330へ進み、そうでない場合にはS320に進む。
【0043】
S320では、CPU101aは、ディスプレイ105aに空カート表示を行う。空カート表示の表示例を図8(b)に示す。
【0044】
表示アイテム810は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。
【0045】
ガイダンス811は、ユーザーである購入者120に、棚130から商品を取り出すことを促すガイド表示である。図8(b)の例では、「商品棚から商品を取り出してください」との文字列(メッセージ)が表示される。本実施形態の販売システムにおいては、商品棚130に扉やカバーを設けていない。従って、外観上は商品棚130を取り出して良い状態であるか否かを購入者120(ユーザー)が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス811を表示することで、購入者120は商品を棚130から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末100aのディスプレイ105aにガイダンス811を表示することで、エッジPC100cの音声出力部113cでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境(静かにすべき環境、あるいは逆に雑音の大きい環境)であっても、購入者120に商品を取り出して良い状態であることを確実に通知することができる。また、エッジPC100cにディスプレイを接続したり、棚130付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者120に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス811は、購入者120に棚130からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末100aからの音声出力によるガイダンスでもよい。
【0046】
表示アイテム812はカートにある商品の合計金額を示す。図8(b)の例では、カートに商品は無いので0円である旨が表示される。
【0047】
購入指示アイコン813は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン(表示アイテム)である。図8(b)の例では、カートに商品が無く、何も購入できないため、グレーアウト(非アクティブ表示)されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。
【0048】
中止指示アイコン814は、購入動作(買い物)のキャンセル指示を受け付けるタッチアイコン(表示アイテム)である。
【0049】
棚移動アイテム815は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン(表示アイテム)である。
【0050】
S321では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS322に進み、そうでない場合にはS325に進む。
【0051】
S322では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。
【0052】
S323では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはS324にすすみ、そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。
【0053】
S324では、CPU101aは、メモリ102aに保持したカート情報をクリア(消去)し、ディスプレイ105aにチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。図8(d)にチェックアウト表示の表示例を示す。チェックアウト表示には、購入(買い物)に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ830が表示される。チェックアウト表示を所定時間(例えば5秒)表示した後、S301のLV表示(QRコードの読み取り画面)に戻る。
【0054】
S325では、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS328へ進む。
【0055】
S326では、CPU101aは、棚移動操作が行われたことを示す棚移動指示をサーバ装置100bに送信する。
【0056】
S327では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のQRコードを読み取るため、S301のLV表示(QRコードの読み取り画面)に戻る。そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。
【0057】
S328では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS321へ進む。
【0058】
なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン813へのタッチ操作を受け付けない(無視する)例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン813へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示(S320の表示とは異なる第2の表示)を行ってもよい。例えば、ガイダンス811を点滅させたり色を変えたりするなどしてS320とは異なる表示形態で強調表示したり、ガイダンス811とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン813が操作された場合、購入者120が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。
【0059】
S330では、CPU101aは、表示部に商品ありの場合のカート表示を行う。商品ありのカート表示の表示例を図8(c)に示す。図8(b)と同じ表示物については、同じ符号を付して説明を省略する。
【0060】
商品一覧820は、サーバ装置100bから受信した更新通知に含まれる商品情報を含む情報であって、メモリ102aに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧820は行毎に1つの商品の情報を表しており、列821~列824を含む。列821は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン(例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど)が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末100aの不揮発性メモリ103aに予め記憶されていた画像か、サーバ装置100bから受信した画像を表示する。列822は各行の商品の名前(商品名)を表しており、列823は各行の商品の価格を表している。列824は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図8(c)の例では、購入指示アイコン813は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている(アクティブ表示)。一方、中止指示アイコン814はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚130に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン814へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン814へのタッチ操作を受け付けないようにしてもよい。
【0061】
S331では、CPU101aは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列824に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面(タッチされた行の商品について修正する画面)での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚130に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者120が正しい内容に修正することができる。
【0062】
S332では、CPU101aは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置100bに送信する。
【0063】
S333では、CPU101aは、サーバ装置100bからの更新通知を待ち、更新通知があると通知に基づいてメモリ102aに保持したカート情報を更新してS317に進む。こうして、ディスプレイ105aのカート表示も修正を反映したものが表示される。
【0064】
S334では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS335に進み、そうでない場合にはS340に進む。
【0065】
S335では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。
【0066】
S336では、CPU101aは、ディスプレイ105aに返却メッセージを表示する。返却メッセージは、棚130から購入者120が取り出した商品を、棚130に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列(メッセージ)が表示される。これによって購入者120は、取り出した商品を棚130に戻さないと買い物の中止(キャンセル)ができないことを認識することができ、手に持っている商品を棚130に戻そうとする。この結果、カートに入っていた商品(購入者120が取り出した商品)が棚130に戻されると、カメラ140によって戻した様子の映像から商品が戻されたことが検知され、エッジPC100cからサーバ装置100bに商品が戻された旨の情報が送信される。サーバ装置100bは、商品戻された旨の情報を受信すると、サーバ装置100bに保持したカート情報を更新し、更新通知として購入者端末100aに送信する。
【0067】
S337では、CPU101aは、サーバ装置100bから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ102aのカート情報を更新し、S338に進む。更新通知を受信できない場合はS337で更新通知の受信を待ち、チェックアウト表示には進まない。
【0068】
S338では、CPU101aは、S337で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者120が棚130から取り出した商品がすべて棚130に戻された場合である。カートに商品が無い場合にはS339に進み、そうでない場合(まだカートに商品がある場合)にはS336へ進む。
【0069】
ここで、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定された場合は、購入者120がまだ棚130から取り出した商品を棚130に戻していない場合である。従って、S334で中止指示があってから、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、S336で表示した返却メッセージを表示し続けることにより、購入者120に確実な商品の返却を促す。また、返却メッセージを表示してからS337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。
【0070】
S339では、CPU101aは、S324と同様にチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。これによって購入者120は、取り出した商品を棚130に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。
【0071】
S340では、CPU101aは、購入指示の操作(購入指示アイコン813へのタッチ)があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはS341へ進み、そうでない場合にはS344へ進む。
【0072】
S341では、CPU101aは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置100bに送信する。
【0073】
S342では、CPU101aは、サーバ装置100bと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作(タッチパネル70aに対する決済操作)に応じて、カートに入った商品に対する支払い(決済、課金)が行われる。決済が完了するとS339へ進む。S339でのチェックアウト表示により、決済が正常に完了し、棚130から取り出した商品(購入済みの商品)をもってその場を立ち去ってもよいことを購入者120が認識できる。
【0074】
S344では、CPU101aは、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS345へ進む。
【0075】
S345では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS331へ進む。
【0076】
図4に、サーバ装置100bにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。
【0077】
S401では、CPU101bは、メモリ102bに保持された各種変数、情報(カート情報)などを初期化する。また、不揮発性メモリ103bには、サーバ装置100bで管理している複数の商品棚のIDが記憶されている。この管理対象の商品棚のIDをすべて読み込み、チェックイン状態の管理情報をメモリ102bに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図5(a)に示す。管理情報には、管理対象となる棚のIDと、チェックイン状態と、チェックイン状態である場合にはチェックイン(CI)しているユーザーのIDとが対応付けて記憶される。S401においては、チェックイン状態は全て非チェックイン、CIユーザーはすべての棚において無しとなる。
【0078】
S402では、CPU101bは、購入者端末100aから送信された棚IDを受信したか否かを判定する。これは前述の図3のS313で購入者端末100aから送信された棚IDとユーザーIDを受信したか否かの判定である。棚IDを受信した場合にはS402に進み、そうでない場合にはS407に進む。
【0079】
S403では、メモリ102bに保持したチェックイン状態の管理情報を参照し、受信した棚IDの棚がすでにチェックイン中である(チェックイン状態である)か否かを判定する。チェックイン状態であればS404に進み、そうでない場合(非チェックイン状態である場合)にはS405に進む。
【0080】
S404では、チェックインできない旨を示すチェックイン不可通知を、S402で受信した棚IDの送信元の購入者端末100aに送信する。また、メモリ102bに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚IDでのチェックイン処理は行わない。こうしてS404で送信されたチェックイン不可通知が前述した図3のS314で受信され、S315でチェックインエラーが表示される。
【0081】
S405では、CPU101bは、チェックイン処理を行う。具体的には、メモリ102bに保持されたチェックイン状態の管理情報において、S402で受信した棚IDの棚について、チェックイン状態を「チェックイン」とし、CIユーザーに、棚IDとともに受信したユーザーIDを関連付けて記憶する。すなわち、チェックイン処理は、棚ID(陳列場所情報)とユーザーID(ユーザー情報)とを関連付ける関連付け処理である。この場合の管理情報の例を図5(a)に示す。棚ID「678ユーザーID90」の棚について、チェックイン状態を「チェックイン」とし、CIユーザーのID「12345」を関連付けて記憶している。
【0082】
また、S404において、受と信したCIユーザーのカート情報が生成されていなかった場合には、メモリ102bにCIユーザーのカート情報を生成する。図5(b)に、ユーザーID「12345」のカート情報の例を示す。カート情報には、ユーザーID毎に生成される情報である。カート情報には、ユーザーID、チェックインしている棚ID、商品棚から取り出した商品(カートに入っている商品)の商品名(あるいは商品の識別情報)、価格、数量、小計、商品の取出元の棚IDと、カート内の全商品の合計価格が関連付けて記憶される。図5(a)の例は、ユーザーが棚ID「67890」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。
【0083】
なお、S402で受信した棚IDとユーザーIDのうち、該当するユーザーIDのカート情報がメモリ102bにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーIDのカート情報におけるチェックイン中の棚IDを受信した棚IDで更新する。このケースは第1の棚からの棚移動指示があり、決済することなく第1の棚からのチェックアウトが行われた後に、別の棚(第2の棚)にチェックインするケースである。第2の棚にチェックインした後に、第2の棚から商品を取り出すと、取り出した商品がカートに追加される。図5(c)に、棚ID「67890」の棚(第1の棚)で商品Aと商品Bを取り出した後に棚移動の指示が行われ、棚ID「67891」の棚(第2の棚)にチェックインして商品Cが取り出された場合のカート情報を示す。第1の棚で取り出した商品Aと商品Bに加え、第2の棚で取り出された商品Cが記録されており、合計価格は商品A,B,Cの合計となっている。
【0084】
S406では、CPU101bは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末100aと、エッジPC100cとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末100aにおいては前述の図3のS316で受信され、エッジPC100cにおいては後述する図6のS603で受信される。
【0085】
S407では、CPU101bは、エッジPC100cから送信された棚IDと商品認識スコアを受信したか否かを判定する。受信した場合にはS408に進み、そうでない場合にはS411へ進む。
【0086】
S408では、CPU101bは、エッジPC100cから受信した商品認識スコアに基づいて、棚からの取り出し/戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジPC100cでなくサーバ装置100b側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジPCに反映することなくサーバ装置100bに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジPC100cの高機能化に伴う設置コスト増加や、エッジPC100cの更新作業などの管理負荷を軽減することができる。エッジPCから受信する商品認識スコアは、商品をある程度推定した結果の情報(推論スコア)であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ140で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジPC100cとサーバ装置100bとの通信量を抑制し、高速な判定、応答を可能としている。
【0087】
なお、エッジPC100cからサーバ装置100bに商品認識スコアを送信するものに限るものではない。例えば、エッジPC100c側では商品が何であるかの判定のための処理を行わずに、商品の取り出し/戻しがあったと推定される場面についてカメラ140で撮影された画像自体(動画または静止画)を送信してもよい。この場合、受信したカメラ140での撮影画像に基づいてサーバ装置100bで商品を判定する。また逆に、エッジPC100c側で、取り出し/戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置100bに送信するようにしてもよい。この場合はS408の処理は省略される。
【0088】
S409では、CPU101bは、S408で判定された商品に基づき、メモリ102bに保持したカート情報を更新する。すなわち、S408で商品が棚から取り出されたと判定した場合は、受信した棚IDに関連付いたユーザーIDのカート情報にS408で判定した商品の情報を追加する。逆に、S408で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚IDが取り出し元として記録されているカート情報から、S408で判定した商品を削除する。図5(b)に、元々カート情報に商品Aが入っている状態から、S407で、棚ID「67890」の棚IDと商品認識スコアを受信し、S408で商品Bが棚から取り出されたと判定された場合のカート情報の例を示す。商品Aに加えて商品Bの情報が追加されている。
【0089】
S410では、CPU101bは、カート情報を更新したことを示す更新通知を購入者端末100aに送信する。更新通知にはメモリ102bに保持した最新のカート情報も含まれる。すなわち、商品棚130からの商品の取り出しが行われた場合には、S408で判定された取り出された商品情報を含むカート情報も送信する。
【0090】
S411では、CPU101bは、購入者端末100aから送信された修正指示(前述の図3のS332で購入者端末100aから送信した修正内容)を受信したか否かを判定する。修正指示を受信したと判定した場合は、S409へ進み、修正指示として受信した修正内容に基づいてメモリ102bに保持したカート情報を更新する。修正指示を受信していない場合にはS412に進む。
【0091】
S412では、CPU101bは。購入者端末100aから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはS413へ進み、そうでない場合にはS417へ進む。
【0092】
S413では、CPU101bは、S412で受信した中止指示を行ったユーザーのユーザーIDのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはS414に進み、そうでない場合にはS419に進む。
【0093】
S414~S416の処理は、S408~S410の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとS413でNoと判定され、チェックアウト処理を伴う中止の処理(S419~S422の処理)が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはS413でNoと判定されないため、チェックアウト処理を伴う中止の処理は行われない。
【0094】
S417では、CPU101bは、購入者端末100aから送信された決済指示(前述の図3のS341で購入者端末100aから送信した決済指示)を受信したか否かを判定する。決済指示を受信したと判定した場合は、S418へ進み、そうでない場合はS423に進む。
【0095】
S418では、CPU101bは、決済サービス170を呼び出し、決済サービス170に基づく決済処理を行う。
【0096】
S419では、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDについてのメモリ102bに保持したカート情報をクリア(消去)する。
【0097】
S420では、CPU101bは、チェックアウト処理を行う。具体的には、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報(図5(a))における該当の棚IDについて、状態をチェックアウト状態とし、CIユーザーを消去する。これによって、棚とユーザー(購入者)との関連付けが消去される。
【0098】
S421では、CPU101bは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末100aとエッジPC100cに送信する。
【0099】
S422では、CPU101bは、購入者端末100aから送信された棚移動指示(前述の図3のS328で購入者端末100aから送信した棚移動指示)を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、S423へ進み、そうでない場合はS424に進む。
【0100】
S423では、CPU101bは、前述のS420と同様、チェックアウト処理を行う。
【0101】
S424では、CPU101bは、図4の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図4の処理を終了し、終了イベントが無い場合にはS402に進んで処理を繰り返す。
【0102】
図6に、エッジPC100cにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103cに記録されたプログラムをメモリ102cに展開し、CPU101cが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。図6は個別の棚に関する処理であり、本実施形態では棚130(棚ID:67890)の棚に関する処理として説明する。
【0103】
S601では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。
【0104】
S602では、CPU101cは、カメラ140からの映像を取得する。ここで取得する映像は、棚130の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し/戻しの検知にカメラ140以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。
【0105】
S603では、CPU101cは、サーバ装置100bから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはS604へ進み、そうでない場合にはS606に進む。
【0106】
S604では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態(棚130と購入予定者が関連付いた状態)とする。
【0107】
S605では、CPU101cは、音声出力部113cから、棚130から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末100aでQRコード160を読み取ったことに応じて棚130にチェックインできた(棚130が応答した)ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者120に棚から商品と取り出すことを促す音声(音声ガイダンス)や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び/または、商品棚130から商品を取り出すことを促す。
【0108】
S606では、CPU101cは、カメラ140から取得した映像に基づいて、棚130からの商品の取り出し、あるいは、棚130への商品の返却(戻し)があったか否かを判定する。すなわち、カメラ140で商品棚130を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚130の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてS607に進み、そうでない場合にはS610へ進む。
なお、本実施形態では、カメラ140で撮影された映像に基づいて商品の取り出し/戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚130の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し/戻しを検知してもよい。また、商品毎にICタグなどのRFID(radio frequency identifier)タグを取り付けておき、このタグとの無線通信によって商品の取り出し/戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚130の手前(取り出し口)の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し/戻しを検知してもよい。複数の検知方法の1つを採用してもよいし、複数を組み合わせて商品の取り出し/戻しを検知してもよい。
【0109】
S607では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはS608へ進み、そうでない場合にはS609に進む。
【0110】
S608では、CPU101cは、管理対象である棚130の棚ID(本実施形態では67890)と、S606で取り出しまたは返却があった旨、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置100bに送信する。すなわち、商品の取り出し/返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ140で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ140で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。
【0111】
S609では、CPU101cは、音声出力部113cから音声でエラー通知(エラー出力)を行う。この場合、エッジPC100cからはサーバ装置100bに対しての商品スコアの送信は行わない。サーバ装置100bと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者120により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置100bに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置100bへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、S606で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚130に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者120にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。
【0112】
エラー通知は、非チェックイン状態で取り出された商品が棚130に戻された、もしくは所定時間(例えば1分)が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚130でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。
【0113】
エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたQRコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のQRコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚130から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者120(購入予定者)は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。
【0114】
S610では、CPU101cは、サーバ装置100bから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はS611に進み、そうでない場合にはS613に進む。
【0115】
S611では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン(棚130と購入予定者が関連付いていない状態)とする。
【0116】
S612では、CPU101cは、音声出力部113cから、棚130からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。
【0117】
S613では、CPU101cは、図6の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図6の処理を終了し、終了イベントが無い場合にはS02に進んで処理を繰り返す。
【0118】
図7に、図3で説明した購入者端末100aの処理、図4で説明したサーバ装置100bの処理、図6で説明したエッジPC100cの処理の連携によって実現する、本実施形態の販売システムでの販売に係る処理シーケンスの例を示す。括弧内に、図3図4図6で前述した処理の対応するステップを示す。
【0119】
S700では、購入者端末100aにおいてQRコードの読み取り画面を開き、LV画像が表示された状態で、購入者120が購入者端末100aのカメラ部112aをQRコード160に向ける。
【0120】
S701では、購入者端末100aのカメラ部112aでQRコード160の撮影、読み取りが行われる(S304Yes)。
【0121】
S702では、購入者端末100aからサーバ装置100bに棚IDとユーザーIDが送信される(S313)。
【0122】
S703では、サーバ装置100bにおいてチェックイン処理が行われる(S405)。
【0123】
S704でサーバ装置100bからエッジPC100cにチェックイン完了通知が送信され(S406)、これに応じてS705ではエッジPCでのチェックイン(S604)と、音声ガイドの出力(S605)が行われる。
【0124】
S706でサーバ装置100bから購入者端末100aにチェックイン完了通知が送信され(S406)、これに応じてS707で購入者端末100aにおける空カート表示が行われる(S320)。
【0125】
S708で、購入者120が棚130から商品を取り出す。
【0126】
S709では、エッジPC100cで商品が取り出されたことを検知し(S606Yes)、棚IDと商品認識スコアをサーバ装置100bに送信する(S608)。
【0127】
S710では、サーバ装置100bで商品判定を行い(S408)、カート内の商品を更新する(S409)。
【0128】
S711では、サーバ装置100bから購入者端末100aにカート情報の更新通知を送信する(S410)。
【0129】
S712では、購入者端末100aにおいてカートの表示を更新する。この例では、この状態で、S708で取り出した商品がカートに入った商品ありのカート表示となる(S330)。
【0130】
S713では、購入者120が中止指示アイコン814をタッチする中止操作を行う。
【0131】
S714では、中止操作に応じて、購入者端末100aからサーバ装置100bに中止指示を送信する(S335)。
【0132】
S715では、カートに商品が入っているため、購入者端末100aにおいて返却メッセージを表示する(S336)。
【0133】
S716では、返却メッセージを見た購入者120が、S708で取り出した商品を、棚130に戻す(返却する)。
【0134】
S717では、エッジPC100cが、カメラ140で撮影された画像に基づいて商品が返却されたことを検知し(S606)、棚IDと返却された商品認識スコアをサーバ装置100bに送信する(S608)。
【0135】
S718では、サーバ装置100bにおいて、受信した棚IDと商品認識スコアに基づいて返却された商品を判定(特定)し(S415)、カート内の商品を更新する(S416)。すなわち、カートに入っていた商品のうち返却された商品を削除する。
【0136】
S719では、カート情報の更新通知をサーバ装置100bから購入者端末100aに送信する(S416)。
【0137】
S720では、S708で取り出された商品が返却されたためカートに商品が無い状態となったため(S413No)、S714で送信された中止指示に応じてチェックアウト処理を行う(S420)。
【0138】
S721では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S722では、エッジPC100cがチェックアウト完了通知に応じて、棚130の状態を非チェックインとする(S611)。
【0139】
S722では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後(S339)、QRコード読み取り画面でLV表示を行う。
【0140】
また、別のケースとして、カートに商品が入っている状態で、S730で購入者120が購入指示アイコン813をタッチする購入指示の操作を行うと、S731で、購入者端末100aからサーバ装置100bに決済指示の通知を送信する。
【0141】
S732では、サーバ装置100bにおいて、決済指示の通知に応じて、決済サービス170を用いた決済処理を行う。決済を行うとカートの商品をクリアし、S733でチェックアウト処理を行う。
【0142】
S734では、サーバ装置100bからエッジPC100cにチェックアウト完了通知が送信され、S735で
エッジPC100cが棚130の状態を非チェックインとする。
【0143】
S736では、サーバ装置100bから購入者端末100aにチェックアウト完了通知を送信する。SS724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後、QRコード読み取り画面でLV表示を行う(S301)。
【0144】
以上説明した本実施形態によれば、商品の管理や販売に関するより好適なシステムを提供することができる。
【0145】
また、本実施形態の販売システムは、図7のシーケンス図からも明らかなとおり、購入者端末100aとエッジPC100cとが直接通信する必要がない。すなわち、本実施形態においては、購入者端末100aと前記エッジPC100cは直接の通信確立を行わない。従って、購入者端末100aとエッジPC100cとが直接通信するための機能が無い装置も、購入者端末100aとして利用することができる。購入者端末100aとエッジPC100cとが直接通信するための機能としては、例えば、NFC(Near field communication)やBluetooth(商標)などの近距離無線通信機能がある。しかし、安価なスマートフォンや携帯電話端末などの電子機器には、カメラ部を備えていても、NFCやBluetoothの機能は有していないものが存在する。本実施形態の販売システムでは、そのようなNFCやBluetoothの機能を有していない電子機器でも購入者端末100aとして用いて買い物を行うことができる。すなわち、近距離無線通信機能の無い電子機器のユーザーの購入機会を妨げ、近距離無線通信機能を有する電子機器を所有するユーザーだけに購入者が限られてしまうということを防止することができる。言い換えれば、より幅広いユーザーが購入することが可能であり、販売機会の増大に寄与する。すなわち、より多くのユーザーが利用可能な販売システムを提供することができる。
【0146】
また、購入者端末100aとエッジPC100cとが直接通信する必要がないため、エッジPC100cと接続された近距離無線通信の送受信機などの機器を商品棚130の近辺に設置する必要がない。従って設置スペースの増加や設置コストの増大も抑えることができる。
【0147】
また、購入者端末100aとエッジPC100cとの通信を行おうとする場合、NFCで接続したのちにBluetoothにハンドオーバーするといった通信の仕方が考えられる。この場合、NFCは有効通信距離が10cm程度と短く、NFCの送受信機をユーザーが手の届くところに設置しないといけないという設置場所の制約が発生する。また、Bluetoothを用いる場合、購入者端末100aで他の機器とBluetooth接続を行っていた場合に、元の接続を一度切断しなければならない場合があるという不利益がある。例えば、Bluetoothイヤホンで音楽を聴いたまま購入を行えないといったことが発生する。本実施形態の販売システムであれば、購入者端末100aとエッジPC100cとが直接通信する必要がないためこのような課題も解決される。
【0148】
また、本実施形態の販売システムでは、購入者120が棚130に載置された商品を購入する際にエッジPC100cに対して何等か操作や入力をする必要がない。従って、棚130に操作や入力を受け付けるための装置を設置する必要がなく、販売スペースの増大や設置コストの増加を抑えることができる。また、決済も購入者端末100aとサーバ装置100bとの処理によって実行されるため、現金授受のための装置や、クレジットカードの読み取り装置といった決済のための装置を設置する必要が無く、設置スペース、設置コストを低減できる。
【0149】
なお、上述の実施形態においては、商品の陳列場所として商品棚130を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。
【0150】
また、上述の実施形態は、商品の販売の代わりに商品の在庫補充などの場合にも適用可能である。すなわち、本実施形態は、販売システムや在庫管理システムを含む商品管理システムに適用可能である。在庫管理の場合、上述の購入者120を在庫補充者に置き換え、商品を戻したことの検知を在庫を補充したことの検知に置き換え、商品を取り出したことの検知を商品の陳列を取りやめるために商品を取り出したことの検知に置き換えれば適用可能である。すなわち、在庫補充者が所有する端末でQRコード160を読み取ることで在庫補充者が棚130にチェックインする。チェックインした状態で在庫補充や陳列している商品の交換等を行えるようにして、チェックインしていない状態での作業はエラーとして上述した各種通知を行うようにしてもよい。
【0151】
なお、CPU101a、101b、101cが行うものとして説明した上述の各種制御は、それぞれ1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
【0152】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である
【0153】
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の1つ以上のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0154】
100a:購入者端末 100b:サーバ装置 100c:エッジPC 130:棚

図1
図2
図3
図4
図5
図6
図7
図8