IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック株式会社の特許一覧

<>
  • 特許-買物支援システム及び買物支援方法 図1
  • 特許-買物支援システム及び買物支援方法 図2
  • 特許-買物支援システム及び買物支援方法 図3
  • 特許-買物支援システム及び買物支援方法 図4
  • 特許-買物支援システム及び買物支援方法 図5
  • 特許-買物支援システム及び買物支援方法 図6
  • 特許-買物支援システム及び買物支援方法 図7
  • 特許-買物支援システム及び買物支援方法 図8
  • 特許-買物支援システム及び買物支援方法 図9
  • 特許-買物支援システム及び買物支援方法 図10
  • 特許-買物支援システム及び買物支援方法 図11
  • 特許-買物支援システム及び買物支援方法 図12
  • 特許-買物支援システム及び買物支援方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-21
(45)【発行日】2022-07-29
(54)【発明の名称】買物支援システム及び買物支援方法
(51)【国際特許分類】
   G06Q 30/06 20120101AFI20220722BHJP
   G01C 21/26 20060101ALI20220722BHJP
   G08G 1/005 20060101ALI20220722BHJP
【FI】
G06Q30/06
G01C21/26 P
G08G1/005
【請求項の数】 8
(21)【出願番号】P 2018070534
(22)【出願日】2018-04-02
(65)【公開番号】P2019185083
(43)【公開日】2019-10-24
【審査請求日】2021-03-08
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成29年度、総務省、膨大な数の自律型モビリティシステムを支える多様な状況に応じた周波数有効利用技術の研究開発の委託事業、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニックホールディングス株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】特許業務法人 大島特許事務所
(72)【発明者】
【氏名】上田 大介
【審査官】貝塚 涼
(56)【参考文献】
【文献】特開2006-126926(JP,A)
【文献】特開2000-200357(JP,A)
【文献】特開2017-217921(JP,A)
【文献】特開2012-183899(JP,A)
【文献】特開2008-145383(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G01C 21/00 - 21/36
G08G 1/00 - 1/16
(57)【特許請求の範囲】
【請求項1】
店舗において情報表示装置を備えたカートを利用する利用者に対して買物支援情報を提供する買物支援システムであって、
前記店舗の複数の定位置にそれぞれ配置され、前記店舗内を撮影した映像を生成する複数のカメラと、
前記カートの動き情報を取得する情報表示装置に設けられたセンサと、
前記カメラおよび前記情報表示装置と通信可能に接続される管理サーバと、を有し、
前記管理サーバは、
前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定するカート特定部と、
前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行する表示情報制御部と、
を備えたことを特徴とする買物支援システム。
【請求項2】
前記映像から前記利用者を検出する人物検出部と、
前記位置を特定された前記カートに対し、前記検出された前記利用者を対応付けるカート所有者推定部と、
前記検出された前記利用者の属性を判定する属性判定部と、
を更に備え、
前記表示情報制御部は、前記属性に応じて予め前記カートの情報記憶部に記憶された複数の前記買物支援情報から前記カートに対応づけられた前記利用者に対する前記買物支援情報を決定することを特徴とする請求項1に記載の買物支援システム。
【請求項3】
前記属性には、前記利用者の年齢、前記利用者の性別、及び前記利用者によって構成されるグループの種別のうちの少なくとも1が含まれることを特徴とする請求項2に記載の買物支援システム。
【請求項4】
前記動き情報には、前記カートの移動方向を示す情報が含まれることを特徴とする請求項1から請求項3のいずれかに記載の買物支援システム。
【請求項5】
前記表示情報制御部は、前記カート特定部によって前記カートの位置が特定されるまでの間において、前記カートの前記情報表示装置に前記利用者向けの動作指示情報を表示させることを特徴とする請求項1から請求項4のいずれかに記載の買物支援システム。
【請求項6】
前記表示情報制御部は、前記買物支援情報として、前記カート特定部によって特定された前記カートの位置が示された前記店舗内のマップ画像を前記情報表示装置に表示させることを特徴とする請求項1から請求項のいずれかに記載の買物支援システム。
【請求項7】
前記カート特定部は、前記カートの位置を繰り返し特定し、
前記表示情報制御部は、前記カート特定部によって特定された前記カートの位置に基づき、前記マップ画像に表示された前記カートの位置を更新することを特徴とする請求項に記載の買物支援システム。
【請求項8】
店舗において情報表示装置を備えたカートを利用する利用者に対して、情報処理装置により買物支援情報を提供する買物支援方法であって、
前記情報処理装置は、
前記店舗の複数の定位置にそれぞれ配置されたカメラから前記店舗内を撮影した映像を取得し、
前記情報表示装置に設けられたセンサから前記カートの動き情報を取得し、
前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定し、
前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行することを特徴とする買物支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、店舗においてカートを利用する利用者に対し、買物等に関する案内を行うための買物支援システム及び買物支援方法に関する。
【背景技術】
【0002】
従来、ショッピングセンターなどの店舗において、各利用者に対して店舗での買物等に関する案内を行うために、案内情報(例えば、店舗内で買物をする際の経路の情報など)を利用者に提供する機能を有するショッピングカートを備えたシステムが開発されている。
【0003】
例えば、ユーザの買物経路の誘導に関し、無線LANを介して互いに通信可能な複数のカートロボットと、管理サーバと、を備え、管理サーバは、商品棚位置情報、店舗内のカメラからの混雑情報、およびカートロボットの経路情報を格納し、各情報をカートロボットに送信し、カートロボットは、店舗内における自己位置を検知し、商品棚位置情報をもとに目的とする棚位置までの距離を最短とする経路計画を生成し、当該経路にしたがってカートを移動させ、曲がり角を検出したときに、ステアリング操作が自動的に行われるようにしたシステムが知られている(特許文献1参照)。
【0004】
また例えば、情報提供機能を備えたショッピングカートに関し、複数のセンサ(位置センサ、加速度センサ)と、表示装置と、を備え、顧客が所定の挙動を取ったときにセンサから検出される情報に関するセンサ条件が設定された行動パターン判定ルールを判定し、その判定された行動パターン判定ルールに対応する情報提供サービスの処理内容に従って表示装置を介した情報提供を実行するものが知られている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2008-145383号公報
【文献】特開2008-059334号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記特許文献1、2に記載のような従来技術では、各利用者に適した案内情報をそれぞれ提供するために、店舗における各カートの位置情報(利用者の位置情報に相当)を取得する必要があり、全てのカートには、自身の位置情報を取得する電子機器(例えば、室内GPS受信機、RFID装置、及びビーコン発信器など)が設けられることになる。
【0007】
したがって、上記従来技術では、各カートの位置情報を取得するための電子機器の設置コストや、そのメンテナンスコストが嵩み、その結果、システム全体のコストが増大する傾向にある。
【0008】
一方、本願発明者は、鋭意検討した結果、監視等の目的で店舗に配置された既設のカメラによって撮影された映像を利用することにより、各カートに自身の位置情報を取得する電子機器を設置することなく、各カートの位置情報を取得することが可能となることを見出した。
【0009】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことができる買物支援システム及び買物支援方法を提供することを主目的とする。
【課題を解決するための手段】
【0010】
本開示の買物支援システムは、店舗において情報表示装置を備えたカートを利用する利用者に対して買物支援情報を提供する買物支援システムであって、前記店舗の複数の定位置にそれぞれ配置され、前記店舗内を撮影した映像を生成する複数のカメラと、前記カートの動き情報を取得する情報表示装置に設けられたセンサと、前記カメラおよび前記情報表示装置と通信可能に接続される管理サーバと、を有し、前記管理サーバは、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定するカート特定部と、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行する表示情報制御部と、を備えたことを特徴とする。
【0011】
また、本開示の買物支援方法は、店舗において情報表示装置を備えたカートを利用する利用者に対して、情報処理装置により買物支援情報を提供する買物支援方法であって、前記情報処理装置は、前記店舗の複数の定位置にそれぞれ配置されたカメラから前記店舗内を撮影した映像を取得し、前記情報表示装置に設けられたセンサから前記カートの動き情報を取得し、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定し、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行することを特徴とする。
【発明の効果】
【0012】
本開示によれば、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことが可能となる。
【図面の簡単な説明】
【0013】
図1】実施形態に係る買物支援システム1の全体構成図
図2】店舗2におけるカメラ4の設置状況を示す説明図
図3】カート3及びそれを使用する利用者15の説明図
図4】管理サーバ5及び情報表示装置11の概略構成を示すブロック図
図5】管理サーバ5の買物支援処理および情報表示装置11の表示処理の概略を示す説明図
図6】管理サーバ5による買物支援処理に関する動作手順を示すフロー図
図7図6中のステップST103の処理の一例を示す説明図
図8図6中のステップST101-ST104に関し、情報表示装置11に表示される利用者向けの動作指示情報の一例を示す説明図
図9図6中のステップST108において情報表示装置11に表示される買物支援情報の第1の例を示す図
図10図6中のステップST108において情報表示装置11に表示される買物支援情報の第2の例を示す図
図11図6中のステップST108において情報表示装置11に表示される買物支援情報の第3の例を示す図
図12図6中のステップST108において情報表示装置11に表示される買物支援情報の第4の例を示す図
図13図6中のステップST108において情報表示装置11に表示される買物支援情報の第5の例を示す図
【発明を実施するための形態】
【0014】
前記課題を解決するためになされた第1の発明は、店舗において情報表示装置を備えたカートを利用する利用者に対して買物支援情報を提供する買物支援システムであって、前記店舗の複数の定位置にそれぞれ配置され、前記店舗内を撮影した映像を生成する複数のカメラと、前記カートの動き情報を取得する情報表示装置に設けられたセンサと、前記カメラおよび前記情報表示装置と通信可能に接続される管理サーバと、を有し、前記管理サーバは、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定するカート特定部と、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行する表示情報制御部と、を備えたことを特徴とする。
【0015】
これによると、店舗内を撮影した映像からカートの位置を特定し、カートの情報表示装置へ買物支援情報を提供するため、簡易な構成によってカートの位置情報を取得しつつ、店舗の利用者に対して買物に役立つ案内をより安価に行うことが可能となる。
【0016】
また、第2の発明は、前記映像から前記利用者を検出する人物検出部と、前記位置を特定された前記カートに対し、前記検出された前記利用者を対応付けるカート所有者推定部と、前記検出された前記利用者の属性を判定する属性判定部と、を更に備え、前記表示情報制御部は、前記属性に応じて予め前記カートの情報記憶部に記憶された複数の前記買物支援情報から前記カートに対応づけられた前記利用者に対する前記買物支援情報を決定することを特徴とする。
【0017】
これによると、特定されたカートの所有者(すなわち、カートに対応付けられた利用者)の属性に基づき、当該カートの情報表示装置に表示させる買物支援情報が決定されるため、カートの所有者の買物に役立つ案内をより効果的に実施することが可能となる。
【0018】
また、第3の発明は、前記属性には、前記利用者の年齢、前記利用者の性別、及び前記利用者によって構成されるグループの種別のうちの少なくとも1が含まれることを特徴とする。
【0019】
これによると、特定されたカートの所有者の適切な属性に基づき、カートの所有者の買物に役立つ案内をより確実に決定することが可能となる。
【0022】
また、第4の発明は、前記動き情報には、前記カートの移動方向を示す情報が含まれることを特徴とする。
【0023】
これによると、カートに設けられた動きセンサからの動き情報と、店舗内を撮影した映像とに基づき、簡易な情報処理によってカートの位置を特定することが可能となる。
【0024】
また、第5の発明は、前記表示情報制御部は、前記カート特定部によって前記カートの位置が特定されるまでの間において、前記カートの前記情報表示装置に前記利用者向けの動作指示情報を表示させることを特徴とする。
【0025】
これによると、利用者が動作指示情報にしたがって動作(例えば、カートを押して移動)することにより、カートの位置を特定するためのカートの動き情報および店舗内を撮影した映像を、より確実に取得することが可能となる。
【0026】
また、第6の発明は、前記表示情報制御部は、前記買物支援情報として、前記カート特定部によって特定された前記カートの位置が示された前記店舗内のマップ画像を前記情報表示装置に表示させることを特徴とする。
【0027】
これによると、カートの所有者は、店舗内のカート周辺のマップ画像に基づき店舗内を円滑に移動することが可能となる。
【0028】
また、第7の発明は、前記カート特定部は、前記カートの位置を繰り返し特定し、前記表示情報制御部は、前記カート特定部によって特定された前記カートの位置に基づき、前記マップ画像に表示された前記カートの位置を更新することを特徴とする。
【0029】
これによると、カートの所有者は、適宜更新されるカートの現在位置を確認しながら店舗内のマップ画像に基づき店舗内をより円滑に移動することが可能となる。
【0032】
また、第8の発明は、店舗において情報表示装置を備えたカートを利用する利用者に対して、情報処理装置により買物支援情報を提供する買物支援方法であって、前記情報処理装置は、前記店舗の複数の定位置にそれぞれ配置されたカメラから前記店舗内を撮影した映像を取得し、前記情報表示装置に設けられたセンサから前記カートの動き情報を取得し、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定し、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行することを特徴とする。
【0033】
これによると、店舗内を撮影した映像からカートの位置を特定し、カートの情報表示装置へ買物支援情報を提供するため、簡易な構成によってカートの位置情報を取得しつつ、店舗の利用者に対して買物に役立つ案内をより安価に行うことが可能となる。
【0034】
以下、本開示の実施の形態を、図面を参照しながら説明する。
【0035】
図1は、本実施形態に係る買物支援システム1の全体構成図である。
【0036】
買物支援システム1は、店舗2内において、カート3を使用する店舗2の利用者(例えば、買い物客)に対し、買物支援を行うためのシステムであり、図1に示すように、店舗2ごとに設けられた複数のカメラ4と、利用者に対する買物支援に必要な処理を実行する管理サーバ5と、を備えている。
【0037】
後に詳述するように、買物支援システム1では、利用者に対する買物支援として、各カート3の所有者(すなわち、各カート3を使用する利用者)に対し、買物支援情報を提供することが可能である。買物支援情報は、店舗2で販売される商品に関する情報、店舗2内で買物をする際の経路及び商品配置の情報などの買物に役立つ情報を含む。
【0038】
本開示では、買物支援システム1を適用する店舗2として、ショッピングセンターを例に説明するが、これに限らず、買物支援システム1はカートを利用可能な任意の店舗(空港、駅、イベント会場などの施設を含む)に適用することが可能である。また、本開示における「買物」は、厳密に商品の購入に限定される必要はなく、店舗2においてカートを使用する利用者が任意のサービスを受ける行為も含み得る。また、本開示における「所有」は、貸し出された物を一時的に持つ場合を含み、「所有者」は、対象物(カート3等)の所有権を有する場合に限らず、単なる使用者であってもよい。
【0039】
カメラ4は、それぞれ公知の撮影機能や通信機能を有するビデオカメラからなり、各店舗内の適所に設置された既設の監視カメラである。カメラ4は、店舗内ネットワーク6、ルータ7、及びインターネット等の通信ネットワーク8を介して管理サーバ5と通信可能に接続されており、撮影した映像(動画像または静止画像)を管理サーバ5に対して所定のタイミングで順次送信することができる。
【0040】
管理サーバ5は、公知のハードウェア構成を有するコンピュータからなり、利用者に対して買物支援情報を提供するための処理(以下、「買物支援処理」という。)を実行するためのプログラムがインストールされている。詳細は後述するが、管理サーバ5は、その買物支援処理において、カート3に設けられた情報表示装置11(図3参照)に、カート3の所有者に応じて(すなわち、個別に)買物支援情報を表示させることが可能である。なお、買物支援システム1では、通信ネットワーク8を省略し、管理サーバ5(または同様の機能を有する情報処理装置)が、各店舗2の店舗内ネットワーク6に接続された構成も可能である。
【0041】
図2は、店舗2におけるカメラ4の設置状況を示す説明図であり、図3は、カート3及びそれを使用する利用者15の説明図である。
【0042】
図2に示すように、各カメラ4は、店舗2(ここでは、売り場(商品陳列エリア)、通路、及び駐車場)の適所にそれぞれ配置される。これらのカメラ4により、商品陳列エリアの商品を品定めする利用者15や、通路を通る利用者15ならびにそれら利用者15によって使用されるカート3が撮影される。店舗2を利用者15が移動すると、カメラ4のいずれか1つあるいは複数で利用者15及びカート3が撮影され、利用者15及びカート3が移動するのに応じて、利用者15及びカート3の撮影が次のカメラ4に引き継がれ、これにより撮影された映像に基づく利用者15及びカート3の追跡が可能となる。
【0043】
また、図3に示すように、利用者15が使用するカート3には、管理サーバ5から提供される買物支援情報を表示するための情報表示装置11が設けられている。情報表示装置11は、例えば、タブレットPCなどの携帯型の情報機器から構成することが可能であり、カート3を押す利用者15に対向するように配置された表示部35を備えている。情報表示装置11は、カート3の適所に固定されるが、カート3に対して着脱自在に設けることも可能である。また、本開示では、利用者15が使用するカート3は、店舗2から利用者15に対して一時的に貸し出されるショッピングカートであるが、これに限らず、少なくとも情報表示装置11を備える限りにおいて、他の形態のカート(ベビーカー、車いすなど)を利用することもできる。
【0044】
図4は、管理サーバ5及び情報表示装置11の概略構成を示すブロック図である。
【0045】
管理サーバ5は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部21と、記憶装置を有する情報記憶部22と、通信モジュールを有する通信部23とを備える。
【0046】
制御部21では、プロセッサが所定のプログラムを実行することにより、利用者15に対する買物支援処理及びカメラ4との通信等の処理が実現される。
【0047】
情報記憶部22は、カメラ4から受信した映像や、プロセッサによって実行されるプログラムなどを記憶する。
【0048】
通信部23は、カメラ4との間で公知の有線または無線通信方式に基づき通信を行うものであり、カメラ4から送信される映像を順次受信し、また、制御部21によって生成される各種の買物支援情報や、制御指令をカート3の情報表示装置11に送信する。
【0049】
また、情報表示装置11は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部31と、記憶装置を有する情報記憶部32と、通信モジュールを有する通信部33と、入力装置を有する入力部34と、表示装置を有する表示部35と、カート3の動きを検出する動きセンサ36と、を備える。
【0050】
制御部31では、プロセッサが所定のプログラムを実行することにより、管理サーバ5との通信や、買物支援情報の表示などの処理が実現される。
【0051】
情報記憶部32は、プロセッサによって実行されるプログラムや、管理サーバ5から取得した買物支援情報や制御指令を記憶する。
【0052】
通信部33は、管理サーバ5との間で公知の有線または無線通信方式に基づき通信を行うものであり、管理サーバ5から送信される買物支援情報を受信する一方、動きセンサ36で検出されたカート3の動きに関する情報(以下、「動き情報」という。)を管理サーバ5に送信する。
【0053】
入力部34は、利用者15の操作入力に用いられ、表示部35は、管理サーバ5から受信した買物支援情報を表示する。本開示では、入力部34および表示部35は、入力装置と表示装置を組み合わせたタッチパネルディスプレイで構成される。
【0054】
動きセンサ36は、少なくともカート3の移動方向を検出可能なセンサ(例えば、ジャイロセンサ、加速度センサなど)を含み、必要に応じてカート3の速度を検出することも可能である。
【0055】
なお、情報表示装置11には、買物支援システム1においてカート3の位置検出を可能とするセンサや電子機器(例えば、室内GPS受信機、RFID装置、及びビーコン発信器など)は設けられていない。
【0056】
図5は、管理サーバ5の買物支援処理およびそれに応じた情報表示装置11の表示処理の概略を示す説明図である。ここで、管理サーバ5による買物支援処理は、制御部21を構成するプロセッサによるプログラムの実行により主として実現され、同様に、情報表示装置11による表示処理は、制御部31を構成するプロセッサによるプログラムの実行により主として実現される。
【0057】
管理サーバ5では、公知の物体検出手法により、各カメラ4からの映像に含まれるカート3を検出するカート検出41の処理が実行される。これと同時に、管理サーバ5では、公知の人物検出手法により、映像に含まれる人物(利用者15)を検出する人物検出42の処理が実行される。ここで、管理サーバ5では、検出したカート3及び利用者15の追跡処理および動線分析処理を適宜実行することにより、カート3の動作状況を推定することが可能である。なお、管理サーバ5は、各カメラ4が人物検出機能を備えている場合には、人物検出42の処理を省略することもできる。
【0058】
続いて、管理サーバ5では、カート検出41の位置を特定するカート特定43の処理が実行される。このとき、各カート3の情報表示装置11では、動きセンサ36による動き情報生成51の処理が実行されており、管理サーバ5は、その動き情報をカート3の識別情報(カートID)と共に各カート3の情報表示装置11から順次受信する。そこで、管理サーバ5は、各カート3から取得した動き情報と、映像中のカート3の動線の情報とのマッチングを実行することにより、各カートの位置を特定する(すなわち、映像中のカート3とカートIDとを対応づける)ことができる。
【0059】
続いて、管理サーバ5では、カート特定43によって位置が特定されたカートと、人物検出42によって検出された利用者15とを対応づけるカート所有者推定45の処理が実行される。
【0060】
このカート所有者推定45の処理では、管理サーバ5は、例えば、カメラ4の映像において、上述の位置が特定されたカート3からの距離が最小となる利用者を当該カート3の所有者であると推定することができる。さらに、管理サーバ5は、人物検出42において利用者15の手や腕を検出し、その手や腕とカート3とが接続状態(すなわち、利用者15の手や腕がカート3のハンドル部等にかけられている状態)にある場合に当該利用者を当該カート3の所有者であると推定してもよい。あるいは、管理サーバ5は、公知の機械学習(ディープラーニングなど)に基づく特徴抽出によってカート所有者推定45の処理を実行してもよい。
【0061】
続いて、管理サーバ5では、公知の人物検出手法により、カート所有者推定45によってカート3の所有者であると推定された人物の属性を判定するカート所有者属性判定46の処理が実行される。ここで、判定される人物の属性には、利用者15の年齢(大人および子供の区別を含む)、利用者15の性別、及び利用者15によって構成されるグループの種別のうちの少なくとも1が含まれる。グループの種別には、例えば、家族(子供を含む)、夫婦(カップル)、及び任意の集団などが含まれる。
【0062】
続いて、管理サーバ5では、カート所有者属性判定46によって判定された人物の属性(すなわち、カート3の利用者15の属性)に基づき、当該カート3(情報表示装置11)に買物支援情報を表示させるための表示情報制御47の処理が実行される。ここで、管理サーバ5は、利用者15の属性に応じて情報表示装置11に表示させるべき買物支援情報を決定する。このとき、管理サーバ5は、予め情報記憶部22に記憶された複数の買物支援情報(または、買物支援情報を構成する情報)を使用し、利用者15の属性に応じた買物支援情報を生成することができる。
【0063】
管理サーバ5において生成された買物支援情報は、上述のカートIDに基づき、特定のカート3の情報表示装置11に対して順次送信され、情報表示装置11では、管理サーバ5から受信した買物支援情報を表示部35に表示する情報表示52の処理が実行される。
【0064】
このように、買物支援システム1では、店舗2内を撮影した映像からカート3の位置を特定し、当該カート3の情報表示装置11へ買物支援情報を提供するため、簡易な構成によってカート3の位置情報を取得しつつ、店舗2の利用者15に対して買物に役立つ案内をより安価に行うことが可能となる。
【0065】
また、買物支援システム1では、特定されたカート3の所有者(すなわち、カート3に対応付けられた利用者15)の属性に基づき、当該カート3の情報表示装置11に表示させる買物支援情報が決定されるため、カート3の所有者の買物に役立つ案内をより効果的に実施することが可能となるという利点もある。
【0066】
なお、買物支援システム1では、買物支援情報の少なくとも一部(例えば、店舗2のマップ画像)を情報表示装置11の情報記憶部32に記憶させておくことも可能である。その場合、管理サーバ5は、上述の表示情報制御47の処理において、情報表示装置11に対して買物支援情報を送信せずに、その表示にかかる制御指令のみを情報表示装置11に対して送出する構成も可能である。
【0067】
図6は、管理サーバ5による買物支援処理に関する動作手順を示すフロー図であり、図7は、図6中のステップST103の処理の一例を示す説明図であり、図8は、図6中のステップST101-ST104に関し、情報表示装置11に表示される利用者向けの動作指示情報の一例を示す説明図である。
【0068】
買物支援処理が開始されると、管理サーバ5は、図5に示したカート検出41および人物検出42の処理によって、カメラ4から取得した映像(フレーム)から当該映像中のカート及び人物を順次検出し、それらカート3及び人物を追跡する(ST101)。これと並行して、管理サーバ5は、カート3からその動き情報をカートIDと共に取得する(ST102)。
【0069】
その後、図5に示したカート特定43の処理によって、管理サーバ5は、カート3の追跡処理等の結果と、カート3の動き情報とのマッチング処理を実行する(ST103)。このように、買物支援システム1では、カート3に設けられた動きセンサ36からの動き情報と、店舗2内を撮影した映像とに基づき、カート3の位置をより確実に特定することが可能となる。この場合、管理サーバ5は、映像(画像)中におけるカート3の位置を特定するのみならず、映像を撮影したカメラ4の撮影条件等の情報に基づき、店舗2内における実際のカート3の位置を特定することが可能である。
【0070】
上述のカート3の動き情報には、例えば、カート3の移動方向を示す情報(例えば、東西南北の四方のいずれか)が含まれる。これにより、簡易な情報処理によってマッチング処理(すなわち、カートの位置の特定)が可能となる。ただし、カート3の動き情報には、移動方向に限らず、より複雑な動作状況(例えば、左折、右折、Uターンなど)が含まれてもよい。
【0071】
続いて、管理サーバ5は、ステップST103のマッチング処理の結果、カート3の位置が特定されたか否かを判定する(ST104)。
【0072】
ここで、例えば図7に示すように、映像中に4台のカート3A-3Dが存在する場合、管理サーバ5は、特定対象となるカート3の動き情報からマッチング処理の対象であるカートが北向きに移動していることを把握すると、当該動き情報と共に取得したカートIDと、追跡処理及び動線分析処理の結果から北向きに移動していると判定されたカート3Aとを対応づけることにより、カート位置が特定されたと判定する(ST104:Yes)。
【0073】
一方、管理サーバ5は、ステップST104において、カート3の動き情報から得られたカート3の移動方向に一致するカート3が映像中に存在しない場合や、映像中に北向きに移動しているカートが複数存在する場合には、カート位置が特定できないと判定し(ST104:No)、最終的に、マッチング処理が正常に終了するまで(或いは、カート3の位置が特定されないまま規定時間が経過するまで)、ステップST101-ST104を繰り返し実行する。
【0074】
なお、管理サーバ5は、複数のカメラ4の映像(すなわち、異なるエリアを撮影した映像)を取得している場合には、関連する全ての映像中に存在するカート3をステップST103のマッチング処理の対象とすることができる。
【0075】
また、管理サーバ5は、ステップST101を実行する前からステップST104においてカート位置が特定されるまでの間において、特定されていないカート3(情報表示装置11)に対し、例えば図8に示すような利用者向けの動作指示情報を送信することが可能である。
【0076】
この利用者向けの動作指示情報は、ステップST103におけるマッチング処理(すなわち、カート3の特定)を容易にするための情報であり、この動作指示情報の表示にしたがって、カート3の利用者15が動作する(例えば、カート3を押して周辺を移動する)ことにより、カート3の位置を特定するためのカート3の動き情報および店舗2内を撮影した映像(カート3の動線の情報)を、より確実に取得することが可能となる。
【0077】
続いて、管理サーバ5は、図5に示したカート所有者推定45の処理によって、位置を特定したカート3の所有者を推定し(ST105)、更に、カート所有者属性判定46の処理によって、その推定した所有者の属性を判定する(ST106)。
【0078】
その後、管理サーバ5は、図5に示した表示情報制御47の処理によって、情報表示装置11に表示させるべき買物支援情報を決定(生成)し(ST107)、その買物支援情報を対象のカート3に対して送信する(ST108)。
【0079】
なお、特定対象となるカート3が複数存在する場合には、管理サーバ5は、上述のステップST101-ST108と同様の処理を全てのカート3に対して順次実行することができる。
【0080】
図9から図13は、それぞれ図6中のステップST108において情報表示装置11に表示される買物支援情報の5つの例を示す図である。
【0081】
買物支援システム1では、例えば図9に示すように、店舗2で販売される商品に関する情報(ここでは、商品の特売情報)を買物支援情報として情報表示装置11に表示させることができる。
【0082】
また、買物支援システム1では、例えば図10に示すように、買物支援処理の対象となるカート3の現在位置が示されたフロアマップ(マップ画像)を買物支援情報として情報表示装置11に表示させることができる。これにより、カート3の所有者は、店舗2内のフロアマップ(カート周辺のマップ画像)に基づき店舗2内を円滑に移動することが可能となる。
【0083】
この場合、管理サーバ5は、対象となるカート3の位置を繰り返し特定することにより、フロアマップに表示されたカート3の現在位置をリアルタイムで更新することが可能である。これにより、カート3の所有者は、カート3の現在位置を確認しながらフロアマップに基づき店舗内をより円滑に移動することが可能となる。
【0084】
また、買物支援システム1では、例えば図11に示すように、店舗2内で買物をする際の経路(ここでは、対象となるカート3の現在位置から利用者15によって選択された購入希望の商品が存在する場所(図11中の星印を参照)までの経路(図11中の破線の矢印を参照))が示されたルート案内を買物支援情報として情報表示装置11に表示させることができる。
【0085】
また、買物支援システム1では、例えば図12に示すように、店舗2内で買物をする際のカート3が位置するフロアにおける混雑エリア61、62を示す混雑情報を買物支援情報として情報表示装置11に表示させることができる。なお、図12では、混雑エリア61、62(すなわち、混雑状況)をヒートマップとして表示した例を示したが、これに限らず、他の表示方法(例えば、記号や文字情報)で混雑状況を示すことも可能である。これにより、カート3の所有者は、店舗2内のカート周辺の混雑状況を確認しながらフロアマップに基づき店舗2内をより円滑に移動することが可能となる。
【0086】
また、買物支援システム1では、例えば図13に示すように、店舗2内の買物が終了した後のカート3の返却場所(図13中の星印を参照)を示すカート返却情報を買物支援情報として情報表示装置11に表示させることができる。この場合、管理サーバ5は、カメラ4からの映像に基づき、そのカート返却情報にしたがって利用者15がカート3を返却したことを確認することができ、カート3を返却した利用者に対し、特典情報(例えば、店舗2のポイントプログラム(ポイントサービス)におけるポイントや、商品のクーポン券)を付与するための案内情報(図示せず)を情報表示装置11に表示することが可能である。
【0087】
なお、買物支援システム1において、買物支援情報として情報表示装置11にマップ画像を表示させる場合には、当該情報表示装置11を備えたカート3が、カメラ4の死角となるエリアに侵入したときに、マップ画像の表示形態を変更(例えば、マップ画像の背景色を変更(グレー表示))したり、利用者15に対するメッセージ(例えば、カート3を検出できない旨)を表示したりすることができる。
【0088】
以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。例えば、買物支援システム1は、店舗の利用者の買物支援に厳密に限定されるものではなく、少なくとも任意の施設内においてカートを使用して移動する人物に対する情報支援システム(例えば、移動経路情報を提供するシステム)として利用することも可能である。なお、上記実施の形態に示した本開示に係る買物支援システム及び買物支援方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【0089】
本開示に係る買物支援システム及び買物支援方法は、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことを可能とし、店舗においてカートを利用する利用者に対し、買物等に関する案内を行うための買物支援システム及び買物支援方法などとして有用である。
【符号の説明】
【0090】
1 :買物支援システム
2 :店舗
3 :カート
4 :カメラ
5 :管理サーバ
6 :店舗内ネットワーク
7 :ルータ
8 :通信ネットワーク
11:情報表示装置
15:利用者
21:制御部
22:情報記憶部
23:通信部
31:制御部
32:情報記憶部
33:通信部
34:入力部
35:表示部
36:動きセンサ
41:カート検出
42:人物検出
43:カート特定
45:カート所有者推定
46:カート所有者属性判定
47:表示情報制御
51:動き情報生成
52:情報表示
61、62:混雑エリア
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13