(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-21
(45)【発行日】2023-09-29
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G06Q 30/0203 20230101AFI20230922BHJP
G01C 21/26 20060101ALI20230922BHJP
G06Q 30/0204 20230101ALI20230922BHJP
【FI】
G06Q30/0203
G01C21/26 P
G06Q30/0204
(21)【出願番号】P 2019191329
(22)【出願日】2019-10-18
【審査請求日】2021-12-17
【前置審査】
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】坪内 孝太
(72)【発明者】
【氏名】宮崎 光世
【審査官】久宗 義明
(56)【参考文献】
【文献】特開2016-004336(JP,A)
【文献】国際公開第2019/198231(WO,A1)
【文献】特開2017-181179(JP,A)
【文献】特開2010-198461(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G01C 21/26
(57)【特許請求の範囲】
【請求項1】
ユーザとともに移動する端末装置が定期的に検知した検知情報を取得する取得部と、
前記ユーザの移動開始から移動終了までの間に前記取得部が取得した検知情報に基づいて機械学習を行う学習部と、
前記学習部による機械学習の結果得られた学習モデルと、前記取得部が取得した検知情報
とに基づいて
、前記ユーザの属性情報を推定する推定部と
を備え、
前記端末装置が検知した検知情報は、前記端末装置のセンサを利用したPDR技術を用いて検出された前記端末装置の屋内位置や移動方位に関するPDR情報である
ことを特徴とする情報処理装置。
【請求項2】
前記推定部は、前記取得部が取得した検知情報に基づいて前記ユーザの移動状態を推定し、前記ユーザの移動状態に基づいて前記ユーザの属性情報を推定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記推定部は、前記ユーザが特定の場所に接近または滞留した場合、前記取得部が取得した検知情報に対応する対象物を推定し、前記対象物に基づいて前記ユーザの属性情報を推定し、
前記対象物は、前記取得部が取得した検知情報に対応する場所に陳列されている商品である
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記推定部は、前記取得部が取得した検知情報に対応する場所に配置された対象物を示す対象物配置場所情報と、前記取得部が取得した検知情報とを比較し、比較結果に基づいて前記取得部が取得した検知情報に対応する対象物を推定する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記推定部は、前記ユーザの移動状態および前記対象物の両方に基づいて前記ユーザの属性情報を推定する
ことを特徴とする請求項3または4に記載の情報処理装置。
【請求項6】
前記推定部が推定した前記ユーザの属性情報に基づいて、移動中の前記ユーザへの提供情報と、前記対象物の関連情報とのうち少なくとも1つを前記端末装置に通知する提供部
をさらに備えたことを特徴とする請求項3~5のうちいずれか1つに記載の情報処理装置。
【請求項7】
前記推定部は、目的地に到達して前記ユーザの移動が完了した場合、前記ユーザの移動開始から移動完了までの間に前記取得部が取得した検知情報に基づいて前記ユーザの属性情報を推定する
ことを特徴とする請求項1~6のうちいずれか1つに記載の情報処理装置。
【請求項8】
前記学習部は、前記取得部が取得した検知情報のうち加速度に関する情報から機械学習の教師あり学習を行う
ことを特徴とする請求項
1~7のうちいずれか1つに記載の情報処理装置。
【請求項9】
前記端末装置が検知した検知情報は、歩行者自律航法に基づく屋内位置情報である
ことを特徴とする請求項1~
8のうちいずれか1つに記載の情報処理装置。
【請求項10】
コンピュータが実行する情報処理方法であって、
ユーザとともに移動する端末装置が定期的に検知した検知情報を取得する取得工程と、
前記ユーザの移動開始から移動終了までの間に前記取得工程が取得した検知情報に基づいて機械学習を行う学習工程と、
前記学習工程による機械学習の結果得られた学習モデルと、前記取得工程で取得した検知情報
とに基づいて
、前記ユーザの属性情報を推定する推定工程と
を含み、
前記端末装置が検知した検知情報は、前記端末装置のセンサを利用したPDR技術を用いて検出された前記端末装置の屋内位置や移動方位に関するPDR情報である
ことを特徴とする情報処理方法。
【請求項11】
ユーザとともに移動する端末装置が定期的に検知した検知情報を取得する取得手順と、
前記ユーザの移動開始から移動終了までの間に前記取得手順が取得した検知情報に基づいて機械学習を行う学習手順と、
前記学習手順による機械学習の結果得られた学習モデルと、前記取得手順で取得した検知情報
とに基づいて
、前記ユーザの属性情報を推定する推定手順と
をコンピュータに実行させ、
前記端末装置が検知した検知情報は、前記端末装置のセンサを利用したPDR技術を用いて検出された前記端末装置の屋内位置や移動方位に関するPDR情報である
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
従来、ユーザが所有する端末装置から各種センサ情報を取得し、取得した各種センサ情報に基づいてユーザに関する情報を取得する技術が提案されている。
【0003】
このような技術の一例として、測定対象者の体幹の進行方向の加速度変化および、横方向又は鉛直方向の加速度変化を検出するセンサと、予め測定された進行方向の加速度、横方向又は鉛直方向の加速度変化、年齢との相関関係を記憶した記憶部と、当該センサで検出した進行方向変化と、横方向変化の比と、当該記憶部に記憶している相関関係から体力年齢を推定する手段とを備えていることを特徴とする歩行計等が知られている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術では加速度変化と年齢との相関関係とからユーザの体力年齢を推定することはできるが、それ以上の属性情報を推定することはできない。また、近年は個人情報保護の観点から、個人を特定できるようなユーザの属性情報を直接取得することは困難になりつつある。そのため、従来技術よりも効果的にユーザの属性情報を推定することができる技術が求められている。
【0006】
本願は、上記に鑑みてなされたものであって、ユーザとともに移動する端末装置が検知した検知情報を利用して、ユーザの行動特性からユーザの属性情報を推定する情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、ユーザとともに移動する端末装置が定期的に検知した検知情報を取得する取得部と、前記ユーザの移動開始から移動終了までの間に前記取得部が取得した検知情報に基づいて機械学習を行う学習部と、前記学習部による機械学習の結果得られた学習モデルと、前記取得部が取得した検知情報とに基づいて、前記ユーザの属性情報を推定する推定部とを備え、前記端末装置が検知した検知情報は、前記端末装置のセンサを利用したPDR技術を用いて検出された前記端末装置の屋内位置や移動方位に関するPDR情報であることを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、ユーザとともに移動する端末装置が検知した検知情報を利用して、ユーザの行動特性からユーザの属性情報を推定することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る情報処理方法の概要を示す説明図である。
【
図2】
図2は、実施形態に係る情報処理システムの構成例を示す図である。
【
図3】
図3は、実施形態に係るユーザ端末の構成例を示す図である。
【
図4】
図4は、実施形態に係る情報処理装置の構成例を示す図である。
【
図5】
図5は、実施形態に係る陳列場所情報の一例を示す図である。
【
図6】
図6は、実施形態に係るPDR履歴情報の一例を示す図である。
【
図7】
図7は、実施形態に係る推定属性情報の一例を示す図である。
【
図8】
図8は、実施形態に係る処理手順を示すフローチャートである。
【
図9】
図9は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
〔1.情報処理方法の概要〕
まず、
図1を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。
図1は、実施形態に係る情報処理方法の概要を示す説明図である。以下では、実施形態に係る情報処理装置が、店舗内での買物におけるユーザの行動特性から、ユーザのデモグラフィック(人口統計学的属性)を推定する場合を例に挙げて説明する。なお、デモグラフィックは、ユーザの属性情報の一例に過ぎない。実際には、サイコグラフィック(心理学的属性)等、任意の属性情報が推定可能である。
【0012】
図1に示すユーザ端末10(端末装置)は、例えばスマートフォンやタブレット端末等のスマートデバイス、又はその他の携帯型/可搬式の電子機器(ガジェット)であって、ユーザUとともに移動し、センサ(加速度センサ、ジャイロセンサ、磁気センサ、気圧センサ等)を利用したPDR(Pedestrian Dead Reckoning:歩行者自律航法)技術を利用して、ユーザ端末10の屋内位置や移動方位を検出する。このとき、ユーザ端末10は、店舗内に複数のフロア(階)がある場合には、PDR情報に「高度」又は「階」に関する情報を追加してもよい。また、ユーザ端末10には、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス(wearable device)も含まれる。なお、ユーザ端末10は、店舗内で使用されるショッピングカートと連動/一体化していてもよい。例えば、ユーザ端末10は、有線通信又は無線通信により、カートに搭載された各種センサおよび電子機器から情報を取得してもよい。また、ユーザ端末10は、タッチパネル式の情報表示装置として、カートに搭載されていてもよい。また、ユーザ端末10は、カートに限らず、買い物かご(バスケット)やトレイと連動/一体化していてもよい。また、ユーザ端末10は、ユーザUが店舗入場(入店)した時に店舗側から貸与され、ユーザUが商品を決済/店舗から退場(退店)する時に店舗側に返却するものでもよい。
【0013】
図1に示す情報処理装置100は、例えばデスクトップPC(Personal Computer)、サーバ、あるいはメインフレーム又はワークステーション等である。また、情報処理装置30は、分散コンピューティングやクラウドコンピューティングを実現する複数台のサーバのうちの一台でもよい。情報処理装置100は、1又は複数のユーザ端末10と通信し、ユーザ端末10の屋内位置や移動方位に関するPDR情報に基づいて、店舗内での買物におけるユーザUの行動特性から、ユーザUのデモグラフィックを推定する。
【0014】
図1に示すように、ユーザ端末10は、そのユーザUとともに店舗内に入場(入店)する(ステップS1)。ユーザ端末10は、入店した際、入店したことを示す入店情報を情報処理装置100に通知する(ステップS2)。このとき、ユーザ端末10は、入店情報として、店舗の出入口におけるユーザ端末10の最初のPDR情報を、実施形態に係る情報処理装置100に通知するようにしてもよい。なお、店舗の入口と出口は異なっていてもよい。また、店舗の入口は出発地、店舗の出口は目的地と読み替えてもよい。情報処理装置100は、ユーザ端末10から入店情報の通知を受けると、ユーザ端末10の屋内位置や移動方位に関するPDR情報の収集を開始する(ステップS3)。その後、ユーザ端末10は、そのユーザUとともに、店舗内を巡回(移動)する。
【0015】
ユーザ端末10は、そのユーザUとともに店舗内を巡回している間、定期的(5秒ごと、10秒ごと、30秒ごと等)にPDR情報を取得し(ステップS4)、その都度/所定の周期(1分ごと、3分ごと、5分ごと等)で/所定の件数(10件、30件、50件等)取得した時点で/所定のタイミング(角を曲がった時等)で、PDR情報を情報処理装置100に通知する(ステップS5)。情報処理装置100は、ユーザ端末10から通知されたPDR情報を記憶/蓄積し(ステップS6)、その時点までに収集したPDR情報から、ユーザUのデモグラフィックを推定する(ステップS7)。
【0016】
実施形態に係る情報処理装置100は、店舗内でユーザ端末10がユーザUとともに店舗内を巡回している間のPDR情報を収集することで、店舗内におけるユーザUの動線や移動中の挙動を知ることができ、それらの情報に基づいてユーザUのデモグラフィックを推定することができる。
【0017】
例えば、情報処理装置100は、ユーザ端末10から通知されたPDR情報の加速度に関する情報に基づいて、ユーザUの年齢層を推定することができる。また、ユーザUが常に極端に低速(所定の速度以下)で移動している場合には、ユーザUは高齢者又は障害者、傷病者等の身体が不自由な者と推定することができる。反対に、ユーザUが比較的高速(所定の速度以上)で移動している場合には、若年者か、少なくとも健常者であると推定することができる。
【0018】
また、上下階の移動手段が階段しかない店舗において、ユーザUが階段や上階を利用せず1階でのみ緩慢に移動している場合には、ユーザUが階段での移動が困難な高齢者又は障害者、傷病者等の身体が不自由な者であると推定することもできる。また、階段での移動(昇降)速度によっても、若年者か高齢者かを推定することができる。さらに上階が例えば若年層向けの商品/女性向けの商品を取り扱っているフロアである場合には、階段で上階に移動したユーザUは若年者/女性であると推定することができる。また、ユーザUがマタニティ用品を取り扱っているエリアに滞在している場合には、ユーザUが妊娠した女性であるか、その家族/親類/友人/知人に妊娠した女性がいると推定することができる。
【0019】
また、ユーザUが蛇行しながら移動している場合に、周囲に商品の陳列棚があれば、店舗内の商品をいろいろと見て回っている(観察)と推定することができる。このとき、高齢になればなるほど、観察しながら歩くことが多いという経験則からユーザUは高齢者であると推定することもできる。
【0020】
なお、陳列棚は、店舗什器の一例である。陳列棚には、冷凍・冷蔵ショーケースも含まれる。また、陳列棚は、例えば店舗内の特定の位置に配置され、おすすめ商品や特売商品等を載置した台(陳列台、販売台)やワゴン、屋台、カート等でもよい。また、商品はフックやハンガーラックにかけられていてもよい。また、商品は、床置きされていてもよいし、壁面や天井に配置されていてもよいし、天井から吊り下げられていてもよい。
【0021】
また、周囲に商品の陳列棚がなくてもユーザUが常に蛇行しながら移動している場合には、ユーザUは直進が困難な高齢者又は障害者、傷病者等の身体が不自由な者であると推定することができる。このとき、さらにPDR情報とともにユーザUの体幹の傾きに関する情報を収集することで、ユーザUが杖を突いていると推定することもできる。
【0022】
また、ユーザUが常に他のユーザとともに移動している場合には、当該他のユーザはユーザUの家族又は親しい者であると推定できる。ユーザUが高齢者等であると推定している場合には、当該他のユーザはユーザUの支援者であると推定することもできる。
【0023】
また、ユーザUがトイレ/化粧室を利用した場合には、PDR情報に基づいて、男性用と女性用のいずれを利用したかを判定することができるため、その判定結果により、ユーザUが男性か女性かを推定することができる。また、ユーザUがベビー休憩室(授乳室、オムツ交換室等)やベビーカー貸し出し窓口等を利用した場合には、ユーザUが赤子/幼児を連れていると推定することができる。
【0024】
なお、ある程度の数のPDR情報が集まるまでは、デモグラフィックの推定を行うことができないため、情報処理装置100は、例えば収集したPDR情報の数が所定の数(閾値)以上となるまでは、デモグラフィックの推定を行わないようにしてもよい。
【0025】
また、最初のうちはデモグラフィックの推定の精度は低いことが予想されるが、PDR情報の数が累積的に蓄積されていくことで、徐々にデモグラフィックの推定の精度が向上していくことが予想される。
【0026】
情報処理装置100は、推定したデモグラフィックの結果に基づいて、ユーザ端末10に対して情報提供を行う(ステップS8)。例えば、ユーザUが興味を持ちそうな商品の所在場所および最短経路案内、休憩場所/エレベータ/エスカレータ/トイレの位置およびその混雑状況、最寄りの店員の位置、店員の呼び出しボタンの表示等に関する情報をユーザ端末10に提供する。
【0027】
ユーザ端末10は、そのユーザUとともに店舗内を移動している間、商品が陳列された陳列棚の前で停止/減速したり、その陳列棚の前を低速(所定速度以下)で通過したりしたときに(ステップS9)、その商品の購入が検討されたと判断し、その間のPDR情報を情報処理装置100に通知する(ステップS10)。なお、ユーザ端末10がカートと連動している場合には、陳列棚の周囲でのカートの積載物の質量の増減/変化量により、商品がカートに入れられたことを検出し、その時点でPDR情報を情報処理装置100に通知してもよい。
【0028】
情報処理装置100は、ユーザ端末10から通知されたPDR情報を記憶/蓄積し(ステップS11)、その時点までに収集したPDR情報から、ユーザUのデモグラフィックを推定する(ステップS12)。
【0029】
例えば、ユーザUが酒類の購入を検討している場合には、ユーザUは成人であると推定することができる。また、ユーザUが女性向け商品/女性用商品の購入を検討している場合には、ユーザUは女性であると推定することができる。また、ユーザUがベビー・こども服/ベビー・こども用品の購入を検討している場合には、ユーザU又はその親類/友人/知人には赤子/幼児がいると推定することができる。
【0030】
また、ユーザUが購入を検討した商品の組合せと、ユーザUが巡回してきた経路(動線)とから、機械学習による学習モデルや購入履歴情報のデータマイニング等に基づいて、ユーザUの年齢や性別等を推定することもできる。また、ユーザUが店舗に入場(入店)してから最初に向かった/購入を検討した商品を知ることで、ユーザUが最も興味を持っている商品や、ユーザUの嗜好を推定することができる。
【0031】
なお、情報処理装置100は、ユーザ端末10から定期的に通知されるPDR情報に一定時間変化がない/PDR情報の変化量が許容範囲内である場合には、ユーザUがそのPDR情報に対応する陳列棚の前で停止して商品の購入を検討していると推定することができる。また、情報処理装置100は、ユーザ端末10が特定の陳列棚に何度も接近し停止している場合には、ユーザUがその陳列棚の商品の購入を迷っていると推定することができる。ユーザ端末10の陳列棚への接近および停止は、PDR情報から知ることができる。
【0032】
情報処理装置100は、推定したデモグラフィックの結果に基づいて、ユーザ端末10に対して情報提供を行う(ステップS13)。例えば、ユーザUが購入を検討していた商品の割引クーポン、購入時のポイント加算やお役立ち情報、関連商品の陳列場所やタイムセールの案内等に関する情報をユーザ端末10に提供する。
【0033】
ユーザ端末10がユーザUとともに店舗内を巡回している間、ユーザ端末10および情報処理装置100は、上記のステップS4~S13の処理を繰り返す。
【0034】
ユーザ端末10は、そのユーザUが店舗内の巡回を終了し、商品を決済/店舗から退場(退店)した際(ステップS14)、決済/退店したことを示す決済/退店情報を情報処理装置100に通知する(ステップS15)。なお、実際には、ユーザ端末10は、決済/退店情報として、決済用の店舗端末の前/店舗の出入口で取得したPDR情報を情報処理装置100に通知するようにしてもよい。情報処理装置100は、ユーザ端末10から決済/退店情報の通知を受けると、ユーザ端末10のPDR情報の収集を終了する(ステップS16)。
【0035】
ここで、情報処理装置100は、ユーザ端末10から通知されたPDR情報が店舗の外を示している場合や、ユーザ端末10から一定時間以上PDR情報が通知されなくなった場合に、ユーザ端末10のPDR情報の収集を終了してもよい。
【0036】
最後に、情報処理装置100は、ユーザ端末10(すなわちユーザU)の入店から決済/退店までの間に収集した全てのPDR情報から、総合的にユーザUのデモグラフィックを推定する(ステップS17)。その結果、情報処理装置100は、推定したデモグラフィックの結果に基づいて、決済/退店を終えた後のユーザ端末10に対して、ユーザUが興味を持っている商品/興味を持ちそうな商品の広告や割引クーポン、タイムセールの案内等、次回の来店を促す有益な情報を提供する(ステップS18)。
【0037】
なお、上記のステップS8、S13およびS18の情報提供は必須ではない。すなわち、情報処理装置100は、必ず情報提供を行わなければならないわけではない。上記のステップS8、S13およびS18において、情報処理装置100が情報提供を行うか否かは任意である。また、情報処理装置100が情報提供を行うタイミングについても任意である。例えば、上記のステップS8およびS13の情報提供について、情報処理装置100は、ユーザ端末10(すなわちユーザU)の入店から決済/退店までの間に、任意のタイミングで情報提供を行うようにしてもよい。
【0038】
〔2.情報処理システムの構成〕
次に、
図2を用いて、実施形態に係る情報処理装置100が含まれる情報処理システム1の構成について説明する。
図2は、実施形態に係る情報処理システム1の構成例を示す図である。
図2に例示するように、実施形態に係る情報処理システム1には、ユーザ端末10と情報処理装置100とが含まれる。これらの各種装置は、ネットワークNを介して、有線又は無線により通信可能に接続される。また、
図2に示す情報処理システム1に含まれる各装置の数は図示したものに限られない。例えば、情報処理システム1には、複数台のユーザ端末10が含まれてもよい。
【0039】
ユーザ端末10は、ユーザによる操作や、ユーザ端末10が有する機能に応じて、自装置のPDR情報を取得し、記憶する情報処理端末である。例えば、ユーザ端末10は、自装置に搭載された各種センサを利用することによってPDR情報を取得する。そして、ユーザ端末10は、取得したPDR情報を情報処理装置100に送信する。
【0040】
情報処理装置100は、上述のように、ユーザ端末10からPDR情報を取得し、PDR情報と陳列場所情報とに基づいて、ユーザUが関心を持った商品を推定し、推定された商品からユーザUが関心を持ちそうな商品を予測するサーバ装置である。なお、情報処理装置100は、種々のサービスを提供するサービスサーバとしての機能を有していてもよい。例えば、情報処理装置100は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。
【0041】
〔3.ユーザ端末の構成〕
次に、
図3を用いて、実施形態に係るユーザ端末10の構成について説明する。
図3は、実施形態に係るユーザ端末10の構成例を示す図である。
図3に示すように、ユーザ端末10は、通信部11と、入力部12と、表示部13と、検知部14と、記憶部15と、制御部16とを有する。
【0042】
(通信部11について)
通信部11は、ネットワークNと有線又は無線で接続され、情報処理装置100等との間で情報の送受信を行う。通信部11は、例えばアンテナやNIC(Network Interface Card)等によって実現される。
【0043】
(入力部12および表示部13について)
入力部12は、ユーザUから各種操作を受け付ける入力装置である。例えば、入力部12は、ユーザ端末10に備えられた操作キー等によって実現される。表示部13は、各種情報を表示するための表示装置である。例えば、表示部13は、液晶ディスプレイ(Liquid Crystal Display:LCD)や有機ELディスプレイ(Organic Light-Emitting Diode:OLED)等によって実現される。なお、ユーザ端末10にタッチパネルが採用される場合には、入力部12の一部と表示部13とは一体化される。
【0044】
(検知部14について)
検知部14は、ユーザ端末10に関する各種情報を検知する。具体的には、検知部14は、ユーザ端末10に対するユーザUの操作や、ユーザ端末10の所在する位置情報や、ユーザ端末10と接続されている機器に関する情報や、ユーザ端末10における環境や、ユーザ端末10を所持するユーザUの挙動や状態等を検知する。
図3に示す例では、検知部14は、操作検知部141と、位置検知部142と、外部装置検知部143と、環境検知部144と、動作検知部145とを有する。
【0045】
(操作検知部141について)
操作検知部141は、ユーザ端末10に対するユーザUの操作を検知する。例えば、操作検知部141は、入力部12に入力された情報に基づいて、ユーザUの操作を検知する。すなわち、操作検知部141は、入力部12に画面をタッチする操作の入力があったことや、音声の入力があったこと等を検知する。また、操作検知部141は、ユーザUによって所定のアプリケーション(以下、単に「アプリ」と表記する)が起動されたことを検知してもよい。かかるアプリがユーザ端末10内の撮像装置を動作させるアプリである場合、操作検知部141は、ユーザUによって撮像機能が利用されていることを検知する。また、操作検知部141は、ユーザ端末10内に備えられた加速度センサやジャイロセンサ等で検知されたデータに基づき、ユーザ端末10自体が動かされているといった操作を検知してもよい。
【0046】
(位置検知部142について)
位置検知部142は、ユーザ端末10の現在位置を検知する。具体的には、位置検知部142は、PDR技術を利用して自装置の屋内位置を検知する。例えば、位置検知部142は、ユーザ端末10のセンサ(加速度センサ、ジャイロセンサ、磁気センサ等)を使い、ユーザ端末10を持っているユーザUの移動方向や移動量、移動距離などを計測して現在位置を推定する。
【0047】
また、位置検知部142は、種々の手法により位置を検知することができる。例えば、位置検知部142は、PDR技術に加えて、位置補正等のための補助的な測位手段として、ユーザ端末10の様々な通信機能を利用して位置を検知してもよい。
【0048】
(Wi-Fi測位)
例えば、位置検知部142は、ユーザ端末10のWi-Fi(登録商標)通信機能や、各通信会社が備える通信網を利用して、ユーザ端末10の位置を検知する。具体的には、位置検知部142は、Wi-Fi通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、自装置の位置を検知する。
【0049】
(ビーコン測位)
また、位置検知部142は、ユーザ端末10のBluetooth(登録商標)機能を利用して位置を検知してもよい。例えば、位置検知部142は、Bluetooth機能によって接続されるビーコン(beacon)発信機と接続することにより、自装置の位置を検知する。
【0050】
(地磁気測位)
また、位置検知部142は、予め測定された構造物の地磁気のパターンと、自装置が備える地磁気センサとに基づいて、自装置の位置を検知する。
【0051】
(RFID測位)
また、例えば、ユーザ端末10が駅改札や商店等で使用される非接触型ICカードと同等のRFID(Radio Frequency Identification)タグの機能を備えている場合、もしくはRFIDタグを読み取る機能を備えている場合、ユーザ端末10によって決済等が行われた情報とともに、使用された位置が記録される。位置検知部142は、かかる情報を取得することで、ユーザ端末10の位置を検知してもよい。また、位置は、ユーザ端末10が備える光学式センサや、赤外線センサ等によって検知されてもよい。
【0052】
(GPS測位)
また、位置検知部142は、GPS(Global Positioning System)衛星から送出される電波を受信し、受信した電波に基づいてユーザ端末10の現在位置を示す位置(例えば、緯度および経度)を検知してもよい。但し、GPSは、ユーザ端末10が建物内に存在する場合には位置の検出精度が低下するため、屋内での位置検出には不向きである。したがって、GPSを利用する場合は、補助的な利用、又は屋外での利用を想定している。
【0053】
位置検知部142は、PDR技術と、必要に応じて上述した補助的な測位手段の一つ又は組合せを用いて、自装置の位置を検知する。そして、後述する取得部161は、位置検知部142が検知した位置と、検知した時間との情報に基づいて、ユーザ端末10の位置情報を取得する。
【0054】
(外部装置検知部143について)
外部装置検知部143は、ユーザ端末10に接続される外部装置を検知する。例えば、外部装置検知部143は、外部装置との相互の通信パケットのやり取りなどに基づいて、外部装置を検知する。そして、外部装置検知部143は、検知した外部装置をユーザ端末10と接続される端末として認識する。また、外部装置検知部143は、外部装置との接続の種類を検知してもよい。例えば、外部装置検知部143は、外部装置と有線で接続されているか、無線通信で接続されているかを検知する。また、外部装置検知部143は、無線通信で用いられている通信方式等を検知してもよい。また、外部装置検知部143は、外部装置が発する電波を検知する電波センサや、電磁波を検知する電磁波センサ等によって取得される情報に基づいて、外部装置を検知してもよい。
【0055】
(環境検知部144について)
環境検知部144は、ユーザ端末10における環境を検知する。環境検知部144は、ユーザ端末10に備えられた各種センサや機能を利用し、環境に関する情報を検知する。例えば、環境検知部144は、ユーザ端末10の周囲の音を収集するマイクロフォンや、ユーザ端末10の周囲の照度を検知する照度センサや、ユーザ端末10の物理的な動きを検知する加速度センサ(又は、ジャイロセンサなど)や、ユーザ端末10の周囲の湿度を検知する湿度センサや、ユーザ端末10の所在位置における磁場を検知する地磁気センサ等を利用する。そして、環境検知部144は、各種センサを用いて、種々の情報を検知する。例えば、環境検知部144は、ユーザ端末10の周囲における騒音レベルや、ユーザ端末10の周囲が撮像に適する照度であるか等を検知する。さらに、環境検知部144は、カメラで撮影された写真や映像に基づいて周囲の環境情報を検知してもよい。
【0056】
(動作検知部145について)
動作検知部145は、例えばモーションセンサ等を利用して、ユーザ端末10を所持するユーザUの動作や状態を検知する。モーションセンサは、加速度センサ、ジャイロセンサ、歩数センサ、および生体センサ等を含む。加速度センサは、ユーザ端末10の加速度を検知するセンサである。ジャイロセンサは、ユーザ端末10の姿勢および角速度等を検知するセンサである。歩数センサは、ユーザ端末10のユーザUが歩行した歩数を計数するセンサである。生体センサは、ユーザ端末10のユーザUの心拍数や体温等を検知するセンサである。
【0057】
(記憶部15について)
記憶部15は、各種情報を記憶する。記憶部15は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部15は、検知部14によって検知された各種情報を、検知された日時と対応付けて記憶する。具体的には、記憶部15は、検知部14によって検知された各種情報に基づくPDR情報を記憶する。また、記憶部15は、ユーザ端末10にインストールされたアプリに関する情報を記憶する。
【0058】
(制御部16について)
制御部16は、例えば、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、ユーザ端末10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部16は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0059】
制御部16は、情報処理装置100にユーザ端末10のPDR情報を提供する処理を制御する。例えば、制御部16は、ユーザ端末10のPDR情報の提供処理を実現するためのプログラム(アプリ)を実行制御する。プログラムは、情報処理装置100にアクセスすることによりユーザ端末10にダウンロードされ実行されてもよいし、ユーザ端末10を有するユーザUによる操作に従ってサーバ装置(情報処理装置100、又は、各種プログラムを提供する外部サーバ)からダウンロードされ、ユーザ端末10にインストールされてもよい。
【0060】
図3に示すように、制御部16は、取得部161と、受信部162と、送信部163とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。例えば、制御部16は、RAMを作業領域として上述したプログラムを実行することにより、以下に説明する情報処理の機能や作用を実現する。なお、制御部16の内部構成は、
図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部16が有する各処理部の接続関係は、
図3に示した接続関係に限られず、他の接続関係であってもよい。
【0061】
(取得部161について)
取得部161は、各種情報を取得する。例えば、取得部161は、検知部14を制御することにより、検知部14によって検知される各種情報を取得する。例えば、取得部161は、位置検知部142によって検知された情報に基づいて、ユーザ端末10の位置情報を取得する。なお、取得部161は、位置情報に限らず、ユーザ端末10の周囲の環境に関する情報等の各種センサ情報を含む、ユーザ端末10のコンテキストに関する情報を取得する。取得部161は、検知部14によって検知される各種情報に基づいて、PDR情報を取得する。
【0062】
取得部161は、所定の時間ごとにPDR情報を取得するようにしてもよい。例えば、取得部161は、定期的(10秒ごと、30秒ごと、1分ごと等)に、上述した検知部14を制御すること等により、PDR情報を取得する。なお、取得部161がPDR情報を取得するタイミングは、情報処理装置100によって設定されてもよい。
【0063】
(受信部162について)
受信部162は、各種情報を受信する。例えば、受信部162は、情報処理装置100から送信される提供情報を受信する。制御部16は、受信部162が受信した提供情報を、表示部13に表示したり、記憶部15に記憶したりする。
【0064】
(送信部163について)
送信部163は、各種情報を送信する。具体的には、送信部163は、PDR情報を情報処理装置100に送信する。例えば、送信部163は、ユーザ端末10を識別するための識別情報と、ユーザUを識別するための識別情報と、取得部161によって取得されたPDR情報と、PDR情報の取得日時を示す情報とを対応付けて、情報処理装置100に送信する。
【0065】
〔4.情報処理装置の構成〕
次に、
図4を用いて、実施形態に係る情報処理装置100の構成について説明する。
図4は、実施形態に係る情報処理装置100の構成例を示す図である。
図4に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0066】
(通信部110について)
通信部110は、例えばNIC等によって実現される。通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、ユーザ端末10等との間で情報の送受信を行う。
【0067】
(記憶部120について)
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、陳列場所情報121と、PDR履歴情報122と、推定属性情報123と、提供情報124と、学習モデル125とを有する。
【0068】
(陳列場所情報121について)
陳列場所情報121は、店舗内の陳列棚に陳列されている商品の識別情報と、その商品が陳列されている陳列場所とが対応付けられた情報である。なお、陳列場所情報121には、店舗内における全商品の識別情報とその陳列場所とが含まれていてもよいし、店舗内における特定の商品(タイムセール対象商品、広告掲載商品等)の識別情報とその陳列場所のみが含まれていてもよい。陳列場所情報121は、店舗ごとに個別に用意されていてもよいし、対象となる全店舗について店舗IDで識別して一元管理されていてもよい。
【0069】
ここで、
図5に、実施形態に係る陳列場所情報121の一例を示す。
図5は、実施形態に係る陳列場所情報121の一例を示す図である。
図5に示した例では、陳列場所情報121は、「商品ID」、「店舗ID」、「陳列場所」といった項目を有する。また、「陳列場所」の項目は、「位置」、「方位」、「各種センサ情報」といった小項目を有する。
【0070】
「商品ID」は、店舗内の陳列棚に陳列されている商品を識別する識別情報を示す。例えば、商品IDは、商品名、商品識別コード等である。商品IDは、情報処理装置100が商品を識別可能な識別情報であればよい。「店舗ID」は、その商品が陳列されている陳列棚が配置されている店舗を識別する識別情報を示す。店舗ごとに陳列棚や商品の配置は異なっているため、店舗を識別することが好ましい。なお、陳列場所情報121が店舗ごとに個別に用意されている場合や、情報処理装置100が特定の店舗内でのみ利用される店舗装置である場合には、「店舗ID」は省略してもよい。例えば、「店舗ID」の項目自体を削除してもよいし、「店舗ID」の項目に対して空白(未入力)/データなし(N/D:No Data)/ダミーデータの入力等により対応してもよい。
【0071】
「陳列場所」は、店舗内における陳列棚および商品の所在場所を示す。例えば、「位置」は、店舗内の陳列棚に陳列されている商品の位置を示す。「方位」は、店舗内の陳列棚に陳列されている商品の方位を示す。「各種センサ情報」は、店舗内の陳列棚に陳列されている商品の周囲で各種センサによって検知される情報を示す。
【0072】
本実施形態では、「陳列場所」は、陳列されている商品についてPDR情報に対応する情報を示す。したがって、「陳列場所」の項目に含まれる「位置」、「方位」および「各種センサ情報」は、ユーザ端末10から通知されるPDR情報に対応している。具体的には、「位置」は、ユーザUが店舗内の陳列棚に陳列されている商品を見たり手に取ったりする際の位置を示す。「方位」は、ユーザUが店舗内の陳列棚に陳列されている商品を見たり手に取ったりする際の方位を示す。すなわち、「方位」は、ユーザUがその「位置」から見て商品が存在する方位を示す。「各種センサ情報」は、ユーザUが店舗内の陳列棚に陳列されている商品を見たり手に取ったりする際に各種センサによって検知される情報を示す。
【0073】
すなわち、
図5では、陳列場所情報121に記憶されるデータの一例として、商品ID「C1」の商品が、店舗ID「L1」の店舗において、位置「P5」、方位「A5」、各種センサ情報「X5」となる陳列場所に陳列されていることを示している。
【0074】
(PDR履歴情報122について)
PDR履歴情報122は、ユーザ端末10から通知されたPDR情報を蓄積する。ここで、
図6に、実施形態に係るPDR履歴情報122の一例を示す。
図6は、実施形態に係るPDR履歴情報122の一例を示す図である。
図6に示した例では、PDR履歴情報122は、「端末ID」、「ユーザID」、「店舗ID」、「PDR情報」といった項目を有する。また、「PDR情報」の項目は、「取得日時」、「位置」、「方位」、「各種センサ情報」といった小項目を有する。
【0075】
「端末ID」は、ユーザUが利用するユーザ端末10を識別する識別情報を示す。「ユーザID」は、ユーザUを識別する識別情報を示す。なお、ユーザ端末10とユーザUとが1対1の関係である場合には、「端末ID」と「ユーザID」とに同一/共通の識別情報を使用してもよい。この場合、「端末ID」と「ユーザID」とを集約してもよい。
【0076】
また、各ユーザUは、複数のユーザ端末10を所有していてもよい。この場合、情報処理装置100は、ユーザUを一意に識別する識別情報を利用することで、複数のユーザ端末10から通知されたPDR情報とユーザUとを対応付ける。なお、ユーザUの識別情報とは、例えば、情報処理装置100が提供するサービスにおいて各ユーザUに付与されるサービス用ID(ユーザアカウント)等である。かかるIDは、情報処理装置100のみならず、情報処理装置100と提携した事業者によって発行されてもよい。これにより、情報処理装置100は、一人のユーザUが複数のユーザ端末10を利用していたり、異なる環境でサービスにログインしていたりする場合でも、当該ユーザUを一意に特定してPDR情報を取得することができる。また、情報処理装置100は、ユーザUの識別情報として、サービスを利用した際のクッキー(Cookie)情報や、端末固有の端末ID等を利用してもよい。
【0077】
「店舗ID」は、ユーザUが来店した店舗を識別する識別情報を示す。なお、店舗IDは、ユーザUがその店舗に入店した時点で特定してもよいし、ユーザ端末10から最初のPDR情報が通知された時点で特定してもよい。例えば、ユーザ端末10がGPS情報等を情報処理装置100に通知し、情報処理装置100はGPS情報等に基づいて店舗を特定し、店舗IDを決定する。ユーザ端末10が店舗IDを認識可能な場合には、ユーザ端末10が店舗IDを情報処理装置100に通知してもよい。なお、店舗を識別する必要がない場合には、当該「店舗ID」は省略してもよい。
【0078】
「取得日時」は、PDR情報がユーザ端末10によって検知(取得)された日時を示す。取得日時は、PDR情報とともにユーザ端末10から通知される。「位置」は、ユーザ端末10の具体的な位置を示す。「方位」は、ユーザ端末10の具体的な方位を示す。
図6では、位置を「P1」、方位を「A1」といった概念で表記しているが、実際には、位置の項目には、ユーザ端末10の屋内位置を示す具体的な情報(例えば座標系の数値等)が記憶される。また、位置の項目には、店舗内のフロア(階)に関する情報を含んでいてもよい。方位の項目には、ユーザ端末10の移動方位を示す具体的な情報(例えば方位角の数値、方角を示す情報等)が記憶される。
【0079】
「各種センサ情報」は、位置が検知された際に、各種センサによって検知された情報を示す。
図6では、各種センサ情報を「X1」といった概念で表記しているが、実際には、各種センサ情報の項目には、ユーザ端末10の加速度や傾き、地磁気、気温や気圧、ユーザUが商品をカートに入れた際のカートの記載物の質量の変化量等、各種センサによって取得された具体的な情報が記憶される。
【0080】
すなわち、
図6では、ユーザID「U1」のユーザUが、店舗ID「L1」の店舗において、取得日時「T1」~「T4」までの間に、PDR情報の位置が「P1」から「P4」まで変化し、方位は「A1」、各種センサ情報は「X1」のまま変化していないことから、この間、ユーザ端末10がユーザUとともに同一方向に直進移動中であることが示されている。また、情報処理装置100は、取得日時とPDR情報の位置とに基づいて、ユーザUの移動速度を推定することもできる。
【0081】
また、
図6では、ユーザID「U1」のユーザUが、店舗ID「L1」の店舗において、取得日時「T5」~「T7」までの間に、PDR情報が、位置「P5」、方位「A5」、各種センサ情報「X5」のまま変化していないことから、この間、ユーザ端末10がユーザUとともに停止していることが示されている。
【0082】
さらに、
図6では、ユーザ端末10がユーザUとともに停止している間のPDR情報が位置「P5」、方位「A5」、各種センサ情報「X5」であることから、陳列場所情報121のうち、このPDR情報に対応する商品ID「C1」の購入を検討していることが示されている。
【0083】
(推定属性情報123について)
推定属性情報123は、PDR履歴情報122に記憶されたPDR情報に基づいて推定されたユーザのデモグラフィックを記憶する。ここで、
図7に、実施形態に係る推定属性情報123の一例を示す。
図7は、実施形態に係る推定属性情報123の一例を示す図である。
図7に示した例では、推定属性情報123は、「端末ID」、「ユーザID」、「移動状態」、「検討商品」、「デモグラフィック」といった項目を有する。
【0084】
「端末ID」および「ユーザID」についてはPDR履歴情報122と同様である。すなわち、「端末ID」は、ユーザUが利用するユーザ端末10を識別する識別情報を示す。「ユーザID」は、ユーザUを識別する識別情報を示す。
【0085】
「移動状態」は、PDR履歴情報122に記憶されたPDR情報に基づいて推定されたユーザUの移動状態を示す情報を記憶する。
図7では、移動状態を「W1」といった概念で表記しているが、実際には、移動状態の項目には、ユーザUの移動状態(歩行/走行/階段上り/階段下り/停止等)を示す具体的な情報が記憶される。さらに移動状態の項目には、移動速度や加速度、移動パターン(直進、蛇行、千鳥足等)示す情報が記憶されてもよい。例えば、
図6に示したように、PDR履歴情報122に記憶されたPDR情報に基づいて、ユーザID「U1」のユーザUが、店舗ID「L1」の店舗において、取得日時「T1」~「T4」までの間に、ユーザ端末10がユーザUとともに同一方向にゆっくりと直進移動中であると推定された場合、移動状態の項目に、「歩行」、「直進」、「方位」といった移動状態を示す情報とともに、必要に応じて移動速度や加速度等を示す情報が記憶される。
【0086】
「検討商品」は、PDR履歴情報122に記憶されたPDR情報に基づいて推定された商品を識別する識別情報(商品ID)を記憶する。なお、検討商品については、1つに限らず、PDR履歴情報122に記憶されたPDR情報に基づいて推定される商品全てが対象となる。
【0087】
すなわち、
図7では、PDR履歴情報122に記憶されたPDR情報に基づいて、ユーザID「U1」のユーザUが店舗ID「L1」の店舗において購入を検討していると推定された商品ID「C1」が、検討商品の項目に記憶される。具体的には、情報処理装置100は、陳列場所情報121に記憶された「位置」、「方位」、「各種センサ情報」と、PDR履歴情報122に記憶された「位置」、「方位」、「各種センサ情報」とをそれぞれ比較し、互いに一致又は誤差が許容範囲内である場合に、ユーザUが購入を検討したのは、陳列場所情報121に記憶された「位置」、「方位」、「各種センサ情報」に対応する「商品ID」で識別される商品であると推定する。
【0088】
「デモグラフィック」は、上記の移動状態や検討商品に基づいて推定されたユーザUのデモグラフィックを示す情報を記憶する。
図7では、デモグラフィックを「Y1」といった概念で表記しているが、実際には、デモグラフィックの項目には、ユーザUの年齢や性別や職業や年収や居住地等の種々の具体的な情報を記憶する。すなわち、
図7では、移動状態「W1」および検討商品「C1」に基づいて推定されたユーザUのデモグラフィック「Y1」が記憶される。
【0089】
なお、
図7での図示は省略したが、PDR履歴情報122には、ユーザUの購入履歴や行動履歴等に基づいて、ユーザUの興味関心情報や、ユーザUの行動履歴情報等が記憶されていてもよい。例えば、興味関心情報は、過去の購買履歴に基づいて、情報処理装置100によってユーザUに設定される情報(ユーザUの購買履歴から、ユーザUが興味関心を抱いていると想定されるカテゴリや情報の内容等)である。また、行動履歴情報は、店舗内におけるユーザUの行動履歴(店舗内の移動履歴や、商品の購買履歴等)である。
【0090】
(提供情報124について)
提供情報124は、ユーザUのデモグラフィックを示す情報と、そのデモグラフィックに関連して提供される情報とが対応付けられた情報である。また、提供情報124は、商品を識別する識別情報と、その商品に関して提供される情報とが対応付けられた情報を含んでいてもよい。例えば、情報処理装置100は、
図7に示した推定属性情報123の「デモグラフィック」や「検討商品」の項目の値に基づいて、該当する提供情報を選択してユーザ端末10に通知する。
【0091】
(学習モデル125について)
学習モデル125は、店舗内での買物におけるユーザUの行動特性から、ユーザUのデモグラフィックを推定するために使用される学習モデルである。例えば、情報処理装置100は、学習モデル125に基づいて、
図7に示した推定属性情報123に記憶された移動状態や検討商品に基づいて、ユーザUのデモグラフィックを推定する。また、情報処理装置100は、学習モデル125に基づいて、
図6に示したPDR履歴情報122に記憶されたPDR情報から、
図7に示した推定属性情報123に記憶された移動状態や検討商品を推定するようにしてもよい。
【0092】
(制御部130について)
制御部130は、例えば、コントローラであり、CPUやMPU等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(推定プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0093】
図4に示すように、制御部130は、取得部131と、推定部132と、提供部133と、学習部134とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部130の内部構成は、
図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、
図4に示した接続関係に限られず、他の接続関係であってもよい。
【0094】
(取得部131について)
取得部131は、通信部110を介して、ユーザ端末10から通知されるPDR情報を取得する。また、取得部131は、取得したPDR情報をPDR履歴情報122に登録して蓄積する。例えば、取得部131は、ユーザ端末10がユーザUとともに店舗内を巡回している間、ユーザ端末10から通知されるPDR情報を取得してPDR履歴情報122に記憶する。
【0095】
(推定部132について)
推定部132は、ユーザ端末10から通知されたPDR情報に基づいて、ユーザUの移動状態を推定する。また、推定部132は、ユーザ端末10から通知されたPDR情報と陳列場所情報121に基づいて、ユーザUが購入を検討した商品を推定する。
【0096】
なお、推定部132は、ユーザ端末10から通知されたPDR情報を利用する際、取得部131から出力されたPDR情報を受け取ってもよいし、PDR履歴情報122に記憶されているPDR情報を読み出してもよい。
【0097】
図6に示すPDR履歴情報122では、ユーザID「U1」のユーザUが、店舗ID「L1」の店舗において、取得日時「T1」~「T4」までの間に、PDR情報の位置が「P1」から「P4」まで変化し、各種センサ情報は「X1」から「X4」まで変化しているが、方位は「A1」のまま変化していないことから、推定部132は、この間、ユーザ端末10がユーザUとともに同一方向に直進移動中であると推定し、推定属性情報123の移動状態の項目に記憶する。
【0098】
また、
図6に示すPDR履歴情報122では、ユーザID「U1」のユーザUが、店舗ID「L1」の店舗において、取得日時「T5」~「T7」までの間に、PDR情報が、位置「P5」、方位「A5」、各種センサ情報「X5」のまま変化していないことから、推定部132は、この間、ユーザ端末10がユーザUとともに停止していると推定する。
【0099】
また、
図6に示すPDR履歴情報122では、ユーザ端末10がユーザUとともに停止している間のPDR情報が位置「P5」、方位「A5」、各種センサ情報「X5」であることから、陳列場所情報121のうち、このPDR情報に対応する商品ID「C1」の購入を検討していると推定し、推定属性情報123の検討商品の項目に記憶する。
【0100】
さらに、推定部132は、学習モデル125と、推定属性情報123の移動状態および検討商品とに基づいて、ユーザUのデモグラフィックを推定する。
【0101】
(提供部133について)
提供部133は、推定部132により推定された結果に基づいて、ユーザ端末10に情報を提供する。例えば、提供部133は、情報処理装置100は、推定属性情報123の「デモグラフィック」や「検討商品」の項目の値に基づいて、該当する提供情報を選択してユーザ端末10に通知する。
【0102】
(学習部134について)
学習部134は、PDR履歴情報122に記憶されたPDR情報に基づいて、機械学習を行い、学習モデル125に反映する。例えば、学習部134は、ユーザ端末10がユーザUとともに店舗内の巡回を終了し、商品を決済/店舗から退場(退店)した際に、入店から退店までの間にPDR履歴情報122に記憶されたPDR情報に基づいて、機械学習を行う。
【0103】
具体的には、学習部134は、PDR履歴情報122に記憶されたPDR情報に基づいて、機械学習の教師あり学習を行い、学習モデル125に反映する。例えば、PDR情報の加速度に関する情報から機械学習の教師あり学習を行う場合には、教師あり学習では、学習データに正解ラベルを付けて学習するため、PDR情報の加速度に関する情報に対して、これは「高齢者」、これは「男性」というようにラベルを付けて学習させる。
【0104】
また、学習部134は、個々のユーザUごとに限らず、同じラベルが付けられた複数のユーザUのPDR情報に基づいて機械学習を行い、学習モデル125に反映してもよい。
【0105】
学習部134が行う機械学習は、例えばディープニューラルネットワークを利用したディープラーニング(深層学習)等でもよい。また、学習部134は、データマイニングやその他の機械学習アルゴリズムを利用してもよい。
【0106】
〔5.処理手順〕
次に、
図8を用いて、実施形態に係る情報処理装置100による処理の手順について説明する。
図8は、実施形態に係る処理手順を示すフローチャートである。
【0107】
図8に示すように、制御部130は、ユーザ端末10から通知されたGPS情報、ユーザUのアプリ操作による利用開始情報、又は店舗側から通知されたユーザ端末10の検出情報等に基づいて、ユーザ端末10とともに移動するユーザUが店舗内に入ったことを検出する(ステップS101)。
【0108】
取得部131は、ユーザ端末10がユーザUとともに店舗内を巡回している間に定期的に取得したPDR情報を、通信部110を介してユーザ端末10から収集し、PDR履歴情報122にPDR情報を記憶する(ステップS102)。
【0109】
推定部132は、PDR情報に基づいて、ユーザ端末10がユーザUとともに移動中であるか判定する(ステップS103)。例えば、推定部132は、ユーザUの移動速度/加速度が一定の状態で継続している場合には、移動中であると判定する。また、推定部132は、ユーザUの移動方向に障害物もないのに、ユーザUが停止した場合や、ユーザUの移動速度/加速度が極端に低下した場合には、移動中ではないと判定する。
【0110】
推定部132は、ユーザ端末10がユーザUとともに移動中であると判定した場合には(ステップS103;Yes)、移動中のPDR情報に基づいて、ユーザUの移動状態を推定し、推定属性情報123にユーザUの移動状態を記憶する(ステップS104)。
【0111】
そして、推定部132は、推定属性情報123に登録されているユーザUの移動状態および推定商品と学習モデル125とに基づいて、ユーザUのデモグラフィックを推定し、推定属性情報123にユーザUのデモグラフィックを記憶する(ステップS105)。
【0112】
なお、推定部132は、推定属性情報123にユーザUのデモグラフィックが既に記憶されている場合には、ユーザUのデモグラフィックを更新する。すなわち、ユーザUのデモグラフィックは、PDR情報が増えるにつれて累積的に更新され、精度が向上する。
【0113】
提供部133は、ユーザUのデモグラフィックと提供情報124とに基づいて、移動中のユーザUに対して有益な情報をユーザ端末10に通知する(ステップS106)。
【0114】
また、推定部132は、ユーザ端末10がユーザUとともに移動中ではないと判定した場合には(ステップS103;No)、ユーザUが商品の購入を検討中であると判断し、PDR情報と陳列場所情報121とに基づいて、PDR情報に対応する商品を推定し、推定属性情報123に推定商品を記憶する(ステップS107)。
【0115】
そして、推定部132は、推定属性情報123に登録されているユーザUの移動状態および推定商品と学習モデル125とに基づいて、ユーザUのデモグラフィックを推定し、推定属性情報123にユーザUのデモグラフィックを記憶する(ステップS108)。
【0116】
提供部133は、ユーザUのデモグラフィックと提供情報124とに基づいて、推定商品(ユーザUが購入を検討している商品)の関連情報をユーザ端末10に通知する(ステップS109)。
【0117】
制御部130は、ユーザ端末10から通知されたユーザUが商品を決済/店舗から退場(退店)したことを示す情報等に基づいて、ユーザ端末10とともに移動するユーザUが商品の購入を完了したか否か判定する(ステップS110)。例えば、制御部130は、ユーザ端末10から通知された決済用の店舗端末の前/店舗の出入口にいることを示すPDR情報や、店舗外にいることを示すGPS位置情報、ユーザUのアプリ操作による利用終了情報、又は店舗側から通知されたユーザUの商品購入情報等に基づいて、ユーザ端末10とともに移動するユーザUが商品の購入を完了したか否か判定する。制御部130は、ユーザUが商品の購入を完了していないと判定した場合には(ステップS110;No)、ユーザ端末10から新たなPDR情報が通知されるまで待機する(ステップS102に移行)。制御部130は、ユーザUが商品の購入を完了したと判定した場合には(ステップS110;Yes)、最終的な処理に移行する(ステップS111に移行)。
【0118】
推定部132は、入店から退店までの間の全てのPDR情報に基づいて、総合的なユーザUの買物行動(移動状態および検討商品)を推定し、推定属性情報123にユーザUの移動状態および検討商品を記憶する(ステップS111)。
【0119】
推定部132は、最終的に推定属性情報123に登録されているユーザUの移動状態および推定商品と学習モデル125とに基づいて、総合的にユーザUのデモグラフィックを推定し、推定属性情報123にユーザUのデモグラフィックを記憶する(ステップS112)。例えば店舗内での商品の購買行動におけるユーザの移動状態および商品の検討時間、興味を持った商品といったユーザの行動のコンテキスト(前後関係、状況等)からユーザの年齢や性別、身体の状態を推定することができる。
【0120】
提供部133は、ユーザUのデモグラフィックと提供情報124とに基づいて、ユーザUに対して次回以降の来店を促す有益な情報を提供する(ステップS113)。
【0121】
学習部134は、最終的にPDR履歴情報122に記憶されている全てのPDR情報に基づいて機械学習を行い、学習モデル125を更新する(ステップS114)。その後、上記の実施形態に係る処理手順を終了する。
【0122】
〔6.変形例〕
上述したユーザ端末10および情報処理装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
【0123】
上記の実施形態では、PDR情報はユーザ端末10側で生成しているが、実際には、ユーザ端末10側に設置された各種センサが検出した検出情報(センサ情報)をユーザ端末10から情報処理装置100に送信し、情報処理装置100側でPDR情報を生成してもよい。すなわち、上記の実施形態において、ユーザ端末10から情報処理装置100に送信しているPDR情報は、情報処理装置100側でPDR情報の生成に用いられる各種センサの検出情報であってもよい。
【0124】
また、PDR情報は、所定の位置を基準とした相対的な情報であってもよい。例えば、建物の2Fのこの棚の前といった絶対的な情報ではなく、建物の入り口から上下左右に何メートル進んだ位置に、建物の入り口方向から何度傾いた方向を向いているといった情報でもよい。
【0125】
また、上記の実施形態では、商品を例に説明しているが、実際には商品に限らず、図書館/図書室の書架に収納された書籍や雑誌、資料等を対象にすることも可能である。例えば、ユーザ端末10は、ユーザUとともに図書館/図書室内を巡回している間にPDR情報を情報処理装置100に通知する。
【0126】
また、陳列棚や商品に限らず、サービス等を対象にすることも可能である。例えば、実施形態における商品は、店舗内で提供されているサービスでもよい。商品とサービスを組み合わせることで、商品に関連するサービスの情報を提供することも可能となる。
【0127】
また、ユーザ端末10は、ユーザUとともに屋内型のテーマパーク/アミューズメント施設等の敷地内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、実施形態における陳列棚や商品は、敷地内のアトラクション/売店等と読み替えられる。また、ユーザ端末10は、ユーザUとともに博物館/美術館/科学館/水族館等の建物内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、実施形態における陳列棚や商品は、建物内の展示物等と読み替えられる。
【0128】
また、ユーザ端末10は、ユーザUとともに役所/郵便局/金融機関(銀行、信用金庫、保険会社、証券会社等)等の建物内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、実施形態における陳列棚や商品は、建物内のサービス窓口/自動交付機/現金自動預け払い機(ATM:Automatic Teller Machine)等と読み替えられる。
【0129】
また、ユーザ端末10は、ユーザUとともに駅の構内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、実施形態における陳列棚や商品は、駅のホーム/商業施設(売店、飲食店等)/券売機/案内所/トイレ/階段/昇降装置(エレベータ、エスカレータ等)/動く歩道/コインロッカー等と読み替えられる。なお、駅の構内は改札内でも改札外でもよい。また、駅が近隣の商業施設と一体化しており、ユーザUが屋外に出ることなく駅と近隣の商業施設との間を移動可能な場合には、近隣の商業施設を含めてもよい。
【0130】
また、ユーザ端末10は、ユーザUとともに学校施設/医療機関/福祉施設/宿泊施設/公衆浴場(入浴施設、温泉施設等)/劇場/映画館等の建物内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、実施形態における陳列棚や商品は、建物内の設備/受付窓口/部屋/売店/食堂等と読み替えられる。
【0131】
また、店舗内の陳列棚に限らず、ショッピングセンター(ショッピングモール)のテナント等を対象にすることも可能である。例えば、ユーザ端末10は、ユーザUとともにショッピングセンターの敷地内を巡回している間に、ユーザ端末10がPDR情報を情報処理装置100に通知してもよい。この場合、ショッピングセンターが実施形態における「店舗」に相当し、テナントが「陳列棚」に相当する。なお、アーケード商店街や地下街についても、上記のショッピングセンターの場合と同様である。
【0132】
〔7.ハードウェア構成〕
上述してきた実施形態に係る情報処理装置100やユーザ端末10は、例えば
図9に示すような構成のコンピュータ1000によって実現される。以下、情報処理装置100を例に挙げて説明する。
図9は、情報処理装置100やユーザ端末10の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、およびメディアインターフェイス(I/F)1700を有する。
【0133】
CPU1100は、ROM1300又はHDD1400に記憶されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を記憶する。
【0134】
HDD1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(
図2に示したネットワークNに対応)を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを、通信網500を介して他の機器へ送信する。
【0135】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
【0136】
メディアインターフェイス1700は、記録媒体1800に記憶されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。
【0137】
例えば、コンピュータ1000が実施形態に係る情報処理装置100やユーザ端末10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、記憶部120内のデータが記憶される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から通信網500を介してこれらのプログラムを取得してもよい。
【0138】
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【0139】
〔8.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0140】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0141】
また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0142】
〔9.効果〕
上述してきたように、実施形態に係る情報処理装置100は、取得部131と、推定部132とを備える。取得部131は、ユーザUとともに移動するユーザ端末10が定期的に検知した検知情報を取得する。推定部132は、取得部131が取得した検知情報に基づいてユーザUの属性情報を推定する。これにより、ユーザとともに移動するユーザ端末が検知した検知情報を利用して、ユーザの行動特性からユーザのデモグラフィック等の属性情報を推定することができる。
【0143】
また、推定部132は、取得部131が取得した検知情報に基づいてユーザUの移動状態を推定し、ユーザUの移動状態に基づいてユーザUの属性情報を推定する。これにより、ユーザの移動状態からユーザのデモグラフィック等の属性情報を推定することができる。
【0144】
また、推定部132は、ユーザUが特定の場所に接近または滞留した場合、取得部131が取得した検知情報に対応する対象物を推定し、対象物に基づいてユーザUの属性情報を推定する。これにより、ユーザが購入を検討した商品からユーザのデモグラフィック等の属性情報を推定することができる。
【0145】
また、推定部132は、取得部131が取得した検知情報に対応する場所に配置された対象物を示す対象物配置場所情報(陳列場所情報121)と、取得部131が取得した検知情報とを比較し、比較結果に基づいて取得部131が取得した検知情報に対応する対象物を推定する。これにより、商品の陳列場所情報121に基づいて、取得部131が取得した検知情報に対応する場所に陳列されている商品を推定することができる。
【0146】
また、推定部132は、ユーザUの移動状態および対象物の両方に基づいてユーザUの属性情報を推定する。これにより、ユーザUの移動状態と、ユーザが購入を検討した商品との両方に基づいて、より高精度にユーザのデモグラフィック等の属性情報を推定することができる。
【0147】
また、実施形態に係る情報処理装置100は、提供部133をさらに備える。提供部133は、推定部132が推定したユーザUの属性情報に基づいて、移動中のユーザUへの提供情報と、対象物の関連情報とのうち少なくとも1つをユーザ端末10に通知する。これにより、ユーザのデモグラフィック等の属性情報に応じて、移動中のユーザUに対して有益な提供情報を知らせたり、商品の購入を検討中のユーザUに対して商品の関連情報を知らせたりすることができる。また、ユーザのデモグラフィック等の属性情報に応じて異なる情報を提供することもできる。
【0148】
推定部132は、目的地に到達してユーザUの移動が完了した場合、ユーザUの移動開始から移動完了までの間に取得部131が取得した検知情報に基づいてユーザUの属性情報を推定する。提供部133は、推定部132が推定したユーザUの属性情報に基づく提供情報をユーザ端末10に通知する。これにより、ユーザUの移動開始から移動完了までの間に取得した全ての検知情報に基づいて、総合的にユーザUの属性情報を推定することができる。そして、その結果に基づいて、移動完了後のユーザUに対して、次回の行動を促すように、ユーザのデモグラフィック等の属性情報に応じた提供情報を知らせることができる。
【0149】
実施形態に係る情報処理装置100は、ユーザUの移動開始から移動終了までの間に取得部131が取得した検知情報に基づいて機械学習を行う学習部134をさらに備える。推定部132は、学習部134による機械学習の結果得られた学習モデルと、取得部131が取得した検知情報とに基づいて、ユーザUの属性情報を推定する。これにより、機械学習を繰り返し、ユーザのデモグラフィック等の属性情報の推定の精度を向上させることができる。
【0150】
学習部134は、取得部が取得した検知情報のうち加速度に関する情報から機械学習の教師あり学習を行う。これにより、学習モデルに基づいて、より高精度にユーザUの年齢層や性別、身体状態等を推定することができるようになる。
【0151】
ユーザ端末10が検知した検知情報は、歩行者自律航法に基づく屋内位置情報である。すなわち、ユーザ端末10が検知した検知情報は、PDR情報であってもよい。なお、ユーザ端末10は、自装置から情報処理装置100側へ送信している情報がPDR情報であると認識していなくてもよい。ユーザ端末10は、情報処理装置100側でPDR情報として認識できる情報や、情報処理装置100側でPDR情報を生成するために使用される情報を送信していればよい。
【0152】
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0153】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0154】
1 情報処理システム
10 ユーザ端末
100 情報処理装置
11、110 通信部
12 入力部
13 表示部
14 検知部
15、120 記憶部
121 陳列場所情報
122 PDR履歴情報
123 推定属性情報
124 提供情報
125 学習モデル
16、130 制御部
131 取得部
132 推定部
133 提供部
134 学習部