(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-01
(45)【発行日】2022-07-11
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
H04L 67/52 20220101AFI20220704BHJP
G06N 20/00 20190101ALI20220704BHJP
H04M 1/00 20060101ALN20220704BHJP
H04M 11/00 20060101ALN20220704BHJP
【FI】
H04L67/52
G06N20/00
H04M1/00 R
H04M11/00 302
(21)【出願番号】P 2020146118
(22)【出願日】2020-08-31
【審査請求日】2021-03-17
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】清水 徹
(72)【発明者】
【氏名】坪内 孝太
【審査官】今川 悟
(56)【参考文献】
【文献】特開2014-164207(JP,A)
【文献】特開2017-037032(JP,A)
【文献】加藤 拓也,逐次FLDAに基づく尤度判別空間を用いた身体動作認識,情報処理学会 研究報告 知能システム(ICS) 2014-ICS-175 [online] ,日本,情報処理学会,2014年03月07日,1-7
【文献】辻 敏夫 Toshio TSUJI,ハイパヒューマン技術が開く新世界 Hyper Human Technology toward the 21st Century Industrial Revolution,電子情報通信学会誌 第90巻 第10号 THE JOURNAL OF THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS,日本,社団法人電子情報通信学会 DENSHI-JOHO-TSUSHIN-GAKKAI,2007年10月01日,第90巻,854-858
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/52
G06N 20/00
H04M 1/00
H04M 11/00
(57)【特許請求の範囲】
【請求項1】
位置情報を取得する取得部と、
前記位置情報をベクトルに変換する変換部と、
前記ベクトルと、ユーザの周期的な行動を示す基底ベクトルとを照合する照合部と、
前記ベクトルが前記基底ベクトルに該当しない場合、前記ベクトルに関連する情報を送信する送信部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記送信部は、前記ベクトルが前記基底ベクトルに該当する場合、普段通りである旨を示す情報を送信する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記送信部は、前記ベクトルが前記基底ベクトルと小さく異なる場合、前記ベクトルと前記基底ベクトルとの差分を示す情報を送信する、
ことを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記送信部は、前記ベクトルが前記基底ベクトルと大きく異なる場合、前記ベクトルを送信する、
ことを特徴とする請求項1~3のうちいずれか1つに記載の情報処理装置。
【請求項5】
前記ベクトルを受信したサーバ側から提供される前記基底ベクトルを受信する受信部と、
をさらに備えることを特徴とする請求項1~4のうちいずれか1つに記載の情報処理装置。
【請求項6】
前記変換部は、複数の前記位置情報を一括して単数の前記ベクトルに変換する、
ことを特徴とする請求項1~5のうちいずれか1つに記載の情報処理装置。
【請求項7】
前記変換部は、機械学習により得られたベクトル変換モデルを用いて、前記位置情報を前記ベクトルに変換する、
ことを特徴とする請求項1~6のうちいずれか1つに記載の情報処理装置。
【請求項8】
前記変換部は、所定の変換規則に従って、前記位置情報をベクトルに変換する、
ことを特徴とする請求項1~6のうちいずれか1つに記載の情報処理装置。
【請求項9】
前記ベクトルは、ユーザの行動を示す、
ことを特徴とする請求項1~8のうちいずれか1つに記載の情報処理装置。
【請求項10】
前記変換部は、複数の前記位置情報のうち、一部の前記位置情報をベクトルに変換し、
前記照合部は、一部の前記位置情報から変換された前記ベクトルと、前記基底ベクトルとを照合し、
前記送信部は、一部の前記位置情報から変換された前記ベクトルが前記基底ベクトルに該当しない場合、前記ベクトルに関連する情報と、残りの前記位置情報とを送信する、
ことを特徴とする請求項1~9のうちいずれか1つに記載の情報処理装置。
【請求項11】
端末装置から、位置情報に基づくベクトルに関連する情報を収集する収集部と、
前記ベクトルから、ユーザの行動の周期性を表す情報を抽出する抽出部と、
前記ベクトルから抽出された前記ユーザの行動の周期性を表す情報に基づいて、基底ベクトルを生成する生成部と、
前記基底ベクトルを前記端末装置に提供する提供部と、
を備えることを特徴とする情報処理装置。
【請求項12】
前記収集部は、前記端末装置から前記ベクトルに関連する情報を収集できなかった場合、前記ユーザの行動は普段通りであると判断する、
ことを特徴とする請求項11に記載の情報処理装置。
【請求項13】
前記抽出部は、前記ベクトルの要素それぞれでフーリエ変換を行い、得られたスペクトルにおいて、要素間で共通して絶対値の大きいところを取り出して、前記ユーザの行動の周期性を表す情報と推定する、
ことを特徴とする請求項11に記載の情報処理装置。
【請求項14】
情報処理装置が実行する情報処理方法であって、
位置情報を取得する取得部と、
前記位置情報をベクトルに変換する変換工程と、
前記ベクトルと、ユーザの周期的な行動を示す基底ベクトルとを照合する照合工程と、
前記ベクトルが前記基底ベクトルに該当しない場合、前記ベクトルに関連する情報を送信する送信工程と、
を含むことを特徴とする情報処理方法。
【請求項15】
位置情報を取得する取得手順と、
前記位置情報をベクトルに変換する変換手順と、
前記ベクトルと、ユーザの周期的な行動を示す基底ベクトルとを照合する照合手順と、
前記ベクトルが前記基底ベクトルに該当しない場合、前記ベクトルに関連する情報を送信する送信手順と、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
通信装置の位置情報を低消費電力で送信する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、手動運転車両が、低消費電力広域無線通信(LPWA:Low Power Wide Area)により、現在位置の情報を含む通信装置情報を、通信相手に対して、予め定められた送信間隔を開けて順次送信しているに過ぎない。通常、通信装置が位置情報を取得するだけではさほど電力を消費しないが、通信装置が外部に位置情報を送信する際(特に高速で移動中の場合)には多大な電力を消費する。例え送信一回当たりの消費電力量を小さくしても、繰り返し位置情報を送信する場合、件数に応じて消費電力量は大きくなってしまう。上記の従来技術で例示されているような手動運転車両であれば電源容量に不足はないかもしれないが、スマートフォン等の端末装置(ハンドヘルドデバイス)であれば電源容量は十分であるとは言い難い。
【0005】
また、近年は、個人情報保護の観点から、スマートフォン等の端末装置の仕様により、個人の端末装置の位置情報を外部に送信することに対して制約が厳しくなる傾向にあり、事業者が個人の端末装置の位置情報を逐一取得することが著しく困難になっている。例えば、個人の端末装置の位置情報の利用の許可について、「常に許可」する設定が選択肢からなくなりつつある。また、OS(Operating System)側の制御によりアプリケーションがバックグラウンドで稼働している際には位置情報を送信できないという問題がある。
【0006】
そこで、発明者等は位置情報をエンベディング(ベクトル化)して送信する方法を検討している。エッジ(端末装置)からサーバに個人情報を含む情報を送信する際に、エッジ側で情報にエンベディング処理を施したエンベディング情報を送信することで、個人情報特有の問題は解決される。しかし、エンベディング情報の内容を考慮して送信しなければ、サーバ側で目的に応じた分析や解析が十分に行えないという問題があった。
【0007】
本願は、上記に鑑みてなされたものであって、人の行動の周期性を考慮してエンベディング情報を選別することを目的とする。
【課題を解決するための手段】
【0008】
本願に係る情報処理装置は、位置情報を取得する取得部と、前記位置情報をベクトルに変換する変換部と、前記ベクトルとユーザの周期的な行動を示す基底ベクトルとを照合する照合部と、前記ベクトルが前記基底ベクトルに該当しない場合、前記ベクトルに関連する情報を送信する送信部と、を備えることを特徴とする。
【発明の効果】
【0009】
実施形態の一態様によれば、人の行動の周期性を考慮してエンベディング情報を選別することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態に係る情報処理方法の概要を示す説明図である。
【
図2】
図2は、実施形態に係る情報処理システムの構成例を示す図である。
【
図3】
図3は、実施形態に係る端末装置の構成例を示す図である。
【
図4】
図4は、実施形態に係る情報処理装置の構成例を示す図である。
【
図5】
図5は、変換情報データベースの一例を示す図である。
【
図6】
図6は、ベクトル情報データベースの一例を示す図である。
【
図7】
図7は、実施形態に係る処理手順を示すシーケンス図である。
【
図8】
図8は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0012】
〔1.情報処理方法の概要〕
まず、
図1を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。
図1は、実施形態に係る情報処理方法の概要を示す説明図である。なお、
図1では、端末装置が人の行動の周期性を考慮してエンベディング情報を選別する場合を例に挙げて説明する。
【0013】
図1に示すように、情報処理システム1は、端末装置10と情報提供装置100とを含む。端末装置10と情報提供装置100とは、それぞれネットワークN(
図2参照)を介して有線又は無線で互いに通信可能に接続される。
【0014】
端末装置10は、ユーザU(利用者)により利用されるスマートフォンやタブレット等のスマートデバイスであり、4G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置10は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。
【0015】
ここでは、端末装置10は、自身の位置情報を取得し、取得した位置情報をベクトルに変換(ベクトル化)する。すなわち、端末装置10は、いわゆるエンベディング(embedding:埋め込み)を行い、位置情報に基づくエンベディングベクトル(埋め込みベクトル)を生成する。そして、端末装置10は、位置情報に基づくエンベディングベクトルを情報提供装置100に送信する。
【0016】
情報提供装置100は、端末装置10から位置情報に基づくエンベディングベクトルを受信し、位置情報に基づくエンベディングベクトルに基づいて、ユーザUの行動(所在、振る舞い、移動等)を解析する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。
【0017】
〔1-1.位置情報をベクトルに変換する利点〕
まず、位置情報をベクトルに変換する利点について説明する。
【0018】
従来、端末装置10は、情報提供装置100に対して位置情報を送信していたが、このとき、端末装置10は、ユーザUのプライバシー配慮やデータ通信量の削減のため、位置情報の端数処理(丸め処理)を行い、位置情報を丸めて精度の粗い位置情報に変換してから送信していた。例えば、位置情報がGPS(Global Positioning System)座標の緯度経度情報である場合、緯度と経度の10進角度での小数点第2位以下の値の切り上げ又は切り捨て(四捨五入でも可)を行い、大まかな値の位置情報に変換していた。
【0019】
この場合、情報提供装置100は、位置情報に基づいてユーザUの行動を推定しようとしたとき、丸めた位置情報は大まかな値であるため、地域や大規模施設等のエリア単位の広い場所は特定できても、隣接する小規模な建物や部屋等の狭い場所(及び/又は屋内外の違い)を特定できないことがあった。そのため、ユーザUの大まかな行動については推定可能であるが、ユーザUの詳細な行動については推定できないこともあった。例えば、ユーザUの丸めた位置情報が示す場所の範囲内に小規模な建物Aと建物B(例えばコンビニエンスストアとファストフード店等)が隣接して建っている場合、ユーザUが建物Aと建物Bのどちらにいるのか、あるいは建物(又は敷地)の内側と外側のどちらにいるのかを、位置情報から特定できないこともあった。情報提供装置100(サーバ側)が本当に知りたいのは、ユーザUの位置情報それ自体ではなく、位置情報が示すユーザUの行動(すなわち、ユーザUのコンテキスト)である。
【0020】
今回、端末装置10は、自身の位置情報をベクトルに変換(ベクトル化)するに際して、端数処理(丸め処理)を行う前の位置情報の生データをベクトルに変換する。したがって、端末装置10は、隣接する小規模な建物や部屋等の狭い場所(及び/又は屋内外の違い)を特定した上で、エンベディングベクトルを生成することができる。そのため、情報提供装置100は、エンベディングベクトルに基づいて、ユーザUの詳細な行動を知ることができる。すなわち、情報提供装置100は、端末装置10から、従来の丸めた位置情報を受信するよりも、ユーザUの行動に関する具体的かつ詳細な情報を取得することができる。また、エンベディングベクトルのベクトル値及びそれが意味する内容を定義するのは情報提供装置100(サーバ側)であるため、第三者がエンベディングベクトルのベクトル値だけを見ても、そのベクトル値が何を意味しているのか理解できないので、安全である。
【0021】
〔1-2.位置情報をエンベディングして送信する情報処理方法の概要〕
次に、
図1を参照して、位置情報をエンベディングして送信する情報処理方法の概要について説明する。
【0022】
図1に示すように、ユーザUの端末装置10は、自身の位置情報を取得する(ステップS1)。
【0023】
そして、端末装置10は、取得した位置情報を蓄積する(ステップS2)。
【0024】
そして、端末装置10は、位置情報に対してエンベディングを行い、複数の位置情報を1つのベクトルに変換(ベクトル化)し、位置情報に基づくエンベディングベクトル(埋め込みベクトル)を生成する(ステップS3)。
【0025】
そして、端末装置10は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とを照合する(ステップS14)。
【0026】
そして、端末装置10は、エンベディングベクトルに関連する情報を情報提供装置100に送信する(ステップS5)。
【0027】
そして、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報を受信する(ステップS6)。
【0028】
そして、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報を受信した場合には、位置情報に基づくエンベディングベクトルの形式で蓄積する(ステップS7)。
【0029】
そして、情報提供装置100は、一定期間ごとに、蓄積されたエンベディングベクトルの周期性に基づいて、エンベディングベクトルの基底を生成する(ステップS8)。
【0030】
そして、情報提供装置100は、生成されたエンベディングベクトルの基底を端末装置10に送信する(ステップS9)。
【0031】
〔1-3.実施例1〕
次に、上記の位置情報をエンベディングして送信する情報処理方法の実施例1について説明する。
【0032】
例えば、ステップS1において、各地域に所在する複数のユーザUの各々が所持する端末装置10は、GNSS(Global Navigation Satellite System:全球測位衛星システム)や屋内測位技術等の位置測位技術を用いて、それぞれ自身の位置情報を取得する。このとき、端末装置10は、自身の位置情報と共に、その位置情報を取得した時刻を示す時刻情報を取得する。
【0033】
続いて、ステップS2において、端末装置10は、取得した位置情報を位置履歴(例えば、ロケーション履歴、行動履歴等)として蓄積する。
【0034】
続いて、ステップS3において、端末装置10は、複数の位置情報を一括して単数の多次元ベクトルに変換する。例えば、端末装置10は、位置情報を時系列に並べたシーケンスデータ(時系列データ)に基づいて、エンベディングベクトルを生成する。
【0035】
例えば、端末装置10は、1分ごとに位置情報を取得していた場合、1分ごとの位置情報を時系列に並べて、30分間(例えば8:01~8:30)ごとに区切ったシーケンスデータを生成する。このとき、端末装置10は、30分間における1分ごとの位置情報を時系列に並べたシーケンスデータを生成する。あるいは、端末装置10は、30分間における最初の1分間の位置情報とその位置情報に対する1分ごとの差分を時系列に並べたシーケンスデータを生成する。
【0036】
例えば、端末装置10は、シーケンスデータをデータセットとし、ニューラルネットワークによる機械学習の手法等を用いて、シーケンスデータを多次元からなる実数値ベクトルへと変換する。すなわち、端末装置10は、例えばRNN(Recurrent Neural Network)やLSTM(Long short-term memory)等を用いた機械学習を経て生成されるベクトル変換モデルにシーケンスデータを入力し、出力としてエンベディングベクトルを取得する。端末装置10は、情報提供装置100から、ベクトル変換モデルの提供を受けてもよい。
【0037】
なお、RNNやLSTMは、アテンション(Attention)の仕組みに基づくニューラルネットワークであってもよい。アテンションは、文章のような前後の並びが重要なデータを扱うことができる。また、端末装置10は、同様の自然言語処理モデルを用いてもよい。このようなモデルを用いて、シーケンスデータからエンベディングベクトルを生成することにより、より情報の順序に重点を置いたエンベディングベクトルの生成を実現することができる。
【0038】
あるいは、端末装置10は、所定の変換規則(ルール)に従って(ルールベースで)、シーケンスデータをエンベディングベクトルに変換してもよい。
【0039】
但し、シーケンスデータは一例に過ぎない。実際には、例えば位置情報の生データをそのまま時系列に沿って順番にモデルに入力してもよい。
【0040】
ここでは、端末装置10が上記のベクトル変換モデルや所定の変換規則等に従って位置情報のデータを元にエンベディングすると、出力される値がベクトル表現になる。これらの出力されたベクトルを時系列に並べると、ユーザの移動経路が示される。例えば、具体的な緯度経度は不明であるが、ベクトル空間上のA点からB点へ移動したこと等が示される。すなわち、端末装置10が位置情報を使ってエンベディングした結果(出力された値)が、エンベディングベクトルである。このエンベディングベクトルは、ユーザの行動を示す値(コンテキストを示す値)である。
【0041】
なお、端末装置10がエンベディングを行うタイミングについては任意である。例えば、端末装置10から情報提供装置100への位置情報の送信が許可されているタイミングで、蓄積された位置情報をエンベディングしてもよい。また、アプリケーション(アプリ)の起動時から位置情報の蓄積を開始し、当該アプリの使用を終了したタイミングで、蓄積された位置情報をエンベディングしてもよい。また、蓄積された位置情報が所定の件数(例えば100件)に達した時に、蓄積された位置情報をエンベディングしてもよい。あるいは、それまで滞在していた場所から移動した時(位置情報が大きく変化した時)に、蓄積された位置情報をエンベディングしてもよい。
【0042】
続いて、ステップS4において、端末装置10は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とを照合する。
【0043】
エンベディングベクトルの基底は、ユーザUの周期的な行動を示す周期性情報である。ユーザUの周期的な行動とは、日課(ルーティン:routine)等の曜日や時刻ごとに毎回決まって行う行動、職場や行きつけの店舗等の特定の場所に向かう行動、習慣化した特定の行動等を指す。例えば、エンベディングベクトルの基底は、一週間単位での曜日や時刻ごとの平均的なユーザUの行動を示す。すなわち、エンベディングベクトルの基底は、エンベディングベクトルの周期性に関する基底ベクトルである。エンベディングベクトルの基底は、端末側である端末装置10と、サーバ側である情報提供装置100との間で共有する。
【0044】
ここでは、端末装置10は、基底となるエンベディングベクトルと、実測されたエンベディングベクトルとを照合している。具体的には、端末装置10は、周期性情報としてユーザUの位置情報から変換された複数のベクトルに基づいた基底ベクトルと、新たに取得されたユーザUの位置情報から変換された複数のベクトルとを照合する。
【0045】
このとき、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と同じ(同一又は類似)である場合、ユーザUの行動が「普段通り」であると判定する。例えば、端末装置10は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とが同一又は類似(差分が無視できるほど微小)である場合には、情報提供装置100にエンベディングベクトルを通知する必要はない。
【0046】
例えば、サーバ側である情報提供装置100が、ユーザUが普段と違う行動をとった時のエンベディングベクトルのみ知りたい場合には、端末装置10から逐一エンベディングベクトルを通知する必要はない。これにより、端末装置10のデータ通信量や通信回数を削減することができる。
【0047】
また、上記のように、端末装置10は、ベクトルと基底とを照合する際、ある程度のずれ(差分)を認めてもよい。すなわち、端末装置10は、ベクトルと基底とが完全一致しなくても、ベクトルと基底とが類似していれば、「普段通り」と判定してもよい。例えば、ハミング距離が所定の閾値未満、コサイン類似度が所定の閾値未満である場合は、「普段通り」と判定してもよい。また、端末装置10は、ベクトルが示すコンテキストと基底が示すコンテキストが一致あるいは類似するかを判定してもよい。例えば、ベクトルが「3時間おきに移動している」旨を示し、基底が「4時間おきに移動している」旨を示す場合は、「普段通り」と判定してもよい。
【0048】
また、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と小さく異なる場合、情報提供装置100に差分を通知する必要があると判定する。例えば、端末装置10は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とが小さく異なる場合には、主成分分析(PCA:Principal Component Analysis)等により、変動した次元(要素)を特定し、変動した次元の値を通知すれば十分である。例えば、多次元のベクトルのうち3次元のベクトルが変動している場合には、上位3つの要素のベクトル値を通知すればよい。
【0049】
また、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と大きく異なる場合、情報提供装置100にエンベディングベクトル自体を通知する必要があると判定する。例えば、端末装置10は、位置情報に基づくエンベディングベクトルが、エンベディングベクトルの基底から大きくずれている(乖離している)場合には、情報提供装置100に位置情報に基づくエンベディングベクトルの全体(全要素のベクトル値)を通知する必要がある。
【0050】
このとき、端末装置10は、位置情報に基づくエンベディングベクトルとエンベディングベクトルの基底との差分の閾値を、0<第1の閾値<第2の閾値のように設定しておき、差分が第1の閾値未満であれば「同じ」、差分が第1の閾値以上第2の閾値未満であれば「小さく異なる」、差分が第2の閾値以上であれば「大きく異なる」と判定するようにしてもよい。
【0051】
続いて、ステップS5において、端末装置10は、ネットワークN(
図3参照)を介して、エンベディングベクトルに関連する情報を情報提供装置100に送信する。
【0052】
例えば、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と小さく異なる場合には、位置情報に基づくエンベディングベクトルとエンベディングベクトルの基底との差分(変動した次元の値)を情報提供装置100に送信する。
【0053】
また、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と大きく異なる場合には、位置情報に基づくエンベディングベクトルの全体を情報提供装置100に送信する。
【0054】
なお、実際には、端末装置10は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と同じ(同一又は類似)である場合には、情報提供装置100に「普段通り」である旨を通知するようにしてもよい。すなわち、端末装置10は、「普段通り」である場合には、「普段通り」である旨を示す情報を情報提供装置100に送信してもよい。また、「普段通り」である旨を示す情報は、「普段通り」である旨を示すエンベディングベクトルであってもよい。「普段通り」である旨を示すエンベディングベクトルは、例えば、位置情報に基づくエンベディングベクトルに、「普段通り」である旨を示すベクトルを付加したものであってもよい。このとき、多次元のベクトルのうち、所定の要素が「普段通り」である旨を示すベクトルであってもよい。
【0055】
また、端末装置10が位置情報に基づくエンベディングベクトルを情報提供装置100に送信するタイミングは任意である。例えば、端末装置10から情報提供装置100への位置情報の送信が許可されているタイミングであってもよい。また、アプリケーション(アプリ)の起動時や使用中、所定の時刻、所定の周期(2時間ごと等)等であってもよい。また、情報提供装置100側から端末装置10に対して位置情報に基づくエンベディングベクトルの送信を要求してもよい。
【0056】
続いて、ステップS6において、情報提供装置100は、各地域に所在する複数のユーザUの各々が所持する端末装置10から、ネットワークNを介して、それぞれの位置情報に基づくエンベディングベクトルを受信する。
【0057】
このとき、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報を受信しなかった場合には、ユーザUの行動が「普段通り」であったと判断する。例えば、情報提供装置100は、端末装置10のトラブルや通信障害、又は端末装置10が電波の届かない位置にあり通信が途絶えたため、既定のタイミングで端末装置10からエンベディングベクトルに関連する情報を受信できなかった場合などであっても、ユーザUの行動が「普段通り」であったと判断する。
【0058】
なお、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報を受信しなかった場合であっても、端末装置10のトラブルや通信障害等を認識できる場合には、認識した通りに判断してもよい。
【0059】
また、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報として「普段通り」である旨を示す情報を受信した場合には、ユーザUの行動が「普段通り」であったと判断する。この場合、情報提供装置100は、位置情報に基づくエンベディングベクトルを蓄積しない。
【0060】
続いて、ステップS7において、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報を受信した場合には、位置情報に基づくエンベディングベクトルの形式で蓄積する。
【0061】
例えば、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報として、位置情報に基づくエンベディングベクトルとエンベディングベクトルの基底との差分(変動した次元の値)を受信した場合、エンベディングベクトルの基底に差分を反映したエンベディングベクトルを求め、求めたエンベディングベクトルを蓄積する。
【0062】
また、情報提供装置100は、端末装置10から、エンベディングベクトルに関連する情報として、位置情報に基づくエンベディングベクトルの全体を受信した場合、位置情報に基づくエンベディングベクトルをそのまま蓄積する。
【0063】
続いて、ステップS8において、情報提供装置100は、一定期間ごとに、蓄積されたエンベディングベクトルに基づいて、ユーザUの行動の周期性を表す情報を抽出し、エンベディングベクトルの周期性に基づいて、エンベディングベクトルの基底を生成する。
【0064】
例えば、情報提供装置100は、蓄積されたエンベディングベクトルについて、ベクトルの要素それぞれでフーリエ変換を行う。そして、得られたスペクトルにおいて、要素間で共通して絶対値の大きいところを取り出して、ユーザUの行動の周期性を表す情報と推定する。このとき、情報提供装置100は、日ごと・週ごとの周期性を表す情報を取り出すことができる。情報提供装置100は、これらの情報に基づいて、エンベディングベクトルの基底を生成する。
【0065】
なお、目立った周期性がない場合、当該ユーザUについては周期性を判断する処理の対象外とする。この場合、情報提供装置100は、端末装置10から、毎回、位置情報に基づくエンベディングベクトルを受信する。
【0066】
ここで、周期としては、基本的に週周期(日周期を内包する形で)を想定している。例えば、10週分など一定量のデータが蓄積された後であれば、同じ曜日や時間帯のエンベディングベクトルを並べることで、周期の中の位相(曜日や時刻等)が同じところでのエンベディングベクトルの平均、及び平均からの差分のバリエーションを見ることができる。
【0067】
例えば、情報提供装置100は、主成分分析(PCA)等により、エンベディングベクトルの差分のバリエーションを低次元で効率よく表すことができるような基底を計算する。
【0068】
ユーザUの状態を表すエンベディングベクトルはサイズ的には大きなものではなく(例えば32次元、大きくても256次元程度)、端末装置10(端末側)で蓄積するとしてもストレージ容量の成約には特にかからない。端末装置10(端末側)と情報提供装置100(サーバ側)との両方でエンベディングベクトルを蓄積しておき、両方で主成分分析(PCA)等による計算を実施する。これにより、特に追加で通信を行わなくても、端末装置10(端末側)と情報提供装置100(サーバ側)との間で、平均や基底などの前提を共有できる。
【0069】
通常であれば、例えば32次元のベクトルを送信していたようなところで、同曜日、同時刻の平均からの残差を表す主成分分析(PCA)の上位の3つの係数(3次元)等だけで済ませることが可能になる。
【0070】
「平均+残差」でうまく本来のベクトルを表せない場合や、エラーが大きくなる場合では、端末装置10(端末側)の判断(例えば、エラーのnormが一定値以上等の条件)で、例えば3次元の差分の代わりに本来の32次元のベクトル全体を送信するように切り替えてもよい。この場合、差分とベクトル全体とのどちらであるかわかるように、送信データにフラグを含める。
【0071】
なお、ステップS8において、情報提供装置100は、ユーザUの行動の周期性を表す情報を抽出する際に、エンベディングベクトルを特定空間に配置してもよい。情報提供装置100は、エンベディングベクトルを特定空間に配置することで、ユーザU自身の行動の類似性や変化、及び/又はユーザUと他のユーザとの行動の類似性や相違性を明確に把握することができる。例えば、端末装置10は、位置情報(緯度経度等)に対してエンベディングを行うので、同じ位置にいる場合は同じ値のエンベディングベクトルを生成する。情報提供装置100は、同じ値のエンベディングベクトルを特定空間上の同じ位置に配置する。
【0072】
この場合、情報提供装置100は、地図上の位置(緯度経度等)とはマッピング(関連付け)されていないので、具体的な位置の特定はできないが、ユーザUがこの時間帯にA地点からB地点に移動し、その後C地点に移動して再びA地点に戻った等のユーザUの特定の行動を確認することが可能になる。また、情報提供装置100は、位置情報を用いずに、ユーザUの移動の事実を確認することができる。
【0073】
続いて、ステップS9において、情報提供装置100は、ネットワークNを介して、エンベディングベクトルの基底を端末装置10に送信する。
【0074】
このとき、端末装置10は、情報提供装置100から受信したエンベディングベクトルの基底を反映し、次回以降のエンベディングベクトルとの照合に使用する。例えば、端末装置10は、記憶しているエンベディングベクトルの基底を更新する。すなわち、端末装置10は、保有している既存のエンベディングベクトルの基底を、受信した新規のエンベディングベクトルの基底で上書きする。
【0075】
以上のように、本実施形態では、ユーザの位置情報を送信する際には、端末装置が取得した位置情報をそのまま受信側(サーバ側)に送信するのではなく、位置情報をエンベディングしてから受信側に送信する。エンベディングされた情報は、受信側での復元が困難なため、正確な位置情報の特定が困難になり個人情報の問題は解決される。すなわち、単に情報量が少なくなるだけではなく、端末側が検知した生データ(GPSの位置情報そのもの)をサーバ側が復元できないので、セキュア(secure:安全)である。また、エンベディングにより、位置情報の塊を、ユーザがとった特定の行動(出勤、買物、鉄道移動等)を示すベクトルに変換して送信することで、個々の位置情報を逐一送信する必要がなくなり、電池消費の課題も解決される。さらに、本実施形態では、ユーザの行動の周期性を考慮して、サーバ側に送信するエンベディングベクトルを選別することができる。
【0076】
〔1-4.実施例2〕
次に、上記の位置情報をエンベディングして送信する情報処理方法の実施例2について説明する。
【0077】
例えば、ステップS5において、端末装置10は、位置情報に基づくエンベディングベクトルと共に、若干の自身の位置情報を情報提供装置100に送信してもよい。すなわち、端末装置10は、位置情報に基づくエンベディングベクトルに関連する情報と自身の位置情報との組を、情報提供装置100に送信してもよい。
【0078】
例えば、位置情報の送信に制約が課せられていなかった時(自由に位置情報が送信できていた時)には、端末側は「常に許可」の場合には1日で平均17点程度の位置情報をサーバ側に送信していたが、最近では制約が厳しくなり、端末側は3点程度の位置情報しかサーバ側に送信しないようになっている。そこで、端末装置10は、例えば17点の位置情報のうち14点の位置情報をベクトル化したエンベディングベクトルを生成して基底と照合し、ベクトルが基底に該当しない場合には、エンベディングベクトルに関連する情報を、残りの3点の位置情報とともにサーバ側に送信するようにしてもよい。すなわち、端末装置10は、一部の位置情報をベクトル化したエンベディング情報に関連する情報と、残りの位置情報それ自体とを送信するようにしてもよい。なお、残りの位置情報は、端末側が送信可能な数の位置情報である。
【0079】
エンベディングベクトルは、ユーザUの行動を示すものであるが、ユーザUの具体的な位置を示すものではない。そのため、情報提供装置100(サーバ側)では、ユーザUの行動がどの辺りの地域で行われたのかは知ることができない。そこで、エンベディングベクトルと、丸めた位置情報とを組み合わせることで、情報提供装置100(サーバ側)で、ユーザUの行動がどの辺りの地域で行われたのか、大体の場所を知ることができる。例えば、エンベディングベクトルは、「ユーザUが昼食(ランチ)をとった」ことを示すことはできるが、ユーザUが「どの辺りの地域で」昼食をとったかは示していない。これに大まかな場所(例えば、○○区△△町)を示す丸めた位置情報が加わることで、ユーザUが昼食をとった大体の場所を知ることができる。また、ユーザUの周期的な行動を、より具体的に知ることができる。
【0080】
また、上記の実施例1と組み合わせて実施してもよい。例えば、ステップS8において、情報提供装置100は、エンベディングベクトルを特定空間に配置する際に、特定空間と地図とをマッピングするために3点の位置情報を使うことで、上記特定空間の位置と地図上の位置(緯度経度等)とをマッピングすることができる。これにより、情報提供装置100は、完全ではないが、ある程度の場所を推定することが可能である。
【0081】
また、端末装置10は、位置情報(緯度経度等)に対してエンベディングを行うので、同じ位置にいる場合は同じ値のエンベディングベクトルを生成する。したがって、情報提供装置100は、同じ値のエンベディングベクトルに基づいて、ユーザUが同じ場所に滞在していることを推定することも可能である。これにより、情報提供装置100は、具体的な位置を特定しなくても、ユーザUが日常的に夜間に同じ場所に長時間滞在している場合には「自宅にいる」、日常的に日中に夜間と異なる場所に長時間滞在している場合には「職場にいる」と推定することも可能である。
【0082】
〔1-5.実施例3〕
次に、上記の位置情報をエンベディングして送信する情報処理方法の実施例3について説明する。
【0083】
例えば、ステップS3において、端末装置10は、位置情報を時系列に並べたシーケンスデータに基づいて、2以上の位置情報により表されるユーザUの行動(ユーザのコンテキスト)をベクトル値で示したエンベディングベクトルを生成してもよい。
【0084】
例えば、端末装置10は、例えばRNNやLSTM等を用いた機械学習を経て生成されるベクトル変換モデルにシーケンスデータを入力し、出力としてエンベディングベクトルを取得する。このとき、RNNやLSTMは、同じデータであっても、入れる順番で出力が変わる。例えば、「位置1」→「位置2」→「位置3」の順で移動していたら「出勤した」(往路)と出力し、「位置3」→「位置2」→「位置1」の順で移動していたら「帰宅した」(復路)と出力する。このような情報の時系列に応じた情報を提供するモデルを用いることで、位置情報の変遷が有する特徴に基づいたエンベディングベクトルを生成することができる。
【0085】
このように、シーケンスデータからLSTMを用いてエンベディングベクトルを生成した場合、シーケンスデータが示すユーザUの行動(ユーザUのコンテキスト)からユーザが所定の行動を行ったか否かを示すエンベディングベクトルを生成することができる。例えば、端末装置10は、ユーザUが自宅のあるエリアから職場のあるエリアまで移動していた旨を、位置情報のシーケンスデータが示す場合は、「出勤した」という行動と対応する要素が所定値を取るエンベディングベクトルを生成することができる。
【0086】
なお、RNNやLSTMは、アテンション(Attention)の仕組みに基づくニューラルネットワークであってもよい。また、端末装置10は、同様の自然言語処理モデルを用いてもよい。
【0087】
あるいは、端末装置10は、所定の変換規則(ルール)に従って、シーケンスデータをエンベディングベクトルに変換してもよい。例えば、端末装置10は、最初に取得された位置情報#1がユーザUの自宅から所定の範囲内であり、次に取得された位置情報#2が駅から所定の範囲内であり、最後に取得された位置情報#3が勤務先から所定の範囲内である場合は、「出勤した」という行動と対応する要素が所定値を取るエンベディングベクトルを生成してもよい。
【0088】
但し、シーケンスデータは一例に過ぎない。実際には、例えば位置情報の生データをそのまま時系列に沿って順番にモデルに入力してもよい。
【0089】
また、端末装置10は、例えば30分間に取得した位置情報に大きな変化が見られない場合、その30分間に取得した位置情報の平均値や中央値等を求め、これをその30分間の位置情報とし、その位置情報からエンベディングベクトルを生成してもよい。
【0090】
そして、ステップS8において、情報提供装置100は、エンベディングベクトルの基底を生成する際に、エンベディングベクトルのベクトル値により、ユーザUが「自宅にいる」、「出勤した」、「買い物に行った」、「電車で移動している」等の行動(ユーザのコンテキスト)を判定してもよい。このとき、情報提供装置100は、多次元のエンベディングベクトルのうちの複数の要素が示す値により、時間帯ごとに行動を判定してもよい。例えば、情報提供装置100は、位置情報に基づくエンベディングベクトルに、「午前中に外出した」ことを示す値と、「出勤した」ことを示す値とが含まれているとき、「午前中に出勤した」と判定してもよい。
【0091】
ここでは、エンベディングベクトルの各要素の値は、ユーザUの行動と対応している。例えば、3次元ベクトルの場合、1要素目の値が「出勤したか否か」を示し、2要素目の値が「外食したか否か」を示し、3要素目の値が「電車に乗ったか否か」を示すように規定してもよい。この場合、エンベディングベクトルは、One-hotベクトル(One Hot Vector)であってもよい。One-hotベクトルとは、(1,0,0)のように、1つの成分が1で、残りの成分が全て0であるようなベクトルである。但し、実際には、エンベディングベクトルは、One-hotベクトルに限定されない。
【0092】
また、エンベディングベクトルの各要素の値は、ユーザUの複数の行動と対応していてもよい。例えば、1要素目の値が「職場に行き、かつ、外食したか否か」を示し、2要素目の値が「職場に行かず、かつ、外食したか否か」を示すように規定してもよい。
【0093】
エンベディングベクトルのある範囲に含まれる複数の要素の値が、ユーザUの行動と対応していてもよい。例えば、3要素目までの値(上位三桁)が、「100」なら「出勤した」ことを示し、「101」なら「職場に電車で行った」ことを示すように規定してもよい。
【0094】
また、エンベディングベクトルの各要素の値は、評価値でもよい。例えば、3要素目までの値(上位三桁)が「000」なら「移動していない」ことを示し、「100」なら「100キロメートル移動した」ことを示すように規定してもよい。また、エンベディングベクトルのいずれかの要素の値は、移動方向を示す値であってもよい。例えば、4要素目から7要素目までの値が「0000」なら移動方向が「北」であることを示し、「0001」なら移動方向が「北北東」であることを示し、「0010」なら移動方向が「北東」であることを示し、「0011」なら移動方向が「東北東」であることを示し、「0100」なら移動方向が「東」であることを示し、「1000」なら移動方向が「南」であることを示し、「1100」なら移動方向が「西」であることを示すように規定してもよい。また、エンベディングベクトルの各要素の値は、健康的な生活のスコアであってもよい。
【0095】
なお、エンベディングベクトルの各要素の値は、モデルの学習時もしくは変換規則の作成時に、任意の設定が適用可能であるものとする。例えば、サーバ側が、ユーザU側からどのような行動に関する情報を取得して、ユーザUに提供するサービスに使用したいかといった事情に応じて、適宜任意の設定が可能であるものとする。
【0096】
この実施例3では、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等は、位置情報のシーケンスデータを、ユーザUが「自宅にいる」、「出勤した」、「買い物に行った」、「電車で移動している」等の特定の行動を示すベクトル値に変換することを目的とする簡潔なモデルや変換規則等である。例えば、情報提供装置100は、特定の行動をユーザUがとったか否かを知りたいときに、当該行動に関する位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等を、ユーザUの端末装置10に提供する。
【0097】
〔2.情報処理システムの構成例〕
次に、
図2を用いて、実施形態に係る情報提供装置100が含まれる情報処理システム1の構成について説明する。
図2は、実施形態に係る情報処理システム1の構成例を示す図である。
図2に示すように、実施形態に係る情報処理システム1は、端末装置10と情報提供装置100とを含む。これらの各種装置は、ネットワークNを介して、有線又は無線により通信可能に接続される。ネットワークNは、例えば、LAN(Local Area Network)や、インターネット等のWAN(Wide Area Network)である。
【0098】
また、
図2に示す情報処理システム1に含まれる各装置の数は図示したものに限られない。例えば、
図2では、図示の簡略化のため、端末装置10を1台のみ示したが、これはあくまでも例示であって限定されるものではなく、2台以上であってもよい。
【0099】
端末装置10は、ユーザUによって使用される情報処理装置である。例えば、端末装置10は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、PC(Personal Computer)、PDA(Personal Digital Assistant)、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス(Wearable Device)、スマートグラス等である。
【0100】
また、かかる端末装置10は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)等の無線通信網や、Bluetooth(登録商標)、無線LAN(Local Area Network)等の近距離無線通信を介してネットワークNに接続し、情報提供装置100と通信することができる。
【0101】
情報提供装置100は、例えばPCやサーバ装置、あるいはメインフレーム又はワークステーション等である。なお、情報提供装置100は、クラウドコンピューティングにより実現されてもよい。
【0102】
〔3.端末装置の構成例〕
次に、
図3を用いて、端末装置10の構成について説明する。
図3は、端末装置10の構成例を示す図である。
図3に示すように、端末装置10は、通信部11と、表示部12と、入力部13と、測位部14と、センサ部20と、制御部30(コントローラ)と、記憶部40とを備える。
【0103】
(通信部11)
通信部11は、ネットワークN(
図2参照)と有線又は無線で接続され、ネットワークNを介して、情報提供装置100との間で情報の送受信を行う。例えば、通信部11は、NIC(Network Interface Card)やアンテナ等によって実現される。
【0104】
(表示部12)
表示部12は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)である。また、表示部12は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
【0105】
(入力部13)
入力部13は、ユーザUから各種操作を受け付ける入力デバイスである。入力部13は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部12がタッチパネル式のディスプレイである場合、表示部12の一部が入力部13として機能する。なお、入力部13は、ユーザUから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
【0106】
(測位部14)
測位部14は、GPS(Global Positioning System)の衛星から送出される信号(電波)を受信し、受信した信号に基づいて、自装置である端末装置10の現在位置を示す位置情報(例えば、緯度及び経度)を取得する。すなわち、測位部14は、端末装置10の位置を測位する。なお、GPSは、GNSS(Global Navigation Satellite System)の一例に過ぎない。
【0107】
また、測位部14は、GPS以外にも、種々の手法により位置を測位することができる。例えば、測位部14は、位置補正等のための補助的な測位手段として、下記のように、端末装置10の様々な通信機能を利用して位置を測位してもよい。
【0108】
(Wi-Fi測位)
例えば、測位部14は、端末装置10のWi-Fi(登録商標)通信機能や、各通信会社が備える通信網を利用して、端末装置10の位置を測位する。具体的には、測位部14は、Wi-Fi通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置10の位置を測位する。
【0109】
(ビーコン測位)
また、測位部14は、端末装置10のBluetooth(登録商標)機能を利用して位置を測位してもよい。例えば、測位部14は、Bluetooth(登録商標)機能によって接続されるビーコン(beacon)発信機と接続することにより、端末装置10の位置を測位する。
【0110】
(地磁気測位)
また、測位部14は、予め測定された構造物の地磁気のパターンと、端末装置10が備える地磁気センサとに基づいて、端末装置10の位置を測位する。
【0111】
(RFID測位)
また、例えば、端末装置10が駅改札や店舗等で使用される非接触型ICカードと同等のRFID(Radio Frequency Identification)タグの機能を備えている場合、もしくはRFIDタグを読み取る機能を備えている場合、端末装置10によって決済等が行われた情報とともに、使用された位置が記録される。測位部14は、かかる情報を取得することで、端末装置10の位置を測位してもよい。また、位置は、端末装置10が備える光学式センサや、赤外線センサ等によって測位されてもよい。
【0112】
測位部14は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置10の位置を測位してもよい。
【0113】
(センサ部20)
センサ部20は、端末装置10に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置10以外の検知装置であってもよい。
図3に示す例では、センサ部20は、加速度センサ21と、ジャイロセンサ22と、気圧センサ23と、気温センサ24と、音センサ25と、光センサ26と、磁気センサ27と、画像センサ(カメラ)28とを備える。
【0114】
なお、上記した各センサ21~28は、あくまでも例示であって限定されるものではない。すなわち、センサ部20は、各センサ21~28のうちの一部を備える構成であってもよいし、各センサ21~28に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。
【0115】
加速度センサ21は、例えば、3軸加速度センサであり、端末装置10の移動方向、速度、及び、加速度等の端末装置10の物理的な動きを検知する。ジャイロセンサ22は、端末装置10の角速度等に基づいて3軸方向の傾き等の端末装置10の物理的な動きを検知する。気圧センサ23は、例えば端末装置10の周囲の気圧を検知する。
【0116】
端末装置10は、上記した加速度センサ21やジャイロセンサ22、気圧センサ23等を備えることから、これらの各センサ21~23等を利用した歩行者自律航法(PDR:Pedestrian Dead-Reckoning)等の技術を用いて端末装置10の位置を測位することが可能になる。これにより、GPS等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。
【0117】
例えば、加速度センサ21を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ22を利用して、ユーザUの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ23で検知した気圧から、ユーザUの端末装置10が存在する高度やフロアの階数を知ることもできる。
【0118】
気温センサ24は、例えば端末装置10の周囲の気温を検知する。音センサ25は、例えば端末装置10の周囲の音を検知する。光センサ26は、端末装置10の周囲の照度を検知する。磁気センサ27は、例えば端末装置10の周囲の地磁気を検知する。画像センサ28は、端末装置10の周囲の画像を撮像する。
【0119】
上記した気圧センサ23、気温センサ24、音センサ25、光センサ26及び画像センサ28は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置10の周囲の環境や状況等を検知することができる。また、端末装置10の周囲の環境や状況等から、端末装置10の位置情報の精度を向上させることが可能になる。
【0120】
(制御部30)
制御部30は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部30は、送信部31と、受信部32と、処理部33と、取得部34と、変換部35と、照合部36とを備える。
【0121】
(送信部31)
送信部31は、例えば入力部13を用いてユーザUにより入力された各種情報や、処理部33により処理された各種情報等を、通信部11を介して情報提供装置100へ送信することができる。
【0122】
また、送信部31は、変換部35により位置情報から変換されたエンベディングベクトルに関連する情報を、通信部11を介して情報提供装置100へ送信する。このとき、送信部31は、エンベディングベクトルに関連する情報と共に、その時点での位置情報を送信してもよい。
【0123】
また、送信部31は、照合部36により「普段通り」であると判定された場合、「普段通り」である旨を示す情報を、通信部11を介して情報提供装置100へ送信してもよい。このとき、「普段通り」である旨を示す情報は、「普段通り」である旨を示すエンベディングベクトルであってもよい。
【0124】
(受信部32)
受信部32は、通信部11を介して、情報提供装置100から提供される各種情報を受信する。例えば、受信部32は、通信部11を介して、情報提供装置100から提供されるベクトル変換モデルや所定の変換規則(ルール)等を受信する。また、受信部32は、通信部11を介して、情報提供装置100から提供されるエンベディングベクトルの基底を受信する。
【0125】
(処理部33)
処理部33は、表示部12等を含め、端末装置10全体を制御する。例えば、処理部33は、送信部31によって送信される各種情報や、受信部32によって受信された情報提供装置100からの各種情報を表示部12へ出力して表示させることができる。
【0126】
(取得部34)
取得部34は、常時/周期的に/所定のタイミングで、端末装置10の位置情報を取得する。例えば、取得部34は、測位部14により測位された端末装置10の位置情報を取得する。また、取得部34は、各センサ21~28によって検知された各種情報に基づいて端末装置10の位置情報を推定して取得する。
【0127】
また、取得部34は、取得した位置情報を記憶部40に記憶(保存)する。例えば、取得部34は、取得した位置情報を位置履歴(例えば、ロケーション履歴、行動履歴等)として蓄積する。
【0128】
また、取得部34は、受信部32が情報提供装置100から受信したベクトル変換モデルや所定の変換規則等を取得し、記憶部40に記憶(保存)する。
【0129】
また、取得部34は、受信部32が情報提供装置100から受信したエンベディングベクトルの基底を取得し、記憶部40に記憶(保存)する。すなわち、取得部34は、新たにエンベディングベクトルの基底を取得した場合には、エンベディングベクトルの基底を更新する。例えば、既存の周期性情報を新たな周期性情報で上書きする。
【0130】
(変換部35)
変換部35は、位置情報をベクトルに変換(ベクトル化)する。例えば、変換部35は、エンベディングを行い、取得部34により取得された位置情報をベクトルに変換する。
【0131】
変換部35は、1分ごとに位置情報を取得していた場合、1分ごとの位置情報を時系列に並べて、30分間(例えば8:01~8:30)ごとに区切ったシーケンスデータを生成する。例えば、変換部35は、30分間における1分ごとの位置情報を時系列に並べたシーケンスデータを生成する。あるいは、変換部35は、30分間における最初の1分間の位置情報とその位置情報に対する1分ごとの差分を時系列に並べたシーケンスデータを生成する。そして、変換部35は、シーケンスデータに基づいて、エンベディングベクトルを生成する。
【0132】
例えば、変換部35は、シーケンスデータをデータセットとし、ニューラルネットワークによる機械学習の手法等を用いて、シーケンスデータを多次元からなる実数値ベクトルへと変換する。すなわち、変換部35は、例えばRNN(Recurrent Neural Network)やLSTM(Long short-term memory)等を用いた機械学習を経て生成されるベクトル変換モデルにシーケンスデータを入力し、出力としてエンベディングベクトルを取得する。変換部35は、情報提供装置100から、ベクトル変換モデルの提供を受けてもよい。
【0133】
なお、RNNやLSTMは、アテンション(Attention)の仕組みに基づくニューラルネットワークであってもよい。また、変換部35は、同様の自然言語処理モデルを用いてもよい。
【0134】
あるいは、変換部35は、所定の変換規則(ルール)に従って(ルールベースで)、シーケンスデータをエンベディングベクトルに変換してもよい。
【0135】
但し、シーケンスデータは一例に過ぎない。実際には、例えば位置情報の生データをそのまま時系列に沿って順番にモデルに入力してもよい。
【0136】
(照合部36)
照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とを照合する。
【0137】
例えば、エンベディングベクトルの基底には、曜日や時刻ごとの平均的なユーザUの行動を示すエンベディングベクトルが登録されている。
【0138】
このとき、照合部36は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底に該当する場合、ユーザUの行動が「普段通り」であると判定する。例えば、照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底に登録された同じ曜日・同じ時刻の平均的なエンベディングベクトルとが同じである(又は差分が閾値未満である)場合には、「普段通り」であると判定する。この場合、照合部36は、送信部31を介して情報提供装置100にエンベディングベクトルを通知する必要はないと判断する。
【0139】
また、照合部36は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底に該当しない場合、ユーザUの行動が「普段通り」ではないと判定する。例えば、照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底に登録された同じ曜日・同じ時刻の平均的なエンベディングベクトルとが異なる(又は差分が閾値以上である)場合には、「普段通り」ではないと判定する。この場合、照合部36は、送信部31を介して情報提供装置100にエンベディングベクトルを通知する必要があると判断する。
【0140】
また、照合部36は、エンベディングベクトルの基底の更新を反映する。すなわち、照合部36は、エンベディングベクトルの基底が更新された場合、次回以降、位置情報に基づくエンベディングベクトルと、その更新後のエンベディングベクトルの基底とを照合する。
【0141】
(記憶部40)
記憶部40は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。かかる記憶部40には、各種プログラムや各種データ等が記憶される。ここでは、記憶部40は、例えば入力部13を用いてユーザUにより入力された各種情報や、端末装置10に搭載又は接続された各センサ21~28によって検知された各種情報、測位部14によって測位された端末装置10の位置情報等を記憶する。また、処理部33によって処理された各種情報や、受信部32によって受信された各種情報を記憶する。また、記憶部40は、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等を記憶する。
【0142】
〔4.情報処理装置の構成例〕
次に、
図4を用いて、実施形態に係る情報提供装置100の構成について説明する。
図4は、実施形態に係る情報提供装置100の構成例を示す図である。
図4に示すように、情報提供装置100は、通信部110と、記憶部120と、制御部130とを有する。
【0143】
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(
図2参照)と有線又は無線で接続される。
【0144】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
図4に示すように、記憶部120は、変換情報データベース121と、ベクトル情報データベース122とを有する。
【0145】
(変換情報データベース121)
変換情報データベース121は、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則(ルール)等に関する各種情報を記憶する。
図5は、変換情報データベース121の一例を示す図である。
図5に示した例では、変換情報データベース121は、「変換ID」、「変換情報」、「提供先」といった項目を有する。
【0146】
「変換ID」は、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等を識別するための識別情報を示す。
【0147】
また、「変換情報」は、変換IDにより識別されるベクトル変換モデルや所定の変換規則等をデータ化したファイルを示す。なお、ベクトル変換モデルや所定の変換規則等は、例えば過去に収集された位置情報を蓄積した既存の位置履歴に基づいて生成されたものであってもよい。
【0148】
また、「提供先」は、変換IDにより識別されるベクトル変換モデルや所定の変換規則等の提供先となる端末装置10を示す。例えば、「提供先」には、端末IDが記憶されてもよい。提供先となる端末装置10は、複数であってもよい。すなわち、「提供先」には、複数の端末IDが記憶されてもよい。なお、提供先となる端末装置10を特定する必要がなければ、「提供先」の項目は無くてもよい。
【0149】
例えば、
図5に示す例において、変換ID「T1」により識別される変換情報「変換情報#1」であるベクトル変換モデルや所定の変換規則等は、提供先「提供先#1」に提供されていることを示す。
【0150】
なお、変換情報データベース121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、変換情報データベース121は、変換IDにより識別されるベクトル変換モデルや所定の変換規則等の詳細情報を記憶してもよい。
【0151】
(ベクトル情報データベース122)
ベクトル情報データベース122は、端末装置10から受信した位置情報に基づくエンベディングベクトルに関する各種情報を記憶する。
図6は、ベクトル情報データベース122の一例を示す図である。
図6に示した例では、ベクトル情報データベース122は、「端末ID」、「エンベディングベクトル」、「基底」といった項目を有する。
【0152】
「端末ID」は、位置情報に基づくエンベディングベクトルの出所となる端末装置10を識別するための識別情報を示す。「端末ID」は、サーバ側で割り当てた任意の番号であってもよいし、端末装置10の連絡先情報(電話番号、メールアドレス等)であってもよい。なお、端末装置10を識別する必要がなければ、「端末ID」の項目は無くてもよい。
【0153】
また、「エンベディングベクトル」は、端末装置10から受信した位置情報に基づくエンベディングベクトルを示す。なお、「エンベディングベクトル」は、1台の端末装置10に対して、複数存在していてもよい。例えば、端末装置10が30分ごとにエンベディングベクトルを生成している場合には、30分ごとのエンベディングベクトルが記憶される。
【0154】
また、「基底」は、エンベディングベクトルの周期性に関する基底ベクトルである。例えば、「基底」は、一週間単位での曜日や時刻ごとの平均的なユーザUの行動を示す。「基底」は、蓄積されたエンベディングベクトルから抽出されたユーザUの行動の周期性を表す情報に基づいて生成される。なお、「基底」は、「エンベディングベクトル」が基底であるか否かを示す情報であってもよい。
【0155】
例えば、
図6に示す例において、端末ID「端末#1」により識別される端末装置10から受信したエンベディングベクトル「ベクトル#11」により示されるユーザUの行動の周期性を表す情報が抽出され、基底「基底#11」が生成されたことを有していることを示す。また、端末ID「端末#1」により識別される端末装置10から受信したエンベディングベクトル「ベクトル#12」により示されるユーザUの行動の周期性を表す情報が抽出されず、まだ基底が生成されていないことを示す。
【0156】
なお、ベクトル情報データベース122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ベクトル情報データベース122は、エンベディングベクトルにより示されるユーザUの行動(所在、振る舞い、移動等)自体に関する情報を記憶してもよい。また、ベクトル情報データベース122は、ユーザUがその行動を行う曜日や時刻に関する情報を記憶してもよいし、ユーザUがその行動を行った回数に関する情報を記憶してもよい。また、ベクトル情報データベース122は、エンベディングベクトルにより示されるユーザUの行動が、周期的な行動ではない場合(1回限りの行動、不規則な行動等)には、周期的な行動ではない旨を示す情報を記憶してもよい。また、ベクトル情報データベース122は、受信データ単位で、個々のエンベディングベクトルを識別するための識別情報(ベクトルID等)を記憶してもよい。また、ベクトル情報データベース122は、個々のエンベディングベクトルを受信した日時を示す情報を記憶してもよい。また、ベクトル情報データベース122は、エンベディングベクトルを解釈するためのルールに関する情報を記憶してもよい。また、ベクトル情報データベース122は、ベクトル変換モデルや所定の変換規則等の変換情報を記憶してもよい。
【0157】
(制御部130)
図4に戻り、説明を続ける。制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報提供装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。
図4に示す例では、制御部130は、収集部131と、抽出部132と、生成部133と、提供部134とを有する。
【0158】
(収集部131)
収集部131は、個々の端末装置10から位置情報に基づくエンベディングベクトルを収集する。すなわち、収集部131は、通信部110を介して、端末装置10から位置情報に基づくエンベディングベクトルを受信する。
【0159】
また、収集部131は、位置情報に基づくエンベディングベクトルを蓄積する。すなわち、収集部131は、通信部110を介して、端末装置10から位置情報に基づくエンベディングベクトルを受信した場合には、記憶部120に記憶(保存)する。
【0160】
(抽出部132)
抽出部132は、蓄積されたエンベディングベクトルに基づいて、ユーザUの行動の周期性を表す情報を抽出する。すなわち、抽出部132は、記憶部120に記憶(保存)された位置情報に基づくエンベディングベクトルに基づいて、ユーザUの行動の周期性を表す情報を抽出する。
【0161】
例えば、抽出部132は、蓄積されたエンベディングベクトルについて、ベクトルの要素それぞれでフーリエ変換を行う。そして、得られたスペクトルにおいて、要素間で共通して絶対値の大きいところを取り出して、ユーザUの行動の周期性を表す情報と推定する。このとき、抽出部132は、日ごと・週ごとの周期性を表す情報を取り出すことができる。このようにして、抽出部132は、ユーザUの行動の周期性を表す情報を抽出する。
【0162】
また、抽出部132は、ユーザUの行動の周期性を表す情報を抽出する際に、エンベディングベクトルを特定空間に配置し、ユーザU自身の行動の類似性や変化、及び/又はユーザUと他のユーザとの行動の類似性や相違性を判定してもよい。
【0163】
(生成部133)
生成部133は、抽出されたユーザUの行動の周期性を表す情報に基づいて、エンベディングベクトルの基底を生成する。このとき、生成部133は、生成されたエンベディングベクトルの基底を、記憶部120のベクトル情報データベース122に記憶(保存)する。なお、生成部133は、上記の抽出部132を含んでいてもよい。
【0164】
また、生成部133は、過去に収集された位置情報を蓄積した既存の位置履歴(又は仮定の位置情報)に基づいて、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則(ルール)等を生成する。このとき、生成部133は、生成されたベクトル変換モデルや所定の変換規則(ルール)等を、記憶部120の変換情報データベース121に記憶(保存)する。
【0165】
例えば、生成部133は、位置情報とエンベディングベクトルとの組を正解データとしてモデルに学習させることで、位置情報を入力した時にエンベディングベクトルを出力するベクトル変換モデルを生成する。
【0166】
ここでは、生成部133は、RNN(Recurrent Neural Network)やLSTM(Long short-term memory)等を用いた機械学習により、ベクトル変換モデルを生成する。なお、モデルは、任意の種別及び任意の形式のモデルが採用可能である。例えば、生成部133は、SVM(Support Vector Machine)やDNN(Deep Neural Network)をモデルとして採用してもよい。ここで、DNNは、CNN(Convolutional Neural Network)やRNNであってもよい。また、モデルは、例えば、CNNとRNNとを組み合わせたモデル等、複数のモデルを組み合わせることで実現されるモデルであってもよい。
【0167】
なお、RNNやLSTMは、アテンション(Attention)の仕組みに基づくニューラルネットワークであってもよい。また、生成部133は、同様の自然言語処理モデルを用いてもよい。
【0168】
学習は、例えばDNNを利用したディープラーニング(深層学習)等である。また、データマイニングやその他の機械学習アルゴリズムを利用してもよい。生成部133は、上述した各種の学習手法により、モデルの学習を行う。
【0169】
(提供部134)
提供部134は、生成されたエンベディングベクトルの基底をユーザUの端末装置10に提供する。例えば、提供部134は、通信部110を介して、記憶部120のベクトル情報データベース122に記憶されたエンベディングベクトルの基底をユーザUの端末装置10に送信する。
【0170】
また、提供部134は、生成されたベクトル変換モデルや所定の変換規則等をユーザUの端末装置10に提供する。例えば、提供部134は、通信部110を介して、記憶部120の変換情報データベース121に記憶されたベクトル変換モデルや所定の変換規則等をユーザUの端末装置10に送信する。
【0171】
〔5.処理手順〕
次に、
図7を用いて実施形態に係る端末装置10及び情報提供装置100による処理手順について説明する。
図7は、実施形態に係る処理手順を示すシーケンス図である。なお、以下に示す処理手順は、端末装置10の制御部30、又は情報提供装置100の制御部130によって繰り返し実行される。
【0172】
図7に示すように、情報提供装置100の生成部133は、過去に収集された端末装置10の位置情報を蓄積した既存の位置履歴に基づいて、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等を生成する(ステップS101)。例えば、生成部133は、位置情報とエンベディングベクトルとの組を正解データとしてモデルに学習させることで、位置情報を入力した時にエンベディングベクトルを出力するベクトル変換モデルを生成する。
【0173】
そして、情報提供装置100の提供部134は、生成されたベクトル変換モデルや所定の変換規則等をユーザUの端末装置10に提供する(ステップS102)。すなわち、提供部134は、通信部110を介して、生成されたベクトル変換モデルや所定の変換規則等をユーザUの端末装置10に送信する。
【0174】
そして、端末装置10の取得部34は、情報提供装置100から提供されたベクトル変換モデルや所定の変換規則等を取得する(ステップS103)。
【0175】
そして、端末装置10の取得部34は、常時/周期的に/所定のタイミングで、端末装置10の位置情報を取得する(ステップS104)。
【0176】
例えば、取得部34は、測位部14により測位された端末装置10の位置情報を取得する。また、取得部34は、各センサ21~28によって検知された各種情報に基づいて端末装置10の屋内位置情報を推定して取得する。このとき、取得部34は、取得した位置情報を位置履歴(例えば、ロケーション履歴、行動履歴等)として蓄積する。例えば、取得部34は、取得した位置情報を記憶部40に記憶(保存)する。
【0177】
そして、変換部35は、位置情報に対してエンベディングを行い、複数の位置情報を1つのベクトルに変換(ベクトル化)し、位置情報に基づくエンベディングベクトルを生成する(ステップS105)。
【0178】
例えば、変換部35は、位置情報を時系列に並べたシーケンスデータを生成する。そして、変換部35は、例えばRNN(Recurrent Neural Network)やLSTM(Long short-term memory)等を用いた機械学習を経て生成されるベクトル変換モデルにシーケンスデータを入力し、出力としてエンベディングベクトルを取得する。なお、RNNやLSTMは、アテンション(Attention)の仕組みに基づくニューラルネットワークであってもよい。また、変換部35は、同様の自然言語処理モデルを用いてもよい。
【0179】
あるいは、変換部35は、所定の変換規則に従って(ルールベースで)、シーケンスデータをエンベディングベクトルに変換してもよい。
【0180】
但し、シーケンスデータは一例に過ぎない。実際には、例えば位置情報の生データをそのまま時系列に沿って順番にモデルに入力してもよい。
【0181】
そして、端末装置10の照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とを照合する(ステップS106)。
【0182】
このとき、照合部36は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と同じ(同一又は類似)である場合、ユーザUの行動が「普段通り」であると判定する。例えば、照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とが同一又は類似(差分が無視できるほど微小)である場合には、情報提供装置100にエンベディングベクトルを通知する必要はないと判断する。
【0183】
また、照合部36は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と小さく異なる場合、情報提供装置100に差分を通知する必要があると判定する。例えば、照合部36は、位置情報に基づくエンベディングベクトルと、エンベディングベクトルの基底とが小さく異なる場合には、主成分分析(PCA:Principal Component Analysis)等により、変動した次元(要素)を特定し、変動した次元の値を通知すれば十分であると判断する。例えば、多次元のベクトルのうち3次元のベクトルが変動している場合には、上位3つの要素のベクトル値を通知すれば十分である。
【0184】
また、照合部36は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と大きく異なる場合、情報提供装置100にエンベディングベクトル自体を通知する必要があると判定する。例えば、照合部36は、位置情報に基づくエンベディングベクトルが、エンベディングベクトルの基底から大きくずれている(乖離している)場合には、情報提供装置100に位置情報に基づくエンベディングベクトルの全体(全要素のベクトル値)を通知する必要があると判断する。
【0185】
そして、端末装置10の送信部31は、通信部11を介して、エンベディングベクトルに関連する情報を情報提供装置100に送信する(ステップS107)。
【0186】
例えば、送信部31は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と小さく異なる場合には、位置情報に基づくエンベディングベクトルとエンベディングベクトルの基底との差分(変動した次元の値)を情報提供装置100に送信する。
【0187】
また、送信部31は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と大きく異なる場合には、位置情報に基づくエンベディングベクトルの全体を情報提供装置100に送信する。
【0188】
なお、実際には、送信部31は、位置情報に基づくエンベディングベクトルがエンベディングベクトルの基底と同じ(同一又は類似)である場合には、情報提供装置100に「普段通り」である旨を通知するようにしてもよい。
【0189】
そして、情報提供装置100の収集部131は、各地域に所在する複数のユーザUの各々が所持する端末装置10から、通信部110を介して、エンベディングベクトルに関連する情報を受信する(ステップS108)。
【0190】
このとき、収集部131は、端末装置10から、エンベディングベクトルに関連する情報を受信しなかった場合には、ユーザUの行動が「普段通り」であったと判断する。例えば、収集部131は、端末装置10のトラブルや通信障害、又は端末装置10が電波の届かない位置にあり通信が途絶えたため、既定のタイミングで端末装置10からエンベディングベクトルに関連する情報を受信できなかった場合などであっても、ユーザUの行動が「普段通り」であったと判断する。
【0191】
なお、収集部131は、端末装置10から、エンベディングベクトルに関連する情報を受信しなかった場合であっても、端末装置10のトラブルや通信障害等を認識できる場合には、認識した通りに判断してもよい。
【0192】
また、収集部131は、端末装置10から、エンベディングベクトルに関連する情報として「普段通り」である旨を示す情報を受信した場合には、ユーザUの行動が「普段通り」であったと判断する。この場合、収集部131は、位置情報に基づくエンベディングベクトルを蓄積しない。
【0193】
また、収集部131は、端末装置10から、エンベディングベクトルに関連する情報を受信した場合には、位置情報に基づくエンベディングベクトルの形式で蓄積する。
【0194】
例えば、収集部131は、端末装置10から、エンベディングベクトルに関連する情報として、位置情報に基づくエンベディングベクトルとエンベディングベクトルの基底との差分(変動した次元の値)を受信した場合、エンベディングベクトルの基底に差分を反映したエンベディングベクトルを求め、求めたエンベディングベクトルを蓄積する。
【0195】
また、収集部131は、端末装置10から、エンベディングベクトルに関連する情報として、位置情報に基づくエンベディングベクトルの全体を受信した場合、位置情報に基づくエンベディングベクトルをそのまま蓄積する。
【0196】
そして、情報提供装置100の抽出部132及び生成部133は、一定期間ごとに、蓄積されたエンベディングベクトルに基づいて、ユーザUの行動の周期性を表す情報を抽出し、エンベディングベクトルの周期性に基づいて、エンベディングベクトルの基底を生成する(ステップS109)。
【0197】
例えば、抽出部132は、蓄積されたエンベディングベクトルについて、ベクトルの要素それぞれでフーリエ変換を行う。そして、得られたスペクトルにおいて、要素間で共通して絶対値の大きいところを取り出して、ユーザUの行動の周期性を表す情報と推定する。このとき、抽出部132は、日ごと・週ごとの周期性を表す情報を取り出すことができる。生成部133は、これらの情報に基づいて、エンベディングベクトルの基底を生成する。
【0198】
なお、抽出部132は、エンベディングベクトルを特定空間に配置し、ユーザU自身の行動の類似性や変化、及び/又はユーザUと他のユーザとの行動の類似性や相違性を判定してもよい。
【0199】
そして、情報提供装置100の提供部134は、生成されたエンベディングベクトルの基底をユーザUの端末装置10に提供する(ステップS110)。すなわち、提供部134は、通信部110を介して、生成されたエンベディングベクトルの基底をユーザUの端末装置10に送信する。
【0200】
そして、端末装置10の取得部34は、通信部11を介して、情報提供装置100から、エンベディングベクトルの基底を取得する(ステップS108)。
【0201】
ここでは、端末装置10の受信部32は、通信部11を介して情報提供装置100からエンベディングベクトルの基底を受信する。端末装置10の取得部34は、受信部32からエンベディングベクトルの基底を取得する(ステップS111)。
【0202】
そして、端末装置10の取得部34は、既存のエンベディングベクトルの基底に、最新のエンベディングベクトルの基底を反映する(ステップS112)。
【0203】
ここでは、取得部34は、取得したエンベディングベクトルの基底を記憶部40に記憶(保存)する。すなわち、取得部34は、新たにエンベディングベクトルの基底を取得した場合には、エンベディングベクトルの基底を更新する。例えば、既存のエンベディングベクトルの基底を新たなエンベディングベクトルの基底で上書きする。
【0204】
この場合、端末装置10の照合部36は、次回以降、位置情報に基づくエンベディングベクトルを、更新された最新のエンベディングベクトルの基底と照合する。
【0205】
〔6.変形例〕
上述した端末装置10及び情報提供装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
【0206】
上記実施形態において、エンベディングベクトルの基底は、初期状態では未登録(空)でもよいし、存在しなくてもよい。この場合、位置情報に基づくエンベディングベクトルは全て「普段通り」ではないと判定される。そのため、初期状態では、端末装置10は、位置情報に基づくエンベディングベクトルを全て情報提供装置100に送信する。情報提供装置100は、一定期間ごとに、蓄積されたエンベディングベクトルの周期性に基づいてエンベディングベクトルの基底を生成し、生成されたエンベディングベクトルの基底を端末装置10に送信する。そして、端末装置10は、情報提供装置100からエンベディングベクトルの基底を受信し、エンベディングベクトルの基底を新規登録/更新する。
【0207】
また、上記実施形態において、端末装置10は、位置情報に変化がなく、「普段通り」の行動が行われなかった場合に、位置情報に変化がない旨を情報提供装置100に通知してもよい。このとき、端末装置10は、位置情報に変化がない旨を示すエンベディングベクトルと、「普段通り」ではない旨を示す情報とを情報提供装置100に送信してもよい。あるいは、位置情報に変化がない旨と、「普段通り」ではない旨との両方を示すエンベディングベクトルを情報提供装置100に送信してもよい。例えば、位置情報が丸一日近く全く変化しなかった場合には、ユーザUが端末装置10を忘れていった(又は放置している)と推測することができる。また、位置情報が数日間全く変化しなかった場合には、ユーザUの身に何かあったと推測することもできる。
【0208】
また、上記実施形態において、端末装置10は、位置情報に基づくエンベディングベクトルに加えて(又は代えて)、自身に搭載又は接続されたセンサ類を用いて取得した環境音、加速度、気圧等のセンサデータに基づくエンベディングベクトルを生成してもよい。例えば、端末装置10は、20次元以上の多次元のエンベディングベクトルのうち、1次元目~10次元目には位置情報に基づくエンベディングベクトルを配置し、11次元目~20次元目にはセンサデータに基づくエンベディングベクトルを配置してもよい。
【0209】
このとき、ベクトル変換モデルとして、位置情報をベクトルに変換するモデルと、センサデータをベクトルに変換するモデルとの2種類のモデルを構築してもよい。あるいは、1つのベクトル変換モデルが、入力された位置情報とセンサデータとをそれぞれ個別にベクトルに変換した上でこれら2種類のベクトルを結合してもよいし、入力された位置情報とセンサデータとを1つのベクトルに変換してもよい。
【0210】
この場合、位置情報に基づくエンベディングベクトルが「ユーザの行動や所在」等を示し、センサデータに基づくエンベディングベクトルが「ユーザのおかれた環境や状況」等を示す。例えば、端末装置10は、位置情報に基づくエンベディングベクトルに加えて、センサデータに基づくエンベディングベクトルと、エンベディングベクトルの基底とを照合することで、より厳密に、ユーザUの行動が「普段通り」であるか否かを判定することができる。すなわち、ユーザUの行動が「普段通り」であるか否かの判定の精度を向上させることができる。
【0211】
また、上記実施形態において、情報提供装置100は、位置情報に基づくエンベディングベクトルのベクトル値により、ユーザUが「山に行った」、「海に行った」、「地方に行った」、「外国に行った」等の行動を判定してもよい。また、ユーザUが「旅行に行った」、「出張した」等の行動を判定してもよい。また、ユーザUが「日帰りした」、「宿泊した」等の行動を判定してもよい。
【0212】
また、上記実施形態において、端末装置10は、情報提供装置100(サーバ側)に、ユーザUの行動に関する詳細な情報を知らせたくない場合、位置情報を蓄積する際、又はエンベディングに先立って、位置情報の端数処理(丸め処理)を行い、位置情報を丸めて精度の粗い位置情報に変換してもよい。例えば、端末装置10は、位置情報がGPS(Global Positioning System)座標の緯度経度情報である場合、緯度と経度の10進角度での小数点以下(度分秒法での分以下)の値の切り上げ又は切り捨て(四捨五入でも可)を行い、大まかな値の位置情報に変換する。これにより、ユーザUの行動に関する情報について、端末装置10から情報提供装置100(サーバ側)に伝える情報の内容を制限することができる。また、機械学習の学習データとしての位置情報の情報量を削減し、処理の負荷を軽減することができる。
【0213】
また、上記実施形態において、エンベディングベクトルの各要素の値は、便宜上、「0」と「1」とで表現しているが、実際には、「2」以上の数値や、複数桁の数値や、整数部分と小数部分とを有する数値であってもよい。すなわち、実数であればよい。これにより、多次元のエンベディングベクトルの各要素において複数の情報や詳細な情報を表現することができる。
【0214】
また、上記実施形態において、端末装置10は、取得した位置情報を位置履歴(例えば、ロケーション履歴、行動履歴等)として蓄積しているが、位置履歴の蓄積が制限又は禁止されている場合には、ベクトル化した状態で蓄積してもよい。例えば、端末装置10は、個々の位置情報が示す場所に基づいて、位置情報を、「自宅にいる」、「職場にいる」、「店舗にいる」、「屋外にいる」等を示すベクトル値に変換して蓄積してもよい。そして、時系列に沿って同じベクトル値が連続している場合、それらを一括してエンベディングベクトルとしてもよい。
【0215】
また、上記実施形態において、端末装置10又は情報提供装置100は、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルや所定の変換規則等を、個々のユーザUの性質や状況に応じて個別に調整してもよい。例えば、ベクトル変換モデルや所定の変換規則等をカスタマイズしてもよい。
【0216】
また、上記実施形態において、フェデレーテッドラーニング(Federated Learning)等を用いて、位置情報をエンベディングベクトルに変換するためのベクトル変換モデルを生成してもよい。例えば、フェデレーテッドラーニングでは、個々の端末装置10は、ベクトル変換モデルに対し、それぞれ位置情報を学習データとして機械学習を行い、元のモデルと学習後のモデルとの差分データを情報提供装置100に送信する。情報提供装置100は、差分データを各端末装置10から受信し、これらを統合して学習し、共通モデルを生成する。そして、情報提供装置100は、生成された共通モデルのパラメータ等を各端末装置10に提供する。このように、フェデレーテッドラーニングを用いることで、学習データである端末の位置情報をサーバ側に提供することなく学習を行うことが可能であるため、ユーザの個人情報やプライバシーに配慮することができる。
【0217】
〔7.効果〕
上述してきたように、本願に係る情報処理装置(端末装置10)は、自身の位置情報を取得する取得部34と、位置情報をベクトルに変換する変換部35と、ベクトルとユーザの周期的な行動を示す基底ベクトルとを照合する照合部36と、ベクトルが基底ベクトルに該当しない場合、ベクトルに関連する情報を送信する送信部31と、を備える。また、送信部31は、ベクトルが基底ベクトルに該当する場合、普段通りである旨を示す情報を送信する。また、情報処理装置は、ベクトルを受信したサーバ側から提供される基底ベクトルを受信する受信部32をさらに備える。
【0218】
これにより、情報処理装置は、人の行動の周期性を考慮してエンベディング情報を選別することができる。
【0219】
〔8.ハードウェア構成〕
また、上述した実施形態に係る端末装置10や情報提供装置100は、例えば
図8に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置100を例に挙げて説明する。
図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
【0220】
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。
【0221】
一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USBメモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。
【0222】
出力I/F1060は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。
【0223】
また、出力I/F1060及び入力I/F1070はそれぞれ出力装置1010及び入力装置1020と無線で接続してもよい。すなわち、出力装置1010及び入力装置1020は、ワイヤレス機器であってもよい。
【0224】
また、出力装置1010及び入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060及び入力I/F1070も、入出力I/Fとして一体化していてもよい。
【0225】
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
【0226】
ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
【0227】
演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
【0228】
例えば、コンピュータ1000が情報提供装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
【0229】
〔9.その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【0230】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0231】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0232】
例えば、上述した情報提供装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
【0233】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0234】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0235】
1 情報処理システム
10 端末装置
14 測位部
30 制御部
31 送信部
32 受信部
33 処理部
34 取得部
35 変換部
36 照合部
100 情報提供装置
110 通信部
120 記憶部
121 変換情報データベース
122 ベクトル情報データベース
130 制御部
131 収集部
132 抽出部
133 生成部
134 提供部