特許 7160873 情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06N 3/04 20060101AFI20221018BHJP

   G06Q 50/00 20120101ALI20221018BHJP

【ＦＩ】

G06N3/04 154

G06Q50/00 300

【請求項の数】 9

(21)【出願番号】P 2020157805

(22)【出願日】2020-09-18

(65)【公開番号】P2022051367

(43)【公開日】2022-03-31

【審査請求日】2021-03-17

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】坪内 孝太

(72)【発明者】

【氏名】清水 徹

【審査官】中村 信也

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１９７３９６（ＵＳ，Ａ１）

【文献】特開２０２０－０７１５５２（ＪＰ，Ａ）

【文献】特開２００８－２６９２１５（ＪＰ，Ａ）

【文献】YANG kai，Federated Learning via Over-the-Air Computation，arXive:1812.11750v3，Cornell University，2019年02月17日，[検索日:2022.04.26],インターネット<URL:https://arxiv.org/pdf/1812.11750.pdf>

【文献】松木 萌，センサを用いた人間行動認識におけるZero-shot学習法の検討，情報処理学会第８１回（２０１９年）全国大会，2019年02月28日，P.3-225～3-226

【文献】TATSUAKI Kobayashi，機械学習における欠測の取扱い，Qiita，2019年10月15日，[検索日:2022.4.26],インターネット<URL:https://qiita.com/tatsunidas/items/fe768ec934c0d17a657a>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

端末装置が取得した位置情報を含むデータからユーザのコンテキストを示すベクトルを生成する共通モデルを提供するサーバと、
各々保有する位置情報を含むデータを用いて、前記サーバから受信した前記共通モデルのパラメータを更新した局所モデルを生成し、前記局所モデルに関する情報である更新用情報を前記サーバへ送信する複数の端末装置と、
を有し、
前記サーバは、
前記複数の端末装置から受信した前記更新用情報を用いて、前記共通モデルのパラメータを更新し、更新後の前記共通モデルを前記複数の端末装置に提供し、
前記複数の端末装置のうち少なくとも一の端末装置は、位置情報を含むデータを自装置が有する一の局所モデルに入力し、当該一の局所モデルが出力したベクトルを前記サーバへ送信する
ことを特徴とする情報処理システム。

【請求項2】

前記複数の端末装置は、
前記共通モデルと前記局所モデルとの差分を前記更新用情報として前記サーバへ送信する
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記複数の端末装置は、
保有する前記データに欠損がある場合、欠損した欠損データに対する所定の処理を行い、前記局所モデルを生成する
ことを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記複数の端末装置は、
前記欠損データを推定し、推定した推定データを用いて、前記局所モデルを生成する
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記共通モデルは、
センサにより検知されたセンサ情報を含む前記データを用いて前記局所モデルを生成する
ことを特徴とする請求項１～４のうちいずれか１つに記載の情報処理システム。

【請求項6】

前記共通モデルは、
前記データを入力として前記ベクトルを出力する、
ことを特徴とする請求項１～５のうちいずれか１つに記載の情報処理システム。

【請求項7】

前記サーバは、
各々が端末装置を含む複数の第１グループごとに異なる前記共通モデルを第１階層共通モデルとして提供し、前記複数の第１グループの端末装置から受信した前記更新用情報を用いて、複数の第１階層共通モデルの各々のパラメータを更新し、更新後の前記複数の第１階層共通モデルを用いて、前記複数の第１階層共通モデルの上位階層のモデルである第２階層共通モデルのパラメータを更新する
ことを特徴とする請求項１～６のうちいずれか１つに記載の情報処理システム。

【請求項8】

前記サーバは、
各々が第１グループを含む複数の第２グループの各々に対応する複数の第２階層共通モデルのパラメータを更新し、更新後の前記複数の第２階層共通モデルを用いて、前記複数の第２階層共通モデルの上位階層のモデルである第３階層共通モデルのパラメータを更新する
ことを特徴とする請求項７に記載の情報処理システム。

【請求項9】

サーバが、端末装置が取得した位置情報を含むデータからユーザのコンテキストを示すベクトルを生成する共通モデルを提供し、
複数の端末装置が、各々保有する位置情報を含むデータを用いて、前記サーバから受信した前記共通モデルのパラメータを更新した局所モデルを生成し、前記局所モデルに関する情報である更新用情報を前記サーバへ送信し、
前記サーバが、前記複数の端末装置から受信した前記更新用情報を用いて、前記共通モデルのパラメータを更新し、更新後の前記共通モデルを前記複数の端末装置に提供し、
前記複数の端末装置のうち少なくとも一の端末装置が、位置情報を含むデータを自装置が有する一の局所モデルに入力し、当該一の局所モデルが出力したベクトルを前記サーバへ送信する
ことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

ユーザ等のコンテキストを示す情報を生成する技術が開示されている。例えば、コンテキストの一例として、機械学習モデル（単に「モデル」ともいう）により、ユーザのおかれた状況を表わした情報を自動的に生成する技術が提供されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２２０１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、コンテキストを示す情報を生成するモデルを効率的に学習できるとは言い難い。例えば、上記の従来技術では、複数のユーザを対象とする場合については考慮されていない。そのため、複数のユーザの各々が利用する複数の端末装置が保有するデータを用いてモデルを学習する場合については、モデルを効率的に学習できるとは限らない。

【0005】

本願は、上記に鑑みてなされたものであって、ベクトルを生成するモデルを、複数の端末装置が保有するデータを用いて効率的に学習することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理システムは、端末装置が取得したデータからユーザのコンテキストを示すベクトルを生成する共通モデルを提供するサーバと、各々保有するデータを用いて、前記サーバから受信した前記共通モデルのパラメータを更新した局所モデルを生成し、前記局所モデルに関する情報である更新用情報を前記サーバへ送信する複数の端末装置と、を有し、前記サーバは、前記複数の端末装置から受信した前記更新用情報を用いて、前記共通モデルのパラメータを更新し、更新後の前記共通モデルを前記複数の端末装置に提供することを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、ベクトルを生成するモデルを、複数の端末装置が保有するデータを用いて効率的に学習することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の概要を示す説明図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る端末装置の構成例を示す図である。

【図4】図４は、モデル情報記憶部の一例を示す図である。

【図5】図５は、実施形態に係るサーバ装置の構成例を示す図である。

【図6】図６は、モデル情報記憶部の一例を示す図である。

【図7】図７は、コミュニティ情報記憶部の一例を示す図である。

【図8】図８は、モデルの一例を示す図である。

【図9】図９は、データの一部が欠損した場合の一例を示す図である。

【図10】図１０は、複数階層のコミュニティの一例を示す図である。

【図11】図１１は、実施形態に係る処理手順を示すフローチャートである。

【図12】図１２は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理システム及び情報処理方法を実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理システム及び情報処理方法が限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理の概要〕
まず、図１を参照し、実施形態に係る情報処理システム１が行う情報処理の概要について説明する。図１は、実施形態に係る情報処理の概要を示す説明図である。図１では、サーバ装置１００と複数の端末装置１０とによりモデルを学習する場合の一例を示す。以下では、サーバ装置１００が端末装置１０に提供するモデルを共通モデルまたはグローバルモデルと記載し、各端末装置１０がグローバルモデルのパラメータを更新したモデルを局所モデルまたはローカルモデルを記載する場合がある。

【0011】

なお、情報処理システム１により生成されるモデルの構成は、後述する学習処理が適用可能であれば、どのような構成であってもよい。すなわち、モデルのネットワーク構成は、ＳＶＭ（Support Vector Machine）やＤＮＮ（Deep Neural Network）等の任意のネットワーク構成が採用可能である。例えば、グローバルモデルのネットワーク構成は、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）等であってもよい。また、グローバルモデルのネットワーク構成は、ＣＮＮとＲＮＮとの組み合わせのように、複数のネットワークを組合せた構成であってもよい。なお、ＲＮＮやＬＳＴＭは、アテンション（Attention）の仕組みに基づくニューラルネットワークであってもよい。なお、具体的にネットワーク構成例については後述する。

【0012】

図１では、説明を簡単にするために、ユーザの位置を示すデータとしてユーザの位置情報を入力をとし、そのユーザのコンテキストを示すエンベディングベクトル（埋め込みベクトル）を出力（生成）するモデルＭ１を学習する場合を示す。以下では、エンベディングベクトルを単にベクトルと記載する場合がある。すなわち、モデルＭ１は、ユーザの位置情報を、ユーザのコンテキストを示すベクトルに変換（ベクトル化）する。なお、コンテキストについての詳細は後述するが、コンテキストとは、ベクトルの生成対象となる主体の状況を意味する。例えば、モデルＭ１の場合、端末装置１０を利用するユーザの状況を意味する。

【0013】

以下では、ユーザＩＤ「Ｕ１」により識別されるユーザを「ユーザＵ１」とする場合がある。このように、以下では、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ２」と記載した場合、そのユーザはユーザＩＤ「Ｕ２」により識別されるユーザである。また、図１に示す例においては、端末装置１０を利用するユーザに応じて、端末装置１０を端末装置１０－１～１０－３として説明する。例えば、端末装置１０－１は、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）により使用される端末装置１０である。また、例えば、端末装置１０－２は、ユーザＩＤ「Ｕ２」により識別される（ユーザＵ２）により使用される端末装置１０である。また、以下では、端末装置１０－１～１０－３について、特に区別なく説明する場合には、端末装置１０と記載する。また、ユーザＵ１～Ｕ３等のユーザについて、特に区別なく説明する場合には、ユーザＵと記載する場合がある。

【0014】

まず、サーバ装置１００は、ユーザＵ１が利用する端末装置１０－１にグローバルモデルであるモデルＭ１を提供する（ステップＳ１１－１）。また、サーバ装置１００は、ユーザＵ２が利用する端末装置１０－２にモデルＭ１を提供する（ステップＳ１１－２）。また、サーバ装置１００は、ユーザＵ３が利用する端末装置１０－３にモデルＭ１を提供する（ステップＳ１１－３）。なお、ステップＳ１１－１～Ｓ１１－３の順序は任意の順序であってよく、ステップＳ１１－３がＳ１１－１よりも先に行われてもよい。以下、ステップＳ１１－１～Ｓ１１－３を区別せずに説明する場合、ステップＳ１１と総称する。なお、図１では、３人のユーザＵ１～Ｕ３を図示するが、サーバ装置１００は、ユーザＵ１～Ｕ３に限らず、例えばユーザＵ４、ユーザＵ５等の多数のユーザ（例えば、１００万ユーザや１０００万ユーザ等）の端末装置１０にモデルＭ１を提供してもよい。例えば、モデルＭ１の適用対象となる全ユーザの端末装置１０にモデルＭ１を提供してもよい。

【0015】

ステップＳ１１では、サーバ装置１００は、端末装置１０にグローバルモデルであるモデルＭ１を未提供である場合、モデルＭ１のネットワーク構成と、モデルＭ１の重みやバイアス等のモデルパラメータ（単に「パラメータ」ともいう）とを端末装置１０に送信する。また、ステップＳ１１では、サーバ装置１００は、端末装置１０にモデルＭ１を提供済みである場合、モデルＭ１の重みやバイアス等のパラメータを端末装置１０に送信する。これにより、情報処理システム１は、サーバ装置１００が端末装置１０へ送信するデータ量の増大を抑制し、通信量の増大を抑制することができる。

【0016】

サーバ装置１００からモデルＭ１を受信した端末装置１０－１は、モデルＭ１のパラメータを更新し、モデルＭ１のパラメータが更新されたローカルモデルであるモデルＭ１ａを生成する（ステップＳ１２－１）。サーバ装置１００からモデルＭ１を受信した端末装置１０－２は、モデルＭ１のパラメータを更新し、モデルＭ１のパラメータが更新されたローカルモデルであるモデルＭ１ｂを生成する（ステップＳ１２－２）。サーバ装置１００からモデルＭ１を受信した端末装置１０－３は、モデルＭ１のパラメータを更新し、端末装置１０－３は、モデルＭ１のパラメータが更新されたローカルモデルであるモデルＭ１ｃを生成する（ステップＳ１２－３）。なお、ステップＳ１２－１～Ｓ１２－３の順序は任意の順序であってよく、ステップＳ１２－３がＳ１２－１よりも先に行われてもよい。以下、ステップＳ１２－１～Ｓ１２－３を区別せずに説明する場合、ステップＳ１２と総称する。

【0017】

ここで、モデルＭ１ａ、Ｍ１ｂ、Ｍ１ｃは、モデルＭ１とネットワーク構成は共通であるが、重み等のパラメータのみが更新されたモデルである。このように、ステップＳ１２では、端末装置１０は、自身が保有するデータ（位置情報）を用いた学習処理により、グローバルモデルであるモデルＭ１のパラメータを更新することにより、ローカルモデルを生成する。例えば、端末装置１０は、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）や屋内測位技術等の位置測位技術を用いて、位置情報を取得し、取得した位置情報を記憶部４０等に格納し保有する。

【0018】

端末装置１０は、取得した位置情報を用いて学習処理を行い、ローカルモデルを生成する。例えば、端末装置１０－１は、ユーザＵ１の位置情報やユーザＵ１のコンテキストを基に生成したベクトルを用いて、モデルＭ１のパラメータを更新し、モデルＭ１ａを生成する。これにより、端末装置１０－１は、ユーザＵ１の情報を反映したパラメータに更新されたモデルＭ１ａを生成することができる。同様の処理により、端末装置１０－２、１０－３は、ユーザＵ２、Ｕ３の情報を反映したパラメータに更新されたモデルＭ１ｂ、Ｍ１ｃを生成することができる。

【0019】

そして、端末装置１０－１は、生成したモデルＭ１ａとモデルＭ１との差分を示す情報をサーバ装置１００へ送信する（ステップＳ１３－１）。端末装置１０－２は、生成したモデルＭ１ｂとモデルＭ１との差分を示す情報をサーバ装置１００へ送信する（ステップＳ１３－２）。端末装置１０－３は、生成したモデルＭ１ｃとモデルＭ１との差分を示す情報をサーバ装置１００へ送信する（ステップＳ１３－３）。なお、ステップＳ１３－１～Ｓ１３－３の順序は任意の順序であってよく、ステップＳ１３－３がＳ１３－１よりも先に行われてもよい。以下、ステップＳ１３－１～Ｓ１３－３を区別せずに説明する場合、ステップＳ１３と総称する。

【0020】

このように、ステップＳ１３では、各端末装置１０は、自身が更新したローカルモデルとグローバルモデルとの差分の情報のみをサーバ装置１００へ送信する。各端末装置１０は、自身が更新したパラメータを差分としてサーバ装置１００へ送信する。これにより、情報処理システム１は、端末装置１０が保有するユーザのデータをサーバ装置１００に送信する必要が無いため、ユーザのプライバシや個人情報を保護することができる。また、情報処理システム１は、端末装置１０がサーバ装置１００へ送信するデータ量の増大を抑制し、通信量の増大を抑制することができる。なお、各端末装置１０は、自身が更新したローカルモデルのパラメータと、グローバルモデルのパラメータとの差分をサーバ装置１００へ送信してもよい。

【0021】

そして、サーバ装置１００は、各端末装置１０から受信した差分の情報を用いて、グローバルモデルであるモデルＭ１を更新する（ステップＳ１４）。サーバ装置１００は、各端末装置１０から受信したパラメータを基に、グローバルモデルであるモデルＭ１のパラメータを更新する。これにより、サーバ装置１００は、各端末装置１０での学習の結果を反映し、グローバルモデルを更新することができる。以下では、説明のために、パラメータ更新後のモデルＭ１を、ダッシュを付した「モデルＭ１’」と記載する場合がある。なお、差分の情報を用いてグローバルモデルを更新する処理は、フェデレーテッド ラーニング（Federated Learning）におけるグローバルモデルを更新する処理と同様であるため詳細な説明は省略する。

【0022】

そして、サーバ装置１００は、端末装置１０－１に更新後のグローバルモデルであるモデルＭ１’を提供する（ステップＳ１５－１）。また、サーバ装置１００は、端末装置１０－２に更新後のグローバルモデルであるモデルＭ１’を提供する（ステップＳ１５－２）。また、サーバ装置１００は、端末装置１０－３に更新後のグローバルモデルであるモデルＭ１’を提供する（ステップＳ１５－３）。なお、ステップＳ１５－１～Ｓ１５－３の順序は任意の順序であってよく、ステップＳ１５－３がＳ１５－１よりも先に行われてもよい。以下、ステップＳ１５－１～Ｓ１５－３を区別せずに説明する場合、ステップＳ１５と総称する。

【0023】

その後、情報処理システム１は、ステップＳ１２～Ｓ１５を繰り返すことにより、モデルＭ１を更新することができる。これにより、情報処理システム１は、ベクトルを生成するモデルを、複数の端末装置が保有するデータを用いて効率的に学習することができる。また、

【0024】

〔１－１．モデルの利用時（推論時）について〕
上述した処理ではモデルの学習時について説明したが、モデルの利用時（推論時）について説明する。図１では、端末装置１０は、学習処理後においては、受信したモデルＭ１’（更新後のモデルＭ１）を用いて、推論処理を行う。例えば、推論時においては、端末装置１０は、自身が保有するデータ（位置情報）をローカルモデルに入力し、ローカルモデルが出力したベクトルをサーバ装置１００へ送信する。そして、サーバ装置１００は、端末装置１０から受信したベクトルを解析して、端末装置１０を利用するユーザのコンテキストを判定する。

【0025】

例えば、サーバ装置１００は、ベクトルを特定空間に配置する。サーバ装置１００は、ベクトルを特定空間に配置することで、ユーザ自身の行動の類似性や変化、及び／又はユーザと他のユーザとの行動の類似性や相違性を明確に把握することができる。

【0026】

まず、位置情報をベクトルに変換する利点について説明する。従来、端末装置１０は、サーバ装置１００に対して位置情報を送信していたが、このとき、端末装置１０は、ユーザのプライバシへの配慮やデータ通信量の削減のため、位置情報の端数処理（丸め処理）を行い、位置情報を丸めて精度の粗い位置情報に変換してから送信していた。例えば、位置情報がＧＰＳ（Global Positioning System）座標の緯度経度情報である場合、緯度と経度の１０進角度での小数点第２位以下の値の切り上げ又は切り捨て（四捨五入でも可）を行い、大まかな値の位置情報に変換していた。

【0027】

この場合、サーバ装置１００は、位置情報に基づいてユーザの行動を推定しようとしたとき、丸めた位置情報は大まかな値であるため、地域や大規模施設等のエリア単位の広い場所は特定できても、隣接する小規模な建物や部屋等の狭い場所（及び／又は屋内外の違い）を特定できないことがあった。そのため、ユーザの大まかな行動については推定可能であるが、ユーザの詳細な行動については推定できないこともあった。例えば、ユーザの丸めた位置情報が示す場所の範囲内に小規模な建物Ａと建物Ｂ（例えばコンビニエンスストアとファストフード店等）が隣接して建っている場合、ユーザが建物Ａと建物Ｂのどちらにいるのか、あるいは建物（又は敷地）の内側と外側のどちらにいるのかを、位置情報から特定できないこともあった。サーバ装置１００（サーバ側）が本当に知りたいのは、ユーザの位置情報それ自体ではなく、位置情報が示すユーザのコンテキストである。

【0028】

今回、端末装置１０は、自身の位置情報をベクトルに変換（ベクトル化）するに際して、端数処理（丸め処理）を行う前の位置情報の生データをベクトルに変換する。したがって、端末装置１０は、隣接する小規模な建物や部屋等の狭い場所（及び／又は屋内外の違い）を特定した上で、ベクトルを生成することができる。そのため、サーバ装置１００は、ベクトルに基づいて、ユーザの詳細なコンテキストを知ることができる。すなわち、サーバ装置１００は、端末装置１０から、従来の丸めた位置情報を受信するよりも、ユーザの行動に関する具体的かつ詳細な情報を取得することができる。また、ベクトルのベクトル値及びそれが意味する内容を定義するのはサーバ装置１００（サーバ側）であるため、第三者がベクトルのベクトル値だけを見ても、そのベクトル値が何を意味しているのか理解できないので、安全である。

【0029】

〔１－２．コンテキスト〕
上述したように、コンテキストは、ベクトルの生成対象となる主体の状況を意味し、モデルＭ１の場合、端末装置１０を利用するユーザの状況を意味する。ベクトルの生成対象がユーザである場合のコンテキスト（「ユーザコンテキスト」ともいう）は、ユーザに提供されるコンテンツの内容、ユーザが反応したコンテンツの内容、ユーザの属性、ユーザの現在位置、現在時刻、ユーザが置かれた物理環境、ユーザが置かれた社会環境、ユーザの運動状態、および、推定されるユーザの感情、心理状態等の様々なユーザの状況を示す情報であってもよい。

【0030】

また、ユーザコンテキストは、ユーザの周期的な行動を示す周期性情報であってもよい。ユーザの周期的な行動とは、日課（ルーティン：routine）等の曜日や時刻ごとに毎回決まって行う行動、職場や行きつけの店舗等の特定の場所に向かう行動、習慣化した特定の行動等を指す。例えば、コンテキストは、一週間単位での曜日や時刻ごとの平均的なユーザの行動を示す周期性情報であってもよい。

【0031】

また、コンテキストは、ベクトルの生成対象が複数のユーザを要素とするグループ（以下コミュニティともいう）や、複数のコミュニティを要素とするコミュニティであるである場合、そのコミュニティの状況を意味する。

【0032】

ベクトルの生成対象がコミュニティである場合のコンテキスト（「コミュニティコンテキスト」ともいう）は、コミュニティ属するユーザ群の統計的情報であってもよい。コミュニティコンテキストは、コミュニティ属するユーザ群に提供されるコンテンツの内容、コミュニティ属するユーザ群が反応したコンテンツの内容、コミュニティ属するユーザ群の属性、コミュニティ属するユーザ群の現在位置、現在時刻、コミュニティ属するユーザ群が置かれた物理環境、コミュニティ属するユーザ群が置かれた社会環境、コミュニティ属するユーザ群の運動状態、および、推定されるコミュニティ属するユーザ群の感情、心理状態等の様々なコミュニティ属するユーザ群の状況を示す情報（統計的情報）であってもよい。また、コミュニティコンテキストは、コミュニティ属するユーザ群の周期的な行動を統計的に示す周期性情報（統計的情報）であってもよい。

【0033】

なお、上記のコンテキストの例示は、一例に過ぎず、ベクトルの生成対象となる主体の状況を示すものであれば、どのような情報であってもよい。

【0034】

〔１－３．他のモデル例〕
図１では、位置情報を入力とするモデルＭ１を一例として説明したが、モデルがベクトルの生成対象となる主体のコンテキストを出力すれば、入力は任意のデータが採用可能である。この点について以下説明する。

【0035】

例えば、情報処理システム１は、位置情報を時系列に並べたシーケンスデータを入力として、ユーザのコンテキストを示すベクトルを出力するモデル（以下「シーケンスモデル」ともいう）を生成してもよい。この場合、情報処理システム１は、例えばＲＮＮやＬＳＴＭ等のネットワーク構成を有するシーケンスモデルを生成してもよい。シーケンスモデルは、同じデータであっても、入れる順番で出力が変わる。例えば、「位置１」→「位置２」→「位置３」の順で移動していたら「出勤した」（往路）と出力し、「位置３」→「位置２」→「位置１」の順で移動していたら「帰宅した」（復路）と出力する。情報処理システム１は、このようなシーケンスモデルを用いることで、位置情報の変遷が有する特徴に基づくベクトルを生成することができる。

【0036】

このように、シーケンスデータからシーケンスモデルを用いてベクトルを生成した場合、シーケンスデータが示すユーザのコンテキストからユーザが所定の行動を行ったか否かを示すベクトルを生成することができる。例えば、情報処理システム１は、ユーザが自宅のあるエリアから職場のあるエリアまで移動していた旨を、位置情報のシーケンスデータが示す場合は、「出勤した」という行動と対応する要素が所定値を取るベクトルを出力するシーケンスモデルを生成することができる。

【0037】

上述したシーケンスモデルを用いる場合、サーバ装置１００は、位置情報に基づくベクトルのベクトル値により、ユーザが「自宅にいる」、「出勤した」、「買い物に行った」、「電車で移動している」等のユーザコンテキストを判定する。このとき、サーバ装置１００は、多次元のベクトルのうちの複数の要素が示す値により、時間帯ごとに行動を判定してもよい。例えば、サーバ装置１００は、位置情報に基づくベクトルに、「午前中に外出した」ことを示す値と、「出勤した」ことを示す値とが含まれているとき、「午前中に出勤した」と判定してもよい。

【0038】

ここでは、ベクトルの各要素の値は、ユーザの行動と対応している。例えば、３次元ベクトルの場合、１要素目の値が「出勤したか否か」を示し、２要素目の値が「外食したか否か」を示し、３要素目の値が「電車に乗ったか否か」を示すように規定してもよい。この場合、ベクトルは、One-hotベクトル（One Hot Vector）であってもよい。One-hotベクトルとは、(1,0,0)のように、１つの成分が１で、残りの成分が全て０であるようなベクトルである。但し、実際には、ベクトルは、One-hotベクトルに限定されない。

【0039】

また、ベクトルの各要素の値は、ユーザの複数の行動と対応していてもよい。例えば、１要素目の値が「職場に行き、かつ、外食したか否か」を示し、２要素目の値が「職場に行かず、かつ、外食したか否か」を示すように規定してもよい。

【0040】

ベクトルのある範囲に含まれる複数の要素の値が、ユーザの行動と対応していてもよい。例えば、３要素目までの値（上位三桁）が、「１００」なら「出勤した」ことを示し、「１０１」なら「職場に電車で行った」ことを示すように規定してもよい。

【0041】

また、ベクトルの各要素の値は、評価値でもよい。例えば、３要素目までの値（上位三桁）が「０００」なら「移動していない」ことを示し、「１００」なら「１００キロメートル移動した」ことを示すように規定してもよい。また、ベクトルのいずれかの要素の値は、移動方向を示す値であってもよい。例えば、４要素目から７要素目までの値が「００００」なら移動方向が「北」であることを示し、「０００１」なら移動方向が「北北東」であることを示し、「００１０」なら移動方向が「北東」であることを示し、「００１１」なら移動方向が「東北東」であることを示し、「０１００」なら移動方向が「東」であることを示し、「１０００」なら移動方向が「南」であることを示し、「１１００」なら移動方向が「西」であることを示すように規定してもよい。また、ベクトルの各要素の値は、健康的な生活のスコアであってもよい。

【0042】

なお、ベクトルの各要素の値は、モデルの学習時に、任意の設定が適用可能であるものとする。例えば、サーバ側が、ユーザ側からどのような行動に関する情報を取得して、ユーザに提供するサービスに使用したいかといった事情に応じて、適宜任意の設定が可能であるものとする。

【0043】

また、端末装置１０は、モデルへ入力するデータに対応する正解データを生成してもよい。例えば、端末装置１０は、ユーザに自身のコンテキストを指定する画面を表示し、ユーザが指定したコンテキスト（「指定コンテキスト」ともいう）を基に、その指定コンテキストに対応するベクトルを生成し、正解データとして用いてもよい。例えば、端末装置１０は、「自宅」、「勤務中」、「買い物中」、「電車で移動中」等のコンテキストを指定する画面を表示し、ユーザから指定コンテキストの指定を受け付けてもよい。

【0044】

この場合、端末装置１０は、コンテキストとベクトルとの対応付けを示すリストを用いて、リストと、ユーザが指定した指定コンテキストとを比較し、指定コンテキストに一致（または類似）するコンテキストに対応付けられたベクトルを正解データとしてもよい。端末装置１０は、ユーザの指定コンテキストを示す情報を、その指定コンテキストを示すベクトルに変換する変換モデルを用いて、正解データを生成してもよい。そして、端末装置１０は、生成した正解データと、対応するデータ（入力データ）とを用いて、ローカルモデルを学習する。なお、上記は一例であり、端末装置１０は、データに対応する正解データを取得可能であれば、どのような情報を用いて、データに対応する正解データを取得してもよい。

【0045】

〔２．情報処理システムの構成例〕
次に、図２を用いて、実施形態に係るサーバ装置１００が含まれる情報処理システム１の構成について説明する。図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、複数の端末装置１０とサーバ装置１００とを含む。これらの各種装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネット等のＷＡＮ（Wide Area Network）である。

【0046】

また、図２に示す情報処理システム１に含まれる各装置の数は図示したものに限られない。例えば、図２では、図示の簡略化のため、端末装置１０－１、１０－２、１０－３の３台のみを示したが、これはあくまでも例示であって限定されるものではなく、４台以上であってもよい。

【0047】

端末装置１０は、ユーザ（利用者）によって使用される情報処理装置である。例えば、端末装置１０は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス（Wearable Device）、スマートグラス等である。例えば、端末装置１０は、タッチパネルの機能を有する液晶ディスプレイ等の画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置１０は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。

【0048】

端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）等の無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の近距離無線通信を介してネットワークＮに接続し、サーバ装置１００と通信することができる。

【0049】

サーバ装置１００は、例えばＰＣやサーバ装置、あるいはメインフレーム又はワークステーション等である。なお、サーバ装置１００は、クラウドコンピューティングにより実現されてもよい。

【0050】

〔３．端末装置の構成例〕
次に、図３を用いて、端末装置１０の構成について説明する。図３は、端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、表示部１２と、入力部１３と、測位部１４と、センサ部２０と、制御部３０（コントローラ）と、記憶部４０とを備える。

【0051】

（通信部１１）
通信部１１は、ネットワークＮ（図２参照）と有線又は無線で接続され、ネットワークＮを介して、サーバ装置１００との間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。

【0052】

（表示部１２）
表示部１２は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescent Display）である。また、表示部１２は、タッチパネル式のディスプレイであるが、これに限定されるものではない。

【0053】

（入力部１３）
入力部１３は、ユーザＵから各種操作を受け付ける入力デバイスである。入力部１３は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部１２がタッチパネル式のディスプレイである場合、表示部１２の一部が入力部１３として機能する。なお、入力部１３は、ユーザＵから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。

【0054】

（測位部１４）
測位部１４は、ＧＰＳの衛星から送出される信号（電波）を受信し、受信した信号に基づいて、自装置である端末装置１０の現在位置を示す位置情報（例えば、緯度及び経度）を取得する。すなわち、測位部１４は、端末装置１０の位置を測位する。なお、ＧＰＳは、ＧＮＳＳ（Global Navigation Satellite System）の一例に過ぎない。

【0055】

また、測位部１４は、ＧＰＳ以外にも、種々の手法により位置を測位することができる。例えば、測位部１４は、位置補正等のための補助的な測位手段として、下記のように、端末装置１０の様々な通信機能を利用して位置を測位してもよい。

【0056】

（Ｗｉ－Ｆｉ測位）
例えば、測位部１４は、端末装置１０のＷｉ－Ｆｉ（登録商標）通信機能や、各通信会社が備える通信網を利用して、端末装置１０の位置を測位する。具体的には、測位部１４は、Ｗｉ－Ｆｉ通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置１０の位置を測位する。

【0057】

（ビーコン測位）
また、測位部１４は、端末装置１０のＢｌｕｅｔｏｏｔｈ（登録商標）機能を利用して位置を測位してもよい。例えば、測位部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能によって接続されるビーコン（beacon）発信機と接続することにより、端末装置１０の位置を測位する。

【0058】

（地磁気測位）
また、測位部１４は、予め測定された構造物の地磁気のパターンと、端末装置１０が備える地磁気センサとに基づいて、端末装置１０の位置を測位する。

【0059】

（ＲＦＩＤ測位）
また、例えば、端末装置１０が駅改札や店舗等で使用される非接触型ＩＣカードと同等のＲＦＩＤ（Radio Frequency Identification）タグの機能を備えている場合、もしくはＲＦＩＤタグを読み取る機能を備えている場合、端末装置１０によって決済等が行われた情報とともに、使用された位置が記録される。測位部１４は、かかる情報を取得することで、端末装置１０の位置を測位してもよい。また、位置は、端末装置１０が備える光学式センサや、赤外線センサ等によって測位されてもよい。

【0060】

測位部１４は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置１０の位置を測位してもよい。

【0061】

（センサ部２０）
センサ部２０は、端末装置１０に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ部２０は、ウェアラブルデバイス等、端末装置１０以外の検知装置であってもよい。図３に示す例では、センサ部２０は、加速度センサ２１と、ジャイロセンサ２２と、気圧センサ２３と、気温センサ２４と、音センサ２５と、光センサ２６と、磁気センサ２７と、画像センサ（カメラ）２８とを備える。

【0062】

なお、上記した各センサ２１～２８は、あくまでも例示であって限定されるものではない。すなわち、センサ部２０は、各センサ２１～２８のうちの一部を備える構成であってもよいし、各センサ２１～２８に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。

【0063】

加速度センサ２１は、例えば、３軸加速度センサであり、端末装置１０の移動方向、速度、及び、加速度等の端末装置１０の物理的な動きを検知する。ジャイロセンサ２２は、端末装置１０の角速度等に基づいて３軸方向の傾き等の端末装置１０の物理的な動きを検知する。気圧センサ２３は、例えば端末装置１０の周囲の気圧を検知する。

【0064】

端末装置１０は、上記した加速度センサ２１やジャイロセンサ２２、気圧センサ２３等を備えることから、これらの各センサ２１～２３等を利用した歩行者自律航法（ＰＤＲ：Pedestrian Dead-Reckoning）等の技術を用いて端末装置１０の位置を測位することが可能になる。これにより、ＧＰＳ等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。

【0065】

例えば、加速度センサ２１を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ２２を利用して、ユーザＵの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ２３で検知した気圧から、ユーザＵの端末装置１０が存在する高度やフロアの階数を知ることもできる。

【0066】

気温センサ２４は、例えば端末装置１０の周囲の気温を検知する。音センサ２５は、例えば端末装置１０の周囲の音を検知する。光センサ２６は、端末装置１０の周囲の照度を検知する。磁気センサ２７は、例えば端末装置１０の周囲の地磁気を検知する。画像センサ２８は、端末装置１０の周囲の画像を撮像する。

【0067】

上記した気圧センサ２３、気温センサ２４、音センサ２５、光センサ２６及び画像センサ２８は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置１０の周囲の環境や状況等を検知することができる。また、端末装置１０の周囲の環境や状況等から、端末装置１０の位置情報の精度を向上させることが可能になる。

【0068】

（制御部３０）
制御部３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路等のハードウェアで構成されてもよい。制御部３０は、受信部３１と、取得部３２と、処理部３３と、学習部３４と、推定部３５と、送信部３６とを備える。

【0069】

（受信部３１）
受信部３１は、通信部１１を介して、サーバ装置１００から提供される各種情報を受信する。例えば、受信部３１は、通信部１１を介して、サーバ装置１００から提供されるグローバルモデルを受信する。受信部３１は、受信したグローバルモデルをモデル情報記憶部４１に格納（記憶）する。

【0070】

（取得部３２）
取得部３２は、常時／周期的に／所定のタイミングで、端末装置１０の位置情報を取得する。例えば、取得部３２は、測位部１４により測位された端末装置１０の位置情報を取得する。また、取得部３２は、各センサ２１～２８によって検知された各種情報に基づいて端末装置１０の位置情報を推定して取得する。

【0071】

また、取得部３２は、取得した位置情報を記憶部４０に記憶（保存）する。例えば、取得部３２は、取得した位置情報を位置履歴（例えば、ロケーション履歴、行動履歴等）として蓄積する。

【0072】

（処理部３３）
処理部３３は、表示部１２等を含め、端末装置１０全体を制御する。例えば、処理部３３は、送信部３６によって送信される各種情報や、受信部３１によって受信されたサーバ装置１００からの各種情報を表示部１２へ出力して表示させることができる。処理部３３は、データに対応する正解データを生成する。

【0073】

処理部３３は、モデルに入力する入力データを生成する。処理部３３は、取得部３２が取得した位置情報等のデータをそのままモデルの入力データとする場合、入力データ生成する処理を行わずに、取得部３２が取得したデータを入力データとする。

【0074】

処理部３３は、欠損データに対応可能なモデルを学習する場合、データのうち、欠損部分のデータの値（単にデータともいう）として、特定のデータ（例えばｎ／ａ（該当なしを示す値）等）を用いて、欠損部分を補完した入力データを生成する。処理部３３は、欠損データに対応可能なモデルを学習する場合、推定部３５により推定された推定データを用いて入力データを生成してもよい。

【0075】

処理部３３は、１分ごとに位置情報を取得していた場合、１分ごとの位置情報を時系列に並べて、３０分間（例えば８：０１～８：３０）ごとに区切ったシーケンスデータを、入力データとして生成する。例えば、処理部３３は、３０分間における１分ごとの位置情報を時系列に並べたシーケンスデータを、入力データとして生成する。例えば、処理部３３は、３０分間における最初の１分間の位置情報とその位置情報に対する１分ごとの差分を時系列に並べたシーケンスデータを、入力データとして生成する。なお、シーケンスデータは一例に過ぎず、例えば位置情報の生データをそのまま時系列に沿って順番に入力する入力データであってもよい。

【0076】

また、処理部３３は、学習部３４により学習されたローカルモデルを用いて、ベクトルを生成してもよい。処理部３３は、推論時においてローカルモデルを用いて、ベクトルを生成してもよい。

【0077】

処理部３３は、推論時においてデータに欠損がある場合、データのうち、欠損部分のデータとして、特定のデータを用いて、欠損部分を補完した入力データをローカルモデルに入力し、ベクトルを生成してもよい。また、処理部３３は、推論時において欠損データがある場合、推定部３５により推定された推定データを用いた入力データをローカルモデルに入力し、ベクトルを生成してもよい。

【0078】

（学習部３４）
学習部３４は、ローカルモデルを生成する。学習部３４は、保有するデータを用いて、サーバ装置１００から受信したグローバルモデルのパラメータを更新したローカルモデルを生成する。学習部３４は、推定した推定データを用いて、ローカルモデルを生成する。

【0079】

学習部３４は、センサにより検知されたセンサ情報を含むデータを用いてローカルモデルを生成する。学習部３４は、位置情報を含むデータを用いてローカルモデルを生成する。

【0080】

例えば、学習部３４は、取得部３２が取得したデータとそのデータに対応する正解データであるベクトルとのペアを用いて学習処理を行い、グローバルモデルのパラメータを更新したローカルモデルを生成する。なお、正解データであるベクトルは、任意の手段により提供される。例えば、正解データは、端末装置１０のユーザが指定したコンテキストを示す情報を基に生成されたベクトルであってもよい。

【0081】

学習部３４がモデルのパラメータを更新する学習処理は、モデルのネットワーク構成に応じて適宜の手法が採用される。例えば、モデルのネットワーク構成がＤＮＮである場合、学習部３４は、深層学習の手法によりモデルのパラメータを更新する。学習部３４は、モデルに入力するデータと、そのデータが入力された場合の出力を示す正解データとのペア（組合せ）を用いて行う学習処理、すなわち教師有り学習の手法によりモデルのパラメータを更新する。なお、上記は一例であり、学習部３４は、モデルのパラメータを更新可能であれば、どのような学習処理により、モデルのパラメータを更新してもよい。

【0082】

欠損データを許容するモデルを生成する場合、学習部３４は、欠損データに対応可能なモデルを学習する。例えば、学習部３４は、データのうち、欠損部分のデータとして、特定のデータを用いて、欠損部分を補完したデータを用いて、欠損データに対応可能なモデルを学習する。

【0083】

学習部３４は、欠損データを推定した推定データを含む入力データを入力とするモデルを学習してもよい。学習部３４は、推定部３５により推定された推定データを含む入力データを入力とするローカルモデルを学習する。

【0084】

（推定部３５）
推定部３５は、欠損データを推定する。推定部３５は、欠損部分のデータ（の値）を推定した推定データ（推定値）を生成する。推定部３５は、欠損部分のデータを推定する推定モデルを用いて、欠損部分のデータを推定してもよい。

【0085】

例えば、推定部３５は、センサ情報の一部に欠損がある場合、その欠損に対応するデータを推定する。推定部３５は、データが欠損したセンサの過去の情報を基に、欠損したセンサに対応するデータを推定する。推定部３５は、位置を示すデータが欠損した場合、位置を検知するセンサ（測位部１４等）が検知の過去の位置情報と、加速度センサの情報を基に、欠損した位置を示すデータを推定する。例えば、推定部３５は、日時Ｘのユーザの位置を示すデータが欠損した場合、位置を検知するセンサが検知した日時Ｘより前の日時Ｙのユーザの位置情報と、日時Ｙから日時Ｘまでの加速度センサ２１やジャイロセンサ２２の情報とを基に、欠損した日時Ｘのユーザの位置を示すデータを推定する。

【0086】

例えば、推定部３５は、データが欠損したセンサ以外のセンサの情報を基に、欠損したセンサに対応するデータを推定する。例えば、推定部３５は、端末装置１０が気温センサ２４を有さず、温度を示すデータが欠損した場合、気圧センサ２３や光センサ２６の情報を基に、温度を示すデータを推定する。例えば、推定部３５は、気圧の値及び照度の値の組合せを入力し、その組合せに対応する温度の値を出力する推定モデルを用いて、温度を示すデータを推定する。推定部３５は、気圧及び照度の組合せと、その組合せに対応する温度とのペアを学習データとして学習された推定モデルを用いて、温度を示すデータを推定する。この場合、推定部３５は、推定対象日時での気圧の値及び照度の値を推定モデルに入力することにより推定モデルが出力した値を、推定対象日時での温度であると推定する。

【0087】

なお、上記は一例であり、推定部３５は、欠損したデータを推定可能であれば、どのような手法により推定を行ってもよい。推定部３５は、欠損部分のデータを、特定のデータであると推定してもよい。例えば、推定部３５は、データの種別と、その種別のデータが欠損した場合に補完するデータとの対応付けを示す一覧を用いて、欠損部分のデータを推定し、補間してもよい。例えば、推定部３５は、欠損したセンサの値として用いる複数段階のレベルの各々の値と、他のセンサの値とを対応付けた一覧を用いて、他のセンサの値から欠損部分のデータを推定し、補間してもよい。

【0088】

（送信部３６）
送信部３６は、通信部１１を介して、サーバ装置１００へ情報を送信する。送信部３６は、ローカルモデルに関する情報である更新用情報をサーバ装置１００へ送信する。送信部３６は、グローバルモデルとローカルモデルとの差分を更新用情報としてサーバ装置１００へ送信する。

【0089】

また、送信部３６は、例えば入力部１３を用いてユーザＵにより入力された各種情報や、処理部３３により処理された各種情報等を、サーバ装置１００へ送信してもよい。また、送信部３６は、処理部３３により生成されたベクトルを、サーバ装置１００へ送信する。

【0090】

（記憶部４０）
記憶部４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。かかる記憶部４０には、各種プログラムや各種データ等が記憶される。図３に示すように、記憶部４０は、モデル情報記憶部４１を有する。

【0091】

（モデル情報記憶部４１）
実施形態に係るモデル情報記憶部４１は、モデルに関する情報を記憶する。例えば、モデル情報記憶部４１は、サーバ装置１００から受信した共通モデル（グローバルモデル）や、自装置でグローバルモデルのパラメータを更新した局所モデル（ローカルモデル）を記憶する。図４は、実施形態に係るモデル情報記憶部の一例を示す図である。図４に示すモデル情報記憶部４１は、「モデルＩＤ」、「用途」、「種別」、「モデルデータ」といった項目が含まれる。

【0092】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。例えば、モデルＩＤ「Ｍ１」により識別されるモデルは、図１の例に示したモデルＭ１に対応する。「用途」は、対応するモデルの用途を示す。「種別」は、モデルの種別を示す。例えば、「種別」は、そのモデルがグローバルモデルであるか、ローカルモデルであるかを示す。また、「モデルデータ」は、モデルＩＤに対応付けられた対応するモデルのデータを示す。図４等では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0093】

図４では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「ベクトル変換」であることを示す。モデルＭ１は、種別が「グローバル」であり、グローバルモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0094】

また、モデルＩＤ「Ｍ１ａ」により識別されるモデル（モデルＭ１ａ）は、用途が「ベクトル変換」であることを示す。また、モデルＭ１ａは、種別が「ローカル」であり、ローカルモデルであることを示す。また、モデルＭ１ａのモデルデータは、モデルデータＭＤＴ１ａであることを示す。

【0095】

なお、モデル情報記憶部４１は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。

【0096】

また、記憶部４０は、例えば入力部１３を用いてユーザＵにより入力された各種情報や、端末装置１０に搭載又は接続された各センサ２１～２８によって検知された各種情報、測位部１４によって測位された端末装置１０の位置情報等を記憶する。また、処理部３３によって処理された各種情報や、受信部３１によって受信された各種情報を記憶する。

【0097】

〔４．サーバ装置の構成例〕
次に、図５を用いて、実施形態に係るサーバ装置１００の構成について説明する。図５は、実施形態に係るサーバ装置１００の構成例を示す図である。図５に示すように、サーバ装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0098】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮ（図２参照）と有線又は無線で接続される。

【0099】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図５に示すように、記憶部１２０は、モデル情報記憶部１２１と、コミュニティ情報記憶部１２２とを有する。

【0100】

（モデル情報記憶部１２１）
実施形態に係るモデル情報記憶部１２１は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２１は、ユーザやコミュニティを対象として学習した共通モデル（グローバルモデル）を記憶する。図６は、実施形態に係るモデル情報記憶部の一例を示す図である。図６に示すモデル情報記憶部１２１は、「モデルＩＤ」、「用途」、「種別」、「対象」、「モデルデータ」といった項目が含まれる。

【0101】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「種別」は、モデルの種別を示す。「対象」は、モデルが用いられる対象を示す。また、「モデルデータ」は、モデルＩＤに対応付けられた対応するモデルのデータを示す。

【0102】

図６では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「ベクトル変換」であることを示す。モデルＭ１は、種別が「グローバル」であり、グローバルモデルであることを示す。モデルＭ１の対象は、ユーザＵ１、Ｕ２、Ｕ３等のユーザを対象とするモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0103】

また、モデルＩＤ「Ｍ１１」により識別されるモデル（モデルＭ１１）は、用途が「ベクトル変換」であることを示す。モデルＭ１１は、種別が「グローバル」であり、グローバルモデルであることを示す。モデルＭ１１の対象は、コミュニティＧＰ１、ＧＰ２、ＧＰ３等のグループ（ユーザ群）を対象とするモデルであることを示す。また、モデルＭ１１のモデルデータは、モデルデータＭＤＴ１１であることを示す。

【0104】

なお、モデル情報記憶部１２１は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。

【0105】

（コミュニティ情報記憶部１２２）
実施形態に係るコミュニティ情報記憶部１２２は、コミュニティ（グループ）に関する各種情報を記憶する。例えば、コミュニティ情報記憶部１２２は、コミュニティの階層やコミュニティの構成要素を記憶する。図７は、実施形態に係るコミュニティ情報記憶部の一例を示す図である。図７に示すコミュニティ情報記憶部１２２には、「コミュニティＩＤ」、「階層」、「要素」といった項目が含まれる。

【0106】

「コミュニティＩＤ」は、コミュニティを識別するための識別情報を示す。「階層」は、コミュニティの階層を示す。例えば、「階層」は、「Ｈ１」、「Ｈ２」等、階層が上位になるほど「Ｈ＊（＊は任意の値）」の「＊」が大きくなり、階層Ｈ２は階層Ｈ１の上位階層である。また、「要素」は、各コミュニティに属する要素、すなわちそのコミュニティの構成要素を示す。

【0107】

図７では、コミュニティＩＤ「ＧＰ１」により識別されるコミュニティ（コミュニティＧＰ１）は、階層Ｈ１であり、その構成要素がユーザＵ１、Ｕ２、Ｕ３等であることを示す。なお、ユーザはコミュニティを構成する基底となる要素であり、階層Ｈ０として管理されてもよい。

【0108】

また、コミュニティＩＤ「ＧＰ１１」により識別されるコミュニティ（コミュニティＧＰ１１）は、階層Ｈ２であり、その構成要素がコミュニティＧＰ１、ＧＰ２、ＧＰ３等であることを示す。すなわち、階層Ｈ２のコミュニティＧＰ１１は、階層Ｈ１のコミュニティＧＰ１、ＧＰ２、ＧＰ３等を要素とすることを示す。

【0109】

なお、コミュニティ情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0110】

（制御部１３０）
図５に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、サーバ装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図５に示す例では、制御部１３０は、提供部１３１と、取得部１３２と、学習部１３３と、判定部１３４とを有する。

【0111】

（提供部１３１）
提供部１３１は、通信部１１０を介して、グローバルモデルを端末装置１０へ送信する。提供部１３１は、端末装置１０が取得したデータからユーザのコンテキストを示すベクトルを生成するグローバルモデルを提供する。提供部１３１は、更新後のグローバルモデルを複数の端末装置１０に提供する。

【0112】

（取得部１３２）
取得部１３２は、通信部１１０を介して、グローバルモデルを更新するための情報を端末装置１０から受信する。取得部１３２は、ローカルモデルに関する情報である更新用情報を複数の端末装置１０の各々から取得する。取得部１３２は、グローバルモデルとローカルモデルとの差分を複数の端末装置１０の各々から取得する。

【0113】

取得部１３２は、端末装置１０が取得したデータから生成されたベクトルを端末装置１０から受信する。取得部１３２は、記憶部１２０から各種の情報を取得する。

【0114】

（学習部１３３）
学習部１３３は、グローバルモデルを生成する。学習部１３３は、データを入力としてベクトルを出力するベクトル変換モデルをグローバルモデルとして学習する。学習部１３３は、各パラメータを所定の初期値に設定したグローバルモデルを生成してもよい。学習部１３３は、過去に取得したデータを用いて、グローバルモデルを生成してもよい。例えば、学習部１３３は、過去に取得したデータとそのデータに対応する正解データであるベクトルとのペアを用いてグローバルモデルを学習してもよい。

【0115】

学習部１３３は、複数の端末装置１０から受信した更新用情報を用いて、グローバルモデルのパラメータを更新する。学習部１３３は、複数の端末装置１０から受信した差分の情報を用いて、グローバルモデルのパラメータを更新する。

【0116】

なお、上述のように、学習部１３３が生成するグローバルモデルのネットワーク構成は、任意のネットワーク構成が採用可能である。例えば、グローバルモデルのネットワーク構成は、ＣＮＮ、ＲＮＮ、ＬＳＴＭ等であってもよい。また、グローバルモデルのネットワーク構成は、ＣＮＮとＲＮＮとの組み合わせのように、複数のネットワークを組合せた構成であってもよい。なお、ＲＮＮやＬＳＴＭは、アテンション（Attention）の仕組みに基づくニューラルネットワークであってもよい。また、学習部１３３は、同様の自然言語処理モデルを用いてもよい。

【0117】

（判定部１３４）
判定部１３４は、取得部１３２により取得されたベクトルを解析し、端末装置１０を利用するユーザのコンテキストを判定する。例えば、判定部１３４は、ベクトルを特定空間に配置し、ユーザ自身の行動の類似性や変化、及び／又はユーザＵと他のユーザとの行動の類似性や相違性を判定する。

【0118】

〔５．データ欠損がある場合について〕
ここで、データ欠損がある場合について、図８及び図９を用いて説明する。図８は、モデルの一例を示す図である。図９は、データの一部が欠損した場合の一例を示す図である。

【0119】

まず、図８を用いてモデルの全体について説明する。例えば、図８では、センサａは位置を検知するセンサ（測位部１４等）であり、センサｂは音センサ２５であり、センサｃは画像センサ２８であってもよい。

【0120】

図８に示すモデルＭＸは、センサａのセンサ情報ＳＤ１を中間表現ＩＲ１に変換するエンコーダＥＮ１、センサｂのセンサ情報ＳＤ２を中間表現ＩＲ２に変換するエンコーダＥＮ２、センサｃのセンサ情報ＳＤ３を中間表現ＩＲ３に変換するエンコーダＥＮ３、及び中間表現ＩＲ１、ＩＲ２、ＩＲ３を入力として、ベクトルＶＤ１を出力するネットワークＮＮ１とを含む。ネットワークＮＮ１は、ＲＮＮ等の構成を有するintegratorである。

【0121】

エンコーダＥＮ１～ＥＮ３は、各センサの生データを中間的な表現に加工するブロックである。また、ネットワークＮＮ１は、中間的な表現を集約して、コンテキストを示すベクトルを生成するブロックである。すなわち、モデルＭＸは、センサａ、センサｂ、センサｃの３つのセンサにより検知されるセンサ情報ＳＤ１～ＳＤ３を入力データとして、その入力データに対応するコンテキストを示すベクトルＶＤ１を出力するモデルである。なお、モデルＭＸは、エンコーダＥＮ１～ＥＮ３、及びネットワークＮＮ１の各ブロックを個別に学習されてもよく、エンコーダＥＮ１～ＥＮ３には外部装置から取得した学習済みのエンコーダが用いられ、ネットワークＮＮ１のみが情報処理システム１の学習処理の対象であってもよい。例えば、情報処理システム１は、ネットワークＮＮ１のみを学習してもよい。

【0122】

複数の端末装置１０を用いて学習する場合、ある端末装置１０がセンサａ、センサｂ、センサｃのうち少なくとも１つを有していない場合や、センサａ、センサｂ、センサｃのうち少なくとも１つが検知を行えなかった場合、モデルＭＸを適切に学習できない場合がある。

【0123】

そこで、情報処理システム１は、入力データの欠損がある場合であっても、適切に学習ができるようにモデルＭＸを調整する。例えば、情報処理システム１は、図９に示すように、センサ情報が取得できなかったことを示す特定のデータ（例えばｎ／ａ（該当なしを示す値）等）を、ネットワークＮＮ１が入力として受け付け可能にする。図９は、センサｃのセンサ情報ＳＤ３が取得できなかった場合を示し、この場合、情報処理システム１は、該当なしを示す値をセンサｃの中間表現ＩＲ３１としてネットワークＮＮ１に入力し、モデルＭＸがベクトルＶＤ２を出力する。

【0124】

このように、情報処理システム１は、センサ情報が取得できない場合であってもベクトルを生成することができるようにモデルＭＸを学習する。これにより、情報処理システム１は、複数の端末装置１０に、必要なセンサにうち一部のセンサを有しない端末装置１０が含まれる場合や、一部のセンサ情報が取得できなかった場合であっても、推論に利用可能なモデルを生成することができる。なお、情報処理システム１は、欠損データについては、推定処理を行ってデータを補完してもよい。

【0125】

上述のように、情報処理システム１は、データのうち一部のセンサ情報が欠損している場合、ｎ／ａ（not available）を示す特定のデータをモデルに入力可能にする。これにより、情報処理システム１は、センサ情報が揃っていればそれをフル活用しベクトルを生成し、欠損している場合であってもベクトルを生成可能にする。情報処理システム１は、欠損がある場合でも無い場合でも、グローバルモデルのパラメータとローカルモデルのパラメータとの差分をグローバルモデルへ足し込む形で反映する。

【0126】

学習時に特定のセンサの情報が欠落する理由としては、例えば、端末装置１０そのものの機能の制限、ユーザのprivacy preferenceなどが挙げられる。このような理由の場合、学習時だけでなくモデルの利用時（推論時）にも同じ制限がある可能性が非常に高い。

【0127】

しかしながら、情報処理システム１は、センサ情報が全種類揃っている端末装置１０、例えば環境音やジャイロなどの特定のセンサの入力が欠落している端末装置１０等の様々な端末装置１０を対象として、ローカルモデルの差分をグローバルモデルに反映させることができる。そして、情報処理システム１は、推論時において、データに欠損がある端末装置１０についても対象として処理を行うことができる。このように、情報処理システム１は、センサ情報が取得できず、データに欠損がある端末装置１０についても、学習時及び推論時にいずれも適切に処理可能にすることができる。

【0128】

〔６．コミュニティモデルについて〕
なお、情報処理システム１が生成するモデルについては上記に限られない。例えば、情報処理システム１は、各コミュニティモデルを適用範囲とするモデルを生成してもよい。この点について、図１０を用いて説明する。

【0129】

図１０は、複数階層のコミュニティの一例を示す図である。図１０の例では、コミュニティが階層化されている場合において、各コミュニティについて生成されるモデルの例を示す。

【0130】

図１０でコミュニティ＃１と記載するコミュニティＧＰ１は、ユーザＵ１、Ｕ２、Ｕ３等の複数のユーザを構成要素とするコミュニティである。すなわち、コミュニティＧＰ１は、複数のユーザ（階層Ｈ０）が構成要素として含まれる階層Ｈ１のコミュニティ（第１階層コミュニティ）である。例えば、コミュニティＧＰ１は、ユーザＵ１～Ｕ３等が位置するエリアに対応する。

【0131】

図１０でコミュニティ＃２と記載するコミュニティＧＰ２は、ユーザＵ１１、Ｕ１２、Ｕ１３等の複数のユーザを構成要素とするコミュニティである。すなわち、コミュニティＧＰ２は、複数のユーザ（階層Ｈ０）が構成要素として含まれる階層Ｈ１のコミュニティ（第１階層コミュニティ）である。

【0132】

図１０でコミュニティ＃１１と記載するコミュニティＧＰ１１は、コミュニティＧＰ１、ＧＰ２等の複数のコミュニティを構成要素とするコミュニティである。すなわち、コミュニティＧＰ１１は、複数の第１階層コミュニティ（階層Ｈ１）が構成要素として含まれる階層Ｈ２のコミュニティ（第２階層コミュニティ）である。例えば、コミュニティＧＰ１１は、コミュニティＧＰ１のエリア及びコミュニティＧＰ２のエリアを含む範囲のエリアに対応する。

【0133】

図１０でコミュニティ＃２１と記載するコミュニティＧＰ２１は、コミュニティＧＰ１１、ＧＰ１２等の複数のコミュニティを構成要素とするコミュニティである。すなわち、コミュニティＧＰ２１は、複数の第２階層コミュニティ（階層Ｈ２）が構成要素として含まれる階層Ｈ３のコミュニティ（第３階層コミュニティ）である。このように、各コミュニティは、ユーザを基底として階層的に構成される。

【0134】

図１０では、図１で示したグローバルモデルであるモデルＭ１は、ユーザＵ１、Ｕ２、Ｕ３等を構成要素とするコミュニティＧＰ１に適用される第１階層モデルであることを示す。すなわち、モデルＭ１は、コミュニティＧＰ１に属するユーザＵ１、Ｕ２、Ｕ３等がベクトルの生成対象となるモデルであることを示す。モデルＭ１は、図１で説明したように学習され、コミュニティＧＰ１に属するユーザＵ１、Ｕ２、Ｕ３等を対象とする推論に用いられる。

【0135】

グローバルモデルであるモデルＭ２は、ユーザＵ１１、Ｕ１２、Ｕ１３等を構成要素とするコミュニティＧＰ２に適用される第１階層モデルであることを示す。すなわち、モデルＭ２は、コミュニティＧＰ２に属するユーザＵ１１、Ｕ１２、Ｕ１３等がベクトルの生成対象となるモデルであることを示す。モデルＭ２は、モデルＭ１と同様に学習され、コミュニティＧＰ２に属するユーザＵ１１、Ｕ１２、Ｕ１３等を対象とする推論に用いられる。

【0136】

このように、図１０では、サーバ装置１００は、各々が端末装置１０を含む複数の第１グループ（第１階層コミュニティ）ごとに異なるグローバルモデルを第１階層モデルとして提供する。例えば、サーバ装置１００は、第１階層コミュニティの端末装置１０から受信した差分の情報を用いて、複数の第１階層モデルの各々のパラメータを更新する。サーバ装置１００は、ユーザＵ１、Ｕ２、Ｕ３等が利用する端末装置１０から受信した差分の情報を用いて、モデルＭ１のパラメータを更新する。また、サーバ装置１００は、ユーザＵ１１、Ｕ１２、Ｕ１３等が利用する端末装置１０から受信した差分の情報を用いて、モデルＭ２のパラメータを更新する。なお、ローカルモデルの学習については、図１と同様であるため詳細な説明は省略する。

【0137】

図１０では、グローバルモデルであるモデルＭ１１は、コミュニティＧＰ１、ＧＰ２等を構成要素とするコミュニティＧＰ１１に適用される第２階層モデルであることを示す。また、グローバルモデルであるモデルＭ２１は、コミュニティＧＰ１１、ＧＰ１２等を構成要素とするコミュニティＧＰ２１に適用される第３階層モデルであることを示す。以下、第２階層以上のモデルについて、第２階層モデルを一例として説明する。

【0138】

第２階層コミュニティの第２階層モデルは、ベクトルの生成対象がそのコミュニティの配下のコミュニティに属するユーザであってもよい。この場合、第２階層モデルは、ユーザが利用する端末装置１０が取得したデータを入力として、そのユーザのコンテキストを示すベクトルを出力する。

【0139】

例えば、モデルＭ１１は、コミュニティＧＰ１１の配下のコミュニティＧＰ１に属するユーザＵ１、Ｕ２、Ｕ３、及びコミュニティＧＰ２に属するユーザＵ１１、Ｕ１２、Ｕ１３等がベクトルの生成対象となるモデルである。情報処理システム１は、モデルＭ１及びモデルＭ２が学習済みである場合、モデルＭ１とモデルＭ２とを統合してモデルＭ１１を生成してもよい。この場合、サーバ装置１００は、モデルＭ１のパラメータとモデルＭ２のパラメータとを統合（例えば平均）してモデルＭ１１を生成してもよい。すなわち、サーバ装置１００は、モデルＭ１とモデルＭ２等の複数の第１階層モデルを用いて、第１階層モデルの上位階層の第２階層モデルであるＭ１１のパラメータを更新する。

【0140】

また、モデルＭ１及びモデルＭ２が未学習の場合、モデルＭ１１は、ユーザＵ１、Ｕ２、Ｕ３、Ｕ１１、Ｕ１２、Ｕ１３等を対象として、図１と同様の処理が行われることにより学習される。モデルＭ１１は、コミュニティＧＰ１１の配下のコミュニティＧＰ１に属するユーザＵ１、Ｕ２、Ｕ３、及びコミュニティＧＰ２に属するユーザＵ１１、Ｕ１２、Ｕ１３等を対象とする推論に用いられる。また、第３階層以上のモデルについて、第２階層モデルの場合と同様に学習される。全階層のモデルは同じネットワーク構成を有してもよい。また、全階層のモデルは入力がユーザのデータであり、出力がユーザのコンテキストを示すベクトルであってもよい。

【0141】

このように、情報処理システム１は、適用される範囲、すなわちコミュニティの規模が異なるコミュニティモデルを学習し、推論を行う規模に応じたコミュニティモデルを用いて適切なサービスを提供することができる。なお、図１０の例では、ユーザ及びコミュニティが各階層のコミュニティに重複して含まれないように構成された場合を一例として、示すが、ユーザまたはコミュニティは各階層のコミュニティに重複して含まれてもよい。例えば、ユーザＵ１がコミュニティＧＰ１に加えてコミュニティＧＰ６に含まれてもよい。

【0142】

また、第２階層コミュニティの第２階層モデルは、ベクトルの生成対象がそのコミュニティの配下のコミュニティ、すなわち第１階層コミュニティであってもよい。この場合、第２階層モデルは、第１階層コミュニティのデータを入力として、その第１階層コミュニティのコンテキストを示すベクトルを出力する。第１階層コミュニティのデータは、第１階層コミュニティのコミュニティコンテキストを示すベクトルを生成可能であれば、どのような情報であってもよく、第１階層コミュニティに属するユーザ群に関する統計的情報であってもよいし、第１階層コミュニティが占める範囲に関する情報であってもよい。第２階層モデルの入力とする第１階層コミュニティのデータは、第１階層コミュニティのモデル（第１階層モデル）が出力したベクトルを用いて生成されてもよい。また、第３階層以上のモデルについて、第２階層モデルの場合と同様に学習される。

【0143】

なお、サーバ装置１００は、学習時に用いる正解データを、適宜の方法により生成されてもよいし、外部装置から取得してもよい。サーバ装置１００は、コミュニティコンテキストを示す情報を外部装置から取得してもよい。サーバ装置１００は、コミュニティコンテキストとベクトルとの対応付けを示すリストを用いて、リストと、取得したコミュニティコンテキスト（取得コンテキスト）とを比較し、取得コンテキストに一致（または類似）するコミュニティコンテキストに対応付けられたベクトルを正解データとしてもよい。また、コミュニティは、エリアに関するコミュニティに限らず、任意の構成が採用可能である。例えば、コミュニティは、性別や年齢等のユーザ属性に関するコミュニティであってもよい。この場合、例えば、性別が同じユーザが同じコミュニティに属したり、年齢が近いユーザが同じコミュニティに属したりしてもよい。

【0144】

〔７．処理手順〕
次に、図１１を用いて実施形態に係る情報処理システム１による処理手順について説明する。図１１は、実施形態に係る処理手順を示すフローチャートである。

【0145】

図１１に示すように、情報処理システム１では、サーバ装置１００が端末装置１０が取得したデータから利用者のコンテキストを示すベクトルを生成する共通モデルを提供する（ステップＳ１０１）。

【0146】

そして、情報処理システム１では、複数の端末装置１０が各々が保有するデータを用いて、サーバから受信した共通モデルのパラメータを更新した局所モデルを生成する（ステップＳ１０２）。

【0147】

そして、情報処理システム１では、複数の端末装置１０が局所モデルに関する情報である更新用情報をサーバ装置１００へ送信する（ステップＳ１０３）。

【0148】

そして、情報処理システム１では、サーバ装置１００が複数の端末装置１０から受信した更新用情報を用いて、共通モデルのパラメータを更新し、更新後の共通モデルを複数の端末装置１０に提供する（ステップＳ１０４）。

【0149】

〔８．その他の例〕
上述した端末装置１０及びサーバ装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

【0150】

上記実施形態において、サーバ装置１００は、位置情報に基づくベクトルのベクトル値により、ユーザが「山に行った」、「海に行った」、「地方に行った」、「外国に行った」等の行動を判定してもよい。また、ユーザが「旅行に行った」、「出張した」等の行動を判定してもよい。また、ユーザが「日帰りした」、「宿泊した」等の行動を判定してもよい。

【0151】

また、上記実施形態において、端末装置１０は、サーバ装置１００（サーバ側）に、ユーザの行動に関する詳細な情報を知らせたくない場合、位置情報を蓄積する際、又はエンベディングに先立って、位置情報の端数処理（丸め処理）を行い、位置情報を丸めて精度の粗い位置情報に変換してもよい。例えば、端末装置１０は、位置情報がＧＰＳ座標の緯度経度情報である場合、緯度と経度の１０進角度での小数点以下（度分秒法での分以下）の値の切り上げ又は切り捨て（四捨五入でも可）を行い、大まかな値の位置情報に変換する。これにより、ユーザの行動に関する情報について、端末装置１０からサーバ装置１００（サーバ側）に伝える情報の内容を制限することができる。また、機械学習の学習データとしての位置情報の情報量を削減し、処理の負荷を軽減することができる。

【0152】

また、上記実施形態において、ベクトルの各要素の値は、便宜上、「０」と「１」とで表現しているが、実際には、「２」以上の数値や、複数桁の数値や、整数部分と小数部分とを有する数値であってもよい。すなわち、実数であればよい。これにより、多次元のベクトルの各要素において複数の情報や詳細な情報を表現することができる。

【0153】

また、上記実施形態において、端末装置１０は、取得した位置情報を位置履歴（例えば、ロケーション履歴、行動履歴等）として蓄積しているが、位置履歴の蓄積が制限又は禁止されている場合には、ベクトル化した状態で蓄積してもよい。例えば、端末装置１０は、個々の位置情報が示す場所に基づいて、位置情報を、「自宅にいる」、「職場にいる」、「店舗にいる」、「屋外にいる」等を示すベクトル値に変換して蓄積してもよい。そして、時系列に沿って同じベクトル値が連続している場合、それらを一括してベクトルとしてもよい。

【0154】

〔９．効果〕
上述してきたように、本願に係る情報処理システム１は、端末装置１０が取得したデータからユーザのコンテキストを示すベクトルを生成する共通モデル（実施形態ではグローバルモデル）を提供するサーバ（実施形態ではサーバ装置１００）と、各々保有するデータを用いて、サーバから受信した共通モデルのパラメータを更新した局所モデル（実施形態ではローカルモデル）を生成し、局所モデルに関する情報である更新用情報をサーバへ送信する複数の端末装置１０とを有する。サーバは、複数の端末装置１０から受信した更新用情報を用いて、共通モデルのパラメータを更新し、更新後の共通モデルを複数の端末装置１０に提供する。

【0155】

これにより、情報処理システム１は、ベクトルを生成するモデルを、複数の端末装置１０が保有するデータを用いて効率的に学習することができる。

【0156】

また、情報処理システム１において、複数の端末装置１０は、共通モデルと局所モデルとの差分を更新用情報としてサーバへ送信する。このように、情報処理システム１は、複数の端末装置１０が差分のみをサーバ装置１００へ送信することにより、通信量を削減し、複数の端末装置１０が保有するデータを外部へ送信することを抑制できる。

【0157】

また、情報処理システム１において、複数の端末装置１０は、保有するデータに欠損がある場合、欠損した欠損データに対する所定の処理を行い、局所モデルを生成する。このように、情報処理システム１は、データに欠損がある場合であっても、複数の端末装置１０が局所モデルの学習ができるため、モデルを効率的に学習することができる。

【0158】

また、情報処理システム１において、複数の端末装置１０は、欠損データを推定し、推定した推定データを用いて、局所モデルを生成する。このように、情報処理システム１は、データに欠損がある場合であっても、複数の端末装置１０が欠損データを推定し局所モデルの学習ができるため、モデルを効率的に学習することができる。

【0159】

また、情報処理システム１において、複数の端末装置１０は、センサ（実施形態では測位部１４またはセンサ部２０）により検知されたセンサ情報を含むデータを用いて局所モデルを生成する。このように、情報処理システム１は、複数の端末装置１０がセンサ情報を用いて局所モデルの学習ができるため、センサ情報に基づくコンテキストを示すベクトルを出力するモデルを効率的に学習することができる。

【0160】

また、情報処理システム１において、複数の端末装置１０は、位置情報を含むデータを用いて局所モデルを生成する。このように、情報処理システム１は、複数の端末装置１０が位置情報を用いて局所モデルの学習ができるため、位置情報に基づくコンテキストを示すベクトルを出力するモデルを効率的に学習することができる。

【0161】

また、情報処理システム１において、共通モデルは、データを入力としてベクトルを出力する。このように、情報処理システム１は、データを入力としてベクトルを出力するモデルを効率的に学習することができる。

【0162】

また、情報処理システム１において、サーバは、各々が端末装置１０を含む複数の第１グループ（実施形態ではコミュニティ）ごとに異なる共通モデルを第１階層共通モデルとして提供し、複数の第１グループの端末装置１０から受信した更新用情報を用いて、複数の第１階層共通モデルの各々のパラメータを更新し、更新後の複数の第１階層共通モデルを用いて、複数の第１階層共通モデルの上位階層のモデルである第２階層共通モデルのパラメータを更新する。このように、情報処理システム１は、複数の階層に対応する複数のモデルを効率的に学習することができる。

【0163】

また、情報処理システム１において、サーバは、各々が第１グループを含む複数の第２グループの各々に対応する複数の第２階層共通モデルのパラメータを更新し、更新後の複数の第２階層共通モデルを用いて、複数の第２階層共通モデルの上位階層のモデルである第３階層共通モデルのパラメータを更新する。このように、情報処理システム１は、複数の階層に対応する複数のモデルを効率的に学習することができる。

【0164】

〔１０．ハードウェア構成〕
また、上述した実施形態に係る端末装置１０やサーバ装置１００は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。以下、サーバ装置１００を例に挙げて説明する。図１２は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

【0165】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

【0166】

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢメモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

【0167】

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

【0168】

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

【0169】

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

【0170】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

【0171】

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0172】

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0173】

例えば、コンピュータ１０００がサーバ装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

【0174】

〔１１．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【0175】

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0176】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0177】

例えば、上述したサーバ装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。

【0178】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0179】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0180】

１ 情報処理システム
１０ 端末装置
１４ 測位部
３０ 制御部
３１ 受信部
３２ 取得部
３３ 処理部
３４ 学習部
３５ 推定部
３６ 送信部
４０ 記憶部
４１ モデル情報記憶部
１００ サーバ装置
１１０ 通信部
１２０ 記憶部
１２１ モデル情報記憶部
１２２ コミュニティ情報記憶部
１３０ 制御部
１３１ 提供部
１３２ 取得部
１３３ 学習部
１３４ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】