特許 6352357 モデル生成装置、モデル生成方法、及びモデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6352357

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】モデル生成装置、モデル生成方法、及びモデル生成プログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20180625BHJP

   G06F 19/00 20180101ALI20180625BHJP

【ＦＩ】

   G06F17/30 220Z

   G06F17/30 340B

   G06F17/30 310Z

   G06F19/00 100

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2016-197333(P2016-197333)

(22)【出願日】2016年10月5日

(62)【分割の表示】特願2014-58467(P2014-58467)の分割

【原出願日】2014年3月20日

(65)【公開番号】特開2017-27614(P2017-27614A)

(43)【公開日】2017年2月2日

【審査請求日】2017年2月27日

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】岡本 慎一郎

(72)【発明者】

【氏名】宮田 明

【審査官】 樋口 龍弥

(56)【参考文献】

【文献】 特開２００９−８７０７４（ＪＰ，Ａ）

【文献】 特開２０１３−２５４３７２（ＪＰ，Ａ）

【文献】 特開２００２−７３６３４（ＪＰ，Ａ）

【文献】 特開２００５−２６７４８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｆ １９／００

(57)【特許請求の範囲】

【請求項1】

少なくともユーザ行動に基づく行動データを含むユーザデータ、及び時系列で変化するユーザの動きに基づいたモーションデータを取得するデータ取得手段と、
前記ユーザデータに基づいて、前記ユーザのオケージョンを推定するオケージョン推定手段と、
前記モーションデータに基づいて、前記ユーザの感情を推定する感情推定手段と、
前記オケージョン推定手段により推定された前記オケージョン、及び前記感情推定手段により推定された前記感情の推移に基づいて、体験モデルデータを生成する体験モデル処理手段と、
を備えたことを特徴とするモデル生成装置。

【請求項2】

請求項１に記載のモデル生成装置において、
前記体験モデル処理手段は、前記オケージョン推定手段により推定された前記オケージョン、及び前記感情推定手段により推定された前記感情の推移に基づいて、前記体験モデルデータを更新する
ことを特徴とするモデル生成装置。

【請求項3】

請求項２に記載のモデル生成装置において
前記体験モデルデータは、前記オケージョンに対する少なくとも１以上の前記感情の推移と、前記少なくとも１以上の前記感情の推移のそれぞれに関連付けられ、前記オケージョンにおける前記感情の推移確率を示す遷移スコアとを含み、
前記体験モデル処理手段は、既に生成されている前記体験モデルデータから、新たに推定した前記オケージョンに対応する前記少なくとも１以上の前記感情の推移を抽出し、新たに推定された前記感情の推移に対応する前記遷移スコアを大きくする
ことを特徴とするモデル生成装置。

【請求項4】

請求項１から請求項３のいずれか１項に記載のモデル生成装置において、
前記感情推定手段は、階層構造を考慮した統計的手法又はクラスタリング手法を用い、前記モーションデータの傾向を示す感情グループを設定し、前記取得したモーションデータが属する感情グループから前記感情を推定する
ことを特徴とするモデル生成装置。

【請求項5】

請求項１から請求項４のいずれか１項に記載のモデル生成装置において、
前記感情推定手段は、前記モーションデータを自己組織化マップに写像し、当該自己組織化マップに基づいて感情を推定する
ことを特徴とするモデル生成装置。

【請求項6】

請求項１から請求項５のいずれか１項に記載のモデル生成装置において、
前記データ取得手段は、前記ユーザの動きを検出する検出センサーから出力される前記モーションデータを取得する
ことを特徴とするモデル生成装置。

【請求項7】

コンピュータにより、体験モデルデータを生成するモデル生成方法であって、
前記コンピュータは、
少なくともユーザ行動に基づく行動情報を含むユーザデータ、及び時系列で変化するユーザの動きに基づいたモーションデータを取得し、
前記ユーザデータに基づいて、前記ユーザのオケージョンを推定し、
前記モーションデータに基づいて前記ユーザの感情を推定し、
前記オケージョン推定手段により推定された前記オケージョン、及び前記感情推定手段により推定された前記感情の推移に基づいて、体験モデルデータを生成する
ことを特徴とするモデル生成方法。

【請求項8】

コンピュータにより読み込み実行されるモデル生成プログラムであって、
前記コンピュータを、請求項１から請求項６のいずれか１項に記載のモデル生成装置として機能させる
ことを特徴とするモデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル生成装置、モデル生成方法、及びモデル生成プログラムに関する。

【背景技術】

【0002】

従来、ユーザの置かれている状況に対する当該ユーザの欲求を予測する装置が知られている（例えば、特許文献１参照）。
特許文献１に記載の装置は、ユーザ行動履歴データベース、ユーザプロファイルデータベース、コンテキスト−欲求組み合わせ確率データベース、及びコンテキスト−欲求データベースを備えている。ここで、ユーザ行動履歴データベースは、各ユーザに対するユーザが選択したアイテムと、そのアイテムを選択することで満たされる基本的欲求の種別とを記録する。ユーザプロファイルデータベースは、各ユーザに対して当該ユーザが日常的にどの程度の欲求を持っているかを示した欲求度を記録する。コンテキスト−欲求組み合わせ確率データベースは、各コンテキスト（ユーザの置かれている状況）に対して、当該コンテキスト状況下で欲求が満足される確率を記録する。コンテキスト−欲求データベースは、各アイテムに対して、ユーザが当該アイテムを選択した際に満足される欲求、及びアイテムを選択するのに適したコンテキストが記録される。

【0003】

そして、この特許文献１の装置は、ユーザ行動履歴データベース、及びユーザプロファイルデータベースにより、ユーザの現在の基本的欲求の強さを算出する。また、日時や温度等に基づいてユーザが現在置かれている状況（コンテキスト）を判定する。そして、コンテキスト−欲求組み合わせ確率データベースを用いて、コンテキストとアイテムが満たすべき欲求との組み合わせを決定する。この後、コンテキスト−欲求データベースを用いて、最適な組み合わせに対するコンテキストに対するアイテムを決定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−２５６１８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、近年、スマートフォン等の携帯端末の普及やインターネット網の発達に伴い、より良いサービスを提供するために、ユーザから提供されたデータに基づいてユーザの行動予測を行うことで、サービスの質を向上させることが望まれている。
上記特許文献１のような装置を用いて、ユーザ行動を予測する場合、ユーザのコンテキストに対する欲求予測を行い、その欲求に対してユーザの行動を予測することが考えられる。しかしながら、コンテキストに対するユーザの欲求は、個々のユーザによって異なるものであり、当該欲求に対してユーザが起こす行動もそれぞれ異なる。また、個々のユーザに対して、同じコンテキスト下で毎回同じ行動を起こすとも限られない。従って、上記のような画一的なデータベースを用いたユーザの欲求予測を用いた行動予測には限界があり、その精度が低下するとの課題があった。

【0006】

本発明は、ユーザの行動予測の精度を向上させるモデル生成装置、モデル生成方法、及びモデル生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のモデル生成装置は、少なくともユーザ行動に基づく行動データを含むユーザデータ、及び時系列で変化するユーザの動きに基づいたモーションデータを取得するデータ取得手段と、前記ユーザデータに基づいて、前記ユーザのオケージョンを推定するオケージョン推定手段と、前記モーションデータに基づいて、前記ユーザの感情を推定する感情推定手段と、前記オケージョン推定手段により推定された前記オケージョン、及び前記感情推定手段により推定された前記感情の推移に基づいて、体験モデルデータを生成する体験モデル処理手段と、を備えたことを特徴とする。

【発明の効果】

【0008】

本発明は、ユーザの動きであるモーションデータに基づいて、当該ユーザの動作状況に対する感情を推定する。また、行動データを少なくとも含むユーザデータに基づいてオケージョン（ユーザの置かれたシチュエーション等）を推定する。なお、行動データとしては、例えば、ユーザの現在位置や、Ｗｅｂの閲覧履歴、操作ログ、生活時間情報、平日休日情報等が含まれる。そして、体験モデル処理手段は、これらのオケージョンに対応する感情の推移から体験モデルデータを生成する。このため、ユーザのオケージョンや当該オケージョンにおける動作状況毎の感情の推移をモデル化でき、高精度な行動予測を行える。

【図面の簡単な説明】

【0009】

【図1】本実施形態におけるユーザの行動予測処理の概略を示す図。

【図2】本実施形態の行動予測システムの概略構成を示すブロック図。

【図3】サーバ装置の概略構成を示すブロック図。

【図4】本実施形態における感情推定処理を示すフローチャート。

【図5】ＨＭＭ（隠れマルコフモデル；Hidden Markov Model）を用いた動作状況の推定メカニズムを示す図。

【図6】モーションデータからＳＯＭ（自己組織化マップ；Self-Organizing Maps）への写像の一例を示す図。

【図7】ＳＯＭの一例であり、（Ａ）は、感情Ａを感じている場合のＳＯＭの特徴部の例であり、（Ｂ）は、感情Ｂを感じている場合のＳＯＭの特徴部の例を示す図。

【図8】本実施形態の行動予測システムにおける体験モデル生成処理を示すフローチャート。

【図9】体験モデル生成手段による体験モデル生成処理の概略を示す図。

【図10】本実施形態の行動予測システムにおける行動予測処理を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明に係る一実施形態の行動予測システムについて、図面に基づいて説明する。
［本実施形態の行動予測システムの概要］
本実施形態における行動予測システムは、人間の行動メカニズム（ニューロサイエンスの知見によるメカニズム）を考慮に入れながら、人間の行動を正確に分析することを目的として本願発明者が考案したものである。
図１は、本実施形態におけるユーザの行動予測処理の概略を示す図である。
本実施形態では、人間の行動メカニズムを参考にしたメカニズムを用いて、ユーザの行動を高度に予測するものであり、図１に示すような処理を実施することでこれを実現する。
すなわち、本実施形態の行動予測システムは、ユーザが保有するユーザ端末から入力された各種入力データを受信する（入力処理）と、その受信した入力データに基づいて、ユーザの置かれた状況（シチュエーション等）を推定する（オケージョン推定処理）。また、同時に、入力データに基づいて、状況に対するユーザが抱く感情や情動を推定する（感情推定処理）。そして、これらのオケージョン処理結果、感情推定処理結果からその特徴部分を抽出し（特徴抽出処理）、体験モデルデータを生成して（体験モデル生成処理）、記憶部に記憶する（体験モデル記憶処理）。さらに、記憶部に記憶された体験モデルデータを参照し（体験モデル参照処理）、この体験モデルデータ、オケージョン処理結果、及び感情推定処理結果に基づいて、ユーザの行動を予測し（行動予測処理）、出力する（出力処理）。

【0011】

［行動予測システムの構成］
次に、上記のような処理を実現する行動予測システムの具体的な構成について説明する。
図２は、本発明の行動予測システムの概略構成を示すブロック図である。
図２に示すように、本実施形態の行動予測システム１は、ユーザ端末１０と、本発明の行動予測装置としても機能するサーバ装置２０と、を備え、これらのユーザ端末１０及びサーバ装置２０がネットワーク（例えばインターネット等のＷＡＮ（Wide Area Network））を介して通信可能に接続されている。
行動予測システム１では、サーバ装置２０は、ユーザ端末１０から受信した各種データを用い、図１における各種処理を実施することで、ユーザ端末１０を所持するユーザの行動を予測する。

【0012】

［ユーザ端末の構成］
ユーザ端末１０は、例えばスマートフォンやタブレット端末等の携帯型端末装置（コンピューター）であり、複数のモバイルセンサー１１と、位置検出部１２と、表示部１３と、入力操作部１４と、端末通信部１５と、端末記憶部１６と、端末制御部１７と、を含んで構成される。

【0013】

モバイルセンサー１１は、携帯型端末装置に標準装備される各種センサーであり、加速度センサー、ジャイロセンサー、地磁気センサー等を含む。また、これらの各センサーの検出値を用いたセンサーを含めてもよい。このようなセンサーとしては、例えばユーザ端末１０の姿勢を検出するモーションセンサー等が挙げられる。
そして、モバイルセンサー１１は、ユーザ端末１０を所持したユーザが身体を動かすことで、身体の動きを検出し、モーションデータとして出力する。例えば加速度センサーから出力されるモーションデータは、Ｘ軸方向に沿った加速度、Ｙ軸方向に沿った加速度、Ｚ軸方向に沿った加速度となる。

【0014】

位置検出部１２は、例えばＧＰＳ（Global Positioning System）装置等により構成され、ユーザ端末１０の現在位置を測位する。
表示部１３は、例えば液晶ディスプレイ等により構成され、端末制御部１７の制御の下、所定の画像を表示させる。
入力操作部１４は、表示部１３と一体に設けられたタッチパネルにより構成されており、ユーザ操作による操作信号を端末制御部１７に出力する。なお、タッチパネルの例を示すが、キーボードやマウス等の入力装置が接続可能な構成とし、当該入力装置を入力操作部１４として用いてもよい。
端末通信部１５は、例えば携帯電話回線（例えば３Ｇ回線等）等を用いて、サーバ装置２０やネットワーク上の所定の装置と通信する。

【0015】

端末記憶部１６は、例えばメモリ、ハードディスク等のデータ記録装置により構成されている。端末記憶部１６には、例えば、行動予測システムにおける行動予測処理を実施するための各種プログラム（アプリケーション等）や各種データが記録される。
また、端末記憶部１６には、例えば、ユーザ端末１０のユーザに関するデモグラフィックデータ（例えば、性別、年齢、居所等）、ユーザ端末１０の操作ログやインターネット接続のアクセスログ等のログデータを記録する。また、ユーザ端末１０の使用時間等によって判定される、ユーザの生活時間を示した生活時間帯データや平日休日データ等が記録されている。
さらに、端末記憶部１６には、その他、ユーザ端末１０を制御するための各種プログラム等が記憶される。

【0016】

端末制御部１７は、ＣＰＵ（Central Processing Unit）等の演算回路、ＲＡＭ（Random Access Memory）等の記憶回路により構成され、ユーザ端末１０の各部を制御する。端末制御部１７は、端末記憶部１６等に記憶されているプログラム（ソフトウェア）をＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働で、各種処理を実行する。具体的には、端末制御部１７は、上記プログラムを読み込み実行することで、ユーザの入力操作部１４の操作に応じて、モバイルセンサー１１を起動させ、各センサーからの出力値（モーションデータ）を検出したり、位置検出部１２により現在位置を検出させたりする。また、端末制御部１７は、ユーザの入力操作部１４の操作に応じて、ユーザにより選択された各種ユーザデータ（ログデータや、デモグラフィックデータ、生活時間帯データや平日休日データ、位置データ等）や、モーションデータ等をサーバ装置２０に送信する。

【0017】

［サーバ装置の構成］
図３は、本実施形態のサーバ装置２０を示すブロック図である。
本実施形態のサーバ装置２０は、コンピュータであり、通信部２１と、記憶部２２（記憶手段）と、制御部２３と、等を含んで構成されている。
通信部２１は、例えばＬＡＮ等を介してネットワークに接続されており、ネットワークを介してユーザ端末１０と通信する。

【0018】

記憶部２２は、例えばメモリ、ハードディスク等により構成されたデータ記録装置である。
この記憶部２２には、行動予測システムにおける行動予測処理を実施するための感情推定プログラムや行動予測プログラム等の各種プログラムや各種データが記録される。
記憶部２２に記録される各種データとして、オケージョン処理を実施するためのオケージョン処理用データが記録される。オケージョン処理用データは、例えばユーザを識別するユーザＩＤ毎に設けられ、それぞれ、ユーザ端末１０から送信された各種ユーザデータが蓄積記憶されている。各種ユーザデータとしては、例えば、ユーザ端末１０の位置検出部１２により検出されたユーザが滞在するエリア、当該エリアに滞在した日時、デモグラフィックデータ、ログデータ、平日休日データ、生活時間帯データ等であり、ユーザにより指定（生成）されたデータとなる。

【0019】

また、記憶部２２には、各種データとして、体験モデルデータが記録される。体験モデルデータは、オケージョン推定処理の処理結果、感情推定処理の処理結果に基づいて生成され、記憶部２２に記録されている。なお、体験モデルデータの詳細については、後述する。

【0020】

制御部２３は、ＣＰＵ等の演算回路、ＲＡＭ等の記憶回路により構成され、記憶部２２等に記憶されているプログラム（ソフトウェア）をＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働で、各種処理を実行する。そして、制御部２３は、上記各種処理を実行することで、図３に示すように、データ取得手段２３１、オケージョン推定手段２３２、動作状況推定手段２３３、感情推定手段２３４、特徴抽出手段２３５、体験モデル生成手段２３６（体験モデル処理手段）、行動予測手段２３７、及び出力手段２３８等として機能する。
データ取得手段２３１は、図１における入力処理を実施し、ユーザ端末１０から入力されたモーションデータや、各種ユーザデータを取得する。
オケージョン推定手段２３２は、記憶部２２に記憶された各種ユーザデータに基づいて、オケージョン推定処理を実施する。

【0021】

動作状況推定手段２３３は、モーションデータに基づいて、ユーザの運動状況（例えば、歩いている、走っている、立っている、座っている等の具体的なユーザの動き；Action）、ユーザの行動状況（例えば、買い物中、運転中、バス移動中等のユーザの行動内容；Activity）、及びユーザ端末１０の所持位置（例えば、ズボンのポケットに所持、シャツの胸ポケットに所持、手に所持、手提げ鞄に所持等）の組み合わせを推定する。なお、本発明において運動状況、行動状況、及びユーザ端末１０の所持位置の組み合わせを動作状況と称する。
感情推定手段２３４は、モーションデータに基づいて、感情推定処理を実施する。
特徴抽出手段２３５は、特徴抽出処理を実施し、オケージョン推定処理の処理結果、及び感情推定処理の処理結果を受け、これらの処理結果から特徴部分を抽出する。
体験モデル生成手段２３６は、体験モデル生成処理を実施し、抽出された特徴部分に基づいた体験モデルデータを生成する。また、体験モデル記憶処理を実施し、生成した体験モデルデータを記憶部２２に記憶する。
行動予測手段２３７は、体験モデル参照処理及び行動予測処理を実施し、記憶部２２に記憶された体験モデルデータを参照して、オケージョン推定処理及び感情推定処理により推定されたオケージョンデータ（シチュエーション）及びユーザの感情又は情動等に基づいて、ユーザの行動を予測する。
出力手段２３８は、予測された行動を出力する。なお、出力された行動に基づいて、各種サービスを提供してもよい。例えば、予測された行動が、「買い物に出かける」場合に、店舗広告を送信する等の処理を行ってもよい。

【0022】

［行動予測システムの動作］
次に、上記のような行動予測システム１のサーバ装置２０の動作について、図面に基づいて説明する。
［感情推定処理］
図４は、本実施形態の行動予測システム１における、感情推定処理を示すフローチャートである。
本実施形態の行動予測システム１における感情推定処理では、まず、サーバ装置２０のデータ取得手段２３１は、ユーザ端末１０から入力される所定期間における時系列のモーションデータを取得する（ステップＳ１）。
取得するモーションデータとしては、例えば、ユーザが指定した開始タイミングから、終了タイミングの期間のモーションデータであってもよく、ユーザの指定した開始タイミングから予め設定した期間のモーションデータをモバイルセンサー１１（検出センサー）から検出し、検出した当該期間のモーションデータを受信してもよい。また端末制御部１７の制御により定期的に予め設定された期間に取得されたモーションデータを取得してもよい。

【0023】

この後、動作状況推定手段２３３は、取得したモーションデータに基づいて、ユーザの動作状況を推定する（ステップＳ２）。
図５は、ＨＭＭ（隠れマルコフモデル；Hidden Markov Model）を用いた動作状況の推定メカニズムを示す図である。
このステップＳ２では、図５に示すように、動作状況推定手段２３３は、取得したモーションデータに基づいて、ＨＭＭを用いて、ユーザの運動状況を推定し、推定された運動状況の時系列に沿った変化に基づいて、ユーザの行動状況を推定する。
例えば、モーションデータとして、３軸（X,Y,Z軸）方向に沿った加速度の時系列に沿った変化（遷移状態）を示すデータが得られた場合、当該３軸方向の加速度の値から、ユーザの運動状況が歩いているか、走っているか、立ち止まっているか、上がっているか、下がっているか等の動きを推定することができる。
また、これらの動きの時系列に沿う遷移状態から、ユーザが今何をしているかを推定することができる。例えば、上下の振動を伴い、かつ時速６０キロメートルで走っている場合では、電車に乗っている等である。ＨＭＭを用いることで、モーションデータにおける３軸方向の加速度等から、ユーザの運動状況や、行動状況を高精度に推定することが可能となる。

【0024】

次に、感情推定手段２３４は、取得したモーションデータに基づいて、各動作状況下における感情又は情動を推定する。具体的には、感情推定手段２３４は、まず、推定した動作状況毎のモーションデータを、自己組織化マップ（ＳＯＭ；Self-Organizing Maps）に写像する（ステップＳ３）。
モーションデータは、複数のモバイルセンサー１１の出力値であり、高次データとなる。ステップＳ３では、このような高次データを、より低次のＳＯＭに写像することで、その特徴を検出しやすくできる。
図６は、モーションデータからＳＯＭへの写像の一例を示す図である。
図７は、ＳＯＭの一例であり、（Ａ）は、感情Ａを感じている場合のＳＯＭの特徴部の例であり、（Ｂ）は、感情Ｂを感じている場合のＳＯＭの特徴部の一例である。
このようなＳＯＭを時系列に取得すると、図７に示すように、ＳＯＭの一部にユーザの感情を示す特徴部Ｐが現れる。図７に示すようなＳＯＭにおける特徴部Ｐの現れる位置を判定することで、ユーザの感情又は情動を推定することが可能となる。すなわち、ユーザの感情や情動は、ユーザの微小な動きの変化として現れる。モーションデータを写像したＳＯＭは、モーションデータの傾向を示すものであり、これは、ユーザの感情や情動を示すデータとなる。

【0025】

ステップＳ３の後、感情推定手段２３４は、上記のようなＳＯＭに現れる特徴部Ｐに基づいて、ユーザの感情を推定する（ステップＳ４）。具体的には、推定した動作状況毎のＳＯＭを特徴部Ｐが現れる位置毎にグーピングし、各グループの代表ＳＯＭ（例えば各ＳＯＭの平均データや中央データ）を設定する。そして、例えば新たなモーションデータに基づいたＳＯＭが取得された際に、当該ＳＯＭに対し所定以上の類似度を有する代表ＳＯＭのグループを選択することで、当該新たなＳＯＭが属するグループを分類する。これらのグループは、動作状況毎の典型的な感情や情動を示す感情（情動）グループとなり、このグループに基づく分類により、推定結果であるユーザの感情が特定される。このような感情推定では、例えばモーションデータ毎に「怒り」、「喜び」等といった感情毎の属性ラベルを付すための教師データや、教師データによるラベリング処理が不要となり、高精度な感情推定と、処理の簡略化との双方を図ることができる。
ところで、ＳＯＭは、上記のように、個人差があり、その分布は、単純な二項分布等に従わない。このような個人差をなくした精度の高い感情推定を実施するために、本実施形態では、階層ベイズモデルを用いた感情推定を実施する。
この階層ベイズモデルは、過去に取得されて記憶部２２に記憶され、同一の動作状況に対応した同一の感情（情動）グループに属するＳＯＭの分布に基づいて生成される。また、感情推定処理により用いられるＳＯＭは、順次記憶部２２に蓄積されることで、階層ベイズモデルを用いた感情推定の精度が向上する。

【0026】

［体験モデル生成処理］
次に、本実施形態の行動予測システム１における体験モデル生成処理について説明する。
図８は、本実施形態の行動予測システム１における、体験モデル生成処理を示すフローチャートである。
本実施形態の行動予測システム１における体験モデル生成処理では、まず、本実施形態のサーバ装置２０のデータ取得手段２３１は、ユーザ端末１０から入力される所定期間における時系列のモーションデータ、及び各種ユーザデータを取得する（ステップＳ１１）。

【0027】

次に、オケージョン推定手段２３２は、ステップＳ１１において取得したユーザデータに基づいて、オケージョン推定処理を実施する（ステップＳ１２）。
このステップＳ１２では、オケージョン推定手段２３２は、位置データ及び当該位置データが取得された日時、休日平日データ、生活時間帯データ、及びログデータに基づいて、ユーザのオケージョンを推定する。ここで、オケージョンとは、ユーザの活動が関係する諸々の情報で、存在するエリア（自宅、職場、移動手段など）、環境情報（季節、天候、混雑など）、行動パターン・活動サイクル（起床、在宅中、帰宅など）、Web閲覧情報（カテゴリ、閲覧履歴など）などを含む。例えば、時系列に沿った単一データ（例えば、所定時刻における位置データ）に基づいて、ユーザの現在の存在エリアを推定することができ、さらに、同時に送信された平日休日データ、生活時間帯データ、ログデータ等に基づいて、ユーザの行動（例えば在宅中、勉強中、仕事中、就寝中等）を推定することができる。
また、時系列に沿った系列データ（例えば、所定の期間における位置データ）を取得することで、ユーザのエリア移動を推定することができる。また、系列データからも同様に、ユーザの行動を推定することができる。
さらに、ユーザデータを長期蓄積することで、ユーザの通勤経路や、エリア訪問頻度、よく行う行動、プロファイル等を推定することもできる。

【0028】

次に、動作状況推定手段２３３及び感情推定手段２３４は、取得したモーションデータに基づいて、各動作状況下における感情又は情動を推定する（ステップＳ１３）。このステップＳ１３は、上述した感情推定処理（ステップＳ１〜ステップＳ４）と同様であるので、ここでの説明は省略する。

【0029】

そして、特徴抽出手段２３５は、ステップＳ１２において推定されたオケージョン毎に、ステップＳ１３で推定された動作状況に対応する感情の特徴を抽出する（ステップＳ１４）。この感情の特徴は、上記感情推定処理において特徴部Ｐを特定可能なＳＯＭである。すなわち、特徴部Ｐを有するＳＯＭを、時系列に沿って順次抽出することで、ユーザの感情の推移が抽出されることになる。

【0030】

この後、体験モデル生成手段２３６は、抽出された時系列に沿ったＳＯＭに基づいて、体験モデルデータを生成する（ステップＳ１５）。
図９は、体験モデル生成手段２３６による体験モデル生成処理の概略を示す図である。
体験モデル生成手段２３６は、ステップＳ１４で抽出されたＳＯＭ（時系列ＳＯＭ）を蓄積し、蓄積された時系列ＳＯＭを用いて、既に記憶部２２に記憶されている体験モデルデータをより高精度なモデルにする学習処理を実施し、更新する。
学習処理としては、図９に示すように、スコア計算処理、勝者ノード決定処理、重み決定処理、学習データ更新処理、及びモデル学習処理を順に実施する。

【0031】

スコア計算処理は、入力された時系列ＳＯＭのスコアを算出する。すなわち、記憶部２２に記憶された体験モデルデータにおけるＳＯＭの遷移状態と比較し、時系列ＳＯＭと体験モデルデータとの類似度を算出する。体験モデルデータにおける類似度が高い部分が、更新対象となる。

【0032】

勝者ノード決定処理は、体験モデルデータにおいて、時系列ＳＯＭと同じ遷移状態のＳＯＭを決定する。つまり、図９に示すように、体験モデルデータは、１つのＳＯＭから複数のＳＯＭに対して遷移するモデルを記録し、取得した時系列ＳＯＭと同じＳＯＭに遷移したノードを勝者ノードとして決定する。
重み決定処理は、勝者ノード決定処理において決定した勝者ノードを介した遷移スコア（重み）を大きくし、勝者ノード以外の遷移スコアを小さくするように、各遷移スコアを決定する。
学習データ更新処理は、決定した遷移スコアを体験モデルデータにおける各ノードに記録して更新する。
モデル学習処理は、時系列ＳＯＭに対応した遷移状態がない場合に、体験モデルデータに新たなモデルとして取得した時系列ＳＯＭのＳＯＭ遷移経路を追加する。

【0033】

［行動予測処理］
次に、本実施形態の行動予測システム１における行動予測処理（行動予測方法）について説明する。
図１０は、本実施形態の行動予測システム１における、行動予測処理を示すフローチャートである。
行動予測処理では、サーバ装置２０のデータ取得手段２３１は、ステップＳ１１と同様、ユーザ端末１０から入力される所定期間における時系列のモーションデータ、及び各種ユーザデータを取得する。
この後、オケージョン推定手段２３２は、ステップＳ１２と同様にオケージョン推定処理を実施し、また、動作状況推定手段２３３及び感情推定手段２３４は、ステップＳ１３（ステップＳ１〜Ｓ４）と同様に、感情推定処理を実施する。

【0034】

この後、行動予測手段２３７は、記憶部２２から体験モデルデータを読み出す（ステップＳ２１）。
そして、行動予測手段２３７は、体験モデルデータから、ステップＳ１２により推定されたオケージョン及びステップＳ１３のステップＳ２により推定された動作状況に対応したＳＯＭの遷移パターンと、同一パターンで遷移するパターンを抽出する。
なお、完全に同一パターンとなっていなくてもよく、例えば、ステップＳ３で取得されるＳＯＭの遷移パターンとの類似度が所定閾値以内である一部を抽出すればよい。
そして、行動予測手段２３７は、体験モデルデータの抽出したパターンの遷移スコアに基づいて、次の遷移パターンとなるＳＯＭ、及び当該ＳＯＭに関連付けられたオケージョンや動作状況を取得、すなわち、行動予測を行う。

【0035】

この後、出力手段２３８は、予測されたＳＯＭに対応するオケージョン及び動作状況を行動予測結果として出力する（ステップＳ２２）。
行動予測結果の出力先は、例えばユーザ端末１０であってもよいが、ユーザ端末１０に対してサービスを提供するサービスサーバ等が好ましい。サービスサーバとしては、例えばユーザ端末１０に対して広告データを提供する広告サーバ等が挙げられ、行動予測に基づいた最適な広告をユーザ端末１０に提供することができる。
なお、ステップＳ２２において、ＳＯＭの遷移パターンに対して、類似度が高いパターンがない場合は、上述した体験モデル生成処理を実施し、ＳＯＭの遷移パターンに基づいた体験モデルデータが更新される。この場合、ステップＳ２３では、類似パターンが見当たらない旨を出力すればよい。

【0036】

［本実施形態の作用効果］
上述したような行動予測システム１では、サーバ装置２０が本発明の行動予測装置として機能し、データ取得手段２３１により、ユーザ端末１０から送信された、位置データやログデータ、平日休日データ、生活時間帯データ等の行動データを含むユーザデータ、及び時系列に沿ったモーションデータを取得する。オケージョン推定手段２３２は、取得されたユーザデータに基づいて、ユーザが置かれているシチュエーション等を示すオケージョンを推定する。また、動作状況推定手段２３３及び感情推定手段２３４は、モーションデータに基づいて、ユーザの動作状況や当該動作状況における感情や情動を推定する。そして、行動予測手段２３７は、記憶部２２に記憶された体験モデルデータと、推定されたオケージョンと、推定された感情や情動とに基づいて、ユーザ行動を予測する。
ここで、体験モデルデータには、時系列に沿ったＳＯＭの遷移パターンがモデル化されたものであり、すなわち、所定のオケージョンにおいて、所定の動作を行っている人の感情の推移が記録されている。言い換えれば、推定されたユーザのオケージョン及び動作状況における感情の推移が、体験モデルデータのモデルと同じような推移状態である場合、これに続く当該ユーザの感情も体験モデルデータと同様に推移する可能性が高く、この際、ユーザの動作状況やオケージョンも体験モデルデータと同じように遷移する可能性が高い。したがって、行動予測手段２３７は、このような体験モデルデータ、推定されたオケージョン、動作状況、感情や情動を用いて行動予測を実施することで、ユーザの行動を高精度に予測することができる。
また、本実施形態では、感情推定処理において、ユーザ端末１０から送信されるモーションデータを用いる。したがって、ユーザの心境の変化に応じて現れるユーザの実際の動きの変化に基づいた感情推定を実施するものであり、例えば画一的なデータベースに基づいて感情推定を実施する場合に比べて、感情推定の精度を向上させることができる。したがって、このような感情推定結果に基づいた行動推定においてもその精度を向上させることができる。

【0037】

本実施形態では、モーションデータとして、ユーザ端末１０のモバイルセンサー１１により検出されたデータを用いている。このようにモバイルセンサー１１で検出された検出値により、ユーザの実際の動きを忠実に再現することができ、感情推定を精度よく実施できる。また、ユーザ端末１０に設けられたモバイルセンサー１１からの出力値をそのまま利用することができ、ユーザのデータ入力操作等が不要となる。

【0038】

本実施形態では、オケージョン推定処理により推定されたオケージョンと、感情推定処理により推定された動作状況単位のＳＯＭの遷移を抽出して時系列ＳＯＭとして取得し、時系列ＳＯＭを用いて、体験モデルデータを生成する。また、得られた時系列ＳＯＭにより、学習処理を実施して記憶部２２に記憶された体験モデルデータを更新する。
これにより、体験モデルデータとして、ユーザのオケージョンや当該オケージョンにおける動作状況毎の感情の推移をモデル化でき、高精度な行動予測を行える。また、複数のユーザから得られたオケージョン推定結果や感情推定結果に基づいて、体験モデルデータを生成することで、複数のユーザにおける、各オケージョンの各動作状況に対する平均的な感情の推移状態を求めることができる。このような体験モデルデータにより、複数のユーザが、所定のシチュエーションに遭遇した際に共通して感じる感情や、共通する行動内容等を把握でき、ユーザのニーズ分析を高精度に行うことができる。したがって、当該ニーズに基づいた質の高いサービスを提供することができる。

【0039】

本実施形態では、感情推定手段２３４は、モーションデータの傾向を見るために、取得したモーションデータをＳＯＭに写像し、当該ＳＯＭの特徴部Ｐに基づいて、感情を推定する。
このため、複数のセンサーを用いた高次の検出結果（モーションデータ）が入力された場合でも、低次のＳＯＭに落とし込むことで、特徴部Ｐの判定が容易となり、感情推定の精度を向上させることができる。
また、体験モデル生成手段２３６により、体験モデルデータを生成する際にも、これらのＳＯＭの時系列の推移（時系列ＳＯＭ）を用いて、体験モデルデータを生成する。このため、体験モデルデータを用いた行動予測においても、モーションデータに基づいて生成されるＳＯＭとの比較により容易にユーザの行動を予測することができる。

【0040】

［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。

【0041】

［変形例１］
上記実施形態では、ステップＳ２の動作状況の推定において、ＨＭＭを使用してモーションデータから運動状況及び行動状況を推定したが、これに限定されない。例えば、動作状況の推定方法として、確率モデル、統計的回帰モデル、及びニューラルネットワークのいずれかを用いて動作状況を推定することができ、例えばロジスティック回帰や、多層パーセプトロン（Multi Layer Perceptron）等を用いることができる。

【0042】

［変形例２］
上記実施形態では、ステップＳ３において、モーションデータをＳＯＭに写像する例を示したが、これに限定されない。モーションデータの傾向を判別するためには、例えば、モーションデータを複数のデータに分割してこれらの分割データの分布に基づいて、感情又は情動を推定する手法を用いてもよい。当該方法としては、例えば、「Construction of effective free energy landscape from single-molecule time series，Akinori Babaand Tamiki Komatsuzaki，PNAS，Dec 4，2007，Vol.104，no.49，19297-19302ａ」等に
紹介される技術を用いることができる。

【0043】

［変形例３］
上記実施形態において、ＳＯＭの個人差をなくした高精度な感情推定を実施するために、階層ベイズモデルを用いる例を示したが、これに限定されない。
例えば、階層構造を考慮したカーネル法を用いてもよい。すなわち、記憶部２２に蓄積されたＳＯＭを、写像関数を用いてある空間に写像してクラスタリング処理を実施することで、各感情に対応した感情グループを設定し、これらの感情グループに基づいて感情を推定する。
このような手法しては、例えば、ＳＶＣ(Support Vector Machine)、ＬＤＡ(Linear Discriminant Analysis)、ＰＣＡ(Principal Component Analysis)、ディープラーニング等を挙げることができる。

【0044】

［変形例４］
上記実施形態において、ステップＳ１５の体験モデル生成処理として、時系列ＳＯＭを用いて、遷移ＳＯＭに対する遷移スコアを変更する学習処理を実施して記憶部２２に記憶されている体験モデルデータを更新する例を示したが、これに限定されない。
例えば、体験モデル生成手段２３６は、時系列ＳＯＭから、時系列階層ＳＯＭモデル（参考文献：Probabilistic reasoning in intelligent systems: networks of plausible inference，Judea Pearl，1988）を用いて体験モデリング生成を行ってもよい。また、Growing Hierarchical Self-Organizing Map（参考文献：The Growing Hierarchical Self-Organizing Map: Exploratory Analysis of High-Dimensional Data (2002)，Andreas Rauber , Dieter Merkl , Michael Dittenbach）を用いた体験モデル生成を行ってもよい。

【0045】

［変形例５］
上記実施形態では、行動予測システム１を例示し、ユーザ端末１０からデータを取得したサーバ装置２０を本発明の感情予測装置として機能させる例を示したがこれに限定されない。
例えば、ユーザ端末１０を本発明の感情予測装置として機能させてもよい。この場合、端末制御部１７が、端末記憶部１６に記憶されたプログラムを読み出し実行することで、上記オケージョン推定手段２３２、動作状況推定手段２３３、感情推定手段２３４、特徴抽出手段２３５、体験モデル生成手段２３６、及び行動予測手段２３７として機能させる。また、このような構成では、ユーザ端末１０自身で常時モーションデータを監視することで、常にユーザの感情、情動、シチュエーション、動作状況に応じた最適な処理を実施できる。例えば、感情推定処理によりユーザの感情や情動を推定し、その感情や情動に応じた音楽を再生させたり、ユーザの感情に対して最適なアプリケーションを紹介する画面を表示させたりすることができる。また、行動予測処理により、例えばユーザが公共交通機関で移動すると判定した場合に、音声出力を自動的にオフにする（いわゆるマナーモードに設定する）等の処理をしてもよい。ユーザの感情や行動予測に応じた処理であるため、これらの処理が煩わしいと感じられる可能性が低く、適正なサービスを提供できる。

【0046】

その他、本発明の実施の際の具体的な構造及び手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

【符号の説明】

【0047】

１…行動予測システム、１０…ユーザ端末、１１…モバイルセンサー(検出センサー)、２０…サーバ装置（行動予測装置）、２２…記憶部、２３…制御部、２３１…データ取得手段、２３２…オケージョン推定手段、２３３…動作状況推定手段、２３４…感情推定手段、２３５…特徴抽出手段、２３６…体験モデル生成手段、２３７…行動予測手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】