特許第6054902号(P6054902)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧
特許6054902感情推定装置、感情推定方法、及び感情推定プログラム
<>
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000002
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000003
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000004
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000005
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000006
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000007
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000008
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000009
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000010
  • 特許6054902-感情推定装置、感情推定方法、及び感情推定プログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6054902
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】感情推定装置、感情推定方法、及び感情推定プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20161219BHJP
   G06F 19/24 20110101ALI20161219BHJP
【FI】
   G06F3/01 570
   G06F19/24
【請求項の数】6
【全頁数】15
(21)【出願番号】特願2014-58466(P2014-58466)
(22)【出願日】2014年3月20日
(65)【公開番号】特開2015-184763(P2015-184763A)
(43)【公開日】2015年10月22日
【審査請求日】2015年9月17日
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】岡本 慎一郎
(72)【発明者】
【氏名】宮田 明
【審査官】 萩島 豪
(56)【参考文献】
【文献】 特開2007−058844(JP,A)
【文献】 特開2012−212364(JP,A)
【文献】 国際公開第2013/164911(WO,A1)
【文献】 特開2007−116542(JP,A)
【文献】 甲斐 久規 ほか3名,加速度センサを用いたニューラルネットワークによる歩行動作時の感情推定に関する研究,第54回 システム制御情報学会 研究発表講演会講演論文集,2010年 5月19日,p.221-222
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 19/24
(57)【特許請求の範囲】
【請求項1】
時系列で変化するユーザの動きに応じたユーザ端末の位置及び姿勢の時系列の変化に基づくデータであり、複数種の検出センサーから得られる高次データであるモーションデータを取得するデータ取得手段と、
前記モーションデータに基づいて、前記ユーザの動作状況を推定する動作推定手段と、
推定された前記動作状況に対応する前記モーションデータの傾向を示し、前記モーションデータよりも低次のデータとなる、前記モーションデータを写像した自己組織化マップを生成し、前記自己組織化マップにおける特徴部を検出することで前記ユーザの感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【請求項2】
請求項1に記載の感情推定装置において、
前記感情推定手段は、階層構造を考慮した統計的手法又はクラスタリング手法を用い、前記モーションデータの傾向を示す感情グループを設定し、前記取得したモーションデータが属する感情グループから前記感情を推定する
ことを特徴とする感情推定装置。
【請求項3】
請求項2に記載の感情推定装置において、
前記感情推定手段は、階層ベイズモデルを用いて前記モーションデータの傾向から前記感情を推定する
ことを特徴とする感情推定装置。
【請求項4】
請求項1から請求項のいずれか1項に記載の感情推定装置において、
前記動作推定手段は、確率モデル、統計的回帰モデル、及びニューラルネットワークのいずれかを用いて、前記モーションデータから前記動作状況を推定する
ことを特徴とする感情推定装置。
【請求項5】
コンピュータにより、ユーザの感情を推定する感情推定方法であって、
前記コンピュータは、
時系列で変化する前記ユーザの動きに応じたユーザ端末の位置及び姿勢の時系列の変化に基づくデータであり、複数種のセンサーから得られる高次データであるモーションデータを取得し、
前記モーションデータに基づいて、前記ユーザの動作状況を推定し、
推定された前記動作状況に対応する前記モーションデータの傾向を示し、前記モーションデータよりも低次のデータとなる、前記モーションデータを写像した自己組織化マップを生成し、前記自己組織化マップにおける特徴部を検出することで前記ユーザの感情を推定する
ことを特徴とする感情推定方法。
【請求項6】
コンピュータにより読み込み実行される感情推定プログラムであって、
前記コンピュータを、請求項1から請求項のいずれか1項に記載の感情推定装置として機能させる
ことを特徴とする感情推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力データに基づいてユーザの感情を推定する感情推定装置、感情推定方法、及び感情推定プログラムに関する。
【背景技術】
【0002】
従来、ユーザの置かれている状況に対する当該ユーザの欲求を予測する装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の装置は、ユーザ行動履歴データベース、ユーザプロファイルデータベース、コンテキスト−欲求組み合わせ確率データベース、及びコンテキスト−欲求データベースを備えている。ここで、ユーザ行動履歴データベースは、各ユーザに対するユーザが選択したアイテムと、そのアイテムを選択することで満たされる基本的欲求の種別とを記録する。ユーザプロファイルデータベースは、各ユーザに対して当該ユーザが日常的にどの程度の欲求を持っているかを示した欲求度を記録する。コンテキスト−欲求組み合わせ確率データベースは、各コンテキスト(ユーザの置かれている状況)に対して、当該コンテキスト状況下で欲求が満足される確率を記録する。コンテキスト−欲求データベースは、各アイテムに対して、ユーザが当該アイテムを選択した際に満足される欲求、及びアイテムを選択するのに適したコンテキストが記録される。
【0003】
そして、この特許文献1の装置は、ユーザ行動履歴データベース、及びユーザプロファイルデータベースにより、ユーザの現在の基本的欲求の強さを算出する。また、日時や温度等に基づいてユーザが現在置かれている状況(コンテキスト)を判定する。そして、コンテキスト−欲求組み合わせ確率データベースを用いて、コンテキストとアイテムが満たすべき欲求との組み合わせを決定する。この後、コンテキスト−欲求データベースを用いて、最適な組み合わせに対するコンテキストに対するアイテムを決定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012−256183号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記特許文献1では、コンテキストに対するユーザの欲求やアイテムが予め設定されてデータベースに登録されている。しかしながら、コンテキストに対するユーザの欲求は、個々のユーザによって異なるものであり、当該欲求に対してユーザが求めるアイテムもそれぞれ異なる。また、個々のユーザに対しても、同じ状況下で毎回同じ欲求があるとも限られず、その欲求に対して同じアイテムを求められるとも限らない。したがって、上記のような画一的なデータベースを用いたユーザの欲求予測(感情予測)では限界があるという課題がある。
【0006】
本発明は、ユーザの感情や情動を精度よく推定可能な感情推定装置、感情推定方法、及び感情推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の感情推定装置は、時系列で変化するユーザの動きに応じたユーザ端末の位置及び姿勢の時系列の変化に基づくデータであり、複数種の検出センサーから得られる高次データであるモーションデータを取得するデータ取得手段と、前記モーションデータに基づいて、前記ユーザの動作状況を推定する動作推定手段と、推定された前記動作状況に対応する前記モーションデータの傾向を示し、前記モーションデータよりも低次のデータとなる、前記モーションデータを写像した自己組織化マップを生成し、前記自己組織化マップにおける特徴部を検出することで前記ユーザの感情を推定する感情推定手段と、を備えることを特徴とする。
【発明の効果】
【0008】
本発明は、ユーザの動きであるモーションデータに基づいて、当該ユーザがどのような動作状況であるかを推定し、モーションデータの傾向から推定した動作状況に対応するユーザの感情を推定する。このような発明では、ユーザの実際の動きに応じて、感情を推定するため、例えば、画一的に設けられたデータベースに基づいてユーザの感情を推定する場合に比べて、ユーザの感情や情動の推定精度を向上させることができる。
【図面の簡単な説明】
【0009】
図1】本実施形態におけるユーザの行動予測処理の概略を示す図。
図2】本実施形態の行動予測システムの概略構成を示すブロック図。
図3】サーバ装置の概略構成を示すブロック図。
図4】本実施形態における感情推定処理を示すフローチャート。
図5】HMM(隠れマルコフモデル;Hidden Markov Model)を用いた動作状況の推定メカニズムを示す図。
図6】モーションデータからSOM(自己組織化マップ;Self-Organizing Maps)への写像の一例を示す図。
図7】SOMの一例であり、(A)は、感情Aを感じている場合のSOMの特徴部の例であり、(B)は、感情Bを感じている場合のSOMの特徴部の例を示した図。
図8】本実施形態の行動予測システムにおける体験モデル生成処理を示すフローチャート。
図9】体験モデル生成手段による体験モデル生成処理の概略を示す図。
図10】本実施形態の行動予測システムにおける行動予測処理を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、本発明に係る一実施形態の行動予測システムについて、図面に基づいて説明する。
[本実施形態の行動予測システムの概要]
本実施形態における行動予測システムは、人間の行動メカニズム(ニューロサイエンスの知見によるメカニズム)を考慮に入れながら、人間の行動を正確に分析することを目的として本願発明者が考案したものである。
図1は、本実施形態におけるユーザの行動予測処理の概略を示す図である。
本実施形態では、人間の行動メカニズムを参考にしたメカニズムを用いて、ユーザの行動を高度に予測するものであり、図1に示すような処理を実施することでこれを実現する。
すなわち、本実施形態の行動予測システムは、ユーザが保有するユーザ端末から入力された各種入力データを受信する(入力処理)と、その受信した入力データに基づいて、ユーザの置かれた状況(シチュエーション等)を推定する(オケージョン推定処理)。また、同時に、入力データに基づいて、状況に対するユーザが抱く感情や情動を推定する(感情推定処理)。そして、これらのオケージョン処理結果、感情推定処理結果からその特徴部分を抽出し(特徴抽出処理)、体験モデルデータを生成して(体験モデル生成処理)、記憶部に記憶する(体験モデル記憶処理)。さらに、記憶部に記憶された体験モデルデータを参照し(体験モデル参照処理)、この体験モデルデータ、オケージョン処理結果、及び感情推定処理結果に基づいて、ユーザの行動を予測し(行動予測処理)、出力する(出力処理)。
【0011】
[行動予測システムの構成]
次に、上記のような処理を実現する行動予測システムの具体的な構成について説明する。
図2は、本発明の行動予測システムの概略構成を示すブロック図である。
図2に示すように、本実施形態の行動予測システム1は、ユーザ端末10と、本発明の行動予測装置としても機能するサーバ装置20と、を備え、これらのユーザ端末10及びサーバ装置20がネットワーク(例えばインターネット等のWAN(Wide Area Network))を介して通信可能に接続されている。
行動予測システム1では、サーバ装置20は、ユーザ端末10から受信した各種データを用い、図1における各種処理を実施することで、ユーザ端末10を所持するユーザの行動を予測する。
【0012】
[ユーザ端末の構成]
ユーザ端末10は、例えばスマートフォンやタブレット端末等の携帯型端末装置(コンピューター)であり、複数のモバイルセンサー11と、位置検出部12と、表示部13と、入力操作部14と、端末通信部15と、端末記憶部16と、端末制御部17と、を含んで構成される。
【0013】
モバイルセンサー11は、携帯型端末装置に標準装備される各種センサーであり、加速度センサー、ジャイロセンサー、地磁気センサー等を含む。また、これらの各センサーの検出値を用いたセンサーを含めてもよい。このようなセンサーとしては、例えばユーザ端末10の姿勢を検出するモーションセンサー等が挙げられる。
そして、モバイルセンサー11は、ユーザ端末10を所持したユーザが身体を動かすことで、身体の動きを検出し、モーションデータとして出力する。例えば加速度センサーから出力されるモーションデータは、X軸方向に沿った加速度、Y軸方向に沿った加速度、Z軸方向に沿った加速度となる。
【0014】
位置検出部12は、例えばGPS(Global Positioning System)装置等により構成され、ユーザ端末10の現在位置を測位する。
表示部13は、例えば液晶ディスプレイ等により構成され、端末制御部17の制御の下、所定の画像を表示させる。
入力操作部14は、表示部13と一体に設けられたタッチパネルにより構成されており、ユーザ操作による操作信号を端末制御部17に出力する。なお、タッチパネルの例を示すが、キーボードやマウス等の入力装置が接続可能な構成とし、当該入力装置を入力操作部14として用いてもよい。
端末通信部15は、例えば携帯電話回線(例えば3G回線等)等を用いて、サーバ装置20やネットワーク上の所定の装置と通信する。
【0015】
端末記憶部16は、例えばメモリ、ハードディスク等のデータ記録装置により構成されている。端末記憶部16には、例えば、行動予測システムにおける行動予測処理を実施するための各種プログラム(アプリケーション等)や各種データが記録される。
また、端末記憶部16には、例えば、ユーザ端末10のユーザに関するデモグラフィックデータ(例えば、性別、年齢、居所等)、ユーザ端末10の操作ログやインターネット接続のアクセスログ等のログデータを記録する。また、ユーザ端末10の使用時間等によって判定される、ユーザの生活時間を示した生活時間帯データや平日休日データ等が記録されている。
さらに、端末記憶部16には、その他、ユーザ端末10を制御するための各種プログラム等が記憶される。
【0016】
端末制御部17は、CPU(Central Processing Unit)等の演算回路、RAM(Random Access Memory)等の記憶回路により構成され、ユーザ端末10の各部を制御する。端末制御部17は、端末記憶部16等に記憶されているプログラム(ソフトウェア)をRAMに展開し、RAMに展開されたプログラムとの協働で、各種処理を実行する。具体的には、端末制御部17は、上記プログラムを読み込み実行することで、ユーザの入力操作部14の操作に応じて、モバイルセンサー11を起動させ、各センサーからの出力値(モーションデータ)を検出したり、位置検出部12により現在位置を検出させたりする。また、端末制御部17は、ユーザの入力操作部14の操作に応じて、ユーザにより選択された各種ユーザデータ(ログデータや、デモグラフィックデータ、生活時間帯データや平日休日データ、位置データ等)や、モーションデータ等をサーバ装置20に送信する。
【0017】
[サーバ装置の構成]
図3は、本実施形態のサーバ装置20を示すブロック図である。
本実施形態のサーバ装置20は、コンピュータであり、通信部21と、記憶部22(記憶手段)と、制御部23と、等を含んで構成されている。
通信部21は、例えばLAN等を介してネットワークに接続されており、ネットワークを介してユーザ端末10と通信する。
【0018】
記憶部22は、例えばメモリ、ハードディスク等により構成されたデータ記録装置である。
この記憶部22には、行動予測システムにおける行動予測処理を実施するための感情推定プログラムや行動予測プログラム等の各種プログラムや各種データが記録される。
記憶部22に記録される各種データとして、オケージョン処理を実施するためのオケージョン処理用データが記録される。オケージョン処理用データは、例えばユーザを識別するユーザID毎に設けられ、それぞれ、ユーザ端末10から送信された各種ユーザデータが蓄積記憶されている。各種ユーザデータとしては、例えば、ユーザ端末10の位置検出部12により検出されたユーザが滞在するエリア、当該エリアに滞在した日時、デモグラフィックデータ、ログデータ、平日休日データ、生活時間帯データ等であり、ユーザにより指定(生成)されたデータとなる。
【0019】
また、記憶部22には、各種データとして、体験モデルデータが記録される。体験モデルデータは、オケージョン推定処理の処理結果、感情推定処理の処理結果に基づいて生成され、記憶部22に記録されている。なお、体験モデルデータの詳細については、後述する。
【0020】
制御部23は、CPU等の演算回路、RAM等の記憶回路により構成され、記憶部22等に記憶されているプログラム(ソフトウェア)をRAMに展開し、RAMに展開されたプログラムとの協働で、各種処理を実行する。そして、制御部23は、上記各種処理を実行することで、図3に示すように、データ取得手段231、オケージョン推定手段232、動作状況推定手段233、感情推定手段234、特徴抽出手段235、体験モデル生成手段236、行動予測手段237、及び出力手段238等として機能する。
データ取得手段231は、図1における入力処理を実施し、ユーザ端末10から入力されたモーションデータや、各種ユーザデータを取得する。
オケージョン推定手段232は、記憶部22に記憶された各種ユーザデータに基づいて、オケージョン推定処理を実施する。
【0021】
動作状況推定手段233は、モーションデータに基づいて、ユーザの運動状況(例えば、歩いている、走っている、立っている、座っている等の具体的なユーザの動き;Action)、ユーザの行動状況(例えば、買い物中、運転中、バス移動中等のユーザの行動内容;Activity)、及びユーザ端末10の所持位置(例えば、ズボンのポケットに所持、シャツの胸ポケットに所持、手に所持、手提げ鞄に所持等)の組み合わせを推定する。なお、本発明において運動状況、行動状況、及びユーザ端末10の所持位置の組み合わせを動作状況と称する。
感情推定手段234は、モーションデータに基づいて、感情推定処理を実施する。
特徴抽出手段235は、特徴抽出処理を実施し、オケージョン推定処理の処理結果、及び感情推定処理の処理結果を受け、これらの処理結果から特徴部分を抽出する。
体験モデル生成手段236は、体験モデル生成処理を実施し、抽出された特徴部分に基づいた体験モデルデータを生成する。また、体験モデル記憶処理を実施し、生成した体験モデルデータを記憶部22に記憶する。
行動予測手段237は、体験モデル参照処理及び行動予測処理を実施し、記憶部22に記憶された体験モデルデータを参照して、オケージョン推定処理及び感情推定処理により推定されたオケージョンデータ(シチュエーション)及びユーザの感情又は情動等に基づいて、ユーザの行動を予測する。
出力手段238は、予測された行動を出力する。なお、出力された行動に基づいて、各種サービスを提供してもよい。例えば、予測された行動が、「買い物に出かける」場合に、店舗広告を送信する等の処理を行ってもよい。
【0022】
[行動予測システムの動作]
次に、上記のような行動予測システム1のサーバ装置20の動作について、図面に基づいて説明する。
[感情推定処理]
図4は、本実施形態の行動予測システム1における、感情推定処理(感情推定方法)を示すフローチャートである。
本実施形態の行動予測システム1における感情推定処理では、まず、サーバ装置20のデータ取得手段231は、ユーザ端末10から入力される所定期間における時系列のモーションデータを取得する(ステップS1)。
取得するモーションデータとしては、例えば、ユーザが指定した開始タイミングから、終了タイミングの期間のモーションデータであってもよく、ユーザの指定した開始タイミングから予め設定した期間のモーションデータをモバイルセンサー11(検出センサー)から検出し、検出した当該期間のモーションデータを受信してもよい。また端末制御部17の制御により定期的に予め設定された期間に取得されたモーションデータを取得してもよい。
【0023】
この後、動作状況推定手段233は、取得したモーションデータに基づいて、ユーザの動作状況を推定する(ステップS2)。
図5は、HMM(隠れマルコフモデル;Hidden Markov Model)を用いた動作状況の推定メカニズムを示す図である。
このステップS2では、図5に示すように、動作状況推定手段233は、取得したモーションデータに基づいて、HMMを用いて、ユーザの運動状況を推定し、推定された運動状況の時系列に沿った変化に基づいて、ユーザの行動状況を推定する。
例えば、モーションデータとして、3軸(X,Y,Z軸)方向に沿った加速度の時系列に沿った変化(遷移状態)を示すデータが得られた場合、当該3軸方向の加速度の値から、ユーザの運動状況が歩いているか、走っているか、立ち止まっているか、上がっているか、下がっているか等の動きを推定することができる。
また、これらの動きの時系列に沿う遷移状態から、ユーザが今何をしているかを推定することができる。例えば、上下の振動を伴い、かつ時速60キロメートルで走っている場合では、電車に乗っている等である。HMMを用いることで、モーションデータにおける3軸方向の加速度等から、ユーザの運動状況や、行動状況を高精度に推定することが可能となる。
【0024】
次に、感情推定手段234は、取得したモーションデータに基づいて、各動作状況下における感情又は情動を推定する。具体的には、感情推定手段234は、まず、推定した動作状況毎のモーションデータを、自己組織化マップ(SOM;Self-Organizing Maps)に写像する(ステップS3)。
モーションデータは、複数のモバイルセンサー11の出力値であり、高次データとなる。ステップS3では、このような高次データを、より低次のSOMに写像することで、その特徴を検出しやすくできる。
図6は、モーションデータからSOMへの写像の一例を示す図である。
図7は、SOMの一例であり、(A)は、感情Aを感じている場合のSOMの特徴部の例であり、(B)は、感情Bを感じている場合のSOMの特徴部の一例である。
このようなSOMを時系列に取得すると、図7に示すように、SOMの一部にユーザの感情を示す特徴部Pが現れる。図7に示すようなSOMにおける特徴部Pの現れる位置を判定することで、ユーザの感情又は情動を推定することが可能となる。すなわち、ユーザの感情や情動は、ユーザの微小な動きの変化として現れる。モーションデータを写像したSOMは、モーションデータの傾向を示すものであり、これは、ユーザの感情や情動を示すデータとなる。
【0025】
ステップS3の後、感情推定手段234は、上記のようなSOMに現れる特徴部Pに基づいて、ユーザの感情を推定する(ステップS4)。具体的には、推定した動作状況毎のSOMを特徴部Pが現れる位置毎にグーピングし、各グループの代表SOM(例えば各SOMの平均データや中央データ)を設定する。そして、例えば新たなモーションデータに基づいたSOMが取得された際に、当該SOMに対し所定以上の類似度を有する代表SOMのグループを選択することで、当該新たなSOMが属するグループを分類する。これらのグループは、動作状況毎の典型的な感情や情動を示す感情(情動)グループとなり、この感情グループに基づく分類により、推定結果であるユーザの感情が特定される。このような感情推定では、例えばモーションデータ毎に「怒り」、「喜び」等といった感情毎の属性ラベルを付すための教師データや、教師データによるラベリング処理が不要となり、高精度な感情推定と、処理の簡略化との双方を図ることができる。
ところで、SOMは、上記のように、個人差があり、その分布は、単純な二項分布等に従わない。このような個人差をなくした精度の高い感情推定を実施するために、本実施形態では、階層ベイズモデルを用いた感情推定を実施する。
この階層ベイズモデルは、過去に取得されて記憶部22に記憶され、同一の動作状況に対応した同一の感情(情動)グループに属するSOMの分布に基づいて生成される。また、感情推定処理により用いられるSOMは、順次記憶部22に蓄積されることで、階層ベイズモデルを用いた感情推定の精度が向上する。
【0026】
[体験モデル生成処理]
次に、本実施形態の行動予測システム1における体験モデル生成処理について説明する。
図8は、本実施形態の行動予測システム1における、体験モデル生成処理を示すフローチャートである。
本実施形態の行動予測システム1における体験モデル生成処理では、まず、本実施形態のサーバ装置20のデータ取得手段231は、ユーザ端末10から入力される所定期間における時系列のモーションデータ、及び各種ユーザデータを取得する(ステップS11)。
【0027】
次に、オケージョン推定手段232は、ステップS11において取得したユーザデータに基づいて、オケージョン推定処理を実施する(ステップS12)。
このステップS12では、オケージョン推定手段232は、位置データ及び当該位置データが取得された日時、休日平日データ、生活時間帯データ、及びログデータに基づいて、ユーザのオケージョンを推定する。ここで、オケージョンとは、ユーザの活動が関係する諸々の情報で、存在するエリア(自宅、職場、移動手段など)、環境情報(季節、天候、混雑など)、行動パターン・活動サイクル(起床、在宅中、帰宅など)、Web閲覧情報(カテゴリ、閲覧履歴など)などを含む。例えば、時系列に沿った単一データ(例えば、所定時刻における位置データ)に基づいて、ユーザの現在の存在エリアを推定することができ、さらに、同時に送信された平日休日データ、生活時間帯データ、ログデータ等に基づいて、ユーザの行動(例えば在宅中、勉強中、仕事中、就寝中等)を推定することができる。
また、時系列に沿った系列データ(例えば、所定の期間における位置データ)を取得することで、ユーザのエリア移動を推定することができる。また、系列データからも同様に、ユーザの行動を推定することができる。
さらに、ユーザデータを長期蓄積することで、ユーザの通勤経路や、エリア訪問頻度、よく行う行動、プロファイル等を推定することもできる。
【0028】
次に、動作状況推定手段233及び感情推定手段234は、取得したモーションデータに基づいて、各動作状況下における感情又は情動を推定する(ステップS13)。このステップS13は、上述した感情推定処理(ステップS1〜ステップS4)と同様であるので、ここでの説明は省略する。
【0029】
そして、特徴抽出手段235は、ステップS12において推定されたオケージョン毎に、ステップS13で推定された動作状況に対応する感情の特徴を抽出する(ステップS14)。この感情の特徴は、上記感情推定処理において特徴部Pを特定可能なSOMである。すなわち、特徴部Pを有するSOMを、時系列に沿って順次抽出することで、ユーザの感情の推移が抽出されることになる。
【0030】
この後、体験モデル生成手段236は、抽出された時系列に沿ったSOMに基づいて、体験モデルデータを生成する(ステップS15)。
図9は、体験モデル生成手段236による体験モデル生成処理の概略を示す図である。
体験モデル生成手段236は、ステップS14で抽出されたSOM(時系列SOM)を蓄積し、蓄積された時系列SOMを用いて、既に記憶部22に記憶されている体験モデルデータをより高精度なモデルにする学習処理を実施し、更新する。
学習処理としては、図9に示すように、スコア計算処理、勝者ノード決定処理、重み決定処理、学習データ更新処理、及びモデル学習処理を順に実施する。
【0031】
スコア計算処理は、入力された時系列SOMのスコアを算出する。すなわち、記憶部22に記憶された体験モデルデータにおけるSOMの遷移状態と比較し、時系列SOMと体験モデルデータとの類似度を算出する。体験モデルデータにおける類似度が高い部分が、更新対象となる。
【0032】
勝者ノード決定処理は、体験モデルデータにおいて、時系列SOMと同じ遷移状態のSOMを決定する。つまり、図9に示すように、体験モデルデータは、1つのSOMから複数のSOMに対して遷移するモデルを記録し、取得した時系列SOMと同じSOMに遷移したノードを勝者ノードとして決定する。
重み決定処理は、勝者ノード決定処理において決定した勝者ノードを介した遷移スコア(重み)を大きくし、勝者ノード以外の遷移スコアを小さくするように、各遷移スコアを決定する。
学習データ更新処理は、決定した遷移スコアを体験モデルデータにおける各ノードに記録して更新する。
モデル学習処理は、時系列SOMに対応した遷移状態がない場合に、体験モデルデータに新たなモデルとして取得した時系列SOMのSOM遷移経路を追加する。
【0033】
[行動予測処理]
次に、本実施形態の行動予測システム1における行動予測処理について説明する。
図10は、本実施形態の行動予測システム1における、行動予測処理を示すフローチャートである。
行動予測処理では、サーバ装置20のデータ取得手段231は、ステップS11と同様、ユーザ端末10から入力される所定期間における時系列のモーションデータ、及び各種ユーザデータを取得する。
この後、オケージョン推定手段232は、ステップS12と同様にオケージョン推定処理を実施し、また、動作状況推定手段233及び感情推定手段234は、ステップS13(ステップS1〜S4)と同様に、感情推定処理を実施する。
【0034】
この後、行動予測手段237は、記憶部22から体験モデルデータを読み出す(ステップS21)。
そして、行動予測手段237は、体験モデルデータから、ステップS12により推定されたオケージョン及びステップS13のステップS2により推定された動作状況に対応したSOMの遷移パターンと、同一パターンで遷移するパターンを抽出する。
なお、完全に同一パターンとなっていなくてもよく、例えばステップ3で取得されるSOMの遷移パターンとの類似度が所定閾値以内である一部を抽出すればよい。
そして、行動予測手段237は、体験モデルデータの抽出したパターンの遷移スコアに基づいて、次の遷移パターンとなるSOM、及び当該SOMに関連付けられたオケージョンや動作状況を取得、すなわち、行動予測を行う。
【0035】
この後、出力手段238は、予測されたSOMに対応するオケージョン及び動作状況を行動予測結果として出力する(ステップS22)。
行動予測結果の出力先は、例えばユーザ端末10であってもよいが、ユーザ端末10に対してサービスを提供するサービスサーバ等が好ましい。サービスサーバとしては、例えばユーザ端末10に対して広告データを提供する広告サーバ等が挙げられ、行動予測に基づいた最適な広告をユーザ端末10に提供することができる。
なお、ステップS22において、SOMの遷移パターンに対して、類似度が高いパターンがない場合は、上述した体験モデル生成処理を実施し、SOMの遷移パターンに基づいた体験モデルデータが更新される。この場合、ステップS23では、類似パターンが見当たらない旨を出力すればよい。
【0036】
[本実施形態の作用効果]
上述したような行動予測システム1では、サーバ装置20が本発明の感情予測装置として機能し、データ取得手段231により、ユーザ端末10から送信された時系列に沿ったモーションデータを取得する。そして、動作状況推定手段233により、取得したモーションデータに対応する動作状況を推定し、感情推定手段234により、取得したモーションデータの傾向から当該動作状況に対する感情を推定する。このような構成では、ユーザ端末10に設けられたモバイルセンサー11から実際のユーザの動きに基づくモーションデータを取得して、そのモーションデータに基づいた感情推定を実施できる。したがって、例えば予め設定された画一的なデータベースに基づいて感情推定を実施する場合に比べて、刻々と変化するユーザの感情を、ユーザの実際の動きの変化から精度よく推定することができ、感情推定の精度を向上させることができる。
また、モーションデータは、ユーザ端末10に設けられたモバイルセンサー11からの出力値をそのまま利用することができ、ユーザのデータ入力操作等が不要となる。
【0037】
本実施形態では、動作状況推定手段233は、HMMを用いることで、ユーザの運動状況及び行動状況を含む動作状況を推定する。したがって、モーションデータから、容易に、かつ精度よく動作状況を推定することができる。
【0038】
本実施形態では、感情推定手段234は、モーションデータの傾向を見るために、取得したモーションデータをSOMに写像し、当該SOMの特徴部Pに基づいて、感情を推定する。
このため、複数のセンサーを用いた高次の検出結果(モーションデータ)が入力された場合でも、低次のSOMに落とし込むことで、特徴部Pの判定が容易となり、感情推定の精度を向上させることができる。
【0039】
本実施形態では、感情推定手段234は、階層ベイズモデルを適用することで、SOMから感情を推定する。個々のユーザの個人差により、1つの動作状況に対するSOMの特徴部Pの位置が変化する。これに対して、本実施形態では、上記のように階層ベイズモデルに基づいた感情推定を実施するので、個人差により特徴部Pのばらつきがある場合でも、当該特徴部Pに対応する感情や情動を精度よく推定することができる。
【0040】
本実施形態では、オケージョン推定処理により推定されたオケージョンと、感情推定処理により推定された動作状況単位のSOMの遷移を抽出して時系列SOMとして取得し、時系列SOMを用いて、体験モデルデータを生成する。また、得られた時系列SOMにより、学習処理を実施して記憶部22に記憶された体験モデルデータを更新する。
これにより、体験モデルデータとして、ユーザのオケージョンや当該オケージョンにおける動作状況毎の感情の推移をモデル化でき、高精度な行動予測を行える。また、複数のユーザから得られたオケージョン推定結果や感情推定結果に基づいて、体験モデルデータを生成することで、複数のユーザにおける、各オケージョンの各動作状況に対する平均的な感情の推移状態を求めることができる。このような体験モデルデータにより、複数のユーザが、所定のシチュエーションに遭遇した際に共通して感じる感情や、共通する行動内容等を把握でき、ユーザのニーズ分析を高精度に行うことができる。したがって、当該ニーズに基づいた質の高いサービスを提供することができる。
【0041】
[変形例]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
【0042】
[変形例1]
上記実施形態では、ステップS2の動作状況の推定において、HMMを使用してモーションデータから運動状況及び行動状況を推定したが、これに限定されない。例えば、動作状況の推定方法として、確率モデル、統計的回帰モデル、及びニューラルネットワークのいずれかを用いて動作状況を推定することができ、例えばロジスティック回帰や、多層パーセプトロン(Multi Layer Perceptron)等を用いることができる。
【0043】
[変形例2]
上記実施形態では、ステップS3において、モーションデータをSOMに写像する例を示したが、これに限定されない。モーションデータの傾向を判別するためには、例えば、モーションデータを複数のデータに分割してこれらの分割データの分布に基づいて、感情又は情動を推定する手法を用いてもよい。当該方法としては、例えば、「Construction of effective free energy landscape from single-molecule time series,Akinori Baba and Tamiki Komatsuzaki,PNAS,Dec 4,2007,Vol.104,no.49,19297-19302a」等に紹介される技術を用いることができる。
【0044】
[変形例3]
上記実施形態において、SOMの個人差をなくした高精度な感情推定を実施するために、階層ベイズモデルを用いる例を示したが、これに限定されない。
例えば、階層構造を考慮したカーネル法を用いてもよい。すなわち、記憶部22に蓄積されたSOMを、写像関数を用いてある空間に写像してクラスタリング処理を実施することで、各感情に対応した感情グループを設定し、これらの感情グループに基づいて感情を推定する。
このような手法しては、例えば、SVC(Support Vector Machine)、LDA(Linear Discriminant Analysis)、PCA(Principal Component Analysis)、ディープラーニング等を挙げることができる。
【0045】
[変形例4]
上記実施形態において、ステップS15の体験モデル生成処理として、時系列SOMを用いて、遷移SOMに対する遷移スコアを変更する学習処理を実施して記憶部22に記憶されている体験モデルデータを更新する例を示したが、これに限定されない。
例えば、体験モデル生成手段236は、時系列SOMから、時系列階層SOMモデル(参考文献:Probabilistic reasoning in intelligent systems: networks of plausible inference,Judea Pearl,1988)を用いて体験モデリング生成を行ってもよい。また、Growing Hierarchical Self-Organizing Map(参考文献:The Growing Hierarchical Self-Organizing Map: Exploratory Analysis of High-Dimensional Data (2002),Andreas Rauber , Dieter Merkl , Michael Dittenbach)を用いた体験モデル生成を行ってもよい。
【0046】
[変形例5]
上記実施形態では、行動予測システム1を例示し、ユーザ端末10からデータを取得したサーバ装置20を本発明の感情予測装置として機能させる例を示したがこれに限定されない。
例えば、ユーザ端末10を本発明の感情予測装置として機能させてもよい。この場合、端末制御部17が、端末記憶部16に記憶されたプログラムを読み出し実行することで、上記オケージョン推定手段232、動作状況推定手段233、感情推定手段234、特徴抽出手段235、体験モデル生成手段236、及び行動予測手段237として機能させる。また、このような構成では、ユーザ端末10自身で常時モーションデータを監視することで、常にユーザの感情、情動、シチュエーション、動作状況に応じた最適な処理を実施できる。例えば、感情推定処理によりユーザの感情や情動を推定し、その感情や情動に応じた音楽を再生させたり、ユーザの感情に対して最適なアプリケーションを紹介する画面を表示させたりすることができる。また、行動予測処理により、例えばユーザが公共交通機関で移動すると判定した場合に、音声出力を自動的にオフにする(いわゆるマナーモードに設定する)等の処理をしてもよい。ユーザの感情や行動予測に応じた処理であるため、これらの処理が煩わしいと感じられる可能性が低く、適正なサービスを提供できる。
【0047】
その他、本発明の実施の際の具体的な構造及び手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【符号の説明】
【0048】
1…行動予測システム、10…ユーザ端末、11…モバイルセンサー(検出センサー)、20…サーバ装置(感情推定装置)、22…記憶部、23…制御部、231…データ取得手段、232…オケージョン推定手段、233…動作状況推定手段、234…感情推定手段、235…特徴抽出手段、236…体験モデル生成手段、237…行動予測手段。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10