特許 7582465 予測装置、学習装置、予測方法、学習方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】予測装置、学習装置、予測方法、学習方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241106BHJP

【ＦＩ】

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2023523937

(86)(22)【出願日】2021-05-28

(86)【国際出願番号】 JP2021020539

(87)【国際公開番号】W WO2022249483

(87)【国際公開日】2022-12-01

【審査請求日】2023-10-25

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】山本 修平

(72)【発明者】

【氏名】倉島 健

(72)【発明者】

【氏名】戸田 浩之

(72)【発明者】

【氏名】冨永 登夢

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－０３６１１６（ＪＰ，Ａ）

【文献】特開２０１５－１８４７６４（ＪＰ，Ａ）

【文献】特開平０５－３４６９１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

予測対象の過去の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力する特徴量抽出部と、
行動系列を予測するための学習済みの行動系列予測モデルを用いて、前記行動特徴データに基づく前記予測対象の未来の行動系列を予測する行動系列予測部と、
気分系列を予測するための学習済みの気分系列予測モデルを用いて、前記行動特徴データおよび前記予測対象の過去の気分系列データに基づく前記予測対象の未来の気分系列を予測する気分系列予測部と、を備える、
予測装置。

【請求項2】

学習対象の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力する特徴量抽出部と、
気分系列を予測するための気分系列予測モデルを構築する気分系列予測モデル構築部と、
構築された前記気分系列予測モデルのパラメータを、前記行動特徴データおよび過去の気分系列データに基づいて更新する気分系列予測モデル学習部と、を備え、
前記気分系列予測モデル学習部は、学習用データとして抽出した未来の行動特徴データにノイズを加えた行動特徴データに基づいて、前記パラメータを更新する、
学習装置。

【請求項3】

行動系列を予測するための行動系列予測モデルを構築する行動系列予測モデル構築部と、
前記行動特徴データに基づいて、前記行動系列予測モデルのパラメータを更新する行動系列予測モデル学習部と、をさらに備える、
請求項２に記載の学習装置。

【請求項4】

前記行動系列予測モデル学習部は、前記行動系列予測モデルが備えるネットワークで得られる平均と分散の値を用いて、出力の行動系列データに対する負の対数尤度を計算し、計算結果に基づいて前記パラメータを更新する、
請求項３に記載の学習装置。

【請求項5】

予測装置が実行する予測方法であって、
予測対象の過去の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力するステップと、
行動系列を予測するための学習済みの行動系列予測モデルを用いて、前記行動特徴データに基づく前記予測対象の未来の行動系列を予測するステップと、
気分系列を予測するための学習済みの気分系列予測モデルを用いて、前記行動特徴データおよび前記予測対象の過去の気分系列データに基づく前記予測対象の未来の気分系列を予測するステップと、を備える、
予測方法。

【請求項6】

学習装置が実行する学習方法であって、
学習対象の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力するステップと、
気分系列を予測するための気分系列予測モデルを構築するステップと、
構築された前記気分系列予測モデルのパラメータを、前記行動特徴データおよび過去の気分系列データに基づいて更新するステップと、を備え、
前記更新するステップは、学習用データとして抽出した未来の行動特徴データにノイズを加えた行動特徴データに基づいて、前記パラメータを更新する、
学習方法。

【請求項7】

コンピュータを、請求項１に記載の予測装置における各部として機能させるためのプログラム、または、コンピュータを、請求項２から４のいずれか１項に記載の学習装置における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測装置、学習装置、予測方法、学習方法およびプログラムに関する。

【背景技術】

【0002】

スマートウォッチやフィットネストラッカー、スマートフォンなどに代表されるウェアラブルセンサの普及に伴い、ユーザの生体情報や行動ログ（以下行動データ）を容易に記録できるようになった。これらの行動データとユーザの自己評価によって得られる心理状態（気分、感情、ストレス度など）を詳細に分析することは、様々な用途に役立つ。例えば、スマートウォッチを通じて取得されたユーザの行動データの履歴を利用して、今日のストレス度を数値として推定したり、将来の気分を予測したりできれば、ユーザの心理状態の改善に有効な行動の推奨など様々な用途で役立てられる。

【0003】

例えば、非特許文献１には、このような行動データからユーザの心理状態を自動推定する技術として、得られているデータを離散化してヒストグラムに変換し、確率的生成モデルによって健康度合やストレス度を推定する技術が開示されている。また、非特許文献２には、スマートフォンから取得される操作ログやスクリーンタイムの日々の系列データを用いて、翌日の心理状態を回帰する技術が開示されている。また、非特許文献３には、過去の行動データの系列から将来の気分データの系列を予測する技術が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】E. Nosakhare and R. Picard: Probabilistic Latent Variable Modeling for Assessing Behavioral Influences on Well-Being. In Proc. of KDD, 2019.

【文献】S. Yan et al.: Estimating Individualized Daily Self-Reported Affect with Wearable Sensors. In Proc. of ICHI, 2019.

【文献】D. Spathis, S. Servia-Rodriguez, K. Farrahi, C. Mascolo, and J. Rentflow: Sequence Multi-task Learning to Forecast Mental Wellbeing from Sparse Self-reported Data. In Proc. of KDD, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、従来は、日単位でデータを分離して統計的に処理しているため、日時による時系列的なユーザの気分や感情の変動を考慮できていなかった。例えば、非特許文献２に開示された方法では、一日の中で何度も投稿される気分データを数値化し平均値に変換してから、翌日の気分の平均値を予測する。しかし、人間の気分は一日の中でも上下するため、平均値を予測するだけでは気分の変動をユーザに提示することができない。

【0006】

また、非特許文献３に開示された方法では、将来自分が行う行動の影響を考慮できない。例えば翌日、自分にとって都合の悪い行動（ネガティブなイベントなど）を控えていれば、それに影響を受けてネガティブな気分になるユーザもいると考えられる。したがって、従来の技術では、未来の気分の時系列的な変動を予測することが難しいという問題がある。

【0007】

開示の技術は、予測対象の未来の気分の時系列的な変動を予測することを目的とする。

【課題を解決するための手段】

【0008】

開示の技術は、予測対象の過去の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力する特徴量抽出部と、行動系列を予測するための学習済みの行動系列予測モデルを用いて、前記行動特徴データに基づく前記予測対象の未来の行動系列を予測する行動系列予測部と、気分系列を予測するための学習済みの気分系列予測モデルを用いて、前記行動特徴データおよび前記予測対象の過去の気分系列データに基づく前記予測対象の未来の気分系列を予測する気分系列予測部と、を備える予測装置である。

【発明の効果】

【0009】

予測対象の未来の気分の時系列的な変動を予測することができる。

【図面の簡単な説明】

【0010】

【図1】学習装置の機能構成図である。

【図2】予測装置の機能構成図である。

【図3】学習処理の流れの一例を示すフローチャートである。

【図4】予測処理の流れの一例を示すフローチャートである。

【図5】行動系列データの一例を示す図である。

【図6】前処理済み行動特徴データの一例を示す図である。

【図7】気分系列データの一例を示す図である。

【図8】前処理済み気分系列データの一例を示す図である。

【図9】行動データ前処理の流れの一例を示すフローチャートである。

【図10】特徴量抽出処理の流れの一例を示すフローチャートである。

【図11】気分データ前処理の流れの一例を示すフローチャートである。

【図12】行動系列予測モデルの一例を示す図である。

【図13】行動系列予測モデル学習処理の流れの一例を示すフローチャートである。

【図14】行動系列予測モデルＤＢおよび気分系列予測モデルＤＢの一例を示す図である。

【図15】気分系列予測モデルの一例を示す図である。

【図16】気分系列予測モデル学習処理の流れの一例を示すフローチャートである。

【図17】行動系列予測処理の流れの一例を示すフローチャートである。

【図18】気分系列予測処理の流れの一例を示すフローチャートである。

【図19】コンピュータのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0012】

（本実施の形態の概要）
本実施の形態に係る予測装置は、予測対象（人物、動物等）の行動データから特徴量を抽出して行動系列予測モデルを用いて行動系列を予測し、予測された行動系列と過去の気分データに基づいて、気分系列予測モデルを用いて、予測対象の未来の気分系列データを出力する。

【0013】

行動系列データは、行動の時系列的な変動を示すデータである。また、気分系列データは、気分の時系列的な変動を示すデータである。

【0014】

また、本実施の形態に係る学習装置は、学習対象（人物、動物等）の行動データ、気分データ等を含む学習用データに基づく機械学習によって、行動系列予測モデルおよび気分系列予測モデルのパラメータを更新する。

【0015】

（学習装置の機能構成例）
図１は、学習装置の機能構成図である。学習装置１０は、行動系列データＤＢ１０１と、気分系列データＤＢ１０２と、行動データ前処理部１０３と、気分データ前処理部１０４と、特徴量抽出部１０５と、行動系列予測モデル構築部１０６と、行動系列予測モデル学習部１０７と、気分系列予測モデル学習部１０８と、気分系列予測モデル構築部１０９と、行動系列予測モデルＤＢ１１０と、気分系列予測モデルＤＢ１１１と、を備える。

【0016】

行動系列データＤＢ１０１は、行動系列データが格納される。行動系列データは、学習対象の過去の行動を時系列に示すデータである。行動系列データの具体例については後述する。

【0017】

気分系列データＤＢ１０２は、気分系列データが格納される。気分系列データは、学習対象の過去の気分を時系列に示すデータである。気分系列データの具体例については後述する。

【0018】

行動系列データＤＢ１０１および気分系列データＤＢ１０２は、データが記録された日時情報で対応付けがとれるように予め構築されている。また、気分系列データＤＢ１０２には、学習対象が自己報告したその時点での気分を表す２種類の数値、感情価（Ｖａｌｅｎｃｅ）と覚醒価（Ａｒｏｕｓａｌ）が格納されている。ここで感情価とは、そのときの感情のポジティブさとネガティブさの度合いを表す。また、覚醒価とは感情の興奮度合いを表す。

【0019】

このように構成される気分系列データは、例えばＰｈｏｔｏｇｒａｐｈｉｃ Ａｆｆｅｃｔ Ｍｅｔｅｒ（ＰＡＭ）（参考文献［１］）などの公知の技術を用いてユーザに回答してもらえばよい。気分系列データＤＢ１０２の構築処理については、例えば対象ユーザによって気分の自己評価結果が入力され、その入力結果をデータベースに格納するようにすればよい。

【0020】

行動データ前処理部１０３は、学習対象の行動系列データに前処理を施す。具体的には、行動データ前処理部１０３は、学習対象の行動系列データから事前に指定された種別の行動系列データを抽出し、抽出した各行動系列データの列について走査し、欠損値や想定していない値が含まれている場合、別の値に置き換える。なお、前処理が不要な場合には、行動データ前処理部１０３は、前処理を行わなくても良い。

【0021】

気分データ前処理部１０４は、学習対象の気分系列データに前処理を施す。具体的には、気分データ前処理部１０４は、学習対象の気分系列データを事前に指定された時間範囲ごとに分割したデータ群ごとにデータを集計する。なお、前処理が不要な場合には、気分データ前処理部１０４は、前処理を行わなくても良い。

【0022】

特徴量抽出部１０５は、前処理済みの行動系列データを事前に指定された時間範囲ごとに分割したデータ群ごとにデータを集計し、集計されたデータを行動特徴データとする。

【0023】

行動系列予測モデル構築部１０６は、行動特徴データを入力として、予測された行動系列データの平均と分散とを出力するための行動系列予測モデルを構築する。

【0024】

行動系列予測モデル学習部１０７は、機械学習によって行動系列予測モデルのパラメータを更新する。

【0025】

気分系列予測モデル学習部１０８は、機械学習によって気分系列予測モデルのパラメータを更新する。

【0026】

気分系列予測モデル構築部１０９は、行動特徴データと、予測された行動系列データと、前処理済みの気分系列データを入力として、予測された気分系列データを出力するための気分系列予測モデルを構築する。

【0027】

行動系列予測モデルＤＢ１１０には、行動系列予測モデルがパラメータとともに格納される。行動系列予測モデルＤＢ１１０は、行動系列予測モデルを記憶する行動系列予測モデル記憶部の一例である。

【0028】

気分系列予測モデルＤＢ１１１には、気分系列予測モデルがパラメータとともに格納される。気分系列予測モデルＤＢ１１１は、気分系列予測モデルを記憶する気分系列予測モデル記憶部の一例である。

【0029】

（予測装置の機能構成例）
図２は、予測装置の機能構成図である。予測装置２０は、行動データ前処理部２０１と、気分データ前処理部２０２と、特徴量抽出部２０３と、行動系列予測モデルＤＢ２０４と、行動系列予測部２０５と、気分系列予測モデルＤＢ２０６と、気分系列予測部２０７と、を備える。

【0030】

行動データ前処理部２０１は、予測対象の過去の行動系列データに対して、学習装置１０の行動データ前処理部１０３と同様の処理を行う。すなわち、行動データ前処理部２０１は、予測対象の過去の行動系列データから事前に指定された種別の行動系列データを抽出し、抽出した各行動系列データの列について走査し、欠損値や想定していない値が含まれている場合、別の値に置き換える。

【0031】

気分データ前処理部２０２は、予測対象の過去の気分系列データに対して、学習装置１０の気分データ前処理部１０４と同様の処理を行う。すなわち、気分データ前処理部２０２は、予測対象の過去の気分系列データを事前に指定された時間範囲ごとに分割したデータ群ごとにデータを集計する。

【0032】

特徴量抽出部２０３は、学習装置１０の特徴量抽出部１０５と同様の処理を行う。すなわち、特徴量抽出部２０３は、前処理済みの行動系列データを事前に指定された時間範囲ごとに分割したデータ群ごとにデータを集計し、集計されたデータを行動特徴データとする。

【0033】

行動系列予測モデルＤＢ２０４は、学習装置１０の行動系列予測モデル構築部１０６によって構築された行動系列予測モデルがパラメータとともに格納される。格納されるパラメータは、学習装置１０の行動系列予測モデル学習部１０７によって更新されたパラメータである。

【0034】

行動系列予測部２０５は、行動系列予測モデルを用いて、行動特徴データに基づく予測対象の未来の行動系列を予測する。

【0035】

気分系列予測モデルＤＢ２０６は、学習装置１０の気分系列予測モデル構築部１０９によって構築された気分系列予測モデルがパラメータとともに格納される。格納されるパラメータは、学習装置１０の気分系列予測モデル学習部１０８によって更新されたパラメータである。

【0036】

気分系列予測部２０７は、気分系列予測モデルを用いて、行動特徴データおよび前処理済みの気分系列データに基づく予測対象の未来の気分系列を予測する。

【0037】

（学習装置の動作例）
次に、学習装置１０の動作例について、図面を参照して説明する。学習装置１０は、ユーザの操作等を受けて、または定期的に、学習処理を開始する。

【0038】

図３は、学習処理の流れの一例を示すフローチャートである。行動データ前処理部１０３が行動系列データＤＢ１０１から行動系列データを受け取り処理する（ステップＳ１００）。次に、特徴量抽出部１０５が行動データ前処理部１０３から前処理済み行動系列データを受け取り処理する（ステップＳ１１０）。

【0039】

続いて、気分データ前処理部１０４が気分系列データＤＢ１０２から気分系列データを受け取り処理する（ステップＳ１２０）。次に、行動系列予測モデル構築部１０６が、行動系列予測モデルを構築する（ステップＳ１３０）。続いて、行動系列予測モデル学習部１０７が、特徴量抽出部１０５から行動特徴データを受け取り、行動系列予測モデルを学習し、学習済みの行動系列予測モデルを行動系列予測モデルＤＢ１１０に出力する（ステップＳ１４０）。

【0040】

次に、気分系列予測モデル構築部１０９が気分系列予測モデルを構築する（ステップＳ１５０）。気分系列予測モデル学習部１０８が特徴量抽出部１０５から行動特徴データ、気分データ前処理部１０４から前処理済み気分系列データ、気分系列予測モデル構築部１０９から気分系列予測モデルを受け取り、気分系列予測モデルを学習し、学習済みの気分系列予測モデルを気分系列予測モデルＤＢ１１１に出力する（ステップＳ１６０）。

【0041】

（予測装置の動作例）
次に、予測装置２０の動作例について、図面を参照して説明する。予測装置２０は、ユーザの操作等を受けて、または定期的に、予測処理を開始する。

【0042】

図４は、予測処理の流れの一例を示すフローチャートである。行動データ前処理部２０１が入力として予測対象の過去の行動系列データを受け取り処理する（ステップＳ２００）。次に、特徴量抽出部２０３が行動データ前処理部２０１から前処理済み行動系列データを受け取り処理する（ステップＳ２１０）。

【0043】

続いて、行動系列予測部２０５が特徴量抽出部２０３から行動特徴データを受け取り処理する（ステップＳ２２０）。次に、気分データ前処理部２０２が入力として予測対象の過去の気分系列データを受け取り処理する（ステップＳ２３０）。

【0044】

そして、気分系列予測部２０７が、特徴量抽出部２０３から行動特徴データ、行動系列予測部２０５から予測された未来の行動系列データ、気分データ前処理部２０２から前処理済み気分系列データ、気分系列予測モデルＤＢから学習済みの気分系列予測モデルを受け取り、未来の気分系列予測結果を計算し、未来の気分系列予測結果と共に出力する（ステップＳ２４０）。

【0045】

（本実施の形態に係る各種データの形式例）
次に、本実施の形態に係る学習装置１０および予測装置２０が扱う各種データの形式例について説明する。

【0046】

図５は、行動系列データの一例を示す図である。行動系列データ９０１は、項目として、データＩＤと、日時と、歩数と、運動時間と、会話時間と、を含む。

【0047】

項目「データＩＤ」の値は、各データレコードを識別するための識別子である。項目「日時」の値は、行動が行われた日時を示す値である。項目「歩数」、項目「運動時間」および項目「会話時間」は、行動の内容を示す項目の一例であって、他でも良い。

【0048】

図６は、前処理済み行動特徴データの一例を示す図である。行動特徴データ９０２は、項目として、データＩＤと、日時と、歩数と、運動時間と、会話時間と、を含む。

【0049】

項目「データＩＤ」の値は、各データレコードを識別するための識別子である。項目「日時」の値は、システム管理者が事前に指定した時間範囲の始点を示す値である。項目「歩数」、項目「運動時間」および項目「会話時間」は、行動の内容を示す項目の一例であって、他でも良い。項目「歩数」、項目「運動時間」および項目「会話時間」のそれぞれの値は、正規化された値に基づく統計処理によって、それぞれの行動の特徴を表す特徴量である。

【0050】

図７は、気分系列データの一例を示す図である。気分系列データ９０３は、項目として、データＩＤと、日時と、Ｖａｌｅｎｃｅと、Ａｒｏｕｓａｌと、を含む。

【0051】

項目「データＩＤ」の値は、各データレコードを識別するための識別子である。項目「日時」の値は、気分が申告された日時を示す値である。項目「Ｖａｌｅｎｃｅ」および項目「Ａｒｏｕｓａｌ」は、気分を示す項目の一例であって、他でも良い。項目「Ｖａｌｅｎｃｅ」および項目「Ａｒｏｕｓａｌ」のそれぞれの値は、学習対象または予測対象のユーザ等が自己申告したスコアである。

【0052】

図８は、前処理済み気分系列データの一例を示す図である。前処理済み気分系列データ（気分データ）９０４は、項目として、データＩＤと、日時と、Ｖａｌｅｎｃｅと、Ａｒｏｕｓａｌと、を含む。

【0053】

項目「データＩＤ」の値は、各データレコードを識別するための識別子である。項目「日時」の値は、システム管理者が事前に指定した時間範囲の始点を示す値である。項目「Ｖａｌｅｎｃｅ」および項目「Ａｒｏｕｓａｌ」は、気分を示す項目の一例であって、他でも良い。項目「Ｖａｌｅｎｃｅ」および項目「Ａｒｏｕｓａｌ」のそれぞれの値は、それぞれの時間範囲における各スコアの平均値である。

【0054】

（本実施の形態に係る各処理の詳細）
次に、本実施の形態に係る学習処理および予測処理の詳細について説明する。

【0055】

図９は、行動データ前処理の流れの一例を示すフローチャートである。行動データ前処理は、学習処理のステップＳ１００における行動データ前処理部１０３による処理、または予測処理のステップＳ２００における行動データ前処理部２０１による処理である。

【0056】

学習フェーズの場合、行動データ前処理部１０３は、行動系列データＤＢ１０１から行動系列データを受け取る（ステップＳ３００）。なお、予測フェーズの場合、行動データ前処理部２０１は、入力として、行動系列データを受け取る。

【0057】

次に、行動データ前処理部１０３または行動データ前処理部２０１は、システム管理者が事前に指定した種別の行動系列データを抽出する（ステップＳ３１０）。例えば、行動データ前処理部１０３または行動データ前処理部２０１は、抽出対象となる行動系列データの列名を定義しておき、その列名と一致する列のデータを抽出する。

【0058】

続いて、行動データ前処理部１０３または行動データ前処理部２０１は、抽出した各行動系列データの列について走査し、欠損値や想定していない値が含まれている場合、別の値に置き換える（ステップＳ３２０）。例えば、行動データ前処理部１０３または行動データ前処理部２０１は、数値データの場合は対応する列の平均値や０、文字列型データの場合は欠損値であることを表現する文字列を挿入する。

【0059】

続いて、行動データ前処理部１０３または行動データ前処理部２０１は、変換された前処理済み行動系列データ、及び対応する日時の情報を、特徴量抽出部１０５または特徴量抽出部２０３に受け渡す（ステップＳ３３０）。

【0060】

図１０は、特徴量抽出処理の流れの一例を示すフローチャートである。特徴量抽出処理は、学習処理のステップＳ１１０における特徴量抽出部１０５による処理、または予測処理のステップＳ２１０における特徴量抽出部２０３による処理である。

【0061】

特徴量抽出部１０５または特徴量抽出部２０３は、行動データ前処理部２０１から前処理済み行動系列データを受け取る（ステップＳ４００）。

【0062】

次に、特徴量抽出部１０５または特徴量抽出部２０３は、各行動系列データの列について走査し、値の正規化を行う（ステップＳ４１０）。例えば、特徴量抽出部１０５または特徴量抽出部２０３は、数値データの場合は平均が０、標準偏差が１となるようにデータを正規化し、字列型のデータを対応する次元に関するｏｎｅ－ｈｏｔ表現のベクトルに変換する。

【0063】

続いて、特徴量抽出部１０５または特徴量抽出部２０３は、行動系列データの日時情報を走査し、システム管理者が事前に指定した時間範囲ごとにデータを分割する（ステップＳ４２０）。例えば、特徴量抽出部１０５または特徴量抽出部２０３は、時間範囲を６時間と定めた場合は、６時間ごとにデータを分割する。

【0064】

次に、特徴量抽出部１０５または特徴量抽出部２０３は、分割されたデータ群ごとに、データを集計する（ステップＳ４３０）。例えば、特徴量抽出部１０５または特徴量抽出部２０３は、数値データの場合はデータ群ごとの平均値や合計値を計算する。また、特徴量抽出部１０５または特徴量抽出部２０３は、ｏｎｅ－ｈｏｔ表現のベクトルデータの場合は、各次元の出現回数をカウンティングし、新たなベクトルデータを得る。

【0065】

そして、学習フェーズの場合は、特徴量抽出部１０５は、得られた行動特徴データと対応する日時の情報を、行動系列予測モデル学習部１０７と気分系列予測モデル学習部１０８に受け渡す（ステップＳ４４０）。予測フェーズの場合は、特徴量抽出部２０３は、得られた行動特徴データと対応する日時の情報を、行動系列予測部２０５と気分系列予測部２０７に受け渡す

【0066】

図１１は、気分データ前処理の流れの一例を示すフローチャートである。気分データ前処理は、学習処理のステップＳ１２０における気分データ前処理部１０４による処理、または予測処理のステップＳ２３０における気分データ前処理部２０２による処理である。

【0067】

学習フェーズの場合、気分データ前処理部１０４は、気分系列データＤＢ１０２から気分系列データを受け取る（ステップＳ５００）。なお、予測フェーズの場合、気分データ前処理部２０２は、入力として、気分系列データを受け取る。

【0068】

気分データ前処理部１０４または気分データ前処理部２０２は、気分系列データの日時情報を走査し、システム管理者が事前に指定した時間範囲ごとにデータを分割する（ステップＳ５１０）。この時間範囲は、特徴量抽出部１０５または特徴量抽出部２０３に定められた時間範囲と同じである。

【0069】

続いて、気分データ前処理部１０４または気分データ前処理部２０２は、分割されたデータ群ごとに、データを集計する（ステップＳ５２０）。例えば、気分データ前処理部１０４または気分データ前処理部２０２は、ＶａｌｅｎｃｅとＡｒｏｕｓａｌの値の平均値を計算し格納する。分割された区間にデータが存在しない場合は、気分データ前処理部１０４または気分データ前処理部２０２は、ＶａｌｅｎｃｅとＡｒｏｕｓａｌともに０を格納する。

【0070】

そして、学習フェーズの場合は、気分データ前処理部１０４は、得られた前処理済み気分系列データ、及び対応する日時情報を、気分系列予測モデル学習部１０８に受け渡す（ステップＳ５３０）。また、予測フェーズの場合は、気分データ前処理部２０２は、得られた前処理済み気分系列データ、及び対応する日時情報を、気分系列予測部２０７に受け渡す。

【0071】

図１２は、行動系列予測モデルの一例を示す図である。行動系列予測モデル９０５は、例えば以下のネットワークを有するＤＮＮ（Deep Neural Network）である。

【0072】

第一のネットワークは、行動特徴データからより抽象的な特徴を抽出する全結合層１である。第一のネットワークは、入力を全結合層で変換した後、例えばシグモイド関数やＲｅＬｕ関数などを利用して、入力の特徴量を非線形変換し、特徴ベクトルを得る。第一のネットワークは、この処理を時系列データとして与えられている行動特徴データに対して順次繰り返し処理する。

【0073】

第二のネットワークは、抽象化された特徴ベクトルを更に系列データとして抽象化するＲＮＮ１で、例えばＬＳＴＭ（Long-Short term memory）などの既知の技術で実装される。具体的には、第二のネットワークは、系列データを順次受け取り、過去の抽象化された情報を考慮しながら、繰り返し非線形変換する。

【0074】

第三のネットワークは、ＲＮＮ１で得られた特徴ベクトルから、正規分布のパラメータへ変換する全結合層２である。第三のネットワークは、入力された各行動データに対応する平均値と分散のパラメータを得て、出力されるベクトルデータを各行動データの平均および分散と対応付ける。すなわち、ベクトルの次元数は入力された次元数×２となる。第三のネットワークは、分散が非負となるようにシグモイド関数などを利用して変換する。

【0075】

図１３は、行動系列予測モデル学習処理の流れの一例を示すフローチャートである。行動系列予測モデル学習処理は、学習処理のステップＳ１４０における行動系列予測モデル学習部１０７による処理である。

【0076】

行動系列予測モデル学習部１０７は、受け取った行動特徴データを、日時情報を参照して昇順に並べ替える（ステップＳ６００）。次に、行動系列予測モデル学習部１０７は、学習用データとして、入力となる行動特徴データと出力として期待される行動系列データのペアを構築する（ステップＳ６１０）。

【0077】

続いて、行動系列予測モデル学習部１０７は、行動系列予測モデル構築部１０６から行動系列予測モデルを受け取る（ステップＳ６２０）。次に、行動系列予測モデル学習部１０７は、ネットワークにおける各ユニットのモデルパラメータを初期化する（ステップＳ６３０）。例えば、行動系列予測モデル学習部１０７は、パラメータを０から１の乱数で初期化する。

【0078】

続いて、行動系列予測モデル学習部１０７は、学習用データを用いて、ネットワークのパラメータを更新する（ステップＳ６４０）。具体的には、行動系列予測モデル学習部１０７は、入力の行動系列データから正解の行動系列データを正しく予測できるようにネットワークのパラメータを学習する。行動系列予測モデル学習部１０７は、ネットワークの全結合層２で得られる平均と分散の値を用いて、出力の行動系列データに対する負の対数尤度を計算し、計算結果である負の対数尤度によってネットワークを誤差逆伝搬法などの公知の技術で学習すればよい。なお、対数尤度の計算は正規分布を用いればよい。

【0079】

そして、行動系列予測モデル学習部１０７は、行動系列予測モデルを出力し、出力された結果を行動系列予測モデルＤＢ１１０に格納する（ステップＳ６５０）。

【0080】

図１４は、行動系列予測モデルＤＢおよび気分系列予測モデルＤＢの一例を示す図である。行動系列予測モデルＤＢおよび気分系列予測モデルＤＢは、データ９０６の形式のパラメータを格納している。データ９０６は、パラメータとパラメータ値との組み合わせを含む。

【0081】

図１５は、気分系列予測モデルの一例を示す図である。気分系列予測モデル９０７は、例えば、以下のネットワークを有するＤＮＮである。

【0082】

第一のネットワークは、行動特徴データからより抽象的な特徴を抽出する全結合層３である。第一のネットワークは、全結合層１と同様の処理をし、特徴ベクトルを得る。第一のネットワークは、この処理を時系列データとして与えられている行動特徴データに対して順次繰り返し処理する。

【0083】

第二のネットワークは、抽象化された特徴ベクトルを更に系列データとして抽象化するＲＮＮ２で、ＲＮＮ１と同様に既知の技術で処理し、特徴ベクトルを得る。

【0084】

第三のネットワークは、ＲＮＮ１によって抽象化された特徴ベクトルについて、それぞれの重要度合いを考慮した特徴ベクトルを計算する、自己注意機構（ＡＴＴ）である。各特徴ベクドルの重要度合いを表す重みは、２層の全結合層によって実現される。第三のネットワークは、第一の全結合層で特徴ベクトルを任意のサイズのコンテキストベクトルに変換し、第二の全結合層でコンテキストベクトルを入力にして重みにあたるスカラ値を出力する。コンテキストベクトルは非線形変換処理をしてもよい。第三のネットワークは、得られた重要度の集合を、例えばソフトマックス関数などで確率値に変換する。第三のネットワークは、得られた重み集合と特徴ベクトルの集合の重み付き平均を計算し、各特徴ベクトルの重要度合い考慮した特徴ベクトルを得る。

【0085】

第四のネットワークは、前処理済み気分系列データを抽象化するＲＮＮ３で、ＲＮＮ１と同様に既知の技術で処理し、特徴ベクトルを得る。

【0086】

第五のネットワークは、自己注意機構とＲＮＮ３で得られた特徴ベクトルから、予測対象となる時刻のＶａｌｅｎｃｅとＡｒｏｕｓａｌを出力する全結合層４である。第五のネットワークは、自己注意機構とＲＮＮ３で得られた特徴ベクトルを結合した後、全結合層４に入力しＶａｌｅｎｃｅとＡｒｏｕｓａｌの値に該当する２次元の値を得る。

【0087】

図１６は、気分系列予測モデル学習処理の流れの一例を示すフローチャートである。気分系列予測モデル学習処理は、学習処理のステップＳ１６０における気分系列予測モデル学習部１０８による処理である。

【0088】

気分系列予測モデル学習部１０８は、特徴量抽出部１０５から行動特徴データと気分データ前処理部１０４から前処理済み気分系列データを受け取り、日時情報を参照しデータを昇順に並べ替える（ステップＳ７００）。

【0089】

次に、気分系列予測モデル学習部１０８は、学習用データを構築する（ステップＳ７１０）。例えば、気分系列予測モデル学習部１０８は、ある前処理済み気分系列データを１件抽出し、正解データとする。その前処理済み気分系列データの日時情報を参照して、その日時よりも過去の前処理済み気分データをＮ件、その日時よりも過去の行動特徴データをＮ件、その日時よりも未来の行動特徴データをＮ件抽出し、学習データとする。気分系列予測モデル学習部１０８は、この３つのデータを１つの学習用データとして構築する。なお、Ｎはシステム管理者が事前に設定する。

【0090】

続いて、気分系列予測モデル学習部１０８は、学習用データとして得られている未来の行動特徴データにノイズを加える（ステップＳ７２０）。ここでは、気分系列予測モデル学習部１０８は行動特徴データの各値を平均、任意のパラメータを持つガンマ分布から得られた乱数を分散とする正規分布を用意し、その正規分布からサンプリングして得られた値を新たな行動特徴データとして格納し、ガンマ分布から得られた乱数を分散として格納する。

【0091】

続いて、気分系列予測モデル学習部１０８は、気分系列予測モデル学習部からモデルを受け取る（ステップＳ７３０）。

【0092】

次に、気分系列予測モデル学習部１０８は、ネットワークにおける各ユニットのモデルパラメータを初期化する（ステップＳ７４０）。例えば、気分系列予測モデル学習部１０８は、パラメータを０から１の乱数で初期化する。

【0093】

続いて、気分系列予測モデル学習部１０８は、学習用データを用いてネットワークのパラメータを更新する（ステップＳ７５０）。具体的には、気分系列予測モデル学習部１０８は、入力の気分系列データから正解の気分系列データを正しく予測できるようにネットワークのパラメータを学習する。例えば、気分系列予測モデル学習部１０８は、ネットワークの全結合層４で得られているＶａｌｅｎｃｅとＡｒｏｕｓａｌの予測結果について、正解データとして与えられたＶａｌｅｎｃｅとＡｒｏｕｓａｌに対する誤差を公知の誤差関数で計算し、その誤差を用いてネットワークを誤差逆伝播法などの公知の技術で学習すればよい。

【0094】

そして、気分系列予測モデル学習部１０８は、気分系列予測モデル（ネットワーク構造及びモデルパラメータ）を出力し、出力された結果を気分系列予測モデルＤＢ１１１に格納する（ステップＳ７６０）。

【0095】

図１７は、行動系列予測処理の流れの一例を示すフローチャートである。行動系列予測処理は、予測処理のステップＳ２２０における行動系列予測部２０５による処理である。

【0096】

行動系列予測部２０５は、特徴量抽出部２０３から行動特徴データを受け取り、日時情報を参照しデータを昇順に並び替える（ステップＳ８００）。次に、行動系列予測部２０５は、行動系列予測モデルＤＢ２０４から学習済みの行動系列予測モデルを受け取る（ステップＳ８１０）。

【0097】

そして、行動系列予測部２０５は、行動系列予測モデルを用いて、行動特徴データから未来の行動系列データを計算し気分系列予測部２０７に受け渡す（ステップＳ８２０）。

【0098】

図１８は、気分系列予測処理の流れの一例を示すフローチャートである。気分系列予測処理は、予測処理のステップＳ２４０における気分系列予測部２０７による処理である。

【0099】

気分系列予測部２０７は、特徴量抽出部２０３から行動特徴データ、行動系列予測部２０５から予測された行動系列データ、気分データ前処理部２０２から前処理済み気分系列データを受け取る（ステップＳ９００）。

【0100】

次に、気分系列予測部２０７は、行動特徴データの正規化を行う（ステップＳ９１０）。例えば、気分系列予測部２０７は、気分系列予測モデルの入力となるデータとして、各行動の平均値と分散値が該当するが、行動特徴データには分散値が存在しないため、０を分散値として格納する。

【0101】

続いて、気分系列予測部２０７は、行動特徴データと、予測された行動系列データを結合する（ステップＳ９２０）。例えば、気分系列予測部２０７は、行動特徴データを日時情報に従い昇順に並べ替え、その最終行から予測された行動系列データを出力順に結合して、得られた系列データを行動特徴データとして扱う。

【0102】

次に、気分系列予測部２０７は、気分系列予測モデルＤＢ２０６から学習済みの気分系列予測モデルを受け取る（ステップＳ９３０）。

【0103】

そして、気分系列予測部２０７は、気分系列予測モデルを用いて、行動特徴データと前処理済み気分系列データから現在の気分（Valence、Arousal）を計算し、出力する（ステップＳ９４０）。

【0104】

（本実施の形態に係るハードウェア構成例）
学習装置１０および予測装置２０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

【0105】

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0106】

図１９は、上記コンピュータのハードウェア構成例を示す図である。図１９のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

【0107】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0108】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、例えばニューラルネットワーク等の特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。

【0109】

（参考文献）
［１］J.P. Pollak, P. Adams, G. Gay: PAM: A Photographic Affect Meter for Frequent, In Situ Measurement of Affect. In Proc. of CHI, 2011.

【0110】

（本実施の形態の効果）
本実施の形態に係る学習装置１０は、気分系列データを前処理して得られた前処理済み行動データと、行動系列データを前処理して得られた前処理済み行動特徴データと、行動系列予測モデルから得られた未来の行動系列を合わせて気分系列予測モデルを学習する。これによって、予測装置２０は、従来予測できなかった予測対象の気分系列を予測可能となる。

【0111】

また、学習装置１０は、未来の行動を予測し、その予測結果を入力として気分系列予測モデルを学習する。これによって、予測装置２０は、高精度に予測対象の気分系列を予測可能となる。

【0112】

また、予測装置２０は、未来の行動を平均と分散として予測し、その結果の信頼度を分散として表現する。そして、学習装置１０は、信頼度を捉えた状態で気分系列予測モデルを学習する。これによって、予測装置２０は、信頼度が高い行動を重視して気分系列を予測可能となる。

【0113】

また、予測対象の気分をＶａｌｅｎｃｅとＡｒｏｕｓａｌという２次元の値で表現することで、細かな予測対象の気分の動きを捉えることが可能となる。

【0114】

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した予測装置、学習装置、予測方法、学習方法およびプログラムが記載されている。
（第１項）
予測対象の過去の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力する特徴量抽出部と、
行動系列を予測するための学習済みの行動系列予測モデルを用いて、前記行動特徴データに基づく前記予測対象の未来の行動系列を予測する行動系列予測部と、
気分系列を予測するための学習済みの気分系列予測モデルを用いて、前記行動特徴データおよび前記予測対象の過去の気分系列データに基づく前記予測対象の未来の気分系列を予測する気分系列予測部と、を備える、
予測装置。
（第２項）
学習対象の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力する特徴量抽出部と、
気分系列を予測するための気分系列予測モデルを構築する気分系列予測モデル構築部と、
構築された前記気分系列予測モデルのパラメータを、前記行動特徴データおよび前記学習対象の過去の気分系列データに基づいて更新する気分系列予測モデル学習部と、を備える、
学習装置。
（第３項）
前記気分系列予測モデル学習部は、学習用データとして抽出した未来の行動特徴データにノイズを加えた行動特徴データに基づいて、前記パラメータを更新する、
第２項に記載の学習装置。
（第４項）
行動系列を予測するための行動系列予測モデルを構築する行動系列予測モデル構築部と、
前記行動特徴データに基づいて、前記行動系列予測モデルのパラメータを更新する行動系列予測モデル学習部と、をさらに備える、
第２項または第３項に記載の学習装置。

【0115】

学習装置。
（第５項）
前記行動系列予測モデル学習部は、前記行動系列予測モデルが備えるネットワークで得られる平均と分散の値を用いて、出力の行動系列データに対する負の対数尤度を計算し、計算結果に基づいて前記パラメータを更新する、
第４項に記載の学習装置。
（第６項）
予測装置が実行する予測方法であって、
予測対象の過去の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力するステップと、
行動系列を予測するための学習済みの行動系列予測モデルを用いて、前記行動特徴データに基づく前記予測対象の未来の行動系列を予測するステップと、
気分系列を予測するための学習済みの気分系列予測モデルを用いて、前記行動特徴データおよび前記予測対象の過去の気分系列データに基づく前記予測対象の未来の気分系列を予測するステップと、を備える、
予測方法。
（第７項）
学習装置が実行する学習方法であって、
学習対象の行動系列データに基づいて特徴量を抽出し、行動特徴データを出力するステップと、
気分系列を予測するための気分系列予測モデルを構築するステップと、
構築された前記気分系列予測モデルのパラメータを、前記行動特徴データおよび前記学習対象の過去の気分系列データに基づいて更新するステップと、を備える、
学習方法。
（第８項）
コンピュータを、第１項に記載の予測装置における各部として機能させるためのプログラム、または、コンピュータを、第２項から第５項のいずれか１項に記載の学習装置における各部として機能させるためのプログラム。

【0116】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0117】

１０ 学習装置
２０ 予測装置
１０１ 行動系列データＤＢ
１０２ 気分系列データＤＢ
１０３ 行動データ前処理部
１０４ 気分データ前処理部
１０５ 特徴量抽出部
１０６ 行動系列予測モデル構築部
１０７ 行動系列予測モデル学習部
１０８ 気分系列予測モデル学習部
１０９ 気分系列予測モデル構築部
１１０ 行動系列予測モデルＤＢ
１１１ 気分系列予測モデルＤＢ
２０１ 行動データ前処理部
２０２ 気分データ前処理部
２０３ 特徴量抽出部
２０４ 行動系列予測モデルＤＢ
２０５ 行動系列予測部
２０６ 気分系列予測モデルＤＢ
２０７ 気分系列予測部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】