特許 6896594 楽曲選択装置、楽曲選択方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6896594

(24)【登録日】2021年6月11日

(45)【発行日】2021年6月30日

(54)【発明の名称】楽曲選択装置、楽曲選択方法及びプログラム

(51)【国際特許分類】

   G06F 16/635 20190101AFI20210621BHJP

   G06F 16/68 20190101ALI20210621BHJP

【ＦＩ】

   G06F16/635

   G06F16/68

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2017-226726(P2017-226726)

(22)【出願日】2017年11月27日

(65)【公開番号】特開2019-96189(P2019-96189A)

(43)【公開日】2019年6月20日

【審査請求日】2019年12月6日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】ダヒリ シャイマ

(72)【発明者】

【氏名】帆足 啓一郎

【審査官】 齊藤 貴孝

(56)【参考文献】

【文献】 国際公開第２０１６／０７２１１６（ＷＯ，Ａ１）

【文献】 特開２０１２−０１４５９５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１７２４３１（ＵＳ，Ａ１）

【文献】 特開２００９−０２６１２５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２９７１０９（ＵＳ，Ａ１）

【文献】 特開２０１７−０２９３８６（ＪＰ，Ａ）

【文献】 特開２０１２−０１５８０９（ＪＰ，Ａ）

【文献】 特開２０１５−２２８１４２（ＪＰ，Ａ）

【文献】 特開２０１７−０４２５６２（ＪＰ，Ａ）

【文献】 米国特許第９７８８７７７（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１７／０２８９２０２（ＵＳ，Ａ１）

【文献】 矢倉 大夢、外２名，作業用ＢＧＭに特化した音楽推薦システム，情報処理学会 研究報告 音楽情報科学（ＭＵＳ） ２０１６−ＭＵＳ−１１２，日本，情報処理学会，２０１６年 ７月２３日，ｐ．１−１０

【文献】 畑中 衛、外５名，ＳＮＳを用いた視覚的日記自動生成システム「Ｆｅｅｌｉｎｇ Ｄｉａｒｙ」，情報処理学会 研究報告 ゲーム情報学（ＧＩ） ２０１６−ＧＩ−３６，日本，情報処理学会，２０１６年 ７月２９日，ｐ．１−６

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

(57)【特許請求の範囲】

【請求項1】

ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータを取得するデータ取得部と、
前記データ取得部が取得した前記ユーザデータに基づいて、前記ユーザの感情を推定する感情推定部と、
複数の楽曲の特徴を示す楽曲データを取得し、前記感情推定部が推定した前記ユーザの感情と、当該楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択し、当該推奨楽曲を選択した後に、前記ユーザの嗜好性を探索している間、直前に選択した前記推奨楽曲との類似度が所定の閾値よりも小さな前記推奨楽曲を選択し、前記ユーザの嗜好性の探索が終了した後に、直前に選択した前記推奨楽曲との類似度が所定の閾値以上の前記推奨楽曲を選択する選択部と、
を有する楽曲選択装置。

【請求項2】

前記複数の楽曲と人の感情との関係を記憶する記憶部をさらに有し、
前記選択部は、前記記憶部に記憶された前記関係に基づいて、前記感情推定部が推定した前記ユーザの感情に適した前記推奨楽曲を選択する、
請求項１に記載の楽曲選択装置。

【請求項3】

前記記憶部は、楽曲の特徴を示す感情マップにおける前記複数の楽曲の位置を記憶することにより、前記関係を記憶する、
請求項２に記載の楽曲選択装置。

【請求項4】

前記記憶部は、前記ユーザの感情の種別ごとに、前記複数の楽曲と前記ユーザの感情との関係を記憶する、
請求項２又は３に記載の楽曲選択装置。

【請求項5】

前記選択部が過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて、前記記憶部に記憶された前記関係を変更する更新部を更に備える、
請求項２から４のいずれか一項に記載の楽曲選択装置。

【請求項6】

前記選択部は、過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて推定された前記ユーザの嗜好性に基づいて新たな前記推奨楽曲を選択する、
請求項１から５のいずれか一項に記載の楽曲選択装置。

【請求項7】

前記ユーザの嗜好性の探索が終了した後に、過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて前記ユーザの嗜好性の変化を監視する検出部を更に備え、
前記選択部は、嗜好性が変化したことを前記検出部において検出した場合、前記ユーザの嗜好性の探索を再開する、
請求項１から６のいずれか一項に記載の楽曲選択装置。

【請求項8】

コンピュータが実行する、
ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータと、複数の楽曲の特徴を示す楽曲データとを取得するステップと、
取得した前記ユーザデータに基づいて、前記ユーザの感情を推定するステップと、
推定した前記ユーザの感情と、前記楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択するステップと、
当該推奨楽曲を選択した後に、前記ユーザの嗜好性を探索している間、直前に選択した前記推奨楽曲との類似度が所定の閾値よりも小さな前記推奨楽曲を選択するステップと、
前記ユーザの嗜好性の探索が終了した後に、直前に選択した前記推奨楽曲との類似度が所定の閾値以上の前記推奨楽曲を選択するステップと、
を有する楽曲選択方法。

【請求項9】

コンピュータを、
ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータを取得するデータ取得部、
前記データ取得部が取得した前記ユーザデータに基づいて、前記ユーザの感情を推定する感情推定部、及び
複数の楽曲の特徴を示す楽曲データを取得し、前記感情推定部が推定した前記ユーザの感情と、前記楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択し、当該推奨楽曲を選択した後に、前記ユーザの嗜好性を探索している間、直前に選択した前記推奨楽曲との類似度が所定の閾値よりも小さな前記推奨楽曲を選択し、前記ユーザの嗜好性の探索が終了した後に、直前に選択した前記推奨楽曲との類似度が所定の閾値以上の前記推奨楽曲を選択する選択部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの嗜好に合った楽曲を選択するための楽曲選択装置、楽曲選択方法及びプログラムに関する。

【背景技術】

【0002】

ユーザの嗜好に合ったメディアコンテンツを選択してユーザに推奨することが行われている。特許文献１には、ユーザの感情状態を入力し、入力された感情状態に応じたメディアコンテンツを推奨することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１４／０２９８３６４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術では、メディアコンテンツを推奨するためにユーザが感情状態を入力する必要があった。このため、ユーザが感情状態の入力に慣れていない場合、ノイズが多くなってしまうという問題があった。また、感情状態を入力する作業がユーザにとって煩雑であるという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが感情状態を入力することなく、ユーザの嗜好に合った楽曲を推奨することができる楽曲選択装置、楽曲選択方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の楽曲選択装置は、ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータを取得するデータ取得部と、前記データ取得部が取得した前記ユーザデータに基づいて、前記ユーザの感情を推定する感情推定部と、複数の楽曲の特徴を示す楽曲データを取得し、前記感情推定部が推定した前記ユーザの感情と、当該楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択する選択部と、を有する。

【0007】

また、前記楽曲選択装置は、前記複数の楽曲と人の感情との関係を記憶する記憶部をさらに有し、前記選択部は、前記記憶部に記憶された前記関係に基づいて、前記感情推定部が推定した前記ユーザの感情に適した前記推奨楽曲を選択してもよい。

【0008】

前記記憶部は、楽曲の特徴を示す感情マップにおける前記複数の楽曲の位置を記憶することにより、前記関係を記憶してもよい。前記記憶部は、前記ユーザの感情の種別ごとに、前記複数の楽曲と前記ユーザの感情との関係を記憶してもよい。

【0009】

前記楽曲選択装置は、前記選択部が過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて、前記記憶部に記憶された前記関係を変更する更新部を更に備えてもよい。前記選択部は、過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて推定された前記ユーザの嗜好性に基づいて新たな前記推奨楽曲を選択してもよい。

【0010】

前記選択部は、直前に選択した前記推奨楽曲との類似度に基づいて新たな前記推奨楽曲を選択してもよい。前記選択部は、前記ユーザの嗜好性を探索している間、直前に選択した前記推奨楽曲との類似度が所定の閾値よりも小さな前記推奨楽曲を選択してもよい。前記選択部は、前記ユーザの嗜好性の探索が終了した後に、直前に選択した前記推奨楽曲との類似度が所定の閾値以上の前記推奨楽曲を選択してもよい。

【0011】

前記ユーザの嗜好性の探索が終了した後に、過去に選択した前記推奨楽曲を前記ユーザが聞いた時のフィードバックに基づいて前記ユーザの嗜好性の変化を監視する検出部を更に備え、前記選択部は、嗜好性が変化したことを前記検出部において検出した場合、前記ユーザの嗜好性の探索を再開してもよい。

【0012】

本発明の第２の態様の楽曲選択方法は、コンピュータが実行する、ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータと、複数の楽曲の特徴を示す楽曲データとを取得するステップと、取得した前記ユーザデータに基づいて、前記ユーザの感情を推定するステップと、推定した前記ユーザの感情と、前記楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択するステップと、を有する。

【0013】

本発明の第３の態様のプログラムは、コンピュータを、ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータを取得するデータ取得部、前記データ取得部が取得した前記ユーザデータに基づいて、前記ユーザの感情を推定する感情推定部、及び複数の楽曲の特徴を示す楽曲データを取得し、前記感情推定部が推定した前記ユーザの感情と、前記楽曲データが示す前記複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択する選択部、として機能させる。

【発明の効果】

【0014】

本発明によれば、ユーザが感情状態を入力することなく、ユーザの嗜好に合った楽曲を推奨することができるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】実施の形態に係る楽曲選択システムの構成を示す図である。

【図2】楽曲選択装置の構成を示す図である。

【図3】推定部のより詳細な動作について説明するための図である。

【図4】マッチング部による感情マップの選択について説明するための図である。

【図5】更新部が記憶部に記憶させる情報について説明するための図である。

【図6】楽曲選択装置による楽曲を選択する処理を示したフローチャートである。

【発明を実施するための形態】

【0016】

［楽曲選択システムＳの概要］
図１は、本実施の形態に係る楽曲選択システムＳの構成を示す図である。楽曲選択システムＳは、ユーザの嗜好に合う楽曲を選択するためのシステムである。楽曲選択システムＳは、複数の通信端末１００、楽曲選択装置２００及び複数のソーシャルネットワークサーバ３００を備える。複数の通信端末１００、楽曲選択装置２００及び複数のソーシャルネットワークサーバ３００は、インターネット等のネットワークＮを介して互いに接続されている。

【0017】

通信端末１００は、ネットワークＮを介してソーシャルネットワークサーバ３００に投稿メッセージ又は投稿画像を投稿するために用いられる装置であり、例えばスマートフォン又はタブレットである。ソーシャルネットワークサービスは、例えば、ツイッター（登録商標）、ＬｉｖｅＪｏｕｒｎａｌである。通信端末１００は、Ｆｉｔｂｉｔ（登録商標）のようなウェアラブルデバイスであってもよい。この場合、通信端末１００は、ユーザの運動量を計測し、計測した運動量をＦｉｔｂｉｔのＷＥＢサーバ又はＦｉｔｂｉｔに連携するソーシャルネットワークサーバ３００等に送信する。

【0018】

通信端末１００は、ユーザのソーシャルネットワークのアカウントに関連付けられたユーザデータをソーシャルネットワークサーバ３００から取得する（図中の（１））。ユーザデータは、例えば、ユーザが投稿した投稿メッセージ、投稿画像又はＦｉｔｂｉｔのサーバが管理するユーザの運動量データである。通信端末１００は、複数のソーシャルネットワークサーバ３００からユーザデータをそれぞれ取得してもよい。通信端末１００は、ネットワークＮを介して、取得したユーザデータを楽曲選択装置２００へ送信する。

【0019】

楽曲選択装置２００は、ユーザの嗜好に合う楽曲をユーザに推奨する。より詳しくは、楽曲選択装置２００は、通信端末１００から取得したユーザデータを分析することにより、ユーザの感情を予測する（図中の（２））。楽曲選択装置２００は、予測したユーザの感情にマッチングする楽曲をユーザの嗜好に合う楽曲として選択する。楽曲選択装置２００は、選択した楽曲をユーザに推奨する（図中の（３））。

【0020】

楽曲選択装置２００は、推奨した楽曲についてのユーザの評価を示すフィードバックを取得する（図中の（４））。例えば、楽曲選択装置２００は、楽曲を推奨した後にユーザがソーシャルネットワークサーバ３００に投稿したユーザデータを分析することにより、推奨した楽曲についてのユーザのフィードバックを取得する。

【0021】

このように、楽曲選択システムＳにおいては、楽曲選択装置２００が、ユーザの投稿メッセージ又は投稿画像に基づいてユーザの感情を推定し、推定した感情に合う楽曲をユーザに推奨する。したがって、ユーザの手を煩わせることなく、ユーザが、聞きたい楽曲を聞くことができるようになるので、ユーザの満足度を高めることができる。

【0022】

［楽曲選択装置２００の構成］
図２は、楽曲選択装置２００の構成を示す図である。楽曲選択装置２００は、通信部２０１、記憶部２０２及び制御部２０３を備える。通信部２０１は、ネットワークＮを介して、通信端末１００及びソーシャルネットワークサーバ３００と通信するための通信インターフェースである。記憶部２０２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体である。

【0023】

記憶部２０２は、制御部２０３が実行するプログラムを記憶している。また、記憶部２０２は、ユーザの感情を推定したり、ユーザに楽曲を推奨したりするために用いられる各種のデータを記憶している。記憶部２０２が記憶している各種のデータの詳細については後述する。

【0024】

制御部２０３は、例えばＣＰＵ（Central Processing Unit）である。制御部２０３は、記憶部２０２に記憶されたプログラムを実行することにより、収集部１、感情推定部２、推奨部３として機能する。収集部１は、通信部２０１を介して、ユーザデータを取得し、ユーザデータにおける投稿メッセージをポジティブ、ネガティブ及び中立の感情に分類する。収集部１は、データ取得部１１及び特徴抽出部１２を有する。

【0025】

データ取得部１１は、通信部２０１を介して、ソーシャルネットワークサーバ３００においてユーザのアカウントに関連付けられたユーザデータを通信端末１００から取得する。アカウントは、例えば、ソーシャルネットワークのユーザＩＤである。データ取得部１１は、過去のユーザデータとして、例えば、直近３年間のユーザデータを取得する。また、データ取得部１１は、通信端末１００又はソーシャルネットワークサーバ３００からその後に追加されたユーザデータを定期的に取得する。例えば、データ取得部１１は、その後に追加されたユーザデータを毎日取得する。

【0026】

特徴抽出部１２は、データ取得部１１が取得したユーザデータにおける投稿メッセージから感情を示す特徴を抽出する。特徴抽出部１２は、通信端末１００のユーザがソーシャルネットワークサーバ３００に投稿した投稿メッセージ等に示される言語的特徴と、通信端末１００のユーザがソーシャルネットワークサーバ３００に投稿した写真等の投稿画像に示される非言語的特徴とをユーザデータから抽出する。特徴抽出部１２は、投稿メッセージ及び投稿画像から、ユーザの感情との相関性があると考えられる、ネット上の特徴、ソーシャルの特徴、及び身体的特徴を抽出する。以下、特徴抽出部１２が抽出する各種の特徴について説明する。

【0027】

（ネット上の特徴）
特徴抽出部１２は、ユーザデータにおいて、投稿メッセージを検索するための検索用タグの数を抽出する。検索用タグは、例えばソーシャルネットワークサービスがツイッターである場合におけるハッシュタグである。また、特徴抽出部１２は、他のユーザが投稿メッセージをお気に入りに指定した１日当たりの数又は投稿画像の数を抽出する。特徴抽出部１２は、ソーシャルネットワークサービスがツイッターの場合には、ツイッター以外のアプリケーションで生成されたツイートの数を抽出する。

【0028】

特徴抽出部１２は、ユーザが投稿メッセージ又は投稿画像を投稿した曜日を抽出する。例えば、特徴抽出部１２は、ユーザが投稿メッセージ又は投稿画像を投稿した曜日が月曜日から金曜日までの平日であるか、土曜日又は日曜日の休日であるかを抽出する。

【0029】

特徴抽出部１２は、所定期間における積極的行動の数と、受動的行動の数とを計数する。所定期間は、ユーザの感情を統計的に推定するための期間であり、例えば、３日間である。積極的行動は、投稿メッセージを投稿することである。受動的行動は、自分又は他のユーザが過去に投稿した投稿メッセージを再投稿することである。特徴抽出部１２は、積極的行動の数と受動的行動の数との合計に対する積極的行動の数の割合を抽出する。

【0030】

（ソーシャルの特徴）
投稿メッセージの数が多いユーザは、感情のポジティブ度が高い傾向がある。そこで、特徴抽出部１２は、１日当たりの投稿メッセージの数を抽出する。また、他のユーザに言及している投稿メッセージ（例えばツイッターにおけるメンション）の数が多い方が、感情のポジティブ度が高い傾向がある。そこで、特徴抽出部１２は、ユーザデータにおいて、所定期間において投稿した投稿メッセージにおける他のユーザに言及した数を抽出する。所定期間は、ユーザの感情を統計的に推定するための期間である。この場合、投稿メッセージにおける他のユーザに言及した数は、一の他のユーザに言及した数であってもよく、複数の他のユーザに言及した数の合計であってもよい。

【0031】

また、ユーザが特定のユーザについて言及している場合に、ユーザの感情におけるポジティブ度が高くなる傾向がある。そこで、特徴抽出部１２は、投稿メッセージにおいてユーザが特定の他のユーザに言及した場合におけるユーザの感情を、同じ投稿メッセージから抽出した特徴により予測し、予測した感情を、ユーザが言及した他のユーザに関連付けて記憶部２０２に記憶する。特徴抽出部１２は、記憶した他のユーザが再度言及された投稿メッセージをデータ取得部１１が取得した場合に、記憶部２０２に記憶されている感情に関連付けられた特徴として、言及された他のユーザを抽出する。

【0032】

例えば、特徴抽出部１２は、「○○さんに会ってよかった」という投稿メッセージを抽出した場合に、「よかった」という文字列からユーザの感情が「ポジティブ」であると予測する。このとき、特徴抽出部１２は、他のユーザ「○○」を感情「ポジティブ」に関連付けて記憶する。特徴抽出部１２は、次以降に「○○さんに会った」という投稿メッセージをデータ取得部１１において取得した場合に、他のユーザ「○○」を感情「ポジティブ」に関連付けた特徴として抽出する。

【0033】

（身体的特徴）
特徴抽出部１２は、データ取得部１１が取得したユーザデータにおいて投稿メッセージに位置情報が関連付けられている場合には、位置情報が示す位置を同じ投稿メッセージにおいて示された感情に関連付けて記憶部２０２に記憶させる。位置情報は、例えば、ＧＰＳ（Global Positioning System）情報である。

【0034】

例えば、特徴抽出部１２は、△△市を示す位置情報に「空気がきれいでリフレッシュできた」というメッセージが関連付けられている場合に、「リフレッシュ」という文字列からユーザがポジティブな感情であると予測し、△△市を示す位置情報をポジティブな感情に関連付けて記憶部２０２に記憶させる。特徴抽出部１２は、次以降に△△市を示す位置情報を含む投稿メッセージ又は投稿画像をデータ取得部１１において取得した場合に、記憶部２０２を参照して、ポジティブな感情に関連付けた特徴としてこの位置情報を抽出する。

【0035】

また、ユーザは、一のソーシャルネットワークサービス上の投稿を他のソーシャルネットワークサービスにおいて共有した場合、ポジティブ度が高い傾向にある。そこで、特徴抽出部１２は、ソーシャルネットワークサービスにおいてユーザが運動した運動量を公開した投稿の数を抽出する。例えば、特徴抽出部１２は、ソーシャルネットワークがツイッターである場合に、Ｆｉｔｂｉｔが計測したユーザの運動量がツイッターに投稿された数を抽出する。

【0036】

また、ユーザが運動した後に、運動する前よりもポジティブ度が高い傾向にある。そこで、特徴抽出部１２は、ユーザが歩いた歩数を示すユーザデータを取得した場合に、ユーザデータから歩数を抽出する。

【0037】

［ユーザの感情の推定］
感情推定部２は、データ取得部１１が取得したユーザデータに基づいて、ユーザの感情を推定する。感情推定部２は、データ学習部２１及び予測モデル部２２を有する。データ学習部２１は、特徴抽出部１２が抽出した各種の特徴が、ユーザのどのような感情に対応するかを学習する。データ学習部２１は、ユーザの感情が表れている投稿メッセージに基づいてユーザの感情を推定した結果と、特徴抽出部１２が抽出した各種の特徴との相関度を算出することにより、投稿メッセージによらずともユーザの感情を推定できるようにする。

【0038】

まず、データ学習部２１は、所定の期間内の投稿メッセージに表れている感情の割合（０と１の間の値）を算出することにより、ユーザデータにおけるユーザの感情を推定する。データ学習部２１は、例えば、以下の式によりユーザの感情を推定する。

【0039】

（数１）
Ｍ＝Ｎ_ｐｏｓ／（Ｎ_ｐｏｓ＋Ｎ_ｎｅｇ＋Ｎ_ｎｅｕ）・・・（１）

【0040】

式中、Ｍは感情であり、Ｎ_ｐｏｓは、ポジティブな感情を示す投稿メッセージの数である。Ｎ_ｎｅｇは、ネガティブな感情を示す投稿メッセージの数である。Ｎ_ｎｅｕは、中立的な投稿メッセージの数である。中立的な投稿メッセージは、ポジティブ又はネガティブな感情のいずれも示していない投稿メッセージ、あるいは、ポジティブ及びネガティブな感情を同程度に示している投稿メッセージである。

【0041】

データ学習部２１は、「今日はすばらしい一日だった」という文字列を含む投稿メッセージをデータ取得部１１において取得した場合に、「すばらしい」という文字列をポジティブな用語であると認識し、取得した投稿メッセージをポジティブな感情を示す投稿メッセージであると判定する。

【0042】

一方、データ学習部２１は、「今日は残念なことがあった」という文字列を含む投稿メッセージをデータ取得部１１において取得した場合に、「残念な」という文字列をネガティブな用語であると認識し、取得した投稿メッセージをネガティブな感情を示す投稿メッセージであると判定する。データ学習部２１は、ユーザの感情を示す文字列を認識しなかった場合に、あるいは、ポジティブ及びネガティブな感情を示す文字列を同程度に認識した場合に、この投稿メッセージを中立的な投稿メッセージであると判定する。また、データ学習部２１は、ユーザの感情におけるポジティブ度と同様の手法により、ユーザの感情における興奮度を推定する。

【0043】

続いて、データ学習部２１は、推定した感情と、特徴抽出部１２が抽出した特徴との相関度を求める。例えば、データ学習部２１は、推定した感情と、特徴抽出部１２が抽出した特徴との相関度を示すピアソン係数を求める。データ学習部２１は、特徴抽出部１２が抽出した特徴との相関度が閾値以上である感情が、特徴抽出部１２が抽出した特徴に表れている感情であることを学習する。データ学習部２１は、学習した結果を予測モデル部２２に通知する。

【0044】

予測モデル部２２は、特徴抽出部１２が抽出した特徴の入力を受けると、入力された特徴に対応する感情を示す情報を出力する。具体的には、予測モデル部２２は、特徴抽出部１２が抽出した特徴と、ユーザの感情とを関連付けたデータを記憶するメモリを有しており、特徴抽出部１２が抽出した特徴の入力を受けると、入力された特徴に関連付けられている感情を示す情報を出力する。

【0045】

［ユーザの感情に適した楽曲の推奨］
推奨部３は、ユーザの嗜好に合った楽曲をユーザに推奨する。推奨部３は、マップ管理部３１、マッチング部３２、及び選択部３３を有する。

【0046】

マップ管理部３１は、複数の楽曲と人の感情との関係を示す感情マップを生成する。マップ管理部３１は、例えば、ユーザごとに感情マップを生成し、生成した感情マップを記憶部２０２に記憶させる。

【0047】

図３を参照して、マップ管理部３１の詳細な動作について説明する。マップ管理部３１は、感情マップを生成する前の前処理として、楽曲を聞いているときのユーザの感情を示す情報を予測モデル部２２に出力させ、予測モデル部２２が出力したユーザの感情を示す情報をユーザが聞いていた楽曲に関連付けて記憶部２０２に記憶しておく。

【0048】

マップ管理部３１は、取得したユーザの感情を示す情報を元に、３種類（ポジティブ、ネガティブ、ニュートラル）の感情の種別のうち、楽曲をいずれかの種別に分類する（図３中の（１））。例えば、マップ管理部３１は、ある楽曲を聴いているときのユーザの感情がポジティブであることを示す情報を予測モデル部２２が出力した場合は、当該楽曲をポジティブの種別に分類する。マップ管理部３１は、感情の種別を示す二次元空間（以下、感情二次元空間という）に各楽曲を配置する（図３中の（２））。感情二次元空間は、例えば、感情の種別を二次元空間で表現する誘発性興奮（valence-arousal, VA）感情空間であり、マップ管理部３１は、各楽曲をこの感情二次元空間に配置することで、複数の楽曲と人の感情とを関係づけることができる。

【0049】

楽曲の感情は、各楽曲について、例えば、４３の値のベクトルが割り当てられる高次元データにより示される。ｔ−ＳＮＥアルゴリズムは、高次元データを可視化するためのツールであり、楽曲の感情を示す高次元データを、感情二次元空間に対応する二次元データに変換する。マップ管理部３１は、ｔ−ＳＮＥアルゴリズムを用いて、データポイント間の類似性を同時確率に変換し、配置する低次元データの同時確率と高次元データの同時確率との間のKullback-Leibler情報量の最小化を試みる。マップ管理部３１は、このようにして生成したユーザの感情二次元空間における楽曲の位置を示す３種類の感情マップを記憶部２０２に記憶させる（図３中の（３））。

【0050】

マッチング部３２は、ポジティブ、ネガティブ及び中立の３つの感情についての感情マップのうち、感情推定部２が推定したユーザの感情にマッチングする感情マップを選択する。マッチング部３２は、ユーザに推奨楽曲を推奨する場合には、ユーザの感情マップからユーザの感情にマッチングする感情マップを選択する。

【0051】

図４を参照して、マッチング部３２による感情マップの選択について説明する。図４は、予測モデル部２２が作成した感情マップを示す。図４（ａ）は、ポジティブな感情に対応する感情マップを示し、図４（ｂ）は、中立的な感情に対応する感情マップを示し、図４（ｃ）は、ネガティブな感情に対応する感情マップを示す。

【0052】

図４（ａ）に示すように、マップ管理部３１は、感情マップにおいて複数の楽曲を二次元空間に配置する。感情マップに配置された丸印は、それぞれ楽曲を示す。楽曲間の感情マップ上における距離が近いほど、楽曲の特徴が類似することを示す。

【0053】

図４（ａ）の感情マップには、ポジティブ度が高い状態に適した楽曲が配置されている。マッチング部３２は、予測モデル部２２が出力したユーザの感情のポジティブ度が第１閾値より高い場合には、ポジティブな感情に対応する感情マップを選択する。第１閾値は、例えば、３つの感情マップに配置される楽曲数が互いに等しくなるように定められる。

【0054】

図４（ｂ）は、中立的な感情に対応する感情マップを示す。この感情マップには、図４（ａ）の感情マップに比べてポジティブ度が低い状態に適した楽曲が配置されている。マッチング部３２は、予測モデル部２２が出力したユーザの感情のポジティブ度が第１閾値以下であって第２閾値より高い場合に、中立的な感情に対応する感情マップを選択する。第２閾値は、例えば、第１閾値と同様に、３つの感情マップに配置される楽曲数が互いに等しくなるように定める。

【0055】

図４（ｃ）は、ネガティブな感情に対応する感情マップを示す。この感情マップには、図４（ｂ）の感情マップに比べてポジティブ度が低い楽曲が配置される。マッチング部３２は、データ学習部２１が推定したユーザの感情のポジティブ度が第２閾値以下である場合に、ネガティブな感情に対応する感情マップを選択する。

【0056】

［推奨楽曲の選択］
図２の説明に戻る。選択部３３は、複数の楽曲の特徴を示す楽曲データを記憶部２０２から取得する。楽曲データは、例えば、記憶部２０２が記憶している感情マップにおける楽曲の位置を示すデータである。選択部３３は、記憶部２０２に記憶された楽曲と感情との関係に基づいて、予測モデル部２２が推定したユーザの感情に適した推奨楽曲を選択する。

【0057】

より詳しくは、選択部３３は、取得した楽曲データが示す複数の楽曲の特徴と、予測モデル部２２が推定したユーザの感情とを比較することにより、複数の楽曲からユーザに推奨するための推奨楽曲を選択する。本実施の形態の例では、まず、選択部３３は、マッチング部３２が選択した感情マップにおいて最も高い人気度Ｑ_０を有する楽曲を最初の推奨楽曲として選択する。人気度Ｑ_０は以下の式（２）により示される。

【0058】

（数２）
Ｑ_０＝楽曲を聞いた回数÷全楽曲を聞いた合計回数・・・（２）

【0059】

選択部３３は、複数の感情マップのうち、マッチング部３２が選択した感情マップにおいて推奨楽曲を選択する。このような構成を採用することにより、選択部３３は、全ての楽曲が配置された感情マップから推奨楽曲を選択する場合に比べて、推奨楽曲を選択するためのプロセッサの処理負荷を軽減することができる。

【0060】

また、選択部３３は、２回目以降の推奨楽曲の選択では、過去に選択した推奨楽曲をユーザが聞いた時のフィードバックに基づいてユーザの嗜好性を推定し、推定した嗜好性に基づいて新たな推奨楽曲を選択する。より詳しくは、選択部３３は、ユーザの推奨楽曲に対する暗示的なフィードバックを考慮して、２回目以降の推奨楽曲を選択する。このとき、選択部３３は、ユーザの明示的な指示又は評価を必要とせず、暗示的なフィードバックに基づいてユーザの嗜好性を推定する。暗示的なフィードバックは、楽曲を選択するクリック操作、リスニング時間（ｌｔ）、楽曲のリピート、お気に入り／プレイリストに楽曲を加えること（ｆｖ）、リスニング回数（ｎｌ）等である。本発明者は、以下の式（３）に示すように、楽曲に対するユーザの嗜好と、感情マップ上における楽曲の位置に基づいて、暗示的なフィードバックを数値化できることを見出した。

【0061】

（数３）
R_t(u,s,m)=R_pref,t(u,s,m)+R_d,t(u,s,m)…(3)

【0062】

式中、Ｒ_{ｐｒｅｆ，ｔ}は、楽曲に対するユーザの嗜好を示し、Ｒ_ｄ，ｔは、感情マップ上における楽曲の位置に基づいて付与するリウォードを示す。Ｒ_{ｐｒｅｆ，ｔ}及びＲ_ｄ，ｔは、それぞれ以下の式（４）により示される。

【0063】

【数4】

【0064】

式中、ｃ_ｋは、暗示的フィードバックの各因子の重みであり、ｒ_ｋ，ｔ（ｕ，ｓ，ｍ）は、楽曲ｓ及びＫ＝｛ｌｔ，ｆｖ，ｎｌ｝についての因子ｋの値である。

【0065】

選択部３３は、直前に選択した推奨楽曲との類似度に基づいて、新たな推奨楽曲を選択する。類似度は、感情マップにおける２つの楽曲間の距離であり、２つの楽曲の間の距離が小さいほど類似度が高くなる。選択部３３は、探索期間Ｔ_１と活用期間Ｔ_２とでは異なる推奨楽曲を選択する。探索期間Ｔ_１は、ユーザの嗜好を探索している期間であり、活用期間Ｔ_２は、ユーザの嗜好の特定が終了した後の期間である。

【0066】

選択部３３は、探索期間Ｔ_１においては、直近の推奨楽曲とは異なる傾向の楽曲を選ぶことにより新たな楽曲を探索し、ユーザの嗜好について学習する。選択部３３は、ユーザの嗜好性を探索している探索期間Ｔ_１の間、直前に選択した推奨楽曲との類似度が所定の閾値よりも小さな推奨楽曲を選択する。所定の閾値は、例えば、ユーザが指定してもよく、直前に選択した推奨楽曲との感情マップにおける距離が、感情マップ中における全ての楽曲の間の平均距離であるｄ_ａｖｇより大きくなる程度の値である。ｄ_ａｖｇは、例えば、ポジティブな感情に対応する感情マップ上に楽曲ｓ_１，ｓ_２，・・・，ｓ_１００が配置されている場合、楽曲ｓ_ｊ−ｓ_ｋ（ｊ＝１，２，・・・，１００、ｋ＝１，２，・・・，１００、ｊ≠ｋ）の全ての組み合わせにおける距離の平均値である。

【0067】

探索期間Ｔ_１においては、新たな推奨楽曲と直前に選択した推奨楽曲との間の感情マップにおける距離がｄ_ａｖｇより大きい場合には、Ｒ_ｄ，ｔ（ｕ，ｓ，ｍ）にｄ（ｓｔ，ｓｔ−１）が加算される。一方、探索期間Ｔ_１においては、新たな推奨楽曲と直前に選択した推奨楽曲との間の感情マップにおける距離がｄ_ａｖｇより小さい場合には、Ｒ_ｄ，ｔ（ｕ，ｓ，ｍ）からｄ（ｓｔ，ｓｔ−１）が減算される。このようにすることで、選択部３３は、さまざまな種類の楽曲を選択することができるので、ユーザがどのような楽曲を好むかを短期間で特定することが可能になる。

【0068】

また、選択部３３は、ユーザの嗜好性の探索が終了した後の活用期間Ｔ_２において直前に選択した推奨楽曲との類似度が所定の閾値以上の推奨楽曲を選択する。所定の閾値は、例えば、ユーザが指定してもよく、直前に選択した推奨楽曲との感情マップにおける距離がｄ_ａｖｇより小さくなる程度の値である。具体的には、選択部３３は、活用期間Ｔ_２においては、新たな推奨楽曲と直前に選択した推奨楽曲との間の感情マップにおける距離がｄ_ａｖｇより小さい場合には、Ｒ_ｄ，ｔ（ｕ，ｓ，ｍ）にｄ（ｓｔ，ｓｔ−１）が加算される。一方、活用期間Ｔ_２においては、新たな推奨楽曲と直前に選択した推奨楽曲との間の感情マップにおける距離がｄ_ａｖｇより大きい場合には、Ｒ_ｄ，ｔ（ｕ，ｓ，ｍ）からｄ（ｓｔ，ｓｔ−１）が減算される。このようにすることで、選択部３３は、ユーザが嗜好する楽曲を選択しやすくなる。

【0069】

選択部３３は、探索期間Ｔ_１及び活用期間Ｔ_２において楽曲の確率Ｐ（ｕ，ｓ，ｍ）を算出する。より詳しくは、選択部３３は、ソフトマックス法を用いて、次の式（５）により、楽曲の確率Ｐ（ｕ，ｓ，ｍ）を算出する。選択部３３は、最も高い確率を有する楽曲を推奨楽曲として選択する。

【0070】

【数5】

【0071】

式中、更新関数Ｑ_ｔ（ｕ，ｓ，ｍ）は、以下の式（６）により定義される。
（数６）
Q_t(u,s,m)=Q_t-1(u,s,m)+α_t(R_t(u,s,m)-Q_t-1(u,s,m))…(6)

【0072】

式（６）中、α_ｔは、新規に獲得した情報を古い情報よりどの程度優先するかを示す係数である。α_ｔが０である場合、選択部３３が新規に獲得した情報を全く考慮せず、古い情報のみを考慮することを示す。α_ｔが１である場合、選択部３３が新規に獲得した情報のみを考慮し、古い情報を考慮しないことを示す。

【0073】

選択部３３は、選択した推奨楽曲をユーザに推奨する。例えば、選択部３３は、通信部２０１を介して、選択した推奨楽曲を推奨するメッセージをユーザの通信端末１００に送信する。また、選択部３３は、選択した推奨楽曲の音声データを記憶部２０２から読み出し、選択した推奨楽曲を推奨するメッセージとともに推奨楽曲の音声データをユーザの通信端末１００に送信する。

【0074】

［嗜好性の変化の検出］
同一のユーザであっても、楽曲を聞く時の感情に応じて、聞きたい楽曲が変わることがある。そこで、マップ管理部３１は、選択部３３が過去に選択した推奨楽曲をユーザが聞いた時のフィードバックに基づいて、記憶部２０２に記憶された関係（感情マップ）を変更する更新部として機能する。選択部３３は、更新後の感情マップを用いて推奨楽曲を選択することで、ユーザの感情の変化に起因してユーザの嗜好が変化した場合においても適切な推奨楽曲をユーザに推奨することができる。

【0075】

マップ管理部３１は、選択部３３によるユーザの嗜好性の探索が終了した活用期間Ｔ_２では、選択部３３が過去に選択した推奨楽曲をユーザが聞いた時のフィードバックに基づいて、ユーザの嗜好性の変化を監視する検出部として機能する。このフィードバックは、例えば、暗示的なフィードバックである。マップ管理部３１は、選択部３３が過去に選択した推奨楽曲をユーザが聞いた時のフィードバックを分析することにより、ユーザの嗜好の変化を検出する。例えば、マップ管理部３１は、式（３）に示すリウォードの変化をページヒンクレイテスト(Page-Hinkley Test, PHT)により特定した場合に、ユーザの嗜好の変化を検出する（ページヒンクレイテストについては、Hartland,C.,Gelly,S., Baskiotis,N., Teytaud, O., &Sebag,M.(2006).Multi-armed band it, dynamic environment sand meta-bandits. Preprint. http://hal.archives-ouvertes.fr/hal-00113668/en/.参照）。

【0076】

マップ管理部３１は、選択部３３が過去に選択した推奨楽曲をユーザが聞いた時のフィードバックに基づいて、記憶部２０２に記憶された複数の楽曲と人の感情との関係を変更する。例えば、マップ管理部３１は、ユーザの暗示的なフィードバックを分析することによってユーザの嗜好性の変化を検出した場合に、複数の楽曲と人の感情との関係を示す感情マップを更新する。

【0077】

マップ管理部３１は、ユーザの推奨楽曲に対する暗示的なフィードバックを参照して、楽曲の感情をそれぞれ再度数値化する。マップ管理部３１は、予測モデル部２２と同様のｔ−ＳＮＥアルゴリズムを用いるが、式（６）に示す暗示的なフィードバックを感情マップに反映させる。マップ管理部３１は、例えばネガティブな感情に対応する推奨楽曲をユーザに推奨した後のユーザの暗示的なフィードバックが、この推奨楽曲に対するユーザの評価が良好でないことを示す場合に、感情マップにおけるこの楽曲の位置を移動させる。

【0078】

選択部３３は、過去に選択した推奨楽曲をユーザが聞いた時のフィードバックに基づいてマップ管理部３１により推定されたユーザの嗜好性に基づいて更新された感情マップを参照することで、新たな推奨楽曲を選択する。このような構成を採用することにより、選択部３３は、過去に選択した推奨楽曲がユーザの嗜好に合っていない場合に、ユーザの嗜好性に合うように推奨楽曲の選択方法を改善することができる。

【0079】

選択部３３は、活用期間Ｔ_２においてユーザの嗜好が変化した場合には、ユーザの嗜好に合う楽曲を再度探索することが望ましい。そこで、選択部３３は、活用期間Ｔ_２においてユーザの嗜好が変化したことをマップ管理部３１において検出した場合には、活用期間Ｔ_２を探索期間Ｔ_１に戻す。選択部３３は、活用期間Ｔ_２を探索期間Ｔ_１に戻すことにより、直近の推奨楽曲とは異なる傾向の楽曲を選ぶことを優先し、ユーザの嗜好性の探索を再開する。

【0080】

［記憶部２０２が記憶するデータ］
図５は、記憶部２０２が記憶するデータについて説明するための図である。本実施の形態の例では、楽曲選択装置２００は、クラウドベースのサーバからなり、記憶部２０２は、第１記憶部Ａ１、第２記憶部Ａ２及び第３記憶部Ａ３を備える。

【0081】

第１記憶部Ａ１は、例えば、ソーシャルブログサービスであるＬｉｖｅ Ｊｏｕｒｎａｌ２データベースから取得したデータセットである。第１記憶部Ａ１は、ユーザが異なる感情において聞いた楽曲の履歴を記憶している。第１記憶部Ａ１は、ブログの記事と、楽曲を聞いたときの感情と、聞いた楽曲とを関連付けて記憶している。例えば、第１記憶部Ａ１には、楽曲１を聞いた時の感情１と、楽曲１とに記事１が関連付けて記憶されている。マップ管理部３１は、第１記憶部が記憶している楽曲に関連付けられた感情を参照して、感情マップを生成する。

【0082】

マップ管理部３１が生成した感情マップはユーザごとに異なるため、第２記憶部Ａ２は、ユーザＩＤに関連付けて感情マップを記憶している。また、第１記憶部Ａ１には、データ学習部２１が推定したユーザの感情と、複数の楽曲の音声データとが関連付けて記憶されている。

【0083】

予測モデル部２２は、生成した感情マップを第２記憶部Ａ２に記憶させる。第２記憶部Ａ２が記憶している感情マップは、マップ管理部３１により更新される。

【0084】

図５の例では、ユーザＩＤ１に感情マップ１が関連付けられ、ユーザＩＤ２に感情マップ２が関連付けられている。第２記憶部Ａ２では、ポジティブ、ネガティブ及び中立の感情に対応する感情マップがそれぞれ一のユーザＩＤに関連付けられる。マッチング部３２は、ポジティブ、ネガティブ及び中立の感情に対応する感情マップのうち、選択部３３による推奨楽曲の選択のための感情マップを選択し、選択した感情マップを第２記憶部Ａ２から取得する。

【0085】

第３記憶部Ａ３には、複数のユーザのソーシャルネットワークのアカウントがユーザＩＤに関連付けて記憶されている。図５の例では、ソーシャルネットワークのアカウントとして、ツイッターＩＤ１と、Ｉｎｓｔａｇｒａｍ（登録商標）のＩＤ１とがユーザＩＤ１に関連付けられている。マップ管理部３１は、通信部２０１を介して、ユーザが利用しているソーシャルネットワークサービスのアカウントを通信端末１００から取得し、第３記憶部Ａ３に記憶させる。データ取得部１１は、ツイッターＩＤ等のユーザのアカウントを第３記憶部Ａ３から取得し、取得したアカウントにソーシャルネットワークサーバ３００において関連付けられたユーザデータを定期的に通信端末１００又はソーシャルネットワークサーバ３００から取得する。

【0086】

［楽曲選択装置２００による楽曲選択処理］
図６は、楽曲選択装置２００が楽曲を選択する処理を示したフローチャートである。この処理手順は、例えば、マップ管理部３１が新規ユーザから楽曲を推奨することの要求を受信したときに開始する。

【0087】

まず、マップ管理部３１は、ユーザが利用しているソーシャルネットワークサービスのアカウントを通信端末１００から取得する（Ｓ１０１）。データ取得部１１は、ユーザのソーシャルネットワークサービスのアカウントにソーシャルネットワークサーバ３００において関連付けられたユーザデータを通信端末１００から取得する（Ｓ１０２）。特徴抽出部１２は、データ取得部１１が取得したユーザデータから特徴を抽出する（Ｓ１０３）。

【0088】

データ学習部２１は、ユーザの投稿メッセージを分析することによりユーザの感情を推定し、推定したユーザの感情と特徴抽出部１２が抽出した特徴との間の相関度を算出することにより、予測モデル部２２を更新する（Ｓ１０４）。その後、予測モデル部２２は、ユーザの感情と有意な相関度を示す特徴が入力されると、入力された特徴に対応する感情を示すデータを出力する（Ｓ１０５）。その後、選択部３３は、感情マップを参照することにより、予測モデル部２２から入力された感情に対応する楽曲を選択して、通信端末１００に推奨する（Ｓ１０６）。

【0089】

［本発明による作用効果］
本実施の形態によれば、選択部３３は、感情推定部２が推定したユーザの感情と、楽曲の特徴を示す楽曲データにおける複数の楽曲の特徴とを比較することにより、複数の楽曲から推奨楽曲を選択する。感情推定部２は、ユーザがソーシャルネットワークに投稿する行動の特徴に基づいてユーザの感情を推定する。したがって、楽曲選択装置２００は、ユーザが感情状態を入力することなく、ユーザの嗜好に合った楽曲を推奨することができる。

【0090】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

【符号の説明】

【0091】

１ 収集部
２ 感情推定部
３ 推奨部
１１ データ取得部
１２ 特徴抽出部
２１ データ学習部
２２ 予測モデル部
３１ マップ管理部
３２ マッチング部
３３ 選択部
１００ 通信端末
２００ 楽曲選択装置
２０１ 通信部
２０２ 記憶部
２０３ 制御部
３００ ソーシャルネットワークサーバ
Ａ１ 第１記憶部
Ａ２ 第２記憶部
Ａ３ 第３記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】