IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ミュージマップ エスエーの特許一覧

<図1>
  • 特表-パーソナリティプロファイルの生成 図1
  • 特表-パーソナリティプロファイルの生成 図2a
  • 特表-パーソナリティプロファイルの生成 図2b
  • 特表-パーソナリティプロファイルの生成 図3a
  • 特表-パーソナリティプロファイルの生成 図3b
  • 特表-パーソナリティプロファイルの生成 図4a
  • 特表-パーソナリティプロファイルの生成 図4b
  • 特表-パーソナリティプロファイルの生成 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-15
(54)【発明の名称】パーソナリティプロファイルの生成
(51)【国際特許分類】
   G06F 16/9035 20190101AFI20231108BHJP
【FI】
G06F16/9035
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023550348
(86)(22)【出願日】2020-11-05
(85)【翻訳文提出日】2023-07-03
(86)【国際出願番号】 EP2020081176
(87)【国際公開番号】W WO2022096109
(87)【国際公開日】2022-05-12
(81)【指定国・地域】
(71)【出願人】
【識別番号】523169866
【氏名又は名称】ミュージマップ エスエー
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】ルベック, ピエール
(72)【発明者】
【氏名】ドコティニー, フィリップ
(72)【発明者】
【氏名】リディ, トーマス
(72)【発明者】
【氏名】ワイス, トーマス
(72)【発明者】
【氏名】シュペクトラー, アンドレアス
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175HA01
(57)【要約】
本開示は、パーソナリティプロファイルを提供するための方法に関する。この方法は、1つまたは複数のメディアアイテムの識別情報を取得することと、識別した1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタを取得することであり、一組のメディアコンテンツディスクリプタが、メディアアイテムそれぞれに対するセマンティックディスクリプタを含む特性を含み、セマンティックディスクリプタが、メディアアイテムそれぞれに対する少なくとも1つの感情ディスクリプタを含む、ことと、個々のメディアアイテムのメディアコンテンツディスクリプタそれぞれに基づいて、識別した1つまたは複数のメディアアイテムの全体に対して一組の集合化メディアコンテンツディスクリプタを決定することと、一組の集合化メディアコンテンツディスクリプタをパーソナリティプロファイルにマッピングすることであり、パーソナリティプロファイルが、プロファイルの要素に対する複数のパーソナリティスコアを含み、パーソナリティスコアが、一組の集合化メディアコンテンツディスクリプタの集合化特性から計算される、ことと、1つまたは複数のメディアアイテムに対応するパーソナリティプロファイルを提供することと、を含む。
【選択図】図2

【特許請求の範囲】
【請求項1】
パーソナリティプロファイルを提供するための方法であって、
- 1つまたは複数のメディアアイテムの識別情報を取得することと、
- 前記識別した1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタを取得することであり、前記一組のメディアコンテンツディスクリプタが、前記メディアアイテムそれぞれに対するセマンティックディスクリプタを含む特性を含み、前記セマンティックディスクリプタが、前記メディアアイテムそれぞれに対する少なくとも1つの感情ディスクリプタを含む、ことと、
- 前記個々のメディアアイテムの前記メディアコンテンツディスクリプタそれぞれに基づいて、前記識別した1つまたは複数のメディアアイテムの全体に対する一組の集合化メディアコンテンツディスクリプタを決定することと、
- 前記一組の集合化メディアコンテンツディスクリプタを前記パーソナリティプロファイルにマッピングすることであり、前記パーソナリティプロファイルが、前記プロファイルの要素に対する複数のパーソナリティスコアを含み、前記パーソナリティスコアが、前記一組の集合化メディアコンテンツディスクリプタの集合化特性から計算される、ことと、
- 前記1つまたは複数のメディアアイテムに対応する前記パーソナリティプロファイルを提供することと、
を含む、方法。
【請求項2】
前記メディアアイテムが、楽曲部分を含み、好ましくは楽曲である、請求項1に記載の方法。
【請求項3】
1つまたは複数のメディアアイテムの前記識別情報が、ユーザまたはユーザグループのプレイリストを含む、請求項1または2に記載の方法。
【請求項4】
1つまたは複数のメディアアイテムの前記識別情報が、ユーザの短期メディア消費履歴を含み、前記パーソナリティプロファイルが、前記ユーザの現在の雰囲気を特徴付ける、請求項1または2に記載の方法。
【請求項5】
前記1つまたは複数の識別したメディアアイテムが、アルバムまたはアーティストに対応する、請求項1または2に記載の方法。
【請求項6】
メディアアイテムに対する前記一組のメディアコンテンツディスクリプタが、前記メディアアイテムの音響分析に基づいて決定された前記メディアアイテムの1つまたは複数の音響ディスクリプタを含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
メディアアイテムに対する前記一組のメディアコンテンツディスクリプタが、前記メディアアイテムに対する1つもしくは複数のセマンティックディスクリプタならびに/または感情ディスクリプタを決定する人工知能モデルに基づいて決定される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記1つまたは複数のセマンティックディスクリプタが、ジャンル、音声の存在、音声の性別、ボーカルのピッチ、楽曲の雰囲気、およびリズムの雰囲気のうちの少なくとも1つを含む、請求項7に記載の方法。
【請求項9】
メディアアイテムのセグメントが分析され、前記メディアアイテムに対する前記一組のメディアコンテンツディスクリプタが、前記セグメントの分析の結果に基づいて決定される、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記識別した1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタを取得するステップが、データベースから、メディアアイテムに対する前記一組のメディアコンテンツディスクリプタを読み出すことを含む、請求項1から9のいずれか一項に記載の方法。
【請求項11】
一組の集合化メディアコンテンツディスクリプタを決定するステップが、前記識別したメディアアイテムの数値特性それぞれから集合化数値特性を計算することを含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記パーソナリティプロファイルが、パーソナリティ特質を表すプロファイル要素に対する多くのパーソナリティスコアを規定するパーソナリティスキームに基づく、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記パーソナリティプロファイルのパーソナリティスコアが、前記一組の集合化メディアコンテンツディスクリプタから前記パーソナリティスコアを演算する方法を規定するマッピングルールに基づいて決定される、請求項1から12のいずれか一項に記載の方法。
【請求項14】
前記マッピングルールが、機械学習技術により学習される、請求項13に記載の方法。
【請求項15】
前記パーソナリティプロファイルのパーソナリティスコアが、前記識別したメディアアイテムの重み付け集合化数値特性に基づいて決定される、請求項1から14のいずれか一項に記載の方法。
【請求項16】
前記パーソナリティプロファイルのパーソナリティスコアが、前記識別したメディアアイテムの集合化特性の有無に基づいて決定される、請求項1から15のいずれか一項に記載の方法。
【請求項17】
前記パーソナリティプロファイルを提供することが、前記パーソナリティプロファイルのグラフィック表現を表示すること、または、前記パーソナリティプロファイルをデータベースサーバに送信することを含む、請求項1から16のいずれか一項に記載の方法。
【請求項18】
前記パーソナリティプロファイルが、複数のパーソナリティタイプのうちの1つに分類される、請求項1から17のいずれか一項に記載の方法。
【請求項19】
ユーザのパーソナリティプロファイルが、前記ユーザの長期メディアアイテム使用履歴を識別するプレイリストから決定され、前記ユーザの雰囲気プロファイルが、前記ユーザの短期メディア消費履歴から決定され、前記方法が、前記ユーザの前記パーソナリティプロファイルと前記雰囲気プロファイルとの間の差を演算することをさらに含む、請求項1から18のいずれか一項に記載の方法。
【請求項20】
複数のメディアアイテムそれぞれに対して別個のパーソナリティプロファイルが提供され、前記方法が、前記メディアアイテムの前記パーソナリティプロファイルをターゲットパーソナリティプロファイルと比較し、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムを決定することをさらに含む、請求項1から19のいずれか一項に記載の方法。
【請求項21】
プロファイルを比較することが、プロファイル要素をマッチングさせることと、前記ターゲットパーソナリティプロファイルと同一または同様の要素を有するメディアアイテムのパーソナリティプロファイルを選択することと、に基づく、請求項20に記載の方法。
【請求項22】
プロファイルを比較することが、プロファイルの対応するスコアが比較され、各対のプロファイルの類似性を示すマッチングスコアが演算される類似性検索に基づく、請求項20に記載の方法。
【請求項23】
前記メディアアイテムの前記パーソナリティプロファイルをそれらのマッチングスコアに従ってランク付けすることをさらに含む、請求項22に記載の方法。
【請求項24】
前記ターゲットパーソナリティプロファイルが、ユーザのグループまたは個々のユーザに対応する、請求項20から23のいずれか一項に記載の方法。
【請求項25】
ユーザの前記ターゲットパーソナリティプロファイルが、前記ユーザに対する1つまたは複数の好適なメディアアイテムの識別情報に基づいて、請求項1から18のいずれか一項に記載の方法により決定される、請求項24に記載の方法。
【請求項26】
前記識別された好適なメディアアイテムのうちの1つが、前記ユーザにより最後に消費された前記メディアアイテムである、請求項25に記載の方法。
【請求項27】
前記決定されたメディアアイテムのうちの少なくとも1つが、前記ユーザに対する再生またはレコメンデーション用に選択される、請求項20から26のいずれか一項に記載の方法。
【請求項28】
前記決定されたメディアアイテムのうちの少なくとも1つと関連付けられた情報が、前記ユーザまたは前記ユーザと関連付けられたユーザデバイスに提供される、請求項20から27のいずれか一項に記載の方法。
【請求項29】
前記メディアアイテムの前記パーソナリティプロファイルをターゲットパーソナリティプロファイルと比較し、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムを決定することが、繰り返し実行される、請求項20から28のいずれか一項に記載の方法。
【請求項30】
前記パーソナリティプロファイルが、サーバプラットフォーム上で生成され、前記方法が、
前記ユーザと関連付けられたユーザデバイスから、前記ユーザに対する1つまたは複数の好適なメディアアイテムの前記識別情報を前記サーバプラットフォームに送信することと、
少なくとも1つの決定されたメディアアイテムの表現を前記ユーザデバイスで受信することと、
をさらに含む、請求項25から29のいずれか一項に記載の方法。
【請求項31】
前記ユーザに対する1つまたは複数の好適なメディアアイテムの前記識別情報が、サーバプラットフォームに格納され、前記パーソナリティプロファイルが、前記サーバプラットフォーム上で生成され、前記方法が、少なくとも1つの決定されたメディアアイテムの表現を前記ユーザと関連付けられたユーザデバイスに送信することをさらに含む、請求項25から30のいずれか一項に記載の方法。
【請求項32】
請求項1から31のいずれか一項に記載の方法を実行するように構成されたメモリおよびプロセッサを有するコンピュータ機器。

【発明の詳細な説明】
【背景技術】
【0001】
本願は、メディアアイテムの生成されたセマンティックディスクリプタからメディアプロファイルおよびパーソナリティプロファイルを決定するためのメディアコンテンツの分析に関する。メディアプロファイルおよびパーソナリティプロファイルは、たとえば類似するメディアアイテムのレコメンデーションおよびマッチングプロファイルを有するメディアユーザの決定のための多くの使用事例において用いることができる。使用事例には、メディアレコメンデーションエンジン、バーチャルリアリティ、スマートアシスタント、広告(ターゲットマーケティング)、およびコンピュータゲームを含み得る。
【発明の概要】
【0002】
広範な一態様において、本開示は、1つまたは複数のメディアアイテムからのパーソナリティプロファイルの生成に関する。メディアアイテムとしては、任意の種類のメディアコンテンツも可能であり、特に、オーディオまたはビデオクリップである。オーディオメディアアイテムは、好ましくは楽曲または楽曲部分を含み、好ましくは楽曲である。写真、一連の写真、ビデオ、スライド、グラフィック表現がメディアアイテムのさらなる例である。生成されたメディアおよびパーソナリティプロファイルは、メディアアイテムの消費者すなわちメディアアイテムを消費したユーザのパーソナリティまたは感情の状況を特徴付ける。
【0003】
パーソナリティプロファイルを提供するための方法は、1つまたは複数のメディアアイテムを含むメディアアイテムのグループの識別情報を取得することを含む。メディアアイテムはたとえば、(たとえば、URLにより)当該メディアアイテムの記憶場所を参照するリスト(たとえば、ユーザもしくはユーザグループのプレイリスト、またはユーザのストリーミング履歴)、メディアアイテムの名称もしくはタイトルの列挙(たとえば、アーティスト、アルバム、歌曲)、または一意の識別子(たとえば、ISRC、MD5サム、オーディオ識別フィンガープリント等)により識別され得る。たとえば、1つまたは複数の識別されたメディアアイテムは、アルバムまたはアーティストに対応してもよい。対応するオーディオ/ビデオファイルの記憶場所は、テーブル探索または検索手順により決定され得る。
【0004】
次に、当該グループの識別された1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタが取得される。メディアアイテム(メディアアイテムのメディアプロファイル、または楽曲メディアアイテムの場合は楽曲プロファイルとも称する)に対する一組のメディアコンテンツディスクリプタは、異なる側面に関してメディアアイテムを特徴付ける多くのメディアコンテンツディスクリプタ(特性とも称する)を含む。メディアコンテンツディスクリプタセットは、任意選択としての他のディスクリプタのうち、メディアアイテムのセマンティックディスクリプタを含む。セマンティックディスクリプタは、メディアアイテムが属するジャンル等、メディアアイテムのコンテンツを高いレベルで記述する。その意味では、メディアアイテムを多くのセマンティッククラスのうちの1つに分類して、メディアアイテムが属するセマンティッククラスを高い確率で示すことができる。たとえば、セマンティックディスクリプタは、メディアアイテムのクラス所属を示す2進値(0もしくは1)としてまたはメディアがセマンティッククラスに属する確率を示す実数として表され得る。セマンティックディスクリプタは、メディアアイテムが雰囲気等の感情的側面に対応することを示す感情ディスクリプタであってもよい。感情ディスクリプタは、メディアアイテムを多くの感情クラスのうちの1つまたは複数に分類して、メディアアイテムが属する感情クラスを高い確率で示すことができる。感情ディスクリプタは、メディアアイテムのクラス所属を示す2進値(0もしくは1)としてまたはメディアが感情クラスに属する確率を示す実数として表され得る。
【0005】
メディアコンテンツディスクリプタは、識別されたメディアアイテムから計算されてもよいし、複数のメディアアイテムに対して予備分析されたメディアコンテンツディスクリプタが格納されたデータベースから読み出されてもよい。このように、識別された1つまたは複数のメディアアイテムのそれぞれに対する一組のメディアコンテンツディスクリプタを取得するステップは、データベースから、メディアアイテムに対する一組のメディアコンテンツディスクリプタを読み出すことを含んでいてもよい。いくつかのメディアコンテンツディスクリプタは、メディアアイテムに対して存在する各セマンティックディスクリプタおよび/または感情ディスクリプタの程度を定量化する数値を有する。たとえば、数値メディアコンテンツディスクリプタが正規化され、0と1との間または0%と100%との間の値を有していてもよい。
【0006】
個々のメディアアイテムの各メディアコンテンツディスクリプタに基づいて、上記グループの識別された1つまたは複数のメディアアイテムの全体に対して一組の集合化メディアコンテンツディスクリプタが決定される。集合化メディアコンテンツディスクリプタは、グループ中のメディアアイテムのセマンティックディスクリプタおよび/または感情ディスクリプタを特徴付ける。雰囲気を含み、ユーザまたはユーザグループと関連付けられた一組の集合化メディアコンテンツディスクリプタは、ユーザまたはユーザグループの感情プロファイルとも称する。集合化メディアコンテンツディスクリプタは、特に数値を有するメディアコンテンツディスクリプタに対して、メディアアイテムの個々のメディアコンテンツディスクリプタの値を平均化することにより計算され得る。なお、個々のメディアコンテンツディスクリプタの値の単純平均以外の他の方法が可能である。たとえば、集合中のより大きな値を強調する二乗平均平方根(RMS)または他の集合化方式(たとえば、「対数平均指数平均化」)が適用されてもよい。このため、一組の集合化メディアコンテンツディスクリプタを決定するステップは、当該グループの識別されたメディアアイテムの数値コンテンツディスクリプタそれぞれから集合化数値コンテンツディスクリプタを計算することを含んでもよい。
【0007】
メディアアイテムのグループに対するパーソナリティプロファイルに対して、ユーザに対する一組の集合化メディアコンテンツディスクリプタ(すなわち、ユーザの感情プロファイル)がマッピングされる。パーソナリティプロファイルは、当該プロファイルの要素に対して複数のパーソナリティスコアを有する。パーソナリティスコアは、一組の集合化メディアコンテンツディスクリプタ(たとえば、ユーザまたはユーザグループの感情プロファイル)の集合化特性から計算される。通常、パーソナリティプロファイルは、属性を含む多くのプロファイル要素を規定するパーソナリティスキーム(パーソナリティ特質を表す値ペア)に基づく。プロファイル要素の値は、プロファイルスコアとも称する。パーソナリティスキームの例は、マイヤーズ・ブリッグス(Myers-Briggs)型指標(MBTI)、Ego Equilibrium、ビッグファイブ(Big Five)パーソナリティ特質(開放性(Openness)、誠実性(Conscientiousness)、外向性(Extraversion)、協調性(Agreeableness)、神経症傾向(Neuroticism)(OCEAN))、またはエニアグラムである。パーソナリティプロファイル要素を規定する他のスキームが可能である。
【0008】
識別されたメディアアイテムは、ユーザの感情的/心理学的コンテキストに関連し、ユーザのパーソナリティプロファイルの決定を可能にし得る。1つまたは複数のメディアアイテムの識別情報がユーザの短期メディア消費履歴(たとえば、最近聴いた楽曲)を含む場合は、生成されたパーソナリティプロファイルがユーザの現在または最近の雰囲気を特徴付ける。1つまたは複数のメディアアイテムの識別情報がユーザの長期メディアアイテム使用履歴を識別するプレイリストを含む場合は、生成されたパーソナリティプロファイルがユーザの長期パーソナリティプロファイルを特徴付ける。いくつかの実施形態、特に、広告およびブランディングの使用事例の場合は、長期パーソナリティプロファイルと短期パーソナリティプロファイル(最近聴いた歌曲の雰囲気に基づく)との間の混合をユーザの関連するパーソナリティプロファイルとして考慮することも可能である。
【0009】
生成されたパーソナリティプロファイルは、たとえばパーソナリティスキームに対応する複数のパーソナリティタイプのうちの1つに分類されてもよい。この分類は、閾値と比較されるプロファイルスコアに基づいてもよい。最大のスコアの決定等、他の分類スキームが用いられてもよい。比較の結果に応じて、パーソナリティタイプがプロファイルひいてはユーザに割り当てられてもよい。たとえば、パーソナリティプロファイル(たとえば、MBTI)は、全体としてパーソナリティタイプを表す複数の数値(スコア)を有する。決断を下すため、このようなプロファイルから「最大パーソナリティ属性」を決定することにより、「単一パーソナリティタイプ」を決定することが可能である。いずれも、ユーザの心理学的な特徴付けを可能にするものであるが、前者がより細かく、後者がある特定のパーソナリティタイプを決定する。
【0010】
分類の結果ならびに/または生成されたパーソナリティプロファイルもしくは決定されたパーソナリティタイプのグラフィック表現は、コンピュータ機器上に表示されてもよいし、データベースサーバに送信されてもよい。1つまたは複数のメディアアイテムに対応するパーソナリティプロファイルは、(メディアレコメンデーションエンジン、スマートアシスタント、スマートホーム、広告、製品ターゲティング、マーケティング、バーチャルリアリティ、およびゲーム等における)類似するメディアアイテムのレコメンデーションまたは分析された楽曲のプロファイルにマッチングするパーソナリティプロファイルを有するメディアユーザの決定等の多くの使用事例に用いられてもよい。これとは逆に、ユーザのパーソナリティプロファイルにマッチングするメディアアイテムが選択されてもよい。実施形態においては、メディアアイテムのプロファイルから、特定のメディアアイテムに対してユーザのターゲットグループが決定されるか、または、所与のターゲットユーザグループに対して最適な楽曲が選択される。
【0011】
メディアアイテムに対する一組のメディアコンテンツディスクリプタは、メディアアイテムに対する1つまたは複数の音響ディスクリプタをさらに含んでいてもよい。メディアアイテムの音響ディスクリプタ(音響属性とも称する)は、メディアアイテムコンテンツの音響デジタルオーディオ分析に基づいて決定されるようになっていてもよい。たとえば、音響分析は、メディアアイテムのオーディオコンテンツに対して導出されたスペクトログラムに基づいていてもよい。たとえば、オーディオ波形信号の分析に基づいて、オーディオ信号から音響ディスクリプタを取得するためのさまざまな技術が採用され得る。音響ディスクリプタの例は、テンポ(1分当たりの拍数)、持続時間、キー、モード、リズムの有無、および(スペクトルの)エネルギーである。
【0012】
メディアアイテムに対する一組のメディアコンテンツディスクリプタは、メディアアイテムに対する1つもしくは複数の感情ディスクリプタならびに/または1つもしくは複数のセマンティックディスクリプタを決定する1つまたは複数の人工知能モデルに少なくとも部分的に基づいて決定されてもよい。1つまたは複数のセマンティックディスクリプタは、ジャンル、または音声の有無、音声の性別(それぞれ低音もしくは高音の音声)等のボーカル属性のうちの少なくとも1つを含んでもよい。感情ディスクリプタの例は、楽曲の雰囲気およびリズムの雰囲気である。人工知能モデルは、深層学習(深層ニューラルネットワーク)等の機械学習技術に基づいてもよい。たとえば、人工ニューラルネットワークの使用によって、メディアアイテムに対する感情ディスクリプタおよびセマンティックディスクリプタを決定するようにしてもよい。ニューラルネットワークは、楽曲専門家およびデータサイエンス専門家によって提供される広範な一組のデータによりトレーニングされてもよい。また、人工知能モデルまたは機械学習技術(たとえば、ニューラルネットワーク)を使って、メディアアイテムの音響ディスクリプタ(bpmまたはキー等)を決定することも可能である。
【0013】
メディアアイテムのセグメントが分析されてもよく、個々のセグメントの分析の結果に基づいて、メディアアイテムの一組のメディアコンテンツディスクリプタが決定される。たとえば、メディアアイテムがメディアアイテム部分へとセグメント化されてもよく、音響分析および/または人工知能技術が個々の部分に適用されてもよく、これらの部分に対して生成された音響ディスクリプタおよび/またはセマンティックディスクリプタがその後、メディアアイテムのメディアコンテンツディスクリプタがメディアアイテムのグループ全体に対して集合化されるのと同様に、完全なメディアアイテムに対する音響ディスクリプタおよび/またはセマンティックディスクリプタを構成するように集合化される。
【0014】
また、一組の集合化メディアコンテンツディスクリプタからパーソナリティスコアを演算する方法を規定するマッピングルールに基づいて、パーソナリティプロファイルのパーソナリティスコア(すなわち、属性の値(プロファイル要素の値ペア))が決定されてもよい。マッピングルールは、パーソナリティスコアに寄与する一組の集合化メディアコンテンツディスクリプタのうちの1つおよびその様子を規定してもよい。たとえば、識別されたメディアアイテムの重み付け集合化数値コンテンツディスクリプタに基づいて、パーソナリティプロファイルのパーソナリティスコアが決定される。重み付けに基づいて、異なるコンテンツディスクリプタがスコアに対して異なる程度で寄与し得る。さらに、パーソナリティプロファイルのパーソナリティスコアは、識別されたメディアアイテムの集合化コンテンツディスクリプタの有無に基づいて決定されてもよい。言い換えると、集合化コンテンツディスクリプタが存在する場合には、たとえば正規化された数値集合化コンテンツディスクリプタを重み付けすることによって、スコアに対する寄与がなされ得る。あるいは、集合化コンテンツディスクリプタが存在しないと予想される場合のスコアへの寄与は、1と正規化された数値集合化コンテンツディスクリプタ値(0~1の値を有する)との間の差を重み付けすることにより表され得る。
【0015】
マッピングルールは、機械学習技術により学習されてもよい。たとえば、集合化数値コンテンツディスクリプタがスコアに寄与する重みは、多数のターゲットプロファイル(現実世界のユーザプロファイル)と、コンテンツディスクリプタからパーソナリティプロファイルへのマッピング方法に関するルールおよび/または重みを決定し得る好適な機械学習技術と、を用いた機械学習により決定されてもよい。また、このような機械学習技術は、プロファイルスコアに寄与し得るコンテンツディスクリプタを決定するとともに、各コンテンツディスクリプタを選択してもよい。
【0016】
ユーザの(長期)パーソナリティプロファイルは、ユーザの(より)長期のメディアアイテム使用履歴を識別するプレイリストから決定されてもよく、ユーザの(短期)雰囲気プロファイルは、ユーザの短期メディア消費履歴から決定される。この方法は、ユーザの長期パーソナリティプロファイルと短期雰囲気プロファイルとの間の差を演算することをさらに含んでもよい。この差に基づいて、ユーザの現在の雰囲気とユーザの一般的なパーソナリティとの間の差の程度を決定することができる。これは、ユーザの一般的なパーソナリティプロファイルの短期の「逸脱」に基づく特定の楽曲的方向のレコメンデーションに有用となり得る。
【0017】
ユーザまたはユーザグループの好適なメディアアイテムの選択に対処する実施形態においては、複数のメディアアイテムそれぞれに対して、別個のパーソナリティプロファイルが提供される。このため、各メディアアイテムは、感情およびパーソナリティに関して特徴付けられる。また、ユーザのグループまたは個々のユーザに対応するターゲットパーソナリティプロファイルが規定されてもよい。このため、ユーザまたはユーザグループについても、それぞれのパーソナリティプロファイルにより感情およびパーソナリティに関して特徴付けられる。この方法は、メディアアイテムのパーソナリティプロファイルをターゲットパーソナリティプロファイルと比較し、ターゲットパーソナリティプロファイルに関して、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムを決定することをさらに含んでもよい。これにより、ターゲットパーソナリティプロファイルが個人に対応する場合は、ユーザのベストマッチング楽曲を選択可能となる。さらに、ターゲットパーソナリティプロファイルがユーザのターゲットグループに対応する場合、この方法は、ターゲットユーザグループに対して最適な楽曲の選択を提供する。
【0018】
1つまたは複数のベストマッチングパーソナリティプロファイルの検索は、メディアアイテムのパーソナリティプロファイルとターゲットパーソナリティプロファイルとの比較に基づいてもよい。たとえば、プロファイルを比較することは、プロファイル要素をマッチングさせることと、ターゲットパーソナリティプロファイルと同一または同様の要素を有するメディアアイテムのパーソナリティプロファイルを選択することと、に基づいてもよい。さらに、プロファイルを比較することは、プロファイル要素の対応するスコアが比較され、各対のプロファイルの類似性を示すマッチングスコア値が演算される類似性検索に基づいてもよい。一対のプロファイルに対するマッチングスコアは、プロファイル要素の対応する属性値(スコア)の個々のマッチングスコアに基づいてもよい。たとえば、プロファイル要素の対応する値(スコア)間の差が演算され(たとえば、ユークリッド距離、マンハッタン距離、コサイン距離等)、そこから、比較されるプロファイルペアに対するマッチングスコアが計算され得る。実施形態においては、複数のベストマッチングパーソナリティプロファイルが決定され、メディアアイテムのパーソナリティプロファイルがそれらのマッチングスコアに従ってランク付けされる。これにより、ベストマッチングメディアアイテム、第2ベストマッチング等を決定可能となる。
【0019】
プロファイルを比較することは、ユーザまたはユーザグループの各コンテキストまたは環境にさらに依存してもよい。コンテキストまたは環境の例は、ユーザの位置、日時、天候、ユーザの近くの他人である。ユーザグループに対しても類似のコンテキストまたは例が採用され得る。
【0020】
また、上記開示の方法により、ユーザに対する1つまたは複数の好適なメディアアイテムの識別情報に基づいて、メディアアイテムのパーソナリティプロファイルのほか、ユーザに対するターゲットパーソナリティプロファイルが決定されてもよい。このように、ターゲットプロファイルがユーザのパーソナリティを特徴付け、この方法により、ユーザのパーソナリティにマッチングするメディアアイテムを見つけることができる。識別された好適なメディアアイテムのうちの1つまたは複数がユーザにより最後に消費されたメディアアイテムである場合、ターゲットパーソナリティプロファイルは、ユーザの現在の雰囲気を表す。次いで、識別されたメディアアイテムがユーザの現在の雰囲気にマッチングする。
【0021】
決定されたメディアアイテムのうちの少なくとも1つがユーザに対する再生またはレコメンデーション用に選択されてもよい。選択されたメディアアイテムまたは選択されたメディアアイテムと関連付けられた情報(たとえば、メディアアイテムストレージまたはメディアデータベースへの参照)は、メディアアイテムがユーザに対するレコメンデーション、読み出し、または再生が行われ得るように、ユーザまたはユーザと関連付けられたユーザデバイスに提供されてもよい。
【0022】
実施形態においては、これ以上単に同じ雰囲気の楽曲をユーザに提示させるのではなく、異なる雰囲気の楽曲を提示することでユーザの雰囲気を積極的に変化させたい場合もある。たとえば、ユーザが悲嘆しているものと判定された場合は、幸せな雰囲気により特徴付けされた楽曲が選択され、ユーザに対して再生される。このため、ベストマッチングパーソナリティプロファイルの検索に対するターゲットプロファイルは、ユーザの現在の雰囲気プロファイルを補完するプロファイルであってもよい。この場合、ベストマッチングメディアアイテムの検索は、メディアアイテムのパーソナリティプロファイルとターゲットパーソナリティプロファイルとの比較に基づいてもよく、ユーザの現在の雰囲気を補完するメディアアイテムが決定される。
【0023】
メディアアイテムのパーソナリティプロファイルをターゲットパーソナリティプロファイルと比較し、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムを決定することは、たとえば決定された期間の後、または、多くのメディアアイテムがユーザに提示された後、繰り返し実行されてもよく、この比較は、ターゲットプロファイルとして最も新しく決定されたユーザプロファイルに基づいてもよい。このように、ユーザのパーソナリティプロファイルならびにユーザに対するレコメンデーションもしくは再生の選択は、定期的(たとえば、メディアアイテムのユーザへの提示後のリアルタイム)に更新可能である。これにより、過去に再生された楽曲に応じて新たな楽曲がユーザに対して再生される適応型楽曲提示サービスが可能となる。
【0024】
パーソナリティプロファイルは、サーバプラットフォーム上で生成されてもよい。この方法は、ユーザと関連付けられたユーザデバイスからサーバプラットフォームまで、ユーザに対する1つまたは複数の好適なメディアアイテムの識別情報を送信することをさらに含んでもよい。このため、サーバは、ユーザのメディア消費に関する情報(たとえば、プレイリスト)を受信して、この情報から、ユーザのパーソナリティプロファイルを決定することができる。前述の通り、これは繰り返し実行されてもよい。ユーザデバイスは、パソコン、タブレットコンピュータ、モバイルコンピュータ、スマートフォン、ウェアラブルデバイス、スマートスピーカ、スマートホーム環境、カーラジオ等、またはこれらを任意に組み合わせた使用等、任意のユーザ機器であってもよい。サーバは、メディアアイテムのパーソナリティプロファイルをユーザのターゲットパーソナリティプロファイルと比較することによってベストマッチングメディアアイテムを決定した後、少なくとも1つの決定したベストマッチングメディアアイテムの表現をユーザデバイスに送信することが可能である。この情報は、受信されてユーザに提示されるか、または、決定されたベストマッチングメディアアイテムが再生される。
【0025】
ユーザに対する1つまたは複数の好適なメディアアイテム(たとえば、プレイリスト)の識別情報は、サーバプラットフォームに格納されてもよく、ユーザのパーソナリティプロファイルおよびメディアアイテムがサーバプラットフォーム上で生成される。サーバは、メディアアイテムのパーソナリティプロファイルをユーザのターゲットパーソナリティプロファイルと比較することによってベストマッチングメディアアイテムを決定した後、少なくとも1つの決定したメディアアイテムの表現をユーザと関連付けられたユーザデバイスに送信することが可能である。この情報は、受信されてユーザに提示されるか、または、決定されたベストマッチングメディアアイテムが再生される。
【0026】
本開示の別の態様においては、上記方法のいずれかを実行するためのコンピュータ機器が提案される。このコンピュータ機器は、命令を格納するためのメモリと、命令を実行するためのプロセッサと、を備えたサーバコンピュータであってもよい。コンピュータ機器は、ユーザデバイスと通信するためのネットワークインターフェースをさらに備えてもよい。コンピュータ機器は、ユーザデバイスから、ユーザにより消費されたメディアアイテムに関する情報を受信してもよい。コンピュータ機器は、上記開示のようなパーソナリティプロファイルを生成するように構成されてもよい。使用事例に応じて、パーソナリティプロファイルは、類似するメディアアイテムのレコメンデーションまたは分析された楽曲のプロファイルにマッチングするパーソナリティプロファイルを有するメディアユーザの決定に用いられてもよい。レコメンデーションメディアアイテムに関する情報がユーザデバイスに送信されてもよい。実施形態においては、特定のメディアアイテムのユーザのターゲットグループが決定されるか、または、所与のターゲットユーザグループに対して最適な楽曲が選択される。
【0027】
開示のデバイスの実施態様には、1つもしくは複数のプロセッサ、1つもしくは複数の特定用途向け集積回路(ASIC)、ならびに/または1つもしくは複数のフィールドプログラマブルゲートアレイ(FPGA)の使用を含んでもよいが、これらに限定されない。また、装置の実施態様には、グラフィックス処理ユニット(GPU)プロセッサ等のソフトウェアプログラマブルプロセッサのような他の従来のハードウェアおよび/またはカスタマイズされたハードウェアの使用を含んでいてもよい。
【0028】
本開示の別の態様は、少なくとも1つのプロセッサを備えたプログラマブルコンピュータまたは専用ハードウェア上で実行することにより、本開示に記載の方法ステップのいずれかを少なくとも1つのプロセッサに実行させるためのコンピュータソフトウェア、コンピュータプログラム製品、またはコンピュータソフトウェア命令を具現化した任意の媒体もしくはデータに関するものであってもよい。
【0029】
上記用途を特に参照して、いくつかの例示的な実施形態を本明細書に記載するが、本開示は、このような使用分野に限定されず、より広い背景において適用可能であることが理解されるであろう。
【0030】
特に、本開示に係る方法は、上記の例示的な実施形態およびその変形例に係る装置を動作させる方法に関するものであり、装置に関する各記述も同様に、対応する方法に当てはまり、その逆もまた同様であって、簡略化のため類似する記述が省略され得ることを理解されたい。また、上記態様は、明示的に開示されていない場合であっても、多くの方法で組み合わせ可能である。当業者であれば、明示的に除外される矛盾を生じない限り、これらの態様および特徴/ステップの組み合わせが可能であることが理解されよう。
【0031】
以下の議論の過程において、添付の図面を参照することにより、本開示の他のおよびさらなる例示的な実施形態が明らかとなるであろう。
【図面の簡単な説明】
【0032】
以下、添付の図面を参照して、本開示の例示的な実施形態を説明するが、これらはほんの一例に過ぎない。
図1】本開示の一実施形態の動作を模式的に示した図である。
図2a】オーディオファイルからのセマンティックディスクリプタの生成を示した図である。
図2b】オーディオコンテンツ分析ユニットによるセマンティックディスクリプタの生成を示した図である。
図3a】MBTIパーソナリティスキームのE-I(外向性-内向性)パーソナリティスコアに対する雰囲気コンテンツディスクリプタのマッピングを示した図である。
図3b】OCEANパーソナリティスキームの開放性パーソナリティスコアに対する雰囲気コンテンツディスクリプタのマッピングを示した図である。
図4a】MBTIパーソナリティスキームのパーソナリティプロファイルのグラフィック表示の一例を示した図である。
図4b】OCEANパーソナリティスキームのパーソナリティプロファイルのグラフィック表示の一例を示した図である。
図5】所与のターゲットユーザグループに対して最適な楽曲を選択する方法の一実施形態を示した図である。
【発明を実施するための形態】
【0033】
本開示の広範な一態様によれば、楽曲等の分析されるメディアアイテムに対応するパーソナリティプロファイルまたは感情プロファイルを生成するためのパーソナリティプロファイリングエンジンによって、メディアアイテムの特徴付け事項が決定される。これによって、メディアアイテムまたはメディアユーザの分類、検索、レコメンデーション、およびターゲティングを可能にする多様な新しい用途(本開示においては、「使用事例」とも称する)が可能となる。たとえば、ユーザが関心を持っていそうなメディアアイテムのレコメンデーションに対して、パーソナリティプロファイルまたは感情プロファイルが採用され得る。
【0034】
たとえば、パーソナリティプロファイリングエンジンの入力がユーザの短期楽曲鑑賞履歴である場合は、ユーザの最近再生した楽曲から、楽曲鑑賞者の雰囲気を特徴付けるパーソナリティプロファイルを決定することができる。入力が長期楽曲鑑賞履歴である場合は、楽曲鑑賞者の一般的なパーソナリティプロファイルを決定することができる。ユーザの長期パーソナリティプロファイルと現在の雰囲気との差を演算して、ユーザが例外的な状況にあるかを判定することも可能である。
【0035】
パーソナリティプロファイリングエンジンにより生成されたパーソナリティプロファイルによれば、たとえば人間の重層的なパーソナリティを規定する雰囲気、気分、および価値観に焦点を当てた楽曲鑑賞者の感情シグネチャを検出可能となる。これによって、たとえば鑑賞者が自意識過剰であるのか気高いのか、鑑賞者が運動または旅行を好むか、といった質問に対処可能となる。
【0036】
オーディオの一例においては、オーディオファイルの感情ディスクリプタおよび/またはセマンティックディスクリプタに基づいて、類似する音の楽曲トラックを見つけることができる。生成された感情プロファイルを使用するメディア類似性エンジンは、機械学習または人工知能(AI)を利用することにより、楽曲的および/または感情的に類似するトラックをマッチングして見つけるようにしてもよい。このようなメディア類似性エンジンは、人間と同様に楽曲を聴いて理解した後、何百万もの楽曲トラックから特定の音響または感情パターンを検索して、要件のマッチングにより数秒で必要な楽曲を見つけることができる。生成プロファイルに基づいて、たとえば楽器またはボーカルトラックのみを検索することが可能であり、または他のセマンティック基準に従って、ジャンル、テンポ、雰囲気、または低音対高音等を検索することが可能である。
【0037】
提案技術の基本は、オーディオ分析および/または人工知能(たとえば、深層学習アルゴリズム、ニューラルネットワーク等)に基づくメディアコンテンツディスクリプタによるメディアアイテムのタグ付けを実行するパーソナリティプロファイリングエンジンである。パーソナリティプロファイリングエンジンは、AIを利用してメタデータを充実させることにより、重み付けされた雰囲気、感情、ならびにジャンル、キー、およびテンポ(1分当たりの拍数(bpm))等の楽曲属性によるメディアトラックのタグ付けを行ってもよい。パーソナリティプロファイリングエンジンは、メディアアイテム(たとえば、楽曲トラック(歌曲))における雰囲気、ジャンル、音響属性、およびコンテキスト状況を分析するとともに、これらのカテゴリ内の異なる「タグ」に対して重み付けされた値を取得してもよい。パーソナリティプロファイリングエンジンは、メディアカタログを分析し、カタログ内の各メディアアイテムを対応するメタデータでタグ付けしてもよい。メディアアイテムは、たとえば
・音響属性(bpm、キー、エネルギー、・・・)、
・雰囲気/リズムの雰囲気、
・ジャンル、
・ボーカル属性(楽器、高音、低音)、
・コンテキスト状況、
に関するメディアコンテンツディスクリプタでタグ付けされてもよい。
【0038】
「感情的」観点から楽曲をタグ付けするための雰囲気カテゴリにおいて、パーソナリティプロファイリングエンジンは、たとえば6つのメインファミリとして構成された18個の雰囲気サブファミリ内で分類学的に分類可能な最大35個の「複雑な雰囲気」の値を出力してもよい。6つのメインファミリおよび18個のサブファミリはすべて、人間の感情を含む。雰囲気の分類学における詳細適用レベルは、任意に絞り込むことができる。すなわち、35個の「複雑な雰囲気」を必要に応じてさらに細分化することが可能であり、またはさらなる「複雑な雰囲気」を追加することが可能である。
【0039】
図1は、本開示の一実施形態の動作を模式的に示しており、パーソナリティプロファイルの生成およびプロファイルの類似性の決定によって、類似のメディアアイテム等に対するさまざまなレコメンデーションまたはユーザもしくはユーザグループのマッチングを行うものである。パーソナリティプロファイリングエンジン10は、メディアデータベース20から1つまたは複数のメディアファイル21を受信する。データベース20からメディアアイテムを読み出すため、パーソナリティプロファイリングエンジン10に提供されるメディアリスト30においてメディアファイルが識別される。メディアリスト30は、ユーザが再生した最も新しいメディアアイテムおよびユーザのメディア選好を表すユーザ定義プレイリストを格納したプレイリストデータベースから読み出されたユーザのプレイリストであってもよい。
【0040】
メディアファイル21の分析により、オーディオコンテンツの音響ディスクリプタ、セマンティックディスクリプタ、および/または感情ディスクリプタを含むメディアコンテンツディスクリプタ43が決定される。オーディオコンテンツの音響特徴付け事項を分析する音響分析ユニット41を備えたオーディオコンテンツ分析ユニット40によって、たとえばオーディオコンテンツのスペクトログラム等の周波数領域表現を生成するとともに、テンポ(bpm)またはキー等の音響特徴付け事項を演算する方法で時間-周波数平面を分析することにより、いくつかのメディアコンテンツディスクリプタ43が決定される。スペクトログラムは、たとえばLog-Melスペクトログラムの形態の透視および/または対数スケールに従って変換され得る。メディアコンテンツディスクリプタは、メディアコンテンツディスクリプタデータベース44に格納されてもよい。
【0041】
パーソナリティプロファイリングエンジン10のオーディオコンテンツ分析ユニット40は、人工知能モデルを用いてオーディオコンテンツの感情ディスクリプタおよび/またはセマンティックディスクリプタ等のメディアコンテンツディスクリプタ43を決定する人工知能ユニット42をさらに備える。人工知能ユニット42は、音響分析ユニット41により生成されるような時間領域表現、オーディオコンテンツの周波数領域表現(たとえば、前述のようなLog-Melスペクトログラム)、またはオーディオ波形および/もしくは周波数領域表現から導出される中間特性等のオーディオコンテンツの任意適当な表現に対して動作し得る。人工知能ユニット42は、たとえばオーディオコンテンツの楽曲および/またはリズムの雰囲気を特徴付けるオーディオコンテンツの雰囲気ディスクリプタを生成してもよい。これらのAIモデルは、独自の大規模なエキスパートデータでトレーニングされてもよい。
【0042】
図2aは、オーディオコンテンツ分析ユニットによるオーディオファイルからのセマンティックディスクリプタの生成の一例を示している。実施形態において、オーディオファイルサンプルは任意選択として、オーディオのチャンクにセグメント化され、Log-Melスペクトログラム等の周波数表現に変換される。次いで、オーディオコンテンツ分析ユニット40は、さまざまなオーディオ分析技術を適用することにより、スペクトログラムから低レベル、中レベル、および/または高レベルのセマンティックディスクリプタを抽出する。
【0043】
図2bは、オーディオコンテンツ分析ユニット40によるセマンティックディスクリプタの生成の一例をさらに示している。図2aが従来の信号処理方法による直接的なオーディオコンテンツ分析を示す一方、図2bは、ニューラルネットワークを利用したオーディオコンテンツ分析を示しており、まずは「グランドトゥルース」データ(「予備知識」)からの学習が必要である。オーディオファイルがスペクトログラムに変換され、1つまたは複数のニューラルネットワークの適用によって、オーディオファイルの雰囲気、ジャンル、および状況等のメディアコンテンツディスクリプタ43が生成される。ニューラルネットワークは、大規模エキスパートデータ(教師ありニューラルネットワークトレーニング用の大規模かつ詳細な「グランドトゥルース」メディアアノテーション)に基づいて、このタスクのためにトレーニングされたものである。人工知能ユニット42によるセマンティックディスクリプタの生成のための一例においては、オーディオファイルのスペクトログラムデータが入力としてニューラルネットワークに供給され、これがセマンティックディスクリプタを出力として生成する。実施形態においては、1つまたは複数の畳み込みニューラルネットワークの使用によって、たとえばジャンル、リズムの雰囲気、音声ファミリに対するディスクリプタを生成する。他のネットワーク構成およびネットワークの組み合わせも同様に使用可能である。
【0044】
マッピングユニット50は、マッピングルールデータベース52から受信したマッピングルール51を適用することによって、オーディオファイルに対するメディアコンテンツディスクリプタ43をメディアパーソナリティプロファイル61にマッピングする。マッピングルール51は、プロファイルスコア(すなわち、プロファイル属性の値)の演算に用いられるメディアコンテンツディスクリプタおよびメディアコンテンツディスクリプタに適用される重みを規定してもよい。また、マッピングルール51は、メディアコンテンツディスクリプタおよびプロファイル属性をリンクさせてメディアコンテンツディスクリプタの重みを与えるマトリクスとして表され得る。生成されたパーソナリティプロファイル61は、類似のプロファイルを決定するためにメディア類似性エンジン70に提供されてもよく、または後で使用するためにプロファイルデータベース60に格納されてもよい。
【0045】
メディアアイテムグループのパーソナリティプロファイルが生成された場合は、当該グループ中の個々のメディアアイテムに対するメディアコンテンツディスクリプタ43が生成され(または、メディアコンテンツディスクリプタデータベース44から読み出され)、メディアアイテムのグループ全体に対して集合化されたメディアコンテンツディスクリプタが生成される。メディアアイテムのグループに対する各メディアコンテンツディスクリプタの平均値の計算によって、数値メディアコンテンツディスクリプタの集合化が実現され得る。二乗平均平方根(RMS)等の他の集合化アルゴリズムも同様に使用可能である。その後、マッピングユニット50は、集合化メディアコンテンツディスクリプタ(たとえば、感情プロファイル)に作用して、メディアアイテムのグループ全体に対するパーソナリティプロファイルを生成する。
【0046】
メディア類似性エンジン70は、パーソナリティプロファイリングエンジン10から直接プロファイルを受信することが可能であり、または図1に示すように、プロファイルデータベース60から受信することが可能である。メディア類似性エンジン70は、プロファイルの比較により、以下に開示するようなプロファイル要素のマッチングまたは類似性検索に基づいて、プロファイルの類似性を決定する。ターゲットプロファイルに類似するプロファイル71が決定された場合は、対応するメディアアイテムまたはユーザが決定され、各レコメンデーションが行われてもよい。たとえば、ユーザのプレイリストにマッチングする1つまたは複数のメディアアイテムが決定され、ユーザの端末装置上で自動的に再生されてもよい。本開示には他の使用事例を記載する。
【0047】
前述の通り、パーソナリティプロファイリングエンジンは、メディアアイテムの感情ディスクリプタおよびセマンティックディスクリプタの決定に機械学習または深層学習技術を使用することができる。トレーニングは、関係を学習して個人の楽曲の好みおよび鑑賞習慣を分析するため、多くのデータポイントで構成されたデータベースに基づいてもよい。このアルゴリズムでは、ユーザの心理的・感情的ポートレートを読み出し、既存の人口統計および行動統計を補完して、完全かつ進化的なユーザプロファイルを生成することができる。パーソナリティプロファイリングエンジンの出力は、ユーザの楽曲(プレイリストまたは鑑賞履歴)の分析から、心理的に動機づけられたユーザのプロファイル(「パーソナリティプロファイル」)である。
【0048】
パーソナリティプロファイリングエンジンは、ユーザのパーソナリティプロファイルをより少ないメディアアイテムから導出することが可能であり、またはより多くのメディアアイテムから導出することが可能である。たとえば、ストリーミングサービス上でユーザにより再生された最新の10個以上の楽曲アイテムに基づく場合、エンジンは、(「楽曲鑑賞者の現在の雰囲気」を反映した)ユーザの短期(「瞬間」)プロファイルを演算することができる。(より多くの)楽曲アイテムがユーザの長期鑑賞履歴または好みのプレイリストを表す場合、エンジンは、ユーザの本来的なパーソナリティプロファイルを演算することができる。
【0049】
パーソナリティプロファイリングエンジンは、高度な機械学習および深層学習技術を使用して、オーディオ信号から楽曲の有意コンテンツを理解することにより、単純なテキスト言語およびラベルを超えて、人間のような比較レベルを実現することができる。オーディオ信号から楽曲に不可欠な情報を取り込むことによって、アルゴリズムが楽曲のリズム、ビート、スタイル、ジャンル、および雰囲気を理解するように学習可能である。生成されたプロファイルは、楽曲またはビデオストリーミングサービス、デジタルまたはリニアラジオ、広告、製品ターゲティング、コンピュータゲーム、ラベル、ライブラリ、パブリッシャ、店内楽曲プロバイダまたは同期機関、音声アシスタント/スマートアシスタント、スマートホーム等に適用され得る。
【0050】
パーソナリティプロファイリングエンジンは、高度な深層学習技術を適用して、オーディオから楽曲の有意コンテンツを理解することにより、人間のような比較レベルを実現することができる。このアルゴリズムでは、関連する雰囲気、ジャンル、コンテキスト状況、および他のキー属性を分析および予測して、重み付けされた関連性スコア(%)を割り当てることができる。
【0051】
メディア類似性エンジンは、レコメンデーション、楽曲ターゲティング、およびオーディオブランディングのタスクに適用可能であり、楽曲もしくはビデオストリーミングサービス、デジタルもしくはリニアラジオ、日用消費財(FMCG)(消耗品(CPG)としても知られる)、広告主、クリエイティブエージェンシー、出会い系企業、店内楽曲プロバイダ、または電子商取引に使用可能である。
パーソナリティプロファイリングエンジン
【0052】
パーソナリティエンジンは、以下の方法を実行することにより、メディアアイテムのグループに基づいて、パーソナリティプロファイルを生成するように構成されてもよい。第1のステップにおいては、たとえばユーザにより定義されたプレイリストの形態の1つまたは複数のメディアアイテムの識別情報を含むグループリストが取得される。次に、当該グループの識別された1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタが生成されるか、または、過去に分析されたメディアアイテムのデータベースから読み出される。一組のメディアコンテンツディスクリプタには、各メディアアイテムの音響ディスクリプタ、セマンティックディスクリプタ、および感情ディスクリプタのうちの少なくとも1つを含む。次いで、この方法には、個々のメディアアイテムの各メディアコンテンツディスクリプタに基づいて、識別された1つまたは複数のメディアアイテムのグループ全体に対して集合化された一組のメディアコンテンツディスクリプタ(すなわち、ユーザの感情プロファイル)を決定することを含む。最後に、メディアアイテムのグループに対するパーソナリティプロファイルに対して、一組の集合化メディアコンテンツディスクリプタがマッピングされる。プロファイル要素のスコアは、一組の集合化メディアコンテンツディスクリプタの集合化特性から計算される。
【0053】
例示的な実施形態において、パーソナリティプロファイリングエンジンは、メディアユーザの雰囲気の決定に適用される。たとえば、入力「短期楽曲鑑賞履歴」に基づいて、楽曲鑑賞者の雰囲気が決定される。あるいは、入力「長期楽曲鑑賞履歴」から、楽曲鑑賞者の一般的なパーソナリティプロファイルが決定される。さらなる使用事例においては、個人のパーソナリティプロファイルを他人のパーソナリティプロファイルと関連付け、当該特定の瞬間に類似するプロファイルの個人を決定してもよい(たとえば、マッチング、プロファイルが類似する製品のレコメンデーション(電子商取引)、または他人とつながることの提案(友人、デート、ソーシャルネットワーク・・・))。
【0054】
さらに、パーソナリティプロファイリングエンジンの使用により、a)個人の現在の雰囲気に対して、ならびに/または、b)個人の雰囲気を変える意図(個人が明示的に表明する意図、システムによりもたらされる暗示的な変更の意図、たとえば、製品のレコメンデーションまたはプラットフォーム上でのユーザの保持の最適化(増加))で、楽曲(たとえば、現在のプレイリストおよび/もしくは提案、または他の形態の娯楽(映画、・・・)、あるいはスマートホーム等の環境)等のメディアアイテムを適応させてもよい。
【0055】
パーソナリティプロファイリングエンジンは、ユーザの長期パーソナリティプロファイルと現在の(雰囲気)プロファイルとの差を演算して、ユーザの現在の雰囲気とユーザの一般的なパーソナリティとの差を決定するのに使用可能である。これは、たとえば(特定の鑑賞コンテキスト、時間帯、ユーザの雰囲気等に応じて)特定の楽曲的方向に向かうユーザの一般的なパーソナリティプロファイルの短期的な「逸脱」におけるレコメンデーションの適応、ならびに、本来であればユーザのパーソナリティプロファイルに合うものの、現在の鑑賞状況に関する現在の雰囲気プロファイルが逸脱していることから瞬間的には合わない広告(ad)の表示を決定するのに有用である。いずれの場合も、レコメンデーションまたは広告の配置は、その瞬間のユーザの個人的状況に適応されてもよい。
【0056】
これらの実施形態の基本は、提供リストにより識別されたメディアアイテムのグループを分析するパーソナリティプロファイリングエンジンである。たとえば、(デジタルオーディオファイルからの)歌曲グループにおけるオーディオトラックが分析される。この分析は、たとえばオーディオコンテンツ分析および/または機械学習(たとえば、深層学習)法の適用によるものであってもよい。パーソナリティプロファイリングエンジンは、
・オーディオから低レベル、中レベル、および高レベルの特性を抽出するアルゴリズムを適用してもよい。低レベルの特性の例は、オーディオ波形/スペクトログラム関連の特性(または、「ディスクリプタ」)であり、中レベルの特性(または、「ディスクリプタ」)の例は、「ゆらぎ」、「エネルギー」等であり、高レベルの特性の例は、ジャンル、雰囲気、またはキー等のセマンティックディスクリプタおよび感情ディスクリプタである。
・音響波形およびスペクトログラム分析を適用して、テンポ(1分当たりの拍数)、キー、モード、持続時間、スペクトルエネルギー、リズムの有無等の音響属性を分析してもよい。
・ニューラルネットワーク/深層学習ベースのモデルを適用して、オーディオ入力から(たとえば、オーディオトラックのさまざまなセグメントから抽出されたLog-Mel周波数スペクトログラムを介して)、ジャンル、雰囲気、リズムの雰囲気、音声の存在(楽器もしくはボーカル)、ならびにボーカル属性(たとえば、低音もしくは高音)等の高レベルのディスクリプタを分析してもよい。ニューラルネットワーク/深層学習モデルは、楽曲専門家によりタグ付けされた前述のカテゴリの数千(数百)ものアノテーション済みの例を含む大規模トレーニングデータセット上でトレーニングされたものであってもよい。たとえば、深層学習畳み込みニューラルネットワークが用いられてもよいが、その代替として、他種のニューラルネットワーク(再帰型ニューラルネットワーク等)、他の機械学習手法、またはこれらの任意の組み合わせが用いられてもよい。実施形態においては、雰囲気、ジャンル、リズムの雰囲気、音声の存在/ボーカル属性のカテゴリグループごとに1つのモデルがトレーニングされる。一代替例では、まとめて1つの共通モデルをトレーニングするか、たとえば複数の雰囲気およびリズムの雰囲気に対して1つのモデルを一緒にトレーニングするか、または、個々の雰囲気またはジャンル自体について1つのモデルをトレーニングする。
【0057】
オーディオ分析は、オーディオファイルの複数の時間的位置(たとえば、歌曲の最初、中間、最後の部分について15秒ずつ3回)に対して実行されてもよいし、オーディオファイル全体に対して実行されてもよい。
【0058】
出力は、セグメントレベルまたは(たとえばセグメントから集合化された)オーディオトラック(歌曲)レベルで格納されてもよい。また、後続の手順は、セグメントレベルで適用されてもよい(たとえば、セグメントごとに雰囲気のリスト(または、雰囲気スコア)を取得する(たとえば、クラシック、DJミックス、もしくはポッドキャスト等の長いオーディオレコーディングの場合またはジャンルもしくは雰囲気が変化するオーディオトラックの場合に適用可能である))。パーソナリティプロファイリングエンジンは、導出されたすべての楽曲コンテンツディスクリプタを予測値または%値とともに、さらなる使用のために、1つまたは複数のデータベースに格納してもよい(以下参照)。
【0059】
オーディオコンテンツ分析の出力は、
・テンポ:たとえば、135bpm、
・キーおよびモード:たとえば、F#マイナー、
・スペクトルエネルギー:たとえば、67%(100%は、トラックのカタログ上の最大値によって決定する)、
・リズムの存在:たとえば、55%(100%は、トラックのカタログ上の最大値によって決定する)、
・ジャンル:カテゴリのリストとして(それぞれ0~100の%値で他から独立)、たとえばポップ80%、ニューウェーブ60%、エレクトロポップ33%、ダンスポップ25%、
・雰囲気:楽曲に含まれる雰囲気のリストとして(それぞれ0~100の%値で他から独立)、たとえば夢想的70%、知的60%、インスパイア40%、ビター16%、
・リズムの雰囲気:楽曲に含まれる雰囲気のリストとして(それぞれ0~100の%値で他から独立)、たとえば優雅67%、叙情的53%、
・ボーカル属性:楽器(0もしくは100%)または「男性」(低音)および/または「女性」(高音)の声の任意の組み合わせ(50~100%)、
等の入力オーディオからのメディア(たとえば、楽曲)コンテンツディスクリプタである(オーディオ特性または楽曲特性とも称する)。
【0060】
一実施形態において、オーディオコンテンツ分析は、
・オーディオ特性抽出から、14個の中高レベル特性+52個の低レベル(スペクトル)特性と、
・深層学習モデルから、67個のジャンル、35個の雰囲気(+24個(サブファミリおよびファミリへの集合化による)(以下参照))、5つのリズム雰囲気、および3つのボーカル属性と、
をそれぞれ出力する。
【0061】
任意選択として、いわゆる調整係数を適用することにより、値に対する後続の後処理が実行される(たとえば、ジャンル、雰囲気、または他のカテゴリのいくつかに高低いずれかの重みを与える)。調整係数は、人間の知覚に近づくように機械予測値を適応させる。調整係数は、専門家(たとえば、楽曲専門家)により決定されてもよいし、機械学習により学習されてもよい。調整係数は、セマンティックディスクリプタまたは感情ディスクリプタごとに1つの係数により規定されてもよいし、さまざまな機械予測値から調整出力値への非線形マッピングにより規定されてもよい。
【0062】
さらに任意選択として、楽曲コンテンツディスクリプタの集合化により、通例は分類学に沿った楽曲コンテンツディスクリプタのグループまたは「ファミリ」に対する値を生成してもよい。一例おいては、深層学習モデルにより予測された35個の雰囲気が18個の親「サブファミリ」および6つの「メインファミリ」へと集合化され、(雰囲気の分類学に沿った)合計59個の雰囲気を構成する。
【0063】
分析は、一組の歌曲に対して歌曲レベルで実行され、オーディオの形態(圧縮または未圧縮のさまざまなデジタルフォーマット)で送達されてもよい。パーソナリティプロファイルの生成のため、複数の歌曲のグループ(通例、「プレイリスト」と称する)に対して、複数の歌曲の楽曲コンテンツディスクリプタおよびそれらの値が集合化されてもよい。
【0064】
いくつかの実施形態(使用事例)においては、鑑賞者の現在の雰囲気が決定される。他の使用事例においては、パーソナリティプロファイリングエンジンによって、鑑賞者の長期パーソナリティプロファイルが決定される。いずれの場合も、入力は歌曲のリストであり、出力は(1つまたは複数のパーソナリティプロファイルスキームに沿った)ユーザのパーソナリティプロファイルである。楽曲鑑賞者の雰囲気を決定するため、最も新しく聴いたいくつかの歌曲を入力とする。これらの歌曲によれば、ユーザの現在の雰囲気プロファイルを知ることができる。楽曲鑑賞者の一般的な(長期)パーソナリティプロファイルを決定するため、ユーザの(長期)履歴を表す歌曲(通例は、より大きな集合)を入力とする。
【0065】
パーソナリティプロファイルの生成は、ユーザが聴く楽曲の特徴付け事項に基づいてもよく、たとえば(非限定的に)雰囲気、ジャンル、音声の存在、ボーカル属性、キー、bpm、エネルギー、および他の音響属性(=「楽曲コンテンツディスクリプタ」、「オーディオ特性」、または「楽曲特性」)を含む。これは、歌曲の楽曲コンテンツの特徴付け事項ごとに決定されてもよい。
【0066】
実施形態においては、n個の歌曲の楽曲コンテンツディスクリプタの集合化を行って、集合化コンテンツディスクリプタを生成する、すなわちユーザの感情プロファイルを、たとえば集合(プレイリスト)中の歌曲それぞれの数値(%)の平均として生成する。あるいは、中央値、幾何平均、RMS(二乗平均平方根)、またはさまざまな形態の加重平均等の、より複雑な集合化手順が適用される。
【0067】
実施形態においては、ユーザのプレイリストまたはユーザの鑑賞履歴中の歌曲の予備分析によって、(たとえば、値ごとに0~100%の範囲の)数値を含み得る楽曲コンテンツディスクリプタが抽出されてもよい。コンテンツディスクリプタ(たとえば、雰囲気「感性」)ごとに、個々の歌曲の「感性」値すべての二乗平均平方根(RMS)が演算され、格納されてもよい。この集合化の出力は、各歌曲と同じ数のディスクリプタ(属性)を有する一組の楽曲コンテンツディスクリプタとなる。この集合化楽曲コンテンツディスクリプタ(感情プロファイル)がパーソナリティプロファイリングエンジンの第2段階において使用されることにより、ユーザのパーソナリティプロファイルが決定される。
【0068】
いくつかの実施形態においては、ユーザのプレイリストの代わりに、アルバムまたはアーティストのディスコグラフィ(アーティストの全トラック)を集合化の入力として使用することも可能である。同様に、(アルバム、アーティスト、またはプレイリストを表し得る)多くのトラックに対して、(開示のさまざまな方法を使用することにより)前記楽曲コンテンツディスクリプタの集合化を実行することができる。
【0069】
各楽曲コンテンツディスクリプタの集合化値が計算された場合は、パーソナリティプロファイルが生成される。たとえば、(n個の歌曲に対して集合化された楽曲コンテンツディスクリプタを表す)感情プロファイルにおける要素から1つまたは複数のパーソナリティプロファイルへのマッピングが実行される。マッピングでは、雰囲気、ジャンル、スタイル等を心理的・感情的ユーザ特徴付け事項(パーソナリティ特質)に変換する。マッピングは、前記楽曲コンテンツディスクリプタから(パーソナリティ特質/人間の特徴付け事項を含む)パーソナリティプロファイルのスコアへと実行される。楽曲コンテンツディスクリプタおよびそれらの値からパーソナリティプロファイルスキームにより規定された1つまたは複数の種類のパーソナリティプロファイルへのマッピングのルールが規定されてもよい。
【0070】
パーソナリティプロファイリングエンジンの出力は、数値出力パラメータの範囲であって、パーソナリティプロファイル属性およびスコアと称し、ユーザのパーソナリティプロファイルを表す。
【0071】
パーソナリティプロファイルは、
・MBTI(マイヤーズ・ブリッグス型指標)、
・Ego Equilibrium、
・OCEAN(ビッグファイブパーソナリティ特質としても知られる)、
・エニアグラム、
等のさまざまなパーソナリティプロファイルスキームに従って規定されてもよい。
【0072】
これらのパーソナリティプロファイルスキームはそれぞれ、パーソナリティ属性(たとえば、「外向性」もしくは「開放性」ならびに51%もしくは88%等の割り当てスコア(値)(具体例は以下に示す))により構成されている。
【0073】
これらのスキームすべてについて、楽曲コンテンツディスクリプタからプロファイルスコアへのマッピングが用いられてもよく、その逆もまた同様である。図3aは、MBTIパーソナリティスキームのEIパーソナリティスコアに対する雰囲気コンテンツディスクリプタのマッピングを示している。マッピングは、図3aに示す例のようなマトリクスを適用してもよい。パーソナリティプロファイルスキーム内のスコア(値)の演算には、(雰囲気または他の楽曲コンテンツディスクリプタの)存在(%)または不在(100-%)が関連し得る。
【0074】
各スキームは、演算する多くの「スコア」を有し得る(たとえば、MBTIスキームでは、4つのスコアEI、SN、TF、JPを演算する)。各スコアに対して1つまたは複数のマッピングルールが規定されてもよく、これらは、集合化楽曲コンテンツディスクリプタからスコアを演算する方法に影響を及ぼす。たとえば、スコアは、マトリックスにより演算された値の合計を考慮する値の数で割ったものに等しい(すなわち、通常の平均化メカニズム)。
【0075】
たとえば、(楽曲コンテンツディスクリプタに含まれる)雰囲気「退行的」は、MBTIスキームの一部として、EI計算に用いられる。図3aは、楽曲コンテンツディスクリプタの雰囲気部分からEI計算に適用されるルールマトリクスの一例を示している。ルールマトリクスは、雰囲気の有無をEIスコアの計算に使用し得る方法を示している。他の楽曲コンテンツディスクリプタについても同様に、計算に含めることができる。
【0076】
実施形態において、EI計算には、楽曲コンテンツディスクリプタからの17個の値を組み込んだ17個のルールを含む。これらのルールは、心理学的なレシピに従う。たとえば、「金属」グループ内のルールが心理学的に「クローズドショルダー(closed shoulder)」を規定する一方、「木」グループ内のルールは「オープンショルダー(open shoulder)」を規定する。
【0077】
OCEAN等の他のプロファイリングマトリクスに対しても同様の演算が行われ得る。
【0078】
前述の通り、MBTIパーソナリティプロファイルは、EI、TF、JP、SNというスコアを有する。以下は、MBTIパーソナリティプロファイルおよびそのスコアの表現の一例である。
“mbti”:{“name”:“INTJ”,“sources”:{
“EI”:33.66403316629877,
“SN”:42.419498057065084,
“TF”:57.82423612828757,
“JP”:61.02633025243475}}
【0079】
スコア値に応じて、基本スコア分類が行われ得る。この分類は、スコア値と特定の閾値との比較に基づいてもよい。たとえば、MBTIスキームにおけるEIスコアは、ユーザの外向性(E)と内向性(I)との間のバランスを表す。50%を下回るEIが内向性を意味する一方、50%を上回るEIが外向性を意味する。したがって、EI<50%の場合は、ユーザがI(内向性)クラスに割り当てられ得、それ以外の場合はE(外向性)クラスに割り当てられる。他のMBTIスコアについても同様に分類され得る。
【0080】
スコアは、各軸の対極として規定される(E-I、S-N、T-F、J-P)。各文字のペアにおいては、その人がいずれの特質であるかを決定する値が<50%または>50%によって決まる。上記例から文字を除外するため、通例は、<50%の場合に文字ペアの右側の文字が取得され、≧50%の場合に左側の文字が取得される。
【0081】
生成されたプロファイルに対するスコアの結果は、たとえばプロファイルスコアの基本分類結果に基づいて、一般的なパーソナリティタイプへとさらに分類されてもよい。たとえば、基本スコア分類結果から、以下の一般的なパーソナリティタイプが導出されてもよい。
・ESTJ:外向性(E)、感性(S)、思考(T)、判断(J)
・INFP:内向性(I)、直感(N)、気分(F)、知覚(P)
【0082】
上記例のプロファイルは、INTJパーソナリティタイプとして分類される。プロファイルスコア(EI、TF、JP、SN)の4次元空間をパーソナリティタイプに分類することにより、有意な表現を有する正方形において、パーソナリティ特質の2次元配置が可能となる。
【0083】
図4aは、MBTIスキームに係るパーソナリティプロファイルの図式表現を示しており、ユーザのプロファイルに対する分類結果(INTJ)を色付きで示すことができる。この図は、さまざまな心理学的次元に沿ったユーザのプロファイルを直感的に表現するものである。「INTJ」として分類された個人は、「立案者、科学者」として解釈される。このMBTIタイプと関連付けられた付加的なパーソナリティ特質がユーザインターフェース上に出力されてもよい。
【0084】
OCEANパーソナリティプロファイルスキームにおいては、「ビッグファイブ」マインドセットに対して、開放性、誠実性、外向性、協調性、神経症傾向といったスコアが規定される。図3bは、OCEANパーソナリティスキームの開放性パーソナリティスコアに対する雰囲気コンテンツディスクリプタのマッピングを示している。以下は、OCEANパーソナリティプロファイルおよびそのスコアの表現の一例である。
“ocean”:{
“agreeableness”:51.10149671582637,
“conscientiousness”:73.42223321884429,
“extraversion”:33.66403316629877,
“neuroticism”:50.21693055551433,
“openness”:39.72017677623826}
【0085】
図4bは、OCEANスキームに係るパーソナリティプロファイルの図式表現を示している。この図は、さまざまな心理学的次元に沿ったユーザのプロファイルを直感的に表現するものである。
【0086】
いくつかの実施形態において、パーソナリティプロファイルは任意選択として、付加的な情報(たとえば、年齢、性別、および/またはボディセンサ(スマートウォッチ、スポーツトラッキングデバイス、感情センサ等)を介した人体の生体信号)から特徴付けられる付加的な人物関連パラメータによる充実または人物関連パラメータとの関連付けが可能である。また、任意選択として、パーソナリティプロファイルは、個人のコンテキストおよび環境(位置、日時、天候、近くの他人)を特徴付ける付加的なパラメータによる充実または付加的なパラメータとの関連付けも可能である。
【0087】
実施形態において、パーソナリティプロファイリングエンジンは、楽曲またはビデオクリップ等の特定のメディアアイテムに対するユーザのターゲットグループを決定するように構成されている。パーソナリティプロファイリングエンジンは、音響属性、ジャンル、スタイル、雰囲気等に関して、1つまたは複数のメディアアイテム(たとえば、歌曲、アルバム、またはアーティストの歌曲集)のコンテンツを分析してもよい。その後、新たにリリースされた歌曲、アルバム、またはアーティスト等のメディアアイテムに対する(パーソナリティプロファイルの形態の)ターゲットグループの説明を生成して、たとえば楽曲レーベル、アーティスト、楽曲マーケティングまたはサウンドブランディングエージェンシーに説明を提供する。
【0088】
パーソナリティプロファイリングエンジンは、1つまたは複数の歌曲に対するターゲットグループのプロファイルを見つけるのみならず、また「逆モード」で動作して、人のターゲットグループに対するマッチング楽曲を見つけてもよい。通常、プロファイルの演算には少なくとも10トラックが必要であるものの、このトラックを最も受け入れる(感情的に語る)人々のプロファイルのレコメンデーションには単一のトラックさえあればよい。「逆モード」での使用の場合、パーソナリティプロファイリングエンジンは、選択されたプロファイルに適したトラックのリストをレコメンド可能である。これにより、このプロファイルをターゲットとするブランドに対するプレイリストを生成可能となる。さらに、ラジオ局による使用の場合は、広告ブレイク直前のラジオ番組の感情的な「瞬間」を演算し、この瞬間をブランドおよびブランドが感情としての対処/生成を望む対象と整合させることが可能である。
【0089】
実施形態において、パーソナリティプロファイリングエンジンの入力は、1つの歌曲(あるいは、たとえばアルバムまたはアーティストに属する一組の歌曲)であり、出力は、当該歌曲に対するターゲットグループ(たとえば、新たにリリースされた歌曲、アルバム、またはアーティスト)の説明である。ターゲットグループは、MBTI、OCEAN、エニアグラム、Ego-Equilibrium等の1つまたは複数のパーソナリティプロファイルスキームに従う1つまたは複数のパーソナリティプロファイルにより規定される。プロファイルは任意選択として、人物関連パラメータ(たとえば、年齢、性別等)により充実されてもよい。
【0090】
より詳細には、一組の歌曲中のオーディオの分析によって、セマンティックディスクリプタおよび/または感情ディスクリプタを含む楽曲コンテンツディスクリプタが導出される。任意選択としては、(アルバムまたはアーティストを表し得る)多くのトラックに対して(さまざまな方法による)前記ディスクリプタの集合化が実行され、たとえば複数の歌曲の雰囲気および/または他のディスクリプタの平均を演算することによって(平均、RMS、または加重平均等が考えられる)、ユーザの感情プロファイルが決定される。その後、上述の通り、楽曲コンテンツディスクリプタからパーソナリティプロファイルへのマッピングが実行される。次いで、このシステムは、異なるパーソナリティプロファイルスキームのうちの1つにより規定された1つまたは複数の関連する人ターゲットグループのプロファイルを出力する。ターゲットグループのプロファイルは、数値形式(たとえば、前述のスキーム内の異なるプロファイルスコアに対する浮動小数点数)で提供されてもよい。
メディア類似性エンジン
【0091】
実施形態において、メディア類似性エンジンは、所与のターゲットユーザグループに対して最適な楽曲を選択するように構成されている。本実施形態においては、ターゲットグループが規定されており、メディア類似性エンジンは、たとえばブロードキャスト用のマッチングする楽曲を選択する。これにより、たとえばそのターゲット消費者グループにより規定されるブランドの広告キャンペーンに対する楽曲を提案可能となる。さらなる可能な使用事例は、店内楽曲、広告等である。
【0092】
これらの実施形態の場合は、上述の通り、MBTI、OCEAN、エニアグラム、Ego-Equilibrium等のスキームに従う1つまたは複数のパーソナリティプロファイルによって、(楽曲消費、店内楽曲、広告キャンペーン、および他の使用事例の場合に、ターゲットグループに適当な楽曲を見つけることを意図して)人のターゲットグループが特定される。また、ターゲットグループに対する人口学的パラメータが追加されてもよい。
【0093】
ターゲットグループプロファイルと個々の歌曲の「楽曲パーソナリティプロファイル」(すなわち、パーソナリティスキームに従ってパーソナリティプロファイルにマッピングされた歌曲に対するコンテンツディスクリプタセット)との間のパーソナリティプロファイル空間において、検索(たとえば、類似性検索または厳密なスコアマッチング)を実行可能である。その後、ターゲットグループパーソナリティプロファイルにベストマッチングする歌曲からの「楽曲パーソナリティプロファイル」が識別される。その点、さまざまなパーソナリティプロファイルスキームに対するパーソナリティプロファイルスコアが候補歌曲に対して予備演算されてもよい。次いで、人のターゲットグループに対するベストマッチングは、規定されたターゲットグループのプロファイルスコアと各歌曲のパーソナリティプロファイルスコアとの間の類似性検索により見つけられる。次に、類似性検索の異なる選択肢を説明する。
【0094】
用語「類似性検索(similarity search)」には、任意ペアの対象(たとえば、プロファイル)間の類似性に基づいて、対象(ここでは、プロファイル)の広大な空間を検索する広範なメカニズムを含むものとする。最近傍検索およびレンジクエリが類似性検索の例である。類似性検索は、検索領域においてスケーラビリティを実現するために効率的なインデックス構造を構成可能な距離空間の数学的概念に依拠し得る。あるいは、カルバック-ライブラー発散またはたとえばニューラルネットワークにより学習されたエンベッディング等の非距離空間が類似性検索に用いられてもよい。最近傍検索は、近接検索の形態であり、所与の点に最も近い(または、最も類似する)所与の集合中の点を見つける最適化問題として表され得る。近さは通常、非類似度関数で表され、対象の類似度が低いほど、非類似度関数の値は大きくなる。この場合は、プロファイルの(非)類似性が検索の基準となる。
【0095】
ターゲットグループのベストマッチングメディアアイテムの検索は、ターゲットプロファイルをメディアアイテムのパーソナリティプロファイル(たとえば、個々の歌曲に対する楽曲パーソナリティプロファイル)と比較することにより、パーソナリティプロファイル空間において実行されてもよい。この検索は、
・(プロファイルの要素の有無に応じた)プロファイルの要素のマッチングと、
・プロファイルの属性(スコア)の値のマッチング(数値検索)と、
・このような値の範囲の検索(たとえば、スコア「尊敬」は75%~100%である)と、
・ベクトルに基づくマッチングおよび類似性演算(ターゲットプロファイルおよびパーソナリティプロファイルの値が、数値プロファイルの要素を比較することにより、どの程度「近い」(数値的距離に関して類似する)かを演算する(たとえば、ユークリッド距離、マンハッタン距離、コサイン距離等の距離尺度、またはカルバック-ライブラー発散等の他の方法を使用する))と、
・機械学習に基づく類似性の学習(機械学習または深層学習アルゴリズムにより、アルゴリズムに与えられた例に基づいて類似度関数を学習する(次いで、一実施形態においては、この学習した類似度関数を永続的に使用可能である))と、
により実行されてもよい。
【0096】
あるいは、メディア類似性エンジンは、楽曲コンテンツディスクリプタに対するパーソナリティプロファイルスキームのマッピングを使用して、人のターゲットグループに関連する楽曲を見つけることができる。このため、ターゲットグループパーソナリティプロファイルから楽曲コンテンツディスクリプタへのマッピング(「逆マッピング」)が実行されてもよく、楽曲コンテンツディスクリプタ空間において、ターゲットプロファイルにマッチングする歌曲の検索が実行されてもよい。この場合は、ターゲットグループパーソナリティプロファイルから楽曲コンテンツディスクリプタへの逆マッピングが最初に実行され、その後、これらのコンテンツディスクリプタにベストマッチングする歌曲が選定される。
【0097】
いずれの場合も、出力は、規定されたターゲットグループにマッチングするメディアアイテム(たとえば、楽曲トラック)のリストである。
【0098】
実施形態において、メディア類似性エンジンは、ユーザのパーソナリティプロファイル、ユーザの現在の状況もしくはコンテキスト、およびユーザの現在の雰囲気のうちの1つまたは複数を使用して、
・オンラインストリーミングプラットフォーム上の楽曲の「リアルタイム」レコメンデーション、
・モバイル機器アプリケーション上での楽曲の提案、および/または
・プロファイルに応じた楽曲の自動再生(リーンバックラジオ)、
を行うようにしてもよい。
【0099】
たとえば、上述の通り、パーソナリティプロファイリングエンジンによって、ユーザの鑑賞履歴が分析される。このように、ユーザのパーソナリティプロファイルおよび/または楽曲鑑賞者の感情プロファイル(鑑賞者の雰囲気を含む)が決定される。次に、特定の楽曲のターゲットグループを決定するのと同様に、メディア類似性エンジンは、個人の(長期)パーソナル楽曲鑑賞履歴、パーソナリティプロファイル、(短期)雰囲気プロファイルおよび/もしくはパーソナリティプロファイル、短期および長期のパーソナリティプロファイル間の加重混合、ならびに任意選択としてのユーザのコンテキストおよび環境情報に基づいて、個人(ユーザ)に最も適した楽曲を決定して見つけるよう構成されてもよい。個人のコンテキストおよび環境は、たとえば位置データ、天候データ、移動データ、生体信号データ等を導出可能なモバイル機器または他の個人用ユーザデバイスから測定された他の数値的因子により決定可能である。これは、ユーザが鑑賞セッションにおいて鑑賞している間に、瞬間的に実行されてもよい。たとえば、ユーザが以前聴いていた歌曲ならびに楽曲コンテンツディスクリプタおよび1つもしくは複数のパーソナリティプロファイルへのマッピングに応じた歌曲の予備分析に基づいて、ユーザのパーソナリティプロファイルにベストマッチングする歌曲が選定される。このため、上記説明の通り、ユーザのパーソナリティプロファイルは、メディアコンテンツディスクリプタセットからのマッピングにより生成されたパーソナリティプロファイルと比較される。たとえば、ユーザのターゲットプロファイルと楽曲のパーソナリティプロファイルとの間で類似性検索が実行され、ベストマッチングするプロファイル(および、対応する楽曲アイテム)が決定される(場合によっては、それらのマッチングスコアに従ってランク付けされる)。出力は、鑑賞用に提案される歌曲のリストであり、更新された鑑賞履歴等の新たな入力に基づいてリアルタイムで更新可能である。
【0100】
同様に、任意選択として、一組の歌曲(たとえば、アルバム、プレイリスト、または同じアーティストの一組の歌曲)から、パーソナリティプロファイルへのマッピングに先立って(上述の通り)楽曲コンテンツディスクリプタが集合化されることにより、鑑賞者に対して、個々の歌曲の代わりにアーティスト、アルバム、またはプレイリストがレコメンドされる。
【0101】
所与のターゲットユーザグループに対して最適な楽曲を選択する方法100の一実施形態を図5に示す。この方法は、ステップ110で開始となり、1つまたは複数のメディアアイテムを含むメディアアイテムのグループの識別情報を取得する。ステップ120においては、当該グループの識別された1つまたは複数のメディアアイテムそれぞれに対する一組のメディアコンテンツディスクリプタを取得する。メディアコンテンツディスクリプタは、各メディアアイテムの音響ディスクリプタ、セマンティックディスクリプタ、および/または感情ディスクリプタを特徴付けした特性を含み、メディアアイテムによる直接計算またはデータベースからの読み出しが行われてもよい。メディアコンテンツディスクリプタの生成に関する詳細については、上述の通りである。
【0102】
ステップ130においては、個々のメディアアイテムの各メディアコンテンツディスクリプタに基づいて、識別された1つまたは複数のメディアアイテムのグループ全体に対する一組の集合化メディアコンテンツディスクリプタを決定する。たとえば、1つまたは複数の識別されたメディアアイテムがアルバムまたはアーティストに対応する場合は、このアルバムまたはアーティストに対して、一組の集合化メディアコンテンツディスクリプタが決定される。メディアアイテムが1つしか識別されない場合は、メディアアイテムのセグメントから、一組の集合化メディアコンテンツディスクリプタが決定されてもよい。その後、ステップ140においては、上記説明のようなパーソナリティスキームに従って規定されたパーソナリティプロファイルに対して、一組の集合化メディアコンテンツディスクリプタ(たとえば、ユーザの感情プロファイル)をマッピングする。このマッピングは、マッピングルールに基づいてもよい。ステップ150においては、メディアアイテムのグループの生成されたパーソナリティプロファイルをメディア類似性エンジンに与える。上記プロセスは、別のメディアアイテムのグループに対して繰り返され、別のメディアアイテムのグループに対して別のパーソナリティプロファイルが生成される。このように、それぞれが対応するメディアアイテムのグループと関連付けられ、適用されたパーソナリティスキームに関して各メディアアイテムを特徴付ける複数のパーソナリティプロファイルが生成される。
【0103】
ステップ160においては、メディアアイテムグループのパーソナリティプロファイルをターゲットパーソナリティプロファイルと比較し、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムを決定する。ターゲットパーソナリティプロファイルは、1人または複数人のユーザを含むユーザのターゲットグループに対応し、上記説明の通り、ユーザのメディア消費履歴から決定することができる。ステップ170においては、ユーザまたはユーザグループに対する再生またはレコメンデーション用に、ベストマッチングパーソナリティプロファイルを有する少なくとも1つのメディアアイテムグループを選択する。最後に、ステップ180において、このシステムは、マッチングスコア(各出力アイテムのマッチングの程度を示す値)と併せて、ターゲットユーザグループのパーソナリティプロファイルと整合されたトラック、アーティスト、またはアルバムのリストを出力する。マッチングスコアの演算は、上記したように類似性検索により実行されてもよい。
【0104】
上述の装置(デバイス、システム)の特徴は、各方法の特徴に対応するが、簡略化のため、明示的に記載していない場合があることに留意するものとする。本明細書の開示内容は、このような方法の特徴にも及ぶものと考えられる。特に、本開示は、上述のデバイスを動作させる方法ならびに/またはこれらのデバイスの各要素の提供および/もしくは配置に関するものであることが了解される。
【0105】
また、開示の例示的な実施形態は、ハードウェアおよび/またはソフトウェア構成を使用することにより多くの方法で実現可能であることに留意するものとする。たとえば、開示の実施形態は、専用ハードウェアおよび/またはソフトウェアを実行可能なハードウェアを用いることにより実現可能である。図中の構成要素および/または要素は例示に過ぎず、任意のハードウェア、ハードウェアと組み合わせたソフトウェア、ファームウェア、組み込みロジックコンポーネント、または本開示の特定の実施形態を実現するこのような2つ以上のコンポーネントの組み合わせの使用または機能の範囲も制限しない。
【0106】
さらに、本明細書および図面は、本開示の原理を示しているに過ぎないことに留意するものとする。当業者であれば、本明細書には明示的に記載も図示もしていないが、本開示の原理を具現化するとともにその思想および範囲に含まれる種々の構成を実現可能である。さらに、本開示において概説したすべての例および実施形態は主として、提案の方法の原理を理解する上で読者を補助するための説明目的としてのみ明確に意図される。さらに、本開示の原理、態様、および実施形態を提供する本明細書のすべての記述のほか、その具体例は、それぞれの同等物を包含することが意図される。
用語解説
【0107】
本明細書の全体を通して、以下の専門用語を使用している。
【0108】
メディア
メディアには、オーディオ(特に、楽曲)およびビデオ(組み込まれたオーディオトラックを含む)等、ユーザに提示可能なあらゆる種類のメディアアイテムを含む。さらに、写真、一連の写真、スライド、グラフィック表現がメディアアイテムの例である。
【0109】
メディアコンテンツディスクリプタ
メディアコンテンツディスクリプタ(通称「特性」)は、メディアアイテムのコンテンツの分析によって演算される。楽曲コンテンツディスクリプタ(通称「楽曲特性」)は、デジタルオーディオ(歌曲のセグメント(抜粋)または歌曲全体)の分析によって演算される。これらは、雰囲気、ジャンル、状況、音響属性(キー、テンポ、エネルギー等)、音声属性(音声の存在、音声ファミリ、音声の性別(低音または高音))等を含む楽曲コンテンツディスクリプタセットにて構成されている。これらはそれぞれ、ディスクリプタまたは特性の範囲を含む。特性は、名称ならびに浮動小数点または%値(たとえば、bpm:128.0、エネルギー:100%)により規定される。
【0110】
楽曲
楽曲は、メディアアイテムの一例であり、単線(メロディ)または複線(ハーモニー)で構成され、1つもしくは複数の音声もしくは楽器、または両者によって生成される音色または音を含むオーディオデータを表す。楽曲アイテムに対するメディアコンテンツディスクリプタは、楽曲コンテンツディスクリプタまたは楽曲プロファイルとも称する。
【0111】
感情プロファイル
感情プロファイルは、雰囲気または感情と関連する一組または複数組のメディアまたは楽曲コンテンツディスクリプタを含み、多くのメディアアイテムに対して決定することができる。この場合は、個々のメディアアイテムのコンテンツディスクリプタの集合である。これらは通常、人物または個人と関連する(たとえば、人物または個人が消費する)一組のメディアアイテムから、メディア/楽曲コンテンツディスクリプタを集合化することにより導出される。これらは、メディア/楽曲コンテンツディスクリプタと同じ要素を含み、その値は、(使用する集合化方法に応じて)個々のコンテンツディスクリプタの集合化により決定される。
【0112】
人物(ユーザ、個人):感情プロファイルおよびパーソナリティプロファイル
人物(ユーザまたは個人とも称する)は、感情プロファイルまたはパーソナリティプロファイルによって特徴付けられる。感情プロファイルは、メディアコンテンツディスクリプタの要素によって特徴付けられる(上記参照)。一方、パーソナリティプロファイルは、%値を有する多くの異なる要素を含む。パーソナリティプロファイルの要素は、パーソナリティプロファイルスキーム内の重み付けされた要素である(名称もしくは属性ならびに%値によって規定される、たとえばMBTI:「EI:51%」)。パーソナリティプロファイルは、MBTI、OCEAN、エニアグラム等のパーソナリティプロファイルスキームにより規定され、
- ユーザの雰囲気(瞬間、短期)(すなわち、ユーザの短期的な感情ステータスとして解釈されるパーソナリティプロファイル(ユーザの雰囲気プロファイルとも称する))、または
- ユーザのパーソナリティタイプ(長期)(すなわち、ユーザのメディア消費行動の長期観察により導出されるパーソナリティプロファイル)、
と関連し得る。
【0113】
ターゲットグループ
ターゲットグループは、人物のグループを表す。これは、「パーソナリティプロファイル」のうちの1つまたはその組み合わせとして特定される。任意選択として、人物関連パラメータ(たとえば、年齢、性別等)により充実されてもよい。
【0114】
製品
製品プロファイルは、心理的、感情的、またはマーケティング的な方法で表す製品の属性を含む。属性は、重要度の%値と関連付けられてもよい。
【0115】
ブランド
製品プロファイルは、ブランドに関連し得る。ブランドプロファイルは、心理的、感情的、またはマーケティング的な方法で表すブランドの属性を含む。属性は、重要度の%値と関連付けられてもよい。
【0116】
マッピング
マッピングは、アルゴリズム的に実装され、あるエンティティ(たとえば、メディアアイテム、楽曲)から別のエンティティ(たとえば、人物、製品、またはブランド)へプロファイルを変換する(または、その逆の変換)一組のルールを表す。たとえば、マッピングは、一組のコンテンツディスクリプタ(感情プロファイル)とパーソナリティプロファイルスキームによるパーソナリティプロファイルとの間に適用される。
【0117】
類似性検索
類似性検索は、あらゆる種類の2つ以上の「プロファイル」(感情プロファイル、パーソナリティプロファイル、製品プロファイル等)間の類似性、近接性、または距離を演算するアルゴリズム手順である。出力は、マッチングスコア(プロファイルのマッチングの程度を示す値)を有するプロファイルアイテムのランク付けリストである。

図1
図2a
図2b
図3a
図3b
図4a
図4b
図5
【国際調査報告】