特許 7427611 ユーザの注意力を決定するコンピュータ実装システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】ユーザの注意力を決定するコンピュータ実装システム及び方法

(51)【国際特許分類】

   G06Q 30/0242 20230101AFI20240129BHJP

【ＦＩ】

G06Q30/0242

【請求項の数】 21

(21)【出願番号】P 2020565924

(86)(22)【出願日】2019-06-04

(65)【公表番号】

(43)【公表日】2021-09-24

(86)【国際出願番号】 EP2019064476

(87)【国際公開番号】W WO2019234017

(87)【国際公開日】2019-12-12

【審査請求日】2022-04-18

(31)【優先権主張番号】1809388.0

(32)【優先日】2018-06-07

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】16/357,048

(32)【優先日】2019-03-18

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516045665

【氏名又は名称】リアルアイズ・オーウー

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】サロ，マーティン

(72)【発明者】

【氏名】ハジエフ，エルナー

(72)【発明者】

【氏名】シュールク，アッティラ

【審査官】松田 岳士

(56)【参考文献】

【文献】特表２０１３－５３７４３５（ＪＰ，Ａ）

【文献】特表２０１５－５１０３０８（ＪＰ，Ａ）

【文献】特開２０１４－１４９８４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２０６５５７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

メディアコンテンツ消費中のユーザの注意力を決定するコンピュータ実装方法であって、
収集サーバで、クライアントデバイスからの応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費しているユーザについて収集され、前記応答データは、前記メディアコンテンツを消費中の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記応答データを取得することと、
前記収集サーバで、前記データストリームと前記メディアコンテンツを関連付けることと、
アノテーションデバイスで、前記応答データの動的表現と、前記応答データが関連付けられた前記メディアコンテンツとを同期して表示することと、
前記アノテーションデバイスで、アノテータからの注意力データを受信することであって、前記注意力データは、前記動的表現に基づいたユーザの注意力を示す入力スコアである、前記注意力データを受信することと、
前記アノテーションデバイスで、前記注意力データを前記データストリームまたはメディアコンテンツ内のイベントと関連付けて、注意力ラベル付き応答データを生成することと、
を含む、前記方法。

【請求項2】

前記データストリームは、１つまたは複数の応答データパラメータの時間発展を示す情報を含む、請求項１に記載の方法。

【請求項3】

前記応答データは、前記メディアコンテンツ消費中に収集された前記ユーザの顔画像データから取得された感情状態データを含む、請求項１または２に記載の方法。

【請求項4】

前記データストリームを前記メディアコンテンツに関連付けることは、前記応答データを前記メディアコンテンツと同期することを含む、請求項１～請求項３のいずれか一項に記載の方法。

【請求項5】

前記応答データは、タイムスタンプを付けられ、前記応答データを前記メディアコンテンツと同期することは、タイムスタンプデータをメディア再生ステータスデータと一致させることを含む、請求項４に記載の方法。

【請求項6】

前記データストリームは、
メディア制御データ、
メディアタグデータ、
メディア注意力顕著性データ、及び、
メディア再生ステータスデータ
のいずれかをさらに含む、請求項１～請求項５のいずれか一項に記載の方法。

【請求項7】

前記注意力ラベル付き応答データを生成することは、注意力ラベルパラメータを前記応答データに追加することを含む、請求項１～請求項６のいずれか一項に記載の方法。

【請求項8】

前記注意力データは、
バイナリ指標、
複数のプリセットレベル、及び
スライディングスケール、
のいずれかから選択される、請求項１～請求項７のいずれか一項に記載の方法。

【請求項9】

前記応答データは、感情状態データを含み、前記方法は、前記受信した注意力データに基づいて、前記感情状態データの有意性スコアまたは重み付けを導出することをさらに含む、請求項１～請求項８のいずれか一項に記載の方法。

【請求項10】

同期して表示された前記応答データの動的表現と前記応答データが関連付けられている前記メディアコンテンツとを制御することを含む、請求項１～請求項９のいずれか一項に記載の方法。

【請求項11】

分析サーバで、前記動的表現に関する注意力データを複数のアノテータから受信することと、
前記分析サーバによって、前記動的表現の組み合わせ注意力データを生成することであって、前記組み合わせ注意力データは、前記複数のアノテータからの前記注意力データ間の正の相関のレベルを示す注意力パラメータを含む、前記組み合わせ注意力データを生成することと、
をさらに含む、請求項１～請求項１０のいずれか一項に記載の方法。

【請求項12】

前記注意力データの前記入力スコアは、バイナリ指標であり、前記注意力パラメータは、連続型変数である、請求項１１に記載の方法。

【請求項13】

メディアコンテンツ消費中のユーザの注意力を決定するコンピュータ実装方法であって、
収集サーバで、クライアントデバイスからの応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費しているユーザについて収集され、前記応答データは、前記メディアコンテンツを消費中の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記応答データを取得することと、
前記収集サーバで、前記データストリームと前記メディアコンテンツを関連付けることと、
アノテーションデバイスで、前記応答データの動的表現と、前記応答データが関連付けられた前記メディアコンテンツとを表示することと、
前記アノテーションデバイスで、アノテータからの注意力データを受信することであって、前記注意力データは、前記動的表現に基づいたユーザの注意力を示す入力スコアである、前記注意力データを受信することと、
前記アノテーションデバイスで、前記注意力データを前記データストリームまたはメディアコンテンツ内のイベントと関連付けて、注意力ラベル付き応答データを生成することと、
複数のユーザからの注意力ラベル付き応答データをデータリポジトリに記憶することと、
分析サーバによって、前記データリポジトリから注意力ラベル付き応答データ訓練セットを抽出することと、
前記分析サーバで、機械学習アルゴリズムの目的を確立することと、
前記機械学習アルゴリズムを使用して、前記注意力ラベル付き応答データ訓練セットから注意力モデルを生成することと、
を含む、方法。

【請求項14】

前記収集サーバで、クライアントデバイスから新しい応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費している他のユーザについて収集され、前記応答データは、前記メディアコンテンツを消費している間の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記新しい応答データを取得することと、
前記新しい応答データを前記注意力モデルに入力して、前記新しい応答データの１つまたは複数の部分の注意力スコアを取得することと、
をさらに含む、請求項１３に記載の方法。

【請求項15】

前記注意力ラベル付き応答データ訓練セットを抽出することは、前記データリポジトリの前記注意力ラベル付き応答データにフィルタを適用することを含む、請求項１３または請求項１４に記載の方法。

【請求項16】

前記訓練セットの前記注意力ラベル付き応答データは、消費されている前記メディアコンテンツの主題を示すメディアタグデータを含み、前記方法は、
別のメディアコンテンツに関して新しいメディアタグデータを取得することと、
前記新しいメディアタグデータを前記注意力モデルに入力して、前記メディアコンテンツの１つまたは複数の部分の注意力スコアを取得することと、
をさらに含む、請求項１３～請求項１５のいずれか一項に記載の方法。

【請求項17】

メディアコンテンツ消費中のユーザの注意力を決定するコンピュータ実装方法であって、
収集サーバで、クライアントデバイスからの応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費しているユーザについて収集され、前記応答データは、前記メディアコンテンツを消費中の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記応答データを取得することと、
前記収集サーバで、前記データストリームと前記メディアコンテンツを関連付けることと、
アノテーションデバイスで、前記応答データの動的表現と、前記応答データが関連付けられた前記メディアコンテンツとを表示することと、
前記アノテーションデバイスで、アノテータからの注意力データを受信することであって、前記注意力データは、前記動的表現に基づいたユーザの注意力を示す入力スコアである、前記注意力データを受信することと、
前記アノテーションデバイスで、前記注意力データを前記データストリームまたはメディアコンテンツ内のイベントと関連付けて、注意力ラベル付き応答データを生成することと、
複数のユーザからの注意力ラベル付き応答データをデータリポジトリに記憶することと、
前記注意力ラベル付き応答データを使用して、複数の注意力プロキシサブモデルを生成することであって、前記注意力プロキシサブモデルは、それぞれ、各注意力プロキシパラメータに基づいて訓練されて、前記応答データから注意力を示す出力を供給する、前記複数の注意力プロキシサブモデルを生成することと、
前記複数の注意力プロキシサブモデルからの出力を使用して注意力信頼スコアを供給するアンサンブルモデルを確立することと、
を含む、方法。

【請求項18】

前記収集サーバでクライアントデバイスから新しい応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費している他のユーザについて収集され、前記応答データは、前記メディアコンテンツを消費している間の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記新しい応答データを取得することと、
前記新しい応答データを前記複数の注意力プロキシサブモデルに入力して、前記新しい応答データの１つまたは複数の部分の注意力スコアを取得することと、
前記複数の注意力プロキシサブモデルの前記出力を前記アンサンブルモデルに入力して、前記注意力スコアに関連付けられた注意力信頼スコアを取得することと、
をさらに含む、請求項１７に記載の方法。

【請求項19】

メディアコンテンツ消費中のユーザの注意力を決定するコンピュータ実装方法であって、
収集サーバで、クライアントデバイスから応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費しているユーザについて収集され、前記応答データは、前記メディアコンテンツを消費している間の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記応答データを取得することと、
前記収集サーバで、前記データストリームを前記メディアコンテンツと関連付けることと、
複数のアノテーションデバイスで、前記応答データの動的表現を表示することと、
前記複数のアノテーションデバイスで、アノテータからの注意力データを受信することであって、前記注意力データは、前記動的表現に基づいたユーザの注意力を示す入力スコアである、前記注意力データを受信することと、
複数のアノテータからの前記動的表現に関する注意力データを前記複数のアノテーションデバイスから分析サーバで受信することと、
前記分析サーバによって、前記動的表現の組み合わせ注意力データを生成することであって、前記組み合わせ注意力データは、前記複数のアノテータからの前記注意力データ間の正の相関のレベルを示す注意力パラメータを含む、前記注意力データを生成することと、
前記分析サーバで、前記組み合わせ注意力データをデータストリームまたはメディアコンテンツ内のイベントに関連付けて、注意力ラベル付き応答データを生成することと、
を含む、方法。

【請求項20】

メディアコンテンツ消費中にユーザの注意力を決定するシステムであって、
複数のクライアントデバイスにネットワークを介して通信可能に結合された収集サーバを含み、前記収集サーバは、
前記複数のクライアントデバイスから応答データを取得することであって、前記応答データは、前記クライアントデバイスでメディアコンテンツを消費しているユーザについて収集され、前記応答データは、前記メディアコンテンツを消費している間の前記ユーザの行動の経時的な変化を表すデータストリームを含む、前記応答データを取得し、
前記データストリームを前記メディアコンテンツに関連付ける、
ように構成され、
前記収集サーバに通信可能に結合されたアノテーションデバイスを含み、前記アノテーションデバイスは、
前記応答データの動的表現と、前記応答データが関連付けられた前記メディアコンテンツとを同期して表示し、
前記動的表現に基づいたユーザの注意力を示す入力スコアを含む注意力データを受信し、
前記注意力データを前記データストリームまたはメディアコンテンツのイベントに関連付けて、注意力ラベル付き応答データを生成する
ように構成されている、
システム。

【請求項21】

ユーザの注意力を決定するコンピュータ実装方法であって、
収集サーバにおいて、クライアントデバイスから応答データを取得することを含み、前記応答データは、ユーザについて、前記クライアントデバイスを使用して実行される活動中に収集され、前記応答データは、前記活動中の前記ユーザの行動の経時的な変化を表すデータストリームを含み、前記方法はさらに、
前記収集サーバにおいて、前記データストリームを前記活動に関連付けることと、
複数のアノテーションデバイスの各々において前記応答データを表示することと、
前記複数のアノテーションデバイスの各々の入力インタフェースにおいて、それぞれのアノテータから注意力データを受信することとを含み、前記注意力データは、前記ユーザの注意力を示す入力スコアであり、前記方法はさらに、
前記複数のアノテーションデバイスの各々において、前記注意力データを前記データストリームまたは前記活動におけるイベントと関連付けて、注意力ラベル付き応答データを生成することと、
前記複数のアノテーションデバイスから、分析サーバにおいて、複数のアノテータから前記注意力ラベル付き応答データを受信することと、
前記分析サーバが、組み合わせ注意力データを生成することとを含み、前記組み合わせ注意力データは、前記複数のアノテータからの前記注意力ラベル付き応答データ間の正の相関のレベルを示す注意力パラメータを含む、コンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メディアコンテンツに対するユーザの反応を決定するコンピュータ実装システム及び方法に関する。特に、本発明は、メディアコンテンツを消費している間のユーザの注意力を示すデータを取得及び利用するコンピュータ実装ツールに関する。

【背景技術】

【0002】

広告、ミュージックビデオ、映画などの特定の種類のメディアコンテンツは、例えば、ユーザの注意を引く、または、ユーザの注意力を高める等、消費者の感情状態の変化を誘発することを目的としている。広告の場合、この感情状態の変化を売上高の伸びなどの業績に変換することが望ましい場合がある。例えば、テレビコマーシャルは、テレビコマーシャルに関連する製品の売り上げを伸ばすことを期待している場合がある。公開前にメディアコンテンツの有効性を評価できることが求められている。

【0003】

自己申告フィードバックとも呼ばれるアクティブフィードバックは、ビデオコマーシャルなどのメディアコンテンツの性能を決定または予測する試みに使用されることがある。アクティブユーザフィードバックの場合、ユーザはメディアコンテンツを消費した後、口頭または書面でフィードバックを提供する。例えば、ユーザは、手動で、または音声認識ツールを使用して自動化された方法などで、質問票に記入したり、分析のために記録できる音声フィードバックを提供したりする場合がある。フィードバックには、メディアコンテンツの消費中に経験した感情状態を示すものが含まれる場合がある。ただし、ユーザのアクティブフィードバックは、実際に経験した（受動的な）感情状態ではなく、合理化された意識的な思考プロセスから得られる。ユーザの好みは意識的な認識の外にあり、受動的な感情状態に強く影響されることが分かっている。したがって、メディアコンテンツの性能は、アクティブな感情状態のフィードバックを使用して正確に予測することはできない。

【0004】

感情状態データは、例えば、ユーザがメディアを消費している間など、ユーザの行動的または生理学的特性を示すデータを収集することによって、受動的に測定できることも知られている。一例では、顔の反応は、経験した感情状態の受動的指標として使用することができる。ウェブカメラによるビデオ取得は、メディアコンテンツがユーザによって消費されるときに画像フレームをキャプチャすることにより、顔の反応を監視するために使用できる。したがって、感情の状態は、ビデオ画像を処理することにより、ウェブカメラを使用してキャプチャすることができる。

【0005】

生理学的パラメータは、経験した感情状態の良い指標にもなり得る。多くの生理学的パラメータは意識的に制御できない、すなわち、消費者は生理学的パラメータに影響を与えない。したがって、生理学的パラメータを使用して、メディアコンテンツを消費しているユーザの真の感情状態を判断でき、これは、原則として、メディアコンテンツの性能の正確な予測に使用できる。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

【0006】

ユーザが上記のタイプの生理学的パラメータを記録できるウェアラブルまたはポータブルデバイスを所有することがますます一般的になっている。これにより、このような生理学的測定値を大きなサンプルサイズに拡張し得る可能性が広がり、統計的変動（ノイズ）を除去して、メディアコンテンツの性能との相関関係が分かるようになる。

【0007】

このように測定された感情状態情報は、メディアコンテンツの性能、特に売上高の伸びと相関することが分かっている。クライアントデバイスでのウェブカメラの急増は、このタイプのデータのキャプチャを大きなサンプルサイズに拡張できることを意味する。

【0008】

ユーザの行動特性は、さまざまな形で現れる可能性がある。本明細書における「行動データ」または「行動情報」とは、ユーザの応答の視覚的側面を指してよい。例えば、行動情報には、顔の反応、頭部と体のジェスチャまたは姿勢、視線追跡が含まれてよい。実際には、感情状態情報を取得するために、行動データ、生理学的データ、及び自己申告データを含む生データ入力の組み合わせを使用することが望ましい場合がある。上記のソースの２つまたは３つからの生データの組み合わせは、「誤った」指標を特定するのに役立つ場合がある。例えば、３つのソースすべてから得られた感情状態データが重複または一致している場合、取得された信号の信頼性が高まる。信号に不一致がある場合、誤った読み取りを示している可能性がある。

【0009】

さらに、一部のタイプのデータは、感情または注意力の有無のみを示してよく、その逆は示さない場合がある。例えば、さまざまな表情を伴う応答は、高レベルの注意力を示している可能性がある。ただし、表情の変化がないからといって、注意力レベルが低いわけではない。同様に、絶えず変化する頭部姿勢は、注意力レベルが低いことを示し得るが、固定された頭部姿勢は、必ずしも注意力が高いことを意味するわけではない。

【0010】

現在表示されているメディアコンテンツ以外の何かに反応しているユーザについて行動特性が記録されている場合、誤った表示が発生することがある。例えば、メディアコンテンツが表示されている間、ユーザは他の人に気を取られる場合がある。そのような状況では、ユーザの行動特性は主に他の人との会話によって影響を受けている場合があり、したがってメディアコンテンツに対するユーザの応答を正確に反映していない。したがって、メディアコンテンツに対するユーザの注意力または関与は、収集されたユーザの行動特性の関連性を決定する上で重要な要因である。さらに、注意力は、他の精神的プロセスの前例または門番として認識されている。広告の世界では、広告を成功させるには、視聴者と視聴者の広告／ブランド／製品の記憶とに影響を与えることができるように十分な注意を引く必要がある。

【発明の概要】

【0011】

最も一般的には、本発明は、メディアコンテンツを消費することに対するユーザの応答に関連付けられた注意力情報を収集するシステムを提案する。注意力情報は、ユーザの応答の注意力ラベル付き行動データを作成するために使用されてよい。コンピュータで実装された注意力モデルは、複数のユーザからの注意力ラベル付き行動データのセットに機械学習技術を適用することによって生成されてよい。

【0012】

注意力情報を収集するシステムは、注意力データを用いてユーザの応答に手動で（すなわち、人間による）ラベル付けすることを容易にするアノテーションツールを備えてよい。したがって、結果として得られる注意力モデルは、所定の特徴または特徴の組み合わせではなく、注意力ラベル付き行動データ及び／または実際の人間の認知に基づく生理学的データ内の注意力を示す相関に基づいてよい。特定の行動特性（例えば、まばたき率、頭部姿勢の変化、視線方向の変化、表情）が注意力と強く相関することは予測可能である。原則として、そのような特性は注意力のプロキシとして使用されてよい。ただし、このアプローチでは、これらの特性が発生する文脈を見逃す場合があり、その結果、誤った表示のリスクが高まる可能性がある。代わりに、注意力を直接報告するソースデータに依存することにより、注意力モデルは、より微妙な相関関係にも敏感でありながら、そのような問題を回避し得る。

【0013】

本明細書に開示されるシステムは、２つの態様を有し得る。第１の態様では、アノテーションツールを含むデータ収集システムが提供される。そのシステムからの出力は、以下で説明するように、注意力ラベル付き応答データであってよい。第２の態様では、人間の入力を必要とせずに注意力を示す情報を出力するために、注意力ラベル付き応答データを使用して得られた注意力モデルを使用して動作できるデータ分析システムが提供される。本発明は、これらの態様のそれぞれに対応するコンピュータ実装方法を提供し得る。

【0014】

したがって、一態様では、本発明は、メディアコンテンツ消費中のユーザの注意力を決定するコンピュータ実装方法を提供し、方法は、収集サーバで、応答データ（例えば、行動及び／または生理学的データ）をクライアントデバイスから取得することであって、応答データは、クライアントデバイス上でメディアコンテンツを消費しているユーザについて収集され、応答データは、メディアコンテンツを消費している間のユーザの行動の経時的な変化を表すデータストリームを含む、応答データを取得することと、収集サーバで、データストリームをメディアコンテンツに関連付けることと、アノテーションデバイスで、応答データの動的表現を応答データが関連付けられているメディアコンテンツと同時に表示することと、アノテーションデバイスで、ユーザの注意力を示すラベルデータを受信することと、ラベルデータがデータストリームまたはメディアコンテンツ内のイベントに関連付けられている注意力ラベル付き応答データを生成することとを含む。

【0015】

メディアコンテンツは、複数のユーザによって消費可能であってよく、複数のユーザのそれぞれは、それぞれのクライアントデバイスにいる。方法は、複数の各クライアントデバイスのそれぞれで、メディアコンテンツに対する複数のユーザの応答を示す生の入力データを収集することを含んでよい。このように、注意力ラベル付き応答データは、さまざまなユーザから取得できるため、注意力モデルの訓練セットとして使用するのに適している可能性がある。

【0016】

方法は、例えば、リソースの効率的な使用を可能にするために、ネットワーク環境で有用に実施されてよい。例えば、各クライアントデバイスは、ネットワークを介してサーバデバイスと通信可能であってよく、収集された生の入力データは、ローカルまたはサーバデバイスのいずれか処理されてよい。

【0017】

「データストリーム」という用語は、本明細書では、１つまたは複数のパラメータまたは他の応答特徴の時間発展を示すデータを示すために使用されてよい。言い換えれば、データストリームは、時変情報を含み得る。パラメータは、クライアントデバイスで収集された情報から抽出されてよい。この抽出は、クライアントデバイスまたは何らかの別の処理ユニットによって行われてよい。一例では、収集された情報は、ユーザのキャプチャされたビデオまたは画像フレームのシーケンスを含む。収集された情報は、ビデオまたは画像フレームのシーケンスが、メディアコンテンツ消費中のユーザの顔画像データを含む場合に特に有用であり得る。メディアコンテンツに反応したユーザの顔の動きは、ラベルを適用するアノテータが使用する注意力の重要な指標となり得る。別の例では、収集された情報は、測定されたユーザの生理学的データであってよい。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

【0018】

データストリームを関連付けるステップは、収集されたデータ（例えば、可視データ及び／または生理学的データ）をメディアコンテンツと同期またはメディアコンテンツにマッピングすることを含んでよい。これは、例えば、メディアコンテンツの再生と収集されたデータとの間のタイミング情報を一致させることによって、任意の既知の方法で行うことができる。一例では、応答データにタイムスタンプを付けてよく、収集されたデータをメディアコンテンツと同期させるステップは、タイムスタンプデータをメディア再生ステータスデータと一致させることを含んでよい。メディア再生ステータス情報は、例えば、メディアコンテンツを再生したメディアプレーヤからの情報に基づいて、クライアントデバイスから送信されてよい。

【0019】

データストリームは、複数の異なるタイプの応答データを含んでよい。さまざまなタイプのデータを提供することにより、データストリームは、ユーザの反応の多くの側面の豊富な画像をアノテーションに提供することにより、注意力のアノテーションを容易にしてよい。さらに、注意力のラベル付けの後、異なるタイプのデータが追加の応答パラメータを提供し続けてよく、したがって、注意力モデルを確立するための機械学習プロセスのためのより豊富な訓練セットを提供し得る。

【0020】

データストリームは、感情状態データ、メディア制御データ、メディアタグデータ、及びメディア再生ステータスデータのいずれかを含んでよい。感情状態データは、キャプチャされた顔画像及び／または生理学的データから既知の技術を使用して導出または決定されてよい、または、例えば、口頭または書面によるフィードバックの形でユーザによって提供されてよい。メディア制御データは、例えば、ユーザがメディアコンテンツとどのようにそしてどの時点でインタラクトしたかに関してなど、メディアコンテンツが再生されるメディアプレーヤからの情報を含んでよい。例えば、メディア制御データは、一時停止／開始、停止、巻き戻し、早送り、音量調節などを含んでよい。メディアタグデータは、タイムスタンプが付けられてよい、または、メディアコンテンツの主題に関連する任意の所与の時点の可変情報であってよい。本明細書において、「主題」は、画像またはビデオに何が見えるかに関する情報、または関連するナラティブアークを示すものなどを意味してよい。例えば、主題は、メディアコンテンツまたはメディアコンテンツのオーディオトラックのセンチメントを示すデータを含んでよい。データストリームはまた、メディアコンテンツに関連付けられた注意力の顕著性を示すデータを含んでよい。注意力の顕著性は、メディアコンテンツが注意を集める可能性に関するパラメータ、例えば、時変パラメータであってよい。例えば、メディアコンテンツのシーンやドラマチックなオーディオが急速に変化する部分は、静的な部分よりも顕著性が高い可能性がある。この情報は、注意力ラベル付き応答データで文脈情報を提供するのに役立つ場合がある。

【0021】

データストリーム内の任意のパラメータと同様に、メディアタグデータを使用して、注意力ラベル付き応答データをフィルタリングして、例えば、特定のサブセットのユーザまたは特定のタイプのメディアコンテンツに関連する訓練セットを提供してよい。メディア再生ステータスデータは、メディアコンテンツがクライアントデバイスでどのように再生されたかの品質及び他の関連する状況に関する情報を含んでよい。例えば、メディア再生ステータスは、バッファリングやネットワークの問題などが原因で、メディアコンテンツの再生中に予期しない一時停止または遅延が発生したことを示し得る。メディア再生ステータス情報は、クライアントデバイスによって収集及び供給されてよい。

【0022】

注意力ラベル付き応答データを生成するステップは、注意力ラベルパラメータをデータストリームに追加することを含んでよい。言い換えれば、適用されるラベルデータは、注意力ラベルパラメータのデータ時系列を作成するために統合または他の方法で処理されてよく、これは、データストリームの他のパラメータと同期または位置合わせすることができる。ラベルデータ及び／または注意力ラベルパラメータは、注意力のスコア、例えば、数値または他の値ベースの識別子などの比較を可能にする何らかの尺度、または比較が絶対値ではなく相対的な変化に基づく境界の無い範囲内の変動であってよい。一例では、ラベルデータは、複数のプリセットレベルであってよく、複数のプリセットレベルは、数値（例えば、１、２、３）であってよい、または適切な識別子（例えば、高、中、低）を有してよい。任意の数のレベル、例えば、５以上、または１０以上があってよい。別の例では、ラベルデータは、線形数値スケール（例えば、０～１００）などのスライディングスケールから割り当てられてよい。本発明は、特定の形式のスコアリング規則に限定される必要はないことは理解されよう。

【0023】

一例では、注意力データは、所与の応答の注意力スコアを生成するために、複数のアノテータから取得され、集約されてよい、または、他の方法で組み合わされてよい。例えば、複数のアノテータからの注意力データは、メディアコンテンツの部分について平均化されてよい。

【0024】

一実施形態では、複数のアノテータ間の一致のレベル自体を、注意力を定量化する方法として使用してよい。これによって、アノテーションタスク自体が単純な場合でも、例えば、（a）注意している、または（b）注意していない、のバイナリオプションでも、豊富なデータを取得可能になる。状況によっては、利用可能なデータに基づいて注意力のレベルを判断できない部分のアノテーションを容易にするために、第３のオプション（ｃ）不明を含んでよい。

【0025】

したがって、方法は、複数のアノテータから注意力データを受信することと、注意力データの異なるセットから組み合わせ注意力データを生成することとを含んでよい。組み合わせ注意力データは、複数のアノテータからの注意力データ間の正の相関のレベルを示す注意力パラメータを含んでよい。注意力パラメータは、時変パラメータであってよい、すなわち、一致を示すスコアは、相関の増加または減少を示すために、応答データの期間にわたって変化してよい。

【0026】

各アノテータは、各アノテータに関連付けられた信頼値を有してよい。信頼値は、そのアノテータの個々のスコアが組み合わせ注意力データとどの程度相関しているかに基づいて計算されてよい。例えば、個々のアノテータからより多くのデータが受信されると、信頼値は動的に更新されてよい。信頼値は、組み合わせ注意力データを生成するプロセスで、各アノテータからの注意力データに重みを付けるために使用されてよい。

【0027】

行動データが感情状態データを含む場合、方法は、ユーザの注意力を示す受信されたラベルデータに基づいて、感情状態データの有意性スコアまたは重み付けを導出することをさらに含んでよい。言い換えれば、ユーザの注意力に関する情報は、将来のステップでユーザの感情状態データの影響力に影響を与えるために使用される。したがって、メディアコンテンツが人々をどのように感じさせたかを判断しようとすることが有用である場合、本発明は、メディアコンテンツに関与していない人々からの感情反応の影響を減らすことができる。そうでない場合、関与の無いユーザからの感情反応が結果を歪める可能性があるため、これは有益であり得る。

【0028】

データストリームの応答データパラメータの時間発展に関する情報に加えて、注意力ラベル付き応答データは、静的なユーザデータを含んでよい。例えば、静的情報は、性別、年齢、場所、または任意の他の人口統計の詳細など、ユーザに関するプロファイル情報であってよい。静的ユーザデータは、特定のクラスのユーザの注意力を独立して評価及び／または重み付けできるように、ニューラルネットワークのパラメータとして、またはフィルタとして使用されてよい。

【0029】

実際には、ラベルデータの適用には、応答データとメディアコンテンツを繰り返し考慮することが必要な場合がある。これを支援するために、方法は、同時に表示された応答データの動的表現と、応答データが関連付けられているメディアコンテンツとを制御することを含んでよい。ここで、制御するということは、同時に表示されたマテリアルを、例えば、一時停止、巻き戻し、早送り、フレームステッピング、またはその他の手法によって１つとして操作できることを意味してよい。表示される応答データは、上記のデータストリームに関して言及された任意のパラメータを含んでよい。表示データは、顔画像などの視覚データであってよい、及び／または生理学的データなどの目に見えないデータのグラフィック表現であってよい。

【0030】

複数の行動パラメータを組み合わせた表示は、人間のアノテーションの品質とスピードをさらに向上させ得る。これは、注意力の変化が起こった可能性が高いタイムラインの領域をアノテータが特定するのに役立ち、アノテータは、それらの変化がメディアコンテンツによるものか、他の要因によるものかを評価できる。

【0031】

注意力ラベル付き応答データの重要な用途の１つは、人間の入力なしで収集されたデータに基づいてユーザの注意力をスコアリングできる注意力モデルを生成することである。したがって、方法は、複数のユーザからの注意力ラベル付き応答データをデータリポジトリに記憶することと、分析サーバによってデータリポジトリから、注意力ラベル付き応答データ訓練セットを抽出することと、分析サーバで、機械学習アルゴリズムの目的を確立することと、機械学習アルゴリズムを使用して、注意力ラベル付き応答データ訓練セットから注意力モデルを生成することとをさらに含んでよい。任意の適切な機械学習プロセスを使用してよいが、人工ニューラルネットワークが好ましい場合がある。

【0032】

別の例では、注意モデルは、人間のアノテーションを取得するのではなく、データストリームのパラメータの１つまたはサブセットを、注意力モデルを訓練し得るグラウンドトゥルースとして代わりに使用してよい。例えば、生理学的データが記録されている場合、これは人工ニューラルネットワークのターゲットとして使用されてよい。この例では、注意力モデルは、生理学的データが入手できないユーザについて収集された情報に基づいて、生理学的反応（注意力を示している可能性がある）を効果的に予測できる。別の例では、注意力の顕著性は、注意力モデルのターゲットとして使用されてよい。

【0033】

生理学的データと人間のラベルデータの両方が存在するとき、その２つのタイプのデータを、組み合わされた全体的な改善した注意力の尺度を得るためにマージすることができ、次に、それ自体を人工ニューラルネットワークのターゲットとして使用できる。

【0034】

方法は、収集サーバで、新しい応答データ（例えば、行動データ及び／または生理学的データ）をクライアントデバイスから取得することであって、応答データは、クライアントデバイス上でメディアコンテンツを消費している他のユーザについて収集され、応答データは、メディアコンテンツを消費している間のユーザの行動の経時的な変化を表すデータストリームを含む、新しい応答データを取得することと、新しい応答データを注意力モデルに入力して、新しい応答データの１つまたは複数の部分の注意力スコアを取得することとを含んでよい。注意力モデル自体が、例えば、メディアコンテンツまたは行動データ（特に顔画像データ）内のフレームまたは特定のフレームシーケンスに対応する異なる持続時間を有する部分に応答を分割してよい。新しい行動データは、メディアコンテンツを消費中の他のユーザの顔画像データを含んでよい。

【0035】

注意力モデルは、ターゲットにされてよい、または、調整されてよい。例えば、注意力ラベル付き応答データ訓練セットを抽出するステップは、リポジトリ内の注意力ラベル付き応答データにフィルタを適用することを含んでよい。フィルタは、ユーザタイプ、メディアタイプ、メディアコンテンツ、ラベルの品質／信頼性、注意力の強度等に基づいてよい。したがって、結果として得られる注意力モデルは、特定の状況に適している可能性がある。特定のシナリオに適合された複数の注意力モデルが、同じデータリポジトリから取得されてよい。

【0036】

上記のように、訓練セット内の注意力ラベル付き応答データは、消費されているメディアコンテンツの主題を示すメディアタグデータを含んでよい。方法は、別のメディアコンテンツの新しいメディアタグデータを取得することと、新しいメディアタグデータを注意力モデルに入力して、メディアコンテンツの１つまたは複数の部分の魅力スコアを取得することとをさらに含んでよい。言い換えれば、注意力モデルは、メディアコンテンツの主題、構造、またはレイアウトを十分に考慮し得る。したがって、人々がメディアコンテンツにどのように関与するかをメディアコンテンツの主題と提示に基づいて予測可能であり得る。意味のある注意力スコアは、発売前にメディアコンテンツの不必要な人間ベースのテストを防ぐのに非常に役立つ場合がある。これは、メディアの特定の部分、例えば広告でのブランドの公開、他のメディアのアクション満載のシーケンスで注意力が期待される例で役立つ場合がある。この情報を考慮に入れることは、訓練データをより効率的に取得する方法となる可能性がある、または、所与のメディアで発生する特定のタイプのイベント（例えば、広告でのブランドの公開）で注意力モデルをターゲットにすることを可能にし得る。上記のように、この種の注意力顕著性情報は、アノテーションを容易にするために使用されるデータストリームの一部であってよい、すなわち、人間がラベル付けしたデータ及び／または生理学的データなどの他の注意力の尺度と混合されてよい。このような混合データストリームは、注意力モデルを訓練するためのより優れた注意力データを表し得る。例えば、コンテンツ自体から推定される注意力顕著性を使用して、人間のラベルに重みを付けることができる。

【0037】

ネットワークベースのコンピューティングシステムは、上で概説した方法ステップを実行するように構成されてよい。例えば、本発明の別の態様では、メディアコンテンツ消費中のユーザの注意力を決定するシステムが提供され、システムは、ネットワークを介して複数のクライアントデバイスに通信可能に結合された収集サーバであって、収集サーバは、複数のクライアントデバイスから応答データ（例えば、行動データ及び／または生理学的データ）であって、クライアントデバイス上でメディアコンテンツを消費しているユーザについて収集され、メディアコンテンツを消費している間のユーザの行動の経時的な変化を表すデータストリームを含む応答データを取得し、データストリームをメディアコンテンツにマッピングするように構成された収集サーバと、収集サーバに通信可能に結合されたアノテーションデバイスとを含み、アノテーションデバイスは、応答データの動的表現を、応答データが関連付けられているメディアコンテンツと同時に表示し、ユーザの注意力を示すラベルデータを受信し、ラベルデータがデータストリームまたはメディアコンテンツ内のイベントに関連付けられている注意力ラベル付き応答データを生成するように構成される。アノテーションデバイスは、関連する機能を提供するグラフィカルユーザインタフェースを表示するコンピュータ端末であってよい。このシステムは、上記の方法ステップのいずれかを実行するように構成されてよい。

【0038】

別の態様では、本明細書の開示は、メディアコンテンツ消費中のユーザの注意力を決定するシステムを提供してよく、システムは、複数のユーザからの注意力ラベル付き応答データを記憶するデータリポジトリであって、注意力ラベル付き応答データは、メディアコンテンツを消費している間のユーザの行動の経時的な変化を表すデータストリームと、データストリームまたはメディアコンテンツのイベントに関連付けられたユーザの注意力を示すラベルデータとを含む、データリポジトリと、分析サーバであって、データリポジトリから注意力ラベル付き応答データ訓練セットを抽出し、機械学習アルゴリズムを使用して、注意力ラベル付き応答データ訓練セットから注意力モデルを生成し、新しい応答データを受信し、注意力モデルを新しい応答データに適用して、新しい応答データの１つまたは複数の部分の注意力スコアを取得するように構成された分析サーバとを含む。この態様は、注意力モデルを取得し、それを新しい応答データに適用できるシステムを提供する。

【0039】

添付の図面を参照しながら以下に本発明の実施形態を詳細に記載する。

【図面の簡単な説明】

【0040】

【図1】本発明の実施形態であるデータ収集及び分析システムの概略図である。

【図2】本発明の実施形態であるデータ収集方法のフロー図である。

【図3】本発明の実施形態で使用し得る注意力ラベル付き応答データのデータ構造を示す概略図である。

【図4】本発明の実施形態であるデータ分析方法のフロー図である。

【図5】本発明の実施形態で使用し得る例示的なアノテーションツールの略スクリーンショットである。

【図6】本発明の別の実施形態であるデータ分析方法のフロー図である。

【発明を実施するための形態】

【0041】

さらなるオプション及び好み
本発明の実施形態は、ユーザがメディアコンテンツを消費している間に、ユーザから行動データを収集及び利用するシステム及び方法に関する。図１は、本発明の実施形態である完全なデータ収集及び分析システム１００の概略図である。図１のシステムは、データの収集及びアノテーションを実行するためのコンポーネント、並びに注意力モデルを生成及び利用する際のデータのその後の使用のためのコンポーネントを示していることが理解できる。他の例では、これらの機能を有する別個のシステムが提供されてよい。

【0042】

システム１００は、ネットワーク化されたコンピューティング環境で提供され、いくつかの処理エンティティが、１つまたは複数のネットワークを介して通信可能に接続されている。この例では、システム１００は、例えば、スピーカまたはヘッドホン及びディスプレイ１０４を介して、メディアコンテンツを再生するように構成された１つまたは複数のクライアントデバイス１０２を含む。クライアントデバイス１０２はまた、ウェブカメラ１０６、マイクロフォンなどの行動データキャプチャ装置を含んでよい、またはそれらに接続されてよい。例示的なクライアントデバイス１０２は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含む。

【0043】

システム１００はまた、ユーザがクライアントデバイス１０２上でメディアコンテンツを消費している間にユーザから生理学的情報を収集するウェアラブルデバイス１０５などの１つまたは複数のクライアントセンサユニットを備えてよい。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

【0044】

クライアントデバイス１０２は、ネットワーク１０８を介して通信可能に接続され、その結果、例えば、コンテンツプロバイダサーバ１１０から、消費するメディアコンテンツ１１２を受信してよい。

【0045】

クライアントデバイス１０２は、分析サーバ１１８などのリモートデバイスで分析またはさらなる処理を行うために、収集された行動情報をネットワークを介して送信するようにさらに構成されてよい。上記のように、本明細書における「行動データ」または「行動情報」は、ユーザの応答に関する任意の収集された情報、例えば、ユーザの応答の視覚的側面または生理学的データを指してよい。例えば、行動情報は、顔の反応、頭部と体のジェスチャまたは姿勢、及び視線追跡を含んでよい。

【0046】

この例では、分析サーバ１１８に送信される情報は、例えば、メディアコンテンツを消費している間にキャプチャされたユーザのビデオまたは画像のセットの形態で、ユーザの顔の反応１１６を含んでよい。情報はまた、関連付けられたメディアコンテンツ１１５、または分析サーバ１１８がユーザによって消費されたメディアコンテンツ１１２にアクセスすることを可能にするリンクまたは他の識別子を含んでよい。関連付けられたメディアコンテンツ１１５は、メディアコンテンツがクライアントデバイス１０２で再生された方法に関する情報を含んでよい。例えば、関連付けられたメディアコンテンツ１１５は、一時停止／開始、停止、音量制御などのユーザの指示に関連する情報を含んでよい。追加的または代替的に、関連付けられたメディアコンテンツ１１５は、例えば、バッファリングなどによる、再生の遅延または中断に関する他の情報を含んでよい。したがって、分析サーバ１１８は、メディアコンテンツに対するユーザの応答に関する情報を含むデータストリームを効果的に受信し得る。

【0047】

分析サーバ１１８に送信される情報はまた、メディアコンテンツを消費している間にユーザに関して取得された生理学的データ１１４を含んでよい。生理学的データ１１４は、ウェアラブルデバイス１０５によって直接、送信されてよい、またはウェアラブルデバイス１０５は、ウェアラブルデバイス１０５からデータを送受信するように構成された１つまたは複数のクライアントデバイス１０２と対になってよい。クライアントデバイス１０２は、ウェアラブルデバイスからの生データを処理するように構成されてよく、それにより、分析サーバ１１８に送信される生理学的データ１１４は、クライアントデバイス１０２によってすでに処理されたデータを含み得る。

【0048】

この例では、メディアコンテンツに対するユーザの応答に関する情報を収集する目的は、その応答に注意力ラベルでアノテーションを付けることを可能にすることである。一例では、このアノテーションプロセスは、分析サーバ１１８で受信された時系列の１つまたは複数の行動特性パラメータにマッピングされる時系列の注意力スコアを確立することを含んでよい。例えば、時系列の注意力スコアは、ユーザがメディアコンテンツを消費している間に収集されたユーザの画像またはビデオに関連付けられてよい。他の行動特性パラメータ、例えば、感情状態情報、生理学的情報などは、ユーザの画像またはビデオと同期されてよい。したがって、アノテーションプロセスの出力は、メディアコンテンツに反応した、注意力を含むユーザの行動特性を表す豊富なデータストリームであってよい。

【0049】

システム１００は、アノテーションプロセスの実行を容易にするアノテーションツール１２０を提供する。アノテーションツール１２０は、分析サーバ１１８と通信している（例えば、ネットワーク通信）コンピュータ端末を含んでよい。アノテーションツール１２０は、人間アノテータ（図示せず）にグラフィカルユーザインタフェースを示すディスプレイ１２２を備える。グラフィカルユーザインタフェースはさまざまな形態をとってよい。ただし、グラフィカルユーザインタフェースは、多くの機能的要素を有用に備え得る。第１に、グラフィカルユーザインタフェースは、収集されたユーザの応答データ１１６（例えば、ユーザの顔の動きを示す顔画像またはビデオのセット）を、関連付けられたメディアコンテンツ１１５と共に同期して提示してよい。言い換えれば、ユーザの顔の反応は、消費者が視聴していた関連するメディアコンテンツと同時に表示される。グラフィカルユーザインタフェースはまた、生理学的データ１１４の適切なグラフィカル表現を提示してよい。代替的または追加的に、グラフィカルユーザインタフェースはまた、メディアコンテンツに関連付けられた注意力顕著性１１７のグラフィカル表現を提示してよい。このようにして、アノテータは、ユーザの応答が発生した文脈を（意識的または無意識的に）認識することができる。特に、アノテータは、関連付けられたメディアコンテンツ内のイベントへの反応に基づいて注意力を裁定できる場合があり、またはユーザの気を散らす可能性のある外部イベントに敏感であってよい。

【0050】

グラフィカルユーザインタフェースは、同期された応答データ１１６及び関連付けられたメディアコンテンツの再生を制御するためのコントローラ１２４を備えてよい。例えば、コントローラ１２４は、アノテータが、表示されたマテリアルを通して、再生、一時停止、停止、巻き戻し、早送り、バックステップ、前進ステップ、スクロールバック、前方スクロールなどをできるようにし得る。

【0051】

グラフィカルユーザインタフェースは、応答データ１１６の１つまたは複数の部分に注意力スコアを適用するための１つまたは複数のスコアアプリケータ１２６を備えてよい。一例では、スコアアプリケータ１２６を使用して、ユーザの応答の所与の期間に対応するビデオの期間または画像フレームのセットに注意力スコアを適用してよい。注意力スコアは、任意の適切なフォーマットを有してよい。一例では、それはバイナリ、すなわち、単純なはい／いいえによって注意力を示すものである。他の例では、注意力スコアは、設定された数の所定のレベル（例えば、高、中、低）から選択されてよい、または、それぞれ、注意していない（すなわち、無し）と高い注意を表す限界間の数値範囲（例えば、線形スケール）から選択されてよい。

【0052】

潜在的なアノテータ要員を増やすという観点から、アノテーションツールを単純化することが望ましい場合がある。アノテーションプロセスが単純であるほど、アノテータが参加する必要のある訓練は少なくなる。一例では、アノテーション付きデータは、クラウドソーシングアプローチを使用して収集されてよい。

【0053】

したがって、アノテーションツール１２０は、メディアコンテンツを消費している間のユーザの注意力を示す時系列データを受信するためのデバイスを表してよい。注意力データは、（例えば、スコアが適用される方法によって）応答データ１１６と同期されてよい。分析サーバ１１８は、受信されたデータを照合または他の方法で組み合わせて、適切な記憶装置１２８に記憶できる注意力ラベル付き応答データ１３０を生成するように構成されてよい。

【0054】

複数のアノテータからの注意力データは、所与の応答の注意力スコアを生成するために集約またはその他の方法で組み合わせられてよい。例えば、複数のアノテータからの注意力データは、メディアコンテンツの部分について平均化されてよい。

【0055】

一実施形態では、複数のアノテータ間の一致のレベル自体を、注意力を定量化する方法として使用してよい。例えば、アノテーションツール１２０は、ユーザは（ａ）注意している、または（ｂ）注意していない、のいずれかのバイナリオプションで、各アノテータが応答データをスコアリングすることを可能にし得る。アノテータツール１２０は、アノテータがバイナリ選択の理由を提供することができる１つまたは複数の理由フィールドを提示してよい。フィールドに入力し得る所定の理由のドロップダウンリストなどが存在する場合がある。所定の理由には、注意または不注意の一般的な理由、例えば、「頭をそらす」、「画面を見ない」、「話す」などが含まれてよい。フィールドはまた、フリーテキスト入力を許可してよい。各アノテータからの注意力データには、関連する理由とともに、応答データ内のさまざまな期間のバイナリ選択の結果が含まれてよい。理由は、アノテータ間に高度な不一致がある状況、または注意力モデルが観察と一致しない結果を出力する状況を評価するために使用されてよい。これは、例えば、類似の顔の動きが異なる行動に対応する場合に発生する可能性がある（例えば、話す／食べる等）。

【0056】

分析サーバ１１８は、複数のアノテータから注意力データを受信するように構成されてよい。分析サーバ１１８は、注意力データの異なるセットから組み合わせ注意力データを生成してよい。組み合わせ注意力データは、複数のアノテータからの注意力データ間の正の相関のレベルを示す注意力パラメータを含んでよい。言い換えれば、分析サーバ１１８は、応答データ全体にわたって複数のアノテータによって行われたバイナリ選択間の一致のレベルを定量化するスコアを出力してよい。注意力パラメータは、時変パラメータであってよい、すなわち、一致を示すスコアは、相関の増加または減少を示すために、応答データの期間にわたって変化してよい。

【0057】

この概念の開発において、分析サーバ１１８は、各アノテータに関連付けられた信頼値を決定及び記憶するように構成されてよい。信頼値は、アノテータの個々のスコアが組み合わせ注意力データとどの程度相関しているかに基づいて計算されてよい。例えば、全体としてのアノテータグループとは反対の方向に通常、スコアを付けるアノテータには、一致していることがより多いアノテータよりも低い信頼値が割り当てられてよい。例えば、個々のアノテータからより多くのデータが受信されると、信頼値は動的に更新されてよい。信頼値は、組み合わせ注意力データを生成するプロセスで、各アノテータからの注意力データに重みを付けるために使用されてよい。したがって、分析サーバ１１８は、より正確なスコアリングにそれ自体を「調整」する能力を示し得る。

【0058】

注意力ラベル付き応答データ１３０は、注意力パラメータを含んでよい。言い換えれば、注意力パラメータは、データストリームまたはメディアコンテンツ内のイベントに関連付けられてよい、例えば、同期、または、他の方法でマッピング、またはリンクされてよい。

【0059】

注意力ラベル付き応答データ１３０は、クライアントデバイス１０２から収集された元のデータ１１６（例えば、本明細書では応答データとも呼ばれる生のビデオまたは画像データ）、時系列の注意力データ、生理学的データ１１４からの１つまたは複数の生理学的パラメータに対応する時系列データ、及び収集されたデータ１１６から抽出された感情状態データ、の任意の１つまたは複数を含んでよい。

【0060】

収集されたデータは、クライアントデバイス１０２のそれぞれでキャプチャされた画像データであってよい。画像データは、ユーザの顔画像を示す複数の画像フレームを含んでよい。さらに、画像データは、ユーザの顔画像を示す時系列の画像フレームを含んでよい。

【0061】

画像フレームが、ユーザの顔特徴、例えば口、目、眉などを示し、各顔特徴が顔の複数の目印を含む場合、応答データは、各画像フレームの顔の目印の位置、形状、向き、陰影などを示す情報を含んでよい。

【0062】

画像データは、各クライアントデバイス１０２上で処理されてよい、または処理のためにネットワーク１０８を介して分析サーバ１１８にストリーミングされてよい。

【0063】

顔特徴は、顔の選択された複数の目印の位置、形状、向き、共有などを示す記述子データポイントを提供し得る。各顔特徴の記述子データポイントは、顔の複数の目印を示す情報を符号化し得る。各顔特徴の記述子データポイントは、各フレーム、例えば、時系列の画像フレームからの各画像フレームに関連付けられてよい。各顔特徴の記述子データポイントは、多次元データポイントであってよく、多次元データポイントの各コンポーネントは、顔の各目印を示す。

【0064】

感情状態情報は、生データ入力から、抽出された記述子データポイントから、または２つの組み合わせから直接、取得されてよい。例えば、顔の複数の目印は、ユーザの感情を特徴づけることができる情報を含むように選択されてよい。一例では、感情状態データは、１つの画像内または一連の画像にわたる顔の１つまたは複数の特徴記述子データポイントに分類器を適用することによって決定されてよい。一部の例では、深層学習技術を利用して、生データ入力から感情状態データを生成することができる。

【0065】

ユーザの感情状態は、怒り、嫌悪感、恐怖、幸福、悲しみ、及び驚きから選択される１つまたは複数の感情状態を含んでよい。

【0066】

注意力ラベル付き応答データの作成は、システム１００の第１の機能を表す。以下で説明する第２の機能は、そのデータを後に使用して注意力モデルを生成及び利用することである。

【0067】

システム１００は、記憶装置１２８と通信し、注意力ラベル付き応答データ１３０にアクセスするように構成されたモデリングサーバ１３２を備えてよい。モデリングサーバ１３２は、図１に示すように記憶装置１２８に直接、接続するか、またはネットワーク１０８などのネットワークを介して接続してよい。

【0068】

モデリングサーバ１３２は、ラベル付けされていない応答データ、例えば、分析サーバ１１８によって最初に受信された応答データ１１６から注意力をスコアリングするモデル１３６を確立するために、注意力ラベル付き応答データ１３０の訓練セットに機械学習技術を適用するように構成される。モデルは、高レベルの注意力を示す収集された応答データのパターンを認識するように訓練された人工ニューラルネットワークとして確立されてよい。したがって、人間の入力なしで、このモデルを使用して、収集された応答データの注意力を自動的にスコアリングできる。この手法の利点は、モデルが基本的に、特定の所定のプロキシに依存する測定または関与または注意力によって見逃され得る文脈的要因に敏感な注意力の直接測定に基づいていることである。

【0069】

一例では、注意力モデルを生成するために使用される注意力ラベル付き応答データはまた、メディアコンテンツに関する情報を含んでよい。この情報は、メディアコンテンツがユーザによってどのように操作されるか、例えば一時停止またはその他の方法で制御されることに関連してよい。追加的または代替的に、情報は、例えば、収集された応答データに文脈を与えるために、表示されているメディアコンテンツの主題に関するデータを含んでよい。

【0070】

本明細書では、メディアコンテンツは、ユーザフィードバックに関する情報が望ましい任意のタイプのユーザ消費可能なコンテンツであってよい。本発明は、メディアコンテンツがコマーシャル（例えば、ビデオコマーシャルまたは広告）であり、ユーザの関与または注意が、例えば、売上高の増加などの業績に密接に関連している可能性が高い場合に特に有用であり得る。しかしながら、本発明は、あらゆる種類のコンテンツ、例えば、ビデオコマーシャル、オーディオコマーシャル、映画の予告編、映画、ウェブ広告、アニメーションゲーム、画像などのいずれにも適用可能である。

【0071】

図２は、本発明の実施形態であるデータ収集方法２００のフロー図である。方法は、ユーザがクライアントデバイスでメディアコンテンツの再生を開始すると、開始される。方法は、ユーザがメディアコンテンツを消費している間にユーザから応答データを取得するステップ２０２を含む。上記のように、応答データは、顔画像を記録するウェブカメラ、生理学的データを記録する生理学的センサ（例えばウェアラブルデバイス内）、音声を記録するマイクロフォンなどのさまざまなデバイスから収集されてよい。応答データは、クライアントデバイスによって収集、組み合わされてよく、さらに処理するために分析デバイスに送信されてよい。

【0072】

方法は、応答データを消費されたメディアコンテンツとマッピングまたは同期するステップ２０４に続く。これは、クライアントデバイスまたは分析サーバによって、例えば、収集された応答データのタイムスタンプをメディアコンテンツの再生時間に関する既知の情報と一致させることによって行われてよい。

【0073】

方法は、応答データを示す情報をメディアコンテンツと同時に表示するステップ２０６に続く。一例では、これは、ユーザの記録された画像をメディアコンテンツと並べて同時に表示することを意味してよい。

【0074】

方法は、メディアコンテンツに対するユーザの注意力レベルを示すアノテーションを受信するステップ２０８に続く。アノテーションは、同時に表示される応答データとメディアコンテンツを監視し、ユーザがメディアコンテンツにどの程度関与しているかを判断する人間のアノテータによって供給されてよい。

【0075】

方法は、注意力ラベル付き応答データを生成するステップ２１０に続き、注意力ラベル付き応答データでは、注意力を示すアノテーションが、例えば、統合されたデータ時系列上で別個のものとして、その後の使用のために応答データと統合される。一例では、感情状態情報も、収集された応答データから抽出されてよい。したがって、注意力ラベル付き応答データは、生の収集されたデータ、そこから得られた感情状態データ、収集された生理学的データ、注意力データ、及びメディアコンテンツに関するデータのいずれかまたは全てを含んでよい。生の収集されたデータは、他のユーザデータ、例えば、人口統計データ、地理データなどと共にユーザの画像を含んでよい。

【0076】

図３は、本発明の実施形態で使用し得る注意力ラベル付き応答データのデータ構造３００を示す概略図である。データ構造は、時変パラメータのセット３０２、及び静的データのセット３０４を含んでよい。この例では、時変パラメータは、感情状態データ３０６、メディア制御データ３０８、注意力ラベルデータ３１０、生理学的データ３１１、注意力顕著性３１３、及びメディアタグデータ３１２を含む。静的データのセット３０４は、ユーザデータ３１４を含む。

【0077】

メディア制御データ３０８は、例えば、再生条件を一時停止または他の方法で変更することによって、メディアコンテンツが配信されたメディアプレーヤとユーザがどのようにインタラクトするかを示してよい。メディアタグデータ３１２は、時々、メディアコンテンツの主題を示す一連のタグを表してよい。ビデオコンテンツの場合、タグはビデオ内のシーン間で異なる可能性が高く、したがって、それでもユーザの注意と相関し得るコンテンツの高レベルの抽象化を表し得る。

【0078】

図４は、上記の注意力ラベル付き応答データを利用するデータ分析方法４００のフロー図である。方法は、複数のユーザから注意力ラベル付き応答データを取得するステップ４０２から始まる。これは、記憶装置内の複数のユーザの注意力ラベル付き応答データを記憶できる上記の分析サーバによって行われてよい。

【0079】

方法は、取得された注意力ラベル付き応答データから、（特に、メディアコンテンツに対するユーザの反応の画像で）収集されたデータから注意力スコアを供給するように構成された人工ニューラルネットワークの訓練セット及び１つまたは複数の目的を確立するステップ４０４に続く。

【0080】

訓練セットを使用して、方法は注意力モデルを生成するステップ４０６に続く。注意力モデルは、人間のインタラクションを必要とせずに、収集されたデータの部分を注意力に関してスコアリングするために使用されてよい。

【0081】

上記の説明から、ニューラルネットワークのターゲットとして、注意力ラベル付き応答データの代わりに、注意力を示す他のデータを使用し得ることが理解できる。例えば、モデル訓練に使用される注意力データは、生理学的データ及びメディア注意力顕著性データからなるか、またはそれらを含んでよい。

【0082】

図５は、本発明の実施形態で使用し得る例示的なアノテーションツール５００の略スクリーンショットである。アノテーションツール５００は、コンピューティングデバイスの表示画面に表示可能なグラフィカルユーザインタフェースである。グラフィカルユーザインタフェースは、第１の部分５０２にユーザの画像を再生し、第２の部分５０４に視聴されているメディアコンテンツを表示するように構成された分割画面再生パネルを備える。上記の説明から、例えば生理学的データなどに関する、他の収集された情報も表示できることが理解できる。例えば、生理学的応答の強度を示す情報は、生理学的データ表示パネル５１２に提供されてよく、メディア注意力顕著性の変動を示す情報は、顕著性データ表示パネル５１４に提供されてよい。別の例では、事前に訓練された注意力モデルを使用して、注意力を自動的に検出し、例えば、アノテーションプロセスを支援するプロンプトとして、ラベリングツールにデータを表示してよい。

【0083】

再生分割画面再生パネルは、例えば、制御インタフェースパネル５０６を介して制御可能である。

【0084】

この例では、注意力スコアは、スコアアプリケータ部分５０８に適用される。この例では、応答の各部分に、高、中、低の３つの注意レベルの１つを適用できる。応答のタイムラインが各注意レベルに対して提供される。ユーザは、注意レベルの１つで応答の特定の部分を、適切な期間、その注意レベルのタイムラインを選択または強調表示することにより、スコアリングできる。応答のある部分に注意レベルが選択されていない場合、注意していない、すなわち、ユーザが不在であったか、全く関与していなかったと見なすことができる。

【0085】

アノテータツール５００は、注意レベルでタグ付けされた応答内のタイムフレームを列挙する要約パネル５１０をさらに備える。アノテータは、要約パネル５１０を編集して、スコアアプリケータ部分５０８に出現するものに影響を与えてよい。

【0086】

図５に示すアノテータツールは、タグが応答データに適用され得る多くの方法のうちの１つを表すことが理解され得る。本発明は、図５に示す構成に限定される必要はない。

【0087】

図６は、上記の注意力ラベル付き応答データを利用するデータ分析方法６００のフロー図である。方法は、複数の注意力プロキシパラメータを確立するステップ６０２から始まる。プロキシパラメータは、注意力と相関することが観察された行動データ内の特徴を表す。これらの特徴は、各アノテータが理由フィールドに入力したデータを使用して確立されてよい。特徴の例には、頭部姿勢、視線方向、高まった感情レベル、瞬き、表情、体のジェスチャ、心拍数、飲食、話すなどの活動が含まれてよい。

【0088】

方法は、ステップ６０２で識別された各特徴について注意力プロキシサブモデルを生成するステップ６０４に続く。図４を参照して説明した注意力モデルとは異なり、各注意力プロキシサブモデルは、各特徴に関する注意力ラベル付き応答データのサブセットを含む訓練セットを使用して確立される。各注意力プロキシサブモデルは、各特徴を表す入力データの注意力スコアを供給するように構成される。

【0089】

方法は、複数の注意力プロキシサブモデルからの出力を入力として使用するアンサンブルモデルを含む注意力モデルを生成するステップ６０６に続く。アンサンブルモデルは、注意力データを使用して訓練され、注意力プロキシサブモデル出力に適切な重み付けを適用してよい。

【0090】

アンサンブルモデルを新しい応答データ（つまり、アノテーションのない応答データ）とともに使用して、その出力の信頼スコアとともに、注意力を示す出力を供給できる。例えば、注意力を示す出力は、複数の注意力プロキシサブモデルから、例えば、注意力プロキシサブモデルからの出力を集約または平均化、または他の方法で処理することによって得られる新しい応答データの異なる部分の注意力スコアとして取得されてよい。注意力スコアは、バイナリ表示であってよい、すなわち、ユーザの注意の有無を示してよい。一部の例では、プロキシサブモデルは、正または負の表示のみ、すなわち、「注意している」または「注意していない」の１つだけを提供してよい。信頼スコアは、注意力スコアの信頼を定量化する数値であってよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】