特許 7243235 集中度評価プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-13

(45)【発行日】2023-03-22

(54)【発明の名称】集中度評価プログラム、装置、及び方法

(51)【国際特許分類】

   H04N 21/442 20110101AFI20230314BHJP

【ＦＩ】

H04N21/442

【請求項の数】 11

(21)【出願番号】P 2019015354

(22)【出願日】2019-01-31

(65)【公開番号】P2020123884

(43)【公開日】2020-08-13

【審査請求日】2021-10-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】川村 亮介

(72)【発明者】

【氏名】森岡 清訓

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００１－２２８７８５（ＪＰ，Ａ）

【文献】特開２０１０－１４１８４３（ＪＰ，Ａ）

【文献】国際公開第２０１７／０１８０１２（ＷＯ，Ａ１）

【文献】特開２０１８－２０５６３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

動画を視聴中の対象ユーザの頭部の向きであって、前記動画が再生される画面に正対する向き及び下向きを含む頭部の向きの時間的変化のパターンである頭部の動きを検出し、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出し、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する
ことを含む処理をコンピュータに実行させるための集中度評価プログラム。

【請求項2】

前記複数のユーザの各々の頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する請求項１に記載の集中度評価プログラム。

【請求項3】

前記複数のユーザの各々の頭部の動きを複数のクラスタに分類し、
前記対象ユーザの頭部の動きが分類されるクラスタに属するユーザの頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する
請求項１又は請求項２に記載の集中度評価プログラム。

【請求項4】

頭部の下がる回数及び頭部の下がるタイミングに応じて、前記複数のユーザの各々の頭部の動きを前記複数のクラスタに分類する請求項３に記載の集中度評価プログラム。

【請求項5】

同一のクラスタに分類されたユーザの頭部の動きのうち、前記クラスタの中心からの距離が所定値以内のユーザの頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する請求項３又は請求項４に記載の集中度評価プログラム。

【請求項6】

前記対象ユーザの頭部の動きが、いずれのクラスタの中心からも所定距離以上離れている場合に、前記動画の視聴に対して、前記対象ユーザは集中していないと評価する請求項３～請求項５のいずれか１項に記載の集中度評価プログラム。

【請求項7】

前記相関度が高いほど、前記対象ユーザの集中度が高いと評価する請求項１～請求項６のいずれか１項に記載の集中度評価プログラム。

【請求項8】

前記動画の内容に関する重要度が高いほど、かつ前記相関度が高いほど、前記対象ユーザの集中度が高いと評価する請求項１～請求項７のいずれか１項に記載の集中度評価プログラム。

【請求項9】

集中度の評価結果を、前記動画の識別情報と対応付けて管理する請求項１～請求項８のいずれか１項に記載の集中度評価プログラム。

【請求項10】

動画を視聴中の対象ユーザの頭部の向きであって、前記動画が再生される画面に正対する向き及び下向きを含む頭部の向きの時間的変化のパターンである頭部の動きを検出する検出部と、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する算出部と、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する評価部と、
を含む集中度評価装置。

【請求項11】

動画を視聴中の対象ユーザの頭部の向きであって、前記動画が再生される画面に正対する向き及び下向きを含む頭部の向きの時間的変化のパターンである頭部の動きを検出し、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出し、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する
ことを含む処理をコンピュータが実行する集中度評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、集中度評価プログラム、集中度評価装置、及び集中度評価方法に関する。

【背景技術】

【0002】

通信技術の発達によって、質の高い動画を配信する様々なサービスが増加している。例えば、学習コンテンツとして、学習塾などの講義を収録した動画を配信し、生徒はその動画を視聴することにより講義を受講することが行われている。このような受講形式では、講師が生徒個々人の受講状況を見守ることが難しく、生徒の講義に対する集中度を把握することが困難である。

【0003】

そこで、講義動画を視聴する生徒の表情によって集中度を把握することが考えられる。例えば、動画を視聴中のユーザの画像を取得して顔領域を切り取り、切り取った顔領域からボックスフィルタ又はガボールフィルタにより抽出した特徴と、機械学習した識別器とを用いて表情を識別する技術が提案されている。この技術では、識別した表情の変化を用いて集中度を推定する。

【0004】

また、講義中のユーザの状況を評価する技術として、対象を観察する観察者の対象への評価を算出する情報処理システムが提案されている。このシステムは、対象を観察する観察者の笑顔を検出し、観察者の顔が略下方向を向いている度合いを検出し、笑顔の度合いと下向きの度合いとに応じて、観察者に対する評価を算出する。

【0005】

また、会議中のユーザの頭部の上下動のふれ幅、頭部の上下動の回数、周期等に基づいて、ユーザの集中度を判定する技術が提案されている。

【0006】

また、周囲状況、顔向き、注目対象と顔向きとの連動性の度合い、及び注目対象判定ルールに基づいて注目対象の方向を算出する注目対象判定装置が提案されている。この装置は、周囲状況の変化のタイミングと顔向きの変化のタイミングとが一致する場合には連動性が高いと評価する。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１７／０１８０１２号

【文献】特開２０１０－１４１８４３号公報

【文献】特開２００９－２６１９０号公報

【非特許文献】

【0008】

【文献】Jacob Whitehill, Zewelanji Serpell, Yi-Ching Lin, Aysha Foster, Javier R. Movellan, "The Faces of Engagement: Automatic Recognition of Student Engagement from Facial Expressions", IEEE Transactions on Affective Computing, Volume 5, 2014

【発明の概要】

【発明が解決しようとする課題】

【0009】

例えば、上述したような講義動画の視聴時には、ユーザがノートをとったり、動画とは別に配布されている手元の資料を見たりする場合など、ユーザが下を向く機会、すなわち、顔が画面に正対していない機会が多く存在する。

【0010】

表情の変化で集中度を推定する従来技術では、画面を常に見ていることを前提としており、上記のように顔が画面に対して正対していない機会が多く存在する場合には、集中度の推定ができない時間が多く存在してしまう。

【0011】

また、この従来技術では、ノートをとったり、手元の資料を見たりなどの動作中には、講義自体に集中しているにもかかわらず、顔が画面に対して正対していないことから表情を識別することができない。そのため、集中度の推定ができない、又は集中していないと推定されてしまう可能性がある。

【0012】

また、頭の動きなどによりユーザの状況を評価する従来技術では、動画視聴に対するユーザの集中度を評価することはできない。

【0013】

一つの側面として、開示の技術は、ユーザの顔が画面に正対していない機会が多い場合でも、動画視聴に対するユーザの集中度を適切に評価することを目的とする。

【課題を解決するための手段】

【0014】

一つの態様として、開示の技術は、動画を視聴中の対象ユーザの頭部の向きであって、前記動画が再生される画面に正対する向き及び下向きを含む頭部の向きの時間的変化のパターンである頭部の動きを検出し、複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する。そして、開示の技術は、算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する。

【発明の効果】

【0015】

一つの側面として、ユーザの顔が画面に正対していない機会が多い場合でも、動画視聴に対するユーザの集中度を適切に評価することができる、という効果を有する。

【図面の簡単な説明】

【0016】

【図1】頭部の動きのタイミングと集中度との関係を説明するための図である。

【図2】第１実施形態に係る集中度評価装置の機能ブロック図である。

【図3】第１実施形態における平均パターンデータベース（ＤＢ）の一例を示す図である。

【図4】頭部の動きの同期性について説明するための図である。

【図5】評価値ＤＢの一例を示す図である。

【図6】集中度評価装置として機能するコンピュータの概略構成を示すブロック図である。

【図7】生成処理の一例を示すフローチャートである。

【図8】第１実施形態における評価処理の一例を示すフローチャートである。

【図9】第２及び第３実施形態に係る集中度評価装置の機能ブロック図である。

【図10】重要度ＤＢの一例を示す図である。

【図11】一定時間における重要度の平均を説明するための図である。

【図12】重要度と相関度とを用いた評価値の算出を説明するための図である。

【図13】第２実施形態における評価処理の一例を示すフローチャートである。

【図14】複数のユーザのパターンのクラスタリングを説明するための図である。

【図15】複数のユーザのパターンのクラスタリングを説明するための図である。

【図16】第３実施形態における平均パターンＤＢの一例を示す図である。

【図17】第３実施形態における評価処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。以下の各実施形態では、学習コンテンツとしての講義動画の視聴に対するユーザの集中度を評価する場合を例に説明する。

【0018】

まず、各実施形態の詳細について説明する前に、各実施形態に共通する動作原理について説明する。

【0019】

講義動画の視聴中には、ユーザはノートをとるなどのために下を向く場合が多々ある。このノートやメモをとるタイミングは、複数のユーザで同じようなタイミングになる。これは、図１に示すように、同一のコンテンツを複数のユーザが視聴する場合、内容的に重要な部分では、多数のユーザが同じようなタイミング（図１のｔ１及びｔ２）でノートをとる。一方、集中していないユーザは、その反応が遅れたり、ノートをとることをしなかったりする。

【0020】

そこで、以下の各実施形態では、ノートをとるなどのタイミングを、ユーザの頭部の動きにより把握し、そのタイミングを複数のユーザのタイミングと比較することにより、集中度を評価する。

【0021】

以下、各実施形態について詳述する。

【0022】

＜第１実施形態＞
図２に示すように、第１実施形態に係る集中度評価装置１０には、講義動画を視聴するユーザを撮影した動画データであるユーザ画像が入力される。ユーザ画像は、例えば、講義動画が再生されるディスプレイの上部等に設置されたカメラにより撮影される。ユーザ画像には、視聴した講義動画の開始箇所からの経過時間と同期した時間情報が対応付けられている。集中度評価装置１０は、ユーザ画像に基づいて、ユーザの集中度を評価し、評価結果を出力する。

【0023】

集中度評価装置１０は、機能的には、図２に示すように、検出部１２と、生成部１４と、算出部１６と、評価部１８とを含む。また、集中度評価装置１０の所定の記憶領域には、平均パターンデータベース（ＤＢ）２２と、評価値ＤＢ２４とが記憶される。

【0024】

検出部１２は、集中度評価装置１０に入力されたユーザ画像から、ユーザの頭部の動きを検出する。具体的には、検出部１２は、所定時間間隔の各時間に対応するユーザ画像の各フレームから、ユーザの頭部の向きを検出し、一定時間分の頭部の向きの時間的変化を、頭部の動きを示すパターンとして検出する。頭部の向きを検出するフレームは、ユーザ画像のフレーム毎でもよいし、所定数おきのフレーム毎でもよい。また、頭部の向きの検出方法は従来既知の手法を用いることができる。

【0025】

例えば、検出部１２は、ユーザの頭部の向きを、画面に正対している向きを基準とした上下方向の角度として検出してもよいし、検出した角度を、画面に正対している頭部の向きを１、下向きの頭部の向きを０として２値化してもよい。

【0026】

検出部１２は、複数のユーザの各々についてのユーザ画像の各々から検出したパターンを生成部１４へ受け渡す。また、検出部１２は、集中度を評価する対象である対象ユーザについてのユーザ画像から検出したパターンを算出部１６へ受け渡す。

【0027】

生成部１４は、検出部１２から受け渡された複数のユーザについてのパターンから、平均パターンを生成する。具体的には、生成部１４は、複数のパターンにおいて、同じ時間に検出された頭部の向きを示す値（角度又は２値化した値など）を平均することにより、平均パターンを生成する。頭部の向きを示す値として２値化した値を用いる場合、平均値として得られた連続値が１に近いほど、多くのユーザの顔が画面に正対していることを表しており、０に近いほど、多くのユーザが下を向いていることを表している。

【0028】

生成部１４は、生成した平均パターンを平均パターンＤＢ２２に記憶する。図３に、平均パターンＤＢ２２の一例を示す。図３の例では、平均パターンＤＢ２２には、頭部の向きを示す値として２値化した値を用い、その平均である連続値が「頭部の向きの平均」として、各時間を示す「時間情報」と対応付けて記憶されている。なお、時間情報としては、ユーザ画像の時間情報と同期する講義動画の開始箇所からの経過時間を用いてもよいし、その時間に相当するフレームのフレーム番号を用いてもよい。

【0029】

算出部１６は、複数のユーザの各々の頭部の動きに対する、対象ユーザの頭部の動きの相関度を算出する。具体的には、算出部１６は、検出部１２から受け渡された対象ユーザのパターンと、平均パターンＤＢ２２に記憶された平均パターンとの間の同期性を示す相関度を算出する。

【0030】

図４に、頭部の動きの同期性について説明するための図を示す。図４に示すように、２つのパターン間で、頭部を下げる箇所など、パターンの変化が開始するタイミングの差（例えば、図４中のＡ）が小さい場合には、この２つのパターンは同期しているといえる。一方、複数のユーザのパターンとの間で、パターンの変化が開始するタイミングの差（例えば、図４中ＢＡ）が大きい場合には、このパターンは複数のユーザのパターンとは同期していないといえる。

【0031】

例えば、算出部１６は、対象ユーザについての一定時間分のパターンと時間情報が対応する平均パターンの部分を平均パターンＤＢ２２から読み出し、この一定時間分の対象ユーザのパターンと平均パターンとの相互相関係数を相関度として算出することができる。なお、相関度は、相互相関係数に限定されるものではなく、対象ユーザのパターンと平均パターンとの同期性が高いほど高くなる評価指標であればよい。

【0032】

算出部１６は、算出した相関度を評価部１８へ受け渡す。

【0033】

評価部１８は、算出部１６から受け渡された相関度に基づいて、講義動画の視聴に対する対象ユーザの集中度を評価する。評価部１８は、相関度が高いほど、対象ユーザの集中度が高いと評価する。

【0034】

例えば、評価部１８は、算出部１６から受け渡された相関度を０～１の値で正規化し、図５に示すような評価値ＤＢ２４を参照して、相関度に対応する評価値を導出する。

【0035】

評価部１８は、ユーザ画像の開始から終了までの時間について、一定時間毎に導出した相関度に基づく評価値の集合を、集中度の評価結果として出力する。

【0036】

集中度評価装置１０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0037】

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、集中度評価装置１０として機能させるための集中度評価プログラム５０が記憶される。集中度評価プログラム５０は、検出プロセス５２と、生成プロセス５４と、算出プロセス５６と、評価プロセス５８とを有する。また、記憶部４３は、平均パターンＤＢ２２及び評価値ＤＢ２４の各々を構成する情報が記憶される情報記憶領域６０を有する。

【0038】

ＣＰＵ４１は、集中度評価プログラム５０を記憶部４３から読み出してメモリ４２に展開し、集中度評価プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、検出プロセス５２を実行することで、図２に示す検出部１２として動作する。また、ＣＰＵ４１は、生成プロセス５４を実行することで、図２に示す生成部１４として動作する。また、ＣＰＵ４１は、算出プロセス５６を実行することで、図２に示す算出部１６として動作する。また、ＣＰＵ４１は、評価プロセス５８を実行することで、図２に示す評価部１８として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、平均パターンＤＢ２２及び評価値ＤＢ２４の各々をメモリ４２に展開する。これにより、集中度評価プログラム５０を実行したコンピュータ４０が、集中度評価装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0039】

なお、集中度評価プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0040】

次に、第１実施形態に係る集中度評価装置１０の作用について説明する。集中度評価装置１０に複数のユーザの各々のユーザ画像が入力されると、集中度評価装置１０において、図７に示す生成処理が実行される。生成処理が実行されて平均パターンが平均パターンＤＢ２２に記憶された状態で、記憶された平均パターンに対応する講義動画と同一の講義動画を視聴した対象ユーザのユーザ画像が集中度評価装置１０に入力される。そして、集中度評価装置１０において、図８に示す評価処理が実行される。

【0041】

以下、生成処理及び評価処理の各々について詳述する。なお、生成処理及び評価処理は、開示の技術の集中度評価方法の一例である。

【0042】

まず、生成処理について説明する。

【0043】

図７のステップＳ１２で、検出部１２が、複数のユーザの各々についてのユーザ画像の各々において、所定時間間隔の各時間に対応する各フレームから、ユーザの頭部の向きを検出し、頭部の向きの時間的変化を、頭部の動きを示すパターンとして検出する。検出部１２は、複数のユーザの各々についてのユーザ画像の各々から検出したパターンを生成部１４へ受け渡す。

【0044】

次に、ステップＳ１４で、生成部１４が、検出部１２から受け渡された複数のパターンにおいて、同じ時間に検出された頭部の向きを示す値（角度又は２値化した値など）を平均することにより、平均パターンを生成する。

【0045】

次に、ステップＳ１６で、生成部１４が、生成した平均パターンを平均パターンＤＢ２２に記憶し、生成処理は終了する。

【0046】

次に、評価処理について説明する。

【0047】

図８のステップＳ２２で、検出部１２が、入力された対象ユーザのユーザ画像から、所定時間間隔の各時間に対応する各フレームを取得し、頭部の向きを検出して、そのフレームに対応する時間情報と対応付けて、所定の記録領域に記録する。

【0048】

次に、ステップＳ２４で、検出部１２が、頭部の向きが一定時間分記録されたか否かを判定する。一定時間分記録された場合には、ステップＳ２６へ移行し、記録されていない場合には、ステップＳ２２に戻る。

【0049】

ステップＳ２６では、検出部１２が、一定時間分記録された頭部の向きを、対象ユーザのパターンとして検出し、算出部１６へ受け渡す。そして、算出部１６が、対象ユーザについての一定時間分のパターンと時間情報が対応する平均パターンの部分を平均パターンＤＢ２２から読み出す。そして、算出部１６が、一定時間分の対象ユーザのパターンと平均パターンとの相関度を算出する。算出部１６は、算出した相関度を評価部１８へ受け渡す。

【0050】

次に、ステップＳ２８で、評価部１８が、算出部１６から受け渡された相関度を０～１の値で正規化し、図５に示すような評価値ＤＢ２４を参照して、相関度に対応する評価値を導出する。評価部１８は、一定時間を示す時間情報と、導出した評価値とを対応付けて、所定の記録領域に一旦記録する。

【0051】

次に、ステップＳ３０で、検出部１２が、入力されたユーザ画像が終了箇所に到達したか否か、すなわち、ユーザ画像と時間情報が同期する講義動画が終了したか否かを判定する。講義動画が終了した場合には、ステップＳ３２へ移行し、終了していない場合には、ステップＳ２２に戻る。

【0052】

ステップＳ３２では、評価部１８が、所定の記録領域に一旦記憶した、一定時間毎に導出した相関度に基づく評価値の集合を、集中度の評価結果として出力して、評価処理は終了する。

【0053】

以上説明したように、第１実施形態に係る集中度評価装置は、講義動画を視聴中の対象ユーザの頭部の動きを示すパターンを検出する。集中度評価装置は、複数のユーザが同一の講義動画を視聴した際に検出された複数のユーザの各々のパターンを平均した平均パターンと、対象ユーザのパターンとの相関度を算出し、相関度に基づいて、講義動画の視聴に対する対象ユーザの集中度を評価する。このように、動画視聴に集中している場合には、多くのユーザが同じようなタイミングで頭部を下げることを利用して、ユーザの顔が画面に正対していない機会が多い場合でも、動画視聴に対するユーザの集中度を適切に評価することができる。

【0054】

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る集中度評価装置において、第１実施形態に係る集中度評価装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。

【0055】

第２実施形態に係る集中度評価装置２１０は、機能的には、図９に示すように、検出部１２と、生成部１４と、算出部１６と、評価部２１８とを含む。また、集中度評価装置２１０の所定の記憶領域には、平均パターンＤＢ２２と、重要度ＤＢ２６とが記憶される。

【0056】

上述したように、講義動画の視聴中には、ユーザはノートをとるなどのために下を向く場合が多々ある。このノートをとるタイミングは、複数のユーザで同じようなタイミングになる。この特徴は、講義動画の内容の重要性が高い箇所ほど顕著に現れる。

【0057】

そこで、評価部２１８は、講義動画の内容に関する重要度が高いほど、かつ、平均パターンとの相関度が高いほど、対象ユーザの集中度が高いと評価する。

【0058】

具体的には、評価部２１８は、重要度ＤＢ２６を参照して、講義動画の区間毎の重要度を取得する。

【0059】

図１０に、重要度ＤＢ２６の一例を示す。図１０の例では、各「区間」について、その区間を示す「時間情報」と「重要度」とが対応付けて記憶されている。コンテンツが講義動画の場合、例えば、講師の発する言葉に重要なワードが含まれている箇所や、その際の音圧などの音声情報に変化があった箇所を含む区間を、重要度の高い区間と定義することができる。また、講師の顔がカメラ方向を見る、絵を板書する、板書の一部にマークをするなどの特定の動作を講師が行った箇所を含む区間を、重要度の高い区間と定義してもよい。

【0060】

また、講義中の重要な箇所では、講義動画に集中している多くのユーザがノートをとるなどの行為をして頭部の上げ下げが起こる。そこで、所定数のユーザの頭部の上げ下げが集中している箇所を含む区間を、重要度の高い区間と定義してもよい。

【0061】

上記のような重要度の定義に基づき、区間毎の重要度を、コンテンツ制作者が手作業で定義したり、画像処理及び音声処理を用いて自動で定義したりすることにより、事前に定義し、上述の重要度ＤＢ２６に記憶しておく。重要度ＤＢ２６に記憶する区間の区切り方は、所定時間間隔で均等に区切ってもよいし、重要度が変化するタイミングに応じて、不定の長さで区切ってもよい。

【0062】

評価部２１８は、対象ユーザの一定時間分（以下、この一定時間を「一定時間Ｓ」という）のユーザ画像に基づいて集中度を評価する際、講義動画の一定時間Ｓに含まれる区間の各々の重要度を、重要度ＤＢ２６から取得する。評価部２１８は、取得した重要度の平均を算出し、図１１に示すように、一定時間Ｓにおける重要度の平均が予め定めた閾値以上の場合に、その一定時間Ｓにおける集中度の評価を行う。

【0063】

重要度の平均が閾値未満の一定時間Ｓについては、集中度の評価は行わない。なお、重要度の平均が閾値未満の一定時間Ｓ、すなわち、重要度が低い箇所では、ユーザがノートをとるために頭部を下げるなどの動作を行っている時間が少なく、ユーザの顔がカメラに正対している時間が長いと考えられる。そこで、重要度の平均が閾値未満の一定時間Ｓについては、顔の表情を用いて集中度を評価するなどの既存の手法を用いて、集中度を評価してもよい。

【0064】

評価部２１８は、重要度が閾値以上の一定時間Ｓについては、その一定時間Ｓに含まれる区間の各々の重要度を用いて、評価値Ｖを算出する。例えば、図１２に示すように、評価部２１８は、一定時間Ｓに含まれる区間Ｓｉ（ｉ＝１，２，・・・，ｎ、）の各々の重要度ω_ｉと、算出部１６により算出された各区間の相関度ａ_ｉとを用いて、評価値Ｖを算出する。評価値Ｖは、例えば、下記に示すように、重要度ω_ｉと相関度ａ_ｉとの内積を、一定時間Ｓに含まれる区間数ｎで除算した値とすることができる。

【0065】

Ｖ＝（Σ_{（ｉ＝１～ｎ）}ω_ｉ・ａ_ｉ）／ｎ

【0066】

評価部２１８は、ユーザ画像の開始から終了までの時間について、一定時間Ｓ毎に算出した重要度及び相関度に基づく評価値Ｖの集合を、集中度の評価結果として出力する。

【0067】

集中度評価装置２１０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、集中度評価装置２１０として機能させるための集中度評価プログラム２５０が記憶される。集中度評価プログラム２５０は、検出プロセス５２と、生成プロセス５４と、算出プロセス５６と、評価プロセス２５８とを有する。また、記憶部４３は、平均パターンＤＢ２２及び重要度ＤＢ２６の各々を構成する情報が記憶される情報記憶領域６０を有する。

【0068】

ＣＰＵ４１は、集中度評価プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、集中度評価プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、評価プロセス２５８を実行することで、図９に示す評価部２１８として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、平均パターンＤＢ２２及び重要度ＤＢ２６の各々をメモリ４２に展開する。他のプロセスについては、第１実施形態に係る集中度評価プログラム５０と同様である。これにより、集中度評価プログラム２５０を実行したコンピュータ４０が、集中度評価装置２１０として機能することになる。

【0069】

なお、集中度評価プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0070】

次に、第２実施形態に係る集中度評価装置２１０の作用について説明する。第２実施形態では、評価処理が第１実施形態と異なるため、図１３を参照して、第２実施形態における評価処理について説明する。なお、第１実施形態における評価処理（図８）と同一の処理については、同一符号を付して詳細な説明を省略する。

【0071】

図１３のステップＳ２２及びＳ２４を経て、一定時間Ｓ分の頭部の向きが、対象ユーザのパターンとして検出されると、次のステップＳ３２へ移行する。

【0072】

ステップＳ３２では、評価部２１８が、講義動画の一定時間Ｓに含まれる各区間Ｓｉの重要度ω_ｉを重要度ＤＢ２６から取得して、重要度の平均を算出する。そして、評価部２１８は、一定時間Ｓにおける重要度の平均が予め定めた閾値以上か否かを判定する。重要度の平均が閾値以上の場合には、ステップＳ３４へ移行し、閾値未満の場合には、ステップＳ３６へ移行する。

【0073】

ステップＳ３６では、その一定時間Ｓについては、集中度の評価を行わないことを決定して、ステップＳ２０へ移行する。

【0074】

ステップＳ３４では、算出部１６が、一定時間Ｓを、重要度ＤＢ２６に記憶されている各区間に対応させた区間Ｓｉ（ｉ＝１，２，・・・，ｎ）に分割する。

【0075】

次に、ステップＳ２２６で、算出部１６が、対象ユーザについての一定時間Ｓ分の頭部の向きを示すパターンと時間情報が対応する平均パターンの部分を平均パターンＤＢ２２から読み出す。そして、算出部１６が、一定時間Ｓ内の区間Ｓｉ毎に、対象ユーザのパターンと平均パターンとの相関度ａ_ｉを算出する。

【0076】

次に、ステップＳ２２８で、評価部２１８が、講義動画の一定時間Ｓに含まれる各区間Ｓｉの重要度ω_ｉを重要度ＤＢ２６から取得して、各区間Ｓｉの重要度ω_ｉと、上記ステップＳ２２６で算出したａ_ｉとを用いて、評価値Ｖを算出する。評価部２１８は、一定時間Ｓを示す時間情報と、算出した評価値Ｖとを対応付けて、所定の記録領域に一旦記録する。

【0077】

以下、第１実施形態と同様に、ステップＳ２０及びＳ２２が実行されて、評価処理は終了する。

【0078】

以上説明したように、第２実施形態に係る集中度評価装置は、講義動画を視聴中の対象ユーザの頭部の動きを示すパターンを検出する。集中度評価装置は、複数のユーザが同一の講義動画を視聴した際に検出された複数のユーザの各々のパターンを平均した平均パターンと、対象ユーザのパターンとの相関度を算出する。そして、集中度評価装置は、講義動画の内容的な重要性を示す重要度と、算出した相関度とに基づいて、講義動画の視聴に対する対象ユーザの集中度を評価する。このように、動画視聴に集中している場合には、多くのユーザが同じようなタイミングで頭部を下げること、及びその特徴がコンテンツの重要な箇所で顕著に表れることを利用する。これにより、ユーザの顔が画面に正対していない機会が多い場合でも、動画視聴に対するユーザの集中度を適切に評価することができる。

【0079】

＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態に係る集中度評価装置において、第２実施形態に係る集中度評価装置２１０と同一の部分については、同一符号を付して詳細な説明を省略する。

【0080】

第３実施形態に係る集中度評価装置３１０は、機能的には、図９に示すように、検出部１２と、生成部３１４と、算出部３１６と、評価部３１８とを含む。また、集中度評価装置３１０の所定の記憶領域には、平均パターンＤＢ３２２と、重要度ＤＢ２６とが記憶される。

【0081】

上述したように、講義動画の視聴中には、ユーザはノートをとるなどのために下を向く場合が多々あり、このノートをとるタイミングは、複数のユーザで同じようなタイミングになる。ただし、ノートをとるために頭部を下げるタイミングや回数は、ユーザ毎にその傾向に相違がある。そこで、第３実施形態では、ユーザ毎の頭部の動き方の傾向の違いを考慮して、対象ユーザの集中度を評価する際に、対象ユーザと同じような傾向があるユーザ群の頭部の動きと比較することで、対象ユーザがノートをとりそうなタイミングを適切に設定する。

【0082】

生成部３１４は、複数のユーザの各々の頭部の動きを示すパターンを複数のクラスタに分類し、クラスタ毎に、平均パターンを生成する。具体的には、生成部３１４は、頭部の下がる回数及び頭部の下がるタイミングに応じて、複数のユーザの各々のパターンを複数のクラスタに分類する。

【0083】

例えば、生成部３１４は、複数のユーザの頭部の動きを示すパターンの各々について、頭部を下げる回数と、タイミングのずれを示す指標とを算出する。タイミングのずれを示す指標は、例えば、α％（例えば、６０％）のユーザが頭部を下げているときに頭部を下げていなかった回数とすることができる。そして、生成部３１４は、図１４に示すように、頭部を下げる回数及びタイミングのずれを示す指標をそれぞれ正規化した値を用いて、例えば、Ｋ－ｍｅａｎｓなどの手法により、各パターンをクラスタリングする。なお、Ｋ－ｍｅａｎｓによってクラスタリングする場合、ｋ＝３前後とすることができる。また、生成部３１４は、クラスタ内の要素（パターン）が１つしかない場合は、そのクラスタを最近傍のクラスタと結合する。

【0084】

なお、本実施形態では、頭部を下げる回数及びタイミングのずれを示す指標を用いて各パターンをクラスタリングする場合について説明するが、いずれか一方を用いたクラスタリングや、他の指標を用いたクラスタリングを行ってもよい。

【0085】

ただし、図１５のＣに示すように、頭部を下げる回数によるクラスタリングの場合、頭部の動きの傾向が異なるパターンが、同じクラスタに分類される可能性がある。例えば、図１５中のＤに示すように、頭部を下げるタイミングのずれも用いてクラスタリングした場合では、異なるクラスタに属するパターン（黒丸で示すパターンと、ドットの丸で示すパターン）が、同じクラスタに分類される。

【0086】

また、頭部を下げるタイミングのずれも用いてクラスタリングした場合では分類可能なパターン（白丸で示すパターンと、チェックの丸で示すパターン）が、図１５中のＥに示すように、頭部を下げる回数のみでは分類困難になる場合もある。

【0087】

本実施形態のように、頭部を下げる回数及びタイミングのずれを示す指標を用いて各パターンをクラスタリングすることにより、ユーザ毎の頭部の動きの傾向を、より適切に分類することができる。

【0088】

生成部３１４は、各クラスタに属するパターンの平均をとって、クラスタ毎に平均パターンを生成する。平均パターンの生成方法は第１実施形態と同様である。

【0089】

ここで、クラスタ中心から大きく外れたパターンが同一クラスタとして分類されてしまった場合、そのクラスタに属するパターンから平均パターンを生成する際に、大きく外れた値の影響を受けてしまう。そこで、クラスタ中心から大きく外れたパターンの影響を軽減して平均パターンを生成するために、生成部３１４は、クラスタ中心からｐ＊σ離れているパターンは、そのクラスタについての平均パターンを生成する際に除外する。なお、ｐは係数であり、σはクラスタの分散である。ｐの値は、頭部を下げる回数が多いほどタイミングがずれる可能性が高くなることを考慮して、頭部を下げる回数が多いクラスタほど大きな値になるように設定する。

【0090】

生成部３１４は、各クラスタに属するパターンの情報と、生成したクラスタ毎の平均パターンとを、平均パターンＤＢ３２２に記憶する。図１６に、平均パターンＤＢ３２２の一例を示す。図１６の例では、平均パターンＤＢ３２２は、各クラスタに属するパターンの情報が記憶されたクラスタ－パターンテーブル３２２Ａと、クラスタ毎の平均パターンが記憶された平均パターンテーブル３２２Ｂとを含む。クラスタ－パターンテーブル３２２Ａには、各クラスタの識別情報である「クラスタ」と、各クラスタに属する「パターン」とが対応付けて記憶されている。

【0091】

算出部３１６は、対象ユーザの頭部の動きを示すパターンが分類されるクラスタに属するパターンから生成された平均パターンと、対象ユーザのパターンとの相関度を算出する。

【0092】

具体的には、算出部３１６は、平均パターンＤＢ３２２のクラスタ－パターンテーブル３２２Ａから、クラスタ毎に、任意の数のサンプルを選択し、対象ユーザのパターンと、サンプルとの距離を算出する。算出部３１６は、算出した距離を用いて、例えば、Ｋ－ＮＮ（K-Nearest Neighbor）などで最も近いクラスタを決定する。

【0093】

なお、クラスタの決定は上記の方法に限定されない。例えば、クラスタ－パターンテーブル３２２Ａに代えて、各クラスタを特定するための情報であるクラスタ中心や分散の情報を記憶しておき、対象ユーザのパターンと、各クラスタ中心との距離に基づいて、対象ユーザのパターンが属するクラスタを決定してもよい。

【0094】

また、算出部３１６は、対象ユーザのパターンが、いずれのクラスタ中心からも所定距離（例えば、上記のｐ＊σ）以上離れている場合には、該当するクラスタがないことを示す情報を、評価部３１８へ通知する。

【0095】

評価部３１８は、第２実施形態における評価部２１８と同様に、区間Ｓｉ毎に、平均パターンとの相関度ａ_ｉと重要度ω_ｉとを用いて、評価値Ｖを算出する。

【0096】

また、評価部３１８は、ある区間Ｓｉの対象ユーザのパターンについて、該当するクラスタがないことを示す情報が算出部３１６から通知された場合には、その区間Ｓｉについての集中度の評価値Ｖを０とする。

【0097】

集中度評価装置３１０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、集中度評価装置３１０として機能させるための集中度評価プログラム３５０が記憶される。集中度評価プログラム３５０は、検出プロセス５２と、生成プロセス３５４と、算出プロセス３５６と、評価プロセス３５８とを有する。また、記憶部４３は、平均パターンＤＢ３２２及び重要度ＤＢ２６の各々を構成する情報が記憶される情報記憶領域６０を有する。

【0098】

ＣＰＵ４１は、集中度評価プログラム３５０を記憶部４３から読み出してメモリ４２に展開し、集中度評価プログラム３５０が有するプロセスを順次実行する。ＣＰＵ４１は、検出プロセス５２を実行することで、図９に示す検出部１２として動作する。また、ＣＰＵ４１は、生成プロセス３５４を実行することで、図９に示す生成部３１４として動作する。また、ＣＰＵ４１は、算出プロセス３５６を実行することで、図９に示す算出部３１６として動作する。また、ＣＰＵ４１は、評価プロセス３５８を実行することで、図９に示す評価部３１８として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、平均パターンＤＢ３２２及び重要度ＤＢ２６の各々をメモリ４２に展開する。これにより、集中度評価プログラム３５０を実行したコンピュータ４０が、集中度評価装置３１０として機能することになる。

【0099】

なお、集中度評価プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0100】

次に、第３実施形態に係る集中度評価装置３１０の作用について説明する。第３実施形態では、評価処理が第１及び第２実施形態と異なるため、図１７を参照して、第３実施形態における評価処理について説明する。なお、第１実施形態における評価処理（図８）又は第２実施形態における評価処理（図１３）と同一の処理については、同一符号を付して詳細な説明を省略する。

【0101】

図１７のステップＳ２２～Ｓ３２を経て、一定時間Ｓ分の対象ユーザのパターンが検出され、講義動画の一定時間Ｓに含まれる区間Ｓｉの重要度ω_ｉの平均が閾値以上であると判定されると、次のステップＳ４２へ移行する。

【0102】

ステップＳ４２では、算出部３１６が、平均パターンＤＢ３２２のクラスタ－パターンテーブル３２２Ａから、クラスタ毎に、任意の数のサンプルを選択し、対象ユーザのパターンと、サンプルとの距離を算出する。そして、算出部３１６は、算出した距離を用いて、例えば、Ｋ－ＮＮ（K-Nearest Neighbor）などで最も近いクラスタを決定する。

【0103】

次に、ステップＳ４４で、算出部３１６が、対象ユーザのパターンが、いずれのクラスタ中心からも所定距離（例えば、上記のｐ＊σ）以上離れているか否かを判定することにより、対象ユーザのパターンが外れ値か否かを判定する。対象ユーザのパターンが外れ値の場合には、ステップＳ４６へ移行し、外れ値ではない場合には、ステップＳ３４へ移行する。

【0104】

ステップＳ４６では、算出部３１６が、対象ユーザのパターンについて、該当するクラスタがないことを示す情報を、評価部３１８へ通知する。そして、評価部３１８が、その区間Ｓｉについての集中度の評価値Ｖを０として所定の記録領域に記録し、ステップＳ２０へ移行する。

【0105】

ステップＳ３４で、算出部３１６が、一定時間Ｓを、重要度ＤＢ２６に記憶されている各区間に対応させた区間Ｓｉ（ｉ＝１，２，・・・，ｎ）に分割する。

【0106】

次に、ステップＳ３２６で、算出部３１６が、上記ステップＳ４２で決定したクラスタの平均パターンを平均パターンＤＢ３２２の平均パターンテーブル３２２Ｂから取得し、対象ユーザのパターンとの相関度ａ_ｉを区間Ｓｉ毎に算出する。

【0107】

以下、第２実施形態と同様に、ステップＳ２２８、Ｓ２０、及びＳ２２が実行されて、評価処理は終了する。

【0108】

以上説明したように、第３実施形態に係る集中度評価装置は、講義動画を視聴中の対象ユーザの頭部の動きを示すパターンを検出する。集中度評価装置は、複数のユーザが同一の講義動画を視聴した際に検出された複数のユーザの各々のパターンをクラスタリングし、各クラスタに属するパターンを平均した平均パターンを生成する。そして、集中度評価装置は、対象ユーザのパターンと、そのパターンが属するクラスタの平均パターンとの相関度を算出する。そして、集中度評価装置は、講義動画の内容的な重要性を示す重要度と、算出した相関度とに基づいて、講義動画の視聴に対する対象ユーザの集中度を評価する。これにより、頭部の動きに同じような傾向があるユーザ群の平均パターンとの相関度を集中度の評価に用いることができるため、第２実施形態の効果に加え、対象ユーザの頭部の動きの傾向を考慮し、より適切に集中度を評価することができる。

【0109】

なお、上記の各実施形態により得られる集中度の評価結果を、講義動画の識別情報と対応付けて管理するようにしてもよい。例えば、集中度評価装置から、講義動画を配信するコンテンツ配信サーバに、集中度の評価結果を送信し、コンテンツ配信サーバにおいて、受信した評価結果を講義動画の識別情報と対応付けて記憶しておくことができる。これにより、集中度の評価結果の情報を、コンテンツ制作者や、講義を行う講師などが、フィードバック情報として利用することができる。

【0110】

また、評価結果は、図５に示す評価値ＤＢから導出される評価値や、相関度及び重要度から算出される評価値に限定されない。例えば、導出又は算出された評価値が所定の閾値以上の場合には「集中している」、閾値未満の場合には「集中していない」という評価結果を出力するようにしてもよい。

【0111】

また、第３実施形態において、対象ユーザのパターンを適宜該当のクラスタに追加していき、任意のタイミングで再度クラスタリングを行うようにしてもよい。

【0112】

また、複数のユーザのパターンをクラスタリングする際、そのパターンは、コンテンツ（上記実施形態の例では講義動画）全体におけるパターンであってもよいし、区間Ｓｉ毎のパターンであってもよい。後者の場合、区間Ｓｉ毎に、図１４に示すようなクラスタ結果が生成されることになる。

【0113】

また、上記第２及び第３実施形態では、予め区間毎に重要度を定義しておく場合について説明したが、講義動画の各時間に対して重要度を定義しておいてもよい。この場合、一定時間Ｓにおける重要度の平均は、その一定時間に含まれる各時間の重要度の平均として算出すればよい。また、重要度と相関度とに基づいて評価値を算出する際には、各区間に含まれる各時間の重要度の平均と、その区間の相関度との内積等により、評価値を算出すればよい。

【0114】

上記各実施形態は、複数のユーザが同一の場所で同時に講義動画を視聴する場合にも適用できるが、その場合に限らず、各ユーザが個別に講義動画を視聴する際にも適用することができる。

【0115】

また、上記実施形態では、集中度評価プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【0116】

以上の各実施形態に関し、さらに以下の付記を開示する。

【0117】

（付記１）
動画を視聴中の対象ユーザの頭部の動きを検出し、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出し、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する
ことを含む処理をコンピュータに実行させるための集中度評価プログラム。

【0118】

（付記２）
前記頭部の動きとして、前記頭部の向きの時間的変化を検出する付記１に記載の集中度評価プログラム。

【0119】

（付記３）
前記複数のユーザの各々の頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する付記１又は付記２に記載の集中度評価プログラム。

【0120】

（付記４）
前記複数のユーザの各々の頭部の動きを複数のクラスタに分類し、
前記対象ユーザの頭部の動きが分類されるクラスタに属するユーザの頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する
付記１～付記３のいずれか１項に記載の集中度評価プログラム。

【0121】

（付記５）
頭部の下がる回数及び頭部の下がるタイミングに応じて、前記複数のユーザの各々の頭部の動きを前記複数のクラスタに分類する付記４に記載の集中度評価プログラム。

【0122】

（付記６）
同一のクラスタに分類されたユーザの頭部の動きのうち、前記クラスタの中心からの距離が所定値以内のユーザの頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する付記４又は付記５に記載の集中度評価プログラム。

【0123】

（付記７）
前記対象ユーザの頭部の動きが、いずれのクラスタの中心からも所定距離以上離れている場合に、前記動画の視聴に対して、前記対象ユーザは集中していないと評価する付記４～付記６のいずれか１項に記載の集中度評価プログラム。

【0124】

（付記８）
前記相関度が高いほど、前記対象ユーザの集中度が高いと評価する付記１～付記７のいずれか１項に記載の集中度評価プログラム。

【0125】

（付記９）
前記動画の内容に関する重要度が高いほど、かつ前記相関度が高いほど、前記対象ユーザの集中度が高いと評価する付記１～付記８のいずれか１項に記載の集中度評価プログラム。

【0126】

（付記１０）
集中度の評価結果を、前記動画の識別情報と対応付けて管理する付記１～付記９のいずれか１項に記載の集中度評価プログラム。

【0127】

（付記１１）
前記対象ユーザ及び前記複数のユーザの各々が、前記動画を個別に視聴している際の前記頭部の動きを検出する付記１～付記１０のいずれか１項に記載の集中度評価プログラム。

【0128】

（付記１２）
動画を視聴中の対象ユーザの頭部の動きを検出する検出部と、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する算出部と、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する評価部と、
を含む集中度評価装置。

【0129】

（付記１３）
前記検出部は、前記頭部の動きとして、前記頭部の向きの時間的変化を検出する付記１２に記載の集中度評価装置。

【0130】

（付記１４）
前記算出部は、前記複数のユーザの各々の頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する付記１２又は付記１３に記載の集中度評価装置。

【0131】

（付記１５）
前記複数のユーザの各々の頭部の動きを複数のクラスタに分類する生成部を含み、
前記算出部は、前記対象ユーザの頭部の動きが分類されるクラスタに属するユーザの頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出する
付記１２～付記１４のいずれか１項に記載の集中度評価装置。

【0132】

（付記１６）
前記生成部は、頭部の下がる回数及び頭部の下がるタイミングに応じて、前記複数のユーザの各々の頭部の動きを前記複数のクラスタに分類する付記１５に記載の集中度評価装置。

【0133】

（付記１７）
前記算出部は、同一のクラスタに分類されたユーザの頭部の動きのうち、前記クラスタの中心からの距離が所定値以内のユーザの頭部の動きの平均に対する、前記対象ユーザの頭部の動きの相関度を算出する付記１５又は付記１６に記載の集中度評価装置。

【0134】

（付記１８）
前記評価部は、前記対象ユーザの頭部の動きが、いずれのクラスタの中心からも所定距離以上離れている場合に、前記動画の視聴に対して、前記対象ユーザは集中していないと評価する付記１２～付記１７のいずれか１項に記載の集中度評価装置。

【0135】

（付記１９）
動画を視聴中の対象ユーザの頭部の動きを検出し、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出し、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する
ことを含む処理をコンピュータが実行する集中度評価方法。

【0136】

（付記２０）
動画を視聴中の対象ユーザの頭部の動きを検出し、
複数のユーザが前記動画を視聴した際に検出された前記複数のユーザの各々の頭部の動きに対する、前記対象ユーザの頭部の動きの相関度を算出し、
算出された前記相関度に基づいて、前記動画の視聴に対する前記対象ユーザの集中度を評価する
ことを含む処理をコンピュータに実行させるための集中度評価プログラムを記憶した記憶媒体。

【符号の説明】

【0137】

１０、２１０、３１０ 集中度評価装置
１２ 検出部
１４、３１４ 生成部
１６、３１６ 算出部
１８、２１８、３１８ 評価部
２２、３２２ 平均パターンＤＢ
２４ 評価値ＤＢ
２６ 重要度ＤＢ
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０、３５０ 集中度評価プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】