特許 7656183 集中度判定プログラム、集中度判定方法、および集中度判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-26

(45)【発行日】2025-04-03

(54)【発明の名称】集中度判定プログラム、集中度判定方法、および集中度判定装置

(51)【国際特許分類】

   H04N 23/61 20230101AFI20250327BHJP

   G06F 3/01 20060101ALI20250327BHJP

   G09B 19/00 20060101ALI20250327BHJP

   G06Q 10/0639 20230101ALI20250327BHJP

   H04N 23/60 20230101ALI20250327BHJP

【ＦＩ】

H04N23/61

G06F3/01 510

G09B19/00 G

G06Q10/0639

H04N23/60 500

【請求項の数】 10

(21)【出願番号】P 2021086472

(22)【出願日】2021-05-21

(65)【公開番号】P2022179178

(43)【公開日】2022-12-02

【審査請求日】2024-02-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】川村 亮介

(72)【発明者】

【氏名】村瀬 健太郎

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２０１６－２２４１４２（ＪＰ，Ａ）

【文献】特開２０１９－２１５７３１（ＪＰ，Ａ）

【文献】特開２０１５－２２２４７０（ＪＰ，Ａ）

【文献】特開２０１５－１９４８０９（ＪＰ，Ａ）

【文献】特開２０１４－１８２４５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０６Ｆ ３／０１

Ｇ０９Ｂ １９／００

Ｇ０６Ｑ １０／０６３９

(57)【特許請求の範囲】

【請求項1】

第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
処理をコンピュータに実行させることを特徴とする集中度判定プログラム。

【請求項2】

複数のユーザのそれぞれの前記画像上の視線位置に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の集中度判定プログラム。

【請求項3】

前記画像の内容を解析した解析結果に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の集中度判定プログラム。

【請求項4】

複数のユーザのそれぞれの前記画像上の視線位置と前記画像の内容を解析した解析結果とに基づいて、前記複数のユーザのうち閾値以上の数のユーザの前記画像上の視線位置を含み、かつ、前記画像に含まれる所定の内容を表す特定の領域の候補を抽出し、抽出した前記候補に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の集中度判定プログラム。

【請求項5】

前記第１の特定の領域と前記第２の特定の領域とを特定する処理は、前記画像の内容に関連する前記画像に付随する付随情報に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する処理を含む、ことを特徴とする請求項３に記載の集中度判定プログラム。

【請求項6】

前記第１の特定の領域は、前記第１のタイミングに複数のユーザのうち第１の閾値以上の数のユーザの視線位置が含まれる領域であり、
前記第２の特定の領域は、前記第３のタイミングに前記複数のユーザのうち第２の閾値以上の数のユーザの視線位置が含まれる領域である、ことを特徴とする請求項１～３のいずれか一つに記載の集中度判定プログラム。

【請求項7】

前記第２のタイミングは、第１の複数のタイミングを含み、
前記第３のタイミングは、第２の複数のタイミングを含み、
前記第２の視線位置は、前記第１の複数のタイミングのそれぞれにおける前記ユーザの前記画像上の複数の視線位置を含み、
前記第２の特定の領域は、前記第２の複数のタイミングのそれぞれに対応する複数の特定の領域を含み、
前記遷移を特定する処理は、前記第１の視線位置と前記複数の視線位置とに基づいた前記ユーザの視線位置の遷移を特定する処理を含み、
前記判定する処理は、前記第１の特定の領域と前記複数の特定の領域との間の位置変化と前記遷移との比較に基づいて、前記ユーザの集中度を判定する処理を含む、ことを特徴とする請求項１～６のいずれか一つに記載の集中度判定プログラム。

【請求項8】

前記判定する処理は、前記位置変化を示す軌跡と前記遷移を示す軌跡との距離に基づいて、前記ユーザの集中度を判定する処理を含む、ことを特徴とする請求項１～７のいずれか一つに記載の集中度判定プログラム。

【請求項9】

第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
処理をコンピュータが実行することを特徴とする集中度判定方法。

【請求項10】

第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
制御部を有することを特徴とする集中度判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、集中度判定プログラム、集中度判定方法、および集中度判定装置に関する。

【背景技術】

【0002】

従来、ネットワークを介して、ユーザが講義動画などのコンテンツを閲覧する技術がある。この際、対面講義とは異なり、講師が、ユーザの受講態度などを把握することが難しいため、自動で、コンテンツに対してユーザの意識が集中している度合い（集中度）を判定することが求められる場合がある。これに対し、例えば、ユーザが、所定のタイミングに、講師により予め指定された方向を向いている場合に、ユーザの集中度が比較的高いと判定することが考えられる。

【0003】

先行技術としては、例えば、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出し、検出した人物の状態から集中度を算出するものがある。また、例えば、講義を受講する受講者を撮影するために取得された画像に基づいて、受講者が講義に集中しているか否かに関する判定を行う技術がある。また、例えば、映像に含まれる複数のオブジェクトに対応するオブジェクト領域を取得し、複数のオブジェクトの順番と、オブジェクト領域の位置とに基づいて、オブジェクト領域を繋ぐ方法を決定する技術がある。また、例えば、生徒から離れた位置にあるセンサーで、生徒の意思に基づく入力に関連するデータを獲得し、獲得したデータを分析し、教材が表示されたウィンドウと別のウィンドウのどちらに入力されたものかを判断し、生徒の集中力レベルを測定する技術がある。また、例えば、生徒の行動を、分離した画像センサーで監視し、監視結果を分析し、生徒の行動から集中力を自動的に評価し、評価に基づいて生徒の行動に対処する技術がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１０００３３号公報

【文献】特開２０２１－０１８３１６号公報

【文献】特開２０１４－２０７６６２号公報

【文献】米国特許出願公開第２０１２／０２３７９２０号明細書

【文献】米国特許出願公開第２０１３／０２０１３１９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、ユーザの集中度を精度よく判定することが難しい。例えば、ユーザは、予め指定された方向を向いていなくても、コンテンツに集中していないとは限らず、ユーザが、予め指定された方向を向いているか否かに基づいて、ユーザの集中度を精度よく判定することが難しい。

【0006】

１つの側面では、本発明は、ユーザの集中度を精度よく判定することを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する集中度判定プログラム、集中度判定方法、および集中度判定装置が提案される。

【発明の効果】

【0008】

一態様によれば、ユーザの集中度を精度よく判定することが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる集中度判定方法の一実施例を示す説明図である。

【図2】図２は、集中度判定システム２００の一例を示す説明図である。

【図3】図３は、集中度判定装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、視線位置管理テーブル４００の記憶内容の一例を示す説明図である。

【図5】図５は、滞留点管理テーブル５００の記憶内容の一例を示す説明図である。

【図6】図６は、重要領域管理テーブル６００の記憶内容の一例を示す説明図である。

【図7】図７は、ユーザ側装置２０１のハードウェア構成例を示すブロック図である。

【図8】図８は、集中度判定装置１００の機能的構成例を示すブロック図である。

【図9】図９は、集中度判定装置１００の機能的構成例を示すブロック図である。

【図10】図１０は、集中度判定装置１００の動作例を示す説明図である。

【図11】図１１は、重要領域を認識する具体例を示す説明図（その１）である。

【図12】図１２は、重要領域を認識する具体例を示す説明図（その２）である。

【図13】図１３は、判定した結果を出力する具体例を示す説明図である。

【図14】図１４は、全体処理手順の一例を示すフローチャートである。

【図15】図１５は、評価処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる集中度判定プログラム、集中度判定方法、および集中度判定装置の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる集中度判定方法の一実施例）
図１は、実施の形態にかかる集中度判定方法の一実施例を示す説明図である。集中度判定装置１００は、コンテンツに対するユーザの集中度を判定するためのコンピュータである。コンテンツは、例えば、講義などに関する画像である。画像は、具体的には、静止画像である。画像は、具体的には、動画像であってもよい。

【0012】

集中度は、ユーザの意識が集中している度合いを示す。集中度は、例えば、コンテンツに対してユーザがどの程度意識を傾けており、他の物事に気を取られていないかを示してもよい。集中度は、例えば、ユーザがコンテンツを閲覧することにどの程度積極的であるかを示していてもよい。集中度は、例えば、ユーザがコンテンツの内容をどの程度理解しており、講師の説明に付いていけているかを示していてもよい。

【0013】

従来、ネットワークを介して、ユーザが講義に関するコンテンツを閲覧し、講義を受けるような受講サービスが存在する。通信技術の発達に伴い、かかる受講サービスが利用される機会が増加する傾向がある。

【0014】

ここで、対面講義では、講師が、ユーザを直接視認し、ユーザの受講態度などを把握し易く、コンテンツに対するユーザの集中度を評価し易い傾向がある。一方で、かかる受講サービスでは、講師が、ユーザを直接視認することができない場合があり、ユーザの受講態度などを把握することが難しいことがあり、コンテンツに対するユーザの集中度を評価することが難しいことがある。

【0015】

このため、自動で、コンテンツに対するユーザの集中度を判定することが求められる。しかしながら、従来技術では、コンテンツに対するユーザの集中度を精度よく判定することは難しい。例えば、コンテンツを閲覧するユーザの表情を認識し、コンテンツに対するユーザの集中度を判定しようとする手法が考えられる。この手法では、ユーザの集中度を精度よく判定することが難しいという問題がある。例えば、この手法では、ユーザの表情は、ユーザの集中度への依存度合いが比較的低いため、ユーザの集中度を精度よく判定することが難しい。

【0016】

また、例えば、ユーザがコンテンツを閲覧中、ユーザが向いている方向を検出し、ユーザが、所定のタイミングに、講師により予め指定された方向を向いている場合に、ユーザの集中度が比較的高いと判定する手法が考えられる。方向は、例えば、コンテンツである画像上のいずれかの箇所への向きである。指定された方向は、例えば、コンテンツである画像上で、所定のタイミングに講師が説明中の箇所への向きである。指定された方向は、具体的には、講義上重要な内容が示されると講師が判断した箇所への向きである。

【0017】

この手法では、ユーザの集中度を精度よく判定することが難しいという問題がある。例えば、この手法では、ユーザが、予め指定された方向を向いていなくても、コンテンツに集中していないとは限らないため、ユーザの集中度を精度よく判定することが難しい。具体的には、所定のタイミングに講師が説明中の箇所への方向が予め指定されている場合、所定のタイミングにユーザは、講師が次に説明予定の箇所への方向を向き、講師の説明に先行してコンテンツの内容を理解しようとすることがある。この場合、ユーザの集中度が比較的高いと評価することが好ましいものの、この手法では、ユーザの集中度が比較的低いと評価することになり、ユーザの集中度を精度よく判定することが難しい。

【0018】

そこで、本実施の形態では、画像上のユーザの視線位置の遷移に基づいて、ユーザの集中度を精度よく判定することができる集中度判定方法について説明する。

【0019】

図１において、集中度判定装置１００は、画像１１０を閲覧する対象のユーザの視線位置を検出可能である。視線位置は、対象のユーザが視線を合わせた画像１１０上の箇所である。視線位置は、例えば、画像１１０上の座標で示される。視線位置は、例えば、画像１１０上の範囲で示されてもよい。対象のユーザの視線は、例えば、画像１１０上を線１２０に沿って動いたとする。

【0020】

また、集中度判定装置１００は、画像１１０上の特定の領域を特定する。特定の領域は、例えば、講義で比較的重要な内容を示す領域である。特定の領域は、例えば、数式が映った領域である。特定の領域は、具体的には、講師によって指定された領域であってもよい。特定の領域は、具体的には、一定数以上のユーザの視線位置が集中した領域であってもよい。集中度判定装置１００は、例えば、画像１１０上の第１の特定の領域１１１（Ａ）と第２の特定の領域（Ｂ）とを特定する。

【0021】

（１－１）集中度判定装置１００は、第１のタイミングにおける対象のユーザの画像１１０上の第１の視線位置１０１を特定する。第１のタイミングは、例えば、予め講師によって指定されたタイミングである。第１のタイミングは、例えば、講師が所定のキーワードを発話したタイミングであってもよい。第１のタイミングは、例えば、一定数以上のユーザが所定の行動を行ったタイミングであってもよい。第１のタイミングは、具体的には、一定数以上のユーザの視線位置が所定の大きさの領域に集中したタイミングであってもよい。第１のタイミングは、例えば、時点である。第１のタイミングは、例えば、期間であってもよい。第１の視線位置１０１に、第１のタイミングに対象のユーザの視線が滞留した、対象のユーザの視線位置を代表する画像１１０上の滞留点が採用されてもよい。

【0022】

（１－２）集中度判定装置１００は、画像１１０に含まれる第１のタイミングに対応する第１の特定の領域１１１を特定する。集中度判定装置１００は、例えば、特定した画像１１０上の特定の領域のうち、第１のタイミングに講師が説明中の内容または箇所に対応する第１の特定の領域１１１を特定する。集中度判定装置１００は、具体的には、特定した画像１１０上の特定の領域のうち、第１のタイミングに講師がポインタで指定する箇所に最も近い第１の特定の領域１１１を特定する。ポインタは、画像１１０上に重ね合わせて表示される目印である。

【0023】

（１－３）集中度判定装置１００は、特定した第１の特定の領域１１１と特定した第１の視線位置１０１とが一致するか否かを判定する。集中度判定装置１００は、例えば、特定した第１の特定の領域１１１に特定した第１の視線位置１０１の全部または一部が包含される場合、一致すると判定する。一方で、集中度判定装置１００は、例えば、特定した第１の特定の領域１１１に特定した第１の視線位置１０１の全部または一部が包含されない場合、一致しないと判定する。

【0024】

（１－４）集中度判定装置１００は、画像１１０に含まれる第１のタイミングに対応する第１の特定の領域１１１と第１の視線位置１０１とが一致せず異なる場合、第２のタイミングにおける対象のユーザの画像１１０上の第２の視線位置１０２を特定する。第２のタイミングは、例えば、第１のタイミングより前のタイミングである。第２のタイミングは、例えば、対象のユーザの視線が画像１１０上の同じ箇所に一定の時間とどまったタイミングである。第２のタイミングは、例えば、時点である。第２のタイミングは、例えば、期間であってもよい。第２の視線位置１０２に、第２のタイミングに対象のユーザの視線が滞留した、対象のユーザの視線位置を代表する画像１１０上の滞留点が採用されてもよい。

【0025】

（１－５）集中度判定装置１００は、特定した第１の視線位置１０１と特定した第２の視線位置１０２とに基づいた対象のユーザの視線位置の遷移を特定する。集中度判定装置１００は、例えば、特定した第１の視線位置１０１と特定した第２の視線位置１０２とを結ぶ、対象のユーザの視線位置の遷移を示す第１の線分を特定する。

【0026】

（１－６）集中度判定装置１００は、画像１１０に含まれる第３のタイミングに対応する第２の特定の領域１１２を特定する。第３のタイミングは、例えば、第１のタイミングの後のタイミングである。第３のタイミングは、例えば、予め講師によって指定されたタイミングである。第３のタイミングは、例えば、講師が所定のキーワードを発話したタイミングであってもよい。第３のタイミングは、例えば、一定数以上のユーザが所定の行動を行ったタイミングであってもよい。第３のタイミングは、具体的には、所定の数以上のユーザの視線位置が所定の大きさの領域に集中したタイミングであってもよい。第３のタイミングは、例えば、時点である。第３のタイミングは、例えば、期間であってもよい。

【0027】

集中度判定装置１００は、例えば、特定した画像１１０上の特定の領域のうち、第３のタイミングに講師が説明中の内容または箇所に対応する第２の特定の領域１１２を特定する。集中度判定装置１００は、具体的には、特定した画像１１０上の特定の領域のうち、第３のタイミングに講師がポインタで指定する箇所に最も近い第２の特定の領域１１２を特定する。

【0028】

（１－７）集中度判定装置１００は、特定した第１の特定の領域１１１と特定した第２の特定の領域１１２との間の位置変化を特定する。集中度判定装置１００は、例えば、特定した第１の特定の領域１１１と特定した第２の特定の領域１１２とを結ぶ、特定した第１の特定の領域１１１と特定した第２の特定の領域１１２との間の位置変化を示す第２の線分を特定する。

【0029】

（１－８）集中度判定装置１００は、特定した位置変化と特定した遷移との比較に基づいて、対象のユーザの集中度を判定する。集中度判定装置１００は、例えば、特定した位置変化と特定した遷移との類似度合いに基づいて、対象のユーザの集中度を判定する。

【0030】

類似度合いは、例えば、第１の線分と第２の線分との距離によって評価可能である。具体的には、第１の線分と第２の線分との距離が小さいほど、特定した位置変化と特定した遷移との類似度合いが大きいと評価される。集中度判定装置１００は、具体的には、特定した第１の線分と特定した第２の線分との距離に基づいて、対象のユーザの集中度を判定する。

【0031】

ここで、特定した位置変化と特定した遷移との類似度合いが比較的大きければ、対象のユーザは、講義の流れを理解しており、講義の内容を理解する意欲があり、講義の内容を理解不能ではなく、講師の説明に付いていけると考えられる。このため、特定した位置変化と特定した遷移との類似度合いが比較的大きい場合、対象のユーザの集中度が比較的高いと判断することが好ましいと考えられる。

【0032】

一方で、特定した位置変化と特定した遷移との類似度合いが比較的小さければ、対象のユーザは、講義の流れを理解困難であるか、講義の内容を理解する意欲が小さいか、講義の内容を理解困難であるか、または、講師の説明に付いていけていないかと考えられる。このため、特定した位置変化と特定した遷移との類似度合いが比較的小さい場合、対象のユーザの集中度が比較的低いと判断することが好ましいと考えられる。

【0033】

このため、集中度判定装置１００は、具体的には、特定した第１の線分と特定した第２の線分との距離が閾値以上である場合、対象のユーザの集中度が比較的高いと判定する。一方で、集中度判定装置１００は、具体的には、特定した第１の線分と特定した第２の線分との距離が閾値未満である場合、対象のユーザの集中度が比較的低いと判定する。

【0034】

（１－９）集中度判定装置１００は、判定した結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。集中度判定装置１００は、例えば、判定した結果を、講師が参照可能に出力する。集中度判定装置１００は、例えば、判定した結果を、対象のユーザが参照可能に出力してもよい。集中度判定装置１００は、例えば、対象のユーザの集中度が比較的低いと判定した場合、対象のユーザが参照可能にアラートを出力してもよい。集中度判定装置１００は、例えば、判定した結果を、統計処理に利用可能に出力してもよい。

【0035】

これにより、集中度判定装置１００は、対象のユーザの集中度を精度よく判定することができる。集中度判定装置１００は、例えば、対象ユーザが、第１のタイミングに第１の特定の領域１１１を向いていなくても、対象のユーザが、集中しているか否かを適切に判定することができる。集中度判定装置１００は、具体的には、対象のユーザが、第１のタイミングに、講師が以降に説明予定の箇所への方向を向いており、講義の流れを理解していれば、対象のユーザの集中度が比較的高いと適切に判定することができる。

【0036】

ここでは、集中度判定装置１００が、対象のユーザの集中度が比較的高いか、または、比較的低いかを判定する場合について説明したが、これに限らない。例えば、集中度判定装置１００が、対象のユーザの集中度を、値として算出する場合があってもよい。具体的には、集中度判定装置１００は、特定した第１の線分と特定した第２の線分との距離を示す値、または、当該距離に重み付けして得た値などを、対象のユーザの集中度として算出する。

【0037】

ここでは、集中度判定装置１００が、２点の特定の領域の間の位置変化と２点の視線位置の間の遷移との比較に基づいて、対象のユーザの集中度を判定する場合について説明したが、これに限らない。例えば、集中度判定装置１００が、３点以上の特定の領域にかかる位置変化と３点以上の視線位置にかかる遷移との比較に基づいて、対象のユーザの集中度を判定する場合があってもよい。また、例えば、位置変化にかかる領域の個数と遷移にかかる視線位置の個数とが異なる場合があってもよい。

【0038】

（集中度判定システム２００の一例）
次に、図２を用いて、図１に示した集中度判定装置１００を適用した、集中度判定システム２００の一例について説明する。

【0039】

図２は、集中度判定システム２００の一例を示す説明図である。図２において、集中度判定システム２００は、集中度判定装置１００と、ユーザ側装置２０１と、提供者側装置２０２とを含む。

【0040】

集中度判定システム２００において、集中度判定装置１００とユーザ側装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。集中度判定装置１００と提供者側装置２０２とは、有線または無線のネットワーク２１０を介して接続される。

【0041】

集中度判定システム２００は、例えば、画像の提供者である講師による当該画像に基づく講義を複数のユーザが受けるサービスに適用され、集中度判定装置１００により対象のユーザの集中度を判定可能にするシステムである。

【0042】

集中度判定装置１００は、図４～図６に後述する各種テーブルを記憶する。集中度判定装置１００は、それぞれのユーザ側装置２０１に表示された画像上の当該ユーザ側装置２０１を用いるユーザの視線位置を、当該ユーザ側装置２０１から受信する。集中度判定装置１００は、例えば、ユーザごとに、受信した当該ユーザの視線位置を、当該ユーザに対応付けて、図４に後述する視線位置管理テーブル４００に記憶する。集中度判定装置１００は、画像の内容に関連し、当該画像に付随する付随情報を、提供者側装置２０２から受信する。付随情報は、例えば、音声情報である。付随情報は、例えば、画像に重ねて表示されたポインタの画像上の位置を示す位置情報であってもよい。

【0043】

集中度判定装置１００は、受信した対象のユーザの視線位置に基づいて、対象のユーザの視線位置の遷移を特定する。集中度判定装置１００は、例えば、受信した対象のユーザの視線位置に基づいて、対象のユーザの視線が滞留した滞留点を特定し、特定した滞留点を順番に記録することにより、対象のユーザの視線位置の遷移を特定する。集中度判定装置１００は、具体的には、特定した滞留点を、図５に後述する滞留点管理テーブル５００に記憶する。

【0044】

集中度判定装置１００は、受信した視線位置に基づいて、画像上の特定の領域を特定する。特定の領域は、例えば、講義で比較的重要な内容を示す領域である。特定の領域は、例えば、数式が映った領域である。特定の領域は、具体的には、講師によって指定された領域であってもよい。特定の領域は、具体的には、一定数以上のユーザの視線位置が集中した領域であってもよい。以下の説明では、特定の領域を「重要領域」と表記する場合がある。集中度判定装置１００は、付随情報に基づいて、画像上の特定の領域を特定してもよい。集中度判定装置１００は、特定した重要領域を、図６に後述する重要領域管理テーブル６００に記憶する。

【0045】

集中度判定装置１００は、図４～図６に後述する各種テーブルに基づいて、所定のタイミングについて、対象のユーザの集中度を判定する。所定のタイミングは、例えば、予め画像の提供者によって指定されたタイミングである。所定のタイミングは、例えば、一定数以上のユーザの視線位置が同一の箇所に集中したタイミングであってもよい。所定のタイミングは、講義の開始から一定時間ごとのタイミングであってもよい。

【0046】

集中度判定装置１００は、例えば、複数の特定の領域にかかる位置変化と、対象のユーザの複数の視線位置にかかる遷移との比較に基づいて、対象のユーザの集中度を判定する。集中度判定装置１００は、判定した結果を出力する。集中度判定装置１００は、例えば、対象のユーザの集中度を、提供者側装置２０２に送信する。集中度判定装置１００は、例えば、対象のユーザの集中度を、対象のユーザによって用いられるユーザ側装置２０１に送信する。集中度判定装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0047】

ユーザ側装置２０１は、画像を閲覧するユーザによって用いられるコンピュータである。ユーザ側装置２０１は、提供者側装置２０２の制御に従い、提供者による講義に関する画像を、ユーザが閲覧可能に表示し、提供者による講義をユーザに受けさせる。ユーザ側装置２０１は、表示した画像上のユーザの視線位置を検出し、集中度判定装置１００に送信する。ユーザ側装置２０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0048】

提供者側装置２０２は、画像を提供する提供者によって用いられるコンピュータである。提供者側装置２０２は、講義に関する画像を、ユーザ側装置２０１に表示させ、提供者が講義を実施可能にし、提供者による講義をユーザに受けさせる。提供者側装置２０２は、提供者の操作入力に従い、画像に重ね合わせてポインタを、ユーザ側装置２０１に表示させてもよい。提供者側装置２０２は、提供者による講義の実施中、提供者の発話内容を示す音声情報、または、ユーザ側装置２０１に表示させた画像上のポインタの位置を示す位置情報などを、集中度判定装置１００に送信する。提供者側装置２０２は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0049】

ここでは、集中度判定装置１００とユーザ側装置２０１とが異なる装置である場合について説明したが、これに限らない。例えば、集中度判定装置１００が、ユーザ側装置２０１としての機能を有する場合があってもよい。この場合、集中度判定システム２００は、ユーザ側装置２０１を含まなくてもよい。ここでは、集中度判定装置１００と提供者側装置２０２とが異なる装置である場合について説明したが、これに限らない。例えば、集中度判定装置１００が、提供者側装置２０２としての機能を有する場合があってもよい。この場合、集中度判定システム２００は、提供者側装置２０２を含まなくてもよい。

【0050】

（集中度判定装置１００のハードウェア構成例）
次に、図３を用いて、集中度判定装置１００のハードウェア構成例について説明する。

【0051】

図３は、集中度判定装置１００のハードウェア構成例を示すブロック図である。図３において、集中度判定装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0052】

ここで、ＣＰＵ３０１は、集中度判定装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

【0053】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0054】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、集中度判定装置１００から着脱可能であってもよい。

【0055】

集中度判定装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、集中度判定装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、集中度判定装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0056】

（視線位置管理テーブル４００の記憶内容）
次に、図４を用いて、視線位置管理テーブル４００の記憶内容の一例について説明する。視線位置管理テーブル４００は、例えば、図３に示した集中度判定装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0057】

図４は、視線位置管理テーブル４００の記憶内容の一例を示す説明図である。図４に示すように、視線位置管理テーブル４００は、ユーザと、時点と、視線位置とのフィールドを有する。視線位置管理テーブル４００は、時点ごとに各フィールドに情報を設定することにより、視線位置管理情報がレコード４００－ａとして記憶される。ａは、任意の整数である。

【0058】

ユーザのフィールドには、例えば、ユーザを識別する識別情報が設定される。時点のフィールドには、例えば、上記ユーザが用いるユーザ側装置２０１で画像が表示され、上記ユーザが画像を閲覧可能になったタイミングを始点とした時点が設定される。視線位置のフィールドには、例えば、上記ユーザの視線位置を示す画像上の座標が設定される。

【0059】

（滞留点管理テーブル５００の記憶内容）
次に、図５を用いて、滞留点管理テーブル５００の記憶内容の一例について説明する。滞留点管理テーブル５００は、例えば、図３に示した集中度判定装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0060】

図５は、滞留点管理テーブル５００の記憶内容の一例を示す説明図である。図５に示すように、滞留点管理テーブル５００は、ユーザと、番号と、時点と、滞留点とのフィールドを有する。滞留点管理テーブル５００は、滞留点ごとに各フィールドに情報を設定することにより、滞留点管理情報がレコード５００－ｂとして記憶される。ｂは、任意の整数である。

【0061】

ユーザのフィールドには、例えば、ユーザを識別する識別情報が設定される。番号のフィールドには、例えば、上記ユーザが用いるユーザ側装置２０１で画像が表示され、上記ユーザが画像を閲覧可能になったタイミング以降、検出された滞留点の順番を示す番号が設定される。時点のフィールドには、例えば、上記ユーザが用いるユーザ側装置２０１で画像が表示され、上記ユーザが画像を閲覧可能になったタイミングを始点とした、滞留点が検出された時点が設定される。滞留点のフィールドには、例えば、上記ユーザの視線が滞留した滞留点を示す画像上の座標が設定される。

【0062】

（重要領域管理テーブル６００の記憶内容）
次に、図６を用いて、重要領域管理テーブル６００の記憶内容の一例について説明する。重要領域管理テーブル６００は、例えば、図３に示した集中度判定装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0063】

図６は、重要領域管理テーブル６００の記憶内容の一例を示す説明図である。図６に示すように、重要領域管理テーブル６００は、番号と、時点と、重要領域とのフィールドを有する。重要領域管理テーブル６００は、重要領域ごとに各フィールドに情報を設定することにより、重要領域管理情報がレコード６００－ｃとして記憶される。ｃは、任意の整数である。

【0064】

番号のフィールドには、提供者による講義において、重要領域が説明された順番を示す番号が設定される。時点のフィールドには、提供者による講義において、講義が開始されたタイミングを始点とした、重要領域が説明された時点が設定される。重要領域のフィールドには、重要領域を特定可能に示す領域情報が設定される。

【0065】

（ユーザ側装置２０１のハードウェア構成例）
次に、図７を用いて、図２に示した集中度判定システム２００に含まれるユーザ側装置２０１のハードウェア構成例について説明する。

【0066】

図７は、ユーザ側装置２０１のハードウェア構成例を示すブロック図である。図７において、ユーザ側装置２０１は、ＣＰＵ７０１と、メモリ７０２と、ネットワークＩ／Ｆ７０３と、記録媒体Ｉ／Ｆ７０４と、記録媒体７０５と、ディスプレイ７０６と、カメラ７０７とを有する。また、各構成部は、バス７００によってそれぞれ接続される。

【0067】

ここで、ＣＰＵ７０１は、ユーザ側装置２０１の全体の制御を司る。メモリ７０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ７０１のワークエリアとして使用される。メモリ７０２に記憶されるプログラムは、ＣＰＵ７０１にロードされることにより、コーディングされている処理をＣＰＵ７０１に実行させる。

【0068】

ネットワークＩ／Ｆ７０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ７０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ７０３は、例えば、モデムやＬＡＮアダプタなどである。

【0069】

記録媒体Ｉ／Ｆ７０４は、ＣＰＵ７０１の制御に従って記録媒体７０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ７０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体７０５は、記録媒体Ｉ／Ｆ７０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体７０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体７０５は、ユーザ側装置２０１から着脱可能であってもよい。

【0070】

ディスプレイ７０６は、画像を表示する。ディスプレイ７０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、機能情報などのデータを表示してもよい。ディスプレイ７０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。カメラ７０７は、撮像素子を有し、ユーザの顔または目を撮像する。カメラ７０７は、撮像したユーザの顔または目に基づき、ユーザの画像上の視線位置を特定可能にする。

【0071】

ユーザ側装置２０１は、上述した構成部の他、例えば、キーボード、マウス、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、ユーザ側装置２０１は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を複数有していてもよい。また、ユーザ側装置２０１は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を有していなくてもよい。

【0072】

（提供者側装置２０２のハードウェア構成例）
図２に示した集中度判定システム２００に含まれる提供者側装置２０２のハードウェア構成例は、具体的には、図７に示したユーザ側装置２０１のハードウェア構成例と同様であるため、説明を省略する。

【0073】

（集中度判定装置１００の機能的構成例）
次に、図８を用いて、集中度判定装置１００の機能的構成例について説明する。

【0074】

図８は、集中度判定装置１００の機能的構成例を示すブロック図である。集中度判定装置１００は、記憶部８００と、取得部８０１と、第１特定部８０２と、第１判定部８０３と、第２特定部８０４と、第２判定部８０５と、出力部８０６とを含む。

【0075】

記憶部８００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部８００が、集中度判定装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部８００が、集中度判定装置１００とは異なる装置に含まれ、記憶部８００の記憶内容が集中度判定装置１００から参照可能である場合があってもよい。

【0076】

取得部８０１～出力部８０６は、制御部の一例として機能する。取得部８０１～出力部８０６は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0077】

記憶部８００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部８００は、ユーザごとに、複数のタイミングのそれぞれのタイミングにおける、画像上の当該ユーザの視線位置を記憶する。タイミングは、例えば、時点である。タイミングは、例えば、時間幅を有してもよい。タイミングは、例えば、期間であってもよい。タイミングは、具体的には、比較的短い期間であってもよい。記憶部８００は、例えば、視線位置管理テーブル４００を記憶する。視線位置は、例えば、取得部８０１によって取得される。

【0078】

記憶部８００は、ユーザごとに、複数のタイミングのそれぞれのタイミングにおける、画像上の当該ユーザの視線が滞留した滞留点を記憶する。記憶部８００は、例えば、滞留点管理テーブル５００を記憶する。滞留点は、例えば、所定のタイミングにおける代表的な視線位置としても採用可能である。滞留点は、例えば、第１特定部８０２または第２特定部８０４によって特定される。

【0079】

記憶部８００は、画像を記憶する。記憶部８００は、所定の条件を満たす画像上の特定の領域を記憶する。特定の領域は、例えば、講義で比較的重要な内容を示す領域である。特定の領域は、具体的には、重要領域である。所定の条件は、例えば、所定の文字列、所定の数式、所定の図形、または、所定の色彩が映ることである。所定の条件は、講師によって指定されることである。所定の条件は、例えば、一定数以上のユーザの視線位置が集中したことである。所定の条件は、例えば、ポインタにより指定されることである。記憶部８００は、例えば、重要領域管理テーブル６００を記憶する。特定の領域は、例えば、第１特定部８０２によって特定される。

【0080】

取得部８０１は、各機能部の処理に用いられる各種情報を取得する。取得部８０１は、取得した各種情報を、記憶部８００に記憶し、または、各機能部に出力する。また、取得部８０１は、記憶部８００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部８０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部８０１は、例えば、集中度判定装置１００とは異なる装置から、各種情報を受信してもよい。

【0081】

取得部８０１は、例えば、画像を取得する。取得部８０１は、例えば、ユーザの画像上の視線位置を取得する。取得部８０１は、具体的には、ユーザの画像上の視線位置を、当該ユーザが用いるユーザ側装置２０１から受信することにより取得する。取得部８０１は、より具体的には、ユーザが画像を閲覧中のそれぞれのタイミングにおける、ユーザの画像上の視線位置を、当該ユーザが用いるユーザ側装置２０１から受信することにより取得する。

【0082】

取得部８０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。取得部８０１は、例えば、視線位置を取得したことを、第１特定部８０２と第２特定部８０４と第２判定部８０５との処理を開始する開始トリガーとして受け付ける。

【0083】

第１特定部８０２は、所定のタイミングにおけるユーザの画像上の視線位置を特定する。所定のタイミングは、例えば、複数のユーザのうち所定数以上のユーザの画像上の視線位置が同一の領域に含まれたタイミングである。所定のタイミングは、例えば、提供者によって指定されたタイミングであってもよい。所定のタイミングは、例えば、ユーザが所定の行動を行ったタイミングであってもよい。所定数は、閾値以上の数である。閾値は、例えば、予め設定される。

【0084】

第１特定部８０２は、例えば、第１のタイミングにおける対象のユーザの画像上の第１の視線位置を特定する。第１のタイミングは、複数のユーザのうち所定数以上のユーザの画像上の視線位置が同一の領域に含まれたタイミングである。第１のタイミングは、例えば、時点である。第１のタイミングは、例えば、期間であってもよい。第１のタイミングは、具体的には、比較的短い期間であってもよい。第１特定部８０２は、例えば、第１のタイミングにおける対象のユーザの視線が滞留した画像上の第１の滞留点を、第１の視線位置として特定してもよい。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0085】

第１特定部８０２は、例えば、第２のタイミングにおける対象のユーザの画像上の第２の視線位置を特定する。第２のタイミングは、第１のタイミングより前のタイミングである。第２のタイミングは、例えば、時点である。第２のタイミングは、例えば、期間であってもよい。第２のタイミングは、具体的には、比較的短い期間であってもよい。第１特定部８０２は、例えば、複数の第２のタイミングのそれぞれの第２のタイミングにおける対象のユーザの画像上の第２の視線位置を特定してもよい。第１特定部８０２は、例えば、第２のタイミングにおける対象のユーザの視線が滞留した画像上の第２の滞留点を、第２の視線位置として特定してもよい。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0086】

第１特定部８０２は、画像に含まれる特定の領域を特定する。第１特定部８０２は、例えば、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、画像に含まれる第１のタイミングに対応する第１の特定の領域を特定する。第１の特定の領域は、第１のタイミングに所定数以上のユーザの画像上の視線位置が含まれる領域である。第１の特定の領域は、例えば、第１のタイミングに複数のユーザのうち第１の閾値以上の数のユーザの視線位置が含まれる領域である。第１の閾値は、例えば、予め設定される。第１の閾値は、上記閾値とは異なる値であってもよい。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0087】

第１特定部８０２は、例えば、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、画像に含まれる第３のタイミングに対応する第２の特定の領域を特定する。第３のタイミングは、第１のタイミングの後のタイミングである。第３のタイミングは、複数のユーザのうち所定数以上のユーザの画像上の視線位置が同一の領域に含まれたタイミングである。第３のタイミングは、例えば、時点である。第３のタイミングは、例えば、期間であってもよい。第３のタイミングは、具体的には、比較的短い期間であってもよい。第２の特定の領域は、第３のタイミングに所定数以上のユーザの画像上の視線位置が含まれる領域である。第２の特定の領域は、例えば、第３のタイミングに複数のユーザのうち第２の閾値以上の数のユーザの視線位置が含まれる領域である。第２の閾値は、例えば、第１の閾値と同一の値であってもよい。第２の閾値は、例えば、上記閾値とは異なる値であってもよい。第１特定部８０２は、例えば、画像に含まれる複数の第３のタイミングのそれぞれの第３のタイミングに対応する第２の特定の領域を特定してもよい。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0088】

第１特定部８０２は、例えば、画像の内容を解析した解析結果に基づいて、第１の特定の領域と第２の特定の領域とを特定してもよい。第１特定部８０２は、具体的には、第１のタイミングにおける画像の内容を解析し、第１のタイミングに所定の数式、所定の文章、所定の図形、または、所定の色彩が映った画像上の領域を、第１の特定の領域として特定する。第１特定部８０２は、具体的には、第３のタイミングにおける画像の内容を解析し、第３のタイミングに所定の数式、所定の文章、所定の図形、または、所定の色彩が映った画像上の領域を、第２の特定の領域として特定する。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0089】

第１特定部８０２は、例えば、画像の内容に関連する画像に付随する付随情報に基づいて、第１の特定の領域と第２の特定の領域とを特定する。付随情報は、例えば、提供者の発話内容を示す音声情報、または、提供者によるポインタの位置を示す位置情報などである。第１特定部８０２は、具体的には、付随情報である音声情報に基づいて、所定の内容が発話された第１のタイミングに対応する第１の特定の領域を特定する。第１特定部８０２は、具体的には、付随情報である音声情報に基づいて、所定の内容が発話された第３のタイミングに対応する第２の特定の領域を特定する。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0090】

第１特定部８０２は、具体的には、付随情報である位置情報に基づいて、第１のタイミングに対応するポインタの位置が包含される第１の特定の領域を特定する。第１特定部８０２は、具体的には、付随情報である位置情報に基づいて、第３のタイミングに対応するポインタの位置が包含される第２の特定の領域を特定する。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0091】

第１特定部８０２は、例えば、複数のユーザのそれぞれのユーザの画像上の視線位置と画像の内容を解析した解析結果とに基づいて、所定数以上のユーザの画像上の視線位置を含む、画像に含まれる所定の内容を表す特定の領域の候補を抽出する。そして、第１特定部８０２は、例えば、抽出した候補に基づいて、第１の特定の領域と第２の特定の領域とを特定する。第１特定部８０２は、具体的には、所定の数式、所定の文章、所定の図形、または、所定の色彩が映り、所定数以上のユーザの画像上の視線位置が集中した、画像上の領域を、特定の領域の候補として抽出する。そして、第１特定部８０２は、具体的には、抽出した候補の中から、第１のタイミングに対応する第１の特定の領域と、第３のタイミングに対応する第２の特定の領域とを特定する。これにより、第１特定部８０２は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0092】

第１判定部８０３は、特定した第１の特定の領域と特定した第１の視線位置とが一致するか否かを判定する。第１判定部８０３は、一致すると判定した場合、対象のユーザの集中度が比較的高いと判定する。第１判定部８０３は、例えば、特定した第１の特定の領域に、特定した第１の視線位置が包含されるか否かを判定する。そして、第１判定部８０３は、例えば、特定した第１の特定の領域に、特定した第１の視線位置が包含される場合、第１の特定の領域と第１の視線位置とが一致すると判定する。第１判定部８０３は、例えば、一致すると判定した場合、対象のユーザの集中度が比較的高いと判定する。

【0093】

一方で、第１判定部８０３は、例えば、特定した第１の特定の領域に、特定した第１の視線位置が包含されない場合、第１の特定の領域と第１の視線位置とが一致せず異なると判定する。これにより、第１判定部８０３は、対象のユーザの集中度が比較的高い場合、対象のユーザの集中度が比較的高いと適切に判定することができる。また、第１判定部８０３は、対象のユーザの集中度が比較的高いと判定されなければ、第２特定部８０４と第２判定部８０５とに、別の観点から対象のユーザの集中度を判定させることができる。

【0094】

第２特定部８０４は、対象のユーザの視線が滞留した滞留点を特定する。第２特定部８０４は、一定幅の期間に、対象のユーザの視線位置が、画像上の所定の大きさの領域に集中していれば、対象のユーザの視線位置を統計処理し、対象のユーザの視線位置を代表する滞留点を特定する。これにより、第２特定部８０４は、対象のユーザの視線位置の遷移を特定可能にすることができる。

【0095】

第２特定部８０４は、対象のユーザの視線位置の遷移を特定する。第２特定部８０４は、例えば、特定した第１の特定の領域と特定した第１の視線位置とが異なる場合、第１の視線位置と第２の視線位置とに基づいた対象のユーザの視線位置の遷移を特定する。第２特定部８０４は、具体的には、第１の視線位置と第２の視線位置とを結ぶ、対象のユーザの視線位置の遷移を示す第１の線分を特定する。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0096】

第２特定部８０４は、具体的には、第１の視線位置に対応する第１の滞留点と第２の視線位置に対応する第２の滞留点とを結ぶ、対象のユーザの視線位置の遷移を示す第１の線分を特定してもよい。第１の視線位置に対応する第１の滞留点は、例えば、特定した滞留点のうち、第１の視線位置に最も近い位置にある滞留点である。第１の視線位置に対応する第１の滞留点は、例えば、特定した滞留点のうち、第１の視線位置と同様に第１のタイミングに対応する滞留点であってもよい。第２の視線位置に対応する第２の滞留点は、例えば、特定した滞留点のうち、第２の視線位置に最も近い位置にある滞留点である。第２の視線位置に対応する第２の滞留点は、例えば、特定した滞留点のうち、第２の視線位置と同様に第２のタイミングに対応する滞留点であってもよい。遷移は、例えば、第１の滞留点と、第２の滞留点とを時間順に順序付けた情報により表現されてもよい。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0097】

第２特定部８０４は、例えば、第１の視線位置と第１のタイミングより前の複数の第２のタイミングのそれぞれの第２のタイミングにおける対象のユーザの第２の視線位置とに基づいた対象のユーザの視線位置の遷移を特定する。第２特定部８０４は、具体的には、第１の視線位置と複数の第２の視線位置のそれぞれの第２の視線位置とを時間順に結ぶ、対象のユーザの視線位置の遷移を示す第１の軌跡を特定する。軌跡は、例えば、折れ線である。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0098】

第２特定部８０４は、具体的には、第１の視線位置に対応する第１の滞留点と複数の第２の視線位置のそれぞれの第２の視線位置に対応する第２の滞留点とを時間順に結ぶ、対象のユーザの視線位置の遷移を示す第１の線分を特定してもよい。遷移は、例えば、第１の滞留点と、複数の第２の滞留点とを時間順に順序付けた情報により表現されてもよい。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0099】

第２特定部８０４は、特定の領域の位置変化を特定する。第２特定部８０４は、例えば、特定した第１の特定の領域と特定した第２の特定の領域との間の位置変化を特定する。第２特定部８０４は、具体的には、特定した第１の特定の領域の代表点と特定した第２の特定の領域の代表点とを結ぶ、特定の領域の間の位置変化を示す第２の線分を特定する。代表点は、例えば、特定の領域の中心点である。位置変化は、例えば、第１の特定の領域と、第２の特定の領域とを時間順に順序付けた情報により表現されてもよい。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0100】

第２特定部８０４は、例えば、特定した第１の特定の領域と画像に含まれる複数の第３のタイミングのそれぞれの第３のタイミングに対応する第２の特定の領域との間の位置変化を特定してもよい。第２特定部８０４は、具体的には、特定した第１の特定の領域の代表点と特定した複数の第２の特定の領域のそれぞれの第２の特定の領域の代表点とを結ぶ、特定の領域の間の位置変化を示す第２の軌跡を特定する。位置変化は、例えば、第１の特定の領域と、複数の第２の特定の領域のそれぞれの第２の特定の領域とを時間順に順序付けた情報により表現されてもよい。これにより、第２特定部８０４は、対象のユーザの集中度を判定する指針となる情報を得ることができる。

【0101】

第２判定部８０５は、特定した位置変化と特定した遷移との比較に基づいて、対象のユーザの集中度を判定する。第２判定部８０５は、例えば、遷移を示す第１の線分と位置変化を示す第２の線分との距離に基づいて、対象のユーザの集中度を判定する。ここで、第２判定部８０５は、例えば、第１の線分と第２の線分との距離が閾値以上であれば、対象のユーザが集中していないと判定する。一方で、第２判定部８０５は、例えば、第１の線分と第２の線分との距離が閾値未満であれば、対象のユーザが集中していると判定する。これにより、第２判定部８０５は、対象のユーザの集中度を精度よく判定することができる。

【0102】

第２判定部８０５は、例えば、遷移を示す第１の軌跡と位置変化を示す第２の軌跡との距離に基づいて、対象のユーザの集中度を判定する。ここで、第２判定部８０５は、例えば、第１の軌跡と第２の軌跡との距離が閾値以上であれば、対象のユーザが集中していないと判定する。一方で、第２判定部８０５は、例えば、第１の軌跡と第２の軌跡との距離が閾値未満であれば、対象のユーザが集中していると判定する。これにより、第２判定部８０５は、対象のユーザの集中度を精度よく判定することができる。

【0103】

第２判定部８０５は、例えば、第１の滞留点と１以上の第２の滞留点とを順序付けた情報と、第１の特定の領域と１以上の第２の特定の領域とを順序付けた情報とが合致するか否かに基づいて、対象のユーザの集中度を判定してもよい。順序は、例えば、番号が昇順に付与されることにより示される。第２判定部８０５は、具体的には、それぞれの番号の滞留点が同一の番号の特定の領域に含まれる割合が閾値以上であれば、対象のユーザが集中していると判定する。また、第２判定部８０５は、具体的には、それぞれの番号の滞留点が同一の番号の特定の領域に含まれる割合が閾値未満であれば、対象のユーザが集中していないと判定する。これにより、第２判定部８０５は、対象のユーザの集中度を精度よく判定することができる。

【0104】

出力部８０６は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部８０６は、少なくともいずれかの機能部の処理結果を利用者に通知可能にし、集中度判定装置１００の利便性の向上を図ることができる。

【0105】

出力部８０６は、例えば、判定部で判定した結果を出力する。出力部８０６は、具体的には、判定した結果を表示する。また、出力部８０６は、具体的には、判定した結果を他のコンピュータに送信する。出力部８０６は、具体的には、判定した結果を、ユーザ側装置２０１または提供者側装置２０２に送信する。これにより、出力部８０６は、対象のユーザの集中度を利用可能にすることができる。

【0106】

（集中度判定装置１００の具体的な機能的構成例）
次に、図９を用いて、集中度判定装置１００の具体的な機能的構成例について説明する。

【0107】

図９は、集中度判定装置１００の機能的構成例を示すブロック図である。集中度判定装置１００は、視線検出装置９０１と、表示内容取得装置９０２とを通信可能である。集中度判定装置１００は、他者視線ＤＢ（ＤａｔａＢａｓｅ）９１０を有する。集中度判定装置１００は、制御部８１０を実現する、視線記録部９１１と、サッケード検出部９１２と、重要領域判定部９１３と、登場順序認識部９１４と、直線検出部９１５と、距離計算部９１６と、集中状態評価部９１７と、表示制御部９１８とを有する。集中度判定装置１００は、表示装置９２０と通信可能である。

【0108】

視線検出装置９０１は、講義時間中の複数のタイミングのそれぞれのタイミングにおける画像上のユーザの視線位置を検出する。視線検出装置９０１は、検出した講義時間中の複数のタイミングのそれぞれのタイミングにおける画像上のユーザの視線位置を、集中度判定装置１００に送信する。視線検出装置９０１は、例えば、ユーザ側装置２０１によって実現される。表示内容取得装置９０２は、画像を取得し、集中度判定装置１００に送信する。表示内容取得装置９０２は、例えば、提供者側装置２０２によって実現される。

【0109】

視線記録部９１１は、複数のユーザのそれぞれのユーザについて、講義時間中の複数のタイミングのそれぞれのタイミングにおける画像上の当該ユーザの視線位置を、視線検出装置９０１から受信する。視線記録部９１１は、それぞれのタイミングにおける画像上の対象のユーザの視線位置を、サッケード検出部９１２に送信する。視線記録部９１１は、それぞれのタイミングにおける画像上の対象のユーザ以外の他のユーザの視線位置を、他者視線ＤＢ９１０に記憶する。他者視線ＤＢ９１０は、具体的には、視線位置管理テーブル４００によって実現される。

【0110】

サッケード検出部９１２は、それぞれのタイミングにおける画像上の対象のユーザの視線位置に基づいて、対象のユーザの視線のサッケードを検出する。サッケード検出部９１２は、検出した対象のユーザの視線のサッケードに基づいて、講義時間中の２以上のタイミングのそれぞれのタイミングにおける、対象のユーザの視線が滞留した滞留点を検出し、直線検出部９１５に送信する。

【0111】

重要領域判定部９１３は、画像を、表示内容取得装置９０２から受信する。重要領域判定部９１３は、画像の内容を解析する。重要領域判定部９１３は、それぞれのタイミングにおける画像上の対象のユーザ以外の他のユーザの視線位置を、他者視線ＤＢ９１０から読み出す。

【0112】

重要領域判定部９１３は、画像の内容を解析した結果と、それぞれのタイミングにおける画像上の対象のユーザ以外の他のユーザの視線位置とに基づいて、講義時間中の２以上のタイミングのそれぞれのタイミングにおける画像上の重要領域を特定する。重要領域判定部９１３は、例えば、いずれかのタイミングにおいて、一定数以上の他のユーザの視線位置が集中した、所定の内容が記載された画像上の領域を、当該タイミングにおける画像上の重要領域として特定する。重要領域判定部９１３は、講義時間中の２以上のタイミングのそれぞれのタイミングにおける画像上の重要領域を、当該タイミングに対応付けて、登場順序認識部９１４に送信する。

【0113】

登場順序認識部９１４は、２以上のタイミングのそれぞれのタイミングにおける画像上の重要領域を、講義時間中の登場順序に従って順序付ける。登場順序認識部９１４は、順序付けた、２以上のタイミングのそれぞれのタイミングにおける画像上の重要領域を、直線検出部９１５に送信する。

【0114】

直線検出部９１５は、講義時間中の２以上のタイミングのそれぞれのタイミングにおける対象のユーザの視線が滞留した滞留点を、講義時間中の登場順序に従って直線で結ぶことにより、視線の遷移を示す軌跡を特定する。直線検出部９１５は、講義時間中の２以上のタイミングのそれぞれのタイミングにおける画像上の重要領域を、講義時間中の登場順序に従って直線で結ぶことにより、重要領域の位置変化を示す軌跡を特定する。直線検出部９１５は、特定した視線の遷移を示す軌跡と、特定した重要領域の位置変化を示す軌跡とを、距離計算部９１６に送信する。

【0115】

距離計算部９１６は、視線の遷移を示す軌跡と、重要領域の位置変化を示す軌跡との距離を算出し、集中状態評価部９１７に送信する。集中状態評価部９１７は、距離に基づいて、対象のユーザの集中度を判定する。集中状態評価部９１７は、例えば、距離が閾値以上であれば、対象のユーザが集中していないと判定する。集中状態評価部９１７は、例えば、距離が閾値未満であれば、対象のユーザが集中していると判定する。集中状態評価部９１７は、対象のユーザの集中度を判定した結果を、表示制御部９１８に送信する。

【0116】

表示制御部９１８は、対象のユーザの集中度を判定した結果を、表示装置９２０に表示させる制御を行う。表示装置９２０は、表示制御部９１８の制御に従って、対象のユーザの集中度を判定した結果を表示する。表示装置９２０は、具体的には、提供者側装置２０２によって実現される。表示装置９２０は、具体的には、ユーザ側装置２０１によって実現される。これにより、集中度判定装置１００は、対象のユーザの集中度を精度よく判定することができる。

【0117】

（集中度判定装置１００の動作例）
次に、図１０を用いて、集中度判定装置１００の動作例について説明する。

【0118】

図１０は、集中度判定装置１００の動作例を示す説明図である。図１０において、集中度判定装置１００は、講義に用いられた画像１０００を取得する。集中度判定装置１００は、講義時間中の複数のタイミングのそれぞれのタイミングにおける、複数のユーザのそれぞれのユーザの画像１０００上の視線位置を取得する。複数のユーザは、例えば、集中度を判定する対象のユーザを含む。

【0119】

（１０－１）集中度判定装置１００は、画像１０００上の重要領域を認識する。ここで、重要領域は、講義上重要な内容を示す領域である。重要領域は、例えば、講師の説明に関わる領域である。重要領域は、例えば、講義時間中、講師により比較的重要な発言または行動が行われた場合、比較的多くのユーザの視線が集中する傾向がある。このため、集中度判定装置１００は、講義時間中のそれぞれのタイミングにおけるそれぞれのユーザの画像１０００上の視線位置に基づいて、いずれかのタイミングに一定数以上のユーザの視線が集中した領域を特定する。そして、集中度判定装置１００は、特定した領域を、当該タイミングに対応する画像１０００上の重要領域として認識する。集中度判定装置１００は、認識したいずれかのタイミングに対応する重要領域を記憶する。

【0120】

（１０－２）集中度判定装置１００は、講義時間中のいずれかのタイミングに対応する重要領域と、当該タイミングに対応する対象のユーザの視線位置とが一致するか否かを判定する。ここで、一致する場合、対象のユーザは、当該タイミングにおける講師の説明を聞き洩らさず、当該タイミングに対応する重要領域を視認していると判断され、対象のユーザの集中度は比較的高いと考えられる。このため、集中度判定装置１００は、講義時間中のいずれかのタイミングに対応する重要領域と、当該タイミングに対応する対象のユーザの視線位置とが一致すれば、対象のユーザが集中していると判定する。

【0121】

また、一致しない場合、対象のユーザが、当該タイミングにおける講師の説明を聞き洩らし、当該タイミングに対応する重要領域を視認しておらず、対象のユーザの集中度が、比較的低いと判断する余地がある。一方で、一致しない場合、対象のユーザが、当該タイミングに対応する重要領域を視認していないものの、講義の内容を理解しており、当該タイミング以降に講師が説明予定の箇所を予め視認しており、対象のユーザの集中度が、比較的高いと判断する余地もある。

【0122】

従って、集中度判定装置１００は、（１０－２）とは異なる観点で、さらに、対象のユーザが集中しているか否かを判定することが好ましい。具体的には、対象のユーザが、講義の内容を理解しており、あるタイミング以降に講師が説明予定の箇所を予め視認することがあるという観点で、さらに、対象のユーザが集中しているか否かを判定することにする。以下の説明では、対象のユーザの視線位置が、重要領域と一致しなかったタイミングを、「対象のタイミング」と表記する場合がある。ここでは、集中度判定装置１００は、講義時間中のいずれかのタイミングに対応する重要領域と、当該タイミングに対応する対象のユーザの視線位置とが一致しないと判定したとする。

【0123】

（１０－３）集中度判定装置１００は、対象のタイミングに対応する重要領域に、１番の番号を付与する。集中度判定装置１００は、対象のタイミング以降、講師による説明に登場した順序で、対象のタイミングに対応する重要領域以外のそれぞれの重要領域に、２番以降の番号を付与する。（１０－４）集中度判定装置１００は、付与した番号順に、それぞれの重要領域の代表点を結ぶことにより、重要領域の位置変化を示す軌跡１００１を特定する。これにより、集中度判定装置１００は、対象のタイミング以降の講師の説明の流れを示唆する軌跡１００１を得ることができる。

【0124】

（１０－５）集中度判定装置１００は、少なくとも対象のタイミング以前から対象のタイミングまでの間の２以上のタイミングのそれぞれのタイミングにおける対象のユーザの視線が滞留した滞留点を特定する。また、集中度判定装置１００は、対象のタイミング以前から対象のタイミング以降までの間の２以上のタイミングのそれぞれのタイミングにおける対象のユーザの視線が滞留した滞留点を特定してもよい。（１０－６）集中度判定装置１００は、特定した滞留点を時間順に結ぶことにより、対象のユーザの視線位置の遷移１００２を示す軌跡１００３を特定する。これにより、集中度判定装置１００は、対象のタイミング以前から対象のタイミングまでの間、または、対象のタイミング以前から対象のタイミング以降までの間における、対象のユーザの思考の流れを示唆する軌跡１００３を得ることができる。

【0125】

（１０－７）集中度判定装置１００は、軌跡１００１と軌跡１００３との距離を算出する。距離は、例えば、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）によって表される。ここで、軌跡１００１と軌跡１００３との距離が比較的近い場合、対象のユーザの思考の流れが、所定のタイミング以降における講師の説明の流れに沿っていることになり、対象のユーザの集中度が比較的高いと判定することが好ましいと考えられる。そこで、集中度判定装置１００は、算出した距離が閾値未満であれば、対象のユーザが集中していると判定する。一方で、集中度判定装置１００は、算出した距離が閾値以上であれば、対象のユーザが集中していないと判定する。集中度判定装置１００は、判定した結果を出力する。

【0126】

これにより、集中度判定装置１００は、対象のユーザの集中度を精度よく判定することができる。具体的には、対象のユーザが、講義時間中のいずれかのタイミングに、当該タイミングに対応する重要領域を視認していなくても、講師の説明の流れを理解しており、対象のユーザの集中度が比較的高いと判定することが好ましい場合が考えられる。この場合、集中度判定装置１００は、対象のユーザの集中度が比較的高いと適切に判定することができる。

【0127】

（重要領域を認識する具体例）
次に、図１１および図１２を用いて、集中度判定装置１００が、画像１０００上の重要領域を認識する具体例について説明する。

【0128】

図１１および図１２は、重要領域を認識する具体例を示す説明図である。図１１において、集中度判定装置１００は、講義時間中の複数のタイミングのそれぞれのタイミングにおける、複数のユーザのそれぞれのユーザの画像上の視線位置を、視線検出装置９０１から受信して記録したとする。

【0129】

重要領域判定部９１３は、所定の文字列、所定の数式、所定の図形、または、所定の色彩などが映った画像上の領域を認識する。所定の文字列、所定の数式、所定の図形、または、所定の色彩などは、例えば、予め提供者によって設定される。重要領域判定部９１３は、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、講義時間中のいずれかのタイミングに、一定数以上のユーザの視線が、認識したいずれかの領域に集中したことを検出する。重要領域判定部９１３は、講義時間中のいずれかのタイミングに、一定数以上のユーザの視線が、認識したいずれかの領域に集中したことを検出すると、当該領域を、当該タイミングに対応する重要領域として特定する。

【0130】

集中状態評価部９１７は、記録した視線位置と特定した重要領域とに基づいた、視線の遷移を示す軌跡と重要領域の位置変化を示す軌跡との距離に基づいて、対象のユーザの集中度を判定する。これにより、集中度判定装置１００は、重要領域を精度よく特定することができ、対象のユーザの集中度を精度よく判定し易くすることができる。次に、図１２の説明に移行する。

【0131】

図１２において、集中度判定装置１００は、講義時間中の複数のタイミングのそれぞれのタイミングにおける、複数のユーザのそれぞれのユーザの画像上の視線位置を、視線検出装置９０１から受信して記録したとする。集中度判定装置１００は、画像に関連する付随情報として、講義時間中の講師の発言を特定可能な音声情報、および、講師によるポインタで指定された画像上の位置を特定可能にする位置情報などを取得したとする。

【0132】

重要領域判定部９１３は、所定の発言があったタイミングを認識する。所定の発言は、例えば、予め提供者によって設定される。重要領域判定部９１３は、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、所定の発言があったタイミングに、一定数以上のユーザの視線が、認識したいずれかの領域に集中したことを検出する。重要領域判定部９１３は、所定の発言があったタイミングに、一定数以上のユーザの視線が、認識したいずれかの領域に集中したことを検出すると、当該領域を、当該タイミングに対応する重要領域として特定する。

【0133】

重要領域判定部９１３は、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、講義時間中のいずれかのタイミングに、一定数以上のユーザの視線が、認識した領域のうち、ポインタが指定する位置にある領域に集中したことを検出してもよい。重要領域判定部９１３は、講義時間中のいずれかのタイミングに、一定数以上のユーザの視線が、認識した領域のうち、ポインタが指定する位置にある領域に集中したことを検出すると、当該領域を、当該タイミングに対応する重要領域として特定してもよい。

【0134】

集中状態評価部９１７は、記録した視線位置と特定した重要領域とに基づいた、視線の遷移を示す軌跡と重要領域の位置変化を示す軌跡との距離に基づいて、対象のユーザの集中度を判定する。これにより、集中度判定装置１００は、重要領域を精度よく特定することができ、対象のユーザの集中度を精度よく判定し易くすることができる。

【0135】

（判定した結果を出力する具体例）
次に、図１３を用いて、集中度判定装置１００が、判定した結果を出力する具体例について説明する。

【0136】

図１３は、判定した結果を出力する具体例を示す説明図である。図１３において、集中度判定装置１００は、講義時間中の複数のタイミングのそれぞれのタイミングにおける、複数のユーザのそれぞれのユーザの画像上の視線位置を、視線検出装置９０１から受信して記録したとする。また、集中状態評価部９１７は、記録した視線位置と重要領域とに基づいた、視線の遷移を示す軌跡と重要領域の位置変化を示す軌跡との距離に基づいて、対象のユーザの集中度を判定したとする。

【0137】

表示制御部９１８は、判定した結果を、提供者側装置２０２に送信し、提供者側装置２０２で表示させる。これにより、集中度判定装置１００は、判定した結果を、提供者が把握可能にすることができ、提供者が、今後の講義の内容を検討したり、対象のユーザに対してアクションを行ったりし易くすることができる。そして、集中度判定装置１００は、提供者が、講義を行い易くすることができる。

【0138】

ここでは、表示制御部９１８が、判定した結果を、提供者側装置２０２に送信する場合について説明したが、これに限らない。例えば、表示制御部９１８が、判定した結果を、対象のユーザによって用いられるユーザ側装置２０１に送信し、ユーザ側装置２０１に表示させる場合があってもよい。これにより、集中度判定装置１００は、判定した結果を、対象のユーザが把握可能にすることができ、対象のユーザが、今後の講義の受講態度を改善し易くすることができる。

【0139】

また、例えば、表示制御部９１８が、判定した結果を、統計処理を行う統計処理装置に送信する場合があってもよい。これにより、集中度判定装置１００は、判定した結果を統計処理可能にすることができる。提供者は、統計処理の結果に基づいて、今後の講義の内容を検討することができる。また、提供者を管理する監督者がいれば、監督者は、統計処理の結果に基づいて、提供者による講義の内容が好ましいか否かを評価することができる。

【0140】

（全体処理手順）
次に、図１４を用いて、集中度判定装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0141】

図１４は、全体処理手順の一例を示すフローチャートである。図１４において、集中度判定装置１００は、講義時間中において、複数のユーザのそれぞれのユーザの視線方向を検出し、検出したそれぞれのユーザの視線方向を記録する（ステップＳ１４０１）。

【0142】

次に、集中度判定装置１００は、所定の数以上のユーザの視線方向が、所定の大きさの領域に集中したか否かを判定する（ステップＳ１４０２）。ここで、所定の大きさの領域に集中していない場合（ステップＳ１４０２：Ｎｏ）、集中度判定装置１００は、ステップＳ１４０１の処理に戻る。一方で、所定の大きさの領域に集中している場合（ステップＳ１４０２：Ｙｅｓ）、集中度判定装置１００は、ステップＳ１４０３の処理に移行する。

【0143】

ステップＳ１４０３では、集中度判定装置１００は、対象のユーザの視線方向が、特定の領域に含まれるか否かを判定する（ステップＳ１４０３）。特定の領域は、例えば、所定の数以上のユーザの視線方向が集中した領域である。ここで、対象のユーザの視線方向が、特定の領域に含まれない場合（ステップＳ１４０３：Ｎｏ）、集中度判定装置１００は、ステップＳ１４０５の処理に移行する。一方で、対象のユーザの視線方向が、特定の領域に含まれる場合（ステップＳ１４０３：Ｙｅｓ）、集中度判定装置１００は、ステップＳ１４０４の処理に移行する。

【0144】

ステップＳ１４０４では、集中度判定装置１００は、対象のユーザが集中していると評価する（ステップＳ１４０４）。そして、集中度判定装置１００は、全体処理を終了する。

【0145】

ステップＳ１４０５では、集中度判定装置１００は、図１５に後述する評価処理を実行し、対象のユーザが集中しているか否かを評価する（ステップＳ１４０５）。そして、集中度判定装置１００は、全体処理を終了する。これにより、集中度判定装置１００は、対象のユーザが集中しているか否かを一旦判定し、対象のユーザが集中していると判定しきれない場合、評価処理を実行し、対象のユーザが集中しているか否かを異なる観点から判定することができる。このため、集中度判定装置１００は、対象のユーザの集中度を精度よく判定することができる。

【0146】

（評価処理手順）
次に、図１５を用いて、集中度判定装置１００が実行する、評価処理手順の一例について説明する。評価処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0147】

図１５は、評価処理手順の一例を示すフローチャートである。図１５において、集中度判定装置１００は、表示中の画像上の重要領域を認識する（ステップＳ１５０１）。次に、集中度判定装置１００は、認識した重要領域のうち、現在の講師の説明に登場した重要領域を特定し、１番の番号を付与する（ステップＳ１５０２）。

【0148】

集中度判定装置１００は、以降の講師の説明に、いずれかの重要領域が登場したか否かを判定する（ステップＳ１５０３）。ここで、いずれかの重要領域が登場している場合（ステップＳ１５０３：Ｙｅｓ）、集中度判定装置１００は、ステップＳ１５０５の処理に移行する。一方で、いずれの重要領域も登場していない場合（ステップＳ１５０３：Ｎｏ）、集中度判定装置１００は、ステップＳ１５０４の処理に移行する。

【0149】

ステップＳ１５０４では、集中度判定装置１００は、対象のユーザが集中していないと評価する（ステップＳ１５０４）。そして、集中度判定装置１００は、評価処理を終了する。

【0150】

ステップＳ１５０５では、集中度判定装置１００は、以降の講師の説明に登場した順序で、以降の講師の説明に登場した重要領域に、昇順に２番以降の番号を付与する（ステップＳ１５０５）。次に、集中度判定装置１００は、重要領域を番号順に結んだ軌跡を生成する（ステップＳ１５０６）。そして、集中度判定装置１００は、講義時間中の対象のユーザの視線方向に基づいて、２以上のタイミングのそれぞれのタイミングにおける滞留点を特定し、滞留点に基づいて、対象のユーザの視線方向の軌跡を示す軌跡を生成する（ステップＳ１５０７）。

【0151】

次に、集中度判定装置１００は、重要領域を番号順に結んだ軌跡と、対象のユーザの視線方向の軌跡を示す軌跡との距離を算出する（ステップＳ１５０８）。そして、集中度判定装置１００は、算出した距離が閾値以上か否かに基づいて、対象のユーザの集中度を評価する（ステップＳ１５０９）。ここで、集中度判定装置１００は、距離が閾値以上であれば、対象のユーザが集中していないと判定する。一方で、集中度判定装置１００は、距離が閾値未満であれば、対象のユーザが集中していると判定する。そして、集中度判定装置１００は、評価処理を終了する。これにより、集中度判定装置１００は、対象のユーザの集中度を精度よく判定することができる。

【0152】

ここで、集中度判定装置１００は、図１４および図１５の各フローチャートにおける一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ１５０６，Ｓ１５０７の処理の順序は入れ替え可能である。また、集中度判定装置１００は、図１４および図１５の各フローチャートにおける一部ステップの処理を省略してもよい。例えば、ステップＳ１４０４の処理は省略可能である。

【0153】

以上説明したように、集中度判定装置１００によれば、第１のタイミングにおけるユーザの画像上の第１の視線位置を特定することができる。集中度判定装置１００によれば、画像に含まれる第１のタイミングに対応する第１の特定の領域と第１の視線位置とが一致するか否かを判定することができる。集中度判定装置１００によれば、一致せずに異なる場合、第１の視線位置と第１のタイミングより前の第２のタイミングにおけるユーザの画像上の第２の視線位置とに基づいたユーザの視線位置の遷移を特定することができる。集中度判定装置１００によれば、第１の特定の領域と画像に含まれる第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した遷移との比較に基づいて、ユーザの集中度を判定することができる。これにより、集中度判定装置１００は、ユーザの集中度を精度よく判定可能にすることができる。

【0154】

集中度判定装置１００によれば、複数のユーザのそれぞれのユーザの画像上の視線位置に基づいて、第１の特定の領域と第２の特定の領域とを特定することができる。これにより、集中度判定装置１００は、第１の特定の領域と第２の特定の領域とを精度よく特定することができ、ユーザの集中度をさらに精度よく判定可能にすることができる。

【0155】

集中度判定装置１００によれば、画像の内容を解析した解析結果に基づいて、第１の特定の領域と第２の特定の領域とを特定することができる。これにより、集中度判定装置１００は、第１の特定の領域と第２の特定の領域とを精度よく特定することができ、ユーザの集中度をさらに精度よく判定可能にすることができる。

【0156】

集中度判定装置１００によれば、複数のユーザのうち所定数以上のユーザの画像上の視線位置を含む、画像に含まれる所定の内容を表す特定の領域の候補を抽出することができる。集中度判定装置１００によれば、抽出した候補に基づいて、第１の特定の領域と第２の特定の領域とを特定することができる。これにより、集中度判定装置１００は、第１の特定の領域と第２の特定の領域とを精度よく特定することができ、ユーザの集中度をさらに精度よく判定可能にすることができる。

【0157】

集中度判定装置１００によれば、画像の内容に関連する画像に付随する付随情報に基づいて、第１の特定の領域と第２の特定の領域とを特定することができる。これにより、集中度判定装置１００は、第１の特定の領域と第２の特定の領域とを精度よく特定することができ、ユーザの集中度をさらに精度よく判定可能にすることができる。

【0158】

集中度判定装置１００によれば、第１のタイミングに、複数のユーザのうち所定数以上のユーザの画像上の視線位置が同一の領域に含まれたタイミングを採用することができる。集中度判定装置１００によれば、第１の特定の領域に、第１のタイミングに所定数以上のユーザの画像上の視線位置が含まれる領域を採用することができる。集中度判定装置１００によれば、第３のタイミングに、複数のユーザのうち所定数以上のユーザの画像上の視線位置が同一の領域に含まれたタイミングを採用することができる。集中度判定装置１００によれば、第２の特定の領域に、第１のタイミングに所定数以上のユーザの画像上の視線位置が含まれる領域を採用することができる。これにより、集中度判定装置１００は、第１の特定の領域と第２の特定の領域とを精度よく特定することができ、ユーザの集中度をさらに精度よく判定可能にすることができる。

【0159】

集中度判定装置１００によれば、第１の視線位置と第１のタイミングより前の複数の第２のタイミングのそれぞれの第２のタイミングにおけるユーザの第２の視線位置とに基づいたユーザの視線位置の遷移を特定することができる。集中度判定装置１００によれば、第１の特定の領域と画像に含まれる第１のタイミングの後の複数の第３のタイミングのそれぞれの第３のタイミングに対応する第２の特定の領域との間の位置変化と遷移との比較に基づいて、ユーザの集中度を判定することができる。これにより、集中度判定装置１００は、比較的長時間に渡る位置変化と遷移との比較に基づいて、ユーザの集中度をさらに精度よく判定することができる。

【0160】

集中度判定装置１００によれば、位置変化を示す軌跡と遷移を示す軌跡との距離に基づいて、ユーザの集中度を判定することができる。これにより、集中度判定装置１００は、ユーザの集中度の適切な指針を得ることができ、ユーザの集中度を精度よく判定することができる。

【0161】

集中度判定装置１００によれば、判定した結果を表示することができる。これにより、集中度判定装置１００は、判定した結果を人が参照可能にすることができる。

【0162】

集中度判定装置１００によれば、判定した結果を他のコンピュータに送信することができる。これにより、集中度判定装置１００は、判定した結果を他のコンピュータで利用可能にすることができる。

【0163】

なお、本実施の形態で説明した集中度判定方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した集中度判定プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した集中度判定プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0164】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0165】

（付記１）第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
処理をコンピュータに実行させることを特徴とする集中度判定プログラム。

【0166】

（付記２）複数のユーザのそれぞれの前記画像上の視線位置に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする付記１に記載の集中度判定プログラム。

【0167】

（付記３）前記画像の内容を解析した解析結果に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする付記１または２に記載の集中度判定プログラム。

【0168】

（付記４）複数のユーザのそれぞれの前記画像上の視線位置と前記画像の内容を解析した解析結果とに基づいて、前記複数のユーザのうち閾値以上の数のユーザの前記画像上の視線位置を含み、かつ、前記画像に含まれる所定の内容を表す特定の領域の候補を抽出し、抽出した前記候補に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する、
処理を前記コンピュータに実行させることを特徴とする付記１に記載の集中度判定プログラム。

【0169】

（付記５）前記第１の特定の領域と前記第２の特定の領域とを特定する処理は、前記画像の内容に関連する前記画像に付随する付随情報に基づいて、前記第１の特定の領域と前記第２の特定の領域とを特定する処理を含む、ことを特徴とする付記３に記載の集中度判定プログラム。

【0170】

（付記６）前記第１の特定の領域は、前記第１のタイミングに複数のユーザのうち第１の閾値以上の数のユーザの視線位置が含まれる領域であり、
前記第２の特定の領域は、前記第３のタイミングに前記複数のユーザのうち第２の閾値以上の数のユーザの視線位置が含まれる領域である、ことを特徴とする付記１～３のいずれか一つに記載の集中度判定プログラム。

【0171】

（付記７）前記第２のタイミングは、第１の複数のタイミングを含み、
前記第３のタイミングは、第２の複数のタイミングを含み、
前記第２の視線位置は、前記第１の複数のタイミングのそれぞれにおける前記ユーザの前記画面上の複数の視線位置を含み、
前記第２の特定の領域は、前記第２の複数のタイミングのそれぞれに対応する複数の特定の領域を含み、
前記遷移を特定する処理は、前記第１の視線位置と前記複数の視線位置とに基づいた前記ユーザの視線位置の遷移を特定する処理を含み、
前記判定する処理は、前記第１の特定の領域と前記複数の特定の領域との間の位置変化と前記遷移との比較に基づいて、前記ユーザの集中度を判定する処理を含む、ことを特徴とする付記１～６のいずれか一つに記載の集中度判定プログラム。

【0172】

（付記８）前記判定する処理は、前記位置変化を示す軌跡と前記遷移を示す軌跡との距離に基づいて、前記ユーザの集中度を判定する処理を含む、ことを特徴とする付記１～７のいずれか一つに記載の集中度判定プログラム。

【0173】

（付記９）前記判定した結果を表示する、
処理を前記コンピュータに実行させることを特徴とする付記１～８のいずれか一つに記載の集中度判定プログラム。

【0174】

（付記１０）前記判定した結果を他のコンピュータに送信する、
処理を前記コンピュータに実行させることを特徴とする付記１～９のいずれか一つに記載の集中度判定プログラム。

【0175】

（付記１１）第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
処理をコンピュータが実行することを特徴とする集中度判定方法。

【0176】

（付記１２）第１のタイミングにおけるユーザの画像上の第１の視線位置を特定し、
前記画像に含まれる前記第１のタイミングに対応する第１の特定の領域と前記第１の視線位置とが異なる場合、前記第１の視線位置と前記第１のタイミングより前の第２のタイミングにおける前記ユーザの前記画像上の第２の視線位置とに基づいた前記ユーザの視線位置の遷移を特定し、
前記第１の特定の領域と前記画像に含まれる前記第１のタイミングの後の第３のタイミングに対応する第２の特定の領域との間の位置変化と特定した前記遷移との比較に基づいて、前記ユーザの意識が集中している度合いを示す集中度を判定する、
制御部を有することを特徴とする集中度判定装置。

【符号の説明】

【0177】

１００ 集中度判定装置
１０１ 第１の視線位置
１０２ 第２の視線位置
１１０，１０００ 画像
１１１ 第１の特定の領域
１１２ 第２の特定の領域
２００ 集中度判定システム
２０１ ユーザ側装置
２０２ 提供者側装置
２１０ ネットワーク
３００，７００ バス
３０１，７０１ ＣＰＵ
３０２，７０２ メモリ
３０３，７０３ ネットワークＩ／Ｆ
３０４，７０４ 記録媒体Ｉ／Ｆ
３０５，７０５ 記録媒体
４００ 視線位置管理テーブル
５００ 滞留点管理テーブル
６００ 重要領域管理テーブル
７０６ ディスプレイ
７０７ カメラ
８００ 記憶部
８０１ 取得部
８０２ 第１特定部
８０３ 第１判定部
８０４ 第２特定部
８０５ 第２判定部
８０６ 出力部
８１０ 制御部
９０１ 視線検出装置
９０２ 表示内容取得装置
９１０ 他者視線ＤＢ
９１１ 視線記録部
９１２ サッケード検出部
９１３ 重要領域判定部
９１４ 登場順序認識部
９１５ 直線検出部
９１６ 距離計算部
９１７ 集中状態評価部
９１８ 表示制御部
９２０ 表示装置
１００１，１００３ 軌跡
１００２ 視線位置の遷移

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】