(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162818
(43)【公開日】2023-11-09
(54)【発明の名称】データ処理装置、データ処理方法、及びプログラム
(51)【国際特許分類】
H04N 21/258 20110101AFI20231101BHJP
H04N 7/18 20060101ALI20231101BHJP
H04L 67/1396 20220101ALI20231101BHJP
H04L 67/75 20220101ALI20231101BHJP
A61B 5/16 20060101ALI20231101BHJP
A61B 3/113 20060101ALI20231101BHJP
G06T 7/20 20170101ALI20231101BHJP
【ＦＩ】
H04N21/258
H04N7/18 K
H04L67/1396
H04L67/75
A61B5/16 120
A61B3/113
G06T7/20 300B
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022073480
(22)【出願日】2022-04-27
(71)【出願人】
【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】中野 珠実
【テーマコード（参考）】
4C038
4C316
5C054
5C164
5L096
【Ｆターム（参考）】
4C038PP03
4C038PS07
4C316AA30
4C316AB16
4C316FA01
4C316FA20
4C316FZ01
4C316FZ03
5C054CC02
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FC13
5C054FC14
5C054FE05
5C054FE16
5C054FE18
5C054FE28
5C054FF06
5C054GB01
5C164FA26
5C164SB08S
5C164SB29S
5C164SC11P
5C164UB26S
5C164YA12
5L096AA06
5L096CA04
5L096DA01
5L096DA02
5L096FA09
5L096FA35
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】コンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供すること。
【解決手段】データ処理装置は、データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する制御部を含む。
【選択図】図１
【解決手段】データ処理装置は、データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する制御部を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する制御部を含む、
データ処理装置。
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する制御部を含む、
データ処理装置。
【請求項2】
前記制御部は、取得された前記第１瞬きデータを、対応する第１タイムスタンプ毎に分類し、
対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して、順次評価する、
請求項１に記載のデータ処理装置。
対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して、順次評価する、
請求項１に記載のデータ処理装置。
【請求項3】
前記制御部は、前記第１瞬きデータを取得した時刻を示す第２タイムスタンプを生成し、
前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外する、
請求項２に記載のデータ処理装置。
前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外する、
請求項２に記載のデータ処理装置。
【請求項4】
前記制御部は、前記瞬きの一致度に基づいて前記コンテンツに対する関心度データを、前記コンテンツデータの送信と並行して順次生成し、
生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に順次送信する、
請求項１に記載のデータ処理装置。
生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に順次送信する、
請求項１に記載のデータ処理装置。
【請求項5】
前記関心度データは、前記第１端末装置のユーザの関心度に応じた表示データを含む、
請求項４に記載のデータ処理装置。
請求項４に記載のデータ処理装置。
【請求項6】
前記表示データは、前記第２端末装置のユーザが前記関心度を認識可能に表示される色表示データまたはグラフデータを含む、
請求項５に記載のデータ処理装置。
請求項５に記載のデータ処理装置。
【請求項7】
前記第１瞬きデータは、瞬きの有無情報を含む、
請求項１に記載のデータ処理装置。
請求項１に記載のデータ処理装置。
【請求項8】
対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価するとき、所定の期間におけるサロゲート法を用いた処理を行い順次評価する、
請求項２に記載のデータ処理装置。
請求項２に記載のデータ処理装置。
【請求項9】
前記第１端末装置のユーザの第２瞬きデータをあらかじめ取得し、
前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価する、
請求項１に記載のデータ処理装置。
前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価する、
請求項１に記載のデータ処理装置。
【請求項10】
前記第２瞬きデータは、前記コンテンツデータの送信開始前に前記第１端末装置のユーザから取得される、
請求項９に記載のデータ処理装置。
請求項９に記載のデータ処理装置。
【請求項11】
前記第２瞬きデータは前記第１端末装置のユーザ固有の瞬き頻度の特性を測るために取得される、
請求項９に記載のデータ処理装置。
請求項９に記載のデータ処理装置。
【請求項12】
コンピュータが実行するデータ処理方法であって、
データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された前記第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを含む、
データ処理方法。
データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された前記第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを含む、
データ処理方法。
【請求項13】
取得された前記第１瞬きデータを、対応する第１タイムスタンプ毎に分類し、
前記対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する、
請求項１２に記載のデータ処理方法。
前記対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する、
請求項１２に記載のデータ処理方法。
【請求項14】
前記第１瞬きデータを取得した時刻を示す第２タイムスタンプを生成し、
前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外することさらに含む、
請求項１３に記載のデータ処理方法。
前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外することさらに含む、
請求項１３に記載のデータ処理方法。
【請求項15】
前記瞬きの一致度に基づいて前記コンテンツデータに対する関心度データを、前記コンテンツデータの送信と並行して順次生成し、
生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に送信することをさらに含む、
請求項１２に記載のデータ処理方法。
生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に送信することをさらに含む、
請求項１２に記載のデータ処理方法。
【請求項16】
前記関心度データは、第１端末装置のユーザの関心度に応じた表示データを含む、
請求項１５に記載のデータ処理方法。
請求項１５に記載のデータ処理方法。
【請求項17】
前記表示データは、前記第２端末装置のユーザが前記関心度を認識可能に表示される色表示データまたはグラフデータを含む、
請求項１６に記載のデータ処理方法。
請求項１６に記載のデータ処理方法。
【請求項18】
前記第１瞬きデータは、瞬きの有無情報を含む、
請求項１２に記載のデータ処理方法。
請求項１２に記載のデータ処理方法。
【請求項19】
対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価するとき、所定の期間におけるサロゲート法を用いた処理を行い順次評価する、
請求項１２に記載のデータ処理方法。
請求項１２に記載のデータ処理方法。
【請求項20】
前記第１端末装置のユーザの第２瞬きデータをあらかじめ取得し、
前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価する、
請求項１２に記載のデータ処理方法。
前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価する、
請求項１２に記載のデータ処理方法。
【請求項21】
前記第２瞬きデータは、前記コンテンツデータの送信開始前に前記第１端末装置のユーザから取得される、
請求項２０に記載のデータ処理方法。
請求項２０に記載のデータ処理方法。
【請求項22】
前記第２瞬きデータは前記第１端末装置のユーザ固有の瞬き頻度の特性を測るために取得される、
請求項２０に記載のデータ処理方法。
請求項２０に記載のデータ処理方法。
【請求項23】
コンピュータに、
データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを実行させる、
プログラム。
データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、
前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、
取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを実行させる、
プログラム。
【請求項24】
コンピュータに、
データの各部に第１タイムスタンプが付されたコンテンツデータを取得し、
前記データの各部に対応付けて第１瞬きデータを生成することを実行させる、
プログラム。
データの各部に第１タイムスタンプが付されたコンテンツデータを取得し、
前記データの各部に対応付けて第１瞬きデータを生成することを実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ間の瞬きの一致度を評価するデータ処理装置、データ処理方法、及びプログラムに関する。
【背景技術】
【0002】
人が無意識に行う動作に基づいて、その人が観察する視覚情報への関心の度合いを推定する技術が従来から提案されている。特許文献１には、ユーザの瞬きのタイミングを示すデータを取得し、複数のユーザの視覚情報に対する瞬きタイミングの差異に基づいて複数のユーザにおける視覚情報に対する瞬きタイミングの一致度合いに応じた指標を算出する技術が開示されている。
【0003】
また、特許文献２には、被験者の瞬きの頻度の時間経過に関連する情報と、被験者に提示される動的コンテンツとの同期情報とを、外部通信ネットワークを介して送信する送信部を有する注目度評価システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１６９８０５号公報
【特許文献2】特開２０１８－９３３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１及び２の場合、コンテンツに対するネットワークを介して夫々繋がっている複数のユーザ間における瞬きの一致度を評価できるが、配信されるコンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供することができなかった。すなわち、特開２０１９－１６９８０５ではネットワークにおけるコンテンツの配信遅延時間の影響を受け、瞬きのタイミングの一致度合いの評価値に誤差が出る怖れがあり、しかも一致度合いは、あらかじめ決められたタイミング（たとえば、コンテンツの送信終了後）に統計的な処理を用いて判定されるのであり、リアルタイムに配信されるコンテンツに対して、評価値をリアルタイムに提供できない。また特開２０１８－９３３５０では瞬きの頻度については評価しているが、集団の瞬きのタイミングの一致度合いを評価できない。同様にリアルタイムに配信されるコンテンツに対して、評価値をリアルタイムに提供できない課題がある。
【0006】
そこで、本発明は、コンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供することを目的の一つとする。かかる目的の下で、本発明は、コンテンツに対する瞬きタイミングの一致度をリアルタイムにコンテンツ配信者に提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
本発明の一実施形態によれば、データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価する制御部を含む、データ処理装置が提供される。
【0008】
上記データ処理装置において、前記制御部は、取得された前記第１瞬きデータを、対応する第１タイムスタンプ毎に分類し、対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して、順次評価してもよい。
【0009】
上記データ処理装置において、前記制御部は、前記第１瞬きデータを取得した時刻を示す第２タイムスタンプを生成し、前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外してもよい。
【0010】
上記データ処理装置において、前記制御部は、前記瞬きの一致度に基づいて前記コンテンツに対する関心度データを、前記コンテンツデータの送信と並行して順次生成し、生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に順次送信してもよい。
【0011】
上記データ処理装置において、前記関心度データは、前記第１端末装置のユーザの関心度に応じた表示データを含んでもよい。
【0012】
上記データ処理装置において、前記表示データは、前記第２端末装置のユーザが前記関心度を認識可能に表示される色表示データまたはグラフデータを含んでもよい。
【0013】
上記データ処理装置において、前記第１瞬きデータは、瞬きの有無情報を含んでもよい。
【0014】
上記データ処理装置において、対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価するとき、所定の期間におけるサロゲート法を用いて処理を行い順次評価してもよい。
【0015】
上記データ処理装置において、前記第１端末装置のユーザの第２瞬きデータをあらかじめ取得し、前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価してもよい。
【0016】
上記データ処理装置において、前記第２瞬きデータは、前記コンテンツデータの送信開始前に前記第１端末装置のユーザから取得されてもよい。
【0017】
上記データ処理装置において、前記第２瞬きデータは前記第１端末装置のユーザ固有の瞬き頻度の特性を測るために取得されてもよい。
【0018】
本発明の一実施形態によれば、コンピュータが実行するデータ処理方法であって、データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、取得された前記第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを含むデータ処理方法が提供される。
【0019】
上記データ処理方法において、取得された前記第１瞬きデータを、対応する第１タイムスタンプ毎に分類し、前記対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価してもよい。
【0020】
上記データ処理方法において、前記第１瞬きデータを取得した時刻を示す第２タイムスタンプを生成し、前記第１タイムスタンプと、前記第２タイムスタンプとの関係が所定の条件を満たす第１瞬きデータを、前記瞬きの一致度を評価する対象から除外することを含んでもよい。
【0021】
上記データ処理方法において、前記瞬きの一致度に基づいて前記コンテンツデータに対する関心度データを、前記コンテンツデータの送信と並行して順次生成し、生成された前記関心度データを、前記コンテンツデータを生成した第２端末装置に送信することをさらに含んでもよい。
【0022】
上記データ処理方法において、前記関心度データは、第１端末装置のユーザの関心度に応じた表示データを含んでもよい。
【0023】
上記データ処理方法において、前記表示データは、前記第２端末装置のユーザが前記関心度を認識可能に表示される色表示データまたはグラフデータを含んでもよい。
【0024】
上記データ処理方法において、前記第１瞬きデータは、瞬きの有無情報を含んでもよい。
【0025】
上記データ処理方法において、対応する第１タイムスタンプ毎に分類された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価するとき、所定の期間におけるサロゲート法を用いて処理を行い順次評価してもよい。
【0026】
上記データ処理方法において、前記第１端末装置のユーザの第２瞬きデータをあらかじめ取得し、前記第１瞬きデータおよび前記第２瞬きデータに基づいて瞬きの一致度を評価してもよい。
【0027】
上記データ処理方法において、前記第２瞬きデータは、前記コンテンツデータの送信開始前に前記第１端末装置のユーザから取得されてもよい。
【0028】
上記データ処理方法において、前記第２瞬きデータは前記第１端末装置のユーザ固有の瞬き頻度の特性を測るために取得されてもよい。
【0029】
本発明の一実施形態によれば、コンピュータに、データの各部に第１タイムスタンプが付されたコンテンツデータを複数の第１端末装置に送信し、前記複数の第１端末装置の各々から前記データの各部に対応付けられた第１瞬きデータを順次取得し、取得された第１瞬きデータに基づいて、前記複数の第１端末装置のユーザ間における前記コンテンツデータに対する瞬きの一致度を、前記コンテンツデータの送信と並行して順次評価することを実行させる、プログラムが提供される。
【0030】
本発明の一実施形態によれば、コンピュータに、データの各部に第１タイムスタンプが付されたコンテンツデータを取得し、前記データの各部に対応付けて第１瞬きデータを生成することを実行させる、プログラムが提供される。
【発明の効果】
【0031】
本発明によれば、コンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供することができる。また、本発明によれば、コンテンツに対する瞬きタイミングの一致度をリアルタイムにコンテンツ配信者に提供することができる。
【図面の簡単な説明】
【0032】
【図1】本発明の一実施形態に係るデータ処理システムの全体構成を示す概要図である。
【図2】本発明の一実施形態に係るサーバ装置のハードウェア構成を示すブロック図である。
【図3】本発明の一実施形態に係る端末装置のハードウェア構成を示すブロック図である。
【図4】本発明の一実施形態に係るデータ処理システムの機能構成を示すブロック図である。
【図5】コンテンツデータのデータセットの一例である。
【図6】各生徒ユーザの瞬きデータのデータセットの一例である。
【図7】生徒ユーザ間の瞬き一致度を示すデータセットの一例である。
【図8】関心度を示すインジケータの模式図である。
【図9】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図10】講師端末装置の表示部に表示される画像データの一例である。
【図11】本発明の一実施形態に係るデータ処理システムが実行する瞬きデータの生成を示すフローチャートである。
【図12】生徒ユーザの瞬きを検出するための画像データの一例である。
【図13】本発明の一実施形態に係るデータ処理システムが実行する瞬き一致度の評価および関心度データの生成を示すフローチャートである。
【図14】各生徒ユーザの瞬きデータのデータセットの一例である。
【図15】本発明の一実施形態に係るデータ処理システムが実行する瞬き一致度の評価および関心度データの生成を示すフローチャートである。
【図16】本発明の一実施形態に係るデータ処理システムの機能構成を示すブロック図である。
【図17】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図18】本発明の一実施形態に係るデータ処理システムの機能構成を示すブロック図である。
【図19】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図20】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図21】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図22】本発明の一実施形態に係る瞬きのタイミングの差異の算出方法を説明する図である。
【図23】本発明の一実施形態に係るタイミング差の出現頻度の分布を示すグラフを示す。
【図24】本発明の一実施形態に係るランダムデータの一例を示す図である。
【図25】本発明の一実施形態に係る評価値の一例を示す図である。
【図26】本発明の一実施形態に係る関心度データの一例を示す図である。
【図27】本発明の一実施形態に係る関心度データの一例を示す図である。
【図28】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図29】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図30】本発明の一実施形態に係るデータ処理システムの全体構成を示す概要図である。
【図31】生徒端末装置で撮像される画像データの一例である。
【図32】本発明の一実施形態に係るデータ処理システムが実行する処理を示すフローチャートである。
【図33】各生徒ユーザの瞬きデータのデータセットの一例である。
【図34】講師端末装置の表示部に表示される画像データの一例である。
【発明を実施するための形態】
【0033】
以下、本発明の一実施形態におけるシステムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ，－１，－２等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
【0034】
＜第１実施形態＞
本実施形態では、コンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供するため、コンテンツを観察する集団の瞬きタイミングの一致度合いをリアルタイムにコンテンツ配信者に提供するデータ処理システムについて、図面を参照しながら説明する。
本実施形態では、コンテンツを観察する集団の関心の一致度をリアルタイムにコンテンツ配信者に提供するため、コンテンツを観察する集団の瞬きタイミングの一致度合いをリアルタイムにコンテンツ配信者に提供するデータ処理システムについて、図面を参照しながら説明する。
【0035】
（１－１．データ処理システムの構成）
（１－１－１．データ処理システムの概要）
図１は、本発明の第１実施形態であるデータ処理システム１の全体構成を示すブロック図である。データ処理システム１は、生徒端末装置２０ａ（コンテンツ観察者端末装置、第１端末装置ともいう）に表示された視覚情報に対する複数の生徒ユーザＵａの瞬きに基づいて、当該視覚情報を評価する。視覚情報は、人が視覚を通じて得られる情報を総称する。視覚情報は、本実施形態においては、講師ユーザＵｂにより行われる動画（コンテンツデータ）である。動画は、人が視覚を通じて認識できる情報が時間的に変化する。動画は、さらに、人が聴覚を通じて認識できる情報（つまり、音）を含んでもよい。本実施形態における動画は、例えば、講師端末装置２０ｂ（コンテンツ配信者端末装置、第２端末装置ともいう）から送られた講義の動画である。
（１－１－１．データ処理システムの概要）
図１は、本発明の第１実施形態であるデータ処理システム１の全体構成を示すブロック図である。データ処理システム１は、生徒端末装置２０ａ（コンテンツ観察者端末装置、第１端末装置ともいう）に表示された視覚情報に対する複数の生徒ユーザＵａの瞬きに基づいて、当該視覚情報を評価する。視覚情報は、人が視覚を通じて得られる情報を総称する。視覚情報は、本実施形態においては、講師ユーザＵｂにより行われる動画（コンテンツデータ）である。動画は、人が視覚を通じて認識できる情報が時間的に変化する。動画は、さらに、人が聴覚を通じて認識できる情報（つまり、音）を含んでもよい。本実施形態における動画は、例えば、講師端末装置２０ｂ（コンテンツ配信者端末装置、第２端末装置ともいう）から送られた講義の動画である。
【0036】
データ処理システム１は、サーバ装置１０、複数の生徒端末装置２０ａ、および講師端末装置２０ｂを有する。サーバ装置１０は、複数の生徒端末装置２０ａの各々から、生徒ユーザＵａの瞬きデータ（第１瞬きデータともいう）を取得し、取得した瞬きデータに基づいて、動画の関心度評価を行う。サーバ装置１０は、講師端末装置２０ｂおよび複数の生徒端末装置２０ａの各々と通信回線ＮＷを介して通信する。通信回線ＮＷは、例えばインターネットで例示される公衆通信回線、又は専用回線である。サーバ装置１０は、本開示に係るデータ処理装置を有する装置の一例である。
【0037】
複数の生徒端末装置２０ａは、講師ユーザＵｂにより行われるネットワークを介した講義を視聴する生徒ユーザＵａによって使用される。図１には、複数の生徒端末装置２０ａとして、生徒端末装置２０ａ－１，２０ａ－２，・・・，２０ａ－Ｎ（ただし、Ｎは２以上の自然数）が示されている。また、生徒端末装置２０ａ－１，２０ａ－２，・・・，２０ａ－Ｎに対応して、生徒ユーザＵａ－１，Ｕａ－２，・・・Ｕａ－Ｎが示されている。生徒端末装置２０ａ－１，２０ａ－２，・・・，２０ａ－Ｎ、および生徒ユーザＵａ－１，Ｕａ－２，・・・Ｕａ－Ｎを区別する必要がない場合、生徒端末装置２０ａ、生徒ユーザＵａとして説明する。
【0038】
講師端末装置２０ｂは、ネットワークを介して講義を行う講師ユーザＵｂによって使用される。本実施形態において、生徒端末装置２０ａおよび講師端末装置２０ｂを分けて説明する必要がないときには、端末装置２０として説明する。
【0039】
端末装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、及びウェアラブル型コンピュータで例示されるコンピュータ装置である。
【0040】
（１－１－２．サーバ装置）
図２は、サーバ装置１０のハードウェア構成を示すブロック図である。サーバ装置１０は、制御部１１、記憶部１３、および通信部１５を有する。制御部１１、記憶部１３、および通信部１５は配線バス１７を介して接続される。
図２は、サーバ装置１０のハードウェア構成を示すブロック図である。サーバ装置１０は、制御部１１、記憶部１３、および通信部１５を有する。制御部１１、記憶部１３、および通信部１５は配線バス１７を介して接続される。
【0041】
制御部１１は、演算処理装置１１１（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはその他の演算処理回路）、並びにメモリ１１２（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。制御部１１は、メモリ１１２に含まれた制御プログラムを用いて各部の機能を制御する。制御部１１は、さらに、所定の時間軸上で規定される時刻を計る計時部を有する。この計時部は、制御プログラム（アプリケーションソフトウェア）とは異なるソフトウェア（例えば、基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ））に含まれる時計機能を用いてもよい。時間軸として、例えば、絶対時刻が用いられてもよい。
【0042】
記憶部１３には、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体メモリのほか、磁気記録媒体（磁気テープ、磁気ディスク等）、光記録媒体、光磁気記録媒体、記憶媒体である記憶可能な素子が用いられる。記憶部１３は、制御プログラムで用いられる各種情報を記憶するデータベースとしての機能を有する。
【0043】
通信部１５は、通信回線ＮＷを介して、複数の端末装置２０の各々と有線又は無線により通信する。通信部１５は、例えば、通信回路及びアンテナを含む。
【0044】
（１－１－３．端末装置の構成）
図３は、端末装置２０のハードウェア構成を示すブロック図である。端末装置２０は、制御部２１、記憶部２２、通信部２３、撮像部２５、およびユーザインタフェース２７を有する。制御部２１、記憶部２２、通信部２３、撮像部２５、およびユーザインタフェース２７は配線バス２９を介して接続される。
図３は、端末装置２０のハードウェア構成を示すブロック図である。端末装置２０は、制御部２１、記憶部２２、通信部２３、撮像部２５、およびユーザインタフェース２７を有する。制御部２１、記憶部２２、通信部２３、撮像部２５、およびユーザインタフェース２７は配線バス２９を介して接続される。
【0045】
制御部２１は、演算処理装置２１１およびメモリ２１２を含む。制御部２１は、さらに、所定の時間軸上で規定される時刻を計る計時部を有する。この計時部はＯＳに含まれる時計機能を用いてもよい、時間軸として、例えば、絶対時刻が用いられてもよい。制御部２１は、メモリ２１２に含まれた制御プログラムを用いて各部の機能を制御する。
【0046】
記憶部２２には、ＳＳＤ等の半導体メモリのほか、磁気記録媒体、光記録媒体、光磁気記録媒体、記憶媒体である記憶可能な素子が用いられる。記憶部２２は、制御プログラムで用いられる各種情報を記憶するデータベースとしての機能を有する。
【0047】
通信部２３は、通信回線ＮＷを介して、サーバ装置１０と通信する。通信部２３は、例えば、通信回路及びアンテナを含む。
【0048】
撮像部２５は、端末装置２０のユーザである被写体を撮像し、当該撮像した画像を示す撮像データを生成する。被写体は、少なくとも、ユーザの顔、より詳細にはユーザの目を含む。撮像部２５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで例示される撮像素子、及び当該ユーザの光学像を前記撮像素子上へ結像するレンズを含む。
【0049】
ユーザインタフェース２７は、ユーザと端末装置をつなぐためのインタフェースである。この例では、ユーザインタフェース２７は、情報を表示する表示部２７１（例えば、液晶ディスプレイ）、音声入力部２７２、音声出力部２７３、および操作を受け付ける操作部２７４（例えば、物理キー又はタッチセンサ）を含む。タッチパネルの場合、表示部２７１および操作部２７４が同じ位置に設けられてもよい。音声入力部２７２（例えばマイクロフォン）はユーザから発せられた音声情報を入力する。音声出力部２７３（例えばスピーカ）は、ユーザに対して音声情報を提供する。音声入力部２７２および音声出力部２７３は、ヘッドセットのように一体として設けられてもよい。
【0050】
（１－２．データ処理システムの機能構成）
図４は、データ処理システム１の機能構成の一例を示すブロック図である。以下で説明する各機能は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実現される。
図４は、データ処理システム１の機能構成の一例を示すブロック図である。以下で説明する各機能は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実現される。
【0051】
図２にハードウェア構成が示されたサーバ装置１０は、第１取得部１１０１、第１送信部１１０３、第２取得部１１０５、評価部１１０７、生成部１１０９、および第２送信部１１１１の各機能構成ブロックを有する。
【0052】
第１取得部１１０１は、通信部１５を用いて、講師端末装置２０ｂから取得したコンテンツデータの一部（コンテンツサブデータＳＣともいう）を順次取得する。
【0053】
第１送信部１１０３は、講師端末装置２０ｂから取得したコンテンツサブデータＳＣを複数の生徒端末装置２０ａに順次送信する。
【0054】
図５は、講師端末装置２０ｂから送信されるコンテンツデータのデータセット１０１０である。コンテンツデータのデータセット１０１０は、コンテンツサブデータ（ＳＣ）１０１０ａおよびコンテンツサブデータＳＣに付されるコンテンツタイムスタンプ（Ｔ１）（第１タイムスタンプともいう）時刻１０１０ｂを含む。コンテンツタイムスタンプ１０１０ｂの時刻は、この例ではコンテンツサブデータＳＣを送信する時刻である。コンテンツデータのデータセット１０１０は、記憶部１３に記憶される。
【0055】
第２取得部１１０５は、通信部１５を用いて、複数の生徒端末装置２０ａの各々からデータの各部に対応付けられた瞬きデータ（第１瞬きデータともいう）を順次取得する。瞬きデータは、生徒ユーザＵａによってなされる瞬きの特徴を示すデータである。この例では、瞬きデータは、瞬きの有無を示す。
【0056】
図６は、各生徒ユーザＵａの瞬きデータ１０３０のデータセットである。各生徒ユーザＵａの瞬きデータ１０３０は、コンテンツサブデータ（ＳＣ）１０３０ａ、コンテンツタイムスタンプ時刻（サーバ装置１０がコンテンツサブデータＳＣを生徒端末装置２０ａに送信する時刻）１０３０ｂ、表示タイムスタンプ（Ｔ２）時刻（生徒端末装置２０ａがコンテンツサブデータＳＣを表示する時刻）１０３０ｃ、コンテンツサブデータＳＣに対する瞬きの有無情報１０３０ｄ、および取得タイムスタンプ（Ｔ３）（第２タイムスタンプともいう）時刻（サーバ装置１０が瞬きデータを受信する時刻）１０３０ｅを含む。図６においてはコンテンツサブデータＳＣが表示された時刻に、瞬きがあったことが検出されたので、１０３０ｄに「ＯＮ」として図示されている。
【0057】
図４のサーバ装置１０内の評価部１１０７は、取得された瞬きデータに基づいて、複数の生徒端末装置２０ａのユーザＵ間における瞬きの一致度を順次評価する。当該評価処理は、第１送信部１１０３によるコンテンツデータの送信と並行して処理される。
【0058】
図７は、生徒ユーザＵａ間の瞬き一致度を示すデータセット１０５０である。データセット１０５０は、コンテンツサブデータ（ＳＣ）１０５０ａ、コンテンツタイムスタンプ１０５０ｂ、各生徒ユーザＵａのコンテンツサブデータＳＣに対する瞬きの有無１０５０ｃ、および一致度１０５０ｄを含む。図７の場合、各生徒ユーザＵａにおける瞬きデータは、対応するコンテンツタイムスタンプ毎に分類される。
【0059】
生成部１１０９は、評価部１１０７によって評価された瞬きの一致度に基づいてコンテンツデータに対する関心度データを生成する。評価された一致度が高くなれば関心度が高いとして関心度データが生成される。当該生成処理は、第１送信部１１０３によるコンテンツデータの送信と並行して順次行われる。関心度データは、生徒端末装置２０ａのユーザＵａの関心度に応じた表示データを含む。この例では、表示データは、講師端末装置２０ｂのユーザＵｂが関心度を認識可能に表示される色表示データを含む。
【0060】
図８は、関心度を示すインジケータ１０７０の模式図である。インジケータ１０７０は、関心度に応じて色が変化する。インジケータ１０７０において、関心度が最も低い関心度１（赤色）から、関心度が高まるごとに関心度２（橙色）、関心度（黄色）、関心度（緑色）の順で点灯する。例えば、コンテンツサブデータＳＣに対する関心度が低いとき、インジケータ１０７０は、赤色で表示される。一方、コンテンツサブデータＳＣに対する関心度が高いとき、インジケータ１０７０は、緑色で表示される。
【0061】
第２送信部１１１１は、生成された関心度データを、コンテンツデータを生成した講師端末装置２０ｂに順次送信する。
【0062】
講師端末装置２０ｂは、コンテンツデータ生成部２１ｂ１、送信部２１ｂ３、取得部２１ｂ５、および表示制御部２１ｂ７を含む。
【0063】
コンテンツデータ生成部２１ｂ１は、コンテンツデータ情報を生成する。例えば、コンテンツデータは、講義を提供する講師ユーザＵｂのビデオ画像、音声、講義に使用されるアプリケーションソフトウェア（アプリ）、例えばパワーポイント（登録商標、マイクロソフト社製）、ワード（登録商標、マイクロソフト社製）などのソフトウェアにより生成されるコンテンツである。
【0064】
送信部２１ｂ３は、通信部２３を介してコンテンツデータを構成するコンテンツサブデータＳＣ毎にサーバ装置１０に順次送信する。
【0065】
取得部２１ｂ５は、通信部２３を介してサーバ装置１０から送信された関心度データを取得する。
【0066】
表示制御部２１ｂ７は、関心度データを図３の表示部２７１に表示するための制御を実行する。
【0067】
生徒端末装置２０ａは、取得部２１ａ１、表示制御部２１ａ３、瞬き検出部２１ａ５、および送信部２１ａ７を含む。
【0068】
取得部２１ａ１は、通信部２３を介してサーバ装置１０から送信されたコンテンツデータのうちコンテンツサブデータＳＣを順次取得する。
【0069】
表示制御部２１ａ３は、取得したコンテンツサブデータＳＣを表示部２７１に表示するための制御を実行する。
【0070】
瞬き検出部２１ａ５は、取得したコンテンツサブデータＳＣに対する生徒ユーザＵａの瞬きを検出する。この例では、瞬き検出部２１ａ５は、撮像部２５により生成された撮像データに基づいてユーザの瞬きを検出する（瞬きデータを生成する）。より具体的には、瞬き検出部２１ａ５は、生徒ユーザＵａの目の動き常時監視し、瞬きの有無をリアルタイムで検出する。
【0071】
送信部２１ａ７は、通信部２３を介して生成された瞬きデータをサーバ装置１０に順次送信する。
【0072】
（１－３．データ処理方法）
次に、データ処理システム１におけるデータ処理方法を説明する。
次に、データ処理システム１におけるデータ処理方法を説明する。
【0073】
（１－３－１．コンテンツデータの生成）
図９は、データ処理システム１で実行されるコンテンツデータの生成および送信を示すフローチャートＳ１００である。
図９は、データ処理システム１で実行されるコンテンツデータの生成および送信を示すフローチャートＳ１００である。
【0074】
まず、講師端末装置２０ｂ内のコンテンツデータ生成部２１ｂ１は、コンテンツデータを生成する（Ｓ１０１）。本実施形態では、講師端末装置２０ｂにおいて、講師ユーザＵｂからの入力によってｗｅｂミーティング用のアプリケーションソフトウェア（この例では、“ＺＯＯＭ（登録商標）”アプリ）が実行されることにより、特定のコンテンツデータが生成される。また、講師端末装置２０ｂでは、“ＺＯＯＭ”アプリと合わせて、“ｈｏｓｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”というプログラムがインストールされる。かかるプログラムは以下を実行する。まず“ｈｏｓｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”が始動すると、会議の番号と、会議の開始のための入力表示が表示部２７１上に行われる。続いて、講師ユーザＵｂからの入力により会議の番号が設定され、表示部２７１（画面）上のＳＴＡＲＴボタンを押すと、“ｈｏｓｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”は、生徒ユーザＵａの瞬き検出指示情報を生徒端末装置２０ａに送信する。
【0075】
また、生徒端末装置２０ａにおいても同様のｗｅｂミーティング用アプリケーションソフトウェアが実行されるとともに、詳細は後述する瞬き検出用のアプリケーションソフトウェアが実行される。これにより、講師ユーザＵｂと、生徒ユーザＵａとの間でネットワークを介してコミュニケーションを図る（講義を行う）環境が構築される。図１０は、講師端末装置２０ｂの表示部２７１に表示される画面の一例である。図１０に示すように、講師端末装置２０ｂの表示部２７１には、生徒ユーザＵａの顔画像が表示されてもよい。
【0076】
また、本実施形態の生徒端末装置２０ａでは、予め“ＯＢＳ Ｓｔｕｄｉｏ”（オープンソースとして開発されている、クロスプラットフォーム対応のライブ配信ツール（“ＯＢＳ”は“Ｏｐｅｎ Ｂｒｏａｄｃａｓｔｅｒ Ｓｏｆｔｗａｒｅ”登録商標）の略。）アプリがインストールされるとともに、“ＺＯＯＭ”アプリのカメラ設定で“ＯＢＳ Ｖｉｒｔｕａｌ Ｃａｍｅｒａ”が選択可能となる。また、生徒端末装置２０ａでは、生徒ユーザＵａにより“Ｃｌｉｅｎｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”というプログラムがインストールされる。かかるプログラムは以下を実行する。生徒ユーザ（あるいは“Ｃｌｉｅｎｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”）が、“ＺＯＯＭ”アプリのカメラ設定で“ＯＢＳ Ｖｉｒｔｕａｌ Ｃａｍｅｒａ”を選択すると、“Ｃｌｉｅｎｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”は、撮像部２５からの撮像信号を取り込み、生徒ユーザＵａの目の形状の検出を開始する。“Ｃｌｉｅｎｔｉｎｔｅｒｆａｃｅ．ｅｘｅ”が実行された生徒端末装置２０ａは、生徒ユーザＵａの目の形状の変化から、瞬きの時刻（タイミング）を計測することができるとともに、サーバ装置１０に瞬きの時刻を送信する。
【0077】
また、本実施形態では、図５に示すように、講師ユーザＵｂが話す講義内容（コンテンツデータ１０１０）は、一部分（コンテンツサブデータＳＣともいう）ごとにサーバ装置１０に順次送信される（Ｓ１０３）。コンテンツサブデータＳＣは、所定の期間ごとに分けられてもよい。図５に示すように、この例では、コンテンツデータは、９つのコンテンツサブデータを含むが、９つ以上であってもよい。より具体的には、コンテンツデータとして講師ユーザＵｂが発する音声情報、講師ユーザＵｂのビデオ画像情報などのリアルタイムで生成される情報（コンテンツサブデータ）が、動画レート、例えば毎秒３０フレームの速度で（１／３０秒毎に）タイムスタンプとともに送信される。
【0078】
サーバ装置１０の第１取得部１１０１は、講師端末装置２０ｂから送信されたコンテンツデータを順次コンテンツサブデータＳＣとして取得する（Ｓ１０５）。サーバ装置１０は、コンテンツサブデータＳＣを識別する識別情報ＩＤおよび送信する生徒ユーザＵａの識別情報を生成してもよい。サーバ装置１０は、コンテンツサブデータＳＣを送信するに際して、コンテンツタイムスタンプ（サーバ装置１０からの送信時刻）を生成する（Ｓ１０７）。コンテンツサブデータＳＣは、コンテンツタイムスタンプ（サーバ装置１０からの送信時刻）とともに記憶部１３に一旦記憶される。サーバ装置１０の第１送信部１１０３は、タイムスタンプに示された送信時刻に、タイムスタンプとともにコンテンツサブデータＳＣを生徒端末装置２０ａに送信する（Ｓ１０９）。
【0079】
生徒端末装置２０ａは、通信部２３を介して各コンテンツサブデータＳＣを順次取得する（Ｓ１１１）。コンテンツデータ生成送信フローＳ１００は、すべてのコンテンツサブデータＳＣが生成されるまで繰り返し処理される。
【0080】
（１－３－２．瞬きデータの生成）
図１１は、データ処理システム１で実行される瞬きデータの生成を示すフローチャートＳ２００である。
図１１は、データ処理システム１で実行される瞬きデータの生成を示すフローチャートＳ２００である。
【0081】
まず、生徒端末装置２０ａは、コンテンツデータ（コンテンツサブデータＳＣ）取得すると（Ｓ１１１）、コンテンツサブデータＳＣに対して表示タイムスタンプ（Ｔ２）を生成する（Ｓ２０１）。表示タイムスタンプ（Ｔ２）は、コンテンツサブデータＳＣを表示部２７１に表示する時間であってもよい。表示タイムスタンプ（Ｔ２）を生成することにより、サーバ装置１０から生徒端末装置２０ａへのコンテンツデータの伝送遅延時間を後に取得することができる。
【0082】
次に、生徒端末装置２０ａの表示制御部２１ａ３は、表示部２７１にコンテンツサブデータＳＣを表示する（Ｓ２０３）。
【0083】
瞬き検出部２１ａ５は、コンテンツサブデータが表示されたタイミングにおける生徒ユーザＵａの瞬き有無を検出する。瞬きの検出方法について以下に説明する。瞬き検出のアルゴリズムは、種々の公知技術が適用されてよい。
【0084】
瞬き検出部２１ａ５は、撮像部２５にユーザの目を撮像させる。図１２は、生徒ユーザＵａの瞬きを検出するための画像データの一例である。瞬き検出部２１ａ５は、撮像部２５により生成された撮像データから、ユーザの目の周縁に沿って図１２に示す複数の特徴点ｐ１～ｐ６を抽出する。瞬き検出部２１ａ５は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量に基づいて該特徴点（特徴点ｐ１～ｐ６）を抽出する。瞬き検出部２１ａ５は、複数のフレームの撮像データに基づいて、抽出した特徴点の移動の方向、及びその速度の時間的な変化に基づき、瞬きの有無を検出する。瞬きが検出される場合、所定の期間内に特徴点の急激な速度の変化が生じる。そのため、瞬き検出部２１ａ５は、所定期間内の速度変化が閾値以上となった場合、ユーザの瞬きがあったことを検出する。さらに、例えば特徴点ｐ２と特徴点ｐ３を結ぶ第１線と、特徴点ｐ５と特徴点ｐ６とを結ぶ第２線との間の第１間隔（縦幅）と、特徴点１と特徴点４との間の第２間隔（横幅）との比における時間的な変化を特定することにより、ユーザの瞬きの有無を容易にしかも精度良く検出することができる。瞬きは、１フレームの画像が表示されている時間と同程度の時間間隔（１００ミリ秒～１５０ミリ秒）内で行われる。そのため、表示時刻と瞬き検出時刻を同じとしてもよい。
【0085】
本実施形態において、瞬き検出部２１ａ５は、生徒ユーザＵａの目の動きを常時監視することにより、図１１に示す瞬きデータ生成処理（Ｓ１１１～Ｓ２０７）がリアルタイムに（より具体的には、例えば毎秒３０フレーム毎（１／３０秒毎））繰り返し行われ、図６に示す瞬きデータがリアルタイムに（より具体的には、例えば毎秒３０フレーム毎（１／３０秒毎））生成される。これにより、瞬き検出を容易にしかも精度良く、ユーザの関心度の判定を行うことができる。すなわち、ユーザの表情判定などの方法によってもユーザの関心度の判定は可能であるが、表情判定のためには、計算負荷のより大きい判定アルゴリズムが必要であるが、本実施の形態に開示された方法によれば、上述のように、より計算負荷の小さい方法により、判定が可能となる。また、ユーザの瞳さえ、撮像部２５に撮影されていれば判定が可能であるので、ユーザの顔全体が端末装置の撮像部に撮影されていなくても、判定が可能となり、判定不能である場合を減らすことができる。このとき、図６に示すように、コンテンツサブデータＳＣに対する瞬き有無の情報（瞬き有をＯＮ，瞬き無をＯＦＦとする）含む第１瞬きデータが生成される（Ｓ２０５）。
【0086】
生徒端末装置２０ａの送信部２１ａ７は、生成された瞬きデータをサーバ装置１０に送信する（Ｓ２０７）。以上により、瞬きデータ生成フローＳ２００は終了となる。瞬きデータ生成処理は、コンテンツデータの各コンテンツサブデータＳＣに対して行われる。また、瞬きデータ生成処理は、コンテンツサブデータＳＣについて複数の生徒端末装置２０ａの各々において独立して行われる。
【0087】
【0088】
図１３に示すように、まずサーバ装置１０の第２取得部１１０５は、通信部１５を介して複数の生徒端末装置２０ａの各々から送信された瞬きデータを順次取得する（Ｓ３０１）。このとき、サーバ装置１０は、図６に示すように、それぞれの瞬きデータに対して、瞬きデータを取得した時刻に対応するタイムスタンプ（取得タイムスタンプ（Ｔ３）を生成する（Ｓ３０３）。このとき、サーバ装置１０の評価部１１０７は、図１４に示すように、取得タイムスタンプ（Ｔ３）の時刻と、コンテンツタイムスタンプの時刻との間の時間差Δ（Ｔ３－Ｔ１）を算出する。評価部１１０７は、時間差Δ（Ｔ３－Ｔ１）が所定時間内であるか（コンテンツタイムスタンプと取得タイムスタンプとの関係が所定の条件を満たすか）を判定する（Ｓ３０５）。時間差Δ（Ｔ３－Ｔ１）が所定時間を超える場合（Ｓ３０５；Ｎｏ）、評価部１１０７は、当該瞬きデータを瞬きの一致度を評価する対象から除外する（Ｓ３０７）。この例では、所定時間は５００ミリ秒（０．５秒）である。
【0089】
時間差Δ（Ｔ３－Ｔ１）が所定期間内である場合（Ｓ３０５；Ｙｅｓ）、評価部１１０７は、当該瞬きデータを瞬きの一致度評価に使用する（Ｓ３０９）。上述のＳ３０７、Ｓ３０９を実行することによって、時間差Δ（Ｔ３－Ｔ１）が所定値より大きい生徒端末装置２０ａの影響を除いて瞬きの一致度を評価できるので、ネットワーク遅延の影響によって、一致度の評価の精度が低下することを防止することができる。
【0090】
【0091】
本実施形態の場合、評価部１１０７は、取得された第１瞬きデータ１０３０を、対応するコンテンツタイムスタンプ毎に分類し、対応するコンテンツタイムスタンプ毎に分類された第１瞬きデータに基づいて、複数の生徒端末装置２０ａの生徒ユーザＵａ間における瞬きの一致度を順次評価する。なお、当該評価処理は、コンテンツデータのうち異なるコンテンツサブデータの送信処理と並行してリアルタイムに（より具体的には、毎秒３０フレーム毎（１／３０秒毎）行われる。より具体的には、コンテンツデータとして講師ユーザＵｂによって発せられる音声情報、講師ユーザＵｂのビデオ画像情報などのリアルタイムで生成される情報（コンテンツサブデータ）が、毎秒３０フレームの速度でタイムスタンプとともに送信される。本実施形態では毎秒３０フレーム毎に瞬き検出を行ったが、カメラ撮像性能、瞬き判定アルゴリズムを実行するための負荷などに応じて瞬き検出の頻度は変えてもよい。講師ユーザＵｂが、後述する関心度データの提供を、講義進行に伴ってリアルタイム性を感じることができるような頻度で瞬き検出を行えばよい。
【0092】
生成部１１０９は、瞬きの一致度に応じて関心度データを生成する（Ｓ３１３）。関心度は、例えば生徒ユーザＵａの数のうち所定期間内に瞬きを行った生徒ユーザＵａの数の割合で評価されてもよい。
【0093】
サーバ装置１０の第２送信部１１１１は、生成された関心度データを講師端末装置２０ｂに送信する（Ｓ３１５）。
【0094】
講師端末装置２０ｂにおいて、取得部２１ｂ５が関心度データを取得すると（Ｓ３１７）、表示制御部２１ｂ７は、講師端末装置２０ｂの表示部に関心度データを表示するように制御する（Ｓ３１９）。関心度データは、図８に示すようにインジケータ１０７０が点灯することにより表示されてもよい。インジケータ１０７０は、関心度が最も低い関心度１（赤色）から、関心度が高まるごとに関心度２（橙色）、関心度３（黄色）、関心度４（緑色）の順で点灯する。インジケータ１０７０の表示により講師ユーザＵｂは、生徒ユーザＵａの現在のコンテンツデータ（コンテンツサブデータ）に対する関心度を、講義をしながらリアルタイムで把握することができる。換言すると、インジケータの色を、いわゆるチラ見して識別するだけで、前記関心度を把握することができる。これによって、講師ユーザＵｂは講義内容を、講義をしながら、修正することもできる。以上により、関心度データ生成処理Ｓ３００が終了する。
【0095】
このとき、サーバ装置１０は、瞬き一致度の評価がなされていない残りのコンテンツサブデータがあるかどうかを判定してもよい。残りのコンテンツサブデータがある場合（Ｓ３１４；Ｙｅｓ）、Ｓ３０１に戻って、再度関心度データの生成が行われる。残りのコンテンツサブデータがない場合（Ｓ３１４；Ｎｏ）、関心度データの生成処理が終了する。これにより、関心度データは、コンテンツサブデータＳＣごとに生成される。
【0096】
本実施形態の場合、講師ユーザＵｂが発する音声データや、講師ユーザＵｂのビデオ画像データなどのデータを含むコンテンツデータが、例えば毎秒３０フレームの速度で（１／３０秒ごとに）リアルタイムで生成され、タイムスタンプと共に順次送信される。また、コンテンツデータの一部（１フレーム）であるコンテンツサブデータＳＣごとにコンテンツタイムスタンプ（Ｔ１）、表示タイムスタンプ（Ｔ２）、および取得タイムスタンプ（Ｔ３）が付される。さらに、コンテンツサブデータＳＣを送信してから瞬きデータの時間を取得するまでの時間が判定される。これにより、同じコンテンツサブデータＳＣに対する各生徒ユーザＵａの瞬きの有無を判定することができるとともに、伝送時間のずれにより、異なるコンテンツサブデータＳＣに対して複数の生徒ユーザＵａ間で瞬きのタイミングが誤って一致した場合には所定の時間差以上の瞬きデータは除外される。
【0097】
さらに、本実施形態において、サーバ装置１０は、生徒端末装置２０ａで検出・生成された各コンテンツサブデータに対する瞬きデータを順次取得し、瞬きの一致度を評価する。つまり、コンテンツデータの全てが取得されていなくても、取得されたコンテンツデータの一部に対して瞬きの一致度を評価することができる。
【0098】
したがって、本実施形態を用いることにより、伝送遅延が大きい瞬きデータの影響を受けずに正確かつリアルタイムに瞬きの一致度を評価することができる。
【0099】
＜第２実施形態＞
本実施形態では、第１実施形態とは異なるデータ処理システムについて説明する。具体的には、２つの異なる瞬きデータを用いて瞬きの一致度を評価する例について説明する。
本実施形態では、第１実施形態とは異なるデータ処理システムについて説明する。具体的には、２つの異なる瞬きデータを用いて瞬きの一致度を評価する例について説明する。
【0100】
本第２実施形態では、サーバ装置１０の評価部１１０７の機能が先に説明した第１実施形態とは異なる。すなわち本第２実施形態のサーバ装置１０の評価部１１０７は、複数の種類の瞬きデータを用いて、複数のユーザ間の瞬きの一致度を評価する。具体的には、評価部１１０７は、第１実施形態で示した瞬きデータ（第１瞬きデータ）とともに、第２瞬きデータを用いて生徒ユーザＵａ間の瞬きの一致度を評価してもよい。第２瞬きデータは、第１瞬きデータとは異なる方式で取得されてもよいし、異なる時間軸で取得されてもよい。すなわち、第２瞬きデータは、サーバ装置１０（例えば、第１取得部１１０１）によって端末装置２０からあらかじめ取得されてもよい。第２瞬きデータは、コンテンツサブデータが送信される前に第１取得部１１０１によってあらかじめ取得されてもよい。この例では、第２瞬きデータは生徒端末装置２０ａの生徒ユーザＵａ固有の瞬き頻度データである。なお、第２瞬きデータは、瞬き頻度の情報とともに、生徒ユーザＵａの性別、年齢、性格、既往歴、持病、趣味、得意な教科、又はこれらの組み合わせを含んでもよい。第２瞬きデータは、機械学習により取得されてもよい。
【0101】
例えば、生徒ユーザＵａの中に特異な瞬き特性を有する生徒ユーザＵａがいる場合、評価部１１０７は、特異な瞬き特性を有する生徒ユーザＵａを一時的に瞬きの一致度の評価対象から除外する。例えば、本第２実施形態における評価部１１０７は、チック症や、極度の緊張状態など、瞬き頻度が通常人よりも極めて大きい生徒ユーザＵａは、他の生徒ユーザＵａの瞬きとの一致度を評価する対象から除外する。
【0102】
図１６は、データ処理システム１Ａの機能構成の一例を示すブロック図である。図１６に示すように、データ処理システム１Ａにおいて、サーバ装置１０Ａは、さらに第３取得部１１１３を含む。第３取得部１１１３は、前述した第２瞬きデータを取得する。また、サーバ装置１０Ａにおいて、評価部１１０７Ａは、特異な瞬き特性を有する生徒ユーザＵａの判定１１０７Ａａと、瞬きの一致度評価１１０７Ａｂという２つの処理をリアルタイムで並行して行うことができる。
【0103】
図１７は、瞬き一致度の評価および関心度データの生成を示すフローチャートＳ３００Ａの一例である。図１７に示すように、評価部１１０７Ａは、取得された瞬きデータが判定処理によって判定された特異な瞬き特性を有する生徒ユーザＵａの瞬きデータであるかを判定する（Ｓ３０４１）。特異な瞬き特性を有する生徒ユーザＵａのデータの場合（Ｓ３０４１；Ｙｅｓ）、当該瞬きデータは、瞬きの一致度評価の対象から除外される。特異な瞬き特性を有しない生徒ユーザＵａのデータの場合（Ｓ３０４；Ｎｏ）、評価処理（Ｓ３０５）が実行される。これにより、ユーザ間の瞬きの一致度をリアルタイムに評価することができるとともに、ユーザ固有の情報を組み合わせることにより、ユーザ固有の瞬きの影響を除外してユーザ間の瞬きの一致度を評価することできる。したがって、コンテンツデータに対するユーザ間の瞬きの一致度（関心度）をリアルタイムかつ正確に評価することができる。
【0104】
また、本実施形態において、生徒ユーザＵａの第１瞬きデータを第２瞬きデータによって補正して瞬きの一致度を評価してもよい。
【0105】
図１８は、データ処理システム１Ｂの機能構成の一例を示すブロック図である。図１８に示すように、データ処理システム１Ｂにおいて、サーバ装置１０Ｂは、さらに第３取得部１１１３を含む。第３取得部１１１３は、第２瞬きデータを取得する。サーバ装置１０Ｂにおいて、評価部１１０７Ｂは、第３取得部１１１３によって取得された第２瞬きデータを用いた第１瞬きデータの補正（キャリブレーション）１１０７Ｂａと、瞬きの一致度評価１１０７Ｂｂという２つの処理をリアルタイムで並行して実行することができる。図１９は、瞬き一致度の評価および関心度データの生成を示すフローチャートＳ３００Ｂの一例である。図１９に示すように、評価部１１０７Ｂは取得された瞬きデータ（第１瞬きデータ）を第２瞬きデータで補正する（Ｓ３０４２）。補正された第１瞬きデータに対して評価処理（Ｓ３０５）が実行される。これにより、特異な瞬き特性を有する生徒ユーザＵａの第１瞬きデータを他の生徒ユーザＵａの瞬きデータと一緒に用いて生徒ユーザＵａ間の瞬きの一致度を評価することができる。
【0106】
＜第３実施形態＞
本実施形態では、データ処理システムにおける警告情報生成処理について説明する。
本実施形態では、データ処理システムにおける警告情報生成処理について説明する。
【0107】
図２０は、データ処理システム１で実行される警告情報の生成を示すフローチャートＳ４００である。
【0108】
まず、第１実施形態において、除外された瞬きデータを評価する（Ｓ４０１）。このとき、サーバ装置１０は、コンテンツサブデータが表示されてから瞬きが行われるまでの時間幅ΔＴ２を計算する。時間幅ΔＴ２が所定の時間以内である場合、警告情報生成処理は終了となる。
【0109】
時間幅ΔＴ２が所定時間を超える場合（Ｓ４０３；Ｎｏ）、当該瞬きデータに対応する生徒ユーザＵａについての登録情報があるのか判定する（Ｓ４０５）。登録情報は記憶部１２にあらかじめ記憶されていてもよい。登録情報はコンテンツサブデータが送信される前にあらかじめ取得されてもよい。登録情報は、瞬き頻度の情報、生徒ユーザＵａの性別、年齢、性格、既往歴、持病、趣味、得意な教科、又はこれらの組み合わせを含んでもよい。登録情報がある場合（Ｓ４０５；Ｙｅｓ）、警告情報生成処理は終了となる。
【0110】
登録情報がない場合（Ｓ４０５；Ｎｏ）、サーバ装置１０の評価部１１０７は当該生徒ユーザＵａあるいはそのユーザが使用としている端末装置２０において異常ありと判定してもよい。このとき、サーバ装置１０の生成部１１０９は、警告情報を生成する（Ｓ４０７）。サーバ装置の第２送信部１１１１は、警告情報を講師端末装置２０ｂに送信する。（Ｓ４０９）。
【0111】
講師端末装置２０ｂは、警告情報を取得し、表示部２７１に表示してもよい。これにより、講師端末装置２０ｂの講師ユーザＵｂは、警告情報に対応する生徒ユーザＵａを認識することができる。このとき、講師ユーザＵｂは、警告情報に対応する生徒ユーザＵａとコミュニケーションを図る、または講義の内容を変更するなど、生徒ユーザＵａを講義に集中させるためのきっかけを得ることができる。
【0112】
＜第４実施形態＞
本発明の第１実施形態において、瞬きの一致度は、複数の生徒ユーザＵａ間の瞬きの有無の割合で評価する例を示したが、本発明はこれに限定されない。本実施形態では、所定の期間内におけるサロゲート法を用いて演算処理に行う例について説明する。
本発明の第１実施形態において、瞬きの一致度は、複数の生徒ユーザＵａ間の瞬きの有無の割合で評価する例を示したが、本発明はこれに限定されない。本実施形態では、所定の期間内におけるサロゲート法を用いて演算処理に行う例について説明する。
【0113】
本実施形態において、評価部１１０７は、所定の期間におけるサロゲート法を用いた演算処理を行い、複数の生徒端末装置２０ａの生徒３０ユーザＵａ間における瞬きタイミングの一致度を評価する。当該評価処理は、コンテンツデータのうち異なるコンテンツサブデータの送信と並行して行われる。この例では、コンテンツサブデータの所定の期間は３０秒という時間幅である。また、本実施形態では、コンテンツサブデータは、１秒ずつずらしながら生成される。具体的には、コンテンツデータにおいて、第１コンテンツサブデータを０秒から３０秒までの３０秒間としたとき、新たなコンテンツサブデータは、１秒ずらした１秒から３１秒までの３０秒間となる。この１秒毎にずらした、３０秒間のコンテンツデータが繰り返し生成される。
【0114】
図２１は、評価処理を示すフローチャートＳ３１１Ｃである。まず、サーバ装置１０は、各生徒端末装置３０ａから３０秒間のコンテンツデータを視聴した生徒ユーザの瞬きデータ（瞬きのタイミングデータ）を取得する（Ｓ３０１Ｃ）。
【0115】
評価部１１０７は、Ｎ人の生徒ユーザＵａ－１～Ｕａ－Ｎの中から２人の生徒ユーザを選択する（Ｓ３１１Ｃ１）。選択した２人の生徒ユーザを、以下、それぞれ「第１生徒ユーザ」、「第２生徒ユーザ」と称する。評価部１１０７は、ここでは、生徒ユーザＵａ－１と生徒ユーザＵａ－２を選択したものとする。
【0116】
次に、評価部１１０７は、第１生徒ユーザの瞬きのタイミングと、第２生徒ユーザの瞬きのタイミングとの差異を算出する（Ｓ３１１Ｃ２）。評価部１１０７は、第１生徒ユーザ（生徒ユーザＵａ－１）の瞬きのタイミングと、第２生徒ユーザ（生徒ユーザＵａ－２）の瞬きのタイミングとのすべての組み合わせについて、タイミングの差異（以下「タイミング差」という。）を算出する。
【0117】
図２２は、瞬きのタイミングの差異の算出方法を説明する図である。図２３は、瞬きが検出されたタイミングを示すタイミングチャートが示されている。図２３に示すように、生徒ユーザＵａ－１の瞬きのタイミングを、その時刻順に、ｔ１１，ｔ１２，・・・ｔ１Ｂと表す。生徒ユーザＵａ－２の瞬きのタイミングを、その時刻順に、ｔ２１，ｔ２２，・・・ｔ２７と表す。この場合、評価部１１０７は、ｔ１１，ｔ１２，・・・ｔ１Ｂの各々について、ｔ２１，ｔ２２，・・・ｔ２７の各々との差異を算出する。瞬きタイミングｔ１ｉ（ただし、１≦ｉ≦ｍ）と瞬きタイミングｔ２ｊ（ただし、１≦ｊ≦ｎ）との差異であるタイミング差を、以下「Δｔｉｊ」と表す。この場合、評価部１１０７は、タイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢｎ｝を算出する。
【0118】
図２３は、タイミング差の出現頻度の分布を示すグラフＤＧを示す。図２３のグラフＤＧにおいて、横軸がタイミング差に対応し、縦軸が各タイミング差の出現の度合い（つまり、出現頻度）に対応する。図２３に示す例では、タイミング差が比較的小さい時間範囲Ｔ内で、出現頻度が高くなる。
【0119】
次に、評価部１１０７は、ランダムデータを生成する（Ｓ３１１Ｃ３）。ランダムデータは、ここでは、Ｓ３１１Ｃ１で選択した２人の生徒ユーザＵａの一方又は両方について、時間軸上で瞬きの間隔の順番をランダムに変更したＫ通り（例えば、１０００通り）のランダムデータＲ１～ＲＫ（第２データ）を含む。
【0120】
図２４は、ランダムデータＲ１～ＲＫの一例を示す図である。図２４に示すランダムデータＲ１～ＲＫには、生徒ユーザＵａ－１について瞬きの間隔の順番が変更されておらず、生徒ユーザＵａ－２について瞬きの間隔の順番が変更されているランダムデータである。ランダムデータＲ１～ＲＫにおいて、生徒ユーザＵａ－２の瞬きのタイミングは、その時刻順に、ｔ２１ａ，ｔ２５ａ，・・・ｔ２３ａと表される。なお、図２２に示すタイミング「ｔ２ｊ」と、図２４に示すタイミング「ｔ２ｊａ」とが対応する。
【0121】
次に、評価部１１０７は、Ｋ通りのランダムデータＲ１～ＲＫの各々について、第１生徒ユーザＵａの瞬きのタイミングと、第２生徒ユーザＵａの瞬きのタイミングとの差異であるタイミング差を算出する（Ｓ３１１Ｃ４）。タイミング差の算出方法は、Ｓ３１１Ｃ２と同じでよい。すなわち、評価部１１０７は、ランダムデータＲ１～ＲＫの各々について、生徒ユーザＵａ－１の瞬きのタイミングと、生徒ユーザＵａ－２の瞬きのタイミングとのすべての組み合わせについて、タイミング差を算出する。瞬きタイミングｔ１ｉａ（ただし、１≦ｉ≦ｍ）と瞬きタイミングｔ２ｊａ（ただし、１≦ｊ≦ｎ）との差異であるタイミング差を、以下「Δｔｉｊａ」と表す。この場合、評価部１１０７は、タイミング差ＴＲ｛Δｔ１１ａ、Δｔ１５ａ、・・・、Δｔ１３ａ、Δｔ２１ａ、Δｔ２５ａ、・・・、Δｔ２３ａ、・・・ΔｔＢ１ａ、ΔｔＢ５ａ、・・・、ΔｔＢ３ａ｝を算出する。ランダムデータＲ１～ＲＫにおけるタイミング差の出現頻度は、例えば、図２３のグラフＲＧで示される。なお、グラフＲＧは、ランダムデータＲ１～ＲＫのタイミング差の出現頻度の平均を示す。
【0122】
次に、評価部１１０７は、瞬きデータに基づくタイミング差と、ランダムデータに基づくタイミング差とに基づいて、評価値を算出する（Ｓ３１１Ｃ５）。ランダムデータは、生徒ユーザＵａ－２の瞬きの間隔をランダムに変更したデータであり、生徒ユーザＵａ－２の瞬きの回数及び間隔を維持したまま、時系列の情報が崩されたデータといえる。よって、瞬きデータとランダムデータとを比較することによって、当該瞬きデータが示すタイミング差の出現分布が、動画の観察に起因して現れた度合いを把握することができる。
【0123】
具体的には、評価部１１０７は、評価値をＺ値によって算出する。すなわち、評価部１１０７は、瞬きデータが示すタイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢｎ｝の各々から、ランダムデータＲ１～ＲＫにおけるタイミング差の平均値を減じ、さらに、得られた値をランダムデータＲ１～ＲＫにおけるタイミング差の標準偏差で除することによって、評価値Ｚを算出する。例えば、瞬きデータがランダムデータと同じである場合、評価値Ｚは０である。この場合、瞬きデータが示す出現頻度の分布が、動画の観察に起因して現れていないと推測することができる。一方、評価値Ｚが大きく、瞬きデータがランダムデータに対して差異が大きい場合、瞬きデータが示す出現頻度の分布が、動画の観察に起因して現れたと推測することができる。図２３を用いて説明すると、出現頻度の差異Δが大きい場合ほど、評価値Ｚは大きくなる。
【0124】
図２５は、評価値Ｚの一例を示すグラフである。図２５に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。タイミング差は、ここでは、ビンの値によって表す。ビン番号「７」は、タイミング差が「０」と扱われることを示す。ビン間の時間幅は３００ミリ秒で、ビン番号の値が大きくなる方向に、正の方向にタイミング差が大きいことを意味する。例えば、ビン番号「８」は＋３００ミリ秒の差異があり、ビン番号「９」は＋６００ミリ秒の差異があることを意味する。反対に、ビン番号の値が小さくなる方向に、負の方向にタイミング差が大きいことを意味する。例えば、ビン番号「６」は－３００ミリ秒の差異があり、ビン番号「５」は－６００ミリ秒の差異があることを意味する。なお、タイミング差が正の値である場合、第２生徒ユーザＵａ－２の瞬きのタイミングが第１生徒ユーザＵａ－１の瞬きのタイミングよりも早いことを意味する。タイミング差が負の値である場合、第１生徒ユーザＵａ－１の瞬きのタイミングが第２生徒ユーザＵａ－２の瞬きのタイミングよりも早いことを意味する。本実施形態では、タイミング差が３００ミリ秒以下である瞬きの出現頻度が、ビン番号「７」の評価値Ｚを示す。
【0125】
次に、評価部１１０７は、すべての生徒ユーザＵａの組み合わせについて、評価値を算出したかどうかを判断する（Ｓ３１１Ｃ６）。すべての生徒ユーザＵａの組み合わせについて、評価値を算出していない場合（Ｓ３１１Ｃ６；Ｎｏ）、評価部１１０７はＳ３１１Ｃ１の処理に戻す。そして、評価部１１０７は、選択する２人の生徒ユーザＵａの組み合わせを変更して、評価値を算出する（Ｓ３１１Ｃ１～Ｓ１５４）。そして、Ｓ３１１Ｃ６で「Ｙｅｓ」と判断した場合、評価部１１０７は評価処理を終了する。
【0126】
評価処理３１１Ａが終了すると、生成部１１０９は、評価値に応じた関心度データを生成する（図１３のＳ３１３）。前述したように本実施形態では、コンテンツサブデータは、１秒ずつずらしながら生成される。具体的には、コンテンツデータにおいて、第１コンテンツサブデータを０秒から３０秒までの３０秒間としたとき、新たなコンテンツサブデータは、１秒ずらした１秒から３１秒までの３０秒間となる。この１秒毎にずらした、３０秒間のコンテンツデータが繰り返し生成される。したがって、図２１に示されるＳ３１１Ｃの全体のフローチャートの処理は、この１秒毎にずらした、３０秒間のコンテンツデータに対して繰り返し行われる。かかる処理によって、生成部１１０９は、評価値に応じた関心度データを、１秒毎にずらした、３０秒間のコンテンツデータに対して繰り返し生成する。
【0127】
図２６は、１秒毎にずらした、３０秒間のコンテンツデータに対して繰り返し生成された関心度データを示すグラフデータである。この例では、生成部１１０９は、時刻と関連付けた評価値（関心度データ）を生成する。関心度データは、グラフデータとして表示されてもよい。グラフデータの場合、横軸を時間（時刻）とし、縦軸を関心度としてもよい。なお、図２７に示すように、図２６図示の関心度データは、時間軸に対して平滑化処理した後に表示してもよい。これにより、講師ユーザＵｂは、関心度を認識しやすくなる。
【0128】
本実施形態の場合、通常のサロゲート法における演算期間に比べて短い３０秒が設定される。これにより、瞬きの一致度をリアルタイムかつ正確に評価することができる。また、講師ユーザＵｂは、コンテンツデータに対する生徒ユーザＵａの関心度を正確に把握することができる。
【0129】
＜第５実施形態＞
本実施形態では、生徒ユーザＵａの人数に応じて特異な瞬き特性を有する生徒ユーザＵａを瞬きの一致度評価の対象から除外するかどうかを判定する例について説明する。
本実施形態では、生徒ユーザＵａの人数に応じて特異な瞬き特性を有する生徒ユーザＵａを瞬きの一致度評価の対象から除外するかどうかを判定する例について説明する。
【0130】
図２８は、瞬き一致度の評価および関心度データの生成を示すフローチャートＳ３００Ｄの一例である。図２８に示すように、評価部１１０７は生徒ユーザＵａの数が所定の人数（この例では２０人）以上であるかどうかを判定する（Ｓ３０４Ｄ１）。生徒ユーザＵａの数が所定の人数未満の場合（Ｓ３０４Ｄ１；Ｎｏ）、特異な瞬き特性を有する生徒ユーザＵａのデータであるか否かの判定がなされる（Ｓ３０４Ｄ２）。所定の人数以上の場合（Ｓ３０４Ｄ１；Ｙｅｓ）、特異な瞬き特性を有する生徒ユーザＵａのデータであるか否かの判定はなされずに評価処理（Ｓ３０５）が実行される。つまり、生徒ユーザＵａの数が所定の人数（例えば２０人以上）の場合、第２実施形態のように特異な瞬き特性を有する生徒ユーザＵａがいたとしても、当該生徒ユーザＵａの瞬きデータを除外しなくても瞬きの一致度が、特異な瞬き特性を有する生徒ユーザからの大きな影響を受けずに精度よくに評価することができる。
【0131】
＜第６実施形態＞
本実施形態では、瞬きの一致度を評価するとともに、瞬きが抑圧された状態（時間）を評価する例について説明する。
本実施形態では、瞬きの一致度を評価するとともに、瞬きが抑圧された状態（時間）を評価する例について説明する。
【0132】
図２９は、瞬き一致度の評価および関心度データの生成を示すフローチャートＳ３００Ｅの一例である。図２９に示すように、評価部１１０７は、瞬きの一致度評価処理（Ｓ３１１）と並行して瞬き抑圧状態（時間）評価を行ってもよい（Ｓ３１２）。例えば、評価部１１０７は、複数のコンテンツサブデータに対する瞬きデータを用いて瞬き抑圧状態の評価を行ってもよい。瞬き抑圧状態（時間）評価では、例えば、複数の生徒ユーザＵａにおいて瞬きをしない時間が所定の時間以上である場合、評価部１１０７は瞬きが抑圧されていると判定し、生成度１１０９Ａは、複数の生徒ユーザＵａがコンテンツデータに興味を持っていると判定してもよい。生成部１１０９は、瞬きの一致度および瞬き抑圧状態の結果をもとに、関心度情報を生成することができる（Ｓ３１３）。
【0133】
＜第７実施形態＞
本実施形態では、第１実施形態とは異なるデータ処理システム一つの生徒ユーザＵａ端末装置で取得される画像データの中に複数の生徒ユーザＵａの顔が含まれる例について説明する。なお、第１実施形態と重複する構成については、適宜省略して説明する。
本実施形態では、第１実施形態とは異なるデータ処理システム一つの生徒ユーザＵａ端末装置で取得される画像データの中に複数の生徒ユーザＵａの顔が含まれる例について説明する。なお、第１実施形態と重複する構成については、適宜省略して説明する。
【0134】
図３０は、本発明の第１実施形態であるデータ処理システム１Ｆの全体構成を示すブロック図である。データ処理システム１Ｆにおいて、生徒端末装置２０Ｆａ－１から表示されるコンテンツデータを複数の生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）が視聴している。より具体的には、塾の講義を生徒がモニタ越しに視聴する例が挙げられる。
【0135】
図３１は、コンテンツデータを視聴する生徒ユーザＵａを撮像した画像である。前述したとおり、生徒端末装置２０Ｆａ－１から表示されるコンテンツデータを複数の生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）が視聴しているので、一つの撮像装置に複数の生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）が一画面内に撮影された画像データが出力される。各生徒ユーザＵａ１には、あらかじめ生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）を識別するための固有の識別情報が付与され、生徒端末装置２０Ｆａ－１は生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）を、顔認識アルゴリズムなどの実行することにより生徒の識別情報を認識する。図３１に示すように当該画像をモニタ表示器に表示するに際しては、各生徒ユーザＵａに対して識別情報が表示される。
【0136】
図３２は、データ処理システム１Ｆで実行される瞬きデータの生成を示すフローチャートＳ２００Ｆである。
【0137】
瞬き検出部２１ａ５は、生徒端末装置２０ａＦ－１に表示されたコンテンツサブデータを視聴する複数の生徒ユーザＵａ－１の瞬き有無を検出する（Ｓ２０５Ｆ）。このとき、瞬き検出部２１ａ５は、撮像部２５によって複数の生徒ユーザＵａ－１の目を撮像し、各生徒ユーザＵａ－１の瞬きを検出する。先の実施形態で説明したように本実施形態おける瞬き検出部２１ａ５は比較的少ない計算負荷で精度良く瞬きの有無を判定することができるので、図３１に示すような生徒ユーザＵａ端末装置で取得される画像データの中に複数の生徒ユーザＵａの顔が含まれる場合でもリアルタイムに瞬きの有無の判定処理が行える。なお、生徒端末装置２０Ｆａ－１が、生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）を、顔認識アルゴリズムなどの実行することにより生徒の識別情報を認識する処理は１フレーム毎に実行する必要はない。コンテンツサブデータを視聴する生徒ユーザＵａ１－１（Ｕａ１－１～ｍ、ｍは２以上）の画像上の位置は大きく変動することはないからである。したがって、本実施形態によれば、複数の生徒ユーザＵａの顔を撮像する画素数が小さくても精度良く瞬きの有無の判定処理を行う事ができる。
【0138】
図３３は、各生徒ユーザＵａの瞬きデータ１０３０Ｆのデータセットである。瞬きデータ１０３０Ｆは、コンテンツサブデータ（ＳＣ）１０３０ａ、コンテンツタイムスタンプ（Ｔ１）時刻（サーバ装置１０がコンテンツサブデータＳＣを生徒端末装置２０Ｆａ－１に送信する時刻）１０３０ｂ、表示タイムスタンプ（Ｔ２）時刻（生徒端末装置２０Ｆａ－１がコンテンツサブデータＳＣを表示する時刻（瞬き検出時刻））１０３０ｃ、コンテンツサブデータＳＣに対する瞬きの有無情報１０３０ｄ、および取得タイムスタンプ（Ｔ３）時刻（サーバ装置１０が瞬きデータを受信する時刻）１０３０ｅに加えて、生徒ユーザＵａ－１の識別情報１０３０ｉを含む。
【0139】
生徒端末装置２０Ｆａの送信部２１ａ７は、生成された瞬きデータ１０３０Ｆをサーバ装置１０に送信する（Ｓ２０７）。以上により、瞬きデータ生成フローＳ２００は終了となる。瞬きデータ生成処理は、コンテンツデータの各コンテンツサブデータＳＣに対して行われる。送信された瞬きデータを用いて、サーバ装置１０は、第１実施形態と同様に瞬きの一致度を評価する。
【0140】
本実施形態において、一つの生徒端末装置を複数の生徒ユーザＵａが視聴する場合においても、各生徒ユーザＵａの瞬きを常時監視し、リアルタイムに（より具体的には、毎秒３０フレーム毎（１／３０秒毎））瞬き検出を行うことができる。
【0141】
本実施形態では、一つの生徒端末装置で生成された複数の生徒ユーザＵａの瞬きデータ１０３０Ｆがサーバ装置１０に送信されて、サーバ装置１０で瞬きの一致度を評価する例を示したが、本発明はこれに限定されない。例えば、生徒端末装置２０Ｆａ－１で生成された複数の生徒ユーザＵａの瞬きデータ１０３０Ｆを用いて、生徒端末装置２０Ｆａが、瞬きの一致度を評価してもよい。この場合、生徒端末装置２０Ｆａが、瞬きの一致度を評価する前述した機能を有し、評価した瞬きの一致度結果が、サーバ装置１０に送信される。これにより、サーバ装置における評価部１１０７の処理負荷を低減することができる。
【0142】
（変形例）
本発明の思想の範疇において、当業者であれば、各種の変更例および修正例に想到し得るものであり、それら変更例および修正例についても本発明の範囲に属するものと了解される。例えば、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、処理の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。また、各実施形態の構成を組み合わせた場合も本発明の範囲に含まれる。
本発明の思想の範疇において、当業者であれば、各種の変更例および修正例に想到し得るものであり、それら変更例および修正例についても本発明の範囲に属するものと了解される。例えば、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、処理の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。また、各実施形態の構成を組み合わせた場合も本発明の範囲に含まれる。
【0143】
本発明の第１実施形態では、コンテンツタイムスタンプとして、サーバ装置１０からの送信時刻が付されたが、本発明はこれに限定されない。例えば、コンテンツタイムスタンプとしてコンテンツサブデータＳＣが生成された時刻が付されてもよい。
【0144】
本発明の第１実施形態では、関心度データは、色を変えて表示される例を示したが、本発明はこれに限定されない。例えば、関心度データは、同じ色で階調を変化させて表示（例えば５段階表示）されてもよい。
【0145】
本発明の第１実施形態では、関心度データは、色表示データで表示される例を示したが、本発明はこれに限定されない。関心度データは、メータで表示されてもよい。また、関心度は、色表示データまたはグラフデータなどの視覚的な情報により表現されることに限定されず、聴覚的または触覚的に表現されてもよい。例えば、関心度が聴覚的に表現される場合、関心度に応じて音声入出力部から出力されるアラーム音の音量・音周波数が変化してもよい。例えば、関心度が触覚的に表現される場合、操作部（例えばマウス、またはキーボード）、または音声入力部、音声出力部（例えばヘッドセット）における振動の強度または振動周波数が変化してもよい。
【0146】
瞬き検出部２１ａ５は、撮像データを記憶部２４に記憶させておき、所定の期間に当該撮像データを読み出して、瞬きを検出してもよい。
【0147】
本発明の第１実施形態では、講師端末装置２０ｂに関心度を示す一つのインジケータ１０７０が表示される例を示したが、本発明はこれに限定されない。図３４は、講師端末装置の表示部に表示される画面の一例である。図３４に示すように、各生徒ユーザＵａのウィンドウに関心度を示すインジケータが表示されてもよい。これにより、各生徒ユーザＵａの関心度を把握することができる。
【符号の説明】
【0148】
１・・・データ処理システム，１０・・・サーバ装置，１１・・・制御部，１３・・・記憶部，１５・・・通信部，１７・・・配線バス，２０・・・端末装置，２０ａ・・・生徒端末装置，２０ｂ・・・講師端末装置，２１・・・制御部，２１ａ１・・・取得部，２１ａ３・・・表示制御部，２１ａ５・・・検出部，２１ａ７・・・送信部，２１ｂ１・・・コンテンツデータ生成部，２１ｂ３・・・送信部，２１ｂ５・・・取得部，２１ｂ７・・・表示制御部，２２・・・記憶部，２３・・・通信部，２４・・・記憶部，２５・・・撮像部，２７・・・ユーザインタフェース，２９・・・配線バス，１１１・・・演算処理装置，１１２・・・メモリ，２７１・・・表示部，２７２・・・音声入力部，２７３・・・音声出力部，２７４・・・操作部，１０１０・・・コンテンツデータ，１０３０・・・瞬きデータ，１０５０・・・瞬きの一致度を示すデータ，１０７０・・・インジケータ，１１０１・・・第１取得部，１１０３・・・第１送信部，１１０５・・・第２取得部，１１０７・・・評価部，１１０９・・・生成部，１１１１・・・第２送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
