特開2022-175709集中度算出プログラム，集中度算出方法および集中度算出装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175709
(43)【公開日】2022-11-25
(54)【発明の名称】集中度算出プログラム，集中度算出方法および集中度算出装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20221117BHJP
【ＦＩ】
G06T7/20 300B
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021082347
(22)【出願日】2021-05-14
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】豊田 雄志
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA32
5L096GA51
5L096HA02
5L096HA09
(57)【要約】
【課題】ユーザの個人差に影響を受けることなく、ユーザの集中度を高精度に推定する。
【解決手段】ユーザの顔を撮像した複数の撮像画像を取得し、複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、第１の複数の画像に基づいて、顔の表情筋の動きの第１の発生状況を判定し、第２の複数の画像に基づいて、顔の表情筋の動きの第２の発生状況を判定し、第１の発生状況と前記第２の発生状況とに基づいて、ユーザの集中度を算出する.
【選択図】図９
【解決手段】ユーザの顔を撮像した複数の撮像画像を取得し、複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、第１の複数の画像に基づいて、顔の表情筋の動きの第１の発生状況を判定し、第２の複数の画像に基づいて、顔の表情筋の動きの第２の発生状況を判定し、第１の発生状況と前記第２の発生状況とに基づいて、ユーザの集中度を算出する.
【選択図】図９
【特許請求の範囲】
【請求項1】
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータに実行させることを特徴とする集中度算出プログラム。
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータに実行させることを特徴とする集中度算出プログラム。
【請求項2】
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする請求項１に記載の集中度算出プログラム。
ことを特徴とする請求項１に記載の集中度算出プログラム。
【請求項3】
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を求める処理を含む、
ことを特徴とする請求項２に記載の集中度算出プログラム。
ことを特徴とする請求項２に記載の集中度算出プログラム。
【請求項4】
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする請求項１～３のいずれか１項に記載の集中度算出プログラム。
ことを特徴とする請求項１～３のいずれか１項に記載の集中度算出プログラム。
【請求項5】
前記顔の表情筋の動きは、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする請求項１～４のいずれか１項に記載の集中度算出プログラム。
ことを特徴とする請求項１～４のいずれか１項に記載の集中度算出プログラム。
【請求項6】
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする請求項５に記載の集中度算出プログラム。
ことを特徴とする請求項５に記載の集中度算出プログラム。
【請求項7】
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする請求項５または６に記載の集中度算出プログラム。
ことを特徴とする請求項５または６に記載の集中度算出プログラム。
【請求項8】
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータが実行することを特徴とする集中度算出方法。
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータが実行することを特徴とする集中度算出方法。
【請求項9】
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理を実行する制御部、
を含むことを特徴とする集中度算出装置。
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理を実行する制御部、
を含むことを特徴とする集中度算出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの集中度を算出する技術に関する。
【背景技術】
【0002】
近年、インターネットを介して授業や講義を遠隔で行なうオンライン授業が一般的に行なわれている。
【0003】
また、講義の途中で、理解不足や飽きなどの影響で授業に集中できていない受講者に対して、講師が指導行動の内容を変更する対処を行なうことも一般的に行なわれている。
【0004】
しかしながら、オンライン授業においては、Ｗｅｂカメラ越しでの指導となるため、講師にとっては、受講者が集中できているかの判断が難しい。そのため、受講者の集中度に応じて指導行動や内容を変更する対処が困難である。
【0005】
なお、オンライン授業においては、例えば、１対Ｎで行なわれる形態と、１対１で行なわれる形態とがあるが、特に１対Ｎの形態で行なわれる場合において、受講者の集中状態の判断が難しい。
【0006】
そのため、講師が受講者の集中低下に対策できるように、受講者の集中度を推定する技術が求められている。受講者の集中状態を表す数値を集中度といってもよい。このような受講者の集中度を推定する技術は、遠隔授業の品質向上や講師による指導行動の評価・可視化にも有用である。
従って、指導品質の改善を行なうために、オンライン授業中の受講者の集中度を推定する技術が求められている。
例えば、映像コンテンツを用いて講義を受けている受講者の集中度を、Ｗｅｂカメラで撮影した表情や頭部動作，視線動作から推定する手法が知られている。
従って、指導品質の改善を行なうために、オンライン授業中の受講者の集中度を推定する技術が求められている。
例えば、映像コンテンツを用いて講義を受けている受講者の集中度を、Ｗｅｂカメラで撮影した表情や頭部動作，視線動作から推定する手法が知られている。
【0007】
当該手法においては、例えば、Ｗｅｂカメラ画像から、受講者の表情，視線および頭部動作の特徴量を生成する。そして、これらの特徴量（表情，視線，頭部動作）と集中度との相関を大量のデータを用いて機械学習を行なって、集中度を推定する推定モデル（機械学習モデル）を生成する。このようにして生成した推定モデルを用いて、受講者の集中度の推定を行なう。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１３－９７３１１号公報
【特許文献2】特開２０１１－０３９９３４号公報
【特許文献3】特開２０１８－４９４８１号公報
【特許文献4】特開２０１９―１７９２３５号公報
【非特許文献】
【0009】
【非特許文献1】Automatic Engagement Prediction with GAP Feature CMI '18: Proceedings of the 20th ACM International Conference on Multimodal Interaction October 2018
【発明の概要】
【発明が解決しようとする課題】
【0010】
表情筋の変化は個人毎に異なるので、受講者の画像から集中度を判定する場合に、一律の基準を用いると判定精度が悪くなる。従来の集中度推定手法においては、受講者の個人差にロバストな推定モデルを生成するためには、訓練データとして、事前に大量のデータ収集が必要になる。例えば、数百人～千人を対象に、授業時間に相当する時間を費やして表情の撮像を行なう必要がある他、正解データとして用いるためのラベル付け等を行なう必要もあり高コストとなる。
１つの側面では、本発明は、ユーザの個人差による影響を抑制し、ユーザの集中度を推定することを目的とする。
１つの側面では、本発明は、ユーザの個人差による影響を抑制し、ユーザの集中度を推定することを目的とする。
【課題を解決するための手段】
【0011】
このため、この集中度算出プログラムは、ユーザの顔を撮像した複数の撮像画像を取得し、前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、処理をコンピュータに実行させる。
【発明の効果】
【0012】
一実施形態によれば、ユーザの個人差による影響を抑制し、ユーザの集中度を推定できる。
【図面の簡単な説明】
【0013】
【図1】実施形態の一例としてのコンピュータシステムにおける集中度推定機能の原理を説明するための図である。
【図2】実施形態の一例としてのコンピュータシステムにおける集中度推定機能の原理を説明するための図である。
【図3】実施形態の一例としてのコンピュータシステムにおける集中度推定機能の原理を説明するための図である。
【図4】実施形態の一例としてのコンピュータシステムの構成を模式的に示す図である。
【図5】実施形態の一例としてのコンピュータシステムの情報処理装置の機能構成を例示する図である。
【図6】実施形態の一例としてのコンピュータシステムの情報処理装置における第１表情筋動作情報の作成方法を説明するための図である。
【図7】実施形態の一例としてのコンピュータシステムにおけるＡＵ１およびＡＵ２の第１表情筋動作情報の検出結果を例示する図である。
【図8】実施形態の一例としてのコンピュータシステムにおけるＡＵ４５の第１表情筋動作情報の検出結果を例示する図である。
【図9】実施形態の一例としてのコンピュータシステムの情報処理装置における集中度算出部による処理を説明するための図である。
【図10】実施形態の一例としてのコンピュータシステムの情報処理装置の処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照して本集中度算出プログラム，集中度算出方法および集中度算出装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【0015】
（Ａ）原理
本コンピュータシステム１においては、オンライン授業の受講者の集中度を推定する集中度推定機能を実現する。
図１～図３は、それぞれ実施形態の一例としてのコンピュータシステム１における集中度推定機能の原理を説明するための図である。
本コンピュータシステム１においては、ＦＡＣＳ（Facial Action Coding System）を用いて受講者の表情を解析する。
本コンピュータシステム１においては、オンライン授業の受講者の集中度を推定する集中度推定機能を実現する。
図１～図３は、それぞれ実施形態の一例としてのコンピュータシステム１における集中度推定機能の原理を説明するための図である。
本コンピュータシステム１においては、ＦＡＣＳ（Facial Action Coding System）を用いて受講者の表情を解析する。
【0016】
ＦＡＣＳは、表情表出時に現れる顔面上の特定の部位における動作の体系であって、表情の記述や識別に広く用いられている。ＦＡＣＳでは、表情表出に深く関与する顔面上の動作が顔面筋の解剖学的知見に基づいて定義されており、表情動作の最小単位をＡＵ（Action Unit）という。Action Unit をFacial Action Unitといってもよい。ＦＡＣＳでは、ＡＵ１～ＡＵ４６の４６種類の表情筋の動作単位が規定されている。
【0017】
本コンピュータシステム１においては、これらの４６種類のＡＵのうちＡＵ１，ＡＵ２およびＡＵ４５に着目して受講者の集中度推定に用いる。ＡＵ１は眉の内側を上げる表情動作を、ＡＵ２は眉の外側を上げる表情動作を、ＡＵ４５はまばたきをする表情動作を、それぞれ表す。
図２は集中時および非集中時におけるＡＵ１の変化を表すグラフであり、複数の被験者に対する実験結果を分析することにより得られたものである。
図２は集中時および非集中時におけるＡＵ１の変化を表すグラフであり、複数の被験者に対する実験結果を分析することにより得られたものである。
【0018】
この図２においては、縦軸がＡＵ１の平均強度を示し、横軸が経過時間を示す。経過時間においては、雑談等の受講者にとって集中が不要の期間（時間帯）である「非集中期間」と、講義の受講中等の受講者が集中すべき期間（時間帯）である「集中期間」とを備える。非集中期間を第１の時間帯という場合がある。また、集中期間を第２の時間帯という場合がある。
【0019】
この図２に示すように、集中した状態にある被験者（集中グループ）は、集中が不要の期間（非集中期間）におけるＡＵ１の平均強度に比べ、集中期間におけるＡＵ１の平均強度が著しく小さくなる。すなわち、集中した状態にある被験者は、非集中期間におけるＡＵ１の平均強度と、集中期間におけるＡＵ１の平均強度との差が大きい（符号Ｐ１参照）。
【0020】
これに対して、集中していない状態にある被験者（非集中グループ）は、集中グループに比べて、非集中期間におけるＡＵ１の平均強度と集中期間におけるＡＵ１の平均強度との差が小さい（符号Ｐ２参照）。
【0021】
また、図２においては、ＡＵ１の平均強度を示しているが、ＡＵ１の頻度および分散についても同様の傾向が得られる。さらに、ＡＵ２およびＡＵ４５においても同様の傾向が得られる。
【0022】
そこで、本コンピュータシステム１においては、ＡＵ１，ＡＵ２およびＡＵ４５の変化量に基づいて受講者の集中状態および非集中状態（以下、単に受講者の集中状態という）を判別する。
【0023】
なお、図２に示す例においては、集中すべき期間の平均強度のみで受講者の集中状態を判別できるように見えるが、出力される各ＡＵの平均強度にはばらつき（個人毎のバイアス）があるため、非集中期間の値との相対比較を行なうことが望ましい。
【0024】
そこで、本コンピュータシステム１においては、図３に示すように、非集中期間と集中すべき期間とのそれぞれにおいて、期間内における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを算出し、これらの値を用いて受講者の集中度を求める。
（Ｂ）構成
図４は実施形態の一例としてのコンピュータシステム１の構成を模式的に示す図である。
（Ｂ）構成
図４は実施形態の一例としてのコンピュータシステム１の構成を模式的に示す図である。
【0025】
図４に例示するコンピュータシステム１は、情報処理装置1０と複数の受講者端末２とをそなえ、これらの情報処理装置１０と複数の受講者端末２とはネットワーク１８を介して相互に通信可能に接続されている。
【0026】
コンピュータシステム１は、遠隔の受講者に対して講師がネットワーク１８を介して講義を行なうオンライン授業を実現する。オンライン授業をリモート授業といってもよい。
図４に例示するコンピュータシステム１においては、講師が情報処理装置１０を用いて行なう講義を、受講者が端末２を用いて受講する。
図４に例示するコンピュータシステム１においては、講師が情報処理装置１０を用いて行なう講義を、受講者が端末２を用いて受講する。
【0027】
情報処理装置１０は、図４に示すように、ＣＰＵ（Central Processing Unit）１１，メモリ１２，記憶装置１３，カメラ１４，キーボード１５，マウス１６およびディスプレイ１７を備える。
【0028】
ＣＰＵ（制御部）１１は、情報処理装置１０全体を制御するプロセッサである。なお、ＣＰＵ１１は、マルチプロセッサであってもよい。ＣＰＵに代えて、例えば、ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、ＣＰＵに代えて、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。
【0029】
そして、本コンピュータシステム１においては、ＣＰＵ１１が集中度推定プログラムを実行することで、図５を用いて後述する、映像取得部１０１，非集中期間表情筋動作算出部１０２，対象期間表情筋動作算出部１０３，集中度算出部１０４および提示部１０５としての機能を実現する。
【0030】
なお、これらの映像取得部１０１，非集中期間表情筋動作算出部１０２，対象期間表情筋動作算出部１０３，集中度算出部１０４および提示部１０５としての機能を実現するためのプログラム（集中度推定プログラム）は、例えばフレキシブルディスク，ＣＤ（ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ等），ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－ＲＡＭ，ＤＶＤ－Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ－ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、情報処理装置１０はその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
【0031】
映像取得部１０１，非集中期間表情筋動作算出部１０２，対象期間表情筋動作算出部１０３，集中度算出部１０４および提示部１０５としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１２）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ１１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
【0032】
メモリ１２はＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＯＭには、情報処理装置1０を動作させるためのソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ１２上のソフトウェアプログラムは、ＣＰＵ１１に適宜読み込まれて実行される。また、メモリ１２のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。
【0033】
記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive），ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）や、等の記憶装置であって、ソフトウェアプログラムや種々のデータを格納するものである。
【0034】
図４に示す例においては、記憶装置１３に集中度推定プログラムが格納され、この集中度推定プログラムが、メモリ１２のＲＡＭに展開された後、ＣＰＵ１１によって実行される。
【0035】
メモリ１２や記憶装置１３には、図５を用いて後述する、映像取得部１０１，非集中期間表情筋動作算出部１０２，対象期間表情筋動作算出部１０３，集中度算出部１０４および提示部１０５がそれぞれの処理を実行する過程で生じたデータ等を記憶してもよい。
【0036】
ディスプレイ１７は種々の情報を表示する表示装置であり、例えば、液晶ディスプレイ装置やＣＲＴ（Cathode Ray Tube）ディスプレイ装置である。本コンピュータシステム１においては、このディスプレイ１７に、各受講者端末２のカメラによって撮像された受講者の画像が表示される。また、ディスプレイ１７には提示部１０５が出力するメッセージ等が表示される。
マウス１６およびキーボード１５は講師が種々の入力を行なうために操作する入力装置である。
情報処理装置１０は、受講者端末２を利用する受講者の集中状態を推定する集中度推定機能を実現する。
図５は実施形態の一例としてのコンピュータシステム１の情報処理装置１０の機能構成を例示する図である。
マウス１６およびキーボード１５は講師が種々の入力を行なうために操作する入力装置である。
情報処理装置１０は、受講者端末２を利用する受講者の集中状態を推定する集中度推定機能を実現する。
図５は実施形態の一例としてのコンピュータシステム１の情報処理装置１０の機能構成を例示する図である。
【0037】
情報処理装置１０は、映像取得部１０１，非集中期間表情筋動作算出部１０２，対象期間表情筋動作算出部１０３，集中度算出部１０４および提示部１０５としての機能を備える。
【0038】
映像取得部１０１は、各受講者端末２から送信される受講者の顔の映像をそれぞれ取得する。受講者の顔の映像は、受講者端末２のカメラによって撮影されたものであり、受講者（ユーザ）の顔を撮像した画像（撮像画像）である。
【0039】
映像取得部１０１は、非集中期間における受講者の顔映像と、集中期間における受講者の顔映像とを受信する。非集中期間は、ユーザが集中不要な期間（第１の時間帯）であり、集中期間は、ユーザが集中すべき時間帯（第２の時間帯）である。
非集中期間と集中期間とは、例えば、予め設定されたタイムスケジュールに従って判断してもよい。例えば、講師は、予め、５０分の講義に対して、講義開始後の５分間の時間帯を非集中期間と設定するとともに、５分経過した後の時間帯を集中期間として予め設定してもよい。これにより、映像取得部１０１は、例えば、顔映像のフレームのタイムスタンプを参照することで、受信中の受講者の顔映像が非集中期間のものであるか集中期間のものであるかをフレーム単位で判断することができる。
非集中期間と集中期間とは、例えば、予め設定されたタイムスケジュールに従って判断してもよい。例えば、講師は、予め、５０分の講義に対して、講義開始後の５分間の時間帯を非集中期間と設定するとともに、５分経過した後の時間帯を集中期間として予め設定してもよい。これにより、映像取得部１０１は、例えば、顔映像のフレームのタイムスタンプを参照することで、受信中の受講者の顔映像が非集中期間のものであるか集中期間のものであるかをフレーム単位で判断することができる。
【0040】
情報処理装置１０においては、このようにして、受講者端末から受信した受講者の顔画像（複数の撮像画像）のうち、非集中期間（第１の時間帯）に対応する映像（第１の複数の画像）と判定期間（第２の時間帯）に対応する映像（第２の複数の画像）とが特定される。
映像取得部１０１は、受信した各受講者の顔映像を、非集中期間と集中期間とに分けて記憶装置１３の所定の記憶領域等に記憶させる。
映像取得部１０１は、受信した各受講者の顔映像を、非集中期間と集中期間とに分けて記憶装置１３の所定の記憶領域等に記憶させる。
【0041】
非集中期間表情筋動作算出部１０２は、映像取得部１０１によって取得された非集中期間の受講者の顔映像に基づき、非集中期間における表情筋動作を表す第１表情筋動作情報を作成する。非集中期間表情筋動作算出部１０２は、受講者毎に第１表情筋動作情報の作成（算出）を行なう。
第１表情筋動作情報は、非集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを備える。これらのＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、表情筋の動きの発生状況を表す。
非集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、顔の表情筋の動きの第１の発生状況に相当する。
第１表情筋動作情報は、非集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを備える。これらのＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、表情筋の動きの発生状況を表す。
非集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、顔の表情筋の動きの第１の発生状況に相当する。
【0042】
平均強度は、例えば、所定時間（例えば、５分間）における、受講者の顔映像のフレーム毎のＡＵ強度の平均値である。分散は、例えば、受講者の顔映像のフレーム毎のＡＵ強度の平均値に対する分散であってもよく、また、ＡＵ強度の平均値に対する分散であってもよい。発生頻度は、受講者の顔映像のフレーム毎に判定されたＡＵ１，ＡＵ２およびＡＵ４５のそれぞれの発生ありの数の合計である。
【0043】
以下、ＡＵ１，ＡＵ２およびＡＵ４５についての平均強度，分散および発生頻度を、データ項目という場合がある。また、平均強度，分散および発生頻度の各値をデータ項目値という場合がある。
図６は実施形態の一例としてのコンピュータシステム１の情報処理装置１０における第１表情筋動作情報の作成方法を説明するための図である。
図６は実施形態の一例としてのコンピュータシステム１の情報処理装置１０における第１表情筋動作情報の作成方法を説明するための図である。
【0044】
非集中期間表情筋動作算出部１０２は、動画データからフレームを抽出し、フレーム毎にＡＵを検出する。また、非集中期間表情筋動作算出部１０２は、全フレームに対するＡＵ検出処理を繰り返し行なうことで、動画データ全体のＡＵ値を出力する。
【0045】
ＡＵの検出は、例えば、“Unmasking the Devil in the Details: What Works for Deep Facial Action Coding?”BMVC 2019: proceedings of the British Machine Vision Conference. British Machine Vision Conference等に開示された既知の手法を用いて行なってもよい。
【0046】
図６に示す例においては、各ＡＵの発生強度は0.0～5.0の値であり、値が小さいほど強度が小さいことを表す。ＡＵの発生有無として、発生ありの場合には1を、発生なしの場合には0が出力される。従って、発生状況は発生の有無や発生の強度を含む。
【0047】
図７は実施形態の一例としてのコンピュータシステム１におけるＡＵ１およびＡＵ２の第１表情筋動作情報の検出結果を例示する図、図８はそのＡＵ４５の第１表情筋動作情報の検出結果を例示する図である。
図７においては、ＡＵ１およびＡＵ２の発生強度を時系列で表した例を示す。また、図８においては、ＡＵ４５の発生有無を時系列で表した例を示す。
非集中期間表情筋動作算出部１０２は、算出した第１表情筋動作情報を記憶装置１３等の所定の記憶領域に記憶させる。
図７においては、ＡＵ１およびＡＵ２の発生強度を時系列で表した例を示す。また、図８においては、ＡＵ４５の発生有無を時系列で表した例を示す。
非集中期間表情筋動作算出部１０２は、算出した第１表情筋動作情報を記憶装置１３等の所定の記憶領域に記憶させる。
【0048】
対象期間表情筋動作算出部１０３は、映像取得部１０１によって取得された集中期間の受講者の顔映像に基づき、集中期間における表情筋動作を表す第２表情筋動作情報を作成する。対象期間表情筋動作算出部１０３は、受講者毎に第２表情筋動作情報の作成（算出）を行なう。
【0049】
対象期間表情筋動作算出部１０３は、非集中期間表情筋動作算出部１０２と同様の手法を用いて、第２表情筋動作情報の算出を行なうものであり、その詳細な説明は省略する。
第２表情筋動作情報は、集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを備える。集中期間における、これらのＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、顔の表情筋の動きの第２の発生状況に相当する。
対象期間表情筋動作算出部１０３は、算出した第２表情筋動作情報を記憶装置１３等の記憶領域に記憶させる。
第２表情筋動作情報は、集中期間における、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを備える。集中期間における、これらのＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とは、顔の表情筋の動きの第２の発生状況に相当する。
対象期間表情筋動作算出部１０３は、算出した第２表情筋動作情報を記憶装置１３等の記憶領域に記憶させる。
【0050】
集中度算出部１０４は、非集中期間表情筋動作算出部１０２によって算出された第１表情筋動作情報と、対象期間表情筋動作算出部１０３によって算出された第２表情筋動作情報とに基づいて、集中期間における各受講者の集中度を算出する。集中度は受講者の集中状態を数値で表す。集中度の算出対象とする集中期間を対象集中期間といってもよい。対象集中期間を判定期間もしくは対象期間いってもよい。
図９は実施形態の一例としてのコンピュータシステム１の情報処理装置１０における集中度算出部１０４による処理を説明するための図である。
図９は実施形態の一例としてのコンピュータシステム１の情報処理装置１０における集中度算出部１０４による処理を説明するための図である。
【0051】
集中度算出部１０４は、非集中期間表情筋動作算出部１０２が算出した非集中期間（第１の時間帯）における第１表情筋動作情報と、対象期間表情筋動作算出部１０３が算出した集中期間（第２の時間帯）における第２表情筋動作情報とを用いて、ＡＵ１，ＡＵ２およびＡＵ４５のそれぞれについて、データ項目毎に相対値を算出する。
【0052】
相対値は、非集中期間におけるデータ項目の値と集中期間におけるデータ項目の値との比に基づいて算出される、ユーザの集中度を表す値であり、例えば、以下の式（１）により算出される。なお、式（１）において、ｎは１，２，４５のいずれかを表す。
ＡＵｎの相対値＝1 - 集中期間のＡＵｎのデータ項目値/非集中期間のＡＵｎのデータ項目値 ・・・（１）
上記式（１）において、ＡＵｎの相対値は、0～1の範囲とし、負値の場合は0に丸めることが望ましい。
集中度算出部１０４は、ユーザの集中度を、第１の発生状況に対する第２の発生状況の比に基づく相対値を用いて算出する。
ＡＵｎの相対値＝1 - 集中期間のＡＵｎのデータ項目値/非集中期間のＡＵｎのデータ項目値 ・・・（１）
上記式（１）において、ＡＵｎの相対値は、0～1の範囲とし、負値の場合は0に丸めることが望ましい。
集中度算出部１０４は、ユーザの集中度を、第１の発生状況に対する第２の発生状況の比に基づく相対値を用いて算出する。
【0053】
集中度算出部１０４は、ＡＵ１，ＡＵ２のそれぞれについて、平均強度，分散および発生頻度の相対値をそれぞれ算出する。また、集中度算出部１０４は、ＡＵ４５について発生頻度の相対値を算出する。
なお、平均強度の相対値を強度相対値といってもよく、分散の相対値を分散相対値といってもよく、発生頻度の相対値を頻度相対値といってもよい。
なお、平均強度の相対値を強度相対値といってもよく、分散の相対値を分散相対値といってもよく、発生頻度の相対値を頻度相対値といってもよい。
【0054】
例えば、上記の式（１）に基づき、ＡＵ１の強度相対値は以下の式（２）で求められる。
ＡＵ１の強度相対値＝1 - 集中期間のＡＵ１の平均強度/非集中期間のＡＵ１の平均強度 ・・・（２）
ＡＵ１の強度相対値＝1 - 集中期間のＡＵ１の平均強度/非集中期間のＡＵ１の平均強度 ・・・（２）
【0055】
図２を用いて前述した如く、集中した状態にある受講者においては、データ項目（例えば平均強度）の値は、非集中期間において高く、集中期間において低く、これらの差が大きくなる傾向にある。
【0056】
従って、上記式（１）において、集中している人の「集中期間のＡＵｎのデータ項目値/非集中期間のＡＵｎのデータ項目値」の値は小さな値となる。これに対して、集中していない人の「集中期間のＡＵｎのデータ項目値/非集中期間のＡＵｎのデータ項目値」の値は大きい値となる。
従って、図９に例示する相対値は、集中している人は大きな値となり、集中していない人は小さな値となる。相対値は、受講者の集中状態を表すといえる。
そして、集中度算出部１０４は、算出したＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値に基づき、相対値の平均値を算出する。
従って、図９に例示する相対値は、集中している人は大きな値となり、集中していない人は小さな値となる。相対値は、受講者の集中状態を表すといえる。
そして、集中度算出部１０４は、算出したＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値に基づき、相対値の平均値を算出する。
【0057】
集中度算出部１０４は、データ項目毎にＡＵ１，ＡＵ２およびＡＵ４５の相対値の平均を算出してもよい。例えば、平均強度について、算出したＡＵ１，ＡＵ２およびＡＵ４５の各強度相対値を合計して３で除算することで平均を算出する。
すなわち、集中度算出部１０４は、複数種類の顔の表情筋の動き（ＡＵ１，ＡＵ２，ＡＵ４５）に応じた複数の相対値を算出し、ユーザの集中度を、これらの複数の相対値の平均値を算出することで求める。
集中度算出部１０４は、上述の如く算出した相対値の平均値を、メモリ１２や記憶装置１３の所定の記憶領域に、集中期間における集中度として記憶させる。
提示部１０５は、受講者の集中状態を表す情報を講師に提示する。
すなわち、集中度算出部１０４は、複数種類の顔の表情筋の動き（ＡＵ１，ＡＵ２，ＡＵ４５）に応じた複数の相対値を算出し、ユーザの集中度を、これらの複数の相対値の平均値を算出することで求める。
集中度算出部１０４は、上述の如く算出した相対値の平均値を、メモリ１２や記憶装置１３の所定の記憶領域に、集中期間における集中度として記憶させる。
提示部１０５は、受講者の集中状態を表す情報を講師に提示する。
【0058】
提示部１０５は、集中度算出部１０４が算出した相対値の平均値（集中度）を所定の閾値（例えば、0.5）と比較して、集中度が閾値以上の場合に受講者が集中状態であると判断し、集中度が閾値未満の場合に受講者が集中状態にないと判断する。提示部１０５部は、受講者毎に集中状態の判定を行なう。
提示部１０５は、少なくとも一人の受講者において集中状態にないと判断した場合に、講師に対してその旨の通知を行なう。
提示部１０５は、少なくとも一人の受講者において集中状態にないと判断した場合に、講師に対してその旨の通知を行なう。
【0059】
提示部１０５部による講師への通知は、例えば、ディスプレイ１７にその旨を表すメッセージやアイコンを表示させることで実現してもよく、適宜変更して実施することができる。
【0060】
提示部１０５は、受講者毎に算出した集中度を講師に通知してもよい。また、提示部１０５は、集中度をグラフ等で講師に通知してもよく、集中度に応じてアイコン等の色を変化させることで通知してもよく、適宜変更して実施することができる。
【0061】
受講者端末２は、受講者が使用するコンピュータであり、情報処理装置１０から送信される講義の映像データや音声データを受信して再生する。各受講者端末２は互いに同様の構成を有する。受講者端末２は、情報処理装置１０と同様に、ＣＰＵ，メモリ１２，記憶装置，カメラ，キーボード，マウスおよびディスプレイを備える。これらのハードウェア構成は、情報処理装置１０と同様に機能するものであり、これらの説明は省略する。
【0062】
受講者端末２は、情報処理装置１０において行なわれる講義の映像データを受信し、ディスプレイに表示させる。また、受講者端末２は、スピーカー等の音声出力装置を備え、講義の音声データを再生する。
受講者端末２においては、カメラにより受講者の顔を撮影し、その映像データをネットワーク１８を介して情報処理装置１０に送信する。
受講者端末２においては、カメラにより受講者の顔を撮影し、その映像データをネットワーク１８を介して情報処理装置１０に送信する。
【0063】
（Ｃ）動作
上述の如く構成された実施形態の一例としてのコンピュータシステム１の情報処理装置１０の処理を、図１０に示すフローチャート（ステップＳ１～Ｓ７）に従って説明する。
ステップＳ１において、映像取得部１０１は、各受講者端末２においてカメラで撮影された受講者の顔映像をネットワーク１８を介して取得する。
上述の如く構成された実施形態の一例としてのコンピュータシステム１の情報処理装置１０の処理を、図１０に示すフローチャート（ステップＳ１～Ｓ７）に従って説明する。
ステップＳ１において、映像取得部１０１は、各受講者端末２においてカメラで撮影された受講者の顔映像をネットワーク１８を介して取得する。
【0064】
ステップＳ２において、非集中期間表情筋動作算出部１０２が、各受講者の非集中期間におけるＡＵ１，ＡＵ２およびＡＵ４５の各データ項目値を算出する。すなわち、非集中期間表情筋動作算出部１０２は、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを算出する。
【0065】
ステップＳ３において、対象期間表情筋動作算出部１０３が、各受講者の集中期間におけるＡＵ１，ＡＵ２およびＡＵ４５の各データ項目値を算出する。すなわち、非集中期間表情筋動作算出部１０２は、ＡＵ１およびＡＵ２の平均強度，分散および発生頻度と、ＡＵ４５の発生頻度とを算出する。
ステップＳ４において、集中度算出部１０４が、各受講者のＡＵ１，ＡＵ２およびＡＵ４５のそれぞれについて、データ項目毎に相対値を算出する。
ステップＳ５において、集中度算出部１０４は、対象集中期間における各受講者の集中度を算出する。
ステップＳ４において、集中度算出部１０４が、各受講者のＡＵ１，ＡＵ２およびＡＵ４５のそれぞれについて、データ項目毎に相対値を算出する。
ステップＳ５において、集中度算出部１０４は、対象集中期間における各受講者の集中度を算出する。
【0066】
集中度算出部１０４は、各受講者に対して、非集中期間における第１表情筋動作情報と、集中期間における第２表情筋動作情報とを用いて、ＡＵ１，ＡＵ２およびＡＵ４５のそれぞれについて、データ項目毎に相対値を算出する。
集中度算出部１０４は、各受講者に対して、算出したＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値に基づき、相対値の平均値（集中度）を算出する。
集中度算出部１０４は、各受講者に対して、算出したＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値に基づき、相対値の平均値（集中度）を算出する。
【0067】
ステップＳ６において、情報処理装置１０は講義が終了したかを確認する。講義が終了していない場合には（ステップＳ６のＮＯルート参照）、ステップＳ７に移行する。ステップＳ７においては所定時間（例えば、５分間）待機し、その後、ステップＳ３に戻る。すなわち、集中度算出部１０４は集中度期間における集中度を定期的（所定時間毎）に算出する。
ステップＳ６における確認の結果、講義が終了した場合には（ステップＳ６のＹＥＳルート参照）、処理を終了する。
ステップＳ６における確認の結果、講義が終了した場合には（ステップＳ６のＹＥＳルート参照）、処理を終了する。
【0068】
（Ｄ）効果
このように、実施形態の一例としてのコンピュータシステム１によれば、非集中期間表情筋動作算出部１０２が、映像取得部１０１によって取得された非集中期間の受講者の顔映像に基づき、非集中期間における表情筋動作を表す第１表情筋動作情報を作成する。また、対象期間表情筋動作算出部１０３が、映像取得部１０１によって取得された集中期間の受講者の顔映像に基づき、集中期間における表情筋動作を表す第２表情筋動作情報を作成する。
そして、集中度算出部１０４が、受講者の第１表情筋動作情報と第２表情筋動作情報とに基づいて、集中期間における各受講者の集中度を算出する。
このように、実施形態の一例としてのコンピュータシステム１によれば、非集中期間表情筋動作算出部１０２が、映像取得部１０１によって取得された非集中期間の受講者の顔映像に基づき、非集中期間における表情筋動作を表す第１表情筋動作情報を作成する。また、対象期間表情筋動作算出部１０３が、映像取得部１０１によって取得された集中期間の受講者の顔映像に基づき、集中期間における表情筋動作を表す第２表情筋動作情報を作成する。
そして、集中度算出部１０４が、受講者の第１表情筋動作情報と第２表情筋動作情報とに基づいて、集中期間における各受講者の集中度を算出する。
【0069】
これにより、受講者について、非集中期間に撮影された当該受講者の顔映像から作成された第１表情筋動作情報と、集中期間に撮影された当該受講者の顔映像から作成された第２表情筋動作情報とに基づいて、その集中度が算出される。従って、受講者の表情筋の変化の個人差に影響を受けることなく、受講者の集中度の推定を高精度に実現できる。
また、受講者の集中度を、一律の基準を用いることなく受講者の表情筋の変化を高精度に検出することができる。
また、受講者の集中度を、一律の基準を用いることなく受講者の表情筋の変化を高精度に検出することができる。
【0070】
さらに、非集中期間に撮影された当該受講者の顔映像から作成された第１表情筋動作情報と、集中期間に撮影された当該受講者の顔映像から作成された第２表情筋動作情報とに基づいて、その集中度を算出するので、予め機械学習モデルや訓練データを用意する必要がなく、低コストで受講者の集中度の推定実現することができる。
【0071】
また、集中度算出部１０４が、非集中期間における第１表情筋動作情報と集中期間における第２表情筋動作情報とを用いて、ＡＵ１，ＡＵ２およびＡＵ４５のそれぞれについて、データ項目（平均強度，分散および発生頻度）毎に相対値を算出する。
【0072】
ＡＵ１，ＡＵ２およびＡＵ４５は、いずれも平均強度，分散および発生頻度の各データ項目の値において、受講者の非集中期間での値と集中期間での値との差が、集中状態にある受講者と集中していない状態の受講者との間で大きく異なる傾向を示す。従って、受講者の集中状態の判定に、これらの値を用いて算出した相対値を用いることで、集中状態にある受講者と集中していない状態の受講者とを容易に識別することができる。
【0073】
集中度算出部１０４が、非集中期間における第１表情筋動作情報に対する集中期間における第２表情筋動作情報の比を用いて相対値を算出することで、受講者の集中状態を容易に数値化することができ、利便性が高い。
【0074】
受講者の集中度を、複数種類の顔の表情筋の動き（ＡＵ１，ＡＵ２，ＡＵ４５）に応じた複数の相対値を算出し、これらの複数の相対値の平均値算出することで求めることで、集中度の算出に受講者の複数種類の顔の表情筋の動きを反映させることができる。これにより信頼性を向上させることができる。
【0075】
（Ｅ）その他
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
【0076】
例えば、上述した実施形態においては、本コンピュータシステム１を遠隔の受講者に対して講師がネットワーク１８を介して講義を行なうオンライン授業に適用した例を示しているが、これに限定されるものではない。例えば、講義以外の情報を配信する動画配信や、遠隔で会議を行なうオンライン会議に適用してもよく、種々変形して実施することができる。
【0077】
また、上述した実施形態においては、受講者の集中度の判定に、ＡＵ１，ＡＵ２およびＡＵ４５について第１表情筋動作情報および第２表情筋動作情報を用いているが、これに限定されるものではない。すなわち、ＦＡＵにおけるＡＵ１，ＡＵ２およびＡＵ４５以外について第１表情筋動作情報および第２表情筋動作情報を用いて受講者の集中度を算出してもよく、適宜変更して実施することができる。
【0078】
図６に例示した手法においては、ＡＵ１,ＡＵ２,ＡＵ４，ＡＵ５，ＡＵ６，ＡＵ７，ＡＵ９，ＡＵ１０，ＡＵ１２，ＡＵ１４，ＡＵ１５，ＡＵ１７，ＡＵ２０，ＡＵ２３，ＡＵ２５，ＡＵ２６，ＡＵ２８およびＡＵ４５を出力することができる。従って、ＡＵ１，ＡＵ２およびＡＵ４５以外として、ＡＵ４，ＡＵ５，ＡＵ６，ＡＵ７，ＡＵ９，ＡＵ１０，ＡＵ１２，ＡＵ１４，ＡＵ１５，ＡＵ１７，ＡＵ２０，ＡＵ２３，ＡＵ２５，ＡＵ２６およびＡＵ２８の少なくとも１つを用いて集中度の判定を行なってもよい。
【0079】
また、上述した実施形態においては、データ項目として平均強度，分散および発生頻度を用いる例を示しているが、これに限定されるものではない。データ項目として平均強度，分散および発生頻度以外の値を用いてもよく、種々変形して実施することができる。
【0080】
上述した実施形態においては、集中度算出部１０４が、算出したＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値に基づき、相対値の平均値を算出しているが、これに限定されるものではない。ＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値の少なくとも一つを集中度として用いてもよい。提示部１０５は、ＡＵ１，ＡＵ２およびＡＵ４５の各データ項目の相対値の少なくとも一つが閾値以上となった場合に、当該受講者が集中状態にないこことを通知してもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【0081】
（Ｆ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータに実行させることを特徴とする集中度算出プログラム。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータに実行させることを特徴とする集中度算出プログラム。
【0082】
（付記２）
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記１に記載の集中度算出プログラム。
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記１に記載の集中度算出プログラム。
【0083】
（付記３）
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を算出する処理を含む、
ことを特徴とする付記２に記載の集中度算出プログラム。
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を算出する処理を含む、
ことを特徴とする付記２に記載の集中度算出プログラム。
【0084】
（付記４）
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記１～３のいずれか１項に記載の集中度算出プログラム。
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記１～３のいずれか１項に記載の集中度算出プログラム。
【0085】
（付記５）
前記顔の表情筋の動きが、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記１～４のいずれか１項に記載の集中度算出プログラム。
前記顔の表情筋の動きが、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記１～４のいずれか１項に記載の集中度算出プログラム。
【0086】
（付記６）
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記５に記載の集中度算出プログラム。
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記５に記載の集中度算出プログラム。
【0087】
（付記７）
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記５または６に記載の集中度算出プログラム。
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記５または６に記載の集中度算出プログラム。
【0088】
（付記８）
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータが実行することを特徴とする集中度算出方法。
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理をコンピュータが実行することを特徴とする集中度算出方法。
【0089】
（付記９）
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記８に記載の集中度算出方法。
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記８に記載の集中度算出方法。
【0090】
（付記１０）
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を求める処理を含む、
ことを特徴とする付記９に記載の集中度算出方法。
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を求める処理を含む、
ことを特徴とする付記９に記載の集中度算出方法。
【0091】
（付記１１）
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記８～１０のいずれか１項に記載の集中度算出方法。
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記８～１０のいずれか１項に記載の集中度算出方法。
【0092】
（付記１２）
前記顔の表情筋の動きは、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記８～１１のいずれか１項に記載の集中度算出方法。
前記顔の表情筋の動きは、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記８～１１のいずれか１項に記載の集中度算出方法。
【0093】
（付記１３）
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記１２に記載の集中度算出方法。
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記１２に記載の集中度算出方法。
【0094】
（付記１４）
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記１２または１３に記載の集中度算出方法。
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記１２または１３に記載の集中度算出方法。
【0095】
（付記１５）
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理を実行する制御部、
を含むことを特徴とする集中度算出装置。
ユーザの顔を撮像した複数の撮像画像を取得し、
前記複数の撮像画像のうち、第１の時間帯に対応する第１の複数の画像と第２の時間帯に対応する第２の複数の画像とを特定し、
前記第１の複数の画像に基づいて、前記顔の表情筋の動きの第１の発生状況を判定し、
前記第２の複数の画像に基づいて、前記顔の表情筋の動きの第２の発生状況を判定し、
前記第１の発生状況と前記第２の発生状況とに基づいて、前記ユーザの集中度を算出する、
処理を実行する制御部、
を含むことを特徴とする集中度算出装置。
【0096】
（付記１６）
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記１５に記載の集中度算出装置。
前記ユーザの集中度を算出する処理は、前記ユーザの集中度を、前記第１の発生状況に対する前記第２の発生状況の比に基づく相対値を用いて算出する処理を含む、
ことを特徴とする付記１５に記載の集中度算出装置。
【0097】
（付記１７）
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を求める処理を含む、
ことを特徴とする付記１６に記載の集中度算出装置。
前記ユーザの集中度を算出する処理は、複数種類の前記顔の表情筋の動きの発生状況に基づく複数の前記相対値をそれぞれ算出し、これらの複数の前記相対値の平均値を算出することで前記ユーザの集中度を求める処理を含む、
ことを特徴とする付記１６に記載の集中度算出装置。
【0098】
（付記１８）
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記１５～１７のいずれか１項に記載の集中度算出装置。
前記第１の時間帯は前記ユーザが集中不要な期間であり、前記第２の時間帯は前記ユーザが集中すべき期間である、
ことを特徴とする付記１５～１７のいずれか１項に記載の集中度算出装置。
【0099】
（付記１９）
前記顔の表情筋の動きは、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記１５～１８のいずれか１項に記載の集中度算出装置。
前記顔の表情筋の動きは、眉の内側を上げる動作、眉の外側を上げる動作およびまばたきをする動作のうちの少なくとも一つを含む、
ことを特徴とする付記１５～１８のいずれか１項に記載の集中度算出装置。
【0100】
（付記２０）
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記１９に記載の集中度算出装置。
前記第１の発生状況および前記第２の発生状況は、前記眉の内側を上げる動作および前記眉の外側を上げる動作の、前記第２の時間帯における平均強度、分散および発生頻度のうちの少なくとも一つで表される、
ことを特徴とする付記１９に記載の集中度算出装置。
【0101】
（付記２１）
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記１９または２０に記載の集中度算出装置。
前記第１の発生状況および前記第２の発生状況は、前記まばたきをする動作の発生頻度で表される、
ことを特徴とする付記１９または２０に記載の集中度算出装置。
【符号の説明】
【0102】
１ コンピュータシステム
２ 受講者端末
１０ 情報処理装置
１１ ＣＰＵ（制御部）
１２ メモリ
１３ 記憶装置
１４ カメラ
１５ キーボード
１６ マウス
１６ 光学ドライブ装置
１７ ディスプレイ
１８ ネットワーク
１０１ 映像取得部
１０２ 非集中期間表情筋動作算出部
１０３ 対象期間表情筋動作算出部
１０４ 集中度算出部
２ 受講者端末
１０ 情報処理装置
１１ ＣＰＵ（制御部）
１２ メモリ
１３ 記憶装置
１４ カメラ
１５ キーボード
１６ マウス
１６ 光学ドライブ装置
１７ ディスプレイ
１８ ネットワーク
１０１ 映像取得部
１０２ 非集中期間表情筋動作算出部
１０３ 対象期間表情筋動作算出部
１０４ 集中度算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】