特許 7529135 分析装置、分析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】分析装置、分析方法及びプログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20240730BHJP

   G09B 5/08 20060101ALI20240730BHJP

   G06Q 50/20 20120101ALI20240730BHJP

   A61B 5/16 20060101ALI20240730BHJP

【ＦＩ】

G09B19/00 G

G09B5/08

G06Q50/20

A61B5/16 120

【請求項の数】 6

(21)【出願番号】P 2023502159

(86)(22)【出願日】2022-01-14

(86)【国際出願番号】 JP2022001196

(87)【国際公開番号】W WO2022181105

(87)【国際公開日】2022-09-01

【審査請求日】2023-08-02

(31)【優先権主張番号】P 2021029036

(32)【優先日】2021-02-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】則枝 真

(72)【発明者】

【氏名】原田 大生

(72)【発明者】

【氏名】水谷 遥己

(72)【発明者】

【氏名】前島 弘敬

(72)【発明者】

【氏名】坂口 雅美

【審査官】宮本 昭彦

(56)【参考文献】

【文献】特開２０１３－２４２４３４（ＪＰ，Ａ）

【文献】特開２００９－２５８１７５（ＪＰ，Ａ）

【文献】特開２０２０－１７３７８７（ＪＰ，Ａ）

【文献】西久保 健太，学習者が感情を発信できる VOD 型 e-Learning System の開発，FIT2006 第5回情報科学技術フォーラム 情報科学技術レターズ，日本，社団法人電子情報通信学会，2006年08月21日，第5巻，第275～278頁

【文献】大山 貴紀，授業評価で使用する視線データの取り扱いと分析方法の検討，情報処理学会研究報告 ２０１２（平成２４）年度（４）［ＣＤ－ＲＯＭ］，日本，一般社団法人情報処理学会，2012年12月15日，第1～5頁，第1頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ５／００ － ７／１２

Ｇ０９Ｂ １９／００

Ｇ０６Ｑ ５０／２０

Ａ６１Ｂ ５／１６

(57)【特許請求の範囲】

【請求項1】

オンライン学習における複数の学習者の顔画像データに対して感情分析が実行され、各学習者が学習に対してどの程度の感情を感じているかの数値を示す感情データを取得する感情データ取得手段と、
前記オンライン学習の学習データを取得する学習データ取得手段と、
前記学習データの発言者の切替えタイミングを含む所定の切替えタイミングでチャプタを生成するチャプタ生成手段と、
前記複数の学習者に関する感情データを統計的に処理して、特定の感情に関する分布を算出し、前記分布に基づいて、外れ値となる１人以上の学習者の感情データを特定し、生成された前記チャプタごとに、前記特定された１人以上の学習者の感情データと、前記学習データとを関連付けて、前記学習者と前記発言者との関係を示す分析データを生成する分析データ生成手段と、を備える、分析装置。

【請求項2】

前記分析データ生成手段は、少なくとも一つのクラスに対応する数の学習者の感情データから、特定の感情に関する分布を算出し、前記分布に基づいて、外れ値となる１人以上の学習者の感情データを特定する、請求項１に記載の分析装置。

【請求項3】

前記オンライン学習は、オンライン授業とオンライン試験を含み、前記学習者は、前記オンライン授業の生徒と、前記オンライン試験の受験者を含む、請求項１又は２に記載の分析装置。

【請求項4】

特定された前記１人以上の学習者の端末又前記オンライン学習の管理者の端末に、前記分析データに対応するアラートを通知するアラート発生手段を更に備える、請求項１～３のいずれか一項に記載の分析装置。

【請求項5】

オンライン学習における複数の学習者の顔画像データに対して感情分析が実行され、各学習者が学習に対してどの程度の感情を感じているかの数値を示す感情データを取得し、
前記オンライン学習の学習データを取得し、
前記学習データの発言者の切替えタイミングを含む所定の切替えタイミングでチャプタを生成し、
前記複数の学習者に関する感情データを統計的に処理して、特定の感情に関する分布を算出し、前記分布に基づいて、外れ値となる１人以上の学習者の感情データを特定し、生成された前記チャプタごとに、前記特定された１人以上の学習者の感情データと、前記学習データとを関連付けて、前記学習者と前記発言者との関係を示す分析データを生成する、分析方法。

【請求項6】

オンライン学習における複数の学習者の顔画像データに対して感情分析が実行され、各学習者が学習に対してどの程度の感情を感じているかの数値を示す感情データを取得し、
前記オンライン学習の学習データを取得し、
前記学習データの発言者の切替えタイミングを含む所定の切替えタイミングでチャプタを生成し、
前記複数の学習者に関する感情データを統計的に処理して、特定の感情に関する分布を算出し、前記分布に基づいて、外れ値となる１人以上の学習者の感情データを特定し、生成された前記チャプタごとに、前記特定された１人以上の学習者の感情データと、前記学習データとを関連付けて、前記学習者と前記発言者との関係を示す分析データを生成する、ことをコンピュータに実行させる、分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は分析装置、分析方法及び分析プログラムに関する。

【背景技術】

【0002】

情報通信技術の進展によりオンライン学習やオンライン試験が広く利用されるようになっている。オンライン学習中の学習者の状況（例えば、集中度）を分析する技術が提案されている。

【0003】

例えば、特許文献１に記載の学習支援装置は、学習者に対して提供すべき学習情報を出力する第１の出力手段と、学習者の状態を示す状態情報を収集する収集手段と、前記状態情報に基づいて、学習者の集中度を検出する検出手段と、学習者の前記集中度が低下していることを検知した場合に、叱咤激励情報を形成する形成手段と、を備える。ユーザの学習状態を示す情報の取得は、カメラ部及び画像認識処理部、マイクロホン、音声入力処理部及び音声認識処理部により行われる。例えば、音声認識処理部は、音声データを解析し、当該音声データが示すユーザの感情に関する情報を取得するとともに、ユーザの表情に関する情報、動作に関する情報、感情に関する情報が、ユーザの状態を示す情報の主な情報であり、これにユーザのテスト等に対する応答入力に応じた正答率や応答レスポンスも考慮する。

【0004】

また、特許文献２には、学習者端末に対する学習者の動作を示す動作履歴情報を取得する動作履歴取得部と、上記動作履歴情報に基づいて上記学習者の集中度を推定する集中度推定部と、上記集中度を示す情報に応じて、上記学習者の管理者が使用する管理者端末における表示を変化させる表示制御部とを含む情報処理装置が開示されている。

【0005】

更に、特許文献３に記載する、映像と音声を含む講義を提供する学習システムは、講義を受講する受講者を撮影するために取得された画像に基づいて、受講者が講義に集中しているか否かに関する判定を行い、判定の結果に基づく集中判定結果情報を記録する集中判定部１１と、画像と集中判定結果情報とに基づいて、受講者が講義の内容を理解しているか否かに関する判定を行い、判定の結果に基づく理解判定結果情報を記録する理解判定部と、集中判定結果情報および理解判定結果情報に基づいて講義を制御する講義制御部と、を有する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－０９７３１１号公報

【文献】特開２０１３－２４２４３４号公報

【文献】特許第６６３６６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述の特許文献１に係るｅラーニングの技術は、学習者が１人で学習する形態であるため、集中度の低下を適切に判断することが難しい。結果的に、集中度が低下していない学習者に対して、叱咤激励がされてしまうと、かえって学習者の意欲が減退してしまう場合がある。同様に、特許文献２及び３にかかる技術も、学習者や受験生の感情を適切に判定することができない。

【0008】

本開示はこのような課題を鑑みてなされたものであり、オンライン学習やオンライン試験における学習者や受験生の感情を適切に判定可能な分析装置等を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の１実施形態にかかる分析装置は、
オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得する感情データ取得部と、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する分析データ生成部と、を備える。

【0010】

本開示の１実施形態にかかる分析方法は、
オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する。

【0011】

本開示の１実施形態にかかる分析プログラムは、オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する、ことをコンピュータに実行させる。

【発明の効果】

【0012】

本開示によれば、オンライン学習やオンライン試験における学習者や受験生の感情を適切に判定可能な分析装置、分析方法、および分析プログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１にかかる分析装置の構成を示すブロック図である。

【図2】実施形態１にかかる分析方法を示すフローチャートである。

【図3】実施形態２にかかる分析装置の構成を示すブロック図である。

【図4】実施形態２にかかる分析方法を示すフローチャートである。

【図5】実施形態３にかかる分析システムの構成を示すブロック図である。

【図6】実施形態３にかかる分析装置の構成を示すブロック図である。

【図7】分析データ生成部が処理するデータの例を示す図である。

【図8】複数の学習者の感情データから算出された、特定の感情データについての分布の例を示す。

【図9】実施形態３にかかる感情データ生成装置の構成を示すブロック図である。

【図10】実施形態３にかかる分析方法を示すフローチャートである。

【図11】分析データの例を示す図である。

【図12】メッセージデータの例を示す図である。

【図13】分析結果の表示例を示す図である。

【発明を実施するための形態】

【0014】

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

【0015】

＜実施形態１＞
図１は、実施形態１にかかる分析装置１００の構成を示すブロック図である。
分析装置１００は、プロセッサ及びメモリなどを有するコンピュータなどの情報処理装置により実現される。分析装置１００は、オンライン学習又はオンライン試験等の学習において、学習者の感情を分析するために使用される。

【0016】

分析装置１００は、オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得する感情データ取得部１１１と、複数の学習者に関する感情データを集計し、複数の学習者の感情データを比較して、１人以上の学習者の感情データを特定した分析データを生成する分析データ生成部１１３と、を備える。

【0017】

図２は、実施形態１にかかる分析方法を示すフローチャートである。図２に示すフローチャートは、例えば分析装置１００が学習運営装置から学習の開始を示す信号を受け取ることにより開始する。

【0018】

オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得する（ステップＳ１１）。複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定する（ステップＳ１３）。

【0019】

以上説明した実施形態１にかかる分析装置及び分析方法によれば、オンライン学習やオンライン試験における学習者や受験生の感情を適切に判定することができる。

【0020】

＜実施形態２＞
図３は、実施形態２にかかる分析装置１００の構成を示すブロック図である。分析装置１００は、オンライン学習又はオンライン試験に参加する学習者（例えば、学習者又は受験者）の顔画像情報から感情データを取得し、取得した感情データから当該オンライン学習又はオンライン試験にかかる分析データを生成して、生成した分析データを所定の端末等に出力する。

【0021】

なお、本実施形態にいて、オンライン学習とは、通信回線を介して互いに通信可能に接続された複数の学習端末を利用して行なわれる学習をいう。オンライン学習は、授業映像がリアルタイムに配信される形式でもよいし、オンデマンドで配信される形式でもよい。学習端末の数は、限定されないが、例えば、学校の１つのクラスに所属する生徒数（例えば、２０人又は３０人）、学校の１学年に対応する生徒数（例えば、１００名）、資格試験の受験者数（例えば、３０００人）などであってもよい。本明細書で使用されるオンライン学習には、学校や塾などで行われるオンライン授業（遠隔合同授業とも呼ばれる）だけでなく、入学試験、入社試験、選抜試験および学校等の期末試験などオンライン試験（遠隔合同試験とも呼ばれる）なども含むものとする。オンライン学習に使用する学習端末は、例えばパソコン、スマートフォン、タブレット端末、カメラ付き携帯電話等である。また学習端末は、学習者を撮影するカメラ、学習者の発話を収音するマイクおよび画像データや音声データを送受信する通信機能を有する装置であれば上記のものに限られない。また以降の説明においてオンライン学習を、単に「学習」と称する場合がある。

【0022】

本実施形態においてオンライン学習の学習者とは、学習端末を通じてオンライン学習を行っている人物を指す。学習の管理者は、学習の主催者、学習の先生、試験の監督官を含む。本実施形態において学習者は学習端末が内蔵するまたは学習端末に接続されたカメラにより学習者の顔画像が撮影可能な状態で学習に参加するものとする。

【0023】

分析装置１００は、オンライン学習における学習者の顔画像等から感情データを生成する感情データ生成装置および学習を運営する学習運営装置と通信可能にそれぞれ接続する。また分析装置１００は、分析装置１００を利用する管理者が有する端末（管理者端末）と通信可能に接続する。分析装置１００は主な構成として、感情データ取得部１１１、学習データ取得部１１２、分析データ生成部１１３、アラート制御部１１４、出力部１１５および記憶部１２０を有する。

【0024】

感情データ取得部１１１は、感情データ生成装置から感情データを取得する。感情データ生成装置は、オンライン学習における学習者の顔画像データから感情データを生成し、生成した感情データを分析装置１００に供給する。感情データは、学習者がそれぞれ有する感情を示す指標となるデータである。なお、感情データ取得部１１１自体が、感情データを生成する機能を有していてもよい。

【0025】

感情データは、例えば、集中度、困惑度、幸福度、不安および驚きなど複数の項目を含む。すなわち感情データは、上述のそれぞれの項目ごとに、学習者がどの程度これらの感情を感じているかを示すものである。感情データ取得部１１１が取得する感情データは、時刻データを伴う。感情データ生成装置は、所定期間（例えば１秒間）毎の感情データを生成する。感情データ取得部１１１は、学習の進行時刻に沿った所定時間ごとの感情データを取得する。感情データ取得部１１１は、感情データを取得すると、取得した感情データを、分析データ生成部１１３に供給する。

【0026】

学習データ取得部１１２は、学習運営装置から学習データを取得する。学習運営装置は、例えば学習者のそれぞれが学習端末を介して通信可能に接続するサーバ装置である。学習運営装置は、学習者が利用する学習端末に含まれるものであってもよい。学習データは、時刻データを伴う学習に関するデータである。より具体的には、学習データは、学習の開始時刻および終了時刻を含む。また学習データは、授業中に取られた休憩の時刻を含む。

【0027】

学習データ取得部１１２は、学習の属性データを含む学習データを取得する。学習の属性データとは、例えば、オンライン授業、オンライン試験（より具体的には、例えば、選抜試験、期末試験など）などの、学習の種別を示す情報を含み得る。また学習の属性データとは、学習者が所属する学校に関する情報を含み得る。また学習の属性データは、学習の科目、学習の目的等に関する情報を含み得る。学習データ取得部１１２は、取得した学習データを、分析データ生成部１１３およびアラート制御部１１４に供給する。

【0028】

分析データ生成部１１３は、受け取った感情データ、学習データおよびチャプタを示すデータから、学習に対する分析データを生成する。分析データは、感情データから導出されるデータであって、複数の感情を示す項目から抽出または算出されるデータである。分析データは、学習の運営に役立つような指標であることが好ましい。例えば分析データは、学習に対する集中度、および理解度を含むものであってもよい。このように、分析データ生成部１１３は、予め設定された複数の分析項目に応じた分析データを生成する。これにより分析装置１００は、効率よく学習を行うための複数の観点から分析データを生成できる。分析データ生成部１１３は、複数の学習者についての分析データを生成することができる。

【0029】

分析データ生成部１１３は、学習データと、特定の学習者の感情データを比較することで、特定の学習者の分析データ（例えば、学習データに対する集中度、不安、および理解度の推移）を生成することができる。例えば、授業中の特定のシーンについて、ある学習者の集中度が低下していることを分析することができる。しかし、一人の学習者の分析データだけでは、学習者個人の問題なのか、授業のコンテンツの問題なのかを区別することができない。そこで、本実施形態にかかる分析データ生成部は、複数の学習者の感情データを集計し、大量のデータを統計的に処理することができる。

【0030】

分析データ生成部１１３は、分布算出部１１３１を更に含む。分布算出部１１３１は、各学習者の特定の分析データ（例えば、集中度）から（すなわち、集計データから）、特定の分析データに関する分布を算出する。例えば、授業のあるシーンにおいて、特定の感情データ（例えば、集中度）の分布から、平均値から所定の閾値（例えば、標準偏差σ、２σ、３σなど）を超えたものを特定する。これにより、学習者個人の問題なのか、学習データコンテンツ（例えば、先生の教え方）の問題なのかを区別することができる。例えば、授業中の特定のシーンにおいて、ほぼ学習者全員の集中度が低い場合、学習者のほぼ全員がノートを取っていると判定される場合がある。一方、学習者のほぼ全員が、集中度が低い場面で、一部の学習者の集中度が著しく高い場合は、異常行動（例えば、授業とは異なる事を行っている）を取っていると判定される場合もある。また、一部の学習者だけの集中度が著しく低い場合、当該一部の学習者は、授業についていけていないと判定される場合がある。

【0031】

オンライン試験の場合も、同じ問題を解いているときの、各受験者の感情データを統計的に処理し、異常行動を取る受験者を特定することができる。例えば、ある受験者の集中度が著しく低い場合、不正を行っていると判定される場合がある。

【0032】

なお、分析データ生成部１１３は、学習データ取得部１１２から受け取った属性データに応じて、分析データの算出の方法を設定するものであってもよい。すなわちこの場合、分析データ生成部１１３は、学習データ取得部１１２から受け取った属性データ（例えば、オンライン授業、オンライン試験、科目）に応じて、分析データの算出方法を選択する。これにより、分析装置１００は、学習の属性に応じた分析データを算出できる。分析データ生成部１１３は、分析データを生成すると、生成した分析データをアラート制御部１１４に供給する。

【0033】

アラート制御部１１４は、分析データ生成部１１３から分析データを受け取ると共に、記憶部１２０からアラートデータ１２１を読み取る。またアラート制御部１１４は、学習データ取得部１１２から学習データを受け取る。そしてアラート制御部１１４は、受け取ったこれらのデータから、対応するメッセージを選択し、選択したアラートを含む分析結果を生成する。出力部１１５は、アラートを学習端末又は管理者端末に出力する（アラート発生部とも呼ばれる）。分析結果は、少なくとも、学習に対する分析データと当該分析データに対応するアラートとを含む。アラート制御部１１４は、分析結果を出力可能に記憶部１２０に記憶させる。

【0034】

例えば、分析データ（例えば、集中度の分布データ）から、１人以上の生徒の集中度が著しく低く、平均値から大きく外れている場合、「集中度が低下しています」というアラートを抽出し、システム（例えば、当該生徒が使用する学習端末又は、当該生徒の先生が使用する管理者端末）に通知することができる。これにより、通知を受けた生徒は、授業に集中するようになる。あるいは、これにより、通知を受けた先生は、該当する生徒に対して、コンタクトをとり（例えば、チャット、メール、音声通話など）、生徒のモチベーションを上げるようにすることができる。

【0035】

あるいは、他の例において、例えば、分析データ（例えば、集中度の分布データ）から、他の生徒の集中度が低下している（すなわち、ノートを取っている）にもかかわらず、１人以上の生徒の集中度が著しく高く、平均値から大きく外れている場合、「他のことを行っている可能性があります」というアラートを抽出し、システム（例えば、当該生徒が使用する学習端末又は、当該生徒の先生が使用する管理者端末）に通知することができる。

【0036】

あるいは、他の例において、例えば、分析データ（例えば、不安度の分析データ）から、他の生徒より不安を感じている生徒に対して、「授業についていけていない可能性があります」というアラートを抽出してもよい。

【0037】

あるいは、他の例において、例えば、オンライン試験中、他の生徒に比べ、１人以上の生徒の集中度が著しく低く、平均値から大きく外れている場合、「不正行為を行っている可能性があります」というアラートを抽出し、システム（例えば、当該生徒が使用する学習端末又は、当該生徒の先生が使用する管理者端末）に通知することができる。

【0038】

出力部１１５は、記憶部１２０に格納される分析結果を学習端末又は管理者端末に出力する。出力部１１５は、管理者端末又は学習端末にアラートを出力する（アラート発生部とも呼ばれる）。分析装置１００を利用する管理者（例えば、学習の主催者、先生、試験監督など）は、管理者端末が受け取った分析結果を知覚することにより、学習者が学習コンテンツ若しくは試験問題の内容または先生又は他の生徒の発言等に対してどのような感情を抱いていたかを認識できる。また分析装置１００を利用する管理者は、分析結果に含まれるアラートまたはアドバイスを知覚することにより、管理者が次の学習に向けてどのようなアクションを取れば良いかを認識できる。そのため、管理者は、受け取った分析データから、その後に開催される学習に対して、留意すべき事項等を知覚し得る。

【0039】

記憶部１２０は、ＳＳＤ（Solid State Drive）またはフラッシュメモリ等の不揮発メモリを含む記憶装置である。記憶部１２０は、アラートデータ１２１と分析結果格納領域１２２とを有する。アラートデータ１２１は、管理者に提示するアラートのパターンと学習データとが紐づけられたデータである。分析結果格納領域１２２は、アラート制御部１１４が生成した分析結果を格納する領域である。

【0040】

次に、図４を参照して、実施形態１にかかる分析装置１００の処理について説明する。図４は、実施形態２にかかる分析方法を示すフローチャートである。図４に示すフローチャートは、例えば分析装置１００が学習運営装置から学習の開始を示す信号を受け取ることにより開始する。

【0041】

まず、感情データ取得部１１１は、感情データ生成装置から複数の学習者の感情データを取得する（ステップＳ１１）。感情データ取得部１１１は、感情データ生成装置が感情データを生成する都度、生成された感情データを取得してもよいし、複数の異なる時刻における感情データをまとめて取得してもよい。

【0042】

次に、学習データ取得部１１２は、時刻データを伴う学習に関する学習データを取得する（ステップＳ１２）。学習データ取得部１１２はかかる学習データを、所定期間（例えば１分間）毎に受け取ってもよいし、学習データに更新すべき情報がある場合に逐次受け取ってもよい。また学習データ取得部１１２は学習データを、学習が終了した後に受け取ってもよい。複数の学習者は、同一の学習データを用いて、学習しているものとする。

【0043】

次に、分析データ生成部１１３は、感情データ取得部１１１から受け取った複数の学習者の感情データと、学習データ取得部１１２から受け取った学習データとから、学習に対する分析データを生成する（ステップＳ１３）。複数の学習者からの感情データを相対比較し、例えば、異常行動をとる学習者を特定した分析データを生成することができる。

【0044】

次に、アラート制御部１１４は、記憶部１２０のアラートデータ１２１から分析データに対応するアラートを選択する（ステップＳ１４）。さらに、アラート制御部１１４は、選択したアラートを含む分析結果を出力可能に記憶部１２０の分析結果格納領域１２２に記憶させる（ステップＳ１５）。

【0045】

以上、分析装置１００が行う処理について説明した。なお、上述の処理のうち、ステップＳ１１とステップＳ１２とは、順序を問わない。またステップＳ１１とステップＳ１２とは平行して実行されてもよい。あるいは、ステップＳ１１とステップＳ１２とは、所定期間ごとに交互に実行されてもよい。

【0046】

以上、説明した実施形態１にかかる分析装置１００は、オンライン学習における学習者の感情データおよび学習データを取得し、学習に対する分析データを生成する。そして分析装置１００は、分析データに対応したアラートを選択し、出力可能に記憶する。これにより分析装置１００を利用するユーザは、オンライン学習における分析データに対応するアラートにより分析結果を把握できる。よって、本実施形態によれば、オンライン学習やオンライン試験における学習者や受験生の感情を適切に判定可能な分析装置、分析方法、分析システムおよび分析プログラムを提供することができる。

【0047】

尚、分析装置１００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。分析装置１００が有する記憶装置は、フラッシュメモリやＳＳＤなどの不揮発性メモリを含む記憶装置を含む。分析装置１００が有する記憶装置には、本実施形態に係る分析方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）が記憶されている。またプロセッサは、記憶装置からコンピュータプログラムをメモリへ読み込ませ、当該プログラムを実行する。

【0048】

分析装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。

【0049】

また、分析装置１００の各構成要素の一部又は全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、分析装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

【0050】

＜実施形態３＞
図５は、実施形態３にかかる分析システムの構成を示すブロック図である。図５に示す分析システム１０は、分析装置１００と感情データ生成装置３００とを含む。分析装置１００と感情データ生成装置３００とは、ネットワークＮを介して互いに通信可能に接続している。また分析システム１０は、ネットワークＮを介して学習運営装置４００と通信可能に接続している。学習運営装置４００は、ネットワークＮを介して学習端末群９０に接続してオンライン学習を運営する。学習端末群９０は、複数の学習端末（９００Ａ、９００Ｂ、・・・、９００Ｎ）および管理者端末９９０を含む。

【0051】

次に、図６を参照して実施形態３にかかる分析装置について説明する。図６は、実施形態３にかかる分析装置１００の構成を示すブロック図である。実施形態２にかかる分析装置１００は、人物特定部１１６およびチャプタ生成部１１７を有する点が、実施形態２にかかる分析装置１００と異なる。以下に、本実施形態にかかる分析装置１００の各構成について、実施形態１にかかる分析装置１００と異なる点を含めて説明する。

【0052】

本実施形態にかかる感情データ取得部１１１は、感情の状態を示す複数の指標を数値により示した感情データを取得する。分析データ生成部１１３は、感情データの所定期間における統計値を算出することにより、分析データを生成する。なお、感情データ取得部１１１は、学習端末の識別情報を含んだ感情データを取得し得る。すなわちこの場合、感情データ取得部１１１は、学習者それぞれの感情データを区別可能に取得し得る。

【0053】

また感情データ取得部１１１は、学習に関する時刻データを伴う感情データを取得し得る。感情データが時刻データを伴うことにより、感情データ取得部１１１は、後述するように、例えばチャプタごとの分析データを生成するための感情データを取得できる。

【0054】

学習データ取得部１１２は、学習を運営する学習運営装置４００から学習データを取得する。学習データ取得部１１２は、学習の属性データを含む学習データを取得する。また学習データ取得部１１２は、学習運営装置４００から学習者の顔画像データを取得し得る。さらに学習データ取得部１１２は、学習における発言者を特定するためのデータを含む学習データを取得し得る。

【0055】

学習データ取得部１１２は、学習における画面共有に関するデータを含む学習データを取得するものであってもよい。この場合、学習データは、例えば学習者に共有される共有画面を操作する権限（共有画面の管理者）の切替え時刻や、学習者の発話の切替え時刻を含み得る。学習データ取得部１１２は、学習において共有された画面データを含む学習データを取得するものであってもよい。この場合、学習データは、共有画面中のページ送りや表示画像の変化などの時刻を含み得る。さらに学習データは、上述した時刻が、それぞれ何を示すものであるかを含み得る。学習データ取得部１１２は取得した顔画像データを人物特定部１１６に供給する。

【0056】

また学習データ取得部１１２は、時刻データを伴う学習データを取得し得る。時刻データを伴う学習データを取得することにより、学習データ取得部１１２は、後述するように、例えばチャプタごとの分析データを生成するための学習データを取得できる。

【0057】

分析データ生成部１１３は、受け取った感情データ、学習データから、学習に対する分析データを生成する。また分析データ生成部１１３は、チャプタ生成部１１７から受け取ったチャプタを示すデータから、学習に対する分析データをチャプタごとに生成し得る。

【0058】

また分析データ生成部１１３は、生徒と先生とを区別して分析データを生成し得る。この場合、分析データ生成部１１３は、学習者を区別可能に感情データと学習データとを取得する。このとき学習データは、授業における発言者がどの学習者であるかを示すデータ（例えば、どのクラスの生徒であるか、先生であるか生徒であるかなど）を含む。これにより分析データ生成部１１３は、発言者の感情データと非発言者の感情データとを区別したうえでそれぞれの分析データを生成できる。分析データ生成部１１３は、上述のように生成した分析データを、アラート制御部１１４に供給する。

【0059】

また分析データ生成部１１３は、学習の属性データと記憶部１２０が記憶する分析履歴データ１２４とから、学習の属性データに対応した相対比較結果を含む分析データを生成できる。すなわち、分析データ生成部１１３は、分析にかかる学習データに含まれる属性データに対応する属性データを有する分析データを、分析履歴データ１２４から抽出し、相対比較結果を生成する。

【0060】

また、分析データ生成部１１３は、複数の生徒についての感情データの相対比較に基づいた分析データを生成することもできる。分析データ生成部１１３は、前述した通り、複数の学習者の感情データの分布を算出し、平均値から所定の閾値（例えば、標準偏差σ、２σ、３σなど）を超えたものを特定することができる。なお、分析データ生成部１１３は、分析履歴データ１２４から直近のデータを優先的に抽出してもよい。また分析データ生成部１１３は、分析履歴データ１２４から対応する属性データにおける分析データのスコアの統計値を算出したうえで相対比較してもよい。

【0061】

また分析データ生成部１１３は、学習に対してチャプタを示すデータが生成されている場合には、チャプタごとに学習に対する分析データを生成しうる。これにより、分析装置１００は、チャプタごとの分析データを生成し、生成した分析データに対応したアラートを提供できる。

【0062】

アラート制御部１１４は、分析データ生成部１１３から受け取った分析データに、複数の分析項目が含まれている場合、分析項目に基づいたアラートを選択できる。例えば分析データに、集中度、共感度および理解度という分析項目それぞれに対するスコアが含まれる場合、アラート制御部１１４は、集中度のスコアに対するアラートと、共感度に対するアラートと、理解度に対するアラートと、をそれぞれ選択できる。これにより分析装置１００はユーザに対してきめ細かいアラートないしアドバイスを提供できる。

【0063】

アラート制御部１１４は、分析データが予め設定された閾値の範囲を越えた場合に、分析データが閾値の範囲内に入るためのアドバイスをアラートとして選択できる。例えば、分析データ生成部１１３が分析項目である「理解度」のスコアをゼロから１００の間の数値により生成するものであって、数値が大きい程、学習者の理解度が高いものとする。またアラート制御部１１４は、理解度に対して閾値５０を設定しているものとする。この場合、アラート制御部１１４は、理解度の分析データが５０を下回ると、アラートデータ１２１に記憶されているアラートから、スコアを５０より高くするためのアドバイスを選択する。例えばこの場合、アラートデータ１２１には、「理解度を高めましょう」というアラートが記憶されており、アラート制御部１１４はこのアラートを選択する。このような構成により、分析装置１００は、管理者又は学習者に対して効果的な学習を行うためのアドバイスを提供できる。

【0064】

アラート制御部１１４は、分析データ生成部１１３から発言者と非発言者とを区別した分析データを受け取った場合、受け取った分析データから、発言者に対するアラートを含む分析結果を生成し、この分析結果を記憶部１２０に記憶させる。このような構成により、分析装置１００は、発言者の分析データと非発言者の分析データとのそれぞれに対するアラートを選択する。そのためユーザは、発言者と非発言者とのそれぞれの観点における分析データおよびアラートを把握できる。

【0065】

またアラート制御部１１４は、チャプタごとに分析データが生成されている場合には、生成されているチャプタごとの分析データのそれぞれに対してアラートを選択する。これにより、分析装置１００は、チャプタごとのアラートないしアドバイスを提供できる。

【0066】

人物特定部１１６は、顔画像データから顔画像にかかる人物の顔特徴情報を抽出し、抽出した情報に応じて、人物の属する区分を推定する機能を有し得る。人物の属する区分とは、例えば人物の年齢または性別など、人物の特徴ないし属性を示すものである。人物特定部１１６は、上述の機能を使って、学習データ取得部１１２から受け取った顔画像データにかかる学習者が属する区分を特定する。人物特定部１１６は、人物の区分に関するデータを、分析データ生成部１１３に供給する。

【0067】

また人物特定部１１６は、記憶部１２０が記憶する人物属性データ１２３を利用して、特定した学習者が属する区分を特定してもよい。この場合、人物特定部１１６は、顔画像から抽出した顔特徴情報と、人物属性データ１２３とを紐づけ、顔特徴情報に対応する学習者の区分を特定する。この場合における学習者の区分は、例えば学習者の所属する学校、学校内のクラスなどである。このような構成により、分析装置１００は、学習者のプライバシーに配慮しつつ、分析データに利用可能なデータを抽出できる。

【0068】

また人物特定部１１６は、学習データ取得部１１２から受け取った顔画像データから顔画像にかかる人物を特定するものであってもよい。この場合、人物特定部１１６は、顔画像から抽出した顔特徴情報と、記憶部１２０が記憶する人物属性データ１２３とを紐づけ、顔特徴情報に対応する学習者を特定する。これにより人物特定部１１６は学習者それぞれを特定できる。学習者を特定することにより、分析装置１００は特定された学習者に紐づいた分析データを生成できる。よって、分析装置１００は、特定した学習者における詳細な分析を行うことができる。

【0069】

チャプタ生成部１１７は、学習データ取得部１１２から受け取った学習データから、学習に対するチャプタを生成する。チャプタ生成部１１７は、例えば学習の開始から学習の終了までの時刻を検出し、さらに、予め設定された条件に合致する時刻を検出して、それぞれの時刻を区切りとして、チャプタを示すデータを生成する。本開示における学習のチャプタは、学習において所定の条件に合致する状態が維持されているか、あるいは所定の条件が変化したかにより定義される。チャプタ生成部１１７は、例えば画面共有に関するデータに基づいてチャプタを生成してもよい。より具体的には、チャプタ生成部１１７は、画面共有の切替えタイミングに応じてチャプタを生成してもよい。またチャプタ生成部１１７は、画面共有にかかる共有画面のオーナーの切替え時刻に応じてチャプタを生成してもよい。チャプタ生成部１１７は、生成したチャプタを示すデータを、分析データ生成部１１３に供給する。

【0070】

記憶部１２０は、ＳＳＤまたはフラッシュメモリ等の不揮発メモリを含む記憶装置である。記憶部１２０は、アラートデータ１２１および分析結果格納領域１２２に加えて、人物属性データ１２３および分析履歴データ１２４を記憶する。

【0071】

人物属性データ１２３は、人物の顔特徴情報と、人物の区分や属性に関する情報とが紐づけられたデータである。人物の区分や属性に関する情報とは、例えば人物の氏名、性別、年齢、所属学校、所属会社、又は職種であるが、これらに限定されない。

【0072】

分析履歴データ１２４は、分析装置１００が過去に実行した分析にかかる分析データ、すなわち分析装置１００の分析データ生成部１１３が過去に生成した分析データである。なお、記憶部１２０は、上述のデータの他に、例えば本実施形態にかかる分析方法を実行させるためのプログラムなどを記憶する。

【0073】

図７を参照して、分析データ生成部１１３についてさらに説明する。図７は、分析データ生成部が処理するデータの例を示す図である。図７は、分析データ生成部１１３が受け取る入力データ群と、分析データ生成部１１３が出力する出力データ群とが示されている。分析データ生成部１１３は、感情データ生成装置３００から、入力データ群としての感情データを受け取る。入力データ群は例えば、集中度、困惑度、軽蔑度、嫌悪感、恐怖感、幸福度、不安度、共感度、驚き、および動揺度に関するそれぞれの指標を含む。これらの指標は例えばそれぞれの指標が０から１００までの数値により示される。ここで示す指標は、例えば値が大きい程その感情に対する学習者の反応が大きいことを示している。入力データ群の感情データは、顔画像データから既存の映像処理技術を用いて生成されたものが取得されてもよく、その他の方法により生成、取得されてもよい。

【0074】

更に、分析データ生成部１１３は、分布算出部１１３１を含む。分布算出部１１３１は、複数の学習者（例えば、２０人以上、３０人以上、又は１００人以上）の感情データから、特定の感情データについての分布を算出する。ここで、複数の学習者の数とは、１つのクラスに対応する数、又は１学年に対応する数とすることができる。図８は、複数の学習者の感情データから算出された、特定の感情データについての分布の例を示す。図８は、横軸が、集中度の大きさを示し、縦軸が、生徒数を示す。分布算出部１１３１は、平均値から所定の閾値（例えば、標準偏差σ、２σ、又は３σなど）を超えた範囲（外れ値）を特定することができる。分布算出部１１３１は、上限範囲（例えば、標準偏差σを超える）、下限範囲（例えば、標準偏差－σを下回る）、又はそれらの両方を特定することができる。例えば、分布の下限範囲内に入る、集中度が低い生徒を特定した分析データが生成される場合がある。このように、複数の学習者の感情データを統計的に分析することで、異常行動を取る学習者を特定することができる。異常行動とは、例えば、集中力が低下している、授業についていけていない、不正行為を行っている疑いがあるなどが挙げられるが、これらに限定されない。

【0075】

分析データ生成部１１３は、上述の入力データ群を受け取ると、予め設定された処理を行い、入力データ群を用いて出力データ群を生成する。出力データ群は、分析システム１０を利用するユーザが学習を効率良く行うために参照するデータである。出力データ群は例えば、集中度、共感度および理解度を含む。分析データ生成部１１３は、入力データ群から予め設定された指標を抽出する。また分析データ生成部１１３は、抽出した指標にかかる値に対して予め設定された演算処理を行う。そして分析データ生成部１１３は、上述の出力データ群を生成する。なお、出力データ群として示す集中度は、入力データ群に含まれる集中度と同じものであってもよいし、異なるものであってもよい。同様に、出力データ群として示す共感度は、入力データ群に含まれる共感度と同じものであってもよいし、異なるものであってもよい。

【0076】

次に、図９を参照して感情データ生成装置３００について説明する。図９は、実施形態３にかかる感情データ生成装置の構成を示すブロック図である。感情データ生成装置３００は、主な構成として、学習者データ取得部３１１、感情データ生成部３１２および感情データ出力部３１３を有している。

【0077】

学習者データ取得部３１１は、学習運営装置４００から学習者に関するデータを取得する。学習者に関するデータとは、学習端末が撮影した学習者の顔画像データである。また、他の例では、学習者に関するデータは、学習者が着用するウェアラブルデバイス（例えば、スマートウォッチ）から、心拍数、脈拍などの生体情報を取得してもよい。感情データ生成部３１２は、感情データ生成装置３００が受け取った顔画像データから感情データを生成する。感情データ生成部３１２は、追加的に、生体情報から感情データを生成してもよい。感情データ出力部３１３は、感情データ生成部３１２が生成した感情データを、ネットワークＮを介して分析装置１００に出力する。なお、感情データ生成装置３００は、学習者の顔画像データに対して所定の画像処理を施すことにより感情データを生成する。所定の画像処理とは例えば、特徴点（または特徴量）の抽出、抽出した特徴点に対する参照データとの照合、画像データの畳み込み処理および機械学習した教師データを利用した処理、ディープラーニングによる教師データを活用した処理等である。ただし、感情データ生成装置３００が感情データを生成する手法は、上述の処理に限られない。感情データは、感情を示す指標である数値であってもよいし、感情データを生成する際に利用した画像データを含むものであってもよい。

【0078】

なお、学習者に関するデータには、学習者を区別するためのデータが含まれていてもよい。例えば、学習者に関するデータには、学習者の顔画像データを撮影した学習端末の識別子が含まれていてもよい。これにより、感情データ生成部３１２は、学習者を区別可能な状態で感情データ生成できる。そして感情データ出力部３１３は、学習端末に対応する感情データを、学習端末それぞれを区別可能に生成して感情データ取得部１１１に供給する。

【0079】

尚、感情データ生成装置３００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。感情データ生成装置３００が有する記憶装置には、本実施形態に係る感情データ生成を実行するためのプログラムが記憶されている。またプロセッサは、記憶装置からプログラムをメモリへ読み込ませ、当該プログラムを実行する。

【0080】

感情データ生成装置３００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いることができる。

【0081】

また、感情データ生成装置３００の各構成要素の一部又は全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、感情データ生成装置３００の機能がＳａａＳ形式で提供されてもよい。

【0082】

次に、図１０を参照して分析装置１００が実行する処理について説明する。図１０は、実施形態３にかかる分析方法を示すフローチャートである。図１０に示す処理は、学習において、新たなチャプタが生成される度に分析データを出力する点において、実施形態２にかかる処理と異なる。

【0083】

まず、分析装置１００は、オンライン学習が開始されたか否かを判定する（ステップＳ２１）。分析装置１００は、学習運営装置４００から学習が開始されたことを示す信号を受け取ることにより、学習（例えば、授業又は試験）の開始を判定する。オンライン学習が開始されたと判定しない場合（ステップＳ２１：ＮＯ）、分析装置１００は、ステップＳ２１を繰り返す。オンライン学習が開始されたと判定した場合（ステップＳ２１：ＹＥＳ）、分析装置１００は、ステップＳ２２に進む。

【0084】

ステップＳ２２において、感情データ取得部１１１は、感情データ生成装置から感情データの取得を開始する（ステップＳ２２）。感情データ取得部１１１は、感情データ生成装置が感情データを生成する都度、生成された感情データを取得してもよいし、複数の異なる時刻における感情データをまとめて取得してもよい。

【0085】

次に、学習データ取得部１１２は、時刻データを伴う学習に関する学習データを取得する（ステップＳ２３）。学習データ取得部１１２はかかる学習データを、所定期間（例えば１分間）毎に受け取ってもよいし、学習データに更新すべき情報がある場合に逐次受け取ってもよい。

【0086】

次に、分析装置１００は、受け取った学習データから新しいチャプタを生成可能か否かについて判定する（ステップＳ２４）。新しいチャプタを生成可能と判定しない場合（ステップＳ２４：ＮＯ）、分析装置１００は、ステップＳ２２に戻る。一方、新しいチャプタを生成可能と判定した場合（ステップＳ２４：ＹＥＳ）、分析装置１００は、ステップＳ２５に進む。

【0087】

ステップＳ２５において、チャプタ生成部１１７は、学習データ取得部１１２から受け取った学習データからチャプタを生成する（ステップＳ２５）。

【0088】

次に、分析データ生成部１１３は、感情データ取得部１１１から受け取った感情データと、学習データ取得部１１２から受け取った学習データと、チャプタ生成部１１７から受け取ったチャプタを示すデータと、人物特定部１１６から受け取ったデータとから、新しく生成したチャプタに対する分析データを生成する（ステップＳ２６）。複数の学習者の感情データの分布に基づき、異常行動を取る学習者を特定した分析データを生成することができる。

【0089】

次に、アラート制御部１１４は、記憶部１２０のアラートデータ１２１から分析データに対応するアラートを選択する（ステップＳ２７）。さらに、アラート制御部１１４は、選択したアラートを含む分析結果を出力可能に記憶部１２０の分析結果格納領域１２２に記憶させる（ステップＳ２８）。

【0090】

次に、分析装置１００は、学習が終了したか否かを判定する（ステップＳ２９）。分析装置１００は、学習運営装置４００から学習が終了したことを示す信号を受け取ることにより、学習の終了を判定する。学習が終了したと判定しない場合（ステップＳ２９：ＮＯ）、分析装置１００は、ステップＳ２２に戻り、処理を続ける。一方、オンライン学習が終了したと判定した場合（ステップＳ２９：ＹＥＳ）、分析装置１００は、一連の処理を終了する。

【0091】

以上、実施形態３にかかる分析装置１００の処理について説明した。上述のフローチャートによれば、分析装置１００は、学習において、新しいチャプタが生成される度に生成されたチャプタに対する分析データを生成し、生成した分析データに対応したアラートを選択できる。これにより、分析システム１０を利用するユーザは、学習において、新しいチャプタが生成される度に提供されるアラートないしアドバイスを利用して学習を効果的に進めることができる。あるいは、管理者又は学習者は、学習において、新しいチャプタが生成される度に提供されるアラートないしアドバイスを利用して、例えば、先生と生徒の間の円滑なコミュニケーションを図ることができる。

【0092】

次に、図１１を参照して、分析データ生成部１１３が生成する分析データの例について説明する。図１１は、分析データの例を示す図である。図１１は、上段において分析データを時系列に沿って示したグラフＧ１１が示されている。グラフＧ１１は、あるクラスの生徒全体の分析データの推移を示している。また中段において上記時系列に対応した学習データＧ１２が示されている。学習データは、クラスの生徒の顔を撮影した監視用画面と、発言者（主に先生）を撮影した発言者画面（教科書又は黒板等を撮影した画面にも切替可能）を示している。下段において、上記学習データに対応したチャプタごとの分析データＧ１３が示されている。

【0093】

グラフＧ１１は、横軸が時間を示し、縦軸が分析データのスコアを示している。横軸は左端が時刻Ｔ１０であり、右に進むほど時間が経過し、右端が時刻Ｔ１５となっている。時刻Ｔ１０は、学習の開始時刻であり、時刻Ｔ１５は学習の終了時刻である。時刻Ｔ１０と時刻Ｔ１５の間の時刻Ｔ１１、Ｔ１２、Ｔ１３およびＴ１４は、後述するチャプタに対応する時刻を示している。

【0094】

またグラフＧ１１は、実線により示された第１分析データＬ１１と、点線により示された第２分析データＬ１２と、二点鎖線により示された第３分析データＬ１３とがプロットされている。第１分析データＬ１１は、分析データの内の、集中度を示している。第２分析データＬ１２は、分析データの内の共感度を示している。第３分析データＬ１３は、分析データの内の理解度を示している。

【0095】

学習データＧ１２は、授業中の学習者監視用画面に関するデータと、発言者画面に関するデータとが時系列に沿って示されている。すなわち、学習者監視用画面に関するデータには、各生徒の顔画像が表示される。学習者監視用画面は、各生徒の顔画像が一緒に表示されていてもよいし、所定時間ごとに、生徒の顔画像を切り替えて表示されてもよい。

【0096】

また学習データＧ１２において、発言者に関するデータには、時刻Ｔ１０から時刻Ｔ１２までが発言者Ｗ１（例えば、先生）であったことが示されている。発言者に関するデータには、時刻Ｔ１２から時刻Ｔ１４までが発言者Ｗ２（例えば、ある生徒）、そして時刻Ｔ１４から時刻Ｔ１５までが再び発言者Ｗ１（例えば、先生）であったことが示されている。

【0097】

上述の学習データＧ１２における監視用画面と発言者画面（例えば、主に先生）との関係について、時系列に沿って説明する。時刻Ｔ１０から時刻Ｔ１５までの間は、監視用画面には、各生徒の顔画像が表示されている。学習が開始された時刻Ｔ１０から時刻Ｔ１２までの間は、発言者Ｗ１が学習の進行を行っており、時刻Ｔ１０から時刻Ｔ１１までの間、発言者Ｗ１は発言者画面に表示されていた。発言者Ｗ１は、時刻Ｔ１１において、発言者画面に教科書の一部を表示するように切り替えた。次に、時刻Ｔ１２に、発言者が発言者Ｗ１から発言者Ｗ２（例えば、ある生徒）に交代した。発言者Ｗ２は、時刻Ｔ１２から時刻Ｔ１３までの間、発言者画面に表示されていた。時刻Ｔ１３において、発言者Ｗ２は、黒板の一部を表示するように画面を切り替えた。時刻Ｔ１４から時刻Ｔ１５までの間は、再び発言者Ｗ２から交代した発言者Ｗ１が、発言者画面に表示されていた。

【0098】

以上、学習データＧ１２における監視用画面と発言者画面との関係について、時系列に沿って説明した。上述のように、図１１に示す学習データは、監視用画面における画面データが表示されていた期間についてのデータと、発言者が誰であったかを示す発言者画面についてのデータが含まれる。チャプタ生成部１１７は、上述の学習データの内、発言者画面に関するデータに応じてチャプタを生成している。発言者が教科書又は黒板等を撮影した画面に切替えたタイミングでもチャプタが生成されてもよい。

【0099】

分析データＧ１３は、上述の学習データに対応するチャプタを示すデータと、チャプタに対応する分析データとが時系列に沿って示されている。図１１に示す例において、チャプタを示すデータは、学習データの内の発言者画面に関するデータに対応している。すなわち、第１チャプタＣ１１は、発言者画面に発言者Ｗ１が表示されていた時刻Ｔ１０から時刻Ｔ１１である。同様に、第２チャプタＣ１２は、発言者画面Ｗ１に教科書の一部が表示されていた時刻Ｔ１１から時刻Ｔ１２である。第３チャプタＣ１３は、発言者画面に発言者Ｗ２が共有されていた時刻Ｔ１２から時刻Ｔ１３である。第４チャプタＣ１４は、発言者画面Ｗ２に黒板の一部が表示されていた時刻Ｔ１３から時刻Ｔ１４である。第５チャプタＣ１５は、発言者画面に発言者Ｗ１が共有されていた時刻Ｔ１４から時刻Ｔ１５である。

【0100】

図１１に示すように、分析データＧ１３には、それぞれのチャプタに対応する分析データが含まれる。分析データは、集中度、共感度、理解度およびこれらを合計した総合スコアが示されている。分析データＧ１３において、例えば、チャプタＣ１１に対応する分析データとして、集中度が６５、共感度が５０、理解度が４３と示されている。また総合スコアはこれらの合計として１５８と示されている。同様に、例えばチャプタＣ１２に対応する分析データとして、集中度が６１、共感度が４５、理解度が３２そして総合スコアが１３８と示されている。

【0101】

上記分析データは、グラフＧ１１においてそれぞれプロットされているデータに対応したものである。すなわち、分析データＧ１３として示されている分析データは、対応するチャプタの期間において所定期間（例えば１分間）毎に算出された分析データの平均値である。

【0102】

以上、分析データの例について説明した。図１１に示す例において、チャプタ生成部１１７は、学習データのうち発言者画面が切り替わるタイミングを、チャプタの切替えタイミングに設定している。また、発言者が画面を教科書や黒板などに切り替えたタイミングも、チャプタの切り替えタイミングに設定している。そして分析データ生成部１１３は、学習の開始から学習の終了までの間の分析データを、上述のチャプタごとに算出する。これにより、分析システム１０は、表示されている発言者画面および他の画面ごとの分析データを提供できる。

【0103】

図１１に示した例において、分析システム１０は、上述のグラフＧ１１に示すように、分析データを所定期間毎に算出してプロットしている。これにより、分析システム１０は、学習における分析データの詳細な変化を示すことができる。ただし、分析データ生成部１１３は、グラフＧ１１に示すように算出するのに代えて、チャプタが終了した後に、まず当該チャプタにおける感情データの統計値（例えば平均値）を算出し、その後に分析データを算出してもよい。例えば、図８で示したように各学習者の感情データを相対比較するため、分布を算出することもできる。また、分布から、平均値から所定の閾値（例えば、標準偏差σ、２σ、又は３σなど）を超えた範囲を特定することができる。このような構成により、分析システム１０は、分析データの処理速度を向上させることができる。

【0104】

次に図１２を参照して、アラートデータ１２１について説明する。図１２は、アラートデータの例を示す図である。図１２に示す表は、学習種別、分析項目、スコアおよびアラートがそれぞれ示されている。

【0105】

学習種別は、学習の属性データに含まれる項目であって、学習を予め設定された種別に分類するためのものである。図１２に示すアラートデータ１２１は学習種別として、「オンライン学習」および「オンライン試験」という項目が示されている。学習種別はこの他に、例えば、「数学のオンライン学習」、「英語のオンライン試験」など具体的な科目が含まれていてもよいが、上述の項目に限られない。

【0106】

図１２に示すアラートデータ１２１は、「オンライン学習」に対応する分析項目として、「集中度」および「共感度」が示されている。これは、学習種別がオンライン試験として分類される学習において、分析データに含まれる分析項目のうち、「集中度」と「動揺度」に着目してアラートを選択することを示している。

【0107】

図１２に示す表において、「集中度」の右側にはスコア「５０－１００」およびスコア「０－４９」が示されている。またそれぞれのスコアの右側には対応するアラートとして、「集中していました」および「集中度が低下しています」が示されている。これらは、学習種別「オンライン授業」において、分析項目である「集中度」のスコアが「５０から１００」の場合に、アラートとして「集中していました」を選択可能であることを示している。同様に、学習種別「オンライン授業」において、分析項目である「集中度」のスコアが「０から４９」の場合に、アラートとして「集中度が低下しています」を選択可能であることを示している。

【0108】

また図１２に示す表において、「オンライン授業」の分析項目として、「発言者の共感度」および「非発言者の共感度」が示されている。また「発言者の共感度」に対応するスコアには「０－４０」が示され、さらにアラートとして「発言者との相性が悪いようです」と示されている。これは、発言者（例えば、先生）と生徒との関係が悪いことを示唆している。また「非発言者の共感度」に対応するスコアには「０－３０」が示され、さらにアラートとして「非発言者との相性が悪いようです」と示されている。これは、生徒と、周りの生徒との関係が悪いことを示唆している。

【0109】

さらに、学習種別「オンライン授業」の下の欄には、「オンライン試験」が示されている。オンライン試験に対応する分析項目には、「集中度」と「動揺度」とが示されている。オンライン試験における集中度に対応するスコアは「０－４０」が示され、対応するアラートには「集中度が低いようです」と示されている。また動揺度に対応するスコアは「８０－１００」が示され、対応するアラートには「不正の疑いがあります」と示されている。

【0110】

以上、図１２に示す例において、アラートデータ１２１は、学習種別、分析項目、分析項目のスコアおよびアラートをそれぞれ紐づけて記憶している。アラート制御部１１４は、学習データ取得部１１２から受け取った学習データと、分析データ生成部１１３から受け取った分析データと、アラートデータ１２１とを照合して、対応するアラートを選択する。よって、分析装置１００は、学習の属性データや分析データのスコア等に応じて、適宜選択されるアラートをユーザに提供できる。なお、アラートデータ１２１は、学習の属性データとして、学習種別の他に、例えば学習の科目、または学習の目的等を採用してもよい。

【0111】

次に、図１３を参照して、分析結果の例について説明する。図１３は、分析結果の表示例を示す図である。図１３は、アラート制御部１１４が生成した分析結果Ｋ１０が示されている。分析結果Ｋ１０は、管理者端末９９０が有する表示装置に表示可能に構成された画面である。分析結果Ｋ１０は、第１表示部Ｋ１１、第２表示部Ｋ１２、第３表示部Ｋ１３、第４表示部Ｋ１４および第５表示部Ｋ１５を含む。

【0112】

第１表示部Ｋ１１は、学習種別および学習名称が表示される。第２表示部Ｋ１２は、学習の開催日時および発言者が表示される。第１表示部Ｋ１１および第２表示に表示されるデータは、学習データ取得部１１２から受け取った学習データに含まれるものである。

【0113】

第３表示部Ｋ１３は、アラート制御部１１４が選択したアラートが表示される。図１３において、第３表示部Ｋ１３には、「選択範囲：チャプタ＃１」と表示されている。すなわち図１３において第３表示部Ｋ１３に表示されているアラートは、学習におけるチャプタ＃１に対応したアラートとなっている。第３表示部Ｋ１３には、「分析結果アラート」として、「集中度は比較的高いです」「共感度は中程度です」「理解度は前回より低いです」と表示されている。また第３表示部Ｋ１３には、「今後へ向けてのアドバイス」として「しっかり復習しましょう」と表示されている。

【0114】

第４表示部Ｋ１４は、チャプタ＃１における分析データが、レーダーチャートとして示されている。第４表示部Ｋ１４に示すレーダーチャートは、「今回の分析データ」として実線によりチャプタ＃１の分析データがプロットされている。また第４表示部Ｋ１４に示すレーダーチャートは、「前回の分析データ」として、点線により前回の学習における分析データがプロットされている。前回の分析データは、過去に開催された類似の学習種別における分析データであって、分析履歴データ１２４に記憶されているデータである。図に示すように、アラート制御部１１４は、分析履歴データ１２４を利用して、分析データをグラフまたはチャートとして相対比較する。これにより分析装置１００は、直感的に理解しやすいデータを示すことが出来る。

【0115】

第５表示部Ｋ１５は、学習全体の分析データおよびチャプタごとに算出された分析データを示している。第５表示部Ｋ１５において、太線により囲まれているチャプタ＃１は、集中度が６５、共感度が５０、そして理解度が４３と示されている。これらの値と、第４表示部Ｋ１４に示したレーダーチャートとは対応している。またこれらの値と、第３表示部Ｋ１３において表示されているアラートおよびアドバイスとは、対応している。

【0116】

なお、分析結果Ｋ１０が管理者端末９９０に表示された場合において、例えばユーザが第５表示部Ｋ１５の任意のチャプタまたは全体と表示された領域を選択することで、第３表示部Ｋ１３および第４表示部Ｋ１４の内容は選択された領域に対応したデータが表示される。

【0117】

以上、分析結果の例について説明した。分析装置１００は、上述の内容の他にも様々な態様のアラートを生成できる。例えば、分析装置１００は、分析データの傾向を色調として表現し、かかる色調によるイメージをアラートに含んでも良い。

【0118】

以上、実施形態３について説明したが、実施形態３にかかる分析システム１０は上述の構成に限られない。例えば、分析システム１０は、学習運営装置４００を含んでもよい。その場合、分析装置１００、感情データ生成装置３００および学習運営装置４００は、それぞれ別個に存在してもよいし、これらのうち一部または全部が一体となった構成であってもよい。また例えば感情データ生成装置３００が有する機能は、プログラムとして構成されており、分析装置１００または学習運営装置４００に含まれるものであってもよい。

【0119】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0120】

なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

【0121】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得する感情データ取得部と、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する分析データ生成部と、を備える、分析装置。
（付記２）
前記オンライン学習の学習データを取得する学習データ取得部を更に備え、
前記分析データ生成部は、前記特定された１人以上の学習者の感情データと、前記学習データとを関連付けて、分析データを生成する、付記１に記載の分析装置。
（付記３）
前記学習データの所定の切替えタイミングでチャプタを生成するチャプタ生成部を更に備え、
前記分析データ生成部は、生成されたチャプタごとに、前記特定された１人以上の学習者の感情データと、前記学習データとを関連付けて、分析データを生成する、付記２に記載の分析装置。
（付記４）
前記分析データ生成部は、少なくとも一つのクラスに対応する数の学習者の感情データから、特定の感情に関する分布を算出し、前記分布に基づいて、外れ値となる１人以上の学習者の感情データを特定する、付記１～３のいずれか一項に記載の分析装置。
（付記５）
前記オンライン学習は、オンライン授業とオンライン試験を含み、前記学習者は、前記オンライン授業の生徒と、前記オンライン試験の受験者を含む、付記１～４のいずれか一項に記載の分析装置。
（付記６）
前記複数の学習者の感情データの比較結果に基づいて特定された前記１人以上の学習者の端末又当該オンライン学習の管理者の端末に、前記分析データに対応するアラートを通知するアラート発生部を更に備える、付記１～５のいずれか一項に記載の分析装置。
（付記７）
オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する、分析方法。
（付記８）
オンライン学習における複数の学習者の顔画像データに対して感情分析が実行された、各学習者の学習に対する感情データを取得し、
前記複数の学習者に関する感情データを集計し、前記複数の学習者の感情データを比較して、比較結果に基づいて１人以上の学習者の感情データを特定した分析データを生成する、ことをコンピュータに実行させる、分析プログラム。

【0122】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0123】

この出願は、２０２１年２月２５日に出願された日本出願特願２０２１－０２９０３６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0124】

１０ 分析システム
９０ 学習端末群
１００ 分析装置
１１１ 感情データ取得部
１１２ 学習データ取得部
１１３ 分析データ生成部
１１４ アラート制御部
１１５ 出力部
１１６ 人物特定部
１１７ チャプタ生成部
１２０ 記憶部
１２１ アラートデータ
１２２ 分析結果格納領域
１２３ 人物属性データ
１２４ 分析履歴データ
３００ 感情データ生成装置
３１１ 学習者データ取得部
３１２ 感情データ生成部
３１３ 感情データ出力部
４００ 学習運営装置
９９０ 管理者端末
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】