特開 2024-147333 学習エンゲージメント推定装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147333

(43)【公開日】2024-10-16

(54)【発明の名称】学習エンゲージメント推定装置および方法

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20241008BHJP

   G09B 19/00 20060101ALI20241008BHJP

【ＦＩ】

G06Q50/20

G09B19/00 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023060279

(22)【出願日】2023-04-03

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和５年２月８日に広島市立大学大学院知能工学専攻修士論文発表会にて発表 令和５年２月１６日に情報処理学会第８５回全国大会講演論文集／ＤＶＤ－ＲＯＭに掲載 令和５年３月４日に情報処理学会第８５回全国大会にて発表

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、研究成果展開事業「共創の場形成支援（ＣＯＩプログラム 令和４年度加速支援）」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】目良 和也

(72)【発明者】

【氏名】沖本 航大

(72)【発明者】

【氏名】黒澤 義明

(72)【発明者】

【氏名】竹澤 寿幸

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC34

5L050CC34

(57)【要約】

【課題】より高い正解率で学習エンゲージメントを推定する。
【解決手段】学習中の対象者２００の当該学習に対するエンゲージメントを推定する学習エンゲージメント推定装置１００は、少なくとも学習中の学習者の頭部の加速度を含む時系列データを入力データ、当該学習者の当該学習に対するエンゲージメントを出力データとしてあらかじめ学習させた機械学習器２０と、少なくとも学習中の対象者２００の頭部の加速度を取得して機械学習器２０に入力するデータ入力部１０と、機械学習器２０の出力データから対象者２００の学習に対するエンゲージメントを特定する出力データ処理部３０とを備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習中の対象者の当該学習に対するエンゲージメントを推定する学習エンゲージメント推定装置であって、
少なくとも学習中の学習者の頭部の加速度を含む時系列データを入力データ、当該学習者の当該学習に対するエンゲージメントを出力データとしてあらかじめ学習させた機械学習器と、
少なくとも学習中の前記対象者の頭部の加速度を取得して前記機械学習器に入力するデータ入力部と、
前記機械学習器の出力データから前記対象者の前記学習に対するエンゲージメントを特定する出力データ処理部と、を備えた
学習エンゲージメント推定装置。

【請求項2】

前記データ入力部が、前記対象者の頭部の映像データを解析して学習中の前記対象者の頭部の加速度を取得する
請求項１に記載の学習エンゲージメント推定装置。

【請求項3】

前記データ入力部が、前記対象者の頭部に装着された３軸加速度センサデバイスから学習中の前記対象者の頭部の加速度を取得する、
請求項１に記載の学習エンゲージメント推定装置。

【請求項4】

前記機械学習器が、学習中の学習者の腕の加速度の時系列データをさらに含む入力データであらかじめ学習されたものであり、
前記データ入力部が、前記対象者の腕に装着された３軸加速度センサデバイスから学習中の前記対象者の腕の加速度を取得して前記機械学習器に入力する、
請求項３に記載の学習エンゲージメント推定装置。

【請求項5】

前記機械学習器が、学習中の学習者の視線、頭部姿勢、表情、および上半身姿勢に係る各特徴量の時系列データをさらに含む入力データであらかじめ学習されたものであり、
前記データ入力部が、前記対象者の上半身の映像データを解析して学習中の前記対象者の視線、頭部姿勢、表情、および上半身姿勢に係る各特徴量を抽出して前記機械学習器に入力する、
請求項４に記載の学習エンゲージメント推定装置。

【請求項6】

学習中の対象者の当該学習に対するエンゲージメントを推定する学習エンゲージメント推定方法であって、
データ入力部が、少なくとも学習中の前記対象者の頭部の加速度を取得するステップと、
前記データ入力部が、少なくとも学習中の学習者の頭部の加速度を含む時系列データを入力データ、当該学習者の当該学習に対するエンゲージメントを出力データとしてあらかじめ学習させた機械学習器に、前記取得した前記対象者の頭部の加速度を入力するステップと、
出力データ処理部が、前記機械学習器の出力データから前記対象者の前記学習に対するエンゲージメントを特定するステップと、を備えた
学習エンゲージメント推定方法。

【請求項7】

少なくとも学習中の学習者の頭部の加速度を含む時系列データが入力される入力層と、
前記学習者の前記学習に対するエンゲージメントを出力する出力層と、
学習中の前記学習者の頭部の加速度の時系列データと前記学習者の前記学習に対するエンゲージメントとを対応付けた教師データを用いてパラーメータが学習された中間層と、を備え、
学習に対するエンゲージメントが未知の対象者について、少なくとも学習中の当該対象者の頭部の加速度を含む時系列データが前記入力層に入力された場合に、前記中間層による演算を経て、前記出力層から当該対象者の前記学習に対するエンゲージメントを出力するようにコンピューターを機能させる機械学習モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習者の学習に対するエンゲージメントを推定する技術に関する。

【背景技術】

【0002】

教育現場において、学習中の学習者が学習に真剣に取り組んでいるか、意欲的に取り組んでいるかといった学習に対する姿勢や態度を知ることはより質の高い教育を提供する上で重要である。このような学習者の心理状態を客観的に評価する指標として「エンゲージメント」が用いられる。特に学習に関与する姿勢・態度を表すエンゲージメントであることから、以下、これを「学習エンゲージメント」と称することがある。

【0003】

例えば、授業中の生徒を撮影し、生徒が授業にどの程度興味を持っているかを示すエンゲージメント値を測定するシステムが知られている（例えば、特許文献１を参照）。また、オンデマンド講義を受講している様子を収録した映像データを解析して受講者の視線、頭部姿勢、表情、身体姿勢を抽出し、それらを機械学習器（Neural Turing Machine）で学習させて４クラス（0:very low, 1:low, 2:high, 3:very high）の学習エンゲージメントの推定を行う手法が知られている（例えば、非特許文献１を参照）。さらに、画像特徴量を追加して機械学習器（GRU: Gated Recurrent Unit）で学習させて４クラスの学習エンゲージメントの推定を行う手法が知られている（例えば、非特許文献２を参照）。

【0004】

また、対面講義を受けている受講者が身につけている接触型デバイスから血液容積脈波、皮膚電位、心拍変動、腕加速度情報と外部センサを利用し取得した二酸化炭素量や気温といった環境データを入力とし、LightGBM（Light Gradient Boosting Machine）による線形回帰で各エンゲージメント値を推定する手法が知られている（例えば、非特許文献３を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１８／０９７１７７号

【非特許文献】

【0006】

【非特許文献1】Xioyang. Ma, Min Xu, Yao Dong, and Zhong Sun, “Automatic Student Engagement in Online Learning Environment Based on Neural Turing Machine,” International Journal of Information and Education Technology, Vol. 11, No. 3, pp.107-111, 2021.

【非特許文献2】Bin Zhu, Xinjie Lan, Xin Guo, Kenneth E Barner and Charles Boncelet, “Multi-rate Attention Based GRU Model for Engagement Prediction”, Grand Challenge Paper: Emotion Recognition in the Wild Challenge ICMI 20 October 25-29, 2020, Virtual Event, Netherlands

【非特許文献3】Nan Gao, Wei Shao, Mohammad Saiedur Rahaman and Flora D.Salim, “N-Gage: Predicting in-Class Emotional, Behavioural and Cognitive Engagement in the Wild”, in Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 4, No. 3, Article 79, pp.1-26, 2020.

【発明の概要】

【発明が解決しようとする課題】

【0007】

近年、ＭＯＯＣｓ（Massive Open Online Courses）をはじめとしたオンライン講座が発展し教育の情報化が進んでいる。オンライン講義における学習の質を向上させるには、受講者の関心度を高め、維持することが重要である。しかし、オンライン講義では受講者の表情や口調などが伝わりにくいため、対面型講義と比較して受講者の心理状態を推定するのは容易ではない。特に受講者が一方的に視聴する側となるオンデマンド講義では、なおさら心理状態の推定は困難である。上記の従来手法によるエンゲージメント推定の正解率は０.６１程度である。

【0008】

上記問題に鑑み、本発明は、より高い正解率で学習エンゲージメントを推定する学習エンゲージメント推定技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一局面に従うと、学習中の対象者の当該学習に対するエンゲージメントを推定する学習エンゲージメント推定装置であって、少なくとも学習中の学習者の頭部の加速度を含む時系列データを入力データ、当該学習者の当該学習に対するエンゲージメントを出力データとしてあらかじめ学習させた機械学習器と、少なくとも学習中の前記対象者の頭部の加速度を取得して前記機械学習器に入力するデータ入力部と、前記機械学習器の出力データから前記対象者の前記学習に対するエンゲージメントを特定する出力データ処理部と、を備えた学習エンゲージメント推定装置が提供される。

【0010】

本発明の別の局面に従うと、学習中の対象者の当該学習に対するエンゲージメントを推定する学習エンゲージメント推定方法であって、データ入力部が、少なくとも学習中の前記対象者の頭部の加速度を取得するステップと、前記データ入力部が、少なくとも学習中の学習者の頭部の加速度を含む時系列データを入力データ、当該学習者の当該学習に対するエンゲージメントを出力データとしてあらかじめ学習させた機械学習器に、前記取得した前記対象者の頭部の加速度を入力するステップと、出力データ処理部が、前記機械学習器の出力データから前記対象者の前記学習に対するエンゲージメントを特定するステップと、を備えた学習エンゲージメント推定方法が提供される。

【発明の効果】

【0011】

本発明によると、学習中の対象者の頭部の加速度を含む時系列データを入力データとして用いることにより、より高い正解率で学習エンゲージメントを推定することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る学習エンゲージメント推定装置のブロック図である。

【図2】図１の学習エンゲージメント推定装置における機械学習器の構成の一例を示す図である。

【図3】データ入力部により抽出される各種特徴量とその抽出ツールを示した表である。

【図4】単独特徴量を入力データとして学習させた機械学習器の性能を示した表である。

【図5】複合特徴量を入力データとして学習させた機械学習器の性能を示した表である。

【図6】頭部の加速度情報の各クラス毎のｐ値を示した表である。

【発明を実施するための形態】

【0013】

以下、適宜図面を参照しながら、本発明の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0014】

（実施形態）
図１は、本発明の一実施形態に係る学習エンゲージメント推定装置のブロック図である。本実施形態に係る学習エンゲージメント推定装置１００は、学習中の対象者２００のマルチモーダルな特徴量から対象者２００の当該学習に対するエンゲージメント（学習エンゲージメント）を推定するものである。なお、本実施形態では、対象者２００は講義ビデオを視聴するオンデマンド講義形式で学習するものとし、マルチモーダル特徴量取得のために学習中の対象者２００の様子がＷｅｂカメラ１０１で撮影され、また、対象者２００の身体に装着した接触型デバイス１０２により学習中の対象者２００の身体各部位の動きや生体情報が計測される。

【0015】

学習エンゲージメント推定装置１００は、データ入力部１０と、機械学習器２０と、出力データ処理部３０とを備えている。これら各構成要素はハードウェアまたはソフトウェアとして構成することができる。ソフトウェアとして構成する場合、汎用コンピューターやサーバー装置のプロセッサに、上記構成要素を実現するためのコンピュータープログラムあるいは学習済みパラメーターや機械学習モデルを読み込ませて実行させることで、プロセッサが上記各構成要素として機能することができる。また、上記各構成要素は一つの装置に集約されている必要はなく、分散配置して通信回線で互いに接続されていてもよい。

【0016】

データ入力部１０は、Ｗｅｂカメラ１０１の映像データを解析して学習中の対象者２００の表情、姿勢、および視線に係る各特徴量を抽出するとともに、接触型デバイス１０２の計測データを収集し、それらの時系列データを機械学習器２０に入力する。Ｗｅｂカメラ１０１は、講義ビデオを視聴するパソコンに内蔵されたカメラあるいは外付けのカメラなどである。

【0017】

機械学習器２０は、あらかじめ、学習中の学習者のマルチモーダル情報を入力データとし、当該学習者の学習エンゲージメントを出力するよう学習させたものである。すなわち、あらかじめ学習させた機械学習器２０は、エンゲージメントが未知である対象者２００の各種特徴量を入力することで対象者２００の学習エンゲージメント推定値を出力する。

【0018】

なお、本実施形態では、学習中の対象者２００の各種特徴量の時系列変化を入力データとすることから、機械学習器２０として時系列データの取り扱いに適した再帰型ニューラルネットワーク（ＲＮＮ）、その中でもＬＳＴＭ（Long Short-Time Memory）を用いる。ＬＳＴＭは、ＲＮＮの誤差逆伝搬により生じる勾配消失問題を解決するため考えられたモデルである。ＬＳＴＭでは、入力ゲート、忘却ゲート、出力ゲートの３つのゲートから構成される定誤差カルーセルと呼ばれる記憶素子にエラーを選択的に取り込み、保持することで勾配の消失を防ぐことができる。

【0019】

図２は、図１の学習エンゲージメント推定装置１００における機械学習器２０の構成の一例を示す図である。機械学習器２０は、入力層２１と、中間層２２と、出力層２３とを備えている。入力層２１には、学習中の学習者のマルチモーダルな特徴量が入力される。入力層２１のノード数は入力データのサイズによる。入力データは後述の特徴量から適宜選択される。中間層２２は図略の１００ユニットのＬＳＴＭからなる。中間層２２のパラメータは、学習中の学習者の特徴量の時系列データと学習者の学習に対するエンゲージメントとを対応付けた教師データを用いて学習される。出力層２３は図略の４つのノードの全結合層からなる。出力層２３を４つのノードで構成した理由は、本実施形態では学習エンゲージメントをｖｅｒｙ ｌｏｗ，ｌｏｗ，ｈｉｇｈ，ｖｅｒｙ ｈｉｇｈの４クラスで推定するからである。出力層２３の出力データはソフトマックス関数で処理され、学習エンゲージメントの各クラスの確率が出力される。

【0020】

図１へ戻り、出力データ処理部３０は、機械学習器２０の出力データから対象者２００の学習エンゲージメントを特定する。上述したように、機械学習器２０の出力層２３からは学習エンゲージメントの各クラスの確率が出力される。出力データ処理部３０はその中から最も値が大きいものを対象者２００の学習エンゲージメントとして特定する。

【0021】

次に、機械学習器２０の入力データ、すなわち、学習エンゲージメントの推定の元となる対象者２００の特徴量について説明する。図３は、データ入力部１０による抽出される各種特徴量とその抽出ツールを示した表である。

【0022】

映像データの解析には、例えば、ＯｐｅｎＦａｃｅやＯｐｅｎＰｏｓｅなどの映像解析ツールを使用することができる。ＯｐｅｎＦａｃｅは、Tadas Baltrusaitisらにより開発された表情分析用のオープンソースツールであり、人の頭部の映像から、視線に係る２８８次元の特徴量、頭部姿勢に係る６次元の特徴量、および表情に係る４１５次元の特徴量を抽出することができる。視線に係る特徴量には、両目に付与された５６個のランドマークの２次元座標および３次元座標、各目の視線方向ベクトル、およびラジアンで表現した両目平均による視線方向が含まれる。頭部姿勢に係る特徴量には、カメラに対する頭部の３次元座標および頭部の３軸方向の角度が含まれる。表情に係る特徴量には、顔に付与された６８個のランドマークの２次元座標および３次元座標、ＰＤＭ（Point Distribution Model）に基づくパラメータ、およびＦＡＣＳ（Facial Action Coding System）で定義されている各ＡＵ（Action Unit）の表出の有無および表出強度が含まれる。なお、ＯｐｅｎＦａｃｅで扱われるＡＵは、ＡＵ１、２、４、５、６、７、９、１０、１２、１４、１５、１７、２０、２３、２５、２６、２８、４５の１８個である。

【0023】

さらに、ＯｐｅｎＦａｃｅから得られる顔の６８個のランドマークの３次元座標から下記計算式に従って各ランドマークの位置変位加速度ａ（ｔ）を計算して得られた２０４次元の特徴量を頭部加速度として追加している。以下、この頭部加速度を「推定加速度」と称することがある。
ｖ（ｔ）＝（ｃ（ｔ＋１）－ｃ（ｔ））／Ｉ
ａ（ｔ）＝（ｖ（ｔ＋１）－ｖ（ｔ））／Ｉ
ただし、ｃ（ｔ）は時刻ｔのフレームにおける各ランドマークの３次元座標、Ｉはフレームインターバルである。

【0024】

ＯｐｅｎＰｏｓｅは、Zhe Caoらにより開発された姿勢推定用のオープンソースツールであり、人の全身の映像から骨格キーポイントの座標を推定することができる。本実施形態では、Ｗｅｂカメラ１０１により撮影された対象者２００の上半身の映像から、鼻、両目、両耳、首、両肩の２次元座標からなる１６次元の特徴量を抽出している。

【0025】

接触型デバイス１０２として、例えば、ＪＩＮＳ社のＪＩＮＳ ＭＥＭＥ、Ｅｍｐａｔｉｃａ社のＥ４ ｗｒｉｓｔｂａｎｄ、およびＧａｒｍｉｎ社のＶｅｎｕ Ｓｑなどを使用することができる。ＪＩＮＳ ＭＥＭＥはメガネ型の接触デバイスであり、３軸加速度センサと３軸ジャイロセンサにより回転方向や回転角度が認識できるほか、眼電位センサにより瞬きの速度や強度、視線移動が認識できる。本実施形態では、対象者２００の頭部における動きを捉えるため頭部姿勢角度をPitch，Yaw，Rollの３軸で表現した頭部姿勢、ｘ，ｙ，ｚの３軸で動きの大きさを表現できる３軸加速度、および瞬き速度や強度を表現した視線情報を特徴量として用いる。

【0026】

Ｅ４ ｗｒｉｓｔｂａｎｄは腕時計型の接触型デバイスであり、３軸加速度センサ、光電式容積脈波センサ、皮膚電位センサ、光学式体温センサといった複数のセンサを備えることで人間の生理信号と腕の３軸加速度を取得可能である。３軸加速度センサは、３２Ｈｚで［－２ｇ，２ｇ］の範囲で３軸加速度を記録し、腕の動作に基づく活動を把握する。光電式容積脈波センサは、６４Ｈｚで心臓が血液を送り出すことに伴い発生する血管の容積変化を波形として捉える血液容積脈波を測定することができる。また、血液容積脈波の変化から１Ｈｚで心拍数の変化を捉えることも可能となる。皮膚電位センサは４Ｈｚで常に変動する皮膚の電気的特性の変化を捉える。そして光学式体温センサは、４Ｈｚで人間の体温を計測可能である。本実施形態では、腕の３軸加速度、血液容積脈波、皮膚電位、体温、心拍数といった特徴量を用いる。また、Ｖｅｎｕ Ｓqは腕時計型の接触型デバイスであり、光パルスレート技術を用いて１分間あたりの呼吸数を取得することができる。

【0027】

なお、図３の表に示した各特徴量はＷｅｂカメラ１０１および接触型デバイス１０２から抽出および収集可能なものを列挙したに過ぎず、対象者２００の学習エンゲージメントを推定するのにこれら特徴量がすべて用いられるわけではない点に留意すべきである。すなわち、データ入力部１０は、図３の表に示した各特徴量から適当なものを取捨選択して対象者２００の学習エンゲージメント推定のための入力データセットとすればよい。

【0028】

（実施例）
次に、学習エンゲージメント推定装置１００の実施例、特に、機械学習器２０の事前学習について説明する。学習用の教師データは次のようにして収集した。まず、日本オープンオンライン教育推進協議会（ＪＭＯＯＣ）で公開されている講義動画から選定した１８本のオンデマンド講義に対して実験参加者７名（男性５名、女性２名）に講義概要を読んでもらった後、各講義に対する自身の興味／関心度を５段階（低い，やや低い，普通，やや高い，高い）で評価してもらった。そして、最高評価と最低評価となった講義を参加者毎に各１本選定し、当該講義を約１０分間視聴してもらった。その際にｗｅｂカメラ１０１を用いて視聴している際の参加者の表情、姿勢および視線情報を３０ｆｐｓで記録した。頭部と腕の加速度情報は、接触側デバイス１０２（具体的にはＪＩＮＳ ＭＥＭＥ、Ｅ４ ｗｒｉｓｔｂａｎｄ、およびＶｅｎｕ Ｓｑ）を用い記録を行った。

【0029】

オンライン講義視聴後、事後アンケートとして実験参加者は話題が移り変わったタイミングで区切った講義のセクション毎に学習エンゲージメントをｖｅｒｙ ｌｏｗ，ｌｏｗ，ｈｉｇｈ，ｖｅｒｙ ｈｉｇｈの４段階で自己評定した。実験参加者一人あたりのセクション数は平均４件（最小２件、最大６件）、平均セクション時間は４分３６秒（最小１分１５秒、最大１０分）、各ラベル毎のセクション数はそれぞれ、ｖｅｒｙ ｌｏｗ＝６件、ｌｏｗ＝８件、ｈｉｇｈ＝９件、ｖｅｒｙ ｈｉｇｈ＝６件となった。この実験参加者の主観評価値を機械学習器２０の事前学習（Train）、検証（Validation）、およびテスト（Test）の出力データとする。

【0030】

機械学習器２０への入力データは図３の表に示した各種特徴量を単体であるいは複合して使用する。すなわち、教師データごとに異なる機械学習器２０が構成されることとなる。なお、複数の特徴量を複合して使用する場合、サンプリングレートが低い特徴量については線形補間して最大のサンプリングレートに合わせる。例えば、データ入力部１０は、サンプリングレートが最大の６４Ｈｚである血液容積脈波とそれよりもサンプリングレートが低いその他の特徴量を使用する場合、その他の特徴量を毎秒６４分割し、空になっている各時刻におけるデータを線形補間して入力データセット全体のサンプリングレートを６４Ｈｚに合わせる。各特徴量は０から１の値の範囲になるように正規化してもよいし、正規化していなくてもよい。

【0031】

〔単体特徴量〕
・頭部姿勢（ＪＩＮＳ ＭＥＭＥから取得）
・頭部３軸加速度
・視線（ＪＩＮＳ ＭＥＭＥから取得）
・血液容積脈波
・皮膚電位
・体温
・心拍数
・呼吸数
・腕３軸加速度
・推定加速度

【0032】

〔複合特徴量〕
・視線＋頭部姿勢＋身体姿勢＋表情（映像特徴量（従来手法に相当））
・頭部３軸加速度＋腕３軸加速度（計測加速度）
・血液容積脈波＋皮膚電位＋体温＋心拍数＋呼吸数（生体情報）
・映像特徴量＋計測加速度
・映像特徴量＋推定加速度
・映像特徴量＋生体情報
・映像特徴量＋計測加速度＋生体情報
・推定加速度を除く全ての特徴量（提案手法）

【0033】

上記各パターンの入力データおよび出力データを用いて機械学習器２０を構築した。学習および評価方法は次の通りである。
・バッチサイズ：６４（映像特徴量のみバッチサイズを１２８）
・エポック数：１０，０００
・最適化関数：確率的勾配降下法
・学習率：０.００１
・データ分割方法：ホールドアウト法（Train:Validation:Test＝６：２：２）
・評価方法：trainデータによる学習においてlossが最小となったエポックのモデルを用いtestデータで検証
・ＧＰＵ：NVIDIA社のGeForce RTX 2060 SUPER

【0034】

図４は、単体特徴量を入力データとして学習させた機械学習器２０の性能を示した表である。図５は、複合特徴量を入力データとして学習させた機械学習器２０の性能を示した表である。図４の表より、接触型デバイス１０２から取得した頭部３軸加速度および腕３軸加速度を用いた機械学習器２０の正解率はそれぞれ０.８３、０.９４であり、映像特徴量のみを用いた従来手法と比較して正解率が高いことがわかる。また、図５の表より、頭部３軸加速度と腕３軸加速度とを含む計測加速度を用いた機械学習器２０が正解率０.９８となり最も高い結果となった。さらに、従来手法で扱われていた映像特徴量に計測加速度を加えた手法でも正解率０.９３となり、従来手法より大きく性能が向上することが確認できた。このことから接触型デバイス１０２から取得した計測加速度情報は学習エンゲージメントの推定に有効であると言える。すなわち、少なくとも学習中の対象者２００の頭部の加速度から対象者２００の学習エンゲージメントを高い正解率で推定することができる。

【0035】

また，最も高い性能を示した計測加速度の代用である推定加速度を用いた機械学習器２０の正解率は０.６５となり、計測加速度より大きく劣るもののこちらも従来手法より良い結果が得られた。このことから、接触型デバイス１０２の代用として映像から推定した加速度情報を用いる手法も従来手法より有効であると言える。実際に収録した映像を確認すると、学習エンゲージメントが高いと評定されたデータに関しては腕や頭部の動きが少なくなる傾向があり、逆に学習エンゲージメントが低いと評定されたものに関しては、腕や頭部の動きが多くなる傾向が確認できた。

【0036】

接触型デバイス１０２から取得した皮膚電位は、従来研究でも相関が示唆されていた通り正解率０.６２となりこちらも従来手法を上回る結果となった。このことから、皮膚電位を学習エンゲージメントの推定に用いるのは有効であると言える。また、皮膚電位を除き血液容積脈波など単体の生体情報を入力として行った機械学習器２０では高い結果は得られなかったものの、生体情報をすべて組み合わせて行った学習結果としては正解率０.９４となりこちらも従来手法を大きく上回る結果となった。これは、単体の生体情報では特徴量の次元数が１次元と情報量が少なく、組み合わせることで表現力が増し精度が向上したものと考えられる。

【0037】

そして、推定加速度を除く残りすべての特徴量を組み合わせて行った学習では、正解率こそ０.８２となったが適合率、再現率、Ｆ値は正解率より大きく劣る結果となった。これは、推定加速度を除くすべての特徴量を学習したことで識別力の無い特徴量がノイズになっていることが原因だと考えられる。

【0038】

最も高い結果となった頭部計測加速度特徴量について統計的検定を行い、高エンゲージメント群と低エンゲージメント群間での有意差の確認を行った。本実施例で扱うデータは、７人がそれぞれ約１０分間のオンデマンド講義を視聴したデータであるためデータ数が少なく正規分布に従わないと考えられる。それを踏まえ、セクション毎に各軸の平均加速度を算出し、そのデータから２群間の検定を行えるマンホイットニーのＵ検定を多重比較することにより有意差の検定を行う。その際、有意水準をボンフェローニ補正により組み合わせ数で除算する。

【0039】

図６は、頭部の加速度情報の各クラス毎のｐ値を示した表である。図６の表より、“ｖｅｒｙ ｌｏｗ－ｌｏｗ間のｚ軸加速度”、“ｖｅｒｙ ｌｏｗ－ｈｉｇｈ間のｙ軸加速度”、“ｖｅｒｙ ｌｏｗ－ｈｉｇｈ間のｚ軸加速度”においてｐ値＜有意水準（０.００８）を満たし、有意差があることが確認できた。接触型デバイス１０２から取得できる頭部加速度のｘ，ｙ，ｚ軸はそれぞれ左右、前後、上下の動きを示すことから、有意差の確認できた“ｖｅｒｙ ｌｏｗ－ｌｏｗ間のｚ軸加速度”については、より低群の方が負方向への加速度が大きくなるため、体が沈み込んでいく動きなどが考えられる。“ｖｅｒｙ ｌｏｗ－ｈｉｇｈ間のｙ軸加速度”は、より高群の方が正方向への加速度が大きくなるため、画面に注目するため体を前のめりにする動きなどが考えられる。“ｖｅｒｙ ｌｏｗ－ｈｉｇｈ間のｚ軸加速度”は、より低群の方が負方向への加速度が大きくなるため、こちらも“ｖｅｒｙ ｌｏｗ－ｌｏｗ間のｚ軸加速度”同様、体が沈み込んでいく動きなどが考えられる。

【0040】

≪変形例≫
学習エンゲージメント推定装置１００は、オンデマンドのビデオ視聴に限られず、講義のライブ映像を視聴している対象者２００の学習エンゲージメントを推定することができる。さらには、ビデオ学習ではなく、対面講義で学習している対象者２００の学習エンゲージメント推定も可能である。その場合、データ入力部１０は、Ｗｅｂカメラ１０１に代えて講義室内のカメラで撮影した学習中の対象者２００の映像データを解析して対象者２００の特徴量を抽出すればよい。

【0041】

上記の推定加速度として顔の６８個のランドマークの３次元座標の加速度ではなく、データ入力部１０は、学習中の対象者２００の頭部の映像データを解析して頭部３軸加速度を推定して使用してもよい。このような計測頭部３軸加速度に相当する推定頭部３軸加速度を機械学習器２０の入力データとして用いても、計測加速度と同様に高い正解率で対象者２００の学習エンゲージメントを推定可能である。

【0042】

学習エンゲージメント推定装置１００による学習エンゲージメントの推定は上記の４クラスに限定されず、それよりも多いあるいは少ないクラス、さらにはクラスではなくスコアといった数値で学習エンゲージメントを推定することができる。すなわち、機械学習器２０の事前学習に使用する出力データの形式を変えれば、学習エンゲージメント推定装置１００により推定される学習エンゲージメントの特性が変更可能である。

【0043】

上記実施例では、機械学習器２０の学習用の出力データとして学習者の主観評価結果を用いたが、例えば、学習の理解度を確認する試験などを実施してそのスコアを出力データとして機械学習器２０を学習させてもよい。

【0044】

機械学習器２０にＢｉ－ＬＳＴＭを使用してもよい。また、ニューラルネットワーク以外に、サポートベクターマシンなどで機械学習器２０を構成してもよい。

【0045】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【符号の説明】

【0046】

１００ 学習エンゲージメント推定装置
１０ データ入力部
２０ 機械学習器
２１ 入力層
２２ 中間層
２３ 出力層
３０ 出力データ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】