特許 7530079 学習システム、学習講義提供方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】学習システム、学習講義提供方法、およびプログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20240731BHJP

   G06Q 50/20 20120101ALI20240731BHJP

   G09B 5/06 20060101ALI20240731BHJP

【ＦＩ】

G09B19/00 G

G06Q50/20

G09B5/06

【請求項の数】 9

(21)【出願番号】P 2019190680

(22)【出願日】2019-10-18

(62)【分割の表示】P 2019133586の分割

【原出願日】2019-07-19

(65)【公開番号】P2021018408

(43)【公開日】2021-02-15

【審査請求日】2021-05-14

【審判番号】

【審判請求日】2023-04-06

(73)【特許権者】

【識別番号】503128216

【氏名又は名称】株式会社フォーサイト

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】山田 浩司

【合議体】

【審判長】藤本 義仁

【審判官】嵯峨根 多美

【審判官】門 良成

(56)【参考文献】

【文献】特開２０１３－９７３１１（ＪＰ，Ａ）

【文献】特開２０１６－２１２５９（ＪＰ，Ａ）

【文献】特開２００６－４１８８７（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９７１７７（ＷＯ，Ａ１）

【文献】特開２０１６－１１１３７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G09B 1/00-9/56

G09B 17/00-19/26

G06Q 50/20

(57)【特許請求の範囲】

【請求項1】

教育コンテンツに取り組む人物を撮影するために取得された画像における前記人物の視線の方向と前記画像から推定される前記人物の上半身の傾きおよび前記上半身の傾きの安定の度合いとに基づいて、前記人物が前記教育コンテンツに集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する集中判定部
を有する、
判定システム。

【請求項2】

前記上半身の傾きは、前記上半身の前後方向の傾きである、
請求項１に記載の判定システム。

【請求項3】

前記集中判定部は、前記画像における前記人物の顔領域の位置および大きさに基づいて前記上半身の傾きを推定する、請求項２に記載の判定システム。

【請求項4】

コンピュータが、
教育コンテンツに取り組む人物を撮影するために取得された画像における前記人物の視線の方向と前記画像から推定される前記人物の上半身の傾きおよび前記上半身の傾きの安定の度合いとに基づいて、前記人物が前記教育コンテンツに集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する、
判定方法。

【請求項5】

前記上半身の傾きは、前記上半身の前後方向の傾きである、
請求項４に記載の判定方法。

【請求項6】

前記コンピュータは、前記画像における前記人物の顔領域の位置および大きさに基づいて前記上半身の傾きを推定する、請求項５に記載の判定方法。

【請求項7】

教育コンテンツに取り組む人物を撮影するために取得された画像における前記人物の視線の方向と前記画像から推定される前記人物の上半身の傾きおよび前記上半身の傾きの安定の度合いとに基づいて、前記人物が前記教育コンテンツに集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する、
ことをコンピュータに実行させるための判定プログラム。

【請求項8】

前記上半身の傾きは、前記上半身の前後方向の傾きである、
請求項７に記載の判定プログラム。

【請求項9】

前記コンピュータに、前記画像における前記人物の顔領域の位置および大きさに基づいて前記上半身の傾きを推定することを実行させる、請求項８に記載の判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算機システムを利用して学習を支援する技術に関する。

【背景技術】

【0002】

特許文献１には、各学習者の受講する講義の内容及び難易度が最適化されており、自身の学習到達度に適合しない講義の受講を自動的に且つ可及的に排除する学習システムが開示されている。

【0003】

特許文献１の学習システムは、難易度が異なる複数の講義を用意するとともに、各講義を複数の小講義に分割し、小講義毎に各学習者に対して小テストを課し、その各小テストの結果を参照して各学習者に受講させる講義の難易度が適切であるか否かを判定し、各学習者が受講する講義の最適化を自動的に行う。

【0004】

また、特許文献２には、講義映像における任意の時間的範囲の内容について、受講者の理解度を評価する装置が開示されている。

【0005】

特許文献２の装置は、講義映像を視聴する受講者が撮影された受講者映像について、任意の時間的範囲に映された受講者の講義に対する反応を認識する受講者反応認識部と、認識された受講者の反応が肯定的または否定的である程度に基づいて、受講者の講義に対する理解度を推定する理解度推定部と、講義映像が受講者に提示される際に再生が制御された内容を表す再生制御情報を取得する再生制御情報取得部と、推定された理解度と、理解度が推定された受講者映像の時間的範囲と、再生制御情報とに基づいて、受講者の理解が理解度である講義映像の時間的範囲に関する情報を求める講義映像分析部と、を備える。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－２０９７４号公報

【文献】特開２０１８－１５５８２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の学習システムは、小テストの結果を基に講義の難易度を最適化する。しかしながら、学習者の学力を向上させるためには講義の難易度を調整するだけでは十分ではない。例えば、学習者が講義に集中していなければ、適切な難易度の講義も十分に効果を発揮しない。ことが考えられる。

【0008】

特許文献２の装置は、受講者の反応から理解度を推定する。この推定した理解度は、受講者の理解度向上および講義映像の品質改善のために利用できると述べられている。しかしながら、推定した理解度をどのように利用して受講者の理解度向上および講義映像の品質改善を実現するのか述べられていない。

【0009】

本開示のひとつの目的は、受講者の学力向上に効果的な学習システムを実現する技術を提供することである。

【課題を解決するための手段】

【0010】

本発明のひとつの実施態様に従う学習システムは、映像と音声を含む講義を提供する学習システムであって、前記講義を受講する受講者を撮影するするために取得された画像に基づいて、前記受講者が前記講義に集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する集中判定部と、前記画像と前記集中判定結果情報とに基づいて、前記受講者が前記講義の内容を理解しているか否かに関する判定を行い、該判定の結果に基づく理解判定結果情報を記録する理解判定部と、前記集中判定結果情報および前記理解判定結果情報に基づいて前記講義を制御する講義制御部と、を有する。

【発明の効果】

【0011】

本発明によれば、講義を受ける受講者が集中しているか否かと講義を理解しているか否かという２つの状態情報に基づいて講義を制御するので、受講者の学力向上に効果的な講義を提供することができる。

【図面の簡単な説明】

【0012】

【図1】学習システムの機能構成を示すブロック図である。

【図2】学習システムのハードウェア構成を示すブロック図である。

【図3】集中判定処理のフローチャートである。

【図4】講義制御処理のフローチャートである。

【図5】補習処理のフローチャートである。

【図6】集中促進処理のフローチャートである。

【図7】補強行動検出処理のフローチャートである。

【図8】補強行動促進処理のフローチャトである。

【図9】集中継続時間調整処理のフローチャートである。

【図10】集中継続時間計測処理のフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。

【0014】

本実施形態の学習システムは、講師を模した姿を有する仮想的な人物（以下「アバター講師」ともいう）により、受講者に、映像および音声で構成された講義コンテンツを提供する計算機システムである。学習すべき内容を複数の単位に分割し、各単位に対して講義コンテンツが準備されいてる。学習システムはカメラおよびマイクを備え、受講者の画像および音声から受講者の状態を取得することができる。学習システムは、受講者の状態に応じて、提供する講義コンテンツを選択し、また講義コンテンツの提供を制御することにより、受講者の効果的な学習を支援する。また、学習システムは、講義コンテンツの合間および講義コンテンツの途中でアバター講師から受講者に呼びかけ、また受講者の反応を検知することにより、アバター講師と受講者とのインタラクティブな疑似的対話を実現する。

【0015】

図１は、学習システムの機能構成を示すブロック図である。図２は、学習システムのハードウェア構成を示すブロック図である。

【0016】

図１を参照すると、学習システム１０は、集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、集中継続時間調整部１６、および記憶部１７を有している。記憶部１７には、サービスを実行するのに必要な予め準備されたデータが記録されている。集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、および集中継続時間調整部１６は、それぞれが実行する処理がソフトウェアプログラムにより規定され、プロセッサがそのソフトウェアプログラムを実行することにより実現される。

【0017】

図２を参照すると、学習システム１０は、サーバ２０と、インターネット等の通信ネットワーク経由でサーバ２０に接続可能なパーソナルコンピュータやスマートホン等の情報端末とで構成されている。受講者９０は、情報端末３０上のブラウザ３３を用いてサーバ２０に接続し、サーバ２０から提供されるサービスを利用する。サービスは、学習コンテンツを提供するサービスである。サービスは図１に示した各部により実現される。

【0018】

図２に示すように、サーバ２０は、ハードウェアとして、処理装置２１、メインメモリ２２、記憶装置２３、通信装置２４、入力装置２５、および表示装置２６を有し、それらがバス２７に接続されている。

【0019】

記憶装置２３は、書込みおよび読み出しが可能にデータを記憶するものである。図１に示した記憶部１７はこの記憶装置２３によって実現される。処理装置２１は、記憶装置２３に記憶されたデータをメインメモリ２２に読み出し、メインメモリ２２を利用してソフトウェアプログラムの処理を実行するプロセッサである。処理装置２１によって、図１に示した集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、および集中継続時間調整部１６が実現される。

【0020】

通信装置２４は、処理装置２１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワークを介して送信し、また通信ネットワークを介して受信した情報を処理装置２１に伝達する。受信した情報は処理装置２１にてソフトウェアの処理に利用される。

【0021】

入力装置２５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報は処理装置２１にてソフトウェア処理に利用される。表示装置２６は、処理装置２１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。入力装置２５および表示装置２６は、主には、受講者９０ではなく管理者（不図示）が利用するために設けられている。

【0022】

図１に戻り、記憶部１７は、講義コンテンツを予め記憶している。本実施形態では、学習すべき内容の単位毎に、標準的な講義（以下「標準講義」ともいう）を収めた標準講義コンテンツと、標準講義を補うための講義（以下「補習講義」ともいう）を収めた補習講義コンテンツとが準備されている。

【0023】

集中判定部１１は、講義を受講する受講者９０が講義に集中しているか否かに関する判定を行い、その判定の結果に基づく集中判定結果情報を記録する。

【0024】

理解判定部１２は、受講者９０が講義の内容を理解しているか否かに関する判定を行い、その判定の結果に基づく理解判定結果情報を記録する。

【0025】

講義制御部１３は、集中判定結果情報および理解判定結果情報に基づいて講義を制御する。こののように、講義を受ける受講者９０が集中しているか否かと講義を理解しているか否かという２つの状態情報に基づいて講義を制御するので、受講者９０の学力向上に効果的な講義を提供することができる。

【0026】

より具体的な処理について説明する。図２に示すように、情報端末３０にはカメラ３１が備えられている。情報端末３０は、講義を受けている受講者９０の画像をカメラ３１で撮影し、画像データをサーバ２０に送信する。サーバ２０で画像データを用いた処理が行われる。

【0027】

当初には講義制御部１３は標準講義コンテンツを受講者９０に提供している。その際、集中判定部１１は、カメラ３１で撮影された画像に基づいて受講者９０が集中しているか否か判定する。また、理解判定部１２は、カメラ３１で撮影された画像に基づいて受講者９０が講義を理解しているか否か判定する。講義制御部１３は、受講者９０が集中していないとき受講者９０に集中を促すための集中促進処理を実行し、受講者９０が集中しておりかつ講義を理解していないとき講義を補うための補習処理を実行する。補習処理は、講義の内容を補う補習講義を受講者９０に提供するための処理である。講義制御部１３は、一例として、補習講義コンテンツを受講者９０に提供する。このように、受講者９０が集中していないときには集中を促し、受講者９０が集中していながら講義を理解できていないときには講義を補うので、受講者９０の講義の理解を効果的に向上させることができる。

【0028】

なお、補習講義は、例えば、標準講義の内容を詳しく説明した講義、標準講義の内容を異なる方法で説明した講義、などであってよい。また、標準講義と同じものを再び提供することを補習講義としてもよい。

【0029】

図１に戻り、補強行動検出部１４は、補強行動検出処理として、受講者９０に講義が提供されているとき、受講者９０が所定の補強行動を行っていることを検出する。ここでいう補強行動は、講義を受けながら行うことで、例えば知識が記憶に残りやすくなるといったように、学習の補強となる行動である。補強行動の具体例として、頷く、声出し、筆記（ノートを取る）といった行動がある。補強行動検出処理の詳細は後述する。

【0030】

補強行動促進部１５は、補強行動促進処理として、受講者９０が集中しており、かつ、補強行動を行っていないとき、補強行動を推奨する音声、画像、またはテキストの１つ以上を受講者９０に提供し、受講者９０が集中しており、かつ、補強行動を行っているとき、補強行動を行っていることを賞賛する音声、画像、またはテキストの１つ以上を提供する。このようにすることで、受講者９０の行動の状況に応じて所定の補強行動を行うことを受講者９０に促すことができる。補強行動促進処理の詳細については後述する。

【0031】

より具体的な処理について説明する。図２に示すように、情報端末３０にはカメラ３１とマイク３２が備えられている。

【0032】

補強行動促進部１５は、カメラ３１で撮影された画像に基づいて、受講者９０が頷きを行っていることと、受講者９０が筆記を行っていることを検出し、マイク３２で取得された音声に基づいて、受講者９０が声出しをしていることを検出し、それらの検出結果に基づいて補強行動を行っていることを検出する。例えば、頷き、筆記、声出しという３つの行動のうち、いずれか１つでも実行していれば補強行動を行っているとしてもよい。あるいは、３つの行動のうち２つ以上を実行しているとき、補強行動を行っているとしてもよい。

【0033】

図１に戻り、集中継続時間調整部１６は、集中継続時間調整処理として、受講者９０が集中を継続している集中継続時間を計測し、集中継続時間が所定の閾値を超えたら受講者９０に休息を促し、計測した集中継続時間の情報を記録しておき、過去の集中継続時間に基づいて、上記閾値を更新する。このように、受講者９０に適宜休憩を促すとともに、閾値の更新により受講者９０が集中を持続できる時間を改善することができる。例えば徐々に集中を持続できる時間が長くなるように導くことができる。集中継続時間調整処理の詳細は後述する。

【0034】

以下の学習システムが実行する処理をより詳細に説明する。

【0035】

図３は、集中判定処理のフローチャートである。集中判定処理は、受講者９０が集中しているか否か判定する処理であり、集中判定部１１により実行される。

【0036】

集中判定部１１にはカメラ３１で撮影された画像データが入力される。集中判定部１１は、ステップ１０１にて、画像データに基づき受講者９０が情報端末３０の前に居るか否か判定する。例えば画像データから人物が検出されたら、受講者９０が情報端末３０の前に居ると反転する。受講者９０が情報端末３０の前に居なければ、集中判定部１１は、ステップ１０２にて不在という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。集中フラグは、受講者９０が集中していることを１で示し、受講者９０が集中していないことを０で示すフラグである。

【0037】

ステップ１０１にて、受講者９０が情報端末３０の前に居ると判定されたら、集中判定部１１は、ステップ１０３にて、受講者９０が所定の良好な体勢で講義を受けているか否か判定する。受講者９０が良好な体勢であるか否かは、一例として、画像データ内の人物の顔領域の位置および動きにより判定する。画像データの所定閾値範囲内に人物の顔の領域があり、その顔の領域が所定閾値以上の大きさであれば、受講者９０は良好な体勢であると判定する。顔領域の位置の閾値および顔領域の大きさの閾値は、受講者９０が情報端末３０の正面でやや前傾姿勢であり、かつふらついていない状態を判別可能な値として、予め受講者９０を撮影した平常時の画像から算出した適当な値を用いればよい。受講者９０が情報端末３０の画面の正面でかつ画面の近く安定していれば、受講者９０は良好な体勢で講義を受けていると推定できる。受講者９０が良好な体勢でないと判定されたら、集中判定部１１は、ステップ１０４にて不良体勢という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。

【0038】

ステップ１０３にて、受講者９０が良好な体勢であると判定されたら、集中判定部１１は、ステップ１０５にて、受講者９０の眼が開いているか否か判定する。例えば、画像データから検出された人物の眼が開いていたら、受講者９０の眼が開いていると判定する。受講者９０がまばたきすることを考慮し、連続する画像データに基づいて人物が眼を開けているか否か判定するのが好ましい。例えば、受講者９０の眼が閉じている時間が閾値を超えないこと、および／または、受講者９０の眼が閉じている時間の割合が閾値を超えないことを判断に利用することができる。受講者９０の眼が閉じていたら、集中判定部１１は、ステップ１０６にて居眠りという詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。

【0039】

ステップ１０５にて、受講者９０の眼が開いていると判定されたら、集中判定部１１は、ステップ１０７にて、受講者９０が情報端末３０の画面を見ているか否か判定する。受講者９０の視線方向が画面方向の所定範囲内にあれば、受講者９０が情報端末３０の画面を見ていると判定する。受講者９０がまばたきをしたり、ノートを取ったりすることを考慮し、連続する画像データに基づいて人物が画面を見ているか否か判定するのが好ましい。例えば、受講者９０の視線方向が所定範囲内にある時間の割合が閾値以上であることを判断に利用することができる。受講者９０が情報端末３０の画面を見ていないと判定されたたら、集中判定部１１は、ステップ１０８にてよそ見という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。

【0040】

ステップ１０７にて受講者９０が情報端末３０の画面を見ていると判定されたら、集中判定部１１は、ステップ１０９にて集中フラグに１を設定する。

【0041】

以上のように、集中判定部１１は、カメラ３１で撮影された画像に受講者９０が存在するか否か、画像おける受講者９０の顔領域の位置および大きさと、画像における受講者９０の眼が開いているか否かと、受講者９０の視線の方向とに基づいて、受講者９０が集中しているか否か判定する。これにより、受講者９０が適正な体勢で講義の画面を見ているとき集中していると判定することができる。

【0042】

図４は、講義制御処理のフローチャートである。講義制御処理は、受講者９０が集中しているか否かと講義を理解しているか否かとに基づいて、講義を制御する処理であり、講義制御部１３および理解判定部１２が実行する。理解判定部１２は、受講者９０が講義を理解しているか否かを判定する処理を実行する。

【0043】

理解判定部１２は、ステップ２０１にて、集中フラグが１であるか否か判定する。集中フラグが１でなければ、すなわち、受講者９０が集中していなければ、講義制御部１３は、ステップ２０２にて集中促進処理を実行する。集中促進処理は、受講者９０に集中を促すための処理である。集中促進処理の詳細は後述する。

【0044】

ステップ２０１にて集中フラグが１であれば、すなわち受講者９０が集中していれば、理解判定部１２は、ステップ２０３にて、受講者９０が講義を理解しているか否か判定する。このとき、理解判定部１２は、受講者９０を撮影した画像データに基づいて判定を行う。具体的には、画像データから受講者９０の眼と眉との間隔（以下「眼眉間隔」ともいう）を計測し、その眼眉間隔が所定の基準値を下回ったら、受講者９０は講義を理解していないと判定する。受講者９０が講義に集中していることを前提とし、眼と眉の間隔が狭まったら受講者９０が講義に集中しているにもかかわらず理解できないため、理解しようと努力している状態であると推定することができるからである。基準値は予め撮影した受講者９０の平常時の顔の画像から算出しておけばよい。

【0045】

受講者が講義を理解していないと判定されると、講義制御部１３は、ステップ２０４にて補習処理を実行する。補習処理は、受講者９０の学習内容の理解を促進するために標準講義を補う処理である。補習処理の詳細は後述する。

【0046】

なお、受講者９０が講義を理解しているか否かは、受講者９０の頭の中で起こっている事象なので、カメラ３１で撮影した受講者９０の画像等のような外からの観察によって判定することは通常であれば容易でない。例えば、特許文献２では、首を縦に振る、横に振る、笑顔、怪訝な表情などといった動作や表情などの反応に基づいて受講者の理解度を推定する。肯定的な動作や表情が検出されると理解度は高くなる。しかし、受講者が講義に集中しておらず頭の中で講義以外の考え事をしていれば、そのときの肯定的な動作や表情は受講者の講義の理解度を適切に表さないことがありうる。また、受講者にとって講義が易しすぎて集中できない状態であれば、受講者は講義を理解していても肯定的な動作や表情を表さないことがありうる。

【0047】

この点について、本実施形態では、受講者９０が集中しているときであれば、受講者９０が講義を理解しているか否かを画像データに基づいて判定できることに着目している。本実施形態では、ステップ２０１および２０３のように、理解判定部１２は、受講者９０が集中しているときに、受講者９０が講義を理解しているか否かを判定する。そして、講義制御部１３は、受講者９０が集中していないのであれば集中促進処理を実行し（ステップ２０２）、受講者９０が集中しているにもかかわらず講義を理解していないのであれば補習処理を実行する（ステップ２０４）。

【0048】

図５は、補習処理のフローチャートである。

【0049】

講義制御部１３は、まずステップ３０１にて、受講者９０に補習講義の要否を問い掛ける。具体的には、アバター講師が受講者９０に対して言葉をかける。アバター講師は、例えば、「～の講義が理解できていないかな。もう少し詳しく説明しようか？」と問いかける。

【0050】

そして、ステップ３０２にて、講義制御部１３は、受講者の回答が補習講義を受けるというものか、受けないというものか判定する。例えば、カメラ３１で撮影される受講者９０の画像と、マイク３２で取得される受講者９０の音声かとから、受講者９０の回答を判断することができる。例えば、受講者９０が頷きながら、「はい。お願いします。」と発声したら、受講者９０は補習講義を受けることを希望したと判定できる。一方、受講者９０が顔を横に振りながら、「いいえ。結構です。」と発声したら、受講者９０は保守講義を受けることを希望しないと判定できる。

【0051】

受講者９０が補習講義を受けると回答したら、講義制御部１３は、ステップ３０３にて、予め用意されていた補習講義を受講者９０に提供する。一例として、補習講義は、アバター講師が映像および音声を含み、標準講義よりも学習内容を詳しく解説する講義である。

【0052】

以上説明したように、講義制御部１３は、受講者９０が集中しておりかつ講義を理解していないと判定されると、受講者９０に補習講義の要否を問い掛け、受講者９０から要と回答されたら、補習講義を提供する。問いかけにより、講義が理解していないという推定を確認するとともに、補習講義を受けたいという受講者９０の意思があるときに補習講義を提供することができるので、補習講義を効果的に提供することができる。

【0053】

図６は、集中促進処理のフローチャートである。

【0054】

講義制御部１３は、まずステップ４０１にて、集中判定処理にて集中判定部１１が記録した、受講者９０が集中していないことに関する詳細情報を取得する。

【0055】

次に、講義制御部１３は、ステップ４０２にて、詳細情報が不在を示しているか否か判定する。詳細情報が不在を示していれば、講義制御部１３は、ステップ４０３にて指導Ａを行う。指導Ａは、受講者９０がトイレ等何らかの理由で情報端末３０から離れた場合を想定した指導である。例えば、指導Ａにて、講義制御部１３は、アバター講師による講義を一時中断し、受講者９０が情報端末３０の前に戻ったら再開する。受講者９０が情報端末３０の前に戻ったことは、カメラ３１で撮影される画像データから検知することができる。講義を再開するとき、アバター講師は「続きも集中していきましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。

【0056】

ステップ４０２にて詳細情報が不在を示していなければ、講義制御部１３は、ステップ４０４にて、詳細情報が居眠りを示しているか否か判定する。詳細情報が居眠りを示していれば、講義制御部１３は、ステップ４０５にて指導Ｂを行う。指導Ｂは、受講者９０が居眠りを始めた場合を想定した指導である。例えば、指導Ｂにて、講義制御部１３は、アバター講師による講義を一時中断し、アバター講師から「××（受講者９０の名前）さん、顔を洗ってらっしゃい。」という声かけを行い、受講者９０が情報端末３０から離れた後に情報端末３０の前に戻ったら、アバター講師による講義を再開する。講義を再開するとき、アバター講師は「続きも集中していきましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。

【0057】

ステップ４０４にて詳細情報が居眠りを示していなければ、講義制御部１３は、ステップ４０６にて、詳細情報がよそ見を示しているか否か判定する。詳細情報がよそ見を示していれば、講義制御部１３は、ステップ４０７にて指導Ｃを行う。指導Ｃは、受講者９０が講義を聞いてはいるものの集中力が低下している場合を想定した指導である。例えば、指導Ｃにて、講義制御部１３は、アバター講師から「××（受講者９０の名前）さん、講義をちゃんと聞きましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。

【0058】

ステップ４０６にて詳細情報がよそ見を示していなければ、講義制御部１３は、ステップ４０８にて、詳細情報が不良体勢を示しているか否か判定する。詳細情報が不良体勢を示していれば、講義制御部１３は、ステップ４０７にて上記指導Ｃを行う。

【0059】

以上説明したように、講義制御部１３は、受講者９０が情報端末３０の前に居ないとき、集中促進処理として、講義を中断し、受講者９０が情報端末３０の前に戻ったら講義を再開し、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。また、講義制御部１３は、受講者９０の眼が開いていないとき、集中促進処理として、集中できる状態になるための行動を受講者９０に促す音声、画像、またはテキストの１つ以上を提供して受講者９０が情報端末３０の前に居なくなったら講義を中断し、受講者９０が情報端末３０の前に戻ったら講義を再開し、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。また、講義制御部１３は、受講者９０の視線方向が情報端末３０の画面に向いていないとき、または、受講者９０が良好体勢でないとき、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。したがって、様々な理由で集中できていない受講者９０にその理由に応じた方法で集中を促すことができる。

【0060】

図７は、補強行動検出処理のフローチャートである。

【0061】

補強行動検出部１４は、まずステップ５０１にて、カメラ３１で受講者９０を撮影した画像データから受講者９０の頷きを計測する。例えば、時系列の画像データにおける人物の顔領域の位置が上下することを頷き行動と判定することにしてもよい。講義中に一定時間毎に所定回以上の頷き行動が検知されたら、受講者９０は講義を受けながら頷きを行っていると判断することにしてもよい。

【0062】

次に、補強行動検出部１４は、ステップ５０２にて、マイク３２で取得された音声から、受講者９０の声出しを計測する。例えば、「よし」、「やるぞ」、「わかった」、「なるほど」など所定の言葉を発したことを声出し行動と判定することにしてもよい。講義中の一定時間毎に所定回以上の声出し行動が検知されたら、受講者９０が講義を受けながら声出しを行っていると判断することにしてもよい。

【0063】

次に、補強行動検出部１４は、ステップ５０３にて、画像データから受講者９０の筆記を計測する。例えば、時系列の画像データにおいて人物が下を向いてペンを持った手を動かしたことを筆記行動と判定することにしてもよい。講義中の一定時間毎に筆記行動を行っている時間が一定時間を超えたら、受講者９０が講義を受けながら筆記を行っていると判断することにしてもよい。

【0064】

次に、補強行動検出部１４は、ステップ５０４にて、受講者９０が頷きと声出しと筆記のうち２つ以上を実行しているか否か判定する。受講者９０が２つ以上を実行していれば、補強行動検出部１４は、ステップ５５にて、補強行動フラグに１を設定する。一方、受講者９０が２つ以上を実行していなければ、補強行動検出部１４は、ステップ５０６にて、補強行動フラグに０を設定する。補強行動フラグは、受講者９０が十分な補強行動を行っているか否かを示すフラグである。補強行動フラグ＝１は受講者９０が十分な補強行動を行っていることを意味し、補強行動フラグ＝０は受講者９０が十分な補強行動を行っていないことを意味する。

【0065】

図８は、補強行動促進処理のフローチャトである。

【0066】

補強行動促進部１５は、ステップ６０１にて、集中フラグが１であるか否か判定する。集中フラグが０であれば補強行動促進部１５は、そのまま処理を終了する。集中フラグが１であれば、すなわち、受講者９０が集中していれば、補強行動促進部１５は、ステップ６０２にて、補強行動フラグが１であるか否か判定する。補強行動フラグが１であれば、補強行動促進部１５は、受講者９０が補強行動を行っていることを賞賛するための処理を実行する。本実施形態では、アバター講師が受講者９０の補強行動を褒める声かけをする。

【0067】

一方、ステップ６０２にて補強行動フラグが０であれば、すなわち受講者９０が集中していなければ、補強行動促進部１５は、ステップ６０４にて、受講者９０に補強行動を推奨するための処理を実行する。本実施形態では、アバター講師が受講者９０に補強行動を行うように促す声かけをする。

【0068】

図９は、集中継続時間調整処理のフローチャートである。

【0069】

集中継続時間調整部１６は、ステップ７０１にて、集中継続時間計測処理を実行する。集中継続時間計測処理は、受講者９０が集中を継続している時間を計測する処理である。集中継続時間計測処理の詳細は後述する。

【0070】

次に、集中継続時間調整部１６は、集中継続時間が所定の集中継続時間閾値を超えているか否か判定する。集中継続時間閾値は、受講者９０の状態に応じて変動する閾値である。集中継続時間閾値の詳細は後述する。

【0071】

集中継続時間が集中継続時間閾値を超えていたら、集中継続時間調整部１６は、ステップ７０３にて、受講者９０に休憩を促す。集中継続時間が集中継続時間閾値を超えていなければ、集中継続時間調整部１６は、ステップ７０１に戻り集中継続時間の計測を続ける。

【0072】

図１０は、集中継続時間計測処理のフローチャートである。

【0073】

集中継続時間調整部１６は、ステップ８０１にて、集中フラグが１であるか否か判定する。集中フラグが１であれば、すなわち受講者９０が集中していれば、集中継続時間調整部１６は、ステップ８０２にて、タイマをスタートし、集中継続時間の計測を開始する。更に、集中継続時間調整部１６は、ステップ８０３にて、集中フラグが１であるか否か判定する。集中フラグが１であれば、すなわち受講者９０がまだ集中していれば、集中継続時間調整部１６は、集中継続時間の計測を継続する。

【0074】

ステップ８０３にて、集中フラグが０であれば、すなわち受講者９０の集中が途切れたら、集中継続時間調整部１６は、ステップ８０５にて集中継続時間の計測を終了する。更に、集中継続時間調整部１６は、ステップ８０６にて、ステップ８０５で最終的に計測された集中継続時間を履歴情報として記録する。更に、集中継続時間調整部１６は、ステップ８０７にて、集中継続時間の履歴情報に基づいて集中継続時間閾値を更新する。

【0075】

集中継続時間調整部１６は、集中持続持続の履歴情報に基づいて閾値を徐々に大きくなるように更新する。

【0076】

あまりに長時間連続して集中して学習を続けると学習効率が低下する。したがって、学習をある程度の時間継続したら休憩を取るのが好ましい。集中して学習を行える時間は個人差があり、訓練により徐々に長くすることができる。集中継続時間閾値を徐々に大きく更新するのは、受講者９０に集中して学習を行える時間を徐々に長くする訓練のためである。集中継続時間閾値の更新方法の一例として、本実施形態では、前回計測された集中継続時間が集中継続時間閾値以上であれば、集中継続時間閾値に所定値を加算して更新し、前回の集中継続時間が集中継続時間閾値未満であれば、集中継続時間をそのままの値とする。

【0077】

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【0078】

なお、本実施形態において、講義の提供は、一例としてアバター講師による講義の映像を表示し音声を出力することであるが、これに限るものではない。例えば、講義に映像および音声だけでなくテキストの表示が含まれていてもよい。また、講義の提供が、現実の講師による講義を録画した講義コンテンツを再生するものであってもよい。また、講義の提供は、映像には講師が姿を現さずテキストだけが表示され、講師は音声だけで登場するものであってもよい。

【0079】

また、本実施形態では、集中している受講者９０が講義を理解しているか否かの判定に眼眉間隔を利用したが、眼眉間隔は一例であり、これに限定されることはない。受講者９０が撮影された画像データから他の方法で講義を理解してるか否か判定することができる。講義を理解しているか否かを判定するのに、受講者９０が集中している状態を前提とするという上記着想から、例えば、講義が理解できないときには挙手するように予め受講者９０に指示しておき、画像データから受講者９０が挙手したことを検出したら、受講者９０が講義を理解していないと判断することにしてもよい。受講者９０が集中している状態を前提とすれば、講義を理解できないときに挙手することは容易に実行できる。

【符号の説明】

【0080】

１０…学習システム、１１…集中判定部、１２…理解判定部、１３…講義制御部、１４…補強行動検出部、１５…補強行動促進部、１６…集中継続時間調整部、１７…記憶部、２０…サーバ、２１…処理装置、２２…メインメモリ、２３…記憶装置、２４…通信装置、２５…入力装置、２６…表示装置、２７…バス、３０…情報端末、３１…カメラ、３２…マイク、３３…ブラウザ、９０…受講者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】