特許 7253216 学習支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】学習支援システム

(51)【国際特許分類】

   G09B 5/02 20060101AFI20230330BHJP

   G09B 5/08 20060101ALI20230330BHJP

   G16Y 10/55 20200101ALI20230330BHJP

   G16Y 20/40 20200101ALI20230330BHJP

   G16Y 40/20 20200101ALI20230330BHJP

【ＦＩ】

G09B5/02

G09B5/08

G16Y10/55

G16Y20/40

G16Y40/20

【請求項の数】 11

(21)【出願番号】P 2022518514

(86)(22)【出願日】2020-04-28

(86)【国際出願番号】 JP2020018176

(87)【国際公開番号】W WO2021220429

(87)【国際公開日】2021-11-04

【審査請求日】2022-03-08

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】沼田 崇志

(72)【発明者】

【氏名】嶺 竜治

【審査官】柳 重幸

(56)【参考文献】

【文献】特開２０１７－１９１４９０（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４４２６４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３３５１６６（ＵＳ，Ａ１）

【文献】森下 浩平 他１名，視線計測を利用した動画視聴支援システムの試作，第２３回インタラクティブシステムとソフトウェアに関するワークショップ ［ｏｎｌｉｎｅ］，日本，日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会，2015年12月08日

【文献】松本 光稀 他１名，視線情報の分析に基づくプログラミング教育支援システムの提案，第８０回（平成３０年）全国大会講演論文集（４），2018年03月13日，第７２１，７２２頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ５／０２、５／０８

Ｇ１６Ｙ １０／５５、２０／４０、４０／２０

(57)【特許請求の範囲】

【請求項1】

教材映像を再生表示する学習内容表示部と、
前記教材映像の再生中に学習者の生体情報を取得して学習者情報として報告する学習者情報報告部と、
前記生体情報から前記学習者の注目領域を特定する注目領域特定部と、
前記学習者と同一のクラスターに属する他の学習者の前記教材映像に前記注目領域を重畳させる画面を生成する学習者情報表示作成部と、
前記画面を前記他の学習者に送信する学習者情報送信部と、
を備えることを特徴とする学習支援システム。

【請求項2】

請求項１に記載の学習支援システムであって、
前記学習者情報表示作成部は、前記注目領域を重畳させる際に、前記注目領域の時系列の変化を示す情報を含める、
ことを特徴とする学習支援システム。

【請求項3】

請求項１に記載の学習支援システムであって、
前記生体情報は、前記学習者の表情を含む画像であり、
前記学習者の心理状態を示す情報を前記生体情報を解析して得る心理状態解析部を備え、
前記学習者情報表示作成部は、前記心理状態を示す情報を所定の幾何的情報により前記注目領域とともに重畳させる、
ことを特徴とする学習支援システム。

【請求項4】

請求項１に記載の学習支援システムであって、
前記学習者情報報告部は、前記教材映像の再生中に学習者の前記生体情報とともに前記学習者の言語出力情報を取得して前記学習者情報に含め、
前記学習者情報表示作成部は、前記言語出力情報から抽出してコメント文章を生成し、前記注目領域とともに重畳させる、
ことを特徴とする学習支援システム。

【請求項5】

請求項１に記載の学習支援システムであって、
前記学習者の心理状態を示す情報を前記生体情報を解析して得る心理状態解析部を備え、
前記学習者情報報告部は、前記教材映像の再生中に前記学習者の前記生体情報とともに前記学習者の言語出力情報を取得して前記学習者情報に含め、
前記学習者情報表示作成部は、前記心理状態を示す情報を所定の幾何的情報により前記注目領域とともに重畳させるとともに、前記言語出力情報から抽出してコメント文章を生成し、前記注目領域とともに重畳させる、
ことを特徴とする学習支援システム。

【請求項6】

請求項１に記載の学習支援システムであって、
前記学習者情報表示作成部は、前記注目領域を所定の多角形により重畳させる前記画面を生成する、
ことを特徴とする学習支援システム。

【請求項7】

請求項３に記載の学習支援システムであって、
前記学習者情報表示作成部は、前記心理状態を示す情報に応じた所定の色を用いた幾何的情報を前記注目領域とともに重畳させる、
ことを特徴とする学習支援システム。

【請求項8】

請求項５に記載の学習支援システムであって、
前記心理状態を示す情報に応じた前記幾何的情報と、前記コメント文章とを、所定の対話型エージェントを介して出力する、
ことを特徴とする学習支援システム。

【請求項9】

請求項１に記載の学習支援システムであって、
前記他の学習者は、前記学習者と学習進度が類似する他の学習者である、
ことを特徴とする学習支援システム。

【請求項10】

請求項１に記載の学習支援システムであって、
前記他の学習者は、前記学習者と学習済みの教材が類似する他の学習者である、
ことを特徴とする学習支援システム。

【請求項11】

請求項１に記載の学習支援システムであって、
前記学習者情報表示作成部は、前記学習者から指示を受け付けた前記注目領域を対象として、前記注目領域を重畳させる画面を生成する、
ことを特徴とする学習支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習支援システムに関する。

【背景技術】

【0002】

特許文献１には、視認者の顔の映像と眼球運動映像を受信して視認者の情感を判定する情感判定装置が開示されている。この装置では、視点の位置を算出するとともに、瞳孔径の変化による生理反応データの変化とそれに伴う加速度を算出し、蓄積した値と比較して興味および注目の情動と感情を同時に診断する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－９４４９３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１では、視認者の情感を判定することができるが、共通の対象物を視認した情動の変化を多数者間で共有することはできない。

【0005】

本発明の目的は、学習コンテンツを視聴する学習者間で、関心事項を共有して学習効果を高める技術を提供することにある。

【課題を解決するための手段】

【0006】

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

【0007】

本発明の一態様は、学習支援システムであって、教材映像を再生表示する学習内容表示部と、前記教材映像の再生中に学習者の生体情報を取得して学習者情報として報告する学習者情報報告部と、前記生体情報から前記学習者の注目領域を特定する注目領域特定部と、前記学習者と同一のクラスターに属する他の学習者の前記教材映像に前記注目領域を重畳させる画面を生成する学習者情報表示作成部と、前記画面を前記他の学習者に送信する学習者情報送信部と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、学習コンテンツを視聴する学習者間で、関心事項を共有して学習効果を高めることができる。

【0009】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る学習支援システムの機能の概要を示す図である。

【図2】学習支援システムの構成例を示す図である。

【図3】教材記憶部に格納されるデータ構造の例を示す図である。

【図4】学習者情報記憶部に格納されるデータ構造の例を示す図である。

【図5】注目領域記憶部に格納されるデータ構造の例を示す図である。

【図6】学習支援装置のハードウェア構成の例を示す図である。

【図7】学習装置のハードウェア構成の例を示す図である。

【図8】学習装置および学習支援装置が行う学習処理の例を示すフローチャートである。

【図9】学習画面の例を示す図である。

【発明を実施するための形態】

【0011】

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

【0012】

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0013】

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0014】

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

【0015】

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

【0016】

近年、学習者の主体的な学びにより知識や技能の習得を促すアクティブラーニングを促進する取り組みが進められている。座学中心の授業に比べて、アクティブラーニングは学習者が主体的に授業に参加し、教育者や他の学習者とコミュニケーションを図り、協力したり議論したりすることで、知識、技能、考え方を効率良く習得したり、深く理解したりできる。

【0017】

一方で、近年は教育現場に行かずにオンラインで学習する方法（ｅ－ｌｅａｒｎｉｎｇ）が普及しつつある。ｅ－ｌｅａｒｎｉｎｇは、学習者がいつでも、どこでも学習できるという利点がある一方で、学習コンテンツを提供する教育者と学習者や学習者同士のコミュニケーションを図ることが難しい。そのため、教育現場におけるアクティブラーニングに比べて、ｅ－ｌｅａｒｎｉｎｇを活用したアクティブラーニングは実現しにくい（学習効率や学習成果を高めにくい）。

【0018】

このような課題を解決する方法として、ｅ－ｌｅａｒｎｉｎｇコンテンツに対して他の学習者が興味や関心をもった内容（どのような興味を持ったか）、対象（どの部分に興味を持ったか）、理由（なぜ興味を持ったか）を共有することで、教育者や他の学習者とのコミュニケーションを促進する方法が有用である。

【0019】

一方で、他の学習者が興味や関心を持った内容、対象、理由を十分に知るために、短文で説明されても十分に理解できない場合があること、逆に長文で説明されても可読性が低く理解に時間がかかる（または十分に理解できない）こと、多数の他の学習者が興味や関心を持った内容、対象、理由を同時に表示されても十分に理解できないこと、などが具体的な課題となる。

【0020】

そこで、本発明では、学習者の言語情報に加えて、非言語情報（表情、視線）を取得することで、他の学習者が興味や関心を持った内容、対象、理由を推定するとともに、その推定結果を非言語情報（色や形）で表示することとした。また、表示対象とする他の学習者を所定の方法により限定することで、より有用性の高い表示に限定して示すこととした。

【0021】

図１は、第１実施形態に係る学習支援システムの機能の概要を示す図である。本発明に係る学習支援システム１０は、教材となるｅ－ｌｅａｒｎｉｎｇコンテンツを提供（１１）した際に、複数の学習者からなる学習者群２０の個別の学習者の表情、視線、学習メモを取得し（１２）、それらの取得データから学習者が興味や関心を持った内容、対象、理由を推定し（１３）、他の学習者の推定結果を教育者や学習者に表示する（１４）、という一連の流れを繰り返す機能をもつ。これにより、教育者３０に対しては学習効果の高いｅ－ｌｅａｒｎｉｎｇコンテンツの提供を促進し、学習者に対しては、他の学習者が興味や関心を持った内容、対象、理由を理解することで、学習内容そのものへの理解を深めたり（自分が疑問に思っていなかったことを考え始めることで理解を深めたり）、学習効率を向上させたり（注目すべき領域や内容を容易に理解できたり）することができる。

【0022】

また、学習支援システム１０では、教材上に他学習者の表情と視線から推定した興味や関心を持った内容、対象、理由を表示することができる。それぞれの学習者が興味や関心を持った内容、対象、理由を分かりやすく表示するために、たとえば興味や関心を持った対象の座標に合わせて、異なる学習者の推定結果を異なる図形（多角形、円など幾何的な情報であればよい）により表示する。興味や関心を持った内容や理由としては、たとえば対象についてポジティブな感情を持っている（問題なく理解できている）か、ネガティブな感情を持っている（うまく理解できておらずストレスを感じているか、疑問を持っている）か、等の心理状態から推定した結果を色（積極的感情であれば青や緑、否定的・消極的感情であれば赤等）で表示する。

【0023】

また、学習支援システム１０は、各学習者から取得した表情や視線、学習メモ（コメント）を解析して、多くの学習者が興味を持った対象や内容に関する情報やコメントを出力する対話エージェントを設置できる。また、学習支援システム１０は、他の学習者が興味や関心を持った内容や理由の詳細（他学習者のコメント）を表示できる。

【0024】

さらに、学習支援システム１０は、学習コンテンツに留まらず、対話エージェントや他学習者のコメントに対する表情や視線も計測し（注目領域が対話エージェントの表示エリアやコメントの表示エリアである場合）、対話エージェントの出力情報や他学習者のコメントに対して興味や関心を持った内容、対象、理由を推定した結果も表示する。

【0025】

また、学習支援システム１０は、これらの学習者のデータのうち特に興味や関心があった内容、対象、理由、学習者がうまく理解できなかったと思われる内容について、注目領域やコメント等を教育者３０に表示する。これにより、学習コンテンツそのものを修正したり、追加したりするように推奨できる。

【0026】

図２は、学習支援システムの構成例を示す図である。学習支援システム１０は、学習支援装置１００と、学習支援装置１００とネットワーク５０を介して通信可能に接続される学習装置２００と、を含む。

【0027】

学習支援装置１００は、記憶部１１０と、処理部１２０と、通信部１５０と、を備える。記憶部１１０には、教材記憶部１１１と、学習者情報記憶部１１２と、注目領域記憶部１１３と、が含まれる。

【0028】

図３は、教材記憶部に格納されるデータ構造の例を示す図である。教材記憶部１１１には、教材ＩＤ１１１ａと、教材データ１１１ｂと、共有クラスター１１１ｃと、が対応付けて格納される。

【0029】

教材ＩＤ１１１ａは、映像を用いて学習内容を説明する教材映像を特定する情報である。教材データ１１１ｂは、映像を用いて学習内容を説明する教材映像のデータである。共有クラスター１１１ｃは、教材を視聴する学習者を所定の基準で分類した動的あるいは静的なグループであるクラスターの共有範囲を特定する情報である。

【0030】

図４は、学習者情報記憶部に格納されるデータ構造の例を示す図である。学習者情報記憶部１１２には、学習者ＩＤ１１２ａと、学習済み教材１１２ｂと、属性クラスター１１２ｃと、進度クラスター１１２ｄと、が対応付けて格納される。

【0031】

学習者ＩＤ１１２ａは、学習者を特定する情報である。学習済み教材１１２ｂは、学習者ＩＤ１１２ａで特定される学習者が過去に学習し終えた教材の情報である。属性クラスター１１２ｃは、学習者ＩＤ１１２ａで特定される学習者が属する組織（主に、静的な組織、例えば所属部署や所属クラス）を識別する情報である。進度クラスター１１２ｄは、学習者ＩＤ１１２ａで特定される学習者の学習進度と同程度の複数の学習者により形成される動的な組織を特定する情報である。より具体的には、例えば、進度クラスターは、学習済みの教材が類似する複数の学習者により形成される集団であり、進度クラスター１１２ｄは、これを特定する情報である。なお、進度クラスターは学習済みの教材の理解度が類似する複数の学習者により形成されるのが望ましい。特に、学習進度が類似する集団では、学習者間での理解度の差が類似し、気づきや疑問に共感性が生ずる可能性が高く、アクティブラーニングの効果が顕現しやすくなると考えられる。

【0032】

図５は、注目領域記憶部に格納されるデータ構造の例を示す図である。注目領域記憶部１１３には、学習者ＩＤ１１３ａと、教材ＩＤ１１３ｂと、教材内経過時間１１３ｃと、注目領域１１３ｄと、心理状態１１３ｅと、発言１１３ｆと、が対応付けて格納される。

【0033】

学習者ＩＤ１１３ａは、学習者を特定する情報である。教材ＩＤ１１３ｂは、学習者ＩＤ１１３ａで特定される学習者が学習する教材を特定する情報である。教材内経過時間１１３ｃは、教材ＩＤ１１３ｂにより特定される教材を時系列に再生した場合に、教材の映像の再生が開始されてから経過した時間を特定する情報である。

【0034】

注目領域１１３ｄは、学習者ＩＤ１１３ａで特定される学習者の学習時に注目した領域を特定する情報である。心理状態１１３ｅは、学習者ＩＤ１１３ａで特定される学習者が教材を学習時に推定された心理状態（感情、情感を含む）を示す情報である。発言１１３ｆは、学習者ＩＤ１１３ａで特定される学習者が教材を学習時に発言した言語情報（音声による発話、テキスト入力したコメントやメモを含む）を示す情報である。

【0035】

図２の説明に戻る。処理部１２０には、学習管理部１２１と、教材映像表示部１２２と、学習者情報受付部１２３と、学習者情報記録部１２４と、学習者情報表示作成部１２５と、学習者情報送信部１２６と、共有範囲特定部１２７と、心理状態解析部１２８と、が含まれる。

【0036】

学習管理部１２１は、学習者の学習状態を管理する処理を行う。教材映像表示部１２２は、教材映像を再生する画面を作成する。学習者情報受付部１２３は、学習者の注目領域および発話を含む学習者情報を受け付ける。学習者情報記録部１２４は、学習者情報受付部１２３が受け付けた学習者情報を、学習者情報記憶部１１２および注目領域記憶部１１３に格納する。

【0037】

学習者情報表示作成部１２５は、学習者の注目領域および発話を含む学習者情報および何らかの同一クラスターに属する他の学習者の注目領域および発話を含む学習者情報を重畳表示させる画面構成物（例えば、学習者クラスター単位での情感の平均値に応じた表示物の色情報を有する図形等）の情報を作成する。

【0038】

学習者情報表示作成部１２５は、注目領域を重畳させる際に、注目領域の時系列の変化を示す情報を含める。また、学習者情報表示作成部１２５は、心理状態を示す情報（例えば、心理状態を示す情報に応じた所定の色情報）を所定の幾何的情報（例えば、円、三角、四角等の所定の多角形）により注目領域とともに重畳させる。また、学習者情報表示作成部１２５は、言語出力情報から音声認識等を行って抽出してコメント文章を生成し、注目領域とともに重畳させる。例えば、学習者情報表示作成部１２５は、注目領域を所定の多角形により重畳させる画面を生成する。

【0039】

またあるいは、学習者情報表示作成部１２５は、学習者から指示を受け付けた注目領域を対象として、注目領域を重畳させる画面を生成するようにしてもよい。

【0040】

学習者情報送信部１２６は、学習者の注目領域および発話を含む学習者情報に基づく画面構成物を、共有範囲特定部１２７において特定した共有範囲のクラスターに属する学習者に対して送信する。

【0041】

共有範囲特定部１２７は、学習者ごとに、学習対象となる教材に応じて、共有範囲となるクラスターを特定する。例えば、ある教材について、共有範囲が学習進度が類似する他の学習者を含む進度クラスターであると指定されている場合には、共有範囲特定部１２７は、当該教材の共有範囲に属する学習者を個別の学習者ごとに具体的に特定する。

【0042】

心理状態解析部１２８は、既存のアルゴリズム等を用いて、学習者の心理状態を解析して特定する。例えば、心理状態解析部１２８は、学習者の生体情報に基づく注目領域の推移や滞留状態、および表情の変化度合や発話内容を用いて、対象の教材あるいは説明音声等についてポジティブな感情を持っている（問題なく理解できている）か、ネガティブな感情を持っている（うまく理解できておらずストレスを感じているか、疑問を持っている）か、等の心理状態を推定する。

【0043】

通信部１５０は、ネットワーク５０を介して学習装置２００と通信を行う。

【0044】

ネットワーク５０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）あるいは光ファイバーネットワーク、ギガビットネットワーク、無線通信ネットワークまたはこれらの組み合わせであり、学習支援装置１００と、学習装置２００とを通信可能に接続する。

【0045】

学習装置２００は、処理部２２０と、入力部２３０と、出力部２４０と、通信部２５０と、生体情報入力部２６０と、音声入力部２７０と、音声出力部２８０と、を備える。

【0046】

処理部２２０には、学習内容表示部２２１と、注目領域特定部２２２と、発話内容特定部２２３と、学習者情報報告部２２４と、を含む。

【0047】

学習内容表示部２２１は、教材映像を再生表示する。また、学習内容表示部２２１は、学習支援装置１００から受け付けた学習者の心理状態を示す情報に応じた幾何的情報と、コメント文章とを、所定の対話型エージェントを介して表示や音声により出力することもできる。

【0048】

注目領域特定部２２２は、生体情報から学習者の注目領域を特定する。具体的には、表情や視線から、画面を注視している視線位置や注視した時間に応じて注目領域を特定する。

【0049】

発話内容特定部２２３は、学習者の言語出力情報を取得して発話内容を特定する。なお、発話内容特定部２２３は、学習者の言語出力情報とともに、表情の情報を用いて発話の意味を解釈して発話内容を特定するようにしてもよい。

【0050】

学習者情報報告部２２４は、教材映像の再生中に学習者の生体情報を取得して学習者情報として学習支援装置１００へ報告する。また、学習者情報報告部２２４は、教材映像の再生中に学習者の生体情報とともに、学習者の言語出力情報を取得して学習者情報に含める。

【0051】

入力部２３０は、学習者からキーボード等を介してテキスト情報の入力を受け付ける。

【0052】

出力部２４０は、学習者に表示画面を表示させる。

【0053】

通信部２５０は、ネットワーク５０を介して学習支援装置１００と通信を行う。

【0054】

生体情報入力部２６０は、生体情報として、学習者の表情、視線位置を含む画像の入力を受け付ける。

【0055】

音声入力部２７０は、学習者が発話する音声情報を受け付ける。

【0056】

音声出力部２８０は、学習者に音声情報を出力する。

【0057】

学習者群２０の学習者それぞれは、学習装置２００を用いて、学習支援装置１００にネットワーク５０を介して接続して、教育者３０が作成した教材の映像を視聴し、学習する。

【0058】

図６は、学習支援装置のハードウェア構成の例を示す図である。学習支援装置１００は、コンピュータ装置３００により実現される。コンピュータ装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１等の演算装置と、主記憶装置であるメモリ３０２と、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置３０３と、ＣＤ－ＲＯＭやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の記憶媒体３０４と、これを少なくとも読み出す読取装置３０５と、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置３０８と、これらをつなぐバスと、を含んで構成される。

【0059】

メモリ３０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。

【0060】

外部記憶装置３０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

【0061】

通信装置３０８は、ネットワークケーブルを介して有線通信を行う有線の通信装置、又はアンテナを介して無線通信を行う無線通信装置である。通信装置３０８は、ネットワーク５０に接続される他の装置との通信を行う。その通信には、ＴＣＰ／ＩＰプロトコルによるパケット通信を採用するが、これに限られるものではない。

【0062】

上記した学習管理部１２１と、教材映像表示部１２２と、学習者情報受付部１２３と、学習者情報記録部１２４と、学習者情報表示作成部１２５と、学習者情報送信部１２６と、共有範囲特定部１２７と、心理状態解析部１２８とは、ＣＰＵ３０１に処理を行わせるプログラムによって実現される。このプログラムは、メモリ３０２、または外部記憶装置３０３内に記憶され、実行にあたってメモリ３０２上にロードされ、ＣＰＵ３０１により実行される。

【0063】

また、記憶部１１０に格納される教材記憶部１１１と、学習者情報記憶部１１２と、注目領域記憶部１１３とは、メモリ３０２及び外部記憶装置３０３により実現される。

【0064】

また、ＬＡＮ等に通信可能に接続する通信部１５０は、通信装置３０８により実現される。

【0065】

以上が、本実施形態における学習支援装置１００のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。例えば、タブレット装置や、スマートフォン、テレビジョン装置等の、各種の情報処理装置であってもよい。

【0066】

なお、学習支援装置１００は、図示しないが、ＯＳ、ミドルウェア、アプリケーションなどの公知の要素を有する。

【0067】

図７は、学習装置のハードウェア構成の例を示す図である。学習装置２００は、コンピュータ装置４００により実現される。コンピュータ装置４００は、ＣＰＵ４０１等の演算装置と、主記憶装置であるメモリ４０２と、ハードディスクやＳＳＤ等の外部記憶装置４０３と、スピーカー等の音声出力装置４０４と、カメラ、視線入力装置、マイクロフォン等の生体情報入力装置４０５と、キーボード、マウス、タッチパネル等の入力装置４０６と、ディスプレイ、プリンタ等の出力装置４０７と、ＮＩＣ等の通信装置４０８と、これらをつなぐバスと、を含んで構成される。

【0068】

メモリ４０２は、例えばＲＡＭなどのメモリである。

【0069】

外部記憶装置４０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

【0070】

通信装置４０８は、ネットワークケーブルを介して有線通信を行う有線の通信装置、又はアンテナを介して無線通信を行う無線通信装置である。通信装置４０８は、ネットワーク５０に接続される他の装置との通信を行う。

【0071】

上記した学習内容表示部２２１と、注目領域特定部２２２と、発話内容特定部２２３と、学習者情報報告部２２４とは、ＣＰＵ４０１に処理を行わせるプログラムによって実現される。このプログラムは、メモリ４０２、または外部記憶装置４０３内に記憶され、実行にあたってメモリ４０２上にロードされ、ＣＰＵ４０１により実行される。

【0072】

また、入力部２３０は、入力装置４０６により実現され、出力部２４０は、出力装置４０７により実現され、ＬＡＮ等に通信可能に接続する通信部２５０は、通信装置４０８により実現される。

【0073】

生体情報入力部２６０は、生体情報入力装置４０５により実現され、音声入力部２７０、音声出力部２８０はそれぞれ生体情報入力装置４０５と、音声出力装置４０４とにより実現される。

【0074】

以上が、本実施形態における学習装置２００のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。例えば、タブレット装置や、スマートフォン、テレビジョン装置等の、各種の情報処理装置であってもよい。

【0075】

なお、学習装置２００は、図示しないが、ＯＳ、ミドルウェア、アプリケーションなどの公知の要素を有する。

【0076】

図８は、学習装置および学習支援装置が行う学習処理の例を示すフローチャートである。学習処理は、学習装置２００から学習者が指示を与えることで開始される。

【0077】

まず、学習装置２００では、学習内容表示部２２１が、所定のログイン画面を表示させて、学習者にログイン情報（例えば、学習者ＩＤとパスワード等）の入力を受け付け、学習支援装置１００に送信する（ステップＳ００１）。

【0078】

そして、学習支援装置１００では、学習管理部１２１がログインを受け付け、進度クラスターを更新する（ステップＳ１０１）。具体的には、学習管理部１２１は、受信したログイン情報を用いて所定の認証処理を行う。そして、学習管理部１２１は、ログインに成功した学習者の学習済み教材の情報を用いて、類似する学習済み教材を学習済みの他の学習者の進度の分布と比較してクラスタリング処理を行い、ログインした学習者が属する進度クラスターを特定して学習者情報記憶部１１２を更新する。

【0079】

そして、学習管理部１２１は、教材記憶部１１１を参照して所定のカリキュラムに沿って学習装置へ教材の実行指示画面を送信する。

【0080】

学習装置２００の学習内容表示部２２１は、学習教材の実行を指示する（ステップＳ００２）。具体的には、学習内容表示部２２１は、ステップＳ１０１にて送信された教材の実行指示画面を学習装置２００の出力部２４０に表示させて、教材の選択入力を受け付ける。そして、受け付けた教材の実行指示を学習支援装置１００に送信する。

【0081】

学習支援装置１００の教材映像表示部１２２は、学習教材の実行指示を受け付け、再生を開始する（ステップＳ１０２）。具体的には、教材映像表示部１２２は、教材記憶部１１１から教材データの映像情報を読み出して再生画面を作成して学習装置２００に送信する。また、教材映像表示部１２２は、教材記憶部１１１から共有クラスター１１１ｃを読み出して、教材に応じて進度クラスターまたは属性クラスターのいずれかまたは両方を共有範囲として特定し、ログインした学習者に該当するそれらのクラスターを具体的に特定する。

【0082】

例えば、ある教材の共有クラスターが「属性」である場合には、学習者の属性クラスター（例えば、所属組織）を特定して共有範囲に設定する。また例えば、ある教材の共有クラスターが「進度」である場合には、学習者の進度クラスター（例えば、進度７０％）に属する他の学習者を特定して共有範囲に設定する。

【0083】

そして、教材映像表示部１２２は、教材の映像の再生を開始する。具体的には、再生する教材の映像を再生する画面をストリーミング出力する画面情報を作成し、学習装置２００に送信する。

【0084】

学習支援装置１００では、教材の再生中には、下記ステップＳ１０４～ステップＳ１０７を繰り返し実施する（ステップＳ１０３、ステップＳ１０８）。また、学習装置２００では、教材の再生中には、下記ステップＳ００４～ステップＳ００７を繰り返し実施する（ステップＳ００３、ステップＳ００８）。

【0085】

共有範囲特定部１２７は、学習教材に応じて共有範囲を特定する（ステップＳ１０４）。具体的には、共有範囲特定部１２７は、学習教材に応じて、教材の共有クラスターが進度クラスターである場合等に、教材に対する注目領域、情感が類似する他の学習者により構成される進度クラスターを再構成し、共有範囲を特定する。

【0086】

すなわち、教材に対する理解度が近い他の学習者を教材の再生時に動的に変更することで、理解度がより近い学習者の注目領域を共有することが可能となり、コメント等への共感や疑問点の共有が容易となる。

【0087】

そして、学習者情報受付部１２３は、学習者と、共有範囲の学習者の注目領域および発言を受信し、学習者情報記録部１２４は受信した情報を格納する。そして、心理状態解析部１２８は、心理状態を解析して記録する（ステップＳ１０５）。

【0088】

例えば、心理状態解析部１２８は、学習者の注目領域と教材の説明箇所とが相違する場合には、学習者の興味が整合していないと判定して、ネガティブな心理状態にあると解析する。また、学習者が怒りの感情を示す、あるいはイライラしている場合には、心理状態解析部１２８は、教材の説明に納得がいかない、あるいは学習の理解度が追い付かない心理状態にあると解析する。また、学習者の発話が穏やかであり、学習者の注目領域と教材の説明箇所とが相違していない場合には、心理状態解析部１２８は、学習者は十分に理解してポジティブに学習を進められていると解析する。

【0089】

そして、学習者情報表示作成部１２５は、教材内の時間経過に応じて、共有範囲の学習者の注目領域および心理状態を用いて、対応する幾何情報および表示位置を特定する（ステップＳ１０６）。具体的には、学習者情報表示作成部１２５は、共有範囲の学習者のクラスターごとの注目領域を統計処理して中央値または平均値となる座標を求め、該位置にクラスターを区別しうる幾何情報（多角形の図）を割り当てて、教材の映像情報に重畳させる幾何情報と重畳させる位置とを特定する。

【0090】

そして、学習者情報送信部１２６は、教材内の経過時間に応じて、共有範囲の学習者の幾何情報および発言コメントを学習装置２００に送信する（ステップＳ１０７）。

【0091】

そして、学習装置２００の学習内容表示部２２１は、送信された共有範囲の学習者の幾何情報および発言コメントを受信すると、教材内の経過時間に応じて、共有範囲の学習者の幾何情報およびコメントを表示する（ステップＳ００４）。具体的には、学習内容表示部２２１は、幾何情報の表示位置を特定して、クラスターごとに、所定の幾何情報である多角形の情報を表示させて、その色についてもポジティブであれば青、ネガティブであれば赤とする等、所定の感情に応じた色で多角形を着色して半透明に投下させて教材上に重畳表示させる。

【0092】

また、学習内容表示部２２１は、幾何情報の大きさを、視線の滞留時間の長さに応じて特定するようにしてもよい。すなわち、学習者に長く見つめられた注目領域には大きく幾何情報を表示させ、短く見つめられた注目領域は小さく幾何情報を表示させることで、一目で注目領域を特定することを可能とする。

【0093】

そして、発話内容特定部２２３は、生体情報入力部を介して発話した音声を受け付けて、発話内容を特定し、教材内の経過時間に応じて、他の学習者のコメントへの返信として発話を受け付ける（ステップＳ００５）。具体的には、発話内容特定部２２３は、学習者の発話時の注目領域が他の学習者のコメントである場合には、当該コメントへの返信として発話内容を認識する。

【0094】

そして、注目領域特定部２２２と、発話内容特定部２２３とは、学習者の生体情報と発話を受け付ける（ステップＳ００６）。具体的には、注目領域特定部２２２は、生体情報入力部２６０により受け付けた学習者の視線の位置を特定して注目領域として特定し、音声入力部２７０は学習者の発話を注目領域に応じて受け付ける。

【0095】

発話時の注目領域が対話エージェントの表示領域である場合には、発話内容特定部２２３は、エージェントへの会話であると認識する。また、発話時の注目領域が教材の表示領域である場合には、発話内容特定部２２３は、教材へのコメントあるいはメモ等のアノテーションであると認識する。

【0096】

そして、学習者情報報告部２２４は、生体情報と発話情報とを、学習支援装置１００に送信する（ステップＳ００７）。

【0097】

教材の再生が終了すると、学習支援装置１００の学習管理部１２１は、学習に用いた教材について、学習者は学習済みであるとして記録する（ステップＳ１０９）。具体的には、学習管理部１２１は、学習者情報記憶部１１２の学習済み教材１１２ｂに学習した教材の教材ＩＤを追加する。このようにすることで、他の教材の学習を開始する際に、学習者の進度クラスターを適切に更新することができる。

【0098】

以上が、学習処理の流れである。学習処理を実施することで、学習者は教材の映像を参照している際に、進度が類似する進度クラスターや、所属が共通する属性クラスターが特定され、そのクラスターに属する他の学習者の推定される興味、関心、対象、理由を参照することができるようになり、アクティブラーニングを行っている状況に近い情報を得ることが可能となる。

【0099】

図９は、学習画面の例を示す図である。学習画面５００には、教材映像表示領域５０１と、学習メモ表示領域５０２と、対話エージェント表示領域５０３と、他学習者コメント５０４と、が含まれる。また、学習画面５００の全面にわたって、他学習者の注目領域あるいは自身が属するクラスターに同様に属する他の学習者の統計的注目領域の計時変化を示す情報が重畳して幾何情報５１０として表示される。

【0100】

この幾何情報は５１０は、匿名の特定の学習者の注目領域の変化を示す情報であってもよい。また、学習者が属さない別のクラスターの学習者の注目領域の変化を示す情報が含まれていてもよい。例えば、学習者よりも成績が上回る他の学習者の注目領域や疑問点を共有することで、学習者の学習に対する意欲が刺激されて学習効果を向上させる可能性がある。

【0101】

また、この幾何情報は、注目領域の注視時間が長い程大きな（面積が大きい）多角形図形を用いて、短い程小さな（面積が小さい）多角形図形を用いて、瞬間的な移動がある場合にはその軌跡を表示するようにしてもよい。こうすることで、より直感的に大量の学習情報を得ることが可能となる。

【0102】

以上が、第一の実施形態に係る学習支援システムである。本学習支援システムによると、学習コンテンツを視聴する学習者間で、関心事項を共有して学習効果を高めることができる。

【0103】

なお、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、学習者ＩＤごとに注目領域の変遷を記録し、教育者３０または他の学習者から参照可能とすることでフィードバックを得られるようにすることで、パーソナル学習環境を実現することもできる。なお、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0104】

また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

【0105】

また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0106】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0107】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0108】

本発明は、学習支援システムに限られず、学習支援装置、コンピュータ読み取り可能なプログラム、学習支援方法などの様々な態様で提供できる。

【符号の説明】

【0109】

１０・・・学習支援システム、２０・・・学習者群、３０・・・教育者、５０・・・ネットワーク、１００・・・学習支援装置、１１０・・・記憶部、１１１・・・教材記憶部、１１２・・・学習者情報記憶部、１１３・・・注目領域記憶部、１２０・・・処理部、１２１・・・学習管理部、１２２・・・教材映像表示部、１２３・・・学習者情報受付部、１２４・・・学習者情報記録部、１２５・・・学習者情報表示作成部、１２６・・・学習者情報送信部、１２７・・・共有範囲特定部、１２８・・・心理状態解析部、１５０・・・通信部、２００・・・学習装置、２２０・・・処理部、２２１・・・学習内容表示部、２２２・・・注目領域特定部、２２３・・・発話内容特定部、２２４・・・学習者情報報告部、２３０・・・入力部、２４０・・・出力部、２５０・・・通信部、２６０・・・生体情報入力部、２７０・・・音声入力部、２８０・・・音声出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】