IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7392259学習支援装置、学習支援方法およびプログラム
<>
  • 特許-学習支援装置、学習支援方法およびプログラム 図1
  • 特許-学習支援装置、学習支援方法およびプログラム 図2
  • 特許-学習支援装置、学習支援方法およびプログラム 図3
  • 特許-学習支援装置、学習支援方法およびプログラム 図4
  • 特許-学習支援装置、学習支援方法およびプログラム 図5
  • 特許-学習支援装置、学習支援方法およびプログラム 図6
  • 特許-学習支援装置、学習支援方法およびプログラム 図7
  • 特許-学習支援装置、学習支援方法およびプログラム 図8
  • 特許-学習支援装置、学習支援方法およびプログラム 図9
  • 特許-学習支援装置、学習支援方法およびプログラム 図10
  • 特許-学習支援装置、学習支援方法およびプログラム 図11
  • 特許-学習支援装置、学習支援方法およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】学習支援装置、学習支援方法およびプログラム
(51)【国際特許分類】
   G06F 3/16 20060101AFI20231129BHJP
   G06F 3/01 20060101ALI20231129BHJP
   G06F 3/0481 20220101ALI20231129BHJP
   G09B 5/00 20060101ALI20231129BHJP
   G09B 19/00 20060101ALI20231129BHJP
   G06Q 50/20 20120101ALI20231129BHJP
   G10L 15/00 20130101ALI20231129BHJP
   G10L 15/10 20060101ALI20231129BHJP
【FI】
G06F3/16 620
G06F3/16 610
G06F3/16 640
G06F3/16 650
G06F3/01 510
G06F3/0481
G09B5/00
G09B19/00 Z
G06Q50/20
G10L15/00 200E
G10L15/10 400K
G10L15/10 500N
【請求項の数】 9
(21)【出願番号】P 2018227694
(22)【出願日】2018-12-04
(65)【公開番号】P2020091609
(43)【公開日】2020-06-11
【審査請求日】2021-11-05
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】田畑 太嗣
(72)【発明者】
【氏名】武藤 龍之介
(72)【発明者】
【氏名】島田 智志
(72)【発明者】
【氏名】片岡 俊幸
【審査官】酒井 優一
(56)【参考文献】
【文献】国際公開第2014/097748(WO,A1)
【文献】国際公開第2017/061149(WO,A1)
【文献】特開2013-115622(JP,A)
【文献】特開平11-136369(JP,A)
【文献】特開2016-162339(JP,A)
【文献】特開2001-159865(JP,A)
【文献】特開2010-211594(JP,A)
【文献】特開2006-277567(JP,A)
【文献】国際公開第2017/179262(WO,A1)
【文献】特開2016-062550(JP,A)
【文献】特開2006-106711(JP,A)
【文献】特開2017-027536(JP,A)
【文献】特開2017-167308(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/16
G06F 3/01
G06F 3/0481
G09B 5/00
G09B 19/00
G06Q 50/20
G10L 15/00
G10L 15/10
(57)【特許請求の範囲】
【請求項1】
音声データを取得する音声取得部と、
前記音声データに含まれる学習者による発話ごとに、発話内容を示す文字列を抽出する文字列抽出部と、
前記音声データに基づいて、前記発話ごとに、複数の学習者の中から発話をした学習者を特定する学習者特定部と、
前記音声データまたは前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、前記発話における前記学習者の感情を示す感情情報を特定する感情特定部と、
前記複数の文字列および前記複数の感情情報に基づいて、前記学習者ごとの評価を示す評価情報を生成する評価部と、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に出力する出力部と
を備え、
前記評価部は、前記複数の文字列および前記複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価し、
前記出力部は、前記評価情報を出力する
学習支援装置。
【請求項2】
前記出力部は、前記グループ別に、前記文字列と前記感情情報とを含む発話情報を時系列に並べた表示情報を出力する
請求項1に記載の学習支援装置。
【請求項3】
前記複数の文字列に基づいて、前記複数の学習者または前記複数のグループそれぞれの発話量の時系列を特定する発話量特定部を備え、
前記出力部は、前記グループ別に、当該発話量および感情情報の経時変化を示す表示情報を、前記複数の文字列に関連付けて出力する
請求項1または請求項2に記載の学習支援装置。
【請求項4】
前記音声データに基づいて、前記発話のうち、指導者による発話を特定する指導者特定部を備え、
前記出力部は、前記指導者による発話のタイミングを示す情報を含む前記表示情報を出力する
請求項2または請求項3に記載の学習支援装置。
【請求項5】
前記複数の文字列および前記複数の感情情報に基づいて、前記学習者ごとの評価を示す評価情報を生成する評価部
を備え、
前記出力部は、前記評価情報を出力する
請求項1から請求項4の何れか1項に記載の学習支援装置。
【請求項6】
前記複数の学習者ごとに、学習ログデータを取得する学習ログ取得部を備え、
前記評価部は、前記学習ログデータと前記複数の文字列とに基づいて、前記評価情報を生成する
請求項5に記載の学習支援装置。
【請求項7】
前記複数の学習者の関心に関する情報である関心情報を取得する関心情報取得部と、 前記関心情報と前記評価情報とに基づいて、前記複数の学習者それぞれの学習に関する推薦情報を生成する推薦部と
を備える請求項5または請求項6に記載の学習支援装置。
【請求項8】
音声データを取得するステップと、
前記音声データから学習者による発話内容を示す複数の文字列を抽出するステップと、 前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定するステップと、
前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定するステップと、
前記複数の文字列および前記複数の感情情報に基づいて、前記学習者ごとの評価を示す評価情報を生成するステップと、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力するステップと
を備え、
前記評価情報を生成するステップで、前記複数の文字列および前記複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価し、
前記出力するステップで、前記評価情報を出力する
学習支援方法。
【請求項9】
コンピュータを、
音声データを取得する音声取得部、
前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部、
前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部、
前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部、
前記複数の文字列および前記複数の感情情報に基づいて、前記学習者ごとの評価を示す評価情報を生成する評価部、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部
として機能させ、
前記評価部は、前記複数の文字列および前記複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価し、
前記出力部は、前記評価情報を出力する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習支援装置、学習支援方法およびプログラムに関する。
【背景技術】
【0002】
学習形態の一つとして、複数の学習者が意見を交換し合うことで、互いに学び合う協働学習が知られている。特許文献1には、協働学習における複数の学習者の思考過程を推測する技術が開示されている。特許文献1に記載の技術によれば、ユーザの時系列の発話文から、「確信」や「疑問」などを表すとされるキーワードを抽出し、当該キーワードに基づいて協働学習における思考の反芻度を計測する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-147279号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、協働学習において、指導者が学習者を評価するにあたり、発話の内容に加え、意見交換の活発さが重要となる。例えば、意見交換が活性化する契機となる発話は、その学習者の評価に有用である。そのため、協働学習において、グループにおける意見交換の活発さを指導者に認識させる技術が望まれている。
本発明の目的は、上述した課題を解決する学習支援装置、学習支援方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0005】
本発明の第1の態様によれば、学習支援装置は、音声データを取得する音声取得部と、前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部と、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部と、前記音声データまたは前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部と、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部とを備える。
【0006】
本発明の第2の態様によれば、学習支援方法は、音声データを取得するステップと、前記音声データから学習者による発話内容を示す複数の文字列を抽出するステップと、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定するステップと、前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定するステップと、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力するステップとを備える。
【0007】
本発明の第3の態様によれば、プログラムは、コンピュータを、音声データを取得する音声取得部、前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部、前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部として機能させる。
【発明の効果】
【0008】
上記態様のうち少なくとも1つの態様によれば、学習支援装置は、グループに属する学習者の感情の変化を表す感情情報の時系列を発話の内容を表す文字列に関連付けて出力する。意見交換の活発さは、学習者の感情の変化に影響し得るため、指導者は、意見交換の活発さに鑑みて学習者または学習者の発話を評価することができる。
【図面の簡単な説明】
【0009】
図1】第1の実施形態に係る学習支援システムの構成を示す概略図である。
図2】第1の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
図3】第1の実施形態に係る利用者データベースの一例を示す図である。
図4】第1の実施形態に係る発話タイムラインの一例を示す図である。
図5】第1の実施形態に係る議論推移グラフの一例を示す図である。
図6】第1の実施形態に係る発話推移グラフの一例を示す図である。
図7】第1の実施形態に係る学習支援装置の動作を示すフローチャートである。
図8】第2の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
図9】第3の実施形態に係る学習支援システムの構成を示す図である。
図10】第3の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
図11】学習支援装置の基本構成を示す概略ブロック図である。
図12】少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0010】
〈第1の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、第1の実施形態に係る学習支援システムの構成を示す概略図である。
学習支援システム1は、協働学習における複数の学習者Sの評価のための情報を、指導者Tに提供するシステムである。協働学習においては、複数の学習者Sを複数のグループに分け、各グループにおいて複数の学習者Sが意見交換をする。
学習支援システム1は、収集装置100、学習支援装置200、指導者端末300を備える。
【0011】
収集装置100は、複数の学習者Sの発話を録音するマイクロフォンを備える。また、収集装置100は、マイクロフォンに加えて、複数の学習者Sが映る動画像を撮像する撮像装置を備えてもよい。
学習支援システム1は、複数の収集装置100を備え、図1に示すようにグループを構成する複数の学習者が囲む各テーブルに収集装置100を設けてよい。また他の実施形態においては、1台の収集装置100が、天井などすべての学習者Sの音声および動画像を収集できる位置に設けられてもよい。収集装置100が収集した音声データおよび動画像データは、無線通信または有線通信によって学習支援装置200に送信される。
【0012】
学習支援装置200は、収集装置100から受信する音声データおよび動画像データに基づいて、複数の学習者Sの評価に用いられる表示情報を生成し、指導者端末300に送信する。
【0013】
指導者端末300は、指導者Tによって視認される端末である。指導者端末300は、例えばタブレット端末であってよい。指導者端末300は、学習支援装置200から送信された表示情報を表示する。指導者Tは、指導者端末300に表示された表示情報を、複数の学習者Sの評価に用いることができる。なお、他の実施形態においては、指導者端末300は、学習者Sによっても参照できるように設けられていてもよい。例えば、指導者端末300は、壁掛けの表示装置であってもよい。
【0014】
図2は、第1の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
学習支援装置200は、利用者データベース201、キーワードデータベース202、収集データ取得部203、音声分離部204、文字列抽出部205、利用者特定部206、感情特定部207、発話量特定部208、キーワード抽出部209、表示情報生成部210、出力部211を備える。
【0015】
図3は、第1の実施形態に係る利用者データベースの一例を示す図である。
利用者データベース201は、利用者(学習者Sおよび指導者T)ごとに、利用者ID、利用者名、音声特徴量、および所属グループを関連付けて記憶する。音声特徴量は、音声データから利用者を識別(話者認識)するために用いられる情報である。音声特徴量は、例えば予め利用者の音声データを取得することで生成される。音声特徴量は、音声データを周波数解析して得られるデータであってもよいし、話者モデルであってもよい。所属グループは、利用者が所属するグループのIDまたは利用者が指導者Tであることを示す情報である。
【0016】
キーワードデータベース202は、指導者Tによって協働学習において注視すべきキーワードを記憶する。キーワードの例としては、議論の要点となる文言、評価のポイントとなる文言などが挙げられる。
【0017】
収集データ取得部203は、収集装置100から音声データ取得する。収集データ取得部203は、音声取得部の一例である。
収集データ取得部203は、可能なら、収集装置100から動画像データを取得してもよい。
【0018】
音声分離部204は、収集データ取得部203が取得した音声データを、発話ごとに分離する。例えば、音声分離部204は、利用者データベース201に記憶される利用者の音声特徴量に基づいて、音声データから各音声特徴量を有する成分を抽出することで、音声データを、利用者ごとに分離する。これにより、学習支援装置200は、音声データにおいて複数の発話が重複している場合にも、各発話を個別に認識することができる。さらに音声分離部204は、利用者ごとに分離した音声データを、さらに一定時間以上の無音区間で分離する。本実施形態において「無音区間」とは、必ずしも音量がゼロでなくてよく、利用者による発話がない区間、または音量が所定レベル以下の区間であってよい。これにより、音声分離部204は、発話ごとに音声データを分離することができる。以下、音声分離部204によって分離された音声データを発話音声データという。音声分離部204が分離した各発話音声データには、発話の開始時刻が関連付けられる。
【0019】
文字列抽出部205は、音声認識処理によって、音声分離部204が分離した発話音声データを文字列に変換する。文字列抽出部205は、例えば隠れマルコフモデルの適用により発話音声データから文字列データを抽出してよい。
【0020】
利用者特定部206は、音声分離部204が分離した発話音声データに基づいて、当該発話を発した利用者を特定する。例えば、利用者特定部206は、音声分離部204が分離した発話音声データと利用者データベース201に記憶される利用者の音声特徴量とを照合することで利用者を特定してよい。また例えば、利用者特定部206は、音声分離部204が分離した発話音声データそれぞれについて、音声分離部204が当該発話音声データの分離に用いた音声特徴量を特定することで、利用者を特定してよい。利用者特定部206は、学習者特定部および指導者特定部の一例である。
【0021】
感情特定部207は、音声分離部204が分離した発話音声データに基づいて、発話した利用者の感情を示す感情情報を生成する。感情情報は、例えば、平静、怒り、喜び、悲しみなどの複数の感情成分の値によって表される。例えば、感情情報は、平静、怒り、喜び、悲しみの4つの感情成分によって表され、各感情成分は、0から9までの10段階の値で表される。感情特定部207は、発話音声データに基づいて、声の強さ、高さ、速さ、抑揚をもとに感情を特定する。例えば、感情特定部207は、発話した利用者の感情を示す感情情報が既知である発話音声データを用いた機械学習で作られた学習済モデルを用いてもよい。
なお、感情特定部207は、動画像データに基づいて利用者の感情を特定してもよい。例えば、感情特定部207は、動画像データのうち、発話音声データに関連付けられた発話の開始時刻における利用者の表情および仕草を解析することで、感情を特定してもよい。この場合、感情特定部207は、感情情報が既知である動画像データを用いた機械学習で作られた学習済モデルを用いてもよい。
【0022】
発話量特定部208は、文字列抽出部205が抽出した文字列に基づいて、単位時間ごとの利用者の発話量を特定する。例えば、発話量特定部208は、文字列抽出部205が抽出した文字列に含まれる文字の量に基づいて、利用者の発話量を特定する。なお、他の実施形態における発話量特定部208は、発話音声データにおける発話時間に基づいて発話量を特定してもよい。
【0023】
キーワード抽出部209は、文字列抽出部205が抽出した複数の文字列の中から、キーワードデータベース202に記録されたキーワードを含むものを抽出する。
【0024】
表示情報生成部210は、文字列抽出部205が抽出した各発話の文字列、利用者特定部206が特定した各発話の利用者、感情特定部207が生成した各発話に係る感情情報、および発話量特定部208が特定した発話量に基づいて、複数の学習者Sの評価に用いられる表示情報を生成する。
具体的には、表示情報生成部210は、表示情報として、複数の学習者による発話を示す発話情報をグループ別に時系列に並べた発話タイムライン、一のグループ全体における発話量の推移を示す議論推移グラフ、一のグループに属する学習者ごとの発話量と感情の推移を示す発話推移グラフを、生成する。各表示情報の詳細については後述する。
【0025】
出力部211は、表示情報生成部210が生成した表示情報を指導者端末300に送信する。これにより、指導者端末300は、表示情報を表示することができる。指導者端末300は、発話タイムライン、議論推移グラフ、および発話推移グラフを同時に一画面に表示してもよいし、指導者Tによって指定された任意の表示情報を選択的に表示してもよい。
【0026】
表示情報生成部210が生成する表示情報について説明する。
表示情報生成部210が生成する表示情報の一例は、発話タイムラインである。図4は、第1の実施形態に係る発話タイムラインの一例を示す図である。
発話タイムラインは、グループを区分する複数の枠を含む。各枠内には、グループに属する各学習者Sによる発話の内容を示す発話情報が、時系列に縦に並べて表示される。発話情報は、学習者Sを識別するアイコンと、発話の内容を示す文字列を格納する吹き出しとを含む。吹き出しは、学習者Sの感情に応じた色で表示される。例えば、当該発話に係る感情情報において、怒りの感情成分が支配的である場合、吹き出しは赤く表示される。また例えば、当該発話に係る感情情報において、悲しみの感情成分が支配的である場合、吹き出しは青く表示される。つまり、発話タイムラインは、グループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理した表示情報である。また、吹き出しは、発話が特定のキーワードを含む場合に強調して表示される。指導者Tは、発話タイムラインを視認することで、聞き逃していた学習者Sの発話を認識することができ、また発話時の学習者Sの感情を認識することができる。
【0027】
表示情報生成部210が生成する表示情報の他の例は、議論推移グラフである。図5は、第1の実施形態に係る議論推移グラフの一例を示す図である。
議論推移グラフは、縦軸に発話量をとり、横軸に時刻をとるグラフである。議論推移グラフは、単位時間ごとに、一のグループにおける当該単位時間内における発話量の総和をプロットしたグラフである。指導者Tは、議論推移グラフを視認することで、グループ別に議論の活発さの推移を認識することができる。議論推移グラフの横軸には、文字列抽出部205が抽出した文字列が関連付けられている。例えば、指導者端末300は、議論推移グラフの任意の点がタップされたときに、タップされた点に相当する時刻における発話情報を表示することができる。これにより、指導者Tは、議論が活性化し始めたタイミングにおける発言情報を参照し、議論の活性化につながった学習者Sの発話を認識することができる。
また、議論推移グラフには、指導者Tによる発話がなされたタイミングにマークが付される。これにより、指導者Tによる発話(例えば問題提起)の後の議論の活発さの変化を視認することができ、指導者Tによる発話が適切であったか否かを認識することができる。また、例えば、指導者端末300は、マークを選択することで、当該タイミングにおける指導者Tの発話情報を表示することができる。これにより、指導者Tは、発話の内容および発話の仕方が適切であったか否かを振り返ることができる。
【0028】
表示情報生成部210が生成する表示情報の他の例は、発話推移グラフである。図6は、第1の実施形態に係る発話推移グラフの一例を示す図である。
発話推移グラフは、縦軸に発話量または感情成分の大きさをとり、横軸に時刻をとる。発話推移グラフは、一のグループに属する学習者Sごとに生成され、学習者Sの発話量と発話量と感情の推移を示す。具体的には、発話推移グラフは、単位時間ごとに、学習者の当該単位時間内における発話量の総和と各感情成分の大きさとをプロットしたグラフである。指導者Tは、発話推移グラフを視認することで、学習者Sが適切に意見を表現できているか否かを評価することができる。
発話推移グラフの横軸には、文字列抽出部205が抽出した文字列が関連付けられている。例えば、指導者端末300は、発話推移グラフの任意の点がタップされたときに、タップされた点に相当する時刻における発話情報を表示することができる。これにより、指導者Tは、学習者Sの感情が大きく変化したタイミングにおける発言情報を参照し、感情の変化につながった学習者Sの発話を認識することができる。つまり、発話推移グラフは、グループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理した表示情報である。
また、発話推移グラフには、議論推移グラフと同様に指導者Tによる発話がなされたタイミングにマークが付される。
【0029】
図7は、第1の実施形態に係る学習支援装置の動作を示すフローチャートである。
学習支援装置200は、複数の学習者Sによる協働学習が開始されると、所定の単位時間ごとに、以下の処理を実行する。
まず、収集データ取得部203は、収集装置100から単位時間における音声データおよび動画像データを取得する(ステップS1)。次に、音声分離部204は、収集データ取得部203が取得した音声データを、発話ごとに分離し、1または複数の発話音声データを生成する(ステップS2)。
【0030】
学習支援装置200は、分離した発話音声データを1つずつ選択し、すべての発話音声データについて、以下のステップS4からステップS7の処理を行う(ステップS3)。
文字列抽出部205は、音声認識処理によって、ステップS3で選択した発話音声データから文字列を抽出する(ステップS4)。利用者特定部206は、ステップS3で選択した発話音声データに基づいて、当該発話を発した利用者を特定する(ステップS5)。感情特定部207は、ステップS3で選択した発話音声データに基づいて、発話した利用者の感情を示す感情情報を生成する(ステップS6)。キーワード抽出部209は、ステップS4で抽出した文字列が、キーワードデータベース202に記録されたキーワードを含むか否かを判定する(ステップS7)。
【0031】
発話量特定部208は、ステップS4で変換された文字列の長さに基づいて、各学習者Sについて、当該単位時間における発話量を特定する(ステップS8)。表示情報生成部210は、文字列抽出部205が抽出した各発話の文字列、利用者特定部206が特定した各発話の利用者、感情特定部207が生成した各発話に係る感情情報、および発話量特定部208が特定した発話量に基づいて、発話タイムライン、議論推移グラフ、および発話推移グラフを生成する(ステップS9)。出力部211は、表示情報生成部210が生成した発話タイムライン、議論推移グラフ、および発話推移グラフを指導者端末300に送信する(ステップS10)。
【0032】
このように、第1の実施形態によれば、学習支援装置200は、学習者による発話ごとに、音声データから、発話内容を示す文字列、発話をした学習者、および感情情報を特定し、学習者が属するグループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理して出力する。
意見交換の活発さは、学習者の発話に係る感情の変化に表れるため、学習支援装置200は、上記の構成により、グループにおける意見交換の活発さを指導者に認識させることができる。
【0033】
また、第1の実施形態によれば、学習支援装置200は、グループ別に、文字列と感情情報とを含む発話情報を時系列に並べた発話タイムラインを出力する。指導者Tは、学習者Sによる協働学習中に、発話タイムラインを視認することで、聞き逃していた学習者Sの発話を認識することができ、また発話時の学習者Sの感情を認識することができる。これにより、指導者Tは、各学習者Sの発話を漏れなく確認し、評価することができる。またこれにより、指導者Tは、協働学習中の学習者Sに対し効果的な働きかけを実現することができる。
【0034】
また、第1の実施形態によれば、学習支援装置200は、グループ別に、発話量および感情情報の経時変化を示す発話推移グラフを、文字列に関連付けて出力する。指導者Tは、学習者Sによる協働学習の終了後に、発話推移グラフを視認することで、各学習者Sが適切に意見を表現できているか否かを評価することができる。また、発話推移グラフが文字列に関連付けられているため、指導者Tは、学習者Sの感情が大きく変化したタイミングにおける発言情報を参照し、感情の変化につながった学習者Sの発話を認識することができる。これにより、指導者Tは、各学習者Sの着目すべき発話を容易に特定することができ、学習者Sを適切に評価することができる。なお、他の実施形態によれば、議論推移グラフにおいて、一のグループに属する複数の学習者Sの感情情報の推移を表示してもよい。この場合、学習支援装置200は、単位時間ごとに学習者Sの各感情成分の和を算出し、単位時間におけるグループの感情情報を特定してよい。また、他の実施形態によれば、学習支援装置200は、発話量および感情情報の経時変化を示す発話推移グラフを、グループの別によらず、学習者S毎に出力してもよい。この場合、指導者Tは、学習者Sの感情が大きく変化したタイミング、そのタイミングにおける発言情報、学習者Sの感情の変化とそれにつながった発話をより詳細に認識することができる。
【0035】
また、第1の実施形態によれば、学習支援装置200は、複数の発話から指導者による発話を特定し、指導者による発話のタイミングを示すマークを付した議論推移グラフおよび発話推移グラフを出力する。これにより、指導者Tは、指導者Tによる発話の後の議論の活発さの変化を視認することができ、指導者Tによる発話が適切であったか否かを認識することができる。また、指導者端末300に指導者Tの発話情報を表示させることで、指導者Tは、発話の内容および発話の仕方が適切であったか否かを振り返り、次回以降の授業の改善を図ることができる。
【0036】
〈第2の実施形態〉
第1の実施形態では、指導者Tが表示情報を参照して、複数の学習者Sの評価を行う。これに対し、第2の実施形態では、学習支援装置200において複数の学習者Sの定量評価を行い、評価結果を指導者端末300に表示させる。これにより指導者Tは、表示された評価結果を参考にしながら複数の学習者Sの評価を行うことができる。
【0037】
図8は、第2の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
第2の実施形態に係る学習支援装置200は、第1の実施形態の構成に加え、さらに評価部212を備える。
評価部212は、文字列抽出部205が抽出した複数の文字列および感情特定部207が生成した複数の感情情報に基づいて、学習者Sごとの評価を示す評価情報を生成する。例えば、評価部212は、各学習者Sの発話に係る文字列および感情情報に基づいて、予め定められたルーブリックに従って評価値を算出する。ルーブリックにおける評価項目の例としては、思考力、判断力、表現力などが挙げられる。
例えば評価部212は、発話に係る文字列に、理由を表すキーワード(例えば、「なぜなら」、「だから」など)が含まれる量に応じて思考力に係る評価値を算出する。また例えば評価部212は、発話に係る文字列に、結論を表すキーワード(例えば、「しよう」、「決定」など)が含まれる量に応じて判断力に係る評価値を算出する。また例えば評価部212は、発話に係る文字列に含まれる語彙の量、および発話の内容と感情情報の関連性に応じて表現力に係る評価値を算出する。また例えば評価部212は、発話に係る文字列に含まれる語彙の量、および感情情報に応じて表現力に係る評価値を算出する。
【0038】
また評価部212は、グループにおける意見交換の活性化のきっかけとなった発話を特定し、学習者Sを評価する。具体的には、評価部212は、グループにおける発話量の変化量および各感情成分の変化量を特定し、変化量が所定値を超えるタイミングの直前の発話に係る文字列および学習者Sを特定する。例えば、評価部212は、発話量の変化量が所定値を超えるタイミングの直前の発話に係る学習者Sを、意見交換の活性化に寄与したと評価する。また例えば、評価部212は、グループにおける、喜びに係る感情成分の変化量が所定値を超えるタイミングの直前の発話に係る学習者Sを、一体感の醸成に寄与したと評価する。
【0039】
出力部211は、評価部212による学習者Sごとの評価結果を指導者端末300に出力する。指導者端末300は、学習支援装置200から受信した学習者Sごとの評価結果を表示する。
指導者端末300は、評価結果として例えばルーブリックにおける評価項目ごとの点数を表示し、また「○○○○という発言により、グループにおける意見交換が活性化した」など、特筆すべき事項を表示する。
【0040】
このように、第2の実施形態に係る学習支援装置200は、複数の文字列および複数の感情情報に基づいて、学習者Sごとの評価を示す評価情報を生成する。これにより指導者Tは、表示された評価結果を参考にしながら複数の学習者Sの評価を行うことができる。また、学習支援装置200は、複数の文字列および複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価する。これにより、指導者Tは、的確な発言をした学習者Sを適切に評価することができる。
【0041】
〈第3の実施形態〉
第3の実施形態に係る学習支援システム1は、協働学習のデータに加え、学力テストの結果、学習タブレット端末における学習ログ、アンケート調査、および外部の社会学習コンテンツなどの情報を統合的に分析し、指導者T、学習者S、および学習者Sの保護者に対してレコメンド情報を提供する。
【0042】
図9は、第3の実施形態に係る学習支援システムの構成を示す図である。
第3の実施形態に係る学習支援装置200は、学習者Sが所有しまたは学習者Sに貸与された学習タブレット端末400、学習者Sの保護者が閲覧する家庭端末500、および外部の学習コンテンツサーバ600から情報を収集する。また、学習支援装置200は、学習タブレット端末400および家庭端末500に対し、レコメンド情報を提供する。
【0043】
学習タブレット端末400は、指導者Tによって指定され、または学習者Sによって主体的に選択された学習コンテンツを表示する。学習タブレット端末400は、学習者Sによる学習コンテンツへの操作の履歴を、学習ログデータとして学習支援装置200に送信する。例えば、学習コンテンツが文章である場合、学習タブレット端末400は、学習者Sによってマーカーが付された文字列を、学習ログデータとして記録する。また例えば、学習コンテンツが問題集である場合、学習タブレット端末400は、学習者Sによる回答の正否を、学習ログデータとして記録する。なお、学習タブレット端末400には、予め使用する学習者Sの利用者IDが記録され、学習支援装置200に送信される学習ログデータには利用者IDが関連付けられる。
【0044】
学習コンテンツサーバ600は、社会学習コンテンツを配信する。社会学習コンテンツは、例えば、職業紹介コンテンツやニュースコンテンツなどが挙げられる。学習者Sが社会学習コンテンツに触れることで、社会的な関心を持つことが期待される。学習コンテンツサーバ600は、例えば学習者Sが閲覧した社会学習コンテンツを学習ログデータとして学習支援装置200に送信する。学習コンテンツサーバ600へは、例えば学習者Sの利用者IDを用いてログインされ、学習支援装置200に送信される学習ログデータには利用者IDが関連付けられる。
【0045】
図10は、第3の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
第3の実施形態に係る学習支援装置200は、第2の実施形態の構成に加え、さらに学習ログ取得部213、学習ログデータベース214、関心情報取得部215、および推薦部216を備え、評価部212の動作が第2の実施形態と異なる。
【0046】
学習ログ取得部213は、学習タブレット端末400、家庭端末500、および学習コンテンツサーバ600から学習ログデータを受信する。学習ログ取得部213は、学習ログデータから協働学習に用いられるキーワードを生成し、利用者IDに関連付けてキーワードデータベース202に記録する。例えば、学習ログ取得部213は、学習ログデータのうち、マーカーが付された学習コンテンツの文字列や、閲覧された社会学習コンテンツに関連付けられたキーワードを、キーワードデータベース202に記録する。また、学習ログデータは、利用者IDに関連付けて学習ログデータベース214に記録される。
【0047】
評価部212は、ルーブリックにおける評価項目およびグループにおける意見交換の活性化のきっかけとなった発話に基づく評価に加え、さらに習得した知識の活用に関する評価を行う。具体的には、評価部212は、キーワードデータベース202に学習者Sの利用者IDに関連付けて記憶されるキーワード、すなわち学習ログデータに基づいて生成されたキーワードが、文字列抽出部205が抽出した文字列に含まれるか否かを判定する。評価部212は、評価結果を、学習ログデータとして学習ログデータベース214に記録する。
評価部212による評価結果は、指導者端末300のみならず、家庭端末500にも出力される。これにより、学習者Sの保護者は、協働学習における学習者Sの評価を認識できるだけでなく、主体的に習得した知識を学習者Sが協働学習においてどのように活用しているかを認識することもできる。つまり、学習者Sの保護者は、学習者Sの修習状況を認識することができ、また適切に学習者Sを評価することができる。
【0048】
関心情報取得部215は、学習ログデータベース214に記憶される学習ログデータを解析し、学習者Sの社会的関心の対象を推定する。例えば、推薦部216は、学習ログデータのうち、社会学習コンテンツの利用履歴や、PBL(Project Based Learning)への参加態度に基づいて、各学習者Sの社会的関心の対象を推定する。社会的関心の対象は、関心情報の一例である。なお、他の実施形態においては、関心情報取得部215は、社会的関心の対象に代えて、または加えて、学習者Sの趣味および嗜好を推定してもよい。また他の実施形態においては、関心情報取得部215は、学習者Sの入力等によって直接的に関心情報を取得してもよい。
【0049】
推薦部216は、学習ログデータベース214に記憶される学習ログデータを解析し、学習者Sの科目別の修習状況を推定する。例えば、推薦部216は、学習ログデータのうち、問題集または学力テストの回答、および評価部212による協働学習の評価結果に基づいて、各学習者Sの科目別の修習状況を推定する。
推薦部216は、学習者Sの修習状況および社会的関心の対象に基づいて、学習者S別に学習コンテンツを推薦する推薦情報を生成する。例えば、推薦部216は、修習状況に基づいて、修習の水準を高めるために利用可能な複数の学習コンテンツの中から、当該学習者Sの社会的関心の高い学習コンテンツを推薦する。また例えば、推薦部216は、学習者Sの社会的関心の対象に基づいて、当該社会的関心の対象への理解を深めるために必要な修習項目を特定し、特定した修習項目と修習状況とを比較し、不足する修習項目の修習に利用可能な学習コンテンツを推薦する。
【0050】
このように、第3の実施形態に係る学習支援装置200は、複数の学習者Sごとに学習ログデータを取得し、学習ログデータと抽出された複数の文字列とに基づいて、各学習者Sの評価情報を生成する。これにより、学習支援装置200は、学習者Sが習得した知識を適切に活用することができているか否かを評価することができる。
【0051】
また、第3の実施形態に係る学習支援装置200は、複数の学習者Sの関心情報を取得し、関心情報と評価情報とに基づいて、複数の学習者Sそれぞれの学習に関する推薦情報を生成する。これにより、学習支援装置200は、学習者Sの関心に応じて適切に学習に関する推薦を行うことができる。
【0052】
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の実施形態に係る学習支援装置200は、指導者端末300と独立した装置として構成されるが、これに限られない。例えば、他の実施形態においては、学習支援装置200が指導者端末300に実装されるものであってもよい。
【0053】
また、上述の実施形態に係る学習支援装置200は、協働学習の学習支援に用いられるが、これに限られない。例えば、他の実施形態においては、学習支援装置200は、通常の授業における学習者Sの質問および回答に係る発話に基づいて表示情報を生成し、指導者Tが学習者Sの授業態度の評価等に当該表示情報を用いてもよい。
【0054】
〈基本構成〉
図11は、学習支援装置の基本構成を示す概略ブロック図である。
上述した実施形態では、学習支援装置の一実施形態として図2図8、および図10に示す構成について説明したが、学習支援装置の基本構成は、図11に示すとおりである。
すなわち、学習支援装置800は、音声取得部801、文字列抽出部802、学習者特定部803、感情特定部804、および出力部805を基本構成とする。
【0055】
音声取得部801は、音声データを取得する。音声取得部801は、収集データ取得部203に相当する。
文字列抽出部802は、音声データに含まれる学習者による発話ごとに、発話内容を示す文字列を抽出する。文字列抽出部802は、文字列抽出部205に相当する。
学習者特定部803は、音声データに基づいて、発話ごとに、複数の学習者の中から発話をした学習者を特定する。学習者特定部803は、利用者特定部206に相当する。
感情特定部804は、音声データおよび音声データと共に撮像された動画像データの少なくとも一方に基づいて、発話における学習者の感情を示す感情情報を特定する。感情特定部804は、感情特定部207に相当する。
出力部805は、学習者が属するグループ別に、複数の感情情報を、複数の文字列に関連付けて時系列に整理して出力する。出力部805は、出力部211に相当する。
これにより、学習支援装置800は、指導者に、意見交換の活発さに鑑みて学習者または学習者の発話を評価させることができる。
【0056】
〈コンピュータ構成〉
図12は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ90は、プロセッサ91、メインメモリ92、ストレージ93、インタフェース94を備える。
上述の学習支援装置200および学習支援装置800は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ93に記憶されている。プロセッサ91は、プログラムをストレージ93から読み出してメインメモリ92に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ91は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ92またはストレージ93に確保する。
プログラムは、コンピュータ90に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ93に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ90は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0057】
ストレージ93の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ93は、コンピュータ90のバスに直接接続された内部メディアであってもよいし、インタフェース94または通信回線を介してコンピュータ90に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ90に配信される場合、配信を受けたコンピュータ90が当該プログラムをメインメモリ92に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ93は、一時的でない有形の記憶媒体である。
【0058】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ93に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0059】
1 学習支援システム
100 収集装置
200 学習支援装置
201 利用者データベース
202 キーワードデータベース
203 収集データ取得部
204 音声分離部
205 文字列抽出部
206 利用者特定部
207 感情特定部
208 発話量特定部
209 キーワード抽出部
210 表示情報生成部
211 出力部
212 評価部
213 学習ログ取得部
214 学習ログデータベース
215 関心情報取得部
216 推薦部
300 指導者端末
400 学習タブレット端末
500 家庭端末
600 学習コンテンツサーバ
S 学習者
T 指導者
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12