知財求人 - 知財ポータルサイト「IP Force」
特開2022-189008学習支援装置、学習支援方法、学習支援システム及び学習支援システム用サーバ装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189008
(43)【公開日】2022-12-22
(54)【発明の名称】学習支援装置、学習支援方法、学習支援システム及び学習支援システム用サーバ装置
(51)【国際特許分類】
G09B 5/06 20060101AFI20221215BHJP
G09B 19/00 20060101ALI20221215BHJP
G06Q 50/20 20120101ALI20221215BHJP
G16Y 10/55 20200101ALI20221215BHJP
G16Y 20/40 20200101ALI20221215BHJP
G16Y 40/20 20200101ALI20221215BHJP
G16Y 40/30 20200101ALI20221215BHJP
【ＦＩ】
G09B5/06
G09B19/00 H
G06Q50/20 300
G16Y10/55
G16Y20/40
G16Y40/20
G16Y40/30
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021097331
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】521254362
【氏名又は名称】株式会社ＴＡＯエデュケーション
(74)【代理人】
【識別番号】110002114
【氏名又は名称】特許業務法人河野国際特許商標事務所
(74)【代理人】
【識別番号】100128624
【弁理士】
【氏名又は名称】穂坂 道子
(74)【代理人】
【識別番号】100138483
【弁理士】
【氏名又は名称】村上 晃一
(72)【発明者】
【氏名】山▲崎▼ 剛太朗
(72)【発明者】
【氏名】西島 栄
【テーマコード（参考）】
2C028
5L049
【Ｆターム（参考）】
2C028BA03
2C028BB01
2C028BB06
2C028BD02
5L049CC34
(57)【要約】 （修正有）
【課題】アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、学習中の学習者の反応を把握し学習者の反応に応じて効果的な指導が実現できるよう、学習コンテンツの表示を制御できる学習支援装置を提供。
【解決手段】学習コンテンツを構成する情報を表示器に表示する。学習中の学習者の画像である学習者画像情報を取得する画像情報取得部と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得部とを備える。学習コンテンツ表示制御部が、各取得部が取得した学習者画像情報と学習者音声情報に応じて、表示器に表示する表示画像と出力音声を制御する。一つの学習コンテンツは、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されている。
【選択図】図１３
【解決手段】学習コンテンツを構成する情報を表示器に表示する。学習中の学習者の画像である学習者画像情報を取得する画像情報取得部と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得部とを備える。学習コンテンツ表示制御部が、各取得部が取得した学習者画像情報と学習者音声情報に応じて、表示器に表示する表示画像と出力音声を制御する。一つの学習コンテンツは、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されている。
【選択図】図１３
【特許請求の範囲】
【請求項1】
学習コンテンツを構成する情報を表示器に表示する表示画像又は出力する出力音声により提供する学習支援装置であって、
学習中の学習者の画像である学習者画像情報を取得する画像情報取得部と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得部と、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御部とを備え、
前記学習コンテンツ表示制御部は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援装置。
学習中の学習者の画像である学習者画像情報を取得する画像情報取得部と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得部と、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御部とを備え、
前記学習コンテンツ表示制御部は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援装置。
【請求項2】
取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の心理状態情報である心理状態情報作成部を備え、
前記学習コンテンツ表示制御部は、前記心理状態情報に応じて、前記表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
前記学習コンテンツ表示制御部は、前記心理状態情報に応じて、前記表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
【請求項3】
取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の学習状態情報である学習状態情報作成部を備え、
前記心理状態情報は、前記学習状態情報に基づいて推定されることを特徴とする請求項２に記載の学習支援装置。
前記心理状態情報は、前記学習状態情報に基づいて推定されることを特徴とする請求項２に記載の学習支援装置。
【請求項4】
前記画像情報取得部は、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報を取得し、
前記学習コンテンツ表示制御部は、取得された、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御する
ことを特徴とする請求項１に記載の学習支援装置。
前記学習コンテンツ表示制御部は、取得された、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御する
ことを特徴とする請求項１に記載の学習支援装置。
【請求項5】
前記音声情報取得部は、学習中の前記学習者から発せられる非言語又は言語のいずれかの情報を取得し、
前記学習コンテンツ表示制御部は、取得された前記非言語又は言語のいずれかの情報に応じて
表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
前記学習コンテンツ表示制御部は、取得された前記非言語又は言語のいずれかの情報に応じて
表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
【請求項6】
前記画像情報取得部は、学習中の教材状態を示す画像情報を取得し、
前記学習コンテンツ表示制御部は、取得された学習中の教材状態を示す画像情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
前記学習コンテンツ表示制御部は、取得された学習中の教材状態を示す画像情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする請求項１に記載の学習支援装置。
【請求項7】
学習中の課題の進捗又は課題の達成の有無をリアルタイムに判断する課題進捗判断部を備え、
前記画像情報取得部は学習中の教材状態を示す画像情報を取得し、
前記課題進捗判断部は、
学習中の課題の進捗又は課題の達成の有無を前記学習中の教材状態を示す画像情報に応じて判断することを特徴とする請求項１に記載の学習支援装置。
前記画像情報取得部は学習中の教材状態を示す画像情報を取得し、
前記課題進捗判断部は、
学習中の課題の進捗又は課題の達成の有無を前記学習中の教材状態を示す画像情報に応じて判断することを特徴とする請求項１に記載の学習支援装置。
【請求項8】
前記心理状態情報作成部は、前記学習者の心理状態が、（１）学習に興味あり又は愉快な心理状態、（２）熟考状態、（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに属するものとして心理状態情報を作成することを特徴とする請求項２に記載の学習支援装置。
【請求項9】
前記学習状態情報作成部は、前記学習者の学習状態が、（１）学習に対する注目状態、（２）学習に対する応答状態、（３）学習の課題遂行状態、（４）学習に対する無反応状態又は（５）学習に対する拒否状態のいずれかに属するものとして学習状態情報を作成すること特徴とする請求項３に記載の学習支援装置。
【請求項10】
一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、
前記学習コンテンツ表示制御部は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１から請求項９のいずれかに記載の学習支援装置。
前記学習コンテンツ表示制御部は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１から請求項９のいずれかに記載の学習支援装置。
【請求項11】
前記学習コンテンツ表示制御部は、前記心理状態情報に応じてコンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項２、請求項３、請求項８又は請求項９のいずれかに記載の学習支援装置。
【請求項12】
前記学習コンテンツ表示制御部は、前記心理状態が（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに該当する場合に、
前記学習者の注意を喚起する画像を表示することを特徴とする請求項１１に記載の学習支援装置。
前記学習者の注意を喚起する画像を表示することを特徴とする請求項１１に記載の学習支援装置。
【請求項13】
前記学習コンテンツ表示制御部は、前記心理状態情報に応じて学習コンテンツの前記表示画像の再生スピードを変更することを特徴とする請求項１１に記載の学習支援装置。
【請求項14】
学習中の学習者の受講状態又は心理状態を記録する学習記録部を備え、
前記学習記録部に記録された情報は、学習者への報告に用いられることを特徴とする請求項３に記載の学習支援装置。
前記学習記録部に記録された情報は、学習者への報告に用いられることを特徴とする請求項３に記載の学習支援装置。
【請求項15】
学習コンテンツを構成する情報を表示器に表示する表示画像又は出力する出力音声により提供する学習支援方法であって、
学習中の学習者の画像である学習者画像情報を取得する画像情報取得ステップと、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得ステップと、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御ステップとを備え、
前記学習コンテンツ表示制御ステップは、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援方法。
学習中の学習者の画像である学習者画像情報を取得する画像情報取得ステップと、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得ステップと、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御ステップとを備え、
前記学習コンテンツ表示制御ステップは、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援方法。
【請求項16】
一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、
前記学習コンテンツ表示制御ステップは、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１５に記載の学習支援方法。
前記学習コンテンツ表示制御ステップは、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１５に記載の学習支援方法。
【請求項17】
学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムであって、学習者端末装置と、前記学習者端末装置と通信ネットワークを介して通信可能に接続されたサーバ装置を備え、
前記学習者端末装置は、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、
前記サーバ装置は、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、
前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する学習支援システム。
前記学習者端末装置は、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、
前記サーバ装置は、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、
前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する学習支援システム。
【請求項18】
一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、
前記学習コンテンツ表示制御手段は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１７に記載の学習支援システム。
前記学習コンテンツ表示制御手段は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする請求項１７に記載の学習支援システム。
【請求項19】
学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムで用いるサーバ装置であって、
前記学習者端末装置と通信ネットワークを介して通信可能に接続されており、
前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習者端末装置が、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、
前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する、
学習支援システム用サーバ装置。
前記学習者端末装置と通信ネットワークを介して通信可能に接続されており、
前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習者端末装置が、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、
前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する、
学習支援システム用サーバ装置。
【発明の詳細な説明】
【技術分野】
【0001】
学習支援装置、そのような学習を実現するための学習支援方法、そのような学習を実現する学習支援システム、及びそのような学習を実現する学習支援システム用サーバ装置に関する。また、表示装置に表示された学習コンテンツを用いて行う学習支援装置、学習支援方法、学習支援システムに関する。また、アプリケーションプログラムを用いて行う学習支援装置、学習支援方法、学習支援システムに関する。また、学習者端末装置と、学習者端末装置と通信ネットワークを介して通信可能に接続したサーバ装置とによって行う学習支援システムに関する。
【背景技術】
【0002】
就学前の年齢である乳幼児に学習の機会を与えたい場合や、就学後に学校で学習しない事項を学ぶ機会を与えたい場合、または身体障碍者や高齢者等、学ぶ意欲はあっても自ら学校に通うことが困難な事情がある場合、アプリケーションプログラムを用いて学習できることが好ましい。従来より、コンピュータの会議機能を用いた対面授業形式のものや、教師による動画を配信するものがあった。しかし、対面授業形式のものでは、所定の時間講師を拘束する必要があるため費用が嵩む点、授業の時間を教師と調整する必要がある点、及び教師の技量の差により授業の質にばらつきが生じる点、等が問題であった。また、教師による動画を配信する形式のものでは、必ずしも生徒の求める内容や授業速度、レベルに応じた動画があるわけではなく、生徒のニーズに応えることが困難な点に問題があった。
【0003】
上記問題点を解決するためには、コンピュータを用いて行う学習（教育）のためのコンテンツを多種類用意する必要がある。しかし授業は元来、教師と学習者のインタラクティブなやり取りで成立するものであり幾通りもの展開が想定されることから、所定の教育効果を得ることができるコンテンツの開発には多大なコストが必要になる。
【0004】
リアルな場面で行われる対面型の授業において、教師は、授業中の生徒の表情や音声、姿勢などの反応を捉え、反応に応じた対応をすることが必要になるところ、従来、コンピュータを用いて行う授業において、生徒の反応を捉えることについての技術的思想、及び教師が生徒の反応に応じた対応をすることについての技術的思想については、見当たらない。
【0005】
特許文献１には保護者や子供に対し情報通信網を介して学習支援サービスを提供する学習支援システムが記載されている。しかし特許文献１に記載のシステムは、学習意欲を高める手段として、関係者の問題への取り組みに対し褒める方法を示すがんばりポイントを用いることを主な特徴としている。また、特許文献２には乳幼児のための音楽早期学習システムが記載されている。特許文献２に記載のシステムは、音楽学習の成果を判断するために外部の騒音からシェルタの内部にいる子供を隔離・保護できる軽量なシェルタを用いることを主な特徴としている。すなわち、特許文献１と特許文献２のいずれも、コンピュータを用いて行う授業において生徒の反応を捉えることについての技術的思想、及び教師が生徒の反応に応じた対応をすることについての技術的思想については、記載がない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第６７３７３９２号
【特許文献2】特表２０１１－５３０７１６号
【発明の概要】
【発明が解決しようとする課題】
【0007】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、学習中の学習者の反応を把握し、学習者の反応に応じて、効果的な指導が実現できるよう、学習コンテンツの表示を制御できる学習支援装置を提供することを課題とする。
【0008】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、学習者の反応を把握し、学習者の反応に応じたインタラクティブ型の指導が実現できる学習支援装置を提供することを課題とする。
【0009】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、コンピュータが必要とする処理能力や取り扱う情報量を少なく抑えることができ、安価かつ簡易に製作できる学習支援装置を提供することを課題とする。
【0010】
この結果、学習に係る指導の指導者が人間であり優れた指導者である場合の指導に、少しでも近づく指導を、アプリケーションプログラムを用いる等、コンピュータを介して行うことができる学習支援装置を提供することを課題とする。
【課題を解決するための手段】
【0011】
［１］学習コンテンツを構成する情報を表示器に表示する表示画像又は出力する出力音声により提供する学習支援装置であって、学習中の学習者の画像である学習者情報を取得する画像情報取得部と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得部と、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御部とを備え、前記学習コンテンツ表示制御部は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援装置によって課題を解決する。
［２］取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の心理状態情報である心理状態情報作成部を備え、前記学習コンテンツ表示制御部は、前記心理状態情報に応じて、前記表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［３］取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の学習状態情報である学習状態情報作成部を備え、前記心理状態情報は、前記学習状態情報に基づいて推定されることを特徴とする［２］に記載の学習支援装置によって課題を解決する。
［４］前記画像情報取得部は、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報を取得し、前記学習コンテンツ表示制御部は、取得された、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［５］前記音声情報取得部は、学習中の前記学習者から発せられる非言語又は言語のいずれかの情報を取得し、前記学習コンテンツ表示制御部は、取得された前記非言語又は言語のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［６］前記画像情報取得部は、学習中の教材状態を示す画像情報を取得し、前記学習コンテンツ表示制御部は、取得された学習中の教材状態を示す画像情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［７］学習中の課題の進捗又は課題の達成の有無をリアルタイムに判断する課題進捗判断部を備え、前記画像情報取得部は学習中の教材状態を示す画像情報を取得し、前記課題進捗判断部は、学習中の課題の進捗又は課題の達成の有無を前記学習中の教材状態を示す画像情報に応じて判断することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［８］前記心理状態情報作成部は、前記学習者の心理状態が、（１）学習に興味あり又は愉快な心理状態、（２）熟考状態、（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに属するものとして心理状態情報を作成することを特徴とする［２］に記載の学習支援装置によって課題を解決する。
［９］前記学習状態情報作成部は、前記学習者の学習状態が、（１）学習に対する注目状態、（２）学習に対する応答状態、（３）学習の課題遂行状態、（４）学習に対する無反応状態又は（５）学習に対する拒否状態のいずれかに属するものとして学習状態情報を作成すること特徴とする［３］に記載の学習支援装置によって課題を解決する。
［１０］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御部は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１］から［９］のいずれかに記載の学習支援装置によって課題を解決する。
［１１］前記学習コンテンツ表示制御部は、前記心理状態情報に応じてコンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［２］、［３］、［８］又は［９］のいずれかに記載の学習支援装置によって課題を解決する。
［１２］前記学習コンテンツ表示制御部は、前記心理状態が（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに該当する場合に、前記学習者の注意を喚起する画像を表示することを特徴とする［１１］に記載の学習支援装置によって課題を解決する。
［１３］前記学習コンテンツ表示制御部は、前記心理状態情報に応じて学習コンテンツの前記表示画像の再生スピードを変更することを特徴とする［１１］に記載の学習支援装置によって課題を解決する。
［１４］学習中の学習者の受講状態又は心理状態を記録する学習記録部を備え、前記学習記録部に記録された情報は、学習者への報告に用いられることを特徴とする［３］に記載の学習支援装置によって課題を解決する。
［１５］学習コンテンツを構成する情報を表示器に表示する表示画像又は出力する出力音声により提供する学習支援方法であって、学習中の学習者の画像である学習者画像情報を取得する画像情報取得ステップと、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得ステップと、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御ステップとを備え、前記学習コンテンツ表示制御ステップは、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援方法によって課題を解決する。
［１６］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御ステップは、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１５］に記載の学習支援方法によって課題を解決する。
［１７］学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムであって、学習者端末装置と、前記学習者端末装置と通信ネットワークを介して通信可能に接続されたサーバ装置を備え、前記学習者端末装置は、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、前記サーバ装置は、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する学習支援システムによって課題を解決する。
［１８］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御手段は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１７］に記載の学習支援システムによって課題を解決する。
［１９］学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムで用いるサーバ装置であって、前記学習者端末装置と通信ネットワークを介して通信可能に接続されており、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習者端末装置が、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する、学習支援システム用サーバ装置によって課題を解決する。
［２］取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の心理状態情報である心理状態情報作成部を備え、前記学習コンテンツ表示制御部は、前記心理状態情報に応じて、前記表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［３］取得した前記学習者画像情報及び前記学習者音声情報に基づいて推定して作成する学習中の学習者の学習状態情報である学習状態情報作成部を備え、前記心理状態情報は、前記学習状態情報に基づいて推定されることを特徴とする［２］に記載の学習支援装置によって課題を解決する。
［４］前記画像情報取得部は、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報を取得し、前記学習コンテンツ表示制御部は、取得された、前記学習者の顔の表情の情報、前記学習者の視線の方向の情報、前記学習者の頭部の動きの情報又は前記学習者の身体の姿勢の情報、のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［５］前記音声情報取得部は、学習中の前記学習者から発せられる非言語又は言語のいずれかの情報を取得し、前記学習コンテンツ表示制御部は、取得された前記非言語又は言語のいずれかの情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［６］前記画像情報取得部は、学習中の教材状態を示す画像情報を取得し、前記学習コンテンツ表示制御部は、取得された学習中の教材状態を示す画像情報に応じて表示器に表示する前記表示画像又は出力する前記出力音声を制御することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［７］学習中の課題の進捗又は課題の達成の有無をリアルタイムに判断する課題進捗判断部を備え、前記画像情報取得部は学習中の教材状態を示す画像情報を取得し、前記課題進捗判断部は、学習中の課題の進捗又は課題の達成の有無を前記学習中の教材状態を示す画像情報に応じて判断することを特徴とする［１］に記載の学習支援装置によって課題を解決する。
［８］前記心理状態情報作成部は、前記学習者の心理状態が、（１）学習に興味あり又は愉快な心理状態、（２）熟考状態、（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに属するものとして心理状態情報を作成することを特徴とする［２］に記載の学習支援装置によって課題を解決する。
［９］前記学習状態情報作成部は、前記学習者の学習状態が、（１）学習に対する注目状態、（２）学習に対する応答状態、（３）学習の課題遂行状態、（４）学習に対する無反応状態又は（５）学習に対する拒否状態のいずれかに属するものとして学習状態情報を作成すること特徴とする［３］に記載の学習支援装置によって課題を解決する。
［１０］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御部は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１］から［９］のいずれかに記載の学習支援装置によって課題を解決する。
［１１］前記学習コンテンツ表示制御部は、前記心理状態情報に応じてコンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［２］、［３］、［８］又は［９］のいずれかに記載の学習支援装置によって課題を解決する。
［１２］前記学習コンテンツ表示制御部は、前記心理状態が（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態のいずれかに該当する場合に、前記学習者の注意を喚起する画像を表示することを特徴とする［１１］に記載の学習支援装置によって課題を解決する。
［１３］前記学習コンテンツ表示制御部は、前記心理状態情報に応じて学習コンテンツの前記表示画像の再生スピードを変更することを特徴とする［１１］に記載の学習支援装置によって課題を解決する。
［１４］学習中の学習者の受講状態又は心理状態を記録する学習記録部を備え、前記学習記録部に記録された情報は、学習者への報告に用いられることを特徴とする［３］に記載の学習支援装置によって課題を解決する。
［１５］学習コンテンツを構成する情報を表示器に表示する表示画像又は出力する出力音声により提供する学習支援方法であって、学習中の学習者の画像である学習者画像情報を取得する画像情報取得ステップと、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得ステップと、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御ステップとを備え、前記学習コンテンツ表示制御ステップは、取得した前記学習者画像情報及び前記学習者音声情報に応じて、表示器に表示する前記表示画像又は出力する前記出力音声を制御する学習支援方法によって課題を解決する。
［１６］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御ステップは、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１５］に記載の学習支援方法によって課題を解決する。
［１７］学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムであって、学習者端末装置と、前記学習者端末装置と通信ネットワークを介して通信可能に接続されたサーバ装置を備え、前記学習者端末装置は、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、前記サーバ装置は、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する学習支援システムによって課題を解決する。
［１８］一つの学習コンテンツが、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と前記基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２により構成されており、前記学習コンテンツ表示制御手段は、コンテンツ１の表示とコンテンツ２の実行を制御することを特徴とする［１７］に記載の学習支援システムによって課題を解決する。
［１９］学習コンテンツを構成する情報を学習者端末装置に表示する表示画像又は出力する出力音声により提供する学習支援システムで用いるサーバ装置であって、前記学習者端末装置と通信ネットワークを介して通信可能に接続されており、前記表示画像又は前記出力音声を制御する学習コンテンツ表示制御手段とを備え、前記学習者端末装置が、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とを備え、前記学習コンテンツ表示制御手段は、取得した前記学習者画像情報及び前記学習者音声情報に応じて、学習者端末装置に表示する前記表示画像又は出力する前記出力音声を制御する、学習支援システム用サーバ装置によって課題を解決する。
【0012】
画像情報取得部と音声情報取得部は、実施例１では画像音声分析処理として例示する。
心理状態情報作成部は、実施例１では心理状態推定処理として例示する。
学習状態情報作成部は、実施例１では受講状態推定処理として例示する。
学習コンテンツ表示制御部と基本画像表示制御部は、実施例１では授業遂行処理として例示する。
心理状態情報作成部は、実施例１では心理状態推定処理として例示する。
学習状態情報作成部は、実施例１では受講状態推定処理として例示する。
学習コンテンツ表示制御部と基本画像表示制御部は、実施例１では授業遂行処理として例示する。
【0013】
学習コンテンツは、知識、技能、人格形成に関するもの、等、あらゆる学習を対象としており、学習に係る指導を行う者による講義形式に限らず、技能の見本を見せて行う形式等あらゆるやり方が対象である。学習コンテンツは、表示器に画像を表示したり音声を出力したりして表され、学習者は表示器を用いて学習コンテンツによる学習を行う。幼児、児童や生徒や学生、成人等、全て者が学習者となり得る。
【0014】
表示器は、例えば学習者のパーソナルコンピュータやタブレット型コンピュータ、携帯電話、等、学習コンテンツを表示できるものであれば何でも対象となる。学習中の学習者の画像は例えばビデオ機器や、携帯電話等に備わるビデオ機能、等を用いて取得される。学習中の学習者の音声は例えばマイク機器や、携帯電話等に備わるマイク機能等、を用いて取得される。
【0015】
学習に係る指導を人間が行う場合、指導に係る指導者は、学習者の反応を把握し、学習者の反応に応じて、効果的な指導が実現できるよう行動する。出願に係る学習支援装置にあっては、学習コンテンツ表示制御部が、指導に係る指導者の行動に代わるものとして、学習コンテンツの表示を制御する。
【0016】
学習中の学習者の反応は、学習者の画像や学習者から発せられる音声により現れる。従って、学習コンテンツ表示制御部は、学習者の画像や学習者から発せられる音声に応じて、学習者に適切な働きかけを行うよう、学習コンテンツ表示を制御する。例えば、学習中の学習者の画像や学習者から発せられる音声に基づいて、学習者の学習に際しての気分を予め定めたアルゴリズムに従って判定する学習気分判定部を備え、学習気分判定部にて得られた学習者の気分に応じた刺激を表す刺激情報に基づいて、学習者に対して刺激を提供する刺激提供部を備えてもよい。
【0017】
心理状態情報作成部は、取得した、学習中の学習者画像情報及び学習者音声情報に基づき、所定のアルゴリズムを用いて、学習中の学習者の心理状態情報を推定し、作成する。また、学習コンテンツ表示制御部は、心理状態情報に応じて、学習コンテンツの表示を制御する。
【0018】
学習状態情報作成部は、取得した、学習中の学習者画像情報及び学習者音声情報に基づき、所定のアルゴリズムを用いて、学習中の学習者の心理状態情報を推定し、作成する。
【0019】
ＡＩ学習により、学習中の学習者の状態を把握するために取得するべき画像情報と音声情報は、学習者の顔の表情の情報、学習者の視線の方向の情報、学習者の頭部の動きの情報、又は学習者の身体の姿勢の情報であることが判明しており、そのようなＡＩ学習の結果を利用したアルゴリズムを使用している。
【0020】
ＡＩ学習により、学習中の学習者の状態を把握するために取得するべき音声情報として、学習中の学習者から発せられる非言語情報が有益であることが判明しており、そのようなＡＩ学習の結果を利用したアルゴリズムを使用している。
【0021】
学習中の学習教材が、学習中の学習者の近辺に存する場合、学習中の学習教材の情報は、学習中の学習者の画像情報や音声情報の取得と並行して容易に取得し得る。この情報は画像として取得され、ＡＩ学習により、学習中の学習教材の状態と学習の進捗状況の関係が計算され、これが利用される。
【0022】
学習中の「課題」とは、学習内容としての課題である。学習の課題達成は、学習の終了を意味するため、学習中の課題の「進捗」と「達成の有無」を判断した情報は有用である。「学習教材」とは、教科書、ノート、工作の対象物、楽器、等、学習に際し学習者が扱うあらゆるものである。課題の「進捗」と「達成の有無」は、学習教材の状態を示す画像情報により判断できる。
【0023】
「リアルタイムに判断する」とは、「同時に判断する」若しくは「即時に判断する」ことを意味する。学習中に、同時・即時に、課題の「進捗」と「達成の有無」が判断されることにより、判断結果を学習中に利用できる。
【0024】
ＡＩ学習により、学習コンテンツの表示を制御する際に用いる心理状態情報の分類として、（１）学習に興味あり又は愉快な心理状態、（２）熟考状態、（３）躊躇又は羞恥の心理状態、（４）不快、不安又は不満な心理状態又は（５）学習に対し無関心な心理状態、に分類することが有効であることが判明しており、これを利用するものである。
【0025】
ＡＩ学習により、学習コンテンツの表示を制御する際に用いる学習状態情報の分類として、（１）学習に対する注目状態、（２）学習に対する応答状態、（３）学習の課題遂行状態、（４）学習に対する無反応状態又は（５）学習に対する拒否状態、に分類することが有効であることが判明しており、これを利用するものである。
【0026】
一つの学習コンテンツを、ストーリー画像で構成されるコンテンツ１と、繰り返し表示される基本画像と基本画像の表示を制御する基本画像表示制御部を備えるコンテンツ２に分けることにより、一つの学習コンテンツを構成する情報の容量を小さくすることができる。ストーリー画像で構成されるコンテンツ１が、学習の主たる内容を構成している。繰り返し表示される基本画像とは、例えば、学習中、学習者に課題を与えた際に学習者の反応を待つ場合の「待機画像」、学習者の反応に応じて課題遂行を促す場合の「注意喚起画像」、学習者が課題を達成した場合の「賞賛画像」といった画像である。一つの学習コンテンツにおいて、このような画像は繰り返し用いることができる。また、そのような基本画像の表示の制御も、共通点が多いことによりパターン化することができる（基本画像表示制御部）。このため、学習コンテンツの容量を小さくできる。
【0027】
コンテンツ２は、上記の通り、学習コンテンツの一部を構成するものとして、基本画像表示制御部による制御によって用いる他、学習が効果的に進行するよう、学習中の学習者の心理状態に応じて、学習コンテンツの表示に割り込んで表示させることができる。例えば学習者がネガティブな心理状態のときには学習者に刺激を与え学習を促すような表示をする。学習コンテンツ表示制御部は、そのように、学習コンテンツの表示を制御する。
【0028】
学習者の受講状態や心理状態の情報は、学習者にとって有用である。学習者は、受講状態や心理状態を、学習の反省材料に使ったり、学習による自己の進歩を知る根拠にしたりできる。学習者の受講状態や心理状態を、時刻情報と共に記録してもよい。時刻情報と共に記録することにより、受講状態や心理状態の情報を、時刻情報と紐づいて保存されている他の情報と合わせて利用できる。なお、学習者が乳幼児である場合等は、学習者の保護者を介して学習者に報告する。
【0029】
学習支援装置は、アプリケーションプログラムとして構成してもよい。アプリケーションプログラムを学習者の端末装置にダウンロードして、学習者は学習者の端末装置に表示された学習コンテンツを用いて学習するのでもよい。
【0030】
また、学習者は、学習者端末装置と、学習者端末装置と通信ネットワークを介して通信可能に接続されたサーバ装置を備えたシステムで、学習者端末装置に表示された学習コンテンツを用いて学習するのでもよい。学習者端末装置に、学習中の学習者の画像である学習者画像情報を取得する画像情報取得手段と、学習中の学習者から発せられる音声である学習者音声情報を取得する音声情報取得手段とが備わる。サーバ装置に、表示画像又は出力音声を制御する学習コンテンツ表示制御手段が備わり、学習コンテンツ表示制御手段が、取得した学習者画像情報と学習者音声情報に応じて、学習者端末装置に表示する表示画像又は出力する出力音声を制御する。
【発明の効果】
【0031】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、学習中の学習者の反応を把握し、学習者の反応に応じて、効果的な指導が実現できるよう、学習コンテンツの表示を制御できる学習支援装置を提供することができる。
【0032】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、学習者の反応を把握し、学習者の反応に応じたインタラクティブ型の指導が実現できる学習支援装置を提供することができる。
【0033】
アプリケーションプログラムを用いる等、コンピュータを介し、学習コンテンツを表示器に表示して行う学習支援装置であって、コンピュータが必要とする処理能力や取り扱う情報量を少なく抑えることができ、安価かつ簡易に製作できる学習支援装置を提供することができる。
【0034】
学習に係る指導の指導者が人間であり優れた指導者である場合の指導に、少しでも近づく指導を、アプリケーションプログラムを用いる等、コンピュータを介して行うことができる学習支援装置を提供するができる。
【図面の簡単な説明】
【0035】
【発明を実施するための形態】
【0036】
以下、本発明の好適な実施形態について、図面を参照し説明する。
【実施例0037】
図１に、生徒のコンピュータのハードウェア的な構成を示す。生徒のコンピュータは、装置全体を制御するための制御部２を備えている。制御部２には、データバス等のバスライン１２を介して、音声出力装置５、入力装置６、表示装置７、通信制御装置８、音声入力装置９、画像入力装置１０、時計装置１１、記憶装置１３が接続されている。
【0038】
制御部２は、ＣＰＵ３、ＲＯＭ４、を備えている。ＣＰＵ３は、ＲＯＭ４や記憶装置等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。ＲＯＭ４には、ＣＰＵ３が各種制御や演算を行うための各種プログラム（ＯＳ）やデータが予め格納されている。ＲＯＭ４には、本実施形態による各種処理を行うためのエリアが確保可能でされている。
【0039】
入力装置６には、キーボード、マウス、タッチパネル等が配置される（図示せず）。キーボードには、文字入力のためのキー、数字を入力するためのテンキー、各種機能を実行するための機能キー、カーソルキー、等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置７に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置７の表面に配置される入力機器で、表示装置７に画面表示された各種操作キーに対応したユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。
【0040】
表示装置７は、ＣＲＴや液晶ディスプレイ等が使用される。表示装置７には、キーボードやマウスによる入力結果が表示されたり、イメージ情報が表示されたりする。
【0041】
通信制御装置８は、生徒のコンピュータ１と他のパーソナルコンピュータ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置８は、これら各種外部電子機器から生徒のコンピュータ１にアクセスすることが可能になっており、外部電子機器から検索条件文を入力することができる。音声入力装置９はマイクから音声を取り込む装置である。画像入力装置１０はカメラから画像を取り込む装置である。時計装置１１は時刻を取得する装置である。
【0042】
記憶装置１３は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。記憶装置１３に使用される記憶媒体として、主としてハードディスク若しくはＳＳＤ、ＳＤカードといったストレージ素子が使用される。記憶装置１３は、データ格納部１４、プログラム格納部１５、及び図示しないその他の格納部（例えば、この記憶装置１３内に格納されているプログラムやデータ等をバックアップするための格納部）を備える。データ格納部１４には、後述の通り本実施形態において装置が必要とするデータが格納されている。プログラム格納部１５のプログラムは、本件の装置を実行するためのプログラムである。
【0043】
データ格納部１４には、（ａ）授業選択時ダウンロードデータとして次のデータが記録される。これらのデータは、生徒が受講する授業を選択した際に、学習支援システムの管理者のサーバからダウンロードされる。
・授業動画
・授業マスターデータ
・特定シーン動画
・生徒プロファイル
・授業動画
・授業マスターデータ
・特定シーン動画
・生徒プロファイル
【0044】
データ格納部１４には、授業の進行中に、（ｂ）授業進行中記録データとして次のデータが記録される。
・時刻情報
・受講状態推定結果
・心理状態推定結果
・生徒が選んだ授業
・時刻情報
・受講状態推定結果
・心理状態推定結果
・生徒が選んだ授業
【0045】
プログラム格納部１５には、次の処理のためのプログラムデータ等が記録されている。これらのプログラムは、実施例に係る学習支援システムを実行するためのアプリケーションプログラムをダウンロードすることにより、プログラム格納部１５に格納される。
・カメラ画像処理
・マイク音声処理
・画像音声分析処理
・受講状態推定処理
・心理状態推定処理
・授業進行処理
・オーディオ出力処理
・画像再生処理
・カメラ画像処理
・マイク音声処理
・画像音声分析処理
・受講状態推定処理
・心理状態推定処理
・授業進行処理
・オーディオ出力処理
・画像再生処理
【0046】
［実施例１の概要］
実施例１はゼロ歳から６歳の乳幼児を生徒とした例である。図２に授業を受講中の様子を示す。生徒３０は、保護者３１を伴なって授業を受ける。授業を受ける生徒は一名であり、生徒の保護者も一名である。授業は、生徒のタブレット型コンピュータ（タブレット３５）の画面に表示される画像と発する音声により進行する。
実施例１はゼロ歳から６歳の乳幼児を生徒とした例である。図２に授業を受講中の様子を示す。生徒３０は、保護者３１を伴なって授業を受ける。授業を受ける生徒は一名であり、生徒の保護者も一名である。授業は、生徒のタブレット型コンピュータ（タブレット３５）の画面に表示される画像と発する音声により進行する。
【0047】
実施例１に係る学習支援プログラムのアプリケーションプログラムは、予め生徒のタブレット３５にインストールされている。生徒は次のように学習を開始する。タブレットの表示画面に授業の選択画面が表示される（図示せず）。生徒（又は生徒の保護者）が授業を選択すると、選択された授業の進行に必要なデータが学習支援プログラムの管理者のサーバから生徒のタブレットに送信される。授業は、生徒のコンピュータのＣＰＵ３の処理により進行する。この書面において、特段の記載がない限り「ＣＰＵ」は生徒のコンピュータのＣＰＵ３を意味する。
【0048】
授業の進行中、タブレット３５が備えるカメラとマイクにより、受講中の生徒の画像と音声が取得される。取得した生徒の画像と音声は分析され（［画像音声分析処理］）、所定のアルゴリズムにより受講状態が推定され（［受講状態推定処理］）、さらに、所定のアルゴリズムにより生徒の心理状態が推定される（［心理状態推定処理］）。
【0049】
授業の進行は次のように行われる（［授業進行処理］）。生徒が授業を選択した際に学習支援プログラムの管理者のサーバから送信されるデータ（授業の進行に必要なデータ）は、授業の本体である「授業動画」と称する画像と、所定のルールに基づき表示される「特定シーン」）と称する画像と、「授業動画」と「特定シーン」の表示されるタイミングを規定した「授業マスターデータ」と称するデータである。一つの授業で用いる画像の中で、所定のルールに基づき表示される「特定シーン」として別途設けることにより、授業の進行に用いるデータの容量を小さくしている。授業の進行と並行して心理状態推定処理が進行し、心理状態が授業進行に好ましくない状態に陥った場合等にも、「特定シーン」の画像が用いられる。
【0050】
図３及び図４により［画像音声分析処理］について説明し、図４及び図５により［受講状態推定処理］について説明し、図６及び図７により［心理状態推定処理］について説明し、図８から図１６により「授業進行処理」について説明する。
【0051】
［画像音声分析処理］
図３及び図４により、画像音声分析処理を説明する。授業中に生徒が発する音声と生徒の画像と、生徒の手元付近にある教材の画像をリアルタイムに取得し、既存の分析技術を用いて後述の通りに分析する。
図３及び図４により、画像音声分析処理を説明する。授業中に生徒が発する音声と生徒の画像と、生徒の手元付近にある教材の画像をリアルタイムに取得し、既存の分析技術を用いて後述の通りに分析する。
【0052】
生徒の画像から生徒の「頭部」を抽出し、「視線方向」を検出し、カメラに対する視線の傾きから生徒がタブレットの画面を見ているか、画面以外を見ているかを分析する。生徒の画像から生徒の「頭部」を抽出し、「頭部動作」を検出し、「うなずいている」、「静止している」等、に分析する。また、「頭部」の向きを検出し、「教材の方向を向いている」、「教材以外の方向を向いている」等に分析する。
【0053】
生徒の画像から生徒の身体の腕、肩、腰、足、といった「各部位の位置」を検出し、これにより姿勢を検出し、「課題を遂行中の姿勢である」、「課題を遂行していない姿勢である」、等に分析する。身体の姿勢は、例えば授業の内容が身体を動かす体操である場合に、求めた姿勢と一致しているか否か判断を行う際に分析して用いられる。
【0054】
生徒の画像、特に生徒の手の周辺の画像から、「教材」の状態を検出し、「課題を遂行中である」、「課題の遂行を止めている」、「課題の遂行が後退している」、等に分析する。「課題の遂行が後退している」状態とは、例えば生徒がパズル教材を実行中に、パズルを投げ出してひっくり返したような場合である。
【0055】
入手した音声から生徒から発せられた音声を抽出する。入手される音声は、主に生徒から発せられる音声と生徒の保護者から発せられる音声であるが、生徒プロファイルにある生徒の声紋情報と照合し、生徒から発せられた音声を抽出する。
【0056】
生徒から発せられた音声に関し既存の音声認識ソフトウェアを用いて「言語分析」と「非言語分析」を行う。分析結果は、既存の音声認識ソフトウェアを用いて文字化し記憶装置１３に記録する。非言語分析では、「叫び声」や「笑い声」などの感情表現された非音声を既存の音声認識ソフトウェアの単語辞書に追加して文字化し、記憶装置１３に記録する。非言語の情報を、「キャッキャなどのポジティブな非言語」、「泣き声などのネガティブな非言語」、に分析する。言語の情報を、「返事あり」、「無言」に分析する。
【0057】
図３と図６を参照して、授業中の画像と生徒プロファイルの生徒の顔画像を照合して、生徒の顔の「表情状態」を検出する。顔の表情状態を、既存のＡＩ技術を用いて、「幸福」、「普通」、「その他」のカテゴリーに分ける。「その他」とは、「怒り」、「嫌悪」、「恐怖」、「悲しみ」及び「驚き」である。
【0058】
［受講状態推定処理］
図４及び図５により、受講状態推定処理を説明する。ＣＰＵは、受講状態推定アルゴリズムに基づき受講状態を推定する。受講状態推定アルゴリズムは、［画像音声分析処理］の分析結果と、そのような分析結果の継続時間を、推定の要素とする。受講状態を推定した結果、生徒の受講状態をａ．注目、ｂ．応答、ｃ．課題遂行、ｄ．無反応、ｆ．拒否又は不規則行為、の５種類に分類する。授業中、生徒の状態はこの５種類のいずれかに該当し、時間を追って遷移する。ＣＰＵは、推定した受講状態を時刻情報と共に記憶装置１３の（ｂ）授業進行中記憶データに記録する。
図４及び図５により、受講状態推定処理を説明する。ＣＰＵは、受講状態推定アルゴリズムに基づき受講状態を推定する。受講状態推定アルゴリズムは、［画像音声分析処理］の分析結果と、そのような分析結果の継続時間を、推定の要素とする。受講状態を推定した結果、生徒の受講状態をａ．注目、ｂ．応答、ｃ．課題遂行、ｄ．無反応、ｆ．拒否又は不規則行為、の５種類に分類する。授業中、生徒の状態はこの５種類のいずれかに該当し、時間を追って遷移する。ＣＰＵは、推定した受講状態を時刻情報と共に記憶装置１３の（ｂ）授業進行中記憶データに記録する。
【0059】
受講状態推定アルゴリズムは、図４と図５に示す通り、例えば次の通りである。
「視線方向」が画面を追跡しており、かつ「非言語」が笑い声等のポジティブな非言語である状態が５秒間継続すると、受講状態は「ａ．注目」と推定される。
「視線方向」が画面を追跡しており、かつ「頭部動作」がうなずきであり、かつ「言語」が返事ありの状況が１秒継続すると、受講状態は「ｂ．応答」と推定される。
「頭部動作（顔の向き）」が教材方向であり、かつ「身体姿勢」が課題遂行中であり、かつ「教材状況」が課題遂行中で状態が５秒継続すると、受講状態は「ｃ．課題遂行」と推定される。
「頭部動作」が静止しており、かつ「教材状態」が停止しており、「言語」が無言である状態が５秒継続すると、受講状態は「ｄ．無反応」と推定される。
「非言語」が泣き声であるかあるいは「視線方向」又は「頭部動作（顔の向き）」のいずれかが画面外であるか、あるいは「教材状態」が後退であるか、あるいは「身体の姿勢」が画面外を向いている状態が、５秒継続すると、受講状態は「ｅ．拒否又は不規則行為」と推定される。
「視線方向」が画面を追跡しており、かつ「非言語」が笑い声等のポジティブな非言語である状態が５秒間継続すると、受講状態は「ａ．注目」と推定される。
「視線方向」が画面を追跡しており、かつ「頭部動作」がうなずきであり、かつ「言語」が返事ありの状況が１秒継続すると、受講状態は「ｂ．応答」と推定される。
「頭部動作（顔の向き）」が教材方向であり、かつ「身体姿勢」が課題遂行中であり、かつ「教材状況」が課題遂行中で状態が５秒継続すると、受講状態は「ｃ．課題遂行」と推定される。
「頭部動作」が静止しており、かつ「教材状態」が停止しており、「言語」が無言である状態が５秒継続すると、受講状態は「ｄ．無反応」と推定される。
「非言語」が泣き声であるかあるいは「視線方向」又は「頭部動作（顔の向き）」のいずれかが画面外であるか、あるいは「教材状態」が後退であるか、あるいは「身体の姿勢」が画面外を向いている状態が、５秒継続すると、受講状態は「ｅ．拒否又は不規則行為」と推定される。
【0060】
［心理状態推定処理］
図６及び図７により、心理状態推定処理を説明する。ＣＰＵは、心理状態推定アルゴリズムに基づき心理状態を推定する。心理状態推定アルゴリズムは、画像音声分析処理によって表情を分析して得た表情状態と、受講状態推定処理によって推定して得た受講状態と、それらの状態の継続時間を、推定の要素とする。心理状態を推定した結果、生徒の心理状態は、［Ａ．興味あり・または愉快］、［Ｂ．熟考中］、［Ｃ．躊躇又は恥ずかしい］、［Ｄ．不快又は不安又は不満］、［Ｅ．無関心又は眠い］、の５種類のいずれかに該当し、時間を追って遷移する。ＣＰＵは、推定された心理状態を時刻情報と共に記憶装置１３の（ｂ）授業進行中記憶データに記録する。
図６及び図７により、心理状態推定処理を説明する。ＣＰＵは、心理状態推定アルゴリズムに基づき心理状態を推定する。心理状態推定アルゴリズムは、画像音声分析処理によって表情を分析して得た表情状態と、受講状態推定処理によって推定して得た受講状態と、それらの状態の継続時間を、推定の要素とする。心理状態を推定した結果、生徒の心理状態は、［Ａ．興味あり・または愉快］、［Ｂ．熟考中］、［Ｃ．躊躇又は恥ずかしい］、［Ｄ．不快又は不安又は不満］、［Ｅ．無関心又は眠い］、の５種類のいずれかに該当し、時間を追って遷移する。ＣＰＵは、推定された心理状態を時刻情報と共に記憶装置１３の（ｂ）授業進行中記憶データに記録する。
【0061】
心理状態推定アルゴリズムは、図６と図７に示す通り、例えば次の通りである。
「表情」が幸福であり、かつ、「受講状態」が、「注目」であり、かつ「応答」であり、かつ「課題遂行」である状態が２秒間継続すると、心理状態は［Ａ．興味あり・または愉快］と推定される。
「表情」が普通であり、かつ、「受講状態」が、「注目」であり、かつ「応答」であり、かつ「課題遂行」である状態が５秒間継続すると、心理状態は［Ｂ．熟考中］と推定される。
「表情」が普通であり、かつ、「受講状態」が「拒否」である状態が５秒間継続すると、心理状態は［Ｃ．躊躇又は恥ずかしい］と推定される。
「表情」がその他であり、かつ、「受講状態」が「無反応」でありかつであり「拒否」である状態が１０秒間継続すると、心理状態は［Ｄ．不快又は不安又は不満］と推定される。
「表情」が普通であり、かつ、「受講状態」が「無反応」である状態が１０秒間継続すると、心理状態は［Ｅ．無関心又は眠い］と推定される。
「表情」が幸福であり、かつ、「受講状態」が、「注目」であり、かつ「応答」であり、かつ「課題遂行」である状態が２秒間継続すると、心理状態は［Ａ．興味あり・または愉快］と推定される。
「表情」が普通であり、かつ、「受講状態」が、「注目」であり、かつ「応答」であり、かつ「課題遂行」である状態が５秒間継続すると、心理状態は［Ｂ．熟考中］と推定される。
「表情」が普通であり、かつ、「受講状態」が「拒否」である状態が５秒間継続すると、心理状態は［Ｃ．躊躇又は恥ずかしい］と推定される。
「表情」がその他であり、かつ、「受講状態」が「無反応」でありかつであり「拒否」である状態が１０秒間継続すると、心理状態は［Ｄ．不快又は不安又は不満］と推定される。
「表情」が普通であり、かつ、「受講状態」が「無反応」である状態が１０秒間継続すると、心理状態は［Ｅ．無関心又は眠い］と推定される。
【0062】
【0063】
図８に、授業に必要なデータのダウンロード時から、授業画像の再生に至る概要を示す。授業に必要なデータは、生徒が受講する授業を選択した際に生徒の端末にダウンロードされる。ダウンロードしたデータと、授業進行中に取得される生徒の心理状態の情報に基づいて、授業進行処理が行われる。授業進行処理により生徒の端末の画面に表示される画像が決定され、画像が再生される。
【0064】
授業進行処理とは、具体的には、授業スピード決定処理、授業マスターデータによる処理（画像表示処理I）、イベント時の処理（画像表示処理II）、心理状態情報取得時の処理（画像表示処理III）、注意喚起時の処理（画像表示処理IV）、である。
【0065】
ダウンロードされるデータは、コマ１からコマｎの各情報と、生徒プロファイル３８の情報である。生徒プロファイルには、生徒を識別するための情報（ＩＤ・氏名・年齢・性別など）、生徒から発せられる音声の情報、顔の画像情報、受講履歴情報、授業速度情報、成績情報、興味度情報、保護者から発せられる音声の情報、等が記録されている。
【0066】
学習支援プログラムの管理者は、生徒が年齢（又は月齢）に応じて体系的な学習ができるように授業のコンテンツを用意している。生徒が飽きることのないよう、一つの授業を比較的短時間の複数のコマに分けている。例えば、一つの授業は、「コマ１：積み木積み」、「コマ２：パズル」、「コマ３：リズム体操」、・・・・「コマｎ：・・・・」といったようｎ個のコマに分けて構成されている。また、学習支援プログラムの管理者は、生徒が、例えば週に一度のペースで定期的に授業を受けることができるようにしている。従って生徒は、「自己の年齢（月齢）」と「何年何月第何週」といった受講の時期を目安に授業を選択する。具体的には、例えば「４歳６カ月」・「令和２年５月第１週」といったように授業を選択する。
【0067】
各「コマ」は、授業動画４２、特定シーン画像４１、及び授業マスターデータ４５で構成される。授業動画４２は授業の本体である。授業の本体とは授業で習得するべき内容を構成することを意味する。例えば動画中に「先生」が登場し、動画中の「先生」は、「レッスンを始めるよ」といった生徒に向けての挨拶によって授業を開始し、習得するべき内容を説明し、習得のための課題を生徒に与え、生徒の回答を評価し、最後には「これでおわり、さようなら」といった挨拶を述べて動画を終了する。すなわち、授業動画は、生徒に習得すべき事項の習得させるための一つのストーリーを構成している。
【0068】
特定シーン画像４１とは、授業動画中で生徒に課題を与えた後の「生徒の回答を待つ間の画像」とか、生徒の回答が誤答である場合に「正答を促す画像」とか、生徒が授業に飽きた場合に「注意喚起する画像」といった、一つの授業中に何度か登場するがぞうである。また、多くの授業に共通の画像である。
【0069】
授業マスターデータ４５とは、授業動画のどの段階でどのような特定シーンを表示するかを規定するデータである。図示しないが、コマ毎に、生徒の反応を評価する際に用いるデータもダウンロードされる。
【0070】
授業動画４２は、授業の内容に応じて様々であり、教師が講義する形式のもの、フラッシュカード形式（文字や絵を書いたカードを次々に切り替えて見せる形式）のもの、実際のパズルや器具を用いて所定時間内に何某の課題を解決させる形式のもの、画面に表れる指示に基づいて生徒が体操や踊りを行うもの、等がある（図示せず）。授業動画４２の特徴次第で、特定シーン画像４１と授業マスターデータ４５も様々である。従って特定シーン画像と授業マスターデータは、コマ毎に異なる。例として、「積み木積み」を内容とするコマ１の、授業動画１、特定シーン画像１および授業マスターデータ１について、図１０から図１６で説明する。
【0071】
図９に示す通り、ＣＰＵは授業スピード決定処理を行う。ＣＰＵは、授業を開始する際、生徒プロファイルに記載された生徒の成績に応じて、スタート時の再生動画の初期スピードを決定する（Ｓ１）。生徒の成績が上位であれば平均的なスピードよりも速くなるように決定し、下位であれば平均的なスピードよりも遅くなるよう決定する（Ｓ１）。授業の進行スピードは、授業中の心理状態に従って変更する（Ｓ２）。ＣＰＵは、心理状態がＢ［熟考］であるとの情報を取得した場合、考えるための時間を生徒に与えるために、進行中の授業のスピードを遅くする（Ｓ３）。心理状態がＡ［興味・愉快］であるとの情報を取得した場合、生徒は授業の波に乗っており、より早い授業の進行についていけると考えられるため、授業のスピードを速くする（Ｓ４）。
【0072】
図１０に、授業マスターデータ１を示す。授業マスターデータ１は、コマ名「積み木を積む」に用いる授業マスターデータである。「時間」の欄は、授業動画１の再生開始からの経過時間を示している。動画の再生開始時刻からの経過時間が「時間」の欄に記載された時間に到達した場合、動画の再生を中断して「イベント」に記載したイベント処理を行う。
【0073】
イベント処理は、授業動画の再生途中に、授業動画の再生を一時的に停止させ、割り込んで行う。イベント処理とは、授業動画において生徒に何らかの働きかけを行った後に、働きかけへの生徒の反応を取得し、取得した生徒の反応に応じて、さらに生徒に反応を促したり、生徒を評価したりする処理である。生徒の評価には、与えられた課題に対し生徒が合格レベルに達したかどうかの評価が含まれる。イベント処理は授業の内容に応じてある程度共通点があり、パターン化することができる。パターン化したイベント処理を予め作成し、イベント１、イベント２、といったように命名して区別しておく。
【0074】
イベント１は、教材判定の際のものとしてパターン化されたイベントである。教材判定とは、１００点と判定される状態の画像が「判定データ」に記録されており、この画像を生徒の作業結果の画像と比較し、画像の所定箇所が一致する割合を分析して行う判定である。「判定条件」は、所定箇所が一致する割合に関し、ＣＰＵが、生徒が合格レベルに達したと判断する割合を規定したものである。
【0075】
授業マスターデータ１では、０’４０”に行うイベント１では、縦方向に２個積まれた積み木の画像が判定データであり、ＣＰＵは、画像の生徒の画像と比較し所定箇所との一致が８０％以上の場合に、生徒は合格レベルに達したと判断する。同様に、１’１１”に行うイベント１では、縦方向に５個積まれた積み木の画像が判定データであり、ＣＰＵは、画像の生徒の画像と比較し所定箇所との一致が７０％以上の場合に、生徒は合格レベルに達したと判断する。
【0076】
図１１に特定シーン１を示す。特定シーン１は、積み木を積むことを内容とするコマ１において想定されるシーンである。具体的には「回答待ち」、「注意喚起」、「賞賛」、「残念」、「もうちょっと」の各シーンである。それぞれのシーンに適した画像を作成し、「回答待ちシーン」では「できるかな？」の語、「注意喚起シーン」て「がんばろうね」の語、「賞賛シーン」では「よくできたね、がんばった！」の語、「残念シーン」では「ざんねん！次にいくね」の語、「もうちょっとシーン」では「おしい！もうちょっと」の語をそれぞれ画像に付した。これらの語は音声で表してもよいこれらの画像や語は、生徒の年齢や季節等に応じて、生徒に伝わりやすいように作成する。
【0077】
図１２により、画像表示処理Iを示す。画像表示処理Iは、ＣＰＵが授業マスターデータに従って行う画像表示処理である。ＣＰＵは、授業動画を再生する（Ｓ５）。イベント時刻か否かを判断し（Ｓ６）、イベント時刻であれば授業動画の再生を中断し（Ｓ７）、イベント処理を行う（Ｓ８）。イベントが終了したか判断し（Ｓ９）、イベントが終了した場合には、授業動画の続きを再生する（Ｓ５）。イベント時刻か否かを判断し（Ｓ６）、イベント時刻でない場合には、授業動画が終了したか判断する（Ｓ１０）。授業動画が終了した場合には処理を終了する。
【0078】
図１３により、授業マスターデータ１に基づく授業の流れを示す。ＣＰＵはまず、画像表示処理I（図１２）により、授業動画を再生する。授業動画では、教師が授業開始の挨拶をし、授業の内容を説明し、一つ目の課題である「積み木を縦に２個積む」に関し、見本を示しつつ「積み木をこんな風に積んでね」と生徒に指示する。この時点で動画開始からの経過時間が００’４０”に達する。ＣＰＵは、動画開始から００’４０”経過の時刻になると、画像表示処理I（図１２）に示す通り、動画の再生を中断してイベント１のイベント処理を行う。すなわち、特定シーン１のうち「回答待ちシーン」の画像である「できるかな？」の画像を表示し、生徒の作業結果の情報を待つ。生徒の作業結果が、例えば「合格レベルに達した」と判定された場合、ＣＰＵは特定シーン１のうち「賞賛シーン」の画像である「よくできたね、がんばった！」の画像を表示し、イベント処理は終了する。
【0079】
授業動画１の再生は００’４０”の時点で中断しており、続きの授業動画が残存しているので、続きの授業動画を再生する。ここで、イベント１の処理を行っている間、動画は停止しているので、イベント１の処理を行った時間を動画の再生時間に加算することは行わない。授業動画では、教師が二つ目の課題である「積み木を縦に５個積む」に関し、見本を示しつつ「積み木をこんな風に積んでね」と生徒に指示する。この時点で動画開始からの動画再生の経過時間が０１’１１”に達する。ＣＰＵは、画像表示処理I（図１２）に示す通り、動画開始から０１’１１”経過の時刻になると、動画の再生を中断してイベント１のイベント処理を行う。イベント１のイベント処理の内容は、積み木２個を積む指示に対する生徒の作業中と同じであり、生徒の作業結果が、例えば「合格レベルに達した」と判定された場合、ＣＰＵは特定シーン１のうち「賞賛シーン」の画像を表示し、イベント処理は終了する。
【0080】
授業動画１の再生は０１’１１”の時点で中断しており、続きの動画が残存しているので、ＣＰＵは続きの授業動画を再生する。続きの授業動画では、教師は授業のまとめを行い、授業終了の挨拶をし、０３’００”経過すると授業動画は終了する。
【0081】
このように、授業の一連の流れのうち、生徒の作業結果を待ち、作業結果を判定し、判定結果の画像を示す、といった処理は、一つの授業で何度か表れる共通の処理であるので、パターン化することができる。パターン化した処理授業動画授業に割り込ませることにより、授業で用いるデータの容量を小さくすることができる。
【0082】
図１４に、画像表示処理IIを示す。画像表示処理IIは、イベント１のイベント処理時の画像表示処理である。イベント処理は、画像表示処理I（図１２）のＳ６に示すイベント時刻、すなわち、授業動画を再生中に、授業マスターデータにおいてイベントを開始する時刻として規定された時刻に到達した際に、授業動画再生を中断して開始する。イベントは、授業の内容に応じてパターン化しているところ、図１４では、コマ１「積み木を積む」（授業マスターデータ１、授業動画１及び特定シーン１を用いて行う授業）に適したイベントである。イベント毎に特有の処理が為される。
【0083】
ＣＰＵは、特定シーンのうち「回答待ちシーン」の画像を表示する（Ｓ１１）。ＣＰＵは、「回答待ちシーン」の画像を表示するのと同時に、タイマーによる経過時間の計測を開始する（Ｓ１２）。次にＣＰＵは、生徒から回答があったかどうかを判断する（Ｓ１３）。ＣＰＵは、生徒から回答があったか否か（あるいは、作業が終了したか否か）を次のように判断する（図示せず）。生徒の発する音声と生徒及び教材（積み木）の画像がマイクとカメラを介して取得される。生徒は、積み木を積む作業が完了した際、例えば「できた！」といった声を発する。または、作業する手を止めてタブレットの先生の画像を見る。そのような、積み木を積む作業において生徒の作業が終了した判断できる動作を想定して、授業マスターデータに記録しておく。ＣＰＵは、生徒から発する音声と生徒と教材の画像が授業マスターデータの記録と一致した場合に、生徒の作業が終了した（または「回答があった」）と判断する。
【0084】
次にＣＰＵは、生徒の作業結果が合格レベルに達しているかどうか判定する（Ｓ１４）。具体的には、２個の積み木がきちんと積まれている状態の画像、すなわち１００点満点の場合に１００点ということができる状態の画像を予め用意し、これを機械学習して、判定データ（図１０）として授業マスターデータに記録しておく。生徒の作業結果の画像と授業マスターデータに記録された判定データの画像を比較し、判定条件に示す通り８０点と判断されれば合格レベルに達したと判断する。ＣＰＵは、合格レベルに達したと判断しない場合には、特定シーンのうち「もうちょっとシーン」の画像を表示し（Ｓ１５）、生徒に作業をやり直すように促し、引き続き生徒の回答を待つ（作業の終了を待つ）（Ｓ１３）。ＣＰＵは、判定において（Ｓ１４）、合格レベルに達したと判断した場合、特定シーンのうち「賞賛シーン」の画像を表示する（Ｓ１６）。その後、タイマーをリセットして経過時間の計測を取りやめて（Ｓ１７）、処理を終了する。ＣＰＵは、生徒から発する音声と生徒と教材の画像が授業マスターデータの記録と一致しない場合、作業が終了していない（回答がない）と判断し（Ｓ１３）、経過時間が１分以上であるかを判断する（Ｓ１８）。経過時間が１分以上になったら、画面表示を特定シーンの「注意喚起シーン」として用意した画像に変更する（Ｓ１９）。ＣＰＵは引き続き、経過時間が３分以上経過したかを判断する（Ｓ２０）。経過時間が３分以上になったら、画面表示を「特定シーン」のうち「残念シーン」の画像として用意した画像を表示する（Ｓ２１）。その後、タイマーをリセットして経過時間の計測を取りやめて（Ｓ１７）、処理を終了する。経過時間の判断において（Ｓ２０）経過時間が３分よりも小さい場合、回答を待つ（Ｓ１３）。
【0085】
図１５に、画像表示処理IIIを示す。画像表示処理IIIは、心理状態情報取得時の画像表示処理である。授業の進行中、ＣＰＵは、授業動画再生中とイベント処理中のいずれも、生徒が発する音声と生徒と教材の画像を、マイクとカメラを介して取得している（図示せず）。図１５では、授業動画再生中の画像表示処理を説明する。ＣＰＵは授業動画を再生している（Ｓ２２）。ＣＰＵは心理状態情報を取得すると（Ｓ２３）、心理状態がＡ、Ｂのいずれかであるか、あるいはＣ、Ｄ、Ｅのいずれかであるかを判断する（Ｓ２４）。心理状態がＡとは「興味あり・または愉快」の状態であり、心理状態がＢとは「熟考中」の状態であるので、これらの場合には、生徒がそのまま授業を進めるのが好ましい。一方、心理状態がＣとは「躊躇又は恥かしい」の状態であり、心理状態がＤとは「不快又は不安又は不満」の状態であり、心理状態がＥとは「無関心又は眠い」の状態であり、いずれも生徒を励ましマイナス方向の気持ちを払拭できるよう促すことが望ましい。そこで、心理状態がＡ、Ｂのいずれかである場合、ＣＰＵは何もせずに処理を終了する。一方、心理状態がＣ、Ｄ、Ｅのいずれかである場合、ＣＰＵは注意喚起処理（図１６）を行い（Ｓ２５）、処理を終了する。
【0086】
図１６に、画像表示処理IVを示す。画像表示処理IVは、注意喚起時の画像処理である。ＣＰＵはまず、特定シーンのうち「注意喚起シーン」の画像として用意した画像を表示する（Ｓ２６）。ＣＰＵは「注意喚起シーン」の画像を表示するのと同時にタイマーにより経過時間の計測を開始する（Ｓ２７）。注意喚起シーンの画像の表示によって生徒の心理状態が変化した可能性があるため、ＣＰＵは、心理状態がＡ、Ｂのいずれかであるか、あるいはＣ、Ｄ、Ｅのいずれかであるかを判断する（Ｓ２８）。心理状態がＡ、Ｂのいずれかである場合、ＣＰＵは特定シーンのうち「賞賛シーン」で表示する画像として作成した画損を表示し（Ｓ２９）、タイマーによる計測を終了して（Ｓ３３）、処理を終了する。心理状態がＣ、Ｄ、Ｅのいずれかである場合、ＣＰＵは経過時間を判断する（Ｓ３０）。経過時間が３分以上のとき、ＣＰＵは特定シーンのうち「残念シーン」で表示する画像として作成した画像を表示し（Ｓ３１）、タイマーによる計測を終了して（Ｓ３３）、処理を終了する。
【0087】
［受講状況記録］
授業が終了したら、ＣＰＵは、生徒が選んだ授業と、授業の進行状況（回答の有無、回答の正誤等）を記録する。ＣＰＵは、授業中の画像音声分析結果、受講状態推定結果及び心理状態推定結果も記録する。上記は、全て時刻情報を伴なって記録する。ＣＰＵは、記録された情報に基づき、前回の授業における授業の結果との差異、及び、そのような差異から導かれる生徒へのアドバイスを作成し画面に表示する。
授業が終了したら、ＣＰＵは、生徒が選んだ授業と、授業の進行状況（回答の有無、回答の正誤等）を記録する。ＣＰＵは、授業中の画像音声分析結果、受講状態推定結果及び心理状態推定結果も記録する。上記は、全て時刻情報を伴なって記録する。ＣＰＵは、記録された情報に基づき、前回の授業における授業の結果との差異、及び、そのような差異から導かれる生徒へのアドバイスを作成し画面に表示する。
【符号の説明】
【0088】
１ 生徒のコンピュータ
２ 制御部
３ ＣＰＵ
４ ＲＯＭ
５ 音声出力装置
６ 入力装置
７ 表示装置
８ 通信制御装置
９ 音声入力装置
１０ 画像入力装置
１１ 時計装置
１２ バスライン
１３ 記憶装置
１４ データ格納部
１５ プログラム格納部
３０ 生徒
３１ 保護者
３５ タブレット
４０ 授業動画
４１ 特定シーン動画
４２ 授業コマ動画
４５ 授業マスターデータ
２ 制御部
３ ＣＰＵ
４ ＲＯＭ
５ 音声出力装置
６ 入力装置
７ 表示装置
８ 通信制御装置
９ 音声入力装置
１０ 画像入力装置
１１ 時計装置
１２ バスライン
１３ 記憶装置
１４ データ格納部
１５ プログラム格納部
３０ 生徒
３１ 保護者
３５ タブレット
４０ 授業動画
４１ 特定シーン動画
４２ 授業コマ動画
４５ 授業マスターデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】