特許 7521886 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20240717BHJP

   G09B 19/00 20060101ALI20240717BHJP

【ＦＩ】

G06Q50/20

G09B19/00 H

【請求項の数】 12

(21)【出願番号】P 2019138149

(22)【出願日】2019-07-26

(65)【公開番号】P2021022157

(43)【公開日】2021-02-18

【審査請求日】2022-05-16

(73)【特許権者】

【識別番号】709006024

【氏名又は名称】株式会社ベネッセコーポレーション

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】原 慧

(72)【発明者】

【氏名】山口 美樹

【審査官】松田 岳士

(56)【参考文献】

【文献】特開２０１２－１７３５６６（ＪＰ，Ａ）

【文献】特開２０１９－０８６６０２（ＪＰ，Ａ）

【文献】特開２０１１－００７９６３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１１１６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０９Ｂ １９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
１又は複数のセンサによりセンシングされた各センシングデータを取得すること、
前記各センシングデータのうち一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、前記学習者の成長に関する所定条件を満たす第１データを抽出すること、
抽出された各第１データに基づいて、前記学習者に関連付けられる少なくとも１つのデータファイルを生成すること、
を実行させる、プログラム。

【請求項2】

前記１又は複数のセンサは、撮影装置、マイク、及びモーションキャプチャセンサのうち少なくとも１つを含み、
前記抽出することは、前記各センシングデータに含まれる前記学習者の行動データ又は発話データの特徴に基づいて、前記第１データを抽出することを含む、請求項１に記載のプログラム。

【請求項3】

過去のクラスにおいて抽出された前記学習者の各第１データを記憶する記憶部から、所定の学習者の過去の各第１データを取得すること、をさらに前記コンピュータに実行させ、
前記抽出することは、
前記所定の学習者に対し、取得された過去の各第１データにさらに基づいて、今回のクラスにおける抽出対象の各第１データを特定することを含む、請求項１又は２に記載のプログラム。

【請求項4】

コンピュータに、
１又は複数のセンサによりセンシングされた各センシングデータを取得すること、
前記各センシングデータのうち一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、前記学習者の成長に関する所定条件を満たす第１データを抽出することであって、各第１データを、当該第１データから認識される学習の成長度合いに基づいてスコアリングすることを含む、抽出すること、
抽出された各第１データに基づいて、前記学習者に関連付けられる少なくとも１つのデータファイルを生成することであって、前記各第１データの各スコアに基づいて前記データファイルを生成することを含む、生成すること、
を実行させるプログラム。

【請求項5】

前記スコアリングすることは、
前記学習者の発話に関するデータ、及び前記学習者の位置又は動きに関するデータの少なくとも１つに基づいて、前記第１データをスコアリングすることを含む、請求項４に記載のプログラム。

【請求項6】

前記生成することは、
前記データファイルに含まれる前記第１データの前記スコアに関する情報を、前記データファイルに関連付けることを含む、請求項４又は５に記載のプログラム。

【請求項7】

コンピュータに、
１又は複数のセンサによりセンシングされた各センシングデータを取得すること、
前記各センシングデータのうち一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、前記学習者の成長に関する所定条件を満たす第１データを抽出すること、
抽出された各第１データに基づいて、前記学習者に関連付けられる少なくとも１つのデータファイルを生成すること、を実行させ、
前記クラスの指導者により指定されたセンシングデータの一部を取得すること、をさらに前記コンピュータに実行させ、
前記抽出することは、
前記指定されたセンシングデータの一部を、前記第１データに含める、プログラム。

【請求項8】

前記各第１データを機械学習し、前記第１データを抽出する学習モデルを生成することを、さらに前記コンピュータに実行させ、
前記抽出することは、
前記各センシングデータ及び前記学習モデルに基づいて、前記第１データを抽出することを含む、請求項１乃至７いずれか一項に記載のプログラム。

【請求項9】

前記各学習者に対する各第１データを機械学習し、前記各学習者の特徴を抽出する学習モデルを生成し、前記各センシングデータ及び前記学習モデルに基づいて、所定の学習者に対する所定の指導者又は他の学習者のマッチング処理を行うことを、さらに前記コンピュータに実行させる、請求項１乃至７いずれか一項に記載のプログラム。

【請求項10】

情報処理装置から、前記学習者に関連付けられた識別情報と、前記データファイルの取得要求とを受信すること、
前記識別情報から特定された学習者のデータファイルを、前記情報処理装置に送信すること、をさらに前記コンピュータに実行させる、請求項１乃至９のいずれか一項に記載のプログラム。

【請求項11】

１又は複数のセンサによりセンシングされた各センシングデータを取得する取得部と、
前記各センシングデータのうちの一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、学習者の成長に関する所定条件を満たす第１データを抽出する抽出部と、
抽出された各第１データに基づいて、前記学習者に関連付けられる少なくとも１つのデータファイルを生成する生成部と、
を備える、情報処理装置。

【請求項12】

コンピュータが、
１又は複数のセンサによりセンシングされた各センシングデータを取得すること、
前記各センシングデータのうち一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、前記学習者の成長に関する所定条件を満たす第１データを抽出すること、
抽出された各第１データに基づいて、前記学習者に関連付けられる少なくとも１つのデータファイルを生成すること、
を実行する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

近年、学習者の学習レベルや学習状態に応じて、コンテンツを提供するシステムが開発されている。例えば、カメラにより撮像された学習者の画像に基づいて判断された学習状態に応じて、コンテンツを学習者端末に送信する技術が知られている（例えば特許文献１参照）。また、教育の現場において、教育を受ける対象者に対して、学習レベルに応じた難易度や重要度の問題コンテンツを提示するという技術が知られている（例えば特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３３７５２８号公報

【文献】特開２０１５－１０２５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、学習者の学習レベル等に応じてコンテンツを学習者に提供しているが、学習者は、自身のレベル等に応じてコンテンツで学習したとしても、自身の成長をなかなか実感しにくいという課題がある。また、保護者にとっても、教育を受けている学習者が、その教育を受けることでどれくらい成長しているのかを把握しにくいという課題がある。そのため、教育業界において、学習者の成長を実感する又は把握させることができるようなツールの開発が求められている。

【0005】

そこで、本開示の技術は、上述した課題を解決するためになされたものであり、学習者をセンシングしたデータの中から、学習者の変化に関するデータを自動的に抽出し、学習者の成長を把握可能な情報を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、開示技術の一態様におけるプログラムは、コンピュータに、 １又は複数のセンサによりセンシングされた各センシングデータを取得すること、前記各センシングデータのうち一のセンシングデータに基づいて認識された学習者であって、クラスに参加する前記学習者に対し、前記クラス中の各センシングデータの中から、前記学習者の変化に関する所定条件を満たす第１データを抽出すること、前記学習者に、抽出された各第１データに基づいて少なくとも１つのデータファイルを生成すること、を実行させる。

【発明の効果】

【0007】

本発明によれば、学習者をセンシングしたデータの中から、学習者の変化に関するデータを自動的に抽出し、学習者の成長を把握可能な情報を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本開示のシステム概要を説明するための図である。

【図2】実施形態に係る情報処理システム１の概略構成の一例を示す図である。

【図3】実施形態に係るサーバ１０のハードウェア構成の一例を示す図である。

【図4】実施形態に係る第１情報処理装置２０のハードウェア構成の一例を示す図である。

【図5】実施形態に係るセンサ３０のハードウェア構成の一例を示す図である。

【図6】実施形態に係るサーバ１０の機能構成の一例を示すブロック図である。

【図7】実施形態に係る第１記憶部４０８に記憶される学習者情報の一例を示す図である。

【図8】実施形態に係る第１記憶部４０８に記憶されるセンシングデータの一例を示す図である。

【図9】実施形態に係る第１記憶部４０８に記憶される条件情報の一例を示す図である。

【図10】実施形態に係る第１記憶部４０８に記憶されるＦＢ情報の一例を示す図である。

【図11】実施形態に係る第１情報処理装置２０の機能構成の一例を示す図である。

【図12】実施形態に係る第２情報処理装置４０の機能構成の一例を示す図である。

【図13】実施形態に係るフィードバック情報の生成処理の概要を示す図である。

【図14】実施形態に係るユーザインターフェースの一例を示す図である。

【図15】実施形態に係る保護者・学習者側のアプリケーション画面の具体例を示す図である。

【図16】実施形態に係る情報処理システム１の処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態について、図面を参照しつつ詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。また、同一の要素には同一の符号を付し、重複する説明を省略する。

【0010】

以下、添付図面を参照しながら本開示の実施形態について詳細に説明する。
＜システム概要＞
図１は、本開示のシステム概要を説明するための図である。図１に示す例では、指導者ＴＡ、ユーザＵＡ（第１学習者）、ユーザＵＢ（第２学習者）、ユーザＵＣ（第３学習者）が、教育又は保育に関するクラスに参加しており、そのクラスの様子をセンサ３０がセンシングする。センサ３０は、撮影装置、マイク、及びモーションキャプチャセンサのうち少なくとも１つを備えている。センサ３０は、複数の異なるセンサを搭載して１つのセンサデバイスを構成してもよい。ここで、クラスとは、物理的な場所で行われるクラス以外にも、オンライン講座などの仮想的なクラスも含むものである。例えば、本開示のシステムでは、いわゆる教室のように、学習者が同じ場に集って参加する形式での利用や、個々の学習者がタブレット端末等を用いてオンラインで講座に参加し、個々の学習者に用意されたデバイスでセンシングされるような形式での利用が想定される。

【0011】

第１情報処理装置（例えば指導者が使用する端末）２０は、センサ３０からセンシングされた各センシングデータ（例えば静止画像データ、動画像データや音声データ）を取得し、サーバ１０に送信する。各センシングデータは、センサ３０から第１情報処理装置２０を介さずにサーバ１０に送信されてもよい。

【0012】

サーバ１０は、取得された各センシングデータのうちの一のセンシングデータに基づいて認識された少なくとも一の学習者に対し、成長に関する所定条件を満たすセンシングデータの一部（第１データ）を抽出する。例えば、サーバ１０は、クラスの様子を撮影した映像から、学習者が発話したシーンや、笑ったシーンや、指導者の発言に頷いたシーンなどを抽出する。サーバ１０は、学習者ごとに、抽出されたシーンをまとめて少なくとも一つのデータファイル（例えば動画像や１又は複数のシーンを含むサムネイル画像、又は評価コメント）を生成する。なお、サーバ１０は、センサ３０又は第１情報処理装置２０により認識された学習者情報や、音声認識された情報や、動き情報を取得してもよい。

【0013】

学習者ＵＡの保護者ＰＡは、自身が利用する第２情報処理装置（例えばスマートフォン）を用いて、クラスを運営する会社等から提供されるアプリケーションにログインし、学習者ＵＡに関連付けられたデータファイルを出力することで、そのクラスにおける学習者ＵＡの成長を把握可能なシーン等を確認することができる。

【0014】

なお、保護者ＰＡ又は学習者ＵＡは、クラスの終了時に、指導者ＴＡから、第１情報処理装置２０を用いて学習者ＵＡに関連付けられたデータファイルが出力されることで、すぐに学習者ＵＡの成長を把握することが可能になる。

【0015】

上記のとおり、本開示のシステムでは、学習者又は保護者等が、自動的に抽出されたクラス中の適切な情報に基づいて、学習者の学習の成長を適切に把握しやすくなる。また、本開示のシステムでは、データファイルを画像として表示することで、学習の成長を可視化して表示することも可能であり、これまで成長を把握しにくかった学習について、自動的に抽出されたクラスのフィードバック情報を容易に提供することができる。

【0016】

例えば、英語教育について、数回クラスを受講した程度の短期的な学習では学習者の成長を感じにくいという課題があり、保護者としても学習者の学習を継続させて良いのかどうかの判断がつきにくい。しかし、本開示のシステムによれば、学習者又は保護者が、１回のクラス内での学習者の成長を把握できるポイント（以下、「成長ポイント」とも称す。）を確認することができる。さらに、過去のクラスの成長ポイントを比較することで、時系列における成長についても把握することができるため、学習者のモチベーションアップにつなげ、継続的な学習を促すことができるようになる。さらに、自動で成長ポイントを抽出するシステムであるため、オペレータや指導者の手間を省くことができる。さらに、学習者ごとに、データファイルを成長記録情報として記憶しておけばよいため、クラスの様子をセンシングしたデータをそのまま記憶するよりも、データベースの記憶容量を有効に活用することができる。

【0017】

以下に示す実施形態では、説明の便宜上、学習者をユーザ（例えば子供）、クラスを英語のクラス、指導者を英語の先生として説明するが、この例に限られず、学習者は大人、クラスはプログラミングのクラス又はオンラインでのクラスなど、様々な例に適用でき、参加型のクラスに好適に適用することができる。

【0018】

［実施形態］
次に、上述したシステムを実現するためのシステム構成例について説明する。図２は、実施形態に係る情報処理システム１の概略構成の一例を示す図である。図２に示すように、サーバ１０と、クラスの指導者が使用する第１情報処理装置と、クラスの様子をセンシングする第１センサ３０Ａ、第２センサ３０Ｂ、・・・と、第２情報処理装置４０とが、ネットワークＮを介して相互に通信可能に接続されることにより、情報処理システム１が構成される。以降、センサをまとめて説明する場合は、符号３０を用いる。また、サーバ１０について、ネットワークＮに接続される数は、複数あってもよく、サーバ１０は、外付けのデータベースに通信可能に接続されてもよい。第１情報処理装置２０及び第２情報処理装置４０それぞれは、パーソナルコンピュータ、スマートフォン、タブレット端末などの処理可能な装置であり、そのいずれであってもよい。

【0019】

サーバ１０は、情報処理システム１において実行される学習支援を管理する情報処理装置である。サーバ１０は、ネットワークＮを介して、センサ３０からの各センシングデータを第１情報処理装置２０と送受信し、第１情報処理装置２０を利用するユーザの学習を支援する。

【0020】

第１情報処理装置２０は、ネットワークＮにアクセス可能な情報処理装置であって、限定ではなく例として、スマートフォンなどの携帯端末、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）を含む。第１情報処理装置２０は、指導者である先生により用いられる装置である。

【0021】

第１センサ３０Ａ、第２センサ３０Ｂは、学習者の様子をセンシングするセンサであり、例えば、撮影装置や、マイク、モーションキャプチャセンサなどセンサを少なくとも１つ有し、また、これらが複数組み合わせられてもよい。各センサによりセンシングされたセンシングデータは、第１情報処理装置２０に有線又は無線を介して送信される。

【0022】

第２情報処理装置４０は、ネットワークＮにアクセス可能な情報処理装置であって、限定ではなく例として、スマートフォンなどの携帯端末、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）を含む。第２情報処理装置４０は、学習者の保護者等により用いられる装置である。

【0023】

ネットワークＮは、複数種の通信回線や通信網及び種々のネットワーク機器を含んで構成され得る。例えば、ネットワークＮは、サーバ１０に無線接続される基地局や、無線ＬＡＮのアクセスポイント（ＷｉＦｉルータ等）、基地局に接続された移動体通信網、アクセスポイントからルータやモデムを介して接続された電話回線、ケーブルテレビ回線又は光通信回線などの公衆回線、サーバ１０に接続されたインターネット、移動体通信網や、公衆回線とインターネットを接続するゲートウェイ装置などを含む。

【0024】

＜ハードウェア構成＞
次に、学習支援機能を実行する情報処理システム１に係る各装置のハードウェア構成について説明する。図３は、実施形態に係るサーバ１０のハードウェア構成の一例を示す図である。図３に示すように、サーバ１０は、制御部１０２と、通信インターフェース１０４と、記憶部１０６と、を有し、各部はバスライン１１２を介して接続される。

【0025】

制御部１０２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなる。また、制御部１０２は、記憶部１０６に記憶されるアプリケーション等を実行することにより、学習支援を行う機能を実現するように構成される。

【0026】

通信インターフェース１０４は、ネットワークＮを介して第１情報処理装置２０との通信を制御する。

【0027】

記憶部１０６は、例えば大容量の複数のＨＤＤ等からなり、学習支援を行うサーバ機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、制御プログラム１０８を記憶する。また、記憶部１０６は、情報記憶部１１０を有する。

【0028】

制御プログラム１０８は、学習支援を行うアプリケーションを実行するプログラムである。例えば、制御プログラム１０８は、第１情報処理装置２０から取得した回答内容や記入内容などの入力情報に基づいて学習者の取り組み状況を認識したり、学習者の顔画像から表情を認識したり、それらの情報から補助情報を決定したりする。また、制御プログラム１０８は、第１情報処理装置２０に補助情報などを送信したりするプログラムである。

【0029】

情報記憶部１１０は、学習支援機能を利用する各ユーザ端末の情報などを記憶する。例えば、情報記憶部１１０は、第１情報処理装置２０の学習者情報、及び条件情報などを記憶してもよい。

【0030】

次に、第１情報処理装置２０のハードウェア構成について説明する。図４は、実施形態に係る第１情報処理装置２０のハードウェア構成の一例を示す図である。図４に示すように、第１情報処理装置２０は、制御部２０２と、通信インターフェース２０６と、記憶部２０８と、表示部２１４と、入力部２１６と、マイク２２０と、スピーカ２２２と、を有し、各部はバスライン２１８を介して接続される。なお、第２情報処理装置４０のハードウェア構成は、第１情報処理装置２０のハードウェア構成と同様であるため、その説明を省略する。

【0031】

制御部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ２０４等からなる。制御部２０２は、記憶部２０８に記憶されるアプリケーション等を実行することにより、一般的な情報処理装置としての機能に加え、学習支援機能を実現するように構成される。また、制御部２０２は、入力された画像に対して認識機能を実行してもよい。

【0032】

また、ＲＡＭ２０４は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。

【0033】

通信インターフェース２０６は、ネットワークＮを介してサーバ１０との通信を制御する。

【0034】

記憶部２０８は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、アプリプログラム２１０を記憶する。また、記憶部２０８は、情報記憶部２１２を有している。

【0035】

アプリプログラム２１０は、上述した学習支援機能を実行するためのプログラムである。例えば、アプリプログラム２１０は、指導者の装置にインストールされていれば、サーバ１０により抽出されたデータを選択したり、学習者へのフィードバックコメントを付与したり、学習者の成長を実感可能な情報を出力したりする機能を有する。また、アプリプログラム２１０は、学習者の保護者にインストールされていれば、学習者の成長を実感可能な情報を出力したり、学習者の過去のクラスの状況等を把握したり、学習者の現在の学習レベル等を把握したりする機能を有する。また、アプリプログラム２１０は、各種データやリクエストをサーバ１０に送信したり、サーバ１０から各種データを受信したりするプログラムである。

【0036】

情報記憶部２１２は、システムへのログイン情報や、学習支援に用いるデータなどを記憶する。

【0037】

表示部２１４は、例えばタッチパネルや液晶モニターなどのディスプレイであり、ユーザに情報を表示する。例えば、表示部２１４は、アプリケーションの実行画面を表示し、具体的には、フィードバックの編集画面や、フィードバック画面などを表示する。

【0038】

入力部２１６は、ユーザからの入力を受け付けたり、ユーザからの指示を受け付けたりする。なお、表示部２１４と入力部２１６とは、タッチパネルとして構成されてもよい。

【0039】

マイク２２０は、音声などの音を集音するデバイスであり、ノイズキャンセル機能などを有してもよい。スピーカ２２２は、音声データを物理振動に変えて、音楽や音声などの音を出力するデバイスである。

【0040】

次に、センサ３０のハードウェア構成について説明する。図５は、実施形態に係るセンサ３０のハードウェア構成の一例を示す図である。図５に示すように、センサ３０は、撮影装置３０２と、認識部３０４と、マイク３０６とを有する。また、センサ３０は、図示しない通信インターフェースを有する。センサ３０は、例えば、高性能な認識機能を有するＩｄｅｉｎ社のＡｃｔｃａｓｔ対応のＲａｓｐｂｅｒｒｙ Ｐｉを搭載してもよく、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＫｉｎｅｃｔ（登録商標）Ｖ２、Ｉｎｔｅｌ（登録商標）社のＲｅａｌＳｅｎｓｅ Ｄ４１５などのモーションキャプチャセンサを搭載してもよい。なお、これらのデバイスは必要に応じて別体として設けられてもよい。

【0041】

撮影装置３０２は、カメラ機能を有し、クラスの様子を撮影することが可能である。認識部３０４は、撮影装置３０２により撮影された画像に対し、各学習者の顔認識を行ったり、オープンポーズなどの技術を用いて骨格認識から各学習者の体の動きを認識したりする。マイク３０６は、クラス内の音を集音する。認識部３０４は、マイク３０６により集音された音データから、各学習者の音声認識を行ったり、クラスの盛り上がりを認識したりしてもよい。

【0042】

＜機能構成＞
次に、図６～図１２を用いて、実施形態に係る情報処理システム１の各装置の機能について説明する。図６は、実施形態に係るサーバ１０の機能構成の一例を示すブロック図である。図６に示すサーバ１０は、第１通信部４０２、第１記憶部４０８、アプリ制御部４１０としての機能を有する。

【0043】

第１通信部４０２は、例えば、制御部１０２や通信インターフェース１０４などにより実現されうる。第１記憶部４０８は、例えば記憶部１０６により実現されうる。アプリ制御部４１０は、例えば制御プログラム１０８が制御部１０２により実行されることにより実現されうる。

【0044】

第１通信部４０２は、第１情報処理装置２０、センサ３０、及び第２情報処理装置４０（以下、「第１情報処理装置等」とも称す。）と、ネットワークＮを介して通信を行うものである。例えば、第１受信部４０６は、第１情報処理装置等から受信したデータを、アプリ制御部４１０に供給する。また、第１送信部４０４は、アプリ制御部４１０から供給されたデータを、第１情報処理装置等へ送信する機能を有する。

【0045】

第１記憶部４０８は、各種プログラムや各種データを記憶するためのものである。ここで、第１記憶部４０８に記憶されるプログラムは、後述する処理手順を実行する学習支援アプリケーションに関するプログラムである。また、第１記憶部４０８には、学習支援に関するデータや表示データや各種演算結果のデータなども記録される。

【0046】

例えば、第１記憶部４０８には、学習者情報、センシングデータ、条件情報、及びフィードバック（ＦＢ）情報が記憶される。これらの情報は、物理的に別の記憶部に記憶されてもよいし、１つの記憶部が論理的に分割されて記憶されてもよい。第１記憶部４０８に記憶される各情報の詳細は、図７～１０を用いて後述する。なお、第１記憶部４０８は、サーバ１０とは別体のデータベースでもよい。

【0047】

図７は、実施形態に係る第１記憶部４０８に記憶される学習者情報の一例を示す図である。図７に示す例では、学習者情報は、学習者のユーザＩＤ、氏名、顔情報、年齢などを含む情報である。また、顔情報以外にも学習者を特定するラベル、色、二次元コード又は三次元コードが学習者情報に含まれてもよい。また、ユーザＩＤに関連付けて、保護者の識別情報（アカウント情報やログインＩＤ、ユーザＩＤなど）が学習者情報に含まれてもよい。

【0048】

ユーザＩＤは、事業者が提供する教育又は保育サービスに入会したときに学習者に与えられる学習者識別情報を表す。氏名は、学習者の氏名を表し、顔情報は、顔認証により認識される対象となる学習者の顔画像データを含み、年齢は、学習者の年齢を表す。例えば、ユーザＩＤ「０００１」の場合、氏名「ＡＡＡ」、顔画像「画像Ａ」、年齢「５歳」などがユーザＩＤに関連付けられている。

【0049】

図８は、実施形態に係る第１記憶部４０８に記憶されるセンシングデータの一例を示す図である。図８に示す例では、センシングデータは、日付、映像情報、音情報、動き情報を含む。また、センシングデータは、学習者の成長を把握するのに使用可能なその他のセンシングデータを含んでもよい。

【0050】

日付は、センシングされた日付や時間を含む。映像情報は、例えば、撮影装置３０２により撮影された画像情報を含み、音情報は、マイク３０６により集音された音情報を含み、動き情報は、撮影装置３０２に撮影された画像などに基づき、認識部３０４により認識された動き情報を含む。動き情報は、撮影装置３０２とは別のデバイスによりセンシングされた情報に基づいてクラス内の各学習者の動きが検出された情報でもよい。また、センシングデータは、映像情報、音情報、及び動き情報のうち、少なくとも１つの情報を含んでいればよい。また、認識部３０４は、撮影画像から、クラスに参加する各学習者の顔認識を行うことで、各学習者を特定してもよい。また、学習者の特定方法は、学習者を識別可能な情報（色や二次元又は三次元コード）が記載されたバッジやシールなどを各学習者の洋服につけてもらい、このバッジやシールを画像認識することで特定するようにしてもよい。

【0051】

図９は、実施形態に係る第１記憶部４０８に記憶される条件情報の一例を示す図である。図９に示す例では、条件情報は、映像情報、音情報、動き情報それぞれにおいて、学習者の成長を把握可能なシーン等を抽出するための条件を含む。例えば、映像情報では、笑っているシーン、口が動いているシーン、手が動いているシーンなどが、学習者がクラスの内容を理解し、学習者が行動しているシーンとして、また、成長過程に関連する情報の一例として抽出される。

【0052】

音情報では、クラスの盛り上がり、学習者の発話量、学習者が発生した単語数などが、学習者の成長過程に関連する情報の一例として抽出される。動き情報では、学習者のクラス内での位置（例えば徐々に指導者に近づいているか）、学習者の向き（例えば指導者の方を向いているか）、骨格の動き（例えば指導者の動きと合っているか）などが、成長過程に関連する情報の一例として抽出される。

【0053】

図１０は、実施形態に係る第１記憶部４０８に記憶されるＦＢ情報の一例を示す図である。図１０に示す例では、ＦＢ情報は、ユーザＩＤに関連付けられたデータファイルであり、画像情報、ＦＢ情報を構成する抽出結果情報、評価情報などを含む。画像情報は、抽出結果情報の第１データを含み、例えば抽出された静止画、動画シーンをまとめた画像情報である。抽出結果情報は、条件情報に基づいて抽出された第１データを含む。評価情報は、指導者により入力される学習者に対するクラス内での評価を示すテキストや音声データを含む。

【0054】

図６に戻り、アプリ制御部４１０は、実施形態における学習支援を例にして説明すれば、機能モジュールとしての、取得部４１２、抽出部４１４、生成部４２２、検索部４２４、及び学習部４２６を備える。機能モジュールは、制御部１０２で実行される上記各種プログラムにより実現され、或いは、ファームウェアとして制御部１０２に実装されてもよい。

【0055】

取得部４１２は、１又は複数のセンサによりセンシングされた各センシングデータを取得する。例えば、取得部４１２は、第１受信部４０６により受信された各センシングデータ又は第１記憶部４０８に記憶された各センシングデータを取得する。各センシングデータは、センサ３０又は第１情報処理装置２０により送信されたデータである。また、各センシングデータは、映像情報、音情報、動き情報の少なくとも１つを含む。

【0056】

抽出部４１４は、各センシングデータのうちの一のセンシングデータに基づいて認識された学習者に、クラス中の各センシングデータの中から、この学習者の変化に関する所定条件を満たす第１データを抽出する。学習者の変化は、例えば、学習者がクラスに参加して成長を実感できるような変化を含み、学習者の発話に関する変化、表情の変化、位置又は行動の変化を含む。抽出部４１４は、抽出された少なくとも一の学習者に、第１記憶部４０８に記憶される条件情報を満たす第１データを、取得された各センシングデータの中から抽出する。具体的には、抽出部４１４は、映像情報の中から、学習者が笑っているシーンを含む前後数秒の動画を第１データとして抽出したり、音情報の中から発話しているデータを含む前後数秒の音データを第１データとして抽出したり、動き情報から学習者が指導者に近づいたシーンを含む前後数秒のモーションデータを第１データとして抽出したりする。なお、クラスに参加する各学習者の認識処理は、センサ３０により実行されてもよいし、サーバ１０又は第１情報処理装置２０が認識部３０４の機能を有してもよい。学習者の認識に用いられるセンシングデータは、撮影画像や音データであり、顔認証や声紋認証などにより学習者が認識される。なお、抽出部４１４は、クラス内で認識されたすべての学習者それぞれに対し、抽出処理を実行してもよい。

【0057】

生成部４２２は、抽出された学習者に、抽出部４１４により抽出された各第１データに基づいて少なくとも１つのデータファイルを生成する。例えば、生成部４２２は、抽出された複数の映像情報を時系列に連結してまとめて１つの動画像を生成したり、学習者の音声を連結して１つの音声データを生成したり、学習者の動きデータを切り出して、１つの動きデータを生成したりする。生成されたデータファイルは、ＦＢ情報に記憶される。

【0058】

これにより、学習者をセンシングしたデータの中から、学習者の変化に関するデータを自動的に抽出し、学習者の成長を把握可能な情報を提供することが可能になる。例えば、設定された条件情報に基づいて、各センシングデータの中から、学習者の成長を示す特異なシーンなどを自動で抽出することができるようになり、学習者の成長を示す情報の提供が容易になる。また、サーバ１０としては、生成部４２２により生成されたデータファイルを記憶し、バッファリングしておいたセンシングデータを定期的に削除することができるため、メモリ容量を効率よく使用することができる。また、教室やオンラインにおけるクラス内での学習者の成長を示すデータファイルを保護者に提供することで、保護者は学習者の成長を把握することが可能になり、また、学習者自身もデータファイルを視聴することで、自身の成長を実感することが可能になる。

【0059】

また、センサ３０は、上述したとおり、撮影装置３０２、マイク３０６、及びモーションキャプチャセンサのうち少なくとも１つを含む。抽出部４１４は、各センシングデータに含まれる学習者の行動データ又は発話データの特徴に基づいて、第１データを抽出することを含んでもよい。

【0060】

これにより、生成されるデータファイルの中に、学習者の成長を把握可能な行動データや発話データを含めることができ、より具体的に学習者の成長を学習者や保護者に把握させることができる。

【0061】

また、取得部４１２は、過去の学習クラスにおいて抽出された学習者毎の各第１データを記憶する第１記憶部４０８から、所定の学習者の過去の各第１データを取得してもよい。この場合、抽出部４１４は、所定の学習者に対し、取得された過去の各第１データにさらに基づいて、今回の学習クラスにおける抽出対象の各第１データを特定する特定部４１６を含んでもよい。例えば、特定部４１６は、過去の第１データと、今回の第１データとを比較することで、過去よりも、学習者の発話量が増えたり、単語数が増えたり、頷き回数が増えたりすることを、成長における特異なものとして特定して抽出することが可能になる。

【0062】

これにより、学習者の１回のクラス内だけの成長ではなく、過去からどれくらい成長したかを示すデータファイルを生成することが可能になる。例えば、保護者等は、時系列の観点で学習者の成長を把握することができるようになる。

【0063】

また、抽出部４１４は、各第１データを、この第１データから認識される学習の成長度合いに基づいてスコアリングするスコアリング部４２０を含んでもよい。この場合、生成部４２２は、各第１データの各スコアに基づいてデータファイルを生成してもよい。例えば、スコアリング部４２０は、抽出されたセンシングデータに対し、所定の算定基準に応じてスコアリングを行う。例えば、所定の算定基準は、抽出されたデータ内においてカウント可能なパラメータ（例えば、発話量、単語数など）の回数が多いほど、スコアが高くなるような算定式が設定されればよい。また、生成部４２２は、例えば、抽出された第１データに対し、スコアが高い上位所定数の第１データを選択してデータファイルを生成してもよい。

【0064】

これにより、クラス内で多くの第１データが抽出される場合に、スコアに基づいて所定数の第１データに絞ることができ、学習者の成長を示す簡潔で適切なデータファイルを自動で生成することが可能になる。

【0065】

また、スコアリング部４２０は、学習者の発話に関するデータ、及び学習者の位置又は動きに関するデータのうち少なくとも１つに基づいて、第１データをスコアリングすることを含んでもよい。学習者の発話に関するデータは、学習者の発話量、１回の発話内の単語数、声のトーン、指導者の問いかけに対する返答速度などを含み、学習者の位置又は動きに関するデータは、学習者の体の動きと指導者の体の動きとの一致度、表情の明るさ、学習者と指導者との位置関係、指導者の問いかけに対する体の反応速度などを含む。例えば、発話量が多くなるほどスコアが高くなり、単語数が増えるほどスコアが高くなり、学習者の体の動きが、指導者の体の動きと一致するほどスコアが高くなるような算定式が設定されていればよい。上記例は一例であって、全ての第１データに対してスコアが付与されるように、算定式が設定されていればよい。

【0066】

これにより、より客観的な基準を用いて抽出されたセンシングデータに基づいて、学習者の成長を示すデータファイルを生成することが可能になる。

【0067】

また、生成部４２２は、データファイルに含まれる第１データのスコアに関する情報を、データファイルに関連付けることを含んでもよい。例えば、生成部４２２は、学習者の成長を示すデータファイルを生成する際に、データファイルを構成する第１データが選ばれた根拠となったスコアに関する情報を、データファイルに関連付けて付与してもよい。生成部４２２は、スコアに関する情報を理由情報としてデータファイルに含めることで、この理由情報が第１情報処理装置２０や第２情報処理装置４０において表示可能になる。理由情報は、例えば、発話量の増加、発話内の単語数の増加、体の動きの一致度、指導者を見ている時間の増加などに関する情報である。

【0068】

これにより、学習者の成長を示すデータファイルの生成根拠を示すことができるようになり、学習者や保護者などに対して、データファイルの正当性や説得性を向上させることが可能になるとともに、指導者に対して、学習者への指導に際して特に意識すべき成長ポイントを例示することになり、指導者の指導の質を向上させることが可能になる。

【0069】

また、取得部４１２は、クラスの指導者により指定されたセンシングデータを取得してもよい。例えば、指導者に所定時点を記録するデバイス（例 Ａｍａｚｏｎ（登録商標）Ｄａｓｈ）を保持してクラスを進行してもらい、子供が成長したと指導者が感じるときに指導者にボタンを押してもらうことで、取得部４１２は、指導者が感じる学習者の成長シーンを取得する。具体的には、映像に対し、ボタン押下時のタイムスタンプ等が付与されることで、このタイムスタンプに基づき、指導者により指定されるセンシングデータの一部を特定することが可能になる。

【0070】

この場合、抽出部４１４は、指定されたセンシングデータの一部を、第１データに含めてもよい。例えば、抽出部４１４は、指導者により指定されたセンシングデータの一部を、データファイルの構成要素とするため、第１データに含める。なお、指導者により指定された第１データについて優先度を高くするために、スコアリング部４２０は、指導者により指定された第１データに対し高いスコアを付すようにしてもよい。

【0071】

これにより、指導者により指定されたセンシングデータの一部をデータファイルに含めることができ、実際にクラスを指導する指導者からの観点で、学習者の成長を把握させる特異なシーン等を抽出することが可能になり、より適切なデータファイルを生成することが可能になる。

【0072】

また、アプリ制御部４１０は、各第１データを機械学習し、第１データを抽出する学習モデルを生成する学習部４２６を有してもよい。例えば、学習部４２６は、ＡＩ（人工知能）等を用いて、抽出された第１データを学習させることで、どういう条件で第１データを抽出すればよいかを示す学習モデルを生成する。この場合、抽出部４１４は、各センシングデータ、及び、生成された学習モデルに基づいて、第１データを抽出してもよい。

【0073】

これにより、過去の第１データを用いて学習された学習モデルを用いることで、より適切な第１データを抽出することが可能になり、より適切なデータファイルを生成することが可能になる。

【0074】

また、学習部４２６は、各学習者の発話や体の動きを含む活動内容を学習し、学習者の特徴を抽出する学習モデルを生成してもよい。学習者の特徴とは、例えば、所定の指導者に対して活動量が増加する特徴や、クラスを活性化させるリーダー的な特徴や、聞き上手な特徴などである。学習部４２６は、各センシングデータ、及び、生成された学習モデルに基づいて、所定の学習者に対する所定の指導者又は他の学習者のマッチング処理を行ってもよい。例えば、学習部４２６は、所定の学習者が所定の指導者の場合に活動内容が増加する場合には、この学習者とこの指導者とをマッチングしたり、所定の学習者と同じクラスであればクラスが活性化しそうな他の学習者とをマッチングしたりする。

【0075】

これにより、過去の第１データを用いて学習された学習モデルを用いることで、学習者と指導者とのマッチング、学習者同士のマッチングなどに適用することが可能になり、クラス運営側では、このマッチング情報をクラス編成に役立てることができるようになる。

【0076】

また、第１受信部４０６は、第２情報処理装置４０から、学習者に関連付けられた識別情報（保護者が使用するアカウントＩＤなど）と、データファイルの取得要求とを受信してもよい。この場合、アプリ制御部４１０に含まれる検索部４２４が、受信された識別情報に関連付けられたユーザＩＤを検索して特定し、このユーザＩＤに対するデータファイルを特定する。第１送信部４０４は、識別情報から特定された学習者のデータファイルを、第２情報処理装置４０に送信してもよい。

【0077】

これにより、保護者等が、自身のタイミングで学習者の成長を把握可能なデータファイルにアクセスすることができる。また、保護者等が保護者用のアプリケーションにログインしたときに、自動でデータファイルを提供することも可能になる。

【0078】

図１１は、実施形態に係る第１情報処理装置２０の機能構成の一例を示す図である。図１１に示す第１情報処理装置２０は、指導者が利用する第１情報処理装置２０であり、この第１情報処理装置２０を機能的な観点から示す。第１情報処理装置２０は、指導者がアプリケーションにログイン等することに応じて、学習支援サービスを実行するためのものであり、そのための機能として、少なくとも第２通信部５０２、第２記憶部５０８、第１アプリ実行部５１０、及び編集部５１６を備える。

【0079】

第２通信部５０２は、サーバ１０やセンサ３０とネットワークＮとの間で通信を行うものである。例えば、第２受信部５０６は、サーバ１０やセンサ３０から受信したデータを、第１アプリ実行部５１０に供給し、第２送信部５０４は、第１アプリ実行部５１０から供給されたデータを、サーバ１０へ送信する機能を有する。第２通信部５０２は、具体的には、少なくとも上述した図４に示す通信インターフェース２０６等から構成され得る。

【0080】

第２記憶部５０８は、各種プログラムや各種データを記憶するためのものであり、具体的には、上述した図４に示す記憶部２０８等から構成され得る。ここで、第２記憶部５０８に記憶されるプログラムは、指導者に対して提供される指導者用（第１）アプリケーションの第１プログラムである。また、第２記憶部５０８には、かかる学習支援に関するデータや表示データや各種演算結果のデータなども記録される。

【0081】

第１アプリ実行部５１０は、例えば制御部２０２等から構成され得る。第１アプリ実行部５１０は、第１プログラムを実行することで、第１アプリケーション、例えば、指導者側の学習支援サービスを実行する各機能を有する。第１アプリ実行部５１０は、この学習支援サービスを実行する各機能として、少なくとも第１操作受付部５１２、第１表示制御部５１４、及び編集部５１６を備える。

【0082】

第１操作受付部５１２、指導者の操作を受け付ける。第１操作受付部５１２は、入力部２１６やマイク２２０を介して、指導者が入力した操作内容や情報を受け付ける。例えば、第１操作受付部５１２は、指導者によるサーバ１０へのアクセス要求や、抽出された第１データの選択や、文字情報や音声情報等の評価情報を受け付ける。

【0083】

第１表示制御部５１４は、学習支援システムが提供する問題や、解説、アドバイスを含む画面情報や、フィードバックに対する編集画面や、フィードバック用のデータファイル等を表示部２１４に表示するよう制御する。表示部２１４により表示されるデータは、第１アプリケーションがサーバ１０から取得したデータであってもよいし、第１アプリケーションにより生成されたデータであってもよい。

【0084】

編集部５１６は、学習者のＦＢ情報に対して編集を行う機能を有する。例えば、編集部５１６は、抽出された第１データに対して、指導者の操作に基づいて抽出しなおしたり、データファイルに対して指導者のコメントを付与したりする。これにより、指導者の編集内容が指導記録として一元管理することが可能になり、次回以降のクラスにおいて、指導者が利用する装置に前回の指導記録を提供したりして、指導者に指導記録を復習させることで、学習者の状態・特徴にあった効果的な指導が可能になるという効果が得られる。

【0085】

なお、上述した例では、サーバ１０の機能と、第１情報処理装置２０の機能とを分けて説明したが、サーバ１０の機能の少なくとも一部を第１情報処理装置２０が備えるようにしてもよい。また、センサ３０の機能と、第１情報処理装置２０の機能とを分けて説明したが、センサ３０の機能の少なくとも一部を第１情報処理装置２０が備えるようにしてもよい。例えば、映像や音データから学習者を認識する機能は、第１情報処理装置２０に備えられてもよい。

【0086】

図１２は、実施形態に係る第２情報処理装置４０の機能構成の一例を示す図である。図１２に示す第２情報処理装置４０は、保護者が利用する第２情報処理装置４０であり、この第２情報処理装置４０を機能的な観点から示す。第２情報処理装置４０は、保護者がアプリケーションにログイン等することに応じて、学習支援サービスを受けるためのものであり、そのための機能として、少なくとも第３通信部６０２、第３記憶部６０８、及び第２アプリ実行部６１０を備える。

【0087】

第３通信部６０２は、サーバ１０とネットワークＮとの間で通信を行うものである。例えば、第３受信部６０６は、サーバ１０から受信したデータを、第２アプリ実行部６１０に供給し、第３送信部６０４は、第２アプリ実行部６１０から供給されたデータを、サーバ１０へ送信する機能を有する。第３通信部６０２は、具体的には、少なくとも上述した図４に示す通信インターフェース２０６等から構成され得る。

【0088】

第３記憶部６０８は、各種プログラムや各種データを記憶するためのものであり、具体的には、上述した図４に示す記憶部２０８等から構成され得る。ここで、第３記憶部６０８に記憶されるプログラムは、保護者に対して提供される保護者用（第２）アプリケーションの第２プログラムである。また、第３記憶部６０８には、かかる学習支援に関するデータや表示データなども記録される。

【0089】

第２アプリ実行部６１０は、例えば制御部２０２等から構成され得る。第２アプリ実行部６１０は、第２プログラムを実行することで、第２アプリケーション、例えば、保護者側の学習支援サービスを受ける各機能を有する。第２アプリ実行部６１０は、この学習支援サービスを受ける各機能として、少なくとも第２操作受付部６１２、第２表示制御部６１４を備える。

【0090】

第２操作受付部６１２は、保護者の操作を受け付ける。第２操作受付部６１２は、入力部２１６やマイク２２０を介して、保護者が入力した操作内容や情報を受け付ける。例えば、第２操作受付部６１２は、保護者によるサーバ１０へのアクセス要求や、文字入力を受け付ける。

【0091】

第２表示制御部６１４は、学習支援システム１が提供する学習者の学習状況を確認する画面を含む画面情報等を表示部２１４に表示するよう制御する。学習状況を示す画面は、サーバ１０により生成された学習のフィードバック情報を含む。表示部２１４により表示されるデータは、第２アプリケーションがサーバ１０から取得したデータであってもよいし、第２アプリケーションにより生成されたデータであってもよい。

【0092】

＜具体例＞
次に、図１３～図１５を用いて、学習者のフィードバック情報が生成される処理について説明する。図１３～１５に示す例では、幼児が英語教育を受けることを例にしている。図１３は、実施形態に係るフィードバック情報の生成処理の概要を示す図である。

【0093】

（１）特異点の特定
センサ３０は、クラス内の様子を撮影し、認識部３０４により、クラスに参加している学習者を認識し、また、認識結果とともに、各センシングデータをサーバ１０に送信する。サーバ１０の抽出部４１４は、各センシングデータを取得すると、条件情報を満たす第１データを抽出する。例えば、抽出部４１４は、幼児が笑ったり話したりするシーンを含む前後数秒の映像を映像から抽出する。

【0094】

（２）トップ５の抽出
抽出部４１４は、抽出された第１データに対してスコアリングをすることで、上位５つの第１データを抽出する。例えば、抽出部４１４は、スコアが高い順に５つの第１データを抽出するが、５つという数字は例示であり、この例に限られない。生成部４２２は、学習者のユーザＩＤに関連付けて、抽出された５つの第１データの映像を選択可能なようにサムネイル化する。

【0095】

（３）先生（指導者）がピックアップ
抽出部４１４は、先生によりピックアップされたシーンも、第１データに含める。これは、先生からの観点で、より評価したい学習者の成長シーンを含む動画をフィードバックするためである。

【0096】

（４）先生が分析・評価入力
先生は、クラスが終わると、クラス内での各学習者の評価を行う。例えば、先生が、抽出された第１データを視聴し、評価コメントを付与したり、評価音声を付与したりする。これらの編集機能は、編集部５１６により実行される。先生のコメント等が付与されたデータファイルを示すフィードバック情報は、サーバ１０にアップロードされる。

【0097】

（５）保護者・子（学習者）のアプリケーションへの連携
サーバ１０は、例えば所定期間（今回のクラスの後から、次回のクラスまで）、保護者や学習者に関連付けられているアプリケーションに対して、生成されたフィードバック情報へのアクセスを可能にする。

【0098】

（６）保護者・子の“成長実感”に繋がる見せ方でフィードバック
生成部４２２は、保護者・子にとっての成長実感又はインパクトに繋がるフィードバックになるように表示の仕方を工夫する。例えば、生成部４２２は、動画、専門的過ぎない先生からのコメント等でフィードバックするような画面を生成する。より具体的には、生成部４２２は、学習者の成長に応じて木が成長するようなグラフィックデザインや、できたことに応じてモノが増えていくようなデザインを画面に含めたりする。

【0099】

図１４は、実施形態に係るユーザインターフェースの一例を示す図である。図１４（Ａ）及び（Ｂ）は、指導者側のアプリケーションを実行することで表示される画面例であり、図１４（Ｃ）は、保護者や学習者側のアプリケーションを実行することで表示される画面例である。

【0100】

図１４（Ａ）は、クラスのフィードバックをするための選択画面の一例である。図１４に示す例では、指導者は、クラスのフィードバックをするため、Ｃｌａｓｓ１を選択し、そのクラスに参加したＡさん（学習者）を選択している。

【0101】

図１４（Ｂ）は、図１４（Ａ）に示す学習者の選択後に表示される画面例である。図１４（Ｂ）に示す例では、指導者が、編集部５１６を介して、抽出された動画から５つを選択したり、評価コメントとして、音声を録音したり、テキスト入力したりする。

【0102】

これにより、指導者は、図１４（Ａ）及び（Ｂ）に示す画面から、クラス・評価する対象生徒の選択、日付の選択、シーンの選択、コメント(録音・テキスト)の記録、コメントの確認・修正、学習者等向けアプリへの配信などを行うことができるようになる。

【0103】

図１４（Ｃ）は、保護者・学習者側のアプリケーションを実行することで表示されるフィードバック画面例である。図１４に示す例では、画面左上において、クラス内で、その学習者が成長したと実感されるシーンを含む映像が表示され、画面下部において、指導者からの評価コメントが表示される。

【0104】

図１５は、実施形態に係る保護者・学習者側のアプリケーション画面の具体例を示す図である。図１５（Ａ）は、学習者の毎日の取り組みを、木の成長で表現する例を示す。図１５（Ｂ）は、学習者の毎日の取り組みをとクラス出席をスタンプで表現する例を示す。例えば、カレンダー形式で、クラスに参加した日にスタンプが表示される。図１５（Ｃ）は、学習者の聞く、話す力につながる関心、意欲、態度の変化を表現する例を示す。例えば、円グラフで各力における学習者の現在のレベルが表される。図１５（Ｄ）は、クラスの様子を表す画面例である。クラスの内容をまとめた所定秒の動画が表示されたり、クラスの内容がテキストで表示されたりする。

【0105】

＜動作処理＞
次に、図１６を用いて、情報処理システム１の動作処理について説明する。図１６は、実施形態に係る情報処理システム１の処理の一例を示すシーケンス図である。

【0106】

ステップＳ１０２で、センサ３０は、クラス内の様子をセンシングしたセンシングデータを第１情報処理装置２０に送信する。なお、各センシングデータは、第１情報処理装置２０を介さずにサーバ１０に送信されてもよい。

【0107】

ステップＳ１０４で、センサ３０の認識部３０４は、少なくとも一のセンシングデータに対して認識処理を実行する。例えば、学習者を顔認識したり、音声に含まれる声紋を認識したり、学習者の動きを認識したりする。

【0108】

ステップＳ１０６で、センサ３０は、上述の認識結果を含む認識結果情報を第１情報処理装置２０に送信する。なお、認識結果情報は、第１情報処理装置２０を介さずにサーバ１０に送信されてもよい。また、認識処理は、第１情報処理装置２０又はサーバ１０で実行されてもよい。

【0109】

ステップＳ１０８で、第１情報処理装置２０は、各センシングデータや認識結果情報とともに、抽出リクエストをサーバ１０に送信する。

【0110】

ステップＳ１１０で、サーバ１０の抽出部４１４は、学習者の変化に関する条件情報に基づいて、各センシングデータの一部を含む第１データを抽出する。

【0111】

ステップＳ１１２で、サーバ１０のスコアリング部４２０は、第１データに対してスコアリングを行う。スコアリング部３２０は、所定の算定基準に基づいてスコアリングを実行すればよい。

【0112】

ステップＳ１１４で、サーバ１０は、抽出された第１データについて、指導者が利用する第１情報処理装置２０に確認リクエストを送信する。なお、確認リクエストは、第１情報処理装置２０からサーバ１０にリクエストされるように実装してもよい。例えば、図１４（Ａ）に示す画面からクラス及び生徒が選択された場合に、第１情報処理装置２０は、編集リクエストをサーバ１０に送信してもよい。

【0113】

ステップＳ１１６で、第１情報処理装置２０の編集部５１６は、抽出された第１データを編集する。編集部５１６は、例えば、図１４（Ｂ）に示す画面からデータファイルを編集することが可能である。

【0114】

ステップＳ１１８で、第１情報処理装置２０の編集部５１６は、編集結果（例えば、選択された第１データ、入力されたコメント及び／又は音声データ）をサーバ１０に送信する。

【0115】

ステップＳ１２０で、サーバ１０の生成部４２２は、抽出された学習者に対し、第１データに基づいて少なくとも１つのデータファイルを生成する。データファイルは、クラスの内容が撮影された動画の一部、指導者が付与したコメントデータ、音声データの少なくとも１つを含む。動画の一部がデータファイルに基本的に含まれるようにすると、好適なフィードバック用のデータファイルを生成することが可能になる。

【0116】

ステップＳ１２２で、第１情報処理装置２０は、フィードバックリクエスト（ＦＢリクエスト）をサーバ１０に送信する。例えば、クラスの終わりに、保護者にクラスの内容を説明する際に、その保護者を表示画面から選択等することで、その保護者を特定する識別情報とともにＦＢリクエストがサーバ１０に送信される。

【0117】

ステップＳ１２４で、サーバ１０の検索部４２４は、ＦＢリクエストを取得すると、保護者の識別情報に関連付けられた学習者のユーザＩＤを第１記憶部４０８から検索して特定し、特定されたユーザＩＤに関連付けられたＦＢ情報を特定する。

【0118】

ステップＳ１２６で、サーバ１０は、特定されたＦＢ情報を第１情報処理装置２０に送信する。

【0119】

ステップＳ１２８で、第１情報処理装置２０の第１表示制御部５１４は、ＦＢ情報を画面に表示するよう制御する。ＦＢ情報は、所定の学習者の成長を実感することが可能な内容であり、このＦＢ情報を視聴する保護者又は学習者は、学習に対する成長を実感することが可能になる。

【0120】

ステップＳ１３０で、第２情報処理装置４０は、ＦＢリクエストをサーバ１０に送信する。例えば、保護者は、クラス内において学習者の様子がどうであったかを把握するために、自身が利用する第２情報処理装置４０から第２アプリケーションにログインし、ＦＢリクエストをサーバ１０に依頼する。このとき、その保護者を特定する識別情報とともにＦＢリクエストがサーバ１０に送信される。

【0121】

ステップＳ１３２で、サーバ１０の検索部４２４は、ＦＢリクエストを取得すると、保護者の識別情報に関連付けられた学習者のユーザＩＤを第１記憶部４０８から検索して特定し、特定されたユーザＩＤに関連付けられたＦＢ情報を特定する。

【0122】

ステップＳ１３４で、サーバ１０は、特定されたＦＢ情報を第２情報処理装置４０に送信する。

【0123】

ステップＳ１３６で、第２情報処理装置４０の第２表示制御部６１４は、ＦＢ情報を画面に表示するよう制御する。ＦＢ情報は、所定の学習者の成長を実感することが可能な内容であり、このＦＢ情報を視聴する保護者は、学習に対する成長を実感することが可能になる。

【0124】

上述した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0125】

以上、上述した実施形態によれば、学習者をセンシングしたデータの中から、学習者の変化に関するデータを自動的に抽出し、学習者の成長を把握可能な情報を提供することが可能になる。例えば、設定された条件情報に基づいて、各センシングデータの中から、学習者の成長を示す特異なシーンなどを自動で抽出することができるようになり、学習者の成長を示す情報の提供が容易になる。また、サーバ１０としては、生成部４２２により生成されたデータファイルを記憶し、バッファリングしておいたセンシングデータを定期的に削除することができるため、メモリ容量を効率よく使用することができる。また、教室やオンラインにおけるクラス内での学習者の成長を示すデータファイルを保護者に提供することで、保護者は学習者の成長を把握することが可能になり、また、学習者自身もデータファイルを視聴することで、自身の成長を実感することが可能になる。

【0126】

また、サーバ１０の学習部４２６は、抽出された第１データの特異点を機械学習により分析、解析することで、自動で条件情報を生成することができるようになり、この条件情報に基づいて、指導者を教育することも可能になる。例えば、学習部４２６により生成された条件情報を解析することで、どういうポイントが成長の特異点として抽出されるかを指導者が知ることにより、指導者は、成長の特異点に注意しながらクラスを進行させることができるようになる。なお、学習部４２６は、サーバ１０とは別体のサーバに設けられてもよい。

【0127】

なお、上述した実施形態では、主に幼児の英語クラス又は英語レッスンに適用する例を示したが、この例に限られず、学習者が参加するようなクラス又はレッスンにも適用可能である。その際、そのクラス又はレッスンに応じて条件情報が設定されればよい。また、教育分野に限らず、保育分野にも適用可能である。乳幼児が日々成長したポイントを動画等でデータファイルを生成し、このデータファイルを、アプリケーションを用いて配信することで、保護者は子供の成長を実感することができるようになる。

【0128】

また、図１６に示す各処理は、コンピュータにより実行されるプログラムとして実装されてもよい。このプログラムは、コンピュータにインストールされたり、コンピュータに読み取り可能な記憶媒体（例えば非一時的な記憶媒体）に記憶されたりし、コンピュータの制御部（例えばプロセッサなど）により実行されることで、上記処理が実現されてもよい。

【0129】

なお、上述したとおり、本発明は、上記の実施形態、及び、既に述べた変形例に限定されるものではなく、その要旨を逸脱しない範囲内において様々な変形が可能である。すなわち、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

【符号の説明】

【0130】

１…情報処理システム、１０…情報処理装置（サーバ）、２０…第１情報処理装置、３０…センサ、４０…第２情報処理装置、１０２…制御部、１０４…通信インターフェース、１０６…記憶部、２０２…制御部、２０６…通信インターフェース、２０８…記憶部、２１４…表示部、２１６…入力部、２２０…マイク、２２２…スピーカ、３０２…撮影装置、３０４…認識部、３０６…マイク、４０２…第１通信部、４０８…第１記憶部、４１０…アプリ制御部、４１２…取得部、４１４…抽出部、４１６…特定部、４２０…スコアリング部、５０２…第２通信部、５０８…第２記憶部、５１０…第１アプリ実行部、６０２…第３通信部、６０８…第３記憶部、６１０…第２アプリ実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】