特開 2020-177141 プログラム、情報処理方法、情報処理装置、及び撮影補助装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-177141(P2020-177141A)

(43)【公開日】2020年10月29日

(54)【発明の名称】プログラム、情報処理方法、情報処理装置、及び撮影補助装置

(51)【国際特許分類】

   G09B 5/12 20060101AFI20201002BHJP

   G09B 7/04 20060101ALI20201002BHJP

   G06Q 50/20 20120101ALI20201002BHJP

【ＦＩ】

   G09B5/12

   G09B7/04

   G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2019-79545(P2019-79545)

(22)【出願日】2019年4月18日

(71)【出願人】

【識別番号】709006024

【氏名又は名称】株式会社ベネッセコーポレーション

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】谷内 正裕

【テーマコード（参考）】

2C028

5L049

【Ｆターム（参考）】

2C028BB04

2C028BC01

2C028BC04

2C028BD02

5L049CC34

(57)【要約】

【課題】学習者の教材に対する入力情報と、その学習者の顔画像とを用いて、その学習者に応じた適切な情報を提供する。
【解決手段】プログラムは、コンピュータに、教材に取り組むユーザの顔を撮影した第１撮影装置から顔画像を取得すること、顔画像からユーザの顔情報を認識すること、教材に対する前記ユーザの入力内容を示す入力情報を取得すること、入力情報及び顔情報に基づいて、ユーザの学習支援に関する補助情報を決定すること、補助情報を出力すること、を実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
教材に取り組むユーザの顔を撮影した第１撮影装置から顔画像を取得すること、
前記顔画像から前記ユーザの顔情報を認識すること、
前記教材に対する前記ユーザの入力内容を示す入力情報を取得すること、
前記入力情報及び前記顔情報に基づいて、前記ユーザの学習支援に関する補助情報を決定すること、
前記補助情報を出力すること、
を実行させる、プログラム。

【請求項2】

前記決定することは、
前記顔情報が所定の第１顔情報を示す場合、前記教材の所定部分の回答に関する補助情報を決定する、請求項１に記載のプログラム。

【請求項3】

前記決定することは、
前記顔情報が所定の第２顔情報を示す場合、前記ユーザに休憩又は集中を促す補助情報を決定する、請求項１又は２に記載のプログラム。

【請求項4】

前記入力情報を取得することは、
前記教材が情報処理端末の表示部に表示される場合、当該表示部を介して前記ユーザから入力される入力情報を取得する、請求項１乃至３のいずれか一項に記載のプログラム。

【請求項5】

前記入力情報を取得することは、
前記教材が印刷媒体に印刷される場合、当該印刷媒体に対する前記ユーザの記入内容が第２撮影装置により撮影された記入画像を含む入力情報を取得する、請求項１乃至３のいずれか一項に記載のプログラム。

【請求項6】

前記第１撮影装置と前記第２撮影装置とが同じ撮影装置の場合、当該撮影装置により撮影される画像は、前記ユーザの顔を含む領域と、前記ユーザの記入内容を含む領域とを含む、請求項５に記載のプログラム。

【請求項7】

前記出力することは、
前記入力情報が示す回答が不正解である場合、正解への解説情報を出力する、請求項１乃至６のいずれか一項に記載のプログラム。

【請求項8】

コンピュータが、
教材に取り組むユーザの顔を撮影した第１撮影装置から顔画像を取得すること、
前記顔画像から前記ユーザの顔情報を認識すること、
前記教材に対する前記ユーザの入力内容を示す入力情報を取得すること、
前記入力情報及び前記顔情報に基づいて、前記ユーザの学習支援に関する補助情報を決定すること、
前記補助情報を出力すること、
を実行する、情報処理方法。

【請求項9】

教材に取り組むユーザの顔を撮影した第１撮影装置から顔画像を取得する第１取得部と、
前記顔画像から前記ユーザの顔情報を認識する認識部と、
前記教材に対する前記ユーザの入力内容を示す入力情報を取得する第２取得部と、
前記入力情報及び前記顔情報に基づいて、前記ユーザの学習支援に関する補助情報を決定する決定部と、
前記補助情報を出力する出力部と、
を備える情報処理装置。

【請求項10】

情報処理装置に取り付ける取付構造と、
前記情報処理装置が有する撮影装置のレンズ部分に設置される広角レンズと、
鏡体と、
前記取付構造、前記広角レンズ、及び前記鏡体を接続する筐体と、
を備え、
前記撮影装置において撮影される画像は、第１対象物から前記広角レンズを介して前記レンズに入射される第１画像と、前記第１対象物と前記情報処理装置の間にある第２対象物から前記鏡体において反射したものが前記広角レンズを介して前記レンズに入射される第２画像とを含む、撮影補助装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、情報処理装置、及び撮影補助装置に関する。

【背景技術】

【0002】

近年、タブレット端末などの情報処理装置が有する撮影装置のレンズ部分に補助機材を設けることで、ユーザの手元の操作を撮影し、その手元の操作内容に応じたインタラクティブな内容を表示装置に表示する技術が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許第２０１５／０３３９５３２

【発明の概要】

【発明が解決しようとする課題】

【0004】

教育業界において、情報処理装置を用いて学習支援を行う場合に、適切なタイミングで適切な情報を学習者に提示することが重要となってくる。このとき、上述したような補助機材を用いることで、学習者の手元を撮影し、問題に対する取り組み状況に応じてアドバイスを送ることが可能になる。

【0005】

しかしながら、上述した補助機材を用いたとしても、例えば、ユーザが或る問題で取り組みが進んでいない場合に、ユーザの集中が途切れて取り組みが進んでいないのか、問題の解き方等がわからず、悩んで取り組みが進んでいないのかなどを特定することはできない。他方、ユーザの取り組み状況をより具体的に推定して、より適切なアドバイス等をユーザに送ることが求められている。

【0006】

そこで、本開示の技術は、上述した課題を解決するためになされたものであり、学習者の教材に対する入力情報と、その学習者の顔画像とを用いて、その学習者に応じた適切な情報を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、開示技術の一態様におけるプログラムは、コンピュータに、教材に取り組むユーザの顔を撮影した第１撮影装置から顔画像を取得すること、前記顔画像から前記ユーザの顔情報を認識すること、前記教材に対する前記ユーザの入力内容を示す入力情報を取得すること、前記入力情報及び前記顔情報に基づいて、前記ユーザの学習支援に関する補助情報を決定すること、前記補助情報を出力すること、を実行させる。

【発明の効果】

【0008】

本発明によれば、学習者の教材に対する入力情報と、その学習者の顔画像とを用いて、その学習者に応じた適切な情報を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本開示のシステム概要を説明するための図である。

【図2】第１実施形態に係る情報処理システム１の概略構成の一例を示す図である。

【図3】第１実施形態に係るサーバ１０のハードウェア構成の一例を示す図である。

【図4】第１実施形態に係るユーザ端末２０のハードウェア構成の一例を示す図である。

【図5】第１実施形態に係るサーバ１０の機能構成の一例を示すブロック図である。

【図6】第１実施形態に係る第１記憶部３０８に記憶される学習者情報の一例を示す図である。

【図7】第１実施形態に係る第１記憶部３０８に記憶される問題情報の一例を示す図である。

【図8】第１実施形態に係る第１記憶部３０８に記憶される補助情報の一例を示す図である。

【図9】第１実施形態に係るユーザ端末２０の機能構成の一例を示す図である。

【図10】第１実施形態に係る撮影補助装置３０Ａを説明するための図である。

【図11】第１実施形態に係る撮影補助装置３０Ａの各部の位置関係の一例を示す図である。

【図12】第１実施形態に係る撮影補助装置３０Ａを用いて撮影される画像の一例を示す図である。

【図13A】第１実施形態に係る情報処理システム１の処理の一例を示すフローチャートである。

【図13B】第１実施形態に係る情報処理システム１の処理の一例を示すフローチャートである。

【図14】第１実施形態に係るフィードバック表示テーブルの一例を示す図である。

【図15A】第１実施形態に係る適用例を説明するための図である。

【図15B】第１実施形態に係る適用例を説明するための図である。

【図16】第２実施形態に係る撮影補助装置３０Ｂの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しつつ詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。また、同一の要素には同一の符号を付し、重複する説明を省略する。

【0011】

以下、添付図面を参照しながら本開示の実施形態について詳細に説明する。

【0012】

＜システム概要＞
図１は、本開示のシステム概要を説明するための図である。図１に示す例では、ユーザＵＡ（第１学習者）が、撮影補助装置３０Ａを設けた情報処理装置（例えばユーザ端末）２０Ａを用いて学習を行うことを想定する。情報処理装置（例えばサーバ）１０は、ユーザＵＡの取り組み状況に応じて、問題情報や回答情報、解説情報などを、情報処理装置２０Ａに送信する。

【0013】

（学習支援システムＡ）
ここで、ユーザＵＡが取り組む学習支援システムＡについて説明する。ユーザＵＡは、印刷媒体４０に記録された教材を机等に広げて、この教材に取り組む。このとき、撮影補助装置３０Ａは、ユーザＵＡの顔画像の撮影を補助するとともに、印刷媒体４０の撮影を補助する。ここで、顔画像とは、顔の映像（動画像）及び／又は顔の静止画像を含む。撮影補助装置３０Ａは、情報処理装置２０Ａが含む撮影装置のレンズ部分に取り付けられ、鏡体を適切な位置に設けることで、情報処理装置２０Ａに内蔵される撮影装置は、対面するユーザＵＡの顔を撮影するとともに、手元に載置された印刷媒体４０も撮影する。これにより、情報処理装置２０Ａに含まれる撮影装置は、ユーザＵＡの顔画像を含む領域と、印刷媒体４０を含む領域とを含む１つの撮影画像を取得することが可能である。撮影補助装置３０Ａの詳細については後述する。

【0014】

次に、情報処理装置２０Ａは、ユーザＵＡの顔画像と印刷媒体４０を撮影した画像とを含む画像をサーバ１０に送信し、サーバ１０は、印刷媒体４０の画像からユーザがどの問題に取り組んでいるか等を特定する。例えば、サーバ１０は、問題を特定する問題番号などを文字認識することで、問題を特定することが可能である。

【0015】

サーバ１０は、ユーザＵＡが印刷媒体４０に記入する内容を画像から取得し、ユーザの記入内容を認識して入力情報を取得し、入力情報に応じたアドバイス等を情報処理装置２０Ａに送信する。

【0016】

また、サーバ１０は、情報処理装置２０Ａから取得した顔画像から、ユーザＵＡの視線、目の動き、口の動き、表情などの顔情報を認識する。例えば、顔認識については、公知のアルゴリズムを用いてもよいし、人工知能（ＡＩ）を用いて学習時のユーザＵＡの表情や視線等を認識するモデルが作成され、このモデルに基づいて顔情報が認識されてもよい。

【0017】

また、サーバ１０は、認識された入力情報と顔情報とに基づいて、学習支援に関する補助情報を決定し、決定された補助情報を情報処理装置２０Ａに送信する。例えば、入力情報の入力が停滞し、ユーザＵＡが悩んだり困ったりした顔をしている場合、サーバ１０は、ユーザＵＡが回答中の問題に関連する第１補助情報（例えば回答するためのヒント）を情報処理装置２０Ａに送信する。情報処理装置２０Ａは、ヒントなどの第１補助情報を表示装置に表示する。

【0018】

これにより、ユーザＵＡは、印刷媒体４０を用いて問題を回答中であり、解き方等で悩んでいるまさにその時に、情報処理装置２０Ａは、その問題のヒントを示す第１補助情報を表示することができる。

【0019】

また、例えば、入力情報が所定時間入力されず、ユーザＵＡが集中を切らしてよそ見をしていると認識された場合、サーバ１０は、ユーザＵＡに対する休憩又は集中を促す第２補助情報を情報処理装置２０Ａに送信する。情報処理装置２０Ａは、受信した第２補助情報を表示装置に表示する。

【0020】

これにより、ユーザＵＡは、印刷媒体４０を用いて問題を回答中であり、集中力が切れているまさにその時に、情報処理装置２０Ａは、休憩を促す第２補助情報を表示することができる。

【0021】

また、学習支援システムＡが、例えば遠隔地にいる先生との学習支援を可能とするオンラインチュータリングシステムを適用する場合、補助情報は、ネットワークでつながっている端末を利用する先生からのアドバイス情報であってもよい。

【0022】

（学習支援システムＢ）
次に、ユーザＵＢが受ける学習支援システムＢについて説明する。学習支援システムＢは、基本的には学習支援システムＡと同じであるが、問題に対する回答の方法や顔画像の入力方法が異なる。学習支援システムＢでは、ユーザＵＢは、電子ペン５０などを用いて情報処理装置２０Ｂの表示装置に回答を入力する。例えば、情報処理装置２０Ｂはタッチパネルを備え、ユーザＵＢの回答入力を受け付ける。

【0023】

サーバ１０は、情報処理装置２０Ｂに入力される回答を示す入力情報を取得することで、ユーザＵＢがどの問題を回答中であるかを認識することができる。サーバ１０は、認識した入力情報に基づく回答状況に応じた補助情報を情報処理装置２０Ｂに送信する。

【0024】

また、情報処理装置２０Ｂの撮影装置のレンズ部分に設けられた撮影補助装置３０Ｂは、ユーザＵＢの表情を撮影するために鏡体を用いて撮影範囲を変更する。ユーザＵＢの顔を撮影した画像はサーバ１０に送信され、必要に応じてサーバ１０により顔認識される。

【0025】

サーバ１０は、ユーザＵＢの回答内容が所定条件を満たす場合に、認識されたユーザＵＢの表情に応じて決定された補助情報を情報処理装置２０Ｂに送信する。例えば、サーバ１０は、ユーザＵＢが悩んだり困ったりした顔をしている場合には、第１補助情報（例えば回答するためのヒント）を、ユーザＵＢが集中していない場合には、第２補助情報を情報処理装置２０Ｂに送信する。また、所定条件とは、回答が不正解であること、入力情報が所定時間以上検知されないことなどである。

【0026】

なお、各情報処理装置２０Ａ、２０Ｂが、サーバ１０が行う処理の少なくとも１部の処理を行うようにしてもよい。また、撮影補助装置３０Ａは、顔画像と、印刷媒体４０の画像とを取得できればよいため、２つの撮影装置を含むように構成されてもよい。

【0027】

［第１実施形態］
次に、上述したシステムを実現するためのシステム構成例について説明する。図２は、第１実施形態に係る情報処理システム１の概略構成の一例を示す図である。図２に示すように、サーバ１０と、各ユーザが利用するユーザ端末２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、・・・とが、ネットワークＮを介して相互に通信可能に接続されることにより、情報処理システム１が構成される。以降、ユーザ端末を個別に区別する必要がない場合は、符号２０を用いる。また、サーバ１０について、ネットワークＮに接続される数は、複数あってもよい。

【0028】

サーバ１０は、情報処理システム１において実行される学習支援を管理する情報処理装置である。サーバ１０は、ネットワークＮを介して、ユーザ端末２０とデータを送受信し、ユーザ端末２０を利用するユーザの学習を支援する。

【0029】

ユーザ端末２０は、ネットワークＮにアクセス可能な情報処理装置であって、限定ではなく例として、スマートフォンなどの携帯端末、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）を含む。ユーザ端末２０は、学習者や先生であるユーザにより用いられる装置である。

【0030】

ネットワークＮは、複数種の通信回線や通信網及び種々のネットワーク機器を含んで構成され得る。例えば、ネットワークＮは、サーバ１０に無線接続される基地局や、無線ＬＡＮのアクセスポイント（ＷｉＦｉルータ等）、基地局に接続された移動体通信網、アクセスポイントからルータやモデムを介して接続された電話回線、ケーブルテレビ回線又は光通信回線などの公衆回線、サーバ１０に接続されたインターネット、移動体通信網や、公衆回線とインターネットを接続するゲートウェイ装置などを含む。

【0031】

＜ハードウェア構成＞
次に、学習支援機能を実行する情報処理システム１に係る各装置のハードウェア構成について説明する。図３は、第１実施形態に係るサーバ１０のハードウェア構成の一例を示す図である。図３に示すように、サーバ１０は、制御部１０２と、通信インターフェース１０４と、記憶部１０６と、を有し、各部はバスライン１１２を介して接続される。

【0032】

制御部１０２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなる。また、制御部１０２は、記憶部１０６に記憶されるアプリケーション等を実行することにより、学習支援を行う機能を実現するように構成される。

【0033】

通信インターフェース１０４は、ネットワークＮを介してユーザ端末２０との通信を制御する。

【0034】

記憶部１０６は、例えば大容量の複数のＨＤＤ等からなり、呼制御を行うサーバ機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、制御プログラム１０８を記憶する。また、記憶部１０６は、情報記憶部１１０を有する。

【0035】

制御プログラム１０８は、学習支援を行うアプリケーションを実行するプログラムである。例えば、制御プログラム１０８は、ユーザ端末２０から取得した回答内容や記入内容などの入力情報に基づいて学習者の取り組み状況を認識したり、学習者の顔画像から表情を認識したり、それらの情報から補助情報を決定したりする。また、制御プログラム１０８は、ユーザ端末２０に補助情報などを送信したりするプログラムである。

【0036】

情報記憶部１１０は、学習支援機能を利用する各ユーザ端末の情報などを記憶する。例えば、情報記憶部１１０は、ユーザ端末２０の学習者情報、問題情報、及び補助情報などを記憶してもよい。

【0037】

次に、ユーザ端末２０のハードウェア構成について説明する。図４は、第１実施形態に係るユーザ端末２０のハードウェア構成の一例を示す図である。図４に示すように、ユーザ端末２０は、制御部２０２と、通信インターフェース２０６と、記憶部２０８と、表示部２１４と、入力部２１６と、マイク２２０と、スピーカ２２２、撮影装置２２４とを有し、各部はバスライン２１８を介して接続される。

【0038】

制御部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ２０４等からなる。制御部２０２は、記憶部２０８に記憶されるアプリケーション等を実行することにより、一般的な情報処理装置としての機能に加え、学習支援機能を実現するように構成される。また、制御部２０２は、入力された画像に対して認識機能を実行してもよい。

【0039】

また、ＲＡＭ２０４は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。

【0040】

通信インターフェース２０６は、ネットワークＮを介してサーバ１０との通信を制御する。

【0041】

記憶部２０８は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、アプリプログラム２１０を記憶する。また、記憶部２０８は、情報記憶部２１２を有している。

【0042】

アプリプログラム２１０は、上述した学習支援機能を実行するためのプログラムである。例えば、アプリプログラム２１０は、学習者から取得した回答に関する入力情報や、学習者の顔を含む画像情報や、問題に対する記入内容を含む画像情報をサーバ１０に送信したり、サーバ１０から補助情報など受信したりするプログラムである。

【0043】

情報記憶部２１２は、システムへのログイン情報や、学習支援に用いるデータなどを記憶する。

【0044】

表示部２１４は、例えばタッチパネルや液晶モニターなどのディスプレイであり、ユーザに情報を表示する。例えば、表示部２１４は、アプリケーションの実行画面を表示し、具体的には、問題画面や、補助情報などを表示する。

【0045】

入力部２１６は、ユーザからの入力を受け付けたり、ユーザからの指示を受け付けたりする。なお、表示部２１４と入力部２１６とは、タッチパネルとして構成されてもよい。

【0046】

マイク２２０は、音声などの音を集音するデバイスであり、ノイズキャンセル機能などを有してもよい。スピーカ２２２は、音声データを物理振動に変えて、音楽や音声などの音を出力するデバイスである。

【0047】

撮影装置２２４は、例えばカメラなどの撮影装置であり、所定のタイミングで起動して撮影を行う。撮影された画像は、第２送信部４０４を介して、適宜サーバ１０等に送信される。

【0048】

＜機能構成＞
次に、図５を用いて、第１実施形態に係る情報処理システム１の各装置の機能について説明する。図５は、第１実施形態に係るサーバ１０の機能構成の一例を示すブロック図である。図５に示すサーバ１０は、第１通信部３０２、第１記憶部３０８、アプリ制御部３１０としての機能を有する。

【0049】

第１通信部３０２は、例えば、制御部１０２や通信インターフェース１０４などにより実現されうる。第１記憶部３０８は、例えば記憶部１０６により実現されうる。アプリ制御部３１０は、例えば制御プログラム１０８が制御部１０２により実行されることにより実現されうる。

【0050】

第１通信部３０２は、ユーザ端末２０と、ネットワークＮを介して通信を行うものである。例えば、第１受信部３０６は、ユーザ端末２０等から受信したデータを、アプリ制御部３１０に供給する。また、第１送信部３０４は、アプリ制御部３１０から供給されたデータを、ユーザ端末２０等へ送信する機能を有する。

【0051】

第１記憶部３０８は、各種プログラムや各種データを記憶するためのものである。ここで、第１記憶部３０８に記憶されるプログラムは、後述する処理手順を実行する学習支援アプリケーションに関するプログラムである。また、第１記憶部３０８には、学習支援に関するデータや表示データや各種演算結果のデータなども記録される。

【0052】

例えば、第１記憶部３０８には、学習者情報、問題情報、及び補助情報が記憶される。これらの情報は、物理的に別の記憶部に記憶されてもよいし、１つの記憶部が論理的に分割されて記憶されてもよい。第１記憶部３０８に記憶される各情報の詳細は、図６〜８を用いて後述する。なお、第１記憶部３０８は、サーバ１０とは別体のデータベースでもよい。

【0053】

図６は、第１実施形態に係る第１記憶部３０８に記憶される学習者情報の一例を示す図である。図６に示す例では、学習者情報は、学習者の会員番号、氏名、学校、学年などを含む情報である。また、学習者情報には、学習者の顔写真やイラストなどの画像データを含んでもよい。

【0054】

会員番号は、事業者が提供する問題配信サービスに入会したときに学習者に与えられる学習者識別情報を表す。氏名は、学習者の氏名を表し、学校及び学年は、学習者の学校及び学年を表す。例えば、会員番号「０００１」の場合、氏名「ＡＡＡ」、学校「ＡＢＣ」、学年「中３」などが会員番号に関連付けられている。

【0055】

図７は、第１実施形態に係る第１記憶部３０８に記憶される問題情報の一例を示す図である。図７に示す問題情報は、問題ＩＤごとに、問題内容情報、解答情報、及び解説情報を含む。問題ＩＤは、例えば、問題を特定する問題特定情報を表す。問題内容情報は、例えば、問題の内容を表す。解答情報は、例えば、その問題に対する解答を表す。解説情報は、例えば、その問題に対する解答を導くための解説を表す。また、図７に図示しないが、問題に対するアドバイス情報が問題情報に含まれてもよい。

【0056】

図８は、第１実施形態に係る第１記憶部３０８に記憶される補助情報の一例を示す図である。図８に示す補助情報は、画像認識された学習者の顔情報と、画像認識やタッチパネル等に対する入力により取得された入力情報とが関連付けられる。補助情報は、学習支援に関する補助情報であり、予め設定された情報でもよいし、先生によって入力されたアドバイスなどの情報でもよい。

【0057】

顔情報は、顔画像が認識されることで取得される学習者の視線、目の動き、口の動き、表情、表情の変化などである。例えば、視線や目の動きは、目を検出する公知のアルゴリズムを用いて実現可能であり、口の動きについても、口を検出する公知のアルゴリズムを用いて実現可能である。また、表情については、喜怒哀楽を検出するようなアルゴリズムを用いてもよいし、ＡＩを用いて学習者が悩んだり、困ったりしているような顔を検出するように学習モデルを生成しておいてもよい。

【0058】

例えば、顔情報Ａが、困っている、悩んでいる表情であり、入力情報が所定時間入力されていない（例えば条件Ａ）とき、補助情報Ａは、問題を解くためのヒントを示す情報である。例えば、問題によってヒントが異なるため、補助情報Ａは、アドバイス表示であることを表す情報が含まれる。この場合、学習者が現在取り組んでいる問題が特定され、特定された問題からアドバイス情報が取得され、取得されたアドバイス情報がユーザ端末２０に表示される。

【0059】

また、顔情報Ｂが、学習者がよそ見をしている情報であり、入力情報が所定時間入力されていない（例えば条件Ｂ）とき、補助情報Ｂは、ユーザに対して、休憩又は集中を促す情報であってもよい。なお、表情は、眠っている表情や、悔しい表情などが登録可能であり、それぞれの表情に合わせた補助情報が出力されるとよい。

【0060】

また、顔情報が無表情であり、入力情報が誤答であるとき、補助情報は、解説情報を表す情報であってもよい。例えば、学習者が無表情で回答を間違えている場合は、学習者が間違いに気づいていない可能性が高いので、その場で解答への解説を表示することで、学習者に迅速にフィードバックを与えることが可能になる。なお、第１記憶部３０８は、図１４を用いて後述する、フラグ内容とフィードバック（ＦＢ）内容とを対応付けたフィードバック表示テーブルなどを記憶してもよい。

【0061】

図５に戻り、アプリ制御部３１０は、第１実施形態における学習支援を例にして説明すれば、機能モジュールとしての、第１取得部３１２、第２取得部３１４、画像処理部３１６、出力部３２２を備える。機能モジュールは、制御部１０２で実行される上記各種プログラムにより実現され、或いは、ファームウェアとして制御部１０２に実装されてもよい。

【0062】

第１取得部３１２は、教材に取り組む学習者の顔が第１撮影装置により撮影された画像を取得する。顔画像は、ユーザ端末２０によって送信され、第１受信部３０６により受信され、第１取得部３１２に取得される。第１撮影装置は、例えば、ユーザ端末２０に内蔵される撮影装置２２４である。

【0063】

第２取得部３１４は、学習者が取り組む教材に対する学習者の入力内容を示す入力情報を取得する。例えば、第２取得部３１４は、教材に記入された内容が第２撮影装置により撮影され、この撮影された画像（記入画像）を含む入力情報を取得する。第２撮影装置は、第１撮影装置と同じ撮影装置でもよいし、異なる撮影装置でもよい。

【0064】

画像処理部３１６は、第１取得部３１２により取得された顔画像や、第２取得部３１４により取得された記入画像を処理する。例えば、画像処理部３１６は、認識部３１８及び決定部３２０を含む。

【0065】

認識部３１８は、顔画像を取得すると、顔画像に対して認識処理を実行し、学習者の視線、目の動き、口の動き、表情などを含む顔情報を認識する。認識された顔情報は、決定部３２０に出力される。

【0066】

また、認識部３１８は、記入画像を取得すると、文字認識等の処理を実行し、記入画像に含まれる学習者の記入内容を含む入力情報を認識する。認識された入力情報は、決定部３２０に出力される。

【0067】

決定部３２０は、取得した入力情報と顔情報とに基づいて、ユーザの学習支援に関する補助情報を決定する。例えば、決定部３２０は、入力情報が記入なしであり、顔情報が悩んでいることを示す場合、補助情報として解説情報を決定する。また、決定部３２０は、同じ条件の場合（入力情報が記入なしであり、顔情報が悩んでいることを示す場合）、先生に対して学習者にアドバイスを送るような指示情報を補助情報として決定してもよい。

【0068】

また、決定部３２０は、補助情報として、学習者に対する応援メッセージや、先生とのチャットやビデオ通話等の指示情報を決定してもよい。例えば、決定部３２０は、先生とのビデオ通話を指示する指示情報を補助情報として決定すると、先生が利用する端末に、ビデオ通話の指示情報が送信される。先生は、この指示情報に基づき、生徒にビデオ通話を依頼する。指示情報には、生徒名や、生徒の端末アドレスなどが含まれる。このビデオ通話が行われることで、学習者は適切なタイミングで、遠隔地にいる先生とあたかも同じ空間にいるような感覚で気楽に質問等を行うことができる。

【0069】

出力部３２２は、決定部３２０により決定された補助情報をユーザ端末２０に出力する。ユーザ端末２０は、取得した補助情報を表示部２１４や、スピーカ２２２などを用いて出力する。

【0070】

これにより、本システムによれば、学習者の教材に対する入力情報と、その学習者の顔画像とを用いて、その学習者に応じた適切な情報を提供することができる。また、ユーザはシステムにより決定された補助情報を参照することで、学習者の取り組み状況に対するフィードバックを迅速に行うことができる。

【0071】

また、決定部３２０は、顔情報が所定の第１顔情報を示す場合、教材の所定部分の回答に関する補助情報を決定してもよい。例えば、所定の第１情報が悩んだり困ったりしている表情の場合、決定部３２０は、学習者が取り組んでいる問題に対するアドバイスを示す補助情報に決定する。これにより、学習者は、問題が解けずに悩んでいるときに、ユーザ端末２０がアドバイスを提示するため、効率よく問題を解くことができる。

【0072】

また、決定部３２０は、顔情報が所定の第２顔情報を示す場合、学習者に休憩又は集中を促す補助情報を決定してもよい。例えば、所定の第２情報が学習者の所定時間又は所定回数以上のよそ見を示す場合、決定部３２０は、学習者に休憩又は集中を促すメッセージを示す補助情報に決定する。これにより、学習者は、無意識に集中していないときなどに、次の行動に対するアドバイスを受けることができる。

【0073】

また、第２取得部３１４は、教材が印刷媒体に印刷される場合、この印刷媒体に対するユーザの記入内容が第２撮影装置により撮影された記入画像を含む入力情報を取得してもよい。例えば、学習者は、問題等が印刷された紙に回答を記入し、第２撮影装置は、学習者が紙に回答を記入している様子を撮影する。第２撮影装置により撮影された画像は、学習者の回答内容を示す記入画像を含む。第２取得部３１４は、この記入画像を含む入力情報を第２撮影装置又はユーザ端末２０から取得する。これにより、従来のように印刷媒体に印刷された教材を学習者が用いる場合であっても、学習者が記入する内容を認識することが可能になる。その結果、適切なタイミングで、学習者に合わせた適切なアドバイスを提供することができる。また、従来の印刷媒体ベースの学習を好む学習者にも、オンラインチュータリングを適用することが可能である。

【0074】

また、顔画像を撮影する第１撮影装置と、印刷媒体を撮影する第２撮影装置とが同じ撮影装置の場合、この撮影装置により撮影される画像は、学習者の顔を含む第１領域と、この学習者の記入内容を含む第２領域とを含んでもよい。

【0075】

このとき、撮影補助装置３０Ａを用いることで、第１領域と第２領域とを含む１つの画像を含むことを実現してもよい。撮影補助装置３０Ａは、詳細は後述するが、広角レンズや鏡体を含む。撮影補助装置３０Ａを用いて撮影装置により撮影される画像は、第１対象物（例えば、学習者）から、広角レンズを介して、ユーザ端末２０Ａのレンズに入射される第１画像と、第１対象物とユーザ端末２０Ａの間にある第２対象物（例えば、印刷媒体）から、鏡体において反射したものが広角レンズを介してレンズに入射される第２画像とを含む。

【0076】

また、出力部３２２は、第２取得部３１４により取得された入力情報が示す回答が不正解である場合、正解への解説情報を出力してもよい。例えば、認識部３１８が、入力情報に含まれる記入画像の文字認識を実行し、学習者の回答を取得する。画像処理部３１６は、学習者が解いている問題の解答と、ユーザの回答とを比較し、不正解であることを認識した場合、出力部３２２にこの問題の解説情報を通知する。出力部３２２は、取得した解説情報を表示装置等に出力する。これにより、学習者に対し、回答した内容が不正解だった場合に、迅速に解説を提示することで可能になる。

【0077】

図９は、第１実施形態に係るユーザ端末２０の機能構成の一例を示す図である。図９に示すユーザ端末２０は、学習者や先生が利用するユーザ端末２０であり、このユーザ端末２０を機能的な観点から示す。ユーザ端末２０は、サーバ１０からの要求等に応じて、学習支援サービスを受けるためのものであり、そのための機能として、少なくとも第２通信部４０２、第２記憶部４０８、アプリ実行部４１０、及び撮像部４１６を備える。

【0078】

第２通信部４０２は、サーバ１０とネットワークＮとの間で通信を行うものである。例えば、第２受信部４０６は、サーバ１０から受信したデータを、アプリ実行部４１０に供給し、第２送信部４０４は、アプリ実行部４１０から供給されたデータを、サーバ１０へ送信する機能を有する。第２通信部４０２は、具体的には、少なくとも上述した図４に示す通信インターフェース２０６等から構成され得る。

【0079】

第２記憶部４０８は、各種プログラムや各種データを記憶するためのものであり、具体的には、上述した、図４に示す記憶部２０８等から構成され得る。ここで、第２記憶部４０８に記憶されるプログラムは、学習者に対して提供される第１アプリケーションの第１プログラムや、先生に対して提供される第２アプリケーションの第２プログラムである。また、第２記憶部４０８には、かかる学習支援に関するデータや表示データや各種演算結果のデータなども記録される。

【0080】

アプリ実行部４１０は、例えば制御部２０２等から構成され得る。アプリ実行部４１０は、第１プログラムを実行することで、第１アプリケーション、例えば、学習者側の学習支援サービスを受ける各機能を有する。また、アプリ実行部４１０は、第２プログラムを実行することで、第２アプリケーション、例えば、先生側の学習支援サービスを受ける各機能を有する。アプリ実行部４１０は、この学習支援サービスを受ける各機能として、少なくとも受付部４１２、及び表示制御部４１４を備える。

【0081】

受付部４１２、学習者の操作を受け付ける。受付部４１２は、表示部２１４、マイク２２０等を用いて、学習者が入力した操作内容や情報を受け付ける。例えば、受付部４１２は、学習者によるサーバ１０へのアクセス要求や、文字入力や、音声情報等の回答情報を受け付ける。

【0082】

表示制御部４１４は、学習支援システムが提供する問題や、解説、アドバイスを含む画面情報や、先生の映像等を表示部２１４に表示するよう制御する。表示部２１４により表示されるデータは、第１アプリケーションがサーバ１０から取得したデータであってもよいし、第１アプリケーションにより生成されたデータであってもよい。

【0083】

学習者は、印刷媒体に印刷された問題を解きつつ、適切なタイミングで表示部２１４に表示される解説やアドバイス、先生とのチャットやビデオ通話等により、問題や解答に対する理解を深めていくことができる。

【0084】

なお、上述した例では、サーバ１０の機能と、ユーザ端末２０の機能とを分けて説明したが、サーバ１０の機能の少なくとも一部をユーザ端末２０が備えるようにしてもよい。例えば、画像処理部３１６は、ユーザ端末２０に設けられてもよい。

【0085】

＜撮影補助装置＞
次に、図１０〜１２を用いて、第１実施形態に係る撮影補助装置３０Ａについて説明する。図１０は、第１実施形態に係る撮影補助装置３０Ａを説明するための図である。図１０に示す例では、撮影補助装置３０Ａが、ユーザ端末２０Ａに取り付けられている。取付位置については、ユーザ端末２０Ａに内蔵されたレンズ（以下、「内蔵レンズ」とも称す。）を覆う位置に取り付けられ、例えば、撮影補助装置３０Ａの広角レンズ５０２が内蔵レンズを覆うように取り付けられる。

【0086】

ここで、撮影補助装置３０Ａの構成について説明する。撮影補助装置３０Ａは、情報処理装置（例えばユーザ端末２０Ａ）に取り付ける取付構造５０６と、情報処理装置が有する撮影装置のレンズ（内蔵レンズ）部分に設置される広角レンズ５０２と、鏡体５０４と、取付構造５０６、広角レンズ５０２、及び鏡体５０４を接続する筐体５０８と、を備える。

【0087】

撮影装置において撮影される画像は、第１対象物（例えば学習者）から広角レンズ５０２を介して内蔵レンズに入射される第１画像と、第１対象物と情報処理装置との間にある第２対象物（例えば印刷物）から鏡体５０４において反射したものが広角レンズ５０２を介して内蔵レンズに入射される第２画像とを含むように、撮影補助装置３０Ａの各部の位置が調整されている。

【0088】

広角レンズ５０２は、内蔵レンズが有する画角よりも広い画角を有するものであればよい。取付構造５０６や筐体５０８の一部に設けられ、その位置や角度は調整可能に設けられてもよい。

【0089】

鏡体５０４は、広角レンズ５０２により広げられた画角の一部を反射させる位置に設けられる鏡体であり、筐体５０８に接続される。鏡体５０４の位置は、調整可能に設けられてもよい。

【0090】

取付構造５０６は、例えばユーザ端末２０Ａの端部を挟み込むようなクリップ構造や、ユーザ端末２０の端部の一辺を覆うキャップ構造であってもよく、ユーザ端末２０Ａの端部に取り付けられるような構造を有していればよい。

【0091】

筐体５０８は、撮影補助装置３０Ａの各部が接続され、各部を支えるボディ部分である。

【0092】

図１１は、第１実施形態に係る撮影補助装置３０Ａの各部の位置関係の一例を示す図である。図１１に示す例では、ユーザ端末２０と、印刷媒体４０と、ユーザＵＡとを横から見た時の位置関係を表す。図１１に示す広角レンズ５０２は、内蔵レンズの画角を広げ、その広げられた画角は、第１画角Ａ１０と、第２画角Ａ１２とを含む。

【0093】

図１１に示す例では、印刷媒体４０を含む像は、鏡体５０４により反射され、画角Ａ１０内に含まれて広角レンズ５０２を介して内蔵レンズに入射される。学習者であるユーザＵＡを含む像は、広角レンズ５０２の画角Ａ１２に含まれて、広角レンズ５０２を介して内蔵レンズに入射される。

【0094】

図１１に示す例では、鏡体５０４は、広角レンズ５０２の上方に設けられて、広角レンズ５０２の一部の画角内に、ユーザ端末２０ＡとユーザＵＡとの間に置かれた印刷媒体４０の像が反射して入射されるような位置において筐体５０８に接続される。鏡体５０４のサイズや位置等は、図１０及び図１１に示す例に限られず、ユーザＵＡと、印刷媒体４０との像が１つのレンズにより入射される位置に設けられればよい。

【0095】

図１２は、第１実施形態に係る撮影補助装置３０Ａを用いて撮影される画像の一例を示す図である。図１２に示すように、ユーザ端末２０Ａの画面には、撮影補助装置３０Ａを用いて撮影された画像が表示されている。画像の第２領域ＡＲ２には、ユーザＵＡが手元に置いた教材に回答を記入する様子が撮影された画像が含まれる。画像の第１領域ＡＲ４には、ユーザＵＡが回答をする際の顔周辺が撮影された画像が含まれる。

【0096】

図１２に示す例では、画面に第２領域ＡＲ２及び第１領域ＡＲ４を表示するが、実際にユーザＵＡが教材に取り組んでいる際には、取り組んでいる問題や解説等が表示されるようにするよい。ユーザ端末２０Ａは、第２領域ＡＲ２に含まれる記入内容を含む画像や、第１領域ＡＲ４に含まれるユーザＵＡの顔画像を、サーバ１０に送信する。撮影補助装置３０Ａを利用することにより、既存の情報処理装置に内蔵される撮影装置を用いて、印刷媒体４０と学習者の顔とを含む画像を取得することができるようになる。また、撮影補助装置３０Ａの構成によれば、別途撮影装置を設ける必要がないため、安価で容易に適用可能な撮影補助装置３０Ａを提供することができる。

【0097】

＜動作処理＞
次に、図１３Ａ及びＢを用いて、情報処理システム１の動作処理について説明する。図１３Ａ及びＢは、第１実施形態に係る情報処理システム１の処理の一例を示すフローチャートである。

【0098】

ステップＳ１０２で、学習者ＵＡは、印刷媒体４０に印刷された教材を用いて学習を開始する。

【0099】

ステップＳ１０４で、学習者ＵＡは、ユーザ端末２０Ａの一例であるタブレット端末の前に、印刷媒体４０に印刷された教材を開く。このとき、ユーザ端末２０Ａは、学習者ＵＡの操作に応じて第１アプリケーションを起動しておく。これにより、撮像部４１６のカメラ機能がＯＮになる。

【0100】

ステップＳ１０６で、ユーザ端末２０Ａのアプリ実行部４１０は、撮影補助装置３０Ａを用いて撮像部４１６により撮像された教材を含む画像を読み取って取得する。図１３に示す例において、アプリ実行部４１０は、サーバ１０の画像処理部３１６の機能を有する。

【0101】

ステップＳ１０８で、ユーザ端末２０Ａのアプリ実行部４１０は、学習者ＵＡが取り組んでいる教材と、ページとを認識できたか否かを判定する。

【0102】

教材を示す情報は、例えば教材の各ページの所定箇所（例えば左上）等に記載され、ページ番号は、例えば各ページの下中央に記載される。アプリ実行部４１０は、各ページの所定箇所や、下中央の文字を認識することで、学習者ＵＡがどの教材のどのページを取り組んでいるかを認識することが可能である。上述の認識ができた場合（ステップＳ１０８−ＹＥＳ）、処理はステップＳ１１０に進み、上述の認識ができなかった場合（ステップＳ１０８−ＮＯ）、再認識するため、処理はステップＳ１０６に戻る。

【0103】

ステップＳ１１０で、ユーザ端末２０Ａの表示制御部４１４は、認識された教材及びページに基づいて、学習者ＵＡが取り組んでいる教材のページを示す画面情報を表示部２１４に表示するよう制御する。

【0104】

ステップＳ１１２で、学習者ＵＡは、印刷媒体４０に印刷された教材の問題に対し、ペンを置く。ペンを置くとは、学習者ＵＡが、把持しているペンのペン先を問題の上に置くことをいう。

【0105】

ステップＳ１１４で、ユーザ端末２０Ａの画像処理部は、撮像部４１６により撮影される領域ＡＲ２の画像を認識することで、ペンの位置を読み取って取得する。ユーザ端末２０Ａは、ユーザの手やペンをパターンマッチング等により処理することで認識可能である。

【0106】

ステップＳ１１６で、ユーザ端末２０Ａは、ペンの位置が認識されると、ペン先に関連する問題を認識できたか否かを判定する。ペン先に問題が記載されていれば（ステップＳ１１６−ＹＥＳ）、ユーザ端末２０Ａは、ペン先に記載されている問題を認識し、ペン先に問題が記載されていなければ（ステップＳ１１６−ＮＯ）、ユーザ端末２０Ａは、処理はステップＳ１１４に戻る。

【0107】

ステップＳ１１８で、ユーザ端末２０Ａの表示制御部４１４は、認識された問題にフォーカスして、この問題を含む画面情報を表示制御部４１４に表示するよう制御する。また、学習者が記入した内容が表示制御部４１４に表示されるようにしてもよい。

【0108】

次に、図１３Ｂに示すステップＳ１２０で、学習者ＵＡは、把持しているペンを用いて、印刷媒体４０である紙面上で問題に取り組む。例えば、学習者ＵＡは、ペンを用いて紙面上に回答を記入していく。

【0109】

ステップＳ１２２で、ユーザ端末２０Ａは、第２領域ＡＲ２内の画像を認識することで、例えば所定の解答欄に回答が記入された否かを判定する。解答欄に回答が記入されれば（ステップＳ１２２−ＹＥＳ）、処理はステップＳ１３６に進み、解答欄に回答が記入されていなければ（ステップＳ１２２−ＮＯ）、処理はステップＳ１２４に進む。

【0110】

ステップＳ１２４で、ユーザ端末２０Ａの画像処理部は、第２領域ＡＲ２に含まれる記入画像から単位時間あたりのペンの動き量を測定する。この動き量は、学習者ＵＡの記入内容を示す入力情報の一例である。

【0111】

ステップＳ１２６で、ユーザ端末２０Ａの画像処理部は、動き量が所定値未満であるか否かを用いて学習者の取り組みに停滞があるか否かを判定する。動き量が所定値未満であれば（ステップＳ１２６−ＹＥＳ）、処理はステップＳ１２７に進み、動き量が所定値以上であれば（ステップＳ１２６−ＮＯ）、処理はステップＳ１２８に進む。

【0112】

ステップＳ１２７で、ユーザ端末２０Ａの画像処理部は、停滞フラグをＯＮに設定する。停滞フラグは、例えばデフォルトでＯＦＦに設定されている。

【0113】

ステップＳ１２８で、ユーザ端末２０Ａの画像処理部は、撮像部４１６により撮影される第１領域ＡＲ４の顔画像を認識することで、学習者の顔情報を読み取って取得する。顔情報は、目の動きや口の動き、表情等を含む。

【0114】

ステップＳ１３０で、ユーザ端末２０Ａの画像処理部は、第１領域ＡＲ４に含まれる顔画像を認識し、躓き・悩みの表情であるか否かを判定する。認識された顔情報が、躓き・悩みの表情であれば（ステップＳ１３０−ＹＥＳ）、処理はステップＳ１３１に進み、認識された表情が、躓き・悩みの表情でなければ（ステップＳ１３０−ＮＯ）、処理はステップＳ１３２に進む。

【0115】

ステップＳ１３１で、ユーザ端末２０Ａの画像処理部は、躓きフラグをＯＮに設定する。躓きフラグは、例えばデフォルトでＯＦＦに設定されている。

【0116】

ステップＳ１３２で、ユーザ端末２０Ａの決定部は、学習者ＵＡによる記入画像から認識された入力情報と、学習者ＵＡの顔画像から認識された顔情報とに基づいて、補助情報を決定する。補助情報は、学習者ＵＡが取り組んでいる問題のヒントを示す情報を決定し、表示制御部４１４は、ヒントを表示部２１４に表示するよう制御する。例えば、決定部は、補助情報として、図１４に示すフィードバック（ＦＢ）表示テーブルに基づいて、フラグ状態に応じたフィードバック内容を決定してもよい。

【0117】

図１４は、第１実施形態に係るフィードバック表示テーブルの一例を示す図である。図１４に示すように、ＦＢ表示テーブルは、フラグと、ＦＢ表示内容とが対応付けられた情報を含む。停滞フラグ及び躓きフラグは、入力情報と顔情報とに基づいてＯＮ又はＯＦＦが制御される。例えば、停滞フラグ及び躓きフラグがともにＯＮの場合、ヒント１表示が決定される。ヒント１とは、例えば問題に対する解答につながる情報であり、一例として使用する公式などである。また、停滞フラグがＯＮで躓きフラグがＯＦＦの場合、集中の促しが決定される。集中の促しは、休憩の提案などでもよい。また、停滞フラグがＯＦＦで躓きフラグがＯＮの場合、ヒント２表示が決定される。ヒント２とは、例えば問題についてよくあるミスの例示などである。また、停滞フラグ及び躓きフラグがＯＦＦの場合、「特になし」が決定されるが、応援などが決定されてもよい。また、ＦＢ表示テーブルは、フラグ以外にも、まぶたの開きや視線などの顔情報、解答の経過などの入力情報にも基づいて補助情報（例えばＦＢ表示）が決定されるテーブルであってもよい。

【0118】

ステップＳ１３６で、ユーザ端末２０Ａの画像処理部は、第２領域ＡＲ２内の画像から学習者ＵＡの回答を認識する。

【0119】

ステップＳ１３８で、ユーザ端末２０Ａの画像処理部は、学習者ＵＡの回答が正しいか否かを判定する。回答が正しければ（ステップＳ１３８−ＹＥＳ）、処理はステップＳ１４４に進み、回答が正しくなければ（ステップＳ１３８−ＮＯ）、処理はステップＳ１４０に進む。

【0120】

ステップＳ１４０で、ユーザ端末２０Ａの決定部は、学習者ＵＡが取り組んでいる問題の解説を特定し、表示制御部４１４は、解説を含む画面情報を表示部２１４に表示するよう制御する。

【0121】

ステップＳ１４２で、ユーザ端末２０Ａは、再度この問題周辺にペン先を置いたか否かを判定する。問題周辺にペン先が置かれれば、再度問題に取り組むと判定され（ステップＳ１４２−ＹＥＳ）、処理はステップＳ１２２に戻り、問題周辺にペン先が置かれなければ、再度問題に取り組まないと判定され（ステップＳ１４２−ＮＯ）、処理はステップＳ１４４に進む。

【0122】

ステップＳ１４４で、ユーザ端末２０Ａは、この問題に対する学習を終了する。なお、次の問題に対して上述した処理を行うため、処理はステップＳ１１２に戻ってもよい。

【0123】

以上の処理においては、顔情報から躓き・悩みの表情を認識する例を用いたが、これに限られず、学習者ＵＡの目の動きにより、よそ見、居眠り等を認識し、それに応じたメッセージが決定されるようにしてもよい。

【0124】

また、ステップＳ１３２の処理の他の例としては、オンラインで接続されいてる先生に対してアドバイスを行うよう指示する情報が決定され、その指示情報を受信した先生が、学習者ＵＡに対してチャットやビデオ通話を依頼するようにしてもよい。

【0125】

また、ユーザ端末２０Ａは、取得した記入画像や顔画像をサーバ１０に送信し、サーバ１０によって決定された補助情報を表示するようにしてもよい。

【0126】

上述した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0127】

＜適用例＞
図１５Ａ及びＢを用いて、第１実施形態に係る適用例を説明する。図１５Ａは、第１実施形態に係る問題認識された画面を示す図である。図１５Ａに示すユーザ端末２０Ａの画面は、印刷媒体４０を画像認識して、印刷媒体４０と同じ問題が表示される例を示す（図１３Ａに示すステップＳ１１０）。例えば、ユーザ端末２０Ａに内蔵された撮影装置は、撮影補助装置３０Ａを用いることで、印刷媒体４０を撮影することが可能になる（図１１及び図１２参照）。撮影された画像は、画像認識されることで、教材が特定され、ページなども特定される。

【0128】

また、図１５Ｂは、学習者が取り組んでいる問題を認識し、その問題がフォーカスして表示される例を示す図である。図１５Ｂに示すユーザ端末２０Ａの画面は、学習者が印刷媒体４０に記入した３×２＋４＝１０が画像認識され、学習者の記入内容が画面に表示される例を示す（図１３Ａに示すステップＳ１１８）。例えば、ユーザ端末２０Ａに内蔵された撮影装置は、撮影補助装置３０Ａを用いることで、印刷媒体４０に記入された内容を撮影することが可能になる（図１１及び図１２参照）。撮影された画像は、画像認識されることで、学習者による回答が認識される。

【0129】

以上、第１実施形態によれば、学習者の教材に対する入力情報と、その学習者の顔画像とを用いて、その学習者に応じた適切な情報を提供することができる。また、第１実施形態によれば、従来のように印刷媒体に印刷された教材を学習者が用いる場合であっても、学習者が記入する内容を認識することが可能であり、その結果、適切なタイミングで、学習者に合わせた適切なアドバイスを提供することができる。また、従来の印刷媒体ベースの学習を好む学習者にも、オンラインチュータリングを適用することが可能である。

【0130】

［第２実施形態］
次に、第２実施形態に係る情報処理システムについて説明する。第２実施形態に係る情報処理システムでは、ユーザの回答を示す入力情報の取得の仕方と、ユーザの顔画像の撮影の仕方が、第１実施形態に係る情報処理システムと異なる。その他のシステム構成、サーバ及びユーザ端末それぞれのハードウェア構成、機能構成等は同様である。

【0131】

図１６は、第２実施形態に係る撮影補助装置３０Ｂの一例を示す図である。図１６に示す例では、撮影補助装置３０Ｂは、情報処理装置２０Ｂの端部に取り付けられる取付構造６０４と、鏡体６０２とを含む。鏡体６０２は、情報処理装置２０Ｂの表示面に対して角度を調整可能に設けられ、問題に取り組む学習者の顔が情報処理装置２０Ｂのレンズ６１０に入射されるようにする。情報処理装置２０Ｂに取得された顔画像は、サーバ１０に送信される。

【0132】

また、第２実施形態では、学習者は、電子ペン５０などを用いて、情報処理装置２０Ｂのタッチパネルに回答を入力する。情報処理装置２０Ｂは、入力された回答を入力情報としてサーバ１０に送信する。このとき、取得された顔画像と入力情報とは取得時間等で対応付けて送信されるとよい。

【0133】

この場合、サーバ１０の第１取得部３１２は、情報処理装置２０Ｂから送信される顔画像を取得する。また、サーバ１０の第２取得部３１４は、教材が情報処理装置２０Ｂの表示部に表示される場合、この表示部を介してユーザから入力される入力情報を取得する。

【0134】

サーバ１０は、入力情報と顔画像とを取得すると、その後の処理は第１実施形態に係る処理と同様である。これにより、ペーパーレス型の学習支援システムにおいても、本開示の技術を用いることができる。

【0135】

なお、上述したとおり、本発明は、上記の実施形態、及び、既に述べた変形例に限定されるものではなく、その要旨を逸脱しない範囲内において様々な変形が可能である。すなわち、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

【符号の説明】

【0136】

１…情報処理システム、１０…情報処理装置（サーバ）、２０…情報処理装置（ユーザ端末）、１０２…制御部、１０４…通信インターフェース、１０６…記憶部、２０２…制御部、２０６…通信インターフェース、２０８…記憶部、２１４…表示部、２１６…入力部、２２０…マイク、２２２…スピーカ、２２４…撮影装置、３０２…第１通信部、３０８…第１記憶部、３１０…アプリ制御部、３１２…第１取得部、３１４…第２取得部、３１６…画像処理部、３１８…認識部、３２０…決定部、３２２…出力部、４０２…第２通信部、４０８…第２記憶部、４１０…アプリ実行部、４１６…撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15A】

【図15B】

【図16】