特開 2024-57733 情報処理装置、情報処理方法、プログラム、及び端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057733

(43)【公開日】2024-04-25

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、及び端末装置

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20240418BHJP

   G09B 5/06 20060101ALI20240418BHJP

   G09B 19/00 20060101ALI20240418BHJP

【ＦＩ】

G06Q50/20

G09B5/06

G09B19/00 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022164588

(22)【出願日】2022-10-13

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】高橋 伸寿

(72)【発明者】

【氏名】入澤 祐太

(72)【発明者】

【氏名】吉田 昂右

(72)【発明者】

【氏名】福田 浩司

【テーマコード（参考）】

2C028

5L049

5L050

【Ｆターム（参考）】

2C028BB04

2C028BC05

5L049CC34

5L050CC34

(57)【要約】

【課題】 受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることにある。
【解決手段】 情報処理装置は、端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、端末装置から送信された、端末装置により撮像された受講者の生体画像を用いて、受講者の受講態度を表す指標を算出する算出部と、算出した指標を用いて、指標の低下を表す指標低下範囲と、端末装置で再生している講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する選択部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出する算出手段と、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する選択手段と、
を有する情報処理装置。

【請求項2】

前記操作情報は、前記指標が低下した場合、前記端末装置に、前記受講態度を改めることを促す通知を出力させる情報である、
請求項１に記載の情報処理装置。

【請求項3】

前記操作情報は、前記指標が低下した場合、前記端末装置に、再生中の前記講習動画を停止させる情報である、
請求項２に記載の情報処理装置。

【請求項4】

前記操作情報は、前記指標が低下した場合、前記端末装置に、前記指標が低下したチェックポイントより前の時点から前記講習動画を再生させる情報である、
請求項３に記載の情報処理装置。

【請求項5】

前記指標は、集中度、覚醒度、緊張度のいずれか一つ以上である、
請求項２から４のいずれか一つに記載の情報処理装置。

【請求項6】

コンピュータが、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出し、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する、
情報処理方法。

【請求項7】

コンピュータに、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出させ、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択させる、
プログラム。

【請求項8】

講習動画を再生する再生手段と、
前記講習動画の再生中に、あらかじめ設定されたチェックポイントを検出した場合、前記チェックポイントを検出した後、受講者の生体画像を、通信手段を介して情報処理装置へ送信する検出手段と、
前記受講者の受講態度を表す指標が低下した場合、前記情報処理装置から送信される操作情報に基づいて、前記受講態度を改めることを促す通知を出力手段に出力する操作手段と、
を有する端末装置。

【請求項9】

前記操作手段は、前記指標が低下した場合、前記操作情報に基づいて、再生中の前記講習動画を停止させる、
請求項８に記載の端末装置。

【請求項10】

前記操作手段は、前記指標が低下した場合、前記操作情報に基づいて、前記指標が低下した前記チェックポイントより前の時点から前記講習動画を再生させる、
請求項９に記載の端末装置。

【請求項11】

前記検出手段は、前記チェックポイント以外のダミーポイントを検出すると、ダミーデータを前記情報処理装置に送信する、
請求項１０に記載の端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オンライン講習を監視する情報処理装置、情報処理方法、プログラム、及び端末装置に関する。

【背景技術】

【0002】

オンライン講習では、受講者は、端末装置（例えば、スマホ、タブレット、パーソナルコンピュータなど）を使用して専用サイトにアクセスし、講習動画を視聴することで、講習を受講する。また、受講者が受講したことを確認するために、受講開始直前と受講直後に、端末装置に搭載されている撮像装置を用いて、受講者に、本人の顔画像を撮像させ、撮像された受講者の顔画像と、あらかじめ記憶されている受講者の顔画像とを用いて、本人認証処理を実施している。

【0003】

ところが、上述した受講確認処理では、受講者が講習動画を視聴していなくても、講習動画を全て再生したことが検知できれば、受講者が講習を受講したと判定してしまう。

【0004】

関連する技術として特許文献１には、インターネット講義管理装置が開示されている。特許文献１のインターネット講義管理装置によれば、受講者の受講態度を、複数の測定機器を用いて測定し、測定結果に基づいて受講生の受講態度（集中度）を検出している。測定機器は、受講生の視線、脳波、血圧、音声、書き取り能力などを測定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４－３０１９５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１のインターネット講義管理装置では、インターネット講義（オンライン講習）を受講する受講者に対して、常時、複数の専用の測定機器を用いて受講態度（集中度）を検出している。

【0007】

本開示の目的の一例は、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本開示の一側面における情報処理装置は、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出する算出部と、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する選択部と、
を有することを特徴とする。

【0009】

また、上記目的を達成するため、本開示の一側面における情報処理方法は、
コンピュータが、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出し、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択する、
ことを特徴とする。

【0010】

また、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
端末装置で再生する講習動画に、あらかじめ設定されたチェックポイントにおいて、前記端末装置から送信された、前記端末装置により撮像された受講者の生体画像を用いて、前記受講者の受講態度を表す指標を算出させ、
算出した前記指標を用いて、前記指標の低下を表す指標低下範囲と、前記端末装置で再生している前記講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した前記指標に対応する操作情報を選択させる、
ことを特徴とする。

【0011】

さらに、上記目的を達成するため、本開示の一側面における端末装置は、
講習動画を再生する再生手段と、
前記講習動画の再生中に、あらかじめ設定されたチェックポイントを検出した場合、前記チェックポイントを検出した後、受講者の生体画像を、通信手段を介して情報処理装置へ送信する検出手段と、
前記受講者の受講態度を表す指標が低下した場合、前記情報処理装置から送信される操作情報に基づいて、前記受講態度を改めることを促す通知を出力手段に出力する操作手段と、
を有することを特徴とする。

【発明の効果】

【0012】

以上のように本開示によれば、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることができる。

【図面の簡単な説明】

【0013】

【図1】図１は、情報処理装置の一例を説明するための図である。

【図2】図２は、情報処理装置を有するシステムの一例を説明するための図である。

【図3】図３は、講習動画操作情報のデータ構造の一例を説明するための図である。

【図4】図４は、情報処理装置の動作の一例を説明するための図である。

【図5】図５は、端末装置の動作の一例を説明するための図である。

【図6】図６は、実施形態における情報処理装置を実現するコンピュータの一例を説明するための図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して実施形態について説明する。なお、以下で説明する図面において、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明は省略することもある。

【0015】

（実施形態）
図１を用いて、実施形態における情報処理装置１０の構成について説明する。図１は、情報処理装置の一例を説明するための図である。

【0016】

［装置構成］
情報処理装置１０は、オンライン講習の受講者の受講態度を、あらかじめ設定されたチェックポイントにおいて監視することで、システムの負荷を小さくする。情報処理装置１０は、算出部１１と、選択部１２とを有する。情報処理装置１０は、端末装置２０と、ネットワーク３０を介して接続されている。

【0017】

算出部１１は、端末装置２０で再生される講習動画に、あらかじめ設定されたチェックポイントにおいて、端末装置２０から送信された、端末装置２０により撮像された受講者の生体画像を用いて、受講者の受講態度を表す指標を算出する。

【0018】

講習動画は、オンライン講習で用いる動画である。講習動画は、オンライン講習を開催する開催者が有するサーバコンピュータ、データベースなどに記憶されている。講習動画は、受講者の端末装置２０を用いて、ネットワーク３０を介して、上述したサーバコンピュータ、データベースなどから取得する。なお、講習動画は、情報処理装置１０に記憶してもよい。

【0019】

オンライン講習とは、例えば、オンライン上で開催される講習、研修などである。なお、実施形態では、説明を分かり易くすらため、一例として優良運転者が運転免許の更新の際に利用するオンライン講習について説明する。

【0020】

チェックポイントは、講習動画の再生時間内（講習動画の全部の再生期間）、又は、講習動画のうち受講者に見てほしい部分の動画の再生時間内（講習動画の一部の再生期間）に設定する。具体的には、講習動画の全部の再生期間、又は、講習動画の一部の再生期間に、チェックポイントを一つ以上設定する。

【0021】

なお、チェックポイントは、例えば、講習動画の全部の再生期間、又は、講習動画の一部の再生期間に、一定間隔又はランダムに設定してもよい。

【0022】

さらに、チェックポイントが固定（一定間隔、あらかじめ決められた箇所）である場合、チェックポイントと別に、ランダムにダミーポイントを設定してもよい。ダミーポイントは、端末装置２０が情報処理装置１０にダミーデータを送信するポイントである。

【0023】

ダミーデータを送信する理由は、チェックポイントが設定されていることが、受講前に受講者に知られてしまうと、チェックポイント以外の期間において、受講者が受講していない可能性、又は、受講者の受講態度が悪くなる可能性があるからである。受講態度が悪くなるとは、例えば、受講以外の作業をしている、居眠り、撮像装置の前に本人の写真などを置いて退席していることなどが考えられる。

【0024】

そこで、端末装置２０に、チェックポイント以外にも、ランダムなタイミングで、ダミーデータを情報処理装置１０に送信させる。又は、常時、又は、ランダムなタイミングで、端末装置２０に、ダミーデータを情報処理装置１０に送信している振りをさせてもよい。

【0025】

受講態度を表す指標とは、例えば、受講者の受講時の集中度、覚醒度、緊張度などを用いる。なお、受講態度を表す指標は、集中度、覚醒度、緊張度のいずれか一つ以上を用いる。なお、集中度、覚醒度、緊張度は、既存の方法を用いて算出する。受講態度を表す指標の詳細については後述する。

【0026】

選択部１２は、算出した受講態度を表す指標を用いて、指標が低下を表す指標低下範囲と、端末装置２０で再生している講習動画を操作するための操作情報と、が関連付けられた講習動画操作情報を参照し、算出した受講態度を表す指標に対応する操作情報を選択する。

【0027】

操作情報は、受講態度を表す指標が低下した場合、端末装置２０の不図示の出力部に、受講者に受講態度を改めることを促す通知を出力（通知画像を表示、又は、通知音声を出力、又はそれら両方）させる情報である。また、操作情報は、受講態度を表す指標が低下した場合、端末装置２０に、再生中の講習動画を停止させる情報である。さらに、操作情報は、受講態度が低下した場合、端末装置２０に、受講態度が低下したチェックポイントより前の時点から再生させる情報である。

【0028】

上述したように実施形態においては、複数の専用の測定機器を用いず、生体画像だけを用いて受講態度を表す指標を算出することができる。

【0029】

また、端末装置２０は、講習動画の再生を開始した後、チェックポイントにおいてだけ生体画像を情報処理装置１０に送信するので、システムの負荷を小さくすることができる。ここで、システムの負荷は、例えば、端末装置２０と情報処理装置１０との間の通信トラフィックなどである。また、システムの負荷は、例えば、情報処理装置１０にて受講態度を算出する処理を行う際のＣＰＵ、メモリ、ディスクの使用率の上昇などである。

【0030】

［システム構成］
図２を用いて、実施形態における情報処理装置１０について具体的に説明する。図２は、情報処理装置を有するシステムの一例を説明するための図である。図２の例では、システム１００は、情報処理装置１０と、端末装置２０と、ネットワーク３０とを有する。

【0031】

情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などのプログラマブルなデバイス、又はＧＰＵ（Graphics Processing Unit）、又はそれらのうちのいずれか一つ以上を搭載した回路、サーバコンピュータなどの装置である。

【0032】

端末装置２０は、例えば、ＣＰＵ、又はＦＰＧＡなどのプログラマブルなデバイス、又はＧＰＵ、又はそれらのうちのいずれか一つ以上を搭載した回路、パーソナルコンピュータ、タブレット、スマートフォンなどの装置である。

【0033】

端末装置２０は、端末装置２０が有する不図示の出力部（例えば、モニタ、スピーカなど）に画像及び音声などを出力する。モニタは、例えば、液晶、有機ＥＬ（Electro Luminescence）などの表示部である。

【0034】

ネットワーク３０は、例えば、インターネット、ＬＡＮ（Local Area Network）、専用回線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）などの通信回線を用いて構築された一般的な通信ネットワークである。

【0035】

情報処理装置について詳細に説明する。
情報処理装置１０は、通信部１３と、算出部１１と、選択部１２とを有する。

【0036】

通信部１３は、ネットワーク３０を介して、端末装置２０の通信部２６と通信をする。具体的には、通信部１３は、チェックポイントごとに、端末装置２０の通信部２６から送信される生体画像（受講者の顔を含む複数の画像又は動画）を受信する。

【0037】

なお、端末装置２０は、生体画像を送信する場合、圧縮処理、又は暗号化処理、又は両方をしてから、情報処理装置１０に送信してもよい。

【0038】

算出部１１は、通信部１３が受信した生体画像を用いて、受講者の受講態度を表す指標を算出する。具体的には、算出部１１は、受講態度を表す指標として、（１）集中度、（２）覚醒度、（３）緊張度を全て算出する。又は、算出部１１は、（１）集中度、（２）覚醒度、（３）緊張度のいずれか一つ以上を算出する。

【0039】

（１）集中度の算出方法
受講態度を表す指標として集中度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の視線の向きを推定し、推定した視線に基づいて集中度を決定する。具体的には、推定した視線が、端末装置２０の不図示の表示部（モニタ）の方向を向いている場合、集中度を高くする。端末装置２０の表示部（モニタ）の方向を向いていない場合、集中度を低くする。

【0040】

又は、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の視線の向きを推定し、推定した視線のうち、端末装置２０の表示部（モニタ）の方向を向いている視線の数を算出し、算出した視線の数に応じて集中度を決定する。すなわち、端末装置２０の表示部（モニタ）の方向を向いている視線の数が多いほど集中度を高くする。

【0041】

なお、集中度の算出方法は、上述した方法に限定されるものでなく、生体画像から集中度を算出できる方法であればよい。

【0042】

（２）覚醒度の算出方法
受講態度を表す指標として覚醒度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の瞼の開閉を推定し、推定した瞼の開閉の程度に基づいて覚醒度を決定する。具体的には、瞼が閉じている又は閉じそうなほど（開眼度が低い場合）、覚醒度を低くする。瞼が開いているほど（開眼度が高い場合）、覚醒度を高くする。

【0043】

又は、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の瞼の開閉を推定し、推定した瞼の開閉に基づいて瞬きの数を算出する。次に、算出部１１は、算出した瞬きの数に応じて覚醒度を決定する。すなわち、具体的には、瞬きの数が少ない（眠気が弱い）ほど、覚醒度を高くし、瞬きの数が多い（眠気が強い）ほど、覚醒度を低くする。

【0044】

なお、覚醒度の算出方法は、上述した方法に限定されるものでなく、生体画像から覚醒度を算出できる方法であればよい。

【0045】

（３）緊張度の算出方法
受講態度を表す指標として緊張度を用いる場合、算出部１１は、複数の生体画像を用いて、画像処理により、受講者の顔表面のＲＧＢ成分のうちのＧ成分（緑）を用いて脈拍数を推定し、推定した脈拍数に基づいて緊張度を決定する。具体的には、脈拍数が少ないほど、緊張度を低くする。脈拍数が高いほど、緊張度を高くする。

【0046】

なお、緊張度の算出方法は、上述した方法に限定されるものでなく、生体画像から緊張度を算出できる方法であればよい。

【0047】

選択部１２は、受講者の受講態度を表す指標（集中度、覚醒度、緊張度のいずれか一つ以上）を用いて、講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する。

【0048】

講習動画操作情報は、受講者の受講態度を表す指標の低下を表す指標低下範囲と、端末装置２０で再生している講習動画を操作するための操作情報と、が関連付けられた情報である。

【0049】

図３は、講習動画操作情報のデータ構造の一例を説明するための図である。図３の講習動画操作情報３１、３２、３３は、指標と、指標低下範囲と、操作情報とが関連付けられている。

【0050】

講習動画操作情報３１では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ１より低下した場合（集中度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0051】

また、講習動画操作情報３１では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ１より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0052】

また、講習動画操作情報３１では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ１」と、操作情報「ｏｐ１」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ１より低下した場合（緊張度が低下した場合）、情報処理装置１０は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0053】

講習動画操作情報３２では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ２（＜ＣｏｎＴｈ１）より低下した場合（集中度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0054】

また、講習動画操作情報３２では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ２（＜ＡｌｅＴｈ１）より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0055】

また、講習動画操作情報３２では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ２」と、操作情報「ｏｐ２」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ２（＜ＴｅｎＴｈ１）より低下した場合（緊張度が低下した場合）、情報処理装置１０は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0056】

講習動画操作情報３３では、指標「集中度」と、指標低下範囲「Ｃｏｎ＜ＣｏｎＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ３（＜ＣｏｎＴｈ２）より低下した場合（集中度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0057】

また、講習動画操作情報３３では、指標「覚醒度」と、指標低下範囲「Ａｌｅ＜ＡｌｅＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ３（＜ＡｌｅＴｈ２）より低下した場合（覚醒度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0058】

また、講習動画操作情報３２では、指標「緊張度」と、指標低下範囲「Ｔｅｎ＜ＴｅｎＴｈ３」と、操作情報「ｏｐ３」とが関連付けられている。算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ３（＜ＴｅｎＴｈ２）より低下した場合（緊張度が低下した場合）、情報処理装置１０は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0059】

端末装置について詳細に説明する。
端末装置２０は、撮像部２１と、設定部２２と、再生部２３と、検出部２４と、操作部２５と、通信部２６とを有する。撮像部２１は、例えば、端末装置２０に設けられているカメラなどである。

【0060】

設定部２２は、受講者の顔画像の位置を設定（キャリブレーション）する。具体的には、まず、端末装置２０は、キャリブレーションを受講者にさせるためのキャリブレーション指示情報を情報処理装置１０から受信する。

【0061】

次に、設定部２２は、端末装置２０及びネットワーク３０のスペックが、オンライン講習を受講できるスペックであるか否かを判定する。

【0062】

具体的には、設定部２２は、端末装置２０のスペック（処理性能、カメラ機能など）をチェックし、チェックした結果が、オンライン講習を受講可能なスペックに達していない場合、受講可能なスペックでないことを通知する画像を端末装置２０の表示部（モニタ）に表示する。上述した通知は、端末装置２０の不図示のスピーカから音声で通知してもよい。

【0063】

次に、設定部２２は、ネットワーク３０の通信速度をチェックし、チェックした結果が、通信速度が既定値以上である場合、受講可能なスペックでないことを通知する画像を端末装置２０の表示部（モニタ）に表示する。上述した通知は、端末装置２０のスピーカから音声で通知してもよい。

【0064】

次に、設定部２２は、上述したチェックした結果が、受講可能なスペックに達している場合、生体画像の顔画像の位置を決定する。具体的には、受講者ごとに受講環境が異なるので、受講者の受講態度を表す指標が精度よく算出できるように、生体画像の顔画像の位置が、あらかじめ設定されている適切な顔画像の位置にくるように、受講者に促す。

【0065】

理由は、端末装置２０の種類により、カメラが設けられている位置、端末装置２０の設置の仕方が異なるので、受講者の顔が撮像できる位置、角度が、端末装置２０により異なるからである。また、照明条件により顔画像を上手く撮像できないことがあるからである。

【0066】

そこで、受講者に、受講者の受講態度を表す指標が精度よく算出できる位置に、受講者を誘導するための通知を、表示部（モニタ）に表示してもよい。端末装置２０は、例えば、「顔の位置を右に移動してください」などの表示、又は音声、又は両方を出力する。

【0067】

再生部２３は、利用者が端末装置２０を用いて講習動画の再生を実行させると、ネットワーク３０を介して、上述した情報処理装置１０、又は情報処理装置１０以外のサーバコンピュータ、又はデータベースなどから講習動画を取得し再生する。なお、講習動画の再生は、ストリーミング再生でもよいし、講習動画を一括ダウンロードした後に再生してもよい。

【0068】

検出部２４は、講習動画の再生中に、チェックポイントを検出した場合、チェックポイントを検出した後、あらかじめ設定した期間（生体画像送信期間）に撮像した生体画像（受講者の顔を含む複数の画像又は動画）を、通信部２６を介して情報処理装置１０へ送信する。生体画像送信期間は、実験、シミュレーションなどにより決定する。

【0069】

検出部２４は、講習動画の再生中に、ダミーポイントを検出した場合、ダミーポイントを検出した後、あらかじめ設定した期間（ダミーデータ送信期間）に、ダミーデータを、通信部２６を介して情報処理装置１０へ送信する。ダミーデータは、例えば、中身がない（データサイズが０バイトの）空ファイル、あるいは、端末装置２０から情報処理装置１０へ送信する生体画像データと概ね同じデータサイズのファイルである。

【0070】

又は、検出部２４は、ダミーポイントを検出した場合、ダミーポイントを検出した後、ダミーデータ送信期間、通信部２６を介して情報処理装置１０へ送信する振りをする。データを送信する振りとは、例えば、データを添付せずに端末装置２０から情報処理装置１０へｐｉｎｇコマンドを発行するような処理である。

【0071】

操作部２５は、情報処理装置１０から操作情報を取得すると、操作情報に基づいて操作を実行する。具体的には、操作部２５は、操作情報ｏｐ１を取得した場合、受講態度を改めることを促す通知画像を表示部（モニタ）に表示させる。また、操作部２５は、受講態度を改めることを促す音声をスピーカから出力する。さらに、操作部２５は、受講態度を改めることを促す通知画像と音声の両方を出力してもよい。

【0072】

また、操作部２５は、操作情報ｏｐ２を取得した場合、再生中の講習動画を停止させる。さらに、操作部２５は、操作情報ｏｐ３を取得した場合、指標が低下したチェックポイントより前の時点から、再度、講習動画を再生させる。

【0073】

通信部２６は、ネットワーク３０を介して、情報処理装置１０の通信部１３と通信をする。具体的には、通信部２６は、チェックポイントごとに、生体画像（受講者の顔を含む複数の画像又は動画）を情報処理装置１０の通信部１３に送信する。

【0074】

通信部２６は、ダミーポイントごとに、ダミーデータを情報処理装置１０の通信部１３に送信してもよい。

【0075】

なお、端末装置２０は、情報処理装置１０の処理負荷を軽減するため、生体画像（受講者の顔を含む複数の画像又は動画）の圧縮などの前処理を実行させることが望ましい。

【0076】

また、端末装置２０は、漏洩を防止するため（プライバシー侵害を防ぐ）ため、生体画像の暗号化をしてから、情報処理装置１０に送信することが望ましい。

【0077】

［装置動作］
実施形態における情報処理装置の動作について図４を用いて説明する。図４は、情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態では、情報処理装置を動作させることによって、情報処理方法が実施される。よって、実施形態における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。

【0078】

まず、端末装置２０が、キャリブレーションを完了した後、講習動画の再生を開始する。次に、端末装置２０がチェックポイントにおいて送信された生体画像（受講者の顔を含む複数の画像又は動画）を通信部１３が受信した場合（ステップＡ１：Ｙｅｓ）、ステップＡ１の処理を実行する。生体画像が受信できない場合（ステップＡ１：Ｎｏ）、生体画像の受信を待つ。生体画像が受信できない場合には、ダミーデータを受信した場合を含む。

【0079】

次に、算出部１１は、受信した生体画像を用いて、受講者の受講態度を表す指標を算出する（ステップＡ２）。具体的には、ステップＡ２において、算出部１１は、受講態度を表す指標として、上述した（１）集中度、（２）覚醒度、（３）緊張度を全て算出する。又は、算出部１１は、（１）集中度、（２）覚醒度、（３）緊張度のいずれか一つ以上を算出する。

【0080】

次に、選択部１２は、受講者の受講態度を表す指標が低下していない場合（集中度、覚醒度、緊張度のすべてが低下していない場合）（ステップＡ３：Ｎｏ）、受講者は受講していると推定できるので、ステップＡ１に移行して、次の生体画像の受信を待つ。

【0081】

また、選択部１２は、受講者の受講態度を表す指標が低下している場合（集中度、覚醒度、緊張度のいずれかが低下している場合）（ステップＡ３：Ｙｅｓ）、受講態度を表す指標（集中度、覚醒度、緊張度のいずれか一つ以上）を用いて、講習動画操作情報を参照し、算出した指標に対応する操作情報を選択する（ステップＡ４）。その後、選択部１２は、選択した操作情報を、通信部１３を介して端末装置２０に送信する（ステップＡ５）。

【0082】

ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ１より低下した場合（集中度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0083】

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ１より低下した場合（覚醒度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0084】

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ１より低下した場合（緊張度が低下した場合）、選択部１２は、受講態度を改めることを促す通知を出力させるための操作情報ｏｐ１を、通信部１３を介して端末装置２０に送信する。

【0085】

また、ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ２（＜ＣｏｎＴｈ１）より低下した場合（集中度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0086】

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ２（＜ＡｌｅＴｈ１）より低下した場合（覚醒度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0087】

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ２（＜ＴｅｎＴｈ１）より低下した場合（緊張度が低下した場合）、選択部１２は、再生中の講習動画を停止させるための操作情報ｏｐ２を、通信部１３を介して端末装置２０に送信する。

【0088】

また、ステップ４において、算出した集中度Ｃｏｎが集中度閾値ＣｏｎＴｈ３（＜ＣｏｎＴｈ２）より低下した場合（集中度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0089】

また、ステップ４において、算出した覚醒度Ａｌｅが覚醒度閾値ＡｌｅＴｈ３（＜ＡｌｅＴｈ２）より低下した場合（覚醒度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0090】

また、ステップ４において、算出した緊張度Ｔｅｎが緊張度閾値ＴｅｎＴｈ３（＜ＴｅｎＴｈ２）より低下した場合（緊張度が低下した場合）、選択部１２は、指標が低下したチェックポイントより前の時点から講習動画を再生させるための操作情報ｏｐ３を、通信部１３を介して端末装置２０に送信する。

【0091】

情報処理装置１０は、上述したステップＡ１からＡ５の処理を、講習動画が再生されている期間実行する。

【0092】

次に、実施形態における端末装置の動作について図５を用いて説明する。図５は、端末装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態では、端末装置を動作させることによって、端末装置の処理が実施される。よって、実施形態における端末装置の処理方法の説明は、以下の端末装置の動作説明に代える。

【0093】

まず、キャリブレーションを完了した後、再生部２３は、講習動画の再生を開始する（ステップＢ１）。

【0094】

次に、検出部２４は、講習動画の再生中にチェックポイントを検出した場合（ステップＢ２：Ｙｅｓ）、生体画像送信期間（当該チェックポイントの時刻を含む、あらかじめ設定した期間）に撮像した生体画像（受講者の顔を含む複数の画像又は動画）を、通信部２６を介して情報処理装置１０へ送信する（ステップＢ３）。

【0095】

次は、検出部２４は、チェックポイントがない場合（ステップＢ２：Ｎｏ）、ダミーポイントを検出したか否かを判定する（ステップＢ４）。検出部２４は、ダミーポイントを検出した場合（ステップＢ４：Ｙｅｓ）、ダミーポイントを検出した後、ダミーデータ送信期間に、ダミーデータを、通信部２６を介して情報処理装置１０へ送信する（ステップＢ５）。検出部２４は、ダミーポイントを検出できない場合（ステップＢ４：Ｎｏ）、ステップＢ２に移行する。

【0096】

又は、ステップＢ４において、検出部２４は、ダミーポイントを検出した場合、ダミーポイントを検出した後、ステップＢ５において、ダミーデータ送信期間に、データを、通信部２６を介して情報処理装置１０へ送信する振りをしてもよい。

【0097】

次に、操作部２５は、情報処理装置１０から操作情報を取得した場合（ステップＢ６：Ｙｅｓ）、操作情報に基づいて操作を実行する（ステップＢ７）。操作部２５は、操作情報を取得できない場合（ステップＢ６：Ｎｏ）、ステップＢ２に移行する。

【0098】

具体的には、ステップＢ７において、操作部２５は、操作情報ｏｐ１を取得した場合、受講態度を改めることを促す通知画像を表示部（モニタ）に表示させる。また、操作部２５は、受講態度を改めることを促す音声をスピーカから出力する。さらに、操作部２５は、受講態度を改めることを促す通知画像と音声の両方を出力してもよい。

【0099】

また、操作部２５は、操作情報ｏｐ２を取得した場合、再生中の講習動画を停止させる。さらに、操作部２５は、操作情報ｏｐ３を取得した場合、指標が低下したチェックポイントより前の時点から、再度、講習動画を再生させる。

【0100】

端末装置２０は、上述したステップＢ１からＢ７の処理を、講習動画が再生されている期間実行する。

【0101】

［実施形態の効果］
以上のように実施形態によれば、複数の専用の測定機器を用いず、生体画像だけを用いて受講態度を表す指標を算出することができる。

【0102】

また、端末装置２０は、講習動画の再生を開始した後、チェックポイントにおいてだけ生体画像を情報処理装置１０に送信するので、システムの負荷を小さくすることができる。ここで、システムの負荷は、例えば、端末装置２０と情報処理装置１０との間の通信トラフィックなどである。また、システムの負荷は、例えば、情報処理装置１０にて受講態度を算出する処理を行う際のＣＰＵ、メモリ、ディスク使用率の上昇などである。

【0103】

［プログラム］
実施形態における情報処理のプログラムは、コンピュータに、図４に示すステップＡ１からＡ５を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態における情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、算出部１１、選択部１２として機能し、処理を行なう。

【0104】

また、実施形態における情報処理のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、算出部１１、選択部１２のいずれかとして機能してもよい。

【0105】

実施形態における端末装置のプログラムは、コンピュータに、図５に示すステップＢ１からＢ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態における端末装置の処理を実現することができる。この場合、コンピュータのプロセッサは、設定部２２、再生部２３、検出部２４、操作部２５として機能し、処理を行なう。

【0106】

また、実施形態における情報処理のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、設定部２２、再生部２３、検出部２４、操作部２５のいずれかとして機能してもよい。

【0107】

（変形例）
受講者が端末装置２０を移動しながら視聴している場合、チェックポイントにおいて顔画像が生体画像から外れると、受講態度を表す指標が低下する。変形例では、そのような場合に、受講者が受講動画を見落とすことを防止する。

【0108】

まず、変形例の選択部１２は、チェックポイントにおいて、端末装置２０に設けられている加速度センサが計測した加速度を取得する。

【0109】

次に、変形例の選択部１２は、計測した加速度が、あらかじめ設定した加速度閾値以上である場合、講習動画を停止させ、受講者にキャリブレーションを行うように促す通知を出力させるための操作情報ｏｐ４を、端末装置２０に送信する。

【0110】

加速度閾値は、受講者が端末装置２０を落とした場合に、加速度センサが計測した加速度を用いる。また、受講者が端末装置２０を手に持ちながら移動した場合に、加速度センサが計測した加速度を用いる。

【0111】

次に、変形例の操作部２５は、操作情報ｏｐ４に基づいて、講習動画を停止させ、受講者にキャリブレーションを行うように促す通知を出力させる。

【0112】

次に、変形例の選択部１２は、端末装置２０から、キャリブレーションが終了したことを表す通知を受信した場合、加速度センサの計測した値が加速度閾値以上になった時点より前の時点から講習動画を再生させるための操作情報ｏｐ５を、端末装置２０に送信する。

【0113】

次に、変形例の操作部２５は、操作情報ｏｐ５に基づいて、加速度センサの計測した値が加速度閾値以上になった時点より前の時点から講習動画を再生させる。

【0114】

変形例によれば、受講者が受講動画を見落とすことを防止できる。また、動画を視聴しながら移動することで発生する事故を防止できる。

【0115】

［物理構成］
ここで、実施形態におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図６を用いて説明する。図６は、実施形態における情報処理装置を実現するコンピュータの一例を説明するための図である。

【0116】

図６に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ、又はＦＰＧＡを備えていてもよい。

【0117】

ＣＰＵ１１１は、記憶装置１１３に格納された、実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。

【0118】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0119】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0120】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

【0121】

なお、実施形態における情報処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、情報処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

【0122】

以上、実施形態を参照して発明を説明したが、発明は上述した実施形態に限定されるものではない。発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【産業上の利用可能性】

【0123】

上述した記載によれば、受講者の受講態度をチェックポイントで監視することにより、システムの負荷を小さくすることができる。また、オンライン講習における受講者の受講態度の監視が必要な分野において有用である。

【符号の説明】

【0124】

１０ 情報処理装置
１１ 算出部
１２ 選択部
１３ 通信部
２０ 端末装置
２１ 撮像部
２２ 設定部
２３ 再生部
２４ 検出部
２５ 操作部
２６ 通信部
３０ ネットワーク
１００ システム
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】