特許 7442611 イベント支援システム、イベント支援方法、イベント支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】イベント支援システム、イベント支援方法、イベント支援プログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20240226BHJP

   G06Q 50/20 20120101ALI20240226BHJP

【ＦＩ】

G09B19/00 Z

G06Q50/20

【請求項の数】 9

(21)【出願番号】P 2022200080

(22)【出願日】2022-12-15

(62)【分割の表示】P 2021168331の分割

【原出願日】2021-10-13

(65)【公開番号】P2023058477

(43)【公開日】2023-04-25

【審査請求日】2022-12-15

(73)【特許権者】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】小林 浩美

【審査官】上田 泰

(56)【参考文献】

【文献】特開２０１８－２０５６３８（ＪＰ，Ａ）

【文献】特開２０１１－０３９９３４（ＪＰ，Ａ）

【文献】特開２０２０－０８０１５４（ＪＰ，Ａ）

【文献】特開２０１２－０５９１０７（ＪＰ，Ａ）

【文献】特開２０１９－１５３３０３（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２５２１８（ＷＯ，Ａ１）

【文献】TeacherView，Internet Archive [online]，2021年05月09日，https://web.archive.org/web/20210509125010/https://teacherview.jp/，［検索日：2022年11月9日］

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ７／００－ ７／１２

Ｇ０９Ｂ １９／００

Ｇ０６Ｑ ５０／００

Ｇ０６Ｑ ５０／２０

(57)【特許請求の範囲】

【請求項1】

ホストが進行を管理するイベントを撮影した第１撮影画像を取得する第１画像取得部と、
前記第１撮影画像をゲストに対して表示する第１表示制御部と、
前記ゲストを撮影した第２撮影画像を取得する第２画像取得部と、
前記第２撮影画像を前記ホストに対して表示する第２表示制御部と、
前記ゲストの感情を推定する感情推定部と、
を備え、
前記第２表示制御部は、推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示し、
前記第２表示制御部は、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および／または優先表示する、
ことを特徴とするイベント支援システム。

【請求項2】

前記第２表示制御部は、前記第２撮影画像およびアイコンを前記ホストの視線方向に見える実際の映像に重ねて表示する、
ことを特徴とする請求項１に記載のイベント支援システム。

【請求項3】

前記ホストの表示部は、前記ホストの頭部に装着され、前記ホストの両眼の視野を覆うように構成された透過型映像表示手段である、
ことを特徴とする請求項２に記載のイベント支援システム。

【請求項4】

前記感情推定部は、前記第２撮影画像から抽出される前記ゲストの目線の動き、前記ゲストの生体センサから取得される生体情報、および、前記ホストからの問いかけに対する前記ゲストからの回答のうちの１つまたは２つ以上に基づいて、前記ゲストの感情を推定する、
ことを特徴とする請求項１～３のいずれかに記載のイベント支援システム。

【請求項5】

前記イベントは作業訓練であり、前記ホストはトレーナーであり、前記ゲストはトレーニーである、
ことを特徴とする請求項１～４のいずれかに記載のイベント支援システム。

【請求項6】

前記イベントは診察であり、前記ホストは医師であり、前記ゲストは患者である、
ことを特徴とする請求項１～４のいずれかに記載のイベント支援システム。

【請求項7】

前記イベントは観光ツアーであり、前記ホストはツアーガイドであり、前記ゲストはツ
アー参加者である、
ことを特徴とする請求項１～４のいずれかに記載のイベント支援システム。

【請求項8】

コンピュータが実行するイベント支援方法であって、
ホストが進行を管理するイベントを撮影した第１撮影画像を取得するステップと、
前記第１撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示するステップであって、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および／または優先表示するステップと、
を含むことを特徴とするイベント支援方法。

【請求項9】

コンピュータに、
ホストが進行を管理するイベントを撮影した第１撮影画像を取得するステップと、
前記第１撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示するステップであって、推定された前記ゲストの感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および／または優先表示するステップと、
を実行させることを特徴とするイベント支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、授業支援システム、授業支援方法、授業支援プログラムに関する。

【背景技術】

【0002】

特許文献１では、ネットワークを介して接続された複数の生徒用端末の生徒に授業を提供する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１６５９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

現在のオンライン型授業では、カメラのスイッチングが頻繁に行われるために、教師が生徒の理解度を把握する機会が乏しい。そのため、授業に積極的な生徒と、そうでない生徒との間で知識定着量や習熟度に差が生じやすい。

【0005】

本発明は、以上のような点を考慮してなされたものである。本発明の目的は、カメラを介して授業を受けている生徒の感情を教師が把握しやすくなる授業支援システム、授業支援方法、授業支援プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る授業支援システムは、
教師が行う授業を撮影した第１撮影画像を取得する第１画像取得部と、
前記第１撮影画像を生徒に対して表示する第１表示制御部と、
前記生徒を撮影した第２撮影画像を取得する第２画像取得部と、
前記第２撮影画像を前記教師に対して表示する第２表示制御部と、
前記生徒の感情を推定する感情推定部と、
を備え、
前記第２表示制御部は、推定された前記生徒の感情を示すアイコンを前記第２撮影画像に関連付けて前記教師に対して表示する。

【0007】

このような態様によれば、第２表示制御部が、生徒を撮影した第２撮影画像を教師に対して表示する際に、生徒の感情を示すアイコンを第２撮影画像に関連付けて表示するため、授業中に教師が生徒の映像（第２撮影画像）を確認するときに、当該映像に関連付けて表示されたアイコンも教師の目に入ることになり、たとえ生徒の映像からはその表情や様子がわかりづらかったとしても、当該アイコンを介して生徒の感情を一目で容易に把握することができる。これにより、生徒が遠隔にいたとしても、把握した生徒の感情に応じてリアルタイムで授業の内容や進行を調整することが可能となり、遠隔・在室を問わず授業に参加する生徒全員の理解度を上げることが可能となる。

【0008】

本発明の第２の態様に係る授業支援システムは、第１の態様に係る授業支援システムであって、
前記第２表示制御部は、前記第２撮影画像およびアイコンを前記教師の視線方向に見える実際の映像に重ねて表示する。

【0009】

このような態様によれば、教師は、教室内で実際に着席して授業を受けている生徒と、
遠隔からカメラを介して授業に参加している生徒の両方の様子を同時に確認しながら、授業を行うことができる。したがって、遠隔・在室を問わず授業に参加する生徒全員の理解度を上げることが可能となる。

【0010】

本発明の第３の態様に係る授業支援システムは、第２の態様に係る授業支援システムであって、
前記第２表示制御部は、前記第２撮影画像およびアイコンを前記教室内で実際に着席している他の生徒の上方に表示する。

【0011】

このような態様によれば、教師の視界において、教室内で実際に着席して授業を受けている生徒と、遠隔からカメラを介して授業に参加している生徒とが互いに重ならずに表示されるようになるため、遠隔・在室を問わず授業に参加する生徒全員の様子を同時に確認することが容易となる。

【0012】

本発明の第４の態様に係る授業支援システムは、第１～３のいずれかの態様に係る授業支援システムであって、
前記感情推定部は、前記第２撮影画像から抽出される前記生徒の目線の動き、前記生徒の生体センサから取得される生体情報、および、前記教師からの問いかけに対する前記生徒からの回答のうちの１つまたは２つ以上に基づいて、前記生徒の感情を推定する。

【0013】

このような態様によれば、生徒の感情を精度よく推定することができる。

【0014】

本発明の第５の態様に係る授業支援システムは、第４の態様に係る授業支援システムであって、
前記生体情報は、脳波および／または心拍である。

【0015】

本発明の第６の態様に係る授業支援システムは、第１～５のいずれかの態様に係る授業支援システムであって、
前記生徒が発した音声を取得する音声取得部をさらに備え、
前記第２表示制御部は、前記生徒の音声に基づいて前記生徒が質問したいという意思を有しているか否かを判定し、質問したいという意思があると判定された場合には、質問したいという意思があることを示すアイコンを前記第２撮影画像に関連付けて前記教師に対して表示する。

【0016】

このような態様によれば、生徒が遠隔からカメラを介して授業に参加している場合であっても、質問したいときには、教室内で実際に着席して授業を受けているときと同様に音声を発するだけで、質問したいという意思があることを迅速かつ円滑に教師に伝えることが可能となる。

【0017】

本発明の第７の態様に係る授業支援システムは、第１～６のいずれかの態様に係る授業支援システムであって、
前記第２表示制御部は、推定された前記生徒の感情の継続時間、検出回数または検出頻度に応じて前記アイコンを強調表示および／または優先表示する。

【0018】

このような態様によれば、生徒の感情の強さに応じてアイコンが強調表示および／または優先表示されるため、多数の生徒が授業に参加していたとしても、ある生徒の感情が強い場合には、教師は、強調表示または優先表示されたアイコンを介して当該生徒の感情に容易に気づき、的確に状況を把握することが可能となる。

【0019】

本発明の第８の態様に係る授業支援システムは、第１～７のいずれかの態様に係る授業
支援システムであって、
前記第２表示制御部は、同じ感情が推定された生徒の人数に応じて前記アイコンを強調表示および／または優先表示する。

【0020】

このような態様によれば、教師は、複数の生徒で共有されている感情の存在に容易に気づいて的確に状況を把握することが可能となる。

【0021】

本発明の第９の態様に係る授業支援システムは、第１～８のいずれかの態様に係る授業支援システムであって、
感情ごとに表示優先順序が予め定められており、前記第２表示制御部は、前記表示優先順序が高いアイコンを低いアイコンより優先表示する。

【0022】

このような態様によれば、教師は、重要な感情を抱いている生徒の存在に容易に気づいて的確に状況を把握することが可能となる。

【0023】

本発明の第１０の態様に係る授業支援システムは、第１～９のいずれかの態様に係る授業支援システムであって、
感情ごとに表示させるか否かを前記教師が選択できるようになっており、前記第２表示制御部は、前記教師による選択に基づいて前記アイコンを表示するか否かを制御する。

【0024】

このような態様によれば、教師は、当該教師にとって重要な感情を抱いている生徒の存在に容易に気づいて的確に状況を把握することが可能となる。

【0025】

本発明の第１１の態様に係る授業支援方法は、コンピュータが実行する授業支援方法であって、
教師が行う授業を撮影した第１撮影画像を取得するステップと、
前記第１撮影画像を生徒に対して表示するステップと、
前記生徒を撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記教師に対して表示するステップと、
前記生徒の感情を推定するステップと、
推定された前記生徒の感情を示すアイコンを前記第２撮影画像に関連付けて前記教師に対して表示するステップと、
を含む。

【0026】

本発明の第１２の態様に係る授業支援プログラムは、
コンピュータに、
教師が行う授業を撮影した第１撮影画像を取得するステップと、
前記第１撮影画像を生徒に対して表示するステップと、
前記生徒を撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記教師に対して表示するステップと、
前記生徒の感情を推定するステップと、
推定された前記生徒の感情を示すアイコンを前記第２撮影画像に関連付けて前記教師に対して表示するステップと、
を実行させる。

【0027】

本発明の第１３の態様に係るイベント支援システムは、
ホストが進行を管理するイベントを撮影した第１撮影画像を取得する第１画像取得部と、
前記第１撮影画像をゲストに対して表示する第１表示制御部と、
前記ゲストを撮影した第２撮影画像を取得する第２画像取得部と、
前記第２撮影画像を前記ホストに対して表示する第２表示制御部と、
前記ゲストの感情を推定する感情推定部と、
を備え、
前記第２表示制御部は、推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示する。

【0028】

本発明の第１４の態様に係るイベント支援システムは、第１５の態様に係るイベント支援システムであって、
前記第２表示制御部は、前記第２撮影画像およびアイコンを前記ホストの視線方向に見える実際の映像に重ねて表示する。

【0029】

本発明の第１５の態様に係るイベント支援システムは、第１３または１４の態様に係るイベント支援システムであって、
前記感情推定部は、前記第２撮影画像から抽出される前記ゲストの目線の動き、前記ゲストの生体センサから取得される生体情報、および、前記ホストからの問いかけに対する前記ゲストからの回答のうちの１つまたは２つ以上に基づいて、前記ゲストの感情を推定する。

【0030】

本発明の第１６の態様に係るイベント支援システムは、第１３～１５のいずれかの態様に係るイベント支援システムであって、
前記イベントは作業訓練であり、前記ホストはトレーナーであり、前記ゲストはトレーニーである。

【0031】

このような態様によれば、第２表示制御部が、作業訓練を受けているトレーニーを撮影した第２撮影画像をトレーナーに対して表示する際に、トレーニーの感情を示すアイコンを第２撮影画像に関連付けて表示するため、作業訓練中にトレーナーがトレーニーの映像（第２撮影画像）を確認するときに、当該映像に関連付けて表示されたアイコンもトレーナーの目に入ることになり、たとえトレーニーの映像からはその表情や様子がわかりづらかったとしても、当該アイコンを介してトレーニーの感情を一目で容易に把握することができる。これにより、トレーニーが遠隔にいたとしても、把握したトレーニーの感情に応じてリアルタイムで職業訓練の内容や進行を調整することが可能となり、遠隔・在室を問わず作業訓練に参加するトレーニー全員の理解度を上げることが可能となる。

【0032】

本発明の第１７の態様に係るイベント支援システムは、第１３～１５のいずれかの態様に係るイベント支援システムであって、
前記イベントは診察であり、前記ホストは医師であり、前記ゲストは患者である。

【0033】

このような態様によれば、第２表示制御部が、診察を受けている患者を撮影した第２撮影画像を医師に対して表示する際に、患者の感情を示すアイコンを第２撮影画像に関連付けて表示するため、診察中に医師が患者の映像（第２撮影画像）を確認するときに、当該映像に関連付けて表示されたアイコンも医師の目に入ることになり、たとえ患者の映像からはその表情や様子がわかりづらかったとしても、当該アイコンを介して患者の感情を一目で容易に把握することができる。これにより、患者が遠隔にいたとしても、把握した患者の感情に応じてリアルタイムで診察の内容や進行を調整することが可能となり、診察の正確性および患者の満足度を上げることが可能となる。

【0034】

本発明の第１８の態様に係る診察支援システムは、第１３～１５のいずれかの態様に係る診察支援システムであって、
前記イベンは観光ツアーであり、前記ホストはツアーガイドであり、前記ゲストはツアー参加者である。

【0035】

このような態様によれば、第２表示制御部が、ツアーに参加しているツアー参加者を撮影した第２撮影画像をツアーガイドに対して表示する際に、ツアー参加者の感情を示すアイコンを第２撮影画像に関連付けて表示するため、ツアー中にツアーガイドがツアー参加者の映像（第２撮影画像）を確認するときに、当該映像に関連付けて表示されたアイコンもツアーガイドの目に入ることになり、たとえツアー参加者の映像からはその表情や様子がわかりづらかったとしても、当該アイコンを介してツアー参加者の感情を一目で容易に把握することができる。これにより、ツアー参加者が遠隔にいたとしても、把握したツアー参加者の感情に応じてリアルタイムでツアーの内容や進行を調整することが可能となり、ツアー参加者の満足度を上げることが可能となる。

【0036】

本発明の第１９の態様に係るイベント支援システムは、コンピュータが実行するイベント支援方法であって、
ホストが進行を管理するイベントを撮影した第１撮影画像を取得するステップと、
前記第１撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示するステップと、
を含む。

【0037】

本発明の第２０の態様に係るイベント支援システムは、コンピュータに、
ホストが進行を管理するイベントを撮影した第１撮影画像を取得するステップと、
前記第１撮影画像をゲストに対して表示するステップと、
前記ゲストを撮影した第２撮影画像を取得するステップと、
前記第２撮影画像を前記ホストに対して表示するステップと、
前記ゲストの感情を推定するステップと、
推定された前記ゲストの感情を示すアイコンを前記第２撮影画像に関連付けて前記ホストに対して表示するステップと、
を実行させる。

【発明の効果】

【0038】

本発明によれば、カメラを介して授業を受けている生徒の感情を教師が把握しやすくなる。

【図面の簡単な説明】

【0039】

【図1】図１は、一実施の形態に係る授業支援システムの概略的な構成を示す図である。

【図2】図２は、サーバの構成を示すブロック図である。

【図3】図３は、端末装置の構成を示すブロック図である。

【図4】図４は、一実施の形態に係る授業支援システムの動作の一例を示すフローチャートである。

【図5】図５は、カメラを介して授業を受ける生徒を撮像した撮影画像を、教師の視線方向に見える実際の映像に重ねて表示する処理の一例を示す図である。

【図6】図６は、感情意思－アイコン紐づけデータベースの一例を示すテーブルである。

【図7】図７は、推定された生徒の感情の継続時間、検出回数または検出頻度に応じて感情を示すアイコンを強調表示する処理の一例を示す図である。

【図8】図８は、同じ感情が推定された生徒の人数に応じて感情を示すアイコンを強調表示する処理の一例を示す図である。

【発明を実施するための形態】

【0040】

以下に、添付の図面を参照して、実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。

【0041】

図１は、一実施の形態に係る授業支援システム１の概略的な構成を示す図である。

【0042】

図１に示すように、授業支援システム１は、サーバ２と、１または複数の端末装置３ａ～３ｃとを有している。サーバ２と端末装置３ａ～３ｃとは、インターネット等のネットワーク４を介して互いに通信可能に接続されている。ネットワーク４は、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。なお、サーバ２と端末装置３ａ～３ｃの少なくとも一部は、コンピュータにより実現される。

【0043】

このうち端末装置３ａ～３ｃは、授業を受ける生徒が利用するものであり、たとえば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末などの電子機器である。各端末装置３ａ～３ｃの構成は同一であり、以下、符号３を付して代表して説明する。

【0044】

図３は、端末装置３の構成を示すブロック図である。図３に示すように、端末装置３は、通信部３１と、制御部３２と、記憶部３３と、入力部３４と、表示部３５と、カメラ３６と、生体センサ３７とを有している。各部３１～３６は互いに通信可能に接続されている。

【0045】

通信部３１は、端末装置３とネットワーク４との間の通信インターフェースである。通信部３１は、ネットワーク４を介して端末装置３とサーバ２との間で情報を送受信する。

【0046】

制御部３２は、端末装置３の各種処理を行う制御手段である。制御部３２は、端末装置３内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

【0047】

記憶部３３は、たとえばフラッシュメモリ等の不揮発性データストレージある。記憶部３３には、制御部３２が取り扱う各種データが記憶される。

【0048】

入力部３４は、授業を受けている生徒が端末装置３に情報を入力するためのインターフェースであり、たとえばパーソナルコンピュータにおけるタッチパッド、キーボードまたはマウス、スマートフォンやタブレット端末におけるタッチパネルなどである。入力部３４は、生徒が発する音声を受け止めて電気信号に変換するマイクロフォンを含んでいてもよい。

【0049】

表示部３５は、端末装置３から生徒に対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイや有機ＥＬディスプレイ等の映像表示手段である。

【0050】

カメラ３６は、授業を受けている生徒を撮影して第２撮影画像を生成する。第２撮影画像には、生徒の表情を確認できるように、少なくとも生徒の顔の部分が含まれるのが好ましい。カメラ３６としては、たとえばＣＣＤカメラやＣＭＯＳカメラが用いられる。

【0051】

生体センサ３７は、授業を受けている生徒の生体情報を取得するセンサである。生体センサ３７が取得する生体情報は、生徒の感情の推定に用いることができるものであれば、
特に限定されるものではなく、たとえば、脳波および／または心拍であってもよい。すなわち、生体センサ３７は、たとえば、脳波センサであってもよいし、心拍センサであってもよいし、それらの組み合わせであってもよい。

【0052】

次に、サーバ２について説明する。サーバ２は、１台のコンピュータから構成されていてもよいし、ネットワークを介して互いに通信可能に接続された複数台のコンピュータから構成されていてもよい。

【0053】

図２は、サーバ２の構成を示すブロック図である。図２に示すように、サーバ２は、通信部２１と、制御部２２と、記憶部２３と、入力部２４と、表示部２５と、カメラ２６とを有している。各部２１～２６は互いに通信可能に接続されている。

【0054】

このうち通信部２１は、サーバ２とネットワーク５との間の通信インターフェースである。通信部２１は、ネットワーク５を介してサーバ２と端末装置４ａ～４ｃとの間で情報を送受信する。

【0055】

入力部２４は、授業を行う教師がサーバ２に情報を入力するためのインターフェースであり、たとえばマイクロフォンやキーボード、ハンドヘルドコントローラなどである。

【0056】

表示部２５は、サーバ２から教師に対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイや有機ＥＬディスプレイ等の映像表示手段である。図１に示す例では、表示部２５は、教師の頭部に装着され、教師の両眼の視野を覆うタイプの透過型映像表示手段（拡張現実（ＡＲ）グラスともいう）である。ＡＲグラスを装着した教師は、表示部２５に表示された映像を、教師の視線方向に見える実際の映像に重なった状態で見ることができる。

【0057】

カメラ２６は、教師が行う授業を撮影して第１撮影画像を生成する。第１撮影画像には、授業を行う教師が含まれてもよいし、黒板やホワイトボード、教科書、参考資料、実験器具、演奏器具、運動器具などの教材が含まれていてもよいし、それらの組み合わせが含まれてもよい。カメラ３６としては、たとえばＣＣＤカメラやＣＭＯＳカメラが用いられる。

【0058】

記憶部２３は、たとえばハードディスクやフラッシュメモリ等の不揮発性データストレージある。記憶部２３には、制御部２２が取り扱う各種データが記憶される。たとえば、記憶部２３は、感情意思－アイコン紐づけデータベース２３１を含んでいる。

【0059】

図６は、感情意思－アイコン紐づけデータベースの一例を示すテーブルである。図６に示すように、感情意思－アイコン紐づけデータベース２３１には、感情または意思ごとに、当該感情または意思を示すアイコンが紐づけられて記憶されている。図６に示す例では、「わかった！」「たのしいね！」「ストレス」「びっくり」「わかりません」「眠い・寝ている」という感情ごとに、当該感情を視覚的に表現するアイコンが紐づけられて記憶されている。また、「質問したい」という意思に対して、当該意思を視覚的に表現するアイコン（たとえば挙手の動作を図形化したアイコン）が紐づけられて記憶されている。

【0060】

図６に示すように、感情意思－アイコン紐づけデータベース２３１には、感情ごとに、当該感情を示すアイコンの表示優先順序がさらに記憶されていてもよい。また、感情意思－アイコン紐づけデータベース２３１には、感情ごとに、当該感情を示すアイコンを表示させるか否かについて教師により予め入力された選択（すなわち「表示」または「非表示」の設定）がさらに記憶されていてもよい。

【0061】

なお、記憶部２３は、必ずしもサーバ２内に設けられていなくてもよく、記憶部２３の一部または全部は、ネットワーク４を介してサーバ２と通信可能に接続された別の装置内に設けられていてもよい。

【0062】

図２に示すように、制御部２２は、第１画像取得部２２１と、第１表示制御部２２２と、第２画像取得部２２３と、第２表示制御部２２４と、感情推定部２２５と、音声取得部２２６とを有している。これらの各部２２１～２２６は、サーバ２内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

【0063】

このうち第１画像取得部２２１は、教師が行う授業を撮影した第１撮影画像をカメラ２６から取得する。取得された第１撮影画像は記憶部２３に記憶されてもよい。

【0064】

第１表示制御部２２２は、第１画像取得部２２１により取得された第１撮影画像を端末装置３ａ～３ｃに送信して、端末装置３ａ～３ｃの表示部３５に表示させる。これにより、図１に示すように、教師が行う授業を撮影した第１撮影画像７１が生徒に対して表示される。

【0065】

第２画像取得部２２３は、授業を受けている生徒を撮影した第２撮影画像を端末装置３ａ～３ｃのカメラ３６から取得する。取得された第２撮影画像は記憶部２３に記憶されてもよい。

【0066】

第２表示制御部２２４は、第２画像取得部２２３により取得された第２撮影画像を表示部２５に表示させる。これにより、図５に示すように、授業を受けている生徒を撮影した第２撮影画像７２ａ、７２ｂが教師に対して表示される。

【0067】

音声取得部２２６は、授業を受けている生徒が発した音声を端末装置３ａ～３ｃの入力部３４（マイクロフォン）から取得する。取得された生徒の音声は記憶部２３に記憶されてもよい。

【0068】

感情推定部２２５は、授業を受けている生徒の感情を推定する。たとえば、感情推定部２２５は、第２撮影画像から抽出される生徒の目線の動き、生徒の生体センサ３７から取得される生体情報（たとえば脳波および／または脈拍）、および、教師からの問いかけ（たとえば「分かりましたか？」）に対する生徒からの回答のうちの１つまたは２つ以上に基づいて、生徒の感情を推定する。感情推定部２２５は、第２撮影画像から抽出される生徒の表情や顔色、動作（首をひねる、下を向く、あくびをするなど）、生徒が発した音声（「わからない」というつぶやきなど）などをさらに考慮して、生徒の感情を推定してもよい。

【0069】

第２表示制御部２２４は、感情推定部２２５により生徒の感情が推定された場合には、感情意思－アイコン紐づけデータベース２３１を参照し、推定された感情に対応するアイコンを特定し、図５に示すように、特定されたアイコン７３を、当該生徒を撮影した第２撮影画像７２ａに関連付けて表示部２５に表示する。これにより、授業中に教師が生徒の映像（第２撮影画像７２ａ）を確認するときに、当該映像に関連付けて表示されたアイコン７３も教師の目に入ることになり、たとえ生徒の映像（第２撮影画像７２ａ）からはその表情や様子がわかりづらかったとしても、当該アイコン７３を介して生徒の感情を一目で容易に把握することが可能となる。

【0070】

生徒の感情を示すアイコン７３の表示位置は、当該生徒を撮影した第２撮影画像７２ａに関連していることを視覚的に確認できる位置であれば、特に限定されるものではなく、
たとえば、当該生徒を撮影した第２撮影画像７２ａの周囲（たとえば上方）に表示されてもよいし、当該生徒を撮影した第２撮影画像７２ａの一部に重なるように表示されてもよい。

【0071】

第２表示制御部２２４は、推定された生徒の感情の継続時間、検出回数または検出頻度に応じて、アイコン７３を強調表示および／または優先表示してもよい。ここで「強調表示」とは他のアイコンに比べて目立つように表示されることをいう。具体的には、たとえば「わかりません」という感情が１０秒継続するごとに、図７に示すように、「？」マークのアイコン７３の数が増えていってもよいし、当該アイコン７３の表示サイズが大きくなっていってもよいし、当該アイコン７３の表示が振動したり跳びはねたりしてもよい。また「優先表示」とは他のアイコンに比べて優先的に表示されることをいう。たとえば、推定された生徒の感情の継続時間、検出回数または検出頻度が高い順に優先度の順序付けを行って、優先度が高いアイコンのみが表示され、優先度が低いアイコンは非表示にされてもよい。生徒の感情の継続時間、検出回数または検出頻度（すなわち生徒の感情の強さ）に応じてアイコン７３が強調表示および／または優先表示されることで、多数の生徒が授業に参加していたとしても、ある生徒の感情が強い場合には、教師は、強調表示または優先表示されたアイコン７３を介して当該生徒の感情に容易に気づき、的確に状況を把握することが可能となる。

【0072】

第２表示制御部２２４は、同じ感情が推定された生徒の人数に応じて当該感情を示すアイコン７３を強調表示および／または優先表示してもよい。具体的には、たとえば、「わかりません」という感情が同時に４人の生徒に対して推定された場合には、図８に示すように、「？」マークのアイコン７３の表示が振動したり跳びはねたりされてもよいし、「？」マークのアイコン７３のみが表示され、他の感情を示すアイコンは非表示にされてもよい。同じ感情を有する生徒の人数に応じて当該感情を示すアイコン７３が強調表示および／または優先表示されることで、教師は、複数の生徒で共有されている感情の存在に容易に気づいて的確に状況を把握することが可能となる。

【0073】

図６に示すように、感情ごとに表示優先順序が予め定められている場合には、第２表示制御部２２４は、表示優先順序が高いアイコンを、低いアイコンより優先表示してもよい。図６に示す例では、「わかった！」「たのしいね！」「びっくり」といったポジティブな感情の表示優先順序は、「ストレス」「わかりません」「眠い・寝ている」といったネガティブな感情の表示優先順序より高くなっている。この場合、ポジティブな感情を示すアイコンのみが表示され、ネガティブな感情を示すアイコンは非表示にされてもよい。表示優先順序に従ってアイコン７３の優先表示が行われることで、教師は、重要な感情を抱いている生徒の存在に容易に気づいて的確に状況を把握することが可能となる。

【0074】

図６に示すように、感情ごとに表示させるか否かを教師が選択できるようになっている場合には、第２表示制御部２２４は、教師による選択に基づいてアイコンを表示するか否かを制御してもよい。図６に示す例では、「わかった！」「たのしいね！」「ストレス」「びっくり」「わかりません」の感情は「表示」と設定され、「眠い・寝ている」の感情は「非表示」と設定されている。この場合、「わかった！」「たのしいね！」「ストレス」「びっくり」「わかりません」の感情に対応するアイコンのみが表示され、「眠い・寝ている」の感情に対応するアイコンは非表示にされてもよい。教師の選択に従ってアイコン７３の優先表示が行われることで、教師は、当該教師にとって重要な感情を抱いている生徒の存在に容易に気づいて的確に状況を把握することが可能となる。

【0075】

第２表示制御部２２４は、音声取得部２２６により生徒の音声が取得された場合には、取得された生徒の音声に基づいて、生徒が質問したいという意思を有しているか否かを判定する。たとえば、取得された生徒の音声が「はい！」「先生！」「質問！」などである
場合には、当該生徒には質問したいという意思があると判定する。そして、質問したいという意思があると判定された場合には、第２表示制御部２２４は、感情意思－アイコン紐づけデータベース２３１を参照し、質問したいという意思があることを示すアイコンを特定し、図５に示すように、特定されたアイコン７４を、当該生徒を撮影した第２撮影画像７２ｂに関連付けて表示部２５に表示する。これにより、生徒が遠隔からカメラを介して授業に参加している場合であっても、質問したいときには、教室内で実際に着席して授業を受けているときと同様に音声を発するだけで、質問したいという意思があることを迅速かつ円滑に教師に伝えることが可能となる。

【0076】

質問したいという意思があることを示すアイコン７４の表示位置は、当該生徒を撮影した第２撮影画像７２ｂに関連していることを視覚的に確認できる位置であれば、特に限定されるものではなく、たとえば、当該生徒を撮影した第２撮影画像７２ｂの周囲（たとえば上方）に表示されてもよいし、当該生徒を撮影した第２撮影画像７２ｂの一部に重なるように表示されてもよい。

【0077】

図１に示すように、表示部３５がＡＲグラスである場合には、第２表示制御部２２４は、図５に示すように、第２撮影画像７２ａ、７２ｂおよびアイコン７３、７４を教師の視線方向に見える実際の映像に重ねて表示する。これにより、教師は、教室内で実際に着席して授業を受けている生徒と、遠隔からカメラを介して授業に参加している生徒の両方の様子を同時に確認しながら、授業を行うことができ、遠隔・在室を問わず授業に参加する生徒全員の理解度を上げることが可能となる。

【0078】

図５に示すように、第２表示制御部２２４は、第２撮影画像７２ａ、７２ｂおよびアイコン７３、７４を教室内で実際に着席している他の生徒の上方に表示してもよい。この場合、教師の視界において、教室内で実際に着席して授業を受けている生徒と、遠隔からカメラを介して授業に参加している生徒とが互いに重ならずに表示されるようになるため、遠隔・在室を問わず授業に参加する生徒全員の様子を同時に確認することが容易となる。

【0079】

次に、このような構成からなる授業支援システム１の動作の一例について、図３を参照して説明する。図３は、授業支援システム１の動作の一例を示すフローチャートである。

【0080】

図３に示すように、まず、サーバ２のカメラ２６が、教師が行う授業を撮影して第１撮影画像を生成し、第１画像取得部２２１が、教師が行う授業を撮影した第１撮影画像をカメラ２６から取得する（ステップＳ１０）。

【0081】

次いで、第１表示制御部２２２が、第１画像取得部２２１により取得された第１撮影画像を端末装置３ａ～３ｃに送信して、端末装置３ａ～３ｃの表示部３５に表示させる（ステップS１１）。これにより、図１に示すように、教師が行う授業を撮影した第１撮影画
像７１が生徒に対して表示される。

【0082】

ステップＳ１０、Ｓ１１と並行して、端末装置３ａ～３ｃのカメラ３６が、授業を受けている生徒を撮影して第２撮影画像を生成し、第２画像取得部２２３が、授業を受けている生徒を撮影した第２撮影画像を端末装置３ａ～３ｃのカメラ３６から取得する（ステップＳ１２）。

【0083】

次いで、第２表示制御部２２４が、第２画像取得部２２３により取得された第２撮影画像を表示部２５に表示させる（ステップＳ１３）。これにより、図５に示すように、授業を受けている生徒を撮影した第２撮影画像７２ａ、７２ｂが教師に対して表示される。

【0084】

ステップＳ１３において、第２表示制御部２２４は、図５に示すように、第２撮影画像
７２ａ、７２ｂを教師の視線方向に見える実際の映像に重ねて表示してもよい。図５に示すように、第２表示制御部２２４は、第２撮影画像７２ａ、７２ｂを教室内で実際に着席している他の生徒の上方に表示してもよい。

【0085】

次に、感情推定部２２５が、授業を受けている生徒の感情を推定する（ステップＳ１４）。たとえば、感情推定部２２５は、第２撮影画像７２から抽出される生徒の目線の動き、生徒の生体センサ３７から取得される生体情報（たとえば脳波および／または脈拍）、および、教師からの問いかけ（たとえば「分かりましたか？」）に対する生徒からの回答のうちの１つまたは２つ以上に基づいて、生徒の感情を推定してもよい。感情推定部２２５は、第２撮影画像から抽出される生徒の表情や顔色、動作（首をひねる、下を向く、あくびをするなど）、生徒が発した音声（「わからない」というつぶやきなど）などをさらに考慮して、生徒の感情を推定してもよい。

【0086】

次いで、第２表示制御部２２４は、感情意思－アイコン紐づけデータベース２３１を参照し、推定された感情に対応するアイコンを特定する（ステップＳ１５）。推定された感情に対応するアイコンが特定された場合には（ステップＳ１５：ＹＥＳ）、第２表示制御部２２４は、特定されたアイコン７３を、当該生徒を撮影した第２撮影画像７２ａに関連付けて表示部２５に表示する（ステップ１６）。これにより、図５に示すように、生徒の感情を示すアイコン７３が、当該生徒を撮影した第２撮影画像７２ａに関連していることを視覚的に確認できる態様にて、教師に対して表示される。

【0087】

次に、音声取得部２２６が、授業を受けている生徒が発した音声を端末装置３ａ～３ｃの入力部３４（マイクロフォン）から取得する（ステップＳ１７）。

【0088】

そして、第２表示制御部２２４が、取得された生徒の音声に基づいて、生徒が質問したいという意思を有しているか否かを判定する（ステップＳ１８）。たとえば、取得された生徒の音声が「はい！」「先生！」「質問！」などである場合には、当該生徒には質問したいという意思があると判定する。そして、質問したいという意思があると判定された場合には（ステップＳ１８：ＹＥＳ）、第２表示制御部２２４は、感情意思－アイコン紐づけデータベース２３１を参照し、質問したいという意思があることを示すアイコンを特定し、図５に示すように、特定されたアイコン７４を、当該生徒を撮影した第２撮影画像７２ｂに関連付けて表示部２５に表示する（ステップＳ２０）。

【0089】

次に、サーバ２の制御部２２は、授業が終了となるか否かを判定する（ステップＳ２１）。制御部２２は、現在時刻が予め定められた授業終了時刻を経過するときに、授業が終了となると判定してもよいし、教師から授業を終了するための予め定められた入力操作を受け取ったときに、授業が終了となると判定してもよい。授業が終了となると判定された場合には（ステップＳ２１：ＮＯ）、授業支援システム１は、上述した一連の処理を終了する。他方、授業が終了となると判定されなかった場合には（ステップＳ２１：ＮＯ）、授業支援システム１は、ステップＳ１０に戻って一連の処理を継続する。

【0090】

以上のように、本実施の形態によれば、第２表示制御部２２４が、生徒を撮影した第２撮影画像７２ａを教師に対して表示する際に、生徒の感情を示すアイコン７３を第２撮影画像７３ａに関連付けて表示するため、授業中に教師が生徒の映像（第２撮影画像７２ａ）を確認するときに、当該映像に関連付けて表示されたアイコン７３も教師の目に入ることになり、たとえ生徒の映像からはその表情や様子がわかりづらかったとしても、当該アイコン７３を介して生徒の感情を一目で容易に把握することができる。これにより、生徒が遠隔にいたとしても、把握した生徒の感情に応じてリアルタイムで授業の内容や進行を調整することが可能となり、遠隔・在室を問わず授業に参加する生徒全員の理解度を上げることが可能となる。

【0091】

なお、上述した実施の形態において、「授業」を「イベント」、授業を行う「教師」をイベントの進行を管理する「ホスト」、授業を受ける「生徒」をイベントに参加する「ゲスト」に置き換えて、一実施の形態に係るイベント支援システムを構成することも可能である。

【0092】

たとえば、一実施の形態に係るイベント支援システムは、図２を参照し、ホストが進行を管理するイベントを撮影した第１撮影画像を取得する第１画像取得部２２１と、第１撮影画像をゲストに対して表示する第１表示制御部２２２と、ゲストを撮影した第２撮影画像を取得する第２画像取得部２２３と、第２撮影画像をホストに対して表示する第２表示制御部２２４と、ゲストの感情を推定する感情推定部２２５と、を有していてもよい。感情推定部２２５は、第２撮影画像から抽出されるゲストの目線の動き、ゲストの生体センサ３７から取得される生体情報、および、ホストからの問いかけに対するゲストからの回答のうちの１つまたは２つ以上に基づいて、ゲストの感情を推定してもよい。

【0093】

一実施の形態に係るイベント支援システムにおいて、第２表示制御部２２４は、推定されたゲストの感情を示すアイコン７２を第２撮影画像７１ａに関連付けてホストに対して表示してもよい。ホストの表示部２５はＡＲグラスであってもよく、第２表示制御部２２４は、図５を参照し、第２撮影画像７１ａ、７１ｂおよびアイコン７２、７３をホストの視線方向に見える実際の映像に重ねて表示してもよい。

【0094】

このような一実施の形態に係るイベント支援システムによっても、上述した授業支援システムと同様の作用効果が得られる。

【0095】

たとえば、一実施の形態に係るイベント支援システムの一例として、「イベント」は「作業訓練」であり、「ホスト」は「トレーナー」であり、「ゲスト」は「トレーニー」であって、「作業訓練支援システム」が構成されてもよい。すなわち、イベント支援システムの一例としての作業訓練支援システムは、トレーナーが進行を管理する作業訓練を撮影した第１撮影画像を取得する第１画像取得部２２１と、第１撮影画像７１をトレーニーに対して表示する第１表示制御部２２２と、トレーニーを撮影した第２撮影画像を取得する第２画像取得部２２３と、第２撮影画像７２ａをトレーナーに対して表示する第２表示制御部２２４と、トレーニーの感情を推定する感情推定部２２５と、を有しており、第２表示制御部２２４は、推定されたトレーニーの感情を示すアイコン７３を第２撮影画像７２ａに関連付けてトレーナーに対して表示してもよい。

【0096】

このような構成を有する作業訓練支援システムによれば、第２表示制御部２２４が、作業訓練を受けているトレーニーを撮影した第２撮影画像７２ａをトレーナーに対して表示する際に、トレーニーの感情を示すアイコン７３を第２撮影画像７２ａに関連付けて表示するため、作業訓練中にトレーナーがトレーニーの映像（第２撮影画像７２ａ）を確認するときに、当該映像に関連付けて表示されたアイコン７３もトレーナーの目に入ることになり、たとえトレーニーの映像からはその表情や様子がわかりづらかったとしても、当該アイコン７３を介してトレーニーの感情を一目で容易に把握することができる。これにより、トレーニーが遠隔にいたとしても、把握したトレーニーの感情に応じてリアルタイムで職業訓練の内容や進行を調整することが可能となり、遠隔・在室を問わず作業訓練に参加するトレーニー全員の理解度を上げることが可能となる。

【0097】

一実施の形態に係るイベント支援システムの別の一例として、「イベント」は「診察」であり、「ホスト」は「医師」であり、「ゲスト」は「患者」であって、「診察支援システム」が構成されてもよい。すなわち、イベント支援システムの一例としての診察支援システムは、医師が進行を管理する診察を撮影した第１撮影画像を取得する第１画像取得部
２２１と、第１撮影画像７１を患者に対して表示する第１表示制御部２２２と、患者を撮影した第２撮影画像を取得する第２画像取得部２２３と、第２撮影画像７２ａを医師に対して表示する第２表示制御部２２４と、患者の感情を推定する感情推定部２２５と、を有しており、第２表示制御部２２４は、推定された患者の感情を示すアイコン７３を第２撮影画像７２ａに関連付けて医師に対して表示してもよい。

【0098】

このような構成を有する診察支援システムによれば、第２表示制御部２２４が、（遠隔）診察を受けている患者を撮影した第２撮影画像７２ａを医師に対して表示する際に、患者の感情を示すアイコン７３を第２撮影画像に関連付けて表示するため、診察中に医師が患者の映像（第２撮影画像７２ａ）を確認するときに、当該映像に関連付けて表示されたアイコン７３も医師の目に入ることになり、たとえ患者の映像からはその表情や様子がわかりづらかったとしても、当該アイコン７３を介して患者の感情を一目で容易に把握することができる。これにより、患者が遠隔にいたとしても、把握した患者の感情に応じてリアルタイムで診察の内容や進行を調整することが可能となり、診察の正確性および患者の満足度を上げることが可能となる。

【0099】

一実施の形態に係るイベント支援システムのさらに別の一例として、「イベント」は「ツアー」であり、「ホスト」は「ツアーガイド」であり、「ゲスト」は「ツアー参加者」であって、「ツアー支援システム」が構成されてもよい。すなわち、イベント支援システムの一例としてのツアー支援システムは、ツアーガイドが進行を管理するツアーを撮影した第１撮影画像を取得する第１画像取得部２２１と、第１撮影画像をツアー参加者に対して表示する第１表示制御部２２２と、ツアー参加者を撮影した第２撮影画像７２ａを取得する第２画像取得部２２３と、第２撮影画像７２ａをツアーガイドに対して表示する第２表示制御部２２４と、ツアー参加者の感情を推定する感情推定部２２５と、を有しており、第２表示制御部２２４は、推定されたツアー参加者の感情を示すアイコン７３を第２撮影画像７２ａに関連付けてツアーガイドに対して表示してもよい。

【0100】

このような構成を有するツアー支援システムによれば、第２表示制御部２２４が、ツアーに参加しているツアー参加者を撮影した第２撮影画像７２ａをツアーガイドに対して表示する際に、ツアー参加者の感情を示すアイコン７３を第２撮影画像７１ａに関連付けて表示するため、ツアー中にツアーガイドがツアー参加者の映像（第２撮影画像７２ａ）を確認するときに、当該映像に関連付けて表示されたアイコン７３もツアーガイドの目に入ることになり、たとえツアー参加者の映像からはその表情や様子がわかりづらかったとしても、当該アイコン７３を介してツアー参加者の感情を一目で容易に把握することができる。これにより、ツアー参加者が遠隔にいたとしても、把握したツアー参加者の感情に応じてリアルタイムでツアーの内容や進行を調整することが可能となり、ツアー参加者の満足度を上げることが可能となる。

【0101】

なお、上述した実施の形態の記載ならびに図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の記載または図面の開示によって特許請求の範囲に記載された発明が限定されることはない。上述した実施の形態の構成要素は、発明の主旨を逸脱しない範囲で任意に組み合わせることが可能である。

【0102】

また、本実施の形態に係る授業支援システム１の少なくとも一部はコンピュータによって構成され得るが、コンピュータに授業支援システム１の少なくとも一部を実現させるためのプログラム及び当該プログラムを非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）に記録したコンピュータ読取可能な記録媒体も、本件の保護対象である。

【符号の説明】

【0103】

１ 授業支援システム
２ サーバ
２１ 通信部
２２ 制御部
２２１ 第１画像取得部
２２２ 第１表示制御部
２２３ 第２画像取得部
２２４ 第２表示制御部
２２５ 感情推定部
２２６ 音声取得部
２３ 記憶部
２３１ 感情意思－アイコン紐づけデータベース
２４ 入力部
２５ 表示部
２６ カメラ
３、３ａ～３ｃ 端末装置
３１ 通信部
３２ 制御部
３３ 記憶部
３４ 入力部
３５ 表示部
３６ カメラ
３７ 生体センサ
４ ネットワーク
７１ 第１撮影画像
７２ａ、７２ｂ 第２撮影画像
７３ 感情を示すアイコン
７４ 質問したいという意思を示すアイコン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】