特開 2024-20056 画像検出プログラム、画像検出装置および画像検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020056

(43)【公開日】2024-02-14

(54)【発明の名称】画像検出プログラム、画像検出装置および画像検出方法

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20240206BHJP

【ＦＩ】

G06Q50/20

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022122939

(22)【出願日】2022-08-01

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】滝沢 亮

(72)【発明者】

【氏名】大塚 信幸

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC34

(57)【要約】

【課題】生徒の受講状況に応じて、授業の改善すべき箇所を把握する。
【解決手段】画像検出装置１は、第１のユーザそれぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、各々の端末装置の画面を目視していない生徒の数である第１の件数を算出し、第１の画像が表示される時間帯に、第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出し、第１の件数と第２の件数とのそれぞれが基準値を超えている場合に、第１の画像を、改善すべき箇所として検出する。
【選択図】図５

【特許請求の範囲】

【請求項1】

第１のユーザそれぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、前記各々の端末装置の画面を目視していない第１のユーザの数である第１の件数を算出し、
前記第１の画像が表示される時間帯に、前記第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出し、
前記第１の件数と前記第２の件数とのそれぞれが基準値を超えている場合に、前記第１の画像を、改善すべき箇所として検出する
処理をコンピュータに実行させる画像検出プログラム。

【請求項2】

該検出する処理は、さらに、前記第１の件数または前記第２の件数のいずれかが基準値以上であり、前記第１の件数および前記第２の件数のいずれも１件以上である場合に、前記第１の画像を、改善を要する箇所として検出する
ことを特徴とする請求項１に記載の画像検出プログラム。

【請求項3】

該検出する処理は、さらに、前記第１の件数または前記第２の件数のいずれかが基準値以上であり、前記第１の件数または前記第２の件数のいずれかが０件である場合に、前記第１の画像を、改善を検討する箇所として検出する
ことを特徴とする請求項１に記載の画像検出プログラム。

【請求項4】

前記画面を目視していない第１のユーザそれぞれの目視していない期間に応じて、前記第１のユーザの端末装置に警告音と警告メッセージとのうちの少なくとも一つを出力する
ことを特徴とする請求項１に記載の画像検出プログラム。

【請求項5】

前記第１の件数および前記第２の件数を、時間帯ごとに重ね合せた情報を生成し、
生成した情報を第２のユーザの端末装置に出力する
ことを特徴とする請求項１～４のいずれか１項に記載の画像検出プログラム。

【請求項6】

第１のユーザそれぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、前記各々の端末装置の画面を目視していない第１のユーザの数である第１の件数を算出する第１の算出部と、
前記第１の画像が表示される時間帯に、前記第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出する第２の算出部と、
前記第１の件数と前記第２の件数とのそれぞれが基準値を超えている場合に、前記第１の画像を、改善すべき箇所として検出する検出部と、
を有することを特徴とする画像検出装置。

【請求項7】

第１のユーザそれぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、前記各々の端末装置の画面を目視していない生徒の数である第１の件数を算出し、
前記第１の画像が表示される時間帯に、前記第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出し、
前記第１の件数と前記第２の件数とのそれぞれが基準値を超えている場合に、前記第１の画像を、改善すべき箇所として検出する
処理をコンピュータが実行する画像検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検出プログラムなどに関する。

【背景技術】

【0002】

従来、授業を現場で行うオンサイト授業が主流であった。オンサイト授業では、先生が生徒の顔を直接見ることができるため、疑問を持っていたり、興味を失って飽きてきたりした生徒の様子が容易に把握できていた。

【0003】

近年、ネットワークを利用したオンライン授業や遠隔会議が実施されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－８６３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

オンライン授業では、授業の改善すべき箇所を把握することが難しいという問題がある。すなわち、オンライ授業では、生徒がどこに疑問を持っているのか、どこで興味を失っているのかが把握し難いため、授業の改善すべき箇所を把握することが難しい。また、このような課題は、学校現場だけでなく、企業の研修等でも生じる。

【0006】

本発明は、１つの側面では、生徒の受講状況に応じて、授業の改善すべき箇所を把握することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様では、画像検出プログラムは、第１のユーザそれぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、前記各々の端末装置の画面を目視していない生徒の数である第１の件数を算出し、前記第１の画像が表示される時間帯に、前記第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出し、前記第１の件数と前記第２の件数とのそれぞれが基準値を超えている場合に、前記第１の画像を、改善すべき箇所として検出する、処理をコンピュータに実行させる。

【発明の効果】

【0008】

１実施態様によれば、生徒の受講状況に応じて、授業の改善すべき箇所を把握することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例に係る画像検出装置を含むシステムの機能構成の一例を示すブロック図である。

【図2】図２は、実施例に係る視線検知情報テーブルの一例を示す図である。

【図3】図３は、実施例に係るタグ付け情報テーブルの一例を示す図である。

【図4】図４は、実施例に係る授業時間と検出件数の関係の表示例を示す図である。

【図5】図５は、実施例に係る授業時間と検出件数の関係の別の表示例を示す図である。

【図6A】図６Ａは、学生側の端末装置への警告発生時の画面例を示す図（１）である。

【図6B】図６Ｂは、学生側の端末装置への警告発生時の画面例を示す図（２）である。

【図7】図７は、学生側の端末装置のタグ付けの画面例を示す図である。

【図8】図８は、実施例に係る画像検出処理のフローチャートの一例を示す図である。

【図9】図９は、実施例に係る解析処理のフローチャートの一例を示す図である。

【図10】図１０は、画像検出プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する画像検出プログラム、画像検出装置および画像検出方法の実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。

【実施例0011】

［画像検出装置の機能構成］
図１は、実施例に係る画像検出装置を含むシステムの機能構成の一例を示すブロック図である。実施例に係る画像検出装置１は、オンライン授業において、生徒の視線を用いて生徒が興味を失っている部分を把握し、生徒が選択するタグ付けを用いて疑問に思っている部分を把握し、双方の重なっている部分を授業内容の改善箇所として検出する。

【0012】

実施例に係るシステム９は、画像検出装置１と、先生側の端末装置３と、複数の生徒側の端末装置４とを有する。画像検出装置１は、先生側の端末装置３および生徒側の端末装置４と、ネットワーク７で接続される。ネットワーク７は、例えば、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure）プロトコルを利用したインターネットなどＷＡＮ（Wide Area Network）であるが、これに限られず、キャリア網などその他の通信網であっても良い。

【0013】

先生側の端末装置３は、オンライン授業を実施するために用いられる端末である。端末装置３は、例えば、携帯可能なパーソナルコンピュータなどの端末であるが、通信機能およびウェブカメラが搭載された端末であれば良い。端末装置３は、オンライン授業中またはオンライン授業後に、先生が解析指示をしたタイミングで、後述する画像検出装置１によって解析される情報を表示する。

【0014】

生徒側の端末装置４は、オンライン授業を受けるために用いられる端末である。端末装置４は、例えば、携帯可能なパーソナルコンピュータなどの端末であるが、通信機能および視線検知機能付きウェブカメラが搭載された端末であれば良い。端末装置４は、視線検知機能付きウェブカメラを使って視線を検知する視線検知機能およびタグ付けするためのタグル機能を有する。視線検知機能は、生徒が画面から視線を外していることを検知し、画面から視線を外している時間（画面を目視していない時間）を画像検出装置１に出力する。視線検知機能としては、一例として、Ｐｒｏｃｔｏｒｉｏが適用される。すなわち、視線検知機能は、視線を画面から外していることを検知することで、生徒が興味を失っている部分を検知することができる機能として適用される。また、タグル機能は、授業で関心を持った箇所を学生によってタグ付けされたタグを画像検出装置１に出力する。タグは、予め複数定義され、例えば、「わからない」、「あとで質問する」、「大事なところ」、「メモする」や「議論したい」を含む。タグは、適宜変更することが可能である。すなわち、タグル機能は、生徒が関心を持った部分、特に生徒が疑問に思った部分をタグ付けすることができる機能として適用される。つまり、画像検出装置１は、視線とタグ付けという２つの異なる観点を用いることで、授業内容の改善箇所を検出する。なお、生徒側の端末装置からタグ付けをされることは、生徒側の端末装置から選択を受け付けることの一例である。

【0015】

画像検出装置１は、制御部１０と、記憶部２０とを有する。制御部１０は、視線検知情報収集部１１と、警告発生部１２と、タグ付け情報収集部１３と、解析部１４とを有する。また、記憶部２０は、視線検知情報テーブル２１と、タグ付け情報テーブル２２とを有する。

【0016】

視線検知情報テーブル２１は、生徒の視線検知情報を記憶する。視線検知情報は、生徒が画面から視線を外していることが検知された際の視線を外している時間（画面を目視していない時間）を含む情報である。ここで、視線検知情報テーブル２１の一例を、図２を参照して説明する。

【0017】

図２は、実施例に係る視線検知情報テーブルの一例を示す図である。図２に示すように、視線検知情報テーブル２１は、学生番号、動画ＩＤ、目を離している時間および経過時間を対応付けて記憶する。学生番号は、学生を識別する番号である。学生番号は、学生が使用している端末装置４を識別する端末ＩＤであっても良く、端末装置４と紐付けば良い。動画ＩＤは、１つの講義の中の動画を特定するＩＤである。１つの講義の中には、複数の動画が含まれる。目を離している時間は、学生が画面から視線を外している時間である。目を離している時間は、例えば、１分、３分および５分以上と区別されるが、これに限定されるものではなく、視線検知機能に準ずれば良い。経過時間は、講義の開始からの経過時間を示す。

【0018】

一例として、学生番号が「Ａ２２２２」である場合に、動画ＩＤとして「Ｋ１１１１」、目を離している時間として「１分」、経過時間として「００：０５：１０」（５分１０秒）を記憶している。

【0019】

図１に戻って、タグ付け情報テーブル２２は、生徒のタグ付け情報を記憶する。タグ付け情報は、生徒がタグ付けした内容を含む情報である。ここで、タグ付け情報テーブルの一例を、図３を参照して説明する。

【0020】

図３は、実施例に係るタグ付け情報テーブルの一例を示す図である。図３に示すように、タグ付け情報テーブル２２は、学生番号、動画ＩＤ、タグおよび経過時間を対応付けて記憶する。学生番号は、学生を識別する番号である。学生番号は、学生が使用している端末装置４を識別する端末ＩＤであっても良く、端末装置４と紐づけば良い。動画ＩＤは、１つの講義の中の動画を特定するＩＤである。タグは、生徒がタグ付けした内容である。タグには、一例として、「わからない」、「あとで質問する」、「大事なところ」、「メモする」や「議論したい」を含むが、これに限定されるものではなく、タグル機能に準ずればよい。経過時間は、講義の開始からの経過時間を示す。

【0021】

一例として、学生番号が「Ｃ３４５６」である場合に、動画ＩＤとして「Ｋ１１１１」、タグとして「わからない」、経過時間として「００：１５：２０」（１５分２０秒）を記憶している。

【0022】

図１に戻って、制御部１０は、視線検知情報収集部１１、警告発生部１２、タグ付け情報収集部１３および解析部１４を有する。

【0023】

視線検知情報収集部１１は、生徒の視線検知情報を収集する。例えば、視線検知情報収集部１１は、生徒側の端末装置４から視線検知情報を受信する。視線検知情報には、例えば、学生番号、動画ＩＤおよび画面から目を離している時間が含まれる。そして、視線検知情報収集部１１は、受信した視線検知情報を講義の経過時間に対応付けて視線検知情報テーブル２１に格納する。

【0024】

警告発生部１２は、生徒の画面を目視していない期間に応じて、生徒の端末装置４に警告を発する。例えば、警告発生部１２は、視線検知情報収集部１１によって視線検知情報が収集されたタイミングで、収集した視線検知情報に含まれる目を離している時間を取得する。警告発生部１２は、目を離している時間に応じて、警告音および警告メッセージを視線検知情報の収集元の端末装置４に出力する。一例として、警告発生部１２は、目を離している時間が１分以上である場合には、警告音を発生させる信号を収集元の端末装置４に出力する。加えて、警告発生部１２は、目を離している時間が１分以上２分未満である場合には、注意を促すために、黄色で「授業に集中しましょう」というメッセージを表示させる。また、警告発生部１２は、目を離している時間が２分以上５分未満である場合には、さらに注意を促すために、赤色で「授業に集中しましょう」というメッセージを表示させる。また、警告発生部１２は、目を離している時間が５分以上である場合には、「授業に集中しましょう」というメッセージを表示させるだけでなく、学生に入力を促すメッセージを表示させる。なお、警告を発する目を離している時間および警告の内容は、一例であって、これに限定されるものではない。また、警告音および警告メッセージは両方を出力してもいいし、どちらか片方のみの出力でもよい。

【0025】

タグ付け情報収集部１３は、生徒のタグ付け情報を収集する。例えば、タグ付け情報収集部１３は、生徒側の端末装置４からタグ付け情報を受信する。タグ付け情報には、例えば、学生番号、動画ＩＤおよびタグが含まれる。そして、タグ付け情報収集部１３は、受信したタグ付け情報を講義の経過時間に対応付けてタグ付け情報テーブル２２に格納する。

【0026】

解析部１４は、視線検知情報およびタグ付け情報を解析する。

【0027】

例えば、解析部１４は、視線検知情報テーブル２１を参照して、講義の開始から所定の期間ごとに、視線検知情報を受け付けた数である第１の件数を算出する。すなわち、解析部１４は、所定の期間ごとに、画面を目視していない生徒の数である第１の件数を算出する。つまり、生徒が画面を目視していないということは、生徒が興味を失っている部分であることが多いので、解析部１４は、興味を失っている生徒の数として画面を目視していない生徒の数を算出する。

【0028】

また、解析部１４は、タグ付け情報テーブル２２を参照して、講義の開始から所定の期間ごとに、タグ付け情報を受け付けた数である第２の件数を算出する。すなわち、解析部１４は、所定の期間ごとに、タグ付けした生徒の数である第２の件数を算出する。つまり、生徒がタグ付けするということは、生徒が関心を持っている部分、特に生徒が疑問に思っている部分であることが多いので、解析部１４は、疑問に思っている生徒の数としてタグ付けした生徒の数を算出する。なお、所定の期間（時間帯）は、例えば、１分であるが、５分であっても良く、講義の難易度によって変更しても良い。

【0029】

そして、解析部１４は、期間ごとの第１の件数と第２の件数とを解析し、双方の件数が基準値を超えている時間帯を、改善すべき箇所として検出する。一例として、解析部１４は、第１の件数および第２の件数が共に規定件数以上である場合には、この時間帯を、改善が必須である箇所（必須改善箇所）として検出する。つまり、解析部１４は、興味を失っている生徒の数および疑問に思っている生徒の数が共に規定件数以上である場合には、この時間帯の箇所を必須改善箇所として検出する。

【0030】

また、解析部１４は、第１の件数または第２の件数のいずれかが規定件数以上であり、どちらも１件以上である場合には、この時間帯を、改善を要する箇所（要改善箇所）として検出する。つまり、解析部１４は、興味を失っている生徒の数または疑問に思っている生徒の数のどちらかが規定件数以上であり、どちらも１件以上である場合には、この時間帯の箇所を要改善箇所として検出する。

【0031】

また、解析部１４は、第１の件数または第２の件数のいずれかが規定件数以上であり、いずれかが０件である場合には、この時間帯を、改善を検討する箇所（改善検討箇所）として検出する。つまり、解析部１４は、興味を失っている生徒の数または疑問に思っている生徒の数のどちらかが規定件数以上であり、どちらかが０件である場合には、この時間帯の箇所を改善検討箇所として検出する。なお、規定件数は、例えば、５件であるが、件数を算出する期間や講義の難易度によって変更しても良い。

【0032】

そして、解析部１４は、授業の経過時間と検出件数との関係を示す表を生成する。さらに、解析部１４は、生成した表に基づいて、授業の経過時間と検出件数との関係を示す折れ線グラフを生成する。生成した折れ線グラフは、第１の件数および第２の件数を、授業の時間帯で重ね合せたグラフとなる。そして、解析部１４は、生成した表または折れ線グラフ、あるいは生成した表および折れ線グラフを先生側の端末装置３に表示させる。なお、解析部１４は、例えば、オンライン中またはオンライン授業後に、先生側の端末装置３から解析指示があったタイミングで解析し、解析結果を表示させれば良い。また、解析部１４は、授業中にリアルタイムで解析し、解析結果を表示させても良い。

【0033】

［表示例］
ここで、授業の経過時間と検出件数の関係の表示例を、図４および図５を参照して説明する。図４は、実施例に係る授業時間と検出件数の関係の表示例を示す図である。図４には、授業時間と検出件数との関係を示す表Ｄ１が表わされている。かかる表Ｄ１は、警告件数、タグル件数、合計および改善箇所を、時間帯ごとに対応付けた情報である。

【0034】

時間帯は、授業の開始から１分ずつ区切った時間の区切りである。一例として、時間帯が「１」である場合には、開始から１分までの時間帯を意味する。時間帯が「２」である場合には、開始１分から２分までの時間帯を意味する。

【0035】

警告件数は、時間帯で警告をした数であって画面を目視していなかった生徒の数である。警告件数は、第１の件数に対応する。タグル件数は、時間帯でタグ付けした生徒の数である。タグル件数は、第２の件数に対応する。合計は、時間帯での警告件数とタグル件数とを加算した値である。改善箇所は、時間帯が改善箇所であるか否かを識別する項目である。改善箇所は、一例として、必須改善箇所、要改善箇所、改善検討箇所に区別される。必須改善箇所は、２重丸で表わされる。要改善箇所は、１重丸で表わされる。改善検討箇所は、三角で表わされる。そして、時間帯に合わせて動画ＩＤが紐付けられる。時間帯と動画ＩＤとは、授業の進行に合わせて組み合わされ、記憶部２０に保存されていれば良い。

【0036】

例えば、解析部１４は、警告件数およびタグル件数が共に５件以上である場合には、この時間帯を、必須改善箇所として検出する。また、解析部１４は、警告件数またはタグル件数のいずれかが５件以上であり、どちらも１件以上である場合には、この時間帯を、要改善箇所として検出する。また、解析部１４は、警告件数またはタグル件数のいずれかが５件以上であり、いずれかが０件である場合には、この時間帯を、改善検討箇所として検出する。そして、解析部１４は、授業時間と検出件数との関係を示す表Ｄ１を生成し、先生の端末装置３に表示させる。

【0037】

ここでは、例えば、時間帯が「１４」、「１５」である場合に、改善箇所として２重丸が設定されている。すなわち、時間帯が「１４」、「１５」である場合には、警告件数およびタグル件数が共に５件以上であるので、これら時間帯が必須改善箇所として検出され、２重丸で設定されている。そして、これら時間帯と、動画ＩＤとしての「Ｋ２２２２」が紐付けられている。すなわち、「Ｋ２２２２」の動画像が、必須改善箇所として検出されている。

【0038】

また、時間帯が「４０」、「４１」である場合に、改善箇所として２重丸が設定されている。すなわち、時間帯が「４０」、「４１」である場合には、警告件数およびタグル件数が共に５件以上であるので、これら時間帯が必須改善箇所として検出され、設定されている。そして、これら時間帯と、動画ＩＤとしての「Ｋ５５５５」が紐付けられている。すなわち、「Ｋ５５５５」の動画像が、必須改善箇所として検出される。

【0039】

また、例えば、時間帯が「３２」、「３３」である場合に、改善箇所として１重丸が設定されている。すなわち、時間帯が「３２」、「３３」である場合には、警告件数が５件以上であり、タグル件数が５件以上はないが１件以上であるので、これら時間帯が要改善箇所として検出され、設定されている。

【0040】

また、例えば、時間帯が「２１」、「３４」、「３５」、「３６」である場合に、改善箇所として三角が設定されている。すなわち、時間帯が「２１」、「３４」、「３５」、「３６」である場合には、警告件数またはタグル件数のいずれかが５件以上であり、いずれかが０件であるので、これら時間帯が改善検討箇所として検出され、設定されている。

【0041】

これにより、解析部１４は、かかる表Ｄ１を先生側の端末装置３に表示させることで、先生は、それぞれの生徒の受講状況を視認することができることとなり、授業の改善すべき箇所を把握できる。特に、解析部１４は、改善箇所を動画ＩＤに紐付けて表示させることで、先生は、必須改善箇所、要改善箇所、改善検討箇所としての動画を即把握できる。

【0042】

図５は、実施例に係る授業時間と検出件数の関係の別の表示例を示す図である。図５には、授業時間と検出件数との関係を示す折れ線グラフＤ２が表わされている。かかる折れ線グラフＤ２は、Ｘ軸を授業時間とし、Ｙ軸を検出件数として、時間帯ごとに警告件数、タグル件数および合計件数を検出件数としてそれぞれプロットしたグラフである。

【0043】

例えば、解析部１４は、図４で示した表Ｄ１に基づいて、授業時間と検出件数との関係を示す折れ線グラフＤ２を生成する。

【0044】

ここでは、例えば、符号ａ１で示すように、時間帯が「１４」、「１５」である場合には、警告件数およびタグル件数が共に５件以上である。この結果、これら時間帯が必須改善箇所として検出される。そして、これら時間帯と紐付けられる動画像が、必須改善箇所として検出される。

【0045】

また、符号ａ２で示すように、時間帯が「４０」、「４１」である場合には、警告件数およびタグル件数が共に５件以上である。この結果、これら時間帯が必須改善箇所として検出される。そして、これら時間帯と紐付けられる動画像が、必須改善箇所として検出される。

【0046】

また、例えば、符号ａ３で示すように、時間帯が「３２」、「３３」である場合には、警告件数が５件以上であり、タグル件数が５件以上はないが１件以上である。この結果、これら時間帯が要改善箇所として検出される。そして、これら時間帯と紐付けられる動画像が、要改善箇所として検出される。

【0047】

また、例えば、符号ａ４で示すように、時間帯が「３４」、「３５」、「３６」である場合には、警告件数またはタグル件数のいずれかが５件以上であり、いずれかが０件である。この結果、これら時間帯が改善検討箇所として検出される。そして、これら時間帯と紐付けられる動画像が、改善検討箇所として検出される。

【0048】

これにより、解析部１４は、かかる折れ線グラフＤ２を先生側の端末装置３に表示させることで、先生は、それぞれの生徒の受講状況を視認することができることとなり、授業の改善すべき箇所を把握できる。特に、解析部１４は、折れ線グラフＤ２を表示させることで、警告を発した箇所と、タグ付けした箇所とが重なっている箇所を把握させることができる。重なっている箇所は、単につまらないだけでなく、理解もし難い箇所であると予想される。この結果、解析部１４は、重なっている箇所を把握させることで、先生は、授業内容を改善する必要であるかを容易に把握できる。

【0049】

［警告発生時の画面例］
図６Ａおよび図６Ｂは、学生側の端末装置への警告発生時の画面例を示す図である。図６Ａおよび図６Ｂに示す端末装置４は、学生側の端末装置である。端末装置４には、視線検知機能付きカメラレンズが搭載されている。

【0050】

図６Ａでは、学生番号「Ａ２２２２」を示す学生Ａが、例えば１分１０秒画面から目を離していたとする。

【0051】

すると、視線検知情報収集部１１は、学生番号が「Ａ２２２２」の学生Ａの端末装置４から視線検知情報を受信する。視線検知情報には、学生番号として「Ａ２２２２」、動画ＩＤおよび画面から目を離している時間「１分１０秒」が含まれる。そして、警告発生部１２は、視線検知情報収集部１１によって視線検知情報が受信されたタイミングで、視線検知情報に含まれる目を離している時間「１分１０秒」を取得する。そして、警告発生部１２は、目を離している時間が１分以上であるので、学生Ａの端末装置４に警告音を発生させる。加えて、警告発生部１２は、目を離している時間が１分以上２分未満であるので、注意を促すために、学生Ａの端末装置４に、「授業に集中しましょう」というメッセージを表示させる。そして、警告発生部１２は、学生Ａの視線が画面に戻ったことを受信すると、学生Ａの端末装置４にメッセージを削除させれば良い。

【0052】

ここでは、学生番号が「Ａ２２２２」の学生Ａの端末装置４の画面上に、「授業に集中しましょう」というメッセージが表示されている。なお、かかる場合には、メッセージを黄色で表示させても良い。

【0053】

図６Ｂでは、学生番号「Ａ５６７８」を示す学生Ｂが、例えば５分画面から目を離していたとする。

【0054】

すると、視線検知情報収集部１１は、学生番号が「Ａ５６７８」の学生Ｂの端末装置４から視線検知情報を受信する。視線検知情報には、学生番号として「Ａ５６７８」、動画ＩＤおよび画面から目を離している時間「５分」が含まれる。そして、警告発生部１２は、視線検知情報収集部１１によって視線検知情報が受信されたタイミングで、視線検知情報に含まれる目を離している時間「５分」を取得する。そして、警告発生部１２は、目を離している時間が１分以上であるので、学生Ｂの端末装置４に警告音を発生させる。加えて、警告発生部１２は、目を離している時間が５分以上であるので、注意を促すために、学生の端末装置４に、「授業に集中しましょう」というメッセージを表示させるだけでなく、学生Ｂに入力を促すメッセージを表示させる。そして、警告発生部１２は、学生Ｂから入力を促すメッセージに対する入力を受け付けると、学生Ｂの端末装置４にメッセージを削除させれば良い。

【0055】

ここでは、学生番号が「Ａ５６７８」の学生Ｂの端末装置４の画面上に、「授業に集中しましょう」というメッセージが表示されているだけでなく、ＯＫボタンにより学生に押下を促すメッセージが表示されている。なお、かかる場合には、メッセージを赤色で表示させても良い。

【0056】

［タグ付け時の画面例］
図７は、学生側の端末装置のタグ付けの画面例を示す図である。図７に示す端末装置４は、学生側の端末装置である。端末装置４の画面上の左側に、タグル機能によって表示されたタグとして「わからない」、「あとで質問する」、「大事なところ」、「メモする」や「議論したい」が表示されている。

【0057】

図７では、学生番号「Ｃ３４５６」を示す学生Ｂが、オンライン授業中に「わからない」のタグをタグ付けした場合である。

【0058】

すると、タグ付け情報収集部１３は、学生番号が「Ｃ３４５６」の学生Ｃの端末装置４からタグ付け情報を受信する。タグ付け情報には、例えば、学生番号として「Ｃ３４５６」、動画ＩＤおよびタグとして「わからない」が含まれる。そして、タグ付け情報収集部１３は、受信したタグ付け情報を講義の経過時間「１５分２０秒」に対応付けてタグ付け情報テーブル２２に格納する。ここでは、タグ付け情報テーブル２２には、学生番号として「Ｃ３４５６」、タグとして「わからない」、経過時間として「００：１５：２０」のタグ付け情報が格納される。

【0059】

［画像検出処理のフローチャート］
図８は、実施例に係る画像検出処理のフローチャートの一例を示す図である。

【0060】

図８に示すように、システム９は、先生側の端末装置３と、生徒側の端末装置４との間のオンライン授業を開始する（ステップＳ１１）。そして、画像検出装置１は、オンライン授業の経過時間をカウントする。

【0061】

生徒側の端末装置４は、視線検知機能により目を離していることを検知したか否かを判定する（ステップＳ１２）。視線検知機能により目を離していることを検知していないと判定した場合には（ステップＳ１２；Ｎｏ）、生徒側の端末装置４は、ステップＳ１５に移行する。

【0062】

一方、視線検知機能により目を離していることを検知したと判定した場合には（ステップＳ１２；Ｙｅｓ）、生徒側の端末装置４は、視線検知情報を送信する。そして、画像検出装置１の視線検知情報収集部１１は、端末装置４から視線検知情報を受信し、受信した視線検知情報を視線検知情報テーブル２１に格納する（ステップＳ１３）。そして、画像検出装置１の警告発生部１２は、受信した視線検知情報に含まれる目を離している時間に応じて、警告表示および警告音を、視線検知情報の送信元の端末装置４に出力する（ステップＳ１４）。そして、警告発生部１２は、ステップＳ１５に移行する。

【0063】

ステップＳ１５において、生徒側の端末装置４は、タグル機能によりタグ付けがあったことを検知したか否かを判定する（ステップＳ１５）。タグル機能によりタグ付けがあったことを検知していないと判定した場合には（ステップＳ１５；Ｎｏ）、生徒側の端末装置４は、ステップＳ１７に移行する。

【0064】

一方、タグル機能によりタグ付けがあったことを検知したと判定した場合には（ステップＳ１５；Ｙｅｓ）、生徒側の端末装置４は、タグ付け情報を送信する。そして、画像検出装置１のタグ付け情報収集部１３は、端末装置４からタグ付け情報を受信し、受信したタグ付け情報をタグ付け情報テーブル２２に格納する（ステップＳ１６）。そして、画像検出装置１のタグ付け情報収集部１３は、ステップＳ１７に移行する。

【0065】

ステップＳ１７において、画像検出装置１は、オンライン授業が終了したか否かを判定する（ステップＳ１７）。オンライン授業が終了していないと判定した場合には（ステップＳ１７；Ｎｏ）、画像検出装置１は、ステップＳ１２に移行する。

【0066】

一方、オンライン授業が終了したと判定した場合には（ステップＳ１７；Ｙｅｓ）、画像検出装置１は、画像検出処理を終了する。

【0067】

［解析処理のフローチャート］
図９は、実施例に係る解析処理のフローチャートの一例を示す図である。なお、解析部１４によって使用される規定件数は、５件として説明する。

【0068】

解析部１４は、解析指示を受け付けたか否かを判定する（ステップＳ２０）。解析指示のタイミングは、オンライン授業中に先生側の端末装置３から解析指示があったタイミングであっても良いし、オンライン授業後に先生側の端末装置３から解析指示があったタイミングであっても良い。解析指示を受け付けていないと判定した場合には（ステップＳ２０；Ｎｏ）、解析部１４は、解析指示を受け付けるまで、判定処理を繰り返す。

【0069】

一方、解析指示を受け付けたと判定した場合には（ステップＳ２０；Ｙｅｓ）、解析部１４は、視線検知情報テーブル２１およびタグ付け情報テーブル２２を参照して、時間帯ごとに、警告件数とタグル件数を算出する（ステップＳ２１）。そして、解析部１４は、１つの時間帯を選択する（ステップＳ２２）。

【0070】

解析部１４は、警告件数、タグル件数が共に５件以上であるか否かを判定する（ステップＳ２３）。警告件数、タグル件数が共に５件以上であると判定した場合には（ステップＳ２３；Ｙｅｓ）、解析部１４は、選択した時間帯に紐付く動画像を必須改善箇所として検出する。そして、解析部１４は、選択した時間帯を必須改善箇所として設定する（ステップＳ２４）。そして、解析部１４は、次の時間帯を選択すべく、ステップＳ２９に移行する。

【0071】

一方、警告件数、タグル件数が共に５件以上でないと判定した場合には（ステップＳ２３；Ｎｏ）、解析部１４は、警告件数、タグル件数の一方で５件以上、他方で１件以上であるか否かを判定する（ステップＳ２５）。警告件数、タグル件数の一方で５件以上、他方で１件以上であると判定した場合には（ステップＳ２５；Ｙｅｓ）、解析部１４は、選択した時間帯に紐付く動画像を要改善箇所として検出する。そして、解析部１４は、選択した時間帯を要改善箇所として設定する（ステップＳ２６）。そして、解析部１４は、次の時間帯を選択すべく、ステップＳ２９に移行する。

【0072】

一方、警告件数、タグル件数の一方で５件以上、他方で１件以上でないと判定した場合には（ステップＳ２５；Ｎｏ）、解析部１４は、警告件数、タグル件数の一方で５件以上、他方で０件であるか否かを判定する（ステップＳ２７）。警告件数、タグル件数の一方で５件以上、他方で０件であると判定した場合には（ステップＳ２７；Ｙｅｓ）、解析部１４は、選択した時間帯に紐付く動画像を改善検討箇所として検出する。そして、解析部１４は、選択した時間帯を改善検討箇所として設定する（ステップＳ２８）。そして、解析部１４は、次の時間帯を選択すべく、ステップＳ２９に移行する。

【0073】

一方、警告件数、タグル件数の一方で５件以上、他方で０件でないと判定した場合には（ステップＳ２７；Ｎｏ）、解析部１４は、次の時間帯を選択すべく、ステップＳ２９に移行する。

【0074】

ステップＳ２９において、解析部１４は、全ての時間帯を選択したか否かを判定する（ステップＳ２９）。全ての時間帯を選択していないと判定した場合には（ステップＳ２９；Ｎｏ）、解析部１４は、次の時間帯を選択すべく、ステップＳ２２に移行する。

【0075】

一方、全ての時間帯を選択したと判定した場合には（ステップＳ２９；Ｙｅｓ）、解析部１４は、授業時間と検出件数の関係を先生側の端末装置３に表示させる（ステップＳ３０）。そして、解析部１４は、解析処理を終了する。

【0076】

［実施例の効果］
上記実施例によれば、画像検出装置１は、生徒それぞれに対応する各々の端末装置の画面に第１の画像が表示される時間帯に、各々の端末装置の画面を目視していない生徒の数である第１の件数を算出する。画像検出装置１は、第１の画像が表示される時間帯に、第１の画像に対して前記各々の端末装置から選択を受け付けた数である第２の件数を算出する。そして、画像検出装置１は、第１の件数と第２の件数とのそれぞれが基準値を超えている場合に、第１の画像を、改善すべき箇所として検出する。かかる構成によれば、画像検出装置１は、各々の生徒の受講状態に応じて、授業の改善すべき箇所を把握できる。すなわち、画像検出装置１は、目視していない（興味を失っている）生徒の数と選択を受け付けた（例えば生徒が疑問に思っている部分の）数とを用いることで、各々の生徒の受講状態を把握でき、各々の生徒の受講状態から授業の改善すべき箇所を把握できる。なお、生徒は第１のユーザの一例である。

【0077】

また、実施例によれば、画像検出装置１は、さらに、第１の件数または第２の件数のいずれかが基準値以上であり、第１の件数および前記第２の件数のいずれも１件以上である場合に、第１の画像を、改善を要する箇所として検出する。かかる構成によれば、画像検出装置１は、各々の生徒の受講状態に応じて、授業の改善を要する箇所を把握できる。

【0078】

また、実施例によれば、画像検出装置１は、さらに、第１の件数または第２の件数のいずれかが基準値以上であり、第１の件数または第２の件数のいずれかが０件である場合に、第１の画像を、改善を検討する箇所として検出する。かかる構成によれば、画像検出装置１は、各々の生徒の受講状態に応じて、授業の改善を検討する箇所を把握できる。

【0079】

また、実施例によれば、画像検出装置１は、画面を目視していない生徒それぞれの目視していない期間に応じて、生徒の端末装置に警告音と警告メッセージとのうちの少なくとも１つを出力する。かかる構成によれば、画像検出装置１は、画面を目視していない生徒に授業に集中するよう促すことができる。例えば、画像検出装置１は、授業に対して興味を失っていたり、授業に集中していなかったりする生徒に授業に集中するよう促すことができるなお、生徒は第１のユーザの一例である。

【0080】

また、実施例によれば、画像検出装置１は、第１の件数および第２の件数を、時間帯ごとに重ね合せた情報を生成し、生成した情報を先生の端末装置に出力する。かかる構成によれば、画像検出装置１は、各々の生徒の受講状況を時間帯ごとに視認させることができ、授業の改善箇所を把握し易くできる。なお、生徒は第１のユーザの一例であり、先生は第２のユーザの一例である。

【0081】

［その他］
なお、実施例では、授業時間と検出件数の関係の表示例における表には、時間帯に合わせて動画ＩＤが紐付けられると説明した。しかしながら、かかる表には、これに限定されず、時間帯に合わせて動画ＩＤが示す動画像に含まれる画像を特定する画像ＩＤが紐付けられようにしても良い。時間帯と画像ＩＤとは、授業の進行に合わせて組み合わされ、記憶部２０に保存されていれば良い。これにより、画像検出装置１は、各々の生徒の受講状態に応じて、授業の改善すべき箇所を、さらに把握し易くできる。

【0082】

また、上記実施例では、図示した画像検出装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像検出装置１の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、解析部１４を、第１の件数を算出する算出部と、第２の件数を算出する算出部と、第１の件数と第２の件数とに基づいて改善箇所を検出する検出部とに分散しても良い。また、記憶部２０を画像検出装置１の外部装置としてネットワーク経由で接続するようにしても良い。

【0083】

また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した画像検出装置１と同様の機能を実現する画像検出プログラムを実行するコンピュータの一例を説明する。図１０は、画像検出プログラムを実行するコンピュータの一例を示す図である。

【0084】

また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した画像検出装置１と同様の機能を実現する画像検出プログラムを実行するコンピュータの一例を説明する。図１０は、画像検出プログラムを実行するコンピュータの一例を示す図である。

【0085】

図１０に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信Ｉ／Ｆ（Interface）２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ（Hard Disk Drive）２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、表示装置２０９、ドライブ装置２１３、入力装置２１５、通信Ｉ／Ｆ２１７は、バス２１９で接続されている。

【0086】

ドライブ装置２１３は、例えばリムーバブルディスク２１１用の装置である。ＨＤＤ２０５は、画像検出プログラム２０５ａおよび画像検出処理関連情報２０５ｂを記憶する。通信Ｉ／Ｆ２１７は、ネットワークと装置内部とのインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ２１７には、例えば、モデムやＬＡＮアダプタなどを採用することができる。

【0087】

表示装置２０９は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。表示装置２０９は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどを採用することができる。

【0088】

ＣＰＵ２０３は、画像検出プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは画像検出装置１の各機能部に対応する。画像検出処理関連情報２０５ｂには、例えば、視線検知情報テーブル２１、タグ付け情報テーブル２２が含まれる。そして、例えばリムーバブルディスク２１１が、画像検出プログラム２０５ａなどの各情報を記憶する。

【0089】

なお、画像検出プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらから画像検出プログラム２０５ａを読み出して実行するようにしても良い。

【符号の説明】

【0090】

１ 画像検出装置
１０ 制御部
１１ 視線検知情報収集部
１２ 警告発生部
１３ タグ付け情報収集部
１４ 解析部
２０ 記憶部
２１ 視線検知情報テーブル
２２ タグ付け情報テーブル
３ 端末装置（先生側）
４ 端末装置（生徒側）
９ システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】