ホーム > 特許ランキング > コニカミノルタ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-164363情報処理装置、授業支援システム、授業状況判定方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164363
(43)【公開日】2024-11-27
(54)【発明の名称】情報処理装置、授業支援システム、授業状況判定方法及びプログラム
(51)【国際特許分類】
G06Q 50/20 20120101AFI20241120BHJP
【ＦＩ】
G06Q50/20
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023079781
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】寺山 直人
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC34
5L050CC34
(57)【要約】
【課題】授業の状況を正確に判定できるようにする。
【解決手段】サーバ３０は、授業風景を撮影した画像から生徒ＳＴの顔と手の情報を抽出する。サーバ３０は、授業中の音声を集音して得られる音声情報から教師Ｔ又は生徒ＳＴの発話状況を識別する。サーバ３０は、抽出された生徒ＳＴの顔と手の情報と、識別された発話状況とに基づき、授業の状況を判定する。
【選択図】図７
【解決手段】サーバ３０は、授業風景を撮影した画像から生徒ＳＴの顔と手の情報を抽出する。サーバ３０は、授業中の音声を集音して得られる音声情報から教師Ｔ又は生徒ＳＴの発話状況を識別する。サーバ３０は、抽出された生徒ＳＴの顔と手の情報と、識別された発話状況とに基づき、授業の状況を判定する。
【選択図】図７
【特許請求の範囲】
【請求項1】
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出手段と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備えることを特徴とする情報処理装置。
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記抽出手段は、
前記手の情報として、手の動きに関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
前記手の情報として、手の動きに関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記抽出手段は、
前記手の情報として、手の位置に関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
前記手の情報として、手の位置に関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記抽出手段は、
前記顔の情報として、顔の向きに関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
前記顔の情報として、顔の向きに関する情報を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記識別手段は、
前記教師と前記生徒とのそれぞれの発話状況を識別し、
前記判定手段は、
前記生徒の顔と手の情報と、前記教師の発話状況と、前記生徒の発話状況とに基づき、授業の状況を判定する、
ことを特徴とする請求項１に記載の情報処理装置。
前記教師と前記生徒とのそれぞれの発話状況を識別し、
前記判定手段は、
前記生徒の顔と手の情報と、前記教師の発話状況と、前記生徒の発話状況とに基づき、授業の状況を判定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項6】
授業風景を撮影する撮影装置と、
前記授業中の音声を集音する集音マイクと、
授業の状況を判定する情報処理装置と、
を備えた授業支援システムであって、
前記情報処理装置は、
前記撮影装置により撮影された前記授業風景の画像から生徒の顔と手の情報を抽出する抽出手段と、
前記集音マイクにより集音された前記音声に基づく音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える、
ことを特徴とする授業支援システム。
前記授業中の音声を集音する集音マイクと、
授業の状況を判定する情報処理装置と、
を備えた授業支援システムであって、
前記情報処理装置は、
前記撮影装置により撮影された前記授業風景の画像から生徒の顔と手の情報を抽出する抽出手段と、
前記集音マイクにより集音された前記音声に基づく音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える、
ことを特徴とする授業支援システム。
【請求項7】
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出工程と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別工程と、
前記抽出工程により抽出された前記生徒の顔と手の情報と、前記識別工程により識別された前記発話状況とに基づき、授業の状況を判定する判定工程と、
を含むことを特徴とする授業状況判定方法。
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別工程と、
前記抽出工程により抽出された前記生徒の顔と手の情報と、前記識別工程により識別された前記発話状況とに基づき、授業の状況を判定する判定工程と、
を含むことを特徴とする授業状況判定方法。
【請求項8】
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出処理と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別処理と、
前記抽出処理により抽出された前記生徒の顔と手の情報と、前記識別処理により識別された前記発話状況とに基づき、授業の状況を判定する判定処理と、
をコンピューターに実行させるプログラム。
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別処理と、
前記抽出処理により抽出された前記生徒の顔と手の情報と、前記識別処理により識別された前記発話状況とに基づき、授業の状況を判定する判定処理と、
をコンピューターに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、授業支援システム、授業状況判定方法及びプログラムに関する。
【背景技術】
【0002】
従来、授業の状況に応じて生徒の視線方向が望ましい方向であるか否かを判断し、生徒の集中度を判断する授業支援システムが開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２０／０５４８５５号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献１に開示されている授業支援システムでは、教師の発言内容に応じた生徒の視線方向のみで集中度を判定している。このため、様々な状況（例えば、教師又は生徒が板書している状況、生徒が起立して発言している状況、グループワークを行っている状況等）が想定される授業では正確な判定ができない。特に、上記授業支援システムでは、生徒が演習している場合、推奨視線方向は机（すなわち、下方）とされている。しかし、手作業を伴う演習の場合、生徒の視線方向だけでは実際に演習しているかどうかが分からないという問題がある。
【0005】
本発明は、上記課題に鑑みてなされたもので、授業の状況を正確に判定できる情報処理装置、授業支援システム、授業状況判定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出手段と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える。
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出手段と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える。
【0007】
また、本発明の授業支援システムは、
授業風景を撮影する撮影装置と、
前記授業中の音声を集音する集音マイクと、
授業の状況を判定する情報処理装置と、
を備えた授業支援システムであって、
前記情報処理装置は、
前記撮影装置により撮影された前記授業風景の画像から生徒の顔と手の情報を抽出する抽出手段と、
前記集音マイクにより集音された前記音声に基づく音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える。
授業風景を撮影する撮影装置と、
前記授業中の音声を集音する集音マイクと、
授業の状況を判定する情報処理装置と、
を備えた授業支援システムであって、
前記情報処理装置は、
前記撮影装置により撮影された前記授業風景の画像から生徒の顔と手の情報を抽出する抽出手段と、
前記集音マイクにより集音された前記音声に基づく音声情報から教師又は生徒の発話状況を識別する識別手段と、
前記抽出手段により抽出された前記生徒の顔と手の情報と、前記識別手段により識別された前記発話状況とに基づき、授業の状況を判定する判定手段と、
を備える。
【0008】
また、本発明の授業状況判定方法は、
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出工程と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別工程と、
前記抽出工程により抽出された前記生徒の顔と手の情報と、前記識別工程により識別された前記発話状況とに基づき、授業の状況を判定する判定工程と、
を含む。
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出工程と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別工程と、
前記抽出工程により抽出された前記生徒の顔と手の情報と、前記識別工程により識別された前記発話状況とに基づき、授業の状況を判定する判定工程と、
を含む。
【0009】
また、本発明のプログラムは、
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出処理と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別処理と、
前記抽出処理により抽出された前記生徒の顔と手の情報と、前記識別処理により識別された前記発話状況とに基づき、授業の状況を判定する判定処理と、
をコンピューターに実行させる。
授業風景を撮影した画像から生徒の顔と手の情報を抽出する抽出処理と、
前記授業中の音声を集音して得られる音声情報から教師又は生徒の発話状況を識別する識別処理と、
前記抽出処理により抽出された前記生徒の顔と手の情報と、前記識別処理により識別された前記発話状況とに基づき、授業の状況を判定する判定処理と、
をコンピューターに実行させる。
【発明の効果】
【0010】
本発明によれば、授業の状況を正確に判定できる。
【図面の簡単な説明】
【0011】
【図1】授業支援システムを示す概略構成図である。
【図2】撮影装置及び音声検知装置の設置例を示す図である。
【図3】サーバの機能構成を示すブロック図である。
【図4】授業状況判定テーブルの内容例を示す図である。
【図5】顔の向きに関する説明図である。
【図6】（ａ）及び（ｂ）は手の位置に関する説明図である。
【図7】授業状況判定処理の制御手順を示すフローチャートである。
【図8】撮影装置、音声検知装置、ヘッドセットマイクの設置例を示す図である。
【図9】授業状況判定テーブルの内容例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
【0013】
【0014】
図１に示すように、授業支援システム１００は、撮影装置１０と、音声検知装置２０と、サーバ（情報処理装置）３０と、を備える。サーバ３０は、教室ＣＲ内に設置された撮影装置１０及び音声検知装置２０とＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークＮを介して接続される。
【0015】
撮影装置１０は、例えば、ネットワークカメラにより構成されている。撮影装置１０は、図２に示すように、教室ＣＲ内の天井に設置されている。なお、撮影装置１０は、教室ＣＲ内全体を撮影可能であればよく、設置個所と台数は特に限定されない。
【0016】
音声検知装置２０は、例えば、集音マイクにより構成されている。音声検知装置２０は、図２に示すように、教室ＣＲ内の天井に設置されている。なお、音声検知装置２０は、教室ＣＲ内の音声を集音可能であればよく、設置個所と台数は特に限定されない。音声検知装置２０は、上述した撮影装置１０に組み込まれていてもよい。
【0017】
サーバ３０は、撮影装置１０により撮影された授業風景の画像から生徒ＳＴの顔（顔の向き）と手（手の位置）の情報を抽出する。サーバ３０は、音声検知装置２０により集音された音声に基づく音声情報から教師Ｔ又は生徒ＳＴの発話状況を識別する。サーバ３０は、抽出された生徒ＳＴの顔と手の情報と、識別された発話状況とに基づき、授業の状況を判定する。すなわち、サーバ３０は、本発明の情報処理装置として機能する。
【0018】
通信ネットワークＮは、上述したようにＬＡＮ、ＷＡＮ等であるものとするが、インターネット等の他のネットワークとしてもよい。
【0019】
【0020】
図３に示すように、サーバ３０は、ＣＰＵ（Central Processing Unit）３１と、ＲＡＭ（Random Access Memory）３２と、記憶部３３と、通信部３４と、計時部３５と、バス３６などを備える。サーバ３０の各部は、バス３６を介して接続されている。なお、サーバ３０は、サーバ３０の管理者等により使用される操作部や表示部などをさらに備えていてもよい。
【0021】
ＣＰＵ３１（抽出手段、識別手段、判定手段）は、記憶部３３に記憶されているプログラムを読み出して実行し、各種演算処理を行うことで、サーバ３０の各部の動作を制御するプロセッサである。
【0022】
ＲＡＭ３２は、ＣＰＵ３１に作業用のメモリ空間を提供し、一時データを記憶する。
【0023】
記憶部３３は、不揮発性の半導体メモリやＨＤＤ（Hard Disk Drive）等により構成されている。記憶部３３は、サーバ３０のシステムプログラムや、後述する授業状況判定処理（図７参照）をはじめとする各種処理を実行するためのプログラム、プログラムの実行に必要なデータを記憶する。本実施形態において、記憶部３３は、上記データとして授業状況判定テーブル３３１を記憶している。授業状況判定テーブル３３１は、授業状況を判定する指標となるテーブルである。
【0024】
図４は、授業状況判定テーブル３３１の内容例を示す図である。
図４に示すように、授業状況判定テーブル３３１は、「画像判定」、「音声有無」、「最終判定」の項目で構成されている。「画像判定」の項目は「顔の向き」と「手の位置」の各項目で構成されている。
図４に示すように、授業状況判定テーブル３３１は、「画像判定」、「音声有無」、「最終判定」の項目で構成されている。「画像判定」の項目は「顔の向き」と「手の位置」の各項目で構成されている。
【0025】
「顔の向き」の項目は、生徒ＳＴの顔の向きを示す項目である。「顔の向き」の項目には、“上向き”、“水平方向”、“下向き”のいずれかの情報が設定されている。“上向き”とは、図５に示すように、生徒ＳＴの顔の向きが水平面を基準として上方向を向いており、且つ、当該上方向の角度（仰角）が第１基準角度（例えば、仰角（＋）４５度）よりも大きい場合を意味する。“下向き”とは、生徒ＳＴの顔の向きが水平面を基準として下方向を向いており、且つ、当該下方向の角度（俯角）が第２基準角度（例えば、俯角（－）４５度）よりも大きい場合を意味する。“水平方向”とは、生徒ＳＴの顔の向きが第１基準角度と第２基準角度との間にある場合を意味する。
【0026】
「手の位置」の項目は、生徒ＳＴの手の位置を示す項目である。「手の位置」の項目には、“卓上”、“卓上以外”のいずれかの情報が設定されている。“卓上”とは、図６（ａ）及び図６（ｂ）に示すように、生徒ＳＴの手（拳部分）が卓上の所定範囲Ｒ内にある場合を意味する。“卓上以外”とは、生徒ＳＴの手（拳部分）が卓上の所定範囲Ｒ内にない場合（例えば、机の下や所定範囲Ｒの上方にある場合）を意味する。
【0027】
「音声有無」の項目は、教師Ｔ又は生徒ＳＴの音声（発話）の有無（発話状況）を示す項目である。「音声有無」の項目には、“あり”、“なし”のいずれかの情報が設定されている。“あり”とは、教師Ｔ又は生徒ＳＴの音声（発話）がある場合を意味する。“なし”とは、教師Ｔ又は生徒ＳＴの音声（発話）が無い場合を意味する。
【0028】
「最終判定」の項目は、授業状況の判定結果を示す項目である。「最終判定」の項目には、“相談”、“作業”、“不参加”のいずれかの情報が設定されている。“相談”とは、生徒ＳＴ同士又は教師Ｔと相談している状況を意味する。“作業”とは、教科書等を見たり、ノート等に書き込みを行ったりしている状況を意味する。“不参加”とは、授業に参加していない状況を意味する。
【0029】
授業状況判定テーブル３３１では、「顔の向き」と「手の位置」と「音声有無」の各項目の情報が「最終判定」の項目の情報と紐付けられている。例えば、「顔の向き」の項目が“水平方向”、「手の位置」の項目が“卓上”、「音声有無」の項目が“あり”の場合、「最終判定」の項目には“相談”が設定されている。つまり、撮影装置１０により撮影された授業風景の画像から対象となる生徒ＳＴの顔の向きが“水平方向”であり、手の位置が“卓上”であり、教師Ｔ又は生徒ＳＴの音声（発話）が有ると判別された場合、この生徒ＳＴの授業状況は“相談”であると判定されることとなる。
【0030】
図３の説明に戻り、通信部３４は、ＬＡＮ、ＷＡＮ等の通信ネットワークＮを介して、授業支援システム１００の各装置や外部端末とデータ送受信を行う。
【0031】
計時部３５は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を取得してＣＰＵ３１に出力する。
【0032】
≪授業支援システムの動作≫
次に、授業支援システム１００の動作について説明する。
次に、授業支援システム１００の動作について説明する。
【0033】
＜授業状況判定処理＞
図７は、サーバ３０により実行される授業状況判定処理の制御手順を示すフローチャートである。授業状況判定処理は、予め設定された授業の経過時間（例えば、０分、５分、１０分、…）ごとに行われる。授業状況判定処理は、教室ＣＲ内に存する全生徒を対象として生徒ＳＴごとに授業状況（“相談”、“作業”、“不参加”）を判定する。授業状況判定処理は、上述した授業状況判定テーブル３３１を指標として行われる。
図７は、サーバ３０により実行される授業状況判定処理の制御手順を示すフローチャートである。授業状況判定処理は、予め設定された授業の経過時間（例えば、０分、５分、１０分、…）ごとに行われる。授業状況判定処理は、教室ＣＲ内に存する全生徒を対象として生徒ＳＴごとに授業状況（“相談”、“作業”、“不参加”）を判定する。授業状況判定処理は、上述した授業状況判定テーブル３３１を指標として行われる。
【0034】
図７に示すように、授業状況判定処理が開始されると、まず、サーバ３０のＣＰＵ３１は、撮影装置１０により撮影された授業風景の画像から一の生徒ＳＴを特定する（ステップＳ１）。授業風景の画像は、この授業状況判定処理の対象となる授業の経過時間に撮影された画像であるものとする。なお、生徒ＳＴの特定方法は、公知の技術を使用することで実現可能であるため、詳細な説明は省略する。
【0035】
次いで、ＣＰＵ３１は、ステップＳ１で特定された生徒ＳＴの顔の向きと手の位置を上記画像から判別するとともに、音声検知装置２０により集音された音声に基づく音声情報から教師Ｔ又は生徒ＳＴの音声（発話）の有無（発話状況）を判別する（ステップＳ２）。教師Ｔ又は生徒ＳＴの音声の有無の判別に用いられる音声情報は、この授業状況判定処理の対象となる授業の経過時間に集音されたものである。
【0036】
次いで、ＣＰＵ３１は、ステップＳ２で判別された生徒ＳＴの顔の向きが“上向き”、“水平方向”、“下向き”のいずれであるかを判定する（ステップＳ３）。
【0037】
ステップＳ３において、生徒ＳＴの顔の向きが“上向き”であると判定された場合、ＣＰＵ３１は、当該生徒ＳＴの授業状況は“不参加”であると判定する（ステップＳ４；図４参照）。
【0038】
また、ステップＳ３において、生徒ＳＴの顔の向きが“水平方向”であると判定された場合、ＣＰＵ３１は、生徒ＳＴの手の位置が“卓上”であるか否かを判定する（ステップＳ５）。
【0039】
ステップＳ５において、生徒ＳＴの手の位置が“卓上”ではない、すなわち“卓上以外”であると判定された場合（ステップＳ５；ＮＯ）、ＣＰＵ３１は、教師Ｔ又は生徒ＳＴの音声の有無を判定する（ステップＳ６）。
【0040】
ステップＳ６において、教師Ｔ又は生徒ＳＴの音声が無いと判定された場合（ステップＳ６；ＮＯ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“不参加”であると判定する（ステップＳ７；図４参照）。
【0041】
また、ステップＳ６において、教師Ｔ又は生徒ＳＴの音声が有ると判定された場合（ステップＳ６；ＹＥＳ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“相談”であると判定する（ステップＳ８；図４参照）。
【0042】
また、ステップＳ５において、生徒ＳＴの手の位置が“卓上”であると判定された場合（ステップＳ５；ＹＥＳ）、ＣＰＵ３１は、教師Ｔ又は生徒ＳＴの音声の有無を判定する（ステップＳ９）。
【0043】
ステップＳ９において、教師Ｔ又は生徒ＳＴの音声が無いと判定された場合（ステップＳ９；ＮＯ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“作業”であると判定する（ステップＳ１０；図４参照）。
【0044】
また、ステップＳ９において、教師Ｔ又は生徒ＳＴの音声が有ると判定された場合（ステップＳ９；ＹＥＳ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“相談”であると判定する（ステップＳ１１；図４参照）。
【0045】
また、ステップＳ３において、生徒ＳＴの顔の向きが“下向き”であると判定された場合、ＣＰＵ３１は、生徒ＳＴの手の位置が“卓上”であるか否かを判定する（ステップＳ１２）。
【0046】
ステップＳ１２において、生徒ＳＴの手の位置が“卓上”ではない、すなわち“卓上以外”であると判定された場合（ステップＳ１２；ＮＯ）、ＣＰＵ３１は、教師Ｔ又は生徒ＳＴの音声の有無を判定する（ステップＳ１３）。
【0047】
ステップＳ１３において、教師Ｔ又は生徒ＳＴの音声が無いと判定された場合（ステップＳ１３；ＮＯ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“不参加”であると判定する（ステップＳ１４；図４参照）。
【0048】
また、ステップＳ１３において、教師Ｔ又は生徒ＳＴの音声が有ると判定された場合（ステップＳ１３；ＹＥＳ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“作業”であると判定する（ステップＳ１５；図４参照）。
【0049】
また、ステップＳ１２において、生徒ＳＴの手の位置が“卓上”であると判定された場合（ステップＳ１２；ＹＥＳ）、ＣＰＵ３１は、教師Ｔ又は生徒ＳＴの音声の有無を判定する（ステップＳ１６）。
【0050】
ステップＳ１６において、教師Ｔ又は生徒ＳＴの音声が無いと判定された場合（ステップＳ１６；ＮＯ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“作業”であると判定する（ステップＳ１７；図４参照）。
【0051】
また、ステップＳ１６において、教師Ｔ又は生徒ＳＴの音声が有ると判定された場合（ステップＳ１６；ＹＥＳ）、ＣＰＵ３１は、対象となる生徒ＳＴの授業状況は“相談”であると判定する（ステップＳ１８；図４参照）。
【0052】
次いで、ＣＰＵ３１は、ステップＳ４、ステップＳ７、ステップＳ８、ステップＳ１０、ステップＳ１１、ステップＳ１４、ステップＳ１５、ステップＳ１７、ステップＳ１８のいずれかの処理の実行後、ステップＳ１において教室ＣＲに存する全生徒を特定したか否かを判定する（ステップＳ１９）。
【0053】
ステップＳ１９において、教室ＣＲに存する全生徒を特定していないと判定された場合（ステップＳ１９；ＮＯ）、ＣＰＵ３１は、処理をステップＳ１に戻し、それ以降の処理を繰り返し行う。
【0054】
また、ステップＳ１９において、教室ＣＲに存する全生徒を特定したと判定された場合（ステップＳ１９；ＹＥＳ）、ＣＰＵ３１は、全生徒の授業状況に関する判定結果（“相談”、“作業”、“不参加”）を記憶部３３に記録する（ステップＳ２０）。そして、ＣＰＵ３１は、授業状況判定処理を終了する。記憶部３３に記録された上記判定結果は、外部端末（例えば、教師Ｔが使用するＰＣ）からの出力要求に応じて、サーバ３０から当該外部端末に出力されるようになっている。なお、サーバ３０が表示部を備えている場合には、記憶部３３に記録された上記判定結果が当該表示部に表示されるようにしてもよい。
【0055】
以上説明したように、サーバ３０は、授業風景を撮影した画像から生徒ＳＴの顔と手の情報を抽出する。サーバ３０は、授業中の音声を集音して得られる音声情報から教師Ｔ又はＳＴの発話状況を識別する。サーバ３０は、抽出された生徒ＳＴの顔と手の情報と、識別された発話状況とに基づき、授業の状況を判定する。
したがって、サーバ３０によれば、生徒ＳＴの顔の情報に加えて手の情報を加味して授業状況を判定するので、授業状況を正確に判定することができる。
したがって、サーバ３０によれば、生徒ＳＴの顔の情報に加えて手の情報を加味して授業状況を判定するので、授業状況を正確に判定することができる。
【0056】
また、サーバ３０は、生徒ＳＴの手の情報として、手の位置に関する情報（卓上にあるか否かの情報）を抽出するので、授業状況をより正確に判定することができる。
【0057】
また、サーバ３０は、生徒ＳＴの顔の情報として、顔の向きに関する情報を抽出するので、授業状況をより正確に判定することができる。
【0058】
〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記実施形態では、音声検知装置２０により教室ＣＲ全体の音声を集音する構成となっているが、図８に示すように、ヘッドセットマイク４０を教師Ｔに装着してもらい当該教師Ｔの音声を個別に集音できるようにしてもよい。かかる場合、教師Ｔと生徒ＳＴとで音声の有無を個々に判別することができるので、授業状況をより詳細に判定することが可能となる。具体的には、図９の授業状況判定テーブル３３１に示すように、撮影装置１０により撮影された授業風景の画像から対象となる生徒ＳＴの顔の向きが“水平方向”又は“下向き”であり、手の位置が“卓上”であり、生徒ＳＴの音声（発話）が無しであり、教師Ｔの音声（発話）が有ると判別された場合には、この生徒ＳＴの授業状況が“教師説明”であると判定することが可能となる。
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記実施形態では、音声検知装置２０により教室ＣＲ全体の音声を集音する構成となっているが、図８に示すように、ヘッドセットマイク４０を教師Ｔに装着してもらい当該教師Ｔの音声を個別に集音できるようにしてもよい。かかる場合、教師Ｔと生徒ＳＴとで音声の有無を個々に判別することができるので、授業状況をより詳細に判定することが可能となる。具体的には、図９の授業状況判定テーブル３３１に示すように、撮影装置１０により撮影された授業風景の画像から対象となる生徒ＳＴの顔の向きが“水平方向”又は“下向き”であり、手の位置が“卓上”であり、生徒ＳＴの音声（発話）が無しであり、教師Ｔの音声（発話）が有ると判別された場合には、この生徒ＳＴの授業状況が“教師説明”であると判定することが可能となる。
【0059】
また、上記実施形態では、サーバ３０は、生徒ＳＴの手の情報として、手の位置に関する情報を抽出しているが、例えば、挙手や筆記などの手の動きに関する情報を抽出し、当該情報に基づいて授業状況を判定するようにしてもよい。また、サーバ３０は、顔の向きに関する情報に加えて視線方向や体の向きに関する情報などを更に抽出して授業状況を判定するようにしてもよい。
【0060】
その他、上記実施形態で示した構成および制御の具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。また、本発明の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。
【符号の説明】
【0061】
１００ 授業支援システム
１０ 撮影装置
２０ 音声検知装置
３０ サーバ（情報処理装置）
３１ ＣＰＵ
３２ ＲＡＭ
３３ 記憶部
３３１ 授業状況判定テーブル
３４ 通信部
３５ 計時部
１０ 撮影装置
２０ 音声検知装置
３０ サーバ（情報処理装置）
３１ ＣＰＵ
３２ ＲＡＭ
３３ 記憶部
３３１ 授業状況判定テーブル
３４ 通信部
３５ 計時部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】