特開 2024-47677 情報処理システム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047677

(43)【公開日】2024-04-08

(54)【発明の名称】情報処理システム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20240401BHJP

【ＦＩ】

G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022153304

(22)【出願日】2022-09-27

(71)【出願人】

【識別番号】521122094

【氏名又は名称】株式会社バイタルＤＸ

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】朴 元浩

(72)【発明者】

【氏名】福田 佳子

(72)【発明者】

【氏名】久保 貴史

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC34

(57)【要約】

【課題】イベントに参加する利用者の心理状態を効率良く把握することを課題とする。
【解決手段】生徒が装着した計測端末３０は脈拍を測定し、ゲートウェイ装置２０を介して情報処理装置１０に通知する（Ｓ１）。情報処理装置１０は脈拍データを用いて集中度を判定する（Ｓ２）。その後、生徒の授業への集中状況を表示制御する（Ｓ３）。また、生徒の集中度の平均値を示し、時間帯ａでは集中度が低下していることが分かる。１０：２５において生徒の平均集中度が６０であり、生徒Ａの集中度が４０であることなどが分かる。平均集中度と生徒Ａの集中度が示され、時間帯ｂでは生徒Ａの集中度が特に低いことが分かる。教師の集中度が示され、時間帯ｃでは教師の集中度が低くなっていることが分かる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と、前記複数の利用者の心理データを算出する情報処理装置とを通信可能に接続した情報処理システムであって、
前記情報処理装置は、
前記計測端末から受け付けた利用者ごとの生体情報を記憶する記憶手段と、
前記記憶手段に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出手段と、
前記算出手段により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成手段と、
前記生成手段により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知手段と
を備えたことを特徴とする情報処理システム。

【請求項2】

前記計測端末は、
前記利用者の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記生体情報を通知する生体情報通知手段と
を備えたことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記心理分析情報は、
前記複数の利用者の時系列ごとの心理データの平均値を含むことを特徴とする請求項１に記載の情報処理システム。

【請求項4】

前記心理分析情報は、
前記複数の利用者の時系列ごとの心理データの平均値と、各利用者の時系列ごとの心理データを含むことを特徴とする請求項１に記載の情報処理システム。

【請求項5】

前記心理分析情報は、
前記複数の利用者の時系列ごとの心理データの平均値と、各利用者の時系列ごとの心理データと、所定の主催者の時系列ごとの心理データとを含むことを特徴とする請求項１に記載の情報処理システム。

【請求項6】

前記主催者により主催された状況の音声を含む映像を取得する映像取得装置をさらに備え、
前記情報処理装置は、
前記撮像装置から前記映像を受け付ける映像受付手段と、
前記映像受付手段により受け付けた前記映像を前記所定の端末装置に対して通知する映像通知手段と
をさらに備えたことを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記所定の端末装置は、
前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データに対応付けて前記映像を記憶する映像記憶手段と、
前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データを所定の表示部にグラフ表示するとともに、前記表示部にグラフ表示された前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データのグラフ上の所定の位置が選択操作された場合に、該所定の位置に対応付けられた映像を前記表示部に表示制御する表示制御手段と
を備えたことを特徴とする請求項６に記載の情報処理システム。

【請求項8】

前記計測端末は、
複数の利用者にそれぞれ装着され、各利用者の脈拍データを含む前記心理データを計測するウエアラブル端末であることを特徴とする請求項１～７のいずれか一つに記載の情報処理システム。

【請求項9】

複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と通信可能に接続され、前記複数の利用者の心理データを算出する情報処理装置であって、
前記計測端末から受け付けた利用者ごとの生体情報を記憶する記憶手段と、
前記記憶手段に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出手段と、
前記算出手段により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成手段と、
前記生成手段により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知手段と
を備えたことを特徴とする情報処理装置。

【請求項10】

複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と、前記複数の利用者の心理データを算出する情報処理装置とを通信可能に接続した情報処理システムにおける情報処理方法であって、
前記情報処理装置が、前記計測端末から受け付けた利用者ごとの生体情報を記憶部に記憶する記憶工程と、
前記情報処理装置が、前記記憶部に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出工程と、
前記情報処理装置が、前記算出工程により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成工程と、
前記情報処理装置が、前記生成工程により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知工程と
を含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントに参加する利用者の心理状態を効率良く把握することができる情報処理システム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、教師が小学校等の各種学校で授業を行う場合に、受講生である生徒の学習効果を高めることが重要となる。このため、教師は、どのようにして授業を進めるかを周到に計画した後、授業時間中における各生徒の状況を観察しつつ、授業を進めることになる。

【0003】

ここで、一つの教室内で授業を受ける生徒数が多い場合には、教師が各生徒の授業態度を十分に観察することが難しくなる。このため、授業を受ける各生徒の集中度を推定し、推定結果を活用して学習効率を高める方策が考えられる。例えば、特許文献１の技術を用いることにより、計測対象者の生体情報から集中度を推定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２８３０４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１のものは、計測対象者である特定の生徒が授業に集中していたか否かを推定し、この推定結果を用いて該当する生徒に対する注意喚起の指導を行う対応策しか採ることができず、授業における学習効果を高めることが難しいという問題がある。

【0006】

このため、授業における生徒の学習効果をいかに高めるかが重要な課題となっている。特に、オンライン授業を行う場合には、先生から各生徒へ一方向的に情報を伝える形式の授業となりがちであるため、いかにして生徒の心理状態を効率良く把握するかが大きな課題となる。かかる課題は、学校の先生が生徒に授業を行う場合だけではなく、主催者が利用者に対してイベントを提供する様々なケースにおいても生ずる課題である。例えば、エンターテイメントのイベントを主催する主催者が、イベントに参加する利用者の心理状態を把握する場合などが該当する。

【0007】

本発明は、上記従来技術の課題を解決するためになされたものであって、イベントに参加する利用者の心理状態を効率良く把握することができる情報処理システム、情報処理装置及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明は、複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と、前記複数の利用者の心理データを算出する情報処理装置とを通信可能に接続した情報処理システムであって、前記情報処理装置は、前記計測端末から受け付けた利用者ごとの生体情報を記憶する記憶手段と、前記記憶手段に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出手段と、前記算出手段により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成手段と、前記生成手段により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知手段とを備えたことを特徴とする。

【0009】

また、本発明は、上記発明において、前記計測端末は、前記利用者の生体情報を取得する生体情報取得手段と、前記生体情報取得手段により取得された前記生体情報を通知する生体情報通知手段とを備えたことを特徴とする。

【0010】

また、本発明は、上記発明において、前記心理分析情報は、前記複数の利用者の時系列ごとの心理データの平均値を含むことを特徴とする。

【0011】

また、本発明は、上記発明において、前記心理分析情報は、前記複数の利用者の時系列ごとの心理データの平均値と、各利用者の時系列ごとの心理データを含むことを特徴とする。

【0012】

また、本発明は、上記発明において、前記心理分析情報は、前記複数の利用者の時系列ごとの心理データの平均値と、各利用者の時系列ごとの心理データと、所定の主催者の時系列ごとの心理データとを含むことを特徴とする。

【0013】

また、本発明は、上記発明において、前記主催者により主催された状況の音声を含む映像を取得する映像取得装置をさらに備え、前記情報処理装置は、前記映像取得装置から前記映像を受け付ける映像受付手段と、前記映像受付手段により受け付けた前記映像を前記所定の端末装置に対して通知する映像通知手段とをさらに備えたことを特徴とする。

【0014】

また、本発明は、上記発明において、前記所定の端末装置は、前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データに対応付けて前記映像を記憶する映像記憶手段と、前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データを所定の表示部にグラフ表示するとともに、前記表示部にグラフ表示された前記複数の利用者の時系列ごとの心理データの平均値、各利用者の時系列ごとの心理データ又は所定の主催者の時系列ごとの心理データのグラフ上の所定の位置が選択操作された場合に、該所定の位置に対応付けられた映像を前記表示部に表示制御する表示制御手段とを備えたことを特徴とする。

【0015】

また、本発明は、上記発明において、前記計測端末は、複数の利用者にそれぞれ装着され、各利用者の脈拍データを含む前記心理データを計測するウエアラブル端末であることを特徴とする。

【0016】

また、本発明は、複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と通信可能に接続され、前記複数の利用者の心理データを算出する情報処理装置であって、前記計測端末から受け付けた利用者ごとの生体情報を記憶する記憶手段と、前記記憶手段に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出手段と、前記算出手段により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成手段と、前記生成手段により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知手段とを備えたことを特徴とする。

【0017】

また、本発明は、複数の利用者にそれぞれ装着され、各利用者の生体情報を計測する計測端末と、前記複数の利用者の心理データを算出する情報処理装置とを通信可能に接続した情報処理システムにおける情報処理方法であって、前記情報処理装置が、前記計測端末から受け付けた利用者ごとの生体情報を記憶部に記憶する記憶工程と、前記情報処理装置が、前記記憶部に記憶された生体情報に基づいて、前記複数の利用者の心理データをそれぞれ算出する算出工程と、前記情報処理装置が、前記算出工程により算出された前記複数の利用者の心理データに基づいて、前記複数の利用者に係る心理分析情報を生成する生成工程と、前記情報処理装置が、前記生成工程により生成された心理分析情報を所定の端末装置に対して通知する心理分析情報通知工程とを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、イベントに参加する利用者の心理状態を効率良く把握することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施形態１に係る情報処理システムの概要を説明するための説明図である。

【図2】図２は、実施形態１に係る情報処理システムのシステム構成を示す図である。

【図3】図３は、図２に示した情報処理装置の構成を示す機能ブロック図である。

【図4】図４は、図３に示した対象者データ、計測データ、集中度データ及び平均集中度データの一例を示す図である。

【図5】図５は、図２に示した教師用端末の構成を示す機能ブロック図である。

【図6】図６は、実施形態１に係る集中度を判定する方法の一例を示す図（その１）である。

【図7】図７は、実施形態１に係る集中度を判定する方法の一例を示す図（その２）である。

【図8】図８は、実施形態１に係る教師用端末における表示の一例を示す図（その１）である。

【図9】図９は、実施形態１に係る教師用端末における表示の一例を示す図（その２）である。

【図10】図１０は、実施形態１に係る教師用端末における表示の一例を示す図（その３）である。

【図11】図１１は、実施形態１に係る情報処理装置における処理手順を示すフローチャートである。

【図12】図１２は、実施形態２に係る情報処理システムの概要を説明するための説明図である。

【図13】図１３は、実施形態２に係る情報処理システムのシステム構成を示す図である。

【図14】図１４は、図１３に示した情報処理装置の構成を示す機能ブロック図である。

【図15】図１５は、図１４に示した対象者データの一例を示す図である。

【発明を実施するための形態】

【0020】

［実施形態１］
以下に、本実施形態１に係る情報処理システム、情報処理装置及び情報処理方法について詳細に説明する。なお、本実施形態１では、教師と生徒が対面で授業を行う場合について示し、本実施形態２では、教師と生徒がオンラインで授業を行う場合について示すことする。以下に示す実施形態における「生徒」は特許請求の範囲に記載の「利用者」に対応し、「教師」は特許請求の範囲に記載の「主催者」に対応し、「授業」は特許請求の範囲に記載の「イベント」に対応する。
また、以下に示す実施形態における「集中度」は特許請求の範囲に記載の「心理データ」に対応し、「平均集中度データ」は特許請求の範囲に記載の「心理分析情報」に対応する。

【0021】

＜実施形態１に係る情報処理システムの概要＞
まず、本実施形態１に係る情報処理システムの概要について説明する。図１は、本実施形態１に係る情報処理システムの概要を説明するための説明図である。図１（ａ）では、生徒Ａが計測端末３０ａを手首に装着して授業を受け、生徒Ｂが計測端末３０ａを手首に装着して授業を受けている状況を示している。また、教師は、手首に計測端末３０ｃを装着して授業を行っている。以下では、生徒Ａ、生徒Ｂ及び教師を含む計測対象者を「対象者」と言い、計測端末３０ａ、３０ｂ及び３０ｃを計測端末３０と総称する。

【0022】

かかる計測端末３０は、例えばスマートウオッチなどのウエアラブル端末である。この計測端末３０は、計測対象者（生徒Ａ、生徒Ｂ、教師）の脈波あるいは脈拍を測定し、所定の時間毎（例えば、４秒毎）に脈波・脈拍データとしてゲートウェイ装置２０に通知する（Ｓ１）。ゲートウェイ装置２０は、かかる脈拍データを情報処理装置１０に通知する。ここでは、無線通信により脈波・脈拍データを通知するものとする。

【0023】

情報処理装置１０は、脈波・脈拍データを受信したならば、該脈波・脈拍データを用いて対象者の集中度を判定する（Ｓ２）。その後、情報処理装置１０は、所定の操作を受け付けたならば、図１（ｂ）に示すように、対象者である生徒の授業への集中状況を表示制御する（Ｓ３）。ここでは、横軸を時間とし、縦軸を集中度とした生徒の集中度を示すグラフを表示している。図中の時間帯ａでは、各生徒の集中度が低下していることが分かる。図１（ｃ）には、時刻「１０：２５」において、生徒Ａの集中度が「４０」であり、生徒Ｃの集中度が「５５」であり、生徒Ｆの集中度が「５０」であり、生徒の平均集中度が「６０」である状況を示している。

【0024】

図１（ｄ）には、生徒の集中度の平均値と、生徒Ａの集中度がそれぞれグラフで示されており、時間帯ｂにおいて、生徒Ａの集中度が特に低いことが分かる。図１（ｅ）には、横軸を時間とし、縦軸を集中度とした教師の集中度が示されており、時間帯ｃにおいて教師の集中度が低くなっていることが分かる。

【0025】

このように、本実施形態１に係る情報処理システムでは、対象者である各生徒の脈波・脈拍データにより判定した集中度を用いて、各生徒に対する学習指導のための情報を提供することができる。また、全体的に生徒の集中度が低下する時間帯を特定し、この時間帯で行うべき授業内容を見直すこともできる。この際、授業中の映像を授業の進行と同時に撮像しておき、生徒の集中度が低下する時間帯の映像を確認することにより、例えば授業内容が難しすぎる又は易しすぎる等の原因を効率良く把握することができる。また、教師の集中度を参照することにより、教師側に問題がないかを併せて確認することができる。なお、本実施形態における「映像」は、マイクで集音された音声データを含むものとする。

【0026】

＜実施形態１に係るシステム構成＞
次に、本実施形態１に係る情報処理システムのシステム構成について説明する。図２は、本実施形態１に係る情報処理システムのシステム構成を示す図である。図２に示すように、生徒が装着する計測端末３０は、無線通信によりゲートウェイ装置２０に接続され、このゲートウェイ装置２０及びインターネットを介して情報処理装置１０に通信可能に接続される。

【0027】

情報処理装置１０は、インターネットを介して教師用端末４０及び通信制御端末５０と接続される。通信制御端末５０は、無線通信によりカメラ６０と接続される。

【0028】

情報処理装置１０は、計測端末３０により取得された脈波・脈拍データを用いて、対象者の集中度を判定し、この集中度に係る情報を教師用端末４０に通知する装置である。情報処理装置１０は、教師用端末４０から開始指示を受信してから終了指示を受信するまでの間、ゲートウェイ装置２０から脈波・脈拍データを受信したならば、対象者ＩＤに関連付けて計測データとして記憶する。

【0029】

また、情報処理装置１０は、計測データを用いて、所定時間毎（例えば、１分毎）に対象者毎の集中度を判定し、集中度データとして記憶する。情報処理装置１０は、集中度データが更新されたならば、対象者の集中度の平均値を算出し、平均集中度データとして記憶する。

【0030】

また、情報処理装置１０は、通信制御端末５０から映像データを受信したならば、受信した映像データとして記憶する。情報処理装置１０は、教師用端末４０からのＷｅｂアクセスを受け付け、教師用端末４０の配信依頼に基づいて、集中度に係る情報をＷｅｂ情報として、該教師用端末４０に対して配信する。

【0031】

計測端末３０は、計測端末３０を装着した者の脈波・脈拍を計測する装置である。計測端末３０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、ゲートウェイ装置２０と通信可能に接続される。計測端末３０は、装着者の脈波・脈拍を計測し、ゲートウェイ装置２０を介して、所定の時間毎（例えば、４秒毎）に計測端末ＩＤを含めて脈拍データとして情報処理装置１０に通知する。

【0032】

ゲートウェイ装置２０は、計測端末３０が送信する脈波・脈拍データを中継する装置である。ゲートウェイ装置２０は、ＬＴＥ（Long Term Evolution）等の無線通信及びインターネットを介して、情報処理装置１０と通信可能に接続される。

【0033】

教師用端末４０は、情報処理装置１０が判定した対象者の集中度に係る情報及び集中度判定した対象者を撮影した映像を表示する装置である。教師用端末４０は、ＬＴＥ等の無線通信及びインターネットを介して、情報処理装置１０と通信可能に接続される。

【0034】

また、教師用端末４０は、開始指示の操作を受け付けたならば、情報処理装置１０に対して開始指示を通知し、終了指示の操作を受け付けたならば、情報処理装置１０に対して終了指示を通知する。

【0035】

また、教師用端末４０は、「平均集中度情報」、「低集中度者情報」、「個別集中度情報」、「教師集中度情報」及び「映像情報」の配信を情報処理装置１０に対して依頼し、配信された情報を受け付けたならば、該情報を表示する。

【0036】

通信制御端末５０は、カメラ６０が撮影した映像データを情報処理装置１０に通知する端末である。通信制御端末５０は、ＬＴＥ等の無線通信及びインターネットを介して、情報処理装置１０と通信可能に接続される。通信制御端末５０は、送信開始の操作を受け付けたならば、カメラ６０から受信した映像を情報処理装置１０に通知する。通信制御端末５０は、送信停止の操作を受け付けたならば、情報処理装置１０に対する映像の通知を停止する。

【0037】

カメラ６０は、授業の状況を撮影する撮影装置である。なお、カメラ６０で撮影された映像にはマイクで集音された音声データが含まれる。カメラ６０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、通信制御端末５０と通信可能に接続される。

【0038】

＜情報処理装置１０の構成＞
次に、図２に示した情報処理装置１０の構成について説明する。図３は、図２に示した情報処理装置１０の構成を示す機能ブロック図である。図３に示すように、情報処理装置１０は、表示部１１及び入力部１２と接続され、通信部１３と、記憶部１４と、制御部１５とを有する。

【0039】

表示部１１は、液晶パネルやディスプレイ装置等の表示デバイスである。入力部１２は、キーボードやマウス等の入力デバイスである。通信部１３は、インターネットを介してゲートウェイ装置２０、教師用端末４０及び通信制御端末５０とデータ通信するためのインタフェース部である。

【0040】

記憶部１４は、不揮発性のメモリ又はハードディスク装置等からなる記憶デバイスであり、対象者データ１４ａ、計測データ１４ｂ、集中度データ１４ｃ、平均集中度データ１４ｄ及び映像データ１４ｅを記憶する。

【0041】

対象者データ１４ａは、情報処理システムを利用する生徒及び教師などの対象者に係る情報を示すデータである。計測データ１４ｂは、計測端末３０により計測された脈波・脈拍データを示すデータである。

【0042】

集中度データ１４ｃは、計測データ１４ｂを用いて判定された集中度を示すデータである。平均集中度データ１４ｄは、集中度データ１４ｃに記憶された対象者の集中度の平均値を示すデータである。映像データ１４ｅは、カメラ６０が撮影した授業中の映像を示すデータである。

【0043】

制御部１５は、情報処理装置１０の全体制御を行う制御部であり、対象者データ管理部１５ａ、計測データ管理部１５ｂ、集中度判定部１５ｃ、映像管理部１５ｄ及び配信部１５ｅを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭ等の不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、対象者データ管理部１５ａ、計測データ管理部１５ｂ、集中度判定部１５ｃ、映像管理部１５ｄ及び配信部１５ｅにそれぞれ対応するプロセスを実行させることになる。

【0044】

対象者データ管理部１５ａは、対象者データ１４ａを管理する処理部である。対象者データ管理部１５ａは、入力部１２から対象者に係るデータを受け付けたならば、このデータを対象者データ１４ａに記憶する。

【0045】

計測データ管理部１５ｂは、計測データ１４ｂを管理する処理部である。計測データ管理部１５ｂは、教師用端末４０から開始指示を受信してから終了指示を受信するまでの間、次の処理を行う。計測データ管理部１５ｂは、ゲートウェイ装置２０から脈波・脈拍データを受信したならば、この脈波・脈拍データに含まれる計測端末ＩＤを用いて対象者データ１４ａから対象者ＩＤを抽出し、この対象者ＩＤに関連付けて脈拍データを計測データ１４ｂに記憶する。

【0046】

集中度判定部１５ｃは、計測データ１４ｂを用いて対象者の集中度を判定するとともに、集中度データ１４ｃ及び平均集中度データ１４ｄを管理する処理部である。集中度判定部１５ｃは、計測データ１４ｂが更新されたならば、この計測データ１４ｂを用いて、所定時間毎（例えば、１分毎）に対象者毎の集中度を判定し、集中度データ１４ｃに記憶する。なお、集中度の判定方法については後述する。

【0047】

また、集中度判定部１５ｃは、集中度データ１４ｃが更新されたならば、この集中度データ１４ｃに記憶された対象者の集中度の平均値を算出し、平均集中度データ１４ｄに記憶する。なお、集中度の平均値の算出においては、集中度データ１４ｃ内の教師に係る集中度は除外し、生徒に係る集中度のみを算出の対象とする。

【0048】

映像管理部１５ｄは、映像データ１４ｅを管理する処理部である。映像管理部１５ｄは、通信制御端末５０から映像データを受信したならば、受信した映像データを映像データ１４ｅに記憶する。

【0049】

配信部１５ｅは、集中度に係る情報の配信を行う処理部である。配信部１５ｅは、教師用端末４０からのＷｅｂアクセスを受け付け、教師用端末４０の配信依頼に基づいて、集中度に係る情報をＷｅｂ情報として、該教師用端末４０に対して配信する。

【0050】

例えば、配信部１５ｅは、「平均集中度情報」、「低集中度者情報」、「個別集中度情報」、「教師集中度情報」及び「映像情報」を配信する。「平均集中度情報」では、対象となる生徒の集中度の平均値を時系列にグラフ化して配信する。「低集中度者情報」では、指定された時刻において、平均集中度未満の集中度となっていた生徒名及びその集中度を表形式で配信する。

【0051】

「個別集中度情報」では、指定された生徒の集中度と平均集中度を時系列にグラフ化して配信する。「教師集中度情報」では、対象となる教師の集中度を時系列にグラフ化して配信する。「映像情報」では、指定された時刻からの映像データ１４ｅを配信する。

【0052】

次に、図３に示した情報処理装置１０の記憶部１４が記憶するデータの一例について説明する。図４は、図３に示した対象者データ１４ａ、計測データ１４ｂ、集中度データ１４ｃ及び平均集中度データ１４ｄの一例を示す図である。

【0053】

図４（ａ）に示すように、対象者データ１４ａは、対象者ＩＤ「ＫＤ１２３４５」に対して、氏名「特許太郎」、学年「中学２年」、性別「男」、年齢「１３」歳、計測端末ＩＤ「ｋｔ０００１」を対応付け、対象者ＩＤ「ＫＤ６７８９０」に対して、氏名「開発花子」、学年「中学２年」、性別「女」、年齢「１４」歳、計測端末ＩＤ「ｋｔ０００２」を対応付けている。

【0054】

図４（ｂ）に示すように、計測データ１４ｂは、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１０：０４」に対して、心拍間隔「９００」ミリ秒を対応付け、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１０：０８」に対して、心拍間隔「９１０」ミリ秒を対応付け、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１０：１２」に対して、心拍間隔「９５０」ミリ秒を対応付けている。

【0055】

図４（ｃ）に示すように、集中度データ１４ｃは、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１５：００」に対して、集中度「４５」を対応付け、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１６：００」に対して、集中度「５０」を対応付け、対象者ＩＤ「ＫＤ１２３４５」、日時「２０２２/０７/０１ １６：１７：００」に対して、集中度「７０」を対応付けている。

【0056】

図４（ｄ）に示すように、平均集中度データ１４ｄは、日時「２０２２/０７/０１ １６：１５：００」に対して、平均集中度「５５」を対応付け、日時「２０２２/０７/０１ １６：１６：００」に対して、平均集中度「６０」を対応付け、日時「２０２２/０７/０１ １６：１７：００」に対して、平均集中度「６５」を対応付けている。

【0057】

＜教師用端末４０の構成＞
次に、図２に示した教師用端末４０の構成について説明する。図５は、図２に示した教師用端末４０の構成を示す機能ブロック図である。図５に示すように、教師用端末４０は、操作表示部４１と、通信部４３と、記憶部４４と、制御部４５とを有する。

【0058】

操作表示部４１は、タッチパネル式液晶ディスプレイ等の入出力デバイスである。通信部４３は、インターネットを介して情報処理装置１０とデータ通信するためのインタフェース部である。

【0059】

記憶部４４は、不揮発性のメモリ又はハードディスク装置等からなる記憶デバイスであり、自端末データ４４ａを記憶する。自端末データ４４ａは、自端末の端末ＩＤを示すデータである。

【0060】

制御部４５は、教師用端末４０の全体制御を行う制御部であり、自端末管理部４５ａ、通知部４５ｂ及び表示制御部４５ｃを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭ等の不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、自端末管理部４５ａ、通知部４５ｂ及び表示制御部４５ｃにそれぞれ対応するプロセスを実行させることになる。

【0061】

自端末管理部４５ａは、自端末データ４４ａを管理する処理部である。自端末管理部４５ａは、操作表示部４１から端末ＩＤを受け付けたならば、この端末ＩＤを自端末データ４４ａに記憶する。

【0062】

通知部４５ｂは、授業の開始及び終了の通知を行う処理部である。通知部４５ｂは、操作表示部４１から開始指示の操作を受け付けたならば、情報処理装置１０に対して開始指示を通知する。通知部４５ｂは、操作表示部４１から終了指示の操作を受け付けたならば、情報処理装置１０に対して終了指示を通知する。

【0063】

表示制御部４５ｃは、情報処理装置１０に対してＷｅｂアクセスを行い、集中度に係る情報の表示の依頼及び表示制御を行う処理部である。表示制御部４５ｃは、「平均集中度情報」、「低集中度者情報」、「個別集中度情報」、「教師集中度情報」及び「映像情報」の配信を情報処理装置１０に対して依頼し、配信された情報を受け付けたならば、該情報を操作表示部４１に表示する。

【0064】

表示制御部４５ｃは、各種集中度情報と映像情報（音声データを含む）と関連付けておき、各種集中度情報を操作表示部４１にグラフ表示するとともに、グラフ上の所定の位置が選択操作された場合に、この位置に対応する映像情報を操作表示部４１に表示制御することもできる。

【0065】

＜集中度を判定する方法の一例＞
次に、本実施形態１に係る集中度を判定する方法の一例について説明する。図６及び図７は、本実施形態１に係る集中度を判定する方法の一例を示す図である。本実施形態においては、脈拍データから算出するＨＦ（Hi Frequency）及びＬＦ（Low Frequency）を用いた指標に基づいて集中度を判定する。

【0066】

人の脈拍は、心身正常な状態においても常に変化している。例えば、図６に示すように、心拍間隔時間を時系列にグラフ化してみると、心拍間隔時間が、約８００～１２００ミリ秒の範囲で変化している。

【0067】

図６に示すグラフを時間軸信号とみなして、この時間軸信号に含まれる周波数毎のパワー（単位時間当たりのエネルギー）を抽出する。抽出方法には、時間軸信号を離散フーリエ変換して抽出するピリオドグラムによる方法と、ユールウォーカー法による自己回帰モデルによる方法があるが、本実施形態においては、自己回帰モデルによる方法を採用する。

【0068】

図７は、自己回帰モデルによる方法を用いて、時間軸信号に含まれる周波数毎のパワーを抽出して表示したグラフである。このグラフの０．０５Ｈｚから０．１５Ｈｚまでの領域の強度を合計した値（積分値）がＬＦ値であり、０．１５Ｈｚから０．４０Ｈｚまでの領域の強度を合計した値（積分値）がＨＦ値である。

【0069】

ＬＦ値をＨＦ値で除した値（ＬＦ／ＨＦ）は、自律神経のバランスを示す指標とされ、ＬＦ／ＨＦが小さいほどリラックスしている状態であり、高いほど緊張している（集中している）状態であるとされている。

【0070】

また、ＬＦ／ＨＦは、２．０未満であれば基準値とされ、２．０以上であれば注意すべき状態とされている。このため、ＬＦ／ＨＦの値が２．０以上の場合は、高ストレス状態として集中度の判定から除外し、ＬＦ／ＨＦの値が２．０未満の場合にのみ、次の式を用いて集中度を算出する。
（ＬＦ／ＨＦ）×（１００／２） （式１）

【0071】

＜教師用端末４０における表示の一例＞
次に、教師用端末４０における表示の一例について説明する。図８～図１０は、本実施形態１に係る教師用端末４０における表示の一例を示す図である。

【0072】

図８（ａ）に示すように、「平均集中度情報」においては、時系列における生徒の平均集中度をグラフ化して表示する。例えば、１０：００に始まった授業において、１０：２０頃までは７０前後の高い集中度が続いていたものの、その後、急激に集中度が低下しているのが分かる。

【0073】

図８（ｂ）に示すように、「低集中度者情報」においては、指定した時刻における平均集中度と、集中度がこの平均集中度未満であった生徒を抽出して表形式で表示する。例えば、時刻「１０：２５」における平均集中度は「６０」であり、生徒Ａが集中度「４０」、生徒Ｃが集中度「５５」、生徒Ｆが集中度「５０」として表示される。

【0074】

図８（ｃ）に示すように、「映像情報」においては、指定された時刻からの映像データ１４ｅを表示する。例えば、最も平均集中度が低かった時刻「１０：２５」は図８（ａ）によって示されるが、その時間を教師が選択することで、「２×３＝６」の授業を行っている映像データが表示され、その時間帯の授業あるいは生徒の学習状況の様子が再現される。

【0075】

また、教師が検索条件（例えば、「最もクラスの集中度が上がったタイミングは？」）を入力して検索をかけ、該当する画像を表示することもできる。また、その時点から映像を再生することもできる。

【0076】

図９は、学習状況の様子の映像データの一例を示す図である。ここでは、１５時２５分から１５時２９分までの映像データが存在する状況を示している。ここでは、興奮度を指標として採用した場合を示している。なお、説明の便宜上、映像データは圧縮されておらず、複数の画像からなることとする。

【0077】

知りたい事項について検索をかけると、そのタイミングの音声、映像（インデックス）が表示され、時々の授業の様子を遡って検証することができる。例えば、「最もクラスが盛り上がったタイミングは？」と検索をかけると、その時点の画像が表示される。また、「最も理解不足の生徒がいたタイミングは？」と検索をかけると、その時点の画像が表示される。

【0078】

図１０（ａ）に示すように、「個別集中度情報」においては、指定された生徒の集中度と平均集中度を時系列にグラフ化して表示する。例えば、生徒Ａは、１０：００に始まった授業において、１０：２０頃までは７０以上の高い集中度が続いていたものの、その後、急激に集中度が低下し、そのまま授業終了まで低い集中度であったことが分かる。

【0079】

図１０（ｂ）に示すように、「教師集中度情報」においては、対象となる教師の集中度を時系列にグラフ化して表示する。例えば、授業全体として、７０前後の高い集中度であったものの、１０：２５前後の時間帯においては集中度がやや低下し、中だるみ状態であったことが分かる。

【0080】

＜情報処理装置１０における処理手順＞
次に、本実施形態１に係る情報処理装置１０における処理手順について説明する。図１１は、本実施形態１に係る情報処理装置１０における処理手順を示すフローチャートである。

【0081】

情報処理装置１０は、教師用端末４０から開始指示を受信していないならば（ステップＳ１０１；Ｎｏ）、ステップＳ１０５に移行する。教師用端末４０から開始指示を受信し（ステップＳ１０１；Ｙｅｓ）、ゲートウェイ装置２０から計測データを受信したならば（ステップＳ１０２；Ｙｅｓ）、受信した計測データを計測データ１４ｂに記憶するとともに、この計測データ１４ｂを用いて集中度を判定し（ステップＳ１０３）、集中度データ１４ｃに記憶する。

【0082】

教師用端末４０から終了指示を受信していないならば（ステップＳ１０４；Ｎｏ）、ステップＳ１０２に移行する。教師用端末４０から終了指示を受信し（ステップＳ１０４；Ｙｅｓ）、配信依頼を受信したならば（ステップＳ１０５；Ｙｅｓ）、配信依頼内容を該教師用端末４０に対して配信し（ステップＳ１０６）、処理を終了する。

【0083】

上述してきたように、本実施形態１に係る情報処理システムでは、計測端末３０で計測した対象者の脈拍データを用いて該対象者の集中度を判定し、この判定した集中度に係る情報を教師用端末４０に表示できるよう構成したので、対象者の集中度に基づいて対象者に対する学習効果を効率良く高めることができる。

【0084】

［実施形態２］
ところで、上記の実施形態１では、学習を行う生徒と同じ教室内で教師が授業を行う場合について説明したが、本発明はこれに限定されるものではく、生徒が自宅などで学習を行うオンライン授業を行う場合に適用することもできる。本実施形態２では、生徒が自宅などで学習を行うオンライン授業を行う場合において、生徒の集中度に係る情報を提供する情報処理システムについて説明する。

【0085】

＜実施形態２に係る情報処理システムの概要＞
まず、本実施形態２に係る情報処理システムの概要について説明する。図１２は、本実施形態２に係る情報処理システムの概要を説明するための説明図である。

【0086】

図１２（ａ）に示すように、生徒Ａは、計測端末３０を装着し、学習用端末２００を用いてオンライン授業を受講する（Ｓ１１）。計測端末３０により取得された生徒Ａの脈拍データは、図示しない情報処理装置１００に通知されて記憶される。

【0087】

生徒Ａ又は生徒Ａの保護者は、学習用端末２００を用いて情報処理装置１００にＷｅｂアクセスし、生徒Ａの集中度を表示させる。例えば、図１２（ｂ）に示すように、授業開始から時間帯ｄでは、生徒Ａの集中度は高かったものの、時間帯ｅで急激に集中度が低下し、時間帯ｆでは集中度が低いまま推移したことが分かる。

【0088】

このように、本実施形態２に係る情報処理システムでは、生徒が自宅などで学習を行うオンライン授業を行う場合において、生徒の集中度に係る情報を提供することができる。

【0089】

＜実施形態２に係るシステム構成＞
次に、本実施形態２に係る情報処理システムのシステム構成について説明する。図１３は、本実施形態２に係る情報処理システムのシステム構成を示す図である。図１３に示すように、対象者が装着する計測端末３０は、無線通信により学習用端末２００に接続され、この学習用端末２００及びインターネットを介して情報処理装置１００に通信可能に接続される。

【0090】

情報処理装置１００は、インターネットを介して教師用端末４０及び通信制御端末５０と接続される。通信制御端末５０は、無線通信によりカメラ６０と接続される。

【0091】

情報処理装置１００は、計測端末３０が取得した脈波・脈拍データを用いて、対象者の集中度を判定し、この集中度に係る情報を配信する装置である。情報処理装置１００は、教師用端末４０から開始指示を受信してから終了指示を受信するまでの間、学習用端末２００から脈拍データを受信したならば、対象者ＩＤに関連付けて計測データに記憶する。

【0092】

また、情報処理装置１００は、学習用端末２００からのＷｅｂアクセスを受け付け、学習用端末２００の配信依頼に基づいて、集中度に係る情報をＷｅｂ情報として、該学習用端末２００に対して配信する。

【0093】

学習用端末２００は、オンライン授業において、生徒が授業を受講するための装置である。学習用端末２００は、ＬＴＥ等の無線通信及びインターネットを介して、情報処理装置１００と通信可能に接続される。

【0094】

また、学習用端末２００は、計測端末３０から脈波・脈拍データを受信したならば、学習用端末ＩＤを含めて脈波・脈拍データとして情報処理装置１０に通知する。

【0095】

＜情報処理装置１００の構成＞
次に、図１３に示した情報処理装置１００の構成について説明する。図１４は、図１３に示した情報処理装置１００の構成を示す機能ブロック図である。図１４に示すように、情報処理装置１００は、表示部１１及び入力部１２と接続され、通信部１３と、記憶部１１０と、制御部１２０とを有する。なお、図３に示した情報処理装置１０と同様の機能部についての説明は省略する。

【0096】

記憶部１１０は、不揮発性のメモリ又はハードディスク装置等からなる記憶デバイスであり、対象者データ１１１、計測データ１４ｂ、集中度データ１４ｃ、平均集中度データ１４ｄ及び映像データ１４ｅを記憶する。対象者データ１１１は、情報処理システムを利用する生徒及び教師などの対象者に係る情報を示すデータである。

【0097】

制御部１２０は、情報処理装置１００の全体制御を行う制御部であり、対象者データ管理部１２１、計測データ管理部１２２、集中度判定部１５ｃ、映像管理部１５ｄ及び配信部１２３を有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭ等の不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、対象者データ管理部１２１、計測データ管理部１２２、集中度判定部１５ｃ、映像管理部１５ｄ及び配信部１２３にそれぞれ対応するプロセスを実行させることになる。

【0098】

対象者データ管理部１２１は、対象者データ１１１を管理する処理部である。対象者データ管理部１２１は、入力部１２から対象者に係るデータを受け付けたならば、このデータを対象者データ１１１に記憶する。

【0099】

計測データ管理部１２２は、計測データ１４ｂを管理する処理部である。計測データ管理部１２２は、教師用端末４０から開始指示を受信してから終了指示を受信するまでの間、次の処理を行う。計測データ管理部１２２は、学習用端末２００から脈波・脈拍データを受信したならば、この脈拍データに含まれる学習用端末ＩＤを用いて対象者データ１１１から対象者ＩＤを抽出し、この対象者ＩＤに関連付けて脈波・脈拍データを計測データ１４ｂに記憶する。

【0100】

配信部１２３は、集中度に係る情報の配信を行う処理部である。配信部１２３は、学習用端末２００からのＷｅｂアクセスを受け付け、学習用端末２００の配信依頼に基づいて、集中度に係る情報をＷｅｂ情報として、該学習用端末２００に対して配信する。

【0101】

次に、図１４に示した情報処理装置１００の記憶部１１０が記憶するデータの一例について説明する。図１５は、図１４に示した対象者データ１１１の一例を示す図である。

【0102】

図１５に示すように、対象者データ１１１は、対象者ＩＤ「ＫＤ１２３４５」に対して、氏名「特許太郎」、学年「中学２年」、性別「男」、年齢「１３」歳、学習用端末ＩＤ「ｇｔ０００１」を対応付け、対象者ＩＤ「ＫＤ６７８９０」に対して、氏名「開発花子」、学年「中学２年」、性別「女」、年齢「１４」歳、学習用端末ＩＤ「ｇｔ０００２」を対応付けている。

【0103】

上述してきたように、本実施形態２に係る情報処理システムでは、計測端末３０で計測したオンライン授業を受講する対象者の脈拍データを用いて該対象者の集中度を判定し、この判定した集中度に係る情報を学習用端末２００に表示できるよう構成したので、生徒が自宅などで学習を行うオンライン授業を行う場合において、生徒の集中度に係る情報を提供することができる。

【0104】

なお、上記の実施形態１及び２では、脈波・脈拍データを用いる場合を示したが、本発明はこれに限定されるものではなく、集中度を求めることができる生体情報であれば、各種の生体情報を用いることもできる。

【0105】

また、上記の実施形態１及び２では、心理データとして集中度を判定する場合について説明したが、本発明はこれに限定されるものではなく、リラックス度・興奮度等の各種心理データを対象とする場合に適用することもできる。

【0106】

また、上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0107】

本発明に係る情報処理システム、情報処理装置及び情報処理方法は、イベントに参加する利用者の心理状態を効率良く把握する場合に適している。

【符号の説明】

【0108】

１０ 情報処理装置
１１ 表示部
１２ 入力部
１３ 通信部
１４ 記憶部
１４ａ 対象者データ
１４ｂ 計測データ
１４ｃ 集中度データ
１４ｄ 平均集中度データ
１４ｅ 映像データ
１５ 制御部
１５ａ 対象者データ管理部
１５ｂ 計測データ管理部
１５ｃ 集中度判定部
１５ｄ 映像管理部
１５ｅ 配信部
２０ ゲートウェイ装置
３０ 計測端末
４０ 教師用端末
４１ 操作表示部
４３ 通信部
４４ 記憶部
４４ａ 自端末データ
４５ 制御部
４５ａ 自端末管理部
４５ｂ 通知部
４５ｃ 表示制御部
５０ 通信制御端末
６０ カメラ
１００ 情報処理装置
１１０ 記憶部
１１１ 対象者データ
１２０ 制御部
１２１ 対象者データ管理部
１２２ 計測データ管理部
１２３ 配信部
２００ 学習用端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】