2026-86251 データ処理システム及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2026086251

(43)【公開日】2026-05-26

(54)【発明の名称】データ処理システム及びデータ処理方法

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20260519BHJP

【ＦＩ】

G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024199254

(22)【出願日】2024-11-14

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

5L050

【Ｆターム（参考）】

5L050CC34

(57)【要約】

【課題】複数の生徒を担当する教師の負担を軽減することを目的とする。
【解決手段】データ処理システムは、教師に装着される教師側端末と、複数の生徒の各々に装着される生徒側端末と、前記教師側端末及び前記生徒側端末と通信可能に接続されるデータ処理装置と、を備えたデータ処理システムにおいて、前記データ処理装置は、プロセッサを備え、前記プロセッサは、前記生徒側端末に設けられたマイクロフォン、センサ、及びカメラの少なくともいずれかから出力されるデータを収集し、前記データを解析して前記複数の生徒の状態を推定し、前記推定した結果に基づいて前記教師側端末へフィードバックを提供する。
【選択図】図９

【特許請求の範囲】

【請求項1】

教師に装着される教師側端末と、
複数の生徒の各々に装着される生徒側端末と、
前記教師側端末及び前記生徒側端末と通信可能に接続されるデータ処理装置と、を備えたデータ処理システムにおいて、
前記データ処理装置は、プロセッサを備え、
前記プロセッサは、
前記生徒側端末に設けられたマイクロフォン、センサ、及びカメラの少なくともいずれかから出力されるデータを収集し、
前記データを解析して前記複数の生徒の状態を推定し、
前記推定した結果に基づいて前記教師側端末へフィードバックを提供する、
データ処理システム。

【請求項2】

前記プロセッサは、
前記センサが検出した生体データを解析して前記複数の生徒の精神状態を推定し、
前記精神状態に基づいて前記教師側端末へフィードバックを提供する、
請求項１に記載のデータ処理システム。

【請求項3】

前記プロセッサは、
前記マイクロフォンが集音した音声データ、及び前記カメラが撮影した画像データの少なくともいずれかを解析して前記複数の生徒の感情状態を推定し、
前記感情状態に基づいて前記教師側端末へフィードバックを提供する、
請求項１に記載のデータ処理システム。

【請求項4】

前記プロセッサは、
前記複数の生徒の状態を統計処理した結果に基づいて前記教師側端末へフィードバックを提供する、
請求項１に記載のデータ処理システム。

【請求項5】

前記プロセッサは、
前記推定した結果に基づいて前記生徒側端末へフィードバックを提供する、
請求項１に記載のデータ処理システム。

【請求項6】

前記プロセッサは、
前記複数の生徒の各々における学習履歴を示す学習データを取得し、
前記学習データを分析して前記複数の生徒の各々についてカリキュラムを生成し、
前記カリキュラムに応じたメッセージを前記教師側端末へ送信する、
請求項１に記載のデータ処理システム。

【請求項7】

前記プロセッサは、
前記マイクロフォンが集音した音声データを解析して前記複数の生徒の各々から質問を受け付け、
前記質問に対する回答を前記質問をした生徒に装着される前記生徒側端末へ送信する、
請求項６に記載のデータ処理システム。

【請求項8】

前記生徒側端末は、ネックレス型端末である、
請求項１から７のいずれか一項に記載のデータ処理システム。

【請求項9】

前記教師側端末もまた、前記ネックレス型端末であり、
前記プロセッサは、
前記ネックレス型端末が前記教師側端末又は前記生徒側端末のいずれであるかを登録する、
請求項８に記載のデータ処理システム。

【請求項10】

教師に装着される教師側端末と、
複数の生徒の各々に装着される生徒側端末と、
前記教師側端末及び前記生徒側端末と通信可能に接続されるデータ処理装置と、を備えたデータ処理システムにおいて、
前記データ処理装置が、
前記生徒側端末に設けられたマイクロフォン、センサ、及びカメラの少なくともいずれかから出力されるデータを収集することと、
前記データを解析して前記複数の生徒の状態を推定することと、
前記推定した結果に基づいて前記教師側端末へフィードバックを提供することと、を有する、
データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、データ処理システム及びデータ処理方法に関する。

【背景技術】

【0002】

特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８０２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

教育現場では、教師が生徒一人一人の状態を的確に把握し、最適な指導を行う必要がある。しかしながら、教師が全生徒の状態を把握するのは困難であった。そこで、本開示では、複数の生徒を担当する教師の負担を軽減するシステム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の第１態様に係るデータ処理システムは、教師に装着される教師側端末と、複数の生徒の各々に装着される生徒側端末と、前記教師側端末及び前記生徒側端末と通信可能に接続されるデータ処理装置と、を備えたデータ処理システムにおいて、前記データ処理装置は、プロセッサを備え、前記プロセッサは、前記生徒側端末に設けられたマイクロフォン、センサ、及びカメラの少なくともいずれかから出力されるデータを収集し、前記データを解析して前記複数の生徒の状態を推定し、前記推定した結果に基づいて前記教師側端末へフィードバックを提供する。

【0006】

本開示の第２態様に係るデータ処理システムは、第１態様に係るデータ処理システムにおいて、前記プロセッサは、前記センサが検出した生体データを解析して前記複数の生徒の精神状態を推定し、前記精神状態に基づいて前記教師側端末へフィードバックを提供する。

【0007】

本開示の第３態様に係るデータ処理システムは、第１態様又は第２態様に係るデータ処理システムにおいて、前記プロセッサは、前記マイクロフォンが集音した音声データ、及び前記カメラが撮影した画像データの少なくともいずれかを解析して前記複数の生徒の感情状態を推定し、前記感情状態に基づいて前記教師側端末へフィードバックを提供する。

【0008】

本開示の第４態様に係るデータ処理システムは、第１態様から第３態様のいずれか一つに係るデータ処理システムにおいて、前記プロセッサは、前記複数の生徒の状態を統計処理した結果に基づいて前記教師側端末へフィードバックを提供する。

【0009】

本開示の第５態様に係るデータ処理システムは、第１態様から第４態様のいずれか一つに係るデータ処理システムにおいて、前記プロセッサは、前記推定した結果に基づいて前記生徒側端末へフィードバックを提供する。

【0010】

本開示の第６態様に係るデータ処理システムは、第１態様から第５態様のいずれか一つに係るデータ処理システムにおいて、前記プロセッサは、前記複数の生徒の各々における学習履歴を示す学習データを取得し、前記学習データを分析して前記複数の生徒の各々についてカリキュラムを生成し、前記カリキュラムに応じたメッセージを前記教師側端末へ送信する。

【0011】

本開示の第７態様に係るデータ処理システムは、第６態様に係るデータ処理システムにおいて、前記プロセッサは、前記マイクロフォンが集音した音声データを解析して前記複数の生徒の各々から質問を受け付け、前記質問に対する回答を前記質問をした生徒に装着される前記生徒側端末へ送信する。

【0012】

本開示の第８態様に係るデータ処理システムは、第１態様から第７態様のいずれか一つに係るデータ処理システムにおいて、前記生徒側端末は、ネックレス型端末である。

【0013】

本開示の第９態様に係るデータ処理システムは、第８態様に係るデータ処理システムにおいて、前記教師側端末もまた、前記ネックレス型端末であり、前記プロセッサは、前記ネックレス型端末が前記教師側端末又は前記生徒側端末のいずれであるかを登録する。

【0014】

本開示の第１０態様に係るデータ処理方法は、教師に装着される教師側端末と、複数の生徒の各々に装着される生徒側端末と、前記教師側端末及び前記生徒側端末と通信可能に接続されるデータ処理装置と、を備えたデータ処理システムにおいて、前記データ処理装置が、前記生徒側端末に設けられたマイクロフォン、センサ、及びカメラの少なくともいずれかから出力されるデータを収集することと、前記データを解析して前記複数の生徒の状態を推定することと、前記推定した結果に基づいて前記教師側端末へフィードバックを提供することと、を有する。

【図面の簡単な説明】

【0015】

【図1】第１の実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図2】データ処理装置及びネックレス型端末の要部機能の一例を示す概念図である。

【図3】ネックレス型端末の構成を示す側面図である。

【図4】ネックレス型端末の構成を示す上面図である。

【図5】ネックレス型端末の制御部の機能構成を概略的に示す。

【図6】データ処理装置の特定処理部の機能構成を概略的に示す。

【図7】データ処理装置による特定処理の動作フローの一例を概略的に示す。

【図8】第２の実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図9】第２の実施形態に係るデータ処理装置による特定処理の第１の動作フローの一例を概略的に示す。

【図10】第２の実施形態に係るデータ処理装置による特定処理の第２の動作フローの一例を概略的に示す。

【発明を実施するための形態】

【0016】

以下、添付図面に従って本開示の技術に係るデータ処理装置、データ処理方法、及びプログラムの実施形態の一例について説明する。

【0017】

先ず、以下の説明で使用される文言について説明する。

【0018】

以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、又はＡＰＵ（Accelerated Processing Unit）等が挙げられる。

【0019】

以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。

【0020】

以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。

【0021】

以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

【0022】

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0023】

＜第１の実施形態＞
図１には、第１の実施形態に係るデータ処理システム１０の構成の一例が示されている。

【0024】

図１に示すように、データ処理システム１０は、データ処理装置１２及びネックレス型端末１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。本実施形態において、データ処理装置１２は、本開示の技術に係る「データ処理装置」の一例であり、ネックレス型端末１４は、本開示の技術に係る「ネックレス型端末」の一例である。

【0025】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0026】

ネックレス型端末１４は、コンピュータ３６、マイクロフォン３８、センサ３９、スピーカ４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン３８、スピーカ４０、及びカメラ４２も、バス５２に接続されている。

【0027】

ネックレス型端末１４の装着者であるユーザ２０は、例えば、健康状態の診断対象である患者であってもよいし、通常のユーザであってもよい。

【0028】

マイクロフォン３８は、ネックレス型端末１４の装着者であるユーザ２０が発する音声、及びユーザ２０周辺の音を収音する。また、マイクロフォン３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ４０は、プロセッサ４６からの指示に従って音声を出力する。スピーカ４０は、例えば、指向性スピーカであり、ユーザ２０の耳に向かって音声を出力する。

【0029】

センサ３９は、ネックレス型端末の装着者であるユーザ２０の生体データを検出するセンサである。例えば、センサ３９は、心拍センサや血中酸素センサである。

【0030】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0031】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。

【0032】

図２には、データ処理装置１２及びネックレス型端末１４の要部機能の一例が示されている。

【0033】

図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。

【0034】

ストレージ３２には、データ生成モデル５８が格納されている。データ生成モデル５８は、特定処理部２９０によって用いられる。また、ストレージ３２は、データ蓄積部５４を含む。

【0035】

ネックレス型端末１４では、プロセッサ４６によってデータ収集処理が行われる。ストレージ５０には、データ収集プログラム６０が格納されている。プロセッサ４６は、ストレージ５０からデータ収集プログラム６０を読み出し、読み出したデータ収集プログラム６０をＲＡＭ４８上で実行する。データ収集処理は、プロセッサ４６がＲＡＭ４８上で実行するデータ収集プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0036】

ネックレス型端末１４は、図３、図４に示すように、複数のマイクロフォン３８と、複数のセンサ３９と、複数のスピーカ４０と、複数のカメラ４２とを備えている。図３、図４では、ユーザ２０がネックレス型端末１４を装着したときに、ユーザ２０の前側に位置するように２つのマイクロフォン３８が配置される例を示している。また、ユーザ２０がネックレス型端末１４を装着したときに、ユーザ２０の右側、左側にそれぞれ位置するように２つのセンサ３９が配置される例を示している。ユーザ２０がネックレス型端末１４を装着したときに、ユーザ２０の右後側、左後側に位置するように２つのスピーカ４０が配置される例を示している。ユーザ２０がネックレス型端末１４を装着したときに、ユーザ２０の右前側、左前側に位置するように２つのカメラ４２が配置される例を示している。ユーザ２０がネックレス型端末１４を装着したときに、ユーザ２０の首部に接触するように、２つのセンサ３９が、ネックレス型端末１４の内側に配置される例を示している。

【0037】

次に、ネックレス型端末１４がデータを収集するデータ収集処理を行う際の、制御部４６Ａの処理について説明する。

【0038】

本実施形態におけるデータ収集処理では、ユーザの生体データをリアルタイムで収集する。また、生体データに限らず、ユーザの周囲の全ての状況データを収集する。これにより、例えば、アルツハイマー、認知症などの初期の兆候を捉える事が可能になる。また、ユーザの健康状態（例えば、心臓疾患）をモニター出来る。

【0039】

制御部４６Ａは、図５に示すように、データ収集部１００及び通信部１０２を備えている。

【0040】

データ収集部１００は、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を収集する。

【0041】

通信部１０２は、データ収集部１００によって収集したマイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を、データ処理装置１２へ送信する。

【0042】

次に、データ処理装置１２がユーザ発話に対応する応答を取得する特定処理を行う際の、特定処理部２９０の処理について説明する。

【0043】

本実施形態における特定処理では、ネックレス型端末１４のマイクロフォン３８で収音したユーザ発話に対応する応答を、データ生成モデル５８を用いて取得する。

【0044】

特定処理部２９０は、図６に示すように、入力部２９２、処理部２９４、及び出力部２９６を備えている。

【0045】

入力部２９２は、ネックレス型端末１４から受信した、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を、データ蓄積部５４に格納する。

【0046】

入力部２９２は、ネックレス型端末１４で受け付けたユーザ発話を取得する。具体的には、ネックレス型端末１４のマイクロフォン３８で収音したユーザ発話を取得する。

【0047】

処理部２９４は、データ生成モデル５８を用いた特定処理を行う。具体的には、データ生成モデル５８に、ユーザ発話を含むプロンプトを入力し、生成結果を得る。このとき、データ収集部１００によって収集したセンサ３９、及びカメラ４２の各々の出力をプロンプトに更に含めてもよい。

【0048】

出力部２９６は、特定処理の結果をネックレス型端末１４に送信する。ネックレス型端末１４では、制御部４６Ａが、スピーカ４０に対して特定処理の結果を出力させる。このように、マイクロフォン３８によって収音したユーザ発話に対応する応答が、スピーカ４０によりユーザ２０に対して出力される。マイクロフォン３８は、更に、特定処理の結果に対するユーザ発話を取得する。制御部４６Ａは、マイクロフォン３８によって取得されたユーザ発話を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０がユーザ発話を取得する。

【0049】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（登録商標）（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（登録商標）（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成系ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0050】

データ蓄積部５４に格納された、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力は、例えば、ユーザ２０の健康状態を診断するために用いられる。この場合には、データ蓄積部５４に格納された、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力は、医療機関側の端末に送信されてもよい。あるいは、データ処理装置１２が、データ蓄積部５４に格納された、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を解析して、ユーザ２０の健康状態を診断してもよい。

【0051】

次に、データ処理システム１０の作用について説明する。

【0052】

まず、データ収集処理の流れの一例について説明する。

【0053】

ユーザ２０がネックレス型端末１４を装着しているときに、データ収集部１００は、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を逐次収集する。通信部１０２は、データ収集部１００によって収集したマイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を、逐次、データ処理装置１２へ送信する。

【0054】

次に、特定処理の流れの一例について図７を参照しながら説明する。ここで、データ処理装置１２の入力部２９２は、ネックレス型端末１４から受信した、マイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を逐次取得し、データ蓄積部５４に格納しているものとする。

【0055】

ステップＳ３００で、処理部２９４は、予め定められたトリガ条件を満たすか否かを判定する。具体的には、マイクロフォン３８によって収音したユーザ発話に、特定の単語（例えば、ネックレス型端末１４が搭載するエージェントの名前）又はフレーズ（例えば、「ハイ！〇〇」（〇〇は、エージェントの名前））が含まれていることを、トリガ条件としてもよい。

【0056】

ステップＳ３００で、トリガ条件を満たす場合には（ステップＳ３００；Ｙｅｓ）、データ処理システム１０はステップＳ３０１へ進む。一方、ステップＳ３００で、トリガ条件を満たさない場合には（ステップＳ３００；Ｎｏ）、データ処理システム１０は特定処理を終了する。

【0057】

ステップＳ３０１で、処理部２９４は、マイクロフォン３８によって収音したユーザ発話を表すテキストに、特定処理の結果を得るための指示文を追加して、プロンプトを生成する。

【0058】

例えば、「ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」（〇〇〇はユーザ発話である。）というプロンプトを生成する。あるいは、センサ３９、及びカメラ４２の各々の出力をプロンプトに追加し、「これはユーザの心拍を表す生体データと、ユーザの周辺を表す映像データです。また、ユーザが以下のように発話しています。〇〇〇。エージェントとして回答してください。」（〇〇〇はユーザ発話である。）というプロンプトを生成する。

【0059】

ステップＳ３０３で、処理部２９４は、生成したプロンプトを、データ生成モデル５８に入力し、データ生成モデル５８の出力に基づいて、特定処理の結果を取得する。

【0060】

ステップＳ３０４で、出力部２９６は、ネックレス型端末１４に対して特定処理の結果を出力し、特定処理を終了する。

【0061】

＜第２の実施形態＞
図８には、第２の実施形態に係るデータ処理システム１０の構成の一例が示されている。教育現場では、教師が生徒一人一人の状態を的確に把握し、最適な指導を行う必要がある。しかしながら、全生徒の状態をリアルタイムで把握することは困難であり、教師にとって大きな負担となる。そのため、適切な指導やクラス全体の管理が十分に行えないという問題があった。第２の実施形態では、このような問題を解決すべく、データ処理システム１０による特定処理を教育現場に導入する。

【0062】

第２の実施形態に係るデータ処理システム１０は、データ処理装置１２と、複数のネックレス型端末１４と、を備える。本図においては、データ処理システム１０が、１個のデータ処理装置１２と、４個のネックレス型端末１４＿０～１４＿３と、を備えている場合を一例として示している。しかしながら、ネックレス型端末１４の数はこれに限定されるものではない。データ処理システム１０は、例えば、３０～４０個等、４個よりも多いネックレス型端末１４を備えていてもよい。

【0063】

一例として、ネックレス型端末１４＿０の装着者であるユーザ２０は教師であり、ネックレス型端末１４＿１～１４＿３の装着者であるユーザ２０は生徒であってよい。ここでは、ネックレス型端末１４＿１、１４＿２、及び１４＿３は、教師が担当するクラスの生徒Ａ、生徒Ｂ、及び生徒Ｃがそれぞれ装着しているものとする。

【0064】

すなわち、本実施形態において、ネックレス型端末１４＿０は本開示に係る「教師側端末」の一例であり、ネックレス型端末１４＿１～１４＿３は本開示に係る「生徒側端末」の一例である。このように、生徒側端末は、ネックレス型端末１４であってよく、教師側端末もまた、ネックレス型端末１４であってよい。

【0065】

この場合、特定処理部２９０は、ネックレス型端末１４＿０が教師側端末であり、ネックレス型端末１４＿１～１４＿３が生徒側端末である、より詳細には、ネックレス型端末１４＿１、１４＿２、及び１４＿３が生徒Ａ、生徒Ｂ、及び生徒Ｃにそれぞれ装着される生徒側端末である旨を事前に登録してよい。

【0066】

このような登録は、ユーザがネックレス型端末１４に設けられたボタン（図示せず）を押下することによって手動で登録されてもよいし、ユーザの発話に基づいて自動的に登録されてもよい。このように、教師側端末及び生徒側端末として同じネックレス型端末１４を用いる場合、特定処理部２９０は、ネックレス型端末１４が教師側端末又は生徒側端末のいずれであるかを登録してよい。

【0067】

ネックレス型端末１４＿０～１４＿３は、ネットワーク５４を介してデータ処理装置１２と通信可能に接続されている。したがって、データ処理装置１２は、ネックレス型端末１４＿０～１４＿３のそれぞれに設けられたマイクロフォン３８、センサ３９、及びカメラ４２の各々の出力を収集することができる。また、データ処理装置１２は、ネックレス型端末１４＿０～１４＿３のそれぞれに設けられたスピーカ４０に対して特定処理の結果を出力させることができる。

【0068】

図９には、第２の実施形態に係るデータ処理装置１２による特定処理の第１の動作フローの一例が示されている。本フローは、授業の開始時間となった場合に自動的に開始されてもよいし、教師がスタートボタンを押下する、又は開始する旨を発話する等により手動で開始されてもよい。

【0069】

ステップＳ４００において、プロセッサ２８は、生徒側端末に設けられたマイクロフォン３８、センサ３９、及びカメラ４２の少なくともいずれかから出力されるデータを収集する。例えば、プロセッサ２８は、ネックレス型端末１４＿１～１４＿３のそれぞれに設けられたマイクロフォン３８、センサ３９、及びカメラ４２の各々の出力をリアルタイムに収集してよい。

【0070】

ステップＳ４０１において、プロセッサ２８は、ステップＳ４００において収集されたデータを解析して複数の生徒の状態を推定する。例えば、プロセッサ２８は、センサ３９が検出した生体データ（例えば、心拍数及び血中酸素濃度等）を解析して、生徒Ａ、生徒Ｂ、及び生徒Ｃのそれぞれの精神状態（例えば、ストレスレベル及び集中度等）を推定してよい。

【0071】

これに代えて、又は加えて、プロセッサ２８は、マイクロフォン３８が集音した音声データ（例えば、声色）、及びカメラ４２が撮影した画像データ（例えば、表情）を解析して、生徒Ａ、生徒Ｂ、及び生徒Ｃのそれぞれの感情状態を推定してよい。このような解析処理自体は既存の技術であってよいので、ここでは詳細な説明は省略する。

【0072】

ステップＳ４０２において、プロセッサ２８は、ステップＳ４０１において推定した結果に基づいてトリガ条件を満たすか否か判定する。例えば、プロセッサ２８は、複数の生徒のうちのいずれかの生徒の精神状態が予め定められた条件を満たすか否か判定してよい。より詳細には、プロセッサ２８は、いずれかの生徒のストレスレベルが予め定められた閾値を超えたか否かや、いずれかの生徒の集中度が予め定められた閾値を下回ったか否かを判定してよい。

【0073】

これに代えて、又は加えて、プロセッサ２８は、複数の生徒のうちのいずれかの生徒の感情状態が予め定められた感情にマッピングされたか否か判定してよい。より詳細には、プロセッサ２８は、いずれかの生徒の感情が「辛い」や「苦しい」にマッピングされたか否か判定してよい。

【0074】

ステップＳ４０２においてトリガ条件を満たさない（Ｎｏ）と判定された場合、プロセッサ２８は、処理をステップＳ４０３に進める。ステップＳ４０３において、プロセッサ２８は、終了条件を満たすか否か判定する。例えば、プロセッサ２８は、授業の終了時間となったか否か判定してよい。これに代えて、又は加えて、プロセッサ２８は、教師がストップボタンを押下する、又は終了する旨を発話したか否か判定してよい。

【0075】

ステップＳ４０３において終了条件を満たす（Ｙｅｓ）と判定された場合、プロセッサ２８は、本フローを終了する。一方、終了条件を満たさない（Ｎｏ）と判定された場合、プロセッサ２８は、処理をステップＳ４００に戻してフローを継続する。

【0076】

ステップＳ４０２においてトリガ条件を満たす（Ｙｅｓ）と判定された場合、プロセッサ２８は、処理をステップＳ４０４に進める。ステップＳ４０４において、プロセッサ２８は、ステップＳ４０１において推定した結果に基づいて教師側端末へフィードバックを提供する。

【0077】

例えば、生徒Ａ、生徒Ｂ、及び生徒Ｃのうちの生徒Ａの集中度が予め定められた閾値を下回っていたとする。この場合、プロセッサ２８は、生徒の集中度に応じたアドバイスを教師に提案することを指示するプロンプトを生成する。例えば、プロセッサ２８は、「生徒Ａの集中度が低下しています。教師へのアドバイスを提案して下さい。」という旨のプロンプトを生成する。次に、プロセッサ２８は、生成したプロンプトをデータ生成モデル５８に入力することで、「『あと５分で授業が終わるから集中しなさい！』と生徒Ａに声をかけて下さい」という旨のメッセージをデータ生成モデル５８から取得する。

【0078】

そして、プロセッサ２８は、取得したメッセージをネックレス型端末１４＿０へ送信する。これに応じて、ネックレス型端末１４＿０に設けられたスピーカ４０からメッセージが音声出力されることで、教師は『あと５分で授業が終わるから集中しなさい！』と生徒Ａに声をかけることができる。このように、プロセッサ２８は、生徒の精神状態に基づいて教師側端末へフィードバックを提供することができる。

【0079】

同様に、例えば、生徒Ａ、生徒Ｂ、及び生徒Ｃのうちの生徒Ｂの感情が「辛い」にマッピングされたとする。この場合、プロセッサ２８は、生徒の感情に応じたアドバイスを教師に提案することを指示するプロンプトを生成する。例えば、プロセッサ２８は、「生徒Ｂが辛い感情を抱いています。教師へのアドバイスを提案して下さい。」という旨のプロンプトを生成する。次に、プロセッサ２８は、生成したプロンプトをデータ生成モデル５８に入力することで、「生徒Ｂの趣味はサッカーです。サッカーの話題を話して下さい。」という旨のメッセージをデータ生成モデル５８から取得する。

【0080】

そして、プロセッサ２８は、取得したメッセージをネックレス型端末１４＿０へ送信する。これに応じて、ネックレス型端末１４＿０に設けられたスピーカ４０からメッセージが音声出力されることで、教師はサッカーの話題に切り替えることができる。このように、プロセッサ２８は、生徒の感情状態に基づいて教師側端末へフィードバックを提供することもできる。

【0081】

プロセッサ２８は、例えばこのようにして、生徒の状態を推定した結果に基づいて教師側端末へフィードバックを提供することができる。なお、上述の説明では、教師側端末へフィードバックする場合を一例として示したが、生徒側端末へフィードバックを提供することもできる。

【0082】

例えば、生徒Ａの集中度が予め定められた閾値を下回っていた場合、プロセッサ２８は、振動コマンドをネックレス型端末１４＿１へ送信してよい。これに応じて、ネックレス型端末１４＿１のバイブレーション機能がオンになることで、生徒Ａは我に返り集中を取り戻すことができる。このように、プロセッサ２８は、推定した結果に基づいて生徒側端末へフィードバックを提供することもできる。

【0083】

なお、上述の説明では、トリガ条件を満たすか否かを生徒ごとに判定する場合を一例として示したが、これに限定されるものではない。プロセッサ２８は、例えば、生徒Ａ、生徒Ｂ、及び生徒Ｃのストレスレベルを統計処理してよい。

【0084】

ここで、統計値（例えば、合計値や平均値等）が予め定められた閾値を超えていたとする。この場合、プロセッサ２８は、「全生徒のストレスレベルが上昇しています。教師へのアドバイスを提案して下さい。」という旨のプロンプトを生成する。次に、プロセッサ２８は、生成したプロンプトをデータ生成モデル５８に入力することで、「クラスがストレスを感じています。３分間の休憩を取ってください。」という旨のメッセージをデータ生成モデル５８から取得する。

【0085】

そして、プロセッサ２８は、取得したメッセージをネックレス型端末１４＿０へ送信する。これに応じて、ネックレス型端末１４＿０に設けられたスピーカ４０からメッセージが音声出力されることで、教師はクラスに休憩をとるよう促すことができる。このように、プロセッサ２８は、複数の生徒の状態を統計処理した結果に基づいて教師側端末へフィードバックを提供することもできる。

【0086】

また、上述の説明では、その時点における生徒の状態に基づいてトリガ条件を満たすか否か判定する場合を一例として示したが、これに限定されるものではない。プロセッサ２８は、推定した生徒の状態のトレンドから未来の生徒の状態を予測し、予測結果に基づいてトリガ条件を満たすか否かを判定してもよい。

【0087】

このように、第２の実施形態に係るデータ処理システム１０では、教師に装着される教師側端末と、複数の生徒の各々に装着される生徒側端末と、教師側端末及び生徒側端末と通信可能に接続されるデータ処理装置１２と、を備えたデータ処理システム１０において、データ処理装置１２が、生徒側端末に設けられたマイクロフォン３８、センサ３９、及びカメラ４２の少なくともいずれかから出力されるデータを収集し、データを解析して複数の生徒の状態を推定し、推定した結果に基づいて教師側端末へフィードバックを提供する。これにより、第２の実施形態に係るデータ処理システム１０によれば、教師が一度に多数の生徒を適切に指導するための負担を軽減することができる。これにより、指導の最適化を支援するので、生徒の学習効果を最大限に引き出すことができる。

【0088】

図１０には、第２の実施形態に係るデータ処理装置１２による特定処理の第２の動作フローの一例が示されている。本フローは、図９のフローに先立って、又は並行して実行されてよい。

【0089】

ステップＳ５００において、プロセッサ２８は、複数の生徒の各々における学習履歴を示す学習データを取得する。例えば、プロセッサ２８は、外部データベースへアクセスして、複数の生徒の各々に関する学習の取り組み、進捗、課題の提出状況、及び成績等を含む学習データを取得してよい。

【0090】

ステップＳ５０１において、プロセッサ２８は、ステップＳ５００において取得された学習データを分析して複数の生徒の各々についてカリキュラムを生成する。例えば、プロセッサ２８は、「生徒Ｃのカリキュラムを提案して下さい。」という旨のプロンプトを生成する。次に、プロセッサ２８は、生成したプロンプトを、生徒Ｃに関する学習データと共にデータ生成モデル５８に入力することで、「生徒Ｃには教科書Ｘの１０頁を学習させて下さい。」という旨のメッセージをデータ生成モデル５８から取得する。

【0091】

ステップＳ５０２において、プロセッサ２８は、ステップＳ５０１において生成されたカリキュラムに応じたメッセージをネックレス型端末１４＿０へ送信する。例えば、プロセッサ２８は、ステップＳ５０１においてデータ生成モデル５８から取得したメッセージをネックレス型端末１４＿０へ送信してよい。これに応じて、ネックレス型端末１４＿０に設けられたスピーカ４０からメッセージが音声出力されることで、教師は生徒Ｃに対して『教科書Ｘの１０頁を学習して』と指示することができる。生徒Ａ及び生徒Ｂに対しても同様である。

【0092】

ステップＳ５０３において、プロセッサ２８は、質問が有るか否か判定する。この際、プロセッサ２８は、マイクロフォン３８が集音した音声データを解析して複数の生徒の各々から質問を受け付けてよい。

【0093】

ステップＳ５０３において、質問がない（Ｎｏ）と判定された場合、プロセッサ２８は、処理をステップＳ５０４に進める。ステップＳ５０４において、プロセッサ２８は、終了条件を満たすか否か判定する。終了条件については、例えばステップＳ４０３と同様であってよいので、ここでは重複する説明は省略する。

【0094】

ステップＳ５０４において終了条件を満たす（Ｙｅｓ）と判定された場合、プロセッサ２８は、本フローを終了する。一方、終了条件を満たさない（Ｎｏ）と判定された場合、プロセッサ２８は、処理をステップＳ５０３に戻してフローを継続する。

【0095】

ステップＳ５０３において、質問が有る（Ｙｅｓ）と判定された場合、プロセッサ２８は、処理をステップＳ５０５に進める。ステップＳ５０５において、プロセッサ２８は、質問に対する回答を当該質問をした生徒に装着される生徒側端末へ送信する。

【0096】

例えば、マイクロフォン３８が集音した音声データを解析したところ、生徒Ａ、生徒Ｂ、及び生徒Ｃのうちの生徒Ｃが「２問目が分からない」と発話していたとする。この場合、プロセッサ２８は、「教科書Ｘの１０頁の２問目の解き方を教えて下さい。」という旨のプロンプトを生成する。次に、プロセッサ２８は、生成したプロンプトをデータ生成モデル５８に入力することで、教科書Ｘの１０頁の２問目の解説をデータ生成モデル５８から取得する。

【0097】

そして、プロセッサ２８は、取得した解説をネックレス型端末１４＿３へ送信する。これに応じて、ネックレス型端末１４＿３に設けられたスピーカ４０から解説が音声出力されることで、生徒Ｃは、教科書Ｘの１０頁の２問目の解き方を理解することができる。プロセッサ２８は、このような質問の受け付けと回答をステップＳ５０４において終了条件を満たすと判定されるまで繰り返し実行する。

【0098】

このように、第２の実施形態に係るデータ処理システム１０では、データ処理装置１２が、複数の生徒の各々における学習履歴を示す学習データを取得し、学習データを分析して複数の生徒の各々についてカリキュラムを生成し、カリキュラムに応じたメッセージを教師側端末へ送信する。この際、データ処理装置１２は、マイクロフォン３８が集音した音声データを解析して複数の生徒の各々から質問を受け付け、質問に対する回答を当該質問をした生徒に装着される生徒側端末へ送信する。これにより、第２の実施形態に係るデータ処理システム１０によれば、生徒一人一人に対してよりパーソナライズされた教育を提供することができる。

【0099】

以上、本開示に係るシステムをデータ処理装置１２の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。

【0100】

上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。

【0101】

上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。

【0102】

また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。

【0103】

なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。

【0104】

特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。

【0105】

特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0106】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0107】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0108】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0109】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0110】

１０ データ処理システム
１２ データ処理装置
１４ ネックレス型端末
３８ マイクロフォン
３９ センサ
４０ スピーカ
４２ カメラ
４６Ａ 制御部
１００ データ収集部
１０２ 通信部
２９０ 特定処理部
２９２ 入力部
２９４ 処理部
２９６ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】