IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-情報処理装置及び情報処理システム 図1
  • 特許-情報処理装置及び情報処理システム 図2
  • 特許-情報処理装置及び情報処理システム 図3
  • 特許-情報処理装置及び情報処理システム 図4
  • 特許-情報処理装置及び情報処理システム 図5
  • 特許-情報処理装置及び情報処理システム 図6
  • 特許-情報処理装置及び情報処理システム 図7
  • 特許-情報処理装置及び情報処理システム 図8
  • 特許-情報処理装置及び情報処理システム 図9
  • 特許-情報処理装置及び情報処理システム 図10
  • 特許-情報処理装置及び情報処理システム 図11
  • 特許-情報処理装置及び情報処理システム 図12
  • 特許-情報処理装置及び情報処理システム 図13
  • 特許-情報処理装置及び情報処理システム 図14
  • 特許-情報処理装置及び情報処理システム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】情報処理装置及び情報処理システム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20240702BHJP
【FI】
A61B5/16 120
【請求項の数】 10
(21)【出願番号】P 2021002618
(22)【出願日】2021-01-12
(65)【公開番号】P2022107921
(43)【公開日】2022-07-25
【審査請求日】2023-08-07
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】山田 仰
(72)【発明者】
【氏名】瀧上 順也
(72)【発明者】
【氏名】菊入 圭
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2019-219987(JP,A)
【文献】特開2019-046385(JP,A)
【文献】特開2018-139087(JP,A)
【文献】特開2006-268395(JP,A)
【文献】特開2011-186521(JP,A)
【文献】特開2008-272019(JP,A)
【文献】米国特許出願公開第2019/0212811(US,A1)
【文献】特開2020-048149(JP,A)
【文献】特開2006-260095(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/22
(57)【特許請求の範囲】
【請求項1】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて、前記複数の対象者のうち、所定の条件を満たす対象者を特定する特定部と、
予め決められた選抜条件に基づいて、前記複数の聴者から前記複数の対象者を抽出する抽出部と、
を備え、
前記選抜条件は、前記N種類の心理要素のうちの少なくとも1つの心理要素の大きさに関する条件である、
ことを特徴とする情報処理装置。
【請求項2】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標を、前記特定人物に利用される表示装置に表示させる表示制御部と、
予め決められた選抜条件に基づいて、前記複数の聴者から前記複数の対象者を抽出する抽出部と、
を備え、
前記選抜条件は、前記N種類の心理要素のうちの少なくとも1つの心理要素の大きさに関する条件である、
ことを特徴とする情報処理装置。
【請求項3】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて、前記複数の対象者のうち、所定の条件を満たす対象者を特定する特定部と、
を備え、
前記各聴者の前記個別情報は、
前記各聴者の表情を示す画像情報、及び、前記各聴者の発話内容を示す音声情報を含み、
前記推定部は、
前記各聴者の前記画像情報に基づいて、前記各聴者の前記N種類の心理要素の第1の大きさをそれぞれ示すN種類の第1心理レベルを推定する第1心理推定部と、
前記各聴者の前記音声情報に基づいて、前記各聴者の前記N種類の心理要素の第2の大きさをそれぞれ示すN種類の第2心理レベルを推定する第2心理推定部と、
前記各聴者の前記N種類の第1心理レベル及び前記N種類の第2心理レベルに基づいて、前記各聴者の前記N種類の心理レベルを推定する第3心理推定部と、
を備え、
前記第3心理推定部は、
前記N種類の心理要素のうちの一の心理要素に対応する第1心理レベル及び第2心理レベルの両方が有効である場合、前記一の心理要素に対応する第1心理レベル及び第2心理レベルに基づいて、前記一の心理要素に対応する心理レベルを推定し、
前記一の心理要素に対応する第1心理レベル及び第2心理レベルの一方のみが有効である場合、前記一の心理要素に対応する第1心理レベル及び第2心理レベルのうちの有効な心理レベルを、前記一の心理要素に対応する心理レベルとして推定し、
前記一の心理要素に対応する第1心理レベル及び第2心理レベルの両方が無効である場合、前記一の心理要素に対応する心理レベルを無効とする、
ことを特徴とする情報処理装置。
【請求項4】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標を、前記特定人物に利用される表示装置に表示させる表示制御部と、
を備え、
前記各聴者の前記個別情報は、
前記各聴者の表情を示す画像情報、及び、前記各聴者の発話内容を示す音声情報を含み、
前記推定部は、
前記各聴者の前記画像情報に基づいて、前記各聴者の前記N種類の心理要素の第1の大きさをそれぞれ示すN種類の第1心理レベルを推定する第1心理推定部と、
前記各聴者の前記音声情報に基づいて、前記各聴者の前記N種類の心理要素の第2の大きさをそれぞれ示すN種類の第2心理レベルを推定する第2心理推定部と、
前記各聴者の前記N種類の第1心理レベル及び前記N種類の第2心理レベルに基づいて、前記各聴者の前記N種類の心理レベルを推定する第3心理推定部と、
を備え、
前記第3心理推定部は、
前記N種類の心理要素のうちの一の心理要素に対応する第1心理レベル及び第2心理レベルの両方が有効である場合、前記一の心理要素に対応する第1心理レベル及び第2心理レベルに基づいて、前記一の心理要素に対応する心理レベルを推定し、
前記一の心理要素に対応する第1心理レベル及び第2心理レベルの一方のみが有効である場合、前記一の心理要素に対応する第1心理レベル及び第2心理レベルのうちの有効な心理レベルを、前記一の心理要素に対応する心理レベルとして推定し、
前記一の心理要素に対応する第1心理レベル及び第2心理レベルの両方が無効である場合、前記一の心理要素に対応する心理レベルを無効とする、
ことを特徴とする情報処理装置。
【請求項5】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて、前記複数の対象者のうち、所定の条件を満たす対象者を特定する特定部と、
を備え、
前記各聴者の前記個別情報は、
前記各聴者の表情を示す画像情報、及び、前記各聴者の発話内容を示す音声情報を含み、
前記推定部は、
前記各聴者の前記画像情報に基づいて、前記各聴者の前記N種類の心理要素の第1の大きさをそれぞれ示すN種類の第1心理レベルを推定する第1心理推定部と、
前記各聴者の前記音声情報に基づいて、前記各聴者の前記N種類の心理要素の第2の大きさをそれぞれ示すN種類の第2心理レベルを推定する第2心理推定部と、
前記N種類の心理要素に対応するN個の第1係数を、前記N種類の第1心理レベルにそれぞれ乗算することにより、前記N種類の心理要素に対応するN個の第1乗算値を算出し、前記N種類の心理要素に対応するN個の第2係数を、前記N種類の第2心理レベルにそれぞれ乗算することにより、前記N種類の心理要素に対応するN個の第2乗算値を算出し、前記各聴者の前記N個の第1乗算値及び前記N個の第2乗算値に基づいて、前記各聴者の前記N種類の心理レベルを推定する第3心理推定部と、
を備え、
前記N個の第1係数の各々、及び、前記N個の第2係数の各々は、前記N種類の心理要素のうちの対応する心理要素に応じてそれぞれ決定される、
ことを特徴とする情報処理装置。
【請求項6】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標を、前記特定人物に利用される表示装置に表示させる表示制御部と、
を備え、
前記各聴者の前記個別情報は、
前記各聴者の表情を示す画像情報、及び、前記各聴者の発話内容を示す音声情報を含み、
前記推定部は、
前記各聴者の前記画像情報に基づいて、前記各聴者の前記N種類の心理要素の第1の大きさをそれぞれ示すN種類の第1心理レベルを推定する第1心理推定部と、
前記各聴者の前記音声情報に基づいて、前記各聴者の前記N種類の心理要素の第2の大きさをそれぞれ示すN種類の第2心理レベルを推定する第2心理推定部と、
前記N種類の心理要素に対応するN個の第1係数を、前記N種類の第1心理レベルにそれぞれ乗算することにより、前記N種類の心理要素に対応するN個の第1乗算値を算出し、前記N種類の心理要素に対応するN個の第2係数を、前記N種類の第2心理レベルにそれぞれ乗算することにより、前記N種類の心理要素に対応するN個の第2乗算値を算出し、前記各聴者の前記N個の第1乗算値及び前記N個の第2乗算値に基づいて、前記各聴者の前記N種類の心理レベルを推定する第3心理推定部と、
を備え、
前記N個の第1係数の各々、及び、前記N個の第2係数の各々は、前記N種類の心理要素のうちの対応する心理要素に応じてそれぞれ決定される、
ことを特徴とする情報処理装置。
【請求項7】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて、前記複数の対象者のうち、所定の条件を満たす対象者を特定する特定部と、
を備え、
前記各聴者の前記心理状態は、前記各聴者の感情状態及び前記各聴者の思考状態を含み、
前記各聴者の前記N種類の心理要素は、前記各聴者の前記感情状態及び前記思考状態のうちの前記感情状態に関するN種類の感情要素であり、
前記各聴者の前記N種類の心理レベルは、前記各聴者の前記N種類の感情要素の大きさをそれぞれ示すN種類の感情レベルであり、
前記推定部は、
前記各聴者の前記N種類の感情レベルに基づいて、前記各聴者の前記感情状態及び前記思考状態のうちの前記思考状態に関する思考要素の大きさを示す思考レベルを推定し、
前記解析部は、
前記複数の対象者の各々の前記N種類の感情レベルと前記複数の対象者の各々の前記思考レベルとに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する、
ことを特徴とする情報処理装置。
【請求項8】
特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標を、前記特定人物に利用される表示装置に表示させる表示制御部と、
を備え、
前記各聴者の前記心理状態は、前記各聴者の感情状態及び前記各聴者の思考状態を含み、
前記各聴者の前記N種類の心理要素は、前記各聴者の前記感情状態及び前記思考状態のうちの前記感情状態に関するN種類の感情要素であり、
前記各聴者の前記N種類の心理レベルは、前記各聴者の前記N種類の感情要素の大きさをそれぞれ示すN種類の感情レベルであり、
前記推定部は、
前記各聴者の前記N種類の感情レベルに基づいて、前記各聴者の前記感情状態及び前記思考状態のうちの前記思考状態に関する思考要素の大きさを示す思考レベルを推定し、
前記解析部は、
前記複数の対象者の各々の前記N種類の感情レベルと前記複数の対象者の各々の前記思考レベルとに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する、
ことを特徴とする情報処理装置。
【請求項9】
前記推定部は、
前記思考要素に応じたN個の重み係数を前記各聴者の前記N種類の感情レベルにそれぞれ乗算することにより得られるN個の乗算結果に基づいて、前記各聴者の思考レベルを推定する、
ことを特徴とする請求項7又は8に記載の情報処理装置。
【請求項10】
特定人物の話を聞く複数の聴者と1対1に対応する複数の端末装置と、前記複数の端末装置と通信可能な情報処理装置とを備え、
前記複数の端末装置の各々は、
前記複数の聴者のうちの対応する聴者の様子を示す個別情報を前記情報処理装置に送信する送信部を備え、
前記情報処理装置は、
前記複数の端末装置の各々から送信される前記個別情報を取得する取得部と、
前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、
前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、
前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて前記複数の対象者から特定される対象者の識別情報、及び、前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標の一方又は両方を、前記特定人物に利用される表示装置に表示させる表示制御部と、
予め決められた選抜条件に基づいて、前記複数の聴者から前記複数の対象者を抽出する抽出部と、
を備え、
前記選抜条件は、前記N種類の心理要素のうちの少なくとも1つの心理要素の大きさに関する条件である、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理システムに関する。
【背景技術】
【0002】
複数の聴者の全体の理解度を話者に認識させる理解度判定システムが提案されている。この種の理解度判定システムは、例えば、カメラによって撮影された各聴者の顔の表情に基づいて各聴者の感情を推定し、推定した各聴者の感情に基づいて聴者全体の理解度を算出する(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-148852号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の理解度判定システムを用いて行われる授業では、教師は、生徒全体の理解度を知ることができても、理解できていない点を明確にするための質問等をどの生徒に行うべきか分からない。すなわち、従来技術では、教師に提供される指標が理解度といった単一の指標であるため、教師は、柔軟性のある判断をすることが困難である。このため、複数の聴者に対して話をする特定人物に、柔軟性のある判断を可能にする情報を提供するシステムの実現が望まれる。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて、前記複数の対象者のうち、所定の条件を満たす対象者を特定する特定部と、を備える、ことを特徴とする。
【0006】
本発明の好適な他の態様に係る情報処理装置は、特定人物の話を聞く複数の聴者の各々の様子を示す各聴者の個別情報を取得する取得部と、前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標を、前記特定人物に利用される表示装置に表示させる表示制御部と、を備える、ことを特徴とする。
【0007】
本発明の好適な態様に係る情報処理システムは、特定人物の話を聞く複数の聴者と1対1に対応する複数の端末装置と、前記複数の端末装置と通信可能な情報処理装置とを備え、前記複数の端末装置の各々は、前記複数の聴者のうちの対応する聴者の様子を示す個別情報を前記情報処理装置に送信する送信部を備え、前記情報処理装置は、前記複数の端末装置の各々から送信される前記個別情報を取得する取得部と、前記各聴者の前記個別情報に基づいて、前記各聴者の心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルを推定する推定部と、前記複数の聴者のうちの複数の対象者の各々の前記N種類の心理レベルに基づいて、前記複数の対象者の全体に係る心理の傾向を解析する解析部と、前記複数の対象者の全体に係る心理の傾向と前記複数の対象者の各々の前記N種類の心理レベルとに基づいて前記複数の対象者から特定される対象者の識別情報、及び、前記複数の対象者の全体に係る心理の傾向を前記N種類の心理要素の大きさにより示した心理指標の一方又は両方を、前記特定人物に利用される表示装置に表示させる表示制御部と、を備える、ことを特徴とする。
【発明の効果】
【0008】
本発明によれば、複数の聴者に対して話をする特定人物に、柔軟性のある判断を可能にする情報を提供するシステムを実現することができる。
【図面の簡単な説明】
【0009】
図1】第1実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。
図2図1に示した端末装置の構成の一例を示すブロック図である。
図3図1に示した管理装置の構成の一例を示すブロック図である。
図4図3に示した管理装置の機能的な構成の一例を示す機能ブロック図である。
図5図3に示した管理テーブルの一例を示す説明図である。
図6】教師の端末装置に表示される支援画像の一例を示す説明図である。
図7図3に示した管理装置の動作の一例を示すフローチャートである。
図8】代表者を特定する処理の一例を示すフローチャートである。
図9】第2実施形態に係る管理装置の機能的な構成の一例を示す機能ブロック図である。
図10図9に示した推定部の動作の一例を示すフローチャートである。
図11】第3実施形態に係る管理装置の機能的な構成の一例を示す機能ブロック図である。
図12】思考レベルの推定処理を説明するための説明図である。
図13】第4実施形態に係る管理装置の機能的な構成の一例を示す機能ブロック図である。
図14図13に示した抽出部により抽出されたグループの心理傾向の解析結果の一例を説明するための説明図である。
図15】第5実施形態に係る管理装置の機能的な構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【0010】
[1.第1実施形態]
図1は、第1実施形態に係る情報処理システム1の全体構成の一例を示すブロック図である。
【0011】
本実施形態では、情報処理システム1がオンライン授業に利用される場合を想定する。例えば、情報処理システム1は、複数の生徒Uaに用いられる複数の端末装置10aと、教師Ubに用いられる端末装置10bと、管理装置20とを有する。複数の生徒Uaは、「複数の聴者」の一例であり、教師Ubは、「特定人物」の一例である。また、複数の端末装置10aは、「複数の聴者と1対1に対応する複数の端末装置」の一例であり、管理装置20は、「情報処理装置」の一例である。以下では、端末装置10a及び10bを端末装置10と総称する場合がある。
【0012】
複数の端末装置10及び管理装置20は、ネットワークNWに接続される。複数の端末装置10の各々は、他の端末装置10及び管理装置20と、ネットワークNWを介して通信可能である。すなわち、管理装置20は、複数の端末装置10と通信可能である。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
【0013】
ネットワークNWは、例えば、移動体通信網等の電気通信回線であり、インターネット及びローカルエリアネットワークを含み得る。例えば、ネットワークNWは、有線ネットワーク及び無線ネットワークの一方又は両方を含む。また、ネットワークNWと端末装置10との接続等は、例えば、複数の要素間を互いに通信可能にする接続であればよく、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。
【0014】
端末装置10としては、例えば、任意の情報処理装置を採用することができ、パーソナルコンピュータ等の据置型の情報機器であってもよいし、スマートフォン、ノート型のパーソナルコンピュータ及びタブレット端末等の可搬型の情報端末であってもよい。また、管理装置20としては、例えば、任意の情報処理装置を採用することができる。端末装置10の構成は、後述する図2において説明し、管理装置20の構成は、後述する図3において説明する。
【0015】
図2は、図1に示した端末装置10の構成の一例を示すブロック図である。図2に示す例では、表示装置180と本体とが一体に構成される情報処理装置(例えば、スマートフォン、ノート型のパーソナルコンピュータ及びタブレット端末等)を端末装置10として想定するが、表示装置180は、本体から分離されてもよい。
【0016】
端末装置10は、例えば、処理装置100、記憶装置120、通信装置140、操作装置160、音声入力装置162、撮像装置164、表示装置180、音声出力装置182を具備するコンピュータシステムにより実現される。端末装置10の複数の要素は、情報を通信するための単体又は複数のバスにより相互に接続される。また、端末装置10の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、端末装置10の一部の要素は、省略されてもよい。
【0017】
処理装置100は、端末装置10の全体を制御するプロセッサであり、例えば、単数又は複数のチップにより構成される。処理装置100は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU:Central Processing Unit)により構成される。なお、処理装置100の機能の一部又は全部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアによって実現してもよい。処理装置100は、各種の処理を並列的又は逐次的に実行する。
【0018】
処理装置100は、例えば、制御プログラムPR10を記憶装置120から読み出し、読み出した制御プログラムPR10を実行することにより、端末装置10の全体を制御する。なお、制御プログラムPR10は、ネットワークNW等を介して他の装置から送信されてもよい。
【0019】
記憶装置120は、処理装置100が読取可能な記録媒体であり、処理装置100が実行する制御プログラムPR10を含む複数のプログラム等の各種のデータを記憶する。なお、図2に示す例では、記憶装置120は、制御プログラムPR10の他に、識別情報IDを記憶する。識別情報IDは、例えば、端末装置10を識別するための情報である。なお、識別情報IDは、端末装置10の利用者(例えば、生徒Ua及び教師Ub等)を識別するために利用されてもよい。記憶装置120は、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、及び、RAM(Random Access Memory)等の少なくとも1つによって構成されてもよい。記憶装置120は、レジスタ、キャッシュ、又は、メインメモリ(主記憶装置)等と呼ばれてもよい。
【0020】
通信装置140は、管理装置20等の他の装置と通信を行うためのハードウェア(送受信デバイス)である。通信装置140は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置140は、例えば、周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の一方又は両方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザ等を含んで構成されてもよい。
【0021】
操作装置160は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、スイッチ、ボタン、センサ等)である。例えば、操作装置160は、端末装置10の利用者(例えば、生徒Ua及び教師Ub等)の操作を受け付け、操作に応じた操作情報を処理装置100に出力する。端末装置10の利用者の操作としては、例えば、数字及び文字等の符号を処理装置100に入力するための操作、及び、表示装置180が表示するアイコンを選択するための操作等が該当する。なお、例えば、表示装置180の表示面に対する接触を検出するタッチパネルが、操作装置160として採用されてもよい。また、操作装置160は、ユーザが操作可能な複数の操作子を含んでもよい。
【0022】
音声入力装置162は、例えば、マイクロフォンである。例えば、音声入力装置162は、端末装置10の利用者の発話内容を示す音声を電気信号に変換した音声情報を生成する。そして、音声入力装置162は、音声情報を処理装置100に出力する。
【0023】
撮像装置164は、被写体を撮像し、撮像した被写体の画像を示す画像情報を出力する装置である。例えば、撮像装置164は、端末装置10の利用者の顔を撮像することにより得られる画像を示す画像情報を生成し、生成した画像情報を処理装置100に出力する。撮像装置164は、例えば、撮像光学系及び撮像素子を有する。撮像光学系は、少なくとも1つの撮像レンズを含む光学系である。例えば、撮像光学系は、プリズム等の各種の光学素子を有してもよいし、ズームレンズやフォーカスレンズ等を有してもよい。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサー又はCMOS(Complementary MOS)イメージセンサー等である。
【0024】
表示装置180は、外部への出力を実施するディスプレイ等の出力デバイスである。表示装置180は、例えば、処理装置100による制御のもとで、画像を表示する。例えば、表示装置180は、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等の各種の表示パネルが表示装置180として好適に利用される。なお、操作装置160及び表示装置180は、一体となった構成(例えば、タッチパネル)であってもよい。
【0025】
音声出力装置182は、例えば、スピーカー及びイヤフォン等である。例えば、音声出力装置182は、処理装置100による制御のもとで各種の音を出力する。次に、端末装置10の動作の概要を、生徒Uaに利用される端末装置10aの動作を例にして説明する。
【0026】
例えば、端末装置10aでは、表示装置180は、授業用の映像を再生するための映像情報を端末装置10b又は管理装置20から通信装置140を介して受信し、受信した映像情報に基づいて、授業用の映像を表示する。なお、授業用の映像は、例えば、教師Ubが生徒Uaに対して行っている授業のライブ映像、及び、予め用意された授業映像の一方又は両方を含む映像であってもよい。予め用意された授業映像としては、例えば、資料等の解説映像、及び、予め撮影された授業の映像等が該当する。なお、授業用の映像を再生するための映像情報は、端末装置10b及び管理装置20以外の所定の装置、又は、所定のウェブサイトから送信されてもよい。
【0027】
また、端末装置10aでは、音声出力装置182は、授業用の音を再生するための音情報を端末装置10b又は管理装置20から通信装置140を介して受信し、受信した音情報に基づいて、授業用の音を出力する。例えば、授業用の映像が授業のライブ映像である場合、教師Ubの音声が授業用の音に該当する。また、例えば、授業用の映像が予め用意された授業映像である場合、授業映像に対応する音声等の音が授業用の音に該当する。なお、授業用の音を再生するための音情報は、端末装置10b及び管理装置20以外の所定の装置、又は、所定のウェブサイトから送信されてもよい。また、授業用の映像を再生するための映像情報、及び、授業用の音を再生するための音情報は、共通のパケット(パケット通信に使用されるパケット)に含まれてもよい。
【0028】
また、端末装置10aでは、処理装置100は、端末装置10aに対応する生徒Uaの様子を示す個別情報を、通信装置140を介して管理装置20に、所定の周期で送信する。例えば、処理装置100は、撮像装置164により撮像された生徒Uaの顔の画像を示す画像情報、生徒Uaの発話内容を示す音声情報、及び、識別情報IDを含む個別情報を、所定の周期で生成する。そして、処理装置100は、生成した個別情報を、通信装置140を介して管理装置20に、所定の周期で送信する。この処理により、各生徒Uaの個別情報が各端末装置10aから管理装置20に送信される。なお、個別情報は、生徒Uaの顔の画像を示す画像情報、及び、生徒Uaの発話内容を示す音声情報のうちの一方のみを含んでもよい。
【0029】
なお、通信装置140は、「送信部」の一例である。例えば、通信装置140は、上述したように、処理装置100により生成された個別情報を、管理装置20に送信する。また、生徒Uaの顔から生徒Uaの表情が把握されるため、生徒Uaの顔の画像を示す画像情報は、生徒Uaの表情を示す画像情報に該当する。すなわち、生徒Uaの顔の画像を示す画像情報は、「聴者の表情を示す画像情報」の一例である。
【0030】
ここで、教師Ubに利用される端末装置10bの動作は、処理装置100が個別情報を生成しない点、及び、表示装置180が表示する内容を除いて、端末装置10aの動作と同様である。なお、授業用の映像が授業のライブ映像を含む場合、端末装置10bの動作は、例えば、ライブ映像を再生するための映像情報を端末装置10bが生成する点も、端末装置10aの動作と相違する。端末装置10bの表示装置180が表示する内容は、後述する図6において説明する。
【0031】
図3は、図1に示した管理装置20の構成の一例を示すブロック図である。
【0032】
管理装置20は、例えば、複数の生徒Uaの全体に係る心理の傾向、又は、複数の生徒Uaから選択された2人以上の生徒Uaが属するグループの心理の傾向を、各端末装置10aから送信される各生徒Uaの個別情報に基づいて解析する。なお、本実施形態では、管理装置20が複数の生徒Uaの全体に係る心理の傾向を解析する場合を想定する。従って、本実施形態では、複数の生徒Uaは、「複数の聴者」の一例でもあり、「複数の対象者」の一例でもある。以下では、複数の生徒Uaの全体に係る心理の傾向は、生徒Ua全体の心理傾向とも称される。
【0033】
例えば、管理装置20は、処理装置200、記憶装置220及び通信装置240を具備するコンピュータシステムにより実現される。
【0034】
処理装置200は、管理装置20の全体を制御するプロセッサであり、図2において説明した端末装置10の処理装置100と同様に構成される。例えば、処理装置200は、制御プログラムPR20を記憶装置220から読み出し、読み出した制御プログラムPR20を実行することにより、管理装置20の全体を制御する。また、処理装置200は、制御プログラムPR20を実行することにより、後述する図4に示す取得部202、推定部204、解析部210、特定部212及び支援情報生成部214として機能する。なお、制御プログラムPR20は、ネットワークNWを介して他の装置から送信されてもよい。
【0035】
記憶装置220は、処理装置200が読取可能な記録媒体であり、処理装置200が実行する制御プログラムPR20を含む複数のプログラム等の各種のデータを記憶する。なお、図3に示す例では、記憶装置220は、制御プログラムPR20の他に、管理テーブルTBLを記憶する。管理テーブルTBLについては、後述する図5において説明する。記憶装置220は、図2において説明した端末装置10の記憶装置120と同様に、例えば、ROM、EPROM、EEPROM、及び、RAM等の少なくとも1つによって構成されてもよい。
【0036】
通信装置240は、端末装置10等の他の装置と通信を行うためのハードウェア(送受信デバイス)であり、図2において説明した端末装置10の通信装置140と同様に構成される。
【0037】
図4は、図3に示した管理装置20の機能的な構成の一例を示す機能ブロック図である。処理装置200は、図3において説明したように、制御プログラムPR20を実行することにより、取得部202、推定部204、解析部210、特定部212及び支援情報生成部214として機能する。
【0038】
取得部202は、例えば、複数の生徒Uaの各々の様子を示す各生徒Uaの個別情報を取得する。例えば、取得部202は、複数の端末装置10aの各々から送信される個別情報を、通信装置240を介して取得する。そして、取得部202は、各端末装置10aから取得した各生徒Uaの個別情報を、推定部204に出力する。
【0039】
推定部204は、各生徒Uaの個別情報に基づいて、各生徒Uaの心理状態に関する複数種類の心理要素の大きさ、強さ及び確からしさ等の定量値をそれぞれ示す複数種類の心理レベルEを推定する。本実施形態では、各心理レベルEが0以上1以下の値である場合を想定する。
【0040】
ここで、心理状態は、人の内心の状態の意味である。例えば、心理状態は、怒り、喜び、悲しみ等の感情状態であってもよいし、理解、集中及び積極等の思考状態であってもよい。あるいは、心理状態は、感情状態及び思考状態を含む概念であってもよい。従って、複数種類の心理要素は、感情状態に関する複数種類の感情要素であってもよいし、思考状態に関する複数種類の思考要素であってもよいし、感情要素及び思考要素を含む複数種類の要素であってもよい。
【0041】
また、複数種類の心理レベルEは、複数種類の感情要素の大きさをそれぞれ示す複数種類の感情レベルであってもよいし、複数種類の思考要素の大きさをそれぞれ示す複数種類の思考レベルであってもよい。あるいは、複数種類の心理レベルEは、感情要素及び思考要素を含む複数種類の要素の大きさをそれぞれ示してもよい。
【0042】
なお、本実施形態では、複数種類の心理要素がN(Nは2以上の整数)種類の感情要素である場合を想定する。従って、本実施形態では、N種類の心理要素の大きさをそれぞれ示すN種類の心理レベルEは、N種類の感情レベルである。以下では、N種類の心理要素が、「怒り」、「喜び」、「悲しみ」、「嫌悪」、「興味」及び「興奮」の6種類(N=6)の感情要素である場合を想定する。例えば、心理レベルE1は、怒りの大きさを示し、心理レベルE2は、喜びの大きさを示す。また、心理レベルE3は、悲しみの大きさを示し、心理レベルE4は、嫌悪の大きさを示す。そして、心理レベルE5は、興味の大きさを示し、心理レベルE6は、興奮の大きさを示す。
【0043】
また、N種類の心理レベルEを推定する方法としては、例えば、顔の表情等から感情の強度を推定する既知の方法を採用することができる。
【0044】
例えば、推定部204は、各生徒Uaの個別情報に含まれる情報のうち、生徒Uaの表情を示す画像情報及び生徒Uaの発話内容を示す音声情報の一方又は両方に基づいて、各生徒UaのN種類の心理レベルEを推定する。そして、推定部204は、各生徒Uaの個別情報に基づいて推定したN種類の心理レベルEを、各端末装置10aの識別情報IDに対応付けて管理テーブルTBLに記憶する。このように、推定部204は、各生徒Uaの個別情報に基づいて、各生徒Uaの心理状態に関するN種類の心理要素の大きさをそれぞれ示すN種類の心理レベルEを推定する。
【0045】
解析部210は、複数の生徒Uaの各々の6種類の心理レベルE(E1、E2、E3、E4、E5及びE6)に基づいて、生徒Ua全体の心理傾向を解析する。そして、解析部210は、生徒Ua全体の心理傾向の解析結果として、生徒Ua全体の心理傾向を6種類の心理要素の大きさにより示した心理指標を、特定部212及び支援情報生成部214に出力する。
【0046】
例えば、解析部210は、複数の生徒Uaの全てについて、6種類の心理レベルEを管理テーブルTBLから読み出す。そして、解析部210は、管理テーブルTBLから読み出した6種類の心理レベルEの各々の平均値を算出する。また、解析部210は、生徒Ua全体の心理傾向を示す心理指標として、各心理レベルEの平均値を示す平均心理レベルEa(Ea1、Ea2、Ea3、Ea4、Ea5及びEa6)を、特定部212及び支援情報生成部214に出力する。
【0047】
例えば、平均心理レベルEa1は、複数の生徒Uaの心理レベルE1の平均値を示し、平均心理レベルEa2は、複数の生徒Uaの心理レベルE2の平均値を示す。また、平均心理レベルEa3は、複数の生徒Uaの心理レベルE3の平均値を示し、平均心理レベルEa4は、複数の生徒Uaの心理レベルE4の平均値を示す。そして、平均心理レベルEa5は、複数の生徒Uaの心理レベルE5の平均値を示し、平均心理レベルEa6は、複数の生徒Uaの心理レベルE6の平均値を示す。以下では、N種類の心理レベルEのうち、n番目の心理レベルEを、心理レベルEnと称する場合がある(nは、1≦n≦Nを満たす整数)。同様に、N種類の平均心理レベルEaのうち、n番目の平均心理レベルEaを、平均心理レベルEanと称する場合がある。
【0048】
特定部212は、解析部210の解析結果と、各生徒Uaの6種類の心理レベルEとに基づいて、複数の生徒Uaの代表者を特定する。例えば、特定部212は、生徒Ua全体の心理傾向を示す6種類の平均心理レベルEa(解析部210の解析結果)と、各生徒Uaの6種類の心理レベルEとに基づいて、生徒Ua全体の心理傾向を代表する生徒Ua(代表者)を特定する。そして、特定部212は、特定した生徒Uaの端末装置10aの識別情報IDを、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報として、支援情報生成部214に出力する。
【0049】
例えば、特定部212は、6種類の平均心理レベルEaと、各生徒Uaの6種類の心理レベルEとの差異の程度を算出することにより、生徒Ua全体の心理傾向と各生徒Uaの心理状態との類似度を算出する。そして、特定部212は、複数の生徒Uaのうち、心理状態が生徒Ua全体の心理傾向に最も類似する生徒Uaを、生徒Ua全体の心理傾向を代表する生徒Uaとして特定する。
【0050】
6種類の平均心理レベルEaと各生徒Uaの6種類の心理レベルEとの差異の程度は、例えば、コサイン類似度であってもよいし、残差平方和であってもよい。例えば、特定部212は、6種類の平均心理レベルEaと各生徒Uaの6種類の心理レベルEとのコサイン類似度を、生徒Ua全体の心理傾向と各生徒Uaの心理状態との類似度として算出してもよい。あるいは、特定部212は、6種類の平均心理レベルEaと各生徒Uaの6種類の心理レベルEとの残差平方和の逆数、又は、残差平方和に“-1”を乗算した値等を、生徒Ua全体の心理傾向と各生徒Uaの心理状態との類似度として算出してもよい。
【0051】
なお、生徒Ua全体の心理傾向を代表する生徒Uaの数は、2人以上であってもよい。例えば、特定部212は、複数の生徒Uaのうち、心理状態が生徒Ua全体の心理傾向に類似する順の上位の所定数の生徒Uaを、生徒Ua全体の心理傾向を代表する生徒Uaとして特定してもよい。あるいは、特定部212は、複数の生徒Uaのうち、類似度が閾値を超える生徒Uaを、生徒Ua全体の心理傾向を代表する生徒Uaとして特定してもよい。
【0052】
ここで、例えば、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向に最も類似すること、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向に類似する順の上位の所定数に入ること、及び、類似度が閾値を超えること等は、「所定の条件」に該当する。なお、「所定の条件」は、上述の例に限定されず、生徒Ua全体の心理傾向とN種類の心理レベルEとの関係に基づく他の条件であってもよい。例えば、「所定の条件」は、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向と最も相違していること、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向に類似する順の下位の所定数に入ること、及び、類似度が閾値以下であること等であってもよい。
【0053】
このように、特定部212は、生徒Ua全体の心理傾向と複数の生徒Uaの各々の6種類の心理レベルEとに基づいて、複数の生徒Uaのうち、所定の条件を満たす生徒Uaを特定する。
【0054】
支援情報生成部214は、例えば、後述する図6に示す支援画像IMG(IMG1及びIMG2)を示す支援情報を、特定部212により特定された生徒Uaの識別情報ID、及び、生徒Ua全体の心理傾向を示す6種類の平均心理レベルEaに基づいて生成する。そして、支援情報生成部214は、支援情報を、通信装置240を介して端末装置10bに送信する。
【0055】
例えば、教師Ubに利用される端末装置10bの表示装置180は、管理装置20から送信された支援情報に基づいて、支援画像IMG(IMG1及びIMG2)を表示する。支援画像IMG1は、例えば、生徒Ua全体の心理傾向と各生徒Uaの6種類の心理レベルEとに基づいて複数の生徒Uaから特定される生徒Uaの識別情報IDを示す画像を含む。すなわち、支援画像IMG1は、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDを示す画像を含む。また、支援画像IMG2は、例えば、6種類の平均心理レベルEa(生徒Ua全体の心理傾向を示す6種類の心理要素の大きさ)を示す画像である。すなわち、支援情報生成部214は、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDと、生徒Ua全体の心理傾向を6種類の心理要素の大きさにより示した心理指標とを、教師Ubに利用される端末装置10bの表示装置180に表示させる。支援情報生成部214は、「表示制御部」の一例である。
【0056】
なお、情報処理システム1、端末装置10及び管理装置20の構成等は、図1から図4に示す例に限定されない。例えば、端末装置10は、補助記憶装置を有してもよい。補助記憶装置は、端末装置10が読取可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、及び、磁気ストリップ等の少なくとも1つによって構成されてもよい。同様に、管理装置20は、補助記憶装置を有してもよい。
【0057】
また、管理装置20は、例えば、図2において説明した操作装置160及び表示装置180と同様な操作装置及び表示装置を有してもよい。また、特定部212及び支援情報生成部214の一方は、管理装置20から省かれてもよい。支援情報生成部214が管理装置20から省かれる場合、特定部212は、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDを、通信装置240を介して端末装置10bに送信してもよい。また、特定部212が管理装置20から省かれる場合、支援情報生成部214は、支援情報として、生徒Ua全体の心理傾向を6種類の心理要素の大きさにより示した心理指標を、通信装置240を介して端末装置10bに送信してもよい。
【0058】
また、感情要素の種類の数、及び、感情要素の組み合わせは、上述の例(「怒り」、「喜び」、「悲しみ」、「嫌悪」、「興味」及び「興奮」の6種類の感情要素)に限定されない。例えば、感情要素の組み合わせとして、ポジティブ及びネガティブ等の感情の質的違いを規定する感情価と、感情によって引き起こされる身体的及び認知的喚起の度合いを示す覚醒度との組み合わせ等が用いられてもよい。例えば、覚醒度としては、高覚醒及び低覚醒等が該当する。具体的には、興奮は、高覚醒であり、冷静は、低覚醒である。
【0059】
図5は、図3に示した管理テーブルTBLの一例を示す説明図である。管理テーブルTBLには、各生徒Uaの6種類の心理レベルE(E1、E2、E3、E4、E5及びE6)が、各生徒Uaの識別情報IDに対応付けられて記憶されている。
【0060】
図5に示す例では、所定の期間分の複数の管理テーブルTBL(TBL1、TBL2及びTBL3等)が記憶装置220に記憶される。例えば、複数の管理テーブルTBLのうち、管理テーブルTBL1が最新の管理テーブルTBLであり、管理テーブルTBL2が2番目に新しい管理テーブルTBLであり、管理テーブルTBL3が3番目に新しい管理テーブルTBLである。なお、例えば、管理テーブルTBLが所定の周期で生成され、所定の期間が所定の周期のi(iは1以上の整数)倍である場合、最大で、(i+1)個の管理テーブルTBLが記憶装置220に記憶される。この場合、例えば、管理テーブルTBL2は、管理テーブルTBL1が生成されたタイミングから、所定の周期に対応する時間だけ遡ったタイミングに生成された管理テーブルTBLである。そして、管理テーブルTBL3は、管理テーブルTBL2が生成されたタイミングから、所定の周期に対応する時間だけ遡ったタイミングに生成された管理テーブルTBLである。
【0061】
各管理テーブルTBLは、複数の識別情報IDと1対1に対応する複数のレコードを有する。そして、管理テーブルTBLの各レコードには、例えば、識別情報IDと、識別情報IDにより示される生徒Uaの6種類の心理レベルE(E1、E2、E3、E4、E5及びE6)とが記憶されている。図中の“NULL”は、心理レベルEが無効であることを示す。図5に示す例では、識別情報IDが“006”の生徒Uaの喜び、悲しみ及び嫌悪をそれぞれ示す心理レベルE2、E3及びE4は、無効である。心理レベルEが無効であることは、心理要素が無効であることを示す。
【0062】
なお、管理テーブルTBLは、図5に示す例に限定されない。例えば、識別情報IDの代わりに、生徒Uaの氏名が管理テーブルTBLに記憶されてもよい。また、記憶装置220に記憶される管理テーブルTBLは、最新の管理テーブルTBLだけでもよい。
【0063】
図6は、教師Ubの端末装置10bに表示される支援画像IMGの一例を示す説明図である。
【0064】
端末装置10bの表示装置180は、管理装置20から送信された支援情報に基づいて、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDを示す画像を含む支援画像IMG1と、生徒Ua全体の心理傾向を示す支援画像IMG2とを表示する。
【0065】
例えば、支援画像IMG1は、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報ID及び氏名の一方又は両方を示す画像を含んでもよい。さらに、支援画像IMG1は、授業の実施日及び授業の科目等を示す画像を含んでもよい。なお、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報ID及び氏名のうちの氏名のみが支援画像IMG1により示される場合、生徒Uaの氏名は、「複数の対象者から特定される対象者の識別情報」に該当する。
【0066】
また、支援画像IMG2は、例えば、6種類の平均心理レベルEa(怒り、喜び、悲しみ、嫌悪、興味及び興奮のそれぞれの大きさ)を示すグラフ等の画像である。図6に示す例では、支援画像IMG2は、6種類の平均心理レベルEa(怒り、喜び、悲しみ、嫌悪、興味及び興奮のそれぞれの大きさ)を示すレーダーチャートの画像である。6種類の平均心理レベルEaを示すグラフ(例えば、レーダーチャート)は、「心理指標」の一例である。
【0067】
なお、教師Ubの端末装置10bに表示される画像は、図6に示す例に限定されない。例えば、端末装置10bの表示装置180には、支援画像IMG1及びIMG2の一方のみが表示されてもよい。あるいは、端末装置10bの表示装置180には、支援画像IMG1及びIMG2の一方又は両方の他に、生徒Uaの端末装置10aの表示装置180に表示されている授業用の映像と同様の映像が表示されてもよい。
【0068】
図7は、図3に示した管理装置20の動作の一例を示すフローチャートである。図7に示す動作は、例えば、所定の周期で繰り返し実行されてもよいし、端末装置10bからの支援要求等の所定の処理を契機に実行されてもよい。支援要求は、例えば、端末装置10bに対する教師Ubの所定の操作によって、管理装置20に送信されてもよい。なお、図7では、推定部204により推定される心理レベルEに対応する心理要素の種類がN(Nは2以上の整数)種類である場合を例にして、管理装置20の動作を説明する。
【0069】
先ず、ステップS100において、取得部202は、各生徒Uaの個別情報を取得する。例えば、取得部202は、各端末装置10aから管理装置20に送信される個別情報を、通信装置240を介して取得する。そして、取得部202は、処理をステップS200に進める。
【0070】
ステップS200において、推定部204は、取得部202により取得された個別情報に基づいて、各生徒UaのN種類の心理レベルEを推定する。各生徒UaのN種類の心理レベルEは、例えば、管理テーブルTBLに記憶される。推定部204は、ステップS200の処理を実行した後、処理をステップS300に進める。
【0071】
ステップS300において、解析部210は、推定部204により推定された各生徒UaのN種類の心理レベルEを管理テーブルTBLから読み出し、読み出した各生徒UaのN種類の心理レベルEに基づいて、生徒Ua全体の心理傾向を解析する。
【0072】
例えば、解析部210は、ステップS320において、変数nに“1”を設定する。そして、ステップS340において、解析部210は、複数の生徒Uaのn番目の心理レベルEnのうちの有効な心理レベルEnの平均値を、n番目の平均心理レベルEanとして算出する。次に、ステップS342において、解析部210は、変数nが“N”であるか否かを判定する。すなわち、解析部210は、N種類の平均心理レベルEaの全てを算出したか否かを判定する。ステップS342における判定の結果が否定の場合、解析部210は、ステップS344において、変数nに“1”を加算し、その後、処理をステップS340に戻す。一方、ステップS342における判定の結果が肯定の場合、解析部210は、ステップS360において、N種類の平均心理レベルEaを特定部212及び支援情報生成部214に出力し、その後、処理をステップS400に進める。
【0073】
ステップS400において、特定部212は、解析部210により算出されたN種類の平均心理レベルEaと、推定部204により推定された各生徒UaのN種類の心理レベルEとに基づいて、生徒Ua全体の心理傾向を代表する生徒Ua(代表者)を特定する。ステップS400の処理の具体例は、後述する図8において説明する。特定部212は、生徒Ua全体の心理傾向を代表する生徒Uaを特定した後、処理をステップS500に進める。
【0074】
ステップS500において、支援情報生成部214は、N種類の平均心理レベルEaと、生徒Ua全体の心理傾向を代表する生徒Ua(代表者)の識別情報IDとを含む支援情報を、通信装置240を介して、教師Ubの端末装置10bに出力する。例えば、端末装置10bの表示装置180は、支援情報に基づいて、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDを示す画像を含む支援画像IMG1と、生徒Ua全体の心理傾向(N種類の心理要素の大きさ)を示す支援画像IMG2とを、表示する。この結果、例えば、教師Ubは、端末装置10bの表示装置180に表示された支援画像IMG1及びIMG2の表示内容を確認することにより、授業を進めるための柔軟性のある判断をすることができる。このように、本実施形態では、教師Ubに、柔軟性のある判断を可能にする情報を提供することができる。
【0075】
なお、図7に示す動作が繰り返し実行されることにより、柔軟性のある判断を可能にする情報(例えば、生徒Ua全体の心理傾向を代表する生徒Ua、及び、生徒Ua全体の心理傾向等を示す情報)がほぼリアルタイムで教師Ubに提供される。従って、教師Ubは、例えば、生徒Ua全体の心理傾向を代表する生徒Ua、及び、生徒Ua全体の心理傾向(6種類の心理要素の大きさ)等をほぼリアルタイムで把握することができる。
【0076】
図8は、代表者を特定する処理の一例を示すフローチャートである。すなわち、図8は、図7に示したステップS400の処理の一例を示すフローチャートである。例えば、ステップS420の処理は、図7に示したステップS360の処理が実行された後、実行される。
【0077】
ステップS420において、特定部212は、N種類の平均心理レベルEaに対応するN次元の基準ベクトルを算出する。そして、特定部212は、ステップS440において、変数mに“1”を設定し、その後、処理をステップS460に進める。
【0078】
ステップS460において、特定部212は、m番目の識別情報IDのN種類の心理レベルEに対応するN次元の個別ベクトルを算出する。m番目の識別情報IDは、例えば、図5に示した管理テーブルTBLの“No.”の数字が“m”の識別情報IDであってもよい。特定部212は、ステップS460の処理を実行した後、処理をステップS462に進める。
【0079】
ステップS462において、特定部212は、m番目の識別情報IDの個別ベクトルと基準ベクトルとの類似度を算出する。そして、特定部212は、ステップS464において、全ての識別情報IDに対して類似度を算出したか否かを判定する。ステップS464における判定の結果が否定の場合、特定部212は、ステップS466において、変数mに“1”を加算し、その後、処理をステップS460に戻す。一方、ステップS464における判定の結果が肯定の場合、特定部212は、処理をステップS480に進める。
【0080】
ステップS480において、特定部212は、管理テーブルTBLに記憶された複数の識別情報IDのうち、類似度が最も高い識別情報IDを、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDとして、支援情報生成部214に出力する。このように、ステップS480において、複数の生徒Uaのうち、心理状態が生徒Ua全体の心理傾向に最も類似する生徒Uaが、生徒Ua全体の心理傾向を代表する生徒Uaとして特定される。特定部212は、ステップS480の処理を実行した後、処理を図7に示したステップS500に進める。
【0081】
なお、管理装置20の動作は、図7及び図8に示した例に限定されない。例えば、支援情報生成部214は、図7に示したステップS500において、N種類の平均心理レベルEaと、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報IDとのうちの一方のみを含む支援情報を、教師Ubの端末装置10bに出力してもよい。この場合、支援画像IMG1及びIMG2の一方が端末装置10bの表示装置180に表示される。
【0082】
また、例えば、解析部210は、図7に示したステップS340において算出されたn番目の平均心理レベルEanを時間方向に平均してもよい。この場合、解析部210は、n番目の平均心理レベルEanを時間方向に平均して得られた値を、生徒Ua全体の心理傾向におけるn番目の心理要素の解析結果を示す平均心理レベルEanとしてもよい。なお、図7に示したステップS340において算出されたn番目の平均心理レベルEanは、例えば、所定の周期毎に算出されたn番目の平均心理レベルEanである。また、時間方向の平均は、所定期間の平均であってもよいし、移動平均であってもよい。
【0083】
以上、第1実施形態では、情報処理システム1は、教師Ubの話を聞く複数の生徒Uaと1対1に対応する複数の端末装置10aと、複数の端末装置10aと通信可能な管理装置20とを有する。各端末装置10aは、複数の生徒Uaのうちの対応する生徒Uaの様子を示す個別情報を管理装置20に送信する通信装置140を有する。管理装置20は、複数の端末装置10aの各々から送信される個別情報(すなわち、各生徒Uaの個別情報)を取得する取得部202と、推定部204と、解析部210と、特定部212と、支援情報生成部214とを有する。
【0084】
推定部204は、各生徒Uaの個別情報に基づいて、各生徒Uaの心理状態に関するN(Nは2以上の整数)種類の心理要素の大きさをそれぞれ示すN種類の心理レベルEを推定する。解析部210は、複数の生徒Uaの各々のN種類の心理レベルEに基づいて、複数の生徒Uaの全体に係る心理の傾向を解析する。特定部212は、複数の生徒Uaの全体に係る心理の傾向と複数の生徒Uaの各々のN種類の心理レベルEとに基づいて、複数の生徒Uaのうち、所定の条件を満たす生徒Uaを特定する。
【0085】
支援情報生成部214は、複数の生徒Uaの全体に係る心理の傾向をN種類の心理要素の大きさにより示した心理指標を、教師Ubに利用される表示装置180(端末装置10bの表示装置180)に表示させる。あるいは、支援情報生成部214は、複数の生徒Uaの全体に係る心理の傾向と複数の生徒Uaの各々のN種類の心理レベルEとに基づいて複数の生徒Uaから特定される生徒Uaの識別情報IDを、教師Ubに利用される表示装置180に表示させる。この場合、支援情報生成部214は、複数の生徒Uaから特定される生徒Uaの識別情報IDを、心理指標に加えて、教師Ubに利用される表示装置180に表示させてもよいし、心理指標に代えて、教師Ubに利用される表示装置180に表示させてもよい。
【0086】
このように、本実施形態では、管理装置20は、生徒Ua全体の心理傾向と各生徒UaのN種類の心理レベルEとに基づいて、複数の生徒Uaのうち、所定の条件を満たす生徒Uaを特定する。
【0087】
例えば、所定の条件が、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向に最も類似すること等である場合、管理装置20は、所定の条件を満たす生徒Uaを特定することにより、生徒Ua全体の心理傾向を代表する生徒Uaを特定できる。この場合、教師Ubは、生徒Ua全体の心理傾向を代表する生徒Uaに質問することによって、授業を理解している程度を確認できる。なお、例えば、生徒Ua全体の理解度の単一の指標のみが教師Ubに提供される場合、教師Ubは、生徒Ua全体の理解度を知ることができても、理解できていない点を明確にするための質問等をどの生徒に行うべきか分からない。これに対し、本実施形態では、例えば、教師Ubは、生徒Ua全体の心理傾向を代表する生徒Uaとの間の質疑応答によって、授業の問題点等を認識できる。
【0088】
また、例えば、所定の条件が、複数の生徒Uaの中で、心理状態が生徒Ua全体の心理傾向と最も相違すること等である場合、所定の条件を満たす生徒Uaは、複数の生徒Uaのうち、生徒Ua全体の心理傾向から最も乖離した心理状態の生徒Uaに対応する。従って、管理装置20は、所定の条件を満たす生徒Uaを特定することにより、複数の生徒Uaのうち、生徒Ua全体の心理傾向から最も乖離した心理状態の生徒Uaを特定できる。複数の生徒Uaのうち、生徒Ua全体の心理傾向から最も乖離した心理状態の生徒Uaは、授業に取り残された生徒Uaである可能性が高い。この場合、教師Ubは、生徒Ua全体の心理傾向が良好であるため、授業が順調に進んでいるように見える場合でも、授業に取り残された生徒Uaに気づくことができる。従って、本実施形態では、教師Ubは、授業が順調に進んでいるように見える場合でも、授業に取り残された生徒Uaに声をかけることができる。
【0089】
このように、本実施形態では、複数の生徒Ua(聴者)に対して話をする教師Ub(特定人物)に、柔軟性のある判断を可能にする情報を提供する情報処理システム1を実現することができる。
【0090】
また、本実施形態では、生徒Ua全体の心理傾向を示すN種類の心理要素の大きさが、教師Ubの端末装置10bの表示装置180に表示されるため、教師Ubは、N種類の心理要素の大きさに基づいて、柔軟性のある判断をできる。例えば、教師Ubの端末装置10bの表示装置180に、生徒Ua全体の心理傾向を示す6種類の心理要素(「怒り」、「喜び」、「悲しみ」、「嫌悪」、「興味」及び「興奮」)がほぼリアルタイムで表示される場合、教師Ubは、以下に示す対応が可能となる。例えば、生徒Ua全体の心理傾向を示す6種類の心理要素のうち、「興味」及び「喜び」が他の心理要素に比べて低い場合、教師Ubは、生徒Ua全体に対して興味を持たせるための雑学を話しながら、生徒Ua全体の心理傾向の「興味」が向上するかを確認できる。
【0091】
[2.第2実施形態]
図9は、第2実施形態に係る管理装置20の機能的な構成の一例を示す機能ブロック図である。図1から図8において説明した要素と同様の要素については、同一の符号を付し、詳細な説明を省略する。
【0092】
本実施形態に係る端末装置10の構成は、図2に示した端末装置10の構成と同様であり、本実施形態に係る管理装置20の構成は、図3に示した管理装置20の構成と同様である。但し、記憶装置220に記憶される制御プログラムPR21は、図3に示した制御プログラムPR20と相違する。すなわち、本実施形態に係る管理装置20の処理装置200は、図3に示した制御プログラムPR20の代わりに制御プログラムPR21を実行することを除いて、図3に示した処理装置200と同様である。例えば、処理装置200は、記憶装置220から読み出した制御プログラムPR21を実行した場合、図2に示した推定部204の代わりに推定部204Aとして機能する点を除いて、制御プログラムPR20を実行した処理装置200と同様である。すなわち、処理装置200は、記憶装置220から読み出した制御プログラムPR21を実行することにより、取得部202、推定部204A、解析部210、特定部212及び支援情報生成部214として機能する。
【0093】
取得部202、解析部210、特定部212及び支援情報生成部214は、図4に示した取得部202、解析部210、特定部212及び支援情報生成部214と同様である。但し、取得部202は、各端末装置10aから取得した各生徒Uaの個別情報に含まれる情報のうち、生徒Uaの表情を示す画像情報を後述する第1推定部206に出力し、生徒Uaの発話内容を示す音声情報を後述する第2推定部207に出力する。
【0094】
推定部204Aは、第1推定部206、第2推定部207及び統合部208を有する。第1推定部206は、「第1心理推定部」の一例であり、第2推定部207は、「第2心理推定部」の一例であり、統合部208は、「第3心理推定部」の一例である。
【0095】
第1推定部206は、例えば、各生徒Uaの個別情報に含まれる情報のうち、生徒Uaの表情を示す画像情報に基づいて、各生徒UaのN種類の心理要素の大きさをそれぞれ示すN種類の第1心理レベルEgを推定する。そして、第1推定部206は、各生徒Uaの表情を示す画像情報に基づいて推定した各生徒UaのN種類の第1心理レベルEgを、統合部208に出力する。なお、各生徒Uaの表情を示す画像情報に基づいて推定される各生徒UaのN種類の心理要素の大きさは、「各聴者のN種類の心理要素の第1の大きさ」に該当する。
【0096】
第2推定部207は、例えば、各生徒Uaの個別情報に含まれる情報のうち、生徒Uaの発話内容を示す音声情報に基づいて、各生徒UaのN種類の心理要素の大きさをそれぞれ示すN種類の第2心理レベルEvを推定する。そして、第2推定部207は、各生徒Uaの発話内容を示す音声情報に基づいて推定した各生徒UaのN種類の第2心理レベルEvを、統合部208に出力する。なお、各生徒Uaの発話内容を示す音声情報に基づいて推定される各生徒UaのN種類の心理要素の大きさは、「各聴者のN種類の心理要素の第2の大きさ」に該当する。
【0097】
また、本実施形態においても、「怒り」、「喜び」、「悲しみ」、「嫌悪」、「興味」及び「興奮」の6種類(N=6)の心理要素を互いに区別するために、第1心理レベルEg及び第2心理レベルEv等を、符号の末尾に数字を付して称する場合がある。例えば、心理レベルE1、第1心理レベルEg1及び第2心理レベルEv1は、怒りの大きさを示し、心理レベルE2、第1心理レベルEg2及び第2心理レベルEv2は、喜びの大きさを示す。また、心理レベルE3、第1心理レベルEg3及び第2心理レベルEv3は、悲しみの大きさを示し、心理レベルE4、第1心理レベルEg4及び第2心理レベルEv4は、嫌悪の大きさを示す。そして、心理レベルE5、第1心理レベルEg5及び第2心理レベルEv5は、興味の大きさを示し、心理レベルE6、第1心理レベルEg6及び第2心理レベルEv6は、興奮の大きさを示す。
【0098】
また、以下では、N種類の第1心理レベルEgのうち、n番目の第1心理レベルEgを、第1心理レベルEgnと称する場合がある(nは、1≦n≦Nを満たす整数)。同様に、N種類の第2心理レベルEvのうち、n番目の第2心理レベルEvを、第2心理レベルEvnと称する場合がある。
【0099】
統合部208は、各生徒Uaの6種類の第1心理レベルEg及び6種類の第2心理レベルEvに基づいて、各生徒Uaの6種類の心理レベルEを推定する。
【0100】
なお、教師Ubが授業を行う場合、生徒Uaは、発話してしない場合が多い。この場合、生徒Uaの発話内容を示す音声情報に基づいて推定される第2心理レベルEvは、無効になる。あるいは、発話の内容によっては、6種類の第2心理レベルEvのうちの一部又は全部が不定になることもあり得る。また、生徒Uaの顔が撮像できていない等の理由により、生徒Uaの表情を示す画像情報に基づいて推定される第1心理レベルEgが無効になることが有り得る。従って、統合部208は、6種類の第1心理レベルEgの各々の有効又は無効と、6種類の第2心理レベルEvの有効又は無効とに応じて、6種類の心理レベルEを推定してもよい。
【0101】
例えば、統合部208は、n番目の心理要素に対応する第1心理レベルEgn及び第2心理レベルEvnの両方が有効である場合、第1心理レベルEgn及び第2心理レベルEvnに基づいて、n番目の心理要素に対応する心理レベルEnを推定する。また、統合部208は、n番目の心理要素に対応する第1心理レベルEgn及び第2心理レベルEvnの一方のみが有効である場合、第1心理レベルEgn及び第2心理レベルEvnのうちの有効な心理レベルを、n番目の心理要素に対応する心理レベルEnとして推定する。また、統合部208は、n番目の心理要素に対応する第1心理レベルEgn及び第2心理レベルEvnの両方が無効である場合、n番目の心理要素に対応する心理レベルEnを無効とする。なお、n番目の心理要素は、「N種類の心理要素のうちの一の心理要素」に該当する。
【0102】
n番目の心理要素に対応する第1心理レベルEgn及び第2心理レベルEvnの一方又は両方が有効である場合、n番目の心理要素に対応する心理レベルEnは、例えば、式(1)により表される。なお、式(1)の“*”は、乗算を示す。また、式(1)の第1変数VALgnには、第1心理レベルEgnが有効な場合、“1”が代入され、第1心理レベルEgnが無効な場合、“0”が代入される。同様に、式(1)の第2変数VALvnには、第2心理レベルEvnが有効な場合、“1”が代入され、第2心理レベルEvnが無効な場合、“0”が代入される。
【0103】
En=(VALgn*Egn+VALvn*Evn)/2 …(1)
【0104】
なお、n番目の心理要素に対応する心理レベルEnの推定方法は、上述の例に限定されない。例えば、心理要素に応じて、心理レベルEnに対する第1心理レベルEgnの寄与率が心理レベルEnに対する第2心理レベルEvnの寄与率と異なる場合がある。換言すれば、6種類の心理要素は、第1心理レベルEgに表れ易く、第2心理レベルEvに表れにくい心理要素と、第1心理レベルEgに表れにくく、第2心理レベルEvに表れ易い心理要素とを含む。
【0105】
具体的には、例えば、人の認知において、「怒り」及び「喜び」は、音声及び顔の表情の両方に同程度に表れる(若干、顔の表情に表れ易い)が、「悲しみ」は、音声に比べて顔の表情に表れ易い。このため、「悲しみ」に対応する心理レベルE3は、第2心理レベルEv3に比べて第1心理レベルEg3の寄与が大きい。また、「嫌悪」は、顔の表情に比べて音声に表れ易い。このため、「嫌悪」に対応する心理レベルE4は、第1心理レベルEg4に比べて第2心理レベルEv4の寄与が大きい。従って、統合部208は、n番目の心理要素に対応する第1心理レベルEgn及び第2心理レベルEvnの一方又は両方が有効である場合、n番目の心理要素の種類に応じた係数(重み)を用いて、n番目の心理要素に対応する心理レベルEnを推定してもよい。
【0106】
例えば、統合部208は、6種類の心理要素に対応する6個の第1係数を、6種類の第1心理レベルEgにそれぞれ乗算することにより、6種類の心理要素に対応する6個の第1乗算値を算出する。また、統合部208は、6種類の心理要素に対応する6個の第2係数を、6種類の第2心理レベルEvにそれぞれ乗算することにより、6種類の心理要素に対応する6個の第2乗算値を算出する。そして、統合部208は、各生徒Uaの6個の第1乗算値及び6個の第2乗算値に基づいて、各生徒Uaの6種類の心理レベルEを推定する。
【0107】
例えば、n番目の心理要素に対応する第1心理レベルEgnの第1係数をWCnとした場合、n番目の心理要素に対応する心理レベルEnは、式(2)により表される。なお、第1係数WCは、0以上1以下の値であり、n番目の心理要素に対応する第2心理レベルEvnの第2係数は、“1-WCn”により表される。
【0108】
En=WCn*Egn+(1-WCn)*Evn …(2)
【0109】
6個の第1係数の各々、及び、6個の第2係数の各々は、上述したように、6種類の心理要素のうちの対応する心理要素に応じてそれぞれ決定される。例えば、「怒り」に対応する第1係数WC1、「喜び」に対応する第1係数WC2、「悲しみ」に対応する第1係数WC3、及び、「嫌悪」に対応する第1係数WC4の関係は、式(3)及び式(4)により表される。
【0110】
WC3>WC1>WC4 …(3)
WC3>WC2>WC4 …(4)
【0111】
なお、n番目の心理要素に対応する第1心理レベルEgnの第1係数WCn及び第2心理レベルEvnの第2係数(1-WCn)は、n番目の第1心理レベルEgnの信頼度、及び、n番目の第2心理レベルEvnの信頼度に基づいて定められてもよい。
【0112】
また、上述の式(2)において、第1心理レベルEgn及び第2心理レベルEvnの一方のみが無効である場合、第1心理レベルEgn及び第2心理レベルEvnのうちの無効な心理レベルに“0”が代入されてもよい。あるいは、心理要素の種類に応じた重み係数を用いて心理レベルEnを推定する方法においても、第1心理レベルEgn及び第2心理レベルEvnの一方のみが無効である場合、式(2)の代わりに、上述の式(1)に基づいて、心理レベルEnが推定されてもよい。
【0113】
図10は、図9に示した推定部204Aの動作の一例を示すフローチャートである。なお、図10に示す動作は、図7に示したステップS200の処理(N種類の心理レベルEを推定する処理)として実行される。例えば、ステップS210の処理は、図7に示したステップS100の処理が実行された後、実行され、図10に示す動作が終了した後、図7に示したステップS320の処理が実行される。
【0114】
ステップS210において、第1推定部206は、取得部202により取得された個別情報に含まれる情報のうち、生徒Uaの表情を示す画像情報に基づいて、各生徒UaのN種類の第1心理レベルEgを推定する。
【0115】
また、ステップS212において、第2推定部207は、取得部202により取得された個別情報に含まれる情報のうち、生徒Uaの発話内容を示す音声情報に基づいて、各生徒UaのN種類の第2心理レベルEvを推定する。
【0116】
次に、ステップS220において、統合部208は、変数nに“1”を設定する。そして、統合部208は、処理をステップS240に進める。
【0117】
ステップS240において、統合部208は、n番目の第1心理レベルEgnが有効か否かを判定する。ステップS240における判定の結果が肯定の場合、統合部208は、ステップS242において、n番目の第2心理レベルEvnが有効か否かを判定する。一方、ステップS240における判定の結果が否定の場合、統合部208は、ステップS248において、n番目の第2心理レベルEvnが有効か否かを判定する。
【0118】
統合部208は、ステップS242における判定の結果が肯定の場合、処理をステップS244に進め、ステップS242における判定の結果が否定の場合、処理をステップS246に進める。
【0119】
ステップS244において、統合部208は、n番目の第1心理レベルEgn及び第2心理レベルEvnに基づいて、n番目の心理レベルEnを推定する。例えば、統合部208は、上述した式(1)又は式(2)に基づいて、n番目の心理レベルEnを推定する。n番目の心理レベルEnが式(1)に基づいて推定される場合、式(1)の第1変数VALgn及び第2変数VALvnには、“1”が代入される。統合部208は、ステップS244の処理を実行した後、処理をステップS254に進める。
【0120】
また、ステップS246において、統合部208は、n番目の第1心理レベルEgnに基づいて、n番目の心理レベルEnを推定する。例えば、n番目の心理レベルEnが式(1)に基づいて推定される場合、式(1)の第1変数VALgnには、“1”が代入され、式(1)の第2変数VALvnには、“0”が代入される。また、例えば、n番目の心理レベルEnが式(2)に基づいて推定される場合、式(2)の第2心理レベルEvnには、“0”が代入される。統合部208は、ステップS246の処理を実行した後、処理をステップS254に進める。
【0121】
また、統合部208は、ステップS248における判定の結果が肯定の場合、処理をステップS250に進め、ステップS248における判定の結果が否定の場合、処理をステップS252に進める。
【0122】
ステップS250において、統合部208は、n番目の第2心理レベルEvnに基づいて、n番目の心理レベルEnを推定する。例えば、n番目の心理レベルEnが式(1)に基づいて推定される場合、式(1)の第1変数VALgnには、“0”が代入され、式(1)の第2変数VALvnには、“1”が代入される。また、例えば、n番目の心理レベルEnが式(2)に基づいて推定される場合、式(2)の第1心理レベルEgnには、“0”が代入される。統合部208は、ステップS250の処理を実行した後、処理をステップS254に進める。
【0123】
ステップS252において、統合部208は、n番目の心理レベルEnを無効とする。そして、統合部208は、処理をステップS254に進める。
【0124】
ステップS254において、統合部208は、変数nが“N”であるか否かを判定する。すなわち、統合部208は、N種類の心理レベルEの全てを推定したか否かを判定する。ステップS254における判定の結果が否定の場合、統合部208は、ステップS256において、変数nに“1”を加算し、その後、処理をステップS240に戻す。一方、ステップS254における判定の結果が肯定の場合、統合部208は、各生徒UaのN種類の心理レベルEを管理テーブルTBLに記憶し、図10に示す動作を終了する。すなわち、ステップS254における判定の結果が肯定の場合、統合部208は、各生徒UaのN種類の心理レベルEを管理テーブルTBLに記憶した後、処理を図7に示したステップS320に進める。
【0125】
なお、推定部204Aの動作は、図10に示した動作に限定されない。例えば、ステップS212の処理は、ステップS210の処理より先に実行されてもよいし、ステップS210の処理と並列に実行されてもよい。
【0126】
以上、第2実施形態においても、上述した第1実施形態と同様の効果を得ることができる。また、本実施形態では、推定部204Aは、第1推定部206、第2推定部207及び統合部208を有する。第1推定部206は、各生徒Uaの画像情報に基づいて、各生徒UaのN種類の心理要素の大きさをそれぞれ示すN種類の第1心理レベルEgを推定する。第2推定部207は、各生徒Uaの音声情報に基づいて、各生徒UaのN種類の心理要素の大きさをそれぞれ示すN種類の第2心理レベルEvを推定する。統合部208は、各生徒UaのN種類の第1心理レベルEg及びN種類の第2心理レベルEvに基づいて、各生徒UaのN種類の心理レベルEを推定する。
【0127】
統合部208は、N種類の心理要素のうちの一の心理要素に対応する第1心理レベルEg及び第2心理レベルEvの両方が有効である場合、一の心理要素に対応する第1心理レベルEg及び第2心理レベルEvに基づいて、一の心理要素に対応する心理レベルEを推定する。また、統合部208は、一の心理要素に対応する第1心理レベルEg及び第2心理レベルEvの一方のみが有効である場合、一の心理要素に対応する第1心理レベルEg及び第2心理レベルEvのうちの有効な心理レベルを、一の心理要素に対応する心理レベルEとして推定してもよい。なお、統合部208は、一の心理要素に対応する第1心理レベルEg及び第2心理レベルEvの両方が無効である場合、一の心理要素に対応する心理レベルEを無効とする。
【0128】
このように、本実施形態では、心理レベルEは、生徒Uaの表情を示す画像情報に基づいて推定された第1心理レベルEg及び生徒Uaの発話内容を示す音声情報に基づいて推定された第2心理レベルEvのうちの有効な心理レベルに基づいて推定される。すなわち、本実施形態では、各生徒Uaの表情を示す画像情報、及び、各生徒Uaの発話内容を示す音声情報を適切に用いて、各生徒UaのN種類の心理レベルEを推定できる。この結果、本実施形態では、各生徒UaのN種類の心理レベルEを精度よく推定できる。
【0129】
また、本実施形態では、統合部208は、N種類の心理要素に対応するN個の第1係数及びN個の第2係数を用いて、各生徒UaのN種類の心理レベルEを推定してもよい。N個の第1係数の各々、及び、N個の第2係数の各々は、N種類の心理要素のうちの対応する心理要素に応じてそれぞれ決定される。
【0130】
例えば、統合部208は、N種類の心理要素に対応するN個の第1係数(WC)を、N種類の第1心理レベルEgにそれぞれ乗算することにより、N種類の心理要素に対応するN個の第1乗算値(WC*Eg)を算出してもよい。また、統合部208は、N種類の心理要素に対応するN個の第2係数(1-WC)を、N種類の第2心理レベルEvにそれぞれ乗算することにより、N種類の心理要素に対応するN個の第2乗算値((1-WC)*Ev)を算出してもよい。そして、統合部208は、各生徒UaのN個の第1乗算値及びN個の第2乗算値に基づいて、各生徒UaのN種類の心理レベルEを推定してもよい。
【0131】
各生徒Uaの心理レベルEnが第1係数及び第2係数を用いて推定される場合、心理レベルEnに対する第1心理レベルEgnの寄与率、及び、心理レベルEnに対する第2心理レベルEvnの寄与率が、心理レベルEnの推定に反映される。この結果、本実施形態では、各生徒UaのN種類の心理レベルEを精度よく推定できる。
【0132】
[3.第3実施形態]
図11は、第3実施形態に係る管理装置20の機能的な構成の一例を示す機能ブロック図である。図1から図10において説明した要素と同様の要素については、同一の符号を付し、詳細な説明を省略する。
【0133】
本実施形態の第2実施形態に対する主な相違点は、各生徒UaのN種類の感情レベルEEに基づいて、各生徒Uaの思考状態に関する思考要素の大きさを示す思考レベルECが推定される点である。思考要素としては、例えば、「理解」、「集中」、「積極」、「覚醒」及び「納得」等が挙げられる。例えば、覚醒の程度が大きい場合、覚醒の程度が小さい場合に比べて、眠気が小さいと考えられる。
【0134】
本実施形態では、思考要素が「覚醒」及び「納得」の2種類である場合を想定する。例えば、思考レベルEC1は、覚醒の程度(大きさ)を示し、思考レベルEC2は、納得の程度(大きさ)を示す。なお、管理装置20により大きさが推定される思考要素の種類は、2種類に限定されない。以下では、思考要素を、2種類に限定した表現を用いずに、K(Kは1以上の整数)種類の思考要素と称する場合がある。同様に、思考レベルECをK種類の思考レベルECと称する場合がある。また、K種類の思考レベルECのうち、k番目の思考レベルECを、思考レベルECkと称する場合がある(kは、1≦k≦Kを満たす整数)。同様に、k番目の思考レベルECkの平均値を示す平均思考レベルECaを、平均思考レベルECakと称する場合がある。
【0135】
なお、本実施形態では、複数種類の心理要素がN種類の感情要素とK種類の思考要素である場合を想定する。従って、本実施形態では、複数種類の心理要素の大きさをそれぞれ示す複数種類の心理レベルEは、N種類の感情レベルEEとK種類の思考レベルECとである。例えば、本実施形態では、怒りの大きさを示す心理レベルE1は、感情レベルEE1に対応し、喜びの大きさを示す心理レベルE2は、感情レベルEE2に対応する。また、悲しみの大きさを示す心理レベルE3は、感情レベルEE3に対応し、嫌悪の大きさを示す心理レベルE4は、感情レベルEE4に対応する。そして、興味の大きさを示す心理レベルE5は、感情レベルEE5に対応し、興奮の大きさを示す心理レベルE6は、感情レベルEE6に対応する。
【0136】
また、“1≦n≦(N+K)”を満たす変数nが“N”以下の場合、n番目の心理レベルEnの平均値を示す平均心理レベルEanは、n番目の感情レベルEEnの平均値を示す平均感情レベルEEanに対応する。そして、変数nが“N”より大きい場合、(n-N)番目がk番目に対応し、n番目の心理レベルEnの平均値を示す平均心理レベルEanが、(n-N)番目の思考レベルECkの平均値を示す平均思考レベルEEakに対応する。
【0137】
本実施形態に係る端末装置10の構成は、第2実施形態に係る端末装置10の構成(例えば、図2に示した端末装置10の構成)と同様である。また、本実施形態に係る管理装置20の構成は、第2実施形態に係る管理装置20の構成(例えば、図3に示した管理装置20の構成)と同様である。但し、記憶装置220に記憶される制御プログラムPR22は、図9に示した制御プログラムPR21と相違する。すなわち、本実施形態に係る管理装置20の処理装置200は、図9に示した制御プログラムPR21の代わりに制御プログラムPR22を実行することを除いて、図9に示した処理装置200と同様である。例えば、処理装置200は、記憶装置220から読み出した制御プログラムPR22を実行した場合、図9に示した推定部204Aの代わりに推定部204Bとして機能する点を除いて、制御プログラムPR21を実行した処理装置200と同様である。すなわち、処理装置200は、記憶装置220から読み出した制御プログラムPR22を実行することにより、取得部202、推定部204B、解析部210、特定部212及び支援情報生成部214として機能する。
【0138】
取得部202は、図9に示した取得部202と同様である。
【0139】
推定部204Bは、各生徒UaのN種類の感情レベルEEに基づいて、各生徒Uaの思考状態に関する思考要素の大きさを示す思考レベルECを推定することを除いて、図9に示した推定部204Aと同様である。例えば、推定部204Bは、図9に示した推定部204Aに対応する感情推定部205と、思考推定部209とを有する。感情推定部205は、第1推定部206、第2推定部207及び統合部208を有する。第1推定部206、第2推定部207及び統合部208は、図9に示した第1推定部206、第2推定部207及び統合部208と同様である。但し、統合部208は、各生徒UaのN種類の感情レベルEE(心理レベルE)を思考推定部209に出力する。
【0140】
思考推定部209は、各生徒UaのN種類の感情レベルEEに基づいて、各生徒UaのK種類の思考レベルECを推定する。例えば、思考推定部209は、各生徒UaのN種類の感情レベルEEに基づいて、各生徒Uaの思考状態に関する2種類の思考要素(覚醒及び納得)の大きさをそれぞれ示す2種類の思考レベルEC(EC1及びEC2)を推定する。
【0141】
例えば、思考レベルEC1は、6個の係数a(a1、a2、a3、a4、a5及びa6)を用いて、式(5)により表され、思考レベルEC2は、6個の係数b(b1、b2、b3、b4、b5及びb6)を用いて、式(6)により表される。
【0142】
EC1=Σ(a[n]*EE[n]) …(5)
EC2=Σ(b[n]*EE[n]) …(6)
【0143】
なお、式(5)及び式(6)のEE[n]は、n番目の感情レベルEEnを示し、式(5)のa[n]は、n番目の感情レベルEEnの係数anを示し、式(6)のb[n]は、n番目の感情レベルEEnの係数bnを示す。すなわち、感情レベルEEの種類が6種類(N=6)である場合、式(5)及び式(6)の”n”は、1から6までの整数である。
【0144】
6個の係数a(a1、a2、a3、a4、a5及びa6)の各々と、6個の係数b(b1、b2、b3、b4、b5及びb6)の各々との決定方法の一例は、後述する図12において説明する。
【0145】
また、思考推定部209は、各生徒UaのN種類の感情レベルEE及びK種類の思考レベルECを、各端末装置10aの識別情報IDに対応付けて管理テーブルTBLに記憶する。例えば、図5に示した管理テーブルTBLにおいて、6種類の感情レベルEE(心理レベルE)に加えて、「覚醒」及び「納得」の大きさをそれぞれ示す2種類の思考レベルEC(EC1及びEC2)が識別情報IDに対応付けて記憶される。以下では、感情レベルEE及び思考レベルECを心理レベルEと総称し、平均感情レベルEEa及び平均思考レベルECaを平均心理レベルEaと総称する場合がある。
【0146】
解析部210は、生徒Ua全体の心理傾向の解析に用いる心理レベルEにK種類の思考レベルECが追加されることを除いて、図4に示した解析部210と同様である。例えば、解析部210は、各生徒UaのN種類の感情レベルEEに基づいてN種類の平均感情レベルEEaを算出し、各生徒UaのK種類の思考レベルECに基づいてK種類の平均思考レベルECaを算出する。この結果、(N+K)種類の平均心理レベルEaが算出される。なお、(N+K)種類の平均心理レベルEaの算出方法は、例えば、図7に示したステップS300において、“N”を“N+K”に読み替えることにより説明される。
【0147】
このように、解析部210は、各生徒UaのN種類の感情レベルEEと各生徒UaのK種類の思考レベルECとに基づいて、生徒Ua全体の心理傾向を解析する。そして、解析部210は、生徒Ua全体の心理傾向を示す心理指標として、各感情レベルEEの平均値を示す平均感情レベルEEaと、各思考レベルECの平均値を示す平均思考レベルECaとを、特定部212及び支援情報生成部214に出力する。
【0148】
特定部212は、複数の生徒Uaの代表者の特定に用いる心理レベルE及び平均心理レベルEaに、K種類の思考レベルEC及びK種類の平均思考レベルECaが追加されることを除いて、図4に示した特定部212と同様である。すなわち、特定部212は、生徒Ua全体の心理傾向と各生徒UaのN種類の感情レベルEEと各生徒UaのK種類の思考レベルECとに基づいて、複数の生徒Uaのうち、所定の条件を満たす生徒Uaを特定する。なお、特定部212の動作は、例えば、図7に示した動作において、“N”を“N+K”に読み替えることにより説明される。
【0149】
例えば、特定部212は、(N+K)種類の平均心理レベルEa(N種類の平均感情レベルEEa及びK種類の平均思考レベルECa)と、各生徒Uaの(N+K)種類の心理レベルE(N種類の感情レベルEE及びK種類の思考レベルEC)との差異の程度を算出する。そして、特定部212は、算出した差異の程度に基づいて、生徒Ua全体の心理傾向と各生徒Uaの心理状態との類似度を算出する。また、特定部212は、例えば、図4において説明したように、複数の生徒Uaのうち、心理状態が生徒Ua全体の心理傾向に最も類似する生徒Uaの識別情報IDを、生徒Ua全体の心理傾向を代表する生徒Uaの識別情報として、支援情報生成部214に出力する。
【0150】
支援情報生成部214は、支援情報の生成に用いる平均心理レベルEaにK種類の平均思考レベルECaが追加されることを除いて、図4に示した支援情報生成部214と同様である。例えば、支援情報生成部214は、図6に示した支援画像IMGと同様の支援画像IMGを示す支援情報を、特定部212により特定された生徒Uaの識別情報ID、及び、生徒Ua全体の心理傾向を示す(N+K)種類の平均心理レベルEaに基づいて生成する。そして、支援情報生成部214は、支援情報を、通信装置240を介して端末装置10bに送信する。
【0151】
なお、生徒Ua全体の心理傾向を示す支援画像IMGは、(N+K)種類の平均心理レベルEa(例えば、怒り、喜び、悲しみ、嫌悪、興味、興奮、覚醒及び納得のそれぞれの大きさ)を示すグラフ(例えば、レーダーチャート)の画像であってもよい。あるいは、K種類の平均思考レベルECa(例えば、覚醒及び納得のそれぞれの大きさ)示すグラフの画像が、N種類の平均感情レベルEEaを示すグラフの画像(例えば、図6の支援画像IMG2)と別に表示されてもよい。
【0152】
このように、支援情報生成部214は、生徒Ua全体の心理傾向を示すN種類の感情要素の大きさ及びK種類の思考要素の大きさを、教師Ubの端末装置10bの表示装置180に表示させる。
【0153】
図12は、思考レベルECの推定処理を説明するための説明図である。図12では、6個の係数a(a1、a2、a3、a4、a5及びa6)の各々と、6個の係数b(b1、b2、b3、b4、b5及びb6)の各々とが、ラッセルの円環モデルに基づいて決定される場合を想定する。例えば、図12は、縦軸が覚醒及び沈静の程度を示し、横軸が快及び不快の程度を示すラッセルの円環モデルを示す。
【0154】
6個の係数aは、6種類の感情要素のうち、ラッセルの円環モデルにおける覚醒空間に属する感情要素に均等に重み付けすることにより、定められてもよい。この場合、図12に示す例では、係数a1、a2及びa6は、“1/3”に定められ、係数a3、a4及びa5は、“0”に定められる。また、思考レベルEC1は、上述の式(5)に各係数aの値を代入することにより、式(5a)により表される。
【0155】
EC1=(EE1+EE2+EE3)/3 …(5a)
【0156】
なお、6個の係数aは、6種類の感情要素のうち、ラッセルの円環モデルにおける覚醒空間に属する感情要素に、出力に応じた重みを付けすることにより、定められてもよい。この場合、図12に示す例では、係数a1は、“0.4”に定められ、係数a2は、“0.15”に定められ、係数a6は、“0.45”に定められる。そして、係数a3、a4及びa5は、“0”に定められる。また、思考レベルEC1は、上述の式(5)に各係数aの値を代入することにより、式(5b)により表される。
【0157】
EC1=0.4*EE1+0.15*EE2+0.45*EE3 …(5b)
【0158】
また、6個の係数bは、6種類の感情要素のうち、ラッセルの円環モデルにおける快空間に属する感情要素に均等に重み付けすることにより、定められてもよい。この場合、図12に示す例では、係数b2及びb6は、“1/2”に定められ、係数b1、b3、b4及びb5は、“0”に定められる。また、思考レベルEC2は、上述の式(6)に各係数bの値を代入することにより、式(6a)により表される。
【0159】
EC2=(EE2+EE6)/2 …(6a)
【0160】
なお、6個の係数bは、6種類の感情要素のうち、ラッセルの円環モデルにおける快空間に属する感情要素に、出力に応じた重みを付けすることにより、定められてもよい。この場合、図12に示す例では、係数b2は、“0.8”に定められ、係数b6は、“0.2”に定められる。そして、係数b1、b3、b4及びb5は、“0”に定められる。また、思考レベルEC2は、上述の式(6)に各係数bの値を代入することにより、式(6b)により表される。
【0161】
EC2=0.8*EE2+0.2*EE6 …(6b)
【0162】
なお、6個の係数a(a1、a2、a3、a4、a5及びa6)の各々と、6個の係数b(b1、b2、b3、b4、b5及びb6)の各々との算出方法は、上述の例に限定されない。
【0163】
以上、第3実施形態においても、上述した第1実施形態及び第2実施形態と同様の効果を得ることができる。また、本実施形態では、推定部204Bは、各生徒UaのN種類の感情レベルEEに基づいて、各生徒Uaの感情状態及び思考状態のうちの思考状態に関する思考要素の大きさを示す思考レベルECを推定する。例えば、推定部204Bは、思考要素に応じたN個の重み係数(係数a及び係数b等)を各生徒UaのN種類の感情レベルEEにそれぞれ乗算することにより得られるN個の乗算結果に基づいて、各生徒Uaの思考レベルECを推定してもよい。また、解析部210は、複数の生徒Uaの各々のN種類の感情レベルEEと複数の生徒Uaの各々の思考レベルECとに基づいて、複数の生徒Uaの全体に係る心理の傾向を解析する。
【0164】
このように、本実施形態では、N種類の感情レベルEEに加えて、思考レベルECが推定される。すなわち、本実施形態では、生徒Ua全体の心理傾向等の解析に用いられる心理要素の数を増加させることができる。この結果、本実施形態では、生徒Ua全体の心理傾向をより詳細に解析することができる。
【0165】
また、本実施形態では、各生徒UaのN種類の感情レベルEEと生徒Uaの思考レベルECとに基づく生徒Ua全体の心理傾向の解析結果を、教師Ubの端末装置10bの表示装置180に表示させることができる。例えば、N種類の平均感情レベルEEa及びK種類の平均思考レベルECa等を示す支援画像IMGが教師Ubの端末装置10bの表示装置180に表示される。このため、教師Ubは、生徒Ua全体の心理傾向を、思考要素を含めた観点から検討できる。
【0166】
また、本実施形態では、思考レベルECの推定に思考要素に応じたN個の重み係数が用いられる場合、N個の重み係数を適切に定めることにより、思考レベルECの推定精度を向上させることができる。
【0167】
[4.第4実施形態]
図13は、第4実施形態に係る管理装置20の機能的な構成の一例を示す機能ブロック図である。図1から図12において説明した要素と同様の要素については、同一の符号を付し、詳細な説明を省略する。
【0168】
本実施形態の第2実施形態に対する主な相違点は、複数の生徒Uaの全体に係る心理の傾向が解析される代わりに、複数の生徒Uaのうちの2人以上の生徒Uaが属するグループの心理の傾向が解析される点である。
【0169】
本実施形態に係る端末装置10の構成は、第2実施形態に係る端末装置10の構成(例えば、図2に示した端末装置10の構成)と同様である。また、本実施形態に係る管理装置20の構成は、第2実施形態に係る管理装置20の構成(例えば、図3に示した管理装置20の構成)と同様である。但し、記憶装置220に記憶される制御プログラムPR22は、図9に示した制御プログラムPR21と相違する。すなわち、本実施形態に係る管理装置20の処理装置200は、図9に示した制御プログラムPR21の代わりに制御プログラムPR23を実行することを除いて、図9に示した処理装置200と同様である。例えば、処理装置200は、記憶装置220から読み出した制御プログラムPR23を実行した場合、図9に示した処理装置200の機能に加えて抽出部216としても機能する点を除いて、制御プログラムPR21を実行した処理装置200と同様である。すなわち、処理装置200は、記憶装置220から読み出した制御プログラムPR23を実行することにより、取得部202、推定部204A、解析部210、特定部212、支援情報生成部214及び抽出部216として機能する。
【0170】
取得部202及び推定部204Aは、図9に示した取得部202及び推定部204Aと同様である。
【0171】
抽出部216は、予め決められた選抜条件に基づいて、複数の生徒Uaから2人以上の生徒Uaを抽出する。抽出部216により抽出された2人以上の生徒Uaは、「複数の対象者」の一例である。選抜条件は、複数の生徒Uaをグループ化できる条件であれば、特に限定されない。例えば、選抜条件は、N種類の心理要素のうちの少なくとも1つの心理要素の大きさに関する条件であってもよい。本実施形態では、6種類の心理レベルEのうちの少なくとも1つの心理レベルEが閾値以上又は閾値以下であることが選抜条件である場合を想定する。
【0172】
例えば、抽出部216は、嫌悪の大きさを示す心理レベルE4が“0.7”以上の生徒Uaを抽出してもよい。この場合、授業に嫌気がさしている生徒Uaをグループ化することができる。また、例えば、抽出部216は、興味の大きさを示す心理レベルE5が“0.75”以上の生徒Uaを抽出してもよい。この場合、授業に関心の高い生徒Uaをグループ化することができる。
【0173】
抽出部216は、複数の生徒Uaから選抜条件に基づいて抽出した2人以上の生徒Uaの各々の識別情報IDを、解析部210に出力する。なお、例えば、複数の生徒Uaが選抜条件基づいて複数のグループに分けられる場合、抽出部216は、選抜条件に基づくグループ毎に、当該グループに属する全ての生徒Uaの識別情報IDを、解析部210に出力する。
【0174】
解析部210は、心理傾向の解析対象を除いて、図9に示した解析部210と同様である。例えば、解析部210は、複数の生徒Uaの全体に係る心理の傾向を解析する代わりに、抽出部216により抽出された2人以上の生徒Uaが属するグループの心理の傾向を解析する。なお、グループの心理の傾向は、例えば、グループに属する生徒Uaの全体に係る心理の傾向である。以下では、グループに属する生徒Uaの全体に係る心理の傾向、及び、複数の生徒Uaのうちの2人以上の生徒Uaが属するグループの心理の傾向を、グループの心理傾向と総称する場合がある。
【0175】
例えば、解析部210は、抽出部216により抽出された生徒Uaの識別情報ID(選抜条件に基づいて抽出された2人以上の生徒Uaの各々の識別情報ID)に対応するN種類の心理レベルEを、管理テーブルTBLから読み出す。そして、解析部210は、管理テーブルTBLから読み出したN種類の心理レベルEに基づいて、グループの心理傾向を解析する。グループの心理傾向を解析する場合の解析部210の動作は、例えば、上述した図7において説明したステップS300の処理(ステップS320からステップS360までの一連の処理)と同様である。また、解析部210は、グループの心理傾向を示す心理指標として、各心理レベルEの平均値を示す平均心理レベルEaを、特定部212及び支援情報生成部214に出力する。
【0176】
特定部212は、生徒Ua全体の心理傾向を代表する生徒Uaを特定する代わりに、グループの心理傾向を代表する生徒Uaを特定することを除いて、図9に示した特定部212と同様である。例えば、グループの心理傾向を代表する生徒Uaを特定する場合の特定部212の動作は、上述した図8に示した動作と同様である。但し、図8に示したステップS464では、グループに属する全ての生徒Uaの識別情報IDに対して類似度が算出されたか否かが判定される。
【0177】
支援情報生成部214は、生徒Ua全体の心理傾向を示す支援情報の代わりにグループの心理傾向を示す支援情報を生成することを除いて、図9に示した支援情報生成部214と同様である。例えば、支援情報生成部214は、グループの心理傾向を代表する生徒Uaの識別情報IDと、グループの心理傾向をN種類の心理要素の大きさにより示した心理指標とを、教師Ubに利用される端末装置10bの表示装置180に表示させる。
【0178】
図14は、図13に示した抽出部216により抽出されたグループの心理傾向の解析結果の一例を説明するための説明図である。
【0179】
例えば、興味の大きさを示す心理レベルE5が“0.75”以上の生徒Uaをグループ化した場合、授業に関心の高い生徒Uaが属するグループの心理傾向を示すレーダーチャートが、教師Ubに利用される端末装置10bの表示装置180に表示される。また、例えば、嫌悪の大きさを示す心理レベルE4が“0.7”以上の生徒Uaをグループ化した場合、授業に嫌気がさしている生徒Uaが属するグループの心理傾向を示すレーダーチャートが、教師Ubに利用される端末装置10bの表示装置180に表示される。
【0180】
このように、本実施形態では、様々な選抜条件に基づくグループの心理傾向を示すレーダーチャート等を教師Ubに利用される端末装置10bの表示装置180に表示させることができる。このため、教師Ubは、様々な選抜条件により抽出された生徒Uaのグループの心理傾向を把握できる。例えば、教師Ubは、「興味」が低いグループを代表する生徒Uaを指名し、クイズ等により「興味」を引き出すインタラクティブなやり取り等を通じて学習への「興味」を高めることができる。そして、教師Ubは、理解できた生徒Uaを褒めることにより「喜び」を高める等の柔軟性のある説明方針をとることができる。この結果、本実施形態では、学習効率及び授業の質を高めることができる。
【0181】
以上、第4実施形態においても、上述した第1実施形態及び第2実施形態と同様の効果を得ることができる。また、本実施形態では、管理装置20は、予め決められた選抜条件に基づいて、複数の生徒Uaから2人以上の生徒Ua(複数の対象者)を抽出する抽出部216をさらに有する。選抜条件は、例えば、N種類の心理要素のうちの少なくとも1つの心理要素の大きさに関する条件であってもよい。
【0182】
このように、本実施形態では、選抜条件に基づいて、複数の生徒Uaをグループ化することができる。従って、本実施形態では、様々な選抜条件に基づくグループの心理傾向を示す心理指標を教師Ubに利用される端末装置10bの表示装置180に表示させることができる。この結果、本実施形態では、様々な選抜条件により抽出された生徒Uaのグループの心理傾向を教師Ubが把握できるため、学習効率及び授業の質を高めることができる。
【0183】
[5.第5実施形態]
図15は、第5実施形態に係る管理装置20の機能的な構成の一例を示す機能ブロック図である。図1から図14において説明した要素と同様の要素については、同一の符号を付し、詳細な説明を省略する。
【0184】
本実施形態の第3実施形態に対する主な相違点は、生徒Ua全体の心理傾向が解析される代わりに、複数の生徒Uaのうちの2人以上の生徒Uaが属するグループの心理傾向が解析される点である。また、本実施形態の第4実施形態に対する主な相違点は、各生徒UaのN種類の感情レベルEEに基づいて、各生徒Uaの思考状態に関する思考要素の大きさを示す思考レベルECが推定される点である。
【0185】
本実施形態に係る端末装置10の構成は、第3実施形態等に係る端末装置10の構成(例えば、図2に示した端末装置10の構成)と同様である。また、本実施形態に係る管理装置20の構成は、第3実施形態等に係る管理装置20の構成(例えば、図3に示した管理装置20の構成)と同様である。但し、記憶装置220に記憶される制御プログラムPR22は、図11に示した制御プログラムPR22及び図13に示した制御プログラムPR23と相違する。すなわち、本実施形態に係る管理装置20の処理装置200は、図11に示した制御プログラムPR22の代わりに制御プログラムPR24を実行することを除いて、図11に示した処理装置200と同様である。例えば、処理装置200は、記憶装置220から読み出した制御プログラムPR24を実行した場合、図11に示した処理装置200の機能に加えて抽出部216としても機能する点を除いて、制御プログラムPR22を実行した処理装置200と同様である。すなわち、処理装置200は、記憶装置220から読み出した制御プログラムPR24を実行することにより、取得部202、推定部204B、解析部210、特定部212、支援情報生成部214及び抽出部216として機能する。
【0186】
取得部202、推定部204B、解析部210、特定部212及び支援情報生成部214は、図11に示した取得部202、推定部204B、解析部210、特定部212及び支援情報生成部214と同様である。但し、解析部210は、図13に示した解析部210と同様に、生徒Ua全体の心理傾向の代わりにグループの心理傾向を解析する。従って、特定部212及び支援情報生成部214の処理では、図13に示した特定部212及び支援情報生成部214の処理と同様に、生徒Ua全体の心理傾向の解析結果の代わりにグループの心理傾向の解析結果が用いられる。
【0187】
抽出部216は、図13に示した抽出部216と同様である。但し、選抜条件は、例えば、N種類の感情要素及びK種類の思考要素のうちの少なくとも1つの心理要素の大きさに関する条件であってもよい。例えば、抽出部216は、「納得」に関する思考レベルEC2を用いて複数の生徒Uaの中から、授業に納得していない生徒Uaをグループ化してもよい。この場合、特定部212は、授業に納得していない生徒Uaが属するグループを代表する生徒Uaを、特定する。また、支援情報生成部214は、例えば、特定部212により特定された生徒Uaの識別情報ID、及び、授業に納得していない生徒Uaが属するグループの心理傾向を示すレーダーチャート等を、教師Ubに利用される端末装置10bの表示装置180に表示させる。従って、教師Ubは、授業に納得していない生徒Uaが属するグループを代表する生徒Uaに対して質問できる。
【0188】
以上、第5実施形態においても、上述した第1実施形態から第4実施形態までの実施形態と同様の効果を得ることができる。
【0189】
[6.変形例]
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
【0190】
[第1変形例]
上述した実施形態では、特定部212が、生徒Ua全体の心理傾向を代表する生徒Ua、又は、グループの心理傾向を代表する生徒Uaを特定する場合を示したが、本発明はこのような態様に限定されるものではない。例えば、特定部212は、授業に対して最も否定的な感情を抱く生徒Uaを特定してもよい。この場合、特定部212は、例えば、怒りの大きさを示す心理レベルE1、悲しみの大きさを示す心理レベルE3、及び、嫌悪の大きさを示す心理レベルE4に基づいて、授業に対して最も否定的な感情を抱く生徒Uaを特定してもよい。
【0191】
具体的には、特定部212は、心理レベルE1、E3及びE4の合計値と、心理レベルE1、E3及びE4のうちの最大値と、心理レベルE1、E3及びE4の平均値とのうちのいずれかを、評価値として、生徒Ua毎に算出してもよい。そして、特定部212は、複数の生徒Ua(第4実施形態及び第5実施形態では、グループに属する全ての生徒Ua)のうち、評価値が最も大きい生徒Uaを、授業に対して最も否定的な感情を抱く生徒Uaとして特定してもよい。この場合、教師Ubは、例えば、授業に対して最も否定的な感情を抱く生徒Uaに声をかけることにより、生徒Uaを取りこぼさない授業をできる。
【0192】
また、例えば、特定部212は、理解度及び興味が低い生徒Ua、又は、理解度は低いが興味が大きい生徒Ua等を、複数の心理要素の各々の大きさに基づいて特定してもよい。この場合、教師Ubは、理解度の低い生徒Uaに対する説明方針を、授業に対する興味があるかないかによって決定できる。例えば、理解度及び興味が低い生徒Uaに対しては、先ず、授業に興味を持たせる説明が求められる。このように、教師Ubは、生徒Ua全体の理解度の単一の指標のみが教師Ubに提供される場合に比べて、柔軟に対応できる。
【0193】
以上、第1変形例においても、上述した実施形態と同様の効果を得ることができる。
【0194】
[第2変形例]
上述した実施形態及び変形例において、管理テーブルTBLの他に、学習ログテーブルが記憶装置220に記憶されてもよい。例えば、学習ログテーブルは、学習ログを識別情報IDに対応付けて記憶する。学習ログは、例えば、生徒Uaの学習履歴及び生徒Uaの属性の一方又は両方を含む。学習履歴としては、例えば、成績、質問の回数、理解度及び積極度等が記録される。理解度は、例えば、授業内容に関連する問題の正答率であってもよい。また、積極度は、例えば、自習時間から算出されてもよい。また、生徒Uaの属性には、年齢、性別等が含まれる。
【0195】
そして、学習ログテーブルは、例えば、特定部212により参照されてもよい。例えば、特定部212は、複数の代表候補の生徒Ua(例えば、生徒Ua全体の心理傾向を代表する複数の生徒Ua等)を特定した後、学習ログテーブルに基づいて、複数の代表候補の生徒Uaのうちの一の生徒Uaを特定してもよい。具体的には、特定部212は、複数の代表候補の生徒Uaのうち、学習ログテーブルにより示される質問の回数が最も少ない生徒Uaを、特定してもよい。
【0196】
あるいは、支援情報生成部214は、心理傾向を示す支援画像IMG2の他に、複数の代表候補の生徒Uaの識別情報IDと、複数の代表候補の生徒Uaの学習履歴とを、教師Ubに利用される端末装置10bの表示装置180に表示させてもよい。この場合、教師Ubは、表示装置180に表示された複数の代表候補の生徒Uaの学習履歴を確認することにより、例えば、複数の代表候補の生徒Uaのうち、質問の回数が最も少ない生徒Uaに声を掛けることができる。
【0197】
また、第2変形例が第4実施形態又は第5実施形態に適用される場合、学習ログテーブルは、抽出部216により参照されてもよい。例えば、生徒Uaの学習履歴及び生徒Uaの属性の一方又は両方に関する条件が選抜条件である場合、抽出部216は、学習ログテーブルを参照し、複数の生徒Uaのうち、選抜条件を満たす2人以上の生徒Uaを特定してもよい。この場合、学習履歴に関する選抜条件は、例えば、成績、質問の回数、理解度及び積極度等の学習指標が上位の所定数に入ることであってもよいし、学習指標が下位の所定数に入ることであってもよい。このように、第2変形例では、選抜条件等を柔軟に定めることができる。なお、選抜条件は、心理要素に関する条件、生徒Uaの学習履歴に関する条件、及び、生徒Uaの属性に関する条件の一部又は全部を含んでもよい。
【0198】
以上、第2変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。さらに、第2変形例では、生徒Ua全体の心理傾向(第4実施形態及び第5実施形態では、グループの心理傾向)を代表する生徒Uaを特定するための所定の条件等を、生徒Uaの学習履歴及び生徒Uaの属性の一方又は両方に基づいて定めることができる。この結果、第2変形例では、所定の条件等を柔軟に定めることができる。
【0199】
[第3変形例]
上述した実施形態及び変形例では、N種類の心理要素がN種類の感情要素である場合を示したが、本発明はこのような態様に限定されるものではない。例えば、N種類の心理要素は、N種類の思考要素であってもよい。この場合においても、N種類の思考レベルECは、例えば、個別情報に基づいて推定された複数の感情レベルEEに基づいて、推定されてもよい。また、N種類の思考レベルECは、例えば、複数の感情レベルEEが推定されることなく、個別情報に基づいて推定されてもよい。また、複数の心理要素が感情要素と思考要素とを含む場合においても、思考レベルECは、例えば、複数の感情レベルEEを用いずに、個別情報に基づいて推定されてもよい。
【0200】
このように、第3変形例では、各生徒Uaの心理状態は、各生徒Uaの感情状態及び各生徒Uaの思考状態の一方又は両方を含む。第3変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0201】
[第4変形例]
上述した第2実施形態から第5実施形態までの実施形態及び変形例において、統合部208は、N種類の第1心理レベルEg及びN種類の第2心理レベルEvを識別情報IDに対応付けて管理テーブルTBLに記憶してもよい。この場合、解析部210は、管理テーブルTBLを参照することにより、N種類の第1心理レベルEg及びN種類の第2心理レベルEvに基づいて、生徒Ua全体の心理傾向(第4実施形態及び第5実施形態では、グループの心理傾向)を解析してもよい。
【0202】
例えば、心理要素が6種類の場合、解析部210は、6種類の第1心理レベルEgを、1番目から6番目までの心理レベルEとし、6種類の第2心理レベルEvを、7番目から12番目までの心理レベルEとして、生徒Ua全体の心理傾向等を解析してもよい。また、解析部210は、例えば、第1心理レベルEgの傾向が第2心理レベルEvの傾向と同様か否かを相関値等により算出し、算出した相関値を、生徒Ua全体の心理傾向等の解析に用いてもよい。
【0203】
以上、第4変形例においても、上述した第2実施形態から第5実施形態までの実施形態及び変形例と同様の効果を得ることができる。
【0204】
[第5変形例]
上述した第4実施形態、第5実施形態及び変形例において、解析部210は、グループの心理傾向の解析に用いる心理レベルEを、選抜条件に基づいて選択してもよい。例えば、興味の大きさを示す心理レベルE5が“0.75”以上であることが選抜条件である場合、解析部210は、N種類の心理レベルEから心理レベルE5を除いた(N-1)種類の心理レベルE等に基づいて、グループの心理傾向を解析してもよい。なお、選抜条件によっては、選抜条件に関係ない心理レベルE等が、グループの心理傾向の解析に用いる心理レベルEから除かれてもよい。
【0205】
以上、第5変形例においても、上述した第4実施形態、第5実施形態及び変形例と同様の効果を得ることができる。さらに、第5変形例では、グループの心理傾向の解析に用いる心理レベルEが選抜条件に基づいて選択されるため、グループの心理傾向を適切に解析できる。
【0206】
[第6変形例]
上述した実施形態及び変形例では、教師Ubに利用される端末装置10bとは別に管理装置20を情報処理システム1が有する場合を示したが、本発明はこのような態様に限定されるものではない。例えば、端末装置10bが、管理装置20の機能を有してもよい。端末装置10bが管理装置20の機能を有する場合、端末装置10bは、「情報処理装置」の一例である。
【0207】
以上、第6変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0208】
[第7変形例]
上述した実施形態及び変形例において、情報処理システム1がオンライン授業に利用される場合を示したが、本発明はこのような態様に限定されるものではない。例えば、情報処理システム1は、オンライン会議システム、オンライン商談システム及びオンラインディスカッションスステム等に利用されてもよい。
【0209】
例えば、情報処理システム1がオンライン会議システムに利用される場合、会議を進行する進行役に利用される端末装置10bの表示装置180には、複数の聴者の全体の反応を示す支援画像IMGが表示される。従って、進行役は、複数の聴者の全体の反応を伺いながら意見を述べること、及び、複数の聴者のうちの最も否定的な反応をしている聴者を指名して意見を求めること等により、会議を進行できる。進行役は、「特定人物」の一例である。
【0210】
また、例えば、情報処理システム1がオンライン商談システムに利用される場合、商品又はサービスを提案する提案者に利用される端末装置10bの表示装置180には、複数の顧客等の人物の全体の反応を示す支援画像IMGが表示される。従って、提案者は、複数の人物の全体の反応を伺いながら商品又はサービスを提案すること、及び、複数の人物のうちの最も肯定的な反応をしている人物に賛同のコメントを求めること等により、商談を進めることができる。提案者は、「特定人物」の一例である。また、複数の顧客は、「複数の聴者」の一例である。
【0211】
また、例えば、情報処理システム1がオンラインディスカッションスステムに利用される場合、1人の話者と複数の聴者とが次々に変化するため、複数の聴者の全体の反応を示す支援画像IMGが表示される端末装置10は、話者の変化に応じて変化してもよい。あるいは、ディスカッションに参加している全ての人(話者及び複数の聴者)の端末装置10の各々の表示装置180に、支援画像IMGが表示されてもよい。情報処理システム1がオンラインディスカッションスステムに利用される場合、例えば、個別情報が生成される所定の周期に対応する各タイムフレームにおいて、話者は、複数の聴者の全体の反応を伺いながら持論を展開できる。また、聴者の反応が話者の評価に利用されてもよい。話者は、「特定人物」の一例である。
【0212】
以上、第7変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0213】
[7.その他]
(1)上述した実施形態では、記憶装置(例えば、記憶装置120及び220)は、処理装置(例えば、処理装置100及び200)が読取可能な記録媒体であり、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
【0214】
(2)上述した実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、FRA(Future Radio Access)、NR(new Radio)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
【0215】
(3)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0216】
(4)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0217】
(5)上述した実施形態において、判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0218】
(6)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0219】
(7)図2図3及び図4等の図面に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0220】
また、通信装置140及び240は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置140及び240は、例えば、周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
【0221】
(8)上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0222】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0223】
(9)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0224】
(10)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
【0225】
(11)上述した実施形態において、端末装置10は、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
【0226】
(12)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0227】
(13)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0228】
(14)本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0229】
(15)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0230】
(16)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0231】
(17)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0232】
(18)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0233】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【符号の説明】
【0234】
1…情報処理システム、10…端末装置、20…管理装置、100…処理装置、120…記憶装置、140…通信装置、160…操作装置、162…音声入力装置、164…撮像装置、180…表示装置、182…音声出力装置、200…処理装置、202…取得部、204、204A、204B…推定部、205…感情推定部、206…第1推定部、207…第2推定部、208…統合部、209…思考推定部、210…解析部、212…特定部、214…支援情報生成部、216…抽出部、NW…ネットワーク。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15