ホーム > 特許ランキング > カシオ計算機株式会社
特開2024-154575情報処理装置、情報処理システム、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154575
(43)【公開日】2024-10-31
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20241024BHJP
【ＦＩ】
A61B5/16 110
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023068468
(22)【出願日】2023-04-19
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】石原 正規
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038PP03
4C038PQ06
(57)【要約】
【課題】より適切に心理状態を推定する。
【解決手段】情報処理装置は、ユーザの身体の動きを検出するセンサからの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいてユーザの心理状態を推定する処理部を備える。また、情報処理システムは、ユーザの身体の動きを検出するセンサからの出力データに基づいてユーザのしぐさを検出する第１の処理部を備える第１の装置と、第１処理部により検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいてユーザの心理状態を推定する第２の処理部を備える第２の装置と、を備える。
【選択図】図８
【解決手段】情報処理装置は、ユーザの身体の動きを検出するセンサからの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいてユーザの心理状態を推定する処理部を備える。また、情報処理システムは、ユーザの身体の動きを検出するセンサからの出力データに基づいてユーザのしぐさを検出する第１の処理部を備える第１の装置と、第１処理部により検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいてユーザの心理状態を推定する第２の処理部を備える第２の装置と、を備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する処理部を備える情報処理装置。
【請求項2】
前記対応関係情報においては、異なる複数種類のしぐさの各々に対して、少なくとも１つの前記心理状態が対応付けられており、
前記処理部は、前記対応関係情報において、検出された前記ユーザのしぐさに対応する心理状態を前記ユーザの心理状態として推定する、
請求項１に記載の情報処理装置。
前記処理部は、前記対応関係情報において、検出された前記ユーザのしぐさに対応する心理状態を前記ユーザの心理状態として推定する、
請求項１に記載の情報処理装置。
【請求項3】
前記対応関係情報において、前記心理状態は、心理を或る観点で定量化するための心理尺度と、当該心理尺度の程度との組み合わせにより表されている、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記対応関係情報において、心理的なストレスの度合いを表すストレス度を前記心理尺度とする心理状態、及び、心理的に集中していない度合いを表す散漫度を前記心理尺度とする心理状態の少なくとも一方が、前記複数種類のしぐさのうち少なくとも１つに対応付けられている、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記対応関係情報において、前記心理状態は、心理を或る観点で定量化するための心理尺度と、当該心理尺度の程度との組み合わせにより表されており、
前記処理部は、推定した前記ユーザの心理状態の前記心理尺度が心理的なストレスの度合いを表すストレス度であり、かつ、当該ストレス度の程度が第１の基準値以上である場合に、前記ユーザに対してストレスの緩和を促す報知を報知部に行わせる、
請求項１に記載の情報処理装置。
前記処理部は、推定した前記ユーザの心理状態の前記心理尺度が心理的なストレスの度合いを表すストレス度であり、かつ、当該ストレス度の程度が第１の基準値以上である場合に、前記ユーザに対してストレスの緩和を促す報知を報知部に行わせる、
請求項１に記載の情報処理装置。
【請求項6】
前記対応関係情報において、前記心理状態は、心理を或る観点で定量化するための心理尺度と、当該心理尺度の程度との組み合わせにより表されており、
前記処理部は、推定した前記ユーザの心理状態の前記心理尺度が心理的に集中していない度合いを表す散漫度であり、かつ、当該散漫度の程度が第２の基準値以上である場合に、前記ユーザに対して集中を促す報知を報知部に行わせる、
請求項１に記載の情報処理装置。
前記処理部は、推定した前記ユーザの心理状態の前記心理尺度が心理的に集中していない度合いを表す散漫度であり、かつ、当該散漫度の程度が第２の基準値以上である場合に、前記ユーザに対して集中を促す報知を報知部に行わせる、
請求項１に記載の情報処理装置。
【請求項7】
前記処理部は、推定した前記ユーザの心理状態が所定の動作実行条件を満たす場合に、前記ユーザの心理状態の変化を誘起する動作を所定の装置に行わせる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記処理部は、
或る心理状態を誘起する或る行動をとるように前記ユーザに対して指示する指示動作を所定の動作部に行わせ、
前記指示動作の開始後に前記センサからの前記出力データに基づいて検出された、前記ユーザの前記或る行動における或るしぐさに基づいて、前記対応関係情報における前記或るしぐさと前記或る心理状態との対応関係に係る情報を補正する、
請求項１に記載の情報処理装置。
或る心理状態を誘起する或る行動をとるように前記ユーザに対して指示する指示動作を所定の動作部に行わせ、
前記指示動作の開始後に前記センサからの前記出力データに基づいて検出された、前記ユーザの前記或る行動における或るしぐさに基づいて、前記対応関係情報における前記或るしぐさと前記或る心理状態との対応関係に係る情報を補正する、
請求項１に記載の情報処理装置。
【請求項9】
ユーザの身体の動きを検出するセンサからの出力データに基づいて前記ユーザのしぐさを検出する第１の処理部を備える第１の装置と、
前記第１の処理部により検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する第２の処理部を備える第２の装置と、
を備える情報処理システム。
前記第１の処理部により検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する第２の処理部を備える第２の装置と、
を備える情報処理システム。
【請求項10】
コンピュータが実行する情報処理方法であって、
ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する情報処理方法。
ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する情報処理方法。
【請求項11】
コンピュータに、ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、ユーザの身体に装着されて用いられる機器に、ユーザの身体の動きを検出可能な加速度センサやジャイロセンサ等のセンサを設け、当該センサによる検出結果からユーザの脈拍等の生体情報を取得する技術が知られている。また、この方法によって取得された生体情報に基づいて、ストレス度等の心理状態を推定する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１２１９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の方法では、生体情報に反映されにくい心理状態を推定することが困難である。また、生体情報は、心理状態以外の種々の要因で変動し得るので、上記の方法では、心理状態の推定結果がしばしば不適切となる。
このように、生体情報を用いる方法では、心理状態を適切に推定することが困難であるという課題がある。
このように、生体情報を用いる方法では、心理状態を適切に推定することが困難であるという課題がある。
【0005】
本発明は、より適切に心理状態を推定することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、
ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する処理部を備える。
ユーザの身体の動きを検出するセンサからの出力データに基づいて検出された前記ユーザのしぐさと、人のしぐさと心理状態との対応関係に係る対応関係情報と、に基づいて前記ユーザの心理状態を推定する処理部を備える。
【発明の効果】
【0007】
本発明によれば、より適切に心理状態を推定することができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの構成を示す図である。
【図2】ユーザの手首に装着された装着型装置を示す図である。
【図3】装着型装置の機能構成を示すブロック図である。
【図4】サーバの機能構成を示すブロック図である。
【図5】心理状態テーブルの内容例を示す図である。
【図6】第１の報知画面を示す図である。
【図7】第２の報知画面を示す図である。
【図8】学習支援処理の制御手順を示すフローチャートである。
【図9】心理状態テーブル補正処理の制御手順を示すフローチャートである。
【図10】変形例２に係る情報処理システムの構成を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を図面に基づいて説明する。
【0010】
（情報処理システムの構成）
図１は、本実施形態の情報処理システム１の構成を示す図である。
情報処理システム１は、ユーザの身体に装着されて用いられる装着型装置１０（情報処理装置、第２の装置）と、サーバ２０（第１の装置）と、スピーカー３０（所定の装置）と、アロマディフューザー４０（所定の装置）とを備える。装着型装置１０は、ネットワークＮを介してサーバ２０とデータ通信が可能に接続されている。ネットワークＮは、例えばインターネットであるが、これに限定されない。装着型装置１０とサーバ２０との間の通信経路には、無線による通信経路が含まれていてもよい。また、装着型装置１０は、スピーカー３０及びアロマディフューザー４０と所定の通信規格によるデータ通信が可能に接続されている。上記の通信規格は、特には限られないが、例えば、ブルートゥース（登録商標）等の近距離無線通信であってもよい。
図１は、本実施形態の情報処理システム１の構成を示す図である。
情報処理システム１は、ユーザの身体に装着されて用いられる装着型装置１０（情報処理装置、第２の装置）と、サーバ２０（第１の装置）と、スピーカー３０（所定の装置）と、アロマディフューザー４０（所定の装置）とを備える。装着型装置１０は、ネットワークＮを介してサーバ２０とデータ通信が可能に接続されている。ネットワークＮは、例えばインターネットであるが、これに限定されない。装着型装置１０とサーバ２０との間の通信経路には、無線による通信経路が含まれていてもよい。また、装着型装置１０は、スピーカー３０及びアロマディフューザー４０と所定の通信規格によるデータ通信が可能に接続されている。上記の通信規格は、特には限られないが、例えば、ブルートゥース（登録商標）等の近距離無線通信であってもよい。
【0011】
図２は、ユーザの手首に装着された装着型装置１０を示す図である。
本実施形態の装着型装置１０は、ユーザの手首に装着されて用いられるスマートウォッチである。装着型装置１０は、本体部１０ａと、本体部１０ａに取り付けられたバンド１０ｂと、本体部１０ａに設けられた表示部１４などを備える。装着型装置１０は、バンド１０ｂをユーザの手首に巻き回すことにより手首に装着される。図２に示す表示部１４は、複数のアプリケーションプログラム（以下「アプリ」と記す）のアイコン１４１が配列されたホーム画面を表示している。いずれかのアイコン１４１を選択する操作を行うことで、アイコン１４１に対応するアプリを起動することができる。本実施形態の装着型装置１０には、学習用のアプリがインストールされており、ユーザは、当該アプリを実行することで、種々の科目の学習を行うことができる。学習用のアプリの内容は、特には限られないが、例えば、所定の科目に係る情報を表示部１４に表示したり、科目に係る問題を出題してユーザの回答を採点したりするものであってもよい。
なお、装着型装置１０は、スマートウォッチのような汎用機器に限られず、学習を行うための専用機器であってもよい。
本実施形態の装着型装置１０は、ユーザの手首に装着されて用いられるスマートウォッチである。装着型装置１０は、本体部１０ａと、本体部１０ａに取り付けられたバンド１０ｂと、本体部１０ａに設けられた表示部１４などを備える。装着型装置１０は、バンド１０ｂをユーザの手首に巻き回すことにより手首に装着される。図２に示す表示部１４は、複数のアプリケーションプログラム（以下「アプリ」と記す）のアイコン１４１が配列されたホーム画面を表示している。いずれかのアイコン１４１を選択する操作を行うことで、アイコン１４１に対応するアプリを起動することができる。本実施形態の装着型装置１０には、学習用のアプリがインストールされており、ユーザは、当該アプリを実行することで、種々の科目の学習を行うことができる。学習用のアプリの内容は、特には限られないが、例えば、所定の科目に係る情報を表示部１４に表示したり、科目に係る問題を出題してユーザの回答を採点したりするものであってもよい。
なお、装着型装置１０は、スマートウォッチのような汎用機器に限られず、学習を行うための専用機器であってもよい。
【0012】
図３は、装着型装置１０の機能構成を示すブロック図である。
装着型装置１０は、ＣＰＵ１１（Central Processing Unit）（処理部、第２の処理部）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４（報知部、動作部）と、操作部１５と、センサ１６と、音出力部１７（報知部）と、通信部１８と、バス１９などを備える。装着型装置１０の各部は、バス１９を介して接続されている。
装着型装置１０は、ＣＰＵ１１（Central Processing Unit）（処理部、第２の処理部）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４（報知部、動作部）と、操作部１５と、センサ１６と、音出力部１７（報知部）と、通信部１８と、バス１９などを備える。装着型装置１０の各部は、バス１９を介して接続されている。
【0013】
ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出して実行し、各種演算処理を行うことで、サーバ２０の各部の動作を制御するプロセッサである。なお、装着型装置１０は、複数のプロセッサ（例えば複数のＣＰＵ）を有していてもよく、本実施形態のＣＰＵ１１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合には、複数のプロセッサが「処理部」に相当する。この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。
【0014】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
【0015】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、プログラム１３１及び各種データを記憶する。記憶部１３は、例えばフラッシュメモリ等の不揮発性メモリを含む。プログラム１３１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１３に格納されている。プログラム１３１は、上述の複数のアプリや、各種制御用のプログラム等を含む。また、記憶部１３に記憶されているデータとしては、後述するユーザの心理状態の推定に用いられる心理状態テーブル１３２（対応関係情報）等がある。心理状態テーブル１３２は、サーバ２０の心理状態テーブル２３２（図４参照、対応関係情報）と同一内容であってもよい。
【0016】
表示部１４は、ＣＰＵ１１による制御下で、アプリの情報表示画面、ユーザに対する報知を行うための報知画面、及び装着型装置１０のステータス等の各種情報を表示する。表示部１４としては、例えば、ドットマトリクス方式で表示を行う液晶表示装置を用いることができるが、これに限られない。表示部１４は、ユーザに対する報知としての画像の表示を行う報知部に相当する。
【0017】
操作部１５は、ユーザの入力操作を受け付けて、入力操作に応じた入力信号をＣＰＵ１１に出力する。操作部１５は、表示部１４の表示画面に重ねられて設けられたタッチパネルや、ハードウェアボタン等を備える。
【0018】
センサ１６は、装着型装置１０の動き、すなわち、装着型装置１０を装着しているユーザの身体の動きを検出し、検出結果に係る出力データをＣＰＵ１１に送信する。センサ１６は、直交３軸方向の加速度をそれぞれ検出する加速度センサ１６１と、直交３軸の各軸回りの角速度をそれぞれ検出するジャイロセンサ１６２と、を備える。なお、センサ１６の構成は、ユーザの身体の動きを検出可能なものであれば上記に限られない。例えば、センサ１６は、直交３軸方向の地磁気をそれぞれ検出する地磁気センサを備えていてもよい。
【0019】
音出力部１７は、ＣＰＵ１１から送信された制御信号に従ってビープ音等の報知音を出力する。音出力部１７は、ユーザに対する報知としての音の出力を行う報知部に相当する。
【0020】
通信部１８は、予め定められた通信規格に従った通信動作を行う。通信部１８は、この通信動作により、ネットワークＮを介してサーバ２０との間でデータの送受信を行う。また、通信部１８は、スピーカー３０及びアロマディフューザー４０との間で無線通信によるデータの送受信を行う。
【0021】
図４は、サーバ２０の機能構成を示すブロック図である。
サーバ２０は、ＣＰＵ２１（第１の処理部）と、ＲＡＭ２２と、記憶部２３と、通信部２４と、バス２５などを備える。サーバ２０の各部は、バス２５を介して接続されている。なお、サーバ２０は、サーバ２０の管理者により使用される操作部や表示部などをさらに備えていてもよい。
サーバ２０は、ＣＰＵ２１（第１の処理部）と、ＲＡＭ２２と、記憶部２３と、通信部２４と、バス２５などを備える。サーバ２０の各部は、バス２５を介して接続されている。なお、サーバ２０は、サーバ２０の管理者により使用される操作部や表示部などをさらに備えていてもよい。
【0022】
ＣＰＵ２１は、記憶部２３に記憶されているプログラム２３１を読み出して実行し、各種演算処理を行うことで、サーバ２０の各部の動作を制御するプロセッサである。なお、サーバ２０は、複数のプロセッサ（例えば複数のＣＰＵ）を有していてもよく、本実施形態のＣＰＵ２１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。
【0023】
ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。
【0024】
記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体であり、プログラム２３１及び各種データを記憶する。記憶部２３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。記憶部２３に記憶されているデータとしては、上述した心理状態テーブル２３２、及び学習モデル２３３がある。学習モデル２３３については後述する。
【0025】
通信部２４は、予め定められた通信規格に従った通信動作を行う。通信部２４は、この通信動作により、ネットワークＮを介して装着型装置１０との間でデータの送受信を行う。
【0026】
図１に示すスピーカー３０は、装着型装置１０から送信された制御信号や楽曲データに従って音楽等の音声を出力する。スピーカー３０は、装着型装置１０のユーザが音声を聞くことができる位置に配置されている。あるいは、スピーカー３０は、楽曲データが記憶された記憶部を備えていてもよく、装着型装置１０から送信された制御信号に従って当該楽曲データに係る音楽等の音声を出力してもよい。
【0027】
アロマディフューザー４０は、精油などの芳香剤の香りを雰囲気中に拡散させる機器である。アロマディフューザー４０は、装着型装置１０のユーザが香りを認識できる位置に配置されている。アロマディフューザー４０は、装着型装置１０から送信された制御信号に従って、香りを拡散させる動作を開始したり、当該動作を停止したりする。アロマディフューザー４０の方式は、特には限られないが、例えば、精油を滴下した水を超音波によってミスト状にして雰囲気中に拡散させる超音波方式などであってもよい。
【0028】
（情報処理システムの動作）
次に、情報処理システム１の動作について説明する。
本実施形態の情報処理システム１は、装着型装置１０のユーザが学習用のアプリを起動して学習を行っている際に、センサ１６の出力データに基づいてユーザのしぐさ（ジェスチャー）を検出し、検出したしぐさに基づいてユーザの心理状態を推定する。このように、本実施形態では、心拍、呼吸、体温といった生体情報を取得する生体センサを用いずに、センサ１６の出力データに基づいてユーザの心理状態が推定される。
また、情報処理システム１は、推定された心理状態に応じて、ユーザに対して心理状態の変化（例えば、改善）を促すようなフィードバックを行う。このフィードバックは、例えば、装着型装置１０の表示部１４が、所定の第１の報知画面１４２（図６参照）又は第２の報知画面１４３（図７参照）等の画像を表示する動作や、音出力部１７が所定の報知音を出力する動作である。また、推定された心理状態に応じて、スピーカー３０及び／又はアロマディフューザー４０が、ユーザの心理状態の変化（例えば、改善）を誘起するような動作を行う。当該動作は、例えば、スピーカー３０が音楽を出力する動作や、アロマディフューザー４０が香りを拡散させる動作である。
情報処理システム１は、これらの動作により、効率的に学習できるような心理状態を維持しやすくして、ユーザの学習を支援する。以下、これらの動作について詳しく説明する。
次に、情報処理システム１の動作について説明する。
本実施形態の情報処理システム１は、装着型装置１０のユーザが学習用のアプリを起動して学習を行っている際に、センサ１６の出力データに基づいてユーザのしぐさ（ジェスチャー）を検出し、検出したしぐさに基づいてユーザの心理状態を推定する。このように、本実施形態では、心拍、呼吸、体温といった生体情報を取得する生体センサを用いずに、センサ１６の出力データに基づいてユーザの心理状態が推定される。
また、情報処理システム１は、推定された心理状態に応じて、ユーザに対して心理状態の変化（例えば、改善）を促すようなフィードバックを行う。このフィードバックは、例えば、装着型装置１０の表示部１４が、所定の第１の報知画面１４２（図６参照）又は第２の報知画面１４３（図７参照）等の画像を表示する動作や、音出力部１７が所定の報知音を出力する動作である。また、推定された心理状態に応じて、スピーカー３０及び／又はアロマディフューザー４０が、ユーザの心理状態の変化（例えば、改善）を誘起するような動作を行う。当該動作は、例えば、スピーカー３０が音楽を出力する動作や、アロマディフューザー４０が香りを拡散させる動作である。
情報処理システム１は、これらの動作により、効率的に学習できるような心理状態を維持しやすくして、ユーザの学習を支援する。以下、これらの動作について詳しく説明する。
【0029】
＜しぐさの検出に係る動作＞
装着型装置１０において学習用のアプリが起動すると、装着型装置１０のＣＰＵ１１は、センサ１６からの出力データを継続的に取得する。ＣＰＵ１１は、所定期間分のセンサ１６の出力データが蓄積されるごとに、出力データをサーバ２０に送信する。ＣＰＵ１１は、送信前に、センサ１６の出力データに所定の加工（例えば、一定期間ごとの加速度や角速度の平均を取る処理等）を行ってもよい。
装着型装置１０において学習用のアプリが起動すると、装着型装置１０のＣＰＵ１１は、センサ１６からの出力データを継続的に取得する。ＣＰＵ１１は、所定期間分のセンサ１６の出力データが蓄積されるごとに、出力データをサーバ２０に送信する。ＣＰＵ１１は、送信前に、センサ１６の出力データに所定の加工（例えば、一定期間ごとの加速度や角速度の平均を取る処理等）を行ってもよい。
【0030】
サーバ２０のＣＰＵ２１は、装着型装置１０からセンサ１６の出力データを受信すると、当該出力データを学習モデル２３３に入力し、これに応じて学習モデル２３３が出力したユーザのしぐさの検出結果を取得する。
学習モデル２３３は、人の身体の動きを検出したセンサ１６からの出力データと、当該人が行っていたしぐさと、を教師データとして機械学習されている。この機械学習に用いられるデータは、複数の人のデータを含んでいてもよく、また、装着型装置１０のセンサ１６と同等の機能を有するセンサからの出力データが用いられてもよい。学習モデル２３３の構成は、特には限られないが、例えば、ニューラルネットワーク又はサポートベクターマシン等を用いたものであってもよい。上記のように機械学習された学習モデル２３３に対して、ユーザが装着型装置１０を装着した状態で取得されたセンサ１６の出力データを入力することで、当該ユーザのしぐさの検出結果を出力させることができる。
学習モデル２３３は、人の身体の動きを検出したセンサ１６からの出力データと、当該人が行っていたしぐさと、を教師データとして機械学習されている。この機械学習に用いられるデータは、複数の人のデータを含んでいてもよく、また、装着型装置１０のセンサ１６と同等の機能を有するセンサからの出力データが用いられてもよい。学習モデル２３３の構成は、特には限られないが、例えば、ニューラルネットワーク又はサポートベクターマシン等を用いたものであってもよい。上記のように機械学習された学習モデル２３３に対して、ユーザが装着型装置１０を装着した状態で取得されたセンサ１６の出力データを入力することで、当該ユーザのしぐさの検出結果を出力させることができる。
【0031】
本実施形態では、上記の方法により、ユーザの手首の動きによって特徴付けられる異なる複数種類のしぐさのいずれかをユーザが行ったか否かが判別される。複数種類のしぐさは、例えば、「頭を抱える」、「髪を触る」、「顔を触る」、「衣服や体を触る」、「揺動」、「腕時計を見る」等のしぐさを含む。ＣＰＵ２１は、学習モデル２３３から取得したユーザのしぐさの検出結果を装着型装置１０に送信する。
【0032】
なお、しぐさの検出方法は、上記に限られない。
例えば、サーバ２０の外部に設けられた外部装置に学習モデル２３３を設け、サーバ２０のＣＰＵ２１が当該外部装置の学習モデル２３３からしぐさの検出結果を取得してもよい。また、装着型装置１０に学習モデル２３３を設けて、装着型装置１０のＣＰＵ１１が当該学習モデル２３３からしぐさの検出結果を取得してもよい。
また、学習モデル２３３を用いずに、センサ１６の出力データを所定の解析処理にかけることでユーザのしぐさを検出してもよい。例えば、複数種類のしぐさの各々が行われたときのセンサ１６の出力データにおける加速度及び／又は角速度の時系列変化を、基準データとして予め所定の記憶部（例えば、記憶部１３又は記憶部２３）に記憶させておき、学習用のアプリの実行中に取得されたセンサ１６の出力データにおける加速度及び／又は角速度の時系列変化と、上記の基準データとを比較することで、ユーザのしぐさを検出してもよい。この場合におけるセンサ１６の出力データの解析処理は、装着型装置１０のＣＰＵ１１が実行してもよいし、サーバ２０のＣＰＵ２１が実行してもよい。
例えば、サーバ２０の外部に設けられた外部装置に学習モデル２３３を設け、サーバ２０のＣＰＵ２１が当該外部装置の学習モデル２３３からしぐさの検出結果を取得してもよい。また、装着型装置１０に学習モデル２３３を設けて、装着型装置１０のＣＰＵ１１が当該学習モデル２３３からしぐさの検出結果を取得してもよい。
また、学習モデル２３３を用いずに、センサ１６の出力データを所定の解析処理にかけることでユーザのしぐさを検出してもよい。例えば、複数種類のしぐさの各々が行われたときのセンサ１６の出力データにおける加速度及び／又は角速度の時系列変化を、基準データとして予め所定の記憶部（例えば、記憶部１３又は記憶部２３）に記憶させておき、学習用のアプリの実行中に取得されたセンサ１６の出力データにおける加速度及び／又は角速度の時系列変化と、上記の基準データとを比較することで、ユーザのしぐさを検出してもよい。この場合におけるセンサ１６の出力データの解析処理は、装着型装置１０のＣＰＵ１１が実行してもよいし、サーバ２０のＣＰＵ２１が実行してもよい。
【0033】
＜心理状態の推定に係る動作＞
装着型装置１０のＣＰＵ１１は、ユーザのしぐさの検出結果を受信すると、当該検出結果と、心理状態テーブル１３２と、に基づいて、ユーザの心理状態を推定する。この動作に先立って、ＣＰＵ１１は、サーバ２０から心理状態テーブル２３２を取得して、当該心理状態テーブル２３２と同一内容の心理状態テーブル１３２を記憶部１３に記憶させる。既に記憶部１３に心理状態テーブル１３２が記憶されている場合には、ＣＰＵ１１は、新たに取得した心理状態テーブル２３２と同一内容となるように心理状態テーブル１３２を更新する。このように心理状態テーブル１３２、２３２は同一内容であるので、以下の心理状態テーブル１３２についての説明は、心理状態テーブル２３２についても当て嵌まる。
装着型装置１０のＣＰＵ１１は、ユーザのしぐさの検出結果を受信すると、当該検出結果と、心理状態テーブル１３２と、に基づいて、ユーザの心理状態を推定する。この動作に先立って、ＣＰＵ１１は、サーバ２０から心理状態テーブル２３２を取得して、当該心理状態テーブル２３２と同一内容の心理状態テーブル１３２を記憶部１３に記憶させる。既に記憶部１３に心理状態テーブル１３２が記憶されている場合には、ＣＰＵ１１は、新たに取得した心理状態テーブル２３２と同一内容となるように心理状態テーブル１３２を更新する。このように心理状態テーブル１３２、２３２は同一内容であるので、以下の心理状態テーブル１３２についての説明は、心理状態テーブル２３２についても当て嵌まる。
【0034】
図５は、心理状態テーブル１３２の内容例を示す図である。
心理状態テーブル１３２は、人のしぐさと心理状態との対応関係に係る対応関係情報の一例である。心理状態テーブル１３２においては、異なる複数種類のしぐさの各々に対して、少なくとも１つの心理状態が対応付けられている。図５に示す例では、６種類のしぐさの各々に対して最大で３つの心理状態が対応付けられている。
心理状態は、心理を或る観点で定量化するための心理尺度Ｍと、当該心理尺度Ｍの程度Ｄとの組み合わせにより表されている。図５に示す例における心理尺度Ｍは、「ストレス度」、「散漫度」、「緊張度」であり、程度Ｄは、「０」～「５」の６段階とされている。
「ストレス度」は、心理的なストレスの度合いを表す心理尺度Ｍである。「ストレス度」の心理尺度Ｍは、程度Ｄが「０」の場合にストレスが最も低く、「５」の場合にストレスが最も高いことを表す。
「散漫度」は、心理的に集中していない度合いを表す心理尺度Ｍである。「散漫度」の心理尺度Ｍは、程度Ｄが「０」の場合に最も集中しており、「５」の場合に最も集中していない、すなわち最も意識が散漫となっていることを表す。
「緊張度」は、心理的な緊張の度合いを表す心理尺度Ｍである。「緊張度」の心理尺度Ｍは、程度Ｄが「０」の場合にが最もリラックスしており、「５」の場合に最も緊張していることを表す。
以下では、例えば、『心理尺度Ｍが「ストレス度」であり、かつ程度Ｄが「５」である心理状態』を、『「ストレス度」が「５」の心理状態』のように略して記す。
心理状態テーブル１３２は、人のしぐさと心理状態との対応関係に係る対応関係情報の一例である。心理状態テーブル１３２においては、異なる複数種類のしぐさの各々に対して、少なくとも１つの心理状態が対応付けられている。図５に示す例では、６種類のしぐさの各々に対して最大で３つの心理状態が対応付けられている。
心理状態は、心理を或る観点で定量化するための心理尺度Ｍと、当該心理尺度Ｍの程度Ｄとの組み合わせにより表されている。図５に示す例における心理尺度Ｍは、「ストレス度」、「散漫度」、「緊張度」であり、程度Ｄは、「０」～「５」の６段階とされている。
「ストレス度」は、心理的なストレスの度合いを表す心理尺度Ｍである。「ストレス度」の心理尺度Ｍは、程度Ｄが「０」の場合にストレスが最も低く、「５」の場合にストレスが最も高いことを表す。
「散漫度」は、心理的に集中していない度合いを表す心理尺度Ｍである。「散漫度」の心理尺度Ｍは、程度Ｄが「０」の場合に最も集中しており、「５」の場合に最も集中していない、すなわち最も意識が散漫となっていることを表す。
「緊張度」は、心理的な緊張の度合いを表す心理尺度Ｍである。「緊張度」の心理尺度Ｍは、程度Ｄが「０」の場合にが最もリラックスしており、「５」の場合に最も緊張していることを表す。
以下では、例えば、『心理尺度Ｍが「ストレス度」であり、かつ程度Ｄが「５」である心理状態』を、『「ストレス度」が「５」の心理状態』のように略して記す。
【0035】
心理状態テーブル１３２の作成方法は、特には限られないが、例えば、複数の人に、或る心理尺度Ｍの程度Ｄが高くなりやすい行動をとってもらい、その行動中に検出されやすかったしぐさほど、上記或る心理尺度Ｍの程度Ｄが高くなるように対応関係を決定してもよい。一例を挙げると、学習用のアプリにおいて、「ストレス度」の心理尺度Ｍの程度Ｄが高くなりやすい高難易度の問題を複数の人に出題し、回答中に６種類のしぐさの各々を行った人の数を特定し、より多くの人が行ったしぐさほど「ストレス度」の心理尺度Ｍの程度Ｄが大きくなるように程度Ｄを設定してもよい。あるいは、回答中に各しぐさを行った回数も考慮し、複数の人が各しぐさを行った累計回数が多いほど「ストレス度」の心理尺度Ｍの程度Ｄが大きくなるように程度Ｄを設定してもよい。また、複数の人に、或る心理尺度Ｍについて、程度Ｄの高くなりやすさが互いに異なる複数種類の行動の各々をとってもらい、各行動において検出されたしぐさに基づいて、心理状態テーブル１３２における当該心理尺度Ｍの程度Ｄとしぐさとの対応関係を決定してもよい。「散漫度」及び「緊張度」の心理尺度Ｍの程度Ｄについても同様の方法で設定することができる。
【0036】
心理状態テーブル１３２において各しぐさに対応する各心理尺度Ｍの程度Ｄから、ユーザの心理状態が推定される。例えば、図５に示す例においては、ユーザが「頭を抱える」しぐさを行ったことが検出された場合には、当該ユーザは、「ストレス度」が「５」の心理状態であり、「散漫度」が「３」の心理状態であり、かつ、「緊張度」が「２」の心理状態であると推定される。
【0037】
或る心理尺度Ｍについて程度Ｄが「０」となっている箇所は、しぐさと当該或る心理尺度Ｍとが相関を有しないこと、言い換えると、しぐさと当該或る心理尺度Ｍに係る心理状態とが対応付けられていないことを表す。図５に示す例においては、「衣服や体を触る」しぐさについて、「ストレス度」及び「緊張度」の程度Ｄが「０」となっているので、当該しぐさは「ストレス度」及び「緊張度」とは相関を有しない。言い換えると、「衣服や体を触る」しぐさには、「ストレス度」及び「緊張度」を心理尺度Ｍとする心理状態は対応付けられておらず、「散漫度」を心理尺度Ｍとする心理状態のみが対応付けられている。
【0038】
なお、図５の心理状態テーブル１３２は一例であり、種々の変更が可能である。
例えば、心理尺度Ｍの種類は３種類に限られず、２種類以下又は４種類以上であってもよい。これらの場合、心理状態テーブル１３２は、心理尺度Ｍとして「ストレス度」、「散漫度」及び「緊張度」のうちの少なくとも１つを含んでいてもよいし、これら以外の心理尺度Ｍのみを含んでいてもよい。
また、しぐさの種類は６種類に限られず、５種類以下又は７種類以上であってもよい。
また、程度Ｄは、「０」～「５」の６段階に限られず、相関がないことを表す「０」と、相関があることを表す「１」と、の２段階としてもよいし、「０」を含む３段階以上の任意の段階数としてもよい。程度Ｄは、数値によって表されていなくてもよく、例えば程度Ｄの大きさを表す符号等により表されていてもよい。
また、しぐさの種類に加えて、しぐさの強度（例えば、複数段階のいずれかの強度）を検出し、各しぐさの各強度に対してそれぞれ心理尺度の程度が対応付けられていてもよい。
また、サーバに複数種類の心理状態テーブル２３２を記憶させておき、これらの複数種類の心理状態テーブル２３２のうち、装着型装置１０のユーザに対応する１つの心理状態テーブル２３２を心理状態テーブル１３２として記憶部１３に記憶させ、心理状態の推定に用いてもよい。例えば、人の属性（年齢、性別、国籍、居住地等）ごとに心理状態テーブル２３２を作成しておき、装着型装置１０のユーザの属性に対応する心理状態テーブル２３２を取得して心理状態の推定に用いてもよい。
例えば、心理尺度Ｍの種類は３種類に限られず、２種類以下又は４種類以上であってもよい。これらの場合、心理状態テーブル１３２は、心理尺度Ｍとして「ストレス度」、「散漫度」及び「緊張度」のうちの少なくとも１つを含んでいてもよいし、これら以外の心理尺度Ｍのみを含んでいてもよい。
また、しぐさの種類は６種類に限られず、５種類以下又は７種類以上であってもよい。
また、程度Ｄは、「０」～「５」の６段階に限られず、相関がないことを表す「０」と、相関があることを表す「１」と、の２段階としてもよいし、「０」を含む３段階以上の任意の段階数としてもよい。程度Ｄは、数値によって表されていなくてもよく、例えば程度Ｄの大きさを表す符号等により表されていてもよい。
また、しぐさの種類に加えて、しぐさの強度（例えば、複数段階のいずれかの強度）を検出し、各しぐさの各強度に対してそれぞれ心理尺度の程度が対応付けられていてもよい。
また、サーバに複数種類の心理状態テーブル２３２を記憶させておき、これらの複数種類の心理状態テーブル２３２のうち、装着型装置１０のユーザに対応する１つの心理状態テーブル２３２を心理状態テーブル１３２として記憶部１３に記憶させ、心理状態の推定に用いてもよい。例えば、人の属性（年齢、性別、国籍、居住地等）ごとに心理状態テーブル２３２を作成しておき、装着型装置１０のユーザの属性に対応する心理状態テーブル２３２を取得して心理状態の推定に用いてもよい。
【0039】
＜心理状態の推定結果に応じた動作＞
装着型装置１０のＣＰＵ１１は、推定したユーザの心理状態が所定の報知実行条件を満たす場合に、当該報知実行条件に対応する内容の報知を表示部１４及び／又は音出力部１７に行わせる。
例えば、ＣＰＵ１１は、推定したユーザの心理状態に、心理尺度Ｍが「ストレス度」であり、かつ程度Ｄが第１の基準値以上である心理状態が含まれる場合に、第１の報知実行条件を満たすと判別し、ユーザに対してストレスの緩和を促す報知を行わせてもよい。第１の基準値は、ユーザ又は情報処理システム１の管理者等が適宜定めることができる。本実施形態では、第１の基準値は「４」であるものとする。図５の心理状態テーブル１３２において、ユーザの「顔を触る」しぐさが検出された場合、推定される心理状態には、「ストレス度」が「４」の心理状態が含まれる。よって、ＣＰＵ１１は、第１の報知実行条件を満たすと判別し、ストレスの緩和を促す報知を行わせる。例えば、ＣＰＵ１１は、図６に示すように、表示部１４に、「ストレスが高まっています。休憩をおすすめします。」との内容の第１の報知画面１４２を表示させる。これに加えて、又はこれに代えて、ＣＰＵ１１は、音出力部１７に所定の報知音を出力させてもよい。
装着型装置１０のＣＰＵ１１は、推定したユーザの心理状態が所定の報知実行条件を満たす場合に、当該報知実行条件に対応する内容の報知を表示部１４及び／又は音出力部１７に行わせる。
例えば、ＣＰＵ１１は、推定したユーザの心理状態に、心理尺度Ｍが「ストレス度」であり、かつ程度Ｄが第１の基準値以上である心理状態が含まれる場合に、第１の報知実行条件を満たすと判別し、ユーザに対してストレスの緩和を促す報知を行わせてもよい。第１の基準値は、ユーザ又は情報処理システム１の管理者等が適宜定めることができる。本実施形態では、第１の基準値は「４」であるものとする。図５の心理状態テーブル１３２において、ユーザの「顔を触る」しぐさが検出された場合、推定される心理状態には、「ストレス度」が「４」の心理状態が含まれる。よって、ＣＰＵ１１は、第１の報知実行条件を満たすと判別し、ストレスの緩和を促す報知を行わせる。例えば、ＣＰＵ１１は、図６に示すように、表示部１４に、「ストレスが高まっています。休憩をおすすめします。」との内容の第１の報知画面１４２を表示させる。これに加えて、又はこれに代えて、ＣＰＵ１１は、音出力部１７に所定の報知音を出力させてもよい。
【0040】
また、ＣＰＵ１１は、推定したユーザの心理状態に、心理尺度Ｍが「散漫度」であり、かつ程度Ｄが第２の基準値以上である心理状態が含まれる場合に、第２の報知実行条件を満たすと判別し、ユーザに対して集中を促す報知を行わせてもよい。第２の基準値は、ユーザ又は情報処理システム１の管理者等が適宜定めることができる。本実施形態では、第２の基準値は「４」であるものとする。図５の心理状態テーブル１３２において、ユーザの「髪を触る」しぐさが検出された場合、推定される心理状態には、「散漫度」が「４」の心理状態が含まれる。よって、ＣＰＵ１１は、第２の報知実行条件を満たすと判別し、集中を促す報知を行わせる。例えば、ＣＰＵ１１は、図７に示すように、表示部１４に、「集中力が低下しています。休憩をおすすめします。」との内容の第２の報知画面１４３を表示させる。これに加えて、又はこれに代えて、ＣＰＵ１１は、音出力部１７に所定の報知音を出力させてもよい。
【0041】
同様に、推定したユーザの心理状態に、心理尺度Ｍが「緊張度」であり、かつ程度Ｄが第３の基準値以上である心理状態が含まれる場合に、第３の報知実行条件を満たすと判別し、ユーザに対して緊張の緩和を促す報知を行わせてもよい。当該報知に係る第３の報知画面については、図示を省略する。
【0042】
また、ＣＰＵ１１は、推定したユーザの心理状態が所定の動作実行条件を満たす場合に、ユーザの心理状態の変化を誘起する動作をスピーカー３０及び／又はアロマディフューザー４０に行わせる。
例えば、ＣＰＵ１１は、推定したユーザの心理状態に、「ストレス度」が「４」以上の心理状態が含まれる場合に、第１の動作実行条件を満たすと判別し、アロマディフューザー４０に制御信号を送信して、ストレスの緩和を誘起する香りを拡散させる。ここでは、第１の動作実行条件は、上記の第１の報知実行条件と同一であるが、第１の動作実行条件と第１の報知実行条件とが異なっていてもよい。
また、ＣＰＵ１１は、推定したユーザの心理状態に、「散漫度」が「４」以上の心理状態が含まれる場合に、第２の動作実行条件を満たすと判別し、スピーカー３０に制御信号を送信して、集中を誘起する音楽を出力させる。ここでは、第２の動作実行条件は、上記の第２の報知実行条件と同一であるが、第２の動作実行条件と第２の報知実行条件とが異なっていてもよい。
同様に、ＣＰＵ１１は、「緊張度」に係る第３の動作実行条件を満たす場合に、緊張の緩和を誘起する動作をスピーカー３０及び／又はアロマディフューザー４０に行わせてもよい。
なお、ユーザの心理状態の変化を誘起する動作の主体はスピーカー３０及びアロマディフューザー４０に限られず、装着型装置１０であってもよい。例えば、ＣＰＵ１１は、動作実行条件を満たす場合に、心理状態の変化を誘起する画像を表示部１４に表示させたり、心理状態の変化を誘起する音声を音出力部１７に出力させたりしてもよい。
例えば、ＣＰＵ１１は、推定したユーザの心理状態に、「ストレス度」が「４」以上の心理状態が含まれる場合に、第１の動作実行条件を満たすと判別し、アロマディフューザー４０に制御信号を送信して、ストレスの緩和を誘起する香りを拡散させる。ここでは、第１の動作実行条件は、上記の第１の報知実行条件と同一であるが、第１の動作実行条件と第１の報知実行条件とが異なっていてもよい。
また、ＣＰＵ１１は、推定したユーザの心理状態に、「散漫度」が「４」以上の心理状態が含まれる場合に、第２の動作実行条件を満たすと判別し、スピーカー３０に制御信号を送信して、集中を誘起する音楽を出力させる。ここでは、第２の動作実行条件は、上記の第２の報知実行条件と同一であるが、第２の動作実行条件と第２の報知実行条件とが異なっていてもよい。
同様に、ＣＰＵ１１は、「緊張度」に係る第３の動作実行条件を満たす場合に、緊張の緩和を誘起する動作をスピーカー３０及び／又はアロマディフューザー４０に行わせてもよい。
なお、ユーザの心理状態の変化を誘起する動作の主体はスピーカー３０及びアロマディフューザー４０に限られず、装着型装置１０であってもよい。例えば、ＣＰＵ１１は、動作実行条件を満たす場合に、心理状態の変化を誘起する画像を表示部１４に表示させたり、心理状態の変化を誘起する音声を音出力部１７に出力させたりしてもよい。
【0043】
上記では、或るタイミングで推定された心理状態の程度Ｄに基づいて報知実行条件及び動作実行条件を判別したが、これに限られず、例えば、複数回にわたる心理状態の推定において心理尺度Ｍの程度Ｄを累積し、累積値に基づいて報知実行条件及び動作実行条件を判別してもよい。
【0044】
＜学習支援処理＞
次に、上述した動作を実現するためにＣＰＵ１１が実行する学習支援処理の一例について説明する。
図８は、学習支援処理の制御手順を示すフローチャートである。
図８では、サーバ２０が学習モデル２３３を用いてユーザのしぐさの検出を行う場合を例に挙げて説明する。また、「ストレス度」の程度Ｄが第１の基準値以上である場合に、第１の報知実行条件及び第１の動作実行条件が満たされ、「散漫度」の程度Ｄが第２の基準値以上である場合に、第２の報知実行条件及び第２の動作実行条件が満たされるものとする。
学習支援処理は、例えば、装着型装置１０において学習用のアプリが起動した場合に開始される。
次に、上述した動作を実現するためにＣＰＵ１１が実行する学習支援処理の一例について説明する。
図８は、学習支援処理の制御手順を示すフローチャートである。
図８では、サーバ２０が学習モデル２３３を用いてユーザのしぐさの検出を行う場合を例に挙げて説明する。また、「ストレス度」の程度Ｄが第１の基準値以上である場合に、第１の報知実行条件及び第１の動作実行条件が満たされ、「散漫度」の程度Ｄが第２の基準値以上である場合に、第２の報知実行条件及び第２の動作実行条件が満たされるものとする。
学習支援処理は、例えば、装着型装置１０において学習用のアプリが起動した場合に開始される。
【0045】
学習支援処理が開始されると、ＣＰＵ１１は、サーバ２０から心理状態テーブル２３２を取得し、同一内容の心理状態テーブル１３２を記憶部１３に記憶させる（ステップＳ１０１）。また、ＣＰＵ１１は、センサ１６の出力データの取得、及び当該出力データのサーバ２０への送信を開始する（ステップＳ１０２）。以降、サーバ２０は、センサ１６の出力データを学習モデル２３３に入力し、学習モデル２３３がユーザのいずれかのしぐさの検出結果を出力した場合に当該検出結果を装着型装置１０に送信する。
【0046】
ＣＰＵ１１は、ユーザのしぐさの検出結果をサーバ２０から受信したか否かを判別し（ステップＳ１０３）、当該検出結果を受信していないと判別された場合には（ステップＳ１０３で“ＮＯ”）、処理をステップＳ１１１に移行させる。また、ＣＰＵ１１は、当該検出結果を受信したと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、心理状態テーブル１３２を参照し、検出されたしぐさに対応する心理状態を推定する（ステップＳ１０４）。
【0047】
ＣＰＵ１１は、推定された心理状態が、「ストレス度」が第１の基準値以上の心理状態であるか否かを判別する（ステップＳ１０５）。当該心理状態であると判別された場合には（ステップＳ１０５で“ＹＥＳ”）、ＣＰＵ１１は、第１の報知実行条件を満たすと判別し、ストレスの緩和を促す報知を報知部に行わせる（ステップＳ１０６）。例えば、ＣＰＵ１１は、図６の第１の報知画面１４２を表示部１４に表示させる。また、ＣＰＵ１１は、第１の動作実行条件を満たすと判別し、アロマディフューザー４０を動作させて、ストレスの緩和を誘起する香りを拡散させる（ステップＳ１０７）。
【0048】
ステップＳ１０７が終了した場合、又は、ステップＳ１０５において「ストレス度」が第１の基準値以上の心理状態ではないと判別されている場合には（ステップＳ１０５で“ＮＯ”）、ＣＰＵ１１は、推定された心理状態が、「散漫度」が第２の基準値以上の心理状態であるか否かを判別する（ステップＳ１０８）。当該心理状態であると判別された場合には（ステップＳ１０８で“ＹＥＳ”）、ＣＰＵ１１は、第２の報知実行条件を満たすと判別し、集中を促す報知を報知部に行わせる（ステップＳ１０９）。例えば、ＣＰＵ１１は、図７の第２の報知画面１４３を表示部１４に表示させる。また、ＣＰＵ１１は、第２の動作実行条件を満たすと判別し、スピーカー３０を動作させて、集中を誘起する音楽を出力させる（ステップＳ１１０）。
【0049】
ステップＳ１１０が終了した場合、又は、ステップＳ１０８において「散漫度」が第２の基準値以上の心理状態ではないと判別されている場合には（ステップＳ１０８で“ＮＯ”）、ＣＰＵ１１は、学習用のアプリを終了させる操作がなされたか否かを判別する（ステップＳ１１１）。ＣＰＵ１１は、当該操作がなされていないと判別された場合には（ステップＳ１１１で“ＮＯ”）、処理をステップＳ１０３に戻し、当該操作がなされたと判別された場合には（ステップＳ１１１で“ＹＥＳ”）、学習支援処理を終了させる。
【0050】
（変形例１）
続いて上記実施形態の変形例１について説明する。変形例１は、装着型装置１０において心理状態テーブル１３２を補正する点が上記実施形態と異なり、その他の点は上記実施形態と同様である。以下では、上記実施形態との相違点について説明する。
続いて上記実施形態の変形例１について説明する。変形例１は、装着型装置１０において心理状態テーブル１３２を補正する点が上記実施形態と異なり、その他の点は上記実施形態と同様である。以下では、上記実施形態との相違点について説明する。
【0051】
或る心理状態において人が行うしぐさには個人差がある。このため、心理状態テーブル１３２におけるしぐさと心理状態との対応関係が、人によっては当て嵌まりにくい場合がある。
そこで、本変形例では、装着型装置１０のＣＰＵ１１は、サーバ２０から取得した内容の心理状態テーブル１３２を、装着型装置１０のユーザに合わせて補正する心理状態テーブル補正処理を実行する。
そこで、本変形例では、装着型装置１０のＣＰＵ１１は、サーバ２０から取得した内容の心理状態テーブル１３２を、装着型装置１０のユーザに合わせて補正する心理状態テーブル補正処理を実行する。
【0052】
図９は、心理状態テーブル補正処理の制御手順を示すフローチャートである。
心理状態テーブル補正処理は、例えば、ユーザにより心理状態テーブル１３２の補正を指示する操作がなされた場合等に開始される。
心理状態テーブル補正処理が開始されると、ＣＰＵ１１は、「ストレス度」の程度Ｄが或る基準値以上である心理状態を誘起するような高難度の問題を表示部１４に表示させて出題する（ステップＳ２０１）。ステップＳ２０１の処理は、「或る心理状態を誘起する或る行動をとるようにユーザに対して指示する指示動作を所定の動作部に行わせる処理」に相当する。本変形例においては、高難度の問題を解く動作が「或る行動」に相当し、高難度の問題を表示する動作が「指示動作」に相当し、当該動作を行う表示部１４が「動作部」に相当する。「指示動作」としては、高難度の問題を表示部１４に表示する動作に限らず、高難度の問題が記述された市販の書籍の部分を特定できる情報をユーザに対して提示する、すなわち、当該情報を表示部１４に表示したり、音声出力部１７から音声出力したりしてもよい。
心理状態テーブル補正処理は、例えば、ユーザにより心理状態テーブル１３２の補正を指示する操作がなされた場合等に開始される。
心理状態テーブル補正処理が開始されると、ＣＰＵ１１は、「ストレス度」の程度Ｄが或る基準値以上である心理状態を誘起するような高難度の問題を表示部１４に表示させて出題する（ステップＳ２０１）。ステップＳ２０１の処理は、「或る心理状態を誘起する或る行動をとるようにユーザに対して指示する指示動作を所定の動作部に行わせる処理」に相当する。本変形例においては、高難度の問題を解く動作が「或る行動」に相当し、高難度の問題を表示する動作が「指示動作」に相当し、当該動作を行う表示部１４が「動作部」に相当する。「指示動作」としては、高難度の問題を表示部１４に表示する動作に限らず、高難度の問題が記述された市販の書籍の部分を特定できる情報をユーザに対して提示する、すなわち、当該情報を表示部１４に表示したり、音声出力部１７から音声出力したりしてもよい。
【0053】
ＣＰＵ１１は、センサ１６の出力データの取得、及びサーバ２０への送信を開始する（ステップＳ２０２）。ＣＰＵ１１は、ユーザのしぐさの検出結果をサーバ２０から受信したか否かを判別し（ステップＳ２０３）、当該検出結果を受信したと判別された場合には（ステップＳ２０３で“ＹＥＳ”）、心理状態テーブル１３２において、検出されたしぐさに対応する「ストレス度」の程度Ｄを増大させる補正を行う（ステップＳ２０４）。ステップＳ２０４の処理は、対応関係情報における或るしぐさと或る心理状態との対応関係に係る情報を補正する処理に相当する。
【0054】
ステップＳ２０４が終了した場合、又はユーザのしぐさの検出結果をサーバ２０から受信していないと判別された場合には（ステップＳ２０３で“ＮＯ”）、ＣＰＵ１１は、出題が終了したか否かを判別する（ステップＳ２０５）。ＣＰＵ１１は、出題が終了していないと判別された場合には（ステップＳ２０５で“ＮＯ”）、処理をステップＳ２０３に戻す。ステップＳ２０３～Ｓ２０５のループ処理が繰り返されることで、高難度の問題を回答中に検出された各しぐさについて、しぐさの実行回数に応じた調整量で程度Ｄを増大させる補正がなされる。
出題が終了したと判別された場合には（ステップＳ２０５で“ＹＥＳ”）、心理状態テーブル補正処理を終了させる。
出題が終了したと判別された場合には（ステップＳ２０５で“ＹＥＳ”）、心理状態テーブル補正処理を終了させる。
【0055】
なお、問題の回答中に検出されなかったしぐさについて、心理状態テーブル１３２において、当該しぐさに対応する「ストレス度」の程度Ｄを減少させる補正を行ってもよい。
また、図９では「ストレス度」の程度Ｄを補正したが、「ストレス度」以外の各心理尺度Ｍについても同様の補正を行ってもよい。
また、上記では、サーバ２０から取得した内容の心理状態テーブル１３２を補正したが、所定の基準状態の心理状態テーブル１３２を上記方法により補正してもよい。基準状態の心理状態テーブル１３２は、例えば、各しぐさに対応する心理尺度Ｍの程度Ｄがすべて「０」になっているデータであってもよい。
また、図９では「ストレス度」の程度Ｄを補正したが、「ストレス度」以外の各心理尺度Ｍについても同様の補正を行ってもよい。
また、上記では、サーバ２０から取得した内容の心理状態テーブル１３２を補正したが、所定の基準状態の心理状態テーブル１３２を上記方法により補正してもよい。基準状態の心理状態テーブル１３２は、例えば、各しぐさに対応する心理尺度Ｍの程度Ｄがすべて「０」になっているデータであってもよい。
【0056】
（変形例２）
続いて上記実施形態の変形例２について説明する。変形例２は、情報処理システム１が装着型装置１０に加えて学習端末５０を備える点で上記実施形態と異なり、その他の点は上記実施形態と同様である。以下では、上記実施形態との相違点について説明する。変形例２は、変形例１と組み合わせてもよい。
続いて上記実施形態の変形例２について説明する。変形例２は、情報処理システム１が装着型装置１０に加えて学習端末５０を備える点で上記実施形態と異なり、その他の点は上記実施形態と同様である。以下では、上記実施形態との相違点について説明する。変形例２は、変形例１と組み合わせてもよい。
【0057】
図１０は、変形例２に係る情報処理システム１の構成を示す図である。
変形例２に係る情報処理システム１は、ユーザが使用する学習端末５０を備える。学習端末５０は、例えば、スマートフォン、タブレット端末、又はノートＰＣ等であってもよい。学習端末５０は、装着型装置１０と所定の通信規格によるデータ通信が可能に接続されている。上記の通信規格は、特には限られないが、例えば、ブルートゥース（登録商標）等の近距離無線通信であってもよい。本変形例２では、学習用のアプリは学習端末５０にインストールされており、ユーザは、学習端末５０上で学習を行う。このような構成においても、上記実施形態と同様に、装着型装置１０のセンサ１６の出力データに基づいてユーザのしぐさを検出し、検出されたしぐさに基づいてユーザの心理状態を推定することができる。この場合において、装着型装置１０、学習端末５０及びサーバ２０のいずれが心理状態を推定してもよく、心理状態を推定する装置が「情報処理装置」に相当する。
また、本変形例においては、装着型装置１０は学習に用いられないので、装着型装置１０の装着部位は、ユーザの視界に入る部位に限られず、例えば頭部、体幹部又は脚部等とすることもできる。
変形例２に係る情報処理システム１は、ユーザが使用する学習端末５０を備える。学習端末５０は、例えば、スマートフォン、タブレット端末、又はノートＰＣ等であってもよい。学習端末５０は、装着型装置１０と所定の通信規格によるデータ通信が可能に接続されている。上記の通信規格は、特には限られないが、例えば、ブルートゥース（登録商標）等の近距離無線通信であってもよい。本変形例２では、学習用のアプリは学習端末５０にインストールされており、ユーザは、学習端末５０上で学習を行う。このような構成においても、上記実施形態と同様に、装着型装置１０のセンサ１６の出力データに基づいてユーザのしぐさを検出し、検出されたしぐさに基づいてユーザの心理状態を推定することができる。この場合において、装着型装置１０、学習端末５０及びサーバ２０のいずれが心理状態を推定してもよく、心理状態を推定する装置が「情報処理装置」に相当する。
また、本変形例においては、装着型装置１０は学習に用いられないので、装着型装置１０の装着部位は、ユーザの視界に入る部位に限られず、例えば頭部、体幹部又は脚部等とすることもできる。
【0058】
（効果）
以上のように、本実施形態に係る装着型装置１０は、ユーザの身体の動きを検出するセンサ１６からの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る心理状態テーブル１３２と、に基づいてユーザの心理状態を推定するＣＰＵ１１を備える。ユーザのしぐさには、当該ユーザの心理状態が反映されやすい。また、心拍や呼吸といった生体情報に反映されない心理状態であっても、しぐさには反映され得る。このため、上記構成によれば、生体情報を用いる従来の方法と比較して、より適切にユーザの心理状態を推定することができる。また、生体情報を検出する生体センサを装着型装置１０に搭載する必要がないので、装着型装置１０の構成を簡素化することができる。これにより、装着型装置１０の製造コストを低減することができ、また、動作時の消費電力を低減することができる。また、心理状態テーブル１３２を変更する簡易な方法で、心理状態の推定アルゴリズムを切り替えることができる。
以上のように、本実施形態に係る装着型装置１０は、ユーザの身体の動きを検出するセンサ１６からの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る心理状態テーブル１３２と、に基づいてユーザの心理状態を推定するＣＰＵ１１を備える。ユーザのしぐさには、当該ユーザの心理状態が反映されやすい。また、心拍や呼吸といった生体情報に反映されない心理状態であっても、しぐさには反映され得る。このため、上記構成によれば、生体情報を用いる従来の方法と比較して、より適切にユーザの心理状態を推定することができる。また、生体情報を検出する生体センサを装着型装置１０に搭載する必要がないので、装着型装置１０の構成を簡素化することができる。これにより、装着型装置１０の製造コストを低減することができ、また、動作時の消費電力を低減することができる。また、心理状態テーブル１３２を変更する簡易な方法で、心理状態の推定アルゴリズムを切り替えることができる。
【0059】
また、心理状態テーブル１３２においては、異なる複数種類のしぐさの各々に対して、少なくとも１つの心理状態が対応付けられており、ＣＰＵ１１は、心理状態テーブル１３２において、検出されたユーザのしぐさに対応する心理状態をユーザの心理状態として推定する。これによれば、簡易な処理で心理状態を推定することができる。
【0060】
また、心理状態テーブル１３２において、心理状態は、心理を或る観点で定量化するための心理尺度Ｍと、当該心理尺度Ｍの程度Ｄとの組み合わせにより表されている。これにより、心理尺度Ｍの程度Ｄの大小を含む詳細な心理状態の推定が可能となる。
【0061】
また、心理状態テーブル１３２において、心理的なストレスの度合いを表す「ストレス度」を心理尺度Ｍとする心理状態、及び、心理的に集中していない度合いを表す「散漫度」を心理尺度Ｍとする心理状態の少なくとも一方が、複数種類のしぐさのうち少なくとも１つに対応付けられている。これにより、ユーザのストレス度及び／又は散漫度を推定することができる。
【0062】
また、ＣＰＵ１１は、推定したユーザの心理状態の心理尺度Ｍが「ストレス度」であり、かつ、当該「ストレス度」の程度Ｄが第１の基準値以上である場合に、ユーザに対してストレスの緩和を促す報知を表示部１４及び／又は音出力部１７に行わせる。当該報知より、心理状態の推定結果をユーザにフィードバックすることができ、ユーザに対して、効率的な学習が可能な心理状態を維持するように促すことができる。また、ストレスを緩和して効率的な学習が可能な心理状態を維持できるようにユーザを支援することができる。これにより、ユーザの学習の効率が高まるようにユーザの学習を支援することができる。
【0063】
また、ＣＰＵ１１は、推定したユーザの心理状態の心理尺度Ｍが「散漫度」であり、かつ、当該「散漫度」の程度Ｄが第２の基準値以上である場合に、ユーザに対して集中を促す報知を表示部１４及び／又は音出力部１７に行わせる。当該報知より、心理状態の推定結果をユーザにフィードバックすることができ、ユーザに対して、効率的な学習が可能な心理状態を維持するように促すことができる。また、集中度を高めて効率的な学習が可能な心理状態を維持できるようにユーザを支援することができる。これにより、ユーザの学習の効率が高まるようにユーザの学習を支援することができる。
【0064】
また、ＣＰＵ１１は、推定したユーザの心理状態が所定の動作実行条件を満たす場合に、ユーザの心理状態の変化を誘起する動作をスピーカー３０及び／又はアロマディフューザー４０に行わせる。これにより、ユーザが特段意識しなくても効率的な学習が可能な心理状態が維持されるように、心理状態の変化を誘起することができる。
【0065】
また、変形例１において、ＣＰＵ１１は、或る心理状態を誘起する或る行動をとるようにユーザに対して指示する指示動作を所定の動作部としての表示部１４に行わせ、指示動作の開始後にセンサ１６からの出力データに基づいて検出された、ユーザの或る行動における或るしぐさに基づいて、心理状態テーブル１３２における或るしぐさと或る心理状態との対応関係に係る情報を補正する。心理状態としぐさとの対応関係には個人差があるところ、上記構成によれば、ユーザごとのしぐさの癖が反映されるように心理状態テーブル１３２における心理状態としぐさとの対応関係を補正することができる。よって、より高精度にユーザの心理状態を推定することができる。
【0066】
また、本実施形態に係る情報処理システム１は、サーバ２０及び装着型装置１０を備え、サーバ２０は、ユーザの身体の動きを検出するセンサ１６からの出力データに基づいてユーザのしぐさを検出するＣＰＵ２１を有し、装着型装置１０は、検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る心理状態テーブル１３２と、に基づいてユーザの心理状態を推定するＣＰＵ１１を有する。これにより、より適切にユーザの心理状態を推定することができる。
【0067】
また、本実施形態に係る情報処理方法において、ＣＰＵ１１は、ユーザの身体の動きを検出するセンサ１６からの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る心理状態テーブル１３２と、に基づいてユーザの心理状態を推定する。これにより、より適切にユーザの心理状態を推定することができる。
情報処理装置。
情報処理装置。
【0068】
また、本実施形態に係るプログラム１３１は、ＣＰＵ１１に、ユーザの身体の動きを検出するセンサ１６からの出力データに基づいて検出されたユーザのしぐさと、人のしぐさと心理状態との対応関係に係る心理状態テーブル１３２と、に基づいてユーザの心理状態を推定する処理を実行させる。これにより、より適切にユーザの心理状態を推定することができる。
【0069】
（その他）
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、情報処理システム１においてサーバ２０を省略し、サーバ２０が行っていた機能を装着型装置１０（変形例２においては、装着型装置１０及び学習端末５０の少なくとも一方）が実行してもよい。
また、エッジコンピューティングを適用したシステム構成において心理状態を推定してもよい。例えば、コンピュータネットワークのエッジに相当する装着型装置１０のＣＰＵ１１がセンサ１６の出力データに基づいてしぐさを検出し、当該検出結果を受信したサーバ２０が、検出されたしぐさに基づいてユーザの心理状態を推定してもよい。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、情報処理システム１においてサーバ２０を省略し、サーバ２０が行っていた機能を装着型装置１０（変形例２においては、装着型装置１０及び学習端末５０の少なくとも一方）が実行してもよい。
また、エッジコンピューティングを適用したシステム構成において心理状態を推定してもよい。例えば、コンピュータネットワークのエッジに相当する装着型装置１０のＣＰＵ１１がセンサ１６の出力データに基づいてしぐさを検出し、当該検出結果を受信したサーバ２０が、検出されたしぐさに基づいてユーザの心理状態を推定してもよい。
【0070】
また、ユーザのしぐさの検出結果に基づく心理状態の推定、及び心理状態の推定結果に基づく報知等の各種動作は、上記実施形態で例示した学習時に限られず、スポーツや楽器等のトレーニング中や、心理状態の安定を要する運輸等の業務中に実施してもよい。
【0071】
また、上記実施形態では、心理状態テーブル１３２を参照することでユーザのしぐさに対応する心理状態を推定したが、心理状態の推定方法はこれに限られない。例えば、検出されたユーザのしぐさの種別、及び／又はしぐさの強度等を変数として心理状態を表す関係式を予め導出しておき、検出されたしぐさの種別及び／又は強度を当該関係式に入力することで心理状態を推定してもよい。この場合には、上記の関係式が「対応関係情報」に相当する。
【0072】
また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３のフラッシュメモリを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＨＤＤ、ＳＳＤ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【0073】
また、上記実施形態における情報処理システム１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【0074】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
【符号の説明】
【0075】
１ 情報処理システム
１０ 装着型装置（情報処理装置、第２の装置）
１１ ＣＰＵ（処理部、第２の処理部）
１４ 表示部（報知部、動作部）
１６ センサ
１７ 音出力部（報知部）
２０ サーバ（第１の装置）
２１ ＣＰＵ（第１の処理部）
３０ スピーカー（所定の装置）
４０ アロマディフューザー（所定の装置）
１３１ プログラム
１３２、２３２ 心理状態テーブル（対応関係情報）
１４２ 第１の報知画面（画像）
１４３ 第２の報知画面（画像）
Ｄ 程度
Ｍ 心理尺度
１０ 装着型装置（情報処理装置、第２の装置）
１１ ＣＰＵ（処理部、第２の処理部）
１４ 表示部（報知部、動作部）
１６ センサ
１７ 音出力部（報知部）
２０ サーバ（第１の装置）
２１ ＣＰＵ（第１の処理部）
３０ スピーカー（所定の装置）
４０ アロマディフューザー（所定の装置）
１３１ プログラム
１３２、２３２ 心理状態テーブル（対応関係情報）
１４２ 第１の報知画面（画像）
１４３ 第２の報知画面（画像）
Ｄ 程度
Ｍ 心理尺度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】