(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】情報処理装置、制御方法及びプログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20240918BHJP
【FI】
A61B5/16 110
A61B5/16 120
(21)【出願番号】P 2022572832
(86)(22)【出願日】2020-12-28
(86)【国際出願番号】 JP2020049145
(87)【国際公開番号】W WO2022144978
(87)【国際公開日】2022-07-07
【審査請求日】2023-06-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】古川 あずさ
(72)【発明者】
【氏名】辻川 剛範
(72)【発明者】
【氏名】渋谷 恵
【審査官】遠藤 直恵
(56)【参考文献】
【文献】国際公開第2019/022242(WO,A1)
【文献】特開2009-018047(JP,A)
【文献】特開2018-140162(JP,A)
【文献】特開2018-011892(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06-5/22
(57)【特許請求の範囲】
【請求項1】
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
を備え
、
前記ストレス状態は、複数のレベルに分類されており、
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、情報処理装置。
【請求項2】
前記メンタル傾向推定手段は、前記複数組に基づき、前記ストレス状態が入力された場合に対応するメンタル状態を出力する推論モデルの学習を行い、当該学習により得られた前記推論モデルに関する情報を、前記傾向を表すメンタル傾向情報として生成する、請求項1に記載の情報処理装置。
【請求項3】
前記メンタル傾向推定手段は、前記対象者に好影響を与えるストレス状態である場合の前記傾向と、前記対象者に悪影響を及ぼすストレス状態である場合の前記傾向とを推定する、請求項
1または2に記載の情報処理装置。
【請求項4】
前記複数組の各々には、前記好影響か前記悪影響かを判定する判定フラグが紐付かれている、請求項
3に記載の情報処理装置。
【請求項5】
前記取得手段は、前記ストレス状態として、前記対象者の慢性ストレス及び急性ストレスを取得する、請求項1~
4のいずれか一項に記載の情報処理装置。
【請求項6】
前記傾向と、当該傾向の推定後に取得した前記対象者のストレス状態とに基づき、前記対象者のメンタル状態を推定するメンタル状態推定手段と、
前記メンタル状態推定手段による推定結果に関する情報を出力する出力制御手段と、
をさらに有する、請求項1~
5のいずれか一項に記載の情報処理装置。
【請求項7】
コンピュータが、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定
し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
制御方法。
【請求項8】
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定
し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、内面状態の推定に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
対象者の内面状態を推定する装置又はシステムが知られている。例えば、特許文献1には、心拍相当データの測定結果に基づきストレス度を判定し、アンケート結果に基づいて被検者のメンタル状態を判定する心身状態自覚支援装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
どのような状況でどのようなメンタル状態となるかについては個人差があり、メンタル状態を被検者自身による主観評価によらずに推定するには、個人毎のメンタル状態の傾向を的確に推定する必要がある。
【0005】
本開示の目的は、上述した課題を鑑み、メンタル状態の傾向を好適に推定することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
情報処理装置の一の態様は、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
を備え、
前記ストレス状態は、複数のレベルに分類されており、
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
情報処理装置である。
【0007】
制御方法の一の態様は、
コンピュータが、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
制御方法である。
【0008】
プログラムの一の態様は、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0009】
本開示によれば、対象者のメンタル状態の傾向を的確に推定することができる。
【図面の簡単な説明】
【0010】
【
図1】第1実施形態に係るメンタル状態推定システムの概略構成を示す。
【
図4】(A)第1生成例において用いる同一人物から取得した学習データセットを可視化した図である。(B)第1生成例における学習データセットの統計情報を表すテーブルである。(C)第1生成例におけるメンタル傾向情報の一例を示す。
【
図5】第2生成例により生成されるメンタル傾向情報のデータ構造の一例を示す。
【
図6】(A)第3生成例における学習データセットの生成に関する概要図を示す。(B)第3生成例において生成されたメンタル傾向情報のデータ構造の一例を示す。
【
図7】メンタル傾向情報の生成に関する処理手順を示すフローチャートの一例である。
【
図8】メンタル状態の推定に関する処理手順を示すフローチャートの一例である。
【
図9】第2実施形態に係るメンタル状態推定システムの概略構成を示す。
【
図10】第3実施形態における情報処理装置のブロック図である。
【
図11】第3実施形態において情報処理装置が実行するフローチャートの一例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。
【0012】
<第1実施形態>
(1)
システム構成
図1は、第1実施形態に係るメンタル状態推定システム100の概略構成を示す。メンタル状態推定システム100は、ストレス状態に応じた対象者のメンタル状態の傾向を推定し、推定した傾向に基づきメンタル状態の推定及び推定結果の提示を行う。ここで、「対象者」は、組織によりメンタル状態の管理が行われるスポーツ選手又は従業員であってもよく、個人のユーザであってもよい。また、「メンタル状態」は、対象者の心の状態(心理状態、精神状態)を指し、具体的には、対象者の気分、感情、又は行動傾向(例えば、課題に対する態度・姿勢の傾向、物事への反応の傾向、他人に対する態度・姿勢の傾向等を含む)を指す。
【0013】
メンタル状態推定システム100は、主に、情報処理装置1と、入力装置2と、出力装置3と、記憶装置4と、センサ5とを備える。
【0014】
情報処理装置1は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置2、出力装置3、及びセンサ5とデータ通信を行う。そして、情報処理装置1は、入力装置2から供給される入力信号「S1」、センサ5から供給されるセンサ信号「S3」、及び記憶装置4に記憶された情報に基づいて、対象者のメンタル状態の傾向の推定等を行う。また、情報処理装置1は、対象者のメンタル状態の傾向又は/及び当該傾向に基づくメンタル状態の推定結果に関する出力信号「S2」を生成し、生成した出力信号S2を出力装置3に供給する。
【0015】
入力装置2は、各対象者に関する情報の手入力(外部入力)を受け付けるインターフェースである。なお、入力装置2を用いて情報の入力を行うユーザは、対象者本人であってもよく、対象者の活動を管理又は監督する者であってもよい。入力装置2は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置2は、生成した入力信号S1を、情報処理装置1へ供給する。出力装置3は、情報処理装置1から供給される出力信号S2に基づき、所定の情報を表示又は音出力する。出力装置3は、例えば、ディスプレイ、プロジェクタ、スピーカ等である。
【0016】
センサ5は、対象者の生体データ(生体信号)等を測定し、測定した生体データ等を、センサ信号S3として情報処理装置1へ供給する。この場合、センサ信号S3は、対象者のストレス推定に用いられる任意の生体データ(例えば、心拍、脳波、発汗量、ホルモン分泌量、脳血流、血圧、体温、筋電、心電、呼吸数等)であってもよい。また、センサ5は、対象者から採取された血液を分析し、その分析結果をセンサ信号S3として出力する装置であってもよい。また、センサ5は、対象者が装着するウェアラブル端末であってもよく、対象者を撮影するカメラ又は対象者の発話の音声信号を生成するマイク等であってもよい。
【0017】
記憶装置4は、メンタル状態の推定等に必要な各種情報を記憶するメモリである。記憶装置4は、情報処理装置1に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置4は、情報処理装置1とデータ通信を行うサーバ装置であってもよい。また、記憶装置4は、複数の装置から構成されてもよい。
【0018】
記憶装置4は、機能的には、学習データセット記憶部41と、メンタル傾向情報記憶部42とを有している。
【0019】
学習データセット記憶部41は、各個人のストレス状態に応じたメンタル状態の傾向(「メンタル傾向」とも呼ぶ。)を推定するために必要な学習データセットを記憶する。具体的には、学習データセット記憶部41には、被検者のストレス状態と当該ストレス状態が測定された時点での対象者のメンタル状態との複数の組である学習データセットが記憶される。言い換えると、学習データセット記憶部41は、定期的又は不定期に測定されたストレス状態とメンタル状態との組を学習データセットとして蓄積している。学習データセットは、例えば、被検者の識別情報と紐付いて学習データセット記憶部41に記憶されている。
【0020】
メンタル傾向情報記憶部42は、各個人のストレス状態に応じたメンタル傾向を表す情報であるメンタル傾向情報を記憶する。メンタル傾向情報は、学習データセット記憶部41に記憶された学習データセットに基づき、対象者毎に情報処理装置1によって生成される。メンタル傾向情報は、対応する対象者の識別情報と紐付けられてメンタル傾向情報記憶部42に記憶される。メンタル傾向情報は、ストレス状態とメンタル状態との対応関係を表すテーブル情報であってもよく、ストレス状態からメンタル状態を推定する推論モデル(「メンタル推定モデル」とも呼ぶ。)に関する情報であってもよい。後者の場合、メンタル推定モデルは、例えば、回帰モデル(統計モデル)又は機械学習モデルであり、この場合、メンタル傾向情報記憶部42は、メンタル推定モデルを構成するために必要なパラメータの情報を記憶する。例えば、メンタル推定モデルが畳み込みニューラルネットワークなどのニューラルネットワークに基づくモデルである場合、メンタル傾向情報記憶部42は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータの情報を記憶する。
【0021】
なお、
図1に示すメンタル状態推定システム100の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置2及び出力装置3は、一体となって構成されてもよい。この場合、入力装置2及び出力装置3は、情報処理装置1と一体又は別体となるタブレット型端末として構成されてもよい。また、入力装置2とセンサ5とは、一体となって構成されてもよい。また、情報処理装置1は、複数の装置から構成されてもよい。この場合、情報処理装置1を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。この場合、情報処理装置1は、情報処理システムとして機能する。
【0022】
(2)
情報処理装置のハードウェア構成
図2は、情報処理装置1のハードウェア構成を示す。情報処理装置1は、ハードウェアとして、プロセッサ11と、メモリ12と、インターフェース13とを含む。プロセッサ11、メモリ12及びインターフェース13は、データバス19を介して接続されている。
【0023】
プロセッサ11は、メモリ6に記憶されているプログラムを実行することにより、情報処理装置1の全体の制御を行うコントローラ(演算装置)として機能する。プロセッサ11は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などのプロセッサである。プロセッサ11は、複数のプロセッサから構成されてもよい。プロセッサ11は、コンピュータの一例である。
【0024】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ12には、情報処理装置1が実行する処理を実行するためのプログラムが記憶される。なお、メモリ12が記憶する情報の一部は、情報処理装置1と通信可能な1又は複数の外部記憶装置により記憶されてもよく、情報処理装置1に対して着脱自在な記憶媒体により記憶されてもよい。
【0025】
インターフェース13は、情報処理装置1と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
【0026】
なお、情報処理装置1のハードウェア構成は、
図2に示す構成に限定されない。例えば、情報処理装置1は、入力装置2又は出力装置3の少なくとも一方を含んでもよい。また、情報処理装置1は、スピーカなどの音出力装置と接続又は内蔵してもよい。
【0027】
(3)
機能ブロック
図3は、情報処理装置1の機能ブロックの一例である。情報処理装置1のプロセッサ11は、機能的には、メンタル状態判定部14と、ストレス状態判定部15と、メンタル傾向推定部16と、メンタル状態推定部17と、出力制御部18とを有する。なお、
図3では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは
図3に限定されない。後述する他の機能ブロックの図においても同様である。
【0028】
メンタル状態判定部14は、アンケート回答結果を表す入力信号S1に基づき、アンケート回答者のメンタル状態を判定する。この場合、メンタル状態判定部14は、メンタル状態を測定するための任意のアンケートによる主観評価方法に基づき、入力信号S1が示すアンケート回答結果から、アンケート回答者のメンタル状態を推定する。アンケートに基づくメンタル状態の測定方法は、例えば、KOKOROスケール、PANAS(Positive and Negative Affect Schedule)などが存在する。アンケートを実行する場合、メンタル状態判定部14は、アンケート回答画面を表示するための表示信号である出力信号S2を、インターフェース13を介して出力装置3に送信することで、アンケート回答画面を出力装置3に表示させる。また、メンタル状態判定部14は、アンケート回答画面での回答結果を表す入力信号S1を、インターフェース13を介して入力装置2から受信する。
【0029】
ストレス状態判定部15は、センサ5から供給されるセンサ信号S3が表す生体データに基づき、センサ信号S3の測定が行われた対象者のストレス状態の判定を行う。この場合、例えば、センサ信号S3からストレス状態を判定するために必要な情報は、記憶装置4又はメモリ12に予め記憶されており、ストレス状態判定部15は、この情報を参照してセンサ信号S3からストレス状態を判定する。この場合、上述の情報は、例えば、深層学習等の機械学習によって予め学習された推論モデルに関する情報であってもよい。なお、生体データ等からストレス状態を判定(推定)する手法は種々存在し、ストレス状態判定部15は、これらのいずれの手法によってストレス状態を判定してもよい。ここで、ストレス状態判定部15が判定するストレス状態は、ストレス推定値そのものであってもよく、ストレス推定値と1又は複数の閾値との比較により定めたストレスのレベルであってもよい。後者の場合、例えば、ストレス状態は、ストレス推定値がある閾値よりも高い高ストレス状態と、ストレス推定値が当該閾値以下となる低ストレス状態とに分類される。
【0030】
なお、メンタル状態判定部14及びストレス状態判定部15の判定は、同一対象者を対象として実質的に同一のタイミングにより実行され、これらの判定結果を表す情報は、学習データセットとして、対象者の識別情報等と紐付けられて学習データセット記憶部41に記憶される。
【0031】
メンタル傾向推定部16は、学習データセット記憶部41に記憶された学習データセットに基づき、対象者のメンタル傾向の推定を行うことでメンタル傾向情報を生成する。そして、メンタル傾向推定部16は、生成したメンタル傾向情報を、対象者の識別情報と紐付けてメンタル傾向情報記憶部42に記憶する。メンタル傾向推定部16の具体的な処理については後述する。
【0032】
メンタル状態推定部17は、メンタル傾向情報記憶部42にメンタル傾向情報が存在する対象者のメンタル状態を推定する。この場合、メンタル状態推定部17は、センサ信号S3に基づきストレス状態判定部15が判定したストレス状態と、対象者のメンタル傾向情報とに基づき、対象者のメンタル状態を推定する。この場合、メンタル状態推定部17は、対象者にアンケートの回答等の主観評価を実行させることなく、対象者のメンタル状態を好適に推定する。メンタル状態推定部17は、メンタル状態の推定結果を出力制御部18に供給する。
【0033】
出力制御部18は、メンタル状態推定部17によるメンタル状態の推定結果に関する情報を出力する。例えば、出力制御部18は、メンタル状態推定部17による推定結果を、表示部に表示する、又は、音出力部により音声出力する。この場合、出力制御部18は、メンタル状態推定部17が使用したメンタル傾向情報が表す対象者のメンタル傾向についても表示又は音声出力してもよい。また、出力制御部18は、メンタル状態と必要なアドバイスとを対応付けたアドバイス情報を参照し、推定したメンタル状態に対応するアドバイスを出力してもよい。この場合、アドバイス情報は、記憶装置4又はメモリ12に予め記憶されている。
【0034】
なお、
図3において説明したメンタル状態判定部14、ストレス状態判定部15、メンタル傾向推定部16、メンタル状態推定部17及び出力制御部18の各構成要素は、例えば、プロセッサ11がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばFPGA(Field-Programmable Gate Array)又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ASSP(Application Specific Standard Produce)、ASIC(Application Specific Integrated Circuit)又は量子プロセッサ(量子コンピュータ制御チップ)により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。
【0035】
(4)メンタル傾向情報の生成
次に、メンタル傾向推定部16によるメンタル傾向情報の生成の具体例である第1生成例~第4生成例について説明する。
【0036】
(4-1)第1生成例
図4(A)は、第1生成例において用いる学習データセット(ここでは、同一人物に対する10組分のメンタル状態とストレス状態の判定結果)を可視化した図である。ここでは、一例として、メンタル状態は、KOKOROスケールに従い、ワクワクする気分を正としイライラする気分を負とする縦軸と、安心な気分を正とし不安な気分を負とする横軸とを有する座標系での2次元座標値により表されている。また、ストレス状態は、所定の閾値よりストレス推定値が高い状態である高ストレス状態と、ストレス推定値が当該閾値以下の状態である低ストレス状態との2段階にレベル分けされている。
図4(A)に示すように、低ストレス状態と高ストレス状態とでは、メンタル状態の縦軸の値については傾向の差異がないものの、メンタル状態の横軸の値について傾向の差異が生じている。
【0037】
図4(B)は、第1生成例における学習データセットの統計情報を表すテーブルである。
図4(B)に示すテーブルは、メンタル状態の軸ごとに、高ストレス状態での平均値(平均値以外の代表値であってもよい、以下同じ。)と、低ストレス状態での平均値と、これらの平均値の差とを夫々示している。
図4(B)に示されるように、メンタル状態の横軸における高ストレス状態での平均値と低ストレス状態での平均値との差(7)は、縦軸における高ストレス状態での平均値と低ストレス状態での平均値との差(1.5)よりも大きくなっている。
【0038】
この場合、メンタル傾向推定部16は、対象者について、差が最も大きい軸(ここでは横軸)に関するメンタル状態の傾向を推定する。
図4(C)は、メンタル傾向推定部16が生成するメンタル傾向情報の一例を示す。
【0039】
ここでは、メンタル傾向推定部16は、
図4(A)に示す学習データセットの取得元である対象者(対象者ID「X0」)に対し、高ストレス状態と低ストレス状態とでのメンタル状態の横軸に関する傾向を表すメンタル傾向情報のレコードを生成している。ここでは、メンタル状態の横軸における低ストレス状態での平均値が負値であることから、低ストレス状態でのメンタル状態を「不安な気分」とし、メンタル状態の横軸における高ストレス状態での平均値が正値であることから、高ストレス状態でのメンタル状態を「安心な気分」としている。
【0040】
このように、メンタル傾向推定部16は、ストレス状態のレベル間で差(ばらつき)が最も多いメンタル状態の軸に関する各ストレス状態での傾向を特定し、特定した傾向を表すメンタル傾向情報を生成する。これにより、メンタル傾向推定部16は、各ストレス状態に対応するメンタル状態を的確に表したメンタル傾向情報を生成することができる。
【0041】
なお、第1生成例では、ストレス状態のレベルが2段階(高ストレス状態、低ストレス状態)であったが3段階以上(例えば、ストレス小、ストレス中、ストレス大の3段階)であってもよい。この場合、メンタル傾向推定部16は、メンタル状態の軸ごとに、各ストレス状態のレベル毎の平均値の分散を算出し、分散が最も大きい軸に関するメンタル状態の傾向を表すメンタル傾向情報を生成する。これによっても、メンタル傾向推定部16は、ストレス状態のレベルに応じたメンタル状態の傾向を的確に表したメンタル傾向情報を生成することができる。同様に、メンタル状態の軸は、2軸に限らず、3軸以上存在してもよい。
【0042】
(4-2)第2生成例
図5は、第2生成例により生成されるメンタル傾向情報のデータ構造の一例を示す。第2生成例では、前提として、学習データセットとして、高ストレス状態か低ストレス状態かの2段階のレベルを示すストレス状態と、分類されたメンタル状態との組が学習データセット記憶部41に記憶されているものとする。また、
図5に示す「メンタル状態A」~「メンタル状態G」は、メンタル状態の分類を表すものとする。
【0043】
この場合、メンタル傾向推定部16は、ストレス状態のレベル毎に夫々紐付いたメンタル状態の分類を集計(即ち度数分布を生成)し、ストレス状態のレベル毎のメンタル状態の各分類の頻度を算出する。そして、メンタル傾向推定部16は、各対象者について、ストレス状態のレベル毎にメンタル状態の各分類の頻度を表したメンタル傾向情報を生成する。
図5の例では、学習データセットの集計に基づき、対象者ID「X1」について、高ストレス状態ではメンタル状態Aが60%、メンタル状態Cが20%、メンタル状態Gが20%を夫々占めている。一方、低ストレス状態では、メンタル状態Bが70%、メンタル状態Eが30%を夫々占めている。これらのパーセンテージは、対応するメンタル状態の分類に対する確信度(信頼度)とみなすことができる。
【0044】
このように、第2生成例では、メンタル傾向推定部16は、ストレス状態毎に当てはまるメンタル状態とその確信度との組を記録したメンタル傾向情報を好適に生成することができる。また、メンタル傾向情報を用いたメンタル状態を推定する場合には、メンタル状態推定部17は、当てはまる可能性があるメンタル状態とその確信度との組を推定し、出力制御部18は、その推定結果を好適にユーザに提示することができる。
【0045】
なお、メンタル傾向推定部16は、
図5に代えて、
図4(C)と同様に、ストレス状態のレベル毎に1個のメンタル状態の分類を表すメンタル傾向情報を生成してもよい。この場合、メンタル傾向推定部16は、ストレス状態のレベル毎に最も該当するメンタル状態の分類をその確信度と紐付けたメンタル傾向情報を生成する。また、ストレス状態のレベルが2段階(高ストレス状態、低ストレス状態)より多い場合においても、第2生成例は好適に適用される。
【0046】
(4-3)第3生成例
図6(A)は、第3生成例における学習データセットの生成に関する概要図を示す。
図6(B)は、第3生成例において生成されたメンタル傾向情報のデータ構造の一例を示す。第3生成例では、対象者に好影響を与える「良いストレス」と対象者に悪影響を与える「悪いストレス」とが存在することを前提に、メンタル傾向推定部16は、ストレスの良し悪しに応じたメンタル傾向を表すメンタル傾向情報を生成する。
【0047】
図6(A)に示すように、学習データセットの生成時には、メンタル状態判定部14は、メンタル状態の判定結果(ここでは、最も当てはまるメンタル状態の分類とする)に加えて、判定したメンタル状態の良し悪しを表す判定フラグを生成する。そして、メンタル状態判定部14が生成するメンタル状態の判定結果及び判定フラグとストレス状態判定部15が生成するストレス状態の判定結果とが紐付けられて学習データセット記憶部41に記憶される。この場合、メンタル状態判定部14は、例えば、メンタル状態の分類ごとにメンタル状態の良し悪しを表した判定テーブルを参照することで、判定したメンタル状態の分類から判定フラグを生成する。なお、上述の判定テーブルは、例えば記憶装置4又はメモリ12に予め記憶されている。
【0048】
そして、メンタル傾向推定部16は、
図6(A)に示すように生成された学習データセットを用いてメンタル傾向情報を生成する。この場合、メンタル傾向推定部16は、判定フラグに基づき各ストレス状態をさらに分類し、分類したストレス状態毎に最も当てはまるメンタル状態を推定する。
図6(B)では、ストレス状態が2段階(高ストレス状態と低ストレス状態)にレベル分けされており、メンタル傾向推定部16は、これらのストレス状態の各レベルに対してさらに判定フラグが示す良/悪に分けてメンタル状態の頻度集計を行う。これにより、メンタル傾向推定部16は、ストレスのレベル及び良/悪の組み合わせ毎に最も当てはまるメンタル状態を決定している。例えば、対象者ID「X1」の対象者が高ストレス状態であって判定フラグが「良」の場合には、「メンタル状態G」が最も当てはまるメンタル状態の分類となり、同対象者が低ストレス状態であって判定フラグが「悪」の場合には、「メンタル状態A」が最も当てはまるメンタル状態の分類となる。
【0049】
このように、第3生成例では、メンタル傾向推定部16は、良いストレスと悪いストレスとの夫々に対応するメンタル状態の傾向を表すメンタル傾向情報を好適に生成することができる。そして、このようなメンタル傾向情報を用いることで、メンタル状態推定部17は、良いストレスの場合と悪いストレスの場合とに夫々対応するメンタル状態を推定し、出力制御部18は、その推定結果を好適にユーザに提示することができる。
【0050】
なお、メンタル傾向推定部16は、第2生成例と同様に、各ストレス状態の良し悪しに基づく分類毎に複数個のメンタル状態の分類が夫々の確信度と共に紐付けられたメンタル傾向情報を生成してもよい。また、ストレス状態のレベルが3段階以上である場合においても、第3生成例は好適に適用される。
【0051】
(4-4)第4生成例
第4生成例では、メンタル傾向推定部16は、ストレス状態が入力された場合に対応するメンタル状態を出力するメンタル推定モデルを学習することで得られたパラメータを、メンタル傾向情報として生成する。
【0052】
この場合、メンタル傾向推定部16は、学習データセットのストレス状態を入力データ、学習データセットのメンタル状態を正解データとして深層学習やサポートベクターマシーンなどの任意の機械学習又は統計モデルに基づくメンタル推定モデルの学習を行う。この場合、メンタル推定モデルに入力されるストレス状態は、高ストレス状態、低ストレス状態などのストレスのレベルであってもよく、実数値となるストレス推定値であってもよい。そして、メンタル傾向推定部16は、学習データセットに基づき、対象者毎にメンタル推定モデルの学習を行い、対象者毎に適用するメンタル推定モデルの学習後のパラメータを、メンタル傾向情報として記憶する。
【0053】
また、第4生成例に基づき生成されたメンタル傾向情報を用いたメンタル状態を推定する場合、メンタル状態推定部17は、対象者のメンタル傾向情報に基づきメンタル推定モデルを構成し、ストレス状態判定部15が判定したストレス状態をメンタル推定モデルに入力する。そして、メンタル状態推定部17は、メンタル推定モデルから出力されるメンタル状態を、対象者のメンタル状態の推定結果として出力制御部18に供給し、出力制御部18は、当該推定結果を出力する。この場合、メンタル推定モデルが深層学習に基づくモデルである場合には、メンタル推定モデルの候補と共に対応する確信度の情報が得られることから、出力制御部18は、第2生成例と同様に、複数のメンタル状態の候補を確信度と共に提示することも可能である。
【0054】
このように、第4生成例によっても、メンタル傾向推定部16は、ストレス状態に応じたメンタル状態を推定するためのメンタル傾向情報を好適に生成することができる。
【0055】
(5)処理フロー
次に、第1実施形態において情報処理装置1が実行する処理フローについて説明する。
【0056】
(5-1)メンタル傾向情報の生成
図7は、メンタル傾向情報の生成に関する情報処理装置1の処理手順を示すフローチャートの一例である。情報処理装置1は、
図7のフローチャートの処理を、対象者毎に実行する。
【0057】
まず、情報処理装置1は、メンタル状態及びストレス状態の判定を行う(ステップS11)。この場合、メンタル状態判定部14は、入力信号S1が表すアンケート回答に基づき対象者のメンタル状態の判定を行い、ストレス状態判定部15は、センサ信号S3が表す生体データに基づき対象者のストレス状態の判定を行う。
【0058】
そして、情報処理装置1は、ステップS11で判定したメンタル状態とストレス状態との組を、学習データセットとして学習データセット記憶部41に記憶する(ステップS12)。この場合、情報処理装置1は、対象者のログイン情報又は任意の人物認識処理(例えば、カメラ画像等を用いた生体認証)により取得した対象者の識別情報を上述の学習データセットに紐付けて、学習データセット記憶部41に記憶する。
【0059】
そして、情報処理装置1は、メンタル傾向情報の生成タイミングであるか否か判定する(ステップS13)。情報処理装置1は、例えば、対象者について所定組数以上のメンタル状態とストレス状態の組が学習データセット記憶部41に蓄積された場合に、メンタル傾向情報の生成タイミングであると判定する。なお、ストレス状態が複数に分類(レベル分け)されている場合には、情報処理装置1は、全ての分類について所定組数以上のメンタル状態とストレス状態の組が学習データセット記憶部41に蓄積された場合に、メンタル傾向情報の生成タイミングであると判定してもよい。他の例では、情報処理装置1は、メンタル傾向情報の生成指示に関する入力信号S1を取得した場合、メンタル傾向情報の生成タイミングであると判定する。
【0060】
そして、情報処理装置1は、メンタル傾向情報の生成タイミングではないと判定した場合(ステップS13;No)、ステップS11へ処理を戻し、引き続き学習データセットの生成及び蓄積を行う。
【0061】
一方、メンタル傾向情報の生成タイミングである場合(ステップS13;Yes)、情報処理装置1のメンタル傾向推定部16は、学習データセット記憶部41に記憶された対象者の学習データセットに基づき、対象者のメンタル傾向の推定を行う(ステップS14)。これにより、メンタル傾向推定部16は、ストレス状態に応じたメンタル傾向に関するメンタル傾向情報を生成し、生成したメンタル傾向情報を対象者の識別情報と紐付けてメンタル傾向情報記憶部42に記憶する。
【0062】
(5-2)メンタル状態の推定
図8は、メンタル状態の推定に関する情報処理装置1の処理手順を示すフローチャートの一例である。情報処理装置1は、
図8のフローチャートの処理を、メンタル状態の推定の要求がある場合に実行する。
【0063】
まず、情報処理装置1は、対象者のストレス状態の判定を行う(ステップS21)。この場合、情報処理装置1のストレス状態判定部15は、センサ信号S3が表す生体データに基づき対象者のストレス状態の判定を行う。
【0064】
次に、情報処理装置1のメンタル状態推定部17は、対象者に紐付けられたメンタル傾向情報をメンタル傾向情報記憶部42から取得する(ステップS22)。この場合、メンタル状態推定部17は、例えば、対象者のログイン情報又は任意の人物認識処理(例えば、カメラ画像等を用いた生体認証)により対象者の識別情報を取得し、当該識別情報と紐付いたメンタル傾向情報をメンタル傾向情報記憶部42から抽出する。
【0065】
そして、メンタル状態推定部17は、ステップS21で判定したストレス状態と、ステップS22で取得したメンタル傾向情報とに基づき、対象者のメンタル状態を推定する(ステップS23)。この場合、メンタル傾向情報がテーブル情報の場合には、メンタル状態推定部17は、対象のストレス状態と当該テーブル情報において対応付けられたメンタル状態を、対象者のメンタル状態として推定する。また、メンタル傾向情報がメンタル推定モデルのパラメータである場合には、当該パラメータに基づきメンタル推定モデルを構成し、当該メンタル推定モデルに対象のストレス状態を入力することでメンタル推定モデルから出力されるメンタル状態を、対象者のメンタル状態として推定する。
【0066】
そして、出力制御部18は、メンタル状態推定部17によるメンタル状態の推定結果に関する出力を行う(ステップS24)。この場合、出力制御部18は、メンタル状態の推定結果を表す表示又は音声出力を出力装置3が行うように、出力装置3に対して出力信号S2を供給する。これにより、情報処理装置1は、対象者又はその管理者に対して、対象者のメンタル状態に関する情報を好適に提示することができる。
【0067】
(6)変形例
次に、第1実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて適用してもよい。
【0068】
(第1変形例)
メンタル状態判定部14は、入力信号S1が表すアンケート回答に基づきメンタル状態を判定する代わりに、対象者を撮影した画像に基づいて、対象者のメンタル状態を推定してもよい。
【0069】
この場合、例えば、メンタル状態判定部14は、対象者を撮影するカメラからインターフェース13を介して画像を取得し、取得した画像から対象者の表情等を解析することで、メンタル状態の一例である対象者の感情を認識する。この場合、例えば、メンタル状態判定部14は、画像が入力された場合に画像内の人物の表情を推論するモデルを用いて、上述の認識を行う。この場合、記憶装置4又はメモリ12には、深層学習等に基づき予め学習された上記モデルのパラメータが記憶されている。
【0070】
同様に、メンタル状態判定部14は、対象者の音声データに基づいて、対象者のメンタル状態を推定してもよい。この場合、メンタル状態判定部14は、例えば、音声データに基づき対象者の発話のトーン、又は発話した単語等に基づき、対象者のメンタル状態の推定を行う。この場合、記憶装置4又はメモリ12には、音声データの解析に必要な情報が予め記憶されている。
【0071】
また、ストレス状態の判定においても同様に、ストレス状態判定部15は、対象者を撮影した画像又は対象者の音声データに基づいて、任意のストレス状態判定手法を用いて、対象者のストレス状態を判定してもよい。
【0072】
(第2変形例)
ストレス状態は、慢性ストレスと急性ストレスとに分けられてもよい。
【0073】
この場合、例えば、ストレス状態判定部15は、急性ストレスを、センサ5により取得された最新のセンサ信号S3に基づき判定し、慢性ストレスを、センサ5により直近の所定期間において複数回取得されたセンサ信号S3に基づき判定する。なお、ストレス状態判定部15は、慢性ストレスを判定するため、過去所定期間において取得されたセンサ信号S3を、対象者の識別情報と関連付けて記憶装置4又はメモリ12に記憶する。
【0074】
そして、情報処理装置1は、「(4)メンタル傾向情報の生成」のセクションで説明した第1生成例~第4生成例に基づき、急性ストレスと慢性ストレスとを両方を考慮してメンタル状態の傾向を推定する。この場合、情報処理装置1は、例えば第1生成例を実行する場合、急性ストレスのレベル及び慢性ストレスのレベルの全ての組み合わせ(レベルが2段階の場合には4個の組み合わせ)の各々について、最も当てはまるメンタル状態を対応付けたメンタル傾向情報を生成する。また、第4生成例の場合、情報処理装置1は、急性ストレスと慢性ストレスとを入力した場合にメンタル状態を出力するメンタル推定モデルの学習を行い、当該メンタル推定モデルの学習後のパラメータをメンタル傾向情報として生成する。
【0075】
本変形例においても、情報処理装置1は、急性ストレスと慢性ストレスとに対するメンタル傾向を表すメンタル傾向情報を好適に生成することができる。
【0076】
(第3変形例)
メンタル状態推定部17及び出力制御部18に相当する機能を、情報処理装置1以外の装置(他装置)が有してもよい。この場合、他装置は、記憶装置4とデータ通信を行うことでメンタル傾向情報記憶部42を参照し、かつ、ストレス状態判定部15と同様に、センサ等で取得された対象者の生体データに基づいて、ストレス状態の判定を行う。そして、他装置は、メンタル傾向情報記憶部42に記憶されたメンタル傾向情報と、判定したストレス状態とに基づいて、対象者のメンタル状態を推定する。
【0077】
同様に、メンタル状態判定部14及びストレス状態判定部15に相当する機能を、情報処理装置1以外の装置が有してもよい。この場合、情報処理装置1のメンタル傾向推定部16は、メンタル状態判定部14及びストレス状態判定部15に相当する機能を有する装置が生成した学習データセットを記憶する学習データセット記憶部41を参照することで、メンタル傾向情報の生成処理を行う。
【0078】
<第2実施形態>
図9は、第2実施形態におけるメンタル状態推定システム100Aの概略構成を示す。第2実施形態に係るメンタル状態推定システム100Aは、サーバクライアントモデルのシステムであり、サーバ装置として機能する情報処理装置1Aが第1実施形態における情報処理装置1の処理を行う。以後では、第1実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
【0079】
図9に示すように、メンタル状態推定システム100Aは、主に、サーバとして機能する情報処理装置1Aと、第1実施形態と同様のデータを記憶する記憶装置4と、クライアントとして機能する端末装置8とを有する。情報処理装置1Aと端末装置8とは、ネットワーク7を介してデータ通信を行う。
【0080】
端末装置8は、入力機能、表示機能、及び通信機能を有する端末であり、
図1に示される入力装置2及び出力装置3として機能する。端末装置8は、例えば、パーソナルコンピュータ、タブレット型端末、PDA(Personal Digital Assistant)などであってもよい。端末装置8は、図示しないセンサが出力する生体信号又はユーザ入力に基づく入力信号などを、情報処理装置1Aに送信する。
【0081】
情報処理装置1Aは、例えば
図1~
図3等に示す情報処理装置1と同一構成を有する。そして、情報処理装置1Aは、
図1に示す情報処理装置1が入力装置2及びセンサ5から取得する情報などを、ネットワーク7を介して端末装置8から受信し、受信した情報に基づいてメンタル傾向情報の生成又は当該メンタル傾向情報を用いたメンタル状態の推定を行う。また、情報処理装置1Aは、端末装置8からの要求に基づき、センサ5により生体データが検出された対象者のメンタル状態の推定結果に関する情報を示す出力信号を、ネットワーク7を介して端末装置8へ送信する。これにより、情報処理装置1Aは、メンタル状態の推定結果に関する情報を端末装置8のユーザに好適に提示する。
【0082】
<第3実施形態>
図10は、第3実施形態における情報処理装置1Xのブロック図である。情報処理装置1Xは、主に、取得手段16XAと、メンタル傾向推定手段16XBとを有する。なお、情報処理装置1Xは、複数の装置により構成されてもよい。
【0083】
取得手段16XAは、対象者のストレス状態と、対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する。メンタル傾向推定手段16XBは、取得手段16XAが取得した複数組に基づき、対象者のメンタル状態の傾向を推定する。この場合、対象者のメンタル状態の傾向として、対象者のストレス状態に応じたメンタル状態の傾向が推定される。なお、この傾向は、ストレス状態とメンタル状態とを対応付けたテーブルとして表されてもよく、メンタル状態を推定するモデル(及び当該モデルを生成するためのパラメータ)として表されてもよい。取得手段16XA及びメンタル傾向推定手段16XBは、第1実施形態(変形例を含む、以下同じ)又は第2実施形態におけるメンタル傾向推定部16とすることができる。
【0084】
図11は、第3実施形態において情報処理装置1Xが実行するフローチャートの一例である。まず、取得手段16XAは、対象者のストレス状態と、対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する(ステップS31)。メンタル傾向推定手段16XBは、取得手段16XAが取得した複数組に基づき、対象者のメンタル状態の傾向を推定する(ステップS32)。
【0085】
第3実施形態に係る情報処理装置1Xは、対象者のメンタル状態の傾向を好適に推定することができる。
【0086】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0087】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0088】
[付記1]
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
を備える情報処理装置。
[付記2]
前記ストレス状態は、複数のレベルに分類されており、
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとの前記傾向を表すメンタル傾向情報を生成する、付記1に記載の情報処理装置。
[付記3]
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを表す前記メンタル傾向情報を生成する、付記2に記載の情報処理装置。
[付記4]
前記メンタル状態は、複数の軸により表された指標値であり、
前記メンタル傾向推定手段は、前記複数の軸の各軸について前記ストレス状態のレベルごとの代表値を算出し、当該代表値のばらつきが最も多い軸に関する前記傾向を表す前記メンタル傾向情報を生成する、付記2に記載の情報処理装置。
[付記5]
前記メンタル傾向推定手段は、前記複数組に基づき、前記ストレス状態が入力された場合に対応するメンタル状態を出力する推論モデルの学習を行い、当該学習により得られた前記推論モデルに関する情報を、前記傾向を表すメンタル傾向情報として生成する、付記1に記載の情報処理装置。
[付記6]
前記メンタル傾向推定手段は、前記対象者に好影響を与えるストレス状態である場合の前記傾向と、前記対象者に悪影響を及ぼすストレス状態である場合の前記傾向とを推定する、付記1~5のいずれか一項に記載の情報処理装置。
[付記7]
前記複数組の各々には、前記好影響か前記悪影響かを判定する判定フラグが紐付かれている、付記6に記載の情報処理装置。
[付記8]
前記取得手段は、前記ストレス状態として、前記対象者の慢性ストレス及び急性ストレスを取得する、付記1~7のいずれか一項に記載の情報処理装置。
[付記9]
前記傾向と、当該傾向の推定後に取得した前記対象者のストレス状態とに基づき、前記対象者のメンタル状態を推定するメンタル状態推定手段と、
前記メンタル状態推定手段による推定結果に関する情報を出力する出力制御手段と、
をさらに有する、付記1~8のいずれか一項に記載の情報処理装置。
[付記10]
コンピュータが、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定する、
制御方法。
[付記11]
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
【0089】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0090】
1、1A、1X 情報処理装置
2 入力装置
3 出力装置
4 記憶装置
5 センサ
8 端末装置
100、100A メンタル状態推定システム