IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 東京大学の特許一覧 ▶ 日本たばこ産業株式会社の特許一覧

特開2022-119026情動推定装置、情動推定システムおよび情動推定プログラム
<>
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図1
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図2
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図3
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図4
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図5
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図6
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図7
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図8
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図9
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図10
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図11
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図12
  • 特開-情動推定装置、情動推定システムおよび情動推定プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119026
(43)【公開日】2022-08-16
(54)【発明の名称】情動推定装置、情動推定システムおよび情動推定プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20220808BHJP
   G06F 3/0481 20220101ALI20220808BHJP
   G06F 3/02 20060101ALI20220808BHJP
   A61B 5/16 20060101ALI20220808BHJP
   A61M 21/00 20060101ALN20220808BHJP
【FI】
G06F3/01 510
G06F3/0481
G06F3/02 510
A61B5/16 120
A61B5/16 130
A61M21/00 A
【審査請求】未請求
【請求項の数】26
【出願形態】OL
(21)【出願番号】P 2021015964
(22)【出願日】2021-02-03
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】000004569
【氏名又は名称】日本たばこ産業株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】伴 祐樹
(72)【発明者】
【氏名】割澤 伸一
(72)【発明者】
【氏名】福井 類
(72)【発明者】
【氏名】宮本 光
(72)【発明者】
【氏名】長谷川 慶
(72)【発明者】
【氏名】芦田 裕輝
(72)【発明者】
【氏名】稲澤 将太
(72)【発明者】
【氏名】御神村 友樹
(72)【発明者】
【氏名】南 優紀
(72)【発明者】
【氏名】関根 崇泰
【テーマコード(参考)】
4C038
5B020
5E555
【Fターム(参考)】
4C038PP03
4C038PP05
4C038PS09
5B020BB02
5B020FF12
5B020FF13
5B020GG61
5E555AA48
5E555BA02
5E555BA77
5E555BB02
5E555BC09
5E555BC19
5E555BD06
5E555CA18
5E555CA44
5E555CB20
5E555CB56
5E555CB58
5E555CB59
5E555CB74
5E555CC19
5E555DB03
5E555DB41
5E555DB53
5E555DC13
5E555DC59
5E555DD06
5E555EA03
5E555EA14
5E555EA21
5E555FA00
(57)【要約】
【課題】本発明は、簡易な構成の装置によって容易に発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定装置、情動推定システムおよびプログラムを提供することを目的とする。
【解決手段】情動推定装置WTは、ユーザによる文字入力操作の状態を示すキー入力状態を検出する入力状態検出部120と、キー入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130と、情動推定結果が生成されたことに基づいて、情動推定結果を出力する推定結果出力部140と、を備え、推定結果生成部130は、キー入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて情動推定結果を生成する。
【選択図】図3
【特許請求の範囲】
【請求項1】
ユーザによる文字入力操作を受け付ける文字入力部から入力された文字情報を所定の表示部に表示可能な情報端末装置であって、
ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部と、
前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部と、
前記情動推定結果が生成されたことに基づいて、前記情動推定結果を出力する出力部と、
を備え、
前記推定結果生成部は、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成する
ことを特徴とする情動推定装置。
【請求項2】
前記情報端末装置のユーザの勤務状況を管理する管理者が使用する端末装置である管理者端末装置の識別情報を少なくとも記憶する記憶部をさらに備え、
前記出力部は、前記識別情報に基づいて前記管理者端末装置に前記情動推定結果を送出する
ことを特徴とする請求項1記載の情動推定装置。
【請求項3】
前記推定結果生成部は、ネットワークを介したメッセージの送受信が行われる場合に、前記情動推定結果を生成する
ことを特徴とする請求項1または2に記載の情動推定装置。
【請求項4】
前記出力部は、前記メッセージの送信に伴って前記情動推定結果を送出する
ことを特徴とする請求項3に記載の情動推定装置。
【請求項5】
前記出力部は、前記情報端末装置のユーザによる選択に基づいて、前記メッセージの送信先となる所定の端末装置に前記情動推定結果を送出可能である
ことを特徴とする請求項3または4に記載の情動推定装置。
【請求項6】
前記出力部は、前記表示部において前記情動推定結果を出力する推定結果表示を行う
ことを特徴とする請求項1から5のいずれか1項に記載の情動推定装置。
【請求項7】
前記出力部は、前記推定結果表示において、前記表示部内の中央領域を除く特定領域において前記情動推定結果を示す情動報知画像を表示させること
を特徴する請求項6記載の情動推定装置。
【請求項8】
入力状態検出部は、前記入力状態として所定期間内におけるユーザの前記文字入力操作の状態を検出する
ことを特徴とする請求項1から7のいずれか1項に記載の情動推定装置。
【請求項9】
前記文字入力部は、複数の入力キーを配置したキーボードであり、
前記所定期間は、ユーザが句読点に対応する前記入力キーを押下した回数によって画定される
ことを特徴とする請求項8に記載の情動推定装置。
【請求項10】
前記入力状態検出部は、前記入力キーの押下時間の間隔、特定の前記入力キーの押下力、特定の前記入力キーの押下頻度のうち少なくともいずれか1種類を、前記所定期間内において前記入力状態として検出する
ことを特徴とする請求項9記載の情動推定装置。
【請求項11】
前記入力状態検出部は、前記押下時間の間隔の長さ又は当該押下時間の間隔のばらつきのうち少なくともいずれか一方を第一入力状態として検出し、
前記推定結果生成部は、少なくとも前記第一入力状態に基づいて前記感情価および前記覚醒度を判定する
ことを特徴とする請求項10記載の情動推定装置。
【請求項12】
前記入力状態検出部は、前記第一入力状態として前記押下時間の間隔の長さを検出する
ことを特徴とする請求項11記載の情動推定装置。
【請求項13】
前記推定結果生成部は、前記押下時間の間隔の長さが短いほど、前記感情価を大きく判定する
ことを特徴とする請求項12記載の情動推定装置。
【請求項14】
前記推定結果生成部は、前記押下時間の間隔の長さが短いほど、前記覚醒度を高く判定する
ことを特徴とする請求項12または13記載の情動推定装置。
【請求項15】
前記入力状態検出部は、前記第一入力状態として前記押下時間の間隔の長さのばらつきを検出する
ことを特徴とする請求項11から14のいずれか1項に記載の情動推定装置。
【請求項16】
前記推定結果生成部は、前記押下時間の間隔の長さのばらつきが小さいほど、前記感情価を大きく判定する
ことを特徴とする請求項15に記載の情動推定装置。
【請求項17】
前記推定結果生成部は、前記押下時間の間隔の長さのばらつきが小さいほど、前記覚醒度を高く判定する
ことを特徴とする請求項15または16記載の情動推定装置。
【請求項18】
前記入力状態検出部は、特定の前記入力キーの押下力の強さおよび当該押下力の強さのばらつきを第二入力状態として検出し、
前記推定結果生成部は、少なくとも前記第二入力状態に基づいて前記感情価および前記覚醒度を判定する
ことを特徴とする請求項10から17のいずれか1項に記載の情動推定装置。
【請求項19】
前記推定結果生成部は、前記押下力が強いほど前記覚醒度を高く判定する
ことを特徴とする請求項15記載の情動推定装置。
【請求項20】
前記推定結果生成部は、前記押下力の強さのばらつきが小さいほど前記感情価を大きく判定する
ことを特徴とする請求項15または16に記載の情動推定装置。
【請求項21】
前記推定結果生成部は、前記押下力の強さのばらつきが小さいほど前記覚醒度を高く判定する
ことを特徴とする請求項17記載の情動推定装置。
【請求項22】
前記入力状態検出部は、前記キーボードからユーザが入力した文字列情報を前記入力状態として取得しない
ことを特徴とする請求項9から21のいずれか1項に記載の情動推定装置。
【請求項23】
前記推定結果生成部は、前記文字列情報を用いることなく前記情動推定結果を生成する
ことを特徴とする請求項22記載の情動推定装置。
【請求項24】
前記推定結果生成部は、前記情動推定結果に基づいてユーザの疲労の度合を示す疲労度推定結果を生成し、
前記出力部は、前記疲労度推定結果を出力する
ことを特徴とする請求項1から23のいずれか1項に記載の情動推定装置。
【請求項25】
ユーザによる文字入力操作を受け付ける文字入力部から入力された文字情報を所定の表示部に表示可能な情報端末装置であって、ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部、前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部、および前記情動推定結果が生成されたことに基づいて、前記情動推定結果を送出する出力部を有する情動推定装置と、
前記情動推定装置のユーザの勤務状況を管理する管理者が使用する端末装置であって、前記出力部が送信した前記情動推定結果を取得する取得部および前記取得部が受信した前記情動推定結果を提示する取得情動提示部を有する管理者端末装置と、
を備え、
前記情動推定装置における前記推定結果生成部が、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成する
ことを特徴とする情動推定システム。
【請求項26】
ユーザによる文字入力操作を受け付ける文字入力部から入力された入力状態を、所定の表示部に表示する情報端末装置を、
ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部、
前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部、
及び
前記情動推定結果が生成されたことに基づいて、前記情動推定結果を出力する出力部、
として動作させ、
前記推定結果生成部が、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成する
ことを特徴とする情動推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情動推定装置、情動推定システムおよび情動推定プログラムに関する。
【背景技術】
【0002】
近年、電子メールやチャット、インスタントメッセンジャー等、コンピュータを介して行われるコミュニケーション(Computer-Mediated Communication;CMC)の利用が増えている。CMCのような非対面でのコミュニケーションは主にテキストの送受信によることから、音声や表情から発言者の情動を読み取ることができない。このため、発言者の情動を勘案してのコミュニケーションが困難となる。ここで、情動とは、例えば怒り、恐れ、喜び、悲しみ、興奮などの感情の動きを示す。
従来、生理学データ(心拍)と非生理学データ(表情)から推定される情動を出力する装置が提案されている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-144222号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、生理学センサやカメラにより心拍や表情を取得し、取得したデータの解析により感情を推定するような複雑な構成の装置は、職場や自宅の汎用的な情報端末装置(例えば、パーソナルコンピュータ)に組み込むことは困難であり、容易に発言者の情動を推定することができなかった。
【0005】
本発明はこのような点に鑑みてなされたものであり、簡易な構成の装置によって容易に発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定装置、情動推定システムおよび情動推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一態様に係る情動推定装置は、ユーザによる文字入力操作を受け付ける文字入力部から入力された文字情報を所定の表示部に表示可能な情報端末装置であって、ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部と、前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部と、前記情動推定結果が生成されたことに基づいて、前記情動推定結果を出力する出力部と、を備え、前記推定結果生成部は、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成することを特徴とする。
【0007】
また、上記目的を達成するために、本発明の他の一態様に係る情動推定システムは、ユーザによる文字入力操作を受け付ける文字入力部から入力された文字情報を所定の表示部に表示可能な情報端末装置であって、ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部、前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部、および前記情動推定結果が生成されたことに基づいて、前記情動推定結果を送出する出力部を有する情動推定装置と、前記情動推定装置のユーザの勤務状況を管理する管理者が使用する端末装置であって、前記出力部が送信した前記情動推定結果を取得する取得部および前記取得部が受信した前記情動推定結果を提示する取得情動提示部を有する管理者端末装置と、を備え、前記情動推定装置における前記推定結果生成部が、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成することを特徴とする。
【0008】
また、上記目的を達成するために、本発明のさらに他の一態様に係る情動推定プログラムは、ユーザによる文字入力操作を受け付ける文字入力部から入力された入力状態を、所定の表示部に表示する情報端末装置を、ユーザによる前記文字入力操作の状態を示す入力状態を検出する入力状態検出部、前記入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部、及び前記情動推定結果が生成されたことに基づいて、前記情動推定結果を出力する出力部、として動作させ、前記推定結果生成部が、前記入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成することを特徴とする。
【発明の効果】
【0009】
本発明の一態様によれば、簡易な構成で発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定装置、情動推定システムおよび情動推定プログラムを提供することができる。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態の情動推定システムの概略構成を示す図である。
図2】本発明の一実施形態の情動推定システムを用いた情動推定手順の一例を示すシーケンスチャートである。
図3】本発明の一実施形態の情動推定システムの各構成要素の機能構成を示す概略的な機能ブロック図である。
図4】本発明の一実施形態の情動推定装置における情動推定部の機能構成を示すブロック図である。
図5】(a)は、本発明の一実施形態の情動推定装置における文字入力の状態と感情価との関連を示す図であり、(b)は本発明の一実施形態の情動推定装置における文字入力の状態と覚醒度との関連を示す図である。
図6】本発明の一実施形態の情動推定装置における入力状態検出部における検出内容の一例を示す図である。
図7】本発明の一実施形態の情動推定装置における入力状態検出部が検出する時間間隔を説明する図である。
図8】本発明の一実施形態の情動推定装置に接続された加速度センサユニットの概略構成を示す図である。
図9】本発明の一実施形態の情動推定装置における情動推定に用いる2次元心理モデルを示す図である。
図10】2次元心理モデルを用いた情動推定結果生成処理の流れの一例を示すフローチャートである。
図11】本発明の一実施形態の情動推定装置の表示部における情動推定表示の一例を示す図である。
図12】本発明の一実施形態の情動推定装置の表示部におけるフィードバック表示の一例を示す図である。
図13】本発明の一実施形態の情動推定システムの各構成要素の連携の一例を示すシーケンス図である。
【発明を実施するための形態】
【0011】
本発明の実施形態(以下、「本実施形態」という)について説明する。なお、本実施形態は本発明の一例を示したものであって、本発明は本実施形態に限定されるものではない。また、本実施形態には種々の変更又は改良を加えることが可能であり、その様な変更又は改良を加えた形態も本発明に含まれ得る。
【0012】
図1は、本発明に係る情動推定システム1の一実施形態を示す概略構成図である。
詳しくは後述するが、本実施形態に係る情動推定システム1は、CMCにおけるテキストメッセージの発信者(以下、「発言者」とも称する)の情報端末装置への文字入力操作(入力操作の一例)の状態から発言者の情動を推定し、推定結果を出力することで、非対面であっても円滑なコミュニケーションを実現するものである。ここで、CMCは、例えばメッセージ送受信のための所定のアプリケーション(以下「アプリ」と略称する場合がある)を用いたコミュニケーションであるとする。
【0013】
図1において、複数のWTは情動推定システム1において情動推定の対象となる発言者が利用する情報端末装値(情動推定装置)を示している。情動推定装置WTのユーザ(発言者)は、例えば所定組織の勤務者であって、その勤務状態を管理する管理者と離れたリモート環境(例えば自宅)において勤務している者とする。また図1において、ATは、情動推定システム1において上述の勤務者の勤務状況を管理する管理者が利用する情報端末装置(管理者端末装置)を示している。
【0014】
本例では、情動推定装置WTおよび管理者端末装置ATは、パーソナルコンピュータ(PC)であるとして説明する。情動推定システム1において、情動推定装置WTと管理者端末装置ATとは、ネットワーク9により接続されている。ネットワーク9は、例えば、インターネットやLAN等のコンピュータ・ネットワークである。情動推定装置WTと管理者端末装置ATとは、当該ネットワーク9を介して、CMC(例えば、電子メール)の送受信が可能に構成されている。
【0015】
図1に示すように、本実施形態に係る情動推定システム1は、情動推定装置WTと管理者端末装置ATとを含んで構成される。情動推定システム1は、これらの構成要素の動作によって勤務者の情動を推定し、ネットワーク9を介して、情動推定結果を送受信することにより、リモートワーク環境で勤務している勤務者と管理者との非対面での円滑なコミュニケーションを実現可能なシステムである。
【0016】
なお、図1では一の情動推定装置WTが管理者端末装置ATと接続されているが、本発明はこれに限られず、管理者端末装置ATと接続される情動推定装置WTは複数であってもよい。
【0017】
ここで、図2を用いて、本実施形態による情動推定システム1のユースケースの一例について説明する。図2は、情動推定システム1のユースケースの一例を示すユースケース図である。
【0018】
図2に示すように、情動推定装置WTは、CMC(例えば、電子メール)の利用に伴うユーザ(ここでは、在宅勤務者W1)の文字入力操作(ステップS1)の受付けを契機として、情動推定処理を開始する(ステップS2)。ここで、CMCの利用に伴う入力操作とは、例えばPCのキーボードによる文字入力操作である。また本例では、CMCによる通信先(識別情報の一例)は、管理者端末装置ATであるとする。情動推定装置WTは、当該入力操作に基づいて在宅勤務者W1の情動を推定し、情動推定結果を生成する(ステップS3)。情動推定結果の生成方法の詳細は、後述する。
【0019】
情動推定装置WTは、在宅勤務者W1の情動推定結果を生成すると、当該情動推定結果を出力する(ステップS4)。例えば情動推定装置WTは、ネットワーク9(図1参照)を介して、在宅勤務者W1の情動推定結果を管理者端末装置ATに送信する。管理者端末装置ATは、在宅勤務者W1の情動推定結果を受信し(ステップS5)、受信した情動推定結果をユーザ(ここでは、管理者A1)に通知する。例えば管理者端末装置ATは、PCのディスプレイ画面等の表示部への情動推定結果表示を行うことで、管理者A1に在宅勤務者W1の情動推定結果を通知する。本例では、管理者端末装置ATでの情動推定結果表示として、情動推定結果を示すテキストメッセージGR(「W1さんは興奮状態と推定されます」)の表示が行われる。
【0020】
管理者A1は、在宅勤務者W1の情動推定結果を確認すると、必要に応じて在宅勤務者W1への指導・アドバイスのためのフィードバックを行う。本例では、在宅勤務者W1の情動推定結果が「興奮状態」であったとする。そこで、管理者A1は在宅勤務者W1を落ち着かせる内容のフィードバックを行う。管理者端末装置ATは、管理者A1による文字入力操作に基づいて、フィードバック内容を示すテキストメッセージ(本例では、「だいぶ興奮していますね、少し休憩しましょう!」)FTを作成する(ステップS6)。管理者端末装置ATはネットワーク9を介して、当該テキストメッセージFTをフィードバックとして情動推定装置WTに送信する。例えば、管理者端末装置ATは、CMC(例えば電子メール)として、フィードバックを情動推定装置WTに送信してもよい。
【0021】
情動推定装置WTは、例えば電子メールによるメッセージとして管理者A1のフィードバック内容を示すテキストメッセージFTを受信すると(ステップS7)、PCのディスプレイ画面等の表示部へのフィードバック表示を行う。これにより、管理者A1が作成したフィードバック内容がユーザ(在宅勤務者W1)に通知される。本例では、図2に示すように、情動推定装置WTでのフィードバック表示として、フィードバック内容(「だいぶ興奮していますね、少し休憩しましょう!」)を示すテキストメッセージFTの表示が行われる。
【0022】
このように、本実施形態による情動推定システム1では、CMC(本例では、電子メール)による非対面でのコミュニケーション時において、在宅勤務者W1の情動を推定して情動推定結果を生成し、これを出力することができる。具体的には、情動推定システム1は、在宅勤務者W1の情動推定結果をCMCでのメッセージの宛先である管理者端末装置ATに送信することができる。これにより、管理者A1は、非対面であっても、在宅勤務者W1の情動を勘案したコミュニケーションを行うことができる。
【0023】
従来は、CMCのメッセージ送信時においては発言者(ここでは、在宅勤務者W1)の非言語情報(表情や、声色)が伝達されないため、発言者の情動がどのようなものであるかを、受け手(ここでは、管理者A1)が推察することは困難であった。これに対し、本実施形態による情動推定システム1では、CMCの利用に合わせて、発言者の情動推定結果が送信される。これにより、情動推定システム1は、発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる。
【0024】
また、例えば情動推定装置WTは、在宅勤務者W1の情動推定結果の出力(ステップS4)として、生成した情動推定結果をユーザ(在宅勤務者W1)に通知してもよい。例えば情動推定装置WTは、PCのディスプレイ画面等の表示部に情動推定結果を示すテキストメッセージ(本例では、「あなたは、興奮状態と推定されます」)を表示する。これにより、在宅勤務者W1に自身の情動推定結果が通知される。
このため、本実施形態による情動推定システム1によれば、在宅勤務者W1は自身の情動を客観的に把握することができる。したがって、在宅勤務者W1は、CMCでの送信内容の再確認や、当該送信内容を補足、訂正するような新たなメッセージをCMCによって送信するといった対応(リカバリー対応)を行うことができる。これにより、情動推定システム1は、非対面でのコミュニケーションをより円滑にするとともに、情動が伝わらないことでCMCでのやり取りの受け手に誤解を与えるおそれを低減することができる。
【0025】
なお、図2では情動推定システム1のユースケースの一例として、在宅勤務者と管理者とが非対面によりコミュニケーションを行う(CMCでのやり取りを行う)場合を説明したが、本発明のユースケースこれに限られない。例えば、情動推定システム1は、異なる執務室で勤務する勤務者と管理者とがCMCでのやり取りを行う場合や、同じ執務室内であっても座席が離れている場合などにも同様の作用効果を発揮する。
【0026】
次に、図3を用いて、情動推定システム1の各構成要素の詳細について説明する。図3は、情動推定システム1の各構成要素の機能を説明する機能ブロック図である。
【0027】
〔情動推定装置の概略構成〕
まず、情動推定装置WTの構成を説明する。本実施形態に係る情動推定装置WTは、ユーザ(例えば、在宅勤務者W1)による入力操作を受け付ける文字入力部から入力された文字情報を、所定の表示部に表示可能な情報端末装置であればよい。
図3に示すように、情動推定システム1において、情動推定装置WTは、ユーザによる文字入力を受け付けるキーボード(文字入力部の一例)11、キーボード11から入力された文字列情報を表示可能なディスプレイ装置(表示部の一例)13、ネットワーク9を介して外部装置(例えば管理者端末装置AT)と通信可能な通信部15、および情動推定装置WTの制御処理を統括する制御部100を備えている。
【0028】
情動推定装置WTにおけるキーボード11には、複数の入力キーが配置されており、ユーザが当該入力キーを押下操作することで文字入力信号が出力される。また、本実施形態において、キーボード11には、加速度センサユニット20が接続されている。加速度センサユニット20は、キーボード11の入力操作(入力キーの押下操作)に基づく振動データを検出するための構成である。詳しくは後述するが、加速度センサユニット20によって検出された振動データは、情動推定装置WTにおける情動推定処理に用いられる。
【0029】
ディスプレイ装置13には、文字や画像などからなる表示画面を表示する領域が設けられている。キーボード11が出力した文字入力信号は、制御部100の制御に基づいて解析され、ディスプレイ装置13の画面上に文字情報として表示される。
【0030】
制御部100は、情動推定装置WTの制御処理を統括するCPU(Central Processing Unit)である。制御部100は、情動推定装置WTを構成する各要素に対して制御信号やコマンド等を出力することにより、各構成要素に対して直接または間接的な制御を行う。具体的には、制御部100は、情報端末装置である情動推定装置WTの制御を司るシステムソフトウェアであるOS(Operating System:OS)を介して、各種プログラムの実行およびハードウェアの制御を行う。
【0031】
また情動推定装置WTは、各種データが記憶される記憶部101を備えている。記憶部101は、記憶領域としてプログラム用メモリ110および画像用メモリ113を有している。記憶部101は、制御部100によって情報の参照(取得)や登録が行われる。
【0032】
プログラム用メモリ110は、制御部100が実行する制御処理に使用されるソフトウェアとしてのプログラムを保存する記憶領域である。プログラム用メモリ110に保存されている各プログラムは、制御部100が各プログラムを読み込んで実行することによって、それぞれの機能を発揮する。制御部100は、プログラム用メモリ110に記憶された各プログラムに基づいて情動推定装置WTの総括的な制御を行う
【0033】
図3に示すように本実施形態においてプログラム用メモリ110には、情動推定システム1による一連の情動推定処理に係る情動推定装置WTの動作(情動推定動作)の制御に用いるプログラム群(ソフトウェア)である情動推定アプリケーションが記憶されている。制御部100が情動推定アプリケーションを構成するプログラムを読み込んで実行することによって、上述のプログラム郡が情動推定部111として機能する。
【0034】
情動推定部111は、ユーザによる文字入力操作の状態を示す入力状態を検出する入力状態検出部120、当該入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130、情動推定結果が生成されたことに基づいて、当該情動推定結果を出力する推定結果出力部140および管理者端末装置ATからのフィードバックの通知に係る処理を行うフィードバック処理部150で構成される。
【0035】
推定結果出力部140は、ネットワーク9を介して管理者端末装置ATに情動推定結果を送出する。推定結果出力部140は、例えば情動推定結果が生成されたことに基づいて、生成された情動推定結果を外部装置に送出する。また、推定結果出力部140は、ディスプレイ装置13において情動推定結果を出力する推定結果表示を行う。推定結果表示では、例えば情動推定結果を示す画像としてメッセージRM(図2参照)が表示され、情動推定結果がユーザ(例えば、在宅勤務者W1)に通知される。
また、フィードバック処理部150は、ネットワーク9を介して管理者端末装置ATから取得し、取得したフィードバック内容をディスプレイ装置13に表示するフィードバック表示を行う。フィードバック表示では、例えばフィードバック内容を示す画像として、テキストメッセージFTが表示され、フィードバック内容が情動推定装置WTのユーザに通知される。情動推定部111の詳細は後述する。
【0036】
情動推定部111は、制御部100を介してディスプレイ装置13、通信部15といった構成要素を制御して、情動推定装置WTにおける情動推定動作を制御する。これにより、パーソナルコンピュータ(PC)といった汎用の情報端末装置を情動推定装置WTとして機能させることができる。
【0037】
画像用メモリ113には、情動推定装置WTにおける各種処理においてディスプレイ装置13に表示される画像データが保持されている。本実施形態において、画像用メモリ113には、情動推定部111が制御する情動推定処理の進行に応じてディスプレイ装置13に表示される画像データが保持されている。また、記憶部101には、プログラム用メモリ110および画像用メモリ113の他に、各種データを一時的に保存する一時記憶領域や、所定のレジスタが設けられている。
【0038】
情動推定装置WTは、制御部100に対して、キーボード11、ディスプレイ装置13、通信部15、記憶部101が例えばバスによって通信可能に接続されて構成されている。
【0039】
通信部15は、無線通信方式(無線LAN、Wi-Fi等)又は有線通信方式(有線LAN、光ファイバー等)によってインターネット等のネットワーク9に接続し、ネットワーク9を介して外部装置(管理者端末装置AT、所定のサーバ等)との間でデータの送受信を行う。本実施形態において通信部15は、制御部100の制御に基づいて情動推定部111から情動推定結果に係るデータを取得すると、ネットワーク9を介して当該データを管理者端末装置ATに送信する。また、通信部15は、管理者端末装置ATからフィードバックデータを受信すると制御部100の制御に基づいて受信したデータを情動推定部111に出力する。
【0040】
このように、本実施形態に係る情動推定装置WTは、ユーザによる文字入力操作を受け付けるキーボード11から入力された文字列情報をディスプレイ装置13に表示可能な情報端末装置であって、ユーザによる文字入力操作の状態を示す入力状態を検出する入力状態検出部120と、当該入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130と、情動推定結果が生成されたことに基づいて、当該情動推定結果を示す情動データを出力する推定結果出力部140を備えている。
【0041】
〔管理者端末装置の概略構成〕
次に、管理者端末装置ATの構成を説明する。管理者端末装置ATは、情動推定装置WTと同様に、ユーザ(例えば、管理者A1)による入力操作を受け付ける文字入力部から入力された文字列情報を、所定の表示部に表示可能な情報端末装置であればよい。
図3に示すように、情動推定システム1において、管理者端末装置ATは、キーボード31、ディスプレイ装置33、通信部35、および管理者端末装置ATの制御処理を統括する制御部300を備えている。キーボード31、ディスプレイ装置33、通信部35は、情動推定装置WTにおけるキーボード11、ディスプレイ装置13、通信部15と同様の構成であるため、説明は省略する。
【0042】
管理者端末装置ATは、管理者端末装置ATの制御処理を統括するCPUである制御部300を備えている。制御部300は、管理者端末装置ATを構成する各要素に対して制御信号やコマンド等を出力することにより、各構成要素に対して直接または間接的な制御を行う。
【0043】
また管理者端末装置ATは、各種データが記憶される記憶部301を備えている。記憶部301は、記憶領域としてプログラム用メモリ310および画像用メモリ313を有している。記憶部301は、制御部300によって情報の参照(取得)や登録が行われる。
【0044】
プログラム用メモリ310は、制御部300が実行する制御処理に使用されるソフトウェアとしてのプログラムを保存する記憶領域である。プログラム用メモリ310に保存されている各プログラムは、制御部100が各プログラムを読み込んで実行することによって、それぞれの機能を発揮する。制御部300は、プログラム用メモリ310に記憶された各プログラムに基づいて管理者端末装置ATの総括的な制御を行う。
【0045】
図3に示すように本実施形態においてプログラム用メモリ310には、情動推定システム1による一連の情動推定処理に係る管理者端末装置ATの動作(情動情報処理動作)の制御に用いるプログラム群(ソフトウェア)である情動情報処理アプリケーションが記憶されている。制御部100が情動情報処理アプリケーションを構成するプログラムを読み込んで実行することによって、上述のプログラム郡が情動情報処理部311として機能する。
【0046】
情動情報処理部311は、情動推定装置WTから送出された情動推定結果を取得し、取得した情動結果をユーザ(例えば管理者A1)に提示する処理を行う構成である。具体的には、情動情報処理部311は、ネットワーク9を介して情動推定装置WTから送出された情動推定結果を取得する推定結果取得部320、取得した情動推定結果を管理者端末装置ATのユーザに提示する推定結果提示部330、ネットワーク9を介してユーザが作成したフィードバック内容を情動推定装置WTに送出するフィードバック出力部340で構成される。
【0047】
推定結果提示部330は、情動推定装置WTのユーザの情動推定結果をディスプレイ装置33に表示する取得推定結果表示により、当該情動推定結果をユーザに提示する。取得推定結果表示については後述する。また、フィードバック出力部340は、管理者端末装置ATのユーザが作成したフィードバック内容として、例えばテキストメッセージFTを情動推定装置WTに送出する。
【0048】
情動情報処理部311は、制御部300を介してディスプレイ装置33、通信部35といった構成要素を制御して、管理者端末装置ATにおける情動情報処理動作を制御する。これにより、パーソナルコンピュータ(PC)といった汎用の情報端末装置を管理者端末装置ATとして機能させることができる。
【0049】
画像用メモリ313には、管理者端末装置ATにおける各種処理においてディスプレイ装置33に表示される画像データが保持されている。本実施形態において、画像用メモリ313には、情動情報処理部311が制御する情動情報処理の進行に応じてディスプレイ装置33に表示される画像データが保持されている。また、記憶部301には、プログラム用メモリ310および画像用メモリ313の他に、各種データを一時的に保存する一時記憶領域や、所定のレジスタが設けられている。
【0050】
管理者端末装置ATは、制御部300に対して、キーボード31、ディスプレイ装置33、通信部35、記憶部301が例えばバスによって通信可能に接続されて構成されている。
【0051】
〔情動推定部の構成〕
次に、図4から図11を用いて、情動推定装置WTにおける情動推定部111の構成について説明する。図4は情動推定部の概略構成を示すブロック図である。
本発明者らは、文章作成時の情動の変化がキーボード等の文字入力部における文字入力操作(タイピング)の状態に表れるという研究に基づき、テキスト作成時、例えば非対面でのコミュニケーション(CMC)でのメッセージ作成の際に、文字入力操作から得られる情報を検出することで、情報端末装置のユーザの現行作業を阻害することなく、かつユーザにとって低負荷の状態で情動を推定することを見出した。
【0052】
そこで、本実施形態において情動推定部111は、CMCの実行時において入力状態検出部120が検出したユーザによる文字入力操作の状態に基づいて、推定結果生成部130においてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、感情価および覚醒度を指標として対象者(情動推定装置WTのユーザ)の情動を推定した情動推定結果を生成する。これにより、情報端末装置のユーザの現行作業を阻害することなく、かつユーザにとって低負荷の状態において、ユーザの情動を推定し、非対面であっても円滑なコミュニケーションを実現することができる。また、本実施形態では、キーボード11という汎用的な情報端末装置が標準的に備える構成を用いてユーザの情動を推定することで、複雑な装置や大がかりな装置を新たに設けることなく、情動推定を行うことができる。
【0053】
まず、図5および図6を用いて、入力状態検出部120が検出する文字入力操作の状態(キー入力状態)と、感情価および覚醒度との関連について説明する。図5は、感情価および覚醒度の変化と、キー入力状態との関連を説明する図である。図5(a)は、感情価の変化とキー入力状態との関連を説明する図であり、図5(b)は覚醒度の変化とキー入力状態との関連を説明する図である。図6は、入力状態検出部120が検出するキー入力状態と感情価および覚醒度との対応を示す図である。
【0054】
図5(a)に示すように、感情価が増加するにつれて、キー押下時間の長さは短くなり、キー押下時間の長さのばらつきが小さくなる。また、感情価が増加するにつれて、バックスペースキーを押下する強さ(押下力)のばらつきが小さくなる。ここで、特定のキーは、例えばバックスペースキーである。
また、図5(b)に示すように、覚醒度が増加するにつれて、キー押下時間の長さは短くなり、キー押下時間の長さのばらつきが小さくなる。また、覚醒度が増加するにつれて、文字キーおよびスペースキーを押下する強さ(押下力)が増大し、文字キーおよびスペースキーを押下する強さのばらつきが小さくなる。なお、図5(a)、図5(b)におけるキー押下時間の長さとは、より詳細には、キー押下時間の感覚の長さを示す。
【0055】
このように、本発明者らは、感情価および覚醒度という情動状態を表す2軸の情報と、キー押下時間およびキー押下力という2種類の情報を対応させることで、情動を解析することを見出した。
【0056】
図6に示すように、本実施形態において、入力状態検出部120は、感情価および覚醒度に関連するキー入力状態として、入力キーの押下時間の間隔および特定の入力キーの押下力に係る入力状態を取得して、推定結果生成部130に出力する。これにより、推定結果生成部130がキー入力状態から情動推定装置WTのユーザの感情価および覚醒度を検出し、これらに基づいて情動推定結果を生成することができる。ここで、入力キーの押下時間の間隔に係る入力状態をキー押下時間状態という。また、入力キーの押下力に係る入力状態をキー押下力状態という。
【0057】
図6に示すように、入力状態検出部120は、キー押下時間状態として、ユーザによる文字入力時におけるキー押下時間の間隔の長さおよび当該長さのばらつきを検出する。ここで、キー押下時間状態の検出対象となる入力キー(対象キー)は、すべての入力キーである。つまり、入力状態検出部120は、情動推定部111による情動推定処理中に相当する所定時間において押下されたすべてのキーについて、キー押下時間状態を検出する。
【0058】
キー押下時間状態のうちキー押下時間の間隔の長さからは、感情価および覚醒度を判定することができる。また同様に、キー押下時間状態のうちキー押下時間の間隔の長さのばらつきからは、感情価および覚醒度を判定することができる。
【0059】
つまり、入力状態検出部120は、キー押下時間の間隔の長さ又は当該押下時間の間隔のばらつきのうち少なくともいずれか一方をキー押下時間状態(第一入力状態の一例)として検出すればよい。これにより推定結果生成部130は、少なくともキー押下時間状態に基づいて感情価および覚醒度を判定し、情動推定結果を生成することができる。入力状態検出部120は、キー押下時間状態として、キー押下時間の間隔の長さを検出してもよい。これにより、推定結果生成部130は、キー押下時間の間隔の長さに基づいて、感情価および覚醒度を判定することができる。また、入力状態検出部120は、キー押下時間状態として、キー押下時間の間隔の長さのばらつきを検出してもよい。これにより、推定結果生成部130は、キー押下時間の間隔の長さのばらつきに基づいて、感情価および覚醒度を判定することができる。
【0060】
また、図6に示すように、入力状態検出部120は、キー押下力状態として、ユーザによる文字入力時における入力キーの押下力の強さおよび入力キーの押下力の強さのばらつきを検出する。ここで、入力キーの押下力の強さの検出対象となる入力キー(対象キー)は、文字キーおよびスペースキーである。また、入力キーの押下力の強さのばらつきの検出対象となる対象キーは、文字キー、スペースキーおよびバックスペースキーである。つまり、入力状態検出部120は、情動推定部111による情動推定処理中に相当する所定時間において押下された特定のキーについて、キー押下力状態を検出する。
【0061】
キー押下力状態のうち入力キーの押下力の強さからは、覚醒度を判定することができる。また、キー押下力状態のうち入力キーの押下力の強さのばらつきからは、感情価および覚醒度を判定することができる。具体的には、文字キーおよびスペースキーの押下力の強さのばらつきから、覚醒度を判定することができる。また、バックスペースキーの押下力の強さのばらつきから、感情価を判定することができる。
つまり、入力状態検出部120は、入力キーの押下力の強さおよび入力キーの押下力の強さのばらつきをキー押下力状態(第二入力状態の一例)として検出すればよい。これにより推定結果生成部130は、キー押下力状態に基づいて感情価および覚醒度を判定し、情動推定結果を生成することができる。
【0062】
(入力状態検出部)
図4に戻って、入力状態検出部120は、キー種別検出部121、キー押下時間検出部122およびキー押下力検出部123を有している。キー種別検出部121は、情動推定装置WTのユーザが文字入力操作として押下した入力キーの種別を取得して、情動推定処理に係る特定の入力キーを判別する。ここで、特定の入力キーとは、例えば句読点、スペース、バックスペースを示す。キー押下時間検出部122は、例えばOSが提供するAPI(Application Programming Interface)を利用して、ユーザが押下した入力キーの種別を取得してもよい。
【0063】
キー種別検出部121は、キーボード11においてユーザが押下操作した入力キーのうち、文字キーについては種別を取得しない。つまり、本実施形態において、入力状態検出部120(具体的には、キー種別検出部121)は、キーボード11からユーザが入力した文字列情報は入力状態として取得しない。したがって、情動推定部111において、推定結果生成部130は、ユーザが入力した文字列情報を用いることなく情動推定結果を生成する。これにより、情動推定装置WTは、情動の推定に際してユーザが入力した文章の機密性を保持することができる。
【0064】
(情動推定部における情動推定処理の実行期間)
本実施形態において、情動推定部111は、メッセージ送受信アプリケーション(例えば、電子メール、チャット、インスタントメッセンジャーなど)によるCMCの開始時において、情動推定に係る処理を開始する。つまり、情動推定部111における情動推定処理の実行期間(所定期間の一例)は、CMCの開始時に伴って開始される。入力状態検出部120は、情動推定処理の実行期間(情動推定期間)内におけるユーザの文字入力操作の状態をキー入力状態として検出する。
【0065】
情動推定期間は、所定条件が成立した場合に終了(画定)する。本実施形態において、情動推定期間は、例えばユーザが句読点に対応する入力キーを押下した回数(句読点押下回数)によって画定されてもよい。
情動推定部111において、情動推定処理の実行期間(情動推定期間)が開始されると、入力状態検出部120によるキー入力状態の検出が行われ、句読点押下回数によって情動推定期間が画定されると、情動推定期間中に検出されたキー入力状態に基づいて、推定結果生成部130による情動推定結果の生成が行われる。
【0066】
本実施形態において、キー種別検出部121は、例えばメッセージ送受信アプリの実行中に、句読点押下回数が予め定められた基準回数に到達した場合に、情動推定期間が画定されたと判定してもよい。
例えば、基準回数は、句点(「。」)であれば5回、読点(「、」)であれば10回であってもよい。CMCの実行中において情動推定処理の実行期間は繰り返し発生する。このため、情動推定部111は、句読点の押下回数が上記所定条件を満たすごとに情動推定結果を生成して、出力する。句読点の押下は、通常、文章の区切りを示す。このため、例えば句読点が複数回押下されることによりユーザが何らかの意見を述べる文章作成が行われ、情動変化が生じていると想定される。このため、情動推定部111では、句読点の押下回数により情動推定期間を画定することにより、より正確に情動を推定することができる。
【0067】
なお、キー種別検出部121は、ユーザが押下した入力キーの種別が句読点である場合に、句読点押下回数を加算し、句読点押下回数が基準回数に到達したことで情動推定結果が生成された後、句読点押下回数の加算結果を初期化(0に設定)すればよい。
【0068】
また、情動推定部111では、予め定められた時間(例えば3分)を規定時間として記憶部101の所定の記憶領域に記憶しておき、CMCツールの利用が開始されて以降、当該規定時間ごとに情動推定部111における情動推定処理において情動推定結果を生成してもよい。つまり、規定時間を情動推定期間として用いてもよい。当該規定時間は、例えば記憶部101に保持されている所定のタイマーを用いて計測すればよい。CMCツール利用時のメッセージ作成は、一般的に3~4分程度の短時間で行われる場合が多い。これを鑑みると、規定時間は、1分以上5分以下の範囲内が好ましく、3分以上4分以下であるとより好ましい。
【0069】
また、情動推定部111は、CMCツールの利用開始からCMCツールの利用終了までの期間、つまりCMCにおけるメッセージ作成のためのキーボード11の入力操作が開始されてから、当該メッセージの送信操作が行われるまでの期間を情動推定期間としてもよい。すなわち、CMCツールの利用期間が情動推定期間であってもよい。これにより、CMCツールの利用期間全体における情動を推定することができる。また、CMCツールの利用期間を情動推定期間とすることにより、メッセージ内の句読点が少ない場合にも対応することができる。
【0070】
キー押下時間検出部122は、キー入力状態のうち、キー押下時間状態として入力キー押下時間の間隔の長さおよび当該長さのばらつきを検出し、推定結果生成部130に出力する。ここで、図7を用いて、キー押下時間検出部122が取得するキー押下時間状態における、入力キー押下時間の間隔の検出について説明する。
【0071】
図7は、情動推定装置WTにおけるタイピングイベントの時間間隔のパターンを示す図である。ここで、タイピングイベントとは、ユーザがキーボード11の一の入力キーを「押す」操作および入力キーを「離す」操作で構成される。つまり、入力キー押下時間の間隔は、「押す」と「離す」の2つのタイピングイベントの時間間隔を示す。キー押下時間検出部122は、これら2つのタイピングイベントが発生したタイムスタンプを取得することで、入力キー押下時間の間隔のパターンとして、時間間隔Ti1,Ti2,Ti3,Ti4の4パターンを検出することができる。ここで、タイピングイベントのタイムスタンプは、OSが提供するAPIを利用して取得することができる。
【0072】
時間間隔Ti1は一の入力キーの「押す」から「離す」までの時間間隔である。また。時間間隔Ti2は一の入力キーの「押す」から「押す」までの時間間隔である。また。時間間隔Ti3は一の入力キーの「離す」から「押す」までの時間間隔である。また。時間間隔Ti4は一の入力キーの「離す」から「離す」までの時間間隔である。
【0073】
キー押下時間検出部122は、例えば所定時間内(情動推定処理中)において時間間隔Ti1,Ti2,Ti3,Ti4のうち、いずれか1パターンを入力キー押下時間の間隔として検出してもよいし、時間間隔Ti1,Ti2,Ti3,Ti4のうち複数パターンを入力キー押下時間の間隔として検出してもよい。キー押下時間検出部122は、検出した入力キー押下時間の間隔に基づいて当該間隔の長さの値を取得し、推定結果生成部130に出力する。これにより、推定結果生成部130は、キー押下時間状態のうち、入力キー押下時間の間隔の長さに基づいて、感情価、覚醒度を判定し、情動推定結果を生成することができる。
【0074】
また、キー押下時間検出部122は、検出した入力キー押下時間の間隔から取得した当該間隔の長さの値について、最頻値や中央値、平均値などを算出し、算出結果を推定結果生成部130に出力してもよい。
【0075】
また、キー押下時間検出部122は、例えば所定時間内(情動推定処理中)において取得した入力キー押下時間の間隔の長さに基づいて、キー押下時間の間隔の長さのばらつきを示す値を取得し、推定結果生成部130に出力する。例えば、キー押下時間検出部122は、入力キー押下時間の間隔の長さの値について標準偏差を算出し、当該算出結果をキー押下時間の間隔の長さのばらつきを示す値として、推定結果生成部130に出力する。これにより、推定結果生成部130において、キー押下時間状態に基づく感情価、覚醒度の判定処理の負荷を軽減することができる。
【0076】
(キー押下力検出部)
図4に戻って、キー押下力検出部123は、キー入力状態のうち、キー押下力状態として入力キーの押下力の強さおよび当該押下力の強さのばらつきを検出する。ここで、図8を用いて、キー押下力検出部123によるキー押下力状態の検出について説明する。
【0077】
図8は、キーボード11に接続された加速度センサユニット20の概略構成を示す図である。キー押下力検出部123は加速度センサユニット20が検出した情動推定装置WTの振動データに基づいて、情動推定装置WTのユーザによる文字入力操作時における入力キーの押下力の状態(キー押下力状態)を検出する。図8に示すように、加速度センサユニット20は、加速度センサを埋め込んだデバイスであって、加速度センサ21と、加速度センサ21が取り付けられたユニバーサル基板22と、加速度センサ21を挟んでユニバーサル基板22と対向するマイコンボード23と、マイコンボード23に接続されたUSB変換アダプタ24とで構成されている。
【0078】
本例において、キーボード11には、USBポート(不図示)が設けられており、USB変換アダプタ24が当該USBポートに接続されている。これにより、加速度センサ21が検出した振動データが情動推定装置WTに入力される。振動データには、例えば情動推定装置WTの加速度の値(情動推定装置WTの振動波形の振幅データ)および当該加速度のタイムスタンプが含まれる。入力された振動データは、制御部100を介して、キー押下力検出部123に出力される。
【0079】
キー押下力検出部123は、例えば所定時間内(情動推定処理中)において制御部100を介して出力された振動データに基づいて、キー押下力状態として特定の入力キーの押下力の強さを検出する。
例えば、キー押下力検出部123は、キー種別検出部121が取得したキー種別が文字キー、スペースキー、バックスペースキーであった場合に、キー押下時間検出部122が取得した、タイピングイベントのタイムスタンプを参照する。キー押下力検出部123は、ここで得たタイピングイベントのタイムスタンプに基づいて、加速度のタイムスタンプを振動データから抽出し、さらに当該タイムスタンプに該当する加速度の値(上記振幅データ)を振動データから抽出する。
【0080】
具体的には、キー押下力検出部123は、上述のタイピングイベントのタイムスタンプを含む所定期間(加速度収集期間)に該当する加速度のタイムスタンプに基づいて加速度値(上記振動波形の振幅データ)を収集し、収集した加速度値のうちの最大値を、キー押下力の強さとして取得する。加速度収集期間は、規定の期間(例えば、上述のタイピングイベントのタイムスタンプの前後30ミリ秒の期間)としてもよいし、情動推定装置WTのユーザのタイピング速度に基づいて適宜設定してもよい。
【0081】
加速度センサユニット20と情動推定装置WTとの間では、データ送信やプログラムの処理時間に差が生じ得る。そこで、本実施形態では、上述のようにキー押下力検出部123が加速度収集期間における加速度値の最大値をキー押下力の強さとして取得する。これにより、情動推定装置WTにおけるタイピングイベントと、加速度センサユニット20が検出した加速度値(上記振動波形の振幅データ)とのタイムスタンプのずれを調整し、特定の入力キーの押下に対応する振幅データを適切に取得することができる。
このように、キー押下力検出部123は、文字キー、スペースキー、バックスペースキーの押下力の強さのデータとして、加速度値を検出することができる。キー押下力検出部123は、検出した当該押下力の強さのデータのうち文字キー、スペースキーの押下力の強さのデータを推定結果生成部130に出力する。これにより、推定結果生成部130において、当該押下力の強さに基づいて覚醒度を判定することができる(図6参照)。
【0082】
また、キー押下力検出部123は、例えば所定時間内(情動推定処理中)における特定の入力キー(文字キー、スペースキー、バックスペースキー)についての押下力の強さの標準偏差を算出し、当該算出結果を、特定の入力キーの押下力の強さのばらつきを示す値として、推定結果生成部130に出力してもよい。これにより、推定結果生成部130において、キー押下力状態に基づく感情価、覚醒度の判定処理の負荷を軽減することができる。
【0083】
このように、本実施形態に係る情動推定装置WTは、後付された加速度センサユニット20により、文字入力時のキー押下力を検出している。このため、情動推定装置WT自体に加速度を検出するデバイスを組み込む必要がなく、汎用の情報端末装置(PC等)を、キー押下力状態を検出可能な情動推定装置WTとして用いることができる。
【0084】
なお、本例において、加速度センサユニット20がUSB変換アダプタ24によってキーボード11のUSBポートに接続されているとしたが、本発明はこれに限られない。加速度センサユニット20はキーボード11において、文字列入力を妨げない任意の位置に設置されていればよい。この場合、加速度センサユニット20は、USB変換アダプタ24による物理的な接続ではなく、シリアル通信等によって接続され、振動データを出力する構成であってもよい。また、加速度センサユニット20は、キーボード11に限らず、文字入力操作時の振動が伝播する位置であれば、情動推定装置WTの任意の箇所に設置されてもよい。
【0085】
また、キーボード11における文字キーの押下力をより高精度で検出する場合には、キーボード11の周囲に、複数の加速度センサユニットを設けてもよい。後付の加速度センサユニット20であれば、容易に情動推定装置WTに設置することができ、複数取り付けることでより精度の高いキー押下力状態を検出することができる。
【0086】
(推定結果生成部)
図4に示すように、推定結果生成部130は、感情価判定部131、覚醒度判定部132および推定処理部133で構成されている。推定結果生成部130は、入力状態検出部120から出力された入力状態(キー押下時間状態およびキー押下力状態)に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて前記情動推定結果を生成する。
【0087】
感情価判定部131は、入力状態検出部120から出力されたキー押下時間状態およびキー押下力状態に基づいて、感情価を判定する。例えば、感情価判定部131は、キー押下時間状態のうち、キー押下時間の間隔の長さに基づいて、感情価を判定してもよい。この場合、感情価判定部131は、キー押下時間の間隔の長さが短いほど、感情価を大きく判定する。例えば、感情価判定部131は、予め定められた基準値とキー押下時間の間隔の長さの値とのオフセットをもとめ、当該オフセットの値に基づいて感情価を判定してもよい。この場合、例えば当該基準値は、キー押下時間の間隔の長さが短い、つまり当該間隔の長さの値が小さいほど、オフセットの値が大きくなるように設定されていればよい。
【0088】
また、感情価判定部131は、キー押下時間状態のうち、キー押下時間の間隔の長さのばらつきに基づいて、感情価を判定してもよい。この場合、感情価判定部131は、キー押下時間の間隔の長さのばらつきが小さいほど、感情価を大きく判定する。例えば、感情価判定部131は、予め定められた基準値とキー押下時間の間隔の長さのばらつきの値とのオフセットをもとめ、当該オフセットの値に基づいて感情価を判定してもよい。この場合、例えば当該基準値は、キー押下時間の間隔の長さのばらつきを示す値が小さいほど、オフセットの値が大きくなるように設定されていればよい。
【0089】
感情価判定部131は、キー押下力状態のうち、バックスペースキーの押下力の強さのばらつきに基づいて、感情価を判定してもよい。この場合、感情価判定部131は、バックスペースキーの押下力の強さのばらつきが小さいほど感情価を大きく判定する。例えば、感情価判定部131は、予め定められた基準値とバックスペースキーの押下力の強さのばらつきを示す値とのオフセットをもとめ、当該オフセットの値に基づいて感情価を判定してもよい。この場合、例えば当該基準値は、バックスペースキーの押下力の強さのばらつきを示す値が小さいほど、オフセットの値が大きくなるように設定されていればよい。
【0090】
なお、感情価の判定に用いる基準値としては、キー入力状態を示す値(キー押下時間の間隔の長さ、当該間隔の長さのばらつき、バックスペースキーの押下力の強さのばらつき)のそれぞれに対応する基準値を用意し、記憶部101の所定の記憶領域で保持すればよい。
【0091】
このように、感情価判定部131は、キー押下時間状態およびキー押下力状態に基づいて、感情価を判定することができる。また、感情価判定部131は、キー押下時間状態およびキー押下力状態のいずれか一方に基づいて、感情価を判定してもよい。
【0092】
また、覚醒度判定部132は、入力状態検出部120から出力されたキー押下時間状態およびキー押下力状態に基づいて、覚醒度を判定する。例えば、覚醒度判定部132は、キー押下時間状態のうち、キー押下時間の間隔の長さに基づいて、覚醒度を判定してもよい。この場合、覚醒度判定部132は、キー押下時間の間隔の長さが短いほど、覚醒度を大きく判定する。例えば、覚醒度判定部132は、感情価判定部131と同様に、予め定められた基準値とキー押下時間の間隔の長さの値とのオフセットをもとめ、当該オフセットの値に基づいて覚醒度を判定してもよい。この場合、当該基準値は、キー押下時間の間隔の長さが短い(当該間隔の長さの値が小さい)ほど、オフセットの値が大きくなるように設定されていればよい。
【0093】
また、覚醒度判定部132は、キー押下時間状態のうち、キー押下時間の間隔の長さのばらつきに基づいて、覚醒度を判定してもよい。この場合、覚醒度判定部132は、キー押下時間の間隔の長さのばらつきが小さいほど、覚醒度を大きく判定する。例えば、覚醒度判定部132は、予め定められた基準値とキー押下時間の間隔の長さのばらつきの値とのオフセットをもとめ、当該オフセットの値に基づいて覚醒度を判定してもよい。この場合、当該基準値は、キー押下時間の間隔の長さのばらつきを示す値が小さいほど、オフセットの値が大きくなるように設定されていればよい。
【0094】
また例えば、覚醒度判定部132は、キー押下力状態のうち、文字キー、スペースキーの押下力の強さに基づいて、覚醒度を判定してもよい。この場合、覚醒度判定部132は、文字キー、スペースキーの押下力が強い(当該押下力の強さを示す値が大きい)ほど、覚醒度を高く判定する。例えば、覚醒度判定部132は、予め定められた基準値と文字キー、スペースキーの押下力の強さの値とのオフセットをもとめ、当該オフセットの値に基づいて覚醒度を判定してもよい。この場合、例えば当該基準値は、文字キー、スペースキーの押下力の強さを示す値が大きいほど、オフセットの値が大きくなるように設定されていればよい。
【0095】
また例えば、覚醒度判定部132は、キー押下力状態のうち、文字キー、スペースキーの押下力の強さのばらつきに基づいて、覚醒度を判定してもよい。この場合、覚醒度判定部132は、文字キー、スペースキーの押下力の強さのばらつきが小さいほど、覚醒度を高く判定する。例えば、覚醒度判定部132は、感情価判定部131と同様に、予め定められた基準値と文字キー、スペースキーの押下力の強さのばらつきを示す値とのオフセットをもとめ、当該オフセットの値に基づいて覚醒度を判定してもよい。この場合、例えば基準値は、文字キー、スペースキーの押下力の強さのばらつきを示す値が小さいほど、オフセットの値が大きくなるように設定されていればよい。
【0096】
なお、覚醒度の判定に用いる基準値としては、キー入力状態を示す値(キー押下時間の間隔の長さ、当該間隔の長さのばらつき、文字キー、スペースキーの押下力の強さ、当該押下力の強さのばらつき)のそれぞれに対応する基準値を用意し、記憶部101の所定の記憶領域で保持すればよい。
【0097】
このように、覚醒度判定部132は、キー押下時間状態およびキー押下力状態に基づいて、覚醒度を判定することができる。また、覚醒度判定部132は、キー押下時間状態およびキー押下力状態のいずれか一方に基づいて、覚醒度を判定してもよい。
【0098】
推定処理部133は、感情価判定部131が判定した感情価および覚醒度判定部132が判定した覚醒度に基づいて、情動推定装置WTのユーザの情動を推定し、情動推定結果を生成する処理を行う。ここで、感情価および覚醒度と情動の関係について、図9を用いて説明する。
【0099】
情動は、例えば、図9に示すように、感情価及び覚醒度を指標とした2次元心理モデルによって表すことができる。図9では、2次元心理モデルの一例として、ラッセルの円環モデルを図示している。2次元心理モデルでは、X軸が快適度を示し、Y軸が覚醒度を示している。X軸の感情価は、X軸の正領域が「快」であり、X軸の負領域が「不快」である。感情価は、X軸の正領域でのレベル(絶対値)が大きくなるほど快適さの度合いが増加し、X軸の負領域でのレベル(絶対値)が大きくなるほど不快さを示す度合いが増加(快適さの度合いが減少)する。
【0100】
また、Y軸の覚醒度は、Y軸の正領域が「活性」であり、Y軸の負領域が「不活性」である。覚醒度は、Y軸の正領域でのレベル(絶対値)が大きくなるほど覚醒(活性)の度合いが増加し、Y軸の負領域でのレベル(絶対値)が大きくなるほど不活性の度合いが増加(活性が減少)する。
【0101】
情動は、感情価及び覚醒度が2次元心理モデルの2次元座標の4つの平面座標におけるいずれの象限にあるかによって、種類が区分けされる。第1象限E1は、情動が、例えば警戒、興奮、熱中、歓喜、幸せ等であることを示す。また、第2象限E2は、情動が、例えば緊張、神経質、怒り、ストレス、動揺等であることを示す。また、第3象限E3は、情動が、例えば惨め、悲しみ、憂鬱、怠惰、退屈等であることを示す。また第4象限E4は、情動が、例えば満足、穏やか、リラックス、鎮静、疲労等であることを示す。
【0102】
情動推定部111では、入力状態検出部120の検出結果に基づいて、推定結果生成部130が感情価及び覚醒度を判定し、判定した感情価及び覚醒度を2次元心理モデルに適用して情動を推定する。これにより、情動推定部111は、文字入力操作の状態から対象者の情動を推定して情動推定結果を生成することができる。
具体的には、推定処理部133は、例えば情動推定の対象者(情動推定装置WTのユーザ)の感情価および覚醒度から2次元心理モデルにおける座標データを求め、当該座標データが2次元心理モデルの2次元座標のどの象限に対応するかを判定することで、対象者の情動を推定する。推定処理部133は感情価に基づいてX座標を算出し、覚醒度に基づいてY座標を算出することで、2次元心理モデルにおける座標データを求めればよい。
【0103】
例えば、記憶部101の所定の記憶領域には、2次元心理モデルに対応するデータ(2次元心理モデルデータ)が記憶されていればよい。例えば2次元心理モデルデータでは、第1象限E1が警戒、興奮、熱中、歓喜、幸せに相当する5つの領域に区分される。また、第2象限E2は、例えば緊張、神経質、怒り、ストレス、動揺に相当する5つの領域に区分される。また、第3象限E3は、例えば惨め、悲しみ、憂鬱、怠惰、退屈に相当する5つの領域に区分される。また、第4象限E4は、例えば満足、穏やか、リラックス、鎮静、疲労に相当する5つの領域に区分される。推定処理部133は、情動推定の対象者(情動推定装置WTのユーザ)の感情価および覚醒度から求めた座標データが、いずれの象限に相当するかを判定し、さらに当該座標データが判定した象限内におけるいずれの領域に当該座標データが含まれるかを判定する。これにより、推定処理部133は、感情価および覚醒度に基づいて、情動を推定することができる。
【0104】
ここで、図10を用いて、推定結果生成部130における2次元モデルに基づく情動推定結果生成処理の流れの一例を説明する。図10は、本実施形態における情動推定結果生成処理の流れの一例を説明するフローチャートである。
【0105】
(ステップS11)
推定結果生成部130は、入力状態検出部120(具体的には、キー押下時間検出部122)から出力されたキー入力状態(例えば入力キー押下時間状態および入力キー押下力状態)を取得すると、取得したキー入力状態を感情価判定部131および覚醒度判定部132に出力する。
(ステップS12)
推定結果生成部130の感情価判定部131は、キー入力状態に基づいて、感情価を判定し、判定結果として感情価を示す数値を算出し、推定処理部133に出力する。例えば、感情価判定部131はキー押下時間の間隔の長さの値、当該長さのばらつきを示す値、キー押下力(バックスペースキーの押下力)の強さのばらつきを示す値に基づいて、感情価を示す数値を算出する。例えば本実施形態では、上述のように、これらのキー入力状態を示す値それぞれについて予め感情価判定用の基準値が定められている。感情価判定部131は当該基準値とキー入力状態を示す値それぞれとのオフセットをもとめ、当該オフセットに基づいて感情価を数値化してもよい。例えば感情価判定部131は、キー入力状態を示す値のそれぞれについて求めたオフセットの平均値を、感情価の判定結果として算出してもよい。
(ステップS13)
推定結果生成部130の覚醒度判定部132は、キー入力状態に基づいて、覚醒度を判定し、判定結果として覚醒度を示す数値を算出、推定処理部133に出力する。例えば、覚醒度判定部132はキー押下時間の間隔の長さの値、当該長さのばらつきを示す値、キー押下力(文字キー、スペースキーの押下力)の強さの値、当該強さのばらつきを示す値に基づいて、覚醒度を示す数値を算出する。例えば、本実施形態において、これらのキー入力状態を示す値それぞれについて予め覚醒度判定用の基準値が定められている。覚醒度判定部132は当該基準値とキー入力状態を示す値それぞれとのオフセットをもとめ、当該オフセットに基づいて覚醒度を数値化してもよい。例えば覚醒度判定部132は、キー入力状態を示す値のそれぞれについて求めたオフセットの平均値を、覚醒度の判定結果として算出してもよい。
【0106】
(ステップS14)
推定結果生成部130の推定処理部133は、感情価の判定結果および覚醒度の判定結果を示す各数値(例えば、オフセット値)に基づいて、図9に示す2次元心理モデルにおける座標データを生成する。具体的には、推定処理部133は、感情価の判定結果の数値をX軸座標の値とし、覚醒度の判定結果の数値をY軸座標の値として座標データを生成する。
【0107】
推定処理部133は、例えば感情価をX座標に変換するための変換テーブルを用いて感情価をX座標の値に変換してもよい。当該変換テーブルには、X座標を示す値として、「-5」「-4」「-3」「-2」「-1」「+1」「+2」「+3」「+4」「+5」の10個の数値が用意される。当該数値には、それぞれ感情価の数値範囲が対応付けられている。推定処理部133は、感情価判定部131から出力された感情価の値がX座標に関するいずれの数値範囲に対応するかによって、感情価をX座標の値に変換してもよい。例えば、推定処理部133は、オフセット値として算出された感情価の値が大きいほど、大きい値のX座標に変換する、つまり感情価が大きいと判定するように構成されていればよい。
【0108】
また、推定処理部133は、例えば覚醒度をY座標に変換するための変換テーブルを用いて覚醒度をY座標の値に変換してもよい。当該変換テーブルには、X座標を示す値と同様に、Y座標を示す値として、「-5」から「+5」の10個の数値が用意される。当該数値には、それぞれ覚醒度の数値範囲が対応付けられている。推定処理部133は、覚醒度判定部132から出力された覚醒度の値がY座標に関するいずれの数値範囲に対応するかによって、覚醒度をY座標の値に変換してもよい。例えば、推定処理部133は、オフセット値として算出された覚醒度の値が大きいほど、大きい値のY座標に変換する、つまり覚醒度が高いと判定するように構成されていればよい。
また、上述の変換テーブル(感情価変換用、覚醒度変換用)は、情動推定装置WTのユーザごとに調整可能としてもよい。例えば、感情価変換用の変換テーブルにおいて、X座標を示す数値と対応する感情価の数値範囲を、ユーザごとに調整可能としてもよい。また同様に、覚醒度変換用の変換テーブルにおいて、Y座標を示す数値と対応する覚醒度の数値範囲を、ユーザごとに調整可能としてもよい。これにより、ユーザの性格や個性に応じて感情価および覚醒度の推定を行うことができる。
【0109】
(ステップS15)
推定処理部133は、座標データを生成すると、2次元モデルにおいて当該座標データが属する象限を判定する。例えば、推定処理部133はX軸座標およびY軸座標が正の値(「+1」~「+5」のいずれか)である場合、座標データが第1象限E1に属すると判定する。また、推定処理部133はX軸座標が負の値(「-5」~「-1」のいずれか)であり、Y軸座標が正の値(「+1」~「+5」のいずれか)である場合、座標データが第2象限E2に属すると判定する。また、推定処理部133は、X軸座標およびY軸座標が負の値(「-5」~「-1」のいずか)である場合、座標データが第3象限E3に属すると判定する。また、推定処理部133はX軸座標が正の値(「+1」~「+5」のいずれか)であり、Y軸座標が負の値(「-5」~「-1」のいずれか)である場合、座標データが第4象限E4に属すると判定する。
【0110】
(ステップS16)
推定処理部133は、座標データが属する象限を判定すると、当該象限内の座標に基づいて、情動を推定する。具体的には、推定処理部133は、記憶部101に記憶された上述の2次元心理モデルデータを読み込み、象限内のいずれの領域に属するかによって、情動を推定する。例えば、座標データが第1象限E1に属すると判定されている場合、推定処理部133は、当該座標データが第1象限E1における警戒、興奮、熱中、歓喜、幸せに相当する5つの領域のいずれに含まれるかを判定する。ここで、当該座標データが「興奮」に相当する領域に含まれる場合、推定処理部133は、情動を「興奮状態」と推定する。
【0111】
(ステップS17)
推定処理部133は、情動を推定すると、これに基づいて情動推定結果を生成する。例えば推定処理部133は、推定した情動を示す文字列データ(例えば「興奮状態」)を情動推定結果として生成し、情動推定結果生成処理を終了する。
【0112】
推定処理部133は、推定した情動を示す情動推定結果を生成すると、生成した情動推定結果を推定結果出力部140に出力する。なお、推定処理部133は、生成した情動推定結果を、記憶部101の所定の記憶領域に記憶してもよい。
【0113】
また、本例では推定処理部133がキー押下時間状態およびキー押下力状態に基づいて情動推定結果を生成するとしたが、本発明はこれに限られない。推定処理部133は、キー入力状態のうち、キー押下時間状態またはキー押下力状態のうち少なくとも何れか一方を用いて、情動推定結果を生成してもよい。例えば、入力状態検出部120は、キー入力状態のうち、キー押下時間状態を検出し、推定処理部133は少なくともキー押下時間状態を用いて感情価及び覚醒度を判定して、情動推定結果を生成してもよい。
また、例えば、入力状態検出部120は、キー入力状態のうちキー押下力状態を検出し、推定処理部133は少なくともキー押下力状態を用いて感情価及び覚醒度を判定して、情動推定結果を生成してもよい。
【0114】
<推定結果出力部>
図4に戻って、推定結果出力部140は、結果表示処理部141と結果送信処理部142とを有している。
(結果表示処理部)
結果表示処理部141は、ディスプレイ装置13において情動推定結果を出力する推定結果表示を行う。ここで、図10を用いて、推定結果表示について説明する。図10は、推定結果表示の一例を示す図である。推定結果生成部130において、情動推定結果が生成されると、図10に示すように、情動推定装置WTのディスプレイ装置13の画面13a内において情動推定結果を示す情動報知画像p1が表示される。これにより、情動推定装置WTのユーザに自らの情動推定結果が通知される。
【0115】
情動推定装置WTでは、推定結果出力部140に情動推定結果が出力されると、結果表示処理部141が情動推定結果に基づいて、情動結果表示用文字列を作成する。例えば結果表示処理部141は、制御部100を介して記憶部101の所定の記憶領域に記憶された定型文「〇〇状態のようです」を取得すると、当該定型文の冒頭に情動推定結果の内容を追加して、情動結果表示用文字列を生成する。例えば、情動推定結果が「興奮状態」であった場合、結果表示処理部141は、「興奮状態のようです」という内容の情動結果表示用文字列を作成する。結果表示処理部141は、情動結果表示用文字列を作成すると、制御部100を介して画像用メモリ113から情動報知画像のテンプレートを取得し、これに情動結果表示用文字列を適用して、情動報知画像p1を生成する。
【0116】
情動報知画像p1を生成すると、結果表示処理部141は制御部100を介して情動報知画像p1をディスプレイ装置13に出力する。これにより、図10に示すように、画面13a内において情動報知画像p1が表示される。本実施形態において、結果表示処理部141は、推定結果表示において、画面13a内の中央領域を除く特定領域において情動推定結果を示す情動報知画像P1を表示させる。これにより、画面13a内におけるユーザの現行の作業を妨げずに、情動推定結果を報知することができる。本例では、画面13aの右下領域に、情動報知画像p1が表示されている。また、情動報知画像P1のサイズは、情動結果表示用文字列を視認可能に適用できる範囲内で、最小限のサイズであればよい。これにより、画面13a内におけるユーザの現行の作業のために表示されている他の画面よりも小さいサイズとして、ユーザの作業内容を妨げることを防止することができる。
【0117】
また、結果表示処理部141は、情動推定結果が推定結果生成部130から出力される度に、情動推定表示を実行する。上述のように、情動推定部111は、所定期間毎(句読点に対応する入力キーの押下回数が所定回数以上となること)に情動推定処理を実行する。したがって、結果表示処理部141は所定期間毎に、繰り返し情動推定表示を行う。なお、情動推定表示は、情動推定結果を反映したものであるため、情動推定表示の内容(例えば、情動報知画像p1に適用される情動結果表示用文字列)は、情動推定結果に応じて随時変更され得る。
【0118】
また、図10に示すように、情動推定表示において情動を表す情動状態絵文字pgを表示してもよい。これにより、情動推定結果表示における視覚的な効果を向上することができ、ユーザは情動推定結果を直感的に受け取ることができる。図10では、情動状態絵文字pgが情動結果表示用文字列とともに表示されているが、これに限られず、例えば、情動推定表示として情動状態絵文字pgのみを表示してもよい。また、ユーザの設定により、情動推定表示における表示態様(例えば情動結果表示用文字列のみ、情動結果表示用文字列および情動状態絵文字pg、情動状態絵文字pgのみ)を選択可能であってもよい。
【0119】
また、情動結果表示用文字列には、情動推定結果以外の情報が含まれていてもよい。例えば、情動推定表示用文字列には、所定のWebサイトへのリンク情報(URL)が含まれていてもよい。当該リンク情報は、例えば飲食物や嗜好品の購入サイトや紹介サイト(例えばランディングページ)に誘導するものであってもよいし、リラックスを促す情報(音楽、動画、エクササイズ等)を紹介するサイトへ誘導するものであってもよい。当該リンク情報は、ユーザの過去のWebサイトへのアクセスデータ(例えば、cookie)に基づいて、決定されてもよい。結果表示処理部141は、当該アクセスデータをOS等が提供するAPIを利用して取得してもよい。
【0120】
(結果送信処理部)
結果送信処理部142は、情動推定結果が生成されたことに基づいて、管理者端末装置ATに情動推定結果を送出する。具体的には、結果送信処理部142は、記憶部101の所定の記憶領域に記憶された管理者端末装置ATの識別情報に基づいて、情動推定結果を送出する。ここで、識別情報とは、例えばメールアドレスやIPアドレス、CMCに用いる所定のメッセージ送受信アプリ(チャット、インスタントメッセンジャー)のアカウント情報等を示す。本実施形態に係る情動推定部111において、結果送信処理部142は、メッセージ送受信アプリによるCMCでのメッセージ送信時に置いて、当該メッセージの送信先が管理者端末装置ATであると判定した場合に、情動推定結果を管理者端末装置ATに送出する構成でもよい。
【0121】
具体的には、結果送信処理部142は制御部100を介して、記憶部101から管理者端末装置ATの識別情報を取得する。このとき、結果送信処理部142は、例えば利用中のCMCに対応する識別情報を、記憶部101から取得してもよい。結果送信処理部142は、識別情報を取得すると、制御部100を介して、通信部15に情動推定結果を出力する。これにより、通信部15によりネットワーク9(図1参照)を介して、情動推定結果が管理者端末装置ATに送出される。結果送信処理部142は、例えば、CMCによるメッセージの送信に伴って、情動推定結果を送出する。なお、結果送信処理部142は情動推定結果を、ユーザが作成したメッセージの末尾に追加することで送出してもよいし、結果送信処理部142が情動推定結果を含む新たなCMCのメッセージを生成して送出してもよい。
【0122】
このように、本実施形態において、情動推定部111の推定結果生成部130は、CMCの利用時、すなわちメッセージ送受信アプリ等によるネットワークを介したメッセージの送受信が行われる場合に、情動推定結果を生成する。さらに推定結果出力部140は、例えば当該メッセージの送信に伴って情動推定結果を送出する。これにより、非対面でのコミュニケーション時をより円滑に進行させることができる。
【0123】
また、本実施形態にかかる情動推定装置WTでは、結果送信処理部142が電子メール、チャット等のCMCにおける発言者である情動推定装置WTのユーザの情動推定結果をCMCの相手先の情報端末装置(例えば、管理者端末装置AT)に送出することができる。これにより、非対面でのコミュニケーション時において、受け手(例えば、管理者端末装置ATのユーザ)が、発言者の情動を勘案した対応をすることができる。
【0124】
ここで、管理者端末装置ATおいて、推定結果提示部330(図3参照)が実行する取得推定結果表示について説明する。管理者端末装置ATおいて、推定結果取得部320は、制御部300を介して、通信部35が受信した情動推定結果を取得し、取得したフィードバック内容を推定結果提示部330に出力する。推定結果提示部330は、情動推定結果が出力されたことに基づいて、情動推定装置WTのユーザの情動推定結果をディスプレイ装置33に表示する取得推定結果表示を行う。
【0125】
推定結果提示部330は、例えば情動結果の送信用いられたCMCの識別情報(例えば、メールアドレス等)に基づいて、制御部300を介して、記憶部301から情動推定装置WTのユーザの情報(例えば、氏名)を取得する。推定結果提示部330は、ユーザの情報と取得した情動推定結果とに基づいて、取得推定結果表示用の文字列(例えば、図2に示すテキストメッセージGR)を作成する。
【0126】
推定結果提示部330は、制御部300を介して、画像用メモリ313から取得推定結果表示用の画像のテンプレートを取得し、これに取得推定結果表示用の文字列を適用して、取得情動報知画像を生成する。推定結果提示部330は、制御部300を介して、取得情動報知画像をディスプレイ装置33に出力する。これにより、取得推定結果表示が実行される。取得情動報知画像は、図10に示す情動推定結果表示と同様に、ディスプレイ装置33の画面内において、現行の作業を妨げない位置に表示されていればよい。また、取得情動報知画像は、取得推定結果表示用の文字列のみの態様でもよいし、取得した情動推定結果を表す絵文字と当該文字列とを合わせた態様でもよいし、当該絵文字のみの態様でもよい。
【0127】
管理者端末装置ATのユーザは、取得推定結果表示を確認し、任意で情動推定装置WTのユーザに対するフィードバックとして所定のテキストメッセージ(例えば、図2に示すテキストメッセージFT)を管理者端末装置ATにおいて作成することができる。これにより、情動推定装置WTのユーザに対して、情動の状態に対応したフィードバック(指導、フォロー等)を行い、非対面でのコミュニケーションをより円滑に進めることができる。
【0128】
<フィードバック処理部>
(フィードバック取得部)
図4に戻って、フィードバック処理部150は、フィードバック取得部151とフィードバック表示部152とを有している。フィードバック取得部151は、管理者端末装置ATから送出されたフィードバック内容(例えば、図2に示すテキストメッセージFT)を取得する。具体的には、フィードバック取得部151は、制御部100を介して、通信部15が受信したフィードバック内容を取得し、取得したフィードバック内容をフィードバック表示部152に出力する。
【0129】
(フィードバック表示部)
フィードバック表示部152は、ディスプレイ装置13においてフィードバック内容を出力するフィードバック表示を行う。ここで、図11を用いて、フィードバック表示について説明する。図11は、フィードバック表示の一例を示す図である。フィードバック取得部151において、フィードバック内容が取得されると、図11に示すように、情動推定装置WTのディスプレイ装置13の画面13a内においてフィードバック内容を示すフィードバック画像p2が表示される。これにより、情動推定装置WTのユーザに管理者端末装置ATのユーザからのフィードバック内容が通知される。
【0130】
フィードバック内容は、例えば管理者端末装置ATからCMCのメッセージとして送信される。したがって、フィードバック画像p2は、例えばCMCメッセージの受信通知として表示されてもよい。このとき、フィードバック画像p2は、情動推定結果表示における情動報知画像p1(図10参照)と異なり、ディスプレイ装置13の画面13a内の中央領域に表示される。これにより、管理者端末装置ATのユーザからのフィードバック内容を確実にフィードバック取得部151において、フィードバック内容が取得されると、図11に示すように、情動推定装置WTのユーザに報知することができる。また、フィードバック画像p2には、フィードバック内容を示すテキストメッセージの内容がすべて表示されように構成されてもよい。これにより、情動推定装置WTのユーザがCMCメッセージ本文を確認しない場合であっても、フィードバック内容を報知することができる。
【0131】
また、情動推定装置WTにおいて、情動推定結果表示は情動推定装置WTのユーザの選択によって、実行/不実行を切り替え可能としてもよいが、フィードバック表示は情動推定装置WTのユーザの選択によって実行/不実行を切り替えできないように構成されてもよい。これにより、管理者端末装置ATのユーザ(例えば、管理者A1)は、情動推定装置WTのユーザに対して、より確実にフィードバック内容を伝達することができる。
【0132】
次に、本実施形態による情動推定システム1の情動推定処理の流れの一例について、図1から図11を参照しつつ、図12を用いて説明する。図2は、情動推定システム1における情動推定に係る処理の流れの一例を示すシーケンスチャートである。ここで、情動推定処理は、CMCの実行中(メッセージ送受信のアプリケーションの実行中)に実行されるとする。
【0133】
(ステップS101)
上述のように、情動推定装置WTにおいて入力状態検出部120は、CMCの利用時であって、情報推定処理の実行期間中である(句読点の押下回数が所定回数未満)である場合にキー入力状態の検出を行う。
(ステップS102)
情動推定装置WTにおいて推定結果生成部130は、情報推定処理の実行期間が画定された場合(キー種別検出部121において句読点の押下回数が所定回数に到達したと判定された場合)に、入力状態検出部120から出力されたキー入力状態に基づいて、感情価判定部131および覚醒度判定部132において感情価、覚醒度を判定する。
【0134】
(ステップS103)
情動推定装置WTにおいて推定結果生成部130は、推定処理部133において、情動推定結果生成処理(図10参照)の実行によって感情価および覚醒度に基づいて情動推定結果を生成し、生成した情動推定結果を推定結果出力部140に出力する。
(ステップS104)
情動推定装置WTにおいて推定結果出力部140は、出力された情動推定結果を、通信部15を介して管理者端末装置ATに送信する。
(ステップS105)
管理者端末装置ATにおいて推定結果取得部320は、通信部35を介して情動推定結果を取得し、取得した情動推定結果を推定結果提示部330に出力する。
(ステップS106)
管理者端末装置ATにおいて推定結果提示部330は、出力された情動推定結果をディスプレイ装置33に表示する取得推定結果表示を行う。これにより、情動推定装置WTのユーザの情動推定結果が管理者端末装置ATのユーザに提示される。
(ステップS107)
管理者端末装置ATのユーザが情動推定装置WTのユーザへのフィードバック内容を示すテキストメッセージの入力を行うことで、管理者端末装置ATにおいてフィードバック内容(例えばテキストメッセージFT)が作成される。
(ステップS108)
管理者端末装置ATにおいてフィードバック出力部340は、作成されたフィードバック内容(例えば、テキストメッセージFT)を、通信部35を介して情動推定装置WTに送出する。
(ステップS109)
情動推定装置WTにおいてフィードバック取得部151は、通信部15を介して管理者端末装置ATから送出されたフィードバック内容(例えば、テキストメッセージFT)を取得し、フィードバック表示部152に出力する。
(ステップS110)
情動推定装置WTにおいてフィードバック表示部152は、ディスプレイ装置13においてフィードバック内容を出力するフィードバック表示を行う。これにより、情動推定装置WTのユーザに管理者端末装置ATのユーザからのフィードバック内容が通知される。
【0135】
このようにして、本実施形態に係る情動推定システム1は、CMCの利用時において、発言者(例えば情動推定装置WTのユーザ)の情動を、受け手(管理者端末装置ATのユーザ)に送出することで、非対面でのコミュニケーションを円滑に進めることができる。
【0136】
以上説明したように、本実施形態による情動推定装置WTは、ユーザによる文字入力操作を受け付けるキーボード11から入力された文字情報をディスプレイ装置13に表示可能な情報端末装置であって、ユーザによる文字入力操作の状態を示すキー入力状態を検出する入力状態検出部120と、キー入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130と、情動推定結果が生成されたことに基づいて、情動推定結果を出力する推定結果出力部140と、を備え、推定結果生成部130は、キー入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて情動推定結果を生成する。
これにより、簡易な構成の装置によって容易に発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定装置を提供することができる。
【0137】
また、本実施形態による情動推定システム1は、ユーザによる文字入力操作を受け付けるキーボード11から入力された文字情報をディスプレイ装置13に表示可能な情報端末装置であって、ユーザによる文字入力操作の状態を示す入力状態を検出する入力状態検出部120、入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130、および情動推定結果が生成されたことに基づいて、情動推定結果を送出する推定結果出力部140を有する情動推定装置WTと、情動推定装置WTのユーザの勤務状況を管理する管理者が使用する端末装置であって、推定結果出力部140が送出した情動推定結果を取得する推定結果取得部320および推定結果取得部320が取得した情動推定結果を提示する推定結果提示部330を有する管理者端末装置ATと、を備え、情動推定装置WTにおける推定結果生成部130が、入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて情動推定結果を生成する。
これにより、簡易な構成の装置によって容易に発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定システムを提供することができる。
【0138】
また、本実施形態による情動推定プログラムは、ユーザによる文字入力操作を受け付けるキーボード11から入力された入力状態を、ディスプレイ装置13に表示する情報端末装置を、ユーザによる文字入力操作の状態を示す入力状態を検出する入力状態検出部120、入力状態に基づいてユーザの情動を示す情動推定結果を生成する推定結果生成部130、及び情動推定結果が生成されたことに基づいて、情動推定結果を出力する推定結果出力部140、として動作させ、推定結果生成部130が、入力状態に基づいてユーザの快適さの度合を示す感情価およびユーザの覚醒の度合を示す覚醒度を判定し、判定した感情価と覚醒度とに基づいて情動推定結果を生成する。
これにより、簡易な構成の装置によって容易に発言者の情動を推定することができ、非対面であっても円滑なコミュニケーションを実現することができる情動推定プログラムを提供することができる。
【0139】
(変形例)
情動推定装置WTにおいて、入力状態検出部120は、キー入力状態として、入力キーの押下時間の間隔、特定の入力キーの押下力を検出するとしたが、本発明はこれに限られない。例えば、入力状態検出部120は特定の入力キー(例えば、バックスペースキー、エンターキー)の押下頻度をキー入力状態として検出してもよい。バックスペースキー、エンターキーは、文章作成時において、文章の推敲に深くかかわる入力キーであるため、情動を推定するための感情価、覚醒度とも関連すると考察される。
例えば入力状態検出部120は、入力キーの押下時間の間隔、特定の入力キーの押下力、特定の入力キーの押下頻度のうち少なくともいずれか1種類を、情動推定処理の実行期間内においてキー入力状態として検出してもよい。例えば、特定の入力キーの押下頻度に関し、特にバックスペースキーの押下頻度は、メッセージ作成時の文字入力の誤り(誤入力)の頻度に関わるデータとして用いることができる。誤入力の頻度は、特に感情価の推定に有効に用いることができる。
【0140】
情動推定装置WTは、ユーザの選択に基づいて、CMCメッセージの送信先となる管理者端末装置AT以外の所定の情報端末装置(選択対象情報端末装置)に情動推定結果を送出してもよい。これにより管理者端末装置ATのユーザ(例えば管理者A1)以外を受け手とするCMCの利用時においても、情動推定装置WTのユーザの情動推定結果を送出することができ、様々な相手との非対面でのコミュニケーションを円滑に進めることができる。ユーザの選択は、例えばメッセージ送受信アプリの起動時において確認用の画面(確認ダイアログ)をディスプレイ装置13の画面13aに表示することで、情動推定結果の送信可否を選択可能としてもよい。
【0141】
選択対象情報端末装置に対して情動推定結果を送出する場合、例えば結果送信処理部142は、ユーザが作成したCMCのメッセージの末尾に情動推定結果を示す文字列を追加すればよい。このとき、情動推定結果を示す文字列は、当該メッセージのフォントと同一であればよい。また、選択対象情報端末装置に対して送出する情動推定結果は、情動推定結果を表す情動状態絵文字pgであってもよい。
【0142】
また、推定結果出力部140における情動推定装置WTのユーザへの情動結果の出力は、情動推定結果表示に限られない。例えば、推定結果出力部140は、情動推定装置WTが有する所定のスピーカからの音声出力によって、情動推定結果をユーザに提示してもよい。また、推定結果出力部140は情動推定装置WTと接続された印刷機から情動推定結果を示すレポートを出力(印刷)してもよい。この場合、推定結果出力部140は、結果表示処理部141に代えて、スピーカや印刷機を介して情動推定装置WTのユーザに情動推定結果を提示する結果提示処理部を有していればよい。
【0143】
また同様に、推定結果提示部330は、管理者端末装置ATにおける取得推定結果表示に限らず、所定のスピーカからの音声出力や管理者端末装置ATと接続された印刷機から情動推定結果を示すレポートを出力(印刷)することが可能な構成であってもよい。
【0144】
〔情動推定サーバ〕
また、情動推定部111において、推定結果生成部130における情動推定結果の生成処理は、所定のサーバ装置(情動推定サーバ)において実行してもよい。この場合、推定結果生成部130は、入力状態検出部120から出力されたキー入力状態を通信部15に出力し、通信部15がネットワーク9を介して、情動推定サーバに送出し、キー入力状態に基づいて情動推定サーバにおいて感情価及び覚醒度を判定し、情動推定結果を生成してもよい。また、通信部15がネットワーク9を介して情動推定サーバが生成した情動推定結果を受信し、推定結果生成部130は制御部100を介して通信部15が受信した情動推定結果を取得すればよい。これにより、情動推定装置WTの処理負荷を軽減することができ、情動推定装置WTの処理能力に依存することなく情動推定処理を行うことができる。またこの場合、大型汎用コンピュータ(メインフレーム)をサーバとして用いてもよい。
【0145】
〔分類器による感情価、覚醒度の判定〕
また本発明による情動推定装置WTは、推定結果生成部130において、機械学習を用いて構築した分類器によって感情価、覚醒度の判定を行ってもよい。当該判定に用いる分類器は、予め収集されたタイピングデータ(キー入力状態を示す値)に対し、感情価および覚醒度それぞれの高低のラベル付けを行うことにより、感情価および覚醒度の各判定結果を出力可能な分類器として構築することができる。つまり、推定結果生成部130は、感情価判定部131、覚醒度判定部132に代えて分類器を用いて感情価、覚醒度を判定し、推定処理部133は、分類器が出力した感情価、覚醒度の各判定結果に基づいてユーザの情動推定結果を生成してもよい。ここで、情動推定処理に用いる分類器としては、例えばサポートベクタマシン(support vector machine,SVM)が挙げられる。
【0146】
分類器の構築にあたっては、複数人(例えば、情動推定装置WTのユーザのグループ)のタイピングデータを収集し、当該複数人のタイピングデータを共通に用いて分類器の機械学習(上記感情価、覚醒度のラベル付け)を行い、複数ユーザが共通で用いる分類器を構築してもよい。また、情動推定装置WTのユーザごとのタイピングデータにより情動推定装置WTのユーザ個別の分類器を構築してもよい。
複数ユーザで共通の分類器を用いる場合、ユーザ個別に構築した分類器に比べると感情価、覚醒度の判定精度はやや低いものの、各ユーザから収集するデータが少なく、分類器構築時におけるユーザの負担軽減や構築時間の短縮化を図ることができる。
また、ユーザ個別の分類器を構築する場合、複数ユーザで共通の分類器に比べ、各ユーザから多くのタイピングデータを収集する必要があるものの、ユーザ個人に特化した分類器を構築することができ、より高精度にユーザの感情価、覚醒度を判定することができる。
【0147】
推定結果生成部130において感情価、覚醒度の判定に分類器を用いる場合、分類器は情動推定装置WTに設けられてもよいし、上述の情動推定サーバに設けられてもよい。また例えば、複数ユーザで共通の分類器を用いる場合には、分類器を情動推定サーバに設け、ユーザ個別の分類器を用いる場合には、分類器を情動推定装置WT内に設けてもよい。
情動推定サーバに分類器を設ける場合、推定結果生成部130は通信部15を介して入力状態検出部120から出力されたキー入力状態を情動推定サーバに送出し、通信部15を介して情動推定サーバ内の分類器が出力した感情価、覚醒度の判定結果を取得すればよい。
【0148】
〔情動推定結果に基づく疲労度の推定〕
また、本発明において、推定結果生成部130は、情動推定結果に基づいて情動推定装置WTのユーザの疲労の度合を示す疲労度推定結果を生成してもよい。つまり、推定結果生成部130における推定処理部133は、感情価および覚醒度に基づいて生成した情動推定結果から、さらに疲労度を推定する構成であってもよい。
【0149】
例えば、推定処理部133は、生成した情動推定結果が示す情動において、覚醒度が低い(2次元心理モデルの「非活性」に近い領域の情動)ほど疲労度が高く、覚醒度が高い(2次元心理モデルの「活性」に近い領域の情動)であるほど疲労度が低いと推定してもよい。例えば推定処理部133は、情動推定結果が示す情動が、2次元心理モデル(図9参照)における第3象限または第4象限に属する情動である場合に、情動推定装置WTのユーザに疲労が生じていると推定してもよい。
例えば推定処理部133は、覚醒度が最も低い領域の情動である「疲労」が情動推定結果となった場合に、疲労度が「高い」ことを示す疲労度推定結果を生成してもよい。また推定処理部133は、「疲労」よりも覚醒度が高い領域の情動である「退屈」または「鎮静」が情動推定結果となった場合に、疲労度が「中程度」であることを示す疲労度推定結果を生成し、「退屈」または「鎮静」よりも覚醒度が高い領域の情動である「怠惰」または「リラックス」が情動推定結果となった場合に、疲労度が「低い」ことを示す疲労度推定結果を生成してもよい。また例えば推定処理部133は、情動推定結果が、図9に示す2次元心理モデルにおける第1象限または第2象限に属する情動を示す場合に、ユーザに疲労が生じていない、つまり疲労度が測定されないことを示す疲労度推定結果を生成してもよい。
【0150】
推定処理部133が生成する疲労度推定結果は、疲労の有無を示す「有り」「無し」や、「高い」「中程度」「低い」といった文字列であってもよいし、疲労度を示す数値であってもよい。数値による疲労度推定結果を生成する場合には、情動推定結果が「疲労」である場合を最大値(例えば、10)として、情動推定結果が示す情動の覚醒度が上昇する(「活性」に向かう)ほど、疲労度を示す数値から所定の既定値を減算すればよい。例えば、情動推定結果が「鎮静」である場合には、最大値から既定値(例えば、2)を減算した値(例えば、8)としてもよい。また、疲労度が測定されない場合(例えば、情動推定結果が示す情動が、第1象限、第2象限に属する場合)には、被労度推定結果の数値を最小値(例えば、0)としてもよい。
【0151】
また、推定結果生成部130が疲労度推定結果を生成する場合、推定結果出力部140は、推定結果生成部130が生成した疲労度推定結果を出力可能に構成されていればよい。具体的には、推定結果出力部140は、情動推定結果と同様に、管理者端末装置ATに疲労度推定結果を送出可能であってもよい。これにより、管理者端末装置ATの推定結果提示部330において、取得推定結果表示と同様に、取得された疲労度推定結果をディスプレイ装置33に表示する取得疲労度表示を行うことができる。取得疲労度表示により、管理者端末装置ATのユーザ(例えば、管理者A1)に対して情動推定装置WTのユーザ(例えば、在宅勤務者W1)の疲労度推定結果が通知され、管理者端末装置ATのユーザは、情動推定装置WTのユーザに対して疲労の状態に対応したフィードバックを行うことができる。したがって、非対面でのコミュニケーションをより円滑に進めるとともに、リモート環境で勤務する情動推定装置WTのユーザの状態をより詳細に把握して適切な管理業務を行うことができる。
【0152】
また、推定結果出力部140は、情動推定結果をディスプレイ装置13に出力する推定結果表示同様に、疲労度推定結果を情動推定装置WTのディスプレイ装置13に出力する疲労度推定結果表示を実行可能であってもよい。これにより、情動推定装置WTのユーザは、疲労の度合を自覚することができ、リモート環境で勤務する状況においても適切に休憩をとることができる。また、疲労度推定結果表示は、情動推定装置WTのユーザに休憩を促す休憩推奨表示としてもよい。例えば、推定結果出力部140は、推定結果生成部130が生成した疲労度推定結果を取得すると、結果表示処理部141において「疲れているようですね。コーヒーブレイクをとりましょう。」のようなテキスト情報(休憩推奨用文字列)を生成してもよい。結果表示処理部141は、生成した休憩推奨用文字列をディスプレイ装置13に出力すればよい。これにより、疲労度推定結果表示として、ディスプレイ装置13の画面13a内に休憩推奨用文字列を表示することができる。これにより、情動推定装置WTのユーザに対して、休憩の必要度をより分かり易く通知することができる。
【0153】
以上、上記実施形態により本発明を説明した。本発明の一部または全ては、ハードウェアまたはソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む)に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。
【0154】
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【0155】
1 情動推定システム
9 ネットワーク
11、31 キーボード
13、33 ディスプレイ装置
13a 画面
15、35 通信部
20 加速度センサユニット
100、300 制御部
101、301 記憶部
110、310 プログラム用メモリ
111 情動推定部
113、313 画像用メモリ
120 入力状態検出部
121 キー種別検出部
122 キー押下時間検出部
123 キー押下力検出部
130 推定結果生成部
131 感情価判定部
132 覚醒度判定部
133 推定処理部
140 推定結果出力部
141 結果表示処理部
142 結果送信処理部
150 フィードバック処理部
151 フィードバック取得部
152 フィードバック表示部
311 情動情報処理部
320 推定結果取得部
330 推定結果提示部
340 フィードバック出力部
AT 管理者端末装置
WT 情動推定装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13