特開 2023-23436 感情判定装置、感情判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023023436

(43)【公開日】2023-02-16

(54)【発明の名称】感情判定装置、感情判定方法、及びプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20230209BHJP

   A61B 5/1171 20160101ALI20230209BHJP

   G06T 7/20 20170101ALI20230209BHJP

【ＦＩ】

A61B5/16 120

A61B5/1171 200

G06T7/20 300B

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021128978

(22)【出願日】2021-08-05

(71)【出願人】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】丸山 亮

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038PP03

4C038VA04

4C038VB03

4C038VC05

5L096CA02

5L096DA02

5L096HA11

5L096JA03

5L096MA07

(57)【要約】

【課題】各個人の感情の程度を判定することを目的とする。
【解決手段】感情判定装置３０は、人物の表情を用いて分析された感情とその信頼度とを含む分析結果を取得する分析結果取得部３１と、個人を特定する個人情報と分析結果とを関連付けた分析履歴を分析履歴蓄積部３３に蓄積する分析履歴管理部３２と、分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を判定する判定部３４とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

人物の表情を用いて分析された感情と該感情の信頼度とを含む分析結果を取得する分析結果取得部と、
個人を特定する個人情報と前記分析結果とを関連付けた分析履歴を分析履歴蓄積部に蓄積する分析履歴管理部と、
前記分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を判定する判定部と
を具備する感情判定装置。

【請求項2】

前記判定部は、前記分析履歴蓄積部に蓄積されている各個人の複数の分析履歴から得られる感情の信頼度の振れ幅を用いて、入力された該分析結果に含まれる感情の程度を判定する請求項１に記載の感情判定装置。

【請求項3】

前記分析結果は、複数の主要感情の各々とその信頼度とが関連付けられた感情パターンを含んでおり、
人物の発話の音声認識結果から感情に関するワードを抽出するワード抽出部と、
前記ワード抽出部によって感情に関するワードが抽出された場合に、抽出されたワードから特定される感情と前記感情パターンとを関連付けて感情パターン蓄積部に蓄積する感情パターン管理部と、
前記分析結果が入力された場合に、入力された該分析結果及び前記感情パターン蓄積部に蓄積された前記感情パターンを用いて、感情を特定する感情特定部と
を備える請求項１又は２に記載の感情判定装置。

【請求項4】

前記感情特定部は、
前記感情パターン蓄積部に蓄積されている各感情の感情パターンを統計的に分析することにより、感情毎のクラスタを生成するクラスタ生成部と、
前記分析結果が入力された場合に、該分析結果に含まれる感情パターンと最も相関の高いクラスタを特定し、特定したクラスタの感情を当該分析結果の感情として特定するクラスタ特定部と
を有する請求項３に記載の感情判定装置。

【請求項5】

人物の表情を用いて分析された感情と該感情の信頼度とを含む分析結果を取得する工程と、
個人を特定する個人情報と前記分析結果とを関連付けた分析履歴を分析履歴蓄積部に蓄積する工程と、
前記分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を決定する工程と
をコンピュータが実行する感情判定方法。

【請求項6】

コンピュータを請求項１から４のいずれかに記載の感情判定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情判定装置、感情判定方法、及びプログラムに関するものである。

【背景技術】

【0002】

従来、カメラによって撮像された人物の顔画像から、その人物の感情を分析する技術が提案されている（例えば、特許文献１）。また、顔画像だけではなく、声のトーンや脈拍などの生体情報を総合的に考慮して、人物の感情を分析する技術も提案されている。
また、ディープラーニング等の機械学習を用いて顔画像から喜怒哀楽等の感情を分析する方法も提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－３３３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ディープラーニングにより顔画像から感情を分析する場合、例えば、様々な表情の顔画像と感情情報とから機械学習を用いて推論モデルを作成し、作成した推論モデルに対して感情分析対象の顔画像を入力すると、喜・怒・哀・楽の各感情に対応する確率（信頼度）が出力される。

【0005】

従来の機械学習を用いた従来の感情分析方法は、不特定多数の人の表情・感情データをもとに未知の人の感情を分析する汎用的な手法である。
しかしながら、感情表現には個人差があるため、上述した従来の感情分析方法では、必ずしも各個人の感情を高い精度で判定することができなかった。特に、従来の感情分析方法は、喜・怒・哀・楽などの感情を分析することはできても、その感情の程度、例えば、すごく嬉しいのか、どちらかといえば嬉しいのか等を判定することができなかった。

【0006】

本発明は、このような事情に鑑みてなされたものであって、各個人の感情の程度を判定することのできる感情判定装置、感情判定方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１態様は、人物の表情を用いて分析された感情とその信頼度とを含む分析結果を取得する分析結果取得部と、個人を特定する個人情報と前記分析結果とを関連付けた分析履歴を分析履歴蓄積部に蓄積する分析履歴管理部と、前記分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を判定する判定部とを具備する感情判定装置である。

【0008】

本発明の第２態様は、人物の表情を用いて分析された感情とその信頼度とを含む分析結果を取得する工程と、個人を特定する個人情報と前記分析結果とを関連付けた分析履歴を分析履歴蓄積部に蓄積する工程と、前記分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を決定する工程とをコンピュータが実行する感情判定方法である。

【0009】

本発明の第３態様は、コンピュータを上記感情判定装置として機能させるためのプログラムである。

【発明の効果】

【0010】

本発明によれば、各個人の感情の程度を判定することができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係る電子機器のハードウェア構成の一例を示した概略構成図である。

【図2】本発明の第１実施形態に係る電子機器が備える感情推定システムの一例を示した機能ブロック図である。

【図3】本発明の第１実施形態に係る感情分析装置による分析結果の一例を示した図である。

【図4】本発明の第１実施形態に係る感情分析装置による分析結果の一例を示した図である。

【図5】感情「喜」に対応するＡさんとＢさんの分析履歴の一例を示した図である。

【図6】本発明の第２実施形態に係る感情判定装置が備える機能の一例を示した機能ブロック図である。

【図7】本発明の第２実施形態に係る感情パターンの一例を示した図である。

【図8】本発明の第２実施形態に係るクラスタ生成部について説明するための図である。

【図9】本発明の第２実施形態に係るクラスタ生成部について説明するための図である。

【発明を実施するための形態】

【0012】

〔第１実施形態〕
以下に、本発明の第１実施形態に係る感情判定装置、感情判定方法、及びプログラムについて、図面を参照して説明する。本実施形態では、感情判定装置３０が電子機器１に搭載されている場合を例示して説明する。電子機器１の一例として、ノートＰＣ、デスクトップ型ＰＣ、タブレット端末、スマートフォン等の情報処理装置、対話式ロボット、情報処理機能を有する家庭用機器等が挙げられる。

【0013】

図１は、本発明の第１実施形態に係る電子機器１のハードウェア構成の一例を示した概略構成図である。
図１に示すように、電子機器１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メインメモリ１２、記憶部１３、マイク１４、スピーカ１５、通信部１６、入力部１７、表示部１８、及びカメラ１９等を備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており、互いに連携して各種処理を実行する。

【0014】

ＣＰＵ１１は、例えば、バスを介して接続された記憶部１３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により電子機器１全体の制御を行うとともに、記憶部１３に格納された各種プログラムを実行することにより各種処理を実行する。

【0015】

メインメモリ１２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

【0016】

記憶部１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等であり、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の電子機器１全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア（以下、単に「アプリケーション」という。）、及び各種データやファイル等を格納する。また、記憶部１３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。

【0017】

マイク１４は、ユーザが発話した音声や環境音を音声信号に変換して出力する。
スピーカ１５は、音声信号を音声に変換して出力する。
通信部１６は、ネットワークに接続するための通信インターフェースを備え、３ＧやＬＴＥ、５Ｇ回線を含むワイヤレスネットワークや、有線／無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のネットワークに接続し、他のデバイスとの通信を確立させ、情報の相互通信を実現させる。

【0018】

入力部１７は、例えば、キーボード、マウス、タッチパネル等、ユーザが電子機器１に対して指示を与えるためのユーザインタフェースである。
表示部１８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等で構成される表示画面を有し、ＣＰＵ１１からの指令に基づいて動作する。
カメラ１９は、画角内の被写体等を撮像し、画像データを出力する。

【0019】

図２は、本実施形態に係る電子機器１が備える感情推定システム１０の一例を示した機能ブロック図である。

【0020】

後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、感情分析プログラム、感情判定プログラム）の形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0021】

図２に示すように、感情推定システム１０は、例えば、感情分析装置２０と感情判定装置３０とを備えている。
感情分析装置２０は、ディープラーニング等の機械学習を用いて、人物の表情から感情分析を行う装置である。例えば、感情分析装置２０は、顔認識部２１、分析部２２、及び分析結果出力部２３を備えている。

【0022】

顔認識部２１は、例えば、登録ユーザの顔画像を保有しており、カメラ１９によって取得された画像データと登録ユーザの顔画像とを比較することにより、被写体である人物を特定する。なお、顔認識の技術は公知のため、ここでの詳細な説明は省略する。

【0023】

分析部２２は、画像データに含まれる人物の表情に基づいて感情分析を行う。例えば、分析部２２は、感情分析モデルを有しており、感情分析モデルとディープラーニング等の機械学習を用いて、画像データに含まれる人物の感情を分析する。分析結果は、例えば、図３に示すように、喜・怒・哀・楽・無（感情無し）などの各感情とその信頼度とが関連付けられた情報となる。

【0024】

分析結果出力部２３は、例えば、分析部２２の分析結果において、信頼度が最も高い感情とその感情の信頼度を関連付けて出力する。例えば、図３に示した分析結果の場合、信頼度が最も高い感情「喜」とその信頼度とが関連付けられた分析結果が出力される。

【0025】

また、本実施形態では、上記分析結果に顔認識部２１によって認識された個人を特定する情報である個人情報が関連付けられて出力される。なお、本実施形態では、顔認識部２１による顔認識によって個人が特定される場合を想定しているが、個人の特定についてはこの例に限定されない。例えば、利用者が発した声から個人を特定してもよいし、ログインしている場合にはログインユーザを個人として特定してもよい。

【0026】

感情判定装置３０は、例えば、分析結果取得部３１、分析履歴管理部３２、分析履歴蓄積部３３、判定部３４、及び判定結果出力部３５を備えている。

【0027】

分析結果取得部３１は、感情分析装置２０によって分析された感情とその信頼度とを含む分析結果を取得する。この分析結果には、個人情報が関連付けられている。
分析履歴管理部３２は、分析結果取得部３１から入力された個人を特定する個人情報と分析結果とを関連付けた分析履歴を分析履歴蓄積部３３に蓄積する。これにより、例えば、分析履歴蓄積部３３には、個人毎に分析履歴が蓄積される。

【0028】

判定部３４は、感情分析装置２０から分析結果が入力された場合に、入力された分析結果と関連付けられた個人の分析履歴を用いて、入力された分析結果に含まれる感情の程度（レベル）を判定する。

【0029】

例えば、表情の豊かさは人によって異なる。例えば、感情表現の豊かな人であれば、その人物が非常に喜んでいる場合、感情「喜」の信頼度は他の感情「怒」、「哀」、「楽」、「無」の信頼度に比べて顕著に高くなる傾向にある（図４参照）。これに対し、あまり感情表現の得意でない人は、感情表現の豊かな人に比べて、感情「喜」の信頼度の値は小さくなる傾向にある（図５参照）。すなわち、感情表現のあまり得意でない人は、とても喜んでいる場合であっても、表情の豊かな人に比べて感情「喜」の信頼度がそれほど高い値を示さない傾向にある（図４、５参照）。

【0030】

また、各感情の信頼度は、その感情の程度（強弱）によっても変化する。例えば、とても喜んでいるとき、少し喜んでいるとき、どちらかというと喜んでいるときとで、信頼度の値はこの順に低くなる。

【0031】

このような傾向から、個人毎に分析結果の履歴を蓄積することにより、各個人の感情の信頼度の振れ幅の情報が得られれば、その振れ幅に基づいて各感情の程度を判定することが可能となる。
図５は、感情「喜」に対応するＡさんとＢさんの分析履歴の一例を示した図である。図５において、横軸は時間、縦軸は感情「喜」の信頼度を示している。図５からＡさんは、Ｂさんに比べて感情表現が豊かであり、振れ幅が大きいことがわかる。

【0032】

判定部３４は、分析履歴蓄積部３３に蓄積されている各個人の複数の分析履歴から得られる感情の信頼度の振れ幅を用いて、分析結果取得部３１を介して入力された分析結果に含まれる感情の程度を判定する。

【0033】

より具体的には、判定部３４は、分析履歴蓄積部３３に蓄積されている個人毎の各感情における分析履歴から信頼度の振れ幅を得る。そして、この振れ幅を複数のレベルに区分し、この区分に基づいて各感情の程度を判定する。ここで、区分数や区分の仕方については運用に合わせて適宜決定すればよい。なお、単に振れ幅のみを考慮するのではなく、発生頻度等の他の情報を統計的に用いて、判定基準を設定することとしてもよい。

【0034】

本実施形態では、一例として、各個人の各感情の振れ幅の平均値を算出し、平均値以上の区域を「とても嬉しい」（程度＝高い）、平均値未満の区域を「少し嬉しい」（程度＝低い）とする。

【0035】

例えば、Ａさんの感情「喜」に関する分析履歴の信頼度の振れ幅が３０％～８０％の場合、平均は５５％となる。この場合、例えば、感情分析装置２０から個人情報「Ａさん」、感情「喜」、信頼度「４５％」の分析結果が入力された場合には、「少し嬉しい」と判定する。

【0036】

また、例えば、Ｂさんの感情「喜」に関する分析履歴の信頼度の振れ幅が１０％～５０％の場合、平均は３０％となる。この場合、例えば、感情分析装置２０から個人情報「Ｂさん」、感情「喜」、信頼度「４０％」の分析結果が入力された場合には、「とても嬉しい」と判定する。

【0037】

なお、分析履歴蓄積部３３に十分な数の分析履歴が蓄積されていない場合には、所望の精度を得ることが難しい。したがって、判定部３４は、各個人の各感情に対する分析履歴が所定数を超えているか否かを判定し、超えている場合に上述した感情の程度を判定することとしてもよい。また、分析履歴が所定数以下である場合には、程度の判定は行わず、感情分析装置２０から入力された分析結果を判定結果出力部３５に出力することとしてもよい。

【0038】

判定結果出力部３５は、判定部３４による判定結果、例えば、「とても嬉しい」、「少し嬉しい」、「とても怒っている」、「少し怒っている」等の感情とその程度との組み合わせである判定結果を所定の出力先に出力する。出力先の一例として、例えば、ユーザの感情を利用したサービスを提供するアプリケーション等が挙げられる。これにより、例えば、現在のユーザの感情に適したサービスが各種アプリケーションから提供されることとなる。

【0039】

次に、本実施形態に係る感情推定システム１０の動作について簡単に説明する。以下、説明の便宜上、Ａさんが電子機器１を使用している場合を例示して説明する。

【0040】

この場合、Ａさんがカメラ１９によって撮像され、画像データが感情分析装置２０に出力される。顔認識部２１は、画像データから顔認識を行い、画像データに含まれる人物がＡさんであることを認識する。また、分析部２２は、画像データにおけるＡさんの顔の特徴量等からディープラーニング等の機械学習を用いることにより、感情分析を行う。この感情分析結果は、分析結果出力部２３に出力される。

【0041】

分析結果出力部２３は、分析結果のうち、最も信頼度の高い感情を選択し、その感情と信頼度と関連付けた分析結果と、顔認識部２１で認識された個人の情報とを関連付けて感情判定装置３０に出力する。

【0042】

感情分析装置２０から出力された個人情報及び分析結果は、分析結果取得部３１を介して分析履歴管理部３２及び判定部３４に出力される。
分析履歴管理部３２は、入力された個人情報と分析結果とを関連付けた分析履歴を分析履歴蓄積部３３に蓄積する。

【0043】

一方、判定部３４は、「Ａさん」の分析結果として入力された感情に関する分析履歴を分析履歴蓄積部３３から取得し、取得した分析履歴を用いて「Ａさん」の感情の程度を判定する。例えば、分析結果として感情「喜」、信頼度「７０％」が入力された場合、この信頼度「７０％」は、閾値である５５％以上であるため、判定部３４は、「とても嬉しい」と判定する。この判定結果が判定結果出力部３５を介して所定の送信先に送信される。

【0044】

以上説明してきたように、本実施形態によれば、人物の表情を用いて分析された感情とその信頼度とを含む分析結果を取得する分析結果取得部３１と、個人を特定する個人情報と分析結果とを関連付けた分析履歴を分析履歴蓄積部３３に蓄積する分析履歴管理部３２と、分析結果が入力された場合に、入力された該分析結果と関連付けられる個人の分析履歴を用いて、入力された該分析結果に含まれる感情の程度を判定する判定部３４とを備える。

【0045】

これにより、各個人の感情だけでなく、各個人の感情の程度、例えば、すごく嬉しいのか、どちらかといえば嬉しいのか等を判定することが可能となる。

【0046】

〔第２実施形態〕
次に、本発明の第２実施形態に係る感情判定装置、感情判定方法、及びプログラムについて、図面を参照して説明する。以下、本実施形態に係る感情判定装置について、上述した第１実施形態と同様の構成については同一の符号を付し説明を省略するとともに、異なる構成について主に説明する。

【0047】

図６は、本実施形態に係る感情判定装置３０ａが備える機能の一例を示した機能ブロック図である。図６に示すように、本実施形態に係る感情判定装置３０ａは、分析結果取得部３１ａが備える機能が上述した第１実施形態と異なるとともに、ワード抽出部３６、感情パターン管理部３７、感情パターン蓄積部３８、及び感情特定部３９を更に備えている点が第１実施形態と異なる。

【0048】

分析結果取得部３１ａは、感情分析装置２０から複数の感情の各々とその信頼度とが関連付けられた感情パターンを含む分析結果を取得する。例えば、上述した第１実施形態では、図３に示すような信頼度が得られた場合に、信頼度の最も高い感情「喜」とその信頼度とを分析結果として取得していた。これに対し、本実施形態では、図３に示すような各感情とその信頼度とが関連付けられた感情パターンを分析結果として取得する。これにより、信頼度が最も高かった感情（例えば、「喜」）だけでなく、その他の感情（例えば、「怒」、「哀」、「楽」、「無」）に関する信頼度の情報も取得することができる。以下、感情パターンを構成する感情（本実施形態では、「喜」、「怒」、「哀」、「楽」、「無」）を感情要素という。

【0049】

ワード抽出部３６は、人物の発話の音声認識結果から感情に関するワードを抽出する。例えば、ワード抽出部３６は、マイク１４から入力された音声データを音声認識し、音声認識した発話内容から感情に関するワードを抽出する。ワード抽出部３６は、例えば、感情に関するワードのリストを保有しており、リストに記載されているワードがマイク１４から入力された場合に、発話されたワードを出力する。

【0050】

感情パターン管理部３７は、ワード抽出部３６によって感情に関するワードが抽出された場合に、抽出されたワードから特定される感情と、分析結果取得部３１ａから入力された感情パターンとを関連付けて感情パターン蓄積部３８に蓄積する。例えば、感情パターン管理部３７は、ワード抽出部３６が有しているリストのワードに関連付けられた感情の情報を有しており、その感情と分析結果取得部３１ａから取得した感情パターンとを関連付けて感情パターン蓄積部３８に蓄積する。例えば、図７に示すように、ワード抽出部３６から「困ったな」というワードが抽出された場合、「困ったな」に対応する感情「困惑」と、分析結果取得部３１ａから入力された感情パターンとを関連付けて感情パターン蓄積部３８に格納する。

【0051】

感情特定部３９は、分析結果取得部３１ａから分析結果が入力された場合に、入力された分析結果及び感情パターン蓄積部３８に蓄積された感情パターンを用いて、感情を特定する。
ここで、感情特定部３９は、分析結果取得部３１ａから入力された分析結果において、いずれか一つの信頼度が閾値（例えば７０％）を超えていた場合、すなわち、一つの主要感情の信頼度が他に比べて突出して高い場合には、閾値を超える信頼度を示している主要感情を感情特定結果として出力してもよい。

【0052】

なお、感情パターン蓄積部３８に十分な数の感情パターンが蓄積されていない場合には、所望の精度を得ることが難しい。したがって、感情特定部３９は、感情パターン蓄積部３８に蓄積されている感情パターンの数が所定数を超えているか否かを判定し、超えている場合に後述する感情の特定を行うこととしてもよい。また、感情パターンの数が所定数以下である場合には、入力された分析結果のうち、最も信頼度の高い主要感情を感情特定結果として出力してもよい。

【0053】

感情特定部３９は、例えば、クラスタ生成部４１と、クラスタ特定部４２とを備えている。
クラスタ生成部４１は、感情パターン蓄積部３８に蓄積されている感情パターンを統計的に分析することにより、感情毎のクラスタを生成する。例えば、図７に示すように、感情パターンが５つの基本感情「喜」、「怒」、「哀」、「楽」、「無」で構成されている場合、図８に示すように、これら各感情に対応する座標軸からなる座標空間（本実施形態では、「５軸の座標空間」）を作成し、作成した座標空間に感情「困惑」の感情パターンで特定される点をプロットする。上記処理を繰り返すことにより、例えば、図９に示すように、各感情のクラスタが生成される。

【0054】

クラスタ特定部４２は、分析結果取得部３１ａから入力された分析結果に含まれる感情パターンと最も相関の高いクラスタを特定し、そのクラスタを示す感情を当該分析結果の感情として特定する。
具体的には、クラスタ特定部４２は、分析結果取得部３１ａから入力された分析結果に含まれる感情パターンがいずれかのクラスタに属する場合には、そのクラスタを特定する。他方、分析結果取得部３１ａから入力された分析結果に含まれる感情パターンがいずれのクラスタにも属さなかった場合には、最も統計的な距離が近いクラスタを特定する。統計上の距離の一例として、マハラノビス距離等が挙げられる。

【0055】

クラスタ特定部４２によって特定された感情は、感情特定結果として判定部３４に出力される。判定部３４は、感情特定部３９から入力された感情特定結果が、感情要素のいずれかであった場合、上述した第１実施形態と同様に、当該個人の感情の程度を判定する。また、判定部３４は、入力された感情特定結果が感情要素でない場合には、程度判定は行わずに、感情特定結果を出力する。

【0056】

以上説明してきたように、本実施形態によれば、ユーザが感情に関連するワードを発した場合に、そのワードに関連する感情とそのときの感情パターンとが関連付けられて感情パターン蓄積部３８に蓄積される。そして、感情分析装置２０から分析結果が入力された場合には、感情パターン蓄積部３８に蓄積されている感情パターンを用いて感情を特定する。これにより、例えば、感情分析装置２０によって分析される主要感情以外の感情についても判定することが可能となる。

【0057】

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。

【0058】

例えば、上述した各実施形態では、電子機器１が感情分析装置２０及び感情判定装置３０、３０ａを備える場合を例示して説明したが、この例に限定されない。例えば、電子機器１と通信回線を介して接続される所定のサーバ上に感情分析装置２０又は感情判定装置３０、３０ａが実装されていてもよい。また、感情分析装置２０及び感情判定装置３０、３０ａの両方がサーバ上に設けられていてもよい。

【符号の説明】

【0059】

１ ：電子機器
１０ ：感情推定システム
１４ ：マイク
１９ ：カメラ
２０ ：感情分析装置
２１ ：顔認識部
２２ ：分析部
２３ ：分析結果出力部
３０ ：感情判定装置
３０ａ ：感情判定装置
３１ ：分析結果取得部
３１ａ ：分析結果取得部
３２ ：分析履歴管理部
３３ ：分析履歴蓄積部
３４ ：判定部
３５ ：判定結果出力部
３６ ：ワード抽出部
３７ ：感情パターン管理部
３８ ：感情パターン蓄積部
３９ ：感情特定部
４１ ：クラスタ生成部
４２ ：クラスタ特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】