知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】感情判定装置および感情判定方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20241016BHJP
A61B 5/16 20060101ALI20241016BHJP
G06T 7/00 20170101ALI20241016BHJP
G06V 10/80 20220101ALI20241016BHJP
G06V 40/16 20220101ALI20241016BHJP
【ＦＩ】
G06T7/20 300B
A61B5/16 120
G06T7/00 130
G06V10/80
G06V40/16 B
【請求項の数】
10
(21)【出願番号】P 2020108400
(22)【出願日】2020-06-24
(65)【公開番号】P2022006253
(43)【公開日】2022-01-13
【審査請求日】2023-02-13
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】辻 郁奈
(72)【発明者】
【氏名】太田 昂志
(72)【発明者】
【氏名】浦部 和哉
(72)【発明者】
【氏名】澤田 龍樹
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１２－０５９１０７（ＪＰ，Ａ）
【文献】特開２００９－０８７０７４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ａ６１Ｂ ５／１６
Ｇ０６Ｖ １０／８０
Ｇ０６Ｖ ４０／１６
(57)【特許請求の範囲】
【請求項1】
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定手段と、前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定手段と、
前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とに基づいて、前記ユーザの感情を判定する判定手段と
を有し、
前記第１の推定手段と前記第２の推定手段のそれぞれは、第１の周期で前記ユーザの感情を推定し、
前記判定手段は、前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とを、前記第１の周期よりも長い第２の周期で更新して使用する
ことを特徴とする感情判定装置。
【請求項2】
前記第１の推定手段と前記第２の推定手段のそれぞれは、複数の感情のそれぞれについて、その感情を前記ユーザが抱いていることの確からしさであるスコアを算出し、前記判定手段は、前記第１の推定手段により算出された各感情のスコアと、前記第２の推定手段により算出された各感情のスコアとに基づいて、前記ユーザの感情を判定する
ことを特徴とする請求項１に記載の感情判定装置。
【請求項3】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致する場合に、当該感情を前記ユーザの感情として判定し、
前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、前記第１の推定手段により算出された各感情のスコアと、前記第２の推定手段により算出された各感情のスコアとに基づいて、前記ユーザの感情を判定する
ことを特徴とする請求項２に記載の感情判定装置。
【請求項4】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、算出されたスコアが高い方の感情を、前記ユーザの感情として判定する
ことを特徴とする請求項３に記載の感情判定装置。
【請求項5】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前記第１の推定手段により算出されたスコアと、前記第２の推定手段により算出されたスコアとを足し合わせた値が大きい方の感情を、前記ユーザの感情として判定することを特徴とする請求項３に記載の感情判定装置。
【請求項6】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前回からのスコアの変化量が大きい方の感情を、前記ユーザの感情として判定することを特徴とする請求項３に記載の感情判定装置。
【請求項7】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前記複数の感情の間でのスコアの分散値が大きい方の感情を、前記ユーザの感情として判定することを特徴とする請求項３に記載の感情判定装置。
【請求項8】
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定手段と、
前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定手段と、
前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とに基づいて、前記ユーザの感情を判定する判定手段と、
推定された感情を前記ユーザが抱いていることの確からしさであるスコアの所定時間前までの期間での分散値が所定の閾値よりも小さいタイミングを検出し、前記分散値が前記所定の閾値よりも小さい第１のタイミングから遡って、前記分散値が前記所定の閾値よりも小さい第２のタイミングの直後のタイミングまでの推定結果を、前記第１のタイミングの推定結果に置き換えるように、前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とを変更する変更手段と
を有し、
前記判定手段は、前記変更手段による変更後の推定結果に基づいて、前記ユーザの感情を判定する
ことを特徴とする感情判定装置。
【請求項9】
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定ステップと、前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定ステップと、
前記第１の推定ステップにおける推定結果と、前記第２の推定ステップにおける推定結果とに基づいて、前記ユーザの感情を判定する判定ステップと
を有し、
前記第１の推定ステップと前記第２の推定ステップのそれぞれでは、第１の周期で前記ユーザの感情を推定し、
前記判定ステップでは、前記第１の推定ステップによる推定結果と、前記第２の推定ステップによる推定結果とを、前記第１の周期よりも長い第２の周期で更新して使用する
ことを特徴とする感情判定方法。
【請求項10】
請求項９に記載の感情判定方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの平常、怒り、悲しみ、喜びといった感情を判定する技術に関する。
【背景技術】
【0002】
好適な制御などのために、ユーザが抱く感情を判定する技術が提案されている。感情を正しく判定できれば、例えば、ユーザに対して好適なコミュニケーションをとるように、コミュニケーションロボットの動作（発言など）を制御することができる。
【0003】
感情を判定する従来技術は、例えば、特許文献１～３に開示されている。特許文献１～３には、ウェアラブル機器で測定された脳波や心拍などの様々な生体情報に基づいて感情を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１７８９７０号公報
【文献】特開２０１７－１４４２２２号公報
【文献】特開２０１２－０５９１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１～３に開示された従来技術では、ユーザがウェアラブル機器を装着しなくてはならず、ユーザビリティが悪い。また、多数の生体情報を用いるため、感情判定の処理負荷が大きく、感情判定に時間を要する。
【0006】
本発明は上記実情に鑑みなされたものであって、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、以下の構成を採用する。
【0008】
本発明の第一側面は、ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定手段と、前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定手段と、前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とに基づいて、前記ユーザの感情を判定する判定手段とを有することを特徴とする感情判定装置を提供する。ここで、顔画像は、画像センサ（カメラ）が顔を撮像して得た画像や、画像センサが撮像して得た画像のうちの、顔が検出された部分などである。温度は、サーマルセンサなどにより非接触で検出される。
【0009】
上述した構成によれば、多数の生体情報を用いずに、顔画像を用いた感情推定の結果と、温度を用いた感情推定の結果とに基づくというシンプルな構成で、高精度に感情を判定できる。さらに、顔画像も温度（検出値）も非接触で得られるため、ユーザがウェアラブル機器を装着するといった手間が生じず、高いユーザビリティを実現できる。なお、表情の変化量や、感情と表情との対応関係などには個人差があるため、顔画像のみで高精度に感情を判定するのは難しく、環境(季節や場所（屋内/屋外））や服装に依ってユーザの温度は大きく異なるため、温度のみで高精度に感情を判定するのも難しい。上述した構成によれば、顔画像を用いた感情判定（感情推定）の結果と、温度を用いた感情判定の結果と
を組み合わせることで、一方の感情判定よりも高精度に感情を推定できる。
を組み合わせることで、一方の感情判定よりも高精度に感情を推定できる。
【0010】
前記第１の推定手段と前記第２の推定手段のそれぞれは、複数の感情のそれぞれについて、その感情を前記ユーザが抱いていることの確からしさであるスコアを算出し、前記判定手段は、前記第１の推定手段により算出された各感情のスコアと、前記第２の推定手段により算出された各感情のスコアとに基づいて、前記ユーザの感情を判定するとしてもよい。ここで、顔画像を用いた感情推定と温度を用いた感情推定とで、スコアは同じ基準で正規化されており、スコアの範囲は共通する。例えば、顔画像を用いた感情推定と温度を用いた感情推定とで、スコアの最大値は１００などの所定値で共通する。複数の感情は、平常、怒り、悲しみ、喜びなどである。
【0011】
例えば、前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致する場合に、当該感情を前記ユーザの感情として判定し、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、前記第１の推定手段により算出された各感情のスコアと、前記第２の推定手段により算出された各感情のスコアとに基づいて、前記ユーザの感情を判定するとしてもよい。
【0012】
具体的には、前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、算出されたスコアが高い方の感情を、前記ユーザの感情として判定するとしてもよい。こうすることで、より信頼度の高い感情を判定結果として得ることができる。
【0013】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前記第１の推定手段により算出されたスコアと、前記第２の推定手段により算出されたスコアとを足し合わせた値が大きい方の感情を、前記ユーザの感情として判定するとしてもよい。こうすることでも、より信頼度の高い感情を判定結果として得ることができる。
【0014】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前回からのスコアの変化量が大きい方の感情を、前記ユーザの感情として判定するとしてもよい。こうすることで、より早く感情の変化を捉えることができる。
【0015】
前記判定手段は、前記第１の推定手段により最大のスコアが算出された感情と、前記第２の推定手段により最大のスコアが算出された感情とが一致しない場合に、それらの感情のうち、前記複数の感情の間でのスコアの分散値が大きい方の感情を、前記ユーザの感情として判定するとしてもよい。こうすることでも、より信頼度の高い感情を判定結果として得ることができる。ここで、分散値は、スコアの際立ちの度合いとも言える。
【0016】
推定された感情を前記ユーザが抱いていることの確からしさであるスコアの所定時間前までの期間での分散値が所定の閾値よりも小さいタイミングを検出し、前記分散値が前記所定の閾値よりも小さい第１のタイミングから遡って、前記分散値が前記所定の閾値よりも小さい第２のタイミングの直後のタイミングまでの推定結果を、前記第１のタイミングの推定結果に置き換えるように、前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とを変更する変更手段をさらに有し、前記判定手段は、前記変更手段による変更後の推定結果に基づいて、前記ユーザの感情を判定するとしてもよい。こうすることで、感情の移り変わりを平滑化して捉えることができ、感情の移り変わりの傾向を
高精度に捉えることができる。その結果、感情の移り変わりを予測した制御などを、好適に行えるようになる。例えば、ユーザの感情が怒りから悲しみに変化する傾向にある場合に、怒りの感情を抱いているユーザに対して悲しみに変化することを想定したコミュニケーションをとるように、コミュニケーションロボットの動作（発言など）を制御することができる。
高精度に捉えることができる。その結果、感情の移り変わりを予測した制御などを、好適に行えるようになる。例えば、ユーザの感情が怒りから悲しみに変化する傾向にある場合に、怒りの感情を抱いているユーザに対して悲しみに変化することを想定したコミュニケーションをとるように、コミュニケーションロボットの動作（発言など）を制御することができる。
【0017】
前記第１の推定手段と前記第２の推定手段のそれぞれは、第１の周期で前記ユーザの感情を推定し、前記判定手段は、前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とを、前記第１の周期よりも長い第２の周期で更新して使用するとしてもよい。こうすることで、感情判定の処理負荷を低減できる。
【0018】
本発明の第二側面は、ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定ステップと、前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定ステップと、前記第１の推定ステップにおける推定結果と、前記第２の推定ステップにおける推定結果とに基づいて、前記ユーザの感情を判定する判定ステップとを有することを特徴とする感情判定方法を提供する。
【0019】
なお、本発明は、上記構成ないし機能の少なくとも一部を有する感情判定システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、感情判定方法又は感情判定システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0020】
本発明によれば、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
＜適用例＞
本発明の適用例について説明する。ユーザの平常、怒り、悲しみ、喜びといった感情を判定する従来技術では、ユーザがウェアラブル機器を装着しなくてはならず、ユーザビリティが悪い。また、多数の生体情報を用いるため、感情判定の処理負荷が大きく、感情判定に時間を要する。
本発明の適用例について説明する。ユーザの平常、怒り、悲しみ、喜びといった感情を判定する従来技術では、ユーザがウェアラブル機器を装着しなくてはならず、ユーザビリティが悪い。また、多数の生体情報を用いるため、感情判定の処理負荷が大きく、感情判定に時間を要する。
【0023】
図１は、本発明が適用された感情判定装置１００の構成例を示すブロック図である。感情判定装置１００は、第１感情推定部１０１、第２感情推定部１０２、及び、感情判定部１０３を有する。第１感情推定部１０１は、ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する。第２感情推定部１０２は、ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する。感情判定部１０３は、第１感情推定部１０１による推定結果と、第２感情推定部１０２による推定結果とに基づいて、ユーザの感情を判定する。第１感情推定部１０１は本発明の第１の推定手段の一例であり、第２感情推定部１０２は本発明の第２の推定手段の一例であり、感情判定部１０３は本発明の判定手段の一例である。ここで、顔画像は、画像センサ（カメラ）が顔を撮像して得た画像や、画像センサが撮像して得た画像のうちの、顔が検出された部分などである。温度は、サーマルセンサなどにより非接触で検出される。
【0024】
感情判定装置１００の上記構成によれば、多数の生体情報を用いずに、顔画像を用いた感情推定の結果と、温度を用いた感情推定の結果とに基づくというシンプルな構成で、高精度に感情を判定できる。感情を正しく判定できれば、例えば、ユーザに対して好適なコミュニケーションをとるように、コミュニケーションロボットの動作（発言など）を制御することができる。さらに、顔画像も温度（検出値）も非接触で得られるため、ユーザがウェアラブル機器を装着するといった手間が生じず、高いユーザビリティを実現できる。なお、表情の変化量や、感情と表情との対応関係などには個人差があるため、顔画像のみで高精度に感情を判定するのは難しく、環境(季節や場所（屋内/屋外））や服装に依ってユーザの温度は大きく異なるため、温度のみで高精度に感情を判定するのも難しい。上記構成によれば、顔画像を用いた感情判定（感情推定）の結果と、温度を用いた感情判定の結果とを組み合わせることで、一方の感情判定よりも高精度に感情を推定できる。
【0025】
＜第１の実施形態＞
本発明の第１の実施形態について説明する。
本発明の第１の実施形態について説明する。
【0026】
（構成）
図２（Ａ）は、第１の実施形態に係るコミュニケーションシステム（感情判定システム）の大まかな構成例を示す模式図である。第１の実施形態に係るコミュニケーションシステムは、カメラ１０、温度測定装置２０、ＰＣ２００（パーソナルコンピュータ；感情判定装置）、及び、コミュニケーションロボット３０を有する。カメラ１０とＰＣ２００は有線または無線で互いに接続されている。同様に、温度測定装置２０とＰＣ２００は有線または無線で互いに接続されており、ＰＣ２００とコミュニケーションロボット３０は有線または無線で互いに接続されている。
図２（Ａ）は、第１の実施形態に係るコミュニケーションシステム（感情判定システム）の大まかな構成例を示す模式図である。第１の実施形態に係るコミュニケーションシステムは、カメラ１０、温度測定装置２０、ＰＣ２００（パーソナルコンピュータ；感情判定装置）、及び、コミュニケーションロボット３０を有する。カメラ１０とＰＣ２００は有線または無線で互いに接続されている。同様に、温度測定装置２０とＰＣ２００は有線または無線で互いに接続されており、ＰＣ２００とコミュニケーションロボット３０は有線または無線で互いに接続されている。
【0027】
カメラ１０は、カメラ１０に設けられた画像センサを用いて撮像を行い、撮像によって得られた画像をＰＣ２００へ出力する。第１の実施形態では、カメラ１０は、ユーザの顔を撮像して得た顔画像をＰＣ２００へ出力するとする。温度測定装置２０は、温度測定装置２０に設けられたサーマルセンサを用いて温度を測定し、測定結果（温度情報）をＰＣ２００へ出力する。第１の実施形態では、温度測定装置２０は、ユーザの温度（顔の温度
など）を検出し、検出した温度を示す温度情報（温度の検出値）をＰＣ２００へ出力するとする。ＰＣ２００は、ユーザの顔画像と当該ユーザの温度とに基づいて当該ユーザの感情を判定し、感情の判定結果をコミュニケーションロボット３０へ出力する。コミュニケーションロボット３０は、ユーザの感情の判定結果に基づいて、当該ユーザとのコミュニケーションをとる。
など）を検出し、検出した温度を示す温度情報（温度の検出値）をＰＣ２００へ出力するとする。ＰＣ２００は、ユーザの顔画像と当該ユーザの温度とに基づいて当該ユーザの感情を判定し、感情の判定結果をコミュニケーションロボット３０へ出力する。コミュニケーションロボット３０は、ユーザの感情の判定結果に基づいて、当該ユーザとのコミュニケーションをとる。
【0028】
なお、カメラ１０は顔よりも広い範囲を撮像してもよい。その場合は、例えば、カメラ１０またはＰＣ２００で、カメラ１０により撮像された画像から顔画像を得る処理（撮像された画像から顔を検出する処理）が行われればよい。また、温度測定装置２０は、ユーザ（顔）よりも広い範囲の温度分布を検出してもよい。その場合は、例えば、温度測定装置２０またはＰＣ２００で、検出された温度分布からユーザの温度を得る処理が行われればよい。また、ユーザの感情の判定結果の用途は特に限定されず、コミュニケーションロボット３０の制御でなくてもよい。
【0029】
また、第１の実施形態では、カメラ１０、温度測定装置２０、ＰＣ２００、及び、コミュニケーションロボット３０が別個の装置であるとするが、そうでなくてもよい。例えば、カメラ１０、温度測定装置２０、ＰＣ２００、及び、コミュニケーションロボット３０の少なくとも２つ以上が１つの装置に含まれていていてもよい。具体的には、カメラ１０、温度測定装置２０、及び、ＰＣ２００が、コミュニケーションロボット３０に内蔵されていてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００はカメラ１０、温度測定装置２０、及び、コミュニケーションロボット３０と同じ部屋に設置されていてもよいし、そうでなくてもよい。ＰＣ２００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。
【0030】
図２（Ｂ）は、ＰＣ２００の構成例を示すブロック図である。ＰＣ２００は、画像取得部２１０、温度取得部２２０、制御部２３０、記憶部２４０、及び、出力部２５０を有する。
【0031】
画像取得部２１０は、顔画像をカメラ１０から取得し、制御部２３０（第１感情推定部２３１）へ出力する。第１の実施形態では、カメラ１０は動画を撮像するとし、画像取得部２１０は、動画の１フレームをカメラ１０から取得して制御部２３０へ出力する処理を、順次行うとする。画像取得部２１０による顔画像取得の周期は特に限定されないが、第１の実施形態では、画像取得部２１０は、カメラ１０による撮像に同期して顔画像（動画の１フレーム）を取得するとする。つまり、画像取得部２１０は、顔画像をカメラ１０から取得して制御部２３０へ出力する処理を、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で行うとする。なお、カメラ１０は静止画の撮像を順次行ってもよく、その場合に、画像取得部２１０は、静止画をカメラ１０から取得して制御部２３０へ出力する処理を、順次行う。
【0032】
温度取得部２２０は、ユーザの温度情報を温度測定装置２０から取得し、制御部２３０（第２感情推定部２３２）へ出力する。温度測定装置２０による温度測定の周期や、温度取得部２２０による温度情報取得の周期などは特に限定されない。第１の実施形態では、温度測定装置２０は、カメラ１０による撮像に同期して温度を測定するとし、温度取得部２２０は、カメラ１０による撮像（画像取得部２１０による顔画像の取得）に同期して温度情報を取得するとする。つまり、温度取得部２２０は、温度情報を温度測定装置２０から取得して制御部２３０へ出力する処理を、カメラ１０による撮像のフレームレートで行うとする。
【0033】
制御部２３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅ
ｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。詳細は後述するが、第１の実施形態では、制御部２３０は、画像取得部２１０により取得された顔画像と、温度取得部２２０により取得された温度情報とに基づいて、ユーザの感情を判定し、感情の判定結果を出力部２５０へ出力する。
ｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。詳細は後述するが、第１の実施形態では、制御部２３０は、画像取得部２１０により取得された顔画像と、温度取得部２２０により取得された温度情報とに基づいて、ユーザの感情を判定し、感情の判定結果を出力部２５０へ出力する。
【0034】
記憶部２４０は、制御部２３０で実行されるプログラムや、制御部２３０で使用される各種データなどを記憶する。例えば、記憶部２４０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。
【0035】
出力部２５０は、制御部２３０により出力された判定結果（感情の判定結果）を、コミュニケーションロボット３０へ出力する。
【0036】
記憶部２４０について、より詳細に説明する。記憶部２４０は、第１感情推定辞書２４１と第２感情推定辞書２４２を有する。第１感情推定辞書２４１は、表情変化と感情の対応関係が予め登録されている辞書である。第２感情推定辞書２４２は、温度変化と感情の対応関係が予め登録されている辞書である。
【0037】
制御部２３０について、より詳細に説明する。制御部２３０は、第１感情推定部２３１、第２感情推定部２３２、及び、感情判定部２３３を有する。
【0038】
第１感情推定部２３１は、画像取得部２１０により出力された顔画像からユーザの表情を検出する処理（表情検出）を順次行う。第１感情推定部２３１は、第１感情推定辞書２４１を参照して、検出した表情の変化から、ユーザの感情を推定する。そして、第１感情推定部２３１は、感情の推定結果を感情判定部２３３へ出力する。第１感情推定部２３１は本発明の第１の推定手段の一例である。
【0039】
なお、第１感情推定部２３１による表情検出や感情推定（いずれも顔画像に基づく処理）にはどのようなアルゴリズムを用いてもよい。例えば、既存の表情検出によりユーザの表情を検出してもよく、具体的にはＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた検出器（識別器）を用いて表情を検出してもよい。既存の機械学習により生成された学習済みモデルを用いて表情を検出してもよく、具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いて表情を検出してもよい。同様に、既存の感情推定によりユーザの感情を推定してもよいし、既存の機械学習により生成された学習済みモデルを用いてユーザの感情を推定してもよい。具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いてユーザの感情を推定してもよい。
【0040】
第２感情推定部２３２は、温度取得部２２０により出力された温度情報を順次取得し、第２感情推定辞書２４２を参照して、取得した温度情報の変化（ユーザの温度の変化）から、ユーザの感情を推定する。そして、第２感情推定部２３２は、感情の推定結果を感情判定部２３３へ出力する。第２感情推定部２３２は本発明の第２の推定手段の一例である。
【0041】
なお、第２感情推定部２３２による感情推定（温度に基づく感情推定）にはどのようなアルゴリズムを用いてもよい。例えば、既存の感情推定によりユーザの感情を推定してもよいし、既存の機械学習により生成された学習済みモデルを用いてユーザの感情を推定してもよい。具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いてユーザの感情を推定してもよい。
【0042】
感情判定部２３３は、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とに基づいて、ユーザの感情を判定し、感情の判定結果を出力部２５０へ出力する。感情判定部２３３は本発明の判定手段の一例である。
【0043】
第１の実施形態では、第１感情推定部２３１と第２感情推定部２３２のそれぞれは、複数の感情のそれぞれについて、その感情をユーザが抱いていることの確からしさであるスコアを算出するとし、各感情のスコアを推定結果として出力するとする。そして、感情判定部２３３は、第１感情推定部２３１により算出された各感情のスコアと、第２感情推定部２３２により算出された各感情のスコアとに基づいて、ユーザの感情を判定するとする。
【0044】
ここで、顔画像を用いた感情推定（第１感情推定部２３１による感情推定）と温度を用いた感情推定（第２感情推定部２３２による感情推定）とで、スコアは同じ基準で正規化されており、スコアの範囲は共通する。例えば、顔画像を用いた感情推定と温度を用いた感情推定とで、スコアの最大値は１００などの所定値で共通する。第１の実施形態では、顔画像を用いた感情推定と温度を用いた感情推定とのそれぞれで、複数の感情にそれぞれ対応する複数のスコアの合計が１００となるように、各感情のスコアが算出されるとする。複数の感情の数や種類は特に限定されないが、第１の実施形態では平常、怒り、悲しみ、喜びの４つの感情を用いるとする。
【0045】
第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致する場合には、当該感情をユーザが抱いている可能性が極めて高いと考えられる。従って、このような場合には、感情判定部２３３は、第１感情推定部２３１と第２感情推定部２３２で最大のスコアが算出された感情を、ユーザの感情として判定する。
【0046】
第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しないこともある。このような場合には、感情判定部２３３は、第１感情推定部２３１により算出された各感情のスコアと、第２感情推定部２３２により算出された各感情のスコアとに基づいて、ユーザの感情を判定する。具体的には、感情判定部２３３は、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とのうち、算出されたスコアが高い方の感情を、ユーザの感情として判定する。スコアが高いほど信頼度（対応する感情をユーザが抱いていることの確からしさ）が高いと考えられるため、こうすることで、より信頼度の高い感情を判定結果として得ることができる。
【0047】
（動作）
図３は、第１の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図３の処理フローを繰り返し実行する。図３の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図３の処理フローが繰り返されるとする。
図３は、第１の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図３の処理フローを繰り返し実行する。図３の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図３の処理フローが繰り返されるとする。
【0048】
まず、画像取得部２１０は、ユーザの顔画像をカメラ１０から取得する（ステップＳ３０１）。そして、第１感情推定部２３１は、ステップＳ３０１で取得された顔画像からユーザの表情を検出し、検出した表情の変化（過去から現在までの表情変化）に基づいて、平常、怒り、悲しみ、及び、喜びのそれぞれのスコアを算出する（ステップＳ３０２）。
【0049】
次に、温度取得部２２０は、ユーザの温度情報（ユーザの温度）を温度測定装置２０から取得する（ステップＳ３０３）。そして、第２感情推定部２３２が、ユーザの温度の変
化（過去から現在までの温度変化）に基づいて、平常、怒り、悲しみ、及び、喜びのそれぞれのスコアを算出する（ステップＳ３０４）。
化（過去から現在までの温度変化）に基づいて、平常、怒り、悲しみ、及び、喜びのそれぞれのスコアを算出する（ステップＳ３０４）。
【0050】
次に、感情判定部２３３は、第１感情推定部２３１により最大のスコアが算出された感情Ｅ１と、第２感情推定部２３２により最大のスコアが算出された感情Ｅ２とが一致するか否かを判定する（ステップＳ３０５）。感情Ｅ１は、ステップＳ３０２で表情変化に基づき算出された４つのスコア（平常、怒り、悲しみ、及び、喜びにそれぞれ対応する）のうち、最大のスコアが算出された感情である。感情Ｅ２は、ステップＳ３０４で温度変化に基づき算出された４つのスコア（平常、怒り、悲しみ、及び、喜びにそれぞれ対応する）のうち、最大のスコアが算出された感情である。感情Ｅ１と感情Ｅ２が一致する場合（ステップＳ３０５：ＹＥＳ）にはステップＳ３０６へ処理が進められ、感情Ｅ１と感情Ｅ２が一致しない場合（ステップＳ３０５：ＮＯ）にはステップＳ３０７へ処理が進められる。
【0051】
ステップＳ３０６では、感情判定部２３３は、感情Ｅ１＝Ｅ２を、ユーザの感情Ｅｒｅｓｕｌｔ（最終的な判定結果）として決定する。そして、ＰＣ２００は、図３の処理フローを終了する。
【0052】
ステップＳ３０７では、感情判定部２３３は、感情Ｅ１のスコア（表情変化に基づくスコア）と、感情Ｅ２のスコア（温度変化に基づくスコア）とが一致するか否かを判定する。感情Ｅ１のスコアと感情Ｅ２のスコアとが一致しない場合（ステップＳ３０７：ＮＯ）には、ステップＳ３０８へ処理が進められる。感情Ｅ１のスコアと感情Ｅ２のスコアとが一致する場合（ステップＳ３０７：ＹＥＳ）には、ＰＣ２００は、図３の処理フローを終了する。このとき、ユーザの感情Ｅｒｅｓｕｌｔとして、前回と同じ感情が採用される。
【0053】
ステップＳ３０８では、感情判定部２３３は、感情Ｅ１のスコアが感情Ｅ２のスコアよりも高いか否かを判定する。感情Ｅ１のスコアが感情Ｅ２のスコアよりも高い場合（ステップＳ３０８：ＹＥＳ）にはステップＳ３０９へ処理が進められ、感情Ｅ１のスコアが感情Ｅ２のスコアよりも低い場合（ステップＳ３０８：ＮＯ）にはステップＳ３１０へ処理が進められる。
【0054】
ステップＳ３０９では、感情判定部２３３は、感情Ｅ１（表情変化に基づいて推定された感情）を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図３の処理フローを終了する。
【0055】
ステップＳ３１０では、感情判定部２３３は、感情Ｅ２（温度変化に基づいて推定された感情）を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図３の処理フローを終了する。
【0056】
（動作の具体例）
図４（Ａ）～４（Ｃ）は、第１の実施形態に係る動作例を示す。図４（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図４（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図４（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図４（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図４（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
図４（Ａ）～４（Ｃ）は、第１の実施形態に係る動作例を示す。図４（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図４（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図４（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図４（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図４（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
【0057】
図４（Ａ）～４（Ｃ）の例では、フレーム０～フレーム２の期間において、感情Ｅ１も感情Ｅ２も平常であるため、感情Ｅｒｅｓｕｌｔとしても平常が決定される。フレーム３
では、感情Ｅ１は怒りであり、感情Ｅ２は平常であり、感情Ｅ１と感情Ｅ２は異なる。ここで、感情Ｅ１（怒り）のスコアは５５であり、感情Ｅ２（平常）のスコアは５２である。感情Ｅ１（怒り）のスコア（５５）が感情Ｅ２（平常）のスコア（５２）よりも高いため、感情Ｅｒｅｓｕｌｔとして怒りが決定される。他のフレームでも同様に、感情Ｅ１のスコアと感情Ｅ２のスコアとの一致／不一致や大小関係などに基づいて、感情Ｅｒｅｓｕｌｔが決定される。
では、感情Ｅ１は怒りであり、感情Ｅ２は平常であり、感情Ｅ１と感情Ｅ２は異なる。ここで、感情Ｅ１（怒り）のスコアは５５であり、感情Ｅ２（平常）のスコアは５２である。感情Ｅ１（怒り）のスコア（５５）が感情Ｅ２（平常）のスコア（５２）よりも高いため、感情Ｅｒｅｓｕｌｔとして怒りが決定される。他のフレームでも同様に、感情Ｅ１のスコアと感情Ｅ２のスコアとの一致／不一致や大小関係などに基づいて、感情Ｅｒｅｓｕｌｔが決定される。
【0058】
（まとめ）
以上述べたように、第１の実施形態によれば、多数の生体情報を用いずに、顔画像を用いた感情推定の結果と、温度を用いた感情推定の結果とに基づくというシンプルな構成で、高精度に感情を判定できる。さらに、顔画像も温度（検出値）も非接触で得られるため、ユーザがウェアラブル機器を装着するといった手間が生じず、高いユーザビリティを実現できる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、算出されたスコアが高い方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
以上述べたように、第１の実施形態によれば、多数の生体情報を用いずに、顔画像を用いた感情推定の結果と、温度を用いた感情推定の結果とに基づくというシンプルな構成で、高精度に感情を判定できる。さらに、顔画像も温度（検出値）も非接触で得られるため、ユーザがウェアラブル機器を装着するといった手間が生じず、高いユーザビリティを実現できる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、算出されたスコアが高い方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
【0059】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。
本発明の第２の実施形態について説明する。
【0060】
（構成）
第２の実施形態に係るコミュニケーションシステムの構成や、第２の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第２の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第２の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、第１感情推定部２３１により算出されたスコアと、第２感情推定部２３２により算出されたスコアとを足し合わせた値が大きい方の感情を、ユーザの感情として判定する。こうすることでも、より信頼度の高い感情を判定結果として得ることができる。
第２の実施形態に係るコミュニケーションシステムの構成や、第２の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第２の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第２の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、第１感情推定部２３１により算出されたスコアと、第２感情推定部２３２により算出されたスコアとを足し合わせた値が大きい方の感情を、ユーザの感情として判定する。こうすることでも、より信頼度の高い感情を判定結果として得ることができる。
【0061】
（動作）
図５は、第２の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図５の処理フローを繰り返し実行する。図５の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図５の処理フローが繰り返されるとする。
図５は、第２の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図５の処理フローを繰り返し実行する。図５の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図５の処理フローが繰り返されるとする。
【0062】
ステップＳ５０１～Ｓ５０７の処理は、第１の実施形態のステップＳ３０１～Ｓ３０７の処理と同じである。感情Ｅ１のスコア（表情変化に基づくスコア）と、感情Ｅ２のスコア（温度変化に基づくスコア）とが一致しない場合（ステップＳ５０７：ＮＯ）には、ステップＳ５０８へ処理が進められる。
【0063】
ステップＳ５０８では、感情判定部２３３は、感情Ｅ１に対応する合計スコアＳ１を算出する。合計スコアＳ１は、感情Ｅ１のスコア（第１感情推定部２３１により算出されたスコア；表情変化に基づくスコア）と、感情Ｅ１と同じ感情について第２感情推定部２３２により算出されたスコア（温度変化に基づくスコア）との足し合わせにより、算出される。
【0064】
ステップＳ５０９では、感情判定部２３３は、感情Ｅ２に対応する合計スコアＳ２を算出する。合計スコアＳ２は、感情Ｅ２のスコア（第２感情推定部２３２により算出されたスコア；温度変化に基づくスコア）と、感情Ｅ２と同じ感情について第１感情推定部２３
１により算出されたスコア（表情変化に基づくスコア）との足し合わせにより、算出される。
１により算出されたスコア（表情変化に基づくスコア）との足し合わせにより、算出される。
【0065】
ステップＳ５１０では、感情判定部２３３は、ステップＳ５０８で算出された合計スコアＳ１と、ステップＳ５０９で算出された合計スコアＳ２とが一致するか否かを判定する。合計スコアＳ１と合計スコアＳ２が一致しない場合（ステップＳ５１０：ＮＯ）には、ステップＳ５１１へ処理が進められる。合計スコアＳ１と合計スコアＳ２が一致する場合（ステップＳ５１０：ＹＥＳ）には、ＰＣ２００は、図５の処理フローを終了する。このとき、ユーザの感情Ｅｒｅｓｕｌｔとして、前回と同じ感情が採用される。
【0066】
ステップＳ５１１では、感情判定部２３３は、ステップＳ５０８で算出された合計スコアＳ１がステップＳ５０９で算出された合計スコアＳ２よりも高いか否かを判定する。合計スコアＳ１が合計スコアＳ２よりも高い場合（ステップＳ５１１：ＹＥＳ）にはステップＳ５１２へ処理が進められ、合計スコアＳ１が合計スコアＳ２よりも低い場合（ステップＳ５１１：ＮＯ）にはステップＳ５１３へ処理が進められる。
【0067】
ステップＳ５１２では、感情判定部２３３は、合計スコアＳ１に対応する感情Ｅ１を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図５の処理フローを終了する。
【0068】
ステップＳ５１３では、感情判定部２３３は、合計スコアＳ２に対応する感情Ｅ２を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図５の処理フローを終了する。
【0069】
（動作の具体例）
図６（Ａ）～６（Ｃ）は、第２の実施形態に係る動作例を示す。図６（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図６（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図６（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図６（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図６（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
図６（Ａ）～６（Ｃ）は、第２の実施形態に係る動作例を示す。図６（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図６（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図６（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図６（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図６（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
【0070】
図６（Ａ）～６（Ｃ）の例では、フレーム０～フレーム２の期間において、感情Ｅ１も感情Ｅ２も平常であるため、感情Ｅｒｅｓｕｌｔとしても平常が決定される。フレーム３では、感情Ｅ１は怒りであり、感情Ｅ２は平常であり、感情Ｅ１と感情Ｅ２は異なる。ここで、感情Ｅ１（怒り）について、第１感情推定部２３１が算出したスコア（５５）と、第２感情推定部２３２が算出したスコア（２０）との合計（合計スコアＳ１）は、７５である。感情Ｅ２（平常）について、第１感情推定部２３１が算出したスコア（２２）と、第２感情推定部２３２が算出したスコア（７２）との合計（合計スコアＳ２）は、７４である。感情Ｅ１（怒り）に対応する合計スコアＳ１（７５）が、感情Ｅ２（平常）に対応する合計スコアＳ２（７４）よりも高いため、感情Ｅｒｅｓｕｌｔとして怒りが決定される。他のフレームでも同様に、感情Ｅ１のスコアと感情Ｅ２のスコアとの一致／不一致や、合計スコアＳ１と合計スコアＳ２の大小関係などに基づいて、感情Ｅｒｅｓｕｌｔが決定される。
【0071】
（まとめ）
以上述べたように、第２の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、顔画像
に基づくスコアと温度に基づくスコアとの合計が高い方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
以上述べたように、第２の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、顔画像
に基づくスコアと温度に基づくスコアとの合計が高い方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
【0072】
＜第３の実施形態＞
本発明の第３の実施形態について説明する。
本発明の第３の実施形態について説明する。
【0073】
（構成）
第３の実施形態に係るコミュニケーションシステムの構成や、第３の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第３の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第３の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、前回からのスコアの変化量が大きい方の感情を、ユーザの感情として判定する。こうすることで、より早く感情の変化を捉えることができる。
第３の実施形態に係るコミュニケーションシステムの構成や、第３の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第３の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第３の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、前回からのスコアの変化量が大きい方の感情を、ユーザの感情として判定する。こうすることで、より早く感情の変化を捉えることができる。
【0074】
（動作）
図７は、第３の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図７の処理フローを繰り返し実行する。図７の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図７の処理フローが繰り返されるとする。
図７は、第３の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図７の処理フローを繰り返し実行する。図７の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図７の処理フローが繰り返されるとする。
【0075】
ステップＳ７０１～Ｓ７０７の処理は、第１の実施形態のステップＳ３０１～Ｓ３０７の処理と同じである。感情Ｅ１のスコア（表情変化に基づくスコア）と、感情Ｅ２のスコア（温度変化に基づくスコア）とが一致しない場合（ステップＳ７０７：ＮＯ）には、ステップＳ７０８へ処理が進められる。
【0076】
ステップＳ７０８では、感情判定部２３３は、感情Ｅ１の前回のスコア（表情変化に基づくスコア）から感情Ｅ１の今回のスコア（表情変化に基づくスコア）までの変化量Ｄ１を算出する。変化量Ｄ１は、感情Ｅ１の今回のスコアから感情Ｅ１の前回のスコアを減算して得られる差分値である。
【0077】
ステップＳ７０９では、感情判定部２３３は、感情Ｅ２の前回のスコア（温度変化に基づくスコア）から感情Ｅ２の今回のスコア（温度変化に基づくスコア）までの変化量Ｄ２を算出する。変化量Ｄ２は、感情Ｅ２の今回のスコアから感情Ｅ２の前回のスコアを減算して得られる差分値である。
【0078】
ステップＳ７１０では、感情判定部２３３は、ステップＳ７０８で算出された変化量Ｄ１と、ステップＳ７０９で算出された変化量Ｄ２とが一致するか否かを判定する。変化量Ｄ１と変化量Ｄ２が一致しない場合（ステップＳ７１０：ＮＯ）には、ステップＳ７１１へ処理が進められる。変化量Ｄ１と変化量Ｄ２が一致する場合（ステップＳ７１０：ＹＥＳ）には、ＰＣ２００は、図７の処理フローを終了する。このとき、ユーザの感情Ｅｒｅｓｕｌｔとして、前回と同じ感情が採用される。
【0079】
ステップＳ７１１では、感情判定部２３３は、ステップＳ７０８で算出された変化量Ｄ１がステップＳ７０９で算出された変化量Ｄ２よりも大きいか否かを判定する。変化量Ｄ１が変化量Ｄ２よりも大きい場合（ステップＳ７１１：ＹＥＳ）にはステップＳ７１２へ処理が進められ、変化量Ｄ１が変化量Ｄ２よりも小さい場合（ステップＳ７１１：ＮＯ）にはステップＳ７１３へ処理が進められる。
【0080】
ステップＳ７１２では、感情判定部２３３は、変化量Ｄ１に対応する感情Ｅ１を、ユー
ザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図７の処理フローを終了する。
ザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図７の処理フローを終了する。
【0081】
ステップＳ７１３では、感情判定部２３３は、変化量Ｄ２に対応する感情Ｅ２を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図７の処理フローを終了する。
【0082】
（動作の具体例）
図８（Ａ）～８（Ｃ）は、第３の実施形態に係る動作例を示す。図８（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図８（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図８（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図８（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図８（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
図８（Ａ）～８（Ｃ）は、第３の実施形態に係る動作例を示す。図８（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図８（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図８（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図８（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図８（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
【0083】
図８（Ａ）～８（Ｃ）の例では、フレーム０～フレーム２の期間において、感情Ｅ１も感情Ｅ２も平常であるため、感情Ｅｒｅｓｕｌｔとしても平常が決定される。フレーム３では、感情Ｅ１は怒りであり、感情Ｅ２は平常であり、感情Ｅ１と感情Ｅ２は異なる。ここで、感情Ｅ１（怒り）について、第１感情推定部２３１が前回算出したスコア（２３；フレーム２のスコア）から、第１感情推定部２３１が今回算出したスコア（５５；フレーム３のスコア）までの変化量Ｄ１は、３２（＝５５－２３）である。感情Ｅ２（平常）について、第２感情推定部２３２が前回算出したスコア（５２；フレーム２のスコア）から、第２感情推定部２３２が今回算出したスコア（５０；フレーム３のスコア）までの変化量Ｄ２は、－２（＝５０－５２）である。感情Ｅ１（怒り）に対応する変化量Ｄ１（３２）が、感情Ｅ２（平常）に対応する変化量Ｄ２（－２）よりも大きいため、感情Ｅｒｅｓｕｌｔとして怒りが決定される。他のフレームでも同様に、感情Ｅ１のスコアと感情Ｅ２のスコアとの一致／不一致や、変化量Ｄ１と変化量Ｄ２の大小関係などに基づいて、感情Ｅｒｅｓｕｌｔが決定される。
【0084】
（まとめ）
以上述べたように、第３の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、前回からのスコアの変化量が大きい方の感情を、ユーザの感情として判定することで、より早く感情の変化を捉えることができる。
以上述べたように、第３の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、前回からのスコアの変化量が大きい方の感情を、ユーザの感情として判定することで、より早く感情の変化を捉えることができる。
【0085】
＜第４の実施形態＞
本発明の第４の実施形態について説明する。
本発明の第４の実施形態について説明する。
【0086】
（構成）
第４の実施形態に係るコミュニケーションシステムの構成や、第４の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第４の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第４の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、複数の感情の間でのスコアの分散値が大きい方の感情を、ユーザの感情として判定する。ここで、分散値は、スコアの際立ちの度合いとも言える。複数の感情の間でのスコアの分散値が大きいほど、つまり最大のスコアが際立っているほど、信頼度（対応する感情をユーザが抱いていることの確からしさ）が高いと考えられるた
め、こうすることで、より信頼度の高い感情を判定結果として得ることができる。ｎ個のスコアＸｉ（ｉは１以上ｎ以下の整数）の分散値Ｖは、例えば、以下の式１で算出できる。式１において、Ｘａｖｅは、ｎ個のスコアＸｉの平均値である。
第４の実施形態に係るコミュニケーションシステムの構成や、第４の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第４の実施形態では、第１感情推定部２３１により最大のスコアが算出された感情と、第２感情推定部２３２により最大のスコアが算出された感情とが一致しない場合における感情判定部２３３の処理が、第１の実施形態と異なる。第４の実施形態では、このような場合において、感情判定部２３３は、それらの感情のうち、複数の感情の間でのスコアの分散値が大きい方の感情を、ユーザの感情として判定する。ここで、分散値は、スコアの際立ちの度合いとも言える。複数の感情の間でのスコアの分散値が大きいほど、つまり最大のスコアが際立っているほど、信頼度（対応する感情をユーザが抱いていることの確からしさ）が高いと考えられるた
め、こうすることで、より信頼度の高い感情を判定結果として得ることができる。ｎ個のスコアＸｉ（ｉは１以上ｎ以下の整数）の分散値Ｖは、例えば、以下の式１で算出できる。式１において、Ｘａｖｅは、ｎ個のスコアＸｉの平均値である。
【数1】
【0087】
（動作）
図９は、第４の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図９の処理フローを繰り返し実行する。図９の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図９の処理フローが繰り返されるとする。
図９は、第４の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図９の処理フローを繰り返し実行する。図９の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図９の処理フローが繰り返されるとする。
【0088】
ステップＳ９０１～Ｓ９０７の処理は、第１の実施形態のステップＳ３０１～Ｓ３０７の処理と同じである。感情Ｅ１のスコア（表情変化に基づくスコア）と、感情Ｅ２のスコア（温度変化に基づくスコア）とが一致しない場合（ステップＳ９０７：ＮＯ）には、ステップＳ９０８へ処理が進められる。
【0089】
ステップＳ９０８では、感情判定部２３３は、感情Ｅ１に対応する分散値Ｖ１として、第１感情推定部２３１が複数の感情（平常、怒り、悲しみ、及び、喜び）に対してそれぞれ算出した複数のスコア（表情変化に基づく複数のスコア）の分散値を算出する。
【0090】
ステップＳ９０９では、感情判定部２３３は、感情Ｅ２に対応する分散値Ｖ２として、第２感情推定部２３２が複数の感情（平常、怒り、悲しみ、及び、喜び）に対してそれぞれ算出した複数のスコア（温度変化に基づく複数のスコア）の分散値を算出する。
【0091】
ステップＳ９１０では、感情判定部２３３は、ステップＳ９０８で算出された分散値Ｖ１と、ステップＳ９０９で算出された分散値Ｖ２とが一致するか否かを判定する。分散値Ｖ１と分散値Ｖ２が一致しない場合（ステップＳ９１０：ＮＯ）には、ステップＳ９１１へ処理が進められる。分散値Ｖ１と分散値Ｖ２が一致する場合（ステップＳ９１０：ＹＥＳ）には、ＰＣ２００は、図９の処理フローを終了する。このとき、ユーザの感情Ｅｒｅｓｕｌｔとして、前回と同じ感情が採用される。
【0092】
ステップＳ９１１では、感情判定部２３３は、ステップＳ９０８で算出された分散値Ｖ１がステップＳ９０９で算出された分散値Ｖ２よりも大きいか否かを判定する。分散値Ｖ１が分散値Ｖ２よりも大きい場合（ステップＳ９１１：ＹＥＳ）にはステップＳ９１２へ処理が進められ、分散値Ｖ１が分散値Ｖ２よりも小さい場合（ステップＳ９１１：ＮＯ）にはステップＳ９１３へ処理が進められる。
【0093】
ステップＳ９１２では、感情判定部２３３は、分散値Ｖ１に対応する感情Ｅ１を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図９の処理フローを終了する。
【0094】
ステップＳ９１３では、感情判定部２３３は、分散値Ｖ２に対応する感情Ｅ２を、ユーザの感情Ｅｒｅｓｕｌｔとして決定する。そして、ＰＣ２００は、図９の処理フローを終了する。
【0095】
（動作の具体例）
図１０（Ａ）～１０（Ｃ）は、第４の実施形態に係る動作例を示す。図１０（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図１０（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図１０（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図１０（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図１０（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
図１０（Ａ）～１０（Ｃ）は、第４の実施形態に係る動作例を示す。図１０（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図１０（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。図１０（Ｂ）は、第２感情推定部２３２により算出された各感情のスコア（温度変化に基づくスコア）の時間変化の一例を示す。図１０（Ｂ）では、感情Ｅ２（温度変化に基づいて推定された感情）が太枠で示されている。図１０（Ｃ）は、感情判定部２３３により判定された感情（感情Ｅｒｅｓｕｌｔ）の時間変化の一例を示す。
【0096】
図１０（Ａ）～１０（Ｃ）の例では、フレーム０～フレーム２の期間において、感情Ｅ１も感情Ｅ２も平常であるため、感情Ｅｒｅｓｕｌｔとしても平常が決定される。フレーム３では、感情Ｅ１は怒りであり、感情Ｅ２は平常であり、感情Ｅ１と感情Ｅ２は異なる。ここで、感情Ｅ１（怒り）について、第１感情推定部２３１が算出した４つのスコア（２２，５５，１２，１１）から算出される分散値Ｖ１は、３１９である。感情Ｅ２（平常）について、第２感情推定部２３２が算出した４つのスコア（５２，２０，８，２０）から算出される分散値Ｖ２は、２６７である。感情Ｅ１（怒り）に対応する分散値Ｖ１（３１９）が、感情Ｅ２（平常）に対応する分散値Ｖ２（２６７）よりも大きいため、感情Ｅｒｅｓｕｌｔとして怒りが決定される。他のフレームでも同様に、感情Ｅ１のスコアと感情Ｅ２のスコアとの一致／不一致や、分散値Ｖ１と分散値Ｖ２の大小関係などに基づいて、感情Ｅｒｅｓｕｌｔが決定される。
【0097】
（まとめ）
以上述べたように、第４の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、複数の感情の間でのスコアの分散値が大きい方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
以上述べたように、第４の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、顔画像に基づいて推定された感情と、温度に基づいて推定された感情とのうち、複数の感情の間でのスコアの分散値が大きい方の感情を、ユーザの感情として判定することで、より信頼度の高い感情を判定結果として得ることができる。
【0098】
＜第５の実施形態＞
本発明の第５の実施形態について説明する。
本発明の第５の実施形態について説明する。
【0099】
（構成）
第５の実施形態に係るコミュニケーションシステムの構成は、第１の実施形態とほぼ同じである。図１１は、第５の実施形態に係るＰＣ２００の構成例を示すブロック図である。第５の実施形態に係るＰＣ２００も、第１の実施形態と同様に、画像取得部２１０、温度取得部２２０、制御部２３０、記憶部２４０、及び、出力部２５０を有する。但し、第５の実施形態に係る制御部２３０は、推定結果変更部２３４をさらに有する。第５の実施形態において、後述する処理以外の処理については、第１の実施形態と同様である。
第５の実施形態に係るコミュニケーションシステムの構成は、第１の実施形態とほぼ同じである。図１１は、第５の実施形態に係るＰＣ２００の構成例を示すブロック図である。第５の実施形態に係るＰＣ２００も、第１の実施形態と同様に、画像取得部２１０、温度取得部２２０、制御部２３０、記憶部２４０、及び、出力部２５０を有する。但し、第５の実施形態に係る制御部２３０は、推定結果変更部２３４をさらに有する。第５の実施形態において、後述する処理以外の処理については、第１の実施形態と同様である。
【0100】
第５の実施形態では、第１感情推定部２３１と第２感情推定部２３２のそれぞれは、ユーザの感情の推定結果を、記憶部２４０に格納（記録；蓄積）する。
【0101】
推定結果変更部２３４は、記憶部２４０に格納された、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とを変更する。わかりやすさの観点から、図１１では、記憶部２４０に対する推定結果の書き込み／読み出しの矢印の代わりに、第１感情推定部２３１と第２感情推定部２３２から推定結果変更部２３４に向かう矢印が示されている。具体的には、推定結果変更部２３４は、所定時間前までの期間でのスコア（推定された感情のスコア）の分散値が所定の閾値よりも小さいタイミングを検出する。このようなタイミングは、ユーザの感情の推定結果が安定したタイミングとみなすことができる。そして、推定結果変更部２３４は、分散値が所定の閾値よりも小さい第１のタイ
ミングから遡って、分散値が所定の閾値よりも小さい第２のタイミングの直後のタイミングまでの推定結果を、第１のタイミングの推定結果に置き換える。推定結果変更部２３４は、このようなタイミングの検出と推定結果の置き換えとが行われるように、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とを変更する。推定結果変更部２３４は本発明の変更手段の一例である。
ミングから遡って、分散値が所定の閾値よりも小さい第２のタイミングの直後のタイミングまでの推定結果を、第１のタイミングの推定結果に置き換える。推定結果変更部２３４は、このようなタイミングの検出と推定結果の置き換えとが行われるように、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とを変更する。推定結果変更部２３４は本発明の変更手段の一例である。
【0102】
感情判定部２３３は、推定結果変更部２３４による変更後の推定結果に基づいて、ユーザの感情を判定する。例えば、ユーザの感情は、第１～第４の実施形態のいずれかの方法で判定される。
【0103】
こうすることで、感情の移り変わりを平滑化して捉えることができ、感情の移り変わりの傾向を高精度に捉えることができる。その結果、感情の移り変わりを予測した制御などを、好適に行えるようになる。例えば、ユーザの感情が怒りから悲しみに変化する傾向にある場合に、怒りの感情を抱いているユーザに対して悲しみに変化することを想定したコミュニケーションをとるように、コミュニケーションロボット３０の動作（発言など）を制御することができる。
【0104】
（動作の具体例）
図１２（Ａ）～１２（Ｃ）は、第５の実施形態に係る動作例を示す。以下では、第１感情推定部２３１の推定結果を変更する例について説明する。第２感情推定部２３２の推定結果も以下の方法と同様の方法で変更される。
図１２（Ａ）～１２（Ｃ）は、第５の実施形態に係る動作例を示す。以下では、第１感情推定部２３１の推定結果を変更する例について説明する。第２感情推定部２３２の推定結果も以下の方法と同様の方法で変更される。
【0105】
図１２（Ａ）は、推定結果変更部２３４による変更前のスコアの時間変化の一例を示し、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図１２（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。
【0106】
まず、推定結果変更部２３４は、図１２（Ａ）の時間変化に基づいて、推定結果変更部２３４により推定された感情Ｅ１の、所定時間前までの期間での分散値を算出する。所定時間は特に限定されないが、ここでは３フレーム分の時間であるとする。例えば、フレーム２では、感情Ｅ１（スコアが最大の感情）は平常であるため、推定結果変更部２３４は、フレーム２の平常のスコア（５６）、フレーム１の平常のスコア（５０）、及び、フレーム０の平常のスコア（６０）から分散値（１６．９）を算出する。フレーム３では、感情Ｅ１（スコアが最大の感情）は怒りであるため、推定結果変更部２３４は、フレーム３の怒りのスコア（５５）、フレーム２の怒りのスコア（２３）、及び、フレーム１の怒りのスコア（２０）から分散値（２５１）を算出する。推定結果変更部２３４は、他のフレームについても、同様の方法で分散値を算出する。図１２（Ｂ）は、算出された分散値の時間変化の一例を示す。
【0107】
次に、推定結果変更部２３４は、分散値が所定の閾値よりも小さいタイミング（フレーム）を検出する。所定の閾値は特に限定されないが、ここでは５０であるとする。図１２（Ｂ）では、所定の閾値（５０）よりも小さい分散値が太枠で示されている。具体的には、フレーム２，７，１３，１４が検出されている。
【0108】
最後に、推定結果変更部２３４は、分散値が所定の閾値（５０）よりも小さい第１のタイミングから遡って、分散値が所定の閾値（５０）よりも小さい第２のタイミングの直後のタイミングまでの推定結果を、第１のタイミングの推定結果に置き換える。上述したように、図１２（Ｂ）では、分散値が所定の閾値（５０）よりも小さいタイミングとして、フレーム２，７，１３，１４が検出されている。このため、推定結果変更部２３４は、フレーム０～２のスコアがフレーム２のスコアとなり、フレーム３～７のスコアがフレーム
７のスコアとなり、フレーム８～１３のスコアがフレーム１３のスコアとなるように、スコアの置き換えを行う。図１２（Ｃ）は、推定結果変更部２３４による変更後のスコアの時間変化の一例を示す。
７のスコアとなり、フレーム８～１３のスコアがフレーム１３のスコアとなるように、スコアの置き換えを行う。図１２（Ｃ）は、推定結果変更部２３４による変更後のスコアの時間変化の一例を示す。
【0109】
なお、図１２（Ｃ）には、感情Ｅ１（ユーザが抱いていると推定された感情）のスコアのみが示されているが、感情Ｅ１以外のスコアについても上記置き換えが行われてよい。さらに、感情Ｅ１が同じ複数のフレームが連続する場合には、当該複数のフレームの間でスコアを統一するように、スコアの置き換えが行われてもよい。例えば、図１２（Ａ）～１２（Ｃ）の場合は、フレーム１３の感情Ｅ１もフレーム１４の感情Ｅ１も悲しみである。このため、推定結果変更部２３４は、フレーム８～１４のスコアがフレーム１３またはフレーム１４のスコアとなるように、スコアの置き換えを行ってもよい。
【0110】
（まとめ）
以上述べたように、第５の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、感情の移り変わりが平滑化して捉えられるように感情推定の結果を変更することで、感情の移り変わりの傾向を高精度に捉えることができる。
以上述べたように、第５の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、感情の移り変わりが平滑化して捉えられるように感情推定の結果を変更することで、感情の移り変わりの傾向を高精度に捉えることができる。
【0111】
＜第６の実施形態＞
本発明の第６の実施形態について説明する。
本発明の第６の実施形態について説明する。
【0112】
（構成）
第６の実施形態に係るコミュニケーションシステムの構成や、第６の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第６の実施形態では、第１感情推定部２３１と第２感情推定部２３２のそれぞれは、第１の周期でユーザの感情を推定する。感情判定部２３３は、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とを、第１の周期よりも長い第２の周期で更新して使用する。例えば、第２の周期は、第１の周期の３倍の周期である。カメラ１０による撮像のフレームレートが３０ｆｐｓであり、第１の周期が当該フレームレートに対応するとすると、第２の周期は、その１／３のフレームレート（１０ｆｐｓ）に対応する。これら以外の構成（処理）は、第１～第４の実施形態のいずれかと同様である。
第６の実施形態に係るコミュニケーションシステムの構成や、第６の実施形態に係るＰＣ２００の構成などは、第１の実施形態とほぼ同じである。第６の実施形態では、第１感情推定部２３１と第２感情推定部２３２のそれぞれは、第１の周期でユーザの感情を推定する。感情判定部２３３は、第１感情推定部２３１による推定結果と、第２感情推定部２３２による推定結果とを、第１の周期よりも長い第２の周期で更新して使用する。例えば、第２の周期は、第１の周期の３倍の周期である。カメラ１０による撮像のフレームレートが３０ｆｐｓであり、第１の周期が当該フレームレートに対応するとすると、第２の周期は、その１／３のフレームレート（１０ｆｐｓ）に対応する。これら以外の構成（処理）は、第１～第４の実施形態のいずれかと同様である。
【0113】
こうすることで、第１感情推定部２３１とよる推定結果と第２感情推定部２３２による推定結果の更新といった、感情判定部２３３の処理の頻度を減らすことができるため、感情判定の処理負荷を低減できる。なお、感情判定部２３３は、感情判定や、その結果の出力などを、第１の周期で行ってもよいし、第２の周期で行ってもよい。それらも第２の周期で行えば、感情判定部２３３の処理負荷をより低減できる。
【0114】
（動作の具体例）
図１３（Ａ），１３（Ｂ）は、第６の実施形態に係る動作例を示す。以下では、感情判定部２３３が第１感情推定部２３１の推定結果を更新する例について説明する。感情判定部２３３が第２感情推定部２３２の推定結果も以下の方法と同様の方法で更新する。
図１３（Ａ），１３（Ｂ）は、第６の実施形態に係る動作例を示す。以下では、感情判定部２３３が第１感情推定部２３１の推定結果を更新する例について説明する。感情判定部２３３が第２感情推定部２３２の推定結果も以下の方法と同様の方法で更新する。
【0115】
図１３（Ａ）は、第１感情推定部２３１により算出された各感情のスコア（表情変化に基づくスコア）の時間変化の一例を示す。図１３（Ａ）では、感情Ｅ１（表情変化に基づいて推定された感情）が太枠で示されている。
【0116】
【0117】
図１３（Ａ）に示すように、第１感情推定部２３１は、１フレームごとに、スコアを算出・更新する。一方で、図１３（Ｂ）に示すように、感情判定部２３３は、３フレームごとに、スコアを更新する。具体的には、感情判定部２３３は、フレーム０のスコアを、フレーム１，２のスコアとしても使用する。このため、感情判定部２３３は、フレーム１，２に関する処理を、フレーム１，２よりも前のタイミングで行うことができる。つまり、感情の判定結果をより早く得ることができる。フレーム３でスコアが更新され、フレーム３のスコアが、フレーム４，５のスコアとしても使用される。その後も、同様にスコアの更新が行われる。
【0118】
（まとめ）
以上述べたように、第６の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、感情判定に使用する感情推定結果の更新頻度を減らすことで、感情判定の処理負荷を低減したり、感情判定の処理速度を高めたり（感情判定結果を得るまでの時間を短縮したり）できる。
以上述べたように、第６の実施形態でも、第１の実施形態と同様に、ユーザビリティの高いシンプルな構成で、高精度に感情を判定できるという効果を得ることができる。また、感情判定に使用する感情推定結果の更新頻度を減らすことで、感情判定の処理負荷を低減したり、感情判定の処理速度を高めたり（感情判定結果を得るまでの時間を短縮したり）できる。
【0119】
＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。第１～第６の実施形態に係る処理を適宜組み合わせることも可能である。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。第１～第６の実施形態に係る処理を適宜組み合わせることも可能である。
【0120】
＜付記１＞
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定手段（１０１，２３１）と、
前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定手段（１０２，２３２）と、
前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とに基づいて、前記ユーザの感情を判定する判定手段（１０３，２３３）と
を有することを特徴とする感情判定装置（１００，２００）。
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定手段（１０１，２３１）と、
前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定手段（１０２，２３２）と、
前記第１の推定手段による推定結果と、前記第２の推定手段による推定結果とに基づいて、前記ユーザの感情を判定する判定手段（１０３，２３３）と
を有することを特徴とする感情判定装置（１００，２００）。
【0121】
＜付記２＞
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定ステップ（Ｓ３０２，Ｓ５０２，Ｓ７０２，Ｓ９０２）と、
前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定ステップ（Ｓ３０４，Ｓ５０４，Ｓ７０４，Ｓ９０４）と、
前記第１の推定ステップにおける推定結果と、前記第２の推定ステップにおける推定結果とに基づいて、前記ユーザの感情を判定する判定ステップ（Ｓ３０５～Ｓ３１０，Ｓ５０５～Ｓ５１３，Ｓ７０５～Ｓ７１３，Ｓ９０５～Ｓ９１３）と
を有することを特徴とする感情判定方法。
ユーザの顔画像から検出された当該ユーザの表情の変化に基づいて、当該ユーザの感情を推定する第１の推定ステップ（Ｓ３０２，Ｓ５０２，Ｓ７０２，Ｓ９０２）と、
前記ユーザから非接触で検出された当該ユーザの温度の変化に基づいて、当該ユーザの感情を推定する第２の推定ステップ（Ｓ３０４，Ｓ５０４，Ｓ７０４，Ｓ９０４）と、
前記第１の推定ステップにおける推定結果と、前記第２の推定ステップにおける推定結果とに基づいて、前記ユーザの感情を判定する判定ステップ（Ｓ３０５～Ｓ３１０，Ｓ５０５～Ｓ５１３，Ｓ７０５～Ｓ７１３，Ｓ９０５～Ｓ９１３）と
を有することを特徴とする感情判定方法。
【符号の説明】
【0122】
１００：感情判定装置
１０１：第１感情推定部 １０２：第２感情推定部 １０３：感情判定部
１０：カメラ ２０：温度測定装置 ３０：コミュニケーションロボット
２００：ＰＣ（感情判定装置）
２１０：画像取得部 ２２０：温度取得部 ２３０：制御部
２４０：記憶部 ２５０：出力部
２３１：第１感情推定部 ２３２：第２感情推定部
２３３：感情判定部 ２３４：推定結果変更部
２４１：第１感情推定辞書 ２４２：第２感情推定辞書
１０１：第１感情推定部 １０２：第２感情推定部 １０３：感情判定部
１０：カメラ ２０：温度測定装置 ３０：コミュニケーションロボット
２００：ＰＣ（感情判定装置）
２１０：画像取得部 ２２０：温度取得部 ２３０：制御部
２４０：記憶部 ２５０：出力部
２３１：第１感情推定部 ２３２：第２感情推定部
２３３：感情判定部 ２３４：推定結果変更部
２４１：第１感情推定辞書 ２４２：第２感情推定辞書
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】