特開2023-77483番組興味データ抽出装置、番組興味データ抽出方法、番組興味データ抽出プログラム、ロボット動作決定装置、ロボット動作決定方法、及びロボット動作決定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023077483
(43)【公開日】2023-06-06
(54)【発明の名称】番組興味データ抽出装置、番組興味データ抽出方法、番組興味データ抽出プログラム、ロボット動作決定装置、ロボット動作決定方法、及びロボット動作決定プログラム
(51)【国際特許分類】
H04N 21/466 20110101AFI20230530BHJP
H04N 21/442 20110101ALI20230530BHJP
G06T 7/00 20170101ALI20230530BHJP
B25J 13/00 20060101ALI20230530BHJP
【ＦＩ】
H04N21/466
H04N21/442
G06T7/00 660A
B25J13/00 Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021190753
(22)【出願日】2021-11-25
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】上村 真利奈
(72)【発明者】
【氏名】金子 豊
(72)【発明者】
【氏名】西本 友成
(72)【発明者】
【氏名】奥田 誠
(72)【発明者】
【氏名】星 祐太
(72)【発明者】
【氏名】萩尾 勇太
【テーマコード（参考）】
3C707
5C164
5L096
【Ｆターム（参考）】
3C707KS11
3C707KT01
3C707KT06
3C707WL02
3C707WL05
3C707WL14
5C164FA04
5C164UA51S
5C164UB41P
5C164UB71S
5C164UC01P
5C164YA09
5C164YA10
5C164YA12
5L096CA02
5L096DA02
5L096FA67
(57)【要約】 （修正有）
【課題】ユーザー別に、他の人と対話や感情を共有しながら楽しみたい番組ジャンルと、集中して視聴したいジャンルを抽出し、抽出結果に基づいてテレビ視聴ロボットの動作パターンと動作頻度を制御する番組興味データ抽出装置、方法及びプログラム並びにロボット動作決定装置、方法及びプログラムを提供する。
【解決手段】感情表現制御装置において、番組ジャンル分類部は、ジャンル別に合計視聴時間を算出する。表情検出部は、番組ジャンル別にテレビ視聴時にユーザーの顔に表れた喜怒哀楽の表情の回数を取得する。注視データ算出部は、番組ジャンル別にテレビ視聴時にテレビに視線を向けていた時間を算出する。番組興味度算出部は、ユーザー別に、対話や感情を共有しながら楽しみたい番組ジャンルと集中して視聴したいジャンルを判定する。動作頻度決定部は、番組興味度算出部の判定結果に応じて、テレビ視聴中のロボットの動作パターンと動作頻度を決定する。
【選択図】図１
【解決手段】感情表現制御装置において、番組ジャンル分類部は、ジャンル別に合計視聴時間を算出する。表情検出部は、番組ジャンル別にテレビ視聴時にユーザーの顔に表れた喜怒哀楽の表情の回数を取得する。注視データ算出部は、番組ジャンル別にテレビ視聴時にテレビに視線を向けていた時間を算出する。番組興味度算出部は、ユーザー別に、対話や感情を共有しながら楽しみたい番組ジャンルと集中して視聴したいジャンルを判定する。動作頻度決定部は、番組興味度算出部の判定結果に応じて、テレビ視聴中のロボットの動作パターンと動作頻度を決定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザー別に興味のある番組を抽出する番組興味データ抽出装置であって、
視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類部と、
ユーザー別にテレビ視聴時の表情回数を取得する表情検出部と、
ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出部と、
番組ジャンル別に表情回数と総注視時間を算出する表情データ分析部と、
表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出部と、を備える番組興味データ抽出装置。
視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類部と、
ユーザー別にテレビ視聴時の表情回数を取得する表情検出部と、
ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出部と、
番組ジャンル別に表情回数と総注視時間を算出する表情データ分析部と、
表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出部と、を備える番組興味データ抽出装置。
【請求項2】
ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定装置であって、
請求項１に記載の前記番組興味データ抽出装置により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、
前記リアクション度と前記集中度の度合いからロボットの動作を決定するロボット動作決定装置。
請求項１に記載の前記番組興味データ抽出装置により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、
前記リアクション度と前記集中度の度合いからロボットの動作を決定するロボット動作決定装置。
【請求項3】
ユーザー別に興味のある番組を抽出する番組興味データ抽出方法であって、
視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類ステップと、
ユーザー別にテレビ視聴時の表情回数を取得する表情検出ステップと、
ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出ステップと、
番組ジャンル別に表情回数と総注視時間を算出する表情データ分析ステップと、
表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出ステップと、をコンピュータが実行する番組興味データ抽出方法。
視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類ステップと、
ユーザー別にテレビ視聴時の表情回数を取得する表情検出ステップと、
ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出ステップと、
番組ジャンル別に表情回数と総注視時間を算出する表情データ分析ステップと、
表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出ステップと、をコンピュータが実行する番組興味データ抽出方法。
【請求項4】
ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定方法であって、
請求項３に記載の前記番組興味データ抽出方法により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定をコンピュータが実行するロボット動作決定方法。
請求項３に記載の前記番組興味データ抽出方法により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定をコンピュータが実行するロボット動作決定方法。
【請求項5】
請求項１に記載の番組興味データ抽出装置としてコンピュータを機能させるための番組興味データ抽出プログラム。
【請求項6】
請求項２に記載のロボット動作決定装置としてコンピュータを機能させるためのロボット動作決定プログラム。
【請求項7】
ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定装置であって、
テレビ視聴時の表情回数と総注視時間から、番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出部と、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定部と、を備えるロボット動作決定装置。
テレビ視聴時の表情回数と総注視時間から、番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出部と、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定部と、を備えるロボット動作決定装置。
【請求項8】
ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定方法であって、
テレビ視聴時の表情回数と総注視時間から、番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出ステップと、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定ステップと、をコンピュータが実行するロボット動作決定方法。
テレビ視聴時の表情回数と総注視時間から、番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出ステップと、
前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定ステップと、をコンピュータが実行するロボット動作決定方法。
【請求項9】
請求項７に記載のロボット動作決定装置としてコンピュータを機能させるためのロボット動作決定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人間と一緒にテレビ番組などの映像を視聴するコミュニケーションロボットにおいて、ユーザーが集中して見たい、又は他の人と感情を共有して見たいと感じている番組コンテンツをユーザー別にコミュニケーションロボットが見つけ出す技術に関わり、また視聴中の番組のジャンルに合わせて、コミュニケーションロボットが動作パターンと動作頻度を制御する技術に関する。以下、特に断らない限り、コミュニケーションロボットをロボットという。
【背景技術】
【0002】
テレビには、一人で見るという楽しみ方もあるが、複数人で見て他の人も自分と同じ喜怒哀楽の感情を持っていることを確認して、楽しさを他の人と共有するという楽しみ方もある。特許文献１には、前記「他の人」にロボットを含ませるという発明が開示されている。
【0003】
特許文献１で挙げられている「テレビ視聴ロボット」は、人間と一緒にテレビを視聴することで、人間同士が共に同じテレビを視聴する時と同様の効果を実現することを目指しているコミュニケーションロボットである。このロボットは、テレビ番組の映像、音声、字幕からキーワードを抽出し、抽出したキーワードに基づいてロボットの発話文を生成している。それにより、ロボットが番組に関連した発話をして、人間とロボットとがテレビ視聴時に対話をすることができる。
【0004】
特許文献２には、ユーザーを飽きさせることなく、継続してロボットが利用されることを目的としたロボットの制御方法が開示されている。ユーザーがロボットに触れた時の接触履歴情報からロボットの動作を決定する手法が提案されている。接触履歴情報に含まれる接触部位（頭部、腹部など）や接触種別（撫でる、叩くなど）、接触速度、移動速度のデータをセンサーで取得し、それらのデータに基づいてユーザーの感情を推定してロボットが動作を実行することで、ユーザーを飽きさせることなく継続して利用させることができる。
【0005】
特許文献３では、ユーザーの興味度に応じて、視聴したいコンテンツ情報を一覧で表示するプログラムが挙げられている。テレビの視聴履歴やＳＮＳ上での検索履歴、及びテレビ視聴時の感情状態からユーザーの嗜好情報を収集し、ユーザー別に興味度の高い番組のキーワードを抽出する。それにより、ユーザー別に興味度の高いコンテンツを推薦することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１９－１８５４００号公報
【特許文献2】特開２０１８－１３４７３５号公報
【特許文献3】特開２０１６－０８６３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
コミュニケーションロボットには、利用していくうちにユーザーに飽きられてしまい、使われなくなってしまうという課題がある。人間と一緒にテレビを視聴するコミュニケーションロボットでは、人間が集中してテレビを見たい時に、ロボットが動作したり、ロボットから話し掛けられたりすると、テレビに集中できないことがある。逆に、仲間内でワイワイ言いながらテレビを楽しみたいのに、ロボットは静かにしている場合もある。これらのように、テレビ視聴のＴＰＯ（Time, Place, Occasion）に合わせてロボットが動作しないことが、ユーザーに長く使ってもらえない原因の一つと考えられる。
【0008】
特許文献１の場合、視聴しているテレビ番組の映像や字幕からキーワードを抽出して、ロボットが発話を行うので、人間とロボットとが番組に関連した対話を行うことが可能である。しかし、番組のジャンルやユーザーの興味や、一人で集中して視聴したい時、複数人で視聴したい時に応じたロボットの感情動作については提案されていない。
【0009】
特許文献２に記載されているのは、ユーザーのロボットへの接触履歴情報を基に、ユーザーに応じたロボットの動作を決定する技術である。しかし、ユーザーがテレビを視聴している状況であって、且つユーザーからのロボットへの接触が無い場合の動作を決定するものでない。
【0010】
特許文献３は、ユーザー情報に基づいて、ユーザー別に興味度の高い番組を抽出する技術に関わる。しかし、興味度の高い番組の中で、人間（又はコミュニケーションロボット）と対話や感情を共有しながら楽しみたい番組、集中して視聴したい番組を見つける手法については提案されていない。
【0011】
本発明は、ユーザーがロボットに飽きることなく、ユーザーに継続してロボットを利用してもらうために、テレビ視聴履歴やユーザーの表情データを基にして、ロボットと対話や感情を共有しながら楽しみたい番組のジャンル、及び集中して視聴したい番組のジャンルを、ユーザー別に判別し、その判別結果に応じてロボットの動作パターンや動作頻度を変化させることで、テレビ視聴時のユーザーのＴＰＯに合わせてロボットを動作させることを課題とした。
【0012】
本発明は、視聴したテレビ番組の履歴とユーザーの表情データから、ユーザーの興味度の高い番組ジャンルを抽出し、ロボットと対話や感情を共有しながら楽しみたい番組ジャンルと、集中して視聴したい番組ジャンルをユーザー別に抽出する方式を提供することを目的とする。
【課題を解決するための手段】
【0013】
感情の共有や対話を行いながら視聴したい番組ジャンル、集中して視聴したい番組ジャンルは、ユーザーによって異なる。例えば、集中して視聴したい番組ジャンル「ドラマ」を見ている時に、他の番組ジャンルと同様の頻度で感情表現や発話を行うロボットがいた場合、テレビ視聴をしているユーザーへ阻害を与えてしまい、ロボットへの飽きの原因となり、ロボットの継続した利用が難しくなる。その課題を解決するために、ユーザー別に前記２つのパターンの番組ジャンルを算出するための装置及び方法を提案する。
【0014】
ユーザー別に、例えば１週間分の視聴履歴と表情データから、視聴した時間内で認識された表情の回数（リアクションの回数）が多く、またテレビへの集中度が高かった番組ジャンルを、対話や感情を共有しながら楽しみたい番組ジャンルと設定する。このように設定することで、ユーザーがロボットとテレビ視聴を楽しめるタイミングを見つけ出すことができる。
【0015】
また、視聴した時間内で認識された表情の回数（リアクションの回数）が少なく、集中度が高かった番組ジャンルを、集中して視聴したい番組ジャンルと設定する。このように設定することにより、ロボットはユーザーに合わせて少ない頻度で動作してテレビ視聴時のユーザーへの阻害を防ぐことができる。
【0016】
集中度が低かった番組ジャンルを興味のない番組ジャンルと設定し、その場合、ロボットは番組に関連した発話や、楽しそうにテレビ視聴をしているような感情表現をすることで、人間が番組に興味を持つきっかけとなり、新たな発見に繋がることができる。
【0017】
以上の方式により、ユーザー別に、「感情を共有して楽しみたい番組ジャンル」、「集中して見たい番組ジャンル」、及び「興味度が低い番組ジャンル」を算出することで、ロボットの動作パターンや動作頻度を決定することができる。
【0018】
本発明に係る番組興味データ抽出装置は、ユーザー別に興味のある番組を抽出する番組興味データ抽出装置であって、視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類部と、ユーザー別にテレビ視聴時の表情回数を取得する表情検出部と、ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出部と、番組ジャンル別に表情回数と総注視時間を算出する表情データ分析部と、表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出部と、を備える。
【0019】
本発明に係るロボット動作決定装置は、ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定装置であって、前記番組興味データ抽出装置により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、前記リアクション度と前記集中度の度合いからロボットの動作を決定する。
【0020】
本発明に係る番組興味データ抽出方法は、ユーザー別に興味のある番組を抽出する番組興味データ抽出方法であって、視聴履歴から番組ジャンル別に合計視聴時間を算出する番組ジャンル分類ステップと、ユーザー別にテレビ視聴時の表情回数を取得する表情検出ステップと、ユーザー別にテレビ視聴時にテレビに視線を向けた時間を取得する注視データ算出ステップと、番組ジャンル別に表情回数と総注視時間を算出する表情データ分析ステップと、表情回数と総注視時間から番組ジャンル別にテレビ視聴時のリアクション度と集中度を算出する番組興味度算出ステップと、をコンピュータが実行する。
【0021】
本発明に係るロボット動作決定方法は、ユーザーに応じて番組ジャンル別にロボットの動作を決定するロボット動作決定方法であって、前記番組興味データ抽出方法により算出された番組ジャンルに対応した、ユーザーのテレビ視聴時のリアクション度と集中度に基づいて、前記リアクション度と前記集中度の度合いからロボットの動作を決定する動作頻度決定をコンピュータが実行する。
【0022】
本発明に係る番組興味データ抽出プログラムは、前記番組興味データ抽出装置としてコンピュータを機能させるためのものである。
【0023】
本発明に係るロボット動作決定プログラムは、前記ロボット動作決定装置としてコンピュータを機能させるためのものである。
【発明の効果】
【0024】
本発明によれば、ユーザーに応じてロボットの動作を決定することで、ユーザーに複数人でテレビを視聴することの楽しさや嬉しさを与えることができる。
また、本発明によれば、ユーザーの番組への興味の変化に応じてロボットの動作を決定していくことにより、ロボットを継続して利用してもらうことができる（ロボットがユーザーに飽きられない）。
また、本発明によれば、ユーザーの番組への興味の変化に応じてロボットの動作を決定していくことにより、ロボットを継続して利用してもらうことができる（ロボットがユーザーに飽きられない）。
【図面の簡単な説明】
【0025】
【図1】本発明の一実施形態の全体ブロックを示す図である。
【図2】本発明の一実施形態の番組データ部１０の動作を説明する図である。
【図3】本発明の一実施形態のユーザーデータ部２０の動作を説明する図である。
【図4】本発明の一実施形態の表情データ分析部３１の動作を説明する図である。
【図5】本発明の一実施形態の番組興味度算出部４１の動作を説明する図である。
【図6】本発明の一実施形態の動作頻度決定部４２の動作を説明する図である。
【図7】本発明の一実施形態におけるユーザーが興味のある番組ジャンルを発見する方法を説明する図である。
【図8】本発明の一実施形態のユーザーデータを基にロボットの動作を決定する方法を説明する図である。
【図9】本発明の一実施形態のシステム全体のフローチャートを示す図である。
【図10】本発明の一実施形態の動作頻度データ部４０のフローチャートを示す図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態について、図面とともに説明する。
図１は、本発明の一実施形態を示す全体ブロック図である。
１００は、ロボットに組み込まれるロボット動作決定装置としての感情表現制御装置である。２００はテレビである。３００はユーザーである。
ロボット動作決定装置としての感情表現制御装置１００は、番組データ部１０、ユーザーデータ部２０、表情データ部３０、動作頻度データ部４０、ユーザーデータＤＢ（データベース）７０、動作頻度データＤＢ８０、及びロボット動作通信部９０を備えている。
図１は、本発明の一実施形態を示す全体ブロック図である。
１００は、ロボットに組み込まれるロボット動作決定装置としての感情表現制御装置である。２００はテレビである。３００はユーザーである。
ロボット動作決定装置としての感情表現制御装置１００は、番組データ部１０、ユーザーデータ部２０、表情データ部３０、動作頻度データ部４０、ユーザーデータＤＢ（データベース）７０、動作頻度データＤＢ８０、及びロボット動作通信部９０を備えている。
【0027】
番組データ部１０は、視聴履歴抽出部１１と番組ジャンル分類部１２を備えている。視聴履歴抽出部１１は、ユーザーが視聴した視聴履歴（視聴開始時間、視聴終了時間、番組名、番組のジャンル（以下、「番組ジャンル」ということもある。））をユーザー別に抽出する。番組ジャンル分類部１２は、ユーザー別に抽出された視聴履歴から、番組のジャンル別に１週間の合計視聴時間を算出する。
【0028】
ユーザーデータ部２０は、表情検出部２１と注視データ算出部２２を備えている。
表情検出部２１は、ユーザーの顔をカメラで撮影し、視聴時間内に認識された表情をユーザー別に算出する。注視データ算出部２２は、カメラで撮影したユーザーの目の向きに基づいて、視聴時間内にテレビに視線を向けた時間（注視時間）を算出する。
表情検出部２１は、ユーザーの顔をカメラで撮影し、視聴時間内に認識された表情をユーザー別に算出する。注視データ算出部２２は、カメラで撮影したユーザーの目の向きに基づいて、視聴時間内にテレビに視線を向けた時間（注視時間）を算出する。
【0029】
表情データ部３０は、表情データ分析部３１と表情データ更新部３２を備えている。
表情データ分析部３１は、番組データ部１０とユーザーデータ部２０で取得したデータを用いて、所定期間（例えば１週間）分の合計視聴時間、所定期間（１週間）の視聴時間内で認識された表情回数、及び所定期間（１週間）でテレビに目を向けた総注視時間を、ユーザー別、且つ番組のジャンル別に算出する。表情データ更新部３２は、所定期間（１週間）毎に上記のデータを更新し、ユーザーデータＤＢ７０に記憶する。なお、本実施形態では、特に断らない限り、所定期間として１週間を例示するが、所定期間は１週間に限られない。本システム利用者が、予め任意に設定してもよい。
表情データ分析部３１は、番組データ部１０とユーザーデータ部２０で取得したデータを用いて、所定期間（例えば１週間）分の合計視聴時間、所定期間（１週間）の視聴時間内で認識された表情回数、及び所定期間（１週間）でテレビに目を向けた総注視時間を、ユーザー別、且つ番組のジャンル別に算出する。表情データ更新部３２は、所定期間（１週間）毎に上記のデータを更新し、ユーザーデータＤＢ７０に記憶する。なお、本実施形態では、特に断らない限り、所定期間として１週間を例示するが、所定期間は１週間に限られない。本システム利用者が、予め任意に設定してもよい。
【0030】
動作頻度データ部４０は、番組興味度算出部４１と動作頻度決定部４２と動作頻度データ更新部４３とを備えている。
番組興味度算出部４１は、テレビを視聴している時のユーザーの表情回数の頻度（以下、「リアクション度」という。）、及び視聴時間内にテレビの方を向いていた時間割合（以下、「集中度」という。）を算出する。
動作頻度決定部４２は、番組興味度算出部４１にて算出されたリアクション度と集中度を用いて、ユーザー別に「感情を共有して楽しみたい番組ジャンル」、「集中して見たい番組ジャンル」、及び「興味度が低い番組ジャンル」を決定する。そして、番組ジャンル別に、ロボットの動作パターンと動作頻度を決定する。
動作頻度データ更新部４３は、ユーザー別、且つ番組ジャンル別に決定されたロボットの動作パターンと動作頻度を、動作頻度データＤＢ８０に記憶する。
番組興味度算出部４１は、テレビを視聴している時のユーザーの表情回数の頻度（以下、「リアクション度」という。）、及び視聴時間内にテレビの方を向いていた時間割合（以下、「集中度」という。）を算出する。
動作頻度決定部４２は、番組興味度算出部４１にて算出されたリアクション度と集中度を用いて、ユーザー別に「感情を共有して楽しみたい番組ジャンル」、「集中して見たい番組ジャンル」、及び「興味度が低い番組ジャンル」を決定する。そして、番組ジャンル別に、ロボットの動作パターンと動作頻度を決定する。
動作頻度データ更新部４３は、ユーザー別、且つ番組ジャンル別に決定されたロボットの動作パターンと動作頻度を、動作頻度データＤＢ８０に記憶する。
【0031】
ロボット動作通信部９０は、動作頻度データＤＢ８０に記憶された、ユーザー別、且つ番組ジャンル別に決定されたロボットの動作パターンと動作頻度を、ロボットの図示しない制御部に送信する。
以上、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について概観した。なお、図示しないが、別実施形態として、ロボット動作決定装置としての感情表現制御装置１００の備える機能部のうち、番組データ部１０、ユーザーデータ部２０、表情データ部３０、番組興味度算出部４１、ユーザーデータＤＢ（データベース）７０を含む構成を番組興味データ抽出装置（図示せず）として構成してもよい。
以上、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について概観した。なお、図示しないが、別実施形態として、ロボット動作決定装置としての感情表現制御装置１００の備える機能部のうち、番組データ部１０、ユーザーデータ部２０、表情データ部３０、番組興味度算出部４１、ユーザーデータＤＢ（データベース）７０を含む構成を番組興味データ抽出装置（図示せず）として構成してもよい。
【0032】
また、図示しないが、別実施形態として、感情表現制御装置１００の備える機能部のうち、番組データ部１０、ユーザーデータ部２０、表情データ部３０、及びユーザーデータＤＢ７０を含む構成を視聴状態観察装置（図示せず）とし、番組興味度算出部４１、動作頻度決定部４２、動作頻度データ更新部４３、動作頻度データＤＢ８０、及びロボット動作通信部９０を含む構成をロボット動作決定装置（図示せず）としてもよい。
本実施形態では、上述したように、ロボット動作決定装置としての感情表現制御装置１００について説明する。
次に、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について図を参照しながら、詳細に説明する。
本実施形態では、上述したように、ロボット動作決定装置としての感情表現制御装置１００について説明する。
次に、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について図を参照しながら、詳細に説明する。
【0033】
図２は、番組データ部１０の動作を説明する図である。
図２に示すように、視聴履歴抽出部１１は、テレビの電源がＯＮの状態で、カメラセンサーなどでユーザーがテレビの前にいることが認識できた場合に、ＥＰＧ（Electronic Program Guide）情報を取得してユーザーの視聴する番組名及び番組ジャンルを含む視聴履歴を抽出する。番組ジャンルの分類方法は、取得した視聴履歴から番組ジャンルの情報を抽出し、ジャンル大分類（0x0～0xF）のデータを基に番組ジャンルを分類する。
番組ジャンル分類部１２は、視聴履歴抽出部１１により取得した視聴履歴から番組ジャンル毎の情報を抽出し、番組ジャンル別にまとめて、番組ジャンル別合計視聴時間を算出する。
図２に示すように、視聴履歴抽出部１１は、テレビの電源がＯＮの状態で、カメラセンサーなどでユーザーがテレビの前にいることが認識できた場合に、ＥＰＧ（Electronic Program Guide）情報を取得してユーザーの視聴する番組名及び番組ジャンルを含む視聴履歴を抽出する。番組ジャンルの分類方法は、取得した視聴履歴から番組ジャンルの情報を抽出し、ジャンル大分類（0x0～0xF）のデータを基に番組ジャンルを分類する。
番組ジャンル分類部１２は、視聴履歴抽出部１１により取得した視聴履歴から番組ジャンル毎の情報を抽出し、番組ジャンル別にまとめて、番組ジャンル別合計視聴時間を算出する。
【0034】
図３は、ユーザーデータ部２０の動作を説明する図である。
本実施例の表情検出部２１では、ユーザーがテレビを視聴中の、ユーザーの表情の種別を喜び、怒り、驚き、悲しみの４種類とし、番組視聴中の表情の回数を算出する。表情を検出する方法は、テレビ付近に設置したカメラで撮影した映像を画像処理し、顔表情の種類を推定する顔表情認識技術を用いる。
注視データ算出部２２では、視聴時間内にテレビに視線を向けた時間（注視時間）を算出する。前記「視聴時間内」の定義は、「番組を視聴している内でユーザーがテレビの前にいる時間」とする。注視時間の検出方法は、赤外線カメラを用いて視線を検出し、検出された（テレビの方向に視線を向けた）時間を算出する。
本実施例の表情検出部２１では、ユーザーがテレビを視聴中の、ユーザーの表情の種別を喜び、怒り、驚き、悲しみの４種類とし、番組視聴中の表情の回数を算出する。表情を検出する方法は、テレビ付近に設置したカメラで撮影した映像を画像処理し、顔表情の種類を推定する顔表情認識技術を用いる。
注視データ算出部２２では、視聴時間内にテレビに視線を向けた時間（注視時間）を算出する。前記「視聴時間内」の定義は、「番組を視聴している内でユーザーがテレビの前にいる時間」とする。注視時間の検出方法は、赤外線カメラを用いて視線を検出し、検出された（テレビの方向に視線を向けた）時間を算出する。
【0035】
図４は、表情データ部３０の動作を説明する図である。
表情データ分析部３１は、表情検出部２１により算出された所定期間（例えば１週間）におけるユーザーの番組視聴中の喜びの回数、怒りの回数、驚きの回数、及び悲しみの合計回数を表情回数（「総表情回数」ともいう）として算出する。また、表情データ分析部３１は、注視データ算出部２２により算出されたデータに基づいて、ユーザー別に、番組ジャンル別に、１週間分の合計視聴時間、１週間の視聴時間内で認識された表情回数、及び１週間でテレビに目を向けた合計注視時間（以下「総注視時間」ともいう）を算出する。
表情データ分析部３１は、表情検出部２１により算出された所定期間（例えば１週間）におけるユーザーの番組視聴中の喜びの回数、怒りの回数、驚きの回数、及び悲しみの合計回数を表情回数（「総表情回数」ともいう）として算出する。また、表情データ分析部３１は、注視データ算出部２２により算出されたデータに基づいて、ユーザー別に、番組ジャンル別に、１週間分の合計視聴時間、１週間の視聴時間内で認識された表情回数、及び１週間でテレビに目を向けた合計注視時間（以下「総注視時間」ともいう）を算出する。
【0036】
ただし、１週間分の合計視聴時間が閾値（６０分）以下の番組ジャンル（図４では0x2）は除く。なお、閾値の６０分(＝１時間)は後述する単位時間と関係する。本発明では、番組ジャンル毎に、合計視聴時間の単位時間当たりの表情回数を算出することで、リアクション度を算出している。このため、合計視聴時間が単位時間（１時間）未満の番組ジャンルは、リアクション度の算出の対象外とする。なお、本実施形態では、特に断らない限り、閾値として６０分（１時間）を例示するが、閾値は６０分に限られない。本システム利用者が任意に設定してもよい。
表情データ更新部３２は、表情データ分析部３１により１週間毎にユーザー別に集計されたデータに基づいて、ユーザーデータＤＢ７０を更新する。
表情データ更新部３２は、表情データ分析部３１により１週間毎にユーザー別に集計されたデータに基づいて、ユーザーデータＤＢ７０を更新する。
【0037】
図５は、番組興味度算出部４１の動作を説明する図である。
図５に示すように、番組興味度算出部４１は、表情データ分析部３１により算出されたデータに基づいて、ユーザー別、且つ番組ジャンル別の１時間当たりの表情回数ｘを算出し、ｘの全番組ジャンルを通じての平均値μを算出する。番組興味度算出部４１は、算出された各番組ジャンルの１時間当たりの表情回数ｘ、及びテレビ視聴時の１時間当たりの表情回数の平均値μを基に、標準偏差σを算出する。
また、番組興味度算出部４１は、各番組ジャンルの総注視時間ａを合計視聴時間ｎで割った値（時間割合）ｚを算出し、ｚの値に基づいて、各番組ジャンルに対するユーザーの集中度を算出する。以上により、番組興味度算出部４１は、ユーザー別に、番組ジャンル毎の当該ユーザーのテレビ視聴時のリアクション度（合計視聴時間の単位時間当たりの表情回数ｘ）と集中度ｚを算出する。
図５に示すように、番組興味度算出部４１は、表情データ分析部３１により算出されたデータに基づいて、ユーザー別、且つ番組ジャンル別の１時間当たりの表情回数ｘを算出し、ｘの全番組ジャンルを通じての平均値μを算出する。番組興味度算出部４１は、算出された各番組ジャンルの１時間当たりの表情回数ｘ、及びテレビ視聴時の１時間当たりの表情回数の平均値μを基に、標準偏差σを算出する。
また、番組興味度算出部４１は、各番組ジャンルの総注視時間ａを合計視聴時間ｎで割った値（時間割合）ｚを算出し、ｚの値に基づいて、各番組ジャンルに対するユーザーの集中度を算出する。以上により、番組興味度算出部４１は、ユーザー別に、番組ジャンル毎の当該ユーザーのテレビ視聴時のリアクション度（合計視聴時間の単位時間当たりの表情回数ｘ）と集中度ｚを算出する。
【0038】
図６は、動作頻度決定部４２の動作を説明する図である。
動作頻度決定部４２では、番組興味度算出部４１にて算出されたリアクション度と集中度を用いて、ユーザー別に「感情を共有して楽しみたい番組ジャンル」、「集中して見たい番組ジャンル」、及び「興味度が低い番組ジャンル」を決定する。
動作頻度決定部４２では、各番組ジャンルの１時間当たりの表情回数ｘに基づいて、リアクション度の度合いを４段階に分類し、ロボットの動作パターンと動作頻度を決定する。
動作頻度決定部４２では、番組興味度算出部４１にて算出されたリアクション度と集中度を用いて、ユーザー別に「感情を共有して楽しみたい番組ジャンル」、「集中して見たい番組ジャンル」、及び「興味度が低い番組ジャンル」を決定する。
動作頻度決定部４２では、各番組ジャンルの１時間当たりの表情回数ｘに基づいて、リアクション度の度合いを４段階に分類し、ロボットの動作パターンと動作頻度を決定する。
【0039】
具体的には、図６に示すように、番組ジャンルの１時間当たりの表情回数ｘについて
μ＋σ≦ｘ≦μ＋２σの場合、当該番組ジャンルに対するリアクション度を４、
μ≦ｘ＜μ＋σの場合、当該番組ジャンルに対するリアクション度を３、
μ－σ≦ｘ＜μの場合、当該番組ジャンルに対するリアクション度を２、
μ－２σ≦ｘ＜μ－σの場合、当該番組ジャンルに対するリアクション度を１
とする。
なお、μ＋２σ＜ｘの場合の当該番組ジャンルに対するリアクション度を４プラス、
ｘ＜μ－２σの場合、当該番組ジャンルに対するリアクション度を１マイナスとしてもよい。
なお、番組ジャンルに対するリアクション度を４段階に分類する例を示したが、４段階に限られない。平均値μ及び標準偏差σに基づいて、リアクション度を何段階に設定するか、については、当該システムの利用者が予め設定するようにしてもよい。
μ＋σ≦ｘ≦μ＋２σの場合、当該番組ジャンルに対するリアクション度を４、
μ≦ｘ＜μ＋σの場合、当該番組ジャンルに対するリアクション度を３、
μ－σ≦ｘ＜μの場合、当該番組ジャンルに対するリアクション度を２、
μ－２σ≦ｘ＜μ－σの場合、当該番組ジャンルに対するリアクション度を１
とする。
なお、μ＋２σ＜ｘの場合の当該番組ジャンルに対するリアクション度を４プラス、
ｘ＜μ－２σの場合、当該番組ジャンルに対するリアクション度を１マイナスとしてもよい。
なお、番組ジャンルに対するリアクション度を４段階に分類する例を示したが、４段階に限られない。平均値μ及び標準偏差σに基づいて、リアクション度を何段階に設定するか、については、当該システムの利用者が予め設定するようにしてもよい。
【0040】
また、動作頻度決定部４２では、番組興味度算出部４１で算出された集中度ｚは５０％を基準に、視聴割合が５０％以上（半分以上の時間、テレビに目を向けている）の番組ジャンルを「集中度の高い番組ジャンル」、視聴割合が５０％未満の番組ジャンルを「集中度の低い番組ジャンル」とし、２つに分類する。なお、番組ジャンルに対する集中度を２段階に分類する例を示したが、２段階に限られない。当該システムの利用者が予め設定するようにしてもよい。
【0041】
図７は、ユーザーが興味のある番組ジャンルを発見する方法を説明する図である。
前記のリアクション度の度数と集中度の度数を基に、ユーザーが興味のある、又は興味のない番組ジャンルを決定する。リアクション度（高）で集中度（高）の場合は、興味があり、感情を他の人と共有して楽しみたい番組ジャンルである。一般的には、音楽番組やバラエティ番組が、該当すると考えられる。また、リアクション度（低）で集中度（高）の場合は、興味があり、集中して見たい番組ジャンルと設定する。一般的には、ストーリーに入り込み登場人物の立場になって見てしまうドラマや映画が該当すると考えられる。そして、集中度（低）の場合は、「興味のない番組ジャンル」と設定する。一般的には、テーマがどんどん変わっていくニュースや報道番組や、盛り上がる場面のないスポーツ番組などが該当すると考えられる。
もちろん、図７に示した配置は一例に過ぎない。囲碁や将棋の好きなユーザーの場合は、「趣味」の番組ジャンルが図７の右端に位置するかもしれない。
前記のリアクション度の度数と集中度の度数を基に、ユーザーが興味のある、又は興味のない番組ジャンルを決定する。リアクション度（高）で集中度（高）の場合は、興味があり、感情を他の人と共有して楽しみたい番組ジャンルである。一般的には、音楽番組やバラエティ番組が、該当すると考えられる。また、リアクション度（低）で集中度（高）の場合は、興味があり、集中して見たい番組ジャンルと設定する。一般的には、ストーリーに入り込み登場人物の立場になって見てしまうドラマや映画が該当すると考えられる。そして、集中度（低）の場合は、「興味のない番組ジャンル」と設定する。一般的には、テーマがどんどん変わっていくニュースや報道番組や、盛り上がる場面のないスポーツ番組などが該当すると考えられる。
もちろん、図７に示した配置は一例に過ぎない。囲碁や将棋の好きなユーザーの場合は、「趣味」の番組ジャンルが図７の右端に位置するかもしれない。
【0042】
図８は、動作頻度決定部４２によりユーザーデータを基にロボットの動作を決定する方法を示した図である。
動作頻度決定部４２は、前記の番組ジャンルの興味度を示したユーザーデータを基に、ロボットの動作パターンと動作頻度を決定する。
動作頻度データ更新部４３は、ユーザー別に動作頻度決定部４２により決定された、番組ジャンル毎の動作パターン及び動作頻度に係るデータを動作頻度データＤＢ８０に追加更新する。
動作頻度決定部４２は、前記の番組ジャンルの興味度を示したユーザーデータを基に、ロボットの動作パターンと動作頻度を決定する。
動作頻度データ更新部４３は、ユーザー別に動作頻度決定部４２により決定された、番組ジャンル毎の動作パターン及び動作頻度に係るデータを動作頻度データＤＢ８０に追加更新する。
【0043】
また、ロボット動作通信部９０は、動作頻度決定部４２により決定されたロボットの動作パターン及び動作頻度を、ロボット制御部（図示せず）に送信する。そうすることで、ロボット（図示せず）は、ユーザーが、任意の番組ジャンルを視聴している場合に、テレビ視聴時のユーザーのＴＰＯに合わせた動作パターン及び動作頻度に基づいて、ロボットを動作制御させることができる。例えば、リアクション度が高い（４段階評価で４）番組ジャンルを視聴した場合は、ユーザーの表情回数に合わせてロボットが感情動作や発話動作を行い、ユーザーと一緒に番組を楽しむ動作を実施する。具体的な動作例としては、笑いなどの感情動作や共感応答などの発話動作を行う。
【0044】
また、リアクション度が比較的高い（４段階評価で３）番組ジャンル、又はリアクション度が比較的低い（４段階評価で２）番組ジャンルを視聴した場合は、ロボットは、番組に関連した発話動作を行い、番組により興味を持ってもらえるような発話動作を実施する。具体的な動作例としては、テレビの情報から抽出されたキーワードを基に発話を生成し、ユーザーと対話する動作を行う。
【0045】
リアクション度が低い（４段階評価で１）番組ジャンルを視聴した場合は、ロボットが楽しそうに番組を見ているような感情動作を行うことで、ユーザーにテレビに目を向けてもらう、又は興味を持ってもらう機会を与える。具体的な動作例としては、ロボット自身が楽しそうに番組を視聴しているような喜びなどの感情動作を行う。
以上、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について説明した。なお、前述したように、番組データ部１０、ユーザーデータ部２０、表情データ部３０、番組興味度算出部４１、ユーザーデータＤＢ（データベース）７０を含む構成を番組興味データ抽出装置（図示せず）として構成するようにしてもよい。
以上、ロボット動作決定装置としての感情表現制御装置１００の備える機能部について説明した。なお、前述したように、番組データ部１０、ユーザーデータ部２０、表情データ部３０、番組興味度算出部４１、ユーザーデータＤＢ（データベース）７０を含む構成を番組興味データ抽出装置（図示せず）として構成するようにしてもよい。
【0046】
図９は、本発明の一実施形態のシステム全体のフローチャートである。また、図１０は、ユーザーの興味番組を発見し、ロボットの動作パターンと動作頻度を決定するまでのフローチャートである。
図９のステップＳ９０５とＳ９０６は、動作頻度データ部４０が実行し、図１０のステップＳ１００１からＳ１００６までに相当する。図１０のステップＳ１００４とＳ１００５は、動作頻度決定部４２が実行する。
図９のステップＳ９０５とＳ９０６は、動作頻度データ部４０が実行し、図１０のステップＳ１００１からＳ１００６までに相当する。図１０のステップＳ１００４とＳ１００５は、動作頻度決定部４２が実行する。
【0047】
図９に示すように、ステップＳ９０１において、番組データ部１０は、ユーザーの視聴したテレビ番組の履歴から、所定期間（１週間）において、番組ジャンル毎に当該番組ジャンルに属する全ての番組の視聴時間の合計値（合計視聴時間）を算出して取得する。
【0048】
ステップＳ９０２において、ユーザーデータ部２０の表情検出部２１は、テレビ視聴中に、ユーザーの顔に表れた喜びの回数、怒りの回数、驚きの回数、及び悲しみの回数を、番組ジャンルととともに記録する。
また、ステップＳ９０２において、ユーザーデータ部２０の注視データ算出部２２は、テレビ視聴中に、ユーザーが視線をテレビに向けた時間を注視時間として番組ジャンルととともに記録する。
また、ステップＳ９０２において、ユーザーデータ部２０の注視データ算出部２２は、テレビ視聴中に、ユーザーが視線をテレビに向けた時間を注視時間として番組ジャンルととともに記録する。
【0049】
ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、表情検出部２１が記録したユーザーの顔に表れた喜びの回数、怒りの回数、驚きの回数、及び悲しみの回数を合計する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、合計された表情回数を、所定期間（１週間）分、番組ジャンル別に集計する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、注視データ算出部２２が算出した注視時間を、番組ジャンル別に所定期間（１週間）分、集計して、総注視時間を算出する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、集計済みの表情回数、総注視時間、及び番組データ部１０が取得した所定期間（１週間）分の合計視聴時間をまとめて、番組ジャンル別の表を作成する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、合計された表情回数を、所定期間（１週間）分、番組ジャンル別に集計する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、注視データ算出部２２が算出した注視時間を、番組ジャンル別に所定期間（１週間）分、集計して、総注視時間を算出する。
また、ステップＳ９０３において、表情データ部３０の表情データ分析部３１は、集計済みの表情回数、総注視時間、及び番組データ部１０が取得した所定期間（１週間）分の合計視聴時間をまとめて、番組ジャンル別の表を作成する。
【0050】
ステップＳ９０４において、表情データ部３０の表情データ更新部３２は、表情データ分析部３１により所定期間（１週間）毎にユーザー別、且つ番組ジャンル別に集計されたデータを、ユーザーデータＤＢ７０に追加することによりユーザーデータＤＢ７０を更新する。
【0051】
ステップＳ９０５において、動作頻度データ部４０は、ユーザーデータＤＢ７０に蓄積された、所定期間（１週間）分の番組ジャンル別に集計された表情回数、総注視時間、及び合計視聴時間に基づいて、ロボットの動作パターンと動作頻度を算出する。
【0052】
ステップＳ９０６において、動作頻度データ部４０の動作頻度データ更新部４３は、ステップＳ９０５において算出されたロボットの動作パターンと動作頻度を動作頻度データＤＢ８０に記憶する。
【0053】
ステップＳ９０７において、ロボット動作通信部９０は、動作頻度データＤＢ８０に記憶したロボットの動作パターンと動作頻度を、ロボットの図示しない制御部に送信する。
以上、本発明の一実施形態のシステム全体の処理フローについて説明した。
以上、本発明の一実施形態のシステム全体の処理フローについて説明した。
【0054】
図１０に示すように、ステップＳ１００１において、動作頻度データ部４０の番組興味度算出部４１は、ユーザーデータＤＢ７０から、ユーザー別の１週間分の各番組ジャンルの合計視聴時間、表情回数、及び総注視時間を取得する。
【0055】
ステップＳ１００２において、動作頻度データ部４０の番組興味度算出部４１は、合計視聴時間と表情回数に基づいて、１時間当たりの表情回数ｘを求め、その平均値μと標準偏差σに基づいて、番組ジャンル別のテレビ視聴時の表情回数の頻度（リアクション度）を算出する。
【0056】
ステップＳ１００３において、動作頻度データ部４０の番組興味度算出部４１は、合計視聴時間と総注視時間に基づいて、番組ジャンル別のテレビ視聴時にテレビの方に視線を向けている時間割合（集中度）を算出する。
【0057】
ステップＳ１００４において、動作頻度データ部４０の番組興味度算出部４１は、リアクション度と集中度を基に、ユーザー別に、興味があって楽しみたい番組ジャンル、興味があって集中して見たい番組ジャンル、及び興味のない番組ジャンルを決定する。
【0058】
ステップＳ１００５において、動作頻度データ部４０の動作頻度決定部４２は、ユーザー別に決定された、興味があって楽しみたい番組ジャンル、興味があって集中して見たい番組ジャンル、及び興味のない番組ジャンルに基づいて、ロボットの動作パターンと動作頻度を決定する。
【0059】
ステップＳ１００６において、動作頻度データ部４０の動作頻度データ更新部４３は、ステップＳ１００５において決定されたロボットの動作パターンと動作頻度のデータを、動作頻度データＤＢ８０に追加することにより動作頻度データＤＢ８０を更新する。
以上、ユーザーデータＤＢ７０に基づいて、ユーザーの番組ジャンル別の動作頻度データＤＢ８０を追加更新する処理フローについて説明した。
以上、ユーザーデータＤＢ７０に基づいて、ユーザーの番組ジャンル別の動作頻度データＤＢ８０を追加更新する処理フローについて説明した。
【0060】
［変形例１］
本発明の実施形態では、ユーザーが単独でテレビを視聴している場合を想定したが、複数人のユーザーが一緒に同じ番組を視聴している場合にも適用できる。
テレビ視聴時に複数人いた場合は、ユーザー別でなく、グル－プ別に興味のある、又は興味のない番組ジャンルを抽出し、ロボットの動作パターンと動作頻度を決定することも可能である。
すなわち、テレビを視聴している各ユーザーの表情回数と総注視時間を検出し、リアクション度と集中度の各々について合計して平均を求め、ロボットの動作を決定する。又は、グループ内に現在視聴中の番組に興味のあるユーザーと興味のないユーザーとがいた場合には、番組に興味のあるユーザーに合わせて動作をする手法、或いは番組に興味のないユーザーに向けて番組に関連した発話をすることで、興味を持ってもらう機会（より多くの人に番組に興味を持ってもらい、テレビの視聴環境を盛り上げる効果）を与えるなどの手法がある。
本発明の実施形態では、ユーザーが単独でテレビを視聴している場合を想定したが、複数人のユーザーが一緒に同じ番組を視聴している場合にも適用できる。
テレビ視聴時に複数人いた場合は、ユーザー別でなく、グル－プ別に興味のある、又は興味のない番組ジャンルを抽出し、ロボットの動作パターンと動作頻度を決定することも可能である。
すなわち、テレビを視聴している各ユーザーの表情回数と総注視時間を検出し、リアクション度と集中度の各々について合計して平均を求め、ロボットの動作を決定する。又は、グループ内に現在視聴中の番組に興味のあるユーザーと興味のないユーザーとがいた場合には、番組に興味のあるユーザーに合わせて動作をする手法、或いは番組に興味のないユーザーに向けて番組に関連した発話をすることで、興味を持ってもらう機会（より多くの人に番組に興味を持ってもらい、テレビの視聴環境を盛り上げる効果）を与えるなどの手法がある。
【0061】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。本実施形態では、ロボット動作決定装置としての感情表現制御装置１００がロボット（図示せず）と通信可能に接続される構成を説明したが、前述したように、番組興味データ抽出装置を備えるようにしてもよい。
また、前述したように、番組データ部１０、ユーザーデータ部２０、表情データ部３０、及びユーザーデータＤＢ７０を含む構成を視聴状態観察装置（図示せず）とし、番組興味度算出部４１、動作頻度決定部４２、動作頻度データ更新部４３、動作頻度データＤＢ８０、及びロボット動作通信部９０を含む構成をロボット動作決定装置（図示せず）とするシステム構成にしてもよい。
また、前述したように、番組データ部１０、ユーザーデータ部２０、表情データ部３０、及びユーザーデータＤＢ７０を含む構成を視聴状態観察装置（図示せず）とし、番組興味度算出部４１、動作頻度決定部４２、動作頻度データ更新部４３、動作頻度データＤＢ８０、及びロボット動作通信部９０を含む構成をロボット動作決定装置（図示せず）とするシステム構成にしてもよい。
【0062】
また、ロボット動作決定装置としての感情表現制御装置１００をロボット（図示せず）が備えるようにしてもよい。また、番組興味データ抽出装置及びロボット動作決定装置をそれぞれ１つの装置としてもよい。また、感情表現制御装置１００の備える機能部を分散システムとして構成してもよい。例えば、感情表現制御装置１００の備えるいくつかの機能部を例えばクラウドサーバ上で実現するようにしてもよい。
また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
【0063】
本実施形態では、主に感情表現制御装置１００の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、ロボットに感情を表現させるための方法、又はプログラムとして構成されてもよい。
【0064】
さらに、感情表現制御装置１００の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【0065】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【0066】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0067】
１００ 感情表現制御装置
２００ テレビ
３００ ユーザー
１０ 番組データ部
１１ 視聴履歴抽出部
１２ 番組ジャンル分類部
２０ ユーザーデータ部
２１ 表情検出部
２２ 注視データ算出部
３０ 表情データ部
３１ 表情データ分析部
３２ 表情データ更新部
４０ 動作頻度データ部
４１ 番組興味度算出部
４２ 動作頻度決定部
４３ 動作頻度データ更新部
７０ ユーザーデータＤＢ
８０ 動作頻度データＤＢ
９０ ロボット動作通信部
２００ テレビ
３００ ユーザー
１０ 番組データ部
１１ 視聴履歴抽出部
１２ 番組ジャンル分類部
２０ ユーザーデータ部
２１ 表情検出部
２２ 注視データ算出部
３０ 表情データ部
３１ 表情データ分析部
３２ 表情データ更新部
４０ 動作頻度データ部
４１ 番組興味度算出部
４２ 動作頻度決定部
４３ 動作頻度データ更新部
７０ ユーザーデータＤＢ
８０ 動作頻度データＤＢ
９０ ロボット動作通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】