特許 6482037 制御装置、制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6482037

(24)【登録日】2019年2月22日

(45)【発行日】2019年3月13日

(54)【発明の名称】制御装置、制御方法及び制御プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20190304BHJP

   G10L 15/10 20060101ALI20190304BHJP

   G06T 7/00 20170101ALI20190304BHJP

   G06T 7/20 20170101ALI20190304BHJP

   G10L 25/66 20130101ALI20190304BHJP

   A63H 11/00 20060101ALN20190304BHJP

【ＦＩ】

   A61B5/16 110

   G10L15/10 500N

   G06T7/00 660A

   G06T7/20 300B

   G10L25/66

   !A63H11/00 Z

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2017-19766(P2017-19766)

(22)【出願日】2017年2月6日

(65)【公開番号】特開2018-126209(P2018-126209A)

(43)【公開日】2018年8月16日

【審査請求日】2017年9月25日

(73)【特許権者】

【識別番号】515064009

【氏名又は名称】ソフトバンクロボティクス株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100161089

【弁理士】

【氏名又は名称】萩原 良一

(74)【代理人】

【識別番号】100196829

【弁理士】

【氏名又は名称】中澤 言一

(72)【発明者】

【氏名】石川 大輔

(72)【発明者】

【氏名】鈴木 雅也

(72)【発明者】

【氏名】串田 実

(72)【発明者】

【氏名】柴原 伸泰

【審査官】 遠藤 直恵

(56)【参考文献】

【文献】 特開２０１１−１６７３２３（ＪＰ，Ａ）

【文献】 特開２０１２−２４９７９７（ＪＰ，Ａ）

【文献】 特開２００７−１２９３１２（ＪＰ，Ａ）

【文献】 特開２０１３−０８６２２６（ＪＰ，Ａ）

【文献】 特開２００３−１０８６７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６−５／２２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ１０Ｌ １５／１０

Ｇ１０Ｌ ２５／６６

Ａ６３Ｈ １１／００

(57)【特許請求の範囲】

【請求項1】

撮影装置、音声入力装置及び出力装置と接続し、ユーザのストレスの度合いを示すストレス度を判定する制御装置であって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶する記憶部と、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得する情報取得部と、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定する判定部と、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、前記判定部が判定した前記現在のストレス度のみに対応する出力データを選択し、
前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、前記判定部が判定した前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択する、選択部と、
前記選択部によって選択された前記出力データを、前記出力装置に出力する出力処理部と、
を有することを特徴とする制御装置。

【請求項2】

前記判定部は、
前記ユーザの顔画像データに基づいて表情パラメータを判定し、
前記ユーザの入力音声データに基づいて感情パラメータ及びテンションパラメータを判定し、
判定した前記表情パラメータ、感情パラメータ及び前記テンションパラメータに基づいて前記ユーザの現在のストレス度を判定する、請求項１に記載の制御装置。

【請求項3】

前記出力装置は、胴部、前記胴部と首部アクチュエータを介して接続する頭部、前記胴部と肩部アクチュエータを介して接続し且つ肘部アクチュエータを有する腕部とを少なくとも備え、
前記胴部は、前記首部アクチュエータ、前記肩部アクチュエータ及び前記肘部アクチュエータを駆動制御する制御部を有し、
前記出力処理部は、前記選択部によって選択された前記ユーザのストレスを解消するための一連のヒーリング動作を前記出力装置に行わせるための、前記首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータの駆動命令を出力データとして前記出力装置の前記制御部に出力する、請求項１又は２に記載の制御装置。

【請求項4】

前記出力装置は、音声出力部及び表示部を備え、
前記記憶部は、前記ユーザのストレス度に応じたアドバイスを示すアドバイス音声データ又はアドバイス文字データを出力データとして記憶し、
前記出力処理部は、前記選択部によって選択された前記ユーザの現在のストレス度に応じたアドバイス音声データ又はアドバイス文字データを出力する、請求項１〜３のいずれか一項に記載の制御装置。

【請求項5】

前記出力処理部は、前記選択部によって選択された前記ユーザのストレス度を解消するための一連のヒーリング動作を行うキャラクタ画像を前記表示部に表示させる、請求項４に記載の制御装置。

【請求項6】

前記出力処理部は、前記ユーザ履歴データを前記表示部に表示させる、請求項４又は５に記載の制御装置。

【請求項7】

撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定する制御装置の制御方法であって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を前記記憶部に記憶し、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得し、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定し、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、判定された前記現在のストレス度のみに対応する出力データを選択し、前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、判定された前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択し、
選択された前記出力データを、前記出力装置に出力する、
こと含むことを特徴とする制御方法。

【請求項8】

撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定するコンピュータの制御プログラムであって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を前記記憶部に記憶し、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得し、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定し、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、判定された前記現在のストレス度のみに対応する出力データを選択し、前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、判定された前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択し、
選択された前記出力データを、前記出力装置に出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御方法及び制御プログラムに関する。

【背景技術】

【0002】

従来から、ユーザは、人形又は縫いぐるみ等と遊ぶことによって、楽しんだり癒されたりしていた。このような人形等には、モータ等の駆動装置が備えられ、駆動装置の駆動に応じて自動的に動作するものがあり、ユーザは、自動的に動作する人形等を見て楽しむことができる。近年では、ユーザの音声情報を取得するマイクロフォンを備え、取得したユーザの音声情報に応じた音声を出力する対話ロボットが知られている。

【0003】

例えば、特許文献１には、入力音声に対応付けられた応答情報を予め記憶し、ユーザからの入力音声を認識し、認識した入力音声に対応する応答情報を出力する対話ロボットが記載されている。この対話ロボットは、ユーザの生活情報（起床時刻等）を記憶し、ユーザからの入力音声に対応する応答情報とともに、生活情報に応じた応答情報（天気又はニュースの情報等）を出力する。この対話ロボットによって、複数の情報をスムーズに音声出力でき、ユーザは、ストレスを与えられることなく快適な生活環境が提供される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−７１２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ユーザがストレスを有しているような場合では、従来のロボットによる応答がユーザにとって不快になることがあった。また、同じレベルのストレスを有するユーザでも、ストレスの継続状況に応じて不快になる応答が変わる場合があった。

【0006】

本発明は、このような従来の課題を解決すべくなされたものであり、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる制御装置、制御方法及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る制御装置は、撮影装置、音声入力装置及び出力装置と接続し、ユーザのストレスの度合いを示すストレス度を判定する制御装置であって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶する記憶部と、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得する情報取得部と、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定する判定部と、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定部が判定した現在のストレス度及び取得した過去のストレス度に対応した出力データを選択する選択部と、選択部によって選択された出力データを、出力装置に出力する出力処理部と、を有する。

【0008】

また、本発明に係る制御装置において、判定部は、ユーザの顔画像データに基づいて表情パラメータを判定し、ユーザの入力音声データに基づいて感情パラメータ及びテンションパラメータを判定し、判定した表情パラメータ、感情パラメータ及びテンションパラメータに基づいてユーザの現在のストレス度を判定することが好ましい。

【0009】

また、本発明に係る制御装置において、出力装置は、胴部、胴部と首部アクチュエータを介して接続する頭部、胴部と肩部アクチュエータを介して接続し且つ肘部アクチュエータを有する腕部とを少なくとも備え、胴部は、首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータを駆動制御する制御部を有し、出力処理部は、選択部によって選択されたユーザのストレスを解消するための一連のヒーリング動作を出力装置に行わせるための、首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータの駆動命令を出力データとして出力装置の制御部に出力することが好ましい。

【0010】

また、本発明に係る制御装置において、出力装置は、音声出力部及び表示部を備え、記憶部は、ユーザのストレス度に応じたアドバイスを示すアドバイス音声データ又はアドバイス文字データを出力データとして記憶し、出力処理部は、選択部によって選択されたユーザの現在のストレス度に応じたアドバイス音声データ又はアドバイス文字データを出力することが好ましい。

【0011】

また、本発明に係る制御装置において、出力処理部は、選択部によって選択されたユーザのストレス度を解消するための一連のヒーリング動作を行うキャラクタ画像を表示部に表示させることが好ましい。

【0012】

また、本発明に係る制御装置において、出力処理部は、ユーザ履歴データを表示部に表示させることが好ましい。

【0013】

本発明に係る制御方法は、撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定する制御装置の制御方法であって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶部に記憶し、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得し、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定し、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定された現在のストレス度及び取得した過去のストレス度に対応した出力データを選択し、選択された出力データを、出力装置に出力する、こと含む。

【0014】

本発明に係る制御プログラムは、撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定するコンピュータの制御プログラムであって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶部に記憶し、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得し、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定し、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定された現在のストレス度及び取得した過去のストレス度に対応した出力データを選択し、選択された出力データを、出力装置に出力する、ことをコンピュータに実行させる。

【発明の効果】

【0015】

本発明に係る制御装置、制御方法及び制御プログラムによって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。

【図面の簡単な説明】

【0016】

【図1】ロボットシステムの概略を説明するための模式図である。

【図2】ロボットシステム１の概略構成の一例を示す図である。

【図3】制御装置２の概略構成の一例を示す図である。

【図4】ロボット３の概略構成の一例を示す図である。

【図5】（ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。

【図6】（ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。

【図7】（ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。

【図8】（ａ）は、表情パラメータテーブルＴ１のデータ構造の一例を示す図であり、（ｂ）は、感情パラメータテーブルＴ２のデータ構造の一例を示す図であり、（ｃ）は、テンションパラメータテーブルＴ３のデータ構造の一例を示す図である。

【図9】ストレステーブルＴ４のデータ構造の一例を示す図である。

【図10】対応出力テーブルＴ５のデータ構造の一例を示す図である。

【図11】ユーザ履歴テーブルＴ６のデータ構造の一例を示す図である。

【図12】制御装置２によって実行される情報出力処理の動作フローの一例を示す図である。

【図13】制御装置２によって実行されるストレス度の判定処理の動作フローの一例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0018】

（ロボットシステムの概要）
本実施形態のロボットシステムは、制御装置及びロボットを有する。制御装置は、タブレット端末又はタブレットＰＣ（Personal Computer）等を想定するが、後述する各処理が実行可能であれば、どのような情報処理装置であってもよい。ロボットは、予め定められた動作を行うことが可能な頭部及び腕部等を備えるとともに、２Ｄ（2 dimensions）カメラ等の撮影装置、マイクロフォン等の音声入力装置及びスピーカ等の音声出力装置等を備える。

【0019】

制御装置は、有線又は無線の通信ネットワークを介してロボットと接続することにより、撮影装置及び音声入力装置からの情報を取得し、取得した情報に基づく出力データをロボットに出力する。ロボットは、制御装置からの出力データに従った動作、又は、画像出力若しくは音声出力等を行う。なお、出力データは、例えば、ロボットに一連の動作を行わせるための駆動命令、又は、ユーザに所定の動作を促すための画像データ若しくは音声データ等である。

【0020】

図１は、本実施形態のロボットシステムの概略を説明するための模式図である。以下、制御装置によって実行される情報出力処理について、図１を参照して説明する。

【0021】

まず、制御装置は、ユーザに対して、ユーザの顔がロボットの撮影装置の視野範囲内に位置するように促すための音声データを、ロボットの音声出力装置を介して出力する。次に、制御装置は、ユーザの顔が撮影装置の視野範囲内に位置したことを判定すると、撮影装置によって撮影されたユーザの顔画像データを取得する。次に、制御装置は、ユーザの音声の入力を促すための音声データを、ロボットの音声出力装置に出力させる。ロボットの音声入力装置にユーザの音声が入力された場合、制御装置は当該入力音声データを取得する。

【0022】

次に、制御装置は、取得したユーザの顔画像データ及び入力音声データに基づいてユーザのストレス度を判定する。ストレス度は、人間のストレスの度合いを示す情報であり、制御装置によって予め記憶されている。以下、ストレス度の判定処理の一例の概略について説明する。

【0023】

まず、制御装置は、公知の表情認識処理を実行し、取得したユーザの顔画像データに対応する顔の表情属性（「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等）を特定する。また、制御装置は、公知の声認識処理を実行し、取得したユーザの入力音声データに対応する声の感情属性（「穏やか」、「怒り」、「喜び」及び「悲しみ」等）を特定する。

【0024】

次に、制御装置は、特定したユーザの表情属性及び感情属性に対応するストレス度を判定する（図１の（１））。例えば、制御装置は、表情属性である「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等のそれぞれと、感情属性である「穏やか」、「怒り」、「喜び」及び「悲しみ」等のそれぞれとに、ストレス度（「強いストレス」、「ややストレス」等）を対応付けて記憶する。制御装置は、特定したユーザの表情属性及び感情属性に対応付けられたストレス度を判定する。以上により、ストレス度の判定処理は終了する。なお、公知の声認識処理が実行されることで特定される感情の高まりを示すテンション属性（「低い」、「高い」等）が、ストレス度に対応付けられてもよい。この場合、制御装置は、特定したユーザの表情属性及び感情属性とともに、特定したテンション属性に基づいてストレス度を判定する。

【0025】

次に、制御装置は、判定したユーザのストレス度及び判定を実施した実施日を、ユーザ履歴テーブルに記憶する（図１の（２））。以下、制御装置が今回判定したストレス度を、現在のストレス度と称する場合がある。なお、ユーザ履歴テーブルは、ユーザ履歴データの一例である。

【0026】

次に、制御装置は、現在のストレス度より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されているか否かを判定する。制御装置は、現在の実施日より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されていないと判定した場合、ユーザの現在のストレス度に対応付けられた出力データを選択する。また、制御装置は、今回の実施日より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されていると判定した場合、ユーザの現在のストレス度及びユーザの過去のストレス度の両方に対応付けられた出力データを選択する（図１の（３））。

【0027】

そして、制御装置は、選択された出力データをロボットに出力し（図１の（４））、ロボットは、出力データに従った一連の動作を行う（図１の（５））。なお、ロボットは出力装置の一例である。

【0028】

上述のとおり、ロボットシステムの制御装置は、ユーザに対して、当該ユーザにおける現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを出力することができる。したがって、ロボットシステムの制御装置によって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。

【0029】

なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明及び本明細書の開示範囲に含まれる。

【0030】

（ロボットシステム１の概略構成）
図２は、ロボットシステム１の概略構成の一例を示す図である。ロボットシステム１は、制御装置２と、ロボット３とを有する。制御装置２とロボット３とは、有線又は無線による通信ネットワークを介して相互に接続される。

【0031】

（制御装置２）
図３は、制御装置２の概略構成の一例を示す図である。

【0032】

制御装置２は、ユーザのストレス度に対応付けられた出力データを選択し、選択された出力データをロボット３に出力する機能を有する。そのために、制御装置２は、通信部２１と、記憶部２２と、操作部２３と、表示部２４と、処理部２５とを備える。

【0033】

なお、本実施形態では、制御装置２として、タブレット端末、タブレットＰＣ等を想定するが、本発明はこれに限定されるものではない。制御装置２は、本発明が適用可能であればよく、例えば、パーソナルコンピュータ（ＰＣ）、サーバ、多機能携帯電話（所謂「スマートフォン」）、携帯電話（所謂「フィーチャーフォン」）や携帯情報端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、ノートＰＣ等でもよい。

【0034】

通信部２１は、ＵＳＢ（Universal Serial Bus）等と接続するためのインターフェース、有線又は無線のＬＡＮ（Local Area Network）の通信インターフェース等を含む、通信インターフェース等である。通信部２１は、ロボット３から受信したデータを処理部２５に供給する。また、通信部２１は、処理部２５から供給されたデータをロボット３に送信する。

【0035】

記憶部２２は、例えば、半導体メモリ装置を備える。記憶部２２は、処理部２５での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部２２は、ドライバプログラムとして、操作部２３を制御する入力デバイスドライバプログラムや、表示部２４を制御する出力デバイスドライバプログラム等を記憶する。また、記憶部２２は、アプリケーションプログラムとして、少なくとも情報出力処理プログラム等を記憶する。さらに、記憶部２２は、データとして後述する表情パラメータテーブルＴ１、感情パラメータテーブルＴ２、テンションパラメータテーブルＴ３、ストレステーブルＴ４、対応出力テーブルＴ５、ユーザ履歴テーブルＴ６等を記憶する。また、記憶部２２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。

【0036】

操作部２３は、制御装置２の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル又はキーボード等である。ユーザは、操作部２３を用いて、後述する表示部２４に表示されたボタン等の指定指示、又は、文字、数字若しくは記号等の入力を行うことができる。操作部２３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、処理部２５に供給される。

【0037】

表示部２４は、動画像、静止画像等の表示が可能であればどのようなデバイスでもよく、例えば、有機ＥＬ（Electro−Luminescence）ディスプレイ、液晶ディスプレイ、又は、タッチパネル式の表示装置等である。表示部２４は、処理部２５から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。

【0038】

処理部２５は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部２５は、制御装置２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。処理部２５は、制御装置２の各種処理が記憶部２２に記憶されているプログラムや操作部２３の操作等に基づいて適切な手順で実行されるように、表示部２４等の動作を制御する。処理部２５は、記憶部２２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0039】

処理部２５は、情報取得部２５１と、判定部２５２と、選択部２５３と、出力処理部２５４とを有する。処理部２５が有するこれらの各部は、処理部２５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、処理部２５が有するこれらの各部は、ファームウェアとして制御装置２に実装されてもよい。

【0040】

（ロボット３）
図４は、ロボット３の概略構成の一例を示す図である。

【0041】

ロボット３は、制御装置２から出力された出力データに従った動作又は音声出力等を行う機能を有する。そのために、ロボット３は、撮影装置３１と、音声入力装置３２と、音声出力装置３３と、第２通信部３４と、制御部３５と、アクチュエータ３６とを備える。

【0042】

また、ロボット３は、胴部Ｐ１と、頭部Ｐ２と、腕部Ｐ３と、脚部Ｐ４とで構成される。胴部Ｐ１は、第２通信部３４と、制御部３５とを備え、頭部Ｐ２は、音声入力装置３２と、音声出力装置３３とを備える。

【0043】

撮影装置３１は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。

【0044】

音声入力装置３２は、例えば、マイクロフォン等であり、入力された音声を電気信号に変換し、変換された電気信号を音声データに変換して制御部３５に送出する。

【0045】

音声出力装置３３は、例えば、スピーカ等であり、制御部３５から取得した音声データの電気信号を音声に変換して出力する。なお、音声出力装置３３は、音声出力部の一例である。

【0046】

第２通信部３４は、ＵＳＢ等と接続するためのインターフェース、有線又は無線のＬＡＮの通信インターフェース等を含む、通信インターフェース等である。第２通信部３４は、制御装置２から受信したデータを制御部３５に供給する。また、第２通信部３４は、制御部３５から供給されたデータを制御装置２に送信する。

【0047】

制御部３５は、一又は複数個のプロセッサ及びその周辺回路を備える。制御部３５は、ロボット３の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。制御部３５は、制御装置２からの出力データに従って、音声出力装置３３及びアクチュエータ３６の動作を制御する。なお、制御部３５は、出力データに限らず、制御装置２からの所定の制御情報に応じて、撮影装置３１、音声入力装置３２、音声出力装置３３、第２通信部３４、制御部３５、アクチュエータ３６等を制御する。

【0048】

アクチュエータ３６は、ロボット３の各関節部の動きを行うための駆動装置であり、例えば、首部アクチュエータ３６ａ、肩部アクチュエータ３６ｂ、肘部アクチュエータ３６ｃ、手首部アクチュエータ３６ｄ、腰部アクチュエータ３６ｅ、脚部アクチュエータ３６ｆ、車輪部アクチュエータ３６ｇ等を有する。なお、制御部３５によって、少なくとも首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータが、制御情報に従って駆動制御される。

【0049】

首部アクチュエータ３６ａは、胴部Ｐ１と頭部Ｐ２とを接続する駆動装置であり、首関節の動きを行う。また、肩部アクチュエータ３６ｂは、胴部Ｐ１と腕部Ｐ３とを接続する駆動装置であり、肩関節の動きを行う。肘部アクチュエータ３６ｃは、腕部Ｐ３に備えられる駆動装置であり、腕部Ｐ３の上腕部分と前腕部分とを接続し、肘関節の動きを行う。手首部アクチュエータ３６ｄは、腕部Ｐ３に備えられる駆動装置であり、腕部Ｐ３の前腕部分と手部分とを接続し、手首関節の動きを行う。腰部アクチュエータ３６ｅは、胴部Ｐ１と脚部Ｐ４とを接続する駆動装置であり腰関節の動きを行う。脚部アクチュエータ３６ｆは、脚部Ｐ４に備えられる駆動装置であり、脚部Ｐ４を回転させる動きを行う。車輪部アクチュエータ３６ｇは、脚部Ｐ４と車輪部（図示せず）とを接続する駆動装置であり、鉛直方向を軸として車輪部を回転させる動きを行う。

【0050】

以下、図５〜７を参照して、制御装置２の表示部２４に表示される各画面の一例について説明する。

【0051】

（ユーザ選択画面５００）
図５（ａ）は、制御装置２の表示部２４に表示されるユーザ選択画面５００の一例を示す図である。ユーザ選択画面５００には、ユーザ選択ボタン５０１、新規登録ボタン５０２及び戻るボタン５０３等が表示される。ユーザ選択画面５００は、図示しないメニュー画面が表示部２４に表示されている場合において、ユーザによる操作部２３の操作に応じてメニュー画面に表示された所定のアプリケーション実行ボタンが選択されることによって表示される。

【0052】

ユーザ選択ボタン５０１は、制御装置２に登録されているユーザを選択するための選択ボタンである。ユーザによる操作部２３の操作に応じてユーザ選択ボタン５０１が選択されると、選択されたユーザ選択ボタン５０１に対応するユーザに対する判定画面６００が表示される。

【0053】

新規登録ボタン５０２は、制御装置２に登録されていないユーザを新たに登録する画面を表示するための選択ボタンである。ユーザによる操作部２３の操作に応じて新規登録ボタン５０２が選択されると、ユーザの名前、年齢、性別等の各種情報を登録するための登録画面が表示される。登録画面によってユーザの各種情報が登録されると、登録されたユーザに対する判定画面６００が表示される。戻るボタン５０３は、ユーザ選択画面５００の表示を終了させ、メニュー画面を表示させるための選択画面である。

【0054】

（判定画面６００）
図５（ｂ）は、制御装置２の表示部２４に表示される判定画面６００の一例を示す図である。判定画面６００には、撮影画像表示枠６０１、表情パラメータグラフ６０２、感情パラメータグラフ６０３及びテンションパラメータグラフ６０４等が表示される。

【0055】

撮影画像表示枠６０１には、ロボット３の撮影装置３１から取得した動画像データが表示される。なお、撮影画像表示枠６０１にユーザの顔が表示されない等の要因によって、制御装置２が表情認識処理を実行できない場合、ロボット３の音声出力装置３３は、ユーザの顔が撮影装置３１の視野範囲内に位置するように促すための音声を出力してもよい。また、制御装置２が表情認識処理を実行できた場合、撮影画像表示枠６０１には、表情認識処理の対象となったユーザの顔の静止画像が表示されてもよい。

【0056】

表情パラメータグラフ６０２には、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータが表示される。表情パラメータは、対応する表情属性の度合いを示す指標（例えば、０から１００までの整数値等）である。撮影画像表示枠６０１にユーザの顔が表示されて、表情認識処理が実行された場合、表情認識処理によって算出された表情属性毎の表情パラメータを示す表情パラメータグラフ６０２を含む判定画面６００が表示部２４に表示される。

【0057】

図５（ｂ）に示される判定画面６００の例では、「笑顔」の表情パラメータとして９２ポイントが表示され、「穏やか」の表情パラメータとして２７ポイントが表示され、「喜び」の表情パラメータとして７３ポイントが表示され、「驚き」の表情パラメータとして８ポイントが表示され、「怒り」の表情パラメータとして５３ポイントが表示され、「悲しみ」の表情パラメータとして４９イントが表示されている。

【0058】

感情パラメータグラフ６０３には、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータが表示される。感情パラメータは、対応する感情属性の度合いを示す指標（例えば、０から１００までの整数値等）である。ロボット３の音声入力装置３２によってユーザの入力音声が検知された場合、当該入力音声に係る入力音声データに基づいて声認識処理が実行され、声認識処理によって算出された感情属性毎の感情パラメータが表示される。なお、図５（ｂ）に示される判定画面６００の例では、ユーザからの入力音声が検知されていないため、感情パラメータグラフ６０３には、各感情パラメータは表示されていない。この場合、ロボット３の音声出力装置３３は、ユーザからの入力音声が検知されるまで、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）を出力してもよい。

【0059】

テンションパラメータグラフ６０４には、制御装置２が実行した声認識処理によって算出されたテンション属性のテンションパラメータが表示される。テンションパラメータは、テンション（感情の高まり）の度合いを示す指標（例えば、０から１００までの整数値等）である。ロボット３の音声入力装置３２によってユーザの入力音声が検知された場合、当該入力音声に係る入力音声データに基づいて声認識処理が実行され、声認識処理によって算出されたテンション属性のテンションパラメータが表示される。なお、図５（ｂ）に示される判定画面６００の例では、ユーザからの入力音声が検知されていないため、テンションパラメータグラフ６０４には、テンション属性のテンションパラメータは表示されていない。この場合、ロボット３の音声出力装置３３は、ユーザからの入力音声が検知されるまで、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）を出力してもよい。

【0060】

図６（ａ）は、制御装置２の表示部２４に表示される判定画面６００の一例を示す図である。図６（ａ）に示される判定画面６００の例では、ロボット３の音声入力装置３２によってユーザの入力音声が検知され、当該入力音声に係る入力音声データに基づく声認識処理によって算出された感情属性毎の感情パラメータを示す感情パラメータグラフ６０３、及び、テンション属性のテンションパラメータを示すテンションパラメータグラフ６０４が表示部２４に表示される。

【0061】

図６（ａ）に示される判定画面６００の例では、「穏やか」の感情パラメータとして１５ポイントが表示され、「怒り」の感情パラメータとして８２ポイントが表示され、「喜び」の感情パラメータとして１００ポイントが表示され、「悲しみ」の感情パラメータとして３８ポイントが表示されている。また、当該判定画面６００の例では、テンションパラメータとして７５ポイントが表示されている。

【0062】

（判定結果画面７００）
図６（ｂ）は、制御装置２の表示部２４に表示される判定結果画面７００の一例を示す図である。判定結果画面７００には、ストレス度アイコン７０１、表情属性アイコン７０２、感情属性アイコン７０３、テンションパラメータグラフ６０４、文字出力情報７０４等が表示される。

【0063】

ストレス度アイコン７０１は、後述するストレス度の判定処理によって抽出されたユーザのストレス度に対応するアイコン画像である。

【0064】

表情属性アイコン７０２は、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータのうち、最も数値の高い表情パラメータの表情属性に対応するアイコン画像である。また、感情属性アイコン７０３は、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータのうち、最も数値の高い感情パラメータの感情属性に対応するアイコン画像である。なお、テンションパラメータグラフ６０４は、図６（ａ）に示されるテンションパラメータグラフ６０４と同一である。

【0065】

文字出力情報７０４は、ストレス度の判定処理によって抽出されたユーザのストレス度に対応する文字情報であり、制御装置２によって出力された出力文字データに基づいて表示される。なお、表示される文字情報は、例えば、ユーザのストレス度に応じたアドバイに関する文字情報であってもよく、ロボット３の音声出力装置３３が、文字出力情報７０４を示す音声を出力してもよい。なお、出力文字データは、出力データの一例である。

【0066】

（動作提示画面８００）
図７（ａ）は、制御装置２の表示部２４に表示される動作提示画面８００の一例を示す図である。動作提示画面８００には、ユーザのストレスを解消するための一連のヒーリング動作等を行うキャラクタ画像を含む動作例画像８０１が動作例画像データに基づいて表示される。動作提示画面８００は、ストレス度の判定処理によって抽出されたユーザのストレス度が、予め定められたストレス度であった場合に、表示部２４に表示される。なお、動作例画像データは、出力データの一例である。

【0067】

（履歴画面９００）
図７（ｂ）は、制御装置２の表示部２４に表示される履歴画面９００の一例を示す図である。履歴画面９００には、ユーザ履歴９０１が、後述するユーザ履歴テーブルＴ６に基づいて表示される。図７（ｂ）に示される例では、ユーザによる操作部２３の操作に応じて、ストレス度の判定処理の実施日毎にストレス度の判定処理によって抽出されたユーザのストレス度に対応するアイコン画像が表示される。

【0068】

（各種テーブル）
以下、記憶部２２に記憶される各種テーブルについて説明する。図８（ａ）は、表情パラメータテーブルＴ１のデータ構造の一例を示す図であり、（ｂ）は、感情パラメータテーブルＴ２のデータ構造の一例を示す図であり、（ｃ）は、テンションパラメータテーブルＴ３のデータ構造の一例を示す図である。また、図９は、ストレステーブルＴ４のデータ構造の一例を示す図である。また、図１０は、対応出力テーブルＴ５のデータ構造の一例を示す図である。また、図１１は、ユーザ履歴テーブルＴ６のデータ構造の一例を示す図である。なお、記憶部２２に記憶される各種テーブルの全て又は一部は、制御装置２とは異なる一又は複数の装置によって記憶されてもよい。

【0069】

図８（ａ）に示される表情パラメータテーブルＴ１には、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータが記憶される。なお、表情パラメータテーブルＴ１は、ユーザ毎に作成される。

【0070】

図８（ｂ）に示される感情パラメータテーブルＴ２には、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータが記憶される。なお、感情パラメータテーブルＴ２は、ユーザ毎に作成される。

【0071】

図８（ｃ）に示されるテンションパラメータテーブルＴ３には、制御装置２が実行した声認識処理によって算出されたテンションパラメータが記憶される。なお、テンションパラメータは、ユーザ毎に作成される。

【0072】

図９に示されるストレステーブルＴ４には、複数の感情属性と複数の表情属性とテンション属性とのそれぞれに対応するストレス度が記憶されている。例えば、テンションパラメータが、０から１００までの整数値で示される場合において、テンションパラメータが０から２０までの値であれば、テンション属性として「低すぎる」が設定される。また、テンションパラメータが２１から４５までの値であれば、テンション属性として「低い」が設定され、テンションパラメータが４６から７５までの値であれば、テンション属性として「丁度いい」が設定される。また、テンションパラメータが７６から９０までの値であれば、テンション属性として「高い」が設定され、テンションパラメータが９１から１００までの値であれば、テンション属性として「高すぎる」が設定される。

【0073】

また、図９に示されるストレステーブルＴ４では、ストレス度として、例えば、「強いストレス（一致）」、「強いストレス（不一致）」、「ややストレス（一致）」、「ややストレス（不一致）」、「丁度いい」、「元気すぎる」等が設定される。感情属性と表情属性とが同じ種類である場合（例えば、感情属性「怒り」及び表情属性「怒り」）と、感情属性と表情属性とが異なる種類である場合（例えば、感情属性「怒り」及び表情属性「喜び」）とで、同程度のストレスが生じる場合がある。そこで、強いストレスが生じており且つ感情属性と表情属性とが同じ種類である場合は、ストレス度として「強いストレス（一致）」が設定され、強いストレスが生じており且つ感情属性と表情属性とが異なる種類である場合は、ストレス度として「強いストレス（不一致）」が設定される。また、ストレスがやや生じており且つ感情属性と表情属性とが同じ種類である場合は、ストレス度として「ややストレス（一致）」が設定され、ストレスがやや生じており且つ感情属性と表情属性とが異なる種類である場合は、ストレス度として「ややストレス（不一致）」が設定される。

【0074】

例えば、図９に示されるストレステーブルＴ４では、例えば、ストレス度「強いストレス（一致）」には、感情属性「怒り」と、表情属性「怒り」と、テンション属性「低すぎる」、「低い」、「丁度いい」、「高い」及び「高すぎる」とが対応付けられている。また、ストレス度「強いストレス（一致）」には、例えば、感情属性「穏やか」と、表情属性「穏やか」と、テンション属性「高い」及び「高すぎる」とが対応付けられている。また、ストレス度「強いストレス（不一致）」には、例えば、感情属性「穏やか」と、表情属性「怒り」と、テンション属性「高い」及び「高すぎる」とが対応付けられている。

【0075】

また、ストレス度「ややストレス（一致）」には、例えば、感情属性「怒り」と、表情属性「驚き」と、テンション属性「低すぎる」、「低い」、「丁度いい」及び「高い」とが対応付けられている。また、ストレス度「ややストレス（不一致）」には、例えば、感情属性「怒り」と、表情属性「喜び」と、テンション属性「低すぎる」及び「低い」とが対応付けられている。

【0076】

また、ストレス度「丁度いい」には、例えば、感情属性「穏やか」と、表情属性「笑顔」と、テンション属性「低すぎる」、「低い」、「丁度いい」及び「高い」とが対応付けられている。また、ストレス度「高すぎる」には、例えば、感情属性「穏やか」と、表情属性「笑顔」と、テンション属性「高すぎる」とが対応付けられている。

【0077】

図１０に示される対応出力テーブルＴ５には、複数の現在のストレス度のそれぞれと、複数の前回のストレス度のそれぞれとに対応付けられた出力データが記憶されている。出力データは、ロボット３に一連のヒーリング動作を行わせるための駆動命令及び／又はロボット３の音声出力装置３３に出力させるヒーリング動作に係る音声の音声データ等である。なお、出力データの出力先はロボット３に限らない。例えば、出力データは、制御装置２の表示部２４に所定の画像を表示させるための出力データでもよく、例えば、ユーザのストレスを解消するための一連のヒーリング動作等を行うキャラクタ画像を含む動作例画像８０１を表示するための動作例画像データ、ユーザにストレス度に応じたアドバイスを示す文字情報を表示するためのアドバイス文字データ等である。また、ユーザにストレス度に応じたアドバイスを示す音声を出力するためのアドバイス音声データが、出力データとしてロボット３の音声出力装置３３に出力されてもよい。なお、対応出力テーブルＴ５は、対応出力データの一例である。また、対応出力テーブルＴ５として、複数の現在のストレス度のみに対応付けられた出力データが記憶されたテーブルがさらに設けられてもよい。

【0078】

図１１に示されるユーザ履歴テーブルＴ６には、ユーザ毎に、各ユーザのユーザＩＤ、ユーザ名、ストレス度の判定処理の実施日及び判定結果（ストレス度）等が記憶されている。

【0079】

（情報出力処理の動作フロー）
図１２は、制御装置２によって実行される情報出力処理の動作フローの一例を示す図である。

【0080】

まず、制御装置２の情報取得部２５１は、ユーザ選択画面５００においてユーザによる操作部２３の操作に応じてユーザが選択又は新規登録された場合、当該選択又は新規登録されたユーザを判定対象ユーザとして特定する（ステップＳ１０１）。例えば、メニュー画面が表示部２４に表示されている場合において、ユーザによる操作部２３の操作に応じてメニュー画面に表示された所定のアプリケーション実行ボタンが選択されると、情報取得部２５１は、ユーザ選択画面５００を表示する。つぎに、ユーザによる操作部２３の操作に応じてユーザ選択画面５００に表示されたユーザ選択ボタン５０１のいずれかが選択されると、ユーザ選択ボタン５０１に対応するユーザのユーザＩＤを、判定対象ユーザＩＤとしてユーザ履歴テーブルＴ６から特定する。

【0081】

また、ユーザによる操作部２３の操作に応じてユーザ選択画面５００に表示された新規登録ボタン５０２が選択された場合、新たなユーザを登録するための登録画面が表示される。表示された登録画面から、ユーザによる操作部２３の操作に応じて少なくともユーザ名が入力されると、入力されたユーザ名に対して新たなユーザＩＤが付与され、ユーザ履歴テーブルＴ６に、新たなユーザＩＤとユーザ名とが記憶される。そして、情報取得部２５１は、ユーザ履歴テーブルＴ６から、記憶された新たなユーザＩＤを判定対象ユーザＩＤとして特定する。

【0082】

次に、情報取得部２５１は、ロボット３の撮影装置３１によって撮影された判定対象ユーザの顔画像データを取得する（ステップＳ１０２）。例えば、情報取得部２５１は、撮影装置３１によって出力された判定対象ユーザの顔画像を含む動画像データを、所定期間毎に取得し、取得した動画像データを判定対象ユーザの顔画像データとして判定部２５２に順次送出する。

【0083】

次に、情報取得部２５１は、ロボット３の音声入力装置３２に入力された判定対象ユーザの音声を変換した入力音声データを取得する（ステップＳ１０３）。例えば、情報取得部２５１は、ロボット３の音声入力装置３２によってユーザの音声が検知された場合において、音声入力装置３２から、検知された音声を変換した入力音声データを取得する。そして、情報取得部２５１は、取得した入力音声データを判定部２５２に送出する。

【0084】

次に、判定部２５２は、ストレス度の判定処理を実行する（ステップＳ１０４）。なお、ストレス度の判定処理の詳細については後述する。

【0085】

次に、判定部２５２は、ストレス度の判定処理によって判定された判定対象ユーザのストレス度を、判定処理の実行日とともに、判定対象ユーザＩＤに対応付けてユーザ履歴テーブルＴ６に記憶する（ステップＳ１０５）。なお、判定部２５２は、判定された判定対象ユーザの表情パラメータ、判定対象ユーザの感情パラメータ、判定対象ユーザのテンションパラメータを含む判定画面６００を表示する。

【0086】

次に、選択部２５３は、判定対象ユーザＩＤに対する現在のストレス度よりも前に、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されているか否かを判定する（ステップＳ１０６）。

【0087】

選択部２５３は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていないと判定した場合（ステップＳ１０６−Ｎｏ）、対応出力テーブルＴ５を参照し、判定対象ユーザＩＤに対する現在のストレス度に対応付けられた出力データを選択し（ステップＳ１０７）、ステップＳ１０９に処理を進める。なお、ステップＳ１０７で参照される対応出力テーブルＴ５は、複数の現在のストレス度のみに対応付けられた出力データが記憶されたテーブルであってもよい。

【0088】

また、選択部２５３は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていると判定した場合（ステップＳ１０６−Ｙｅｓ）、対応出力テーブルＴ５を参照し、判定対象ユーザＩＤに対する現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを選択する（ステップＳ１０８）。

【0089】

そして、出力処理部２５４は、選択された出力データをロボット３に出力し（ステップＳ１０９）、一連のステップを終了する。なお、出力処理部２５４は、ストレス度の判定処理によって判定された判定表情属性、判定感情属性及びストレス度のそれぞれを示すアイコン画像を含む判定結果画面７００を表示する。

【0090】

（ストレス度の判定処理の動作フロー）
図１３は、制御装置２によって実行されるストレス度の判定処理の動作フローの一例を示す図である。

【0091】

まず、制御装置２の判定部２５２は、表情パラメータを判定する（ステップＳ２０１）。例えば、判定部２５２は、情報取得部２５１から順次送出された判定対象ユーザの顔画像データを取得する毎に、表情認識処理を実行する。表情認識処理では、判定部２５２は、顔画像データにおいて顔検出を行い、顔領域の画像を切り出す。なお、判定部２５２は、顔検出ができなかった場合、ロボット３の音声出力装置３３に、ユーザの顔が撮影装置３１の視野範囲内に位置するように促すための音声を出力させてもよい。次に、判定部２５２は、切り出した画像に対して、両目の端点及び口の端等点の座標を特定する特徴点検出を行い、特徴点に基づいて、「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等の表情属性の度合いを示す表情パラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザの表情パラメータを、判定対象ユーザの表情パラメータテーブルＴ１に記憶する。なお、各表情パラメータは、０から１００までの整数値で示される。

【0092】

次に、判定部２５２は、感情パラメータを判定する（ステップＳ２０２）。例えば、判定部２５２は、情報取得部２５１から送出された判定対象ユーザの入力音声データを取得すると、声認識処理を実行する。なお、判定部２５２は、表情認識処理の実行後に、判定対象ユーザの入力音声データが取得されない場合、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）をロボット３の音声出力装置３３に出力させてもよい。声認識処理では、判定部２５２は、例えば、特許５７５５７９１号公報に記載されているように、入力音声データにおいて判定対象ユーザが発声した声の基本周波数を検知し、基本周波数と予め学習された統計モデルに基づいて、「穏やか」、「怒り」、「喜び」及び「悲しみ」等の感情属性の度合いを示す感情パラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザの感情パラメータを、判定対象ユーザの感情パラメータテーブルＴ２に記憶する。なお、各感情パラメータは、０から１００までの整数値で示される。

【0093】

次に、判定部２５２は、テンションパラメータを判定する（ステップＳ２０３）。例えば、判定部２５２は、取得した判定対象ユーザの入力音声データに基づいて、声の韻律的特徴（大きさ、高）及び声質（スペクトルの特徴）、並びにそれら変動量等の各パラメータを算出する声認識処理を実行する。判定部２５２は、声の韻律的特徴とその変動量、及び、声質及びその変動量について、予め特定した声のテンションに関する特徴量と、算出された判定対象ユーザの各パラメータとに基づいて、判定対象ユーザのテンションパラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザのテンションパラメータを、判定対象ユーザのテンションパラメータテーブルＴ３に記憶する。なお、テンションパラメータは、０から１００までの整数値で示される。

【0094】

そして、判定部２５２は、ストレス度を抽出する（ステップＳ２０４）。まず、判定部２５２は、判定された表情パラメータのうち、最も数値の高い表情パラメータの表情属性を、判定表情属性として特定する。次に、判定部２５２は、判定された感情パラメータのうち、最も数値の高い感情パラメータの感情属性を、判定感情属性として特定する。次に、判定部２５２は、判定されたテンションパラメータに基づいて判定テンション属性を特定する。例えば、判定部２５２は、テンションパラメータが０から２０までの値であれば、判定テンション属性として「低すぎる」を特定する。また、判定部２５２は、テンションパラメータが２１から４５までの値であれば、判定テンション属性として「低い」を特定する。また、判定部２５２は、テンションパラメータが４６から７５までの値であれば、判定テンション属性として「丁度いい」を特定する。また、判定部２５２は、テンションパラメータが７６から９０までの値であれば、判定テンション属性として「高い」を特定する。また、判定部２５２は、テンションパラメータが、９１から１００までの値であれば、判定テンション属性として「高すぎる」を特定する。そして、判定部２５２は、判定した判定表情属性、判定感情属性及び判定テンション属性のそれぞれに対応付けられたストレス度を、ストレステーブルＴ４から抽出する。

【0095】

上述のとおり、ロボットシステム１は、ユーザに対して、当該ユーザにおける現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを出力することができる。したがって、ロボットシステムの制御装置によって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。

【0096】

（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、ステップＳ１０７の出力データの選択処理は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていると判定された場合であっても、当該過去のストレス度の判定処理の実施日が現在の日付から所定期間（例えば、１週間）内でない場合は、実行されてもよい。この場合、ステップＳ１０８の出力データの選択処理は、判定対象ユーザＩＤに対する過去のストレス度が、現在の日付から所定期間（例えば、１週間）内でユーザ履歴テーブルＴ６に記憶されていると判定された場合に限り実行される。

【0097】

また、判定部２５２は、判定した判定表情属性、判定感情属性及び判定テンション属性のうちの少なくともいずれか１つに対応付けられたストレス度を、ストレステーブルＴ４から抽出してもよい。この場合、判定表情属性、判定感情属性及び判定テンション属性のうちの少なくともいずれか１つに対応付けられたストレス度を記憶したテーブルが、ストレステーブルＴ４としてさらに記憶される。

【0098】

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0099】

１ ロボットシステム
２ 制御装置
２１ 通信部
２２ 記憶部
２３ 操作部
２４ 表示部
２５ 処理部
２５１ 情報取得部
２５２ 判定部
２５３ 選択部
２５４ 出力処理部
３ ロボット
３１ 撮影装置
３２ 音声入力装置
３３ 音声出力装置
３４ 第２通信部
３５ 制御部
３６ アクチュエータ
３６ａ 首部アクチュエータ
３６ｂ 肩部アクチュエータ
３６ｃ 肘部アクチュエータ
３６ｄ 手首部アクチュエータ
３６ｅ 腰部アクチュエータ
３６ｆ 脚部アクチュエータ
３６ｇ 車輪部アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】