特開 2024-159588 電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159588

(43)【公開日】2024-11-08

(54)【発明の名称】電子機器

(51)【国際特許分類】

   G06N 3/008 20230101AFI20241031BHJP

   G06F 3/01 20060101ALI20241031BHJP

   G06N 5/022 20230101ALI20241031BHJP

   G06F 16/90 20190101ALI20241031BHJP

【ＦＩ】

G06N3/008

G06F3/01 510

G06N5/022

G06F16/90 100

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024066978

(22)【出願日】2024-04-17

(31)【優先権主張番号】P 2023074460

(32)【優先日】2023-04-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

5B175

5E555

【Ｆターム（参考）】

5B175EA01

5E555AA48

5E555AA59

5E555AA71

5E555BA02

5E555BA90

5E555BB02

5E555BB40

5E555BC04

5E555CA42

5E555CA47

5E555CB64

5E555CB67

5E555CC03

5E555DA23

5E555DA40

5E555EA05

5E555EA19

5E555EA22

5E555EA23

5E555EA27

5E555EA28

5E555FA00

(57)【要約】      （修正有）

【課題】適切な行動を実行する電子機器を提供する。
【解決手段】ロボットにおいて、制御部は、センサ部と、センサモジュール部と、格納部と、状態認識部と、感情決定部と、行動認識部と、行動決定部と、記憶制御部と、行動制御部と、制御対象と、通信処理部と、を有し、家族を構成するユーザの状態およびユーザによって飼育されるペットの状態の少なくともいずれかを認識し、認識した状態に対応する自身の行動を決定し、決定した前記自身の行動に基づいて制御対象を制御し、ペットの行動を前記ペットの状態として認識した場合、ペットの行動に応じたペットに関するアドバイス情報を提供する行動を自身の行動として決定し、ペットの感情をペットの状態として認識した場合、ペットの感情に応じたペットに関するアドバイス情報を提供する行動を自身の行動として決定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

家族を構成するユーザの状態、および、ユーザによって飼育されるペットの状態の少なくともいずれかを認識し、認識した状態に対応する自身の行動を決定し、決定した前記自身の行動に基づいて制御対象を制御する制御部
を備える電子機器。

【請求項2】

前記制御部は、
前記ペットの行動を前記ペットの状態として認識した場合、前記ペットの行動に応じた前記ペットに関するアドバイス情報を提供する行動を前記自身の行動として決定する、
請求項１に記載の電子機器。

【請求項3】

前記制御部は、
前記ペットの感情を前記ペットの状態として認識した場合、前記ペットの感情に応じた前記ペットに関するアドバイス情報を提供する行動を前記自身の行動として決定する、
請求項１に記載の電子機器。

【請求項4】

前記アドバイス情報は、
前記ペットと前記ペットを飼育するユーザとの関係に関する情報、および、前記ペットのケアに関する情報の少なくともいずれかを含む、
請求項２または３に記載の電子機器。

【請求項5】

前記制御部は、
前記家族を構成するユーザの行動を当該ユーザの状態として認識した場合、当該ユーザの行動に応じた前記家族に関するアドバイス情報を提供する行動を前記自身の行動として決定する、
請求項１に記載の電子機器。

【請求項6】

前記制御部は、
前記家族を構成するユーザの感情を当該ユーザの状態として認識した場合、当該ユーザの感情に応じた前記家族に関するアドバイス情報を提供する行動を前記自身の行動として決定する、
請求項１に記載の電子機器。

【請求項7】

前記制御部は、
前記家族を構成する複数のユーザそれぞれの性格、関心、興味、志向の少なくともいずれかに基づいて前記アドバイス情報を生成する、
請求項５または６に記載の電子機器。

【請求項8】

前記電子機器は、
ぬいぐるみに搭載され、またはぬいぐるみに搭載された制御対象機器に無線又は有線で接続される、
請求項１に記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、電子機器に関する。

【背景技術】

【0002】

従来、ユーザの状態に基づいて、電子機器であるロボットの行動を決定する技術が開示されている（例えば、特許文献１参照）。特許文献１には、ロボットが特定の行動を実行したときのユーザの反応を認識し、認識したユーザの反応に対するロボットの行動を決定できなかった場合、認識したユーザの状認に適した行動に関する情報をサーバから受信することで、ロボットの行動を更新する点が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０５３８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術には、家族を構成するユーザの状態やペットの状態に対して適切な行動を実行するという点で、改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、適切な行動を実行することができる電子機器を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る電子機器は、家族を構成するユーザの状態、および、ユーザによって飼育されるペットの状態の少なくともいずれかを認識し、認識した状態に対応する自身の行動を決定し、決定した前記自身の行動に基づいて制御対象を制御する制御部を備える。

【発明の効果】

【0007】

実施形態の一態様によれば、適切な行動を実行することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係るシステムの一例を概略的に示す図である。

【図2】図２は、ロボットの機能構成を概略的に示す図である。

【図3】図３は、キャラクターデータのデータ構造を概略的に示す図である。

【図4】図４は、キャラクターの設定に関する動作フローの一例を概略的に示す図である。

【図5】図５は、ロボットによる動作フローの一例を概略的に示す図である。

【図6】図６は、コンピュータのハードウェア構成の一例を概略的に示す図である。

【図7】図７は、複数の感情がマッピングされる感情マップを示す図である。

【図8】図８は、感情マップの他の例を示す図である。

【図9】図９は、感情テーブルの一例を示す図である。

【図10】図１０は、感情テーブルの一例を示す図である。

【図11】図１１は、その他の実施形態に係るぬいぐるみの外観図および内部構造図である。

【図12】図１２は、その他の実施形態に係るぬいぐるみの背面正面図である。

【発明を実施するための形態】

【0009】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0010】

図１は、本実施形態に係るシステム５の一例を概略的に示す図である。システム５は、ロボット１００、ロボット１０１、ロボット１０２、およびサーバ３００を備える。なお、ロボット１００、ロボット１０１、ロボット１０２は、電子機器の一例である。ユーザ１０ａ、ユーザ１０ｂ、およびユーザ１０ｃは、ロボット１００のユーザである。ユーザ１１ａ、ユーザ１１ｂおよびユーザ１１ｃは、ロボット１０１のユーザである。ユーザ１２ａおよびユーザ１２ｂは、ロボット１０２のユーザである。なお、本実施形態の説明において、ユーザ１０ａ、ユーザ１０ｂ、およびユーザ１０ｃを、ユーザ１０と総称する場合がある。また、ユーザ１１ａ、ユーザ１１ｂおよびユーザ１１ｃを、ユーザ１１と総称する場合がある。また、ユーザ１２ａおよびユーザ１２ｂを、ユーザ１２と総称する場合がある。ロボット１０１およびロボット１０２は、ロボット１００と略同一の機能を有する。そのため、ロボット１００の機能を主として取り上げてシステム５を説明する。

【0011】

ここでは、ユーザ１０ａ、ユーザ１０ｂおよびユーザ１０ｃは、家族を構成する。言い換えると、ユーザ１０ａ、ユーザ１０ｂおよびユーザ１０ｃは、家族を構成する者である。また、ユーザ１０は、ペット１３を飼育する。なお、図１では、ペット１３が犬である例を示したが、これはあくまでも例示であって限定されるものではなく、例えば猫、ウサギ、ハムスターなどその他の種類の動物であってもよい。

【0012】

なお、後述するように、ロボット１００はペット１３に関するアドバイス情報をユーザ１０に提供するが、このときのユーザ１０は家族を構成する者でなくてもよい。また、後述するように、ロボット１００は家族に関するアドバイス情報をユーザ１０に提供するが、このときのユーザ１０はペット１３を飼育していなくてもよい。

【0013】

ロボットの外観は、ロボット１００およびロボット１０１のように人の姿を模したものであってもよいし、ロボット１０２のようにぬいぐるみであってもよい。ロボット１０２は、外観がぬいぐるみであることにより、特に子供から親しみを持たれやすいと考えられる。

【0014】

ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したりする。このとき、ロボット１００は、通信網２０を介して通信可能なサーバ３００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ３００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ３００に記録させ、必要に応じて映像データ等をサーバ３００に要求して、ユーザ１０に提供する。

【0015】

また、ロボット１００は、自身の感情の種類を表す感情値を持つ。例えば、ロボット１００は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」および「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット１００は、例えば興奮の感情値が大きい状態でユーザ１０と会話するときは、早いスピードで音声を発する。このように、ロボット１００は、自己の感情を行動で表現することができる。

【0016】

また、ロボット１００は、文章生成モデル（いわゆる、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）チャットエンジン）と感情エンジンをマッチングさせることで、ユーザ１０の感情に対応するロボット１００の行動を決定するように構成してよい。具体的には、ロボット１００は、ユーザ１０の行動を認識して、当該ユーザの行動に対するユーザ１０の感情を判定し、判定した感情に対応するロボット１００の行動を決定するように構成してよい。

【0017】

より具体的には、ロボット１００は、ユーザ１０の行動を認識した場合、予め設定された文章生成モデルを用いて、当該ユーザ１０の行動に対してロボット１００がとるべき行動内容を自動で生成する。文章生成モデルは、文字による自動対話処理のためのアルゴリズムおよび演算と解釈してよい。文章生成モデルは、例えば特開２０１８－０８１４４４号公報やｃｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル（ＬＬＭ：Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）により構成されている。以上、本実施形態は、大規模言語モデルと感情エンジンとを組み合わせることにより、ユーザ１０やロボット１００の感情と、様々な言語情報とをロボット１００の行動に反映させるということができる。つまり、本実施形態によれば、文章生成モデルと感情エンジンとを組み合わせることにより、相乗効果を得ることができる。

【0018】

また、ロボット１００は、ユーザ１０の行動（状態）を認識する機能を有する。ロボット１００は、カメラ機能で取得したユーザ１０の顔画像や、マイク機能で取得したユーザ１０の音声を解析することによって、ユーザ１０の行動を認識する。ロボット１００は、認識したユーザ１０の行動等に基づいて、ロボット１００が実行する行動を決定する。

【0019】

ロボット１００は、ユーザ１０の感情、ロボット１００の感情、およびユーザ１０の行動に基づいてロボット１００が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。

【0020】

具体的には、ロボット１００には、ユーザ１０の感情、ロボット１００の感情、およびユーザ１０の行動に基づいてロボット１００の行動を決定するための反応ルールを有している。反応ルールには、例えば、ユーザ１０の行動が「笑う」である場合に対して、「笑う」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「怒る」である場合に対して、「謝る」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「質問する」である場合に対して、「回答する」という行動が、ロボット１００の行動として定められている。反応ルールには、ユーザ１０の行動が「悲しむ」である場合に対して、「声をかける」という行動が、ロボット１００の行動として定められている。

【0021】

ロボット１００は、反応ルールに基づいて、ユーザ１０の行動が「怒る」であると認識した場合、反応ルールで定められた「謝る」という行動を、ロボット１００が実行する行動として選択する。例えば、ロボット１００は、「謝る」という行動を選択した場合に、「謝る」動作を行うと共に、「謝る」言葉を表す音声を出力する。

【0022】

また、ロボット１００の感情が「普通」（すわなち、「喜」＝０、「怒」＝０、「哀」＝０、「楽」＝０）であり、ユーザ１０の状態が「１人、寂しそう」という条件が満たされた場合に、ロボット１００の感情が「心配になる」という感情の変化内容と、「声をかける」の行動を実行できることが定められている。

【0023】

ロボット１００は、反応ルールに基づいて、ロボット１００の現在の感情が「普通」であり、かつ、ユーザ１０が１人で寂しそうな状態にあると認識した場合、ロボット１００の「哀」の感情値を増大させる。また、ロボット１００は、反応ルールで定められた「声をかける」という行動を、ユーザ１０に対して実行する行動として選択する。例えば、ロボット１００は、「声をかける」という行動を選択した場合に、心配していることを表す「どうしたの？」という言葉を、心配そうな音声に変換して出力する。このように、ロボット１００の行動は、例えばユーザ１０の感情や行動、ロボット１００の感情、およびその感情値などに応じて定められている。

【0024】

また、ロボット１００は、この行動によって、ユーザ１０からポジティブな反応あるいはネガティブな反応が得られたことを示すユーザ反応情報を、サーバ３００に送信する。ユーザ反応情報には、例えば、「怒る」というユーザ行動、「謝る」というロボット１００の行動、ユーザ１０の反応がポジティブであったこと、およびユーザ１０の属性が含まれる。

【0025】

サーバ３００は、ロボット１００から受信したユーザ反応情報を記憶する。なお、サーバ３００は、ロボット１００だけでなく、ロボット１０１およびロボット１０２のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ３００は、ロボット１００、ロボット１０１およびロボット１０２からのユーザ反応情報を解析して、反応ルールを更新する。

【0026】

ロボット１００は、更新された反応ルールをサーバ３００に問い合わせることにより、更新された反応ルールをサーバ３００から受信する。ロボット１００は、更新された反応ルールを、ロボット１００が記憶している反応ルールに組み込む。これにより、ロボット１００は、ロボット１０１やロボット１０２等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。

【0027】

また、ロボット１００は、ペット１３の状態（行動や感情）を認識する機能を有する。ロボット１００は、カメラ機能で取得したペット１３の顔画像や、マイク機能で取得したペット１３の音声を解析することによって、ペット１３の行動等を認識する。ロボット１００は、認識したペット１３の行動等に基づいて、ロボット１００が実行する行動を決定する。

【0028】

本実施形態に係るロボット１００は、ペット１３に関するアドバイス情報を提供することができる。例えば、ロボット１００は、ペット１３の状態を認識する。ペット１３の状態は、ペット１３の行動や感情などを含む。ロボット１００は、認識したペット１３の状態に応じたペット１３に関するアドバイス情報を提供する。

【0029】

一例として、ロボット１００は、ペット１３がユーザ１０と遊びたいことを示す行動（様子）や感情を認識した場合、ユーザ１０との会話を開始する行動を実行する。具体的には、ロボット１００は、「ペットのことでアドバイスがあります」などアドバイス情報をこれから提供することを示す発話を行う。なお、発話内容における「ペット」は、ペット１３の名前であってもよい。

【0030】

続いて、ロボット１００は、認識したペット１３の状態に基づき、ペット１３に関するアドバイス情報を生成する。アドバイス情報には、ペット１３とユーザ１０との関係に関する情報や、ペット１３のケアに関する情報などが含まれるが、これらに限定されるものではない。ここでは、ロボット１００は、「ペットが遊びたがっています。遊ぶとペットと仲良くなれますよ」などペット１３の状態に即したアドバイス情報を発話して提供する。

【0031】

このように、本実施形態において、ロボット１００は、ペット１３の状態を認識し、認識したペット１３の状態に対応する行動を実行することで、ユーザ１０に対してペット１３に関する適切なアドバイスを行うことができる。すなわち、本実施形態に係るロボット１００によれば、ユーザ１０に対して適切な行動を実行することができる。また、ロボット１００は、ペット１３の状態（例えば気持ちや行動）についての理解を深めてアドバイスを行うことで、ユーザ１０（ペットオーナー）がペット１３とより良い関係を築けるようにサポートすることが可能になる。

【0032】

また、本実施形態に係るロボット１００は、家族に関するアドバイス情報を提供することができる。例えば、ロボット１００は、家族を構成するユーザ１０の状態を認識する。ユーザ１０の状態は、ユーザ１０の行動や感情などを含む。ロボット１００は、認識したユーザ１０の状態に応じた家族に関するアドバイス情報を提供する。

【0033】

一例として、ロボット１００は、ユーザ１０ａが寂しい状態であることを示す行動（様子）や感情を認識した場合、家族を構成するユーザ１０のうちユーザ１０ａ以外のユーザ１０ｂ，１０ｃとの会話を開始する行動を実行する。具体的には、ロボット１００は、「ユーザ１０ａのことでアドバイスがあります」などアドバイス情報をこれから提供することを示す発話を行う。なお、発話内容における「ユーザ１０ａ」は、ユーザ１０ａの名前であってもよい。

【0034】

続いて、ロボット１００は、認識したユーザ１０ａの状態に基づき、ユーザ１０ａに関するアドバイス情報を生成する。アドバイス情報には、家族間のコミュニケーションに関する情報などが含まれるが、これに限定されるものではない。ここでは、ロボット１００は、「ユーザ１０ａが寂しがっています。声をかけてコミュニケーションをとってみると良いですよ」などユーザ１０ａの状態に即したアドバイス情報をユーザ１０ｂやユーザ１０ｃに対して発話して提供する。

【0035】

このように、本実施形態において、ロボット１００は、家族を構成するユーザ１０（例えばユーザ１０ａ）の状態を認識し、認識したユーザ１０（ユーザ１０ａ）の状態に対応する行動を実行することで、認識したユーザ１０以外のユーザ（例えばユーザ１０ｂ，１０ｃ）に対して家族に関する適切なアドバイスを行うことができる。すなわち、本実施形態に係るロボット１００によれば、ユーザ１０に対して適切な行動を実行することができる。また、ロボット１００は、家族の状態（例えば意見や感情）を適切に伝えてアドバイスを行うことで、家族間のコミュニケーションを円滑にすることが可能になる。

【0036】

図２は、ロボット１００の機能構成を概略的に示す図である。ロボット１００は、センサ部２００と、センサモジュール部２１０と、格納部（記憶部）２２０と、状態認識部２３０と、感情決定部２３２と、行動認識部２３４と、行動決定部２３６と、記憶制御部２３８と、行動制御部２５０と、制御対象２５２と、通信処理部２８０と、を有する制御部によって構成される。

【0037】

制御対象２５２は、表示装置２５２１、スピーカ２５２２、ランプ２５２３（例えば、目部のＬＥＤ）、腕、手および足等を駆動するモータ２５２４等を含む。ロボット１００の姿勢や仕草は、腕、手および足等のモータ２５２４を制御することにより制御される。ロボット１００の感情の一部は、これらのモータ２５２４を制御することにより表現できる。また、ロボット１００の目部のＬＥＤの発光状態を制御することによっても、ロボット１００の表情を表現できる。なお、ロボット１００の姿勢、仕草および表情は、ロボット１００の態度の一例である。

【0038】

センサ部２００は、マイク２０１と、３Ｄ深度センサ２０２と、２Ｄカメラ２０３と、距離センサ２０４とを含む。マイク２０１は、音声を連続的に検出して音声データを出力する。なお、マイク２０１は、ロボット１００の頭部に設けられ、バイノーラル録音を行う機能を有してよい。３Ｄ深度センサ２０２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。２Ｄカメラ２０３は、イメージセンサの一例である。２Ｄカメラ２０３は、可視光によって撮影して、可視光の映像情報を生成する。距離センサ２０４は、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部２００は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ等を含んでよい。

【0039】

なお、図２に示すロボット１００の構成要素のうち、制御対象２５２およびセンサ部２００を除く構成要素は、ロボット１００が有する行動制御システムが有する構成要素の一例である。ロボット１００の行動制御システムは、制御対象２５２を制御の対象とする。

【0040】

格納部２２０は、反応ルール２２１、履歴データ２２２およびキャラクターデータ２２３を含む。履歴データ２２２は、ユーザ１０の過去の感情値および行動の履歴を含む。この感情値および行動の履歴は、例えば、ユーザ１０の識別情報に対応付けられることによって、ユーザ１０毎に記録される。また、履歴データ２２２は、ユーザ１０の識別情報に対応付けた複数のユーザ１０それぞれのユーザ情報を含んでもよい。ユーザ情報には、ユーザ１０の性格、関心、興味、志向などユーザ１０の特性を示す情報が含まれる。かかるユーザ情報は、ユーザ１０の行動履歴から推定されてもよいし、ユーザ１０自身によって登録されてもよい。また、履歴データ２２２は、ペット１３の過去の感情値および行動の履歴を含む。この感情値および行動の履歴は、例えば、ペット１３の識別情報に対応付けられることによって、ペット１３毎に記録されてもよい。格納部２２０の少なくとも一部は、メモリ等の記憶媒体によって実装される。ユーザ１０の顔画像、ユーザ１０の属性情報等を格納する人物ＤＢ、ペット１３の顔画像、ペット１３の属性情報等を格納するペットＤＢを含んでもよい。なお、図２に示すロボット１００の構成要素のうち、制御対象２５２、センサ部２００および格納部２２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）およびＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0041】

キャラクターデータ２２３は、キャラクターと年齢を対応付けたデータである。例えば、キャラクターは、既存のアニメーション、テレビゲーム、漫画、映画等のコンテンツに登場する人物等である。また、キャラクターは、人格を持つ動物および植物であってもよいし、無生物（ロボット等）であってもよい。

【0042】

例えば、キャラクターデータ２２３においてキャラクターに対応付けられる年齢（利用年齢）は、キャラクターが登場するコンテンツのターゲットとして想定されている視聴者の年齢層を基に決定される。

【0043】

図３は、キャラクターデータ２２３のデータ構造を概略的に示す図である。例えば、キャラクター「Ａ」は幼稚園児向けのアニメーションに登場するものとする。この場合、図３に示すように、キャラクター「Ａ」には、「３歳から７歳」という利用年齢が対応付けられる。

【0044】

また、例えば、キャラクター「Ｃ」が登場する映画に暴力的なシーンが含まれ、幼児の視聴に適さないものとする。この場合、図３に示すように、キャラクター「Ｃ」には「１２歳以上」という利用年齢が対応付けられる。

【0045】

なお、キャラクターデータ２２３における年齢は、汎欧州ゲーム情報（ＰＥＧＩ：Pan European Game Information）、映画倫理機構、コンピュータエンターテインメントレーティング機構（ＣＥＲＯ：Computer Entertainment Rating Organization）といったレーティング機関による年齢レーティングを基に決められたものであってもよい。また、利用年齢は、「３歳から５歳」、「１２歳以上」といった範囲によって定められてもよいし、「１０歳」、「１５歳」といった１つの値によって定められてもよい。

【0046】

センサモジュール部２１０は、音声感情認識部２１１と、発話理解部２１２と、表情認識部２１３と、顔認識部２１４とを含む。センサモジュール部２１０には、センサ部２００で検出された情報が入力される。センサモジュール部２１０は、センサ部２００で検出された情報を解析して、解析結果を状態認識部２３０に出力する。

【0047】

センサモジュール部２１０の音声感情認識部２１１は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の感情を認識する。例えば、音声感情認識部２１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ１０の感情を認識する。また、音声感情認識部２１１は、マイク２０１で検出されたペット１３の音声（鳴き声）を解析して、ペット１３の感情を認識する。例えば、音声感情認識部２１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ペット１３の感情を認識する。発話理解部２１２は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の発話内容を表す文字情報を出力する。

【0048】

表情認識部２１３は、２Ｄカメラ２０３で撮影されたユーザ１０の画像から、ユーザ１０の表情およびユーザ１０の感情を認識する。例えば、表情認識部２１３は、目および口の形状、位置関係等に基づいて、ユーザ１０の表情および感情を認識する。また、表情認識部２１３は、２Ｄカメラ２０３で撮影されたペット１３の画像から、ペット１３の表情およびペット１３の感情を認識する。例えば、表情認識部２１３は、目および口の形状、位置関係等に基づいて、ペット１３の表情および感情を認識する。

【0049】

顔認識部２１４は、ユーザ１０の顔を認識する。顔認識部２１４は、人物ＤＢ（図示省略）に格納されている顔画像と、２Ｄカメラ２０３によって撮影されたユーザ１０の顔画像とをマッチングすることによって、ユーザ１０を認識する。また、顔認識部２１４は、ペット１３の顔を認識する。顔認識部２１４は、ペットＤＢ（図示省略）に格納されている顔画像と、２Ｄカメラ２０３によって撮影されたペット１３の顔画像とをマッチングすることによって、ペット１３を認識する。

【0050】

状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態を認識する。例えば、状態認識部２３０は、センサモジュール部２１０の解析結果を用いて、主として知覚に関する処理を行う。例えば、状態認識部２３０は、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成する。状態認識部２３０は、生成された知覚情報の意味を理解する処理を行う。例えば、状態認識部２３０は、「パパが１人、寂しそうです。」等の意味情報を生成する。また、状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ペット１３の状態を認識する。例えば、状態認識部２３０は、「ペットが尻尾を振っています。」、「ペットが怒っている顔でない確率８０％です。」等の知覚情報を生成する。状態認識部２３０は、生成された知覚情報の意味を理解する処理を行う。例えば、状態認識部２３０は、「ペットが遊びたがっています。」等の意味情報を生成する。

【0051】

感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の感情を示す感情値を決定する。例えば、センサモジュール部２１０で解析された情報、および認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、ユーザ１０の感情を示す感情値を取得する。また、感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたペット１３の状態に基づいて、ペット１３の感情を示す感情値を決定する。例えば、センサモジュール部２１０で解析された情報、および認識されたペット１３の状態を、予め学習されたニューラルネットワークに入力し、ペット１３の感情を示す感情値を取得する。

【0052】

ここで、ユーザ１０やペット１３（以下「ユーザ等」と記載する場合がある）の感情を示す感情値とは、ユーザ等の感情の正負を示す値であり、例えば、ユーザ等の感情が、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、および「充実感」のように、快感や安らぎを伴う明るい感情であれば、正の値を示し、明るい感情であるほど、大きい値となる。ユーザ等の感情が、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、および「虚無感」のように、嫌な気持ちになってしまう感情であれば、負の値を示し、嫌な気持ちであるほど、負の値の絶対値が大きくなる。ユーザ等の感情が、上記の何れでもない場合（「普通」）、０の値を示す。なお、ユーザ１０の感情の種類と、ペット１３の感情の種類とは、異なるものであってもよいし、同じものであってもよい。また、ユーザ１０の感情の感情値についても、ペット１３の感情の感情値と異なるものであってもよいし、同じものであってもよい。

【0053】

また、感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ等の状態に基づいて、ロボット１００の感情を示す感情値を決定する。

【0054】

ロボット１００の感情値は、複数の感情分類の各々に対する感情値を含み、例えば、「喜」、「怒」、「哀」、「楽」それぞれの強さを示す値（０～５）である。

【0055】

具体的には、感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ等の状態に対応付けて定められた、ロボット１００の感情値を更新するルールに従って、ロボット１００の感情を示す感情値を決定する。

【0056】

例えば、感情決定部２３２は、状態認識部２３０によってユーザ等が寂しそうと認識された場合、ロボット１００の「哀」の感情値を増大させる。また、状態認識部２３０によってユーザ等が笑顔になったと認識された場合、ロボット１００の「喜」の感情値を増大させる。

【0057】

なお、感情決定部２３２は、ロボット１００の状態を更に考慮して、ロボット１００の感情を示す感情値を決定してもよい。例えば、ロボット１００のバッテリー残量が少ない場合やロボット１００の周辺環境が真っ暗な場合等に、ロボット１００の「哀」の感情値を増大させてもよい。更にバッテリー残量が少ないにも関わらず継続して話しかけてくるユーザ１０の場合は、「怒」の感情値を増大させても良い。

【0058】

行動認識部２３４は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ等の状態に基づいて、ユーザ等の行動を認識する。例えば、センサモジュール部２１０で解析された情報、および認識されたユーザ等の状態を、予め学習されたニューラルネットワークに入力し、予め定められた複数の行動分類（例えば、「笑う」、「怒る」、「質問する」、「悲しむ」）の各々の確率を取得し、最も確率の高い行動分類を、ユーザ等の行動として認識する。

【0059】

以上のように、本実施形態では、ロボット１００は、ユーザ１０を特定したうえでユーザ１０の発話内容を取得するが、当該発話内容の取得と利用等に際してはユーザ１０から法令に従った必要な同意を取得するほか、本実施形態に係るロボット１００の行動制御システムは、ユーザ１０の個人情報およびプライバシーの保護に配慮する。

【0060】

行動決定部２３６は、感情決定部２３２により決定されたユーザ等の現在の感情値と、ユーザ等の現在の感情値が決定されるよりも前に感情決定部２３２により決定された過去の感情値の履歴データ２２２と、ロボット１００の感情値とに基づいて、行動認識部２３４によって認識されたユーザ等の行動に対応する行動を決定する。本実施形態では、行動決定部２３６は、ユーザ等の過去の感情値として、履歴データ２２２に含まれる直近の１つの感情値を用いる場合について説明するが、開示の技術はこの態様に限定されない。例えば、行動決定部２３６は、ユーザ等の過去の感情値として、直近の複数の感情値を用いてもよいし、一日前などの単位期間の分だけ前の感情値を用いてもよい。また、行動決定部２３６は、ロボット１００の現在の感情値だけでなく、ロボット１００の過去の感情値の履歴を更に考慮して、ユーザ等の行動に対応する行動を決定してもよい。行動決定部２３６が決定する行動は、ロボット１００が行うジェスチャー又はロボット１００の発話内容を含む。

【0061】

本実施形態に係る行動決定部２３６は、ユーザ等の行動に対応する行動として、ユーザ等の過去の感情値と現在の感情値の組み合わせと、ロボット１００の感情値と、ユーザ等の行動と、反応ルール２２１とに基づいて、ロボット１００の行動を決定する。例えば、行動決定部２３６は、ユーザ等の過去の感情値が正の値であり、かつ現在の感情値が負の値である場合、ユーザ等の行動に対応する行動として、ユーザ等の感情値を正に変化させるための行動を決定する。

【0062】

なお、行動決定部２３６は、ロボット１００の感情に基づいて、ユーザ１０の行動に対応する行動を決定してもよい。例えば、ロボット１００がユーザ１０から暴言をかけられた場合や、ユーザ１０に横柄な態度をとられている場合（すなわち、ユーザの反応が不良である場合）、周囲の騒音が騒がしくユーザ１０の音声を検出できない場合、ロボット１００のバッテリー残量が少ない場合などにおいて、ロボット１００の「怒」や「哀」の感情値が増大した場合、行動決定部２３６は、「怒」や「哀」の感情値の増大に応じた行動を、ユーザ１０の行動に対応する行動として決定してもよい。また、ユーザの反応が良好である場合や、ロボット１００のバッテリー残量が多い場合などにおいて、ロボット１００の「喜」や「楽」の感情値が増大した場合、行動決定部２３６は、「喜」や「楽」の感情値の増大に応じた行動を、ユーザ１０の行動に対応する行動として決定してもよい。また、行動決定部２３６は、ロボット１００の「怒」や「哀」の感情値の増大させたユーザ１０に対する行動とは異なる行動を、ロボット１００の「喜」や「楽」の感情値の増大させたユーザ１０に対する行動として決定してもよい。このように、行動決定部２３６は、ロボット１００自身の感情そのものや、ユーザ１０の行動によってユーザ１０がロボット１００の感情をどのように変化させたかに応じて、異なる行動を決定すればよい。

【0063】

反応ルール２２１には、ユーザ１０の過去の感情値と現在の感情値の組み合わせと、ロボット１００の感情値と、ユーザ１０の行動とに応じたロボット１００の行動が定められている。例えば、ユーザ１０の過去の感情値が正の値であり、かつ現在の感情値が負の値であり、ユーザ１０の行動が悲しむである場合、ロボット１００の行動として、ジェスチャーを交えてユーザ１０を励ます問いかけを行う際のジェスチャーと発話内容との組み合わせが定められている。

【0064】

例えば、反応ルール２２１には、ロボット１００の感情値のパターン（「喜」、「怒」、「哀」、「楽」の値「０」～「５」の６値の４乗である１２９６パターン）、ユーザ１０の過去の感情値と現在の感情値の組み合わせのパターン、ユーザ１０の行動パターンの全組み合わせに対して、ロボット１００の行動が定められる。すわなち、ロボット１００の感情値のパターン毎に、ユーザ１０の過去の感情値と現在の感情値の組み合わせが、負の値と負の値、負の値と正の値、正の値と負の値、正の値と正の値、負の値と普通、および普通と普通等のように、複数の組み合わせのそれぞれに対して、ユーザ１０の行動パターンに応じたロボット１００の行動が定められる。なお、行動決定部２３６は、例えば、ユーザ１０が「この前に話したあの話題について話したい」というような過去の話題から継続した会話を意図する発話を行った場合に、履歴データ２２２を用いてロボット１００の行動を決定する動作モードに遷移してもよい。

【0065】

なお、反応ルール２２１には、ロボット１００の感情値のパターン（１２９６パターン）の各々に対して、最大で一つずつ、ロボット１００の行動としてジェスチャーおよび発言内容の少なくとも一方が定められていてもよい。あるいは、反応ルール２２１には、ロボット１００の感情値のパターンのグループの各々に対して、ロボット１００の行動としてジェスチャーおよび発言内容の少なくとも一方が定められていてもよい。

【0066】

反応ルール２２１に定められているロボット１００の行動に含まれる各ジェスチャーには、当該ジェスチャーの強度が予め定められている。反応ルール２２１に定められているロボット１００の行動に含まれる各発話内容には、当該発話内容の強度が予め定められている。なお、反応ルール２２１は、ユーザ１０のみならず、ペット１３の感情、ロボット１００の感情、およびペット１３の行動に基づいてロボット１００の行動を決定するためルールを含んでもよい。例えば、反応ルール２２１は、ペット１３の過去の感情値と現在の感情値の組み合わせと、ロボット１００の感情値と、ペット１３の行動とに応じたロボット１００の行動が定められてもよい。

【0067】

例えば、反応ルール２２１には、ペット１３の状態がユーザ１０へのアドバイスを要する状態の場合や、提供したアドバイス情報に対してユーザ１０からの反応があった場合等の行動パターンに対応するロボット１００の行動が定められている。一例として、行動決定部２３６は、反応ルール２２１に基づき、ペット１３の行動や感情をペット１３の状態として認識した場合、ペット１３の状態に応じたペット１３に関するアドバイス情報をユーザ１０に提供する行動を自身の行動として決定する。

【0068】

また、例えば反応ルール２２１には、家族を構成するユーザ１０ａの状態がユーザ１０ａ以外のユーザ１０ｂ，１０ｃへのアドバイスを要する状態の場合や、提供したアドバイス情報に対してユーザ１０からの反応があった場合等の行動パターンに対応するロボット１００の行動が定められている。一例として、行動決定部２３６は、反応ルール２２１に基づき、ユーザ１０ａの行動や感情をユーザ１０ａの状態として認識した場合、ユーザ１０ａの状態に応じた家族に関するアドバイス情報をユーザ１０ｂ，１０ｃに提供する行動を自身の行動として決定する。

【0069】

記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、感情決定部２３２により決定されたロボット１００の感情値とに基づいて、ユーザ等の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。

【0070】

具体的には、ロボット１００の複数の感情分類の各々に対する感情値の総和と、行動決定部２３６によって決定された行動が含むジェスチャーに対して予め定められた強度と、行動決定部２３６によって決定された行動が含む発話内容に対して予め定められた強度との和である強度の総合値が、閾値以上である場合、ユーザ等の行動を含むデータを履歴データ２２２に記憶すると決定する。

【0071】

記憶制御部２３８は、ユーザ等の行動を含むデータを履歴データ２２２に記憶すると決定した場合、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報（例えば、その場の音声、画像、匂い等のデータなどのあらゆる周辺情報）、および状態認識部２３０によって認識されたユーザ等の状態（例えば、ユーザ１０の表情、感情、ペット１３の表情、感情など）を、履歴データ２２２に記憶する。

【0072】

行動制御部２５０は、行動決定部２３６が決定した行動に基づいて、制御対象２５２を制御する。例えば、行動制御部２５０は、行動決定部２３６が発話することを含む行動を決定した場合に、制御対象２５２に含まれるスピーカから音声を出力させる。このとき、行動制御部２５０は、ロボット１００の感情値に基づいて、音声の発声速度を決定してもよい。例えば、行動制御部２５０は、ロボット１００の感情値が大きいほど、速い発声速度を決定する。このように、行動制御部２５０は、感情決定部２３２が決定した感情値に基づいて、行動決定部２３６が決定した行動の実行形態を決定する。

【0073】

上記したように、本実施形態に係るロボット１００において、状態認識部２３０および行動認識部２３４は、家族を構成するユーザ１０やペット１３の状態（行動や感情）を認識する。行動決定部２３６は、認識したユーザ１０やペット１３の状態に対応する自身の行動を決定する。行動制御部２５０は、決定した自身の行動に基づいて制御対象２５２を制御する。

【0074】

具体的には、行動制御部２５０は、ペット１３の行動をペット１３の状態として認識した場合、ペット１３の行動に応じたペット１３に関するアドバイス情報を提供する行動を自身の行動として決定し、制御対象２５２を制御する。

【0075】

なお、アドバイス情報は、ペット１３とペット１３を飼育するユーザ１０との関係に関する情報（以下、「関係情報」と記載する場合がある）、および、ペット１３のケアに関する情報（以下、「ケア情報」と記載する場合がある）を含む。関係情報には、ペット１３とユーザ１０との関係を良好にするための情報や、改善するための情報などが含まれるが、これらは例示であって限定されるものではない。ケア情報には、ペット１３のケアに関する感情的な悩みに対処する方法の情報、ペット１３の日常的なケアに関する情報などが含まれるが、これらは例示であって限定されるものではない。なお、アドバイス情報は、関係情報およびケア情報の両方を含んでもよいし、一方を含んでもよい。すなわち、アドバイス情報は、関係情報およびケア情報の少なくともいずれかを含む。また、アドバイス情報は、関係情報およびケア情報に限られず、例えばペット１３の特性情報などその他の情報を含んでもよい。

【0076】

例えば、行動制御部２５０は、ペット１３が尻尾を振る、甘えた鳴き声を出すなどユーザ１０と遊びたいことを示す行動（様子）を認識した場合、ユーザ１０との会話を開始する行動を実行する。具体的には、ロボット１００は、「ペットのことでアドバイスがあります」などアドバイス情報をこれから提供することを示す発話を行う。

【0077】

次いで、行動制御部２５０は、認識したペット１３の行動に基づき、ペット１３に関するアドバイス情報を生成し、生成したアドバイス情報を発話して提供する。例えば、行動制御部２５０は、「ペットが遊びたがっています。遊ぶとペットと仲良くなれますよ」などペット１３の状態に即したアドバイス情報（ここでは関係情報）を発話して提供する。

【0078】

なお、上記では、行動制御部２５０は、ペット１３の状態としてペット１３の行動を認識するようにしたが、ペット１３の感情を認識してもよい。例えば、行動制御部２５０は、ペット１３が吠えている、歯をむき出しにしているなどペット１３の感情が「不快」や「怒」であることを認識した場合、認識したペット１３の感情に基づき、ペット１３に関するアドバイス情報を生成し、生成したアドバイス情報を発話して提供する。例えば、行動制御部２５０は、「ペットが不快になっているようです。エサをあげると喜びますよ」、「ペットが不快になっているようです。散歩に連れて行くと喜びますよ」などペット１３の状態に即したアドバイス情報（ここではケア情報）を発話して提供する。また、感情決定部２３２によってロボット１００の感情値が決定されるため、かかる感情値等に基づき、行動制御部２５０は、「散歩は大変ですけど、あなたの健康を維持するためにも散歩をおすすめします」などユーザ１０の気持ち（悩み）に寄り添った内容のアドバイス情報を発話して提供してもよい。

【0079】

このように、本実施形態に係る行動制御部２５０は、ユーザ１０に対してペット１３に関する適切なアドバイスを行うことができる。また、行動制御部２５０は、ペット１３の状態（例えば気持ちや行動）についての理解を深めてアドバイスを行うことで、ユーザ１０（ペットオーナー）がペット１３とより良い関係を築けるようにサポートすることが可能になる。

【0080】

また、行動制御部２５０は、家族を構成するユーザ１０の状態を認識した場合、認識したユーザ１０の状態に応じた家族に関するアドバイス情報を提供する行動を自身の行動として決定し、制御対象２５２を制御する。

【0081】

具体的には、行動制御部２５０は、家族を構成するユーザ１０の行動をユーザ１０の状態として認識した場合、ユーザ１０の行動に応じた家族に関するアドバイス情報を提供する行動を自身の行動として決定し、制御対象２５２を制御する。

【0082】

例えば、行動制御部２５０は、ユーザ１０ａから「寂しいな」、「つまらないな」などの音声を受け付け、ユーザ１０ａが寂しい状態であることを示す行動（様子）を認識した場合、家族を構成する複数のユーザ１０のうち、ユーザ１０ａ以外のユーザ１０ｂ，１０ｃとの会話を開始する行動を実行する。具体的には、ロボット１００は、「ユーザ１０ａのことでアドバイスがあります」などアドバイス情報をこれから提供することを示す発話を行う。

【0083】

次いで、行動制御部２５０は、認識したユーザ１０ａの行動に基づき、家族に関するアドバイス情報を生成し、生成したアドバイス情報を発話して提供する。例えば、行動制御部２５０は、「ユーザ１０ａが寂しがっています。声をかけてコミュニケーションをとってみると良いですよ」、「ユーザ１０ａが寂しがっています。一緒に出かけてみてはどうですか」などユーザ１０ａの状態に即したアドバイス情報をユーザ１０ｂやユーザ１０ｃに発話して提供する。

【0084】

ここで、行動制御部２５０は、ユーザ１０の特性を示すユーザ情報に基づいて、アドバイス情報を生成してもよい。例えば、行動制御部２５０は、ユーザ情報に含まれる、複数のユーザ１０それぞれの性格、関心、興味、志向の少なくともいずれかに基づいてアドバイス情報を生成する。一例として、ユーザ１０ａの関心や興味が「ショッピング」である場合、行動制御部２５０は、「ユーザ１０ａが寂しがっています。一緒にショッピングに出かけてみてはどうですか」などユーザ１０ａの関心や興味に即したアドバイス情報を発話して提供する。

【0085】

なお、ユーザ情報は、上記したユーザ１０の性格、関心、興味、志向に限られず、趣味や嗜好などその他の特性を含んでもよい。

【0086】

なお、上記では、行動制御部２５０は、ユーザ１０の状態としてユーザ１０の行動を認識するようにしたが、ユーザ１０の感情（意見）を認識してもよい。例えば、行動制御部２５０は、ユーザ１０ａから「ユーザ１０ｂはすぐに怒る」、「ユーザ１０ｂはうるさい」などの音声を受け付け、ユーザ１０ａのユーザ１０ｂに対する感情が「不快」や「不安」であることを認識した場合、認識したユーザ１０の感情に基づき、家族に関するアドバイス情報を生成し、生成したアドバイス情報をユーザ１０ｂに発話して提供する。例えば、行動制御部２５０は、「あなたが言ったことで、ユーザ１０ａは不快になっているようです。言い方を変えてみてはどうですか」などユーザ１０ａの状態に即したアドバイス情報をユーザ１０ｂに発話して提供する。また、感情決定部２３２によってロボット１００の感情値が決定されるため、かかる感情値等に基づき、行動制御部２５０は、「怒る気持ちも分かりますが、言い方を変えるとあなたの気持ちがうまく伝わりますよ」などユーザ１０ｂの気持ち（悩み）に寄り添った内容のアドバイス情報を発話して提供してもよい。

【0087】

このように、本実施形態に係る行動制御部２５０は、ユーザ１０に対して家族に関する適切なアドバイスを行うことができる。また、行動制御部２５０は、家族の状態（例えば意見や感情）を適切に伝えてアドバイスを行うことで、家族間のコミュニケーションを円滑にすることが可能になる、言い換えると、家族間の互いの理解を深めるサポートを行うことが可能になる。

【0088】

なお、ユーザ１０へのアドバイス情報の提供は、制御対象２５２であるスピーカ２５２２を用いた発話によるものに限られず、制御対象２５２である表示装置２５２１の表示、腕、手および足等を駆動するモータ２５２４の制御等を用いたロボット１００の姿勢等を通じて行われてもよい。

【0089】

行動制御部２５０は、行動決定部２３６が決定した行動を実行したことに対するユーザ１０の感情の変化を認識してもよい。例えば、ユーザ１０の音声や表情に基づいて感情の変化を認識してよい。その他、センサ部２００に含まれるタッチセンサで衝撃が検出されたことに基づいて、ユーザ１０の感情の変化を認識してよい。センサ部２００に含まれるタッチセンサで衝撃が検出された場合に、ユーザ１０の感情が悪くなったと認識したり、センサ部２００に含まれるタッチセンサの検出結果から、ユーザ１０の反応が笑っている、あるいは、喜んでいる等と判断される場合には、ユーザ１０の感情が良くなったと認識したりしてもよい。ユーザ１０の反応を示す情報は、通信処理部２８０に出力される。

【0090】

また、行動制御部２５０は、行動決定部２３６が決定した行動をロボット１００の感情に応じて決定した実行形態で実行した後、感情決定部２３２は、当該行動が実行されたことに対するユーザの反応に基づいて、ロボット１００の感情値を更に変化させる。具体的には、感情決定部２３２は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良でなかった場合に、ロボット１００の「喜」の感情値を増大させるまた、感情決定部２３２は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良であった場合に、ロボット１００の「哀」の感情値を増大させる。

【0091】

更に、行動制御部２５０は、決定したロボット１００の感情値に基づいて、ロボット１００の感情を表現する。例えば、行動制御部２５０は、ロボット１００の「喜」の感情値を増加させた場合、制御対象２５２を制御して、ロボット１００に喜んだ仕草を行わせる。また、行動制御部２５０は、ロボット１００の「哀」の感情値を増加させた場合、ロボット１００の姿勢がうなだれた姿勢になるように、制御対象２５２を制御する。

【0092】

また、行動制御部２５０は、ロボット１００の感情に応じて、アドバイス情報の内容を変更する。例えば、行動制御部２５０は、ロボット１００の感情値に応じて、生成するアドバイス情報の内容を変更する。具体的には、行動制御部２５０は、ユーザから横柄な態度を示す音声を受け付けると、ロボット１００の「怒」や「哀」の感情値が増大し、増大した感情値に応じたアドバイス情報を生成して提供する。かかるアドバイス情報は、暴言あるいは横柄な態度を示す音声を受け付けていないユーザ（すなわち、発言や態度が良好なユーザ）に提供されるアドバイス情報とは内容が異なる。一例として、暴言等を示す音声を受け付けたユーザに提供されるアドバイス情報は、暴言等を示す音声を受け付けていないユーザに提供されるアドバイス情報に比べ、提案するアドバイスの内容が乏しかったり、アドバイスの内容の一部を省略したりする内容となる。

【0093】

また、行動制御部２５０は、周囲の騒音が騒がしくユーザの音声を検出できない場合、ロボット１００のバッテリー残量が少ない場合などで、ロボット１００の「怒」や「哀」の感情値が増大した場合、増大した感情値に応じたアドバイス情報を生成して提供する。かかるアドバイス情報は、ユーザの音声を検出できる場合あるいはバッテリー残量が多い場合にユーザに提供されるアドバイス情報とは内容が異なる。一例として、ユーザの音声を検出できない場合等にユーザに提供されるアドバイス情報は、ユーザの音声を検出できる場合等にユーザに提供されるアドバイス情報に比べ、提案するアドバイスの内容が乏しかったり、アドバイスの内容の一部を省略したりする内容となる。

【0094】

また、行動制御部２５０は、ユーザから「いつもアドバイスありがとう」などロボット１００に対して好意的な態度を示す音声を受け付けると、ロボット１００の「喜」や「楽」の感情値が増大し、増大した感情値に応じたアドバイス情報を生成して提供する。かかるアドバイス情報は、好意的な態度を示す音声を受け付けていないユーザ（すなわち、普通の態度のユーザ）に提供されるアドバイス情報とは内容が異なる。一例として、好意的な態度を示す音声を受け付けたユーザに提供されるアドバイス情報は、好意的な態度を示す音声を受け付けていないユーザに提供されるアドバイス情報に比べ、提案するアドバイスの内容が豊富になったり、アドバイスの内容が追加されたりする内容となる。

【0095】

なお、行動制御部２５０は、ロボット１００の感情値に基づいて、アドバイス情報をユーザに提供する頻度を変更してもよい。例えば、行動制御部２５０は、提供したアドバイス情報に対するユーザの反応が不良でなく（具体的にはユーザから「いいね」などのポジティブな内容の回答があり）、ロボット１００の「喜」の感情値が増大した場合、アドバイス情報をユーザに提供する頻度を増加させてもよい。また、行動制御部２５０は、提供したアドバイス情報に対するユーザの反応が不良で（具体的にはユーザから「違うね」などのネガティブな内容の回答があり）、ロボット１００の「哀」の感情値が増大した場合、アドバイス情報をユーザに提供する頻度を減少させてもよい。

【0096】

通信処理部２８０は、サーバ３００との通信を担う。上述したように、通信処理部２８０は、ユーザ反応情報をサーバ３００に送信する。また、通信処理部２８０は、更新された反応ルールをサーバ３００から受信する。通信処理部２８０がサーバ３００から、更新された反応ルールを受信すると、反応ルール２２１を更新する。

【0097】

サーバ３００は、ロボット１００、ロボット１０１およびロボット１０２とサーバ３００との間の通信を行い、ロボット１００から送信されたユーザ反応情報を受信し、ポジティブな反応が得られた行動を含む反応ルールに基づいて、反応ルールを更新する。

【0098】

（キャラクターに基づく行動決定）
これまで、行動決定部２３６が、状態認識部２３０によって認識された状態に基づいてロボット１００の行動を決定する場合について説明した。一方で、行動決定部２３６は、ユーザの状態だけでなく、設定されたキャラクターに基づいてロボット１００の行動を決定してもよい。その際、行動決定部２３６は、キャラクターデータ２２３からキャラクターに対応付けられた年齢（利用年齢）を取得し、取得した利用年齢に基づいてロボット１００の行動を決定してもよい。

【0099】

すなわち、行動決定部２３６は、状態認識部２３０によって認識された状態と、設定されたキャラクター又はキャラクターに対応付けられた年齢と、に基づき、ロボット１００の行動を決定する。これにより、ユーザの年齢に応じた適切な行動をロボット１００に実行させることができるようになる。特に、ロボット１００による、低年齢のユーザに適さない行動（例えば、暴力的なコンテンツの出力）を制限することが可能になる。

【0100】

システム５には、事前にキャラクターが設定される。キャラクターの設定は、プロンプト（命令文）として入力される。プロンプトの入力は、ロボット１００に備えられた入力装置を介して行われてもよいし、ロボット１００と通信可能に接続されたサーバ等の外部装置を介して行われてもよい。また、プロンプトにおいては、キャラクターの名称が指定されてもよいし、キャラクターごとに定められたＩＤが指定されてもよい。

【0101】

例えば、行動決定部２３６は、キャラクターの外観、又はキャラクターに応じた色を示す画面を、ロボットに備えられた表示装置２５２１（出力装置の例）に出力させる行動を決定する。キャラクターに応じた色は、当該キャラクターを連想させるようなテーマカラー等である。これにより、ユーザは、キャラクターと対話をする感覚を得ることができる。

【0102】

また、例えば、行動決定部２３６は、利用年齢に応じた態様により、ロボット１００に備えられた表示装置２５２１又はスピーカ２５２２（出力装置の例）に情報を出力させる行動を決定する。例えば、行動決定部２３６は、スピーカ２５２２から発せられるロボット１００の音声を、キャラクターの声色に変更する。

【0103】

また、例えば、行動決定部２３６は、利用年齢に応じた言葉を使って構成されたテキストにより、音声又はメッセージを出力する行動を決定する。ここでは、年齢ごとの使用可能な言葉があらかじめ設定されているものとする。行動決定部２３６は、利用年齢をキャラクターデータ２２３から取得する。

【0104】

例えば、ロボット１００が「声をかける」という行動を選択した場合に出力する言葉として、「どうしたの？」と「いかがいたしましたか？」という言葉があらかじめ格納部２２０に記憶されているものとする。また、「どうしたの？」には「１２歳未満」という年齢が対応付けられ、「いかがいたしましたか？」には「１２歳以上」という年齢が対応付けられているものとする。例えば、行動決定部２３６は、利用年齢が「１８歳以上」であれば、「いかがいたしましたか？」という言葉を出力することを決定する。また、例えば、行動決定部２３６は、利用年齢が「３歳から７歳」であれば、「どうしたの？」という言葉を出力することを決定する。

【0105】

このように、利用年齢に応じて音声の声色や出力される言葉を変化させることで、特に低年齢のユーザに適さない行動を制限しつつ、低年齢のユーザからの親しみやすさを向上させることができる。

【0106】

さらに、行動決定部２３６は、キャラクターに応じたコンテンツを、ロボット１００に備えられた出力装置（表示装置２５２１等）に出力させる行動を決定する。例えば、行動決定部２３６は、キャラクターが登場する映像コンテンツ（映画、アニメーション等）を表示装置２５２１に表示させる行動を決定する。

【0107】

また、行動決定部２３６は、利用年齢に応じた教育コンテンツを出力させる行動を決定してもよい。ここで、教育コンテンツは、英語、算数、国語、理科、社会といった学習科目に関するテキスト、映像、音声等である。また、教育コンテンツは、問題に対する回答をユーザが入力するようなインタラクティブなコンテンツであってもよい。例えば、行動決定部２３６は、利用年齢に応じた学年に対応する計算問題のテキストを表示装置２５２１に表示させる行動を決定する。例えば、行動決定部２３６は、利用年齢が「８歳未満」であれば、足し算の問題を表示させることを決定し、利用年齢が「８歳以上」であれば、掛け算の問題を表示させることを決定する。

【0108】

また、行動決定部２３６は、キャラクターではなく利用年齢に応じたコンテンツを、ロボット１００に備えられた出力装置に出力させる行動を決定してもよい。この場合のコンテンツは、キャラクターが登場するコンテンツであってもよいし、一般的に知られている昔話、童話等の、キャラクターに依存しないコンテンツであってもよい。

【0109】

なお、キャラクターに応じたコンテンツおよび利用年齢に応じた学年および教育コンテンツは、格納部２２０にあらかじめ格納されていてもよいし、ロボット１００と通信可能に接続されたサーバ等の外部装置から取得されてもよい。

【0110】

図４は、キャラクターの設定に関する動作フローの一例を概略的に示す図である。なお、動作フロー中の「Ｓ」は、実行されるステップを表す。

【0111】

ステップＳ５０において、ロボット１００は、キャラクターの設定を受け付ける。そして、ステップＳ５１において、ロボット１００は、キャラクターに応じた画面（例えば、キャラクターの外観が表示された画面）を出力する。

【0112】

また、ステップＳ５２において、行動決定部２３６は、キャラクターデータ２２３から、設定されたキャラクターに応じた利用年齢を取得しておく。

【0113】

図５は、ロボット１００において行動を決定する動作に関する動作フローの一例を概略的に示す図である。図５に示す動作フローは、繰り返し実行される。このとき、センサモジュール部２１０で解析された情報が入力されているものとする。なお、動作フロー中の「Ｓ」は、実行されるステップを表す。

【0114】

まず、ステップＳ１００において、状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ等の状態を認識する。例えば、状態認識部２３０は、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成し、生成された知覚情報の意味を理解する処理を行う。例えば、状態認識部２３０は、「パパが１人、寂しそうです。」等の意味情報を生成する。また、状態認識部２３０は、「ペットが尻尾を振っています。」、「ペットが怒っている顔でない確率８０％です。」等の知覚情報を生成し、「ペットが遊びたがっています。」等の意味情報を生成する。

【0115】

ステップＳ１０２において、感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ等の状態に基づいて、ユーザ等の感情を示す感情値を決定する。

【0116】

ステップＳ１０３において、感情決定部２３２は、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ等の状態に基づいて、ロボット１００の感情を示す感情値を決定する。感情決定部２３２は、決定したユーザ等の感情値を履歴データ２２２に追加する。

【0117】

ステップＳ１０４において、行動認識部２３４は、センサモジュール部２１０で解析された情報および状態認識部２３０によって認識されたユーザ等の状態に基づいて、ユーザ等の行動分類を認識する。

【0118】

ステップＳ１０６において、行動決定部２３６は、図４のステップＳ５２で取得された利用年齢と、図５のステップＳ１０２で決定されたユーザ１０の現在の感情値および履歴データ２２２に含まれる過去の感情値の組み合わせと、ロボット１００の感情値と、行動認識部２３４によって認識されたユーザ１０の行動と、反応ルール２２１とに基づいて、ロボット１００の行動を決定する。

【0119】

ステップＳ１０８において、行動制御部２５０は、行動決定部２３６により決定された行動に基づいて、制御対象２５２を制御する。例えば、行動制御部２５０は、家族を構成するユーザ１０の状態、および、ペット１３の状態の少なくともいずれかに応じて決定された行動に基づいて制御対象２５２を制御する。

【0120】

ステップＳ１１０において、記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、感情決定部２３２により決定されたロボット１００の感情値とに基づいて、強度の総合値を算出する。

【0121】

ステップＳ１１２において、記憶制御部２３８は、強度の総合値が閾値以上であるか否かを判定する。強度の総合値が閾値未満である場合には、ユーザ１０の行動を含むデータを履歴データ２２２に記憶せずに、当該処理を終了する。一方、強度の総合値が閾値以上である場合には、ステップＳ１１４へ移行する。

【0122】

ステップＳ１１４において、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報、および状態認識部２３０によって認識されたユーザ１０の状態と、を、履歴データ２２２に記憶する。

【0123】

以上説明したように、ロボット（電子機器）１００は、家族を構成するユーザ１０の状態、および、ユーザ１０によって飼育されるペット１３の状態の少なくともいずれかを認識し、認識した状態に対応する自身の行動を決定し、決定した自身の行動に基づいて制御対象を制御する制御部を備える。これにより、ロボット１００は、ユーザ１０に対し、家族やペット１３に関する適切なアドバイスを行うといった、適切な行動を実行することができる。

【0124】

また、ロボット１００の制御部は、ペット１３の行動をペット１３の状態として認識した場合、ペット１３の行動に応じたペット１３に関するアドバイス情報を提供する行動を自身の行動として決定する。これにより、ロボット１００は、ペット１３の行動に即した、ペット１３に関する適切なアドバイス情報を提供することができる。

【0125】

また、ロボット１００の制御部は、ペット１３の感情をペット１３の状態として認識した場合、ペット１３の感情に応じたペット１３に関するアドバイス情報を提供する行動を自身の行動として決定する。これにより、ロボット１００は、ペット１３の感情に即した、ペット１３に関する適切なアドバイス情報を提供することができる。

【0126】

また、ペット１３に関するアドバイス情報は、ペット１３とペット１３を飼育するユーザ１０との関係に関する情報、および、ペット１３のケアに関する情報の少なくともいずれかを含む。これにより、ロボット１００は、アドバイス情報として、例えばペット１３とユーザ１０との関係を良好にするための情報や、ペット１３のケアに関する感情的な悩みに対処する方法などを提供することが可能になる。

【0127】

また、ロボット１００の制御部は、家族を構成するユーザ１０の行動を当該ユーザ１０の状態として認識した場合、当該ユーザ１０の行動に応じた家族に関するアドバイス情報を提供する行動を自身の行動として決定する。これにより、ロボット１００は、家族を構成するユーザ１０の行動に即した、家族に関する適切なアドバイス情報を提供することができる。

【0128】

また、ロボット１００の制御部は、家族を構成するユーザ１０の感情を当該ユーザ１０の状態として認識した場合、当該ユーザ１０の感情に応じた家族に関するアドバイス情報を提供する行動を自身の行動として決定する。これにより、ロボット１００は、家族を構成するユーザ１０の感情に即した、家族に関する適切なアドバイス情報を提供することができる。

【0129】

また、ロボット１００の制御部は、家族を構成する複数のユーザ１０それぞれの性格、関心、興味、志向の少なくともいずれかに基づいてアドバイス情報を生成する。これにより、ロボット１００は、ユーザ１０それぞれの性格などに即した、家族に関する適切なアドバイス情報を提供することができる。

【0130】

なお、上記では、電子機器の一例としてロボット１００を挙げたが、これに限られず、例えば外観がぬいぐるみであるロボット、スマートホン、スマートスピーカなどその他の種類の電子機器であってもよい。

【0131】

上記実施形態では、ロボット１００は、ユーザ１０の顔画像を用いてユーザ１０を認識する場合について説明したが、開示の技術はこの態様に限定されない。例えば、ロボット１００は、ユーザ１０が発する音声、ユーザ１０のメールアドレス、ユーザ１０のＳＮＳのＩＤ又はユーザ１０が所持する無線ＩＣタグが内蔵されたＩＤカード等を用いてユーザ１０を認識してもよい。

【0132】

なお、ロボット１００は、行動制御システムを備える電子機器の一例である。行動制御システムの適用対象は、ロボット１００に限られず、様々な電子機器に行動制御システムを適用できる。また、サーバ３００の機能は、１以上のコンピュータによって実装されてよい。サーバ３００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ３００の機能の少なくとも一部は、クラウドで実装されてよい。

【0133】

図６は、ロボット１００およびサーバ３００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す図である。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、および／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0134】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、およびグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、およびＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブおよびＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブおよびソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０およびキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0135】

ＣＰＵ１２１２は、ＲＯＭ１２３０およびＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0136】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／又はプログラムおよびデータをＩＣカードに書き込む。

【0137】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、および／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0138】

プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0139】

例えば、通信がコンピュータ１２００および外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0140】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0141】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0142】

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0143】

本実施形態におけるフローチャートおよびブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階および「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、およびプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、および他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0144】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0145】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0146】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0147】

（その他の実施形態）
なお、上述したロボット（電子機器）１００は、ぬいぐるみに搭載してもよく、あるいは、ぬいぐるみに搭載された制御対象機器（スピーカやカメラ）に無線又は有線で接続された制御装置に適用してもよい。

【0148】

感情決定部２３２は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情決定部２３２は、特定のマッピングである感情マップ（図７参照）に従い、ユーザの感情を決定してよい。

【0149】

図７は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向および下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

【0150】

（１）例えばロボット１００の感情決定部２３２である感情エンジンが、１００ｍｓｅｃ程度で感情を検知している場合、ロボット１００の反応動作（例えば相槌）の決定は、頻度が少なくとも、感情エンジンの検知頻度（１００ｍｓｅｃ）と同様のタイミングに設定してよく、これよりも早いタイミングに設定してもよい。感情エンジンの検知頻度はサンプリングレートと解釈してよい。

【0151】

１００ｍｓｅｃ程度で感情を検知し、即時に連動して反動動作（例えば相槌）を行うことで、不自然な相槌ではなくなり、自然な空気を読んだ対話を実現できる。ロボット１００感情マップ４００の曼荼羅の方向性とその度合い（強さ）に応じて、反動動作（相槌など）を行う。なお、感情エンジンの検知頻度（サンプリングレート）は、１００ｍｓに限定されず、シチュエーション（スポーツをしている場合など）、ユーザの年齢などに応じて、変更してもよい。

【0152】

（２）感情マップ４００と照らし合わせ、感情の方向性とその度合いの強さを予め設定しておき、相槌の動きおよび相槌の強弱を設定してよい。例えば、ロボット１００が安定感、安心などを感じている場合、ロボット１００は、頷いて話を聞き続ける。ロボット１００が不安、迷い、怪しい感じを覚えている場合、ロボット１００は、首をかしげてもよく、首振りを止めてもよい。

【0153】

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

【0154】

（３）ロボット１００が褒められて快感を覚えた場合、「あー」というフィラーが台詞の前に入り、きつい言葉をもらって痛感を覚えた場合、「うっ！」というフィラーが台詞の前に入ってよい。また、ロボット１００が「うっ！」と言いつつうずくまる仕草などの身体的な反応を含めてよい。これらの感情は、感情マップ４００の９時あたりに分布している。

【0155】

（４）感情マップ４００の左半分では、状況認識よりも内部的な感覚（反応）の方が優位に立つ。よって、思わず反応してしまった印象を与え得る。

【0156】

ロボット１００が納得感という内部的な感覚（反応）を覚えながら状況認識においても好感を覚える場合、ロボット１００は、相手を見ながら深く頷いてよく、また「うんうん」と発してよい。このように、ロボット１００は、相手へのバランスのとれた好感、すなわち、相手への許容や寛容といった行動を生成してよい。このような感情は、感情マップ４００の１２時あたりに分布している。

【0157】

逆に、ロボット１００が不快感という内部的な感覚（反応）を覚えながら状況認識においても、ロボット１００は、嫌悪を覚えるときには首を横に振る、憎しみを覚えるくらいになると、目のＬＥＤを赤くして相手を睨んでもよい。このような感情は、感情マップ４００の６時あたりに分布している。

【0158】

（５）感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

【0159】

（６）感情マップ４００の３時付近に分布する安心を覚えながら、人の話を聞く場合、ロボット１００は、軽く首を縦に振って「ふんふん」と発する程度であるが、１２時付近の愛の方になると、首を深く縦に振るような力強い頷きをしてよい。

【0160】

感情決定部２３２は、センサモジュール部２１０で解析された情報、および認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザ１０の感情を決定する。このニューラルネットワークは、センサモジュール部２１０で解析された情報、および認識されたユーザ１０の状態と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図８に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図８は、感情マップの他の例を示す図である。図８では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

【0161】

また、感情決定部２３２は、特定のマッピングに従い、ロボット１００の感情を決定してよい。具体的には、感情決定部２３２は、センサモジュール部２１０で解析された情報、状態認識部２３０によって認識されたユーザ１０の状態、およびロボット１００の状態を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ロボット１００の感情を決定する。このニューラルネットワークは、センサモジュール部２１０で解析された情報、認識されたユーザ１０の状態、およびロボット１００の状態と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。例えば、タッチセンサ（図示せず）の出力から、ロボット１００がユーザ１０になでられていると認識される場合に、「嬉しい」の感情値「３」となることを表す学習データや、加速度センサ（図示せず）の出力から、ロボット１００がユーザ１０に叩かれていると認識される場合に、「怒」の感情値「３」となることを表す学習データに基づいて、ニューラルネットワークが学習される。また、このニューラルネットワークは、図８に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。

【0162】

また、感情決定部２３２は、文章生成モデルによって生成されたロボット１００の行動内容に基づいて、ロボット１００の感情を決定してもよい。具体的には、感情決定部２３２は、文章生成モデルによって生成されたロボット１００の行動内容を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、取得した各感情を示す感情値と、現在のロボット１００の各感情を示す感情値とを統合し、ロボット１００の感情を更新する。例えば、取得した各感情を示す感情値と、現在のロボット１００の各感情を示す感情値とをそれぞれ平均して、統合する。このニューラルネットワークは、文章生成モデルによって生成されたロボット１００の行動内容を表すテキストと、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。

【0163】

例えば、文章生成モデルによって生成されたロボット１００の行動内容として、ロボット１００の発話内容「それはよかったね。ラッキーだったね。」が得られた場合には、この発話内容を表すテキストをニューラルネットワークに入力すると、感情「嬉しい」の感情値として高い値が得られ、感情「嬉しい」の感情値が高くなるように、ロボット１００の感情が更新される。

【0164】

行動決定部２３６は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストに、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能を有する文章生成モデルに入力することにより、ロボットの行動内容を生成する。

【0165】

例えば、行動決定部２３６は、感情決定部２３２によって決定されたロボット１００の感情から、図９に示すような感情テーブルを用いて、ロボット１００の状態を表すテキストを取得する。図９は、感情テーブルの一例を示す図である。ここで、感情テーブルには、感情の種類毎に、各感情値に対してインデックス番号が付与されており、インデックス番号毎に、ロボット１００の状態を表すテキストが格納されている。

【0166】

感情決定部２３２によって決定されたロボット１００の感情が、インデックス番号「２」に対応する場合、「とても楽しい状態」というテキストが得られる。なお、ロボット１００の感情が、複数のインデックス番号に対応する場合、ロボット１００の状態を表すテキストが複数得られる。

【0167】

また、ユーザ１０の感情に対しても、図１０に示すような感情テーブルを用意しておく。図１０は、感情テーブルの一例を示す図である。ここで、ユーザの行動が、「ＡＡＡです。」と話しかけるであり、ロボット１００の感情が、インデックス番号「２」であり、ユーザ１０の感情が、インデックス番号「３」である場合には、「ロボットはとても楽しい状態です。ユーザは普通に楽しい状態です。ユーザに「ＡＡＡです。」と話しかけられました。ロボットとして、どのように返事をしますか？」と文章生成モデルに入力し、ロボットの行動内容を取得する。行動決定部２３６は、この行動内容から、ロボットの行動を決定する。

【0168】

このように、ロボット１００は、ロボットの感情に応じたインデックス番号に応じて、ロボットの行動を変えることができるため、ユーザは、ロボット１００に心があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。

【0169】

また、行動決定部２３６は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストだけでなく、履歴データ２２２の内容を表すテキストも追加した上で、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能に入力することにより、ロボットの行動内容を生成するようにしてもよい。これにより、ロボット１００は、ユーザの感情や行動を表す履歴データに応じて、ロボットの行動を変えることができるため、ユーザは、ロボットに個性があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。また、履歴データに、ロボットの感情や行動を更に含めるようにしてもよい。

【0170】

なお、具体的には、ぬいぐるみは、以下のように構成される。例えば、ロボット１００をユーザ１０と日常を過ごしながら、当該ユーザ１０と日常に関する情報を基に、対話を進めたり、ユーザ１０の趣味趣向に合わせた情報を提供する共同生活者（具体的には、図１１および図１２に示すぬいぐるみ１００Ｎ）に適用してもよい。本実施形態（その他の実施形態）では、上記のロボット１００の制御部分を、スマートホン５０に適用した例について説明する。

【0171】

ロボット１００の入出力デバイスとしての機能を搭載したぬいぐるみ１００Ｎは、ロボット１００の制御部分として機能するスマートホン５０が着脱可能であり、ぬいぐるみ１００Ｎの内部で、入出力デバイスと、収容されたスマートホン５０とが接続されている。

【0172】

図１１（Ａ）に示される如く、ぬいぐるみ１００Ｎは、本実施形態（その他の実施形態）では、外観が柔らかい布生地で覆われた熊の形状であり、図１１（Ｂ）に示される如く、その内方に形成された空間部５２には、入出力デバイスとして、耳５４に相当する部分にセンサ部２００のマイク２０１（図２参照）が配置され、目５６に相当する部分にセンサ部２００の２Ｄカメラ２０３が配置され（図２参照）、および、口５８に相当する部分に制御対象２５２（図２参照）の一部を構成するスピーカ６０が配置されている。なお、マイク２０１およびスピーカ６０は、必ずしも別体である必要はなく、一体型のユニットであってもよい。ユニットの場合は、ぬいぐるみ１００Ｎの鼻の位置など、発話が自然に聞こえる位置に配置するとよい。なお、ぬいぐるみ１００Ｎは、動物の形状である場合を例に説明したが、これに限定されるものではない。ぬいぐるみ１００Ｎは、特定のキャラクターの形状であってもよい。

【0173】

スマートホン５０は、図２に示す、センサモジュール部２１０としての機能、格納部２２０としての機能、状態認識部２３０としての機能、感情決定部２３２としての機能、行動認識部２３４としての機能、行動決定部２３６としての機能、記憶制御部２３８としての機能、行動制御部２５０としての機能、通信処理部２８０としての機能を有する。

【0174】

図１２に示される如く、ぬいぐるみ１００Ｎの一部（例えば、背部）には、ファスナー６２が取り付けられており、当該ファスナー６２を開放することで、外部と空間部５２とが連通する構成となっている。

【0175】

ここで、スマートホン５０が、外部から空間部５２へ収容され、ＵＳＢハブ６４（図１１（Ｂ）参照）を介して、各入出力デバイスとＵＳＢ接続することで、図１に示すロボット１００と同等の機能を持たせることができる。

【0176】

また、ＵＳＢハブ６４には、非接触型の受電プレート６６が接続されている。受電プレート６６には、受電用コイル６６Ａが組み込まれている。受電プレート６６は、ワイヤレス給電を受電するワイヤレス受電部の一例である。

【0177】

受電プレート６６は、ぬいぐるみ１００Ｎの両足の付け根部６８付近に配置され、ぬいぐるみ１００Ｎを載置ベース７０に置いたときに、最も載置ベース７０に近い位置となる。載置ベース７０は、外部のワイヤレス送電部の一例である。

【0178】

この載置ベース７０に置かれたぬいぐるみ１００Ｎが、自然な状態で置物として鑑賞することが可能である。

【0179】

また、この付け根部は、他の部位のぬいぐるみ１００Ｎの表層厚さに比べて薄く形成しており、より載置ベース７０に近い状態で保持されるようになっている。

【0180】

載置ベース７０には、充電パット７２を備えている。充電パット７２は、送電用コイル７２Ａが組み込まれており、送電用コイル７２Ａが信号を送って、受電プレート６６の受電用コイル６６Ａを検索し、受電用コイル６６Ａが見つかると、送電用コイル７２Ａに電流が流れて磁界を発生させ、受電用コイル６６Ａが磁界に反応して電磁誘導が始まる。これにより、受電用コイル６６Ａに電流が流れ、ＵＳＢハブ６４を介して、スマートホン５０のバッテリー（図示省略）に電力が蓄えられる。

【0181】

すなわち、ぬいぐるみ１００Ｎを置物として載置ベース７０に載置することで、スマートホン５０は、自動的に充電されるため、充電のために、スマートホン５０をぬいぐるみ１００Ｎの空間部５２から取り出す必要がない。

【0182】

なお、本実施形態（その他の実施形態）では、スマートホン５０をぬいぐるみ１００Ｎの空間部５２に収容して、有線による接続（ＵＳＢ接続）したが、これに限定されるものではない。例えば、無線機能（例えば、「Bluetooth（登録商標）」）を持たせた制御装置をぬいぐるみ１００Ｎの空間部５２に収容して、制御装置をＵＳＢハブ６４に接続してもよい。この場合、スマートホン５０を空間部５２に入れずに、スマートホン５０と制御装置とが、無線で通信し、外部のスマートホン５０が、制御装置を介して、各入出力デバイスと接続することで、図１に示すロボット１００と同等の機能を持たせることができる。また、制御装置をぬいぐるみ１００Ｎの空間部５２に収容した制御装置と、外部のスマートホン５０とを有線で接続してもよい。

【0183】

また、本実施形態（その他の実施形態）では、熊のぬいぐるみ１００Ｎを例示したが、他の動物でもよいし、人形であってもよいし、特定のキャラクターの形状であってもよい。また、着せ替え可能でもよい。さらに、表皮の材質は、布生地に限らず、ソフトビニール製等、他の材質でもよいが、柔らかい材質であることが好ましい。

【0184】

さらに、ぬいぐるみ１００Ｎの表皮にモニタを取り付けて、ユーザ１０に視覚を通じて情報を提供する制御対象２５２を追加してもよい。例えば、目５６をモニタとして、目に映る画像によって喜怒哀楽を表現してもよいし、腹部に、内蔵したスマートホン５０のモニタが透過する窓を設けてもよい。さらに、目５６をプロジェクターとして、壁面に投影した画像によって喜怒哀楽を表現してもよい。

【0185】

他の実施形態によれば、ぬいぐるみ１００Ｎの中に既存のスマートホン５０を入れ、そこから、ＵＳＢ接続を介して、カメラ２０３、マイク２０１、スピーカ６０等をそれぞれ適切な位置に延出させた。

【0186】

さらに、ワイヤレス充電のために、スマートホン５０と受電プレート６６とをＵＳＢ接続して、受電プレート６６を、ぬいぐるみ１００Ｎの内部からみてなるべく外側に来るように配置した。

【0187】

スマートホン５０のワイヤレス充電を使おうとすると、スマートホン５０をぬいぐるみ１００Ｎの内部からみてできるだけ外側に配置しなければならず、ぬいぐるみ１００Ｎを外から触ったときにごつごつしてしまう。

【0188】

そのため、スマートホン５０を、できるだけぬいぐるみ１００Ｎの中心部に配置し、ワイヤレス充電機能（受電プレート６６）を、できるだけぬいぐるみ１００Ｎの内部からみて外側に配置した。カメラ２０３、マイク２０１、スピーカ６０、およびスマートホン５０は、受電プレート６６を介してワイヤレス給電を受電する。

【0189】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0190】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0191】

５ システム、１０、１１、１２ ユーザ、２０ 通信網、１００、１０１、１０２ ロボット、２００ センサ部、２０１ マイク、２０２ ３Ｄ深度センサ、２０３ ２Ｄカメラ、２０４ 距離センサ、２１０ センサモジュール部、２１１ 音声感情認識部、２１２ 発話理解部、２１３ 表情認識部、２１４ 顔認識部、２２０ 格納部、２２１ 反応ルール、２２２ 履歴データ、２２３ キャラクターデータ、２３０ 状態認識部、２３２ 感情決定部、２３４ 行動認識部、２３６ 行動決定部、２３８ 記憶制御部、２５０ 行動制御部、２５２ 制御対象、２８０ 通信処理部、３００ サーバ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ－ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】