特開 2024-167000 記録制御システム及び記録制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167000

(43)【公開日】2024-11-29

(54)【発明の名称】記録制御システム及び記録制御プログラム

(51)【国際特許分類】

   G06N 3/004 20230101AFI20241122BHJP

   B25J 13/00 20060101ALN20241122BHJP

【ＦＩ】

G06N3/004

B25J13/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023083501

(22)【出願日】2023-05-19

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS34

3C707AS36

3C707BS27

3C707KS11

3C707KS39

3C707KT03

3C707LW12

3C707WA03

3C707WL05

3C707WL07

3C707WL12

3C707WL13

3C707WL15

3C707WM07

3C707WM29

(57)【要約】

【課題】ユーザ又はロボットの感情に応じてデータを適切に記録すること。
【解決手段】ロボットは、ロボットに備えられたセンサによって検出された情報に基づいて、ロボット又はユーザの感情の強さを示す感情値、又は感情の種類を決定する。ロボットは、センサによって検出されたユーザに関する情報を示すデータを記録する記録態様を、決定した情報に基づいて特定する。ロボットは、特定した記録態様に基づいて、データを記録する。
【選択図】図１７

【特許請求の範囲】

【請求項1】

ロボットに備えられたセンサによって検出された情報に基づいて、前記ロボット又はユーザの感情の強さを示す感情値、又は感情の種類を決定する感情決定部と、
前記センサによって検出された前記ユーザに関する情報を示すデータを記録する態様を、前記感情決定部によって決定された情報に基づいて特定する特定部と、
前記特定部によって特定された態様に基づいて、前記データを記録する記録制御部と、
を備える記録制御システム。

【請求項2】

前記特定部は、前記データにテキスト、音声、静止画像、動画像のいずれが含まれるかを、前記データを記録する態様として特定する
請求項１に記載の記録制御システム。

【請求項3】

前記特定部は、前記データの最大の容量を、前記データを記録する態様として特定する
請求項１に記載の記録制御システム。

【請求項4】

前記特定部は、時間を定義可能な前記データの最大の長さを、前記データを記録する態様として特定する
請求項１に記載の記録制御システム。

【請求項5】

前記特定部は、前記データに、前記ロボットが存在する場所の匂い、気温、湿度、位置、天候、近くのユーザの人数及び詳細のうちのいずれを含めるかを、前記データを記録する態様として特定する
請求項１に記載の記録制御システム。

【請求項6】

ロボットに備えられたセンサによって検出された情報に基づいて、前記ロボット又はユーザの感情の強さを示す感情値、又は感情の種類を決定する感情決定ステップと、
前記センサによって検出された前記ユーザに関する情報を示すデータを記録する態様を、前記感情決定ステップによって決定された情報に基づいて特定する特定ステップと、
前記特定ステップによって特定された態様に基づいて、前記データを記録する記録制御ステップと、
をコンピュータに実行させる記録制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記録制御システム及び記録制御プログラムに関する。

【背景技術】

【0002】

ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。また、ユーザ情報、機器情報及び自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットを備える感情生成装置が知られている（例えば、特許文献２参照）。また、方向性人工シナプス接続性を有するレイヤ・ニューラルネット関係を有する複数の電子ニューロンを含む連想メモリに時空パターンを記憶する技術が知られている（例えば、特許文献３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２５３３８９号公報

【特許文献2】特開平１０－２５４５９２号公報

【特許文献3】特表２０１３－５３５０６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、ユーザ又はロボットの感情に応じてデータを適切に記録することができない場合がある。

【課題を解決するための手段】

【0005】

本発明の一態様に係る記録制御システムは、ロボットに備えられたセンサによって検出された情報に基づいて、前記ロボット又はユーザの感情の強さを示す感情値、又は感情の種類を決定する感情決定部と、前記センサによって検出された前記ユーザに関する情報を示すデータを記録する態様を、前記感情決定部によって決定された情報に基づいて特定する特定部と、前記特定部によって特定された態様に基づいて、前記データを記録する記録制御部と、を備える。

【発明の効果】

【0006】

実施形態の一態様によれば、ユーザ又はロボットの感情に応じてデータを適切に記録することができる。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係るシステム５の一例を概略的に示す。

【図2】ロボット１００がユーザ１０に対して実行する行動を概略的に示す。

【図3】ロボット１００がデータの記録を実行する場面を概略的に示す。

【図4】ロボット１００の機能構成を概略的に示す。

【図5】サーバ２００の機能構成を概略的に示す。

【図6】知覚処理部４１６が知覚する情報を概略的に示す。

【図7】意味理解部４１８が理解する情報を概略的に示す。

【図8】反応ルール４２１に含まれる情報をテーブル形式で示す。

【図9】反応ルールに基づく処理を概略的に示す。

【図10】ロボット１００による動作フローの一例を概略的に示す。

【図11】サーバ２００が格納している反応ルール統計情報５２２の一例を示す。

【図12】サーバ２００に記録させる情報に付帯するラベルを決定するために実行する行動を概略的に示す。

【図13】記録形式を切り換えるための記録形式切換ルール４７１の一例を示す。

【図14】記録形式の切り換えに関する動作フローの一例を概略的に示す。

【図15】パターンテーブルの例を示す。

【図16】記録態様テーブルの例を示す。

【図17】感情に応じた記録態様でデータを記録する処理のフローの例を示す。

【図18】ロボット１００及びサーバ２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す図である。

【発明を実施するための形態】

【0008】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0009】

図１は、本実施形態に係るシステム５の一例を概略的に示す。システム５は、ロボット１００、ロボット１０１、ロボット１０２、及びサーバ２００を備える。ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄは、ロボット１００のユーザである。ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃは、ロボット１０１のユーザである。ユーザ１２ａ及びユーザ１２ｂは、ロボット１０２のユーザである。なお、本実施形態の説明において、ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄを、ユーザ１０と総称する場合がある。また、ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃを、ユーザ１１と総称する場合がある。また、ユーザ１２ａ及びユーザ１２ｂを、ユーザ１２と総称する場合がある。ロボット１０１及びロボット１０２は、ロボット１００と略同一の機能を有する。そのため、ロボット１００の機能を主として取り上げてシステム５を説明する。

【0010】

ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したりする。このとき、ロボット１００は、通信網２０を介して通信可能なサーバ２００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ２００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ２００に記録させ、必要に応じて映像データ等をサーバ２００に要求して、ユーザ１０に提供する。

【0011】

また、ロボット１００は、自身の感情の種類を表す感情値を持つ。例えば、ロボット１００は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」及び「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット１００は、例えば興奮の感情値が大きい状態でユーザ１０と会話するときは、早いスピードで音声を発する。このように、ロボット１００は、自己の感情を行動で表現することができる。

【0012】

また、ロボット１００は、ユーザ１０の感情を認識する機能を有する。ロボット１００は、カメラ機能で取得したユーザ１０の顔画像や、マイク機能で取得したユーザ１０の音声を解析することによって、ユーザ１０の感情を認識する。ロボット１００は、認識したユーザ１０の感情等に基づいて、ロボット１００が実行する行動を決定する。例えば、ロボット１００は、ユーザ１０が寂しそうだと認識した場合に、ユーザ１０に対して声をかける等の行動を実行する。

【0013】

ロボット１００は、ユーザ１０の感情や自己の感情等に基づいてロボット１００が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。図２及び図３等に関連して、ルールに基づく行動の一例を概略的に説明する。

【0014】

図２は、ロボット１００がユーザ１０に対して実行する行動を概略的に示す。ロボット１００には、ユーザ１０の感情に基づいて行動を決定するための反応ルールを有している。図示された反応ルールによると、ロボット１００の感情が「普通」であり、ユーザの状態が「１人、寂しそう」という条件が満たされた場合に、ロボット１００の感情が「心配になる」という感情の変化内容と、「声をかける」の行動を実行できることが定められている。ここで、行動には、ユーザ１０の思いやりの強さを表す思いやりポイントが対応付けられている。

【0015】

ロボット１００は、反応ルールに基づいて、ロボット１００の現在の感情が「普通」であり、かつ、ユーザ１０が１人で寂しそうな状態にあると認識した場合、ロボット１００の「心配」の感情値を増大させる。また、ロボット１００は、反応ルールで定められた「声をかける」という行動を、ユーザ１０に対して実行する行動として選択する。例えば、ロボット１００は、「声をかける」という行動を選択した場合に、心配していることを表す「どうしたの？」という言葉を、心配そうな音声に変換して出力する。

【0016】

ロボット１００は、ユーザ１０に音声を出力した後に、ユーザ１０の感情の変化を認識する。例えば、ロボット１００が「どうしたの？」という音声を出力した後に、ユーザ１０が「ありがとう。大丈夫だよ！」と返答すると、ロボット１００は、ユーザ１０の返答を音声解析することによって、ユーザ１０の感情が好転したと認識する。ロボット１００は、「声をかける」という行動によって、ユーザ１０の感情が好転したことから、「声をかける」という行動が思いやり度の高い行動であったと判断して、「声をかける」という行動の思いやりポイントを高める。これにより、ロボット１００は、ユーザ１０にとって適正な行動を学習していくことができる。

【0017】

また、ロボット１００は、この行動によって、ユーザ１０からポジティブな反応が得られたことを示すユーザ反応情報を、サーバ２００に送信する。ユーザ反応情報には、例えば、「一人、寂しそう」という条件、「声をかける」という行動、ユーザ１０の反応がポジティブであったこと、及びユーザ１０の属性が含まれる。

【0018】

サーバ２００は、ロボット１００から受信したユーザ反応情報を記憶する。なお、サーバ２００は、ロボット１００だけでなく、ロボット１０１及びロボット１０２のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ２００は、ロボット１００、ロボット１０１及びロボット１０２からのユーザ反応情報を解析して、推奨される反応ルールを生成する。

【0019】

ロボット１００は、推奨される反応ルールをサーバ２００に問い合わせることにより、推奨される反応ルールをサーバ２００から受信する。ロボット１００は、推奨される反応ルールを、ロボット１００が記憶している反応ルールに組み込む。これにより、ロボット１００は、ロボット１０１やロボット１０２等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。

【0020】

図３は、ロボット１００がサーバ２００に記録させるデータの記録形式の切り換えを実行する場面を概略的に示す。ロボット１００には、ユーザ１０の感情に基づいて記録形式の切り換えを行うための記録形式切換ルールを有している。図示された記録形式切換ルールによると、「一定人数以上の家族がいる」及び「一定数以上、家族の笑顔が検出された」という条件が満たされた場合に、データの記録形式を「低圧縮形式に切り換える」という行動が定められている。

【0021】

ロボット１００は、この記録形式切換ルールの条件が満されていない期間には、ユーザ１０の骨格データ等の高圧縮データを連続的にサーバ２００に送信して、サーバ２００に記録させる。なお、骨格データは、ユーザの形状を表現する形状データの一例である。ロボット１００は、記録形式切換ルールの条件が満たされたと判断すると、フルＨＤの映像データ及び音声データの送信を開始して、骨格データに加えて、フルＨＤの映像データ及び音声データを含む低圧縮データをサーバ２００に記録させる。

【0022】

そして、ロボット１００は、ユーザ１０に何か楽しい映像を提供する場合に、サーバ２００にフルＨＤの映像データ及び音声データを送信するよう要求して、サーバ２００から受信した映像データをユーザ１０に提供する。これにより、ロボット１００は、ユーザ１０が強く思い出に残るようなシーンに遭遇した場合に、そのシーンの高画質な映像データをサーバ２００に蓄積することができる。

【0023】

図４は、ロボット１００の機能構成を概略的に示す。ロボット１００は、センサ部４００と、センサモジュール部４１０と、格納部４２０と、ユーザ状態認識部４３０と、条件判断部４３４と、ユーザ反応認識部４３２と、行動決定部４４０と、感情決定部４４２と、ルール更新部４２２と、通信処理部４８０と、記録データ生成部４７０と、切換制御部４７７と、ラベル生成部４７８と、制御対象４５２とを有する。

【0024】

制御対象４５２は、表示装置、スピーカ及び目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット１００の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット１００の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット１００の目部のＬＥＤの発光状態を制御することによっても、ロボット１００の感情の一部を表現できる。なお、ロボット１００の姿勢、仕草及び表情は、ロボット１００の態度の一例である。

【0025】

センサ部４００は、マイク４０１と、３Ｄ深度センサ４０２と、２Ｄカメラ４０３と、距離センサ４０４とを含む。マイク４０１は、音声を連続的に検出して音声データを出力する。なお、マイク４０１は、ロボット１００の頭部に設けられ、バイノーラル録音を行う機能を有してよい。３Ｄ深度センサ４０２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。２Ｄカメラ４０３は、イメージセンサの一例である。２Ｄカメラ４０３は、可視光によって撮影して、可視光の映像情報を生成する。距離センサは、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部４００は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ等を含んでよい。

【0026】

なお、図４に示すロボット１００の構成要素のうち、制御対象４５２及びセンサ部４００を除く構成要素は、ロボット１００が有する行動制御システムが有する構成要素の一例である。ロボット１００の行動制御システムは、制御対象４５２を制御の対象とする。

【0027】

格納部４２０は、反応ルール４２１と、知覚確認ルール４１７と、意味理解ルール４１９と、記録形式切換ルール４７１と、人物ＤＢ４２４とを含む。格納部４２０の少なくとも一部は、メモリ等の記憶媒体によって実装される。人物ＤＢ４２４は、ユーザ１０の顔画像、ユーザ１０の属性情報等を格納する。なお、図４に示すロボット１００の構成要素のうち、制御対象４５２、センサ部４００及び格納部４２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）及びＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0028】

センサモジュール部４１０は、音声感情認識部４１１と、発話理解部４１２と、表情認識部４１３と、顔認識部４１４とを含む。センサモジュール部４１０には、センサ部４００で検出された情報が入力される。センサモジュール部４１０は、センサ部４００で検出された情報を解析して、解析結果をユーザ状態認識部４３０に出力する。

【0029】

センサモジュール部４１０の音声感情認識部４１１は、マイク４０１で検出されたユーザ１０の音声を解析して、ユーザ１０の感情を認識する。例えば、音声感情認識部４１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ１０の感情を認識する。発話理解部４１２は、マイク４０１で検出されたユーザ１０の音声を解析して、ユーザ１０の発話内容を表す文字情報を出力する。

【0030】

表情認識部４１３は、２Ｄカメラ４０３で撮影されたユーザ１０の画像から、ユーザ１０の表情及びユーザ１０の感情を認識する。例えば、表情認識部４１３は、目及び口の形状、位置関係等に基づいて、ユーザ１０の表情及び感情を認識する。

【0031】

顔認識部４１４は、ユーザ１０の顔を認識する。顔認識部４１４は、人物ＤＢ４２４に格納されている顔画像と、２Ｄカメラ４０３によって撮影されたユーザ１０の顔画像とをマッチングすることによって、ユーザ１０を認識する。

【0032】

ユーザ状態認識部４３０は、ユーザ１０の状態を認識する。ユーザ状態認識部４３０は、知覚処理部４１６及び意味理解部４１８を含む。センサモジュール部４１０で解析された情報は、知覚処理部４１６に出力される。知覚処理部４１６は、センサモジュール部４１０の解析結果及び格納部４２０の知覚確認ルール４１７を用いて、主として知覚に関する処理を行う。例えば、知覚処理部４１６は、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成する。

【0033】

意味理解部４１８は、知覚処理部４１６で生成された知覚情報の意味を、格納部４２０の意味理解ルール４１９を用いて理解する処理を行う。例えば、意味理解部４１８は、「パパが１人、寂しそうです。」等の意味情報を生成する。なお、知覚情報や意味情報は、ユーザ１０の状態を表す情報の一例である。ここで、ユーザ１０の状態を表す情報とは、ユーザ１０の感情を表す情報を含んでよい。

【0034】

意味理解部４１８によって生成された意味情報は、条件判断部４３４、ユーザ反応認識部４３２及びラベル生成部４７８に出力される。

【0035】

条件判断部４３４は、意味情報と、格納部４２０の反応ルール４２１に基づいて、反応ルール４２１で定められている条件が満たされたことを判断する。なお、反応ルール４２１は、ロボット１００の行動を決定するための決定情報の一例である。上述したように、反応ルール４２１によって、複数の行動及び複数の行動のそれぞれの思いやりポイントが対応付けられる。また、反応ルール４２１には、ロボット１００における感情を示す感情値及びユーザ１０の状態に基づいて行動を決定するための情報が含まれる。このように、格納部４２０は、ユーザの状態に基づいて行動を決定するための情報を記憶する行動情報記憶部の一例として機能する。

【0036】

条件判断部４３４は、反応ルール４２１によって記憶されている条件が満たされたことを判断する。行動決定部４４０は、条件判断部４３４によって満たされたことが判断された条件に対応付けて反応ルール４２１で記憶されている複数の行動の中から、実行する行動を決定する。具体的には、行動決定部４４０は、条件判断部４３４によって満たされたことが判断された条件に対応付けて反応ルール４２１によって記憶されている複数の行動のそれぞれの思いやりポイントに基づいて、実行する行動を決定する。このように、行動決定部４４０は、ユーザ状態認識部４３０が認識したユーザ１０の状態と、反応ルール４２１の情報とに基づいて、実行する行動を決定する。

【0037】

感情決定部４４２は、意味理解部４１８によって生成された意味情報に基づいて、ロボット１００の現在の感情を示す感情値を決定する。このように、感情決定部４４２は、ユーザ状態認識部４３０が認識したユーザの状態に基づいて、ロボット１００の現在の感情を示す感情値を決定する。

【0038】

行動制御部４５０は、行動決定部４４０が決定した行動に基づいて、制御対象４５２を制御する。例えば、行動制御部４５０は、行動決定部４４０が発話することを決定した場合に、制御対象４５２に含まれるスピーカから音声を出力させる。このとき、行動制御部４５０は、感情決定部４４２が更新した感情値に基づいて、音声の発声速度を決定する。例えば、行動制御部４５０は、興奮の感情値が大きいほど、速い発生速度を決定する。このように、行動制御部４５０は、感情決定部４４２が決定した感情値に基づいて、行動決定部４４０が決定した行動の実行形態を決定する。

【0039】

ユーザ反応認識部４３２は、行動決定部４４０が決定した行動を実行したことに対するユーザ１０の感情の変化を認識する。なお、ユーザ１０の感情の変化は、ユーザ１０の反応の一例である。すなわち、ユーザ反応認識部４３２は、行動決定部４４０が決定した行動を実行したことに対するユーザ１０の反応を認識する。なお、ユーザ反応認識部４３２は、ユーザ１０の音声や表情に基づいて感情の変化を認識してよい。その他、ユーザ反応認識部４３２は、センサ部４００に含まれるタッチセンサで衝撃が検出されたことに基づいて、ユーザ１０の感情の変化を認識してよい。例えば、ユーザ反応認識部４３２は、センサ部４００に含まれるタッチセンサで衝撃が検出された場合に、ユーザ１０の感情が悪くなったと認識してよい。

【0040】

ユーザ反応認識部４３２によって認識されたユーザ１０の反応を示す情報は、感情決定部４４２、通信処理部４８０及びラベル生成部４７８に出力される。上述したように、感情決定部４４２は、ユーザ状態認識部４３０によってユーザ１０が寂しそうと認識された場合、反応ルール４２１に従って、悲しさの感情値を増大させてよい。また、ユーザ反応認識部４３２によって、ユーザ１０が笑顔になったと認識された場合、反応ルール４２１によって、喜び感情値を増大させてよい。このように、感情決定部４４２は、ユーザ状態認識部４３０が認識したユーザの状態及び行動決定部４４０が決定した行動を実行したことに対するユーザの反応の少なくとも一方に基づいて、感情値を更新する。

【0041】

また、ルール更新部４２２は、ユーザ反応認識部４３２が認識したユーザ１０の感情の変化に基づいて、行動決定部４４０が決定した行動に対応づけて反応ルール４２１によって記憶されている思いやりポイントを変更する。具体的には、ルール更新部４２２は、ユーザ反応認識部４３２が認識したユーザ１０の感情の変化に基づいて、条件判断部４３４によって満たされたことが判断された条件に対応付けて反応ルール４２１によって記憶されている複数の行動の思いやりポイントのうち、行動決定部４４０が決定した行動の思いやりポイントを変更する。例えば、ルール更新部４２２は、ユーザ反応認識部４３２によってユーザ１０の感情が良くなったことが認識された場合に、条件判断部４３４によって満たされたことが判断された条件及び行動決定部４４０が決定した行動に対応付けて反応ルール４２１によって記憶されている思いやりポイントを大きくする。一方、ルール更新部４２２は、ユーザ反応認識部４３２によってユーザ１０の感情が悪くなったことが認識された場合に、条件判断部４３４によって満たされたことが判断された条件及び行動決定部４４０が決定した行動に対応付けて反応ルール４２１によって記憶されている思いやりポイントを小さくする。

【0042】

通信処理部４８０は、サーバ２００との通信を担う。上述したように、通信処理部４８０は、ユーザ反応情報をサーバ２００に送信する。このように、通信処理部４８０は、ユーザ状態認識部４３０が認識したユーザ１０の状態、行動決定部４４０が決定した行動、及びユーザ反応認識部４３２が認識したユーザ１０の反応を、サーバ２００に送信する。また、通信処理部４８０は、行動決定部４４０がユーザ１０の状態と反応ルール４２１とに基づいて実行する行動を決定できなかった場合に、推奨される反応ルールをサーバ２００から受信する。このように、通信処理部４８０は、行動決定部４４０がユーザ１０の状態と反応ルール４２１とに基づいて実行する行動を決定できなかった場合に、ユーザ状態認識部４３０が認識したユーザ１０の状態に適した行動を、サーバ２００から受信する。

【0043】

ルール更新部４２２は、通信処理部４８０がサーバ２００から受信した、推奨される反応ルールに基づいて、反応ルール４２１を更新する。このように、ルール更新部４２２は、通信処理部４８０がサーバ２００から受信した行動に基づいて、反応ルール４２１を更新する。

【0044】

なお、感情決定部４４２は、ユーザ状態認識部４３０が認識したユーザ１０の状態に基づいて行動決定部４４０がユーザに対する行動を決定できなかった場合に、悲しさの強さを表す感情値を、より大きい悲しさの強さを表す値に変更してよい。

【0045】

記録データ生成部４７０は、センサ部４００によって検出された情報に基づいて、サーバ２００に記録させるデータを生成する。通信処理部４８０は、記録データ生成部４７０が生成した情報を、外部のサーバに送信してサーバに記録させる。

【0046】

例えば、記録データ生成部４７０は、３Ｄ深度センサ４０２により連続的に検出された骨格情報に基づいて、記録用の骨格データを連続的に生成する。また、記録データ生成部４７０は、２Ｄカメラ４０３によって撮影された映像情報に基づいて、記録用の映像データを生成する。例えば、記録データ生成部４７０は、フルＨＤの映像データを生成する。また、記録データ生成部４７０は、マイク４０１により連続的に検出された音声情報に基づいて、記録用の音声データを生成する。

【0047】

ここで、映像データは、例えばフルＨＤの映像データであり、骨格データより情報量が多い。したがって、骨格データは、高圧縮データとみなすことができ、映像データは、低圧縮データとみなすことができる。このように、骨格データは、第１記録形式の情報の一例であり、映像データは、第１記録形式の情報より情報量が多い第２記録形式の情報の一例である。このように、記録データ生成部４７０は、ユーザ１０を連続的に検出するセンサによって検出された情報の少なくとも一部を連続的に処理して、第１記録形式の情報又は第１記録形式の情報より情報量が多い第２記録形式の情報を生成する。

【0048】

ここで、知覚処理部４１６は、センサ部４００によって検出された情報の少なくとも一部に基づいて、認識された家族の数及び笑顔が検出された家族の数を知覚する。上述したように、知覚処理部４１６は、センサ部４００によって検出されたユーザ１０の画像及びユーザ１０の音声の少なくとも一方に基づいて、笑っているユーザを知覚する。ここで、笑顔は、ユーザ１０の感情の強さを表す情報の一例である。したがって、笑顔が検出された家族の数は、複数のユーザ１０のそれぞれの感情の強さの合計値の一例である。このように、知覚処理部４１６は、センサ部４００によって検出された情報の少なくとも一部に基づいて、ユーザの感情の強さを検出する。

【0049】

そして、知覚処理部４１６は、記録形式切換ルール４７１に基づいて、一定数以上の家族が認識され、かつ、一定数以上の家族の笑顔が検出されたか否かを知覚する。そして、切換制御部４７７は、記録データ生成部４７０に骨格データを生成させている場合に、知覚処理部４１６によって一定数以上の家族が認識され、かつ、一定数以上の家族の笑顔が検出されたことに応じて、記録データ生成部４７０に映像データの生成を開始させる。このように、切換制御部４７７は、記録データ生成部４７０に第１記録形式の情報を生成させている場合に、複数のユーザ１０の数が予め定められた人数を超え、かつ、検出された感情の強さの合計値が予め定められた閾値を超えたことに応じて、記録データ生成部４７０に生成させる情報の記録形式を、第１記録形式から、第１記録形式の情報より情報量が多い第２記録形式に切り換える。

【0050】

ラベル生成部４７８は、記録データに付帯されて記録されるラベルを生成する。ラベルは、記録データに付帯される付帯情報の一例である。ラベル生成部４７８は、例えば「ヨシコちゃんのお誕生日」、「ヨシコちゃんの誕生パーティー」等の言葉を含むラベルを生成する。ラベルの他の例としては、「進学祝い」、「クリスマス」及び「正月」等を例示できる。ラベル生成部４７８は、日時情報や、ユーザ１０への質問に対してユーザ反応認識部４３２で認識された返答内容に基づいて、誕生日であることや誕生パーティーをしている等の状況を判断して、判断した状況に基づいてラベルを生成する。このように、ラベル生成部４７８は、センサ部４００サで検出された情報の少なくとも一部に基づいて、現在の状況を表す１以上の言葉を含むラベルを生成する。通信処理部４８０は、記録データ生成部４７０が生成した記録データにラベル生成部４７８が生成したラベルを対応付けて、サーバ２００に送信してサーバ２００に記録させる。

【0051】

図５は、サーバ２００の機能構成を概略的に示す。サーバ２００は、格納部５２０と、反応ルール生成部５３０と、反応ルール検索部５４０と、統計情報制御部５５０と、アクセス制御部５６０と、通信処理部５８０とを有する。

【0052】

格納部５２０には、反応ルール５２１、反応ルール統計情報５２２及び記録データ５６１が格納される。反応ルール５２１は、反応ルール４２１と同様の情報を含む。反応ルール統計情報５２２は、反応ルール４２１と同様の情報に加えて、ユーザ１０、ユーザ１１及びユーザ１２の属性情報と、ポジティブな反応が得られた割合の情報を含む。記録データ５６１は、上述した骨格データ、映像データ及び音声データ等の、記録用のデータである。

【0053】

通信処理部５８０は、ロボット１００、ロボット１０１及びロボット１０２とサーバ２００との間の通信を担う。通信処理部５８０は、ロボット１００から送信されたユーザ反応情報を受信する。上述したように、ロボット１０１及びロボット１０２も、ロボット１００が有する機能と同様の機能を有する。したがって、例えばロボット１０１は、ユーザ１１に対して実行した行動に対する反応を含むユーザ反応情報を、サーバ２００に送信する。通信処理部５８０は、ロボット１０１から送信されたユーザ反応情報及びロボット１０２から送信されたユーザ反応情報を受信する。このように、通信処理部５８０は、ロボット１０１において認識されたユーザ１１の状態、ロボット１０１においてユーザ１１の状態に基づいて決定された行動、及び当該行動が実行されたことに対するユーザ１１の反応を、ロボット１０１から受信する。

【0054】

統計情報制御部５５０は、格納部５２０の反応ルール統計情報５２２として、通信処理部５８０が受信したユーザ反応情報を蓄積する。このように、格納部５２０には、通信処理部５８０が受信したユーザの状態、行動、及びユーザの反応を対応づけて記憶される。統計情報制御部５５０に蓄積されるユーザ反応情報は、ユーザ１０に関するユーザ反応情報、ユーザ１１に関するユーザ反応情報及びユーザ１２に関するユーザ反応情報を含む。

【0055】

反応ルール生成部５３０は、反応ルール統計情報５２２に蓄積されているユーザ反応情報に基づいて、推奨される反応ルールを生成して、反応ルール５２１として格納する。反応ルール統計情報５２２に含まれる情報に基づいて、ポジティブな反応が得られた行動を含む反応ルールを、推奨される反応ルールとして生成する。

【0056】

ここで、ロボット１００が、推奨される反応ルールをサーバ２００に問い合わせた場合の動作を説明する。ロボット１００は、ロボット１００において認識されたユーザ１０の状態をサーバ２００に送信することによって、推奨される反応ルールをサーバ２００に問い合わせる。この場合、反応ルール検索部５４０は、通信処理部５８０が受信したユーザ１０の状態によって満たされる条件を有する反応ルールを、反応ルール５２１及び反応ルール統計情報５２２の少なくとも一方から検索する。通信処理部５８０は、反応ルール検索部５４０によって検索された反応ルールを、推奨される反応ルールとしてロボット１００に送信する。

【0057】

このように、反応ルール検索部５４０は、通信処理部５８０が受信したユーザ１０の状態に合致する状態に対応付けて行動結果記憶部が記憶しているユーザ１０の反応に基づいて、通信処理部５８０が受信したユーザの状態に合致する状態に対応付けて反応ルール統計情報５２２に記憶されている行動の中から、通信処理部５８０が受信したユーザ１０の状態に適した行動を選択する。通信処理部５８０は、反応ルール検索部５４０が選択した行動を、ロボット１００に送信する。

【0058】

アクセス制御部５６０は、通信処理部５８０がロボット１００、ロボット１０１及びロボット１０２からそれぞれ受信した記録データを、格納部５２０の記録データ５６１に格納する。また、アクセス制御部５６０は、記録データの送信要求を通信処理部５８０が受信した場合、要求された記録データを記録データ５６１から読み出して、通信処理部５８０に送信させる。

【0059】

なお、図５に示すロボット１００の構成要素のうち、格納部４２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）及びＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0060】

図６は、知覚処理部４１６が知覚する情報を概略的に示す。知覚処理部４１６は、３Ｄ深度センサ４０２による人物検出情報６０１、顔認識部４１４による顔検出情報６０２及びユーザ認識情報６０３が入力されると、人物検出情報６０１、顔検出情報６０２及びユーザ認識情報６０３を統合して、知覚情報６１１、知覚情報６１２及び知覚情報６１３を生成する。続いて、表情認識部４１３からの笑顔検出情報６０４が入力されると、笑顔検出情報６０４を変換して、知覚情報６１４を生成する。また、知覚処理部４１６は、知覚情報６１４で知覚した笑顔でない確率の高さに基づいて、「パパもしかして寂しい？」と知覚する（知覚情報６１５）。

【0061】

ここで、知覚確認ルール４１７には、「もしかして寂しい？」と知覚した場合の知覚確認ルールとして、「誰かが１人」かつ「笑顔である確率が２０％以下」という条件部と、「マイクから３０秒、発話がないか確認する」という結論部とを持つ知覚確認ルール６３０が含まれている。知覚処理部４１６は、知覚情報６１３及び笑顔検出情報６０４から、知覚確認ルール６３０の条件部が満たされると判断して、知覚確認ルール６３０の結論部に基づいて、マイク４０１による検出結果の確認を実行する。具体的には、知覚処理部４１６は、マイク４０１から出力される音声を発話理解部４１２に解析させる。

【0062】

ここで、発話理解部４１２は、マイク４０１によって音声が３０秒間検出されなかった場合に、発話が３０秒間検出されなかったことを示すタイムアウト情報を出力する。知覚処理部４１６は、発話理解部４１２からのタイムアウト情報６０５が入力されると、タイムアウト情報６０５を「パパは何も話しません。」という知覚情報６１６に変換する。

【0063】

このようにして、知覚処理部４１６は、知覚情報６１１、知覚情報６１２、知覚情報６１３、知覚情報６１４、知覚情報６１５及び知覚情報６１６を含む知覚履歴６１０を生成する。知覚処理部４１６は、生成した知覚情報を、意味理解部４１８に出力する。

【0064】

図７は、意味理解部４１８が理解する情報を概略的に示す。意味理解部４１８には、知覚処理部４１６が生成した知覚履歴６１０が入力される。意味理解部４１８は、知覚情報６１１、知覚情報６１２、知覚情報６１３、知覚情報６１４及び知覚情報６１５から、それぞれ意味情報７１１、意味情報７１２、意味情報７１３、意味情報７１４及び意味情報７１５を生成する。

【0065】

なお、知覚情報６１４から意味情報７１４を生成する場合、意味理解部４１８は、意味理解部４１８は、知覚情報６１４に含まれる「確率９０％」という数値情報を、「あまり～でない」という情報に曖昧化する。これにより、意味理解部４１８は、知覚情報６１４を曖昧化した意味情報７１４を生成する。

【0066】

ここで、意味理解ルール４１９には、「もしかして寂しい？」と理解した場合の意味確認ルールとして、「誰かが１人」かつ「あまり笑顔でない」かつ「何も話さない」という条件部と、「誰かが１人、寂しそう」と理解するという結論部とを持つ意味理解ルール７３０が含まれる。意味理解部４１８は、意味理解ルール７３０に基づいて、意味情報７１３、意味情報７１４及び知覚情報６１６が意味理解ルール７３０の条件部を満たすと判断すると、「パパが１人、寂しそうです。」という意味情報７１７を生成する。このように、意味理解部４１８は、意味理解ルール７３０を用いて、意味情報７１４及び知覚情報６１６を統合して意味情報７１７を生成する。

【0067】

このようにして、意味理解部４１８は、意味情報７１１、意味情報７１２、意味情報７１３、意味情報７１４、意味情報７１５及び意味情報７１７を含む意味履歴７１０を生成する。意味理解部４１８が生成した意味情報は、条件判断部４３４、ユーザ反応認識部４３２及びラベル生成部４７８に出力される。

【0068】

図６及び図７等に関連して説明したように、知覚処理部４１６及び意味理解部４１８においては、知覚結果の正確性を失いながらも、知覚結果の意味を、パターン化した言語を用いて曖昧に記憶する。

【0069】

図８は、反応ルール４２１に含まれる情報をテーブル形式で示す。反応ルール４２１は、「自己感情」及び「ユーザ状態」の条件を含む条件部と、「感情変化」及び「行動」を含む結論部と、「思いやりポイント」及び「褒められポイント」を含む「付属情報」とを含む。

【0070】

「自己感情」の条件は、ロボット１００の自己の感情に関する条件である。「ユーザ状態」は、ユーザ１０の状態に関する条件である。「感情変化」は、ロボット１００の感情をどのように変更させるかを示す。「行動」は、ロボット１００が実行できる行動を表す。「思いやりポイント」は、ユーザ１０に対する思いやりの度合いを示す。「思いやりポイント」は、適正度の一例である。

【0071】

図示されるように、反応ルール４２１の条件部は、「普通である」という「自己感情」の条件と、「誰かが一人、寂しそう」という「ユーザ状態」とを含む。この条件部に対応する結論部には、「心配になる」という感情変化を表す「感情変化」が含まれている。また、この条件部に対応する結論部として、「声をかける」、「心配そうな仕草だけ返す」及び「挨拶をする」という行動を示す「行動」が含まれている。また、「付属情報」によって、これらの「声をかける」、「心配そうな仕草だけ返す」及び「挨拶をする」という行動に対する「思いやりポイント」として、それぞれ３０ポイント、２０ポイント及び１０ポイントが対応付けられている。また、「付属情報」によって、これらの「声をかける」、「心配そうな仕草だけ返す」及び「挨拶をする」という行動に対する「褒められポイント」として、それぞれ５０ポイント、３０ポイント及び３０ポイントが対応付けられている。

【0072】

このように、反応ルール４２１は、満たされるべきユーザの状態を示す条件と、条件に対応付けられた行動とを示す情報を含む。また、反応ルール４２１は、満たされるべきロボット１００の感情を示す条件と、条件に対応付けられた行動とを示す情報を含む。また、反応ルール４２１は、ロボット１００の感情値及びユーザ１０の状態に基づいて感情値を変更するための感情変更情報を含む。そして、感情決定部４４２は、感情決定部４４２によって決定された感情値及びユーザ状態認識部４３０が認識したユーザ１０の状態に対応付けて反応ルール４２１によって記憶されている感情変更情報に基づいて、感情値を更新する。

【0073】

図９は、反応ルール４２１に基づく処理を概略的に示す。条件判断部４３４は、意味理解部４１８から「パパが一人、寂しそう」という意味情報７１７が入力されると、「パパが一人、寂しそう」というユーザ１０の状態と、現在のロボット１００の感情である「普通」の感情とによって満たされる条件部を、反応ルール４２１から検索する。

【0074】

条件判断部４３４は、「パパが一人、寂しそう」というユーザ１０の状態と、「普通」の感情とが、反応ルール４２１内の反応ルール８１０の条件部を満たすと判断する。これにより、行動決定部４４０は、反応ルール８１０で定められた「声をかける」、「心配そうな仕草だけ返す」及び「挨拶をする」を、行動の候補９１０として特定する。そして、行動決定部４４０は、特定した行動の候補９１０の中から、実際に実行する行動を選択する。例えば、行動決定部４４０は、思いやりポイントの大きさに応じた選択確率で、１つの行動を選択する。ここでは、行動決定部４４０は、「声をかける」という行動を選択したとする。

【0075】

また、感情決定部４４２は、反応ルール８１０で定められた「心配になる」という感情の変化内容に基づいて、感情値を更新する。例えば、感情決定部４４２は、心配さの強さを表す「心配」の感情値を増大させる。このように、感情決定部４４２は、反応ルール４２１に基づいて、ユーザ状態認識部４３０が認識したユーザ１０の状態に基づいて、感情値を更新する。例えば、感情決定部４４２は、ユーザ状態認識部４３０によってユーザ１０が寂しさを感じている状態にあると認識された場合に、心配の強さを表す感情値を、より大きい心配の強さを表す値に変更する。

【0076】

続いて、行動制御部４５０は、「どうしたの？」という発話内容の音声を、制御対象４５２のスピーカから出力させる。このとき、行動制御部４５０は、現在の感情値に基づいて、心配そうな感情を表す音声特性を持つ音声を出力させる。例えば、スピードが比較的に遅い音声を生成させる。なお、行動制御部４５０は、「心配になる」という感情に基づいて、「どうしたの？」という発話内容を決定してよい。

【0077】

続いて、ユーザ反応認識部４３２は、ユーザ１０の反応が検出されるのを待つ。例えば、「大丈夫だよ。ありがとう！」という音声や、そのときのユーザ１０の顔の表情に基づいて、「パパは少し笑顔です。」という意味情報９４０が意味理解部４１８から出力されると、ユーザ反応認識部４３２は、ユーザ１０が「寂しそう」な感情から「楽しそう」な感情に変化したと判断する。これにより、ルール更新部４２２は、「声をかける」という行動によってユーザ１０の感情が良くなったと判断する。これにより、「声をかける」という行動の思いやりポイントを、３０ポイントから４０ポイントに増加させる。また、ルール更新部４２２は、褒められポイントを５０ポイントから６０ポイントに増加させる。

【0078】

また、感情決定部４４２は、ロボット１００が実行した行動によってユーザ１０の感情が良くなったことから、喜びの感情値を増大させる。また、行動制御部４５０は、増大させた喜びの感情値に基づいて、喜ばしい感情になったことを動作で表現する。例えば、行動制御部４５０は、喜びを表す仕草を行わせる。

【0079】

また、通信処理部４８０は、反応ルール８１０に含まれる情報のうち「思いやりポイント」及び「褒められポイント」を除く情報と、ユーザ１０の反応がポジティブであったことを示す情報と、「パパ」として認識されたユーザ１０の属性とを含むユーザ反応情報９６０を、サーバ２００に送信する。

【0080】

このように、行動決定部４４０は、感情決定部４４２によって決定された感情値、ユーザ状態認識部４３０が認識したユーザの状態及び反応ルール４２１に基づいて、実行される行動を決定する。具体的には、行動決定部４４０は、条件判断部４３４によって満たされたことが判断された条件に対応付けて反応ルール４２１によって記憶されている複数の行動の中から、条件判断部４３４によって満たされたことが判断された条件に対応付けて反応ルール４２１によって記憶されている思いやりポイントがより高い行動を、実行する行動としてより高い頻度で決定する。なお、行動決定部４４０は、思いやりポイントが最大の行動を、実際に実行する行動として選択してよい。この場合において、思いやりポイントが最大の行動が複数存在する場合、行動決定部４４０は、思いやりポイントが最大の複数の行動の中から、実際に実行する１つの行動をランダムに選択してよい。この場合に、行動決定部４４０は、褒められポイントに応じた選択確率で、実際に実行する１つの行動を選択してもよい。

【0081】

図１０は、ロボット１００において行動を決定する動作に関する動作フローの一例を概略的に示す。図１０に示す動作フローは、例えば、ユーザ１０の感情を含む意味情報が入力された場合に開始される。なお、動作フロー中の「Ｓ」は、実行されるステップを表す。

【0082】

条件判断部４３４は、反応ルール４２１が含む条件部のうち、ロボット１００の感情と、入力された意味情報とによって満される条件部を検索する（Ｓ１００２）。条件判断部４３４は、条件部が満たされた反応ルールの有無を判断する（Ｓ１００４）。条件部が満たされた反応ルールが存在すると判断した場合、行動決定部４４０は、検索された反応ルールの結論部で定められた行動の中から、ユーザ１０に対して実行する１つの行動を選択する（Ｓ１００６）。また、感情決定部４４２は、検索された反応ルールの結論部で定められた感情変化に基づいて、感情値を更新する（Ｓ１００８）。

【0083】

続いて、行動制御部４５０は、Ｓ１００６で選択された行動を実行するよう、制御対象４５２を制御する（Ｓ１０１０）。このとき、行動制御部４５０は、Ｓ１００８で更新された後の感情値に基づいて、制御対象４５２を制御する。例えば、「心配」の感情を表す場合、行動制御部４５０は、ロボット１００の姿勢が心配そうな姿勢になるように、制御対象４５２を制御する。

【0084】

続いて、ユーザ反応認識部４３２は、ユーザ１０の反応を表す意味情報が入力されるのを監視する（Ｓ１０１２）。ユーザ１０の反応を表す意味情報が入力されると、ユーザ反応認識部４３２は、入力された意味情報に基づいて、ユーザの反応がポジティブであるか否かを判断する（Ｓ１０１６）。

【0085】

Ｓ１０１６の判断において、反応がポジティブであると判断した場合、感情決定部４４２は、「喜び」の感情値を増加させる（Ｓ１０１８）。また、ルール更新部４２２は、実行した行動に対応する思いやりポイント及び褒められポイントを増大させる。一方、Ｓ１０１６の判断において、ネガティブな反応が得られた場合、感情決定部４４２は、「悲しみ」の感情値を増加させる（Ｓ１０２２）。また、ルール更新部４２２は、実行した行動に対応する思いやりポイント及び褒められポイントを減少させる（Ｓ１０２４）。

【0086】

このように、ルール更新部４２２は、ユーザ反応認識部４３２が認識したユーザの反応が不良でなかった場合に、条件判断部４３４によって満たされたことが判断された条件及び行動決定部４４０が決定した行動に対応付けて反応ルール４２１によって記憶されている思いやりポイントを増大させる。一方、ユーザ反応認識部４３２が認識したユーザの反応が不良であった場合、ルール更新部４２２は、条件判断部４３４によって満たされたことが判断された条件及び行動決定部４４０が決定した行動に対応付けて反応ルール４２１によって記憶されている思いやりポイントを減少させる。

【0087】

また、行動制御部４５０は、行動決定部４４０が決定した行動を感情に応じて決定した実行形態で実行した後、感情決定部４４２は、当該行動が実行されたことに対するユーザの反応に基づいて、感情値を更に変化させる。具体的には、感情決定部４４２は、行動決定部４４０が決定した行動を行動制御部４５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良でなかった場合に、喜びの強さを表す感情値を、より大きい喜びの強さを表す値に変更する。また、感情決定部４４２は、行動決定部４４０が決定した行動を行動制御部４５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良であった場合に、悲しさの強さを表す感情値を、より大きい悲しさの強さを表す値に変更する。

【0088】

行動制御部４５０は、Ｓ１０１８又はＳ１０２２で決定した感情値に基づいて、ロボット１００の感情を表現する（Ｓ１０２６）。例えば、行動制御部４５０は、「喜び」の感情値を増加させた場合、制御対象４５２を制御して、ロボット１００に喜んだ仕草を行わせる。また、行動制御部４５０は、「悲しみ」の感情値を増加させた場合、ロボット１００の姿勢がうなだれた姿勢になるように、制御対象４５２を制御する。続いて、通信処理部４８０は、ユーザ反応情報をサーバ２００に送信し（Ｓ１０２８）、ロボット１００の動作の決定に関する動作を終了する。

【0089】

なお、Ｓ１００４の判断において、条件部が満たされた反応ルールが存在しなかったと判断された場合、通信処理部４８０は、サーバ２００に対して、推奨される反応ルールの問い合わせを行う。例えば、ロボット１００の感情を示す情報、入力された意味情報で表されるユーザの状態を示す情報、及び、ユーザ１０の属性を示す情報を、サーバ２００に送信する（Ｓ１０３０）。サーバ２００からは、問い合わせで送信した情報に適した反応ルールが、推奨される反応ルールとしてロボット１００に送信される。通信処理部４８０がサーバ２００から推奨される反応ルールを受信すると、ルール更新部４２２は、推奨される反応ルールを反応ルール４２１に組み込んで（Ｓ１０３２）、Ｓ１００６に移行する。この場合、Ｓ１００６及びＳ１００８では、サーバ２００から受信した反応ルールに基づいて、行動の選択及び感情値の更新を行う。このように、通信処理部４８０は、条件判断部４３４によって反応ルール４２１に含まれるいずれの条件も満たされていないことが判断された場合に、ユーザ状態認識部４３０が認識したユーザの状態に適した行動を、サーバ２００から受信する。

【0090】

なお、本動作フローによれば、条件部が満たされた反応ルールが存在しなかった場合に、推奨される反応ルールの問い合わせを行う。なお、条件部が満たされた反応ルールが存在した場合でも、どの行動に対応付けられている思いやりポイントも予め定められた値より小さい場合には、行動を決定できないと判断してよい。この場合に、通信処理部４８０は、推奨される反応ルールの問い合わせを行ってよい。すなわち、行動決定部４４０は、決定情報に含まれる情報のうち条件判断部４３４によって満たされたことが判断された条件に対応付けられた１以上の行動のうち、決定情報に含まれる思いやりポイントが予め定められた値より高い行動を、実行する行動として決定する。通信処理部４８０は、条件判断部４３４によって満たされたことが判断された条件に対応付けられた１以上の行動の思いやりポイントが、いずれも予め定められた値以下である場合に、ユーザ状態認識部４３０が認識したユーザ１０の状態に適した行動を、サーバ２００から受信してよい。そして、ルール更新部４２２は、条件判断部４３４によって満たされたことが判断された条件に対応付けて、通信処理部４８０がサーバ２００から受信した行動を反応ルールに追加してよい。

【0091】

なお、推奨される反応ルールの問い合わせは、行動決定部４４０が行動を決定できない場合の他に、バッチ処理等で定期的に行ってもよい。また、推奨される反応ルールの問い合わせは、ユーザ１０が睡眠していると判断した場合や、ロボット１００がアイドル状態またはスリープ状態に遷移した場合に行ってよい。その他、ロボット１００が行動しようとする任意のタイミングで、推奨される反応ルールの問い合わせを行ってよい。

【0092】

また、反応ルール４２１は、ユーザ１０に対して実行するべき行動が検索されなかった場合の行動を定めたルールを有してよい。例えば、反応ルール４２１は、「ユーザ１０に対して実行するべき行動が検索されなかった」という条件を定めた条件部と、「推奨される反応ルールをサーバ２００に問い合わせる」という行動を定めた結論部とを含むルールを有してよい。これにより、行動決定部４４０は、反応ルール４２１に従って、推奨される反応ルールをサーバ２００に問い合わせすることを決定してよい。

【0093】

図１１は、サーバ２００が格納している反応ルール統計情報５２２の一例を示す。反応ルール統計情報５２２は、「反応ルール」、「属性」、「人数」及び「反応結果」を含む。「反応ルール」は、「条件部」、「結論部」及び「思いやりポイント」を含む。反応ルール統計情報５２２の「条件部」、「結論部」及び「思いやりポイント」には、反応ルール４２１の「条件部」、「結論部」及び「思いやりポイント」に対応する情報が格納される。

【0094】

反応ルール統計情報５２２の「属性」には、ユーザ１０の属性が格納される。ユーザ１０の属性には、年齢層、性別、又は家庭内での役割、住んでいる地域の情報等を含む。「人数」には、反応ルール統計情報５２２に蓄積されている情報に寄与した人の数が格納される。「反応結果」には、ポジティブな反応があった回数と、ポジティネガティブな反応があった回数とを示す情報が格納される。

【0095】

通信処理部５８０がロボット１００からユーザ反応情報を受信した場合、統計情報制御部５５０は、ユーザ反応情報に含まれる属性に合致する属性に対応付けて、ユーザ反応情報に含まれる反応ルールの「条件部」及び「結論部」を、反応ルール統計情報５２２に格納する。また、統計情報制御部５５０は、ユーザ反応情報に含まれる反応の良否情報に基づいて、「ポジティブ回数」の値又は「ネガティブ回数」の値をインクリメントする。また、統計情報制御部５５０は、必要に応じて「人数」の値をインクリメントする。例えば、今回受信したユーザ反応情報が、過去において反応ルール統計情報５２２の同一レコードにユーザ反応情報を反映したことがあるユーザのユーザ反応情報である場合、「人数」の値をインクリメントしない。

【0096】

また、統計情報制御部５５０は、推奨される思いやりポイントを算出して、「反応ルール」の「思いやりポイント」に格納する。例えば、統計情報制御部５５０は、「ポジティブ回数」の値が大きいほど、推奨される思いやりポイントとしてより大きい値を算出する。具体的には、統計情報制御部５５０は、「ネガティブ回数」の値に対する「ポジティブ回数」の値の比が大きいほど、推奨される思いやりポイントとしてより大きい値を算出してよい。

【0097】

通信処理部５８０がロボット１００から推奨される反応ルールの問い合わせを受信した場合、反応ルール検索部５４０は、反応ルール５２１に格納されている反応ルールの中から、推奨される反応ルールを検索する。例えば、反応ルール検索部５４０は、反応ルール５２１から、問い合わせに含まれる「条件部」に合致する「条件部」を有する反応ルールを検索する。反応ルール検索部５４０によって検索された反応ルールは、問い合わせに対する応答として、通信処理部５８０からロボット１００に送信される。

【0098】

なお、反応ルール検索部５４０は、反応ルール統計情報５２２に格納されている反応ルールの中から、推奨される反応ルールを検索してよい。具体的には、反応ルール検索部５４０は、反応ルール統計情報５２２に格納されている反応ルールのうち、問い合わせに含まれる「条件部」に合致する「条件部」を有し、かつ、問い合わせに含まれる「属性」に合致する「属性」を有する反応ルールを検索してよい。これにより、サーバ２００は、ユーザ１０の属性に適した行動をロボット１００に提供できる。

【0099】

なお、図１２の例では、反応ルール統計情報５２２では、ユーザの属性毎に反応結果が集計されている。反応ルール統計情報の他の例としては、反応結果がユーザ別に集計されていてよい。

【0100】

図１２は、記録データに付帯されるラベルを決定するためにロボット１００が実行する行動を概略的に示す。行動決定部４４０は、日時情報及びユーザ１０の属性情報に基づいて、ユーザ１０の誕生日であることが判断された場合、誕生日であるか否かをユーザ１０に確認するために質問することを決定する。この場合、行動制御部４５０は、例えば「○○さん、今日は誕生日だね。お誕生日おめでとう！」という発話内容の音声を、制御対象４５２のスピーカから出力させる。

【0101】

その後、ユーザ反応認識部４３２は、ユーザ１０の発話内容から、ユーザ１０の反応が肯定的であったか否定的であったかを認識する。例えば、ユーザ１０が「ありがとう、嬉しいよ！」という返答をした場合、ユーザ反応認識部４３２は、ユーザ１０の反応が肯定的であったと認識する。認識されたユーザ１０の名前が「ヨシコちゃん」であった場合、ラベル生成部４７８は、「ヨシコちゃんの誕生日」というラベルを生成する。

【0102】

ラベル生成部４７８は、認識されたユーザ１０の名前を示す情報と、「ヨシコちゃんの誕生日」という情報とを含むラベルを、記録データに付帯するラベルとして生成する。通信処理部４８０は、３Ｄ深度センサ４０２で取得された骨格情報に基づく骨格データに、ラベル生成部４７８が生成したラベルを付帯した記録データを、サーバ２００に連続的に送信する。サーバ２００においては、ロボット１００から受信した記録データを、格納部５２０の記録データ５６１に格納する。

【0103】

意味理解部４１８において、３Ｄ深度センサ４０２から取得された骨格情報に基づく現在の骨格データによって、現在認識されている人数を算出する。また、過去の同じ時間帯に取得された骨格データをサーバ２００から取得して、過去の同じ時間帯に同じ室内で認識された人数の平均値を算出する。ここで、意味理解部４１８は、現在認識されている人数が、過去の同じ時間帯に同じ室内で認識された人数の平均値より予め定められた閾値以上多いと認識した場合に、いつもと違う状況であると認識する。また、意味理解部４１８は、過去の同じ時間帯に取得された骨格データに付帯されたラベルと、現在認識されているユーザ１０とを比較して、いつもは家にいないユーザ１０が現在認識されていると判断した場合に、いつもと違う状況であると認識する。なお、行動制御部４５０は、いつもと違う状況であると認識した場合、センサ部４００やセンサモジュール部４１０を制御して、より詳細な検出動作を行うように制御してよい。例えば、行動制御部４５０は、発話理解部４１２に対して、より高い精度で発話内容を認識するよう制御してよい。また、音声感情認識部４１１に対して、より高い精度で感情を認識するよう制御してよい。また、表情認識部４１３に対して、より高い精度で表情を認識するよう制御してよい。

【0104】

意味理解部４１８によっていつもと違う状況であると認識された場合、行動決定部４４０は、ユーザ１０に状況を確認するために質問することを決定する。例えば、「ヨシコちゃんの誕生日」というラベルが決定されている場合において、沢山の人が認識されていると判断した場合には、行動制御部４５０は、「ヨシコちゃんの誕生パーティーをするの？」という発話内容の音声を、制御対象４５２のスピーカから出力させる。

【0105】

この場合に、ユーザ反応認識部４３２は、ユーザ１０の発話内容から、ユーザ１０の反応が肯定的であったか否定的であったかを認識する。例えば、ユーザ１０が「そうだよ！」という返答をした場合、ユーザ反応認識部４３２は、ユーザ１０の反応が肯定的であったと認識する。この場合、ラベル生成部４７８は、「ヨシコちゃんの誕生パーティー」というラベルを生成する。なお、「ヨシコちゃんの誕生日」や「ヨシコちゃんの誕生パーティー」というラベルは、ユーザ１０の現在の状況を表すラベルの一例である。

【0106】

このように、ロボット１００は、センサ部４００で検出された情報の少なくとも一部に基づいて、現在の状況を確認するためにユーザ１０と対話を行う。そして、ラベル生成部４７８は、ユーザ１０との対話結果に基づいて、ユーザ１０の現在の状況を決定して、決定した情報に基づいて、ユーザ１０の現在の状況を表す１以上の文字情報を含むラベルを生成する。

【0107】

図１３は、記録形式切換ルール４７１の一例を示す。記録形式切換ルール４７１は、「一定数以上の家族が前にいる」かつ「一定数以上、家族の笑顔が検出された」という条件を定めた条件部と、「低圧縮の記録形式に切り換える」という行動を定めた結論部とを有するルール１３００が含まれる。また、記録形式切換ルール４７１には、「前にいる家族が一定数未満になった」かつ「一定数以上、家族の怒りが検出された」という条件を定めた条件部と、「高圧縮の記録形式に切り換える」という行動を定めた結論部とを有するルールが含まれる。

【0108】

なお、「一定数」の値は、１つの家族に属する人数が多いほど、大きくてよい。例えば、４人家族である場合、「一定数」の値は３であってよい。５人家族である場合、「一定数」の値は４であってよい。また、「一定数」の値には、意味理解部４１８で認識されるユーザ１０の数の履歴に基づいて決定されてよい。例えば、５人家族であっても、意味理解部４１８で４人しか認識されないことが多い場合は、「一定数」の値として３を決定してよい。

【0109】

図１４は、記録形式の切り換えに関する動作フローの一例を概略的に示す。本動作フローは、記録データ生成部４７０が高圧縮形式の記録データの生成を開始した場合に開始される。

【0110】

Ｓ１４０２において、知覚処理部４１６は、センサ部４００及びセンサモジュール部４１０が出力する情報に基づいて、特定の家族に属するユーザ１０の数と、笑顔度が予め定められた値を超えているユーザ１０の数の検出とを開始する。ここで、知覚処理部４１６は、センサ部４００及びセンサモジュール部４１０が出力する情報に基づいて存在が認識されたユーザのうち、人物ＤＢ４２４に家族として登録されているユーザ１０の数を数える。また、知覚処理部４１６は、笑顔度が予め定められた値を超えているユーザのうち、人物ＤＢ４２４に家族として登録されているユーザ１０の数を数える。

【0111】

Ｓ１４０４において、切換制御部４７７は、記録形式を低圧縮形式に切り換えることを定めたルール１３００の条件部が満たされたか否かを判断する。ルール１３００の条件部が満たされたと判断された場合、行動制御部４５０は、「楽しそうだから撮っておきますね！」という発話内容の音声を制御対象４５２のスピーカから出力させる（Ｓ１４０６）。これにより、映像を記録することをユーザ１０に通知する。

【0112】

Ｓ１４０８において、切換制御部４７７は、ユーザ１０から否定的な反応があったか否かを判断する。例えば、切換制御部４７７は、ユーザ１０の音声から否定的な語句が認識されなかった場合に、ユーザ１０から否定的な反応がなかったと判断する。ユーザ１０から否定的な反応がなかったと判断した場合、切換制御部４７７は、記録データ生成部４７０を制御して、骨格データに加えて、フルＨＤの映像データ及び音声データの生成を開始させる（Ｓ１４１０）。このようにして、切換制御部４７７は、記録形式を高圧縮形式から低圧縮形式に切り換わる。Ｓ１４０８の判断において、ユーザ１０から否定的な反応があったと判断した場合、予め定められたウェイト時間が経過してから（Ｓ１４２０）、Ｓ１４０４に処理を移行する。

【0113】

Ｓ１４１０で低圧縮形式に切り換えた後、Ｓ１４１２において、高圧縮形式に切り換えることを定めたルール１３１０の条件部が満たされたか否かを判断する。ルール１３１０の条件部が満たされたと判断された場合、切換制御部４７７は、記録形式を低圧縮形式から高圧縮形式に切り換える（Ｓ１４１４）。Ｓ１４１２の判断において、ルール１３１０の条件部が満たされていないと判断された場合、ルール１３１０の条件部が満たされるまで、Ｓ１４１２の判断を繰り返す。

【0114】

なお、Ｓ１４１２のルール１３１０に基づく判断の他、「記録を終了して」等のように、低圧縮形式による記録の停止を指示する発話が認識された場合にも、記録形式を低圧縮形式から高圧縮形式に切り換えてよい。また、記録形式を低圧縮形式に切り換えた後、予め定められた最大記録時間が経過した場合に、記録形式を低圧縮形式から高圧縮形式に切り換えてもよい。

【0115】

なお、切換制御部４７７は、笑顔の数に限らず、ユーザ１０の感情の強さが激しく変化したことに応じて、記録形式を切り換えてよい。例えば、切換制御部４７７は、センサ部４００に含まれるタッチセンサで予め定められた値より強い衝撃が検出された場合に、記録形式を低圧縮形式に切り換えてよい。

【0116】

［ユーザ又はロボットの感情に応じた記録態様でデータを記録］
これまで、ロボット１００が、サーバ２００に記録させるデータの記録形式を、ユーザの感情に基づいて切り換えることを説明してきた。例えば記録形式は、高圧縮形式及び低圧縮形式等である。

【0117】

一方で、ロボット１００は、ユーザ又はロボット１００自身の感情に基づいて、データの記録態様を変化させてもよい。例えば、記録態様は、テキスト、静止画像、音声、動画像といったデータの種類である。

【0118】

また、これまで説明してきた通り、ロボット１００は、連続的に検出するセンサによって検出された情報を処理して得られたデータ（例えば、音声データ、骨格データ、画像データ）を記録する。また、ロボット１００は、連続的に検出するセンサによって検出された情報をテキスト化したデータを記録してもよい。

【0119】

前述の通り、ロボット１００は、ロボット１００自身の感情を、「喜」、「怒」、「哀」、「楽」といった複数の種類の感情のそれぞれに対応する感情値によって表すことができる。

【0120】

また、ロボット１００は、ユーザの感情の変化及び強さを検出することができる。ここでは、ロボット１００は、ユーザの感情についても、感情の種類ごとの感情値によって表すものとする。

【0121】

すなわち、ロボット１００は、ユーザ及びロボット１００自身の両方について、感情の種類及び感情値によって感情を構造データ化することができる。例えば、感情決定部４４２は、ロボットに備えられたセンサによって検出された情報に基づいて、ロボット又はユーザの感情の強さを示す感情値、又は感情の種類を決定する。また、ロボット１００は、構造データ化された感情（種類及び感情値）を基に記録態様を特定する。

【0122】

ユーザ及びロボット１００の感情を構造データ化する方法として、本稿と同じ方法が特許６０５８０５３号公報に開示されている。また、ロボット１００は、感情マップを用いる方法（例えば、特許６２７３３１３号公報を参照）、及びニューラルネットワークを用いる方法（例えば、特許６１９９９２７号公報を参照）といった既知の方法によりユーザ又はロボット１００自身の感情を特定してもよい。

【0123】

また、ここでの記録対象のデータは、これまで説明してきたデータを含む。すなわち、ロボット１００は、ユーザを撮影した静止画像（例えば、顔画像）、動画像、録音した音声、テキスト（例えば、付帯情報のラベル）等の情報（以下、主情報）をデータとして記録することができる。さらに、ロボット１００は、ロボット１００が存在する場所の匂い、気温、湿度、位置、天候、近くのユーザの人数及び詳細といった周辺情報をデータとして記録することができる。

【0124】

例えば、ロボット１００の負の感情（「怒」、「悲しみ」等）の感情値が大きくなった場合、ロボット１００又はユーザに不利益及び危険等が生じている可能性がある。例えば、ユーザが大けがをした場合、ロボット１００の「悲しみ」の感情値が大きく増加することが考えられる。また、例えば、ロボット１００に物理的な打撃が与えられた場合、ロボット１００の「怒」の感情値が大きく増加することが考えられる。

【0125】

そのようなロボット１００又はユーザに不利益及び危険を生じさせる事象の対応策及び回避策を後から検討できるようにするためには、事象に関するより多くの情報が得られるような（リッチな）記録態様（例えば、長い動画像、詳細なテキスト）でデータが記録されていることが望ましい。

【0126】

また、例えば、ロボット１００の正の感情（「喜」、「楽しい」等）の感情値が大きくなった場合、ユーザがそのときの状況を後から詳細に思い出したいと考える可能性がある。

【0127】

そこで、ユーザの正の感情の感情値が大きくなった場合、なるべくその場の状況を思い出しやすい記録態様（例えば、音声、高画質の動画像）でデータが記録されていることが望ましい。これにより、ユーザは記録されたデータを参照し、例えば楽しかったときの状況を思い出すことができる。

【0128】

ロボット１００及びユーザの感情と記録態様との関係はここで説明したものに限られず、あらかじめ任意に設定可能であるものとする。ここでは、感情と記録態様との関係は、パターンテーブル及び記録態様テーブルに記憶される。パターンテーブル及び記録態様テーブルは、格納部５２０に格納されているものとする。

【0129】

記録データ生成部４７０は、センサによって検出されたユーザに関する情報を示すデータを記録する記録態様を、感情値に基づいて特定する。記録データ生成部４７０は、特定部の一例である。

【0130】

記録データ生成部４７０は、格納部５２０に格納されたパターンテーブル及び記録態様テーブルを参照し、ロボット１００又はユーザの感情に応じた記録態様を特定する。記録データ生成部４７０は、特定した記録態様に基づいてデータを生成する。なお、記録データ生成部４７０は、感情値及び感情の種類の両方を基に記録態様を特定してもよいし、いずれか一方を基に記録態様を特定してもよい。

【0131】

通信処理部４８０は、生成されたデータをサーバ２００に記録させる。すなわち、通信処理部４８０は、記録データ生成部４７０によって特定された記録態様に基づいて、データを記録する。通信処理部４８０は、記録制御部の一例である。

【0132】

図１５に、パターンテーブルの例を示す。図１５に示すように、パターンテーブルは、「主体」、「種類」、「感情値の範囲」、「パターン」といった列を有する。「主体」、「種類」及び「感情値の範囲」は条件に相当する。記録データ生成部４７０は、ユーザまたはロボット１００の感情値、及びパターンテーブルを基に、条件に合致するパターンを特定する。

【0133】

例えば、ロボット１００の「喜」の感情の感情値が０．７（０．５以上）である場合、記録データ生成部４７０は、図１５のパターンテーブルの１行目に示すレコードを基に、条件に合致するパターン「Ｐ１１」を特定する。なお、ここでは感情値の範囲は０から１であるものとする。

【0134】

また、例えば、ユーザの「楽」の感情の感情値が０．９（０．８以上）である場合、記録データ生成部４７０は、図１５のパターンテーブルの４行目に示すレコードを基に、条件に合致するパターン「Ｐ１４」を特定する。

【0135】

図１６に記録態様テーブルの例を示す。記録データ生成部４７０は、パターンテーブルを基に特定したパターン及び記録態様テーブルを基に、記録態様を特定する。

【0136】

図１６に示すように、記録態様テーブルは、「パターン」の列、及び記録態様を示す列を有する。記録態様を示す列は、「テキスト」、「音声」、「静止画像」、「動画像（低画質）」、「動画像（高画質）」、「長さ」、「容量」、及び「周辺情報」を含む。

【0137】

「テキスト」、「音声」、「静止画像」、「動画像（低画質）」及び「動画像（高画質）」はデータの種類を示す列である。データの種類を示す列の値が１であることは、対応する種類のデータが記録されることを意味する。記録データ生成部４７０は、データにテキスト、音声、静止画像、動画像のいずれが含まれるかを、記録態様として特定することができる。

【0138】

「長さ」は時間が定義可能なデータ（例えば、音声及び動画像）の最大の長さである。また、「容量」は、記録されるデータの最大の容量である。記録データ生成部４７０は、データの最大の容量を、記録態様として特定することができる。また、記録データ生成部４７０は、時間を定義可能なデータの最大の長さを、記録態様として特定することができる。

【0139】

「周辺情報」は、主情報（テキスト、音声、画像）とともにデータとして記録される情報である。ロボット１００は、匂い、気温、湿度、位置、天候、近くのユーザの人数及び詳細といった周辺情報を、センサ部４００を利用して取得する。また、近くのユーザの詳細は、主情報を記録する対象のユーザの周辺のユーザに関する、主情報と同等の情報（例えば、顔画像等）である。

【0140】

記録データ生成部４７０は、データに、ロボットが存在する場所の匂い、気温、湿度、位置、天候、近くのユーザの人数及び詳細のうちのいずれを含めるかを、記録態様として特定することができる。

【0141】

例えば、記録データ生成部４７０は、パターンとして「Ｐ１１」を特定した場合、「テキスト」、「静止画像」を含む５００ＭＢまでのデータを、気温、湿度、位置（ロボット１００の位置情報）とともに記録するという記録態様を特定する。

【0142】

また、例えば、記録データ生成部４７０は、パターンとして「Ｐ１２」を特定した場合、「テキスト」、「音声」、「静止画像」、「動画像（低画質）」、「動画像（高画質）」を、長さ及び容量無制限で、匂い、気温、湿度、位置、天候、近くのユーザの人数及び詳細とともに記録するという記録態様を特定する。なお、パターン「Ｐ１２」の記録態様は、記録態様テーブルで表現可能な記録態様のうち、最も多くの情報を含み得る（リッチな）記録態様である。

【0143】

なお、「動画像（低画質）」と「動画像（高画質）」では、例えば解像度及びフレームレートが異なる。例えば、「動画像（低画質）」及び「動画像（高画質）」は、それぞれ３０ＦＰＳのフルＨＤ画像、及び６０ＦＰＳの４Ｋ画像である。

【0144】

記録態様は、感情の強さ（感情値の大きさ）だけでなく、感情の種類によって異なっていてよい。すなわち、ロボット１００又はユーザが抱く感情の種類によって、記録されるデータにズレが生じる。このことは、パターンテーブル及び記録態様テーブルの設定によって実現され得る。

【0145】

例えば、「喜」という感情の種類に対しては、動画像が記録されず、静止画像が記録されるように設定されてもよい。また、「楽」という感情の種類に対しては、動画像が記録されるように設定されてもよい。

【0146】

また、画像及び音声等のデータについて、感情の種類ごとにその対象が設定されていてもよい。例えば、「楽」という感情の種類に対しては、対象のユーザと会話等をしている他のユーザ（相手ユーザ）の顔の製紙画像及び音声が記録されるように設定されてもよい。また、例えば、「怒」という感情の種類に対しては、相手ユーザの顔の製紙画像が記録されるように設定されてもよい。

【0147】

さらに、図１６の記録態様テーブルに示すように、感情の種類に応じて記録される周辺情報が異なる。例えば、ロボット１００の感情の種類が「悲しみ」である場合（パターン「Ｐ１１」）、「天候」は周辺情報として記録されないのに対し、ロボット１００の感情の種類が「怒り」である場合（パターン「Ｐ１２」）、「天候」が周辺情報として記録される。

【0148】

ロボット１００は、特定した記録態様に基づいてデータを記録する。すなわち、記録データ生成部４７０は、特定した記録態様に従ってデータを生成する。

【0149】

通信処理部４８０は、生成されたデータをサーバ２００に記録させる。

【0150】

図１７に、感情に応じた記録態様でデータを記録する処理のフローの例を示す。図１７に示すように、まず、ロボット１００は、ユーザまたはロボット１００自身の感情の種類及び感情値を取得する（ステップＳ２１０１）。

【0151】

次に、ロボット１００は、ユーザまたはロボット１００の感情の種類及び感情値の条件と合致するパターンを特定する（ステップＳ２１０２）。例えば、ロボット１００は、パターンテーブルを参照してパターンを特定する。

【0152】

続いて、ロボット１００は、特定したパターンに応じた記録態様を特定する（ステップＳ２１０３）。例えば、ロボット１００は、記録態様テーブルを参照してパターンを特定する。

【0153】

ここで、ロボット１００は、記録態様に基づきデータを生成する（ステップＳ２１０４）。そして、ロボット１００は、生成したデータを記録する（ステップＳ２１０５）。
例えば、ロボット１００は、データをサーバ２００に記録させる。

【0154】

このように、ロボット１００は、感情に応じた記録態様でデータを記録することにより、ユーザ又はロボット１００の感情に応じてデータを適切に記録することができる。また、ロボット１００は、ロボット１００又はユーザに生じる不利益及び危険への対応を支援することができる。また、これにより、ロボット１００は、ユーザが思い出したいと考えるときの状況を思い出すことを支援することができる。

【0155】

なお、ロボット１００は、行動制御システムを備える電子機器の一例である。行動制御システムの適用対象は、ロボット１００に限られず、様々な電子機器に行動制御システムを適用できる。また、サーバ２００の機能は、１以上のコンピュータによって実装されてよい。サーバ２００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ２００の機能の少なくとも一部は、クラウドで実装されてよい。

【0156】

図１８は、ロボット１００及びサーバ２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す図である。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、および／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつか又は全てに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0157】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、およびグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、およびＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブおよびＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブおよびソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０およびキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0158】

ＣＰＵ１２１２は、ＲＯＭ１２３０およびＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0159】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／又はプログラムおよびデータをＩＣカードに書き込む。

【0160】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、および／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0161】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0162】

例えば、通信がコンピュータ１２００および外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0163】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0164】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0165】

上記したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0166】

本実施形態におけるフローチャートおよびブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階および「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、およびプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、および他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0167】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0168】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでもよい。

【0169】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0170】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0171】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0172】

５ システム
１０、１１、１２ ユーザ
２０ 通信網
１００、１０１、１０２ ロボット
２００ サーバ
４００ センサ部
４０１ マイク
４０２ ３Ｄ深度センサ
４０３ ２Ｄカメラ
４０４ 距離センサ
４１０ センサモジュール部
４１１ 音声感情認識部
４１２ 発話理解部
４１３ 表情認識部
４１４ 顔認識部
４１６ 知覚処理部
４１７ 知覚確認ルール
４１８ 意味理解部
４１９ 意味理解ルール
４２０ 格納部
４２１ 反応ルール
４２２ ルール更新部
４２４ 人物ＤＢ
４３０ ユーザ状態認識部
４３２ ユーザ反応認識部
４３４ 条件判断部
４４０ 行動決定部
４４２ 感情決定部
４５０ 行動制御部
４５２ 制御対象
４７０ 記録データ生成部
４７１ 記録形式切換ルール
４７７ 切換制御部
４７８ ラベル生成部
４８０ 通信処理部
５２０ 格納部
５２１ 反応ルール
５２２ 反応ルール統計情報
５３０ 反応ルール生成部
５４０ 反応ルール検索部
５５０ 統計情報制御部
５６０ アクセス制御部
５６１ 記録データ
５８０ 通信処理部
６０１ 人物検出情報
６０２ 顔検出情報
６０３ ユーザ認識情報
６０４ 笑顔検出情報
６０５ タイムアウト情報
６１０ 知覚履歴
６１１、６１２、６１３、６１４、６１５、６１６ 知覚情報
６３０ 知覚確認ルール
７１０ 意味履歴
７１１、７１２、７１３、７１４、７１５、７１７ 意味情報
７３０ 意味理解ルール
８１０ 反応ルール
９１０ 候補
９４０ 意味情報
９６０ ユーザ反応情報
１３００、１３１０ ルール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】