特開 2025-3299 行動制御システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003299

(43)【公開日】2025-01-09

(54)【発明の名称】行動制御システム及びプログラム

(51)【国際特許分類】

   G06N 3/004 20230101AFI20241226BHJP

   G06F 3/16 20060101ALI20241226BHJP

   G06F 3/01 20060101ALI20241226BHJP

【ＦＩ】

G06N3/004

G06F3/16 650

G06F3/16 540

G06F3/01 510

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024037892

(22)【出願日】2024-03-12

(31)【優先権主張番号】P 2023103691

(32)【優先日】2023-06-23

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA48

5E555BA01

5E555BB01

5E555BC04

5E555CA41

5E555CA42

5E555CA47

5E555CB64

5E555CB67

5E555DA13

5E555DA23

5E555EA19

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

【課題】ユーザからの質問に対して適切な行動をロボットに実行させることが望まれている。
【解決手段】行動制御システム５は、一又は複数のユーザ１０の行動を認識する行動認識部２３２と、一のユーザ１０の行動が、質問であると認識された場合、質問の正しい回答である正回答の行動を取得する取得部２３５と、前記取得部２３５が、前記正回答が前記一のユーザ１０に通知されるよりも先に、前記ユーザ１０のいずれかが提供した回答である別回答を取得した場合、前記別回答に対する行動を更に決定する行動決定部２３６と、を含む。
【選択図】図７

【特許請求の範囲】

【請求項1】

一又は複数のユーザの行動を認識する行動認識部と、
一のユーザの行動が、質問であると認識された場合、質問の正しい回答である正回答の行動を取得する取得部と、
前記取得部が、前記正回答が前記一のユーザに通知されるよりも先に、前記ユーザのいずれかが提供した回答である別回答を取得した場合、前記別回答に対する行動を更に決定する行動決定部と、
を含む行動制御システム。

【請求項2】

前記行動決定部は、前記別回答と前記正回答とを対比して行動を決定する場合に、前記別回答と前記正回答が一致する場合と、不一致となる場合と、該当なしの場合で、行動の態様を変化させる、請求項１に記載の行動制御システム。

【請求項3】

前記行動認識部が前記一又は複数のユーザの行動をふざけた行動と認識した場合、又は、真面目な行動と認識した場合かによって、前記行動決定部は、行動の態様を変化させる、請求項２に記載の行動制御システム。

【請求項4】

コンピュータを、請求項１～請求項３のいずれか１項に記載の行動制御システムとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動制御システム及びプログラムに関する。

【背景技術】

【0002】

ユーザの状態に基づいて行動を決定するための決定情報を記憶する行動情報記憶部と、ユーザの状態を認識するユーザ状態認識部と、前記ユーザ状態認識部が認識した前記ユーザの状態と、前記決定情報とに基づいて、実行する行動を決定する行動決定部と、前記行動決定部が決定した行動を実行したことに対する前記ユーザの反応を認識する反応認識部と、前記ユーザ状態認識部が認識した前記ユーザの状態、前記行動決定部が決定した行動、及び前記反応認識部が認識した前記ユーザの反応を、外部のサーバに送信する送信部と、前記行動決定部が前記ユーザの状態と前記決定情報とに基づいて実行する行動を決定できなかった場合に、前記ユーザ状態認識部が認識した前記ユーザの状態に適した行動を、前記サーバから受信する受信部と、前記受信部が前記サーバから受信した行動に基づいて、前記決定情報を更新する行動情報更新部とを備える行動制御システムが知られている（例えば、特許文献１参照）。

【0003】

［先行技術文献］

【0004】

［特許文献］

【0005】

［特許文献１］特許６０５３８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ユーザからの質問に対して適切な行動をロボットに実行させることが望まれている。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、行動制御システムが提供される。行動制御システムは、ユーザの行動を認識する行動認識部と、前記ユーザの行動が、質問であると認識された場合、質問の難易度を推定する難易度推定部と、難易度に応じたスコアが、閾値以上である場合、実行される行動として、ユーザから質問されることを喜ぶ行動、及び前記質問に対して回答する行動を決定する行動決定部と、を含む。

【0008】

行動決定部は、前記スコアの累積値が閾値以上である場合、又は難易度に応じたスコアが閾値以上となった回数が、所定回数以上である場合、実行される行動として、ユーザから質問されることを喜ぶ行動、及び前記質問に対して回答する行動を決定するようにしてもよい。

【0009】

第２の形態において、プログラムが提供される。プログラムは、コンピュータを、上記の行動制御システムとして機能させる。

【0010】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係るシステム５の一例を概略的に示す。

【図2】第１実施形態に係るロボット１００の機能構成を概略的に示す。

【図3】第１実施形態に係るロボット１００による動作フローの一例を概略的に示す。

【図4】第２実施形態に係るロボット１００の機能構成を概略的に示す。

【図5】第２実施形態に係るロボット１００の応答行動の発話の例を示す。

【図6】第２実施形態に係るロボット１００の応答行動の動きの例を示す。

【図7】第２実施形態に係るロボット１００による動作フローの一例を概略的に示す。

【図8】コンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

（第１実施形態）
図１は、本実施形態に係るシステム５の一例を概略的に示す。システム５は、ロボット１００、ロボット１０１、ロボット１０２、及びサーバ３００を備える。ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄは、ロボット１００のユーザである。ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃは、ロボット１０１のユーザである。ユーザ１２ａ及びユーザ１２ｂは、ロボット１０２のユーザである。なお、本実施形態の説明において、ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄを、ユーザ１０と総称する場合がある。また、ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃを、ユーザ１１と総称する場合がある。また、ユーザ１２ａ及びユーザ１２ｂを、ユーザ１２と総称する場合がある。ロボット１０１及びロボット１０２は、ロボット１００と略同一の機能を有する。そのため、ロボット１００の機能を主として取り上げてシステム５を説明する。

【0014】

ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したりする。このとき、ロボット１００は、通信網２０を介して通信可能なサーバ３００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ３００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ３００に記録させ、必要に応じて映像データ等をサーバ３００に要求して、ユーザ１０に提供する。

【0015】

また、ロボット１００は、自身の感情の種類を表す感情値を持つ。例えば、ロボット１００は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」及び「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット１００は、例えば興奮の感情値が大きい状態でユーザ１０と会話するときは、早いスピードで音声を発する。このように、ロボット１００は、自己の感情を行動で表現することができる。

【0016】

また、ロボット１００は、ユーザ１０の行動を認識する機能を有する。ロボット１００は、カメラ機能で取得したユーザ１０の顔画像や、マイク機能で取得したユーザ１０の音声を解析することによって、ユーザ１０の行動を認識する。ロボット１００は、認識したユーザ１０の行動等に基づいて、ロボット１００が実行する行動を決定する。

【0017】

ロボット１００は、ユーザ１０の行動に基づいてロボット１００が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。

【0018】

具体的には、ロボット１００には、ユーザ１０の行動に基づいてロボット１００の行動を決定するための反応ルールを有している。反応ルールには、例えば、ユーザ１０の行動が「笑う」である場合に対して、「笑う」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「怒る」である場合に対して、「謝る」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「質問する」である場合に対して、「回答する」という行動が、ロボット１００の行動として定められている。反応ルールには、ユーザ１０の行動が「悲しむ」である場合に対して、「声をかける」という行動が、ロボット１００の行動として定められている。

【0019】

ロボット１００は、反応ルールに基づいて、ユーザ１０の行動が「笑う」であると認識した場合、反応ルールで定められた「笑う」という行動を、ロボット１００が実行する行動として選択する。例えば、ロボット１００は、「笑う」という行動を選択した場合に、「笑う」動作を行うと共に、笑い声を表す音声を出力する。これにより、ロボット１００は、ユーザ１０と一緒に笑うことができる。

【0020】

また、ロボット１００は、この行動によって、ユーザ１０からポジティブな反応が得られたことを示すユーザ反応情報を、サーバ３００に送信する。ユーザ反応情報には、例えば、「笑う」というユーザ行動、「笑う」というロボット１００の行動、ユーザ１０の反応がポジティブであったこと、及びユーザ１０の属性が含まれる。

【0021】

サーバ３００は、ロボット１００から受信したユーザ反応情報を記憶する。なお、サーバ３００は、ロボット１００だけでなく、ロボット１０１及びロボット１０２のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２からのユーザ反応情報を解析して、反応ルールを更新する。

【0022】

ロボット１００は、更新された反応ルールをサーバ３００に問い合わせることにより、更新された反応ルールをサーバ３００から受信する。ロボット１００は、更新された反応ルールを、ロボット１００が記憶している反応ルールに組み込む。これにより、ロボット１００は、ロボット１０１やロボット１０２等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。

【0023】

図２は、ロボット１００の機能構成を概略的に示す。ロボット１００は、センサ部２００と、センサモジュール部２１０と、格納部２２０と、ユーザ状態認識部２３０と、行動認識部２３２と、難易度推定部２３４と、行動決定部２３６と、行動制御部２５０と、制御対象２５２と、通信処理部２８０と、を有する。

【0024】

制御対象２５２は、表示装置、スピーカ及び目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット１００の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット１００の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット１００の目部のＬＥＤの発光状態を制御することによっても、ロボット１００の感情の一部を表現できる。なお、ロボット１００の姿勢、仕草及び表情は、ロボット１００の態度の一例である。

【0025】

センサ部２００は、マイク２０１と、３Ｄ深度センサ２０２と、２Ｄカメラ２０３と、距離センサ２０４とを含む。マイク２０１は、音声を連続的に検出して音声データを出力する。なお、マイク２０１は、ロボット１００の頭部に設けられ、バイノーラル録音を行う機能を有してよい。３Ｄ深度センサ２０２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって
、物体の輪郭を検出する。２Ｄカメラ２０３は、イメージセンサの一例である。２Ｄカメラ２０３は、可視光によって撮影して、可視光の映像情報を生成する。距離センサは、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部２００は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ等を含んでよい。

【0026】

なお、図２に示すロボット１００の構成要素のうち、制御対象２５２及びセンサ部２００を除く構成要素は、ロボット１００が有する行動制御システムが有する構成要素の一例である。ロボット１００の行動制御システムは、制御対象２５２を制御の対象とする。

【0027】

格納部２２０は、反応ルール２２１を含む。格納部２２０の少なくとも一部は、メモリ等の記憶媒体によって実装される。ユーザ１０の顔画像、ユーザ１０の属性情報等を格納する人物ＤＢを含んでもよい。なお、図２に示すロボット１００の構成要素のうち、制御対象２５２、センサ部２００及び格納部２２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）及びＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0028】

センサモジュール部２１０は、音声感情認識部２１１と、発話理解部２１２と、表情認識部２１３と、顔認識部２１４とを含む。センサモジュール部２１０には、センサ部２００で検出された情報が入力される。センサモジュール部２１０は、センサ部２００で検出された情報を解析して、解析結果をユーザ状態認識部２３０に出力する。

【0029】

センサモジュール部２１０の音声感情認識部２１１は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の感情を認識する。例えば、音声感情認識部２１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ１０の感情を認識する。発話理解部２１２は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の発話内容を表す文字情報を出力する。

【0030】

表情認識部２１３は、２Ｄカメラ２０３で撮影されたユーザ１０の画像から、ユーザ１０の表情及びユーザ１０の感情を認識する。例えば、表情認識部２１３は、目及び口の形状、位置関係等に基づいて、ユーザ１０の表情及び感情を認識する。

【0031】

顔認識部２１４は、ユーザ１０の顔を認識する。顔認識部２１４は、人物ＤＢ（図示省略）に格納されている顔画像と、２Ｄカメラ２０３によって撮影されたユーザ１０の顔画像とをマッチングすることによって、ユーザ１０を認識する。

【0032】

ユーザ状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態を認識する。例えば、センサモジュール部２１０の解析結果を用いて、主として知覚に関する処理を行う。例えば、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成する。生成された知覚情報の意味を理解する処理を行う。例えば、「パパが１人、寂しそうです。」等の意味情報を生成する。

【0033】

行動認識部２３２は、センサモジュール部２１０で解析された情報、及びユーザ状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動を認識する。例えば、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、予め定められた複数の行動分類（例えば、「笑う」、「怒る」、「質問する」、「悲しむ」）の各々の確率を取得し、最も確率の高い行動分類を、ユーザ１０の行動として認識する。

【0034】

難易度推定部２３４は、行動認識部２３２によって認識されたユーザの行動が、「質問する」であると認識された場合、センサモジュール部２１０で解析された情報のうちの、ユーザ１０の発話内容を表す文字情報に基づいて、質問の難易度に応じたスコアを推定する。例えば、ユーザ１０の発話内容を表す文字情報を、予め学習されたニューラルネットワークに入力し、質問の難易度に応じたスコアを取得する。なお、このスコアは、質問の難易度が高いほど高い値を示すものとする。

【0035】

行動決定部２３６は、行動認識部２３２によって認識されたユーザの行動と、反応ルール２２１とに基づいて、ロボット１００の行動を決定する。このとき、難易度推定部２３４で推定された難易度に応じたスコアが、閾値以上である場合、実行される行動として、ユーザ１０から質問されることを喜ぶ行動、及び質問に対して回答する行動を決定する。ここで、「ユーザから質問されることを喜ぶ行動」とは、例えば、ユーザから質問されて得意げな行動（自慢げな行動）である。

【0036】

行動制御部２５０は、行動決定部２３６が決定した行動に基づいて、制御対象２５２を制御する。例えば、行動制御部２５０は、行動決定部２３６が発話することを含む行動を決定した場合に、制御対象２５２に含まれるスピーカから音声を出力させる。このとき、行動制御部２５０は、ロボット１００の感情値に基づいて、音声の発声速度を決定してもよい。

【0037】

また、行動制御部２５０は、行動決定部２３６が「ユーザから質問されることを喜ぶ行動」を決定した場合に、得意げなことを表す音声（例えば、「こういう質問に答えるのは得意なんです」）をスピーカから出力し、得意げなことを表すロボット１００の姿勢や仕草（例えば、片手をゆっくり上げる動作）を、腕、手及び足等のモータを駆動して表現する。

【0038】

行動制御部２５０は、行動決定部２３６が決定した行動を実行したことに対するユーザ１０の感情の変化を認識してもよい。例えば、ユーザ１０の音声や表情に基づいて感情の変化を認識してよい。その他、センサ部２００に含まれるタッチセンサで衝撃が検出されたことに基づいて、ユーザ１０の感情の変化を認識してよい。センサ部２００に含まれるタッチセンサで衝撃が検出された場合に、ユーザ１０の感情が悪くなったと認識したり、センサ部２００に含まれるタッチセンサの検出結果から、ユーザ１０の反応が笑っている、あるいは、喜んでいる等と判断される場合には、ユーザ１０の感情が良くなったと認識してよい。ユーザ１０の反応を示す情報は、通信処理部２８０に出力される。

【0039】

通信処理部２８０は、サーバ３００との通信を担う。上述したように、通信処理部２８０は、ユーザ反応情報をサーバ３００に送信する。また、通信処理部２８０は、更新された反応ルールをサーバ３００から受信する。通信処理部２８０がサーバ３００から、更新された反応ルールを受信すると、反応ルール２２１を更新する。

【0040】

サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２とサーバ３００との間の通信を行い、ロボット１００から送信されたユーザ反応情報を受信し、ポジティブな反応が得られた行動を含む反応ルールに基づいて、反応ルールを更新する。

【0041】

図３は、ロボット１００において行動を決定する動作に関する動作フローの一例を概略的に示す。図３に示す動作フローは、繰り返し実行される。このとき、センサモジュール部２１０で解析された情報が入力されているものとする。なお、動作フロー中の「Ｓ」は、実行されるステップを表す。

【0042】

まず、ステップＳ１００において、ユーザ状態認識部２３０は、センサモジュール部２
１０で解析された情報に基づいて、ユーザ１０の状態を認識する。

【0043】

ステップＳ１０２において、行動認識部２３２は、センサモジュール部２１０で解析された情報及びユーザ状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動分類を認識する。

【0044】

ステップＳ１０４において、上記ステップＳ１０２で認識されたユーザ１０の行動分類が、「質問する」であるか否かを判定する。上記ステップＳ１０２で認識されたユーザ１０の行動分類が、「質問する」である場合、ステップＳ１０８へ移行する。一方、上記ステップＳ１０２で認識されたユーザ１０の行動分類が、「質問する」でない場合、ステップＳ１０６へ移行する。

【0045】

ステップＳ１０６において、行動決定部２３６は、行動認識部２３２によって認識されたユーザの行動と、反応ルール２２１とに基づいて、ロボット１００の行動を決定する。

【0046】

ステップＳ１０８において、難易度推定部２３４は、センサモジュール部２１０で解析された情報のうちの、ユーザ１０の発話内容を表す文字情報に基づいて、質問の難易度に応じたスコアを推定する。

【0047】

ステップＳ１１０において、上記ステップＳ１０８で推定された質問の難易度に応じたスコアが、閾値以上であるか否かを判定する。上記ステップＳ１０８で推定された質問の難易度に応じたスコアが、閾値以上である場合には、ステップＳ１１２へ移行する。一方、上記ステップＳ１０８で推定された質問の難易度に応じたスコアが、閾値未満である場合には、ステップＳ１１４へ移行する。

【0048】

ステップＳ１１２において、行動決定部２３６は、実行される行動として、ユーザ１０から質問されることを喜ぶ行動、及び質問に対して回答する行動を決定する。

【0049】

ステップＳ１１４において、行動決定部２３６は、反応ルール２２１に基づいて、実行される行動として、質問に対して回答する行動を決定する。

【0050】

ステップＳ１１６において、行動制御部２５０は、行動決定部２３６が決定した行動に基づいて、制御対象２５２を制御する。

【0051】

以上説明したように、ロボット１００によれば、ユーザからの質問に対して、適切なタイミングで、自慢げな行動をとることができる。すわなち、質問の難易度が閾値より高いと自慢げな表情、恰好をすることができる。例えば、難しい計算の答えを質問されたときとか、おいしいレストランを質問されたときに、自慢げな表情、恰好をすると共に、質問に回答する。一方、質問の難易度が閾値より低い場合、例えば、「今何時？」とか「今日の天気は？」という、難易度が低い質問をされたときには、自慢げな表情、恰好をせずに、質問に回答する。

【0052】

なお、行動決定部２３６は、難易度に応じたスコアの累積値が閾値以上である場合、又は難易度に応じたスコアが閾値以上となった回数が、所定回数を超えた場合、実行される行動として、ユーザから質問されることを喜ぶ行動、及び質問に対して回答する行動を決定するようにしてもよい。

【0053】

（第２実施形態）
第２実施形態は、ロボット１００が、ユーザから質問された場合において、ロボット１００の回答より先にユーザのいずれかが回答した場合に対して、ロボット１００がとる応
答行動を特徴としている。以下、第１実施形態との相違点について説明する。なお、同一の構成には同一の符号を付すこととし、詳細な説明については省略する。

【0054】

ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したり、ユーザの質問に対して回答するだけでなく、ユーザの回答に対して正誤を示したりリアクションをする等の応答行動をする。
例えば、ロボット１００は、ユーザ１０ａから質問された場合に、ユーザ１０ｂがロボット１００より先に回答した場合、その回答に対してロボット１００が正誤を示すだけでなく、ユーザ１０ａやユーザ１０ｂの態度に応じたリアクションを行う。

【0055】

ロボット１００は、通信網２０を介して通信可能なサーバ３００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ３００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ３００に記録させ、必要に応じて映像データ等をサーバ３００に要求して、ユーザ１０に提供する。

【0056】

ロボット１００は、行動決定モデルの一例として、ユーザ１０の感情、ロボット１００の感情、及びユーザ１０の行動に基づいてロボット１００が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。

【0057】

具体的には、ロボット１００には、ユーザ１０の感情、ロボット１００の感情、及びユーザ１０の行動に基づいてロボット１００の行動を決定するための反応ルールを、行動決定モデル２２３の一例として有している。反応ルールには、例えば、ユーザ１０の行動が「笑う」である場合に対して、「笑う」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「怒る」である場合に対して、「謝る」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「質問する」である場合に対して、「回答する」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「回答する」である場合に対して、「正解を示す」という行動が、ロボット１００の行動として定められている。反応ルールには、ユーザ１０の行動が「悲しむ」である場合に対して、「声をかける」という行動が、ロボット１００の行動として定められている。

【0058】

ロボット１００は、反応ルールに基づいて、ユーザ１０の行動が「怒る」であると認識した場合、反応ルールで定められた「謝る」という行動を、ロボット１００が実行する行動として選択する。例えば、ロボット１００は、「謝る」という行動を選択した場合に、「謝る」動作を行うと共に、「謝る」言葉を表す音声を出力する。

【0059】

また、ロボット１００の感情が「普通」（すわなち、「喜」＝０、「怒」＝０、「哀」＝０、「楽」＝０）であり、ユーザ１０の状態が「１人、寂しそう」という条件が満たされた場合に、ロボット１００の感情が「心配になる」という感情の変化内容と、「声をかける」の行動を実行できることが定められている。

【0060】

ロボット１００は、反応ルールに基づいて、ロボット１００の現在の感情が「普通」であり、かつ、ユーザ１０が１人で寂しそうな状態にあると認識した場合、ロボット１００の「哀」の感情値を増大させる。また、ロボット１００は、反応ルールで定められた「声をかける」という行動を、ユーザ１０に対して実行する行動として選択する。例えば、ロボット１００は、「声をかける」という行動を選択した場合に、心配していることを表す「どうしたの？」という言葉を、心配そうな音声に変換して出力する。

【0061】

また、ロボット１００は、この行動によって、ユーザ１０からポジティブな反応が得られたことを示すユーザ反応情報を、サーバ３００に送信する。ユーザ反応情報には、例えば、「怒る」というユーザ行動、「謝る」というロボット１００の行動、ユーザ１０の反応がポジティブであったこと、及びユーザ１０の属性が含まれる。

【0062】

サーバ３００は、ロボット１００から受信したユーザ反応情報を記憶する。なお、サーバ３００は、ロボット１００だけでなく、ロボット１０１及びロボット１０２のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２からのユーザ反応情報を解析して、反応ルールを更新する。

【0063】

ロボット１００は、更新された反応ルールをサーバ３００に問い合わせることにより、更新された反応ルールをサーバ３００から受信する。ロボット１００は、更新された反応ルールを、ロボット１００が記憶している反応ルールに組み込む。これにより、ロボット１００は、ロボット１０１やロボット１０２等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。

【0064】

また、ロボット１００がユーザ１０の行動が「質問する」であると認識した場合、ロボット１００は文章生成モデルを使用する。さらに、ユーザ１０からの質問に対してロボット１００よりユーザ１０のいずれかが先に回答した場合、ロボット１００は、文章生成モデルを使用して、回答に対する正誤を示すことができる。なお、文章生成モデルはロボット１００のＣＰＵ１２１２内で処理を実行してよいだけでなく、サーバ３００等のロボット１００の外部で処理を実行した結果を取得してもよい。

【0065】

ここで、文章生成モデルは、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開２０１８－０８１４４４号公報やＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）に開示され
る通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル（ＬＬＭ：Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）により構成されている。

【0066】

ロボット１００は、上述したようにユーザ１０の行動や状態を認識する機能を有する。具体的には、ロボット１００は、カメラ機能で取得した映像により、ユーザ１０が複数人であるか（図１の例では、ユーザ１０ａ、１０ｂ、１０ｃ、１０ｄ）、また、ユーザ１０の表情を解析することによって、ふざけているか真面目であるかの状態を認識する。また、ロボット１００は、マイク機能で取得したユーザ１０の音声を解析することによって、ユーザ１０の発話内容だけでなく、どのユーザが発話しているかを区別できる。なお、カメラ機能を使用して発話者を特定してもよい。また、複数のマイクにより発話方向を解析することで発話者を特定してもよい。またさらに、ロボット１００は、ユーザ１０の音声を解析することによって、ふざけているか真面目であるかの状態も認識できる。ロボット１００は、認識したユーザ１０の行動や状態に基づいて、ロボット１００が実行する行動を行動決定モデル２２３の反応ルールに沿って決定する。

【0067】

ロボット１００は、ユーザ１０の行動や状態に基づいてロボット１００が実行する行動を決定するために、行動決定モデル２２３を使用する。

【0068】

行動決定モデル２２３は、上述したようにユーザ１０の感情、ロボット１００の感情、及びユーザ１０の行動に基づいてロボット１００の行動を決定するための反応ルールを有している。ロボット１００は、ユーザ１０とロボット１００の対話を繰り返した結果得られる、ユーザ１０の反応情報及びロボット１００の感情値を、サーバ３００に送信する。
サーバ３００は、ロボット１００から受信したユーザ反応情報とロボット感情値を記憶する。サーバ３００は、ロボット１００だけでなく、ロボット１０１及びロボット１０２等からのユーザ反応情報を解析して反応ルールを更新する。つまり、行動決定モデル２２３はロボット１００等のイベント処理により更新される。

【0069】

図４は、ロボット１００の第２実施形態の機能構成を概略的に示す。ロボット１００は、センサ部２００と、センサモジュール部２１０と、格納部２２０と、制御部２２８と、制御対象２５２と、を有する。制御部２２８は、状態認識部２３０と、感情決定部２３１と、行動認識部２３２と、取得部２３５と、行動決定部２３６と、記憶制御部２３８と、行動制御部２５０と、通信処理部２８０と、を含む。

【0070】

センサ部２００は、マイク２０１と、３Ｄ深度センサ２０２と、２Ｄカメラ２０３と、距離センサ２０４と、タッチセンサ２０５と、加速度センサ２０６とを含む。マイク２０１は、音声を連続的に検出して音声データを出力する。なお、マイク２０１は、ロボット１００の頭部に設けられ、バイノーラル録音を行う機能を有してよい。３Ｄ深度センサ２０２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。２Ｄカメラ２０３は、イメージセンサの一例である。２Ｄカメラ２０３は、可視光によって撮影して、可視光の映像情報を生成する。距離センサは、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部２００は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ等を含んでよい。

【0071】

なお、図４に示すロボット１００の構成要素のうち、制御対象２５２及びセンサ部２００を除く構成要素は、ロボット１００が有する行動制御システムが有する構成要素の一例である。ロボット１００の行動制御システムは、制御対象２５２を制御の対象とする。

【0072】

格納部２２０は、行動決定モデル２２３、履歴データ２２２を含む。履歴データ２２２は、ユーザ１０の行動、ユーザ１０の過去の感情値、ユーザの反応情報、ロボット１００の過去の感情値、及びロボット１００の行動の履歴を含み、具体的には、ユーザ１０の感情値、ロボット１００の感情値、及びユーザ１０の行動を含むイベントデータを複数含む。ユーザ１０の行動を含むデータは、ユーザ１０の行動を表すカメラ画像を含む。この感情値及び行動の履歴は、例えば、ユーザ１０の識別情報に対応付けられることによって、ユーザ１０毎に記録される。格納部２２０の少なくとも一部は、メモリ等の記憶媒体によって実装される。ユーザ１０の顔画像、ユーザ１０の属性情報等を格納する人物ＤＢを含んでもよい。なお、図２に示すロボット１００の構成要素のうち、制御対象２５２、センサ部２００及び格納部２２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）及びＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0073】

センサモジュール部２１０は、音声感情認識部２１１と、発話理解部２１２と、表情認識部２１３と、顔認識部２１４とを含む。センサモジュール部２１０には、センサ部２００で検出された情報が入力される。センサモジュール部２１０は、センサ部２００で検出された情報を解析して、解析結果を状態認識部２３０に出力する。

【0074】

センサモジュール部２１０の音声感情認識部２１１は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の状態を認識する。例えば、音声感情認識部２１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ１０の状態を認識する。発話理解部２１２は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の発話内容を表す文字情報を出力する。

【0075】

表情認識部２１３は、２Ｄカメラ２０３で撮影されたユーザ１０の画像から、ユーザ１０の表情及びユーザ１０の感情を認識する。例えば、表情認識部２１３は、目及び口の形状、位置関係等に基づいて、ユーザ１０の表情及び感情を認識する。

【0076】

顔認識部２１４は、ユーザ１０の顔を認識する。顔認識部２１４は、人物ＤＢ（図示省略）に格納されている顔画像と、２Ｄカメラ２０３によって撮影されたユーザ１０の顔画像とをマッチングすることによって、ユーザ１０を認識する。

【0077】

状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態を認識する。例えば、センサモジュール部２１０の解析結果を用いて、主として知覚に関する処理を行う。例えば、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成する。生成された知覚情報の意味を理解する処理を行う。例えば、「パパが１人、寂しそうです。」等の意味情報を生成する。

【0078】

また、状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０が複数人であるかも認識する。図１に示したように、ロボット１００の周辺にユーザ１０ａ、１０ｂ、１０ｃ、１０ｄと複数人存在する場合、各ユーザ１０の状態を認識可能であり、各ユーザ１０の知覚情報を生成できる。

【0079】

感情決定部２３１は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の感情を示す感情値を決定する。例えば、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、ユーザ１０の感情を示す感情値を取得する。

【0080】

ここで、ユーザ１０の感情を示す感情値とは、ユーザの感情の正負を示す値であり、例えば、ユーザの感情が、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、及び「充実感」のように、快感や安らぎを伴う明るい感情であれば、正の値を示し、明るい感情であるほど、大きい値となる。ユーザの感情が、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちになってしまう感情であれば、負の値を示し、嫌な気持ちであるほど、負の値の絶対値が大きくなる。ユーザの感情が、上記の何れでもない場合（「普通」）、０の値を示す。

【0081】

また、感情決定部２３１は、センサモジュール部２１０で解析された情報、センサ部２００で検出された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ロボット１００の感情を示す感情値を決定する。

【0082】

ロボット１００の感情値は、複数の感情分類の各々に対する感情値を含み、例えば、「喜」、「怒」、「哀」、「楽」それぞれの強さを示す値（０～５）である。

【0083】

具体的には、感情決定部２３１は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に対応付けて定められた、ロボット１００の感情値を更新するルールに従って、ロボット１００の感情を示す感情値を決定する。

【0084】

例えば、感情決定部２３１は、状態認識部２３０によってユーザ１０が寂しそうと認識された場合、ロボット１００の「哀」の感情値を増大させる。また、状態認識部２３０によってユーザ１０が笑顔になったと認識された場合、ロボット１００の「喜」の感情値を増大させる。

【0085】

なお、感情決定部２３１は、ロボット１００の状態を更に考慮して、ロボット１００の感情を示す感情値を決定してもよい。例えば、ロボット１００のバッテリー残量が少ない場合やロボット１００の周辺環境が真っ暗な場合等に、ロボット１００の「哀」の感情値を増大させてもよい。更にバッテリー残量が少ないにも関わらず継続して話しかけてくるユーザ１０の場合は、「怒」の感情値を増大させても良い。

【0086】

行動認識部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動を認識する。例えば、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、予め定められた複数の行動分類（例えば、「笑う」、「怒る」、「質問する」、「悲しむ」）の各々の確率を取得し、最も確率の高い行動分類を、ユーザ１０の行動として認識する。

【0087】

取得部２３５は、ユーザ１０ａの行動が、質問であると認識された場合、質問の正しい回答である正回答の行動を取得する。具体的には、文章生成モデルに質問を入力し、その出力として回答内容を取得する。また、取得部２３５は、正回答がユーザ１０ａに通知されるよりも先に、ユーザ１０のいずれかが提供した回答に対して正誤回答を示す行動を文章生成モデルから取得する。具体的には、文章生成モデルにユーザ１０のいずれかから提供された回答を入力し、それに対する正誤回答を取得する。

【0088】

行動決定部２３６は、感情決定部２３１により決定されたユーザ１０の現在の感情値と、ユーザ１０の現在の感情値が決定されるよりも前に感情決定部２３１により決定された過去の感情値の履歴データ２２２と、ロボット１００の感情値とに基づいて、行動認識部２３２によって認識されたユーザ１０の行動に対応する行動を決定する。本実施形態では、行動決定部２３６は、ユーザ１０の過去の感情値として、履歴データ２２２に含まれる直近の１つの感情値を用いる場合について説明するが、開示の技術はこの態様に限定されない。例えば、行動決定部２３６は、ユーザ１０の過去の感情値として、直近の複数の感情値を用いてもよいし、一日前などの単位期間の分だけ前の感情値を用いてもよい。また、行動決定部２３６は、ロボット１００の現在の感情値だけでなく、ロボット１００の過去の感情値の履歴を更に考慮して、ユーザ１０の行動に対応する行動を決定してもよい。また、行動決定部２３６はロボット１００の行動に対するユーザ１０のポジティブな反応情報の履歴を更に考慮して、ロボット１００の行動を決定してもよい。行動決定部２３６が決定する行動は、ロボット１００が行うジェスチャー又はロボット１００の発話内容を含む。

【0089】

行動決定部２３６は、ロボット１００が、ユーザ１０ａの行動が「質問する」であると認識した場合、ユーザ１０のいずれかが、ロボット１００よりも先に回答した場合には、その回答の正誤を示す行動を決定する。また、行動決定部は、単に結果を示す行動だけでなく、ジェスチャーで大きく表現することや、ユーザ１０の態度やノリに合わせた応答となるようにロボット１００の行動を決定する。その際に、過去のユーザ１０の反応情報も使用してロボット１００の行動を決定してもよい。

【0090】

具体的には、行動決定部２３６は、取得部２３５で取得した回答内容を用いて、リアクション等の応答の行動を決定する。

【0091】

図５は、ロボット１００の応答行動の発話の例をバリエーションでまとめた図である。
図５に示したように、ユーザ１０の回答結果が、ロボット１００が準備した回答と一致しているか、不一致であるか、どちらにも該当なしかによって、ロボット１００の応答行動の発話内容は異なる。また、ユーザ１０の回答結果だけでなく、ユーザの行動（ふざけた行動か真面目な行動か）によっても、ロボット１００の応答行動の発話内容は異なる。

【0092】

ここで、ユーザ１０の回答とは、発話者（例えばユーザ１０ａ）がロボット１００に質問をし、他者（例えばユーザ１０ｂ）がロボット１００より先に回答した場合のこと、又は発話者（例えばユーザ１０ａ）がロボット１００に質問をし、質問した本人（ユーザ１０ａ）がロボット１００より先に回答した場合のことである。

【0093】

図５に示した発話内容の例について以下に説明する。
ユーザ１０の回答結果がロボット１００が準備した回答と一致（図中の「〇」）している場合であって、ユーザ１０の行動がふざけた行動（図中の「Ａ」）である場合に、ロボット１００は、「たまたまかな！」、「ラッキー！」、「ノリで合ってるなんて」というような、ユーザ１０を茶化す発話をする。

【0094】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致している場合であって、ユーザ１０の行動が真面目な行動（図中の「Ｂ」）である場合に、ロボット１００は、「さすが、正解！」、「よく知ってるね。より正確には・・・」、「天才！ここまで言えたら完璧だよ」というような、ユーザ１０を褒める発話をする。

【0095】

また、ユーザ１０の回答結果がロボット１００が準備した回答と不一致（図中の「×」）である場合であって、ユーザ１０の行動がふざけた行動である場合に、ロボット１００は、「なんでですか！」、「違います！」、「それでは、さようなら！」というような、ユーザ１０を否定する発話をする。

【0096】

また、ユーザ１０の回答結果がロボット１００が準備した回答と不一致である場合であって、ユーザ１０の行動が真面目な行動である場合に、ロボット１００は、「惜しい、角度を変えて考えてみて」、「先入観を外そう！」、「それも一理あるけど、今回は別の答えがいいんだ」というような、ユーザ１０に対してアドバイスの発話をする。

【0097】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致とも不一致とも判断が不能により該当なし（図中の「？」）の場合であって、ユーザ１０の行動がふざけた行動である場合に、ロボット１００は、「びみょう～」、「出直してきて」、「全然わかりません」というような、ユーザ１０に対して困惑を表現する発話をする。

【0098】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致とも不一致とも判断が不能により該当なしの場合であって、ユーザ１０の行動が真面目な行動である場合に、ロボット１００は、「もう一度考えよう！」、「う～ん、難しいね。シンプルに言うと？」、「なんとも判断がつかないなぁ」というような、ユーザ１０に再考を求める発話をする。

【0099】

なお、ロボット１００は、回答者（本事例ではユーザ１０ａ又はユーザ１０ｂ）が何度も会話をしたことのある親しいユーザである場合と、初めてのユーザである場合で、態度やノリを変えた発話をできる。

【0100】

また、ロボット１００の応答行動の発話の内容として、図５に示した内容は例示であって、この内容に限定されない。

【0101】

ここで、ロボット１００は、回答者の行動がふざけている行動であるか真面目な行動であるかを、客観的に認識できる。
具体的には、センサ部２００のマイク２０１で検知し音声感情認識部２１１で認識した音声の特徴量や、センサ部２００の２Ｄカメラ２０３で撮像し表情認識部２１３で認識した顔の表情のパターンによって、回答者の状態を識別できる。

【0102】

図６は、ロボット１００の応答行動の動きの例をバリエーションでまとめた図である。
図６に示したように、ユーザ１０の回答結果が、ロボット１００が準備した回答と一致しているか、不一致であるか、どちらにも該当なしかによって、ロボット１００の応答行動の発話内容は異なる。また、ユーザ１０の回答結果だけでなく、ユーザの行動（ふざけた行動か真面目な行動か）によっても、ロボット１００の応答行動の動きは異なる。

【0103】

ここで、ユーザ１０の回答とは、発話者（例えばユーザ１０ａ）がロボット１００に質問をし、他者（例えばユーザ１０ｂ）がロボット１００より先に回答した場合のこと、又は発話者（例えばユーザ１０ａ）がロボット１００に質問をし、質問した本人（ユーザ１０ａ）がロボット１００より先に回答した場合のことである。

【0104】

図６に示した動きの例について以下に説明する。
ユーザ１０の回答結果がロボット１００が準備した回答と一致（図中の「〇」）している場合であって、ユーザ１０の行動がふざけた行動（図中の「Ａ」）である場合に、ロボット１００は、「明るいダンスをする」、「鼻歌を歌う」、「ＢＧＭを流す」というような、ユーザ１０を楽しませる動きをする。

【0105】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致している場合であって、ユーザ１０の行動が真面目な行動（図中の「Ｂ」）である場合に、ロボット１００は、「〇のポーズをする」、「頭を撫でる」、「拍手をする」というような、ユーザ１０を褒める動きをする。

【0106】

また、ユーザ１０の回答結果がロボット１００が準備した回答と不一致（図中の「×」）である場合であって、ユーザ１０の行動がふざけた行動である場合に、ロボット１００は、「ツッコミの手振りをする」、「否定で首を左右に振る」、「さよならで手を左右に振る」というような、ユーザ１０を否定する動きをする。

【0107】

また、ユーザ１０の回答結果がロボット１００が準備した回答と不一致である場合であって、ユーザ１０の行動が真面目な行動である場合に、ロボット１００は、「×のポーズをする」、「残念の手振りをする」、「ジェスチャーをしながら真剣にヒントを出す」というような、ユーザ１０に寄り添う動きする。

【0108】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致とも不一致とも判断が不能により該当なし（図中の「？」）の場合であって、ユーザ１０の行動がふざけた行動である場合に、ロボット１００は、「不思議なポーズをする」、「悩んでいるポーズをする」、「もう一度の手振りをする」というような、ユーザ１０に対する困惑を表現する動きをする。

【0109】

また、ユーザ１０の回答結果がロボット１００が準備した回答と一致とも不一致とも判断が不能により該当なしの場合であって、ユーザ１０の行動が真面目な行動である場合に、ロボット１００は、「再トライの手振りをする」、「提案の手振りをする」、「わからないポーズをする」というような、ユーザ１０に再考を求める動きをする。

【0110】

なお、ロボット１００は、回答者（本事例ではユーザ１０ａ又はユーザ１０ｂ）が何度も会話をしたことのある親しいユーザである場合と、初めてのユーザである場合で、態度やノリを変えた動きをできる。

【0111】

また、ロボット１００の応答行動の動きの内容として、図６に示した内容は例示であって、この内容に限定されない。

【0112】

また、ロボット１００は、上記のように、回答者の回答に対して正誤を示すだけでなく、わざと答えを忘れたふりをしておどけてみせることもできる。この場合、ロボット１００が答えを忘れたり、とぼけたふりをして、ユーザ１０からツッコミを入れられると、ロボット１００は照れたような反応を返すことができる。

【0113】

このように、ロボット１００はユーザ１０と問答を繰り返す場合に人間味のある反応を示すことができる。

【0114】

記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、ロボット１００の感情値とに基づいて、ユーザ１０の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。

【0115】

具体的には、ロボット１００の複数の感情分類の各々に対する感情値の総和と、行動決定部２３６によって決定された行動を含むジェスチャーに対して予め定められた強度と、行動決定部２３６によって決定された行動が含む発話内容に対して予め定められた強度との和である強度の総合値が、閾値以上である場合、ユーザ１０の行動を含むデータを履歴データ２２２に記憶すると決定する。

【0116】

記憶制御部２３８は、ユーザ１０の行動を含むデータを履歴データ２２２に記憶すると決定した場合、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報（例えば、その場の音声、画像、匂い等のデータなどのあらゆる周辺情報）、及び状態認識部２３０によって認識されたユーザ１０の状態（例えば、ユーザ１０の表情、感情など）を、履歴データ２２２に記憶する。

【0117】

また、ロボット１００の感情値は、ユーザ１０の回答の正誤やユーザ１０の態度によって更新されるため、ロボット１００のイベント処理実行後にも記憶制御部２３８は実行される。

【0118】

例えば、ユーザ１０の回答が正解であった場合には、ロボット１００の「喜」の感情値を大きくするように感情決定部２３１が決定し、その更新された値に基づいて、記憶制御部２３８はユーザ１０の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。また例えば、ユーザ１０の回答が不正解であった場合には、ロボット１００の「喜」の感情値を小さくし、「哀」の感情値を大きくするように感情決定部２３１が決定し、その更新された値に基づいて、記憶制御部２３８はユーザ１０の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。

【0119】

行動制御部２５０は、行動決定部２３６が決定した行動に基づいて、制御対象２５２を制御する。例えば、行動制御部２５０は、行動決定部２３６が発話することを含む行動を決定した場合に、制御対象２５２に含まれるスピーカから音声を出力させる。このとき、行動制御部２５０は、ロボット１００の感情値に基づいて、音声の発声速度を決定してもよい。例えば、行動制御部２５０は、ロボット１００の感情値が大きいほど、速い発声速度を決定する。このように、行動制御部２５０は、感情決定部２３１が決定した感情値に基づいて、行動決定部２３６が決定した行動の実行形態を決定する。

【0120】

また、行動制御部２５０は、行動決定部２３６が決定した行動に基づいてかつロボット１００の感情値の大きさに合わせて、身振りの動きの大きさを制御してよい。例えば、ロボット１００の「喜」の感情値があらかじめ設定した基準値より大きくなった場合には、踊りの表現として腕を一層大きく動かすように制御する。

【0121】

行動制御部２５０は、行動決定部２３６が決定した行動を実行したことに対するユーザ１０の感情の変化を認識してもよい。例えば、ユーザ１０の音声や表情に基づいて感情の変化を認識してよい。その他、センサ部２００に含まれるタッチセンサ２０５で衝撃が検出されたことに基づいて、ユーザ１０の感情の変化を認識してよい。センサ部２００に含まれるタッチセンサ２０５で衝撃が検出された場合に、ユーザ１０の感情が悪くなったと認識したり、センサ部２００に含まれるタッチセンサ２０５の検出結果から、ユーザ１０の反応が笑っている、あるいは、喜んでいる等と判断される場合には、ユーザ１０の感情が良くなったと認識したりしてもよい。ユーザ１０の反応を示す情報は、通信処理部２８０に出力される。

【0122】

また、行動制御部２５０は、行動決定部２３６が決定した行動をロボット１００の感情に応じて決定した実行形態で実行した後、感情決定部２３１は、当該行動が実行されたことに対するユーザの反応に基づいて、ロボット１００の感情値を更に変化させる。具体的には、感情決定部２３１は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良でなかった場合に、ロボット１００の「喜」の感情値を増大させる。また、感情決定部２３１は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良であった場合に、ロボット１００の「哀」の感情値を増大させる。

【0123】

更に、行動制御部２５０は、決定したロボット１００の感情値に基づいて、ロボット１００の感情を表現する。例えば、行動制御部２５０は、ロボット１００の「喜」の感情値を増加させた場合、制御対象２５２を制御して、ロボット１００に喜んだ仕草を行わせる。また、行動制御部２５０は、ロボット１００の「哀」の感情値を増加させた場合、ロボット１００の姿勢がうなだれた姿勢になるように、制御対象２５２を制御する。

【0124】

通信処理部２８０は、サーバ３００との通信を担う。上述したように、通信処理部２８０は、ユーザ反応情報をサーバ３００に送信する。また、通信処理部２８０は、更新された反応ルールをサーバ３００から受信する。通信処理部２８０がサーバ３００から、更新された反応ルールを受信すると、行動決定モデル２２３としての反応ルールを更新する。

【0125】

サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２とサーバ３００との間の通信を行い、ロボット１００から送信されたユーザ反応情報を受信し、ポジティブな反応が得られた行動を含む反応ルールに基づいて、反応ルールを更新する。

【0126】

以下、本実施形態に係るロボット１００の作用について説明する。ロボット１００では、図７に示す行動決定処理が実行される。ロボット１００における処理は、ＣＰＵ１２１２が、状態認識部２３０と、感情決定部２３１と、行動認識部２３２と、取得部２３５と、行動決定部２３６と、記憶制御部２３８と、行動制御部２５０と、通信処理部２８０として機能することにより実行される。

【0127】

図７は、ロボット１００の行動決定処理を示すフローチャートである。
ＣＰＵ１２１２は、図７に示されているフローチャートを繰り返し実行する。

【0128】

まず、ステップＳ２００において、ＣＰＵ１２１２は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態及びロボット１００の状態を認識する。

【0129】

ステップＳ２０２において、ＣＰＵ１２１２は、センサモジュール部２１０で解析された情報及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動分類を認識する。

【0130】

ステップＳ２０４において、ＣＰＵ１２１２は、ユーザ１０の行動が「質問する」であるか否かを判定する。ユーザ１０の行動が「質問する」であると認識した場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０６へ移行する。一方、ユーザ１０の行動が「質問する」ではないと認識した場合（ステップＳ２０４：ＮＯ）、ステップＳ２１２へ移行する。

【0131】

ステップＳ２０６において、ＣＰＵ１２１２は、ユーザ１０の質問に対する回答の行動を、文章生成モデルから取得する。

【0132】

ステップＳ２０８において、ＣＰＵ１２１２は、文章生成モデルから取得した結果（回答の行動内容）と行動決定モデルに基づいて、ロボット１００の行動を決定する。なお、ステップＳ２０８を２回以上通る場合には、ステップＳ２０６で取得した最新の回答を基にして、既に決定されているロボット１００の行動を更新する。

【0133】

ステップＳ２１０において、ＣＰＵ１２１２は、ユーザ１０がロボット１００より先に回答したか否かを判定する。ユーザ１０が先に回答した場合（ステップＳ２１０：ＹＥＳ）、ステップＳ２０６を再度実行する。一方、ユーザ１０が先に回答しなかった場合（ステップＳ２１０：ＮＯ）、ステップＳ２１４へ移行する。

【0134】

ステップＳ２１２において、ＣＰＵ１２１２は、行動決定モデルに基づいて、ロボット１００の行動を決定する。

【0135】

ステップＳ２１４において、ＣＰＵ１２１２は、決定された行動を制御することでロボット１０１の行動を実行する。そして、ＣＰＵ１２１２は、当該フローチャートの処理を終了する。

【0136】

なお、ロボット１００は、行動制御システムを備える電子機器の一例である。行動制御システムの適用対象は、ロボット１００に限られず、様々な電子機器に行動制御システムを適用できる。また、サーバ３００の機能は、１以上のコンピュータによって実装されてよい。サーバ３００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ３００の機能の少なくとも一部は、クラウドで実装されてよい。

【0137】

図８は、ロボット１００及びサーバ３００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0138】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッ
ドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0139】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0140】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0141】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0142】

プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0143】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0144】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0145】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケ
ンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0146】

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0147】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0148】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0149】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0150】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他の
プログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0151】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0152】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0153】

５ システム、１０、１１、１２ ユーザ、２０ 通信網、１００、１０１、１０２ ロボット、２００ センサ部、２０１ マイク、２０２ 深度センサ、２０３ カメラ、２０４ 距離センサ、２０５ タッチセンサ、２０６ 加速度センサ、２１０ センサモジュール部、２１１ 音声感情認識部、２１２ 発話理解部、２１３ 表情認識部、２１４
顔認識部、２２０ 格納部、２２１ 反応ルール、２２３ 行動決定モデル、２２２ 履歴データ、２２８ 制御部、２３０ ユーザ状態認識部（状態認識部）、２３１ 感情決定部、２３２ 行動認識部、２３４ 難易度推定部、２３５ 取得部、２３６ 行動決定部、２３８ 記憶制御部、２５０ 行動制御部、２５２ 制御対象、２８０ 通信処理部、３００ サーバ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ－ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】