特開 2024-158721 制御システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158721

(43)【公開日】2024-11-08

(54)【発明の名称】制御システム、及びプログラム

(51)【国際特許分類】

   G06N 3/008 20230101AFI20241031BHJP

   G06F 3/01 20060101ALI20241031BHJP

   G06F 3/16 20060101ALI20241031BHJP

   G06Q 50/10 20120101ALI20241031BHJP

   G10L 25/63 20130101ALI20241031BHJP

   G10L 13/00 20060101ALI20241031BHJP

   G10L 15/10 20060101ALI20241031BHJP

【ＦＩ】

G06N3/008

G06F3/01 510

G06F3/16 540

G06F3/16 620

G06Q50/10

G10L25/63

G10L13/00 100M

G10L15/10 500N

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023074143

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】孫 正義

(72)【発明者】

【氏名】畑 達彦

(72)【発明者】

【氏名】中谷 友一

【テーマコード（参考）】

5E555

5L049

5L050

【Ｆターム（参考）】

5E555AA48

5E555AA71

5E555BA02

5E555BA31

5E555BA90

5E555BB02

5E555BC04

5E555CA42

5E555CA47

5E555CB64

5E555CB67

5E555CC03

5E555DA23

5E555DA40

5E555EA19

5E555EA22

5E555EA23

5E555FA00

5L049CC11

5L050CC11

(57)【要約】      （修正有）

【課題】電子機器（ロボット）と会話しているユーザの状態に対して適切なロボットの行動を決定する制御システム及びプログラムを提供する。
【解決手段】サーバと、人型ロボットであるロボットとを備える制御システムにおいて、サーバ１００の処理部１１０は、ロボット２００と会話しているユーザの感情を示すユーザ感情値を決定する感情決定部と、ロボットユーザに対してオブジェクトの説明を行っているときのユーザのユーザ感情値の遷移に基づいて、ユーザのオブジェクトに対する理解度及び注目度の少なくともいずれかを判定する判定部と、判定部による判定結果に基づいて、ユーザの注目度がより高まるように、ロボットによるオブジェクトの説明の出力態様を調整する制御部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

電子機器と会話しているユーザの感情を示すユーザ感情値を決定する感情決定部と、
前記電子機器が前記ユーザに対してオブジェクトの説明を行っているときの前記ユーザの前記ユーザ感情値の遷移に基づいて、前記ユーザの前記オブジェクトに対する理解度及び注目度の少なくともいずれかを判定する判定部と、
前記判定部による判定結果に基づいて、前記電子機器による前記オブジェクトの説明の出力態様を調整する制御部と
を備える制御システム。

【請求項2】

前記判定部は、前記電子機器による前記オブジェクトの説明の初期における前記ユーザの感情がネガティブな感情である場合に、前記説明の初期における前記ネガティブな感情の度合いに対して、前記ユーザのネガティブな感情の度合いが低下するほど、前記ユーザの前記理解度がより高いと判定する、請求項１に記載の制御システム。

【請求項3】

前記制御部は、前記電子機器に、前記オブジェクトの説明の途中に、前記ユーザに対して問いかけを実施させ、
前記判定部は、前記問いかけに対する前記ユーザの反応に更に基づいて、前記ユーザの前記オブジェクトに対する前記理解度及び前記注目度の少なくともいずれかを判定する、請求項１に記載の制御システム。

【請求項4】

前記制御部は、前記判定部による判定結果に基づいて、前記電子機器の声のトーン、前記電子機器の発話スピード、前記電子機器の身振り手振りの量、前記電子機器の前記ユーザに合わせて頷く量、及び前記電子機器の間をとる量の少なくともいずれかを調整する、請求項１から３のいずれか一項に記載の制御システム。

【請求項5】

前記制御部が前記調整を行ったときの前記ユーザの前記ユーザ感情値の遷移に基づいて前記判定部によって判定された前記ユーザの前記理解度又は前記注目度と、前記調整の内容とを対応付けた履歴データを記憶する記憶部
を備え、
前記制御部は、前記記憶部に記憶されている複数の前記履歴データに基づいて、前記調整の内容を決定する、請求項４に記載の制御システム。

【請求項6】

前記制御部は、前記ユーザの前記理解度がより低いほど前記電子機器の声のトーンをより強くさせる調整、前記ユーザの前記理解度がより低いほど前記電子機器の発話スピードをより遅くさせる調整、前記ユーザの前記理解度がより低いほど前記電子機器の身振り手振りの量をより多くさせる調整、前記ユーザの前記理解度がより低いほど前記ユーザに合わせて前記電子機器が頷く回数をより多くさせる調整、及び前記ユーザの前記理解度がより低いほど前記電子機器の間を取る回数をより多くさせる調整、の少なくともいずれかを行う、請求項４に記載の制御システム。

【請求項7】

前記制御部は、前記ユーザの前記注目度がより低いほど前記電子機器の声のトーンをより強くさせる調整、前記ユーザの前記注目度がより低いほど前記電子機器の発話スピードをより遅くさせる調整、前記ユーザの前記注目度がより低いほど前記電子機器の身振り手振りの量をより多くさせる調整、前記ユーザの前記注目度がより低いほど前記ユーザに合わせて前記電子機器の頷く回数をより多くさせる調整、及び前記ユーザの前記注目度がより低いほど前記電子機器の間を取る回数をより多くさせる調整、の少なくともいずれかを行う、請求項４に記載の制御システム。

【請求項8】

前記電子機器を更に備える、請求項１から３のいずれか一項に記載の制御システム。

【請求項9】

コンピュータを、請求項１から３のいずれか一項に記載の制御システムとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御システム、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、ロボットの会話相手であるユーザの状態に対して適切なロボットの行動を決定する行動制御システムについて記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１６－０１２３４１号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、制御システムが提供される。前記制御システムは、電子機器と会話しているユーザの感情を示すユーザ感情値を決定する感情決定部を備えてよい。前記制御システムは、前記電子機器が前記ユーザに対してオブジェクトの説明を行っているときの前記ユーザの前記ユーザ感情値の遷移に基づいて、前記ユーザの前記オブジェクトに対する理解度及び注目度の少なくともいずれかを判定する判定部を備えてよい。前記制御システムは、前記判定部による判定結果に基づいて、前記電子機器による前記オブジェクトの説明の出力態様を調整する制御部を備えてよい。

【0004】

前記制御システムにおいて、前記判定部は、前記電子機器による前記オブジェクトの説明の初期における前記ユーザの感情がネガティブな感情である場合に、前記説明の初期における前記ネガティブな感情の度合いに対して、前記ユーザのネガティブな感情の度合いが低下するほど、前記ユーザの前記理解度及び前記注目度の少なくともいずれかがより高いと判定してよい。

【0005】

前記いずれかの制御システムにおいて、前記制御部は、前記電子機器に、前記オブジェクトの説明の途中に、前記ユーザに対して問いかけを実施させてよく、前記判定部は、前記問いかけに対する前記ユーザの反応に更に基づいて、前記ユーザの前記オブジェクトに対する前記理解度及び前記注目度の少なくともいずれかを判定してよい。

【0006】

前記いずれかの制御システムにおいて、前記制御部は、前記判定部による判定結果に基づいて、前記電子機器の声のトーン、前記電子機器の発話スピード、前記電子機器の身振り手振りの量、前記電子機器の前記ユーザに合わせて頷く量、及び前記電子機器の間をとる量の少なくともいずれかを調整してよい。前記制御システムは、前記制御部が前記調整を行ったときの前記ユーザの前記ユーザ感情値の遷移に基づいて前記判定部によって判定された前記ユーザの前記理解度又は前記注目度と、前記調整の内容とを対応付けた履歴データを記憶する記憶部を備えてよく、前記制御部は、前記記憶部に記憶されている複数の前記履歴データに基づいて、前記調整の内容を決定してよい。

【0007】

前記いずれかの制御システムにおいて、前記制御部は、前記ユーザの前記理解度がより低いほど前記電子機器の声のトーンをより強くさせる調整、前記ユーザの前記理解度がより低いほど前記電子機器の発話スピードをより遅くさせる調整、及び前記ユーザの前記理解度がより低いほど前記電子機器の身振り手振りの量をより多くさせる調整、前記ユーザの前記理解度がより低いほど前記ユーザに合わせて前記電子機器が頷く回数をより多くさせる調整、及び前記ユーザの前記理解度がより低いほど前記電子機器の間を取る回数をより多くさせる調整、の少なくともいずれかを行ってよい。

【0008】

前記いずれかの制御システムにおいて、前記制御部は、前記ユーザの前記注目度がより低いほど前記電子機器の声のトーンをより強くさせる調整、前記ユーザの前記注目度がより低いほど前記電子機器の発話スピードをより遅くさせる調整、前記ユーザの前記注目度がより低いほど前記電子機器の身振り手振りの量をより多くさせる調整、前記ユーザの前記注目度がより低いほど前記ユーザに合わせて前記電子機器の頷く回数をより多くさせる調整、及び前記ユーザの前記注目度がより低いほど前記電子機器の間を取る回数をより多くさせる調整、の少なくともいずれかを行ってよい。

【0009】

前記いずれかの制御システムは、前記電子機器を更に備えてよい。

【0010】

本発明の一実施態様によれば、コンピュータを、前記制御システムとして機能させるためのプログラムが提供される。

【0011】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係るシステム１０の全体構成の一例を概略的に示す。

【図2】ロボット２００及びサーバ１００の機能ブロック構成を概略的に示す。

【図3】サーバ１００、又はロボット２００の一部として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

図１は、本実施形態に係るシステム１０の全体構成の一例を概略的に示す。システム１０は、サーバ１００と、ロボット２００とを備える。システム１０は、複数のロボット２００を備えてよい。ロボット２００は、人型ロボットであってよい。ロボット２００は、人型以外のロボットであってもよい。ロボット２００は、電子機器の一例であってよい。なお、サーバ１００は、制御システムとして機能し得る。ロボット２００は、制御システムの制御対象の一例であってよい。システム１０は、制御システムの一例であってもよい。

【0015】

ロボット２００は、任意の場所に配置される。ユーザ２０は、ロボット２００を利用する利用者である。

【0016】

ロボット２００は、例えば、病院や診療所に配置される。ユーザ２０は、病院や診療所を訪れる患者等であってよい。ロボット２００は、例えば、家庭に配置される。ユーザ２０は、ロボット２００が配置された家庭の家族や、その家庭を訪れた他人であってよい。ロボット２００は、例えば、店舗や事務所の受付等に配置される。ユーザ２０は、店舗や事務所に来訪した顧客であってよい。ロボット２００の利用形態は、これらの利用形態に限られない。

【0017】

サーバ１００は、ロボット２００とは遠隔に設けられる。サーバ１００は、通信ネットワーク５０を通じてロボット２００を制御することができる。例えば、サーバ１００は、ロボット２００で検出されたセンサ情報を、通信ネットワーク５０を通じて取得して、取得したセンサ情報に基づいて、ロボット２００に行わせる動作を決定して、通信ネットワーク５０を通じて制御情報を送信してロボット２００に指示する。

【0018】

例えば、ロボット２００は、ユーザ２０の音声及び画像や、ロボット２００が受けた外力の情報等、センサで検出した各種の情報を取得して、サーバ１００に送信する。サーバ１００は、ロボット２００から取得した情報に基づいて、ロボット２００を制御するための制御情報を生成する。サーバ１００は、例えば、ロボット２００から取得した情報に基づいて、ニューラルネットワーク（ＮＮ）を用いて、ロボット２００を制御するための制御情報を生成する。

【0019】

システム１０では、ロボット２００の行動を決定すべく各種情報を処理したり、各種情報を処理した結果に基づいてロボット２００の行動を決定したりする処理を、サーバ１００が実行してよい。なお、それらの処理の一部又は全てを、ロボット２００が実行してもよい。この場合、ロボット２００の一部が、制御システムとして機能する。

【0020】

本実施形態に係るシステム１０は、任意のオブジェクトをユーザ２０に対して説明する処理を実行する。オブジェクトは、説明の対象となれば、どのような対象であってもよく、任意の事物を含む。システム１０は、ユーザ２０に対して、重要事項の説明を行ってよい。例えば、システム１０は、病院や診療所に配置されたロボット２００によって、ユーザ２０に対してインフォームドコンセントを行う。

【0021】

サーバ１００は、ユーザ２０の感情を認識する機能を有する。サーバ１００は、ユーザ２０の表情や、ユーザ２０との会話から、ユーザ２０の感情を示すユーザ感情値を決定する。サーバ１００は、ユーザ２０に対して説明しているオブジェクトに対するユーザ２０の理解度や注目度を判定する。サーバ１００は、判定したユーザ２０の理解度や注目度に合わせて、ロボット２００によるオブジェクトの説明の出力態様を調整してよい。なお、上述したように、このような、ユーザ２０の感情を認識する処理、ユーザ２０の理解度や注目度を判定する処理、及びオブジェクトの説明の出力態様を調整する処理の一部又は全てをロボット２００が実行してもよい。

【0022】

サーバ１００は、例えば、ユーザ２０の理解度２２が高い場合には、単なる内容の読み上げ・発話を行い、ユーザ２０の理解度２２が低い場合に、単なる内容の読み上げ・発話だけでなく、声のトーン、発話スピード、身振り手振りといった動きを、相手の理解度２２の変化に応じて加えることで、ユーザ２０の重要事項に対する理解度を高める。

【0023】

具体例として、サーバ１００は、ユーザ２０の理解度２２がより低いほど、ロボット２００の声のトーンをより強くする調整を行う。また、例えば、サーバ１００は、ユーザ２０の理解度２２がより低いほど、ロボット２００の発話スピードをより遅くする調整を行う。また、例えば、サーバ１００は、ユーザ２０の理解度２２がより低いほど、ロボット２００の身振り手振りの量を多くさせる調整を行う。また、例えば、サーバ１００は、ユーザ２０の理解度２２がより低いほど、ロボット２００がユーザ２０に合わせて頷く回数をより多くさせる調整を行う。また、例えば、サーバ１００は、ユーザ２０の理解度２２がより低いほど、ロボット２００の間をとる回数をより多くさせる調整を行う。

【0024】

通常の会話や接客では、相手の理解度はそれほど重視されず、より相手をポジティブな感情へ導くことが多いと考えられる。それに対して、特に、重要事項等の説明においては、ポジティブさよりも理解度を重視する必要があり、本実施形態に係るシステム１０では、理解度を重視した処理を実行する。

【0025】

サーバ１００は、ユーザ２０の理解度２２の測定に、ユーザ２０の感情の遷移を応用する。例えば、重要事項の説明の多くは、最初に不安や恐怖、悲しみを感じるが、説明を加えたり質問に回答したりすることで徐々にネガティブな感情が薄れていく。そのため、サーバ１００は、例えば、説明の初期におけるユーザ２０の感情がネガティブな感情である場合に、説明の初期におけるネガティブな感情の度合いに対して、ユーザのネガティブな感情の度合いが低下するほど、ユーザ２０の理解度２２がより高いと判定する。

【0026】

サーバ１００は、ユーザ２０の感情の遷移のみではなく、ユーザ２０との会話や、ユーザ２０に対する質問によって、ユーザ２０の理解度２２を測定してもよい。例えば、サーバ１００は、説明の途中で、それまでに説明した内容を確認する会話や質問をロボット２００によってユーザ２０に対して行い、会話に対する返答や、質問に対する回答が、説明に対して整合しているか否かを判定することによって、ユーザ２０の理解度２２を測定する。会話に対する返答時や、質問に対する回答時におけるユーザ２０の感情に更に基づいて、ユーザ２０の理解度２２を測定してもよい。

【0027】

図２は、ロボット２００及びサーバ１００の機能ブロック構成の一例を概略的に示す。まず、ロボット２００の機能ブロック構成について説明する。ロボット２００は、センサ部２１０と、情報処理部２２０と、制御対象２３０と、通信部２４０とを備える。情報処理部２２０は、ＭＰＵ等のプロセッサであってよい。通信部２４０は、サーバ１００との通信を担う。通信部２４０は、ネットワークＩＦ等の通信デバイスであってよい。

【0028】

制御対象２３０は、スピーカを含む。制御対象２３０は、表示部を含む。表示部は、ロボット２００の胸部等、ロボット２００の任意の位置に配置されてよい。制御対象２３０は、目部等に設置されたＬＥＤを含む。制御対象２３０は、ロボット２００の肢部や頭部等の可動部を駆動するモータ等を含む。

【0029】

センサ部２１０は、マイク２１１、ジャイロセンサ２１２、モータセンサ２１３、カメラ２１４、赤外線センサ２１５、電池残量センサ２１６等の各種のセンサを有する。センサ部２１０がこれらの全てを有することは必須とは限らず、また、センサ部２１０はこれら以外を有してもよい。

【0030】

マイク２１１は、周囲の音声を取得する。例えば、マイク２１１は、ユーザ２０の音声を取得する。ジャイロセンサ２１２は、ロボット２００全体及びロボット２００の各部の角速度を検出する。モータセンサ２１３は、ロボット２００の可動部を駆動するモータの駆動軸の回転角度を検出する。カメラ２１４は、可視光によって撮影して動画や静止画の画像情報を生成する。赤外線センサ２１５は、赤外線により周囲の物体を検出する。電池残量センサ２１６は、ロボット２００が備える電池の残存容量を検出する。

【0031】

センサ部２１０は、マイク２１１で取得された音声データ、カメラ２１４で撮影された画像、ジャイロセンサ２１２で検出された角速度、モータセンサ２１３で検出された回転角度、電池残量センサ２１６で検出した残存容量、赤外線センサ２１５で検出した物体情報等の各種のセンサデータを、情報処理部２２０に出力する。情報処理部２２０は、取得したセンサ信号を通信部２４０に供給して、サーバ１００へ送信させる。また、情報処理部２２０は、サーバ１００から取得した制御情報に基づいて、ロボット２００のスピーカから発話させたり、ロボット２００のＬＥＤを発光させたり、ロボット２００の肢部等を動作させたりする。

【0032】

次に、サーバ１００の機能ブロック構成について説明する。サーバ１００は、処理部１１０と、通信部１２０と、記憶部１３０とを有する。処理部１１０は、制御部１１１と、ユーザ状態認識部１１２と、感情決定部１１３と、判定部１１４とを有する。通信部１２０は、情報取得部１２２を有する。

【0033】

通信部１２０は、ロボット２００との通信を担う。通信部１２０は、ネットワークＩＦ等の通信デバイスであってよい。情報取得部１２２は、各種情報を取得する。例えば、情報取得部１２２は、ロボット２００のセンサ部２１０で検出された情報を、通信ネットワーク５０を通じて取得する。

【0034】

記憶部１３０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、記憶部１３０は、ＲＡＭ等の揮発性記憶装置を有する。記憶部１３０は、処理部１１０が実行時に読み出すプログラムコードや各種の一時データの他、処理部１１０の処理の実行に必要な情報等を格納する。記憶部１３０は、いわゆる大規模言語モデル（ＬＬＭ：Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｓ）を記憶してよい。記憶部１３０は、通信部１２０がロボット２００から取得した情報を記憶する。

【0035】

制御部１１１は、記憶部１３０に記憶されている情報と、情報取得部１２２が取得した情報とを用いて、ロボット２００の行動を決定し、決定した行動を実行させるための制御情報を、通信部１２０を介してロボット２００に送信する。

【0036】

記憶部１３０は、例えば、オブジェクトの説明と、当該説明をロボット２００が出力する際の出力態様とを記憶する。

【0037】

出力態様は、表示出力の内容を含んでよい。出力態様は、音声出力の内容を含んでよい。出力態様は、ロボット２００の声のトーンを含んでよい。出力態様は、ロボット２００の発話スピードを含んでよい。出力態様は、ロボット２００の間をとる量の情報を含んでよい。出力態様は、ロボット２００の身体動作の内容を含んでよい。出力態様は、ロボット２００の身振り手振りの情報を含んでよい。出力態様は、ロボット２００のユーザ２０に合わせて頷く量の情報を含んでよい。

【0038】

例えば、インフォームドコンセントを目的とする場合、オブジェクトは、ユーザ２０の状態、及び実施する予定の医療行為等であり、その具体的な説明が記憶部１３０に記憶される。説明は、複数の段階によって構成され、出力態様は、段階毎に登録されてよい。各段階内において、出力態様が細かく変化するようになっていてもよい。

【0039】

インフォームドコンセントにおける説明は、ユーザ２０に正確に理解してもらう必要があり、ユーザ２０に注目してもらう必要がある。オブジェクトに対するユーザ２０の理解度や注目度は、説明の仕方に大きく依存すると考えられる。特に、ロボット２００によって説明しようとした場合、ロボット２００の出力態様が、ユーザ２０の理解度や注目度に与える影響は大きい。そこで、本実施形態に係る制御システム１０においては、例えば、オブジェクトの説明に対して基本的な出力態様を登録しておき、それを、ユーザ２０の理解度や注目度が高まるように、適宜調整する。

【0040】

ユーザ状態認識部１１２は、情報取得部１２２が取得した情報に基づいて、ユーザ２０の状態を認識する。ユーザ状態認識部１１２は、カメラ２１４によって撮像された撮像画像を解析して、ユーザ２０の顔を認識してよい。例えば、記憶部１３０が、複数の人物の顔画像を記憶しておき、ユーザ状態認識部１１２は、撮像画像と、記憶された顔画像とをマッチングすることによって、ユーザ２０の顔を認識する。ユーザ状態認識部１１２は、カメラ２１４によって撮像された撮像画像を解析して、ユーザ２０の表情を認識してよい。ユーザ状態認識部１１２は、マイク２１１によって検出されたユーザ２０の音声を解析して、ユーザ２０の発声内容を認識してよい。ユーザ状態認識部１１２は、マイク２１１によって検出されたユーザ２０の音声を解析することにより、音声感情認識を実行してもよい。例えば、ユーザ状態認識部１１２は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ２０の感情を認識する。

【0041】

ユーザ状態認識部１１２は、情報取得部１２２が取得した情報に基づいて、ユーザ２０の行動を認識してよい。例えば、ユーザ状態認識部１１２は、情報取得部１２２が取得した情報と、情報取得部１２２が当該情報を取得したときの実際のユーザ２０の行動とを訓練データとして学習された、情報取得部１２２が取得した情報から、ユーザ２０の行動を出力するニューラルネットワークを予め記憶しておき、情報取得部１２２が取得した情報を、当該ニューラルネットワークに入力することによって、ユーザ２０の行動を特定する。当該ニューラルネットワークは、ユーザ状態認識部１１２によって認識されたユーザ２０の表情及びユーザ２０の発声内容を受け付けるように構成されてもよい。ユーザの行動を認識する方法は、これに限られず、公知の他の方法を用いてもよい。

【0042】

感情決定部１１３は、ロボット２００と会話しているユーザ２０の感情を示すユーザ感情値を決定する。感情決定部１１３は、情報取得部１２２が取得した情報を用いて、ユーザ２０のユーザ感情値を決定してよい。感情決定部１１３は、ユーザ状態認識部１１２によって認識されたユーザ状態を用いて、ユーザ２０のユーザ感情値を決定してよい。感情決定部１１３は、ユーザ状態認識部１１２によって音声感情認識が実行された場合に、情報取得部１２２が取得した情報と、音声感情認識結果とを用いて、ユーザ２０のユーザ感情値を決定してもよい。

【0043】

ユーザ感情値は、ユーザ２０の感情の種類と、ユーザ２０の感情の正負と感情の度合を示す値とを含んでよい。ユーザ２０の感情の種類として、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、「充実感」、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」等が挙げられる。なお、これらは例示であって、これらに限られない。ユーザ２０の感情の正負を示す値は、例えば、ユーザ２０の感情が、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、及び「充実感」のように、快感や安らぎを伴う明るい感情であれば、正の値を示し、明るい感情であるほど、大きい値となる。ユーザの感情が、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちになってしまう感情であれば、負の値を示し、嫌な気持ちであるほど、負の値の絶対値が大きくなる。ユーザの感情が、上記の何れでもない場合（「普通」）、正負を示す値は、０の値を示す。

【0044】

例えば、感情決定部１１３は、情報取得部１２２が取得した情報と、情報取得部１２２が当該情報を取得したときの実際のユーザ２０の感情を示すユーザ感情値とを訓練データとして学習された、情報取得部１２２が取得した情報から、ユーザ２０のユーザ感情値を出力するニューラルネットワークを予め記憶しておき、情報取得部１２２が取得した情報を、当該ニューラルネットワークに入力することによって、ユーザ感情値を取得する。当該ニューラルネットワークは、ユーザ状態認識部１１２によって認識されたユーザ２０の表情及びユーザ２０の発声内容を受け付けるように構成されてもよい。ユーザ感情値を決定する方法は、これに限られず、公知の他の方法を用いてもよい。

【0045】

判定部１１４は、ロボット２００がユーザ２０に対してオブジェクトの説明を行っているときのユーザ２０のユーザ感情値の遷移に基づいて、ユーザ２０のオブジェクトに対する理解度を判定する。

【0046】

例えば、判定部１１４は、ロボット２００によるオブジェクトの説明の初期におけるユーザ２０の感情がネガティブな感情である場合に、説明の初期におけるネガティブな感情の度合いに対して、ユーザ２０のネガティブな感情の度合いが低下するほど、ユーザ２０の理解度がより高いと判定する。また、判定部１１４は、ロボット２００によるオブジェクトの説明の初期におけるユーザ２０の感情がネガティブな感情である場合に、説明の初期におけるネガティブな感情の度合いに対して、ユーザ２０のネガティブな感情の度合いが高まるほど、ユーザ２０の理解度がより低いと判定してもよい。重要事項の説明の多くは、最初はネガティブな感情を抱き、理解が進むにつれてネガティブな感情が薄れていくが、理解できていない場合は、ネガティブな感情が薄まらないか、ネガティブな感情が強まる傾向にある。そのため、ユーザ感情値の遷移に基づいて、上記のように判定することによって、ユーザ２０の理解度を高い精度で判定することができる。

【0047】

制御部１１１は、ロボット２００に、オブジェクトの説明の途中に、ユーザ２０に対して問いかけを実施させてもよい。判定部１１４は、問いかけに対するユーザ２０の反応に更に基づいて、ユーザ２０のオブジェクトに対する理解度を判定してよい。これにより、ユーザ２０の理解度の精度をさらに向上させることができる。オブジェクトの説明の途中のどのタイミングでどのような問いかけをするかは、予め登録されて、記憶部１３０に記憶されてよい。例えば、オブジェクトの説明が複数の段階を含む場合に、段階ごとに、その段階の内容について質問する問いかけが登録される。判定部１１４は、質問に対するユーザ２０の回答が、正解である場合、不正解である場合と比較して、ユーザ２０の理解度が高いと判定してよい。判定部１１４は、質問に対して回答したときのユーザ２０のユーザ感情値にさらに基づいて、ユーザ２０の理解度を判定してもよい。例えば、判定部１１４は、ユーザ２０の回答が正解である場合に、ユーザ感情値の値が高いほど、ユーザ２０の理解度が高いと判定する。これにより、回答に自信があって、ポジティブな感情の度合いが強い場合には、ユーザ２０の理解度が高いと判定し、回答に自信があまりなく、ネガティブな感情の度合いが強い場合には、ユーザ２０の理解度が低いと判定することができる。

【0048】

感情決定部１１３は、ユーザ感情値を決定したときに、その確度を合わせて出力してもよい。判定部１１４は、ロボット２００がユーザ２０に対してオブジェクトの説明を行っているときのユーザ２０のユーザ感情値が、予め定められた基準を満たしている場合に、ユーザ感情値の遷移のみに基づいて、ユーザ２０の理解度を判定し、基準を満たしていない場合に、制御部１１１に、ユーザ２０に対する問いかけをロボット２００に実施させて、問いかけに対する反応と、ユーザ感情値の遷移とに基づいて、ユーザ２０の理解度を判定するようにしてもよい。これにより、ユーザ感情値の確度が比較的低く、ユーザ感情値に基づくユーザ２０の理解度が正確である可能性が低いときには、問いかけを実施することによって、理解度をより正確に判定し、ユーザ感情値の確度が比較的高く、ユーザ感情値に基づくユーザ２０の理解度が正確である可能性が高いときには、問い合わせを実施しないことによって、ユーザ２０が問い合わせを煩わしいと感じてしまうことを防止できる。なお、判定部１１４は、予め定められた基準を満たしているか否かを、例えば、ロボット２００がユーザ２０に対してオブジェクトの説明を行っているときのユーザ２０のユーザ感情値の平均値が、予め定められた閾値より高いか否かによって判定する。

【0049】

制御部１１１は、判定部１１４によるユーザ２０の理解度の判定結果に基づいて、ロボット２００の声のトーン、ロボット２００の発話スピード、ロボット２００の身振り手振りの量、ロボット２００のユーザ２０に合わせて頷く量、及びロボット２００の間をとる量の少なくともいずれかを調整してよい。

【0050】

例えば、制御部１１１は、学習によって、調整の内容を決定する。例えば、制御部１１１が調整を行ったときのユーザ２０のユーザ感情値の遷移に基づいて判定部１１４によって判定されたユーザ２０の理解度と、調整の内容とを対応付けた履歴データを、記憶部１３０が記憶する。記憶部１３０は、様々な調整内容に対して、履歴データを記憶する。制御部１１１は、記憶部１３０に記憶されている複数の履歴データに基づいて、調整の内容を決定する。例えば、ロボット２００がオブジェクトをユーザ２０に説明しているときに、ロボット２００の声のトーンを強くした場合と弱くした場合とでユーザ２０の理解度がどのように遷移するのか、ロボット２００の声のトーンを強くする場合に強さのレベルに応じてユーザ２０の理解度がどのように遷移するのか、ロボット２００の声のトーンを弱くする場合に、弱さのレベルに応じてユーザ２０の理解度がどのように遷移するのか、を解析し、ユーザの理解度が高くなる声のトーンの調整内容を特定する。制御部１１１は、発話スピード、身振り手振りの量、ユーザ２０に合わせて頷く量、及び間をとる量等についても、同様の処理を実行する。このような処理を繰り返し実行することによって、説明の流れに沿って、ユーザ２０の理解度がより高まるように、ロボット２００によるオブジェクトの説明の出力態様を調整することができる。

【0051】

また、例えば、制御部１１１は、予め定められたルールに従って、調整の内容を決定する。制御部１１１は、ユーザ２０の理解度がより低いほどロボット２００の声のトーンをより強くさせる調整を実行してよい。制御部１１１は、ユーザ２０の理解度がより低いほどロボット２００の発話スピードをより遅くさせる調整を実行してよい。制御部１１１は、ユーザの理解度がより低いほどロボットの身振り手振りの量をより多くさせる調整を実行してよい。制御部１１１は、ユーザ２０の理解度がより低いほどユーザ２０に合わせてロボット２００が頷く回数をより多くさせる調整を実行してよい。制御部１１１は、ユーザ２０の理解度がより低いほどロボット２００の間を取る回数をより多くさせる調整を実行してよい。制御部１１１は、これらのうちのいずれか１つのみを実行してよく、これらの複数を実行してよく、これらの全てを実行してもよい。これらによって、オブジェクトに対するユーザ２０の理解度を向上させることに貢献することができる。

【0052】

判定部１１４は、ロボット２００がユーザ２０に対してオブジェクトの説明を行っているときのユーザ２０のユーザ感情値の遷移に基づいて、ユーザ２０のオブジェクトに対する注目度を判定する。

【0053】

例えば、判定部１１４は、ロボット２００によるオブジェクトの説明中のユーザ２０のユーザ感情値の遷移度合が低いほど、ユーザ２０の注目度がより低いと判定する。重要事項の説明をしているときには、ユーザ２０の感情が大きく変化する傾向にある。それにもかかわらず、ユーザ２０の感情の変化が少ない場合、ユーザ２０が説明にあまり注目していない可能性が高い。そのため、ユーザ感情値の遷移に基づいて、上記のように判定することによって、ユーザ２０の注目度を高い精度で判定することができる。

【0054】

制御部１１１は、ロボット２００に、オブジェクトの説明の途中に、ユーザ２０に対して問いかけを実施させてもよい。判定部１１４は、問いかけに対するユーザ２０の反応に更に基づいて、ユーザ２０のオブジェクトに対する注目度を判定してよい。これにより、ユーザ２０の注目度の精度をさらに向上させることができる。オブジェクトの説明の途中のどのタイミングでどのような問いかけをするかは、予め登録されて、記憶部１３０に記憶されてよい。例えば、オブジェクトの説明が複数の段階を含む場合に、段階ごとに、その段階の内容について質問する問いかけが登録される。判定部１１４は、質問に対するユーザ２０の回答が、正解である場合、不正解である場合と比較して、ユーザ２０の注目度が高いと判定してよい。

【0055】

判定部１１４は、ロボット２００がユーザ２０に対してオブジェクトの説明を行っているときのユーザ２０のユーザ感情値が、予め定められた基準を満たしている場合に、ユーザ感情値の遷移のみに基づいて、ユーザ２０の注目度を判定し、基準を満たしていない場合に、制御部１１１に、ユーザ２０に対する問いかけをロボット２００に実施させて、問いかけに対する反応と、ユーザ感情値の遷移とに基づいて、ユーザ２０の注目度を判定するようにしてもよい。

【0056】

制御部１１１は、判定部１１４によるユーザ２０の注目度の判定結果に基づいて、ロボット２００の声のトーン、ロボット２００の発話スピード、ロボット２００の身振り手振りの量、ロボット２００のユーザ２０に合わせて頷く量、及びロボット２００の間をとる量の少なくともいずれかを調整してよい。

【0057】

例えば、制御部１１１は、学習によって、調整の内容を決定する。例えば、制御部１１１が調整を行ったときのユーザ２０のユーザ感情値の遷移に基づいて判定部１１４によって判定されたユーザ２０の注目度と、調整の内容とを対応付けた履歴データを、記憶部１３０が記憶する。記憶部１３０は、様々な調整内容に対して、履歴データを記憶する。制御部１１１は、記憶部１３０に記憶されている複数の履歴データに基づいて、調整の内容を決定する。例えば、ロボット２００がオブジェクトをユーザ２０に説明しているときに、ロボット２００の声のトーンを強くした場合と弱くした場合とでユーザ２０の注目度がどのように遷移するのか、ロボット２００の声のトーンを強くする場合に強さのレベルに応じてユーザ２０の注目度がどのように遷移するのか、ロボット２００の声のトーンを弱くする場合に、弱さのレベルに応じてユーザ２０の注目度がどのように遷移するのか、を解析し、ユーザの注目度が高くなる声のトーンの調整内容を特定する。制御部１１１は、発話スピード、身振り手振りの量、ユーザ２０に合わせて頷く量、及び間をとる量等についても、同様の処理を実行する。このような処理を繰り返し実行することによって、説明の流れに沿って、ユーザ２０の注目度がより高まるように、ロボット２００によるオブジェクトの説明の出力態様を調整することができる。

【0058】

また、例えば、制御部１１１は、予め定められたルールに従って、調整の内容を決定する。制御部１１１は、ユーザ２０の注目度がより低いほどロボット２００の声のトーンをより強くさせる調整を実行してよい。制御部１１１は、ユーザ２０の注目度がより低いほどロボット２００の発話スピードをより遅くさせる調整を実行してよい。制御部１１１は、ユーザの注目度がより低いほどロボットの身振り手振りの量をより多くさせる調整を実行してよい。制御部１１１は、ユーザ２０の注目度がより低いほどユーザ２０に合わせてロボット２００が頷く回数をより多くさせる調整を実行してよい。制御部１１１は、ユーザ２０の注目度がより低いほどロボット２００の間を取る回数をより多くさせる調整を実行してよい。制御部１１１は、これらのうちのいずれか１つのみを実行してよく、これらの複数を実行してよく、これらの全てを実行してもよい。これらによって、オブジェクトに対するユーザ２０の注目度を向上させることに貢献することができる。

【0059】

以上に説明したサーバ１００の機能は、１以上のコンピュータによって実装されてよい。サーバ１００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ１００の機能の少なくとも一部は、クラウドで実装されてよい。上記実施形態では、電子機器の例としてロボット２００を主に挙げて説明したが、これに限られない。電子機器の例として、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、及びスマートスピーカ等、ぬいぐるみ等、自動車や自動二輪車等の車両、家電製品等が挙げられる。なお、これらは例示であり、電子機器は、これらに限られない。

【0060】

図３は、サーバ１００、又はロボット２００の一部として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００は、例えば、サーバ１００として機能してよい。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0061】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0062】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0063】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0064】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0065】

プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0066】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0067】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0068】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0069】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0070】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0071】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0072】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0073】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0074】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0075】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0076】

１０ システム、２０ ユーザ、２２ 理解度、５０ 通信ネットワーク、１００ サーバ、１１０ 処理部、１１１ 制御部、１１２ ユーザ状態認識部、１１３ 感情決定部、１１４ 判定部、１２０ 通信部、１２２ 情報取得部、１３０ 記憶部、２００ ロボット、２１０ センサ部、２１１ マイク、２１２ ジャイロセンサ、２１３ モータセンサ、２１４ カメラ、２１５ 赤外線センサ、２１６ 電池残量センサ、２２０ 情報処理部、２３０ 制御対象、２４０ 通信部、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ－ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】