特開 2024-180167 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180167

(43)【公開日】2024-12-26

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G09B 21/00 20060101AFI20241219BHJP

   G06Q 50/10 20120101ALI20241219BHJP

【ＦＩ】

G09B21/00 F

G06Q50/10

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023099649

(22)【出願日】2023-06-16

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】門田 なぎさ

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC11

5L050CC11

(57)【要約】

【課題】聴覚障害者に対して手話生成サービスを提供可能な情報処理システムを提供することを目的とする。
【解決手段】サーバ２９０は、手話動画を生成する対象の対象データを取得する取得部２９２と、入力情報に応じた画像を生成する画像生成モデルに、前記取得部２９２が取得した対象データと、手話動画生成指示とを入力して手話動画を生成する特定処理を行う処理部２９４と、特定処理の結果を出力する出力部２９６と、を含む。
【選択図】図１６

【特許請求の範囲】

【請求項1】

手話動画を生成する対象の対象データを取得する取得部と、
入力情報に応じた画像を生成する画像生成モデルに、前記取得部が取得した前記対象データと、手話動画生成指示とを入力して手話動画を生成する特定処理を行う処理部と、
前記特定処理の結果を出力する出力部と、
を備えた情報処理システム。

【請求項2】

前記取得部は、前記対象データとして動画像データを取得し、
前記処理部は、前記取得部の取得結果に基づいて、前記動画像データに含まれる発話音声データまたはテキストデータを抽出し、前記画像生成モデルに、抽出した前記発話音声データまたはテキストデータと、手話動画生成指示とを前記入力情報として入力して手話動画を生成する特定処理を行う請求項１に記載の情報処理システム。

【請求項3】

前記取得部は、前記対象データとして動画像データを取得し、
前記出力部は、前記特定処理によって生成された前記手話動画を元の動画に挿入して出力する請求項１に記載の情報処理システム。

【請求項4】

前記特定処理は、予め指定したアバター画像で手話動画を生成する請求項１に記載の情報処理システム。

【請求項5】

手話動画を生成する対象の対象データとして動画像データを取得する取得部と、
入力情報に応じた文章を生成する文章生成モデル、及び入力情報に応じた画像を生成する画像生成モデルを含み、前記取得部が取得した前記動画像データと、前記動画像データの発話音声抽出指示とを前記文章生成モデルに入力して前記動画像データ中の発話音声を表す発話音声テキストを前記文章として生成し、生成した前記文章と、手話動画生成指示とを前記画像生成モデルに入力して手話動画を生成する特定処理を行う処理部と、
前記特定処理の結果を出力する出力部と、
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、ユーザの状態に対してロボットの適切な行動を決定する技術が開示されている。特許文献１の従来技術は、ロボットが特定の行動を実行したときのユーザの反応を認識し、認識したユーザの反応に対するロボットの行動を決定できなかった場合、認識したユーザの状態に適した行動に関する情報をサーバから受信することで、ロボットの行動を更新する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許６０５３８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

テキストを入力することにより、テキストを読み上げるサービスが提案されているが、聴覚障害者に対してのサービスが望まれる。例えば、インターネット等で配信される動画コンテンツ等の動画像や、発話音声、テキストなどの各種情報を手話に変換する手話生成サービスが望まれる。

【0005】

本発明は、上記事実を考慮して成されたもので、聴覚障害者に対して手話生成サービスを提供可能な情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、情報処理システムが提供される。情報処理システムは、手話動画を生成する対象の対象データを取得する取得部と、入力情報に応じた画像を生成する画像生成モデルに、前記取得部が取得した前記対象データと、手話動画生成指示とを入力して手話動画を生成する特定処理を行う処理部と、前記特定処理の結果を出力する出力部と、を備える。

【0007】

取得部は、前記対象データとして動画像データを取得し、処理部は、前記取得部の取得結果に基づいて、前記動画像データに含まれる発話音声データまたはテキストデータを抽出し、前記画像生成モデルに、抽出した前記発話音声データまたはテキストデータと、手話動画生成指示とを前記入力情報として入力して手話動画を生成する特定処理を行ってもよい。

【0008】

取得部は、前記対象データとして動画像データを取得し、出力部は、前記特定処理によって生成された前記手話動画を元の動画に挿入して出力してもよい。

【0009】

特定処理は、予め指定したアバター画像で手話動画を生成してもよい。

【0010】

第２の形態において、情報処理システムが提供される。情報処理システムは、手話動画を生成する対象の対象データとして動画像データを取得する取得部と、入力情報に応じた文章を生成する文章生成モデル、及び入力情報に応じた画像を生成する画像生成モデルを含み、前記取得部が取得した前記動画像データと、前記動画像データの発話音声抽出指示とを前記文章生成モデルに入力して前記動画像データ中の発話音声を表す発話音声テキストを前記文章として生成し、生成した前記文章と、手話動画生成指示とを前記画像生成モデルに入力して手話動画を生成する特定処理を行う処理部と、前記特定処理の結果を出力する出力部と、を備える。

【0011】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0012】

【図1】第１参考形態に係るシステム５の一例を概略的に示す。

【図2】第１参考形態に係るロボット１００の機能構成を概略的に示す。

【図3】第１参考形態に係るロボット１００による収集処理の動作フローの一例を概略的に示す。

【図4A】第１参考形態に係るロボット１００による応答処理の動作フローの一例を概略的に示す。

【図4B】第１参考形態に係るロボット１００による自律的処理の動作フローの一例を概略的に示す。

【図5】複数の感情がマッピングされる感情マップ４００を示す。

【図6】複数の感情がマッピングされる感情マップ９００を示す。

【図7】（Ａ）第２参考形態に係るぬいぐるみ１００Ｎの外観図、（Ｂ）ぬいぐるみ１００Ｎの内部構造図である。

【図8】第２参考形態に係るぬいぐるみ１００Ｎの背面正面図である。

【図9】第２参考形態に係るぬいぐるみ１００Ｎの機能構成を概略的に示す。

【図10】第３参考形態に係るエージェントシステム５００の機能構成を概略的に示す。

【図11】エージェントシステムの動作の一例を示す。

【図12】エージェントシステムの動作の一例を示す。

【図13】第４参考形態に係るスマート眼鏡７２０で用いるエージェントシステム７００の機能構成を概略的に示す。

【図14】スマート眼鏡によるエージェントシステムの利用態様の一例を示す。

【図15】特定処理の概要を示す。

【図16】実施形態に係るサーバ２９０の特定処理部の機能構成を概略的に示す。

【図17】処理部２９４による特定処理の第１例を示す。

【図18】処理部２９４による特定処理の第２例を示す。

【図19】実施形態に係るサーバ２９０による特定処理の動作フローの一例を概略的に示す。

【図20】処理部２９４による特定処理の第３例を示す。

【図21】コンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

なお、実施形態を説明する前に、実施形態を適用可能な第１参考形態～第４参考形態について説明する。

【0015】

［第１参考形態］

【0016】

図１は、本参考形態に係るシステム５の一例を概略的に示す。システム５は、ロボット１００、ロボット１０１、ロボット１０２、及びサーバ３００を備える。ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄは、ロボット１００のユーザである。ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃは、ロボット１０１のユーザである。ユーザ１２ａ及びユーザ１２ｂは、ロボット１０２のユーザである。なお、本参考形態の説明において、ユーザ１０ａ、ユーザ１０ｂ、ユーザ１０ｃ、及びユーザ１０ｄを、ユーザ１０と総称する場合がある。また、ユーザ１１ａ、ユーザ１１ｂ及びユーザ１１ｃを、ユーザ１１と総称する場合がある。また、ユーザ１２ａ及びユーザ１２ｂを、ユーザ１２と総称する場合がある。ロボット１０１及びロボット１０２は、ロボット１００と略同一の機能を有する。そのため、ロボット１００の機能を主として取り上げてシステム５を説明する。

【0017】

ロボット１００は、ユーザ１０と会話を行ったり、ユーザ１０に映像を提供したりする。このとき、ロボット１００は、通信網２０を介して通信可能なサーバ３００等と連携して、ユーザ１０との会話や、ユーザ１０への映像等の提供を行う。例えば、ロボット１００は、自身で適切な会話を学習するだけでなく、サーバ３００と連携して、ユーザ１０とより適切に会話を進められるように学習を行う。また、ロボット１００は、撮影したユーザ１０の映像データ等をサーバ３００に記録させ、必要に応じて映像データ等をサーバ３００に要求して、ユーザ１０に提供する。

【0018】

また、ロボット１００は、自身の感情の種類を表す感情値を持つ。例えば、ロボット１００は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」及び「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット１００は、例えば興奮の感情値が大きい状態でユーザ１０と会話するときは、早いスピードで音声を発する。このように、ロボット１００は、自己の感情を行動で表現することができる。

【0019】

また、ロボット１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた文章生成モデルと感情エンジンをマッチングさせることで、ユーザ１０の感情に対応するロボット１００の行動を決定するように構成してよい。具体的には、ロボット１００は、ユーザ１０の行動を認識して、当該ユーザの行動に対するユーザ１０の感情を判定し、判定した感情に対応するロボット１００の行動を決定するように構成してよい。

【0020】

より具体的には、ロボット１００は、ユーザ１０の行動を認識した場合、予め設定された文章生成モデルを用いて、当該ユーザ１０の行動に対してロボット１００がとるべき行動内容を自動で生成する。文章生成モデルは、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開２０１８－０８１４４４号公報やＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル（ＬＬＭ：Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）により構成されている。

【0021】

以上、本参考形態は、大規模言語モデルと感情エンジンとを組み合わせることにより、ユーザ１０やロボット１００の感情と、様々な言語情報とをロボット１００の行動に反映させるということができる。つまり、本参考形態によれば、文章生成モデルと感情エンジンとを組み合わせることにより、相乗効果を得ることができる。

【0022】

また、ロボット１００は、ユーザ１０の行動を認識する機能を有する。ロボット１００は、カメラ機能で取得したユーザ１０の顔画像や、マイク機能で取得したユーザ１０の音声を解析することによって、ユーザ１０の行動を認識する。ロボット１００は、認識したユーザ１０の行動等に基づいて、ロボット１００が実行する行動を決定する。

【0023】

ロボット１００は、行動決定モデルの一例として、ユーザ１０の感情、ロボット１００の感情、及びユーザ１０の行動に基づいてロボット１００が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。

【0024】

具体的には、ロボット１００には、ユーザ１０の感情、ロボット１００の感情、及びユーザ１０の行動に基づいてロボット１００の行動を決定するための反応ルールを、行動決定モデルの一例として有している。反応ルールには、例えば、ユーザ１０の行動が「笑う」である場合に対して、「笑う」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「怒る」である場合に対して、「謝る」という行動が、ロボット１００の行動として定められている。また、反応ルールには、ユーザ１０の行動が「質問する」である場合に対して、「回答する」という行動が、ロボット１００の行動として定められている。反応ルールには、ユーザ１０の行動が「悲しむ」である場合に対して、「声をかける」という行動が、ロボット１００の行動として定められている。

【0025】

ロボット１００は、反応ルールに基づいて、ユーザ１０の行動が「怒る」であると認識した場合、反応ルールで定められた「謝る」という行動を、ロボット１００が実行する行動として選択する。例えば、ロボット１００は、「謝る」という行動を選択した場合に、「謝る」動作を行うと共に、「謝る」言葉を表す音声を出力する。

【0026】

また、ロボット１００の感情が「普通」（すなわち、「喜」＝０、「怒」＝０、「哀」＝０、「楽」＝０）であり、ユーザ１０の状態が「１人、寂しそう」という条件が満たされた場合に、ロボット１００の感情が「心配になる」という感情の変化内容と、「声をかける」の行動を実行できることが定められている。

【0027】

ロボット１００は、反応ルールに基づいて、ロボット１００の現在の感情が「普通」であり、かつ、ユーザ１０が１人で寂しそうな状態にあると認識した場合、ロボット１００の「哀」の感情値を増大させる。また、ロボット１００は、反応ルールで定められた「声をかける」という行動を、ユーザ１０に対して実行する行動として選択する。例えば、ロボット１００は、「声をかける」という行動を選択した場合に、心配していることを表す「どうしたの？」という言葉を、心配そうな音声に変換して出力する。

【0028】

また、ロボット１００は、この行動によって、ユーザ１０からポジティブな反応が得られたことを示すユーザ反応情報を、サーバ３００に送信する。ユーザ反応情報には、例えば、「怒る」というユーザ行動、「謝る」というロボット１００の行動、ユーザ１０の反応がポジティブであったこと、及びユーザ１０の属性が含まれる。

【0029】

サーバ３００は、ロボット１００から受信したユーザ反応情報を記憶する。なお、サーバ３００は、ロボット１００だけでなく、ロボット１０１及びロボット１０２のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２からのユーザ反応情報を解析して、反応ルールを更新する。

【0030】

ロボット１００は、更新された反応ルールをサーバ３００に問い合わせることにより、更新された反応ルールをサーバ３００から受信する。ロボット１００は、更新された反応ルールを、ロボット１００が記憶している反応ルールに組み込む。これにより、ロボット１００は、ロボット１０１やロボット１０２等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。

【0031】

図２は、ロボット１００の機能構成を概略的に示す。ロボット１００は、センサ部２００と、センサモジュール部２１０と、格納部２２０と、制御部２２８と、制御対象２５２と、を有する。制御部２２８は、状態認識部２３０と、感情決定部２３２と、行動認識部２３４と、行動決定部２３６と、記憶制御部２３８と、行動制御部２５０と、関連情報収集部２７０と、通信処理部２８０とを有する。

【0032】

制御対象２５２は、表示装置、スピーカ及び目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット１００の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット１００の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット１００の目部のＬＥＤの発光状態を制御することによっても、ロボット１００の表情を表現できる。なお、ロボット１００の姿勢、仕草及び表情は、ロボット１００の態度の一例である。

【0033】

センサ部２００は、マイク２０１と、３Ｄ深度センサ２０２と、２Ｄカメラ２０３と、距離センサ２０４と、タッチセンサ２０５と、加速度センサ２０６と、を含む。マイク２０１は、音声を連続的に検出して音声データを出力する。なお、マイク２０１は、ロボット１００の頭部に設けられ、バイノーラル録音を行う機能を有してよい。３Ｄ深度センサ２０２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。２Ｄカメラ２０３は、イメージセンサの一例である。２Ｄカメラ２０３は、可視光によって撮影して、可視光の映像情報を生成する。距離センサ２０４は、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部２００は、この他にも、時計、ジャイロセンサ、モータフィードバック用のセンサ等を含んでよい。

【0034】

なお、図２に示すロボット１００の構成要素のうち、制御対象２５２及びセンサ部２００を除く構成要素は、ロボット１００が有する行動制御システムが有する構成要素の一例である。ロボット１００の行動制御システムは、制御対象２５２を制御の対象とする。

【0035】

格納部２２０は、行動決定モデル２２１、履歴データ２２２、収集データ２２３、及び行動予定データ２２４を含む。履歴データ２２２は、ユーザ１０の過去の感情値、ロボット１００の過去の感情値、及び行動の履歴を含み、具体的には、ユーザ１０の感情値、ロボット１００の感情値、及びユーザ１０の行動を含むイベントデータを複数含む。ユーザ１０の行動を含むデータは、ユーザ１０の行動を表すカメラ画像を含む。この感情値及び行動の履歴は、例えば、ユーザ１０の識別情報に対応付けられることによって、ユーザ１０毎に記録される。格納部２２０の少なくとも一部は、メモリ等の記憶媒体によって実装される。ユーザ１０の顔画像、ユーザ１０の属性情報等を格納する人物ＤＢを含んでもよい。なお、図２に示すロボット１００の構成要素のうち、制御対象２５２、センサ部２００及び格納部２２０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア（ＯＳ）及びＯＳ上で動作するプログラムによって、これらの構成要素の機能をＣＰＵの動作として実装できる。

【0036】

センサモジュール部２１０は、音声感情認識部２１１と、発話理解部２１２と、表情認識部２１３と、顔認識部２１４とを含む。センサモジュール部２１０には、センサ部２００で検出された情報が入力される。センサモジュール部２１０は、センサ部２００で検出された情報を解析して、解析結果を状態認識部２３０に出力する。

【0037】

センサモジュール部２１０の音声感情認識部２１１は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の感情を認識する。例えば、音声感情認識部２１１は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ１０の感情を認識する。発話理解部２１２は、マイク２０１で検出されたユーザ１０の音声を解析して、ユーザ１０の発話内容を表す文字情報を出力する。

【0038】

表情認識部２１３は、２Ｄカメラ２０３で撮影されたユーザ１０の画像から、ユーザ１０の表情及びユーザ１０の感情を認識する。例えば、表情認識部２１３は、目及び口の形状、位置関係等に基づいて、ユーザ１０の表情及び感情を認識する。

【0039】

顔認識部２１４は、ユーザ１０の顔を認識する。顔認識部２１４は、人物ＤＢ（図示省略）に格納されている顔画像と、２Ｄカメラ２０３によって撮影されたユーザ１０の顔画像とをマッチングすることによって、ユーザ１０を認識する。

【0040】

状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態を認識する。例えば、センサモジュール部２１０の解析結果を用いて、主として知覚に関する処理を行う。例えば、「パパが１人です。」、「パパが笑顔でない確率９０％です。」等の知覚情報を生成する。生成された知覚情報の意味を理解する処理を行う。例えば、「パパが１人、寂しそうです。」等の意味情報を生成する。

【0041】

状態認識部２３０は、センサ部２００で検出された情報に基づいて、ロボット１００の状態を認識する。例えば、状態認識部２３０は、ロボット１００の状態として、ロボット１００のバッテリー残量やロボット１００の周辺環境の明るさ等を認識する。

【0042】

感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の感情を示す感情値を決定する。例えば、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、ユーザ１０の感情を示す感情値を取得する。

【0043】

ここで、ユーザ１０の感情を示す感情値とは、ユーザの感情の正負を示す値であり、例えば、ユーザの感情が、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、及び「充実感」のように、快感や安らぎを伴う明るい感情であれば、正の値を示し、明るい感情であるほど、大きい値となる。ユーザの感情が、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちになってしまう感情であれば、負の値を示し、嫌な気持ちであるほど、負の値の絶対値が大きくなる。ユーザの感情が、上記の何れでもない場合（「普通」）、０の値を示す。

【0044】

また、感情決定部２３２は、センサモジュール部２１０で解析された情報、センサ部２００で検出された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ロボット１００の感情を示す感情値を決定する。

【0045】

ロボット１００の感情値は、複数の感情分類の各々に対する感情値を含み、例えば、「喜」、「怒」、「哀」、「楽」それぞれの強さを示す値（０～５）である。

【0046】

具体的には、感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に対応付けて定められた、ロボット１００の感情値を更新するルールに従って、ロボット１００の感情を示す感情値を決定する。

【0047】

例えば、感情決定部２３２は、状態認識部２３０によってユーザ１０が寂しそうと認識された場合、ロボット１００の「哀」の感情値を増大させる。また、状態認識部２３０によってユーザ１０が笑顔になったと認識された場合、ロボット１００の「喜」の感情値を増大させる。

【0048】

なお、感情決定部２３２は、ロボット１００の状態を更に考慮して、ロボット１００の感情を示す感情値を決定してもよい。例えば、ロボット１００のバッテリー残量が少ない場合やロボット１００の周辺環境が真っ暗な場合等に、ロボット１００の「哀」の感情値を増大させてもよい。更にバッテリー残量が少ないにも関わらず継続して話しかけてくるユーザ１０の場合は、「怒」の感情値を増大させても良い。

【0049】

行動認識部２３４は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動を認識する。例えば、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、予め定められた複数の行動分類（例えば、「笑う」、「怒る」、「質問する」、「悲しむ」）の各々の確率を取得し、最も確率の高い行動分類を、ユーザ１０の行動として認識する。

【0050】

以上のように、本参考形態では、ロボット１００は、ユーザ１０を特定したうえでユーザ１０の発話内容を取得するが、当該発話内容の取得と利用等に際してはユーザ１０から法令に従った必要な同意を取得するほか、本参考形態に係るロボット１００の行動制御システムは、ユーザ１０の個人情報及びプライバシーの保護に配慮する。

【0051】

次に、ユーザ１０の行動に対してロボット１００が応答する応答処理を行う際の、行動決定部２３６の処理について説明する。

【0052】

行動決定部２３６は、感情決定部２３２により決定されたユーザ１０の現在の感情値と、ユーザ１０の現在の感情値が決定されるよりも前に感情決定部２３２により決定された過去の感情値の履歴データ２２２と、ロボット１００の感情値とに基づいて、行動認識部２３４によって認識されたユーザ１０の行動に対応する行動を決定する。本参考形態では、行動決定部２３６は、ユーザ１０の過去の感情値として、履歴データ２２２に含まれる直近の１つの感情値を用いる場合について説明するが、開示の技術はこの態様に限定されない。例えば、行動決定部２３６は、ユーザ１０の過去の感情値として、直近の複数の感情値を用いてもよいし、一日前などの単位期間の分だけ前の感情値を用いてもよい。また、行動決定部２３６は、ロボット１００の現在の感情値だけでなく、ロボット１００の過去の感情値の履歴を更に考慮して、ユーザ１０の行動に対応する行動を決定してもよい。行動決定部２３６が決定する行動は、ロボット１００が行うジェスチャー又はロボット１００の発話内容を含む。

【0053】

本参考形態に係る行動決定部２３６は、ユーザ１０の行動に対応する行動として、ユーザ１０の過去の感情値と現在の感情値の組み合わせと、ロボット１００の感情値と、ユーザ１０の行動と、行動決定モデル２２１とに基づいて、ロボット１００の行動を決定する。例えば、行動決定部２３６は、ユーザ１０の過去の感情値が正の値であり、かつ現在の感情値が負の値である場合、ユーザ１０の行動に対応する行動として、ユーザ１０の感情値を正に変化させるための行動を決定する。

【0054】

行動決定モデル２２１としての反応ルールには、ユーザ１０の過去の感情値と現在の感情値の組み合わせと、ロボット１００の感情値と、ユーザ１０の行動とに応じたロボット１００の行動が定められている。例えば、ユーザ１０の過去の感情値が正の値であり、かつ現在の感情値が負の値であり、ユーザ１０の行動が悲しむである場合、ロボット１００の行動として、ジェスチャーを交えてユーザ１０を励ます問いかけを行う際のジェスチャーと発話内容との組み合わせが定められている。

【0055】

例えば、行動決定モデル２２１としての反応ルールには、ロボット１００の感情値のパターン（「喜」、「怒」、「哀」、「楽」の値「０」～「５」の６値の４乗である１２９６パターン）、ユーザ１０の過去の感情値と現在の感情値の組み合わせのパターン、ユーザ１０の行動パターンの全組み合わせに対して、ロボット１００の行動が定められる。すなわち、ロボット１００の感情値のパターン毎に、ユーザ１０の過去の感情値と現在の感情値の組み合わせが、負の値と負の値、負の値と正の値、正の値と負の値、正の値と正の値、負の値と普通、及び普通と普通等のように、複数の組み合わせのそれぞれに対して、ユーザ１０の行動パターンに応じたロボット１００の行動が定められる。なお、行動決定部２３６は、例えば、ユーザ１０が「この前に話したあの話題について話したい」というような過去の話題から継続した会話を意図する発話を行った場合に、履歴データ２２２を用いてロボット１００の行動を決定する動作モードに遷移してもよい。

【0056】

なお、行動決定モデル２２１としての反応ルールには、ロボット１００の感情値のパターン（１２９６パターン）の各々に対して、最大で一つずつ、ロボット１００の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。あるいは、行動決定モデル２２１としての反応ルールには、ロボット１００の感情値のパターンのグループの各々に対して、ロボット１００の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。

【0057】

行動決定モデル２２１としての反応ルールに定められているロボット１００の行動に含まれる各ジェスチャーには、当該ジェスチャーの強度が予め定められている。行動決定モデル２２１としての反応ルールに定められているロボット１００の行動に含まれる各発話内容には、当該発話内容の強度が予め定められている。

【0058】

記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、感情決定部２３２により決定されたロボット１００の感情値とに基づいて、ユーザ１０の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。

【0059】

具体的には、ロボット１００の複数の感情分類の各々に対する感情値の総和と、行動決定部２３６によって決定された行動が含むジェスチャーに対して予め定められた強度と、行動決定部２３６によって決定された行動が含む発話内容に対して予め定められた強度との和である強度の総合値が、閾値以上である場合、ユーザ１０の行動を含むデータを履歴データ２２２に記憶すると決定する。

【0060】

記憶制御部２３８は、ユーザ１０の行動を含むデータを履歴データ２２２に記憶すると決定した場合、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報（例えば、その場の音声、画像、匂い等のデータなどのあらゆる周辺情報）、及び状態認識部２３０によって認識されたユーザ１０の状態（例えば、ユーザ１０の表情、感情など）を、履歴データ２２２に記憶する。

【0061】

行動制御部２５０は、行動決定部２３６が決定した行動に基づいて、制御対象２５２を制御する。例えば、行動制御部２５０は、行動決定部２３６が発話することを含む行動を決定した場合に、制御対象２５２に含まれるスピーカから音声を出力させる。このとき、行動制御部２５０は、ロボット１００の感情値に基づいて、音声の発声速度を決定してもよい。例えば、行動制御部２５０は、ロボット１００の感情値が大きいほど、速い発声速度を決定する。このように、行動制御部２５０は、感情決定部２３２が決定した感情値に基づいて、行動決定部２３６が決定した行動の実行形態を決定する。

【0062】

行動制御部２５０は、行動決定部２３６が決定した行動を実行したことに対するユーザ１０の感情の変化を認識してもよい。例えば、ユーザ１０の音声や表情に基づいて感情の変化を認識してよい。その他、センサ部２００に含まれるタッチセンサ２０５で衝撃が検出されたことに基づいて、ユーザ１０の感情の変化を認識してよい。センサ部２００に含まれるタッチセンサ２０５で衝撃が検出された場合に、ユーザ１０の感情が悪くなったと認識したり、センサ部２００に含まれるタッチセンサ２０５の検出結果から、ユーザ１０の反応が笑っている、あるいは、喜んでいる等と判断される場合には、ユーザ１０の感情が良くなったと認識したりしてもよい。ユーザ１０の反応を示す情報は、通信処理部２８０に出力される。

【0063】

また、行動制御部２５０は、行動決定部２３６が決定した行動をロボット１００の感情に応じて決定した実行形態で実行した後、感情決定部２３２は、当該行動が実行されたことに対するユーザの反応に基づいて、ロボット１００の感情値を更に変化させる。具体的には、感情決定部２３２は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良でなかった場合に、ロボット１００の「喜」の感情値を増大させる。また、感情決定部２３２は、行動決定部２３６が決定した行動を行動制御部２５０が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良であった場合に、ロボット１００の「哀」の感情値を増大させる。

【0064】

更に、行動制御部２５０は、決定したロボット１００の感情値に基づいて、ロボット１００の感情を表現する。例えば、行動制御部２５０は、ロボット１００の「喜」の感情値を増加させた場合、制御対象２５２を制御して、ロボット１００に喜んだ仕草を行わせる。また、行動制御部２５０は、ロボット１００の「哀」の感情値を増加させた場合、ロボット１００の姿勢がうなだれた姿勢になるように、制御対象２５２を制御する。

【0065】

通信処理部２８０は、サーバ３００との通信を担う。上述したように、通信処理部２８０は、ユーザ反応情報をサーバ３００に送信する。また、通信処理部２８０は、更新された反応ルールをサーバ３００から受信する。通信処理部２８０がサーバ３００から、更新された反応ルールを受信すると、行動決定モデル２２１としての反応ルールを更新する。

【0066】

サーバ３００は、ロボット１００、ロボット１０１及びロボット１０２とサーバ３００との間の通信を行い、ロボット１００から送信されたユーザ反応情報を受信し、ポジティブな反応が得られた行動を含む反応ルールに基づいて、反応ルールを更新する。

【0067】

関連情報収集部２７０は、所定のタイミングで、ユーザ１０について取得した好み情報に基づいて、外部データ（ニュースサイト、動画サイトなどのＷｅｂサイト）から、好み情報に関連する情報を収集する。

【0068】

具体的には、関連情報収集部２７０は、ユーザ１０の発話内容、又はユーザ１０による設定操作から、ユーザ１０の関心がある事柄を表す好み情報を取得しておく。関連情報収集部２７０は、一定期間毎に、好み情報に関連するニュースを、ＣｈａｔＧＰＴ Ｐｌｕｇｉｎｓ（インターネット検索＜URL: https://openai.com/blog/chatgpt-plugins＞）を用いて、外部データから収集する。例えば、ユーザ１０が特定のプロ野球チームのファンであることが好み情報として取得されている場合、関連情報収集部２７０は、毎日、所定時刻に、特定のプロ野球チームの試合結果に関連するニュースを、ＣｈａｔＧＰＴ Ｐｌｕｇｉｎｓを用いて、外部データから収集する。

【0069】

感情決定部２３２は、関連情報収集部２７０によって収集した好み情報に関連する情報に基づいて、ロボット１００の感情を決定する。

【0070】

具体的には、感情決定部２３２は、関連情報収集部２７０によって収集した好み情報に関連する情報を表すテキストを、感情を判定するための予め学習されたニューラルネットワークに入力し、各感情を示す感情値を取得し、ロボット１００の感情を決定する。例えば、収集した特定のプロ野球チームの試合結果に関連するニュースが、特定のプロ野球チームが勝ったことを示している場合、ロボット１００の「喜」の感情値が大きくなるように決定する。

【0071】

記憶制御部２３８は、ロボット１００の感情値が閾値以上である場合に、関連情報収集部２７０によって収集した好み情報に関連する情報を、収集データ２２３に格納する。

【0072】

次に、ロボット１００が自律的に行動する自律的処理を行う際の、行動決定部２３６の処理について説明する。

【0073】

行動決定部２３６は、所定のタイミングで、ユーザ１０の状態、ユーザ１０の感情、ロボット１００の感情、及びロボット１００の状態の少なくとも一つと、行動決定モデル２２１とを用いて、行動しないことを含む複数種類のロボット行動の何れかを、ロボット１００の行動として決定する。ここでは、行動決定モデル２２１として、対話機能を有する文章生成モデルを用いる場合を例に説明する。

【0074】

具体的には、行動決定部２３６は、ユーザ１０の状態、ユーザ１０の感情、ロボット１００の感情、及びロボット１００の状態の少なくとも一つを表すテキストと、ロボット行動を質問するテキストとを文章生成モデルに入力し、文章生成モデルの出力に基づいて、ロボット１００の行動を決定する。

【0075】

例えば、複数種類のロボット行動は、以下の（１）～（１０）を含む。

【0076】

（１）ロボットは、何もしない。

【0077】

（２）ロボットは、夢をみる。

【0078】

（３）ロボットは、ユーザに話しかける。

【0079】

（４）ロボットは、絵日記を作成する。

【0080】

（５）ロボットは、アクティビティを提案する。

【0081】

（６）ロボットは、ユーザが会うべき相手を提案する。

【0082】

（７）ロボットは、ユーザが興味あるニュースを紹介する。

【0083】

（８）ロボットは、写真や動画を編集する。

【0084】

（９）ロボットは、ユーザと一緒に勉強する。

【0085】

（１０）ロボットは、記憶を呼び起こす。

【0086】

行動決定部２３６は、一定時間の経過毎に、状態認識部２３０によって認識されたユーザ１０の状態及びロボット１００の状態、感情決定部２３２により決定されたユーザ１０の現在の感情値と、ロボット１００の現在の感情値とを表すテキストと、行動しないことを含む複数種類のロボット行動の何れかを質問するテキストとを、文章生成モデルに入力し、文章生成モデルの出力に基づいて、ロボット１００の行動を決定する。ここで、ロボット１００の周辺にユーザ１０がいない場合には、文章生成モデルに入力するテキストには、ユーザ１０の状態と、ユーザ１０の現在の感情値とを含めなくてもよいし、ユーザ１０がいないことを表すことを含めてもよい。

【0087】

一例として、「ロボットはとても楽しい状態です。ユーザは普通に楽しい状態です。ユーザは寝ています。ロボットの行動として、次の（１）～（１０）のうち、どれがよいですか？

【0088】

（１）ロボットは何もしない。

【0089】

（２）ロボットは夢をみる。

【0090】

（３）ロボットはユーザに話しかける。

【0091】

・・・」というテキストを、文章生成モデルに入力する。文章生成モデルの出力「（１）何もしない、または（２）ロボットは夢を見る、のどちらかが、最も適切な行動であると言えます。」に基づいて、ロボット１００の行動として、「（１）何もしない」または「（２）ロボットは夢を見る」を決定する。

【0092】

他の例として、「ロボットは少し寂しい状態です。ユーザは不在です。ロボットの周辺は暗いです。ロボットの行動として、次の（１）～（１０）のうち、どれがよいですか？

【0093】

（１）ロボットは何もしない。

【0094】

（２）ロボットは夢をみる。

【0095】

（３）ロボットはユーザに話しかける。

【0096】

・・・」というテキストを、文章生成モデルに入力する。文章生成モデルの出力「（２）ロボットは夢を見る、または（４）ロボットは、絵日記を作成する、のどちらかが、最も適切な行動であると言えます。」に基づいて、ロボット１００の行動として、「（２）ロボットは夢を見る」または「（４）ロボットは、絵日記を作成する。」を決定する。

【0097】

行動決定部２３６は、ロボット行動として、「（２）ロボットは夢をみる。」すなわち、オリジナルイベントを作成することを決定した場合には、文章生成モデルを用いて、履歴データ２２２のうちの複数のイベントデータを組み合わせたオリジナルイベントを作成する。このとき、記憶制御部２３８は、作成したオリジナルイベントを、履歴データ２２２に記憶させる

【0098】

行動決定部２３６は、ロボット行動として、「（３）ロボットはユーザに話しかける。」、すなわち、ロボット１００が発話することを決定した場合には、文章生成モデルを用いて、ユーザ状態と、ユーザの感情又はロボットの感情とに対応するロボットの発話内容を決定する。このとき、行動制御部２５０は、決定したロボットの発話内容を表す音声を、制御対象２５２に含まれるスピーカから出力させる。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、決定したロボットの発話内容を表す音声を出力せずに、決定したロボットの発話内容を行動予定データ２２４に格納しておく。

【0099】

行動決定部２３６は、ロボット行動として、「（７）ロボットは、ユーザが興味あるニュースを紹介する。」ことを決定した場合には、文章生成モデルを用いて、収集データ２２３に格納された情報に対応するロボットの発話内容を決定する。このとき、行動制御部２５０は、決定したロボットの発話内容を表す音声を、制御対象２５２に含まれるスピーカから出力させる。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、決定したロボットの発話内容を表す音声を出力せずに、決定したロボットの発話内容を行動予定データ２２４に格納しておく。

【0100】

行動決定部２３６は、ロボット行動として、「（４）ロボットは、絵日記を作成する。」、すなわち、ロボット１００がイベント画像を作成することを決定した場合には、履歴データ２２２から選択されるイベントデータについて、画像生成モデルを用いて、イベントデータを表す画像を生成すると共に、文章生成モデルを用いて、イベントデータを表す説明文を生成し、イベントデータを表す画像及びイベントデータを表す説明文の組み合わせを、イベント画像として出力する。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、イベント画像を出力せずに、イベント画像を行動予定データ２２４に格納しておく。

【0101】

行動決定部２３６は、ロボット行動として、「（８）ロボットは、写真や動画を編集する。」、すなわち、画像を編集することを決定した場合には、履歴データ２２２から、感情値に基づいてイベントデータを選択し、選択されたイベントデータの画像データを編集して出力する。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、編集した画像データを出力せずに、編集した画像データを行動予定データ２２４に格納しておく。

【0102】

行動決定部２３６は、ロボット行動として、「（５）ロボットは、アクティビティを提案する。」、すなわち、ユーザ１０の行動を提案することを決定した場合には、履歴データ２２２に記憶されているイベントデータに基づいて、文章生成モデルを用いて、提案するユーザの行動を決定する。このとき、行動制御部２５０は、ユーザの行動を提案する音声を、制御対象２５２に含まれるスピーカから出力させる。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、ユーザの行動を提案する音声を出力せずに、ユーザの行動を提案することを行動予定データ２２４に格納しておく。

【0103】

行動決定部２３６は、ロボット行動として、「（６）ロボットは、ユーザが会うべき相手を提案する。」、すなわち、ユーザ１０と接点を持つべき相手を提案することを決定した場合には、履歴データ２２２に記憶されているイベントデータに基づいて、文章生成モデルを用いて、提案するユーザと接点を持つべき相手を決定する。このとき、行動制御部２５０は、ユーザと接点を持つべき相手を提案することを表す音声を、制御対象２５２に含まれるスピーカから出力させる。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、ユーザと接点を持つべき相手を提案することを表す音声を出力せずに、ユーザと接点を持つべき相手を提案することを行動予定データ２２４に格納しておく。

【0104】

行動決定部２３６は、ロボット行動として、「（９）ロボットは、ユーザと一緒に勉強する。」、すなわち、勉強に関してロボット１００が発話することを決定した場合には、文章生成モデルを用いて、ユーザ状態と、ユーザの感情又はロボットの感情とに対応する、勉強を促したり、勉強の問題を出したり、勉強に関するアドバイスを行うためのロボットの発話内容を決定する。このとき、行動制御部２５０は、決定したロボットの発話内容を表す音声を、制御対象２５２に含まれるスピーカから出力させる。なお、行動制御部２５０は、ロボット１００の周辺にユーザ１０が不在の場合には、決定したロボットの発話内容を表す音声を出力せずに、決定したロボットの発話内容を行動予定データ２２４に格納しておく。

【0105】

行動決定部２３６は、ロボット行動として、「（１０）ロボットは、記憶を呼び起こす。」、すなわち、イベントデータを思い出すことを決定した場合には、履歴データ２２２から、イベントデータを選択する。このとき、感情決定部２３２は、選択したイベントデータに基づいて、ロボット１００の感情を判定する。更に、行動決定部２３６は、選択したイベントデータに基づいて、文章生成モデルを用いて、ユーザの感情値を変化させるためのロボット１００の発話内容や行動を表す感情変化イベントを作成する。このとき、記憶制御部２３８は、感情変化イベントを、行動予定データ２２４に記憶させる。

【0106】

例えば、ユーザが見ていた動画がパンダに関するものであったことをイベントデータとして履歴データ２２２に記憶し、当該イベントデータが選択された場合、「パンダに関する話題で、次ユーザに会ったときにかけるべきセリフは何がありますか。三つ挙げて。」と、文章生成モデルに入力し、文章生成モデルの出力が、「（１）動物園にいこう、（２）パンダの絵を描こう、（３）パンダのぬいぐるみを買いに行こう」であった場合、ロボット１００が、「（１）、（２）、（３）でユーザが一番喜びそうなものは？」と、文章生成モデルに入力し、文章生成モデルの出力が、「（１）動物園にいこう」である場合は、ロボット１００が次にユーザに会っときに「（１）動物園にいこう」とロボット１００が発話することを、感情変化イベントとして作成し、行動予定データ２２４に記憶される。

【0107】

また、例えば、ロボット１００の感情値が大きいイベントデータを、ロボット１００の印象的な記憶として選択する。これにより、印象的な記憶として選択されたイベントデータに基づいて、感情変化イベントを作成することができる。

【0108】

行動決定部２３６は、状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ロボット１００に対するユーザ１０の行動がない状態から、ロボット１００に対するユーザ１０の行動を検知した場合に、行動予定データ２２４に記憶されているデータを読み出し、ロボット１００の行動を決定する。

【0109】

例えば、ロボット１００の周辺にユーザ１０が不在だった場合に、ユーザ１０を検知すると、行動決定部２３６は、行動予定データ２２４に記憶されているデータを読み出し、ロボット１００の行動を決定する。また、ユーザ１０が寝ていた場合に、ユーザ１０が起きたことを検知すると、行動決定部２３６は、行動予定データ２２４に記憶されているデータを読み出し、ロボット１００の行動を決定する。

【0110】

図３は、ユーザ１０の好み情報に関連する情報を収集する収集処理に関する動作フローの一例を概略的に示す。図３に示す動作フローは、一定期間毎に、繰り返し実行される。ユーザ１０の発話内容、又はユーザ１０による設定操作から、ユーザ１０の関心がある事柄を表す好み情報が取得されているものとする。なお、動作フロー中の「Ｓ」は、実行されるステップを表す。

【0111】

まず、ステップＳ９０において、関連情報収集部２７０は、ユーザ１０の関心がある事柄を表す好み情報を取得する。

【0112】

ステップＳ９２において、関連情報収集部２７０は、好み情報に関連する情報を、外部データから収集する。

【0113】

ステップＳ９４において、感情決定部２３２は、関連情報収集部２７０によって収集した好み情報に関連する情報に基づいて、ロボット１００の感情値を決定する。

【0114】

ステップＳ９６において、記憶制御部２３８は、上記ステップＳ９４で決定されたロボット１００の感情値が閾値以上であるか否かを判定する。ロボット１００の感情値が閾値未満である場合には、収集した好み情報に関連する情報を収集データ２２３に記憶せずに、当該処理を終了する。一方、ロボット１００の感情値が閾値以上である場合には、ステップＳ９８へ移行する。

【0115】

ステップＳ９８において、記憶制御部２３８は、収集した好み情報に関連する情報を、収集データ２２３に格納し、当該処理を終了する。

【0116】

図４Ａは、ユーザ１０の行動に対してロボット１００が応答する応答処理を行う際に、ロボット１００において行動を決定する動作に関する動作フローの一例を概略的に示す。図４Ａに示す動作フローは、繰り返し実行される。このとき、センサモジュール部２１０で解析された情報が入力されているものとする。

【0117】

まず、ステップＳ１００において、状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態及びロボット１００の状態を認識する。

【0118】

ステップＳ１０２において、感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の感情を示す感情値を決定する。

【0119】

ステップＳ１０３において、感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ロボット１００の感情を示す感情値を決定する。感情決定部２３２は、決定したユーザ１０の感情値及びロボット１００の感情値を履歴データ２２２に追加する。

【0120】

ステップＳ１０４において、行動認識部２３４は、センサモジュール部２１０で解析された情報及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動分類を認識する。

【0121】

ステップＳ１０６において、行動決定部２３６は、ステップＳ１０２で決定されたユーザ１０の現在の感情値及び履歴データ２２２に含まれる過去の感情値の組み合わせと、ロボット１００の感情値と、上記ステップＳ１０４で認識されたユーザ１０の行動と、行動決定モデル２２１とに基づいて、ロボット１００の行動を決定する。

【0122】

ステップＳ１０８において、行動制御部２５０は、行動決定部２３６により決定された行動に基づいて、制御対象２５２を制御する。

【0123】

ステップＳ１１０において、記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、感情決定部２３２により決定されたロボット１００の感情値とに基づいて、強度の総合値を算出する。

【0124】

ステップＳ１１２において、記憶制御部２３８は、強度の総合値が閾値以上であるか否かを判定する。強度の総合値が閾値未満である場合には、ユーザ１０の行動を含むイベントデータを履歴データ２２２に記憶せずに、当該処理を終了する。一方、強度の総合値が閾値以上である場合には、ステップＳ１１４へ移行する。

【0125】

ステップＳ１１４において、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態とを含むイベントデータを、履歴データ２２２に記憶する。

【0126】

図４Ｂは、ロボット１００が自律的に行動する自律的処理を行う際に、ロボット１００において行動を決定する動作に関する動作フローの一例を概略的に示す。図４Ｂに示す動作フローは、例えば、一定時間の経過毎に、繰り返し自動的に実行される。このとき、センサモジュール部２１０で解析された情報が入力されているものとする。なお、上記図４Ａと同様の処理については、同じステップ番号を表す。

【0127】

まず、ステップＳ１００において、状態認識部２３０は、センサモジュール部２１０で解析された情報に基づいて、ユーザ１０の状態及びロボット１００の状態を認識する。

【0128】

ステップＳ１０２において、感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の感情を示す感情値を決定する。

【0129】

ステップＳ１０３において、感情決定部２３２は、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ロボット１００の感情を示す感情値を決定する。感情決定部２３２は、決定したユーザ１０の感情値及びロボット１００の感情値を履歴データ２２２に追加する。

【0130】

ステップＳ１０４において、行動認識部２３４は、センサモジュール部２１０で解析された情報及び状態認識部２３０によって認識されたユーザ１０の状態に基づいて、ユーザ１０の行動分類を認識する。

【0131】

ステップＳ２００において、行動決定部２３６は、上記ステップＳ１００で認識されたユーザ１０の状態、ステップＳ１０２で決定されたユーザ１０の感情、ロボット１００の感情、及び上記ステップＳ１００で認識されたロボット１００の状態と、上記ステップＳ１０４で認識されたユーザ１０の行動と、行動決定モデル２２１とに基づいて、行動しないことを含む複数種類のロボット行動の何れかを、ロボット１００の行動として決定する。

【0132】

ステップＳ２０１において、行動決定部２３６は、上記ステップＳ２００で、行動しないことが決定されたか否かを判定する。ロボット１００の行動として、行動しないことが決定された場合には、当該処理を終了する。一方、ロボット１００の行動として、行動しないことが決定されていない場合には、ステップＳ２０２へ移行する。

【0133】

ステップＳ２０２において、行動決定部２３６は、上記ステップＳ２００で決定したロボット行動の種類に応じた処理を行う。このとき、ロボット行動の種類に応じて、行動制御部２５０、感情決定部２３２、又は記憶制御部２３８が処理を実行する。

【0134】

ステップＳ１１０において、記憶制御部２３８は、行動決定部２３６によって決定された行動に対して予め定められた行動の強度と、感情決定部２３２により決定されたロボット１００の感情値とに基づいて、強度の総合値を算出する。

【0135】

ステップＳ１１２において、記憶制御部２３８は、強度の総合値が閾値以上であるか否かを判定する。強度の総合値が閾値未満である場合には、ユーザ１０の行動を含むデータを履歴データ２２２に記憶せずに、当該処理を終了する。一方、強度の総合値が閾値以上である場合には、ステップＳ１１４へ移行する。

【0136】

ステップＳ１１４において、記憶制御部２３８は、行動決定部２３６によって決定された行動と、現時点から一定期間前までの、センサモジュール部２１０で解析された情報、及び状態認識部２３０によって認識されたユーザ１０の状態と、を、履歴データ２２２に記憶する。

【0137】

以上説明したように、ロボット１００によれば、ユーザ状態に基づいて、ロボット１００の感情を示す感情値を決定し、ロボット１００の感情値に基づいて、ユーザ１０の行動を含むデータを履歴データ２２２に記憶するか否かを決定する。これにより、ユーザ１０の行動を含むデータを記憶する履歴データ２２２の容量を抑制することができる。そして例えば、１０年後にユーザ状態が１０年前と同じ状態であるとロボット１００が判断したときに、１０年前の履歴データ２２２を読み込むことにより、ロボット１００は１０年前当時のユーザ１０の状態（例えばユーザ１０の表情、感情など）、更にはその場の音声、画像、匂い等のデータなどのあらゆる周辺情報を、ユーザ１０に提示することができる。

【0138】

また、ロボット１００によれば、ユーザ１０の行動に対して適切な行動をロボット１００に実行させることができる。従来は、ユーザの行動を分類し、ロボットの表情や恰好を含む行動を決めていた。これに対し、ロボット１００は、ユーザ１０の現在の感情値を決定し、過去の感情値及び現在の感情値に基づいてユーザ１０に対して行動を実行する。従って、例えば、昨日は元気であったユーザ１０が今日は落ち込んでいた場合に、ロボット１００は「昨日は元気だったのに今日はどうしたの？」というような発話を行うことができる。また、ロボット１００は、ジェスチャーを交えて発話を行うこともできる。また、例えば、昨日は落ち込んでいたユーザ１０が今日は元気である場合に、ロボット１００は、「昨日は落ち込んでいたのに今日は元気そうだね？」というような発話を行うことができる。また、例えば、昨日は元気であったユーザ１０が今日は昨日よりも元気である場合、ロボット１００は「今日は昨日よりも元気だね。昨日よりも良いことがあった？」というような発話を行うことができる。また、例えば、ロボット１００は、感情値が０以上であり、かつ感情値の変動幅が一定の範囲内である状態が継続しているユーザ１０に対しては、「最近、気分が安定していて良い感じだね。」というような発話を行うことができる。

【0139】

また、例えば、ロボット１００は、ユーザ１０に対し、「昨日言っていた宿題はできた？」と質問し、ユーザ１０から「できたよ」という回答が得られた場合、「偉いね！」等の肯定的な発話をするとともに、拍手又はサムズアップ等の肯定的なジェスチャーを行うことができる。また、例えば、ロボット１００は、ユーザ１０が「一昨日話したプレゼンテーションがうまくいったよ」という発話をすると、「頑張ったね！」等の肯定的な発話をするとともに、上記の肯定的なジェスチャーを行うこともできる。このように、ロボット１００がユーザ１０の状態の履歴に基づいた行動を行うことによって、ユーザ１０がロボット１００に対して親近感を覚えることが期待できる。

【0140】

また、例えば、ユーザ１０が、パンダに関する動画を見ているときに、ユーザ１０の感情の「楽」の感情値が閾値以上である場合、当該動画におけるパンダの登場シーンを、イベントデータとして履歴データ２２２に記憶させてもよい。

【0141】

履歴データ２２２や収集データ２２３に蓄積したデータを用いて、ロボット１００は、どのような会話をユーザとすれば、ユーザの幸せを表現する感情値が最大化されるかを常に学習することができる。

【0142】

また、ロボット１００がユーザ１０と会話をしていない状態において、ロボット１００の感情に基づいて、自律的に行動を開始することができる。

【0143】

また、自律的処理において、ロボット１００が、自動的に質問を生成して、文章生成モデルに入力し、文章生成モデルの出力を、質問に対する回答として取得することを繰り返すことによって、良い感情を増大させるための感情変化イベントを作成し、行動予定データ２２４に格納することができる。このように、ロボット１００は、自己学習を実行することができる。

【0144】

また、ロボット１００が、外部からのトリガを受けていない状態において、自動的に質問を生成する際に、ロボットの過去の感情値の履歴から特定した印象に残ったイベントデータに基づいて、質問を自動的に生成することができる。

【0145】

また、関連情報収集部２７０が、ユーザについての好み情報に対応して自動的にキーワード検索を実行して、検索結果を取得する検索実行段階を繰り返すことによって、自己学習を実行することができる。

【0146】

ここで、検索実行段階は、外部からのトリガを受けていない状態において、ロボットの過去の感情値の履歴から特定した、印象に残ったイベントデータに基づいて、キーワード検索を自動的に実行するようにしてもよい。

【0147】

なお、感情決定部２３２は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情決定部２３２は、特定のマッピングである感情マップ（図５参照）に従い、ユーザの感情を決定してよい。

【0148】

図５は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

【0149】

（１）例えばロボット１００の感情決定部２３２である感情エンジンが、１００ｍｓｅｃ程度で感情を検知している場合、ロボット１００の反応動作（例えば相槌）の決定は、頻度が少なくとも、感情エンジンの検知頻度（１００ｍｓｅｃ）と同様のタイミングに設定してよく、これよりも早いタイミングに設定してもよい。感情エンジンの検知頻度はサンプリングレートと解釈してよい。

【0150】

１００ｍｓｅｃ程度で感情を検知し、即時に連動して反応動作（例えば相槌）を行うことで、不自然な相槌ではなくなり、自然な空気を読んだ対話を実現できる。ロボット１００は、感情マップ４００の曼荼羅の方向性とその度合い（強さ）に応じて、反応動作（相槌など）を行う。なお、感情エンジンの検知頻度（サンプリングレート）は、１００ｍｓに限定されず、シチュエーション（スポーツをしている場合など）、ユーザの年齢などに応じて、変更してもよい。

【0151】

（２）感情マップ４００と照らし合わせ、感情の方向性とその度合いの強さを予め設定しておき、相槌の動き及び相槌の強弱を設定してよい。例えば、ロボット１００が安定感、安心などを感じている場合、ロボット１００は、頷いて話を聞き続ける。ロボット１００が不安、迷い、怪しい感じを覚えている場合、ロボット１００は、首をかしげてもよく、首振りを止めてもよい。

【0152】

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

【0153】

（３）ロボット１００が褒められて快感を覚えた場合、「あー」というフィラーが台詞の前に入り、きつい言葉をもらって痛感を覚えた場合、「うっ！」というフィラーが台詞の前に入ってよい。また、ロボット１００が「あー」と言いつつ、気持ち良すぎて天を仰ぐ仕草や、「うっ！」と言いつつうずくまる仕草などの身体的な反応を含めてよい。これらの感情は、感情マップ４００の９時あたりに分布している。

【0154】

（４）感情マップ４００の左半分では、状況認識よりも内部的な感覚（反応）の方が優位に立つ。よって、思わず反応してしまった印象を与え得る。

【0155】

ロボット１００が納得感という内部的な感覚（反応）を覚えながら状況認識においても好感を覚える場合、ロボット１００は、相手を見ながら深く頷いてよく、また「うんうん」と発してよい。このように、ロボット１００は、相手へのバランスのとれた好感、すなわち、相手への許容や寛容といった行動を生成してよい。このような感情は、感情マップ４００の１２時あたりに分布している。

【0156】

逆に、ロボット１００が不快感という内部的な感覚（反応）を覚えながら状況認識においても、ロボット１００は、嫌悪を覚えるときには首を横に振る、憎しみを覚えるくらいになると、目のＬＥＤを赤くして相手を睨んでもよい。また、相手へのバランスのとれた嫌悪感が強くなると、攻撃や相手の根絶といった行動を引き起こす。このような感情は、感情マップ４００の６時あたりに分布している。

【0157】

（５）感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

【0158】

（６）感情マップ４００の３時付近に分布する安心を覚えながら、人の話を聞く場合、ロボット１００は、軽く首を縦に振って「ふんふん」と発する程度であるが、１２時付近の愛の方になると、首を深く縦に振るような力強い頷きをしてよい。

【0159】

ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。

【0160】

感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。

【0161】

感情決定部２３２は、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザ１０の感情を決定する。このニューラルネットワークは、センサモジュール部２１０で解析された情報、及び認識されたユーザ１０の状態と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図６に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図６では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

【0162】

また、感情決定部２３２は、特定のマッピングに従い、ロボット１００の感情を決定してよい。具体的には、感情決定部２３２は、センサモジュール部２１０で解析された情報、状態認識部２３０によって認識されたユーザ１０の状態、及びロボット１００の状態を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ロボット１００の感情を決定する。このニューラルネットワークは、センサモジュール部２１０で解析された情報、認識されたユーザ１０の状態、及びロボット１００の状態と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。例えば、タッチセンサ（図示省略）の出力から、ロボット１００がユーザ１０になでられていると認識される場合に、「嬉しい」の感情値「３」となることを表す学習データや、加速度センサ２０６の出力から、ロボット１００がユーザ１０に叩かれていると認識される場合に、「怒」の感情値「３」となることを表す学習データに基づいて、ニューラルネットワークが学習される。また、このニューラルネットワークは、図６に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。

【0163】

行動決定部２３６は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストに、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能を有する文章生成モデルに入力することにより、ロボットの行動内容を生成する。

【0164】

例えば、行動決定部２３６は、感情決定部２３２によって決定されたロボット１００の感情から、表１に示すような感情テーブルを用いて、ロボット１００の状態を表すテキストを取得する。ここで、感情テーブルには、感情の種類毎に、各感情値に対してインデックス番号が付与されており、インデックス番号毎に、ロボット１００の状態を表すテキストが格納されている。

【0165】

感情決定部２３２によって決定されたロボット１００の感情が、インデックス番号「２」に対応する場合、「とても楽しい状態」というテキストが得られる。なお、ロボット１００の感情が、複数のインデックス番号に対応する場合、ロボット１００の状態を表すテキストが複数得られる。

【0166】

また、ユーザ１０の感情に対しても、表２に示すような感情テーブルを用意しておく。

【0167】

ここで、ユーザの行動が、「一緒にあそぼう」と話しかけるであり、ロボット１００の感情が、インデックス番号「２」であり、ユーザ１０の感情が、インデックス番号「３」である場合には、

【0168】

「ロボットはとても楽しい状態です。ユーザは普通に楽しい状態です。ユーザに「一緒にあそぼう」と話しかけられました。ロボットとして、どのように返事をしますか？」というテキストを文章生成モデルに入力し、ロボットの行動内容を取得する。行動決定部２３６は、この行動内容から、ロボットの行動を決定する。

【0169】

【表1】

【0170】

【表2】

【0171】

このように、行動決定部２３６は、ロボット１００の感情の種類毎で、かつ、当該感情の強さ毎に予め定められたロボット１００の感情に関する状態と、ユーザ１０の行動とに対応して、ロボット１００の行動内容を決定する。この形態では、ロボット１００の感情に関する状態に応じて、ユーザ１０との対話を行っている場合のロボット１００の発話内容を分岐させることができる。すなわち、ロボット１００は、ロボットの感情に応じたインデックス番号に応じて、ロボットの行動を変えることができるため、ユーザは、ロボットに心があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。

【0172】

また、行動決定部２３６は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストだけでなく、履歴データ２２２の内容を表すテキストも追加した上で、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能を有する文章生成モデルに入力することにより、ロボットの行動内容を生成するようにしてもよい。これにより、ロボット１００は、ユーザの感情や行動を表す履歴データに応じて、ロボットの行動を変えることができるため、ユーザは、ロボットに個性があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。また、履歴データに、ロボットの感情や行動を更に含めるようにしてもよい。

【0173】

また、感情決定部２３２は、文章生成モデルによって生成されたロボット１００の行動内容に基づいて、ロボット１００の感情を決定してもよい。具体的には、感情決定部２３２は、文章生成モデルによって生成されたロボット１００の行動内容を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、取得した各感情を示す感情値と、現在のロボット１００の各感情を示す感情値とを統合し、ロボット１００の感情を更新する。例えば、取得した各感情を示す感情値と、現在のロボット１００の各感情を示す感情値とをそれぞれ平均して、統合する。このニューラルネットワークは、文章生成モデルによって生成されたロボット１００の行動内容を表すテキストと、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。

【0174】

例えば、文章生成モデルによって生成されたロボット１００の行動内容として、ロボット１００の発話内容「それはよかったね。ラッキーだったね。」が得られた場合には、この発話内容を表すテキストをニューラルネットワークに入力すると、感情「嬉しい」の感情値として高い値が得られ、感情「嬉しい」の感情値が高くなるように、ロボット１００の感情が更新される。

【0175】

ロボット１００においては、ＣｈａｔＧＰＴなどの文章生成モデルと、感情決定部２３２とが連動して、自我を有し、ユーザがしゃべっていない間も様々なパラメータで成長し続ける方法が実行される。

【0176】

ＣｈａｔＧＰＴは、深層学習の手法を用いた大規模言語モデルである。ＣｈａｔＧＰＴは外部データを参照することもでき、例えば、ＣｈａｔＧＰＴ ｐｌｕｇｉｎｓでは、対話を通して天気情報やホテル予約情報といった様々な外部データを参照しながら、なるべく正確に答えを出す技術が知られている。例えば、ＣｈａｔＧＰＴでは、自然言語で目的を与えると、様々なプログラミング言語でソースコードを自動生成することができる。例えば、ＣｈａｔＧＰＴでは、問題のあるソースコードを与えると、デバッグして問題点を発見し、改善されたソースコードを自動生成することもできる。これらを組み合わせて、自然言語で目的を与えると、ソースコードに問題がなくなるまでコード生成とデバッグを繰り返す自律型エージェントが出てきている。そのような自律型エージェントとして、ＡｕｔｏＧＰＴ、ｂａｂｙＡＧＩ、ＪＡＲＶＩＳ、及びＥ２Ｂ等が知られている。

【0177】

本参考形態に係るロボット１００では、特許文献２（特許第６１９９９２号公報）に記載されているような、ロボットが強い感情を覚えたイベントデータを長く残し、ロボットにあまり感情が湧かなかったイベントデータを早く忘却するという技術を用いて、学習すべきイベントデータを、印象的な記憶が入ったデータベースに残してよい。

【0178】

また、ロボット１００は、カメラ機能で取得したユーザ１０の映像データ等を、履歴データ２２２に記録させてよい。ロボット１００は、必要に応じて履歴データ２２２から映像データ等を取得して、ユーザ１０に提供してよい。ロボット１００は、感情の強さが強いほど、情報量がより多い映像データを生成して履歴データ２２２に記録させてよい。例えば、ロボット１００は、骨格データ等の高圧縮形式の情報を記録している場合に、興奮の感情値が閾値を超えたことに応じて、ＨＤ動画等の低圧縮形式の情報の記録に切り換えてよい。ロボット１００によれば、例えば、ロボット１００の感情が高まったときの高精細な映像データを記録として残すことができる。

【0179】

ロボット１００は、ロボット１００がユーザ１０と話していないときに、印象的なイベントデータが記憶されている履歴データ２２２から自動的にイベントデータをロードして、感情決定部２３２により、ロボットの感情を更新し続けてよい。ロボット１００は、ロボット１００がユーザ１０と話していないとき、ロボット１００の感情が学習を促す感情になったときに、印象的なイベントデータに基づいて、ユーザ１０の感情を良くするように変化させるための感情変化イベントを作成することができる。これにより、ロボット１００の感情の状態に応じた適切なタイミングでの自律的な学習（イベントデータを思い出すこと）を実現できるとともに、ロボット１００の感情の状態を適切に反映した自律的な学習を実現することができる。

【0180】

学習を促す感情とは、ネガティブな状態では光吉博士の感情地図の「懺悔」や「反省」」あたりの感情であり、ポジティブな状態では感情地図の「欲」のあたりの感情である。

【0181】

ロボット１００は、ネガティブな状態において、感情地図の「懺悔」及び「反省」を、学習を促す感情として取り扱ってよい。ロボット１００は、ネガティブな状態において、感情地図の「懺悔」及び「反省」に加えて、「懺悔」及び「反省」に隣接する感情を、学習を促す感情として取り扱ってもよい。例えば、ロボット１００は、「懺悔」及び「反省」に加えて、「惜」、「頑固」、「自滅」、「自戒」、「後悔」、及び「絶望」の少なくともいずれかを、学習を促す感情として取り扱う。これらにより、例えば、ロボット１００が「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな気持ちを抱いたときに自律的な学習を実行するようにできる。

【0182】

ロボット１００は、ポジティブな状態においては、感情地図の「欲」を、学習を促す感情として取り扱ってよい。ロボット１００は、ポジティブな状態において、「欲」に加えて、「欲」に隣接する感情を、学習を促す感情として取り扱ってもよい。例えば、ロボット１００は、「欲」に加えて、「うれしい」、「陶酔」、「渇望」、「期待」、及び「羞」の少なくともいずれかを、学習を促す感情として取り扱う。これらにより、例えば、ロボット１００が「もっと欲しい」「もっと知りたい」というポジティブな気持ちを抱いたときに自律的な学習を実行するようにできる。

【0183】

ロボット１００は、上述したような学習を促す感情以外の感情をロボット１００が抱いているときには、自律的な学習を実行しないようにしてもよい。これにより、例えば、極端に怒っているときや、盲目的に愛を感じているときに、自律的な学習を実行しないようにできる。

【0184】

感情変化イベントとは、例えば、印象的なイベントの先にある行動を提案することである。印象的なイベントの先にある行動とは、感情地図のもっとも外側にある感情ラベルのことで、例えば「愛」の先には「寛容」や「許容」という行動があり、「怒」や「憎い」気持ちの先には「攻撃」や「根絶」がある。

【0185】

ロボット１００がユーザ１０と話していないときに実行される自律的な学習では、印象的な記憶に登場する人々と自分について、それぞれの感情、状況、行動などを組み合わせて、文章生成モデルを用いて、感情変化イベントを作成する。

【0186】

すべての感情値が０から５の６段階評価で表されているとして、印象的なイベントデータとして、「友達が叩かれて嫌そうにしていた」というイベントデータが履歴データ２２２に記憶されている場合を考える。ここでの友達はユーザ１０を指し、ユーザ１０の感情は「嫌悪感」であり、「嫌悪感」を表す値としては５が入っていたとする。また、ロボット１００の感情は「不安」であり、「不安」を表す値としては４が入っていたとする。

【0187】

ロボット１００はユーザ１０と話をしていない間、自律的処理を実行することにより、様々なパラメータで成長し続けることができる。具体的には、履歴データ２２２から例えば感情値が強い順に並べた最上位のイベントデータとして「友達が叩かれて嫌そうにしていた」というイベントデータをロードする。ロードされたイベントデータにはロボット１００の感情として強さ４の「不安」が紐づいており、ここで、友達であるユーザ１０の感情として強さ５の「嫌悪感」が紐づいていたとする。ロボット１００の現在の感情値が、ロード前に強さ３の「安心」であるとすると、ロードされた後には強さ４の「不安」と強さ５の「嫌悪感」の影響が加味されてロボット１００の感情値が、口惜しい（悔しい）を意味する「惜」に変化することがある。このとき、「惜」は学習を促す感情であるため、ロボット１００は、ロボット行動として、イベントデータを思い出すことを決定し、感情変化イベントを作成する。このとき、文章生成モデルに入力する情報は、印象的なイベントデータを表すテキストであり、本例は「友達が叩かれて嫌そうにしていた」ことである。また、感情地図では最も内側に「嫌悪感」の感情があり、それに対応する行動として最も外側に「攻撃」が予測されるため、本例では友達がそのうち誰かを「攻撃」することを避けるように感情変化イベントが作成される。

【0188】

例えば、印象的なイベントデータの情報を使用して、穴埋め問題を解けば、下記のような入力テキストを自動生成できる。

【0189】

「ユーザが叩かれていました。そのとき、ユーザは、非常に嫌悪感を持っていました。ロボットはとても不安でした。ロボットが次にユーザに会ったときにかけるべきセリフを３０文字以内で教えてください。ただし、会う時間帯に関係ないようにお願いします。また、直接的な表現は避けてください。候補は３つ挙げるものとします。

【0190】

＜期待するフォーマット＞

【0191】

候補１：（ロボットがユーザにかけるべき言葉）

【0192】

候補２：（ロボットがユーザにかけるべき言葉）

【0193】

候補３：（ロボットがユーザにかけるべき言葉）」

【0194】

このとき、文章生成モデルの出力は、例えば、以下のようになる。

【0195】

「候補１：大丈夫？昨日のこと気になってたんだ。

【0196】

候補２：昨日のこと、気にしていたよ。どうしたらいい？

【0197】

候補３：心配していたよ。何か話してもらえる？」

【0198】

さらに、感情変化イベントの作成で得られた情報については、ロボット１００は、下記のような入力テキストを自動生成してもよい。

【0199】

「「ユーザが叩かれていました」場合、そのユーザに次の声をかけたとき、ユーザはどのような気持ちになるでしょうか。ユーザの感情は、「喜Ａ怒Ｂ哀Ｃ楽Ｄ」の形式で、ＡからＤは、０から５の６段階評価の整数が入るものとします。

【0200】

候補１：大丈夫？昨日のこと気になってたんだ。

【0201】

候補２：昨日のこと、気にしていたよ。どうしたらいい？

【0202】

候補３：心配していたよ。何か話してもらえる？」

【0203】

このとき、文章生成モデルの出力は、例えば、以下のようになる。

【0204】

「ユーザの感情は以下のようになるかもしれません。

【0205】

候補１：喜３怒１哀２楽２

【0206】

候補２：喜２怒１哀３楽２

【0207】

候補３：喜２怒１哀３楽３」

【0208】

このように、ロボット１００は、感情変化イベントを作成した後に、想いをめぐらす処理を実行してもよい。

【0209】

最後に、ロボット１００は、複数候補の中から、もっとも人が喜びそうな候補１を使用して、感情変化イベントを作成し、行動予定データ２２４に格納し、ユーザ１０に次回会ったときに備えてよい。

【0210】

以上のように、家族や友達と会話をしていないときでも、印象的なイベントデータが記憶されている履歴データ２２２の情報を使用して、ロボットの感情値を決定し続け、上述した学習を促す感情になったときに、ロボット１００はロボット１００の感情に応じて、ユーザ１０と会話していないときに自律的学習を実行し、履歴データ２２２や行動予定データ２２４を更新し続ける。

【0211】

以上は、感情値を用いた例であるが、感情地図ではホルモンの分泌量とイベント種類から感情をつくることができるため、印象的なイベントデータにひもづく値としてはホルモンの種類、ホルモンの分泌量、イベントの種類であっても良い。

【0212】

以下、具体的な実施例を記載する。

【0213】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの興味関心のあるトピックや趣味に関する情報を調べる。

【0214】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの誕生日や記念日に関する情報を調べ、祝福のメッセージを考える。

【0215】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザが行きたがっている場所や食べ物、商品のレビューを調べる。

【0216】

ロボット１００は、例えば、ユーザと話をしていないときでも、天気情報を調べ、ユーザのスケジュールや計画に合わせたアドバイスを提供する。

【0217】

ロボット１００は、例えば、ユーザと話をしていないときでも、地元のイベントやお祭りの情報を調べ、ユーザに提案する。

【0218】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの興味のあるスポーツの試合結果やニュースを調べ、話題を提供する。

【0219】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの好きな音楽やアーティストの情報を調べ、紹介する。

【0220】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザが気になっている社会的な問題やニュースに関する情報を調べ、意見を提供する。

【0221】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの故郷や出身地に関する情報を調べ、話題を提供する。

【0222】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの仕事や学校の情報を調べ、アドバイスを提供する。

【0223】

ロボット１００は、ユーザと話をしていないときでも、ユーザが興味を持つ書籍や漫画、映画、ドラマの情報を調べ、紹介する。

【0224】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの健康に関する情報を調べ、アドバイスを提供する。

【0225】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの旅行の計画に関する情報を調べ、アドバイスを提供する。

【0226】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの家や車の修理やメンテナンスに関する情報を調べ、アドバイスを提供する。

【0227】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザが興味を持つ美容やファッションの情報を調べ、アドバイスを提供する。

【0228】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザのペットの情報を調べ、アドバイスを提供する。

【0229】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの趣味や仕事に関連するコンテストやイベントの情報を調べ、提案する。

【0230】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザのお気に入りの飲食店やレストランの情報を調べ、提案する。

【0231】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザの人生に関わる大切な決断について、情報を収集しアドバイスを提供する。

【0232】

ロボット１００は、例えば、ユーザと話をしていないときでも、ユーザが心配している人に関する情報を調べ、助言を提供する。

【0233】

［第２参考形態］

【0234】

第２参考形態では、上記のロボット１００を、ぬいぐるみに搭載するか、又はぬいぐるみに搭載された制御対象機器（スピーカやカメラ）に無線又は有線で接続された制御装置に適用する。なお、第１参考形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0235】

第２参考形態は、具体的には、以下のように構成される。例えば、ロボット１００を、ユーザ１０と日常を過ごしながら、当該ユーザ１０と日常に関する情報を基に、対話を進めたり、ユーザ１０の趣味趣向に合わせた情報を提供する共同生活者（具体的には、図７及び図８に示すぬいぐるみ１００Ｎ）に適用する。第２参考形態では、上記のロボット１００の制御部分を、スマートホン５０に適用した例について説明する。

【0236】

ロボット１００の入出力デバイスとしての機能を搭載したぬいぐるみ１００Ｎは、ロボット１００の制御部分として機能するスマートホン５０が着脱可能であり、ぬいぐるみ１００Ｎの内部で、入出力デバイスと、収容されたスマートホン５０とが接続されている。

【0237】

図７（Ａ）に示される如く、ぬいぐるみ１００Ｎは、本参考形態（その他の参考形態）では、外観が柔らかい布生地で覆われた熊の形状であり、その内方に形成された空間部５２には、入出力デバイスとして、センサ部２００Ａ及び制御対象２５２Ａが配置されている（図９参照）。センサ部２００Ａは、マイク２０１及び２Ｄカメラ２０３を含む。具体的には、図７（Ｂ）に示される如く、空間部５２には、耳５４に相当する部分にセンサ部２００のマイク２０１が配置され、目５６に相当する部分にセンサ部２００の２Ｄカメラ２０３が配置され、及び、口５８に相当する部分に制御対象２５２Ａの一部を構成するスピーカ６０が配置されている。なお、マイク２０１及びスピーカ６０は、必ずしも別体である必要はなく、一体型のユニットであってもよい。ユニットの場合は、ぬいぐるみ１００Ｎの鼻の位置など、発話が自然に聞こえる位置に配置するとよい。なお、ぬいぐるみ１００Ｎは、動物の形状である場合を例に説明したが、これに限定されるものではない。ぬいぐるみ１００Ｎは、特定のキャラクタの形状であってもよい。

【0238】

図９は、ぬいぐるみ１００Ｎの機能構成を概略的に示す。ぬいぐるみ１００Ｎは、センサ部２００Ａと、センサモジュール部２１０と、格納部２２０と、制御部２２８と、制御対象２５２Ａとを有する。

【0239】

本参考形態のぬいぐるみ１００Ｎに収容されたスマートホン５０は、第１参考形態のロボット１００と同様の処理を実行する。すなわち、スマートホン５０は、図９に示す、センサモジュール部２１０としての機能、格納部２２０としての機能、及び制御部２２８としての機能を有する。

【0240】

図８に示される如く、ぬいぐるみ１００Ｎの一部（例えば、背部）には、ファスナー６２が取り付けられており、当該ファスナー６２を開放することで、外部と空間部５２とが連通する構成となっている。

【0241】

ここで、スマートホン５０が、外部から空間部５２へ収容され、ＵＳＢハブ６４（図７（Ｂ）参照）を介して、各入出力デバイスとＵＳＢ接続することで、上記第１参考形態のロボット１００と同等の機能を持たせることができる。

【0242】

また、ＵＳＢハブ６４には、非接触型の受電プレート６６が接続されている。受電プレート６６には、受電用コイル６６Ａが組み込まれている。受電プレート６６は、ワイヤレス給電を受電するワイヤレス受電部の一例である。

【0243】

受電プレート６６は、ぬいぐるみ１００Ｎの両足の付け根部６８付近に配置され、ぬいぐるみ１００Ｎを載置ベース７０に置いたときに、最も載置ベース７０に近い位置となる。載置ベース７０は、外部のワイヤレス送電部の一例である。

【0244】

この載置ベース７０に置かれたぬいぐるみ１００Ｎが、自然な状態で置物として鑑賞することが可能である。

【0245】

また、この付け根部は、他の部位のぬいぐるみ１００Ｎの表層厚さに比べて薄く形成しており、より載置ベース７０に近い状態で保持されるようになっている。

【0246】

載置ベース７０には、充電パット７２を備えている。充電パット７２は、送電用コイル７２Ａが組み込まれており、送電用コイル７２Ａが信号を送って、受電プレート６６の受電用コイル６６Ａを検索し、受電用コイル６６Ａが見つかると、送電用コイル７２Ａに電流が流れて磁界を発生させ、受電用コイル６６Ａが磁界に反応して電磁誘導が始まる。これにより、受電用コイル６６Ａに電流が流れ、ＵＳＢハブ６４を介して、スマートホン５０のバッテリー（図示省略）に電力が蓄えられる。

【0247】

すなわち、ぬいぐるみ１００Ｎを置物として載置ベース７０に載置することで、スマートホン５０は、自動的に充電されるため、充電のために、スマートホン５０をぬいぐるみ１００Ｎの空間部５２から取り出す必要がない。

【0248】

なお、第２参考形態では、スマートホン５０をぬいぐるみ１００Ｎの空間部５２に収容して、有線による接続（ＵＳＢ接続）したが、これに限定されるものではない。例えば、無線機能（例えば、「Bluetooth（登録商標）」）を持たせた制御装置をぬいぐるみ１００Ｎの空間部５２に収容して、制御装置をＵＳＢハブ６４に接続してもよい。この場合、スマートホン５０を空間部５２に入れずに、スマートホン５０と制御装置とが、無線で通信し、外部のスマートホン５０が、制御装置を介して、各入出力デバイスと接続することで、上記第１参考形態のロボット１００と同等の機能を持たせることができる。また、制御装置をぬいぐるみ１００Ｎの空間部５２に収容した制御装置と、外部のスマートホン５０とを有線で接続してもよい。

【0249】

また、第２参考形態では、熊のぬいぐるみ１００Ｎを例示したが、他の動物でもよいし、人形であってもよいし、特定のキャラクタの形状であってもよい。また、着せ替え可能でもよい。さらに、表皮の材質は、布生地に限らず、ソフトビニール製等、他の材質でもよいが、柔らかい材質であることが好ましい。

【0250】

さらに、ぬいぐるみ１００Ｎの表皮にモニタを取り付けて、ユーザ１０に視覚を通じて情報を提供する制御対象２５２を追加してもよい。例えば、目５６をモニタとして、目に映る画像によって喜怒哀楽を表現してもよいし、腹部に、内蔵したスマートホン５０のモニタが透過する窓を設けてもよい。さらに、目５６をプロジェクターとして、壁面に投影した画像によって喜怒哀楽を表現してもよい。

【0251】

第２参考形態によれば、ぬいぐるみ１００Ｎの中に既存のスマートホン５０を入れ、そこから、ＵＳＢ接続を介して、カメラ２０３、マイク２０１、スピーカ６０等をそれぞれ適切な位置に延出させた。

【0252】

さらに、ワイヤレス充電のために、スマートホン５０と受電プレート６６とをＵＳＢ接続して、受電プレート６６を、ぬいぐるみ１００Ｎの内部からみてなるべく外側に来るように配置した。

【0253】

スマートホン５０のワイヤレス充電を使おうとすると、スマートホン５０をぬいぐるみ１００Ｎの内部からみてできるだけ外側に配置しなければならず、ぬいぐるみ１００Ｎを外から触ったときにごつごつしてしまう。

【0254】

そのため、スマートホン５０を、できるだけぬいぐるみ１００Ｎの中心部に配置し、ワイヤレス充電機能（受電プレート６６）を、できるだけぬいぐるみ１００Ｎの内部からみて外側に配置した。カメラ２０３、マイク２０１、スピーカ６０、及びスマートホン５０は、受電プレート６６を介してワイヤレス給電を受電する。

【0255】

なお、第２参考形態のぬいぐるみ１００Ｎの他の構成及び作用は、第１参考形態のロボット１００と同様であるため、説明を省略する。

【0256】

また、ぬいぐるみ１００Ｎの一部（例えば、センサモジュール部２１０、格納部２２０、制御部２２８）が、ぬいぐるみ１００Ｎの外部（例えば、サーバ）に設けられ、ぬいぐるみ１００Ｎが、外部と通信することで、上記のぬいぐるみ１００Ｎの各部として機能するようにしてもよい。

【0257】

［第３参考形態］

【0258】

上記第１参考形態では、行動制御システムをロボット１００に適用する場合を例示したが、第３参考形態では、上記のロボット１００を、ユーザと対話するためのエージェントとし、行動制御システムをエージェントシステムに適用する。なお、第１参考形態及び第２参考形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0259】

図１０は、行動制御システムの機能の一部又は全部を利用して構成されるエージェントシステム５００の機能ブロック図である。

【0260】

エージェントシステム５００は、ユーザ１０との間で行われる対話を通じてユーザ１０の意図に沿った一連の行動を行うコンピュータシステムである。ユーザ１０との対話は、音声又はテキストによって行うことが可能である。

【0261】

エージェントシステム５００は、センサ部２００Ａと、センサモジュール部２１０と、格納部２２０と、制御部２２８Ｂと、制御対象２５２Ｂと、を有する。

【0262】

エージェントシステム５００は、例えば、ロボット、人形、ぬいぐるみ、ウェアラブル端末（ペンダント、スマートウォッチ、スマート眼鏡）、スマートホン、スマートスピーカ、イヤホン及びパーナルコンピュータなどに搭載され得る。また、エージェントシステム５００は、ウェブサーバに実装され、ユーザが所持するスマートホン等の通信端末上で動作するウェブブラウザを介して利用されてもよい。

【0263】

エージェントシステム５００は、例えばユーザ１０のために行動するバトラー、秘書、教師、パートナー、友人、恋人又は教師としての役割を担う。エージェントシステム５００は、ユーザ１０と対話するだけでなく、アドバイスの提供、目的地までの案内又はユーザの好みに応じたリコメンド等を行う。また、エージェントシステム５００はサービスプロバイダに対して予約、注文又は代金の支払い等を行う。

【0264】

感情決定部２３２は、上記第１参考形態と同様に、ユーザ１０の感情及びエージェント自身の感情を決定する。行動決定部２３６は、ユーザ１０及びエージェントの感情も加味しつつロボット１００の行動を決定する。すなわち、エージェントシステム５００は、ユーザ１０の感情を理解し、空気を読んで心からのサポート、アシスト、アドバイス及びサービス提供を実現する。また、エージェントシステム５００は、ユーザ１０の悩み相談にものり、ユーザを慰め、励まし、元気づける。また、エージェントシステム５００は、ユーザ１０と遊び、絵日記を描き、昔を思い出させてくれる。エージェントシステム５００は、ユーザ１０の幸福感が増すような行動を行う。ここで、エージェントとは、ソフトウェア上で動作するエージェントである。

【0265】

制御部２２８Ｂは、状態認識部２３０と、感情決定部２３２と、行動認識部２３４と、行動決定部２３６と、記憶制御部２３８と、行動制御部２５０と、関連情報収集部２７０と、コマンド取得部２７２と、ＲＰＡ（Robotic Process Automation）２７４と、キャラクタ設定部２７６と、通信処理部２８０と、を有する。

【0266】

行動決定部２３６は、上記第１参考形態と同様に、エージェントの行動として、ユーザ１０と対話するためのエージェントの発話内容を決定する。行動制御部２５０は、エージェントの発話内容を、音声及びテキストの少なくとも一方によって制御対象２５２Ｂとしてのスピーカやディスプレイにより出力する。

【0267】

キャラクタ設定部２７６は、ユーザ１０からの指定に基づいて、エージェントシステム５００がユーザ１０と対話を行う際のエージェントのキャラクタを設定する。すなわち、行動決定部２３６から出力される発話内容は、設定されたキャラクタを有するエージェントを通じて出力される。キャラクタとして、例えば、俳優、芸能人、アイドル、スポーツ選手等の実在の著名人又は有名人を設定することが可能である。また、漫画、映画又はアニメーションに登場する架空のキャラクタを設定することも可能である。例えば、映画「ローマの休日」の登場する「オードリー・ヘップバーン」が演じる「アン王女」をエージェントのキャラクタとして設定することが可能である。エージェントのキャラクタが既知のものである場合には、当該キャラクタの声、言葉遣い、口調及び性格は、既知であるため、ユーザ１０が自分の好みのキャラクタを指定するのみで、キャラクタ設定部２７６におけるプロンプト設定が自動で行われる。設定されたキャラクタの声、言葉遣い、口調及び性格が、ユーザ１０との対話において反映される。すなわち、行動制御部２５０は、キャラクタ設定部２７６によって設定されたキャラクタに応じた音声を合成し、合成した音声によってエージェントの発話内容を出力する。これにより、ユーザ１０は、自分の好みのキャラクタ（例えば好きな俳優）本人と対話しているような感覚を持つことができる。

【0268】

エージェントシステム５００が例えばスマートホン等のディスプレイを有するデバイスに搭載される場合、キャラクタ設定部２７６によって設定されたキャラクタを有するエージェントのアイコン、静止画又は動画がディスプレイに表示されてもよい。エージェントの画像は、例えば、３Ｄレンダリング等の画像合成技術を用いて生成される。エージェントシステム５００において、エージェントの画像が、ユーザ１０の感情、エージェントの感情、及びエージェントの発話内容に応じたジェスチャーを行いながらユーザ１０との対話が行われてもよい。なお、エージェントシステム５００は、ユーザ１０との対話に際し、画像は出力せずに音声のみを出力してもよい。

【0269】

感情決定部２３２は、第１参考形態と同様に、ユーザ１０の感情を示す感情値及びエージェント自身の感情値を決定する。本参考形態では、ロボット１００の感情値の代わりに、エージェントの感情値を決定する。エージェント自身の感情値は、設定されたキャラクタの感情に反映される。エージェントシステム５００が、ユーザ１０と対話する際、ユーザ１０の感情のみならず、エージェントの感情が対話に反映される。すなわち、行動制御部２５０は、感情決定部２３２によって決定された感情に応じた態様で発話内容を出力する。

【0270】

また、エージェントシステム５００が、ユーザ１０に向けた行動を行う場合においてもエージェントの感情が反映される。例えば、ユーザ１０がエージェントシステム５００に写真撮影を依頼した場合において、エージェントシステム５００がユーザの依頼に応じて写真撮影を行うか否かは、エージェントが抱いている「悲」の感情の度合いに応じて決まる。キャラクタは、ポジティブな感情を抱いている場合には、ユーザ１０に対して好意的な対話又は行動を行い、ネガティブな感情を抱いている場合には、ユーザ１０に対して反抗的な対話又は行動を行う。

【0271】

履歴データ２２２は、ユーザ１０とエージェントシステム５００との間で行われた対話の履歴をイベントデータとして記憶している。格納部２２０は、外部のクラウドストレージによって実現されてもよい。エージェントシステム５００は、ユーザ１０と対話する場合又はユーザ１０に向けた行動を行う場合、履歴データ２２２に格納された対話履歴の内容を加味して対話内容又は行動内容を決定する。例えば、エージェントシステム５００は、履歴データ２２２に格納された対話履歴に基づいてユーザ１０の趣味及び嗜好を把握する。エージェントシステム５００は、ユーザ１０の趣味及び嗜好に合った対話内容を生成したり、リコメンドを提供したりする。行動決定部２３６は、履歴データ２２２に格納された対話履歴に基づいてエージェントの発話内容を決定する。履歴データ２２２には、ユーザ１０との対話を通じて取得したユーザ１０の氏名、住所、電話番号、クレジットカード番号等の個人情報が格納される。ここで、「クレジットカード番号を登録しておきますか？」など、エージェントが自発的にユーザ１０に対して個人情報を登録するか否かを質問する発話をし、ユーザ１０の回答に応じて、個人情報を履歴データ２２２に格納するようにしてもよい。

【0272】

行動決定部２３６は、上記第１参考形態で説明したように、文章生成モデルを用いて生成された文章に基づいて発話内容を生成する。具体的には、行動決定部２３６は、ユーザ１０により入力されたテキストまたは音声、感情決定部２３２によって決定されたユーザ１０及びキャラクタの双方の感情及び履歴データ２２２に格納された会話の履歴を、文章生成モデルに入力して、エージェントの発話内容を生成する。このとき、行動決定部２３６は、更に、キャラクタ設定部２７６によって設定されたキャラクタの性格を、文章生成モデルに入力して、エージェントの発話内容を生成してもよい。エージェントシステム５００において、文章生成モデルは、ユーザ１０とのタッチポイントとなるフロントエンド側に位置するものではなく、あくまでエージェントシステム５００の道具として利用される。

【0273】

コマンド取得部２７２は、発話理解部２１２の出力を用いて、ユーザ１０との対話を通じてユーザ１０から発せられる音声又はテキストから、エージェントのコマンドを取得する。コマンドは、例えば、情報検索、店の予約、チケットの手配、商品・サービスの購入、代金の支払い、目的地までのルート案内、リコメンドの提供等のエージェントシステム５００が実行すべき行動の内容を含む。

【0274】

ＲＰＡ２７４は、コマンド取得部２７２によって取得されたコマンドに応じた行動を行う。ＲＰＡ２７４は、例えば、情報検索、店の予約、チケットの手配、商品・サービスの購入、代金の支払い等のサービスプロバイダの利用に関する行動を行う。

【0275】

ＲＰＡ２７４は、サービスプロバイダの利用に関する行動を実行するために必要なユーザ１０の個人情報を、履歴データ２２２から読み出して利用する。例えば、エージェントシステム５００は、ユーザ１０からの依頼に応じて商品の購入を行う場合、履歴データ２２２に格納されているユーザ１０の氏名、住所、電話番号、クレジットカード番号等の個人情報を読み出して利用する。初期設定においてユーザ１０に個人情報の入力を要求することは不親切であり、ユーザにとっても不快である。本参考形態に係るエージェントシステム５００においては、初期設定においてユーザ１０に個人情報の入力を要求するのではなく、ユーザ１０との対話を通じて取得した個人情報を記憶しておき、必要に応じて読み出して利用する。これにより、ユーザに不快な思いをさせることを回避でき、ユーザの利便性が向上する。

【0276】

エージェントシステム５００は、例えば、以下のステップ１～ステップ６により、対話処理を実行する。

【0277】

（ステップ１）エージェントシステム５００は、エージェントのキャラクタを設定する。具体的には、キャラクタ設定部２７６は、ユーザ１０からの指定に基づいて、エージェントシステム５００がユーザ１０と対話を行う際のエージェントのキャラクタを設定する。

【0278】

（ステップ２）エージェントシステム５００は、ユーザ１０から入力された音声又はテキストを含むユーザ１０の状態、ユーザ１０の感情値、エージェントの感情値、履歴データ２２２を取得する。具体的には、上記ステップＳ１００～Ｓ１０３と同様の処理を行い、ユーザ１０から入力された音声又はテキストを含むユーザ１０の状態、ユーザ１０の感情値、エージェントの感情値、及び履歴データ２２２を取得する。

【0279】

（ステップ３）エージェントシステム５００は、エージェントの発話内容を決定する。

【0280】

具体的には、行動決定部２３６は、ユーザ１０により入力されたテキストまたは音声、感情決定部２３２によって特定されたユーザ１０及びキャラクタの双方の感情及び履歴データ２２２に格納された会話の履歴を、文章生成モデルに入力して、エージェントの発話内容を生成する。

【0281】

例えば、ユーザ１０により入力されたテキストまたは音声、感情決定部２３２によって特定されたユーザ１０及びキャラクタの双方の感情及び履歴データ２２２に格納された会話の履歴を表すテキストに、「このとき、エージェントとして、どのように返事をしますか？」という固定文を追加して、文章生成モデルに入力し、エージェントの発話内容を取得する。

【0282】

一例として、ユーザ１０に入力されたテキスト又は音声が「今夜７時に、近くの美味しいチャイニーズレストランを予約してほしい」である場合、エージェントの発話内容として、「かしこまりました。」、「こちらがおすすめのレストランです。１．AAAA。２．BBBB。３．CCCC。４．DDDD」が取得される。

【0283】

また、ユーザ１０に入力されたテキスト又は音声が「４番目のDDDDがいい」である場合、エージェントの発話内容として、「かしこまりました。予約してみます。何名の席です。」が取得される。

【0284】

（ステップ４）エージェントシステム５００は、エージェントの発話内容を出力する。

【0285】

具体的には、行動制御部２５０は、キャラクタ設定部２７６によって設定されたキャラクタに応じた音声を合成し、合成した音声によってエージェントの発話内容を出力する。

【0286】

（ステップ５）エージェントシステム５００は、エージェントのコマンドを実行するタイミングであるか否かを判定する。

【0287】

具体的には、行動決定部２３６は、文章生成モデルの出力に基づいて、エージェントのコマンドを実行するタイミングであるか否かを判定する。例えば、文章生成モデルの出力に、エージェントがコマンドを実行する旨が含まれている場合には、エージェントのコマンドを実行するタイミングであると判定し、ステップ６へ移行する。一方、エージェントのコマンドを実行するタイミングでないと判定された場合には、上記ステップ２へ戻る。

【0288】

（ステップ６）エージェントシステム５００は、エージェントのコマンドを実行する。

【0289】

具体的には、コマンド取得部２７２は、ユーザ１０との対話を通じてユーザ１０から発せられる音声又はテキストから、エージェントのコマンドを取得する。そして、ＲＰＡ２７４は、コマンド取得部２７２によって取得されたコマンドに応じた行動を行う。例えば、コマンドが「情報検索」である場合、ユーザ１０との対話を通じて得られた検索クエリ、及びＡＰＩ（Application Programming Interface）を用いて、検索サイトにより、情報検索を行う。行動決定部２３６は、検索結果を、文章生成モデルに入力して、エージェントの発話内容を生成する。行動制御部２５０は、キャラクタ設定部２７６によって設定されたキャラクタに応じた音声を合成し、合成した音声によってエージェントの発話内容を出力する。

【0290】

また、コマンドが「店の予約」である場合、ユーザ１０との対話を通じて得られた予約情報、予約先の店情報、及びＡＰＩを用いて、電話ソフトウエアにより、予約先の店へ電話をかけて、予約を行う。このとき、行動決定部２３６は、対話機能を有する文章生成モデルを用いて、相手から入力された音声に対するエージェントの発話内容を取得する。そして、行動決定部２３６は、店の予約の結果（予約の正否）を、文章生成モデルに入力して、エージェントの発話内容を生成する。行動制御部２５０は、キャラクタ設定部２７６によって設定されたキャラクタに応じた音声を合成し、合成した音声によってエージェントの発話内容を出力する。

【0291】

そして、上記ステップ２へ戻る。

【0292】

ステップ６において、エージェントにより実行された行動（例えば、店の予約）の結果についても履歴データ２２２に格納される。履歴データ２２２に格納されたエージェントにより実行された行動の結果は、エージェントシステム５００によりユーザ１０の趣味、又は嗜好を把握することに活用される。例えば、同じ店を複数回予約している場合には、その店をユーザ１０が好んでいると認識したり、予約した時間帯、又はコースの内容もしくは料金等の予約内容を次回の予約の際にお店選びの基準としたりする。

【0293】

このように、エージェントシステム５００は、対話処理を実行し、必要に応じて、サービスプロバイダの利用に関する行動を行うことができる。

【0294】

図１１及び図１２は、エージェントシステム５００の動作の一例を示す図である。図１１には、エージェントシステム５００が、ユーザ１０との対話を通じてレストランの予約を行う態様が例示されている。図１１では、左側に、エージェントの発話内容を示し、右側に、ユーザ１０の発話内容を示している。エージェントシステム５００は、ユーザ１０との対話履歴に基づいてユーザ１０の好みを把握し、ユーザ１０の好みに合ったレストランのリコメンドリストを提供し、選択されたレストランの予約を実行することができる。

【0295】

一方、図１２には、エージェントシステム５００が、ユーザ１０との対話を通じて通信販売サイトにアクセスして商品の購入を行う態様が例示されている。図１２では、左側に、エージェントの発話内容を示し、右側に、ユーザ１０の発話内容を示している。エージェントシステム５００は、ユーザ１０との対話履歴に基づいて、ユーザがストックしている飲料の残量を推測し、ユーザ１０に当該飲料の購入を提案し、実行することができる。また、エージェントシステム５００は、ユーザ１０との過去の対話履歴に基づいて、ユーザの好みを把握し、ユーザが好むスナックをリコメンドすることができる。このように、エージェントシステム５００は、執事のようなエージェントとしてユーザ１０とコミュニケーションを取りながら、レストラン予約、又は、商品の購入決済など様々な行動まで実行することで、ユーザ１０の日々の生活を支えてくれる。

【0296】

なお、第３参考形態のエージェントシステム５００の他の構成及び作用は、第１参考形態のロボット１００と同様であるため、説明を省略する。

【0297】

また、エージェントシステム５００の一部（例えば、センサモジュール部２１０、格納部２２０、制御部２２８Ｂ）が、ユーザが所持するスマートホン等の通信端末の外部（例えば、サーバ）に設けられ、通信端末が、外部と通信することで、上記のエージェントシステム５００の各部として機能するようにしてもよい。

【0298】

［第４参考形態］

【0299】

第４参考形態では、上記のエージェントシステムを、スマート眼鏡に適用する。なお、第１参考形態～第３参考形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0300】

図１３は、行動制御システムの機能の一部又は全部を利用して構成されるエージェントシステム７００の機能ブロック図である。

【0301】

図１４に示すように、スマート眼鏡７２０は、眼鏡型のスマートデバイスであり、一般的な眼鏡と同様にユーザ１０によって装着される。スマート眼鏡７２０は、電子機器及びウェアラブル端末の一例である。

【0302】

スマート眼鏡７２０は、エージェントシステム７００を備えている。制御対象２５２Ｂに含まれるディスプレイは、ユーザ１０に対して各種情報を表示する。ディスプレイは、例えば、液晶ディスプレイである。ディスプレイは、例えば、スマート眼鏡７２０のレンズ部分に設けられており、ユーザ１０によって表示内容が視認可能とされている。制御対象２５２Ｂに含まれるスピーカは、ユーザ１０に対して各種情報を示す音声を出力する。スマート眼鏡７２０は、タッチパネル（図示省略）を備えており、タッチパネルは、ユーザ１０からの入力を受け付ける。

【0303】

センサ部２００Ｂの加速度センサ２０６、温度センサ２０７、及び心拍センサ２０８は、ユーザ１０の状態を検出する。なお、これらのセンサはあくまで一例にすぎず、ユーザ１０の状態を検出するためにその他のセンサが搭載されてよいことはもちろんである。

【0304】

マイク２０１は、ユーザ１０が発した音声又はスマート眼鏡７２０の周囲の環境音を取得する。２Ｄカメラ２０３は、スマート眼鏡７２０の周囲を撮像可能とされている。２Ｄカメラ２０３は、例えば、ＣＣＤカメラである。

【0305】

センサモジュール部２１０Ｂは、音声感情認識部２１１及び発話理解部２１２を含む。制御部２２８Ｂの通信処理部２８０は、スマート眼鏡７２０と外部との通信を司る。

【0306】

図１４は、スマート眼鏡７２０によるエージェントシステム７００の利用態様の一例を示す図である。スマート眼鏡７２０は、ユーザ１０に対してエージェントシステム７００を利用した各種サービスの提供を実現する。例えば、ユーザ１０によりスマート眼鏡７２０が操作（例えば、マイクロフォンに対する音声入力、又は指でタッチパネルがタップされる等）されると、スマート眼鏡７２０は、エージェントシステム７００の利用を開始する。ここで、エージェントシステム７００を利用するとは、スマート眼鏡７２０が、エージェントシステム７００を有し、エージェントシステム７００を利用することを含み、また、エージェントシステム７００の一部（例えば、センサモジュール部２１０Ｂ、格納部２２０、制御部２２８Ｂ）が、スマート眼鏡７２０の外部（例えば、サーバ）に設けられ、スマート眼鏡７２０が、外部と通信することで、エージェントシステム７００を利用する態様も含む。

【0307】

ユーザ１０がスマート眼鏡７２０を操作することで、エージェントシステム７００とユーザ１０との間にタッチポイントが生じる。すなわち、エージェントシステム７００によるサービスの提供が開始される。第３参考形態で説明したように、エージェントシステム７００において、キャラクタ設定部２７６によりエージェントのキャラクタ（例えば、オードリー・ヘップバーンのキャラクタ）の設定が行われる。

【0308】

感情決定部２３２は、ユーザ１０の感情を示す感情値及びエージェント自身の感情値を決定する。ここで、ユーザ１０の感情を示す感情値は、スマート眼鏡７２０に搭載されたセンサ部２００Ｂに含まれる各種センサから推定される。例えば、心拍センサ２０８により検出されたユーザ１０の心拍数が上昇している場合には、「不安」「恐怖」等の感情値が大きく推定される。

【0309】

また、温度センサ２０７によりユーザの体温が測定された結果、例えば、平均体温を上回っている場合には、「苦痛」「辛い」等の感情値が大きく推定される。また、例えば、加速度センサ２０６によりユーザ１０が何らかのスポーツを行っていることが検出された場合には、「楽しい」等の感情値が大きく推定される。

【0310】

また、例えば、スマート眼鏡７２０に搭載されたマイク２０１により取得されたユーザ１０の音声、又は発話内容からユーザ１０の感情値が推定されてもよい。例えば、ユーザ１０が声を荒げている場合には、「怒り」等の感情値が大きく推定される。

【0311】

感情決定部２３２により推定された感情値が予め定められた値よりも高くなった場合、エージェントシステム７００は、スマート眼鏡７２０に対して周囲の状況に関する情報を取得させる。具体的には、例えば、２Ｄカメラ２０３に対して、ユーザ１０の周囲の状況（例えば、周囲にいる人物、又は物体）を示す画像又は動画を撮像させる。また、マイク２０１に対して周囲の環境音を録音させる。その他の周囲の状況に関する情報としては、日付、時刻、位置情報、又は天候を示す情報等が挙げられる。周囲の状況に関する情報は、感情値と共に履歴データ２２２に保存される。履歴データ２２２は、外部のクラウドストレージによって実現されてもよい。このように、スマート眼鏡７２０によって得られた周囲の状況は、その時のユーザ１０の感情値と対応付けられた状態で、いわゆるライフログとして履歴データ２２２に保存される。

【0312】

エージェントシステム７００において、履歴データ２２２に周囲の状況を示す情報が、感情値と対応付けられて保存される。これにより、ユーザ１０の趣味、嗜好、又は性格等の個人情報がエージェントシステム７００によって把握される。例えば、野球観戦の様子を示す画像と、「喜び」「楽しい」等の感情値が対応付けられている場合には、ユーザ１０の趣味が野球観戦であり、好きなチーム、又は選手が、履歴データ２２２に格納された情報からエージェントシステム７００により把握される。

【0313】

そして、エージェントシステム７００は、ユーザ１０と対話する場合又はユーザ１０に向けた行動を行う場合、履歴データ２２２に格納された周囲状況の内容を加味して対話内容又は行動内容を決定する。なお、周囲状況に加えて、上述したように履歴データ２２２に格納された対話履歴を加味して対話内容又は行動内容が決定されてよいことはもちろんである。

【0314】

上述したように、行動決定部２３６は、文章生成モデルによって生成された文章に基づいて発話内容を生成する。具体的には、行動決定部２３６は、ユーザ１０により入力されたテキストまたは音声、感情決定部２３２によって決定されたユーザ１０及びエージェントの双方の感情、履歴データ２２２に格納された会話の履歴、及びエージェントの性格等を文章生成モデルに入力して、エージェントの発話内容を生成する。さらに、行動決定部２３６は、履歴データ２２２に格納された周囲状況を文章生成モデルに入力して、エージェントの発話内容を生成する。

【0315】

生成された発話内容は、例えば、スマート眼鏡７２０に搭載されたスピーカからユーザ１０に対して音声出力される。この場合において、音声としてエージェントのキャラクタに応じた合成音声が用いられる。行動制御部２５０は、エージェントのキャラクタ（例えば、オードリー・ヘップバーン）の声質を再現することで、合成音声を生成したり、キャラクタの感情に応じた合成音声（例えば、「怒」の感情である場合には語気を強めた音声）を生成したりする。また、音声出力に代えて、又は音声出力とともに、ディスプレイに対して発話内容が表示されてもよい。

【0316】

ＲＰＡ２７４は、コマンド（例えば、ユーザ１０との対話を通じてユーザ１０から発せられる音声又はテキストから取得されたエージェントのコマンド）に応じた動作を実行する。ＲＰＡ２７４は、例えば、情報検索、店の予約、チケットの手配、商品・サービスの購入、代金の支払い、経路案内、翻訳等のサービスプロバイダの利用に関する行動を行う。

【0317】

また、その他の例として、ＲＰＡ２７４は、ユーザ１０（例えば、子供）がエージェントとの対話を通じて音声入力した内容を、相手先（例えば、親）に送信する動作を実行する。送信手段としては、例えば、メッセージアプリケーションソフト、チャットアプリケーションソフト、又はメールアプリケーションソフト等が挙げられる。

【0318】

ＲＰＡ２７４による動作が実行された場合に、例えば、スマート眼鏡７２０に搭載されたスピーカから動作の実行が終了したことを示す音声が出力される。例えば、「お店の予約が完了しました」等の音声がユーザ１０に対して出力される。また、例えば、お店の予約が埋まっていた場合には、「予約ができませんでした。どうしますか？」等の音声がユーザ１０に対して出力される。

【0319】

なお、エージェントシステム７００の一部（例えば、センサモジュール部２１０Ｂ、格納部２２０、制御部２２８Ｂ）が、スマート眼鏡７２０の外部（例えば、サーバ）に設けられ、スマート眼鏡７２０が、外部と通信することで、上記のエージェントシステム７００の各部として機能するようにしてもよい。

【0320】

以上説明したように、スマート眼鏡７２０では、エージェントシステム７００を利用することでユーザ１０に対して各種サービスが提供される。また、スマート眼鏡７２０は、ユーザ１０によって身につけられていることから、自宅、仕事場、外出先等、様々な場面でエージェントシステム７００を利用することが実現される。

【0321】

また、スマート眼鏡７２０は、ユーザ１０によって身につけられていることから、ユーザ１０のいわゆるライフログを収集することに適している。具体的には、スマート眼鏡７２０に搭載された各種センサ等による検出結果、又は２Ｄカメラ２０３等の記録結果に基づいてユーザ１０の感情値が推定される。このため、様々な場面でユーザ１０の感情値を収集することができ、エージェントシステム７００は、ユーザ１０の感情に適したサービス、又は発話内容を提供することができる。

【0322】

また、スマート眼鏡７２０では、２Ｄカメラ２０３、マイク２０１等によりユーザ１０の周囲の状況が得られる。そして、これらの周囲の状況とユーザ１０の感情値とは対応付けられている。これにより、ユーザ１０がどのような状況に置かれた場合に、どのような感情を抱いたかを推定することができる。この結果、エージェントシステム７００が、ユーザ１０の趣味嗜好を把握する場合の精度を向上させることができる。そして、エージェントシステム７００において、ユーザ１０の趣味嗜好が正確に把握されることで、エージェントシステム７００は、ユーザ１０の趣味嗜好に適したサービス、又は発話内容を提供することができる。

【0323】

また、エージェントシステム７００は、他のウェアラブル端末（ペンダント、スマートウォッチ、イヤリング、ブレスレット、ヘアバンド等のユーザ１０の身体に装着可能な電子機器）に適用することも可能である。エージェントシステム７００をスマートペンダントに適用する場合、制御対象２５２Ｂとしてのスピーカは、ユーザ１０に対して各種情報を示す音声を出力する。スピーカは、例えば、指向性を有する音声を出力可能なスピーカである。スピーカは、ユーザ１０の耳に向かって指向性を有するように設定される。これにより、ユーザ１０以外の人物に対して音声が届くことが抑制される。マイク２０１は、ユーザ１０が発した音声又はスマートペンダントの周囲の環境音を取得する。スマートペンダントは、ユーザ１０の首から提げられる態様で装着される。このため、スマートペンダントは、装着されている間、ユーザ１０の口に比較的近い場所に位置する。これにより、ユーザ１０の発する音声を取得することが容易になる。

【0324】

［実施形態］

【0325】

第１参考形態では、情報処理システムの一例としてのサーバが特定処理を実行する場合を例に説明する。なお、第１参考形態及び第２参考形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0326】

本実施形態では、サーバが、手話動画を生成する対象の対象データから手話動画を生成する特定処理を行う。具体的には、動画像データ、発話音声データ、テキストデータ等の対象データから手話動画を生成する。例えば、動画像データから手話動画を生成して、図１５に示すように、元の動画像に生成した手話動画３６を挿入して表示する。これにより、聴覚障害者が動画像を楽しむことが可能となる。或いは、発話音声データまたはテキストデータから手話動画を生成する。これにより、手話ができなくても聴覚障害者との会話が可能となる。

【0327】

図１６に示すように、サーバ２９０は、取得部２９２、処理部２９４、及び出力部２９６を備えている。

【0328】

取得部２９２は、手話動画を生成する対象の対象データを取得する。具体的には、外部サーバ等に格納された動画像データを取得してもよいし、ユーザによって入力された発話音声データまたはテキストデータを取得してもよい。

【0329】

処理部２９４は、入力情報に応じた画像を生成する画像生成モデルを用いた特定処理を行う。より具体的には、図１７に示すように、取得部２９２が取得した対象データ３０と、手話動画生成指示（手話動画を作成する指示を示すテキスト）３２とを、画像生成モデル３４に入力し、画像生成モデル３４に基づいて処理結果を取得する。例えば、対象データが動画像データの場合には、動画像データを画像生成モデル３４にそのまま入力してもよいが、動画像データを画像生成モデル３４に入力する前に、動画像に含まれる発話音声データまたはテキストデータを抽出する前処理を行ってから抽出した発話音声データまたはテキストデータを画像生成モデル３４に入力する形態としてもよい。

【0330】

なお、処理部２９４は、対象データ３０と手話動画生成指示３２の他に、図１８に示すように、手話を行うキャラクタとしてアバター画像３１を画像生成モデル３４に入力して、入力したアバター画像３１の手話動画３６を生成してもよい。アタバー画像３１は、ユーザが任意の画像を入力してもよいし、複数種類のアバター画像３１を複数種類用意しておいて選択可能としてもよい。また、手話動画３６は、架空の人物による手話動画３６でもよいし、アニメーションによる手話動画３６でもよい。

【0331】

出力部２９６は、ユーザ端末（図示省略）に対して、特定処理の結果を出力する。このとき、ユーザ端末は、特定処理の結果をディスプレイ等の表示装置に表示する。具体的には、ユーザ端末から発話音声データまたはテキストデータを入力することにより、画像生成モデル３４に発話音声データまたはテキストデータを入力した場合には、発話音声データまたはテキストデータに対応する手話動画を表示装置に表示する。また、画像生成モデル３４に動画像データを入力した場合には、図１５に示すように、元の動画像の音声発話に対応する手話動画３６を元画像に挿入して表示装置に表示する。なお、元の動画像への手話動画の挿入位置はユーザによって選択可能としてもよい。また、手話動画３６は、元の動画像とは別に表示してもよい。

【0332】

図１９は、サーバ２９０が手話動画を生成する特定処理を行う動作に関する動作フローの一例を概略的に示す。図１９に示す動作フローは、例えば、手話動画の生成が指示された場合に開始する。

【0333】

ステップＳ３００で、取得部２９２は、対象データを取得する。例えば、外部サーバの動画像の位置情報が指定された場合には、外部サーバから動画像データまたは発話音声データを取得し、ユーザによって発話音声データまたはテキストデータが入力された場合には入力された発話音声データまたはテキストデータを取得する。

【0334】

ステップＳ３０１で、処理部２９４は、対象データに、特定処理の結果を得るための指示文を追加して、プロンプトを生成する。例えば、対象データが動画像データの場合、「動画像の発話音声またはテキストデータから手話動画を生成」というプロンプトを生成する。なお、アバター画像３１が指定されている場合には、「動画の発話音声またはテキストデータからアバター画像で手話動画を作成」というプロンプトを生成する。

【0335】

ステップＳ３０２で、処理部２９４は、生成したプロンプトと、取得した対象データを、画像生成モデル３４に入力し、画像生成モデル３４の出力に基づいて、特定処理の結果を取得する。

【0336】

ステップＳ３０３で、出力部２９６は、ユーザ端末に対して特定処理の結果を出力し、特定処理を終了する。例えば、対象データが動画像データの場合には、図１５に示すように、元の動画像に対して、生成した手話動画３６を挿入した動画像を特定処理の結果として出力する。

【0337】

ステップ３０４で、処理部２９４は、特定処理を終了するか否かを判定する。例えば、次の対象データがあるか否かを判定する。或いは、対象データが発話音声データまたはテキストデータの場合には、対象の発話音声またはテキストの新たな入力がなくなったかを判定する。或いは、ユーザによって終了が指示されたか否かを判定する。該判定が否定された場合にはステップＳ３００に戻って上述の処理を繰り返す。一方、肯定された場合には一連の処理を終了する。

【0338】

このように、本実施形態に係るサーバ２９０では、動画像データ、発話音声データ、テキストデータ等の対象データから手話動画を生成するので、聴覚障害者に対して手話翻訳サービスを提供できる。

【0339】

なお、上記実施形態で説明した特定処理を、上記第１参考形態に係るロボット１００を用いて実現してもよい。この場合には、ロボット１００にディスプレイ等の表示装置を設けて、ロボット１００のマイク２０１から出力された音声データを入力として生成した手話動画を表示する。或いは、ロボット１００の手指及び表情を変更可能として、ロボット１００に手話を行わせてもよい。

【0340】

また、上記実施形態で説明した特定処理を、上記第２参考形態に係るぬいぐるみ１００Ｎを用いて実現してもよい。この場合には、ぬいぐるみ１００Ｎに収容したスマートホン５０の表示部を確認可能に収納し、スマートホン５０の表示部に、マイク２０１から出力された音声データを入力として生成した手話動画を表示する。

【0341】

また、上記実施形態で説明した特定処理を、上記第３参考形態に係るエージェントシステム５００を用いて実現してもよい。この場合には、エージェントシステム５００に対して、マイク２０１から出力された音声データを入力とし手話動画の生成を指示して、生成した手話動画をスマートホン等のディスプレイに表示する。

【0342】

また、上記実施形態で説明した特定処理を、上記第４参考形態に係るエージェントシステム７００を用いて実現してもよい。この場合には、エージェントシステム７００に対してマイク２０１から出力された音声データを入力とし手話動画の生成を指示して、生成した手話動画をスマート眼鏡７２０に表示する。

【0343】

また、上記実施形態で説明した特定処理は、スマートホン５０のアプリケーションで行う処理としてもよい。

【0344】

また、上記実施形態で説明した特定処理は、図２０に示すように、文章生成モデル３７と、画像生成モデル３４を含んでもよい。例えば、動画像データ３３と、発話音声抽出指示３５を、文章を生成する文章生成モデル３７に入力して動画像データ中の発話音声を表す発話音声テキスト４０を生成し、生成した発話音声テキスト４０と手話動画生成指示３４を、画像生成モデル３４に入力し、手話動画３６を特定処理の結果として得る。より具体的には、処理部２９４は、「動画像データ中の発話音声を抽出」というプロンプトを生成して、生成したプロンプトと動画像データ３３を文章生成モデル３７に入力する。また、処理部２９４は、「発話音声テキストから手話動画を作成」というプロンプトを生成して、生成したプロンプトと文章生成モデル３７が生成した発話音声テキスト４０を、画像生成モデル３４に入力する。

【0345】

なお、上記参考形態では、ロボット１００は、ユーザ１０の顔画像を用いてユーザ１０を認識する場合について説明したが、開示の技術はこの態様に限定されない。例えば、ロボット１００は、ユーザ１０が発する音声、ユーザ１０のメールアドレス、ユーザ１０のＳＮＳのＩＤ又はユーザ１０が所持する無線ＩＣタグが内蔵されたＩＤカード等を用いてユーザ１０を認識してもよい。

【0346】

ロボット１００は、行動制御システムを備える電子機器の一例である。行動制御システムの適用対象は、ロボット１００に限られず、様々な電子機器に行動制御システムを適用できる。また、サーバ２９０、３００の機能は、１以上のコンピュータによって実装されてよい。サーバ２９０、３００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ２９０、３００の機能の少なくとも一部は、クラウドで実装されてよい。

【0347】

図２１は、スマートホン５０、ロボット１００、サーバ２９０、３００、及びエージェントシステム５００、７００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本参考形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本参考形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本参考形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0348】

本参考形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0349】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0350】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0351】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0352】

プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0353】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0354】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0355】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0356】

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0357】

本参考形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0358】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0359】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0360】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0361】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0362】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0363】

３０ 動画像またはテキストデータ、３１ アバター画像、３２ 手話動画生成指示、３３ 動画像データ、３４ 画像生成モデル、３５ 発話音声抽出指示、３７ 文章生成モデル、３６ 手話動画、５０ スマートホン、１００、１０１、１０２ ロボット、１００Ｎ ぬいぐるみ、２９０ サーバ、２９２ 取得部、２９４ 処理部、２９６ 出力部、５００、７００ エージェントシステム、７２０ スマート眼鏡、

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】