特許 7510042 情報処理システム、端末装置、端末装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】情報処理システム、端末装置、端末装置の制御方法、及びプログラム

(51)【国際特許分類】

   H04L 67/50 20220101AFI20240626BHJP

   G06F 3/16 20060101ALI20240626BHJP

   G10L 13/00 20060101ALI20240626BHJP

【ＦＩ】

H04L67/50

G06F3/16 630

G06F3/16 650

G06F3/16 690

G10L13/00 100M

G10L13/00 100V

【請求項の数】 10

(21)【出願番号】P 2020010989

(22)【出願日】2020-01-27

(65)【公開番号】P2021117762

(43)【公開日】2021-08-10

【審査請求日】2022-11-15

(73)【特許権者】

【識別番号】500033117

【氏名又は名称】株式会社ＭＩＸＩ

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】▲高▼田 信一

(72)【発明者】

【氏名】信田 春満

【審査官】前田 健人

(56)【参考文献】

【文献】中国特許出願公開第１０７５７７６６１（ＣＮ，Ａ）

【文献】国際公開第２０１９／０５８６７３（ＷＯ，Ａ１）

【文献】特開２０１８－００１４０３（ＪＰ，Ａ）

【文献】特開２００４－３４０８３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １３／００

Ｇ１０Ｌ １３／００

Ｇ１０Ｌ １５／００

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

互いに通信可能に接続されたサーバと端末装置とを含む情報処理システムであって、
前記サーバは、
前記端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を、前記端末装置へ送信する送信手段を含み、
前記端末装置は、
前記サーバから、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を受信する受信手段と、
前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、
前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、
を含み、
この実行手段が、前記受信したアクション情報が所定の音声データの指定を含む場合は、前記合成された音声データの再生時間を表す第１の再生時間と、前記所定の音声データの再生時間を表す第２の再生時間のうち長い方に基づいて、前記アクションの継続時間を制御する情報処理システム。

【請求項2】

サーバとの間で通信可能に接続される端末装置であって、
前記サーバから、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を受信する受信手段と、
前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、
前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、
を含み、
前記実行手段は、前記受信したアクション情報が所定の音声データの指定を含む場合は、前記合成された音声データの再生時間を表す第１の再生時間と、前記所定の音声データの再生時間を表す第２の再生時間のうち長い方に基づいて、前記アクションの継続時間を制御する端末装置。

【請求項3】

請求項２に記載の端末装置であって、
前記実行手段は、
前記音声データの再生中に、少なくともアニメーションの再生を行い、
前記音声データの再生時間に基づいて、前記音声データとともに再生するアニメーションの継続時間を制御する端末装置。

【請求項4】

請求項３に記載の端末装置であって、
前記アニメーションは、開始アニメーションと、中間アニメーションと、終了アニメーションとを含む複数の部分アニメーションを含み、
前記実行手段は、前記音声データの再生時間に基づいて、前記開始アニメーションと、前記中間アニメーションと、前記終了アニメーションのそれぞれの再生時間を制御する端末装置。

【請求項5】

請求項４に記載の端末装置であって、
前記実行手段は、前記音声データの再生時間が、前記開始アニメーションの再生時間以内であれば、前記音声データの再生中に、前記開始アニメーションを再生する端末装置。

【請求項6】

請求項４又は５に記載の端末装置であって、
前記実行手段は、前記音声データの再生時間が、前記開始アニメーションの再生時間を超え、前記開始アニメーションと終了アニメーションとの再生時間の和以下の時間であれば、前記音声データの再生中に、前記開始アニメーションと終了アニメーションとを再生する端末装置。

【請求項7】

請求項４乃至６のいずれかに記載の端末装置であって、
前記実行手段は、前記音声データの再生時間が、前記開始アニメーションと終了アニメーションとの再生時間の和を超える場合は、前記音声データの再生中、前記開始アニメーションを再生した後、前記音声データの再生時間から、前記開始アニメーションと終了アニメーションとの再生時間の和を差し引いて求められる時間だけ前記中間アニメーションを再生する処理を繰り返し、その後、前記終了アニメーションを再生する端末装置。

【請求項8】

請求項３に記載の端末装置であって、
前記アニメーションは、開始アニメーションと、少なくとも一つの中間アニメーションと、終了アニメーションとを含む複数の部分アニメーションを含み、
前記実行手段は、
前記音声データの再生時間が、前記開始アニメーションの再生時間以内であれば、前記音声データの再生中に、前記開始アニメーションを再生し、
前記音声データの再生時間が、前記開始アニメーションの再生時間を超え、前記開始アニメーションと終了アニメーションとの再生時間の和以下の時間であれば、前記音声データの再生中に、前記開始アニメーションと終了アニメーションとを再生し、
前記音声データの再生時間が、前記開始アニメーションと終了アニメーションとの再生時間の和を超える場合は、前記音声データの再生中、前記開始アニメーションを再生した後、前記音声データの再生時間から、前記開始アニメーションと終了アニメーションとの再生時間の和を差し引いて求められる時間だけ前記中間アニメーションのいずれかを選択して再生する処理を繰り返し、その後、前記終了アニメーションを再生する端末装置。

【請求項9】

サーバとの間で通信可能に接続される端末装置の制御方法であって、
受信手段が、前記サーバから、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を受信し、
音声合成手段が、前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成し、
実行手段が、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御し、前記受信したアクション情報が所定の音声データの指定を含む場合は、前記合成された音声データの再生時間を表す第１の再生時間と、前記所定の音声データの再生時間を表す第２の再生時間のうち長い方に基づいて、前記アクションの継続時間を制御する端末装置の制御方法。

【請求項10】

端末装置を、
端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、
前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、
として機能させ、
前記実行手段として機能させる際には、端末装置に、前記アクション情報が所定の音声データの指定を含む場合は、前記合成された音声データの再生時間を表す第１の再生時間と、前記所定の音声データの再生時間を表す第２の再生時間のうち長い方に基づいて、前記アクションの継続時間を制御させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、端末装置、端末装置の制御方法、及びプログラム
に関する。

【背景技術】

【0002】

ロボットを制御する装置として、ロボットの発話に関するタイミングでジェスチャを行うよう設定するべく、事前に用意された対話シナリオに基づく設定を行う技術が開発されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０３２４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、対話シナリオに基づく設定をするものであり、自由発話文については考慮がされていないため対話のバリエーションが少ない。一方で、自由発話文を用いる場合、自由発話文の内容に基づいて音声合成を行い、再生するという場合、予め計測された時間内に発話が終了するとは限らないので、再生時間に応じてジェスチャ等の動きの継続時間を決定する必要がある。

【0005】

本発明は上記実情に鑑みて為されたもので、文字列情報に基づいて端末装置で再生する音声に合わせて実行するアクションを、柔軟に調整可能な情報処理システム、端末装置、端末装置の制御方法、及びプログラムを提供することを、その目的の一つとする。

【課題を解決するための手段】

【0006】

上記従来例の問題点を解決する本発明の一態様は、互いに通信可能に接続されたサーバと端末装置とを含む情報処理システムであって、前記サーバは、前記端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を、前記端末装置へ送信する送信手段を含み、前記端末装置は、前記サーバからアクション情報を受信する受信手段と、前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、を含むこととしたものである。

【発明の効果】

【0007】

本発明によると、文字列情報に基づいて端末装置で再生する音声に合わせて実行するアクションを、柔軟に調整可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る情報処理システムの構成例を表すブロック図である。

【図2】本発明の実施の形態に係る端末装置の構成例を表すブロック図である。

【図3】本発明の実施の形態に係るサーバの例を表す機能ブロック図である。

【図4】本発明の実施の形態に係る情報処理システムで利用されるアクションデータベースの内容例を表す説明図である。

【図5】本発明の実施の形態に係る端末装置の例を表す機能ブロック図である。

【図6】本発明の実施の形態に係る端末装置が用いる設定情報の例を表す説明図である。

【図7】本発明の実施の形態に係る情報処理システムの動作例を表す流れ図である。

【図8】本発明の実施の形態に係る情報処理システムの動作例を表すもう一つの流れ図である。

【図9】本発明の実施の形態に係る情報処理システムの動作例を表すタイミングチャート図である。

【発明を実施するための形態】

【0009】

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１は、図１に例示するように、互いにネットワーク等の通信手段を介して通信可能に接続されたサーバ１０と、端末装置２０とを含んで構成される。

【0010】

ここでサーバ１０は、図１に示したように、制御部１１と、記憶部１２と、通信部１３とを含んで構成される。また、端末装置２０は、ロボットであり、図２に例示するように、脚部２１と、本体部２２とを少なくとも含み、本体部２２に、制御部３１と、記憶部３２と、センサ部３３と、表示部３４と、音声出力部３５と、通信部３６と、駆動部３７とを収納している。また脚部２１と本体部２２とは、少なくとも１軸まわりに回転可能なアクチュエータを介して連結されており、脚部２１に対して本体部２２の向きを回動可能となっている。

【0011】

サーバ１０の制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、端末装置２０からアクションのリクエスト情報を受け入れる。またこの制御部１１は、当該受け入れたリクエスト情報に対応して、端末装置２０にて実行されるアクションを指示するアクション指示と、端末装置２０にて発声される音声の内容を表す文字列情報とを含むアクション情報を、上記リクエスト情報の送信元である端末装置２０へ送信する。この制御部１１の詳しい処理の内容については、後に説明する。

【0012】

記憶部１２は、ディスクデバイスまたはメモリデバイスであり、制御部１１によって実行されるプログラムを保持する。この記憶部１２は、また、制御部１１のワークメモリとしても動作する。本実施の形態の一例では、この記憶部１２には、端末装置２０への指示を生成するための情報が格納されていてもよい。この情報の内容については後に述べる。

【0013】

通信部１３は、ネットワークインタフェース等であり、制御部１１から入力される指示に従い、ネットワークを介して端末装置２０宛に種々の情報を送出する。またこの通信部１３は、ネットワークを介して受信した情報を、制御部１１に出力する。

【0014】

端末装置２０の制御部３１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部３２に格納されたプログラムに従って動作する。本実施の形態では、この制御部３１は、所定のタイミングで、サーバ１０に対してアクションのリクエスト情報を送出する。またこの制御部３１は、サーバ１０からアクション情報を受信する。制御部３１は、アクション情報を受信すると、当該アクション情報に含まれる文字列情報に基づき、音声データを合成する。また制御部３１は、ここで合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する。

【0015】

本実施の形態の一例では、端末装置２０の制御部３１は、後に説明するセンサ部３３がユーザの音声の入力を受け入れると、当該入力された音声を文字列情報に変換する。この処理は、広く知られた音声認識の処理を用いることができ、制御部３１は例えば音声認識処理を実行する音声認識サーバに入力された音声の情報を送出し、認識した文字列情報を受信することでこの処理を実行してもよい。

【0016】

また制御部３１は、ユーザにより音声が入力されたことなど、予め定められた動作の契機となる事象（トリガ）が生じたことを検出すると、サーバ１０に対してアクションのリクエスト情報を送出する。このリクエスト情報には、トリガを特定する情報（例えばユーザにより音声が入力された旨の情報）と、サーバ１０での処理に必要な情報、例えば、ここではユーザが入力した音声の認識結果である文字列情報とを含む。

【0017】

すなわち制御部３１は、予め定められたトリガが発生したと判断すると、サーバ１０での処理に必要な情報を収集して、当該トリガを特定する情報とともに、当該収集した情報を含むリクエスト情報をサーバ１０へ送出することとなる。このトリガは、先の例のように、ユーザにより音声が入力されたことのほか、所定の時刻になった、など、任意に定め得る。この制御部３１の詳しい動作の内容についても後に説明する。

【0018】

記憶部３２は、メモリデバイス等であり、制御部３１によって実行されるプログラムを保持する。この記憶部３２は、また、制御部３１のワークメモリとしても動作する。本実施の形態では、この記憶部３２には、上記トリガと、サーバ１０に送出するべき情報を特定する情報等とを関連付けた設定情報が格納されていてもよい。この設定情報については後に具体的な例を挙げて説明する。

【0019】

さらに、本実施の形態のある例では、この記憶部３２は、表示部３４に表示するべきアニメーションの画像データを格納している。具体的に記憶部３２は、笑顔の目の画像データ、涙の流れるアニメーションの目の画像データ…など目のアニメーションの画像データや、笑った状態で閉じた口の画像データ、泣いている状態での閉じた口の画像データ、発声中の口のアニメーションの画像データ…など、口のアニメーションの画像データ…といったように、表情を表す各部の複数の画像データを格納していてもよい。

【0020】

以下の例では、この記憶部３２には、少なくとも、音声発声開始時の表情を表すアニメーションの画像データＦＳと、音声発声中の表情を表すアニメーションの画像データＦＩと、音声発声終了時の表情を表すアニメーションの画像データＦＥとが格納されているものとする。また、これらの画像データＦＳ，ＦＩ，ＦＥは、口の部分の画像のみとし、記憶部３２が目の部分の画像データを別途格納していても構わない。

【0021】

センサ部３３は、少なくとも音声センサであるマイクを含む。またこのセンサ部３３は、タッチセンサや、加速度センサ等を含んでもよい。このセンサ部３３は、各センサで検出した音声信号や、ユーザが触れた位置を表す情報、加速度の情報等を、制御部３１に出力する。

【0022】

表示部３４は、液晶ディスプレイ等であり、制御部３１から入力される指示に従って画像データを表示する。本実施の形態の一例では、表示部３４は、目や口の画像データを用いて、キャラクタの表情を表示する。音声出力部３５は、スピーカー等であり、制御部３１から入力される音声信号に従って音声を鳴動する。

【0023】

通信部３６は、ネットワークインタフェースを含む。この通信部３６は、無線または有線にてネットワークを介してサーバ１０との間で情報を送受する。具体的に通信部３６は、制御部３１から入力される指示に従って、サーバ１０に対してリクエスト情報等を送出する。また、この通信部３６は、サーバ１０から受信した情報を制御部３１に出力する。

【0024】

駆動部３７は、制御部３１から入力される指示に従い、脚部２１に対して本体部２２を回転するようアクチュエータを駆動する。

【0025】

次に、本実施の形態のサーバ１０の制御部１１の動作について説明する。本実施の形態では、このサーバ１０の制御部１１は、図３に例示するように、受信部４１と、アクション情報生成部４２と、指示送信部４３とを含んで構成される。

【0026】

受信部４１は、端末装置２０からリクエスト情報を受信する。本実施の形態では、サーバ１０は、端末装置２０にて実行するべき処理（アクション）を要求するリクエスト情報を、当該端末装置２０から受け入れる。このリクエスト情報には、アクションの要求の原因（トリガ）を特定する情報を含む。トリガの種類については後述するが、例えばユーザによる音声の入力等がその一例となる。ユーザによる音声入力があったとのトリガに基づく上記リクエスト情報には、当該トリガを特定する情報とともに、ユーザにより入力された音声の内容を表す情報が含まれてもよい。ここでユーザにより入力された音声の内容を表す情報は、音声を認識した結果である文字列情報でよい。

【0027】

受信部４１は、ここで受け入れたリクエスト情報に含まれる、トリガを特定する情報や、ユーザにより入力された音声の内容を表す文字列情報等を、アクション情報生成部４２に出力する。

【0028】

アクション情報生成部４２は、受信部４１から入力される情報に基づいて端末装置２０が実行するべきアクションを決定し、当該アクションを指示する情報（アクション指示）と、アクションの実行に必要となる情報（以下、パラメータ情報と呼ぶ）とを含むアクション情報を生成して指示送信部４３に出力する。

【0029】

本実施の形態の一例では、サーバ１０の記憶部１２には、端末装置２０への指示を生成するための情報として、図４に例示するように、トリガを特定する情報（Ｔ）と、ユーザにより入力された音声の内容を表す情報と比較する情報（Ｖ、以下、比較文字列情報と呼ぶ。ただしこの比較文字列情報は、トリガの種類によってはなくてもよい）と、アクション情報の生成のためにサーバ１０が実行する処理を表す情報（Ｓ）とを互いに関連づけたレコード（Ｒ）を少なくとも一つ含む、アクションデータベースが格納されているものとする。

【0030】

アクション情報生成部４２は、受信部４１から入力されるトリガを特定する情報（Ｔ）に関連付けられた、比較文字列情報（Ｖ、あれば）とアクション情報の生成のためにサーバ１０が実行するべき処理を表す情報とを取得する。

【0031】

そしてアクション情報生成部４２は、比較文字列情報が取得されていれば、受信部４１が出力する文字列情報と当該比較文字列情報とを比較する。そして、アクション情報生成部４２は、受信部４１が出力する文字列情報が比較文字列情報に一致していると判断すると、取得した情報が表す処理を実行して、アクション情報を生成する。

【0032】

また、アクション情報生成部４２は、比較文字列情報が取得されていなければ、上記取得した情報が表す処理を実行して、アクション情報を生成する。

【0033】

具体的な例として、ここではアクションデータベースには、「ユーザによる音声入力があった」旨のトリガを特定する情報と、ユーザにより入力された音声の内容を表す情報と比較するべき比較文字列情報として「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」などといった文字列の情報とに「ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得し、当該文字列情報を読み上げるよう指示する」との情報を関連付けたレコードが記録されているものとする。

【0034】

なお、ここで比較文字列情報は、いわゆる正規表現で表されているものとする。上記の例では、「＊」は、空白を含む任意の文字に合致する正規表現であり、［Ａ｜Ｂ｜…］は、Ａ，Ｂ…のいずれかに合致する正規表現である。従って上記の文字列は、
「今日のニュースを教えて」や、
「何かニュースはない？」
といった文字列情報に合致することとなる。

【0035】

アクション情報生成部４２は、例えば受信部４１から「ユーザによる音声入力があった」旨のトリガを特定する情報と、ユーザにより入力された音声の内容を表す情報として「何かニュースはない？」といった文字列情報との入力を受け入れると、当該トリガを特定する情報を含むレコードをアクションデータベースから検索する。

【0036】

ここではアクション情報生成部４２は、上記のレコードをアクションデータベースから見出すこととなり、当該レコードに含まれる、比較文字列情報と、受け入れた文字列情報とを比較する。上記の例では受け入れた文字列情報「何かニュースはない？」が、比較文字列情報「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」に合致すると判断されるので、アクション情報生成部４２は、検索で見出した上記のレコードに含まれる、サーバ１０が実行するべき処理を表す情報、
「（ステップ１）ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得する、
（ステップ２）当該文字列情報を読み上げる指示を生成
（ステップ３）読み上げのときに再生するアニメーション情報を表示させる指示を生成する」を取得して、この情報に従った処理を実行する。

【0037】

なお、本実施の形態において特徴的なことの一つは、並行して行われるアクション処理の実行中に表示するアニメーション情報を、少なくとも、
（１）実行開始の時点
（２）実行中
（３）実行終了の時点
の３つのタイミングに分けて指定することである。

【0038】

すなわちアクション情報生成部４２は、この読み出した情報に従って、インターネット上の所定のウェブサーバからニュースの文字列情報を取得する。またアクション情報生成部４２は、並列して行われるアクション処理の実行開始の時点で表示するべきアニメーションの画像データと、実行中に表示するべきアニメーションの画像データと、実行終了の時点で表示するべきアニメーションの画像データとをそれぞれ特定する情報（各画像データのファイル名でよい）を含むアニメーション情報の表示指示を生成する。

【0039】

そしてこの例では、アクション情報生成部４２は、アクション指示とパラメータ情報とを含んだアクション情報を生成して指示送信部４３に出力する。ここでアクション指示には、文字列情報を読み上げるべき旨の指示と、アニメーション情報の表示指示とを含む。また、パラメータ情報には、上記取得した文字列情報と、アニメーションの画像データを特定する情報とを含む。

【0040】

指示送信部４３は、アクション情報生成部４２が生成したアクション情報を、受信部４１が受信したリクエスト情報の送信元である端末装置２０に対して送出する。

【0041】

次に、端末装置２０の制御部３１の動作について説明する。本実施の形態では、制御部３１は、図５に例示するように、リクエスト送出部５１と、アクション情報受信部５２と、音声合成部５３と、アクション処理実行部５４とを機能的に含んで構成される。

【0042】

リクエスト送出部５１は、予め定められたトリガが発生したと判断すると、サーバ１０での処理に必要な情報を収集して、当該トリガを特定する情報とともに、当該収集した情報を含むリクエスト情報をサーバ１０へ送出する。具体的にここでは、ユーザにより音声が入力されたことや、所定の時刻になったなどといったトリガを予め列挙して、設定情報に含め、記憶部３２に格納しておく。

【0043】

一例として設定情報には、図６に例示するように、トリガごとに、それぞれの名称（トリガ名：Ｎ）に対して発生条件（Ｃ）や当該トリガに関係してサーバ１０での処理に必要な情報を特定する情報（Ｐ）、インターバル時間（Ｔ）等のトリガの処理に関わる情報に関連付けて列挙して記録されているものとする。

【0044】

リクエスト送出部５１は、この設定情報を参照して、発生条件が満足されたと判断すると、当該発生条件が満足されたトリガが発生したとして、当該トリガに関係してサーバ１０での処理に必要な情報（Ｐ）を参照する。

【0045】

そしてリクエスト送出部５１は、当該参照した情報で特定される、サーバ１０での処理に必要な情報を収集し、当該収集した情報と、発生したトリガを特定する情報（トリガ名でよい）とを含むリクエスト情報を、サーバ１０へ送出する。

【0046】

アクション情報受信部５２は、サーバ１０からアクション情報を受信して、当該受信したアクション情報を、アクション処理実行部５４に出力する。

【0047】

音声合成部５３は、後に説明するアクション処理実行部５４から入力される文字列情報に基づいて、音声データを合成する。この音声合成部５３は、合成して得られた音声データを、アクション処理実行部５４に出力する。

【0048】

アクション処理実行部５４は、サーバ１０が送出したアクション情報から、アクション指示とパラメータ情報とを取り出し、アクション指示に従って処理を実行する。具体的に、上述の例のように、当該取得した文字列情報を読み上げるべき旨の指示と、上記アニメーション情報の表示指示とを含むアクション指示、及び、取得した文字列情報と、アニメーションの画像データとを含むパラメータ情報を含んだアクション情報を、アクション情報受信部５２が受信した場合について説明する。

【0049】

この例ではアクション処理実行部５４は、取得した文字列情報を音声合成部５３に出力して、音声データを取得する。アクション処理実行部５４は、取得した音声データの再生時間ＴＶの情報を求める。この情報は、合成された音声データのエンコードの種別や、サンプリングレートなどの情報に基づいて公知の方法で演算できるので、ここでの詳しい説明は省略する。

【0050】

またここでアクション処理実行部５４は、当該求められた音声データの再生時間ＴＶに基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する。本実施の形態のここでの例では、音声データの再生と並行してアニメーションの画像データの表示が行われるので、アクション処理実行部５４は、アニメーションの表示の継続時間を制御することとなる。

【0051】

具体的に、ここではアニメーションの画像データとして、並列して行われるアクション処理である、音声データの再生開始の時点で表示するべきアニメーションの画像データＦＳと、音声データの再生中に表示するべきアニメーションの画像データＦＩと、音声データの再生終了の時点で表示するべきアニメーションの画像データＦＥとをそれぞれ特定する情報がアクション情報に含まれているので、アクション処理実行部５４は、これらのアニメーションの画像データを用いて次のように処理を行う。

【0052】

まず、アクション処理実行部５４は、アクション情報に含まれる情報で特定されるアニメーションの画像データＦＳ，ＦＩ，ＦＥを記憶部３２から読み出す。これらの画像データのうち、画像データＦＳが本発明の開始アニメーションに、画像データＦＩが本発明の中間アニメーションに、画像データＦＥが本発明の終了アニメーションをそれぞれ実現している。アクション処理実行部５４は、ここで画像データＦＳ，ＦＥのそれぞれの再生時間（アニメーションの継続時間）の情報ＴFS，ＴFEを取得する。そしてアクション処理実行部５４は、次のように画像データの再生方法を定める。すなわち、アクション処理実行部５４は、
（１）音声データの再生開始の時点で表示するべきアニメーションの画像データＦＳの再生時間ＴFSよりも、音声データの再生時間ＴＶが短いならば（ＴFS≧ＴＶならば）、画像データＦＳのみを再生することとする。
（２）また、アクション処理実行部５４は、音声データの再生時間ＴＶが、画像データＦＳの再生時間ＴFSを超え、かつ、画像データＦＳの再生時間ＴFSと、音声データの再生終了の時点で表示するべきアニメーションの画像データＦＥの再生時間ＴFEとの和（ＴFS＋ＴFE）よりも、音声データの再生時間ＴＶが短いならば（ＴFS＋ＴFE≧ＴＶならば）、画像データＦＳと画像データＦＥとを続けて再生することとする。
（３）さらにアクション処理実行部５４は、音声データの再生時間ＴＶが、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和（ＴFS＋ＴFE）を超えるならば（ＴFS＋ＴFE＜ＴＶならば）、時間ＴＩ＝ＴＶ－（ＴFS＋ＴFE）、つまり、音声データの再生時間から、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和を差し引いて求められる時間ＴＩを求める。アクション処理実行部５４は、そして、このときには、画像データＦＳを再生した後、音声データの再生中に表示するべきアニメーションの画像データＦＩを時間ＴＩだけ再生し、続けて画像データＦＥを再生することとする。ここで、画像データＦＩの再生時間ＴFIが、上記時間ＴＩより短い場合は画像データＦＩを繰り返し再生することとする。

【0053】

アクション処理実行部５４は、音声合成部５３が出力した音声データを、音声出力部３５に出力して、音声を鳴動させるとともに、上記決定した再生方法に従って、表示部３４に画像データを出力して、アニメーションの画像データを再生する。

【0054】

これにより、この例のアクション処理実行部５４は、音声データの再生時間に基づいて、開始アニメーションである画像データＦＳと、中間アニメーションである画像データＦＩと、終了アニメーションである画像データＦＥとのそれぞれの再生時間を制御することとなる。

【0055】

［動作］
本実施の形態の情報処理システムは、以上の構成を備えており、次の例のように動作する。なお以下の例ではサーバ１０の記憶部１２には、アクションの要求の原因であるトリガごとに、アクション情報の生成のためにサーバ１０が実行する処理を表す情報が関連付けられて、アクションデータベースとして格納されているものとする。

【0056】

以下の例では、このアクションデータベースに含まれる情報の例として、図４に例示したように、
・トリガを特定する情報（Ｔ）：ユーザによる音声入力があった
・比較文字列情報（Ｖ）：「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」
・実行する処理：
（ステップ１）ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得する、
（ステップ２）当該文字列情報を読み上げる指示を生成
（ステップ３）読み上げのときに再生するアニメーション情報を表示させる指示を生成する
との情報が含まれるものとする。

【0057】

また、端末装置２０の記憶部３２は、設定情報として、図６に例示したように、トリガごとに、発生条件（Ｃ）や当該トリガに関係してサーバ１０での処理に必要な情報を特定する情報（Ｐ）等を関連付けて格納している。

【0058】

以下の例では、この設定情報に、
・トリガを特定する情報（トリガ名Ｎ）：ユーザによる音声入力があった
・発生条件（Ｃ）：ユーザが所定のウェイクワードを発声した
・サーバ１０での処理に必要な情報を特定する情報（Ｐ）：
ユーザが発話した内容の文字列情報
…
といった情報が含まれるものとする。ここでウェイクワードとは、ユーザがその語を発話したときに、音声入力の開始として認識するべき、「ねえ聞いてよ」や「起きてよ」等の語であり、予め定められているものとする。端末装置２０は、サーバ１０での処理に必要となるユーザが発話した内容の文字列情報から、このウェイクワードに相当する文字列部分を除いてもよい。

【0059】

以下、このような設定の情報等を保持するサーバ１０と、端末装置２０との動作について、図７，図８を参照しながら説明する。まず、図７に例示するように、ユーザが、端末装置２０に対して「起きてよ。何かニュースないかな」と発話する（Ｓ１１）と、端末装置２０はこのユーザの音声を認識する処理を実行して（Ｓ１２）、「起きてよ。何かニュースないかな」との文字列情報を取得する。既に述べたように、音声認識の処理は端末装置２０自身が行わなくても、ネットワークを介して音声認識処理のサービスにアクセスすることで行ってもよい。

【0060】

端末装置２０は、設定情報を参照して、いずれかのトリガの発生条件が満足されたかを調べる（Ｓ１３）。ここでは、ユーザがウェイクワードである「起きてよ」を発声しているので、「ユーザによる音声入力があった」旨のトリガが発生したものとして（Ｓ１３：Ｙｅｓ）、設定情報に従い、ユーザが発話した内容の文字列情報を収集する。なお、ステップＳ１３において、いずれのトリガの発生条件も満足していないと判断すると（Ｓ１３：Ｎｏ）、端末装置２０は処理を終了する。

【0061】

ここでは、ユーザが発話した内容は既にステップＳ１２にて、ユーザが発話した内容の文字列情報を取得しているので、端末装置２０は、当該文字列情報と、発生したトリガを特定する情報（トリガ名「ユーザによる音声入力があった」）とを含むリクエスト情報をサーバ１０宛に送出する（Ｓ１４）。

【0062】

サーバ１０では端末装置２０からのリクエスト情報を受信し、記憶部１２に格納している情報から、当該リクエスト情報に含まれるトリガを特定する情報「ユーザによる音声入力があった」に関連付けられた、比較文字列情報（Ｖ）と、アクション情報の生成のためにサーバ１０が実行するべき処理を表す情報とを取得する（Ｓ１５）。

【0063】

サーバ１０は、比較文字列情報「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」と、受信した文字列情報「起きてよ。何かニュースないかな」とを比較して一致しているか否かを判断する（Ｓ１６）。ここで仮に一致していないと判断したとき（Ｓ１６：Ｎｏ）には、サーバ１０は処理を終了する。

【0064】

ここでの例では、受信した文字列情報「起きてよ。何かニュースないかな」が比較文字列情報「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」に一致するため、サーバ１０は、ステップＳ１６で比較文字列情報と受信した文字列情報とが一致したと判断し（Ｓ１６：Ｙｅｓ）、ステップＳ１５で取得した情報で特定される処理を開始する。

【0065】

すなわちサーバ１０は、インターネット上の所定のウェブサーバからニュースの文字列情報を取得する（Ｓ１７）。またサーバ１０は、並列して行われるアクション処理の実行開始の時点で表示するべきアニメーションの画像データＦＳと、実行中に表示するべきアニメーションの画像データＦＩと、実行終了の時点で表示するべきアニメーションの画像データＦＥとをそれぞれ特定する情報を含むアニメーション情報の表示指示を生成する（Ｓ１８）。

【0066】

そしてサーバ１０は、ステップＳ１７で取得した文字列情報を読み上げるべき旨の指示と、ステップＳ１８で生成したアニメーション情報の表示指示とを含むアクション情報を、端末装置２０へ送出する（Ｓ１９）。

【0067】

アクション情報を受信した端末装置２０は、図８に例示するように、受信したアクション情報に含まれる文字列情報を音声合成して、音声データを取得する（Ｓ２１）。

【0068】

そして端末装置２０は、当該取得した音声データの再生時間ＴＶの情報を求める（Ｓ２２）。また端末装置２０は、アクション情報に含まれる情報で特定されるアニメーションの画像データＦＳ，ＦＩ，ＦＥを記憶部３２から読み出し、画像データＦＳ，ＦＥのそれぞれの再生時間（アニメーションの継続時間）の情報ＴFS，ＴFEを取得する（Ｓ２３）。

【0069】

端末装置２０は、ステップＳ２２で求めた音声データの再生時間ＴＶと、ステップＳ２３で取得した画像データＦＳ，ＦＥのそれぞれの再生時間（アニメーションの継続時間）の情報ＴFS，ＴFEとを用いて、音声データの再生開始の時点で表示するべきアニメーションの画像データＦＳの再生時間ＴFSよりも、音声データの再生時間ＴＶが短いか否か（ＴFS≧ＴＶであるか）を判断する（Ｓ２４）。

【0070】

ここで、ＴFS≧ＴＶであれば（Ｓ２４：Ｙｅｓ）、端末装置２０は、画像データＦＳのみを再生することとして、ステップＳ２１で取得した音声データを音声出力部３５に出力して鳴動しつつ、画像データＦＳを再生したアニメーションを表示部３４に表示する（Ｓ２５）。

【0071】

この例では、図９（ａ）に示すように、音声データの再生（ＴＶ）がアニメーションの表示（ＴFS）に係る時間以下の期間内に終了することとなる。

【0072】

またステップＳ２４でＴFS≧ＴＶでなければ（Ｓ２４：Ｎｏ）、端末装置２０は、音声データの再生時間ＴＶが、画像データＦＳの再生時間ＴFSを超え、かつ、画像データＦＳの再生時間ＴFSと、音声データの再生終了の時点で表示するべきアニメーションの画像データＦＥの再生時間ＴFEとの和（ＴFS＋ＴFE）よりも、音声データの再生時間ＴＶが短いか否か（ＴFS＋ＴFE≧ＴＶか否か）を調べる（Ｓ２６）。

【0073】

ここでＴFS＋ＴFE≧ＴＶであれば（Ｓ２６：Ｙｅｓ）、端末装置２０は、画像データＦＳと画像データＦＥとを続けて再生することとして、ステップＳ２１で取得した音声データを音声出力部３５に出力して鳴動しつつ、画像データＦＳを再生したアニメーションを表示部３４に表示し、画像データＦＳの再生が終了すると、続けて画像データＦＥを再生したアニメーションを表示部３４に表示する（Ｓ２７）。

【0074】

この例では、図９（ｂ）に示すように、音声データの再生期間（ＴＶ）が画像データＦＳのアニメーションの表示（ＴFS）に係る時間を超え、その後、画像データＦＥのアニメーションが表示されている間（ＴFE）まで、音声データの再生が継続することとなる。

【0075】

またステップＳ２６でＴFS＋ＴFE≧ＴＶでなければ（Ｓ２６：Ｎｏ）、つまり音声データの再生時間ＴＶが、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和（ＴFS＋ＴFE）を超えるならば（ＴFS＋ＴFE＜ＴＶならば）、端末装置２０は、時間ＴＩ＝ＴＶ－（ＴFS＋ＴFE）、つまり、音声データの再生時間から、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和を差し引いて求められる中間アニメーションの表示時間ＴＩを求める（Ｓ２８）。

【0076】

端末装置２０は、ステップＳ２１で取得した音声データを音声出力部３５に出力して鳴動しつつ、画像データＦＳを再生したアニメーションを表示部３４に表示し、画像データＦＳの再生が終了すると、続けてステップＳ２８で求めた表示時間ＴＩの間だけ、画像データＦＩを再生する（Ｓ２９）。ここで画像データＦＩの一回の再生時間ＴFIが、上記時間ＴＩより短い場合は、端末装置２０は、画像データＦＩを繰り返し再生する。

【0077】

そして画像データＦＩの再生開始からステップＳ２７で求めた表示時間ＴＩが経過したところで、端末装置２０は、画像データＦＩの再生を終了し（途中であれば中断してもよい）、続けて画像データＦＥを再生したアニメーションを表示部３４に表示する（Ｓ２９）。

【0078】

この例では、図９（ｃ）に示すように、画像データＦＳのアニメーションの表示（ＴFS）が行われ、その後、画像データＦＩが時間ＴＩ＝ＴＶ－（ＴFS＋ＴFE）の間、繰り返して再生される。そしてその後、画像データＦＥのアニメーションが表示される。音声データは、これら３つの画像データが再生されている間、継続して再生される。

【0079】

このように本実施の形態によると、端末装置２０側の処理で決定される音声再生の時間に合わせてアニメーションの表示時間が調整されることとなる。

【0080】

［トリガに対する他のアクション］
また本実施の形態の端末装置２０は、トリガに対するアクションの処理を、
（１）トリガが発生した時点で実行する処理（トリガ発生時処理と呼ぶ）
（２）サーバ１０から受信したアクション情報に基づく処理（応答処理と呼ぶ）
（３）受信したアクション情報に基づく処理の実行後に実行する処理（後処理と呼ぶ）
との各段階の処理に分けて実行してもよい。

【0081】

この例では端末装置２０の制御部３１は、リクエスト送出部５１としての動作を行う際、いずれかのトリガが発生した場合に、当該トリガを特定する情報に関連付けて予め設定されたトリガ発生時処理があれば、当該トリガ発生時処理を特定する情報を、アクション処理実行部５４に出力する。また、リクエスト送出部５１は当該トリガに関係してサーバ１０での処理に必要な情報（Ｐ）を参照し、当該参照した情報で特定される、サーバ１０での処理に必要な情報を収集する。そしてリクエスト送出部５１は、当該収集した情報と、発生したトリガを特定する情報とを含むリクエスト情報を、サーバ１０へ送出する。

【0082】

アクション処理実行部５４はリクエスト送出部５１から入力された情報で特定されるトリガ発生時処理を実行する。ここで実行するトリガ発生時処理は、例えば、目を上に向けたキャラクタの表情を表すアニメーションを表示する処理であってもよい。この場合、サーバ１０に問い合わせている間、キャラクタの目が上に向いたアニメーションが表示され、キャラクタ（端末装置２０）があたかも考えているかのような印象をユーザに与えるとともに、サーバ１０との通信中であることをユーザに知らせることが可能となる。

【0083】

アクション処理実行部５４は、その後、サーバ１０から受信したアクション情報の入力を、アクション情報受信部５２から受け入れると、このトリガ発生時処理を終了する。そしてアクション処理実行部５４は、応答処理として、サーバ１０から受信したアクション情報に基づく処理を実行する。この応答処理の例は、既に述べたように、音声データの合成や、その再生時間の情報に基づくアニメーションの再生処理等である。

【0084】

さらにアクション処理実行部５４は、応答処理の終了後に、予め定められた後処理実行条件を参照し、後処理を実行するか否かを判断する。この後処理実行条件は例えば、応答処理において、実行終了の時点で表示するべきアニメーションの画像データＦＥが再生されていないこと（つまり、表示しているキャラクタの表情が予め定められたデフォルトの表情となっていないこと）、などとして、応答処理において実行された処理の内容との関係で定められてもよい。

【0085】

アクション処理実行部５４は、後処理を実行すると判断すると、予め定められた後処理を実行する。この後処理は、後処理実行条件ごとに、後処理実行条件に関連付けて定められてもよい。このようにすると、後処理実行条件ごとに異なる後処理を実行させることが可能となる。

【0086】

この後処理は例えば、キャラクタのデフォルトの表情を表す画像データ（デフォルト画像データ）を表示する処理などとする。

【0087】

なお、本実施の形態では、デフォルト画像データが予め用意され、端末装置２０の記憶部３２に格納されていてもよい。このデフォルト画像データは例えば口を閉じた状態のキャラクタの表情に対応するものとしておく。

【0088】

また本実施の形態のある例では、応答処理の実行中、脚部２１に対する本体部２２の向きを変更して、例えば本体部２２の正面（表示部３４の面）がやや上方を向くように制御してもよい。この例の場合、後処理では、脚部２１に対する本体部２２の向きを、所定のデフォルトの向きとなるよう制御する。これによると、端末装置２０の発話中、キャラクタの表情を表示する表示部３４がやや上方を向き、ユーザに向き合うように制御され、その後発話が終了すると、元の位置へ戻ることとなる。

【0089】

［複数の中間アニメーション］
また、本実施の形態の情報処理システム１では、中間アニメーションである画像データＦＩは、一つだけでなくてもよい。開始時に再生される画像データＦＳに続いて、処理の実行中に再生される画像データＦＩが複数指定される例では、端末装置２０は、次のように動作する。

【0090】

すなわち端末装置２０は、この例において音声データの再生時間ＴＶが、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和（ＴFS＋ＴFE）を超えるならば（ＴFS＋ＴFE＜ＴＶならば）、画像データＦＳの再生時間ＴFSと画像データＦＥの再生時間ＴFEとの和を差し引いて求められる中間アニメーションの表示時間ＴＩを求める。

【0091】

そして端末装置２０は、求めた表示時間ＴＩの間だけ、中間アニメーションとして指定された複数の画像データＦＩのいずれかを選択して再生する処理を繰り返す。

【0092】

具体的に端末装置２０は、音声データの再生開始とともに画像データＦＳのアニメーションの表示を開始し、画像データＦＳの再生が終了した後、タイマー（不図示）を「０」に設定して計時を開始し、指定された複数の画像データＦＩのうち一つを所定の条件で（例えばランダムに）選択して再生する。

【0093】

端末装置２０は、この再生が終了すると、タイマーを参照しその計時時間が求めた表示時間ＴＩを超えていなければ、指定された複数の画像データＦＩのうち一つを所定の条件で（例えばランダムに）選択して再生する処理を繰り返す。

【0094】

また端末装置２０は、ある画像データＦＩの再生が終了した時点で、タイマーの計時時間が求めた表示時間ＴＩを超えていれば、続いて終了アニメーションである画像データＦＥを再生する。

【0095】

なお、複数の画像データＦＩを、例えばそれぞれＡ，Ｅ，Ｉ，Ｏ，Ｕの音を発音しているときのキャラクタの口の形の変化を表すアニメーションの画像とし、上記選択の条件をランダムでなく、例えば画像データＦＩを選択する時点で再生されている音声データの母音の音に基づいて対応する母音を発音しているときの口の形の変化を表すアニメーションの画像に対応する画像データＦＩを選択することとしてもよい。

【0096】

この例によると、発音されている母音に合わせてキャラクタの口の形が変化するアニメーションが表示されるため、より自然な印象をユーザに与えることが可能となる。

【0097】

［音声ファイルの再生］
また、本実施の形態のここまでの説明では、サーバ１０がアクション情報に含めて送出した文字列情報に基づき、端末装置２０が音声を合成することとしていたが、本実施の形態はこれに限られない。

【0098】

本実施の形態の一例ではサーバ１０は、端末装置２０で音声合成の対象とする文字列情報に代えて、あるいは文字列情報とともに、音声データそのものを送出してもよい。またこの音声データはサーバで音声合成したものであってもよいし、楽曲や効果音等の音声データであってもよい。この例では、端末装置２０は、サーバ１０から音声データを含むアクション情報を受信することとなる。

【0099】

端末装置２０は、アクション処理実行部５４としての動作において、サーバ１０が送出したアクション情報から取り出したパラメータ情報に、音声データが含まれる場合は、他に音声合成の対象となる文字列情報が含まれていても、当該アクション情報から取り出した音声データの再生時間ＴＶの情報を求めることとする。この情報もまた、合成された音声データのエンコードの種別や、サンプリングレートなどの情報に基づいて公知の方法で演算できる。

【0100】

そしてアクション処理実行部５４は、既に述べた例のように、合成した音声データの再生時間に代えて、当該アクション情報から取り出した音声データの再生時間ＴＶに基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する。この制御の方法は、既に述べた例と同様であるので、繰り返しての説明は省略する。

【0101】

あるいは、端末装置２０は、アクション処理実行部５４としての動作において、サーバ１０が送出したアクション情報から取り出したパラメータ情報に、音声データと、音声合成の対象となる文字列情報とが含まれる場合、次のように処理を行ってもよい。すなわち端末装置２０は、当該アクション情報から取り出した音声データの再生時間ＴＶ１の情報を求めるとともに、取り出した文字列情報を音声合成部５３に出力し、合成された音声データを取得し、その再生時間ＴＶ２の情報を求める。

【0102】

そしてアクション処理実行部５４は、アクション情報から取り出した音声データの再生時間ＴＶ１と、端末装置２０にて合成した音声データの再生時間ＴＶ２とのうちいずれか長い方の再生時間ＴＶを選択して用い、既に述べた例と同様、当該選択した再生時間ＴＶに基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する。この制御の方法も、既に述べた例と同様であるので、繰り返しての説明は省略する。

【0103】

［端末装置に格納されたアクション情報］
上述の例では、アクション情報はサーバ１０が生成して送出するものとしていたが本実施の形態はこれに限られず、端末装置２０はサーバ１０から受信するアクション情報のほか、端末装置２０内に予めアクション情報を保持していてもよい。この例では、端末装置２０は保持しているアクション情報に含まれる文字列情報に基づいて音声合成を行い、合成された音声データを再生してもよい。

【0104】

この例によると、サーバ１０との通信が必要ないので、端末装置２０がすぐに音声を再生できる。

【0105】

［アニメーション以外の処理］
また、ここまでの説明では、端末装置２０が自身で合成した音声データの再生時間に応じて、並行して再生するアニメーションの再生時間を制御する例について説明したが、本実施の形態はこれに限られず、例えば、音声データの再生と並行して、アクチュエータを制御して脚部２１に対する本体部２２の回動制御を行う場合、端末装置２０が自身で合成した音声データの再生時間に応じて、当該回転制御の継続時間を制御してもよい。

【0106】

この場合も、回動制御の内容を、音声データの再生開始の時点に行う制御である開始時制御（例えば右方向へ１０度回転、など）と、その後引き続いて音声データの再生中に行う中間制御（例えば左方向へ２０度、次に右方向へ２０度、など）と、音声データの再生終了時に行う終了時制御（例えば左方向へ１０度、など）とに制御の内容（制御の指示）を分けておく。そして端末装置２０は、音声データの再生時間に応じて、開始時制御に要する時間よりも短いならば開始時制御のみを行い、開始時制御と終了時制御との双方を行う時間より短いが、開始時制御に要する時間よりも長いならば開始時制御と終了時制御とを行うよう制御する。

【0107】

また端末装置２０は、開始時制御と終了時制御との双方を行う時間よりも、合成して得た音声データの再生時間が長ければ、まず開始時制御を行った上で、次に中間制御を所定の時間だけ継続して（中間制御に要する時間より当該所定の時間が長いならば中間制御を複数回繰り返して行い）、その後終了時制御を実行する。ここで所定の時間は、合成して得た音声データの再生時間から開始時制御と終了時制御との双方を行う時間を差し引いた時間とする。

【0108】

この例によると、アニメーション以外であっても、端末装置２０における制御動作の継続時間を、合成した音声データの再生時間の長さに応じて調整でき、自然な動きを実現できる。

【0109】

［実施形態の構成・効果］
本実施の形態の情報処理システムは、互いに通信可能に接続されたサーバと端末装置とを含む情報処理システムであって、前記サーバは、前記端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を、前記端末装置へ送信する送信手段を含み、前記端末装置は、前記サーバからアクション情報を受信する受信手段と、前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、を含む。これにより、文字列情報に基づいて端末装置で再生する音声に合わせて実行するアクションを、柔軟に調整可能となる。

【0110】

また本実施の形態の端末装置は、サーバとの間で通信可能に接続される端末装置であって、前記サーバから、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を受信する受信手段と、前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、を含む。

【0111】

このように、端末装置が自身で合成した音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御するので、端末装置が自身で合成した音声の長さに応じて処理を調整できる。

【0112】

ここで前記実行手段は、前記受信したアクション情報が所定の音声データの指定を含む場合は、前記合成された音声データの再生時間を表す第１の再生時間と、前記所定の音声データの再生時間を表す第２の再生時間のうち長い方に基づいて、前記アクションの継続時間を制御することとしてもよい。

【0113】

この場合、音声合成の対象となる文字列情報とともに音声データが受け入れられた場合、合成して得た音声データと、受信した音声データとのどちらを再生することとしても、再生する音声の長さに応じて処理を調整できる。

【0114】

また前記実行手段は、前記音声データの再生中に、少なくともアニメーションの再生を行い、前記音声データの再生時間に基づいて、前記音声データとともに再生するアニメーションの継続時間を制御する。

【0115】

これにより、端末装置が自身で合成した音声の長さに応じてアニメーションの再生処理の継続時間を調整できる。

【0116】

具体的な例として、前記アニメーションは、開始アニメーションと、中間アニメーションと、終了アニメーションとを含む複数の部分アニメーションを含み、前記実行手段は、前記音声データの再生時間に基づいて、前記開始アニメーションと、前記中間アニメーションと、前記終了アニメーションのそれぞれの再生時間を制御することとしてもよい。これにより、合成した音声の長さに応じてアニメーションの再生処理の継続時間を調整できる。

【0117】

このとき前記実行手段は、前記音声データの再生時間が、前記開始アニメーションの再生時間以内であれば、前記音声データの再生中に、前記開始アニメーションを再生する。

【0118】

また前記実行手段は、前記音声データの再生時間が、前記開始アニメーションの再生時間を超え、前記開始アニメーションと終了アニメーションとの再生時間の和以下の時間であれば、前記音声データの再生中に、前記開始アニメーションと終了アニメーションとを再生する。

【0119】

さらに前記実行手段は、前記音声データの再生時間が、前記開始アニメーションと終了アニメーションとの再生時間の和を超える場合は、前記音声データの再生中、前記開始アニメーションを再生した後、前記音声データの再生時間から、前記開始アニメーションと終了アニメーションとの再生時間の和を差し引いて求められる時間だけ前記中間アニメーションを再生する処理を繰り返し、その後、前記終了アニメーションを再生する。

【0120】

これらの処理によると、端末装置が自身で合成した音声の長さに応じてアニメーションの再生処理の継続時間が調整される。

【0121】

また別の例では、前記アニメーションは、開始アニメーションと、少なくとも一つの中間アニメーションと、終了アニメーションとを含む複数の部分アニメーションを含み、前記実行手段は、前記音声データの再生時間が、前記開始アニメーションの再生時間以内であれば、前記音声データの再生中に、前記開始アニメーションを再生し、前記音声データの再生時間が、前記開始アニメーションの再生時間を超え、前記開始アニメーションと終了アニメーションとの再生時間の和以下の時間であれば、前記音声データの再生中に、前記開始アニメーションと終了アニメーションとを再生し、前記音声データの再生時間が、前記開始アニメーションと終了アニメーションとの再生時間の和を超える場合は、前記音声データの再生中、前記開始アニメーションを再生した後、前記音声データの再生時間から、前記開始アニメーションと終了アニメーションとの再生時間の和を差し引いて求められる時間だけ前記中間アニメーションのいずれかを選択して再生する処理を繰り返し、その後、前記終了アニメーションを再生する。

【0122】

この処理によると、端末装置が自身で合成した音声の長さに応じてアニメーションの再生処理の継続時間が調整される。

【0123】

また本実施の形態の一態様は、サーバとの間で通信可能に接続される端末装置の制御方法であって、受信手段が、前記サーバから、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報を受信し、音声合成手段が、前記受信したアクション情報に含まれる文字列情報に基づき、音声データを合成し、実行手段が、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する。これにより合成した音声の長さに応じて処理を調整できる。

【0124】

さらに本実施の形態の別の態様は、プログラムであって、端末装置を、端末装置にて実行されるアクションを指示するアクション指示と、発声される音声の内容を表す文字列情報とを含むアクション情報に含まれる文字列情報に基づき、音声データを合成する音声合成手段と、前記合成された音声データの再生時間に基づいて、音声データの再生と並行して実行するアクションの継続時間を制御する実行手段と、として機能させる。これにより合成した音声の長さに応じて処理を調整できる。

【符号の説明】

【0125】

１ 情報処理システム、１０ サーバ、１１ 制御部、１２ 記憶部、１３ 通信部、２０ 端末装置、２１ 脚部、２２ 本体部、３１ 制御部、３２ 記憶部、３３ センサ部、３４ 表示部、３５ 音声出力部、３６ 通信部、３７ 駆動部、４１ 受信部、４２ アクション情報生成部、４３ 指示送信部、５１ リクエスト送出部、５２ アクション情報受信部、５３ 音声合成部、５４ アクション処理実行部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】