特許 6201212 キャラクタ生成装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6201212

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】キャラクタ生成装置およびプログラム

(51)【国際特許分類】

   G06T 13/80 20110101AFI20170914BHJP

【ＦＩ】

   G06T13/80 B

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2013-200422(P2013-200422)

(22)【出願日】2013年9月26日

(65)【公開番号】特開2015-69231(P2015-69231A)

(43)【公開日】2015年4月13日

【審査請求日】2016年2月22日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】高山 伸也

(72)【発明者】

【氏名】酒澤 茂之

(72)【発明者】

【氏名】徐 建鋒

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開平１１−２４２７５１（ＪＰ，Ａ）

【文献】 鵜沼宗利，外１名，“コンピュータアニメーションにおける感情を伴った人間の歩行動作の生成方法”，電子情報通信学会論文誌，社団法人電子情報通信学会，１９９３年 ８月２５日，Ｖｏｌ．Ｊ７６−Ｄ−２，Ｎｏ．８，ｐ．１８２２−１８３１

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００ − １３／８０

Ｇ０６Ｔ １９／００ − １９／２０

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

感情を表現可能なキャラクタを生成するキャラクタ生成装置であって、
データを入力する入力部と、
入力されたデータに基づいて、前記キャラクタの表情または仕草を含む動作を決定し、前記動作を示す情報を出力する動作決定部と、
前記入力されたデータの感情分類を示す情報に基づいて、前記キャラクタの動作を示す情報に感情を示す情報を付与する感情付与部と、
前記入力されたデータが直前に生成した前記キャラクタの前記動作の表示または前記感情の表示に対応するフィードバックデータか否か判定するフィードバックデータ判定部と、
前記フィードバックデータに基づいて、前記動作を示す情報または前記感情を示す情報を更新する情報反映部と、を備えることを特徴とするキャラクタ生成装置。

【請求項2】

前記入力データの感情分類の強度を示す情報に基づいて、前記感情を示す情報が付与されたキャラクタの動作を示す情報を再生する際の動作の強弱を制御する強弱制御部を更に備えることを特徴とする請求項１記載のキャラクタ生成装置。

【請求項3】

入力された任意のデータの感情分類または前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする請求項１または請求項２記載のキャラクタ生成装置。

【請求項4】

前記感情を示す情報が付与されたキャラクタの動作を示す情報を再生するキャラクタ再生部を更に備えることを特徴とする請求項１から請求項３のいずれかに記載のキャラクタ生成装置。

【請求項5】

感情を表現可能なキャラクタを生成するプログラムであって、
入力されたデータに基づいて、前記キャラクタの表情または仕草を含む動作を決定し、前記動作を示す情報を出力する処理と、
前記入力されたデータの感情分類を示す情報に基づいて、前記キャラクタの動作を示す情報に感情を示す情報を付与する処理と、
前記入力されたデータが直前に生成した前記キャラクタの前記動作の表示または前記感情の表示に対応するフィードバックデータか否か判定する処理と、
前記フィードバックデータに基づいて、前記動作を示す情報または前記感情を示す情報を更新する処理と、の一連の処理を、コンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情を表現可能なキャラクタを生成するキャラクタ生成装置およびプログラムに関する。

【背景技術】

【0002】

従来から、マウスクリックやテキストデータなど、任意の入力情報に基づいて、キャラクタの表情を生成する技術が知られている。例えば、特許文献１に開示されている技術では、入力されたテキストデータを解析してセグメント毎に感情情報を付与し、付与された感情に対応するキャラクタを表情付で表示する。すなわち、この技術は、顔画像を構成する複数の顔部品画像を合成して特定の表情を生成する表情生成方法であり、複数の表情と、各表情に対応して顔部品画像毎に設定される所定の判断基準から構成される表情カテゴリ空間とを関連付けて格納し、表情カテゴリ空間での種々の表情に対応する各顔部品画像についての位置情報を格納する。そして、外部から入力される操作データと、表情カテゴリ空間にて設定される各表情とを関連付ける。

【0003】

また、特許文献２に開示されている技術では、利用者との自然な会話を通じて適切なサービス・情報の取捨選択を支援し、当該利用者にとって有益なサービス・情報の提供を支援する。すなわち、この技術は、キャラクタを介したインタフェースを介して利用者と対話を行うことができる。利用者から入力された対話は、対話認識部で認識され、利用者プロファイル情報として格納される。対話認識結果および利用者プロファイル情報がフィードバックされ、知識ベースを基に、対話文を生成し、利用者に対話を出力する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−３４２７６９号公報

【特許文献2】特開２００６−３２３８７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されている技術では、感情情報が付与されたキャラクタの表情は生成できるが、キャタクタの仕草までは生成できない。また、特許文献２に開示されている技術では、利用者との対話の認識結果を利用して利用者プロファイル情報を更新し、対話制御部へのフィードバックを行って、将来の対話分選択に反映させているが、生成するキャラクタは感情を持っておらず、キャラクタの感情生成部へのフィードバックについては考慮されていない。

【0006】

本発明は、このような事情に鑑みてなされたものであり、利用者との任意の入出力結果を、キャラクタの感情生成部にフィードバックし、将来のキャラクタ生成に反映させることができるキャラクタ生成装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のキャラクタ生成装置は、感情を表現可能なキャラクタを生成するキャラクタ生成装置であって、入力データに基づいて、前記キャラクタの表情または仕草を含む動作を決定し、前記動作を示す情報を出力する動作決定部と、前記入力データの感情分類を示す情報に基づいて、前記キャラクタの動作を示す情報に感情を示す情報を付与する感情付与部と、前記動作の表示または前記感情の表示に対応するフィードバックデータに基づいて、前記動作を示す情報または前記感情を示す情報を更新する情報反映部と、を備えることを特徴とする。

【0008】

このように、入力データに基づいて、キャラクタの表情または仕草を含む動作を決定し、動作を示す情報を出力し、入力データの感情分類を示す情報に基づいて、キャラクタの動作を示す情報に感情を示す情報を付与し、動作の表示または感情の表示に対応するフィードバックデータに基づいて、動作を示す情報または感情を示す情報を更新するので、利用者の反応を将来のキャラクタ生成に反映させることができる。また、感情が付与されたキャラクタの表情だけでなく、感情が付与されたキャタクタの仕草も生成することができる。

【0009】

（２）また、本発明のキャラクタ生成装置は、前記フィードバックデータを入力するフィードバック入力部を更に備えることを特徴とする。

【0010】

このように、フィードバックデータを入力するフィードバック入力部を更に備えるので、利用者の反応を将来のキャラクタ生成に反映させることができる。

【0011】

（３）また、本発明のキャラクタ生成装置は、前記入力データの感情分類の強度を示す情報に基づいて、前記感情を示す情報が付与されたキャラクタの動作を示す情報を再生する際の動作の強弱を制御する強弱制御部を更に備えることを特徴とする。

【0012】

このように、入力データの感情分類の強度を示す情報に基づいて、感情を示す情報が付与されたキャラクタの動作を示す情報を再生する際の動作の強弱を制御する強弱制御部を更に備えるので、キャラクタの表現力を向上させることが可能となる。

【0013】

（４）また、本発明のキャラクタ生成装置は、入力された任意のデータの感情分類または前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする。

【0014】

このように、入力された任意のデータの感情分類または前記感情分類の強度を解析する感情解析部を更に備えるので、メールや人間の行動等、会話では表現できない複雑な感情が連続的に入力された場合でも、感情が付与されたキャラクタを自動的に生成することができる。

【0015】

（５）また、本発明のキャラクタ生成装置は、任意のデータを入力するデータ入力部を更に備えることを特徴とする。

【0016】

このように、任意のデータを入力するデータ入力部を更に備えるので、任意のデータを用いてキャラクタを生成することが可能となる。

【0017】

（６）また、本発明のキャラクタ生成装置は、前記感情を示す情報が付与されたキャラクタの動作を示す情報を再生するキャラクタ再生部を更に備えることを特徴とする。

【0018】

このように、感情を示す情報が付与されたキャラクタの動作を示す情報を再生するキャラクタ再生部を更に備えるので、利用者に対して生成したキャラクタを視認させることが可能となる。

【0019】

（７）また、本発明のプログラムは、感情を表現可能なキャラクタを生成するプログラムであって、入力データに基づいて、前記キャラクタの表情または仕草を含む動作を決定し、前記動作を示す情報を出力する処理と、前記入力データの感情分類を示す情報に基づいて、前記キャラクタの動作を示す情報に感情を示す情報を付与する処理と、前記動作の表示または前記感情の表示に対応するフィードバックデータに基づいて、前記動作を示す情報または前記感情を示す情報を更新する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。

【0020】

このように、入力データに基づいて、キャラクタの表情または仕草を含む動作を決定し、動作を示す情報を出力し、入力データの感情分類を示す情報に基づいて、キャラクタの動作を示す情報に感情を示す情報を付与し、動作の表示または感情の表示に対応するフィードバックデータに基づいて、動作を示す情報または感情を示す情報を更新するので、利用者の反応を将来のキャラクタ生成に反映させることができる。また、感情が付与されたキャラクタの表情だけでなく、感情が付与されたキャタクタの仕草も生成することができる。

【発明の効果】

【0021】

本発明によれば、利用者の反応を将来のキャラクタ生成に反映させることができる。また、感情が付与されたキャラクタの表情だけでなく、感情が付与されたキャタクタの仕草も生成することができる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係るキャラクタ生成装置の概略構成を示す図である。

【図2】実施形態に係るキャラクタ生成装置の機能を示すブロック図である。

【図3】実施形態に係るキャラクタ生成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

本実施形態に係るキャラクタ生成装置は、利用者との任意の入出力結果を、キャラクタの感情生成部にフィードバックし、将来のキャラクタ生成に反映させる。本明細書において、「表情」とは、人物を含む生物または生物を模擬したキャタクタが何か行動を起こしたり感情を表したりする際の顔つきのことを指し、「仕草」とは、体の動作や身のこなしのことを意味する。

【0024】

本発明の実施形態に係るキャラクタ生成装置は、入力された任意のテキストデータに基づいて、キャラクタの表情または仕草を決定し、入力されたテキストデータにおける感情分類を示す情報に応じて、キャラクタの表情または仕草に感情を付与すると共に、動作決定または感情付与に対するフィードバックデータに基づいて、動作決定または感情付与を更新する。これにより、利用者の反応を将来のキャラクタ生成に反映させることができる。また、感情が付与されたキャラクタの表情だけでなく、感情が付与されたキャタクタの仕草も生成することができる。

【0025】

本明細書では、一例として、テキストを用いたキャラクタ生成装置を示すが、本発明の技術的思想は、テキスト情報に限定されるわけではない。例えば、「音声」を入力情報とし、音声認識により、テキストデータまたはフィードバックデータを取得しても良い。また、「音響」を入力情報とし、平均テンポ、音色、音圧レベル、音圧レベルの変動により、感情分類およびその強度を抽出しても良い。また、「キー操作」を入力情報として、感情分類及びその強度をキー操作により入力するようにしても良い。

【0026】

また、「タッチ」を入力情報として、感情分類およびその強度をタッチ操作により入力するようにしても良い。また、「画像」を入力情報として、画像における表情認識技術を利用して、感情分類およびその強度を抽出しても良い。この場合、感情認識カメラを用いることも可能である。また、「映像」を入力情報として、「音声」と「画像」における例を併用し、感情分類及びその強度を抽出するようにしても良い。これにより、メールや人間の行動等、会話では表現できない複雑な感情が連続的に入力された場合でも、感情が付与されたキャラクタを自動的に生成することができる。

【0027】

図１は、本実施形態に係るキャラクタ生成装置の概略構成を示す図である。図１に示すように、キャラクタ生成装置は、ディスプレイ１０と、キーボード２０と、ＰＣ（Personal Computer）３０とから構成されている。そして、キーボード２０によりＰＣ３０にテキストデータ４０及びフィードバックデータ５０が入力される。なお、図１では、キーボード２０が、ＰＣ３０に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、任意手段によりＰＣに対してテキストデータが入力されれば十分である。

【0028】

ＰＣ３０は、ケーブル３０ａを介してキャラクタ再生装置としてのディスプレイ１０に接続されている。ＰＣ３０では、入力されるテキストデータ４０における感情分類または感情分類の強度を解析すると共に、テキストデータ４０に基づいてキャラクタの表情または仕草を決定する。また、解析分類された感情に基づいて決定されたキャラクタの表情または仕草に感情を付与する。

【0029】

さらに、解析された感情分類の強度に基づいて生成したキャラクタの仕草における強弱を制御する。さらに、ＰＣ３０は、解析された感情分類に基づいて生成されたキャラクタの表情または仕草、解析された感情分類の強度に基づいて強弱が制御されたキャラクタの表情または仕草の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。なお、本発明の実施形態に係るキャラクタ生成装置では、合成されたキャラクタの表情または仕草の画像信号をディスプレイ１０に発信しなくても構わない。そして、ＰＣ３０は、フィードバックデータ５０に基づいて動作決定または感情付与を更新する。

【0030】

図２は、実施形態に係るキャラクタ生成装置の機能を示すブロック図である。ＰＣ３０の感情解析部３０−１は、ユーザの入力操作を受け付けて、入力された任意のデータから各データにおける感情分類または感情分類の強度を解析する。すなわち、感情解析部３０−１は、キーボード２０により入力されたテキストデータ４０を認識して、テキストデータ４０における感情分類または感情分類の強度を解析する。また、ＰＣ３０の動作決定部３０−２は、キャラクタの動作を決定する。すなわち、動作決定部３０−２は、キーボード２０により入力されたテキストデータ４０を認識し、テキストデータ４０に基づいて、キャラクタの表情または仕草を決定する。

【0031】

ＰＣ３０の感情付与部３０−３は、キャラクタの表情または仕草に感情を付与する。すなわち、感情付与部３０−３は、感情解析部３０−１が解析した感情分類に基づいて、中立的な表情または仕草を変換し、キャラクタの表情または仕草に感情を付与する。また、ＰＣ３０の強弱制御部３０−４は、キャラクタの表情または仕草における強弱を制御する。すなわち、強弱制御部３０−４は、感情解析部３０−１が解析した感情分類の強度に基づいて、感情付与部３０−３が感情を付与したキャラクタの表情または仕草における強弱を制御する。

【0032】

ＰＣ３０のキャラクタ再生部３０−５は、キャラクタの表情または仕草の画像を再生する。すなわち、キャラクタ再生部３０−５は、感情付与部３０−３が感情を付与したキャラクタの表情または仕草、強弱制御部３０−４が強弱を制御したキャラクタの表情または仕草の画像を再生する。

【0033】

ＰＣ３０の情報反映部３０−６は、フィードバックデータの結果を将来のキャラクタ生成に反映させる。すなわち、情報反映部３０−６は、キーボード２０により入力されたフィードバックデータ５０を認識し、その結果を動作決定部３０−２または感情付与部３０−３にフィードバックする。

【0034】

図３は、実施形態に係るキャラクタ生成装置の動作を示すフローチャートである。初めに、ＰＣ３０に、キーボード２０によりテキストデータ４０が入力される（ステップＳ１）。次に、ＰＣ３０において、入力されるテキストデータ４０を認識して、テキストデータ４０における感情分類及び強度を解析する（ステップＳ２）。ここでは、入力されるテキストデータ４０が単語の場合を説明するが、本発明の技術的思想は、単語に限定されるわけではなく、句であっても文であっても良い。本実施形態では、感情分類とそれぞれの強度から構成される感情語データベースを使用する。

【0035】

なお、感情語データベースは、日本語辞書などの大量の単語データベースに存在する全ての単語に対して、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つがどれくらいの割合で存在するか規定し、それぞれの感情強度を０〜１の範囲で、０．１刻みに１０段階で指定して、予め形成されている。また、入力されるテキストデータ４０が句または文である場合は、単語の場合と同様に、句または文に全体における感情分類とそれぞれの強度から構成される感情句データベースまたは感情文データベースを使用すれば良い。ここで、「喜び」の強度をＳ₁、「悲しみ」の強度をＳ₂、「怒り」の強度をＳ₃、「嫌悪」の強度をＳ₄、「恐怖」の強度をＳ₅、「罪」の強度をＳ₆、「恥」の強度をＳ₇、「興味」の強度をＳ₈、「驚き」の強度をＳ₉と表す。ただし、Ｓ_iは、次の数式を満たす。

【0036】

【数1】

そして、入力されるテキストデータ４０と一致または類似する単語を感情語データベースの中から検索し、その単語における感情分類と強度を抽出する。すなわち、テキストデータ４０における感情分類は、次の数式に表わされるように、９次元のベクトルで示される。

【0037】

【数2】

また、入力されるテキストデータ４０における全体強度Ｗは、次の数式で表わされる。

【0038】

【数3】

例えば、テキストデータ４０として、「泣き笑い」を入力すると、抽出される感情分類と強度Ｗは、次のようになる。

【0039】

【数4】

次に、ＰＣ３０において、入力されるテキストデータ４０を認識し、テキストデータ４０に基づいて、「目を閉じる」「お辞儀する」「手を挙げる」等のキャラクタの表情または仕草を決定する。（ステップＳ３）。本実施形態では、無感情の表情または仕草における動きデータと、日本語辞書などの代表的な単語データベースに存在する各単語をパラメータとして算出した各動きデータにおける類似度パラメータのペアで構成される動作データベースを用意する。

【0040】

なお、ここで言う動きデータは、キャラクタの全ての骨格が任意の時刻において何れの空間位置座標に存在するかが記述されている。テキストデータ４０が入力されると、テキストデータ４０における類似度パラメータを算出し、動作データベースの中にある全ての動きデータにおける類似度パラメータとのコサイン類似度を求め、最も値の大きい表情または仕草をキャラクタの動作ｈとして決定すると共に、動作データベースの動作ｈにおけるキャラクタの動きデータを、本キャラクタ生成装置における動きデータとして生成する。

【0041】

次に、ＰＣ３０において、ステップＳ３で決定されたキャラクタの表情または仕草に感情を付与する。（ステップＳ４）。

【0042】

まず、ステップＳ２で解析された感情に基づいて、ステップＳ３で決定されたキャラクタの表情に感情を付与する方法について述べる。本実施形態では、ステップＳ３でキャラクタの表情として決定された動作ｈを、ステップＳ２で解析された感情に応じて合成変換することで、キャラクタの表情に感情を付与する。まず、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つの感情における表情において、無感情の表情からの変化量を、キャラクタの表情における全てのポリゴン（polygon）に対してそれぞれ定義しておく。

【0043】

ここで、キャラクタの表情の中のあるポリゴンＰに対して、「喜び」の基本表情における無感情の表情との座標の差分を（Ｘ₁，Ｙ₁，Ｚ₁）、「悲しみ」の基本表情における無感情の表情との座標の差分を（Ｘ₂，Ｙ₂，Ｚ₂）、「怒り」の基本表情における無感情の表情との座標の差分を（Ｘ₃，Ｙ₃，Ｚ₃）、「嫌悪」の基本表情における無感情の表情との座標の差分を（Ｘ₄，Ｙ₄，Ｚ₄）、「恐怖」の基本表情における無感情の表情との座標の差分を（Ｘ₅，Ｙ₅，Ｚ₅）、「罪」の基本表情における無感情の表情との座標の差分を（Ｘ₆，Ｙ₆，Ｚ₆）、「恥」の基本表情における無感情の表情との座標の差分を（Ｘ₇，Ｙ₇，Ｚ₇）、「興味」の基本表情における無感情の表情との座標の差分を（Ｘ₈，Ｙ₈，Ｚ₈）、「驚き」の基本表情における無感情の表情との座標の差分を（Ｘ₉，Ｙ₉，Ｚ₉）、と表す。

【0044】

そして、ステップＳ３でキャラクタの表情として決定された動作ｈを、ステップＳ２で解析された感情に応じて合成変換し、キャラクタの表情に感情を付与する。すなわち、動作ｈのあるフレームにおけるＰの座標を（Ｘ₀，Ｙ₀，Ｚ₀）とすると、感情が付与されたキャラクタの表情におけるＰの座標（Ｘ_E，Ｙ_E，Ｚ_E）は、次式で表わされる。

【0045】

【数5】

同様の操作をキャラクタの表情における全ポリゴンに対して実行し、さらに動作ｈにおける全フレームに対して実行し、キャラクタの表情に感情を付与する。

【0046】

次に、ステップＳ２で解析された感情に基づいて、ステップＳ３で決定されたキャラクタの仕草に感情を付与する方法について述べる。本実施形態では、予め収録された全ての仕草における無感情の動きデータ及び各感情分類の動きデータを学習させ、無感情の動きデータから各感情分類の動きデータへの変換を予め定義し、ステップＳ３で決定した動作ｈにおける無感情の動きデータを、ステップＳ２で解析された感情に応じて合成変換することで、キャラクタの仕草に感情を付与する。

【0047】

本明細書では、一例として、主成分分析を用いてキャラクタの仕草に感情を付与するが、本発明の技術的思想は、主成分分析に限定されるわけでなく、非線形状態空間写像や機械学習等、別の方法を用いてキャラクタの仕草に感情を付与しても良い。まず、無感情及び人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つの感情における仕草を予め複数用意し、学習用データベースに登録しておく。登録された全ての仕草における無感情の動きデータ及び各感情分類の動きデータを学習し、線形回帰手法により、無感情の動きデータから各感情分類の動きデータに変換するためのパラメータを算出する。すなわち、収録された仕草ｍ（ｍ＝１，２，…）における無感情の動きデータの第ｊ主成分座標の微分値ｋ^j（ｍ）を用いて、次の数式により線形回帰演算を行って、変換パラメータａ^j_i、ｂ^j_iを算出する。

【0048】

【数6】

ただし、ｑ^j_i（ｍ）は仕草ｍにおける各感情の動きデータの第ｊ主成分座標の微分値を示しており、ｉ＝１は感情分類が「喜び」の場合を、ｉ＝２は感情分類が「悲しみ」の場合を、ｉ＝３は感情分類が「怒り」の場合を、ｉ＝４は感情分類が「嫌悪」の場合を、ｉ＝５は感情分類が「恐怖」の場合を、ｉ＝６は感情分類が「罪」の場合を、ｉ＝７は感情分類が「恥」の場合を、ｉ＝８は感情分類が「興味」の場合を、ｉ＝９は感情分類が「驚き」の場合をそれぞれ表す。次に、テキストデータ４０が入力されると、テキストデータ４０に基づいて決定した動作ｈにおける無感情の動きデータを、テキストデータ４０から抽出された感情分類に対応する各変換パラメータａ^j_i、ｂ^j_iを用いて合成変換し、キャラクタの仕草に感情を付与する。すなわち、感情が付与されたキャラクタの動作ｈにおける動きデータの第ｊ主成分座標の微分値ｐ^j（ｈ）は、次の数式で表わされる。

【0049】

【数7】

同様の操作をキャラクタの動作ｈにおける全フレームに対して実行し、キャラクタの仕草に感情を付与する。

【0050】

次に、ＰＣ３０において、解析された感情分類の強度に基づいて、付与したキャラクタの表情または仕草における感情の強弱を制御する（ステップＳ５）。本実施形態では、入力されるテキストデータ４０における全体強度Ｗに応じて、ステップＳ４で感情を付与したキャラクタの動作ｈにおける動きデータの第ｊ主成分座標の微分値ｐ^jを次の数式のように重み付けし、強弱を制御したキャラクタの新たな動作ｈにおける動きデータの第ｊ主成分座標の微分値ｏ^jを算出する。

【0051】

【数8】

同様の操作をキャラクタの動作ｈにおける全フレームに対して実行し、強弱を制御したキャラクタの新たな表情または仕草を生成する。

【0052】

次に、ＰＣ３０において、解析された感情分類に基づいて感情が付与されたキャラクタの表情または仕草、解析された感情分類の強度に基づいて強弱が制御されたキャタクタの表情または仕草の画像を生成する（ステップＳ６）。ここで、キーボード２０により入力されるテキストデータ４０が続行するかどうかを判断し（ステップＳ６−２）、続行する場合は、キャラクタの表情または仕草の画像を生成した後、ステップＳ２に戻り、次のテキストデータ４０に対しての処理を開始する。一方、ステップＳ６−２において、テキストデータ４０が続行しない場合は、ステップＳ７に遷移する。

【0053】

最後に、生成されたキャラクタの表情または仕草の画像をディスプレイ１０に映写する（ステップＳ７）。

【0054】

一方、ＰＣ３０において、動作決定または感情付与に対するフィードバックデータに基づいて、動作決定または感情付与を更新する（ステップＳ８）。なお、本発明の技術的思想では、テキストデータを入力した利用者と異なる利用者がフィードバックデータを入力しても良く、その場合、ステップＳ１からステップＳ７の処理と、ステップＳ８の処理は並列に行われる。その際に、ステップＳ２の動作決定処理とステップＳ８の情報更新処理、または、ステップＳ３の感情付与処理とステップＳ８の情報更新処理が同時に実行された場合は、何れの場合もステップＳ８の情報更新処理を優先して実行することとする。

【0055】

まず、動作決定に対するフィードバックデータに基づいて、ステップＳ３を更新する方法について述べる。本実施形態では、キーボード２０により入力されたフィードバックデータ５０を認識して、動作決定に対する満足度を取得する。ここでは、入力されるフィードバックデータ５０が「返事をしてくれて有り難う」等の任意の句の場合を説明するが、本発明の技術的思想は、句に限定されるわけではなく、文であっても良いし、フィードバックデータ５０が動作決定に対するフィードバックデータと限定される環境であれば、単語でも良い。すなわち、対話等、利用者とキャラクタ間の自然なやり取りの中でのフィードバックデータ５０の取得が可能である。

【0056】

ここで、直前に生成したキャラクタの画像における表情または仕草を動作ｈとする。フィードバックデータ５０が入力されると、ステップＳ３と同様に、フィードバックデータ５０における類似度パラメータを算出し、動作ｈにおける類似度パラメータとのコサイン類似度を求め、その値が閾値θ_hよりも大きければ、フィードバックデータ５０を動作ｈに対するフィードバックデータと判定する。また、本実施形態では、日本語辞書などの大量の単語データベースから満足度を表す単語を抽出し、「満足」「不満」の２つ分類にして、満足度単語データベースとして用意する。

【0057】

そして、動作ｈに対するフィードバックデータと判定されたフィードバックデータ５０の中から、満足度単語データベースと一致または類似する単語を検出する。もし、検出された単語が「満足」に分類される単語であった場合、次以降のステップＳ１でテキストデータ４０と一致または類似と判断されるテキストデータが入力された時は、コサイン類似度の値に関わらず、動作ｈをキャラクタの表情または動作として決定するように、ステップＳ３を更新する。もし、検出された単語が「不満」に分類される単語であった場合、次以降のステップＳ１でテキストデータ４０と一致または類似と判断されるテキストデータが入力された時は、２番目にコサイン類似度の大きいキャラクタの表情または動作として決定するように、ステップＳ３を更新する。

【0058】

次に、感情付与に対するフィードバックデータに基づいて、ステップＳ４を更新する方法について述べる。本実施形態では、キーボード２０により入力されたフィードバックデータ５０を認識して、感情付与に対する満足度を取得する。ここでは、入力されるフィードバックデータ５０が「もう少し喜んでよ！」等の任意の句の場合を説明するが、本発明の技術的思想は、句に限定されるわけではなく、文であっても良いし、フィードバックデータ５０が感情付与に対するフィードバックデータと限定される環境であれば、単語でも良い。フィードバックデータ５０が入力されると、ステップＳ２と同様に、フィードバックデータ５０における感情分類と強度Ｓ’_iを求め、Ｓ’_iが０でなければ、フィードバックデータ５０を感情付与に対するフィードバックデータと判定する。そして、感情付与に対するフィードバックデータと判定されたフィードバックデータ５０の中から、満足度単語データベースと一致または類似する単語を検出する。

【0059】

もし、検出された単語が「満足」に分類される単語であった場合、次以降のステップＳ１でテキストデータ４０と一致または類似と判断されるテキストデータが入力された時は、テキストデータ４０における感情強度Ｓ_iにＳ’_iを加えて、キャラクタの感情を付与するように、ステップＳ４を更新する。もし、検出された単語が「不満」に分類される単語であった場合、次以降のステップＳ１でテキストデータ４０と一致または類似と判断されるテキストデータが入力された時は、テキストデータ４０における感情強度Ｓ_iにＳ’_iを減じて、キャラクタの感情を付与するように、ステップＳ４を更新する。なお、両者の場合共、Ｓ’_i＝０となった感情分類においては、テキストデータ４０における感情強度Ｓ_iの値を維持する。

【0060】

以上説明したように、本実施形態によれば、ＰＣ３０に入力されるテキストデータ４０における感情分類または感情分類の強度を解析すると共に、テキストデータ４０に基づいてキャラクタの仕草を決定する。また、解析された感情分類に応じてキャラクタの仕草に感情を付与する。さらに、解析された感情分類の強度に基づいて生成したキャラクタの仕草の強弱を制御する。そして、ＰＣ３０は、感情が付与されたキャラクタの仕草または強弱が制御されたキャタクタの仕草の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。加えて、そして、ＰＣ３０は、フィードバックデータ５０に基づいて動作決定または感情付与を更新する。これにより、本実施形態では、利用者の反応を将来のキャラクタ生成に反映させることができる。また、感情が付与されたキャラクタの表情だけでなく、感情が付与されたキャタクタの仕草も生成することができる。さらに、メールやツイッター、人間の行動等、会話では表現できない複雑な感情が連続的に入力された場合でも、感情が付与されたキャラクタを自動的に生成することができる。

【符号の説明】

【0061】

１０ ディスプレイ
２０ キーボード
３０ ＰＣ
３０−１ 感情解析部
３０−２ 動作決定部
３０−３ 感情付与部
３０−４ 強弱制御部
３０−５ キャラクタ再生部
３０−６ 情報反映部
３０ａ ケーブル
４０ テキストデータ
５０ フィードバックデータ

【図1】

【図2】

【図3】