特表2022-531056 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京市商▲湯▼科技▲開▼▲發▼有限公司の特許一覧

特表2022-531056インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-06

(54)【発明の名称】インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体

(51)【国際特許分類】

G06F 3/16 20060101AFI20220629BHJP

G10L 13/00 20060101ALI20220629BHJP

G10L 15/22 20060101ALI20220629BHJP

G06F 3/048 20220101ALI20220629BHJP

G06F 3/01 20060101ALI20220629BHJP

【ＦＩ】

G06F3/16 690

G10L13/00 100M

G10L15/22 300Z

G06F3/048

G06F3/16 650

G06F3/16 620

G06F3/01 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021549865

(86)(22)【出願日】2020-11-18

(85)【翻訳文提出日】2021-08-25

(86)【国際出願番号】 CN2020129830

(87)【国際公開番号】W WO2021196647

(87)【国際公開日】2021-10-07

(31)【優先権主張番号】202010245772.7

(32)【優先日】2020-03-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＤＥＶＥＬＯＰＭＥＮＴＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１１０１－１１１７，１１ｔｈＦｌｏｏｒＮｏ．５８Ｎｏｒｔｈｗｅｓｔ４ｔｈＲｉｎｇＲｏａｄ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔＢｅｉｊｉｎｇ１０００８０Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】▲孫▼ 林

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA46

5E555BA01

5E555BB01

5E555BC04

5E555DA23

5E555DB32

5E555DB41

5E555DB57

5E555DC84

5E555EA04

5E555FA00

(57)【要約】

インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体を開示し、前記方法は、表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得することと、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することと、得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

インタラクティブ対象の駆動方法であって、
表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得することと、
前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することと、
得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む
ことを特徴とするインタラクティブ対象の駆動方法。

【請求項2】

前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御すること、および/または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示することを、さらに含む
ことを特徴とする請求項１に記載のインタラクティブ対象の駆動方法。

【請求項3】

前記得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記目標データに対応する音声情報を確定することと、
前記音声情報を出力する時間情報を取得することと、
前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定することと、
前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む
ことを特徴とする請求項１または２に記載のインタラクティブ対象の駆動方法。

【請求項4】

前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、
前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記制御パラメータシーケンス中の各組の制御パラメータを所定の速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにすることを含む
ことを特徴とする請求項３に記載のインタラクティブ対象の駆動方法。

【請求項5】

前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、
前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記実行時間に基づいて、前記制御パラメータシーケンスの呼び出し速度を確定することと、
前記制御パラメータシーケンス中の各組の制御パラメータを前記呼び出し速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を出力するようにすることと、を含む
ことを特徴とする請求項３に記載のインタラクティブ対象の駆動方法。

【請求項6】

前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記目標データに対応する音声情報を出力する前の所定の時点で、前記目標データに対応する制御パラメータシーケンスを呼び出し始めて、前記インタラクティブ対象が前記所定の動作を実行し始めるようにすることを含む
ことを特徴とする請求項３に記載のインタラクティブ対象の駆動方法。

【請求項7】

前記音声駆動データは、複数の目標データを含み、
前記得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記複数の目標データの中の隣接する目標データがオーバーラップしていることが検出されたことに応答して、語順に従って前に配列された目標データに対応する制御パラメータシーケンスに基づいて、前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む
ことを特徴とする請求項１から６のいずれか１項に記載のインタラクティブ対象の駆動方法。

【請求項8】

前記音声駆動データは、複数の目標データを含み、
前記目標データに対応する制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、
前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出されたことに応答して、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合することを含む
ことを特徴とする請求項１から６のいずれか１項に記載のインタラクティブ対象の駆動方法。

【請求項9】

前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することは、
前記音声駆動データがオーディオデータを含むことに応答して、前記オーディオデータに対して音声認識を実行し、認識された音声内容に基づいて、前記オーディオデータに含まれている目標データを確定することと、
前記音声駆動データがテキストデータを含むことに応答して、前記テキストデータに含まれているテキスト内容に基づいて、前記テキストデータに含まれている目標データを確定することと、を含む
ことを特徴とする請求項１から８のいずれか１項に記載のインタラクティブ対象の駆動方法。

【請求項10】

前記音声駆動データは、音節データを含み、
前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することは、
前記音声駆動データに含まれている音節データが目標音節データにマッチングされるか否かを確定することであって、前記目標音節データは事前に分割された互いに異なる音節タイプに属し、互いに異なる音節タイプは互いに異なる所定の口形状に対応し、互いに異なる所定の口形状に対して対応する制御パラメータシーケンスが設定されていることと、
前記音節データが前記目標音節データにマッチングされることに応答して、マッチングされる前記目標音節データが属している音節タイプに基づいて、マッチングされる前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得することと、を含む
ことを特徴とする請求項１から９のいずれか１項に記載のインタラクティブ対象の駆動方法。

【請求項11】

前記音声駆動データの中の目標データ以外の第１データを取得することと、
前記第１データの音響特徴を取得することと、
前記音響特徴にマッチングする姿態制御パラメータを取得することと、
前記姿態制御パラメータに基づいて前記インタラクティブ対象の姿態を制御することと、をさらに含む
ことを特徴とする請求項１から１０のいずれか１項に記載のインタラクティブ対象の駆動方法。

【請求項12】

インタラクティブ対象の駆動装置であって、
表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得するための第１取得ユニットと、
前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得するための第２取得ユニットと、
得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御するための駆動ユニットと、を備える
ことを特徴とするインタラクティブ対象の駆動装置。

【請求項13】

前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御し、および/または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示するための出力ユニットを、さらに備える
ことを特徴とする請求項１２に記載のインタラクティブ対象の駆動装置。

【請求項14】

前記駆動ユニットは、具体的に、
前記目標データに対応する音声情報を確定し、
前記音声情報を出力する時間情報を取得し、
前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定し、
前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御する
ことを特徴とする請求項１２または１３に記載のインタラクティブ対象の駆動装置。

【請求項15】

前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、
前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、
前記制御パラメータシーケンス中の各組の制御パラメータを所定のレートで呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにし、または、
前記実行時間に基づいて、前記制御パラメータシーケンスの呼び出しレートを確定し、
前記制御パラメータシーケンス中の各組の制御パラメータを前記呼び出しレートで呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を出力するようにし、または、
前記目標データに対応する音声情報を出力する前の所定の時間に、前記目標データに対応する制御パラメータシーケンスを呼び出し始めて、前記インタラクティブ対象が前記所定の動作を実行し始めるようにする
ことを特徴とする請求項１４に記載のインタラクティブ対象の駆動装置。

【請求項16】

前記音声駆動データは、複数の目標データを含み、
前記駆動ユニットは、具体的に、
前記複数の目標データの中の隣接する目標データがオーバーラップしていることが検出されたことに応答して、語順に基づいて前に配列された目標データに対応する制御パラメータシーケンスに従って、前記インタラクティブ対象が前記所定の動作を実行するように制御し、または、
前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出されたことに応答して、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合する
ことを特徴とする請求項１２から１５のいずれか１項に記載のインタラクティブ対象の駆動装置。

【請求項17】

前記音声駆動データは、音節データを含み、
前記第２取得ユニットは、具体的に、
前記音声駆動データに含まれている音節データが目標音節データにマッチングされるか否かを確定し、ここで、前記目標音節データは事前に分割された１種の音節タイプに属し、１種の音節タイプは１種の所定の口形状に対応し、１種の所定の口形状に対して対応する制御パラメータシーケンスが設定されており、
前記音節データが前記目標音節データにマッチングされることに応答して、マッチングされる前記目標音節データが属している音節タイプに基づいて、マッチングされる前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得する
ことを特徴とする請求項１２から１６のいずれか１項に記載のインタラクティブ対象の駆動装置。

【請求項18】

前記装置は、姿態制御ユニットをさらに備え、
前記姿態制御ユニットは、
前記音声駆動データの中の目標データ以外の第１データを取得し、
前記第１データの音響特徴を取得し、
前記音響特徴にマッチングする姿態制御パラメータを取得し、
前記姿態制御パラメータに基づいて前記インタラクティブ対象の姿態を制御する
ことを特徴とする請求項１２から１７のいずれか１項に記載のインタラクティブ対象の駆動装置。

【請求項19】

電子デバイスであって、
メモリとプロセッサとを備え、
前記メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、
前記プロセッサは、前記コンピュータ命令が実行されるときに、請求項１から１１のいずれか１項に記載の方法を実行する
ことを特徴とする電子デバイス。

【請求項20】

コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
前記プログラムがプロセッサによって実行されるときに、請求項１から１１のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ技術分野に関し、具体的には、インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体に関する。

【背景技術】

【0002】

人間とコンピュータの相互作用の方法のほとんどは、ユーザがキーストローク、タッチ、音声によって入力し、デバイスがスクリーンに画像、テキスト、または仮想キャラクターを表示することによって応答する。現在、仮想キャラクターは主に音声アシスタントに基づいて改善されている。ユーザと仮想キャラクターのインタラクティブは、まだ表面上にある。

【発明の概要】

【0003】

本発明の実施例は、インタラクティブ対象の駆動の技術的解決策を提供する。

【0004】

本発明の１態様によると、インタラクティブ対象の駆動方法を提供し、前記方法は、表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得することと、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することと、得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む。

【0005】

本発明によって提供される任意の実施形態に結合して、前記方法は、前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御すること、および/または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示することを、さらに含む。

【0006】

本発明によって提供される任意の実施形態に結合して、前記得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記目標データに対応する音声情報を確定することと、前記音声情報を出力する時間情報を取得することと、前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定することと、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む。

【0007】

本発明によって提供される任意の実施形態に結合して、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記制御パラメータシーケンス中の各組の制御パラメータを所定の速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにすることを含む。

【0008】

本発明によって提供される任意の実施形態に結合して、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記実行時間に基づいて、前記制御パラメータシーケンスの呼び出し速度を確定することと、前記制御パラメータシーケンス中の各組の制御パラメータを前記呼び出し速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を出力するようにすることと、を含む。

【0009】

本発明によって提供される任意の実施形態に結合して、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記目標データに対応する音声情報を出力する前の所定の時点で、前記目標データに対応する制御パラメータシーケンスを呼び出し始めて、前記インタラクティブ対象が前記所定の動作を実行し始めるようにすることを含む。

【0010】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、複数の目標データを含み、前記得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記複数の目標データの中の隣接する目標データがオーバーラップしていることが検出されたことに応答して、語順に従って前に配列された目標データに対応する制御パラメータシーケンスに基づいて、前記インタラクティブ対象が前記所定の動作を実行するように制御することと、を含む。

【0011】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、複数の目標データを含み、前記目標データに対応する制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御することは、前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出されたことに応答して、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合することを含む。

【0012】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することは、前記音声駆動データがオーディオデータを含むことに応答して、前記オーディオデータに対して音声認識を実行し、認識された音声内容に基づいて、前記オーディオデータに含まれている目標データを確定することと、前記音声駆動データがテキストデータを含むことに応答して、前記テキストデータに含まれているテキスト内容に基づいて、前記テキストデータに含まれている目標データを確定することと、を含む。

【0013】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、音節データを含み、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得することは、前記音声駆動データに含まれている音節データが目標音節データにマッチングされるか否かを確定することであって、前記目標音節データは事前に分割された互いに異なる音節タイプに属し、互いに異なる音節タイプは互いに異なる所定の口形状に対応し、互いに異なる所定の口形状に対して対応する制御パラメータシーケンスが設定されていることと、前記音節データが前記目標音節データにマッチングされることに応答して、マッチングされる前記目標音節データが属している音節タイプに基づいて、マッチングされる前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得することと、を含む。

【0014】

本発明によって提供される任意の実施形態に結合して、前記方法は、前記音声駆動データの中の目標データ以外の第１データを取得することと、前記第１データの音響特徴を取得することと、前記音響特徴にマッチングする姿態制御パラメータを取得することと、前記姿態制御パラメータに基づいて前記インタラクティブ対象の姿態を制御することと、をさらに含む。

【0015】

本発明の１態様によると、インタラクティブ対象の駆動装置を提出し、前記装置は、表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得するための第１取得ユニットと、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得するための第２取得ユニットと、得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御するための駆動ユニットと、を備える。

【0016】

本発明によって提供される任意の実施形態に結合して、前記装置は、前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御し、および/または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示するための出力ユニットを、さらに備える。

【0017】

本発明によって提供される任意の実施形態に結合して、前記駆動ユニットは、具体的に、前記目標データに対応する音声情報を確定し、前記音声情報を出力する時間情報を取得し、前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定し、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0018】

本発明によって提供される任意の実施形態に結合して、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記制御パラメータシーケンス中の各組の制御パラメータを所定の速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにする。

【0019】

本発明によって提供される任意の実施形態に結合して、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記実行時間に基づいて、前記制御パラメータシーケンスの呼び出し速度を確定し、前記制御パラメータシーケンス中の各組の制御パラメータを前記呼び出し速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を出力するようにする。

【0020】

本発明によって提供される任意の実施形態に結合して、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記目標データに対応する音声情報を出力する前の所定の時点で、前記目標データに対応する制御パラメータシーケンスを呼び出し始めて、前記インタラクティブ対象が前記所定の動作を実行し始めるようにする。

【0021】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、複数の目標データを含み、前記駆動ユニットは、具体的に、前記複数の目標データの中の隣接する目標データがオーバーラップしていることが検出されたことに応答して、語順に従って前に配列された目標データに対応する制御パラメータシーケンスに基づいて、前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0022】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、複数の目標データを含み、前記駆動ユニットは、具体的に、前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出されたことに応答して、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合する。

【0023】

本発明によって提供される任意の実施形態に結合して、前記第２取得ユニットは、具体的に、前記音声駆動データがオーディオデータを含むことに応答して、前記オーディオデータに対して音声認識を実行し、前記オーディオデータに含まれている音声内容に基づいて、前記オーディオデータに含まれている目標データを確定し、前記音声駆動データがテキストデータを含むことに応答して、前記テキストデータに含まれているテキスト内容に基づいて、前記テキストデータに含まれている目標データを確定する。

【0024】

本発明によって提供される任意の実施形態に結合して、前記音声駆動データは、音節データを含み、前記第２取得ユニットは、具体的に、前記音声駆動データに含まれている音節データが目標音節データにマッチングされるか否かを確定し、ここで、前記目標音節データは事前に分割された互いに異なる音節タイプに属し、互いに異なる音節タイプは互いに異なる所定の口形状に対応し、互いに異なる所定の口形状に対して対応する制御パラメータシーケンスが設定されており、また、前記音節データが前記目標音節データにマッチングされることに応答して、マッチングされる前記目標音節データが属している音節タイプに基づいて、マッチングされる前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得する。

【0025】

本発明によって提供される任意の実施形態に結合して、前記装置は、前記音声駆動データの中の目標データ以外の第１データを取得し、前記第１データの音響特徴を取得し、前記第１データの音響特徴にマッチングする姿態制御パラメータを取得し、前記姿態制御パラメータに基づいて前記インタラクティブ対象の姿態を制御するための姿態制御ユニットをさらに備える。

【0026】

本発明の１態様によると、電子デバイスを提供し、前記デバイスは、メモリとプロセッサとを備え、前記メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、本発明によって提供される任意の実施形態に記載のインタラクティブ対象の駆動方法が実現される。

【0027】

本発明の１態様によると、コンピュータプログラムが記憶されているコンピュータ可読記録媒体を提供し、前記プログラムがプロセッサによって実行されるときに、本発明によって提供される任意の実施形態に記載のインタラクティブ対象の駆動方法が実現される。

【0028】

本発明の１つまたは複数の実施例のインタラクティブ対象の駆動方法、装置、デバイス、及びコンピュータ可読記録媒体によると、表示デバイスに展示されているインタラクティブ対象の音声駆動データに含まれている少なくとも１つの目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータを取得して、前記表示デバイスに展示されているインタラクティブ対象の動作を制御することによって、インタラクティブ対象が音声駆動データに含まれている目標データに対応する動作を行うようにし、インタラクティブ対象の発話する状態を自然で鮮やかにし、目標対象のインタラクティブ体験を改善した。

【図面の簡単な説明】

【0029】

【図1】本発明の実施例によって提供されるインタラクティブ対象の駆動方法中の表示デバイスの模式図である。

【図2】本発明の実施例によって提供されるインタラクティブ対象の駆動方法のフローチャートである。

【図3】本発明の実施例によって提供されるインタラクティブ対象の駆動方法のフローチャートである。

【図4】本発明の実施例によって提供されるインタラクティブ対象の駆動方法のフローチャートである。

【図5】本発明の実施例によって提供されるインタラクティブ対象の駆動装置の構成の模式図である。

【図6】本発明の実施例によって提供される電子デバイスの構成の模式図である。

【発明を実施するための形態】

【0030】

以下、例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面を言及している場合、特に明記しない限り、異なる図面における同一の数字は、同一または類似な要素を示す。以下の例示的な実施例で叙述される実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、添付された特許請求の範囲に記載された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。

【0031】

本明細書における「および/または」という用語は、ただ関連対象の関連関係を説明するものであり、３つの関係が存在できることを示し、たとえば、Ａおよび/またはＢは、Ａが単独に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独に存在することのような３つの関係が存在する。また、本明細書における「少なくとも１種」という用語は、複数種類の中の任意の１種または複数種類の中の少なくとも２種の任意の組み合わせを示し、たとえば、Ａ、Ｂ、Ｃの中の少なくとも１種を含むことは、Ａ、Ｂ、および、Ｃから構成されたセットから選択した任意の１つまたは複数の要素を含むことを示す。

【0032】

本発明の少なくとも１つの実施例は、インタラクティブ対象の駆動方法を提供し、前記駆動方法は、端末デバイスまたはサーバなどの電子デバイスによって実行され得る。前記端末デバイスは、携帯電話、タブレットパソコン、ゲーム機、デスクトップパソコン、広告機、オールインワン機、車載端末などの、固定端末または移動端末であり得る。前記サーバは、ローカルサーバまたはクラウドサーバなどを含む。前記方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出す方法によって実現されることができる。

【0033】

本発明の実施例において、インタラクティブ対象は、目標対象とインタラクティブを実行できる任意の仮想イメージであり得る。１実施例において、インタラクティブ対象は、仮想キャラクターであり得、さらに、仮想動物、仮想物品、漫画イメージなどの、インタラクティブ機能を実現できる他の仮想イメージであり得る。インタラクティブ対象の表示形式は、２Ｄまたは３Ｄであるが、本発明はこれに対して限定しない。前記目標対象は、ユーザ、ロボット、またはその他のスマートデバイスであり得る。前記インタラクティブ対象の前記目標対象とのインタラクティブ方法は、能動的インタラクティブ方法または受動的インタラクティブ方法であり得る。１例において、目標対象により、ジェスチャまたは肢体動作を行うことによって要求を発して、能動的インタラクティブ方法によってインタラクティブ対象をトリガしてインタラクティブを行うことができる。もう１例において、インタラクティブ対象により、能動的に挨拶して、目標対象が動作などを行うようにプロンプトする方法によって、目標対象が受動的方法によってインタラクティブ対象とインタラクティブを行うようにすることができる。

【0034】

前記インタラクティブ対象は、端末デバイスを利用して展示することができ、前記端末デバイスは、テレビ、表示機能を有するオールインワン器、プロジェクター、仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、ＶＲ）デバイス、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、ＡＲ）デバイスなどであり得、本発明は端末デバイスの具体的な形態に対して限定しない。

【0035】

図１は、本発明の実施例に係る表示デバイスを示す。図１に示すように、当該表示デバイスは、表示スクリーンを有し、表示スクリーンに立体画像を表示することによって、立体効果を有する仮想シーンおよびインタラクティブ対象を現わすことができる。たとえば、図１の表示スクリーンに表示されたインタラクティブ対象は、仮想漫画人物を含む。

【0036】

本発明に記載の電子デバイスは、内蔵されたディスプレイを含み、ディスプレイを利用して立体画像を表示して、仮想シーンおよびインタラクティブ対象を表現することができる。もういくつかの実施例において、本発明に記載の電子デバイスは、内蔵するディスプレイを含まないでもよく、表示する必要がある内容を有線または無線の接続を介して外部のディスプレイが仮想シーンおよびインタラクティブ対象を表示するように通知することができる。

【0037】

いくつかの実施例において、電子デバイスによってインタラクティブ対象が音声を出力するように駆動するための音声駆動データが受信されたことに応答して、インタラクティブ対象は、目標対象に対して指定された音声を発することができる。端末デバイスは、端末デバイスの周辺の目標対象の動作、表情、身分、好みなどに基づいて、音声駆動データを生成することによって、インタラクティブ対象が指定された音声を発して交流または応答を行うように駆動することで、目標対象に対して擬人化サービスを提供することができる。インタラクティブ対象が目標対象とインタラクティブする過程で、当該音声駆動データに基づいてインタラクティブ対象が指定された音声を発するように駆動する同時に、前記インタラクティブ対象が当該指定された音声と同期に顔動作を行うように駆動することができない場合があり、インタラクティブ対象が音声を発するときに鈍く不自然になり、目標対象とインタラクティブ体験に影響をあたえることになる。これに鑑みて、本発明の少なくとも１つの実施例は、インタラクティブ対象駆動方法は、目標対象のインタラクティブ対象とのインタラクティブの体験を向上させる。

【0038】

図２は、本発明の実施例に係るインタラクティブ対象の駆動方法のフローチャートであり、図２に示すように、前記方法は、ステップ２０１～ステップ２０３を含む。

【0039】

ステップ２０１において、表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得する。

【0040】

本発明の実施例において、前記音声駆動データは、オーディオデータ（音声データ）、テキストデータなどを含み得る。前記音声駆動データは、端末デバイスによりインタラクティブ対象とインタラクティブを行う目標対象の動作、表情、身分、好みなどに基づいて生成した駆動データであってもよいし、電子デバイスにより内部メモリから呼び出した音声駆動データなどのような、直接取得した駆動データであってもよい。本発明は、当該音声駆動データの取得方法に対して限定しない。

【0041】

ステップ２０２において、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得し、ここで、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含む。

【0042】

本発明の実施例において、目標データは、所定の動作と事前にマッチングされたデータであり、前記所定の動作は該当する制御パラメータシーケンスに基づいて制御して実現されるため、前記目標データは前記所定の動作の制御パラメータシーケンスにマッチングされる。前記目標データは、所定のキーワード、単語、文などであり得る。キーワードが「手振り」である例をとると、前記音声駆動データにテキストデータが含まれている場合、「手振り」に対応する目標データは「手振り」というテキストデータであり、および/または、前記音声駆動データにオーディオまたは音節データが含まれている場合、「手振り」に対応する目標データは「手振り」という音声データであり得る。前記音声駆動データが上述した目標データにマッチングされると、前記音声駆動データに目標データが含まれていると確定することができる。

【0043】

前記所定の動作は、汎用の単位動画を利用して実現することができ、当該ユニット動画は画像フレームシーケンスを含み得、当該シーケンス中の各々の画像フレームは前記インタラクティブ対象の１つの姿態に対応し、画像フレーム間の対応する姿態の変化はインタラクティブ対象が所定の動作を実現するようにすることができる。ここで、１つの画像フレーム内のインタラクティブ対象の姿態は、１組の制御パラメータを利用して実現することができ、たとえば、複数のボーンポイントの変位によって形成される１組の制御パラメータを利用して実現することができる。したがって、複数組の制御パラメータによって形成された制御パラメータシーケンスを利用してインタラクティブ対象の姿態変化を制御することができ、インタラクティブ対象が所定の動作を実現するように制御することができる。

【0044】

いくつかの実施例において、前記目標データは、目標音節データを含み得、前記目標音節データは所定の口形状の制御パラメータに対応し、１種の目標音節データは事前に分割された互いに異なる音節タイプに属し、前記互いに異なる音節タイプは互いに異なる所定の口形状に対応し、互いに異なる所定の口形状に対して対応する制御パラメータシーケンスが設定されている。

【0045】

音節データは、少なくとも１つの音素を組み合わせて形成した音声単位であり得、前記音節データは、ピンイン言語の音節データおよび非ピンイン言語（たとえば中国語である）の音節データであり得る。互いに異なる音節タイプは、発音動作と一致するかまたは基本的に一致する音節データであり得、互いに異なる音節タイプは、インタラクティブ対象の１種の動作に対応する。具体的に、互いに異なる音節タイプは、インタラクティブ対象が話すときの互いに異なる所定の口形状に対応し、すなわち１種の発音動作に対応する。この場合、同じ種類のタイプの音節データは、所定の同じ種類の口形状の制御パラメータシーケンスにマッチングする。たとえば、ピンインである「ｍａ」、「ｍａｎ」、「ｍａｎｇ」などのタイプの音節データは、この種類の音節データの発音動作は基本的に一致するため、同じタイプに見なすことができ、いずれもインタラクティブ対象が発話するときに「口が開いている」という口形状の制御パラメータシーケンスに対応する。この場合、音声駆動データ中にこの種類の目標音節データが存在することが検出された場合、当該目標音節データにマッチングする口形状の制御パラメータシーケンスに基づいてインタラクティブ対象が対応する口形状を行うように制御することができる。さらに、複数種類のタイプの音節データに基づいて、複数の異なるタイプの口形状の制御パラメータシーケンスをマッチングすることができ、前記複数の制御パラメータシーケンスを利用してインタラクティブ対象の口形状の変化を制御し、インタラクティブ対象の擬人化された発話状態の実現を制御することができる。

【0046】

ステップ２０３において、得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0047】

前記音声駆動データに含まれている１つまたは複数の目標データに対して、いずれも、該当する所定の動作の制御パラメータシーケンスを得ることができる。得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象の動作を制御することで、前記音声駆動データ中の各々の目標データに対応する所定の動作を実現することができる。

【0048】

本発明の実施例において、表示デバイスに展示されているインタラクティブ対象の音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得し、前記表示デバイスに展示されているインタラクティブ対象の動作を制御することによって、インタラクティブ対象が音声駆動データに含まれている目標データに対応する動作を行うようにし、インタラクティブ対象の発話する状態を自然で鮮やかにし、目標対象のインタラクティブ体験を改善した。

【0049】

図３は、本発明の実施例に係るインタラクティブ対象の駆動方法のフローチャートであり、図３に示すように、前記方法は以下のステップを含む。

【0050】

ステップ２０４において、前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御し、および／または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示するように制御する。

【0051】

表示デバイスが音声駆動データに対応する音声を出力するように制御する同時に、前記音声駆動データ中の各々の目標データにマッチングする制御パラメータシーケンスに基づいて、前記インタラクティブ対象が該当する動作を実行するように順に制御することによって、インタラクティブ対象が音声を出力する同時に、音声に含まれている内容に基づいて動作を行うようにすることができ、インタラクティブ対象の発話する状態を自然で鮮やかにし、目標対象のインタラクティブ体験を改善した。

【0052】

さらに、表示デバイスが音声駆動データに対応する音声を出力するように制御する同時に、前記表示デバイスに前記音声駆動データに対応するテキストを展示することができ、また、前記音声駆動データ中の各々の目標データにマッチングする制御パラメータシーケンスに基づいて、前記インタラクティブ対象が該当する動作を実行するように順に制御することによって、インタラクティブ対象が音声を出力し、テキストを展示する同時に、音声およびテキストに含まれている内容に基づいて動作を行うようにすることができ、インタラクティブ対象が表現する状態が自然で鮮やかになるようにし、目標対象のインタラクティブ体験を改善した。

【0053】

本発明の実施例において、指定された動作に対して制御パラメータシーケンスを設定するだけで、可変内容に対応する画像フレームシーケンスを構成することができ、インタラクティブ対象の駆動効率を向上させた。なお、目標データを必要に応じて増加または修正することによって、変化する内容に応答することができ、駆動システムに対するメンテナンスおよび更新が容易になる。

【0054】

いくつかの実施例において、前記方法は、サーバに適用され、当該サーバは、ローカルサーバまたはクラウドサーバなどを含む。前記サーバは、インタラクティブ対象の音声駆動データに対して処理を実行して、前記インタラクティブ対象の姿態パラメータ値を生成し、前記姿態パラメータ値に基づいて３次元のまたは２次元のレンダリングエンジンを利用してレンダリングして、前記インタラクティブ対象の応答動画を得ることができる。前記サーバは、前記応答動画を端末デバイスに送信して展示することで目標対象に応答することができ、さらに、前記応答動画をクラウドに送信することで、端末デバイスがクラウドから前記応答動画を取得して目標対象に応答することができる。サーバは、前記インタラクティブ対象の姿態パラメータ値を生成した後に、さらに、前記姿態パラメータ値を端末に送信することによって、端末が、レンダリングの実行、動画の生成、展示の実行などの過程を完了するようにする。

【0055】

いくつかの実施例において、前記方法は、端末デバイスに応用され、前記端末デバイスは、インタラクティブ対象の音声駆動データに対して処理を実行して、前記インタラクティブ対象の姿態パラメータ値を生成し、前記姿態パラメータ値に基づいて３次元のまたは２次元レンダリングエンジンを利用してレンダリングして、前記インタラクティブ対象の応答動画を得、前記端末は、前記応答動画を展示することで目標対象に応答することができる。

【0056】

音声駆動データがオーディオデータを含むことに応答して、音声駆動データに対して音声認識を実行して、前記オーディオデータに含まれている音声内容を得、前記オーディオデータに含まれている目標データを確定することができる。音声内容と目標データとをマッチングすることによって、前記音声駆動データに含まれている目標データを確定することができる。

【0057】

音声駆動データがテキストデータを含むことに応答して、前記テキストデータに含まれているテキスト内容に基づいて、前記テキストデータに含まれている目標データを確定することができる。

【0058】

いくつかの実施例において、前記音声駆動データが音節データを含む場合、前記音声駆動データを分割して少なくとも１つの音節データを得ることができる。当業者は、音声駆動データを分割する方法は、１種の方法に限定されず、異なる分割方法によって異なる音節データの組み合わせを得ることができ、異なる分割方法に対して優先度を設定することによって、優先度が高い分割方法によって得られた音節データの組み合わせを分割結果として利用することができることを理解すべきである。

【0059】

分割して得られた音節データと目標音節データとをマッチングし、前記音節データが任意の音節タイプの目標音節データとマッチングされたことに応答して、前記音節データが目標音節データとマッチングされると確定することができ、さらに、前記音声駆動データが前記目標データを含むと確定することができる。たとえば、目標音節データは、「ｍａ」、「ｍａｎ」、「ｍａｎｇ」のようなタイプの音節データを含み得、前記音声駆動データが「ｍａ」、「ｍａｎ」、「ｍａｎｇ」の中の任意の１つにマッチングする音節データを含むことに応答して、前記音声駆動データが前記目標音節データを含むと確定することができる。

【0060】

前記音声駆動データが目標音節データを含む場合、前記目標音節データが属している音節タイプに基づいて、前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得し、インタラクティブ対象が対応する口形状を行うように制御することができる。上述した方法によって、音声駆動データに対応する口形状の制御パラメータシーケンスに基づいて前記インタラクティブ対象の口形状変化を制御することができ、インタラクティブ対象が擬人化された発話状態を実現するようにすることができる。

【0061】

分割して得られた音節データは、複数の音節データであり得る。複数の音節データ中の各々の音節データに対して、当該音節データが特定の目標音節データとマッチングされるか否かを検索し、当該音節データが特定の目標音節データとマッチングされると、当該目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得することができる。

【0062】

いくつかの実施例において、図４に示すように、ステップ２０３は、以下のステップをさらに含む。

【0063】

ステップ２０３１において、前記目標データに対応する音声情報を確定する。

【0064】

ステップ２０３２において、前記音声情報を出力する時間情報を取得する。

【0065】

ステップ２０３３において、前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定する。

【0066】

ステップ２０３４において、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスで前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0067】

前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御する場合、目標データに対応する音声情報を出力する時間情報を確定することができる。たとえば、前記目標データに対応する音声情報の出力を開始する時間、出力を終了する時間、および、時間長さを確定することができる。前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定することができ、前記実行時間内または実行時間の特定の範囲内で、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御することができる。

【0068】

本発明の実施例において、音声駆動データに基づいて音声を出力する時間長さは、複数の制御パラメータシーケンスに基づいてインタラクティブ対象が連続した所定の動作を実行するように制御する時間長さと、一致するかまたは類似である。また、各々の目標データに対して対応する音声を出力する時間長さも、対応する制御パラメータシーケンスに基づいてインタラクティブ対象が所定の動作を実行するように制御する時間長さと、一致するかまたは類似である。従って、インタラクティブ対象が発話する時間と動作を実行する時間とがマッチングされ、インタラクティブ対象の音声と動作とが同期および調整される。

【0069】

いくつかの実施例において、前記制御パラメータシーケンス中の各組の制御パラメータを所定の速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにすることができる。つまり、各々の目標データに対応する制御パラメータシーケンスは、常に一定の速度で実行される。

【0070】

目標データに対応する音素の数がより少ないが、目標データにマッチングする所定の動作の制御パラメータシーケンスがより長い場合、つまり、インタラクティブ対象が目標データを話す時間がより短いが、動作を実行する時間がより長い場合、音声の出力が終了した同時に、当該制御パラメータシーケンスの呼び出しも停止し、当該所定の動作の実行を停止することができる。また、当該所定の動作の終了の姿態と、次の指定された動作の始める姿態とは、スムーズに遷移され、前記インタラクティブ対象の動作がスムーズで自然になるようにし、目標対象のインタラクティブエクスペリエンスを改善した。

【0071】

いくつかの実施例において、各々の目標データに対して、当該目標データに対応する所定の動作の実行時間に基づいて、当該目標データに対応する制御パラメータシーケンスの呼び出し速度を確定し、当該目標データに対応する制御パラメータシーケンス中の各組の制御パラメータを前記呼び出し速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにすることを含む。

【0072】

実行時間がより短い場合、制御パラメータシーケンスの呼び出し速度が比較的に高いし、逆の場合は、より低い。制御パラメータシーケンスの呼び出し速度は、インタラクティブ対象の動作を実行する速度を決定する。たとえば、制御パラメータシーケンスをより高い速度で呼び出す場合、インタラクティブ対象の姿態変化の速度が対応的により速く、より短い時間で所定の動作を完了することができる。

【0073】

いくつかの実施例において、目標データを出力する音声の時間に基づいて所定の動作を実行する時間を調整することができる。たとえば、圧縮または拡張することができる、インタラクティブ対象が所定の動作を実行する時間が目標データを出力する音声の時間にマッチングされるようにして、インタラクティブ対象の音声と動作とが同期および調整される。

【0074】

１例において、前記目標データに対応する音素音声を出力する前の所定の時点で基づいて、前記目標データに対応する制御パラメータシーケンスを呼び出し始めることができ、前記インタラクティブ対象が制御パラメータシーケンスに対応する所定の動作を実行し始めるようにすることができる。

【0075】

たとえば、インタラクティブ対象が目標データに対応する音声を出力し始める前の極めて短い時間、たとえば０.１秒で、目標データに対応する制御パラメータシーケンスを呼び出し始めることによって、インタラクティブ対象が所定の動作を実行し始めるようしに、実在の人物の発話の状態により合致し、インタラクティブ対象の発話がより自然で鮮やかになるようにし、目標対象のインタラクティブ体験を改善した。

【0076】

いくつかの実施例において、複数の目標データの中の隣接する目標データがオーバーラップしていることが検出された場合、語順に従って（つまり、受信された音声駆動データの自然的な配列順序である）前に配列された目標データに対応する制御パラメータシーケンスに基づいて、前記インタラクティブ対象が対応する所定の動作を実行するように制御ことによって、当該目標データとオーバーラップしている後に配列された目標データを無視する。

【0077】

前記音声駆動データに含まれている各々の目標データをアレイの形で格納することができ、各々の目標データはそのアレイ中の要素である。形態素間を異なる方法に従って組み合わせて異なる目標データを得ることができるため、複数の目標データ中の隣接する２つの目標データ間にオーバーラップしている部分が存在することができる可能性ができることに注意すべきである。たとえば、音声駆動データに対応するテキストが「天気が本当にいい」である場合、それに対応する目標データは、それぞれ「１、天」、「２、天気」、「３、本当にいい」である。隣接する目標データ１と２の場合、その中に共同の形態素である「天」が含まれており、また、目標データ１と２が指定された同じ動作にマッチングされることができ、たとえば指で上方を指す動作にマッチングされることができる。

【0078】

各々の目標データに対してそれぞれ優先度を設定し、優先度に基づいてオーバーラップしている目標データ中のどれを実行するかを確定することができる。

【0079】

１例において、最初に出現される目標データの優先度をその後に出現される目標データよりも高く設定することができる。「天気が本当にいい」のような例の場合、「天」の優先度が「天気」よりも高いため、「天」に対応する所定の動作の制御パラメータシーケンスに基づいて前記インタラクティブ対象が所定の動作を実行するように制御し、残りの形態素である「気」を無視することができ（目標データである「天」とオーバーラップしている目標データである「天気」を無視する）、続いて、直接「本当にいい」にマッチングする。

【0080】

本発明の実施例において、隣接する目標データがオーバーラップしている場合に対して、マッチングルールを設定して、インタラクティブ対象が所定の動作を繰り返して実行してしまうことを回避することができる。

【0081】

いくつかの実施例において、前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出された場合、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合することができる。

【0082】

１つの実施例において、制御パラメータシーケンスのオーバーラップしている部分に対して平均または加重平均を実行することによって、オーバーラップしている制御パラメータシーケンスを融合することができる。

【0083】

もう１実施例において、補間法を利用して、前の動作の特定のフレーム（たとえば、当該動作に対応する第１制御パラメータシーケンスのＮ番目の組の制御パラメータｎである）を、遷移時間に従って次の動作に補間遷移する。次の動作中の第１フレームとオーバーラップし始めると（たとえば、前記制御パラメータｎが同じである、次の動作に対応する第２制御パラメータシーケンス中の第１組の制御パラメータ１を検索するか、または、次の動作を前記特定のフレームに補間することで、補間遷移した後の２つの動作の合計の実行時間と該当する音声データ/テキストデータの再生または表示時間が同一になるようにする）、前の１つの動作中の特定のフレーム後のすべてのフレームを無視し、直接次の動作を実行することによって、オーバーラップしている制御パラメータシーケンスの融合を実現することができる。

【0084】

前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合することによって、インタラクティブ対象の動作間がスムーズに遷移するようにすることができ、前記インタラクティブ対象の動作がスムーズで自然になり、目標対象のインタラクティブエクスペリエンスを改善した。

【0085】

いくつかの実施例において、前記音声駆動データ中の各々の目標データ以外の他のデータを、たとえば第１データと呼ぶことができる。前記第１データの音響特徴にマッチングする姿態制御パラメータに基づいて、前記インタラクティブ対象の姿態を制御することができる。

【0086】

前記音声駆動データがオーディオデータを含むことに応答して、前記第１データに含まれている音声フレームシーケンスを取得し、少なくとも１つの音声フレームに対応する音響特徴を取得し、前記音響特徴に対応する前記インタラクティブ対象の姿態制御パラメータ、たとえば姿態制御ベクトルに基づいて、前記インタラクティブ対象の姿態を制御することができる。

【0087】

前記音声駆動データがテキストデータを含むことに応答して、テキストデータ中の形態素に対応する音素に基づいて、前記音素に対応する音響特徴を取得し、前記音響特徴に対応する前記インタラクティブ対象の姿態制御パラメータ、たとえば姿態制御ベクトルに基づいて、前記インタラクティブ対象の姿態を制御することができる。

【0088】

本発明の実施例において、音響特徴は、基本周波数特徴、共通ピーク特徴、メル周波数係数（ＭｅｌＦｒｅｑｕｅｎｃｙＣｏｆｆｉｃｉｅｎｔ、ＭＦＣＣ）などのような、音声情感に関連する特徴であり得る。

【0089】

前記姿態制御パラメータ値と前記音声セグメントの音声フレームシーケンスとがマッチングされるため、前記第１データに基づいて出力した音声および/または展示したテキストと、前記姿態パラメータ値に基づいて制御したインタラクティブ対象の姿態とが、同期化される場合、インタラクティブ対象が行った姿態と出力した音声および/またはテキストとが同期化され、目標対象に前記インタラクティブ対象と話している感覚を与える。また、前記姿態制御ベクトルが音声を出力する音響特徴に関連しているため、前記姿態制御ベクトルに基づいて駆動することによって、インタラクティブ対象の表情と肢体動作に感情的な要素が加わり、インタラクティブ対象が発話する過程をより自然で鮮やかにし、目標対象のインタラクティブ体験を改善した。

【0090】

いくつかの実施例において、前記音声駆動データは、少なくとも１つの目標データおよび前記目標データ以外の第１データを含む。前記第１データに対しては、前記第１データの音響特徴に基づいて姿態制御パラメータを確定して、前記インタラクティブ対象の姿態を制御する。前記目標データに対しては、前記目標データにマッチングする所定の動作の制御パラメータシーケンスに基づいて、前記インタラクティブ対象が前記所定の動作を行うように制御する。

【0091】

図５は、本発明の少なくとも１つの実施例に係るインタラクティブ対象の駆動装置の構成を示す模式図であり、図５に示すように、当該装置は、表示デバイスに展示されているインタラクティブ対象の音声駆動データを取得するための第１取得ユニット３０１と、前記音声駆動データに含まれている目標データに基づいて、前記目標データにマッチングするインタラクティブ対象の所定の動作の制御パラメータシーケンスを取得するための第２取得ユニット３０２と、得られた制御パラメータシーケンスに基づいて前記インタラクティブ対象が前記所定の動作を実行するように制御するための駆動ユニット３０３と、を含む。

【0092】

いくつかの実施例において、前記装置は、前記音声駆動データに対応する音声情報に基づいて前記表示デバイスが音声を出力するように制御し、および/または、前記音声駆動データに対応するテキスト情報に基づいてテキストを展示するための出力ユニットを、さらに備える。

【0093】

いくつかの実施例において、前記駆動ユニットは、具体的に、前記目標データに対応する音声情報を確定し、前記音声情報を出力する時間情報を取得し、前記時間情報に基づいて前記目標データに対応する所定の動作の実行時間を確定し、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0094】

いくつかの実施例において、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記制御パラメータシーケンス中の各組の制御パラメータを所定の速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を展示するようにする。

【0095】

いくつかの実施例において、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記実行時間に基づいて、前記制御パラメータシーケンスの呼び出し速度を確定し、前記制御パラメータシーケンス中の各組の制御パラメータを前記呼び出し速度で呼び出して、前記インタラクティブ対象が各組の制御パラメータに対応する姿態を出力するようにする。

【0096】

いくつかの実施例において、前記制御パラメータシーケンスは、１組または複数組の制御パラメータを含み、前記駆動ユニットは、前記実行時間に基づいて、前記目標データに対応する制御パラメータシーケンスによって、前記インタラクティブ対象が前記所定の動作を実行するように制御するときに、具体的に、前記目標データに対応する音声情報を出力する前の所定の時点で、前記目標データに対応する制御パラメータシーケンスを呼び出し始めて、前記インタラクティブ対象が前記所定の動作を実行し始めるようにする。

【0097】

いくつかの実施例において、前記音声駆動データは、複数の目標データを含み、前記駆動ユニットは、具体的に、前記複数の目標データの中の隣接する目標データがオーバーラップしていることが検出されたことに応答して、語順に従って前に配列された目標データに対応する制御パラメータシーケンスに基づいて、前記インタラクティブ対象が前記所定の動作を実行するように制御する。

【0098】

いくつかの実施例において、前記音声駆動データは、複数の目標データを含み、前記駆動ユニットは、具体的に、前記複数の目標データの中の隣接する目標データに対応する制御パラメータシーケンスの実行時間がオーバーラップしていることが検出されたことに応答して、前記隣接する目標データに対応する制御パラメータシーケンスのオーバーラップしている部分を融合する。

【0099】

いくつかの実施例において、前記第２取得ユニットは、具体的に、前記音声駆動データがオーディオデータを含むことに応答して、前記オーディオデータに対して音声認識を実行し、認識した音声内容に基づいて、前記オーディオデータに含まれている目標データを確定し、前記音声駆動データがテキストデータを含むことに応答して、前記テキストデータに含まれているテキスト内容に基づいて、前記テキストデータに含まれている目標データを確定する。

【0100】

いくつかの実施例において、前記目標データは、目標音節データを含み、前記第２取得ユニットは、具体的に、前記音声駆動データに含まれている音節データが目標音節データにマッチングされるか否かを確定し、ここで、前記目標音節データは事前に分割された互いに異なる音節タイプに属し、互いに異なる音節タイプは互いに異なる所定の口形状に対応し、互いに異なる所定の口形状に対して対応する制御パラメータシーケンスが設定されており、また、前記音節データが前記目標音節データにマッチングされることに応答して、マッチングされる前記目標音節データが属している音節タイプに基づいて、マッチングされる前記目標音節データに対応する所定の口形状の制御パラメータシーケンスを取得する。

【0101】

いくつかの実施例において、前記装置は、前記音声駆動データの中の目標データ以外の第１データを取得し、前記第１データの音響特徴を取得し、前記音響特徴にマッチングする姿態制御パラメータを取得し、前記姿態制御パラメータに基づいて前記インタラクティブ対象の姿態を制御するための姿態制御ユニットをさらに備える。

【0102】

本明細書の少なくとも１つの実施例は、電子デバイスをさらに提供し、図６に示すように、前記デバイスは、メモリとプロセッサとを備え、メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、プロセッサは、前記コンピュータ命令が実行されるときに、本発明の任意の実施例に記載のインタラクティブ対象の駆動方法を実現する。本明細書の少なくとも１つの実施例は、コンピュータプログラムが記憶されているコンピュータ可読記録媒体をさらに提供し、前記プログラムがプロセッサによって実行されるときに、本発明の任意の実施例に記載のインタラクティブ対象の駆動方法を実現する。

【0103】

当業者は、本発明の１つまたは複数の実施例は、方法、システム、または、コンピュータプログラム製品として提供することができることを了解すべきである。したがって、本発明の１つまたは複数の実施例は、完全なハードウェアの実施例、完全なソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせた実施例の形式を使用することができる。また、本発明の１つまたは複数の実施例は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記録媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形式を使用することができる。

【0104】

本発明における各実施例は、いずれも、漸進的な方法を使用して叙述され、各実施例同士の間の同一または類似な一部は互いに参照することができ、各々の実施例では他の実施例との異なるところに焦点を合わせて説明した。特に、データ処理デバイスの実施例の場合、基本的に方法の実施例と類似であるため、比較的に的に簡単に叙述したが、関連するところは方法の実施例の一部の説明を参照すればよい。

【0105】

上記で本発明の特定の実施例を叙述した。他の実施例は、添付する「特許請求の範囲」の範囲内にいる。いくつかの場合、特許請求の範囲に記載の行為またはステップは、実施例と異なる順序に従って実行されることができ、このときにも依然として期待する結果が実現されることができる。また、図面で描かれた過程は、期待する結果するために、必ずとしても、示された特定の順序または連続的な順序を必要としない。いくつかの実施形態において、マルチタスク処理および並列処理も可能であるか、または、有益であり得る。

【0106】

本発明における主題および機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェアまたはファームウェア、本発明に開示される構成およびその構造的同等物を含むコンピュータハードウェア、または、それらの１つまたは複数の組み合わせで、実現されることができる。本発明における主題の実施例は、１つまたは複数のコンピュータプログラムとして実現されることができ、すなわち、有形の非一時的プログラムキャリア上に符号化されて、データ処理装置によって実行されるか、または、データ処理装置の操作を制御するための、コンピュータプログラム命令中の１つまたは複数のモジュールとして実現されることができる。代替的または追加的に、プログラム命令は、手動で生成する伝播信号上に符号化されることができ、例えば、機械が生成する電気信号、光信号、または、電磁信号に符号化されることができる。当該信号は、情報を符号化して適切な受信機装置に伝送して、データ処理装置によって実行されるようにするために、生成される。コンピュータ記録媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムにまたはシリアルアクセスメモリデバイス、または、それらの１つまたは複数の組み合わせであり得る。

【0107】

本発明における処理と論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なコンピュータによって実行されることができ、入力データに基づいて操作を実行して出力を生成することによって該当する機能を実行する。前記処理と論理フローは、さらに、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（専用集積回路）などの専用論理回路によって実行されることができ、また、装置も専用論理回路として実現されることができる。

【0108】

コンピュータプログラムの実行に適したコンピュータは、例えば、汎用、および／または、専用マイクロプロセッサ、または、いかなる他の種類の中央処理ユニットを含む。一般的に、中央処理ユニットは、読み取り専用メモリ、および／または、ランダムアクセスメモリから、命令とデータを受信することになる。コンピュータの基本コンポーネントは、命令を実施または実行するための中央処理ユニット、および、命令とデータを記憶するための１つまたは複数のメモリデバイスを含む。一般的に、コンピュータは、磁気ディスク、磁気光学ディスク、または、光学ディスクなどの、データを記憶するための１つまたは複数の大容量記憶デバイスをさらに含むか、または、操作可能に当該大容量記憶デバイスと結合されてデータを受信するかまたはデータを伝送するか、または、その両方を兼有する。しかしながら、コンピュータは、必ずとして、このようなデバイスを有するわけではない。なお、コンピュータは、もう１デバイスに埋め込まれることができ、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオおプレーヤー、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）レジーバー、または、汎用シリアルバス（ＵＳＢ）フラッシュドライブなどのポータブル記憶デバイスに埋め込まれることができ、これらデバイスはいくつかの例に過ぎない。

【0109】

コンピュータプログラム命令とデータの記憶に適したコンピュータ可読媒体は、すべての形式の不揮発性メモリ、媒介、および、メモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および、フラッシュデバイス）、磁気ディスク（例えば、内部ハードディスクまたは移動可能ディスク）、磁気光学ディスク、および、ＣＤＲＯＭ、および、ＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補完されるかまたは専用論理回路に組み込まれることができる。

【0110】

本発明は、多くの具体的な実施の細部を含むが、これらを本発明の範囲または保護しようとする範囲を限定するものとして解釈すべきではなく、主に本発明のいくつかの実施例の特徴を叙述するために使用される。本発明の複数の実施例中の特定の特徴は、単一の実施例に組み合わせて実施されることもできる。他方、単一の実施例中の各種の特徴は、複数の実施例で別々に実施されるかまたはいかなる適切なサブ組み合わせで実施されることもできる。なお、特徴が上記のように特定の組み合わせで役割を果たし、また最初からこのように保護すると主張したが、保護すると主張した組み合わせからの１つまたは複数の特徴は、場合によって当該組み合わせから除外されることができ、また保護すると主張した組み合わせはサブ組み合わせるまたはサブ組み合わせる変形に向けることができる。

【0111】

類似的に、図面で特定の順序に従って操作を描いたが、これはこれら操作を示した特定の順序にしたがって実行するかまたは順次に実行するように要求するか、または、例示したすべての操作が実行されることによって期待する結果が実現されると要求することであると理解すべきではない。場合によっては、マルチタスクおよび並列処理が有利である可能性がある。なお、上記の実施例中の各種のシステムモジュールとコンポーネントの分離は、すべての実施例でいずれもこのように分離されなければならないと理解すべきではないし、また、叙述したプログラムコンポーネントとシステムは、一般的に、一緒に単一のソフトウェア製品に統合されるか、または、複数のソフトウェア製品にパッケージされることができることを理解すべきである。

【0112】

したがって、主題の特定の実施例がすでに叙述された。他の実施例は、添付する「特許請求の範囲」の範囲内にある。場合によっては、特許請求の範囲に記載されている動作は、異なる順序によって実行されても、依然として期待する結果が実現されることができる。なお、図面で描かれた処理は、期待する結果を実現するために、必ずとして、示めされた特定の順序または順次を必要としない。一部の実現において、マルチタスクおよび並列処理が有益である可能性がある。

【0113】

上記は、本発明のいくつかの実施例に過ぎず、本発明を限定するために使用されるものではない。本発明の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも本発明の１つまたは複数の実施例の範囲に含まれるべきである。

【図1】