特開 2023-22222 バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023022222

(43)【公開日】2023-02-14

(54)【発明の名称】バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20230207BHJP

   G06T 13/20 20110101ALI20230207BHJP

   G06F 3/16 20060101ALI20230207BHJP

   G06F 3/01 20060101ALI20230207BHJP

   G06F 3/04845 20220101ALI20230207BHJP

【ＦＩ】

G06T13/40

G06T13/20 500

G06F3/16 630

G06F3/16 650

G06F3/16 620

G06F3/01 510

G06F3/04845

G06F3/16 680

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022191614

(22)【出願日】2022-11-30

(31)【優先権主張番号】202111519103.5

(32)【優先日】2021-12-13

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】柳 佳瑩

(72)【発明者】

【氏名】彭 昊天

(72)【発明者】

【氏名】許 詩卉

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA06

5B050BA09

5B050CA01

5B050EA19

5B050EA26

5B050FA02

5B050FA10

5E555AA27

5E555AA76

5E555BA02

5E555BA03

5E555BA05

5E555BA06

5E555BA45

5E555BB02

5E555BB03

5E555BB05

5E555BB06

5E555BC17

5E555BC18

5E555BE17

5E555CB64

5E555CC18

5E555DA23

5E555DB32

5E555DB57

5E555DC21

5E555DC30

5E555DC60

5E555DC85

5E555DD06

5E555EA07

5E555EA19

5E555EA23

5E555FA00

(57)【要約】

【課題】本開示は、バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供し、人工知能技術分野に関し、特に、コンピュータビジョン、音声対話、バーチャル・拡張現実等の技術分野に関する。
【解決手段】具体的な解決手段は、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、第１の音声コマンドに対応するターゲット調整対象を特定し、ターゲット調整対象に関連する複数のキャラクター素材を特定し、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、複数のキャラクター素材からターゲットキャラクター素材を特定し、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定することと、
前記ターゲット調整対象に関連する複数のキャラクター素材を特定することと、
ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定することと、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することとを含むバーチャルキャラクター生成方法。

【請求項2】

請求項１に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することは、
前記ターゲット調整対象に基づいて、前記初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定することと、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成することと、を含むバーチャルキャラクター生成方法。

【請求項3】

請求項２に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成することは、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、確認すべきサブバーチャルキャラクターを生成することと、
前記確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、前記確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、前記ターゲットバーチャルキャラクターを生成することと、を含むバーチャルキャラクター生成方法。

【請求項4】

請求項１～３のいずれか１項に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成した後、
ターゲットバーチャルキャラクターを生成したことに応答して、フィードバックするための動作情報を特定することと、
フィードバックするための音声情報を特定することと、
前記ターゲットバーチャルキャラクター、前記動作情報及び前記音声情報を融合し、ターゲットビデオを生成することと、をさらに含むバーチャルキャラクター生成方法。

【請求項5】

請求項４に記載の方法であって、
フィードバックするための音声情報を特定することは、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定することと、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定することと、
前記音声属性特徴情報に基づいて、前記フィードバックするための音声情報を特定することとを含むバーチャルキャラクター生成方法。

【請求項6】

請求項１～３のいずれか１項に記載の方法であって、
初期バーチャルキャラクターを生成するための生成音声コマンドを受信し、前記生成音声コマンドの語義情報を特定することと、
前記語義情報とマッチングする初期バーチャルキャラクターを特定することと、をさらに含むバーチャルキャラクター生成方法。

【請求項7】

請求項１～３のいずれか１項に記載の方法であって、
前記複数のキャラクター素材のうちの少なくとも１つのキャラクター素材は、服飾に関するキャラクター素材、五官に関連するキャラクター素材、髪型に関連するキャラクター素材の少なくとも１つを含むバーチャルキャラクター生成方法。

【請求項8】

初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定する第１の特定モジュールと、
前記ターゲット調整対象に関連する複数のキャラクター素材を特定する第２の特定モジュールと、
ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定する第３の特定モジュールと、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する生成モジュールと、を含むバーチャルキャラクター生成装置。

【請求項9】

請求項８に記載の装置であって、
前記生成モジュールは、
前記ターゲット調整対象に基づいて、前記初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定する第１の特定サブモジュールと、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成する生成サブモジュールと、を含むバーチャルキャラクター生成装置。

【請求項10】

請求項９に記載の装置であって、
前記生成サブモジュールは、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、確認すべきサブバーチャルキャラクターを生成する更新ユニットと、
前記確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、前記確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、前記ターゲットバーチャルキャラクターを生成する調整ユニットとを含むバーチャルキャラクター生成装置。

【請求項11】

請求項８～１０のいずれか１項に記載の装置であって、
さらに、生成モジュールの後で、
生成されたターゲットバーチャルキャラクターに応答して、フィードバックするための動作情報を特定する第４の特定モジュールと、
フィードバックするための音声情報を特定する第５の特定モジュールと、
前記ターゲットバーチャルキャラクター、前記動作情報及び前記音声情報を融合し、ターゲットビデオを生成する融合モジュールと、を含むバーチャルキャラクター生成装置。

【請求項12】

請求項１１に記載の装置であって、
前記第５の特定モジュールは、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定する第１の特定ユニットと、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定する第２の特定ユニットと、
前記音声属性特徴情報に基づいて、前記フィードバックするための音声情報を特定する第３の特定ユニットと、を含むバーチャルキャラクター生成装置。

【請求項13】

請求項８～１０のいずれか１項に記載の装置であって、
初期バーチャルキャラクターを生成するための生成音声コマンドを受信し、前記生成音声コマンドの語義情報を特定する受信モジュールと、
前記語義情報とマッチングする初期バーチャルキャラクターを特定する初期キャラクター特定モジュールと、をさらに含むバーチャルキャラクター生成装置。

【請求項14】

請求項８～１０のいずれか１項に記載の装置であって、
前記複数のキャラクター素材のうちの少なくとも１つのキャラクター素材は、服飾に関するキャラクター素材、五官に関するキャラクター素材、髪型に関するキャラクター素材の少なくとも１つを含むバーチャルキャラクター生成装置。

【請求項15】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～３のいずれか１項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。

【請求項16】

コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～３のいずれか１項に記載の方法を実行させる記憶媒体。

【請求項17】

プロセッサにより実行される場合に、請求項１～３のいずれか１項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能技術分野に関し、特に、コンピュータビジョン、音声対話、バーチャル・拡張現実等の技術分野に関する。具体的に、バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。

【背景技術】

【0002】

インターネット、３次元（３－Ｄｉｍｅｎｓｉｏｎａｌ）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、バーチャル現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）及びメタバース等の技術の飛躍的な発展に伴い、バーチャルキャラクターは、ゲーム、バーチャルソーシャル、対話型マーケティング等への適用がますます広くなっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0004】

本開示の一態様によれば、バーチャルキャラクター生成方法を提供し、該バーチャルキャラクター生成方法は、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定することと、前記ターゲット調整対象に関連する複数のキャラクター素材を特定することと、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定することと、前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することとを含む。

【0005】

本開示の別の一態様によれば、バーチャルキャラクター生成装置を提供し、該バーチャルキャラクター生成装置は、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定する第１の特定モジュールと、前記ターゲット調整対象に関連する複数のキャラクター素材を特定する第２の特定モジュールと、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定する第３の特定モジュールと、前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する生成モジュールとを含む。

【0006】

本開示の別の一態様によれば、電子機器を提供し、該電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されたメモリと備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される。

【0007】

本開示の別の一態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令が前記コンピュータに上記の方法を実行させる。

【0008】

本開示の別の一態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサにより実行される時に上記の方法を実現する。

【0009】

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【図面の簡単な説明】

【0010】

ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。

【図1】図１は、本開示の実施例に係るバーチャルキャラクター生成方法及び装置を適用できる例示的なシステムアーキテクチャを模式的に示す図である。

【図2】図２は、本開示の実施例に係るバーチャルキャラクター生成方法を模式的に示すフローチャートである。

【図3】図３は、本開示の実施例に係る初期バーチャルキャラクターを表示する表示インタフェースを模式的に示す模式図である。

【図4】図４は、本開示の別の実施例に係る初期バーチャルキャラクターを表示する表示インタフェースを模式的に示す模式図である。

【図5】図５は、本開示の別の実施例に係るバーチャルキャラクター生成方法を模式的に示すフローチャートである。

【図6】図６は、本開示の実施例に係るバーチャルキャラクター生成装置を模式的に示すブロック図である。

【図7】図７は、本開示の実施例に係るバーチャルキャラクター生成方法を実現するための電子機器を模式的に示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0012】

本開示は、バーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

【0013】

本開示の実施例によれば、バーチャルキャラクター生成方法を提供し、該バーチャルキャラクター生成方法は、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、第１の音声コマンドに対応するターゲット調整対象を特定することと、ターゲット調整対象に関連する複数のキャラクター素材を特定することと、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、複数のキャラクター素材からターゲットキャラクター素材を特定することと、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することとを含んでもよい。

【0014】

本開示の技術案において、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも関連する法律・法規の規定に適合し、かつ公序良俗に反するものではない。

【0015】

図１は、本開示の実施例に係るバーチャルキャラクター生成方法及び装置を適用できる例示的なシステムアーキテクチャを模式的に示す図である。

【0016】

留意されるべきこととして、図１に示すのは、本開示の実施例のシステムアーキテクチャを適用できる例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は、別の装置、システム、環境又はシーンに適用できないことを語義するものではない。例えば、別の実施例において、バーチャルキャラクター生成方法及び装置を適用できる例示的なシステムアーキテクチャは、端末装置を含んでもよいが、端末装置は、サーバと対話する必要がなく、本開示の実施例が提供するバーチャルキャラクター生成方法及び装置を実現することができる。

【0017】

図１に示すように、該実施例に係るシステムアーキテクチャ１００は、端末装置１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５とを含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供する。ネットワーク１０４は、例えば、有線及び／又は無線通信リンクなどの様々な接続タイプを含んでもよい。

【0018】

ユーザは、端末装置１０１、１０２、１０３を使用して、ネットワーク１０４を介してサーバ１０５と対話することにより、メッセージ等を受信又は送信してもよい。端末装置１０１、１０２、１０３には、例えば、知識閲覧系アプリケーション、ウェブブラウザアプリケーション、サーチ系アプリケーション、リアルタイム通信ツール、メールボックスクライアント及び／又はソーシャルプラットフォームソフトウェアなど（例に過ぎない）の様々な通信クライアントアプリケーションがインストールされてもよい。

【0019】

端末装置１０１、１０２、１０３は、表示スクリーンを備え、ウェブブラウシングをサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されない。

【0020】

サーバ１０５は、様々なサービスを提供するサーバであってもよく、例えば、ユーザが端末装置１０１、１０２、１０３を用いてブラウシングされた内容をサポートするバックグラウンド管理サーバ（例に過ぎない）である。バックグラウンド管理サーバは、受信されたユーザ要求等のデータを解析等の処理を行い、処理結果（例えば、ユーザの要求に応じて取得又は生成されたウェブページ、情報、又はキャラクター素材等）を端末装置にフィードバックしてもよい。

【0021】

説明すべきこととして、本開示の実施例が提供するバーチャルキャラクター生成方法は、一般的に、端末装置１０１、１０２、又は１０３により実行されてもよい。それに対して、本開示の実施例が提供するバーチャルキャラクター生成装置は、端末装置１０１、１０２、又は１０３に設置されてもよい。

【0022】

又は、本開示の実施例が提供するバーチャルキャラクター生成方法は、一般的に、サーバ１０５により実行されてもよい。それに対して、本開示の実施例が提供するバーチャルキャラクター生成装置は、一般的に、サーバ１０５に設置されてもよい。本開示の実施例が提供するバーチャルキャラクター生成方法は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタにより実行されてもよい。それに対して、本開示の実施例が提供するバーチャルキャラクター生成装置は、サーバ１０５と異なり、端末装置１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタに設置されてもよい。

【0023】

理解されるべきこととして、図１における端末装置、ネットワーク及びサーバの数は、単に例示的である。必要に応じて、任意の数の端末装置、ネットワーク及びサーバを備えてもよい。

【0024】

図２は、本開示の実施例に係るバーチャルキャラクター生成方法を模式的に示すフローチャートである。

【0025】

図２に示すように、該方法２００は、操作Ｓ２１０～Ｓ２４０を含む。

【0026】

操作Ｓ２１０において、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、第１の音声コマンドに対応するターゲット調整対象を特定する。

【0027】

操作Ｓ２２０において、ターゲット調整対象に関連する複数のキャラクター素材を特定する。

【0028】

操作Ｓ２３０において、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、複数のキャラクター素材からターゲットキャラクター素材を特定する。

【0029】

操作Ｓ２４０において、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する。

【0030】

本開示の実施例によれば、バーチャルキャラクター（Ｖｉｒｔｕａｌ Ｃｈａｒａｃｔｅｒ）は、合成されたキャラクターを指してもよい。バーチャルキャラクターの構造から言えば、バーチャルキャラクターは、３次元モデルのキャラクターであってもよく、平面画像のキャラクターであってもよい。バーチャルキャラクターのタイプから言えば、バーチャルキャラクターは、人物キャラクターをシミュレートして形成されたバーチャルキャラクターであってもよく、動物キャラクターをシミュレートして形成されたバーチャルキャラクターであってもよく、アニメや漫画中のキャラクターに基づいて形成されたバーチャルキャラクターであってもよい。

【0031】

本開示の実施例によれば、初期バーチャルキャラクターは、初期化されたテンプレートバーチャルキャラクターを指してもよく、ユーザがテンプレートバーチャルキャラクター上において編集した後に得られたキャラクターを指してもよい。ユーザが確認していないバーチャルキャラクターであれば、初期バーチャルキャラクターとして定義されてもよい。

【0032】

本開示の実施例によれば、第１の音声コマンドは、初期バーチャルキャラクターを調整するためのコマンドを指してもよく、例えば、「口を更新してください」又は「口に関する素材を提供してください」などのキャラクター素材を調整又は呼び出す語義を有する音声であっても良い。本開示の実施例は、第１の音声コマンドに対して話術を限定せず、語義認識技術によりキャラクター素材を呼び出す又は初期バーチャルキャラクターを調整するための意図を認識できればよい。

【0033】

本開示の実施例によれば、第１の音声コマンドに対して語義認識処理を行い、第１の音声コマンドに対応するターゲット調整対象を特定してもよい。ただし、ユーザが出した音声コマンドに、関連する対象の内容が言及されていない可能性もあり、この場合、音声対話機能を用いて、ユーザに、例えば、「どの部位に対する調整ですか？」という問い合わせ音声を出してもよい。ユーザが該問い合わせ音声を聞いた後に出力された、ターゲット調整対象を指示するための音声コマンドを第１の音声コマンドとしてもよい。

【0034】

本開示の実施例によれば、ターゲット調整対象に関連する複数のキャラクター素材は、キャラクター素材データベースから取得されてもよい。ターゲット調整対象に関連するキャラクター素材の数は、複数に限定されず、１つであってもよい。キャラクター素材データベースに予め記憶されているキャラクター素材の数に応じて特定されてもよい。ただし、キャラクター素材の提供する数が多いほど、ユーザが選択する余地も大きくなり、ユーザ体験を向上させることになる。

【0035】

本開示の実施例によれば、ターゲット調整対象に関連することが特定された複数のキャラクター素材をリストの形態で所定の表示インタフェースに表示してもよい。順に配列する形態で表示してもよく、スクロールの形態で表示してもよく、表示の形態を限定せず、ユーザが複数のキャラクター素材からターゲットキャラクター素材を特定するようにユーザに提示することができればよい。

【0036】

本開示の実施例によれば、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、ターゲットキャラクター素材を特定する操作を実行してもよい。該第２の音声コマンドは、ターゲットキャラクター素材を特定するためのコマンドを指してもよく、例えば、「ラベルが０２２である素材を選択ください」、又は「「優しい」と標識された女性のメイクを選択してください」等のターゲットキャラクター素材向けの語義を有する音声である。本開示の実施例は、第２の音声コマンドに対して話術を限定せず、語義認識技術によりターゲットキャラクター素材を特定するための意図を認識することができればよい。

【0037】

本開示の実施例によれば、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成してもよい。例えば、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成する。ターゲットキャラクター素材を初期バーチャルキャラクターに添加して、ターゲットバーチャルキャラクターを生成してもよい。ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ユーザが満足するターゲットバーチャルキャラクターを取得すればよい。

【0038】

本開示の実施例が提供するバーチャルキャラクター生成方法を利用すれば、音声対話機能を用いてターゲット調整対象に関連するキャラクター素材を呼び出し、複数のキャラクター素材からターゲットキャラクター素材を特定し、ターゲットキャラクター素材と初期バーチャルキャラクターとを組み合わせることによってターゲットバーチャルキャラクターを生成してもよく、それにより、効率的、簡単な方式で、満足できるターゲットバーチャルキャラクターを生成する。さらに、車載スクリーン、メタバース等のシーンにおいて、ユーザが両手で操作しにくい場合、個性的なターゲットバーチャルキャラクターを効果的に制御して生成することができる。

【0039】

本開示の実施例によれば、操作Ｓ２１０を実行する前に、以下の操作を実行して初期バーチャルキャラクターを生成してもよい。

【0040】

例えば、初期バーチャルキャラクターを生成するための生成音声コマンドを受信し、生成音声コマンドの語義情報を特定して、語義情報とマッチングする初期バーチャルキャラクターを特定する。

【0041】

本開示の実施例によれば、ユーザは、自然言語例えば生成音声コマンドを用いて、初期バーチャルキャラクターを音声で描き出してもよい。音声認識モデルを用いて、ユーザが入力した生成音声コマンドを認識し、音声を文字に変換してもよい。例えば、ユーザは、「優しい女性キャラクターがほしい」という生成音声コマンドを出す。音声認識モデルを用いて、生成音声コマンドを生成音声コマンドに対応する文字に変換してもよい。その後、文字に解析処理を行うことができ、音声コマンドを生成するための語義情報例えばキー情報を抽出し、初期バーチャルキャラクターを描き出すためのキーワードを知る。例えば、「優しい」、「女性」等のキーワードである。語義解析により抽出されたキーワードに基づいて、モデルリソースライブラリにおいて、描き出しに適合する「顔型」、「五官」、「髪型」、「服飾」等のモデルリソースをマッチングしてもよい。

【0042】

本開示の実施例によれば、モデルリソースライブラリにおける例えば、五官、髪型、服飾などのモデルリソースは、キャラクター素材データベースにおける、五官に関するキャラクター素材、髪型に関するキャラクター素材、服飾に関するキャラクター素材等のキャラクター素材であると理解されてもよい。ただし、これに限定されない。さらに、モデルリソースライブラリにおけるモデルリソースとキャラクター素材データベースにおけるキャラクター素材とが完全に異なることであってもよく、これにより、ユーザの第１の音声コマンドに応答して、ユーザに提示された複数のキャラクター素材に初期バーチャルキャラクターを生成するためのモデルリソースを含んで、複数のキャラクター素材を表示するための表示領域を占用することを回避する。

【0043】

本開示の実施例が提供するバーチャルキャラクター生成方法を利用すれば、ユーザの生成音声コマンドを用いて、初期バーチャルキャラクターを自動的に生成してもよい。初期バーチャルキャラクターを構成する際に、五官、髪型、服飾などの部品数が多い場合、ユーザが各部品の選択における大量の時間と手間を費やすという問題を回避する。

【0044】

本開示の実施例が提供するバーチャルキャラクター生成方法を利用すれば、専門的な3 Dモデリング知識を低減し、かつ手間、及び経済的コストを低減することができ、さらに、非専門家ユーザも、様々のスタイル、多キャラ設定のバーチャルキャラクター、例えばバーチャルデジタルヒューマンを作成することができる。

【0045】

図３は、本開示の実施例に係る初期バーチャルキャラクターを表示する表示インタフェースを模式的に示す模式図である。

【0046】

図３に示すように、初期バーチャルキャラクター310は、バーチャルデジタルヒューマンのキャラクターであってもよい。初期バーチャルキャラクターは、例えば髪型、五官、服飾などの既に構成された人物の外形であるバーチャルキャラクターであってもよい。

【0047】

初期バーチャルキャラクターは、バーチャルキャラクターテンプレートを用いて生成されたバーチャルキャラクターであってもよいが、これに限定されなく、ユーザがバーチャルキャラクターテンプレートを基に調整することにより生成されたバーチャルキャラクターであってもよい。初期バーチャルキャラクターは、まだユーザの基準に達していないバーチャルキャラクターであってもよい。この場合、ユーザは、日常対話のように自然言語で例えばコンピュータ、車載スクリーンなどの端末装置に、他のスタイル、他のキャラ設定のバーチャルキャラクターを描き出してもよい。例えば、第１の音声コマンドを出すことにより、初期バーチャルキャラクターを調整する意図を表現する。第１の音声コマンドにおけるターゲット調整対象は、五官、髪型、服飾などであってもよい。第１の音声コマンドにおけるターゲット調整対象に基づいて、ターゲット調整対象に関連する複数のキャラクター素材を特定してもよく、複数のキャラクター素材は、１つのタイプであってもよく、例えば、五官に関するキャラクター素材であり、より具体的に、眉毛に関するキャラクター素材３２０である。ただし、これに限定されなく、例えば、服飾に関する素材及び髪型に関する素材のような複数のタイプであってもよい。

【0048】

図３に示すように、特定された複数のキャラクター素材は、表示インタフェースのキャラクター素材表示領域に表示されてもよい。例えば、タイルのように全て表示される。各キャラクター素材の画像に、キャラクター素材標識ラベル３３０を標識してもよい。それにより、ユーザがターゲットキャラクター素材を特定するための第２の音声コマンドを出す際に、キャラクター素材標識ラベルを用いてターゲットキャラクター素材を明確かつ明瞭に指示することができ、端末装置が第２の音声コマンドからターゲットキャラクター素材を語義認識したことに役立ちこともでき、さらに、ユーザと端末装置との間の音声対話能力を向上させる。

【0049】

図３に示すように、ユーザがターゲットキャラクター素材を特定する場合、ターゲットキャラクター素材を用いて初期バーチャルキャラクター３１０を調整し、ターゲットバーチャルキャラクター３４０を生成してもよい。

【0050】

キャラクター素材の数が多い場合、キャラクター素材表示領域の面積が一定であるため、スクロールの形態で表示してもよく、それにより、ユーザが手動の必要としない場合、全ての素材を閲覧でき、かつ音声対話機能を用いて、例えば第１の音声コマンド、第２の音声コマンドを出せれば、要求のトリガを完成させることができる。バーチャルキャラクターの生成のスマートレベルや利便性を向上させる。

【0051】

本開示の実施例によれば、操作Ｓ２４０に対して、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することは、以下の操作を含んでもよい。

【0052】

例えば、ターゲット調整対象に基づいて、初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定する。並びに、ターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成する。

【0053】

本開示の実施例によれば、ターゲット調整対象は、初期バーチャルキャラクターの調整すべき部位を指してもよく、例えば、髪をターゲット調整対象とし、又は口を調整対象とする。初期サブバーチャルキャラクターは、ターゲット調整対象に対応するリソースモデル又はキャラクター素材であってもよい。ターゲット調整対象に基づいて初期サブバーチャルキャラクターを特定する場合、迅速にターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを取得できる。

【0054】

本開示の実施例によれば、ターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを更新することは、ターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを入れ替えることに理解されてもよい。例えば、ターゲット調整対象は、目であり、ユーザが指定したターゲットキャラクター素材例えば一重まぶたの目を用いて、初期サブバーチャルキャラクター例えば二重まぶたの目を入れ替え、一重まぶたの目を有するターゲットバーチャルキャラクターを生成してもよい。ただし、これに限定されない。さらに、ターゲットキャラクター素材を初期バーチャルキャラクターに添加することであってもよい。例えば、ターゲット調整対象は、髪飾りであり、初期バーチャルキャラクターにいかなる髪飾りに関するものでなければ、初期サブバーチャルキャラクターが無しであると特定される。初期サブバーチャルキャラクターが無しであると特定された場合、ターゲットキャラクター素材を初期バーチャルキャラクターに添加して、ターゲットバーチャルキャラクターを生成してもよい。

【0055】

図４は、本開示の実施例に係る初期バーチャルキャラクターを表示する表示インタフェースを模式的に示す模式図である。

【0056】

図４に示すように、ターゲットキャラクター素材を用いて、初期サブバーチャルキャラクターが更新された後、確認すべきサブバーチャルキャラクター４１０を生成してもよい。この場合、ユーザに問い合わせ情報、例えば音声問い合わせ情報を出力し、又は表示インタフェースに文字問い合わせ情報を表示しかつ音声問い合わせ情報と組み合わせてもよい。問い合わせ情報は、確認すべきサブバーチャルキャラクター４１０の語義を確認するか否かを含む情報であってよい。例えば、「該キャラクターが満足するか否か？」。ユーザが満足するとの回答音声情報を出すことに応答して、確認すべきサブバーチャルキャラクターをターゲットバーチャルキャラクター４２０としてもよい。

【0057】

ユーザが出した確認すべきサブバーチャルキャラクター４１０を調整するための第３の音声コマンドに応答して、確認すべきサブバーチャルキャラクター４１０における骨格ノードを調整し、ターゲットバーチャルキャラクター４２０’を生成する。

【0058】

本開示の実施例によれば、第３の音声コマンドは、確認すべきサブバーチャルキャラクターを調整するためのコマンドであってもよく、例えば、「小顔に変えてください」又は「口を小さくしてください」などの調整語義を有する音声である。本開示の実施例は、第３の音声コマンドの話術を限定せず、語義認識技術により確認すべきサブバーチャルキャラクターを調整するための意図を認識できればよい。

【0059】

本開示の実施例によれば、骨格ノードは、３次元モデルにおいて、骨格ツリーにおける各骨格ノードを指してもよい。３次元モデルは、顔３次元モデルを指してもよい。顔の幾何学的構造に対して骨格ツリーを設計し、骨格スキンの各スキンメッシュノードと骨格ツリーにおける各骨格ノードとの間に重み影響関係を確立してもよい。その後、骨格ツリーにおける骨格ノードの回転、平行移動、ズーム等により、各骨格ノードの変形を骨格スキンの各スキンメッシュノードに伝導し、各スキンメッシュノードの変形を実現する。

【0060】

本開示の実施例によれば、語義認識技術により、第３の語義指令における確認すべきバーチャルキャラクターを調整することについてのキーワード、例えば、「口」、「小さくして」等を抽出してもよい。その後、該語義情報に対応する骨格ノードに対する調整データを特定し、調整データを用いて、確認すべきバーチャルキャラクターの骨格ノードを調整し、ターゲットバーチャルキャラクターを取得する。

【0061】

図５は、本開示の別の実施例に係るバーチャルキャラクター生成方法を模式的に示すフローチャートである。

【0062】

図５に示すように、該方法は、以下の操作Ｓ５１０～Ｓ５５０、Ｓ５６１１～Ｓ５６１４、Ｓ５６２、Ｓ５７０、Ｓ５８１～Ｓ５８２を含んでもよい。

【0063】

操作Ｓ５１０において、ユーザの音声入力された初期バーチャルキャラクターを生成するための生成音声コマンドを受信してもよい。

【0064】

操作Ｓ５２０において、生成音声コマンドから初期バーチャルキャラクターを描き出すための語義情報を抽出する。

【0065】

操作Ｓ５３０において、モデルリソースライブラリにおけるモデルリソースとマッチングする。

【0066】

操作Ｓ５４０において、初期バーチャルキャラクターを生成する。

【0067】

操作Ｓ５５０において、初期バーチャルキャラクターを調整する必要があるか否かを特定する。

【0068】

操作Ｓ５６１１において、第１の音声コマンドに基づいて、調整する必要があると特定された場合、ターゲット調整対象を特定する。

【0069】

操作Ｓ５６１２において、ターゲット調整対象に関連する複数のキャラクター素材を特定する。

【0070】

操作Ｓ５６１３において、第２の音声コマンドに基づいて、複数のキャラクター素材からターゲットキャラクター素材を特定する。

【0071】

操作Ｓ５６１４において、ターゲットキャラクター素材を用いて、初期バーチャルキャラクターを調整し、確認すべきサブバーチャルキャラクターを生成する。

【0072】

操作Ｓ５６２において、修正する必要がない場合、初期バーチャルキャラクターをターゲットバーチャルキャラクターとする。

【0073】

操作Ｓ５７０において、確認すべきサブバーチャルキャラクターにおける骨格ノードを調整する必要があるか否かを特定する。

【0074】

操作Ｓ５８１において、第３の音声コマンドに基づいて、修正する必要があると特定された場合、骨格ノードを調整し、ターゲットバーチャルキャラクターを生成する。

【0075】

操作Ｓ５８２において、修正する必要がない場合、確認すべきサブバーチャルキャラクターをターゲットバーチャルキャラクターとする。

【0076】

本開示の実施例が提供するバーチャルキャラクターの生成方法を利用して、初期バーチャルキャラクターに対して多数回の編集を行ってターゲットバーチャルキャラクターを生成することができ、これにより、ターゲットバーチャルキャラクターの満足度を向上させ、かつ生成方式の柔軟性、知性を向上させる。また、多数回の編集において、例えば、骨格ノードを用いて調整するか、又はキャラクター素材を更新するような異なる方式であってもよく、これにより、キャラクター素材の数が限られていること、又はキャラクター素材が予め作成されて調整することができない等の欠陥を補うことができる。

【0077】

本開示の実施例によれば、操作Ｓ２４０を実行し、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成した後、さらに、以下のターゲットバーチャルキャラクターの表示操作を実行してもよい。

【0078】

例えば、ターゲットバーチャルキャラクターが既に生成されたことに応答して、フィードバックするための動作情報を特定する。フィードバックするための音声情報を特定する。ターゲットバーチャルキャラクター、動作情報及び音声情報を融合し、ターゲットビデオを生成する。

【0079】

本開示の実施例によれば、ターゲットバーチャルキャラクターを生成する場合、ターゲットバーチャルキャラクターを動作情報、表情情報、及び音声情報に合わせてアニメーション効果の表示を行ってもよい。

【0080】

例えば、性別が「男」であるターゲットバーチャルキャラクターは、「挨拶」のジェスチャ及び回転の動作に合わせ、「ＨＩ、こんにちは、私はあなたの専用のバーチャルキャラクターです！」と組み合わせて、ターゲットビデオを生成する。

【0081】

本開示の実施例によれば、確認すべきサブバーチャルキャラクターオブジェクトが既に生成されたことに応答して、問い合わせするための動作情報を特定してもよい。音声問い合わせ情報を特定する。確認すべきサブバーチャルキャラクター、問い合わせするための動作情報及び音声問い合わせ情報を融合して、確認すべきサブバーチャルキャラクターを確認するための問い合わせビデオを生成する。

【0082】

本開示の実施例によれば、さらに、ユーザが出した確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、確認すべきサブバーチャルキャラクターにおける骨格ノードを調整してもよく、調整が失敗する。調整が失敗したと特定された場合、確認すべきサブバーチャルキャラクター、確認すべきサブバーチャルキャラクターをフィードバックするための動作情報、確認すべきサブバーチャルキャラクターをフィードバックするための音声情報を融合し、調整が失敗したことを示すためのフィードバックビデオを生成する。

【0083】

例えば、確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、調整が失敗した場合、確認すべきサブバーチャルキャラクターを最終バーチャルキャラクターとしてもよい。例えば、「残念ながら、修正が失敗した」を、確認すべきサブバーチャルキャラクターをフィードバックするための音声情報とする。「両手を広げる」というジェスチャ動作を、確認すべきサブバーチャルキャラクターをフィードバックするための動作情報とする。三者を融合し、調整が失敗したことを示すためのフィードバックビデオを取得する。

【0084】

本開示の実施例によれば、フィードバックするための動作情報の生成方式と、フィードバックするための音声情報の生成方式と、ターゲットバーチャルキャラクター、動作情報及び音声情報を融合する方式とについて、いずれも限定されない。本分野において既知の生成方式又は融合方式であればいずれでもよい。

【0085】

本開示の実施例によれば、フィードバックするための音声情報を特定することは、以下の操作を含んでもよい。

【0086】

例えば、ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定することと、ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定することと、音声属性特徴情報に基づいて、フィードバックするための音声情報を特定することとを含む。

【0087】

本開示の実施例によれば、キャラクターの属性特徴情報は、以下の少なくとも１つを含んでもよく、例えば、性別、年齢、職業、個性、身長、外見等である。音声属性特徴情報は、以下の少なくとも１つを含んでもよい、例えば、音量特徴情報、声紋特徴情報、音色特徴情報、話しぶり特徴情報、感情特徴情報、音声コンテンツ等である。

【0088】

本開示の実施例によれば、フィードバックするための動作情報を特定することは、以下の操作を含んでもよい。

【0089】

例えば、ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定することと、ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする動作属性特徴情報を特定することと、動作属性特徴情報に基づいて、フィードバックするための動作情報を特定することとを含む。

【0090】

本開示の実施例によれば、キャラクターの属性特徴情報は、以下の少なくとも１つを含んでもよく、例えば、性別、年齢、職業、個性、身長、外見等である。動作属性特徴情報は、以下の少なくとも１つを含んでもよく、例えば、動作幅特徴情報、動作部位特徴情報、動作タイプ特徴情報、感情特徴情報等である。

【0091】

本開示の実施例によれば、ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定することは、語義類似度によりマッチングすることであってもよい。例えば、キャラクター属性特徴情報と音声属性特徴情報との間の語義類似度が、所定の類似度閾値以上である。但し、これに限定されない。所定のマッチングマッピングテーブルにより、キャラクター属性特徴情報に基づいて、所定のマッチングマッピングテーブルから、キャラクター属性特徴情報とマッチングする音声属性特徴情報を認識してもよい。

【0092】

本開示の実施例によれば、ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする動作属性特徴情報を特定することは、語義類似度によりマッチングしてもよい。例えば、キャラクター属性特徴情報と動作属性特徴情報との間の語義類似度が、所定の類似度閾値以上である。但し、これに限定されない。所定のマッチングマッピングテーブルにより、キャラクター属性特徴情報に基づいて、所定のマッチングマッピングテーブルから、キャラクター属性特徴情報とマッチングする動作属性特徴情報を認識してもよい。

【0093】

例えば、男生キャラクターを生成する場合に、「上品なお辞儀」、「挨拶」、「笑顔」等の動作に合わせ、同時に音声を合わせて「ＨＩ、こんにちは、私はあなたの専用のバーチャルキャラクターです」をフィードバックし、ターゲットビデオを生成する。女性のキャラクターを生成する場合に、「プリンセスのお辞儀」、「笑顔」、「瞬き」等のアニメーションに合わせ、同時に音声を合わせて「こんにちはね、私はあなたが生成したバーチャルキャラクターです」をフィードバックし、ターゲットビデオを生成する。

【0094】

本開示の実施例が提供するバーチャルキャラクターの生成方法を利用することにより、興趣性を向上させ、ユーザ体験を向上させ、ユーザの個性化需要を満たすことができる。

【0095】

図６は、本開示の実施例に係るバーチャルキャラクター生成装置を模式的に示すブロック図である。

【0096】

図６に示すように、バーチャルキャラクター生成装置６００は、第１の特定モジュール６１０と、第２の特定モジュール６２０と、第３の特定モジュール６３０と、生成モジュール６４０とを含んでもよい。

【0097】

第１の特定モジュール６１０は、初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、第１の音声コマンドに対応するターゲット調整対象を特定する。

【0098】

第２の特定モジュール６２０は、ターゲット調整対象に関連する複数のキャラクター素材を特定する。

【0099】

第３の特定モジュール６３０は、ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、複数のキャラクター素材からターゲットキャラクター素材を特定する。

【0100】

生成モジュール６４０は、ターゲットキャラクター素材を用いて初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する。

【0101】

本開示の実施例によれば、生成モジュールは、第１の特定サブモジュールと、生成サブモジュールとを含んでもよい。

【0102】

第１の特定サブモジュールは、ターゲット調整対象に基づいて、初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定する。

【0103】

生成サブモジュールは、ターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成する。

【0104】

本開示の実施例によれば、生成サブモジュールは、更新ユニットと、調整ユニットとを含んでもよい。

【0105】

更新ユニットは、ターゲットキャラクター素材を用いて初期サブバーチャルキャラクターを更新し、確認すべきサブバーチャルキャラクターを生成する。

【0106】

調整ユニットは、確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、ターゲットバーチャルキャラクターを生成する。

【0107】

本開示の実施例によれば、生成モジュールの後、バーチャルキャラクター生成装置は、第４の特定モジュールと、第５の特定モジュールと、融合モジュールとをさらに含んでもよい。

【0108】

第４の特定モジュールは、生成されたターゲットバーチャルキャラクターに応答して、フィードバックするための動作情報を特定する。

【0109】

第５の特定モジュールは、フィードバックするための音声情報を特定する。

【0110】

融合モジュールは、ターゲットバーチャルキャラクター、動作情報及び音声情報を融合し、ターゲットビデオを生成する。

【0111】

本開示の実施例によれば、第５の特定モジュールは、第１の特定ユニットと、第２の特定ユニットと、第３の特定ユニットとを含んでもよい。

【0112】

第１の特定ユニットは、ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定する。

【0113】

第２の特定ユニットは、ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定する。

【0114】

第３の特定ユニットは、音声属性特徴情報に基づいて、フィードバックするための音声情報を特定する。

【0115】

本開示の実施例によれば、バーチャルキャラクター生成装置は、受信モジュールと、初期キャラクター特定モジュールとをさらに含んでもよい。

【0116】

受信モジュールは、初期バーチャルキャラクターを生成するための音声生成コマンドを受信し、音声コマンドを生成する語義情報を特定する。

【0117】

初期キャラクター特定モジュールは、語義情報とマッチングする初期バーチャルキャラクターを特定する。

【0118】

本開示の実施例によれば、複数のキャラクター素材のうち、少なくとも１つのキャラクター素材は、服飾に関連するキャラクター素材、五官に関連するキャラクター素材、髪型に関連するキャラクター素材の少なくとも１つを含む。

【0119】

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。

【0120】

本開示の実施例によれば、電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されたメモリとを備え、メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサが前記のような方法を実行することができるように、少なくとも１つのプロセッサにより実行される。

【0121】

本開示の実施例によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体は、コンピュータ命令がコンピュータに前記のような方法を実行させる。

【0122】

本開示の実施例によれば、コンピュータプログラムは、プロセッサにより実行される場合に、前記のような方法を実現する。

【0123】

図7は、本開示の実施例を実現するための例示的な電子機器７００を模式的に示すブロック図である。電子機器は、様々な形態のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータである。電子機器は、さらに様々な形態の移動装置を示してもよく、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0124】

図７に示すように、電子機器７００は、演算ユニット７０１を含み、演算ユニット７０１は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ７０３には、さらに電子機器７００の操作に必要な様々なプログラム及びデータを記憶してもよい。演算ユニット７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続される。入出力インタフェース７０５も、バス７０４に接続される。

【0125】

電子機器７００における複数の部品は、Ｉ／Ｏインタフェース７０５に接続され、例えばキーボード、マウス等の入力ユニット７０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット７０７と、例えば磁気ディスク、光ディスク等の記憶ユニット７０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット７０９とを含む。通信ユニット７０９は、電子機器７００がインターネット等のコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報／データをやり取りすることを可能にする。

【0126】

演算ユニット７０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。演算ユニット７０１の幾つかの例としては、中央処理装置（ＣＰＵ）、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）、各種専用の人工知能（ＡＩ）演算チップ、各種動作機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（ＤＩＧＩＴＡＬ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＯＲ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、それらに限定されない。演算ユニット７０１は、例えばバーチャルキャラクター生成方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、バーチャルキャラクター生成方法は、例えば記憶ユニット７０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信ユニット７０９を介して電子機器７００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされて演算ユニット７０１により実行される場合、上記に記載のバーチャルキャラクター生成方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、演算ユニット７０１は、他の任意の適切な方式（例えば、ファームウェアを介する）によりバーチャルキャラクター生成方法を実行するように構成されてもよい。

【0127】

本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0128】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラムマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0129】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んでいるか又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでてもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0130】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形態（声入力、音声入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0131】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0132】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせしたサーバであってもよい。

【0133】

理解されるべきこととして、以上に示した様々な形態のフローを使用してもよく、ステップを改めてソーティングしたり、追加したり又は削除してもよい。例えば、本発明に記載の各ステップは、並列的に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。

【0134】

以上説明したバーチャルキャラクター生成方法、装置、電子機器、記憶媒体及びコンピュータプログラムは、以下のように表現することができる。

【0135】

第１態様のバーチャルキャラクター生成方法は、
初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定することと、
前記ターゲット調整対象に関連する複数のキャラクター素材を特定することと、
ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定することと、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することとを含む。

【0136】

第２態様のバーチャルキャラクター生成方法は、
第１態様に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成することは、
前記ターゲット調整対象に基づいて、前記初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定することと、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成することと、を含む。

【0137】

第３態様のバーチャルキャラクター生成方法は、
第２態様に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成することは、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、確認すべきサブバーチャルキャラクターを生成することと、
前記確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、前記確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、前記ターゲットバーチャルキャラクターを生成することと、を含む。

【0138】

第４態様のバーチャルキャラクター生成方法は、
第１～３態様のいずれか１項に記載の方法であって、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成した後、
ターゲットバーチャルキャラクターを生成したことに応答して、フィードバックするための動作情報を特定することと、
フィードバックするための音声情報を特定することと、
前記ターゲットバーチャルキャラクター、前記動作情報及び前記音声情報を融合し、ターゲットビデオを生成することと、をさらに含む。

【0139】

第５態様のバーチャルキャラクター生成方法は、
第４態様に記載の方法であって、
フィードバックするための音声情報を特定することは、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定することと、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定することと、
前記音声属性特徴情報に基づいて、前記フィードバックするための音声情報を特定することとを含む。

【0140】

第６態様のバーチャルキャラクター生成方法は、
第１～５態様のいずれか１項に記載の方法であって、
初期バーチャルキャラクターを生成するための生成音声コマンドを受信し、前記生成音声コマンドの語義情報を特定することと、
前記語義情報とマッチングする初期バーチャルキャラクターを特定することと、をさらに含む。

【0141】

第７態様のバーチャルキャラクター生成方法は、
第１～６態様のいずれか１項に記載の方法であって、
前記複数のキャラクター素材のうちの少なくとも１つのキャラクター素材は、服飾に関するキャラクター素材、五官に関連するキャラクター素材、髪型に関連するキャラクター素材の少なくとも１つを含む。

【0142】

第８態様のバーチャルキャラクター生成装置は、
初期バーチャルキャラクターを調整するための第１の音声コマンドに応答して、前記第１の音声コマンドに対応するターゲット調整対象を特定する第１の特定モジュールと、
前記ターゲット調整対象に関連する複数のキャラクター素材を特定する第２の特定モジュールと、
ターゲットキャラクター素材を特定するための第２の音声コマンドに応答して、前記複数のキャラクター素材から前記ターゲットキャラクター素材を特定する第３の特定モジュールと、
前記ターゲットキャラクター素材を用いて前記初期バーチャルキャラクターを調整し、ターゲットバーチャルキャラクターを生成する生成モジュールと、を含む。

【0143】

第９態様のバーチャルキャラクター生成装置は、
第８態様に記載の装置であって、
前記生成モジュールは、
前記ターゲット調整対象に基づいて、前記初期バーチャルキャラクターの初期サブバーチャルキャラクターを特定する第１の特定サブモジュールと、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、ターゲットバーチャルキャラクターを生成する生成サブモジュールと、を含む。

【0144】

第１０態様のバーチャルキャラクター生成装置は、
第９態様に記載の装置であって、
前記生成サブモジュールは、
前記ターゲットキャラクター素材を用いて前記初期サブバーチャルキャラクターを更新し、確認すべきサブバーチャルキャラクターを生成する更新ユニットと、
前記確認すべきサブバーチャルキャラクターを調整するための第３の音声コマンドに応答して、前記確認すべきサブバーチャルキャラクターにおける骨格ノードを調整し、前記ターゲットバーチャルキャラクターを生成する調整ユニットとを含む。

【0145】

第１１態様のバーチャルキャラクター生成装置は、
第８～１０態様のいずれか１項に記載の装置であって、
さらに、生成モジュールの後で、
生成されたターゲットバーチャルキャラクターに応答して、フィードバックするための動作情報を特定する第４の特定モジュールと、
フィードバックするための音声情報を特定する第５の特定モジュールと、
前記ターゲットバーチャルキャラクター、前記動作情報及び前記音声情報を融合し、ターゲットビデオを生成する融合モジュールと、を含む。

【0146】

第１２態様のバーチャルキャラクター生成装置は、
第１１態様に記載の装置であって、
前記第５の特定モジュールは、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報を特定する第１の特定ユニットと、
前記ターゲットバーチャルキャラクターのキャラクター属性特徴情報とマッチングする音声属性特徴情報を特定する第２の特定ユニットと、
前記音声属性特徴情報に基づいて、前記フィードバックするための音声情報を特定する第３の特定ユニットと、を含む。

【0147】

第１３態様のバーチャルキャラクター生成装置は、
第８～１２態様のいずれか１項に記載の装置であって、
初期バーチャルキャラクターを生成するための生成音声コマンドを受信し、前記生成音声コマンドの語義情報を特定する受信モジュールと、
前記語義情報とマッチングする初期バーチャルキャラクターを特定する初期キャラクター特定モジュールと、をさらに含む。

【0148】

第１４態様のバーチャルキャラクター生成装置は、
第８～１３態様のいずれか１項に記載の装置であって、
前記複数のキャラクター素材のうちの少なくとも１つのキャラクター素材は、服飾に関するキャラクター素材、五官に関するキャラクター素材、髪型に関するキャラクター素材の少なくとも１つを含む。

【0149】

第１５態様の電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器である。

【0150】

第１６態様の記憶媒体は、
コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに第１～７態様のいずれか１つに記載の方法を実行させる記憶媒体である。

【0151】

第１７態様のコンピュータプログラムは、
プロセッサにより実行される場合に、第１～７態様のいずれか１つに記載の方法を実現するコンピュータプログラムである。

【0152】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解されるべきである。本開示の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】