(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022043244
(43)【公開日】2022-03-15
(54)【発明の名称】アバタに用いられるスライダ処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 19/20 20110101AFI20220308BHJP
G06F 3/04847 20220101ALN20220308BHJP
G06F 3/04845 20220101ALN20220308BHJP
【FI】
G06T19/20
G06F3/0484 170
G06F3/0484 150
【審査請求】有
【請求項の数】17
【出願形態】OL
【公開請求】
(21)【出願番号】P 2021212729
(22)【出願日】2021-12-27
(31)【優先権主張番号】202110316415.X
(32)【優先日】2021-03-24
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】516262169
【氏名又は名称】北京百度網訊科技有限公司
【氏名又は名称原語表記】Beijing Baidu Netcom Science Technology Co., Ltd.
【住所又は居所原語表記】2/F Baidu Campus,No.10, Shangdi 10th Street, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(72)【発明者】
【氏名】陳 睿智
(72)【発明者】
【氏名】章 生
(57)【要約】 (修正有)
【課題】効率的なアバタの個性的なカスタマイズを実現することができるアバタに用いられるスライダ処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【解決手段】アバタに用いられるスライダ処理方法は、目標語義タグに関連する形状モデルを取得することと、参照アバタの骨格スキンデータを取得することと、骨格スキンデータに基づいて、形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することと、骨格連動係数に基づいて、目標語義タグに関連するスライダを生成することとを含み、スライダを利用して参照アバタを駆動することにより目標語義特徴を含む目標語義特徴に合致する目標アバタを取得する。
【選択図】
図6A
【特許請求の範囲】
【請求項1】
目標語義タグに関連する形状モデルを取得することと、
参照アバタの骨格スキンデータを取得することと、
前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することと、
前記骨格連動係数に基づいて、前記目標語義タグに関連するスライダを生成することと、を含み、
前記スライダを利用して前記参照アバタを駆動することにより前記目標語義特徴を含む目標語義特徴に合致する目標アバタを取得可能である、
アバタに用いられるスライダ処理方法。
【請求項2】
前記参照アバタに対して、対応する骨格ツリーを作成することと、
前記骨格ツリーに基づいて、骨格と骨格スキンとを関連付けることにより、前記参照アバタを得ることと、によって、前記参考アバタを作成する
請求項1に記載の方法。
【請求項3】
前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、
前記骨格スキンデータに基づいて、前記参照アバタに対して作成される骨格ツリーの根骨格ノードから葉骨格ノードまで、前記形状モデルを1つずつ反復求解することにより、前記骨格連動係数を取得することを含む、
請求項1に記載の方法。
【請求項4】
骨格ツリーの根骨格ノードから葉骨格ノードまで、前記形状モデルを1つずつ反復求解することは、
前記骨格ツリーの根骨格ノードから、段階的に最小二乗法を適用し、前記骨格ツリーにおける全ての葉骨格ノードの回転、平行移動、スケーリング係数がいずれも算出されるまで、それぞれ各骨格ノードの回転、平行移動、スケーリング係数に対してフィッティングを行うことを含む、
請求項3に記載の方法。
【請求項5】
前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、
前記骨格スキンデータに基づいて、前記参照アバタに対して作成される骨格ツリーの根骨格ノードから葉骨格ノードまで、前記形状モデルに対して1つずつ反復求解することを複数回繰り返すことにより、前記骨格連動係数を取得することを含む、
請求項1に記載の方法。
【請求項6】
前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、
前記骨格スキンデータ及び前記形状モデルを予め設定された骨格係数フィッティングレゾルバに入力して、前記骨格係数フィッティングレゾルバによって前記形状モデルにフィッティングを行うことにより、前記骨格連動係数を取得することを含む、
請求項1に記載の方法。
【請求項7】
前記骨格スキンデータと生成されたスライダとを同一のファイルに記憶することをさらに含む、
請求項1に記載の方法。
【請求項8】
目標語義タグに関連する形状モデルを取得するための第1の取得モジュールと、
参照アバタの骨格スキンデータを取得するための第2の取得モジュールと、
前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得するためのフィッティングモジュールと、
前記骨格連動係数に基づいて、前記目標語義タグに関連するスライダを生成するための生成モジュールと、を含み、
前記スライダを利用して前記参照アバタを駆動することにより前記目標語義特徴を含む目標語義特徴に合致する目標アバタを取得可能である、
アバタに用いられるスライダ処理装置。
【請求項9】
前記参照アバタを作成するための作成モジュールをさらに含み、
前記作成モジュールは、
前記参照アバタに対して、対応する骨格ツリーを作成するための作成部と、
前記骨格ツリーに基づいて、骨格とスキンを関連付けることにより、前記参照アバタを得るための関連部とを含む、
請求項8に記載の装置。
【請求項10】
前記フィッティングモジュールは、さらに、
前記骨格スキンデータに基づいて、骨格ツリーの根骨格ノードから葉骨格ノードまで、前記形状モデルを1つずつ反復求解することにより、前記骨格連動係数を取得することに用いられる、
請求項8に記載の装置。
【請求項11】
前記フィッティングモジュールは、さらに、
前記骨格ツリーの根骨格ノードから、段階的に最小二乗法を適用し、前記骨格ツリーにおける全ての葉骨格ノードの回転、平行移動、スケーリング係数がいずれも算出されるまで、それぞれ各骨格ノードの回転、平行移動、スケーリング係数に対してフィッティングを行うことに用いられる、
請求項10に記載の装置。
【請求項12】
前記フィッティングモジュールは、さらに、
前記骨格スキンデータに基づいて、前記参照アバタに対して作成される骨格ツリーの根骨格ノードから葉骨格ノードまで、形状モデルに対して1つずつ反復求解することを複数回繰り返し、それにより骨格連動係数を取得することに用いられる、
請求項8に記載の装置。
【請求項13】
前記フィッティングモジュールは、さらに、
前記骨格スキンデータ及び前記形状モデルを予め設定された骨格係数フィッティングレゾルバに入力して、前記骨格係数フィッティングレゾルバで前記形状モデルにフィッティングを行うことにより、前記骨格連動係数を取得することに用いられる、
請求項8に記載の装置。
【請求項14】
前記骨格スキンデータと生成されたスライダとを同一のファイルに記憶するための記憶モジュールをさらに含む、
請求項8に記載の装置。
【請求項15】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続されるメモリとを含む電子機器であって、
前記メモリには、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが請求項1~7のいずれか一項に記載の方法を実行することができる、
電子機器。
【請求項16】
コンピュータに請求項1~7のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ読取可能な記憶媒体。
【請求項17】
プロセッサによって実行される時に請求項1~7のいずれか一項に記載の方法を実現する、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、仮想現実分野に関し、特に人工知能、モノのインターネット、音声技術、クラウドコンピューティングなどの分野に関する。具体的には、アバタに用いられるスライダ処理方法、アバタに用いられるスライダ処理装置、電子機器、コンピュータコマンドを記憶した非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【0002】
将来の拡張現実システムにおいて、アバタは、ヒューマンコンピュータインタラクションの主なキャリア方式である。
【0003】
現在の市場でのアバタ生成アプリは、一般的にユーザに一枚の写真をアップロードするように要求し、その後に写真における人物像に基づいて一次のアバタを自動的に生成する。しかし、最終的なアバタを実現するために、さらにユーザがアプリにおける顔つまみ機能を用いる必要があり、手動で一次のアバタに対して顔つまみ操作を行う。
【発明の概要】
【0004】
本開示は、アバタに用いられるスライダ処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【0005】
本開示の一態様によれば、アバタに用いられるスライダ処理方法であって、目標語義タグに関連する形状モデルを取得することと、参照アバタの骨格スキンデータを取得することと、前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することと、前記骨格連動係数に基づいて、前記目標語義タグに関連するスライダを生成することとを含み、前記スライダを利用して前記参照アバタを駆動することにより前記目標語義特徴を含む目標語義特徴に合致する目標アバタを取得可能である、アバタに用いられるスライダ処理方法が提供されている。
【0006】
本開示の別の態様によれば、アバタに用いられるスライダ処理装置であって、目標語義タグに関連する形状モデルを取得するための第1の取得モジュールと、参照アバタの骨格スキンデータを取得するための第2の取得モジュールと、前記骨格スキンデータに基づいて、前記形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得するためのフィッティングモジュールと、前記骨格連動係数に基づいて、前記目標語義タグに関連するスライダを生成するための生成モジュールとを含み、前記スライダを利用して前記参照アバタを駆動することにより前記目標語義特徴を含む目標語義特徴に合致する目標アバタを取得可能である、アバタに用いられるスライダ処理装置が提供されている。
【0007】
本開示の別の態様によれば、電子機器であって、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されるメモリとを含み、前記メモリには前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶され、前記コマンドが前記少なくとも1つのプロセッサにより実行されることにより、前記少なくとも1つのプロセッサが本開示の実施例に記載の方法を実行することができる電子機器が提供されている。
【0008】
本開示の別の態様によれば、コンピュータに本開示の実施例に記載の方法を実行させるためのコンピュータコマンドを記憶している非一時的なコンピュータ読取可能な記憶媒体が提供されている。
【0009】
本開示の別の態様によれば、プロセッサによって実行される時に本開示の実施例に記載の方法を実現するコンピュータプログラムが提供されている。
【0010】
この部分で説明した内容は、本開示の実施例の肝心な又は重要な特徴を表記するためのものでもなく、本開示の範囲を限定するためのものでもないと理解すべきである。本開示の他の特徴は、以下の明細書によって理解し易くなるであろう。
【図面の簡単な説明】
【0011】
図面は、本案がよりよく理解されるためのものであり、本願に対する限定を構成しない。
【
図1A】
図1Aは本開示の実施例のアバタの生成方法及び装置に適するシステムアーキテクチャを例示的に示すものである。
【
図1B】
図1Bは本開示の実施例のアバタの生成方法及び装置を実現できるシーン図を例示的に示すものである。
【
図2】
図2は本開示の実施例によるアバタの生成方法を例示的に示すフローチャートである。
【
図3】
図3は本開示の実施例による語義変換を例示的に示す模式図である。
【
図4A】
図4Aは本開示の実施例によるアバタスライダを例示的に示す模式図である。
【
図4B】
図4Bは本開示の実施例によるアバタスライダを例示的に示す模式図である。
【
図4C】
図4Cは本開示の実施例によるアバタスライダを例示的に示す模式図である。
【
図4D】
図4Dは本開示の実施例によるアバタスライダを例示的に示す模式図である。
【
図5】
図5は本開示の実施例による骨格とスキンとのバインディングが完了した参照アバタを例示的に示す模式図である。
【
図6A】
図6Aは本開示の実施例によるアバタに用いられるスライダ処理方法を例示的に示すフローチャートである。
【
図6B】
図6Bは本開示の実施例によるアバタスライダを生成する原理図を例示的に示すものである。
【
図7】
図7は本開示の実施例によるアバタを生成する原理図を例示的に示すものである。
【
図8】
図8は本開示の実施例によるアバタに用いられるスライダ処理装置を例示的に示すブロック図である。
【
図9】
図9は本開示の実施例のアバタの生成及び装置を実現するための電子機器を例示的に示すブロック図である。
【発明を実施するための形態】
【0012】
以下、図面に合わせて本開示の例示的な実施例について説明する。その中、理解に役立つように本開示の実施例の各詳細を含み、これらはあくまで例示的なものであると理解すべきである。そのため、当業者は、本開示の範囲及び趣旨から逸脱せずに、ここで説明した実施例に対して、様々な変更や、修正をなし得ることに認識すべきである。同様に、明確及び簡明のために、以下の説明において公知の機能及び構成に対する説明を省略している。
【0013】
現在市販のアバタ生成アプリは、一般的にユーザに一枚の写真をアップロードするように要求し、その後に写真における人物像に基づいて一次のアバタを自動的に生成する。しかし、最終的なアバタを実現するために、さらにユーザがアプリにおける顔つまみ機能を用いる必要があり、手動で一次のアバタに対して顔つまみ操作を行う。
【0014】
このような、先に自動生成した後に手動でカスタマイズするという従来の解決構想は、最終的に一つのアバタの結果を与えることができるが、ユーザは常に自分が満足する理想的なアバタを取得することが困難である。その原因は、このような従来の解決構想によって、ユーザは効率的なアバタの個性的なカスタマイズを行うことができないためである。
【0015】
例示的には、ユーザは高い鼻筋、大きい目、細い顎のアバタを生成しようとする。上記従来形態によれば、まず、ユーザは類似したアバタ特徴を有する真人写真を見つけることができない可能性が極めて高い。次に、類似したアバタ特徴を有する真人写真を見つけることができても、上記顔つまみ機能を用いて、ユーザが五官の1つずつ探し、例えば鼻型、眼型、顔型などの基底において1つずつ探す必要がある。一般的なアプリは単一の五官に数十種類の形状を提供してユーザに選択されるため、各五官の形状を選択するだけで十数乃至数十分を費やす必要があり、多くのユーザは時間をかけて自分に満足させる五官の形状を選択することに耐えられない可能性が高い。
【0016】
また、このような従来のアバタカスタマイズ手法は、ユーザの使用に不便であり、さらにユーザに大きな負け感及び体験傷害をもたらす。
【0017】
本開示に提供された言語記述に基づくアバタインテリジェント生成手法は、上記技術的問題を解決し、効率的なアバタの個性的なカスタマイズを実現することができる。以下に具体的な実施例を参照して本開示を詳細に説明する。
【0018】
本開示の実施例のアバタの生成方法及び装置に適するシステムアーキテクチャは、以下のように紹介される。
【0019】
図1Aは、本開示の実施例のアバタの生成方法及び装置に適するシステムアーキテクチャを例示的に示す。なお、
図1Aに示すのは、本開示の実施例を適用できるシステムアーキテクチャの例示に過ぎず、当業者が本開示の技術内容を理解することを助けるが、本開示の実施例は他の環境又はシーンに用いることができないことを語義するものではない。
【0020】
図1Aに示すように、システムアーキテクチャ100は、端末装置101を含むことができる。なお、端末装置101は、クライアント又はサーバであってもよく、本開示はここで限定しない。
【0021】
具体的には、まず、端末装置101又は他の装置によって初期のアバタを参照アバタとして生成することができる。ユーザが個性化需要を満たす理想的なアバタをカスタマイズしようとすると、例えば「高い鼻筋、大きい目、細い顎」が理想的である場合、ユーザは、言語によって当該理想的なアバタを記述することができる。端末装置101は、ユーザの言語記述を取得した後、当該言語記述に基づいて、対応する語義特徴を抽出し、さらに抽出された語義特徴に基づいて、当該理想的なアバタを生成することができる。
【0022】
本開示の実施例において、端末装置101は、ユーザの言語記述に基づいて、ユーザが必要とするアバタの語義化特徴情報を正確に識別し、その後にアバタをインテリジェントに生成することができる。この手法では、一方で個性化アバタの生産効率を向上させ、ユーザに便利な使用体験を提供することができ、他方でアバタカスタマイズの精度を向上させ、ユーザに理想的なアバタを出力することができる。
【0023】
図1Aにおける端末装置の数は、単に例示的なものであることと理解されるべきである。必要に応じて、任意の数の端末装置を有することができる。
【0024】
本開示の実施例のアバタの生成方法及び装置に適する適用シーンは、以下のように紹介される。
【0025】
現在、オフライン消費案内方式は、依然としてブロガーが店舗を探して共有することを主とするが、消費者がブロガーの共有したコンテンツを能動的に閲覧しないと、効果的に推奨することが困難であると理解されるべきである。
【0026】
個性化されたアバタは、一般的に真人と類似性を有し、異なるアバタの間にはさらに区別があり、アバタの漫画外観によって親和性を向上させることもできるとさらに理解されるべきである。これらのことはすべて、ユーザによるアバタの主観的な納得度の向上に寄与することができる。したがって、アバタを作成すること、アバタに基づくヒューマンコンピュータインタラクションを実現すること、及びアバタに基づくヒューマンコンピュータインタラクションを行う過程においてアバタにより適時に消費推奨及び消費同伴を行うことは、消費推奨の転化率を効果的に向上させることができるとともに、ユーザ体験度を向上させることができる。
【0027】
例示的には、本開示の実施例において、アバタに基づいてホームシーンでユーザに対してオフライン消費案内することができ、アバタに基づいてオンラインの消費シーンにおいてユーザに対して消費同伴することもできる。
【0028】
図1Bに示すように、ユーザは携帯電話クライアントにより自分の専用アバタを作成し、それをクラウドにアップロードし、さらにクラウドによってそれをユーザに関連するインテリジェント装置、及びユーザの来店したスーパーマーケットなどの公共場所に配置されたインタラクティブデバイス(例えばデパートインタラクティブデバイス、スーパーマーケットインタラクティブデバイス、レストランインタラクティブデバイスなど)に配信することにより、ユーザがヒューマンコンピュータインタラクションを行う時に使用される。
【0029】
なお、本開示の実施例において、インテリジェント装置は、例えば、冷蔵庫、テレビ、インテリジェント鏡面、インテリジェントガラスなどの表示画面付きのモノのインターネットIOTデバイスを含む。アバタは、IOTデバイスに送信された後に、IOTデバイスがトリガされる時に表示され、インテリジェント音声対話システムのフロントロードキャリアとして、ユーザと機能化又は無意図的な対話交流を生き生きと行う。対話交流過程において、アバタは、クラウドから配信されたマーケティング推奨指令に基づいて、ユーザにオフライン消費推奨を適時に行うことができる。
【0030】
また、本開示の実施例において、デパートインタラクティブデバイスは、ディスプレイ付きのデパートに配置されたユーザとインタラクション可能な電子機器をも含む。例示的には、ユーザがデパートを来店している際に、顔認識技術によりユーザの身分を特定し、対応するアバタを配信するようにクラウドに通知することができる。例えば、ユーザAがあるブランドの服装店舗に服装を試着している際に、クラウドからユーザAの専用アバタをダウンロードし、ユーザAの近傍の試着ミラーのエッジにその専用アバタを表示させ、例えばユーザの試着を推奨するなど、それをユーザとインタラクションさせることができる。さらに例えば、ユーザBがある鍋店で一人の鍋を食べている際に、ユーザBの鍋傍に小さな表示画面を立て、その上にユーザBの専用アバタを表示させ、それをユーザBと無意図なインタラクション又はゲームを行うことができる。
【0031】
本開示の一つの実施例において、ユーザが一枚の写真をアップロードし、次にアバタ生成アプリによって写真中の人物像に基づいて一次のアバタを自動的に生成し、その後にアプリにおける顔つまみ機能によって、ユーザが手動で一次のアバタを顔つまみ操作することで自分の専用アバタを生成することができる。
【0032】
本開示の別の実施例において、ユーザはさらに言語記述されたアバタインテリジェント生成手法に基づいて、自分の専用アバタを生成することができる。
【0033】
また、本開示の別の実施例において、クラウドは、携帯電話クライアントで作成されたアバタを受信し、それをユーザに関連するインテリジェント装置、及びユーザの来店したスーパーマーケット等の公共場所に配置されたインタラクティブデバイスに配信すること以外に、さらにユーザのビッグデータを分析することにより、マーケティングポリシーを適時に提供し、インテリジェントホームデバイスに表示されたアバタにマーケティングタスクを完了させることができる。例えば、ある日に雨が降って、天気が寒く、ユーザが鍋をしばらく食べていないとすると、アバタをユーザに鍋の食事場所を愛情込めて推奨させることができる。
【0034】
本開示の実施例によれば、真人と類似するアバタを使用して消費推奨及び同伴サービスを提供することにより、ユーザに認定感を発生させることができる。アバタが推奨することにより、ユーザの消費をオフラインに案内することも可能である。そして実際の消費シーンにおいて、ユーザの専用アバタはユーザの身近に同伴し、ユーザへ商品の推奨を行ったり、ユーザの食事を同伴したり、ユーザとチャットしたりすることもできる。このように、オンラインサービスとオフラインサービスとの疎通を実現することができる。
【0035】
本開示は、アバタに基づくヒューマンコンピュータインタラクション方法を提供している。
【0036】
該ヒューマンコンピュータインタラクション方法は、ホームシーンに適用することができ、以下のステップを含む。
【0037】
インテリジェント装置には、アバタが表示される。
【0038】
ユーザとインタラクションを行うようにアバタを制御する。
【0039】
アバタとユーザとのインタラクションの過程において、ユーザに消費推奨を行うようにアバタを制御する。
【0040】
本開示の一つの実施例において、インテリジェント装置は、インテリジェントホームデバイスを含むことができる。例示的には、ホームシーンでは、インテリジェントホームデバイスがトリガされた後、そのディスプレイにユーザの専用アバタを表示することができる。本開示の他の実施例において、インテリジェントホームデバイスがトリガされた後、そのディスプレイに他のユーザ専用ではないアバタを表示することもできる。
【0041】
アバタは、インテリジェントホームデバイスに表示されており、インテリジェント音声対話システムのフロントエンドキャリアとして、ユーザと機能化又は無意図的な対話交流、ゲーム連携などを行うことができる。対話交流又はゲーム連携の過程において、アバタは、クラウドから配信されたマーケティング推奨指令(マーケティングポリシーを含む)に基づいて、ユーザにオフライン消費推奨を適時に行うことができる。例えば、ある日に雨が降って、天気が寒く、ユーザが鍋をしばらく食べていないとすると、アバタをユーザに鍋の食事場所を愛情込めて推奨させることができる。
【0042】
ホームシーンにおいて、ユーザは、インテリジェントホームデバイスにおけるアバタとインタラクションを行うことにより、アバタに対する信頼感及び納得度を確立することができる。これによって、個性化アバタは、ユーザの育成同伴対象となる。このように、クラウドがアバタにマーケティング推奨指令を直接的に配信し、アバタによって消費案内を完成する可能性が比較的大きい。
【0043】
本開示の実施例において、個性化アバタの同伴により、ユーザのアバタに対する信頼感及び納得度を確立することができ、それによってアバタをインタラクションキャリアとする消費推奨を図り、消費推奨の転化率を向上させる。
【0044】
選択可能な実施例として、ユーザに消費推奨を行うようにアバタを制御することは、以下のステップを含むことができる。
【0045】
クラウドから該ユーザに配信されたマーケティングポリシーを取得する。
【0046】
該マーケティングポリシーに基づいて該ユーザに消費推奨を行うように、アバタを制御する。
【0047】
本開示の別の実施例において、クラウドは、携帯電話クライアントで作成させたアバタを受信し、それをユーザに関連するインテリジェントホームデバイス、及びユーザの来店したスーパーマーケットなどの公共場所に配置されたインタラクティブデバイスに配信すること以外に、さらにユーザのビッグデータを分析することにより、特定のユーザに指向性のあるマーケティングポリシーを適時に提供し、インテリジェントホームデバイスに表示されたアバタを制御してマーケティングタスクを完了させることができる。これによって正確なマーケティングを図り、ユーザにより合理的で、より正確で、より満足な消費推奨を提供することができる。
【0048】
選択可能な実施例として、インテリジェント装置にアバタを表示することは、インテリジェント装置にユーザの専用アバタを表示することを含む。ここで、専用アバタは、クラウドからインテリジェント装置に配信されるものである。
【0049】
例示的には、ユーザが携帯電話クライアントによって自分の専用アバタを作成し、それをクラウドにアップロードし、次にユーザがそのインテリジェント装置をトリガするとき、クラウドから作成された専用アバタをそのインテリジェントホームに配信して表示させることができる。
【0050】
本開示の実施例において、ユーザの専用アバタを用いることで、アバタの同伴育成において、ユーザの信頼と認可をより容易に取得することができ、さらにアバタによって消費推奨を完成しやすくなる。
【0051】
本開示は、アバタに基づく制御方法をさらに提供している。
【0052】
このアバタに基づく制御方法は、クラウドなどのサーバ端に適用することができ、以下のステップを含む。
【0053】
ユーザとインタラクションを行うように、インテリジェント装置に表示されたアバタを遠隔制御する。
【0054】
アバタとユーザとのインタラクションの過程において、インテリジェント装置にユーザに対するマーケティングポリシーを配信することにより、アバタはマーケティングポリシーに基づいて、ユーザに消費推奨を行う。
【0055】
本開示の一つの実施例において、ホームシーンを例にして、インテリジェント装置はインテリジェントホームデバイスを含む。インテリジェントホームデバイスがトリガされた後、クラウドは、インテリジェントホームデバイスを遠隔制御して、例えば、その表示画面にユーザの専用アバタを表示させることができる。本開示の他の実施例において、インテリジェントホームデバイスがトリガされた後、クラウドは、インテリジェントホームデバイスを遠隔制御して、例えば、その表示画面に他のユーザ専用ではないアバタを表示させることもできる。
【0056】
アバタは、インテリジェントホームデバイスに表示されており、インテリジェント音声対話システムのフロントエンドキャリアとして、ユーザと機能化又は無意図的な対話交流、ゲーム連携などを行うことができる。対話交流又はゲーム連携の過程において、アバタは、クラウドから配信されたマーケティング推奨指令(マーケティングポリシーを含む)に基づいて、ユーザにオフライン消費推奨を適時に行うことができる。例えば、ある日に雨が降って、天気が寒く、ユーザが鍋をしばらく食べていないとすると、アバタをユーザに鍋の食事場所を愛情込めて推奨させることができる。
【0057】
ホームシーンにおいて、ユーザは、インテリジェントホームデバイスにおけるアバタとインタラクションを行うことにより、アバタへの信頼をより容易に確立できるため、アバタに与えられた消費推奨をより認可しやすく、さらに個性化アバタをユーザの同伴育成対象になりやすくする。このように、クラウドがアバタにマーケティング推奨指令を直接的に配信し、アバタによって消費案内を完成する可能性が比較的大きい。
【0058】
本開示の実施例において、個性化アバタの同伴により、ユーザのアバタに対する信頼感及び納得度を増加させることができ、それによってアバタをインタラクションキャリアとする消費推奨を図り、消費推奨の転化率を向上させる。
【0059】
選択可能な実施例として、該方法はさらに以下のステップを含むことができる。
【0060】
ユーザによって提供された専用アバタを取得する。
【0061】
専用アバタを該ユーザに関連するインテリジェント装置に配信することによって、インテリジェント装置がユーザに面するときに専用アバタを表示し、専用アバタを介してユーザとヒューマンコンピュータインタラクションを行う。
【0062】
例示的には、ユーザは、携帯電話クライアントによって自分の専用アバタを作成し、それをクラウドにアップロードし、その後にユーザがそのインテリジェント装置をトリガする時に、クラウドから作成された専用アバタをユーザに関連するインテリジェント装置に配信して表示させ、該アバタによってユーザとインタラクションを行うことができる。
【0063】
本開示の実施例において、ユーザの専用アバタを用いることで、アバタの同伴育成の過程において、ユーザの信頼と認可をより容易に取得することができ、さらにアバタによって消費推奨を完成しやすくなる。
【0064】
選択可能な実施例として、該方法はさらに以下のステップを含む。
【0065】
ユーザの消費データを取得する。
【0066】
消費データに基づいて、ユーザに対するマーケティングポリシーを生成して、インテリジェント装置に配信する。
【0067】
例示的には、クラウドは、スーパーマーケットなどの公共場所に設置されたインタラクティブデバイス、レジスタ装置などによってアップロードされた消費データを取得し、取得された消費データに基づいてビッグデータ分析を行うことによって、ユーザ個人又はあるカテゴリのユーザグループに対するマーケティングポリシーを生成し、生成されたマーケティングポリシーを特定のユーザ又は特定のカテゴリのユーザに関連するインテリジェント装置に配信することによって、それに表示されたアバタが適時にユーザに消費推奨を行うことができる。
【0068】
本開示の実施例によれば、ユーザの消費データからユーザの消費習慣を学習し、その後にユーザ本人の消費習慣に合致するマーケティングポリシーを作成することができるため、正確なマーケティングを図ることができる。
【0069】
本開示は、別のアバタに基づく制御方法をさらに提供している。
【0070】
このアバタに基づくヒューマンコンピュータインタラクション方法は、消費シーンに適用することができ、以下のステップを含む。
【0071】
特定場所に設置された特定インタラクティブデバイスにアバタを表示させる。
【0072】
ユーザが特定場所で活動している過程において、アバタをユーザとインタラクションするように制御する。
【0073】
なお、本開示の実施例において、特定場所とは、デパート、スーパーマーケット、料理屋、レストランなどの公共場所を含むことができる。特定インタラクティブデバイスとは、表示画面付きの電子機器を含むことができる。
【0074】
例示的には、ユーザがデパートを来店している際に、顔認識技術によりユーザの身分を特定し、ユーザの近傍のデパートインタラクティブデバイスに対応するアバタを配信するようにクラウドに通知することによって、アバタはユーザの消費過程においてユーザとインタラクションして、ユーザのオフライン消費を同伴することができる。
【0075】
本開示の実施例によれば、消費シーンにおいて、ユーザの専用アバタをユーザの近傍のデパートインタラクティブデバイスに表示させることによって、ユーザのオフライン消費過程全体に同伴させ、ユーザにより良好な消費体験を提供することができる。
【0076】
選択可能な実施例として、ユーザが特定場所で活動している過程において、アバタをユーザとインタラクションするように制御することは、以下の少なくとも一つを含むことができる。
【0077】
ユーザがデパート又はスーパーマーケットでショッピングしている過程において、アバタをユーザとインタラクションするように制御することにより、ユーザのショッピングを同伴する。
【0078】
ユーザがレストラン又は料理屋で食事している過程において、アバタをユーザとチャット又はインタラクティブゲームを行うように制御することによって、ユーザの食事を同伴する。
【0079】
ユーザがレジャー娯楽場所で消費している過程において、アバタをユーザとインタラクションするように制御することによって、ユーザのレジャー娯楽を同伴する。
【0080】
例示的には、例えばユーザAがあるブランドの服装店舗に服を試着している際に、クラウドからユーザAの専用アバタをダウンロードし、ユーザAの近傍の試着ミラーのエッジにその専用アバタを表示し、例えばユーザの試着を推奨するなど、それをユーザとインタラクションさせることができる。さらに例えば、ユーザBがある鍋店で一人の鍋を食べている際に、ユーザBの鍋傍に小さな表示画面を立て、その上にユーザBの専用アバタを表示させ、それをユーザBと無意図なインタラクション又はゲームを行うことができる。
【0081】
本開示の実施例によれば、真人と一定の類似度を有するアバタを用いて同伴式消費サービスを提供することによって、ユーザに認定感を発生させることができる。そして実際の消費シーンにおいて、ユーザの専用アバタはユーザの身近に同伴し、ユーザの満足する商品の購入を助けたり、ユーザの食事を同伴したり、ユーザとチャットしたりすることができる。このように、オンラインサービスとオフラインサービスとの疎通を実現することができる。
【0082】
選択可能な実施例として、該方法はさらに以下のステップを含むことができる。
【0083】
ユーザの消費データを取得する。
【0084】
消費データをクラウドに送信することにより、クラウドは消費データに基づいてユーザに対するマーケティングポリシーを生成する。
【0085】
例示的には、スーパーマーケットなどの公共場所に設置されたインタラクティブデバイス、レジスタ装置などからユーザの消費データを収集してクラウドにアップロードすることができ、さらにクラウドで取得された消費データに基づいてビッグデータ分析を行うことにより、ユーザ個人又はあるカテゴリのユーザグループに対するマーケティングポリシーを生成し、クラウドがこれらのマーケティングポリシーを対応するインテリジェントホームデバイスに配信して、インテリジェントホームデバイスに表示されたアバタにより適時にユーザに消費推奨を行う。
【0086】
本開示の実施例によれば、ユーザの消費データを収集してアップロードすることができることにより、クラウドはユーザの消費データからユーザの消費習慣を学習し、そしてユーザ本人の消費習慣に合致するマーケティングポリシーを生成することができ、これによって正確なマーケティングを図ることができる。
【0087】
選択可能な実施例として、該方法はさらに以下のステップを含むことができる。
【0088】
ユーザが特定場所に入ることに応じて、ユーザに対して顔認識を行うことにより、ユーザの身分を特定する。
【0089】
ユーザの身分に基づいてユーザの専用アバタを取得する。
【0090】
ここで、特定場所に設置された特定インタラクティブデバイスにアバタを表示させることは、特定場所に設置された特定インタラクティブデバイスに専用アバタを表示させることを含む。
【0091】
個性化されたアバタは、一般的に真人と類似性を有し、異なるアバタの間にはさらに区別があり、アバタの漫画外観によって親和性を向上させることもできると理解されるべきである。これらのことは、いずれもユーザによるアバタの主観的な納得度の向上に寄与することができる。したがって、アバタを作成すること、アバタに基づくヒューマンコンピュータインタラクションを実現すること、及びアバタに基づくヒューマンコンピュータインタラクションを行う過程においてアバタにより適時に消費推奨及び消費同伴を行うことは、消費推奨の転化率を効果的に向上させることができるとともに、ユーザ体験度を向上させることができる。
【0092】
ユーザは、携帯電話クライアントにより自分の専用アバタを作成し、それをクラウドにアップロードすることができ、さらにクラウドによってそれをユーザに関連するインテリジェントホームデバイス、及びユーザの来店したスーパーマーケットなどの公共場所に配置されたインタラクティブデバイス(例えば、デパートインタラクティブデバイス、スーパーマーケットインタラクティブデバイス、レストランインタラクティブデバイスなど)に配信することにより、ユーザがヒューマンコンピュータインタラクションを行う時に使用される。
【0093】
例示的には、ユーザがデパートを来店している際に、顔認識技術によりユーザの身分を特定し、ユーザの近傍のデパートインタラクティブデバイスにユーザの身分に関連する専用アバタを配信するようにクラウドに通知することができる。例えば、ユーザAがあるブランドの服装店舗に服を試着している際に、クラウドからユーザAの専用アバタをダウンロードし、ユーザAの近傍の試着ミラーのエッジにその専用アバタを表示させ、例えばユーザの試着を推奨するなど、それをユーザとインタラクションさせることができる。さらに例えば、ユーザBがある鍋店で一人の鍋を食べている際に、ユーザBの鍋傍に小さな表示画面を立て、その上にユーザBの専用アバタを表示させ、それをユーザBと無意図なインタラクション又はゲームを行うことができる。
【0094】
本開示の実施例によれば、インテリジェントホームデバイス、デパートインタラクティブデバイス及びクラウドサービスに基づいて、個性化アバタに基づくホームシーンオンラインマーケティング及びオフライン消費に同伴するホーム・デパート連動マーケティングを実現するため、消費案内方式(又はマーケティング方式)を向上させることができるとともに、ユーザの消費体験度を向上させることができ、例えば、ユーザに個性化アバタの同伴式消費サービスを没入的に受け入れさせることができる。
【0095】
本開示の実施例によれば、本開示はさらにアバタの生成方法を提供する。
【0096】
図2は、本開示の実施形態に係るアバタの生成方法を例示的に示すフローチャートである。
【0097】
図2に示すように、方法200は、ステップS210~S230を含むことができる。
【0098】
ステップS210において、ユーザの目標アバタに対する言語記述を取得する。
【0099】
ステップS220において、言語記述に基づいて、対応する語義特徴を抽出する。
【0100】
ステップS230において、語義特徴に基づいて、目標アバタを生成する。
【0101】
なお、ステップS210において、言語記述は、音声形式又はテキスト形式の言語記述を含むことができ、本開示の実施例はここで限定されない。ここで、音声形式の言語記述について、ステップS210において、自動音声認識ASR技術によってユーザの目標アバタに対する語義需要を捕捉することができる。
【0102】
例示的には、ユーザが「高い鼻筋、大きい目、細い顎」の目標アバタを作成しようとすると、ユーザは、該目標アバタに対して、「高い鼻筋、大きい目、細い顎」という言語記述を入力することができる。これによって、方法200に提供された上記ステップにより、「高い鼻筋、大きい目、細い顎」という言語記述を取得し、その中の語義特徴、例えば「高い鼻筋、大きい目、細い顎」を抽出することができる。また、本開示の実施例において、さらにアバタを参照アバタとして予め任意に作成することができる。その後に目標アバタに対して対応する語義特徴を抽出した後、抽出された語義特徴に基づいて、該参照アバタの変形を制御することで、最終的にユーザの意図する目標アバタを取得することができる。
【0103】
本開示の実施例によれば、ユーザが目標アバタの語義記述を提供するだけで、ユーザが手動カスタマイズ操作を追加的に実行する必要がなく、ユーザの語義需要に基づいて、既存の参照アバタに対して語義化改造を行うことができ、それによって効率的で精度の高いアバタスライダ個性化カスタマイズを実現する。これによりユーザ体験度及びカスタマイズされたアバタに対する認定程度を向上させることもできる。
【0104】
また、本開示の実施例において、ユーザが目標アバタの語義記述を提供するだけでよく、ユーザが手動カスタマイズ操作を追加的に実行する必要がないため、ユーザの使用勝手を向上させることもできる。
【0105】
選択可能な実施例として、語義特徴に基づいて、目標アバタを生成することは、以下のステップを含むことができる。
【0106】
参照アバタを取得する。
【0107】
ユーザの語義記述から抽出された語義特徴に基づいて、参照アバタの変形を制御することにより、目標アバタを生成する。
【0108】
本開示の実施例において、アバタを参照アバタとして予め任意に作成することができ、目標アバタの個性化カスタマイズを行う過程において、該参照アバタを直接取得し、ユーザの語義記述から抽出された語義特徴を利用してこの参照アバタの変形を駆動すれば、対応する目標アバタを取得することができる。
【0109】
例示的には、まず参照アバタのアバタモデルを作成し、次に該アバタモデルに対して骨格ツリーを作成し、その後に骨格ツリー内の各骨格ノードに骨格スキンを行うことができ、それによって骨格ノードと対応する骨格スキンメッシュノードとを関連付けて、対応する参照アバタを取得する。
【0110】
また、ユーザの語義記述から抽出された語義特徴に基づいて参照アバタの変形を制御することは、以下のことを含むことができる。まず該語義特徴を有するアバタスライダ(以下、スライダと略称する)を取得し、次に該スライダを利用して参照アバタの骨格ノードの変形を駆動することにより、参照アバタのスキンノードがそれに追従して変形し、最終的にユーザの意図する目標アバタ、すなわち、理想的なアバタを得る。
【0111】
例示的には、ユーザが「高い鼻筋、大きい目、細い顎」の目標アバタを作成しようとすると、該語義記述に基づいて語義特徴「高い鼻筋、大きい目、細い顎」を抽出し、次に「高い鼻筋スライダ」、「大きい目スライダ」、「細い顎スライダ」の3つのスライダを取得し、この3つのスライダを利用して予め作成された参照アバタの変形を駆動することができ、それにより最終的に「高い鼻筋、大きい目、細い顎」の特徴を満たす理想的なアバタを得る。
【0112】
本開示の実施例によれば、人工知能アルゴリズムを用いて個性化アバタのカスタマイズを行うことにより、一方では個性化アバタの生産効率を向上させ、ユーザ体験をより便利にすることができ、他方では個性化アバタのカスタマイズの精度を向上させることができる。
【0113】
選択可能な実施例として、ユーザの語義記述から抽出された語義特徴に基づいて、予め作成された参照アバタの変形を制御することにより、目標アバタを生成することは、以下のステップを含むことができる。
【0114】
抽出された語義特徴を専門レベル語義特徴に変換する。
【0115】
変換して得られた専門レベル語義特徴に基づいて、該参照アバタの変形を制御する。
【0116】
実際の使用において、異なるユーザの同じ又は類似するイメージに対する言語記述が異なる可能性があると理解されるべきである。例えば、「狭い顎」に対して、あるユーザは「錐体顔」と記述する可能性があり、あるユーザは「瓜実顔」と記述する可能性があり、さらにあるユーザは他の記述を有する可能性がある。そして、実際の応用において、ユーザは「頬骨」、「顎」レベルの形状記述を与えることが困難である。より多くの場合、ユーザは、より大まかな記述を選択してアバタに対する感覚を描くことになり、例えば「少女のような」、「おばあさんのような」、「ひかり」、「かっこいい」などである。
【0117】
したがって、本開示の実施例は、まずユーザの語義記述から抽出された語義特徴を専門レベル語義特徴に統一的に変換し、次に変換された語義特徴に基づいて参照アバタの変形を制御することにより、最終的な目標アバタを取得するという手法を提出する。
【0118】
例示的には、語義変換器により抽出された語義特徴(すなわちユーザに与えられた大まかな語義特徴)を専門レベル語義特徴に変換することができる。専門レベル語義特徴とは、解剖学や生物学などの角度から行われた語義記述が持つ語義特徴であってもよい。ここで、本開示の実施例において、語義変換器は、大量のデータ収集及び深層学習回帰トレーニングにより実現することができる。
【0119】
図3に示すように、本開示の実施例において、顔型を例にして、ユーザの言語記述から抽出された語義キーワード「瓜実顔」は、専門レベル語義特徴「低頬骨」及び「狭い顎」に変換することができ、ユーザの言語記述から抽出された語義キーワード「四角顔」は、専門レベル語義特徴「高頬骨」及び「広い顎」に変換することができ、ユーザの言語記述から抽出された語義キーワード「萌え顔」は、専門レベル語義特徴「大きい目」及び「丸顔」に変換することができる。
【0120】
また、本開示の実施例において、ユーザの大まかな語義記述は、対応する専門レベル語義記述に変換することができるため、専門レベル語義に基づいて参照アバタの変形を駆動するスライダを作成することができる。例えば、高頬骨スライダ、低頬骨スライダ、狭い顎スライダ、大きい目スライダ、丸顔スライダなどを作成することができる。ユーザに入力されたのは「瓜実顔」であれば、それを「低頬骨」及び「狭い顎」の2つの専門レベル語義に変換することができ、後続に「低頬骨スライダ」及び「狭い顎スライダ」の2つのスライダを直接的に利用して参照アバタの変形を駆動し、最終的に「瓜実顔」の理想的なアバタを実現する。
【0121】
本開示の実施例によれば、実際の応用において、ユーザが大まかな言語記述を入力しても、語義変換により対応する専門レベルの言語記述を得ることができ、さらに参照アバタの変形を正確に制御し、それによって最終的にユーザの所望の理想的なアバタを得ることができる。
【0122】
選択可能な実施例として、専門レベル語義特徴に基づいて、参照アバタの変形を制御することは、以下のステップを含むことができる。
【0123】
専門レベル語義特徴に基づいて、少なくとも1つのスライダを特定し、各スライダが対応する特定語義タグに関連付けられたものである。
【0124】
少なくとも1つのスライダに基づいて、参照アバタをサポートするための骨格ツリーにおける複数の対応する骨格ノードの変形を駆動する。
【0125】
複数の対応する骨格ノードの変形に基づいて、複数の対応する骨格ノードに関連するスキンメッシュノードの変形を駆動する。
【0126】
具体的には、本開示の実施例において、ユーザの記述した大まかな語義特徴を専門レベル語義特徴に変換した後、変換して得られた専門レベル語義特徴に含まれる少なくとも1つのキーワードを抽出することができる。次に、該少なくとも1つのキーワードを含む少なくとも1つの語義タグを見つけ出し、その後に、該少なくとも1つの語義タグのうち各語義タグに関連するスライダを見つけ出す。最後に、見つけ出されたスライダを利用して、参照アバタをサポートするための骨格ツリーにおける複数の対応する骨格ノードの変形を駆動し、さらに複数の対応する骨格ノードの変形に基づいて、複数の対応する骨格ノードに関連するスキンメッシュノードの変形を駆動する。
【0127】
例示的には、
図4A~
図4Dには、順に「広顔スライダ」、「狭顔スライダ」、「長顔スライダ」及び「短顔スライダ」を示す。
図5には、骨格とスキンとのバインディングを完成した参照アバタが示されている。例示的には、ユーザが入力した大まかな言語記述又は変換後の専門言語記述に「広顔」特徴が含まれる場合、
図4Aに示す「広顔スライダ」を直接利用して
図5に示す参照アバタの変形を駆動することにより、広顔特徴を有する目標アバタを得ることができる。
【0128】
本開示の実施例によれば、語義情報付きのスライダを用いて参照アバタの変形を駆動することにより、目標アバタの産出効率を向上させることができるとともに、得られた目標アバタの精度を向上させることができる。
【0129】
なお、アバタの低コストの変形を実現するために、三次元モデル設計者は、通常、顔モデルに骨格ツリーを設計し、顔スキン(骨格スキン)の各スキンメッシュノードと骨格ツリーにおける各骨格ノードとの間に重み影響関係を確立する。その後、骨格ツリーにおける各骨格ノードの回転、平行移動、スケーリングを制御することにより、各骨格ノードの変形を顔のスキンの各スキンメッシュノードに伝導して、各スキンメッシュノードの変形を実現することができる。
【0130】
しかしながら、このような骨格ツリーの設計は、顔の幾何学的構造に対するものであるため、大部分の骨格ノードは、広顔や高い鼻筋などの実際の語義レベル語義を備えない。このことから、設計者は骨格スキンの設定作業を完了した後、またスライダを設計する必要があり、さらにスライダにより骨格ツリーにおける各骨格ノードに対するバッチ操作を実現し、最終的に語義レベル表現能力を実現する。例えば、広顔スライダにより、左右のこめかみ、左右の頬骨、左右の顎角、左右の額などの8個の骨格ノードに対してバッチの連動調整設定を行うことができる。
【0131】
しかし、大量の骨格の連動設計は、設計者の人件費を消費する必要があるだけでなく、複雑な骨格間の関係は、設計された語義レベルスライダの表現力の低下につながることがよくある。
【0132】
したがって、本開示の実施例は、改良型のアバタスライダの設計解決手段を提供する。設計者は、骨格スキンの設計を完了した後、すなわち、骨格と骨格スキンとのバインディング(骨格と骨格スキンとの関連付けとも呼ばれる)を完成した後、語義に対応する形状モデルを設計することだけに注目すればよく、対応する語義情報付きのアバタスライダを設計し続ける必要がない。これは、設計者が設計した骨格と骨格スキンを関連付けて得られた参照アバタ及び対応する形状モジュールを「スライダ設計システム」に直接入力すれば、語義情報付きの骨格連動係数(すなわちスライダ情報)を自動的に出力することができ、それによりスライダの高品質設計を保証することができるからである。
【0133】
本発明は、さらにアバタのスライダ処理方法を提供する。
【0134】
図6Aに示すように、アバタに用いられるスライダ処理方法600は、ステップS610~S640を含むことができる。
【0135】
ステップS610において、目標語義タグに関連する形状モデルを取得する。ここで、目標語義タグは、スライダに関連する特定語義タグと同じである。
【0136】
ステップS620において、参照アバタの骨格スキンデータを取得する。
【0137】
ステップS630において、骨格スキンデータに基づいて、形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得する。
【0138】
ステップS640において、骨格連動係数に基づいて、目標語義タグに関連するスライダを生成する。
【0139】
ここで、スライダを利用して参照アバタを駆動することにより目標語義特徴に合致するアバタを得ることができ、目標語義タグは、目標語義特徴を含む。
【0140】
例示的には、顔型を例にして、「広顔モデル」(広顔タグに関連する)及び骨格とスキンのバインディングを完成した参照アバタを骨格フィッティング係数レゾルバに入力すると、「広顔骨格連動係数」(すなわち「広顔スライダ情報」)を出力することができ、「狭顔モデル」(狭顔タグに関連する)及び骨格とスキンのバインディングを完成した参照アバタを骨格フィッティング係数レゾルバに入力すると、「狭顔骨格連動係数」(すなわち「狭顔スライダ情報」)を出力することができ、「長顔モデル」(長顔タグに関連する)及び骨格とスキンのバインディングを完成した参照アバタを骨格フィッティング係数レゾルバに入力すると、「長顔骨格連動係数」(すなわち「長顔スライダ情報」)を出力することができ、「短顔モデル」(短顔タグに関連する)及び骨格とスキンのバインディングを完成した参照アバタを骨格フィッティング係数レゾルバに入力すると、「短顔骨格連動係数」(即ち「短顔スライダ情報」)を出力することができる。ここで、骨格フィッティング係数レゾルバは、参照アバタの骨格スキンデータに基づいて、各形状モデルにフィッティングを行って、対応する骨格連動係数を取得するために用いられる。対応する骨格連動係数を取得した後、それを対応する語義タグに関連付けて、対応する語義のスライダを得ることができる。例えば、「広顔スライダ情報」を「広顔タグ」に関連付けて、「広顔スライダ」を取得することができる。
【0141】
なお、本開示の別の実施例において、参照アバタの骨格スキンデータを複数の形状モデル(それぞれの形状モデルが異なる語義タグに対応する)と共に骨格フィッティング係数レゾルバに導入することにより、各語義タグに対応する複数のスライダを自動的に取得することができ、それによりスライダの効率的な生産を保証することができる。
【0142】
例示的には、
図6Bに示すように、顔型を例にして、「広顔モデル」、「狭顔モデル」、「長顔モデル」及び「短顔モデル」を、骨格とスキンのバインディングを完成した参照アバタとともに骨格フィッティング係数レゾルバに入力することにより、「広顔スライダ」、「狭顔スライダ」、「長顔スライダ」及び「短顔スライダ」を自動的に出力する。
【0143】
関連技術において、語義化のスライダ設計は、設計者の設計で複数の骨格ノードを連動させることにより実現されるものと理解されるべきである。具体的には、骨格は、一般的に、平行移動、回転、スケーリングの3つの自由度の変換能力を有するものであり、設計者は、骨格に影響されたスキンメッシュノードに重みを設定し、実際の変形において、スキンメッシュノードは骨格変換データ及び設定された対応する重みに基づいて、重み付け変形を行う。
【0144】
しかし、1つのスライダは、通常、複数の骨格ノードに影響を与えることができ、設計者は、複数の骨格ノードに対するスライダの影響関係を設計することにより、スライダが対応する語義を持つようにする。例えば、「低頬骨」スライダ、「鋭い顎」スライダなどであるが、これらの語義特徴は、複数の骨格ノードの連動に依存しなければ実現することができない。
【0145】
本開示の実施例によれば、設計者は、語義タグに関連する形状モデル設計のみに集中して設計すればよく、後続に骨格係数フィッティングレゾルバによって形状モデルをフィッティングすることにより、スライダの設計を実現することができる。すなわち、本開示の実施例は、骨格係数フィッティング能力を統合し、スライダの生成方式や製造プロセスを再定義し、設計者のスライダ設計に対する負担を全面的に軽減し、設計者を煩雑な多骨格連動設計から解放させ、語義に対応する形状モデルの設計に集中させることができるため、複雑な多骨格ノード連動設計から設計者を解放することができ、それによりデジタル資産の生産効率を向上させることができる。
【0146】
選択可能な実施例として、以下のステップにより参照アバタを作成することができる。
【0147】
参照アバタに対して、対応する骨格ツリーを作成する。
【0148】
骨格ツリーに基づいて、骨格と骨格スキンを関連付けることにより、参照アバタを得る。
【0149】
例示的に、顔モデルを例にして、設計者は、顔モデルに骨格ツリーを設計し、顔スキン(骨格スキン)を該骨格ツリーにおける各骨格ノードと関連付けて、顔スキンと各骨格ノードとのバインディングを実現することにより、対応する参照アバタを取得することができる。
【0150】
選択可能な実施例として、骨格スキンデータに基づいて、形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、以下のステップを含むことができる。
【0151】
骨格スキンデータに基づいて、骨格ツリーの根骨格ノードから葉骨格ノードまで、形状モデルを1つずつ反復求解することにより、骨格連動係数を取得する。
【0152】
ここで、骨格ツリーは、参照アバタに対して作成されるものである。
【0153】
本開示の実施例によれば、一回のボトムツーアップの反復アルゴリズムにより骨格連動係数を取得することができるため、フィッティング計算効率がさらに高められる。
【0154】
選択可能な実施例として、骨格ツリーの根骨格ノードから葉骨格ノードまで、形状モデルを1つずつ反復求解することは、以下のことを含むことができる。すなわち、骨格ツリーの根骨格ノードから、段階的に最小二乗法を適用し、骨格ツリーにおける全ての葉骨格ノードの回転、平行移動、スケーリング係数がいずれも算出されるまで、それぞれ各骨格ノードの回転、平行移動、スケーリング係数に対してフィッティングを行う。
【0155】
なお、本開示の実施例において、骨格係数フィッティングレゾルバは、ボトムツーアップの計算ポリシーを採用することができる。すなわち、骨格ツリーの根ノードから、最小二乗法を段階的に応用し、骨格ツリーにおける全ての葉ノードが算出されるまで、それぞれ形状モデルの各骨格ノードの回転、平行移動、スケーリング係数に対してフィッティングを行う。
【0156】
選択可能な実施例として、骨格スキンデータに基づいて、形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、以下のことを含むことができる。すなわち、骨格スキンデータに基づいて、骨格ツリーの根骨格ノードから葉骨格ノードまで、形状モデルに対して1つずつ反復求解することを複数回繰り返し、それにより骨格連動係数を取得する。ここで、骨格ツリーは、参照アバタに対して作成されるものである。
【0157】
本開示の実施例によれば、複数回のボトムツーアップの反復アルゴリズムにより骨格連動係数を取得することもでき、すなわち、各段階の骨格ツリーノードのフィッティング係数を徐々に計算することができるため、得られたてフィッティング結果がより正確である。
【0158】
また、本開示の実施例は、他のタイプの骨格係数フィッティング計算アルゴリズムをサポートすることもでき、本開示の実施例はここで限定されない。
【0159】
本開示の実施例は、関連アルゴリズムの統合、及びスライダインテリジェント生成システムの入出力に対する語義化定義により、アバタスライダのインテリジェント生成を実現する。
【0160】
選択可能な実施例として、骨格スキンデータに基づいて、形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得することは、以下のことを含むことができる。すなわち、骨格スキンデータ及び形状モデルを予め設定された骨格係数フィッティングレゾルバに入力して、骨格係数フィッティングレゾルバで形状モデルにフィッティングを行うことにより、骨格連動係数を取得する。
【0161】
本開示の実施例によれば、設計者は、語義タグに関連する形状モデル設計のみに集中して設計すればよく、後続に骨格係数フィッティングレゾルバによって形状モデルをフィッティングすることにより、スライダの設計を実現することができる。
【0162】
選択可能な実施例として、該方法は、さらに、骨格スキンデータと生成されたスライダを同一のファイルに記憶することを含むことができる。
【0163】
例示的に、「広顔スライダ」を取得した後に、「広顔スライダ」と「参照アバタ」を同一のファイルに記憶すれば、「広顔アバタ」の起動プロセスをトリガした後、「広顔スライダ」は「参照アバタ」を自動的に駆動して「広顔アバタ」を生成することができる。
【0164】
本開示の実施例によれば、アバタスライダと参照アバタを同一のファイルに記憶することで、アバタを起動するときに、スライダを直接利用して参照アバタを駆動してユーザの記述した目標アバタを迅速に出力することができる。
【0165】
選択可能な実施例として、語義特徴に基づいて目標アバタを生成することは、以下のステップを含むことができる。
【0166】
語義特徴に基づいて、少なくとも1つの語義タグを特定する。
【0167】
語義タグに基づいて、対応する少なくとも1つのアクセサリモデル及び/又は少なくとも1つの飾りモデルを特定する。
【0168】
参照アバタの変形を制御することにより得られたアバタに基づいて、少なくとも1つのアクセサリモデル及び/又は少なくとも1つの飾りモデルを増加することにより、目標アバタを得る。
【0169】
例示的には、ユーザが「高い鼻筋、大きい目、細い顎、長い髪、学生服、白スニーカー」の目標アバタを作成しようとすると、まず該語義記述に基づいて語義特徴「高い鼻筋、大きい目、細い顎」を抽出することができる。次に「高い鼻筋スライダ」、「大きい目スライダ」、「細い顎スライダ」の3つのスライダを取得し、この3つのスライダを利用して予め作成された参照アバタの変形を駆動するにより、「高い鼻筋、大きい目、細い顎」の特徴を満たすアバタを取得する。それと同時に、該語義記述に基づいて語義特徴「長い髪、学生服、白スニーカー」を抽出し、髪型アクセサリデジタル資産ライブラリから「長い髪モデル」などのアクセサリモデルを取得し、かつ、服装、靴、キャップなどを含む服飾デジタル資産ライブラリから「女学生服モデル」及び「白スニーカーモデル」などの飾りモデルを取得し、最後に「長い髪モデル」、「女学生服モデル」及び「白スニーカーモデル」を前に作成された「高い鼻筋、大きい目、細い顎」の特徴を有するアバタに添加して、最終的に出力されたアバタはユーザの意図した目標アバタである。
【0170】
本開示の実施例において、髪型及びひげアクセサリデジタル資産ライブラリには、様々な男性のひげモデル、様々な男性の髪型モデル、及び様々な女性の髪型モデルを含むことができることは言うまでもない。服飾デジタル資産ライブラリには、様々な男性や女性のメガネ、服、靴、腕時計、手袋、頭飾り、タオルなどの飾りモデルを含むことができることも言うまでもない。デジタル資産ライブラリにおける各モデルは、いずれも、語義タグに基づいて対応するモデルを自動的に取得するために、唯一の語義タグが関連付けられている。
【0171】
例示的には、デジタル資産ライブラリ内の各モデルのために、例えば白スニーカー、ハイヒール、スモールスカート、学生服、職業正装など、異なる語義タグを定義することができる。語義変換器から出力された髪型、服装などの語義タグに基づいて、デジタル資産ライブラリから対応するモデルを選択し、生成されたアバタに加えることができる。
【0172】
図7に示すように、個性化アバタのカスタマイズ過程は、以下のとおりである。すなわち、ユーザは音声記述を入力する。ASR技術により音声認識を自動的に行う。音声記述におけるキーワードを抽出する。語義変換器により抽出されたキーワードを変換する。変換されたキーワードからスライダに関連するスライダ語義タグを取得する。スライダ語義タグに基づいて、骨格変形を駆動するためのスライダを取得する。スライダに基づいて、対応する骨格変形係数を取得する。骨格変形係数に基づいて、骨格スキンが連動して変形するように駆動する。変換されたキーワードから、髪型や服装などに関連するモデル語義タグを取得する。モデル語義タグに基づいて、デジタル資産ライブラリから対応するモデルを取得する。取得されたモデルを、骨格スキンが連動して変形することで生成されたアバタに添加して、最終的な目標アバタを得る。
【0173】
本開示の実施例によれば、アタッチメントによって目標アバタを美化及び豊富にすることができ、その結果、得られた目標アバタは、ユーザの理想型をより満足することができる。
【0174】
本開示の実施例によれば、本開示は、さらにアバタに用いられるスライダ処理装置を提供する。
【0175】
図8は、本開示の実施形態に係るアバタに用いられるスライダ処理装置を例示的に示すブロック図である。
【0176】
図8に示すように、アバタに用いられるスライダ処理800は、第1の取得モジュール810と、第2の取得モジュール820と、フィッティングモジュール830と、生成モジュール840とを含む。
【0177】
第1の取得モジュール810は、目標語義タグに関連する形状モデルを取得するために用いられるものである。
【0178】
第2の取得モジュール820は、参照アバタの骨格スキンデータを取得するために用いられるものである。
【0179】
フィッティングモジュール830は、該骨格スキンデータに基づいて、該形状モデルにフィッティングを行うことにより、対応する骨格連動係数を取得するために用いられるものである。
【0180】
生成モジュール840は、該骨格連動係数に基づいて、該目標語義タグに関連するスライダを生成するために用いられるものである。ここで、該スライダを利用して該参照アバタを駆動することにより目標語義特徴に合致する目標アバタを得ることができ、該目標語義タグは該目標語義特徴を含む。
【0181】
選択可能な実施例として、該装置は、さらに該参照アバタを作成するための作成モジュールを含み、該作成モジュールは、該参照アバタに対して、対応する骨格ツリーを作成するための作成部と、該骨格ツリーに基づいて、骨格と骨格スキンを関連付けることにより、該参照アバタを得るための関連部とを含む。
【0182】
選択可能な実施例として、該フィッティングモジュールは、さらに、該骨格スキンデータに基づいて、骨格ツリーの根骨格ノードから葉骨格ノードまで、該形状モデルを1つずつ反復求解することにより、該骨格連動係数を取得することに用いられる。ここで、該骨格ツリーは、該参照アバタに対して作成されるものである。
【0183】
選択可能な実施例として、該フィッティングモジュールは、さらに、該骨格ツリーの根骨格ノードから、段階的に最小二乗法を適用し、該骨格ツリー内の全ての葉骨格ノードの回転、平行移動、スケーリング係数がいずれも算出されるまで、それぞれ各骨格ノードの回転、平行移動、スケーリング係数に対してフィッティングを行うことに用いられる。
【0184】
選択可能な実施例として、該フィッティングモジュールは、さらに、該骨格スキンデータに基づいて、骨格ツリーの根骨格ノードから葉骨格ノードまで、該形状モデルに対して1つずつ反復求解することを複数回繰り返し、それにより骨格連動係数を取得することに用いられる。ここで、該骨格ツリーは、該参照アバタに対して作成されるものである。
【0185】
選択可能な実施例として、該フィッティングモジュールは、さらに、該骨格スキンデータ及び該形状モデルを予め設定された骨格係数フィッティングレゾルバに入力して、該骨格係数フィッティングレゾルバで該形状モデルにフィッティングを行うことにより、該骨格連動係数を取得することに用いられる。
【0186】
選択可能な実施例として、該装置は、さらに、該骨格スキンデータと生成されたスライダを同一のファイルに記憶するための記憶モジュールを含む。
【0187】
本開示の装置部分の実施例は、本開示の方法部分の実施例と同じ又は類似し、達成された技術的効果も同じ又は類似し、ここで説明を省略することを理解されたい。
【0188】
本開示の実施例によれば、本開示は、さらに、電子機器、読み取り可能な記憶媒体及びコンピュータプログラムを提供する。
【0189】
図9は、本開示の実施例を実施するための例示電子機器900を示す概略ブロック図である。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップ型コンピュータと、デスクトップコンピュータと、ワークベンチと、パーソナル・デジタル・アシスタントと、サーバと、ブレードサーバと、大型コンピュータと、他の適宜なコンピュータとを表す旨である。電子機器は、様々な形式の移動装置、例えば、パーソナル・デジタル・アシスタントと、携帯電話と、スマートフォンと、ウェアラブル機器と、他の類似する計算装置とを表してもよい。本文に示す部品と、それらの接続及び関係と、それらの機能とは単に例示であり、本文で説明した及び/又は要求した本開示の実現を限定することを意図しない。
【0190】
図9に示すように、電子機器900は、計算手段901を含み、それはリードオンリーメモリ(ROM)902に記憶されたコンピュータプログラム又は記憶手段908からランダムアクセスメモリ(RAM)903にロードされたコンピュータプログラムに基づいて,各種の適宜な動作及び処理を実行することができる。RAM903には、電子機器900の操作に必要な各種のプログラム及びデータが記憶されてもよい。計算手段901、ROM902、およびRAM903は、バス904を介して接続される。入力・出力(I/O)インターフェース905もバス904に接続される。
【0191】
電子機器900における複数の部品は、I/Oインターフェース905に接続され、キーボード、マウスなどの入力手段906と、各種タイプのディスプレイ、スピーカなどの出力手段907と、磁気ディスク、光ディスクなどの記憶手段908と、ネットワークカード、モデム、無線通信送受信機などの通信手段909とを含む。通信手段909は、機器900がインターネットといったコンピュータネットワーク及び/又は各種電気通信ネットワークを介して他の機器と情報・データをやりとりすることが可能にする。
【0192】
計算手段901は、各種の処理及び計算能力を有する汎用及び/又は専用処理コンポーネントであってもよい。計算手段901の幾つかの例示は、中央処理ユニット(CPU)と、図形処理ユニット(GPU)と、各種の専用の人工知能(AI)計算チップと、各種の機器学習モデルアルゴリズムを実行する計算ユニットと、デジタル信号プロセッサ(DSP)と、任意の適宜なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限られない。計算手段901は、前文で説明した各方法及び処理、例えばアバタに用いられるスライダ処理方法を実行する。例えば、幾つかの実施例において、アバタに用いられるスライダ処理方法は、コンピュータソフトウェアプログラムとして実現されてもよく、それが機器読取可能な媒体、例えば記憶手段908に有形的に含まれる。幾つかの実施例において、コンピュータプログラムの一部又は全部がROM902及び/又は通信手段909を介して機器900上にロード及び/又はインストールされ得る。コンピュータプログラムがRAM903にロードされ、計算手段901によって実行される時に、前文で説明したアバタに用いられるスライダ処理方法の1つ又は複数のステップを実行することができる。選択的に、他の実施例において、計算手段901が他の任意の適宜な方式を介して(例えば、ファームウェアを介して)アバタに用いられるスライダ処理方法を実行するように配置される。
【0193】
本文で以上に説明したシステム及び技術の各種実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ(FPGA)、専用集積回路(ASIC)、専用標準製品(ASSP)、システム・オン・チップのシステム(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組合せで実現され得る。これらの各種実施形態は、1つ又は複数のコンピュータプログラムで実行されることを含んでもよく、この1つ又は複数のコンピュータプログラムが、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上に実行及び/又は解釈されてもよく、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであり、記憶システムと、少なくとも1つの入力装置と、少なくとも1つの出力装置とから、データ及びコマンドを受信し、データ及びコマンドをこの記憶システム、この少なくとも1つの入力装置、及びこの少なくとも1つの出力装置に転送してもよい。
【0194】
本開示の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組合せによって書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されて、プログラムコードがプロセッサ又はコントローラによって実行される時にフローチャート及び/又はブロック図に規定された機能・操作が実施されるようにしてもよい。プログラムコードは、完全に機器上に実行されてもよいし、部分的に機器上に実行されてもよく、独立ソフトウェアパッケージとして部分的に機器上に実行され且つ部分的に遠隔機器上に実行され、或いは完全に遠隔機器又はサーバ上に実行される。
【0195】
本開示のコンテキストにおいて、機器読取可能な媒体は、有形的な媒体であってもよく、それが、コマンド実行システム、装置又は機器に使用され、又はコマンド実行システム、装置又は機器と組合せて使用されるプログラムを含み、或いは記憶してもよい。機器読取可能な媒体は、機器読取可能な信号媒体や、機器読取可能な記憶媒体であってもよい。機器読取可能な媒体は、電子的なもの、磁性的なもの、光学的なもの、電磁的なもの、赤外のもの、又は半導体システム、装置又は機器、或いは上記内容の任意の適宜な組合せを含むが、これらに限られない。機器読取可能な記憶媒体のより具体的な例示は、1つ又は複数のラインによる電気接続、携帯コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、携帯コンパクトディスクリードオンリーメモリ(CD-ROM)、光学的記憶デバイス、磁気的記憶デバイス、又は上記内容の任意の適宜な組合せを含む。
【0196】
ユーザとのインタラクションを提供するために、コンピュータでここで説明したシステム及び技術を実施してもよく、このコンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及び指向装置(例えば、マウス又はトラックボール)とを有し、ユーザは、このキーボード及びこの指向装置によって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックは、任意の形式のセンサーフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(声入力、語音入力、又は触覚入力を含む)でユーザからの入力を受信してもよい。
【0197】
ここで説明したシステム及び技術は、バックグラウンド部品を含む計算システム(例えば、データサーバとする)、又はミドルウェア部品を含む計算システム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含む計算システム(例えば、グラフィカル・ユーザー・インターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザはこのグラフィカル・ユーザー・インターフェース又はこのネットワークブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションすることができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、或いはフロントエンド部品の任意の組合せを含む計算システムで実施されてもよい。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)を介してシステムの部品を相互に接続してもよい。通信ネットワークの例示は、ローカルエリアネットワーク(LAN)と、広域ネットワーク(WAN)と、インターネットとを含む。
【0198】
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバとは、一般的に互いに離れて、且つ通常に通信ネットワークを介してインタラクションする。相応するコンピュータで実行されるとともに、互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係を形成する。
【0199】
上記に示した様々な形式のフローを利用して、ステップを並び替え、追加又は削除することができると理解されるべきである。例えば、本開示に記載された各ステップは、並行に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本開示が開示した技術案が所望する結果を実現できる限り、本文はここで限定されない。
【0200】
上述した具体的な実施形態は、本開示の保護範囲に対する限定を構成しない。当業者は、設計要求や他の要因に応じて、さまざまな修正、組合、サブ組合及び置換を行うことができると理解すべきである。本開示の趣旨及び原則の範囲内になされた任意の修正、等価な置換、改進などは、いずれも本開示の保護範囲内に含まれるべきである。