特開 2023-43849 仮想顔部モデルを調整する方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023043849

(43)【公開日】2023-03-29

(54)【発明の名称】仮想顔部モデルを調整する方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 13/40 20110101AFI20230322BHJP

【ＦＩ】

G06T13/40

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022141929

(22)【出願日】2022-09-07

(31)【優先権主張番号】202111089448.1

(32)【優先日】2021-09-16

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】チャン，イユアン

(72)【発明者】

【氏名】リャオ，ジアウェイ

(72)【発明者】

【氏名】リウ，ユ

(72)【発明者】

【氏名】ファン，シー

(72)【発明者】

【氏名】レン，シャオフア

(72)【発明者】

【氏名】ファン，シャオリン

(72)【発明者】

【氏名】ジャオ，フイビン

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA08

5B050BA09

5B050BA12

5B050CA01

5B050DA04

5B050EA26

5B050FA02

5B050FA05

(57)【要約】      （修正有）

【課題】仮想キャラクターを調整する操作ステップを簡略化し、ユーザの体験を向上させる仮想顔部モデルを調整する方法、装置、電子機器及び記憶媒体を提供する。
【解決手段】方法は、現実シーンでの実際の顔を認識して、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得し、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定し、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整する。
【選択図】図２

【特許請求の範囲】

【請求項1】

仮想顔部モデルを調整する方法であって、
現実シーンでの実際の顔を認識し、前記実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得するステップと、
前記実際の顔に作用した顔ピンチ操作に応答して、前記顔ピンチ操作を認識し、前記第１の仮想顔部モデルにおける調整すべきキーポイント及び前記調整すべきキーポイントの調整方式を決定するステップと、
前記調整すべきキーポイントの調整方式に従って前記第１の仮想顔部モデルを第２の仮想顔部モデルに調整するステップとを含む、仮想顔部モデルを調整する方法。

【請求項2】

前記顔ピンチ操作を認識し、前記第１の仮想顔部モデルにおける前記調整すべきキーポイントを決定するステップは、
前記顔ピンチ操作を認識し、前記顔ピンチ操作の作用対象を決定するステップであって、前記作用対象は、前記実際の顔の五官、前記実際の顔の形うちの少なくともの１つを含むステップと、
前記作用対象に応じて前記第１の仮想顔部モデルに含まれる複数のキーポイントから前記調整すべきキーポイントを選択するステップとを含む、請求項１に記載の方法。

【請求項3】

前記顔ピンチ操作を認識し、前記調整すべきキーポイントの調整方式を決定するステップは、
前記顔ピンチ操作を認識し、前記顔ピンチ操作による作用対象の変形を決定するステップと、
前記作用対象の変形に応じて前記調整すべきキーポイントの調整方式を決定するステップとを含む、請求項１に記載の方法。

【請求項4】

前記作用対象の変形に応じて前記調整すべきキーポイントの調整方式を決定するステップは、
前記作用対象の変形方向に応じて前記調整すべきキーポイントの移動方向を決定するステップであって、ここで、前記変形方向と前記移動方向とは鏡像対称であるステップと、
前記作用対象の変形の程度に応じて前記調整すべきキーポイントの移動距離を決定するステップとを含む、請求項３に記載の方法。

【請求項5】

前記調整すべきキーポイントの調整方式に従って前記第１の仮想顔部モデルを第２の仮想顔部モデルに調整するステップは、
前記調整すべきキーポイントの前記第１の仮想顔部モデルにおける初期位置を取得するステップと、
前記初期位置、移動方向及び移動距離により前記調整すべきキーポイントのターゲット位置を決定するステップと、
前記ターゲット位置に基づいて前記第１の仮想顔部モデルを第２の仮想顔部モデルに調整するステップとを含む、請求項１に記載の方法。

【請求項6】

表示サイズ、表示色、表示輝度、表示エフェクトのパラメータのうちの少なくともの１つにより決定され、且つ予め設定された表示モードに従って前記第１の仮想顔部モデルに前記調整すべきキーポイントを表示するステップをさらに含む、請求項１に記載の方法。

【請求項7】

仮想顔部モデルを調整する装置であって、
現実シーンでの実際の顔を認識し、前記実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得するための第１の認識モジュールと、
前記実際の顔に作用した顔ピンチ操作に応答して、前記顔ピンチ操作を認識し、前記第１の仮想顔部モデルにおける調整すべきキーポイント及び前記調整すべきキーポイントの調整方式を決定するための第２の認識モジュールと、
前記調整すべきキーポイントの調整方式に従って前記第１の仮想顔部モデルを第２の仮想顔部モデルに調整するための調整モジュールとを含む、仮想顔部モデルを調整する装置。

【請求項8】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリとを含み、
前記メモリに前記少なくとも１つのプロセッサにより実行できる命令が記憶され、前記命令が前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～請求項６のいずれか１項に記載の方法を実行させることができる、電子機器。

【請求項9】

コンピュータ命令が記憶される非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～請求項６のいずれか１項に記載の方法を実行させるために用いられる、非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項10】

コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～請求項６のいずれか１項に記載の方法を実現するコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、インターネット技術分野に関し、さらにコンピュータ視覚分野に関し、特に、仮想顔部モデルを調整する方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

インターネットの発展の加速に伴い、モバイル端末の性能が急速に向上され、ますます多くのアプリケーションの生成と発展に有力な技術サポートを提供し、ここで、仮想キャラクターソーシャルアプリケーションは人気のあるコミュニケーションと娯楽の形態となっている。

【0003】

従来の仮想キャラクターソーシャルアプリケーションは、仮想人物キャラクターの五官及び顔の形をカスタマイズ編集する際に、端末インタフェースにおける顔部のキーポイントをクリックして、上下左右方向へ引っ張ることによって、五官及び顔の形の修正調整を完了し、操作ステップが複雑かつ煩雑であり、ユーザの使用体験に影響を与えることが多い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、仮想キャラクターを調整する操作ステップが煩瑣であり、ユーザの体験が悪いという従来の技術案の技術課題を少なくとも解決するために、仮想顔部モデルを調整する方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、仮想顔部モデルを調整する方法が提供され、前記方法は、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得するステップと、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定するステップと、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整するステップとを含む。

【0006】

本開示の別の態様によれば、仮想顔部モデルを調整する装置が提供され、前記装置は、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得するための第１の認識モジュールと、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定するための第２の認識モジュールと、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整するための調整モジュールとを含む。

【0007】

本開示の別の態様によれば、少なくとも１つのプロセッサ、及び少なくとも１つのプロセッサに通信可能に接続されるメモリを含み、メモリに少なくとも１つのプロセッサにより実行できる命令が記憶され、命令が少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに本開示において提供される仮想顔部モデルを調整する方法を実行させることができる。

【0008】

本開示の別の態様によれば、コンピュータ命令が記憶される非一時的なコンピュータ読み取り可能な記憶媒体が提供され、コンピュータ命令は、コンピュータに本開示において提供される仮想顔部モデルを調整する方法を実行させるために用いられる。

【0009】

本開示の別の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、コンピュータプログラムがプロセッサにより実行されると、本開示において提供される仮想顔部モデルを調整する方法を実現する。

【0010】

本明細書に記載された内容は、本開示の実施例の核心または重要な特徴を特定するためのものではなく、本開示の範囲を制限するためのものではないことを理解されたい。本開示の他の特徴は、以下の説明書によって容易に理解されるであろう。

【図面の簡単な説明】

【0011】

図面は、本開示を限定しなく、本開示をより良く理解するようにする。

【図1】本開示の実施例に係る、仮想顔部モデルを調整する方法を実現するためのコンピュータ端末（又は移動機器）のハードウェア構造のブロック図である。

【図2】本開示の実施例に係る仮想顔部モデルを調整する方法のフローチャートである。

【図3】本開示の実施例に係る仮想顔部モデルを調整する装置の構造ブロック図である。

【発明を実施するための形態】

【0012】

以下に図面を参照しながら本開示の例示的な実施例を説明し、本開示の実施例の様々な詳細は理解を容易にし、それらが例示的なものに過ぎないと考えるべきである。したがって、当業者であれば、本開示の範囲及び精神から逸脱することなく、ここで説明された実施例に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、明確かつ簡潔にするために、以下の説明において公知の機能及び構造に対する説明を省略する。

【0013】

なお、本開示の明細書、特許請求の範囲および上記図面における用語の「第１」、「第２」などは、特定の順序または前後順序を記述するのではなく、類似の対象を区別するために用いられる。このようにして使用される数字は、本明細書で説明される本開示の実施例が、ここで図示または説明されたもの以外の順序で実施されることができるように、適切な場合において交換されることが理解されるべきである。さらに、「含む」および「有する」という用語及びそれらの任意の変形は、排他的な「含んでいる」を意図しており、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は装置は、明確に列挙されたそれらのステップ又はユニットに限定されるものではなく、明確に列挙されないか又はこれらの過程、方法、製品又は装置に固有の他のステップ又はユニットを含むことができる。

【0014】

本開示の実施例によれば、仮想顔部モデルを調整する方法が提供され、なお、図面のフローチャートに示すステップは、コンピュータ実行可能命令のセットのようなコンピュータシステムにおいて実行されることができ、フローチャートには論理順序が示されているが、場合によっては、図示または説明したステップは、ここで説明した手順とは異なる順序で実行されることができる。

【0015】

本開示の実施例に係る方法の実施例は、モバイル端末、コンピュータ端末、または同様の電子機器において実行されることができる。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器はまた、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、および他の類似の計算装置などの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続と関係、およびそれらの機能は、例示としてのみ使用され、本明細書に記載されるおよび／または要求される本開示の実施を限定することを意図しない。図１は、仮想顔部モデルを調整する方法を実現するためのコンピュータ端末（又は移動機器）のハードウェア構造ブロック図を示す。

【0016】

図１に示すように、コンピュータ端末１００は、読み出し専用メモリ（ＲＯＭ）１０２に記憶されたコンピュータプログラム、または、記憶ユニット１０８からランダムアクセスメモリ（ＲＡＭ）１０３にロードされたコンピュータプログラムに従って、種々の適切な動作および処理を実行することができる計算ユニット１０１を含む。ＲＡＭ １０３には、コンピュータ端末１００の操作に必要な様々なプログラムやデータも記憶されている。計算ユニット１０１、ＲＯＭ １０２及びＲＡＭ １０３は、バス１０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース１０５もバス１０４に接続されている。

【0017】

コンピュータ端末１００における複数の部品はＩ／Ｏインタフェース１０５に接続され、キーボード、マウスなどの入力ユニット１０６、様々な種類のディスプレイ、スピーカなどの出力ユニット１０７、磁気ディスク、光ディスクなどの記憶ユニット１０８、及び、ネットワークカード、モデム、無線通信トランシーバなどなどの通信ユニット１０９を含む。通信部１０９は、コンピュータ端末１００がインターネットなどのコンピュータネットワークや様々な通信網を介して他の装置と情報／データを交換できるようにする。

【0018】

計算ユニット１０１は、処理および計算能力を有する様々な汎用および／または専用の処理構成要素であってもよい。計算ユニット１０１のいくつかの例としては、中央処理部（ＣＰＵ）、グラフィック処理部（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号処理部（ＤＳＰ）、および任意の適切な処理部、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット１０１は、本明細書で説明される仮想顔部モデルを調整する方法を実行する。例えば、いくつかの実施例において、仮想顔部モデルを調整する方法は、記憶ユニット１０８のような機械読み取り可能な媒体に有形に含まれるコンピュータソフトウェアプログラムとして実装され得る。いくつかの実施例において、コンピュータプログラムの一部または全部は、ＲＯＭ １０２および／または通信ユニット１０９を介してコンピュータ端末１００にロードおよび／またはインストールされることができる。コンピュータプログラムがＲＡＭ １０３にロードされ、計算ユニット１０１によって実行されると、本明細書で説明される仮想顔モデルを調整する方法の１つまたは複数のステップを実行することができる。代替的に、他の実施例において、計算ユニット１０１は、仮想顔モデルを調整する方法を実行するように他の任意の適切な方法（例えば、ファームウェアを介する）によって構成されることができる。

【0019】

本明細書に記載されるシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、チップアップシステム（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現され得る。これらの様々な実施形態は、以下を含むことができる。少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および／または解釈できる１つまたは複数のコンピュータプログラムにおいて実施され、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置から、データおよび命令を受信し、データおよび命令をこの記憶システム、この少なくとも１つの入力装置、およびこの少なくとも１つの出力装置に送信する。

【0020】

ここでは、いくつかの好ましい実施例において、上述した図１に示す電子機器は、ハードウェア素子（回路を含む）、ソフトウェア素子（コンピュータ読み取り可能な媒体に記憶されたコンピュータコードを含む）、またはハードウェア素子とソフトウェア素子の両者の組み合わせを含むことができる。なお、図１は、特定の具体例の一例に過ぎず、上述した電子機器に存在可能な部品の種類を示すことを目的としている。

【0021】

上記実行環境において、本開示は、図２に示す仮想顔部モデルを調整する方法を提供し、該方法は図１に示すコンピュータ端末又は類似の電子機器により実行されることができる。図２は、本開示の実施例に係る仮想顔部モデルを調整する方法のフローチャートである。図２に示すように、該方法は、ステップＳ２１～ステップＳ２３を含むことができる。

【0022】

ステップＳ２１において、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得する。

【0023】

上記現実シーンは、ユーザが現在位置している実際のシーンであってもよい。

【0024】

上記仮想シーンは、仮想キャラクターアプリケーションにおけるシーンであってもよいし、下位コードを用いて予め設定されたものであってもよい。

【0025】

好ましくは、ユーザのシーン選択操作に応答して仮想シーンを切り替え、たとえば、予め設定された仮想シーンは、ビーチシーン、雪山シーン、砂漠シーン及び都市シーンを含むことができ、ユーザは、画像ユーザインタフェースにおけるシーン切り替えコントロールをクリックすることによって、仮想シーンを切り替えることができ、例えば、現在の仮想シーンがビーチシーンであり、切り替えすべきシーンが雪山シーンであり、雪山シーンに対応するシーン切り替えコントロールをクリックすることによって、ビーチシーンを雪山シーンに切り替えることができる。

【0026】

上記第１の仮想顔部モデルは実際の顔に対応する顔部モデルであり、第１の仮想顔部モデルは２次元モデル又は三次元モデルであってもよい。

【0027】

具体的には、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得する実現プロセスは、従来のいずれかの顔認識モデリング技術案を参照することができ、詳しく説明しない。

【0028】

ステップＳ２２において、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定する。

【0029】

上記実際の顔に作用した顔ピンチ操作に応じて、実際の顔のキーポイントを変形させ、さらに実際の顔に対応する第１の仮想顔部モデルにおける調整すべきキーポイントを相応に変化させることができる。

【0030】

好ましくは、顔ピンチ操作を認識することは、ユーザの顔ピンチジェスチャーを認識すること、及びユーザの実際の顔を認識することを含む。具体的には、顔ピンチジェスチャーが実際の顔に作用した位置を認識することで、実際の顔の変形したキーポイント及びこれらのキーポイントの調整方式を決定し、さらに実際の顔を認識して第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定する。

【0031】

具体的には、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定する実現プロセスは、本開示の実施例についての更なる説明を参照することができる。

【0032】

ステップＳ２３において、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整する。

【0033】

上記第２の仮想顔部モデルは、仮想シーンにおける調整後の仮想顔部モデルであり、ユーザのニーズにより適合する。

【0034】

具体的には、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整する実現プロセスは、本開示の実施例についての更なる説明を参照することができる。

【0035】

本開示の上記ステップＳ２１～ステップＳ２３により、現実シーンでの実際の顔を認識して、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得し、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定し、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整することで、仮想キャラクターをスマートに調整する目的を実現し、仮想キャラクターを調整する操作ステップを簡略化して、ユーザの体験を向上させる効果を実現し、それにより、仮想キャラクターを調整する操作ステップが煩瑣であり、ユーザの体験が悪いという従来の技術案の技術課題を解決する。

【0036】

以下、上記実施例の仮想顔部モデルを調整する方法についてさらに説明する。

【0037】

１つの好ましい実施の形態としては、ステップＳ２２において、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイントを決定するステップは、ステップＳ２２１及びステップＳ２２２を含む。

【0038】

ステップＳ２２１において、顔ピンチ操作を認識して、顔ピンチ操作の作用対象を決定し、ここで、作用対象は、実際の顔の五官、実際の顔の形のうちの少なくともの１つを含む。

【0039】

ステップＳ２２２において、作用対象に応じて第１の仮想顔部モデルに含まれる複数のキーポイントから調整すべきキーポイントを選択する。

【0040】

第１の仮想顔部モデルに含まれる複数のキーポイントは、実際の顔の五官、実際の顔の形に対応する五官モデル及び顔の形のモデルを含む。

【0041】

１つの好ましい実施の形態としては、ステップＳ２２において、顔ピンチ操作を認識し、調整すべきキーポイントの調整方式を決定するステップは、ステップＳ２２３及びステップＳ２２４を含む。

【0042】

ステップＳ２２３において、顔ピンチ操作を認識し、顔ピンチ操作による作用対象の変形を決定する。

【0043】

上記作用対象に生じされた変形は、左右伸縮、上下伸縮、全体拡大、全体縮小のうちの１つまたは複数を含むことができる。

【0044】

ステップＳ２２４において、作用対象の変形に応じて調整すべきキーポイントの調整方式を決定する。

【0045】

上記調整すべきキーポイントの調整方式は、作用対象の変形に対応し、左右伸縮、上下伸縮、全体拡大、全体縮小のうちの１つまたは複数を含むことができる。

【0046】

好ましくは、作用対象の１回または複数回の変形に応じて調整すべきキーポイントの調整方式を決定することができる。第１の仮想顔部モデルを１回調整してニーズを満たさないと、現在の調整結果に応じて複数回の顔ピンチ操作を続行することができ、最終的な調整結果がクライアントのニーズを満たすようにし、ユーザの使用体験をさらに向上させることができる。

【0047】

たとえば、ユーザは、「親指と人差し指」によって、眼球、口の上下左右の４つの角をピンチ・引張り、ユーザのピンチ・引っ張るジェスチャー及び実際の顔を認識した後、第１の仮想顔部モデルにおける調整すべきキーポイントが眼球及び口であると決定し、眼球、口に生じされた変形に応じて、調整すべきキーポイントの上下左右の４つの角を引張又は収縮させるように調整すると決定する。

【0048】

また、たとえば、ユーザは、「親指と人差し指」によって鼻翼をピンチし又は鼻孔を引張り、ユーザのジェスチャー及び実際の顔を認識した後、第１の仮想顔部モデルにおける調整すべきキーポイントが鼻翼又は鼻孔であると決定し、鼻翼又は鼻孔に生じされた変形に応じて、調整すべきキーポイントを縮小又は拡大させるように調整すると決定する。

【0049】

また、たとえば、ユーザは、「親指と人差し指」によって鼻梁をピンチ・引張り、ユーザのジェスチャー及び実際の顔を認識した後、第１の仮想顔部モデルにおける調整すべきキーポイントが鼻梁であると決定し、鼻梁に生じされた変形に応じて、調整すべきキーポイントを引張又は収縮させるように調整すると決定する。

【0050】

また、たとえば、ユーザは、「親指と人差し指」によって眉の２つの角をピンチ・引張り、ユーザのジェスチャー及び実際の顔を認識した後、第１の仮想顔部モデルにおける調整すべきキーポイントが眉であると決定し、眉に生じされた変形に応じて、調整すべきキーポイントの左右両端を引張又は収縮させるように調整すると決定する。

【0051】

１つの好ましい実施の形態としては、作用対象の変形に応じて調整すべきキーポイントの調整方式を決定するステップＳ２２４は、ステップＳ２２４１及びステップＳ２２４２を含む。

【0052】

ステップＳ２２４１において、作用対象の変形方向に応じて調整すべきキーポイントの移動方向を決定し、変形方向と移動方向とは鏡像対称である。

【0053】

ステップＳ２２４２において、作用対象の変形の程度に応じて調整すべきキーポイントの移動距離を決定する。

【0054】

１つの好ましい実施の形態としては、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整するステップは、ステップＳ２３１～ステップＳ３３を含む。

【0055】

ステップＳ２３１において、調整すべきキーポイントの第１の仮想顔部モデルにおける初期位置を取得する

【0056】

ステップＳ２３２において、初期位置、移動方向及び移動距離を用いて調整すべきキーポイントのターゲット位置を決定する。

【0057】

ステップＳ２３３において、ターゲット位置に基づいて第１の仮想顔部モデルを第２の仮想顔部モデルに調整する。

【0058】

１つの好ましい実施の形態としては、上記仮想顔部モデルを調整する方法は、表示サイズ、表示色、表示輝度、表示エフェクトのパラメータのうちの少なくともの１つにより決定され、且つ予め設定された表示モードに従って第１の仮想顔部モデルに調整すべきキーポイントを表示するステップをさらに含む。

【0059】

本開示は、現実シーンでの実際の顔を認識して、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得し、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定し、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整することで、仮想キャラクターをスマートに調整する目的を実現し、仮想キャラクターを調整する操作ステップを簡略化して、ユーザの体験を向上させる効果を実現し、それにより、仮想キャラクターを調整する操作ステップが煩瑣であり、ユーザの体験が悪いという従来の技術案の技術課題を解決する。

【0060】

本開示の技術的解決手段は、ユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び公開などの処理に関し、いずれも関連法律法規の規定に適合し、かつ公序良俗に違反しない。

【0061】

以上の実施形態の説明により、当業者であれば、上述した実施例による方法は、ソフトウェアに必要な汎用ハードウェアプラットフォームを追加することによって実現され得ることを明確に理解することができ、当然ながら、ハードウェアによって実現されてもよいが、多くの場合、前者はより好ましい実施形態である。このような理解に基づいて、本開示の技術案は、本質的に、あるいは、従来の技術に寄与する部分はコンピュータソフトウェア製品で具体化されてもよく、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、１台の端末機器（携帯電話、コンピュータ、サーバ、またはネットワークデバイスなどであってもよい）に本開示の各実施例に記載の方法を実行させるためのいくつかの命令を含む。

【0062】

本開示では、仮想顔部モデルを調整する装置をさらに提供し、該装置は、上記実施例及び好適な実施の形態を実現するためのものであり、既に説明したものは省略する。以下で使用されるように、「モジュール」という用語は、所定の機能のソフトウェアおよび／またはハードウェアの組み合わせを実現することができる。以下の実施例に記載される装置は、ソフトウェアで実現されることが好ましいが、ハードウェア、またはソフトウェアとハードウェアとの組み合わせの実現も考えられ得る。

【0063】

図３は本開示の一実施例による仮想顔部モデルを調整する装置の構造ブロック図であり、図３に示すように、仮想顔部モデルを調整する装置３００は、第１の認識モジュール３０１、第２の認識モジュール３０２、及び調整モジュール３０３を含む。

【0064】

第１の認識モジュール３０１は、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得するために用いられ、

【0065】

第２の認識モジュール３０２は、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定するために用いられ、

【0066】

調整モジュール３０３は、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整するために用いられる。

【0067】

好ましくは、第２の認識モジュール３０２は、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイントを決定するために用いられ、これは、顔ピンチ操作を認識し、顔ピンチ操作の作用対象を決定することと、作用対象に応じて第１の仮想顔部モデルに含まれる複数のキーポイントから調整すべきキーポイントを選択することとを含み、作用対象は、実際の顔の五官、実際の顔の形のうちの少なくともの１つを含む。

【0068】

好ましくは、第２の認識モジュール３０２は、顔ピンチ操作を認識し、調整すべきキーポイントの調整方式を決定するために用いられ、これは、顔ピンチ操作を認識し、顔ピンチ操作による作用対象の変形を決定することと、作用対象の変形に応じて調整すべきキーポイントの調整方式を決定することとを含む。

【0069】

好ましくは、第２の認識モジュール３０２は、作用対象の変形に応じて調整すべきキーポイントの調整方式を決定するために用いられ、これは、作用対象の変形方向に応じて調整すべきキーポイントの移動方向を決定し、変形方向と移動方向とは鏡像対称であることと、作用対象の変形の程度に応じて調整すべきキーポイントの移動距離を決定することとを含む。

【0070】

好ましくは、調整モジュール３０３は、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整するために用いられ、これは、調整すべきキーポイントの第１の仮想顔部モデルにおける初期位置を取得することと、初期位置、移動方向及び移動距離を用いて調整すべきキーポイントのターゲット位置を決定することと、ターゲット位置に基づいて第１の仮想顔部モデルを第２の仮想顔部モデルに調整することとを含む。

【0071】

好ましくは、調整仮想顔部モデルの装置３００は、表示サイズ、表示色、表示輝度、表示エフェクトのパラメータのうちの少なくともの１つにより決定され、且つ予め設定された表示モードに従って、第１の仮想顔部モデルに調整すべきキーポイントを表示するための表示モジュール３０４をさらに含む。

【0072】

なお、上記各モジュールは、ソフトウェアまたはハードウェアにより実現されることができ、後者については、以下のように実現されることができるが、これに限定されない。上記モジュールは、全て同じプロセッサに配置され、あるいは、上記各モジュールは、それぞれ異なるプロセッサに任意の組み合わせで配置されている。

【0073】

本開示の実施例によれば、本開示は、メモリ及び少なくとも１つのプロセッサを含む電子機器をさらに提供し、該メモリにコンピュータ命令が記憶され、該プロセッサは、コンピュータ命令を実行することにより、上記いずれかの方法の実施例のステップを実行するように構成されている。

【0074】

好ましくは、上記電子機器は、伝送機器及び入出力機器をさらに含むことができ、該伝送機器は上記プロセッサに接続され、該入出力機器は上記プロセッサに接続される。

【0075】

好ましくは、本開示において、上記プロセッサは、コンピュータプログラムによってステップＳ１～Ｓ３を行うように構成され得る。

【0076】

Ｓ１において、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得する。

【0077】

Ｓ２において、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定する。

【0078】

Ｓ３において、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整する。

【0079】

好ましくは、本実施例の具体的な例示は、上述した実施例および好ましい実施の形態で説明された例示を参照することができ、本実施例は、ここではこれ以上説明しない。

【0080】

本開示の実施例によれば、本開示は、コンピュータ命令が記憶される非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、該非一時的なコンピュータ読み取り可能な記憶媒体にコンピュータ命令が記憶され、該コンピュータ命令は、実行されると、上記いずれかの方法の実施例のステップを行うように構成されている。

【0081】

好ましくは、本実施例では、上記不揮発性記憶媒体は、ステップＳ１～Ｓ３を行うためのコンピュータプログラムを記憶するように構成され得る。

【0082】

Ｓ１において、現実シーンでの実際の顔を認識し、実際の顔の仮想シーンにおける第１の仮想顔部モデルを獲得する。

【0083】

Ｓ２において、実際の顔に作用した顔ピンチ操作に応答して、顔ピンチ操作を認識し、第１の仮想顔部モデルにおける調整すべきキーポイント及び調整すべきキーポイントの調整方式を決定する。

【0084】

Ｓ３において、調整すべきキーポイントの調整方式に従って第１の仮想顔部モデルを第２の仮想顔部モデルに調整する。

【0085】

好ましくは、本実施例において、上記非一時的なコンピュータ読み取り可能な記憶媒体は電子、磁気、光学、電磁気、赤外線、或いは半導体のシステム、装置、デバイス、又は上記内容の任意の適切な組み合わせを含むがこれらに限定されない。読み取り可能な記憶媒体の具体例は１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0086】

本開示の実施例によれば、本開示はさらにコンピュータプログラム製品を提供する。本開示のオーディオ処理方法を実施するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせでプログラミングすることができる。これらのプログラムコードは汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供されることができ、それによりプログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは完全にマシンで実行され、部分的にマシンで実行されてもよく、独立したソフトウェアパッケージとして部分的にマシンで実行されかつ部分的に遠隔マシンで実行されるか又は完全に遠隔マシン又はサーバで実行される。

【0087】

本開示の上記実施例において、各実施例に対する説明に重点が異なり、ある実施例において詳述されていない部分は、他の実施例の関連する説明を参照することができる。

【0088】

本開示によるいくつかの実施例において、開示された技術内容が、他の形態で実現されることができることを理解すべきである。ここで、以上に説明された装置の実施形態は、一例に過ぎず、例えば前記ユニットの分割は論理機能の分割に過ぎず、実際の実装においては他の分割であってもよい。例えば複数のユニット又はコンポーネントが別のシステムに組み合わせられまたは統合されてもよく、あるいはいくつかの特徴が無視されてもよいし、または実行されなくてもよい。加えて、表示されるか又は議論される相互間の結合又は直接結合又は通信接続はいくつかのインタフェースを用いて実装されてよく、ユニット又はモジュールの間接的結合または通信接続は、電子、機械、または他の形態で実装されてよい。

【0089】

前記分離部材として説明されたユニットは物理的に分離されてもよく又は物理的に分離されなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち、１つの場所に位置してもよく、又は複数のユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全部のユニットを選択して本実施形態の解決手段の目的を達成することができる。

【0090】

また、本開示の各実施形態における各機能ユニットは１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記統合されたユニットはハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。

【0091】

前記統合されたユニットはソフトウェア機能ユニットの形態で実現されかつ独立した製品として販売されるか又は使用される場合、１つのコンピュータの読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決手段の本質又は従来の技術に寄与する部分又は該技術的解決手段の全部又は一部はソフトウェア製品の形態で具現されることができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク機器等であってもよい）に本開示の各実施形態に記載の方法の全部又は一部のステップを実行させるための複数の命令を含む。前述した記憶媒体は、Ｕディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、リムーバブルハードディスク、磁気ディスク又は光ディスクなどの様々なプログラムコードを記憶できる媒体を含む。

【0092】

以上は本開示の好ましい実施形態にすぎず、指摘すべきことは、当業者にとって、本開示の原理から逸脱することなく、さらにいくつかの改善及び修飾を行うことができ、これらの改善及び修飾も本開示の保護範囲と見なすべきである。

【図1】

【図2】

【図3】