特表 2025-502521 素材提示方法、装置、電子機器、記憶媒体及びプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】素材提示方法、装置、電子機器、記憶媒体及びプログラム製品

(51)【国際特許分類】

   G09G 5/00 20060101AFI20250117BHJP

   G09G 5/377 20060101ALI20250117BHJP

   G09G 5/37 20060101ALI20250117BHJP

   G09G 5/38 20060101ALI20250117BHJP

   G09G 5/36 20060101ALI20250117BHJP

   H04N 7/18 20060101ALI20250117BHJP

   G06T 7/246 20170101ALI20250117BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 530M

G09G5/377 100

G09G5/37 310

G09G5/37 320

G09G5/00 550B

G09G5/37 200

G09G5/38 100

G09G5/36 400

H04N7/18 U

G06T7/246

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024544463

(86)(22)【出願日】2023-01-13

(85)【翻訳文提出日】2024-07-25

(86)【国際出願番号】 CN2023072057

(87)【国際公開番号】W WO2023143120

(87)【国際公開日】2023-08-03

(31)【優先権主張番号】202210089981.6

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(72)【発明者】

【氏名】リアン，ヤハン

(72)【発明者】

【氏名】マ，ジアシン

(72)【発明者】

【氏名】イ，アナン

(72)【発明者】

【氏名】ジアン，ジュン

(72)【発明者】

【氏名】ジャン，シャオシュイ

(72)【発明者】

【氏名】チェン，シュイ

【テーマコード（参考）】

5C054

5C182

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FE14

5C182AB02

5C182AB08

5C182AC02

5C182AC03

5C182AC13

5C182AC14

5C182AC39

5C182AC43

5C182BA14

5C182BA47

5C182BA55

5C182BA75

5C182CB04

5C182CB13

5C182CB14

5C182CB34

5C182CB42

5C182CB44

5C182CB47

5C182CB54

5C182CC22

5C182DA52

5C182DA65

5C182FA61

5C182FA68

5L096CA04

5L096DA02

5L096FA02

5L096FA69

5L096HA05

(57)【要約】

本開示は、素材提示方法、装置、電子機器、記憶媒体及びプログラム製品に関し、該方法では、撮影されたビデオ画像を取得し、ビデオ画像におけるターゲット識別対象の位置に基づいて、軌跡画像を得、軌跡画像及びターゲットエレメントに対応する素材画像に基づいて重畳処理を行って、複数のターゲットユニットエフェクト画像を得る。複数のターゲットユニットエフェクト画像をマージして、ターゲットエレメントを得る。ターゲット３次元エフェクトの本体は、複数の表面を含む立体的な幾何学的な構造であり、複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、立体的な幾何学的な構造の複数の幾何学的な表面に上記複数のターゲットユニットエフェクト画像を提示する。

【特許請求の範囲】

【請求項1】

撮影されたビデオ画像を取得し、撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得ることと、
前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得ることと、
前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成し、撮影されたビデオ画像に前記ターゲットエレメントを提示することであって、前記ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示することとを含む、素材提示方法。

【請求項2】

前述した、前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得ることは、
前記軌跡画像とターゲットエレメントに対応する素材画像とを重畳させて、ユニットエフェクト画像を得ることと、
前記ユニットエフェクト画像に対してコピー処理及び鏡像処理を行って、前記複数のターゲットユニットエフェクト画像を得ることとを含む、請求項１に記載の素材提示方法。

【請求項3】

前述した、前記軌跡画像とターゲットエレメントに対応する素材画像とを重畳させて、ユニットエフェクト画像を得ることは、
前記軌跡画像に対して鏡像処理を行って、前記軌跡画像に対応する鏡像画像を得ることと、
前記軌跡画像及び前記鏡像画像のそれぞれと、前記ターゲットエレメントに対応する素材画像の異なる領域とを重畳させて、前記ユニットエフェクト画像を得ることとを含む、請求項２に記載の素材提示方法。

【請求項4】

前述した、撮影されたビデオ画像におけるターゲット対象の位置情報に基づいて、軌跡画像を得ることは、
予め構築されたキャンバスに、前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置に基づいて、前記キャンバスに２つの円形領域を描画することと、
前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置の結び線に基づいて、前記キャンバスに矩形領域を描画することであって、前記矩形領域の短辺のサイズは、前記円形領域の直径と同じであり、前記矩形領域の短辺は、前記結び線に垂直な辺であり、且つ、前記矩形領域の幅の中心点が、相応な円形領域の中心と重なることと、
連続して撮影されたビデオ画像に基づいて、軌跡描画が終了するまで描画し、前記軌跡画像を得ることとを含む、請求項１に記載の素材提示方法。

【請求項5】

前記軌跡画像における軌跡が発光効果を有するように、前記軌跡画像に対してぼかし処理を行うことをさらに含む、請求項４に記載の素材提示方法。

【請求項6】

前記矩形領域の長辺のサイズは、前記結び線の長さと比例関係にあり、前記矩形領域の長辺は、前記結び線と平行な辺である、請求項４に記載の素材提示方法。

【請求項7】

前記ぼかし処理は、ガウスぼかし処理である、請求項５に記載の素材提示方法。

【請求項8】

前述した、前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成することは、
タイリング状態の前記複数のターゲットユニットエフェクト画像をそれぞれ対応する経路に従って移動させ、前記複数のターゲットユニットエフェクト画像を対応する幾何学的な表面に貼り合わせて、前記ターゲット素材を得る、請求項１に記載の素材提示方法。

【請求項9】

前述した、撮影されたビデオ画像に前記ターゲットエレメントを提示することは、
撮影されたビデオ画像に、前記立体的な幾何学的な構造に対応する回転軸を回転中心として、前記ターゲットエレメントを回転提示することを含む、請求項１に記載の素材提示方法。

【請求項10】

前述した、撮影されたビデオ画像に前記ターゲットエレメントを提示することは、
後で撮影されるビデオ画像に前記ターゲットエレメントを提示することを含む、請求項１に記載の素材提示方法。

【請求項11】

後で撮影されるビデオ画像に、前記ターゲットエレメントとマッチングする前景画像、フィルタ、文字、スタンプのうちの少なくとも１つを付加することをさらに含む、請求項１に記載の素材提示方法。

【請求項12】

撮影されたビデオ画像を取得するための画像取得モジュールと、
前記撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得るための軌跡生成モジュールと、
前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得、前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成するための素材生成モジュールと、
撮影されたビデオ画像に前記ターゲットエレメントを提示するための提示モジュールとを含み、
前記ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示する、素材提示装置。

【請求項13】

メモリと、プロセッサとを含む電子機器であって、
前記メモリは、コンピュータプログラム命令を記憶するように構成され、
前記プロセッサは、前記コンピュータプログラム命令を実行して、前記電子機器に請求項１～１１のいずれか１項に記載の素材提示方法を実現させるように構成された、電子機器。

【請求項14】

コンピュータプログラム命令を含む可読記憶媒体であって、
前記コンピュータプログラム命令が電子機器の少なくとも１つのプロセッサによって実行されると、前記電子機器に請求項１～１１のいずれか１項に記載の素材提示方法を実現させる、可読記憶媒体。

【請求項15】

コンピュータによって実行されると、前記コンピュータに請求項１～１１のいずれか１項に記載の素材提示方法を実現させる、コンピュータプログラム製品。

【請求項16】

プロセッサによって実行されると、請求項１～１１のいずれか１項に記載の素材提示方法を実現させる命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、出願番号がＣＮ２０２２１００８９９８１．６であり、出願日が２０２２年１月２５日である出願を基礎としており、その優先権を主張し、該中国出願の全ての開示内容は全体として本出願に組み込まれる。

【0002】

本開示は、インターネット技術分野に関し、特に素材提示方法、装置、電子機器、記憶媒体及びプログラム製品に関する。

【背景技術】

【0003】

インターネット技術の発展が進むにつれて、スマート端末とユーザとの間のマンマシンインタラクションの技術も一層成熟し、マンマシンインタラクションに係るアプリケーションが多い。一方、エンターテインメントシーンのマンマシンインタラクションは、ユーザにより多くの歓楽をもたらすことができる。

【0004】

既存のマンマシンインタラクションシーンでは、アプリケーションは、ユーザにエフェクトを提供して、ユーザに使用させ提示させることができる。

【発明の概要】

【0005】

本開示の幾つかの実施例によれば、
撮影されたビデオ画像を取得し、撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得ることと、
前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得ることと、
前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成し、撮影されたビデオ画像に前記ターゲットエレメントを提示することであって、前記ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示することとを含む、素材提示方法を提供する。

【0006】

幾つかの実施例では、前述した、前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得ることは、
前記軌跡画像とターゲットエレメントに対応する素材画像とを重畳させて、ユニットエフェクト画像を得ることと、
前記ユニットエフェクト画像に対してコピー処理及び鏡像処理を行って、前記複数のターゲットユニットエフェクト画像を得ることとを含む。

【0007】

幾つかの実施例では、前述した、前記軌跡画像とターゲットエレメントに対応する素材画像とを重畳させて、ユニットエフェクト画像を得ることは、
前記軌跡画像に対して鏡像処理を行って、前記軌跡画像に対応する鏡像画像を得ることと、
前記軌跡画像及び前記鏡像画像のそれぞれと、前記ターゲット素材に対応する素材画像の異なる領域とを重畳させて、前記ユニットエフェクト画像を得ることとを含む。

【0008】

幾つかの実施例では、前述した、前記撮影されたビデオ画像におけるターゲット対象の位置情報に基づいて、軌跡画像を得ることは、
予め構築されたキャンバスに、前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置に基づいて、前記キャンバスに２つの円形領域を描画することと、
前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置の結び線に基づいて、前記キャンバスに矩形領域を描画することであって、前記矩形領域の短辺のサイズは、前記円形領域の直径と同じであり、前記矩形領域の短辺は、前記結び線に垂直な辺であり、且つ、前記矩形領域の幅の中心点が、相応な円形領域の中心と重なることと、
連続して撮影されたビデオ画像に基づいて、軌跡描画が終了するまで描画し、前記軌跡画像を得ることとを含む。

【0009】

幾つかの実施例では、前記方法は、
前記軌跡画像における軌跡が発光効果を有するように、前記軌跡画像に対してぼかし処理を行うことをさらに含む。

【0010】

幾つかの実施例では、前記矩形領域の長辺のサイズは、前記結び線の長さと比例関係にあり、前記矩形領域の長辺は、前記結び線と平行な辺である。

【0011】

幾つかの実施例では、前記ぼかし処理は、ガウスぼかし処理である。

【0012】

幾つかの実施例では、タイリング状態の前記複数のターゲットユニットエフェクト画像をそれぞれ相応な経路に従って移動させ、前記複数のターゲットユニットエフェクト画像を対応する幾何学的な表面に順次貼り合わせて、前記ターゲット素材を得る。

【0013】

幾つかの実施例では、前述した、撮影されたビデオ画像に前記ターゲットエレメントを提示することは、
撮影されたビデオ画像に、前記立体的な幾何学的な構造に対応する回転軸を回転中心として、前記ターゲットエレメントを回転提示することを含む。

【0014】

幾つかの実施例では、前記ターゲットエレメントは、提灯である。

【0015】

幾つかの実施例では、前述した、撮影されたビデオ画像に前記ターゲットエレメントを提示することは、後で撮影されるビデオ画像に前記ターゲットエレメントを提示することを含む。

【0016】

幾つかの実施例では、前記方法は、後で撮影されるビデオ画像に、前記ターゲットエレメントとマッチングする前景画像、フィルタ、文字、スタンプのうちの少なくとも１つを付加することをさらに含む。

【0017】

本開示の別の幾つかの実施例によれば、
撮影されたビデオ画像を取得するための画像取得モジュールと、
前記撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得るための軌跡生成モジュールと、
前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得、前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成するための素材生成モジュールと、
撮影されたビデオ画像に前記ターゲットエレメントを提示するための提示モジュールとを含み、
前記ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示する、素材提示装置を提供する。

【0018】

本開示のまた別の実施例によれば、メモリと、プロセッサとを含む電子機器であって、
前記メモリは、コンピュータプログラム命令を記憶するように構成され、
前記プロセッサは、前記コンピュータプログラム命令を実行して、前記電子機器に前述した任意の実施例の素材提示方法を実現させるように構成された、電子機器を提供する。

【0019】

本開示のさらに別の実施例によれば、コンピュータプログラム命令を含む可読記憶媒体であって、
前記コンピュータプログラム命令が電子機器の少なくとも１つのプロセッサによって実行されると、前記電子機器に前述した任意の実施例の素材提示方法を実現させる、可読記憶媒体を提供する。

【0020】

本開示のまた別の実施例によれば、コンピュータによって実行されると、前記コンピュータに前述した任意の実施例の素材提示方法を実現させるコンピュータプログラム製品を提供する。

【0021】

本開示のさらに別の幾つかの実施例によれば、プロセッサによって実行されると、前述した任意の実施例の素材提示方法を実現させる命令を含むコンピュータプログラムを提供する。

【図面の簡単な説明】

【0022】

ここでの図面は、明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示しており、明細書とともに本開示の原理を説明するために用いられる。

【0023】

本開示の実施例又は従来技術における技術案をより明確に説明するために、以下は、実施例又は従来技術の説明において使用必要である図面を簡単に紹介する。自明なことに、当業者であれば、創造的な労力を払うことなく、それらの図面に基づき、他の図面を得ることもできる。

【図1】本開示の一実施例による素材提示方法の流れを示す概略図である。

【図2A】本開示の一実施例によるエフェクト提示効果図である。

【図2B】本開示の一実施例によるエフェクト提示効果図である。

【図2C】本開示の一実施例によるエフェクト提示効果図である。

【図2D】本開示の一実施例によるエフェクト提示効果図である。

【図2E】本開示の一実施例によるエフェクト提示効果図である。

【図2F】本開示の一実施例によるエフェクト提示効果図である。

【図3】本開示の一実施例による軌跡パターンの効果を示す概略図である。

【図4】本開示の一実施例による素材提示装置の構成概略図である。

【図5】本開示の一実施例による電子機器の構成概略図である。

【発明を実施するための形態】

【0024】

本開示の上記目的、特徴及び利点をより明確に理解できるように、以下は、本開示の態様についてさらに説明する。なお、矛盾しない限り、本開示の実施例及び実施例における特徴は、互いに組み合わせることができる。

【0025】

本開示を十分に理解するために、以下の説明において、多くの具体的な詳細が説明されているが、本開示は、ここで説明されている形態と異なる他の形態で実施されてもよい。明らかに、明細書における実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではない。

【0026】

本開示による素材提示方法は、本開示による素材提示装置によって実現されてもよく、素材提示装置は、任意のソフトウェア及び／又はハードウェアの形態で実現されてもよい。幾つかの実施例では、素材提示装置は、タブレット、携帯電話（例えば、折り畳みスマホ、大画面スマホなど）、ウェアラブルデバイス、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）／仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）機器、ノートパソコン、ウルトラモバイルパソコン（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック、パーソナルディジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）などの電子機器であってもよく、本開示は、電子機器の具体的なタイプを何ら制限するものではない。

【0027】

以下の実施例では、電子機器を例にして、図面及び応用場面と併せて、本開示による素材提示方法を詳細に説明する。

【0028】

図１は、本開示の幾つかの実施例による素材提示方法の流れを示す概略図である。図１に示すように、本実施例による方法は、ステップＳ１０１～Ｓ１０４を含む。

【0029】

ステップＳ１０１では、撮影されたビデオ画像を取得し、撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得る。

【0030】

撮影されたビデオ画像は、電子機器が、現在、画像収集モジュール（例えば、カメラ）によって収集し、又は撮影した相応な画像収集範囲内の画像である。本開示は、撮影されたビデオ画像のサイズ、鮮明度などのパラメータについて限定するものではない。

【0031】

撮影された各ビデオ画像には、ターゲット識別対象が含まれてもよい。本開示は、ターゲット識別対象について限定するものではない。例えば、ターゲット識別対象は、人体のある部位、例えば、指、顔中の鼻、目、口などであってもよい。

【0032】

電子機器は、撮影されたビデオ画像を得て、各ビデオ画像に対して画像識別を行い、各ビデオ画像にターゲット識別対象が含まれているか否かを決定し、ターゲット識別対象の、各ビデオ画像における位置情報を得てもよい。本開示は、電子機器が画像識別を行う実装形態について限定するものではない。例えば、電子機器は、画像識別モデルを利用して、撮影された各ビデオ画像に対して画像識別を行ってもよい。画像識別モデルは、ニューラルネットワークモデル、畳み込みネットワークモデルなどのタイプのモデルであってもよいが、これらに限定されない。

【0033】

もちろん、電子機器は、他の形態で、撮影された各ビデオ画像に対して画像識別を行うことにより、ターゲット識別対象の、各ビデオ画像における位置情報を得てもよい。

【0034】

以下の例では、ユーザの顔部が電子機器の画像収集モジュールに対応する画像収集範囲内に位置し、電子機器の画像収集モジュールが人の顔部の画像を収集し、且つターゲット識別対象が人の顔中の鼻である場合を例にして、電子機器がどのようにターゲット識別対象の各ビデオ画像における位置情報に基づいて描画を行い、軌跡画像を得るかについて説明する。

【0035】

電子機器は、撮影されたビデオ画像を得た後、ユーザの顔部の鼻に対応するキーポイントの各ビデオ画像における位置情報に基づいて、予め構築されたキャンバスに１つの円形素材を描画し、そして、１つの矩形素材によって、新たに描画された円形素材と、１つ前のビデオ画像に基づいて描画された円形素材とを結んでもよく、矩形素材と円形素材とは重なってもよい。電子機器が撮影するビデオ画像は、通常、連続的に撮影される。このため、撮影されたビデオ画像の数が増えるにつれて、もっと多くの円形素材及び矩形素材をリアルタイムに描画して、ユーザの動作に追従して生成される軌跡画像を動的に提示する。

【0036】

ここで、ターゲット識別対象の各ビデオ画像における位置情報は、ターゲット識別対象の各ビデオ画像における座標によって表されてもよい。相応な座標系は、実際のニーズに応じて構築されてもよい。例えば、撮影された各ビデオ画像の左下隅を座標系の原点とし、水平方向を横軸とし、鉛直方向を縦軸として、２次元座標系を構築してもよい。もちろん、他の形態で２次元座標系を構築してもよい。

【0037】

ここで、キャンバスを、軌跡画像を載せる基礎として捉えることができる。本開示は、キャンバスのサイズや色などのパラメータについて限定するものではない。例えば、キャンバスのサイズは、ターゲット３次元エフェクトに含まれるターゲット対象の各面のサイズに関連してもよく、キャンバスの色は、予め設定された色、例えば、白色、灰色、黒色など任意の色であってもよい。

【0038】

キャンバスに円形領域（円形素材ともいう）及び矩形領域（矩形素材ともいう）を描画する際に、初期状態時において、円形素材のサイズ（例えば、直径又は半径）は、予め設定された値であってもよく、その後、円形素材のサイズは、人の顔中の鼻の移動速度に応じて変化してもよい。ここで言及された初期状態は、撮影された最初のビデオ画像に基づいて描画された円形素材の状態を意味する。キャンバスに円形素材と矩形素材を描画する際に、円形素材及び矩形素材と、キャンバスとでは、色に違いがある。それにより、描画された軌跡をユーザに明確に呈示することができる。例えば、キャンバスの色は黒色であり、円形素材と矩形素材の色は白色であってもよい。

【0039】

幾つかの実施例では、軌跡画像を描画する際に、特定のカメラによって軌跡を呈示してもよい。なお、ここで言及された特定のカメラは、リアルな実体カメラではなく、仮想カメラである。軌跡画像の描画を開始する前に、カメラのＣｌｅａｒＴｙｐｅをＡｍａｚ．ＣａｍｅｒａＣｌｅａｒＴｙｐｅ．Ｄｏｎｅに設定する。このように、描画された１つ前のフレームの軌跡画像の画面はクリアされず、絵筆で軌跡を描画する効果が表示される。ここで、ＣｌｅａｒＴｙｐｅは、仮想カメラに対応するクリアモードを表し、Ａｍａｚ．ＣａｍｅｒａＣｌｅａｒＴｙｐｅ．Ｄｏｎｅは、仮想カメラのクリアモードを、クリアしない即ち前に描画された軌跡画像における内容をクリアしないように設定することを表す。それにより、描画された軌跡画像をユーザに呈示することができる。

【0040】

Ｓ１０２：軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得る。

【0041】

幾つかの実施例では、ターゲットエレメントは、実現しようとするエフェクトに含まれるエレメントである。ターゲットエレメントの本体は、立体的な幾何学的な構造、例えば、円錐構造、円柱構造、角柱構造、複数の円弧面を含む球形構造などであってもよい。立体的な幾何学的な構造は、通常、複数の幾何学的な表面を含み、ターゲットユニットエフェクト画像は、ターゲットエレメントの本体に含まれる各幾何学的な表面に貼り合わせられて提示されるべき画像である。

【0042】

複数のターゲットユニットエフェクト画像のサイズ、形状などのパラメータは、同じであってもよいし、異なっていてもよい。複数のターゲットユニットエフェクト画像のサイズや形状などのパラメータは、ターゲットエレメントの主題構造に関連し、具体的な状況に応じて決定される。

【0043】

幾つかの実施例では、ターゲットエレメントに対応する素材画像と軌跡画像に対して重畳処理を行って、ユニットエフェクト画像を得てもよい。その後、電子機器は、ユニットエフェクト画像に対してコピー処理と鏡像処理を行って、複数のターゲットユニットエフェクト画像を得てもよい。

【0044】

ここで言及された重畳処理とは、軌跡画像の背景を、ターゲットエレメントに対応する素材画像に置き換えることを意味する。ターゲットエレメントが提灯であるとすると、ターゲットエレメントに対応する素材画像は、提灯の本体の各幾何学的な表面に貼り合わせるための初期素材画像であり、初期素材画像は、ユーザが描画した軌跡画像に重畳されていない素材画像である。

【0045】

ここで、コピー処理とは、ユニットエフェクト画像に基づいて同じ画像を生成する処理形態である。鏡像処理とは、ユニットエフェクト画像に基づいて、特定の軸に対して軸対称構造となる画像を生成する処理形態である。コピー処理と鏡像処理の回数は、ターゲット対象の立体的な幾何学的な構造の幾何学的な表面の数に応じて決定されてもよい。

【0046】

幾つかの実施例では、電子機器は、軌跡画像に対して鏡像処理を行って、軌跡画像に対応する鏡像画像を得て、そして、軌跡画像と軌跡画像に対応する鏡像画像をそれぞれ素材画像の異なる領域に重畳させることで、ユニットエフェクト画像を得てもよい。ここで、素材画像における軌跡画像と軌跡画像に対応する鏡像画像にそれぞれ重畳する２つの領域は、鏡像の状態であってもよく、又は、この２つの領域は、特定の軸（例えば、水平方向の軸）に対して軸対称となるとして理解されてもよい。

【0047】

別の幾つかの実施例では、ターゲットエレメントの本体構造の複数の幾何学的な表面の形状及びサイズは、全て同じではない。ターゲットエレメントに対応する複数の幾何学的な表面にそれぞれ対応する素材画像を電子機器に予め記憶しておき、軌跡画像を得た後、電子機器は、軌跡画像を複数の素材画像にそれぞれ重畳させて、複数のターゲットユニットエフェクト画像を得てもよい。

【0048】

なお、軌跡画像を素材画像に重畳させる際に、軌跡画像のサイズと素材画像のサイズとが一致しないことがある。その場合、軌跡画像のサイズを素材画像に一致するサイズに調整して、軌跡画像が素材画像に合わせるようにしてもよい。例えば、軌跡画像のサイズが７２０×１２８０であり、素材画像のサイズが１０２４×１０２４である場合、軌跡画像のサイズを１０２４×１０２４に調整し、そして、調整された軌跡画像を素材画像に重畳させてもよい。

【0049】

ステップＳ１０３では、複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成し、ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示する。

【0050】

ステップＳ１０２における説明と併せて、ターゲットエレメントの本体は、立体的な幾何学的な構造であり、且つ、立体的な幾何学的な構造は、通常、複数の幾何学的な表面を含んでもよい。ターゲットユニットエフェクト画像を、ターゲットエレメントの本体に含まれる複数の幾何学的な表面に提示された画像として捉えることができる。

【0051】

複数のターゲットユニットエフェクト画像に基づいてターゲットエレメントを生成するプロセスを、ターゲットユニットエフェクト画像に対して、回転、移動、拡大縮小などの操作によって、ターゲットユニットエフェクト画像がターゲットエレメントの本体構造における対応する幾何学的な表面の位置、大きさなどにフィットできるようにして、ターゲットユニットエフェクト画像が、立体的な幾何学的な構造の幾何学的な表面に貼り合わせられて表示できるようにすることとして捉えることができる。

【0052】

また、マージしてターゲットエレメントを生成するプロセスをアニメーションの形態で呈示してもよい。例えば、ターゲットエレメントが提灯である場合、予め設定された提灯モデルを採用して実現してもよい。具体的には、提灯モデルのパッチフレーム構造に従って線を引き、骨格を作り、そして、相応なビンドスキン（bind skin）をし、さらに、提灯モデルを分割して、提灯モデルを１ステップずつ逆方向にシングルパッチ状態に戻し、その後、該アニメーションを逆方向に再生させることにより、マージしてターゲットエレメントを生成するプロセスを呈示する。ここで、提灯モデルにおける各パッチは、１つのターゲットユニットエフェクト画像に対応する。

【0053】

ステップＳ１０４では、撮影されたビデオ画像にターゲットエレメントを提示する。

【0054】

上記の形態でターゲットエレメントを生成した後、予め設定された提示形態を採用して、撮影されたビデオ画像にターゲットエレメントを提示してもよい。本開示は、予め設定された提示形態について限定するものではない。例えば、回転提示、上下移動、左右揺動、前後揺動などの１つ又は複数の形態であってもよく、実際のニーズに応じて具体的な提示形態を設定してもよい。

【0055】

幾つかの実施例では、予め設定された提示形態は、ターゲットエレメントの立体的な幾何学的な構造に対応する回転軸を回転中心として、撮影されたビデオ画像にターゲットエレメントを回転提示してもよい。回転提示する際に、回転軸は左右に揺動してもよい。例えば、ターゲットエレメントが提灯である場合、提灯を、撮影されたビデオ画像の上方に重畳させて表示し、且つ、提灯本体の中心軸を回転軸として、提灯の各面を回転提示してもよい。また、提灯が回転している間に、提灯は、さらに左右に揺動してもよい。また、提灯の表示位置は、ニーズに応じて設定されてもよい。例えば、提灯は、電子機器の表示画面の上部に近い領域に提示されてもよい。これにより、提灯が提示されている間に、提灯が、撮影されたビデオ画像におけるユーザの顔部を遮らないことを確保することができる。

【0056】

また、撮影されたビデオ画像にターゲットエレメントを提示している間に、撮影されたビデオ画像に、ターゲットエレメントとマッチングする前景画像を付加し、撮影されたビデオ画像に、ターゲットエレメントとマッチングするフィルタ、文字、スタンプなどを付加してもよい。ここで、ターゲットエレメントとマッチングする前景画像、フィルタ、文字、スタンプなどは、予め配置されたものであってもよい。

【0057】

なお、ターゲット識別対象を識別して軌跡画像を生成するためのビデオ画像と、ターゲットエレメントと重畳提示されるビデオ画像とは、異なるビデオ画像である。又は、電子機器が、ビデオクリップ１を撮影している間に、撮影されたビデオ画像に基づいてターゲット識別対象をリアルタイムに識別し、軌跡画像を生成し、さらに、軌跡画像に基づいてターゲットエレメントを生成し、その後、電子機器が、ビデオクリップ２をリアルタイムに撮影し、ビデオクリップ２に含まれるビデオ画像に、設定されたアニメーションの形態でターゲットエレメントを提示するものとして理解されてもよい。ビデオクリップ１とビデオクリップ２は、連続して撮影された２つのビデオクリップであってもよく、且つ、ビデオクリップ１の時間は、ビデオクリップ２の時間よりも早い。

【0058】

上記実施例による方法では、撮影されたビデオ画像を取得し、各ビデオ画像におけるターゲット識別対象の位置に基づいて、軌跡画像を得、軌跡画像及びターゲットエレメントに対応する素材画像に基づいて重畳処理を行って、複数のターゲットユニットエフェクト画像を得る。複数のターゲットユニットエフェクト画像をマージして、ターゲットエレメントを得る。ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、複数のターゲットユニットエフェクト画像を、それぞれ対応する幾何学的な表面に貼り合わせて、立体的な幾何学的な構造の複数の幾何学的な表面に上記複数のターゲットユニットエフェクト画像を提示する。本態様は、ユーザの動作に基づいて軌跡を描画し、描画された軌跡を、ターゲットエレメントを生成する素材の１つとし、ユーザがターゲットエレメントの設計に参加することを実現し、ユーザのインタラクション体験の向上に有利である。また、上記の態様を採用して生成したエフェクトにおけるターゲットエレメントの本体は、３次元立体構造であり、エフェクトの視覚的な表現力を向上させることができる。

【0059】

図１に示す実施例の説明に基づいて、電子機器が携帯電話であり、携帯電話にビデオ編集系アプリケーション（以下、アプリケーション１と略称）がインストールされている場合を例にして、図２Ａ～図２Ｆに示すシーン及び図面と併せて、本開示による素材提示方法を紹介する。ここで、図２Ａ～図２Ｆに示す実施例では、ターゲット３次元エフェクトが提灯エフェクトであり、即ち、ターゲットエレメントが提灯であり、ターゲット識別対象が人の顔の鼻先部位である場合を例にして、軌跡画像を描画し、提灯エフェクトを生成し、提灯エフェクトを提示するプロセスについて説明する。

【0060】

ここで、ユーザが提灯エフェクトに対応するアイコンをトリガすると、アプリケーション１は、携帯電話に図２Ａに示すようなユーザインタフェース２１を例示的に表示し、ユーザインタフェース２１にプロンプト情報を表示して、提灯を描き始めることをユーザにプロンプトしてもよい。プロンプト情報は、例えば、文字、アニメーション、音声などの１つ又は複数の形態で実現されてもよく、且つ、本開示は、文字のフォント、大きさ、色などの表示パラメータについていずれも限定するものではない。幾つかの実施例では、図２Ａに示すように、ユーザインタフェース２１の上部に近い領域に、「提灯を描こう」というプロンプト文字内容を提示し、且つ、プロンプト文字内容を提示している間に、提灯アニメーションを提示してもよい。また、プロンプト文字内容の提示時間長を予め設定し、例えば、１秒、２秒などに設定してもよい。

【0061】

プロンプト文字内容の提示時間長が予め設定された提示時間長に達すると、アプリケーション１は、ユーザ１の顔部の鼻先部位を識別し、且つ、ユーザ１の鼻先部位に絵筆を表示してもよい。例えば、図２Ｂに示す実施例では、ユーザ１の鼻先部位に絵筆を表示する。本開示は、絵筆の様式について限定するものではない。

【0062】

本実施例では、提灯の本体が球形であり、球形の鉛直方向の中心軸が回転軸であり、回転軸を環囲する４５度ずつに対応する円弧面が１つの幾何学的な表面であるとする。また、絵筆を提示する際に、撮影されたビデオ画像の上方に、円弧面に対応する提灯パッチを重畳提示させてもよい。提灯パッチは、提灯エフェクトに対応する素材画像である。

【0063】

本実施例では、４５度ずつに対応する円弧面が１つの幾何学的な表面であり、球形の中心軸を環囲する８個の幾何学的な表面は形状及び大きさが同じであるため、アプリケーション１は、提灯パッチを表示することができる。これにより、ユーザは、提灯パッチを描画するシーンを実感でき、ユーザ体験を向上させることができる。

【0064】

幾つかの可能な場合では、アプリケーション１は、一部の提灯パッチ、例えば、下半分の提灯パッチを提示してもよい（もちろん、提灯パッチの上半分を提示してもよい）。また、該形態を採用して実現する場合、図２Ｂに示す実施例のように、提示されていない提灯パッチの部分は、マスクにより表示を覆い隠してもよい。図２Ｂに示す実施例では、ユーザインタフェース２２に提示される提灯パッチの下半分を、軌跡画像の有効描画領域として捉えることもできる。

【0065】

該形態を採用して実現する場合、ユーザが提灯パッチの下半分の領域に軌跡パターンを描画した後、アプリケーション１は、描画された軌跡画像に対して鏡像処理を行って、軌跡画像に対応する鏡像画像を得、軌跡画像に対応する鏡像画像を提灯パッチの上半分（又は提灯パッチの下半分）に重畳させてもよい。該形態を採用して得られるターゲット提灯パッチのパターンは上下対称効果を有し、ユーザに豊富な視覚効果を提供し、提灯エフェクトの表現力を増強することができる。

【0066】

幾つかの実施例では、アプリケーション１は、完全な提灯パッチを提示してもよい。ユーザは、提灯パッチの全体に対応する領域に軌跡画像を描画することができる。該形態は、簡単であり、電子機器によって迅速に実現されることができる。この場合、アプリケーション１が提示する完全な提灯パッチは、軌跡画像の有効描画領域である。

【0067】

幾つかの実施例では、アプリケーション１は、ユーザに提灯パッチを提示せず、ユーザに１つの軌跡描画領域を提示してもよい。軌跡描画領域は、提灯パッチの形状に関連しなくてもよい。

【0068】

幾つかの実施例では、アプリケーション１は、完全な提灯パッチを提示してもよい。ユーザは、提灯パッチの全体に対応する領域に描画することができる。電子機器は、ユーザが提灯パッチの下半分（又は上半分）に描画した軌跡のみを記録してもよい。

【0069】

また、場合によっては、軌跡を描画する時間長を限定してもよい。ユーザが軌跡を描画する残り時間長を了解できるようにするために、ユーザインタフェースにプログレスバーの形式によって軌跡を描画する残り時間長を提示してもよい。例えば、引き続き図２Ｂを参照して、ユーザインタフェース２２の上部に近い領域にプログレスバーを提示してもよい。ユーザが提灯のパターンを描画する体験感を確保するために、プログレスバーは、撮影されたビデオ画像におけるユーザ１の顔部領域及び提灯パッチの下半分の領域をできるだけ遮らなくてもよい。

【0070】

その後、ユーザ１は、顔部領域を移動させることにより、鼻先部位を移動させてもよい。アプリケーション１は、ユーザ１の鼻先部位の移動に追従して、描画された軌跡画像を携帯電話に表示する。幾つかの実施例では、ユーザ１が描画した軌跡画像は、図２Ｃに示すようである。

【0071】

幾つかの可能な場合では、描画時間長を予め設定してもよい。本開示は、時間長について限定するものではない。例えば、描画時間長は、５秒、６秒、７秒などであってもよく、実際の状況に応じて設定されてもよい。

【0072】

図２Ｂに示す実施例と併せて、提灯パッチの下半分は、有効描画領域である。ユーザ１が顔部を移動させている間に、鼻先部位は、提灯パッチの下半分から外れ、即ち、有効描画領域から外れる可能性がある。アプリケーション１は、有効描画領域外の軌跡を記録せず、有効描画領域内の描画軌跡のみを記録してもよい。

【0073】

以下は、図３に示す実施例により、どのように軌跡を描画するかについて紹介する。

【0074】

図３に示す実施例を参照して、アプリケーション１が、撮影された１フレーム目のビデオ画像を得て、識別して、ユーザ１の鼻先部位の、１フレーム目のビデオ画像における位置を得ると、予め構築されたキャンバスに円形素材ｓ１を描画する。円形素材ｓ１のキャンバスにおける位置は、ユーザ１の鼻先部位の、１フレーム目のビデオ画像における位置に基づいて決定され、且つ、円形素材ｓ１の直径の大きさは、予め設定された値であってもよい。アプリケーション１は、撮影された２フレーム目のビデオ画像を得た後、識別して、ユーザ１の鼻先部位の、２フレーム目のビデオ画像における位置を得ると、キャンバスに、円形素材ｓ２、及び、円形素材ｓ１と円形素材ｓ２を結ぶ矩形素材ｒ１を描画する。ここで、円形素材ｓ２の直径の大きさは、円形素材ｓ１の円の中心と円形素材ｓ２の円の中心とを結ぶ線の長さによって決定されてもよい。結び線の長さが長いほど、描画される軌跡の太さは細くなり、結び線の長さが短いほど、描画される軌跡の太さは太くなる。

【0075】

鼻先位置の滞在時間を計算して、ペンシルブラシの直径の大きさ（即ち、円形素材の直径の大きさ）を制御することにより、絵筆の太さを変化させ、実際の絵のタッチ効果により近づけることを実現する。

【0076】

ｌｅｎが、ユーザ１の鼻先位置の、隣接する２つのフレームのビデオ画像における位置間の結び線の距離を表し、Ｙ及びｂａｓｅｓｃａｌｅが、それぞれ、円形素材のサイズに関する第１のパラメータと第２のパラメータを表し、ｓｐｏｔＸが、円形素材のサイズを表すとする。矩形素材の描画方向に垂直な辺のサイズは、円形素材と同じであるので、円形素材のサイズが決定されたことは、矩形素材のサイズが同時に決定されたことに相当する。

【0077】

幾つかの実施例では、次の方式によって、円形素材のサイズを決定してもよい。

【0078】

ステップａ：ユーザ１の鼻先位置の、隣接する２つのフレームのビデオ画像における位置間の結び線の距離ｌｅｎを、反比例関数「Ｙ＝ Ａ１－ｌｅｎ」に代入して、第１のパラメータＹの値を求める。ここで、Ａ１は、予め設定された定数であり、例えば、Ａ１＝０．０４となる。

【0079】

Ｙが予め設定された値Ａ２よりも大きい場合、ステップｂにより、第２のパラメータｂａｓｅｓｃａｌｅの値を決定する。Ｙが予め設定された値Ａ２以下である場合、ステップｃにより、第２のパラメータｂａｓｅｓｃａｌｅの値を決定する。例えば、Ａ２＝０．０１となる。

【0080】

ステップｂ：ｂａｓｅｓｃａｌｅ＝ｍｉｎ（ｂａｓｅｓｃａｌｅ＋ａ１＊Ｙ，Ｙ）という式により、第２のパラメータｂａｓｅｓｃａｌｅの値を決定する。

【0081】

ステップｃ：ｂａｓｅｓｃａｌｅ＝ｍａｘ（ｂａｓｅｓｃａｌｅ－ａ２＊Ｙ，Ｙ）という式により、第２のパラメータｂａｓｅｓｃａｌｅの値を決定する。

【0082】

ここで、前述したａ１とａ２は、予め設定された定数であり、例えば、ａ１＝０．０２、ａ２＝０．０１となる。ａ１とａ２の値の大きさは、主に、描画される軌跡の太さの変化に影響するので、実際の状況に応じて、ａ１及びａ２の値の大きさを設定してもよい。

【0083】

ステップｄ：ｓｐｏｔＸ＝ｍａｘ（ａ３，ｍｉｎ（ｂａｓｅｓｃａｌｅ，ａ４））という式により、ｓｐｏｔＸの大きさを決定する。

【0084】

ここで、ａ３とａ４は、予め設定された円形素材のサイズに関するパラメータの最小値と最大値であり、例えば、ａ３＝０．００３、ａ４＝０．０４となる。

【0085】

ｓｐｏｔＸの大きさを決定した後、予め設定された円形素材のサイズをｓｐｏｔＸに乗算することで、円形素材のサイズ（例えば、直径又は半径）を得ることができる。

【0086】

上記ステップａ～ステップｄでは、パラメータａ１～ａ４を、例えば、円形素材に対応する拡大縮小倍率として捉えることができる。

【0087】

前述したステップａ～ステップｄに示す式と併せて、本開示は、描画された軌跡の太さが急激に変化することを防止し、軌跡の太さの変化が緩やかで柔軟で自然である効果を実現するために、予め設定された値Ａ２を判断条件とし、ＹがＡ２を超えた場合、円形素材のサイズは、０．０２（即ち、ａ１）を倍率として増大し、且つ上限はＹである。ＹがＡ２以下である場合、円形素材のサイズは、０．０１（即ち、ａ２）を倍率として減少し、且つ下限はＹである。

【0088】

図１に示す実施例における紹介から明らかなように、アプリケーション１は、特定のカメラによって、描画された軌跡を呈示することができる。従って、撮影して３フレーム目のビデオ画像を得、且つ、３フレーム目のビデオ画像に基づいて円形素材ｓ３及び矩形素材ｒ２を描画し、前に描画された円形素材ｓ１と円形素材ｓ２及び矩形素材ｒ１は、いずれも残され、クリアされることがなく、ユーザに描画のプロセスを呈示することができる。

【0089】

同様に、アプリケーション１がもっと多くの撮影されたビデオ画像を得るにつれて、上記の形態により、キャンバスにもっと多くの円形素材と矩形素材を描画することで、描画された軌跡画像を得ることができる。

【0090】

より豊富な視覚効果を得るために、例えば、軌跡画像における軌跡が発光効果を有するように、軌跡画像に対してぼかし処理を行ってもよい。ぼかし処理を行う際に、アプリケーション１は、キャンバスと、キャンバスに描画された円形素材と矩形素材に基づいて、相応なテクスチャを生成し、生成されたテクスチャ全体に対してぼかし処理を行うことで、発光効果を実現することができる。なお、リアルタイムに発光効果を実現するために、新たに得られたビデオ画像に基づいてキャンバスに新たな円形素材及び矩形素材を描画する度に、新たなテクスチャを生成し、新たなテクスチャに基づいてぼかし処理を行う必要がある。

【0091】

なお、本開示は、ぼかし処理の具体的な形態について限定するものではなく、例えば、ガウスぼかし、ボックスブラー、メディアンぼかしなどであってもよいが、それらに限定されない。

【0092】

また、軌跡画像における軌跡領域（即ち、全ての円形素材領域と矩形素材領域）の透明度を、予め設定された透明度値、例えば、５０％、６０％などに設定してもよい。本開示は、予め設定された透明度値の大きさについて限定するものではない。

【0093】

図２Ｃに示す実施例に基づいて、ユーザが軌跡画像を描画した後、アプリケーション１は、軌跡画像に対して鏡像処理を行って、軌跡画像に対応する鏡像画像を得、軌跡画像を提灯パッチの下半分に重畳させ、軌跡画像に対応する鏡像画像を提灯パッチの上半分に重畳させて、１つのターゲット提灯パッチを得ることができる。

【0094】

該ターゲット提灯パッチを得た後、アプリケーション１は、携帯電話に該ターゲット提灯パッチを表示し、即ち、図２Ｃに示すユーザインタフェース２３から図２Ｄに示すユーザインタフェース２４にジャンプしてもよい。図２Ｄに示す実施例を参照して、アプリケーション１は、ユーザインタフェース２４の上寄り領域にターゲット提灯パッチを表示してもよい。もちろん、他の位置にターゲット提灯パッチを表示してもよい。

【0095】

ここで、アプリケーション１は、予め設定された形態を採用してターゲット提灯パッチを提示してもよく、例えば、ターゲット提灯パッチを徐々に小さくする形態で提示してもよい。

【0096】

本実施例では、提灯本体が、８個の円弧面の首尾がつなぎ合わせられてなるものであるので、図２Ｄに提示されるターゲット提灯パッチに対してコピー処理及び鏡像処理を行って、８個のターゲット提灯パッチを得、表示画面にタイリング（tiling）状に上記８個のターゲット提灯パッチを配列して提示することができる。

【0097】

幾つかの実施例では、図２Ｅに示す実施例を参照して、ユーザインタフェース２５の上部に近い領域に８個のターゲット提灯パッチを横方向に配列してもよい。

【0098】

場合によっては、提灯の本体の形状の多様性により、ターゲット提灯パッチの数が多い可能性があり、携帯電話の表示画面サイズの制約から、ユーザインタフェース２５の上部に近い領域に一部のターゲット提灯パッチを横方向に配列して提示してもよい。例えば、図２Ｅに示すユーザインタフェース２５には、５個のターゲット提灯パッチが提示される。

【0099】

８個のターゲット提灯パッチを得た後、提灯エフェクトに対応するアニメーションの形態に従って、８個のターゲット提灯パッチを、各々の対応するマージパラメータに従ってマージして、提灯エフェクトを得てもよい。例えば、横方向にタイリングされた状態の８個のターゲット提灯パッチを予め設定された経路に従って移動させることにより、８個のターゲット提灯パッチを提灯本体に対応する８個の円弧面に貼り合わせてもよく、又は、８個のターゲット提灯パッチを一括して提灯本体に対応する８個の円弧面へマージしてもよい。

【0100】

ターゲット提灯パッチに対応するマージパラメータは、ターゲット提灯パッチの３次元空間における対応する経路パラメータ、ターゲット提灯パッチの拡大縮小サイズなどのパラメータを含んでもよい。ここでいう３次元空間は、提灯本体に基づいて構築された３次元座標系であってもよい。ターゲット提灯パッチにおける対応する経路パラメータは、ターゲット提灯パッチにおける各画素点の各々の３次元座標系における座標値を含んでもよい。経路は、複数の離散点から構成されてもよく、経路上の各点に対して、ターゲット提灯パッチにおける各画素点は、いずれも一組の座標値に対応してもよい。

【0101】

なお、生き生きとした提灯エフェクトを生成するために、マージしている間に、提灯に含まれる他のエレメント、例えば、提灯の両端の上輪・下輪、提灯のガーニッシュ（例えば、提灯の下輪に接続されたフリンジ（fringe）装置）などのエレメントと提灯の本体構造とをマージしてもよい。

【0102】

その後、アプリケーション１は、予め設定されたトランジションの形態により切り替えを行い、図２Ｅに示すユーザインタフェース２５から図２Ｆに示すユーザインタフェース２６にジャンプして、提灯エフェクトを表示してもよい。ここで、提灯エフェクトを提示する際に、提灯の球形本体の中心軸を回転中心として、提灯の各円弧面上の画像を回転提示してもよい。

【0103】

また、提灯エフェクトの視覚的な表現力を増強するために、予め設定されたフィルタ、表示エフェクト（例えば、発光エフェクト）などを付加してもよい。

【0104】

また、回転提示の時間長を予め設定してもよい。例えば、回転提示の時間長を３秒、４秒などに設定し、予め設定された回転提示時間長に達すると、ビデオの撮影を終了するように設定してもよいが、これに限定されない。

【0105】

また、提灯エフェクトを回転提示している間に、提灯本体の中心軸は、移動してもよく、例えば、左右平行に移動し、左右に揺動し、前後に移動するなど。

【0106】

また、提灯エフェクトとマッチングする前景画像、フィルタ、文字、スタンプなどを予め設定してもよい。ユーザインタフェース２５からユーザインタフェース２６にジャンプするとき、撮影されたビデオ画像に、ターゲット３次元エフェクトとマッチングする前景画像を付加し、撮影されたビデオ画像に、ターゲット３次元エフェクトとマッチングするフィルタ、文字、スタンプなどを付加してもよい。前景画像を例にして、撮影されたビデオ画像におけるユーザ１の顔部領域をできるだけ遮らなく、生成された提灯エフェクトをできるだけ遮らないように、前景画像に含まれるエレメントを、主に前景画像の四方の周縁位置に分布させてもよい。例えば、図２Ｆに示す実施例では、撮影されたビデオ画像の上方に、提灯エレメントの前景画像が重畳表示され、底部に近い領域に、「好運に巡り合う」という文字が表示されており、前景画像、文字、スタンプなどは、アニメーション効果を有してもよい。

【0107】

前述した図２Ａ～図２Ｆに示す実施例と併せて明らかなように、複数のターゲット提灯パッチを得るプロセスは、２次元のアニメーションプロセスであるが、後で複数のターゲット提灯パッチをマージして提灯エフェクトを生成することや、提灯エフェクトの提示は、３次元のアニメーションプロセスである。２Ｄのアニメーションプロセスと３Ｄのアニメーションプロセスの繋がりは、予め設定されたトランジションの形態により実現されて、画面切替が自然で滑らかになるようにして、ユーザに良好な体験をもたらすことができる。

【0108】

図４は、本開示の一実施例による素材提示装置の構成概略図である。図４に示すように、本実施例による素材提示装置４００は、画像取得モジュール４０１と、軌跡生成モジュール４０２と、素材生成モジュール４０３と、提示モジュール４０４とを含む。

【0109】

画像取得モジュール４０１は、撮影されたビデオ画像を取得するためのものである。

【0110】

軌跡生成モジュール４０２は、撮影されたビデオ画像におけるターゲット識別対象の位置情報に基づいて、軌跡画像を得るためのものである。

【0111】

素材生成モジュール４０３は、前記軌跡画像に基づいて、複数のターゲットユニットエフェクト画像を得、前記複数のターゲットユニットエフェクト画像に基づいて、ターゲットエレメントを生成するためのものである。

【0112】

提示モジュール４０４は、撮影されたビデオ画像に前記ターゲットエレメントを提示するためのものである。

【0113】

前記ターゲットエレメントの本体は、複数の幾何学的な表面を含む立体的な幾何学的な構造であり、前記複数のターゲットユニットエフェクト画像を、相応な幾何学的な表面に貼り合わせて、前記複数の幾何学的な表面に前記複数のターゲットユニットエフェクト画像を提示する。

【0114】

幾つかの実施例では、素材生成モジュール４０３は、具体的には、前記軌跡画像とターゲットエレメントに対応する素材画像とを重畳させて、ユニットエフェクト画像を得ることと、前記ユニットエフェクト画像に対してコピー処理と鏡像処理を行って、前記複数のターゲットユニットエフェクト画像を得ることとに用いられる。

【0115】

幾つかの実施例では、素材生成モジュール４０３は、具体的には、前記軌跡画像に対して鏡像処理を行って、前記軌跡画像に対応する鏡像画像を得ることと、前記軌跡画像及び前記鏡像画像のそれぞれと、前記ターゲットエレメントに対応する素材画像の異なる領域とを重畳させて、前記ユニットエフェクト画像を得ることとに用いられる。

【0116】

幾つかの実施例では、軌跡生成モジュール４０２は、予め構築されたキャンバスに、前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置に基づいて、前記キャンバスに２つの円形領域を描画することと、前記ターゲット識別対象の、連続して撮影された２つのビデオ画像のそれぞれにおける位置の結び線に基づいて、前記キャンバスに矩形領域を描画することであって、前記矩形領域の短辺のサイズは、前記円形領域の直径と同じであり、前記矩形領域の短辺は、前記結び線に垂直な辺であり、且つ、前記矩形領域の幅の中心点が、相応な円形領域の中心と重なることと、連続して撮影されたビデオ画像に基づいて、軌跡描画が終了するまで描画し、前記軌跡画像を得ることとに用いられる。

【0117】

幾つかの実施例では、軌跡生成モジュール４０２は、さらに、前記軌跡画像における軌跡が発光効果を有するように、前記軌跡画像に対してぼかし処理を行うことに用いられる。

【0118】

幾つかの実施例では、前記矩形領域の長辺のサイズは、前記結び線の長さと比例関係にあり、前記矩形領域の長辺は、前記結び線と平行な辺である。

【0119】

幾つかの実施例では、前記ぼかし処理は、ガウスぼかし処理である。

【0120】

幾つかの実施例では、素材生成モジュール４０３は、具体的には、タイリング状態の前記複数のターゲットユニットエフェクト画像をそれぞれ対応する経路に従って移動させ、前記複数のターゲットユニットエフェクト画像を対応する幾何学的な表面に貼り合わせて、前記ターゲット素材を得ることに用いられる。

【0121】

幾つかの実施例では、提示モジュール４０４は、具体的には、撮影されたビデオ画像に、前記立体的な幾何学的な構造に対応する回転軸を回転中心として、前記ターゲットエレメントを回転提示することに用いられる。

【0122】

幾つかの実施例では、提示モジュール４０４は、具体的には、後で撮影されるビデオ画像に前記ターゲットエレメントを提示することに用いられる。

【0123】

幾つかの実施例では、提示モジュール４０４は、さらに、後で撮影されるビデオ画像に、前記ターゲットエレメントとマッチングする前景画像、フィルタ、文字、スタンプのうちの少なくとも１つを付加することに用いられる。

【0124】

幾つかの実施例では、前記ターゲットエレメントは、提灯である。それに応じて、前記ターゲットエレメントを含むエフェクトは、提灯エフェクトである。

【0125】

本実施例による素材提示装置は、前述したいずれか１つの方法実施例の技術案を実行するために使用されてもよく、その実現原理及び技術的効果は類似しており、前述した方法実施例の詳細な説明を参照すればよく、簡明のため、ここではこれ以上説明しない。

【0126】

図５は、本開示の一実施例による電子機器の構成概略図である。図５に示すように、本実施例による電子機器５００は、メモリ５０１と、プロセッサ５０２とを含む。

【0127】

ここで、メモリ５０１は、独立した物理的手段であってもよく、バス５０３を介してプロセッサ５０２と接続され得る。メモリ５０１、プロセッサ５０２は、一体に集積され、ハードウェアなどにより実現されてもよい。

【0128】

メモリ５０１は、プロセッサ５０２が呼び出して、上記のいずれか１つの方法実施例の操作を実行するプログラム命令を記憶するために使用される。

【0129】

選択的に、上記の実施例の方法における一部又は全部がソフトウェアにより実現される場合、上記の電子機器５００は、プロセッサ５０２のみを含んでもよい。プログラムを記憶するためのメモリ５０１は、電子機器５００の外部にあり、プロセッサ５０２は、メモリに記憶されたプログラムを読み取って実行するために、回路／配線を介してメモリに接続される。

【0130】

プロセッサ５０２は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、ネットワークプロセッサ（ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｏｒ、ＮＰ）、又はＣＰＵとＮＰの組み合わせであってもよい。

【0131】

プロセッサ５０２は、ハードウェアチップをさらに含んでもよい。上記のハードウェアチップは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）、又はこれらの組み合わせであってもよい。上記のＰＬＤは、複雑なプログラマブルロジックデバイス（ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、汎用アレイロジック（ｇｅｎｅｒｉｃ ａｒｒａｙ ｌｏｇｉｃ、ＧＡＬ）又はこれらの任意の組み合わせであってもよい。

【0132】

メモリ５０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、ランダムアクセスメモリ（ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）を含んでもよい。また、メモリは、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ、ＨＤＤ）又はソリッドステートハードディスク（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）を含んでもよい。メモリは、上記の種類のメモリの組み合わせをさらに含んでもよい。

【0133】

本開示の実施例は、電子機器の少なくとも１つのプロセッサによって実行されると、上記いずれか１つの方法実施例に記載の素材提示方法を実現させるコンピュータプログラム命令を含む可読記憶媒体をさらに提供する。

【0134】

本開示の実施例は、コンピュータプログラム製品をさらに提供し、前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、可読記憶媒体に記憶され、前記電子機器の少なくとも１つのプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行して、前記電子機器に、上記いずれか１つの方法実施例に記載の素材提示方法を実現させる。

【0135】

なお、本明細書において、「第１」及び「第２」などのような関係用語は、単に１つのエンティティ又は操作を他のエンティティ又は操作と区別する目的だけに用いられ、これらエンティティ又は操作間にこのような実際の関係又は順序が存在することを要求又は暗示するものではない。さらに、用語「含む」、「包含する」又はその任意の他の変体は、非排他的な含有を示すことであり、一系列の要素を含む過程、方法、物品又は機器は、それらの要素だけでなく、明示されていない他の要素も含み、又はこのような過程、方法、物品又は機器に固有の要素も含む。さらに多い制限がない場合に、「１つの・・・を含む」によって限定される要素は、前記要素を含む過程、方法、物品又は機器に他の同じ要素も含むことを除外しない。

【0136】

以上は本開示の具体的な実施形態にすぎず、当業者が本開示を理解又は実現することを可能にするために使用される。これらの実施例に対する様々な修正は、当業者には自明となり、本明細書で定義される一般原理は、本開示の趣旨又は範囲から逸脱しない前提で他の実施例において実現され得る。従って、本開示は、本明細書のこれら実施例に限定されるものではなく、本明細書で開示される原理及び新規の特徴に適合する最も広い範囲を有する。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3】

【図4】

【図5】

【国際調査報告】