特表 2021-528770 ヒューマンフェースによる３Ｄ特殊効果生成方法、装置および電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-528770(P2021-528770A)

(43)【公表日】2021年10月21日

(54)【発明の名称】ヒューマンフェースによる３Ｄ特殊効果生成方法、装置および電子装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210924BHJP

   G06T 15/00 20110101ALI20210924BHJP

   G06F 3/0481 20130101ALI20210924BHJP

【ＦＩ】

   G06T19/00 A

   G06T15/00 501

   G06F3/0481 150

【審査請求】有

【予備審査請求】未請求

【全頁数】24

(21)【出願番号】特願2020-571659(P2020-571659)

(86)(22)【出願日】2018年12月25日

(85)【翻訳文提出日】2020年12月22日

(86)【国際出願番号】CN2018123641

(87)【国際公開番号】WO2020019665

(87)【国際公開日】20200130

(31)【優先権主張番号】201810838414.X

(32)【優先日】2018年7月27日

(33)【優先権主張国】CN

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】518031631

【氏名又は名称】北京微播視界科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際特許業務法人

(72)【発明者】

【氏名】王晶

(72)【発明者】

【氏名】林▲しん▼

【テーマコード（参考）】

5B050

5B080

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA10

5B050EA04

5B050EA07

5B050EA19

5B050EA30

5B050FA02

5B050FA09

5B050GA08

5B080AA19

5B080FA02

5B080FA09

5B080GA11

5B080GA22

5E555AA27

5E555BA02

5E555BB02

5E555BC18

5E555BE16

5E555CA42

5E555DA01

5E555DA13

5E555DC43

5E555DD11

5E555FA07

(57)【要約】

本発明においてヒューマンフェースによる３Ｄ特殊効果生成方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を公開する。前記方法は、標準ヒューマンフェース画像を表示するステップと、３Ｄ特徴効果を創建するステップであって、前記３Ｄ特徴効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置するステップと、前記３Ｄ特徴効果により特徴効果パラメーターを形成するステップと、画像センサーにより認識される第一ヒューマンフェース画像を獲得するステップと、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップとを含む。前記方法により３Ｄ特殊効果を容易に配置するとともに編集することができ、かつ３Ｄ特殊効果パラメーターを形成することにより、３Ｄ特殊効果形成計算方法において３Ｄ特殊効果パラメーターを用いることにより随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができる。

【特許請求の範囲】

【請求項1】

標準ヒューマンフェース画像を表示するステップと、
３Ｄ特徴効果を創建するステップであって、前記３Ｄ特徴効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置するステップと、
前記３Ｄ特徴効果により特徴効果パラメーターを形成するステップと、
画像センサーにより認識される第一ヒューマンフェース画像を獲得するステップと、
前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップとを含むことを特徴とするヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項2】

前記３Ｄ模型を配置することは、
前記３Ｄ模型を獲得した後、それを標準ヒューマンフェース画像上に表示するステップと、
前記３Ｄ模型の位置とサイズを配置するステップとを含むことを特徴とする請求項１に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項3】

前記３Ｄ模型の材質を配置することは前記材質を創建するしかつ前記材質のパラメーターを調節するステップを含み、
前記材質のパラメーターは、リゾート混合モードのパラメーター、デプステスティングの起動の有無のパラメーター、デプスディスクリプションの起動の有無のパラメーター、取り除きの起動の起動の有無のパラメーターのうちいずれか１個または複数個を含むことを特徴とする請求項１に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項4】

前記３Ｄ特徴効果を創建するステップはランプを配置するスッテプを更に含み、前記ランプは、点光源、パラレルライトおよびスポットライトのうちいずれか一種であることを特徴とする請求項１に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項5】

前記ランプを配置するスッテプは、ランプの位置、方向、カラーおよび強度を配置することを含むことを特徴とする請求項４に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項6】

前記３Ｄ特徴効果を創建するステップは前記３Ｄ模型の模様を配置するスッテプを更に含み、
前記３Ｄ模型の模様を配置するスッテプは、前記模様のステッカーを獲得するステップと、模様のサラウンドモードを配置するステップとを含むことを特徴とする請求項１に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項7】

前記標準ヒューマンフェース画像にはヒューマンフェース特徴ポイントが含まれ、前記標準ヒューマンフェース画像を表示するステップが実施例された後、参考点選択命令を受信しかつ少なくとも１つの特徴ポイントを選択して参考点とするステップを更に含み、
前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップは前記特殊効果パラメーターと前記参考点により第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップを含むことを特徴とする請求項１に記載のヒューマンフェースによる３Ｄ特殊効果生成方法。

【請求項8】

標準ヒューマンフェース画像を表示する表示モジュールと、
３Ｄ特殊効果を創建する３Ｄ特殊効果形成モジュールであって、前記３Ｄ特殊効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置する３Ｄ特殊効果形成モジュールと、
前記３Ｄ特殊効果により特殊効果パラメーターを形成する特殊効果パラメーター生成モジュールと、
画像センサーにより認識される第一ヒューマンフェース画像を獲得するヒューマンフェース画像獲得モジュールと、
前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する３Ｄ特殊効果形成モジュールとを含むことを特徴とするヒューマンフェースによる３Ｄ特殊効果生成装置。

【請求項9】

少なくとも１つの処理装置と前記少なくとも１つの処理装置に通信可能に連結される記憶装置とを含み、
前記少なくとも１つの処理装置には前記少なくとも１つの処理装置により実行される指令が記憶されており、前記指令が前記少なくとも１つの処理装置により実行されることにより前記処理装置は前記請求項１〜７のいずれか一項に記載のヒューマンフェースによる３Ｄ特殊効果生成方法を実施することを特徴とする電子装置。

【請求項10】

コンピュータ指令が記憶されており、コンピュータで前記コンピュータ指令を実行することにより前記請求項１〜７のいずれか一項に記載のヒューマンフェースによる３Ｄ特殊効果生成方法を実施することを特徴とする非過渡性コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の引用）
本願は、２０１８年０７月２７日に出願し、発明の名称が「ヒューマンフェースによる３Ｄ特殊効果生成方法、装置および電子装置」であり、出願番号が２０１８１０８３８４１４．Ｘである中国特許出願を引用し、その出願の全文を本願に組み込む。

【0002】

本発明は、画像処理技術分野に属し、特に、ヒューマンフェース（human face）による３Ｄ特殊効果（special effects）生成方法、装置、ハードウェア装置およびコンピュータ読み取り可能な記憶媒体に関するものである。

【背景技術】

【0003】

コンピュータ技術の発展に伴い、インテリジェント端末（intelligent terminal）の応用範囲はますます広くなっている。例えば、インテリジェント端末により、音楽を聞き、ゲームをし、オンラインチャットをし、写真を撮ることができる。インテリジェント端末のカメラ技術の発展に伴い、そのピクセルは千万以上になり、高いアーティキュレーションを獲得し、プロフェッショナルカメラに匹敵する撮影の品質を獲得することができる。

【0004】

従来のインテリジェント端末のカメラで写真または動画を撮るとき、出荷時インテリジェント端末にインストールされる撮影ソフトにより一般の写真または動画を獲得することができ、かつインターネットからダウンロードしたアプリケーション（Application、ＡＰＰと略称）により写真または動画の品質を更に向上させることができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の特殊効果を製作するＡＰＰには予め特殊効果が予め設定されているので、ＡＰＰにより特殊効果を容易に編集することができず、前記特殊効果を画像の固定位置にしか位置させることができない。

【課題を解決するための手段】

【0006】

本発明の実施例においてヒューマンフェースによる３Ｄ特殊効果生成方法を提供する。前記ヒューマンフェースによる３Ｄ特殊効果生成方法は、標準ヒューマンフェース画像を表示するステップと、３Ｄ特徴効果を創建するステップであって、前記３Ｄ特徴効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置するステップと、前記３Ｄ特徴効果により特徴効果パラメーターを形成するステップと、画像センサーにより認識される第一ヒューマンフェース画像を獲得するステップと、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップとを含む。

【0007】

本発明の実施例において、前記３Ｄ模型を配置することは、前記３Ｄ模型を獲得した後、それを標準ヒューマンフェース画像上に表示するステップと、前記３Ｄ模型の位置とサイズを配置するステップとを含む。

【0008】

本発明の実施例において、前記３Ｄ模型の材質を配置することは前記材質を創建するしかつ前記材質のパラメーターを調節するステップを含み、前記材質のパラメーターは、リゾート混合モードのパラメーター、デプステスティングの起動の有無のパラメーター、デプスディスクリプションの起動の有無のパラメーター、取り除きの起動の起動の有無のパラメーターのうちいずれか１個または複数個を含む。

【0009】

本発明の実施例において、前記３Ｄ特徴効果を創建するステップはランプを配置するスッテプを更に含み、前記ランプは、点光源、パラレルライトおよびスポットライトのうちいずれか一種である。

【0010】

本発明の実施例において、前記ランプを配置するスッテプは、ランプの位置、方向、カラーおよび強度を配置することを含む。

【0011】

本発明の実施例において、前記３Ｄ特徴効果を創建するステップは前記３Ｄ模型の模様を配置するスッテプを更に含み、前記３Ｄ模型の模様を配置するスッテプは、前記模様のステッカーを獲得するステップと、模様のサラウンドモードを配置するステップとを含む。

【0012】

本発明の実施例において、前記標準ヒューマンフェース画像にはヒューマンフェース特徴ポイントが含まれ、前記標準ヒューマンフェース画像を表示するステップが実施例された後、参考点選択命令を受信しかつ少なくとも１つの特徴ポイントを選択して参考点とするステップを更に含み、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップは前記特殊効果パラメーターと前記参考点により第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップを含む。

【0013】

本発明の他の実施例において、ヒューマンフェースによる３Ｄ特殊効果生成装置を提供する。前記ヒューマンフェースによる３Ｄ特殊効果生成装置は、標準ヒューマンフェース画像を表示する表示モジュールと、３Ｄ特殊効果を創建する３Ｄ特殊効果創建モジュールであって、前記３Ｄ特殊効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建される３Ｄ特殊効果形成モジュールと、前記３Ｄ特殊効果により特殊効果パラメーターを形成する特殊効果パラメーター生成モジュールと、画像センサーにより認識される第一ヒューマンフェース画像を獲得するヒューマンフェース画像獲得モジュールと、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する３Ｄ特殊効果形成モジュールとを含む。

【0014】

本発明の実施例において、前記３Ｄ模型を配置することは、前記３Ｄ模型を獲得した後、それを標準ヒューマンフェース画像上に表示するステップと、前記３Ｄ模型の位置とサイズを配置するステップとを含む。

【0015】

本発明の実施例において、前記３Ｄ模型の材質を配置することは前記材質を創建するしかつ前記材質のパラメーターを調節するステップを含み、前記材質のパラメーターは、リゾート混合モードのパラメーター、デプステスティングの起動の有無のパラメーター、デプスディスクリプションの起動の有無のパラメーター、取り除きの起動の起動の有無のパラメーターのうちいずれか１個または複数個を含む。

【0016】

本発明の実施例において、前記３Ｄ特殊効果創建モジュールはランプを配置することにも用いられ、前記ランプは、点光源、パラレルライトおよびスポットライトのうちいずれか一種である。

【0017】

本発明の実施例において、前記ランプを配置することは、ランプの位置、方向、カラーおよび強度を配置することを含む。

【0018】

本発明の実施例において、前記３Ｄ特殊効果創建モジュールは前記３Ｄ模型の模様を配置することにも用いられ、前記３Ｄ模型の模様を配置することは、前記模様のステッカーを獲得するステップと、模様のサラウンドモードを配置するステップとを含む。

【0019】

本発明の実施例において、前記標準ヒューマンフェース画像にはヒューマンフェース特徴ポイントが含まれている。前記ヒューマンフェースによる３Ｄ特殊効果生成装置は、参考点選択命令を受信しかつ少なくとも１つの特徴ポイントを選択して参考点とする参考点選択モジュールを更に含む。前記３Ｄ特殊効果形成モジュールは前記特殊効果パラメーターと前記参考点により第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成することにも用いられる。

【0020】

本発明の他の実施例において電子装置を提供する。前記電子装置は記憶装置と処理装置を含み、記憶装置には非過渡性コンピュータ読み取り可能な指令が記憶され、処理装置は前記コンピュータ読み取り可能な指令を実行することにより前記いずれか１つのヒューマンフェースによる３Ｄ特殊効果生成方法の各ステップを実施する。

【0021】

本発明の実施例において、コンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体には非過渡性コンピュータ読み取り可能な指令が記憶され、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記いずれか１つのヒューマンフェースによる３Ｄ特殊効果生成方法中の各ステップを実施する。

【0022】

本発明の実施例において、ヒューマンフェースによる３Ｄ特殊効果生成方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記ヒューマンフェースによる３Ｄ特殊効果生成方法は、標準ヒューマンフェース画像を表示するステップと、３Ｄ特徴効果を創建するステップであって、前記３Ｄ特徴効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置するステップと、前記３Ｄ特徴効果により特徴効果パラメーターを形成するステップと、画像センサーにより認識される第一ヒューマンフェース画像を獲得するステップと、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップとを含む。本発明の実施例において、使用者は３Ｄ特殊効果を創建する方法により３Ｄ特殊効果を容易に配置するとともに編集することができ、かつ３Ｄ特殊効果パラメーターを形成することにより、３Ｄ特殊効果形成計算方法において３Ｄ特殊効果パラメーターを用いることにより随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができる。従来の技術と比較してみると、本発明は、３Ｄ特殊効果を編集する難易度と編集する時間を大幅に低減し、かつ３Ｄ特殊効果を随時に採集されるいずれかのヒューマンフェース画像上に形成することにより使用者の体験を向上させることができる。

【0023】

以上、本発明の技術事項の概要を説明してきた。本発明の技術的手段をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の前記目的、特徴および発明の効果をより容易に理解してもらうため、以下、好適な実施例と図面により本発明を詳細に説明する。

【図面の簡単な説明】

【0024】

【図1】本発明の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成方法を示す流れ図である。

【図2】本発明の他の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成方法を示す流れ図である。

【図3】本発明の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成装置を示す流れ図である。

【図4】本発明の他の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成装置を示す流れ図である。

【図5】本発明の実施例に係る電子装置の構造を示す図である。

【図6】本発明の実施例に係るコンピュータ読み取り可能な記憶媒体の構造を示す図である。

【図7】本発明の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成端末の構造を示す図である。

【発明を実施するための形態】

【0025】

以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。

【0026】

注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。

【0027】

注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実際に実施するときのモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。

【0028】

下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。

【0029】

使用者の体験を向上させようとする技術的課題を解決するため、本発明の実施例においてヒューマンフェースによる３Ｄ特殊効果生成方法を提供する。図１に示すとおり、前記ヒューマンフェースによる３Ｄ特殊効果生成方法はステップＳ１〜ステップＳ５を含む。
ステップＳ１において、標準ヒューマンフェース画像を表示する。

【0030】

表示装置に標準ヒューマンフェース画像を表示し、前記標準ヒューマンフェース画像は予め設定されるヒューマンフェース画像であり、前記ヒューマンフェース画像は通常、正面のヒューマンフェース画像である。前記標準ヒューマンフェース画像は予め設定される特徴ポイントを含み、前記特徴ポイントの数量を設定することができる。すなわち使用者は需要により前記特徴ポイントの数量を自由に設定することができる。画像の特徴ポイントは、画像において鮮明な特徴を有しており、画像の本質の特徴を有効に示し、かつ画像中の目標物を示すことができるポイントを意味する。前記目標物がヒューマンフェースである場合、ヒューマンフェースのキーポイントを検出する必要があり、前記目標物が建物である場合、建物のキーポイントを検出する必要がある。ヒューマンフェースのキーポイントを検出する方法において、ヒューマンフェースの輪郭は、主として、眉毛、目、鼻、口および顔等の５個の部分を含むが、瞳孔と鼻孔を更に含むこともできる。ヒューマンフェースの輪郭を完璧に説明する場合、約６０個のキーポイントを検出する必要があるが、ヒューマンフェースの基本的な構造を説明する場合、ヒューマンフェースの各部位の細部を詳細に説明する必要がないか或いは顔を説明する必要がないので、キーポイントの数量を適当に低減することができる。瞳孔、鼻孔を説明する必要があるか或いは五官の特徴を詳細に説明する必要がある場合、キーポイントの数量を適当に増加させることができる。画像においてヒューマンフェースのキーポイントを検出することは、各ヒューマンフェースの輪郭のキーポイントが標準ヒューマンフェース画像に位置している座標を検出することに相当する。すなわちキーポイントの位置を検出することに相当する。その過程においてキーポイントに対応する特徴により検出を実施する。キーポイントを明確に示すことができる画像特徴を獲得した後、その特徴により画像中の特徴を検索し、かつ画像中のキーポイントの位置を明確に検出する。特徴ポイントが画像を占める面積は非常に小さい（通常、数個ないし数十個画素の大きさに対応する）。すなわち特徴ポイントに対応する特徴が画像を占める区域は非常に小さいので、特徴を獲得する方法は以下の２種がある。（１）輪郭の垂直方向に沿う１Ｄ範囲において画像特徴を検出する。（２）特徴ポイントの長方形区域の２Ｄ範囲内において画像特徴を検出する。前記２種の方法を実施する方法はいろいろがある。例えばＡＳＭとＡＡＭ類方法、エネルギー統計函数類方法、回帰分析方法、進度学習方法、分類方法、大量獲得方法等がある。前記いろいろな実施方法に使用されるキーポイントの個数、正確度および速度は異なっているので、いろいろな分野に応用されることができる。

【0031】

ステップＳ２において、３Ｄ特徴効果を創建する。前記３Ｄ特徴効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置する。

【0032】

本実施例において、３Ｄ特徴効果を創建する必要がある。本発明の好適な実施例において、前記３Ｄ特徴効果は３Ｄステッカーであることができる。３Ｄ特徴効果を創建するとき、外部のソフトウェアにより制作される３Ｄ模型を用いることができる。前記３Ｄ模型には、カラー情報、デプス情報、材質情報、模様情報等のいずれかの情報も含まれていない。３Ｄ模型を導入した後、３Ｄ模型のパラメーターを配置することができる。例えば３Ｄ模型がパネルに位置する位置または標準ヒューマンフェース上に位置する位置を配置することができる。３Ｄ模型のサイズと回転角度を配置することができ、前記３Ｄ模型のサイズは３Ｄ模型のドラッグ区域を調節することにより設定するか或いはドラッグ区域のサイズを直接に入力することにより設定することができる。前記回転角度は、ｘ軸、ｙ軸、ｚ軸上の回転角度を含み、ドラッグ区域を調節することにより前記回転角度を設定するか或いはドラッグ区域のサイズを直接に入力することにより前記回転角度を設定することができる。

【0033】

３Ｄ模型を導入した後、３Ｄ模型の材質を配置する必要がある。３Ｄ模型の材質を配置するとき、まず材質を創建するし、次に前記材質のパラメーターを調節する。前記材質のパラメーターは、リゾート混合モード、デプステスティングの起動の有無、デプスディスクリプション（depth description）の起動の有無、取り除きの起動の有無のうちいずれか１個または複数個を含む。前記材質のパラメーターは、物体の表面に照射される光線のＲＧＢ分量の反射率を更に含む。具体的に、周囲光線、拡散光線、鏡面光線、自発光線等のいろいろな光線、カラーが異なる分量の光線の反射程度を含む。

【0034】

具体的に、前記リゾート混合とは２種のカラーを一体に混合させることをいう。具体的に、ある１つの画素位置のカラーとまもなくかくカラーを一体に混合させることにより特殊効果を獲得することをいう。リゾート混合モードとは混合に用いられる方法を指し、混合方法は通常、ソースカラーとデスティネーションカラーを計算することにより混合後のカラーを獲得することを指す。実際の応用において、ソースカラーにソースファクターをかけて得た結果とデスティネーションカラーにデスティネーションファクターをかけて得た結果とを計算することにより混合後のカラーを獲得することができる。例えば、前記計算の結果はプラスである場合、BLENDcolor = SRC_color * SCR_factor + DST_color * DST_factorであり、その式において、０≦SCR_factor≦１、０≦DST_factor≦１である。前記計算公式において、ソースカラーの４つの分量（赤色、緑色、青色、alpha値）は（Ｒｓ、Ｇｓ、Ｂｓ、Ａｓ）であり、デスティネーションカラーの４つの分量は（Ｒｄ、Ｇｄ、Ｂｄ、Ａｄ）であり、ソースファクターは（Ｓｒ、Ｓｇ、Ｓｂ、Ｓａ）であり、デスティネーションファクターは（Ｄｒ、Ｄｇ、Ｄｂ、Ｄａ）であると仮定する。混合により形成される新しいカラーは（Rs * Sr + Rd * Dr、Gs * Sg + Gd * Dg、Bs * Sb + Bd * Db、As * Sa + Ad * Da）であり、前記式においてalpha値は透明度を示し、０≦alpha≦１である。前記混合方法は本発明の例示にしか過ぎないものであり、実際の応用において、前記混合方法を変化させるか或いは他の混合方法を選択することができる。前記計算は、加、減、乗、除、２つの数値において大きい数値を選択すること、２つの数値において小さい数値を選択すること、ロジック演算（And, or, different, etc等）であることができる。前記混合方法は本発明の例示にしか過ぎないものであり、実際の応用において、前記混合方法を変化させるか或いは他の混合方法を選択することができる。前記計算は、加、減、乗、除、２つの数値において大きい数値を選択すること、２つの数値において小さい数値を選択すること、ロジック演算（And, or, different, etc等）であることができる。

【0035】

前記デプステスティングとはデプスバッファを設定することをいう。前記デプスバッファはカラーバッファに対応し、デプスバッファには画素のデプス情報が記憶され、カラーバッファには画素のカラー情報が記憶されている。１つの物体の表面をかくことを決定するとき、まず表面の所定の画素のデプス値とデプスバッファに記憶されている値を比較し、前者がデプスバッファに記憶されている値より大きいか或いは等しいとき、その部分を廃棄する。逆の場合、前記画素に対応するデプス値とカラー値によりデプスバッファとカラーバッファを更新する。その過程をデプステスティング（Depth Testing）という。シナリオを形成する前、カラーバッファを除去するとき、デプスバッファを除去する。デプスバッファを除去するときデプスバッファの値を１に設定し、それは最大のデプス値を意味する。デプス値は「０、１」の間に位置し、デプス値が小さければ小さいほど、観察者に近づいていることを意味し、デプス値が大きければ大きいほど、観察者から離れていることを意味する。デプステスティングを始めるとき、デプステスティングの比較函数を設定する必要がある。常用する比較函数はDF_ ALWAYSであり、テストをいつもパスさせる。そのときはデプステスティングを起動させないときと同様であり、現在の画素のデプス値とカラー値によりデプスバッファとカラーバッファを更新する。DF_NEVERであるとき、テストをいつもパスさせない。そのときデプスバッファとカラーバッファ中の値を維持し、いずれかの画素はパネルに表示されない。DF_ LESSであるとき、現在のデプス値＜記憶されているデプス値であると、テストをパスさせる。DF_ EQUALであるとき、現在のデプス値＝記憶されているデプス値であると、テストをパスさせる。DF_LEQUALであるとき、現在のデプス値≦記憶されているデプス値であると、テストをパスさせる。DF_GREATERであるとき、現在のデプス値＞記憶されているデプス値であると、テストをパスさせる。DF_NOTEQUALであるとき、現在のデプス値≠記憶されているデプス値であると、テストをパスさせる。DF_GEQUALであるとき、現在のデプス値≧記憶されているデプス値であると、テストをパスさせる。前記デプスディスクリプションとデプステスティングは係っており、デプステスティングが起動し、かつデプステスティングの結果によりデプスバッファの値を更新するとき、デプスディスクリプションは起動させる必要がある。それによりデプスバッファの値を更新することができる。以下、デプステスティングとデプスディスクリプションを起動させることにより画像をかく過程を例として本発明を説明する。２つのカラーをかく必要があると仮定する。２つのカラーは赤色と黄色である。リゾートの隊列において、赤色は前に位置し、黄色は後に位置し、赤色のデプス値は０．５であり、黄色のデプス値は０．２であり、デプステスティングの比較函数はDF_LEQUALである。そのとき、まずデプスバッファに０．５を入力し、カラーバッファに赤色を入力する。次に黄色をリゾートするとき、比較函数により０．２＜０．５を獲得し、テストをパスさせる。それによりデプスバッファの値を０．２に更新し、カラーバッファを黄色に更新する。すなわち黄色のデプスが薄いので、デプスが深い赤色で覆う必要がある。

【0036】

前記取り除きは、３Ｄ空間において、１つの多辺形は２面を有しているが、使用者が背面の多辺形を見ることができない。多辺形の一部分の表面は正面であるが、他の多辺形に遮られるおそれがある。見ることができない多辺形と見ることができる多辺形を同様に処理する場合、画像を処理する効率が低下するおそれがある。その場合、不必要である面を取り除くことができる。取り除き工程により不必要である面を取り除くことができる。例えば背面と／或いは正面を取り除くことができる。

【0037】

本実施例において、材質が各光線を反射させる反射率を設定し、各光線のカラーウエートにより反射率を設定することができる。例えば自然光線の場合、その自然光線の各カラーウエートは、赤色、黄色、青色であり、赤色の反射率を０．５に設定し、黄色の反射率を０．１に設定し、青色の反射率を０．２に設定することができる。その場合、自然光線により３Ｄ模型の表面には一種のカラーと光沢が形成され、異なる光線による各材質の反射属性を示すことができる。

【0038】

本発明の実施例において、３Ｄ特徴効果を創建するステップはランプを配置するスッテプを更に含む。前記ランプは、点光源、パラレルライト（Parallel light）およびスポットライトのうちいずれか一種であることができる。前記３種の光源はいずれも、ランプの位置、ランプの方向、ランプのカラーおよびランプの強度を配置する必要がある。ランプを配置した後、ランプを前に配置される３Ｄ模型に対応させる。ランプを３Ｄ材質の光線の反射率に対応させることにより３Ｄ模型の表面に異なるカラーを形成することができる。点光源とスポットライトにランプのフォールオフ半径（Falloff radius）を更に設定することにより実際のランプを真似ることができる。スポットライトである場合、ランプの出射角度とフォールオフ半径を更に設定することができる。ここでそれらを１つずつ説明しない。周知のように、ランプは前記ランプの種類にのみ限定されず、本発明の技術的事項に用いることができるものであればいずれも本発明に導入することができる。

【0039】

本発明の実施例において、前記３Ｄ特徴効果を創建するステップは前記３Ｄ模型の模様を配置するスッテプを更に含む。具体的に、前記模様のステッカーを獲得するステップと、模様のサラウンドモード（Surround Mode）を配置するステップとを含む。本実施例において、まず模様を示すステッカーを獲得する。通常、導入方法により模様ステッカーを導入することができる。次に模様のサラウンドモードを配置することができる。前記サラウンドモードは３Ｄ模型が模様ステッカーより大きいとき模様を処理するモードである。模様を処理するモードにおいて最も簡単なモードは、REPEATモードであり、３Ｄ模型が模様ステッカーに完全に覆われるまでに模様ステッカーを貼り付け、そのモードは常用するモードである。他のモードはCLAMP切取りモードであり、模様ステッカーで３Ｄ模型を覆うことができない部分は模様ステッカーの辺縁部のカラーで覆う。

【0040】

ステップＳ３において、前記３Ｄ特徴効果により特徴効果パラメーターを形成する。

【0041】

本発明の実施例において、前記特徴効果パラメーターはステップＳ２において３Ｄ特徴効果を創建した後に配置される特徴効果パラメーターである。前記特徴効果パラメーターにより３Ｄ特徴効果制作用パラメーターベースを形成し、それを３Ｄ特徴効果を形成するとき用いることができる。そのステップの目的は、３Ｄ特徴効果計算方法に用いられるパラメーターベースを提供し、他のヒューマンフェース画像上に前記３Ｄ特徴効果を付加することにある。

【0042】

ステップＳ４において、画像センサーにより認識される第一ヒューマンフェース画像を獲得する。

【0043】

前記ステップにおいて、カメラにより認識されるヒューマンフェース画像を獲得する。前記ヒューマンフェース画像は実際のヒューマンフェースを認識して獲得するヒューマンフェースであるか或いはカメラで撮影するヒューマンフェースの画像または動画を認識して獲得するヒューマンフェースであることができるが、本発明はそれを限定しない。標準ヒューマンフェース画像と異なっているヒューマンフェース画像であればいずれもよい。

【0044】

ヒューマンフェース画像を認識するとき、主として、画像においてヒューマンフェースを検出する。ヒューマンフェース検出は、任意の１つの画像または一組の画像の序列において所定の手段によりそれらを検索することにより、すべてのヒューマンフェースの位置と区域を確定する過程であり、かついろいろな画像または画像の序列にヒューマンフェースが存在するかを判断し、かつヒューマンフェースの数量と空間中の分布を確定する過程である。ヒューマンフェースを検出する方法は通常、下記４種がある。（１）知識による方法：典型のヒューマンフェースが含まれる規則ベースを形成し、規則ベース内のヒューマンフェースに番号をつけ、ヒューマンフェースの間の関係によりヒューマンフェースの位置を決める。（２）特徴不変方法：その方法の目的は、姿勢、視角または光線が変化している環境において安定している特徴を検出し、かつその特徴によりヒューマンフェースを確定することにある。（３）テンプレートマッチング方法：いろいろな標準ヒューマンフェースモードが記憶されていることによりいろいろなヒューマンフェースと面部の特徴をそれぞれ示し、入力される画像と記憶されるモードとの間の関係によりヒューマンフェースを検出する。（４）外観による方法：その方法はテンプレートマッチング方法と反対であり、訓練画像ベースにおいて学習をすることによりテンプレートを獲得し、かつそのテンプレートによりヒューマンフェースを検出する。以下、前記４種の方法のうちいずれか１つの方法によりヒューマンフェースを検出する過程を説明する。まず特徴を検出することによりテンプレートを形成する。本実施例において、Haar特徴をヒューマンフェースの検出に用いられるキーポイントとする。Haar特徴は、簡単である矩形の特徴であり、検出の速度が速いという特徴をしている。Haar特徴の計算に用いられる特徴テンプレートは簡単である矩形の組合せを採用し、その矩形の組合せは２個または複数個の同様の矩形で組み合わせられる。特徴テンプレートには黒色の矩形と白色の矩形を含む二種の矩形が含まれている。AdaBoost計算方法により大量のHaar特徴においてキーポイントになることができる一部分の特徴を検出し、その特徴により分類手段を形成する。形成される分類手段により画像中のヒューマンフェースを検出することができる。本実施例の画像は１個または複数個のヒューマンフェースを含むことができる。

【0045】

前記複数のヒューマンフェース検出計算方法は、いろいろな利点を有しており、適用の範囲も異なっている。異なっている複数の検出計算方法を採用する場合、異なる環境により異なる検出計算方法を採用することができる。例えば、背景の環境が簡単である画像において、検出正確率が高くないが、計算速度が速い計算方法を採用し、背景の環境が複雑である画像において、検出正確率が高いが、計算速度が遅い計算方法を採用することができる。同一の画像において、多種の計算方法により複数回の検出をすることにより検出の正確率を向上させることができる。

【0046】

ステップＳ５において、前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する。

【0047】

前記ステップにおいて、ステップＳ４において形成される特殊効果パラメーターにより、カメラにより認識される第一ヒューマンフェース画像上に標準ヒューマンフェース画像と同様である３Ｄ特殊効果を形成し、かつ前記３Ｄ特殊効果が第一ヒューマンフェース画像上に位置する位置と標準ヒューマンフェース画像上に位置する位置が一致するようにする。具体的に、前記特殊効果パラメーターはステップＳ２において３Ｄ特殊効果を創建するとき設定するパラメーターを含むことができる。パラメーター中の３Ｄ模型の位置により３Ｄ特殊効果が第一ヒューマンフェース画像上に位置する位置を確定し、他のパラメーターにより３Ｄ特殊効果の属性を確定し、そのパラメーターを３Ｄ特殊効果生成計算方法に付加することにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を自動に生成することができる。

【0048】

画像において複数個のヒューマンフェースを認識して検出するとき、使用者は３Ｄ特殊効果を創建する必要がある１個または複数個のヒューマンフェースを選択し、複数個のヒューマンフェースについて同様の処理または異なる処理をすることができる。例えば、３Ｄ特殊効果を創建するとき、標準ヒューマンフェースに番号、例えばＩＤ１とＩＤ２等をつけることができる。その後、ＩＤ１とＩＤ２標準ヒューマンフェース画像に３Ｄ特殊効果をそれぞれ設定することができる。前記３Ｄ特殊効果は同様であるか或いは異なることができる。カメラにより複数個のヒューマンフェース画像が認識されるとき、認識の順番により前記複数個のヒューマンフェース画像に３Ｄ特殊効果を付加することができる。例えば１号ヒューマンフェースが先に認識されると、１号ヒューマンフェース上にＩＤ１標準ヒューマンフェース画像の３Ｄ特殊効果を付加し、その後２号ヒューマンフェースが認識されると、２号ヒューマンフェース上にＩＤ２標準ヒューマンフェース画像の３Ｄ特殊効果を付加することができる。ＩＤ１標準ヒューマンフェース画像の３Ｄ特殊効果しか創建されていない場合、１号と２号ヒューマンフェース画像上にＩＤ１標準ヒューマンフェース画像の３Ｄ特殊効果をそれぞれ付加するか或いは１号ヒューマンフェース画像上にのみ３Ｄ特殊効果を付加することができる。前記複数個のヒューマンフェース画像は異なる動作により３Ｄ特殊効果を獲得することができる。例えば２号ヒューマンフェースが頭を振る動作をするとき、ＩＤ２標準ヒューマンフェース画像の３Ｄ特殊効果を１号ヒューマンフェース画像上に付加することができる。本発明は動作の種類を限定しない。

【0049】

本発明の実施例において、前記標準ヒューマンフェース画像上に３Ｄ特殊効果を創建し、３Ｄ特殊効果を配置することにより３Ｄ特殊効果パラメーターを形成することができる。次に、３Ｄ特殊効果パラメーターにより実際のヒューマンフェース画像上の３Ｄ特殊効果を形成する。従来の技術において、外部の手段により３Ｄ特殊効果を形成する必要があるので、使用上の利便性がよくなく、特殊効果を随時に配置することができず、かつ既有の画像または動画にしか位置させることができないので、随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができない。本発明の実施例において、使用者は３Ｄ特殊効果を創建する方法により３Ｄ特殊効果を容易に配置するとともに編集することができ、かつ３Ｄ特殊効果パラメーターを創建することにより、３Ｄ特殊効果形成計算方法において３Ｄ特殊効果パラメーターを用いることにより随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができる。従来の技術と比較してみると、本発明は、３Ｄ特殊効果を編集する難易度と編集する時間を大幅に低減し、かつ３Ｄ特殊効果を随時に採集されるいずれかのヒューマンフェース画像上に形成することにより使用者の体験を向上させることができる。

【0050】

他の実施例において、標準ヒューマンフェース画像上にはヒューマンフェース特徴ポイントが含まれている。図２に示すとおり、標準ヒューマンフェース画像を表示するステップＳ１が実施例された後に実施される下記ステップを更に含む。
ステップＳ１１において、参考点選択命令を受信しかつ少なくとも１つの特徴ポイントを選択して参考点とする。

【0051】

前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する前記ステップＳ５は具体的に、前記特殊効果パラメーターと前記参考点により第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成するステップＳ１２を含む。

【0052】

標準ヒューマンフェース画像の３Ｄ特殊効果を画像センサーにより採集される第一ヒューマンフェース画像の３Ｄ特殊効果に変換させるとき、マッピング関係を用いる必要がある。マッピング関係が異なることにより追跡方法は固定式３Ｄ特殊効果と追跡式３Ｄ特殊効果を含む。本発明の実施例において固定式３Ｄ特殊効果を用いる。固定式３Ｄ特殊効果は、簡単であり、３Ｄ特殊効果が画像センサー中に位置する絶対的位置のみを設定すればできる。本実施例において、表示装置と画像センサーの画像採集窓口の画素を１つずつ対応させ、３Ｄ特殊効果が表示装置に位置している位置を判断することができる。次に、画像センサーの画像採集窓口により採集される画像の所定の位置に対して３Ｄ特殊効果処理をする。そのような３Ｄ特殊効果処理方法は、操作が簡単であり、その方法に用いられるパラメーターはいずれも画像採集窓口の位置に係っている。他の実施例において、３Ｄ特殊効果画像を形成するとき、まずステップＳ１において標準ヒューマンフェース画像の特徴ポイントを獲得し、前記特徴ポイントにより前記３Ｄ特殊効果がヒューマンフェース画像に位置している位置を確定する。画像センサーにより採集される画像において標準ヒューマンフェース画像に対応する第一ヒューマンフェース画像を検出する。標準ヒューマンフェース画像において確定した位置を第一ヒューマンフェース画像にマッピングさせる。第一ヒューマンフェース画像に対して３Ｄ特殊効果処理をすることにより３Ｄ特殊効果画像を形成する。本実施例において、３Ｄ特殊効果が第一ヒューマンフェース画像に位置している相対的位置を確定する。第一ヒューマンフェース画像が移動するか或いは変化しても、前記３Ｄ特殊効果はいつも前記相対的位置に位置していることにより３Ｄ特殊効果を追跡する目的を達成することができる。本発明の好適な実施例において、前記標準ヒューマンフェース画像は三角断面を通過し、１０６個の特徴ポイントを含み、３Ｄ特殊効果と特徴ポイントの相対的位置によりヒューマンフェース画像中の相対的位置を確定する。カメラにより採集されるヒューマンフェース画像も三角断面を通過する。カメラ中のヒューマンフェースが移動するか或いは回転するとき、前記３Ｄ特殊効果はいつもヒューマンフェースの相対的位置に位置していることにより３Ｄ特殊効果を追跡する目的を達成することができる。

【0053】

前記参考点は相対的な位置を確定する作用を奏し、第一ヒューマンフェース画像上には標準ヒューマンフェース画像上の参考点に対応する特徴ポイントが存在し、前記参考点と第一ヒューマンフェース画像上の特徴ポイントによりマッピング関係が形成される。マッピング関係により３Ｄ特徴効果を第一ヒューマンフェース画像上の所定の位置上に形成することができる。

【0054】

本実施例において、３Ｄ特殊効果は一定の条件を満たすときのみ触発されるとともに表示される。前記触発の条件は使用者の動作、表情、音声または端末装置のパラメーター等であることができる。前記動作は、面部の動作、例えば目を瞬くこと、口を大きく開けること、頭を振ること、うなずくこと、眉毛を動くこと等であることができる。３Ｄ特殊効果がメガネの３Ｄステッカーである場合、それを触発させる条件は目を迅速に２回瞬くことであることができる。その場合、使用者が目を迅速に２回瞬くことが検出されると、使用者の目にメガネの３Ｄステッカーを表示することができる。前記表情は、愉快、気落ち、憤怒等の表情であることができる。例えば３Ｄ特殊効果は涙の３Ｄステッカーであることができる。その場合、触発条件は気落ちの表情であり、使用者が気落ちの表情をしていることが検出されると、使用者の目の下方に涙の３Ｄステッカーを表示することができる。触発条件が音声である場合、使用者の音声または周囲の音声が検出されると、所定の３Ｄ特殊効果を触発させることができる。前記触発条件が端末装置のパラメーターであるとき、端末装置の各部品のパラメーターを検出することができる。例えば端末装置の姿勢、揺れ等を検出することができる。前記姿勢または揺れにより触発される３Ｄ特殊効果についてここで詳細に説明しない。前記触発条件は従来の技術に記載されているいずれかの触発条件であることができる。触発条件は１個または複数個であることができるが、本発明はそれを限定しない。前記触発条件は触発の開始または触発の消失であることができる。触発の開始が触発条件であるとき、所定の３Ｄ特殊効果が形成され、触発の開始が触発条件であるとき、所定の３Ｄ特殊効果が形成され、触発の消失が触発条件であるとき、所定の３Ｄ特殊効果が消える。前記触発条件は触発された後の持続時間を更に含むことができる。すなわち触発条件が形成されかつ所定の時間過ぎると、３Ｄ特殊効果が形成されるか或いは消える。

【0055】

上において、前記順序により前記ヒューマンフェースによる３Ｄ特殊効果生成方法の各ステップを説明してきたが、周知のように、前記各ステップの実施順序は前記順序にのみ限定されるものでない。本技術分野の技術者は、前記方法の各ステップを他の順序、並行、交差方式に実施することもできる。前記ヒューマンフェースによる３Ｄ特殊効果生成方法は前記ステップのみを含むものでない。本技術分野の技術者は他のステップを追加するか或いは所定のステップを変更させるか或いは取り替えることができ、それらがあっても本発明に含まれることは勿論である。

【0056】

以下、本発明の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成装置を説明する。その装置により前記ヒューマンフェースによる３Ｄ特殊効果生成方法中の各ステップを実施することができる。説明を簡単にするため、以下、本発明の実施例に係る部分のみを説明し、説明しない具体的な事項は前記ヒューマンフェースによる３Ｄ特殊効果生成方法の実施例を参照することができる。

【0057】

本発明の実施例においてヒューマンフェースによる３Ｄ特殊効果生成装置を提供する。その装置により前記実施例に係るヒューマンフェースによる３Ｄ特殊効果生成方法中のいずれかのステップを実施することができる。図３に示すとおり、前記ヒューマンフェースによる３Ｄ特殊効果生成装置は、主として、表示モジュール３１、３Ｄ特殊効果創建モジュール３２、特殊効果パラメーター生成モジュール３３、ヒューマンフェース画像獲得モジュール３４および３Ｄ特殊効果形成モジュール３５を含む。表示モジュール３１は標準ヒューマンフェース画像を表示し、３Ｄ特殊効果創建モジュール３２は３Ｄ特殊効果を形成する。前記３Ｄ特殊効果は少なくとも３Ｄ模型を配置するか或いは３Ｄ模型の材質を配置することにより創建され、前記３Ｄ特殊効果は前記標準ヒューマンフェース画像上に位置する。特殊効果パラメーター生成モジュール３３は前記３Ｄ特殊効果により特殊効果パラメーターを形成し、ヒューマンフェース画像獲得モジュール３４は画像センサーにより認識される第一ヒューマンフェース画像を獲得し、３Ｄ特殊効果形成モジュール３５は前記特殊効果パラメーターにより第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する。

【0058】

前記ヒューマンフェースによる３Ｄ特殊効果生成装置は図１の実施例のヒューマンフェースによる３Ｄ特殊効果方法に対応し、前記ヒューマンフェースによる３Ｄ特殊効果生成装置の具体的な事項はヒューマンフェースによる３Ｄ特殊効果方法の説明を参照することができるので、ここで再び説明しない。

【0059】

図４に示すとおり、本発明の実施例において、前記ヒューマンフェースによる３Ｄ特殊効果生成装置は参考点選択命令を受信しかつ少なくとも１つの特徴ポイントを選択して参考点とする参考点選択モジュール３６を更に含むことができる。

【0060】

前記３Ｄ特殊効果形成モジュール３５は前記特殊効果パラメーターと前記参考点により前記第一ヒューマンフェース画像上に前記３Ｄ特殊効果を形成する。

【0061】

前記ヒューマンフェースによる３Ｄ特殊効果生成装置は図２の実施例のヒューマンフェースによる３Ｄ特殊効果方法に対応し、前記ヒューマンフェースによる３Ｄ特殊効果生成装置の具体的な事項はヒューマンフェースによる３Ｄ特殊効果方法の説明を参照することができるので、ここで再び説明しない。

【0062】

本発明の実施例において、前記標準ヒューマンフェース画像上に３Ｄ特殊効果を創建し、３Ｄ特殊効果を配置することにより３Ｄ特殊効果パラメーターを形成することができる。次に、３Ｄ特殊効果パラメーターにより実際のヒューマンフェース画像上の３Ｄ特殊効果を形成する。従来の技術において、外部の手段により３Ｄ特殊効果を形成する必要があるので、使用上の利便性がよくなく、特殊効果を随時に配置することができず、かつ既有の画像または動画にしか位置させることができないので、随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができない。本発明の実施例において、使用者は３Ｄ特殊効果を創建する方法により３Ｄ特殊効果を容易に配置するとともに編集することができ、かつ３Ｄ特殊効果パラメーターを形成することにより、３Ｄ特殊効果形成計算方法において３Ｄ特殊効果パラメーターを用いることにより随時に採集されるヒューマンフェース画像上に３Ｄ特殊効果を形成することができる。従来の技術と比較してみると、本発明は、３Ｄ特殊効果を編集する難易度と編集する時間を大幅に低減し、かつ３Ｄ特殊効果を随時に採集されるいずれかのヒューマンフェース画像上に形成することにより使用者の体験を向上させることができる。

【0063】

図５は本発明の実施例に係る電子装置を示すブロックダイアグラムである。図５に示すとおり、本発明の実施例に係る電子装置５０は記憶装置５１と処理装置５２を含む。

【0064】

前記記憶装置５１は非過渡性コンピュータ読み取り可能な指令を記憶させる。具体的に、記憶装置５１は１個または複数個のコンピュータープログラムを含み、前記コンピュータープログラムはいろいろな形態のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリーと／或いは不揮発性メモリーに記憶されることができる。前記揮発性メモリーは例えば、ランダムアクセスメモリー（ＲＡＭ）と／或いはキャッシュメモリー（cache）等を含むことができる。前記不揮発性メモリーは例えば、リードオンリーメモリー（ＲＯＭ）、ハードディスク、フラッシュメモリー等を含むことができる。

【0065】

前記処理装置５２は、中央処理ユニット（ＣＰＵ）であるか或いはデータ処理機能と／或いは指令実行機能を有している他の形態の処理ユニットであり、電子装置５０中の他のモジュールが所望の機能を実行することを制御することができる。本発明の実施例において、前記処理装置５２は、前記記憶装置５１に記憶されている前記コンピュータ読み取り可能な指令を実行することにより、前記電子装置５０が本発明の実施例のヒューマンフェースによる３Ｄ特殊効果生成方法のすべてまたは一部分のステップを実施するようにすることができる。

【0066】

本技術分野の技術者が知っているとおり、使用者の使用体験を向上させる技術的問題を解決するため、本実施例の電子装置は、通信バス、インターフェース等の周知の構造を更に含むことができ、前記周知の構造が本発明の特許請求の範囲に含まれることは勿論である。

【0067】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0068】

図６は本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す図である。図６に示すとおり、本発明の実施例に係るコンピュータ読み取り可能な記憶媒体６０は非過渡性コンピュータ読み取り可能な指令６１を記憶させる。処理装置で前記非過渡性コンピュータ読み取り可能な指令６１を実行することにより、本発明の実施例に係るヒューマンフェースによる３Ｄ特殊効果生成方法のすべてまたは一部分のステップを実施することができる。

【0069】

前記コンピュータ読み取り可能な記憶媒体６０は、光記憶媒体（例えばＣＤ−ＲＯＭとＤＶＤ）、光磁気記録媒体（例えばＭＯ）、磁気記録媒体（例えばテープまたはポータブルハードドライブ）、内部に設けられる書き換え可能な不揮発性メモリーを具備する媒体（例えばメモリーカード）、内部にＲＯＭが設けられる媒体（例えばＲＯＭ装置）を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0070】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0071】

図７は本発明の実施例に係る端末装置のハードウェアを示す構造図である。図７に示すとおり、前記ヒューマンフェースによる３Ｄ特殊効果を生成する端末装置７０は前記実施例のヒューマンフェースによる３Ｄ特殊効果生成方法を含む。

【0072】

前記端末装置はいろいろな形態により実施されることができる。本発明の端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信装置、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、ナビゲーション、車用端末装置、車用表示端末、車用電子ミラー等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0073】

他の実施例において、前記端末装置は他のモジュールを更に含むことができる。図７に示すとおり、前記画像特殊効果の処理に用いられる端末装置７０は、電源ユニット７１、無線通信ユニット７２、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット７３、使用者入力ユニット７４、検出ユニット７５、接続ユニット７６、制御装置７７、出力ユニット７８および記憶ユニット７９等を含むことができる。注意されたいことは、図７には各モジュールを具備する端末が示されているが、本発明は、示されているすべてのモジュールを含まなくてもよく、一部分のモジュールを取り替えるか或いはより少ないモジュールを含むことができる。

【0074】

無線通信ユニット７２は端末装置７０と無線通信システムまたはインターネットとの間の無線通信を実施する。Ａ／Ｖ入力ユニット７３はオーディオまたはビデオ信号を受信する。使用者入力ユニット７４は使用者が入力する命令によりキーボード入力データを形成しかつそれにより端末装置の各操作を制御する。検出ユニット７５は端末装置７０の現在の状態、端末装置７０の位置、使用者が端末装置７０をタッチすることの有無、端末装置７０の傾向、端末装置７０の加速移動または減速移動と方向等を検出し、端末装置７０を制御して操作する指令または信号を形成する。接続ユニット７６は少なくとも１個の外部装置と端末装置７０を接続させるインターフェースになることができる。出力ユニット７８は視覚、オーディオと／或いは触覚形態の出力信号を出力するように構成される。記憶ユニット７９は制御装置７７により実行されかつ処理と制御操作に関するソフトウェアプログラムを記憶させるか或いは既に出力されるか或いは間もなく出力されるデータを暫時記憶させることができる。記憶ユニット７９は少なくとも１つの類型の記憶媒体を含むことができる。端末装置７０はネットワークにより記憶ユニット７９に接続されかつ記憶ユニット７９の記憶機能を採用するネットワーク記憶装置と協力することができる。制御装置７７は通常、端末装置の全体の操作を制御する。制御装置７７は、マルチメディアデータの再生またはプレーバックを制御するマルチメディアモジュールを含むことができる。制御装置７７はモード認識処理をすることにより、タッチパネルに入力したハンドライティングインプットまたはドローイングインプットを認識してキャラクターまたは画像を形成することができる。電源ユニット７１は制御装置７７の制御により外部電力または内部電力を受信しかつそれを各部品とモジュールに提供する電力を供給する。

【0075】

本発明に係るヒューマンフェースによる３Ｄ特殊効果生成方法の各実施例は例えば、コンピュータのソフトウェア、ハードウェア、任意に組み立てられるコンピュータ読み取り可能な記憶媒体がにより実施されることができる。本発明において提供するヒューマンフェースによる３Ｄ特殊効果生成方法の各実施例は、アプリケーション固有集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理装置、制御装置、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実施できる電子ユニットのうち少なくとも一種により実施されることができる。他の実施例において、本発明に係るヒューマンフェースによる３Ｄ特殊効果生成方法の各実施例は制御装置７７により実施されることができる。ソフトウェアにより実施する場合、本発明に係るヒューマンフェースによる３Ｄ特殊効果生成方法の各実施例は少なくとも一種の機能または操作をする１つのソフトウェアモジュールにより実施されることができる。ソフトウェアコードは適合なプログラミングランゲージにより編集されるソフトウェアアプリケーション（プログラム）により実施されることができ、フトウェアコードは記憶ユニット７９に記憶されかつ制御装置７７により実施されることができる。

【0076】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0077】

以上、具体的な実施例により本発明の基本的な原理を説明してきたが、注意されたいことは、上で公開した本発明の利点、優勢、効果等は、本発明の例示にしか過ぎないものであり、かつ本発明を限定するものでないため、本発明の各実施例は前記利点、優勢、効果等を必ず具備する必要はない。また、上で公開した前記具体的な細部は、本発明の例示にしか過ぎないものであり、かつ本発明を理解させるためのものであるが、本発明を限定するものでない。前記細部が公開されているが、本発明は前記細部のみにより実施されるものでない。

【0078】

本発明の部品、装置、設備、システムを示すブロックダイアグラムは本発明の例示にしか過ぎないものであり、本発明の部品、装置、設備、システムをブロックダイアグラムの順にのみ連結、位置、配置させる意図は全然ない。本技術分野の技術者は常識により本発明の前記部品、装置、設備、システムを自由に連結、位置、配置させることができる。本発明中の「含む」、「包含する」、「具備する」という用語は開放的な用語であるので、「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その用語を交換して用いることができる。本発明において用いる「或いは」および「と」という用語は「と／或いは」ということを意味し、その用語を交換して用いることができる。特別な説明がない限り、「或いは」および「と」という用語は「と／或いは」ということを意味する。本発明において用いる「例えば」という用語は「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その事項を交換して用いることができる。

【0079】

本発明において用いる「少なくとも１つ」という用語は、含まれる事項が選択可能な状態（例えば或いは、または等）に列挙されていることを意味する。例えば、「Ａ、ＢまたはＣのうち少なくとも１つ」という用語は、ＡまたはＢまたはＣを意味するか或いは、ＡＢまたはＡＢまたはＢＣを意味するか或いは、ＡＢＣ（すなわちＡとＢとＣ）を意味することができる。また、「例示的」という用語は、それが好適な実施例または他の実施例よりよいことを意味するものでない。

【0080】

注意されたいことは、本発明のシステムと方法において、各部品または各ステップを分解と／或いは再び組み合わせることができる。前記分解と／或いは再び組み合わせるシステムと方法により本発明と同様な効果を獲得することができる。

【0081】

本発明の特許請求の範囲が定めた技術的範囲を逸脱しない範囲において、本発明の技術的事項を変更、交換、改良することができる。本発明の特許請求の範囲が定めた技術的範囲は、前記処理、装置、製造、事項の組合せ、手段、方法および動作に係る具体的な実施例にのみ限定されるものでない。本発明の所定の事項により同様の機能を実現するか或いは同様の結果による現在の存在を獲得するか或いは後で処理する処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。すなわち、本発明の特許請求の範囲が定めた技術的範囲内において、前記処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。

【0082】

本発明が公開する前記事項により本技術分野の技術者は本発明を実施するか或いは本発明を用いることができる。本発明が定めた技術的範囲を逸脱しない限り、本技術分野の技術者は本発明が公開する事項により本発明を容易に変更し、本発明が定めた一般的な原理を他の実施例に採用することができる。本発明は、前記具体的な実施例にのみ限定されるものでなく、本発明の原理と新規の特徴が含まれるあらゆる実施例を含むことができる。

【0083】

以上、本発明を説明するため前記実施例により本発明を説明してきたが、前記実施例は本発明の例示にしか過ぎないものであるため、本発明は前記実施例の構成にのみ限定されるものでない。以上、本発明の複数の例示と実施例を説明してきたが、本技術分野の技術者は本発明の要旨を逸脱しない範囲において、変更、修正、改良、添加および組合せをすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】