特許 7152528 フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221004BHJP

   H04N 5/232 20060101ALI20221004BHJP

【ＦＩ】

G06T7/00 660A

H04N5/232 290

H04N5/232 300

【請求項の数】 12

(21)【出願番号】P 2020571657

(86)(22)【出願日】2018-12-25

(65)【公表番号】

(43)【公表日】2021-10-21

(86)【国際出願番号】 CN2018123642

(87)【国際公開番号】W WO2020019666

(87)【国際公開日】2020-01-30

【審査請求日】2020-12-22

(31)【優先権主張番号】201810838375.3

(32)【優先日】2018-07-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518031631

【氏名又は名称】北京微播視界科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ

【住所又は居所原語表記】Ｒｏｏｍ ４０８， ４Ｆ Ｎｏ．５１， Ｚｈｉｃｈｕｎ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際特許業務法人

(72)【発明者】

【氏名】劉高

(72)【発明者】

【氏名】林▲しん▼

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１１－０５５０６６（ＪＰ，Ａ）

【文献】特開２０１１－１３８２４０（ＪＰ，Ａ）

【文献】特開２０１５－１１１８３６（ＪＰ，Ａ）

【文献】特開２００９－１２４２３１（ＪＰ，Ａ）

【文献】特開２０１２－１８２８２０（ＪＰ，Ａ）

【文献】特開２００８－１３１５５９（ＪＰ，Ａ）

【文献】国際公開第２００７／１１９３５５（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０７６６６５６７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ ９／００ － ９／４０

Ｈ０４Ｎ ５／２２２ － ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

特殊効果選択命令によりフェイシャル特殊効果を選択するステップと、
フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するステップと、
前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップと、
画像センサーが採集したフェイシャル画像を認識するステップと、
フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップとを含み、
前記フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップは、
前記フェイシャル追跡序列により前記フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねるステップを含むことを特徴とするフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項2】

前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものである場合、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップは、
フェイシャル追跡序列を形成するステップであって、前記フェイシャル追跡序列は認識されるすべてのフェイシャルを含むステップを含むことを特徴とする請求項１に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項3】

前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップは、
前記フェイシャル追跡類型がカスタマイズ類型である場合、前記フェイシャル追跡類型がカスタマイズ類型であることとカスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップを含むことを特徴とする請求項１に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項4】

前記カスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップは、
追跡する必要があるフェイシャルの数量を設定するステップと、
追跡する必要があるフェイシャルＩＤを設定するステップとを含み、
前記フェイシャルの数量とフェイシャルＩＤにより前記フェイシャル追跡序列を形成し、前記フェイシャル追跡序列はフェイシャルの数量とフェイシャルＩＤを含むことを特徴とする請求項３に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項5】

前記カスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップは、
前記フェイシャルＩＤによりフェイシャルを追跡する開始時間と停止時間を設定するステップであって、前記フェイシャル追跡序列には前記開始時間と停止時間が含まれているステップを更に含むことを特徴とする請求項４に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項6】

前記画像センサーが採集したフェイシャル画像を認識するステップは、
フェイシャル認識計算方法により画像センサーが採取するフェイシャル画像を認識するステップと、
認識順番によりフェイシャル画像にフェイシャルＩＤを設定するステップとを含むことを特徴とする請求項４または５に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項7】

前記フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップは、
前記フェイシャル追跡序列において前記フェイシャルＩＤを読み取り、前記フェイシャル特殊効果を前記フェイシャルＩＤに対応するフェイシャル画像上に積み重ねるステップを含むことを特徴とする請求項６に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項8】

前記フェイシャル特殊効果は、２Ｄステッカー、３Ｄステッカー、化粧効果および変形効果のうちいずれか一種または多種を含むことを特徴とする請求項１に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項9】

前記特殊効果選択命令によりフェイシャル特殊効果を選択するステップは特殊効果選択命令により複数のフェイシャル特殊効果を選択するステップを含み、
前記フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するステップは、前記複数のフェイシャル特殊効果の各フェイシャル特殊効果において前記フェイシャル特殊効果のフェイシャル追跡類型を選択するステップを含み、
前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップは前記フェイシャル特殊効果のフェイシャル追跡類型により各フェイシャル特殊効果に対応するフェイシャル追跡序列を形成するステップを含むことを特徴とする請求項１に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法。

【請求項10】

特殊効果選択命令により特殊効果を選択するフェイシャル特殊効果選択モジュールと、
フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するフェイシャル追跡類型選択モジュールと、
前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するフェイシャル追跡序列形成モジュールと、
画像センサーが採集したフェイシャル画像を認識するフェイシャル認識モジュールと、
フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねる特殊効果重畳モジュールとを含み、
前記特殊効果重畳モジュールは前記フェイシャル追跡序列により前記フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねることを特徴とするフェイシャル特殊効果による複数のフェイシャルの追跡装置。

【請求項11】

少なくとも１つの処理装置と前記少なくとも１つの処理装置に通信可能に連結される記憶装置とを含み、
前記少なくとも１つの処理装置には前記少なくとも１つの処理装置により実行されることができる指令が記憶されており、前記指令が前記少なくとも１つの処理装置により実行されることにより前記処理装置は前記請求項１～９のいずれか一項に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法を実施することを特徴とする電子装置。

【請求項12】

コンピュータ指令が記憶されており、コンピュータで前記コンピュータ指令を実行することにより前記請求項１～９のいずれか一項に記載のフェイシャル特殊効果による複数のフェイシャルの追跡方法を実施することを特徴とする非過渡性コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の引用）
本願は、２０１８年０７月２７日に出願し、発明の名称が「フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器」であり、出願番号が２０１８１０８３８３７５．３である中国特許出願を引用し、その出願の全文を本願に組み込む。

【0002】

本発明は、画像処理技術分野に属し、特に、フェイシャル特殊効果（special effects）による複数のフェイシャルの追跡方法、装置、ハードウェア装置およびコンピュータ読み取り可能な記憶媒体に関するものである。

【背景技術】

【0003】

コンピューター技術の発展に伴い、インテリジェント端末（intelligent terminal）の応用範囲はますます広くなっている。例えば、インテリジェント端末により、音楽を聞き、ゲームをし、オンラインチャットをし、写真を撮ることができる。インテリジェント端末のカメラ技術の発展に伴い、そのピクセルは千万以上になり、高いアーティキュレーションを獲得し、プロフェッショナルカメラに匹敵する撮影の品質を獲得することができる。

【0004】

従来のインテリジェント端末のカメラで写真または動画を撮るとき、出荷時インテリジェント端末にインストールされる撮影ソフトにより一般の写真または動画を獲得することができ、かつインターネットからダウンロードしたアプリケーション（Application、ＡＰＰと略称）により写真または動画の品質を更に向上させることができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の特殊効果作成ＡＰＰにより１つのフェイシャル特殊効果を設定することができるが、複数のフェイシャル特殊効果を設定するか或いは複数のフェイシャルを追跡することができない。

【課題を解決するための手段】

【0006】

本発明の実施例においてフェイシャル特殊効果による複数のフェイシャルの追跡方法を提供する。その方法は、特殊効果選択命令によりフェイシャル特殊効果を選択するステップと、フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するステップと、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップと、画像センサーが採集したフェイシャル画像を認識するステップと、フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップとを含む。

【0007】

前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものであり、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップは、前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものであることにより前記フェイシャル追跡序列を形成するステップを含み、前記フェイシャル追跡序列は認識されるすべてのフェイシャルを含む。

【0008】

前記フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップは、前記フェイシャル追跡序列により前記フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねるステップを含む。

【0009】

前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップは、前記フェイシャル追跡類型がカスタマイズ類型であり、前記フェイシャル追跡類型がカスタマイズ類型であることとカスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップを含む。

【0010】

前記カスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップは、追跡する必要があるフェイシャルの数量を設定するステップと、追跡する必要があるフェイシャルＩＤを設定するステップとを含み、前記フェイシャルの数量とフェイシャルＩＤにより前記フェイシャル追跡序列を形成し、前記フェイシャル追跡序列はフェイシャルの数量とフェイシャルＩＤを含む。

【0011】

前記カスタマイズ追跡順番によりフェイシャル追跡序列を形成するステップは、前記フェイシャルＩＤによりフェイシャルを追跡する開始時間と停止時間を設定するステップを更に含み、前記フェイシャル追跡序列には前記開始時間と停止時間が含まれている。

【0012】

前記画像センサーが採集したフェイシャル画像を認識するステップは、フェイシャル認識計算方法により画像センサーが採取するフェイシャル画像を認識するステップと、認識順番によりフェイシャル画像にフェイシャルＩＤを設定するステップとを含む。

【0013】

前記フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップは、前記フェイシャル追跡序列において前記フェイシャルＩＤを読み取り、前記フェイシャル特殊効果を前記フェイシャルＩＤに対応するフェイシャル画像上に積み重ねるステップを含む。

【0014】

前記フェイシャル特殊効果は、２Ｄステッカー、３Ｄステッカー、化粧効果および変形効果のうちいずれか一種または多種を含む。

【0015】

前記特殊効果は多種の特殊効果を含み、各特殊効果によりフェイシャル追跡序列を形成する。

【0016】

本発明の実施例においてフェイシャル特殊効果による複数のフェイシャルの追跡装置を提供する。前記装置は、特殊効果選択命令により特殊効果を選択するフェイシャル特殊効果選択モジュールと、フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するフェイシャル追跡類型選択モジュールと、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するフェイシャル追跡序列形成モジュールと、画像センサーが採集したフェイシャル画像を認識するフェイシャル認識モジュールと、フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねる特殊効果重畳モジュールとを含む。

【0017】

前記フェイシャル追跡類型はすべてのフェイシャルを追跡するものであり、前記フェイシャル追跡序列形成モジュールは、前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものであることによりフェイシャル追跡序列を形成する。前記フェイシャル追跡序列は認識されるすべてのフェイシャルを含む。

【0018】

前記特殊効果重畳モジュールは前記フェイシャル追跡序列により前記フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねる。

【0019】

前記フェイシャル追跡序列形成モジュールは、前記フェイシャル追跡類型がカスタマイズ類型であるかを判断し、前記フェイシャル追跡類型がカスタマイズ類型であるとき、カスタマイズ追跡順番によりフェイシャル追跡序列を形成する。

【0020】

前記フェイシャル追跡序列形成モジュールは、フェイシャル数量設定モジュール、第一フェイシャルＩＤ設定モジュールおよびフェイシャル追跡序列形成サブモジュールを更に含む。フェイシャル数量設定モジュールは追跡する必要があるフェイシャルの数量を設定する。第一フェイシャルＩＤ設定モジュールは追跡する必要があるフェイシャルＩＤを設定する。フェイシャル追跡序列形成サブモジュールは前記フェイシャルの数量とフェイシャルＩＤにより前記フェイシャル追跡序列を形成する。前記フェイシャル追跡序列はフェイシャルの数量とフェイシャルＩＤを含む。

【0021】

前記フェイシャル追跡序列形成モジュールは追跡時間設定モジュールを更に含み、その追跡時間設定モジュールはフェイシャルＩＤによりフェイシャルを追跡する開始時間と停止時間を設定する。前記フェイシャル追跡序列には前記開始時間と停止時間が含まれている。

【0022】

前記フェイシャル認識モジュールはフェイシャル認識サブモジュールと第二フェイシャルＩＤ設定モジュールを含む。フェイシャル認識サブモジュールはフェイシャル認識計算方法により画像センサーが採取するフェイシャル画像を認識する。第二フェイシャルＩＤ設定モジュールは認識順番によりフェイシャル画像にフェイシャルＩＤを設定する。

【0023】

前記特殊効果重畳モジュールは、前記フェイシャル追跡序列において前記フェイシャルＩＤを読み取り、前記フェイシャル特殊効果を前記フェイシャルＩＤに対応するフェイシャル画像上に積み重ねる。

【0024】

前記フェイシャル特殊効果は、２Ｄステッカー、３Ｄステッカー、化粧効果および変形効果のうちいずれか一種または多種を含む。

【0025】

前記特殊効果は多種の特殊効果を含み、各特殊効果によりフェイシャル追跡序列を形成する。

【0026】

本発明の実施例において電子装置を提供する。前記電子装置は記憶装置と処理装置を含み、記憶装置には非過渡性コンピュータ読み取り可能な指令が記憶され、処理装置は前記コンピュータ読み取り可能な指令を実行することにより前記いずれか１つのフェイシャル特殊効果による複数のフェイシャルの追跡方法の各ステップを実施する。

【0027】

本発明の実施例においてコンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体には非過渡性コンピュータ読み取り可能な指令が記憶され、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記いずれか１つのフェイシャル特殊効果による複数のフェイシャルの追跡方法中の各ステップを実施する。

【0028】

本実施例において、フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記フェイシャル特殊効果による複数のフェイシャルの追跡方法は、特殊効果選択命令によりフェイシャル特殊効果を選択するステップと、フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択するステップと、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成するステップと、画像センサーが採集したフェイシャル画像を認識するステップと、フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねるステップとを含む。本発明の実施例により、特殊効果により追跡する必要があるフェイシャルを指定し、フェイシャル特殊効果を積み重ねるフェイシャルの数量、積み重ねの順序およびフェイシャル特殊効果を表示する時間を任意に設定し、複数のフェイシャル上に異なる特殊効果を積み重ね、使用者の体験を向上させることができる。

【0029】

以上、本発明の技術事項の概要を説明してきた。本発明の技術的手段をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の前記目的、特徴および発明の効果をより容易に理解してもらうため、以下、好適な実施例と図面により本発明を詳細に説明する。

【図面の簡単な説明】

【0030】

【図1】本発明の実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法を示す流れ図である。

【図2】本発明の実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡装置を示す構造図である。

【図3】本発明の実施例に係る電子装置を示す構造図である。

【図4】本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す構造図である。

【図5】本発明の実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡端末を示す構造図である。

【発明を実施するための形態】

【0031】

以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。

【0032】

注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。

【0033】

注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実際に実施するときのモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。

【0034】

下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。

【0035】

複数のフェイシャルを追跡することができない技術的課題を解決するため、本発明の実施例においてフェイシャル特殊効果による複数のフェイシャルの追跡方法を提供する。図１に示すとおり、前記フェイシャル特殊効果による複数のフェイシャルの追跡方法はステップＳ１～ステップＳ５を含む。
ステップＳ１において、特殊効果選択命令によりフェイシャル特殊効果を選択する。

【0036】

フェイシャル特殊効果をフェイシャルに対応させる必要があるので、複数のフェイシャルを追跡しなければならないフェイシャル特殊効果を選択する必要がある。本実施例において、フェイシャル特殊効果を選択することは、既有フェイシャル特殊効果を選択して作成するか或いは所定の種類のフェイシャル特殊効果を選択して作成することができる。本発明のフェイシャル特殊効果による複数のフェイシャルの追跡方法を独自に実施するか或いはフェイシャル特殊効果の作成に追加して実施することができる。前記フェイシャル特殊効果は、２Ｄステッカー、３Ｄステッカー、化粧効果および変形効果等であることができるが、本発明はそれを限定せず、いずれかのフェイシャル特殊効果を本発明に用いることができる。本実施例の特殊効果選択命令をＨＭＩ（Human-Machine Interaction）方法、マウスで選択する方法またはキーボードで入力する方法等により受信することができる。

【0037】

ステップＳ２において、フェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択する。

【0038】

本実施例において、フェイシャル追跡類型を選択する必要がある。好適な実施例において、コンボボックスまたは選択ボタンによりフェイシャル追跡類型を選択することができる。前記類型は全部フェイシャル追跡方法とカスタマイズフェイシャル追跡方法を含むことができる。全部フェイシャル追跡方法を選択するとき、特殊効果をすべてのフェイシャルに積み重ねることを意味し、カスタマイズフェイシャル追跡方法を選択するとき、使用者は追跡しようとするフェイシャルと追跡方法を指定することができる。

【0039】

ステップＳ３において、前記フェイシャル追跡類型によりフェイシャル追跡序列を形成する。

【0040】

本発明の実施例において、全部フェイシャル追跡方法を選択するとき、その類型により１つのフェイシャル追跡序列を形成することができる。事前にすべてのフェイシャルの数量を把握することができないので、１つの標識で前記フェイシャル追跡序列を表示することができる。前記標識は前記フェイシャル追跡序列に含まれかつ後に検出されるすべてのフェイシャルを指す。

【0041】

他の実施例において、選択されるフェイシャル追跡類型がカスタマイズフェイシャル追跡方法である場合、前記類型により１つのフェイシャル追跡序列を形成することができる。前記フェイシャル追跡序列は使用者が指定するものである。好適な実施例において、追跡する必要があるフェイシャルの数量ｎと追跡する必要があるフェイシャルのＩＤを設定することによりフェイシャル追跡序列を形成することができる。前記フェイシャル追跡序列はｎ個のフェイシャルＩＤを含み、前記ｎ個のフェイシャルＩＤはフェイシャル追跡序列に順番または無順番に配列されることができる。フェイシャル追跡序列中のフェイシャルＩＤが順番に配列されるとき、前記フェイシャル追跡序列はフェイシャルＩＤの配列であり、フェイシャル追跡序列中のフェイシャルＩＤが無順番に配列されるとき、前記フェイシャル追跡序列はフェイシャルＩＤの集合である。追跡する必要があるフェイシャルの数量ｎを設定するとき、ｎ値を直接に設定するか或いは間接的に設定することができる。間接的な設定方法はフェイシャルＩＤを増加させるものである。例えばフェイシャルＩＤを１つ増加させる必要がある場合、フェイシャルＩＤを１つ増加させることができる。それによりｎ個のフェイシャルＩＤを設定し、追跡する必要があるフェイシャルの数量をｎ個にすることができる。

【0042】

他の実施例において、追跡をする必要があるフェイシャルの数量ｎのみを設定することができる。
前記数量はｎ＞０であり、ｎは自然数である。

【0043】

他の実施例において、各フェイシャルＩＤのフェイシャル特殊効果の表示時間を設定することができる。平常はフェイシャル特殊効果を常に表示するように設定される。すなわちフェイシャルが存在すると、フェイシャル上にフェイシャル特殊効果を積み重ねる。フェイシャル特殊効果の表示時間を設定する場合、フェイシャル特殊効果は設定時間ぐらい表示された後表示が消える。

【0044】

他の実施例において、各フェイシャルＩＤの追跡の開始時間と停止時間を設定することができる。好適な実施例において、前記開始時間と停止時間は前記フェイシャルＩＤに対応するフェイシャルを認識した後の時間の延伸である。例えばフェイシャル１の開始時間を５秒に設定し、停止時間１２０秒に設定することができる。

【0045】

他の実施例において、各フェイシャルＩＤの特殊効果触発条件を設定することができる。所定の表情、動作、ジェスチャー、音声等が特殊効果触発条件になるように設定することができる。例えばうなずくことが特殊効果触発条件になるように設定することができる。

【0046】

前記各実施例の設定過程を１つのステップに集めることができるが、本発明はそれを限定しない。

【0047】

ステップＳ４において、画像センサーが採集したフェイシャル画像を認識する。

【0048】

本実施例において、画像センサーでフェイシャル画像を採集し、常用している前記画像センサーはカメラであることができる。その後画像センサーが採集したフェイシャル画像を認識する。前記フェイシャル画像は人のフェイシャルを直接に認識することにより獲得するものであるか或いはカメラで撮影するフェイシャル画像または動画中のフェイシャルを認識することにより獲得するものであることができるが、本発明はそれを限定しない。フェイシャル画像を認識するとき、主として、画像においてフェイシャルを検出する。フェイシャル検出方法は、１つの画像または一組の画像序列を任意に指定し、所定の手段によりフェイシャルを捜索することにより全部フェイシャルの位置と区域を確定した後、いろいろな画像または画像序列にフェイシャルが存在するかを判断し、かつフェイシャルの数量と分布を確定する過程である。フェイシャル検出方法は下記４種類を含む。（１）前期検証知識による方法：その方法は、典型のフェイシャル形成ルールベース（rule base）によりフェイシャルの符号化をし、面部特徴の間の関係によりフェイシャルの位置を決める。（２）特徴不変方法：その方法は、姿勢、視覚または光線照射状態により安定な（変化しない）特徴を検出し、その特徴によりフェイシャルを確定する。（３）テンプレートマッチング方法：その方法は、記憶されているフェイシャルの標準テンプレートによりフェイシャルと面部特徴を説明し、かつ入力される画像と記憶されているモデルとの間の関係を算出することによりフェイシャルを検出する。（４）外観による方法：その方法は、テンプレートマッチング方法と異なっており、訓練画像ベースにおいて学習をすることによりモデルを獲得し、かつそのモデールを検出に用いる。以下、第（４）方法の１つに実施方法によりフェイシャルを検出する過程を説明する。まず、特徴を検出することによりモデルを作成する。本実施例においてフェイシャルを判断するキーポイントとしてHaar特徴を用いる。Haar特徴は、簡単な矩形の特徴であり、その特徴を迅速に検出することができる。Haar特徴の計算に用いられる特徴テンプレートとして簡単な矩形の組合せ、例えば２個または複数個の同様の矩形の組合せを採用し、特徴テンプレート内には黒色と白色矩形を含む２種の矩形がある。その後、AdaBoost計算方法により大量のHaar特徴においてキーポイントになることができる一部分の特徴を検出し、その特徴により分類装置を構成し、構成される分類装置により画像中のフェイシャルを検出する。本実施例において画像中のフェイシャルは１個または複数個であることができる。

【0049】

前記複数のフェイシャル検出計算方法は、いろいろな利点を有しており、適用の範囲も異なっている。異なっている複数の検出計算方法を採用する場合、異なる環境により異なる検出計算方法を採用することができる。例えば、背景の環境が簡単である画像において、検出正確率が高くないが、計算速度が速い計算方法を採用し、背景の環境が複雑である画像において、検出正確率が高いが、計算速度が遅い計算方法を採用することができる。同一の画像において、多種の計算方法により複数回の検出をすることにより検出の正確率を向上させることができる。

【0050】

本実施例において、認識されるフェイシャル画像について、認識の順序により認識されるフェイシャル画像にフェイシャルＩＤを順に設定するか或いは、需要により認識されるフェイシャルのフェイシャルＩＤを指定することができる。

【0051】

本発明の実施例において、画像センサーにより認識されるフェイシャル画像は変化している。例えば、フェイシャルが１つずつカメラ前に現れるとき、順序によりフェイシャルにコードをつけることができるが、フェイシャルはカメラ前に消えることもできる。例えば使用者が手で顔をふさぐか或いは使用者がカメラ前で去る場合がある。行ってしまうフェイシャルのフェイシャルＩＤがｎである場合、番号がｎ＋１であるフェイシャルＩＤから始めて、各フェイシャルＩＤの番号から１を減り、最後のフェイシャルをまでそのステップを実施する。すなわち番号ｎ以後のフェイシャルＩＤの番号を１位ずつ繰り上げ、フェイシャルＩＤに番号を再びつける。

【0052】

ステップＳ５において、フェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねる。

【0053】

前記ステップＳ３において形成されるフェイシャル追跡序列により、ステップＳ３において選択される特殊効果をステップＳ４において認識されるフェイシャル画像上に積み重ねる。

【0054】

前記ステップＳ３において形成されるフェイシャル追跡序列がすべてのフェイシャルの序列を含むとき、フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねる。その場合、前後に認識されるフェイシャル画像がそれぞれ形成される場合がある。フェイシャル画像がいつ認識されるかに係らず、フェイシャル特殊効果を各フェイシャル画像上に積み重ねる。例えば、開始時、カメラ前に１つのフェイシャルのみがあるとき、そのフェイシャルを認識した後、フェイシャル特殊効果をそのフェイシャル上に積み重ねる。その後、カメラ前に２つのフェイシャルが現れるとき、その２つのフェイシャルを認識した後、フェイシャル特殊効果をその２つのフェイシャル上に積み重ねる。数量が多い場合前記ステップを繰り返し、本発明はその数量を限定しない。

【0055】

ステップＳ３において形成するフェイシャル追跡序列がカスタマイズ序列であるとき、ステップＳ３の説明によりカスタマイズ序列を２種に分けることができる。カスタマイズ序列が無順番序列であるとき、どのフェイシャル上にフェイシャル特殊効果を積み重ねることが既に決められた。本発明は積み重ねの順番を限定しない。例えば、フェイシャルを追跡する序列がフェイシャル１、フェイシャル４、フェイシャル３、フェイシャル５である場合、フェイシャル１、４、３および５の順番にフェイシャル特殊効果を積み重ね、先にフェイシャル４にフェイシャル特殊効果を積み重ねた後フェイシャル３にフェイシャル特殊効果を積み重ねない。カスタマイズ序列が順番序列であるとき、どのフェイシャル上にフェイシャル特殊効果を積み重ねる必要があるかを定義し、かつ特殊効果を積み重ねる順番を定義する。例えば、フェイシャルを追跡する序列がフェイシャル１、フェイシャル５、フェイシャル４、フェイシャル３である場合、まず、フェイシャル１が検出されるときそのフェイシャル１上にフェイシャル特殊効果を積み重ね、次にフェイシャル５が検出されるときそのフェイシャル５上にフェイシャル特殊効果を積み重ね、最後にフェイシャル４と３上にフェイシャル特殊効果を積み重ねる。１つの標識でフェイシャル追跡序列が順番序列であるか或いは無順番序列であるかを表示することができる。例えば１で順番序列を示し、０で無順番序列を示すことができる。他の一組の番号により前記フェイシャル追跡序列が順番序列であるか或いは無順番序列であるかを定義することもできる。フェイシャル追跡序列が無順番序列であるとき、すべてのフェイシャルＩＤの番号を同一にすることができる。例えば、１でフェイシャル１を表示し、１でフェイシャル４を表示し、１でフェイシャル３を表示し、１でフェイシャル５を表示することができる。フェイシャル追跡序列が順番序列であるとき、順番番号をフェイシャルＩＤにつけることができる。例えば、１でフェイシャル１を表示し、２でフェイシャル５を表示し、３でフェイシャル４を表示し、４でフェイシャル３を表示することができる。本実施例において、ステップＳ４においてフェイシャル画像を認識するとき、順番に従ってフェイシャル画像に番号をつける。例えば初めて認識されるフェイシャル画像の番号をフェイシャル１にすることができる。フェイシャル追跡序列が無順番序列であるとき、フェイシャル追跡序列にフェイシャル１があるかを直接に判断することができる。ある場合、フェイシャル特殊効果をフェイシャル１に対応するフェイシャル画像に積み重ねる。フェイシャル追跡序列が順番序列であるとき、現在のフェイシャル追跡序列の頭部にフェイシャル１があるかを検索する。ある場合、フェイシャル特殊効果をフェイシャル１に対応するフェイシャル画像に積み重ねる。ない場合待つ。毎回の検索の結果が、現在のフェイシャルＩＤがフェイシャル追跡序列の頭部に位置することである場合、その頭部を次のフェイシャルＩＤに移動させる。かつすべてのフェイシャルＩＤにフェイシャル特殊効果が積み重ねられる時まで、そのステップを繰り返す。ステップＳ３においてフェイシャルＩＤのフェイシャル特殊効果が表示される時間を設定するとき、前記フェイシャルＩＤのフェイシャル画像が認識された後、設定される前記時間が過ぎると、フェイシャル特殊効果が消える。フェイシャルＩＤにおいてフェイシャル特殊効果、例えば２Ｄ画像特殊効果を触発させる触発動作を更に設定することができる。フェイシャル１の触発動作はうなずくものであり、フェイシャル１を認識するとき、フェイシャル１に対応するフェイシャル画像上に前記２Ｄ画像特殊効果を表示しないが、前記フェイシャル画像にうなずく動作が現れると、２Ｄ画像特殊効果をフェイシャル１に対応するフェイシャル画像上に積み重ねる。フェイシャル追跡の開始時間と停止時間を設定するとき、例えばフェイシャル１の開始時間を５秒に設定し、停止時間を１２０秒に設定することができる。スッテプＳ４においてフェイシャル１に対応するフェイシャル画像を認識した後、５秒が過ぎると、フェイシャル特殊効果をフェイシャル１に対応するフェイシャル画像に積み重ね、１２０秒が過ぎると、フェイシャル特殊効果の表示を停止させる。

【0056】

本実施例において、追跡する必要があるフェイシャルの数量ｎのみを設定することは追跡するフェイシャルの数量の上限を設定することに相当する。認識されるフェイシャルの数量がｎを超えていないことはフェイシャル特殊効果が認識されるフェイシャル画像上に積み重ねられることに相当する。認識されるフェイシャルの数量がｎを超えているとき、認識されるｎ＋１個のフェイシャルからフェイシャル特殊効果を積み重ねない。

【0057】

本発明の実施例において、前記フェイシャル特殊効果は多種を含み、フェイシャル特殊効果を選択した後、各フェイシャル特殊効果によりフェイシャル追跡序列を形成する。それにより同一の画像センサーにより認識される複数のフェイシャル特殊効果上にいろいろなフェイシャル特殊効果を表示することができる。

【0058】

本実施例において、フェイシャル特殊効果を選択した後、フェイシャル特殊効果によりフェイシャル追跡方法を選択し、かつフェイシャル追跡序列を形成する。画像センサーにより認識されるフェイシャルについて、前記フェイシャル追跡序列により選択されるフェイシャル特殊効果を１つずつ積み重ねる。従来の技術において、特殊効果は初めて認識されるフェイシャル画像上にのみ積み重ねられ、特殊効果を積み重ねようとするフェイシャルを指定することができず、かつ複数のフェイシャル上に異なる特殊効果を積み重ねることができない。本発明の実施例において、特殊効果により追跡する必要があるフェイシャルを指定し、フェイシャル特殊効果を積み重ねるフェイシャルの数量、積み重ねの順序およびフェイシャル特殊効果を表示する時間を任意に設定し、複数のフェイシャル上に異なる特殊効果を積み重ね、使用者の体験を向上させることができる。

【0059】

上において、前記順序により前記フェイシャル特殊効果による複数のフェイシャルの追跡方法の各ステップを説明してきたが、周知のように、前記各ステップの実施順序は前記順序にのみ限定されるものでない。本技術分野の技術者は、前記方法の各ステップを他の順序、並行、交差方式に実施することもできる。前記フェイシャル特殊効果による複数のフェイシャルの追跡方法は前記ステップのみを含むものでない。本技術分野の技術者は他のステップを追加するか或いは所定のステップを変更させるか或いは取り替えることができ、それらがあっても本発明に含まれることは勿論である。

【0060】

以下、本発明の実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡装置を説明する。その装置により前記フェイシャル特殊効果による複数のフェイシャルの追跡方法中の各ステップを実施することができる。説明を簡単にするため、以下、本発明の実施例に係る部分のみを説明し、説明しない具体的な事項は前記フェイシャル特殊効果による複数のフェイシャルの追跡方法の実施例を参照することができる。

【0061】

本発明の実施例においてフェイシャル特殊効果による複数のフェイシャルの追跡装置を提供する。前記装置により前記フェイシャル特殊効果による複数のフェイシャルの追跡方法中のいずれかのステップを実施することができる。図２に示すとおり、前記装置は、フェイシャル特殊効果選択モジュール２１、フェイシャル追跡類型選択モジュール２２、フェイシャル追跡序列形成モジュール２３、フェイシャル認識モジュール２４、特殊効果重畳モジュール２５を含む。フェイシャル特殊効果選択モジュール２１は特殊効果選択命令により特殊効果を選択する。フェイシャル追跡類型選択モジュール２２はフェイシャル追跡類型を選択する命令により前記フェイシャル特殊効果のフェイシャル追跡類型を選択する。フェイシャル追跡序列形成モジュール２３は前記フェイシャル追跡類型によりフェイシャル追跡序列を形成する。フェイシャル認識モジュール２４は画像センサーが採集したフェイシャル画像を認識する。特殊効果重畳モジュール２５はフェイシャル追跡序列により前記フェイシャル特殊効果を少なくとも１つの前記フェイシャル画像上に積み重ねる。

【0062】

前記フェイシャル追跡序列形成モジュール２３は、前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものであるを判断し、前記フェイシャル追跡類型がすべてのフェイシャルを追跡するものであることによりフェイシャル追跡序列を形成する。前記フェイシャル追跡序列は認識されるすべてのフェイシャルを含む。

【0063】

前記特殊効果重畳モジュール２５は前記フェイシャル追跡序列により前記フェイシャル特殊効果を認識されるすべてのフェイシャル画像上に積み重ねる。

【0064】

前記フェイシャル追跡序列形成モジュール２３は、前記フェイシャル追跡類型がカスタマイズ類型であるかを判断し、前記フェイシャル追跡類型がカスタマイズ類型であるとき、カスタマイズ追跡順番によりフェイシャル追跡序列を形成する。

【0065】

前記フェイシャル追跡序列形成モジュール２３は、フェイシャル数量設定モジュール２３１、第一フェイシャルＩＤ設定モジュール２３２およびフェイシャル追跡序列形成サブモジュール２３３を更に含む。フェイシャル数量設定モジュール２３１は追跡する必要があるフェイシャルの数量を設定する。第一フェイシャルＩＤ設定モジュール２３２は追跡する必要があるフェイシャルＩＤを設定する。フェイシャル追跡序列形成サブモジュール２３３は前記フェイシャルの数量とフェイシャルＩＤにより前記フェイシャル追跡序列を形成する。前記フェイシャル追跡序列はフェイシャルの数量とフェイシャルＩＤを含む。

【0066】

前記フェイシャル追跡序列形成モジュール２３は追跡時間設定モジュール２３４を更に含み、その追跡時間設定モジュール２３４はフェイシャルＩＤによりフェイシャルを追跡する開始時間と停止時間を設定する。前記フェイシャル追跡序列には前記開始時間と停止時間が含まれている。

【0067】

前記フェイシャル認識モジュール２４はフェイシャル認識サブモジュール２４１と第二フェイシャルＩＤ設定モジュール２４２を含む。フェイシャル認識サブモジュール２４１はフェイシャル認識計算方法により画像センサーが採取するフェイシャル画像を認識する。第二フェイシャルＩＤ設定モジュール２４２は認識順番によりフェイシャル画像にフェイシャルＩＤを設定する。

【0068】

特殊効果重畳モジュール２５は、前記フェイシャル追跡序列において前記フェイシャルＩＤを読み取り、前記フェイシャル特殊効果を前記フェイシャルＩＤに対応するフェイシャル画像上に積み重ねる。

【0069】

前記フェイシャル特殊効果は、２Ｄステッカー、３Ｄステッカー、化粧効果および変形効果等のうちいずれか一種または多種を含む。

【0070】

前記特殊効果は多種の特殊効果を含み、各特殊効果によりフェイシャル追跡序列を形成する。

【0071】

前記フェイシャル特殊効果による複数のフェイシャルの追跡装置は、図１の実施例に係る前記フェイシャル特殊効果による複数のフェイシャルの追跡方法に対応し、具体的な事項は前記フェイシャル特殊効果による複数のフェイシャルの追跡方法の説明を参照することができるので、ここで再び説明しない。

【0072】

本実施例のフェイシャル特殊効果による複数のフェイシャルの追跡方法の作動原理、発明の効果等は、前記各実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法の所定の説明を参照することができるので、ここで再び説明しない。

【0073】

図３は本発明の実施例に係る電子装置を示すブロックダイアグラムである。図３に示すとおり、本発明の実施例に係る電子装置３０は記憶装置３１と処理装置３２を含む。

【0074】

前記記憶装置３１は非過渡性コンピュータ読み取り可能な指令を記憶させる。具体的に、記憶装置３１は１個または複数個のコンピュータープログラムを含み、前記コンピュータープログラムはいろいろな形態のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリーと／或いは不揮発性メモリーに記憶されることができる。前記揮発性メモリーは例えば、ランダムアクセスメモリー（ＲＡＭ）と／或いはキャッシュメモリー（cache）等を含むことができる。前記不揮発性メモリーは例えば、リードオンリーメモリー（ＲＯＭ）、ハードディスク、フラッシュメモリー等を含むことができる。

【0075】

前記処理装置３２は、中央処理ユニット（ＣＰＵ）であるか或いはデータ処理機能と／或いは指令実行機能を有している他の形態の処理ユニットであり、電子装置３０中の他のモジュールが所望の機能を実行することを制御することができる。本発明の実施例において、前記処理装置３２は、前記記憶装置３１に記憶されている前記コンピュータ読み取り可能な指令を実行することにより、前記電子装置３０が本発明の実施例のフェイシャル特殊効果による複数のフェイシャルの追跡方法のすべてまたは一部分のステップを実施するようにすることができる。

【0076】

本技術分野の技術者が知っているとおり、使用者の使用体験を向上させる技術的問題を解決するため、本実施例の電子装置は、通信バス、インターフェース等の周知の構造を更に含むことができ、前記周知の構造が本発明の特許請求の範囲に含まれることは勿論である。

【0077】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0078】

図４は本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す図である。図４に示すとおり、本発明の実施例に係るコンピュータ読み取り可能な記憶媒体４０は非過渡性コンピュータ読み取り可能な指令４１を記憶させる。処理装置で前記非過渡性コンピュータ読み取り可能な指令４１を実行することにより、本発明の実施例に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法のすべてまたは一部分のステップを実施することができる。

【0079】

前記コンピュータ読み取り可能な記憶媒体４０は、光記憶媒体（例えばＣＤ－ＲＯＭとＤＶＤ）、光磁気記録媒体（例えばＭＯ）、磁気記録媒体（例えばテープまたはポータブルハードドライブ）、内部に設けられる書き換え可能な不揮発性メモリーを具備する媒体（例えばメモリーカード）、内部にＲＯＭが設けられる媒体（例えばＲＯＭ装置）を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0080】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0081】

図５は本発明の実施例に係る端末装置のハードウェアを示す構造図である。図５に示すとおり、前記フェイシャル特殊効果により複数のフェイシャルを追跡する端末装置５０は前記実施例のフェイシャル特殊効果により複数のフェイシャルを追跡する装置を含む。

【0082】

前記端末装置はいろいろな形態により実施されることができる。本発明の端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信装置、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、ナビゲーション、車用端末装置、車用表示端末、車用電子ミラー等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0083】

他の実施例において、前記端末装置は他のモジュールを更に含むことができる。図５に示すとおり、前記画像特殊効果の処理に用いられる端末装置５０は、電源ユニット５１、無線通信ユニット５２、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット５３、使用者入力ユニット５４、検出ユニット５５、接続ユニット５６、制御装置５７、出力ユニット５８および記憶ユニット５９等を含むことができる。注意されたいことは、図５には各モジュールを具備する端末が示されているが、本発明は、示されているすべてのモジュールを含まなくてもよく、一部分のモジュールを取り替えるか或いはより少ないモジュールを含むことができる。

【0084】

無線通信ユニット５２は端末装置５０と無線通信システムまたはインターネットとの間の無線通信を実施する。Ａ／Ｖ入力ユニット５３はオーディオまたはビデオ信号を受信する。使用者入力ユニット５４は使用者が入力する命令によりキーボード入力データを形成しかつそれにより端末装置の各操作を制御する。検出ユニット５５は端末装置５０の現在の状態、端末装置５０の位置、使用者が端末装置５０をタッチすることの有無、端末装置５０の傾向、端末装置５０の加速移動または減速移動と方向等を検出し、端末装置５０を制御して操作する指令または信号を形成する。接続ユニット５６は少なくとも１個の外部装置と端末装置５０を接続させるインターフェースになることができる。出力ユニット５８は視覚、オーディオと／或いは触覚形態の出力信号を出力するように構成される。記憶ユニット５９は制御装置５７により実行されかつ処理と制御操作に関するソフトウェアプログラムを記憶させるか或いは既に出力されるか或いは間もなく出力されるデータを暫時記憶させることができる。記憶ユニット５９は少なくとも１つの類型の記憶媒体を含むことができる。端末装置５０はネットワークにより記憶ユニット５９に接続されかつ記憶ユニット５９の記憶機能を採用するネットワーク記憶装置と協力することができる。制御装置５７は通常、端末装置の全体の操作を制御する。制御装置５７は、マルチメディアデータの再生またはプレーバックを制御するマルチメディアモジュールを含むことができる。制御装置５７はモデル認識処理をすることにより、タッチパネルに入力したハンドライティングインプットまたはドローイングインプットを認識してキャラクターまたは画像を形成することができる。電源ユニット５１は制御装置５７の制御により外部電力または内部電力を受信しかつそれを各部品とモジュールに提供する電力を供給する。

【0085】

本発明に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法の各実施例は例えば、コンピュータのソフトウェア、ハードウェア、任意に組み立てられるコンピュータ読み取り可能な記憶媒体がにより実施されることができる。本発明において提供する画像特殊効果の処理方法の各実施例は、アプリケーション固有集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理装置、制御装置、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実施できる電子ユニットのうち少なくとも一種により実施されることができる。他の実施例において、本発明に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法の各実施例は制御装置５７により実施されることができる。ソフトウェアにより実施する場合、本発明に係るフェイシャル特殊効果による複数のフェイシャルの追跡方法の各実施例は少なくとも一種の機能または操作をする１つのソフトウェアモジュールにより実施されることができる。ソフトウェアコードは適合なプログラミングランゲージにより編集されるソフトウェアアプリケーション（プログラム）により実施されることができ、フトウェアコードは記憶ユニット５９に記憶されかつ制御装置５７により実施されることができる。

【0086】

本実施例に対する詳細な説明は前記各実施例中の所定の説明を参照することができるので、ここで再び説明しない。

【0087】

以上、具体的な実施例により本発明の基本的な原理を説明してきたが、注意されたいことは、上で公開した本発明の利点、優勢、効果等は、本発明の例示にしか過ぎないものであり、かつ本発明を限定するものでないため、本発明の各実施例は前記利点、優勢、効果等を必ず具備する必要はない。また、上で公開した前記具体的な細部は、本発明の例示にしか過ぎないものであり、かつ本発明を理解させるためのものであるが、本発明を限定するものでない。前記細部が公開されているが、本発明は前記細部のみにより実施されるものでない。

【0088】

本発明の部品、装置、設備、システムを示すブロックダイアグラムは本発明の例示にしか過ぎないものであり、本発明の部品、装置、設備、システムをブロックダイアグラムの順にのみ連結、位置、配置させる意図は全然ない。本技術分野の技術者は常識により本発明の前記部品、装置、設備、システムを自由に連結、位置、配置させることができる。本発明中の「含む」、「包含する」、「具備する」という用語は開放的な用語であるので、「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その用語を交換して用いることができる。本発明において用いる「或いは」および「と」という用語は「と／或いは」ということを意味し、その用語を交換して用いることができる。特別な説明がない限り、「或いは」および「と」という用語は「と／或いは」ということを意味する。本発明において用いる「例えば」という用語は「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その事項を交換して用いることができる。

【0089】

本発明において用いる「少なくとも１つ」という用語は、含まれる事項が選択可能な状態（例えば或いは、または等）に列挙されていることを意味する。例えば、「Ａ、ＢまたはＣのうち少なくとも１つ」という用語は、ＡまたはＢまたはＣを意味するか或いは、ＡＢまたはＡＢまたはＢＣを意味するか或いは、ＡＢＣ（すなわちＡとＢとＣ）を意味することができる。また、「例示的」という用語は、それが好適な実施例または他の実施例よりよいことを意味するものでない。

【0090】

注意されたいことは、本発明のシステムと方法において、各部品または各ステップを分解と／或いは再び組み合わせることができる。前記分解と／或いは再び組み合わせるシステムと方法により本発明と同様な効果を獲得することができる。

【0091】

本発明の特許請求の範囲が定めた技術的範囲を逸脱しない範囲において、本発明の技術的事項を変更、交換、改良することができる。本発明の特許請求の範囲が定めた技術的範囲は、前記処理、装置、製造、事項の組合せ、手段、方法および動作に係る具体的な実施例にのみ限定されるものでない。本発明の所定の事項により同様の機能を実現するか或いは同様の結果による現在の存在を獲得するか或いは後で処理する処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。すなわち、本発明の特許請求の範囲が定めた技術的範囲内において、前記処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。

【0092】

本発明が公開する前記事項により本技術分野の技術者は本発明を実施するか或いは本発明を用いることができる。本発明が定めた技術的範囲を逸脱しない限り、本技術分野の技術者は本発明が公開する事項により本発明を容易に変更し、本発明が定めた一般的な原理を他の実施例に採用することができる。本発明は、具体的な実施例にのみ限定されるものでなく、本発明の原理と新規の特徴が含まれるあらゆる実施例を含むことができる。

【0093】

以上、本発明を説明するため前記実施例により本発明を説明してきたが、前記実施例は本発明の例示にしか過ぎないものであるため、本発明は前記実施例の構成にのみ限定されるものでない。以上、本発明の複数の例示と実施例を説明してきたが、本技術分野の技術者は本発明の要旨を逸脱しない範囲において、変更、修正、改良、添加および組合せをすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】