特許 7212067 画像合成方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-16

(45)【発行日】2023-01-24

(54)【発明の名称】画像合成方法及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230117BHJP

   G06F 3/01 20060101ALI20230117BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 570

【請求項の数】 10

(21)【出願番号】P 2020562619

(86)(22)【出願日】2018-12-25

(65)【公表番号】

(43)【公表日】2021-08-26

(86)【国際出願番号】 CN2018123647

(87)【国際公開番号】W WO2020037923

(87)【国際公開日】2020-02-27

【審査請求日】2020-11-06

(31)【優先権主張番号】201810974975.2

(32)【優先日】2018-08-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518031631

【氏名又は名称】北京微播視界科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ

【住所又は居所原語表記】Ｒｏｏｍ ４０８， ４Ｆ Ｎｏ．５１， Ｚｈｉｃｈｕｎ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】楊輝

(72)【発明者】

【氏名】王沈▲たお▼

(72)【発明者】

【氏名】胡博遠

【審査官】山口 大志

(56)【参考文献】

【文献】国際公開第２０１４／１６２７６２（ＷＯ，Ａ１）

【文献】特開２０１６－１７７６５８（ＪＰ，Ａ）

【文献】特開２０１７－１４２７８５（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１７－００９６４２０（ＫＲ，Ａ）

【文献】特開２０００－３５３２４８（ＪＰ，Ａ）

【文献】特開２０１０－２５７３５９（ＪＰ，Ａ）

【文献】米国特許第０９１６５３１８（ＵＳ，Ｂ１）

【文献】特開２００２－１５７６０６（ＪＰ，Ａ）

【文献】特開２０１４－０６８６８９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００６８５２６（ＵＳ，Ａ１）

【文献】米国特許第０９７１６８４２（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１７／０３７２５１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

バーチャル対象の名称またはＩＤを獲得するステップと、
画像センサーが採集するビデオを獲得するステップと、
前記ビデオ中の手を認識することにより手の情報を獲得するステップと、
リゾートコンフィギュレーションファイルを読み取るステップと、
前記バーチャル対象の名称またはＩＤと前記手の情報により前記リゾートコンフィギュレーションファイルにおいて前記バーチャル対象と画像リゾート情報を獲得するステップであって、前記画像リゾート情報は前記バーチャル対象及び手を獲得するリゾート位置と前記バーチャル対象及び手を確定するリゾート順番を含むステップと、
前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップとを含み、
使用者の手を認識するとき、カラー特徴により手の位置を決め、手を背景から分離し、分離される手画像の特徴を選択して獲得した後それを認識すること
を特徴とする画像合成方法。

【請求項2】

前記ビデオ中の手を認識することにより手の情報を獲得するステップは、前記ビデオ中の手を認識することにより手の位置と手のキーポイントを獲得するステップを含むことを特徴とする請求項１に記載の画像合成方法。

【請求項3】

前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップは、バーチャル対象および手のリゾート位置とリゾート順番を獲得するステップを含み、
前記リゾート位置はバーチャル対象のリゾート位置と前記手のリゾート位置とを含み、前記リゾート順番はバーチャル対象と手の表示関係を決めることを特徴とする請求項２に記載の画像合成方法。

【請求項4】

前記リゾート位置は手の位置と／或いは手骨格のキーポイントにより確定され、前記リゾート順番はバーチャル対象のタイプにより確定されることを特徴とする請求項３に記載の画像合成方法。

【請求項5】

前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップは、前記リゾート位置とリゾート順番により使用者の手とバーチャル対象をレンダリングし、合成画像を形成するステップを含むことを特徴とする請求項４に記載の画像合成方法。

【請求項6】

前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップは、リゾートコンフィギュレーションファイルを読み取るステップと、前記リゾート情報と手の情報により前記リゾートコンフィギュレーションファイルにおいて画像リゾート情報を獲得するステップとを含むことを特徴とする請求項１に記載の画像合成方法。

【請求項7】

前記ビデオ中の手を認識することにより手の情報を獲得するステップは、前記ビデオ中の手を認識することにより手の角度を獲得するステップを更に含むことを特徴とする請求項２に記載の画像合成方法。

【請求項8】

バーチャル対象の名称またはＩＤを獲得するバーチャル対象獲得モジュールと、
画像センサーが採集するビデオを獲得するビデオ獲得モジュールと、
前記ビデオ中の手を認識することにより手の情報を獲得する手認識モジュールと、
リゾートコンフィギュレーションファイルを読み取る読み取りモジュールと、
前記バーチャル対象の名称またはＩＤと前記手の情報により前記リゾートコンフィギュレーションファイルにおいて前記バーチャル対象と画像リゾート情報を獲得するリゾート情報獲得モジュールであって、前記画像リゾート情報は前記バーチャル対象及び手を獲得するリゾート位置と前記バーチャル対象及び手を確定するリゾート順番を含むリゾート情報獲得モジュールと、
前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成する画像合成モジュールとを含み、
使用者の手を認識するとき、カラー特徴により手の位置を決め、手を背景から分離し、分離される手画像の特徴を選択して獲得した後それを認識することを特徴とする画像合成装置。

【請求項9】

非過渡性コンピュータ読み取り可能な指令を記憶させる記憶装置と、
前記コンピュータ読み取り可能な指令を実行することにより請求項１～７のうちいずれか一項に記載の画像合成方法を実施することを特徴とする電子装置。

【請求項10】

非過渡性コンピュータ読み取り可能な指令を記憶させるコンピュータ読み取り可能な記憶媒体であって、前記非過渡性コンピュータ読み取り可能な指令がコンピュータにより実行されることにより請求項１～７のうちいずれか一項に記載の画像合成方法を実施することを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の引用）
本願は、２０１８年８月２４日に出願され、発明の名称が「画像合成方法と装置」であり、かつ出願番号が２０１８１０９７４９７５．２である中国特許出願を引用し、その中国特許出願の内容を本出願に組み込む。

【0002】

本発明は、画像処理分野に属し、特に、画像合成方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体（computer-readable storage medium）に関するものである。

【背景技術】

【0003】

コンピューター技術の発展に伴い、インテリジェント端末（intelligent terminal）の応用範囲がますます広くなっている。例えば、インテリジェント端末により、音楽を聞き、ゲームをし、オンラインチャットをし、写真を撮ることができる。インテリジェント端末のカメラ技術の発展に伴い、そのピクセルは千万以上になり、高いアーティキュレーションを獲得し、プロフェッショナルカメラに匹敵する撮影の品質を獲得することができる。

【0004】

従来のインテリジェント端末のカメラで写真を撮るとき、出荷時インテリジェント端末にインストールされる撮影ソフトにより一般の写真効果を獲得するか或いはインターネットからダウンロードしたアプリケーション（Application、ＡＰＰと略称）により付加の写真効果を獲得することができる。例えば、暗い環境検出手段、ビューティーカメラ、スーパー画素等の機能を有しているＡＰＰにより所定の効果を獲得することができる。インテリジェント端末の美顔機能は通常、皮膚カラーの調節、バッフィング、大目および小顔等の美顔方法を採用することにより、画像において認識してえた顔部に対してある程度の美顔処理をする。従来のＡＰＰは簡単な合成手段によりマスクと顔部を一体に合成する。

【0005】

しかしながら、従来の画像合成技術は、合成後のマテリアルが固定の位置に位置し、マテリアルが目標物と共に移動できず、かつマテリアルを目標物に対応させる利便性がよくないという欠点を有している。従来の画像合成技術によりマテリアルをパネルの所定の位置にしか対応させることができない。

【発明の概要】

【0006】

本発明の実施例において画像合成方法を提供する。その方法は、バーチャル対象を獲得するステップと、画像センサーが採集するビデオを獲得するステップと、前記ビデオ中の手を認識することにより手の情報を獲得するステップと、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップと、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップとを含む。

【0007】

本発明において、前記ビデオ中の手を認識することにより手の情報を獲得するステップは、前記ビデオ中の手を認識することにより手の位置と手のキーポイントを獲得するステップを含む。

【0008】

本発明において、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップは、バーチャル対象および手のリゾート位置とリゾート順番を獲得するステップを含む。

【0009】

本発明において、前記リゾート位置は手の位置と／或いは手骨格のキーポイントにより確定される。前記リゾート順番はバーチャル対象のタイプにより確定される。

【0010】

本発明において、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップは、前記リゾート位置とリゾート順番により使用者の手とバーチャル対象をレンダリングし、合成画像を形成するステップを含む。

【0011】

本発明において、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップは、リゾートコンフィギュレーションファイルを読み取るステップと、前記リゾート情報と手の情報により前記リゾートコンフィギュレーションファイルにおいて画像リゾート情報を獲得するステップとを含む。

【0012】

前記リゾート情報は、バーチャル対象がついて行く手のキーポイントの番号、バーチャル対象の収縮比例、リゾートモデル、リゾート順番のうち１個または複数個を含む。

【0013】

本発明において、前記リゾートコンフィギュレーションファイルを読み取る前、リゾートコンフィギュレーションファイルを設定し、前記リゾートファイルを設定するステップを更に含む。

【0014】

本発明において、前記ビデオ中の手を認識することにより手の情報を獲得するステップは、前記ビデオ中の手を認識することにより手の角度を獲得するステップを更に含む。

【0015】

本発明において、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップは、前記バーチャル対象および手のリゾート位置、リゾート角度およびリゾート順番を獲得するステップを含む。

【0016】

本発明の実施例において画像合成装置を更に提供する。その装置は、バーチャル対象を獲得するバーチャル対象獲得モジュールと、画像センサーが採集するビデオを獲得するビデオ獲得モジュールと、前記ビデオ中の手を認識することにより手の情報を獲得する手認識モジュールと、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するリゾート情報獲得モジュールと、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成する画像合成モジュールとを含む。

【0017】

本発明において、前記手認識モジュールは、前記ビデオ中の手を認識する第一認識モジュールと、手の位置と手のキーポイントを獲得する第一情報獲得モジュールとを含む。

【0018】

本発明において、前記リゾート情報獲得モジュールはバーチャル対象および手のリゾート位置とリゾート順番を獲得する。

【0019】

本発明において、前記リゾート位置は手の位置と／或いは手骨格のキーポイントにより確定される。前記リゾート順番はバーチャル対象のタイプにより確定される。

【0020】

本発明において、前記画像合成モジュールは前記リゾート位置とリゾート順番により使用者の手とバーチャル対象をレンダリングし、合成画像を形成する。

【0021】

本発明において、前記リゾート情報獲得モジュールは、リゾートコンフィギュレーションファイルを読み取る読み取りモジュールと、前記リゾート情報と手の情報により前記リゾートコンフィギュレーションファイルにおいて画像リゾート情報を獲得する第一リゾート情報獲得モジュールとを更に含む。

【0022】

本発明において、前記リゾート情報は、バーチャル対象がついて行く手のキーポイントの番号、バーチャル対象の収縮比例、リゾートモデル、リゾート順番のうち１個または複数個を含む。

【0023】

本発明において、前記リゾート情報獲得モジュールは、リゾートコンフィギュレーションファイルを設定し、前記リゾート情報に対して設定をする設定モジュールを含むことができる。

【0024】

本発明において、前記手認識モジュールは、前記ビデオ中の手を認識する第二認識モジュールと、手の角度を獲得する第二情報獲得モジュールとを更に含む。

【0025】

本発明において、前記リゾート情報獲得モジュールは、バーチャル対象および手のリゾート位置、リゾート角度およびリゾート順番を獲得する。

【0026】

本発明の実施例において電子装置を更に提供する。前記電子装置は少なくとも１個の処理装置と前記少なくとも１個の処理装置と通信可能に連結される記憶装置を含む。前記記憶装置には前記少なくとも１個の処理装置により実行される指令が記憶され、前記指令が前記少なくとも１個の処理装置により実行されることにより、前記少なくとも１個の処理装置は前記画像合成方法を実行することができる。

【0027】

本発明の実施例において非過渡性コンピュータ読み取り可能な記憶媒体を更に提供する。前記非過渡性コンピュータ読み取り可能な記憶媒体にはコンピュータ指令が記憶され、前記コンピュータ指令によりコンピュータは前記画像合成方法を実行することができる。

【0028】

本発明の実施例において画像合成方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記画像合成方法は、バーチャル対象を獲得するステップと、画像センサーが採集するビデオを獲得するステップと、前記ビデオ中の手を認識することにより手の情報を獲得するステップと、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップと、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップとを含む。本発明の実施例において前記技術的事項を採用することにより、従来技術においてバーチャル対象が手の移動と連動できない問題とバーチャル対象を手に対応させる方法の利便性がよくない問題とを解決することができる。

【0029】

以上、本発明の技術事項の概要を説明してきた。本発明の技術的手段をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の前記目的、特徴および発明の効果をより容易に理解してもらうため、以下、好適な実施例と図面により本発明を詳細に説明する。

【図面の簡単な説明】

【0030】

本発明の実施例または従来技術の技術事項をより詳細に説明するため、以下、本発明の実施例または従来技術において用いる図面を簡単に説明する。注意されたいことは、下記図面は本発明の例示にしか過ぎないものであり、この技術分野の技術者は下記図面により創造的な研究をしなくもて他の図面を想到することができ、それらがあっても本発明に含まれることは勿論である。

【図1】本発明において提供する画像合成方法の第一実施例を示す流れ図である。

【図2a】本発明において提供する画像合成方法の第二実施例中のステップＳ１０４を示す流れ図である。

【図2b】本発明において提供する画像合成方法の具体的な実施例を示す流れ図である。

【図2c】本発明において提供する画像合成方法の具体的な実施例を示す流れ図である。

【図2d】本発明において提供する画像合成方法の具体的な実施例を示す流れ図である。

【図3】本発明において提供する画像合成装置の第一実施例の構造を示す図である。

【図4】本発明において提供する画像合成装置の第二実施例のレンダリング情報獲得モジュールの構造を示す図である。

【図5】本発明において提供する電子装置の構造を示す図である。

【図6】本発明において提供するコンピュータ読み取り可能な記憶媒体の構造を示す図である。

【図7】本発明において提供する画像合成端末の構造を示す図である。

【発明を実施するための形態】

【0031】

以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例にしか過ぎないものであり、本発明は下記実施例の構成にのみ限定されるものでない。異なる他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。

【0032】

注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、本発明において説明する事項をいろいろな方面に応用することができ、文中において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。

【0033】

注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実際に実施するときのモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑にすることができる。

【0034】

下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。

【0035】

図１は本発明において提供する画像合成方法の第一実施例を示す流れ図であり、本実施例において提供する画像合成方法は所定の画像合成装置により実施されることができる。前記画像合成装置は、ソフトウェアによって実施されるか或いはソフトウェアとハードウェアの組合せによって実施されることができる。前記画像合成装置を画像処理システム中の所定の設備、例えば画像処理サーバーまたは画像処理端末装置内に設けることができる。図１に示すとおり、前記方法は下記ステップを含む。
ステップＳ１０１において、バーチャル対象を獲得する。
前記バーチャル対象は、任意の２Ｄまたは３Ｄのバーチャル対象であることができる。典型的なバーチャル対象は、例えばバーチャル宝刀、バーチャル拳銃等のバーチャル武器、バーチャル鉛筆、バーチャル本等のバーチャル文房具、バーチャル手袋、バーチャル指輪等のバーチャルウェアラブル装置等であることができる。本発明はバーチャル対象の種類を限定せず、使用者の手上に対応させることができる任意のバーチャル対象を本発明に引用することができる。バーチャル対象のタイプはいろいろがある。例えば、把持に適用するタイプは前記宝刀、拳銃、鉛筆があり、ウェアラブルに適用するタイプは手袋、指輪等があり、手で握ることができるタイプは本等がある。１つのバーチャル対象は１つ以上のタイプを有することができる。例えば本である場合、手で握るか或いは把持に適用することができる。

【0036】

ステップＳ１０２において、画像センサーが採集する動画を獲得する。
画像センサーは画像の採集が可能な任意の装置であることができる。典型的な画像センサーは、ビデオカメラ、ウェブカム、カメラ等がある。本実施例において、前記画像センサーは携帯端末に設けられるカメラであることができる。例えばスマートフォンの前置カメラまたは後置カメラであることができる。カメラにより採集されるビデオ画像をスマートフォンの表示パネルに直接に表示することができる。前記ステップにおいて、画像センサーが撮影する画像ビデオを獲得し、次のステップにおいてその画像を認識することができる。

【0037】

ステップＳ１０３において、前記ビデオ中の使用者の手を認識することにより手の情報を獲得する。
使用者の手を認識するとき、カラー特徴により手の位置を決め、手を背景から分離し、分離される手画像の特徴を選択して獲得した後それを認識する。具体的に、画像センサーによりカラー情報とカラー情報の位置情報を獲得し、前記カラー情報と予め設定される手のカラー情報を比較する。第一カラー情報を認識し、前記第一カラー情報と前記予め設定される手のカラー情報の差が第一閾値より小さいとき、前記第一カラー情報の位置情報により手の輪郭を形成する。好ましくは、周囲の輝度がカラー情報に影響を与えることを避けるため、画像センサーが採集するＲＧＢカラースペースの画像データをＨＳＶカラースペースにマッピングすることにより、ＨＳＶカラースペース中の情報を比較情報にする。好ましくは、ＨＳＶカラースペース中のカラー値をカラー情報にする。カラー値は輝度による影響を最小にすることができるので、輝度による影響を有効に濾過することができる。手輪郭により手の位置を大体に確定し、手のキーポイントを獲得することができる。画像において手のキーポイントを獲得し、各使用者の手輪郭のキーポイントの手画像中の対応位置座標を獲得する。すなわちキーポイントの位置を決める。その過程において、キーポイントに対応する特徴によりキーポイントの位置を決める。キーポイントを正確に表示できる画像特徴を獲得した後、画像においてその特徴を検索して比較し、画像においてキーポイントの位置を正確に確定する。キーポイントが画像を占める面積が非常に小さい（通常、その面積は数個ないし数十個の画素の大きさに対応する）ので、キーポイントに対応する特徴が画像を占める面積は非常に小さくかつ局部に位置する。現在、特徴を獲得する方法は、下記二種がある。（１）輪郭の垂直方向に沿って一次元範囲の画像特徴を獲得する。（２）キーポイントの方形区域の二次元範囲の画像特徴を獲得する。前記方法はいろいろな実施方法により実施されることができる。例えば、ＡＳＭとＡＡＭ等の方法、エネルギー関数を統計する方法、リグレッションアナリシス方法、深層学習方法、分類方法、大量獲得方法等により実施されることができる。前記方法が用いるキーポイントの個数、正確度および速度は異なっており、それらはいろいろな応用場合に適用される。同様に、他の目標物である場合、同様の原理によりその目標物を認識することができる。

【0038】

手を認識した後、手の外部輪郭の外部環状により１つの多辺形を形成する。手の外接検測枠を用いる場合、前記手の代わりに前記外接検測枠を用いることができる。前記外接検測枠が矩形である例において、手のキーポイントを認識した後、手の幅が一番大きい個所の幅と長さが一番大きい個所の長さを測定し、その幅と長さにより手の外接検測枠を認識する。手の幅が一番大きい個所の幅と長さが一番大きい個所の長さを測定する１つの方法は次のとおりである。手の辺縁のキーポイントを獲得し、Ｘ座標において距離が一番大きい２つの辺縁のキーポイントのＸ座標の差を算出し、それを矩形の幅のサイズにし、Ｙ座標において距離が一番大きい２つの辺縁のキーポイントのＹ座標の差を算出し、それを矩形の長さのサイズにする。手を拳に握るとき、外接検測枠を拳を覆うことができる最小の円形にすることができる。具体的に、外接検測枠の中心を手の位置にし、前記外接検測枠の中心点は外接検測枠の対角線の交点になることができる。前記外接検測枠の円形の円心を拳の位置にすることもできる。

【0039】

手の情報は検出する手のキーポイントを更に含み、前記キーポイントの数量を自由に設定することができる。手のキーポイントは一般的に、手輪郭のキーポイントと関節のキーポイントを含み、各ポイントには固定番号がつけられる。例えば、手輪郭のキーポイント、親指関節のキーポイント、食指関節のキーポイント、中指関節のキーポイント、薬指関節のキーポイント、小指関節のキーポイントの順番に沿って、上から下へ向かって番頭をつける。典型的な応用において、前記キーポイントの数量は２２個であり、各キーポイントには固定番号がつけられている。

【0040】

本発明の実施例において、前記手の情報は手の角度を更に含むことができる。前記角度は手が撮影平面上に位置する角度を含むか或いは空間内に位置する角度を含むか或いはその２つの結合を含むことができる。本発明の実施例において、前記角度を外接検測枠により説明することができる。撮影平面上において、外接検測枠がＸ軸に相対して移動する角度を算出することができる。空間内において、外接検測枠の収縮程度を測定し、前記収縮程度と角度との間の対応関係により空間内の回転角度を確定することができる。例えば、手の平が撮影装置と対向するとき、測定される外接検測枠は最大の面積を有し、手を回転させるとき、外接検測枠の面積はだんだん減少される。面積が減少する比例と角度との間の関係が予め設定される場合、外接検測枠の面積により手の平の回転角度を算出することができる。角度の獲得方法は本実施例の方法にのみ限定されるものでなく、手の角度を確定できる方法であればいずれを本発明に用いることができる。それらの目的はいずれも、手の角度を獲得することにある。

【0041】

本発明の実施例において、前記画像合成方法は、手の情報を算出する前、手の認識データに対してジッタバッファーをしかつと座標のノーマライゼーションをするステップを更に含む。前記ジッタバッファーはマルチフレームビデオ中の画像を平均し、平均された後の画像を認識される画像にし、それを本発明の手に対応させる。マルチフレームの画像中の手を認識し、手の画像に対して加重平均（The weighted average）をした後、平均して得た手の画像を認識される手にし、手の情報を計算する。それにより一部分のフレームをなくすか或いは一部分のフレームにより認識される画像がアーティキュレーションがよくない場合も、依然として、手の画像を確定しかつ手の情報を算出することができる。座標のノーマライゼーションにより座標の範囲を統一することができる。例えばカメラによって採集される手の画像の座標と表示パネルに表示される手の画像の座標とが統一されていない場合、マッピング関係により大きい座標を小さい座標にマッピングする必要がある。ジッタバッファーとノーマライゼーションにより手の情報を獲得することができる。

【0042】

ステップＳ１０４において、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得する。

【0043】

前記ステップにおいて、前記画像リゾート情報は少なくとも、バーチャル対象と手のリゾート位置およびリゾート順番を含む。前記リゾート位置はバーチャル対象のリゾート位置と手のリゾート位置を含み、手のリゾート位置は手の認識位置に位置し、バーチャル対象のリゾート位置は手のリゾート位置と係っている。例えば、手の位置はステップＳ１０３の外接検測枠の中心点により確定し、バーチャル対象のリゾート位置は外接検測枠の中心点と直接に重畳することができる。そのときバーチャル対象の中心位置と外接検測枠の中心点は重畳する。前記バーチャル対象のリゾート位置は前記中心点と一定の位置関係を有することもできる。例えば、前記バーチャル対象のリゾート位置は前記中心点はＹ軸の正方向に１つの長さの単位移動する位置に位置する。前記長さの単位はカスタマイズの長さの単位であることができる。例えば１つの長さの単位は１ｃｍ等であることができるが、本発明はそれを限定しない。一定の位置関係を有していることによりバーチャル対象のリゾート位置を確定し、手とバーチャル対象をどこに表示する問題を解決することができる。リゾート位置をより正確にするため、手のキーポイントを追加することができる。そのとき、バーチャル対象が手の所定のキーポイントに対応するようにすることができる。本発明の実施例において、リゾート位置上に３点を設け、その３点を手上の３個のキーポイントに対応させることができる。その対応関係によりバーチャル対象のリゾート位置を確定することができる。

【0044】

前記リゾート順番によりバーチャル対象と手の表示関係が決められる。ある場合、バーチャル対象と手が相手を遮る問題が生ずるおそれがある。例えば、手で宝刀を握っているとき握られる宝刀の一部分を手で遮る必要があり、手袋をはめるとき手袋で手を覆う必要がある。その場合、使用者の手をレンダリングした後バーチャル対象を再びレンダリングする必要がある。それによりバーチャル対象で手を覆う。例えば手袋をはめている場合である。ある場合、まずバーチャル対象をレンダリングした後、手をレンダリングすることにより手でバーチャル対象を覆う。例えば手で宝刀を握る場合である。リゾート順番はバーチャル対象のタイプと関連し、バーチャル対象の区域のレイヤーを予め設定することができる。例えば宝刀の柄を下部レイヤーに設け、手袋を永遠に上部レイヤーに設けることができる。

【0045】

本発明の実施例において、前記ステップＳ１０３において獲得する手の情報は手の角度情報を含む。そのとき獲得した画像リゾート情報はリゾート角度を更に含み、レンダリングされる手とバーチャル対象の角度を決定することにより、バーチャル対象が手の角度の変化により変化するようにする。例えば、手でバーチャル宝刀を握りかつ手を上げて振るとき、手の角度が変化することにより宝刀の角度が変化する。

【0046】

ステップＳ１０５において、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成する。

【0047】

前記実施例において、ステップＳ１０４において獲得したリゾート情報により、ステップＳ１０１において獲得したバーチャル対象とステップＳ１０３において認識した使用者の手を合成レンダリングすることにより合成画像を形成する。

【0048】

本発明の具体的な実施例において、ステップＳ１０４において獲得したリゾート位置により手のリゾート位置とバーチャル対象のリゾート位置を獲得することができる。ステップＳ１０４中のリゾート角度情報により手のリゾート角度とバーチャル対象のリゾート角度を獲得する。前記ステップＳ１０４中のリゾート順番により手とバーチャル対象をレンダリングし、手とバーチャル対象の合成画像を形成する。

【0049】

本発明の実施例において画像合成方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記画像合成方法は、バーチャル対象を獲得するステップと、画像センサーが採集するビデオを獲得するステップと、前記ビデオ中の手を認識することにより手の情報を獲得するステップと、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得するステップと、前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成するステップとを含む。本発明の実施例において手の情報を獲得することにより画像のリゾート情報を獲得する。それによりリゾート情報と手を関連させ、従来技術においてバーチャル対象が手の移動と連動できない問題とバーチャル対象を手に対応させる方法の利便性がよくない技術的問題とを解決することができる。

【0050】

図２ａに示すとおり、本発明の画像合成方法の他の実施例において、前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得する前記ステップＳ１０４は下記ステップを含む。
ステップＳ２０１において、リゾートコンフィギュレーションファイルを読み取る。
ステップＳ２０２において、前記リゾート情報と手の情報により前記リゾートコンフィギュレーションファイルにおいて画像リゾート情報を獲得する。
本実施例において、前記リゾートコンフィギュレーションファイルにはフレームシーケンスのセーブパスが記憶され、ステップＳ１０１においてバーチャル対象の名称またはＩＤ獲得し、前記名称またはＩＤによりリゾートコンフィギュレーションファイルにおいてバーチャル対象のフレームシーケンスを獲得し、すべてのフレームシーケンスにより１つのバーチャル対象を構成することができる。具体的に、リゾートコンフィギュレーションファイルにおいてパラメーター“range”:[idx_start, idx_end]を設定することができる。それはファイルのリストにおいてidx_startから始まり、idx_endで終わる連続ファイルを指し、前記フレームシーケンスを構成する。パラメーター“idx”:[idx0,idx1,……]を設定することもできる。それはファイルのリストにおいて第idx0個目、第idx1個目、……等のファイルを指し、順番により前記フレームシーケンスを構成する。

【0051】

前記リゾートコンフィギュレーションファイルはバーチャル対象の位置のアソシエーションパラメーターを更に含み、前記アソシエーションパラメーターはフレームシーケンスがどの手のキーポイントに関連しているかを指し、すべてのキーポイントに関連すると黙認するか或いは複数個のキーポイントに関連すると設定することができる。アソシエーションパラメーターだでなく、リゾートコンフィギュレーションファイルはバーチャル対象とキーポイントの位置のアソシエーションパラメーター“point”を更に含むことができる。“point”には２組の関連ポイントが含み、“point0”は第一組の関連ポイントを含み、“point1”は第二組の関連ポイントを含むことができる。各組の関連ポイントにおいて、“point”はcameraのアンカーポイントの位置を指し、複数組のキーポイントおよびそのウエートにより加重平均をすることによりそれを獲得することができる。“idx”文字はキーポイントの順番を指し、検測枠が含まれる手の場合、“topleft”、“topright”、“bottomleft”、“bottomright”を更に用いることができ、それらはそれぞれ手の外接検測枠の４個の隅（または前のパネルの４個の隅）に対応する。例えば、バーチャル対象が手の４個のキーポイントに従うように設け、４個のキーポイントはそれぞれ、９号、１０号、１１号および１２号のキーポイントであることができる。各キーポイントのウエートは０．２５であり、各キーポイントの座標はそれぞれ、（Ｘ₉、Ｙ₉）、（Ｘ₁₀、Ｙ₁₀）、（Ｘ₁₁、Ｙ₁₁）、（Ｘ₁₂、Ｙ₁₂）である。その場合、バーチャル対象が従うアンカーポイントのＸ軸座標はＸ_a＝Ｘ₉＊０．２５＋Ｘ₁₀＊０．２５＋Ｘ₁₁＊０．２５＋Ｘ₁₂＊０．２５であり、アンカーポイントのＸ軸座標はＹ_a＝Ｙ₉＊０．２５＋Ｙ₁₀＊０．２５＋Ｙ₁₁＊０．２５＋Ｙ₁₂＊０．２５である。注意されたいことは、“point”は任意の一組の関連ポイントを含むことができるが、本発明は二組にのみ限定されるものでない。前記具体的な実施例において、２個のアンカーポイントを獲得し、バーチャル対象が２個のアンカーポイントに従うことによりその位置は変化することができる。実施の応用において、アンカーポイントは２個だけでなく、その数量は関連ポイントの組数に係っている。各キーポイントの座標はステップＳ１０３において獲得した手の情報により獲得することができる。

【0052】

前記リゾートコンフィギュレーションファイルはバーチャル対象の収縮程度とキーポイントの関係を更に含むことができ、パラメーター“scaleX”と“scaleY”によりｘとｙ方向の収縮程度をそれぞれ説明する。各方向はいずれも、２個のパラメーター“start_idx”と“end_idx”を含み、それらは２個のキーポイントに対応し、２個のキーポイントの間の距離に“factor”をかけることにより収縮の強度を獲得する。factorは予め設定される値であり、それは任意の値であることができる。収縮において、“position”に一組の関連ポイント“point0”のみが含まれていると、ｘ方向は水平方向において右へ向かう方向を指し、ｙ方向は垂直方向において下へ向かう方向を指す。“scaleX”と“scaleY”はいずれも有効になり、そのうち１つがなくなってしまうと、既存の前記パラメーターによりバーチャル対象の最初の長さと幅の比例を確保しながら収縮をする。“position”に“point0”と“point1”が含まているとき、ｘ方向はpoint1.anchor-point0.anchorでありかつベクトル方向を獲得することができる。ｙ方向はｘ方向をクロックワイズに９０度回転することにより確定される。“scaleX”が無効になると、ｘ方向の収縮はアンカーポイントの連動により決められる。“scaleY”が有効になり、“scaleX”がなくなってしまうと、バーチャル対象の最初の長さと幅の比例を確保しながら収縮をする。

【0053】

前記リゾートコンフィギュレーションファイルはバーチャル対象の回転パラメーター「rotationtype」を更に含むことができ、“position”に“point0”のみが含まれているときこそ、それが有効になる。回転パラメーターは０と１を含む２つの値を含み、０は回転させる必要ないことを意味し、１はキーポイントの所定の角度により回転させる必要があることを意味する。

【0054】

前記リゾートコンフィギュレーションファイルはリゾートミックストモデルを更に含むことができ、前記リゾートミックストモデルとは２種のカラーを一体に混合させることを意味する。本発明の具体的な実施例において、ある画素位置のカラーとかけようとするカラーを一体に混合させることにより特殊な効果を実現することを意味する。リゾートミックストモデルは混合させるとき用いる方法を指し、一般的な混合方法は所定のソースカラーとターゲットカラーを算出することにより混合後のカラーを獲得することを意味する。実際の応用において、ソースカラーにソースファクタを掛けてえる結果とターゲットカラーにターゲットファクタを掛けてえる結果に計算をし、混合後のカラーを獲得する。例えば、前記算出の結果はプラスであり、BLENDcolor = SRC_color*SCR_factor+DST_color*DST_factorである。その式において0≦SCR_factor≦1、0≦DST_factor≦1である。前記算出公式において、ソースカラーの４つの分量（赤色、緑色、青色、alpha値を指す）は（Rs、Gs、Bs、As）であり、ターゲットカラーの４つの分量（Rd、Gd、Bd、Ad）であり、ソースファクタは（Sr、Sg、Sb、Sa）であり、ターゲットファクタは（Dr、Dg、Db、Da）である。混合により形成される新しいカラーは（Rs*Sr+Rd*Dr、Gs*Sg+Gd*Dg、Bs*Sb+Bd*Db、As*Sa+Ad*Da）であり、alpha値は透明度を指し、0≦alpha≦である。前記混合方法は本発明の例示にしか過ぎないものであり、実際の応用において、混合方法を自分で定義するか或いは周知の混合方法を選択することができる。前記計算は、加、減、乗、除、二値において大きい値をとること、二値において小さい値を取ること、ロジカルオペレーション（And、or、different、etc等）であることができる。前記混合方法は本発明の例示にしか過ぎないものであり、実際の応用において、混合方法を自分で定義するか或いは周知の混合方法を選択することができる。前記計算は、加、減、乗、除、二値において大きい値をとること、二値において小さい値を取ること、ロジカルオペレーション（And、or、different、etc等）であることができる。

【0055】

前記リゾートコンフィギュレーションファイルはリゾート順番を更に含むことができる。前記リゾート順番は２種を含み、１つはバーチャル対象のフレームシーケンスの間のリゾート順番であり、前記順番はパラメーター“zorder”により定義される。“zorder”値が小さければ小さいほど、リゾートの順番が前に向かうことを意味する。他の１つはバーチャル対象と手との間のリゾート順番であり、前記順番はいろいろな方法で確定することができる。典型的な方法において、“zorder”と類似する方法を採用することにより手のリゾートを先に設定するか或いはバーチャル対象のリゾートを先に設定することができる。本発明の実施例において、深度テスティングをする方法によりリゾート順番を確定することもできる。前記深度テスティングとは深度バッファ区域を設定することをいう。前記深度バッファ区域はカラーバッファ区域に対応し、深度バッファ区域には画素の深度情報が記憶され、カラーバッファ区域には画素のカラー情報が記憶される。物体の表面を書くかを決定するとき、まず表面に対応する深度値と深度バッファ区域に記憶される値を比較する。表面に対応する深度値が深度バッファ区域の値より大きいか或いは等しいとき、その部分を廃棄し、表面に対応する深度値が深度バッファ区域の値より小さいとき、画素に対応する深度値とカラー値により深度バッファ区域とカラーバッファ区域を更新する。その過程を深度テスティング（Depth Testing）という。ペイントシーン（Paint Scene）をする前、カラーバッファ（Color Buffer）区域を除去するとき、深度バッファ区域を除去する。深度バッファ区域を除去するとき、深度バッファ区域の値を１に設定し、その数値は最大の深度値を指す。深度値は「０、１」の間の位置し、値が小さければ小さいほど観察者に近づいていることを意味し、値が大きければ大きいほど観察者から離れていることを意味する。深度テスティングを開始するとき、深度テスティングを実施する比較関数を設定する必要がある。典型的な関数はDF_ALWAYSであり、それはいつもテストに合格する。そのときは深度テスティングをしないときと同様である。現在の画素の深度値とカラー値により深度バッファ区域とカラーバッファ区域を更新する。DF_NEVERはいつもテストに合格しない。そのとき深度バッファ区域とカラーバッファ区域の値を維持し、すべての画素を表示パネルにかかない。DF_LESSにおいて、現在の深度値＜記憶される深度値であるときパスさせ、DF_EQUALにおいて、現在の深度値＝記憶される深度値であるときパスさせ、DF_LEQUALにおいて、現在の深度値≦記憶される深度値であるときパスさせ、DF_GREATERにおいて、現在の深度値＞記憶される深度値であるときパスさせ、DF_NOTEQUALにおいて、現在の深度値≠記憶される深度値であるときパスさせ、DF_GEQUALにおいて、現在の深度値＞＝記憶される深度値であるときパスさせる。深度ライティングは深度テスティングに係っている。深度テスティングを起動させ、かつ深度テスティングの結果により深度バッファ区域を更新する可能性があると、深度ライティングを起動させる必要がある。それにより深度バッファ区域の値を更新することができる。以下、深度テスティングと深度ライティングを起動させかつ画像をかく過程を例として説明する。２個のカラーブロック例えば赤色ブロックと黄色ブロックをかくとき、リゾートの配列において赤色ブロックを前に位置させ、黄色ブロックを後に位置させる。赤色ブロックの深度値は０．５であり、黄色ブロックの深度値は０．２であり、用いられる深度テスティングの比較関数はDF_LEQUALである。そのとき、深度バッファ区域には０．５が先に書き込まれ、カラーバッファ区域には赤色が書き込まれる。その後、黄色をレンダリングするとき、比較関数によって０．２＜０．５という結果を獲得し、テストをパスさせることにより、深度バッファ区域の値を０．２に更新し、カラーバッファ区域を黄色に更新する。黄色の深度値が薄いので、それで深度値が深い赤色を覆う必要がある。前記法帆により手とバーチャル対象のリゾート順番を確定し、画像を合成する効果を獲得することができる。

【0056】

本発明の画像合成方法はステップＳ２０１前に実施するステップＳ２００１を更に含む。前記ステップにおいてリゾートコンフィギュレーションファイルを設定することにより前記リゾートファイル中の各パラメーターを設定する。

【0057】

理解を容易にするため、図２ｂ～２ｄに示される本発明の画像合成方法の具体的な実施例を参照する。図２ｂを参照ると、画像センサーが採集したビデオ中のビデオフレームが示されている。開始の状態において、２つの手の平が離れていることを検出すると、バーチャルレーンボーとの合成を触発させる。バーチャルレーンボーは手の食指上に対応する。手の平を移動させるとき、図２ｃに示すとおり右手を上へ移動させるとき、右手の食指が上へ移動することによりバーチャルレーンボーも上へ移動し、図２ｄに示すとおり左手を上へ移動させるとき、左手の食指が上へ移動することによりバーチャルレーンボーも上へ移動する。１つの手が上へ移動し、他の１つの手が下へ移動することもできる。そのとき、バーチャルレーンボーの両端は右手の食指にマウンテッドされ、バーチャルレーンボーの長さは両手の間の距離が変化することにより変化することができる。

【0058】

図３は本発明の実施例に係る画像合成装置３０の第一実施例の構造を示す図である。図３に示すとおり、前記装置は、バーチャル対象獲得モジュール３１、ビデオ獲得モジュール３２、手認識モジュール３３、リゾート情報獲得モジュール３４および画像合成モジュール３５を含む。
バーチャル対象獲得モジュール３１はバーチャル対象を獲得する。
ビデオ獲得モジュール３２は画像センサーが採集するビデオを獲得する。
手認識モジュール３３は前記ビデオ中の手を認識することにより手の情報を獲得する。
リゾート情報獲得モジュール３４は前記バーチャル対象と前記手の情報に対応する画像リゾート情報を獲得する。
画像合成モジュール３５は前記画像リゾート情報により前記バーチャル対象と使用者の手を合成レンダリングすることにより合成画像を形成する。

【0059】

前記手認識モジュール３３は第一認識モジュールと第一情報獲得モジュールを含む。
第一認識モジュールは前記ビデオ中の手を認識する。
第一情報獲得モジュールは手の位置と手のキーポイントを獲得する。

【0060】

前記リゾート情報獲得モジュール３４はバーチャル対象および手のリゾート位置とリゾート順番を獲得する。

【0061】

前記リゾート位置は手の位置と／或いは手骨格のキーポイントにより確定される。前記リゾート順番はバーチャル対象のタイプにより確定される。

【0062】

前記画像合成モジュール３５は前記リゾート位置とリゾート順番により使用者の手とバーチャル対象をレンダリングし、合成画像を形成する。

【0063】

前記手認識モジュール３３は第二認識モジュールと第二情報獲得モジュールを含む。
第二認識モジュールは前記ビデオ中の手を認識する。
第二情報獲得モジュールは手の角度を獲得する。

【0064】

前記リゾート情報獲得モジュール３４は前記バーチャル対象および手のリゾート位置、リゾート角度およびリゾート順番を獲得する。

【0065】

図３に示される装置により図１に示される実施例の方法を実施することができる。本実施例において説明しない部分は、図１に示される実施例の所定の説明を参照することができる。前記技術事項を実施する過程と技術的効果は図１に示される実施例の説明を参照することができるので、ここでは再び説明しない。

【0066】

本発明の実施例に提供する画像合成装置の第二実施例において、図４に示すとおり、前記リゾート情報獲得モジュール３４は読み取りモジュール４１と第一リゾート情報獲得モジュール４２を更に含む。読み取りモジュール４１はリゾートコンフィギュレーションファイルを読み取る。第一リゾート情報獲得モジュール４２は前記リゾート情報と手の情報により前記リゾートコンフィギュレーションファイルにおいて画像リゾート情報を獲得する。

【0067】

前記実施例において、前記リゾート情報獲得モジュール３４は設定モジュール４３を更に含む。設定モジュール４３はリゾートコンフィギュレーションファイルを設定し、前記リゾート情報に対して設定をする。

【0068】

前記第二実施例中の装置により図２に示される実施例の方法を実施することができる。本実施例において説明しない部分は、図２に示される実施例の所定の説明を参照することができる。前記技術事項を実施する過程と技術的効果は図２に示される実施例の説明を参照することができるので、ここでは再び説明しない。

【0069】

図５は本発明の実施例に係る電子装置のハードウェアを示すブロックダイアグラムである。図５に示すとおり、本発明の実施例に係る電子装置５０は記憶装置５１と処理装置５２を含む。

【0070】

前記記憶装置５１は非過渡性コンピュータ読み取り可能な指令を記憶させる。具体的に、記憶装置５１は１個または複数個のコンピュータープログラムを含み、前記コンピュータープログラムはいろいろな形態のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリーと／或いは不揮発性メモリーを含むことができる。前記揮発性メモリーは、例えば、ランダムアクセスメモリー（ＲＡＭ）と／或いはキャッシュメモリー（cache）等を含むことができる。前記不揮発性メモリーは、例えば、リードオンリーメモリー（ＲＯＭ）、ハードディスク、フラッシュメモリー等を含むことができる。

【0071】

前記処理装置５２は、中央処理ユニット（ＣＰＵ）であるか或いはデータ処理機能と／或いは指令実行機能を有している他の形態の処理ユニットであり、電子装置５０中の他のモジュールが所定の機能を実行することを制御することができる。本発明の実施例において、前記処理装置５２は、前記記憶装置５１に記憶されている前記コンピュータ読み取り可能な指令を実行することにより、前記電子装置５０が本発明の実施例の画像合成方法中のすべてまたは一部分のステップを実施するようにすることができる。

【0072】

本技術分野の技術者が知っているとおり、使用者の使用体験を向上させる技術的問題を解決するため、本実施例の電子装置は、通信バス、インターフェース等の周知の構造を更に含むことができ、前記周知の構造が本発明の特許請求の範囲に含まれることは勿論である。

【0073】

本実施例に対する詳細な説明は前記各実施例中の所定の部分を参照することができるので、ここで再び説明しない。

【0074】

図６は本発明の実施例に係るコンピュータ読み取り可能な記憶媒体を示す図である。図６に示すとおり、本発明の実施例に係るコンピュータ読み取り可能な記憶媒体６０は非過渡性コンピュータ読み取り可能な指令６１を記憶させる。処理装置で前記非過渡性コンピュータ読み取り可能な指令６１を実行することにより、本発明の実施例に係る画像合成方法中のすべてまたは一部分のステップを実施することができる。

【0075】

前記コンピュータ読み取り可能な記憶媒体６０は、光記憶媒体（例えばＣＤ－ＲＯＭとＤＶＤ）、光磁気記録媒体（例えばＭＯ）、磁気記録媒体（例えばテープまたはポータブルハードドライブ）、内部に設けられる書き換え可能な不揮発性メモリーを具備する媒体（例えばメモリーカード）、内部にＲＯＭが設けられる媒体（例えばＲＯＭ装置）を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0076】

本実施例に対する詳細な説明は前記各実施例中の所定の部分を参照することができるので、ここで再び説明しない。

【0077】

図７は本発明の実施例に係る端末装置のハードウェアを示す構造図である。図７に示すとおり、前記画像合成端末７０は前記実施例の画像合成装置を含む。

【0078】

前記端末装置はいろいろな形態により実施されることができる。本発明の端末装置は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信装置、ＰＤＡ（携帯情報端末）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、ナビゲーション、車用端末装置、車用表示端末、車用電子ミラー等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置を含むことができるが、本発明はそれらにのみ限定されるものでない。

【0079】

他の実施例において、前記端末装置は他のモジュールを更に含むことができる。図７に示すとおり、前記画像合成端末７０は、電源ユニット７１、無線通信ユニット７２、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット７３、使用者入力ユニット７４、検出ユニット７５、接続ユニット７６、制御ユニット７７、出力ユニット７８および記憶ユニット７９等を含むことができる。図７には各モジュールを具備する端末が示されている。注意されたいことは、本発明は、示されるすべてのモジュールを含むものでなく、一部分のモジュールを取り替えるか或いはより少ないモジュールを含むことができる。

【0080】

無線通信ユニット７２は画像合成端末７０と無線通信システムまたはインターネットとの間の無線通信を実施する。入力ユニット７３はオーディオまたはビデオ信号を受信する。使用者入力ユニット７４は使用者が入力する命令によりキーボード入力データを形成しかつそれにより端末装置の各操作を制御する。検出ユニット７５は画像合成端末７０の現在の状態、画像合成端末７０の位置、使用者が画像合成端末７０をタッチすることの有無、画像合成端末７０の傾向、画像合成端末７０の加速移動または減速移動と方向等を検出し、画像合成端末７０を制御して操作する指令または信号を形成する。接続ユニット７６は少なくとも１個の外部装置と画像合成端末７０を接続させるインターフェースになることができる。出力ユニット７８は視覚、オーディオと／或いは触覚形態の出力信号を出力するように構成される。記憶ユニット７９は制御ユニット７７により実行されかつ処理と制御操作に関するソフトウェアプログラムを記憶させるか或いは既に出力されるか或いは間もなく出力されるデータを暫時記憶させることができる。記憶ユニット７９は少なくとも１つの類型の記憶媒体を含むことができる。画像合成端末７０はネットワークにより記憶ユニット７９に接続されかつ記憶ユニット７９の記憶機能を採用するネットワーク記憶装置と協力することができる。制御ユニット７７は通常、端末装置の全体操作を制御する。制御ユニット７７は、マルチメディアデータの再生またはプレーバックを制御するマルチメディアモジュールを含むことができる。制御ユニット７７はモデル認識処理をすることにより、タッチパネルに入力したハンドライティングインプットまたはドローイングインプットを認識してキャラクターまたは画像を形成する。電源ユニット７１は制御ユニット７７の制御により外部電力または内部電力を受信しかつそれを各部品とモジュールに提供する電力を供給する。

【0081】

本発明において提供する画像合成方法の各実施例は例えば、コンピュータのソフトウェア、ハードウェア、任意に組み立てられるコンピュータ読み取り可能な記憶媒体により実施されることができる。本発明において提供する画像合成方法の各実施例は、アプリケーション固有集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理装置、制御装置、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実施できる電子ユニットのうち少なくとも一種により実施されることができる。他の実施例において、本発明において提供する画像合成方法の各実施例は制御ユニット７７により実施されることができる。ソフトウェアにより実施する場合、本発明において提供する画像合成方法の各実施例は少なくとも一種の機能または操作をする１つのソフトウェアモジュールにより実施されることができる。ソフトウェアコードは適合なプログラミングランゲージにより編集されるソフトウェアアプリケーション（プログラム）により実施されることができ、フトウェアコードは記憶ユニット７９に記憶されかつ制御ユニット７７により実施されることができる。

【0082】

本実施例に対する詳細な説明は前記各実施例中の所定の部分を参照することができるので、ここで再び説明しない。

【0083】

以上、具体的な実施例により本発明の基本的な原理を説明してきた。注意されたいことは、上で公開した本発明の利点、優勢、効果等は本発明の例示にしか過ぎないものでありかつ本発明を限定するものでなく、本発明の各実施例は前記利点、優勢、効果等を必ず具備するものでない。また、上で公開した前記具体的な細部は本発明の例示にしか過ぎないものでありかつ本発明を理解させるためのものであるが、本発明を限定するものでない。前記細部が公開されているが、本発明は前記細部のみにより実施されるものでない。

【0084】

本発明の部品、装置、設備、システムを示すブロックダイアグラムは本発明の例示にしか過ぎないものであり、本発明の部品、装置、設備、システムをブロックダイアグラムの順にのみ連結、位置、配置させる意図は全然ない。本技術分野の技術者は常識により本発明の前記部品、装置、設備、システムを自由に連結、位置、配置させることができる。本発明中の「含む」、「包含する」、「具備する」という用語は開放的な用語であるので、「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その用語を交換して用いることができる。本発明において用いる「或いは」および「と」という用語は「と／或いは」ということを意味し、その用語を交換して用いることができる。特別な説明がない限り、「或いは」および「と」という用語は「と／或いは」ということを意味する。本発明において用いる「例えば」という用語は「複数の事項を具備しているが、それらにのみ限定されるものでない」ということを意味し、その事項を交換して用いることができる。

【0085】

本発明において用いる「少なくとも１つ」という用語は、含まれる事項が選択可能な状態（例えば或いは、または等）に列挙されていることを意味する。例えば、「Ａ、ＢまたはＣのうち少なくとも１つ」という用語は、ＡまたはＢまたはＣを意味するか或いは、ＡＢまたはＡＢまたはＢＣを意味するか或いは、ＡＢＣ（すなわちＡとＢとＣ）を意味することができる。また、「例示的」という用語は、それが好適な実施例または他の実施例よりよいことを意味するものでない。

【0086】

注意されたいことは、本発明のシステムと方法において、各部品または各ステップを分解と／或いは再び組み合わせることができる。前記分解と／或いは再び組み合わせるシステムと方法により本発明と同様な効果を獲得することができる。

【0087】

本発明の特許請求の範囲が定めた技術的範囲を逸脱しない範囲において、本発明の技術的事項を変更、交換、改良することができる。本発明の特許請求の範囲が定めた技術的範囲は、前記処理、装置、製造、事件の組合せ、手段、方法および動作に係る具体的な実施例にのみ限定されるものでない。本発明の所定の事項により同様の機能を実現するか或いは同様の結果による現在の存在を獲得するか或いは後で処理する処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。すなわち、本発明の特許請求の範囲が定めた技術的範囲内において、前記処理、装置、製造、事件の組合せ、手段、方法および動作をすることができる。

【0088】

本発明が公開する前記事項により本技術分野の技術者は本発明を実施するか或いは本発明を用いることができる。本発明が定めた技術的範囲を逸脱しない限り、本技術分野の技術者は本発明が公開する事項により本発明を容易に変更し、本発明が定めた一般的な原理を他の実施例に採用することができる。本発明は、具体的な実施例にのみ限定されるものでなく、本発明の原理と新規の特徴を含むあらゆる実施例を含むことができる。

【0089】

以上、本発明を説明するため前記実施例により本発明を説明してきたが、前記実施例は本発明の例示にしか過ぎないものであるため、本発明は前記実施例の構成にのみ限定されるものでない。以上、本発明の複数の例示と実施例を説明してきたが、本技術分野の技術者は本発明の要旨を逸脱しない範囲において、変更、修正、改良、添加と組合せをすることができる。

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4】

【図5】

【図6】

【図7】