特許 7576215 姿態仮想画像の生成方法、その装置、システム及び仮想現実機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-23

(45)【発行日】2024-10-31

(54)【発明の名称】姿態仮想画像の生成方法、その装置、システム及び仮想現実機器

(51)【国際特許分類】

   G06T 11/80 20060101AFI20241024BHJP

   G06F 3/01 20060101ALI20241024BHJP

【ＦＩ】

G06T11/80 E

G06F3/01 510

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2022168812

(22)【出願日】2022-10-21

(65)【公開番号】P2023063268

(43)【公開日】2023-05-09

【審査請求日】2023-01-19

(31)【優先権主張番号】202111236336.4

(32)【優先日】2021-10-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520027176

【氏名又は名称】小派科技（杭州）有限公司

【氏名又は名称原語表記】Ｐｉｍａｘ Ｔｅｃｈｎｏｌｏｇｙ （Ｈａｎｇｚｈｏｕ） Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ２０８－２， Ｂｕｉｌｄｉｎｇ １， Ｎｏ． １８１８－１ Ｗｅｎｙｉ Ｗｅｓｔ Ｒｏａｄ， Ｙｕｈａｎｇ Ｓｔｒｅｅｔ， Ｙｕｈａｎｇ Ｄｉｓｔｒｉｃｔ， Ｈａｎｇｚｈｏｕ Ｃｉｔｙ， Ｚｈｅｊｉａｎｇ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】翁 志彬

(72)【発明者】

【氏名】周 克

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１４－００６８７３（ＪＰ，Ａ）

【文献】国際公開第２０１３／０７７０７６（ＷＯ，Ａ１）

【文献】特表２０１８－５３８５９３（ＪＰ，Ａ）

【文献】米国特許第１０６３６１９３（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ユーザの姿態仮想画像の生成方法であって、
複数の標準姿態画像を含むユーザの姿態モデルを構築するステップと、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出するステップと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成するステップと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とするステップと、を含み、
前記第１部位は身体を含み、前記姿態モデルは、複数の標準身体画像を含む身体モデルを含み、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出するステップは、
前記ユーザの目初期画像、口初期画像、肢体初期画像をそれぞれ取得し、前記口初期画像から口特徴点の位置情報を抽出し、前記目初期画像から目特徴点の位置情報を抽出し、前記肢体初期画像から肢体特徴点の位置情報を抽出するステップを含み、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成するステップは、
前記口特徴点の位置情報、目特徴点の位置情報及び肢体特徴点の位置情報に基づいて、前記口初期画像、２枚の前記目初期画像及び肢体初期画像を統合し、ユーザの身体画像を生成するステップを含み、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とするステップは、
前記口特徴点の位置情報、目特徴点の位置情報及び肢体特徴点の位置情報に基づいて、前記身体モデルにおいて前記身体画像と最もマッチング度の高い標準身体画像を検索し、前記標準身体画像を前記ユーザの身体仮想画像とするステップを含むことを特徴とするユーザの姿態仮想画像の生成方法。

【請求項2】

前記第１部位は顔を含み、前記姿態モデルは、複数の標準顔表情画像を含む顔表情モデルを含み、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出するステップは、
前記ユーザの目初期画像及び口初期画像をそれぞれ取得し、前記口初期画像から口特徴点の位置情報を抽出し、前記目初期画像から目特徴点の位置情報を抽出するステップを含み、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成するステップは、
前記口特徴点の位置情報及び前記目特徴点の位置情報に基づいて、前記口初期画像及び前記目初期画像を統合し、ユーザの顔表情画像を生成するステップを含み、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とするステップは、
前記口特徴点の位置情報及び目特徴点の位置情報に基づいて、前記顔表情モデルにおいて前記顔表情画像と最もマッチング度の高い標準顔表情画像を検索し、前記標準顔表情画像を前記ユーザの前記顔の顔表情仮想画像とするステップを含むことを特徴とする請求項１に記載のユーザの姿態仮想画像の生成方法。

【請求項3】

前記目特徴点の位置情報は、それぞれ目の両側に位置する第１眼角特徴点の位置情報及び第２眼角特徴点の位置情報、上瞼特徴点の位置情報及び下瞼特徴点の位置情報を含むことを特徴とする請求項２に記載のユーザの姿態仮想画像の生成方法。

【請求項4】

前記目初期画像は左目初期画像及び右目初期画像を含むことを特徴とする請求項２に記載のユーザの姿態仮想画像の生成方法。

【請求項5】

前記肢体初期画像は、左上肢及び左下肢画像と、右上肢及び右下肢画像とを含むことを特徴とする請求項１に記載のユーザの姿態仮想画像の生成方法。

【請求項6】

複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成するステップは、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の初期第１部位画像を生成するステップと、
前記初期第１部位画像に対して前処理処理を行い、第１部位画像を生成するステップとを含むことを特徴とする請求項１に記載のユーザの姿態仮想画像の生成方法。

【請求項7】

ユーザの第１部位の複数のキー領域の初期画像をそれぞれ撮影する複数の画像捕捉装置と、
前記複数の画像捕捉装置により撮影された第１部位の複数のキー領域の初期画像を取得し、前記第１部位の仮想画像を生成するユーザの姿態仮想画像の生成装置とを含み、
前記ユーザの姿態仮想画像の生成装置は、
複数の標準姿態画像を含む姿態モデルと、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出する画像取得モジュールと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成する画像合成モジュールと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とする仮想画像生成モジュールとを含み、
前記複数の画像捕捉装置は、
目初期画像を捕捉する第１画像捕捉装置と、
口初期画像を捕捉する第２画像捕捉装置と、
肢体初期画像を捕捉する第３画像捕捉装置とを含むことを特徴とする姿態仮想画像の生成システム。

【請求項8】

前記第１画像捕捉装置は、
左目初期画像を捕捉する第１サブ画像捕捉装置と、
右目初期画像を捕捉する第２サブ画像捕捉装置とを含むことを特徴とする請求項７に記載の姿態仮想画像の生成システム。

【請求項9】

前記第３画像捕捉装置は、
左肢画像を捕捉する第３サブ画像捕捉装置と、
右肢画像を捕捉する第４サブ画像捕捉装置とを含むことを特徴とする請求項７に記載の姿態仮想画像の生成システム。

【請求項10】

前記画像捕捉装置は撮像装置を含むことを特徴とする請求項７に記載の姿態仮想画像の生成システム。

【請求項11】

請求項７～１０のいずれか１項に記載の姿態仮想画像の生成システムと、
前記姿態仮想画像の生成システムにより生成された仮想画像を表示する表示装置とを含むことを特徴とする仮想現実機器。

【請求項12】

ユーザの頭部に装着するためのヘッドマウントアセンブリをさらに含み、
前記表示装置は前記ヘッドマウントアセンブリ内に配置されていることを特徴とする請求項１１に記載の仮想現実機器。

【請求項13】

前記第１画像捕捉装置は前記ヘッドマウントアセンブリ内に配置されていることを特徴とする請求項１２に記載の仮想現実機器。

【請求項14】

前記第２画像捕捉装置は前記ヘッドマウントアセンブリ外に配置されていることを特徴とする請求項１２に記載の仮想現実機器。

【請求項15】

前記第３画像捕捉装置は前記ヘッドマウントアセンブリ内に配置されていることを特徴とする請求項１２に記載の仮想現実機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、仮想実現の技術分野に関し、具体的には、姿態仮想画像の生成方法、その装置、システム及び仮想現実機器に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ、例えば仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）機器、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）機器では、ユーザが仮想シーンや複合現実シーンと頻繁なインタラクションを行い、ユーザとシーンがヒューマンコンピュータインタラクションを行う際には、一般的にはユーザの頭部の回転、位置の移動の追跡データを取得したり、ユーザにハンドルを装着したり、裸の手のインタラクション追跡を行ったりすることによって、ユーザと仮想シーンの手とのインタラクションを可能にする。いくつかのシーン、特に多人大空間インタラクションシステムでは、複数人が１つの仮想シーンでインタラクションを行う場合、顔表情を取得してインタラクションに用いると、仮想と現実を融合した没入感を大幅に増強する。

【0003】

既存のＶＲ機器の顔認識機能は、ユーザの顔表情画像や全身画像を撮影し、顔表情画像や全身画像から特徴点の位置情報を抽出し、次に、位置情報に基づいてユーザの顔表情仮想画像や全身画像を再現してインタラクション仮想シーンに表示するが、生成された仮想顔表情はリアルではなく、顔表情を正確に表現することができず、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を低下させる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに鑑みて、本願は、従来技術において人の姿態を仮想化する場合に、生成される仮想画像がリアルではなく、ユーザの実際の姿態を正確に表現することができず、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を低下させるという技術的課題を解決する、姿態仮想画像の生成方法、その装置、システム及び仮想現実機器を提供する。

【課題を解決するための手段】

【0005】

本願の一態様によれば、本願は、
複数の標準姿態画像を含むユーザの姿態モデルを構築するステップと、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出するステップと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成するステップと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とするステップとを含むユーザの姿態仮想画像の生成方法を提供する。

【0006】

本願の第２態様によれば、本願は、
複数の標準姿態画像を含む姿態モデルと、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、前記初期画像から前記キー領域の複数の特徴点の位置情報を抽出する画像取得モジュールと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、複数の前記初期画像を合成し、前記第１部位の第１部位画像を生成する画像合成モジュールと、
複数の前記キー領域及び複数の前記特徴点の位置情報に基づいて、前記姿態モデルにおいて前記第１部位画像と最もマッチング度の高い標準姿態画像を検索し、前記標準姿態画像を前記第１部位の仮想画像とする仮想画像生成モジュールとを含むユーザの姿態仮想画像の生成装置を提供する。

【0007】

本願の第３態様によれば、本願は、
ユーザの第１部位の複数のキー領域の初期画像をそれぞれ撮影する複数の画像捕捉装置と、
前記複数の画像捕捉装置により撮影された第１部位の複数のキー領域の初期画像を取得し、前記第１部位の仮想画像を生成する上記ユーザの姿態仮想画像の生成装置とを含む姿態仮想画像の生成システムを提供する。

【0008】

本願の第４態様によれば、本願は、
上記姿態仮想画像の生成システムと、
前記姿態仮想画像の生成システムにより生成された仮想画像を表示する表示装置とを含む仮想現実機器を提供する。

【発明の効果】

【0009】

本願によるユーザの姿態仮想画像の生成方法は、ユーザの第１部位（例えば、顔、肢体）のキー領域の初期画像（例えば、顔の目及び口）をそれぞれ収集し、初期画像から特徴点の位置情報をそれぞれ抽出し、特徴点情報に基づいて複数の初期画像を合成し、このユーザの第１部位の第１部位画像を生成し、この第１部位画像を姿勢モデルに入力し、この姿勢モデルにおいて該第１部位画像と最もマッチング度の高い標準姿勢画像を検索し、この標準姿勢画像を該第１部位の仮想画像とする。ユーザの第１部位の画像を収集するときに、ユーザの第１部位全体の画像を収集するのではなく、ユーザの第１部位を表すことのできる複数のキー領域の初期画像を正確に収集するので、各キー領域の初期画像から特徴点の位置情報を抽出すると、抽出された位置情報の精度が高く、そのため、特徴点の位置情報により、姿勢モデルにおいてこの第１部位の第１部位画像と最もマッチング度の高い標準姿勢画像をマッチングすると、マッチングの正確性が高いため、生成されたこの第１部位の仮想画像は正確性が高くリアル度が高く、ユーザの当該第１部位の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【図面の簡単な説明】

【0010】

図面を参照して本願の実施例をより詳細に説明することにより、本願の上記及び他の目的、特徴や利点がより明らかになる。図面は本願の実施例の更なる理解を提供するために使用され、明細書の一部を構成し、本願の実施例と共に本願を解釈するために使用され、本願を限定するものではない。図面において、同じ参照符号は、通常、同じ構成要素又はステップを表す。

【図1】本願の一実施例によるユーザの姿態仮想画像の生成方法の流れの概略図である。

【図2】本願の他の実施例によるユーザの姿態仮想画像の生成方法の流れの概略図である。

【図3】本願の他の実施例によるユーザの姿態仮想画像の生成方法の流れの概略図である。

【図4】本願の他の実施例によるユーザの姿態仮想画像の生成方法の流れの概略図である。

【図5】本願の一実施例によるユーザの姿態仮想画像の生成装置の動作原理図である。

【図6】本願の一実施例によるユーザの姿態仮想画像の生成システムの動作原理図である。

【図7】本願の他の実施例によるユーザの姿態仮想画像の生成システムの動作原理図である。

【図8】本願の一実施例による仮想現実機器の動作原理図である。

【図9】本願の一実施例による電子機器の動作原理図である。

【発明を実施するための形態】

【0011】

本願の説明において、「複数」とは、特に明示的に特定されない限り、少なくとも２つ、例えば、２つ、３つなどを意味する。本願の実施例におけるすべての方位用語（例えば、上、下、左、右、前、後、頂、底など）は、特定のポース（図示した通り）における各構成要素間の相対的な位置関係、動きなどを説明するためにのみ使用され、特定のポースが変化すると、この方位用語も変化する。さらに、用語「含む」及び「有する」、ならびにそれらの変形は、排他的でない包含をカバーすることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、リストされたステップ又はユニットに限定されるものではなく、リストされていないステップ又はユニットをさらに含むか、又は、これらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットをさらに含んでもよい。

【0012】

また、本明細書に記載の「実施例」は、実施例を参照して説明された特定の特徴、構造、又は特性が、本願の少なくとも１つの実施例に含まれ得ることを意味する。本明細書の様々な場所にこの語句が記載されることは、必ずしも同じ実施例を意味するわけではなく、他の実施例と相互排他的な独立した又は代替の実施例を意味するわけでもない。当業者が明示的又は暗黙的に理解するように、本明細書に記載された実施例は、他の実施例と組み合わせてもよい。

【0013】

以下、図面を参照して本願の実施例における技術案について明確かつ完全に説明するが、明らかに、説明される実施例は本願の一部の実施例にすぎず、全ての実施例ではない。当業者が本願の実施例に基づいて創造的な努力を必要とせずに得る他の全ての実施例は本願の特許範囲に属する。

【0014】

出願の概要
既存のＶＲ機器の顔認識機能は、ユーザの顔表情画像や全身画像を撮影し、顔表情画像や全身画像から特徴点の位置情報を抽出し、次に、特徴点の位置情報に基づいてユーザの顔表情仮想画像や全身画像を再現してインタラクション仮想シーンに表示するが、生成された仮想顔表情はリアルではなく、顔表情を正確に表現することができず、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を低下させる。

【0015】

本願によるユーザの姿態仮想画像の生成方法は、ユーザの第１部位（例えば、顔、肢体）のキー領域の初期画像（例えば、顔の目及び口）をそれぞれ収集し、初期画像から特徴点の位置情報をそれぞれ抽出し、特徴点情報に基づいて複数の初期画像を合成し、このユーザの第１部位の第１部位画像を生成し、この第１部位画像を姿勢モデルに入力し、この姿勢モデルにおいて該第１部位画像と最もマッチング度の高い標準姿勢画像を検索し、この標準姿勢画像を該第１部位の仮想画像とする。ユーザの第１部位の画像を収集するときに、ユーザの第１部位全体の画像を収集するのではなく、ユーザの第１部位を表すことのできる複数のキー領域の初期画像を正確に収集するので、各キー領域の初期画像から特徴点の位置情報を抽出すると、抽出された位置情報の精度が高く、そのため、特徴点の位置情報により、姿勢モデルにおいてこの第１部位の第１部位画像と最もマッチング度の高い標準姿勢画像をマッチングすると、マッチングの正確性が高いため、生成されたこの第１部位の仮想画像は正確性が高くリアル度が高く、ユーザの当該第１部位の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0016】

以上、本願の実施の原理を簡単に説明しており、以下、本願の実施例における図面を参照して、本願の実施例における技術案について明確かつ完全に説明する。

【0017】

例示的な方法
図１は、本願の実施例によるユーザの姿態仮想画像の生成方法の流れの概略図であり、図１に示すように、このユーザの姿態仮想画像の生成方法は、ステップＳ１０１～ステップＳ１０４を含む。
ステップＳ１０１：複数の標準姿勢画像を含むユーザの姿勢モデルを構築する。
具体的には、姿態モデルは、顔表情モデル、肢体身体モデル、顔表情－肢体身体モデルを含んでもよく、姿態モデルは、顔表情モデルを含む場合、一般的にユーザの顔の仮想画像を生成するために使用され、身体モデルを含む場合、一般的にユーザの身体仮想画像、すなわちユーザの肢体よりも上部の仮想画像を生成するために使用される。

【0018】

ステップＳ１０２：ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、初期画像からキー領域の複数の特徴点の位置情報を抽出する。
具体的には、ユーザの第１部位の複数のキー領域の初期画像を取得する場合には、いずれも同時刻におけるユーザの当該第１部位の複数のキー領域の初期画像を取得することになる。

【0019】

具体的には、ユーザの第１部位は、顔、肢体、身体を含んでもよく、ユーザの顔の仮想画像を生成する必要がある場合、ステップＳ１０２では、顔の複数のキー領域の初期画像、例えば、目初期画像と口初期画像をそれぞれ取得し、次に、口初期画像から複数の口特徴点の位置情報を抽出し、目初期画像から複数の目特徴点の位置情報を抽出し、
ユーザ全体の仮想画像を生成する必要がある場合、ステップＳ１０２では、顔及び肢体の複数のキー領域の初期画像、例えば、目の目初期画像、口の口初期画像、左肢の左肢体初期画像、右肢の右肢体初期画像をそれぞれ取得し、次に、口初期画像から口初期画像における複数の口特徴点の位置情報を抽出し、目初期画像から複数の目特徴点の位置情報を抽出し、右肢体初期画像から複数の右肢特徴点の位置情報を抽出し、左肢体初期画像から複数の左肢特徴点の位置情報を抽出する。

【0020】

ステップＳ１０３：複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する。
ステップＳ１０２では、第１部位の複数のキー領域の初期画像及びキー領域の初期画像毎に抽出された特徴点の位置情報を取得し、ステップＳ１０３では、取得した特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する。

【0021】

例えば、第１部位が顔である場合、目初期画像から抽出された目特徴点の位置情報、及び口初期画像から抽出された口特徴点の位置情報に基づいて、目初期画像及び口初期画像を合成し、顔の顔表情画像を生成する。この顔表情画像の生成過程では、口特徴点の位置情報及び目特徴点の位置情報に基づいて顔の他の領域における特徴点の位置情報（例えば、眉の眉特徴点の位置情報、頬の頬特徴点の位置情報、顎の顎特徴点の位置情報）を導出し、次に、口特徴点の位置情報、目特徴点の位置情報、及び顔の他の領域における特徴点の位置情報に基づいて、口初期画像及び目初期画像を合成し、顔表情画像を生成する。この顔表情画像の生成過程では、口特徴点の位置情報及び目特徴点の位置情報に基づいて顔の他の第１部位の特徴点の位置情報を導出することなく、口特徴点の位置情報及び目特徴点の位置情報に基づいてユーザの顔表情画像を直接合成してもよい。

【0022】

ステップＳ１０４：複数のキー領域及び複数の特徴点の位置情報に基づいて、姿態モデルにおいて第１部位画像と最もマッチング度の高い標準姿態画像を検索し、標準姿態画像を第１部位の仮想画像とする。

【0023】

ステップＳ１０４で生成される第１部位の仮想画像の場合、この仮想画像の具体的な表現形態は様々であり、例えば、この仮想画像はロボットの形態でユーザの顔表情を仮想的に表現してもよいし、キャラクターの形態でユーザの顔表情を仮想的に表現してもよい。本願では、仮想画像の具体的な表現形態については限定しない。

【0024】

本願によるユーザの姿態仮想画像の生成方法は、ユーザの第１部位（例えば、顔、肢体）のキー領域の初期画像（例えば、顔の目及び口）をそれぞれ収集し、初期画像から特徴点の位置情報をそれぞれ抽出し、特徴点情報に基づいて複数の初期画像を合成し、このユーザの第１部位の第１部位画像を生成し、第１部位画像を姿勢モデルに入力し、姿勢モデルにおいて該第１部位画像と最もマッチング度の高い標準姿勢画像を検索し、この標準姿勢画像を該第１部位の仮想画像とする。ユーザの第１部位の画像を収集するときに、ユーザの第１部位全体の画像を収集するのではなく、ユーザの第１部位を表すことのできる複数のキー領域の初期画像を正確に収集するので、各キー領域の初期画像から特徴点の位置情報を抽出すると、抽出された位置情報の精度が高く、そのため、特徴点の位置情報により、姿勢モデルにおいてこの第１部位の第１部位画像と最もマッチング度の高い標準姿勢画像をマッチングすると、マッチングの正確性が高いため、生成されたこの第１部位の仮想画像は正確性が高くリアル度が高く、ユーザの当該第１部位の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0025】

本願の別の実施例では、図２は本願によるユーザの姿態仮想画像の生成方法の流れの概略図であり、図２に示すように、第１部分は顔であり、姿態モデルは顔表情モデルを含み、顔表情モデルは、複数の標準顔表情画像を含み、すなわち、ユーザの顔を仮想化して顔表情仮想画像を生成し、この場合、ステップＳ１０２（ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、初期画像からキー領域の複数の特徴点の位置情報を抽出する）は、具体的には、ステップＳ１０２１を含む。
ステップＳ１０２１：ユーザの目初期画像及び口初期画像をそれぞれ取得し、口初期画像から口特徴点の位置情報を抽出し、目初期画像から目特徴点の位置情報を抽出する。
ユーザの顔表情仮想画像を生成する際に、人間の顔表情表現領域は主に口、頬、目、眉及び額であるため、このうち、口及び目の顔表情表現が人間全体の顔表情に最も影響を与えるので、ユーザの顔表情を仮想化する際に、人間の目と口の画像は別々に取得されるため、人間の目と口によって人間全体の顔表情を仮想化した仮想画像はリアルである。そこで、目初期画像及び口初期画像を取得することにより、目初期画像から目特徴点の位置情報を抽出し、口初期画像から口特徴点の位置情報を抽出する。

【0026】

具体的には、目特徴点の位置情報には、目の周辺領域における筋肉の特徴点の位置情報、例えば、上瞼特徴点の位置情報、すなわち、目と眉との間の領域における特徴点の位置情報、上瞼特徴点の位置情報、すなわち、目と頬との間の領域における特徴点の位置情報、それぞれ目の両側に位置する第１眼角特徴点の位置情報及び第２眼角特徴点の位置情報、すなわち、目の左眼角と鼻との間の領域の特徴点の位置情報、及び、この目の右眼角付近の領域における特徴点の位置情報が含まれる。

【0027】

ステップＳ１０３（複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する）は、具体的には、ステップＳ１０３１を含む。
ステップＳ１０３１：口特徴点の位置情報及び目特徴点の位置情報に基づいて、口初期画像及び目初期画像を統合し、ユーザの顔表情画像を生成する。
ステップＳ１０３１では、口特徴点の位置情報及び目特徴点の位置情報に基づいて、口初期画像及び目初期画像を統合する際には、以下の２つの統合方法が含まれるが、これらに限定されない。
（１）第１統合方法：口特徴点の位置情報及び目特徴点の位置情報に基づいて、顔の他の領域における特徴点の位置情報（例えば、眉の眉特徴点の位置情報、頬の頬特徴点の位置情報、顎の顎特徴点の位置情報）を導出し、次に、口特徴点の位置情報、目特徴点の位置情報、及び顔の他の領域における特徴点の位置情報に基づいて、口初期画像及び目初期画像を合成し、顔表情画像を生成する。
（２）第２統合方法：口特徴点の位置情報及び目特徴点の位置情報に基づいて顔の他の第１部位の特徴点の位置情報を導出することなく、口特徴点の位置情報及び目特徴点の位置情報に基づいてユーザの顔表情画像を直接合成する。

【0028】

ステップＳ１０４（複数のキー領域及び複数の特徴点の位置情報に基づいて、姿態モデルにおいて第１部位の第１部位画像と最もマッチング度の高い標準姿態画像を検索し、標準姿態画像を第１部位の仮想画像とする）は、具体的には、ステップＳ１０４１を含む。
ステップＳ１０４１：口特徴点の位置情報及び目特徴点の位置情報に基づいて、顔表情モデルにおいて顔表情画像と最もマッチング度の高い標準顔表情画像を検索し、標準顔表情画像をユーザの顔の顔表情仮想画像とする。

【0029】

上記ステップＳ１０２１～ステップＳ１０４１は、ユーザの顔を仮想化して顔表情仮想画像を生成する際に、ユーザの真の顔表情に基づいて当該ユーザの顔表情仮想画像を生成するプロセスである。顔表情を最もよく表現できる目と口の初期画像をそれぞれ対象として収集し、次に、目初期画像から目特徴点の位置情報を抽出し、口初期画像から口特徴点の位置情報を抽出し、目特徴点の位置情報及び口特徴点の位置情報に基づいて、ユーザの実際の顔表情を仮想化し、ユーザの顔表情仮想画像を生成し、目と口についての初期画像を取得しているので、取得した目及び口の初期画像から抽出した目特徴点の位置情報及び口特徴点の位置情報は正確率や精度が高く、このため、顔表情仮想画像を生成する際に、生成される顔表情仮想画像は正確性が高くリアル度が高く、ユーザの顔表情の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0030】

任意選択に、ステップＳ１０２１では、すなわち、ユーザの目初期画像を取得する際に、２つの目の２つの目初期画像、すなわち左目初期画像と右目初期画像をそれぞれ取得することができ、同様に、左目初期画像から左目特徴点の位置情報を抽出し、右目初期画像から右目特徴点の位置情報を抽出する必要がある。ステップＳ１０３１では、目初期画像及び口初期画像を統合し、顔表情画像を生成する際にも、左目特徴点の位置情報、右目特徴点の位置情報及び口特徴点の位置情報に基づいて、左目初期画像、右目初期画像及び口初期画像を統合し、顔表情画像を生成する必要がある。同様に、ステップＳ１０４１では、顔表情仮想画像を生成する際には、口特徴点の位置情報、左目特徴点の位置情報、及び右目特徴点の位置情報に基づいて、顔表情モデルにおいて顔表情画像と最もマッチング度の高い標準顔表情画像を検索し、標準顔表情画像をユーザの顔の顔表情仮想画像とする。

【0031】

本願の別の実施例では、図３は本願によるユーザの姿態仮想画像の生成方法の流れの概略図であり、図３に示すように、第１部位が身体である場合、姿勢モデルは身体モデルを含み、身体モデルは複数の標準身体画像を含み、すなわち、ユーザの身体を仮想化してユーザの形態仮想画像を生成することにより、ユーザの全体形態の仮想画像を表示する。このような場合、ステップＳ１０２（ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、初期画像からキー領域の複数の特徴点の位置情報を抽出する）は、具体的には、ステップＳ１０２２を含む。
ステップＳ１０２２：ユーザの目初期画像、口初期画像、肢体初期画像をそれぞれ取得し、口初期画像から口特徴点の位置情報を抽出し、目初期画像から目特徴点の位置情報を抽出し、肢体初期画像から肢体特徴点の位置情報を抽出する。
ユーザの身体仮想画像を生成する際に、人間の動作は主に肢体と顔の顔表情に現れ、顔表情は主に口と目に現れるので、目初期画像、口初期画像、及び肢体初期画像を取得し、目初期画像から目特徴点の位置情報を抽出し、口初期画像から口特徴点の位置情報を抽出し、肢体初期画像から肢体特徴点の位置情報を抽出し、目特徴点の位置情報、口特徴点の位置情報、及び肢体特徴点の位置情報を主な基準点として、肢体モデルにおいて標準身体画像をマッチングし、この標準身体画像をユーザの身体仮想画像とする。

【0032】

ステップＳ１０３（複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する）は、具体的には、ステップＳ１０３２を含む。
ステップＳ１０３２：口特徴点の位置情報、目特徴点の位置情報及び肢体特徴点の位置情報に基づいて、口初期画像、目初期画像及び肢体初期画像を統合し、ユーザの身体画像を生成する。
ステップＳ１０３２では、口特徴点の位置情報、目特徴点の位置情報、及び肢部特徴点の位置情報に基づいて、目初期画像、口初期画像及び肢部初期画像を合成し、ユーザの身体画像にする際には、以下の２つの統合方法が含まれるが、これらに限定されない。
（１）第１統合方法：口特徴点の位置情報、目特徴点の位置情報に基づいて顔の他の領域における特徴点の位置情報（例えば、眉の眉特徴点の位置情報、頬の頬特徴点の位置情報、顎の顎特徴点の位置情報）を導出し、次に、口特徴点の位置情報、目特徴点の位置情報、及び顔の他の領域における特徴点の位置情報に基づいて、口初期画像及び目初期画像を合成し、顔表情画像を生成し、
肢体特徴点の位置情報に基づいて肢体の他の肢体領域における特徴点の位置情報を導出し、例えば、膝特徴点の位置情報、大腿部特徴点の位置情報、臀部特徴点の位置情報、足特徴点の位置情報に基づいて、下肢の他の第１部位の特徴点の位置情報を導出する。次に、肢体特徴点の位置情報に基づいて肢体の他の肢体領域における特徴点の位置情報を導出し、顔表情画像と肢体初期画像を合成し、ユーザの身体画像を生成する。

【0033】

（２）第２統合方法：口特徴点の位置情報及び目特徴点の位置情報に基づいて他の顔の第１部位の特徴点の位置情報を導出したり、肢体特徴点の位置情報に基づいて他の肢体領域の特徴点の位置情報を導出したりすることなく、口特徴点の位置情報、目特徴点の位置、及び肢体特徴点の位置情報に基づいてユーザの身体画像を直接合成する。

【0034】

ステップＳ１０４（複数のキー領域及び複数の特徴点の位置情報に基づいて、姿態モデルにおいて、第１部位の第１部位画像と最もマッチング度の高い標準姿態画像を検索し、標準姿態画像を第１部位の仮想画像とする）は、具体的には、ステップＳ１０４２を含む。
ステップＳ１０４２：口特徴点の位置情報、目特徴点の位置情報及び肢体の位置情報に基づいて、姿態モデルにおいて身体画像と最もマッチング度の高い標準身体画像を検索し、標準身体画像をユーザの身体仮想画像とする。

【0035】

上記ステップＳ１０２２～ステップＳ１０４２は、ユーザの動作を仮想化し、すなわち、ユーザの身体を仮想化し、ユーザの形態仮想画像を生成することにより、ユーザの全体形態の仮想画像を表示するプロセスである。顔表情を最もよく表現できる目と口の初期画像、及びユーザの動作を最もよく表現できる肢体初期画像をそれぞれ対象として収集し、次に、目初期画像から目特徴点の位置情報を抽出し、口初期画像から口特徴点の位置情報を抽出し、肢体初期画像から肢体特徴点の位置情報を抽出し、目特徴点の位置情報、口特徴点の位置情報、及び肢体特徴点の位置情報に基づいて、ユーザの実際の動作を仮想化し、仮想画像を形成することにより、ユーザの全体形態の仮想画像を表示する。目、口、肢体についての初期画像を取得しているので、抽出された目特徴点の位置情報、口特徴点の位置情報及び肢体特徴点の位置情報は正確率や精度が高く、このため、生成された身体仮想画像は正確性が高くリアル度が高く、ユーザの顔表情の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0036】

任意選択に、ユーザの肢体には、左上肢、左下肢、右上肢、右下肢が含まれていてもよいので、ステップＳ１０３２の「肢体初期画像を取得する」を実行する際に、肢体初期画像を取得するステップは、具体的には、ステップ（ｉ）を含んでもよい。
ステップ（ｉ）：左上肢の左上肢初期画像、左下肢の左下肢初期画像、右上肢の右上肢初期画像及び右下肢の右下肢初期画像をそれぞれ取得する。

【0037】

肢体画像から肢体特徴点の位置情報を抽出するステップは、具体的には、ステップ（１）～ステップ（４）を含んでもよい。
ステップ（１）：左上肢初期画像から左上肢特徴点の位置情報を抽出し、左上肢特徴点の位置情報には、肩特徴点の位置情報、左腕特徴点の位置情報、左肘特徴点の位置情報、左手首特徴点の位置情報、及び左手特徴点の位置情報が含まれるが、これらに限定されない。

【0038】

ステップ（２）：右上肢初期画像から右上肢特徴点の位置情報を抽出し、右上肢特徴点の位置情報には、肩特徴点の位置情報、右腕特徴点の位置情報、右肘特徴点の位置情報、右手首特徴点の位置情報、右手特徴点の位置情報が含まれるが、これらに限定されない。

【0039】

ステップ（３）：左下肢初期画像から左下肢特徴点の位置情報を抽出し、左下肢特徴点には、左膝特徴点の位置情報、左大腿部特徴点の位置情報、左臀部特徴点の位置情報、左足特徴点の位置情報が含まれるが、これらに限定されない。

【0040】

ステップ（４）：右下肢初期画像から右下肢特徴点の位置情報を抽出し、右下肢特徴点の位置情報には、右膝特徴点の位置情報、右大腿部特徴点の位置情報、右臀部特徴点の位置情報、右足特徴点の位置情報が含まれるが、これらに限定されない。

【0041】

このような場合、ステップＳ１０３２の「目初期画像、口初期画像及び肢体初期画像を統合する」を実行する際に、目初期画像、口初期画像及び肢体初期画像を統合するステップは、具体的には、ステップＳ２１～ステップＳ２３を含む。
ステップＳ２１：口特徴点の位置情報及び目特徴点の位置情報に基づいて、口初期画像及び目初期画像を合成し、顔表情画像を生成する。
ステップＳ２２：左上肢特徴点の位置情報、左下肢特徴点の位置情報、右上肢特徴点の位置情報及び右下肢特徴点の位置情報に基づいて、左上肢初期画像、左下肢初期画像、右上肢初期画像及び右下肢初期画像を合成し、肢体初期画像を生成する。
ステップＳ２３：肢体初期画像及び顔表情画像を合成し、身体画像を生成する。
ユーザの４肢（左上肢、左下肢、右上肢及び右下肢）の初期画像をそれぞれ収集することにより、肢体の動作を仮想化する過程で、４肢の特徴点情報を高精度に抽出することができるため、身体仮想画像を生成する場合、生成される身体仮想画像はリアル度が高く、ユーザの顔表情の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0042】

本願の別の実施例では、図４は、本願の他の実施例によるユーザの姿態仮想画像の生成方法の流れの概略図であり、図４に示すように、ステップＳ１０３（複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する）は、具体的には、ステップＳ１０３３とステップＳ１０３４を含む。
ステップＳ１０３３：複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の初期第１部位画像を生成する。
ステップＳ１０３４：初期の第１部位画像に対して前処理処理を行い、第１部位画像を生成する。
ステップＳ１０３４では、初期の第１部位画像に対して前処理処理を行う際に、初期の第１部分画像に対して画像ノイズ除去処理、光補償処理などの方法で前処理を行い、第１部位画像を生成してもよく、これにより、生成された第１部位仮想画像の正確性及びリアル度をさらに向上させ、ユーザの当該第１部位の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0043】

例示的な装置
図５は本願によるユーザの姿態仮想画像の生成装置の動作原理図であり、図５に示すように、このユーザの姿態仮想画像の生成装置１２は、第１部位の複数の標準姿態画像を含む姿態モデル１００と、ユーザの第１部位の複数のキー領域の初期画像をそれぞれ取得し、初期画像からキー領域の複数の特徴点の位置情報を抽出する画像取得モジュール２００と、複数のキー領域及び複数の特徴点の位置情報に基づいて、複数の初期画像を合成し、第１部位の第１部位画像を生成する画像合成モジュール３００と、複数のキー領域及び複数の特徴点の位置情報に基づいて、姿態モデルにおいて第１部位の第１部位画像と最もマッチング度の高い標準姿態画像を検索し、標準姿態画像を第１部位の仮想画像とする仮想画像生成モジュール４００と、を含む。

【0044】

本願に係るユーザの姿態仮想画像の生成装置は、ユーザの第１部位（例えば、顔、肢体）のキー領域の初期画像（例えば、顔の目及び口）をそれぞれ収集し、初期画像から特徴点の位置情報をそれぞれ抽出し、特徴点情報に基づいて複数の初期画像を合成し、このユーザの第１部位の第１部位画像を生成し、この第１部位画像を姿勢モデルに入力し、この姿勢モデルにおいて該第１部位画像と最もマッチング度の高い標準姿勢画像を検索し、この標準姿勢画像を該第１部位の仮想画像とする。ユーザの第１部位の画像を収集するときに、ユーザの第１部位全体の画像を収集するのではなく、ユーザの第１部位を表すことのできる複数のキー領域の初期画像を正確に収集するので、各キー領域の初期画像から特徴点の位置情報を抽出すると、抽出された位置情報の精度が高く、そのため、特徴点の位置情報により、姿勢モデルにおいてこの第１部位の第１部位画像と最もマッチング度の高い標準姿勢画像をマッチングすると、マッチングの正確性が高いため、生成されたこの第１部位の仮想画像は正確性が高くリアル度が高く、ユーザの当該第１部位の真の特徴を正確に表現することができ、ユーザがインタラクションを行う際のリアルタイムな体験感や臨場感を向上させることができる。

【0045】

例示的なシステム
図６は、本願によるユーザの姿態仮想画像の生成システムの動作原理図であり、図６に示すように、この姿態仮想画像の生成システム１０は、ユーザの第１部位の複数のキー領域の初期画像をそれぞれ撮影する複数の画像捕捉装置１１と、複数の画像捕捉装置１１により撮影された複数のキー領域の初期画像を取得し、第１部位の仮想画像を生成する前記ユーザの姿勢仮想画像の生成装置１２と、を含む。

【0046】

本願によるユーザの姿態仮想画像の生成システムは、仮想現実機器、拡張ディスプレイ機器、複合現実機器など、ヒューマンコンピュータインタラクションを必要とするあらゆるシーンに適用することができる。

【0047】

本願の一実施例では、図７に示すように、複数の画像捕捉装置１１は、目初期画像を捕捉する第１画像捕捉装置１１１と、口初期画像を捕捉する第２画像捕捉装置１１２と、を含む。第１画像捕捉装置によって捕捉された目初期画像及び第２画像捕捉装置によって捕捉された口初期画像は、姿態仮想画像の生成装置に送信され、姿態仮想画像の生成装置は、口初期画像及び目初期画像に基づいて、ユーザの顔表情仮想画像を生成し、顔表情仮想画像を生成する具体的な生成方法は、上記した姿態仮想画像の生成方法で説明したとおりであり、ここでは詳しく説明しない。

【0048】

任意選択に、ユーザの顔表情をよりリアルなものにするために、第１画像捕捉装置は、左目の左目初期画像及び右目の右目初期画像をそれぞれ捕捉する第１サブ画像捕捉装置及び第２サブ画像捕捉装置を含む。

【0049】

本願の別の実施例では、複数の画像捕捉装置は、肢体初期画像を捕捉する第３画像捕捉装置をさらに含み、すなわち、複数の画像捕捉装置は、第１画像捕捉装置と、第２画像捕捉装置と、第３画像捕捉装置とを含み、該第１画像捕捉装置、第２画像捕捉装置、及び第３画像捕捉装置は、ユーザの目初期画像、口初期画像、及び肢体初期画像をそれぞれ取得し、目初期画像、口初期画像、及び肢体初期画像は、姿態仮想画像の生成装置に送信され、姿態仮想画像の生成装置は、口初期画像、目初期画像及び肢体初期画像に基づいて、ユーザの身体仮想画像を生成し、身体仮想画像を生成する具体的な生成方法は、上記した姿態仮想画像の生成方法で説明したとおりであり、ここでは詳しく説明しない。本願では、３つの画像捕捉装置を用いて、ユーザの３つの重要な第１部位（目、口及び肢体）の初期画像をそれぞれ捕捉し、ユーザの身体仮想画像を生成する。

【0050】

任意選択に、ユーザの身体仮想画像をよりリアルなものにするために、第３画像捕捉装置は、ユーザの左肢の左肢画像及び右肢の右肢画像をそれぞれ捕捉する第３サブ画像捕捉装置及び第４サブ画像捕捉装置を含む。

【0051】

任意選択に、ユーザの身体仮想画像をよりリアルなものにするために、第３サブ画像捕捉装置は、ユーザの左上肢の左上肢初期画像及び左下肢の左下肢初期画像をそれぞれ捕捉する左上肢画像捕捉装置及び左下肢画像捕捉装置をさらに含んでもよい。

【0052】

同様に、第４サブ画像捕捉装置は、ユーザの右上肢初期画像及び右下肢初期画像をそれぞれ捕捉する右上肢画像捕捉装置及び右下肢予想捕捉装置をさらに含んでもよい。

【0053】

任意選択に、上記のいずれの画像捕捉装置（例えば、第１画像捕捉装置、第２画像捕捉装置、第３画像捕捉装置、第１サブ画像捕捉装置、第２サブ画像捕捉装置、第３サブ画像捕捉装置、第４サブ画像捕捉装置）も、カメラなどの別個の撮像装置としてもよい。

【0054】

なお、ユーザの異なる第１部位の異なるキー領域の初期画像を複数の撮像装置でそれぞれ撮影する場合、撮像装置の位置は、具体的に撮影する第１部位に応じて配置する必要があり、例えば、目初期画像を撮影するための撮像装置は、目の直前に配置されてもよく、この姿態仮想画像の生成システムがヘッドマウント仮想現実機器に使用される場合、目初期画像を撮影するための撮像装置は、ヘッドマウントアセンブリ内に配置される必要がある。

【0055】

例示的な機器
図８は、本願による仮想現実機器の動作原理図であり、図８に示すように、この仮想現実機器は、上記した姿態仮想画像の生成システム１０と、姿態仮想画像の生成システムにより生成された仮想画像を表示する表示装置２０とを含む。

【0056】

任意選択に、仮想現実機器は、ユーザの頭部に装着するためのヘッドマウントアセンブリをさらに含み、ここで、表示装置は、ヘッドマウントアセンブリ内に配置されている。

【0057】

任意選択に、複数の画像捕捉装置は目初期画像を捕捉する第１画像捕捉装置を含み、第１画像捕捉装置はヘッドマウントアセンブリ内に配置されている。

【0058】

任意選択に、複数の画像捕捉装置は口初期画像を捕捉する第２画像捕捉装置を含み、前記第２画像捕捉装置はヘッドマウントアセンブリ外に配置されている。

【0059】

任意選択に、前記複数の画像捕捉装置は肢体初期画像を捕捉する第３画像捕捉装置を含み、前記第３画像捕捉装置はヘッドマウントアセンブリ内に配置されている。

【0060】

例示的な電子機器
次に、図９を参照して、本願の実施例に係る電子機器について説明する。図９は本願の一実施例による電子機器の構造概略図である。

【0061】

図９に示すように、電子機器６００は、１つ又は複数のプロセッサ６０１及びメモリ６０２を含む。

【0062】

プロセッサ６０１は、中央処理装置（ＣＰＵ）、又はデータ処理能力及び／又は情報実行能力を有する他の形態の処理装置としてもよく、所望の機能を実行するように電子機器６００内の他のコンポーネントを制御してもよい。

【0063】

メモリ６０１は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含むことができる１つ又は複数のコンピュータプログラム製品を含んでもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）等を含んでもよい。前記不揮発性メモリは、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ読み取り可能な記憶媒体には、１つ又は複数のコンピュータプログラム情報が記憶されてもよく、プロセッサ６０１は、上記した本願の様々な実施例のユーザの姿態仮想画像の生成方法又は他の所望の機能を実現するために、前記プログラム情報を実行してもよい。

【0064】

一例では、電子機器６００は、バスシステム及び／又は他の形態の接続機構（図示せず）を介して相互接続された入力装置６０３及び出力装置６０４をさらに含んでもよい。

【0065】

該入力装置６０３は、例えば、キーボード、マウスなどを含んでもよい。

【0066】

該出力装置６０４は、各種情報を外部に出力することができる。該出力装置６０４は、例えば、ディスプレイ、通信ネットワーク、及び接続された遠隔出力機器などを含んでもよい。

【0067】

もちろん、簡略化のために、図９には、本願に関連する電子機器６００のコンポーネントの一部のみが示されており、バス、入出力インターフェースなどのコンポーネントは省略されている。さらに、特定の用途に応じて、電子機器６００は、他の任意の適切なコンポーネントを含んでもよい。

【0068】

上記の方法及び機器に加えて、本願の実施例はまた、プロセッサによって実行されると本明細書に記載された本願の様々な実施例に係るユーザの姿態仮想画像の生成方法におけるステップをプロセッサに実行させるコンピュータプログラム情報を含むコンピュータプログラム製品であってもよい。

【0069】

前記コンピュータプログラム製品は、本願の実施例の動作を実行するためのプログラムコードを１つ又は複数のプログラミング言語の任意の組み合わせでプログラミングすることができ、前記プログラミング言語には、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語が含まれ、「Ｃ」言語などの従来の手続き型プログラミング言語や類似のプログラミング言語も含まれる。プログラムコードは、完全にユーザ計算機器上で、部分的にユーザ計算機器上で、独立したソフトウェアパッケージとして、部分的にユーザ計算機器上、部分的に遠隔計算機器上で、又は完全に遠隔計算機器又はサーバ上で実行することができる。

【0070】

さらに、本願の実施例は、プロセッサによって実行されると、本願の様々な実施例に係るユーザの姿態仮想画像の生成方法におけるステップをプロセッサに実行させるコンピュータプログラム情報を記憶したコンピュータ読み取り可能な記憶媒体であってもよい。

【0071】

前記コンピュータ読み取り可能な記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用してもよい。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体としてもよい。読み取り可能な記憶媒体は、例えば、電気的、磁気的、光的、電磁的、赤外線的、又は半導体的なシステム、装置又はデバイス、又は任意の複数の組み合わせを含むことができるが、これらに限定されない。読み取り可能な記憶媒体のより具体例（非網羅的なリスト）には、１つ又は複数のワイヤを有する電気的接続、携帯型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを有する。

【0072】

なお、以上、具体的な実施例を参照して本願の基本原理を説明したが、本願に記載されている利点、優位性、効果等は、限定されるものではなく、例示にすぎず、本願の様々な実施例に必須であるとは考えられない。また、上記開示の具体的な詳細は、例示する役割及び理解しやすくする役割に過ぎず、限定的なものではなく、上記の詳細は、本願が上記の具体的な詳細を使用して実施されなければならないことを限定するものではない。

【0073】

本願に係るデバイス、装置、機器、システムのブロック図は、例示的な例としてのみ使用され、ブロック図に示されるように接続、配置、構成されることを要求又は示唆することを意図していない。当業者が理解するように、これらのデバイス、装置、機器、システムは、任意の方法で接続、配置、構成されてもよい。「含む」、「包含」、「有する」などの用語は、「含むが限定されない」を意味するオープンな用語であり、これと交換して使用することができる。ここで使用される用語「又は」と「及び」は用語「及び／又は」を意味し、文脈がそうでないことを明示的に示していない限り、これと交換して使用することができる。本願で使用される「例えば」という用語は、「例えば、限定されないが」というフレーズを指し、それと交換して使用することができる。

【0074】

なお、本願の装置、機器、及び方法では、各部材又はステップが分解及び／又は再構成可能である。これらの分解した及び／又は再構成したものは、本願の同等のものとみなされる。

【0075】

開示された態様の上記の説明は、当業者が本願を作成又は使用することを可能にするために提供される。これらの態様の様々な修正は当業者にとって非常に明らかなことであり、本願で定義される一般的原理は、本願の範囲を逸脱することなく他の態様に適用することができる。したがって、本願は、本願に示された態様に限定されることを意図するものではなく、本発明の原理及び新規な特徴と一致する最も広い範囲に従ったものである。

【0076】

上記は、本願発明の好ましい実施例に過ぎず、本願発明を限定するものではなく、本願発明の趣旨及び原則の範囲内で行われた修正、均等置換等は、本願発明の特許範囲に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】