(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-25
(54)【発明の名称】データ処理方法、装置、電子機器及び記憶媒体
(51)【国際特許分類】
G06F 3/01 20060101AFI20240718BHJP
G06T 19/00 20110101ALI20240718BHJP
G06F 3/04815 20220101ALI20240718BHJP
G06F 3/0486 20130101ALI20240718BHJP
G06Q 30/0601 20230101ALI20240718BHJP
【FI】
G06F3/01 510
G06T19/00 A
G06F3/04815
G06F3/0486
G06Q30/0601
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023579026
(86)(22)【出願日】2022-08-23
(85)【翻訳文提出日】2023-12-21
(86)【国際出願番号】 CN2022114298
(87)【国際公開番号】W WO2023035935
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】202111044347.2
(32)【優先日】2021-09-07
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ヂョウ,チャオ
(72)【発明者】
【氏名】ワン,フォンウェイ
【テーマコード(参考)】
5B050
5E555
5L030
【Fターム(参考)】
5B050AA03
5B050BA08
5B050BA09
5B050BA12
5B050CA01
5B050DA01
5B050EA10
5B050EA26
5B050FA02
5B050FA05
5E555AA25
5E555AA27
5E555AA71
5E555BA01
5E555BA04
5E555BB01
5E555BB04
5E555BC04
5E555BE17
5E555CA12
5E555CA42
5E555CA44
5E555CA47
5E555CB08
5E555CB12
5E555CC03
5E555DA01
5E555DA23
5E555DA24
5E555DB53
5E555DC18
5E555DC32
5E555DD05
5E555FA00
5L030BB47
5L030BB66
(57)【要約】
本開示の実施例は、データ処理方法、装置、電子機器及び記憶媒体を開示し、該方法は、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することと、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを含む。本開示によるデータ処理方法、試着オブジェクトに対する仮想試着を実現し、ユーザの操作が容易になる。
【特許請求の範囲】
【請求項1】
データ処理方法であって、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得することと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを含む、ことを特徴とするデータ処理方法。
【請求項2】
前記試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することは、
第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得することと、
第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得することと、
前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項4】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、
設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成することと、
予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成することと、
前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成することとを含む、ことを特徴とする請求項3に記載の方法。
【請求項5】
前記試着オブジェクトは、靴を含み、前記試着オブジェクトのモデルは、左足靴モデルと右足靴モデルとを含み、前記予め設定された部位モデルは、左足モデルと右足モデルとを含み、
前記リソースファイルは、左足リソースファイルと右足リソースファイルとを含み、前記オブジェクトファイルは、左足のオブジェクトファイルと右足のオブジェクトファイルとを含む、ことを特徴とする請求項1~請求項4のいずれか1項に記載の方法。
【請求項6】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、
前記左足のオブジェクトファイルを前記エフェクトエディタの左足ノードにドラッグする操作に応答し、前記左足ノードにレンダリングコンポーネントを追加することと、
前記右足のオブジェクトファイルを前記エフェクトエディタの右足ノードにドラッグする操作に応答し、前記右足ノードにレンダリングコンポーネントを追加することとを含む、ことを特徴とする請求項5に記載の方法。
【請求項7】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿勢を前記姿勢コンポーネントに伝達することをさらに含み、
ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部位置と姿勢を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる、ことを特徴とする請求項5に記載の方法。
【請求項8】
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることは、
前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を調整することを含む、ことを特徴とする請求項7に記載の方法。
【請求項9】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加することをさらに含む、ことを特徴とする請求項5に記載の方法。
【請求項10】
前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成することと、
前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現することとをさらに含む、ことを特徴とする請求項5に記載の方法。
【請求項11】
データ処理装置であって、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得するための処理モジュールと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加するための第1の追加モジュールと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングするためのレンダリングモジュールとを含む、ことを特徴とするデータ処理装置。
【請求項12】
電子機器であって、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置と、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに請求項1~請求項10のいずれか1項に記載の方法を実現させる、ことを特徴とする電子機器。
【請求項13】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、請求項1~請求項10のいずれか1項に記載の方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本願は、2021年09月07日に提案され、出願番号が202111044347.2、発明名称が「データ処理方法、装置、電子機器及び記憶媒体」の中国特許出願の優先権を主張し、該出願のすべての内容は、援用により本願に取り込まれる。
【0002】
本開示は、情報技術分野に関し、特にデータ処理方法、装置、電子機器及び記憶媒体に関する。
【背景技術】
【0003】
拡張現実技術の持続的な発展に伴い、機器ユーザは、電子機器例えば端末におけるアプリケーションプログラムを用いて仮想試着の効果を実現することができる。例えば、靴、服、アクセサリーなどを試着し、それにより機器ユーザは、家を出ずに満足できる製品を選択することができる。
【0004】
しかし、従来の仮想試着機能の実現過程は複雑である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記技術課題を解決する又は上記技術課題を少なくとも部分的に解決するために、本開示の実施例は、データ処理方法、装置、電子機器及び記憶媒体を提供し、試着オブジェクトに対する仮想試着を実現する。
【課題を解決するための手段】
【0006】
第1の態様によれば、本開示の実施例は、エフェクトエディタに用いられるデータ処理方法を提供し、該方法は、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを含む。
【0007】
第2の態様によれば、本開示の実施例は、データ処理装置をさらに提供し、該装置は、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得するための処理モジュールと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加するための第1の追加モジュールと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングするためのレンダリングモジュールとを含む。
【0008】
第3の態様によれば、本開示の実施例は、電子機器をさらに提供し、前記電子機器は、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに以上に記載のデータ処理方法を実現させる。
【0009】
第4の態様によれば、本開示の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体をさらに提供し、該プログラムがプロセッサにより実行されると、以上に記載のデータ処理方法を実現する。
【発明の効果】
【0010】
本開示の実施例による技術的解決手段は、従来技術に比べて下記利点を少なくとも有する。
【0011】
本開示の実施例によるデータ処理方法では、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得し、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加し、前記レンダリングコンポーネントレンダリングに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルの試着画像に装着し、すなわちユーザが試着オブジェクトのリソースファイルをエフェクトエディタにインポートすると、エフェクトエディタは、自動的にリソースファイルに対して解析及びフォーマット変換を行い、エフェクトエディタに適合するオブジェクトファイルを取得し、その後に、ユーザは、オブジェクトファイルをエフェクトエディタの予め設定されたノードにドラッグし、エフェクトエディタは、該予め設定されたノードにレンダリングコンポーネントを自動的に追加し、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングし、試着オブジェクトに対する仮想試着を実現し、ユーザ操作を簡略化する。
【図面の簡単な説明】
【0012】
図面を併せて、以下の具体的な実施例を参照すると、本開示の各実施例の上記及びその他の特徴、利点、及び態様がより明らかになる。図面にわたって、同一又は類似の符号は同一又は類似の要素を表す。図面は概略的であり、部材と要素は必ずしも比例して描かれていないことを理解すべきである。
【
図1】本開示の実施例におけるデータ処理方法のフローチャートである。
【
図2】本開示の実施例におけるリソースファイルを処理するフローチャートである。
【
図3】本開示の実施例における左足ノードと右足ノードの概略図である。
【
図4】本開示の実施例における仮想試着効果の概略図である。
【
図5】本開示の実施例におけるデータ処理装置の構造概略図である。
【
図6】本開示の実施例における電子機器の構造概略図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本開示の実施例についてより詳細に説明する。図面には本開示のいくつかの実施例が示されているが、本開示は様々な形態で実現でき、本開示に述べられる実施例に限定されると解釈すべきではなく、むしろ、これらの実施例は、本開示をより透過的かつ完全に理解するために提供されることを理解すべきである。本開示の図面及び実施例は、例示的な作用のためだけに使用され、本開示の保護範囲を制限するために使用されるものではないことを理解されたい。
【0014】
理解すべきこととして、本開示の方法の実施形態に記載の各ステップは、異なる順序で実行されてもよい及び並列に実行されてもよい。なお、方法の実施形態は、追加のステップを含んでもよい及び/又は図示されたステップの実行を省略してもよい。本開示の範囲はこの点において制限されない。
【0015】
本明細書で使用される用語「含む」及びその変形は、「含むが、限定されない」という開放的な包含である。用語「に基づく」は「少なくとも部分的に基づく」である。用語「1つの実施例」は、「少なくとも1つの実施例」を意味し、用語「別の実施例」は、「少なくとも1つのまたの実施例」を意味し、用語「いくつかの実施例」は、「少なくともいくつかの実施例」を意味する。他の用語の関連定義は、以下の説明において提供される。
【0016】
注意すべきこととして、本開示において言及されている「第1」、「第2」などの概念は、異なる装置、モジュール又はユニットを区別するためだけに使用され、これらの装置、モジュール又はユニットが実行する機能の順序又は相互依存関係を限定するために使用されるものではない。
【0017】
注意すべきこととして、本開示において言及されている「1つ」、「複数」の修飾は限定ではなく概略的であり、文脈で特に明示的に指摘されない限り、「1つ又は複数」と理解すべきであることを当業者は理解すべきである。
【0018】
本開示の実施形態における複数の装置の間でインタラクションされるメッセージ又は情報の名称は、例示的な目的のためにのみ使用され、これらのメッセージ又は情報の範囲を制限するために使用されるものではない。
【0019】
図1は、本開示の実施例におけるデータ処理方法のフローチャートである。該方法は、データ処理装置により実行されてもよく、該装置は、ソフトウェア及び/又はハードウェアの方式で実現されてもよく、該装置は、電子機器、例えば表示端末に配置されてもよく、具体的に、スマートフォン、パームトップパソコン、タブレットPC、ポータブル装着可能機器、スマートホーム機器(例えばスタンド)など、ディスプレイを備える電子機器を含むがこれらに限定されない。
【0020】
図1に示すように、該方法は、具体的に下記ステップを含んでもよい、
ステップ110において、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得する。
【0021】
ここで、試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである。3次元物体追跡機器は、3次元物体追跡アルゴリズムを実行する機器を意味する。3次元物体追跡アルゴリズムは、コンピュータ視覚においてよく使われるアルゴリズムであり、ビデオ監視、人間とコンピュータの相互作用、無人運転などの分野に幅広くに用いられる。
【0022】
試着オブジェクトのリソースファイルは、試着オブジェクトを記憶する3次元モデルに関連するファイルを意味する。3次元物体追跡アルゴリズムに基づいて試着オブジェクトの3次元モデル及び関連リソース(例えばマップリソース)を取得することによって、3次元モデルの取得効率を向上させ、3次元モデルの取得難易度を低減させ、モデリングの人件費を節約する。
【0023】
試着オブジェクトが靴であることを例にして、3次元物体追跡機器によりそれぞれ左足靴と右足靴を追跡して、3次元フォーマットの左足モデルのリソースファイルと右足モデルのリソースファイルを取得する。該3次元フォーマットのリソースファイルは、通常、usdzファイルである。usdzは、iosプラットフォームにおける拡張現実ファイルフォーマットであり、3次元情報のためにサービシングし、usdzファイル自体は、コンテナとして機能することができ、その内容に必要な多くのツールを正しく表示するために、コンピュータが開くことができるフォーマットが含まれる。言い換えれば、usdzファイルは、3次元レンダリングを実現するためのリソースベースである。左足モデルのリソースファイルと右足モデルのリソースファイルは、靴の3次元モデルを含むほか、靴のマップリソースをさらに含む。マップは、グラフィックス名詞であり、3次元モデルをレンダリングする際に使用されるテクスチャリソースを指し、マップがあれば、3次元モデルにパターンや色などの模様をレンダリングすることができ、さらに3次元モデルの細部における凹凸さなどをシミュレートすることができる。概括的には、ユーザは、3D Object Tracking機器を用いて、靴モデル、マップなどのリソースを持つ左足usdzファイルと右足usdzファイルを収集する。
【0024】
usdzファイルを取得した後、ユーザがそれをエフェクトエディタにインポートすればよく、エフェクトエディタは、ユーザがusdzファイルをインポートする操作を検出すると、インポートされたusdzファイルに対して自動解析とフォーマット変換処理を行って、ファイルフォーマット又はデータフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得する。usdzファイルを複数のリソースの圧縮ファイルとみなすことができ、解凍後、そのマップリソースとモデルリソースを得、すなわち細分化されたリソースを抽出することができる。そのモデルリソースは、指定されたデータ構造がある。iosシステム自体は、usdzファイルを開き且つusdzファイルをobjファイルとしてエクスポートすることをサポートし、サードパーティの実行可能なプログラムは、usdzファイルをfbxファイルとしてエクスポートすることをサポートする。汎用フォーマット(例えばobj、fbx)のモデルファイルに対して、ファイル解析プログラムライブラリが公式に提供されている。従って、ファイル解析プログラムライブラリの提供するインターフェースに基づいて、指定されたフォーマットのモデルファイルを解析して、3次元モデルの頂点位置、テクスチャ座標、法線ベクトルなどのモデル詳細データを抽出することができ、さらに抽出されたモデル詳細データに基づいて新しいデータ構造を構成することで、異なるエンジンのモデルリソースオブジェクトとマッチングすることができる。ユーザが試着オブジェクトのリソースファイルをエフェクトエディタにインポートする時、エフェクトエディタは、リソースファイルの接尾辞に基づいてそのファイルフォーマットを決定し、さらに対応するファイル解析プログラムライブラリの提供するインターフェースを用いて、それに対して対応する解析を行って、そのモデル詳細データを抽出することができる。例えば、エフェクトエディタには、サードパーティのusdzパーサーとfbxパーサーが集積されてもよく、ユーザによりインポートされたリソースファイルがusdzファイルである場合、エフェクトエディタは、まずusdzパーサーに基づいてusdzファイルをfbxファイルに変換し、次にfbxパーサーに基づいてfbxファイルを解析操作し、そのモデル詳細データを抽出し、抽出したモデル詳細データに基づいてエフェクトエディタに適合するデータ構造を構成する。最終的に表示されるのは、エフェクトエディタに適合するモデルファイルとマップファイルである。全過程において、ユーザは、ファイル解析及びフォーマット変換操作を行うことなく、リソースファイルをインポートすればよく、ユーザの操作難易度を簡略化する目的を実現することができる。
【0025】
概括的には、前記の、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することは、以下のことを含む。
【0026】
第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得し、すなわちusdzパーサーに基づいてusdzファイルをfbxファイルに変換する。第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得し、すなわちfbxパーサーに基づいてfbxファイルからモデル詳細データを抽出する。前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成する。
【0027】
これに応じて、
図2に示す、リソースファイルを処理し、ファイルフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得する過程概略図を参照すると、ユーザによりインポートされたリソースファイルは、usdzファイルであり、エフェクトエディタは、usdzパーサーusdz parserに基づいてusdzファイルをfbxファイル(すなわちモデルファイル)とpngファイル(マップファイル)に変換し、fbxファイルパーサーfbx parserに基づいてfbxファイルからモデル詳細データを抽出し、エフェクトエディタに適合するローカルモデル構造meshを構成し、pngパーサーpng readerに基づいてpngファイルにおけるリソースをエフェクトエディタに適合するローカルリソースtextureに変換する。ここで、グリッドmeshは、3次元モデルの一般的な構造であり、3次元モデルの表面は、通常、それぞれ3つのノードと3つの辺とからなる、相互に接続された複数の三角面から構成されているので、3次元モデルは、ノードと辺とから構成されているものとして理解されてもよく、3次元モデルを構成するノード及び辺の集合は、meshである。
【0028】
ステップ120において、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加する。
【0029】
例示的に、前記の、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、
設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成することと、予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成することと、前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成することとを含む。
【0030】
すなわちレンダリングコンポーネントは、2つのリソースを引用する必要があり、1つは、モデルリソース(すなわち前記モデルサブファイル)であり、もう1つは材質リソース(すなわち前記予め設定された材質リソースファイル)である。ユーザが前記オブジェクトファイルをエフェクトエディタの予め設定されたノードにドラッグする時、エフェクトエディタは、前記予め設定されたノードにレンダリングコンポーネントを自動的に追加し、同時にモデルサブファイルをレンダリングコンポーネントの引用リソースとしてレンダリングコンポーネントに伝送し、また、予め設定された材質リソースファイルサブノードを新規作成し、この時、ユーザは、マップサブファイルを該サブノードにドラッグして、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成する必要がある。3次元モデルのレンダリング効果は、レンダリングコンポーネントにより引用された材質リソースによって決定され、エフェクトエディタは、PBR材質を提供し、すなわち前記予め設定された材質リソースは、PBR材質であってもよく、PBR材質は、金属球、織物、木製品などの様々な物理的効果に設定されてもよく、靴の質感を含む。
【0031】
ステップ130において、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングする。
【0032】
試着オブジェクトが靴であることを例に上記過程を説明し、ユーザは、3D Object Tracking機器を使用して、靴モデル、マップなどのリソースを持つ左足のusdzファイルと右足のusdzファイルを収集し、ユーザは、左足のusdzファイルと右足のusdzファイルのそれぞれをエフェクトエディタにインポートし、エフェクトエディタは、左足のusdzファイルを処理して左足のオブジェクトファイルを取得し、右足のusdzファイルを処理して右足のオブジェクトファイルを取得し、その後に、ユーザは、左足のオブジェクトファイルをエフェクトエディタの左足ノードにドラッグし、右足のオブジェクトファイルをエフェクトエディタの右足ノードにドラッグし、エフェクトエディタは、左足ノードと右足ノードのそれぞれにレンダリングコンポーネントを追加し、左足ノードのレンダリングコンポーネントと左足のモデルサブファイルとの引用関係を作成し、右足ノードのレンダリングコンポーネントと右足のモデルサブファイルとの引用関係を作成し、同時に左足ノードに対応するPBR材質リソース及び右足ノードに対応するPBR材質リソースのそれぞれを新規作成し、ユーザは、さらに左足のマップサブファイルを左足ノードに対応するPBR材質リソースにドラッグして、左足ノードに対応するPBR材質リソースと左足のマップサブファイルとの引用関係を作成し、ユーザは、右足のマップサブファイルを右足ノードに対応するPBR材質リソースにドラッグして、右足ノードに対応するPBR材質リソースと右足のマップサブファイルとの引用関係を作成する。例示的に、
図3に示す左足ノードと右足ノードの概略図を参照し、左足ノード310、左足モデル311、右足ノード320及び右足モデル321が含まれる。以上のように、ユーザが靴に対応するリソースファイルを対応するノードにドラッグするだけで、靴の仮想試着画像を見ることができ、ユーザの操作が容易になり、ユーザが身近なエンティティ靴の仮想試着効果を迅速に作成することができ、操作難易度が低い。
【0033】
いくつかの実施形態において、前記データ処理方法は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿態を前記姿勢コンポーネントに伝達することをさらに含み、ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部のリアルタイムな位置と姿態を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる。例えば試着部位は、固定された足モデルではなく、カメラによりリアルタイムに撮影されるユーザ足部であり、姿勢コンポーネントは、予め設定された足部検出アルゴリズムに基づいて3次元靴モデルのレンダリング位置を提供する必要がある。
【0034】
いくつかの実施形態において、リアルな仮想試着効果を得、靴モデルと足モデルとの密着度を改善するために、靴モデルの座標原点と足モデルの座標原点を調整する必要があり、具体的には、前記の、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることは、前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を調整することを含む。具体的には、靴の3次元モデルの千以上の頂点データに基づいて、靴の3次元モデルを囲むことができる矩形輪郭を決定し、靴の3次元モデルの矩形輪郭と足モデルの矩形輪郭との比に基づいて、靴の3次元モデルのスケーリング率を決定し、同時に靴の3次元モデルの矩形輪郭の座標原点に対するずれに基づいて、靴の3次元モデルの修正すべき位置を決定し、該位置を姿勢コンポーネントに提供して、足モデルの大きさに適合する靴の3次元モデルをレンダリングし、靴の3次元モデルと足モデルとの密着度を改善する。
【0035】
いくつかの実施形態において、さらにリアルな仮想試着効果を得るために、エフェクトエディタには、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルが集積されることで、仮想試着効果がよりリアルになる。具体的には、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加する。例示的に、
図4に示す仮想試着効果の概略図を参照すればよく、ふくらはぎモデルにより実現される、ふくらはぎを遮蔽する効果が含まれ、仮想試着効果がよりリアルになることを実現する。
【0036】
いくつかの実施形態において、クライアントにおいて仮想試着機能を実現するために、前記方法は、前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各前記ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成し、例えば材質リソースファイルがマップサブファイルを引用し、レンダリングコンポーネントがモデルサブファイルと材質リソースファイルを引用し、姿勢コンポーネントが足部検出アルゴリズムなどを引用することと、前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現することとをさらに含む。具体的には、クライアントが仮想試着を行う時、姿勢コンポーネントによってユーザの足部位置と姿態をリアルタイムに取得し、レンダリングコンポーネントは、ユーザの足部位置と姿態に基づいて靴の3次元モデルをレンダリングする。
【0037】
本開示の実施例によるデータ処理方法では、ユーザが試着オブジェクトのリソースファイルをエフェクトエディタにインポートすると、エフェクトエディタは、自動的にリソースファイルに対して解析及びフォーマット変換を行い、エフェクトエディタに適合するオブジェクトファイルを取得し、その後に、ユーザは、オブジェクトファイルをエフェクトエディタの予め設定されたノードにドラッグし、エフェクトエディタは、該予め設定されたノードにレンダリングコンポーネントを自動的に追加し、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングし、試着オブジェクトに対する仮想試着を実現し、ユーザ操作を簡略化する。
【0038】
図5は、本開示の実施例におけるデータ処理装置の構造概略図である。
図5に示すように、該データ処理装置は、具体的に、処理モジュール510と、第1の追加モジュール520と、レンダリングモジュール530とを含む。
【0039】
ここで、処理モジュール510は、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得するために用いられ、第1の追加モジュール520は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加するために用いられ、レンダリングモジュール530は、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングするために用いられる。
【0040】
選択可能に、前記試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである。
【0041】
選択可能に、処理モジュール510は、第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得するための変換ユニットと、第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得するための解析ユニットと、前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成するための生成ユニットとを含む。
【0042】
選択可能に、第1の追加モジュール520は、設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成するためのロードユニットと、予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成するための新規作成ユニットと、前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成するための作成ユニットとを含む。
【0043】
選択可能に、前記試着オブジェクトは、靴を含み、前記試着オブジェクトのモデルは、左足靴モデルと右足靴モデルとを含み、前記予め設定された部位モデルは、左足モデルと右足モデルとを含み、前記リソースファイルは、左足リソースファイルと右足リソースファイルとを含み、前記オブジェクトファイルは、左足のオブジェクトファイルと右足のオブジェクトファイルとを含む。
【0044】
選択可能に、第1の追加モジュール520は、具体的に、前記左足のオブジェクトファイルを前記エフェクトエディタの左足ノードにドラッグする操作に応答し、前記左足ノードにレンダリングコンポーネントを追加し、前記右足のオブジェクトファイルを前記エフェクトエディタの右足ノードにドラッグする操作に応答し、前記右足ノードにレンダリングコンポーネントを追加するために用いられる。
【0045】
選択可能に、前記装置は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿勢を前記姿勢コンポーネントに伝達するための第2の追加モジュールをさらに含み、ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部位置と姿勢を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる。
【0046】
選択可能に、レンダリングモジュール530は、具体的に、前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を改善するために用いられる。
【0047】
選択可能に、前記装置は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加するための第3の追加モジュールをさらに含む。
【0048】
選択可能に、前記装置は、前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各前記ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成するための生成モジュールと、前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現するためのアップロードモジュールとをさらに含む。
【0049】
本開示の実施例によるデータ処理装置では、ユーザが試着オブジェクトのリソースファイルをエフェクトエディタにインポートすると、エフェクトエディタは、自動的にリソースファイルに対して解析及びフォーマット変換を行い、エフェクトエディタに適合するオブジェクトファイルを取得し、その後に、ユーザは、オブジェクトファイルをエフェクトエディタの予め設定されたノードにドラッグし、エフェクトエディタは、該予め設定されたノードにレンダリングコンポーネントを自動的に追加し、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングし、試着オブジェクトに対する仮想試着を実現し、ユーザ操作を簡略化する。
【0050】
本開示の実施例によるデータ処理装置は、本開示方法の実施例によるデータ処理方法におけるステップを実行することができ、備える実行ステップと有益な効果は、ここでこれ以上説明しない。
【0051】
図6は、本開示の実施例における電子機器の構造概略図である。以下、具体的に
図6を参照すると、本開示の実施例を実現するために適する電子機器600の構造概略図を示す。本開示の実施例における電子機器600は、携帯電話、ノートパソコン、デジタル放送受信機、PDA(パーソナルデジタルアシスタント)、PAD(タブレットPC)、PMP(ポータブルマルチメディアプレーヤー)、車載端末(例えば車載ナビゲーション端末)、装着可能な電子機器などの移動端末及びデジタルTV、デスク型コンピュータ、スマートホーム機器などの固定端末を含んでもよいが、それらに限らない。
図6に示す電子機器はただ一例に過ぎず、本開示の実施例の機能と使用範囲に何ら制限を与えるものではない。
【0052】
図6に示すように、電子機器600は、リードオンリーメモリ(ROM)602に記憶されるプログラム又は記憶装置608からランダムアクセスメモリ(RAM)603にロードされるプログラムに基づいて、様々な適切な動作と処理を実行して、本開示に記載の実施例の方法を実現することができる処理装置(例えば中央プロセッサ、グラフィックスプロセッサなど)601を含んでもよい。RAM 603に電子機器600の操作に必要な様々なプログラムとデータがさらに記憶される。処理装置601、ROM 602及びRAM 603は、バス604を介して互いに接続されている。入出力(I/O)インターフェース605もバス604に接続されている。
【0053】
一般的には、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロなどを含む入力装置606、例えば液晶ディスプレイ(LCD)、スピーカ、振動機などを含む出力装置607、例えば磁気テープ、ハードディスクなどを含む記憶装置608、及び通信装置609は、I/Oインターフェース605に接続されてもよい。通信装置609は、電子機器600が他の機器とデータを交換するために無線又は有線通信することを可能にすることができる。
図6は、様々な装置を有する電子機器600を示しているが、理解すべきこととして、すべての示される装置を実施又は具備する必要はない。代替的に、より多く又はより少ない装置を実施又は具備することができる。
【0054】
特に、本開示の実施例によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実現することができる。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に乗せられるコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含み、それによって上記方法を実現する。このような実施例では、このコンピュータプログラムは、通信装置609を介してネットワークからダウンロードされてインストールされてもよいし、記憶装置608からインストールされてもよいし、ROM 602からインストールされてもよい。このコンピュータプログラムが処理装置601により実行される時、本開示の実施例の方法で限定される上記機能を実行する。
【0055】
説明すべきこととして、本開示の上記コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両方のいずれか組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、又はいずれか以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、1つ以上のワイヤを有する電気的な接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光メモリデバイス、磁気メモリデバイス、又は上記いずれかの適切な組み合わせを含んでもよいが、それらに限らない。本開示では、コンピュータ可読記憶媒体は、プログラム含む含又は記憶する任意の有形媒体であってもよく、このプログラムは、命令実行システム、装置又はデバイスにより使用されてもよく又はそれらと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードが乗せられている、ベースバンドで又はキャリアの一部として伝播されるデータ信号を含んでもよい。このような伝播されるデータ信号は、電磁信号、光信号又は上記いずれかの適切な組み合わせを含むが、それらに限らない様々な形式を採用してもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、このコンピュータ可読信号媒体は、命令実行システム、装置又はデバイスにより使用される又はそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、電線、光ケーブル、RF(無線周波数)など、又は上記いずれかの適切な組み合わせを含むが、それらに限らない、任意の適切な媒体で伝送されてもよい。
【0056】
いくつかの実施形態において、クライアント、サーバは、HTTP(HyperText Transfer Protocol、ハイパーテキスト伝送プロトコル)のような現在知られているネットワークプロトコル又は将来開発されるネットワークプロトコルを使用して通信し、且つ任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、広域エリアネットワーク(「WAN」)、エクストラネット(例えば、インターネット)及びエンドツーエンドネットワーク(例えば、ad hocエンドツーエンドネットワーク)、及び現在知られているネットワーク又は将来開発される任意のネットワークを含む。
【0057】
上記コンピュータ可読媒体は、上記電子機器に含まれてもよく、入この電子機器に組み込まれずに別個に存在してもよい。
【0058】
上記コンピュータ可読媒体に1つ又は複数のプログラムが乗せられており、上記1つ又は複数のプログラムが該電子機器により実行されると、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することと、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを該電子機器に実行させる。
【0059】
選択可能に、上記1つ又は複数のプログラムが該電子機器により実行されると、該電子機器は、さらに上記実施例に記載の他のステップを実行することができる。
【0060】
本開示の操作を実行するためのコンピュータプログラムコードは、1つ以上のプログラミング言語又はその組み合わせで記述することができ、上記プログラミング言語は、オブジェクト指向プログラミング言語、例えばJava、Smalltalk、C++を含むが、それらに限らず、一般的なプロシージャプログラミング言語、例えば「C」言語又は類似しているプログラミング言語をさらに含む。プログラムコードは、完全にユーザコンピュータ上で実行されてもよく、部分的にユーザコンピュータ上で実行されてもよく、1つの独立したソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータ上で部分的にリモートコンピュータ上で実行されてもよく、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含むいずれか種類のネットワークを介してユーザコンピュータに接続されてもよく、又は、外部コンピュータに接続(例えばインターネットサービスプロバイダを用いてインターネットを介して接続され)されてもよい。
【0061】
図面におけるフローチャートとブロック図は、本開示の様々な実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能と操作を図示する。この点で、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、このモジュール、プログラムセグメント、又はコードの一部は、規定される論理機能を実現するための1つ以上の実行可能命令を含む。注意すべきこととして、代替としてのいくつかの実現において、ブロックにマーキングされる機能は、図面にマーキングされる順序とは異なる順序で発生してもよい。例えば、連続的に示される2つのブロックは、実際に基本的に並列に実行されてもよく、関連する機能に応じて逆の順序で実行されてもよい。注意すべきこととして、ブロック図及び/又はフローチャートにおける各ブロック、及びブロック図及び/又はフローチャートにおけるブロックの組み合わせは、規定される機能又は操作を実行する、ハードウェアに基づく専用のシステムで実現されてもよく、又は専用ハードウェアとコンピュータ命令の組み合わせで実現されてもよい。
【0062】
本開示の実施例の記述に係るユニットは、ソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合にこのユニット自体の限定を構成しない。
【0063】
本明細書で上述した機能は、少なくとも部分的に1つ以上のハードウェア論理部材により実行されてもよい。例えば、非限定的に、使用できる例示的なタイプのハードウェア論理部材は、フィールドプログラマブルゲートアレイ(FPGA)、専用集積回路(ASIC)、特定用途向け汎用製品(ASSP)、システムオンチップ(SOC)、複雑プログラマブルロジックデバイス(CPLD)などを含む。
【0064】
本開示のコンテキストでは、マシン可読媒体は、命令実行システム、装置又は機器により使用される又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか、記憶することができる、有形の媒体であってもよい。マシン可読媒体は、マシン可読信号媒体又はマシン可読記憶媒体であってもよい。マシン可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限らない。マシン可読記憶媒体のより具体的な例は、1つ以上のワイヤに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。
【0065】
本開示の1つ又は複数の実施例によれば、本開示は、データ処理方法を提供し、このデータ処理方法は、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することと、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを含む。
【0066】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである。
【0067】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記の、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することは、第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得することと、第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得することと、前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成することとを含む。
【0068】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記の、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成することと、予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成することと、前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成することとを含む。
【0069】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記試着オブジェクトは、靴を含み、前記試着オブジェクトのモデルは、左足靴モデルと右足靴モデルとを含み、前記予め設定された部位モデルは、左足モデルと右足モデルとを含み、前記リソースファイルは、左足リソースファイルと右足リソースファイルとを含み、前記オブジェクトファイルは、左足のオブジェクトファイルと右足のオブジェクトファイルとを含む。
【0070】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記の、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、前記左足のオブジェクトファイルを前記エフェクトエディタの左足ノードにドラッグする操作に応答し、前記左足ノードにレンダリングコンポーネントを追加することと、前記右足のオブジェクトファイルを前記エフェクトエディタの右足ノードにドラッグする操作に応答し、前記右足ノードにレンダリングコンポーネントを追加することとを含む。
【0071】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿勢を前記姿勢コンポーネントに伝達することをさらに含み、ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部位置と姿勢を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる。
【0072】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記の、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることは、前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を改善することを含む。
【0073】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加することをさらに含む。
【0074】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理方法では、選択可能に、前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各前記ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成することと、前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現することとをさらに含む。
【0075】
本開示の1つ又は複数の実施例によれば、本開示は、データ処理装置を提供し、このデータ処理装置は、試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得するための処理モジュールと、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加するための第1の追加モジュールと、前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングするためのレンダリングモジュールとを含む。
【0076】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、前記試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである。
【0077】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、処理モジュールは、第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得するための変換ユニットと、第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得するための解析ユニットと、前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成するための生成ユニットとを含む。
【0078】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、第1の追加モジュールは、設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成するためのロードユニットと、予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成するための新規作成ユニットと、前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成するための作成ユニットとを含む。
【0079】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、前記試着オブジェクトは、靴を含み、前記試着オブジェクトのモデルは、左足靴モデルと右足靴モデルとを含み、前記予め設定された部位モデルは、左足モデルと右足モデルとを含み、前記リソースファイルは、左足リソースファイルと右足リソースファイルとを含み、前記オブジェクトファイルは、左足のオブジェクトファイルと右足のオブジェクトファイルとを含む。
【0080】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、第1の追加モジュールは、具体的に、前記左足のオブジェクトファイルを前記エフェクトエディタの左足ノードにドラッグする操作に応答し、前記左足ノードにレンダリングコンポーネントを追加し、前記右足のオブジェクトファイルを前記エフェクトエディタの右足ノードにドラッグする操作に応答し、前記右足ノードにレンダリングコンポーネントを追加するために用いられる。
【0081】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、前記装置は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿勢を前記姿勢コンポーネントに伝達するための第2の追加モジュールをさらに含み、ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部位置と姿勢を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる。
【0082】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、レンダリングモジュールは、具体的に、前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を改善するために用いられる。
【0083】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、前記装置は、前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加するための第3の追加モジュールをさらに含む。
【0084】
本開示の1つ又は複数の実施例によれば、本開示によるデータ処理装置では、選択可能に、前記装置は、前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各前記ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成するための生成モジュールと、前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現するためのアップロードモジュールとをさらに含む。
【0085】
本開示の1つ又は複数の実施例によれば、本開示は、電子機器を提供し、この電子機器は、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するためのメモリとを含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに本開示によるいずれかに記載のデータ処理方法を実現させる。
【0086】
本開示の1つ又は複数の実施例によれば、本開示は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサにより実行されると、本開示によるいずれかに記載のデータ処理方法を実現する。
【0087】
本開示の実施例は、コンピュータプログラム又は命令を含むコンピュータプログラム製品をさらに提供し、該コンピュータプログラム又は命令がプロセッサにより実行されると、以上に記載のデータ処理方法を実現する。
【0088】
以上の説明は、本開示の好適な実施例及び使用される技術原理の説明にすぎない。当業者であれば理解できるように、本開示に係る開示の範囲は、上記技術的特徴の特定の組み合わせによる技術的解決手段に限定されるものではなく、また、上記開示の構想を逸脱することなく、上記技術的特徴又はその同等の特徴を任意に組み合わせて形成された他の技術的解決手段、例えば、上記特徴と本開示に開示されている(但しこれに限定されない)類似の機能を有する技術的特徴とが互いに置き換えられて形成された技術的解決手段も包含すべきである。
【0089】
なお、各操作が特定の手順で描かれているが、これらの操作が図示された特定の手順又は順序で実行されるように要求されていると理解すべきではない。一定の環境下では、マルチタスクと並列処理が有利である可能性がある。同様に、上述には複数の具体的な実現詳細が含まれているが、これらは本開示の範囲の制限として解釈されるべきではない。単一の実施例のコンテキストに記述されたいくつかの特徴は、単一の実施例に組み合わせて実現されてもよい。逆に、単一の実施例のコンテキストに記述される様々な特徴は、複数の実施例において、単独で、又は任意の適切なサブコンビネーションで実現されてもよい。
【0090】
本主題は、構造的特徴及び/又は方法的論理動作に固有の言語を用いて説明されてきたが、添付の特許請求の範囲に規定された主題は、必ずしも上記特定の特徴又は動作に限定されるものではないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、特許請求の範囲を実現する例示的な形式にすぎない。
【手続補正書】
【提出日】2023-12-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データ処理方法であって、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得することと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることとを含む、ことを特徴とするデータ処理方法。
【請求項2】
前記試着オブジェクトのリソースファイルは、3次元物体追跡機器により前記試着オブジェクトの物理的エンティティを追跡して取得された3次元フォーマットのファイルである、ことを特徴とする請求項1に記載の方法。
【請求項3】
前記リソースファイルを処理し、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを取得することは、
第1の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記リソースファイルのフォーマットを第1のフォーマットに変換し、第1のフォーマットのリソースファイルを取得することと、
第2の予め設定されたファイル解析プログラムテーブルインターフェースに基づいて前記第1のフォーマットのリソースファイルを解析し、前記第1のフォーマットのリソースファイルに含まれるリソースオブジェクトの少なくとも2つのキーポイントを取得することと、
前記少なくとも2つのキーポイントに基づいて、前記試着オブジェクトのマップサブファイルとモデルサブファイルとを含む、ファイルフォーマットが前記エフェクトエディタに適合するオブジェクトファイルを生成することとを含む、ことを特徴とする請求項1に記載の方法。
【請求項4】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、
設定されたレンダリングコンポーネントを前記予め設定されたノードにロードし、前記モデルサブファイルを前記レンダリングコンポーネントに伝送して、前記レンダリングコンポーネントと前記モデルサブファイルとの引用関係を作成することと、
予め設定された材質リソースファイルサブノードを新規作成し、前記予め設定された材質リソースファイルと前記レンダリングコンポーネントとの引用関係を作成することと、
前記マップサブファイルを前記予め設定された材質リソースファイルサブノードにドラッグする操作に応答し、前記マップサブファイルと前記予め設定された材質リソースファイルとの引用関係を作成することとを含む、ことを特徴とする請求項3に記載の方法。
【請求項5】
前記試着オブジェクトは、靴を含み、前記試着オブジェクトのモデルは、左足靴モデルと右足靴モデルとを含み、前記予め設定された部位モデルは、左足モデルと右足モデルとを含み、
前記リソースファイルは、左足リソースファイルと右足リソースファイルとを含み、前記オブジェクトファイルは、左足のオブジェクトファイルと右足のオブジェクトファイルとを含む、ことを特徴とする請求項
1に記載の方法。
【請求項6】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加することは、
前記左足のオブジェクトファイルを前記エフェクトエディタの左足ノードにドラッグする操作に応答し、前記左足ノードにレンダリングコンポーネントを追加することと、
前記右足のオブジェクトファイルを前記エフェクトエディタの右足ノードにドラッグする操作に応答し、前記右足ノードにレンダリングコンポーネントを追加することとを含む、ことを特徴とする請求項5に記載の方法。
【請求項7】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに姿勢コンポーネントを追加し、姿勢コンポーネントと予め設定された足部検出アルゴリズムとの引用関係を作成することで、前記予め設定された足部検出アルゴリズムに基づいて決定された足部位置と姿勢を前記姿勢コンポーネントに伝達することをさらに含み、
ここで、前記予め設定された足部検出アルゴリズムは、ビデオフレームに基づいて足部位置と姿勢を決定するために用いられ、前記姿勢コンポーネントは、レンダリング時にレンダリング位置を提供するために用いられる、ことを特徴とする請求項5に記載の方法。
【請求項8】
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングすることは、
前記予め設定された足部検出アルゴリズムにより用いられた座標原点に基づいて靴モデルの座標原点を修正して、靴モデルと足モデルとの密着度を調整することを含む、ことを特徴とする請求項7に記載の方法。
【請求項9】
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードに、レンダリング時に遮蔽関係を提供するためのふくらはぎモデルを追加することをさらに含む、ことを特徴とする請求項5に記載の方法。
【請求項10】
前記予め設定されたノードに基づいて、靴のマップサブファイル、靴のモデルサブファイル、材質リソースファイル、ふくらはぎモデル、レンダリングコンポーネント、姿勢コンポーネント及びレンダリングコンポーネントと各ファイルとの引用関係のうちの少なくとも1つを含む試着効果ファイルパッケージを生成することと、
前記試着効果ファイルパッケージをサーバにアップロードすることで、サーバがクライアントと協力し、前記試着効果ファイルパッケージに基づいてクライアントにおいて仮想試着機能を実現することとをさらに含む、ことを特徴とする請求項5に記載の方法。
【請求項11】
データ処理装置であって、
試着オブジェクトのリソースファイルのインポート操作に応答し、前記リソースファイルを処理し、ファイルフォーマットがエフェクトエディタに適合するオブジェクトファイルを取得するための処理モジュールと、
前記オブジェクトファイルを前記エフェクトエディタの予め設定されたノードにドラッグする操作に応答し、前記予め設定されたノードにレンダリングコンポーネントを追加するための第1の追加モジュールと、
前記レンダリングコンポーネントに基づいて、前記試着オブジェクトのモデルを予め設定された部位モデルに装着する試着画像をレンダリングするためのレンダリングモジュールとを含む、ことを特徴とするデータ処理装置。
【請求項12】
電子機器であって、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置と、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに請求項1~請求項10のいずれか1項に記載の方法を実現させる、ことを特徴とする電子機器。
【請求項13】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、請求項1~請求項10のいずれか1項に記載の方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】