IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

特許7604687顔に対応する3次元アバターを用いて顔の動きが反映された3Dアバターを含むイメージを生成する電子装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】顔に対応する3次元アバターを用いて顔の動きが反映された3Dアバターを含むイメージを生成する電子装置
(51)【国際特許分類】
   G06T 13/40 20110101AFI20241216BHJP
   G06F 3/0481 20220101ALI20241216BHJP
   G06F 3/0488 20220101ALI20241216BHJP
【FI】
G06T13/40
G06F3/0481
G06F3/0488
【請求項の数】 6
(21)【出願番号】P 2024000538
(22)【出願日】2024-01-05
(62)【分割の表示】P 2019030708の分割
【原出願日】2019-02-22
(65)【公開番号】P2024028390
(43)【公開日】2024-03-04
【審査請求日】2024-01-05
(31)【優先権主張番号】10-2018-0022262
(32)【優先日】2018-02-23
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】イ,ウヨン
(72)【発明者】
【氏名】キム,ヨンギュ
(72)【発明者】
【氏名】ミン,ビョンヒョン
(72)【発明者】
【氏名】ソン,ドンイル
(72)【発明者】
【氏名】ユン,チャンヒ
(72)【発明者】
【氏名】イ,キヒョク
(72)【発明者】
【氏名】ジョン,チョルホ
【審査官】鈴木 明
(56)【参考文献】
【文献】特表2018-514020(JP,A)
【文献】米国特許出願公開第2015/0312523(US,A1)
【文献】米国特許出願公開第2017/336943(US,A1)
【文献】米国特許出願公開第2016/86387(US,A1)
【文献】韓国公開特許第10-2016-51536(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/40
G06F 3/0481
G06F 3/0488
(57)【特許請求の範囲】
【請求項1】
電子装置であって、
タッチスクリーンディスプレイ、及び少なくとも1つのプロセッサを備え、
前記少なくとも1つのプロセッサは、
前記タッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示し、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連する複数のアイコンを含み、
前記メッセージアプリケーションの実行画面上で、前記複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得し、
前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3D顔テンプレートを含む少なくとも1つの3D顔テンプレートを表示し、
前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3D顔テンプレート及びユーザーの動いている顔の表情に基づくアニメーション効果を含む第1の3Dアバターを生成し、
前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定されたアイコンと、前記第1の3Dアバターの前記アニメーション効果を示すプレビューが表示され、前記第1の3Dアバターに対するプレビューが表示されている間に前記のアイコンが表示され、
前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対する前記プレビューが表示されている間、前記メッセージアプリケーションの実行画面上で、前記アイコンに対する第3のユーザー入力を取得し、及び
前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信し、
前記メッセージアプリケーションの実行画面は、前記第1の3Dアバターに適用された前記ユーザーの前記動く表情が前記第1の3Dアバターとは異なる第2の3Dアバターに適用されることが可能になるように設定されたことを特徴とする、電子装置。
【請求項2】
前記少なくとも1つのプロセッサは、前記メッセージアプリケーションの前記実行画面上で、前記相手に前記第2の3Dアバターが送信された後に仮想キーボードを表示するようにさらに設定されたことを特徴とする、請求項1に記載の電子装置。
【請求項3】
前記少なくとも1つのプロセッサは、前記メッセージアプリケーションの前記実行画面上で、前記相手に前記第2の3Dアバターの送信に対する応答として、前記第2の3Dアバターを表示するようにさらに設定されたことを特徴とする、請求項1に記載の電子装置。
【請求項4】
電子装置を制御する方法であって、
前記電子装置のタッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示する動作と、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連付けられた複数のアイコンとを含み、
前記メッセージアプリケーションの実行画面上で、前記複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得する動作と、
前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3D顔テンプレートを含む少なくとも1つの3D顔テンプレートを表示する動作と、
前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3D顔テンプレート及びユーザーの動いている顔の表情に基づくアニメーション効果を含む第1の3Dアバターを生成する動作と、
前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定されたアイコンと、前記第1の3Dアバターの前記アニメーション効果を示すプレビューを表示する動作と、前記第1の3Dアバターに対するプレビューが表示されている間に前記アイコンが表示され、
前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対するプレビューが表示されている間に、前記メッセージアプリケーションの実行画面上で、前記アイコンに対する第3のユーザー入力を取得する動作と、
前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信する動作を含み、
前記メッセージアプリケーションの実行画面は、前記第1の3Dアバターに適用された前記ユーザーの前記動く表情が前記第1の3Dアバターとは異なる第2の3Dアバターに適用されることが可能になるように設定されたことを特徴とする、電子装置を制御する方法。
【請求項5】
前記電子装置を制御する方法は、前記メッセージアプリケーションの前記実行画面上で、前記相手に前記第2の3Dアバターが送信された後に仮想キーボードを表示する動作をさらに含むことを特徴とする、請求項4に記載の電子装置を制御する方法。
【請求項6】
電子装置であって、
タッチスクリーンディスプレイ、及び
少なくとも1つのプロセッサを備え、
前記少なくとも1つのプロセッサは、
前記タッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示し、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連する複数のアイコンを含み、
前記メッセージアプリケーションの実行画面上で、複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得し、
前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3Dテンプレートを含む少なくとも1つの3D顔テンプレートを表示し、
前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3Dテンプレート及びユーザーの動いている顔の表情を反映した第1の3Dアバターを生成し、
前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定された送信ボタンと、前記第1の3Dアバターのアニメーション効果を示すプレビューが表示され、前記第1の3Dアバターのプレビューが表示されている間に、前記送信ボタンが表示され、
前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対する前記プレビューが表示されている間、前記メッセージアプリケーションの実行画面上で、前記送信ボタンに対する第3のユーザー入力を取得し、及び
前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信し、
前記第1の3Dアバターの前記動く顔の表情は、第2の3Dアバターに適用されることを特徴とする、電子装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔に対応する3次元(3D)アバターを用いて顔の動きが反映された3Dアバターを含むイメージを生成する電子装置に関する。
【背景技術】
【0002】
電子装置は、アバターを用いて多様なサービスを提供できる。電子装置は、多様なアプリケーションでユーザーの感情又は意思を表示するためにユーザーに対応する3Dアバターを利用する。
電子装置は、ユーザーにアバターを生成する機能を提供して自分のアバターを生成可能にする。
【先行技術文献】
【特許文献】
【0003】
【文献】韓国公開特許第10-2017-0112406号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、顔に対応するオブジェクトを含む2次元(2D)イメージに基づいて3Dアバターを提供する電子装置及びその動作方法を提供することにある。
また、本発明の目的は、ユーザーの顔に関連した属性に基づいてユーザーに対応する3Dアバターを生成する電子装置を提供することにある。
また、本発明の目的は、ユーザーを含む2Dイメージに基づいて生成した3Dアバターを用いて、アバターの表情、アバターのジェスチャー、及び背景画面又はアニメーション効果を多様に適用したオブジェクトを含む2Dイメージを生成する電子装置を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するためになされた本発明の一態様による電子装置は、タッチスクリーンディスプレイ、及び少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、前記タッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示し、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連する複数のアイコンを含み、前記メッセージアプリケーションの実行画面上で、前記複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得し、前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3D顔テンプレートを含む少なくとも1つの3D顔テンプレートを表示し、前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3D顔テンプレート及びユーザーの動いている顔の表情に基づくアニメーション効果を含む第1の3Dアバターを生成し、前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定されたアイコンと、前記第1の3Dアバターの前記アニメーション効果を示すプレビューが表示され、前記第1の3Dアバターに対するプレビューが表示されている間に前記のアイコンが表示され、前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対する前記プレビューが表示されている間、前記メッセージアプリケーションの実行画面上で、前記アイコンに対する第3のユーザー入力を取得し、及び前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信し、前記メッセージアプリケーションの実行画面は、前記第1の3Dアバターに適用された前記ユーザーの前記動く表情が前記第1の3Dアバターとは異なる第2の3Dアバターに適用されることが可能になるように設定されたことを特徴とする。
【0006】
上記目的を達成するためになされた本発明の一態様による電子装置を制御する方法は、前記電子装置のタッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示する動作と、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連付けられた複数のアイコンとを含み、前記メッセージアプリケーションの実行画面上で、前記複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得する動作と、前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3D顔テンプレートを含む少なくとも1つの3D顔テンプレートを表示する動作と、前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3D顔テンプレート及びユーザーの動いている顔の表情に基づくアニメーション効果を含む第1の3Dアバターを生成する動作と、前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定されたアイコンと、前記第1の3Dアバターの前記アニメーション効果を示すプレビューを表示する動作と、前記第1の3Dアバターに対するプレビューが表示されている間に前記アイコンが表示され、前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対するプレビューが表示されている間に、前記メッセージアプリケーションの実行画面上で、前記アイコンに対する第3のユーザー入力を取得する動作と、前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信する動作を含み、前記メッセージアプリケーションの実行画面は、前記第1の3Dアバターに適用された前記ユーザーの前記動く表情が前記第1の3Dアバターとは異なる第2の3Dアバターに適用されることが可能になるように設定されたことを特徴とする。
【0007】
上記目的を達成するためになされた本発明の他の態様による電子装置は、タッチスクリーンディスプレイ、及び少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、前記タッチスクリーンディスプレイを介して、メッセージアプリケーションの実行画面を表示し、前記メッセージアプリケーションの実行画面は、相手に送信されたコンテンツにそれぞれ関連する複数のアイコンを含み、前記メッセージアプリケーションの実行画面上で、複数のアイコンのうちの第1のアイコンに対する第1のユーザー入力を取得し、前記第1のユーザー入力の取得に基づいて、前記メッセージアプリケーションの実行画面上で、第1の3Dテンプレートを含む少なくとも1つの3D顔テンプレートを表示し、前記メッセージアプリケーションの実行画面を介して受信された第2のユーザー入力に対する応答として、前記第1の3Dテンプレート及びユーザーの動いている顔の表情を反映した第1の3Dアバターを生成し、前記メッセージアプリケーションの実行画面上で、前記相手に前記第1の3Dアバターを送信するためのユーザー入力を取得するように設定された送信ボタンと、前記第1の3Dアバターのアニメーション効果を示すプレビューが表示され、前記第1の3Dアバターのプレビューが表示されている間に、前記送信ボタンが表示され、前記メッセージアプリケーションの前記実行画面上で、前記第1の3Dアバターに対する前記プレビューが表示されている間、前記メッセージアプリケーションの実行画面上で、前記送信ボタンに対する第3のユーザー入力を取得し、及び前記第3のユーザー入力の取得に基づいて、前記第1の3Dアバターを前記相手に送信し、前記第1の3Dアバターの前記動く顔の表情は、第2の3Dアバターに適用されることを特徴とする。
【発明の効果】
【0008】
本発明によれば、カメラを利用して獲得した2Dイメージに含まれた外部オブジェクトに対応する3Dアバターを生成する電子装置を提供することができる。
また、本発明による電子装置は、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果が反映された3Dアバターを利用して生成したオブジェクトを含む2Dイメージを提供することができる。
さらに、ユーザーの顔を含む2Dイメージに基づいて生成した3Dアバターを活用する一つ以上のアプリケーションを提供することができる。
【図面の簡単な説明】
【0009】
図1】本発明の一実施形態によるネットワーク環境内の電子装置を示すブロック図である。
図2】本発明の一実施形態による3Dアバターを生成する電子装置の動作方法を示すフローチャートである。
図3】本発明の一実施形態による電子装置がユーザーに提供する3Dアバターを生成する動作の一例を示す図である。
図4A】本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。
図4B】本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。
図4C】本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。
図5】本発明の一実施形態による電子装置が2Dイメージに基づいて3Dアバターを生成する動作の一例を示す図である。
図6】本発明の一実施形態による電子装置が3Dアバターを用いて生成した少なくとも一つのオブジェクトを含む2Dイメージの例を示す図である。
図7】本発明の一実施形態による電子装置によりアバターキャラクターを用いて写真を編集する機能を示す図である。
図8】本発明の一実施形態による電子装置がアバターキャラクターのうちの選択されたオブジェクトをメッセージで伝送する機能の一例を示す図である。
図9】本発明の一実施形態による電子装置がアバターキャラクターを用いて連絡先を編集する機能の一例を示す図である。
図10】本発明の一実施形態による電子装置により動物の頭を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。
図11】本発明の一実施形態による電子装置によりキャラクターを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。
図12】本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。
図13】本発明の一実施形態による顔に関連した表現属性の例を示す図である。
図14】本発明の一実施形態による顔に関連した表現属性の例を示す図である。
図15】本発明の一実施形態による電子装置により多様な3Dテンプレートを用いて生成された3Dアバターの例を示す図である。
図16】本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。
図17】本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。
図18】本発明の一実施形態による電子装置により顔に対応する外部オブジェクト及び付加オブジェクトを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。
図19A】本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。
図19B】本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。
図20】本発明の一実施形態による3Dアバターに対する表現属性の例を示す図である。
図21】本発明の一実施形態による電子装置がビデオ通話機能で3Dアバターを生成する動作の一例を示す図である。
図22】本発明の一実施形態による電子装置がビデオ通話相手の電子装置と3Dアバターを共有する動作の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の望ましい実施形態を図面を参照しながら詳細に説明する。
【0011】
図1は、本発明の一実施形態によるネットワーク環境100内の電子装置101を示すブロック図である。図1を参照すると、ネットワーク環境100内における電子装置101は、第1のネットワーク198(例えば、近距離無線通信)を介して外部の電子装置102と通信し、第2のネットワーク199(例えば、遠距離無線通信)を介して電子装置104又はサーバ108と通信する。一実施形態において、電子装置101は、サーバ108を介して電子装置104と通信する。
【0012】
本発明の一実施形態による電子装置101は、プロセッサ120、メモリ130、入力装置150、音響出力装置155、ディスプレイ装置160、オーディオモジュール170、センサモジュール176、インターフェース177、ハプティックモジュール179、カメラモジュール180、電力管理モジュール188、バッテリー189、通信モジュール190、加入者識別モジュール196、及びアンテナモジュール197を含む。一部の実施形態において、電子装置101は、これらの構成要素のうちの少なくとも一つ(例えば、ディスプレイ装置160又はカメラモジュール180)が省略され、あるいは他の構成要素が追加される。一実施形態において、一部の構成要素は統合されて具現され得る。例えば、センサモジュール176(例えば、指紋センサ、紅彩センサ、又は照度センサ)は、ディスプレイ装置160(例えば、ディスプレイ)に組み込まれるように実装され得る。
【0013】
プロセッサ120は、例えばソフトウェア(例えば、プログラム140)を実行してプロセッサ120に接続された電子装置101の少なくとも一つの他の構成要素(例えば、ハードウェア又はソフトウェア構成要素)を制御し、多様なデータ処理及び演算を実行する。プロセッサ120は、他の構成要素(例えば、センサモジュール176又は通信モジュール190)から受信した命令又はデータを揮発性メモリ132にロードして処理し、結果データを不揮発性メモリ134に格納する。不揮発性メモリ134は、内蔵メモリ136及び外部メモリ138を含む。
【0014】
一実施形態において、プロセッサ120は、メインプロセッサ121(例えば、中央処理装置又はアプリケーションプロセッサ)と、メインプロセッサ121とは別にオペレーティングされて、追加的又は代替的にメインプロセッサ121よりも低消費電力であるか、又は所定の機能に特化した補助プロセッサ123(例えば、グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、又はコミュニケーションプロセッサ)とを含む。ここで、補助プロセッサ123は、メインプロセッサ121から分離して、又は組み込まれてオペレーティングされる。
【0015】
補助プロセッサ123は、例えばメインプロセッサ121が非アクティブ(例えば、スリープ、低電力モード、待機モード)状態でメインプロセッサ121の代わりに、又はメインプロセッサ121がアクティブ(例えば、アプリケーションを実行)状態でメインプロセッサ121とともに、電子装置101の構成要素のうちの少なくとも一つの構成要素(例えば、ディスプレイ装置160、センサモジュール176、又は通信モジュール190)に関連した機能若しくは状態の少なくとも一部を制御する。一実施形態において、補助プロセッサ123(例えば、イメージシグナルプロセッサ又はコミュニケーションプロセッサ)は、機能的に関連した他の構成要素(例えば、カメラモジュール180又は通信モジュール190)の一部構成要素で実現される。
【0016】
メモリ130は、電子装置101の少なくとも一つの構成要素(例えば、プロセッサ120又はセンサモジュール176)によって使用される多様なデータ、例えばソフトウェア(例えば、プログラム140)及びこれに関連した命令に対する入力データ又は出力データを格納する。メモリ130は、揮発性メモリ132又は不揮発性メモリ134を含む。
【0017】
プログラム140は、メモリ130に格納されているソフトウェアであって、例えばオペレーティングシステム142、ミドルウェア144、又はアプリケーション146を含む。
【0018】
入力装置150は、電子装置101の構成要素(例えば、プロセッサ120)に使用される命令又はデータを電子装置101の外部(例えば、ユーザー)から受信するための装置であって、例えばマイク、マウス、又はキーボードを含む。
【0019】
音響出力装置155は、音響信号を電子装置101の外部に出力するための装置であって、例えばマルチメディア再生又は録音再生のような一般的な用途に使われるスピーカーと電話受信専用として使われるレシーバーとを含む。一実施形態において、レシーバーは、スピーカーと一体に又は分離して形成される。
【0020】
ディスプレイ装置160は、電子装置101のユーザーに情報を視覚的に提供するための装置であって、例えばディスプレイ、ホログラム装置、又はプロジェクタと、該当装置を制御するための制御回路とを含む。一実施形態において、ディスプレイ装置160は、タッチ回路又はタッチによる圧力の強さを測定する圧力センサを含む。
【0021】
オーディオモジュール170は、音と電気信号とを双方向に変換する。一実施形態において、オーディオモジュール170は、入力装置150を通じて音を獲得し、音響出力装置155又は電子装置101に有線又は無線で接続された外部の電子装置(例えば、外部の電子装置102(例えば、スピーカー又はヘッドホン))を通じて音を出力する。
【0022】
センサモジュール176は、電子装置101の内部の作動状態(例えば、電力又は温度)、又は外部の環境状態に対応する電気信号又はデータ値を生成する。センサモジュール176は、例えばジェスチャーセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、IR(infrared)センサ、生体センサ、温度センサ、湿度センサ、又は照度センサを含む。
【0023】
インターフェース177は、外部の電子装置(例えば、外部の電子装置102)に有線又は無線で接続される特定のプロトコルをサポートする。一実施形態において、インターフェース177は、HDMI(登録商標)(High Definition Multimedia Interface)、USB(Universal Serial bus)インターフェース、SDカードインターフェース、又はオーディオインターフェースを含む。
【0024】
接続端子178は、電子装置101と外部の電子装置(例えば、外部の電子装置102)とを物理的に接続するコネクタ、例えばHDMI(登録商標)コネクタ、USBコネクタ、SDカードコネクタ、又はオーディオコネクタ(例えば、ヘッドホンコネクタ)を含む。
【0025】
ハプティックモジュール179は、電気的信号をユーザーが触覚又は運動感覚を通じて認知可能な機械的な刺激(例えば、振動又は動き)又は電気的刺激に変換する。ハプティックモジュール179は、例えばモータ、圧電素子、又は電気刺激装置を含む。
【0026】
カメラモジュール180は、静止画像及び動画像を撮影する。一実施形態において、カメラモジュール180は、一つ以上のレンズ、イメージセンサ、イメージシグナルプロセッサ、又はフラッシュを含む。
【0027】
電力管理モジュール188は、電子装置101に供給される電力を管理するためのモジュールであって、例えばPMIC(Power Management Integrated Circuit)の少なくとも一部として構成される。
【0028】
バッテリー189は、電子装置101の少なくとも一つの構成要素に電力を供給するための装置であって、例えば再充電不可能な1次電池、再充電可能な2次電池、又は燃料電池を含む。
【0029】
通信モジュール190は、電子装置101と外部の電子装置(例えば、外部の電子装置102、外部の電子装置104、又はサーバ108)との間の有線又は無線通信チャンネルの確立、及び確立された通信チャンネルを介した通信実行をサポートする。通信モジュール190は、プロセッサ120(例えば、アプリケーションプロセッサ)とは別にオペレーティングされる有線通信又は無線通信をサポートする一つ以上のコミュニケーションプロセッサを含む。一実施形態において、通信モジュール190は、無線通信モジュール192(例えば、セルラー通信モジュール、近距離無線通信モジュール、又はGNSS(Global Navigation Satellite System)通信モジュール)、又は有線通信モジュール194(例えば、LAN(Local Area Network)通信モジュール、又は電力線通信モジュール)を含み、そのうち、対応する通信モジュールを用いて第1のネットワーク198(例えば、ブルートゥース(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、WiFi(登録商標) Direct、又はIrDA(Infrared Data Association)のような近距離通信ネットワーク)、又は第2のネットワーク199(例えば、セルラーネットワーク、インターネット、又はコンピュータネットワーク(例えば、LAN又はWAN)のような遠距離通信ネットワーク)を介して外部の電子装置と通信する。このような多様なタイプの通信モジュール190は、一つのチップで実現されるか、又は各々別のチップで実現される。
【0030】
無線通信モジュール192は、加入者識別モジュール196に格納されたユーザー情報を用いて通信ネットワーク内で電子装置101を区別及び認証する。
【0031】
アンテナモジュール197は、信号又は電力を外部に送信し、また外部から受信するための一つ以上のアンテナを含む。一実施形態において、通信モジュール190(例えば、無線通信モジュール192)は、通信方式に適合したアンテナを介して信号を外部の電子装置に送信し、また外部の電子装置から受信する。
【0032】
上記構成要素のうちの一部は、周辺機器間の通信方式(例えば、バス、GPIO(General Purpose Input/Output)、SPI(Serial Peripheral Interface)、又はMIPI(Mobile Industry Processor Interface))を介して相互に接続されて信号(例えば、命令又はデータ)を相互に交換する。
【0033】
一実施形態において、命令又はデータは、第2のネットワーク199に接続されたサーバ108を通じて電子装置101と外部の電子装置104との間で送信又は受信される。外部の電子装置(102、104)は、それぞれ電子装置101と同一のタイプ又は異なるタイプの装置である。一実施形態において、電子装置101で実行される動作の全部又は一部は、他の一つ又は複数の外部の電子装置で実行される。一実施形態において、電子装置101が任意の機能又はサービスを自動で又は要請によって実行しなければならない場合、電子装置101は、機能又はサービスを自動的に実行させる代わりに又は追加的に、それに関連した少なくとも一部機能を外部の電子装置に要請する。この要請を受信した外部の電子装置は、要請機能又は追加機能を実行し、その結果を電子装置101に配信する。電子装置101は、受信した結果をそのまま又は追加的に処理して要請された機能やサービスを提供する。このために、例えばクラウドコンピュータ、分散コンピュータ、又はクライアント-サーバコンピューティング技術が利用される。
【0034】
図2は、本発明の一実施形態による3Dアバターを生成する電子装置の動作方法を示すフローチャートである。
【0035】
図2を参照すると、本発明の一実施形態による電子装置(例えば、図1の電子装置101又はプロセッサ120)は、ステップ210において、カメラ(例えば、図1のカメラモジュール180)を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得する。電子装置101は、2Dのカメラモジュール180を用いて2Dイメージを獲得し、第1のイメージは2Dイメージである。一つ以上の外部オブジェクトは、人、動物、又は事物を含む。例えば、電子装置101は、ユーザーの顔に対する2Dイメージを獲得する。電子装置101は、カメラモジュール180を用いて獲得した第1のイメージから顔に対応する外部オブジェクトを検出する。顔に対応する外部オブジェクトが検出されない場合、電子装置101は、顔が検出されないことを知らせるメッセージを提供する。
【0036】
ステップ220において、電子装置101は、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに関連した属性に基づいて生成された3Dグラフィックオブジェクトをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。
【0037】
外部オブジェクトに関連した属性は、顔に関連した多様な特徴に対して定義される。例えば、外部オブジェクトに関連した属性は、顔を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、髪、ひげ、えくぼ、耳、後頭部、側頭部)の形態、色相、各要素間の相対的位置、各要素間の相対的サイズ比、又は頭部のアクセサリ(例えば、イヤリング、ピアシング、メガネ、鼻ピアス)のうちの少なくとも一つ以上を含む。
【0038】
電子装置101は、顔又は頭部に対する3Dテンプレートに、顔に対応する外部オブジェクトに関連した属性のうちの少なくとも一つを配置して、3Dグラフィックオブジェクトを生成する。電子装置101は、第1のイメージにおいて顔に対応する外部オブジェクトから、この外部オブジェクトに関連した属性のうちの少なくとも一つを抽出し、抽出された属性値を3Dテンプレートに適用して3Dグラフィックオブジェクトを生成する。電子装置101は、例えば外部オブジェクトで、顔の長さ、顔の幅、顔型、顔色、眉間幅、目の大きさ、二重まぶたの有無、眉毛の色、鼻の長さ、鼻の位置、唇のサイズ、唇の位置、頬骨の位置、頬骨の大きさ、又はえくぼの有無に対する属性値のうちの少なくとも一つを3Dテンプレートに適用して3Dグラフィックオブジェクトを生成する。電子装置101は、3Dテンプレートに対して所定の属性値(default値)を用いて3Dグラフィックオブジェクトを生成する。電子装置101は、例えば第1のイメージから抽出されない属性である耳、髪、又は後頭部に関連した属性は、3Dテンプレートに対して定められた属性値をそのまま適用して3Dグラフィックオブジェクトを生成する。3Dグラフィックオブジェクトは、獲得した第1のイメージから抽出された顔に関連した属性値と3Dテンプレートに対して定められた属性値とを両方とも含む。顔又は頭部に対する3Dテンプレートは、データベースに格納される。データベースは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に含まれる。電子装置101は、顔に対応する外部オブジェクトに関連した属性及び3Dテンプレートのうちの少なくとも一つを変更して一つ以上の3Dグラフィックオブジェクトを生成する。電子装置101は、生成された一つ以上の3Dグラフィックオブジェクトのうちの少なくとも一つをディスプレイ(例えば、図1のディスプレイ装置160)に表示する。
【0039】
ステップ230において、電子装置101は、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性、及び3Dグラフィックオブジェクトに基づいて、外部オブジェクトに対する3Dアバターを生成する。3Dグラフィックオブジェクトに適用される複数のグラフィック属性は、明るさ、色対比、唇色、眉毛色、ひげ、ヘアスタイル、又は顔に関連したアクセサリ(例えば、メガネ、帽子、イヤリング、ピアシングなど)を含む。
【0040】
本発明の多様な実施形態において、3Dグラフィックオブジェクトに適用される複数のグラフィック属性は、顔の動きに対する動きパラメータを含む。動きパラメータは、顔の詳細部位(例えば、眉毛、まぶた、鼻、口元など)の各々の動きの方向及び大きさを含む。電子装置101は、顔に対応する外部オブジェクトに関連した属性に基づいて動きパラメータ値を設定する。例えば、電子装置101は、外部オブジェクトから抽出された口のサイズ又は形態に基づいて動きパラメータのうちの口元の動きに対する方向及び大きさを設定する。
【0041】
電子装置101は、複数のグラフィック属性のうちの少なくとも一つを3Dグラフィックオブジェクトと共にディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。電子装置101は、複数のグラフィック属性のうちのユーザー入力によって選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用する。電子装置101は、例えば複数のグラフィック属性のうちの明るさをディスプレイ(例えば、図1のディスプレイ装置160)に表示し、明るさに対する入力を感知すると、3Dグラフィックオブジェクトに感知された明るさに対する入力値を適用する。電子装置101は、複数のグラフィック属性のうちの表示されたグラフィック属性に対するユーザーの入力に応答して、入力値を適用した3Dグラフィックオブジェクトに対するプレビューをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。
【0042】
電子装置101は、3Dグラフィックオブジェクトに適用される属性を表示し、表示された属性に対する入力を受信することによってユーザーに3Dグラフィックオブジェクトを編集する機能を提供する。
【0043】
電子装置101は、複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用し、3Dアバターを生成する。電子装置101は、複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用し、3Dグラフィックオブジェクトを再加工し、3Dアバターを生成する。電子装置101は、3Dグラフィックオブジェクトを再加工する動作の一部として、3Dグラフィックオブジェクトから不要な情報を削除し、単純化した情報を簡略にして3Dアバターを生成する。
【0044】
3Dアバターは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に格納される。3Dアバターがサーバ(例えば、図1のサーバ108)に格納される場合、電子装置101は、通信モジュール190を通じて3Dアバターをサーバ(例えば、図1のサーバ108)に提供する。3Dアバターは、例えばglTF(gl transmission format)形式で格納される。
【0045】
ステップ240において、電子装置101は、3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する。例えば、電子装置101は、3Dアバターに一つ以上の予め指定された表情又は動きを反映させてオブジェクトを生成する。電子装置は、一つ以上のボディージェスチャーを反映させてオブジェクトを生成する。例えば、電子装置101は、画像(例えば、静止画像、動画像)から人物の身体形態(例えば、身体イメージの境界線を検出)と動きとを検出し、検出した身体形態と動きとが反映された(例えば、検出した身体形態と動きとに対応する骨格(skeleton)情報を生成し、この骨格情報をオブジェクトが類似度の高いボディージェスチャーを行うように身体各部分の形態や動きに反映させる)オブジェクトを生成する。
【0046】
電子装置は、一つ以上の背景効果を反映させたオブジェクトを生成する。電子装置101は、表情、ボディージェスチャー、背景効果のうちの少なくとも一つに対して予め指定された表情又は動きを適用した3Dアバターに基づいて少なくとも一つのオブジェクトを生成し、少なくとも一つのオブジェクトに基づいて2Dイメージを生成する。電子装置101は、所定の個数の表情又は動きに基づいて、3Dアバターを用いて少なくとも一つのオブジェクトを含む第2のイメージを生成する。例えば、電子装置101は、アバター表情、アバタージェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つが変形された所定の表現セットに基づいて、3Dアバターに所定の表現セットを反映させて、その表現セットの個数に対応するオブジェクトを生成する。生成されたオブジェクトを含む第2のイメージは、アバターキャラクターである。第2のイメージは、少なくとも一つのオブジェクトを含む2Dイメージである。電子装置101は、第2のイメージを静止画像又は動画像に格納する。
【0047】
多様な実施形態において、電子装置101は、アバターの表情、アバターのジェスチャー、アニメーション効果、及び背景効果のうちの少なくとも一つを反映させた3Dアバターを用いて第2のイメージを生成する。第2のイメージは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に格納される。第2のイメージがサーバ(例えば、図1のサーバ108)に格納される場合、電子装置101は、通信モジュール190を介して第2のイメージをサーバ(例えば、図1のサーバ108)に提供する。第2のイメージは、例えば動画像ファイル(例えば、mp4、AGIF等)フォーマットで格納される。
【0048】
電子装置101は、生成したアバターキャラクターを活用した多様なアプリケーションを提供する。電子装置101は、アバターキャラクターをキーボードアプリケーションを通じて提供する。例えば、電子装置101は、キーボードアプリケーションに含まれたアバターキャラクターを用いてメッセージ送信アプリケーション、写真編集アプリケーション、又はビデオ通話アプリケーションを提供する。アバターキャラクタは、その他の多様なアプリケーションで提供される。
【0049】
図3は、本発明の一実施形態による電子装置がユーザーに提供する3Dアバターを生成する動作の一例を示す図である。電子装置(例えば、図1の電子装置101)は、カメラモジュール(例えば、図1のカメラモジュール180)を用いて3Dアバターを生成する機能を提供する。電子装置101は、カメラモジュール180を作動させ、ディスプレイ(例えば、図1のディスプレイ装置160)を通じて3Dアバター生成のためのアイコンを含む実行画面を提供する。
【0050】
図3の(a)を参照すると、実行画面は、イメージ撮影のためのプレビュー画面領域301、3Dアバター生成のためのアイコン302、3Dアバターリスト303、及びカメラ撮影のためのアイコン304を含む。電子装置101は、“アバター作成”のようなテキストを含むアイコン302を表示する。アバター生成のためのアイコン302が選択されると、電子装置101は、カメラモジュール180を用いてユーザーの顔イメージを獲得する。
【0051】
図3の(b)を参照すると、電子装置101は、3Dアバターを生成しようとする顔を含むオブジェクトを撮影するためのプレビュー画面領域311及びカメラ撮影のためのアイコン312を提供する。カメラの撮影時に顔の多様な角度や表情に対応するイメージを得るために、頭の指向方向又は表情を指示するガイド情報(例えば、頭指向方向ガイド、感情表現模倣ガイドなど)をさらに表示する。カメラ撮影の際に動画像撮影により複数の撮影イメージを受信し得る。
【0052】
図3の(c)を参照すると、電子装置101は、撮影された顔イメージ321を表示するための領域、アバターの生成時に性別を選択するためのアイコン322、及び選択完了を指示するアイコン323を提供する。電子装置101は、撮影された一つ以上の顔イメージの中の顔に関連した属性に基づいて一つ以上の3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージから顔に関連した属性を抽出し、顔に対応する3Dテンプレートに抽出した属性を適用してリアルな3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージから顔に関連した属性を抽出し、抽出した属性を一部変更して顔に対応する3Dテンプレートに適用して、補正された3Dグラフィックオブジェクトを生成する。顔に関連した属性は、例えば、顔を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、ひげ、えくぼ、耳)の形態、各要素間の相対的位置、各要素間の相対的サイズ比、色相、及び動き方向のうちの少なくとも一つを含む。電子装置101は、生成された一つ以上の3Dグラフィックオブジェクトのうちの少なくとも一つをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供し、提供した少なくとも一つの3Dグラフィックオブジェクトのうちの選択された3Dグラフィックオブジェクトを画面に表示する。
【0053】
図3の(d)を参照すると、電子装置101は、少なくとも一つの3Dグラフィックオブジェクトに対応する一つ以上のアイコン(332、333)及び選択された3Dグラフィックオブジェクトを表示するプレビュー画面領域331を提供する。例えば、電子装置101は、第1の3Dグラフィックオブジェクトに対応するアイコン332及び第2の3Dグラフィックオブジェクトに対応するアイコン333を表示し、選択された第1の3Dグラフィックオブジェクトをプレビュー画面領域331に表示する。電子装置101は、顔イメージ321から顔に関連した属性を抽出し、抽出された属性値を3Dテンプレートに適用して第1の3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージ321から顔に関連した属性を抽出し、抽出された属性値を3Dテンプレートに適用し、所定の条件に従って3Dテンプレートを補正して第2の3Dグラフィックオブジェクトを生成する。一実施形態において、3Dグラフィックオブジェクトの生成時に、顔に関連した属性からアクセサリ(例えば、メガネ、イヤリング)関連属性を抽出せず、あるいは除くことによって、メガネ属性が除かれた3Dグラフィックオブジェクトを生成する。電子装置101は、2Dイメージから獲得しにくい顔に関連した属性には、3Dテンプレートの所定の属性値(default値)を使用する。電子装置101は、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの少なくとも一つを3Dグラフィックオブジェクトと共に提供する。
【0054】
電子装置101は、3Dグラフィックオブジェクトに対する肌色属性を調整する選択バー334を提供する。電子装置は、選択バー334を(-)側に移動させる入力に応じて肌色を暗く調整し、選択バー334を(+)側に移動させる入力に応じて肌色を明るく調整する。電子装置101は、入力に応答して、入力された肌色値を3Dグラフィックオブジェクトに適用したプレビューをプレビュー画面領域331に提供する。一実施形態において、選択バー334の初期位置は、電子装置101のカメラモジュール180を通じて受信したプレビュー画面領域311のイメージから抽出した顔領域の属性(例えば、色と明るさ)に従って決定される。このために顔領域の属性を判別するための追加動作を実行する。一例として、電子装置101は、センサモジュール176に含まれた照度センサを通じてカメラモジュール180による撮影時に周辺光の照度を測定し、測定された照度に基づいて抽出した顔領域の属性を補正する。
【0055】
図3の(e)を参照すると、電子装置101は、ユーザー入力によって選択されたグラフィック属性及び3Dグラフィックオブジェクトに基づいて、ユーザーの顔に対する3Dアバターを生成する。電子装置101は、プレビュー領域に生成された3Dアバター341を表示する。電子装置101は、一つ以上の3Dアバターを表示するアバターリスト領域342を提供する。電子装置101は、生成された3Dアバター341に対応するアイコン343をアバターリスト領域342に追加して表示する。電子装置101は、3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む2Dイメージを生成する。例えば、電子装置101は、笑う表情が適用された3Dアバターに基づいてオブジェクトを生成し、そのオブジェクトを含む2Dイメージを生成する。例えば、3Dアバターに既に抽出されたアクセサリ属性を用いてアバターリスト領域342にアクセサリアイコンを追加し、これを選択することで3Dアバターに含まれたオブジェクトを生成する。電子装置101は、2Dイメージを用いてアバターキャラクターを入力する機能を提供する。例えば、電子装置101はアバターキャラクターを入力する機能を含む写真編集を提供する。本発明の多様な実施形態において、電子装置101は、写真編集時に、2Dイメージに含まれた少なくとも一つのオブジェクトのうちの選択されたオブジェクトを写真に追加し、追加されたオブジェクトの位置、サイズ、又は方向を調整して写真を編集する機能を提供する。
【0056】
図3の(f)を参照すると、電子装置101は、写真編集のための画面に、編集される写真を表示するための領域351、アバターキャラクターを入力する機能を提供するためのアイコン352、及び選択されたアバターキャラクターに含まれた一つ以上のオブジェクトを表示する領域353を表示する。アバターキャラクターに含まれた一つ以上のオブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つを含む。電子装置101は、選択されたアバターキャラクターに含まれる一つ以上のオブジェクトのうちから選択された第1のオブジェクト354を編集するための写真を追加して、編集される写真を表示するための領域351に、オブジェクト355を含む写真を表示する。第1のオブジェクト354は、しかめる表情3541、両手で顔を覆うジェスチャー3542、及び頭上の雲の背景3543を含む。電子装置101は、ユーザー入力によって、編集される写真を表示するための領域351上に表示されたオブジェクト355の位置、大きさ、又は方向を変更する。
【0057】
図4A図4Cは、本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用可能なグラフィック属性の例を示す図である。
【0058】
図4Aを参照すると、電子装置101は、ユーザーの顔イメージに基づいて生成された少なくとも一つの3Dグラフィックオブジェクトを含む画面(410、420)を表示する。電子装置101は、顔に関連した属性値を多様に適用して3Dグラフィックオブジェクトを多様に生成する。電子装置101は、ユーザーの顔イメージから抽出された目、鼻、及び口を3Dテンプレートに適用して、第1の3Dグラフィックオブジェクトを生成する。電子装置101は、所定の補正基準により、ユーザーの顔イメージから抽出された目、鼻、及び口を補正し、3Dテンプレートに適用して第2の3Dグラフィックオブジェクトを生成する。例えば、所定の補正基準は、ユーザーの顔イメージから抽出した目の大きさを所定値に変更し、鼻の位置及び形態を所定値に変更し、唇の形態及び色を所定値に変更するように設定する。
【0059】
図4Aを参照すると、電子装置101は、第1の3Dグラフィックオブジェクトに対応する第1のアイコン411及び第2の3Dグラフィックオブジェクトに対応する第2のアイコン412を表示し、ユーザーの入力によって第1のアイコン411が選択されると、第1の3Dグラフィックオブジェクトを画面410に表示し、ユーザー入力によって第2のアイコン412が選択されると、第2の3Dグラフィックオブジェクトを画面420に表示する。
【0060】
電子装置101は、3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用可能な属性を示すアイコンを共に表示する。図4Bを参照すると、電子装置101は、3Dグラフィックオブジェクトの肌色に対する属性を設定するためのアイコンとして選択バー413を表示し、選択バー413に対するユーザー入力によって肌色を暗くするか、又は明るくする。電子装置101は、肌色を暗くするユーザー入力に応答して3Dグラフィックオブジェクトに暗い肌色を適用した画面430を表示し、肌色を明るくするユーザー入力に応答して3Dグラフィックオブジェクトに明るい肌色を適用した画面440を表示する。
【0061】
電子装置101は、3Dグラフィックオブジェクトに適用可能な一つ以上の属性をパラメータとして定義し、そのパラメータに所定の属性値(default値)を指定する。電子装置101は、2Dイメージから、3Dグラフィックオブジェクトに適用可能な一つ以上の属性に対応する属性値を抽出する。3Dグラフィックオブジェクトに適用可能な一つ以上の属性は、2Dイメージに含まれる外部オブジェクトに適用可能な一つ以上の属性に対応する。例えば、外部オブジェクトに適用可能な目、鼻、口、ヘアスタイル、又はメガネは、3Dグラフィックオブジェクトに適用される。電子装置101は、3Dテンプレートに対応して、3Dグラフィックオブジェクトに適用可能な一つ以上の属性に対して指定される属性値を選択する。電子装置101は、ユーザー入力に基づいて3Dグラフィックオブジェクトに適用可能な一つ以上の属性値を生成する。
【0062】
例えば、図4Cを参照すると、電子装置101は、3Dグラフィックオブジェクトに適用可能なヘアスタイル属性を編集するための画面450、メガネアクセサリ属性を編集するための画面460、及び3Dアバター衣装属性を編集するための画面470を提供する。電子装置101は、3Dグラフィックオブジェクトに適用可能なヘアスタイル属性に対するヘアスタイルリスト451及びヘアカラーリスト452を提供する。電子装置101は、2Dイメージから抽出した属性又は3Dテンプレートに対応して設定された属性に基づいて、ヘアスタイルリスト451から選択された第1のヘアスタイルをまず適用して3Dグラフィックオブジェクトに表示する。例えば、電子装置101は、2Dイメージから抽出した顔型属性に基づいて、顔型属性にマッチングするヘアスタイルを、第1のヘアスタイルとして選択して優先的に適用する。電子装置101は、選択されたヘアスタイル及びヘアカラーが適用された3Dグラフィックオブジェクトを表示する。電子装置101は、3Dグラフィックオブジェクトに適用可能なメガネアクセサリリスト461を提供し、選択されたメガネアクセサリを3Dグラフィックオブジェクトに適用して表示する。電子装置101は、3Dグラフィックオブジェクトに適用可能な3Dアバター衣装リスト471を提供し、選択された3Dアバター衣装を適用した3Dグラフィックオブジェクトを表示する。
【0063】
図5は、本発明の一実施形態による電子装置が2Dイメージに基づいて3Dアバターを生成する動作の一例を示す図である。
【0064】
図5を参照すると、電子装置101は、一つ以上の外部オブジェクトを含む2Dイメージから顔に対応する外部オブジェクトを抽出する。具体的に、電子装置101は、ユーザーの顔を含む2Dイメージ510から顔に対応する外部オブジェクト511を抽出する。電子装置101は、顔検出アルゴリズムを用いて2Dイメージ510に顔が含まれるか否かを判定する。例えば、外部オブジェクトを抽出する方法の少なくとも一部は、規則基盤モデル(rule-based model)、又は機械学習、神経網(nerve network)、及び深層学習アルゴリズムのうちの少なくとも一つによって学習された人工知能モデルを利用する。電子装置101は、サーバから人工知能モデルを受信する。例えば、電子装置101は、MTCNN(Multi-Task Cascaded Neural Network)を用いて、2Dイメージ510から顔に対応する外部オブジェクト511を抽出する。
【0065】
外部オブジェクト511は、顔に関連した属性を示す目(521、522)、鼻523、又は唇524を含む。電子装置101は、外部オブジェクト511に適用可能な属性をパラメータとして定義し、外部オブジェクト511から抽出された属性値をパラメータの値として指定する。外部オブジェクト511に適用可能な属性は、例えば性別、人種、年齢、魅力度、表情、ヘアカラー、分け目、髪の長さ、頬骨、顔型、肌色、目の位置、目の大きさ、眉毛の長さ、眉毛形、眉毛の大きさ、鼻の長さ、鼻の位置、鼻の形態、唇の形態、唇色、唇長さ、帽子、メガネ、イヤリング、ネックレス、リップカラー、及びネクタイスタイルのうちの少なくとも一つを含む。例えば、電子装置101は、性別(gender)に対するパラメータを定義し、女性又は男性の値を指定する。
【0066】
電子装置101は、3Dアバターを生成するための3Dテンプレート530を決定する。3Dテンプレートは、生成される3Dアバターのタイプによって多様に変わる。例えば、電子装置101は、性別、人種、国籍、又は年齢に従って異なる3Dテンプレートを利用する。他の例として、電子装置101は、動物、キャラクター、又は事物に対して3Dアバターを生成し、動物の形状、キャラクターの形状、又は事物の形状に応じて多様な3Dテンプレートを利用する。電子装置101は、外部の電子装置から少なくとも一つの3Dテンプレートを受信する。電子装置101は、2Dイメージ510から抽出した外部オブジェクト511に関連した属性を3Dテンプレートに適用して3Dアバター540を生成する。電子装置101は、2Dイメージ510から抽出した外部オブジェクト511に関連した属性を3Dテンプレートに適用して生成した3Dグラフィックオブジェクト(図示せず)を提供する。外部オブジェクトに適用される属性は、3Dグラフィックオブジェクトに適用される。
【0067】
電子装置101は、外部オブジェクトから抽出された属性及びユーザー入力によって選択された属性を反映させて3Dグラフィックオブジェクトを生成し、3Dグラフィックオブジェクトに基づいて3Dアバター540を生成する。電子装置101は、外部オブジェクト511の目521を3Dテンプレート530の目の領域に適用して3Dアバター540を生成する。電子装置101は、外部オブジェクト511から抽出されない属性、例えばヘアスタイルに対して、3Dテンプレート530に所定の属性値で3Dアバター540を生成する。電子装置101は、外部オブジェクトに適用可能な属性に対して一つ以上のサンプル属性をディスプレイ(例えば、図1のディスプレイ装置160)を通じてユーザーに提供する。電子装置101は、ユーザーの選択により、一つ以上のサンプル属性のうちの選択された属性を適用して3Dアバター540を生成する。電子装置101は、2Dイメージから抽出した属性又は所定の3Dテンプレートに基づいて、一つ以上のサンプル属性のうちの推薦属性を選択して提供する。電子装置101は、サンプル属性が反映された3Dグラフィックオブジェクトをディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、ユーザーにプレビューを提供する。
【0068】
図6は、本発明の一実施形態による電子装置が3Dアバターを用いて生成した少なくとも一つのオブジェクトを含む2Dイメージの例を示す図である。電子装置101は、3Dアバターに一つ以上の指定された表情又は動きを適用して一つ以上のオブジェクトを生成する。オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに応じて決定される。例えば、一つ以上の指定された表情又は動きは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに対して指定される。例えば、アバターの表情は、笑い表情、泣き表情、又は無心な表情が指定され、アバターのジェスチャーは、手でハートを作るジェスチャー、アバターの頭をうなずくジェスチャーが指定される。アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つは、動く動作として指定される。
【0069】
電子装置101は、カメラ(例えば、図1のカメラモジュール180)を用いて獲得した2Dイメージから抽出した顔に対応する外部オブジェクトに対して生成したアバターを利用して、指定された表情又は動きを適用して少なくとも一つのオブジェクトを生成する。電子装置101は、所定個数の指定された表情又は動きを3Dアバターに適用して所定個数のオブジェクトを一度に生成する。例えば、電子装置101は、18タイプの所定の表現のセットを3Dアバターに適用して18タイプのオブジェクトを生成する。18タイプの指定された表現のセットは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つを変形して指定される。一つ以上のオブジェクトを含む2Dイメージはアバターキャラクターである。電子装置101は、アバターキャラクターをディスプレイ(図1のディスプレイ装置160)を通じて提供する。
【0070】
電子装置101は、一つ以上の3Dアバターを用いて一つ以上のアバターキャラクターを生成し、3Dアバターキャラクターリストをディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。例えば、電子装置101は、アバターキャラクター610をディスプレイ(例えば、ディスプレイ装置160)に表示し、アバターキャラクター610に含まれた一つ以上のオブジェクトを第1の領域611に表示する。第1の領域611は、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つが異なる複数のオブジェクトを含む。アバターキャラクター610に含まれた一つ以上のオブジェクトのうちの第1のオブジェクト620は、アバター621及び背景画面622を含む。第1のオブジェクト620のアバター621は、予め指定された表情又はジェスチャーによって生成され、第1のオブジェクト620の背景画面622は、付加オブジェクト623を含む。第1のオブジェクト620のアバター621又は背景画面622には、アニメーション効果が適用される。例えば、背景画面622の付加オブジェクト623は、左右に動く効果を有する。アバターキャラクターは、静止画像又は動画像である。アバターキャラクターが動画像である場合、オブジェクトのアバター表情、アバタージェスチャー、背景画面、及び付加オブジェクトのうちの少なくとも一つが動く。
【0071】
図7は、本発明の一実施形態による電子装置がアバターキャラクターを用いて写真を編集する機能の一例を示す図である。
【0072】
電子装置101は、写真編集画面710でアバターキャラクターのうちの選択されたオブジェクトを所定の第1の位置711に表示する。電子装置101は、ユーザー入力によってオブジェクトを第1の位置711から他の位置に移動させる。電子装置101は、オブジェクトが第2の位置721に移動した写真編集画面720を表示する。電子装置101は、ユーザー入力によってオブジェクトの大きさ又は方向を変更する。電子装置101は、大きさ又は方向が変更されたオブジェクト731を含む写真編集画面730を表示する。
【0073】
図8は、本発明の一実施形態による電子装置がアバターキャラクターのうちの選択されたオブジェクトをメッセージで伝送する機能の一例を示す図である。電子装置101は、3Dアバターを用いて生成したアバターキャラクターをキーボードアプリケーションを通じて提供する。電子装置101は、キーボードアプリケーションに含まれたアバターキャラクターをメッセージ伝送アプリケーションを通じて提供する。例えば、図8の(a)に示すように、電子装置101は、メッセージを伝送するためのアプリケーションが実行される画面領域810を提供する。画面領域810は、メッセージ内容を表示する第1の領域811、メッセージ作成のためのアイテムリストを表示する第2の領域812、及びメッセージ作成のためのアイテムのうちの選択されたアイテムに含まれるオブジェクトを表示する第3の領域813を含む。メッセージ作成のためのアイテムは、文字入力アイテム、写真入力アイテム、ファイル添付アイテム、音声入力アイテム、位置伝送アイテム、又はアバターキャラクター入力アイテムを含む。
【0074】
電子装置101は、カメラ(例えば、図1のカメラモジュール180)を用いて獲得した第1のイメージに含まれた外部オブジェクトに対応して生成された3Dアバターを用いて、所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージをアバターキャラクターとして提供する。電子装置101が生成したアバターキャラクターを入力するためのアバターキャラクター入力アイテムは、メッセージ作成のためのアイテムに含まれる。電子装置101は、アバターキャラクター入力アイテム814を第2の領域812に含めて表示する。電子装置101は、表示されたアイテムリストのうちのアバターキャラクター入力アイテム814の選択に応答して、第3の領域813にアバターキャラクターを提供する。
【0075】
電子装置101は、図8の(b)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域820で一つ以上のアバターキャラクターのうちの選択された第1のアバターキャラクター821に含まれる一つ以上のオブジェクトを第1の領域822に表示する。電子装置101は、一つ以上のアバターキャラクターをリストに提供する。第1のアバターキャラクター821に含まれる一つ以上のオブジェクトは、異なる表情又は動きを含む。例えば、第1のオブジェクト823は、笑いの表情を含む。
【0076】
電子装置101は、図8の(c)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域830に表示された少なくとも一つのオブジェクトのうちの第1のオブジェクト831が選択されたことに応答して、メッセージの内容を表示する第1の領域835に、第1のオブジェクト831のプレビュー832及び送信ボタン833を表示する。電子装置101は、第1のオブジェクト831が動画像である場合、第1のオブジェクト831を再生してプレビュー832を提供する。電子装置101は、送信ボタン833がクリックされることに応答して、選択された第1のオブジェクト831をメッセージを通じて伝送する。
【0077】
電子装置101は、図8の(d)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域840でアバターキャラクターのうちの選択された第1のオブジェクト842をメッセージの内容を表示する第1の領域841に表示して提供する。
【0078】
図9は、本発明の一実施形態による電子装置がアバターキャラクターを用いて連絡先を編集する機能の一例を示す図である。電子装置101は、連絡先を格納及び管理するためのアプリケーション実行画面領域910に、写真アイテム911及び名前アイテム912を表示する。電子装置101は、アバターキャラクターに含まれた一つ以上のオブジェクトのうちの選択されたオブジェクトを連絡先の写真アイテム911に表示する。一実施形態において、電子装置101は、電話の受信に応答して、連絡先の写真アイテム及び名前アイテムをディスプレイ(例えば、図1のディスプレイ装置160)に提供し、連絡先の写真アイテムに格納されたオブジェクトを表示する。
【0079】
図10は、本発明の一実施形態による電子装置により動物の頭を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトが動物である場合、動物に対応する3Dテンプレートを用いて3Dアバターを生成する。電子装置101は、ネズミの頭を含む2Dイメージ1001を獲得する。電子装置101は、ネズミの頭を含む2Dイメージ1001から頭に関連した属性を検出する。又は、電子装置101は外部の電子装置又はサーバに2Dイメージ1001を送信し、外部の電子装置又はサーバが頭に関連した属性を検出する。電子装置101、外部の電子装置、又はサーバは、頭に関連した属性に基づいてネズミの頭の属性に対応する3Dテンプレート1002を決定する。電子装置101は、ネズミに対応する3Dテンプレート1002を外部の電子装置又はサーバから受信する。電子装置101は、2Dイメージ1001から抽出したネズミの頭に関連した属性を3Dテンプレート1002に適用して3Dアバター1003を生成する。例えば、ネズミの頭に関連した属性は、頭を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、毛、ひげ、耳、後頭)の形態、色、各要素間の相対的位置、及び各要素間の相対的サイズ比のうちの少なくとも一つ以上を含む。電子装置101は、2Dイメージ1001から動物の頭に対応する外部オブジェクトを抽出するために動物の頭の特徴を分析及び判断した情報を利用する。
【0080】
図11は、本発明の一実施形態による電子装置によりキャラクターを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトがキャラクターである場合、キャラクターに対応する3Dテンプレートを用いて3Dアバターを生成する。電子装置101は、キャラクターに対応する3Dテンプレートを外部の電子装置又はサーバから受信する。電子装置101は、キャラクターを含む2Dイメージ1101を獲得する。例えば、キャラクターは、漫画キャラクター、動物キャラクター、植物キャラクター、特定人物に対するキャラクター、事物に対するキャラクター、及び映画ヒーローキャラクターのうちの少なくとも一つを含む。電子装置101は、キャラクターに対応する3Dテンプレート1102を決定する。電子装置101は、2Dイメージ1101から抽出したキャラクターに関連した属性を3Dテンプレート1102に適用して3Dアバター1103を生成する。例えば、キャラクターに関連した属性は、キャラクターを構成する各構成(頭、腕、脚、ボディー)の形態、色、各構成の相対的な位置、各構成の相対的な大きさ、及び各構成に適用されるアクセサリ(ヘアバンド、バック、メガネ、小品)のうちの一つ以上を含む。
【0081】
図12は、本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、コンセントを含む2Dイメージ1210を獲得する。電子装置101は、顔特徴抽出アルゴリズムを用いてコンセントから顔に関連した属性に対応する構成を抽出する。一実施形態において、電子装置101は、ユーザー入力によって2Dイメージ1210から顔に関連した属性を指定する。電子装置101は、ユーザー入力によって2Dイメージ1220のうちのコンセントの第1の構成1201を顔形態として指定し、コンセントの第2の構成1202を目として指定し、コンセントの第3の構成1203を口として指定する。電子装置101は、コンセントに対応する3Dアバターを生成するために3Dテンプレート1230を指定する。電子装置101は、一つ以上の3Dテンプレートのうちのコンセントに類似した3Dテンプレートを選択するか、又は所定の3Dテンプレートを利用する。電子装置101は、2Dイメージ1210に対して指定された顔に関連した属性値(1201、1202、1203)を、3Dテンプレート1230に適用して3Dアバターを生成する。電子装置101は、3Dアバターを利用して予め定められた表情に関連した表現属性を反映して一つ以上のオブジェクト(1241、1242、1243)を生成する。電子装置101は、一つ以上のオブジェクトを含む2Dイメージ1240を提供する。
【0082】
図13及び図14は、本発明の一実施形態による顔に関連した表現属性の例を示す図である。電子装置(例えば、図1の電子装置101又はプロセッサ120)は、少なくとも顔に関連した表現属性を利用して3Dアバターの表情を多様に変更する。顔に関連した表現属性は、状況(circumstance)によって分類され、顔に含まれる構成要素によって定義される。
【0083】
図13を参照すると、状況は、普通、笑い1、及び笑い2を含み、目に対応する表現属性は、形状により定義され、口に対応する表現属性は形状により定義される。電子装置101は、普通の状況では目に対する属性を指定せず、口に対する属性値は上方が丸い形態を有する半円形状として指定する。電子装置101は、普通の状況の3Dアバターを生成するために、2Dイメージから抽出された目に対する属性値をそのまま適用し、2Dイメージから抽出された口に対する属性値を表現属性によって半円形状に変更して適用する。電子装置101は、類似した状況を一つの状況として分類して指定する。
【0084】
図12及び図13を参照すると、図12のコンセントは、図13で普通の状況に対応する表情を示す。一実施形態において、電子装置101は、カメラモジュール180を通じて受信した顔オブジェクトが含まれたイメージから顔構成要素の属性を検出し、検出された顔構成要素の属性に対応する表現属性を判別し、判別した表現属性に対応して3Dアバターを変形する。したがって、リアルタイムで受信される顔イメージから変化を感知し、これに対応して3Dアバター1230を変更し、これにより一つ以上のオブジェクト(1241、1242、1243)を変更する。
【0085】
図14を参照すると、電子装置101は、一般状況、基本状況(デフォルト状況)、及び待機状況を一つの状況として分類し、目に対応する表現属性を表現属性セット1及び表現属性セット2として定義する。図14は、目に関連した複数の表現属性セットを示し、図示しないが、他の構成要素(例えば、鼻、口、耳など)も各々複数の表現属性セットを有する。一実施形態において、表現属性セットは異なる構成要素別に相関関係を有する。例えば、目の表現属性セット1は、口の表現属性セット1と相関関係を有し、目の表現属性セット2は、口の表現属性セット2と相関関係を有する。例えば、一つの属性グループは、相互に相関関係のある表現属性セットを含む。例えば、アバターキャラクター1の場合、これに対応する属性グループ1は、目の表現属性セット1と口の表現属性セット1とを含む相関関係を有する。
【0086】
図15は、本発明の一実施形態による電子装置により多様な3Dテンプレートを用いて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトを含む2Dイメージに基づいて、3Dアバターを生成する。電子装置101は、2Dイメージ1510に含まれた外部オブジェクトが顔を含むか否かを判定し、顔を含む場合に顔を抽出する。電子装置101は、外部オブジェクトから耳、目、及び口を含む顔領域1520を抽出する。電子装置101は、顔領域1520の中で表現属性を適用する対象1530を選択する。例えば、電子装置101は、抽出された顔領域1520をディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供し、ユーザー入力によって、表示された顔領域1520のうちの対象1530として目を選択する。電子装置101は、3Dアバターを生成するための3Dテンプレート1540を決定する。電子装置101は、2Dイメージ1510の顔に対応する外部オブジェクトとは異なる3Dテンプレート1540を選択する。例えば、電子装置101は、ユーザー入力によって3Dアバターに対応する3Dテンプレートを決定する。3Dテンプレート1540が顔に対応する構成を含まない場合、電子装置101は、3Dテンプレート1540に2Dイメージ1510から抽出した外部オブジェクトの顔を適用するために、3Dテンプレート1540のマッチング領域を選択する。電子装置101は、3Dテンプレート1550の第1の位置1551に外部オブジェクトの顔領域1520をマッチングさせるように決定する。このとき、電子装置101は、外部オブジェクトの顔領域1520が3Dテンプレート1550の上にマッチングする候補領域を表示し、これを選択する動作をさらに含む。例えば、候補領域は、3Dテンプレート1550の上に外部オブジェクトの顔領域1520が3Dテンプレート1550上に配置される条件(例えば、テンプレートのサイズ、形状)を満たす位置であるか否かを判定する動作)をさらに有する。一実施形態において、3Dテンプレート1550は、マッチングされる外部オブジェクトの顔領域1520に基づいて形状が変形する。例えば、電子装置101は、3Dテンプレート1540の第1の位置1551にマッチングしない顔領域1520の一部(例えば、耳)に合わせて変形され、類似度が高い他の3Dテンプレート(図示せず)を決定する。
【0087】
電子装置101は、3Dテンプレート1540の第1の位置1551に顔領域1520の属性値を適用する。電子装置101は、3Dテンプレート1540に外部オブジェクト1510の属性を適用した3Dグラフィックオブジェクト1560を表示する。電子装置101は、3Dグラフィックオブジェクト1560のうちの表現属性を適用するために選択された対象に所定の表現属性を適用する。電子装置101は、3Dグラフィックオブジェクト1560のうちの選択された目1571に笑う表現属性を適用して、3Dアバター1570を生成する。一実施形態において、電子装置101は、3Dグラフィックオブジェクト1560のうちの表現属性を適用するために対象選択及び表現属性を選択するときに、カメラモジュール180を通じて追加的に受信した顔(例えば、人、動物、又はキャラクターの顔)イメージから顔構成要素の属性を検出し、この検出(例えば、属性変化検出)に基づいて、一つ以上の対象(例えば、外部の3Dグラフィックオブジェクト1560の構成要素(例えば、目1571))及び対象に対応する表現属性を決定し、3Dアバター1570を生成する。
【0088】
図16及び図17は、本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。電子装置101は、3Dグラフィックオブジェクトに適用されるグラフィック属性を生成する。
【0089】
図16を参照すると、電子装置101は、3Dグラフィックオブジェクトに適用される事物を含む2Dイメージ1601を獲得する。電子装置101は、カメラ(例えば、図1のカメラモジュール180)を利用して獲得した2Dイメージに基づいて3Dグラフィックオブジェクトに適用する一つ以上の属性を生成する。3Dグラフィックオブジェクトに適用される一つ以上の属性は、例えば性別、人種、年齢、魅力度、表情、ヘアカラー、髪の分け目、髪の長さ、頬骨、顔型、肌色、目の位置、目のサイズ、眉毛長さ、眉毛形、眉毛サイズ、鼻の長さ、鼻の位置、鼻の形態、唇形、唇色、唇長さ、帽子、メガネ、イヤリング、ネックレス、リップカラー、及びネクタイスタイルのうちの少なくとも一つを含む。
【0090】
電子装置101は、ディスプレイ(例えば、図1のディスプレイ装置160)を通じて3Dグラフィックオブジェクトに適用される一つ以上の属性を生成する動作を説明するためのガイド情報を提供する。例えば、電子装置101は、3Dグラフィックオブジェクトに適用される一つ以上の属性に対するリストをディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。電子装置101は、ユーザー入力により選択された属性を生成するために、カメラ撮影に対するガイド情報をディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。電子装置101は、例えばメガネ属性を生成するために“メガネを画面の中心に撮影してください。”のようなガイド情報を提供する。電子装置101は、カメラモジュール180を用いてメガネを含む2Dイメージ1601を獲得する。
【0091】
電子装置101は、2Dイメージ1601から抽出したメガネに対応する3Dテンプレート1602を決定する。電子装置101は、2Dイメージ1601から抽出した事物に対応する3Dテンプレートを決定するために外部の電子装置又はサーバから、2Dイメージ1601から抽出した事物に関連した少なくとも一つの3Dテンプレートを要請及び受信する。例えば、電子装置101は、事物に対する名前を検索して3Dテンプレートを獲得する。電子装置101は、2Dイメージ1601から抽出されたメガネに基づいてメガネに関連した属性を抽出し、抽出したメガネの属性値を3Dテンプレート1602に適用してグラフィック属性1603を生成する。電子装置101は、生成されたグラフィック属性1603をグラフィック属性リスト領域に表示する。電子装置101は、ユーザーにプレビューを提供するために生成されたグラフィック属性1603を3Dグラフィックオブジェクト1604に適用して表示する。電子装置101は、生成されたグラフィック属性1603を修正又は削除する機能を提供する。電子装置101は、生成されたグラフィック属性1603を修正するために、カメラモジュール180を用いて他の2Dイメージを獲得する。電子装置101は、生成されたグラフィック属性1603を修正するためにメガネに対応する3Dテンプレート1602を変更する。
【0092】
図17を参照すると、電子装置101は、3Dグラフィックオブジェクトに適用される属性を含む2Dイメージ1701を獲得する。電子装置101は、2Dイメージ1701から属性を抽出する。3Dグラフィックオブジェクトに適用される属性は、色、模様、又は形状を含む。例えば、属性は、赤い色のチェック柄である。電子装置101は、2Dイメージ1701から抽出した属性を適用する3Dテンプレート1702を選択する。電子装置101は、上着に対応する3Dテンプレート1702を選択し、抽出した属性を選択された3Dテンプレート1702に適用して、グラフィック属性1703を生成する。電子装置101は、生成したグラフィック属性1703をディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、グラフィック属性1703が選択されると、3Dグラフィックオブジェクト1704にグラフィック属性1703を適用して表示する。
【0093】
図18は、本発明の一実施形態による電子装置により顔に対応する外部オブジェクト及び付加オブジェクトを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、2Dイメージ1810に含まれた一つ以上の外部オブジェクト(1811、1812、1813)を抽出する。電子装置101は、抽出した一つ以上の外部オブジェクト(1811、1812、1813)が顔に対応するか否かを判定する。例えば、電子装置101は、第1の外部オブジェクト1811及び第2の外部オブジェクト1812は、人の顔に対応すると判定し、第3の外部オブジェクト1813は、顔に対応しないと判定する。電子装置101は、顔に対応しない外部オブジェクトを含む3Dアバターを生成する。電子装置101は、一つ以上の外部オブジェクトが所定の付加オブジェクトに含まれるか否かを判定する。付加オブジェクトは、顔に対応しないが、3Dアバターに含まれるオブジェクトを示すもので、例えば、ランドマーク、キャラクター、又はユーザーが指定したオブジェクトである。電子装置101は、2Dイメージに含まれた一つ以上の外部オブジェクトがランドマーク、キャラクター、又はユーザーが指定したオブジェクトに対応する場合、外部オブジェクトを含む3Dアバターを生成する。
【0094】
図18を参照すると、2Dイメージ1810は、二人の人物とエッフェル塔を含む。電子装置101は、エッフェル塔を付加オブジェクトと判定し、エッフェル塔を含む3Dアバターを生成する。電子装置101は、一つ以上の外部オブジェクト(1811、1812、1813)の中で顔に対応する第1の外部オブジェクト1811、顔に対応する第2の外部オブジェクト1812、及び付加オブジェクトに対応する外部オブジェクト1813を含む3Dアバター1820を生成する。電子装置101は、第1の外部オブジェクト1811、第2の外部オブジェクト1812、及び第3の外部オブジェクト1813に基づき、それぞれの3Dグラフィックオブジェクトを生成し、3Dグラフィックオブジェクトに適用されるグラフィック属性を決定して3Dアバター1820を生成する。電子装置101は、第1の外部オブジェクト1811、第2の外部オブジェクト1812、及び第3の外部オブジェクト1813のうちの少なくとも一つにアバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果を適用して3Dアバター1820を生成する。例えば、電子装置101は、第1の外部オブジェクト1811に驚く表情を適用するか、第2の外部オブジェクト1812に指ハートのボディージェスチャーを適用するか、あるいは第3の外部オブジェクト1813のサイズを調整する。
【0095】
図19A及び図19Bは、本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。図20は、本発明の一実施形態による3Dアバターに対する表現属性の例を示す図である。電子装置101は、複数の外部オブジェクトを含む2Dイメージに基づいて、顔に対応する一つ以上の外部オブジェクトを選択し、選択された外部オブジェクトに対応する3Dアバターを生成する。
【0096】
まず、図19Aを参照すると、電子装置101は、三人の顔が含まれた2Dイメージ1910を獲得する。電子装置101は、2Dイメージ1910から一つ以上の外部オブジェクトを抽出し、抽出された外部オブジェクトが顔に対応するか否かを判定する。電子装置101は、抽出された顔に対応する外部オブジェクト(1911、1912、1913)を指示する識別子(例えば、点線の四角形)を2Dイメージ1920に表示する。電子装置101は、顔に対応する第1の外部オブジェクト1911、第2の外部オブジェクト1912、及び第3の外部オブジェクト1913に対して順次に3Dアバターを生成する。電子装置101は、複数の外部オブジェクトに対応する複数の3Dアバターを生成するために一つ以上の3Dアバターを利用する。電子装置101は、外部オブジェクトに対応する3Dアバターを選択するために、一つ以上の3Dアバターをディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、ユーザー入力によって選択された3Dアバターを外部オブジェクトに対応させると決定する。電子装置101は、複数の外部オブジェクトのうち、入力装置150を介して受信したユーザー入力によって第1の外部オブジェクト1931が選択されたことに応答し、選択された第1の外部オブジェクト1931を指示する識別子(例えば、円形の図形)を2Dイメージ1930に表示する。電子装置101は、選択された第1の外部オブジェクト1931に対応する一つ以上の3Dアバター1935を表示する。一つ以上の3Dアバター1935は、カテゴリに応じて動物に関連した動物3Dセット19341及び女性ヒーローに関連した女性セット19352を含む。一つのカテゴリは、関連した各キャラクターの表現属性セットを含み、各キャラクターの表現属性セットは、キャラクターの構成要素(例えば、ボディー、目、鼻、口、手、足)の各々に対して、状況に対応する表現属性サブセット(例えば、表現属性セット(目))を含む。
【0097】
電子装置101は、2Dイメージ1940で一つ以上の3Dアバターのうちの第1の外部オブジェクト1941に対応する第1の3Dアバター1942を選択して表示する。電子装置101は、第1の外部オブジェクト1911の顔とボディージェスチャーに関連した属性のうちの少なくとも一つに基づき、顔とボディージェスチャーのうちの少なくとも一つの状況に対応する表情が反映された第1の3Dアバターを生成する。
【0098】
図20を参照すると、一つ以上の3Dアバターは、所定の状況によって表情に関連した所定の表現属性を含む。電子装置101は、一つ以上の状況を定義し、状況によって3Dアバターの表情に関連した表現属性を定義する。3Dアバターの表現属性は、顔に対応する目、鼻、又は口に対する形状及び動きを含み、顔以外の構成に対応する頭、耳、腕、脚、又は腹に対する形状及び動きを含む。例えば、電子装置101は、一般状況2011を定義し、一つ以上のアバターに対する表現属性(2021、2031)を定義する。
【0099】
図19Bを参照すると、電子装置101は、第1の外部オブジェクト1951の笑い表情に応じて、笑い表情の属性を反映して第1の3Dアバターを生成する。電子装置101は、2Dイメージ1950のうちの第1の外部オブジェクト1951に対応して第1の3Dアバター1952が選択されることに対応し、他の外部オブジェクトに対応した3Dアバターを生成するために第1の3Dアバター1952と同一のカテゴリに属する3Dアバター1955を推薦する。例えば、第1の3Dアバター1952が動物に関連したカテゴリに属する場合、電子装置101は、動物3Dセットを含む3Dアバター1955を表示する。
【0100】
電子装置101は、2Dイメージ1960から選択された第2の外部オブジェクト1961に対応して第2の3Dアバター1962を選択し、順に2Dイメージ1970から選択された第3の外部オブジェクト1971に対応して第3の3Dアバター1972を選択する。電子装置101は、複数の外部オブジェクト(1951、1961、1971)に対応して選択された複数の3Dアバター(1952、1962、1972)に複数の外部オブジェクトの顔に関連した属性に基づいて選択された表情属性を適用した3Dアバター(1981、1982、1983)を含むイメージ1980を生成する。
【0101】
一実施形態において、電子装置101は、複数の外部オブジェクトがある場合、選択した外部オブジェクトの表情属性及び選択したアバターカテゴリによって、他の選択された外部オブジェクトのために推薦され表示される3Dアバター1955を決定する。例えば、第1の人物が笑う表情であり、第2の人物が泣く表情である場合、第3の人物に対応する外部オブジェクトを選択する場合、推薦される3Dアバター1955の表現特性は、同一のカテゴリに含まれるキャラクターのうちの笑い又は泣きに対応する3Dアバターを含む。
【0102】
図21は、本発明の一実施形態による電子装置がビデオ通話機能で3Dアバターを生成する動作の一例を示す図であり、図22は、本発明の一実施形態による電子装置がビデオ通話相手の電子装置と3Dアバターを共有する動作の一例を示す図である。電子装置101は、ビデオ通話機能を提供し、ビデオ通話の画面に表示された外部オブジェクトのうち、顔に対応する外部オブジェクトに対して3Dアバターを生成する。電子装置101は、ビデオ通話をする相手の電子装置と3Dアバターを共有する。
【0103】
図21の(a)を参照すると、電子装置101は、ビデオ通話機能を実行し、ビデオ通話が接続されると、ビデオ通話画面2101が表示する。電子装置101は、表示されたビデオ通話画面2101から一つ以上の外部オブジェクト(2110、2120)を抽出し、抽出された外部オブジェクトが顔に対応するか否かを判定する。電子装置101は、第1の外部オブジェクト2110及び第2の外部オブジェクト2120に対応して順次に3Dアバターを生成する。図21の(b)を参照すると、電子装置101は、第2の外部オブジェクト2120に対する選択に応答して一つ以上の3Dアバター2130を表示する。図21の(c)を参照すると、電子装置101は、ユーザーの入力によって選択された第1の3Dアバター2131を第2の外部オブジェクト2120に対応させると決定する。図21の(d)を参照すると、電子装置101は、第1の外部オブジェクト2110に対する選択に応答して、第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を表示する。
【0104】
電子装置101は、一つ以上の3Dアバター2140のうちの選択された第2の3Dアバター2132を第1の外部オブジェクト2110に対応させると決定する。一実施形態において、電子装置101は、第1の外部オブジェクト2110に対する選択に応答して、第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を相手の電子装置に送信する。相手の電子装置は、電子装置101が送信した第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を受信してビデオ通話画面2210に表示し、これらのうちの一つ(例えば、3Dアバター2132)を選択する動作を実行する。電子装置101は、相手の電子装置により選択された3Dアバター2132に対応する信号を受信する。
【0105】
一実施形態において、電子装置101は、選択された外部オブジェクト2120に対応して選択された3Dアバター2131のカテゴリ又は表情属性に基づき、以後に選択された外部オブジェクト2110に対応して同一のカテゴリ又は表情属性の3Dアバター2130を決定して表示する。
【0106】
図21の(e)を参照すると、電子装置101は、ビデオ通話画面で外部オブジェクトに対応する3Dアバター(2111、2121)を表示して提供する。
【0107】
図22の(a)を参照すると、電子装置101は、相手の電子装置とビデオ通話をする場合、電子装置101のビデオ通話画面2210にユーザーに対応する外部オブジェクト2211及び相手に対応する外部オブジェクト2212を表示し、相手の電子装置のビデオ通話画面2220に相手に対応する外部オブジェクト2221及びユーザーに対応する外部オブジェクト2222を表示する。このとき、相手の電子装置も外部オブジェクトを選択し、これに対応する3Dアバターを表示して選択する動作を実行する。このために表示されるインジケータ及び3Dアバターを電子装置101が相手の電子装置に送信する。
【0108】
図22の(b)を参照すると、電子装置101は、ユーザーに対応する外部オブジェクト2211及び相手に対応する外部オブジェクト2212に対応する3Dアバターを生成する。電子装置101は、ビデオ通話画面2230に生成した3Dアバター(2231、2232)を表示し、相手の電子装置に3Dアバター(2231、2232)を送信する。相手の電子装置は、受信した3Dアバター(2241、2242)をビデオ通話画面2240に表示する。
【0109】
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180))、ディスプレイ(例えば、図1のディスプレイ装置160)、及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて、一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに関連した属性に基づいて生成された3Dグラフィックオブジェクトをディスプレイ装置160を通じて提供し、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性及び3Dグラフィックオブジェクトに少なくとも基づいて、外部オブジェクトに対する3Dアバターを生成し、3Dアバターを用いて指定された表情又は動作が反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する。
【0110】
一実施形態において、プロセッサ120は、3Dグラフィックオブジェクトを生成する動作の少なくとも一部として、外部オブジェクトに対応する少なくとも一つの属性を含む3Dテンプレートを決定し、第1のイメージから外部オブジェクトに関連した属性を抽出し、抽出された属性を3Dテンプレートの対応する少なくとも一つの属性に適用させて3Dグラフィックオブジェクトを生成する。一実施形態において、プロセッサ120は、第1のイメージから外部オブジェクトに関連した属性を抽出する動作の少なくとも一部として、第1のイメージから顔を構成する少なくとも一つの要素を抽出し、各要素の形態、色、各要素間の相対的位置、各要素間の相対的サイズ比、又は各要素のアクセサリに対する属性値を確認する。一実施形態において、プロセッサ120は、抽出された属性と関係ない3Dテンプレートの属性に対して、3Dテンプレートに所定の属性を適用して3Dグラフィックオブジェクトを生成する。一実施形態において、プロセッサ120は、顔に対応する外部オブジェクトと異なる3Dテンプレートを決定する。一実施形態において、オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果に対応して決定され、プロセッサ120は、3Dアバターを用いて指定された表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する動作の少なくとも一部として、3Dアバターを用いてアバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに対して指定された値が反映された少なくとも一つのオブジェクトを生成する。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの第1の外部オブジェクトに対して、ユーザー入力によって顔に対応する少なくとも一つの構成を第1の外部オブジェクトの構成に対応させる。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの所定の条件を満たす第1の外部オブジェクトに基づいてグラフィック属性を生成する。一実施形態において、プロセッサ120は、第1の外部オブジェクトに対応する3Dテンプレート又はユーザー入力によって所定の3Dテンプレートを決定し、決定された3Dテンプレートに第1の外部オブジェクトの属性を適用してグラフィック属性を生成する。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの顔に対応しない付加オブジェクトを選択し、選択された付加オブジェクトを含んで3Dアバターを生成する。一実施形態において、プロセッサ120は、生成された第2のイメージを外部電子装置に伝送する。一実施形態において、第1のイメージは2Dイメージに対応し、第2のイメージは静止画像又は動画像の2Dイメージに対応する。
【0111】
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180)及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに基づいて、一つ以上の3Dアバターのうちの外部オブジェクトに対応する3Dアバターを選択し、外部オブジェクトの顔に対応する表情が反映された3Dアバターを用いて生成したオブジェクトを含む第2のイメージを生成する。本実施形態による電子装置は、通信モジュール(例えば、図1の通信モジュール190)をさらに含み、プロセッサ120は、通信モジュール190を通じて一つ以上の3Dアバターを受信する。一実施形態において、プロセッサ120は、一つ以上の状況に対応して所定の顔の表情に関連した表現属性のうちの外部オブジェクトの顔に対応する表情に基づいて選択された第1の表現属性を3Dアバターに反映する。一実施形態において、一つ以上の状況に対応して所定の顔表情に関連した表現属性は、目、鼻、又は口に対応して定義される。一実施形態において、オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果を含む。一実施形態において、プロセッサは、相手とのビデオ通話が開始されることに基づいて相手の3Dアバターを含むビデオデータを受信し、ビデオ通話中に3Dアバター及び相手の3Dアバターを一つの画面に表示する。
【0112】
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180)、及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトを含むか否かを確認する。その結果、プロセッサ120は、顔に対応する外部オブジェクトを含む場合、外部オブジェクトに関連した属性に基づいて3Dアバターを生成し、顔に対応する外部オブジェクトを含まない場合、3Dアバターを生成する動作をしないように設定する。本実施形態による電子装置は、ディスプレイ(例えば、図1のディスプレイ装置160)をさらに含み、プロセッサ120は、ディスプレイ160を通じて一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトが含まれるか否かを提供する。
【0113】
以上、本発明の詳細な説明において、具体的な実施形態に関して説明したが、本発明の技術範囲を逸脱しない範囲内で、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められる。
【符号の説明】
【0114】
100 ネットワーク環境
101、102、104 電子装置
108 サーバ
120 プロセッサ
121 メインプロセッサ
123 補助プロセッサ
130 メモリ
132 揮発性メモリ
134 不揮発性メモリ
136 内蔵メモリ
138 外部メモリ
140 プログラム
142 オペレーティングシステム
144 ミドルウェア
146 アプリケーション
150 入力装置
155 音響出力装置
160 ディスプレイ装置
170 オーディオモジュール
176 センサモジュール
177 インターフェース
178 接続端子
179 ハプティックモジュール
180 カメラモジュール
188 電力管理モジュール
189 バッテリー
190 通信モジュール
192 無線通信モジュール
194 有線通信モジュール
196 加入者識別モジュール
197 アンテナモジュール
198 第1のネットワーク
199 第2のネットワーク
301、311、331 プレビュー画面領域
302、304、312、322、323、332、333、343、352、411、412 アイコン
303 3Dアバターリスト
321 顔イメージ
334、413 選択バー
341、540、1003、1103、1570、1820、1935、1942、1952、1955、1962、1972、1981、1982、1983、2111、2121、2130、2131、2132、2140、2231、2232、2241、2242 3Dアバター
342 アバターリスト領域
351、353、611、811、812、813、822、835、841 領域
354、355、620、731、823、831、842、1241、1242、1243 オブジェクト
410、420、430、440、450、460、470 画面
451 ヘアスタイルリスト
452 ヘアカラーリスト
461 メガネアクセサリリスト
471 3Dアバター衣装リスト
510、1001、1101、1210、1220、1240、1510、1601、1701、1810、1910、1920、1930、1940、1950、1960、1970 2Dイメージ
511、1510、1811、1812、1813、1911、1912、1913、1931、1941、1951、1961、1971、2110、2120、2211、2212、2222 外部オブジェクト
521、522、1571 目
523 鼻
524 唇
530、1002、1102、1230、1540、1550、1602、1702 3Dテンプレート
610、821 アバターキャラクター
621 アバター
622 背景画面
623 付加オブジェクト
710、720、730 写真編集画面
711、721、1551 位置
810、820、830、840 画面領域
814 アバターキャラクター入力アイテム
832 プレビュー
833 送信ボタン
910 アプリケーション実行画面領域
911 写真アイテム
912 名前アイテム
1201、1202、1203 構成(属性値)
1520 顔領域
1530 対象
1560、1604、1704 3Dグラフィックオブジェクト
1603、1703 グラフィック属性
1980 イメージ
2011 一般状況
2021、2031 表現属性
2101、2210、2220、2230、2240 ビデオ通話画面
3541 しかめる表情
3542 ジェスチャー
3543 雲の背景
19341 動物3Dセット
19352 女性セット

図1
図2
図3
図4A
図4B
図4C
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19A
図19B
図20
図21
図22