特表 2024-506454 デジタルメイクアップパレット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-14

(54)【発明の名称】デジタルメイクアップパレット

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240206BHJP

   G06T 7/00 20170101ALI20240206BHJP

   G06T 19/00 20110101ALI20240206BHJP

   G06F 3/04845 20220101ALI20240206BHJP

   A45D 97/00 20110101ALI20240206BHJP

   A45D 44/00 20060101ALI20240206BHJP

【ＦＩ】

G06F3/01 510

G06T7/00 660A

G06T19/00 600

G06F3/04845

A45D97/00

A45D44/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023540040

(86)(22)【出願日】2021-12-02

(85)【翻訳文提出日】2023-08-18

(86)【国際出願番号】 US2021061654

(87)【国際公開番号】W WO2022146615

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】17/137,970

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/138,031

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2107904

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】FR

(31)【優先権主張番号】2107923

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＡＣＥＢＯＯＫ

２．ＡＮＤＲＯＩＤ

３．ＩＮＳＴＡＧＲＡＭ

４．ＹｏｕＴｕｂｅ

５．ＦａｃｅＴｉｍｅ

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】トラウトマン， ミンディ クリスティーン

(72)【発明者】

【氏名】クルーズ， フランチェスカ ディー．

(72)【発明者】

【氏名】ガドル， サンドリーヌ

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA12

5B050BA18

5B050BA20

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA26

5B050FA02

5B050FA05

5B050FA12

5B050FA13

5E555AA11

5E555AA76

5E555BA02

5E555BB02

5E555BB04

5E555BC18

5E555BC21

5E555BE17

5E555CA12

5E555CB16

5E555CB45

5E555DB53

5E555DC35

5E555FA00

5L096BA08

5L096DA01

5L096FA06

5L096GA38

5L096HA02

5L096MA03

(57)【要約】

メイクアップ用の拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザが選択したメイクアップ目的情報に従ってバーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

メイクアップ用の拡張現実システムであって：
ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；
前記メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、前記メイクアップパレットユニットは、前記ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；
前記ユーザが選択したメイクアップ目的情報に従って、バーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含むメイクアップ目的視覚化ユニットと
を備える、メイクアップ用の拡張現実システム。

【請求項2】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を受信し、
前記ユーザの顔画像を分析して顔パーツを特定し、
前記ユーザの顔画像に前記デジタルメイクアップ製品を適用する前記ユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、
前記少なくとも１つのジェスチャを分析して、前記ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、
前記推定された問題領域または前記推定された強調された顔の特徴部分を、適用されたカバレッジ、色合い、および仕上がりとともに前記メモリ内に格納する
ようにさらに構成される、請求項１に記載のメイクアップ用の拡張現実システム。

【請求項3】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザが選択したメイクアップ目的情報と一致する少なくとも１つの変更を含む、前記ユーザの顔の一部のバーチャル表現を生成するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項4】

タッチスクリーンをさらに備え、
前記ユーザによる前記少なくとも１つのジェスチャは、前記タッチスクリーン上の１回以上のスワイプを含み、
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記１回以上のスワイプを検出し、選択された色を前記ユーザの顔の前記画像内の位置に適用するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項5】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記タッチスクリーン上の前記１回以上のスワイプを検出し、前記ユーザの顔の前記画像内の前記位置にある顔パーツの境界によって限定される前記画像の領域に、前記選択された色を適用するようにさらに構成される、請求項４に記載のメイクアップ用の拡張現実システム。

【請求項6】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
メイクアップの適用におけるユーザの経験レベルを受信し、
前記タッチスクリーン上の前記１回以上のスワイプを検出し、
前記スワイプによって示された顔パーツの位置で前記ユーザの顔の前記画像の領域に前記選択された色を適用し、前記顔パーツは境界を有し、
前記適用された色を分析して、前記１回以上のスワイプが前記境界から許容量を越えているかどうかを判定するようにさらに構成され、前記許容量は、メイクアップの適用における前記ユーザの経験レベルに基づく、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項7】

前記タッチスクリーンは、前記スクリーンに加えられる圧力の量を感知する３次元タッチスクリーンであり、
前記ユーザによる前記少なくとも１つのジェスチャは、前記スクリーン上である特定の圧力で前記３次元タッチスクリーン上でのスワイプを含み、
前記計算回路は、前記１回以上のスワイプおよび前記スワイプの前記圧力を検出し、前記圧力に応じた厚さで前記選択された色を前記ユーザの顔の前記画像内の位置に適用するようにさらに構成される、請求項４に記載のメイクアップ用の拡張現実システム。

【請求項8】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記ジェスチャを分析して、問題領域強化学習モデルを使用して前記問題領域を推定するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項9】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して前記顔の特徴部分の強調を推定するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項10】

前記メイクアップ目的視覚化ユニットの前記計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項11】

前記メイクアップ目的視覚化ユニットの前記計算回路は、モバイルデバイスの音声出力機能を使用して、前記ユーザの顔の前記画像に前記デジタルメイクアップ製品を適用する方法についての推奨事項を希望するかどうかを前記ユーザに質問するようにさらに構成される、請求項２に記載のメイクアップ用の拡張現実システム。

【請求項12】

前記メイクアップパレットユニットの前記計算回路は、複数のデジタルメイクアップ製品用の複数のプリセットサブカルチャーパレットからサブカルチャーパレットを取得するように構成される、請求項１に記載のメイクアップ用の拡張現実システム。

【請求項13】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの顔を多かれ少なかれドラマチックにするための少なくとも１つの変更を含む、前記サブカルチャーパレットを使用して前記ユーザの前記顔のバーチャル表現を生成するようにさらに構成される、請求項１２に記載のメイクアップ用の拡張現実システム。

【請求項14】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの顔の前記一部をぼかすことによってシミを除去するための少なくとも１つの変更を含む、サブカルチャーパレットを使用して前記ユーザの前記顔のバーチャル表現を生成するようにさらに構成される、請求項１２に記載のメイクアップ用の拡張現実システム。

【請求項15】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの前記顔の前記バーチャル表現をライブビデオ用のプラットフォームに転送するようにさらに構成される、請求項１に記載の拡張現実システム。

【請求項16】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を、第２のユーザのための第２のメイクアップ目的視覚化ユニットに送信するようにさらに構成され、
前記第２のメイクアップ目的視覚化ユニットの計算回路は：
前記ユーザの顔画像を分析して顔パーツを特定し、
前記ユーザの顔の前記画像に前記デジタルメイクアップ製品を適用する前記第２のユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、
前記少なくとも１つのジェスチャを分析して、前記ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、
前記推定された問題領域または前記推定された強調された顔の特徴部分を、適用されたカバレッジ、色合いおよび仕上がりとともに前記メモリに格納するように構成される、請求項１に記載のメイクアップ用の拡張現実システム。

【請求項17】

前記第２のメイクアップ目的視覚化ユニットの前記計算回路は：
メイクアップの適用における前記第２のユーザの経験レベルを受信し、
前記タッチスクリーン上の前記１回以上のスワイプを検出し、
前記スワイプによって示された顔パーツの位置で前記ユーザの顔の前記画像の領域に前記選択された色を適用し、前記顔パーツは境界を有し、
前記適用された色を分析して、前記１回以上のスワイプが前記境界から許容量を越えているかどうかを判定するようにさらに構成され、前記許容量はメイクアップの適用における前記第２のユーザの経験レベルに基づく、請求項１６に記載のメイクアップ用の拡張現実システム。

【請求項18】

前記第２のメイクアップ目的視覚化ユニットの前記計算回路は、前記ジェスチャを分析して、問題領域強化学習モデルを使用して前記問題領域を推定するようにさらに構成される、請求項１６に記載のメイクアップ用の拡張現実システム。

【請求項19】

前記第２のメイクアップ目的視覚化ユニットの前記計算回路は、前記ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して前記顔の特徴部分の強調を推定するようにさらに構成される、請求項１６に記載のメイクアップ用の拡張現実システム。

【請求項20】

前記第２のメイクアップ目的視覚化ユニットの前記計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、請求項１６に記載のメイクアップ用の拡張現実システム。

【請求項21】

メイクアップ用の拡張現実システムであって：
ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；
前記メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、前記イクアップパレットユニットはデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；
ユーザの顔を分析して顔形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさのうちの１つ以上を特定し、前記ユーザが選択したメイクアップ目的情報と、前記ユーザの顔の前記分析に基づいて生成された前記少なくとも１つのデジタルメイクアップパレットに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された、計算回路を含むメイクアップ目的視覚化ユニットと
を備える、メイクアップ用の拡張現実システム。

【請求項22】

前記少なくとも１つのデジタルメイクアップパレットは、カバレッジ、色合い、および仕上がりを備えた複数の色を含む、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項23】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記ユーザの顔の少なくとも一部を含む前記ユーザの１つ以上のデジタル画像を受信し、
前記ユーザの顔画像を分析して顔パーツを特定するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項24】

前記メイクアップ目的視覚化ユニットの前記計算回路は：
前記顔パーツを明確にするために、前記１つ以上のデジタル画像の明るさを補正するようにさらに構成される、請求項２３に記載のメイクアップ用の拡張現実システム。

【請求項25】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記取得された少なくとも１つのデジタルメイクアップパレットに基づいて少なくとも１つのメイクアップフィルタを選択し、
前記少なくとも１つのメイクアップフィルタを使用して、前記ユーザの前記カスタムバーチャル試着を作成するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項26】

前記少なくとも１つのメイクアップフィルタは、以前に記録されたジェスチャを使用して形成される、請求項２５に記載のメイクアップ用の拡張現実システム。

【請求項27】

前記少なくとも１つのメイクアップフィルタは、以前に格納された推定の問題領域および推定され強調された顔の特徴部分を使用して形成される、請求項２６に記載のメイクアップ用の拡張現実システム。

【請求項28】

前記メイクアップ目的視覚化ユニットの前記計算回路は、過去のルックの好みに基づいて少なくとも１つのメイクアップフィルタを選択するようにさらに構成される、請求項２６に記載のメイクアップ用の拡張現実システム。

【請求項29】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記ユーザの顔の前記一部をぼかすことによってシミを除去することを含む、前記ユーザのための前記カスタムバーチャル試着を作成するようにさらに構成される、請求項２３に記載のメイクアップ用の拡張現実システム。

【請求項30】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記１つ以上のインスタンスをメモリ内に保存する機能を備え、前記カスタムバーチャル試着の前記１つ以上のインスタンスを表示するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項31】

前記メイクアップ目的視覚化ユニットの前記計算回路は、複数のデジタルメイクアップパレットに基づいて作成された前記カスタムバーチャル試着の前記１つ以上のインスタンスをメモリに格納するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項32】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記カスタムバーチャル試着を、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項33】

複数のメイクアップフィルタを含むインデックス付きデータベースを含むレコメンダシステムをさらに備え、
前記レコメンダシステムは：
デジタルメイクアップを適用する方法を示す要求に応じて、前記インデックス付きデータベースから１つ以上のメイクアップフィルタを取得し；
前記顔画像を、前記取得された１つ以上のメイクアップフィルタとブレンドすることによってビデオフレームのシーケンスを生成し；
前記ビデオフレームのシーケンスを表示するように構成される、請求項２１に記載のメイクアップ用の拡張現実システム。

【請求項34】

前記インデックス付きデータベースは、メイクアップフィルタの複数のカテゴリを含み、
前記レコメンダシステムは：
前記メイクアップフィルタの複数のカテゴリのうちの１つのカテゴリにデジタルメイクアップを適用する要求に応じて、前記インデックス付きデータベースから１つ以上のメイクアップフィルタを取得するようにさらに構成される、請求項３３に記載のメイクアップ用の拡張現実システム。

【請求項35】

前記メイクアップフィルタのカテゴリは、サブカルチャーメイクアップルックであり、
前記メイクアップ目的ユニットの前記計算回路は、ユーザが選択可能なメイクアップ目的の前記１つ以上のインスタンスとして前記サブカルチャーメイクアップのルックを生成するように構成され、
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記ユーザが選択したサブカルチャーメイクアップルックに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成される、請求項３４に記載のメイクアップ用の拡張現実システム。

【請求項36】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記１つ以上のインスタンスの中から前記カスタムバーチャル試着のインスタンスを選択し、前記カスタムバーチャル試着の前記選択されたインスタンスを、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、請求項３５に記載のメイクアップ用の拡張現実システム。

【請求項37】

前記メイクアップ目的視覚化ユニットの前記計算回路は、前記カスタムバーチャル試着の前記１つ以上のインスタンスとしてメイクアップフィルタを作成し、前記作成された複数のメイクアップフィルタの中から１つのメイクアップフィルタを選択し、前記選択されたメイクアップフィルタを前記ライブビデオに適用するようにさらに構成される、請求項３６に記載のメイクアップ用の拡張現実システム。

【請求項38】

前記選択されたメイクアップフィルタは、前記ユーザが選択した複数のサブカルチャーメイクアップルックの中の１つのサブカルチャーメイクアップルック用であり、
前記メイクアップ目的視覚化ユニットの前記計算回路は、前記選択されたメイクアップフィルタを前記ライブビデオに適用して、前記サブカルチャーメイクアップルックを実現するようにさらに構成される、請求項３７に記載の拡張現実システム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２０年１２月３０日に出願された米国非仮出願第１７／１３７，９７０号、２０２０年１２月３０日に出願された米国非仮出願第１７／１３８，０３１号、２０２１年７月２２日に出願されたフランス出願第２，１０７，９２３号、および２０２１年７月２２日に出願されたフランス出願第２，１０７，９０４号に対する優先権の利益を主張し、当該出願のすべての記載内容を援用する。

【技術分野】

【0002】

本開示は、デジタルメイクアップパレット、およびデジタルメイクアップパレットを用いてパーソナライズされた拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）の体験のための方法を対象とする。

【背景技術】

【0003】

前面カメラ付きのスマートフォンは、カメラを手元に持っている人がキャプチャされる画像を見ることができる形で、その人の写真およびビデオを撮影する機能を提供する。前面カメラを利用する、アプリとも称されるさまざまなモバイルアプリケーションが開発されている。一般的なアプリは、自撮り写真（セルフィー）と称される自画像写真を撮影し、ソーシャルメディアのコンテキストに自撮り写真を挿入し、電子メールまたは携帯メールで他人と共有するために自撮り写真を転送することを可能にするアプリである。

【0004】

一部の化粧品会社では、化粧品の選択を支援するアプリの開発を開始している。そのアプリでは、特定のタイプのメイクアップを検索したり、またはお気に入りの製品を検索したり、もしくは以前に使用した製品を購入したりするためのツールを提供できる。一部のアプリでは、特定のタイプのメイクアップを適用する方法に関するチュートリアルを提供している。一部のアプリでは、カラーパレットを表示することで、口紅またはアイシャドウの色の選択を支援している。一部のアプリでは、衣服およびアクセサリーにマッチする色、または写真からの色の検索を支援するカラーマッチング機能を提供する。

【0005】

一部の化粧品会社は、製品の試着（ｔｒｙ－ｏｎ）アプリケーションを提供することで、スマートフォン、タブレット、およびノートパソコンのカメラを利用し始めている。これらのアプリケーションの一部は、Ｗｅｂアプリケーション、つまりアプリとして実装される。これらの試着アプリケーションは、スマートフォンのカメラで自画像写真を撮影し、Ｗｅｂアプリケーションに写真をアップロードし、アップロードされた画像にバーチャルメイクアップ製品を適用することで機能する。これらの試着アプリケーションは、肌を滑らかにする、胸骨を持ち上げる、目の色を調整するなど、さまざまなオプションを提供できる。これらの試着アプリケーションは、色の濃さ（ｉｎｔｅｎｓｉｔｙ）を変更するだけでなく、任意のタイプおよび任意の色のメイクアップ製品を追加する機能をユーザに提供することができる。

【0006】

しかし、このように提供された試着アプリケーションは、写真編集ツールによってルック（ａ ｌｏｏｋ）を作成する傾向がある。以前の試着アプリケーションの一部は、アップロードされた写真から始まり、メイクアップのタイプおよび色を適用するワンステップの機能を提供し、その後メイクアップされた写真を編集できるようにする。そのようなツールは、個人のメイクアップ体験をキャプチャしない。また、以前の試着アプリケーションツールは、カスタムルックを作成しない。例えば、ユーザは金曜日のデートナイトルックを望んでいるかもしれない。以前の試着アプリケーションは金曜日のデートナイトルックを提供するかもしれないが、そのルックはユーザが考えていたものではないかもしれない。提供されたツールを用いてさらに編集を実行し、ユーザが金曜日のデートナイトルックであると考えているルックを得るよう試みてもよい。ただし、そのようなアプローチは編集ツールの機能によって制限される。ユーザは、ユーザの雰囲気またはユーザが表現したい雰囲気に基づいた金曜日のデートナイトルックを希望することがあるが、これには広範な編集が必要になることがある。

【0007】

これらの以前の試着Ｗｅｂアプリケーションまたはアプリには、十分なパーソナライゼーション（ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ）が欠けている。というのは、以前のバーチャル試着アプリケーションが特定のブランドの物理的なメイクアップ製品に限定されていたからである。ユーザは、頭の中で考えている、または試したい特定のルックを作成できないことがある。ユーザが非現実的なルックに失望せずにメイクアップを試すのを楽しむことができる、特定のユーザ向けのカスタム試着体験を提供する必要がある。

【0008】

さらに、ユーザは、シミ（ｂｌｅｍｉｓｈｅｓ）、傷跡、加齢シミ（ａｇｅ ｓｐｏｔｓ）、色素沈着過剰など、メイクアップで処置したい問題領域を抱えていることがありうる。ユーザは、頬骨、目、唇などの特定の顔の特徴部分を強調したいこともある。特定のユーザの特定の問題領域または最適な顔の特徴部分に対処するのに役立ちうるカスタム試着体験を提供する必要がある。

【0009】

フォーミュラ（処方）の専用パーソナライゼーションマシンを流通させる代替手段は、製品の少量を供給して、消費者が製品をテストし、その後消費者の肌上で測定された傾向に応じて製品レシピを変更するために、サンプリングシステムをマシンに追加する必要がありうるので、時間がかかり、かつ費用がかかる。

【0010】

さらに、各消費者の肌の問題領域および顔の特徴部分のばらつきが大きすぎるため、ｅコマース用のパーソナライズされた試着サービスは、スマートフォンを有する最終消費者には拡張することができない。

【0011】

前述の「背景技術」の説明は、本開示の文脈を概括的に提示することを目的としている。この「背景技術」の節に説明されている範囲で現在名前が挙げられている発明者らの研究、および出願時にそれ以外に従来技術とみなされていない可能性がある説明の態様は、明示的にも黙示的にも本発明に対する従来技術とは認められない。

【発明の概要】

【0012】

メイクアップ用の拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品のための少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザが選択したメイクアップ目的情報に従ってバーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。

【0013】

メイクアップ用の拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、デジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザの顔を分析して、顔の形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさ、のうちの１つ以上を決定し、ユーザが選択したメイクアップ目的情報と、ユーザの顔の分析に基づいて生成された少なくとも１つのデジタルメイクアップパレットとに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。

【0014】

例示的な実施形態の前述の概要の説明および以下の詳細な説明は、本開示の教示の単なる例示的な態様であり、限定的ではない。

【図面の簡単な説明】

【0015】

本開示のより完全な理解およびそれに付随する利点の多くは、添付図面と関連して考慮されるとき、以下の詳細な説明を参照することによって、よりよく理解されるように、容易に得られるであろう。

【0016】

【図1】本開示の例示的な態様による、システムの図である。

【図2】モバイルデバイス用のコンピュータシステムのブロック図である。

【図3A-3B】本開示の例示的な態様による、カスタムルックを作成する方法のフローチャートである。図３Ａは、ユーザがユーザ自身のカスタムルックを作成する方法であり、図３Ｂは、カスタムルックがモバイルアプリケーションによって作成される方法である。

【図4】本開示の例示的な態様による、ルックをユーザ作成とするか、またはアプリ作成とするか、のいずれかを選択するための例示的なユーザインタフェースである。

【図5】本開示の例示的な態様による、デジタルメイクアップパレットを取得する方法のフローチャートである。

【図6】本開示の例示的な態様による、例示的なデジタルメイクアップパレットを示す。

【図7】本開示の例示的な態様による、例示的なデジタルメイクアップを示す。

【図8】本開示の例示的な態様による、顔分析ステップをより詳細に示すフローチャートである。

【図9】顔形状を分類するためのＣＮＮのブロック図である。

【図10】顔のランドマーク検出のための深層学習ニューラルネットワークの図である。

【図11】適用するバーチャル製品を選択するための例示的なユーザインタフェースである。

【図12】ユーザがメイクアップを適用するか、メイクアップを適用する方法を推奨するかを選択するための例示的なユーザインタフェースである。

【図13】本開示の例示的な態様による、例示的なモバイルアプリケーションである。

【図14】レコメンダシステム（ｒｅｃｏｍｍｅｎｄｅｒ ｓｙｓｔｅｍ）の図である。

【図15】図１２のレコメンダシステムの例示的なルックメイクアップマトリクス（ｌｏｏｋ－ｍａｋｅｕｐ ｍａｔｒｉｘ）を示す。

【図16】所望の特徴部分およびオリジナルの特徴部分に基づいて顔画像を作成するために使用されうるブレンドプロセスを示す。

【図17】本開示の例示的な態様による、バーチャルメイクアップ（ｖｉｒｔｕａｌ ｍａｋｅｕｐ）を適用するステップのフローチャートである。

【図18】メイクアップを適用しながら領域およびスワイプを記録するステップのフローチャートである。

【図19】問題領域または最良の特徴部分を推定するために、ユーザのメイクアップを適用したステップを分析するステップのフローチャートである。

【図20】本開示の例示的な態様による、メイクアップルックを格納するための例示的なユーザインタフェースである。

【図21】本開示の例示的な態様による、デジタルパレットのカスタムアプリケーションの方法のフローチャートである。

【図22】カスタムメイクアップアプリケーションのステータスを示す例示的なユーザインタフェースである。

【図23】本開示の例示的な態様による、メイクアップフィルタを選択する方法のフローチャートである。

【図24】メイクアップルックを保存するための例示的なユーザインタフェースである。

【図25】強化学習アーキテクチャ（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｒｃｈｉｔｅｃｔｕｒｅ）のブロック図である。

【図26】本開示の例示的な態様による、機械学習モデルのフロー図である。

【0017】

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈で別段の指示がない限り、同様の記号は通常、同様の構成要素を特定する。詳細な説明に記載される例示的な実施形態、図面、および特許請求の範囲は、限定することを意味するものではない。本提示の主題の趣旨または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更が行われてもよい。

【発明を実施するための形態】

【0018】

本開示の態様は、拡張現実の構成におけるデジタルメイクアップパレットを対象とする。デジタルメイクアップパレットは、顔の単一パーツまたは顔全体のデジタルメイクアップ用の色の取り合わせである。拡張現実の構成では、ユーザがメイクアップを適用するときのステップをキャプチャでき、適用したメイクアップ用のカスタムメイクアップフィルタを作成できる。拡張現実の構成では、ステップを分析して、ユーザが問題領域および最良の特徴部分と考えるものを特定できる。分析の結果を用いて、カスタム推奨を改善することができる。拡張現実の構成では、機械学習モデルを用いて分析を実行できる。機械学習モデルには、問題領域および最良の特徴部分を推定する人工ニューラルネットワークが含まれることがある。

【0019】

図１は、本開示の例示的な態様による、システムの図である。実施形態には、ソフトウェアアプリケーション、またはモバイルアプリケーション（アプリ）が含まれる。この開示の目的上、以下では、用語アプリはソフトウェアアプリケーションまたはモバイルアプリケーションと同じ意味で使用され、メイクアップアプリケーションは、バーチャル的または物理的にデジタルメイクアップを適用するプロセスに関連して使用される。ソフトウェアアプリケーションは、デスクトップコンピュータまたはノートパソコン１０３上で実行されてもよい。モバイルアプリケーションは、タブレットコンピュータまたは他のモバイルデバイス１０１上で実行されてもよい。本開示の目的のために、ソフトウェアアプリケーションおよびモバイルアプリケーションは、モバイルアプリケーション１１１に関して説明される。それぞれの場合において、モバイルアプリケーション１１１は、それぞれのデバイス１０１、１０３にダウンロードされ、インストールされてもよい。実施形態によっては、デスクトップコンピュータまたはノートパソコン１０３は、音声入力デバイスとしてマイクロフォン１０３ａを備えて構成されてもよい。マイクロフォン１０３ａは、ＵＳＢポートまたは音声入力ポートを介して、あるいはＢｌｕｅｔｏｏｔｈ無線プロトコルを介して無線でデスクトップコンピュータまたはノートパソコン１０３に接続するデバイスであってもよい。モバイルデバイス１０１は、内蔵マイクロフォンを備えた携帯電話またはスマートフォンであってもよい。実施形態によっては、ソフトウェアアプリケーションまたはモバイルアプリケーション１１１は、クラウドサービス１０５と連携して動作する通信機能を含んでもよい。クラウドサービス１０５は、データベース管理サービス１０７および機械学習サービス１０９を含んでもよい。データベース管理サービス１０７は、クラウドサービス１０５で提供されるデータベース管理システムの任意のタイプであってもよい。例えば、データベース管理サービス１０７は、構造化照会言語（ＳＱＬ）を使用してアクセスされるデータベース、および一般にＮｏ ＳＱＬと呼ばれる、キーによってアクセスされる非構造化データベースを含んでもよい。機械学習サービス１０９は、機械学習に必要になりうるスケールアップおよび高性能コンピューティングを可能にするために、機械学習を実行してもよい。また、ソフトウェ アアプリケーションまたはモバイルアプリケーション１１１は、クラウドサービス１０５からダウンロードしてもよい。図１は、単一のクラウドサービス１０５、ノートパソコン１０３、およびモバイルデバイス１０１を示しているが、多数のモバイルデバイス、ノートパソコン、ならびにデスクトップコンピュータおよびタブレットコンピュータは、１つ以上のクラウドサービスに接続されうることを理解されたい。

【0020】

ソフトウェアアプリケーションまたはモバイルアプリケーション１１１は、グラフィカルユーザインタフェースに動作可能に結合されたメイクアップ目的ユニットと、メイクアップ目的ユニットに結合されたメイクアップパレットユニットと、メイクアップ目的視覚化ユニットと、を含む拡張現実システムとして実装されてもよい。メイクアップ目的ユニットは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されてもよい。メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従って、デジタルメイクアップ製品のための少なくとも１つのデジタルメイクアップパレットを生成するように構成されてもよい。メイクアップ目的視覚化ユニットは、ユーザが選択したメイクアップ目的情報に従って、バーチャル試着の１つ以上のインスタンスを生成するように構成されてもよい。メイクアップ目的ユニット、メイクアップパレットユニット、およびメイクアップ目的視覚化ユニットのそれぞれは、モバイルコンピュータデバイス１０１、１０３からデスクトップコンピュータデバイスに至るコンピュータシステムの計算回路を含んでもよい。最小要件は、コンピュータデバイスが対話型ディスプレイデバイスを含むことである。

【0021】

図２は、モバイルコンピュータデバイスのブロック図である。一実装形態では、モバイルデバイス１０１の機能およびプロセスは、１つ以上のそれぞれの処理／計算回路２２６によって実装されてもよい。同じまたは同様の処理／計算回路２２６は、タブレットコンピュータまたはノートパソコンに含まれてもよい。デスクトップコンピュータも同様に構成されうるが、場合によっては、内蔵タッチスクリーン２２１、マイクロフォン２４１、またはカメラ２３１を含まないことがある。プロセッサが計算回路を含むのと同様に、処理回路はプログラムされたプロセッサを含む。処理回路は、特定用途向け集積回路（ＡＳＩＣ）などのデバイスおよび記載された機能を実行するように構成された従来の回路構成要素も含んでよい。注意すべきは、回路とは、回路または回路システムを指す。ここで、計算回路は、１つのコンピュータシステム内にあってもよいし、コンピュータシステムのネットワーク全体に分散されていてもよい。

【0022】

次に、図２を参照して、例示的な実施形態による処理／計算回路２２６のハードウェアの記載を説明する。図２では、処理／計算回路２２６は、本明細書で説明されるプロセスを実行するモバイル処理ユニット（ＭＰＵ）２００を含む。プロセスデータおよび命令は、メモリ２０２に格納されてもよい。これらのプロセスおよび命令は、携帯記憶媒体に格納されてもよいし、またはリモートでも格納されてもよい。処理／計算回路２２６は、モバイルデバイス１０１のネットワークサービスに固有の情報を含む交換可能な加入者識別モジュール（ＳＩＭ）２０１を有してもよい。

【0023】

さらに、その進歩は、本発明プロセスの命令が格納されるコンピュータ読み取り可能媒体の形態に限定されない。例えば、命令は、フラッシュメモリ、セキュアデジタルランダムアクセスメモリ（ＳＤＲＡＭ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ （ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ソリッドステートハードディスク、または、例えば、サーバもしくはコンピュータなどの処理／計算回路２２６が通信する任意の他の情報処理デバイスに格納されてもよい。

【0024】

さらに、その進歩は、ＭＰＵ２００と、Ａｎｄｒｏｉｄ、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）１０ Ｍｏｂｉｌｅ、Ａｐｐｌｅ ｉＯＳ（登録商標）および当業者に公知の他のシステムなどのモバイルオペレーティングシステムとを組み合わせて実行されるユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはこれらの組み合わせとして提供されてもよい。

【0025】

処理／計算回路２２６を実現するために、ハードウェア要素は、当業者に公知のさまざまな回路要素によって実現されうる。例えば、ＭＰＵ２００は、Ｑｕａｌｃｏｍｍモバイルプロセッサ、Ｎｖｉｄｉａモバイルプロセッサ、米国インテル社のＡｔｏｍ（登録商標）プロセッサ、Ｓａｍｓｕｎｇモバイルプロセッサ、またはＡｐｐｌｅ Ａ７モバイルプロセッサであってもよいか、または当業者によって認識できる他のプロセッサタイプであってもよい。あるいは、当業者であれば理解できるように、ＭＰＵ２００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）上で、または個別の論理回路を使用して実装されうる。さらに、ＭＰＵ２００は、上述した発明的プロセスの命令を実行するために並行して協働する複数のプロセッサとして実装されてもよい。

【0026】

図２の処理／計算回路２２６は、ネットワーク２２４とインタフェースするための、米国インテル社からの「インテルイーサネットプロ」ネットワークインタフェースカードなどのネットワークコントローラ２０６も含む。理解できるように、ネットワーク２２４は、インターネットなどの公衆ネットワーク、またはＬＡＮまたはＷＡＮネットワークなどのプライベートネットワーク、あるいはそれらの任意の組み合わせとすることができ、さらにＰＳＴＮまたはＩＳＤＮサブネットワークも含むことができる。ネットワーク２２４は、イーサネットネットワークなどの有線でありうる。処理回路は、３Ｇ、４Ｇ、および５Ｇ無線モデム、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＰＳ、または他の公知の無線通信形式を含む無線通信のためのさまざまなタイプの通信プロセッサを含んでもよい。

【0027】

処理／計算回路２２６は、ＭＰＵ２００によって管理されうるユニバーサルシリアルバス（ＵＳＢ）コントローラ２２５を含む。

【0028】

処理／計算回路２２６は、ディスプレイ２１０とインタフェースするための、米国ＮＶＩＤＩＡ社のＮＶＩＤＩＡ（登録商標）ＧｅＦｏｒｃｅ（登録商標）ＧＴＸまたはＱｕａｄｒｏ（登録商標）グラフィックスアダプタなどのディスプレイコントローラ２０８をさらに含む。Ｉ／Ｏインタフェース２１２は、音量制御などのためのボタン２１４とインタフェースする。Ｉ／Ｏインタフェース２１２およびディスプレイ２１０に加えて、処理／計算回路２２６は、マイクロフォン２４１および１つ以上のカメラ２３１をさらに含んでもよい。マイクロフォン２４１は、音声をデジタル信号に処理するための関連回路２４０を有してもよい。同様に、カメラ２３１は、カメラ２３１の画像取り込み動作を制御するためのカメラコントローラ２３０を含んでもよい。例示的な態様では、カメラ２３１は電荷結合素子（ＣＣＤ）を含んでもよい。処理／計算回路２２６は、音声出力信号を生成するための音声回路２４２を含んでもよく、また、オプションの音声出力ポートを含んでもよい。

【0029】

パワーマネージメントおよびタッチスクリーンコントローラ２２０は、処理／計算回路２２６およびタッチ制御によって使用される電力を管理する。通信バス２２２は、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、ビデオエレクトロニクス標準協会（ＶＥＳＡ）、周辺コンポーネントインタフェース（ＰＣＩ）、または同様のものであってもよく、処理／計算回路２２６のすべてのコンポーネントを相互接続するためのものである。ディスプレイ２１０、ボタン２１４、ならびにディスプレイコントローラ２０８、パワーマネージメントコントローラ２２０、ネットワークコントローラ２０６、およびＩ／Ｏインタフェース２１２の一般的な特徴および機能の説明については、これらの特徴は公知であり、簡潔にするために本明細書では省略する。

【0030】

図３Ａ、図３Ｂは、カスタムルック、ならびに顔の問題領域および最良の顔の特徴部分の特別な処理を作成する方法のフローチャートである。図３Ａは、本開示の例示的な態様による、ユーザがデジタルパレットを有するバーチャルメイクアップ製品を適用することによってカスタムルックを作成する方法のフローチャートである。

【0031】

開示された実施形態は、デジタルメイクアップパレットを含む。デジタルメイクアップパレットは、デジタルメイクアップ用のバーチャルパレットである。本開示では、用語バーチャルメイクアップおよびデジタルメイクアップは同じ意味で使用されることがある。デジタルメイクアップでは、色の取り合わせを有し、そこから選択できる。特定のデジタルメイクアップは、関連付けられたメイクアップ適用ジェスチャおよび通常適用される１つ以上の顔パーツを有してよく、デジタルメイクアップパレットには、カバレッジ、色合い、仕上がりなどの特性が含まれる。物理的なメイクアップ製品とは異なり、デジタルメイクアップは化学組成に由来する色に限定されず、より広範囲の色を含むことがある。また、デジタルメイクアップは、色温度、露出、コントラスト、彩度のさまざまなフィルタの適用、ならびにＲＧＢおよびＨＣＬ値の制御など、ディスプレイデバイスの特性を使用して生成されるカバレッジ、色合い、仕上がりを利用する場合がある。

【0032】

カバレッジは、通常、デジタルメイクアップに含まれる顔料の割合に基づいたデジタルメイクアップの実際のカバレッジである。カバレッジは通常、ファンデーションメイクアップに関係するが、補正メイクアップまたはプライマーを指す場合もある。ライトカバーメイクアップには、約１８％未満の顔料が含まれる場合がある。ミディアムカバー製品には、約１８％から２３％の顔料が含まれる場合がある。フルカバーメイクアップには最大約３５％の顔料が含まれる場合がある。一部のメイクアップ製品には、より多量の顔料が含まれている場合がある。実施形態によっては、デジタルメイクアップのカバレッジは、バーチャルメイクアップの単一のブラシストロークを表す不透明フィルタとして実装される。

【0033】

デジタルメイクアップの色合いは、色白から浅黒い色（ｄａｒｋ）まで、場合によっては非常に色白から濃い色（ｄｅｅｐ）、さらには非常に濃いものにまでおよびうる。色合いは、肌の色などの単一の色を表す場合がある。１つ以上の実施形態では、デジタルメイクアップの色合いは、表示色の範囲、例えば、ＲＧＢ値に従って表示される赤色の色合いとして実装される。

【0034】

デジタルメイクアップの仕上がりには、マット（くすんだ）、クリーム（光沢のあるまたは光沢のある）、フロスト（反射）、およびグリッター（グリッター粒子）などの一般的な仕上がりが含まれる場合がある。仕上がりは、反射される光の量によって定義される場合がある。マットは光をほとんど反射しない。クリームはパールのような光沢を保つ。フロストおよびグリッターは最も多くの光を反射する。１つ以上の実施形態では、デジタルメイクアップの仕上がりは色の輝度（明るさ）として実現される。マットは輝度値が低くてもよく、欠陥を隠す。フロストはより大きな輝度を発してもよい。

【0035】

デジタルメイクアップは、ぼかし、色温度、および彩度などのさまざまなフィルタを含んでもよい。欠陥のある領域にぼかしを適用して、欠陥を目立たなくしてもよい。

【0036】

メイクアップパレットを取得する前に、Ｓ３０１では、ユーザは、モバイルデバイス、タブレット、ノートパソコン、またはデスクトップコンピュータ上でアプリ１１１を立ち上げてもよい。アプリ１１１は、メイクアップ目的ユニットを介して、ユーザがどのようなタイプのルックを作成したいかを質問することができる。ユーザがこの質問に答えるのを支援するために、アプリ１１１は、事前定義されたメイクアップルックのリストを生成してよく、ユーザは、事前定義されたメイクアップルックを選択してよい。事前定義されたメイクアップルックには、いくつか例を挙げると、シーズンルック（春、夏、秋）、イベントルック（金曜日のデートナイト、ガールズナイトアウト、特別なデート、義母との外出、休暇、パーティ、大晦日、ブライダル、プロム）、完了までの時間に基づくルック（クイックメイクアップ、平均的なメイクアップ、ゆっくりと時間をかけたメイクアップ）、ムードルック（陽気、ハッピー、私に気づいて）、スタイル（ナチュラル、イブニング、グラマー、ゴシック、オフィス）、美的ルック（ＶＳＣＯ、ｅＧｉｒｌ、ソフトガール）を含むことができる。

【0037】

さらに、アプリ１１１は、メイクアップ目的ユニットを介して、メイクアップを使用する経験レベルを定義するようにユーザに質問してよい。ユーザの経験レベルには、初心者／新人レベル、経験豊富なレベル、専門家レベル、およびプロフェッショナルが含まれうる。初心者／新人レベルは、メイクアップを適用した経験がほとんどない、またはまったくないユーザであってもよい。経験豊富なレベルは、以前にメイクアップを適用したことがあり、したがってある程度の経験を有するユーザであってもよい。専門家レベルは、１年以上など、一定期間メイクアップを適用しており、メイクアップを適切に適用する方法を学ぶための措置を講じているユーザであってもよい。プロフェッショナルレベルは、他のユーザにメイクアップを適用するユーザであってもよい。実施形態によっては、アプリ１１１は、ユーザがユーザプロファイルを作成するために使用してもよいインタフェースを提供してよく、とりわけ、ユーザの経験レベルを入力することを含むことができる。

【0038】

アプリ１１１は、選択されたルックおよびユーザの経験レベルを出発点として利用してよい。例えば、メイクアップを適用することが初めてのユーザは、試してみたいと思うだろうし、メイクアップを適用することに関して学びたいと思うかもしれない。以前にメイクアップを適用した経験があり、知識および創造性を広げたいと考えている経験豊富なユーザは、新しいメイクアップ製品またはメイクアップルックを試してみたいと思うかもしれない。専門家ユーザはメイクアップを適用した豊富な経験を有しているかもしれないが、自分の創造性を広げて、プロのメイクアップアーティストによって作成されるような品質のルックを取得したいと考えているであろう。その後、アプリ１１１は、後の段階で推奨事項を提供する際に、選択されたルックおよびユーザの経験レベルを使用してもよい。

【0039】

Ｓ３０３では、アプリ１１１は、アプリ１１１にカスタムルックを提供させるか、またはユーザが自分の顔画像にバーチャルメイクアップを適用するかの選択をユーザに提供してよい。実施形態によっては、Ｓ３０５では、メイクアップパレットユニットは、少なくとも１つのデジタルメイクアップパレットを生成してよい。特に、ユーザは、例えば、アプリ１１１ストアからデジタルメイクアップをダウンロードすることによって、またはデジタルメイクアップを提供するウェブサイトからダウンロードすることによって、特定のバーチャルメイクアップ用のデジタルメイクアップパレットを取得してよい。１つ以上の実施形態では、ユーザは、デジタルメイクアップパレットをメイクアップルックのバリエーションに合わせて変更してよい。例えば、ユーザは、ＶＳＣＯガールルックなどのメイクアップルックのためにデジタルメイクアップパレットを変更して、多かれ少なかれドラマチックにしてよい。あまりドラマチックではないルックには、メイクアップルックに対して異なるデジタルメイクアップパレットを取得することを要する場合があるか、または顔パーツ、例えば、唇、まぶた、鼻に対して異なるデジタルメイクアップを取得することを要する場合がある。

【0040】

図４は、メイクアップを適用する方法を選択する機能を含むアプリ１１１のグラフィカルユーザインタフェースの一例である。実施形態によっては、ユーザは、アプリ１１１にカスタムルックを実行させるか、またはユーザがデジタルメイクアップを適用するかについて決定する（Ｓ３０３）前に、デジタルメイクアップパレットを取得してもよい（Ｓ３０５）。図４に戻って参照すると、ユーザインタフェース４００は、ファンデーション４０１ａ、アイシャドウ４０１ｂ、およびコンシーラー４０１ｃなど、ユーザが取得した製品４０１を表示できる。ユーザインタフェース４００は、カスタムルックを作成する（４０３）、または１つ以上のバーチャルメイクアップを手動で適用することによってルックを作成する（４０５）など、機能の選択をユーザに提供することができる（図３ＡのＳ３０３を参照）。

【0041】

実施形態によっては、アプリ１１１は、事前定義されたルックのリストをユーザに提供してよく、ユーザは、事前定義されたルックを出発点として選択してよい。事前定義されたルックを選択すると、アプリ１１１は、選択されたルックに対する推奨デジタルメイクアップおよび／またはデジタルメイクアップパレットのセットをユーザに提供できる。ユーザは、推奨のセットに基づいて、データベース１０７からか、またはメイクアップ提供者から、例えばメイクアップ提供者のウェブサイトから、デジタルメイクアップおよびデジタルメイクアップパレットを取得してよい。

【0042】

図５は、デジタルメイクアップパレットを取得する方法のフローチャートである。図５を参照すると、Ｓ５０１では、ユーザは、メイクアップ目的ユニットを介して、所望のルックを入力し、Ｓ５０３では、メイクアップ経験のレベルを入力する。Ｓ５０５では、ユーザはメイクアップパレットユニットを介してデジタルメイクアップパレットを取得する。所望のルック（本明細書ではバーチャル試着とも呼ぶ）は、事前定義されたルックのリストから選択しても、事前定義されたルックを反映するルック名として入力してもよい。場合によっては、ユーザは、事前定義されたルックを持たない新しいルック、または事前定義されたルックの変更であるルックを入力することがある。

【0043】

デジタルメイクアップパレットは、特定のタイプのメイクアップルックを作成するためのパレットであってもよい。デジタルメイクアップパレットは、物理的なメイクアップ製品と同様にメイクアップ会社から購入しても、またはデジタルメイクアップ製品を専門とするＷｅｂサイトから取得してもよい。図６は、本開示の例示的な態様によるデジタルメイクアップパレットを有するユーザインタフェースを示す。ユーザインタフェースは、特定のメイクアップルック６０３および特定のユーザ経験レベル６０５用のデジタルメイクアップパレット６０１を含んでもよい。デジタルメイクアップパレット６０１は、特定の色、カバレッジ、色合い、および仕上がりの、特定のデジタルメイクアップを選択するためのボタンを含んでもよい。ユーザ経験レベル６０５は、一般的なアプリケーションから精密なアプリケーションまでの範囲で、スライドバーによって制御されてもよい。ユーザインタフェースは、メイクアップアプリケータツール６０７を選択するためのボタンを含んでもよい。

【0044】

デジタルメイクアップパレットには１つ以上の特定のデジタルメイクアップが含まれており、物理的なメイクアップと同様に、特定の色、カバレッジ、色合い、仕上がりを備えている。物理的なメイクアップとは異なり、カバレッジは不透明フィルタとして実装されてよく、色合いはＲＧＢ値の範囲として実装され、仕上がりは色の濃度または色の明るさであってよい。

【0045】

デジタルメイクアップパレットも、汎用のメイクアップパレットであってもよい。さらに、デジタルメイクアップパレットは、顔の一部に対する特定のバーチャルメイクアップ用であってもよい。図７は、１つ以上のバーチャルメイクアップ用の入れ物および１つ以上のメイクアップアプリケータツール用の入れ物を有するユーザインタフェースを示す。バーチャルメイクアップは、製品７０１、または１つ以上のメイクアップ提供者のウェブサイトから取得された製品であってもよい。バーチャルメイクアップ製品は、ユーザ７０３のメイクアップバッグに格納されてもよい。ユーザエクスペリエンスレベル７０５は、一般的なアプリケーションから精密なアプリケーションまでの範囲で、スライドバーによって制御されてもよい。メイクアップアプリケータツールは、入れ物７０７に格納されてもよい。特定のバーチャルメイクアップ製品を適用するために、さまざまなメイクアップアプリケータツールを使用してよい。アプリケータツールのタイプには、ブラシ、スポンジメイクアップアプリケータ、メイクアップアプリケータパフが含まれうる。ブラシにはさまざまな幅があってよく、角度のついた先端、平らな先端、または尖った先端を有してよい。マスカラブラシなどの特殊なブラシには剛毛がある。一般的なスポンジアプリケータは、先端が１つまたは２つ付いたスポンジ綿棒である。一部のスポンジは平らな楕円形である。一部のスポンジはくさび形をしている場合がある。パフにはさまざまなサイズと素材があってよい。一部のメイクアップ製品は、メイクアップペンシル、例えばアイブロウペンシル、アイライナーペンシル、およびリップライナーペンシルの形態である。コンシーラーおよびハイライター製品には、ペンのようなディスペンサーが内蔵されている場合がある。

【0046】

バーチャルメイクアップには、スタイラス、マウス、内蔵モーションセンサを備えた物理的なアプリケータツール、さらにはユーザの指を使用した実際の物理的なジェスチャに従って動作するように構成されうるアプリケータツールが含まれる場合がある。物理的ジェスチャを行って、バーチャルブラシにスタイラスの動きおよび力に応じたブラシストロークを適用させてもよい。実施形態によっては、スタイラスは、タッチスクリーン上の力の量によって、その力に見合った太さを有する線が生成されるモバイルデバイスの３Ｄタッチ画面上で使用されうる。実施形態によっては、スタイラスは、メイクアップアプリケータの形態をとり、ユーザがスタイラスを使用して顔画像にバーチャル的にメイクアップを適用するときに、ブラシストロークの動きおよび力を検出するための動きセンサおよび力センサの両方を含んでもよい。

【0047】

ユーザが独自のカスタムルックを作成することを選択した場合（Ｓ３０３で自分で行う）、Ｓ３０７で、モバイルデバイス１０１またはノートパソコン１０３上で実行されているモバイルアプリケーション１１１は、内蔵カメラ機能を使用してユーザの顔画像をキャプチャすることができる。実施形態によっては、カメラ２３１は、ユーザのビデオをキャプチャするために使用される。実施形態によっては、カメラ２３１は、わずかに異なる方向からおよび／または異なる明るさの条件でユーザの顔のいくつかの画像を取り込むために使用される。代替として、以前にキャプチャされた１つの画像、複数の画像、またはビデオがモバイルアプリケーション１１１にアップロードされてもよい。さらに、以前にキャプチャされた１つの画像、複数の画像、またはビデオは、外部カメラ装置を使用して撮影されてもよいし、モバイルデバイスもしくはノートパソコンの内部記憶デバイスからかまたは外部記憶デバイスから取得されてもよい。

【0048】

実施形態によっては、画像がキャプチャされると、Ｓ３０９では、モバイルアプリケーション１１１は、顔認識を実行し、唇、目、鼻、耳、および髪を含む顔画像内のパーツおよびその位置を識別してもよい。顔認識を実行するために、モバイルアプリケーション１１１は、明るさを改善するなど、画像特徴を改善するために画像処理操作を実行してよい。例えば、ユーザは、ユーザの背後から明るい光や日光が差し込んだときに、不注意に自分の写真を撮ってしまう可能性がある。モバイルアプリケーション１１１は、ユーザの顔画像を明るくしうる。画質を向上させるために、他の画像処理操作が実行される場合がある。

【0049】

図８は、顔分析ステップのより詳細なフローチャートである。

【0050】

Ｓ８０１では、キャプチャされた画像を分析して顔形状を決定してもよい。１つ以上の実施形態では、キャプチャされたユーザの顔の顔形状は、機械学習モデルを使用して検出されてもよい。機械学習モデルは、既知の顔形状を有する顔画像を使用して顔形状を分類するようにトレーニングされてもよい。最近、画像分類は、人間の脳の視覚皮質が物体を認識する際にどのように機能するかにヒントを得た、一種のニューラルネットワークを使用して実行されている。ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）として知られるネットワークのファミリーである。画像分類には他のアプローチも提案されており、改良が続けられている。画像分類に使用されうる他のアプローチには、線形回帰、デシジョンツリー、ランダムフォレスト、およびサポートベクターマシンなどがある。実施形態によっては、機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を使用してリモートでトレーニングされうる。

【0051】

１つ以上の実施形態では、顔形状を分類するために使用されうる機械学習モデルのアーキテクチャはＣＮＮである。図９は、顔形状を分類するためのＣＮＮのブロック図である。ＣＮＮの次元および活性化関数は、利用可能な処理能力および必要な精度に応じて変化する可能性がある。次元には、チャネルの数、各層のニューロンの数、および層の数が含まれる。考えられる活性化関数には、ロジスティック関数、正規化線形ユニットなどが含まれる。

【0052】

畳み込みニューラルネットワーク（ＣＮＮ）は、いくつかの種類の層で構成されてもよい。畳み込み構成要素９０３は、畳み込み層９０３ａ、プーリング層９０３ｃ、および正規化線形ユニット層９０３ｂから構成されうる。畳み込み層９０３ａは、与えられたすべての空間位置で特徴部分の特別な位置を検出する２次元活性化マップを開発するためのものである。プーリング層９０３ｃは、ダウンサンプリングの一形態として機能する。正規化線形ユニット層９０３ｂは、畳み込み層自体の受容野に影響を与えることなく、活性化関数を適用して、決定関数およびネットワーク全体の非線形特性を増加させる。全結合層９０５は、前の層間のすべての活性化への接続を有するニューロンを含む。損失層は、ネットワークトレーニングが予測された層と真の層との間の偏差にどのようにペナルティを与えるかを指定する。損失層９０７は、相互に排他的なクラスのセット内のクラスを検出する。損失層の１つのタイプはソフトマックス関数であり、複数のクラスのそれぞれに出力値を提供する。

【0053】

実施形態によっては、損失層９０７はソフトマックス関数であってもよい。ソフトマックス関数は、各クラスの確率値を提供する。例示的な実施形態では、クラス９０９は、正方形、長方形、円形、長円形、楕円形、ひし形、三角形、およびハート面の形状を含むことができる。

【0054】

Ｓ８０３では、モバイルアプリケーション１１１は、顔の特徴部分およびランドマークをさらに分析しうる。顔の形状と同様に、キャプチャされたユーザの顔の特徴部分およびランドマークは、機械学習モデルを使用して検出されうる。機械学習モデルは、顔のランドマークを検出するようにトレーニングされうる。顔形状分類を用いて、図９と同様のＣＮＮアーキテクチャを顔のランドマーク検出に使用してもよい。分類への他のアプローチも使用してよい。

【0055】

図１０は、顔のランドマーク検出のための深層学習ニューラルネットワークの図である。図９のアーキテクチャと同様に、深層学習ニューラルネットワークは畳み込みニューラルネットワークである。深層学習ニューラルネットワークのトレーニングを改善するために、残差接続が含まれてもよい。１つ以上の実施形態では、ネットワーク内の初期の層に対して残差接続が行われる、反転された残差構造が含まれてもよい。図１０のアーキテクチャに関して、ネットワークは、１００３および１００５の２段として提供される。第１の段１００３は、特徴抽出を行うための畳み込みの段である。第２の段１００５は、関心領域内で予測を実行する。

【0056】

第１の段１００３のアーキテクチャは、入力顔画像１００１が提供されると、畳み込み演算および最大プーリング演算を実行する畳み込みセクション１００３ａを含む。畳み込みセクション１００３ａは、反転残差構造（ｉｎｖｅｒｔｅｄ ｒｅｓｉｄｕａｌ ｓｔｒｕｃｔｕｒｅ）１００３ｂに接続されている。マスク層１００３ｃは、反転残差構造１００３ｂに接続されている。マスク層１００３ｃのサイズは、ランドマークの数（例えば、２×Ｌ、ランドマークの数）に基づく。マスク層１００３ｃは、入力オブジェクトの空間レイアウトを符号化する。

【0057】

第２の段１００５のアーキテクチャは、第１の段１００３の反転残差構造１００３ｂに接続された反転残差構造１００５ｂを含む。また、第１の段１００３のマスク層１００３ｃは、反転残差構造１００５ｂの結果に適用され、ＲＯＩおよび連結ブロック１０１１における関心領域のトリミングを実行するための入力として提供される。ＲＯＩおよび連結ブロック１０１１は、反転残差構造１００５ｂ内のチャネルの数およびランドマークの数に基づく。予測ブロック１０１３は、マスク層１００５ｃ内のランドマークおよびおおよその位置を予測する。第２の段１００３の関心領域の予測は、画像全体に対してマスク１００３ｃによって推定されたランドマークと結合されて、出力層１００７内の出力ランドマークを取得する。

【0058】

１つ以上の実施形態では、顔のランドマークには、目、鼻、唇、頬骨、眉毛を含む目の周囲の領域、まぶた、および髪が含まれる。実施形態によっては、ランドマークには顔の異常の可能性が含まれる場合がある。

【0059】

各層の具体的な次元および層の数は、所望の精度、機械学習モデルを実行するハードウェア、機械学習モデルのトレーニング時間などのパラメータに依存する場合がある。機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を使用してトレーニングされてもよい。

【0060】

顔の特徴部分の分析Ｓ８０３は、唇の形状の検出Ｓ８０５、まぶたの形状の検出Ｓ８０７、および髪型の検出Ｓ８０９をさらに含むことができる。検出されたランドマークは、唇、目、および髪型の輪郭を計算するために使用できる。さらに、肌の色Ｓ８１１および肌の質感Ｓ８１３などの他の顔の特徴も顔画像から決定されうる。肌の色および肌の質感は、画像処理技術を使用して決定される場合がある。肌の色合いのタイプとしては、色白、明るい、普通、濃いなどが挙げられうるが、これらに限定されない。皮膚の質感のタイプとしては、柔らかい、滑らかな、粗い、革のようなものが挙げられるが、これらに限定されない。

【0061】

顔画像の追加の特徴は、明るさ（ｌｉｇｈｔｉｎｇ）（画像の明るさ（ｉｍａｇｅ ｂｒｉｇｈｔｎｅｓｓ））であってもよい。Ｓ８１５では、画像処理技術を使用して画像の明るさ（明るさ）を決定してよい。明るさは、画像内で知覚される光の総量の尺度として定義されうる。実施形態によっては、画像の明るさは、キャプチャされたときの初期の明るさレベルから増加または減少することがある。

【0062】

Ｓ８１７では、過去のルックの好みをデータベース１０７から取得してよい。過去のルックの好みには、色、カバレッジ、色合い、仕上がり、および過去のルックに使用された適用ジェスチャなどのデジタルメイクアップの特性を含むことができる。過去のユーザの好みは、顔の特定のパーツのデジタルメイクアップの特性を含んでよく、特定のルックに適用されたデジタルメイクアップの選択も含むことができる。

【0063】

Ｓ３１１では、ユーザインタフェースは、バーチャルメイクアップを選択する機能を含んでよい。図１１は、適用するバーチャルメイクアップを選択するための例示的なユーザインタフェースである。ユーザインタフェース画面１１００は、ポインタ１１０３を使用してバーチャルメイクアップを選択するための指示を含むメッセージ１１０１を含んでもよい。

【0064】

Ｓ３１３では、バーチャルメイクアップが選択されると、モバイルアプリケーション１１１は、選択されたバーチャルメイクアップをアクティブにする機能を実行できる。バーチャルメイクアップは、アプリケータのスワイプジェスチャおよびバーチャルメイクアップが適用される顔の典型的な領域を含む、バーチャルメイクアップの特性を取得することによってアクティブにされてもよい。実施形態によっては、バーチャルメイクアップに関連付けられたデータは、カバレッジ、色合い、および仕上がりを含むことができる。

【0065】

Ｓ３１５では、モバイルアプリケーション１１１は、バーチャルメイクアップを適用する方法についての推奨案が必要かどうかをユーザに質問するメッセージを表示できる。推奨メッセージの要求を表示するためのユーザインタフェースの例を図１２に示す。

【0066】

図１２は、ユーザがメイクアップを適用するか、モバイルアプリケーションがメイクアップを適用する方法を推奨するかを選択するための例示的なユーザインタフェースである。ユーザインタフェース１２００は、バーチャルメイクアップ１２０５を適用する方法に関する推奨案を選択するためのボタン１２０３を表示できる。ユーザインタフェース１２００は、代替として、スタイラスまたはマウスをスワイプして顔画像１２０７にバーチャルメイクアップを適用するようにユーザに指示するボタン１２０１を表示してもよい。

【0067】

ユーザが推奨案を取得しないことを選択した場合（Ｓ３１５でＮＯ）、Ｓ３１７では、ユーザは、バーチャルメイクアップを適用する顔画像上の位置を指定してもよい。Ｓ３２１では、ユーザは、メイクアップ目的視覚化ユニットを介して、スタイラスまたはマウスを使用して顔の位置でスワイプを行うことによってバーチャルメイクアップを適用してよい。図１３は、モバイルデバイス１０１上の例示的なユーザインタフェースである。ボタン１２０１が選択されると、ユーザインタフェースは、顔画像１３０１およびデジタルメイクアップパレット１３０３を表示してよい。ユーザは、デジタルメイクアップパレット１３０３から色１３０３ｂを選択し、スタイラス１３１０のスワイプジェスチャを使用して、バーチャルメイクアップ１３０３ａを特定の位置１３０５に適用してよい。モバイルデバイス１０１上の画面は、顔の特徴部分の表示を調整するために顔画像１３０１を拡大または縮小するために使用できるズーム機能を含むタッチスクリーンであってもよい。実施形態によっては、タッチスクリーンのモードを切り替えて、画像を動かすことなくスタイラスを使用して顔画像にバーチャルメイクアップを適用できるようにしてもよい。

【0068】

もう１つの決定では、ユーザが推奨案を取得することを選択した場合（Ｓ３１５でＹＥＳ）、Ｓ３１９では、モバイルアプリケーション１１１は、バーチャルメイクアップを適用する顔画像上の位置を示す。

【0069】

図１４は、レコメンダシステムの図である。レコメンダシステム１４００は、バーチャルメイクアップを適用する方法を示すために使用されうる（図３ＡのＳ３１９）。レコメンダシステム１４００は、画像データおよびメイクアップフィルタのインデックス付きデータベース１４０５に基づいて動作する。レコメンダシステム１４００は、推奨案を検索してランク付けする推奨エンジン１４０７を含む。特定のバーチャルメイクアップを適用する場合、推奨案は、ユーザがステップＳ３０１で入力したルックおよびバーチャルメイクアップに関するものであってもよい。実施形態によっては、推奨案は、ユーザの好みまたはお気に入りに基づいて取得されてもよい。個人的なユーザの好みは、アプリ１１１が最初にセットアップされるときにユーザが入力したメイクアップの特性であってもよい。お気に入りは、ユーザがお気に入りとしてフラグを立てたメイクアップの特性である場合がある。個人の好みおよびお気に入りは、顔の特定のパーツまたは顔全体に関するものであってもよい。

【0070】

実施形態によっては、推奨エンジン１４０７は、ルックフィーチャマトリクス（ｌｏｏｋ－ｆｅａｔｕｒｅ ｍａｔｒｉｘ）を使用しうる。図１５は、本開示の例示的な態様による非限定的なルックフィーチャマトリクスを示す。図１５のルックフィーチャマトリクスは、簡潔にするために２つのタイプのバーチャルメイクアップを示す部分マトリクスである。いくつか例を挙げると、ファンデーション、マスカラ、コンシーラー、チークパウダー、アイブロウペンシルを含むがこれらに限定されない、他のタイプのバーチャルメイクアップがマトリクスに含まれてもよい。ルックフィーチャマトリクスは、モバイルデバイスのアプリ１１１に格納され、所望の特徴のベクトルと比較されてもよい。所望の特徴は、現在のユーザの好みであり、ユーザの現在の経験レベルおよび所望のルックを考慮してもよい。推奨エンジン１４０７は、１つ以上の類似性メトリック（ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃｓ）およびスコアリングアルゴリズムを使用して、推奨案をランク付けできる。一実施形態では、推奨エンジン１４０７は、バーチャルメイクアップの特定の特性を推奨されるものから変更することによって創造性を促進するために、推奨案を高める特徴のセットを生成できる。例えば、推奨エンジン１４０７が、取得した複数の推奨案の中から１つの推奨案を上位にランク付けした場合、類似性スコアを高めるために１つ以上の特性を変更してもよい。あるいは、推奨エンジン１４０７は、色合いまたは仕上がりなど、取得された推奨案における１つ以上の特性を、１つ上または１つ下に変更（例えば、色合いを、記憶された色合いより１レベル上または１レベル下に変更）してよい。１つ以上の実施形態では、推奨エンジン１４０７は、ユーザの経験レベルに基づいてアプリケーションジェスチャを多かれ少なかれ正確になるように調整することができる。

【0071】

推奨エンジン１４０７は、１つ以上の推奨案を推奨ユーザインタフェース（Ｓ３１９）に出力できる。推奨ユーザインタフェース（Ｓ３１９）は、選択された推奨案の適用を示す一連のビデオフレームを表示することができる。

【0072】

１つ以上の実施形態では、推奨用のビデオフレームは、ユーザの顔画像と、データベース１４０５に格納されている１つ以上のメイクアップフィルタとを使用して生成されてもよい。インデックス付きデータベース１４０５は、ビデオフレームのシーケンスを作成するために使用される１つ以上のメイクアップフィルタを提供してよい。図１６は、顔画像内の所望の特徴部分およびオリジナルの特徴部分に基づいて顔画像を作成するために使用されうるブレンドプロセスを示す。

【0073】

顔の特徴部分のブレンドは以下のように行われる。
１．所望の特徴部分１６０１は、オリジナルの特徴部分の色とマッチするように再色付けされ１６０３、再色付けされた特徴部分１６０５が得られる。
２．再色付けされた特徴部分１６０５は、特徴マスク１６０７によって乗算される。
３．オリジナルの特徴部分１６０９は、特徴マスクの逆の数（ｉｎｖｅｒｓｅ）１６１１（すなわち、０から１の範囲の各マスク値を１から引いたもの）によって乗算される。
４．結果として得られる２および３の画像は１６１３ピクセルごとに追加され、最終的にブレンドされた特徴部分の画像１６１５が作成される。

【0074】

オリジナルの特徴部分の境界は、顔分析ステップＳ３０９の間に決定されていてもよい。ビデオフレームのシーケンスは、特定の顔パーツにバーチャルメイクアップを適用する方法を示すアニメーションとして生成されうる。

【0075】

Ｓ３２１では、ユーザは、特定のタイプのアプリケータとして描画するように構成されたスタイラスまたはマウスを使用して、顔画像の顔の位置で１回以上のスワイプを行うことによって、バーチャルメイクアップで示された適用を模倣してメイクアップを適用してよい。

【0076】

図１７は、本開示の例示的な態様による、バーチャルメイクアップを適用するステップのフローチャートである。Ｓ１７０１では、ユーザは、ユーザインタフェースと対話して、バーチャルメイクアップを適用するための開始点を選択またはタッチしてよい。Ｓ１７０３では、ユーザは、バーチャルメイクアップを適用するためのジェスチャを実行してよい。ジェスチャは、スワイプ動作、線描画動作、またはタップ動作であってもよい。スワイプ動作は、例えば、まつ毛にマスカラを塗る場合に行われてもよい。より厚いアプリケータをスワイプ動作で使用すると、アイシャドウなどのより広いストロークを適用できる。線描画動作は、例えばアイライナーを塗るために使用できる。口紅を塗るには、太い線で線描画動作を使用してよい。タップ動作を使用してフェイスパウダーを塗ってもよい。

【0077】

１つ以上の実施形態では、Ｓ１７０５では、ジェスチャをユーザの経験レベルに基づいて分析し、ジェスチャが誤って、すなわち間違いとして適用されたかどうかを判定してよい。初心者ユーザの場合、経験豊富なユーザよりも大きなエラーが許容される場合がある。そのような場合、経験豊富なユーザにとって許容量（ｔｏｌｅｒａｎｃｅ ａｍｏｕｎｔ）を越えたジェスチャは間違いと判断される可能性があるが、初心者ユーザの場合には許容量が大きくなる可能性がある。初心者ユーザによるジェスチャがより高い許容量を越えた場合、そのジェスチャはエラーであると判定される可能性がある。Ｓ１７０７では、アプリ１１１は、ジェスチャが誤って、すなわち間違いとして適用されたか否かを判定する。ジェスチャが許容量を越えて行われたと判定された場合（Ｓ１７０７でＹＥＳ）、Ｓ１７０９では、ジェスチャが間違って適用された可能性があることをユーザに通知するため、および／またはジェスチャが適切に適用されたことを確認するためにユーザに質問するための、通知メッセージが表示されてもよい。アプリは、Ｓ１７１１で、バーチャルメイクアップの適用をやり直すオプションをユーザに提供できる。間違いがない場合（Ｓ１７０７でＮＯ）、またはユーザがバーチャルメイクアップをやり直さないことを選択した場合（Ｓ１７１１でＮＯ）、アプリ１１１は次のステップＳ３２３に進む。

【0078】

実施形態によっては、領域およびスワイプ動作は、顔の特徴部分内に留まるように制限または制御されうる。例えば、スタイラスが画面に触れると、モバイルアプリケーション１１１は、その位置が顔の特徴部分内にあるものとして検出できる。スタイラスが移動すると、スワイプが画面上に描画されうるが、例えば、顔分析ステップＳ３０９で決定されたように顔パーツの境界の外側には描画されない。メイクアップ製品のカバレッジ、色合い、および仕上がりなどの特性に合わせてスクリーン上に描画してもよい。画面上の描画は、一般的なアプリケーションのジェスチャおよび顔の領域に従って実行することができる。

【0079】

Ｓ３２３では、モバイルアプリケーション１１１は、ユーザがバーチャルメイクアップを適用するときの領域およびスワイプの動きをモバイルデバイス１０１、１０３のメモリ２０２に記録できる。図１８は、メイクアップを適用しながら領域およびスワイプを記録するステップのフローチャートである。図１８を参照すると、Ｓ１８０１では、モバイルアプリケーション１１１は、バーチャルメイクアップが適用される顔画像上の位置およびスワイプの数を含む、メモリ内の各ステップおよび関連データを追跡および記録することができる。

【0080】

Ｓ３２５では、モバイルアプリケーション１１１は、ユーザの顔の問題領域または最良の特徴部分を推定するために、バーチャルメイクアップの記録された位置およびスワイプならびにバーチャルメイクアップの特徴部分を分析する。位置は顔の特徴部分にマッピングされてもよい。図１９は、問題領域または最良の特徴部分を推定するために、メイクアップを適用するユーザのステップを分析するステップのフローチャートである。図１９を参照すると、Ｓ１９０１では、モバイルアプリケーション１１１は、メイクアップスワイプを分析して、潜在的な問題領域を特定してよい。潜在的な問題領域には、シミ、傷跡、加齢シミ、および色素沈着過剰などが含まれる場合がある。潜在的な問題領域は、ユーザが問題であると考える顔の領域、または望ましくない特徴部分である可能性がある。言い換えれば、潜在的な問題領域は、ユーザが外観を隠すかまたは変更することを望む領域である可能性がある。

【0081】

モバイルアプリケーション１１１は、顔の特徴部分の特定の位置における異常なスワイプジェスチャを検出することによって、潜在的な問題領域を特定できる。異常なスワイプジェスチャには、方向の突然の変更や、誤って行われたわけではない力の突然の変更が含まれる場合がある。モバイルアプリケーション１１１は、ユーザがデジタルメイクアップパレットから異なるバーチャルメイクアップまたは代替色を特定の顔の領域に適用すること（すなわち、異なるカバレッジ特性および／または異なる色合いを有するバーチャルメイクアップ）を検出することによって、潜在的な問題領域を特定することができる。

【0082】

Ｓ１９０３では、モバイルアプリケーション１１１は、メイクアップスワイプを分析して、最良の顔の特徴部分を特定してよい。最良の顔の特徴部分には、頬骨、目の色、まつ毛、唇の形状、またはユーザが強調したい任意の特徴部分が含まれうる。モバイルアプリケーション１１１は、同じ顔の特徴部分に対する平均的なメイクアップの適用から閾値量だけ異なる顔の特徴部分に対するメイクアップの適用の変化を検出することによって、最良の顔の特徴部分を検出できる。例えば、モバイルアプリケーション１１１は、顔領域に適用される色の典型的な色合いおよび／または仕上がりとは異なる色合いおよび／または仕上がりの色の適用を検出することによって、最良の顔の特徴部分を検出できる。目の色の場合、モバイルアプリケーション１１１は、特定のアイシャドウの色の適用を検出することによって、目の色が最良の顔の特徴部分であることを検出することができる。

【0083】

Ｓ１９０５では、モバイルアプリケーション１１１は、特定された問題領域および最良の顔の特徴を、以前に格納された推奨案と比較できる。モバイルアプリケーション１１１は、いくつかの新たな問題領域が存在する可能性があるか、またはいくつかの問題領域がもはや問題領域になりうるものではないと判定できる。モバイルアプリケーション１１１は、潜在的な問題領域として以前に考えられていた問題領域の重要性を高めることができる。

【0084】

Ｓ１９０７では、推奨エンジン１４０７が検証された問題領域を有する推奨案に高いスコアを割り当てるように、比較の結果を使用して推奨案を調整してもよい。新しい問題領域および最良の顔の特徴部分、あるいは、もはや潜在的でない問題領域または最良の顔の特徴部分である、問題領域および最良の顔の特徴部分を用いて、推奨案が新しいまたはもはや潜在的でないものへの変更を支援する可能性がある場合、推奨案を調整してもよい。

【0085】

ユーザは、問題領域を補正したり、最良の特徴部分を強調したりする方法で、デジタルメイクアップパレットからバーチャルメイクアップを適用してよい。１つ以上の実施形態では、問題領域の不完全性をぼかすためのフィルタを適用することによって、問題領域を補正してよい。例えば、顔画像内のシミを含む領域をぼかすことによって、シミを目立たなくしてよい。

【0086】

上述のとおり、潜在的な問題領域は、ユーザが問題であると考える顔の領域、または望ましくない特徴部分である可能性がある。最良の顔の特徴部分には、頬骨、目の色、まつ毛、唇の形状、またはユーザが強調したい任意の特徴部分が含まれる。

【0087】

Ｓ３２７では、モバイルアプリケーション１１１は、検証された問題領域、検証された最良の顔の特徴部分、およびユーザメイクアップアプリケーションを将来のカスタム推奨としてデータベース１４０５に格納することができる。

【0088】

図３Ｂを参照すると、Ｓ３３１では、ユーザは、別のバーチャルメイクアップに対してバーチャルメイクアップを適用するステップを繰り返すことを選択してもよい。所望のバーチャルメイクアップがすべて適用された後、ユーザは、Ｓ３３５で、データベース１０７に作成されたルックを保存することを選択してよい（Ｓ３３３でＹＥＳ）。Ｓ３３７では、ユーザは、Ｓ３３９で作成されたルックをソーシャルメディアプラットフォームまたはライブビデオを有する他のプラットフォームに移動／公開することを選択してもよい（Ｓ３３７でＹＥＳ）。１つ以上の実施形態では、ルックは、別の顔画像に適用されうるメイクアップフィルタとして格納されてもよい。

【0089】

図２０は、メイクアップルックを格納するための例示的なユーザインタフェースである。ユーザインタフェース２０００は、完成した顔画像２００１を表示し、完成した顔画像を保存する機能のためのボタン２００３を提供してよい。完成した顔画像は、基礎となる顔画像、および完成した顔画像を再作成するために基礎となる顔画像に適用されうる１つ以上のフィルタとして格納されてもよい。実施形態によっては、完成した顔画像は、基礎となる顔画像およびメイクアップ製品の記録されたスワイプとして格納されてもよい。ユーザインタフェース２０００は、完成した顔画像をソーシャルメディアプラットフォームまたはビデオ会議プラットフォームなどのライブビデオまたは静止画像を提供するプラットフォームに移動する機能のためのボタン２００５をさらに提供できる。ソーシャルメディアプラットフォームには、いくつか例を挙げると、Ｆａｃｅｂｏｏｋ、Ｌｉｎｋｅｄ－ｉｎ、Ｉｎｓｔａｇｒａｍ、ＹｏｕＴｕｂｅ、Ｓｎａｐｃｈａｔ、ＴｉｋＴｏｋが含まれる。ビデオ会議プラットフォームには、いくつか例を挙げると、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＦａｃｅＴｉｍｅ、Ｇｏｏｇｌｅ ＨａｎｇｏｕｔｓもしくはＧｏｏｇｌｅ Ｍｅｅｔ、およびＺｏｏｍが含まれる。

【0090】

実施形態によっては、完成した顔画像を再作成するための１つ以上のメイクアップフィルタが、ソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに提供されてもよい。１つ以上のフィルタを別のベース画像に適用して、新しい完成した顔画像を取得してもよい。

【0091】

実施形態によっては、Ｓ３１５では、ユーザは、デジタルメイクアップパレットおよびキャプチャされた顔画像を別のユーザに転送してよい。そのような場合、他のユーザがメイクアップアプリケーションを行っている間に、Ｓ３２１からＳ３２７を行ってもよい。他のユーザは、メイクアップの適用において、より高いレベルの経験を持つ人でもよいし、またはオリジナルのユーザが好みうるタイプのメイクアップルックを作成できるとオリジナルのユーザが信じている人であってもよい。

【0092】

図２１は、デジタルパレットのカスタムアプリケーション方法のフローチャートである。ユーザがカスタムメイクアップルックを作成することを選択すると（Ｓ３０３のカスタム）、Ｓ２１０１では、ユーザは、ユーザの顔の１つの画像、複数の画像、またはビデオをキャプチャするように指示されてもよい。モバイルデバイス１０１のカメラ２３１、または外部カメラは、ユーザの顔の１つの画像またはビデオをキャプチャするために使用されてもよい。Ｓ２１０３では、モバイルアプリケーション１１１は、キャプチャされたユーザの顔を分析してもよい。図２２は、カスタムメイクアップアプリケーションの作成状況を示すための例示的なユーザインタフェースである。図８は、上述のとおり、顔分析ステップのより詳細なフローチャートである。図９は、上述のとおり、顔形状を分類するためのＣＮＮのブロック図である。ＣＮＮの次元および活性化関数は、利用可能な処理能力および所望の精度に応じて変化する可能性がある。次元には、チャネル、各層の大きさ、および層の数が含まれる。活性化関数には、ロジスティック関数、正規化線形ユニットなどが含まれる。図１０は、上述のとおり、顔のランドマーク検出のための深層学習ニューラルネットワークの図である。

【0093】

Ｓ２１０５では、顔分析（Ｓ２１０３および図８）によって特定された顔の特徴部分および過去のルックの好みに基づいて、データベース１０７から１つ以上のメイクアップフィルタが選択／検索されてもよい。格納されているメイクアップ顔フィルタのいくつかは、（Ｓ３０３で「自分で行う」を選択したときに）ユーザによって以前に作成されたフィルタであってもよい。メイクアップフィルタのいくつかは、共通のルックであってもよい。

【0094】

図２３は、メイクアップフィルタの選択方法のフローチャートである。Ｓ２３０１では、Ｓ２１０３の分析結果から顔形状が取得される。Ｓ２３０３では、Ｓ２１０３の分析結果からランドマークが取得される。Ｓ２３０５では、Ｓ２１０３の分析から肌、髪、目、顔の色、および明るさの特徴が取得される。Ｓ２３０７では、デジタルメイクアップパレットの過去のルックの好みが取得されてもよい。Ｓ２３０９では、ランドマーク、顔の形状、肌の色、髪型、まぶたの形状、過去の好みに対して可能な顔フィルタがデータベース１０７から取得される。Ｓ２３１１では、取得された顔フィルタのサブセットを選択してよい。選択基準は、可能な顔フィルタの中からランダムな選択、過去のルックの好みに最もよく適合する顔フィルタの選択、ユーザにカスタムルックを与えるために過去のルックの好みとは異なるがユーザに異なるクリエイティブなルックの選択肢を提供できる少なくとも１つの顔フィルタの選択、を含むことができる。

【0095】

Ｓ２１０７では、取得されたメイクアップフィルタを顔画像に重ねて、１つ以上のカスタムルックを取得してよい。オーバーレイプロセスには、顔の形状および顔のランドマークに基づいてメイクアップフィルタを位置合わせすることが含まれてもよい。図１６のブレンドプロセスを用いて、所望の特徴と顔画像内のオリジナルな特徴とに基づいて顔画像を作成することによってオーバーレイプロセスを実行してよい。

【0096】

Ｓ２１１１では、ユーザは、モバイルアプリケーション１１１によって作成されたルックをデータベース１０７に保存することを選択してもよい（Ｓ２１０９でＹＥＳ）。Ｓ２１１３では、ユーザは、（Ｓ２１１３でＹＥＳ）を選択し、Ｓ２１１５では、作成されたメイクアップルックをソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに移動／公開することを選択してもよい。

【0097】

図２４は、メイクアップルックを格納するための例示的なユーザインタフェースである。ユーザインタフェース２４００は、完成した顔画像２４０１を表示し、それぞれの完成した顔画像を保存する機能のボタン２４０３を提供しうる。完成した顔画像は、基礎となる顔画像、および完成した顔画像を再作成するために基礎となる顔画像に適用されうる１つ以上のメイクアップフィルタとして格納されてもよい。実施形態によっては、完成した顔画像は、基礎となる顔画像およびメイクアップ製品の記録されたスワイプとして格納されてもよい。ユーザインタフェース２４００は、完成した顔画像をソーシャルメディアプラットフォームまたはビデオ会議プラットフォームに移動する機能のためのボタン（不図示）をさらに提供しうる。ソーシャルメディアプラットフォームには、いくつか例を挙げると、Ｆａｃｅｂｏｏｋ、Ｌｉｎｋｅｄ－ｉｎ、Ｉｎｓｔａｇｒａｍ、Ｓｎａｐｃｈａｔ、ＹｏｕＴｕｂｅ、ＴｉｋＴｏｋが含まれる。ビデオ会議プラットフォームの例には、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＦａｃｅＴｉｍｅ、Ｇｏｏｇｌｅ ＨａｎｇｏｕｔｓもしくはＧｏｏｇｌｅ Ｍｅｅｔ、およびＺｏｏｍが含まれる。

【0098】

本発明の多数の変更および変形は、上記の教示に照らして可能である。例えば、さまざまな消費者の肌の色合いおよび質感から収集されるデータは、一人以上の消費者への人工ニューラルネットワークのスケーリングを可能にするであろう。人工ニューラルネットワークは、製品の色合いごとに、新しい化粧品のフォーミュラのレンダリングを予測することができるであろう。

【0099】

１つ以上の実施形態では、強化学習などの機械学習の形式を使用して、ユーザが何を問題領域であると考えているか、およびユーザが最良の顔の特徴部分としてどの領域を強調したいかを学習してよい。

【0100】

図２５は、強化学習アーキテクチャのタイプのブロック図である。注目すべきは、いくつか例を挙げると、深層強化学習、Ｑラーニング、ディープＱネットワークなど、強化学習用にさまざまなアーキテクチャおよびアルゴリズムが開発されている。本開示では、強化学習の一般的な説明が提供されており、強化学習へのさまざまなアプローチに適用されることが理解されるべきである。

【0101】

教師あり学習とは異なり、強化学習は機械学習の一形態であり、出力を事前に知る必要はない。代わりに、アクターによって出力されたアクションは、そのアクションが適切であったかどうかを示す報酬をもたらす。強化学習システムには、環境内で移動アクションを指示するアクターが関与する場合があり、アクションの選択により、特定の値のスコアの形で報酬が得られる場合がある。移動アクションにより、環境が新しい状態になる。スコアはアクターにフィードバックされ、機械学習コンポーネントが調整される。移動アクションの例は、環境内のアクターが新しい場所に移動してタスクを実行するアクションであってよく、そのタスクによりアクターのスコア値が増加する。スコアの増加は、移動アクションが有益であったことを裏付けるものとなる。次の移動アクションは、環境内のアクターが新しい位置に到達しない移動を行い、その後負のスコアをもたらすか、または少なくともスコア値を増加させないアクションである可能性がある。スコアの低下は負の影響としてフィードバックされ、機械学習コンポーネントは、環境の状態を考慮すると、アクターによって指示された移動アクションが適切な選択ではなかったことを学習するように調整されてもよい。したがって、アクターが動作アクションを指示し続けるにつれて、強化学習を採用し続けることができる。

【0102】

図２５に関して、エージェント２５１０は、人工ニューラルネットワーク２５１３を介して、離散時間ステップでその環境２５２０と対話する。各時間ｔで、エージェント２５１０は通常、関連する報酬を持つ観察を受信する。次に、エージェントは利用可能なアクションのセットからアクションを選択し、その後、環境２５２０に送信される。環境２５２０は新しい状態に移行し、その移行に関連する報酬が決定される。強化学習エージェント２５１０の目標は、できるだけ多くの報酬を収集することである。エージェント２５１０は、以前のアクションの履歴に応じて任意のアクションを（おそらくランダムに）選択することができる。

【0103】

一実施形態では、強化学習システムを、ユーザが何を問題領域であると考えているか、およびユーザが最良の顔の特徴部分としてどの領域を強調したいかを学習するように構成してもよく、２つの強化学習プロセスとして提供してよい。図２６は、本開示の例示的な態様による、機械学習システムのフロー図である。上述したように、強化学習は一般に、報酬２５２０ａのフィードバックを通じて学習を行う。実施形態によっては、フィードバックは、ユーザが顔画像にメイクアップ製品を適用するときに、モバイルアプリケーション１１１との音声対話の形で提供されうる。音声フィードバックは、マイクロフォン１０３ａ、２４１を使用して提供することができ、その音声フィードバックは、音声回路２４２を介して出力される質問および発言に応答して提供されうる。

【0104】

一実施形態では、強化学習システム２６００は、複数の強化学習モデルの形態をとることができる。１つの強化学習モデル２６０３は、顔画像に対するメイクアップ製品の１回または一連のスワイプ２６０１に基づいて問題領域を検出しうる。強化学習システム２６００は、「問題領域にメイクアップを適用していますか？」などの質問をすることによって、問題領域の検出を検証してよい（すなわち、報酬をフィードバックしてよい）。別の強化学習モデル２６０５は、顔画像に対するメイクアップ製品の１回または一連のスワイプ２６０１に基づいて最良の顔の特徴部分を検出してよい。強化学習システム２６００は、「最良の顔の特徴部分にメイクアップを適用していますか？」などの質問をすることによって、最良の顔の特徴部分の検出を検証してよい（すなわち、報酬をフィードバックしてよい）。強化学習システムは、問題領域の位置や最良の顔の特徴の情報を利用して、「シミにメイクアップを適用していますか？」または「目の色を強調するためにメイクアップを適用していますか？」など、より具体的な質問を提供する場合がある。

【0105】

図２６の強化学習システム２６００は一連の機械学習モデルであるが、代替アプローチは、最初に１つまたは一連のスワイプを問題領域、最良の顔の特徴部分、またはそのどちらでもないものとして分類し、最初の分類の結果を強化学習モデル２６０３、強化学習モデル２６０５のいずれかに提供する、またはどちらのモデルにも提供しない、機械学習コンポーネントを含むことであってもよい。

【0106】

ユーザによる応答は、強化学習システムに報酬を適用するために使用されてもよい。報酬は、ユーザの応答に応じて正または負のスコアになる場合がある。スコアは、それぞれの機械学習モデル２６０３または２６０５のパラメータを調整するために使用されるであろう。

【0107】

強化学習と同様の継続学習を実行して、問題領域を検出したり、最良の顔の特徴部分を検出したりする別のアプローチは、回帰分析である。回帰分析の利点は、計算が速いことである。ただし、非線形回帰分析のモデルは、予測可能なデータ予測により適している。メイクアップスワイプのデータは、問題領域や最良の特徴部分以外の理由で行われることがあるため、明確に予測することが難しい場合がある。

【0108】

一実施形態では、用語「ａ」、「ａｎ」などは、別様に示されない限り、概して、「１つ以上」の意味を有する。

【0109】

一実施形態では、用語「約」、「近似」、「おおよそ」、および類似の用語は、概して、２０％、１０％、または好ましくは５％のマージン内の特定された値、およびそれらの間の任意の値を含む範囲を指す。

【0110】

その結果として、添付の特許請求の範囲内で、本発明は、本明細書に具体的に記載される以外の方法で実施されうることを理解されたい。

【0111】

上記の開示はまた、以下に列挙される実施形態を包含する。

【0112】

（１）メイクアップ用の拡張現実システム。拡張現実システムは、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、ユーザが選択したメイクアップ目的情報に従ってデジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザが選択したメイクアップ目的情報に従ってバーチャル試着の１つ以上のインスタンスを生成するように構成された計算回路を含む、メイクアップ目的視覚化ユニットとを含む。

【0113】

（２）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を受信し、ユーザの顔画像を分析して顔パーツを特定し、ユーザの顔画像にデジタルメイクアップ製品を適用するユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、少なくとも１つのジェスチャを分析してユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、推定された問題領域または推定された強調された顔の特徴部分を、適用されたカバレッジ、色合い、および仕上がりとともにメモリ内に格納するようにさらに構成される、特徴（１）に記載のメイクアップ用の拡張現実システム。

【0114】

（３）メイクアップ目的視覚化ユニットの計算回路は、ユーザが選択したメイクアップ目的情報と一致する少なくとも１つの変更を含むユーザの顔の一部のバーチャル表現を生成するようにさらに構成される、特徴（２）に記載のメイクアップ用の拡張現実システム。

【0115】

（４）タッチスクリーンをさらに備え、ユーザによる少なくとも１つのジェスチャは、タッチスクリーン上の１回以上のスワイプを含み、メイクアップ目的視覚化ユニットの計算回路は、１回以上のスワイプを検出し、選択された色をユーザの顔の画像内の位置に適用するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0116】

（５）メイクアップ目的視覚化ユニットの計算回路は、タッチスクリーン上の１回以上のスワイプを検出し、ユーザの顔画像内の位置にある顔パーツの境界によって限定される画像の領域に選択された色を適用するようにさらに構成される、特徴（４）に記載のメイクアップ用の拡張現実システム。

【0117】

（６）メイクアップ目的視覚化ユニットの計算回路は、メイクアップの適用におけるユーザの経験レベルを受信し、タッチスクリーン上の１回以上のスワイプを検出し、スワイプによって示された顔パーツの位置でユーザの顔画像の領域に選択された色を適用し、顔パーツは境界を有し、適用された色を分析して、１回以上のスワイプが境界から許容量を越えているかどうかを判定するようにさらに構成され、許容量はメイクアップの適用におけるユーザの経験レベルに基づく、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0118】

（７）タッチスクリーンは、スクリーンに加えられる圧力の量を感知する３次元タッチスクリーンであり、ユーザによる少なくとも１つのジェスチャは、スクリーン上で一定の圧力で３次元タッチスクリーン上でのスワイプを含み、計算回路は、１回以上のスワイプおよびスワイプの圧力を検出し、圧力に応じた厚さで選択された色をユーザの顔画像内の位置に適用するようにさらに構成される、特徴（４）または（５）に記載のメイクアップ用の拡張現実システム。

【0119】

（８）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、問題領域強化学習モデルを使用して問題領域を推定するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0120】

（９）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して顔の特徴部分の強調を推定するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0121】

（１０）メイクアップ目的視覚化ユニットの計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0122】

（１１）メイクアップ目的視覚化ユニットの計算回路は、モバイルデバイスの音声出力機能を使用して、ユーザの顔画像にデジタルメイクアップ製品を適用する方法についての推奨を希望するかどうかをユーザに質問するようにさらに構成される、特徴（２）または（３）に記載のメイクアップ用の拡張現実システム。

【0123】

（１２）メイクアップパレットユニットの計算回路は、複数のデジタルメイクアップ製品用の複数のプリセットサブカルチャーパレットからサブカルチャーパレットを取得するように構成される、特徴（１）から（１１）のいずれかに記載のメイクアップ用の拡張現実システム。

【0124】

（１３）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔を多かれ少なかれドラマチックにするための少なくとも１つの変更を含む、サブカルチャーパレットを使用してユーザの顔のバーチャル表現を生成するようにさらに構成される、特徴（１２）に記載のメイクアップ用の拡張現実システム。

【0125】

（１４）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の一部をぼかすことによってシミを除去するための少なくとも１つの変更を含む、サブカルチャーパレットを使用してユーザの顔のバーチャル表現を生成するようにさらに構成される、特徴（１２）または（１３）に記載のメイクアップ用の拡張現実システム。

【0126】

（１５）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔のバーチャル表現をライブビデオ用のプラットフォームに転送するようにさらに構成される、特徴（１）から（１４）のいずれかに記載の拡張現実システム。

【0127】

（１６）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を、第２のユーザのための第２のメイクアップ目的視覚化ユニットに送信するようにさらに構成され、第２のメイクアップ目的視覚化ユニットの計算回路は、ユーザの顔画像を分析して顔パーツを特定し、ユーザの顔画像にデジタルメイクアップ製品を適用する第２のユーザによる少なくとも１つのジェスチャを追跡し、メモリ内に記録し、少なくとも１つのジェスチャを分析して、ユーザの顔の問題領域を推定するか、または特定の顔の特徴部分の強調を推定し、推定された問題領域または推定された強調された顔の特徴部分を、適用されたカバレッジ、色合いおよび仕上がりとともにそのメモリ内に格納するように構成される、特徴（１）から（１５）のいずれかに記載のメイクアップ用の拡張現実システム。

【0128】

（１７）第２のメイクアップ目的視覚化ユニットの計算回路は、メイクアップの適用における第２のユーザ経験レベルを受信し、タッチスクリーン上の１回以上のスワイプを検出し、スワイプによって示された顔パーツの位置にあるユーザの顔画像の領域に選択された色を適用し、顔パーツは境界を有し、適用された色を分析して、１回以上のスワイプが境界から許容量を越えているかどうかを判定するようにさらに構成され、許容量はメイクアップの適用における第２のユーザの経験レベルに基づく、特徴（１６）に記載のメイクアップ用の拡張現実システム。

【0129】

（１８）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、問題領域強化学習モデルを使用して問題領域を推定するようにさらに構成される、特徴（１６）または（１７）に記載のメイクアップ用の拡張現実システム。

【0130】

（１９）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャを分析して、最良の特徴部分強化学習モデルを使用して顔の特徴部分の強調を推定するようにさらに構成される、特徴（１６）から（１８）のいずれかに記載のメイクアップ用の拡張現実システム。

【0131】

（２０）第２のメイクアップ目的視覚化ユニットの計算回路は、ジェスチャ識別機械学習モデルを使用して、問題領域に対するジェスチャと強調された顔の特徴部分に対するジェスチャとを区別するようにさらに構成される、特徴（１６）から（１９）のいずれかに記載のメイクアップ用の拡張現実システム。

【0132】

（２１）メイクアップ用の拡張現実システムであって、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスを生成し、ユーザが選択したメイクアップ目的情報を受信するように構成されたグラフィカルユーザインタフェースに動作可能に結合された計算回路を含むメイクアップ目的ユニットと；メイクアップ目的ユニットに動作可能に結合されたメイクアップパレットユニットであって、メイクアップパレットユニットは、デジタルメイクアップ製品用の少なくとも１つのデジタルメイクアップパレットを生成するように構成された計算回路を含む、メイクアップパレットユニットと；ユーザの顔を分析して、顔形状、顔のランドマーク、肌の色合い、髪の色、目の色、唇の形状、まぶたの形状、ヘアスタイルおよび明るさのうちの１つ以上を特定し、ユーザが選択したメイクアップ目的情報と、ユーザの顔の分析に基づいて生成された少なくとも１つのデジタルメイクアップパレットとに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成された計算回路を含むメイクアップ目的視覚化ユニットとを含む、拡張現実システム。

【0133】

（２２）少なくとも１つのデジタルメイクアップパレットは、カバレッジ、色合い、および仕上がりを有する複数の色を含む、特徴（２１）に記載のメイクアップ用の拡張現実システム。

【0134】

（２３）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の少なくとも一部を含むユーザの１つ以上のデジタル画像を受信し、ユーザの顔画像を分析して顔パーツを特定するようにさらに構成される、特徴（２１）または（２２）に記載のメイクアップ用の拡張現実システム。

【0135】

（２４）メイクアップ目的視覚化ユニットの計算回路は、顔パーツを明確にするために、１つ以上のデジタル画像内の明るさを補正するようにさらに構成される、特徴（２３）に記載のメイクアップ用の拡張現実システム。

【0136】

（２５）メイクアップ目的視覚化ユニットの計算回路は、取得された少なくとも１つのデジタルメイクアップパレットに基づいて少なくとも１つのメイクアップフィルタを選択し、少なくとも１つのメイクアップフィルタを使用してユーザのためのカスタムバーチャル試着を作成するようにさらに構成される、特徴（２１）から（２４）のいずれかに記載のメイクアップ用の拡張現実システム。

【0137】

（２６）少なくとも１つのメイクアップフィルタは、以前に記録されたジェスチャを使用して形成される、特徴（２５）に記載のメイクアップ用の拡張現実システム。

【0138】

（２７）少なくとも１つのメイクアップフィルタは、以前に格納された推定の問題領域および推定された強調された顔の特徴部分を使用して形成される、特徴（２６）に記載のメイクアップ用の拡張現実システム。

【0139】

（２８）メイクアップ目的視覚化ユニットの計算回路は、過去のルックの好みに基づいて少なくとも１つのメイクアップフィルタを選択するようにさらに構成される、特徴（２６）または（２７）に記載のメイクアップ用の拡張現実システム。

【0140】

（２９）メイクアップ目的視覚化ユニットの計算回路は、ユーザの顔の一部をぼかすことによってシミを除去することを含む、ユーザのためのカスタムバーチャル試着を作成するようにさらに構成される、特徴（２３）または（２４）に記載のメイクアップ用の拡張現実システム。

【0141】

（３０）メイクアップ目的視覚化ユニットの計算回路は、１つ以上のインスタンスをメモリ内に保存する機能を備え、カスタムバーチャル試着の１つ以上のインスタンスを表示するようにさらに構成される、特徴（２１）から（２９）のいずれかに記載のメイクアップ用の拡張現実システム。

【0142】

（３１）メイクアップ目的視覚化ユニットの計算回路は、複数のデジタルメイクアップパレットに基づいて作成されたカスタムバーチャル試着の１つ以上のインスタンスをメモリに格納するようにさらに構成される、特徴（２１）から（３０）のいずれかに記載のメイクアップ用の拡張現実システム。

【0143】

（３２）メイクアップ目的視覚化ユニットの計算回路は、カスタムバーチャル試着を、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、特徴（２１）から（３１）のいずれかに記載のメイクアップ用の拡張現実システム。

【0144】

（３３）複数のメイクアップフィルタを含むインデックス付きデータベースを含むレコメンダシステムをさらに備え、レコメンダシステムは、デジタルメイクアップの適用方法を示す要求に応じて、インデックス付きデータベースから１つ以上のメイクアップフィルタを取得し、顔画像を取得された１つ以上のメイクアップフィルタとブレンドすることによってビデオフレームのシーケンスを生成し、ビデオフレームのシーケンスを表示するように構成される、特徴（２１）から（３２）のいずれかに記載のメイクアップ用の拡張現実システム。

【0145】

（３４）インデックス付きデータベースはメイクアップフィルタの複数のカテゴリを含み、レコメンダシステムは、メイクアップフィルタの複数のカテゴリのうちの１つのカテゴリにデジタルメイクアップを適用する要求に応じて、インデックス付きデータベースから１つ以上のメイクアップフィルタを取得するようにさらに構成される、特徴（３３）に記載のメイクアップ用の拡張現実システム。

【0146】

（３５）メイクアップフィルタのカテゴリがサブカルチャーメイクアップルックであり、メイクアップ目的ユニットの計算回路は、ユーザが選択可能なメイクアップ目的の１つ以上のインスタンスとしてサブカルチャーメイクアップルックを生成するように構成され、メイクアップ目的視覚化ユニットの計算回路は、ユーザが選択したサブカルチャーメイクアップルックに従って、ユーザのためのカスタムバーチャル試着の１つ以上のインスタンスを自動的に作成するように構成される、特徴（３４）に記載のメイクアップ用の拡張現実システム。

【0147】

（３６）メイクアップ目的視覚化ユニットの計算回路は、１つ以上のインスタンスの中からカスタムバーチャル試着のインスタンスを選択し、カスタムバーチャル試着の選択されたインスタンスを、ライブビデオを提供するプラットフォームに転送するようにさらに構成される、特徴（３５）に記載のメイクアップ用の拡張現実システム。

【0148】

（３７）メイクアップ目的視覚化ユニットの計算回路は、カスタムバーチャル試着の１つ以上のインスタンスとしてメイクアップフィルタを作成し、作成された複数のメイクアップフィルタの中から１つのメイクアップフィルタを選択し、選択されたメイクアップフィルタをライブビデオに適用するようにさらに構成される、特徴（３６）に記載のメイクアップ用の拡張現実システム。

【0149】

（３８）選択されたメイクアップフィルタは、ユーザが選択した複数のサブカルチャーメイクアップルックの中の１つのサブカルチャーメイクアップルック用であり、メイクアップ目的視覚化ユニットの計算回路は、選択されたメイクアップフィルタをライブビデオに適用してサブカルチャーメイクアップルックを実現するようにさらに構成される、特徴（３７）に記載の拡張現実システム。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【国際調査報告】