特表 2024-505359 デジタルメイクアップアーティスト

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-06

(54)【発明の名称】デジタルメイクアップアーティスト

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240130BHJP

   G06T 7/00 20170101ALI20240130BHJP

   G06N 20/00 20190101ALI20240130BHJP

   G06T 1/00 20060101ALI20240130BHJP

【ＦＩ】

G06T11/80 A

G06T7/00 660A

G06T7/00 350C

G06N20/00

G06T1/00 340A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023540175

(86)(22)【出願日】2021-12-21

(85)【翻訳文提出日】2023-08-28

(86)【国際出願番号】 US2021064507

(87)【国際公開番号】W WO2022146766

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】17/138,078

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/138,143

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2107906

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】FR

(31)【優先権主張番号】2107909

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭＡＣ ＯＳ

２．ＵＮＩＸ

３．ＡＮＤＲＯＩＤ

４．ＦＡＣＥＢＯＯＫ

５．ＩＮＳＴＡＧＲＡＭ

６．ＬｉｎｋｅｄＩｎ

７．Ｔｉｋ Ｔｏｋ

８．ＳＮＡＰＣＨＡＴ

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133086

【弁理士】

【氏名又は名称】堀江 健太郎

(72)【発明者】

【氏名】ミンディー・クリスティーヌ・トルートマン

(72)【発明者】

【氏名】フランチェスカ・ディー・クルズ

(72)【発明者】

【氏名】サンドリーヌ・ガドル

【テーマコード（参考）】

5B050

5B057

5L096

【Ｆターム（参考）】

5B050BA06

5B050BA12

5B050CA07

5B050DA04

5B050EA07

5B050FA05

5B050FA10

5B057AA20

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE16

5B057DA06

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5L096GA40

5L096GA41

5L096HA11

5L096KA04

(57)【要約】

デジタルメイクアップアーティストシステムは、モバイルデバイスと、化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みを記憶するデータベースシステムと、を含む。モバイルデバイスは、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含む。デジタルメイクアップアーティストは、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴を含むユーザのニーズを捉えるために、ユーザと双方向の対話を実行する。演算回路は、顔のパーツを特定するためにユーザの顔画像を解析し、顔の特徴を決定するために顔画像を解析し、解析された顔画像、ユーザのニーズ、記憶された化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みに基づいて、デジタルメイクアップアーティストとの対話と同期して表示される画像フレームを生成する。

【特許請求の範囲】

【請求項1】

表示デバイス、演算回路、およびメモリを有するモバイルデバイスと、
化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みを記憶するデータベースシステムと、
顔の画像を解析するための機械学習システム、を含み、
前記モバイルデバイスが、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含み、前記デジタルメイクアップアーティストは、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴のうちの１つ以上を含む前記ユーザのニーズを捉えるために、前記ユーザとの双方向の対話を実行し、
前記演算回路が、
前記ユーザの顔画像を入力し、
前記機械学習システムを介して、前記ユーザの顔画像を解析して顔のパーツを特定し、
前記顔画像を解析して、肌の色調、目の色、髪の色、唇の色、および肌の質感のうちの１つ以上を含む顔の特徴を決定し、
前記デジタルメイクアップアーティストとの前記対話に同期して、前記表示デバイスに表示される画像フレームを生成する、
ように構成され、
前記画像フレームが、前記解析されたユーザの顔画像と、前記ユーザとの対話を通じて得られた前記ユーザのニーズと、前記記憶された化粧ルーチン情報、一般的な化粧ルックス、肌のタイプおよび民族性に応じた化粧品、ならびに前記ユーザのルックスの好みのうちの１つ以上とに基づいて生成される、
デジタルメイクアップアーティストシステム。

【請求項2】

前記演算回路が、前記生成された画像フレームを所定の再生速度で表示することにより動画を再生するように構成され、
前記動画が、チャプタを含み、各チャプタが、化粧品ルーチンのステップであり、
前記ユーザからの入力が、前記動画の再生を制御する動画制御コマンドを含む、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項3】

前記動画制御コマンドが、動画の再生速度を下げる、動画再生を一時停止する、動画のステップの先頭からリスタートする、動画の次のステップにスキップする、のうちの１つを含む、請求項２に記載のデジタルメイクアップアーティストシステム。

【請求項4】

前記ユーザからの前記入力が前記再生速度を下げる動画制御コマンドである場合、前記演算回路が、所定の再生速度に対する割合で前記再生速度を低下させ、前記コマンド入力時に再生している現在のチャプタが複雑であることを示す表示を前記データベースに記憶する、請求項３に記載のデジタルメイクアップアーティストシステム。

【請求項5】

前記ユーザからの前記入力が、前記動画のステップの先頭からリスタートする動画制御コマンドであり、前記演算回路が、前記コマンド入力時に再生している現在のチャプタの先頭に関連する時間点を読み取り、前記時間点の前記フレームから前記動画を再生するように構成される、請求項３に記載のデジタルメイクアップアーティストシステム。

【請求項6】

前記ユーザからの前記入力が、前記動画のステップの先頭からリスタートする動画制御コマンドであり、さらに画像フレームの生成の調整を行うコマンドを含み、前記演算回路が、再生している現在のチャプタの先頭に関連する時間点を読み取り、前記時間点における前記フレームから前記動画を再生するための調整された画像フレームを生成するように構成される、請求項３に記載のデジタルメイクアップアーティストシステム。

【請求項7】

前記画像フレームの生成調整が、前記顔画像における顔部分のためのメイクアップの色の特性への変更を含み、
前記色の前記特性が、範囲、色調、および仕上がりのうちの１つ以上である、請求項６に記載のデジタルメイクアップアーティストシステム。

【請求項8】

前記ユーザ入力が、ルックスのタイプを含み、
前記画像フレームの生成調整が、前記ルックスのタイプに関連する前記ユーザのルックスの好みを考慮する、請求項６に記載のデジタルメイクアップアーティストシステム。

【請求項9】

前記画像フレームの生成調整に基づいて作成されたメイクアップルックスが、好ましいメイクアップルックスとして前記データベースに記憶される、請求項６に記載のデジタルメイクアップアーティストシステム。

【請求項10】

前記演算回路が、前記機械学習システムを介して、前記ユーザの顔画像を解析して、顔形状、唇形状、まぶた形状、および髪型のうちの１つ以上を決定し、かつ前記ユーザの顔画像を解析して、肌の色調、目の色、髪の色、および肌の質感のうちの１つ以上を決定するように構成され、
前記画像フレームが、前記顔形状、前記唇形状、前記まぶた形状、前記髪型、前記肌の色調、前記目の色、前記髪の色、および前記肌の質感に関連して記憶されている化粧ルーチンに基づいて生成される、
請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項11】

前記デジタルメイクアップアーティストによって行われる前記ユーザとの前記双方向の対話がスピーチ入力を含み、
前記モバイルデバイスが前記スピーチ入力に対して自然言語処理を行い、前記デジタルメイクアップアーティストがスピーチ応答を出力する、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項12】

前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌の前記状態に関する情報を得るために、質問を発話することを含む、請求項１１に記載のデジタルメイクアップアーティストシステム。

【請求項13】

前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの顔の前記問題箇所に関する情報を得るために質問を発話することを含む、請求項１１に記載のデジタルメイクアップアーティストシステム。

【請求項14】

前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌が乾燥していることを示すスピーチ入力を受け、
前記画像フレームが、前記ユーザの肌が乾燥しているという前記指示に関連して記憶されている化粧ルーチンに基づいて生成される、請求項１２に記載のデジタルメイクアップアーティストシステム。

【請求項15】

前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケア用であり、
前記画像フレームが、スキンケア用の前記化粧ルーチン情報および化粧品に基づいて生成される、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項16】

前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケアタイプのメイクアップ用であり、
前記画像フレームが、スキンケアタイプのメイクアップ用の前記化粧ルーチン情報および化粧品に基づいて生成される、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項17】

前記スキンケアタイプのメイクアップが、アンチエイジング品質を有する化粧品を含み、
前記画像フレームが、前記アンチエイジング品質を有する前記化粧品の施しに関連して記憶されている化粧ルーチンに基づいて生成される、請求項１６に記載のデジタルメイクアップアーティストシステム。

【請求項18】

前記画像フレームが、前記肌の色調に最適な色調を使用する化粧ルーチンを提供するために、肌の色調を含む前記ユーザの前記解析された顔画像に基づいて生成される、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項19】

前記顔画像の特定の肌のアンダートーンに適した化粧品の色調を選択するための肌のアンダートーン機械学習モデルをさらに含む、請求項１に記載のデジタルメイクアップアーティストシステム。

【請求項20】

前記化粧品がファンデーションであり、
前記肌のアンダートーン機械学習モデルが、前記顔画像の前記特定の肌のアンダートーンに適した前記ファンデーションを選択するためである、請求項１９に記載のデジタルメイクアップアーティストシステム。

【請求項21】

表示デバイス、演算回路、およびメモリを有するモバイルデバイスと、
化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みを記憶するデータベースシステムと、
顔の画像を解析するための機械学習システム、を含み、
前記モバイルデバイスが、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含み、前記デジタルメイクアップアーティストが、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴のうちの１つ以上を含む、初期情報を取得し、メイクアップ相談を要求することを含む助言を提供するためにユーザとの双方向の対話を行い、
前記演算回路が、
前記ユーザの顔画像を入力し、
前記機械学習システムを介して、前記ユーザの顔画像を解析して顔のパーツを特定し、
前記顔画像を解析して、肌の色調、目の色、唇の色、髪の色、および肌の質感のうちの１つ以上を含む顔の特徴を決定し、
前記助言を提供するために前記デジタルメイクアップアーティストとの前記対話と同期して前記表示デバイスに表示される画像フレームを生成する、
ように構成され、
前記画像フレームが、前記ユーザの前記解析された顔画像、前記ユーザとの前記対話を通じて得られた前記初期情報、前記記憶された化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびに前記ユーザのルックスの好みのうちの１つ以上に基づいて、前記対話と同期して生成される、
デジタルメイクアップアーティストシステム。

【請求項22】

前記演算回路が、前記ユーザと前記デジタルメイクアップアーティストとの間の前記双方向の対話を通じて前記化粧の相談を行うように構成され、
前記演算回路が、前記お気に入りの顔の特徴に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を実行する、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項23】

前記演算回路が、前記ユーザと前記デジタルメイクアップアーティストとの間の前記双方向の対話を通じて前記メイクアップ相談を行うように構成され、
前記対話が、前記デジタルメイクアップアーティストに対して、前記ユーザに気になる少なくとも１つの問題顔領域を入力するように促すことを含み、
前記演算回路が、前記気になる問題顔領域に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行う、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項24】

前記演算回路が、
化粧ルーチンのためのカスタム推奨を作成するために前記双方向の対話を行い、
前記推奨化粧ルーチンの調整要求を含むさらなる入力を受け取り、
前記推奨化粧ルーチンの前記調整要求、前記記憶されたメイクアップルックスおよび前記ユーザのルックスの好みに基づいて前記調整を行って洗練された化粧ルーチンを作成する、
ように構成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項25】

前記演算回路が、前記調整を、前記ユーザのルックスの好みに含まれるユーザのルックスの好みとして、前記洗練された化粧ルーチンと共に、前記データベースに記憶するように構成される、請求項２４に記載のデジタルメイクアップアーティストシステム。

【請求項26】

前記演算回路が、前記洗練された化粧ルーチンのための推奨化粧品およびスキンケア製品を出力するように構成される、請求項２４に記載のデジタルメイクアップアーティストシステム。

【請求項27】

前記推奨化粧ルーチンの前記調整要求が、顔全体の画像のメイクアップ特性を変更する要求を含む、請求項２４に記載のデジタルメイクアップアーティストシステム。

【請求項28】

前記メイクアップ特性の前記変更要求が、前記顔画像における各メイクアップ色の範囲、色調、および仕上がりのうちの１つ以上の変更を含む、請求項２７に記載のデジタルメイクアップアーティストシステム。

【請求項29】

前記推奨化粧ルーチンの前記調整要求が、前記顔画像における顔部分のメイクアップ特性の変更要求を含み、
前記メイクアップ特性の前記変更要求が、前記顔画像における前記顔部分のメイクアップ色の範囲、色調、および仕上がりのうちの１つ以上の変更を含む、請求項２４に記載のデジタルメイクアップアーティストシステム。

【請求項30】

前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌が乾燥していることを示すスピーチ入力を受け取ることを含み、
前記画像フレームが、前記ユーザの肌が乾燥しているという前記指示に関連して記憶されている化粧ルーチンに基づいて生成される、請求項２２に記載のデジタルメイクアップアーティストシステム。

【請求項31】

前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケア用であり、
前記画像フレームが、スキンケア用の前記化粧ルーチン情報および化粧品に基づいて生成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項32】

前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケアタイプのメイクアップ用であり、
前記画像フレームが、スキンケアタイプのメイクアップ用の前記メイクアップ化粧情報および化粧品に基づいて生成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項33】

前記スキンケアタイプのメイクアップが、アンチエイジング品質を有する化粧品を含み、
前記画像フレームが、アンチエイジング品質を有する前記化粧品の施しに関連して記憶されている化粧ルーチンに基づいて生成される、請求項３２に記載のデジタルメイクアップアーティストシステム。

【請求項34】

前記演算回路が、前記ユーザの肌の色調に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、
前記化粧ルーチンの前記画像フレームが、前記肌の色調に最適な化粧品の色調を使用する前記カスタム推奨を作成するために前記ユーザの前記解析された顔画像に基づいて生成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項35】

前記顔画像の特定の肌のアンダートーンに適した前記化粧品の色調を選択するための肌のアンダートーン機械学習モデルをさらに含む、請求項３４に記載のデジタルメイクアップアーティストシステム。

【請求項36】

前記化粧品がファンデーションであり、
前記肌のアンダートーン機械学習モデルが、前記顔画像の前記特定の肌のアンダートーンに適した前記ファンデーションの前記色調を選択するためである、請求項３５に記載のデジタルメイクアップアーティストシステム。

【請求項37】

前記演算回路が、前記ユーザの唇の形状および唇の色に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、
前記化粧ルーチンの前記画像フレームが、前記ユーザの唇の形状および唇の色に最適な前記ユーザの顔用の化粧品の色調および／または仕上げを使用する前記カスタム推奨を作成するために、前記ユーザの前記解析した顔画像に基づいて生成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項38】

前記演算回路が、前記ユーザの肌のタイプおよび民族性を得ることを含む化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、
前記化粧ルーチンの前記画像フレームが、前記肌のタイプおよび前記民族性のために指定されたデータベース内に記憶された化粧品を使用する前記カスタム推奨を作成するために前記ユーザの肌のタイプならびに民族性とユーザのルックスの好みに基づいて生成される、請求項２１に記載のデジタルメイクアップアーティストシステム。

【請求項39】

前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品が、肌タイプおよび民族性に応じた、スキンケアタイプのメイクアップ用であり、
前記画像フレームが、肌タイプおよび民族性に応じた、スキンケアタイプのメイクアップ用の前記化粧ルーチン情報と化粧品に基づいて生成される、請求項３８に記載のデジタルメイクアップアーティストシステム。

【請求項40】

前記ユーザの前記顔画像の特定の民族性に適した前記化粧品の色調を選択するための民族性機械学習モデルをさらに含む、請求項３８に記載のデジタルメイクアップアーティストシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月３０日に出願された非仮出願第１７／１３８，０７８号、２０２０年１２月３０日に出願された非仮出願第１７／１３８，１４３号、２０２１年７月２２日に出願されたフランス出願シリアル番号２１０７９０９、および２０２１年７月２２日に出願されたフランス出願シリアル番号２１０７９０６に対する優先権の利益を主張し、それらの内容全体は参照により本明細書に援用される。

【0002】

本開示は、デジタルメイクアップアーティスト、および対話式のメイクアップ助言とメイクアップ指導のための方法を対象とする。

【背景技術】

【0003】

モバイルアプリケーション、もしくはアプリが、近年、化粧品購入のための検索および選択における支援を提供するように開発されている。アプリは、特定のタイプのメイクアップを検索するためのツール、もしくはユーザのお気に入りである可能性がある製品を検索するためのツール、または以前に使用した製品を購入するだけのツールを提供し得る。アプリによっては、カラーパレットを表示することによって、口紅もしくはアイシャドウの色選びを支援するものがある。アプリによっては、衣服、アクセサリ、もしくは画像からの色に調和する色の検索を支援する色合わせ機能を提供するものもある。また、特定のタイプのメイクアップを施す方法を動画で利用できるものもある。

【0004】

アプリによっては、スマートフォン、タブレット、およびノートパソコンのカメラを活用して、商品の試用アプリケーションを提供するものもある。これらのアプリケーションの中には、ウェブアプリケーションとして実装されているもの、もしくはひとつのアプリとして実装されているものがある。これらのアプリケーションの中には、スマートフォンのカメラで自画像を撮影し、その写真をウェブアプリケーションにアップロードし、アップロードされた画像に仮想化粧品を施すために、そのカメラの使用を必要とするものがある。これらのアプリケーションは、肌を滑らかにする、頬骨を上げる、目の色を調整する、などの様々なオプションを提供し得る。これらのアプリケーションは、メイクアップの任意のタイプおよび色を追加したり、色の強さを変えたりする機能をユーザに提供し得る。

【0005】

しかしながら、今までに提供されてきた試用アプリケーションは、写真編集ツールによってルックスを作成するものである。先行する試用アプリケーションの中には、アップロードされた写真から、メイクアップのタイプや色を重ね合わせ、次にメイクアップした写真を編集するワンステップ機能を持つものもある。加えて、ソーシャルメディアで使用するために、カメラ付きモバイルデバイス用の写真編集ツールが普及してきている。写真共有アプリの１つであるＶＳＣＯでは、写真を共有する前に写真を編集したり、写真にフィルタをかけたりすることができる。特定の効果を得るために、多くのＶＳＣＯフィルタが利用可能である。ＶＳＣＯフィルタは、露出、温度、コントラスト、フェード、彩度、色合い、肌の色調を含む、写真に適用できる値で構成されている場合がある。このような写真編集ツールは、写真を編集する機能を提供するが、写真の編集は、個人的なメイクアップの経験を提供しない。また、先行する試用アプリケーションツールは、カスタムルックスの作成を提供しない。例えば、ユーザは、デート・ナイト・ルックスを望むかもしれない。先行する試用アプリケーションは、デート・ナイト・ルックスを提供するかもしれないが、ユーザに最適と思われるどの化粧品を使用するか、およびルックスを作成するために様々なタイプの化粧品をどのように施すのかについての助言を提供しない。その代わりに、カスタムルックスを得ようとして、ユーザが顔画像に対して何らかの編集を行うことができるかもしれない。また、ユーザは、ユーザの気分、もしくはユーザが描写したい気分に基づくデート・ナイト・ルックスを望むかもしれない。

【0006】

これらの先行する試用ウェブアプリケーションもしくはアプリは、カスタマイズされたメイクアップルーチンではない処理を実行するため、部分的に完全なパーソナライゼーションを欠いている。典型的な先行する仮想試用アプリケーションの処理は、他の人たちのために作成されたテンプレートおよびルックスに依存している。ユーザが念頭に置いている特定のルックスを望むとき、もしくは新しいルックスを試したいとき、ユーザは、誰か他の人のために作成されたルックスを編集しなければならないことに直面する可能性がある。ユーザがパーソナルメイクアップアーティストとの経験に匹敵するような方法で対話を可能にする、特定のユーザのためのカスタムな試用経験を提供する必要がある。ユーザの顔に所望のルックスを得るためのステップをパーソナルメイクアップアーティストがユーザに教えるメイクアップ経験が必要である。

【0007】

ユーザが自分のアニメ風アバターを作成する上で支援するソーシャルメディアアプリが開発されてきている。これらのアニメ風アバターは、髪型、髪の色、顔の形および色、メイクアップ、眉毛、鼻の形などをカスタマイズすることができる。しかしながら、ユーザは、実際の顔のメイクアップ画像をソーシャルメディアに投稿することを望むかもしれない。

【0008】

前述の「背景技術」の説明は、本開示の文脈を一般的に提示することを目的としている。この「背景技術」セクションで説明されている範囲での現在名前が挙げられている発明者らの研究、および出願時に別様に従来技術とみなされていない可能性がある説明の態様は、明示的にも黙示的にも本発明に対する従来技術とは認められない。

【発明の概要】

【課題を解決するための手段】

【0009】

一態様は、表示デバイス、演算回路、およびメモリを有するモバイルデバイス、化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、およびユーザのルックスの好みを記憶するデータベースシステム、顔の画像を解析するための機械学習システム、を含み、かつ前記モバイルデバイスは、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含む、デジタルメイクアップアーティストシステムであって、前記デジタルメイクアップアーティストが、メイクアップルックス、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴、のうちの１つ以上のタイプを含むユーザのニーズを捉えるためにユーザと双方向の対話を実行する。前記演算回路は、ユーザの顔画像を入力し、ユーザの顔画像を解析して顔のパーツを特定する機械学習システムを介して顔画像を解析し、肌の色調、目の色、髪の色、唇の色、および肌の質感のうちの１つ以上を含む顔の特性を決定し、デジタルメイクアップアーティストとの対話と同期して表示デバイスに表示する画像フレームを生成するように構成される。前記画像フレームは、解析されたユーザの顔画像、ユーザとの対話を通じて得られたユーザのニーズ、１つ以上の記憶されている化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、およびユーザのルックスの好みに基づいて生成される。

【0010】

一態様は、表示デバイス、演算回路、およびメモリを有するモバイルデバイス、化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、およびユーザのルックスの好みを記憶するデータベースシステム、顔の画像を解析するための機械学習システム、を含み、かつ前記モバイルデバイスは、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含む、デジタルメイクアップアーティストシステムであって、前記デジタルメイクアップアーティストは、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴のうちの１つ以上を含む初期情報を取得し、化粧の相談の要求を含む助言を提供するために、ユーザと双方向の対話を実行する。前記演算回路は、ユーザの顔画像を入力し、ユーザの顔画像を解析して顔のパーツを特定する機械学習システムを介して顔画像を解析し、肌の色調、目の色、唇の色、髪の色、および肌の質感のうちの１つ以上を含む顔の特性を決定し、助言を提供するために、デジタルメイクアップアーティストとの対話と同期して表示デバイスに表示する画像フレームを生成するように構成される。前記画像フレームは、解析されたユーザの顔画像、ユーザとの対話を通じて得られた初期情報、１つ以上の記憶されている化粧ルーチン情報、一般的な化粧ルックス、肌タイプおよび民族性に応じた化粧品、およびユーザのルックスの好みに基づいて、対話と同期して生成される。

【0011】

例示的な実施形態の前述の概要の説明および以下の詳細な説明は、本開示の教示の単なる例示的な態様であり、限定的ではない。

【0012】

本開示およびその付随する利点の多くのより完全な理解は、添付の図面と関連して考慮されるとき、以下の詳細な説明を参照することによって、本開示およびその付随する利点がより良く理解されるにつれて、容易に得られるであろう。

【図面の簡単な説明】

【0013】

【図1】本開示の例示的な態様に従ったシステムの概略図である。

【図2】モバイルデバイスのコンピュータシステムのブロック図である。

【図3】本開示の例示的な態様に従ったアバターを有するユーザインタフェース画面を示す。

【図4】本開示の例示的な態様に従ったモバイルデバイスのためのユーザインタフェース画面を示す。

【図5】本開示の例示的な態様に従った、カスタム指導のためのデジタルメイクアップアーティストとユーザとの間の対話のためのシーケンス概略図である。

【図6】本開示の例示的な態様に従ったルックスのタイプを入力するためのユーザインタフェースである。

【図7】本開示の例示的な態様に従った顔解析のフローチャートである。

【図8】顔形状分類のための畳み込みニューラルネットワークについての例示的なアーキテクチャ概略図である。

【図9】顔のランドマーク検出のための例示的な深層学習ニューラルネットワーク概略図である。

【図10】本開示の例示的な態様に従ったリコメンダシステムのための概略図である。

【図11】本開示の例示的な態様に従った非限定的なルックス特徴のマトリクスを示す。

【図12】本開示の例示的な態様に従ったモバイルアプリケーションにおけるユーザインタフェースである。

【図13】本開示の例示的な態様に従ったモバイルアプリケーションにおけるユーザインタフェースである。

【図14】本開示の例示的な態様に従った例示的なモバイルアプリケーションである。

【図15】本開示の例示的な態様に従った「減速（ＳＬＯＷ ＤＯＷＮ）」動画制御コマンドのためのフローチャートである。

【図16】本開示の例示的な態様に従った「一時停止（ＰＡＵＳＥ）」動画制御コマンドのためのフローチャートである。

【図17】本開示の例示的な態様に従った「最終ステップやり直し（ＲＥ－ＤＯ ＬＡＳＴ ＳＴＥＰ）」動画制御コマンドのためのフローチャートである。

【図18】本開示の例示的な態様に従った「現ステップのスキップ（ＳＫＩＰ ＣＵＲＲＥＮＴ ＳＴＥＰ）」動画制御コマンドのためのフローチャートである。

【図19】本開示の例示的な態様に従った動画再生コンポーネントのブロック図である。

【図20】所望の特徴および元特徴に基づいて動画フレームを作成するために使用され得るブレンディング処理を示す。

【図21A】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図21B】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図21C】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図21D】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図21E】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図21F】本開示の例示的な態様に従った、メイクアップ指導のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図22A】本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【図22B】本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【図22C】本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【図22D】本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【図22E】本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【図23】図２３は、本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストとユーザとの間の対話のためのシーケンス概略図である。

【図24A】本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図24B】本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図24C】本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【図24D】本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。

【発明を実施するための形態】

【0014】

以下の詳細な説明において、本明細書の一部を構成する添付の図面が参照される。図面の中で、同様の記号は、文脈上別段の指示がない限り、通常は同様のコンポーネントとして扱う。詳細な説明、図面、および特許請求の範囲に記載された例示的な実施形態は、限定することを意図していない。本開示の趣旨もしくは範囲から逸脱することなく、他の実施形態が使用され得る、かつ他の変更が行われ得る。

【0015】

本開示の態様は、ユーザが個人的なメイクアップアーティストと持ち得る経験に匹敵する方法で、メイクアップ助言および指導のために相談され得るデジタルメイクアップアーティストを対象とする。開示されたデジタルメイクアップアーティストは、ユーザが自分の顔で所望のルックスを得るためのステップを教えるメイクアップ経験を提供する。

【0016】

図１は、本開示の例示的な態様に従ったシステムの概略図である。実施形態は、ソフトウェアアプリケーション、もしくはモバイルアプリケーション（アプリ）を含む。本開示の目的のために、本明細書において以下では、モバイルアプリケーション（アプリ）という用語は、ソフトウェアアプリケーションと互換的に使用され、メイクアップアプリケーションは、仮想的もしくは物理的にメイクアップを施す処理を参照して使用されるであろう。ソフトウェアアプリケーションは、デスクトップコンピュータもしくはラップトップコンピュータ１０３上で実行され得る。モバイルアプリケーションは、タブレットコンピュータもしくは他のモバイルデバイス１０１上で実行され得る。本開示の目的のために、ソフトウェアアプリケーションおよびモバイルアプリケーションは、モバイルアプリケーション１１１の観点から説明される。それぞれの場合において、モバイルアプリケーション１１１は、それぞれのデバイス１０１、１０３にダウンロードされ、インストールされ得る。いくつかの実施形態において、デスクトップコンピュータもしくはラップトップコンピュータ１０３は、音声入力デバイスとしてマイクロフォン１０３ａを備えるように構成され得る。マイクロフォン１０３ａは、ＵＳＢポートもしくは音声入力ポートを介して、または、Ｂｌｕｅｔｏｏｔｈ無線プロトコルを介した無線で、デスクトップコンピュータあるいはラップトップコンピュータ１０３に接続するデバイスであってもよい。モバイルデバイス１０１は、内蔵マイクロフォンを備えていてもよい。いくつかの実施形態において、ソフトウェアアプリケーションもしくはモバイルアプリケーションは、クラウドサービス１０５と連携して作動するために通信機能を含んでもよい。クラウドサービス１０５は、データベース管理サービス１０７および機械学習サービス１０９を含んでもよい。データベース管理サービス１０７は、クラウドサービス１０５で提供されるデータベース管理システムのタイプのいずれであってもよく、例えば、データベース管理サービス１０７は、構造化照会言語（ＳＱＬ）を用いてアクセスされるデータベース、もしくは一般にＮｏ＿ＳＱＬと呼ばれる、キーによってアクセスされる非構造化データベースを含んでもよい。機械学習サービス１０９は、機械学習に必要になり得るスケールアップおよび高性能コンピューティングを可能にするために、機械学習を実行し得る。また、ソフトウェアアプリケーションもしくはモバイルアプリケーションは、クラウドサービス１０５からダウンロードされ得る。図１には、単一のクラウドサービス、ラップトップコンピュータ、およびモバイルデバイスが示されているが、任意の数のモバイルデバイス、ラップトップコンピュータ、ならびにデスクトップコンピュータおよびタブレットコンピュータが、１つ以上のクラウドサービスに接続され得ると理解されるべきである。

【0017】

図２は、モバイルコンピュータデバイスのブロック図である。一実装において、モバイルデバイス１０１の機能および処理は、１つ以上のそれぞれの処理／演算回路２２６によって実装され得る。同じもしくは同様の処理／演算回路２２６は、タブレットコンピュータもしくはラップトップコンピュータに適用され得る。処理回路は、プロセッサが回路を含むように、プログラムされたプロセッサを含む。処理回路はまた、言及された機能を実行するように配置された特定用途向け集積回路（ＡＳＩＣ）および従来の回路コンポーネントのようなデバイスを含み得る。回路とは、回路もしくは回路のシステムを指すことに留意されたい。本明細書では、回路は、１つのコンピュータシステム内にあってもよいし、コンピュータシステムのネットワーク全体に分散されていてもよい。

【0018】

次に、例示的な実施形態による処理／演算回路２２６のハードウェアの説明を、図２を参照して説明する。図２において、処理／演算回路２２６は、本明細書で説明する処理を実行するモバイル処理ユニット（ＭＰＵ）２００を含む。処理データおよび命令は、メモリ２０２に記憶され得る。また、これらの処理および命令は、可搬型記憶媒体に記憶されてもよいし、もしくは遠隔で記憶されてもよい。処理／演算回路２２６は、モバイルデバイス１０１のネットワークサービスに固有の情報を含む交換可能な加入者識別モジュール（ＳＩＭ）２０１を有し得る。

【0019】

さらに、本願の進歩性は、本発明処理の命令が記憶されるコンピュータ可読媒体の形態によって制限されない。例えば、命令は、ＦＬＡＳＨメモリ、シンクロナス・ランダムアクセスメモリ（ＳＤＲＡＭ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、固体ハードディスク、もしくはサーバまたはコンピュータなどの、処理／演算回路２２６が通信する任意の他の情報処理デバイスに記憶され得る。

【0020】

さらに、本願の進歩性は、ＭＰＵ２００およびオペレーティングシステムと連携して実行するユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供され得る。オペレーティングシステムは、Ｍａｃ ＯＳ、Ｗｉｎｄｏｗｓ １０、もしくはＵｎｉｘオペレーティングシステムのようなラップトップコンピュータまたはデスクトップコンピュータのためのものであってよい。スマートフォンもしくはタブレットコンピュータなどのモバイルデバイスの場合、Ａｎｄｒｏｉｄ、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）１０ Ｍｏｂｉｌｅ、Ａｐｐｌｅ ｉＯＳ（登録商標）などのモバイルオペレーティングシステム、および、当業者に公知の他のモバイルオペレーティングシステムが使用されてもよい。

【0021】

処理／演算回路２２６を実現するために、ハードウェア要素は、当業者に公知の様々な回路要素によって実現され得る。例えば、ＭＰＵ２００は、Ｑｕａｌｃｏｍｍモバイルプロセッサ、Ｎｖｉｄｉａモバイルプロセッサ、米国Ｉｎｔｅｌ社のＡｔｏｍ（登録商標）プロセッサ、Ｓａｍｓｕｎｇモバイルプロセッサ、もしくはＡｐｐｌｅ Ａ７モバイルプロセッサであってもよいし、当業者が認識できる他のプロセッサタイプであってもよい。あるいは、ＭＰＵ２００は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、もしくは当業者が認識できるようなディスクリート論理回路を用いて実装されてもよい。さらに、ＭＰＵ２００は、上述した本発明の処理の命令を実行するために並列協力処理する複数のプロセッサとして実装されてもよい。

【0022】

図２の処理／演算回路２２６はまた、ネットワーク２２４とインタフェースするための、米国Ｉｎｔｅｌ社のＩｎｔｅｌ Ｅｔｈｅｒｎｅｔ ＰＲＯネットワークインタフェースカードなどの、ネットワークコントローラ２０６を含む。理解できる通り、ネットワーク２２４は、インターネットなどのパブリックネットワーク、もしくはＬＡＮまたはＷＡＮネットワークなどのプライベートネットワーク、あるいはそれらの任意の組み合わせであることができ、かつＰＳＴＮもしくはＩＳＤＮサブネットワークも含むことができる。ネットワーク２２４はまた、イーサネットネットワークなどの有線であることができる。処理回路は、３Ｇ、４Ｇおよび５Ｇ無線モデム、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＰＳ、もしくは公知の他の無線通信形態を含む無線通信のための様々なタイプの通信プロセッサを含み得る。

【0023】

処理／演算回路２２６は、ＭＰＵ２００によって管理され得るユニバーサルシリアルバス（ＵＳＢ）コントローラ２２５を含む。

【0024】

処理／演算回路２２６は、さらに、表示画面２１０とインタフェースするための、米国ＮＶＩＤＩＡ社のＮＶＩＤＩＡ（登録商標）ＧｅＦｏｒｃｅ（登録商標）ＧＴＸもしくはＱｕａｄｒｏ（登録商標）グラフィックスアダプタなどの、表示画面コントローラ２０８を含む。Ｉ／Ｏインタフェース２１２は、音量制御のためなどのボタン２１４とインタフェースする。Ｉ／Ｏインタフェース２１２および表示画面２１０に加えて、処理／演算回路２２６は、さらに、マイクロフォン２４１および１つ以上のカメラ２３１を含み得る。マイクロフォン２４１は、音をデジタル信号に処理するための関連回路２４０を有し得る。同様に、カメラ２３１は、カメラ２３１の画像取り込み作動を制御するためのカメラコントローラ２３０を含み得る。例示的な態様において、カメラ２３１は、電荷結合素子（ＣＣＤ）を含み得る。処理／演算回路２２６は、音出力信号を生成するためのオーディオ回路２４２を含んでよく、かつ任意の音出力ポートを含んでよい。

【0025】

電力管理およびタッチスクリーンコントローラ２２０は、処理／演算回路２２６およびタッチ制御によって、使用される電力を管理する。通信バス２２２は、処理／演算回路２２６のすべてのコンポーネントを相互接続するために、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）、周辺機器インタフェース（ＰＣＩ）、もしくは同様のものであってよい。表示画面２１０、ボタン２１４、ならびに表示画面コントローラ２０８、電力管理コントローラ２２０、ネットワークコントローラ２０６、およびＩ／Ｏインタフェース２１２の一般的な特徴および機能性の説明は、これらの特徴が公知のため、簡潔にするために本明細書では省略される。

【0026】

図３は、本開示の例示的な態様に従ったアバターを有するユーザインタフェース画面を示している。本開示の目的のために、開示されたアバターは、デジタルメイクアップアーティストのグラフィック表現であるが、メイクアップアーティスト３０５の画像であってもよく、かつスピーチもしくはテキストを用いてユーザと通信できる人物を表してもよい。スピーチ入力は、マイクロフォンを表すアイコン３１１を選択することによって起動することができる。アバターもしくは画像３０５を含むサブ画面３０１は、対話するための領域を提供し得る。アバターもしくは画像３０５は、コンピュータの音声出力２４２、またはコンピュータ１０１に接続された外部スピーカにスピーチを出力することができる。アバターもしくは画像３０５は、テキスト３０９を出力することができる。サブ画面は、ユーザがテキストをタイプすることができる入力ボックス３０７を含み得る。いくつかの実施形態において、ユーザがマイクロフォン２４１に向かって話すと、スピーチがテキストに変換され、テキストが入力ボックス３０７に表示される。サブ画面３０１は、ユーザインタフェースウィンドウ３１０に含まれ得る。ウィンドウ３１０は、コンピュータシステム１０３のオペレーティングシステムによって制御されるグラフィカルオブジェクトであり得る。ウィンドウ３１０は、ソフトウェアアプリケーションもしくはモバイルアプリケーションのブラウザウィンドウまたはウィンドウを表示し得る。ウィンドウ３１０はメニューアイコン３０３を含んでよく、メニューアイコン３０３を選択すると、選択されて、指定された機能を実行し得る項目のメニューが表示され得る。

【0027】

アバター３０５は、アニメーションを実行するソフトウェアオブジェクトとして実装され得る。いくつかの実施形態において、以下でさらに説明するように、アバター３０５は、動画コンポーネント３２０で再生される動画と同期し得る。動画コンポーネント３２０の制御は、マイクロフォンアイコン３１１が起動されたときにマイクロフォン２４１を用いて行われる音声コマンドによって実行され得る。アバター３０５は、入力に対して自然言語処理を行い、音声出力２４２を通じてスピーチ応答を出力することによって、スピーチ入力に応答し得る。アバターを動画と同期させるために、アバター３０５は動画コンポーネント３２０にメッセージを転送し得るし、かつ動画コンポーネント３２０はアバター３０５とタイミング情報などの情報を共有し得る。動画コンポーネント３２０によって再生される動画は、チャプタに分割され得る。チャプタは、チャプタ名と時間によって識別され得る。時間は、動画の先頭からの秒数とし得る、もしくは動画の全長に対する割合を単位とし得る。いくつかの実施形態において、動画は、動画のフレームがユーザの顔および施されるメイクアップの画像に基づいて生成される一連のメイクアップアプリケーションステップである。本開示の目的のために、メイクアップアプリケーションステップは、ユーザの顔の画像の特定の部分への特定のタイプのメイクアップの施しを含み得る。特定のメイクアップタイプは、特定の化粧品、および化粧品の特定の特性を含み得る。

【0028】

いくつかの実施形態において、アバター３０５は、対話型エージェントとして実装され、質問を受けて、その質問に対する解決策を提供し得る。対話型エージェントはまた、ユーザによって尋ねられた特定タイプの質問に応答し得る。対話型エージェントは、対話型エージェントが尋ねた質問に対する応答である、ユーザによる発言に応答し得る。対話型エージェントは、クラウドサービス１０５に状態情報を記憶する。いくつかの実装において、対話型エージェントは、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅクラウドサービスで利用可能なＢｏｔ Ｆｒａｍｅｗｏｒｋ ＳＤＫなどのソフトウェアツールを用いて事前に作成されている場合がある。対話型エージェントの作動は、以下の説明でより明確になるであろう。

【0029】

図４は、本開示の例示的な態様に従ったモバイルデバイスのためのユーザインタフェース画面を示している。いくつかの実施形態において、ユーザインタフェースは、スマートフォン１０１の画面などのより小さな画面のために提供される。より小さい画面が提供されることにより、アバター３０５との対話は、音声および／またはテキストを通じて行い得る。スピーチ入力は、マイクロフォンを表すアイコン３１１を選択することによって起動することができる。表示画面２１０の一部には、対話を案内することに関連する制御およびテキストが表示され得る。アバター３０５は、コンピュータの音声出力２４２、もしくはコンピュータ１０１に接続された外部スピーカにスピーチを出力することができる。アバター３０５は、表示画面２１０にテキスト３０９を出力することができる。表示画面２１０の一部には、ユーザがテキストをタイプすることができる入力ボックス３０７を含み得る。いくつかの実施形態において、ユーザがマイクロフォン２４１に向かって話すと、スピーチがテキストに変換され、テキストが入力ボックス３０７に表示される。表示画面２１０は、ユーザの顔の画像もしくは動画４０１を表示し得る。

【0030】

図５は、本開示の例示的な態様に従った、カスタム指導のためのユーザとデジタルメイクアップアーティストとの間の対話のためのシーケンス概略図である。デジタルメイクアップアーティスト５２０は、アバター３０５の形態をとり得るし、もしくはスピーチを通じて対話される対話型エージェントであり得る。デジタルメイクアップアーティスト５２０は、モバイルアプリケーション１１１によって実行され得るし、かつ架空の人物もしくは実際のメイクアップアーティストを表し得る。システム５１０は、デスクトップコンピュータ、ラップトップコンピュータ１０３、タブレットコンピュータ、モバイルデバイス１０１、もしくは表示機能を有する他のコンピュータシステムであってもよい。システム５１０は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、もしくはモバイルデバイスのいずれかと、クラウドサービス１０５との組み合わせであってもよい。システムは、音声機能を有し得る。ユーザ入力５３０は、テキスト入力領域および／またはマイクロフォン入力の形態であり得る。

【0031】

従来の、メイクアップを施す指導動画は、再生、一時停止、停止の基本的な動画機能を含み、かつ動画が一時停止している間に動画再生の開始時間を移動するための時間スライダを含む場合がある。開示された実施形態において、デジタルメイクアップアーティスト５２０は、カスタム指導における対話を提供するために用いられる。

【0032】

ユーザは、ユーザが念頭に置いているルックスがあって、そのルックスがどのように作成され得るかをデジタルメイクアップアーティストに示してもらいたい使用事例などの目的のために、モバイルアプリケーション１１１を使用することができる。モバイルアプリケーション１１１は、ルックスを作成するためのカスタム指導を実行し得る。５０１において、モバイルアプリケーション１１１のデジタルメイクアップアーティスト５２０は、ユーザに関するいくつかの情報、および特にユーザのニーズを得るために、ユーザ５３０との最初の対話を実行し得る。デジタルメイクアップアーティスト５２０は、「どのようなタイプのルックスを作成したいですか？」のような最初の質問を表示および／または話すことによって対話を開始し得る。

【0033】

５０３において、ユーザは、所望のタイプのルックスを述べることができる。ユーザの発言は、入力ブロック３０７にテキストとして入力され得る。あるいは、ユーザは、マイクロフォンアイコン３１１を選択することにより、声を通じてデジタルメイクアップアーティスト５２０と対話することを選択することができる。システム５１０は、データベース１０７から予め記憶されているルックスを選択する上で使用されるように、ユーザの発言からキーワードを抽出し得る。図６は、ユーザがルックスのタイプの説明を入力するためのユーザインタフェースである。

【0034】

ユーザインタフェースは、様々なタイプのルックスのリストを提供し得る。ルックスのタイプの例として、数例を挙げれば、季節のルックス（春、夏、秋）、イベントのルックス（デートナイト、ガールフレンドとのディナー、特別なデート、義母との外出、休日、パーティ、大晦日、ブライダル、プロム）、完成までの時間に基づくルックス（短時間メイクアップ、平均的メイクアップ、時間をかけたメイクアップ）、ムードのルックス（陽気、幸せ、私に気づいて）、スタイル（ナチュラル、イブニング、夜会、ゴシック、仕事、ビーチ）、美的ルックス（ヴィスコ（ＶＳＣＯ）、Ｅガール（ｅＧｉｒｌ）、ソフトガール）などが挙げられる。

【0035】

デジタルメイクアップアーティスト５２０は、さらに、ユーザの経験レベルに関する情報を得るために、「メイクアップを行う上でのあなたの経験レベルは何ですか？」のような質問を表示および／または話し得る。ユーザは、経験レベルのリストを提供されてそこから選択してもよいし、あるいは経験レベルを声で入力してもよい。１つ以上の実施形態において、経験レベルを含むユーザ５３０に関する情報は、記憶されたユーザープロファイルの中から見つけ得る。

【0036】

経験のレベルは、初心者／ビギナーレベル、経験者レベル、エキスパートレベル、プロフェッショナルを含み得る。初心者／ビギナーレベルは、メイクアップを施す経験がほとんどないユーザであってもよい。経験者レベルは、以前にメイクアップを施したことがあり、したがって、ある程度の経験を有するユーザであってもよい。エキスパートレベルは、１年以上などの一定の期間、メイクアップを施してきただけでなく、適切にメイクアップを施す方法を学ぶための手順を踏んできたユーザであってもよい。プロフェッショナルレベルは、他の人に施すユーザであってもよい。

【0037】

デジタルメイクアップアーティスト５２０は、さらに、推奨され得るタイプのメイクアップを向上させるために、「あなたのメイクアップルックスは、主に屋内ウェアのためですか、あるいは屋外ウェアのためですか？」のような質問を表示および／または話し得る。

【0038】

デジタルメイクアップアーティスト５２０は、さらに、画像処理技術によって得ることが困難である可能性のあるユーザの肌の状態に関する情報を得るために、「あなたの肌は乾燥していますか？」のような質問を表示および／または話し得る。他の質問としては、顔の問題領域およびユーザが考慮して欲しい、お気に入りの顔の領域に関する情報を得ることに関するものであってもよい。

【0039】

デジタルメイクアップアーティスト５２０は、ユーザの所望のルックスを作成するためのステップを教えるためにカスタム指導を実行することができる。デジタルメイクアップアーティスト５２０は、ユーザ自身の顔を用いてステップを教え得るし、ステップは、ユーザの顔に施されたときに見えるであろうルックスを作成する方法でメイクアップを施し得る。５０５において、カメラ２３１は、ユーザの顔の画像もしくは動画を取り込むために使用することができる。ユーザは、取り込まれた画像もしくは動画を表示画面２１０上で見ることができる。

【0040】

５０７において、ユーザの顔の情報を得るために、システム５１０によって画像もしくは動画を解析し得る。例えば、画像は、画像に含まれる顔を識別するため、顔の形状を決定するため、顔のパーツを決定するため、および指導中に助言を提供するために使用され得る他の特性を決定するために、解析され得る。従来の画像処理アルゴリズムは、画像分割、明るさレベル、平均色など、画像内の顔の特徴を特定するために使用されてきた。しかしながら、近年、顔認識における人工ニューラルネットワークが開発されてきた。顔認識のための人工ニューラルネットワークの中には、人間の視覚野の構造に基づいているものがある。コンピュータビジョンのための人工ニューラルネットワークのアーキテクチャは、改善され続けている。本開示の目的のために、取り込まれた画像もしくは動画を解析するために使用され得る２つの非限定的な人工ニューラルネットワークを説明する。

【0041】

いくつかの実施形態において、人工ニューラルネットワークの処理を実行するのに十分なコンピュータリソースがあることを条件に、人工ニューラルネットワークの一方もしくは両方が、モバイルデバイス１０１またはラップトップコンピュータ１０３によって実行され得る。いくつかの実施形態において、人工ニューラルネットワークの一方もしくは両方は、クラウドサービス１０５内の機械学習サービス１０９によって実行され得る。いくつかの実施形態において、人工ニューラルネットワークは、機械学習サービス１０９の中で鍛えられ得るし、かつ鍛えられた人工ニューラルネットワークは、モバイルデバイス１０１もしくはラップトップコンピュータ１０３において実行され得る。

【0042】

顔認識を実行するために、モバイルアプリケーション１１１は、照明の改善など、画像の顔の特徴を改善するための画像処理操作を実行し得る。例えば、ユーザは、明るい光もしくは日光がユーザの背後の方向からある場合に、気づかずに自撮りする場合がある。モバイルアプリケーション１１１は、ユーザの顔画像を明るくし得る。画質を向上させるために、他の画像処理操作が実行され得る。

【0043】

図７は、顔解析ステップをより詳細に示すフローチャートである。

【0044】

７０１において、顔の形状を決定するために、取り込まれた画像に対して解析が実行され得る。機械学習モデルは、取り込まれたユーザの顔の形状を検出するために使用され得る。機械学習モデルは、既知の顔形状を有する顔画像を用いて顔形状を分類するように鍛えられ得る。近年、オブジェクトを認識する際の人間の脳の視覚野の働き方にヒントを得た人工ニューラルネットワークを用いて、画像分類が行われている。この画像分類人工ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）として公知のモデル群である。画像分類のためのアプローチは他にも提案されていて、改良が続けられている。このような画像分類に使える可能性のある他のアプローチとして、数例を挙げれば、線形回帰、決定木、およびサポートベクターマシンが挙げられる。上述したように、機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を用いて鍛えられ得る。

【0045】

開示された実施形態において、顔形状を分類するために使用され得る機械学習モデルのアーキテクチャは、ＣＮＮである。図８は、顔形状を分類するためのＣＮＮのブロック図である。ＣＮＮの次元および活性化関数は、利用可能な処理能力および所望の精度に依存して変化させ得る。次元には、チャネルの数、各層のサイズ、および層の数が含まれる。活性化関数には、ロジスティック、整流線形ユニットなどがある。

【0046】

畳み込みニューラルネットワーク（ＣＮＮ）は、いくつかのタイプの層から構成されてもよい。畳み込みコンポーネント８０３は、畳み込み層８０３ａ、プーリング層８０３ｃ、および整流線形ユニット層８０３ｂから構成され得る。畳み込み層８０３ａは、与えられたすべての空間位置における特徴の特定位置を検出する２次元活性化マップを展開するためのものである。プーリング層８０３ｃは、ダウンサンプリングの一形態として機能する。整流線形ユニット層８０３ｂは、畳み込み層自体の受容野に影響を与えることなく、決定関数およびネットワーク全体の非線形特性を増大させるための活性化関数を適用する。完全接続層８０５は、前の層のうちのすべての活性化に接続を有するニューロンを含む。損失層は、ネットワークトレーニングが、予測された層と真の層との間の偏差をどのように埋めるかを指定する。損失層８０７は、相互に排他的なクラスのセットにおけるクラスを検出する。

【0047】

いくつかの実施形態において、損失層８０７は、ソフトマックス関数であってもよい。ソフトマックス関数は、各クラスに対して確率を提供する。例示的な実施形態において、クラス８０９は、正方形、長方形、円形、楕円形、長円形、菱形、三角形、およびハート形の顔形状を含み得る。

【0048】

７０３において、モバイルアプリケーションは、顔の特徴およびランドマークを解析し得る。顔の形状と同様に、取り込まれたユーザの顔の特徴およびランドマークは、機械学習モデルを用いて検出され得る。機械学習モデルは、顔のランドマークを検出するように鍛えられ得る。顔形状の分類と同様に、分類に対する他のアプローチが使用され得る。また、図８と同様のＣＮＮアーキテクチャは顔ランドマーク検出のために同様に使用され得る。

【0049】

図９は、顔のランドマーク検出のための深層学習ニューラルネットワーク概略図である。図８のアーキテクチャと同様に、深層学習ニューラルネットワークは、畳み込みニューラルネットワークである。深層学習ニューラルネットワークのトレーニングを向上するために、残差接続が含まれ得る。１つ以上の実施形態において、ネットワーク内の以前の層に残差接続がなされる反転残差構造が含まれ得る。図９のアーキテクチャに関して、ネットワークは、２つのステージ、９０３および９０５として提供される。第１ステージ９０３は、特徴抽出を実行するための畳み込みステージである。第２ステージ９０５では、関心領域における予測を実行する。

【0050】

第１ステージ９０３のアーキテクチャは、入力顔画像９０１を与えられると、畳み込みおよび最大値プーリング演算を実行する畳み込みセクション９０３ａを含む。畳み込みセクション９０３ａは、反転残差構造９０３ｂに接続される。反転残差構造９０３ｂには、マスク層９０３ｃが接続される。マスク層９０３ｃのサイズは、ランドマークの数に応じたサイズ（例えば、ランドマークの数である２×Ｌ）である。マスク層９０３ｃは、入力オブジェクトの空間レイアウトを符号化する。

【0051】

第２ステージ９０５のアーキテクチャは、第１ステージ９０３の反転残差構造９０３ｂに接続される反転残差構造９０５ｂを含む。また、第１ステージ９０３のマスク層９０３ｃは、反転残差構造９０５ｂの結果に適用され、ＲＯＩ（関心領域）および連結（Ｃｏｎｃａｔｅｎａｔｅ）ブロック９１１においてＲＯＩの切り取り（ｃｒｏｐｐｉｎｇ）を実行するための入力として提供される。ＲＯＩおよび連結ブロック９１１は、反転残差構造９０５ｂのチャネル数とランドマーク数に基づいている。予測ブロック９１３は、マスク層９０５ｃ内のランドマークとおおよその位置を予測する。第２ステージ９０３の関心領域に対する予測は、全画像に対してマスク層９０３ｃによって推定されたランドマークと組み合わされ、出力層９０７において出力ランドマークが得られる。

【0052】

１つ以上の実施形態において、顔に対するランドマークは、目、鼻、唇、頬骨、眉毛・まぶたを含む目の周りの領域、および髪を含む。いくつかの実施形態では、ランドマークは、可能性のある顔の異常を含み得る。

【0053】

各層の特定の次元および層の数は、所望の精度、機械学習モデルを実行するハードウェア、および機械学習モデルを鍛えるための時間の長さを含むパラメータに依存し得る。機械学習モデルは、クラウドサービス１０５の機械学習サービス１０９を用いて鍛えられ得る。

【0054】

顔の特徴の解析５０７は、さらに唇の形状７０５、まぶたの形状７０７、および髪型７０９の検出を含み得る。検出されたランドマークは、唇、目、および髪型の輪郭を計算するために使用され得る。加えて、肌の色／色調、目の色、唇の色、髪の色７１１、および肌の質感７１３などの他の顔の特徴も、顔画像から決定され得る。肌の色／色調および肌の質感は、画像処理技術を用いて決定され得る。肌の色／色調を解析して、ＲＧＢ座標を決定し、肌の色／色調の名前を割り当てることができる。肌の色の解析により、肌の色調における違いが明らかになり得る。肌の色調のタイプは、フェア、ライト、ミディアム、もしくはディープを含み得る。同様に、目の色、唇の色および髪の色も、画像処理技術を用いて決定され得る。肌の質感は、明るさの違いの分析を用いて解析され得る。

【0055】

顔画像のさらなる特徴には、照明（画像の明るさ）があり得る。７１５において、画像照明（明るさ）も画像処理技術を用いて決定され得る。明るさは、画像内の知覚される光の総量の尺度として定義され得る。いくつかの実施形態において、画像の明るさは、最初に取り込まれた明るさレベルを最初として、その最初から増加もしくは減少させてよい。

【0056】

７１７において、過去のルックスの好みは、データベース１０７から検索され得る。過去のルックスの好みは、過去のルックスに使用された色の範囲、色調、仕上げを含む化粧品の特性を含むことができる。過去のユーザの好みは、顔の特定の部分のための化粧品の特性を含み得、かつ、特定のルックス、特に顔の特定の部分のために施された化粧品の選択肢を含めることができる。

【0057】

５０９において、１つ以上のメイクアップフィルタは、顔解析（５０７および図７）によって決定された顔の特徴（顔のパーツ）および過去のルックスの好みに基づいて、データベース１０７から選択／検索され得る。いくつかの記憶されたメイクアップ顔フィルタは、デジタルメイクアップアーティスト５２０とのカスタム指導もしくはメイクアップ相談中のカスタムルックスの生成を通じて以前に作成されたフィルタであってよい。

【0058】

メイクアップフィルタは、ベースフレーム、すなわちユーザの顔の正面図を有する画像とブレンドされ得る特徴マスクである。特徴マスクは、ベースフレームとブレンドされ、修正された特徴を有する結果としての顔画像を有する画像を生成する。アプリは、顔解析５０７を用いて決定された顔の特徴の境界の位置を使って、ベースフレーム内の顔の特徴と並ぶように特徴マスクに調整を加え得る。特徴マスクは、ＲＧＢの画素値からなる。

【0059】

１つ以上のメイクアップフィルタは、リコメンダシステムを用いてデータベース１０７から検索され得る。図１０は、リコメンダシステムに関する概略図である。リコメンダシステム１０００は、仮想メイクアップ（図５の５１５）を施す方法を示す際に使用されるメイクアップフィルタを検索するために用いられ得る。リコメンダシステム１０００は、データベース１０７に記憶され得る画像データおよびメイクアップフィルタのインデックス付きデータベース１００５に基づいて作動する。

【0060】

インデックス付きデータベース１００５は、メイクアップに関する一般的な質問に対する回答、一般的なメイクアップルックス、特定の肌タイプ（肌の色調、肌の乾燥具合、肌の質感）および／または人の特定の民族性に応じた化粧品も含み得る。インデックス付きデータベース１００５には、評価およびパブリックコメントを含む製品レビュー情報など、外部のデータベースもしくはウェブサイトから抽出されたメイクアップ情報が追加され得る。

【0061】

インデックス付きデータベース１００５は、さらに、外観およびスキンケアなどの機能の組み合わせを提供するメイクアップのカテゴリを含む、化粧品のカテゴリを含み得る。このカテゴリの化粧品は、アンチエイジング品質もしくは日焼け防止を有するファンデーション、および薬、または他の皮膚治療製品とブレンドされた化粧品を含み得る。また、別のカテゴリは、化粧を施す前に行うスキンケアルーティンのためのスキンケア製品であってよい。

【0062】

リコメンダシステム１０００は、推奨されたメイクアップフィルタを検索しランク付けする推奨エンジン１００７を含む。特定の仮想メイクアップを施す場合、推奨されたメイクアップフィルタは、ユーザがステップ５０１で入力したルックスおよび仮想メイクアップのためのものであってよい。いくつかの実施形態において、推奨されたメイクアップフィルタは、ユーザの好みもしくはお気に入りに基づいて検索され得る。個人的なユーザの好みは、アプリが最初にセットアップされたときにユーザが入力したメイクアップ特性であってもよい。個人的なユーザの好みは、デジタルメイクアップアーティスト５２０とのカスタム指導もしくは相談中に以前に構築された１つ以上のメイクアップフィルタであってもよい。お気に入りは、ユーザがお気に入りであるとしてフラグを立てたメイクアップ特性であってもよい。個人的なユーザの好みおよびお気に入りは、顔の特定の部分に対するものであってもよいし、顔全体に対するものであってもよい。

【0063】

１つ以上の実施形態において、推奨エンジン１００７は、ルックス特徴マトリクスを使用し得る。図１１は、本開示の例示的な態様に従った非限定的なルックス特徴のマトリクスを示している。図１１に示されるルックス特徴のマトリクスは、簡潔にするために、２タイプの仮想メイクアップを示す一部のマトリクスである。ルックス特徴のマトリクスに含まれ得る、仮想メイクアップの他のタイプとしては、限定されないが、数例を挙げれば、ファンデーション、マスカラ、コンシーラー、頬紅、眉毛ペンシルが挙げられる。ルックス特徴のマトリクスは、所望の特徴のベクトルと比較されるように、モバイルデバイス内のアプリに記憶され得る。所望の特徴は、ユーザの現在の好みのベクトルであってもよく、ユーザの現在の経験レベルおよび所望のルックス（５０１）を考慮に入れ得る。推奨エンジン１００７は、１つ以上の類似性メトリクスおよびスコアリングアルゴリズムを用いて、推奨をランク付けし得る。一実施形態において、推奨エンジン１００７は、仮想メイクアップのための特定の特性を、推奨されたものから変更することによって創造性を促進するために、推奨を高める一連の特徴を生成し得る。例えば、推奨エンジン１００７が検索された推奨の中で推奨を上位にランク付けした場合、類似性スコアを高めるために１つ以上の特性を変更し得る。あるいは、推奨エンジン１００７は、色調もしくは仕上げなどの検索された推奨における１つ以上の特性を１つ上または１つ下に変更し得る（例えば、記憶された色調から１レベル上あるいは１レベル下に色調を変更する）。１つ以上の実施形態において、推奨エンジン１００７は、ユーザの経験レベルに基づいて、アプリケーションジェスチャをおおよそ正確であるように調整し得る。

【0064】

１つ以上の実施形態において、推奨エンジン１００７は、機械学習モデルによって実装され得るか、もしくは機械学習モデルと共に補完され得る。機械学習モデルは、特定の肌のアンダートーン、肌タイプおよび／または民族性に応じたファンデーションの色調を選択するために鍛えられ得る。機械学習モデルは、ユーザの唇の色に基づいて口紅の色調を選択するために鍛えられ得る。機械学習モデルは、ユーザの目の色および肌のアンダートーンに基づいてアイシャドウの色調を選択するために鍛えられ得る。

【0065】

推奨エンジン１００７のための機械学習モデルは、インデックス付きデータベース１００５のデータを用いて、ならびに外部データベース、特にユーザが自分のカスタムルックスを公開し得る画像および動画を有する外部データベースからのデータを用いて、鍛えられ得る。例示的な外部データベースには、数例を挙げれば、公に利用可能な、Ｆａｃｅｂｏｏｋ、Ｉｎｓｔａｇｒａｍ、Ｓｎａｐｃｈａｔ、ＴｉｋＴｏｋなどのソーシャルメディアプラットフォームにおけるデータベース、およびＺｏｏｍ、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、Ｇｏｏｇｌｅ Ｈａｎｇｏｕｔｓ、もしくはＧｏｏｇｌｅ Ｍｅｅｔなどの動画会議プラットフォームが含まれる。

【0066】

推奨エンジン１００７のための機械学習モデルは、決定木、ランダムフォレスト、もしくは単層ニューラルネットワーク－パーセプトロンを含む、比較的小さなデータセットのためのアルゴリズムに基づくことが可能である。数千のトレーニングデータ例からなる大規模なデータセットを提供することで、深層学習ニューラルネットワークを機械学習モデルとして使用することが可能になる。深層学習ニューラルネットワークのアーキテクチャは、色画像の特徴を認識するための畳み込みニューラルネットワークの変形であってもよい。

【0067】

推奨エンジン１００７は、１つ以上の推奨を推奨ユーザインタフェース（５１１）に出力し得る。推奨ユーザインタフェースは、選択された推奨の適用を示す一連の動画フレームを表示することも可能である。

【0068】

５１１において、１つ以上のルックスオプションが表示画面２１０に表示され得る。

【0069】

図１２は、モバイルアプリケーションにおける例示的なユーザインタフェースである。デジタルメイクアップアーティスト５２０は、様々なルックスのカスタム推奨１２０１を表示し得る。５１３において、ユーザは、推奨されるルックスを選択し得る。ルックスは、表示画面２１０上のポインタを動かすポインティングデバイス、タッチスクリーン２２１上のポインティングデバイス、もしくは「ルックス１を選択して」のように音声コマンドを入力することによって、選択され得る。表示画面２１０上に表示できる、より多くのカスタム推奨があってよい。ユーザは、例えば、ルックスの次の画面を表示する機能を選択することによって、他の推奨されるルックスを表示することができる。一実施形態において、ユーザインタフェースは、追加のルックスを表示するためにスクロールすることを可能にし得るスクロールバー１２０３を提供し得る。

【0070】

ユーザがルックスを選択すると、５１５において、システム５１０は、選択されたルックスを作成するためのステップの実行を開始し得る。図１３は、本開示の例示的な態様に従った、モバイルアプリケーションにおいて指導を開始するために表示され得るユーザインタフェースを示している。指導中、５１７において、将来の対話を向上させるために、情報がシステム５１０にフィードバックされ得る。また、指導は対話式である。指導は、「減速（ＳＬＯＷ ＤＯＷＮ）」、「一時停止（ＰＡＵＳＥ）」、「ステップのやり直し（ＲＥ－ＤＯ Ａ ＳＴＥＰ）」、「ステップのスキップ（ＳＫＩＰ Ａ ＳＴＥＰ）」を含むコマンドを用いて制御され得る。指導を制御するためにコマンドを使用できることをユーザに知らせるために、メッセージ１３０１が表示され得る。コマンドは、ポインティングデバイスを用いてユーザインタフェース上で選択可能であり、もしくはマイクロフォン２４１がアクティブであれば（例えば、マイクロフォンアイコン３１１を介して）口頭コマンドとして入力が可能である。再生されている指導は、カスタム指導経験を得るために修正可能である。例えば、コマンド「ステップのやり直し」は、指導に変更を加えるためのオプションを含み得る。システム５１０は、指導に加えられた変更を、将来の対話を向上させるために使用され得るルックスの好みデータとして、データベース１０７に保存することが可能である。上述したように、モバイルアプリケーション１１１のバージョンは、ラップトップコンピュータもしくはデスクトップコンピュータよりも小さな画面を有するデバイス用であってもよい。図１４は、本開示の例示的な態様に従った例示的なモバイルアプリケーションである。より小さい画面が提供されることにより、デジタルメイクアップアーティスト５２０との対話は、音声および／またはテキストを介したものであってもよい。その場合、コマンドは口頭で入力が可能である。指導の間、ユーザ１４０１の顔画像が表示でき得るし、指導は、顔画像１４０１のパーツ１４０５にメイクアップパレット１４０３から選択された色１４０３ｂのメイクアップ１４０３ａを施すことを加えることが可能である。

【0071】

図１５、図１６、図１７、図１８は、動画制御コマンドのためのフローチャートである。上述したように、指導は、「減速」、「一時停止」、「ステップのやり直し」、「ステップのスキップ」を含むコマンドを用いて制御され得る。図１５は、「減速」動画制御コマンドのフローチャートである。「減速」コマンドは、再生速度を一定量（Ｘ％）下げるという機能、Ｓ１５０１を実行し得る。加えて、「減速」コマンドの呼び出しは、再生中の動画の部分が複雑であるか、もしくは、注意深く見る必要があるとユーザが考えていることを示している可能性がある。再生速度を下げる機能の実行には、Ｓ１５０３において、ステップが複雑であることを示す情報を記憶することを含み得る。

【0072】

図１６は、「一時停止」動画制御コマンドのフローチャートである。「一時停止」コマンドは、ある時間点（秒単位の位置、もしくは時間コード）で動画の再生を停止する機能、Ｓ１６０１を実行し得る。

【0073】

図１７は、「ステップのやり直し」動画制御コマンドのフローチャートである。「ステップのやり直し」コマンドは、チャプタを利用する機能を実行し得る。いくつかの実施形態において、各チャプタの始まりは、開始画像フレームおよび時間点を含み得る。あるいは、各チャプタの始まりは、チャプタフレームによってマークされ得る。「ステップのやり直し」コマンドは、現在のチャプタの先頭に戻し、そのチャプタの開始画像から再生を開始させることができる機能を実行し得る。Ｓ１７０１において、その機能は、現在のチャプタ名を読み取ることを含み得る。Ｓ１７０３において、その機能は、現在のチャプタに関連するステップが複雑であることを示す情報を記憶し得る。Ｓ１７０５において、その機能は、チャプタの開始位置を示す識別子を読み取ることが可能であり、これは、時間点、もしくはチャプタフレームであってよい。

【0074】

後述するように、いくつかの実施形態において、動画フレームは、例えば、チャプタの再生前に、もしくは動画フレームが再生されるにつれて、動的に生成され得る。動画フレームを動的に生成することにより、例えば、異なる色調および／または仕上げの化粧品を使用するように変更するといった、動画に変更を組み込むことができる。チャプタの始まりは、顔画像とマスクフィルタを組み合わせた状態であり得る、開始画像を含む。チャプタの再生中に実行されたメイクアップアプリケーションは、マスクフィルタと組み合わせた顔画像の次の状態として保存され得る。

【0075】

Ｓ１７０７において、動画がチャプタの先頭から再生され得る。

【0076】

図１８は、「ステップのスキップ」動画制御コマンドのフローチャートである。「ステップのスキップ」コマンドは、動画を次のチャプタの始まりにスキップさせ得る機能を実行し得る。この機能は、Ｓ１８０１において、現在のチャプタの名前を読み取ることによって開始し得る。ステップをスキップすることは、そのステップが簡単であり、かつユーザがそのステップを実行する方法を示される必要がないことを示している可能性がある。Ｓ１８０３において、この機能は、そのステップが簡単であることを示す情報を記憶し得る。Ｓ１８０５において、この機能は、次のチャプタ名を読み出し、かつＳ１８０７において、次のチャプタに関連する時間点を読み出し得る。Ｓ１８０９において、この機能は、次のチャプタの時間点から開始するように動画をリセットし得る。

【0077】

図１９は、本開示の例示的な態様に従った動画再生コンポーネントのブロック図である。いくつかの実施形態において、動画再生コンポーネント３２０は、動画を再生する前に指導のための動画を生成し得る。特に、動画再生コンポーネントは、表示するためにフレームをレンダリングする前に、指導の動画内の１つ以上のフレームに対して操作を実行し得る。また、指導の動画は、チャプタに分割され得る。チャプタは、メイクアップ指導の動画を個々のステップに分割するために使用され得るし、チャプタの各ステップは、再生され得るだけでなく、一時停止もしくは停止され得る。各チャプタは、開始フレームによって設計され得る。動画のチャプタは、ユーザの顔の特定の部分にメイクアップを施すステップのためであってよく、特定のタイプのメイクアップを施すためであってもよい。動画は、カメラで取り込まれたユーザの顔の画像から始まり得る。動画は、ユーザの顔画像の部分の位置およびラベル、顔色、質感、照明など、顔画像の解析を通して得られた情報を利用してよい。また、動画は、ユーザによって選ばれたルックスを利用してよい。初期設定で、動画は、ユーザの顔画像および顔解析から得られた情報を用いて選択されたルックスを作成する方法に関する指導のためのものであってもよい。

【0078】

上述したように、動画のチャプタは、ユーザの顔の特定の部分にメイクアップを施すステップのためのものであってよく、特定のタイプのメイクアップを施すためのものであってよい。例えば、あるチャプタは、ユーザの顔画像のまぶたにコンシーラーを塗るステップのためのものであってもよい。コンシーラーは、選択されたルックスのために提供される化粧品であってもよい。いくつかの実施形態において、メイクアップルックスは、チャプタのセットを有してよく、各チャプタは、１つ以上の化粧品を含んでよく、化粧品は、色、範囲、色調、および仕上げなどの特性のセットを有する。動画再生コンポーネント３２０は、特定のユーザの顔および化粧品のために選択されたルックスを生成し得る。チャプタは、チャプタがメイクアップアプリケーションの累積結果を表すように、以前のチャプタでメイクアップされたユーザの顔の画像から始め得る。いくつかの実施形態において、累積結果は、元の顔画像とは別の１つ以上のマスクフィルタである。

【0079】

図１９に関して、顔画像、もしくは顔画像１９０３のマスクフィルタは、指導のためにさらなるデジタルメイクアップが施される開始画像として、チャプタの始まりに提供され得る。チャプタの始まりは、化粧品が施される顔の一部（顔の特徴）の位置情報１９０７、および化粧品、その特性、ならびに特定のタイプのメイクアップアプリケータによって施されるかもしれないストロークのタイプに関する情報を含み得る。チャプタは、付随するオーディオコンポーネント１９０１を含み得る。チャプタは、指導のための動画フレームを作成するために使用され得る、所望の顔立ちの一連のマスクフィルタ１９０５を含み得る。各動画フレームは、先行フレーム１９１１と所望の顔立ち１９１３をブレンディングして結果の顔立ち１９１５を得ることによって生成され得る。特定の顔の特徴のためにメイクアップアプリケータを用いて特定のメイクアップを施すことを表す１つ以上の特徴マスクが使用され得る。

【0080】

図２０は、所望の顔立ちおよび元の顔立ちに基づいて動画フレームを作成するために使用され得るブレンディング処理を示している。顔の特徴のブレンディングは、以下のように達成される。
１．所望の顔立ち２００１は、元の顔立ちの色（複数可）に調和するように、再色付けされ（２００３）、再色付けされた顔立ち２００５を得る。
２．再色付けされた顔立ち２００５には、特徴マスクフィルタ２００７が掛けられる。
３．元の顔立ち２００９には、特徴マスクフィルタの逆値２０１１（すなわち、０から１までの範囲のマスク値のそれぞれを１から引き算した値）が掛けられる。
４．得られた２および３の画像はピクセル単位で加算され（２０１３）、最終的なブレンド顔立ち画像２０１５が作られる。

【0081】

指導が完了したとき、もしくはユーザが達成したいだけの指導を完了したとき、ユーザインタフェースは、完了したルックスを保存するための選択肢を提供し得る。ユーザが完成したルックスを保存することを選択する場合、５１９で「はい」、５２１において、ルックスは完成したルックスとして保存され得るし、もしくは指導中に化粧を施すために取られたステップは、カスタムフィルタ、もしくは一連のカスタムフィルタとして保存され得る。加えて、５２３において、ユーザインタフェースは、カスタムルックスを転送するか、もしくはカスタムフィルタを画像として他のプラットフォームに適用／転送するための、オプションを提供し得る（５２５）。

【0082】

システムの例示的な作動は、図２１Ａ～図２１Ｆに提供される。図２１Ａ～図２１Ｆは、本開示の例示的な態様に従った、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。図２１Ａ～図２１Ｆのシーケンス概略図は、システム５１０、デジタルメイクアップアーティスト５２０およびユーザ５３０による操作および通信を含む。上述したように、システム５１０は、一般的なタイプを挙げると、デスクトップコンピュータ、ラップトップコンピュータ１０３、タブレットコンピュータ、もしくはモバイルデバイス１０１などのコンピュータデバイスであり得る。また、システム５１０は、コンピュータデバイスとクラウドサービス１０５（図１参照）との組み合わせの形態もとり得る。いずれの場合も、デジタルメイクアップアーティスト５２０は、モバイルアプリケーション１１１の一部として実行され得るし、かつユーザ５３０は、スピーチ、テキスト、もしくはスピーチとテキストとの組み合わせのいずれかを通じてデジタルメイクアップアーティスト５２０と対話することができる。

【0083】

ユーザ５３０は、まず、コンピュータデバイスのユーザインタフェースにおいて実行されるモバイルアプリケーションを選択し得る。モバイルアプリケーションが開始されると、ユーザ５３０は、指導の中で教えを受けるためにデジタルメイクアップアーティスト５２０を使用するか、もしくはメイクアップ相談セッション（後述する）の中で助言の提供を受けるかの選択を与えられ得る。ユーザが指導のためにデジタルメイクアップアーティスト５２０を使用することを選択した場合、２１０１において、デジタルメイクアップアーティスト５２０は、「どのようなルックスを作成したいですか？」と質問し得る。２１０３において、ユーザ５３０は、ルックスの名前を述べることができる。ルックスは、既存のタイプのルックスであってもよいし、もしくはユーザ５３０が念頭に置いている新しいルックスの名称であってもよい。あるいは、システム５１０は、ユーザ５３０が選択するための既存のルックスのリストを提供し得る。既存のルックスは、データベース１０７に記憶されてもよいし、もしくはアプリ１１１においてローカルに提供されてもよい。

【0084】

いくつかの実施形態において、２１０５では、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、メイクアップを施す上での経験レベルを提供するように尋ね得る。経験レベルは、初心者、経験者、エキスパート、およびプロフェッショナルなどのカテゴリであってもよい。システム５１０は、ユーザ５３０が選択するための経験レベルのリストを提示し得る。２１０７において、ユーザ５３０は、経験のレベルを示す。

【0085】

２１０９において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、指導で顔のどの部分にメイクアップを施したいかを尋ね得る。指導は、顔の一部もしくは顔全体について提供され得る。２１１１において、ユーザは、目などの顔の一部について指導を提示させることを選択することができる。

【0086】

いくつかの実施形態において、２１１３では、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、指導のためにどれくらいの時間があるかを尋ね得る。指導は、ユーザにあまり時間がない場合は短縮バージョンであり得るし、もしくはユーザにフル指導のための十分な時間がある場合はフルバージョンであり得る。ユーザ５３０は、定性的な応答を提供してもよいし、もしくは分単位の時間量である応答を提供してよい。２１１５において、ユーザ５３０は、「私はあまり時間がありません。」のような定性的な応答を提供できる。システム５１０は、この応答を、指導の短縮バージョンが実行されるべきであると解釈し得る。しかしながら、ユーザ５３０は、さらに、後で完了するために指導を中間状態で保存する意思があることを表明できる。後者の場合、システム５１０は、指導をある地点で保存し、中間地点から開始して再生され得るようにし得る。

【0087】

いくつかの実施形態において、２１１７では、デジタルメイクアップアーティスト５２０は、ユーザ５３０が、例えばユーザ５３０が購入した化粧品など、既に使用可能である必要なメイクアップおよびメイクアップアプリケータの使用を希望するか、もしくはユーザ５３０が、システム５１０が指導に必要となり得るメイクアップおよびメイクアップアプリケータを提供し得ることを好むかを決定するようにユーザ５３０に尋ね得る。２１２１において、ユーザ５３０は、いくつかの化粧品を持っているが、システム５１０がメイクアップおよびメイクアップアプリケータを選択することに対して、受け入れを示す定性的な応答を提供できる。

【0088】

２１２３において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に自分の顔の写真を撮るよう尋ね得る。写真は、モバイルデバイス１０１に内蔵されているカメラ２３１で撮影してもよいし、もしくは外付けのカメラで撮影してもよい。

【0089】

２１２５において、システム５１０は、顔画像の解析を実行し得る。上述したように、顔解析は、顔のパーツの位置、および肌の色、肌の質感、照明を含む顔の特徴、ならびに過去のルックスの好みを得るために実行され得るし、これらは、指導のための動画を生成する際に使用され得る情報である。

【0090】

２１２７において、システム５１０は、指導において施すためのメイクアップを選択し得る。

【0091】

２１２９において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、メイクアップの選択が好きかどうかを尋ね得る。２１３１において、ユーザ５３０は、その選択に同意せず、むしろユーザが提供したメイクアップを用いて指導が実行されることを望むと応答することができる。

【0092】

２１３３において、デジタルメイクアップアーティスト５２０は、指導が開始されることを示し得る。いくつかの実施形態において、２１３５では、デジタルメイクアップアーティスト５２０は、ユーザ５３０が指導中にメイクアップを施すために製品を入手したい場合に、指導中に使用され得る製品のリストを提供し得る。

【0093】

２１４１において、システム５１０は、指導の動画の生成および再生を開始し得る。例示の指導において、デジタルメイクアップアーティスト５２０は、施し得る初期メイクアップを述べることによって指導を開始し得る。２１４３において、デジタルメイクアップアーティスト５２０は、コンシーラーが最初に施され、次いでプライマーが施されることを示す指示を話すかテキストで提供し得る。

【0094】

指導の動画は、スピーチ出力、テキスト出力、もしくはスピーチ出力とテキスト出力の両方のいずれかを通じて、デジタルメイクアップアーティスト５２０による指示と連動してシステム５１０によって再生され得る。２１４５において、デジタルメイクアップアーティスト５２０は、アイシャドウを選択するための指示を提供し得る。２１４７において、デジタルメイクアップアーティスト５２０は、ブレンディングブラシを選択するための指示を提供し得る。２１４９において、デジタルメイクアップアーティスト５２０は、アイシャドウを施すための指示を提供し得る。

【0095】

指導に沿った時間点において、ユーザ５３０は、動画制御コマンドを入力することができる。一例として、２１５１において、ユーザ５３０は、「ステップのやり直し」コマンドを入力することができる。いくつかの実施形態において、コマンドは、「１つ上のカラーでやり直す」のような、ステップに変更を加える要求を含み得る。デジタルメイクアップアーティスト５２０は、「１つ上の色」によってユーザが何を意味するかについて明確化する要求を出力し得る。２１５３において、システム５１０は、新しい色を使用する２１４５でのアイシャドウ選択から始まる動画のための新しいフレームを生成し得る。

【0096】

２１５５において、デジタルメイクアップアーティスト５２０は、ブレンディングブラシを選択するための指示を提供し得る。２１５７において、デジタルメイクアップアーティスト５２０は、アイシャドウを施すための指示を提供し得る。

【0097】

２１５９において、ユーザ５３０は、「一時停止」のようなコマンドを入力することができる。システム５１０は、ユーザ５３０が「再生」コマンドを入力するまで、一時停止機能を実行し得る。

【0098】

２１６１において、デジタルメイクアップアーティスト５２０は、別の色調のアイシャドウでブレンディングを実行するための指示を提供し得る。２１６３において、デジタルメイクアップアーティスト５２０は、次の色調のアイシャドウを選択するための指示を提供し得る。２１６５において、デジタルメイクアップアーティスト５２０は、ブレンディングブラシを選択するための指示を提供し得る。２１６７において、デジタルメイクアップアーティスト５２０は、ブレンディングを実行するための指示を提供し得る。

【0099】

２１６９において、ユーザ５３０は、ブレンディングをやり直すために、「ステップのやり直し」のようなコマンドを入力することができる。２１７１において、システム５１０は、ブレンディングを行うステップの最初から動画をリスタートし得る。

【0100】

２１７３において、デジタルメイクアップアーティスト５２０は、眉毛を際立たせることを行うための指示を提供し得る。２１７５において、デジタルメイクアップアーティスト５２０は、しわをぼかすステップを実行するための指示を提供し得る。２１７７において、デジタルメイクアップアーティスト５２０は、パール仕上げのコンシーラーを選択するステップを実行するための指示を提供し得る。

【0101】

２１７９において、ユーザ５３０は、コンシーラーが明るすぎるという発言を入力し、コンシーラーの色調を下げることができるかどうかを尋ねることができる。２１８１において、デジタルメイクアップアーティスト５２０は、別のコンシーラーを試してみる旨の応答を行うことが可能であり、それは別のコンシーラーへの変更を伴う「ステップのやり直し」を発令することによって実行され得る。

【0102】

２１８３において、システム５１０は、チャプタが開始される場所に応じて、しわのぼかしのステップの開始から動画をリスタートし得る。次に、２１８５において、システム５１０は、一例として、メイト（ｍａｔｅ）仕上げのコンシーラーを選択し、選択したコンシーラーで動画を再生し得る。２１８７において、ユーザ５３０は、新しいコンシーラーの結果をよく見る上で時間を取るために、「一時停止」コマンドを入力できる。２１８９において、ユーザ５３０は、動画の再生を開始するために「再生」コマンドを入力することができる。

【0103】

２１９１において、デジタルメイクアップアーティスト５２０は、目の周りを形作るステップを実行するための指示を提供し得る。２１９３において、デジタルメイクアップアーティスト５２０は、目を明るくするステップを実行するための指示を提供し得る。

【0104】

２１９５において、システム５１０は、ユーザの肌の色調に適したペンシルを選択し得る。２１９７において、システム５１０は、選択されたペンシルを用いて顔画像に描き得る。

【0105】

２１９９において、デジタルメイクアップアーティスト５２０は、アイライナーを施すステップを実行するための指示を提供し得る。この時間点で、２２０１において、ユーザ５３０は、後の時間にリスタートされるように動画を停止することを選択することができる。

【0106】

動画が完了した将来のある時間点で、２２０３において、デジタルメイクアップアーティスト５２０は、ユーザが完成したルックスを保存したいのかどうかという質問を出力し得る。２２０５において、ユーザはルックスを保存することを選択し、システム５１０にルックスを記憶するように指示することができる。２２０７において、システム５１０は、最終的なルックスをデータベース１０７に保存する。いくつかの実施形態において、最終的なルックスは、ある特定タイプのルックスにおける好ましいルックスとしてデータベースに保存され得る。例えば、指導を用いて作成されたルックスは、最初に説明されたタイプのルックス（図５の５０３を参照）における好ましいルックスとして保存され得る。最終的なルックスは、ソーシャルメディアプラットフォームもしくは動画会議プラットフォームなどの他のプラットフォームにも転送され得る。ユーザが写真もしくは動画を投稿することができるいくつかの現在のソーシャルメディアプラットフォームとしては、数例を挙げると、Ｆａｃｅｂｏｏｋ、ＬｉｎｋｅｄＩｎ、Ｉｎｓｔａｇｒａｍ、ＴｉｋＴｏｋ、およびＳｎａｐｃｈａｔが含まれる。現在の動画会議プラットフォームとしては、数例を挙げると、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、Ｆａｃｅｔｉｍｅ（登録商標）、Ｇｏｏｇｌｅ Ｈａｎｇｏｕｔｓ、もしくはＧｏｏｇｌｅ Ｍｅｅｔ、Ｚｏｏｍ、ＧｏＴｏＭｅｅｔｉｎｇ、Ｓｋｙｐｅが含まれる。加えて、指導中になされた、色あいの選択、色の仕上げなどの変更も、ルックスの好みデータとして保存され得る。

【0107】

いくつかの実施形態において、２２０７では、システム５１０は、最終的なルックスの作成に関連する１つ以上のマスクフィルタをデータベース１０７に保存し得る。１つ以上のマスクフィルタは、他のプラットフォームに転送され得るし、かつ他のプラットフォームのためのカスタムルックスを作成するために使用され得る。

【0108】

ソーシャルメディアおよび動画会議は、その場でメイクアップするニーズをもたらしただけでなく、ヴィスコガールのようなソーシャルサブカルチャー、およびＥガールならびにソフトガールのような美的ルックスにも影響を及ぼしてきた。そのニーズは、ソーシャルメディアおよび動画会議のための仮想メイクアップルックス、すなわち、拡張現実である。

【0109】

システムの例示的な作動は、ソーシャルメディアもしくは動画会議のための仮想試用を作成するために図２２Ａ～図２２Ｅに提供される。図２２Ａ～図２２Ｅは、本開示の例示的な態様に従って、メイクアップ指導のためにデジタルメイクアップアーティスト５２０を使用する例示的な対話の使用事例のためのシーケンス概略図である。

【0110】

ユーザが、動画会議のための仮想試用を作成する上での指導のためにデジタルメイクアップアーティスト５２０を使用することを選択した場合、２２２１において、デジタルメイクアップアーティスト５２０は、「どんなルックスを作成したいですか？」と尋ね得る。２２２３において、ユーザ５３０は、Ｅガールのルックスを施したいと述べることができる。Ｅガールのルックスは、ソーシャルメディアに投稿するため、もしくは友人もしくは同僚と動画会議をするときに、ユーザが試したいルックスであってもよい。既存のＥガールのルックスは、データベース１０７に記憶されていてもよいし、もしくはアプリ１１１でローカルに提供されてもよい。

【0111】

いくつかの実施形態において、２２２５では、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、メイクアップを施す上での経験のレベルを提供するように求め得る。経験のレベルは、初心者、経験者、エキスパート、およびプロフェッショナルなどのカテゴリであってもよい。システム５１０は、ユーザ５３０が選択するための経験レベルのリストを提示し得る。２２２７において、ユーザ５３０は、経験者レベルではあるが、Ｅガールのルックスを施すのは初めてであるとして、経験レベルを示す。

【0112】

２２２９において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、指導で顔のどの部分にメイクアップを施したいかを尋ね得る。指導は、顔の一部もしくは顔全体について提供され得る。２２３１において、ユーザは、顔全体について指導を提示させることを選択することができる。

【0113】

いくつかの実施形態において、２２３３では、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、指導のためにどれくらいの時間があるかを尋ね得る。指導は、ユーザにあまり時間がない場合は短縮バージョンであり得るし、もしくはユーザにフル指導のための十分な時間がある場合はフルバージョンであり得る。ユーザ５３０は、定性的な応答を提供してもよいし、もしくは分単位の時間量である応答を提供してよい。２２３５において、ユーザ５３０は、「私はあまり時間がありません。」のような定性的な応答を提供できる。システム５１０は、この応答を、指導の短縮バージョンが実行されるべきであると解釈し得る。いくつかの実施形態において、２２３７では、デジタルメイクアップアーティスト５２０は、ユーザ５３０が、例えばユーザ５３０が購入したデジタル化粧品など、既に使用可能である必要なデジタルメイクアップおよびメイクアップアプリケータの使用を望むのか、もしくはユーザ５３０が、システム５１０が指導に必要となり得るデジタルメイクアップおよびメイクアップアプリケータを提供し得ることを望むのかを決定するために、ユーザ５３０に尋ね得る。２２４１において、ユーザ５３０は、いくつかのデジタル化粧品を持っていることを示す定性的な応答を提供できる。

【0114】

２２４３において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に自分の顔の写真を撮るように尋ね得る。写真は、モバイルデバイス１０１に内蔵されているカメラ２３１で撮影してもよいし、もしくは外付けのカメラで撮影してもよい。

【0115】

２２４５において、システム５１０は、顔画像の解析を実行し得る。上述したように、顔解析は、顔のパーツの位置、および肌の色、肌の質感、照明を含む顔の特徴、ならびに過去のルックスの好みを得るために実行され得るし、これらは、指導のための動画を生成する際に使用され得る情報である。

【0116】

２２４７において、システム５１０は、指導において施すためのデジタルメイクアップを選択し得る。

【0117】

２２４９において、デジタルメイクアップアーティスト５２０は、ユーザ５３０に、デジタルメイクアップの選択が好きかどうかを尋ね得る。２２５１において、ユーザ５３０は、その選択に同意せず、むしろユーザが提供したメイクアップを用いて指導を実行することを望むと応答することができる。

【0118】

２２５３において、デジタルメイクアップアーティスト５２０は、指導が開始されることを示し得る。いくつかの実施形態において、２２５５では、デジタルメイクアップアーティスト５２０は、ユーザ５３０が指導中にメイクアップを施すために製品を入手したい場合に、指導中に使用され得るデジタル化粧品のリストを提供し得る。

【0119】

２２６１において、システム５１０は、指導の動画の生成および再生を開始し得る。例示的な指導において、デジタルメイクアップアーティスト５２０は、施し得る初期メイクアップを述べることによって指導を開始し得る。２２６３において、デジタルメイクアップアーティスト５２０は、ファンデーションの前処理のために、プライマーが滑らかに塗られることを示す指示を話すかテキストで提供し得る。

【0120】

指導の動画は、スピーチ出力、テキスト出力、もしくはスピーチ出力とテキスト出力の両方のいずれかを通じて、デジタルメイクアップアーティスト５２０による指示と連動してシステム５１０によって再生され得る。２２６５において、デジタルメイクアップアーティスト５２０は、軽い範囲および自然な仕上がりを有するファンデーションを選択するための指示を提供し得る。２２６７において、デジタルメイクアップアーティスト５２０は、鼻筋を横切り、頬にわずかに伸びるように頬紅を掃くための指示を提供し得る。２２６９において、デジタルメイクアップアーティスト５２０は、先細りのブラシを用いて鼻先にハイライトパウダーを施すための指示を提供し得る。

【0121】

指導に沿った時間点において、ユーザ５３０は、動画制御コマンドを入力することができる。一例として、２２７１において、ユーザ５３０は、「ステップのやり直し」コマンドを入力することができる。いくつかの実施形態において、コマンドは、１つ上の頬紅色でやり直しするなどの、ステップに変更を加える要求を含み得る。デジタルメイクアップアーティスト５２０は、ユーザが「１つ上の頬紅色」によって何を意味するかについて明確化するための要求を出力し得る。２２７３において、システム５１０は、新しい頬紅色を使用する２２６７における頬紅を掃くことで始まる動画のための新しいフレームを生成し得る。

【0122】

２２７５において、デジタルメイクアップアーティスト５２０は、軽いストロークで眉毛にメカニカルペンシルを施すための指示を提供し得る。２２７７において、デジタルメイクアップアーティスト５２０は、眉毛をとかすための指示を提供し得る。

【0123】

２２７９において、ユーザ５３０は、「一時停止」のようなコマンドを入力することができる。システム５１０は、ユーザ５３０が「再生」コマンドを入力するまで、一時停止機能を実行し得る。

【0124】

２２８１において、デジタルメイクアップアーティスト５２０は、ピンクの色調のアイシャドウを選択するための指示を提供し得る。２２８３において、デジタルメイクアップアーティスト５２０は、アイシャドウを施す上でフットアプリケータを選択するための指示を提供し得る。２２８５において、デジタルメイクアップアーティスト５２０は、アイシャドウをまぶたに施すための指示を提供し得る。２２８７において、デジタルメイクアップアーティスト５２０は、フワフワのブレンディングブラシでしわにブレンディングを実行するための指示を提供し得る。

【0125】

２２８９において、ユーザ５３０は、ブレンディングのやり直しをするために、「ステップのやり直し」のようなコマンドを入力することができる。２２９１において、システム５１０は、ブレンディングを行うステップの最初から動画をリスタートし得る。

【0126】

２２９３において、デジタルメイクアップアーティスト５２０は、ウイングステンシルを用いて各まぶたを横切るウイングを作成するための指示を提供し得る。２２９５において、デジタルメイクアップアーティスト５２０は、数回のスワイプでまつ毛にマスカラを塗るステップを実行するための指示を提供し得る。２２９７において、デジタルメイクアップアーティスト５２０は、ほんのわずかのリップグロスを施すための指示を提供し得る。

【0127】

２２９９において、ユーザ５３０は、リップグロスが薄すぎるという発言を入力し、リップグロスを強くすることができるかどうかを尋ねることができる。

【0128】

動画が完了した将来のある時間点で、２３０１において、デジタルメイクアップアーティスト５２０は、ユーザが完成したルックスを保存したいのかどうかという質問を出力し得る。２３０３において、ユーザ５３０はルックスを保存することを選択し、かつシステム５１０にルックスを保存するように指示することができる。２３０５において、システム５１０は、最終的なルックスをデータベース１０７に保存する。いくつかの実施形態において、最終的なルックスは、個人的なＥガールのルックスのような特定のタイプのルックスにおける好ましいルックスとしてデータベースに保存され得る。例えば、指導を用いて作成されたＥガールのルックスは、最初に説明されたＥガールルックス（図５の５０３を参照）の好ましいルックスとして保存され得る。最終的なルックスは、ソーシャルメディアプラットフォームもしくは動画会議プラットフォームなどの他のプラットフォームにも転送され得る。ユーザが写真もしくは動画を投稿することができるいくつかの現在のソーシャルメディアプラットフォームには、数例を挙げると、Ｆａｃｅｂｏｏｋ、ＬｉｎｋｅｄＩｎ、Ｉｎｓｔａｇｒａｍ、ＴｉｋＴｏｋ、およびＳｎａｐｃｈａｔが含まれる。現在の動画会議プラットフォームには、数例を挙げると、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＦａｃｅＴｉｍｅ（登録商標）、Ｇｏｏｇｌｅ Ｈａｎｇｏｕｔｓ、もしくはＧｏｏｇｌｅ Ｍｅｅｔ、Ｚｏｏｍ、ＧｏＴｏＭｅｅｔｉｎｇ、Ｓｋｙｐｅなどが含まれる。加えて、指導中に行った、色あいの選択、色の仕上げなどの変更も、ルックスの好みのデータとして記憶され得る。

【0129】

いくつかの実施形態において、２３０５では、システム５１０は、最終的なルックスの作成に関連する１つ以上のマスクフィルタをデータベース１０７に保存し得る。１つ以上のマスクフィルタは、他のプラットフォームに転送され得るし、かつ他のプラットフォームのためのカスタムルックスを作成するために使用され得る。

【0130】

カスタムルックスを作成するための指導サービスを提供することに加えて、デジタルメイクアップアーティスト５２０は、個人的なメイクアップ相談を提供することができる。デジタルメイクアップアーティスト５２０は、ユーザのメイクアップルックスを高める方法に関する助言を提供し得るか、もしくはユーザのメイクアップアプリケーションテクニックに加えられるかもしれない向上に関する助言を提供し得る。デジタルメイクアップアーティスト５２０は、問題領域により良く対処し得るか、もしくは特別な顔の特徴を引き出し得る、メイクアップアプリケーションテクニックに関する助言を提供し得る。デジタルメイクアップアーティスト５２０は、時間帯（朝、昼、夜）、ユーザが行くであろうと予想される場所（人工照明のある主に屋内、日光を浴びて照明のある主に屋外）、もしくは現在の肌の状態（乾燥肌）に適し得るメイクアップアプリケーションに関する助言を提供し得る。デジタルメイクアップアーティスト５２０は、ユーザの個性を引き出す方法について助言を提供し得る。

【0131】

図２３は、本開示の例示的な態様に従った、化粧品相談のためのデジタルメイクアップアーティストとユーザとの間の対話のためのシーケンス概略図である。

【0132】

上述したように、ユーザ５３０は、指導の中で教えを受けるためにデジタルメイクアップアーティスト５２０を使用するか、化粧品相談セッションの中で助言の提供を受けるかの選択を与えられ得る。２３５１において、ユーザ５３０は、ユーザインタフェースウィンドウ３１０（図３参照）を介して化粧品の助言を要求することができる。２３５３において、システム５１０は、ユーザ５３０が自分の顔の写真もしくは動画を撮ることを要求し得る。指導に関する上記と同様の方法で、システム５１０は、ユーザの顔の画像を解析して、顔のパーツ、肌の色調、唇の色、髪の色、および肌の質感を特定し得る。２３５５において、システム５１０は、ユーザ５３０と双方向の対話を実行し、肌の状態、屋内用／屋外用のルックス、お気に入りの顔の特徴、および任意の顔の特徴の懸念を含むユーザのニーズに関連するさらなる情報を取得し得る。２３５７において、ユーザ５３０は、肌の状態、例えば乾燥肌、屋内用／屋外用のルックス、お気に入りの特徴、および顔の特徴の懸念の情報を入力することができる。

【0133】

データベース１０７に事前に記憶されている可能性のあるユーザ入力情報および好み情報、ならびにデータベース１０７に記憶されている様々なタイプのルックスに対するマスクフィルタが提供されると、２３５９において、システム５１０は、化粧ルーチンのための１つ以上のカスタム推奨を作成する。上述したように、カスタム推奨は、リコメンダシステムを用いて得ることが可能である。リコメンダシステム１０００は、メイクアップルーチンのカスタム推奨を作成する際に使用されるメイクアップフィルタを検索するために使用され得るし、かつスキンケアなどの化粧ルーチンを検索するために使用され得る。２３６１において、システム５１０は、検索された１つ以上の推奨化粧ルーチンを表示し得る。メイクアップルーチンは、図２０に示されるブレンディング処理を用いて生成され得る。

【0134】

リコメンダシステム１０００は、推奨されたメイクアップフィルタを検索しランク付けする推奨エンジン１００７を含む。推奨エンジン１００７はまた、よくある質問と回答、一般的なメイクアップルックス、特定の肌タイプおよび状態のための化粧品、ならびに民族性のうちの１つ以上を含む、追加情報のための外部リポジトリから引き出し得る。推奨エンジン１００７はさらに、スキンケア、およびスキンケア品質を有するメイクアップを含む化粧カテゴリの外部リポジトリから引き出し得る。スキンケア品質を有するメイクアップは、日光からの保護のためのＳＰＦ配合ファンデーション、アンチエイジング品質を有するメイクアップを含み得る。特定の仮想メイクアップを施す場合、推奨メイクアップフィルタは、ユーザがステップ２３５７で入力したお気に入りの特徴および顔の特徴の懸念のためのものであり得る。

【0135】

１つ以上の実施形態において、上述したように、推奨エンジン１００７は、肌のアンダートーンに基づいてメイクアップの色調を推奨するための機械学習モデルで補完され得る。

【0136】

いくつかの実施形態において、２３６３では、ユーザインタフェースウィンドウ３１０は、ユーザ５３０からの入力を受けて、推奨される化粧ルーチンを改善、もしくは調整を行うことが可能である。さらなるユーザ入力は、推奨ルーチンに示される特定の特徴における改善もしくは調整された形になり得る。例えば、ユーザは、口紅の色が派手すぎると入力することができる。さらなるユーザ入力は、全体的なメイクアップルーチンの改善もしくは調整された形態になり得る。例えば、ユーザは、メイクアップルーチンが大胆すぎる、もしくはユーザはメイクアップに対してロングウェアを好むと入力することができる。２３６５において、システム５１０は、ユーザ入力および調整のタイプに調和するメイクアップルックスデータに従って、推奨メイクアップルーチンに調整を加え得る。例えば、システム５１０は、データベース１０７に記憶されているロングウェアメイクアップのためのマスクフィルタを検索することによって、調整を行い得る。２３６７において、システム５１０は、検索されたマスクフィルタを用いて、ユーザの顔画像に対する修正されたメイクアップルーチンを生成し、表示し得る。２３６９において、システム５１０は、メイクアップルーチンを用いて完成した顔画像を作成するために使用され得る化粧品に関する推奨を提供し得る。

【0137】

加えて、２３７１において、システム５１０は、完成した顔画像、および完成した顔画像を作成する際に使用したメイクアップルーチンに対する調整を、メイクアップルックスの好みとしてデータベース１０７に記憶し得る。例えば、ロングウェアメイクアップのためのマスクフィルタは、図１１のような特徴マトリックスにおいて、メイクアップルーチン（ルックス）に対するメイクアップルックスの好み（メイクアップフィルタ）であるというラベルと共に記憶され得る。

【0138】

１つ以上の実施形態において、２３７３では、ユーザ５３０は、作成された完成顔画像を、ユーザが存在感を出したいと思うライブ動画もしくは静止画を提供するプラットフォームに転送／公開することを選択できる。ライブ動画を提供するプラットフォームには、数例を挙げれば、Ｆａｃｅｂｏｏｋ、ＬｉｎｋｅｄＩｎ、Ｇｏｏｇｌｅ Ｈａｎｇｏｕｔｓ、もしくはＧｏｏｇｌｅ Ｍｅｅｔ、Ｆａｃｅｔｉｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＴｉｋＴｏｋ、Ｚｏｏｍ、を含む、ソーシャルメディアプラットフォームおよび動画会議プラットフォームが含まれる。

【0139】

デジタルメイクアップアーティスト５２０を説明するために、例示的な作動が図２４Ａ～図２４Ｄに提供される。図２４Ａ～図２４Ｄは、本開示の例示的な態様に従った、メイクアップ相談のためのデジタルメイクアップアーティストを使用する例示的な対話のためのシーケンス概略図である。図２４Ａ～図２４Ｄのシーケンス概略図は、システム５１０、デジタルメイクアップアーティスト５２０、およびユーザ５３０による操作および通信を含む。

【0140】

２４０１において、ユーザ５３０は、デジタルメイクアップアーティストのためのモバイルアプリケーションを選択することができる。ユーザインタフェースウィンドウ３１０が提供されると、２４０３において、ユーザ５３０は、メイクアップ助言を得るために尋ねることができる。２４０５において、デジタルメイクアップアーティスト５２０は、ユーザが助言を希望する好ましいルックスを有しているかどうかを尋ね得る。２４０７において、ユーザ５３０は、希望するルックスをさらに明示する返答をすることができる。デジタルメイクアップアーティスト５２０は、２４０９において、ユーザにメイクアップルックスの好みがあるかどうかを尋ねることによって、与えるべき助言のタイプをさらに絞り込み得る。ユーザ５３０は、好みはないが、２４１１において、むしろシステム５１０がルックスを選択することを望むことを示す返答をすることができる。

【0141】

２４１３において、システム５１０は、ユーザが自分の顔の写真もしくは動画を撮ることを要求し得る、かつユーザの顔の画像に対して解析を実行することになる。解析の結果は、ユーザの顔のパーツの位置、および肌の色、肌の質感、照明などの特性、ならびに以前のルックスの好みを含み得る。

【0142】

２４１５において、デジタルメイクアップアーティスト５２０は、ユーザにお気に入りの顔立ちがあるかどうかを尋ね得る。ユーザ５３０は、１つ以上のお気に入りの顔立ち、例えば、２４１７のように唇と回答してもよい。２４２１において、システム５１０は、１つ以上のメイクアップルーチンのためのカスタム推奨を作成し得る。２４２３において、システム５１０は、メイクアップルーチンおよび化粧品特性を表示し得る。２４２５において、デジタルメイクアップアーティスト５２０は、推奨されるメイクアップルーチンに調整を加えたいかどうかをユーザに尋ね得る。２４２７において、ユーザ５３０は、メイクアップルックスが目立ちすぎるというような返答をすることができる。

【0143】

２４２９において、デジタルメイクアップアーティスト５２０は、目立つのは顔の特定の部分、もしくは複数の部分であるのか、または顔全体が目立ちすぎるかを尋ねることによって応答し得る。２４３１において、ユーザ５３０は、顔全体が目立ちすぎる、と返答することができる。２４３３において、デジタルメイクアップアーティスト５２０は、メイクアップルックスに調整がなされることをユーザ５３０に通知し得る。

【0144】

２４３５において、システム５１０は、データベース１０７からのマスクフィルタの検索を含み得るメイクアップルックスの調整を実行し、マスクフィルタの選択は、過去のルックスの好みを考慮し得る。２４３７において、システム５１０は、調整されたメイクアップルックスを表示し得る。２４３９において、ユーザ５３０は、調整されたメイクアップルックスを確認し、目が少し暗すぎるように見える、および目を明るくすることを要求する、などのさらなるフィードバックをすることができる。

【0145】

２４４１において、システム５１０は、メイクアップルックスに調整を加え、２４４３において、さらに調整されたルックスを表示し得る。２４４５において、デジタルメイクアップアーティスト５２０は、システムがアイシャドウの色調を増加させたことをユーザに通知し、その調整が目の明るさを十分に改善しているかどうかをユーザに伝え得る。２４４７において、ユーザ５３０は、調整は正しい方向であるが、もう少し調整すればより良くなるかもしれない、と返答することができる。

【0146】

２４４９において、システム５１０は、色調をさらに調整し得るし、かつ２４５１において、さらに調整された外観を表示し得る。２４５３において、デジタルメイクアップアーティスト５２０は、システムが色調を増加させたことをユーザに再び伝えて、かつその調整が十分であるかどうかを、ユーザ５３０に再び尋ね得る。２４５５において、ユーザ５３０は、調整が良好に見えると返答することができる。

【0147】

メイクアップルックスが完成すると、２４６１において、システム５１０は、最終的なメイクアップルックスを表示し得る。加えて、２４６３において、システム５１０は、最終的なメイクアップルックスを作成するために使用され得る化粧品を表示し、かつ２４６５において、メイクアップルーチン、最終的なメイクアップルックス、および行われた調整を、ユーザのルックスの好みとして、データベース１０７に保存し得る。

【0148】

デジタルメイクアップアーティスト５２０との対話を通じて、ユーザ５３０は、メイクアップルックスを改善し、メイクアップアプリケーションテクニックを向上させ得る。デジタルメイクアップアーティスト５２０は、ユーザに合わせたメイクアップ助言を提供する。デジタルメイクアップアーティスト５２０は、ユーザのルックスの好みとカスタムルックスの蓄積を通じて、その推奨度を向上させ続ける。デジタルメイクアップアーティスト５２０は、ユーザが自分の顔にメイクアップを施す前に、ユーザのためのメイクアップを試用し、かつカスタムルックスを作成する上でのメイクアップの施し方を教えることができる。加えて、デジタルメイクアップアーティスト５２０は、記憶されたルックスの好みおよびユーザの顔の特徴に関する情報に基づいて、カスタムメイクアップルックスを作成することができる。

【0149】

実施形態において、単語「ａ」、「ａｎ」などは、特に断らない限り、一般に「１つ以上」の意味を有する。

【0150】

本発明の多数の修正および変形は、上記の教示に照らして可能である。例えば、様々な消費者の肌の色調および質感から収集されたデータは、単一の消費者よりも多くの消費者に対する人工ニューラルネットワークのスケーリングを可能にするであろう。人工ニューラルネットワークは、製品の色調ごとに、新しい化粧品の調合のレンダリングを予測することができるであろう。その結果として、添付の特許請求の範囲内で、本発明は、本明細書に具体的に記載される以外の方法で実施され得ることを理解されたい。

【0151】

その結果として、添付の特許請求の範囲内で、本発明は、本明細書に具体的に記載される以外の方法で実施され得ることを理解されたい。

【0152】

上記の開示はまた、以下に列挙される実施形態を包含する。

【0153】

（１）デジタルメイクアップアーティストシステム。デジタルメイクアップアーティストシステムが、表示デバイス、演算回路、およびメモリを有するモバイルデバイスと、化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みを記憶するデータベースシステムと、顔の画像を解析するための機械学習システム、を含み、前記モバイルデバイスは、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含み、前記デジタルメイクアップアーティストが、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴のうちの１つ以上を含む前記ユーザのニーズを捉えるために前記ユーザとの双方向の対話を実行し、前記演算回路が、前記ユーザの顔画像を入力し、前記機械学習システムを介して、前記ユーザの顔画像を解析して顔のパーツを特定し、前記顔画像を解析して、肌の色調、目の色、髪の色、唇の色、および肌の質感のうちの１つ以上を含む顔の特徴を決定し、前記デジタルメイクアップアーティストとの対話と同期して前記表示デバイスに表示する画像フレームを生成するように構成され、前記画像フレームが、前記ユーザの前記解析された顔画像、前記ユーザとの対話を通じて得られた前記ユーザのニーズ、前記記憶された化粧ルーチン情報、一般的なメイクアップルックス、肌のタイプおよび民族性に応じた化粧品、ならびに前記ユーザのルックスの好みのうちの１つ以上に基づいて生成される。

【0154】

（２）前記演算回路が、前記生成された画像フレームを所定の再生速度で表示することにより動画を再生するように構成され、前記動画がチャプタを含み、各チャプタは化粧ルーチンのステップであり、前記ユーザからの入力が、前記動画の再生を制御する動画制御コマンドを含む、特徴（１）に記載のデジタルメイクアップアーティストシステム。

【0155】

（３）前記動画制御コマンドが、動画の再生速度を下げる、動画再生を一時停止する、動画のステップの先頭からリスタートする、動画の次のステップにスキップする、のいずれかを含む、特徴（２）に記載のデジタルメイクアップアーティストシステム。

【0156】

（４）前記ユーザからの前記入力が前記再生速度を下げる動画制御コマンドである場合、前記演算回路が、所定の再生速度に対する割合で前記再生速度を低下させ、前記コマンド入力時に再生している、現在のチャプタが複雑であることを示す表示を前記データベースに記憶する、特徴（２）もしくは（３）に記載のデジタルメイクアップアーティストシステム。

【0157】

（５）前記ユーザからの前記入力が、前記動画のステップの先頭からリスタートする動画制御コマンドであり、前記演算回路が、前記コマンド入力時に再生している現在のチャプタの先頭に関連する時間点を読み取り、前記時間点の前記フレームから前記動画を再生するように構成される、特徴（２）もしくは（３）に記載のデジタルメイクアップアーティストシステム。

【0158】

（６）前記ユーザからの前記入力が、前記動画のステップの先頭からリスタートする動画制御コマンドであり、さらに画像フレームの生成の調整を行うコマンドを含み、前記演算回路が、再生している現在のチャプタの先頭に関連する時間点を読み取り、前記時間点における前記フレームから前記動画を再生するための調整された画像フレームを生成するように構成される、特徴（２）もしくは（３）に記載のデジタルメイクアップアーティストシステム。

【0159】

（７）前記画像フレームの生成調整が、前記顔画像における顔のパーツのためのメイクアップの色の特性への変更を含み、前記色の前記特性が、範囲、色調、および仕上がりのうちの１つ以上である、特徴（６）に記載のデジタルメイクアップアーティストシステム。

【0160】

（８）前記ユーザ入力が、ルックスのタイプを含み、前記画像フレームの生成調整が、前記ルックスのタイプに関連する前記ユーザのルックスの好みを考慮する、特徴（６）に記載のデジタルメイクアップアーティストシステム。

【0161】

（９）前記画像フレームの生成調整に基づいて作成されたメイクアップルックスが、好ましいメイクアップルックスとして前記データベースに記憶される、特徴（６）に記載のデジタルメイクアップアーティストシステム。

【0162】

（１０）前記演算回路が、前記機械学習システムを介して、前記ユーザの顔画像を解析して、顔形状、唇形状、まぶた形状、および髪型のうちの１つ以上を決定し、かつ前記ユーザの顔画像を解析して、肌の色調、目の色、髪の色、および肌の質感のうちの１つ以上を決定するように、さらに構成され、前記画像フレームが、前記顔形状、前記唇形状、前記まぶた形状、前記髪型、前記肌の色調、前記目の色、前記髪の色、および前記肌の質感に関連して記憶されている化粧ルーチンに基づいて生成される、特徴（１）～（９）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0163】

（１１）前記デジタルメイクアップアーティストによって行われる前記ユーザとの前記双方向の対話が、スピーチ入力を含み、前記モバイルデバイスが、前記スピーチ入力に対して自然言語処理を行い、前記デジタルメイクアップアーティストがスピーチ応答を出力する、特徴（１）～（１０）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0164】

（１２）前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌の前記状態に関する情報を得るために、質問を発話することを含む、特徴（１１）に記載のデジタルメイクアップアーティストシステム。

【0165】

（１３）前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの顔の問題箇所に関する情報を得るために質問を発話することを含む、特徴（１１）に記載のデジタルメイクアップアーティストシステム。

【0166】

（１４）前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌が乾燥していることを示すスピーチ入力を受け、前記画像フレームが、前記ユーザの肌が乾燥しているという前記指示に関連して記憶されている化粧ルーチンに基づいて生成される、特徴（１２）に記載のデジタルメイクアップアーティストシステム。

【0167】

（１５）前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケア用であり、前記画像フレームが、スキンケア用の前記化粧ルーチン情報および化粧品に基づいて生成される、特徴（１）～（１４）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0168】

（１６）前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケアタイプのメイクアップ用であり、前記画像フレームが、スキンケアタイプのメイクアップ用の前記化粧ルーチン情報および化粧品に基づいて生成される、特徴（１）～（１５）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0169】

（１７）前記スキンケアタイプのメイクアップが、アンチエイジング品質を有する化粧品を含み、前記画像フレームが、前記アンチエイジング品質を有する前記化粧品の施しに関連して記憶されている化粧ルーチンに基づいて生成される、特徴（１６）に記載のデジタルメイクアップアーティストシステム。

【0170】

（１８）前記画像フレームが、肌の色調に最適な色調を使用する化粧ルーチンを提供するために、前記肌の色調を含む前記ユーザの前記解析された顔画像に基づいて生成される、特徴（１）～（１７）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0171】

（１９）前記顔画像の特定の肌のアンダートーンに適した化粧品の色調を選択するための肌のアンダートーン機械学習モデルをさらに含む、特徴（１）～（１８）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0172】

（２０）前記化粧品がファンデーションであり、前記肌のアンダートーン機械学習モデルが、前記顔画像の前記特定の肌のアンダートーンに適した前記ファンデーションを選択するためである、特徴（１９）に記載のデジタルメイクアップアーティストシステム。

【0173】

（２１）デジタルメイクアップアーティストシステム。デジタルメイクアップアーティストシステムが、表示デバイス、演算回路、およびメモリを有するモバイルデバイスと、化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、ならびにユーザのルックスの好みを記憶するデータベースシステムと、顔の画像を解析するための機械学習システム、を含み、前記モバイルデバイスが、デジタルメイクアップアーティストと対話するためのユーザインタフェースを含み、前記デジタルメイクアップアーティストが、メイクアップルックスのタイプ、屋内用もしくは屋外用のルックス、肌の状態、顔の問題箇所、お気に入りの顔の特徴のうちの１つ以上を含む、初期情報を取得し、メイクアップ相談を要求することを含む助言を提供するためにユーザとの双方向の対話を行う。前記演算回路が、前記ユーザの顔画像を入力し、前記機械学習システムを介して、前記ユーザの顔画像を解析して顔のパーツを特定し、前記顔画像を解析して、肌の色調、目の色、唇の色、髪の色、および肌の質感のうちの１つ以上を含む顔の特徴を決定し、前記助言を提供するために前記デジタルメイクアップアーティストとの前記対話と同期して前記表示デバイスに表示される画像フレームを生成するように構成され、前記画像フレームが、前記ユーザの前記解析された顔画像、前記ユーザとの前記対話を通じて得られた前記初期情報、前記記憶された化粧ルーチン情報、一般的なメイクアップルックス、肌タイプおよび民族性に応じた化粧品、ならびに前記ユーザのルックスの好みのうちの１つ以上に基づいて、前記対話と同期して生成される。

【0174】

（２２）前記演算回路が、前記ユーザと前記デジタルメイクアップアーティストとの間の前記双方向の対話を通じて前記化粧の相談を行うように構成され、前記演算回路が、前記お気に入りの顔の特徴に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を実行する、特徴（２１）に記載のデジタルメイクアップアーティストシステム。

【0175】

（２３）前記演算回路が、前記ユーザと前記デジタルメイクアップアーティストとの間の前記双方向の対話を通じて前記メイクアップ相談を行うように構成され、前記対話が、前記デジタルメイクアップアーティストに対して、前記ユーザに気になる少なくとも１つの問題顔領域を入力するように促すことを含み、前記演算回路が、前記気になる問題顔領域に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行う、特徴（２１）もしくは（２２）に記載のデジタルメイクアップアーティストシステム。

【0176】

（２４）前記演算回路が、化粧ルーチンのためのカスタム推奨を作成するために前記双方向の対話を行い、前記推奨化粧ルーチンの調整要求を含むさらなる入力を受け取り、前記推奨化粧ルーチンの前記調整要求、前記記憶されたメイクアップルックスおよび前記ユーザのルックスの好みに基づいて前記調整を行って、洗練された化粧ルーチンを作成するように構成される、特徴（２１）～（２３）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0177】

（２５）前記演算回路が、前記調整を、前記ユーザのルックスの好みに含まれるユーザのルックスの好みとして、前記洗練された化粧ルーチンと共に、前記データベースに記憶するように構成される、特徴（２４）に記載のデジタルメイクアップアーティストシステム。

【0178】

（２６）前記演算回路が、前記洗練された化粧ルーチンのための推奨化粧品およびスキンケア製品を出力するように構成される、特徴（２４）に記載のデジタルメイクアップアーティストシステム。

【0179】

（２７）前記推奨化粧ルーチンの前記調整要求が、顔全体の画像のメイクアップ特性を変更する要求を含む、特徴（２４）に記載のデジタルメイクアップアーティストシステム。

【0180】

（２８）前記メイクアップ特性の前記変更要求が、前記顔画像における各メイクアップ色の範囲、色調、および仕上がりのうちの１つ以上の変更を含む、特徴（２７）に記載のデジタルメイクアップアーティストシステム。

【0181】

（２９）前記推奨化粧ルーチンの前記調整要求が、前記顔画像における顔部分のメイクアップ特性の変更要求を含み、前記メイクアップ特性の前記変更要求が、前記顔画像における前記顔部分のメイクアップ色の範囲、色調、および仕上がりのうちの１つ以上の変更を含む、特徴（２４）に記載のデジタルメイクアップアーティストシステム。

【0182】

（３０）前記ユーザとの前記双方向の対話が、前記デジタルメイクアップアーティストが、前記ユーザの肌が乾燥していることを示すスピーチ入力を受け取ることを含み、前記画像フレームが、前記ユーザの肌が乾燥しているという前記指示に関連して記憶されている化粧ルーチンに基づいて生成される、特徴（２２）に記載のデジタルメイクアップアーティストシステム。

【0183】

（３１）前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケア用であり、前記画像フレームが、スキンケア用の前記化粧ルーチン情報および化粧品に基づいて生成される、特徴（２１）～（３０）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0184】

（３２）前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品がスキンケアタイプのメイクアップ用であり、前記画像フレームが、スキンケアタイプのメイクアップ用の前記メイクアップ化粧情報および化粧品に基づいて生成される、特徴（２１）～（３１）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0185】

（３３）前記スキンケアタイプのメイクアップが、アンチエイジング品質を有する化粧品を含み、前記画像フレームが、アンチエイジング品質を有する前記化粧品の施しに関連して記憶されている化粧ルーチンに基づいて生成される、特徴（３２）に記載のデジタルメイクアップアーティストシステム。

【0186】

（３４）前記演算回路が、前記ユーザの肌の色調に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、前記化粧ルーチンの前記画像フレームが、前記肌の色調に最適な化粧品の色調を使用する前記カスタム推奨を作成するために前記ユーザの前記解析された顔画像に基づいて生成される、特徴（２１）～（３３）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0187】

（３５）前記顔画像の特定の肌のアンダートーンに適した前記化粧品の色調を選択するための肌のアンダートーン機械学習モデルをさらに含む、特徴（３４）に記載のデジタルメイクアップアーティストシステム。

【0188】

（３６）前記化粧品がファンデーションであり、前記肌のアンダートーン機械学習モデルが、前記顔画像の前記特定の肌のアンダートーンに適した前記ファンデーションの前記色調を選択するためである、特徴（３５）に記載のデジタルメイクアップアーティストシステム。

【0189】

（３７）前記演算回路が、前記ユーザの唇の形状および唇の色に合わせた化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、前記化粧ルーチンの前記画像フレームが、前記ユーザの唇の形状および唇の色に最適な前記ユーザの顔用の化粧品の色調および／または仕上げを使用する前記カスタム推奨を作成するために、前記ユーザの前記解析した顔画像に基づいて生成される、特徴（２１）～（３７）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0190】

（３８）前記演算回路が、前記ユーザの肌タイプおよび民族性を得ることを含む化粧ルーチンのためのカスタム推奨を作成する前記対話を行い、前記化粧ルーチンの前記画像フレームが、前記肌タイプおよび前記民族性のために指定されたデータベース内に記憶された化粧品を使用する前記カスタム推奨を作成するために前記ユーザの肌タイプおよび民族性とユーザのルックスの好みに基づいて生成される、特徴（２１）～（３７）のいずれかに記載のデジタルメイクアップアーティストシステム。

【0191】

（３９）前記データベースシステムに記憶された前記化粧ルーチン情報および化粧品が、肌のタイプおよび民族性に応じた、スキンケアタイプのメイクアップ用であり、前記画像フレームが、肌タイプおよび民族性に応じた、スキンケアタイプのメイクアップ用の前記化粧ルーチン情報と化粧品に基づいて生成される、特徴（３８）に記載のデジタルメイクアップアーティストシステム。

【0192】

（４０）前記ユーザの前記顔画像の特定の民族性に適した前記化粧品の色調を選択するための民族性機械学習モデルをさらに含む、特徴（３８）に記載のデジタルメイクアップアーティストシステム。

【符号の説明】

【0193】

１０１ スマートフォン
１０３ ラップトップコンピュータ
１０３ａ マイクロフォン
１０５ クラウドサービス
１０７ データベース
１０９ 機械学習サービス
１１１ モバイルアプリケーション
２００ モバイル処理ユニット（ＭＰＵ）
２０１ 加入者識別モジュール（ＳＩＭ）
２０２ メモリ
２０６ ネットワークコントローラ
２０８ 表示画面コントローラ
２１０ 表示画面
２１２ Ｉ／Ｏインタフェース
２１４ ボタン
２２０ 電力管理およびタッチスクリーンコントローラ
２２１ タッチスクリーン
２２２ 通信バス
２２４ ネットワーク
２２５ コントローラ
２２６ 演算回路
２３０ カメラコントローラ
２３１ カメラ
２４０ マイクロフォン回路
２４１ マイクロフォン
２４２ オーディオ回路
３０１ サブ画面
３０３ メニューアイコン
３０５ メイクアップアーティスト
３０７ 入力ボックス
３０９ テキスト
３１０ ユーザインタフェースウィンドウ
３１１ マイクロフォンアイコン
３２０ 動画コンポーネント
４０１ 動画
５０１ 最初の対話
５１０ システム
５１１ 推奨ユーザインタフェース
５２０ デジタルメイクアップアーティスト
５３０ ユーザ入力
７０５ 唇の形状
７０７ まぶたの形状
７０９ 髪型
７１１ 色
７１３ 肌の質感
７１５ 照明
７１７ ルックスの好み
８０３ コンポーネント
８０３ａ 層
８０３ｂ 整流線形ユニット層
８０３ｃ プーリング層
８０５ 完全接続層
８０７ 損失層
８０９ クラス
９０１ 入力顔画像
９０３ 第１ステージ
９０５ 第２ステージ
９０７ 出力層
９１１ 連結ブロック
９１３ 予測ブロック
１０００ リコメンダシステム
１００５ データベース
１００７ 推奨エンジン
１２０１ カスタム推奨
１２０３ スクロールバー
１３０１ メッセージ
１４０１ 顔画像
１４０３ メイクアップパレット
１４０３ａ メイクアップ
１４０３ｂ 色
１４０５ パーツ
１９０１ オーディオコンポーネント
１９０３ 顔画像
１９０５ マスクフィルタ
１９０７ 位置情報
１９１１ 先行フレーム
２００７ 特徴マスクフィルタ
２０１１ 逆値
２０１５ 画像
２３５７ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図21C】

【図21D】

【図21E】

【図21F】

【図22A】

【図22B】

【図22C】

【図22D】

【図22E】

【図23】

【図24A】

【図24B】

【図24C】

【図24D】

【国際調査報告】