特表 2023-532527 パーソナライズされた正確な仮想メイクアップトライオンのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-28

(54)【発明の名称】パーソナライズされた正確な仮想メイクアップトライオンのためのシステム及び方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230721BHJP

   G06T 7/00 20170101ALI20230721BHJP

   G06V 10/82 20220101ALI20230721BHJP

   G06T 7/90 20170101ALI20230721BHJP

   G06T 11/80 20060101ALI20230721BHJP

   G06N 3/02 20060101ALI20230721BHJP

【ＦＩ】

G06T1/00 340A

G06T7/00 660A

G06T7/00 350C

G06V10/82

G06T7/90 Z

G06T11/80 A

G06N3/02

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022581426

(86)(22)【出願日】2021-06-23

(85)【翻訳文提出日】2022-12-28

(86)【国際出願番号】 IB2021000436

(87)【国際公開番号】W WO2022003416

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】2010516

(32)【優先日】2020-10-14

(33)【優先権主張国・地域又は機関】FR

(31)【優先権主張番号】63/046,168

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】シャーロー， グレゴワール

(72)【発明者】

【氏名】マラプラード， エルガ

【テーマコード（参考）】

5B050

5B057

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA06

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050EA19

5B050FA02

5B050FA13

5B057BA23

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE11

5B057CE17

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC22

5B057DC25

5B057DC40

5L096AA02

5L096DA01

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

一態様は、キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定することと、仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成することと、仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成することと、を含むシステム及び方法である。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
処理回路によって、キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定することと、
前記処理回路によって、前記仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成することと、
前記処理回路によって、前記仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成することと、を含む、方法。

【請求項2】

口紅を唇に適用することであって、前記口紅が、前記キャリブレーション化粧品としての色及び透明度を特徴付ける、適用することと、
前記処理回路によって、前記口紅が適用されたユーザの顔の前記１つ以上のデジタル画像をキャプチャすることと、を更に含む、請求項１に記載の方法。

【請求項3】

アイシャドウを眉に適用することであって、前記アイシャドウが、前記キャリブレーション化粧品としての色及び透明度を特徴付ける、適用することと、
前記処理回路によって、前記アイシャドウが適用されたユーザの顔の前記１つ以上のデジタル画像をキャプチャすることと、を更に含む、請求項１に記載の方法。

【請求項4】

制御された厚さの口紅を唇に適用するアプリケータを使用して前記口紅を適用することを更に含む、請求項１に記載の方法。

【請求項5】

モバイルデバイスの前面カメラを使用して、ユーザの顔のビデオをキャプチャして、前記１つ以上のデジタル画像を取得することを更に含む、請求項１に記載の方法。

【請求項6】

前記仮想トライオン表示調整情報を判定することは、変換行列を判定することを含み、
前記変換行列は、肌の色及び肌のテクスチャに関する補正情報を含む、請求項１に記載の方法。

【請求項7】

前記１つ以上のデジタル画像の色の補正のために、人工ニューラルネットワークを使用して周囲照明を評価することを更に含む、請求項１に記載の方法。

【請求項8】

前記仮想トライオン表示調整情報を判定することは、
前記処理回路によって、前記キャリブレーション化粧品が適用された前記１つ以上のデジタル画像内の各ピクセルの色及びテクスチャを測定することと、
前記処理回路によって、前記１つ以上のデジタル画像内の各ピクセルの前記測定された色値及びテクスチャ値を、色及びテクスチャ基準値と比較して、色及びテクスチャの偏位を判定することと、
前記処理回路によって、色及びテクスチャの前記偏位を使用して変換行列を計算することと、を含む請求項１に記載の方法。

【請求項9】

前記修正された仮想トライオン経験の１つ以上のインスタンスを生成することは、
前記処理回路によって、仮想化粧品を選択することと、
前記処理回路によって、前記選択された仮想化製品の色を調整するために使用される色補正値を生成することと、
前記処理回路により、前記変換行列に含まれる色及びテクスチャに関する前記補正情報と前記色補正値とを用いて、キャプチャされたデジタル画像の拡張現実画像を作製することと、を含む請求項６に記載の方法。

【請求項10】

前記処理回路は、前記１つ以上の画像の画素値を前記それぞれの補正された色値に置き換えることによって、前記選択された仮想化粧品の前記色を調整するために前記色補正値を使用する、請求項９に記載の方法。

【請求項11】

表示システムであって、
キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定し、
前記仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成し、
前記仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成するように、構成された処理回路、を備える、表示システム。

【請求項12】

カメラであって、
口紅を唇に適用すると、前記口紅が、前記キャリブレーション化粧品としての色及び透明度を特徴付け、
前記口紅が適用されたユーザの顔の前記１つ以上のデジタル画像をキャプチャする、カメラを更に備える請求項１１に記載の表示システム。

【請求項13】

カメラであって、
アイシャドウを眉に適用すると、前記アイシャドウが、前記キャリブレーション化粧品としての色及び透明度を特徴付け、
前記アイシャドウが適用されたユーザの顔の前記１つ以上のデジタル画像をキャプチャする、カメラを更に備える請求項１１に記載の表示システム。

【請求項14】

前記口紅が、制御された厚さの前記口紅を唇に適用するアプリケータを使用して適用される、請求項１２に記載の表示システム。

【請求項15】

前面カメラであって、
前記１つ以上のデジタル画像を取得するためにユーザの顔のビデオをキャプチャする、前面カメラを更に備える請求項１１に記載の表示システム。

【請求項16】

前記処理回路は、変換行列を判定することを含んで仮想トライオン表示調整情報を判定し、
前記変換行列は、肌の色及び肌のテクスチャに関する補正情報を含む、請求項１１に記載の表示システム。

【請求項17】

前記１つ以上のデジタル画像の色の補正のための周囲照明を評価するための人工ニューラルネットワークを更に備える、請求項１１に記載の表示システム。

【請求項18】

前記処理回路が、
前記キャリブレーション化粧品が適用された前記１つ以上のデジタル画像内の各ピクセルの色及びテクスチャを測定し、
前記１つ以上のデジタル画像内の各ピクセルの前記測定された色値及びテクスチャ値を、色及びテクスチャ基準値と比較して、色及びテクスチャの偏位を判定し、
色及びテクスチャの前記偏位を使用して変換行列を計算するように構成されることを含んで、仮想トライオン表示調整情報を判定する、請求項１１に記載の表示システム。

【請求項19】

前記処理回路が、
仮想化粧品を選択し、
前記選択された仮想化粧品の前記色を調整するために使用される色補正値を生成し、
前記変換行列に含まれる色及びテクスチャに関する前記補正情報と前記色補正値とを用いて、キャプチャされたデジタル画像の拡張現実画像を作製するように構成されることを含んで、修正された仮想トライオン経験の１つ以上のインスタンスを生成する、請求項１６に記載の表示システム。

【請求項20】

前記処理回路は、前記１つ以上のデジタル画像の画素値を前記それぞれの補正された色値に置き換えることによって、前記選択された仮想化粧品の前記色を調整するために前記色補正値を使用するように構成される、請求項１９に記載の表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

背景
関連出願の相互参照
本出願は、２０２０年６月３０日出願の仮出願第６３／０４６，１６８号及び２０２０年１０月１４日出願のフランス出願第２０１０５１６号に対する優先権の利益を主張し、それらの内容全体が参照により本明細書に組み込まれる。

【0002】

本開示は、メイクアップキャリブレーション、及びパーソナライズされた正確なメイクアップの仮想トライオンのための方法を対象とする。

【背景技術】

【0003】

本明細書に提供される「背景」の記載は、本開示の文脈を一般的に提示する目的のためのものである。この「背景」セクションに記載されている範囲での現在名前が挙げられている発明者らの研究、及び出願時に別様に従来技術と見なされていない可能性がある記載の態様は、明示的にも黙示的にも本発明に対する従来技術とは認められない。

【0004】

前面カメラ付きのスマートフォン及びタブレットは、カメラを手元に持っている人が撮影対象の画像を見ることができる方法で写真及びビデオを撮影する機能を提供する。前面カメラを利用する、しばしばアプリと称される様々なモバイルアプリケーションが開発されている。一般的なアプリとは、「自撮り（セルフィー）」と称される自画像写真を撮影し、ソーシャルメディアのコンテキストに自撮り写真を挿入したり、電子メール又はテキストで他人と共有するために自撮り写真を転送したりすることを可能にするアプリである。

【0005】

一部の化粧品会社では、化粧品の選択を支援するアプリの開発を開始している。一部のアプリでは、特定のタイプのメイクアップを検索したり、お気に入りの製品又は以前に使用した製品を検索したりするためのツールを提供しているものがある。一部のアプリでは、特定のタイプのメイクアップを適用する方法に関するチュートリアルを提供しているものがある。一部のアプリでは、アイシャドウ又は口紅の色のカラーパレットを表示することで、色の選択を支援するものがある。一部のアプリでは、衣服及びアクセサリーに一致する色、又は写真からの色の検索を支援するカラーマッチング機能を提供するものがある。

【0006】

一部の化粧品会社では、スマートフォンの前面カメラを利用した製品トライオンアプリケーションの提供を開始している。これらのアプリケーションの一部はＷｅｂアプリケーションとして実装されており、オプションのアプリをスマートフォン又はタブレットにインストールできる。これらのアプリケーションの一部は、スマートフォンのカメラで自画像写真を撮影し、Ｗｅｂアプリケーションに写真をアップロードし、アップロードされた画像に仮想メイクアップ製品を適用することで機能する。

【0007】

仮想メイクアップを使用するトライオンＷｅｂアプリケーション又はアプリには、制限がある。トライオンＷｅｂアプリケーション及びアプリは、仮想メイクアップの色と写真の色を重ね合わせようとする。色の重ね合わせは、唇又はまぶたなどの人の特定の顔の部分の色、テクスチャ、形状を正確にレンダリングしない。仮想トライオン処理は、現実の化粧品の透明度と、化粧品と人の生の肌の色及びテクスチャとの現実の交差効果と、を考慮することなく、直接化粧品の色に直接画素を重ね合わせて、置き換える。更に、同じ重ね合わせ処理が、同じ製品についての肌の色の偏位を考慮することなく、同じ方法で全ての消費者に適用される。

【0008】

したがって、これらの制限はいくつかの問題領域を生み出す。化粧品の仮想トライオンは、人の肌の色及びテクスチャを考慮せずには、真にパーソナライズされない。仮想レンダリングは、現実の化粧品適用がどのように見えるのかと比較して、ほとんどの場合違ったものになっている。

【0009】

調合の専用のパーソナライズマシンを流通させる代替手段は、少量の製品を配布して、消費者が製品をテストし、次いで消費者の肌上で測定されたバイアスに応じて、製品レシピを修正するために、サンプリングシステムをマシンに追加する必要があるため、時間がかかり、費用がかかる。

【0010】

更に、各消費者の色の偏位が大きすぎるため、ｅコマースパーソナライズトライオンサービスは、スマートフォンを有する最終消費者にはスケーラブルではない。

【0011】

本開示の１つの目的は、ユーザが正確に仮想的にトライオンメイクアップすることを可能にする方法を提供するシステム及び方法を説明することである。

【発明の概要】

【0012】

一態様は、処理回路によって、キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定することと、処理回路によって、仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成することと、処理回路によって、仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成することと、を含む方法である。

【0013】

一態様は、キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定し、仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成し、仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成するように、構成された処理回路を含む表示システムである。

【0014】

例示的な実施形態の前述の概要の説明及び以下の詳細な説明は、本開示の教示の単なる例示的な態様であり、限定的ではない。

【図面の簡単な説明】

【0015】

本開示及びその付随する利点の多くのより完全な理解は、添付の図面と関連して考慮されるとき、以下の詳細な説明を参照することによって、本開示及びその付随する利点がより良く理解されるにつれて、容易に得られるであろう。

【0016】

【図1】本開示の例示的な態様による、人工ニューラルネットワークアーキテクチャの図である。

【図2】本開示の例示的な態様による、メイクアップキャリブレーションシステムの概略図である。

【図3A】本開示の例示的な態様による、キャリブレーションの結果を使用した、メイクアップキャリブレーションパーソナライズされた仮想メイクアップトライオン方法のフローチャートである。

【図3B】本開示の例示的な態様による、キャリブレーションの結果を使用した、メイクアップキャリブレーションパーソナライズされた仮想メイクアップトライオン方法のフローチャートである。

【図4】本開示の例示的な態様による、パーソナライズされた仮想メイクアップトライオン方法のフロー図である。

【図5】本開示の例示的な態様による、モバイルアプリケーションのための表示を示す。

【図6】本開示の例示的な態様による、モバイルアプリケーションのための表示を示す。

【発明を実施するための形態】

【0017】

図面中、同様の参照番号は、複数の図を通じて、同一又は対応する部分を指定する。更に、本明細書で使用される場合、単語「ａ」、「ａｎ」などは、別様に示されない限り、概して、「１つ以上」の意味を有する。図面は、別段の指定がない限り、又は概略構造若しくはフローチャートを例示していない限り、概略的に縮尺で描かれている。

【0018】

更に、「約」、「近似」、「おおよそ」、及び類似の用語は、概して、２０％、１０％、又は好ましくは５％のマージン内の識別された値、及びそれらの間の任意の値を含む範囲を指す。

【0019】

本開示の態様は、パーソナライズされた正確な化粧品仮想トライオンシステム及び方法を対象とする。仮想トライオンシステムには、化粧品の色、偏位、透明度、光効果を完全に特徴付けるメイクアップキャリブレーションキットが含まれており、メイクアップキャリブレーション製品の制御された厚さの適用を確保する精密なアプリケータが含まれる。仮想トライオンは、ビデオ、自撮り、又はモデル写真、及び仮想メイクアップ選択を使用して、人の顔の拡張現実表示を生成する。拡張現実表示は、自動シェード補正のための色の調整を行う人工ニューラルネットワークによって実現される。

【0020】

化粧で拡張された人の顔の正確なレンダリングを提供するために、本発明者らは、人の肌の色及びテクスチャを考慮に入れる必要があると判断した。発明者らは、色、分散、反射、透明度、及び光効果を含むメイクアップの特徴も考慮に入れる必要があると判断した。人工ニューラルネットワークモデルは、色、透明度、反射、及び照明条件の様々な偏位のために開発されている。

【0021】

図１は、本開示の例示的な態様による人工ニューラルネットワークアーキテクチャの図である。人工ニューラルネットワークは、特徴ベクトルの入力に基づいて様々な照明条件の色値を出力することができる任意の教師あり学習型ニューラルネットワークであり得る。例示的な実施形態では、人工ニューラルネットワークは、少なくとも１つの隠れ層を有する多層ニューラルネットワークであり得、バックプロパゲーション学習アルゴリズムなどの教師あり学習アルゴリズムによって訓練され得る。人工ニューラルネットワーク内の各ノードは、伝達関数を有するＭｃＣｕｌｌｏｃｈ－Ｐｉｔｔｓニューロンであり得る。人工ニューラルネットワークの訓練は、クラウドサービスにおいて実行され得、訓練は、数百人の消費者からのデータを使用してオフラインで実行され得る。例示的な実施形態では、深層学習人工ニューラルネットワークは、パブリッククラウドサービスにおいて実行される。

【0022】

１つ以上の実施形態では、深層学習人工ニューラルネットワークは、畳み込みニューラルネットワークであり得る。畳み込みニューラルネットワークは、畳み込み演算を実行する隠れ層を含む。畳み込み演算は、特徴マップを生成する。他の層は、プーリング層、全結合層、及び正規化層を含む、隠れ層に従ってもよい。

【0023】

図１に示される人工ニューラルネットワーク１００のアーキテクチャは、Ｎ個のサブネットワーク１０１、１０３、１０５、１０７のシーケンスを含む。サブネットワーク１０３、１０５、１０７はそれぞれ、各々が少なくとも２つの隠れ層１１３、１１５、１１７を有する多層人工ニューラルネットワークであってもよい。出力層１２０は、人工ニューラルネットワークがどのように訓練されるかに依存する出力を提供する。

【0024】

人工ニューラルネットワーク１００は、入力としてのデジタル画像で訓練され得る。代替として、人工ニューラルネットワーク１００は、以下を含む特徴ベクトルで訓練されてもよい。
●色値
●肌の色調の偏位
●透明度の相違
●分散の相違
●光反射値の相違

【0025】

出力層１２０の出力値は、修正された色値及び照明条件であってもよい。

【0026】

例えば、人工ニューラルネットワーク１００は、出力値として、カテゴリ及び関連する補正された色値（例えば、色相値、ティント値、色調値、陰影値、及び色を表す他の値）及び照明条件を提供するように訓練され得る。色のカテゴリには、色相、ティント、色調、陰影が含まれる。ティントは色のより明るいバージョンであり、陰影はその色のより暗いバージョンである。色調とは、通常、色の明るさ（ティント）又は陰影（暗さ）を指す。

【0027】

一実施形態では、人工ニューラルネットワーク１００は、既知の色相、ティント、色調、陰影、又は同様のもの、及び既知の照明条件（例えば、既知の照明方向、既知の照明源、既知の照明強度など）のうちの１つ以上を有する、数百のデジタル画像のデータセットで訓練される。

【0028】

一実施形態では、訓練された人工ニューラルネットワークは、少なくとも２つのサブネットワークを有す符号化器－復号化器構造化ニューラルネットワークである。一実施形態では、第１のサブネットワーク１０１は、未定義又は未知の照明条件を有するデジタル画像を入力とし、色情報や照明情報などの特徴マップ表現を作成する符号化を行う。一実施形態では、第２のサブネットワーク１０３は、符号化器１０１からの出力を入力とし、修正された色、修正された照明条件、又は他の色修正でデジタル画像を再生成する。

【0029】

図２は、本開示の例示的な態様による、メイクアップキャリブレーションシステムの概略図である。仮想メイクアップトライオンシステムは、メイクアップキャリブレーションキット２０１からの結果を利用する。キャリブレーションキット２０１は、１つ以上の物理的化粧品を含み、化粧品を販売する小売店、又はオンラインストアから、又は化粧品メーカーから直接取得されてもよい。キャリブレーションキット２０１は、モバイルアプリ２３３を伴ってもよい。モバイルアプリ２３３は、アプリストアからダウンロードされ得る。モバイルアプリ２３３は、キャリブレーションキット２０１の使用を支援するとともに、キャリブレーションキット２０１と併せて使用される機能を提供することができる。モバイルアプリ２３３は、スマートフォン２２１又はタブレットコンピュータ上で実行されてもよい。スマートフォン２２１又はタブレットコンピュータは、好ましくは、正面視カメラ２３１を含む。アプリ２３３は、対象ユーザの顔の静止デジタル画像又はビデオをキャプチャするためにスマートフォン２２１又はタブレットコンピュータのカメラ機能を使用する機能を含み得る。アプリのＷｅｂバージョンは、Ｗｅｂブラウザを有する任意のラップトップ型又はデスクトップ型コンピュータからアクセスされ得る。アプリのＷｅｂバージョンは、対象ユーザの少なくとも１枚の写真を必要とし、これは、Ｗｅｂサーバーにアップロードされ得る。いくつかの実施形態では、アプリのＷｅｂバージョンは、クラウドサービスにおいて実行される。アプリ２３３のＷｅｂバージョンは、スマートフォン又はタブレットを必要とせず、デジタルカメラを用いて対象ユーザの顔のデジタル画像を取得することができる。あるいは、対象ユーザのプリントされた写真をスキャンして、対象ユーザのデジタル画像を取得することができる。

【0030】

メイクアップキャリブレーションキット２０１に含まれる物理的製品は、キャリブレーション口紅２２１、キャリブレーションアイシャドウ２１３、並びに口紅及びアイシャドウのためのアプリケータを含んでもよい。キャリブレーション口紅２１１は、色、異なる肌の色調上の偏位、透明度、及び光効果に関して完全に特徴付けられた口紅であり得る。一実施形態において、キャリブレーション口紅２１１は、半透明の緑色の口紅であってもよい。キャリブレーションアイシャドウ２１３は、色、異なる肌の色調上の偏位、透明度、光効果に関して完全に特徴付けられたアイシャドウであり得る。一実施形態において、キャリブレーションアイシャドウ２１３は、不透明な緑色の粉末であってもよい。口紅とアイシャドウのためのキャリブレーションアプリケータは、好ましくは、肌上に制御された厚さで製品の精密な輪郭の適用を確保するリップ及びアイシャドウのための精密なアプリケータである。

【0031】

図３Ａ及び図３Ｂは、本開示の例示的な態様による、メイクアップ及びパーソナライズされた仮想メイクアップトライオンをキャリブレーションする方法のフローチャートである。Ｓ３０１において、スマートフォンアプリ２３３は、対象者のビデオ撮影を開始するか、又は静止画を撮影する。上述のように、ビデオ又は静止画は、デジタルカメラを使用して取得されてもよい。ビデオ又は静止画には、メイクアップが肌に適用されている身体領域全体が含まれている必要がある。例えば、身体領域は、対象ユーザがメイクアップの外観を判定することができるように、顔全体を含んでもよい。

【0032】

コンピュータビジョンソフトウェアは、静止デジタル画像又はビデオ画像を解釈するために実行される。コンピュータビジョンソフトウェアは、スマートフォン又はタブレットコンピュータ２２１で実行されてもよい。いくつかの実施形態では、コンピュータビジョンアルゴリズムは、デスクトップコンピュータ、又はクラウドサービスにおいて実行される。スマートフォン又はタブレットコンピュータ２２１は、前面カメラからキャプチャされるビデオがキャプチャされ、表示されるにつれて、コンピュータビジョンソフトウェアをリアルタイムで実行し得る。Ｓ３０３、Ｓ３０５において、個々の肌とキャリブレーションメイクアップの色との色差のコントラスト分析を用いて、唇、まぶた、頬を含む注目領域を分割する。いくつかの実施形態では、キャリブレーションメイクアップを有する対象ユーザの顔のビデオ又は静止デジタル画像は、スマートフォン又はタブレットコンピュータ２２１の表示画面上に表示され得る。

【0033】

Ｓ３０９において、人工ニューラルネットワーク１００は、色補正のための周囲照明を評価し得る。上述したように、人工ニューラルネットワーク１００は、異なる照明条件のために修正されたデジタル画像を提供するように事前に訓練されている。いくつかの実施形態では、修正されたデジタル画像は、各画素のＲＧＢ値を含む。人工ニューラルネットワーク１００は、ビデオ画像又は静止デジタル画像の各ピクセルについて色補正を実行することができる。いくつかの実施形態では、数百の人工ニューラルネットワーク１００が並列に動作して、ビデオ画像又は静止デジタル画像内のピクセルの各ピクセルを並列に補正する。

【0034】

ステップＳ３０３及びＳ３０５のビデオ画像又は静止デジタル画像の更なるコンピュータビジョン分析が実行される。更なるコンピュータビジョン分析は、スマートフォン若しくはタブレットコンピュータ２２１によって実行され得るか、又はデスクトップコンピュータ若しくはクラウドサービスにおいて実行され得る。Ｓ３１１において、更なるコンピュータビジョン分析は、キャリブレーションメイクアップが肌に適用された対象ユーザの顔のビデオ画像又は静止デジタル画像内の各画素の色を測定することを含む。

【0035】

キャリブレーション口紅及びキャリブレーションアイシャドウは、その色、光反射値、及び透明度値が基準行列に格納されている。Ｓ３１３において、ビデオ画像又は静止デジタル画像の各画素の色値を、基準行列の色基準値と比較する。同様に、Ｓ３１５において、ビデオ画像又は静止デジタル画像について、光反射値、分散、透明度、及び光効果を測定してもよい。Ｓ３１７において、キャリブレーション口紅及びキャリブレーションアイシャドウの色及びテクスチャの基準値に基づいて、コンピュータビジョン分析を行う。Ｓ３１９において、コンピュータビジョン分析は、基準行列のテクスチャ値及び色値と比較したテクスチャ及び色に関する偏位を評価し、対象ユーザに適用されるものとして、キャリブレーション口紅及びキャリブレーションアイシャドウの色及びテクスチャの変換係数を決定することを含む。

【0036】

Ｓ３２１において、テクスチャ及び色の偏位を含むコンピュータビジョン分析の結果を用いて、対象ユーザの肌の色及び肌のテクスチャの変換色行列を計算する。変換色行列は、様々な色及びテクスチャの仮想化粧品のための、肌の色を変換するための数値係数値と、肌のテクスチャを変換するための数値とを含む。変換色行列は、パーソナライズされたメイクアップを対象ユーザの肌にレンダリングするために使用される。Ｓ３２３において、変換色行列は、パーソナル補正プロファイルを表すファイルに保存される。

【0037】

上記のキャリブレーション処理は、数人の消費者に対して実行されて、各消費者についてパーソナライズされた補正ファイルを生成することができる。

【0038】

次に、Ｓ３２５において、仮想メイクアップトライオン処理は、仮想／デジタル化粧品の色及びテクスチャを考慮し、パーソナライズされた補正プロファイルから推測される変換行列を適用することにより、対象ユーザの元のデジタル画像に対する効果を修正することができる。

【0039】

図４は、本開示の例示的な態様による、パーソナライズされた仮想メイクアップトライオン方法のフロー図である。変換色行列は、色値、肌の色調の偏位、透明度の相違、分散の相違、及び光反射値の相違を含み得る。これらの相違は、特定のキャリブレーションメイクアップに対するものである。訓練された人工ニューラルネットワーク４００は、選択されたメイクアップ製品４０５のための修正されたデジタル画像を出力することができ、これは、パーソナライズされた仮想プロファイル４０３に含まれる個人情報とともに、対象ユーザのビデオ画像又は静止デジタル画像の拡張現実画像４０７を生成するために使用される。修正された画像内の画素値は、画像内の画素の色値を修正された色値に置き換えることによって、拡張現実画像内の色を調節するために使用され得る。修正された色値は、肌の色及びテクスチャを考慮に入れ、顔画像にメイクアップの色を重ね合わせる従来のアプローチよりもより現実的な外観をもたらす。

【0040】

拡張現実画像は、仮想メイクアップアプリ内に唇の分割図として表示されて、２つの異なる提案を同時に示し得る。アプリは、異なる照明条件下で口紅の色をシミュレートすることができる。アプリは、インターシェードをより明るく又はより暗くシミュレートして、消費者が好みのものを選ぶのを助け得る。アプリは、様々な提案を消費者に示して、正しい決定に役立ち得る。

【0041】

図５は、本開示の例示的な態様による、モバイルアプリケーションの表示を示す。表示５５０は、好ましくは対象ユーザの顔全体５０１を示す、対象ユーザのビデオ画像又は静止デジタル画像を含む。対象ユーザは、選択可能なパレットからメイクアップ５０３を選択することができ、アプリは、仮想メイクアップ５０５を適用したユーザの顔の拡張現実画像を作成することができる。

【0042】

図６は、本開示の例示的な態様による、モバイルアプリケーションの表示を示す。表示６５０は、好ましくは対象ユーザの顔全体６０１を示す、対象ユーザのビデオ画像又は静止デジタル画像を含む。対象ユーザは、選択可能なパレットから別のメイクアップ６０３を選択することができ、アプリは、仮想メイクアップ６０５を適用したユーザの顔の拡張現実画像を作成することができる。

【0043】

上記の開示はまた、以下に列挙される実施形態を包含する。

【0044】

（１）処理回路によって、キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定することと、処理回路によって、仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成することと、処理回路によって、仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成することと、を含む方法。

【0045】

（２）口紅を唇に適用することであって、口紅が、キャリブレーション化粧品としての色及び透明度を特徴付ける、適用することと、処理回路によって、口紅が適用されたユーザの顔の１つ以上のデジタル画像をキャプチャすることと、を更に含む、特徴（１）の方法。

【0046】

（３）アイシャドウを眉に適用することであって、アイシャドウが、キャリブレーション化粧品としての色及び透明度を特徴付ける、適用することと、処理回路によって、アイシャドウが適用されたユーザの顔の１つ以上のデジタル画像をキャプチャすることと、を更に含む、特徴（１）又は（２）の方法。

【0047】

（４）制御された厚さの口紅を唇に適用するアプリケータを使用して口紅を適用することを更に含む、特徴（１）～（３）のいずれかの方法。

【0048】

（５）モバイルデバイスの前面カメラを使用して、ユーザの顔のビデオをキャプチャして、１つ以上のデジタル画像を取得することを更に含む、特徴（１）～（４）のいずれかの方法。

【0049】

（６）仮想トライオン表示調整情報を判定することは、変換行列を判定することを含み、変換行列は、肌の色及び肌のテクスチャに関する補正情報を含む、特徴（１）～（５）のいずれかの方法。

【0050】

（７）１つ以上のデジタル画像の色の補正のために、人工ニューラルネットワークを使用して周囲照明を評価することを更に含む、特徴（１）～（６）のいずれかの方法。

【0051】

（８）仮想トライオン表示調整情報を判定することは、処理回路によって、キャリブレーション化粧品が適用された１つ以上のデジタル画像内の各ピクセルの色及びテクスチャを測定することと、処理回路によって、１つ以上のデジタル画像内の各ピクセルの測定された色値及びテクスチャ値を、色及びテクスチャ基準値と比較して、色及びテクスチャの偏位を判定することと、処理回路によって、色及びテクスチャの偏位を使用して変換行列を計算することと、を含む、特徴（１）～（７）のいずれかの方法。

【0052】

（９）修正された仮想トライオン経験の１つ以上のインスタンスを生成することは、処理回路によって、仮想化粧品を選択することと、処理回路によって、選択された仮想化製品の色を調整するために使用される色補正値を生成することと、処理回路により、変換行列に含まれる色及びテクスチャに関する補正情報と色補正値とを用いて、キャプチャされたデジタル画像の拡張現実画像を作製することと、を含む、特徴（６）の方法。

【0053】

（１０）処理回路は、１つ以上の画像の画素値をそれぞれの補正された色値に置き換えることによって、選択された仮想化粧品の色を調整するために色補正値を使用する、特徴（９）の方法。

【0054】

（１１）キャリブレーション化粧品の適用時に撮影された１つ以上のデジタル画像を受信することに応答して、仮想トライオン表示調整情報を判定し、仮想トライオン表示調整情報に少なくとも部分的に基づいて、デジタルトライオン経験を修正するための仮想トライオン表示パラメータを生成し、仮想トライオン表示パラメータに基づいて、ユーザインターフェース上で、修正された仮想トライオン経験の１つ以上のインスタンスを生成するように、構成された処理回路を含む表示システム。

【0055】

（１２）カメラであって、口紅を唇に適用すると、口紅が、キャリブレーション化粧品としての色及び透明度を特徴付け、口紅が適用されたユーザの顔の１つ以上のデジタル画像をキャプチャする、カメラを更に備える、特徴（１１）の表示システム。

【0056】

（１３）カメラであって、アイシャドウを眉に適用すると、アイシャドウが、キャリブレーション化粧品としての色及び透明度を特徴付け、アイシャドウが適用されたユーザの顔の１つ以上のデジタル画像をキャプチャする、カメラを更に含む、特徴（１１）又は（１２）の表示システム。

【0057】

（１４）口紅が、制御された厚さの口紅を唇に適用するアプリケータを使用して適用される、特徴（１２）の表示システム。

【0058】

（１５）前面カメラであって、１つ以上のデジタル画像を取得するためにユーザの顔のビデオをキャプチャする、前面カメラを更に含む、特徴（１１）～（１４）のいずれかの表示システム。

【0059】

（１６）処理回路は、変換行列を判定することを含んで仮想トライオン表示調整情報を判定し、変換行列は、肌の色及び肌のテクスチャに関する補正情報を含む、特徴（１１）～（１５）のいずれかの表示システム。

【0060】

（１７）１つ以上のデジタル画像の色の補正のための周囲照明を評価するための人工ニューラルネットワークを更に含む、特徴（１１）～（１６）のいずれかの表示システム。

【0061】

（１８）処理回路が、キャリブレーション化粧品が適用された１つ以上のデジタル画像内の各ピクセルの色及びテクスチャを測定し、１つ以上のデジタル画像内の各ピクセルの測定された色値及びテクスチャ値を、色及びテクスチャ基準値と比較して、色及びテクスチャの偏位を判定し、色及びテクスチャの偏位を使用して変換行列を計算するように構成されることを含んで、仮想トライオン表示調整情報を判定する、特徴（１１）～（１７）のいずれかの表示システム。

【0062】

（１９）処理回路が、仮想化粧品を選択し、選択された仮想化粧品の色を調整するために使用される色補正値を生成し、変換行列に含まれる色及びテクスチャに関する補正情報と色補正値とを用いて、キャプチャされたデジタル画像の拡張現実画像を作製するように構成されることを含んで、修正された仮想トライオン経験の１つ以上のインスタンスを生成する、特徴（１６）の表示システム。

【0063】

（２０）処理回路は、１つ以上のデジタル画像の画素値をそれぞれの補正された色値に置き換えることによって、選択された仮想化粧品の色を調整するために色補正値を使用するように構成される、特徴（１９）の表示システム。

【0064】

本発明の多数の修正及び変形は、上記の教示に照らして可能である。例えば、様々な消費者の肌の色調及びテクスチャから収集されるデータは、単一以上の消費者への人工ニューラルネットワークのスケーリングを可能にする。人工ニューラルネットワークは、製品の陰影ごとに、新しい化粧品の調合のレンダリングを予測することができるであろう。したがって、添付の特許請求の範囲内で、本発明は、本明細書に具体的に記載される以外の方法で実施され得ることを理解されたい。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【国際調査報告】