特表 2024-502818 顔の肌の色を判定する方法及び対応するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-23

(54)【発明の名称】顔の肌の色を判定する方法及び対応するシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240116BHJP

   G06T 7/90 20170101ALI20240116BHJP

   A61B 5/00 20060101ALI20240116BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

G06T7/90 Z

A61B5/00 M

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023540164

(86)(22)【出願日】2021-12-21

(85)【翻訳文提出日】2023-06-29

(86)【国際出願番号】 EP2021086979

(87)【国際公開番号】W WO2022144233

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】17/139,338

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/139,340

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/139,391

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/139,454

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/139,457

(32)【優先日】2020-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2101039

(32)【優先日】2021-02-03

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＦＩＲＥＷＩＲＥ

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133086

【弁理士】

【氏名又は名称】堀江 健太郎

(72)【発明者】

【氏名】ジョアン・オベール

(72)【発明者】

【氏名】グレゴワール・シャロー

(72)【発明者】

【氏名】アシヤ・シャフマメトヴァ

(72)【発明者】

【氏名】ルイ・デュポン・ドゥ・ディヌシャン

(72)【発明者】

【氏名】エマニュエル・マルエルブ

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XA02

4C117XB01

4C117XB13

4C117XD04

4C117XD05

4C117XK03

4C117XQ11

4C117XQ13

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096EA12

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

ユーザの関心領域の肌の色を判定する本方法は、－ ユーザ計算デバイス（ＡＰＰ）の画像ライブラリ（ＬＩＢ）から、ユーザの関心領域の表現を含む少なくとも１つの画像（ＩＭｋ）をインポートすること、－ それぞれのインポートされた画像（ＩＭｋ）について、前記少なくとも１つのインポートされた画像（ＩＭｋ）内に存在する関心領域の肌の色を表す数値（ＣｌｒＥｓｔｍ＿ｋ）を提供するのに適した機械学習モデル（ＡＩ＿ＴＳ）を用いて、前記少なくとも１つの画像（ＩＭｋ）の処理（ＴＳ）を行うこと、－ それぞれのインポートされた画像の前記１つ又は複数の数値（ＣｌｒＥｓｔｍ＿ｋ）に基づいて、関心領域の肌の色の評価（ＥＶＡＬ）を行うことを含む。

【特許請求の範囲】

【請求項1】

ユーザの関心領域の肌の色を判定する方法であって、
－ ユーザ計算デバイス（ＡＰＰ）の画像ライブラリ（ＬＩＢ）から、前記ユーザの前記関心領域の表現を含む少なくとも１つの画像（ＩＭｋ）をインポートすること、
－ それぞれのインポートされた画像（ＩＭｋ）について、前記少なくとも１つのインポートされた画像（ＩＭｋ）内に存在する前記関心領域の前記肌の色を表す数値（ＣｌｒＥｓｔｍ＿ｋ）を提供するのに適した機械学習モデル（ＡＩ＿ＴＳ）を用いて、前記少なくとも１つの画像（ＩＭｋ）の処理（ＴＳ）を行うこと、
－ それぞれのインポートされた画像の前記１つ又は複数の数値（ＣｌｒＥｓｔｍ＿ｋ）に基づいて、前記関心領域の前記肌の色の評価（ＥＶＡＬ）を行うこと
を含む方法。

【請求項2】

前記ユーザの前記関心領域は、前記ユーザの顔である、請求項１に記載の方法。

【請求項3】

－ 前記少なくとも１つの画像（ＩＭｋ）は、前記それぞれの画像の作成をタイムスタンプするメタデータ（ＭＴＤｋ，ｔｓ）を含み、
－ 前記肌の色の前記評価（ＥＶＡＬ）は、現在の日付及びそれぞれのタイムスタンプメタデータ（ｔｓ）に従って重み付け（ｗｇｈｔ２）された各画像の前記数値（ＣｌｒＥｓｔｍ＿ｋ）に基づいて行われる、請求項１又は２に記載の方法。

【請求項4】

各画像の前記数値（ＣｌｒＥｓｔｍ＿ｋ）は、１年の季節の経過における前記肌の色の色合いの変化を考慮するために、前記現在の日付及びそれぞれのタイムスタンプメタデータ（ｔｓ）に従って重み付け（ｗｇｈｔ２）される、請求項３に記載の方法。

【請求項5】

前記１年の季節の経過における前記肌の色の色合いの前記変化を考慮した前記重み付け（ｗｇｈｔ２）は、前記肌の色の前記評価（ＥＶＡＬ）が、前記現在の日付後になるであろう前記肌の色の予測を提供するように行われる、請求項４に記載の方法。

【請求項6】

－ 前記少なくとも１つの画像（ＩＭｋ）は、前記それぞれの画像の作成をタイムスタンプするメタデータ（ＭＴＤｋ，ｔｓ）及び／又は前記それぞれの画像の作成をジオロケートするメタデータ（ＭＴＤｋ，ｇｅｏＬｏｃ）を含み、
－ 前記処理（ＴＳ）は、前記それぞれのメタデータ（ＭＴＤｋ）に応じた各画像（ＩＭｋ）の色温度の補正（ＴｅｍｐＣｏｒｒ）を含む前処理（Ｐ＿ＴＳ）を含む、請求項１又は５に記載の方法。

【請求項7】

各画像の色温度の前記補正（ＴｅｍｐＣｏｒｒ）は、前記それぞれのメタデータ（ＭＴＤｋ）に対応する気象アーカイブデータ（ＡｒｃｈＭｅｔｅｏ）にさらに従って行われ、前記それぞれの画像の作成の照明条件の色温度を推定することを可能にする、請求項６に記載の方法。

【請求項8】

－ 前記インポートすることは、前記ユーザの基準顔を表す基準画像（ＩＭｒｅｆ）を取得することをさらに含み、
－ 前記処理は、顔認識（ＦｃｅＲｅｃｏ）を介して、前記ユーザ計算デバイスの前記画像ライブラリからインポートされた前記少なくとも１つの画像（ＩＭｋ）内の前記基準顔を選択することを含む前処理（Ｐ＿ＴＳ）を含む、請求項２との組み合わせにおける請求項１又は７に記載の方法。

【請求項9】

前記基準画像（ＩＭｒｅｆ）を取得することは、前記ユーザの分離された前記関心領域の写真取り込み（ＰｈｔＳｌｆ）、又は前記ユーザにより、前記画像ライブラリの前記画像（ＩＭｋ）の中から、分離された前記関心領域を表す画像を識別することを含む、請求項８に記載の方法。

【請求項10】

前記機械学習モデル（ＡＩ＿ＴＳ）は、事前に訓練された（ＴＲＮ）畳み込みニューラルネットワークである、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記関心領域の前記肌の色の前記評価（ＥＶＡＬ）に基づいて、少なくとも１つの化粧品を推奨することをさらに含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

ユーザの関心領域の肌の色を判定するためのシステムであって、
－ ユーザ計算デバイス（ＡＰＰ）と通信するのに適しており、且つ前記ユーザ計算デバイス（ＡＰＰ）の画像ライブラリ（ＬＩＢ）から、前記ユーザの前記関心領域の表現を含む少なくとも１つの画像（ＩＭｋ）をインポートするように構成される通信手段（ＣＯＭ）、
－ それぞれのインポートされた画像（ＩＭｋ）について、前記少なくとも１つのインポートされた画像（ＩＭｋ）内に存在する前記関心領域の前記肌の色を表す数値（ＣｌｒＥｓｔｍ＿ｋ）を提供するのに適した機械学習モデル（ＡＩ＿ＴＳ）を用いて、前記少なくとも１つの画像（ＩＭｋ）の処理（ＴＳ）を行うように構成された処理手段（ＰＵ）
を含み、
－ 前記処理手段（ＰＵ）は、それぞれのインポートされた画像の前記１つ又は複数の数値（ＣｌｒＥｓｔｍ＿ｋ）に基づいて、前記関心領域の前記肌の色の評価（ＥＶＡＬ）を行うようにさらに構成される、システム。

【請求項13】

前記通信手段（ＣＯＭ）は、請求項２～１１のいずれか一項に記載の方法の前記インポートするステップを実装するようにさらに構成され、及び前記処理手段（ＰＵ）は、請求項２～１１のいずれか一項に記載の方法の前記処理（ＴＳ）及び評価（ＥＶＡＬ）を行うステップを実装するようにさらに構成される、請求項１２に記載のシステム。

【請求項14】

前記画像ライブラリ（ＬＩＢ）の前記少なくとも１つの画像（ＩＭｋ）を前記通信手段（ＣＯＭ）と通信するように構成された前記ユーザ計算デバイス（ＡＰＰ）をさらに含む、請求項１２又は１３に記載のシステム。

【請求項15】

前記通信手段（ＣＯＭ）は、電気通信ネットワーク（ＲＥＳ）を介して前記ユーザ計算デバイス（ＡＰＰ）と通信するのに適している、請求項１２～１４のいずれか一項に記載のシステム。

【請求項16】

コンピュータプログラムであって、前記プログラムがコンピュータによって実行されると、前記コンピュータに、請求項１～１１のいずれか一項に記載の方法を実装させる命令を含むコンピュータプログラム。

【請求項17】

命令であって、前記命令がコンピュータによって実行されると、前記コンピュータに、請求項１～１１のいずれか一項に記載の方法を実装させる命令を含むコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実装及び実施形態の態様は、例えば、限定しないが、特に化粧品の推奨に関連して、顔の肌の色を判定する方法及び対応するシステムに関する。

【背景技術】

【0002】

特にモバイル計算デバイスを介してオンラインで製品を購入することは、消費者がナビゲートして製品を入手するための実用的な方法である。閲覧履歴、購入履歴、コメント、製品スコア等の分析に従い、興味を持ちそうな製品の推奨をオンライン購入者に提供するための様々な技術が存在する。

【0003】

しかしながら、ある種の製品は、対面での対話をオンライン体験に置き換えることが困難である。例えば、ファンデーションなどの美容製品又は他のメイクアップ製品は、オンラインで検索することが難しく、自動化された方法で推奨することが困難である。これは、主に推奨の最も妥当な根拠となる消費者の特徴、すなわち特に顔の肌の色が、自動化された方法で推定することが困難であるという事実に起因する。消費者の画像又は映像を取り込んだとしても、制御されない環境のため、画像処理には技術的な制限があるため、従来、この画像又は映像を使用して肌の色を確実に判定することはできない。様々な場所間で照明条件に一貫性がないと、異なる場所で画像又は映像内の色の再現も異なり、したがって判定される肌の色が照明条件によって異なる。

【0004】

２０２０年７月９日に出願され、２０１９年７月１８日に出願された仮特許出願（特許文献１）の優先権を主張した（特許文献２）は、照明条件に関係なく、画像内の肌の色を正確に推定するために、これらの技術的な制限の克服を可能にする技法を記載している。

【0005】

特に、特許出願（特許文献２）は、少なくとも１つの機械学習モデルを使用して肌の色の自動的な推定を生成するシステムを記載している。ユーザは、写真センサを備えたモバイル計算デバイスを有し、写真センサを用いてその顔の１つ又は複数の画像を取り込む。モバイル計算デバイスは、１つ又は複数の画像を、肌の色を判定するためのデバイスに送信し、肌の色を判定するためのデバイスは、この１つ又は複数の画像に基づいて、１つ又は複数の機械学習モデルを使用して肌の色を判定する。

【0006】

例えば、ユーザは、１つの分離された画像の代わりに映像を録画することによって複数の画像を取り込み、したがって映像の取り込み中にモバイル計算デバイスを移動させることによって照明条件を修正し得る。様々な照明条件下における複数の画像が提供されると、機械学習モデルを使用して肌の色の複数の判定を生成することができ、次いでそれを平均化するか又は他に組み合わせて判定の精度を向上させることができる。

【0007】

特許出願（特許文献２）の上記で概説した技法には、ユーザ自身が画像の取り込みを行わなければならないという欠点があり、これは、場合により面倒であるか又は特定の状況では不可能でさえある。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】米国特許出願公開第１６／５１６０８０号明細書

【特許文献2】ＰＣＴ／米国特許出願公開第２０２０／０４１３５０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0009】

したがって、照明条件が多様であり、原則として未知である画像に基づいて、ユーザがその肌の色を正確に判定するために必要な労力を制限することが望ましいであろう。

【課題を解決するための手段】

【0010】

この点に関して、ユーザの関心領域、例えばユーザの顔の肌の色を判定する方法が提案され、この方法は、
－ ユーザ計算デバイスの画像ライブラリから、ユーザの関心領域の表現を含む少なくとも１つの画像をインポートすること、
－ それぞれのインポートされた画像について、前記少なくとも１つのインポートされた画像内に存在する関心領域の肌の色を表す数値を提供するのに適した機械学習モデルを用いて、前記少なくとも１つの画像の処理を行うこと、
－ それぞれのインポートされた画像の前記１つ又は複数の数値に基づいて、関心領域の肌の色の評価を行うこと
を含む。

【0011】

例えば、ユーザ計算デバイスは、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、スマートウォッチ又は画像ライブラリを有することが可能な任意の他の計算デバイスであり得る。

【0012】

「画像ライブラリ」とは、従来、ユーザ計算デバイスに提供されるディレクトリを意味し、それは、ユーザ計算デバイスのメモリ又はユーザ計算デバイスからアクセス可能なリモートメモリ、例えば「クラウド」タイプのメモリに保存された画像及び写真のすべて又はほぼすべてにアクセスすることができる。

【0013】

前記少なくとも１つの画像は、好ましくは、ユーザ計算デバイスの写真センサを用いて撮られた写真であり、任意選択的に別のデバイスを用いて撮られ、ユーザ計算デバイスにインポートされた写真である。

【0014】

意外にも且つ予想外にも、特許出願ＰＣＴ／米国特許出願公開第２０２０／０４１３５０号明細書の上記で概説した技法のために事前に訓練された機械学習モデルは、画像ライブラリから生成される複数の画像をユーザが提供するとき、より良好な結果、すなわちより正確且つ真実に近い結果を実現することが認められている。

【0015】

具体的には、機械学習モデルは、映像の取り込み中にモバイル計算デバイスの移動によって照明条件が修正される画像を処理するように事前に訓練されているが、照明条件がさらに多様で変化に富む画像、すなわちユーザ計算デバイスの画像ライブラリに存在し得るような画像が処理されるとき、さらに優れた性能を発揮することがわかっている。

【0016】

本発明は、顔の肌の色の判定に特に有利且つ有益に適用可能であるが、それでも、本発明は、別の関心領域、例えば身体の別の部位に少なくとも１つ化粧品を適用することを特に意図して、この関心領域の肌の色の前記評価に基づいて、前記関心領域の肌の色の判定に適用することができる。

【0017】

実装の一態様によれば、前記少なくとも１つの画像は、それぞれの画像の作成（すなわち例えば写真の取り込みの日時）をタイムスタンプするメタデータを含み、及び肌の色の評価は、現在の日付及びそれぞれのタイムスタンプメタデータに従って重み付けされた各画像の数値に基づいて行われる。

【0018】

重み付けは、例えば、肌の色の評価において、古すぎる写真には重みを減らすか、又はごく最近の写真には重みを増すように、写真が撮られた日付に従い、画像に対する信頼度の指標を割り当てることに対応し得る。

【0019】

実装の一態様によれば、各画像の数値は、１年の季節の経過における肌の色の色合いの変化を考慮するために、現在の日付及びそれぞれのタイムスタンプメタデータに従って重み付けされる。

【0020】

具体的には、肌の色の色合いの変化、換言すれば日焼けは、特定の人々では大きい振幅を有する場合があり、自然に（すなわち人工的な日焼け方法を無視して）１年の季節と密接に相関している。このため、この実装の態様は、例えば、現在の日付の季節とは反対の季節に撮られた写真には重みを減らし、現在の日付の季節と同じ季節に撮られた写真には重みを増すように提供することができる。

【0021】

有利には、１年の季節の経過における肌の色の色合いの変化を考慮した重み付けは、肌の色の前記評価が、現在の日付後になるであろう肌の色の予測を提供するように行われる。

【0022】

例えば、この実装の態様は、現在の日付の季節よりも前の季節に撮られた写真には重みを減らし、現在の日付の季節よりも後に続く季節に撮られた写真には重みを増やすように提供することができる。

【0023】

実装の一態様によれば、前記少なくとも１つの画像は、それぞれの画像の作成をタイムスタンプするメタデータ及び／又はそれぞれの画像の作成をジオロケートする（ｇｅｏｌｏｃａｔｅ）メタデータ（すなわち例えば写真を取り込んだ場所のＧＰＳ座標）を含み、及び処理は、それぞれのメタデータに従って各画像の色温度を補正することを含む前処理を含む。

【0024】

具体的には、タイムスタンプメタデータ及びジオロケーションメタデータにより、補償が行われるそれぞれの色温度を用いて照明条件を推測することが可能になる。例えば、タイムスタンプメタデータは、写真が昼間に撮られたか又は夜間に撮られたかを示すことができ、ジオロケーションメタデータは、写真が屋内空間で撮られたか又は屋外空間で撮られたかをさらに示すことができる。

【0025】

有利には、各画像の色温度の補正は、それぞれのメタデータに対応する気象アーカイブデータにさらに従って行われ、それぞれの画像の作成の照明条件の色温度を推定することを可能にする。

【0026】

気象アーカイブデータにより、確実に、所与の日付及び所与の場所、特に日中の時間帯及び夜間の時間帯、日の出から日没までの時間並びに日照条件を知ることが可能になる。これにより、照明条件に関する推測の精度を向上させ、色温度の補正を改良することが可能になる。

【0027】

ユーザの関心領域がユーザの顔である実装の一態様によれば、インポートすることは、ユーザの基準顔を表す基準画像を取得することをさらに含み、及び処理は、顔認識を介して、ユーザ計算デバイスの画像ライブラリからインポートされた前記少なくとも１つの画像内の基準顔を選択することを含む前処理を含む。

【0028】

これにより、例えば画像が誤ってインポートされた場合又は画像が複数の顔を含む場合、処理時に様々な人々の様々な顔を考慮することにより、肌の色の評価を損なわないようにすることが可能になる。

【0029】

例えば、基準画像を取得することは、ユーザの分離された関心領域の写真取り込み、又はユーザにより、前記画像ライブラリの画像の中から、分離された関心領域を表す画像を識別することを含む。

【0030】

実装の一態様によれば、機械学習モデルは、事前に訓練された畳み込みニューラルネットワークである。

【0031】

実装の一態様によれば、方法は、関心領域の肌の色の前記評価に基づいて、少なくとも１つの化粧品を推奨することをさらに含む。

【0032】

ユーザの関心領域の肌の色を判定するためのシステムであって、ユーザ計算デバイスと通信するのに適しており、且つユーザ計算デバイスの画像ライブラリから、ユーザの関心領域の表現を含む少なくとも１つの画像をインポートするように構成される通信手段を含むシステムも提供される。このシステムは、それぞれのインポートされた画像について、前記少なくとも１つのインポートされた画像内に存在する関心領域の肌の色を表す数値を提供するのに適した機械学習モデルを用いて、前記少なくとも１つの画像の処理を行うように構成され、且つそれぞれのインポートされた画像の前記１つ又は複数の数値に基づいて、関心領域の肌の色の評価を行うようにさらに構成された処理手段を含む。

【0033】

ユーザ計算デバイスと通信するのに適しており、且つ上記で定義したような方法のインポートするステップを実装するように構成される通信手段と、上記で定義したような方法の処理及び評価を行うステップを実装するように構成される処理手段とを含むシステムも提供される。

【0034】

実施形態の一態様によれば、システムは、画像ライブラリの前記少なくとも１つの画像を通信手段に通信するように構成されたユーザ計算デバイスをさらに含む。

【0035】

実施形態の一態様によれば、通信手段は、インターネットなどの電気通信ネットワークを介してユーザ計算デバイスと通信するのに適している。

【0036】

コンピュータプログラムであって、プログラムがコンピュータによって実行されると、コンピュータに、上記で定義したような方法を実装させる命令を含むコンピュータプログラムも提供される。

【0037】

命令であって、命令がコンピュータによって実行されると、コンピュータに、上記で定義したような方法を実装させる命令を含むコンピュータ可読媒体も提供される。

【0038】

本発明の他の利点及び特徴は、完全に非限定的な実施形態及び実装の態様の詳細な説明並びに以下の添付図面を検討することで明らかになるであろう。

【図面の簡単な説明】

【0039】

【図1】本発明の実施形態及び実装の態様を図示する。

【図2】本発明の実施形態及び実装の態様を図示する。

【図3】本発明の実施形態及び実装の態様を図示する。

【発明を実施するための形態】

【0040】

図１は、機械学習モデルＡＩ＿ＴＳを用いて前記少なくとも１つの画像ＩＭｉ、ＩＭｊ、ＩＭｋの処理ＴＳを行うように構成され、１つ又は複数の画像ＩＭｉ、ＩＭｊ、ＩＭｋ内に存在するユーザの関心領域の肌の色を評価ＥＶＡＬするように構成された処理手段ＰＵを含むシステムＳＹＳの一例を示す。

【0041】

便宜上及び非限定的な任意の選択の結果として、「前記少なくとも１つの画像」で構成されたセットが複数の画像で構成される場合について説明する。「前記少なくとも１つの画像」で構成されたセットが単一の画像で構成される場合の実装は、すべての点で類似している。

【0042】

同じ理由のため、ユーザの関心領域がユーザの顔である非限定的な場合に関しても説明する。

【0043】

機械学習モデルは、各画像ＩＭｋについて、画像ＩＭｋのそれぞれに存在する顔の肌の色を表す数値ＣｌｒＥｓｔｍ＿ｋを提供するように構成及び訓練される。

【0044】

評価ＥＶＡＬを行うための手段は、各画像の数値ＣｌｒＥｓｔｍ＿ｋに基づいて顔の肌の色を評価するように構成される。例えば、この評価は、重み付けされるかどうかにかかわらず、平均値又は中央値の計算など、値ＣｌｒＥｓｔｍ＿ｋを組み合わせる計算を含むことができる。

【0045】

通信手段ＣＯＭは、ユーザ計算デバイスＡＰＰと通信するのに適しており、且つユーザ計算デバイスＡＰＰの画像ライブラリＬＩＢから前記画像ＩＭｉ、ＩＭｊ、ＩＭｋを受信ＩＮ＿ＤＡＴするように構成される。

【0046】

特に、ユーザ計算デバイスＡＰＰは、処理手段ＰＵによる画像のインポートＩＮ＿ＤＡＴ中に画像ＩＭｉ、ＩＭｊ、ＩＭｋを送信することを意図して、例えばソフトウェアを介して、アプリケーション又はウェブサイトの実行を介して、処理手段ＰＵと協働するように特別に構成することができるという意味でシステムＳＹＳに属し得る。

【0047】

ユーザ計算デバイスＡＰＰ及び通信手段ＣＯＭは、ワイヤレス通信技術、例えばＷｉ－Ｆｉ、Ｗｉ－ＭＡＸ、Ｂｌｕｅｔｏｏｔｈ、２Ｇ、３Ｇ、４Ｇ、５Ｇ及びＬＴＥ又は有線通信技術、例えばＥｔｈｅｒｎｅｔ、ＦｉｒｅＷｉｒｅ及びＵＳＢなど、任意の適切な通信技術を使用して通信することができる。特に、ユーザ計算デバイス及び肌の色を判定するためのデバイスは、少なくとも部分的にインターネットを介して通信することができる。

【0048】

ユーザ計算デバイスＡＰＰは、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、スマートウォッチ又は画像ライブラリＬＩＢを有することが可能な任意の他の計算デバイスであり得る。

【0049】

画像ライブラリＬＩＢは、従来、ユーザ計算デバイスＡＰＰのインターフェイスに提供されたディレクトリであり、それは、ユーザ計算デバイスＡＰＰの内部不揮発性メモリＩＮＴ＿ＮＶＭに保存された画像及び写真ＩＭ１～ＩＭ４、ＩＭｋのすべて又はほぼすべてにアクセスすることができる。ライブラリＬＩＢの画像及び写真ＩＭ１～ＩＭ４、ＩＭｋは、同様に又は代わりに、ユーザ計算デバイスＡＰＰからアクセス可能なサーバＣＬＤのリモートメモリ（例えば、よく知られた表現を使用すれば「クラウド」）に保存され得る。

【0050】

前記少なくとも１つの画像ＩＭ１～ＩＭ４、ＩＭｋは、好ましくは、ユーザ計算デバイスＡＰＰの写真センサＣＡＭを用いて撮られた顔の写真であるか、又は別のデバイスを用いて撮られ、ユーザ計算デバイスＡＰＰの画像ライブラリＬＩＢにインポートされた顔の写真である。

【0051】

画像ＩＭｋのライブラリの画像ＩＭ１～ＩＭ４，ＩＭｋは、ＪＰＥＧ形式（ＪＰＥＧは、ジョイントフォトグラフィックエキスパーツグループ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）の略）、ＰＮＧ形式（ＰＮＧは、ポータブルネットワークグラフィックス（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）の略）、ＧＩＦＦ形式（ＧＩＦＦは、グラフィックスインターチェンジフォーマット（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）の略）、ＴＩＦＦ形式（ＴＩＦＦは、タグドイメージファイルフォーマット（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）の略）又は任意の他の画像形式など、デジタル画像データ形式を有する。

【0052】

有利には、画像ＩＭｋのライブラリの各画像ＩＭ１～ＩＭ４、ＩＭｋは、画像に関する多様な情報を提供するメタデータＭＴＤ１～ＭＴＤ４、ＭＴＤｋをさらに含む。

【0053】

特に、ライブラリＬＩＢの画像ＩＭ１～ＩＭ４、ＩＭｋの少なくとも特定の画像は、それぞれの画像の作成の日時に関する情報を提供するタイムスタンプメタデータ及び／又はそれぞれの画像の作成の場所に関する情報を提供するジオロケーションメタデータを含む。

【0054】

以下で図２を参照するとわかるように、タイムスタンプメタデータ及び／又はジオロケーションメタデータは、機械学習モデルＡＩ＿ＴＳによる処理及び肌の色の評価ＥＶＡＬの改良及び向上を可能にし得る。

【0055】

機械学習モデルＡＩ＿ＴＳによってこのように得られた肌の色は、実物通りであり、各ユーザの肌の色と厳密に相関する１つ又は複数の化粧品、特にファンデーション、パウダー及びファンデーション及びパウダーの別形並びにユーザの肌の色を補完するであろう化粧品又はユーザの肌の色に適しているであろう化粧品を推奨するために後で使用することができる。

【0056】

ここで、図２を参照する。

【0057】

図２は、特に図１を参照して説明したシステムの処理手段ＰＵによって実装されている、顔の肌の色を判定する方法の一例を図示する。

【0058】

この方法は、図１を参照して説明したような方法でユーザ計算デバイスの画像ライブラリＬＩＢから少なくとも１つの画像ＩＭｋをインポートＩＮ＿ＤＡＴすることを含む。

【0059】

この例で実装されている前記少なくとも１つの画像ＩＭｋの処理ＴＳは、前処理Ｐ＿ＴＳと、前記少なくとも１つの画像ＩＭｋ内に存在する顔の肌の色を表す数値ＣｌｒＥｓｔｍ＿ｋを提供するように構成された機械学習モデルＡＩ＿ＴＳを用いた処理とを含む。

【0060】

前処理Ｐ＿ＴＳは、画像ＩＭｋを機械学習モデルＡＩ＿ＴＳに適した形式に変換することを含む。特に、前処理Ｐ＿ＴＳは、それ自体既知である従来の顔検出メカニズムＦｃｅＤｅｔを介して、顔を含む画像の１つ又は複数の部分を分離し、顔を含む画像の部分をセンタリング及びスケーリングＣｎｔｒ＋Ｓｃｌして、機械学習モデルに正規化されたデータを提供するのに適している。

【0061】

要するに、センタリングＣｎｔｒは、顔を含む部分のみを保全するように画像を切り抜きすることを含むことができ、スケーリングＳｃｌは、切り抜き画像を拡大又は縮小することと、切り抜き画像の画素のアンダーサンプリング又はオーバーサンプリングを行って、設定サイズ及び設定解像度を有する切り抜き画像を提供するようにすることとを含む。

【0062】

有利には、前処理は、それ自体既知である従来の顔認識メカニズムＦｃｅＲｅｃｏを介して、同じ顔を含む切り抜き画像を選択することをさらに含む。

【0063】

顔認識ＦｃｅＲｅｃｏは、対象となる顔、すなわち基準画像ＩＭｒｅｆ内で提供される基準顔を識別し、検出する。有利には、基準顔は、基準画像ＩＭｒｅｆ内で分離される。すなわち、基準顔は、基準画像ＩＭｒｅｆ内に存在する唯一の顔である。

【0064】

基準画像ＩＭｒｅｆは、例えば、ユーザ計算デバイスの画像ライブラリＬＩＢからインポートされ、ユーザによって基準画像ＩＭｒｅｆであると識別することができる。代わりに、基準画像ＩＭｒｅｆは、ユーザがユーザ計算デバイスの写真センサ（ＣＡＭ）を用いて撮ることができ、有利には、基準顔としてユーザの顔を分離して含むようにするための、自撮りの顔写真（従来の「セルフィー」）ＰｈｔＳｌｆである。

【0065】

図１を参照して上述したように、画像ライブラリの画像ＩＭｋは、メタデータＭＴＤｋを有利に含む。この場合、前処理Ｐ＿ＴＳは、インポートされた画像の色温度の補正ＴｅｍｐＣｏｒｒを有利に含むことができ、補正は、それぞれのメタデータＭＴＤｋに従って確立される。

【0066】

色温度は、当業者によく知られた量であり、通常、単位ケルビンで測定され、黒体の熱放射の理論的原理との比較により光源を特徴付けする。

【0067】

有利には、各画像の色温度の補正は、気象アーカイブデータ及び地理的データなど、外部データＥＸＴ＿ＭＴＤにさらに従って行われ、それぞれのメタデータＭＴＤｋに対応して、それぞれの画像の作成の照明条件の色温度を推定することを可能にする。

【0068】

具体的には、タイムスタンプメタデータＭＴＤｋ ｔｓ及びジオロケーションメタデータＭＴＤｋ ｇｅｏｌｏｃにより、補償が行われるそれぞれの色温度を用いて照明条件を推測することが可能になる。例えば、タイムスタンプメタデータｔｓは、写真が昼間に撮られたか又は夜間に撮られたかを示すことができ、ジオロケーションメタデータｇｅｏｌｏｃは、写真が屋内空間で撮られたか又は屋外空間で撮られたかをさらに示すことができる。

【0069】

気象アーカイブデータにより、確実に、所与の日付及び所与の場所、特に日中の時間帯及び夜間の時間帯、日の出から日没までの時間並びに日照条件を知ることが可能になる。これにより、照明条件に関する推測の精度を向上させ、色温度の補正を改良することが可能になる。

【0070】

前処理手段Ｐ＿ＴＳによる色温度の補正ＴｅｍｐＣｏｒｒは、例えば、メタデータＭＴＤｋ、任意選択的に前記メタデータＭＴＤｋが添え字された外部データＥＸＴ＿ＭＴＤによって満たされる可能性のある条件のリストを用いることができる。

【0071】

ルックアップテーブルは、場合により、いずれの条件が満たされるかどうかに従い、特定の色温度補正を選択することができる。

【0072】

例えば、単純な可能な条件の中から、「明け方」、「昼間」、「夜間」、「夕刻」、「屋内」、「屋外」、「晴天」、「曇天」、「降雨」、「降雪」等を挙げることができる。この点に関して、他の条件及びより複雑な条件も想像及び想定し得る。

【0073】

例えば、メタデータＭＴＤｋが「夜間」及び「屋内」という条件を反映する場合、場合により、色温度補正が行われて、「屋内照明」又は「白熱電球」タイプの照明を補正する。メタデータＭＴＤｋが「夕刻」、「屋外」及び「日光」という条件を反映する場合、場合により、色温度補正が行われて、日没型の照明を補正する。

【0074】

色温度の補正ＴｅｍｐＣｏｒｒのメカニズムは、デベイヤリング（ｄｅｂａｙｅｒｉｎｇ）又はデモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）技法と同等のものであり、このような技法は、従来、画像が保存される前に写真センサによって取り込まれたＲＡＷ画像のＲＧＢチャネルを個々にリバランスするために使用される。

【0075】

そのため、色温度の補正ＴｅｍｐＣｏｒｒのメカニズムは、インポートされた画像ＩＭｋで、メタデータＭＴＤｋを介して評価される条件に従ってポイントが個別調整されるデベイヤリング又はデモザイキングマトリクスを有利に使用する。これらの調節は、次いで、静止画像ファイルに統合され、画像内の１つの要素の色が常にわかっている（例えば、目の白色又はそれよりも程度は小さいが歯の白色など）という前提で検証される。

【0076】

顔ＦｃｅＤｅｔ上でこのようにセンタリングＣｎｔｒされ、スケーリングＳｃｌされ、任意選択的に選択ＦｃｅＲｅｃｏされ、任意選択的に補正ＴｅｍｐＣｏｒｒされた画像ＩＭｋが機械学習モデルＡＩ＿ＴＳに提供される。

【0077】

機械学習モデルＡＩ＿ＴＳは、各画像ＩＭｋ内に存在する顔の肌の色を表す数値ＣｌｒＥｓｔｍ＿ｋを計算する。

【0078】

例えば、機械学習モデルＡＩ＿ＴＳは、例えば、特許出願ＰＣＴ／米国特許出願公開第２０２０／０４１３５０号明細書に記載されているような方法又は図３を参照して以下で概説されているような方法において、事前に訓練された畳み込みニューラルネットワークを介して実装することができる。機械学習モデルＡＩ＿ＴＳは、順伝播型ニューラルネットワーク又は再帰型ニューラルネットワークでもあり得る。任意の適切な訓練技法、特に確率的勾配降下法、バッチ勾配降下法及びミニバッチ勾配降下法などの勾配降下法の技法を使用することができる。

【0079】

さらに、機械学習モデルＡＩ＿ＴＳは、画像内の異常な画像取り込み条件、特に不適合な画像取り込み角度などを検出することにより、適合画像ＩｍＳｅｌを選択することが可能であり得る。

【0080】

この適合画像の選択は、２段階で行うことができる。第１に、機械学習モデルが、条件が満たされること（例：顔が写真センサを見ていること、画像内の顔が１つのみであること、顔が実際に画像内にあること）を明示的に試験することを可能にする。この最初のフィルタリング段階後、品質スコアｗｇｈｔ１を使用して第２の選択が行われ、これは、例えば、モデルＡＩ＿ＴＳの訓練中に弱教師付きの方法で学習される。品質スコアｗｇｈｔ１は、純粋に統計的であるとともに、訓練中のモデルＡＩ＿ＴＳの精度を向上させるように特に最適化される。

【0081】

このように、機械学習モデルＡＩ＿ＴＳは、各結果に第１の重みｗｇｈｔ１を割り当てることができ、特に異常な結果を廃棄することが可能になる。

【0082】

機械学習モデルＡＩ＿ＴＳが、各画像ＩＭｋに対して数値ＣｌｒＥｓｔｍ＿ｋを提供したら、前記数値ＣｌｒＥｓｔｍ＿ｋ及びそれぞれの第１の重みｗｇｈｔ１に基づいて、顔の肌の色の評価ＥＶＡＬが行われる。

【0083】

例えば、評価ＥＶＡＬは、第１の重みｗｇｈｔ１で重み付けされた平均値又は中央値の計算など、値ＣｌｒＥｓｔｍ＿ｋを組み合わせる計算を含むことができる。

【0084】

さらに、評価は、第２の重みｗｇｈｔ２によって有利に重み付けすることができるが、これは、１年の季節の経過における肌の色の色合いの変化、すなわち肌の日焼けを考慮するために、それぞれの画像のメタデータＭＴＤｋ、特にタイムスタンプメタデータｔｓに基づいて取得される。

【0085】

具体的には、現在の日付の季節と同じ季節、すなわち開示された技法を使用して顔の肌の色が判定される日付の季節に撮られた写真を選択することが望ましい場合がある。

【0086】

例えば、日付が現在の日付の季節と反対の季節の日付である画像の重みは、値の低い第２の重みｗｇｈｔ２を使用して減らすことができ、一方、日付が現在の日付の季節と同じ季節の日付である画像の重みは、値の高い第２の重みｗｇｈｔ２を使用して増やすことができる。

【0087】

有利には、第２の重みｗｇｈｔ２は、肌の色の前記評価ＥＶＡＬが、現在の日付後になるであろう肌の色の予測を提供するように判定することができる。

【0088】

例えば、これは、日付が現在の日付の季節よりも前の季節の日付である画像には重みを減らし、且つ日付が現在の日付の季節の後に続く季節の日付である画像には重みを増やすことによって実現することができる。

【0089】

分光測色計（又は「分光光度計」）を用いて肌の色を季節の関数として測定することにより、夏では、冬に比べて平均的な肌の色調に変化が生じることが明らかになった。これらの測定は、母集団における巨視的な変動を確立することを可能にし、前記第２の重みｗｇｈｔ２を判定することを意図して評価ＥＶＡＬのモデルに統合される。

【0090】

図３は、図１及び図２を参照して上記で説明したような、少なくとも１つの画像ＩＭｋ内に存在する顔の肌の色を表す数値ＣｌｒＥｓｔｍ＿ｋの提供の実現を意図した機械学習モデルＡＩ＿ＴＳの訓練ＴＲＮの実装の非限定的な例を図示する。

【0091】

訓練は、追加の訓練手段ＴＲＮを含む処理手段ＰＵによって実装することができ、特にデータを受信するための手段ＩＮ＿ＤＡＴ、前処理手段Ｐ＿ＴＳ、機械学習モデルＡＩ＿ＴＳ及び評価手段ＥＶＡＬを制御するように構成される。

【0092】

「グラウンドトゥルース」と呼ばれる情報である、事実上の肌の色の情報ＧＲＮＤ＿ＴＲＴＨに関連付けされた訓練画像ＩＮ＿ＤＡＴのセットは、機械学習モデルＡＩ＿ＴＳの訓練ＴＲＮを実装するために収集される。

【0093】

肌の色に関するグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨは、訓練対象、すなわちパネリストと呼ばれるボランティアによって提供された画像をラベリングするための経験的実証又は情報として使用される。

【0094】

例えば、グラウンドトゥルースＧＲＮＤ＿ＴＲＴＨは、カラーチャートとの比較又は肌の色の測定専用の分光光度計による評価など、業界において標準的な肌の色を判定するための技法を使用して、ユーザによって収集することができる。

【0095】

カラーチャートとの比較では、画像の一部分には、既知の基準カラーチャートの表現が含まれる場合があり、基準カラーチャートの表現を元の色に戻す画像の色の補正により、前記色の補正後に画像内に存在する肌の色に関するグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨを判定することを可能にし得る。

【0096】

例えば、グラウンドトゥルースＧＲＮＤ＿ＴＲＴＨを提供する色の補正は、訓練手段ＴＲＮによるコマンドに従い、前処理Ｐ＿ＴＳにおいて実装することができる。

【0097】

分光光度計は、パネリストの皮膚に少なくとも１回使用することができ、分光光度計によって測定された色は、多少のカラーコードの変換があるにしても、場合によりグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨとして直接使用される。

【0098】

訓練画像ＩＮ＿ＤＡＴのセットは、図１を参照して上記で説明したデバイスＡＰＰと同じタイプのユーザ計算デバイスを介してパネリストによって提供される。

【0099】

例えば、訓練画像ＩＮ＿ＤＡＴは、パネリストのユーザ計算デバイスの、パネリストの顔を含む１つ又は複数の訓練画像を取り込むための感光センサＣＡＭの使用を介してインポートされる。訓練画像は、例えば、自撮りモードで撮られた個々の写真ＰｈｔＳｌｆ又は例えば自撮りモードで撮られた少なくとも１つの映像の録画Ｖｉｄ３６０から引き出すことができ、訓練画像では、照明条件は、例えば、パネリストの顔を中心にデバイスを回転させるなどして、視点を移動させることによって修正され得る。

【0100】

その後、映像Ｖｉｄ３６０から個々の画像を抽出することにより、複数の訓練画像を生成することができる。

【0101】

複数の訓練画像を引き出すことができる映像を取り込むことは、少なくとも様々な照明条件下で大量の訓練データを生成する効率を大幅に向上させるため、有利な場合がある。

【0102】

必要に応じて、当業者は、特許出願ＰＣＴ／米国特許出願公開第２０２０／０４１３５０号明細書に記載された機械学習モデルの訓練の説明を参照することができる。

【0103】

訓練プロセスの実装中、前処理Ｐ＿ＴＳは、図２を参照して上記で説明したような顔検出ＦｃｅＤｅｔ並びにセンタリング及びスケーリングＣｎｔｒ＋ＳＣｌのみを含むことに留意されたい。具体的には、パネリストは、自らの顔のみの画像を提供すると仮定することができ、その場合、顔認識ＦｃｅＲｅｃｏは、必要ない。さらに、訓練画像が写真又は映像から引き出されることから、メタデータは、色温度ＴｅｍｐＣｏｒｒの補正をパラメータ化することを可能にする特定のコンテキストを提供しない。

【0104】

加えて又は代わりに、任意選択的に、訓練画像ＩＮ＿ＤＡＴは、パネリストのユーザ計算デバイスの画像ライブラリ（ＩＭｋ∈ＬＩＢ）から引き出すことができる。この場合、図２を参照して説明したような顔認識ＦｃｅＲｅｃｏステップ及び色温度の補正ＴｅｍｐＣｏｒｒステップを行うようになされ得る。

【0105】

そのため、意外にも、上述したような写真及び映像の録画のみを用いた訓練又は実際に特許出願ＰＣＴ／米国特許出願公開第２０２０／０４１３５０号明細書に記載されているような訓練は、図２を参照して説明した実装、すなわち画像ライブラリＬＩＢから生成された画像を用いた機械学習モデルＡＩ＿ＴＳの推論において非常に満足のいく結果を提供することが認められている。

【0106】

訓練の実装では、機械学習モデルＡＩ＿ＴＳは、訓練画像ＩＮ＿ＤＡＴに対してパラメータ化可能な計算を実行し、訓練画像内に存在する顔の肌の色を表す数値ＣｌｒＥｓｔｍを提供する。

【0107】

肌の色の評価ＥＶＡＬは、様々な数値ＣｌｒＥｓｔｍを組み合わせる統計演算ＡＶＲＧを介して、図２を参照して説明したように行うことができる。

【0108】

機械学習モデルＡＩ＿ＴＳによって実行される計算を再パラメータ化するために、次に、このようにして評価ＥＶＡＬされた肌の色又は実際の数値ＣｌｒＥｓｔｍをグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨと直接比較して、グラウンドトゥルースに可能な限り近づける。

【0109】

換言すれば、肌の色に関するグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨをラベリングデータとして使用して、機械学習モデルＡＩ＿ＴＳによる訓練画像ＩＮ＿ＤＡＴの所望の処理の結果を表示する。

【0110】

機械学習モデルＡＩ＿ＴＳは、複数のパネリストのデータを用いて有利に訓練されることに留意されたい。この点で、訓練画像ＩＮ＿ＤＡＴ及び各パネリストに関連付けされたグラウンドトゥルースＧＲＮＤ＿ＴＲＴＨは、処理手段ＰＵ及び訓練手段ＴＲＮのメモリに保存することができる。機械学習モデルＡＩ＿ＴＳの計算は、可能な限り普遍的になるように、すべてのパネリストのすべてのデータに対してパラメータ化される。

【0111】

要するに、顔の肌の色を判定するために、処理手段ＰＵは、上記で説明したような機械学習モデルＡＩ＿ＴＳを使用して、ユーザ計算デバイスＡＰＰの画像ライブラリからインポートされた少なくとも１つの画像内に存在する顔の肌の色を判定する。次に、この肌の色を使用して、このように判定された肌の色を補償する１つ又は複数の化粧品又は肌の色に適した１つ又は複数の化粧品を推奨することができる。

【符号の説明】

【0112】

ＡＩ＿ＴＳ 機械学習モデル
ＡＰＰ デバイス
ＣＡＭ 写真センサ
ＣＬＤ サーバ
ＣＯＭ 通信手段
ＥＶＡＬ 評価手段
ＥＸＴ＿ＭＴＤ 外部データ
ＧＲＮＤ＿ＴＲＴＨ グラウンドトゥルース
ＩＭｒｅｆ 基準画像
ＩｍＳｅｌ 適合画像
ＩＮ＿ＤＡＴ インポート
ＩＮＴ＿ＮＶＭ 内部不揮発性メモリ
ＬＩＢ ライブラリ
ＭＴＤ１～ＭＴＤ４、ＭＴＤｋ メタデータ
Ｐ＿ＴＳ 前処理手段
ＰｈｔＳｌｆ 写真
ＰＵ 処理手段
ＲＥＳ 電気通信ネットワーク
Ｓｃｌ スケーリング
ＳＹＳ システム
ＴＲＮ 訓練手段
ＴＳ 処理
Ｖｉｄ３６０ 映像
ｗｇｈｔ１ 品質スコア

【図1】

【図2】

【図3】

【国際調査報告】