特開 2023-81971 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023081971

(43)【公開日】2023-06-13

(54)【発明の名称】深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法

(51)【国際特許分類】

   G06Q 30/015 20230101AFI20230606BHJP

   G06Q 30/0601 20230101ALI20230606BHJP

【ＦＩ】

G06Q30/015

G06Q30/0601 330

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023034731

(22)【出願日】2023-03-07

(62)【分割の表示】P 2021522418の分割

【原出願日】2019-10-24

(31)【優先権主張番号】16/171,153

(32)【優先日】2018-10-25

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ツイッター

２．ＪＡＶＡＳＣＲＩＰＴ

３．インスタグラム

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133086

【弁理士】

【氏名又は名称】堀江 健太郎

(72)【発明者】

【氏名】グレゴワール・シャロー

(72)【発明者】

【氏名】ヘルガ・マラプラード

(72)【発明者】

【氏名】ジェラルディーヌ・ティエボー

(72)【発明者】

【氏名】マチュー・ペロ

(72)【発明者】

【氏名】ロビン・キップス

(57)【要約】

【課題】本開示の実施形態は、コンピューティングデバイスが、顔画像の中の化粧品を検出して識別することを可能にするために機械学習モデルを使用するシステム、方法およびコンピュータ可読媒体を提供する。
【解決手段】いくつかの実施形態では、モデルトレーニングシステムは、タグ付けデータと関連付けられた顔画像を分析することによって機械学習モデルを構築するためにトレーニングデータを集めてもよい。いくつかの実施形態では、推奨システムは、モデルトレーニングシステムによって生成された機械学習モデルを使用して、顔画像の中の製品を検出し、検出された製品に基づく情報を外見データストアに追加し、かつ/または検出された製品に基づいて外見データストアから同様の外見に対する推奨を提供することとを行うように構成されてもよい。
【選択図】図４

【特許請求の範囲】

【請求項1】

顔画像の中の化粧品を検出するために機械学習モデルをトレーニングする方法であって、
コンピューティングデバイスによって、非画像データに基づいて前記顔画像の中に存在する製品を決定するステップと、
前記コンピューティングデバイスによって、前記製品と関連付けられた顔の特徴を含む前記顔画像の一部を抽出するステップと、
前記コンピューティングデバイスによって、前記顔画像の前記一部および前記製品の識別情報をトレーニングデータセットに追加するステップと、
前記コンピューティングデバイスによって、前記トレーニングデータセットを使用して顔画像の中の前記製品を検出するために前記機械学習モデルをトレーニングするステップと
を含む、方法。

【請求項2】

ソーシャルメディアポストから前記顔画像を抽出するステップをさらに含む、請求項1に記載の方法。

【請求項3】

非画像データに基づいて前記顔画像の中に存在する前記製品を決定するステップが、
前記ソーシャルメディアポストと関連付けられたテキストを調べるステップと、
前記テキストに基づいて前記製品を決定するステップと
を含む、請求項2に記載の方法。

【請求項4】

前記顔画像の中に存在する前記製品を決定するステップが、
所定の顔の特徴を含む前記顔画像の一部を抽出するステップと、
前記顔画像の前記一部の中に含まれるカラーおよびテクスチャを検出するステップと、
前記製品の実験室測定に基づいて、前記検出されたカラーおよびテクスチャと関連付けられた製品を決定するステップと
を含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記所定の顔の特徴が唇である、請求項4に記載の方法。

【請求項6】

前記機械学習モデルが、畳み込みニューラルネットワークである、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記製品と関連付けられた前記顔の特徴を含む前記顔画像の前記一部を抽出するステップが、コンピュータビジョン技法を使用するステップを含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

顔画像を処理するために1つまたは複数の機械学習モデルを使用する方法であって、
コンピューティングデバイスによって、顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用するステップと、
前記コンピューティングデバイスによって、前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップと、
前記コンピューティングデバイスによって、前記1つまたは複数の推奨された外見と関連付けられた1つまたは複数の製品を決定するステップと、
前記コンピューティングデバイスによって、前記1つまたは複数の推奨された外見、あるいは前記1つまたは複数の製品をユーザに提示するステップと
を含む、方法。

【請求項9】

前記1つまたは複数の機械学習モデルが、1つまたは複数の畳み込みニューラルネットワークを含む、請求項8に記載の方法。

【請求項10】

前記顔画像が、ソーシャルメディアポストの中に含まれる、請求項8または9に記載の方法。

【請求項11】

前記コンピューティングデバイスによって、前記検出された1つまたは複数の製品に基づいて外見を決定するステップと、
前記コンピューティングデバイスによって、前記ソーシャルメディアポストに基づいて感情スコアを決定するステップと、
前記コンピューティングデバイスによって、前記感情スコアと前記外見とを外見データストアの中に記憶するステップと
をさらに含む、請求項10に記載の方法。

【請求項12】

顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用するステップが、
所定の顔の特徴と関連付けられた前記顔画像の一部を抽出するステップと、
前記所定の顔の特徴に塗布された製品を識別するためにトレーニングされた機械学習モデルに、前記顔画像の前記一部を与えるステップと
を含む、請求項8から11のいずれか一項に記載の方法。

【請求項13】

前記所定の顔の特徴が、目、唇、額、頬骨、または鼻である、請求項12に記載の方法。

【請求項14】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップが、
前記顔画像の中の前記検出された1つまたは複数の製品のカラーまたはテクスチャに匹敵するカラーまたはテクスチャを有する少なくとも1つの製品と、前記顔画像の中の前記検出された1つまたは複数の製品に匹敵しない少なくとも1つの製品とを含む1つまたは複数の外見を決定するステップ
を含む、請求項8から13のいずれか一項に記載の方法。

【請求項15】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップが、
前記検出された1つまたは複数の製品を含む新しい外見を外見データストアに追加するステップと、
前記外見データストアに記憶された外見についてクラスタリング分析を実行するステップと、
前記新しい外見を有するクラスタに含まれる他の外見に基づいて前記1つまたは複数の推奨された外見を決定するステップと
を含む、請求項8から14のいずれか一項に記載の方法。

【請求項16】

顔画像の中の化粧品を検出するために機械学習モデルをトレーニングするためのシステムであって、
非画像データに基づいて前記顔画像の中に存在する製品を決定するための回路と、
前記製品と関連付けられた顔の特徴を含む前記顔画像の一部を抽出するための回路と、
前記顔画像の前記一部および前記製品の識別情報をトレーニングデータセットに追加するための回路と、
前記トレーニングデータセットを使用して顔画像の中の前記製品を検出するために、前記機械学習モデルをトレーニングするための回路と
を含む、システム。

【請求項17】

ソーシャルメディアポストから前記顔画像を抽出するための回路をさらに含む、請求項16に記載のシステム。

【請求項18】

非画像データに基づいて前記顔画像の中に存在する前記製品を決定することが、
前記ソーシャルメディアポストと関連付けられたテキストを調べることと、
前記テキストに基づいて前記製品を決定することと
を含む、請求項17に記載のシステム。

【請求項19】

前記顔画像の中に存在する前記製品を決定することが、
所定の顔の特徴を含む前記顔画像の一部を抽出することと、
前記顔画像の前記一部の中に含まれるカラーおよびテクスチャを検出することと、
前記製品の実験室測定に基づいて、前記検出されたカラーおよびテクスチャと関連付けられた製品を決定することと
を含む、請求項16から18のいずれか一項に記載のシステム。

【請求項20】

前記機械学習モデルが、畳み込みニューラルネットワークである、請求項16から19のいずれか一項に記載のシステム。

【請求項21】

前記製品と関連付けられた前記顔の特徴を含む前記顔画像の前記一部を抽出することが、コンピュータビジョン技法を使用することを含む、請求項16から20のいずれか一項に記載のシステム。

【請求項22】

顔画像を処理するために1つまたは複数の機械学習モデルを使用するシステムであって、
顔画像の中の1つまたは複数の製品を検出するために、前記1つまたは複数の機械学習モデルを使用するための回路と、
前記顔画像の中の前記1つまたは複数の製品に基づいて、1つまたは複数の推奨された外見を決定するための回路と、
前記1つまたは複数の推奨された外見と関連付けられた1つまたは複数の製品を決定するための回路と、
前記1つまたは複数の推奨された外見、あるいは前記1つまたは複数の製品をユーザに提示するための回路と
を含む、システム。

【請求項23】

前記1つまたは複数の機械学習モデルが、1つまたは複数の畳み込みニューラルネットワークを含む、請求項22に記載のシステム。

【請求項24】

前記顔画像が、ソーシャルメディアポストの中に含まれる、請求項22または23に記載のシステム。

【請求項25】

前記検出された1つまたは複数の製品に基づいて外見を決定するための回路と、
前記ソーシャルメディアポストに基づいて感情スコアを決定するための回路と、
前記感情スコアと前記外見とを外見データストアに記憶するための回路と
をさらに含む、請求項24に記載のシステム。

【請求項26】

顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用することが、
所定の顔の特徴と関連付けられた前記顔画像の一部を抽出することと、
前記所定の顔の特徴に塗布された製品を識別するためにトレーニングされた機械学習モデルに前記顔画像の前記一部を与えることと
を含む、請求項22から25のいずれか一項に記載のシステム。

【請求項27】

前記所定の顔の特徴が、目、唇、額、頬骨、または鼻である、請求項26に記載のシステム。

【請求項28】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定することが、
前記顔画像の中の前記検出された1つまたは複数の製品のカラーまたはテクスチャに匹敵するカラーまたはテクスチャを有する少なくとも1つの製品と、前記顔画像の中の前記検出された1つまたは複数の製品に匹敵しない少なくとも1つの製品とを含む1つまたは複数の外見を決定すること
を含む、請求項22から27のいずれか一項に記載のシステム。

【請求項29】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定することが、
前記検出された1つまたは複数の製品を含む新しい外見を外見データストアに追加することと、
前記外見データストアに記憶された外見についてクラスタリング分析を実行することと、
前記新しい外見を有するクラスタに含まれる他の外見に基づいて前記1つまたは複数の推奨された外見を決定することと
を含む、請求項22から28のいずれか一項に記載のシステム。

【請求項30】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、コンピューティングデバイスの1つまたは複数のプロセッサによる実行に応答して、請求項1から7のいずれか一項に記載の方法を前記コンピューティングデバイスに実行させる、非一時的コンピュータ可読媒体。

【請求項31】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、コンピューティングデバイスの1つまたは複数のプロセッサによる実行に応答して、請求項8から15のいずれか一項に記載の方法を前記コンピューティングデバイスに実行させる、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、2018年10月25日に出願された、米国特許出願第16/171,153号の利益を主張する。

【発明の概要】

【0002】

本概要は、発明を実施するための形態において以下でさらに説明する概念の抜粋を簡略化して紹介するために提供される。本概要は、特許請求される主題の主要な特徴を特定することを意図するものではなく、特許請求される主題の範囲の決定を支援するものとして使用されることを意図するものでもない。

【課題を解決するための手段】

【0003】

いくつかの実施形態では、顔画像の中の化粧品を検出するために機械学習モデルをトレーニングする方法が提供される。コンピューティングデバイスは、非画像データに基づいて顔画像の中に存在する製品を決定する。コンピューティングデバイスは、製品と関連付けられた顔の特徴を含む顔画像の一部を抽出する。コンピューティングデバイスは、顔画像の一部および製品の識別情報をトレーニングデータセットに追加する。コンピューティングデバイスは、トレーニングデータセットを使用して顔画像の中の製品を検出するために、機械学習モデルをトレーニングする。

【0004】

いくつかの実施形態では、顔画像を処理するために、1つまたは複数の機械学習モデルを使用する方法が提供される。コンピューティングデバイスは、1つまたは複数の機械学習モデルを使用して、顔画像の中の1つまたは複数の製品を検出する。コンピューティングデバイスは、顔画像の中の1つまたは複数の製品に基づいて、1つまたは複数の推奨された外見を決定する。コンピューティングデバイスは、1つまたは複数の推奨された外見と関連付けられた1つまたは複数の製品を決定する。コンピューティングデバイスは、1つまたは複数の推奨された外見、あるいは1つまたは複数の製品をユーザに提示する。

【0005】

いくつかの実施形態では、顔画像の中の化粧品を検出するために機械学習モデルをトレーニングするためのシステムが提供される。システムは、非画像データに基づいて顔画像の中に存在する製品を決定するための回路と、製品と関連付けられた顔の特徴を含む顔画像の一部を抽出するための回路と、顔画像の一部および製品の識別情報をトレーニングデータセットに追加するための回路と、トレーニングデータセットを使用して顔画像の中の製品を検出するために機械学習モデルをトレーニングするための回路とを含む。

【0006】

本発明の前述の態様および付随する利点の多くは、添付の図面とともに行う、以下の詳細な説明への参照により、より良く理解されるようになると、より容易に諒解されるようになるであろう。

【図面の簡単な説明】

【0007】

【図1】本開示の様々な態様による、顔画像の論理処理の例示的な実施形態を示す概略図である。

【図2】本開示の様々な態様による、モデルトレーニングシステムの例示的な実施形態および推奨システムの例示的な実施形態を示すブロック図である。

【図3A】本開示の様々な態様による、顔画像の中の化粧品を検出するために、1つまたは複数の機械学習モデルをトレーニングする方法の例示的な実施形態を示すフローチャートである。

【図3B】本開示の様々な態様による、顔画像の中の化粧品を検出するために、1つまたは複数の機械学習モデルをトレーニングする方法の例示的な実施形態を示すフローチャートである。

【図4】本開示の様々な態様による、外見ベースの推奨を提供するために、1つまたは複数の機械学習モデルを使用する方法の例示的な実施形態を示すフローチャートである。

【発明を実施するための形態】

【0008】

しばしば、化粧品の消費者は、真似したい外見、すなわち化粧品、衣服、髪型および/または装身具を含むことがある特徴の組合せを有する人の写真を見る。しかしながら、これらの写真は、通常、どの化粧品がつけられているかに関して詳細に表示されていないので、別の消費者がその外見の再生に成功することができる可能性は極めて低い。消費者が、写真の中に示される1つまたは複数の化粧品を自動的に決定する技術にアクセスできることが望ましい。そのような技術は、他の理由に対しても望ましい。たとえば、これらの新しい可能性をコンピューティングデバイスに与えた技術は、示される製品についての詳細情報を補充される公的に入手可能な写真に基づいて外見の収集を自動的に構築すること、およびそのようなデータの収集を使用して、所与の外見と同様の外見を決定することをも可能にする。

【0009】

図1は、本開示の様々な態様による、顔画像の論理処理の例示的な実施形態を示す概略図である。1つまたは複数の化粧品をつけている人の顔を示す顔画像102が示される。コンピュータビジョン技法は、目、唇、頬、および眉毛など、顔画像の中の特定の顔の特徴を識別するために使用され得る。顔の特徴が検出されると、顔画像102の部分が抽出され得る。たとえば、目の部分104、唇の部分106および/または頬の部分108が、抽出されてもよい。顔画像102は、顔画像102の中でつけられている化粧品を識別するタグ付け情報と関連付けられてもよい。たとえば、タグ付け情報は、つけているリップスティック、つけているアイシャドー、つけているブラシなどのブランド、カラー、テクスチャ、および/またはフィニッシュを識別してもよい。顔画像(たとえば、唇の部分106)の部分が関連のある製品(たとえば、識別されたリップスティック)と関連付けられると、顔画像102の一部および製品情報が、機械学習モデル112をトレーニングするために使用されるように、トレーニングデータのセットに追加され得る。顔画像104、106、108の各部は、別々の顔の特徴の上の製品を検出するために、それぞれの機械学習モデル110、112、114をトレーニングするために別々のトレーニングデータセットに追加されてもよい。

【0010】

図2は、本開示の様々な態様による、モデルトレーニングシステムの例示的な実施形態および推奨システムの例示的な実施形態を示すブロック図である。いくつかの実施形態では、モデルトレーニングシステム200は、顔画像を収集することと、顔画像に基づいてトレーニングデータを生成することと、トレーニングデータに基づいて1つまたは複数の機械学習モデルをトレーニングすることとを行うように構成される。いくつかの実施形態では、推奨システム250は、モデルトレーニングシステム200によって生成された機械学習モデルを使用して、顔画像の中の製品を検出し、検出された製品に基づく情報を外見データストア260に追加し、かつ/または検出された製品に基づいて外見データストア260から同様の外見に対する推奨を提供するように構成される。いくつかの実施形態では、モデルトレーニングシステム200および推奨システム250は、それぞれ、1つまたは複数のコンピューティングデバイスを設けられ、限定はしないが、イーサネット、Wi-Fi、3G、4G、LTEおよびインターネットを含む、任意の好適な通信技術を使用して互いに通信してもよい。いくつかの実施形態では、モデルトレーニングシステム200および推奨システム250は、単一の組み合わされたシステムによって設けられてもよい。

【0011】

図示のように、モデルトレーニングシステム200は、データ取り込みエンジン202と、特徴認識エンジン204と、モデルトレーニングエンジン206と、トレーニングデータストア208と、モデルデータストア210とを含む。

【0012】

いくつかの実施形態では、データ取り込みエンジン202は、顔画像とタグ付け情報とを取得するように構成され、タグ付け情報からトレーニングデータが生成され得る。顔画像およびタグ付け情報は、データ取り込みエンジン202によってトレーニングデータストア208に記憶されてもよい。いくつかの実施形態では、データ取り込みエンジン202は、限定はしないが、インスタグラム、ツイッターおよびピンタレストを含む1つまたは複数のソーシャルネットワーキングシステム212からコンテンツを受信してもよい。そのようなシステム上のソーシャルメディアポストは、顔画像の中に何が示されているかを説明するテキスト情報とともに顔画像を含んでもよい。ハッシュタグなど、意味的に区切られたコンテンツを含んでも含まなくてもよいテキスト情報は、顔画像の中に示される1つまたは複数の製品を具体的に識別してもよい。いくつかの実施形態では、データ取り込みエンジン202は、同様に、ブログなどのウェブサイトから情報を検索してもよく、ブログポストは、顔画像と、示された製品を説明するテキスト情報とを含んでもよい。いくつかの実施形態では、データ取り込みエンジン202は、ソーシャルネットワーキングシステム212にポストされたビデオ情報から顔画像情報を抽出するように構成されてもよく、音声テキスト変換技法を使用してビデオ情報からテキスト情報を抽出するように構成されてもよい。

【0013】

いくつかの実施形態では、データ取り込みエンジン202は、実験室試験システム214から情報を受けるように構成されてもよい。実験室試験システム214は、実際の顔の特徴を再現するように意図された被験者または試験装置に塗布された製品を示す顔画像を生成してもよく、データ取り込みエンジン202にそのような顔画像を、示された製品を識別する情報とともに提供してもよい。いくつかの実施形態では、実験室試験システム214は、同じく、限定はしないが、鏡面測定(specular measurement)情報および色測定情報を含む、製品を説明する特定の情報も提供してもよい。

【0014】

いくつかの実施形態では、特徴認識エンジン204は、特定の顔の特徴を示す顔画像の部分を抽出するように構成されてもよい。たとえば、特徴認識エンジン204は、顔画像を受信し、目、唇、頬、眉毛、または任意の他の顔の特徴を示す顔画像の一部を抽出してもよい。いくつかの実施形態では、特徴認識エンジン204は、検出された顔の特徴だけを含む、新しい、より小さい画像を生成することによって顔画像の一部を抽出してもよい。いくつかの実施形態では、特徴認識エンジン204は、検出された顔の特徴を位置特定する座標を、元の顔画像の中に設けることによって、顔画像の一部を抽出してもよい。顔画像の部分は、関連付けられたタグ付け情報とともに、トレーニングデータストア208に記憶されてもよい。

【0015】

いくつかの実施形態では、モデルトレーニングエンジン206は、トレーニングデータストア208に記憶されたトレーニングデータを使用して、顔画像の一部の中の製品を識別することができる1つまたは複数の機械学習モデルをトレーニングするように構成されてもよい。いくつかの実施形態では、モデルトレーニングエンジン206は、処理されるべき各顔の特徴に対して別々の機械学習モデルを生成してもよい。生成されると、機械学習モデルは、モデルデータストア210に記憶されてもよい。

【0016】

図示のように、推奨システム250は、特徴認識エンジン252と、製品検出エンジン254と、製品推奨エンジン256と、モデルデータストア258と、外見データストア260とを含む。いくつかの実施形態では、特徴認識エンジン252は、少なくともそれが、特定の顔の特徴を示す顔画像の部分を抽出するように構成されてもよいという点で、モデルトレーニングシステム200の特徴認識エンジン204と同様である。いくつかの実施形態では、製品検出エンジン254は、特徴認識エンジン252によって抽出された顔画像の部分を受信し、次いで、モデルデータストア258に記憶された機械学習モデルを使用して、顔画像の部分の中に示される製品を識別するように構成されてもよい。いくつかの実施形態では、次いで、製品検出エンジン254は、識別された複数の製品を一緒に1つの外見として、外見データストア260に記憶してもよい。いくつかの実施形態では、製品推奨エンジン256は、製品検出エンジン254によって識別された製品を受信してもよく、外見データストア260の中の外見を分析し、識別された製品に基づいて推奨するために1つまたは複数の他の製品を決定してもよい。

【0017】

モデルトレーニングシステム200、推奨システム250、およびそれらの構成要素の機能のさらなる詳細が、以下に提供される。

【0018】

一般に、本明細書で使用される「エンジン」という言葉は、ハードウェアの中に埋め込まれた論理、またはソフトウェア命令を指し、ソフトウェア命令は、C、C++、COBOL、JAVA(登録商標)、PHP、Perl、HTML、CSS、JavaScript、VBScript、ASPX、Microsoft .NET(商標)などのプログラミング言語で書かれ得る。エンジンは、実行可能プログラムにコンパイルされてよく、またはインタープリタ型プログラミング言語で書かれてもよい。ソフトウェアエンジンは、他のエンジンから、またはそれ自体から呼び出し可能であり得る。一般に、本明細書で説明するエンジンは、他のエンジンと結合され得るか、またはサブエンジンに分割され得る論理モジュールを指す。エンジンは、任意のタイプのコンピュータ可読媒体またはコンピュータ記憶デバイスの中に記憶され、1つまたは複数の汎用コンピュータの上に記憶されかつそれらによって実行され、したがって、エンジンまたはその機能性を提供するように構成された専用コンピュータを生成し得る。

【0019】

当業者には理解されるように、本明細書で説明する「データストア」は、コンピューティングデバイスによるアクセスのためのデータを記憶するように構成された任意の好適なデバイスであってもよい。データストアの一例は、1つまたは複数のコンピューティングデバイス上で実行し、高速ネットワーク上でアクセス可能な、高信頼、高速リレーショナルデータベース管理システム(DBMS)である。データストアの別の例は、キーバリューストアである。しかしながら、クエリに応答して記憶されたデータを速やかにかつ高信頼に提供することができる任意の他の好適な記憶技法および/またはデバイスが使用されてもよく、コンピューティングデバイスは、ネットワーク上ではなくローカルにアクセス可能であってもよく、またはクラウドベースのサービスとして提供されてもよい。データストアはまた、以下でさらに説明するように、コンピュータ可読記憶媒体上に組織立って記憶されるデータを含んでもよい。本開示の範囲から逸脱することなく、本明細書で説明する別々のデータストアが単一のデータストアに組み合わされてもよく、および/または本明細書で説明する単一のデータストアが複数のデータストアに分離されてもよいことは、当業者には認識されよう。

【0020】

図3Aおよび図3Bは、本開示の様々な態様による、顔画像の中の化粧品を検出するために、1つまたは複数の機械学習モデルをトレーニングする方法の例示的な実施形態を示すフローチャートである。開始ブロックから、方法300はブロック302に進み、そこで、モデルトレーニングシステム200のデータ取り込みエンジン202が、複数の顔画像を受信する。データ取り込みエンジン202は、任意のソースから複数の顔画像を受信してもよい。たとえば、いくつかの実施形態では、データ取り込みエンジン202は、たとえば特定のハッシュタグを含むソーシャルネットワーキングシステム212からソーシャルメディアポストを要求することによって、ソーシャルネットワーキングシステム212から複数の顔画像を検索してもよい。いくつかの実施形態では、データ取り込みエンジン202は、タブレット、スマートフォン、またはカメラ搭載ラップトップもしくはデスクトップコンピュータなどのエンドユーザコンピューティングデバイスから顔画像を受信してもよく、エンドユーザコンピューティングデバイス上で実行するソフトウェアは、エンドユーザコンピューティングデバイスのカメラを使用して顔画像を捕捉する。そのような実施形態では、ソフトウェアはまた、顔画像の中に示されるユーザがつけている製品を識別するように、ユーザにプロンプトしてもよい。いくつかの実施形態では、複数の顔画像は、マーケティング材料のセットまたは実験室で生成された画像のセットなどのデータセットからモデルトレーニングシステム200の操作者によって生成されたトレーニングデータを含むことができる。いくつかの実施形態では、データ取り込みエンジン202は、トレーニングデータストア208の中の取り込まれた顔画像を、ソーシャルメディアポストからのテキスト情報またはソフトウェアによって収集されたタグ付け情報など、任意の付随する情報とともにセーブしてもよい。

【0021】

次いで、方法300は、forループ開始ブロック303とforループ終了ブロック315との間で定義されるforループに進み、複数の顔画像のうちの顔画像の各々が処理される。forループ開始ブロック303から、方法300はブロック304に進み、そこで、データ取り込みエンジン202が、顔画像と関連付けられたタグ付けデータを決定する。いくつかの実施形態では、顔画像が、ソーシャルメディアポストまたは他のインターネットコンテンツと関連付けられている場合、データ取り込みエンジン202は、示された製品を識別するために使用され得るブランド名、製品名、カラー、テクスチャ、またはフィニッシュのテキスト識別情報を発見するために、顔画像と関連付けられたハッシュタグまたは他のテキストをレビューしてもよい。いくつかの実施形態では、製品パッケージが顔画像の中で視認できる場合、データ取り込みエンジン202は、製品パッケージ上のテキストを認識すること、記憶されているパッケージの画像と比較してパッケージを認識すること、またはタグ付けデータを決定するためにパッケージ上に示されるバーコードを分析することを行ってもよい。いくつかの実施形態では、タグ付けデータは、操作者によって顔画像に対して生成され、データ取り込みエンジン202に与えられてもよい。

【0022】

次に、ブロック306において、データ取り込みエンジン202が、タグ付けデータによって識別された1つまたは複数の製品を決定する。いくつかの実施形態では、タグ付けデータに含まれる製品名、カラー、テクスチャ、および/またはフィニッシュは、データ取り込みエンジン202によって関連付けられてもよく、製品を一意に識別する在庫管理単位(SKU)と関連付けられてもよい。いくつかの実施形態では、データ取り込みエンジン202は、タグ付けデータ(製品名およびフィニッシュのないカラー、または製品名のみなど)の中の部分的情報と、示された特定の製品、カラー、フィニッシュ、およびテクスチャの詳細な識別情報を見つけるために実験室試験システム214から取得された実験室試験データとを相互参照させてもよい。

【0023】

次いで、方法300は、forループ開始ブロック308とforループ終了ブロック314との間で定義される別のforループに進み、顔画像が、データ取り込みエンジン202によって識別された各製品に対して処理される。forループ開始ブロック308から、方法300はブロック310に進み、そこで、モデルトレーニングシステム200の特徴認識エンジン204が、製品と関連付けられた顔の特徴を含む顔画像の一部を抽出する。たとえば、製品がリップスティックである場合、特徴認識エンジン204は、顔の唇を含む顔画像の一部を抽出する。別の例として、製品がアイシャドー、アイライナー、またはマスカラである場合、特徴認識エンジン204は、顔の目のうちの少なくとも1つを含む顔画像の一部を抽出する。

【0024】

ブロック312において、抽出された顔画像の一部が、トレーニングデータストア208の中の顔の特徴に対するトレーニングセットの中に、製品の識別情報とともに記憶される。次いで、方法300は、forループ終了ブロック314に進む。任意のさらなる製品が識別された場合、方法300は、次の製品を処理するために、forループ開始ブロック308に戻る。そうでない場合、方法300は、forループ終了ブロック315に進む。さらなる顔画像が処理される場合、方法300は、次の顔画像を処理するために、forループ開始ブロック303に戻る。そうでない場合、方法300は、継続端子(「端子A」)に進む。

【0025】

端子A(図3B)から、方法300は、forループ開始ブロック316とforループ終了ブロック324との間で定義されるforループに進み、機械学習モデルが、方法300によってサポートされる顔の特徴(たとえば、目、唇、頬)の各々に対してトレーニングされる。forループ開始ブロック316から、方法300はブロック318に進み、そこで、モデルトレーニングシステム200のモデルトレーニングエンジン206が、トレーニングデータストア208から顔の特徴に対するトレーニングデータを検索する。たとえば、顔の特徴が唇である場合、モデルトレーニングエンジン206は、唇を含むトレーニングデータストア208からの顔画像の複数の部分を、顔画像の一部の中の製品を識別する情報とともに検索する。ブロック320において、モデルトレーニングエンジン206が、検索されたトレーニングデータを使用して顔の特徴に対する機械学習モデルをトレーニングする。限定はしないが畳み込みニューラルネットワーク(CNN)を含む任意の好適なタイプの機械学習モデルが、限定はしないが勾配降下として含む、機械学習モデルをトレーニングするための任意の好適な技法として使用されてもよい。

【0026】

ブロック322において、モデルトレーニングエンジン206が、モデルデータストア210の中に機械学習モデルを記憶する。次いで、方法300は、forループ終了ブロック324に進む。forループ終了ブロック324において、追加の顔の特徴が処理される場合、方法300は、次の顔の特徴を処理するためにブロック316に戻る。そうでない場合、方法300は、終了ブロックに進んで終了する。

【0027】

図4は、本開示の様々な態様による、外見ベースの推奨を提供するために、1つまたは複数の機械学習モデルを使用する方法の例示的な実施形態を示すフローチャートである。いくつかの実施形態では、方法400は、上記で説明した方法300によってトレーニングされた1つまたは複数の機械学習モデルを用いてあらかじめ組み込まれている、および/またはモデルトレーニングシステム200のモデルデータストア210に記憶されている、モデルデータストア258を有する推奨システム250を使用してもよい。

【0028】

開始ブロックから、方法400はブロック402に進み、そこで、推奨システム250が、処理されるべき外見画像を受信する。外見画像は、外見画像が、ソーシャルネットワーキングシステム212またはエンドユーザのコンピューティングデバイス上で実行するソフトウェアから受信されてもよいという点で、上記で説明したデータ取り込みエンジン202によって集められた顔画像と同様の方式で受信されてもよい。いくつかの実施形態では、外見画像は、ソーシャルネットワーキングシステム212上の推奨システム250と関連付けられた特定のハッシュタグまたは識別子を外見画像にタグ付けすることによって、推奨システム250に与えられてもよい。外見画像は顔を示してもよく、機械学習モデルによって検出され得る1つまたは複数の製品を含んでもよい。

【0029】

ブロック404において、推奨システム250の特徴認識エンジン252が、顔の特徴を含む外見画像の1つまたは複数の部分を抽出する。特徴認識エンジン252は、機械学習モデルがモデルトレーニングシステム200によってトレーニングされた顔の特徴に対応する外見画像の部分を抽出してもよく、それは、特徴認識エンジン204に関して上記で説明したものと同様の技法を使用して抽出されてもよい。

【0030】

次いで、方法400は、forループ開始ブロック406とforループ終了ブロック412との間で定義されるforループに進み、各抽出された顔の特徴が、そこに示される製品を識別するために処理される。forループ開始ブロック406から、方法400はブロック408に進み、そこで、推奨システムの製品検出エンジン254が、モデルデータストア258から顔の特徴に対する機械学習モデルを検索する。たとえば、顔の特徴が唇である場合、製品検出エンジン254は、唇上の製品を検出するためにトレーニングされたモデルデータストア258から機械学習モデルを検索する。次に、ブロック410において、製品検出エンジン254が、顔の特徴に塗布された製品を識別するために、顔の特徴を示す外見画像の一部を機械学習モデルに供給する。いくつかの実施形態では、機械学習モデルの出力は、製品、カラー、テクスチャ、および/またはフィニッシュの識別情報を含んでもよい。いくつかの実施形態では、機械学習モデルの出力はまた、製品の識別情報が正確である可能性はどれほどかに関する信頼スコアを含んでもよい。

【0031】

次いで、方法400は、forループ終了ブロック412に進む。さらなる顔の特徴が、未だ処理されていない場合、方法400は、次の顔の特徴を処理するためにforループ開始ブロック406に戻る。そうではなく、すべての顔の特徴が処理された場合、方法400はブロック414に進み、そこで、製品推奨システム250の製品推奨エンジン256が、外見画像の中で検出された製品に基づいて1つまたは複数の推奨製品を決定する。いくつかの実施形態では、1つまたは複数の推奨製品は、外見画像の中で検出された製品に基づいて推奨される少なくとも1つの外見を外見データストア260の中で発見し、推奨された外見から製品を推奨することによって決定されてもよい。

【0032】

少なくとも1つの推奨された外見を発見するために、いくつかの実施形態では、製品推奨エンジン256は、外見画像の中で検出された製品のいくつかの態様に匹敵する他の外見を発見するために、外見データストア260を調べてもよい。たとえば、製品推奨エンジン256は、外見画像の中で検出された製品に匹敵する少なくとも1つの製品と、外見画像の中で検出されなかった少なくとも1つの製品とを含む記憶された外見を探してもよい。別の例として、製品推奨エンジン256は、外見画像の中の製品と比較するときに、少なくとも1つの匹敵するかもしくは補完するカラーまたはフィニッシュを有する製品を含む記憶された外見を探してもよい。いくつかの実施形態では、製品推奨エンジン256は、類似する外見のタイプを決定するために外見データストア260の中の外見に対してクラスタリング分析を実行してもよく、外見画像の中の製品の組合せが割り当てられるクラスタの中で推奨された外見を発見してもよい。検出された製品に基づいて少なくとも1つの推奨された外見が決定されると、推奨された外見の中に含まれる製品は、推奨製品として使用され得る。

【0033】

推奨製品が決定されると、ブロック416において、製品推奨エンジン256が、1つまたは複数の推奨製品を提示する。いくつかの実施形態では、製品推奨エンジン256は、製品自体を提示してもよい。いくつかの実施形態では、製品推奨エンジン256は、推奨された外見と関連付けられた画像を、推奨製品の識別情報とともに提示してもよい。いくつかの実施形態では、提示は、推奨システム250と相互作用するために使用されるソフトウェアの中で与えられてもよい。いくつかの実施形態では、提示は、電子メールまたは対象のウェブサイトのコンテンツなど、別のチャネルの中で与えられてもよい。いくつかの実施形態では、推奨された外見および/または推奨製品に関するフィードバックがソフトウェアによって受け入れられ、今後の推奨を改善するために使用されてもよい。

【0034】

次いで、方法400は、終了ブロックに進んで終了する。

【0035】

上記の方法400は、主に、機械学習モデルを使用して製品を検出すること、次いで、それらの検出された製品を使用して同様の外見を発見することを説明している。いくつかの実施形態では、機械学習モデルは、公的に入手可能な写真の中の製品を検出し、次いで、それらの写真に基づいて外見データストア260に新しい外見を追加するためにも使用され得る。いくつかの実施形態では、このようにして外見データストア260に追加された外見は、今後の推奨に使用するために外見の品質を順位付けるために、ソーシャルメディアテキスト/エンゲージメント、記事についてのコメント、またはブログポストなど、写真と関連付けられたコンテンツの感情分析を使用して補充されてもよい。

【0036】

例示的実施形態を説明し、記載したが、当然のことながら、本発明の趣旨および範囲から逸脱することなく、そこで様々な変更が行われ得る。

【0037】

独占的所有権または特権が主張される本発明の実施形態は、以下の通り定義される。

【符号の説明】

【0038】

102 顔画像
104 目の部分
106 唇の部分
108 頬の部分
110 機械学習モデル
112 機械学習モデル
114 機械学習モデル
200 モデルトレーニングシステム
202 データ取り込みエンジン
204 特徴認識エンジン
206 モデルトレーニングエンジン
208 トレーニングデータストア
210 モデルデータストア
212 ソーシャルネットワーキングシステム
214 実験室試験システム
250 推奨システム
252 特徴認識エンジン
254 製品検出エンジン
256 製品推奨エンジン
258 モデルデータストア
260 外見データストア
300 方法
400 方法

【図1】

【図2】

【図3A】

【図3B】

【図4】

【手続補正書】

【提出日】2023-03-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

顔画像を処理するために1つまたは複数の機械学習モデルを使用する方法であって、
コンピューティングデバイスによって、顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用するステップと、
前記コンピューティングデバイスによって、前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップと、
前記コンピューティングデバイスによって、前記1つまたは複数の推奨された外見と関連付けられた1つまたは複数の製品を決定するステップと、
前記コンピューティングデバイスによって、前記1つまたは複数の推奨された外見、あるいは前記1つまたは複数の製品をユーザに提示するステップと
を含む、方法。

【請求項2】

前記1つまたは複数の機械学習モデルが、1つまたは複数の畳み込みニューラルネットワークを含む、請求項1に記載の方法。

【請求項3】

前記顔画像が、ソーシャルメディアポストの中に含まれる、請求項1または2に記載の方法。

【請求項4】

前記コンピューティングデバイスによって、前記検出された1つまたは複数の製品に基づいて外見を決定するステップと、
前記コンピューティングデバイスによって、前記ソーシャルメディアポストに基づいて感情スコアを決定するステップと、
前記コンピューティングデバイスによって、前記感情スコアと前記外見とを外見データストアの中に記憶するステップと
をさらに含む、請求項3に記載の方法。

【請求項5】

顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用するステップが、
所定の顔の特徴と関連付けられた前記顔画像の一部を抽出するステップと、
前記所定の顔の特徴に塗布された製品を識別するためにトレーニングされた機械学習モデルに、前記顔画像の前記一部を与えるステップと
を含む、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記所定の顔の特徴が、目、唇、額、頬骨、または鼻である、請求項5に記載の方法。

【請求項7】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップが、
前記顔画像の中の前記検出された1つまたは複数の製品のカラーまたはテクスチャに匹敵するカラーまたはテクスチャを有する少なくとも1つの製品と、前記顔画像の中の前記検出された1つまたは複数の製品に匹敵しない少なくとも1つの製品とを含む1つまたは複数の外見を決定するステップ
を含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定するステップが、
前記検出された1つまたは複数の製品を含む新しい外見を外見データストアに追加するステップと、
前記外見データストアに記憶された外見についてクラスタリング分析を実行するステップと、
前記新しい外見を有するクラスタに含まれる他の外見に基づいて前記1つまたは複数の推奨された外見を決定するステップと
を含む、請求項1から7のいずれか一項に記載の方法。

【請求項9】

顔画像を処理するために1つまたは複数の機械学習モデルを使用するシステムであって、
顔画像の中の1つまたは複数の製品を検出するために、前記1つまたは複数の機械学習モデルを使用するための回路と、
前記顔画像の中の前記1つまたは複数の製品に基づいて、1つまたは複数の推奨された外見を決定するための回路と、
前記1つまたは複数の推奨された外見と関連付けられた1つまたは複数の製品を決定するための回路と、
前記1つまたは複数の推奨された外見、あるいは前記1つまたは複数の製品をユーザに提示するための回路と
を含む、システム。

【請求項10】

前記1つまたは複数の機械学習モデルが、1つまたは複数の畳み込みニューラルネットワークを含む、請求項9に記載のシステム。

【請求項11】

前記顔画像が、ソーシャルメディアポストの中に含まれる、請求項9または10に記載のシステム。

【請求項12】

前記検出された1つまたは複数の製品に基づいて外見を決定するための回路と、
前記ソーシャルメディアポストに基づいて感情スコアを決定するための回路と、
前記感情スコアと前記外見とを外見データストアに記憶するための回路と
をさらに含む、請求項11に記載のシステム。

【請求項13】

顔画像の中の1つまたは複数の製品を検出するために前記1つまたは複数の機械学習モデルを使用することが、
所定の顔の特徴と関連付けられた前記顔画像の一部を抽出することと、
前記所定の顔の特徴に塗布された製品を識別するためにトレーニングされた機械学習モデルに前記顔画像の前記一部を与えることと
を含む、請求項9から12のいずれか一項に記載のシステム。

【請求項14】

前記所定の顔の特徴が、目、唇、額、頬骨、または鼻である、請求項13に記載のシステム。

【請求項15】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定することが、
前記顔画像の中の前記検出された1つまたは複数の製品のカラーまたはテクスチャに匹敵するカラーまたはテクスチャを有する少なくとも1つの製品と、前記顔画像の中の前記検出された1つまたは複数の製品に匹敵しない少なくとも1つの製品とを含む1つまたは複数の外見を決定すること
を含む、請求項9から14のいずれか一項に記載のシステム。

【請求項16】

前記顔画像の中の前記1つまたは複数の製品に基づいて1つまたは複数の推奨された外見を決定することが、
前記検出された1つまたは複数の製品を含む新しい外見を外見データストアに追加することと、
前記外見データストアに記憶された外見についてクラスタリング分析を実行することと、
前記新しい外見を有するクラスタに含まれる他の外見に基づいて前記1つまたは複数の推奨された外見を決定することと
を含む、請求項9から15のいずれか一項に記載のシステム。

【請求項17】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、コンピューティングデバイスの1つまたは複数のプロセッサによる実行に応答して、請求項1から8のいずれか一項に記載の方法を前記コンピューティングデバイスに実行させる、非一時的コンピュータ可読媒体。

【外国語明細書】