特許 7453956 カスタム外用薬を調整するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】カスタム外用薬を調整するためのシステムおよび方法

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20240313BHJP

   A45D 44/00 20060101ALI20240313BHJP

   G06Q 50/10 20120101ALI20240313BHJP

【ＦＩ】

G06Q30/0601 320

A45D44/00 A

G06Q50/10

【請求項の数】 27

(21)【出願番号】P 2021500854

(86)(22)【出願日】2019-07-12

(65)【公表番号】

(43)【公表日】2021-11-25

(86)【国際出願番号】 US2019041738

(87)【国際公開番号】W WO2020014695

(87)【国際公開日】2020-01-16

【審査請求日】2022-07-08

(31)【優先権主張番号】62/697,925

(32)【優先日】2018-07-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】ハービル レスリー ワイ．

【審査官】牧 裕子

(56)【参考文献】

【文献】国際公開第０２／００８９８３（ＷＯ，Ａ１）

【文献】特開２００２－１２３７２３（ＪＰ，Ａ）

【文献】特表２０１７－５１１９２９（ＪＰ，Ａ）

【文献】特表２００３－５３４６２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２２８８９２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００１１７１１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１７４６９０（ＵＳ，Ａ１）

【文献】米国特許第０９４４２９７３（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ａ４５Ｄ ４４／００

(57)【特許請求の範囲】

【請求項1】

カスタマイズされた化粧品を変更するためのシステムであって、
少なくとも１つのコンピュータを含む注文管理システムであって、前記少なくとも１つのコンピュータは、コンピュータ実行可能命令を格納するメモリ、および前記メモリに格納された前記命令を実行する処理ユニットを含む注文管理システムと、
画像センサ、光源、ディスプレイ、およびそれらにインストールされたアプリケーションを有する装置と、
を備え、
前記システムは、
ａ）前記アプリケーションを使用して、前記画像センサを有する前記装置の前記ディスプレイ上で、ユーザデータおよび装置データに基づいて、前記画像センサを有する前記装置の設定を自動的に較正するようにユーザを誘導し；さらに、前記較正された設定を使用して、前記ユーザの皮膚領域の少なくとも１つの画像を捕捉するように前記ユーザを誘導し；前記皮膚領域の前記少なくとも１つの画像を処理して、較正された前記ユーザデータおよび前記装置データを提供し；前記較正されたユーザデータおよび装置データを、前記少なくとも１つのコンピュータの前記メモリ内の前記ユーザに関連付けられた既知の検索キーに保存する；ことによって較正されたユーザデータを提供するステップと、
ｂ）前記システム内の前記少なくとも１つのコンピュータの前記処理ユニット、および前記既知の検索キーを使用して、カスタマイズされた化粧品を前記ユーザのために指定するステップであって、前記既知の検索キーは、ユーザの肌の色、色調、および肌のアンダートーンのうちの１つまたは複数に関する前記較正されたユーザデータからのデータを含む少なくとも１つの検索コンポーネントを含み、ネットワークを介して前記アプリケーションを使用して、前記画像センサを有する前記装置から前記注文管理システム内の前記少なくとも１つのコンピュータに前記較正されたユーザデータを提供するステップと、
ｃ）前記画像センサを有する前記装置上の前記アプリケーションを使用して、前記画像センサを有する前記装置からネットワークを介して前記システム内の前記少なくとも１つのコンピュータの１つの処理ユニットに更新されたユーザデータを提供して、
前記画像センサを有する前記装置の前記ディスプレイ上のユーザインターフェース上で、前記既知の検索キーからの前記較正されたユーザデータを含む対話型選択を有する肌の色マップを前記ユーザに表示すること、および
前記ユーザインターフェース上で選択を行うユーザが、前記画像センサを有する前記装置の前記肌の色マップ上で、肌の色、色調、および肌のアンダートーンのうちの１つまたは複数を変更して前記ユーザデータを更新するために、前記肌の色マップの前記対話型選択を使用すること、
によって、前記既知の検索キー内における前記少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成するステップであって、
前記アプリケーションは、前記既知の検索キーに関連付けられた前記ユーザデータを更新して前記変更された検索キーを作成するために、前記アプリケーションを使用して更新されたユーザデータを、前記ネットワークを介して前記システム内の前記少なくとも１つのコンピュータに送信し、前記更新されたデータを、前記既知の検索キーと前記変更された検索キーとを最適化するために前記システムで使用し、前記肌の色マップは、肌の色、色調、肌のアンダートーンの１つまたは複数に関連するデータを含むステップと、
ｄ）前記注文管理システム内で前記変更された検索キーを使用して、前記更新されたユーザデータに基づいて前記ユーザ用に変更されたカスタマイズされた化粧品を生産し、前記変更されたカスタマイズされた化粧品の製造指示を決定するステップと、
を実行するように構成されているシステム。

【請求項2】

前記少なくとも１つの検索コンポーネントが、色、色分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズ、の群から選択される検索コンポーネントをさらに含み得る、請求項１に記載のシステム。

【請求項3】

各ユーザインタラクションは、変更する検索コンポーネントの選択に基づいている、請求項１に記載のシステム。

【請求項4】

前記ユーザインタラクションの指示は、編集指示の過去の尤度に基づいている、請求項１に記載のシステム。

【請求項5】

前記製造指示は、化粧品主成分の量を含み、各化粧品主成分は、適用される規制要件を満たす有効な化粧品である、請求項１に記載のシステム。

【請求項6】

記録内の前記主成分の割合を検証するために、２つの測定が行われ記録される、請求項５に記載のシステム。

【請求項7】

前記記録に顧客連絡先情報が関連付けられ得る、請求項６に記載のシステム。

【請求項8】

前記変更された検索キーおよび既知の検索キーはそれぞれ前記システムに格納され、ユーザに関連付けられる、請求項１に記載のシステム。

【請求項9】

前記肌の色マップの前記対話型選択は、前記少なくとも１つの検索コンポーネントを変更するためのスライダ、ボタン、または画像として前記画像センサを有する前記装置の前記ユーザインターフェース上に表示される、請求項１に記載のシステム。

【請求項10】

前記肌の色マップ上の各位置が、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応する、請求項１に記載のシステム。

【請求項11】

前記肌の色マップの領域が自然言語記述に関連付けられている、請求項１に記載のシステム。

【請求項12】

前記自然言語記述が、製品を指定および検索するための、または製品の変更に使用するための音声ユーザインターフェースとして使用される、請求項１１に記載のシステム。

【請求項13】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、前記ユーザに関連付けられた固有の配合物および前記ユーザに関連付けられた非カスタム化粧品から選択される、請求項１に記載のシステム。

【請求項14】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、前記ユーザによって選択された非カスタム化粧品である、請求項１に記載のシステム。

【請求項15】

前記カスタマイズされた化粧品は、前記非カスタム化粧品の見本を前記ユーザの皮膚に適用し、前記ユーザの皮膚上の前記見本の画像を前記ネットワークを介して前記システムにスキャンすることによって、前記ユーザが非カスタム製品をスキャンすることによって、および／または前記ユーザが容器内の前記非カスタム製品をスキャンすることによって、前記ユーザによって選択される、請求項１４に記載のシステム。

【請求項16】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、前記肌の色マップ上の場所にも関連付けられ、前記肌の色マップ上の前記対話型選択が、前記肌の色マップ上の第２の場所を識別することを含み、前記肌の色マップ上の第２の場所が、前記変更されたカスタマイズされた化粧品および前記変更された検索キーに関連付けられる、請求項１に記載のシステム。

【請求項17】

ユーザに関連付けられたカスタマイズされた化粧品を変更するための方法であって、
ａ）少なくとも１つのコンピュータを含む注文管理システムであって、前記少なくとも１つのコンピュータは、コンピュータ実行可能命令を格納するメモリ、および前記メモリに格納された前記命令を実行する処理ユニットを含む注文管理システムと、画像センサ、光源、ディスプレイ、およびそれらにインストールされたアプリケーションを有する装置と、を備えたシステムであって、
前記アプリケーションを使用して、前記装置の前記ディスプレイ上で、ユーザデータおよび装置データに基づいて、前記画像センサを有する前記装置の設定を自動的に較正するようにユーザを誘導し、前記較正された設定を使用して、前記ユーザの皮膚領域の少なくとも１つの画像を捕捉するように前記ユーザを誘導し、前記皮膚領域の前記少なくとも１つの画像を処理して、較正された前記ユーザデータおよび前記装置データを提供し；前記較正されたユーザデータおよび装置データを、前記少なくとも１つのコンピュータの前記メモリ内の前記ユーザに関連付けられた既知の検索キーに保存するように構成されたシステムを提供するステップと、
ｂ）前記システム内の前記少なくとも１つのコンピュータの前記処理ユニット、および前記既知の検索キーを使用して、初期のカスタマイズされた化粧品を前記ユーザのために指定するステップであって、前記既知の検索キーは、ユーザの肌の色、色調、および肌のアンダートーンのうちの１つまたは複数に関する前記較正されたユーザデータからのデータを含む少なくとも１つの検索コンポーネントを含み、ネットワークを介して前記アプリケーションを使用して、前記画像センサを有する前記装置から前記注文管理システム内の前記少なくとも１つのコンピュータに前記較正されたユーザデータを提供するステップと、
ｃ）前記システムに、前記画像センサを有する前記装置上の前記アプリケーションを使用して、ネットワークを介して前記システム内の前記少なくとも１つのコンピュータの１つの処理ユニットに更新されたユーザデータを提供して、
前記画像センサを有する前記装置の前記ディスプレイ上のユーザインターフェース上で、前記既知の検索キーからの前記較正されたユーザデータを含む対話型選択を有する肌の色マップを前記ユーザに表示すること、および
前記ユーザインターフェース上で選択を行うユーザによって、前記画像センサを有する前記装置の前記ユーザインタフェース上の前記肌の色マップ上で、肌の色、色調、および肌のアンダートーンのうちの１つまたは複数を変更して前記ユーザデータを更新するために、前記肌の色マップの前記対話型選択を使用すること、
によって、前記既知の検索キー内における前記少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成するステップであって、
前記アプリケーションは、前記既知の検索キーに関連付けられた前記ユーザデータを更新して前記変更された検索キーを作成するために、前記アプリケーションを使用して更新されたユーザデータを、前記ネットワークを介して前記システム内の前記少なくとも１つのコンピュータに送信し、前記更新されたデータを、前記既知の検索キーと前記変更された検索キーとを最適化するために前記システムが使用し、前記肌の色マップは、肌の色、色調、肌のアンダートーンの１つまたは複数に関連するデータを含むステップと、
ｄ）前記注文管理システム内で前記変更された検索キーを使用して、前記更新されたユーザデータに基づいて前記ユーザ用に変更されたカスタマイズされた化粧品を生産し、前記変更されたカスタマイズされた化粧品に関連する変更された製造指示を決定するステップと、
を含む、方法。

【請求項18】

前記少なくとも１つの検索コンポーネントは、色の分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズ、の群から選択される検索コンポーネントをさらに含み得る、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項19】

前記肌の色マップ上の各位置が、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応する、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項20】

前記肌の色マップの領域が自然言語記述に関連付けられ、前記自然言語記述が、製品を指定および検索するための、または製品の変更に使用するための音声ユーザインターフェースとして使用される、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項21】

前記較正されたユーザデータを提供するステップは、前記アプリケーションが、絞り、露出、露光時間、シャッタースピード、フォーカス、ＩＳＯ感度、および／またはホワイトバランスからなる群から選択される少なくとも１つの装置設定を制御することを含む、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項22】

前記注文管理システムは、グラウンド・トゥルース・データベースを含み、前記注文管理システムは、混合サービス、印刷サービス、調剤アプリケーション、出荷アプリケーション、および印刷アプリケーションをさらに備えている、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項23】

前記少なくとも１つの皮膚領域は顔領域を含む、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項24】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、前記ユーザに関連付けられた固有のカスタム配合および前記ユーザに関連付けられた非カスタム化粧品から選択される、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項25】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、非カスタム化粧品であり、前記非カスタム化粧品は、前記非カスタム化粧品の見本を前記ユーザの皮膚に適用し、前記ユーザの皮膚上の前記見本の画像を前記ネットワークを介して前記システムにスキャンすることによって、前記ユーザが前記非カスタム製品をスキャンすることによって、および／または前記ユーザが容器内の前記非カスタム製品をスキャンすることによって、前記ユーザによって選択される、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項26】

前記既知の検索キーに関連付けられた前記カスタマイズされた化粧品が、前記肌の色マップ上の場所にも関連付けられ、前記肌の色マップ上の前記対話型選択が、前記肌の色マップ上の第２の場所を識別することを含む、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【請求項27】

前記肌の色マップが、Ｌ＊／ｂ＊平面におけるＬ＊ａ＊ｂ＊色データの少なくとも１つの２次元投影を使用して作成され、前記Ｌ＊ａ＊ｂ＊色データは、較正された分光光度計を使用してスキャンされた様々な肌の色を持つユーザの群から取得され、前記２次元投影をオーバーレイする複数の領域が様々な肌の色に関連付けられる、請求項１７に記載のカスタマイズされた化粧品を変更するための方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、一般に、画像解析および外用薬配合に関連し、より具体的には、カラー皮膚画像に基づいてカスタマイズされた化粧品配合物を決定するためのシステムおよび方法、さらにそのような配合の顧客またはエンドユーザが、特定のユーザ情報および例えば対話型ユーザインターフェースからのフィードバックを使用して、カスタマイズされた化粧品配合物をさらに変更することができるようなシステム、特に本明細書のシステムおよび方法を使用して配合されたカスタム化粧品の属性の対話的な感知、表示および調整を有するシステムおよび方法に関係する。

【0002】

［関連出願の相互参照］
本出願は、２０１８年７月１３日に出願された米国仮特許出願第６２／６９７，９２５号に対して米国特許法§１１９条（ｅ）に基づく利益を主張し、その全開示は参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0003】

塗布されたクリームまたはローションの形の審美的および保護的な化粧用外用薬は、紫外線放射から保護し、水分バリアを提供し、傷および皮膚の変色をマスクし、刺激を軽減または防止し、他の健康的で審美的な利点を提供するために広く使用されている。可能な限り最良の世界では、これらの保護的外用薬は特定のニーズを持つ特定の個人、および特定の環境または使用のために専門家チームによって指定されるであろう。次いで、外用薬は適時に配合され、個人に供給され、個人はそのような配合の作成において協力する可能性を有し得る。残念なことに、物流およびコストにより、今日までそのような特定の最適化された製品を既定のユーザに提供することの実用性が制限されてきた。

【0004】

特定のニーズに合う化粧品用外用薬を提供するためのいくつかの先行技術のアプローチがある。これらの薬剤は、皮膚科医からの仕様書に基づいて配合することができる。それらは知識豊富な店員によって原料のセットから小売店でアセンブルされ得る。様々な特性を持つ化粧用クリームまたはローションのシステムまたはセットは、特定の顧客の色、肌のタイプ、および特定のニーズに基づいて事前に製造および選択することができる。

【0005】

これらの外用薬のカスタム製造および流通の一般的なソリューションに対する主な障壁は、製品の機能の数が多く、ニーズが非常に多様であることである。また、特定のニーズと個人に最適な粒度の各配合を製造し、在庫することは商業的に実行可能ではない。当技術分野では、例えば高度な画像解析技術を使用した個人の特定のニーズの決定、およびそのニーズのセットに最適な配合に基づく有用な配合物を提供する方法が必要になった。

【0006】

適度な鏡面反射率および主に拡散反射率を有する表面の反射率スペクトルを捕捉する技術は、反射色をＲＧＢトリプレットとして測定すること、または固定された絞り、固定積分光学系に設定され、一定期間にわたって測定された検出器との既知の距離において既知の光源、および反射率を積分する光学的方法を使用して表面の反射スペクトルを測定することを必要とし得る。これらの技術を使用する装置には反射分光光度計および比色計がある。

【0007】

一部の携帯端末は、比色計の多くの特性を有している。例えば、それらは、既知の特性を有する光源、電荷結合素子（「ＣＣＤ」）検出器、プロセッサ、および統合に使用することができるレンズシステムを有する。正確な比色計として携帯端末を使用する際の主な障壁は、（１）環境光を制御することと、（２）サンプリングする表面までの距離を設定することと、（３）サンプルの測定に使用される開口を制御することと、（４）サンプルの測定に使用される検出器の感度を制御することと、（５）サンプルの測定に使用する時間を制御することと、（６）サンプルを測定するためのホワイトバランスを制御することと、（７）サンプルを測定するための焦点面を制御することと、を必要とすることである。

【0008】

携帯端末で使用されているカメラは、現在使用されている最も人気のあるハンドヘルドカメラになっているが、一般に手動で絞りを設定する性能が欠けており、露出、露出時間、感度の設定ができるものも現在あるが、最も人気のある端末では、ソフトウェアで絞り、感度、または露出時間を設定できない。携帯端末のハードウェアおよびファームウェアは、結果として得られるデジタル画像ファイルに埋め込まれたデータとしてどのカメラ設定が使用されるかを報告し得るが、画像を向上または改善し、ホワイトバランスを調整するための技術がファームウェア内でしばしば使用される。カメラを制御するファームウェアは一般に、光と色の信頼できる測定を行うためではなく、高品質のスナップショットを生成するために最適化されている。

【0009】

したがって、これらの問題に対処し、ユーザが携帯端末を使用して正確で再現可能な色のサンプルを取り込めるようにするシステムと方法が開発された。特定の用途に最適化された審美的および保護的外用薬の配合は、本明細書の出願人によって開発され、特許文献１、特許文献２および特許文献３に開示されている。このシステムや他のシステムの実装は現在、業界で使用されており、市場で入手できる。ＭＡＴＣＨＣｏなどの企業は、そのような薬剤を生成および／または販売するためのフルスタックソリューションを提供する。特許文献１に開示されているシステムおよび方法は、これらの美的薬剤の実際の製造を可能にするだけでなく、特定のユーザの特性を特徴付け、これらの特性を使用して特定の配合を導き出すか、既存の非カスタム製品である可能性があるデータベース内の最も近い配合にユーザを一致させるようなシステムおよび方法の能力において多くの利点を有する。したがって、新しい配合は、個々のユーザおよび／または非カスタム製品配合の形で最も近い一致に一致するユーザのためのそのようなシステムに基づいて特に配合することができ、非カスタム製品配合物は、ユーザの一致したカスタム化粧品としてユーザキーに関連付けられる。

【0010】

特許文献１、特許文献２および特許文献３に記載されているようなシステムは、前述のユーザインタラクション（ユーザ対話）とスキャンに基づいてユーザに正確な一致を提供する可能性があるが、さらに、ユーザが、審美的、環境的、または文化的な理由から、特に一致する配合の要件を変更し、また、ユーザがプロファイルを評価し、カスタマイズ化粧品を受け取った後に変更する必要があるかどうかを判断するための基礎を提供することを決定または希望する場合は、ユーザへの対応方法の問題に技術的に対処する必要がある。

【0011】

また、ユーザは、特許文献１に記載されているようなシステムを構築するために使用される収集されたデータセットから外れることもある。したがって、特許文献１に記載されているように特徴付けられ得る既存のカスタム薬剤を調整するために、ユーザがそのようなシステムに追加の入力を提供するための方法を開発および提供することが望ましい。出願人は、特許文献４に記載されている、最も近いベクトルまたは周辺検索キー選択からのユーザインタラクションを使用して検索キーの変更を可能にするさらなる入力および変更を可能にするためのシステムを開発した。当技術分野では、特殊な配合に基づくか既存のカスタマイズされていない製品に基づくかにかかわらず、ユーザのカスタマイズされた化粧品を変更するときに、肌の色、色調、および／またはアンダートーンの精度を改善するために、そのような変更方法をさらに改善する必要がある。

【0012】

ユーザインタラクションを用いてユーザの意図に繰り返し適用される適応システムが開発されている。例えば、特定の用途に合わせて色を選択するよく知られた方法がある。いくつかは、色付きのタイルまたは正方形を選択して、それがコンピュータインターフェースで画像または製品に対話的適用されるのを見るのと同じくらい簡単である。カラーピッキングの有用な説明は、非特許文献１にある。インターフェースで色を選択することを記述した初期の特許には、例えば、特許文献５が含まれる。

【0013】

上記の非特許文献１で説明されているように、そのような従来技術のカラーピッキング方法は、製造用ではなく表示用の色を選択するためのインターフェースを提供する。

【0014】

他の方法は、変数のセットをグラフィックフィルタに適用し、レンダリングされた選択肢の配列にこれらの変数の多くのバリエーションを提示する。ユーザが一連の変数値を選択すると、非特許文献２で説明されているようなデータモデルに基づいて新しい選択のセットが表示されてもよい。

【0015】

他の技法では、遺伝的アルゴリズムを使用して、ユーザの対話方法を学習し、より直感的な対話を提供する。非特許文献３を参照されたい。

【0016】

特許文献６は、カスタマイズ可能な製品のキー値属性のユーザ選択を関連付け、キー値を少なくとも１つの他のキー値に一致させ、フィルタを選択し、そのキー値選択をフィルタリングし、それを製品に適用する方法を説明している。

【0017】

特許文献７は、ユーザから色データを収集し、その色情報を保存された色データのセットと比較し、ユーザデータと保存された色データとの比較に基づいてカスタム製品の顔料を混合する装置を記載している。

【0018】

上記の問題に加えて、ユーザの色の選択を解釈して製品に一致させる、および／または実際のユーザの肌の色データをより厳密に追跡する製品についてユーザにアドバイスする、高度でより正確な方法を開発することは有用である。ユーザが変更または選択するために選択できる既知の色であるタイルまたは色の正方形を提供する以外に、実際のユーザデータおよび既存の市販製品、ユーザが使用する市販製品、およびユーザに合わせてカスタマイズされた製品（特殊配合または既存の非カスタム製品に基づく）から取得したデータに基づいて派生したユーザフレンドリーな肌の色マッピングシステムを構築して、ユーザがカスタム化粧品配合物および非カスタムの市販化粧品データベースに簡単に対話して選択できるおよび／または従来の色マッチングシステムで発生する問題に対処する色マッチングおよび色セクション技術を使用して色を調整できると便利である。

【0019】

例えば、肌の色をマッピングする方法がたくさん知られている。そのような方法の１つがフィッツパトリックスケールである。このスケールは、太陽に対するユーザの感度に基づいている。ユーザに一連の質問があり、システムには６つのレベルがある。このスケールにはある程度の適用性があるが、アジアやアフリカのような肌の色での使用にはあまり適していない。時間が経つにつれて、その使用は、分光光度計の読み取り値またはラボの色空間の使用に大きく取って代わられた。１９７６年にＣＩＥＬＡＢカラーモデルＬ＊ａ＊ｂカラーが開発され、臨床および業界の対策に役立ったが、その表記はユーザにとって理解しにくく、対話式での使用が難しい３Ｄ方向で投影される。

【0020】

Ｃｈａｒｄｏｎ Ｇｒａｄｉｎｇ ＩＴＡも、Ｌ＊ａ＊ｂデータのマッピングに適合しており、ＣＩＥＬＡＢモデルのＬ＊ｂ＊平面と、ＩＴＡ＝（（ＡＴＡＮ（Ｌ８－５０）／Ｂ＊）×１８０／πである変換を使用する。このモデルは６レベルにマッピングされるが、フィッツパトリックスケールの線形スケール置換には役立つが、ＣＩＥＬＡＢのＡ＊コンポーネントの寄与は省略されている。

【0021】

パントンスキントーンは、肌の色調の全域に基づいて１１０色を提供する。明るい色から暗い色まで肌を測定するために１～１５のスケールを使用し、黄色のアンダートーンには１～５のスケール、赤いアンダートーンには１～５のスケールに基づいている。個別の色は、肌と直接比較することで一致する。ただし、分光光度計のＬ＊ａ＊ｂ測定値への直接マッピングは提供されない。Ｐａｎｔｏｎｅ Ｃｏｌｏｒ ＩＱは、パントンスキントーンを使用し、独自の比色計に関連付けられている。Ｐａｎｔｏｎｅ Ｃｏｌｏｒ ＩＱは化粧品を保持するようにマッピングされているが、それでも１１０色に制限されている。

【0022】

そのような従来の技術システムにもかかわらず、新しいおよび／または変更されたカスタマイズされた化粧品配合物を自動的に作成するために、ユーザに関連付けられた既存のカスタマイズされた化粧品配合物をユーザが対話型ユーザインターフェースを介して変更することを可能にする方法およびシステム、または、Ｌ＊ａ＊ｂ ＣＩＥＬＡＢデータからのより広範な色を使用して正確な肌色の色マッピングの幅の基礎を提供する方法およびシステム、または、地理的領域（肌の温度や環境への影響が異なる）に適応する方法およびシステム、および、肌のアンダートーンの完全な表現を考慮しながら、シンプルで使いやすい２次元マッピングを提供し、ユーザの肌の形態と生化学を考慮に入れる方法およびシステムの当技術分野の必要性に対処するものはない（独自の配合として作成されたか、最初に非カスタム製品に基づいてユーザに関連付けられたかどうかに関わらず）。カスタム化粧品の色と色調のより良いマッチングおよび／または調整を可能にするために、皮膚のスキャンおよび感知能力を強化することも好ましいであろう。

【先行技術文献】

【特許文献】

【0023】

【文献】米国特許第８，９３３，９９４号明細書

【文献】米国特許第９，１２２，９１８号明細書

【文献】米国特許第９，１２２，９１９号明細書

【文献】米国特許出願公開第２０１８／０２６０８７１号明細書

【文献】米国特許第５，２４９，２６３号明細書

【文献】米国特許第８，８５６，１６０号明細書

【文献】米国特許出願公開第２００８／０３１１０６１号明細書

【非特許文献】

【0024】

【文献】Ｊ．Ｋｏｅｎｄｅｒｉｎｋ等、「Ｃｏｌｏｒ Ｐｉｃｋｉｎｇ：Ｔｈｅ Ｉｎｉｔｉａｌ ２０ｓ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｐｐｌｉｅｄ Ｐｅｒｃｅｐｔｉｏｎ、Ｖｏｌ．１３、Ｎｏ．３、Ａｒｔｉｃｌｅ １３、ｐｐ．１３／１－１３／２５（２０１６）

【文献】Ｇ．Ｊａｌａｌ等、「Ｃｏｌｏｒ Ｐｏｒｔｒａｉｔｓ：Ｆｒｏｍ Ｃｏｌｏｒ Ｐｉｃｋｉｎｇ ｔｏ Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ Ｃｏｌｏｒ」、ＣＨＩ ２０１５ コンピューティングシステムのヒューマンファクターに関する第３３回コンピューティングマシンの協会（ＡＣＭ）会議の議事録、ｐｐ．４２０７－４２１６、ソウル、韓国（２０１５年４月１８～２３日）

【文献】Ｓ．Ｍａｔｓｕｉ等、「遺伝的アルゴリズムは階層メニューを最適化できる」、ＣＨＩ ２００８ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＩＧＣＨＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ、ｐｐ．１３８５－１３８８、フィレンツェ、イタリア（２００８年４月５日～１０日）

【発明の概要】

【0025】

特定の時間または場所でユーザに関連付けられたカスタム化粧品（独自の配合または非カスタム製品との一致）を変更または調整するために、またはユーザの要求に応じて既存の非カスタム製品から調整された製品を生産するために、特許文献１、特許文献２および特許文献３ならびに特許文献４に記載されている実施形態の特定のセットを使用する必要があり、これらのそれぞれは、参照により関連部分に本明細書に組み込まれる。この同じメカニズムを使用および変更して、美的薬剤をユーザの仕様に合わせて調整し、ユーザの特性と仕様を追加の製品にマッピングすることができる。このようなメカニズムは、本明細書でさらに改善されている。

【0026】

特に、同じメカニズムおよび改善メカニズムは、製造端末またはシステムとは別の端末で実行される特定のユーザの特性を収集し、その端末がスキャン情報をサーバに通信し、その情報をそのサーバ上のデータストアでそのユーザに関連付けるスキャン操作を記述するのに役立つ。このようにして、スキャンデータを後で編集するために使用できる。

【0027】

このメカニズムはさらに、サーバがユーザスキャンデータを、様々な化粧品の製造指示を見つけたり計算したりするために使用できる形式に変換するのに役立つ。このデータ形式は「キー」と呼ばれ、特許文献１に記載されている。

【0028】

様々な形の化粧品や様々なメーカが存在する可能性があるため、特定のユーザのキーを使用して特定の化粧品の製造指示を見つけたり計算したりするサーバ上で個別のアクションを実行すると便利である。

【0029】

また、製造装置またはシステムが製造指示を生成する端末とは別であることが好ましくさらに有用である。なぜなら、これらは異なる場所にある、異なる製品を製造する、または異なる製造プロセスを使用する可能性があるためである。

【0030】

ユーザが色のバリエーションを選択したり、上記のように特定の設定を増減したり、変更に影響する異なる設定を選択したりするための対話を提供する従来の既知の技法があるが、これらの従来の技法はそれぞれ変更されるデータモデルに固有である。本発明におけるデータモデルは、スキャンデータにエンコードされたユーザ特性であり、「検索キー」に変換される。その用途は、特許文献１および本明細書に記載の方法を使用して、（本明細書に記載のＯＡＰＴＡ仕様に関連する）特定のカスタマイズされた化粧品配合物を導出することにある。そのデータモデルとアプリケーションのシステムは固有であるため、ユーザに提示される相互作用の選択肢は、そのデータモデルによって決定される通り固有になる。

【0031】

本明細書で開示されるシステムは、本発明を使用するユーザが新しいユーザキーを作成するか、または既に特許文献１および本明細書で定義されている検索キーに関連付けられるという点で従来のシステムとは異なる。検索キーもキー値形式ではない。より具体的には、検索キー自体がフィルタリングなしで直接変更され得る。検索キーを変更するために本明細書でユーザに提示される対話式の選択は、「グラウンド・トゥルース・データセット」内で見つかったデータに基づいている。本明細書に記載のシステムは、別個の装置でユーザデータを収集し、別個のプロセスでユーザスキャンデータを検索キーに変換するという点で、前述の従来技術と比較してさらに固有なものである。次に、別のプロセスまたは対話を提供して、検索キーを変更し、および／または同じユーザの追加の検索キーを追加し、検索キーは、異なるまたは追加のデータを含むように変更されることが好ましい。次に、変更前、変更後の検索キーを使用して、異なる配合の多数の製品を生産し、および／またはユーザを非カスタム製品および／または変更された非カスタム製品を含む配合に関連付けることができる。

【0032】

本発明は、既存の非カスタム化粧品からカスタマイズされた化粧品を作成するためのシステムであって、前記システムは、ａ）少なくとも１つの検索コンポーネントで構成される既知の検索キーを使用して、非カスタム製品を特徴付けることと、ｂ）前記検索キーにおける少なくとも１つの前記検索コンポーネントの少なくとも１つを変更して、変更された検索キーを生成するためのユーザインタラクションを提供することと、ｃ）前記変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、製造指示を決定することと、ができるように構成されている、システムを含む。

【0033】

少なくとも１つの検索コンポーネントは、色、色分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズのうちの１つまたは複数であり得る。

【0034】

そのようなシステムでは、各ユーザインタラクションは、変更する検索キーの選択に基づくことができる。ユーザインタラクションの方向は、編集方向の過去の尤度に基づいている場合がある。ユーザインタラクションの量は、最も近いキーの近傍内のキーコンポーネントの変化に基づく場合がある。ユーザインタラクションは、ユーザに関連付けられたマップ上の場所を有する肌の色マップを表示すること、および肌の色マップ上の新しい場所を選択することを含み得る。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップ上の位置および肌の色マップのデータは、少なくとも部分的に、皮膚の形態および皮膚の生化学から導き出され得る。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0035】

システム内の製造指示は、化粧品主成分の量を含み得、各化粧品主成分は、適用される規制要件を満たす有効な化粧品である。記録内の化粧品の主成分の割合を検証するために、２つの化粧品の主成分を作成して記録することができる。顧客の連絡先情報は、記録に関連付けられていることが望ましい。既知の検索キーはユーザに関連付けられていることが好ましく、ユーザインタラクションには、既知の検索キーに関連するデータを更新するために、更新されたデータをシステムに送信する光学センサを備えた端末を使用することをさらに含めることができ、更新されたデータがシステムで使用され、既知の検索キーと変更された検索キーが最適化される。変更された検索キーおよび既知の検索キーは、それぞれシステムに格納され、ユーザに関連付けられていることが好ましい。

【0036】

ユーザインタラクションには、少なくとも１つの検索コンポーネントを変更するためのスライダ、ボタン、画像、または肌の色マップのユーザインターフェースでの対話型選択が含まれ得る。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0037】

本発明は、カスタマイズされた化粧品を変更するためのシステムであって、ａ）少なくとも１つの検索コンポーネントで構成される既知の検索キーによってカスタマイズされた化粧品を指定することと、ｂ）前記既知の検索キーにおける前記少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成するユーザインタラクションを提供することと、ｃ）前記変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、製造指示を決定することと、ができるように構成されているシステムをさらに含む。システム内のカスタマイズされた化粧品は、独自の配合もしくはユーザに関連付けられた既存の非カスタム製品のいずれかであるか、または変更のためにユーザによって選択された非カスタム製品であり得る。

【0038】

少なくとも１つの検索コンポーネントは、色、色分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズのうちの１つまたは複数であり得る。

【0039】

この実施形態では、各ユーザインタラクションは、変更する検索コンポーネントの選択に基づくことができる。ユーザインタラクションの指示は、編集指示の過去の尤度にも基づくことが好ましい。ユーザインタラクションの量は、最も近いキーの近隣内の検索コンポーネントの変更に基づいてもよい。

【0040】

本実施形態内の製造指示は、化粧品主成分の量を含み得、各化粧品主成分は、適用される規制要件を満たす有効な化粧品である。記録内の主成分の割合を検証するために、２つの測定を行って記録することができる。

【0041】

顧客の連絡先情報が記録に関連付けられていることが望ましい。既知の検索キーはまたユーザに関連付けられていることが好ましく、ユーザインタラクションには、既知の検索キーに関連するデータを更新するために、更新されたデータをシステムに送信する光学センサを備えた端末を使用することをさらに含めることができ、更新されたデータがシステムで使用され、既知の検索キーと変更された検索キーが最適化される。

【0042】

変更された検索キーおよび既知の検索キーは、それぞれシステムに格納され、ユーザに関連付けられていることが好ましい。ユーザインタラクションは、少なくとも１つの検索コンポーネントを変更するための、スライダ、ボタン、画像、または肌の色マップのユーザインターフェース上での対話型選択を含み得る。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0043】

本発明はさらに、ユーザに関連するカスタマイズされた化粧品を修正する方法であって、ａ）少なくとも１つの検索コンポーネントからなる既知の検索キーによってユーザの初期のカスタマイズ化粧品を指定できるように構成されたシステムを提供することと、ｂ）ユーザが検索キーの少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成できるようにするユーザインターフェースを提供することと、ｃ）変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、変更されたカスタマイズされた化粧品に関連する変更された製造指示を決定することと、を含む、方法を含む。システム内のカスタマイズされた化粧品は、独自の配合もしくはユーザに関連付けられた既存の非カスタム製品のいずれかであるか、または変更のためにユーザによって選択された非カスタム製品であり得る。

【0044】

最初のカスタマイズされた化粧品は非カスタム製品と同じであり得、最初のカスタマイズされた化粧品の既知の検索キーは非カスタム製品の検索キーと同じであり得る。少なくとも１つの検索コンポーネントは、色、色分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズのうちの１つまたは複数であり得る。この方法では、ユーザインターフェースは、それぞれが検索コンポーネントに関連付けられた１つまたは複数のスライダを含み得る。ユーザインターフェースは、ユーザおよび既知の検索キーに関連付けられた場所を有する肌の色マップを含み得、ユーザは、肌の色マップ上の新しい場所を選択して、検索コンポーネントの少なくとも１つを修正し、変更された検索キーを作成し得る。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0045】

システムは、光学センサを有する端末を介して既知の検索キーの検索コンポーネントに関連するデータを収集することができ、システムは、較正された画像をスキャンするようにユーザを対話的に誘導し、かつスキャンからシステムにデータを送信することができるアプリケーションをさらに含むことができる。端末は、光源をさらに備えることが好ましい。スキャンから送信されるデータには、端末データとユーザデータが含まれる場合がある。この場合、アプリケーションは、絞り、露出、露出時間、シャッタスピード、フォーカス、ＩＳＯ感度、および／またはホワイトバランスから構成される群から選択された少なくとも１つの端末設定を制御できることが好ましい。

【0046】

システムは、一実施形態では、グラウンド・トゥルース・データベースを含む注文管理サービスを含み得、アプリケーションは、ユーザが光学センサを有する端末と相互作用することを可能にするユーザインターフェースを含み、システムは、混合サービス、印刷サービス、調剤アプリケーション、出荷アプリケーション、および印刷アプリケーションをさらに含む。グラウンド・トゥルース・データベースには、製品属性データストアが含まれるか、関連付けられている場合がある。

【0047】

システムは、非カスタム製品および／またはカスタマイズされた化粧品を含む複数の製品の参照データを含む製品属性データストアを含み得、製品属性データストア内の各製品は、好ましくは、少なくとも１つの製品属性に関連付けられる。システムとのユーザインタラクションは、製品属性データストアから製品を選択すること、または選択のために非カスタム製品を製品属性データストアに導入することを含む。一実施形態では、非カスタム製品を製品属性データストアに導入することは、非カスタム製品のパッケージをスキャンまたは写真を撮るために画像センサを備えた端末を使用することと、非カスタム製品を見本としてユーザの顔領域に適用することと、非カスタム製品の見本が付いている顔の写真を撮ることと、非カスタム製品の写真またはスキャン、および非カスタム製品の見本が付いている顔の写真を調整サービスに送信することと、を含む。

【0048】

システムは、調整サービスをさらに含むことができ、その場合、アプリケーションは、調整サービスを含むか、またはそれにアクセスおよび／または対話することができる。

【0049】

調整サービスは、次のステップを実行するように構成できる。送信された写真または非カスタム製品のスキャンで製品を識別する。識別された製品の少なくとも１つの製品属性に関連するデータを製品属性データストアから検索する。ユーザの顔の送信された写真で見本がある製品領域を特定し、製品領域の相対的な製品の色を計算する。製品領域の隣に皮膚領域を配置し、皮膚領域の相対的な皮膚領域の色を計算する。製品属性データストアからのデータを使用して、相対的な製品の色と相対的な皮膚領域の色のそれぞれを絶対的な色に変換する。皮膚領域の絶対色と製品の絶対色の違いを分析し、その違いを使用してユーザに関連付けられた検索キーを変更し、変更された製造指示を作成する。

【0050】

調整サービスは、次のステップ、すなわち、送信された写真または非カスタム製品のスキャンで製品を識別すること、識別された製品の少なくとも１つの製品属性に関連するデータを製品属性データストアから検索すること、ユーザの顔の送信された写真で見本がある製品領域を特定し、製品領域の相対的な製品の色を計算すること、製品領域の隣に皮膚領域を配置し、皮膚領域の相対的な皮膚領域の色を計算すること、製品属性データストアからのデータを使用して、相対的な製品の色と相対的な皮膚領域の色のそれぞれを絶対的な色に変換すること、および、ＣＩＥＬＡＢ色として表される絶対肌色を使用して、アプリケーションで使用するための顔スキャンおよび関連する顔スキャンデータを提供すること、を実行するように構成できる。

【0051】

絶対皮膚色からの顔面スキャンおよび関連する顔面スキャンデータは、好ましくは既知の検索キーに関連付けられ、送信されると、既知の検索キーを更新して、変更された検索キーを作成する。顔面スキャンおよび関連する顔面スキャンデータは、好ましくはシステムに送信され、システムはユーザインターフェースを含み、アプリケーションは、ユーザの既知の検索キーに関連付けられた肌の色マップ上のユーザ位置の変更と、ユーザインターフェースを使用した既知の検索キーに基づくユーザデータを含むユーザプロファイルの変更と、の群から選択されたユーザインタラクションを提供する。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0052】

また、本明細書には、ユーザに関連付けられたカスタマイズされた化粧品を変更するための方法であって、ａ）少なくとも１つの検索コンポーネントから構成される既知の検索キーによって、ユーザの最初のカスタマイズされた化粧品を指定することができるように構成されたシステムを提供することと、ｂ）ユーザが検索キー内の少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成することを可能にする対話型ユーザインターフェースを提供することであって、ユーザインターフェースは、ユーザおよび既知の検索キーに関連付けられた場所を有する肌の色マップを含み、ユーザは、肌の色マップ上の新しい場所を選択して、検索コンポーネントの少なくとも１つを変更し、変更された検索キーを作成する、提供することと、ｃ）変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、変更されたカスタマイズされた化粧品に関連する変更された製造指示を決定することと、を含む、方法が含まれる。システム内の最初のカスタマイズされた化粧品は、独自の配合またはユーザに関連付けられた既存の非カスタム製品のいずれかであるか、または変更のためにユーザによって選択された非カスタム製品である可能性がある。

【0053】

この実施形態では、最初のカスタマイズされた化粧品は非カスタム製品と同じであり得、最初のカスタマイズされた化粧品の既知の検索キーは非カスタム製品の検索キーと同じであり得る。

【0054】

少なくとも１つの検索コンポーネントは、色、色分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズのうちの１つまたは複数であり得る。肌の色マップは、肌の色、色調、および／またはアンダートーンの１つまたは複数に関連するデータを含み得る。

【0055】

肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。肌の色マップの領域は、自然言語記述に関連付けることができ、自然言語記述は製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用できる。

【0056】

肌の色マップは、Ｌ＊／ｂ＊平面におけるＬ＊ａ＊ｂ＊色データの少なくとも１つの２次元投影を使用して作成され、Ｌ＊ａ＊ｂ＊色データは、較正された分光光度計を使用してスキャンされた様々な肌色を持つユーザの群から取得され、２次元投影をオーバーレイする複数の領域が様々な肌色に関連付けられ得る。

【0057】

システムは、光学センサを有する端末上に設置されるか、またはそれと通信するアプリケーションをさらに備え、アプリケーションは、ユーザを対話的に誘導してユーザの皮膚の領域をスキャンし、ユーザの１つまたは複数の皮膚領域に関するデータを収集し、アプリケーションは、ユーザの皮膚の制御されたスキャンのために端末設定を調整することができ、収集されたデータは、ユーザおよび最初の検索キーに関連付けられた肌の色マップ上の場所を識別するために使用され得る。

【0058】

この方法の一実施形態では、ステップ（ｂ）は、変更された検索キーを作成する前に、更新されたデータを収集するためにユーザの皮膚の新しいスキャンを完了するためにユーザを対話的に誘導するアプリケーションをさらに含み、更新されたデータ内の変更がシステムによって収集され、ユーザと最初の検索キーとに関連付けられた肌の色マップ上の場所を変更するために使用される。ユーザは、ユーザインターフェースと対話して、ユーザの好みの少なくとも１つに基づいて、または更新されたデータの変化に基づくアプリケーションからの推奨に基づいて、肌の色マップ上の新しい場所を選択することができる。

【0059】

本発明は、カスタマイズされた化粧品を変更するためのシステムであって、ａ）少なくとも１つの検索コンポーネントから構成される既知の検索キーによってカスタマイズされた化粧品を指定することと、ｂ）既知の検索キー内における少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成するためのユーザインタラクションを提供することであって、ユーザインタラクションは、少なくとも１つの検索コンポーネントを変更するための肌の色マップ上の対話型選択を含み、肌の色マップは、肌の色、色調、肌のアンダートーンの１つまたは複数に関連するデータを含む、提供することと、ｃ）変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、製造指示を決定することと、ができるように構成されているシステムをさらに含む。

【0060】

このシステムでは、少なくとも１つの検索コンポーネントは、色、色の分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズ、の群のうちの１つまたは複数であり得る。各ユーザインタラクションは、変更する検索コンポーネントの選択に基づいている場合がある。ユーザインタラクションの指示は、編集指示の過去の尤度にも基づくことが好ましい。製造指示が含まれている場合、そのような製造指示は、化粧品主成分の量を含み得、各化粧品主成分は、適用される規制要件を満たす有効な化粧品である。システムでは、２つの測定を行って記録し、記録内の主成分の割合を確認できる。顧客の連絡先情報も記録に関連付けることができる。

【0061】

既知の検索キーはユーザに関連付けられていてもよく、ユーザインタラクションには、既知の検索キーに関連するデータを更新するために、更新されたデータをシステムに送信する光学センサを備えた端末を使用することをさらに含めることができ、更新されたデータがシステムで使用され、既知の検索キーと変更された検索キーが最適化される。変更された検索キーおよび既知の検索キーは、それぞれシステムに格納され、ユーザに関連付けられていてもよい。

【0062】

ユーザインタラクションは、少なくとも１つの追加の検索コンポーネントを変更するために、スライダ、ボタン、または画像のユーザインターフェース上での対話型選択をさらに含み得る。一実施形態では、肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応する。肌の色マップの領域は、自然言語記述に関連付けられている場合がある。そのような実施形態では、自然言語記述は、製品を指定および検索するために、または製品の変更に使用するための音声ユーザインターフェースとして使用され得る。

【0063】

既知の検索キーに関連付けられたカスタマイズされた化粧品は、ユーザに関連付けられた固有の配合物およびユーザに関連付けられた非カスタム化粧品から選択することができる。既知の検索キーに関連付けられたカスタマイズされた化粧品は、ユーザが選択した非カスタム化粧品である可能性がある。カスタマイズされた化粧品は、非カスタム化粧品の見本をユーザの皮膚に適用し、ユーザの皮膚上の見本の画像をシステムにスキャンすることによって、ユーザが非カスタム製品をスキャンすることによって、および／またはユーザが容器内の非カスタム製品をスキャンすることによって、ユーザによって選択され得る。既知の検索キーに関連付けられたカスタマイズされた化粧品は、肌の色マップ上の場所に関連付けられてもよく、肌の色マップ上の対話型選択は、肌の色マップ上の第２の場所を識別することを含み得る。

【0064】

ユーザに関連付けられたカスタマイズされた化粧品を変更するための方法であって、ａ）少なくとも１つの検索コンポーネントから構成される既知の検索キーによって、ユーザの最初のカスタマイズされた化粧品を指定することができるように構成されたシステムを提供することと、ｂ）ユーザが検索キー内の少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成できるようにする対話型ユーザインターフェースを提供することであって、ユーザインタラクションは、少なくとも１つの検索コンポーネントを変更するための肌の色マップでの対話型選択を含み、肌の色マップは、肌の色、色調、および肌のアンダートーンのうちの１つまたは複数に関するデータを含む、提供することと、ｃ）変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、変更されたカスタマイズされた化粧品に関連する変更された製造指示を決定することと、を含む、方法も含まれる。

【0065】

カスタマイズされた化粧品を変更するためのこの方法の一実施形態では、少なくとも１つの検索コンポーネントは、色の分散、被覆率、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズ、の群から選択される検索コンポーネントをさらに含み得る。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップの領域は、自然言語記述に関連付けることができ、その場合、自然言語記述を、製品を指定および検索するための、または製品の変更に使用するための音声ユーザインターフェースとして使用することができる。

【0066】

この方法では、システムは、光学センサを有する端末を介して既知の検索キーの少なくとも１つの検索コンポーネントに関連するデータを収集することができ、システムは、較正された画像をスキャンするようにユーザを対話的に誘導し、スキャンからシステムへのデータ送信することができるアプリケーションをさらに含む。この方法では、システムはまた、光学センサを有する端末を介して既知の検索キーの少なくとも１つの検索コンポーネントに関連するデータを収集することができ、端末はさらに光源を含む。スキャンから送信されるデータには端末データが含まれ、アプリケーションは、絞り、露出、露出時間、シャッタスピード、フォーカス、ＩＳＯ感度、および／またはホワイトバランスからなる群から選択された少なくとも１つの端末設定を制御できる。

【0067】

この方法のシステムはまた、グラウンド・トゥルース・データベースを含む注文管理サービスを含み得、アプリケーションは、ユーザが光学センサを有する端末と相互作用することを可能にするユーザインターフェースを含み、システムは、混合サービス、印刷サービス、調剤アプリケーション、出荷アプリケーション、および印刷アプリケーションをさらに含む。

【0068】

この方法では、端末は顔をスキャンすることができ、関連する顔スキャンデータをシステムに送信することができ、システムは、対話型ユーザインターフェースを提供するアプリケーションを含むことができる。

【0069】

既知の検索キーに関連付けられたカスタマイズされた化粧品は、ユーザに関連付けられた固有のカスタム配合およびユーザに関連付けられた非カスタム化粧品から選択することができる。既知の検索キーに関連付けられたカスタマイズされた化粧品は、非カスタム化粧品の見本をユーザの皮膚に適用し、ユーザの皮膚上の見本の画像をシステムにスキャンすることによって、ユーザが非カスタム製品をスキャンすることによって、および／またはユーザが容器内の非カスタム製品をスキャンすることによって、ユーザによって選択される非カスタム化粧品であり得る。

【0070】

この方法では、既知の検索キーに関連付けられたカスタマイズされた化粧品は、肌の色マップ上の場所に関連付けられてもよく、肌の色マップ上の対話型選択には、肌の色マップ上の第２の場所の識別が含まれる。

【0071】

本発明はさらに、ユーザに関連付けられたカスタマイズされた化粧品を変更するための方法であって、ａ）少なくとも１つの検索コンポーネントから構成される既知の検索キーによって、ユーザの最初のカスタマイズされた化粧品を指定することができるように構成されたシステムを提供することと、ｂ）ユーザが検索キー内の少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成することを可能にする対話型ユーザインターフェースを提供することであって、ユーザインターフェースは、ユーザおよび既知の検索キーに関連付けられた場所を有する肌の色マップを含み、ユーザは、肌の色マップ上の新しい場所を選択して、検索コンポーネントの少なくとも１つを修正し、修正された検索キーを作成する、提供することと、ｃ）変更された検索キーを使用して、変更されたカスタマイズされた化粧品を生産し、変更されたカスタマイズされた化粧品に関連する変更された製造指示を決定することと、を含む、方法を含む。

【0072】

この方法では、最初のカスタマイズされた化粧品は非カスタム製品と同じであり得、最初のカスタマイズされた化粧品の既知の検索キーは非カスタム製品の検索キーと同じである。少なくとも１つの検索コンポーネントは、色、色分散、被覆率、肌の色調、肌のアンダートーン、表面品質、表面仕上げ、乾燥、油性、ＳＰＦ、髪の色、目の色、顔の形および／または毛穴サイズから選択され得る。

【0073】

肌の色マップは、肌の色、色調、および肌のアンダートーンの１つまたは複数に関連するデータを含み得る。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。方法内の肌の色マップの領域は、製品を指定および検索するため、または製品の変更に使用するための音声ユーザインターフェースとして使用される自然言語記述に関連付けることができる。肌の色マップは、Ｌ＊／ｂ＊平面におけるＬ＊ａ＊ｂ＊色データの少なくとも１つの２次元投影を使用して作成することができ、Ｌ＊ａ＊ｂ＊色データは較正された分光光度計を使用してスキャンされた様々な顔色を有するユーザから得られ、２次元投影をオーバーレイする複数の領域は、様々な顔色に関連付けられている。

【0074】

この方法では、システムは、光学センサを有する端末上に、またはそれと通信して設置されるアプリケーションをさらに備えることができ、アプリケーションは、ユーザを対話的に誘導してユーザの皮膚の領域をスキャンして、ユーザの１つまたは複数の皮膚領域に関するデータを収集し、アプリケーションは、ユーザの皮膚の制御されたスキャンのために端末設定を調整することができ、収集されたデータは、ユーザおよび最初の検索キーに関連付けられた肌の色マップ上の場所を識別するために使用される。

【0075】

さらに、この方法では、ステップ（ｂ）は、変更された検索キーを作成する前に、更新されたデータを収集するためにユーザの皮膚の新しいスキャンを完了するようにユーザを対話的に誘導するアプリケーションをさらに含み得、更新されたデータ内の変更がシステムによって収集され、ユーザと最初の検索キーとに関連付けられた肌の色マップ上の場所を変更するために使用される。

【0076】

この方法では、既知の検索キーに関連付けられた最初のカスタマイズされた化粧品は、非カスタム化粧品の１つであり、ユーザに関連付けられた独自のカスタム配合であり得る。既知の検索キーに関連付けられた最初にカスタマイズされた化粧品は、非カスタム化粧品の見本をユーザの皮膚に適用し、ユーザの皮膚上の見本の画像をシステムにスキャンすることによって、ユーザが非カスタム製品をスキャンすることによって、および／またはユーザが容器内の非カスタム製品をスキャンすることによって、ユーザによって選択される非カスタム化粧品であり得る。

【0077】

既知の検索キーに関連付けられたカスタマイズされた化粧品は、肌の色マップ上の場所に関連付けられてもよく、肌の色マップ上の対話型選択は、肌の色マップ上の第２の場所を識別することを含み得る。

【図面の簡単な説明】

【0078】

前述の概要、ならびに本発明の好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むことでよりよく理解されるであろう。本発明を説明する目的で、現在好ましい実施形態を図面に示す。しかしながら、本発明は、示された正確な構成および手段に限定されないことを理解されたい。図面において、同様の参照文字は概して、異なる図を通して同じ部分を指す。さらに、図面は必ずしも縮尺通りではなく、代わりに本発明の原理を例示することに一般的に重点が置かれている。

【0079】

【図1】本発明の初期ユーザプロファイルを作成するためにユーザが使用することができる最適化された外用薬をユーザに提供する例示的な方法のフローチャートである。

【図2】本発明で使用するために最適化された外用薬をユーザに提供するための例示的なシステムの高レベルのアーキテクチャ図である。

【図3A】本発明で使用するための画像センサを備えた端末を使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3B】本発明で使用するための画像センサを備えた端末を使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3C】本発明で使用するための画像センサを備えた端末を使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3D】本発明で使用するための画像センサを備えた端末を使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図4A】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4B】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4C】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4D】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4E】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図5】初期化粧品の色を有する初期カスタマイズ化粧品の色成分を変更する一実施形態の表現であり、色変化ステップは、検索キーによって発見された近傍色から収集され、ラベル「ａ」は、第１のユーザ選択である。

【図6】図５における第１のユーザ選択の結果の表示であり、選択された色は中央の初期色の上に移動され、色の変化が調整され、ラベル「ｂ」は第２のユーザ選択を示す。

【図7】図６の選択された色「ｂ」が中央の初期色の上に移動され、色の変化が調整される、第２のユーザ選択の結果の表現である。

【図8】本明細書のさらなる実施形態による、カスタマイズされた化粧品のユーザプロファイルを変更する際に使用するためのサンプル・ユーザ・インターフェースページの図解である。

【図9】カスタマイズされた化粧品の作成またはカスタマイズされた化粧品の修正に使用するシステムの図である。

【図10】光学スキャナーを備えた端末を使用してユーザの顔をスキャンすることから収集されたデータのグラフ表示を提供し、データは中央値サンプリングを使用して集約される。

【図10A】輝度Ｌ＊データに対してプロットされたａ＊チャネルデータを有するＬ＊／ａ＊平面からのデータのグラフ表示である。

【図10B】輝度Ｌ＊データに対してプロットされたｂ＊チャネルデータを有するＬ＊／ｂ＊平面からのデータのグラフ表示である。

【図11】５．０ラボのＬ＊単位範囲を使用してプロットされた、図１０のデータをグラフで表したものであり、ＰＣＡを使用して、図１０のデータの順次線形フィットを作成するためのａ＊チャネルからｂ＊チャネルへの関数の最適なフィットを見つけた後、ｂ＊／ａ＊平面に２次元投影として表されるデータのビンを作成する。

【図12】ＰＣＡを介して生成された２次元接続ポリトープとしての図１０および図１１のデータの投影のグラフ表示である。

【図12a】Ｌ＊／ａ＊平面におけるポリトープとしての図１０および図１１のデータの投影のグラフ表示である。

【図12b】Ｌ＊／ｂ＊平面におけるポリトープとしての図１０および図１１のデータの投影のグラフ表示である。

【図12c】ｂ＊／ａ＊平面における透視投影としての図１０および図１１のデータの投影のグラフ表示である。

【図13a】Ｌ＊／ｂ＊平面における接続されたポリトープの投影のグラフ表示であり、各頂点での表１からのＣＩＥＬＡＢ座標で示されている。

【図13b】各断面の中央値が中心になるように調整された図１３ａの投影を示すグラフ表示である。

【図14A】頂点にＣＩＥＬＡＢ座標を有する長方形マップ内の位置に対して再配向された図１３ａの投影を示すグラフ表示である。

【図14B】長方形の地図内の図１４Ａの投影のグラフ表示であり、自然言語でラベル付けされ、Ｌ＊およびｂ＊軸の数値を有する。

【図15A】領域内の肌の色、アンダートーン、および形態を割り当てるために長方形のマップに配置するように向けられた、図１４Ａの同じＬ＊／ｂ＊投影のグラフ表示である。

【図15B】識別された肌のアンダートーン、色、および肌の形態に関連する領域を備えた長方形のマップにおける図１５Ａの投影のグラフ表示である。

【発明を実施するための形態】

【0080】

以下の説明は、新しい発明に向けられており、初期検索キーを作成するための好ましい方法の一部として初期検索キーを準備するために使用される基礎となるシステムおよび方法に関連する以下の特許参照を関連部分に参照により組み込む。特許文献１、特許文献２および特許文献３のそれぞれ、ならびに係属中の特許文献４、これらの特許および注記された出願のそれぞれは、本明細書で行われる開示に関連する範囲でその全体が本明細書に組み込まれ、これらの特許からのその中の定義は、本明細書で別段の変更がない限り、本明細書で同じ方法で使用され、テキストは、本発明で使用するのに有用である、その中の以前のシステムおよび方法を定義するために適用可能なものとして組み込まれる。

【0081】

上述のように使用され得るシステムの一例では、カスタマイズされた化粧品配合物は、いくつかの主成分からアセンブルされる。これらの主成分はそれぞれ、適用される規制要件を満たす化粧品である。この実施形態では、初期の既存のカスタマイズされた化粧品配合物を作成するために使用される、または既存の非カスタム化粧品配合物を含むグラウンド・トゥルース・データセットは、参照ユーザのセットをスキャンして一致することから構築され、データセットは、参照ユーザ向けにカスタマイズされた初期の化粧品配合物を混合（これはここでは一般に「混合」と呼ばれる）するために使用される主成分の割合を含む記録と、参照ユーザのスキャンから生成された較正データ（これは「キー」と呼ばれる）と、さらにはＳＰＦ、色、および／または「製品の仕上がり」（すなわち、皮膚上の製品の光学的品質）など、参照ユーザから収集され得るデータと、を含む。本明細書で言及される「グラウンド・トゥルース・データセット」は、端末較正設定に有用な画像センサを有する様々な端末から取られた端末較正目的の測定値の収集を含む、ユーザの端末の較正に有用なすべての利用可能な参照データと、新しいユーザ検索キーを確立または変更するために検索に必要な、参照ユーザ対象物（インフルエンサーが含まれる場合がある）のスキャンから取得された参照データを含むすべての参照データと、市販製品情報と、混合情報（参照ユーザ対象物および／または市販製品の１つまたは複数（またはすべて）に関連する測定値および配合の収集を含む）と、メタデータ、および特定の配合物またはユーザに固有ではないデータなどの他の非構造化データと、を含む。

【0082】

前述のデータおよび以下に説明するように収集されたさらなるデータに加えて、グラウンド・トゥルース・データセットは、ウェルまたは他の容器（ユーザまたは参照ユーザの肌に適用されるのではなく）内の化粧品の反射色によって測定される既知の色、および既知の肌の色調とアンダートーンを有する様々な非カスタム化粧品を含むか、または含むように構築された別個のデータベースを含み得る。このデータベースは、様々な肌の色、色調、アンダートーンを保存するのに適しており、適切にマッピングされたカスタム製品の基礎となることができる。そのようなデータベース内の様々な非カスタム化粧品のそれぞれの見本は、例えば見本などの皮膚にも適用することができ、皮膚とウェルまたは容器内の非カスタム化粧品のデータの違いは、非カスタム化粧品がユーザまたは参照ユーザの肌にどのように表示されるかを判断および推定するのに役立つ。次に、そのような修正を使用して、ユーザのカスタムまたは非カスタム製品選択を変更するのを支援することができ、情報は、修正係数としてグラウンド・トゥルース・データセットに格納され得る。

【0083】

ユーザが、ユーザの変更したい製品（以前の検索キーからの既存のカスタム製品またはユーザが好むがユーザの肌によく一致していない非カスタム製品のいずれか）を選択できるようにすることで、さらなるデータをグラウンド・トゥルース・データセットおよび／またはユーザのプロファイルデータに組み込むことができる。次に、ユーザは製品の見本をユーザの肌に貼り付け、光学センサを備えた端末を使用して「自分撮り」などの画像を撮影できる。写真データ内のユーザの肌の製品の色を特徴づけて、ユーザが製品キー（既存のカスタム製品の場合）または市販製品名またはＳＫＵを入力するとともにシステムに送信できる。次に、グラウンド・トゥルース・データセット内の製品およびＳＫＵの色情報は、システムが、見本が適用されているユーザの肌の画像に基づいて、ユーザの正確な肌の色、色調、および／または、アンダートーンを決定できるようにするために、本質的にマーカとして使用される（この用語は本明細書の他の場所で較正などに関して使用される）。次に、既存のカスタム配合、または非カスタム製品の変更配合を調整して、ユーザの実際の肌の色、色調、および／またはアンダートーンに適合させ、それにより、変更配合および関連する変更検索キーを提供することができる。

【0084】

次に、システムの個々のユーザの較正されたデータから収集された同様のデータを使用して、そのユーザのデータをグラウンド・トゥルース・データセット内の最も近い既知の一致と一致する。システムにアクセスする各ユーザは、そのユーザ独自の「検索キー」を持つ。これには、グラウンド・トゥルース・データセットに保存されている参照ユーザのキーと同様の情報が含まれる。各ユーザの検索キーには、少なくとも１つの検索コンポーネントが含まれる。これらの検索コンポーネントには、色情報、色の変化、表面品質（滑らかさ、粗さ）、表面仕上げ（マット、光沢、光沢など）、肌の乾燥、油性、毛穴サイズ、顔の形、髪の色、目の色、その他の色のバリエーション、および必要なカバレッジの量が含まれるが、これらに限定されない。配置されると検索コンポーネントは、ユーザの検索キーにリンクされているユーザの特定の混合に関連付けられる。

【0085】

本明細書で使用されるように、ユーザの検索キーは、ユーザに関連する最初のカスタマイズされた化粧品配合物を含み得る。最初にカスタマイズされた化粧品の配合は、グラウンド・トゥルース・データセットのコンポーネントからのユーザの入力データに一致する独自の配合である場合もあれば、ユーザに最適なグラウンド・トゥルース・データセットの特性を有する非カスタム製品である場合もある。ユーザキーには、最初のデータ収集でのユーザ入力を通じて、またはユーザの肌にある製品または製品の見本をスキャンすることによって、ユーザによって識別される非カスタム化粧品を最初に含めることもできる。ユーザが市販製品への変更を要求した場合、最初のカスタマイズされた製品は選択された非カスタム製品であり、変更された製品には、選択された非カスタム製品または別の非カスタム製品に基づく新しい独自の配合が含まれる場合がある。この配合は、ユーザによって対話型インターフェースを介して、および／または本明細書でさらに説明されるようにユーザの更新されたスキャンデータに基づいて提供される所望の修正基準に一致する。

【0086】

一実施形態では、アルゴリズムを使用して、参照ユーザおよび他の関連データのグラウンド・トゥルース・データセットを検索し、ユーザの検索キーを使用して、混合物、参照ユーザキー、または商品の一致を見つける。アルゴリズムは、少なくとも次のステップを実行するように選択される。（ａ）グラウンド・トゥルース・データセットのエントリを走査し、参照ユーザまたは検索キーに最も近いキーを持つ市販品記録を見つけ、（ｂ）近くにある記録を見つけ、それらを近隣と呼ばれるセットにアセンブルし、（ｃ）検索キーに最も一致する近傍内の各エントリからの寄与を解決し、（ｄ）見つかった寄与を使用して、混合式を計算し、混合式がユーザの検索キーに関連付けられる。

【0087】

特定の検索キー用にカスタマイズされた化粧品の配合を生成するための好ましいステップは次のとおりであり、検索キーの混合式を見つけるためにアルゴリズムを使用することと、混合式を使用して、主成分を容器に調剤することと、手動オペレータチェック、重量を使用した自動化プロセスによる確認、および／または体積を使用した自動化プロセスによる確認など、少なくとも２つの方法を使用して、調剤量を確認することと、容器内の混合物をブレンドすることと、を含む。

【0088】

そのような実施形態では、以下で詳しく説明するように、最初に、ユーザは初期のカスタマイズされた化粧品配合物を作成する必要があり、ステップには、使用されている既存の非カスタム製品、様々なユーザの好み、および較正されたスキャンデータとともに検索キーに組み込まれる場合がある他のユーザデータを識別することによってシステムに初期フィードバックを提供することが含まれる。ユーザが新しい個別の配合を作成したい場合、または初期のカスタマイズされた化粧品配合物を作成した後に配合を変更したい場合は、初期のカスタマイズされた化粧品配合物を作成するために使用される同じステップを使用することもできる。参照により本明細書に具体的に組み込まれる上記の特許および特許出願に記載されているように、ユーザは最初に、いくつかの異なる方法で行われ得る対話的に誘導されるスキャンを実行しなければならない。一方法では、ユーザは、カスタマイズされた化粧品を生産する一連のステップを介して対話的に誘導されることが好ましい。例えば、ユーザは携帯端末を使用して自分自身をスキャンし、アプリケーションはユーザの顔領域をスキャンするようにユーザを対話的に誘導するように動作する。スキャンプロセスでは、ユーザは、既知の照明と色の特性を持つ少なくとも１つの肌領域の画像を取り込むように誘導される。その画像は、肌の色情報などの較正された肌情報を提供するために処理される。システムは、較正された肌の情報に基づいて、ユーザ向けにカスタマイズされた化粧品の配合を自動的に決定する。このシステムはまた、較正された皮膚情報に基づいて使用するために、カスタマイズされた化粧品配合物を変更または調整するために使用され得る（最初に選択されたカスタマイズされた化粧品配合物が既存の非カスタム製品と一致したとしても）。

【0089】

皮膚領域画像は、好ましくは画像センサ、より好ましくは画像センサおよび光源を有する端末から受信され、ユーザを、端末画像センサおよび／または光源を使用して顔領域などの複数の皮膚領域画像の取り込みを通して対話的に誘導することができる。「画像センサ」は、光フォトンを感知するＣＣＤアレイと画像を投影するレンズ、ソフトウェアおよび画像プロセッサを有する端末などの任意の画像センサであり得るが、本明細書の機能を実行できる任意の適切な画像センサが用いられ得る。

【0090】

上記の特許に記載されているように、カスタマイズされた化粧品配合物を作成するために最初にスキャンを実行する別の方法には、端末画像センサを使用してマーカの画像を取り込むことでユーザを対話的に誘導することが含まれ、皮膚領域の画像は、少なくとも部分的には、取り込まれたマーカ画像に基づいて処理される。これらのスキャンおよび／または画像取り込みのステップで使用される端末は、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、バーチャルリアリティゴーグル、ゲームコンソール、またはホームアシスタント（Ａｌｅｘａ（商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（商標）など）の１つ以上であって、カメラおよび光センサの要件を有することが好ましく、光源を有することがより好ましい。皮膚領域画像は、端末および画像センサの少なくとも一方の特性を識別する埋め込みデータを含むことができ、皮膚領域画像は、検索キーに含まれ得る埋め込みデータに少なくとも部分的に基づいて処理することができる。較正に使用されるマーカは、例えば、以前に分析された皮膚領域（またはユーザの皮膚領域の様々なサンプルから取得されたデータ）、白い背景上の既知のサイズのマーカ、または８．５インチ×１１インチの典型的な白い紙、または、端末からソフトウェアによって表示される事前設定されたマーカフィールド（例えば白い長方形として表示される単純なマーカなど）のような、既知のサイズの白い紙であるマーカなど、様々であってもよい。サイズまたは標準化された反射率と色は変更できるが、マーカは既知の反射率と色を持つ必要がある。

【0091】

既知の色、反射率、サイズを持つ用紙を使用して、端末とその設定を較正し、例えば携帯スマートフォンのカメラの設定を調整できる。したがって、白い紙は白いフィールドおよびマーカとして機能する。ユーザは紙を白い表面に置き、対話的に指示に従って端末を較正する。

【0092】

端末の較正またはスキャンの完了時に、ユーザは端末を較正表面にタッチすることが好ましく、較正表面はマーカまたは皮膚領域（つまり、マーカ表面は較正のベースとして使用されるあらゆる表面である）であってもよい。較正表面は、好ましくは平坦または合理的に平坦であるが、任意の適切な較正表面であり得る。各タッチは「タップ」と見なされる。タップするマーカまたは肌領域の表面に向かう各動きと、表面から戻る各動きは、単一の「パス」である。完全なタッチプロセスまたは「タップ」には、２つのパスと表面へのタッチが含まれる。画像センサの視野（つまり、ＣＣＤの画像領域）の少なくとも９０％がマーカ（ホワイトペーパーやその他のマーカなど）で覆われるように、つまり画像平面に投影されたマーカの量が十分な数になるように、端末を移動する必要がある。約１秒のタップ中に、約３０の画像／秒が記録でき、最も明るいフレームが選択される。データはヒストグラムによって明るさごとに分析され、ピクセルは明るさ、光沢、その他の特性の違いについて分析される。各パスは、分析用のデータのサンプルを提供する。

【0093】

ユーザは、アプリケーションと、ビデオ、写真、音声コマンド、またはタップを実行するための他のプロンプトを使用して、このプロセスを介して指示されることが好ましい。各スキャンはアプリケーションによって評価され、少なくとも５回のタップ（各パス中に１０個のサンプルを提供）、場合によってはそれ以上のタップで構成される。５つのサンプルを取得した後、新しいサンプルを他のサンプルと比較して、実行中の中央値フィルタを実行する。このフィルタは、既存のサンプルの中央値と比較して明るすぎるまたは暗すぎるサンプルを破棄することにより、中央値に収まるサンプルの収集を促進する。色が遠すぎるサンプルも破棄される。較正範囲外のサンプルが多すぎる場合、アプリケーションソフトウェアはユーザに第１のステップを再度実行し、タップを開始または続行するように求める。ソフトウェアは、有効なサンプルが十分に収集されるか、プロセスが失敗するまでスキャンプロセスを続行する。ユーザはいつでもスキャンを終了できる。

【0094】

何らかの理由（端末のパフォーマンスの低下など）で較正が失敗した場合、アプリケーションはユーザにタップを続けてより良いデータを試すように指示する場合があり、端末が再試行するように再設定され、それが失敗し続ける場合、カスタマーサービスの連絡先情報オプションが提供される場合がある。

【0095】

ここで、スキャンを実行する１つの好ましい方法を説明する。正確で再現可能な色（繰り返し可能）を記録するために、アプリケーションソフトウェアは、カメラの露出、ユーザの肌の表面の測定に使用される光量、および皮膚の表面からのカメラの角度および距離を制御するように設定されている。ソフトウェアは、スキャンを実行するために端末の特性を効果的に「転用」し、ユーザのアクションをさらに指示する。

【0096】

各端末には、画像センサ（カメラ）があり、ＬＥＤトーチなどの光源があることが好ましい。このような端末では、通常の携帯スマートフォンのようにＬＥＤトーチとカメラを分離し、測定対象の平面との関係により、カメラから最も明るい目標物までの距離が単一の距離であるようなジオメトリを記述する。その場所に電話を配置するために、ソフトウェアは、測定する表面に触れるパスを作成するようにユーザを対話的に誘導する。電話が表面に近づくにつれて、ソフトウェアはカメラからの各ビデオフレームを分析し、画像の特定の領域が最も明るくなる時間を見つける。これは、表面からの既知の距離である。表面は、本明細書で説明されるような単純な較正マーカおよび／または測定される皮膚の領域であり得る。

【0097】

本書の他の箇所で述べたように、マーカは、サイズと反射率の一貫性、および広く知られている使用と可用性のために、既知の反射率と既知のサイズ（ユーロ明るさ１０４の白い８．５×１１インチのコピー用紙など）の白い紙であってもよい。次に、複数回のパス（「タップ」）を使用して表面を測定する。測定は、タップの表面との間の各パスで行われる。タップ中にデータが収集され、ソフトウェアは皮膚の表面でＬＥＤトーチの鏡面反射を見つけ、表面の光沢を測定してもよい。カメラが皮膚の領域に焦点を合わせ、皮膚の顕微鏡写真を記録するまで引き戻すこともできる。

【0098】

別の実施形態では、ユーザは、正面カメラ（ユーザの携帯電話のフロントカメラなど）を使用することができ、露出が決定される。次に、カメラは、既知のＩＳＯ感度、既知の絞り、既知のシャッタスピード（露出）、および既知のホワイトバランスに設定される。カメラは、露出を決定するために自動的に設定されるソフトウェアと対話することもでき、露出設定を使用する端末は、ＩＳＯ感度、絞り、シャッタスピード、ホワイトバランスの値を提供するために自動的かつ継続的に読み取られる。上記のように、ソフトウェアは、テキスト、画像、および音声コマンドを使用して、ユーザがカメラまたはカメラを有する携帯端末を適切に保持および配置するように促すことができる。以下は携帯電話に関して説明されているが、当業者は、本明細書に記載されているような実施形態が、本明細書に記載されている任意の適切な端末上で実行できることを理解するであろう。ユーザは、本明細書の一実施形態では、電話を鏡にかざし、カメラを鏡の方に表示するように指示され得る（画像にユーザの有無にかかわらず）。ソフトウェアは、白い長方形などの明るいマーカフィールドの形式で独自のマーカを表示できる。電話機は、上記のようにマーカに面する表示部側（本明細書で上記のように既知のサイズおよび反射率を有する一般的な物体または白い紙など）にかざすこともできる。

【0099】

次に、ソフトウェアは表示部を使用して明るい照明フィールドを表示し、ソフトウェアはマーカを認識して、マーカの画像を記録する。次に、マーカと露出の設定を使用して電話を調整する。較正されると、将来のスキャンのために電話に較正情報を保存させることは本発明の範囲内である。この開示に基づく当業者は、カメラが画像センサであり得、その電話表示部が、表示部の光源の白色点および明るさに較正されるカメラ設定を決定するために使用される一次光源であることを理解されるべきである。

【0100】

上記の鏡較正に加えて、ユーザは、カメラ自体のフロント表示部の光を使用して、ユーザのスキャン、例えば、「自分撮り」スキャンを完了することによって、カメラまたは他の光学端末を較正することができる。このように進めると、既知の色が端末の表示画面にアプリケーションによって表示され、端末上で既知の色の画像が撮影され、端末表示の照明を使用している間、電話が鏡にかざされる。画像からのその情報は、本明細書の他の場所に記載されているカメラおよび画像データのいずれかまたはすべてを含み、画像を処理し、カメラが端末の表示画面に照らされた既知の色の画像をどのように見るかを識別することによって画像がカメラを較正できるようにする。したがって、鏡の中の電話の画像を使用して、周囲光を較正および測定して、アプリケーションが本明細書に記載の技術を使用してその設定で色を調整できるようにすることができる。

【0101】

カスタマイズされた化粧品配合物を作成する別の方法は、較正された肌色情報を参照ユーザに一致させることを含むことができ、参照ユーザはそれに関連する以前に決定された化粧品配合物を有する。

【0102】

カスタマイズされた化粧品配合物の自動決定は、例えば化粧品成分に対するアレルギーのユーザによる表示などのユーザ入力情報にも少なくとも部分的に基づくことができ、情報は、そのユーザの検索キーに含めることができる。カスタマイズされた化粧品配合物に基づいた外用薬を配合し、ユーザに届けることができる。ユーザは、カスタマイズされた化粧品配合物に基づいて配合された外用薬を購入することができる。

【0103】

本書に記載されているユーザ検索キー（ユーザのカスタマイズされた化粧品配合物に関連付けられている）は、システムが最初のカスタマイズされた化粧品配合物または最初のカスタム配合を作成するときに最適なものとして選択した既存の非カスタム化粧品に関連付けられている場合がある。また、ユーザが選択した非カスタム製品が含まれる場合もある。検索キーはまた、ユーザに関連付けられているが、ユーザのカスタマイズされた化粧品配合物に基づいて調整および修正された、ユーザによって選択された初期のカスタマイズされた化粧品配合物および／または非カスタム製品を含み得る。したがって、ユーザは、ユーザの初期情報（ユーザデータ収集）として、ユーザの検索キーに関連付けられた初期のカスタマイズされた化粧品を開発するための独自の情報を提供することができる。ユーザはまた、本明細書に記載されるように、初期のカスタマイズされた化粧品配合物を作成および／または修正または調整する際に使用するためのユーザのプロファイルへのフィードバックとして製品の好みを提供し得る。

【0104】

ユーザは、製品を注文するトランザクションをさらに実行できる。スキャンから収集されたデータ（スキャン情報）もサーバに送信される。初期のカスタマイズされた化粧品配合物を作成するための上記の方法で使用されるシステムは、コンピュータ実行可能命令を保存するメモリと、メモリに保存された命令を実行する処理ユニットとを含む少なくとも１つのコンピュータを含む。命令の実行は、既知の照明および色特性を備えた少なくとも１つの皮膚領域の１つまたは複数の画像を取り込むようにユーザを誘導することを含む操作を実行するようにコンピュータを構成する。

【0105】

画像は処理されて、較正された肌色情報を提供し、システムは、較正された肌色情報に基づいて、ユーザ向けにカスタマイズされた化粧品の配合を自動的に決定する。皮膚領域画像は、画像センサ、および好ましくは光源も備えた端末から受け取ることができ、操作には、上記の端末画像センサを用いて顔領域などの複数の皮膚領域画像の取り込みを通じてユーザを対話的に誘導することが含まれる。

【0106】

参照により本明細書に組み込まれる特許に基づいて開発されたＭＡＴＣＨＣｏアプリケーションでは、好ましい対話型スキャンは、好ましくは光源および画像センサを有する端末、例えばＬＥＤトーチ、または、照明源としての表示部、および既知の色特性を有する携帯電話を使用することによって識別される既知の照明を使用して実行される。皮膚の照明と色は、皮膚の表面に対する端末の位置と光源の位置の間に作成されたジオメトリを使用してさらに制御され、皮膚の表面からの端末の距離が決定される。これは、各顔領域の一連のアクションを通じてユーザを対話的に誘導することによって行われる。ユーザは、すなわち「タップ」を含むパスを生成することにより、端末を所定の顔領域に近づけたり遠ざけたりするように求められ、距離は光源による皮膚の照明の最も明るい点を使用して検出される。例えば、アプリケーションが実行され、ユーザに端末の光源をオンにする（携帯スマートフォンのＬＥＤトーチをオンにするなど）ように促すか、ソフトウェアコマンドを使用してＬＥＤトーチなどの端末の光源を自動的にオンにするか、または、ソフトウェアコマンドを使用して、端末の表示部を光源として操作および使用し、一連の対話的なステップで照明の最も明るい点が記録されるまで、特定の皮膚領域に向かって端末を移動し、その領域から離す。次に、このデータを使用して、較正された肌の色情報を取り込む。

【0107】

上記の方法およびシステムは、端末画像センサを使用したマーカの画像の取り込み（または携帯端末の表示部からのマーカの表示）を通じてユーザを対話的に誘導することをさらに含む操作を含む場合があり、皮膚領域画像は取り込まれたマーカ画像に少なくとも部分的に基づいて処理される。端末は、上記の端末のいずれかである。皮膚領域画像は、端末および画像センサの少なくとも一方の特性を識別する埋め込みデータを含むことができ、皮膚領域画像は、埋め込みデータに少なくとも部分的に基づいて処理することができる。

【0108】

方法で実行され、システムを使用する操作の１つは、較正された肌の色情報および／またはユーザの検索キー内の他の情報を参照ユーザに一致させることにより、カスタマイズされた化粧品配合物を自動的に決定することを含んでもよく、参照ユーザは関連する事前に決定された化粧品配合物を有する。カスタマイズされた化粧品配合物は、化粧品に対するアレルギー（または、ユーザの検索キーに組み込まれる可能性のあるその他のユーザ設定）のユーザによる指示に少なくとも部分的に基づいて自動的に決定される場合もあるため、実行される操作には、ユーザがカスタマイズされたこれらの好み（例えば、ある成分を省く）に対応する化粧品の配合を購入できるようにすることをさらに含む。

【0109】

また、ユーザスキャンは、画像センサと好ましくは光源を備えた端末を使用して、ユーザに１つまたは複数の画像の取り込みを介して対話的に誘導することを含む、カスタマイズされた化粧品配合物を決定する方法で実行することもでき、各画像はユーザの肌領域を含み、肌領域画像を処理して較正済み肌色情報を提供し、較正済み肌色情報をグラウンド・トゥルース・データセットと比較してグラウンド・トゥルース・データセット内の最も近い既知の値のセットを特定し、比較に基づいて、ユーザ用にカスタマイズされた化粧品配合物を自動的に決定する。カスタマイズされた化粧品配合物には、（ｉ）較正された肌の色情報と最も近い既知の値のセットとの相対的な近接度に基づいて導出された一意のカスタマイズされた化粧品配合物、および（ｉｉ）既存のカスタマイズされていない化粧品の少なくとも１つが含まれる。較正された肌の色情報はまた、本明細書の一実施形態に従って作成された肌の色マップ上の位置を識別するために使用され得る。肌の色マップはまた、異なる選択のために肌の色マップ上の位置を変更するためにユーザによって使用され得、そしてその情報は、ユーザの検索キーにさらに組み込まれ得る。

【0110】

システムおよび方法によって実行される操作は、皮膚領域画像の少なくとも１つについて、顔の認識および／または特徴検出ソフトウェアを使用することを含む様々な手段による、少なくとも１つの皮膚領域画像における複数の顔領域を検出することと、肌の色調に基づいて顔領域をセグメント化することと、肌の色調、シャドウ、鏡面強調の少なくとも１つに基づいて各顔領域セグメントに色を割り当てることと、を含むように皮膚領域画像を処理することを含んでもよい。この目的のために実装され得るそのような顔の特徴検出ソフトウェアの１つは、米国特許出願公開第２０１７／００７６４７４号明細書に記載されており、Ｇｉａｒａｎ社から入手可能である。他の既知の顔認識および／または特徴検出ソフトウェアもまた、この目的のために使用され得る。

【0111】

ユーザのデータをスキャンすることを伴う本明細書の様々な方法およびシステムを実行する際、スキャンされる皮膚領域は、手首の裏、額、右頬、左頬、右顎、左顎、および／または任意選択で顔全体、の１つ以上、またはすべてであることが好ましいが、システムの最適な使用方法に応じて、他の領域も使用できる。

【0112】

方法およびシステムはさらに、（ｉ）初期のカスタマイズされた化粧品（すなわち、固有のカスタマイズされた化粧品配合物または一致する既存の非カスタム製品に基づくもの）に基づいて、もしくは（ｉｉ）個別の、それぞれ初期のカスタマイズされた化粧品に基づいている新しいカスタマイズされた化粧品または新しい変更されたカスタマイズされた化粧品に基づいて、ユーザが既存の化粧品を購入できるようにすることを含み得る。

【0113】

カスタマイズされた化粧品の配合は、それ自体がコンピュータ実行可能命令を格納するメモリと、メモリに格納された命令を実行する処理ユニットとを含む少なくとも１つのコンピュータを含むシステムを使用して決定してもよい。命令の実行は、コンピュータが、画像センサと任意選択で光源を備えた端末を使用して、各画像がユーザの肌領域を含む、１つまたは複数の画像の取り込みを介してユーザを対話的に誘導し、肌の領域の画像を処理して、較正された肌情報を提供し、較正された肌情報をグラウンド・トゥルース・データセットと比較して、グラウンド・トゥルース・データセット内の最も近い既知の値のセットを識別し、比較に基づいてユーザ向けにカスタマイズされた化粧品の配合を自動的に決定することを含む操作をするように構成される。カスタマイズされた化粧品配合物は、（ｉ）較正された皮膚情報の最も近い既知の値のセットへの相対的近接性に基づいて導き出される、カスタマイズされた化粧品配合物の固有の配合物、（ｉｉ）既存の化粧品との一致、または（ｉｉｉ）独自のカスタマイズされた化粧品配合物または既存の化粧品の変更に基づいて得られたカスタマイズされた化粧品配合物、のうちの少なくとも１つを含み得る。上記のように、グラウンド・トゥルース・データセットに含まれるデータは、とりわけ、市販製品の属性に基づくデータ、および／または別個の市販製品データセットからのデータも含み得る。

【0114】

そのようなカスタマイズされた化粧品配合物およびそのようなカスタマイズされた化粧品配合物の変更、既存の市販製品および市販製品の変更は、製品配合物の選択または変更のための２次元色マップを使用してユーザに入力され得、色マップの一次元は、ユーザの肌の色調（つまり、明るい色から暗い色までの測定値）に関連し、他の次元は、ユーザの肌のアンダートーン（つまり、涼しい色から暖かい色までの測定値）に関連する。

【0115】

上記で使用される皮膚領域画像は、少なくとも１つの皮膚領域画像について、少なくとも１つの皮膚領域画像内の複数の顔領域を検出し、肌の色調に基づいて顔領域をセグメント化するステップと、肌の色調、肌のアンダートーン、シャドウ、鏡面強調の少なくとも１つに基づいて、各顔領域セグメントに色を割り当てるステップとを含むように処理することができる。

【0116】

皮膚領域画像の少なくとも１つに関連付けられた周囲照明情報も受信することができ、少なくとも１つの皮膚領域画像は、周囲照明情報に少なくとも部分的に基づいて処理することができる。そのような画像処理は、顔認識および／または顔の特徴検出ソフトウェアを使用して環境照明情報を処理し、環境照明を除去して、色を較正された設定に忠実なものに修正することを含み得る。

【0117】

本明細書のシステムおよび方法は、端末の画像センサおよび任意選択で端末上の光源を使用してマーカの画像の取り込みを介してユーザを対話的に誘導し、次に少なくとも部分的にマーカ画像に基づいて皮膚領域画像を処理するステップをさらに含み得る。端末画像センサの現在の設定は、マーカ画像の正常な取り込みに基づいて保存できる。端末の画像センサ設定には、とりわけ、絞り、露出またはシャッタスピード、露出時間、フォーカス、ＩＳＯ感度、および／またはホワイトバランスを含めることができる。皮膚領域の画像は、保存されている画像センサ設定に基づいて処理できる。皮膚領域画像の処理には、未知の光源の補正が含まれる。

【0118】

ユーザのスキャンは、画像センサと任意選択の光源を備えた端末を使用して物体の正確な色を取り込む方法を使用して行うこともでき、これには、既知のサイズおよび／または既知の色（上述）のマーカを使用して端末の複数の設定を較正することと、物体の複数の表面のそれぞれの色を測定することと、測定された色に基づいて物体の表面反射率を決定することと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変化を決定することと、が含まれる。複数の表面は皮膚の領域を含むことができ、端末およびマーカは上記のとおりであり得る。

【0119】

端末は、例えば、実質的に白いフィールドにマーカを配置するようにユーザに指示することにより較正されてもよい。端末の較正には、取り込まれた実質的に白いフィールドの画像に基づいて、絞り、感度（感度を測定するためのＩＳＯ単位に基づく）、露光時間、露光、および／または端末のホワイトバランスの少なくとも１つを設定することが含まれる。端末の較正には、携帯電話のＬＥＤトーチや表示部など、端末の画像センサに関連付けられたライトを既知の明るさと温度に設定することも含まれる（ケルビンスケールを使用）。これにより、ホワイトバランス、照明源の色および温度を制御し、端末の画像センサの露出を設定でき、例えば、携帯スマートフォンの場合、カメラの露出が調整される。端末の較正には、マーカの表面から特定の距離に端末画像センサを配置するようにユーザを対話的に誘導することも含まれる。端末の較正は、マーカの表面から特定の距離に端末画像センサを配置する際に、端末の設定の少なくとも１つをロックすることをさらに含んでもよい。端末の較正はまた、表示部側が鏡に面するように鏡にかざされたときに白い長方形などの明るいマーカフィールドを表示する、または表示部側がマーカに面するように端末をマーカにかざす端末上のソフトウェアを含み得る。端末の設定は、自動露出、シャッタスピード、露出時間、ＩＳＯ感度、絞り、自動フォーカス、および／または自動ホワイトバランス、あるいは光源の温度および／または明るさである。端末のロック設定は、物体の各表面の色を測定しながら適用できる。

【0120】

ＬＥＤトーチおよび照らされた表示部を有する携帯スマートフォンカメラを使用する１つの好ましい実施形態における端末較正では、そのような各端末は高度の品質管理で製造されるため、同様のモデルの個々の端末は同様に機能する。ただし、モデルごとに異なる能力とコンポーネントのセットがあるため、モデルごとに照明と露出の特性に大きな違いがある。各モデルには特定のＣＣＤコンポーネントがある。ＣＣＤコンポーネントが異なると、光に対する応答も異なる。各モデルには異なるＬＥＤアレイ光源コンポーネントがあり、各ＬＥＤコンポーネントは異なる光スペクトルを生成する。さらに、各モデルには、画像を取得して照明を調整するオペレーティングシステムソフトウェアの特定のバージョンが含まれている場合がある。電話機の各モデルおよび主要なオペレーティングシステムの各バージョンについて、ＬＥＤ光源に対するカメラの応答を較正する方法が必要である。これは、様々な端末の較正データをグラウンド・トゥルース・データセットに構築するために行われる。新しい端末が開発されると、それらは評価され、グラウンド・トゥルース・データセット情報を構築するために使用される。電話の較正は、各ユーザがスキャンを完了したときに描画するために必要な参照データを構築するために行われる。電話とモデルの種類ごとに、そのような設定は、参照ユーザ用に参照データセットに既に組み込まれている。次に、ユーザが独自のＣＣＤ端末を使用すると、スキャンによって電話の白色点と肌の色が取得され、電話のタイプとモデルのグラウンド・トゥルース・データセットの参照データと比較される。次に、較正はユーザの電話の設定を微調整し、ユーザがアプリケーションを使用するときに、ユーザの電話のデータをユーザの検索キーに保存して記憶する。更新されたスキャンは同じように動作し、グラウンド・トゥルース・データセットの更新された情報と比較した場合、必要に応じて微調整が可能である。

【0121】

システムの較正の一実施形態は、皮膚の色に対する特定の応答とは別に、光に対するＣＣＤの応答を較正することである。ＬＥＤトーチの照明（または表示部の照明）に対するＣＣＤの応答は、既知のグレー反射率目標物のセットを測定するために、上記のスキャン方法（較正表面とタップを使用）を使用して実行される。目標物は、反射率が分かるように製造されており、拡散反射率の高い段階から低い段階への均一なステップを表す。システムの応答曲線は、このデータを使用して決定される。同じプロセスが較正マーカに対して実行され、次に肌の色調を表す一連の目標物に対して実行される。目標物は、皮膚の反射率を表すように製造するか、または既知の測定値を持つ被験者の皮膚の領域にすることができる。目標物は、幅広い肌の色調と色を表すように選択され、グラウンド・トゥルース・データセットの参照情報を構築するために使用される。

【0122】

各端末のカラー較正応答は、グレースケール応答曲線を使用して各端末の肌測定値を線形性に変換することにより構築される。次に、基準として較正マーカを使用して、各色の応答が白色点に較正される。次に、調整された色応答を目標物からの既知の測定値にマッピングすることにより、各端末の変換が構築される。結果として得られる端末較正は、アプリケーションにアクセス可能なＯＡＰＴＡサービスプロセスサーバに保存され、参照グラウンド・トゥルース・データセットの一部にもなる。端末のイメージングソフトウェアに変更がある場合、または新しい端末を含める場合にのみ更新する必要がある。

【0123】

物体の表面の色は、マーカを物体の表面の近くに配置するようにユーザに指示することで測定できる。物体の表面の色を測定することは、端末の画像センサと物体とを相互に位置合わせして較正目標に一致させるようにユーザを対話的に誘導することも含み得る。対話型誘導には、音声および／またはビデオの指示と、振動や音のフィードバック（ピングトーンなど）などの他のユーザキューを含めることができ、ユーザが端末を表面から十分に離れて描画したキューなど、別のステップが必要であることをユーザに知らせることができ、最高のデータを提供する。物体の表面の色を測定することは、マーカから特定の距離に端末画像センサを配置する際に、物体の表面の色を取り込むことをさらに含むことができる。物体の表面反射率を決定することは、取り込まれた色を物体の表面反射率に変換することも含み得る。

【0124】

本明細書の方法およびシステムで使用する物体の正確な色を取り込むために使用できるシステムは、それ自体がコンピュータ実行可能命令を格納するメモリおよびメモリに格納された命令を実行する処理ユニットを含む少なくとも１つのコンピュータを含む。命令の実行は、操作を実行するようにコンピュータを構成し、操作は既知のサイズのマーカを使用して端末（画像センサおよび／または好ましくは光源を持つことができる）の複数の設定の較正をすることと、物体の複数の表面のそれぞれの色を測定することと、測定された色に基づいて物体の表面反射率を決定することと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変化を決定することと、を含む。複数の表面は、上記のような皮膚の領域を含むことができ、端末は上記のものであり得る。マーカはさらに既知の反射率を持つことができる。本明細書で言及されるように、その最も単純な形態および使用法では、マーカは、既知のサイズおよび既知の反射率を備えた白い紙であり得る。

【0125】

装置を較正することは、実質的に白いフィールド上にマーカを配置するようにユーザに指示することを含み得る（または実質的に白いフィールドを有するマーカとして白い紙のシートを使用する）。端末の較正には、取り込まれた実質的に白いフィールドの画像に基づいて、端末の絞り、感度、露出、露出時間、ホワイトバランスの少なくとも１つを設定することも含まれる。端末の較正には、端末の画像センサに関連付けられたライトを既知の明るさおよび温度に設定することも含まれる。さらに、端末の較正には、マーカの表面から特定の距離に端末画像センサを配置するようにユーザを対話的に誘導することが含まれる。そうすることで、ユーザはユーザ端末の相互作用（ハプティックインターフェース）によってポイントに到達し、端末が振動するか、端末が最適な光源の明るさとフォーカスして最高のユーザデータ収集を実現するための好ましい距離に到達したという別のキューをユーザに与える。さらに、端末の較正は、マーカの表面から特定の距離に端末画像センサを配置する際に、端末の設定の少なくとも１つをロックすることを含み得る。端末の設定は、自動露出、自動フォーカス、露出時間、感度、および／または自動ホワイトバランスであり得る。端末のロック設定は、物体の各表面の色を測定しながら適用できる。

【0126】

別の実施形態では、端末は、端末のフロントカメラ（表示部サイドカメラ）を選択し、カメラの露出を決定することによって較正される。これは、（ｉ）特定のＩＳＯ感度、絞り、シャッタスピード、ホワイトバランス、明るさ、温度などの観点からカメラを既知の露出に設定することによって行うことができ（特定の端末アプリケーションプログラムに従って選択されたパラメータを使用）、または、露出を自動的に決定するようにカメラを設定する。後者の場合、露出設定は、ＩＳＯ感度、絞り、シャッタスピード、ホワイトバランスなどの値を提供して継続的に読み取られる。露出が決定（または設定）されると、ソフトウェアは、電話を保持および配置する方法について、テキスト、画像、ビデオ、および／または音声によってユーザに対話的に指示する。

【0127】

上記のように、端末の表示部側は鏡にかざされている。ユーザは、鏡の画像に表示される場合と表示されない場合とがある。ソフトウェアは、上記のように、照らされた明るいマーカフィールドとしてマーカを表示するように端末に指示することができる。あるいは、端末は、既知のサイズおよび反射率の一般的な物体（白い紙など）などの上記のように、表示部側をマーカに向けて保持することができ、ソフトウェアは、端末に明るい照明フィールドを表示するように指示する。上記のように、端末が較正されると、設定は後続のスキャンまたは使用のために保存され、ユーザの検索キーに追加され、および／またはグラウンド・トゥルース・データセットの参照データに組み込まれ得る。

【0128】

ソフトウェアがマーカを認識すると、マーカの画像が記録され、マーカの画像と露出データとを使用して端末が調整される。上記のように、別々の照明源を備えた異なる端末は、カメラを備えた端末で使用でき、独自の照明源（携帯電話など）が使用されるが、カメラは画像センサであり、端末表示部は一次光源を提供する画像を使用して、表示部照明の白色点、明るさ、および温度に合わせて調整されたカメラ設定を決定できるようにする。

【0129】

物体の表面の色を測定することは、物体の表面の近くにマーカを配置するようユーザに指示することを含み得る。物体の表面の色を測定することは、較正目標物に一致するように端末画像センサと物体とを相互に配置するようにユーザを対話的に誘導することも含み得る。対話型ガイダンスは、音声指示および／または任意選択でビデオ指示および／または振動および／または通知音などのユーザフィードバックを含み得る。物体の表面の色を測定することは、マーカから特定の距離に端末画像センサを配置すると、物体の表面の色を取り込むことをさらに含み得る。物体の表面反射率を決定することは、捕捉された色を物体の表面反射率に変換することを含み得る。

【0130】

各スキャン領域の情報には、色情報、鏡面反射の量、上記の色バリエーションおよびその他の情報が含まれるべきである。ユーザデータ収集には、ユーザフィードバック情報（特定の成分を除外または追加するなど）も含まれる場合がある。次いで、このユーザデータ収集情報は、上記のように検索キーにエンコードされる。キーは、将来の注文のためにユーザに関連付けられ得る。次に、アルゴリズムがキーを使用して連続ｎ空間で検索を実行し、混合式を返す。混合値はトランザクションに添付される。注文に対して生産システムが選択され、注文が生産される。作成された注文は顧客に送信される。

【0131】

ユーザが製品を受け取って評価するとき、場合によっては、ユーザは製品を交換または変更し、再注文することを望むことがある。そのために、ユーザは一連の処理に従って製品を変更できる。この製品の変更は、参照ＯＡＰＴＡフィードバックを提供するための基礎の作成の拡張である。オリジナルのＯＡＰＴＡを作成する際、ユーザは、カメラと光センサの要件、および画像センサ、より好ましくは光源を備えた他の消費者または専門端末である、例えば、携帯電話、タブレット、ウェブカメラ、デジタルカメラ、ゲーム機、テレビ、バーチャルリアリティゴーグル、スマートグラス、ホームアシスタント（Ａｌｅｘａ（商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（商標）など）で撮影した写真に適用される画像解析技術を用いて、上記の参照により本明細書に組み込まれる特許に記載されている様々な方法とシステム、および特定の個人の特性に最適化された外用薬を指定および配合するためのそのようなシステムと方法の様々な実装を使用できる。

【0132】

最適化された審美的および／または保護的外用薬

【0133】

一実装形態では、本明細書では「ＯＡＰＴＡ」と略される「最適化された審美的および／または保護的外用薬（Ｏｐｔｉｍｉｚｅｄ Ａｅｓｔｈｅｔｉｃ ａｎｄ／ｏｒ Ｐｒｏｔｅｃｔｉｖｅ Ｔｏｐｉｃａｌ Ａｇｅｎｔ）」と呼ばれるカスタマイズされた外用薬の仕様を生成するシステムが提供される。ＯＡＰＴＡは、特定の個々のクライアントのニーズと特性に合わせて作成されており、全体を通して、「ユーザ」と呼ばれる明確な指示はない。ＯＡＰＴＡには、可能なコンポーネントのセットを含めることができる。セットは、特定のユーザのほとんどのニーズを満たすのに十分な大きさにすることができる。場合によっては、ユーザのＯＡＰＴＡの特定の配合で使用されるコンポーネントの数はわずかである。ＯＡＰＴＡは、ファンデーション、様々な形式のメイクアップ、スキンケア、サンケア、その他の色化粧品、パーソナルケア製品などの美的目的、カバレッジ目的、および／または保護目的で皮膚に使用される様々な種類の化粧品になるように作成でき、制限的であると考えられるべきではない。したがって、出願は任意のカスタマイズされた化粧品配合物であり得るが、略記の目的のために、出願人は、そのようなすべてのカスタマイズされた化粧品配合物を総称してＯＡＰＴＡとも呼ぶ。ＯＡＰＴＡのコンポーネント（ＯＡＰＴＡコンポーネントセット）には、次のものが含まれるが、これらに限定されない。

【0134】

局所用基剤、水、溶媒、エマルジョン、ゲル、ガム；
水分および保湿剤；
紫外線（ＵＶ）フィルタおよび／または日焼け止め活性剤；
不透明（隠蔽）薬剤；
色制御剤；
反射（光沢、マット、乳光）制御剤；
抗炎症剤（アロエなど）；
保護剤（ビタミンＥなど）；
着色剤および／または染料；
増粘剤および／またはレオロジー剤；
緩衝液およびその他のｐＨ調整剤または中和剤；
有機添加物および／または香料；ならびに
保存料および抗真菌剤または抗菌剤

【0135】

ユーザは、上記の携帯端末、コンピュータ、またはその他の関連端末を使用できる。端末は、アプリケーションを実行および／またはアプリケーションをダウンロードする能力を備えていることが好ましく、初期ＯＡＰＴＡが製品に配合された後に別の新しいＯＡＰＴＡを変更および／または積極的に要求するユーザインターフェースを備えていることが好ましい。ユーザはログインして注文を選択するか、注文番号を入力できる。ユーザは、ソーシャルメディアアプリケーションまたは別のオンラインサービスプロバイダを介してアプリケーションにログインできる。そのようなソーシャルメディアまたは他のオンラインサービスプロバイダのログインソースは、ユーザの個人データ、好み、製品またはブランドの親和性、以前に購入した製品、ユーザが「フォローする」有名人およびインフルエンサー、およびこのような追加データが時間の経過とともに変化するにつれて新しいユーザ検索キーを作成したり、ユーザの既存の検索キーを変更したりでき、ユーザに関するどの追加データが使用されたかに関するその他の購入プロファイルデータを含む、ユーザに関する追加データを本明細書のアプリケーションに提供することができる。ユーザの最初のスキャンまたは製品を変更する目的でスキャンから取得されたデータ（肌の色調、色、および／または肌のアンダートーンなど）は、他のユーザデータとともにユーザの検索キーコンポーネントに検索データ基準として組み込むことができる。ソーシャルメディアで対話するとき、アプリケーションは、グラウンド・トゥルース・データセットおよび本明細書のシステムと通信するそのようなソーシャルメディアまたは他の参照データベースの検索にユーザを誘導して、参照ユーザ、グラウンド・トゥルース・データセットのユーザの優先評価画像を選択することができる。あるいは、ソーシャルメディア上の非参照ユーザの画像で、類似の顔の特徴、肌の色の問題、肌の色、肌の色調、肌のアンダートーン、顔の形、髪の色、目の色を示し、ユーザが全体的な外観あるいはユーザが試したいメイクアップを確認できるようにする、あるいはメイクアップコンポーネントの既存の検索キーを変更して、ユーザのスキャンからの情報を使用して較正、および／または最初の入力キーの準備を行う、あるいはアプリケーションまたはリンクされたソーシャルメディアでのさらなるソーシャルインタラクションの検索メトリックへの入力としての初期検索キーまたは変更された検索キーのための準備を行い、次いでこれを使用して、アプリケーションまたはソーシャルメディア上のユーザの類似した画像を確認することからのユーザのフィードバックに基づいてユーザのカスタム定式化を変更または要求する必要がある場合は、これを使用してさらにインタラクションできる。

【0136】

最初のＯＡＰＴＡを作成せず、ユーザが新しいＯＡＰＴＡを変更および／または作成することを選択した場合、ユーザには注文を変更するためのインターフェースが表示されることが望ましい。ただし、システムのバリエーションには、必要に応じてユーザヘルプサービスへのアクセスを組み込むことができる、ユーザ支援の音声プロンプトまたは単語プロンプトを介した音声命令アクションを持つ音声専用端末の使用が含まれることがあることを理解されたい。

【0137】

図１を参照すると、１つの例では、次の高レベルのステップを使用して、初期ＯＡＰＴＡがユーザに提供される。簡潔さと明確さのために、ユーザにＯＡＰＴＡを提供するためのすべてのステップの集約は、ここでは「サービス」と呼ばれる。ステップ１０２では、例えば、本システムへのアクセスを提供するユーザ名とパスワードとを使用して、ユーザが識別される。もちろん、ログイン確認識別子（テキスト確認番号、写真識別子、指紋、網膜セキュリティなど）、他のリンクされたアプリケーションを介したログオン（上記のようなソーシャルメディアまたはオンラインプロバイダ）など、他のログイン方法および／またはセキュリティステップを実装することもできる。ユーザが以前にシステムを使用したことがない場合、ユーザは登録に進んで新しいアカウントを設定したり（ステップ１０４）、アカウントをＦａｃｅｂｏｏｋ（登録商標）、ＹｏｕＴｕｂｅ（登録商標）、Ｉｎｓｔａｇｒａｍ（登録商標）などの既存のアプリケーションにリンクしたりできる。次に、ユーザの詳細（名前、住所など）をユーザデータベース１５０に保存できる。システムによってユーザが識別されると（ログインなど）、データを収集して（ステップ１０６）ユーザのニーズと好みを決定できる（例えば、ユーザが希望する化粧品を示したり、以前に使用した好みのブランドや製品を示したり、ユーザはアレルギーを指定したり、肌の画像を取り込んだりすることができる）。インターフェースは、任意選択でユーザに初期調査を完了するためのプロンプトを提供し、質問と回答のプロンプトは、必要なデータを提供するのに役立つ。データ収集ステップは、対面専門相談などの専門的サービスを使用して実行することもでき（ステップ１０８）、あるいは、消費者端末（例えば、携帯電話、タブレット、デジタルカメラ、または本明細書に記載のその他の端末）のアプリケーションを使用して写真を撮ることによってユーザ自身で実行することができることが好ましい（ステップ１１０）。これにより、その後、色の精度、品質、およびその他の特性について写真を自動的に検証する（ステップ１１２）。専門的サービスおよび／または端末アプリケーションによって取り込まれた情報は、後で参照および再利用するために、ユーザデータベース１５０に保存できる。

【0138】

データ収集（または以前に収集されたデータへの参照）に続いて、ステップ１１４はＯＡＰＴＡ仕様を提供し、ＯＡＰＴＡのコンポーネントは上記のようなコンポーネントを使用して指定される。ステップ１１６では、ＯＡＰＴＡ仕様に基づいて、ＯＡＰＴＡを配合および／または製造するための命令が生成される。ユーザがアプリケーションを使用してＯＡＰＴＡを生成している場合、アプリケーションは作成するカスタム製品を表示し（ステップ１１８）、ユーザが製品をショッピングカートに入れ（ステップ１２０）、購入することができる（ステップ１２２）。次に、生成された配合指示書を使用してＯＡＰＴＡを合成したり、配合に一致する既製のＯＡＰＴＡを選択したりすることができる（ステップ１２４）。次に、ＯＡＰＴＡをユーザに供給し（ステップ１２６）、フィードバックを任意選択で収集して、ユーザのニーズが満たされたかどうかを判断できる（ステップ１２８）。

【0139】

ＯＡＰＴＡシステム

【0140】

一実装形態では、ユーザにＯＡＰＴＡを提供するシステム２００は、コンポーネントおよびサービスのセットで構成される。システム２００は、システム２００内の様々なＯＡＰＴＡサービスによる使用のために、上述したような共有ＯＡＰＴＡコンポーネントセット２１０を含むことができる。少なくとも１つのＯＡＰＴＡ参照サービス２２０は、参照使用の収集のためのＯＡＰＴＡの作成およびＯＡＰＴＡメタデータ２３０のアセンブリを容易にすることができる。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同じ方法でユーザデータを収集し、追加のユーザデータを収集して最適な初期ＯＡＰＴＡ仕様を策定することができる。

【0141】

ＯＡＰＴＡメタデータ２３０は、ＯＡＰＴＡ生産サービス２４０から収集されたユーザデータをＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡ仕様にマッピングできる形式でＯＡＰＴＡ参照サービス２２０から収集されたユーザデータのアセンブリである。少なくとも１つのＯＡＰＴＡ生産サービス２４０は、少なくとも１つのＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡメタデータ２３０を使用してＯＡＰＴＡ仕様の作成を提供する。

【0142】

ＯＡＰＴＡシステムフィードバック２５０は、ＯＡＰＴＡコンポーネントセット２１０を修正または変更し、および／または仕様、定式化および／またはＯＡＰＴＡ生産サービス２４０の配合２６０を修正するために、少なくとも１つのＯＡＰＴＡ参照サービス２２０および少なくとも１つのＯＡＰＴＡ生産サービス２４０からのＯＡＰＴＡフィードバックの収集を提供する。

【0143】

共有ＯＡＰＴＡコンポーネントセット

【0144】

共有ＯＡＰＴＡコンポーネントセット２１０は、以下で説明するように指定できるが、共有ＯＡＰＴＡコンポーネントセット２１０は、本明細書で説明するＯＡＰＴＡシステム内で同様に機能する様々な適切な方法で指定できることを理解されたい。皮膚科医、エステティシャン、および美容用カラリストで構成される群は、本書では「ＯＡＰＴＡ専門家群」の例として参照される。一実装形態では、共有ＯＡＰＴＡコンポーネントセット２１０は、ＯＡＰＴＡ専門家群によって指定される。共有ＯＡＰＴＡコンポーネントセット２１０は、最初にフルセットとして指定され、次に、相互に使用できるコンポーネントを示す結合のセットとして指定される。例えば、特定の局所ベースでのみ使用可能な着色剤のセットを指定したり、不透明度を高めるために連携するコンポーネントの群を、一緒に使用すると最も効果的であると指定したりできる。同様に、特定のアレルギーや肌の状態のあるユーザに最適なアイテムの群を識別し、タグ付けすることができる。

【0145】

コンポーネントのこの初期マッピングは、ＯＡＰＴＡ生産サービス２４０の仕様方法のデータを提供し、本明細書では「仕様ヒント」と呼ばれる。本明細書の一実施形態では、仕様ヒントは、無向グラフとして表され、これは最小スパニングツリーのセットに変換される。無向グラフを評価するよりも、どのコンポーネントを一緒に使用できるかを発見するために、最小スパニングツリーを横断する方が速いことを理解されたい。この変換後、共有ＯＡＰＴＡコンポーネントセット２１０の単一のアイテムは、仕様ヒントを構成する複数のスパニングツリーによって参照できる。初期作成後、仕様ヒントはＯＡＰＴＡシステムフィードバック２５０によって更新または検出され、ＯＡＰＴＡ専門家群によって変更される。

【0146】

ＯＡＰＴＡ参照サービス

【0147】

ＯＡＰＴＡ参照サービス２２０は、共有ＯＡＰＴＡコンポーネントセット２１０が指定された後に構築され得る。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０を構築するのに必要なＯＡＰＴＡメタデータ２３０を生成する。例示的な一実施形態では、ＯＡＰＴＡ参照サービス２２０は専門的サービスとして構成される。別の実施形態では、ＯＡＰＴＡ参照サービス２２０は、オンラインビジネスおよび小売店として構成される。以下の説明では、専門家サービスとしてのＯＡＰＴＡ参照サービス２２０の実装を例として使用する。

【0148】

参照ユーザＩＤ

【0149】

専門家サービスとして、ＯＡＰＴＡ参照サービス２２０は、ユーザＩＤを管理するためのベストプラクティスを使用できる。これに加えて、プライバシーポリシーと情報使用ポリシーを実装して、参照サービス２２０が匿名でユーザを識別しない形式でユーザデータを収集および保存できるようにし、ＯＡＰＴＡメタデータ２３０の構築に使用することもできる。ＯＡＰＴＡシステム２００が使用するデータについても、いくつかの考慮事項に基づいて契約を結ぶことができ、これにより、システム２００の生産コンポーネントのユーザは、類似のＯＡＰＴＡ製品ニーズを有する特定の参照ユーザ（有名人など）を識別できる。

【0150】

参照ユーザデータの収集

【0151】

ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同じデータ収集を使用することができる。さらに、このデータは、ＯＡＰＴＡ専門家群が指定したデータ収集方法で拡張できる。

【0152】

共通サービスデータ収集

【0153】

一実施形態では、サービスデータ収集は、同様の特徴を有し、同様の情報収集およびメディア表示特性を有するように製造された携帯端末のセット上のアプリケーションを使用する。携帯アプリケーションは、データを収集するための一連のステップをユーザに説明できる。例えば、アプリケーションは、特定のニーズ、アレルギー、または関心のある肌の状態があるかどうかをユーザに尋ねることができる。アプリケーションは、ユーザに次に実行するステップを指示するビデオを表示でき、および／または携帯ゲームのコンテキストを使用してデータを取得および最適化したりできる。携帯端末を選択し、アプリケーションを構築して、各収集から一貫したデータを提供できる。一貫した画像データの収集は、次の方法の１つ以上を使用して実行できる。

【0154】

１．一例では、既知の特性を持つ製造されたトークンまたはマーカ（例えば、新しいドル紙幣の一部、新しい２５セント硬貨、白い紙、または製造されてユーザに送信されるマーカ）が使用される。携帯・端末・アプリケーション（または他の端末アプリケーション）は、マーカの一部だけ、および／または該当する場合はユーザの肌の横にあるマーカの写真を撮るようにユーザに指示できる。画像はＯＡＰＴＡサービスに送信され、そこで使用されるマーカに基づいて較正され、必要なデータが画像から生成される。

【0155】

２．別の例では、基準カラーチャートがユーザ端末画面に投影され、ユーザは同じフレームで自分の肌と基準カラーチャートの両方を撮影する鏡で写真を撮るように指示される。画像はＯＡＰＴＡサービスに送信され、そこで使用されるマーカに基づいて較正され、必要なデータが画像から生成される。

【0156】

３．さらなるデータ収集の例では、携帯端末の内部フラッシュ（またはＬＥＤトーチ）が光源として使用され、ユーザは特定の方法で自分の肌の１枚以上の写真を撮るように指示される。画像はＯＡＰＴＡサービスに送信され、焦点距離を含む端末からのフラッシュおよびＥｘｉｆデータに基づいて較正され、必要なデータが画像から生成される。

【0157】

４．別の例では、ＯＡＰＴＡ製品の出荷に使用されるパッケージは、携帯端末を保持して遮光を提供し、ユーザの皮膚から特定の距離を定義するように設計されている。ユーザは、特定の方法で自分の肌の１枚以上の写真を撮るように指示される。画像はＯＡＰＴＡデータ収集サービスに送信され、焦点距離を含む端末からのフラッシュおよびＥｘｉｆデータに基づいて較正され、必要なデータが画像から生成される。

【0158】

５．別の好ましい例では、ソフトウェアがカメラを制御できる携帯端末上のアプリケーションによって画像を取り込みできる。端末で実行されているソフトウェアは、端末に常駐するフラッシュやライト（ＬＥＤトーチなど）のみを使用するように端末を設定でき、および／または端末の顔検出を使用して、画像の撮影時間を計ることもできる。ソフトウェアは、端末を調整し、後で使用するために設定を保存することもできる。ユーザの画像またはスキャンは、例えば、ユーザの顔までの距離が既知の距離内にある場合、および／またはユーザの顔が中心にありフォーカスが合っている場合に、本明細書に記載のユーザの顔またはその領域をスキャンするための様々な技術を使用して撮影することができる。携帯端末で実行されているソフトウェアは、リアルタイム・ビデオ・キャプチャを使用して周囲の光量（フラッシュを使用しない）を判断し、音声、テキスト、音声、または効果プロンプトを使用して、照明を変更する方法および／または所望の画像を取り込むために実行する処理をユーザに対話的に提案する。デジタル写真がフラッシュで撮影される前にビデオモードで検出された環境照明に関する情報は、処理のために画像とともに送信できる。さらに、２つの画像を連続して撮影することができ、１つは周囲光であり、もう１つはフラッシュである。

【0159】

カメラ、およびＬＥＤトーチまたは照らされた表示部を備えた携帯スマートフォンなどの画像センサを備えた端末上の光源を使用して正確な肌の色を取り込むことについて、さらに詳細に説明する。本技術は主に正確な肌の色を取り込むことに関して説明されているが、特に測色計を使用する状況では他の用途が可能であることを理解されたい。

【0160】

図３Ａは、携帯端末または画像センサを備えた他の端末を使用して肌の色を取り込むプロセスの一実装形態を示している。ステップ３１０において、端末は、白色または実質的に白色のフィールド上の既知のサイズのマーカを使用して較正され、マーカ自体は、上記のように、標準サイズの紙、または端末上のソフトウェアを使用して必要な照明を有するユーザの端末表示画面に表示されるマーカなどの、白色フィールドであり得る。ステップ３３０において、システムは、マーカに隣接する物体の表面（例えば、皮膚領域）の色を測定する。ステップ３５０では、既知のサイズの物体の色が測定され、ステップ３７０では、システムは、ステップ３３０および／またはステップ３５０で見つけられた輝度に基づいて物体の表面の色変化を測定する。

【0161】

ここで図３Ｂを参照すると、端末較正ステップ３１０がさらに詳細に示されている。一部の実装では、端末の較正には、既知のサイズと既知の反射率のソフトウェア検出可能物体（「マーカ」）を既知のサイズと既知の反射率の白または実質的に白いフィールド（特定の用紙、または上記のように端末の表示画面から表示されたマーカなど）に配置するか、または白色フィールドであるマーカを使用する設定が必要である。この設定および「物体」は、製造することができ、および／または、例えば、製品パッケージの一部であるか、またはスキンケア製品などのパッケージ製品に含まれるか、または単にアプリケーションソフトウェアを使用して端末自体によって表示され得る。あるいは、この設定は、２枚のコピー機／プリンタ用紙などの既知のプロパティを持つ白いフィールドまたは実質的に白いフィールドに、コインなどの既知の特性を持つ共通物体または他の物体を配置するか、単に既知のサイズと反射特性を持つ白いフィールドであるマーカとしての白い紙を用いて作成できる。較正に使用される距離は、周囲光の影響を低減するために、測定された表面に十分に近いように決定できる。

【0162】

ステップ３１２において、端末上のソフトウェアアプリケーションは、較正に使用される設定を設定、配置または構築するようにユーザに指示することが好ましい。これは、ソフトウェアアプリケーションを使用して、上記のように鏡を使用したカメラの自動設定とマーカの較正によって実行できる。ソフトウェアは、上記のように端末上のカメラに特定のビデオまたは画像キャプチャモードを設定し、カメラに関連付けられた光源を既知の明るさおよび／または温度に設定することができる（ステップ３１４）。端末上のソフトウェアは、フィールド上のマーカの取り込まれた画像を対話的に表示することができ（ステップ３１６）、マーカを検出し、マーカの位置および／またはユーザのマーカ特性を強調表示および／または輪郭を描くことができ（ステップ３１８）、あるいは、投影されたマーカを鏡に表示するか、既知のマーカの画像を撮影することにより、マーカの画像と特性とを自動的に取り込みできる。すべてではないが、いくつかの実装では、マーカの位置をオフセットして、ソフトウェアが白いフィールドを使用して、端末の絞り、感度、露光時間、ホワイトバランスなどの所望の端末設定を設定できるようにする。

【0163】

ステップ３２０において、ソフトウェアは、端末のカメラが特定の距離に配置されることになるマーカの所望のサイズおよび／または位置を表示および／または強調表示してもよい。このサイズと位置は、本明細書では「較正目標」と呼ばれる。ソフトウェアは、強調表示されたマーカを較正目標と一致させるようにユーザに対話的に指示することができる（ステップ３２２）。ユーザがマーカを較正目標と一致するように端末を配置すると、ソフトウェアによって端末が自動露出、自動フォーカス、ＩＳＯ感度、露出時間、絞り、シャッタスピード、自動ホワイトバランスおよび／または照明源白色点および／または温度をロックさせることができる（ステップ３２４）。このロックは、絞り、露出、ＩＳＯ感度、露出時間、シャッタスピード、フォーカス、ホワイトバランス、および／または照明源の設定を、既知の反射率を持つ表面までの所定の距離に効果的に調整する。設定の白色点（およびその他のデータ）を記録し、後続のセッションを較正するために使用できる（ステップ３２６）。

【0164】

ここで図３Ｃを参照すると、任意選択の隣接表面色測定ステップ３３０がさらに詳細に示されている。一実施形態では、物体の色を測定するには、端末のカメラから物体の表面までの距離を設定するか、少なくとも既知にする必要がある。物体のサイズが固定されていない場合は、較正ステップで使用したのと同じサイズのマーカを測定対象の表面に隣接して配置することでこれを実行できる。

【0165】

ステップ３３２において、端末上のソフトウェアは、測定される表面に隣接してまたはその上にマーカを配置するようにユーザに指示してもよい。ステップ３３４では、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成することが好ましい。ソフトウェアは任意選択で、物体に隣接するマーカの取り込み画像（ステップ３３６）（または、マーカの取り込み画像のみ）を対話的に表示でき、該当する場合は、統合および測定されている物体の表面の領域のアウトラインを表示することを含む（つまり、「見本」）（ステップ３３８）。ステップ３４０で、ソフトウェアは、見本で見つかった色を統合し、見つかった色を対話的に表示することができる。ソフトウェアは、マーカを検出し、ユーザのマーカの位置を対話的に強調またはアウトライン表示することもできる（ステップ３４２）。マーカの位置をオフセットして、見本が白色点の較正に使用される取り込み画像の領域と一致するようにすることができる。

【0166】

ステップ３４４で、ソフトウェアは、強調表示されたマーカを較正目標と一致させるようにユーザに対話的に指示する。ユーザがマーカを較正目標と一致するように端末を配置すると、ソフトウェアは見本の統合された色を物体の未処理の色値として記録できる（ステップ３４６）。ソフトウェアは、既知の技術を使用して、見つかったホワイトバランスと端末の特性に関する保存データを適用し、見つかった物体の未処理のカラー値を物体の表面反射率に変換できる（ステップ３４８）。

【0167】

ここで図３Ｄを参照すると、物体測定ステップ３５０がさらに詳細に示されている。測定対象の物体が既知のサイズまたは既知のサイズの特徴を持っている場合、これらの特徴のサイズを使用して、測定対象の物体までの端末のカメラの距離を決定できる。例えば、肌の色の測定では、ユーザの手首の幅、またはユーザの瞳孔間の距離を使用して、端末のカメラからユーザの皮膚までの距離を検出できる。

【0168】

ステップ３５２では、端末上のソフトウェアは、ユーザにカメラを物体（例えば、手首、顔、左右の頬、額、左右の顎、または他の皮膚領域）に向け、物体を表示部上のアウトラインと一致する位置に保持するように指示する。ステップ３５４で、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成する。ソフトウェアは、手首または他の物体の取り込み画像を対話形式で表示し、手首の見つかった幅を強調表示できる（ステップ３５６）。ソフトウェアはさらに、統合および測定されている物体の表面のエリアのアウトライン（すなわち、見本）を示すことができる（ステップ３５８）。ステップ３６０で、ソフトウェアは見本で見つかった色を統合し、見つかった色をユーザに対話形式で表示できる。

【0169】

ソフトウェアは、マーカを検出し、ユーザの手首の位置を対話的に強調またはアウトラインを描くように機能することもでき（ステップ３６２）、また、較正距離に合わせて手首の目標位置を対話的に強調または輪郭を描くことができる（ステップ３６４）ソフトウェアはさらに、強調表示されたマーカを較正目標と一致させるようにユーザに対話的に指示することができる（ステップ３６６）。ユーザが手首を手首の目標と一致するように端末を配置すると、ソフトウェアは見本の統合された色を手首の未処理の色値として記録できる（ステップ３６８）。ステップ３７０において、ソフトウェアは、既知の技術を使用して、発見されたホワイトバランスおよび端末の特性に関する保存データを適用し、発見された手首の未処理の色値を物体の表面反射率に変換できる。

【0170】

図３Ａのステップ３７０に戻ると、物体の全反射率が既知であり、端末が較正され、物体の一部の色が既知である場合、物体の表面色の変動を測定することができる。例えば、人の手首の内側と外側の色が既知であり、瞳孔内距離を使用して人の額の色が検出された場合、積分反射率が既知の値と一致するように端末を配置することにより、肌の色調の変化を測定できる。

【0171】

本明細書の一実施形態では、実施形態３００で上記に述べたものと類似のステップは、対話型較正およびスキャンを使用して実行することができる。この実施形態では、本明細書に記載の端末のいずれかを使用することができるが、例示の目的で、この実施形態を携帯電話端末に関して説明する。マーカについて説明する際に前述したように、端末の表示部側が主要な照明源として使用される。この実施形態では、表示画面からの光は、ユーザの顔を照らすために使用される。画面からの光も較正で使用および検出された（また、較正は、グラウンド・トゥルース・データセットで参照データを作成および構築する際にこの端末で個別に使用され感知されたため、参照データと比較してスキャンによって設定が設定される）。設定された露出と画面の色を含む較正設定は、白色点を設定する。較正された露出はまた、検出された画面の輝度を使用して、フロント（表示部側）カメラのＩＳＯ感度、絞り、シャッタ時間を設定する。端末にロードされた、または端末と通信するソフトウェアは、端末画面に照明領域を表示し、画面の他の部分の画像表示を通じて、対話的に音声プロンプトまたは他の視覚プロンプトを使用して、ユーザにフロントカメラをユーザの顔の領域に配置するように指示する。

【0172】

ソフトウェアは、電話の前面がスキャンを開始するためにスキャンされる顔領域（すなわち、「近点」）に十分に近接していることを検出するように設定され得る（上記の較正技術を使用して）。近点までの距離はカメラのレンズ面から約３ｃｍであるが、カメラや較正設定によっては近点が異なる場合があることを理解しておく必要がある。近点として検出されると、ソフトウェアは端末の近接センサを使用して、電話が顔領域に近づいたことを検出する場合がある。ソフトウェアはまた、カメラ画像の輝度を使用して、電話のカメラのジオメトリおよびユーザの顔領域に照明を提供する画面の部分に基づいて、顔領域上の電話のシャドーイングを感知することができる。近点が検出されると、スキャンジェスチャ状態が始まる。ソフトウェアが引き続き端末画面に照明領域を表示し、画面の他の部分に画像を表示することで、音声および／または視覚的なプロンプトを使用して、ユーザに電話をゆっくりとユーザの顔から引き離すように対話的に指示する。ソフトウェアは、携帯電話のカメラのジオメトリ、照明が画面上にあること、およびユーザの皮膚領域の表面から特定の距離がカメラの画像の領域で最も明るい輝度を生成することを検出するように動作する場合がある。次に、最も明るい輝度のときに記録された画像（または複数の画像）が分析される。この分析により、その肌領域の局所的な肌の色が生成される場合がある。これは、既知の表示特性と、較正ステップで決定された設定を使用して修正できる。

【0173】

皮膚領域の較正された色が記録され、第１の顔領域として記録された画像に適用される。このステップの後、ソフトウェアは、露出、ホワイトバランス（好ましくは自動的に設定される）、およびカメラがカメラのレンズ面から約７．５ｃｍの位置の近距離に焦点を合わせるように、カメラ設定を再度調整する（またはユーザが手動で調整するように指示される場合がある）。ソフトウェアは、カメラに対する測定された第１の顔領域の動きを追跡し続け、追跡は、例えば、オプティカルフローまたは経時的な離散画像比較を含む、当技術分野で知られている任意の適切な技術を使用して行うことができる。そのような技術は、慣性変化を測定する電話上のセンサを使用することによって支援され得、その変化は、オプティカルフローまたは離散画像比較を指示するために使用され得る。スマートフォンがユーザの顔から引き離されると、カメラの焦点面がユーザの顔領域と一致するポイントがあり、新しい領域が記録される（第２の顔領域）。第２の顔領域の画像は、第１の顔領域の皮膚領域よりも広い皮膚領域を含むであろう。ソフトウェアは、第２の顔領域に第１の顔領域が含まれるように、ユーザの対話を指示する画像または音声プロンプトを提供できる。上記の追跡ステップにより、ソフトウェアは、第２の顔領域内の第１の顔領域の位置を決定することができる。

【0174】

第２の顔領域はさらに分析される。第２の顔領域は、第１の顔領域の較正を使用して色較正され得、記録された第２の顔領域は、第２の皮膚領域の表面の高解像度データを含み得る約５ｃｍ×５ｃｍの領域をカバーし得る。このデータをさらに分析して、毛穴サイズデータ、色の変化、表面仕上げ、表面品質、および皮膚の乾燥または油性を提供することができる。毛穴サイズデータは、テクスチャ特徴のモノクロセグメンテーションを使用して分析できる。色の分散は、本明細書に記載されているように色の特徴のセグメンテーションによって評価することができ、皮膚の乾燥または油性は、鏡面反射率と拡散反射率の比の分析によって評価することができる。

【0175】

第２の顔領域が見つかると、カメラの設定が再び調整され（手動またはできれば自動的に）、露出、ホワイトバランス、フォーカスが選択される。ソフトウェアは、カメラに対する第２の皮膚領域の動きを追跡し続け、電話がユーザの顔から離れると、電話は顔全体が見えるポイントに到達する。このような時点で、ソフトウェアは顔の特徴の検出と顔の特徴の追跡を使用して、ユーザの顔全体がカメラにいつ見えるかを判断する場合がある。現在、ほとんどの端末は、現在の端末オペレーティングシステム（ＯＳ）に顔の特徴の検出および／または追跡を組み込んでいる。ただし、そのようなソフトウェアを組み込むために端末を変更することができる。Ａｐｐｌｅ（商標）のＡＲキットは、Ｇｏｏｇｌｅ（商標）の携帯ビジョンＡＰＩと同様に、これらの機能をサポートしている。Ｇｉａｒａｎ社は、顔の特徴の追跡と検出も提供している。ソフトウェアはまた、一部の端末が、深度マップをサポートおよび取り込む３次元カメラおよび関連するインターフェースを備えた端末に組み込む深度マップを組み込む場合がある。深度マップは、画像の背景から顔をセグメント化（または分離）するために使用できる。この時点で、ユーザの顔全体の画像が第３の顔領域として記録される場合がある。第３の顔領域は、好ましくは、第２の顔領域よりも大きな皮膚領域を含み、ソフトウェアは、第３の顔領域が第２の顔領域および実行される追跡を含むように、ユーザの相互作用を指示するための画像および／または音声プロンプトおよび指示を提供し得る。第３の顔領域が検出されると、ソフトウェアは、第３の顔領域内の第２の顔領域の位置を決定することができる。次に、第３の顔領域は、第２および第１の顔領域の較正を使用して較正され得る。

【0176】

顔領域検出

【0177】

例示的な別の実施形態では、本システムは、ユーザ用にカスタマイズされた外用薬を配合する一部として、ユーザの顔またはユーザの顔の一部を含む画像に対して処理を実行する。図４Ａに示されるように、顔領域検出が画像上で実行され（ステップ４００）、較正された色および反射率情報が提供される（ステップ４２０）。以下でさらに説明するように、上記の技術を使用して、色セグメンテーション（ステップ４４０）、顔領域の色割り当て（ステップ４６０）、および最終的な顔領域の色較正（ステップ４８０）も実行することができる。

【0178】

一部の実施形態では、画像がＯＡＰＴＡデータ収集サービスによって受信されると、この画像は較正された色および反射率情報を提供するために処理される。較正プロセスを支援するために、上記のような顔領域検出プロセス（ステップ４００）または別の顔領域検出プロセスを使用することができる。例えば、デジタル写真の顔、目、口、鼻の位置を検出するための、上記の顔認識ソフトウェアの使用など、オープンソースや他の技術が存在する。さらに参照するために、Ｈａａｒ Ｃａｓｃａｄｅ Ｃｌａｓｓｉｆｉｅｒは、顔の特徴を検出するために構築された訓練セットで使用できる。この機能を提供するために使用できるソフトウェアパッケージと関連する訓練セットは、ＯｐｅｎＣＶ（ｏｐｅｎｃｖ．ｏｒｇ）にある。Ｇｉａｒａｎ社などの追加のソフトウェアおよび顔認識プロセスも使用できる。

【0179】

上記の実施形態を使用して、ソフトウェアプロンプトおよび自動カメラ設定を使用して第１、第２および第３の顔領域のデータを検出および追跡する場合、顔特徴検出を使用して、マップ内に第１および第２の顔領域を配置する顔マップをアセンブルすることができる。顔マップは、顔の形、髪の色、目の色、色の変化、および本明細書に記載されている他のデータを提供するために使用することができる。この同じ顔マップを使用して、顔マップから導出された他の顔領域の色を較正することができ、例えば、額、右頬、右顎のライン、左頬、左顎のラインなど、顔の他の開始領域について、その実施形態で上記のプロセスを繰り返す（第１の領域を検出し、第２の領域内で、次に顔全体の第３の領域内で追跡する）。各スキャンが統合されると、カラー較正の精度を高め、各肌領域上のユーザの顔の様々な肌領域に関する追加の詳細データを提供して、正確な顔マップを提供するために使用できる。

【0180】

上記のような適切な処理によって決定された顔の特徴の位置を使用して、既存のオープンソースおよび他の技術または利用可能なソフトウェアを使用して、デジタル写真の個別の顔の特徴の位置を検出できる。参考のために、大規模な訓練セットで開発されたアクティブな形状モデルを使用できる。この機能を証明するために使用できるソフトウェアパッケージと関連データの１つは、ｓｔａｓｍライブラリ（オープンソースの顔の特徴検出ライブラリ）、Ａｐｐｌｅ Ｘ ３－ｄモデリングソフトウェア、ＡＲＫｉｔ、またはＧｉａｒａｎ社から入手可能な、および／または米国特許出願公開第２０１７／００７６４７４号明細書に記載されているソフトウェアとシステムである。上記のすべての端末設定および／または顔認識ソフトウェアを使用して、正しい色および関連するユーザデータを見つけてモデル化することができる。

【0181】

上記で決定された個別の顔の特徴点は、その後、多角形領域のセットにアセンブルされる。一実装形態では、顔は７７個の認識された特徴点を含むが、任意の適切な数の特徴点および領域を使用することができる。認識される領域には、次の一部またはすべてを含めることができるが、これらに限定されない：

【0182】

顔全体（すべての領域を含む）；
額；
右頬；
左頬；
鼻；
鼻の橋；
口（両方の唇を含む）；
顎；
右眉毛；
左眉毛：
右目；
左目；
上唇；
下唇；
右顎線；および／または
左顎線；
色較正

【0183】

図４Ｂは、ステップ４２０をさらに詳細に、すなわち、取り込まれた画像を使用して較正された色および反射率情報を提供する方法を採用する１つの方法を示している。ステップ４２２において、画像が較正され、マーカが使用される場合、マーカは認識され、マスクされる。画像はＹＵＶ色空間に変換され（ステップ４２４）、ＵＶ画像成分の２Ｄヒストグラムが構築される（ステップ４２６）。次のステップ４２８では、ＵＶヒストグラムで２Ｄセグメンテーションを実行して、強調、ボディカラー、スポットカラーを表す色のセットを見つける。Ｙ画像成分の輝度ヒストグラムを構築し（ステップ４３０）、輝度ヒストグラムに対して１Ｄセグメンテーションを実行して、例えば、ボディカラーの反射率、強調反射の振幅（光沢）、シャドウ輝度を表す輝度セットを見つける（ステップ４３２）。次に、ステップ４３４で、組み合わされたＵＶおよび輝度セットを使用して、較正されたｎ次元ベクトルが構築される。このベクトルは、以降「ｎ色ベクトル」と呼ばれる。注目すべきは、ｎ色ベクトルには、肌の光沢と色の変化（斑点）を表すデータを含めることができることである。

【0184】

別の例示的な方法では、デジタル写真は、ＪＰＥＧ圧縮または交換可能画像ファイル形式（Ｅｘｉｆ）データにあるＩＦＤタグなど、デジタル写真に埋め込まれたデータに少なくとも部分的に基づいて較正できる。写真の撮影に使用される端末の特性を使用して、色を事前に較正できる。カメラからユーザの顔までの距離は、本明細書で上述したような顔の特徴の検出によって見つかった眼球間距離によって決定できる。デジタル写真に埋め込まれたショットデータ（明るさ、フラッシュ特性など）をカメラからの距離と組み合わせて、画像の輝度を調整できる。さらに、周囲照明情報や周囲照明画像など、撮影時に端末に常駐するソフトウェアによって送信される追加データを使用して、周囲照明の色補正を行うことができる。

【0185】

色および顔領域は、顔マップを作成するために顔の様々な領域にわたって較正された第１、第２および第３の顔領域を有する上記の顔のマッピング技術を使用して較正される。

【0186】

色セグメンテーション

【0187】

色セグメンテーションを作成する別の方法は、デジタル写真の処理の一部としてである。色セグメンテーションを実行する１つの方法（ステップ４４０）を図４Ｃに示す。ステップ４４２において、デジタル写真は、肌の色調を識別するために必要な解像度と一致するより小さいサイズに再サンプリングされる。サイズは、主要な顔領域の寸法によって決定できる。例えば、サイズはｎｅｗＳａｍｐｌｅＨｅｉｇｈｔ＝（Ｉｍａｇｅ．ｈｅｉｇｈｔ＊１２８）／ｓｑｒｔ（ピクセル単位の顔領域）として計算できる。この再サンプリングされた写真は、以下「セグメンテーション画像」と呼ばれる。

【0188】

セグメンテーション画像は、例えば、肌色をＲＧＢ表現から肌の色調の主成分表現に変換する３×３マトリックス変換を使用して色空間に変換することができる（ステップ４４４）。本明細書では、肌の色調の主成分空間を「ＳＴＰＣＡ」と呼ぶことにする。この変換は、マッチング端末を使用して様々なユーザが撮影した（例えば、特定の携帯電話で撮影することで関連付けられた）デジタル写真から肌の色調のＲＧＢ色の大きな配列に対して主成分分析を実行することで見つけることができる。この画像は「ＰＣＡセグメンテーション画像」と呼ばれる。主成分分析は、ベクトルのセットの次元を減らすよく知られた方法である。

【0189】

ＰＣＡセグメンテーション画像の主成分チャネル（チャネル０）は、バンドパスフィルタなどの追加のフィルタリングを適用することによりセグメンテーションのために準備される（ステップ４４６）。ステップ４４８では、分水変換などの周知の技術を使用することにより、セグメンテーションを実行することができる。得られた画像は、本明細書では「セグメンテーションラベル画像」と呼ばれる。次いで、各セグメンテーションラベル画像領域内のＰＣＡセグメンテーション画像チャネル０の最も明るいピクセルを使用して、各セグメンテーションラベル領域にＳＴＰＣＡ値を割り当てることができる（ステップ４５０）。

【0190】

顔領域の色の割り当て

【0191】

ここで図４Ｄを参照すると、顔領域の描写が与えられると、領域の肌の色調を決定するための１つの処理（すなわち、ステップ４６０）は以下の通りである。ステップ４６２では、例えば、黒い背景上に白い多角形として領域を描くことにより、顔領域の領域マスクが生成される。上述の色セグメンテーションプロセスにより生成されたセグメンテーションラベル画像は、領域マスクによりマスクされて「顔領域ラベル画像」を生成する（ステップ４６４）。次に、ステップ４６６において、顔領域ラベル画像内のセグメンテーションラベル領域は、面積、およびシャドウおよび鏡面強調を表すＳＴＰＣＡ値からラベル領域の割り当てられたＳＴＰＣＡ値の距離を最大化することにより等級分けされる。次に、最高のグレードのセグメンテーションラベル領域のＳＴＰＣＡ値が「顔領域の色」として指定される（ステップ４６８）。

【0192】

最終的な顔領域の色較正および追加データ

【0193】

図４Ｅに示すように、最終的な顔領域の色較正（ステップ４８０）は、次のステップを使用して実行できる。ステップ４８２では、目の顔領域の色が決定および割り当てられ、特に目の強膜のグレーレベルが決定される。ステップ４８４では、目の領域における鏡面反射のセグメント化を使用して、フラッシュおよび／またはトーチが発射されたかどうか、および他の点光源が存在するかどうかを判定することができる（以下のさらなる説明を参照）。鏡面反射サブ領域は、各顔領域について検出され、「光沢」値は、全体の領域サイズに対するそのサイズに基づいて、各顔領域について決定される（ステップ４８６）。目の光沢度の指標は、他の領域の較正にも使用できる。

【0194】

ＳＴＰＣＡ値、グレーレベル、および光沢値の最終的な変換は、中間形式ではなく、化粧品の製造に使用される材料特性に直接変換できる（ステップ４８８）。さらに、ＳＴＰＣＡのＲＧＢまたはＣＩＥＬＡＢ Ｌ＊ａ＊ｂ色空間への変換は、ユーザの視覚化のために実行できる。これらは、元のＰＣＡマトリックスの修正版を使用して実行でき、グレーレベルと光沢値とによって調整される。

【0195】

上記のように、顔領域の色較正には、目の領域での鏡面反射の評価に基づいて、光源（カメラフラッシュやＬＥＤトーチなどの既知の光源以外）の存在と色を決定することが含まれる。一実装形態では、このプロセスには次のステップが含まれる。

【0196】

デジタル写真から赤チャネルを差し引く。高周波数では比較的少数のピクセル（例えば約２ピクセル）、低周波数ではより多くのピクセル（例えば約５または６ピクセル）のバンドパスフィルタを使用して詳細を削除する。結果に対してヒストグラムを実行し、ヒストグラムに含まれるピクセル母集団の９９％でしきい値を取得して、すべての最も高いライトを決定する。最も高いライトを約２０ピクセル拡大して、ライトのマスクを作成する。約１０ピクセルの高周波数と約２０ピクセルの低周波数で、結果の画像に別のバンドパスフィルタを適用すると、目の虹彩の引き抜きを含む、より広い特徴を持つ画像が得られる。目の暗い部分を約１０ピクセル拡大して、虹彩の逆、または目の暗い部分と発見された強調との交差をもたらす。初期入力を使用して、目の中の明るいスポット（つまり、光の反射）のしきい値を設定する。結果のスポットを使用して入力画像の元の色をマスクし、未知の光源があるかどうかを判断する。発見された未知の光源を差し引き、色を較正する。

【0197】

参照サービスに固有のユーザデータ収集

【0198】

共通サービスデータ収集は、ＯＡＰＴＡ専門家群を支援する、および／または参照ＯＡＰＴＡ仕様を作成するためにアプリケーションソフトウェアによって使用される追加のデータ収集によって拡張できる。一実装形態では、このデータには次の１つ以上が含まれる。

【0199】

可視、ＩＲ、およびＵＶ色分光データ；
双方向反射率データ；
特定の顔の皮膚部位の顕微鏡写真（および皮膚の健康状態の評価）；
ラマン分光光度計、質量分光光度計、またはその他の計測器を使用した表面の皮膚の油または残留物の分析；
インタビューによる共通サービスデータ収集によって提供される拡張データ。

【0200】

ユーザのスキャンデータを使用して作成された本発明の一実施形態による１つまたは複数の顔マップであって、ユーザは、カメラ付きの携帯電話を含む本明細書に記載のような端末によってスキャンされ、アプリケーションソフトウェアマップは皮膚の色データを較正し、データは、スキャンされたユーザの顔マップを作成するために上記のようにデータを追跡しながら、ユーザの顔の異なる、ますます拡大する顔領域のスキャンに基づく。

【0201】

様々な肌の色を持つ様々なユーザから、および／または本書の他の場所で説明されているように多くの異なる地理的領域のユーザから収集されたスキャンデータに基づいて作成された肌の色マップ；および／または
本明細書に記載の製品属性データストア。

【0202】

参照ＯＡＰＴＡ仕様

【0203】

ＯＡＰＴＡ専門家群およびアプリケーションソフトウェアは、参照ユーザデータ収集に基づいて、ユーザのカスタムＯＡＰＴＡを作成する際に使用するコンポーネントと量を指定できる。仕様と参照ユーザデータをコンパイルして、ＯＡＰＴＡメタデータ２３０にエントリを作成できる。

【0204】

参照ＯＡＰＴＡ配合

【0205】

ＯＡＰＴＡ専門家群およびアプリケーションソフトウェアは、コンポーネントを組み合わせてＯＡＰＴＡ製品を作成するために使用される順序と方法を指定する一連の指示を提供できる。この指示セットは、ＯＡＰＴＡメタデータ２３０の現在のエントリに追加できる。

【0206】

参照ＯＡＰＴＡ配合

【0207】

一実装形態では、ＯＡＰＴＡ配合２６０に基づいて、ＯＡＰＴＡ製品が手動で配合される。別の配合方法では、配合指示および共有ＯＡＰＴＡコンポーネントセット２１０のレビューが、配合指示に基づいてＯＡＰＴＡ製品を自動的に配合する装置で使用される。例示的な装置は、出願人の同時係属中の米国特許出願公開第２０１９／０１８９８５３号明細書に詳細に記載されており、ＯＡＰＴＡ製品の作成およびさらにそのような製品の配送に関連する部分で本明細書に組み込まれている。しかし、好ましくはプログラム可能であり、電子および／またはデジタル制御システムに応答する、当技術分野で知られている他の適切な混合および混合装置が好ましい。

【0208】

参照ＯＡＰＴＡ配信

【0209】

ＯＡＰＴＡ製品は、同じ場所または異なる場所で配合された後、ユーザがシステムを使用している間に、オンプレミスでサービス場所のユーザに配信されてもよい。サービスポイントと同じ場所または異なる場所で配合した後のＯＡＰＴＡ製品は、ユーザに直接提供または出荷できる。

【0210】

参照ＯＡＰＴＡ収集

【0211】

参照ＯＡＰＴＡ収集は、専門的サービスを介した請求を通じて達成できる。さらに、支払い情報は、共通サービスデータ収集の一部として収集されてもよく、支払いは、当技術分野で知られている様々なオンライン支払い方法、好ましくは安全な支払いサービスおよび／またはショッピングカート機能を通じて、ＯＡＰＴＡ配信および／または注文時に収集されてもよい。

【0212】

参照ＯＡＰＴＡフィードバック

【0213】

ＯＡＰＴＡ製品が供給およびテストされた後、ユーザのフィードバックはインタビューを通じて収集される場合がある。フィードバック情報は、共通のサービスデータの収集に使用される携帯アプリケーションによって、および／またはリンクされたソーシャルメディアまたは同じユーザの他のオンラインソースを介して収集される場合もある。

【0214】

ＯＡＰＴＡメタデータ

【0215】

ＯＡＰＴＡメタデータ２３０は、ユーザデータ収集を含む以下の例示的なデータフィールドのうちの１つ以上を含み得るが、ＯＡＰＴＡを形成するために望まれる他のフィールドが提供または使用されてもよい：

【0216】

共通サービスデータ；
ユーザＩＤ；
地理的領域；
性別；
誕生日；
日付；
結合ベクトル（使用されている場合）；
紫外線放射暴露；
アレルギーベクトル；
ｎ色ベクトル（使用されている場合）；
参照特定データ；
肌の色のスペクトル；
色分散データ；
肌の色マップ上の肌の位置。
双方向反射率データ；
鏡面反射率データ；
拡散反射率データ；
特定の顔の皮膚部位の顕微鏡写真；
スキャンから取得した毛穴サイズデータ；
皮膚表面の油指数；
顔の形；
髪の色；
目の色
参照仕様；
参照配合の指示；
ユーザ端末のオペレーティングシステム；
ユーザ端末のソフトウェア情報；
ユーザの美容プロファイル（色、光沢、および／または不透明度）；および／または
仕様ヒントにあるスパニングツリーのタグ。

【0217】

上記のデータは、スキャン、調査やクエリなどのユーザの自己報告、デバイスセンサ（ＧＰＳなど）から収集したオンボーディングデータからの自己報告データ、およびソーシャルメディアサイトから取得したデータを介して取得できる。

【0218】

結合ベクトルは、ｎ空間の点と考えることができる。各コンポーネントの大きさは、システム全体の重要度に正規化される。

【0219】

参照データは、本明細書に記載される１つまたは複数のグラウンド・トゥルース・データセット、または、例えば、肌の色、反射率、肌の質感、肌の色調、肌のアンダートーン、肌の油性、肌の仕上がり、および皮膚表面の質、アレルギー、および／または本明細書に記載の既知のＯＡＰＴＡを正確に定式化することができる他のデータに関連する定義された値を含む他のデータ収集を含むことができる。言い換えると、グラウンド・トゥルース・データセット内の特定の値のセット（１つまたは複数の保存されたグラウンド・トゥルース・データセットである場合がある）に対して、それらの値に対して最適化された所定の外用薬が存在する可能性がある。所定の外用薬は、ＯＡＰＴＡの配合会社の市販製品やサードパーティの市販製品（製品属性データストアにスキャンデータまたは他の属性が格納されている場合がある）など、既存の製品と類似または同一にすることもできる）。したがって、ユーザにとって最適なＯＡＰＴＡを決定する１つの方法は、ユーザが取り込んだ皮膚データと１つまたは複数のグラウンド・トゥルース・データセットの値のデータとの相対的な近接度を決定することであり得、またはスキャンしたデータを使用し、ユーザのスキャンデータを肌の色マップと比較するためにも使用できる顔マップを作成することによる。最も近くにある、または肌の色マップ上の場所に一致するデータセット値が選択され、そのデータはユーザの検索キーに保存され、ＯＡＰＴＡに関連付けられる。これらの最も近い値に対応するＯＡＰＴＡまたは既存の製品は、ユーザに対して選択された一意の配合物になる。

【0220】

ＯＡＰＴＡ生産サービス

【0221】

ＯＡＰＴＡ生産サービス２４０は、十分な数の記録がＯＡＰＴＡメタデータ２３０に収集され、参照サービスＯＡＰＴＡ配合手段が自動化された後に構築することができる。

【0222】

運用ユーザＩＤ

【0223】

ＯＡＰＴＡ生産サービス２４０は、ユーザがソフトウェア、例えば携帯アプリケーションを購入し、初めてアプリケーションを起動するときに、ユーザＩＤを作成および管理し始める。このサービスは、ユーザデータを保持するデータストアを作成し、ユーザＩＤに基づいてデータ検索を提供する。ユーザＩＤには、出荷および請求情報を含めることもできる。

【0224】

運用ユーザのデータ収集

【0225】

ＯＡＰＴＡ生産サービス２４０は、ＯＡＰＴＡ参照サービス２２０について前述した共通サービスデータ収集を使用することができる。特定のセッションのユーザの共通サービスデータは、運用ユーザＩＤと共に保存される。

【0226】

運用ＯＡＰＴＡ仕様および定式化

【0227】

ＯＡＰＴＡ生産サービス２４０は、ＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡメタデータ２３０を使用して仕様を合成する。例えば、上記のように収集および処理された顔画像データに基づいて、特定のユーザの肌の色を、カスタム化粧品配合物または既存の市販化粧品配合物が既に定義されている（例えば、実際の参照ユーザ、グラウンド・トゥルース・データセット、製品属性データストアなどに基づいて）既存の参照肌の色（または肌の色マップ上の位置）に一致させることができる。特定の配合がユーザと互換性があるかどうかを判断する際に、アレルギーなど、ユーザ固有の特性を考慮することができる。システムによって導出された新しい配合は、将来の使用のために参照として保存できる。

【0228】

一実装形態において、ＯＡＰＴＡ製品を処理および注文するために、システムは、上記のように、ユーザの運用ユーザＩＤにリンクされたユーザの現在の共通サービスデータを取得し、ＯＡＰＴＡメタデータ２３０内の共通サービスデータ結合ベクトルに最も近い一致を決定する。結合されたベクトルと最も近い一致との距離が遠すぎる場合、参照ユーザに推進されて現在の注文を終了するかどうかをユーザに問い合わせることができる。

【0229】

システムは、第１の一致のスパニングツリータグによってフィルタ処理された次の最も近い一致を見つけ、幾何代数または特異値分解を使用して、超平面を記述する第３のフィルタ処理された一致点を見つけることができる。結合ベクトルと超平面の表面との間の距離が大きすぎる場合、参照ユーザに推進されて現在の注文を終了するかどうかをユーザに問い合わせることができる。見つかった基準点ごとに、ブレンド値が決定され、最も近い一致に共通する各コンポーネントのブレンドを追加することで仕様が作成される。最後に、最も近い一致のＯＡＰＴＡメタデータからの配合が、ユーザに適した配合として選択される。したがって、最初のＯＡＰＴＡおよび最初のカスタマイズされた化粧品配合物が作成される。

【0230】

生産ＯＡＰＴＡ配合

【0231】

システムは、本明細書で説明されるＯＡＰＴＡ参照サービス２２０の実装によって指定される自動化された配合方法を使用することができる。一実施形態では、これは共有リソースである。または、同様の自動化機器を備えた複数の場所があり、ユーザの地理的な場所に最も近い場所が選択される。

【0232】

ＯＡＰＴＡ製品は、ユーザが本明細書に記載のステップを進めた後、要求に応じて配合することができ、これにより、初期のカスタマイズされた化粧品配合物を決定することができる。追加または代替として、配合から配送までの時間を短縮するために、事前にＯＡＰＴＡ製品を配合することができる（例えば、最も共通的な配合を配合して在庫することができる）。いくつかの実施形態において、システムによって決定された配合は、他のベンダーおよびブランドからの既存の製品にマッピングされる。例えば、他の製品の配合、成分、色、および／または他の既知の特性に基づいて、システムはユーザのカスタマイズされた化粧品配合物を他の製品と比較し、類似度のしきい値（例えば、７５％、８０％、９０％など）に最も類似するか、または適合するしきい値を決定できる。一例として、システムは、ユーザのファンデーションがアルマーニファンデーションに８８％一致し、ロレアルファンデーションに８２％一致すると判断できる。システムはまた、ユーザに他の一致した製品を表示し、ユーザがユーザのカスタマイズされた配合に加えて、または代替としてそれらを購入できるようにすることにより、ユーザが購入する市販製品またはＯＡＰＴＡに基づくカスタマイズされた化粧品配合物のオプションは、最終的にはユーザにとって望ましいマッチに少なくとも近いか近いはずである。

【0233】

運用ＯＡＰＴＡ配信、収集、およびフィードバック

【0234】

ＯＡＰＴＡ製品は、自動化された配合場所、倉庫、小売店、またはＯＡＰＴＡ製品を配合および／または保管できる他の場所からユーザに出荷できる。ユーザは、システムで利用可能な運用ユーザの識別情報を使用して、出荷時に請求できる。一実装形態では、ユーザは、共通のサービスデータ収集を提供する携帯アプリケーションを使用して、フィードバックや他のデータを提供できる。

【0235】

ＯＡＰＴＡシステムフィードバック

【0236】

一実装形態では、ＯＡＰＴＡシステム２００は、生産ＯＡＰＴＡフィードバック２５０のレビューを容易にし、ベクトル空間を組み合わせたＯＡＰＴＡメタデータ２３０の共通サービスデータのギャップと重要なフィードバックを比較するように構成される。システム２００は、スペースがあまりにもまばらである場合、ソリューションからの許容最大距離を調整し、モデルのギャップを埋めるために運用ユーザを参照ユーザにアップグレードすることができる。

【0237】

ＯＡＰＴＡシステム２００の実装は、適切なハードウェアまたはソフトウェアを使用でき、例えば、ＯＡＰＴＡシステム２００は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ＯＳ Ｘ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ｉＯＳ（登録商標）プラットフォーム、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（登録商標）プラットフォーム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、ＵＮＩＸ（登録商標）オペレーティングシステム、および他のバリアントなどのオペレーティングシステムを実行可能なシステム上で実行することができる。

【0238】

説明した機能の一部またはすべては、ユーザ端末上のソフトウェアおよび／またはハードウェアに実装できる。ユーザ端末には、本書に記載されている機能を実行できる汎用コンピュータまたは専用ハードウェア端末として動作する、カメラ、ワイヤレス端末、情報機器、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、またはその他のコンピューティング端末を備えていることが望ましい、スマートフォン、スマートウォッチ、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲーム装置、音楽プレーヤ、携帯電話、バーチャルリアリティゴーグル、ラップトップ、パームトップ、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、ホームアシスタント（Ａｌｅｘａ（商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（商標））が含まれるが、これらに限定されない。例えば、ソフトウェアは、処理ユニット、システムメモリ、およびシステムメモリを含む様々なシステムコンポーネントを処理ユニットに結合するシステムバスを含むコンピュータの形で、汎用コンピューティング端末上で実装できる。

【0239】

追加または代替として、機能の一部またはすべてをリモートで、クラウド内で、またはサービスとしてのソフトウェアを介して実行できる。例えば、１つまたは複数のリモートサーバまたは上記のユーザ端末と通信する他の端末で、一致する機能を実行できる。リモート機能は、十分なメモリ、データストレージ、処理能力を備え、サーバクラスのオペレーティングシステム（例えばＯｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、ＧＮＵ／Ｌｉｎｕｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムファミリーなど）を実行するサーバクラスのコンピュータで実行できる。

【0240】

システムは、メモリに格納され、プロセッサで実行される複数のソフトウェア処理モジュールを含むことができる。例として、プログラムモジュールは、１つまたは複数の適切なプログラミング言語の形態であり得、これらは機械語またはオブジェクトコードに変換されて、１つまたは複数のプロセッサが命令を実行できるようにする。このソフトウェアは、適切なプログラミング言語またはフレームワークで実装されたスタンドアロンアプリケーションの形にすることができる。

【0241】

本明細書で説明する技術の方法ステップは、入力データを操作して出力を生成することにより機能を実行するために１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なプロセッサによって実行できる。方法のステップは、専用ロジック回路、例えばＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行することもでき、またこれらの装置として実装することもできる。モジュールは、その機能を実装するコンピュータプログラムおよび／またはプロセッサ／特別な回路の一部を指すことができる。

【0242】

コンピュータプログラムの実行に適したプロセッサには、例として、汎用および専用マイクロプロセッサの両方が含まれる。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受け取る。コンピュータの重要な要素は、命令を実行するプロセッサと、命令とデータを保存する１つまたは複数の記憶装置である。コンピュータプログラムの命令およびデータを具体化するのに適した情報担体には、例として、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、およびフラッシュメモリ端末などの半導体記憶装置、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリが含まれる。１つまたは複数のメモリに、メディア資産（例えば、オーディオ、ビデオ、グラフィック、インターフェース要素、および／またはその他のメディアファイルなど）、構成ファイル、および／または、プロセッサによって実行されるとモジュール、エンジン、および本明細書に記載されている他のコンポーネントを形成する命令を格納することができ、またこれらのコンポーネントに関連する機能を実行することができる。プロセッサおよびメモリは、専用ロジック回路で補完するか、組み込むことができる。

【0243】

様々な実装において、ユーザ端末は、本明細書で説明される機能の実行を促進するウェブブラウザ、ネイティブアプリケーション、または両方を含む。ウェブブラウザを使用すると、端末はウェブページまたはその他のダウンロード可能なプログラム、アプレット、またはドキュメントを（例えば、サーバから）ウェブページ要求で要求できる。ウェブページの一例は、表示、実行、再生、処理、ストリーミング、および／または保存でき、他のウェブページへのリンクまたはポインターを含むコンピュータ実行可能または解釈可能な情報、グラフィック、サウンド、テキスト、および／またはビデオを含むデータファイルである。一実装形態では、端末のユーザがサーバにウェブページを手動で要求する。または、端末はウェブブラウザで自動的に要求を行う。市販のウェブブラウザソフトウェアの例には、Ｇｏｏｇｌｅ（登録商標）Ｃｈｒｏｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｍｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、およびＡｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）が含まれる。

【0244】

一部の実装では、ユーザ端末にはクライアントソフトウェアが含まれる。クライアントソフトウェアは、本書で説明する機能の実装と実行を提供する機能を端末に提供する。クライアントソフトウェアは様々な形式で実装でき、例えば、ネイティブアプリケーション、ウェブページ、ウィジェット、および／またはＪａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、．Ｎｅｔ、Ｓｉｌｖｅｒｌｉｇｈｔ、Ｆｌａｓｈ、および／または、端末にダウンロードされ、ウェブブラウザと連動して実行されるその他のアプレットやプラグインの形式にすることができる。クライアントソフトウェアおよびウェブブラウザは、単一のクライアント／サーバインターフェースの一部にすることができ、例えば、クライアントソフトウェアは、ウェブブラウザまたは別のフレームワークまたはオペレーティングシステムへのプラグインとして実装できる。ウィジェットフレームワークおよびアプレット技術を含むがこれらに限定されない他の適切なクライアントソフトウェアアーキテクチャも、クライアントソフトウェアと共に使用することができる。

【0245】

通信ネットワークは、端末を１つまたは複数のサーバに接続したり、および／または相互に接続したりできる。通信は、標準電話回線、ＬＡＮまたはＷＡＮリンク（Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５など）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、ワイヤレスリンク（８０２．１１（Ｗｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡなど）などの媒体を通じて実行され得る。他の通信メディアも可能である。ネットワークはＴＣＰ／ＩＰプロトコル通信、およびウェブブラウザによって行われたＨＴＴＰ／ＨＴＴＰＳ要求を伝送でき、クライアントとサーバ間の接続はそのようなＴＣＰ／ＩＰネットワークを介して通信できる。他の通信プロトコルも可能である。

【0246】

このシステムは、通信ネットワークを介してリンクされたリモート処理端末によってタスクが実行される分散コンピューティング環境でも実行できる。分散コンピューティング環境では、プログラムモジュールは、メモリストレージ端末を含むローカルおよびリモートのコンピュータストレージメディアに配置できる。端末の能力と必要なデータ処理能力の量に応じて、ここで説明したもの以外の他のタイプのシステムハードウェアおよびソフトウェアも使用できる。システムはまた、上述したものなどの仮想化オペレーティングシステムを実行し、本明細書で説明したものなどのハードウェアを有する１つまたは複数のコンピュータ上で動作する１つまたは複数の仮想マシン上で実装することができる。

【0247】

場合によっては、リレーショナルデータベースまたは他の構造化データベースは、例えば処理用のデータを保存するデータベース管理システムなどの機能を提供できる。データベースの例には、カリフォルニア州レッドウッドショアーズのＯＲＡＣＬＥ社が提供するＭｙＳＱＬデータベースサーバまたはＯＲＡＣＬＥデータベースサーバ、カリフォルニア州バークレーのＰｏｓｔｇｒｅＳＱＬグローバル開発グループが提供するＰｏｓｔｇｒｅＳＱＬデータベースサーバ、またはＩＢＭが提供するＤＢ２データベースサーバが含まれる。

【0248】

また、システムおよび方法の実装は、１つまたは複数の製品上またはその中に組み込まれた１つまたは複数のコンピュータ可読プログラムとして提供できることに留意されたい。プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置による実行のための適切な受信装置への送信のための情報を符号化するために生成されたマシン生成による電気、光学、または電磁信号で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは端末、またはそれらの１つまたは複数の組み合わせであり得、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号にエンコードされたコンピュータプログラム命令のソースまたは宛先になり得る。コンピュータ記憶媒体はまた、１つまたは複数の別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）であるか、それに含まれ得る。

【0249】

ユーザ操作の例

【0250】

ユーザは、ウェルカムページなどのユーザインターフェースを介してアプリケーションに関与し、１つまたは複数のベース製品にユーザを誘導できる。インターフェースは、ユーザが１つまたは複数の製品を表示できるようにするリストまたはスクロールタイプのオプションを有する。トップページで、ユーザはログインしたり、スキャンを開始したり、製品を購入したりできる。そのようなカート機能として、ログイン機能およびユーザ選択と対話式のスキャン機能が使用されることが好ましい。ユーザは次のステップを選択する。スキャンが開始されると、ユーザは、一実施形態では、顔マップを構築する十分なスキャンデータを提供することを含む、上記の１つまたは複数の実施形態に従って、較正およびスキャンを通してユーザを誘導するための対話的ガイダンス（ビデオ、音、振動、プロンプトなど）を有するであろう。

【0251】

ユーザは、アプリケーションをソーシャルメディアウェブサイト（ＦａｃｅｂｏｏｋやＧｏｏｇｌｅなど）に関連付け、そのウェブサイトまたはアプリケーションを介してサーバに直接ログインできる。ログインに問題がある場合、ユーザは設定された回数の再試行、パスワードの再設定、またはカスタマーサービスへの連絡を求められる場合がある。ログインすると、ユーザは既存のプロファイルを読み込むか、または製品を注文したいかかどうかを尋ねられる。新規ユーザは、ＯＡＰＴＡメタデータとして使用するユーザデータを提供するように求められ、ユーザデータは検索キーにエンコードされてユーザＩＤの作成に使用される。

【0252】

アプリケーションは、新しいカスタマイズされた化粧品（またはグラウンド・トゥルース・データセット内の既存の非カスタム製品）を作成および注文するためにのみ動作するアプリケーションであってもよく、および／または製品の変更または調整を可能にするステップを含み、および／または製品の変更または調整のために別のアプリケーションと協力して動作するアプリケーションであってもよい。好ましくは、アプリケーションは、既存の非カスタム製品またはユーザに関連付けられた以前のカスタマイズされた化粧品配合物（独自の配合物または非カスタム配合物など）の選択を可能にし、ユーザが別の色合いを希望する場合、または新しい較正されたスキャンがスキャンデータに基づいて変更または新しいカスタム化粧品または非カスタム製品の提案を引き起こすデータの変更を示した後にそうするように促された場合、これらのいずれかを選択することによって調整することができる。

【0253】

製品を選択した後、または最初のスキャン（上記の較正ステップを含む）を完了した後、ユーザは次の１つまたは複数の方法でプロンプトが表示される。

【0254】

一実施形態では、ユーザは、次のステップのために製品を選択するように促される。例えば、ユーザは、前のセッションから既存のカスタマイズされた化粧品配合物、非カスタム（既存の市販）製品であり得る新製品、新しくて異なるカスタマイズされた化粧品（例えば、ユーザがファンデーションを作成したが、今はアイメイク製品を作成したい場合）、または以前のカスタマイズされた化粧品または非カスタム化粧品に基づいて変更または調整された製品のいずれかを選択することができる。ユーザのカート、ギフトオプション、再注文などを確認するためのオプションが提供され得る。

【0255】

アプリケーションは、約３０日以上の再注文または最初の相互作用に適したスキャンの実行をユーザに促すこともある。新規ユーザの場合、スキャンは最初の自動プロンプトである。スキャンは、上記のスキャン方法のいずれかに従って行うことができる。一実施形態では、スキャンプロセスは、第１、第２、および第３の顔セクションを使用して進行し、第３の顔セクションは、ユーザの顔、好ましくは第２および第１の顔セクションも包含し、スキャン中に追跡して、保存され、ＯＡＰＴＡ仕様データやメタデータなど、システムに保存されているデータとしてアクセスできユーザデータを生成する。スキャンの出力は、肌の色マップを作成し、肌の色マップ上のユーザの位置をユーザに提供することにより、ユーザへの入力として使用することもできる。肌の色マップは、較正された顔のスキャンに基づいて作成されると、カスタマイズされた化粧品の作成と選択、または既存のカスタマイズされた化粧品または既存の非カスタム製品の変更に使用できる。

【0256】

ユーザが非カスタム製品に興味を持っている場合、ユーザはこれを示すことができ、アプリケーションは、結合ベクトルを使用して、または、グラウンド・トゥルース・データセット内の最も近い一致を近似することによる上記の他の技法を使用して、最も近い非カスタム化粧品（またはシステム内の以前のカスタマイズされた化粧品）を選択するようにユーザに促すことができ、あるいは、非カスタム製品をスキャンして、以下で説明するように製品を検索および／または製品属性データストアに組み込むことができる。いずれの場合も、選択された非カスタム製品は、製品属性データストアを含む可能性のあるグラウンド・トゥルース・データセットの１つ、または別の製品属性データストアのいずれかでシステムに入ると、下記の調整アプリケーションを使用して、さらに変更または調整することができる。

【0257】

注文が完了すると、注文が処理される。アプリケーションは、注文履歴、注文中の製品のプレビュー、および製品の詳細も含み得る。ログインまたはアプリケーションをＦａｃｅｂｏｏｋなどのサービスと関連付けることで一般的に提供されるように、製品の注文は、アプリケーションを介して関連するソーシャルメディアウェブサイトと通常の方法で共有され、友人または他のユーザがアプリケーション内においてユーザの友人として関連付けられて追加される。他のユーザ（既知または不明）がアプリケーションを介して「フォロー」され、ユーザプロファイルを変更したり、友人がアプリケーションに招待されたりする場合がある。

【0258】

アプリケーションにおいて、ユーザは、好ましくは、ユーザインターフェース上のプロファイルタブ（図８を参照）を介してユーザの現在の美容プロファイルにアクセスして、ユーザをユーザの美容プロファイルに連れて行くことができ得、美容プロファイルは、検索キーへのインターフェースであり、検索キーは、ユーザのスキャンデータに対応する肌の色マップ上の位置を含み得る。美容プロファイルにより、ユーザはユーザの個人データにアクセスし、更新された様々な種類のスキャン情報をユーザの検索キーに組み込んでエンコードするスキャンを再実行し、端末スキャン設定を含むことができる。また、ユーザはギフトを送信することもでき、紹介、友人の関連付けまたはリスト、ヘルプサポートの検索、顧客サービスへの連絡、フィードバックを提供する。フィードバックは、アプリケーションがＯＡＰＴＡメタデータに関連付け、ユーザの検索キーにエンコードされた情報を更新するユーザデータ収集も提供する。スキャンの実行、製品の注文およびユーザ情報プロファイルへのリンクも、現在のプロファイルインターフェースに配置できる。

【0259】

検索キーの更新を含む変更または調整アプリケーション

【0260】

ユーザインターフェースは、肌の色マップを含む検索キーの内容に基づいて、または肌の色マップからのみデータを取得する別のアプリケーションを介して構築される。第１の画面は、例えば、色、色調、アンダートーン、乾燥度、不透明度、カバレッジ率、ＳＰＦおよび／または製品の仕上げなどの編集に適した検索キーに関連付けられた主要な検索コンポーネントを提示してもよい。肌の色マップは情報をＣＩＥＬＡＢ色に変換し、美容プロファイルは肌の色マップおよびその他のユーザインターフェースの選択を使用して、検索キーからできるだけ多くの情報を表示することができる。肌の色マップは、少なくとも部分的には、皮膚の形態および皮膚の生化学から導き出すことができる。肌の色マップ上の各位置は、±約３パーセントの誤差の範囲内でＣＩＥＬＡＢ色に対応し得る。肌の色マップは、参照ユーザの肌の形態と生化学に基づいて作成できる。この場合、形態は、皮膚の層および物理的変化、ならびに皮膚の層内の茶色および赤色のヘモグロビン（ユーメラニンおよびフェオメラニン）の含有量を評価することによるそれらの皮膚層の生化学に関連している。次に、肌の色マップが、自然言語記述に関連付けられている可能性のある様々な色、色調、およびアンダートーンに対応する様々な領域に作成される。このような自然言語記述は、製品を指定および検索するための音声ユーザインターフェースとして、または製品の変更に使用するために、またはスライダ、カラーアイコン、およびその他の視覚的選択キューを使用してユーザインターフェースで通信可能な単語ベースの読み取り可能領域として使用できる。例えば、音声インターフェースは、変更する製品（カスタムまたは非カスタム）に関するフィードバックを提供するようにユーザに促し、自然言語の音声エージェントが日付を処理できるようにすることができる。ユーザは、例えば、ファンデーションの色が薄すぎることを自然言語エージェントに通知できる。自然言語エージェントは、インターフェースをナビゲートしてその情報を処理し、肌の色調を変更できるようにし、付随する音声プロンプトを提供して、ユーザを誘導して、データを収集して製品を調整および変更し、検索キーを伴うために、ユーザの皮膚（または上記の製品の見本を使用したユーザの皮膚）の領域を較正および／またはスキャンする。

【0261】

本明細書の一実施形態では、図５～図７に示されるように、ユーザが修正する色を選択する場合、例えば、図５に示すように、中心に元の色の画像を示すとともに、元の色の画像の周りに色の変化をパターン形式で示すようにインターフェースが構築される。カラーパターンのバリエーションは、ユーザ用に作成された初期カスタマイズ化粧品のＯＡＰＴＡデータセットのデータと、変更される近隣色との以前の相互作用の統計記録を使用して構築できる。例えば、必要とされる可能性が最も高い変更は、輝度をわずかに暗くまたは明るくするか、わずかにオレンジ色を増やすか、オレンジ色を少なくすることであると判断される場合がある。明るい／暗い色は垂直に、少ない／多いオレンジ色は水平に表示される。他の色の選択肢は、より多くの赤やより多くの黄色など、より可能性の低いオプションに基づいてこれらの選択肢を囲む場合がある。

【0262】

次に、ユーザは、図５の選択「ａ」など、自分のニーズまたは好みに最も近い変更を選択できる。さらなる例示的な実施形態では、インターフェースは、次に、図６のように中央に新しい色を示し、その隣に古い色を示してもよい。図６の新しい選択肢「ａ」（現在中央）を囲む色は、最後の選択と最も可能性の高い選択肢に基づいて、わずかに小さいまたは大きい色またはトーンステップを示している。「ａ」に満足した場合、ユーザは最終的にカスタマイズされた最終製品としてその選択肢を選択するか、および／または、図６の項目「ｂ」などの現在表示されている追加オプションを選択でき、その場合、項目「ｂ」の選択は図７のように中央に移動する。

【0263】

図８に示されるような別の実施形態では、本明細書で説明されるようなアプリケーションと共にあり得るユーザインターフェース画面のグラフィカル表現は、ユーザプロファイル５００を示す。プロファイルには写真がある（人物のイラストとして表示されるが、実際の実施形態では、デジタル写真が表示されることが望ましいであろう）。ユーザの画像５０２は任意選択であるが、ユーザの基本的な識別情報を表示し、アプリケーションに送信されたユーザの特性を表示するのに役立つ。アプリケーションは、ユーザまたはユーザのスキャン（または更新されたスキャン）からの写真またはビデオを使用し、顔認識ソフトウェアを使用して顔の特徴やユーザの顔のマッピングを検出するための関連ソフトウェアをアクティブ化することもできる。写真は、好ましくは、ユーザ調査および／または顔検出ソフトウェアから取得されて、ユーザの美容プロファイルを評価するために参照するための現在の表示をユーザに提供し、変更のためにコンポーネント機能を検索する。インターフェース画面はまた、好ましくは、ユーザデータ収集から得られたユーザの一般的特徴の要約５０４、およびユーザフィードバック、顔検出、顔マッピング、スキャン調査、ユーザ入力、および上記のように更新されたユーザスキャンからのＯＡＰＴＡメタデータ情報を含む。この例では、ユーザに、特定の肌タイプ（「淡い／中位ベージュ」）、目の色（「青色／緑色」）、特定の髪のタイプ（「茶色／ウェーブ」）（ユーザの写真画像データによってスキャンまたは入力される場合がある）およびユーザが入力したユーザ設定（「プレミアム成分」）およびユーザの関心（「目の下のくま」および「パラベンに敏感」）を有するユーザスキャンおよびユーザ入力に基づいて示される。

【0264】

上記の実施形態では、ユーザは、第１、第２、および第３の顔領域をスキャンし、これらの領域はそれぞれ、ユーザの顔のスキャンが完了するまで次の領域内に含まれ、スキャン中に追跡が使用され、スキャンから収集されたデータは、スキャン端末の設定とともにユーザデータ収集とＯＡＰＴＡメタデータに入力される。このような情報は、以下に説明するように、肌の色マップ上でユーザの場所を見つけるために使用でき、また、顔の形、髪の色、目の色、肌の色と色のバリエーション、肌の仕上げ、肌の表面の質、毛穴サイズなども提供する。

【0265】

上記および図８に示すような美容プロファイル５００は、ユーザの検索キーを編集して、ユーザのカスタマイズされた化粧品および関連するＯＡＰＴＡ仕様を変更するための代替基盤を提供する。ユーザの画像５０２（上記のように、対話的であるように更新されたスキャン、顔検出および／または顔認識ソフトウェアを介して更新され得る）および一般的なプロファイル要約５０４情報の使用は、少なくとも１つまたは複数の検索コンポーネントを介して検索キーの変更に使用するために含まれる。示されるように、プロファイルは、例えば、暗い色から明るい色へのスライド５０６（例えば、メラニンおよび肌の色調の量を測定するため）、冷たい色から暖かい色へのスライド５０８（例として、緑／赤から青／黄色の色調まで、選択肢は可変である可能性がある）に関連するプロファイル特性を示す１つまたは複数のスライドスケールを含む）、および太陽の感度を評価する際に使用できる肌のざらざら感または自然な色調に関連する可能性のあるアンダートーンスライド５１０、に関連するプロファイル特性を示す１つまたは複数のスライディングスケールを含む。他のスライドまたは調整可能なコンポーネントは、乾燥コンポーネントまたはカバレッジコンポーネントを含み得る。すなわち、ユーザは、肌が乾燥しているとき（冬など）に、配合物の成分の保湿能力を変更したい場合がある。また、ユーザは、より滑らかな外観のために追加のカバレッジを望む場合は、より厚くおよび／または不透明度の低い配合を希望する場合がある。スライダ、バリエーションの選択、セレクターボタンなどは、すべてこのような変更要求に使用できる。

【0266】

また、ユーザからの要求された変更について、書面または口頭でのフィードバック用のフィードバックページを単に含めることもできる。フィードバックデータは、ユーザデータ収集から派生したＯＡＰＴＡメタデータに組み込むことができ、このデータは、ユーザの検索キーにエンコードされたコマンドを確立し、更新済みのＯＡＰＴＡ仕様に関連付けて変更された検索キーに基づいて混合および最終製品を準備するために、最初のユーザカスタマイズされた化粧品配合物に関して上記のように利用される。

【0267】

初期ユーザプロファイルには、初期プロファイルが完了したときのユーザの概要を含めることができる。初期プロファイルは、ＯＡＰＴＡ仕様の作成に使用されるＯＡＰＴＡメタデータ内のユーザのデータ収集に関連する検索キーの検索コンポーネントに関連付けられたユーザデータを表す。プロファイルは、既存の市販製品（例えば、カスタマイズされていない製品）またはカスタマイズされた化粧品配合物に最も近いグラウンド・トゥルース・データセットにユーザを一致させるために、アプリケーションを使用するユーザ向けに開発されたＯＡＰＴＡに関連する場合がある。一致するものが何であれ、ユーザに自動的に選択され、ユーザに一致して、混合に使用されるＯＡＰＴＡ仕様を作成し、ユーザに合わせてカスタマイズされた初期化粧品配合物を生成する。

【0268】

一実施形態では、ユーザは、ユーザインターフェース上に表示された製品と顔の特徴検出ソフトウェアの表示を組み合わせて、ユーザにインターフェースを提供して、検索キーの検索コンポーネントの編集に従事することができ（例えば、ユーザの画像に表示される製品の参照プロファイルに関連付けられた検索コンポーネントをアプリケーションが表示できるように検出された画像（頬領域など）の領域に接触することによって、ユーザは、表示された製品の検索コンポーネントを参照して、ユーザ自身の検索コンポーネントを変更でき、ユーザ検索キーを変更し、これにより変更または新しいカスタマイズされた化粧品を作成する。

【0269】

ユーザがカスタマイズされた製品を評価すると、ユーザは、上記のように、代替手段を試してみたいと判断する場合がある。例えば、ユーザは、例えば、肌の色調の変化、肌のアンダートーン、美的理由、または異なる外観を含む、様々な理由のために、異なる着色プロファイルを取得したいと思うかもしれない。次に、ユーザは、インターフェースを介して検索コンポーネントを変更し、図８（図５～図７のバリエーションの色選択円）のようなスライドを使用して、ユーザの検索キーを変更し、顔認識および／または特徴検出ソフトウェアとメイクアップ試着アプリケーションが画面に統合されている場合、またはスライダを使用して新しい一致を初期化する場合、プロファイル画面のユーザの画像において色調またはアンダートーンの変化がどのように見えるかを確認することができる。これを行うために、アプリケーションは、選択５１２を使用して「スキャンを更新する」ようにユーザに要求する場合がある。ユーザは、他のアプリケーション固有のデータ（ユーザが注文または変更したい以前または現在のお気に入りの非カスタムまたはカスタム製品など）を使用することもできる。

【0270】

ソーシャルネットワーク経由でログインするユーザは、アプリケーションに統合されている可能性のある友人、またはユーザが「フォロー」しているアプリケーション内の友人または他のユーザの外観に従って、同様の色と外観が選択されている他のユーザの製品を確認できる。ユーザがこれらの様々なフィードバック選択を使用して外観または製品注文を変更したい場合、ユーザはスキャンを更新し、スライダ（または図５～図７に関して上記で説明した色選択画面）を使用して、変更されたプロファイル、または、新しい個別のプロファイルを選択する。各プロファイルは、ユーザの検索キーとユーザＩＤ情報に保存され、以降の注文に使用できる。

【0271】

製品は、変更された検索キーを使用して再注文および製造できる。ユーザインタラクションの主なポイントは次のとおりである。ユーザには、検索キーの関連する各要素を変更するためのインターフェースが表示される。各検索キーコンポーネントの選択のバリエーションは、変更される近傍によって決定される（色のバリエーション選択画面、スライダ、または他の同様のメカニズムとして表現されるかどうか）。その検索キーコンポーネントの近傍の分散量を使用して、提示される変動量を決定する。要求された変動の統計記録は、ユーザに提示される変動の方向を示すために使用される。ユーザがあまりありそうにないケースを編集できるように、追加の選択が提供される。元の変更されていない値が、現在選択されている値の隣に表示される。ユーザは任意選択で、将来の注文に備えて関連する検索キーを更新できる。

【0272】

別の実施形態では、ユーザは、カスタム製造を使用して生産されなかったが、上記のカスタム製品と同じシステムおよび方法によって特徴付けられた既存の製品を変更したい場合がある。したがって、最初の一致は最初のユーザＯＡＰＴＡの非カスタム製品に対して行われた可能性があるが、ユーザはその配合を変更したい場合がある。この特徴付けは、製品をカスタマイズ可能にすることを含むことが好ましいが、そうする必要はない。最小限のケースは、製品の各シェードまたはＳＫＵが既知のユーザおよび既知の検索キーと一致することである。このような製品のデータベースは、例えば各製品のＳＫＵによって構築され、検索可能であり、製品に関連付けられた検索キーを返す。または、非カスタムおよびカスタムの製品属性データストアも構築され、変更に使用される場合がある。

【0273】

上記のように、非カスタム製品を使用して検索キーを作成することができ、その検索キーはグラウンド・トゥルース・データセットに存在する場合がある。したがって、ユーザは（カスタマイズされた製品の既存のプロファイルがある場合でも）ＳＫＵ（検索キーとして）を持つ既存の非カスタム製品を使用して新しいプロファイルを作成する決定をし、それを変更することもできる。この実施形態の相互作用には、以下が含まれる。ユーザは、携帯端末、ウェブサイトまたは他の端末を使用して製品を変更することができる。ユーザがログオンし、ユーザがカスタマイズする非カスタム製品を選択し、選択は、バーコードのスキャン、名前の検索、製品の識別、および／または製品の写真から選択でき、非カスタム製品に関連付けられた検索キーは、グラウンド・トゥルース・データセットにあり、また、検索キーは、前の実施形態で説明したように、新しいカスタム製品を変更および生産するために使用される。

【0274】

ユーザプロファイルを変更するための他のオプションも提供され得る。これには、参照データと専門家群を使用して推奨されるいくつかのオプションを使用してユーザが初期プロファイルを取得できるようにすることや、１つまたは複数の非カスタム市販製品、および１つまたは複数のカスタマイズされた配合を含むプロファイルにアクセスすることによって、肌の色マップ上のユーザの肌の色の位置を取得することができる。それぞれが初期ユーザデータおよびスキャンデータからアプリケーションに入力されたユーザデータによって選択され、ユーザは１つまたは複数の製品を、選択した製品の注文または要求の変更または調整のために選択できる。前述のように、既存の非カスタム製品は、ユーザの検索キーに関連付けられ、ユーザインターフェースを介してユーザに提示される場合がある。上記のように、グラウンド・トゥルース・データベース内の検索キーに関連付けられた非カスタム製品の近隣もユーザに関連付けられ、それらの貢献スカラは表示に使用される。

【0275】

ユーザの検索キーを編集する一実施形態では、これらの製品は選択肢のセットとして表示される。選択肢は、「最も近い一致」値（９９％ランク、８０％ランクなど）によってランク付けされ、グラフィカルに表示されるか、「試着」ソフトウェアを使用してユーザがユーザの画像にランク付けされた推奨事項を表示できるようにする。あるいは、ユーザは、グラフィカルディスプレイまたはシェードキーおよび同様のグラフィカルディスプレイを有する製品の画像にカラーシェードを表示して、肌の色マップ上の新しい場所を選択することなどによって、ユーザが所望の製品を選択できるようにすることができる。他の選択肢は、ユーザの初期選択がアプリケーションとの今後の対話に適さないとユーザが判断した場合、代替選択肢として試行されるか、新しいクエリが送信されるように、代替選択肢としてユーザ検索キーに保存される。

【0276】

各ユーザインタラクションには、更新されたユーザスキャンとユーザプロファイルのレビューが含まれていることが好ましいため、アプリケーションはユーザの肌の色調、肌のアンダートーン、傷、新しい肌色の変化領域、髪の色の変化、好みの変化などを検出できる。ユーザからのスキャンによって測定されたスキャンと鏡面反射率は、皮膚の皮脂含有量とも相関するため、皮膚のアーティファクト（にきび、しわ、皮膚の炎症）を経時的に監視し、色マップおよび時間の経過に伴うユーザの顔マップ内にマッピングでき、ユーザのプロファイルへのスキャンごとに更新される。時間外に収集されたそのようなデータはまた、色マップに基づいて既存の配合を修正して、メイクアップの被覆率（厚さ）または光沢を覆うための油性／乾燥を修正するため、および／または皮膚のしわを治療するために調整するために使用することができる。更新されたスキャンにより、アプリケーションはユーザ端末と対話して、ユーザ端末における変更（新しい端末、更新されたオペレーティングシステム、更新されたバージョンのオペレーティングシステムなど）、ソフトウェアやモデル番号などの変更を確認および更新し、これらのすべてがユーザデータに保存される。また、アプリケーションは、ユーザがアプリケーションに再関与するたびに、前述のように端末データを確認し、ホワイトバランスと色データを確認するために、ユーザを較正に誘導することが好ましい。アプリケーションは、好ましくは、既知のユーザの皮膚領域、白い紙、端末によって鏡に表示されるマーカなど、上記のような較正面を使用して較正する。

【0277】

明るい部屋の環境では、より大きな環境光照明を説明するために、カメラと環境照明の関係を見つけることは複雑になる可能性がある。使用できる１つのソリューションは、計算された表面色を調整するために複数の光源を使用して複数の画像を取り込むことを含む。画像は、光学表示部の色が既知の較正された色、または較正された白である上記の画像センサを有する端末を使用して「自分撮り」を行うことによって、ユーザによって最初に記録される。一実施形態では、画面の色および明るさは、電話の所与のモデルについて測定され、定数として使用される。

【0278】

他の実施形態では、携帯電話などの画像端末の所与のモデルの画面の色および明るさがあまりに変化しやすくて、一定であると見なすことができない場合、白い画面は、ユーザに鏡に映った自分の写真を撮らせることによって較正することができる。次に、その画像を使用して、電話の白い画面を調整できる。つまり、画像内の白色光を測定して、既知にすることができる。このステップの実施形態のための技術は、本明細書に記載されているのみならず、特許文献１、特許文献２および特許文献３ならびに特許文献４を含む、出願人の以前の出願において本明細書に記載されている。例えば、１つの例示的な実施形態では、ユーザは、一連のユーザインターフェース画面によって、ハンドヘルド端末の表示部を共通の鏡に表示するように指示される。カメラ／電話の露出設定は既知の値に設定されている。ユーザは、ユーザインターフェース要素を押して、ハンドヘルド端末のフロントカメラで画面の画像を記録するように求められる。ハンドヘルド端末のソフトウェアは、記録された画像、既知の露出設定、ハンドヘルド端末の種類、および画像内の明るい表示部のサイズと記録された明るさを使用して、表示部の照明とカメラの露出感度を較正する。次に、この較正情報を使用して、検出された表示部照明の明るさとカメラの露出特性に関連する色を使用して、色変換の白色点を調整することにより、肌色の計算を改善できる。

【0279】

初期選択または選択の調整において、ユーザスキャンデータを色の肌の色マップに入力することができる。上記のように、既存の色マップには、利用可能な色の範囲に関する制限、地理的領域へのそのようなマップの適応の欠如、ほとんどのユーザ端末が２次元表示するときに３次元空間を使用する必要性、肌のアンダートーンの不適切な表現、および肌の形態や生化学へのマッピングの失敗に関して多くの欠点がある。

【0280】

本明細書の出願人は、これらの欠点の多くを考慮に入れ、より有用なマッピングシステムを提供する、より有用な肌の色マッピングを開発した。ここでの肌の色マップは、ユーザの様々な地理的領域から取得したユーザデータベースのデータに基づいており、その位置データはシステムのＯＡＰＴＡメタデータとユーザのプロファイルに保存される。肌の色マップは、ユーザが理解し、対話しやすい連続的な２次元マッピングを提供し、ユーザの全体的な肌の色調を伝えるためのさらに別の使いやすい基礎と、製品の変更の基礎を提供する。肌の色のマッピングは、ＣＩＥＬＡＢ Ｌ＊ａ＊ｂデータの直接変換から生じ、化粧品のアンダートーン、肌の形態、および生化学のための領域の表現と特定のマッピングを可能にする。ＣＩＥＬＡＢデータを使用すると、色マッピングのエラーが最小限に抑えられるため、結果として得られる肌の色マップは、ユーザの肌の色の幅広い全域をカバーできる。

【0281】

最初に、肌の色マップを構築するために、データは、データが参照データとして組み込むことができる１つまたは複数の、好ましくはいくつかの多様な地理的領域のユーザから募集および取得される。データセットの募集におけるユーザの数は、統計的サンプリングで望まれる精度のレベルに応じて変動する可能性がある。一般に、少なくとも２００～５００人のユーザをサンプリングできるが、必要に応じて多かれ少なかれサンプリングできる。次に、サンプル群または「肌の色の群」は、ＮＩＳＴ認定の分光光度計など、光と色のデータを測定できる、共通的で較正された均一な端末を使用して評価される。ただし、この機能を実行できる共通的な端末を使用できる。顔色群に基づいてサンプルに既知の精度レベルを与えるには、高精度の一般的な端末が好ましい。すべてのサンプリングに同じ計測器が使用される。これらのスキャンでは、ユーザの皮膚の１つまたは複数の場所、例えば、手首の内側、額、右頬、右顎のライン、左頬または左顎のライン、およびその他の可能性のある領域からデータを収集でき、後で、本明細書のアプリケーションを利用するユーザへのマッピングについて示される。端末スキャンから収集された結果は、中央値サンプリングを使用して集計され、図１０のグラフ１０Ａおよび１０Ｂに表示され得る。図１０Ａでは、収集されたデータのグラフはＬ＊／ａ＊平面にある。これは、輝度Ｌ＊データに対するａ＊チャネルとしてグラフィカルに表される。ここで、ＣＩＥＬＡＢカラーモデルを使用すると、ａ＊チャネルは負の緑から正の赤までの色の変化を表し、Ｌ＊は０（黒）から１００（白）まで測定された輝度または明度を表す。同様に、Ｌ＊／ｂ＊平面からのデータが図１０Ｂに示され、グラフで表され、ここで、ｂ＊チャネルは、Ｌ＊データに対して示され、ｂ＊チャネルは、負の青色値から正の黄色値まで測定する色変化を表す。次に、このデータは、ＣＩＥＬＡＢデータのＰＣＡを使用して特徴付けられる。これにより、ＣＩＥＬＡＢ色空間内で直接マッピングされた幾何学的な表面が得られる。

【0282】

このようなＰＣＡを実行するために、サンプルはＬ＊値の範囲でビニングされる。ビンのサイズは、母集団とマッピングされた結果の必要な精度によって決まる。ビンの範囲は、収集されたサンプルのＬ＊範囲によってさらに決定される。例えば、上記のデータセットを使用すると、５．０ラボのＬ＊単位範囲を使用できる。データの各ビンは、ｂ＊／ａ＊平面の２次元投影として表される。これが行われると、ＰＣＡが実行され、ａ＊チャネルの関数のｂ＊チャネルへの最適な適合が検出され、図１１に示すように図１０のデータセットの順次線形適合が作成される。図１１では、５．０の範囲の輝度値が３５～７０まで使用され、全体のデータセット範囲が約３５～７３まで実行されるため、さらに７０～７３のデータセットが使用される。計算を使用して、検出された線形フィットまでのｂ＊コンポーネントの距離を計算することにより各セグメントの誤差を決定できる。サンプリングされたデータに最良適合する３次元表面を見つける他の方法も使用でき、この方法は分析の１つの潜在的な経路として提供される。他の適切な方法は、例えば、Ｎ．Ｇｏｒｂａｎｅｔらの、「Ｐｒｉｎｃｉｐａｌ Ｍａｎｉｆｏｌｄｓ ｆｏｒ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｄｉｍｅｎｓｉｏｎ Ｒｅｄｕｃｔｉｏｎ」（２００８）に見出すことができる。

【0283】

図１２は、図１０および１１にマッピングされたデータの投影を、ＰＣＡ技法によって生成された２次元の接続されたポリトープとして、それぞれ図１２ａ、１２ｂ、１２ｃのＬ＊／ａ＊平面、Ｌ＊／ｂ＊平面で、およびｂ＊／ａ＊平面での透視投影として示している。Ｌ＊／ｂ＊平面での接続されたポリトープの投影を図１３ａに示し、各頂点でのＣＩＥＬＡＢ座標を以下の表１に示す。図１３ｂは、各断面の中央値が中央にくるように調整された同じ投影を示している。

【0284】

【表1】

【0285】

図１４Ａは、長方形のマップ内に配置され、ラベルが付けられた、図１３ａに示されている投影のさらなる投影を示している。図１４Ａを参照すると、Ｌ＊／ｂ＊投影は、各断面の中央値が中心になるように最初に調整される。この反転は任意選択であるが、デザインの選択の問題として、互換性のあるスケールで色を配置するために行われた。投影法は図１４Ｂの長方形のマップに組み込まれ、Ｌ＊軸とｂ＊軸の数値でラベル付けされている。また、テキストでのマッピングの説明やユーザインタラクションに役立つ英数字のラベルも組み込まれている。

【0286】

図１５では、図１４Ａと同じＬ＊／ｂ＊投影が１５ａに示され、図１５Ｂの長方形のマップに配置され、アンダートーンと皮膚の形態の領域が特定されている。形態学および生化学は、皮膚の色素および表皮の情報を分析する様々な情報源から適合させることができる。例えば、Ｄｅｌ Ｂｉｎｏらの、「ヒト表皮の構成的色素沈着の化学分析は、一定のユーメラニン対フェオメラニン比を明らかにする」、ＤＯＩ：１０．１１１１／ｐｃｍｒ．１２４１０、ｖｏｌ．２８、ｉｓｓｕｅ ６、ｐｐ．７０７－７１７（２０１５）は、分析された皮膚の形態と生化学を評価するための背景情報を提供する。この特定の研究では、画像解析、可溶化後の分光光度法、およびＨＰＬＣを使用して、個々の類型角（ＩＴＡ）を介して様々な色素沈着の皮膚サンプルのメラニン含有量を評価する。ＩＴＡと総メラニン（ユーメラニンとフォメラニンの両方）は相関していることがわかり、色素沈着の程度に関係なく、ヒトの表皮には７４％のユーメラニンと２６％のフェオメラニンが含まれており、また、この研究では、明るい肌の中で保護ユーメラニンの含有量が少ないことが確認され、ＵＶ感度が高いことが説明されている。このような情報は、紫外線吸収やその他の皮膚色素の着色要因を分析するために使用できる。図１５Ｂに示すように、識別された領域はこの情報を使用して皮膚に関するフィードバックを提供する。

【0287】

図１５Ｂでは、次のマップ領域が配置されている。

【0288】

領域Ｃ１：メラニン含有量が最小の最上層と、脱酸素化ヘモグロビンの中間層を備えた、青く非常に美しい半透明の肌のアンダートーンを提供する。

【0289】

領域Ｃ２は薄紫のアンダートーンを提供し、メラニン含有量の少ない最上層と酸素化ヘモグロビンの薄い網目模様の中間層を持つ非常にきれいな半透明の肌を備えている。

【0290】

領域Ｃ３は、メラニン含有量の少ない最上層と酸素化ヘモグロビンの中間層を備えた色白の肌で、冷たい赤のアンダートーンを提供する。

【0291】

領域Ｃ４は、涼しい赤褐色のアンダートーンと、黄色－フェオメラニンと茶色／黒色－ユーメラニンとの割合が低い上層と、酸素化ヘモグロビンの中間層とを有する中程度の色調の皮膚を示す。

【0292】

領域Ｃ５は、黄色－フェオメラニンと黒－ユーメラニンの割合が低い上層と、最小酸素化ヘモグロビンの中間層および黒－ユーメラニンの下層を有する中程度の暗色から暗色の皮膚において、アンバーのアンダートーンを提供する。

【0293】

領域Ｎ１は、ニュートラルなアンダートーン、約７４％のユーメラニンと２４％の黄色のフェオメラニンと２％の赤色のフェオメラニンを含む比較的不透明な最上層、酸素化ヘモグロビンの網目模様を含む中間層、および微量のユーメラニン、黄色のフェオメラニン、および非常に低い含有量の赤色のフェオメラニンを含むより低い層の肌の色調を提供する。

【0294】

領域Ｗ１はピンクのアンダートーンを提供し、非常に色白の肌に赤いフェオメラニン含有量の最上層の割合があり、中間層に酸素化ヘモグロビンの薄い網目模様がある（このような人は赤い髪やそばかすもある可能性がある）。

【0295】

領域Ｗ２は、ピーチのアンダートーンと色白の肌を提供し、最上層には赤フェオメラニンと黄色フェオメラニンの割合が高くなっている。

【0296】

領域Ｗ３は、ニュートラルな肌の色調よりも黄色のフェオメラニンの割合が高い最上層を備えた、黄色のアンダートーンと明るい肌を提供する。

【0297】

領域Ｗ４は、オリーブのアンダートーンとライトミディアムの肌の色調を提供し、最上層は比較的不透明で、ニュートラルな肌の色調よりも黄色のフェオメラニンと茶色のユーメラニンの割合がやや高くなっている。

【0298】

領域Ｗ５は、金色のアンダートーンと中程度の肌の色調を示し、最上層は比較的不透明で、ニュートラルな肌の色調よりも黄色のフェオメラニンと茶色のユーメラニンの割合がやや大きくなっている。

【0299】

領域Ｗ６は、暖かい茶色のアンダートーンと暗い肌の色調を示し、最上層は比較的不透明で、ニュートラルな肌の色調よりも黄色のフェオメラニンと茶色のユーメラニンの割合がやや高くなっている。

【0300】

単語および領域を使用して本明細書に記載されるような肌の色マップは、マップのＬ＊（輝度）勾配に関連する様々な説明的な単語を使用することができる。単語は、肌の色マップの特定の領域におけるＬ＊の値を説明することができ、そのような単語は、輝度のステップ変化、すなわち、肌の色マップのＬ＊軸上のステップ、例えば、非常に明るい、明るい、中程度に明るい、中程度、中程度に暗い、暗い、非常に暗い、を記述する。これは、図１４Ｂの例に示されている。肌の色マップはまた、ａ＊／ｂ＊表面の投影に関連する説明的な単語を組み込むことができ、これは、ａ＊／ｂ＊軸で規則的な区間で増加させることができ、例えば、非常に冷たい、冷たい、中程度に冷たい、中程度、中程度に暖かい、暖かい、非常に暖かい、を含む。次に、肌の色群内の自然言語テキストおよび口頭での説明の肌の色のコーパスを収集し、簡単に検索して、ユーザのデータを顔色群のデータと一致または追跡するために様々な方法で使用できる。このような肌の色群データは、肌の色マップ上の場所を自然言語テキストまたは肌の色群メンバーの口頭での説明に関連付けるための機械学習システムの訓練データとして使用できる。システムは、そのような訓練データを使用して、自然言語入力を肌の色マップ出力にマッピングすることができる。システムは、肌の色マップ入力を合成言語出力にマッピングするように訓練することもできる。

【0301】

肌の色マップは、ユーザがアプリケーションとするときに使用できる。ユーザの顔スキャンデータをアプリケーションに組み込み、肌の色群データに基づいて肌の色マップに対して分析して、ユーザのスキャンデータに関連する肌の色マップ上の位置を決定することができる。Ｌ＊軸とａ＊／ｂ＊軸に関連付けられた単語を組み合わせて、ユーザのスキャンデータに対応する特定の場所の説明を形成し、肌の色マップ上のユーザの肌の場所の説明をその領域の肌のアンダートーン、肌の形態などの観点から提供することができる。ユーザのスキャン位置は、肌の色マップの入力位置として使用して、上記の方法を使用してスキャンの合成自然言語記述を生成できる。次に、肌の色マップに、ユーザのＬ＊軸およびａ＊／ｂ＊軸データを説明する座標と単語を注釈として付けることができる。ユーザにとって最も意味のある肌の色マップの一部は、ユーザに表示されたり、言葉や声で説明されたりする場合がある。肌の色マップ上のユーザのスキャンの見本またはその他のレンダリングも表示される場合がある。肌の色マップは、量子化または他のサンプリング手段によって個別の領域に分割することもできる。

【0302】

ユーザは、肌の色マップ上のユーザの位置に関して、上記のようにアプリケーションから出力を受け取る。次に、その場所をユーザが使用して、マップ上の場所をポイントまたはタッチしたり、場所をクリックしたり、マップを上下にスワイプして新しい位置を中央に移動したりするなど、ジェスチャーによる相互作用を通じて、肌の色マップ上の新しい場所を選択することもできる。さらに、肌の色マップの場所は単語／テキストまたは音声に関連付けられているため、説明的な単語応答を使用して洗練または検証できる自然言語入力によって選択を行うことができる。

【0303】

上記のように、ユーザは、カスタム配合または既存の非カスタム製品を変更することを望むことができ、アプリケーションは、図５および図６に示すように、ユーザが一致した色の表現を見て、最も近い一致から選択することができる上記の機能などの変更または調整機能を含むことができる。別の実施形態では、変更は、上記の肌の色マップを使用して動作することができる調整アプリケーションを使用して（ユーザのスキャンが位置を提供し、ユーザが位置を変更する）、または製品属性データストアのデータを使用することによって実行することができる。

【0304】

非カスタム製品をグラウンド・トゥルース・データセットに提供する際に、そのような製品は、グラウンド・トゥルース・データセット内の製品を一致するときにシステムがアクセスできる所定の配合特性（色、被覆率など）を有する配合物として使用することができ、検索キーを持つ新しいカスタマイズされた化粧品を推奨および作成し、これはユーザにより使用され、アクセスできる。ユーザが現在のシステムのステップを使用して、既存のカスタマイズされた化粧品の配合を変更または調整するときに、ユーザが使用およびアクセスできる。第２の製品を作成するための最初の検索キーおよび／または変更されたカスタマイズされた化粧品配合物および変更された検索キー。非カスタム製品は、ＯＡＰＴＡ仕様およびＯＡＰＴＡメタデータにリストされたユーザ設定として含めることもできる。これらの状況と非カスタム製品の使用法のそれぞれは、上記のとおりである。非カスタム製品は、参照ユーザがそのような製品を適用し、検索キーと一致するように検索するためにそれらのスキャンデータをグラウンド・トゥルース・データセットに組み込むことにより、参照ユーザデータとして使用できることも本明細書で説明する。

【0305】

本明細書の一実施形態では、非カスタム製品データは、製品属性データストアを構築することによって改善された方法で使用することができる。製品属性データストアは、本明細書に記載されるように、別個に保持されたデータであり、および／または１つまたは複数のグラウンド・トゥルース・データセットに組み込まれ得る。製品属性データストアは、識別され、それらの属性がデジタルで収集および保存される化粧品ファンデーション、メイクアップ、スキンケアなどを含む、所与のカラー化粧品のセットを組み込むことができる。個別のカラー化粧品は、非カスタム小売商品である商品属性データストアの商品として使用できる。収集される属性は、好みによって異なる場合があるが、色データ、カバレッジデータ、表面品質が含まれることが望ましい。製品属性データベース内の製品はまた、最終的に、色、被覆率、および表面品質などの既知の属性を備えた、本開示の下で調製されたカスタマイズされた化粧品を含み得る。

【0306】

製品属性データストア内の製品を調整または変更するために、ユーザは、本明細書に記載されている変更ステップのいずれかを使用することができる。一実施形態では、ユーザは、例えば、製品属性データベースにある商品を購入し、本明細書のソフトウェアアプリケーションを介することを含めて、任意のソースからそれを注文し、次いで製品を試すことができる。同様に、ユーザはアプリケーションを使用してカスタマイズされた化粧品を注文し、製品を試すことができる。いずれの場合も、ユーザは、一致が正しくない、一致が希望どおりでない、または製品の属性が正しくない（例えば、油っぽすぎる、またはカバレッジが不十分である）ために、製品を調整または変更することを希望する場合がある。調整アプリケーションは、製品属性データストアと連携して、購入した製品の変更を支援する。

【0307】

調整アプリケーションは、ユーザアプリケーション全体の一部にすることも、携帯ウェブブラウザ、スタンドアロン携帯アプリケーション、または音声指向アプリケーションから個別にアクセスすることもできる。

【0308】

調整対象の製品が市販の非カスタム製品である場合、元のアプリケーションを使用したマッチングで最初に選択されていなくても、ユーザは製品の写真をスキャンまたは撮影して製品写真を作成するように指示される場合がある。ユーザは、調整アプリケーションによって、製品を見本として（上記のように）ユーザの顔領域に適用するように指示される。ユーザは、好ましくは、輪郭が画定された厚さ約１ｍｍのやや厚い領域に化粧品を塗布するように指示される。したがって、適用される化粧品はユーザの見本である。ユーザの顔に適用された化粧品が今や見本になっている。ユーザは、見本を着用しながらユーザの顔の写真を撮るように指示される。この写真は、ここでは「見本セルフィー」と呼ばれる。次に、アプリケーションは、調整サービスであるウェブベースのアプリケーションのウェブインターフェースに製品写真と見本の自撮り写真を送信するようにユーザに送信または指示する。次に、サービスは様々なステップを実行する。

【0309】

マシンビジョンおよび機械学習システムを使用して、送信された写真から特定の製品を識別し、製品の色、カバレッジ、および表面品質の情報を（製品属性データストアまたは別のソースから）検出する。コンピュータビジョン技術を使用して、ユーザの顔の写真上で製品見本を見つけることができ、ユーザの顔上の見本の領域と場所が製品領域として識別される。

【0310】

コンピュータ視覚技術を使用して、製品見本の横にあるユーザの肌領域が特定される（「見本の場所の肌領域」）。次に、アプリケーションは、見本の場所の肌領域内で製品の相対的な製品の色を計算する。アプリケーションはさらに、見本の位置の肌領域内の相対的な肌の色を計算する。アプリケーションはさらに、製品の色、カバレッジ、表面品質など、製品属性データストアから製品属性を検索する。アプリケーションは、製品属性データストアからのデータを使用して、製品と見本位置の肌領域の肌の相対的な色を絶対色に変換する。

【0311】

絶対皮膚色と見本位置皮膚領域から決定される絶対製品色との間の差が決定され、絶対製品色は、本明細書の関連部分に組み込まれている出願人の上記および特許文献３に記載されているように、検索キーにおける化粧品の混合を調整するために使用される。絶対的な肌の色は、肌の色マップまたは他の技術を使用してＣＩＥＬＡＢ色としてさらに表すことができ、上記のように顔のスキャンを表すことができる。次に、顔スキャンもまた、好ましくは、上記のような様々なユーザインタラクションステップを使用して、顔のさらなるユーザ知識を提供するために使用される。

【0312】

図９に示される一般化された全体システム６００では、ユーザＵは、アプリケーション６０２と対話し、アプリケーションは、スキャンを使用し、および／またはアプリケーションを通じてカスタマイズされた化粧品配合物を注文することにより、上記のシステムおよび方法のいずれかであり得る。上述の画像センサおよび好ましくは光源を有する端末上で実行されるアプリケーション６０２は、スキャンデータ（上述の光学データ、ユーザ情報などを含む）を注文管理システム６０４に通信する。注文管理システムおよびその様々なコンポーネントは、特定の場所またはクラウドベースまたはその他のリモートサーバに存在する可能性がある上記のサーバに接続される。注文管理システムは、上記のように実行される様々な機能とステップのデータを保存する。システムは、カスタマイズされた化粧品配合物を生成する混合サービス６０６と、管理システムからユーザ情報を組み込んだ出荷ラベルを受け取る出荷アプリケーション６０８と、ユーザＩＤの注文管理システムや製品およびラベルに関するその他の情報に従ってデータを印刷する印刷サービス６１０と、印刷サービスを実行して管理システム６０４と対話する印刷アプリケーション６１２と、注文管理システムからの指示を受けて混合サービスおよび注文管理システムからの指示に基づいてカスタマイズされた化粧品配合物を調剤およびブレンドする調剤アプリケーション６１４と対話する。そのようなシステムの好ましい例は、出願人の係属中の米国特許出願公開第２０１８／０１８９８５３Ａ１号明細書に詳細に記載されている。

【0313】

このシステム６００は、アプリケーション６０２を使用してユーザＵから再スキャンを送信し、ユーザ管理システム６０４に格納されたユーザ検索キーを変更し、変更された検索キー選択に基づいてシステムを実行することにより、カスタマイズ製品の変更を実行するように適合させることもできる。端末の再スキャンは、更新されたユーザ情報と製造指示とともに、較正された情報を送信する。混合は、要求ごとにモデルＬ＊ａ＊ｂ＊データまたは色データの他のプリセット較正に対して較正される。各プレ混合は、それに応じてテストおよび較正される。データベースに含まれる非カスタム市販製品も、較正されたＬ＊ａ＊ｂ＊データ、不透明度、および光沢に基づいて保存される。したがって、システムは動的でユーザのニーズに対応しながら、ユーザのスキャン、ユーザ入力、設定、および検索キーを使用してユーザを既存の非カスタム製品と参照ユーザデータの両方からの情報を含むグラウンド・トゥルース・データセットに一致させることで提供される選択肢へのアクセスに基づいた一致能力を通じて、美容ガイダンスを提供し、多数のカスタマイズされた化粧品配合物を組み込んだ既存のユーザデータは、ユーザの要求、スタイルの変更、美学、またはユーザのプロファイルデータに基づくカスタマイズされた化粧品配合物の最も近い一致と作成、およびそのカスタマイズされた変更の能力を可能にする。ユーザのプロファイルデータ（美容プロファイルと呼ばれることもある）は、すべてのユーザがプロファイルに関するアプリケーションを介して質問を送信し、最も正確なプロファイルを駆動、および／またはユーザ設定（コスト、ブランド、コンポーネント、色など）を考慮できるように、することができる。データは、ウェブサイト分析を使用して達成される既知の技術を通じてユーザの対話から収集され、アプリケーションを通じて推奨を提供したり、フィードバックやさらなる推奨を組み込むために専門的サービスに通知したりできる。

【0314】

その広い発明概念から逸脱することなく、上述の実施形態に変更を加えることができることを当業者は理解するであろう。したがって、本発明は開示された特定の実施形態に限定されず、添付の特許請求の範囲によって定義されるような本発明の精神および範囲内の変更を網羅することを意図していることが理解される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12a】

【図12b】

【図12c】

【図13a】

【図13b】

【図14A】

【図14B】

【図15A】

【図15B】