特許 7308753 カスタム局所薬剤を調整するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-06

(45)【発行日】2023-07-14

(54)【発明の名称】カスタム局所薬剤を調整するためのシステムおよび方法

(51)【国際特許分類】

   A61K 8/00 20060101AFI20230707BHJP

   A45D 44/00 20060101ALI20230707BHJP

   A61Q 1/00 20060101ALI20230707BHJP

   A61Q 19/00 20060101ALI20230707BHJP

   G06Q 50/10 20120101ALI20230707BHJP

【ＦＩ】

A61K8/00

A45D44/00 A

A61Q1/00

A61Q19/00

G06Q50/10

【請求項の数】 14

(21)【出願番号】P 2019548566

(86)(22)【出願日】2018-03-07

(65)【公表番号】

(43)【公表日】2020-04-16

(86)【国際出願番号】 US2018021419

(87)【国際公開番号】W WO2018165346

(87)【国際公開日】2018-09-13

【審査請求日】2021-03-02

(31)【優先権主張番号】62/468,345

(32)【優先日】2017-03-07

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】ハービル レスリー ワイ．

(72)【発明者】

【氏名】モロー カイアリア

(72)【発明者】

【氏名】リン マンディ ペイイン

(72)【発明者】

【氏名】キム エイミー ジョー

【審査官】池田 周士郎

(56)【参考文献】

【文献】特表２０１６－５２３５７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００２／００４９６４３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０３４６９７６（ＵＳ，Ａ１）

【文献】国際公開第２０１５／００４９０３（ＷＯ，Ａ１）

【文献】特表２００２－５３８８９４（ＪＰ，Ａ）

【文献】米国特許第９０６４２７９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｋ ８／００－８／９９

Ａ６１Ｑ １／００－９０／００

Ｇ０６Ｑ ５０／００－５０／３４

Ｇ１６Ｙ １０／２５

Ａ４５Ｄ ４４／００－４４／２２

(57)【特許請求の範囲】

【請求項1】

既存の非カスタム化粧品から変更されたカスタマイズされた化粧品を作成するためのシステムであって、前記システムは、
ａ）画像センサと光源とを備えるユーザのデバイス上のアプリケーションを起動することであり、前記ユーザの少なくとも１つの肌領域の少なくとも１つの画像をキャプチャするように前記ユーザをガイドし、前記少なくとも１つの画像を処理して、前記少なくとも１つの画像からのユーザデータおよびデバイスデータに基づいて、前記画像センサを備える前記デバイスの設定を自動的に較正し、前記較正されたデバイスの設定を用いて、前記ユーザの前記少なくとも１つの肌領域の少なくとも１つのさらなる画像をキャプチャするように前記ユーザをガイドし、前記ユーザの前記肌領域の前記少なくとも１つのさらなる画像を処理して、較正されたユーザおよびデバイスデータを提供し、前記較正されたユーザおよびデバイスデータを、前記ユーザと関連付けて既知の検索キーに保存する、ことにより、前記ユーザに関連付けられた既知の検索キーを提供することと、
ｂ）少なくとも１つの検索コンポーネントで構成される前記ユーザの前記既知の検索キーを使用して、化粧品配合を有する初期化粧品を特徴付けることであり、少なくとも１つの前記検索コンポーネントは、前記初期化粧品の配合に関連付けられ、前記少なくとも１つの検索コンポーネントは、色コンポーネント、カバレッジコンポーネント、および乾燥コンポーネントのうちの１つ以上を含み、前記初期化粧品は、前記既知の検索キーに関連付けられて前記システムに格納されており、前記化粧品はカスタム又は非カスタム化粧品であることと、
ｃ）前記既知の検索キーにおける前記配合に関連付けられた少なくとも１つの前記検索コンポーネントを変更して、変更された検索キーを作成するためのユーザインタラクションを提供することであり、前記ユーザインタラクションは、前記既知の検索キー内の前記配合に関連付けられる少なくとも１つの検索コンポーネントを変更するための、スライダ、ボタンまたは画像のユーザインターフェースでのインタラクティブな選択を含み、前記変更された検索キーは前記ユーザにも関連付けられ、前記ユーザインターフェースは、変更する検索キーコンポーネントの選択を前記ユーザに提供し、変更する前記検索キーコンポーネントの前記選択は、過去の変更の方向性の可能性に基づく変更の方向性を提供することと、
ｄ）前記変更された検索キーを使用して、最も近いキーの近傍を評価して製造指示を決定することにより、変更されたカスタマイズされた化粧品を前記ユーザのために作成することと、
が可能であるように構成されている、システム。

【請求項2】

ユーザインタラクション量が、最も近いキーの近傍内のキー成分の変化に基づく、請求項１に記載のシステム。

【請求項3】

前記製造指示は、化粧品主要成分の量を含み、各化粧品主要成分は、適用される規制要件を満たす有効な化粧品である、請求項１に記載のシステム。

【請求項4】

前記少なくとも１つの検索コンポーネントの１つはＳＰＦである、請求項３に記載のシステム。

【請求項5】

記録中の化粧品主要成分の割合を確認するために、２つの化粧品主要成分が作成および記録される、請求項３に記載のシステム。

【請求項6】

記録に顧客連絡先情報が関連付けられている、請求項１に記載のシステム。

【請求項7】

前記ユーザインタラクションは、前記既知の検索キーに関連付けられたユーザおよびデバイスデータを更新するために、前記デバイスを使用して、前記光学センサを使用して更新されたユーザ画像データと更新されたデバイスデータとをシステムに送信することをさらに含み、前記更新された画像データは、前記既知の検索キーと前記更新された検索キーとを最適化するために、前記デバイスデータを確認および較正し、ホワイトバランスとカラーデータとを確認するためにシステムで使用される、請求項１に記載のシステム。

【請求項8】

前記変更された検索キーも前記システムに格納される、請求項１に記載のシステム。

【請求項9】

ユーザに関連付けられたカスタマイズ化粧品を変更する方法であって、
ａ）システムを提供することであり、
光学センサと光源とを備えるユーザのデバイス上のアプリケーションを起動することであり、前記ユーザの少なくとも１つの肌領域の少なくとも１つの画像をキャプチャするように前記ユーザをガイドし、前記少なくとも１つの画像を処理して、前記少なくとも１つの画像からのユーザデータおよびデバイスデータに基づいて、前記画像センサを備える前記デバイスの設定を自動的に較正し、前記較正されたデバイスの設定を用いて、前記ユーザの前記少なくとも１つの肌領域の少なくとも１つのさらなる画像をキャプチャするように前記ユーザをガイドし、前記ユーザの前記肌領域の前記少なくとも１つのさらなる画像を処理して、較正されたユーザおよびデバイスデータを提供し、前記較正されたユーザおよびデバイスデータを、前記ユーザと関連付けて既知の検索キーに保存する、ことにより、前記ユーザに関連付けられた既知の検索キーを提供することと、
前記ユーザの前記既知の検索キーを使用して、前記ユーザに関連付けられた化粧品配合を有する初期化粧品を指定することであり、前記既知の検索キーは、前記初期化粧品の前記化粧品配合に関連付けられた少なくとも１つの検索コンポーネントを含み、前記少なくとも１つの検索コンポーネントは、色コンポーネント、カバレッジコンポーネント、および乾燥コンポーネントのうちの１つ以上を含み、前記初期化粧品は、前記既知の検索キーに関連付けられて前記システムに格納されており、前記化粧品はカスタム又は非カスタム化粧品である、システムを提供することと、
ｂ）ユーザが前記既知の検索キー内の前記少なくとも１つの検索コンポーネントの一つを変更して、変更された検索キーを作成できるようにする対話型のユーザインターフェースを提供することであり、前記変更された検索キーは前記ユーザに関連付けられ、前記ユーザインターフェースは、変更する前記検索キーコンポーネントの選択を前記ユーザに提供し、変更する前記検索キーコンポーネントの前記選択は、過去の変更の方向性の可能性に基づく変更の方向性を提供することと、
ｃ）前記変更された検索キーを使用して、最も近いキーの近傍を評価して製造指示を決定することにより、変更されたカスタマイズ化粧品を作成することと、を含む方法。

【請求項10】

前記初期化粧品および前記既知の検索キーは、前記システム内における非カスタム製品の検索キーに関連付けられている、請求項９に記載のカスタマイズ化粧品を変更する方法。

【請求項11】

前記ユーザインターフェースは、検索コンポーネントにそれぞれ関連付けられた１つ以上のスライダを含む、請求項９に記載のカスタマイズ化粧品を変更する方法。

【請求項12】

前記ユーザインターフェースは、ユーザが前記検索コンポーネントを変更するために選択する前記既知の検索キーの前記検索コンポーネントの１つを表すアイコンに隣接して表示される１つ以上の近い代替選択肢アイコンを含む、請求項９に記載のカスタマイズ化粧品を変更する方法。

【請求項13】

前記デバイスデータアプリケーションは、絞り、露出、露出時間、焦点、感度、および／またはホワイトバランスからなる群から選択されるデバイス設定を較正する、請求項９に記載のカスタマイズ化粧品を変更する方法。

【請求項14】

前記システムは、グラウンド・トゥルース・データベースを含む注文管理サービス、混合サービス、印刷サービス、調剤アプリケーション、出荷アプリケーション、および印刷アプリケーションを含む、請求項９に記載のカスタマイズ化粧品を変更する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、一般に、画像分析および局所薬剤製剤に関し、より具体的には、色調整された皮膚画像に基づいてカスタマイズされた化粧品製剤を決定するシステムおよび方法に関し、さらに、そのような配合の顧客またはエンドユーザが、特定のユーザ情報と、例えば、対話型ユーザインターフェースからのフィードバックを使用して、カスタマイズされた化粧品配合をさらに修正することができるシステムに関する。

【0002】

〔関連出願の相互参照〕
本出願は、２０１７年３月７日に出願された米国仮特許出願第６２／４６８，３４５号に対して３５．Ｕ．Ｓ．Ｃ§１１９（ｅ）に基づく利益を主張し、その全開示は参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0003】

塗布されたクリームまたはローションの形の審美的および保護的な化粧用局所剤は、紫外線から保護し、水分バリアを提供し、傷および皮膚の変色をマスクし、刺激を軽減または防止し、他の健康的で審美的な利点を提供するために広く使用されている。最も理想的には、これらの保護外用剤は特定のニーズを持つ特定の個人、および特定の環境または使用のために専門家チームによって指定されるであろう。次いで、局所薬剤は適時に製剤化され、個人に供給され、個人はそのような製剤の作成において協力する可能性を有し得る。残念なことに、物流およびコストにより、今日までそのような特定の最適化された製品を既定のユーザに提供することの実用性が制限されてきた。

【0004】

特定のニーズに合う化粧品用局所薬剤を提供するためのいくつかの先行技術のアプローチがある。これらの薬剤は、皮膚科医からの仕様に基づいて配合することができる。それらは知識豊富な店員によって一組の原料から小売店で組み立てられ得る。さまざまな特性を持つ化粧用クリームまたはローションのシステムまたはセットは、特定の顧客の色、肌のタイプ、および特定のニーズに基づいて事前に製造および選択することができる。

【0005】

これらの局所薬剤のカスタム製造および流通の一般的な解決策に対する主な障壁は、製品の機能の数が多く、ニーズが非常に多様であることである。また、特定のニーズと個人に最適な粒度の各製剤を製造し、在庫することは商業的に実行可能ではない。当技術分野では、例えば高度な画像解析技術を使用した個人の特定のニーズの決定、およびそのニーズのセットに最適な製剤に基づいて有用な化合物を提供する方法が必要になった。

【0006】

適度な鏡面反射率および主に拡散反射率を有する表面の反射率スペクトルを捕捉する技術は、反射色をＲＧＢトリプレットとして測定すること、または固定アパーチャ、固定積分光学系に設定され、一定期間にわたって測定された検出器との既知の距離において既知の光源と反射率を積分する光学的方法とを使用して表面の反射スペクトルを測定することを必要とし得る。これらの技術を使用する装置には反射分光光度計および比色計がある。

【0007】

一部のモバイルデバイスは、比色計の多くの特性を有している。例えば、それらは、既知の特性を有する光源、ＣＣＤ検出器、プロセッサ、および統合に使用することができるレンズシステムを有する。正確な比色計としてモバイルデバイスを使用する際の主な障壁は、（１）環境光を制御することと、（２）サンプリングする表面までの距離を設定することと、（３）サンプルの測定に使用される開口を制御することと、（４）サンプルの測定に使用される検出器の感度を制御することと、（５）サンプルの測定に使用する時間を制御することと、（６）サンプルを測定するためのホワイトバランスを制御することと、（７）サンプルを測定するための焦点面を制御することと、を必要とすることである。

【0008】

モバイルデバイスで使用されているカメラは、現在使用されている最も人気のあるハンドヘルドカメラになっているが、一般に手動で絞りを設定する機能が欠けており、露出、露出時間、感度の設定ができるものも現在あるが、最も人気のあるデバイスでは、ソフトウェアで絞り、感度、または露出時間を設定できない。モバイルデバイスのハードウェアおよびファームウェアは、結果として得られるデジタル画像ファイルに埋め込まれたデータとしてどのカメラ設定が使用されるかを報告し得るが、画像を向上または改善し、ホワイトバランスを調整するためにファームウェア内で技法がしばしば使用される。カメラを制御するファームウェアは一般に、光と色の信頼できる測定を行うためではなく、高品質のスナップショットを作成するために最適化されている。

【0009】

したがって、これらの問題に対処し、ユーザがモバイルデバイスを使用して正確で再現可能なカラーサンプルを取り込めるようにするシステムと方法が開発された。特定の用途に最適化された審美的および保護的局所薬剤の製剤は、本明細書の出願人によって開発され、特許文献１、特許文献２および特許文献３に開示されている。このシステムや他のシステムの実装は現在、業界で使用されており、市場で入手できる。ＭＡＴＣＨＣｏなどの企業は、そのような薬剤を生成するための複数の技術に精通した解決策を提供する。特許文献１に開示されているシステムおよび方法には、これらの美的薬剤の実際の生産を可能にするだけでなく、特定のユーザの特性を特徴付け、これらの特徴を用いて特定の式を導くことができるという点において、多くの利益を有している。したがって、新しい製剤は、個々のユーザ向けのそのようなシステムに基づいて特に製剤化することができる。

【0010】

特許文献１、特許文献２、および特許文献３に記載されているようなシステムは、前述のユーザ対話とスキャンに基づいてユーザに正確な一致を提供する可能性があるが、さらに、ユーザが、審美的、環境的、または文化的な理由から、特に一致する製剤の要件を変更し、また、ユーザがプロファイルを評価し、カスタマイズ化粧品を受けとった後に変更する必要があるかどうかを判断するための基礎を提供することを決定または希望する場合は、対応方法の問題に技術的に対処する必要がある。また、ユーザは、特許文献１に記載されているようなシステムを構築するために使用される収集されたデータセットから外れることもある。したがって、特許文献１に記載されているように特徴付けられ得る既存の薬剤を調整するために、ユーザがそのようなシステムに追加の入力を提供するための方法を開発および提供することが望ましい。

【0011】

ユーザとの対話を用いてユーザの意図に繰り返し適用される適応システムが開発されている。例えば、特定の用途に合わせて色を選択する周知の方法がある。いくつかは、色付きのタイルまたは正方形を選択して、コンピュータインターフェイスで画像または製品にインタラクティブに適用されるのを見るのと同じくらい簡単である。カラーピッキングの有用な説明は非特許文献１にある。インターフェースで色を選択することを記述した初期の特許には、例えば、特許文献４が含まれる。

【0012】

非特許文献１で説明されているように、そのような従来技術のカラーピッキング方法は、製造ではなく表示用の色を選択するためのインターフェースを提供する。

【0013】

他の方法は、変数のセットをグラフィックフィルタに適用し、レンダリングされた選択肢の配列にこれらの変数の多くのバリエーションを提示する。ユーザが一連の変数値を選択すると、非特許文献２で説明されているようなデータモデルに基づいて新しい選択のセットが表示されてもよい。

【0014】

他の手法では、遺伝的アルゴリズムを使用して、ユーザの対話方法を学習し、より直感的な対話を提供する。非特許文献３を参照されたい。

【0015】

特許文献５は、カスタマイズ可能な製品のＫｅｙ－Ｖａｌｕｅ属性のユーザ選択を関連付け、Ｋｅｙ－Ｖａｌｕｅを少なくとも１つの他のＫｅｙ－Ｖａｌｕｅに一致させ、フィルタを選択し、そのＫｅｙ－Ｖａｌｕｅ選択をフィルタリングし、それを製品に適用する方法を説明している。

【0016】

特許文献６は、ユーザから色データを収集し、その色情報を保存された色データのセットと比較し、ユーザデータと保存された色データとの比較に基づいてカスタム製品の顔料を混合する装置を記載している。

【先行技術文献】

【特許文献】

【0017】

【文献】米国特許第８，９３３，９９４号明細書

【文献】米国特許第９，１２２，９１８号明細書

【文献】米国特許第９，１２２，９１９号明細書

【文献】米国特許第５，２４９，２６３号明細書

【文献】米国特許第８，８５６，１６０号明細書

【文献】米国特許出願公開第２００８／０３１１０６１号明細書

【非特許文献】

【0018】

【文献】Ｊ．Ｋｏｅｎｄｅｒｉｎｋ他、「Ｃｏｌｏｒ Ｐｉｃｋｉｎｇ：Ｔｈｅ Ｉｎｉｔｉａｌ ２０ｓ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｐｐｌｉｅｄ Ｐｅｒｃｅｐｔｉｏｎ、Ｖｏｌ．１３、Ｎｏ．３、Ａｒｔｉｃｌｅ １３、ｐｐ．１３／１－１３／２５（２０１６）

【文献】Ｇ．Ｊａｌａｌ他、「Ｃｏｌｏｒ Ｐｏｒｔｒａｉｔｓ：Ｆｒｏｍ Ｃｏｌｏｒ Ｐｉｃｋｉｎｇ ｔｏ Ｉｎｔｅｒａｃｔｉｎｇ ｔｏ Ｃｏｌｏｒ」、ＣＨＩ ２０１５ コンピューティングシステムのヒューマンファクターに関する第３３回コンピューティングマシンの協会（ＡＣＭ）会議の議事録、ｐｐ．４２０７－４２１６、ソウル、韓国（２０１５年４月１８～２３日）

【文献】Ｓ．Ｍａｔｓｕｉ他、「遺伝的アルゴリズムは階層メニューを最適化できる」、ＣＨＩ ２００８ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＩＧＣＨＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ、ｐｐ．１３８５－１３８８、フィレンツェ、イタリア（２００８年４月５日～１０日）

【発明の概要】

【発明が解決しようとする課題】

【0019】

そのような従来技術のシステムにもかかわらず、ユーザが対話型ユーザインターフェースを介して既存のカスタマイズされた化粧品調合物を修正し、新しいおよび／または修正されたカスタマイズされた化粧品調合物を自動的に作成することを可能にする方法およびシステムの技術の必要性に対処するものはない。

【課題を解決するための手段】

【0020】

特定の時間または場所でカスタム化粧品を修正または調整するため、または既存の非カスタム製品から調整済み製品を製造するために、特許文献１、特許文献２および特許文献３に記載されている実施形態の特定のセットを使用する必要があり、これらの各文献は、関連する部分で参照により本明細書に組み込まれる。この同じメカニズムを使用および変更して、美的薬剤をユーザの仕様に合わせて調整し、ユーザの特性と仕様を追加の製品にマッピングすることができる。

【0021】

特に、同じメカニズムは、製造デバイスまたはシステムとは別のデバイスで実行される特定のユーザの特性を収集し、そのデバイスがスキャン情報をサーバに通信し、その情報をそのサーバ上のデータストアでそのユーザに関連付けるスキャン操作を記述するのに役立つ。このようにして、スキャンデータを後で編集するために使用できる。

【0022】

このメカニズムはさらに、サーバがユーザスキャンデータを、さまざまな化粧品の製造指示を見つけたり計算したりするために使用できる形式に変換するのに役立つ。このデータ形式は「キー」と呼ばれ、特許文献１に記載されている。

【0023】

さまざまな形の化粧品やさまざまなメーカが存在する可能性があるため、特定のユーザのキーを使用して特定の化粧品の製造手順を見つけたり計算したりするサーバで個別のアクションを実行すると便利である。

【0024】

また、製造装置またはシステムが製造指示を生成するデバイスとは別であることが好ましくさらに有用である。なぜなら、これらは異なる場所にある、異なる製品を製造する、または異なる製造プロセスを使用する可能性があるためである。

【0025】

ユーザが色のバリエーションを選択したり、上記のように特定の設定を増減したり、変更に影響する異なる設定を選択したりするための対話を提供する従来の既知の手法があるが、これらの従来の手法はそれぞれ変更されるデータモデルに固有である。本発明におけるデータモデルは、スキャンデータにエンコードされたユーザ特性であり、「検索キー」に変換される。その用途は、特許文献１および本明細書に記載の方法を使用して、（本明細書に記載のＯＡＰＴＡ仕様に関連する）特定のカスタマイズされた化粧品処方を導出することにある。そのデータモデルとアプリケーションのシステムは固有であるため、ユーザに提示される相互作用の選択肢は、そのデータモデルによって決定される通り固有になる。

【0026】

本明細書で開示されるシステムは、本発明を使用するユーザが既に特許文献１および本明細書で定義されている検索キーに関連付けられるという点で従来のシステムとは異なる。検索キーもキー値形式ではない。より具体的には、検索キー自体がフィルタリングなしで直接変更される。検索キーを変更するために本明細書でユーザに提示される対話式の選択は、「グラウンド・トゥルース・データセット」内で見つかったデータに基づいている。本明細書に記載のシステムは、別個の装置でユーザデータを収集し、別個のプロセスでユーザスキャンデータを検索キーに変換するという点で、前述の従来技術と比較してさらに固有なものである。次に、別のプロセスまたは対話を提供して、検索キーを変更し、および／または同じユーザの追加の検索キーを追加し、検索キーは、異なるまたは追加のデータを含むように変更されることが好ましい。変更前、変更後の検索キーを使用して、さまざまな式で多数の製品を生成できる。

【0027】

本発明は、既存の非カスタム製品またはカスタマイズされた化粧品を、少なくとも１つの検索コンポーネントからなる既知の検索キーで特徴付けることと、既知の検索キーの少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成するためのユーザ対話を提供することと、変更された検索キーを使用して、最も近いキーの近傍を評価し、変更されたカスタム化粧品の製造指示を決定することにより、変更されたカスタム化粧品を作成することと、によって、既存のカスタマイズされた化粧品または非カスタム化粧品から修正されたカスタマイズされた化粧品を作成するシステムを含む。完全な検索キーコンポーネントは、１つ以上の個別の検索キーコンポーネントを含み得る。

【0028】

一実施形態では、少なくとも１つの検索コンポーネントが色コンポーネントを含むことが好ましい。

【0029】

さらなる実施形態では、少なくとも１つの検索コンポーネントは、カバレッジコンポーネントを含み得る。さらに、少なくとも１つの検索コンポーネントは、乾燥コンポーネントを含み得る。

【0030】

各々のユーザとの対話は、検索キーを変更する検索コンポーネントの選択に基づいていることが好ましい。ユーザとの対話の指示は、編集指示の過去の尤度にも基づくことが好ましい。

【0031】

ユーザとの対話量は、最も近いキーの近傍内のキーコンポーネントの変化に基づいてもよい。

【0032】

製造指示書は、各化粧品主要成分の量を含むことができ、各化粧品主要成分は、特定の規制要件を満たす有効な化粧品である。そのような実施形態では、一次成分の割合を検証するために、２つの測定が行われ記録されることが好ましい。一実施形態では、検索コンポーネントの１つはＳＰＦ値であり得る。顧客の連絡先情報も記録に関連付けることができる。

【0033】

システムでは、既知の検索キーはユーザに関連付けられていることが好ましく、ユーザの対話には、既知の検索キーに関連するデータを更新するために、更新されたユーザ画像データをシステムに送信する光学センサを備えたデバイスを使用することをさらに含めることができる。ここで、更新された画像データがシステムで使用され、既知の検索キーと変更された検索キーが最適化される。変更された検索キーおよび既知の検索キーは、それぞれシステムに格納され、ユーザに関連付けられていることが好ましい。ユーザとの対話には、スライダ、ボタン、または画像のユーザインターフェースでの対話型選択が含まれ、少なくとも１つの検索コンポーネントを変更することが好ましい。

【0034】

本明細書のさらなる実施形態では、本発明は、ユーザに関連するカスタマイズされた化粧品を修正する方法を含み、ａ）少なくとも１つの検索コンポーネントからなる既知の検索キーによってユーザの初期のカスタマイズ化粧品を指定できるように構成されたシステムを提供することと、ｂ）ユーザが検索キーの少なくとも１つの検索コンポーネントを変更して、変更された検索キーを作成できるようにするインタラクティブなユーザインターフェースを提供することと、ｃ）変更された検索キーを使用して、最も近いキーの近傍を評価して製造指示を決定することにより、変更されたカスタマイズされた化粧品を作成することと、を含む。

【0035】

この方法では、初期のカスタマイズされた化粧品と既知の検索キーとは、システム内の非カスタム製品の検索キーに関連付けられていることが好ましい。検索コンポーネントは、色コンポーネント、カバレッジコンポーネント、および／または乾燥コンポーネントのうちの１つ以上であり得る。さらに、この方法では、ユーザインターフェースは、ユーザが検索コンポーネントを対話的に変更するためのさまざまな側面を含むことができ、一実施形態では、それぞれが検索コンポーネントに関連付けられた１つ以上のスライダと、別の実施形態ではユーザが検索コンポーネントを変更するために選択する既知の検索キーの検索コンポーネントの１つを表すアイコンに隣接して表示される１つ以上の近い代替選択アイコンを含む。

【0036】

この方法では、システムは、既知の検索キーの検索コンポーネントに関連するデータを、光学センサと、較正された画像をスキャンするようにユーザを対話的にガイドし、スキャンからシステムにデータを送信するアプリケーションとを備えたデバイスを介してデータを収集することが好ましい。装置は、光源をさらに備えることが好ましい。

【0037】

また、この方法において、スキャンは、好ましくは、デバイスに関連するデータをシステムにさらに提供し、アプリケーションは、開口、露出、露出時間、焦点、感度、および／またはホワイトバランスなどの少なくとも１つのデバイス設定を制御する。この方法で使用されるシステムは、グラウンド・トゥルース・データベース、光学センサを備えたデバイスと対話するためのユーザ向けアプリケーション、混合サービス、印刷サービス、調剤アプリケーション、出荷アプリケーション、および印刷アプリケーションを含む注文管理サービスを備えていることが好ましい。

【0038】

前述の概要、ならびに本発明の好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むことでよりよく理解されるであろう。本発明を説明する目的で、現在好ましい実施形態を図面に示す。しかしながら、本発明は、示された正確な構成および手段に限定されないことを理解されたい。図面において、同様の参照文字は一般に、異なる図を通して同じ部分を指す。さらに、図面は必ずしも縮尺通りではなく、代わりに本発明の原理を例示することに一般的に重点が置かれている。

【図面の簡単な説明】

【0039】

【図1】本発明の初期ユーザプロファイルを作成するためにユーザが使用することができる最適化された局所薬剤をユーザに提供する例示的な方法のフローチャートである。

【図2】本発明で使用するために最適化された局所薬剤をユーザに提供するための例示的なシステムの高レベルのアーキテクチャ図である。

【図3A】本発明で使用するための画像センサを備えたデバイスを使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3B】本発明で使用するための画像センサを備えたデバイスを使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3C】本発明で使用するための画像センサを備えたデバイスを使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図3D】本発明で使用するための画像センサを備えたデバイスを使用して皮膚の色を取り込む例示的な方法のフローチャートである。

【図4A】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4B】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4C】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4D】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図4E】本発明においてユーザが使用することができる顔領域を含む画像を分析する例示的な方法のフローチャートである。

【図5】初期化粧品の色を有する初期カスタマイズ化粧品の色成分を変更する一実施形態の表現であり、色変化ステップは、検索キーによって発見された近傍色から収集され、ラベル「ａ」は、第１のユーザ選択である。

【図6】図５における第１のユーザ選択の結果の表示であり、選択された色は中央の初期色の上に移動され、色の変化が調整され、ラベル「ｂ」は第２のユーザ選択を示す。

【図7】図６の選択された色「ｂ」が中央の初期色の上に移動され、色の変化が調整される、第２のユーザ選択の結果の表現である。

【図8】本明細書のさらなる実施形態による、カスタマイズされた化粧品のユーザプロファイルを変更する際に使用するためのサンプル・ユーザ・インターフェースページの図解である。

【図9】カスタマイズされた化粧品の作成またはカスタマイズされた化粧品の修正に使用するシステムの図である。

【発明を実施するための形態】

【0040】

以下の説明は、新しい発明を対象とし、初期検索キーを作成し、デバイスを較正するための好ましい方法の一部として初期検索キーを準備するために使用される基礎となるシステムおよび方法に関連する関連部分に参照により組み込まれ、本明細書に記載されている他の関連するステップとして、特許文献１、特許文献２、および特許文献３のそれぞれの特許は、本明細書で開示される程度まで全体として本明細書に組み込まれ、本明細書で特に変更されない限り、本明細書で同じ方法で使用され、本明細書では、本発明で使用するのに有用な従来のシステムおよび方法を定義するために適用可能なものとして組み込まれる。

【0041】

上述のように使用され得るシステムの一例では、カスタマイズされた化粧品配合物は、いくつかの主要なコンポーネントから組み立てられる。これらの主要コンポーネントはそれぞれ、適用される規制要件を満たす化粧品である。この実施形態では、初期の既存のカスタマイズされた化粧品処方を作成するために使用される、または既存の非カスタマイズされた化粧品処方を含むグラウンド・トゥルース・データセットは、参照ユーザのセットをスキャンして照合することから構築され、データセットは、参照ユーザ向けにカスタマイズされた初期の化粧品調合物を混合（これはここでは一般に「ミックス」と呼ばれる）するために使用される主要成分の割合を含む記録と、スキャンから生成された較正データ（これは「キー」と呼ばれる）と、さらにはＳＰＦおよび／または「製品の仕上がり」（すなわち、皮膚上の製品の光学的品質）など、ユーザから収集され得るデータと、を含む。キーには、少なくとも１つの検索コンポーネントが含まれ、検索コンポーネントは、色情報、肌の乾燥量、必要なカバレッジの量であるが、これらに限定されない。

【0042】

この実施形態では、グラウンド・トゥルース・データセットを検索し、検索キーを使用してミックスを見つけるためにアルゴリズムが使用される。アルゴリズムは、少なくとも次の手順を実行するように選択される。（ａ）グラウンド・トゥルース・データセットのエントリを走査し、検索キーに最も近いキーを持つ記録を見つけ、（ｂ）近くにある記録を見つけ、それらを近隣と呼ばれるセットに組み立て、（ｃ）検索キーに最も一致する近傍内の各エントリからの寄与を解決し、（ｄ）見つかった寄与を使用して、混合式を計算する。

【0043】

特定の検索キー用にカスタマイズされた化粧品の処方を作成するための好ましい手順は次のとおりであり、検索キーの混合式を見つけるためにアルゴリズムを使用することと、混合式を使用して、主要成分を容器に調剤することと、手動オペレータチェック、重量を使用した自動化プロセスによる確認、および／または体積を使用した自動化プロセスによる確認など、少なくとも２つの方法を使用して、調剤量を確認することと、容器内の混合物をブレンドすることと、を含む。

【0044】

そのような実施形態では、以下で詳しく説明するように、最初に、ユーザは初期のカスタマイズされた化粧品処方を作成する必要があり、ステップには、使用されている既存の非カスタム製品、さまざまなユーザの好み、および他のユーザデータを識別することによってシステムに初期フィードバックを提供することが含まれる。ユーザが新しい個別の製剤を作成したい場合、または初期のカスタマイズされた化粧品製剤を作成した後に製剤を変更したい場合は、初期のカスタマイズされた化粧品製剤を作成するために使用される同じステップを使用することもできる。参照により本明細書に具体的に組み込まれる上記の特許に記載されているように、ユーザは最初に、いくつかの異なる方法で行われ得る対話的に誘導されるスキャンを実行しなければならない。一方法では、ユーザは、一連のステップを介して対話的に誘導され、カスタマイズされた化粧品を生産することが好ましい。例えば、ユーザはモバイルデバイスを使用して自分自身をスキャンし、アプリケーションはユーザの顔の領域をスキャンするようにユーザを対話的に誘導するように動作する。スキャンプロセスでは、ユーザは、既知の照明と色の特性を持つ肌領域の画像を取り込むように誘導される。その画像は、調整された肌の色情報を提供するために処理される。システムは、較正された肌の色情報に基づいて、ユーザ向けにカスタマイズされた化粧品の処方を自動的に決定する。

【0045】

皮膚領域画像は、好ましくは画像センサ、より好ましくは画像センサおよび光源を有するデバイスから受信され、ユーザを、デバイス画像センサおよび／または光源を使用して顔領域などの複数の皮膚領域画像の取り込みを通してインタラクティブに誘導することができる。「画像センサ」は、光光子を感知するＣＣＤアレイと画像を投影するレンズ、ソフトウェアおよび画像プロセッサを有するデバイスなどの任意の画像センサであり得るが、本明細書の機能を実行できる任意の適切な画像センサが用いられ得る。

【0046】

上記の特許に記載されているように、カスタマイズされた化粧品配合物を作成するために最初にスキャンを実行する別の方法には、デバイスイメージセンサを使用してマーカの画像を取り込むことでユーザを対話的に誘導することが含まれ、皮膚領域の画像は、少なくとも部分的には、取り込まれたマーカ画像に基づいて処理される。これらのスキャンおよび／または画像取り込みのステップで使用されるデバイスは、携帯電話、タブレット、デジタルカメラ、ウェブカメラ、スマートグラス、テレビ、バーチャルリアリティゴーグル、ゲームコンソール、またはホームアシスタント（Ａｌｅｘａ（登録商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（登録商標）など）の１つ以上であって、カメラおよび光センサの要件を有することが好ましく、光源であることがより好ましい。皮膚領域画像は、デバイスおよび画像センサの少なくとも一方の特性を識別する埋め込みデータを含むことができ、皮膚領域画像は、埋め込みデータに少なくとも部分的に基づいて処理することができる。較正に使用されるマーカは、例えば、以前に分析された皮膚領域（またはユーザの皮膚領域のさまざまなサンプルから取得されたデータ）、白い背景上の既知のサイズのマーカ、または８．５インチＸ１１インチの典型的な白い紙のような、既知のサイズの白い紙など、さまざまであってもよい。サイズまたは標準化された反射率と色は変更できるが、マーカは既知の反射率と色を持つ必要がある。既知の色、反射率、サイズを持つ用紙を使用して、デバイスとその設定を較正し、例えばモバイルスマートフォンのカメラの設定を調整できる。したがって、白い紙は白いフィールドおよびマーカとして機能する。ユーザは紙を白い表面に置き、対話的に指示に従ってデバイスを較正する。

【0047】

デバイスの較正またはスキャンの完了時に、ユーザはデバイスを較正表面にタッチすることが好ましく、較正表面はマーカまたは皮膚領域（つまり、マーカ表面は較正のベースとして使用されるあらゆる表面である）であってもよい。較正表面は、好ましくは平坦または合理的な平坦であるが、任意の適切な較正表面であり得る。各タッチは「タップ」と見なされる。タップするマーカまたはスキン領域の表面に向かう各動きと、表面から戻る各動きは、単一の「パス」である。完全なタッチプロセスまたは「タップ」には、２つのパスと表面へのタッチが含まれる。画像センサの視野が白紙マーカのシートの少なくとも約９０％を覆うように、デバイスを移動する必要がある。約１秒のタップ中に、約３０の画像／秒が記録でき、最も明るいフレームが選択される。データはヒストグラムによって明るさごとに分析され、ピクセルは明るさ、光沢、その他の特性の違いについて分析される。各パスは、分析用のデータのサンプルを提供する。

【0048】

ユーザは、アプリケーションと、ビデオ、写真、音声コマンド、またはタップを実行するための他のプロンプトを使用して、このプロセスを介して指示されることが好ましい。各スキャンはアプリケーションによって評価され、少なくとも５回のタップ（各パス中に１０個のサンプルを提供）および場合によってはそれ以上で構成される。５つのサンプルを取得した後、新しいサンプルを他のサンプルと比較して、実行中のメディアンフィルタを実行する。このフィルタは、既存のサンプルの中央値と比較して明るすぎるまたは暗すぎるサンプルを破棄することにより、中央値に収まるサンプルの収集を促進する。色が遠すぎるサンプルも破棄される。較正範囲外のサンプルが多すぎる場合、アプリケーションソフトウェアはユーザに最初の手順を再度実行し、タップを開始または続行するように求める。ソフトウェアは、有効なサンプルが十分に収集されるか、プロセスが失敗するまでスキャンプロセスを続行する。ユーザはいつでもスキャンを終了できる。

【0049】

何らかの理由（デバイスのパフォーマンスの低下など）で較正が失敗した場合、アプリケーションはユーザにタップを続けてより良いデータを試すように指示することがあり、デバイスが再試行するように再設定されるが、それが失敗し続ける場合、カスタマーサービスの連絡先情報オプションが提供される場合がある。

【0050】

ここで、スキャンを実行する１つの好ましい方法を説明する。正確で再現可能な色（繰り返し可能）を記録するために、アプリケーションソフトウェアは、カメラの露出、ユーザの肌の表面の測定に使用される光量、および皮膚の表面からのカメラの角度および距離を制御するように設定されている。ソフトウェアは、スキャンを実行するためにデバイスの特性を効果的に「再利用」し、ユーザのアクションをさらに指示する。

【0051】

各デバイスには、イメージセンサ（カメラ）があり、ＬＥＤトーチなどの光源があることが好ましい。このようなデバイスでは、通常のモバイルスマートフォンのようにＬＥＤトーチとカメラを分離し、測定対象の平面との関係により、カメラから最も明るいターゲットまでの距離が１か所であるようなジオメトリを記述する。その場所に電話を配置するために、ソフトウェアは、測定する表面に触れるパスを作成するようにユーザを対話的に案内する。電話が表面に近づくにつれて、ソフトウェアはカメラからの各ビデオフレームを分析し、画像の特定の領域が最も明るくなる時間を見つける。これは、表面からの既知の距離である。表面は、本明細書で説明されるような単純な較正マーカおよび／または測定される皮膚の領域であり得る。

【0052】

本書の他の箇所で述べたように、マーカは、サイズと反射率の一貫性、および広く知られている使用と可用性のために、既知の反射率と既知のサイズ（ユーロ明るさ１０４の白い８．５Ｘ１１インチのコピー用紙など）の白い紙であってもよい。次に、複数回のパス（「タップ」）を使用して表面を測定する。測定は、タップの表面との間の各パスで行われる。タップ中にデータが収集され、ソフトウェアは皮膚の表面でＬＥＤトーチの鏡面反射を見つけ、表面の光沢を測定してもよい。カメラが皮膚の領域に焦点を合わせ、皮膚の顕微鏡写真を記録するまで引き戻すこともできる。

【0053】

カスタマイズされた化粧品配合物を作成する別の方法は、較正された肌色情報を参照ユーザに一致させることを含むことができ、参照ユーザはそれに関連する以前に決定された化粧品配合物を有する。

【0054】

カスタマイズされた化粧品配合物の自動決定は、例えば化粧品成分に対するアレルギーのユーザによる表示などのユーザ入力情報にも少なくとも部分的に基づくことができる。カスタマイズされた化粧品製剤に基づいた局所薬を調合し、ユーザに届けることができる。ユーザは、カスタマイズされた化粧品配合に基づいて調合された局所薬を購入することができる。

【0055】

本書に記載されているユーザ検索キー（ユーザのカスタマイズされた化粧品配合に関連付けられている）は、システムが最初のカスタマイズされた化粧品配合を作成するときに最適なものとして選択した既存の非カスタム化粧品に関連付けられている場合がある。したがって、ユーザは、検索キーに関連付けられた初期のカスタマイズされた化粧品を開発するためのユーザ初期情報（ユーザデータ収集）として提供することができる。ユーザは、ここで説明するように、初期のカスタマイズされた化粧品配合を変更する際に使用するユーザのプロファイルへのフィードバックとして製品の好みを提供することもできる。

【0056】

ユーザは、製品を注文するトランザクションをさらに実行できる。スキャンから収集されたデータ（スキャン情報）もサーバに送信される。初期のカスタマイズされた化粧品配合物を作成するための上記の方法で使用されるシステムは、コンピュータ実行可能命令を保存するメモリとメモリに保存された命令を実行する処理ユニットを含む少なくとも１つのコンピュータを含む。命令の実行は、既知の照明および色特性を備えた少なくとも１つの皮膚領域の１つ以上の画像を取り込むようにユーザを導くことを含む操作を実行するようにコンピュータを構成する。画像は処理されて、較正された肌色情報を提供し、システムは、較正された肌色情報に基づいて、ユーザ向けにカスタマイズされた化粧品の処方を自動的に決定する。皮膚領域画像は、画像センサ、および好ましくは光源を備えたデバイスから受け取ることができ、操作には、上記のデバイスイメージセンサを用いて顔領域などの複数の皮膚領域画像の取り込みを通じてユーザを対話的に誘導することが含まれる。

【0057】

参照により本明細書に組み込まれる特許に基づいて開発されたＭＡＴＣＨＣｏ．アプリケーションでは、好ましくは光源と色特性が既知であるＬＥＤトーチを使用する携帯電話などのイメージセンサを備えたデバイスを使用して識別される既知の照明を使用して、好ましい対話型スキャンが実行される。皮膚の照明と色は、皮膚の表面に対するデバイスの位置と光源の位置の間に作成されたジオメトリを使用してさらに制御され、皮膚の表面からのデバイスの距離が決定される。これは、各顔領域の一連のアクションを通じてユーザを対話的に案内することによって行われる。ユーザは、「タップ」を含むパスを作成することにより、デバイスを所定の顔領域に近づけたり遠ざけたりするように求められ、距離は光源による皮膚の照明の最も明るい点を使用して検出される。例えば、アプリケーションが実行され、ユーザにデバイスの光源をオンにする（モバイルスマートフォンのＬＥＤトーチをオンにするなど）ように促すか、ソフトウェアコマンドを使用してＬＥＤトーチなどのデバイスの光源を自動的にオンにし、一連の対話的な手順で照明の最も明るい点が記録されるまで、特定の皮膚領域に向かってデバイスを移動し、その領域から離す。次に、このデータを使用して、較正された肌の色情報を取り込む。

【0058】

上記の方法およびシステムは、デバイスイメージセンサを使用したマーカの画像の取り込みを通じてユーザを対話的にガイドすることをさらに含む操作を含む場合があり、皮膚領域画像は取り込まれたマーカ画像に少なくとも部分的に基づいて処理される。デバイスは、上記のデバイスのいずれかである。皮膚領域画像は、デバイスおよび画像センサの少なくとも一方の特性を識別する埋め込みデータを含むことができ、皮膚領域画像は、埋め込みデータに少なくとも部分的に基づいて処理することができる。

【0059】

方法で実行され、システムを使用する操作の１つは、較正された肌の色情報を参照ユーザに一致させることにより、カスタマイズされた化粧品製剤を自動的に決定することを含んでもよく、参照ユーザは関連する事前に決定された化粧品製剤を有する。カスタマイズされた化粧品製剤は、化粧品に対するアレルギー（または他のユーザの好み）のユーザによる指示に少なくとも部分的に基づいて自動的に決定される場合もあるため、実行される操作には、ユーザがカスタマイズされたこれらの好みに対応する化粧品の処方（例えば、成分を省く）を購入できるようにすることをさらに含む。

【0060】

また、ユーザスキャンは、イメージセンサと好ましくは光源を備えたデバイスを使用して、ユーザに１つ以上の画像の取り込みを対話的に案内することを含み、カスタマイズされた化粧品処方を決定する方法で実行することもでき、各画像はユーザの肌領域を含み、肌領域画像を処理して較正済み肌色情報を提供し、較正済み肌色情報をグラウンド・トゥルース・データセットと比較してグラウンド・トゥルース・データセット内の最も近い既知の値のセットを特定し、比較に基づいて、ユーザ用にカスタマイズされた化粧品製剤を自動的に決定する。カスタマイズされた化粧品製剤には、（ｉ）較正された肌の色情報と最も近い既知の値のセットとの相対的な近接度に基づいて導出された一意のカスタマイズされた化粧品製剤、および（ｉｉ）既存のカスタマイズされていない化粧品の少なくとも１つが含まれる。

【0061】

システムおよび方法によって実行される操作は、皮膚領域画像の少なくとも１つについて、顔の認識ソフトウェアを使用することを含む様々な手段による、少なくとも１つの皮膚領域画像における複数の顔領域を検出することと、肌のトーンに基づいて顔の領域をセグメント化することと、肌のトーン、影、鏡面ハイライトの少なくとも１つに基づいて各顔の領域セグメントに色を割り当てることと、を含むように皮膚領域画像を処理することを含んでもよい。この目的のために実装され得るそのような顔認識ソフトウェアの１つは、米国特許出願公開第２０１７／００７６４７４号明細書に記載されている。他の既知の顔認識ソフトウェアもこの目的のために使用され得る。

【0062】

ユーザのデータをスキャンすることを伴う本明細書の様々な方法およびシステムを実行する際、スキャンされる皮膚領域は、手首の裏、額、右頬、左頬、右顎、左顎、および／またはオプションで顔全体、の１つ以上、またはすべてであることが好ましいが、システムの最適な使用方法に応じて、他の領域も使用できる。

【0063】

方法およびシステムはさらに、ユーザが初期のカスタマイズされた化粧品（すなわち、ユニークなカスタマイズされた化粧品処方または一致する既存の非カスタム製品に基づくもの）または任意の個別のベースに基づいて既存の化粧品を購入できるようにすることを含むことができ、新しいカスタマイズされた化粧品または新しい変更されたカスタマイズされた化粧品、これらはそれぞれ初期のカスタマイズされた化粧品に基づいている。

【0064】

カスタマイズされた化粧品の処方は、それ自体がコンピュータ実行可能命令を格納するメモリと、メモリに格納された命令を実行する処理ユニットを含む少なくとも１つのコンピュータを含むシステムを使用して決定してもよい。命令の実行は、イメージセンサとオプションで光源を備えたデバイスを使用して、１つ以上の画像の取り込みを介してユーザを対話的に誘導する操作を含むコンピュータを構成し、各画像はユーザの肌領域を含み、肌の領域の画像を処理して、較正された肌の色の情報を提供し、較正された肌色情報をグラウンド・トゥルース・データセットと比較して、グラウンド・トゥルース・データセット内の最も近い既知の値のセットを識別し、そして、比較に基づいてユーザ向けにカスタマイズされた化粧品の処方を自動的に決定する。カスタマイズされた化粧品製剤は、（ｉ）較正された肌の色情報と最も近い既知の値のセットとの相対的な近接度に基づいて導出されたカスタマイズされた化粧品製剤のユニークな化合物、および（ｉｉ）既存の化粧品へのマッチング、の少なくとも１つを含み得る。

【0065】

上記で使用される皮膚領域画像は、少なくとも１つの皮膚領域画像について、少なくとも１つの皮膚領域画像内の複数の顔領域を検出し、肌色に基づいて顔領域をセグメント化するステップを含むように処理することができ、肌のトーン、シャドウ、鏡面ハイライトの少なくとも１つに基づいて、各顔領域セグメントに色を割り当てる。

【0066】

皮膚領域画像の少なくとも１つに関連付けられた周囲照明情報も受信することができ、少なくとも１つの皮膚領域画像は、周囲照明情報に少なくとも部分的に基づいて処理することができる。そのような画像処理は、顔認識ソフトウェアを使用して環境照明情報を処理し、環境照明を除去して、色を較正された設定に忠実なものに修正することを含み得る。

【0067】

本明細書のシステムおよび方法は、デバイスの画像センサおよびオプションでデバイス上の光源を使用してマーカの画像の取り込みを介してユーザを対話的に誘導し、次に少なくとも部分的にマーカ画像に基づいて皮膚領域画像を処理するステップをさらに含み得る。デバイスイメージセンサの現在の設定は、マーカ画像の正常な取り込みに基づいて保存できる。デバイスのイメージセンサ設定には、とりわけ、絞り、露出、露出時間、焦点、感度、および／またはホワイトバランスを含めることができる。皮膚領域の画像は、保存されている画像センサ設定に基づいて処理できる。皮膚領域画像の処理には、未知の光源の補正が含まれる。

【0068】

ユーザのスキャンは、イメージセンサとオプションの光源を備えたデバイスを使用してオブジェクトの正確な色をキャプチャする方法を使用して行うこともでき、これには、既知のサイズおよび／または既知の色のマーカを使用してデバイスの複数の設定を較正することと、物体の複数の表面のそれぞれの色を測定することと、測定された色に基づいてオブジェクトの表面反射率を決定することと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変化を決定することと、が含まれる。複数の表面は皮膚の領域を含むことができ、デバイスおよびマーカは上記のとおりであり得る。

【0069】

デバイスは、例えば、実質的に白いフィールドにマーカを配置するようにユーザに指示することにより較正されてもよい。デバイスの較正には、取り込まれた実質的に白いフィールドの画像に基づいて、絞り、感度（感度を測定するためのＩＳＯ単位に基づく）、露光時間、露光、および／またはデバイスのホワイトバランスの少なくとも１つを設定することが含まれる。デバイスの較正には、デバイスのイメージセンサ（携帯電話のＬＥＤトーチなど）に関連するライトを既知の明るさに設定することも含まれてもよい。これにより、ホワイトバランスを制御し、デバイスのイメージセンサの露出を設定でき、例えば、モバイルスマートフォンの場合、カメラの露出が調整される。デバイスの較正には、マーカの表面から特定の距離にデバイスイメージセンサを配置するようにユーザを対話的に案内することも含まれる。デバイスの較正は、マーカの表面から特定の距離にデバイスイメージセンサを配置する際に、デバイスの設定の少なくとも１つをロックすることをさらに含んでもよい。デバイスの設定は、自動露出、露出時間、感度、自動焦点、および／または自動ホワイトバランスにすることができる。デバイスのロック設定は、オブジェクトの各表面の色を測定しながら適用できる。

【0070】

ＬＥＤトーチを有するモバイルスマートフォンカメラを使用する１つの好ましい実施形態におけるデバイス較正では、そのような各デバイスは高度の品質管理で製造されるため、同様のモデルの個々のデバイスは同様に機能する。ただし、モデルごとに異なる機能とコンポーネントのセットがあるため、モデルごとに照明と露出の特性に大きな違いがある。各モデルには特定のＣＣＤコンポーネントがある。ＣＣＤコンポーネントが異なると、光に対する応答も異なる。各モデルには異なるＬＥＤアレイ光源コンポーネントがあり、各ＬＥＤコンポーネントは異なる光スペクトルを生成する。さらに、各モデルには、画像を取得して照明を調整するオペレーティングシステムソフトウェアの特定のバージョンが含まれている場合がある。電話機の各モデルおよび主要なオペレーティングシステムの各バージョンについて、ＬＥＤ光源に対するカメラの応答を較正する方法が必要である。システムの較正の一実施形態は、皮膚の色に対する特定の応答とは別に、光に対するＣＣＤの応答を較正することである。ＬＥＤトーチの照明に対するＣＣＤの応答は、既知のグレー反射率ターゲットのセットを測定するために、上記のスキャン方法（較正表面とタップを使用）を使用して実行される。ターゲットは、反射率が分かるように製造されており、拡散反射率の高い段階から低い段階への均一なステップを表す。システムの応答曲線は、このデータを使用して決定される。同じプロセスが較正マーカに対して実行され、次に肌のトーンを表す一連のターゲットに対して実行される。ターゲットは、皮膚の反射率を表すように製造するか、既知の測定値を持つ被験者の皮膚の領域にすることができる。ターゲットは、幅広い肌のトーンと色を表すように選択される。

【0071】

各デバイスのカラー較正応答は、グレースケール応答曲線を使用して各デバイスのスキンメジャーを線形性に変換することにより構築される。次に、基準として較正マーカを使用して、各色の応答がホワイトポイントに較正される。次に、調整された色応答をターゲットからの既知の測定値にマッピングすることにより、各デバイスの変換が構築される。結果のデバイス較正は、アプリケーションからアクセス可能なＯＡＰＴＡサービスプロセスサーバに保存できる。デバイスのイメージングソフトウェアに変更がある場合、または新しいデバイスを含める場合にのみ更新する必要がある。

【0072】

オブジェクトの表面の色は、マーカをオブジェクトの表面の近くに配置するようにユーザに指示することで測定できる。対象物の表面の色を測定することは、デバイスのイメージセンサと対象物を相互に位置合わせして較正対象に一致させるようにユーザを対話的に誘導することも含み得る。対話型ガイダンスには、音声および／またはビデオの指示と、振動や音のフィードバック（ピーン音など）などの他のユーザキューを含めることができ、ユーザがデバイスを描画したキューなど、別のステップが必要であることをユーザに知らせることができ、表面から十分に離れて、最高のデータを提供する。物体の表面の色を測定することは、マーカから特定の距離にデバイス画像センサを配置する際に、物体の表面の色を取り込むことをさらに含むことができる。オブジェクトの表面反射率を決定することは、取り込まれた色をオブジェクトの表面反射率に変換することも含み得る。

【0073】

本明細書の方法およびシステムで使用するオブジェクトの正確な色を取り込むために使用できるシステムは、それ自体がコンピュータ実行可能命令を格納するメモリおよびメモリに格納された命令を実行する処理ユニットを含む少なくとも１つのコンピュータを含む。命令の実行は、操作を実行するようにコンピュータを構成し、既知のサイズのマーカを使用してデバイス（イメージセンサおよび／または好ましくは光源を持つことができる）の複数の設定の較正をすることと、物体の複数の表面のそれぞれの色を測定することと、測定された色に基づいてオブジェクトの表面反射率を決定することと、較正された設定、測定された表面色、および物体の表面反射率に基づいて、物体の表面色の変化を決定することと、を含む。複数の表面は、上記のように皮膚の領域を含むことができ、デバイスは上記のものであり得る。マーカはさらに既知の反射率を持つことができる。本明細書で言及されるように、その最も単純な形態および使用法では、マーカは、既知のサイズおよび既知の反射率を備えた白い紙であり得る。

【0074】

装置を較正することは、実質的に白いフィールド上にマーカを配置するようにユーザに指示することを含み得る（または実質的に白いフィールドを有するマーカとして紙の白いシートを使用する）。デバイスの較正には、取り込まれた実質的に白いフィールドの画像に基づいて、デバイスの絞り、感度、露出、露出時間、ホワイトバランスの少なくとも１つを設定することも含まれる。デバイスの較正には、デバイスのイメージセンサに関連付けられたライトを既知の明るさに設定することも含まれる。さらに、デバイスの較正には、マーカの表面から特定の距離にデバイスイメージセンサを配置するようにユーザを対話的に誘導することが含まれる。そうすることで、ユーザはユーザデバイスの相互作用（ハプティックインターフェイス）によってポイントに到達し、デバイスが振動するか、デバイスが最適な光源の明るさとフォーカスして最高のユーザデータ収集を実現するための好ましい距離に到達したという別のキューをユーザに与える。さらに、デバイスの較正は、マーカの表面から特定の距離にデバイスイメージセンサを配置する際に、デバイスの設定の少なくとも１つをロックすることを含み得る。デバイスの設定は、自動露出、自動焦点、露出時間、感度、および／または自動ホワイトバランスであり得る。デバイスのロック設定は、オブジェクトの各表面の色を測定しながら適用できる。

【0075】

物体の表面の色を測定することは、物体の表面の近くにマーカを配置するようユーザに指示することを含んでもよい。オブジェクトの表面の色を測定することは、較正対象に一致するようにデバイスイメージセンサとオブジェクトとを相互に配置するようにユーザを対話的に誘導することも含み得る。対話型ガイダンスには、音声指示および／またはオプションでビデオ指示および／または振動および／または通知音などのユーザフィードバックを含めることができる。物体の表面の色を測定することは、マーカから特定の距離にデバイス画像センサを配置すると、物体の表面の色を取り込むことをさらに含み得る。物体の表面反射率を決定することは、捕捉された色を物体の表面反射率に変換することを含み得る。

【0076】

各スキャン領域の情報には、色情報、鏡面反射の量、上記のカラーバリエーションおよびその他の情報が含まれるべきである。ユーザデータ収集には、ユーザフィードバック情報（特定の成分を除外または追加するなど）も含まれる場合がある。このユーザデータ収集情報は、上記のように検索キーにエンコードされる。キーは、将来の注文のためにユーザに関連付けられる場合がある。次に、アルゴリズムがキーを使用して連続ｎ空間で検索を実行し、ミックス式を返す。ミックス値はトランザクションに添付される。注文に対して生産システムが選択され、注文が作成される。作成された注文は顧客に送信される。

【0077】

ユーザが製品を受け取って評価するとき、場合によっては、ユーザは製品を変更または変更し、再注文することができる。そのために、ユーザは一連の手順に従って製品を変更できる。この製品の変更は、参照ＯＡＰＴＡフィードバックを提供するための基礎の作成の拡張である。オリジナルのＯＡＰＴＡを作成する際、ユーザは、カメラと光センサの要件、および画像センサ、より好ましくは光源を備えた他の消費者または専門デバイスである、例えば、携帯電話、タブレット、ウェブカメラ、デジタルカメラ、ゲーム機、テレビ、バーチャルリアリティゴーグル、スマートグラス、ホームアシスタント（Ａｌｅｘａ（商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（商標）など）で撮影した写真に適用される画像分析技術を用いて、上記の参照により本明細書に組み込まれる特許に記載されているさまざまな方法とシステム、および特定の個人の特性に最適化された局所薬剤を指定および処方するためのそのようなシステムと方法のさまざまな実装を使用できる。

【0078】

（最適化された審美的および／または保護的局所薬剤）
一実装形態では、本明細書では「ＯＡＰＴＡ」と略される「最適化された審美的および／または保護的局所剤（Ｏｐｔｉｍｉｚｅｄ Ａｅｓｔｈｅｔｉｃ ａｎｄ／ｏｒ Ｐｒｏｔｅｃｔｉｖｅ Ｔｏｐｉｃａｌ Ａｇｅｎｔ）」と呼ばれるカスタマイズされた局所剤の仕様を生成するシステムが提供される。ＯＡＰＴＡは、ここでは「ユーザ」と呼ばれる特定の個々のクライアントのニーズと特性に合わせて策定されている。ＯＡＰＴＡには、可能なコンポーネントのセットを含めることができる。セットは、特定のユーザのほとんどのニーズを満たすのに十分な大きさにすることができる。場合によっては、ユーザのＯＡＰＴＡの特定の定式化で使用されるコンポーネントの数はわずかである。ＯＡＰＴＡは、ファンデーション、メイクアップ、スキンケア、サンケア、その他のカラー化粧品、パーソナルケア製品などの美的目的、カバレッジ目的、および／または保護目的で皮膚に使用されるさまざまなタイプの化粧品になるように作成でき、制限的であると考えられるべきではない。したがって、アプリケーションは任意のカスタマイズされた化粧品処方とすることができるが、簡略化のために、出願人はすべてのそのようなカスタマイズされた化粧品処方を集合的にＯＡＰＴＡとも呼ぶ。ＯＡＰＴＡのコンポーネント（ＯＡＰＴＡコンポーネントセット）には、次のものが含まれるが、これらに限定されない。

【0079】

局所用基剤、水、溶媒、エマルジョン、ゲル、ガム；
水分および保湿剤；
紫外線（ＵＶ）フィルタおよび／または日焼け止め活性剤；
不透明（隠蔽）薬剤；
色調整剤；
反射（光沢、マット、乳光）制御剤；
抗炎症剤（アロエなど）；
保護剤（ビタミンＥなど）；
着色剤および／または染料；
増粘剤および／またはレオロジー剤；
緩衝液およびその他のｐＨ調整剤または中和剤；
有機添加物および／または香料；並びに
保存料および抗真菌剤または抗菌剤

【0080】

ユーザは、上記のモバイルデバイス、コンピュータ、またはその他の関連デバイスを使用できる。デバイスは、アプリケーションを実行および／またはアプリケーションをダウンロードする機能を備えていることが好ましく、初期ＯＡＰＴＡが製品に処方された後に別の新しいＯＡＰＴＡを修正および／またはプロアクティブに要求するユーザインターフェースを備えていることが好ましい。ユーザはログインして注文を選択するか、注文番号を入力できる。最初のＯＡＰＴＡを作成せず、ユーザが新しいＯＡＰＴＡを変更および／または作成することを選択した場合、ユーザにはオーダーを変更するためのインターフェースが表示されることが望ましい。ただし、システムのバリエーションには、必要に応じてユーザヘルプサービスへのアクセスを組み込むことができる、ユーザ支援の音声プロンプトまたは単語プロンプトを介した音声コマンドアクションを持つ音声専用デバイスの使用が含まれることがあることを理解されたい。

【0081】

図１を参照すると、１つの例では、次の高レベルの手順を使用して、初期ＯＡＰＴＡがユーザに提供される。簡潔さと明確さのために、ユーザにＯＡＰＴＡを提供するためのすべてのステップの集約は、ここでは「サービス」と呼ばれる。ステップ１０２では、例えば、本システムへのアクセスを提供するユーザ名とパスワードとを使用して、ユーザが識別される。もちろん、ログイン確認識別子（テキスト確認番号、写真識別子、指紋、網膜セキュリティなど）などを含む、他のログイン方法および／またはセキュリティ手順を実装することができる。ユーザが以前にシステムを使用したことがない場合、ユーザは登録に進んで新しいアカウントをセットアップできる（ステップ１０４）。次に、ユーザの詳細（名前、住所など）をユーザデータベース１５０に保存できる。システムによってユーザが識別されると（ログインなど）、データを収集して（ステップ１０６）ユーザのニーズと好みを決定できる（例えば、ユーザが希望する化粧品を示したり、以前に使用した好みのブランドや製品を示したり、ユーザはアレルギーを指定したり、肌の画像をキャプチャしたりすることができる）。インターフェースは、ユーザに初期調査を完了するためのプロンプトを提供し、質問と回答のプロンプトは、必要なデータを提供するのに役立つ。データ収集ステップは、対面専門相談などの専門サービスを使用して実行することもでき（ステップ１０８）、あるいは、消費者デバイス（例えば、携帯電話、タブレット、デジタルカメラ、または本明細書に記載のその他のデバイス）のアプリケーションを使用して写真を撮ることによってユーザ自身で実行することができることが好ましい（ステップ１１０）。その後、色の精度、品質、およびその他の特性について写真を自動的に検証する（ステップ１１２）。専門サービスおよび／またはデバイスアプリケーションによって取り込まれた情報は、後で参照および再利用するために、ユーザデータベース１５０に保存できる。

【0082】

データ収集（または以前に収集されたデータへの参照）に続いて、ステップ１１４はＯＡＰＴＡ仕様を提供し、ＯＡＰＴＡのコンポーネントは上記のようなコンポーネントを使用して指定される。ステップ１１６では、ＯＡＰＴＡ仕様に基づいて、ＯＡＰＴＡを策定および／または製造するための命令が生成される。ユーザがアプリケーションを使用してＯＡＰＴＡを生成している場合、アプリケーションは作成するカスタム製品を表示し（ステップ１１８）、ユーザが製品をショッピングカートに入れ（ステップ１２０）、購入することができる（ステップ１２２）。次に、生成された配合指示書を使用してＯＡＰＴＡを合成したり、配合に一致する既製のＯＡＰＴＡを選択したりすることができる（ステップ１２４）。次に、ＯＡＰＴＡをユーザに配信し（ステップ１２６）、フィードバックをオプションで収集して、ユーザのニーズが満たされたかどうかを判断できる（ステップ１２８）。

【0083】

（ＯＡＰＴＡシステム〕
一実装形態では、ユーザにＯＡＰＴＡを提供するシステム２００は、コンポーネントおよびサービスのセットで構成される。システム２００は、システム２００内の様々なＯＡＰＴＡサービスによる使用のために、上述したような共有ＯＡＰＴＡコンポーネントセット２１０を含むことができる。少なくとも１つのＯＡＰＴＡ参照サービス２２０は、参照使用のコレクションのためのＯＡＰＴＡの作成およびＯＡＰＴＡメタデータ２３０のアセンブリを容易にすることができる。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同じ方法でユーザデータを収集し、追加のユーザデータを収集して最適な初期ＯＡＰＴＡ仕様を策定することができる。

【0084】

ＯＡＰＴＡメタデータ２３０は、ＯＡＰＴＡ生産サービス２４０から収集されたユーザデータをＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡ仕様にマッピングできる形式でＯＡＰＴＡ参照サービス２２０から収集されたユーザデータのアセンブリである。少なくとも１つのＯＡＰＴＡ生産サービス２４０は、少なくとも１つのＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡメタデータ２３０を使用してＯＡＰＴＡ仕様の作成を提供する。

【0085】

ＯＡＰＴＡシステムフィードバック２５０は、ＯＡＰＴＡコンポーネントセット２１０を修正または変更し、および／または仕様、定式化および／またはＯＡＰＴＡ生産サービス２４０の２６０の合成を修正するために、少なくとも１つのＯＡＰＴＡ参照サービス２２０および少なくとも１つのＯＡＰＴＡ生産サービス２４０からのＯＡＰＴＡフィードバックの収集を提供する。

【0086】

（共有ＯＡＰＴＡコンポーネントセット）
共有ＯＡＰＴＡコンポーネントセット２１０は、以下で説明するように指定できるが、共有ＯＡＰＴＡコンポーネントセット２１０は、本明細書で説明するＯＡＰＴＡシステム内で同様に機能する様々な適切な方法で指定できることを理解されたい。皮膚科医、エステティシャン、および美容用カラリストで構成されるグループは、本書では「ＯＡＰＴＡ専門家グループ」の例として参照される。一実装形態では、共有ＯＡＰＴＡコンポーネントセット２１０は、ＯＡＰＴＡ専門家グループによって指定される。共有ＯＡＰＴＡコンポーネントセット２１０は、最初にフルセットとして指定され、次に、相互に使用できるコンポーネントを示す接続のセットとして指定される。例えば、特定の局所ベースでのみ使用可能な着色剤のセットを指定したり、一緒に使用して不透明度を高めるために連携するコンポーネントのグループを最も効果的であると指定したりできる。同様に、特定のアレルギーや肌の状態のあるユーザに最適なアイテムのグループを識別し、タグ付けすることができる。

【0087】

コンポーネントのこの初期マッピングは、ＯＡＰＴＡ生産サービス２４０の仕様方法のデータを提供し、ここでは「仕様ヒント」と呼ばれる。本明細書の一実施形態では、仕様ヒントは、無向グラフとして表され、これは最小スパニングツリーのセットに変換される。無向グラフを評価するよりも、どのコンポーネントを一緒に使用できるかを発見するために、最小スパニングツリーを横断する方が速いことを理解されたい。この変換後、共有ＯＡＰＴＡコンポーネントセット２１０の単一のアイテムは、仕様ヒントを構成する複数のスパニングツリーによって参照できる。初期作成後、仕様ヒントはＯＡＰＴＡシステムフィードバック２５０によって更新または検出され、ＯＡＰＴＡ専門家グループによって変更される。

【0088】

（ＯＡＰＴＡ参照サービス）
ＯＡＰＴＡ参照サービス２２０は、共有ＯＡＰＴＡコンポーネントセット２１０が指定された後に構築され得る。ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０を構築するのに必要なＯＡＰＴＡメタデータ２３０を生産する。例示的な一実施形態では、ＯＡＰＴＡ参照サービス２２０は専門的サービスとして構成される。別の実施形態では、ＯＡＰＴＡ参照サービス２２０は、オンラインビジネスおよび小売店として構成される。以下の説明では、専門家サービスとしてのＯＡＰＴＡ参照サービス２２０の実装を例として使用する。

【0089】

（参照ユーザＩＤ）
専門家サービスとして、ＯＡＰＴＡ参照サービス２２０は、ユーザＩＤを管理するためのベストプラクティスを使用できる。これに加えて、プライバシーポリシーと情報使用ポリシーを実装して、参照サービス２２０が匿名でユーザを識別しない形式でユーザデータを収集および保存できるようにし、ＯＡＰＴＡメタデータ２３０の構築に使用することもできる。ＯＡＰＴＡシステム２００が使用するデータについても、いくつかの考慮事項に基づいて契約を結ぶことができ、これにより、システム２００の生産コンポーネントのユーザは、類似のＯＡＰＴＡ製品ニーズを有する特定の参照ユーザ（有名人など）を識別できる。

【0090】

（参照ユーザデータの収集）
ＯＡＰＴＡ参照サービス２２０は、ＯＡＰＴＡ生産サービス２４０と同じデータ収集を使用することができる。さらに、このデータは、ＯＡＰＴＡ専門家グループが指定したデータ収集方法で拡張できる。

【0091】

（共通サービスデータ収集）
一実施形態では、サービスデータ収集は、同様の機能を有し、同様の情報収集およびメディア表示特性を有するように製造されたモバイルデバイスのセット上のアプリケーションを使用する。モバイルアプリケーションは、データを収集するための一連の手順をユーザに説明できる。例えば、アプリケーションは、特定のニーズ、アレルギー、または関心のある肌の状態があるかどうかをユーザに尋ねることができる。アプリケーションは、ユーザに次に実行するステップを指示するビデオを表示でき、および／またはモバイルゲームのコンテキストを使用してデータを取得および最適化したりできる。モバイルデバイスを選択し、アプリケーションを構築して、各コレクションから一貫したデータを提供できる。一貫した画像データの収集は、次の方法の１つ以上を使用して実行できる。

【0092】

１．一例では、既知の特性を持つ製造されたトークンまたはマーカ（例えば、新しいドル紙幣の一部、新しい２５セント硬貨、白い紙、または製造されてユーザに送信されるマーカ）が使用される。モバイル・デバイス・アプリケーション（または他のデバイスアプリケーション）は、マーカの一部だけ、および／または該当する場合はユーザの肌の横にあるマーカの写真を撮るようにユーザに指示できる。画像はＯＡＰＴＡサービスに送信され、そこで使用されるマーカに基づいて較正され、必要なデータが画像から生成される。

【0093】

２．別の例では、基準カラーチャートがユーザデバイス画面に投影され、ユーザは同じフレームで自分の肌と基準カラーチャートの両方を撮影する鏡で写真を撮るように指示される。画像はＯＡＰＴＡサービスに送信され、そこで使用されるマーカに基づいて較正され、必要なデータが画像から生成される。

【0094】

３．さらなるデータ収集の例では、モバイルデバイスの内部フラッシュ（またはＬＥＤトーチ）が光源として使用され、ユーザは特定の方法で自分の肌の１枚以上の写真を撮るように指示される。画像はＯＡＰＴＡサービスに送信され、焦点距離を含むデバイスからのフラッシュおよびＥｘｉｆデータに基づいて較正され、必要なデータが画像から生成される。

【0095】

４．別の例では、ＯＡＰＴＡ製品の出荷に使用されるパッケージは、モバイルデバイスを保持して遮光を提供し、ユーザの皮膚から特定の距離を定義するように設計されている。ユーザは、特定の方法で自分の肌の１枚以上の写真を撮るように指示される。画像はＯＡＰＴＡデータ収集サービスに送信され、焦点距離を含むデバイスからのフラッシュおよびＥｘｉｆデータに基づいて較正され、必要なデータが画像から生成される。

【0096】

５．別の好ましい例では、ソフトウェアがカメラを制御できるモバイルデバイス上のアプリケーションによって画像をキャプチャできる。デバイスで実行されているソフトウェアは、デバイスに常駐するフラッシュやライト（ＬＥＤトーチなど）のみを使用するようにデバイスを設定でき、および／またはデバイスの顔検出を使用して、画像の撮影時間を計ることもできる。例えば、ユーザの顔までの距離が既知の距離内にある場合、および／またはユーザの顔が中心にあり焦点が合っている場合に、画像を撮影することができる。モバイルデバイスで実行されているソフトウェアは、リアルタイム・ビデオ・キャプチャを使用して周囲の光量（フラッシュを使用しない）を判断し、音声、テキスト、音声、または効果プロンプトを使用して、ユーザに対話的に照明を変更する方法を提案する。デジタル写真がフラッシュで撮影される前にビデオモードで検出された環境照明に関する情報は、処理のために画像とともに送信できる。さらに、２つの画像を連続して撮影することができ、１つは周囲光であり、もう１つはフラッシュである。

【0097】

カメラおよびＬＥＤトーチを備えたモバイルスマートフォンなどのイメージセンサを備えたデバイス上の光源を使用して正確な肌の色をキャプチャすることについて、さらに詳細に説明する。本技術は主に正確な肌の色を取り込むことに関して説明されているが、特に測色計を使用する状況では他の用途が可能であることを理解されたい。

【0098】

図３Ａは、モバイルデバイスまたは画像センサを備えた他のデバイスを使用して肌の色をキャプチャするプロセスの一実装形態を示している。ステップ３１０において、デバイスは、白または実質的に白のフィールド上の既知のサイズのマーカを使用して較正され、マーカ自体は、上述の標準サイズの紙などの白フィールドであってもよい。ステップ３３０において、システムは、マーカに隣接するオブジェクトの表面（例えば、皮膚領域）の色を測定する。ステップ３５０では、既知のサイズのオブジェクトの色が測定され、ステップ３７０では、システムは、ステップ３３０および／またはステップ３５０で見つけられた輝度に基づいてオブジェクトの表面の色変化を測定する。

【0099】

ここで図３Ｂを参照すると、デバイス較正ステップ３１０がさらに詳細に示されている。一部の実装では、デバイスの較正には、既知のサイズと既知の反射率のソフトウェア検出可能オブジェクト（「マーカ」）を既知のサイズと既知の反射率の白または実質的に白いフィールド（特定の用紙など）に配置するか、または白フィールドであるマーカを使用する設定が必要である。この設定およびオブジェクトは、製造することができ、および／または、例えば、製品包装の一部にすることができ、またはスキンケア製品などのパッケージ製品内に含めることができる。あるいは、この設定は、２枚のコピー／プリンタ用紙などの既知のプロパティを持つ白いフィールドまたは実質的に白いフィールドに、コインなどの既知の特性を持つ共通オブジェクトまたは他のオブジェクトを配置するか、単に既知のサイズと反射特性を持つ白いフィールドであるマーカとしての白い紙を用いて作成できる。較正に使用される距離は、周囲光の影響を低減するために、測定された表面に十分に近いと判断できる。

【0100】

ステップ３１２において、デバイス上のソフトウェアアプリケーションは、較正に使用される設定を設定、配置または構築するようにユーザに指示することが好ましい。ソフトウェアは、デバイス上のカメラに特定のビデオまたは画像キャプチャモードを設定し、カメラに関連付けられたライトを既知の輝度に設定できる（ステップ３１４）。デバイス上のソフトウェアは、フィールド上のマーカの取り込み画像を対話的に表示することができ（ステップ３１６）、マーカを検出し、マーカの位置および／またはユーザのマーカ特性をハイライトおよび／またはアウトライン表示することができる（ステップ３１８）。いくつかの実装では、マーカの位置をオフセットして、ソフトウェアが白いフィールドを使用して、デバイスの絞り、感度、露光時間、ホワイトバランスなどの所望のデバイス設定を設定できるようにする。

【0101】

ステップ３２０において、ソフトウェアは、好ましくは、デバイスのカメラが特定の距離に配置されることになるマーカの所望のサイズおよび／または位置を表示および／またはハイライト表示する。このサイズと位置は、本明細書では「較正ターゲット」と呼ばれる。ソフトウェアは、ハイライト表示されたマーカを較正対象と一致させるようにユーザに対話的に指示することができる（ステップ３２２）。ユーザがマーカを較正対象と一致するようにデバイスを配置すると、ソフトウェアはデバイスに自動露出、自動フォーカス、感度、露出時間、自動ホワイトバランスをロックさせることができる（ステップ３２４）。このロックは、絞り、感度、露出時間、シャッター速度、焦点、ホワイトバランスを、既知の反射率を持つ表面までの所定の距離に効果的に較正する。設定のホワイトポイント（およびその他のデータ）を記録し、後続のセッションを較正するために使用できる（ステップ３２６）。

【0102】

ここで図３Ｃを参照すると、オプションの隣接表面色測定ステップ３３０がさらに詳細に示されている。一実施形態では、オブジェクトの色を測定するには、デバイスのカメラからオブジェクトの表面の表面までの距離を設定するか、少なくとも既知にする必要がある。オブジェクトのサイズが固定されていない場合は、較正手順で使用したのと同じサイズのマーカを測定対象の表面に隣接して配置することでこれを実行できる。

【0103】

ステップ３３２において、デバイス上のソフトウェアは、測定される表面に隣接してまたはその上にマーカを配置するようにユーザに指示してもよい。ステップ３３４では、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成することが好ましい。ソフトウェアはオプションで、オブジェクトに隣接するマーカの取り込み画像（ステップ３３６）（または、マーカの取り込み画像のみ）を対話的に表示でき、該当する場合は、オブジェクトの表面の領域のアウトラインを統合および測定表示することを含む（つまり、「見本」）（ステップ３３８）。ステップ３４０で、ソフトウェアは、見本で見つかった色を統合し、見つかった色を対話的に表示することができる。ソフトウェアは、マーカを検出し、ユーザのマーカの位置を対話的にハイライトまたはアウトライン表示することもできる（ステップ３４２）。マーカの位置をオフセットして、見本がホワイトポイントの較正に使用される取り込み画像の領域と一致するようにすることができる。

【0104】

ステップ３４４で、ソフトウェアは、ハイライト表示されたマーカを較正ターゲットと一致させるようにユーザに対話的に指示する。ユーザがマーカを較正対象と一致するようにデバイスを配置すると、ソフトウェアはスウォッチの統合された色をオブジェクトの未処理の色値として記録できる（ステップ３４６）。ソフトウェアは、既知の技術を使用して、見つかったホワイトバランスとデバイスの特性に関する保存データを適用し、見つかったオブジェクトの未処理のカラー値をオブジェクトの表面反射率に変換できる（ステップ３４８）。

【0105】

ここで図３Ｄを参照すると、オブジェクト色測定ステップ３５０がさらに詳細に示されている。測定対象物が既知のサイズまたは既知のサイズの特徴を持っている場合、これらの特徴のサイズを使用して、測定対象物までのデバイスのカメラの距離を決定できる。例えば、肌の色の測定では、ユーザの手首の幅、またはユーザの瞳孔間の距離を使用して、デバイスのカメラからユーザの皮膚までの距離を検出できる。

【0106】

ステップ３５２では、デバイス上のソフトウェアは、ユーザにカメラをオブジェクト（例えば、手首、顔、左右の頬、額、左右の顎、または他の皮膚領域）に向け、オブジェクトをディスプレイ上のアウトラインと一致する位置に保持するように指示する。ステップ３５４で、ソフトウェアは、較正ステップ３１０からロックされた設定を維持または再作成する。ソフトウェアは、手首または他のオブジェクトの取り込み画像を対話形式で表示し、手首の見つかった幅をハイライト表示できる（ステップ３５６）。ソフトウェアはさらに、統合および測定されているオブジェクトの表面のエリアのアウトライン（すなわち、見本）を示すことができる（ステップ３５８）。ステップ３６０で、ソフトウェアは見本で見つかった色を統合し、見つかった色をユーザに対話形式で表示できる。

【0107】

ソフトウェアは、マーカを検出し、ユーザの手首の位置を対話的にハイライトまたはアウトラインを描くように機能することもでき（ステップ３６２）、また、較正距離に合わせて手首のターゲット位置を対話的に強調または輪郭を描くことができる（ステップ３６４）。ソフトウェアはさらに、ハイライト表示されたマーカを較正ターゲットと一致させるようにユーザに対話的に指示することができる（ステップ３６６）。ユーザが手首を手首のターゲットと一致するようにデバイスを配置すると、ソフトウェアは見本の統合された色を手首の未処理の色値として記録できる（ステップ３６８）。ステップ３７０において、ソフトウェアは、既知の技術を使用して、発見されたホワイトバランスおよびデバイスの特性に関する保存データを適用し、発見された手首の未処理の色値をオブジェクトの表面反射率に変換できる。

【0108】

図３Ａのステップ３７０に戻ると、オブジェクトの全反射率が既知であり、デバイスが較正され、物体の一部の色が既知である場合、オブジェクトの表面色の変動を測定することができる。例えば、人の手首の内側と外側の色が既知であり、瞳孔内距離を使用して人の額の色が検出された場合、積分反射率が既知の値と一致するようにデバイスを配置することにより、肌の色調の変化を測定できる。

【0109】

（顔領域検出）
例示的な一実施形態では、本システムは、ユーザ用にカスタマイズされた局所薬剤を定式化する一部として、ユーザの顔またはユーザの顔の一部を含む画像に対して処理を実行する。図４Ａに示されるように、顔領域検出が画像上で実行され（ステップ４００）、較正された色および反射率情報が提供される（ステップ４２０）。以下でさらに説明するように、カラーセグメンテーション（ステップ４４０）、顔領域の色割り当て（ステップ４６０）、および最終的な顔領域の色較正（ステップ４８０）も実行することができる。

【0110】

一部の実施形態では、画像がＯＡＰＴＡデータ収集サービスによって受信されると、較正された色および反射率情報を提供するために処理される。較正プロセスを支援するために、顔領域検出プロセス（ステップ４００）を使用することができる。例えば、デジタル写真の顔、目、口、鼻の位置を検出するための、上記の顔認識ソフトウェアの使用など、オープンソースやその他の技術が存在する。さらに参照するために、Ｈａａｒ Ｃａｓｃａｄｅ Ｃｌａｓｓｉｆｉｅｒは、顔の特徴を検出するために構築されたトレーニングセットで使用できる。この機能を提供するために使用できるソフトウェアパッケージと関連するトレーニングセットは、ＯｐｅｎＣＶ（ｏｐｅｎｃｖ．ｏｒｇ）にある。Ｇｉａｒａｎ、Ｉｎｃ．などの追加のソフトウェアおよび顔認識プロセスも使用できる。

【0111】

上記のような適切な手順によって決定された顔の特徴の位置を使用して、既存のオープンソースおよび他の技術または利用可能なソフトウェアを使用して、デジタル写真の個別の顔の特徴の位置を検出できる。参考のために、大規模なトレーニングセットで開発されたアクティブな形状モデルを使用できる。この機能を証明するために使用できるソフトウェアパッケージと関連データの１つは、ｓｔａｓｍライブラリ（オープンソースの顔の特徴検出ライブラリ）、Ａｐｐｌｅ Ｘ ３－ｄモデリングソフトウェア、ＡＲＫｉｔ、またはＧｉａｒａｎ Ｉｎｃ．から入手可能なソフトウェアとシステムおよび／または米国特許公開番号２０１７／００７６４７４号明細書に記載されている。上記のすべてのデバイス設定および／または顔認識ソフトウェアを使用して、正しい色および関連するユーザデータを見つけてモデル化することができる。

【0112】

上記で決定された個別の顔の特徴点は、その後、多角形領域のセットに組み立てられる。一実装形態では、顔は７７個の認識された特徴点を含むが、任意の適切な数の特徴点および領域を使用することができる。認識される領域には、次の一部またはすべてを含めることができるが、これらに限定されない：

【0113】

顔全体（すべての領域を含む）；
額；
右頬；
左頬；
鼻；
鼻の橋；
口（両方の唇を含む）；
顎；
右眉毛；
左眉毛：
右目；
左目；
上唇；
下唇；
右顎線；および／または
左顎線

【0114】

（色較正）
図４Ｂは、ステップ４２０をさらに詳細に、すなわち、取り込まれた画像を使用して較正された色および反射率情報を提供する方法を採用する１つの方法を示している。ステップ４２２において、画像は較正であり、マーカが使用される場合、マーカは認識され、マスクされる。画像はＹＵＶ色空間に変換され（ステップ４２４）、ＵＶ画像成分の２Ｄヒストグラムが構築される（ステップ４２６）。次のステップ４２８では、ＵＶヒストグラムで２Ｄセグメンテーションを実行して、ハイライト、ボディカラー、スポットカラーを表す色のセットを見つける。Ｙ画像成分の輝度ヒストグラムを作成し（ステップ４３０）、輝度ヒストグラムに対して１Ｄセグメンテーションを実行して、例えば、ボディカラーの反射率、ハイライト反射の振幅（光沢）、シャドウ輝度を表す輝度セットを見つける（ステップ４３２）。次に、ステップ４３４で、組み合わされたＵＶおよび輝度セットを使用して、較正されたｎ次元ベクトルが構築される。このベクトルは、以降「ｎＣｏｌｏｒＶｅｃｔｏｒ」と呼ばれる。注目すべきは、ｎＣｏｌｏｒＶｅｃｔｏｒには、肌の光沢と色の変化（斑点）を表すデータを含めることができることである。

【0115】

別の例示的な方法では、デジタル写真は、ＪＰＥＧ圧縮または交換可能画像ファイル形式（Ｅｘｉｆ）データにあるＩＦＤタグなど、デジタル写真に埋め込まれたデータに少なくとも部分的に基づいて較正できる。写真の撮影に使用されるデバイスの特性を使用して、色を事前に較正できる。カメラからユーザの顔までの距離は、本明細書で上述したような顔の特徴の検出によって見つかった眼間距離によって決定できる。デジタル写真に埋め込まれたショットデータ（明るさ、フラッシュ特性など）をカメラからの距離と組み合わせて、画像の輝度を調整できる。さらに、周囲照明情報や周囲照明画像など、撮影時にデバイスに常駐するソフトウェアによって送信される追加データを使用して、周囲照明の色補正を行うことができる。

【0116】

（カラーセグメンテーション）
カラーセグメンテーションを作成する別の方法は、デジタル写真の処理の一部としてである。カラーセグメンテーションを実行する１つの方法（ステップ４４０）を図４Ｃに示す。ステップ４４２において、デジタル写真は、肌の色調を識別するために必要な解像度と一致するより小さいサイズに再サンプリングされる。サイズは、主要な顔の領域の寸法によって決定できる。例えば、サイズはｎｅｗＳａｍｐｌｅＨｅｉｇｈｔ＝（Ｉｍａｇｅ．ｈｅｉｇｈｔ＊１２８）／ｓｑｒｔ（ピクセル単位の顔領域）として計算できる。この再サンプリングされた写真は、以下「セグメンテーション画像」と呼ばれる。

【0117】

セグメンテーション画像は、例えば、肌色をＲＧＢ表現から肌の色調の主成分表現に変換する３×３マトリックス変換を使用して色空間に変換することができる（ステップ４４４）。本明細書では、肌の色調の主成分空間を「ＳＴＰＣＡ」と呼ぶことにする。この変換は、マッチングデバイスを使用してさまざまなユーザが撮影した（例えば、特定の携帯電話で撮影することで関連付けられた）デジタル写真から肌の色調のＲＧＢ色の大きな配列に対して主成分分析を実行することで見つけることができる。この画像は「ＰＣＡセグメンテーション画像」と呼ばれる。主成分分析は、ベクトルのセットの次元を減らすよく知られた方法である。

【0118】

ＰＣＡセグメンテーション画像の主成分チャネル（チャネル０）は、バンドパスフィルタなどの追加のフィルタリングを適用することによりセグメンテーションのために準備される（ステップ４４６）。ステップ４４８では、分水変換などの周知の技術を使用することにより、セグメンテーションを実行することができる。得られた画像は、本明細書では「セグメンテーションラベル画像」と呼ばれる。次いで、各セグメンテーションラベル画像領域内のＰＣＡセグメンテーション画像チャネル０の最も明るいピクセルを使用して、各セグメンテーションラベル領域にＳＴＰＣＡ値を割り当てることができる（ステップ４５０）。

【0119】

（顔領域の色の割り当て）
ここで図４Ｄを参照すると、顔領域の描写が与えられると、領域の肌の色調を決定するための１つの手順（すなわち、ステップ４６０）は以下の通りである。ステップ４６２では、例えば、黒い背景上に白い多角形として領域を描くことにより、顔領域の領域マスクが生成される。上述のカラーセグメンテーションプロセスにより生成されたセグメンテーションラベル画像は、領域マスクによりマスクされて「顔領域ラベル画像」を生成する（ステップ４６４）。次に、ステップ４６６において、顔領域ラベル画像内のセグメンテーションラベル領域は、面積およびシャドウおよび鏡面ハイライトを表すＳＴＰＣＡ値からラベル領域の割り当てられたＳＴＰＣＡ値の距離を最大化することにより等級付けされる。次に、最高のグレードのセグメンテーションラベル領域のＳＴＰＣＡ値が「顔領域の色」として指定される（ステップ４６８）。

【0120】

（最終的な顔領域の色較正と追加データ）
図４Ｅに示すように、最終的な顔領域の色較正（ステップ４８０）は、次のステップを使用して実行できる。ステップ４８２では、目の顔領域の色が決定および割り当てられ、特に目の強膜のグレーレベルが決定される。ステップ４８４では、目の領域における鏡面反射のセグメント化を使用して、フラッシュおよび／またはトーチが発射されたかどうか、および他の点光源が存在するかどうかを判定することができる（以下のさらなる説明を参照）。鏡面反射サブ領域は、各顔領域について検出され、「光沢」値は、全体の領域サイズに対するそのサイズに基づいて、各顔領域について決定される（ステップ４８６）。目の光沢度の指標は、他の領域の較正にも使用できる。

【0121】

ＳＴＰＣＡ値、グレーレベル、および光沢値の最終的な変換は、中間形式ではなく、化粧品の製造に使用される材料特性に直接変換できる（ステップ４８８）。さらに、ＳＴＰＣＡのＲＧＢまたはＬＡＢカラースペースへの変換は、ユーザの視覚化のために実行できる。これらは、元のＰＣＡマトリックスの修正版を使用して実行でき、グレーレベルと光沢値とによって調整される。

【0122】

上記のように、顔領域の色較正には、目の領域での鏡面反射の評価に基づいて、光源（カメラフラッシュやＬＥＤトーチなどの既知の光源以外）の存在と色を決定することが含まれる。一実装形態では、このプロセスには次の手順が含まれる。

【0123】

デジタル写真から赤チャンネルを差し引く。高周波数では比較的少数のピクセル（例えば約２ピクセル）、低周波数ではより多くのピクセル（例えば約５または６ピクセル）のバンドパスフィルタを使用して詳細を削除する。結果に対してヒストグラムを実行し、ヒストグラムに含まれるピクセル数の９９％でしきい値を取得して、すべての最も高いライトを決定する。最も高いライトを約２０ピクセル拡大して、ライトのマスクを作成する。約１０ピクセルの高周波数と約２０ピクセルの低周波数で、結果の画像に別のバンドパスフィルタを適用すると、目の虹彩の引き抜きを含む、より広い特徴を持つ画像が得られる。目の暗い部分を約１０ピクセル拡大して、虹彩の逆、または目の暗い部分と発見されたハイライトとの交差をもたらす。初期入力を使用して、目の中の明るいスポット（つまり、光の反射）のしきい値を設定する。結果のスポットを使用して入力画像の元の色をマスクし、未知の光源があるかどうかを判断する。発見された未知の光源を差し引き、色を較正する。

【0124】

（参照サービスに固有のユーザデータ収集）
共通サービスデータ収集は、参照ＯＡＰＴＡ仕様のＯＡＰＴＡ専門家グループを支援する追加のデータ収集によって拡張できる。一実装形態では、このデータには次の１つ以上が含まれる。

【0125】

可視、ＩＲ、およびＵＶカラー分光データ；
双方向反射率データ；
特定の顔の皮膚部位の顕微鏡写真（および皮膚の健康状態の評価）；
ラマン分光光度計、質量分光光度計、またはその他の機器を使用した表面の皮膚の油または残留物の分析；および／または
インタビューによる共通サービスデータコレクションによって提供される拡張データ。

【0126】

（参照ＯＡＰＴＡ仕様）
ＯＡＰＴＡ専門家グループは、参照ユーザデータコレクションに基づいて、ユーザのカスタムＯＡＰＴＡを作成する際に使用するコンポーネントと量を指定できる。仕様と参照ユーザデータをコンパイルして、ＯＡＰＴＡメタデータ２３０にエントリを作成できる。

【0127】

（参照ＯＡＰＴＡ製剤）
ＯＡＰＴＡ専門家グループは、コンポーネントを組み合わせてＯＡＰＴＡ製品を作成するために使用される順序と方法を指定する一連の指示を提供できる。この指示セットは、ＯＡＰＴＡメタデータ２３０の現在のエントリに追加できる。

【0128】

（参照ＯＡＰＴＡ配合）
一実装形態では、ＯＡＰＴＡ製剤２６０に基づいて、ＯＡＰＴＡ製品が手動で調合される。別の配合方法では、配合指示および共有ＯＡＰＴＡコンポーネントセット２１０のレビューが、配合指示に基づいてＯＡＰＴＡ製品を自動的に配合する装置で使用される。例示的な装置は、出願人の同時係属中の出願第１５／８５５，０６４号に詳細に記載されており、ＯＡＰＴＡ製品の作成およびさらにそのような製品の配送に関連する部分に組み込まれている。しかし、好ましくはプログラム可能であり、電子および／またはデジタル制御システムに応答する、当技術分野で知られている他の適切な混合および混合装置が好ましい。

【0129】

（参照ＯＡＰＴＡ配信）
ＯＡＰＴＡ製品は、同じ場所または異なる場所で複合された後、ユーザがシステムを使用している間に、オンプレミスでサービス場所のユーザに配信されてもよい。サービスポイントと同じ場所または異なる場所で配合した後のＯＡＰＴＡ製品は、ユーザに直接提供または出荷できる。

【0130】

（参照ＯＡＰＴＡ収集）
参照ＯＡＰＴＡ収集は、専門サービスを介した請求を通じて達成できる。さらに、支払い情報は、共通サービスデータ収集の一部として収集されてもよく、支払いは、当技術分野で知られている様々なオンライン支払い方法、好ましくは安全な支払いサービスおよび／またはショッピングカート機能を通じて、ＯＡＰＴＡ配信および／または注文時に収集されてもよい。

【0131】

（参照ＯＡＰＴＡフィードバック）
ＯＡＰＴＡ製品が配信およびテストされた後、ユーザのフィードバックはインタビューを通じて収集される場合がある。フィードバック情報は、一般的なサービスデータ収集に使用されるモバイルアプリケーションによって収集される場合もある。

【0132】

（ＯＡＰＴＡメタデータ）
ＯＡＰＴＡメタデータ２３０は、ユーザデータ収集を含む以下の例示的なデータフィールドのうちの１つ以上を含み得るが、ＯＡＰＴＡを形成するために望まれる他のフィールドが提供または使用されてもよい：

【0133】

共通サービスデータ；
ユーザＩＤ；
地理的地域；
性別；
誕生日；
日付；
結合ベクトル；
紫外線照射；
アレルギーベクトル；
ｎ色ベクトル；
特定のデータを参照；
肌の色のスペクトル；
双方向反射率データ；
特定の顔の皮膚部位の顕微鏡写真；
皮膚表面の油指数；
参照仕様；
参照製剤の指示；
ユーザデバイスのオペレーティングシステム；
ユーザデバイスのソフトウェア情報；
ユーザの美容プロフィール（色、光沢、および／または不透明度）；および／または
仕様ヒントにあるスパニングツリーのタグ。

【0134】

上記のデータは、スキャン、調査やクエリなどのユーザの自己報告、デバイスセンサ（ＧＰＳなど）から収集したオンボーディングデータからの自己報告データ、およびソーシャルメディアサイトから取得したデータを介して取得できる。

【0135】

結合ベクトルは、ｎ空間の点と考えることができる。各コンポーネントの大きさは、システム全体の重要度に正規化される。

【0136】

参照データは、既知のＯＡＰＴＡを正確に定式化できる、例えば肌の色、反射率、アレルギー、および／または本明細書で説明する他のデータに関連する定義値を含む１つ以上のグラウンド・トゥルース・データセットを含み得る。つまり、グランド・トゥルース・データセットの特定の値セットに対して、それらの値に対して最適化された事前定義済みの局所薬剤が存在する可能性がある。事前定義された外用剤は、ＯＡＰＴＡの配合会社の商用製品や第三者の市販製品など、既存の製品と類似または同じものにすることもできる。したがって、ユーザに最適なＯＡＰＴＡを決定する１つの方法は、ユーザの取り込んだ肌データとグラウンド・トゥルース・データセット値の相対的な近接性を決定し、最も近いデータセット値を選択することである。これらの最も近い値に対応するＯＡＰＴＡまたは既存の製品は、ユーザに対して選択された一意の化合物になる。

【0137】

（ＯＡＰＴＡ生産サービス）
ＯＡＰＴＡ生産サービス２４０は、十分な数の記録がＯＡＰＴＡメタデータ２３０に収集され、参照サービスＯＡＰＴＡ調合手段が自動化された後に構築することができる。

【0138】

（運用ユーザＩＤ）
ＯＡＰＴＡ生産サービス２４０は、ユーザがソフトウェア、例えばモバイルアプリケーションを購入し、初めてアプリケーションを起動するときに、ユーザＩＤを作成および管理し始める。このサービスは、ユーザデータを保持するデータストアを作成し、ユーザＩＤに基づいてデータを取得する。ユーザＩＤには、出荷および請求情報を含めることもできる。

【0139】

（運用ユーザのデータ収集）
ＯＡＰＴＡ生産サービス２４０は、ＯＡＰＴＡ参照サービス２２０について前述した共通サービスデータ収集を使用することができる。特定のセッションのユーザの共通サービスデータは、運用ユーザＩＤと共に保存される。

【0140】

（運用ＯＡＰＴＡ仕様および定式化）
ＯＡＰＴＡ生産サービス２４０は、ＯＡＰＴＡ参照サービス２２０によって生成されたＯＡＰＴＡメタデータ２３０を使用して仕様を合成する。例えば、上記のように収集および処理された顔画像データに基づいて、特定のユーザの顔色を、化粧品の処方がすでに定義されている既存の参照顔色に一致させることができる（例えば、実際の参照ユーザに基づいて、グランド・トゥルース・データセットなど）。特定の製剤がユーザと互換性があるかどうかを判断する際に、アレルギーなど、ユーザ固有の特性を考慮することができる。システムによって導出された新しい製剤は、将来の使用のために参照として保存できる。

【0141】

一実装形態において、ＯＡＰＴＡ製品を処理および注文するために、システムは、上記のように、ユーザの運用ユーザＩＤにリンクされたユーザの現在の共通サービスデータを取得し、ＯＡＰＴＡメタデータ２３０内の共通サービスデータ結合ベクトルに最も近い一致を決定する。結合されたベクトルと最も近い一致との距離が遠すぎる場合、参照ユーザに昇格して現在の注文を終了するかどうかをユーザに問い合わせることができる。

【0142】

システムは、第１の一致のスパニングツリータグによってフィルタ処理された次の最も近い一致を見つけ、幾何代数または特異値分解を使用して、超平面を記述する第３のフィルタ処理された一致点を見つけることができる。結合ベクトルと超平面の表面との間の距離が大きすぎる場合、参照ユーザに昇格して現在の注文を終了するかどうかをユーザに問い合わせることができる。見つかった基準点ごとに、ブレンド値が決定され、最も近い一致に共通する各コンポーネントのブレンドを追加することで仕様が作成される。最後に、最も近い一致のＯＡＰＴＡメタデータからの定式化が、ユーザに適した定式化として選択される。したがって、最初のＯＡＰＴＡおよび最初のカスタマイズされた化粧品配合が作成される。

【0143】

（生産ＯＡＰＴＡ配合）
システムは、本明細書で説明されるＯＡＰＴＡ参照サービス２２０の実装によって指定される自動化された調合方法を使用することができる。一実施形態では、これは共有リソースである。または、同様の自動化機器を備えた複数の場所があり、ユーザの地理的な場所に最も近い場所が選択される。

【0144】

ＯＡＰＴＡ製品は、ユーザが本明細書に記載のステップを進めた後、要求に応じて配合することができ、これにより、初期のカスタマイズされた化粧品処方を決定することができる。追加または代替として、製剤から送達までの時間を短縮するために、事前にＯＡＰＴＡ製品を配合することができる（例えば、最も一般的な製剤を配合して在庫することができる）。いくつかの実施形態において、システムによって決定された製剤は、他のベンダーおよびブランドからの既存の製品にマッピングされる。例えば、他の製品の配合、成分、色、および／または他の既知の特性に基づいて、システムはユーザのカスタマイズされた化粧品の配合を他の製品と比較し、類似度のしきい値（例えば、７５％、８０％、９０％など）に最も類似するか、または適合するしきい値を決定できる。一例として、システムは、ユーザのファンデーションがアルマーニファンデーションに８８％一致し、ロレアルファンデーションに８２％一致すると判断できる。システムはまた、ユーザに他の一致した製品を表示し、ユーザがユーザのカスタマイズされた処方に加えて、または代替としてそれらを購入できるようにすることにより、ユーザが購入する市販製品またはＯＡＰＴＡに基づいてカスタマイズされた化粧品の処方は、最終的にはユーザにとって望ましいマッチに少なくとも近いか近いはずである。

【0145】

（運用ＯＡＰＴＡ配信、収集、およびフィードバック）
ＯＡＰＴＡ製品は、自動化された配合場所、倉庫、小売店、またはＯＡＰＴＡ製品を配合および／または保管できる他の場所からユーザに出荷できる。ユーザは、システムで利用可能な運用ユーザの識別情報を使用して、出荷時に請求できる。一実装形態では、ユーザは、一般的なサービスデータコレクションを提供するモバイルアプリケーションを使用して、フィードバックやその他のデータを提供できる。

【0146】

（ＯＡＰＴＡシステムフィードバック）
一実装形態では、ＯＡＰＴＡシステム２００は、生産ＯＡＰＴＡフィードバック２５０のレビューを容易にし、ベクトルフィードバックを組み合わせたＯＡＰＴＡメタデータ２３０の共通サービスデータのギャップと重要なフィードバックを比較するように構成される。システム２００は、スペースがあまりにもまばらである場合、ソリューションからの許容最大距離を調整し、モデルのギャップを埋めるために運用ユーザを参照ユーザにアップグレードすることができる。

【0147】

ＯＡＰＴＡシステム２００の実装は、適切なハードウェアまたはソフトウェアを使用でき、例えば、ＯＡＰＴＡシステム２００は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ＯＳ Ｘ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ｉＯＳ（登録商標）プラットフォーム、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（商標）プラットフォーム、Ｌｉｎｕｘ（登録商標）オペレーティングシステムおよびＵＮＩＸ（登録商標）オペレーティングシステムの他のバリアントなどのオペレーティングシステムを実行可能なシステム上で実行することができる。

【0148】

説明した機能の一部またはすべては、ユーザデバイス上のソフトウェアおよび／またはハードウェアに実装できる。ユーザデバイスには、スマートフォン、スマートウォッチ、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲーム機器、音楽プレーヤ、携帯電話、バーチャルリアリティゴーグル、ラップトップ、パームトップ、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、ホームアシスタント（Ａｌｅｘａ（商標）やＧｏｏｇｌｅ（登録商標）Ｈｏｍｅ（商標））など、カメラ、ワイヤレスデバイス、情報機器、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、またはその他のコンピューティングデバイスを備えていることが望ましい本書に記載されている機能を実行できる汎用コンピュータまたは専用ハードウェアデバイスが含まれるが、これらに限定されない。例えば、ソフトウェアは、処理ユニット、システムメモリ、およびシステムメモリを含むさまざまなシステムコンポーネントを処理ユニットに結合するシステムバスを含むコンピュータの形で、汎用コンピューティングデバイス上で実装できる。

【0149】

追加または代替として、機能の一部またはすべてをリモートで、クラウド内で、またはサービスとしてのソフトウェアを介して実行できる。例えば、１つ以上のリモートサーバまたは上記のユーザデバイスと通信する他のデバイスで、一致する機能を実行できる。リモート機能は、十分なメモリ、データストレージ、処理能力を備え、サーバークラスのオペレーティングシステム（例えばＯｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、ＧＮＵ／Ｌｉｎｕｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムファミリーなど）を実行するサーバークラスのコンピュータで実行できる。

【0150】

システムは、メモリに格納され、プロセッサで実行される複数のソフトウェア処理モジュールを含むことができる。例として、プログラムモジュールは、１つ以上の適切なプログラミング言語の形態であり得、機械語またはオブジェクトコードに変換されて、１つまたは複数のプロセッサが命令を実行できるようにする。このソフトウェアは、適切なプログラミング言語またはフレームワークで実装されたスタンドアロンアプリケーションの形にすることができる。

【0151】

本明細書で説明する技術の方法ステップは、入力データを操作して出力を生成することにより機能を実行するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行できる。方法のステップは、専用ロジック回路、例えばＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行することもでき、装置として実装することもできる。モジュールは、その機能を実施するコンピュータプログラムおよび／またはプロセッサ／特別な回路の一部を指すことができる。

【0152】

コンピュータプログラムの実行に適したプロセッサには、例として、汎用および専用マイクロプロセッサの両方が含まれる。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受け取る。コンピュータの重要な要素は、命令を実行するプロセッサと、命令とデータを保存する１つ以上の記憶装置である。コンピュータプログラムの命令およびデータを具体化するのに適した情報担体には、例として、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体記憶装置、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリが含まれる。１つまたは複数のメモリに、メディア資産（例えば、オーディオ、ビデオ、グラフィック、インターフェース要素、および／またはその他のメディアファイルなど）、構成ファイル、および／または、プロセッサによって実行されるとモジュール、エンジン、およびここに記載されている他のコンポーネントを形成する命令を格納することができ、これらのコンポーネントに関連する機能を実行することができる。プロセッサおよびメモリは、専用ロジック回路で補完するか、組み込むことができる。

【0153】

様々な実装において、ユーザデバイスは、本明細書で説明される機能の実行を促進するウェブブラウザ、ネイティブアプリケーション、または両方を含む。Ｗｅｂブラウザを使用すると、デバイスはＷｅｂページまたはその他のダウンロード可能なプログラム、アプレット、またはドキュメントを（例えば、サーバから）Ｗｅｂページ要求で要求できる。Ｗｅｂページの一例は、表示、実行、再生、処理、ストリーミング、および／または保存でき、他のＷｅｂページへのリンクまたはポインターを含むコンピュータ実行可能または解釈可能な情報、グラフィック、サウンド、テキスト、および／またはビデオを含むデータファイルである。一実装形態では、デバイスのユーザがサーバにＷｅｂページを手動で要求する。または、デバイスはＷｅｂブラウザで自動的に要求を行う。市販のＷｅｂブラウザソフトウェアの例には、Ｇｏｏｇｌｅ（登録商標）Ｃｈｒｏｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｍｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、およびＡｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）が含まれる。

【0154】

一部の実装では、ユーザデバイスにはクライアントソフトウェアが含まれる。クライアントソフトウェアは、本書で説明する機能の実装と実行を提供する機能をデバイスに提供する。クライアントソフトウェアはさまざまな形式で実装でき、例えば、ネイティブアプリケーション、Ｗｅｂページ、ウィジェット、および／またはＪａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、．Ｎｅｔ、Ｓｉｌｖｅｒｌｉｇｈｔ、Ｆｌａｓｈ、および／または、デバイスにダウンロードされ、Ｗｅｂブラウザと連動して実行されるその他のアプレットやプラグインの形式にすることができる。クライアントソフトウェアおよびＷｅｂブラウザは、単一のクライアント／サーバインターフェイスの一部にすることができ、例えば、クライアントソフトウェアは、Ｗｅｂブラウザまたは別のフレームワークまたはオペレーティングシステムへのプラグインとして実装できる。ウィジェットフレームワークおよびアプレット技術を含むがこれらに限定されない他の適切なクライアントソフトウェアアーキテクチャも、クライアントソフトウェアと共に使用することができる。

【0155】

通信ネットワークは、デバイスを１つ以上のサーバに接続したり、および／または相互に接続したりできる。通信は、標準電話回線、ＬＡＮまたはＷＡＮリンク（Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５など）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、ワイヤレスリンク（８０２．１１（Ｗｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡなど）などの媒体を通じて実行され得る。他の通信メディアも可能である。ネットワークはＴＣＰ／ＩＰプロトコル通信、およびＷｅｂブラウザによって行われたＨＴＴＰ／ＨＴＴＰＳ要求を伝送でき、クライアントとサーバ間の接続はそのようなＴＣＰ／ＩＰネットワークを介して通信できる。他の通信プロトコルも可能である。

【0156】

このシステムは、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境でも実行できる。分散コンピューティング環境では、プログラムモジュールは、メモリストレージデバイスを含むローカルおよびリモートのコンピュータストレージメディアに配置できる。デバイスの容量と必要なデータ処理能力の量に応じて、ここで説明したもの以外の他のタイプのシステムハードウェアおよびソフトウェアも使用できる。システムはまた、上述したものなどの仮想化オペレーティングシステムを実行し、本明細書で説明したものなどのハードウェアを有する１つ以上のコンピュータ上で動作する１つ以上の仮想マシン上で実装することができる。

【0157】

場合によっては、リレーショナルデータベースまたは他の構造化データベースは、例えば処理用のデータを保存するデータベース管理システムなどの機能を提供できる。データベースの例には、カリフォルニア州レッドウッドショアーズのＯＲＡＣＬＥ Ｃｏｒｐ．が提供するＭｙＳＱＬデータベースサーバまたはＯＲＡＣＬＥデータベースサーバ、カリフォルニア州バークレーのＰｏｓｔｇｒｅＳＱＬグローバル開発グループが提供するＰｏｓｔｇｒｅＳＱＬデータベースサーバ、またはＩＢＭが提供するＤＢ２データベースサーバが含まれる。

【0158】

また、システムおよび方法の実装は、１つ以上の製品上またはその中に組み込まれた１つ以上のコンピュータ可読プログラムとして提供できることに留意されたい。プログラム命令は、人工的に生成された伝播信号、例えば、データ処理装置による実行のための適切な受信装置への送信のための情報を符号化するために生成された機械生成電気、光学、または電磁信号で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、またはそれらの１つ以上の組み合わせであり得、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号にエンコードされたコンピュータプログラム命令のソースまたは宛先になり得る。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）であるか、それに含まれ得る。

【0159】

（ユーザ操作の例）
ユーザは、ウェルカムページなどのユーザインターフェースを介してアプリケーションに関与し、１つ以上のベース製品にユーザを誘導できる。インターフェースは、ユーザが１つ以上の製品を表示できるようにするリストまたはスクロールタイプのオプションを有する。トップページで、ユーザはログインしたり、スキャンを開始したり、製品を購入したりできる。そのようなカート機能として、ログイン機能およびユーザ選択と対話式のスキャン機能が使用されることが好ましい。ユーザは次のステップを選択する。スキャンが開始されると、ユーザは対話型ガイダンス（ビデオ、音声、振動、プロンプトなど）を使用して、上記のようにユーザを較正およびスキャンに導く。ユーザは、アプリケーションをソーシャルメディアＷｅｂサイト（ＦａｃｅｂｏｏｋやＧｏｏｇｌｅなど）に関連付け、そのＷｅｂサイトまたはアプリケーションを介してサーバに直接ログインできる。ログインに問題がある場合、ユーザは設定された回数の再試行、パスワードの再設定、またはカスタマーサービスへの連絡を求められる場合がある。ログインすると、ユーザは既存のプロファイルを読み込むか、製品を注文するかどうかを尋ねられる。新規ユーザは、ＯＡＰＴＡメタデータとして使用するユーザデータを提供するように求められ、検索キーにエンコードされてユーザＩＤの作成に使用される。

【0160】

製品を選択した後、または最初のスキャン（較正手順を含む）を完了した後、ユーザは製品（前のセッションからの既存のカスタマイズされた化粧品製剤、または非カスタム製品または新しいカスタマイズされた化粧品（例えば、ユーザはファンデーションを作成したが、今はアイメイク製品を作成したい場合）を選択するように促される。ユーザのカート、ギフトオプション、再注文などを確認するためのオプションが提供され得る。アプリケーションは、約３０日以上の再注文に適したスキャンの実行をユーザに促すこともある。注文が完了すると、注文が処理される。アプリケーションは、注文履歴、注文中の製品のプレビュー、および製品の詳細も含み得る。ログインまたはアプリケーションをＦａｃｅｂｏｏｋなどのサービスと関連付けることで一般的に提供されるように、製品の注文は、アプリケーションを介して関連するソーシャルメディアＷｅｂサイトと通常の方法で共有され、友人または他のユーザがアプリケーション内においてユーザの友人として関連付けられて追加される。他のユーザ（既知または不明）がアプリケーションを介して「フォロー」され、ユーザプロファイルを変更したり、友人がアプリケーションに招待されたりする場合がある。

【0161】

このアプリケーションでは、ユーザは、検索キーへのインターフェースである美容プロファイルにユーザを移動させるためのユーザインターフェースのプロフィールタブ（図８を参照）を介してユーザの現在の美容プロファイルにアクセスすることができる。美容プロファイルにより、ユーザはユーザの個人データにアクセスし、更新されたスキャン情報をユーザの検索キーに組み込んでエンコードするスキャンを再実行し、スキャン設定を行うことができる。また、ユーザはギフトを送信することもでき、紹介、友人の関連付けまたはリスト、ヘルプサポートの検索、顧客サービスへの連絡、フィードバックを提供する。フィードバックは、アプリケーションがＯＡＰＴＡメタデータに関連付け、ユーザの検索キーにエンコードされた情報を更新するユーザデータ収集も提供する。スキャンの実行、製品およびユーザ情報プロファイルの注文へのリンクも、現在のプロファイルインターフェイスに配置できる。

【0162】

（検索キーの変更）
ユーザインターフェースは、検索キーの内容に基づいて構築される。第１の画面は、例えば、色、乾燥度、不透明度、カバレッジ率、ＳＰＦおよび／または製品の仕上げなどの編集のための検索キーに関連付けられた主要な検索コンポーネントを提示してもよい。

【0163】

本明細書の一実施形態では、図５～図７に示されるように、ユーザが修正する色を選択する場合、例えば、図５に示すように、中心に元の色の画像を示すとともに、元の色の画像の周りに色の変化をパターン形式で示すようにインターフェースが構築される。カラーパターンのバリエーションは、ユーザ用に作成された初期カスタマイズ化粧品のＯＡＰＴＡデータセットのデータと、変更される近隣色との以前の相互作用の統計記録を使用して構築できる。例えば、必要とされる可能性が最も高い変更は、輝度をわずかに暗くまたは明るくするか、わずかにオレンジを増やすか、オレンジを少なくすることであると判断される場合がある。明るい／暗い色は垂直に、少ない／多いオレンジは水平に表示される。他の色の選択肢は、より多くの赤やより多くの黄色など、より可能性の低いオプションに基づいてこれらの選択肢を囲む場合がある。

【0164】

次に、ユーザは、図５の選択「ａ」など、自分のニーズまたは好みに最も近い変更を選択できる。さらなる例示的な実施形態では、インターフェースは、次に、図６のように中央に新しい色を示し、その隣に古い色を示してもよい。図６の新しい選択肢「ａ」（現在中央）を囲む色は、最後の選択と最も可能性の高い選択肢に基づいて、わずかに小さいまたは大きい色またはトーンステップを示している。「ａ」に満足した場合、ユーザは最終的にカスタマイズされた最終製品としてその選択肢を選択するか、図６の項目「ｂ」などの現在表示されている追加オプションを選択でき、その場合、項目「ｂ」の選択は図７のように中央に移動する。

【0165】

図８に示されるような別の実施形態では、本明細書で説明されるようなアプリケーションと共にあり得るユーザインターフェース画面のグラフィカル表現は、ユーザプロファイル５００を示す。プロファイルには写真がある（人物のイラストとして表示されるが、実際の実施形態では、デジタル写真が表示されることが望ましいであろう）。ユーザの画像５０２はオプションであるが、ユーザの基本的な識別情報を表示し、アプリケーションに送信されたユーザの特性を表示するのに役立つ。アプリケーションは、ユーザまたはユーザのスキャン（または更新されたスキャン）からの写真またはビデオを使用し、顔認識ソフトウェアを使用して顔の特徴やユーザの顔のマッピングを検出するための関連ソフトウェアをアクティブ化することもできる。写真は、好ましくは、ユーザ調査および／または顔検出ソフトウェアから取得され、ユーザの現在の表示をユーザに提供して、ユーザの美容プロファイルを評価するために参照し、変更のためのコンポーネントの特徴を検索する。インターフェース画面は、ユーザのデータ収集から取得したユーザの一般的な特性の要約５０４と、ユーザフィードバック、顔検出、顔のマッピング、スキャン調査、ユーザ入力、および上記の更新されたユーザスキャンからのＯＡＰＴＡメタデータ情報も含み得ることが好ましい。この例では、ユーザに、特定の肌タイプ（「淡い／中位ベージュ」）、目の色（「青色／緑色」）、特定の髪のタイプ（「茶色／ウェーブ」）（ユーザの写真画像データによってスキャンまたは入力される場合がある）およびユーザが入力したユーザ設定（「プレミアム成分」）およびユーザの関心（「目の下のくま」および「パラベンに敏感」）が表示される。

【0166】

上記および図８に示すような美容プロファイル５００は、ユーザの検索キーを編集して、ユーザのカスタマイズされた化粧品および関連するＯＡＰＴＡ仕様を変更するための代替基盤を提供する。ユーザの画像５０２（上記のように、更新されたスキャン、顔検出および／または顔認識ソフトウェアを介して対話形式で更新できる）および一般プロファイル概要５０４情報の使用は、少なくとも１つ以上の検索コンポーネントを介した検索キーの変更での使用を含み、例えば暗いから明るいスライド５０６（例えば、メラニンと肌の色合いを測定する）、冷たい色から暖かい色のスライド５０８などに関するプロファイル特性を示す１つまたは複数のスライドスケールを含み（例えば、選択は可変である緑／赤から青／黄色のトーンまで）、および日光感受性の評価に使用できる肌の色調または自然な色調に関連するアンダートーンスライド５１０を含む。他のスライドまたは調整可能なコンポーネントは、乾燥コンポーネントまたはカバレッジコンポーネントを含み得る。すなわち、ユーザは、肌が乾燥しているとき（冬など）に、配合物の成分の保湿能力を変更したい場合がある。また、ユーザは、より滑らかな外観のために追加のカバレッジが必要な場合は、より厚くおよび／または不透明度の低い製剤を希望する場合がある。スライダ、バリエーションの選択、セレクターボタンなどは、すべてこのような変更要求に使用できる。また、ユーザからの要求された変更について、書面または口頭でのフィードバック用のフィードバックページを単に含めることもできる。フィードバックデータは、ユーザデータ収集から派生したＯＡＰＴＡメタデータに組み込むことができ、このデータは、ユーザの検索キーにエンコードされたコマンドを確立し、更新済みのＯＡＰＴＡ仕様に関連付けて変更された検索キーに基づいて混合および最終製品を準備するために、最初のユーザカスタマイズされた化粧品処方に関して上記のように利用される。

【0167】

初期ユーザプロファイルには、初期プロファイルが完了したときのユーザの概要を含めることができる。初期プロファイルは、ＯＡＰＴＡ仕様の作成に使用されるＯＡＰＴＡメタデータ内のユーザのデータコレクションに関連する検索キーの検索コンポーネントに関連付けられたユーザデータを表す。プロファイルは、既存の市販製品（例えば、カスタマイズされていない製品）またはカスタマイズされた化粧品製剤に最も近いグラウンド・トゥルース・データセットにユーザを一致させるために、アプリケーションを使用するユーザ向けに開発されたＯＡＰＴＡに関連する場合がある。一致するものが何であれ、ユーザに自動的に選択され、ユーザに一致して、ミックスに使用されるＯＡＰＴＡ仕様を作成し、ユーザに合わせてカスタマイズされた初期化粧品製剤を生成する。

【0168】

一実施形態では、ユーザは、ユーザインターフェース上の製品表示と顔の特徴検出ソフトウェアの表示を組み合わせて、ユーザにインタラクティブなインターフェースを提供して、検索キーの検索コンポーネントのインタラクティブな編集に従事することができ（例えば、ユーザの画像に表示される製品の参照プロファイルに関連付けられた検索コンポーネントをアプリケーションが表示できるように検出された画像（頬領域など）の領域に接触することによって、ユーザは、表示された製品の検索コンポーネントを参照して、ユーザ自身の検索コンポーネントを変更でき、ユーザ検索キーを変更し、変更または新しいカスタマイズされた化粧品を作成する。

【0169】

ユーザがカスタマイズされた製品を評価すると、ユーザは、上記のように、代替手段を試してみたいと判断する場合がある。例えば、ユーザは、肌の色調の変化、美的理由、または異なる外観のいずれかのために、異なる配色プロファイルを取得したい場合がある。次に、ユーザは、インターフェースを介して検索コンポーネントを変更し、図８（図５～図７のバリエーションの色選択円）のようなスライドを使用して、ユーザの検索キーを変更し、顔認識ソフトウェアとメイクアップ試着アプリケーションが画面に統合されている場合、またはスライダを使用して新しい一致を初期化する場合、プロファイル画面のユーザの画像においてトーンの変化がどのように見えるかを確認することができる。これを行うために、アプリケーションは、選択５１２を使用して「スキャンを更新する」ようにユーザに要求する場合がある。また、ユーザは他のアプリケーション固有のデータ（ユーザが注文または変更する可能性のある以前のお気に入り製品など）を使用することもある。ソーシャルネットワーク経由でログインするユーザは、アプリケーションに統合されている可能性のある友人、またはユーザが「フォロー」しているアプリケーション内の友人または他のユーザの外観に従って、同様の色と外観が選択されている他のユーザの製品を確認できる。ユーザがこれらのさまざまなフィードバック選択を使用して外観または製品注文を変更したい場合、ユーザはスキャンを更新し、スライダ（または図５から図７に関して上記で説明した色選択画面）を使用して、変更されたプロファイル、または、新しい個別のプロファイルを選択する。各プロファイルは、ユーザの検索キーとユーザＩＤ情報に保存され、以降の注文に使用できる。

【0170】

製品は、変更された検索キーを使用して再注文および製造できる。ユーザとの対話の主なポイントは次のとおりである。ユーザには、検索キーの各要素を変更するためのインターフェースが表示される。各検索キーコンポーネントの選択のバリエーションは、変更される近傍によって決定される（色のバリエーション選択画面、スライダ、または他の同様のメカニズムとして表現されるかどうか）。その検索キーコンポーネントの近傍の分散量を使用して、提示される変動量を決定する。要求された変動の統計記録は、ユーザに提示される変動の方向を示すために使用される。ユーザがあまりありそうにないケースを編集できるように、追加の選択が提供される。元の変更されていない値が、現在選択されている値の隣に表示される。ユーザはオプションで、将来の注文に備えて関連する検索キーを更新できる。

【0171】

別の実施形態では、ユーザは、カスタム製造を使用して生産されなかったが、上記のカスタム製品と同じシステムおよび方法によって特徴付けられた既存の製品を変更したい場合がある。したがって、最初の一致は最初のユーザＯＡＰＴＡの非カスタム製品に対して行われた可能性があるが、ユーザはその処方を変更したい場合がある。この特徴付けは、製品をカスタマイズ可能にすることを含むことが好ましいが、そうする必要はない。最小限のケースは、製品の各シェードまたはＳＫＵが既知のユーザおよび既知の検索キーと一致することである。そのような製品のデータベースが構築され、各製品ＳＫＵで検索可能で、製品の検索キーが返される。

【0172】

上記のように、非カスタム製品を使用して検索キーを作成することができ、その検索キーはグラウンド・トゥルース・データベースに存在する場合がある。したがって、ユーザは（カスタマイズされた製品の既存のプロファイルがある場合でも）ＳＫＵ（検索キー）を持つ既存の非カスタム製品を使用して新しいプロファイルを作成する決定をし、それを変更することもできる。この実施形態の相互作用には、以下が含まれる。ユーザは、モバイルデバイス、ウェブサイトまたは他のデバイスを使用して製品を変更することができる。ユーザがログオンし、ユーザがカスタマイズする非カスタム製品を選択し、選択は、バーコードのスキャン、名前の検索、製品の識別、および／または製品の写真から選択でき、非カスタム製品に関連付けられた検索キーは、グラウンド・トゥルース・データベースにあり、また、検索キーは、前の実施形態で説明したように、新しいカスタム製品を変更および生成するために使用される。

【0173】

ユーザプロファイルを変更するためのその他のオプションも提供される。これには、参照データとプロフェッショナルグループを使用して推奨されるいくつかのオプションを含む初期プロファイルをユーザが取得できるようにすることなどがあり、１つ以上の非カスタム市販製品およびカスタマイズされた製剤を含んでもよく、各ユーザは、初期ユーザデータとスキャンデータとからアプリケーションに入力されたユーザデータによって選択される。前述のように、既存の非カスタム製品は、ユーザの検索キーに関連付けられ、ユーザインターフェースを介してユーザに提示される場合がある。上記のように、グラウンド・トゥルース・データベース内の検索キーに関連付けられた非カスタム製品の近隣もユーザに関連付けられ、それらの貢献スカラは表示に使用される。

【0174】

ユーザの検索キーを編集する一実施形態では、これらの製品は選択肢のセットとして表示される。選択肢は、「最も近い一致」値（９９％ランク、８０％ランクなど）によってランク付けされ、グラフィカルに表示されるか、「試着」ソフトウェアを使用してユーザがユーザの画像にランク付けされた推奨事項を表示できるようにする。あるいは、ユーザは、グラフィカルディスプレイまたはシェードキーと同様のグラフィカルディスプレイを有する製品の画像で色合いを見て、ユーザが所望の製品を選択できるようにしてもよい。他の選択肢は、ユーザの初期選択がアプリケーションとの今後の対話に適さないとユーザが判断した場合、代替選択肢として試行されるか、新しいクエリが送信されるように、代替選択肢としてユーザ検索キーに保存される。各ユーザインタラクションには、更新されたユーザスキャンとユーザプロファイルのレビューが含まれていることが好ましいため、アプリケーションはユーザの肌の色調、傷、新しい肌色の変化領域、髪の色の変化、好みの変化などを検出できる。更新されたスキャンにより、アプリケーションはユーザデバイスと対話して、ユーザデバイスにおける変更（新しいデバイス、更新されたオペレーティングシステム、更新されたバージョンのオペレーティングシステムなど）、ソフトウェア、モデル番号などの変更を確認および更新し、すべてがユーザデータに保存される。また、アプリケーションは、ユーザがアプリケーションを再エンゲージするたびに、前述のようにデバイスデータを確認し、ホワイトバランスとカラーデータを確認するために、ユーザを較正に導くことが好ましい。アプリケーションは、既知のユーザの肌領域、白い紙など、上記の較正面を使用して較正することが好ましいであろう。

【0175】

図９に示される一般化された全体システム６００では、ユーザＵは、アプリケーション６０２と対話し、アプリケーションは、スキャンを使用し、および／またはアプリケーションを通じてカスタマイズされた化粧品処方を注文することにより、上記のシステムおよび方法のいずれかであり得る。上述の画像センサおよび好ましくは光源を有するデバイス上で実行されるアプリケーション６０２は、スキャンデータ（上述の光学データ、ユーザ情報などを含む）を注文管理システム６０４に通信する。注文管理システムおよびそのさまざまなコンポーネントは、特定の場所またはクラウドベースまたはその他のリモートサーバに存在する可能性がある上記のサーバに接続される。注文管理システムは、上記のように実行されるさまざまな機能とステップのデータを保存する。システムは、カスタマイズされた化粧品配合を生成する混合サービス６０６と、管理システムからユーザ情報を組み込んだ出荷ラベルを受け取る出荷アプリケーション６０８と、ユーザＩＤの注文管理システムや製品およびラベルに関するその他の情報に従ってデータを印刷する印刷サービス６１０と、印刷サービスを実行して管理システム６０４と対話する印刷アプリケーション６１２と、注文管理システムからの指示を受けて混合サービスおよび注文管理システムからの指示に基づいてカスタマイズされた化粧品配合物を分配およびブレンドする分配アプリケーション６１４と対話する。そのようなシステムの好ましい例は、出願人の同時係属出願である米国特許出願第１５／８５５，０６４号明細書に詳細に記載されている。

【0176】

このシステム６００は、アプリケーション６０２を使用してユーザＵから再スキャンを送信し、ユーザ管理システム６０４に格納されたユーザ検索キーを変更し、変更された検索キー選択に基づいてシステムを実行することにより、カスタマイズ製品の変更を実行するように適合させることもできる。デバイスの再スキャンは、更新されたユーザ情報と製造指示とともに、較正された情報を送信する。混合は、リクエストごとにモデルＬＡＢデータまたはカラーデータの他のプリセット較正に対して較正される。各プレミックスは、それに応じてテストおよび較正される。データベースに含まれる非カスタム市販製品も、較正されたＬＡＢデータ、不透明度、および光沢に基づいて保存される。したがって、システムは動的でユーザのニーズに対応しながら、ユーザのスキャン、ユーザ入力、設定、および検索キーを使用してユーザをグラウンド・トゥルース・データセットに一致させることで提供される選択肢へのアクセスに基づいた一致機能を通じてインタラクティブな美容ガイダンスを提供し、既存の非カスタム製品と参照ユーザデータの両方からの情報を含むグラウンド・トゥルース・データセットと、多数のカスタマイズされた化粧品配合を組み込んだ既存のユーザデータは、ユーザの要求、スタイルの変更、美学、またはユーザのプロファイルデータに基づくカスタマイズされた化粧品配合の最も近い一致と作成、およびそのカスタマイズされた変更を可能にする。ユーザのプロファイルデータ（美容プロファイルと呼ばれることもある）は、すべてのユーザがプロファイルに関するアプリケーションを介して質問を送信し、最も正確なプロファイルを駆動したり、ユーザ設定（コスト、ブランド、コンポーネント、色など）を考慮したりできるように、インタラクティブにすることができる。データは、ウェブサイト分析を使用して達成される既知の技術を通じてユーザの対話から収集され、アプリケーションを通じて推奨を提供したり、フィードバックやさらなる推奨を組み込むために専門サービスに通知したりできる。

【0177】

その広い発明概念から逸脱することなく、上述の実施形態に変更を加えることができることを当業者は理解するであろう。したがって、本発明は開示された特定の実施形態に限定されず、添付の特許請求の範囲によって定義されるような本発明の精神および範囲内の変更を網羅することを意図していることが理解される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7】

【図8】

【図9】