(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】拡張現実化粧デザインフィルタ
(51)【国際特許分類】
G06T 19/00 20110101AFI20241003BHJP
G06T 7/20 20170101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06T 19/20 20110101ALI20241003BHJP
A45D 44/00 20060101ALI20241003BHJP
【ＦＩ】
G06T19/00 600
G06T7/20
G06T7/00 660A
G06T19/20
A45D44/00 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519514
(86)(22)【出願日】2022-09-28
(85)【翻訳文提出日】2024-03-29
(86)【国際出願番号】 US2022077230
(87)【国際公開番号】W WO2023056333
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】17/491,061
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】2113547
(32)【優先日】2021-12-15
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】391023932
【氏名又は名称】ロレアル
【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ
【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】コセコフ， デビッド ビー．
【テーマコード（参考）】
5B050
5L096
【Ｆターム（参考）】
5B050AA10
5B050BA06
5B050BA09
5B050BA12
5B050BA18
5B050BA20
5B050CA07
5B050CA08
5B050DA04
5B050DA09
5B050EA09
5B050EA19
5B050EA26
5B050FA01
5B050FA05
5B050FA13
5L096AA02
5L096AA06
5L096AA09
5L096BA08
5L096BA18
5L096CA02
5L096DA01
5L096EA02
5L096EA06
5L096FA06
5L096FA14
5L096FA66
5L096FA69
5L096GA10
5L096GA40
5L096GA51
5L096GA53
5L096HA05
5L096HA11
(57)【要約】
拡張現実化粧デザインフィルタを生成、共有、及び提示するためのシステム、デバイス、及び方法。１つ又は複数の非一時的なコンピュータメモリデバイスは、コンピューティング回路機構によって実行されると、拡張現実化粧デザインフィルタを生成するための動作をコンピューティング回路機構に実施させる、コンピュータ可読命令を記憶することができる。動作は、１つ又は複数の放射線センサを使用して生体表面のベースライン記述を定義する工程を含むことができ、放射線センサは、コンピューティング回路機構と電子的に結合される。動作は、１つ又は複数の放射線センサを使用して、生体表面への化粧品製剤のアプリケーションを識別する工程を含むことができる。動作は、ベースライン記述を参照して、アプリケーションを記述するトレースを生成する工程を含むことができる。動作は、トレースを出力する工程を含むこともできる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピューティング回路機構によって実行されると、拡張現実化粧デザインフィルタを生成するための動作を前記コンピューティング回路機構に実施させる、コンピュータ可読命令を記憶する１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記動作は、
生体表面のベースライン記述を定義する工程、
化粧品製剤のアプリケーションを識別する工程、
トレースを生成する工程、及び
前記トレースを出力する工程を備え、
前記生体表面のベースライン記述を定義する工程は、１つ又は複数の放射線センサを使用して前記生体表面の前記ベースライン記述を定義し、
前記放射線センサは、前記コンピューティング回路機構と電子的に結合されており、
前記化粧品製剤のアプリケーションを識別する工程は、１つ又は複数の前記放射線センサを使用して、前記生体表面への前記化粧品製剤の前記アプリケーションを識別し、
前記トレースを生成する工程は、前記ベースライン記述を参照して、前記アプリケーションを記述する前記トレースを生成する、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項2】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記化粧品製剤の前記アプリケーションを識別する工程は、
前記放射線センサのうちの１つ又は複数及び前記ベースライン記述を使用して、前記生体表面に対する前記化粧品製剤を検出する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項3】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを生成する工程は、
複数の形状タイプを記述する情報を受信する工程、
前記ベースライン記述を使用して、前記形状タイプのうちの第１形状タイプを前記生体表面の少なくとも一部に帰属させる工程、
前記化粧品製剤の前記アプリケーションの数値表現を生成する工程、及び
前記数値表現を前記第１形状タイプから前記形状タイプのうちの第２形状タイプに変換する工程を備え、
前記数値表現は、前記ベースライン記述に対する位置情報を記述する、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項4】
請求項３に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記生体表面は顔であり、
前記第１形状タイプ及び前記第２形状タイプは顔の特徴を記述する、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項5】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記生体表面の前記ベースライン記述を定義する工程は、前記コンピューティング回路機構と電子的に結合された放射線源を用いて前記生体表面に不可視電磁放射線を投影する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項6】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記１つ又は複数の放射線センサは、紫外線、可視光線若しくは赤外線のスペクトル範囲、又はこれらの組み合わせから電磁放射線を検出するように構成されたカメラを備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項7】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを生成する工程は、
前記生体表面に対する前記アプリケーションの動きを追跡する工程、及び
前記ベースライン記述に対する前記動きの数値表現を生成する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項8】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記命令は、前記コンピューティング回路機構によって実行されると、前記コンピューティング回路機構に、更なる動作を実施させ、前記動作は、
前記化粧品製剤を識別する工程、及び
前記化粧品製剤の識別子情報を使用して、前記化粧品製剤の色を定義する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項9】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記命令が、前記コンピューティング回路機構によって実行されると、前記コンピューティング回路機構に、更なる動作を実施させ、前記動作は、
前記生体表面の表面トーンを推定する工程、
前記表面トーンを用いて、前記化粧品製剤の製剤トーンを推定する工程、及び
前記表面トーンと前記製剤トーンとを用いて、前記化粧品製剤の色を決定する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項10】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記１つ又は複数の非一時的なコンピュータメモリデバイスは、スマートフォンと電子的に結合される、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項11】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを出力する工程は、前記トレースをリモートコンピューティングシステムに通信する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項12】
拡張現実化粧デザインフィルタを生成する方法であって、１つ又は複数の放射線源及び１つ又は複数の放射線センサを使用して、生体表面のベースライン記述を定義する工程、
前記放射線センサを用いて、前記生体表面への化粧品製剤のアプリケーションを識別する工程、
前記ベースライン記述を参照して、前記アプリケーションを記述するトレースを生成する工程、及び
前記トレースを出力する工程を備える、方法。
【請求項13】
請求項１２に記載の方法であって、前記トレースを生成する工程は、
複数の形状タイプを記述する形状情報を受信する工程、
前記形状情報を用いて、前記形状タイプのうちの第１形状タイプを前記生体表面の少なくとも一部に帰属させる工程、
前記化粧品製剤の前記アプリケーションの数値表現を生成する工程、
前記数値表現を前記第１形状タイプから第２形状タイプに変換する工程を備え、
前記数値表現は、前記ベースライン記述に対する位置情報を記述する、方法。
【請求項14】
請求項１２に記載の方法であって、前記化粧品製剤の前記アプリケーションを識別する工程は、
前記化粧品製剤のアプリケータを検出する工程、
前記生体表面に対する前記化粧品製剤の前記アプリケータの位置を推定する工程、
前記生体表面に対する前記アプリケータの動きを追跡する工程、及び
前記ベースライン記述に対する前記動きの数値表現を生成する工程を備える、方法。
【請求項15】
請求項１２に記載の方法であって、前記生体表面の表面トーンを推定する工程、
前記化粧品製剤の製剤トーンを推定する工程、及び
前記表面トーンと前記製剤トーンとを用いて、前記化粧品製剤の色を決定する工程を更に備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
【0002】
本出願は、２０２１年９月３０日に出願された米国特許出願第１７／４９１，０６１号及び２０２１年１２月１５日に出願された仏国特許出願第２１１３５４７号の利益を主張するものであり、これらの内容は該出願を参照することよりこの全体が本明細書に援用される。
【発明の概要】
【0003】
拡張現実化粧デザインフィルタを生成、共有、及び提示するためのシステム、デバイス、及び方法。１つ又は複数の非一時的なコンピュータメモリデバイスは、コンピューティング回路機構によって実行されると、拡張現実化粧デザインフィルタを生成するための動作をコンピューティング回路機構に実施させる、コンピュータ可読命令を記憶することができる。動作は、１つ又は複数の放射線センサを使用して生体表面のベースライン記述を定義する工程を含むことができる。放射線センサは、コンピューティング回路と電子的に結合される。動作は、１つ又は複数の放射線センサを使用して、生体表面への化粧品製剤のアプリケーションを識別する工程を含むことができる。動作は、ベースライン記述を参照して、アプリケーションを記述するトレースを生成する工程を含むことができる。動作は、トレースを出力する工程を含むこともできる。
【0004】
いくつかの実施形態では、化粧品製剤のアプリケーションを識別する工程は、放射線センサのうちの１つ又は複数及びベースライン記述を使用して、生体表面に対する化粧品製剤を検出する工程を含む。トレースを生成する工程は、複数の形状タイプを記述する情報を受信する工程と、ベースライン記述を使用して、形状タイプの第１形状タイプを生体表面の少なくとも一部に帰属させる工程と、化粧品製剤のアプリケーションの数値表現を生成する工程（数値表現はベースライン記述に対する位置情報を記述する）と、数値表現を第１形状タイプから形状タイプのうちの第２形状タイプに変換する工程とを含むことができる。生体表面は顔とできる。第１形状タイプ及び第２形状タイプは、顔の特徴を記述することができる。生体表面のベースライン記述を定義する工程は、コンピューティング回路機構と電子的に結合された放射線源を使用して、生体表面に不可視電磁放射線を投影する工程を含むことができる。１つ又は複数の放射線センサは、紫外線、可視光線若しくは赤外線のスペクトル範囲、又はこれらの組み合わせから電磁放射線を検出するように構成されたカメラを含むことができる。
【0005】
いくつかの実施形態において、トレースを生成する工程は、生体表面に対するアプリケーションの動きを追跡する工程と、ベースライン記述に対する動きの数値表現を生成する工程とを含む。動作は、化粧品製剤を識別する工程と、化粧品製剤の識別子情報を使用して化粧品製剤の色を定義する工程とを更に含むことができる。動作は、生体表面の表面トーンを推定する工程と、表面トーンを用いて化粧品製剤の製剤トーンを推定する工程と、表面トーンと製剤トーンを使用して化粧品製剤の色を決定する工程とを更に含むことができる。
【0006】
いくつかの実施形態では、１つ又は複数の非一時的なコンピュータメモリデバイスは、スマートフォンと電子的に結合される。トレースを出力する工程は、トレースをリモートコンピューティングシステムに通信する工程を含むことができる。
【0007】
拡張現実化粧デザインフィルタを生成する方法は、１つ又は複数の放射線源及び１つ又は複数の放射線センサを用いて生体表面のベースライン記述を定義する工程を含むことができる。本方法は、放射線センサを用いて、生体表面への化粧品製剤のアプリケーションを識別する工程を含むことができる。本方法は、ベースライン記述を参照して、アプリケーションを記述するトレースを生成する工程を含むことができる。本方法は、トレースを出力する工程を含むこともできる。
【0008】
いくつかの実施形態において、トレースを生成する工程は、複数の形状タイプを記述する形状情報を受信する工程、形状情報を使用して、形状タイプのうちの第１形状タイプを生体表面の少なくとも一部に帰属させる工程、化粧品製剤のアプリケーションの数値表現を生成する工程（数値表現はベースライン記述に対する位置情報を記述する）、及び数値表現を第１形状タイプから形状タイプのうちの第２形状タイプに変換する工程を含む。いくつかの実施形態において、化粧品製剤のアプリケーションを識別する工程は、化粧品製剤のアプリケータを検出する工程、生体表面に対する化粧品製剤のアプリケータの位置を推定する工程、生体表面に対するアプリケータの動きを追跡する工程、及びベースライン記述に対する動きの数値表現を生成する工程を含む。本方法は更に、生体表面の表面トーンを推定する工程、化粧品製剤の製剤トーンを推定する工程、及び表面トーンと製剤トーンとを用いて化粧品製剤の色を決定する工程を含むことができる。
【0009】
本概要は、以下の「発明を実施するための形態」で更に記載される概念の選択を簡略化して紹介するために提供される。本概要は、クレームされた主題の主要な特徴を特定することを意図したものではなく、また、クレームされた主題の範囲を決定する際の補助として使用することを意図したものでもない。
【図面の簡単な説明】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
上記図面において、特に断りのない限り、同様の参照数字は様々な図を通して同様の部品を指す。必要に応じて図面を簡略化するため、必ずしも全ての要素の例にラベルを付していない。図面は必ずしも縮尺通りではなく、それよりも説明される原理を説明することに重点が置かれている。本発明の上述の態様及び付随する利点の多くは、添付の図面と併せ、以下の発明を実施するための形態を参照することにより、同様のことがよりよく理解できるようになるにつれて、より容易に理解されるであろう。
【発明を実施するための形態】
【0019】
化粧品やメイクを適用して模様や形にするのは手作業では難しい。例えば、複雑なデザインや演劇のメイクは、通常、資格を持ったメイクの専門家によって適用される。加えて、一般的に、運動能力や視力に制限のある人々にとって、自分で適用するのは困難である。比較的簡単な化粧デザインであっても、複数の化粧品のレイヤリング、ブレンディング、顔や顔の特徴の形状タイプに特化した化粧品のアプリケーションを含むことがある。例えば、メイクやこの他の化粧品は、典型的に、卵形の顔では、長方形や楕円形の顔へのアプリケーションとは異なる構成で適用される。このように、テクスチャマスクのような静的なテクスチャオブジェクトを単に表面にマッピングするだけでは、表面に適用される化粧デザインの美的効果を再現することができない。更に、化粧ルーチンを構成する動作の正確な順序及び範囲は、通常、最終的なデザインの画像から決定することはできない。このため、メイクのチュートリアルは通常、最終的な効果につながる複数の中間状態でのデザインを示す画像付きの段階的なガイド又はビデオとして与えられる。それでも、顔の形に特化したチュートリアルや肌のトーンに特化したチュートリアルは、特定の化粧デザインを示す上で、一般的なチュートリアルよりも効果的である。しかし、このようなアプローチは、見るのに時間がかかり、適切なツールや使用される具体的な技術や化粧品製剤のそれぞれの（使用）経験がなければ再現するのは難しい。
【0020】
対象者の顔や他の関心領域などの生物学的対象者のターゲット体表面に適用される化粧ルーチンから拡張現実化粧デザインフィルタを生成するための技術を記載する。記載する実施形態は、ターゲット体表面の１つ又は複数の３Ｄコンターマッピングを定義するために画像センサを採用する。このようなアプリケーションの文脈において、記載する実施形態は、複雑な手動ルーチンに比べて、改善された精度とより優れた使いやすさを与える。したがって、本技術は、形状タイプ及び肌色に自動的に（例えば、人間の介入なしに）適合させることができる動的拡張現実化粧デザインフィルタの配布を通じて、化粧の手動アプリケーションを改善する。このフィルタは、拡張現実フィルタのエンドユーザの形状タイプや肌色に感度のよい方法で、アプリケーショントレース、仕上がり効果、及び特定のツールの拡張現実レンダリングを含む、段階的な化粧ルーチンを再現することができる。
【0021】
例示的な一例では、スマートフォンのユーザが、特定の美的効果を生み出すメイクルーチンのビデオを作製する。ビデオ作製の一環として、スマートフォンはユーザの顔の画像と表面マッピングをキャプチャする。最初の画像は、ファンデーション、ハイライト、フィラー、アイシャドウ、チーク、マスカラなどの化粧品のこの後のアプリケーションを検出できるベースラインを生成するために使用される。ビデオが作製されている間、スマートフォンは、化粧デザインの新しいレイヤとして各新しいアプリケーションを定義する工程の一部として、ベースラインを反復的に再定義する。また、動画が作製されている間、スマートフォンは、ユーザの手の動きを検出する工程、新しいツール若しくは製剤を識別する工程、及び／又は更新されたベースラインを基準としてユーザの顔の色シフトを検出する工程によって、新しいアプリケーションを認識する。ルーチンの過程にわたって、動き、テクスチャ、及び／又は透明度情報を含むマルチレイヤ動的フィルタが生成される。動的フィルタは、メイクビデオのクリエイタの顔形状を参照し、分散ストレージネットワークに記憶される。このフィルタは、拡張現実インターフェースを介した仮想投影のために、さまざまなユーザが利用できる。このフィルタを使用して、レイヤ効果を再現し、化粧デザインを種々の顔形状にリアルにマッピングし、及び、以下の段落で説明するように、ビューアーの顔形状及び肌色に特有の方法で化粧ルーチンを通じてビューアーにガイドすることができる。
【0022】
図１は、様々な実施形態に係る、拡張現実化粧デザインフィルタ１１０を生成するための例示的なシステム１００の一実施形態を示す概略図である。例示的なシステム１００は、１つ又は複数のクライアントコンピューティングデバイス１３０、カメラ１４０、１つ又は複数のリモートコンピュータシステム１６０（サーバ（複数可）とも呼ばれる）、及び１つ又は複数のユーザデバイス１９０を含む。例示的なシステム１００の一部として、構成システムの部品は、無線通信を介して及び／又は有線通信を介して動作可能に結合され得る。いくつかの実施形態では、構成部品は、無線ペアリング（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））を介して、及び／又はローカル無線ネットワーク（例えば、無線ルータ）を介して直接通信することができる。いくつかの実施形態では、構成部品は、１つ又は複数のネットワーク１７０を介して通信することができる。１つ又は複数のネットワーク１７０は、公衆ネットワーク（例えば、インターネット）又はプライベートネットワーク（例えば、イントラネット）であるか、これらを含むことができる。このようにして、例示的なシステム１００は、無線接続を介して電子情報を通信するように構成された複数の別個のデバイスを含むことができる。更に、又は代替的に、構成部品の一部を単一のデバイスに統合することができる。
【0023】
説明を明瞭にするために、拡張現実化粧デザインフィルタ１１０は、化粧デザイン１１０とも呼ぶ。化粧デザイン１１０は、クライアントコンピューティングデバイス１３０（複数可）、サーバ１６０（複数可）、及び／又はユーザデバイス１９０（複数可）のメモリに記憶される、テクスチャ、マッピングデータ、表面情報、及びメタ情報のセットを含む化粧ルーチンの数値表現である。平面に投影され、この後テクスチャマスクとして使用される、特定の顔におけるメイクルーチンの最終結果を再現する単一のテクスチャではなく、化粧デザイン１１０は、関連する顔の特徴１２０のコンターマップ及び／又はターゲット領域のベースライン特徴１２５を参照する１つ又は複数のトレース１１５を含む。化粧デザイン１１０は、トレース１１５の動的要素１１７を記述するデータを含むこともできる。このようにして、化粧デザイン１１０は、化粧デザイン１１０のレイヤ別のアプリケーションを段階的に再現するアニメーション化された拡張現実フィルタとして、ユーザデバイス１９０に展開することができる。
【0024】
例示的な一例として、クライアントコンピューティングデバイス１３０は、カメラ１４０を組み込むことができる。同様に、例示的なシステム１００は、複数のクライアントコンピューティングデバイス１３０を含むことができる。第１クライアントコンピューティングデバイス１３０は、ユーザインターフェース要素をホストし、ネットワーク１７０（複数可）を介してサーバ１６０（複数可）に接続するように構成されたモバイル電子デバイス（例えば、タブレット、スマートフォン、又はラップトップ）である。第２クライアントコンピューティングデバイス１３０は、カメラ１４０と一体化され、カメラ１４０の動作を第１クライアントコンピューティングデバイス１３０と連携するように構成される。例示的なシステム１００の構成部品には、例示的なシステム１００の１つ又は複数の機能の動作を実装及び連携するためのコンピュータ実行可能命令（例えば、ソフトウェア、ファームウェアなど）を提供することができる。このようにして、ユーザインターフェースは、１つ又は複数の構成部品を介してアクセスされ、例示的なシステム１００の動作を、インターフェースを介して連携することができる。
【0025】
クライアントコンピューティングデバイス１３０（複数可）は、カメラ１４０、（カメラ１４０の一部として図示される）１つ又は複数の電磁（ＥＭ）放射線源、並びに視覚的及び／又は聴覚的プロンプトで生体表面１８０を促すための１つ又は複数のユーザインターフェース要素１３１を含む、専用に構築されたモバイルコンピューティングデバイスであるか、これを含むことができる。例えば、インターフェース要素１３１は、化粧デザイン１１０の視覚的表現を生成するためのディスプレイ１３３であるか、又はこれを含むことができる。インターフェース要素１３１はまた、タッチスクリーン、キーボード、トラックパッド、又はマウスを含むがこれらに限定されないユーザ入力部品を含むことができる。この例では、クライアントコンピューティングデバイス１３０の部品は、例えば浴室や洗面台の鏡のような消費者向け化粧製品に似たハウジングに統合することができる。この例では、ハウジングは、電源、熱管理システム、及び他の部品を隠すことができる。
【0026】
クライアントコンピューティングデバイス１３０及びカメラ１４０は、特定の構成で図示されているが、付加的及び／又は代替的なフォームファクタも考えられる。例えば、システム１００は、クライアントコンピューティングデバイス１３０と通信するスマートフォン又はタブレットコンピュータを含むことができ、スマートフォン又はタブレットコンピュータによって１つ又は複数のコンピュータ実行可能な動作が実行されるようにする。このようにして、画像生成動作は、カメラ１４０を組み込んだスマートフォンによって実行されることができ、画像処理動作は、サーバ１６０（複数可）などの別個のデバイスで少なくとも部分的に実行されることができる。
【0027】
いくつかの実施形態では、カメラ１４０は、可視光画像センサ１４１、深度センサ１４３、及び／又は赤外線若しくは近赤外線を含む（これらに限定されない）不可視のＥＭ放射線源１４５を含む（これらに限定されない）複数のセンサ及び／又はソースであるか、又はこれらを含むことができる。クライアントコンピューティングデバイス１３０（複数可）と同様に、カメラ１４０は、例示的なシステム１００の他の構成部品との無線通信及び／又はペアリングを可能にするための通信回路機構１４７を含むことができる。カメラ１４０は、例示的なシステム１００の別個の部品として図示されているが、カメラ１４０は、例示的なシステム１００の他の構成部品の１つに統合することもできる。例えば、クライアントコンピューティングデバイス１３０は、（例えば、スマートフォン又はタブレットとして）カメラ１４０を組み込むことができる。
【0028】
深度センサ１４３は、生体表面１８０のターゲット体表面１８１の画像を含む（これに限定されない）生体表面１８０の１つ又は複数の画像をキャプチャすることができる。図１に与えられる図では、生体表面１８０は、化粧デザイン１１０を作製するために例示的なシステム１００を使用する人間であり、ターゲット体表面１８１は、目及び眉の周りの領域における人間の顔である。深度センサ１４３は、ターゲット体表面１８１の表面マッピング１８３を生成することができる。ターゲット体表面１８１のコンター及び深度情報は、経時的に又はユーザ間で変化し得る。カメラは、クライアントコンピューティングデバイス１３０（複数可）による化粧デザイン１１０の外挿、修正及び／又は生成のための動作の一部として、表面マッピング１８３を生成することができる。
【0029】
深度センサ１４３は、画像センサとすることができ、ターゲット体表面１８１を含む視野１８５内の画像をキャプチャすることができる。深度センサ１４３は、カメラ１４０が表面マッピング１８３を生成することができるように、レーザベースのセンサ（例えば、ＬｉＤＡＲ）、ＴｏＦ（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）カメラ、構造化光発生器、モーションセンサ及び可視画像カメラを含むｖＳＬＡＭ（ｖｉｓｕａｌ ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）センサアセンブリ、又は超音波ベースのセンサアセンブリとすることができるか、又はこれらを含むことができる（これらに限定されない）。
【0030】
例えば、深度センサ１４３が赤外線深度検知カメラである場合、不可視ＥＭ放射線源１４５は、ターゲット体表面１８１を含む生体表面１８０を構造化された不可視赤外線放射に曝す赤外線源であるか、又はこれを含むことができる。別の例では、深度センサがＬｉＤＡＲシステム又はＴｏＦカメラである場合、不可視ＥＭ放射線源１４５は、赤外ダイオードレーザであるか、又はこれを含むことができる。このようにして、不可視ＥＭ放射線源１４５によって生成されたＥＭ放射は、ターゲット体表面１８１が曝されるように、角度広がり１８７にわたってターゲット体表面１８１に向かってスキャンされるか、又は他の方法で向けられ得る。いくつかの実施形態では、ターゲット体表面１８１の検出は、可視光センサ１４１によって（例えば、ｖＳＬＡＭ技術によって）キャプチャされた可視スペクトル（例えば、ＲＧＢ）画像に適用される特徴及び／又はエッジ検出によって容易になる及び／又は可能になる。
【0031】
表面マッピング１８３は、ターゲット体表面１８１の特徴に関するコンター情報及び／又は位置情報を提供することができる。これらの情報は、例えば、眉の隆起（ｅｙｅｂｒｏｗ ｒｉｄｇｅ）と鼻梁の相対位置、眉毛が目に対してどこで始まり、どこで終わるかなどに関する正確な情報である。このようにして、表面マッピング１８３を使用して、ソーシャルメディアプラットフォーム又は他のサービスに展開するための化粧デザイン１１０を生成及び／又は外挿し、化粧デザイン１１０を、ユーザデバイス１９０（複数可）を介してユーザに配布することができる。このようにして、化粧デザイン１１０を、例えば、化粧デザインのオンラインプラットフォーム及び／又はデータベースの一部として、サーバ（複数可）１６０に通信されるデータファイルとして表すことができる。
【0032】
表面マッピング１８３を使用して、生体表面１８０の特徴の形状タイプを決定し、化粧デザイン１１０を別の異なる形状タイプに変換することによって、化粧デザイン１１０を修正することができる。いくつかの実施形態では、化粧デザイン１１０を生成又は修正する工程の一部として、複数のレイヤが定義される。例示的なシステム１００は、図２～図６を参照して説明する例示的な技術を実装して、ターゲット体表面１８１への複数の化粧品製剤のアプリケーションを検出することができ、化粧デザイン１１０を共に規定する、アプリケーションを空間的及び時間的に記述する１つ又は複数のトレース１１５を生成することができる。
【0033】
有利には、化粧デザイン１１０は、ターゲット体表面１８１と、ユーザデバイス１９０のユーザの対応する領域との両方をマッピングし、化粧デザイン１１０、又は化粧デザイン１１０の各構成レイヤを、対応する領域に適合するように外挿することによって、正確さ及び精度を向上させて、例えば、ソーシャルメディアとの統合を通じて、拡張現実フィルタとしてユーザデバイス１９０（複数可）に配布することができる。更に、化粧デザイン１１０を、チュートリアル視覚化の形態で、動的に提示することができる。これにより、レイヤとトレースの両方が、化粧デザイン１１０のレイヤ、動き、色、及び他の化粧的態様を示すためにアニメーション化される。このようにして、化粧デザイン１１０は、化粧デザイン１１０をクリエイタからユーザに適合させることによって、ユーザ体験の改善を表し、また、完全な化粧デザイン１１０を画像データとしてではなく、マスクデータとして転送することができるので、システム性能の改善を表す。このため、ネットワーク１７０（複数可）を介して化粧デザイン１１０を配布する工程、及びサーバ１６０（複数可）に記憶する工程に関与するデータ量や計算リソースが削減される。
【0034】
図２は、様々な実施形態に係る、拡張現実化粧デザインフィルタ１１０を準備するための例示的なプロセス２００を示す概略図である。例示的なプロセス２００は、図１の例示的なシステム１００の構成部品によって実行されるか、そうでなければ実施される多数の動作として実装され得る。このように、動作は、コンピュータシステムの非一時的なメモリ上に記憶されたコンピュータ可読命令の実行に応答して、図１のクライアントコンピューティングデバイス１３０（複数可）などのコンピュータシステムの１つ又は複数のプロセッサによって実施される動作であるか、又はそれを含むことができる。動作は特定の順序で図示されているが、例示的なプロセス２００は、より多い動作又はより少ない動作を含むことができ、動作の順序は変化し得る。いくつかの実施形態では、図１を参照してより詳細に説明するように、いくつかの動作は、異なる物理コンピュータによって実施される。例えば、いくつかの動作は、異なる部品によって交換可能に実施されることができ、又は２つ以上の部品の連携動作によって実施されることができる。
【0035】
動作２０１において、コンピュータシステムは、生体表面１８０のベースライン記述２１０を定義する。いくつかの実施形態では、ベースライン記述２１０は、例えば、生体表面１８０を記述する表面コンターマッピング情報に対して可視色情報を参照することによって、表面マッピング１８３を生成する工程の一部として定義される。このようにして、ベースライン記述２１０は、表面マッピング１８３及び色情報の両方を含む生体表面１８０の数値表現（例えば、デジタルデータ）を含むことができる。例示的なプロセス２００は、図１のターゲット体表面１８１の文脈で図示されているが、生体表面１８０は、顔、手、顔の一部、又は化粧品製剤が適用される他の表面とできるか、又はこれらを含むことが理解されよう。
【0036】
いくつかの実施形態では、ベースライン記述２１０を定義する工程は、可視光又は不可視ＥＭ放射を検出するように構成されたカメラ１４０又は他の放射線センサを用いて、生体表面１８０の１つ又は複数の画像を生成する工程を含む。不可視ＥＭ放射を、構造化光発生器、ＬｉＤＡＲ光源、又はＴｏＦカメラ光源などのカメラ１４０の放射線源を使用して、生体表面１８０上に投影することができる。例えば、画像は、生体表面１８０の顔の特徴１２０及びベースライン特徴１２５を描写することができる。ベースライン特徴１２５は、生体表面１８０の少なくとも一部がカメラ１４０によって検出可能な顔料、化粧品製剤、又は他の特徴を含むように、例示的なプロセス２００の前に生体表面１８０に適用される材料であるか、又はこれらを含むことができる。例えば、ベースライン特徴１２５は、まつげ及びアイライナーとして図示されている。同様に、ベースライン特徴１２５は、しみ、しわ、傷、又は顔の特徴１２０以外の生体表面１８０の他の美的外観を含み得るが、これらに限定されない。対照的に、顔の特徴１２０は、表面マッピング１８３を定義し、影、遠近（ｐｅｒｓｐｅｃｔｉｖｅ）などを含む（これらに限定されない）物理的効果を通じてベースライン記述２１０に影響を与える、生体表面１８０の器官、毛髪、及び他のトポグラフィカル特徴を指す。
【0037】
動作２０３において、コンピュータシステムは、生体表面１８０への化粧品製剤２２０（複数可）の１つ又は複数のアプリケーション２１５を識別する。化粧品製剤２２０（複数可）は、メイク、マスカラ、リップスティック、リップライナー、アイライナー、グリッター、美容クリーム、軟膏、又は生体表面１８０に局所的に適用され得る他の材料を含み得るが、これらに限定されない。化粧品製剤２２０（複数可）のアプリケーション２１５（複数可）は、可視光センサ、不可視ＥＭ放射線センサなどの放射線センサを使用して、カメラ１４０によって検出されることができる。このようにして、アプリケーション２１５（複数可）は、例えば、着色、表面反射率、又は不可視ＥＭ放射線の吸光度／反射率の観点から、ベースライン記述に対する生体表面のシフトとして検出されることができる。例示的な例では、グロッシーなリップコーティングは、無視できる鏡面反射を含むベースライン記述に対する生体表面１８０の鏡面反射の増加を通じて検出することができる。同様に、マットなファンデーションは、ベースライン記述に対する鏡面反射の減少と拡散反射の増加を通じて検出することができる。非限定的な例では、鏡面反射は、可視光画像において輝度チャネルを定義し、輝度チャネルを閾値処理することによって検出することができる。鏡面反射は、画素単位で、閾値を超える輝度値として定義される。
【0038】
いくつかの実施形態において、コンピュータシステムは、生体表面１８０に近接するアプリケータ２２５（ブラシ、スポンジ、ペンシル、指、又は他のアプリケータ２２５など）を検出する。いくつかの実施形態において、コンピュータシステムは、例えば、アプリケータ２２５がレジストレーションマーク（バーコード、ＱＲコード（登録商標）、ＲＦＩＤタグ、又は識別子情報の他の表現など）を含む場合、アプリケータ２２５の識別子を認識する。このようにして、コンピュータシステムは、空間的及び時間的にアプリケーション２１５を識別することができ、化粧品製剤２２０（複数可）を識別することができる。このために、動作２０３は、化粧品製剤２２０を識別する工程と、化粧品製剤２２０の識別子情報を用いて化粧品製剤２２０の色を定義する工程とを任意選択で含むことができる。例えば、未確認の化粧品製剤２２０の色は、図６を参照してより詳細に説明するように、カメラ１４０を使用して推定され得る。アプリケータ２２５を識別する工程により、コンピュータシステムが、アプリケータ２２５が多目的アプリケータ２２５であるのではなく、特定の化粧品製剤２２０が装填されている化粧品製剤２２０の色を直接決定することが可能になり得る。化粧品製剤２２０をこのような方法で識別することができるアプリケータ２２５の例は、ペンシル、リップスティック、ゲルアプリケータ、又は準備された化粧品製剤２２０で利用可能な他のアプリケータ２２５を含むが、これらに限定されない。化粧品製剤２２０のアプリケーション２１５は、生体表面１８０に対するアプリケータ２２５の動き２３０を含むことができる。動き２３０は、ブレンディング及びぼかしの動きのような、全体的な化粧デザイン１１０の美的効果に関して意味のある情報を含むことができる。このように、アプリケータ２２５の動き２３０は、トレースを生成するための動作の間に検出され使用され得る。
【0039】
アプリケーション２１５はまた、生体表面１８０上に既に配置された製剤２２０の修正又は編集（ｍａｎｉｐｕｌａｔｉｏｎ）を含むことができる。例えば、化粧品製剤２２０の範囲、着色、及び反射率は、スムージング、ぼかし、ブレンディング、塗り広げ、又は他の技術によって修正され得る。生体表面１８０に新たな製剤２２０を加えるのではなく、既に配置された製剤２２０を修正する、このようなアプリケーション２１５は、道具又は指を検出し、ベースライン記述２１０に対する生体表面１８０の変化を検出することによって識別され得る。図１を参照して説明したように、ベースライン記述２１０は、それぞれのアプリケーション２１５に関連することができ、ここでアプリケーション２１５は、レイヤード及び／又はブレンドされる。例えば、製剤２２０が既に適用されている生体表面１８０の特定の領域に対するベースライン記述２１０は、製剤２２０を含むように再定義されることができる。このようにして、後続のアプリケーション２１５をより正確かつ精密に検出することができる。
【0040】
動作２０５において、コンピュータシステムは、動作２０３で識別されたアプリケーション２１５を記述する１つ又は複数のトレース１１５を生成する。トレース１１５を生成する工程は、化粧デザイン１１０がアプリケーション２１５の美的効果をリアルに再現することができ、アプリケーション２１５の順序も再現することができるように、アプリケーション２１５の範囲２１７、レイヤ順序（図５参照）、及び着色（図６参照）を決定する工程を含むことができる。範囲２１７、着色、及びレイヤ順序情報、並びにユーザデバイス１９０（複数可）上でトレース１１５をリアルに再現することに関連する他の情報は、ベースライン記述２１０に参照される強度データセットなどの数値表現として符号化され得る。例えば、図２において破線として図示されているアプリケーション２１５の範囲２１７を、ベースライン記述と比較した着色のシフト、ＥＭ放射線の吸光度及び／又は反射率のシフトとして検出することができる。このようにして、トレース１１５は、個々のアプリケーション２１５の美的効果を再現することができる。
【0041】
いくつかの実施形態では、コンピュータシステムは、カメラ１４０によって生成された画像及び／又はコンターデータを使用して、アプリケータの動き２３０を追跡する。したがって、トレース１１５を生成する工程は、ベースライン記述で記載したように、生体表面１８０に対する様々な動き２３０の数値表現を生成する工程、及びアプリケーション２１５で使用される化粧品製剤２２０を記述する色情報を生成する工程を含むことができる。トレース１１５は、一旦生成されると、図３を参照してより詳細に説明するように、ユーザデバイス１９０（複数可）を通して見たとき、種々の形状の生体表面１８０上で化粧デザイン１１０の美的効果を再現するために変換されることができる。
【0042】
トレース１１５は、複数のトレース１１５の組み合わせがトレース１１５間の相互作用を再現できるように、レイヤブレンディング及びレイヤリング情報を符号化することができる。例えば、目と眉との間の複数のアイシャドウの色の生体表面１８０の領域へのアプリケーション２１５のセットをブレンドして、アイシャドウ領域に色のグラデーションを付与することができる。この例では、例示的なプロセス２００は、眉と目との間の領域が複数のトレース１１５によって記述され、また複数のトレースがどのように関連するかを記述する相互作用項によっても記述されるように、動作２０１～２０５の複数の反復を含む。いくつかの実施形態では、トレース１１５は、アプリケーション２１５の着色又は他の美的効果の局所的な透明度を記述する動的要素１１７に参照される、アルファチャンネル情報などの透明度情報を含む。このようにして、トレース１１５は、化粧品製剤２２０の編集、例えば、ブレンディング、ぼかし、スムージング、又は化粧デザインの典型的な他の技法を再現することができる。例示的な一例では、トレース１１５及び／又は動的要素１１７は、トレース１１５が動き２３０に基づいて製剤２２０のスムージング又はブレンドを再現するように、動き２３０及び製剤２２０を参照する透明度の値のベクトルを含むことができる。
【0043】
動作２０７において、コンピュータシステムは、動作２０１～２０５の一部として検出されたトレース１１５（複数可）を出力する。トレース１１５（複数可）を出力する工程は、トレース１１５（複数可）をクライアントコンピューティングデバイス１３０のローカルデータストアに記憶する工程、トレース１１５（複数可）を、ネットワーク１７０を介してサーバ１６０（複数可）に転送する工程、及び又はトレース１１５（複数可）をユーザデバイス１９０（複数可）と直接（例えば、電子ペアリングを介して）又はネットワーク１７０を介して共有する工程を含むが、これらに限定されない電子動作を含むことができる。
【0044】
例示的なプロセス２００の説明では、眉／目の領域に対する化粧デザインに焦点を当てたが、動作は他の表面にも同様に適用できる。例えば、化粧デザイン１１０は、唇、鼻、頬、額、又は手を含むがこれらに限定されない付加的／代替的な表面への化粧品製剤２２０のアプリケーション２１５を記述することができる。同様に、化粧デザイン１１０は、眉、目、唇、頬骨、顎ライン、又は手を含むがこれらに限定されない顔の特徴１２０の外観を修正することができる。別の例示的な例では、化粧デザイン１１０は、１つ又は複数の化粧品製剤２２０のアプリケーションを通じて頬骨の外観を強調するための一連のトレース１１５を含むことができる。
【0045】
図３は、様々な実施形態に係る、拡張現実化粧デザインフィルタ１１０を展開するための例示的なプロセス３００を示す概略図である。図２の例示的なプロセス２００と同様に、例示的なプロセス３００は、図１の例示的なシステム１００の構成部品によって実行されるか、実施される多数の動作として実装され得る。このように、動作は、コンピュータシステムの非一時的なメモリ上に記憶されたコンピュータ可読命令の実行に応答して、図１のユーザデバイス１９０（複数可）などのコンピュータシステムの１つ又は複数のプロセッサによって実施される動作であるか、又はこれを含むことができる。動作は特定の順序で図示されているが、例示的なプロセス３００は、より多い動作又はより少ない動作を含むことができ、動作の順序は変化してもよい。いくつかの実施形態では、図１を参照してより詳細に説明するように、いくつかの動作は、異なる物理コンピュータによって実施される。例えば、いくつかの動作は、異なる部品によって交換可能に実施され得るか、又はユーザデバイス１９０（複数可）及びサーバ１６０（複数可）などの２つ以上の部品の連携動作によって実施され得る。
【0046】
動作３０１において、ユーザデバイス１９０は、化粧デザイン１１０を記述するデータ３１０を受信する。データ３１０を受信する工程は、ネットワーク１７０（例えば、インターネット、セルラーネットワークなど）を介した電子通信を含むことができるが、ペアリング又は他のアプローチを介した直接通信を含むこともできる。図３では、ユーザデバイス１９０がサーバ１６０（複数可）からデータ３１０を受信する工程が図示されているが、データ３１０はクライアントコンピューティングデバイス１３０（複数可）から受信できることが理解されよう。データ３１０は、図２を参照してより詳細に説明するように、例示的なプロセス２００の１回又は複数回の反復中に生成されたトレース１１５を含むことができる。また、データ３１０は、図４を参照してより詳細に説明するように、生体表面１８０の形状タイプなど、生体表面１８０を記述するメタ情報を含むこともできる。
【0047】
データ３１０を受信するための動作は、無線通信又は有線通信を含むがこれらに限定されない、１つ又は複数のデータ転送技術を含むことができる。例えば、ユーザデバイス１９０は、クライアントコンピューティングデバイス１３０と無線通信して、データ３１０を無線伝送として受信することができる。
【0048】
いくつかの実施形態では、データ３１０を受信する工程は、推奨エンジンなどのブラウザ環境を含むことができる。これによって、ユーザデバイス１９０のユーザは、デザインを要求するためにクリエイタと直接通信するのではなく、１人又は複数人のクリエイタによって生成された化粧デザイン１１０のセットを見ることができる。付加的又は代替的に、データ３１０は、例えば、ユーザデバイス１９０のユーザが登録、フォロー、及び／又はサブスクライブすることができるソーシャルメディアサービスの一部として、ユーザデバイス１９０にプッシュすることができる。いくつかの実施形態では、データ３１０は、ユーザデバイス１９０のユーザを記述する識別子情報に少なくとも部分的に基づいて推奨される。過去のトラフィックデータを通じてユーザデバイス１９０のユーザが美的嗜好を示す場合、この嗜好を反映した化粧デザイン１１０を優先的に推奨することができる。人口統計学的データ、社会経済学的データ、又は生体測定データも、化粧デザイン１１０を推奨するために使用することができる。例えば、ユーザデバイス１９０のユーザがある地理的地域に居住している場合、この地理的地域の傾向を反映した化粧デザイン１１０を推奨することができる。同様に、ユーザデバイス１９０のユーザが所与の年齢範囲内にある場合、所与の分野又は部門で雇用されている場合、又は所与のソーシャルネットワークの一部である場合、それぞれのカテゴリーに対応する傾向を反映する化粧デザインを識別し、推奨することができる。
【0049】
動作３０３において、ユーザデバイス１９０は、化粧デザイン１１０が仮想的に適用される生体表面１８０に対応するユーザ表面３１５をマッピングする。ユーザ表面３１５のマッピングは、構造化光方式（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｍｅｔｈｏｄｓ）、ＬｉＤＡＲ又はＴｏＦ法、ｖＳＬＡＭ法、超音波法などを含むがこれらに限定されない、図１の表面マッピング１８３の生成に関して説明したものと同様の動作を含むことができる。表面３１５は、トーン、反射率、温度などを含むがこれらに限定されない、表面３１５の対応する領域についての複数の特性をそれぞれ定義することができるポリゴン３１７のメッシュによって記述することができる。
【0050】
ユーザデバイス１９０が深度センサ３１９を組み込んだスマートフォンである場合、動作３０３は、深度センサを使用して表面をマッピングするために、ユーザデバイス１９０のメモリに記憶された１つ又は複数のアプリケーションを実行する工程を含むことができる。このようにして、ユーザ表面３１５を、ユーザ表面３１５の表面コンター及び顔の特徴３２０を記述する、データにおける数値表現として表すことができる。いくつかの実施形態では、例示的なプロセス３００は、化粧デザイン１１０をユーザ表面３１５の既存の美的外観と統合する工程を含む。このために、メイク、マスカラ、まつげなどの美的特徴３２１が表面マッピング中に含まれる。
【0051】
ユーザ表面３１５をマッピングする工程は、図６を参照してより詳細に説明するように、局所的な表面トーンであり得る表面トーンを推定する工程も含むことができる。このようにして、例示的なプロセス３００は、生体表面１８０とユーザ表面３１５との間の肌色の違いを考慮することができる。例えば、データ３１０の一部として提供されるメタデータ、又は代替的にサーバ１６０（複数可）及び／又はユーザデバイス１９０のメモリに記憶されるメタデータは、化粧デザイン１１０が、正確な色の文字通りの転置ではなく、化粧デザイン１１０の美的効果が再現されるように適合できるように、色を肌色に相互参照する参照テーブル又はルックアップテーブルを含むことができる。
【0052】
動作３０５において、データ３１０の一部として受信したトレース１１５を使用して、動作３０３で生成されたユーザ表面３１５のマッピングで参照するフィルタ３２５を生成する。フィルタ３２５は、ユーザ表面３１５のマッピングと組み合わされるようにフォーマットされた、テクスチャオブジェクトなどの数値表現であるか、又はこれを含むことができる。例示的な例では、ユーザ表面３１５はポリゴン３１７のメッシュによって記述され、フィルタ３２５は、各ポリゴン３１７がフィルタ３２５の外観を記述する値のベクトルを定義するように、ポリゴン３１７を参照する。
【0053】
いくつかの実施形態では、フィルタ３２５は、化粧デザイン１１０を作製するために使用されるアプリケーション２１５の順序を示すために使用することができるアニメーション効果又はレイヤ間効果などの動的要素３３０を含む。動的要素３３０は、図１～２のトレース１１５を参照して説明した動的要素１１７の少なくとも一部を再現することができる。
【0054】
動作３０７において、コンピュータシステムは、ユーザ表面３１５の画像３３５と統合されたフィルタ３２５を提示する。フィルタ３２５を提示する工程は、スクリーン３３７を通してフィルタ３２５を表示する工程を含むことができる。例えば、ユーザデバイス１９０は、タッチスクリーンディスプレイを含むスマートフォン又はタブレットとできる。フィルタ３２５を、特徴追跡又は他の拡張現実技術を使用して、リアルタイム又はほぼリアルタイムでユーザ表面３１５にマッピングすることができる。ここで「ほぼリアルタイム」は、ユーザデバイス１９０のユーザによる定性的な経験を表す。これにより、例示的なプロセス３００の動作によって導入される待ち時間は実質的に知覚されない。
【0055】
フィルタ３２５を、ユーザデバイス１９０のユーザが、例えば、選択又はハイライトによって、画面３３７を通して操作することができるインタラクティブなグラフィカル要素として提示することができる。いくつかの実施形態では、フィルタ３２５を選択することによって、任意選択の動作３０９において動的要素３３０のアニメーションを開始することができる。付加的に、又は代替的に、フィルタ３２５をアニメーション化する工程は、仮想チュートリアルを開始する工程を含むことができる。これによって、アプリケーション２１５の順序がユーザ表面３１５上で再現されるように、フィルタ３２５がレイヤ順によって順番に提示される。順序は、ユーザデバイス１９０を介して一時停止、反転、前進、又は他の方法で操作することができる。特定の動的要素は、例えば、画面３３７上のユーザアクション３４０でフィルタ３２５を選択することによってアクティブにすることができる。
【0056】
いくつかの実施形態では、フィルタ３２５が提示されている間の画面３３７とのインタラクションにより、ユーザデバイス１９０のユーザは、１つ又は複数のフィルタ３２５を編集、追加、又は削除することができる。異なるユーザアクション３４０は、動的要素をアクティブにする代わりに、１つ又は複数の代替プロセスを開始することができる。例えば、ダブルフィンガータップにより、ユーザデバイス１９０のユーザが、アプリケータ２２５、化粧品製剤２２０、又はフィルタ３２５を記述する他の情報を見ることができるメニュー３４１を開くことが可能となる。同様に、フィルタ３２５上で長押しすることによって、ユーザデバイス１９０は、オンライン市場にアクセスすることができ、ユーザが化粧品製剤２２０、アプリケータ２２５、又は他の消費者製品を購入することが可能となる。いくつかの実施形態では、ユーザデバイスのユーザがフィルタ３２５を用いて画像３３５を共有することができ、他のユーザと通信することができ、又は化粧デザイン１１０のクリエイタにフィードバックを提供するか若しくは他の方法で通信することができるような、ソーシャルメディア制御３４３のメニューを生成することができる。説明されたユーザアクションのタイプは例示的なものであることが理解されよう。メニュー３４１及び／又はソーシャルメディアメニュー３４３などのユーザインターフェース要素を、代替的及び／又は追加的なインタラクションによって呼び出すことができる。いくつかの実施形態では、メニュー要素はデフォルトでディスプレイ３３７上に提示される。
【0057】
図４は、様々な実施形態に係る、拡張現実化粧デザインフィルタ１１０をある形状タイプから別の形状タイプに変換するための例示的なプロセス４００を示す概略図である。例示的なプロセス２００及び３００と同様に、例示的なプロセス４００は、図１の例示的なシステム１００の構成部品によって実行されるか、又は他の方法で実施される多数の動作として実装され得る。このように、動作は、コンピュータシステムの非一時的メモリ上に記憶されたコンピュータ可読命令の実行に応答して、図１のクライアントコンピューティングデバイス１３０（複数可）、サーバ１６０（複数可）、及び／又はユーザデバイス１９０（複数可）などのコンピュータシステムの１つ又は複数のプロセッサによって実施される動作であるか、又はこのような動作を含むことができる。動作は特定の順番で図示されているが、例示的なプロセス４００は、より多い動作又はより少ない動作を含むことができ、動作の順番は変化し得る。いくつかの実施形態では、図１を参照してより詳細に説明したように、いくつかの動作は、異なる物理コンピュータによって実施される。例えば、いくつかの動作は、異なる部品によって交換可能に実施されることができ、又は２つ以上の部品の連携動作によって実施されることができる。
【0058】
トレース１１５は、図２を参照してより詳細に説明するように、ベースライン記述２１０を参照して生成され、それ自体生体表面１８０に固有である。したがって、例示的なプロセス４００は、トレース１１５及び／又はフィルタ３２５を生成する工程の一部として、フィルタ３２５を第１顔形状から第２顔形状に外挿するための動作を記述する。図４を参照した説明では、顔の形状に焦点を当てているが、単にトレース１１５をテクスチャとしてユーザ表面３１５に適用するのではなく、トレース１１５の美的効果をリアルに再現するようにトレース１１５を変換するように、目の形状、口の形状、又は他の特徴形状など、個々の顔の特徴の形状に動作を同様に適用できることが理解されよう。
【0059】
動作４０１において、コンピュータシステムは１つ又は複数のトレース１１５を用いてマスクデータ４１０を生成する。トレース１１５が生体表面を記述するトポグラフィカルデータと相対的である場合、マスクデータ４１０を生成する工程は、アプリケーション２１５を記述するデータを、生体表面１８０を記述するトポグラフィカルデータ上に投影する工程を含む。これによってトレース１１５をある形状タイプ４２０から別の形状タイプ４２０に修正することが可能となる。
【0060】
動作４０３において、コンピュータシステムは、生体表面１８０の少なくとも一部に第１形状タイプ４２０を帰属させる。例えば、コンピュータシステムは、複数の形状タイプ４２０を記述する形状情報を参照することができる。形状情報は、サーバ１６０（複数可）又はクライアントコンピューティングデバイス１３０（複数可）に記憶され、アクセスされ、又はクライアントコンピューティングデバイス１３０（複数可）から他の方法で受信することができる。このようにして、例示的なプロセス４００は、複数の形状タイプ４２０を記述する情報を受信する工程を含むことができる。
【0061】
形状タイプ４２０を生体表面１８０に帰属させる工程は、形状タイプ４２０を示す生体表面１８０の特徴的な寸法、間隔、又は他の態様を決定するために、ベースライン記述２１０を参照する工程を含むことができる。顔の形状の例示的な例では、特徴的な態様は、ベースライン記述２１０の輪郭４２３を定義することによって、ベースライン記述２１０の１つ又は複数の点における特徴的な曲率４２５を識別することによって、又は特徴間の特徴的な間隔４２７を識別することによって、形状タイプ４２０を識別することができるように、ベースライン記述２１０にグリッド又は他の形態のガイド４２１を投影することによって定義することができる。形状タイプ４２０を帰属させるために、コンピュータ画像処理技術を使用したエッジ検出及び特徴検出を含むアプローチを採用できることが理解されよう。
【0062】
動作４０５において、コンピュータシステムは、種々の形状タイプ４２０のための１つ又は複数の形状フィルタ４３０を生成する。形状フィルタ４３０を生成する工程の一部として、動作４０１で生成されたマスクデータ４１０は、第１形状タイプ４２０－１から、第２形状タイプ４２０－２、第３形状タイプ４２０－３、又は付加的若しくは代替的な形状タイプ４２０に変換される。マスクデータ４１０の変換は、第１形状タイプ４２０－１のマスクデータ４１０を第２形状タイプ４２０－２のトポグラフィカルデータに投影する工程と、対応する変換をトレース１１５に適用する工程を含むことができるが、これに限定されない。このようにして、形状フィルタ４３０は、トレース１１５の美的形状及び着色を、第１形状タイプ４２０－１とは異なる形状タイプ４２０上に再現する。
【0063】
いくつかの実施形態では、種々の形状タイプ４２０に対して形状フィルタ４３０を生成する工程は、種々の物理的形状を考慮するために、空間投影を超えて、マスクデータ４１０に対する付加的な修正を含むことができる。例えば、いくつかの形状タイプ４２０は、眉の隆起、額の湾曲、顎の形状、頬骨、顎の形状など、より顕著な顔の特徴又は薄い顔の特徴によって特徴付けられる。このため、形状フィルタ４３０は、形状フィルタ４３０を生成する工程の一部として、マスクデータ４１０を再配置、分割、省略、複製、ミラーリング、又はこの他の方法で変換することができる。例示的な一例では、ハート形の顔形状に対応する第１形状タイプ４２０－１から、長方形の顔形状に対応する第２形状タイプ４２０－２のための形状フィルタ４３０を生成する工程は、額のトレースを髪の生え際に向かって上方に再配置する工程、額のトレースを額の両端まで広げる工程、及び、顎のトレースを顎のラインに沿って分割しミラーリングする工程を含む。対応する変換は、各形状タイプ４２０の形状フィルタ４３０を生成する工程の一部として、各トレース１１５用のマスクデータ４１０に適用することができる。
【0064】
顔の特徴の文脈では、化粧デザイン１１０が特定の顔の特徴（例えば、眉と目の間のアイシャドウデザイン）に対処する場合、例示的なプロセス４００の構成動作を同様の原理に基づいて適用することができる。例えば、化粧デザイン１１０が丸い目の形状タイプ４２０を参照して作製される場合、動作４０５で形状フィルタ４３０を生成する工程は、マスクデータ４１０を丸い目からアーモンド目の形状タイプ４２０又は他の目の固有の形状タイプ４２０に変換する工程を含むことができる。対応する動作を、唇、手、耳、又は他の生体表面の形状に適用できることが理解されよう。
【0065】
図５は、様々な実施形態に係る、拡張現実化粧デザインフィルタ５１０を複数のレイヤで生成するための例示的なプロセス５００を示す概略図である。例示的なプロセス２００、３００、及び４００と同様に、例示的なプロセス５００は、図１の例示的なシステム１００の構成部品によって実行されるか、又は他の方法で実施される多数の動作として実装され得る。このように、動作は、コンピュータシステムの非一時的なメモリ上に記憶されたコンピュータ可読命令の実行に応答して、図１のクライアントコンピューティングデバイス１３０（複数可）、サーバ１６０（複数可）、及び／又はユーザデバイス１９０（複数可）などのコンピュータシステムの１つ又は複数のプロセッサによって実施される動作であるか、又はこのような動作を含むことができる。動作は特定の順序で図示されているが、例示的なプロセス５００は、より多い動作又はより少ない動作を含むことができ、動作の順序は変化し得る。いくつかの実施形態では、図１を参照してより詳細に説明したように、いくつかの動作は、異なる物理コンピュータによって実施される。例えば、いくつかの動作を、異なる部品によって交換可能に実施することができ、又は２つ以上の部品の連携動作によって実施することができる。
【0066】
図１～３を参照してより詳細に説明するように、拡張現実化粧デザインフィルタ５１０を分離したレイヤに区分できるように、生体表面１８０への複数の化粧品製剤２２０の順序的なアプリケーションを記録することによって、トレース１１５を生成することができる。図３を参照してより詳細に説明したように、フィルタ５１０の提示によって、アプリケーションのレイヤ別の順序を再現することができる。同様に、例示的なプロセス４００は、例示的なプロセス５００のレイヤ別の態様も組み込むことができる。ここでは、種々の形状タイプ４２０が、種々のレイヤリングプロセス、レイヤ間ブレンディング、並びに形状タイプ４２０の相違から生じるより複雑な光及び影効果を意味する。
【0067】
動作５０１～５０７では、一連のレイヤが定義され、各レイヤは１つ又は複数のトレース１１５を含む。例えば、動作５０１では、額のトレース５１５及び頬骨のトレース５１７を含む第１レイヤが定義される。動作５０３では、額のトレース５２０（複数可）、頬のトレース５２１、及び顎のトレース５２３（複数可）を含む第２レイヤが定義される。動作５０５では、第１及び第２レイヤの上に置かれる、１つ又は複数の顔の特徴を目立たせ又は強調するためのハイライトトレース（複数可）５２５を含むハイライトレイヤ（複数可）が定義される。動作５０７で、ハイライトレイヤ、第１レイヤ、第２レイヤの上に置かれる、アイシャドウトレース５３０と目の下のトレース５３１を含む目のレイヤ（複数可）が定義される。
【0068】
このようにして、拡張現実化粧デザインフィルタ５１０は、ユーザデバイス１９０上での提示中に動的にレイヤを追加又は削除することができる。同様に、クライアントコンピューティングデバイス１３０は、１つ又は複数のトレース１１５を多数のレイヤのそれぞれに関連付けることができる。例示的なプロセス５００において説明されるようにレイヤを定義する工程によって、レイヤ間のブレンディングルールを定義することが可能になる。例えば、高次のレイヤは低次のレイヤの上に配置する（ｏｖｅｒｌｙ）ことができる。高次のレイヤは低次のレイヤを完全に覆い隠すことができる。例えばマスクデータ４１０のアルファチャンネルを通して定義される透明度又は部分的な透明度によって、複数のレイヤからの共局在化したコントリビューションを含む正味の美的効果を作り出すために、画像３３５において複数のレイヤを重ねることが可能となる。
【0069】
図６は、様々な実施形態に係る、表面トーン及び製剤トーンを用いて製剤色を決定するための例示的なプロセス６００を示す概略図である。
【0070】
図２を参照してより詳細に説明するように、化粧品製剤２２０のアプリケーション２１５を検出する工程は、色若しくは化粧品製剤２２０を決定する工程、及び／又は化粧品製剤２２０を識別する工程を含むことができる。色を決定するための技術が、カメラ１４０によって生成された画像に基づく画像処理動作を含む場合、様々な化粧品製剤２２０の色は、アプリケーション２１５に近接する生体表面１８０のトーンによって影響される可能性がある。このように、画像画素値の直接読み取りは、フィルタ３２５において使用される場合、不正確な演色性を生み出す可能性がある。
【0071】
動作６０１において、コンピュータシステムは、アプリケーション２１５に対応する多数の領域６１０を測定し、領域６１０のそれぞれについて生体表面１８０の表面トーン６１５を推定する。いくつかの実施形態では、例示的なプロセス６００の動作は、例示的なプロセス２００と並行して実行されるが、ベースライン記述２１０、トレース１１５の生成中に記録された画像、又は例示的なプロセス２００を開始する前に生成された画像の較正セットを使用して、異なる時間に実行することもできる。表面トーン６１５は、例えば、顔の特徴が影を落とす場所や、表面が１つ又は複数のコンターを画定する場所など、領域６１０間で局所的に異なる場合があることが予想される。このため、動作６０１は、単一のアプリケーション２１５に対して複数の表面トーン６１０を定義する工程を含むことができる。
【0072】
動作６０３において、コンピュータシステムは、アプリケーション２１５を含む画像中の領域６１０を測定し、化粧品製剤２２０の１つ又は複数の局所的な製剤トーン６２５を推定する。表面トーン６１５及び製剤トーン６２５を推定する工程は、各領域６１０における１つ又は複数の画素をサンプリングする工程、及び各領域６１０の平均着色を決定する工程を含むことができる。表面トーン６１５が、肌色に敏感な方法で製剤トーンを推定するための基準ベースライン値として機能することができるように、製剤トーン６２５は、基礎となる表面トーン６１５の影響を受けることが理解されよう。有利には、このように表面トーン６１５を推定する工程を含むコンピュータ画像処理アプローチを実装することにより、化粧デザイン１１０は、静的な拡張現実マスクを提示するのではなく、ユーザの肌色にレスポンシブであることができる。
【0073】
動作６０５において、コンピュータシステムは、表面トーン６１５及び製剤トーン６２５を用いて化粧品製剤の色６３０を決定する。表面トーン６１５及び製剤トーン６２５とは対照的に、各化粧品製剤２２０は、製剤が、例えば、可視光の拡散反射を通して、単一の可視色を表現するように、均一に分散又は分布された１つ又は複数の顔料を含むことが企図される。このために、製剤色６３０は、ＲＧＢ３色又は別の色表現アプローチのような色成分のベクトルであるか、又はこれを含むことができる。
【0074】
動作６０５の一部として、対応する表面トーン６１５及び製剤トーン６２５を比較することができ、化粧品製剤２２０の色６３０を決定する工程の一部として、製剤トーン６２５に対する表面トーン６１５の全体的な影響を考慮することができる。例示的な例では、異なる領域６１０が異なって照明される場合、表面トーン６１５と製剤トーン６２５とを比較することにより、例えば、表面トーン６１５を使用して製剤トーン６２５の輝度変動を補正することにより、演色性に対する照明の影響を制御することができる。
【0075】
製剤色６３０を決定する工程により、種々の生体表面上で、種々の周囲条件下で、種々の製剤で、化粧デザイン１１０の美的効果の再現性を向上させることができることが理解されよう。図２を参照してより詳細に説明するように、製剤色６３０を、クリエイタとユーザとの間の肌色の差異を考慮するように修正することができる。同様に、製剤色６３０を、周囲条件に基づいてリアルな色の忠実度が向上するように修正することができる。例えば、明るい条件下では、色の強度を増加させることができ、一方、薄暗い条件下では、色の強度を減少させることができる。場合によっては、光や形状を考慮して色合いを動的に修正することもできる。例えば、例示的なプロセス３００の一部として、対応するトレース１１５が陰になっていることを反映するために、より大きな青色成分を含むように製剤色６３０を修正することができる。逆に、対応するトレース１１５が明るい照明の中に移動したときに青色成分を減少させることができる。
【0076】
前述の説明を通じて説明したように、トレース１１５及びフィルタ３２５を生成、修正、及び／又は提示するための動作は、コンピュータ回路機構、通信モジュール、及びメモリに記憶されたコンピュータ可読命令を含む１つ又は複数の電子デバイスによって実行されることが企図される。図１の例示的なシステム１００の構成要素の連携動作を通じて、拡張現実フィルタを、ソーシャルメディアプラットフォームに統合されたユーザデバイス１９０のユーザにほぼリアルタイムで生成及び提示することができる。拡張現実フィルタは、顔の形状、肌色、及び周囲条件の違いを考慮して、化粧デザインの美的効果をリアルに再現することができる。拡張現実フィルタを、拡張現実又は従来のソーシャルメディアで現在可能であるものを超えて、化粧ルーチン順序の共有を向上するために動的に提示することができる。
【0077】
図７は、様々な実施形態に係る、図１のシステムの部品を含む例示的なシステム７００を示すブロック図である。例示的なシステム７００は、リモートコンピュータシステム１６０と（例えば、ネットワーク１７０を介して）電子通信するクライアントコンピューティングデバイス１３０を含む。例示的なシステム７００は、関連するシステム要素の文脈において、図１のシステム１００の一例を示し、このようなものとして、図２～図６を参照して説明したような動作を実行する電子機器及びソフトウェアを説明する。図７は、システム要素、特徴及び構成の非限定的な例を示しており、他の多くの特徴及び構成が企図される。図７に示す実施例では、図１のクライアントコンピューティングデバイス１３０は、コンピュータシステム７１０、生体表面１８０と相互作用するための複数の部品７２０、コンピュータ可読媒体７３０、及び、クライアントアプリケーション７４０を含み、コンピュータ可読媒体７３０上にコンピュータ実行可能命令として記憶されることができ、コンピュータシステム７１０によって実行されると、図１のシステム１００を参照して説明した動作、及び図２～３の例示的な技術の動作を実装することができるものである。
【0078】
クライアントコンピューティングデバイス１３０は、電源７１１、ヒューマンマシンインターフェース７１３、１つ又は複数のプロセッサ７１５、ネットワークインターフェース７１７を含むがこれらに限定されない補助部品を組み込み、コンピュータ可読媒体７３０を含むことができる。電源７１１は、直流電源であり、例えば、充電式電池又はライン電源（例えば、ＡＣ１１０Ｖ、ＡＣ２２０Ｖなど）に接続するように構成された整流電源である。ヒューマンマシンインターフェース（ＨＭＩ）７１３は、ユーザ入力を受信するか、又はユーザに提示するための出力を生成することができる任意のタイプのデバイスを含むことができる。任意のタイプのデバイスは、音声出力用のスピーカ、音声コマンドを受信するためのマイクロフォン、押しボタンスイッチ、トグルスイッチ、静電スイッチ、ロータリースイッチ、スライドスイッチ、ロッカースイッチ、又はタッチスクリーンなどである。
【0079】
１つ又は複数のプロセッサ７１５は、コンピュータ可読媒体７３０に記憶されたコンピュータ実行可能命令を実行するように構成される。一実施形態において、プロセッサ７１５（複数可）は、例えば、クライアントアプリケーション７４０の実行の一部として、通信バス又は他の回路機構を介して信号を部品７２０へ送信し、及び／又は部品７２０から信号を受信するように構成される。ネットワークインターフェース７１７は、プロセッサ７１５に代わって、クライアントコンピューティングデバイス１３０（又は他のコンピューティングデバイス）へ信号を送信し、及びクライアントコンピューティングデバイス１３０（又は他のコンピューティングデバイス）から信号を受信するように構成される。ネットワークインターフェース７１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、近距離無線通信、及びＷｉ－Ｆｉ（登録商標）などの近距離無線技術、ＷｉＭＡＸ（登録商標）、２Ｇ、３Ｇ、４Ｇ、ＬＴＥ（登録商標）、及び１０Ｇなどの長距離無線技術、並びにＵＳＢ、ＦｉｒｅＷｉｒｅ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、及び／又はイーサネット（登録商標）などの有線技術を含むがこれらに限定されない、任意の適切な通信技術を実装することができる。コンピュータ可読媒体７３０は、フラッシュメモリ（ＳＳＤ）、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＦＰＧＡを含むがこれらに限定されない、コンピュータ実行可能命令を記憶することができる任意のタイプのコンピュータ可読媒体である。コンピュータ可読媒体７３０及びプロセッサ７１５（複数可）は、ＡＳＩＣなどの単一のデバイスに組み合わせることができる。又は、コンピュータ可読媒体７３０は、キャッシュメモリ、レジスタ、又はプロセッサ７１５の別の部品を含むことができる。
【0080】
図示された実施形態では、コンピュータ可読媒体７３０は、１つ又は複数のプロセッサ７１５による実行に応答して、クライアントコンピューティングデバイス１３０に制御エンジン７３１を実装させるコンピュータ実行可能命令を記憶する。制御エンジン７３１は、上述のように、クライアントコンピューティングデバイス１３０の１つ又は複数の態様を制御する。いくつかの実施形態において、コンピュータ実行可能命令は、クライアントコンピューティングデバイス１３０に、ターゲット表面の表面マッピングを生成する工程、トレースを生成する工程、又はトレースをサーバ１６０（複数可）に出力する工程などの１つ又は複数の動作を実行させるように構成される。いくつかの実施形態において、制御エンジン７３１は、クライアントアプリケーション７４０にしたがって、コンピュータシステム７１０と部品７２０との間の相互作用を促進することによって、基本機能を制御する。いくつかの実施形態では、制御エンジン７３１は、化粧ルーチンが開始されることを示すＨＭＩ７１３からの入力を検出するか（例えば、電源スイッチ若しくは「開始」ボタンのアクティベーションに応答して、又は図１のカメラ１４０の前の顔の検出に応答して）、又は（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ペア接続を介して）クライアントコンピューティングデバイス１３０（複数可）、リモートコンピュータシステム１６０、又はユーザデバイス１９０（複数可）から信号を受信する。
【0081】
クライアントコンピューティングデバイス１３０の部品は、アプリケーションに適合させることができ、又はアプリケーション（例えば、ＡＳＩＣ）に固有とできる。例えば、部品７２０は、図１を参照してより詳細に説明するように、１つ若しくは複数のカメラ７２１、ディスプレイ７２３、１つ若しくは複数の放射線源７２５、及び／又は１つ若しくは複数の放射線センサ７２７を含むことができる。いくつかの実施形態では、部品７２０は、単一のデバイスに統合される。このようにして、クライアントコンピューティングデバイス１３０は、部品７２０と連携してクライアントアプリケーション７４０を実行するように構成される、特殊用途のコンピューティングデバイスとできる。いくつかの実施形態では、クライアントコンピューティングデバイス１３０は、クライアントアプリケーション７４０を記憶する、タブレット又はスマートフォンなどの汎用モバイル電子デバイスである。
【0082】
いくつかの実施形態では、クライアントアプリケーション７４０は、画像キャプチャ／３Ｄスキャニングエンジン７４１も含む。画像キャプチャ／３Ｄスキャニングエンジン７４１は、立体画像、ＬｉＤＡＲデータ、又は他の形態の表面／深度センシング情報を含むがこれらに限定されない、部品７２０のうちの１つ又は複数から得られるデジタル画像（例えば、カラー画像、赤外線画像、深度画像など）をキャプチャして処理するように構成される。いくつかの実施形態では、このようなデータを使用して、ターゲット体表面（例えば、図１のターゲット表面１８１）のきれいで正確な３Ｄコンターマッピングを得る。いくつかの実施形態では、デジタル画像又はスキャンは、クライアントコンピューティングデバイス１３０によって処理され、及び／又は３Ｄモデルエンジン７８１で処理するためにリモートコンピュータシステム１６０に送信される。一実施形態では、キャプチャされた画像データを位置追跡エンジン７４３で使用して、ターゲット体表面上の、キーポイント、エッジ、又は特徴の位置を決定する。いくつかの実施形態では、位置追跡エンジン７４３は、例えば、ｖ－ＳＬＡＭ技術を実装することによって、３Ｄ空間内のターゲット体表面のコンターを追跡する。いくつかの実施形態では、位置追跡エンジン７４３からの位置情報を使用して、制御エンジン７３１に送信される信号を生成する。この信号を使用して、本明細書に記載される技術にしたがって、例えば、ソース７２５又はＨＭＩ７１３を含むコンピュータシステム７１０の１つ又は複数の部品７２０又は要素を制御する。
【0083】
いくつかの実施形態では、本明細書で説明するデジタル３Ｄモデルは、クライアントコンピューティングデバイス１３０が取得したセンサデータに基づいて生成される。このように、デジタル３Ｄモデルは、クライアントコンピューティングデバイス１３０、クラウドコンピューティングシステムなどの他のコンピューティングデバイス、又はこれらの組み合わせによって生成される。いくつかの実施形態では、デジタル３Ｄモデルは、３Ｄトポロジー及びテクスチャ情報を含む。これらは、図１～６を参照してより詳細に説明するように、顔の構造及び皮膚の特徴などの体表面の正確な表現を再現するために使用することができる。
【0084】
いくつかの実施形態では、クライアントアプリケーション７４０は、ユーザインターフェース７４５を含む。一実施形態では、ユーザインターフェース７４５は、ユーザが化粧デザイン、チュートリアルビデオ、又はアニメーションを選択するのをガイドするためにディスプレイを介して提示されるグラフィカルガイド又はプロンプトを含むが、これらに限定されないインタラクティブ機能を含む。いくつかの実施形態では、ユーザインターフェース７４５は、マッピング及び投影エンジンによる使用のために確実に十分なデータを収集するために、特定の照明条件、角度などの下でユーザを誘導するためのガイダンス（例えば、矢印やターゲットなどの視覚的ガイド、進捗インジケータ、音声／触覚フィードバック、合成音声など）を提供する。
【0085】
クライアントアプリケーション７４０は、マッピングモジュール７４７を含むことができる。マッピングモジュール７４７は、化粧デザインの数値表現を拡張現実化粧デザインフィルタに変換するためのコンピュータ可読命令（例えば、ソフトウェア、ドライバなど）であるか、又はこれを含むことができる。マッピングモジュール７４７の動作の一部として、クライアントアプリケーション７４０は、カメラ７２１（複数可）及びセンサ７２７からリアルタイムのデータを受信することができる。このデータは、３Ｄスキャニングエンジン７４１、位置追跡エンジン７４３によって処理されることができる。このデータを使用して、ターゲット体表面への一連のアプリケーション中に開発されるマッピング及び化粧デザインを漸進的に更新することができる。このようにして、マッピングモジュール７４７は、ターゲット体表面の動きに応答することができる。それにより、化粧デザインフィルタに対する忠実度を失うことなく、ユーザ側の動きに対するクライアントコンピューティングデバイス１３０の許容度を増加させることができる。いくつかの実施形態では、このようなリアルタイムのスキャン／追跡のための計算リソース需要は、並列化又は分散ルーチンを介して、リモートコンピュータシステム１６０のような複数のデバイスにまたがって分散させることができる。
【0086】
クライアントアプリケーション７４０の通信モジュール７４９は、図１を参照してより詳細に説明するように、リモートコンピュータシステム１６０若しくはユーザデバイス１９０（複数可）などの他のデバイス若しくはシステムへの送信のための情報を準備するため、又は他のデバイス若しくはシステムから情報を受信して解釈するために使用することができる。このような情報は、キャプチャしたデジタル画像、スキャン、又はビデオ、パーソナルケアデバイスの設定、カスタムケアルーチン、ユーザ嗜好、ユーザ識別子、デバイス識別子などを含むことができる。一実施形態では、クライアントコンピューティングデバイス１３０は、ケアルーチンの実行を記述するデータ、体表面の画像データ、又は他のデータを収集する。一実施形態では、このようなデータは、（例えば、製品データストア７８３又はユーザプロファイルデータストア７８５内の）さらなる処理又は記憶のために、ネットワークインターフェース７１７を介してリモートコンピュータシステム１６０に送信される。クライアントコンピューティングデバイス１３０は、リモートコンピュータシステム１６０又はユーザデバイス１９０（複数可）などのシステム７００の他の構成要素と相互作用するために、消費者、パーソナルケア専門家、又は何らかの他のエンティティによって使用され得る。一実施形態では、クライアントコンピューティングデバイス１３０は、部品７２０及びクライアントアプリケーション７４０を備えるか、周辺デバイスとの電子的結合を介して部品を備えるスマートフォン又はタブレットコンピューティングデバイスなどのモバイルコンピューティングデバイスである。
【0087】
次に、リモートコンピュータシステム１６０の例示的な部品及び機能について説明する。リモートコンピュータシステム１６０は、例えばクラウドコンピューティング配置において、図示された部品の１つ又は複数を実装する１つ又は複数のサーバコンピュータを含む。リモートコンピュータシステム１６０は、投影エンジン７８７、３Ｄモデルエンジン７８１、製品データストア７８３、及びユーザプロファイルデータストア７８５を含む。一実施形態では、３Ｄモデルエンジン７８１は、画像データ（例えば、カラー画像データ、赤外線画像データ）及び深度データを使用して、ターゲット体表面の３Ｄモデルを生成する。画像データは、クライアントコンピューティングデバイス１３０から、例えば、クライアントコンピューティングデバイス１３０と一体化されているか、そうでなければクライアントコンピューティングデバイス１３０と電子的に結合されているカメラ７２１（複数可）又はセンサ７２７（複数可）から取得される。一実施形態において、ユーザに関連付けられた画像データ及び深度データは、ユーザプロファイルデータストア７８５に記憶される。一実施形態では、ユーザの個人情報であるか、又はユーザを識別するために使用され得る任意の情報を記憶する前に、ユーザの同意が得られる。
【0088】
一実施形態では、マッピング／投影エンジン７８７は、画像／センサデータを使用してターゲット表面のマッピングを生成する工程、及び／又は拡張現実フィルタとして化粧品ルーチンの投影を生成する工程など、化粧ルーチンに関連するデータの処理を実施する。次いで、化粧ルーチンに関連するデータをユーザデバイス１９０（複数可）に送信することができる。いくつかの実施形態では、投影エンジン７８７は、ユーザプロファイルデータストア７８５、製品データストア７８３、３Ｄモデルエンジン７８１、又は他のソース若しくはソースの組み合わせからのユーザ情報を使用して、化粧デザインデータを生成する。
【0089】
３Ｄモデルエンジン７８１は、機械学習又は人工知能技術（例えば、テンプレートマッチング、特徴抽出及びマッチング、分類、人工ニューラルネットワーク、ディープラーニングアーキテクチャ、遺伝的アルゴリズムなど）を採用することができる。例えば、顔の表面マッピングに係る化粧デザインを生成するために、３Ｄモデルエンジン７８１は、３Ｄモデルエンジン７８１によって生成された顔マッピングを解析して、ターゲット体表面のコンター、しわ、皮膚テクスチャなどを測定又はマッピングすることができる。３Ｄモデルエンジン７８１は、ユーザデバイス１９０（複数可）を通じてユーザによって提供された識別子コードに基づいて、化粧デザインを記述するデータを受信することができる。このようなシナリオでは、３Ｄモデルエンジン７８１は、このような情報を使用して、拡張現実化粧デザインフィルタをユーザの対応する体表面の画像上に化粧デザイン（例えば、図１の化粧デザイン１１０）の投影を生成することができる。
【0090】
図７に示されるデバイスは、ネットワーク１７０を介して互いに通信することができる。ネットワーク１７０は、ＤＳＬ、イーサネット（登録商標）、光ファイバ、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）などの有線技術、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）、３Ｇ、４Ｇ、ＬＴＥ（登録商標）、５Ｇ、１０Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線技術、及びプライベートネットワーク（例えば、イントラネット）又はパブリックネットワーク（例えば、インターネット）を含むがこれらに限定されない任意の適切な通信技術を含むことができる。一般に、図７のコンピューティングデバイス若しくは部品、又は記載された実施形態にしたがって使用される他の部品又はコンピューティングデバイス間の通信は、直接又は中間部品若しくは中間デバイスを介して生じる。
【0091】
図１及び図７を参照して開示・説明した配置の代替が可能である。例えば、複数の部品に実装されるとして説明した機能を、代わりに単一の部品に統合したり、単一の部品に実装されるとして説明した機能を、複数の図示した部品、又は図１若しくは図７に示されていない他の部品に実装したりすることができる。別の例として、特定の部品を含むものとして図示されている図１及び図７のデバイスは、説明した実施形態の範囲から逸脱することなく、より多くの部品、より少ない部品、又は異なる部品を代わりに含むことができる。別の例として、特定のデバイス又は補助部品によって実施されるものとして説明した機能を、代わりに、システム内の１つ又は複数の他のデバイスによって実施することができる。一例として、３Ｄモデルエンジン７１４は、クライアントコンピューティングデバイス１３０、又は他のデバイス若しくはデバイスの組み合わせに実装することができる。
【0092】
本明細書の他の箇所に記載した実施形態の技術的利点に加えて、いくつかの実施形態では多数の他の技術的利点が達成される。例えば、システム７００によって、プロセスのいくつかの態様が、パーソナルケアデバイス又はクライアントコンピューティングデバイスによって独立して実施することが可能となる一方で、他の処理の負担をリモートコンピュータシステム１６０（これは、比較的高出力で信頼性の高いコンピューティングシステムであり得る）に移動させる。したがって、パーソナルケアデバイス又はクライアントコンピューティングデバイスによって提供される機能の性能が向上し、バッテリ寿命を維持する。
【0093】
一般に、本明細書で使用する「エンジン」という語は、Ｃ、Ｃ＋＋、ＣＯＢＯＬ（登録商標）、ＪＡＶＡ（登録商標）、ＰＨＰ（登録商標）、Ｐｅｒｌ（登録商標）、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＶＢＳｃｒｉｐｔ（登録商標）、ＡＳＰＸ、Ｍｉｃｒｏｓｏｆｔ ．ＮＥＴ（登録商標）などのプログラミング言語で記述されたハードウェア命令又はソフトウェア命令に具現化されたロジックを指す。エンジンは、実行可能プログラムにコンパイルすることも、インタプリタ型プログラミング言語で記述することもできる。ソフトウェアエンジンは、他のエンジンから呼び出すことも、エンジン自身から呼び出すこともできる。一般に、本明細書で説明するエンジンは、他のエンジンと統合したり、サブエンジンに分割したりできる論理モジュールを指す。エンジンは、任意のタイプのコンピュータ可読媒体又はコンピュータ記憶デバイスに記憶することができ、１つ又は複数の汎用コンピュータに記憶されて実行される。したがって、エンジン又はこの機能を提供するように構成された専用コンピュータが作製される。
【0094】
当業者に理解されるように、本明細書で説明する「データストア」は、コンピューティングデバイスによるアクセスのためにデータを記憶するように構成された任意の適切なデバイスとできる。データストアの一例は、１つ又は複数のコンピューティングデバイス上で実行され、高速ネットワークを介してアクセス可能な、信頼性の高い高速リレーショナルデータベース管理システム（ＤＢＭＳ）である。データストアの別の例は、キーバリューストアである。しかしながら、クエリに応答して記憶されたデータを迅速かつ確実に提供することができる他の任意の適切なストレージ技術及び／又はデバイスを使用することができる。コンピューティングデバイスは、ネットワークを介してではなくローカルにアクセス可能であり、又はクラウドベースのサービスとして提供されることができる。また、データストアは、以下に更に説明するように、コンピュータ可読記憶媒体に組織的に記憶されたデータを含むこともできる。当業者であれば、本開示の範囲から逸脱することなく、本明細書で説明する別個のデータストアを単一のデータストアに組み合わせること、及び／又は本明細書で説明する単一のデータストアを複数のデータストアに分離することができることを認識するであろう。
【0095】
図８は、様々な実施形態に係る、例示的なコンピューティングデバイス８００の態様を示すブロック図である。複数の異なるタイプのコンピューティングデバイスを、様々な実施形態を参照して説明するが、例示的なコンピューティングデバイス８００は、多くの異なるタイプのコンピューティングデバイスに共通する様々な要素を説明する。図８は、ネットワーク上のデバイスとして実装されるコンピューティングデバイスを参照して説明するが、以下の説明は、サーバ、パーソナルコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、組み込みコンピューティングデバイス、及び本開示の実施形態の一部を実装するために使用することができる他のデバイスに適用可能である。更に、当業者などは、コンピューティングデバイス８００が、現在利用可能な、又は今後開発される任意の数のデバイスのうちの任意の１つとできることを認識するであろう。
【0096】
最も基本的な構成では、例示的なコンピューティングデバイス８００は、少なくとも１つのプロセッサ８０２と、通信バス８０６によって接続されたシステムメモリ８０４とを含む。デバイスの正確な構成及びタイプに応じて、システムメモリ８０４は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ＥＥＰＲＯＭ、フラッシュメモリ、又は同様のメモリ技術などの揮発性メモリ又は不揮発性メモリとできる。当業者などは、システムメモリ８０４が、典型的には、プロセッサ８０２に直ちにアクセス可能であり、及び／又はプロセッサ８０２によって現在操作されているデータ及び／又はプログラムモジュールを記憶することを認識するであろう。この点に関して、プロセッサ８０２は、命令の実行をサポートすることによって、コンピューティングデバイス８００の計算センターとして機能することができる。
【0097】
図８に更に示すように、コンピューティングデバイス８００は、ネットワークを介して他のデバイスと通信するための１つ又は複数の部品を備えるネットワークインターフェース８１０を含むことができる。本開示の実施形態は、一般的なネットワークプロトコルを使用して通信を実施するためにネットワークインターフェース８１０を利用する基本サービスにアクセスすることができる。ネットワークインターフェース８１０は、ＷｉＦｉ（登録商標）、２Ｇ、３Ｇ、ＬＴＥ（登録商標）、ＷｉＭＡＸ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ（登録商標）などの１つ又は複数の無線通信プロトコルを介して通信するように構成された無線ネットワークインターフェースを含むこともできる。当業者には理解されるように、図８に図示したネットワークインターフェース８１０は、図１のシステム１００の特定の部品に関して上記で説明し図示した１つ又は複数の無線インターフェース又は物理通信インターフェースを表すことができる。
【0098】
図８に描かれた例示的実施形態では、コンピューティングデバイス８００は記憶媒体８０８も含む。しかし、ローカル記憶媒体にデータを永続化する手段を含まないコンピューティングデバイスを使用して、サービスにアクセスすることができる。したがって、図８に描かれている記憶媒体８０８は、記憶媒体８０８が任意選択であることを示すために破線で表されている。いずれにせよ、記憶媒体８０８は、揮発性又は不揮発性、取り外し可能又は取り外し不可能であり、ハードディスクドライブ、ソリッドステートドライブ、ＣＤＲＯＭ、ＤＶＤ、又は他のディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ及び／又はこのようなものを含むがこれらに限定されない、情報を記憶することができる任意の技術を使用して実装される。
【0099】
本明細書で使用する場合、「コンピュータ可読媒体」という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶することができる任意の方法又は技術において、揮発性及び不揮発性、並びに、取り外し可能及び実装されないものを含む。これに関して、図８に描かれているシステムメモリ８０４及び記憶媒体８０８は、コンピュータ可読媒体の単なる例に過ぎない。
【0100】
プロセッサ８０２、システムメモリ８０４、通信バス８０６、記憶媒体８０８、及びネットワークインターフェース８１０を含むコンピューティングデバイスの適切な実装は、既知であり、市販されている。図示を容易にするため、及びクレームされる主題の理解にとって重要でないため、図８は、多くのコンピューティングデバイスの典型的な部品のいくつかを示していない。この点、例示的なコンピューティングデバイス８００は、キーボード、キーパッド、マウス、マイクロフォン、タッチ入力デバイス、タッチスクリーン、及び／又はこのようなもののような入力デバイスを含むことができる。このような入力デバイスは、ＲＦ、赤外線、シリアル、パラレル、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ（登録商標）、ＵＳＢ、又は無線接続若しくは物理接続を使用する他の適切な接続プロトコルを含む有線接続又は無線接続によって、例示的なコンピューティングデバイス８００に結合され得る。同様に、例示的なコンピューティングデバイス８００は、ディスプレイ、スピーカ、プリンタなどの出力デバイスを含むこともできる。これらのデバイスは当技術分野で周知であるため、本明細書ではこれ以上図示又は説明しない。
【0101】
例示的実施形態を図示して説明してきたが、本発明の趣旨及び範囲から逸脱することなく、例示的実施形態に様々な変更が可能であることを理解されたい。本明細書に記載の方法及びシステムは、特定の方法、特定の部品、又は特定の実装に限定されないことを理解されたい。また、本明細書で使用する専門用語は、実施形態を説明するためだけのものであり、限定することを意図するものではないことを理解されたい。
【0102】
本明細書及び添付の特許請求の範囲において使用される場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈上明らかにそうでないことが指示されない限り、複数の参照対象を含む。本明細書において、範囲は、「約」ある特定の値から、及び／又は「約」別の特定の値までとして表すことができる。このような範囲が表現される場合、別の実施形態は、当該ある特定の値から、及び／又は当該他の特定の値までを含む。同様に、値が近似値として表現される場合、先行詞「約」の使用により、特定の値が別の実施形態を形成することが理解されるであろう。更に、各範囲の端点（ｅｎｄｐｏｉｎｔｓ）は、他の端点と関係していても、他の端点と無関係でも重要であることが理解されよう。
【0103】
「任意選択の」又は「任意選択で」とは、この後に記述される事象又は状況が発生する可能性も発生しない可能性もあることを意味する。この記述には当該事象又は状況が発生する例と発生しない例が含まれることを意味する。
【0104】
本明細書の説明及び特許請求の範囲全体を通じて、「備える（ｃｏｍｐｒｉｓｅ）」という語及び、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」及び「備える（ｃｏｍｐｒｉｓｅｓ）」などの語の変形は、「含むが、これに限定されない」を意味する。例えば、他の部品、整数又は工程を除外することを意図するものではない。「例示的な」は、「～の一例」を意味し、好ましい又は理想的な実施形態の示唆を伝えることを意図していない。「のような」は、制限的な意味で使用されているのではなく、説明の目的で使用されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2024-03-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピューティング回路機構によって実行されると、拡張現実化粧デザインフィルタを生成するための動作を前記コンピューティング回路機構に実施させる、コンピュータ可読命令を記憶する１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記動作は、
生体表面のベースライン記述を定義する工程、
化粧品製剤のアプリケーションを識別する工程、
トレースを生成する工程、及び
前記トレースを出力する工程を備え、
前記生体表面のベースライン記述を定義する工程は、１つ又は複数の放射線センサを使用して前記生体表面の前記ベースライン記述を定義し、
前記放射線センサは、前記コンピューティング回路機構と電子的に結合されており、
前記ベースライン記述は、表面マッピングと色情報との両方を含む、前記生体表面の数値表現を含み、
前記化粧品製剤のアプリケーションを識別する工程は、１つ又は複数の前記放射線センサを使用して、前記生体表面への前記化粧品製剤の前記アプリケーションを識別し、
前記アプリケーションは、アプリケータの動き又は前記生体表面上に配置された化粧品製剤の修正を含み、
前記トレースを生成する工程は、前記ベースライン記述を参照して、前記アプリケーションを記述する前記トレースを生成し、
前記トレースは、適用され又は修正される前記化粧品製剤の範囲、着色、レイヤ順序、又は反射率を含み、
前記拡張現実化粧デザインフィルタは、化粧ルーチンを通してビューアーをガイドするために、拡張現実インターフェースを通して見ることができる、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項2】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記化粧品製剤の前記アプリケーションを識別する工程は、
前記放射線センサのうちの１つ又は複数及び前記ベースライン記述を使用して、前記化粧品製剤のタイプを検出する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項3】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを生成する工程は、
顔や顔の特徴の複数の形状タイプを記述する電子情報を受信する工程、
前記ベースライン記述を使用して、前記形状タイプのうちの第１形状タイプを前記生体表面の少なくとも一部に帰属させる工程、
前記化粧品製剤の前記アプリケーションのデジタルデータの数値表現を生成する工程、及び
前記数値表現を前記第１形状タイプから前記形状タイプのうちの第２形状タイプに変換する工程を備え、
前記数値表現は、前記ベースライン記述に対する位置情報を記述する、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項4】
請求項３に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記生体表面は顔であり、
前記第１形状タイプ及び前記第２形状タイプは顔の特徴を記述する、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項5】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記生体表面の前記ベースライン記述を定義する工程は、前記コンピューティング回路機構と電子的に結合された放射線源を用いて前記生体表面に不可視電磁放射線を投影する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項6】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記１つ又は複数の放射線センサは、紫外線、可視光線若しくは赤外線のスペクトル範囲、又はこれらの組み合わせから電磁放射線を検出するように構成されたカメラを備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項7】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを生成する工程は、
前記生体表面に対する前記アプリケーションの動きを追跡する工程、及び
前記ベースライン記述に対する前記動きの数値表現を生成する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項8】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記命令は、前記コンピューティング回路機構によって実行されると、前記コンピューティング回路機構に、更なる動作を実施させ、前記動作は、
前記化粧品製剤を識別する工程、及び
前記化粧品製剤の識別子情報を使用して、前記化粧品製剤の色を定義する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項9】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記命令が、前記コンピューティング回路機構によって実行されると、前記コンピューティング回路機構に、更なる動作を実施させ、前記動作は、
前記生体表面の表面トーンを推定する工程、
前記表面トーンを用いて、前記化粧品製剤の製剤トーンを推定する工程、及び
前記表面トーンと前記製剤トーンとを用いて、前記化粧品製剤の色を決定する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項10】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記１つ又は複数の非一時的なコンピュータメモリデバイスは、スマートフォンと電子的に結合される、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項11】
請求項１に記載の１つ又は複数の非一時的なコンピュータメモリデバイスであって、前記トレースを出力する工程は、前記トレースをリモートコンピューティングシステムに通信する工程を備える、１つ又は複数の非一時的なコンピュータメモリデバイス。
【請求項12】
拡張現実化粧デザインフィルタを生成する方法であって、１つ又は複数の放射線源及び１つ又は複数の放射線センサを使用して、生体表面のベースライン記述を定義する工程、
前記放射線センサを用いて、前記生体表面への化粧品製剤のアプリケーションを識別する工程、
前記ベースライン記述を参照して、前記アプリケーションを記述するトレースを生成する工程、及び
前記トレースを出力する工程を備え、
前記ベースライン記述は、表面マッピングと色情報の両方を含む、前記生体表面の数値表現を含み、
前記アプリケーションは、アプリケータの動き又は前記生体表面上に配置された化粧品製剤の修正を含み、
前記トレースは、適用され又は修正される前記化粧品製剤の範囲、着色、レイヤ順序、又は反射率を含み、
前記拡張現実化粧デザインフィルタは、化粧ルーチンを通してビューアーをガイドするために、拡張現実インターフェースを通して見ることができる、方法。
【請求項13】
請求項１２に記載の方法であって、前記トレースを生成する工程は、
顔又は顔の特徴の複数の形状タイプを記述する電子形状情報を受信する工程、
前記電子形状情報を用いて、前記形状タイプのうちの第１形状タイプを前記生体表面の少なくとも一部に帰属させる工程、
前記化粧品製剤の前記アプリケーションのデジタルデータの数値表現を生成する工程、
前記数値表現を前記第１形状タイプから第２形状タイプに変換する工程を備え、
前記数値表現は、前記ベースライン記述に対する位置情報を記述する、方法。
【請求項14】
請求項１２に記載の方法であって、前記化粧品製剤の前記アプリケーションを識別する工程は、
前記化粧品製剤のアプリケータを検出する工程、
前記生体表面に対する前記化粧品製剤の前記アプリケータの位置を推定する工程、
前記生体表面に対する前記アプリケータの動きを追跡する工程、及び
前記ベースライン記述に対する前記動きの数値表現を生成する工程を備える、方法。
【請求項15】
請求項１２に記載の方法であって、前記生体表面の表面トーンを推定する工程、
前記化粧品製剤の製剤トーンを推定する工程、及び
前記表面トーンと前記製剤トーンとを用いて、前記化粧品製剤の色を決定する工程を更に備える、方法。
【国際調査報告】