特表2022-525115使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-11
(54)【発明の名称】使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220428BHJP
G06T 7/529 20170101ALI20220428BHJP
G01B 11/24 20060101ALI20220428BHJP
A45D 44/00 20060101ALI20220428BHJP
【ＦＩ】
G06T7/00 660A
G06T7/529
G01B11/24 A
A45D44/00 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021554767
(86)(22)【出願日】2020-03-13
(85)【翻訳文提出日】2021-09-10
(86)【国際出願番号】 EP2020056887
(87)【国際公開番号】W WO2020182991
(87)【国際公開日】2020-09-17
(31)【優先権主張番号】19305303.0
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】391023932
【氏名又は名称】ロレアル
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133086
【弁理士】
【氏名又は名称】堀江 健太郎
(72)【発明者】
【氏名】パナギオティス－アレキサンドロス・ボカリス
(72)【発明者】
【氏名】ミカエル・ハダッド
(72)【発明者】
【氏名】ロイック・トラン
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA53
2F065CC16
2F065FF12
2F065FF13
2F065MM16
2F065MM26
2F065PP22
5L096AA09
5L096BA08
5L096CA02
5L096CA17
5L096EA07
5L096FA06
5L096FA15
5L096FA66
5L096GA41
5L096HA02
5L096JA09
(57)【要約】
一実施形態では、メイクアップ適用システムが、メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者の顔面に投影するように構成されたプロジェクタ22と、プロジェクタに動作可能に結合された動的マッピングユニット24、30であって、プロジェクタ22のピクセルと、使用者の顔面の特徴との間の動的対応を確立するように構成された動的マッピングユニットとを含む。
【特許請求の範囲】
【請求項1】
メイクアップ適用システムであって、メイクアップ適用チュートリアルを含むデジタルコンテンツを、使用者の顔面に投影するように構成されたプロジェクタ(22)と、
前記プロジェクタに動作可能に結合された動的マッピングユニット(24、30)であって、前記プロジェクタ(22)のピクセルと、前記使用者の顔面の特徴との間の動的対応を確立するように構成された、動的マッピングユニットと
を備える、システム。
【請求項2】
前記プロジェクタ(22)に動作可能に結合された動的ひずみ補償ユニット(26)であって、前記使用者の顔面の色のひずみおよび幾何学的ひずみのうちの少なくとも1つを、リアルタイムで補償するように構成された、動的ひずみ補償ユニットをさらに備える、請求項1に記載のシステム。
【請求項3】
前記動的マッピングユニット(24、30)が、前記使用者の顔面の等深線を動的に決定するように構成された深度カメラを備える、請求項1または2に記載のシステム。
【請求項4】
前記深度カメラが、前記使用者の顔面の前記等深線を決定するように構成された、飛行時間型センサーおよびドップラー効果トランスデューサのうちの少なくとも一方を備える、請求項3に記載のシステム。
【請求項5】
前記動的マッピングユニット(24、30)が、ビームスプリッタ(27)を有する同軸光学系セットアップ(120)を備え、前記ビームスプリッタ(27)が、前記使用者の顔面の画像を、前記動的マッピングユニットのカメラに向けるように構成され、前記プロジェクタ(22)が、前記メイクアップ適用チュートリアルを含むデジタルコンテンツを前記使用者の顔面に投影するように構成される、請求項1から4のいずれか一項に記載のシステム。
【請求項6】
前記カメラが2Dカメラであり、前記動的マッピングユニット(24、30)が、前記使用者の顔の等深線とは無関係に、前記プロジェクタの個々のピクセルと、前記使用者の顔面の特徴との間の前記動的対応を確立するように構成される、請求項5に記載のシステム。
【請求項7】
前記プロジェクタ(22)が、少なくとも第1の仮想オブジェクトおよび第2の仮想オブジェクトを投影するように構成され、前記第2の仮想オブジェクトが、前記第1の仮想オブジェクトとは異なる環境照明条件を示す、請求項1から6のいずれか一項に記載のシステム。
【請求項8】
前記メイクアップ適用チュートリアルが、複数の環境照明条件をシミュレートするように構成される、請求項1から7のいずれか一項に記載のシステム。
【請求項9】
前記使用者の顔面の前記深度分解デジタル表現との前記動的対応が、少なくとも1つの顔のランドマークとの前記動的対応を含む、請求項1から8のいずれか一項に記載のシステム。
【請求項10】
前記使用者の顔面の前記深度分解デジタル表現との前記動的対応が、前記使用者の顔面の少なくとも1つの部分的な3次元表現との前記動的対応を含む、請求項1から9のいずれか一項に記載のシステム。
【請求項11】
前記使用者の顔面の前記深度分解デジタル表現との前記動的対応が、顔画像中の顔のランドマーク、しわ、皮膚のひだ、または解剖学的特徴のうちの少なくとも1つとの前記動的対応を含む、請求項1から10のいずれか一項に記載のシステム。
【請求項12】
メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者に投影する方法であって、動的マッピングユニットによって、プロジェクタのピクセルと使用者の顔面の特徴との間の動的対応を確立するステップであって、前記動的マッピングユニットが前記プロジェクタに動作可能に結合される、確立するステップと、
前記プロジェクタによって、前記メイクアップ適用チュートリアルを含むデジタルコンテンツを、前記使用者の顔面に投影するステップと
を含む、方法。
【請求項13】
前記動的マッピングユニットによって、前記プロジェクタのピクセルと前記使用者の顔面の特徴との間の前記動的対応を確立するステップが、構造化光の投影、構造化コードの投影、光ストリップの投影、空間的に符号化されたパターン、時間的に符号化されたパターン、または参照画像の投影を含む、光パターンを投影するステップを含む、請求項12に記載の方法。
【請求項14】
前記動的マッピングユニットによって、前記プロジェクタのピクセルと前記使用者の顔面の特徴との間の前記動的対応を確立するステップが、前記使用者の顔面の少なくとも一部分の深度分解デジタル表現を生成するステップを含む、請求項12または13に記載の方法。
【請求項15】
メイクアップ適用チュートリアルを含むデジタルコンテンツを投影するステップが、顔にマップされ、デジタル的に生成される、メイクアップ適用プロセスを表すコンテンツを投影するステップを含む、請求項12から14のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、2019年3月13日に出願された欧州特許出願第19,305,303.0号の利益を主張する。
本出願は、その内容全体が参照により本明細書に組み込まれる、2019年3月13日に出願された欧州特許出願第19,305,303.0号の利益を主張する。
【発明の概要】
【課題を解決するための手段】
【0002】
一実施形態では、メイクアップ適用システムが、メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者の顔面に投影するように構成されたプロジェクタと、プロジェクタに動作可能に結合された動的マッピングユニットとを含む。動的マッピングユニットは、プロジェクタのピクセルと、使用者の顔面の特徴との間の動的対応(dynamic correspondence)を確立するように構成される。
【0003】
一態様では、動的ひずみ補償ユニットが、プロジェクタに動作可能に結合され、動的ひずみ補償ユニットは、使用者の顔面の色のひずみおよび幾何学的ひずみのうちの少なくとも1つを、リアルタイムで補償するように構成される。
【0004】
別の態様では、動的マッピングユニットは、使用者の顔面の等深線(depth contour)を動的に決定するように構成された深度カメラを含む。
【0005】
一態様では、深度カメラは、使用者の顔面の等深線を決定するように構成された、飛行時間型センサーおよびドップラー効果トランスデューサのうちの少なくとも1つを含む。
【0006】
一態様では、動的マッピングユニットは、ビームスプリッタを有する同軸光学系セットアップを含み、ビームスプリッタは、使用者の顔面の画像を、動的マッピングユニットのカメラに向けるように構成され、プロジェクタは、メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者の顔面に投影するように構成される。
【0007】
一態様では、カメラは2Dカメラであり、動的マッピングは、使用者の顔の等深線とは無関係に、プロジェクタの個々のピクセルと、使用者の顔面の特徴との間の動的対応を確立するように構成される。
【0008】
一態様では、プロジェクタは、少なくとも第1の仮想オブジェクトおよび第2の仮想オブジェクトを投影するように構成され、第2の仮想オブジェクトは、第1の仮想オブジェクトとは異なる環境照明条件を示す。
【0009】
一態様では、メイクアップ適用チュートリアルは、複数の環境照明条件をシミュレートするように構成される。
【0010】
一態様では、使用者の顔面の深度分解デジタル表現との動的対応は、少なくとも1つの顔のランドマークとの動的対応を含む。
【0011】
一態様では、使用者の顔面の深度分解デジタル表現との動的対応は、使用者の顔面の少なくとも1つの部分的な3次元表現との動的対応を含む。
【0012】
一態様では、使用者の顔面の深度分解デジタル表現との動的対応は、顔画像中の顔のランドマーク、しわ、皮膚のひだ(skinfold)、または解剖学的特徴のうちの少なくとも1つとの動的対応を含む。
【0013】
一実施形態では、メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者に投影する方法は、動的マッピングユニットによって、プロジェクタのピクセルと使用者の顔面の特徴との間の動的対応を確立するステップであって、動的マッピングユニットがプロジェクタに動作可能に結合される、確立するステップと、プロジェクタによって、メイクアップ適用チュートリアルを含むデジタルコンテンツを使用者の顔面に投影するステップとを含む。
【0014】
一態様では、動的マッピングユニットによって、プロジェクタのピクセルと使用者の顔面の特徴との間の動的対応を確立するステップは、構造化光の投影、構造化コードの投影、光ストリップの投影、空間的に符号化されたパターン、時間的に符号化されたパターン、または参照画像の投影を含む、光パターンを投影するステップを含む。
【0015】
一態様では、動的マッピングユニットによって、プロジェクタのピクセルと使用者の顔面の特徴との間の動的対応を確立するステップは、使用者の顔面の少なくとも一部分の深度分解デジタル表現を生成するステップを含む。
【0016】
一態様では、メイクアップ適用チュートリアルを含むデジタルコンテンツを投影するステップは、顔にマップされ、デジタル的に生成される、メイクアップ適用プロセスを表すコンテンツを投影するステップを含む。
【図面の簡単な説明】
【0017】
【図1】本発明の技術の一実施形態によるデジタルコンテンツ投影システムの概略図である。
【図2】本発明の技術の一実施形態によるデジタルコンテンツ投影システムの概略図である。
【図3A】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図3B】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図3C】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図4A】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図4B】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図4C】本発明の技術の一実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。
【図5A】本発明の技術の一実施形態によるヘアスタイリング適用のためのデジタルコンテンツ投影方法の概略図である。
【図5B】本発明の技術の一実施形態によるヘアスタイリング適用のためのデジタルコンテンツ投影方法の概略図である。
【図6】本発明の技術の一実施形態によるデジタルコンテンツ投影システムの斜視図である。
【発明を実施するための形態】
【0018】
以下の発明を実施するための形態では、本出願の一部を形成する添付の図面を参照する。図面全体にわたって、文脈が別段に規定しない限り、同様の記号は通常、同様の構成要素を特定する。発明を実施するための形態、図面、および特許請求の範囲に記述する例示的な実施形態は、限定的であることを意図するものではない。本明細書で提示する主題の趣旨または範囲から離れることなく、他の実施形態が利用されてよく、他の変更が行われてよい。
【0019】
図1は、本発明の技術の一実施形態によるデジタルコンテンツ投影システム110の概略図である。異なる実施形態では、システム110(たとえば、デジタルコンテンツ投影システム、拡張現実システム、メイクアップチュートリアルシステム、毛髪着色システムなど)は、たとえば、デジタルコンテンツを使用者に投影すること、デジタルヘアコンテンツを使用者に投影すること、デジタルメイクアップコンテンツを使用者の頭部、顔、または身体部分に投影すること、拡張現実コンテンツを生成することなどにより実施される、1つまたは複数の方法または技術を含み得る。
【0020】
図示の実施形態では、深度カメラ24は、使用者10の顔の深度分解画像を捕捉する。異なる実施形態では、深度カメラ24および適切な画像処理ソフトウェア(たとえば、処理ユニット30および/またはカメラ24自体によって保持される)は、動的マッピングユニットと呼ばれる。一実施形態では、深度カメラ24は、少なくとも使用者の頭部、顔、または身体部分の部分的な3次元または2次元表現をトラッキングするように構成された深度センサーおよび回路を含む。深度カメラ24によって捕捉された画像は、使用者の顔の深度および輪郭を分解するために、処理ユニット30(たとえば、コンピュータ、スマートフォン、デジタルコントローラなど)によって処理され得る。
【0021】
モデルがプロジェクタ22および深度カメラ24に対して(たとえば、処理ユニット30内に)作成されてから、深度カメラ24は、幾何学的キャリブレーションを確立する。モデルに基づいて、またキャリブレーションを経て、これらのモデルのパラメータを推定することができる。したがって、ライブ深度入力およびモデルパラメータを使用して、システム110は、プロジェクタ22の投影と、深度カメラ24によって捕捉された深度アウトラインとの間の対応を、動的に(たとえば、フレームごとに)確立することができる。
【0022】
一実施形態では、プロジェクタ22は、使用者の顔へのデジタル化粧適用の投影を生成するように構成される。動作時、デジタルプロジェクタ22のピクセルは、深度カメラ24によってキャプチャされ、分解されるように、使用者の顔の1つまたは複数のランドマーク/特徴をリアルタイムでトラッキングすることができる。プロジェクタ22はまた、深度カメラ24によって得られた使用者の顔の深度および輪郭との連携のために処理ユニット30に接続されてもよい。
【0023】
一実施形態では、システム110は、リアルタイムの投影のためにプロジェクタおよびカメラを較正するように構成される。一実施形態では、深度センサーが、カメラピクセルの3次元(3D)位置を評価するように動作可能である。一実施形態では、深度カメラ24とプロジェクタ22との間のキャリブレーションは、異なる解決法を使用して実現することができる。たとえば、プロジェクタおよび(光方向が反対であることを除いて同じである)カメラの光学モデルから始めて、プロジェクタ上の2次元(2D)ポイントと、シーン内の3Dポイントとの間の対応のセットが、光学モデルのパラメータを調整するために必要とされる。共有される原理は、プロジェクタがいくつかのコード化された情報を投影し、カメラがこの情報をキャプチャし、復号することである。
【0024】
この情報(時間的/空間的に符号化されている)をコード化する異なる方法、ならびに設定および必要とされるポーズの数についての異なる仮定がある。非制限的例として、いくつかの方法は、コード化された情報が投影されるキャリブレーションターゲットを使用し、他の方法は、単に任意のシーンに投影し、場合によっては、投影は平坦面に行うことができる。平坦面を使用すると、(複雑な表面での単なる復号、相互反射などによる外れ値に見舞われる可能性がある)任意のシーンよりも良い結果をもたらす可能性があり、平坦面での投影はさらに、ロバストなポイントの大きいセットをもたらす可能性がある。
【0025】
一実施形態では、システム110は、動的ひずみ補償ユニット26を含む。異なる実施形態では、動的ひずみ補償ユニット26は、たとえば使用者の顔の異なるポーズ、顔のゆがみ、唇の動き、目のまばたき、毛髪の揺れなどに合わせて調整でき、プロジェクタ22が使用者10におけるこれらの動的変化を償うようにする。異なる実施形態では、動的ひずみ補償ユニット26は、投影されたデジタルコンテンツ(場合によってはメイクアップ適用チュートリアルに関連するひずみを含む)に関連する照明および幾何学的ひずみをリアルタイムで補償する。一実施形態では、動的ひずみ補償は、プロジェクタ22によって使用者の顔または毛髪に、ドット、線、形状、範囲などを投影することを含んでもよい。いくつかの実施形態では、動的ひずみ補償ユニット26は、使用者の顔面の色のひずみおよび幾何学的ひずみのうちの少なくとも1つを、リアルタイムで補償するように、プロジェクタ22に動作可能に結合される。いくつかの実施形態では、動的ひずみ補償ユニット26は、ユーザエクスペリエンスを強化するために(たとえば深度カメラ24によって)顔がマップされた後に、修正を実行する。たとえば、光度補償(photometric compensation)は、所望の効果を生み出すために、使用者の顔の異なる色を補償してもよい。さらに、ひずみ補償は、システム110の深度カメラ24とシステム120(図2に示す)の同軸光学系の両方を使用する際に適用され得る。
【0026】
いくつかの実施形態では、メイクアップチュートリアル28は、使用者の顔面に(たとえば、デジタルプロジェクタ22を通して)デジタルコンテンツメイクアップコンテンツを投影してもよい。そのようなデジタルコンテンツメイクアップコンテンツは、メイクアップ適用プロセス、たとえばメイクアップまたはヘアカラーリングを適用するための指示を表す、顔にマップされ、デジタルに生成されたコンテンツを含んでもよい。いくつかの実施形態では、メイクアップチュートリアルは、ガイドとして一方の目に投影されてもよく、実際のメイクアップはもう一方の目に適用されている。異なる実施形態では、複数のシナリオが顔に投影されてもよい。たとえば、日中に装うためのメイクアップの1つのセットが、顔の一方の側に投影されることがあり、夜の行事用のメイクアップの別のセットが、顔のもう一方の側に投影されてもよい。
【0027】
動作中、システム110は、深度カメラ24によって使用者の顔の形状およびトポロジーを抽出してもよく、個人化されたメイクアップチュートリアルをプロジェクタ22によって直接使用者の顔に投影してもよい。使用者は、投影を見るために鏡を使用することができる。一実施形態では、メイクアップルーチンは、適用される各製品の適用ゾーンを定義することによって徐々に投影される。一実施形態では、使用者は、これらのゾーンを使用して実際のメイクアップを適用することができる。一実施形態では、メイクアップ適用は、デジタルに実施される(たとえば、プロジェクタ22はデジタルプロジェクタである)。一実施形態では、使用者10は、次の製品に進むために、またはエクスペリエンスを変更するために、インターフェースと対話する。一実施形態では、使用者は、実際の製品の適用の成功を、それを投影された仮想適用ゾーンと比較することによってチェックすることができる。
【0028】
いくつかの実施形態では、使用者は、インターフェース(タブレット、スマートフォンなど)を通してシステムと対話する。様々な適用では、使用者は、投影されたコンテンツに関して決定を行うために、インターフェースと対話し得る。たとえば、使用者は、様々な提案されたエクスペリエンス(メイクアップチュートリアル、面白い投影、ストーリーテリング、毛髪着色など)から1つを選択する、またはエクスペリエンスを変更する(メイクアップの調整など)、またはプロセスを制御する(次のステップに行くもしくはこれをスキップする、使用者が現在のセッションを終了したというフィードバックを提供するなど)場合がある。このインターフェースは、WiFiによって、または最終製品に組み込まれたケーブルにより、投影カメラシステムに接続することができる。
【0029】
深度カメラ24によって捕捉されたデータ、プロジェクタ22によって投影されたデータ、データ処理のためのアルゴリズム、メイクアップチュートリアルなどは、処理ユニット30に、またはリモート(「データクラウド」)システム50、集合的にデータ記憶システムに、記憶されてもよい。本明細書で説明する、データ記憶システムは、コンピューティングデバイスによるアクセスのためのデータを記憶するように構成された任意の好適なデバイスであり得る。データ記憶システムの一例は、1つまたは複数のコンピューティングデバイス上で実行し、高速ネットワークを通じてデータクラウド50でアクセス可能な、高速リレーショナルデータベース管理システム(DBMS)である。しかしながら、クエリに応答して記憶されたデータを提供することができる他の好適な記憶技法および/またはデバイスが使用されてもよく、コンピューティングデバイスは、ネットワーク上ではなくローカルにアクセス可能であってもよく、またはクラウドベースのサービスとして提供されてもよい。クラウド記憶システム50は、コンピュータ可読記憶媒体上に組織立って記憶されるデータも含み得る。
【0030】
プロジェクタとカメラとの間のキャリブレーション
プロジェクタ22と深度カメラ24の深度センサーとの間の正確なキャリブレーションが、リアルタイムの投影には重要である。さらに、深度カメラ24は、カメラピクセルの3D位置を提供する。いくつかの実施形態では、深度センサーは、深度カメラ24とは別個に構成されてもよい。
プロジェクタ22と深度カメラ24の深度センサーとの間の正確なキャリブレーションが、リアルタイムの投影には重要である。さらに、深度カメラ24は、カメラピクセルの3D位置を提供する。いくつかの実施形態では、深度センサーは、深度カメラ24とは別個に構成されてもよい。
【0031】
プロジェクタ22および深度カメラ24のための光学モデル(同じであってもよいが光方向が逆である)から始めて、プロジェクタおよびカメラ画像上の2Dポイントと、シーン内の3Dポイントとの間の対応のセットが、光学モデルのパラメータを調整するために必要とされる。共有される原理は、プロジェクタ22がいくつかのコード化された情報を投影し、深度カメラ24がこの情報をキャプチャし、復号することである。この情報(時間的/空間的に符号化されている)をコード化する異なる方法、ならびに設定および必要とされるポーズの数についての異なる仮定がある。いくつかの方法は、コード化された情報が投影されるキャリブレーションターゲットを使用し、他の方法は、任意の3D表面または平坦面に投影するにすぎない。平坦面を使用する理由は、それが(複雑な表面への単なる復号、相互反射などによる外れ値に見舞われる)任意のシーンよりも良い結果を与え、さらに、ロバストなポイントの巨大なセットをもたらし、使用するのに好都合であることである。
【0032】
深度カメラ24用の深度センサーのいくつかの非排他的な例は、RealSense D415、Intel RealSense、Microsoft Kinect、Qualcomm Depth Sensor、およびAsus Xtion Proである。たとえば、第1のバージョンのMicrosoft Kinectは、視差センサー(disparity sensor)を使用し、それによって構造化された光パターンが(赤外波長で)投影され、このパターンの変位に従って、深度は視差により計算される。別の例として、Microsoft Kinectの第2のバージョンは、物体までの距離を推定するために、投影された光がシーン内の3Dオブジェクトから反射するのに必要とする時間を測定するために、(やはり赤外線の)飛行時間を使用する。また別の例として、Intel RealSense Dシリーズは、三角測量により行われる3D再構成に2つのセンサー(ステレオモジュール)を使用する。さらに、点状赤外光のオプション投影が、三角測量を向上させるために特別なテクスチャ(extra texture)を与える。
【0033】
図2は、本発明の技術の一実施形態によるデジタルコンテンツ投影システム120の概略図である。いくつかの実施形態では、デジタルコンテンツ投影システム120は、ビームスプリッタ27を有する同軸光学系セットアップと呼ばれる。ビームスプリッタ27は、使用者10の画像をカメラ23に向けることができてもよく、カメラ23は2Dカメラであってもよい。ビームスプリッタ27はまた、プロジェクタ22からのデジタル投影(たとえば、メイクアップ適用シナリオ、ヘアスタイリングシナリオ、メイクアップチュートリアルなど)が使用者10への投影を可能にすることができる。
【0034】
動作時、プロジェクタ22とカメラ23のピクセル間の動的対応が必要である。いくつかの実施形態では、同軸光学系120は、プロジェクタ22とカメラ23との間の対応が深度に依存しないという同軸光学系のプロパティによる深度情報を無視してもよい。したがって、この対応は、動いているシーンで不変のままであるので、プロジェクタとカメラとの間の対応を一度登録すれば十分であり得る。いくつかの実施形態では、モデルのパラメータは、計算される必要がない。代わりに、キャリブレーションの比較的簡単なプロセス(たとえば、カメラ23とプロジェクタ24のピクセル間の対応を確立すること)が行われる。図1のシステム110の深度カメラを使用して、3Dシーンが確立されてもよく、これは、たとえば実際の3D空間の顔の特徴を決定するために役立つ。しかしながら、図2のシステム120の同軸光学系は、システムに通信遅延が少ないために一般的により高速である。さらに、いくつかの実施形態では、3Dモデルをカメラ23の2D表現にフィッティングすることが可能であり、したがってシステム120に深度カメラシステム110とほぼ同じ機能を実現させる。
【0035】
図3A～図3Cは、本発明の技術の実施形態によるメイクアップ適用のためのデジタルコンテンツ投影方法の概略図である。いくつかの実施形態では、方法は、図3A～図3Cのステップのうちの一部のみを含む場合があり、または図示していない追加のステップを含む場合がある。図3Aでは、方法3000Aは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。図示した方法3000Aを用いて、使用者の顔上のランドマークのグループが、カメラ画像上でトラッキングされる。詳細には、ブロック320において、赤/緑/青(RGB)、グレースケール、または赤外線のライブ入力が、カメラ(たとえば、カメラ24)によって捕捉される。ブロック325において、(ドットによってマークされた)顔のランドマークのセットが、ブロック320においてカメラによって捕捉されたライブ入力に基づいて識別され、トラッキングされる。特徴327は、そのようなランドマークの非限定的な例である。ブロック315において、使用者の顔および/または毛髪の深度ライブ入力が、たとえばカメラ24によって捕捉される。ブロック310において、カメラおよびプロジェクタは、相互に較正される。ブロック330において、ブロック310、315、および355からの入力が、カメラからプロジェクタへのフレーム変換を実現するために組み合わされる。ブロック350において、プロジェクタ空間は、当該領域を定義するために顔特徴のセットが輪郭を描かれ、用意されて生成される。ブロック355において、当該領域が、プロジェクタ空間350に基づいて定義される。たとえば、プロジェクタ空間350の1つまたは複数のサブ空間が、使用者の顔に表示されるメイクアップの投影で満たされてもよい。ブロック360において、メイクアップ投影の輪郭を描かれる。いくつかの実施形態では、メイクアップ投影360は、メイクアップチュートリアルに基づいてもよい。ブロック370において、メイクアップ投影360は、使用者の顔に適用される。いくつかの実施形態では、使用者は、鏡、タブレット、または同様のデバイス上でメイクアップ投影316を注視してもよい。さらに、使用者は、たとえば異なる選択の中でより良く理解し、決定するために、メイクアップチュートリアルで異なる外観を交換してもよい。
【0036】
図3Bでは、方法3000Bは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。方法3000Bのステップは、ブロック315において得られた深度画像に基づいている。ブロック325では、ブロック315において得られた深度画像に基づいて、顔の特徴が検出され、トラッキングされる。いくつかの実施形態では、方法3000Bの残りのステップは、方法3000Aのステップと類似している。
【0037】
図3Cでは、方法3000Cは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。図示の実施形態では、顔のランドマークは、2Dカメラと3Dカメラの両方の画像(それぞれブロック320とブロック315)を使用して検出され、トラッキングされる。したがって、ブロック315の深度ライブ入力は、ブロック325に送られて、顔のランドマーク検出およびトラッキングが影響を受け、またブロック330に送られて、カメラからプロジェクタへのフレーム変換が影響を受ける。
【0038】
図4A～図4Cは、本発明の技術の実施形態による化粧適用のためのデジタルコンテンツ投影方法の概略図である。いくつかの実施形態では、方法は、図4A～図4Cのステップのうちの一部のみを含む場合があり、または図示していない追加のステップを含む場合がある。図4Aでは、方法4000Aは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。ブロック410において、3D顔モデル(3D変形モデルとも呼ばれる)が生成される。ブロック325において、3D顔モデルは、使用者の顔の画像にフィッティングされる。ブロック412において、3D顔モデルを含むプロジェクタ空間が生成される。ブロック420において、メイクアップテクスチャを有するデータベースはアクセスされ、所望のテクスチャは、使用者の顔の画像にかぶせられる。この所望のテクスチャは、ブロック412のプロジェクタ空間とともにブロック360のメイクアップ投影に適用される。いくつかの実施形態では、ランドマークは、場合によっては3Dメッシュをフィッティングする前にフィッティングされてもよい。
【0039】
図4Bでは、方法4000Bは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。ブロック325において、3Dメッシュが、(たとえば、深度カメラ24によって)ブロック315において得られた使用者の顔の表現にかぶせられる。図示の実施形態では、3D顔メッシュのフィッティングおよびトラッキングは、深度画像に基づいている。いくつかの実施形態では、ランドマークは、場合によっては3Dメッシュをフィッティングする前に、フィッティングされてもよい。
【0040】
図4Cでは、方法4000Cは、使用者の顔にメイクアップを投影するための本発明の技術の一実施形態である。方法4000Cを用いると、3D顔メッシュのフィッティングおよびトラッキングは、カメラ画像と深度画像の両方を含む。たとえば、フレーム変換を投影するためのカメラを含むブロック330は、ブロック315の深度ライブ入力、ブロック320のカメラ入力、ブロック410の3D変形モデルに基づいている。
【0041】
図5Aおよび図5Bは、本発明の技術の実施形態によるヘアスタイリング適用のためのデジタルコンテンツ投影方法の概略図である。いくつかの実施形態では、方法は、図5Aおよび図5Bのステップのうちの一部のみを含む場合があり、または図示していない追加のステップを含む場合がある。図5Aにおいて、方法5000Aは、使用者の毛髪へのヘアスタイリング適用を投影するための本発明の技術の一実施形態である。ブロック520において、使用者の顔および毛髪のカメラ入力が得られる。ブロック315において、使用者の顔および/または毛髪の深度ライブ入力が、たとえばカメラ24によって捕捉される。このライブ入力は、ブロック330に提供され、カメラからプロジェクタへのフレーム変換が影響を受け、ブロック525に提供され、毛髪セグメンテーションおよびトラッキングが影響を受ける場合がある。ブロック560において、プロジェクタ22は、ブロック525の毛髪セグメンテーションおよびトラッキングアウトラインに毛髪コンテンツを投影してもよい。結果として得られた、使用者の毛髪に毛髪コンテンツをかぶせたものが、ブロック570に示されている。異なる実施形態では、ブロック560の毛髪コンテンツ投影は、たとえば、異なる色および/または異なるヘアスタイルを含んでもよい。
【0042】
図5Bにおいて、方法5000Bは、使用者の毛髪へのアスタイリング適用を投影するための本発明の技術の一実施形態である。ブロック520において、使用者の顔および毛髪のカメラ入力が得られる。ブロック520のこのカメラ入力は、単独でまたはブロック315の深度ライブ入力と併せて、ブロック525A～ブロック525Bにおいて処理されてもよい。ブロック525Aにおいて、ブロック520のカメラ入力は、毛髪セグメンテーションアウトラインに変換される。ブロック525Bにおいて、トラッキングポイント(たとえば、ランドマーク327)が定義される。ブロック525Cにおいて、3D顔モデルが、ブロック520のカメラ入力にかぶせられる。異なる実施形態では、ブロック525A～ブロック525Cの一部または全部が実施される。ブロック535において、3D毛髪再構成およびトラッキングが影響を受ける。ブロック545において、コンテンツが3D空間に作成され、ブロック330のカメラからプロジェクタへのフレーム変換に送られてもよい。ブロック560において、毛髪コンテンツ投影が作成される。いくつかの実施形態では、この毛髪コンテンツ投影は、少なくとも部分的に、メイクアップチュートリアルに基づいていてもよい。結果として得られた、使用者の毛髪への毛髪コンテンツ投影の適用は、ブロック570に示されている。
【0043】
図6は、本発明の技術の一実施形態によるデジタルコンテンツ投影システムの斜視図である。いくつかの実施形態では、プロジェクタ22は、たとえば使用者の顔の半分(370-R)に、メイクアップ投影を投影してもよく、使用者の顔の他方の半分は投影がない。使用者370は、鏡、ラップトップ、処理ユニット30、または他のディスプレイユニット上でメイクアップ投影の効果を注視してもよい。使用者は、満足のいく投影を見つけるために、投影される異なるメイクアップ実施形態を選んでもよい。いくつかの実施形態では、メイクアップの1つのタイプ(たとえば、夜用のメイクアップ)が、顔の一方の側に投影され、メイクアップのもう1つのタイプ(たとえば、昼用のメイクアップ)が、顔の他方の側に投影される。異なる実施形態では、使用者は、頭部にアナログプロセスを実行し、異なるヘアスタイルおよび/または色がメイクアップチュートリアルに基づいて異なる画像を通して証明されてもよい。他の実施形態では、使用者は、顔の一方の半分にメイクアップを投影し、顔の他方の側にメイクアップを適用するためのガイドとして投影を使用してもよい。本明細書の説明では、本発明の技術は、使用者以外の人、たとえば美容師、メイクアップアーティストなどによって実践されてもよい。
【0044】
顔検出/再構成
顔は非剛性表面であるので、顔の正確な位置は重要であり、一定の周波数でトラッキングされる必要がある。これは、適用例の要件に応じて異なる方法を使用して行われ得る。そのようなトラッキングのいくつかの実施形態について以下に説明する。
顔は非剛性表面であるので、顔の正確な位置は重要であり、一定の周波数でトラッキングされる必要がある。これは、適用例の要件に応じて異なる方法を使用して行われ得る。そのようなトラッキングのいくつかの実施形態について以下に説明する。
【0045】
一実施形態では、顔のランドマークは、直接RGBカメラによって、または赤外線カメラによって検出される。後者は、赤外線投影を遮断するプロジェクタ上のフィルタと結合される場合、投影されるコンテンツによって影響を受けないロバストなランドマークを提供し、これはいくつかの適用例では有効である可能性がある。
【0046】
別の実施形態では、RGB情報のみを使用して、またはRGBと深度情報を組み合わせることによって、3Dモデルが顔にフィッティングされ得る。そのような実施形態は、追加の計算コストを有するが、深度に基づく場合、手法は、投影による顔上の色の変化に対してよりロバストである可能性がある。
【0047】
別の実施形態では、顔の表面は、深度センサー画像およびその表面のランドマークのさらなる検出を使用して再構成されてもよい。
【0048】
一実施形態では、ランドマークは、検出を投影に対してよりロバストにするために、深度画像とRGB/赤外線画像の両方を入力として使用して検出されてもよい。さらに、ディープラーニングアルゴリズムがそのようなデータセットについて訓練され得る。
【0049】
一実施形態では、人(使用者)の顔はスキャンされ、次いで表情(ブレンドシェイプ)およびポーズの向き(pose orientation)の組合せとしてトラッキングされてもよい。
【0050】
一実施形態では、RGB画像は、たとえばディープラーニングアルゴリズムを使用して、毛髪セグメンテーションに使用される。いくつかの実施形態では、深度情報をそのようにさらに使用して、セグメンテーションをより正確にする。
【0051】
仮想コンテンツ生成
仮想コンテンツの生成は、適用シナリオおよび顔再構成/検出のために使用される方法に依存する。それは、単に顔のランドマークに基づくものであって、この2Dトポロジーを使用して所望のテクスチャを作成することであることがあり、またはそれは、3D顔モデルが計算される場合、それにマップされるテクスチャであることがある。
仮想コンテンツの生成は、適用シナリオおよび顔再構成/検出のために使用される方法に依存する。それは、単に顔のランドマークに基づくものであって、この2Dトポロジーを使用して所望のテクスチャを作成することであることがあり、またはそれは、3D顔モデルが計算される場合、それにマップされるテクスチャであることがある。
【0052】
一実施形態では、動作中、システム110、120は、ヘアカラー変更の幻影を作成するために、デジタルコンテンツを使用者の毛髪に投影する。一実施形態では、この効果は、最適な組合せを決定するためにメイクアップ投影と組み合わされる。一実施形態では、使用者は、音声入力もしくは手入力付きのインターフェースを使用して、または色を変えることもしくはテクスチャ(ハイライト、パターンなど)を変更することによって、システム110、120と対話する。使用時のシステム110、120のいくつかの適用例について、以下で説明する。
【0053】
メイクアップ投影:(環境条件によって制限される)様々な製品を簡単に試すためのメイクアップ拡張。投影される製品は、特定のタイプの皮膚での物理的適用の効果を考慮に入れるために、変えることができる。
【0054】
ストーリーテリング:特殊なイベントには、ブランドの新たな立ち上げについてのストーリーを伝えるために、またはこれらの没入体験がもたらし得る感動を与える要素(wow factor)のために、劇場/コンサートのステージで使用されるもののような、極端な拡張を提案することができる。
【0055】
異なる照明条件シミュレーション:異なる照明条件の影響は、異なる条件(ナイトクラブ、昼光、オフィスなど)の下でのメイクアップの外観を視覚化するためにシミュレートすることができる。
【0056】
エージング/ディエージングシミュレーション:人をより高齢に見せるために、しわまたは皮膚の露出を増やし、高める。これは、スキンケア処理および診断と組み合わせることができる。一方、光を使用して、しわを取り除くことができ、人はより若く見える可能性がある。これは、スキンケア製品を使用して予想される結果をシミュレートすることができる。
【0057】
光学的効果の作成:光沢を増やす、顔を滑らかにする、パール効果、コントラストを上げる、透明度など、顔面への異なる光学的効果を作り、シミュレートする。より現実的な効果を作るために、表面下散乱をモデル化し、そのようなシステムにおいて考慮に入れることができる。
【0058】
トラフィック作成:販売時点で、そのようなシステムは、窓の後ろにシステムを有することで一度店に入るように人々を引きつけることによって、往来を大いに増やすことができる。人々は、店の外を通り過ぎると、「面白い」何かで拡張され得る。
【0059】
顔だけでなく、他のオブジェクトも拡張する:実際の製品または大きな原寸模型であることがある製品のパッケージングを可視化のために拡張する。
【0060】
メイクアップチュートリアル
一実施形態では、システムは、メイクアップチュートリアルユニットを含む。一実施形態では、メイクアップチュートリアルユニットは、メイクアップ適用チュートリアルを含むデジタルコンテンツを、使用者の顔面に投影するように構成される。たとえば、一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面のデジタル表現に関連する1つまたは複数のパラメータを受信することに応答して投影可能なメイクアップチュートリアルコンテンツを生成するように構成されたプロセッサおよび計算回路を含む。
一実施形態では、システムは、メイクアップチュートリアルユニットを含む。一実施形態では、メイクアップチュートリアルユニットは、メイクアップ適用チュートリアルを含むデジタルコンテンツを、使用者の顔面に投影するように構成される。たとえば、一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面のデジタル表現に関連する1つまたは複数のパラメータを受信することに応答して投影可能なメイクアップチュートリアルコンテンツを生成するように構成されたプロセッサおよび計算回路を含む。
【0061】
一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面の少なくとも部分的な3次元または2次元表現をリアルタイムでトラッキングするデジタル化粧適用の投影を生成するように構成される。一実施形態では、メイクアップチュートリアルユニット106は、1つまたは複数の顔のランドマークにリアルタイムでトラッキングするデジタル化粧適用の投影を生成するように構成される。
【0062】
一実施形態では、メイクアップチュートリアルユニット106は、投影可能なディスプレイを生成するように動作可能な複数の制御可能な発光源を含む。たとえば、一実施形態では、メイクアップチュートリアルユニットは、メイクアップ適用チュートリアルを使用者の顔面に投影するように動作可能な複数の制御可能な発光源を含む。そのような投影は、複数の環境照明条件をシミュレートしてもよい。一態様では、メイクアップチュートリアルユニットは、少なくとも第1の仮想オブジェクトおよび第2の仮想オブジェクトを投影するように動作可能な複数の制御可能な発光源を含み、第2の仮想オブジェクトは、第1の仮想オブジェクトとは異なる環境照明条件を示す。
【0063】
制御可能な発光源108の非限定的な例は、1つまたは複数のレーザー、レーザーダイオード、発光ダイオード(LED)、有機発光ダイオード(OLED)、ポリマー発光ダイオード、アークフラッシュランプ、連続波バルブ、または白熱発光体などを含む。一実施形態では、メイクアップチュートリアルユニットは、610ナノメートル(nm)～720nmの範囲の平均ピーク放射波長を有する赤色発光源、430nm～500nmの範囲の平均ピーク放射波長を有する青色発光源、500nm～570nmの範囲の平均ピーク放射波長を有する緑色発光源のうちの少なくとも1つを有する。
【0064】
一実施形態では、メイクアップチュートリアルユニットは、投影可能なディスプレイを生成するように動作可能な複数の制御可能なレーザーダイオードを含む。一実施形態では、メイクアップチュートリアルユニットは、610nm～720nmの範囲の平均ピーク放射波長を有する赤色レーザーダイオード、430nm～500nmの範囲の平均ピーク放射波長を有する青色レーザーダイオード、500nm～570nmの範囲の平均ピーク放射波長を有する緑色レーザーダイオードのうちの少なくとも1つを含む。
【0065】
一実施形態では、メイクアップチュートリアルユニットは、複数の制御可能な発光源と、顔にマップされ、デジタル的に生成される、メイクアップ適用プロセスを表すコンテンツを投影するように動作可能なデジタルマイクロミラーデバイス(DMD)とを含む。一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面のデジタル表現に関連する1つまたは複数のパラメータを受信することに応答して使用者の顔面にメイクアップ適用チュートリアルを投影するように動作可能なレーザーダイオードアセンブリを含む。一実施形態では、メイクアップチュートリアルユニットは、レーザーダイオード、ダイクロイックミラー、ミラー、蛍光体ホイール(phosphor wheel)、カラーホイール、デジタルマイクロミラーデバイス(DMD)チップ、プリズム、投影レンズアセンブリのうちの少なくとも1つを含む。
【0066】
一実施形態では、メイクアップチュートリアルユニットは、少なくとも1つの液晶ディスプレイ(LCD)プロジェクタを含む。一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面上への変調されたレーザービームをスキャンするように動作可能な少なくとも1つの超小型MEMSミラーを含む。
【0067】
動的ひずみ補償ユニット
一実施形態では、動的ひずみ補償ユニットは、メイクアップチュートリアルユニットに動作可能に結合され、メイクアップ適用チュートリアルを含む投影されたデジタルコンテンツに関連する照明および幾何学的ひずみをリアルタイムで補償するように構成される。一実施形態では、動的ひずみ補償ユニットは、構造化光の投影、構造化コードの投影、空間的もしくは時間的に符号化されたパターンの投影、または光ストリップ投影において検出されたひずみを示す1つまたは複数の入力を受信することに応答して、1つまたは複数の照明キャリブレーションパラメータまたは幾何学的キャリブレーションパラメータを生成するように構成されたプロセッサおよび計算回路を含む。一実施形態では、動的ひずみ補償ユニットは、投影された投影デジタルコンテンツに関連する検出された照明ひずみまたは幾何学的ひずみを示す1つまたは複数の入力を受信することに応答して、メイクアップ適用チュートリアルを含む投影されたデジタルコンテンツに関連する1つまたは複数のデジタル画像を変調するように構成されたプロセッサおよび計算回路を含む。
一実施形態では、動的ひずみ補償ユニットは、メイクアップチュートリアルユニットに動作可能に結合され、メイクアップ適用チュートリアルを含む投影されたデジタルコンテンツに関連する照明および幾何学的ひずみをリアルタイムで補償するように構成される。一実施形態では、動的ひずみ補償ユニットは、構造化光の投影、構造化コードの投影、空間的もしくは時間的に符号化されたパターンの投影、または光ストリップ投影において検出されたひずみを示す1つまたは複数の入力を受信することに応答して、1つまたは複数の照明キャリブレーションパラメータまたは幾何学的キャリブレーションパラメータを生成するように構成されたプロセッサおよび計算回路を含む。一実施形態では、動的ひずみ補償ユニットは、投影された投影デジタルコンテンツに関連する検出された照明ひずみまたは幾何学的ひずみを示す1つまたは複数の入力を受信することに応答して、メイクアップ適用チュートリアルを含む投影されたデジタルコンテンツに関連する1つまたは複数のデジタル画像を変調するように構成されたプロセッサおよび計算回路を含む。
【0068】
深度分解画像システム
一実施形態では、システムは、メイクアップチュートリアルユニットと、深度分解画像ユニット(たとえば、1つまたは複数の深度センサーを有する深度カメラ24)とを含む。一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面のデジタル表現に関連する1つまたは複数のパラメータを受信することに応答して使用者の顔面にメイクアップ適用チュートリアルを投影するように構成される。
一実施形態では、システムは、メイクアップチュートリアルユニットと、深度分解画像ユニット(たとえば、1つまたは複数の深度センサーを有する深度カメラ24)とを含む。一実施形態では、メイクアップチュートリアルユニットは、使用者の顔面のデジタル表現に関連する1つまたは複数のパラメータを受信することに応答して使用者の顔面にメイクアップ適用チュートリアルを投影するように構成される。
【0069】
一実施形態では、深度分解画像ユニットは、使用者の顔面の深度分解デジタル表現を生成するように構成される。一実施形態では、メイクアップチュートリアルユニットは、深度分解画像ユニットに動作可能に結合され、使用者の顔面の深度分解デジタル表現に関連する1つまたは複数のパラメータを受信することに応答して使用者の顔面にメイクアップ適用チュートリアルを投影するように構成される。
【0070】
一実施形態では、深度分解画像ユニットは、放射光信号と反射光信号との間の検出された違いを示す1つまたは複数の入力を受信することに応答して、使用者の顔面の深度分解デジタル表現を生成するように構成されたプロセッサおよび計算回路を含む。
【0071】
一実施形態では、深度分解画像ユニットは、放射光信号と反射光信号との間の違いを検出するように構成された少なくとも1つの飛行時間型センサーを含む。
【0072】
一実施形態では、深度分解画像ユニットは、少なくとも1つのドップラー効果トランスデューサを含む。
【0073】
一実施形態では、深度分解画像ユニットは、投影された光パターンにおける検出されたひずみの変化を示す1つまたは複数の入力を受信することに応答して、使用者の顔面の深度分解デジタル表現を生成するように構成されたプロセッサおよび計算回路を含む。
【0074】
一実施形態では、深度分解画像ユニットは、赤外線照明器、赤外線センサー、RGB(赤、緑、青)センサー、またはモノクロームセンサーのうちの少なくとも1つを含む。
【0075】
一実施形態では、深度分解画像ユニットは、使用者の顔面に赤外光パターンを投影するように動作可能な少なくとも1つの赤外線照明器と、投影された赤外光パターンにおけるひずみ変化を検出するように動作可能な少なくとも1つの赤外線センサーとを含む。
【0076】
一実施形態では、深度分解画像ユニットは、使用者の顔面に間隔を置いた赤外光パターンを投影するように動作可能な少なくとも1つの赤外線照明器と、投影された、間隔を置いた赤外光パターンにおけるひずみ変化を検出するように動作可能な少なくとも1つの赤外線センサーとを含む。
【0077】
一実施形態では、深度分解画像ユニットは、少なくとも、三角測量により深度を推定するように動作可能な、RGB(赤、緑、青)センサー、モノクロームセンサー、赤外線センサーなどのいずれかのペアを含む。
【0078】
一実施形態では、深度分解画像ユニットは、1つまたは複数の深度センサーを含む。深度センサーの非限定的な例は、ローリングシャッター深度センサー、グローバルシャッター深度センサー、アクティブ深度センシングカメラ、電荷結合素子(CCD)、相補型金属酸化物半導体(CMOS)などを含む。さらに深度センサーの非限定的な例は、視差センサー(disparity sensor)、飛行時間型センサー、ステレオセンサーなどを含む。さらに深度センサーの非限定的な例は、Intel RealSenseセンサー、Microsoft Kinectセンサー、Qualcomm Depth Sensor、Asus Xtion Proセンサーなどを含む。
【0079】
一実施形態では、深度分解画像ユニットは、構造化光パターンを投影することと、このパターンの変位に従って、構造化光パターンにおける視差を示す1つまたは複数の入力に基づき深度を計算することとを行うように構成された回路を含む。一実施形態では、深度分解画像ユニットは、シーン内のオブジェクトの光の跳ね返りを投影した時間を検出することと、物体からの距離を決定することとを行うように構成された回路を含む。一実施形態では、深度分解画像ユニットは、三角測量によって使用者の頭部、顔、または身体部分を再構成するように構成された複数のセンサー(ステレオモジュール)を含む回路を含む。一実施形態では、深度分解画像ユニットは、三角測量を容易にする特別なテクスチャを与えるために赤外線パターンを投影するように構成された回路を含む。
【0080】
一実施形態では、深度分解画像ユニットは、複数の深度センサーと、少なくとも1つのRGB(赤、緑、青)センサーと、少なくとも1つの赤外線プロジェクタとを含む。一実施形態では、複数の深度センサーは、少なくとも1つのローリングシャッター深度センサーを含む。一実施形態では、複数の深度センサーは、少なくとも1つのグローバルシャッター深度センサーを含む。一実施形態では、複数の深度センサーは、少なくとも1つの電荷結合素子(CCD)を含む。一実施形態では、複数の深度センサーは、少なくとも1つの相補型金属酸化物半導体(CMOS)を含む。一実施形態では、深度分解画像ユニットは、少なくとも1つのアクティブ深度センシングカメラを含む。
【0081】
一実施形態では、深度分解画像ユニットは、使用者の顔面の深度分解デジタル表現から1つまたは複数の顔のランドマークを抽出することと、使用者の顔面の深度分解デジタル表現から抽出された顔のランドマークの1つまたは複数をトラッキングすることとを行うように構成されたプロセッサおよび計算回路を含む。
【0082】
一実施形態では、深度分解画像ユニットは、以下のカテゴリーの少なくとも1つの方法を使用して、使用者の顔面の深度分解デジタル表現から1つまたは複数の顔のランドマークを抽出するように構成される。
【0083】
異なる実施形態では、深度分解画像は、全体論的方法(動的外観モデル(Active Appearance Model:AAM)、フィッティングアルゴリズムまたは拡張機能(extension)など)、制約付き局所モデル(Constrained Local Model:CLM)方法(全体的または局所的外観モデル、顔形状モデル、最適化による検出など)、および回帰に基づく方法(直接回帰、カスケード回帰、または深層学習回帰)によって生成することができる。
【0084】
一実施形態では、深度分解画像ユニットは、使用者の顔面の深度分解デジタル表現から使用者の顔面の少なくとも一部分の3D再構成を行うように構成される。
【0085】
一実施形態では、深度分解画像ユニットは、RGB、モノクローム、赤外線、深度ライブ入力のいずれかを使用して、使用者の顔面の1つまたは複数の顔のランドマークを抽出するように構成される。
【0086】
一実施形態では、深度分解画像ユニットは、RGB、モノクローム、赤外線、深度ライブ入力のいずれかを使用して、使用者の顔面の少なくとも一部分の3D再構成を行うように構成される。
【0087】
同軸光学系セットアップ
一実施形態では、メイクアップチュートリアルユニットは、同軸光学系ユニットに動作可能に結合され、投影デジタルコンテンツと、ターゲットデジタルコンテンツとの間の検出された違いに関連する1つまたは複数のパラメータを受信することに応答して、使用者の顔面にメイクアップ適用チュートリアルを投影するように構成される。
一実施形態では、メイクアップチュートリアルユニットは、同軸光学系ユニットに動作可能に結合され、投影デジタルコンテンツと、ターゲットデジタルコンテンツとの間の検出された違いに関連する1つまたは複数のパラメータを受信することに応答して、使用者の顔面にメイクアップ適用チュートリアルを投影するように構成される。
【0088】
一実施形態では、同軸光学系ユニットは、投影されたデジタルコンテンツとターゲットデジタルコンテンツとの間の幾何学的差および光度の差を検出するように構成される。
【0089】
一実施形態では、同軸光学系ユニットは、ビームスプリッタと、カメラと、プロジェクタとを含む。
【0090】
一実施形態では、同軸光学系ユニットは、ビームスプリッタと、画像センサーと、デジタルライトプロセシング(DLP)プロジェクタとを含む。
【0091】
使用者の顔のトラッキング位置
顔検出/再構成:顔は、非剛性表面であるので、顔の正確な位置は問題とされ、一般的に高い周波数でトラッキングされる。これは異なる方法を使用して行うことができる。そのような方法のいくつかの例を以下に記載する。
顔検出/再構成:顔は、非剛性表面であるので、顔の正確な位置は問題とされ、一般的に高い周波数でトラッキングされる。これは異なる方法を使用して行うことができる。そのような方法のいくつかの例を以下に記載する。
【0092】
いくつかの実施形態では、ランドマークは、RGB、モノクローム、赤外線カメラなどによって顔で検出される。後者は、赤外線投影を遮断するプロジェクタ上のフィルタと結合される場合、投影されるコンテンツによって影響を受けないロバストなランドマークを提供し、これはいくつかの適用例では重要である。
【0093】
いくつかの実施形態では、RGB情報のみ(ランドマークの場合)を使用して、またはRGBと深度情報(深度センサーおよび技術を用いて取得される)を組み合わせて、3Dモデルが顔にフィッティングされる。これは追加の計算コストを有するが、深度に基づく場合、これは投影による顔上の色の変化に対してよりロバストである。
【0094】
いくつかの実施形態では、顔の表面再構成は、深度センサー画像、およびその表面上のランドマークのさらなる検出を使用する。
【0095】
いくつかの実施形態では、ランドマークは、検出を投影に対してよりロバストにするために、深度画像と、RGB/赤外線画像の両方を使用して検出される。いくつかの実施形態では、ディープラーニングアルゴリズムは、そのようなデータセットで訓練されてもよい。
【0096】
いくつかの実施形態は、人の顔をスキャンすること、次いでそれを表情(ブレンドシェイプ)およびポーズの向きの組合せとしてトラッキングすることを含む。
【0097】
毛髪着色
一実施形態では、仮想毛髪着色システムは、少なくとも1つまたは複数の毛髪セグメントに関連する入力に基づいて投影可能なヘアカラーコンテンツを生成するように構成されたプロセッサおよび計算回路を含む。
一実施形態では、仮想毛髪着色システムは、少なくとも1つまたは複数の毛髪セグメントに関連する入力に基づいて投影可能なヘアカラーコンテンツを生成するように構成されたプロセッサおよび計算回路を含む。
【0098】
一実施形態では、投影可能なヘアカラーコンテンツは、投影可能な毛髪の色、投影可能な毛髪のテクスチャ、投影可能な毛髪の色パターン、投影可能な毛髪のハイライトパターンのうちの1つまたは複数を含む。
【0099】
一態様では、デジタルヘア投影ユニットは、少なくとも第1の仮想オブジェクトおよび第2の仮想オブジェクトを投影するように動作可能なレーザーダイオードアセンブリを含み、第2の仮想オブジェクトは第1の仮想オブジェクトとは異なるヘアカラー状態を示す。
【0100】
一実施形態では、第1の仮想オブジェクトは、第1のヘアハイライトカラーを含み、第2の仮想オブジェクトは、第1のヘアハイライトカラーとは異なる第2のヘアハイライトカラーを含む。
【0101】
一実施形態では、第1の仮想オブジェクトは、第1のヘアハイライトパターンを含み、第2の仮想オブジェクトは、第1のヘアハイライトパターンとは異なる第2のヘアハイライトパターンを含む。
【0102】
一実施形態では、第1の仮想オブジェクトは、第1のヘアテクスチャパターンを含み、第2の仮想オブジェクトは、第2のヘアテクスチャパターンを含む。
【0103】
一態様では、デジタルヘア投影ユニットは、少なくとも第1の仮想オブジェクトおよび第2の仮想オブジェクトを投影するように動作可能なレーザーダイオードアセンブリを含み、第2の仮想オブジェクトは第1の仮想オブジェクトとは異なる環境照明条件を示す。
【0104】
一実施形態では、デジタルヘア投影ユニットは、ヘアカラーまたはヘアテクスチャの変化を模倣するデジタルヘアカラーコンテンツを使用者の頭部または身体部分に投影するように動作可能なレーザーダイオードアセンブリを含む。
【0105】
一実施形態では、デジタルヘア投影ユニットは、複数の環境照明条件の下で、ヘアカラーまたはヘアテクスチャの変化を模倣するデジタルヘアカラーコンテンツを使用者の頭部または身体部分に投影するように動作可能なレーザーダイオードアセンブリを含む。
【0106】
一実施形態では、デジタルヘア投影ユニットは、セグメンテーションマスクに関連する1つまたは複数のパラメータを受信することに応答して、使用者の顔または身体の一部分にデジタルメイクアップコンテンツを投影するようにさらに構成される。
【0107】
一実施形態では、仮想毛髪着色方法は、使用者の頭部、顔、または身体部分のデジタル表現を、毛髪セグメント、顔セグメント、皮膚セグメント、または背景セグメントのうちの1つまたは複数に分割するステップと、仮想着色セグメンテーションマスクを生成するステップとを含む。
【0108】
一実施形態では、仮想毛髪着色方法はまた、仮想着色セグメンテーションマスクに関連する1つまたは複数の入力を受信することに応答して、投影可能なデジタル毛髪コンテンツを生成するステップを含む。
【0109】
一実施形態では、仮想毛髪着色方法はまた、デジタルヘアコンテンツを使用者に投影するステップを含む。
【0110】
一実施形態では、使用者の頭部、顔、または身体部分のデジタル表現を、毛髪セグメント、顔セグメント、皮膚セグメント、または背景セグメントのうちの1つまたは複数に分割するステップは、使用者の頭部、顔、または身体部分のデジタル表現において1つまたは複数のオブジェクトを検出するステップを含む。
【0111】
一実施形態では、毛髪着色方法は、毛髪セグメント、顔セグメント、皮膚セグメント、または背景セグメントのうちの1つまたは複数にオブジェクトを分化するステップを含む。
【0112】
一実施形態では、仮想毛髪着色方法はまた、1つまたは複数のオブジェクトの少なくとも1つをトラッキングするステップを含む。
【0113】
一実施形態では、仮想毛髪着色方法はまた、仮想メイクアップセグメンテーションマスクを生成するステップと、仮想メイクアップセグメンテーションマスクに関連する1つまたは複数の入力を受信することに応答して、投影可能なデジタルメイクアップコンテンツを生成するステップとを含む。
【0114】
いくつかの実施形態は、RGB画像(たとえばディープラーニングアルゴリズム)を使用するいくつかの適用例のための毛髪セグメンテーション、またはセグメンテーションをより正確にするための深度情報の特別な使用を含む。
【0115】
いくつかの実施形態は、RGB画像(たとえばディープラーニングアルゴリズム)を使用するいくつかの適用例のための毛髪セグメンテーション、またはセグメンテーションをより正確にするための深度情報の特別な使用を含む。
【0116】
本明細書で開示するいくつかの実施形態は、たとえば、投影プロトコルを実施すること、2つ以上の構成要素を動作可能に結合すること、情報を生成すること、動作状態を決定すること、デバイスまたは方法を制御することなどを行うために、回路を利用する。任意のタイプの回路を使用することができる。一実施形態では、回路は、特に、プロセッサ(たとえば、マイクロプロセッサ)、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)など、またはそれらの任意の組合せなどの1つまたは複数のコンピューティングデバイスを含み、ディスクリートデジタルまたはアナログ回路要素または電子機器、またはそれらの組合せを含むことができる。一実施形態では、回路は、複数のあらかじめ定義された論理構成要素を有する1つまたは複数のASICを含む。一実施形態では、回路は、複数のプログラマブル論理構成要素を有する1つまたは複数のFPGAを含む。
【0117】
一実施形態では、回路は、1つまたは複数の電気回路、プリント回路、フレキシブル回路、電気導体、電極、キャビティ共振器、伝導トレース(conducting trace)、セラミックパターン電極(ceramic patterned electrode)、電気機械部品、トランスデューサなどを含む。
【0118】
一実施形態では、回路は、互いに動作可能に結合された(たとえば、通信可能、電磁的、磁気的、超音波的、光学的、誘導的、電気的、容量的に結合された、ワイヤレスに結合されたなど)1つまたは複数の構成要素を含む。一実施形態では、回路は、1つまたは複数の遠隔に位置する構成要素を含む。一実施形態では、遠隔に位置する構成要素は、たとえば、ワイヤレス通信を介して動作可能に結合される。一実施形態では、遠隔に位置する構成要素は、たとえば、1つまたは複数の通信モジュール、受信機、送信機、トランシーバなどを介して動作可能に結合される。
【0119】
一実施形態では、回路は、たとえば、命令または情報を記憶するメモリを含む。メモリの非限定的な例には、揮発性メモリ(たとえば、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)など)、不揮発性メモリ(たとえば、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、コンパクトディスク読取り専用メモリ(DC-ROM)など)、永続性メモリなどが含まれる。メモリのさらなる非限定的な例には、消去可能プログラマブル読取り専用メモリ(EPROM)、フラッシュメモリなどが含まれる。一実施形態では、メモリは、たとえば、1つまたは複数の命令、情報、または電力バスによって1つまたは複数のコンピューティングデバイスに結合される。
【0120】
一実施形態では、回路は、1つまたは複数のコンピュータ可読媒体ドライブ、インターフェースソケット、ユニバーサルシリアルバス(USB)ポート、メモリカードスロットなど、および、たとえばグラフィカルユーザインターフェース、ディスプレイ、キーボード、キーパッド、トラックボール、ジョイスティック、タッチスクリーン、マウス、スイッチ、ダイヤルなどの1つまたは複数の入力/出力構成要素、および任意の他の周辺デバイスを含む。一実施形態では、回路は、たとえば、ターンオン電圧におけるシフトの検出に応答して1つまたは複数の組織の熱特性を決定することに関連する少なくとも1つのパラメータを制御する(電気的、電気機械的、ソフトウェア実装、ファームウェア実装、または他の制御、またはそれらの組合せ)ように構成された、少なくとも1つのコンピューティングデバイスに動作可能に結合された、1つまたは複数のユーザ入力/出力構成要素を含む。
【0121】
一実施形態では、回路は、信号担持媒体(たとえば、コンピュータ可読メモリ媒体、コンピュータ可読記録媒体など)を受け入れるように構成されたコンピュータ可読媒体ドライブまたはメモリスロットを含む。一実施形態では、開示する方法のいずれかをシステムに実行させるためのプログラムが、たとえば、コンピュータ可読記録媒体、信号担持媒体などに記憶され得る。信号担持媒体の非限定的な例には、磁気テープ、フロッピーディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、ブルーレイディスク、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルまたはアナログ通信媒体(たとえば、光ファイバーケーブル、導波路、有線通信リンク、ワイヤレス通信リンク)などの送信タイプの媒体(たとえば、受信機、送信機、トランシーバ、送信論理、受信論理など)が含まれる。信号担持媒体のさらなる非限定的な例には、限定はしないが、DVD-ROM、DVD-RAM、DVD+RW、DVD-RW、DVD-R、DVD+R、CD-ROM、スーパーオーディオCD、CD-R、CD+R、CD+RW、CD-RW、ビデオコンパクトディスク、スーパービデオディスク、フラッシュメモリ、磁気テープ、光磁気ディスク、MINIDISC、不揮発性メモリカード、EEPROM、光ディスク、光記憶装置、RAM、ROM、システムメモリ、ウェブサーバなどが含まれる。
【0122】
一実施形態では、回路は、音響トランスデューサ、電気音響トランスデューサ、電気化学トランスデューサ、電磁トランスデューサ、電気機械トランスデューサ、静電トランスデューサ、光電トランスデューサ、無線音響トランスデューサ、熱電トランスデューサ、超音波トランスデューサなどを含む。
【0123】
一実施形態では、回路は、トランスデューサと動作可能に結合された電気回路(たとえば、アクチュエータ、モーター、圧電結晶、微小電子機械システム(MEMS)など)を含む。一実施形態では、回路は、少なくとも1つのディスクリート電気回路を有する電気回路、少なくとも1つの集積回路を有する電気回路、または少なくとも1つの特定用途向け集積回路を有する電気回路を含む。一実施形態では、回路は、コンピュータプログラムによって構成された汎用コンピューティングデバイス(たとえば、本明細書で説明するプロセスおよび/もしくはデバイスを少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、または本明細書で説明するプロセスおよび/もしくはデバイスを少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路、メモリデバイス(たとえば、メモリの形態(たとえば、ランダムアクセス、フラッシュ、読取り専用など))を形成する電気回路、通信デバイス(たとえば、モデム、通信スイッチ、光電気機器など)を形成する電気回路、ならびに/またはそれに加えて光などのいずれかの非電気的アナログもしくは他のアナログを含む。
【符号の説明】
【0124】
22 プロジェクタ
23 カメラ
24 深度カメラ
26 動的ひずみ補償ユニット
27 ビームスプリッタ
28 メイクアップチュートリアル
30 処理ユニット
50 リモートシステム/データクラウド/クラウド記憶システム
110 デジタルコンテンツ投影システム
120 デジタルコンテンツ投影システム
23 カメラ
24 深度カメラ
26 動的ひずみ補償ユニット
27 ビームスプリッタ
28 メイクアップチュートリアル
30 処理ユニット
50 リモートシステム/データクラウド/クラウド記憶システム
110 デジタルコンテンツ投影システム
120 デジタルコンテンツ投影システム
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6】
【国際調査報告】