特表 2023-540249 顔の光学的性質を取得するための映像分析

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-22

(54)【発明の名称】顔の光学的性質を取得するための映像分析

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230914BHJP

   G06T 7/60 20170101ALI20230914BHJP

   A61B 5/00 20060101ALI20230914BHJP

【ＦＩ】

G06T7/00 660A

G06T7/60 180B

A61B5/00 M

A61B5/00 101A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023513815

(86)(22)【出願日】2021-08-27

(85)【翻訳文提出日】2023-04-24

(86)【国際出願番号】 US2021047896

(87)【国際公開番号】W WO2022047124

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】17/007,860

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2011194

(32)【優先日】2020-11-02

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】391023932

【氏名又は名称】ロレアル

【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ

【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133086

【弁理士】

【氏名又は名称】堀江 健太郎

(72)【発明者】

【氏名】メディ・ドウミ

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XB01

4C117XB13

4C117XB15

4C117XC11

4C117XD04

4C117XD06

4C117XD07

4C117XD11

4C117XD21

4C117XD31

4C117XE43

4C117XJ01

4C117XL11

5L096AA06

5L096BA06

5L096BA13

5L096CA04

5L096DA02

5L096FA19

5L096FA32

5L096FA33

5L096FA66

5L096FA67

5L096GA40

(57)【要約】

人間の顔における肌の光学的性質を、顔映像分析を通して取得するためのシステムおよび方法について、開示する。顔の映像がキャプチャされ、顔におけるランドマークが追跡され、対象領域が定義され、ランドマークを使って追跡され、いくつかの測定値/光学的性質が取得され、時間に基づく映像が角度ドメインへ変換され、追加測定値/光学的性質が取得される。そのような光学的性質は、リアルタイムの映像またはあらかじめ記録されている映像を使って測定することができる。

【特許請求の範囲】

【請求項1】

肌の光学的性質を分析するためのシステムであって、
処理回路構成を備え、前記処理回路構成は、
前記肌の映像をキャプチャすることと、
前記肌の前記キャプチャされた映像から、前記肌の上の1つまたは複数のランドマークを追跡することと、
前記肌の上の前記追跡された1つまたは複数のランドマークから、1つまたは複数の対象領域を識別することと、
前記キャプチャされた映像を角度ドメインへ変換することと、
前記肌の光学的性質を算出することとを行うように構成される、システム。

【請求項2】

前記光学的性質は、色、輝度、質感、光沢、つや、均一性、肌トーン、光彩、および輝きのうちの少なくとも1つを含む、請求項1に記載のシステム。

【請求項3】

前記映像は、ハンドヘルドデバイスからキャプチャされる、請求項1に記載のシステム。

【請求項4】

前記肌の前記算出された光学的性質に基づいて環境を変えることをさらに含む、請求項1に記載のシステム。

【請求項5】

前記肌は顔の上にある、請求項1に記載のシステム。

【請求項6】

前記光学的性質は、既存の映像について算出される、請求項1に記載のシステム。

【請求項7】

前記肌の前記算出された光学的性質をデータ分析のために収集することをさらに含む、請求項1に記載のシステム。

【請求項8】

前記キャプチャされた映像を角度ドメインへ変換することは、中心軸に対して前記顔の左側にある第1のランドマークと、前記中心軸に対して前記顔の右側にある第2のランドマークとの間の距離を比較することによって遂行される、請求項5に記載のシステム。

【請求項9】

肌の光学的性質を分析するための方法であって、
前記肌の映像をキャプチャするステップと、
前記肌の前記キャプチャされた映像から、前記肌の上の1つまたは複数のランドマークを追跡するステップと、
前記肌の上の前記追跡された1つまたは複数のランドマークから、1つまたは複数の対象領域を識別するステップと、
前記キャプチャされた映像を角度ドメインへ変換するステップと、
前記肌の光学的性質を算出するステップとを含む方法。

【請求項10】

前記光学的性質は、色、輝度、質感、光沢、つや、均一性、肌トーン、光彩、および輝きのうちの少なくとも1つを含む、請求項9に記載の方法。

【請求項11】

前記映像は、ハンドヘルドデバイスからキャプチャされる、請求項9に記載の方法。

【請求項12】

前記肌の前記算出された光学的性質に基づいて環境を変えるステップをさらに含む、請求項9に記載の方法。

【請求項13】

前記肌は顔の上にある、請求項9に記載の方法。

【請求項14】

前記光学的性質は、既存の映像について算出される、請求項9に記載の方法。

【請求項15】

前記肌の前記算出された光学的性質をデータ分析のために収集するステップをさらに含む、請求項9に記載の方法。

【請求項16】

前記キャプチャされた映像を角度ドメインへ変換することは、中心軸に対して前記顔の左側にある第1のランドマークと、前記中心軸に対して前記顔の右側にある第2のランドマークとの間の距離を比較することによって遂行される、請求項13に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2020年8月31日に出願した米国出願第17/007,860号の優先権を主張するものであり、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【0002】

本出願は、2020年11月2日に出願した仏国出願第FR2011194号の優先権を主張するものであり、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【0003】

本明細書に記載する実施形態は、概して、肌の光学的性質を分析するためのシステムおよび方法に関する。

【背景技術】

【0004】

デジタル写真は、化粧品からの色、光沢および形態効果をキャプチャし、評価するための、最も普及している媒体である。ただし、最も高解像度の画像でさえも十分ではない、というのは、動きのある世界を人間が見たとしても、そのような画像は、静的であり、1つの特定の照明条件をキャプチャするだけであり、画像処理は、信頼できる比較分析を保証するために、非常に厳格な標準化幾何学を要するからである。

【0005】

これに立ち向かうために、科学者たちは、写真分析を改善するための機械学習方法を開発したが、それらには制限があり、すなわち、それらは「ブラックボックス」で、非常に大きい画像セットを要し、非常に標準化されたデータを要し、低解像度画像で最も速くトレーニングを行い、非常に限られたトレーニング目的を要する。

【発明の概要】

【課題を解決するための手段】

【0006】

上述した問題を鑑みて、本開示は、肌の光学的性質を分析するためのシステムおよび方法について記載し、これらは、肌の映像をキャプチャすることと、肌のキャプチャされた映像から、肌の上の1つまたは複数のランドマークを追跡することと、肌の上の追跡された1つまたは複数のランドマークから、1つまたは複数の対象領域を識別することと、キャプチャされた映像を角度ドメインへ変換することと、肌の光学的性質を算出することとを含む。

【0007】

一実施形態では、光学的性質は、色、輝度、質感、光沢、つや、均一性、肌トーン、光彩、および輝きのうちの少なくとも1つを含む。

【0008】

一実施形態では、映像は、ハンドヘルドデバイスからキャプチャされる。

【0009】

一実施形態では、肌の算出された光学的性質に基づいて、環境が変えられる。

【0010】

一実施形態では、肌は顔の上にある。

【0011】

一実施形態では、光学的性質は、既存の映像について算出される。

【0012】

一実施形態では、肌の算出された光学的性質は、データ分析のために収集される。

【図面の簡単な説明】

【0013】

【図1A】1つの可能なセットアップのシステム図であり、カメラは、ユーザの顔の映像をキャプチャするのに使われ、キャプチャされた映像の中の顔の光学パラメータは、ローカルに、ネットワークを介して、または両方の組合せで算出される。

【図1B】第2の可能なセットアップのシステム図であり、電話は、映像をセルフキャプチャするのに使われ、光学パラメータに合わせて映像を処理するのにクラウドを使用する。

【図2】一実施形態における、測定値/光学的性質を算出するためのステップを概説するフローチャートである。

【図3】頭を動かすパネリストの、キャプチャされた映像からのフレームを示す図である。

【図4】一例において各フレームごとに追跡されるランドマークを示す例である。

【図5A】ある頭の向きにおける顔の左および右側の対象領域を示す第1の例を示す図であり、対象領域は、追跡されるランドマークを使って作成された。

【図5B】3つの異なる頭の向きにおける顔の左および右側の対象領域を示す第2の例を示す図であり、対象領域は、追跡されるランドマークを使って作成された。

【図6】映像の1つのフレームに対する顔の肌の光学的性質を示す例であり、光学的性質は、対象領域ごとの平均色である。

【図7】映像の複数のフレームに対する顔の肌の光学的性質を示す例であり、光学的性質は、対象領域ごとの中央グレー値である。

【図8】変化する頭の向き/角度での、左の額の対象領域および右の額の対象領域についての平均RBG値が示される角度変換を示す図である。

【図9A】研究におけるパネリストすべてに対してパナソニックGH5カメラを使って取得された、ピーク明度と、それに対する時間点グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図9B】研究におけるパネリストすべてに対してパナソニックGH5カメラを使って取得されたピーク明度製品差グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図10A】研究におけるパネリストすべてに対してiPhone 8（登録商標）カメラを使って取得された、ピーク明度と、それに対する時間点グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図10B】研究におけるパネリストすべてに対してiPhone 8カメラを使って取得されたピーク明度製品差グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図11A】研究におけるパネリストすべてに対してSambaを使って取得された、光沢レベルと、それに対する時間点グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図11B】研究におけるパネリストすべてに対してSambaを使って取得された光沢レベル製品差グラフを示す図であり、各パネリストは、より高いピーク明度を有することが知られている第1の製品(NARS)を顔の片側に、およびより低いピーク明度を有することが知られている第2の製品(ELDW)を顔の反対側につけていた。

【図12A】3つの異なる獲得タイプについての光沢/ピーク明度差の対照比較を示す図であり、(A)は偏光されたSambaからであり、(B)は自撮りiPhone映像を備えた顔映像システムであり、(C)は三脚に載ったパナソニックGH5カメラを備えた顔映像システムである。

【図12B】3つの異なる獲得タイプについての光沢/ピーク明度差の対照比較を示す図であり、(A)は偏光されたSambaからであり、(B)は自撮りiPhone映像を備えた顔映像システムであり、(C)は三脚に載ったパナソニックGH5カメラを備えた顔映像システムである。

【図12C】3つの異なる獲得タイプについての光沢/ピーク明度差の対照比較を示す図であり、(A)は偏光されたSambaからであり、(B)は自撮りiPhone映像を備えた顔映像システムであり、(C)は三脚に載ったパナソニックGH5カメラを備えた顔映像システムである。

【図13】3つの異なる獲得タイプからの結果を使って、ELDWおよびNARSが統計的に異なるとみられるかどうかを試す、対応のあるT検定からの統計的結果を示す図である。

【図14】実験における各パネリストの左右の顔面にのせられた、無作為に割り当てられた実際の製品を示す図である。

【発明を実施するための形態】

【0014】

一実施形態では、本開示は、色、輝度、質感、光沢、つや、均一性、肌トーン、光彩、輝きなどのような(ただし、それらに限定されない)、人間の顔の肌の光学的性質(すなわち、効果)を評価するためのシステムおよび方法を提示する。一つの手法は、くつろいだ、現実のキャプチャ環境において映像をキャプチャすることによって光学的効果を(1)評価し、(2)可視化すること、および顔ランドマーク検出能力を有するソフトウェアでそれを分析することである。開示する技法は、人間の映像および動的な動きを使って、人間の顔の光学的性質を量子化することができ、そのような光学的性質を量子化するときに、より良好な感度、堅牢性、および柔軟性がある(高機能カメラを使う必要がない)という結果となる。

【0015】

図1Aおよび図1Bは、2つの例示的な実施形態のためのシステム図を示す。図1Aにおいて、デジタル一眼レフ(DSLR)カメラなどのカメラ1002が、顔1001の映像を記録するのに使われ得る。一実施形態では、顔1001とカメラ1002との間の距離は、化粧をしているときの、人と鏡との間の通常距離であってよい。キャプチャされた映像データは、プロセッサ1003、ネットワークコントローラ1004、メモリ1005、および/またはディスプレイ1006へ送られ得る。プロセッサ1003は、カメラ1002からのキャプチャされた映像を処理し、光学的性質を判断するための算出を実施するのに使われ得る。ネットワークコントローラ1004は、ネットワークを介してデータを送信および/または受信するのに使われ得る。メモリ1005は、データを読み取り、書き込むのに使われ得る。ディスプレイ1006は、顔1001の処理された(すなわち、算出された)光学的性質などのデータを可視化するのに使われ得る。別の実施形態では、より良好な照明のために、顔1001に光が照射される場合がある。別の実施形態では、顔1001のより良好な可視化のために、バックグラウンドを見分けるために、ユーザの顔1001の後ろに緑色スクリーンが置かれる場合がある。

【0016】

図1Bにおいて、インターネットに接続された電話1007が、顔1001の映像をセルフキャプチャするのに使われ得る。セルフキャプチャされた映像は、クラウド1008へ(すなわち、ネットワークを介して)送られてよい。セルフキャプチャされた映像は、処理のために、クラウド1008からサーバ1009へ送られてよい。サーバ1009は、セルフキャプチャされた映像から、顔1001の光学的性質を算出し、結果を、クラウド1008を介して電話1007へ送り返してよい。別の実施形態では、クラウド1008およびサーバ1009は省かれてよく、電話1007は、セルフキャプチャされた映像から、顔1001の光学的性質すべてをローカルに(すなわち、インターネット接続を要さずに)算出し、結果をユーザに対して表示し得る。

【0017】

図2は、ある方法100の例示的な実施形態を段階的に説明するフローチャートである。この方法は、処理回路構成向けに構成されてよい。

【0018】

図2において、S102は、映像をキャプチャすることである。キャプチャされた映像は、人間の顔のものであってよい。別の実施形態では、キャプチャされた映像は、脚、腕、背中などのような、他の箇所の肌であってよい。この例では、人間の顔の肌が使われる。映像は、あらかじめ記録されるか、またはリアルタイムで記録されてよい。記録された映像において、人間は、頭を自然に動かす(たとえば、左、中心、右を見て、次いで、繰り返す)ことができる。人間は、顔追跡を最適化し、顔領域の遮蔽を最小限にするために、眼鏡を外し、ヘアバンドで髪を束ねてよい。図3は、キャプチャされた映像からの、いくつかのフレームの例を示す。映像は、ハンドヘルドデバイス(たとえば、スマートフォン、タブレットなど)、ラップトップからのウェブカム、DSLRカメラなどのような、映像記録が可能なデバイスから記録されてよい。

【0019】

一実施形態では、映像キャプチャシステムは、1つのLED光、照明の中心軸に沿った三脚の上のDSLR、および被験者が座るための椅子を有し得る。映像は、720p解像度(4Kまで)および60fps(最大120fps)で記録されてよい。被験者は、一実施形態では、記録する間、60秒まで、および最低15秒間、頭を自然に動かすよう、命令される場合がある。別の実施形態では、被験者は、15秒未満または60秒を超えて頭を動かす場合がある。別の実施形態では、DSLRおよび三脚は、スマートフォン(たとえば、iPhone)で置き換えられてよく、スマートフォンユーザは、自分の顔の映像をセルフキャプチャしてよい。店内での顧客エクスペリエンス可視化のために、ワークステーションに接続されたコンピュータビジョン(たとえば、USB3Visionタイプ)カメラが、リアルタイムのキャプチャのために使われ得る。

【0020】

図2において、S104はランドマーク追跡である。映像ファイル(評価システム)または映像ストリーム(リアルタイムの可視化)が、顔ランドマーク追跡ソフトウェアライブラリによって読み取られる。図4は、ランドマーク追跡の例を示し、ここで、顔の上の70地点のロケーションが、各映像フレームごとに検出される(たとえば、瞳の中心、目尻、鼻孔など)。一実施形態では、ランドマークの量は、70よりも多くても少なくてもよい。ランドマークデータは、存在時間、存在の強度、x位置、およびy位置を含み得る。データは、カンマ区切り値(CSV)ファイルに出力されてよい。

【0021】

ランドマーク追跡ソフトウェアは、オープンソースライブラリDlib(https://github.com/davisking/dlib)において入手可能である。このランドマーク追跡の例は、カーネギーメロンによって開発されたOpenPoseソフトウェア(https://github.com/CMU-Perceptual-Computing-Lab/openpose)において見ることができる。

【0022】

図2において、S106は、対象領域(ROI)を定義し、追跡することである。顔における1つまたは複数の対象領域(すなわち、パッチまたはゾーン)が、追跡されたランドマークを使って構築され得る。さらに、キャプチャされた映像は、最良映像フレーム(たとえば、明らかなROIをもつフレーム、ランドマークの数が最も少ないフレーム、など)のみを使うようにフィルタリングされ得る。これらのROI/パッチ/ゾーンは、人間知覚にとって最重要なロケーションとして定義され得る。それらのサイズおよびロケーションは、人間が正確には被験者の顔のどこに注意を払うかがわかるように、特殊知覚研究、たとえば、瞳追跡研究によって知らせることができる。S106の例が図5Aおよび図5Bに示され、ここで、ランドマークは、左右の額、涙袋、頬、および顎など、複数の領域についてのROIを作成するのに使われた。

【0023】

図2において、S108は、測定値/光学的性質を算出することである。ROIの全部(または一部)に対して、色、輝度(すなわち、光)、および質感などの光学的性質のための算出が実施されてよい。色を推定するために、平均、中央値、上位および下位四分位点が、ROI内に含まれるRGBトリプレットのセットから計算される(たとえば、フレーム12における額ROI#2の平均色は、RGB=[180,122,80]である)。RGBトリプレットが、0～255の範囲の単一8ビットグレースケール値に変換された後、類似の関数を使って、輝度および明度が計算され得る。2D標準偏差、2Dエントロピー、ならびに1階および2階導関数などのようなブロック処理関数(またはフィルタ)を使って、各ROI内の質感が計算され得る。図6は、各ROIについて、ROIごとの平均色が、キャプチャされた映像の1つのフレームごとに算出された例を示す。さらに、図7は、キャプチャされた映像の各フレームごとの各ROIについての、時間経過に伴う、算出された色および明度を示す。

【0024】

図2において、S110は、角度ドメインへの変換を実施することである。時間に基づく色/光/質感データが、角度ドメインへ変換され得る。これは、中心軸に相対した、左右の顔ランドマークの間の距離の比を算出すること、および三角方程式を解くことによって遂行され、たとえば、頭が右を向くと、右眼から鼻までの距離は、左眼から鼻までの距離よりもはるかに小さいことを観察することができ、したがって、それらの距離に基づいて角度が推定され得る。こうすることで、中心から左への22度の頭部回転における右頬の色がRGB=[200,112,98]であるというような結果が生じる。言い換えると、算出された測定値は、時間、すなわち、フレーム番号12とは反対に、頭の向きの関数、すなわち、22°の角度、としてマップし直され得る。色/明度(y軸)および頭の向き(x軸)に従って左の額ROIおよび右の額ROIがマップされる例が、図8に示される。この例では、より負のx軸値が、より左を向くパネリストの顔に対応し、より正のx軸値が、より右を向く顔に対応し、ゼロにおけるx軸の値は、パネリストの顔が中心にあることを意味することに留意されたい。

【0025】

図2において、S112は、光沢、つや、均一性、肌トーン、光彩、輝きのような、追加の、より高いレベルの、測定値/光学的性質を算出することである。色および光測定値が角度ドメインにマップされた後、より高レベルの分析がデータに対して実施されてよく、たとえば、顔の「光沢」が、映像中の「角度の範囲にわたるピーク明度」に相関され得る。言い換えると、人間が頭を左および右に回すと、各ROIは、光源の反射を最大限にする、ある程度の角度において最大明度を受け、この「ピーク明度」グレースケール値は、光沢のある製品と、光沢のない製品とを差別化することができる。光彩は、たとえば、色が角度により変化するように見える光学的効果であり、したがって、各ROI内の平均色の変動性が、色変化を推定するために追跡され、量子化され得る。他のメトリックは、角度ドメインに対して作用する、類似の非線形関数(すなわち、角度にわたる最大明度)、および空間ドメイン(すなわち、すべてのROIにわたる最大明度)によって判断されてよく、つやおよび輝きのケースでは、回帰モデルが、角度ベースのメトリックのセットを、消費者知覚データおよびメイクアップの専門家評価データにリンクするのに使われてよい。

【0026】

別の実施形態では、S110はS108に先立って実施されてよく、S108およびS112は、S110の後で、1つのステップとして一緒に実施されてよい。

【0027】

上述した方法100は、プロシューマ向けカメラ(パナソニックGH5)、ハンドヘルドデバイスカメラ(iPhone 8前面カメラ)、およびピーク明度/光沢メトリックを使う差動偏波カメラ(Bossa Nova製のSamba)を使ってテストされた。Sambaは、最先端技術と見なすことができる。たとえば、Sambaは、L'Orealにおける標準体内光沢計器である。

【0028】

6人の白人女性パネリストが、顔の各半分に2つの製品をつけた。製品は、(1)ELDWと略されるエスティローダーダブルウェア、3W1 Tawny(つや消しであると知られている)、および(2)NARSと略されるNARSナチュラルラディアントロングウェアファンデーション、Light 4.5 Vienna 6606(ELDWよりも光沢があると知られている)だった。したがって、ピーク明度/光沢測定において、NARSファンデーションは、ELDWよりも高いピーク明度/光沢値を有するはずである。パネリストの顔は、ベースライン(T0)時、塗布後(T1)、塗布の2時間後(T2)、および塗布の5時間後(T3)にキャプチャされた。上述した方法100を組み込む顔分析ソフトウェアが、フレーム単位のランドマークをフレーム単位のゾーンに、フレーム単位のメトリックに変換するのに使われた。

【0029】

三脚に載せたパナソニックGH5によって獲得された映像を使い、時間点ごとに、パネリスト単位で、ゾーンすべてにわたり算出されたピーク明度結果が図9Aに示され、対応するピーク明度製品差が図9Bに示される。iPhoneによって獲得された(手動で、すなわち、パネリストによって自撮りされた)映像を使い、時間点ごとに、パネリスト単位で、ゾーンすべてにわたり算出されたピーク明度結果が図10Aに示され(各曲線は、顔の片側を表す)、対応するピーク明度製品差が図10Bに示される(各曲線はパネリストを表す)。パナソニックGH5とiPhoneの両方によってキャプチャされた映像について、あらゆるパネリストに対して、NARSがELDWよりも高いピーク明度を有するという結果を示した。NARSが最初はT1においてELDWよりもはるかに光沢があり、次いで、T2およびT3においてELDWにより近くなるように進展するという、ピーク明度差における一貫した進展もある。この一貫性は、Sambaの結果には見られない。

【0030】

Sambaを使った、時間点ごとの、パネリスト単位の光沢結果が図11Aに示され、時間点ごとの、パネリスト単位の、対応する光沢レベル差が図11Bに示される。パネリスト#3およびパネリスト#5に対するSamba光沢レベルは、それぞれ、T1およびT2において、NARSよりも、ELDWについては高い(両方とも、図11Bにおいて丸で囲まれている)ことに留意されたい。全体として、Samba光沢レベルは、図9A、図9B、図10A、および図10Bに示すピーク明度データよりも規則的でない。

【0031】

製品差グラフが、対照比較のために図12にまとめられ、(A)はSambaからであり、(B)は、自撮りiPhone映像を用いる顔映像システムであり、(C)は、三脚に載ったパナソニックGH5カメラを用いる顔映像システムである。Sambaよりもはるかに明らかな光沢の進展が、2つの顔映像システムから生じているのが見られる。顔映像システムの結果は、顔のNARS塗布側が、Sambaの結果よりも一貫して光沢があること(すなわち、負の製品差)を、自撮りによるiPhoneまたは三脚に載ったプロシューマ向けカメラを使うかどうかにかかわらず、示した。これらの光沢差曲線は、いかなる統計的検定の優れた区別能にも変換できる。

【0032】

図13に示すように、対応のあるT検定(N=6)が、NARSおよびELDWからの各計器のデータを比較するのに使われた。自撮りiPhone映像からのピーク明度を使う顔映像システムが、あらゆる時間点において、および非常に低いp値において、2つの製品、すなわちNARSとELDWとを区別することができることを統計が示す。これは、確固としてサポートされ、さらに進化したパナソニックGH5カメラを使う顔映像システムと、本質的に同じ統計的強度である。ただし、Sambaは、T1およびT3においてNARSとELDWとを区別することができなかった。

【0033】

したがって、GH5カメラを用いる、顔映像システムは、より安価、より小型、非接触、より消費者向け、およびより使いやすいにもかかわらず、最先端技術では見られない統計的信頼性で、光沢性能を区別し得ることを示した。さらに、同じ上位レベルの区別は、検査被験者によって自撮りされる、平均的スマートフォン映像を使うときにも生じられる。

【0034】

実験中、Apple iPhone 8は、Moment製のPro Cameraを稼動し、720p@60fps、ISO22(最低)、1/60sシャッター(60fpsに対して最遅)というカメラ設定を有していた。パナソニックGH5は、三脚に載り、被験者からほぼ50センチメートルの所にあり、XRite Graycard(XRite Video Colorcheckerの反対側)、ISO200、全Iフレーム圧縮200mbpsにホワイトバランス補正されていた。被験者は、スピンし、上昇し、下降することができる空気式スツールを有していた。ほぼ6000Kのコンパクト蛍光ランプ(CFL)照明付きの緑色スクリーン背景が、被験者の頭のほぼ100センチメートル背後にあった。Bescor LED光(ほぼ6000K)およびSekonic Light and Color Meter測定光が、6200Kとして、顔の前にあった。パネリストIDおよび実験中に顔の左および右側に塗布された、無作為に割り当てられた製品が、図14に示される。

【0035】

例示的な一実施形態では、上述した技法は、誰かの顔特徴(たとえば、顧客)の色に基づいて環境を変えるために適用されてよい。たとえば、顧客が、口紅化粧品を探して店に入る場合があり、棚は、顧客の肌トーンに合うように色を変えることができる。別の例として、顧客は、旗艦店に入る可能性があり、壁は、顧客の顔に合うように色を変えることができる。こうすることの利益は、カラーメイクアップ製品を容易に選ぶことができること、肌トーンの称賛、および、たとえば店がどれだけ進歩的またはユニークであるかを示すなど、バズマーケティングの生成を含み得る。別の例として、顧客は、旗艦店に入る可能性があり、ロボティックスカルプチャが、その形状をカラーメイクアップの見た目を反映するように変えることができ、これにより、顧客は、自分の顔を他者が見るように、複数の角度から観察することができる。

【0036】

一実施形態では、上述した技法は、自宅で(たとえば、スマートフォンを使って)または販売店で(たとえば、DSLRカメラを使って)実施することができ、これは、リアルタイムで(たとえば、映像がキャプチャされるのとほぼ同時に、光学的性質が算出される)、または既存の映像向けに(すなわち、過去に記録された映像について、光学的性質が算出される)行うこともできる。

【0037】

別の実施形態では、上述した技法は、異なるユーザからの肌の算出された光学的性質についての収集されたデータを含むデータベースを作成するのに使われ得る。このデータベースは、データ分析に使うこともできる。このデータは、年齢、地域、性別などのような、他の特性によってさらにまとめられてもよい。たとえば、傾向分析のために、ソーシャルメディアインフルエンサーの(たとえば、その人たちのソーシャルメディア投稿からの)光学的性質についてのデータを集めることは、特定の年齢グループ向けの特定の化粧スタイルの人気、世界の特定の地域における特定の口紅カラー、などのような傾向についての洞察につながり得る。データ分析からの知見は、傾向を識別することができるなど、ビジネスアイディアを作成し、より良好な経営判断を行うのに使うことができる。

【0038】

本明細書に記載した方法およびシステムは、いくつかの技術で実装することができるが、概して、処理回路構成に関する。一実施形態では、処理回路構成は、特定用途向け集積回路(ASIC)、フィールドプログラム可能ゲートアレイ(FPGA)、論理の汎用アレイ(GAL)、論理のプログラム可能アレイ(PAL)、論理ゲート(たとえば、ヒューズを使う)またはリプログラム可能論理ゲートの一度限りのプログラム可能性を認めるための回路構成のうちの1つとして、またはそれらの組合せとして実装される。さらに、処理回路構成は、コンピュータプロセッサを含み、本明細書に記載するプロセスを実施するようにコンピュータプロセッサを制御するためのコンピュータ命令(バイナリ実行可能命令および/またはインタープリタ型コンピュータ命令)を記憶する組込みおよび/または外部不揮発性コンピュータ可読メモリ(たとえば、RAM、SRAM、FRAM（登録商標）、PROM、EPROM、および/またはEEPROM)を有し得る。コンピュータプロセッサ回路構成は、シングルプロセッサまたはマルチプロセッサを実装してよく、各々が、単一スレッドまたは複数のスレッドをサポートし、各々が単一コアまたは複数のコアを有する。人工ニューラルネットワークをトレーニングするのに使われる処理回路構成は、本明細書に記載する画像ノイズ除去を実施するトレーニング済み人工ニューラルネットワークを実装するのに使われる処理回路構成と同じである必要はない。たとえば、プロセッサ回路構成およびメモリは、トレーニング済み人工ニューラルネットワーク(たとえば、その相互接続および重みによって定義されるように)を生成するのに使われてよく、FPGAが、トレーニング済み人工ニューラルネットワークを実装するのに使われてよい。その上、トレーニング済み人工ニューラルネットワークのトレーニングおよび使用は、(たとえば、グラフィックスプロセッサアーキテクチャなどの並列プロセッサアーキテクチャ上でトレーニング済みニューラルネットワークを実装することによって)増大した性能のために直列実装または並列実装を使うことができる。

【0039】

いくつかの実施形態について記載したが、これらの実施形態は、例示の目的でのみ提示されているのであって、本発明の範囲を限定することは意図していない。実際、本明細書に記載する、新規性のある実施形態は、様々な他の形で具現化されてよく、さらに、本明細書で説明した実施形態の形における、様々な省略、代用および変更が、本発明の趣旨から逸脱することなく行われてよい。添付の請求項およびそれらの等価物は、そのような形または修正を、本発明の範囲および趣旨内であるものとしてカバーすることを意図している。

【符号の説明】

【0040】

100 方法
1001 顔
1002 カメラ
1003 プロセッサ
1004 ネットワークコントローラ
1005 メモリ
1006 ディスプレイ
1007 電話
1008 クラウド
1009 サーバ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図12C】

【図13】

【図14】

【国際調査報告】