(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-07
(54)【発明の名称】カラークラウドを作成するためのクレードル
(51)【国際特許分類】
G06T 7/90 20170101AFI20231130BHJP
G01J 3/46 20060101ALI20231130BHJP
【FI】
G06T7/90
G01J3/46 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023531693
(86)(22)【出願日】2021-11-30
(85)【翻訳文提出日】2023-05-24
(86)【国際出願番号】 US2021061091
(87)【国際公開番号】W WO2022115738
(87)【国際公開日】2022-06-02
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-02-25
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】391023932
【氏名又は名称】ロレアル
【氏名又は名称原語表記】L’OREAL
【住所又は居所原語表記】14 Rue Royale,75008 PARIS,France
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ドゥミ, メディ
【テーマコード(参考)】
2G020
5L096
【Fターム(参考)】
2G020AA08
2G020DA13
2G020DA14
2G020DA32
2G020DA34
2G020DA35
2G020DA36
2G020DA51
5L096AA02
5L096BA03
5L096CA02
5L096DA01
5L096DA02
5L096GA51
(57)【要約】
クレードルを使用して、毛髪などのオブジェクトのビデオを取り込むことができる。次いで、そのビデオを使用し、カラークラウドを使用してその材料に関連する色情報を抽出及び視覚化することができる。カラークラウドには、ビデオの1つ以上のフレームに存在する全ての色が含まれる。クレードルは、クレードル上の窓を通して材料を見ることができるビデオ録画デバイスを備える。スマートフォンをクレードルとともに使用して、ビデオ録画デバイスとして機能させること、並びに照明を提供することができる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
カラークラウドを作成するための装置であって、
第1の端部と、窓を有する第2の端部と、前記第1の端部を前記第2の端部に接続する少なくとも1つの壁とを有するクレードルと、
前記クレードルの前記第1の端部にあるビデオ録画デバイスであって、前記窓を通して見える材料のビデオを取り込むように構成されている、ビデオ録画デバイスと、を備える、装置。
【請求項2】
前記ビデオ録画デバイスは、モバイルデバイス上のカメラである、請求項1に記載の装置。
【請求項3】
前記第1の端部、前記第2の端部、及び前記少なくとも1つの壁のうちの少なくとも1つに取り付けられた光源を更に備える、請求項1に記載の装置。
【請求項4】
前記光源は、モバイルデバイス上のフラッシュライトである、請求項3に記載の方法。
【請求項5】
前記ビデオ録画デバイスに接続され、前記材料の前記ビデオからカラークラウドを作成するように構成された処理回路を更に備える、請求項1に記載の装置。
【請求項6】
前記ビデオ録画デバイスを保持するために前記クレードルの前記第1の端部に取り付けられるホルダーを更に備える、請求項1に記載の装置。
【請求項7】
前記第2の端部は、色分離のために前記窓に隣接する複数の色で着色される、請求項1に記載の装置。
【請求項8】
オブジェクトのカラークラウドを作成するためのシステムであって、
第1の端部と、窓を有する第2の端部と、前記第1の端部を前記第2の端部に接続する少なくとも1つの壁とを有するクレードルと、
前記クレードルの前記第1の端部に取り付けられた画像センサであって、前記窓を通して見えるオブジェクトの複数のデジタル画像を取り込むように構成されている、画像センサと、
前記画像センサに動作可能に結合された処理回路と、を備え、前記処理回路は、
前記オブジェクトの前記複数のデジタル画像に関連付けられた色情報の3次元仮想表現を生成し、かつ
前記オブジェクトの1つ以上の重要な特性を識別し、前記オブジェクトの色情報の前記3次元仮想表現に関連付けられた1つ以上の入力に基づいて、前記オブジェクトの重要な特性の同一性を示す1つ以上の仮想インスタンスをグラフィカルユーザーインタフェースディスプレイ上で生成するように構成されている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年11月30日に出願された米国特許出願第17/107,073号、及び2021年2月25日に出願されたフランス特許出願第2101813号の利益を主張するものであり、これらの出願の各々の全内容が、参照により本明細書に組み込まれる。
【背景技術】
【0002】
分光光度計は、毛髪の見本の色を読み取るために使用されるが、単一のRGB、L*a*b*、LCh又はHSVトリプレットの形態の材料の単一のデジタル表現のみを提供し、通常、1cm×1cm未満のエリアのみを読み取る。更に、2つの材料を比較する場合、分析は、3空間の間の色空間におけるユークリッド距離(例えば、delta-E1976=
【数1】
)に限定され、検出のためのこの閾値は、ヒトによる毛髪の色においてまだ決定されていない。更に、単一の色(例えば、RGB又はL*a*b*)は測定領域の平均色であり、平均色は具体的ではなく、むしろ数学的概念である。理論的には、例えば、毛髪の領域の平均的な色を取り、その色は毛髪のその領域に存在さえしない場合がある。
【発明の概要】
【0003】
本開示は、カラークラウドを作成するための装置を対象とし、本装置は、第1の端部と、窓を有する第2の端部と、第1の端部を第2の端部に接続する少なくとも1つの壁とを有するクレードルと、クレードルの第1の端部にあるビデオ録画デバイスであって、窓を通して見える材料のビデオを取り込むように構成されている、ビデオ録画デバイスと、を備える。別の態様では、本開示はまた、オブジェクトのカラークラウドを作成するためのシステムを対象とし、本システムは、第1の端部と、窓を有する第2の端部と、第1の端部を第2の端部に接続する少なくとも1つの壁とを有するクレードルと、クレードルの第1の端部に取り付けられた画像センサであって、窓を通して見えるオブジェクトの複数のデジタル画像を取り込むように構成されている、画像センサと、画像センサに動作可能に結合された処理回路と、を備え、処理回路は、オブジェクトの複数のデジタル画像に関連付けられた色情報の3次元仮想表現を生成し、かつオブジェクトの1つ以上の重要な特性を識別し、オブジェクトの色情報の3次元仮想表現に関連付けられた1つ以上の入力に基づいてオブジェクトの重要な特性の同一性を示す1つ以上の仮想インスタンスをグラフィカルユーザーインターフェースディスプレイ上で生成するように構成されている。
【0004】
一実施形態では、ビデオ録画デバイスは、モバイルデバイス上のカメラである。
【0005】
一実施形態では、装置は、第1の端部、第2の端部、及び少なくとも1つの壁のうちの少なくとも1つに取り付けられた光源を更に備える。
【0006】
一実施形態では、光源は、モバイルデバイス上のフラッシュライトである。
【0007】
一実施形態では、装置は、ビデオ録画デバイスに接続され、材料のビデオからカラークラウドを作成するように構成された処理回路を更に含む。
【0008】
一実施形態では、装置は、ビデオ録画デバイスを保持するためにクレードルの第1の端部に取り付けられるホルダーを更に備える。
【0009】
一実施形態では、第2の端部は、色分離のために、窓に隣接する複数の色で着色される。
【図面の簡単な説明】
【0010】
【
図1】ユーザーが毛髪の上でクレードルをドラッグしてビデオを取り込み、そのためのカラークラウドを作成することを示す。
【
図2】カラークラウドを作成及び利用する一方法を示す。
【
図4】クレードルをスマートフォンに取り付けることができる、クレードルの第2の実施形態を示す。
【
図5A】ビデオを取り込むために使用されたユーザーの毛髪を示し、ビデオは、ユーザーの毛髪の長さにわたって取り込む(毛髪の根から始まり、毛髪の先端で終わる)。
【
図5B】時間順にレイアウトされたビデオの複数のフレームの例を示し、ユーザーが、自身の毛髪の根から始まり、毛髪の先端で終わる毛髪のビデオを取り込む。
【
図6】ビデオの各フレームからの全ての色を表示する単一のカラークラウドの例を示す。
【
図7】色情報及び周波数情報を有するカラークラウドの例を示す。
【
図8】見本から作成された4つの異なるカラークラウドの例を示し、これらのカラークラウドは、次に、類似点及び相違点を視覚化するために、L*a*b*色空間(L*及びb*寸法上に投影される)にオーバーレイされる。
【
図9】異なる毛髪の間の共有された色及びユニークな色をビデオに直接示す。
【発明を実施するための形態】
【0011】
本開示は、非常に再現性があり、携帯可能であり、任意の照明環境で動作することができる方法で、人間の頭部の毛髪見本及び実生活の毛髪のような任意の材料の光学反射を定量化することができる、物理デバイス及び独自のアルゴリズムを説明する。クレードルと呼ばれるデバイスは、材料(毛髪など)上で使用することができ、材料をカラークラウドアルゴリズムで分析して、その材料の全体的なデジタル表現を取得し、本明細書ではカラークラウドとして定義される。このカラークラウドは、異なる時点で他の反射材料、又は同じ反射材料の他のカラークラウド(例えば、洗浄前及び洗浄後の着色された毛髪)と比較され得る。本明細書に開示される実施形態は、材料のビデオの取り込みから既存の色を抽出する(そして、正味の結果を生成するためにそれらを任意の算術的方法で操作することはない)。この技術は、微細な色の変化を検出するための基礎として、堅牢な色のセットを使用することができる。
【0012】
図1は、一実施形態における使用事例を示す。ユーザー101は、クレードル102を取り、それを毛髪103の上でドラッグする。クレードル102がユーザーの毛髪103上でドラッグされると、毛髪103のビデオを取得することができる。このビデオは、カラークラウドアルゴリズムを使用して分析され、カラークラウドが生成される。
【0013】
図2は、一実施形態を通り抜けるフローチャートである。S202では、クレードルを使用して、ユーザーの毛髪などの材料のビデオを取得する。例えば、ユーザーの毛髪のためのカラークラウドを作成するために、ユーザーは、毛髪の全長に沿って(すなわち、毛髪の根から先端まで)クレードルを動かすことができる。S204では、ビデオの1つ以上のフレームからカラークラウドが作成される。基本的に、1つ以上のフレームにあった全ての色が抽出され、カラークラウドに表示される。S206では、カラークラウドは、他のカラークラウドと比較される。この比較は、カラーマッチング及び/又はカラー差別化に使用され得る。
【0014】
クレードルは、材料のカラークラウドを作成できるように、材料のビデオを取り込むことを可能にする装置である。クレードルの例を
図3に示す(実線はクレードルの外部を表し、破線は内部を表す)。クレードルは、第1の端部301、第2の端部302、第2の端部302上の窓303、及び第1の端部301を第2の端部302に接続する壁304を有する。一実施形態では、第1の端部301及び第2の端部302は、クレードルの反対側の端部にある。ビデオ録画デバイス305などの画像センサは、クレードルの内部の第1の端部301に取り付けられて、窓303を通して見えるどの材料306(例えば、毛髪)のビデオでも取り込むことができる。更に、クレードルは、ビデオ録画デバイス305に接続された処理回路308を有し、材料306のビデオからカラークラウドを作成し、作成されたカラークラウドを以前のカラークラウドと比較するように構成することができる。クレードルの第2の端部302は、ビデオ録画デバイス305によって取り込まれたとき、色分離のために窓303に隣接する所定の色のセット309で着色することができる。ビデオは、窓303を介して材料306と、窓303に隣接する所定の色309との両方を取り込むことができ、次いで、材料306の色を決定するときに、所定の(すなわち、既知の)色を参照のために使用することができる。光307はまた、ビデオ録画デバイス305から窓303への十分に明るい視野を提供するために、クレードルに取り付けられ得る。クレードルは、ビデオを撮るときに、ビデオ録画デバイス305と材料306との間に一貫した距離を維持するために使用されてもよい。クレードルはまた、ハンドグリップ310を有することもできる。
【0015】
処理回路308は、カラークラウドユニット及び重要な特性ユニットを含むことができる。カラークラウドユニットは、画像センサに結合された回路を含むことができ、オブジェクトに関連付けられた色出現頻度、色変動、又は色強度分布を示す領域など、オブジェクトの複数のデジタル画像に関連付けられた色情報の3次元仮想表現を生成するように構成される。重要な特性ユニットは、オブジェクトの1つ以上の重要な特性を識別し、オブジェクトの色情報の3次元仮想表現に関連付けられた1つ以上の入力に基づいて、オブジェクトの重要な特性の同一性を示すグラフィカルユーザーインタフェースディスプレイ上で1つ以上の仮想インスタンスを生成するための回路を含むことができる。一実施形態では、オブジェクトは毛髪であり得、3次元仮想表現は、毛髪の複数のデジタル画像に関連付けられた毛髪色情報及び/又は毛髪特性情報であり得る。更に、3次元仮想表現は、撮像されたオブジェクトに関連付けられた特定の特性の色出現頻度を示すよう、様々な強度のボクセルを含むことができる。特性情報の例としては、オブジェクト識別データ、オブジェクト特性データ、色出現頻度データ、色変動データ、色強度データ、色データの有無、フレーム毎又は画素毎の色分析情報などがある。色情報の非限定は、色相、色合い、トーン、シェードなどを含むことができる。一実施形態では、基本色の色合いは、その色のより明るいバージョンであり、シェードは、より暗いバージョンである。一実施形態では、トーンは、基本色の明るさ(色合い)又は暗さ(シェード)を指す。画像オブジェクトが毛髪である場合、3次元仮想表現は、毛髪の複数のデジタル画像に関連付けられた白髪の範囲、光沢、輝き、及び均一性を示すボクセルを含む毛髪特性情報を含むことができる。毛髪特性の例としては、毛髪の損傷状態、人工着色剤の濃度、色分布、白髪の範囲、質感、光沢、分布密度、頭皮特性などが挙げられる。
【0016】
図3のクレードルの本体は、本質的に、一端部に窓303を有する中空の長方形のプリズムであった。一実施形態では、窓303が覆われているとき、クレードルの本体内の唯一の光は、光307からのものであり得る。これにより、クレードル内の照明条件を一貫させることができる。更に、他の実施形態では、クレードルは、円筒形、立方体、台形プリズムなどのような異なる形状を有することができる。クレードルはまた、カラークラウドを視覚化するために使用することができるスクリーンを有し得る。
【0017】
一実施形態では、クレードルの第1の端部は、ビデオ録画デバイスとしてモバイルデバイス(例えば、スマートフォン)のカメラを使用するように構成され得る。例を
図4に示し、クレードルの第1の端部401は、取り付けられたスマートフォン402であり得る。スマートフォン402上のカメラ403は、第2の端部406上の窓405を通して材料404のビデオを取り込むことができる。更に、スマートフォン402に既に存在する処理回路を用いて、カラークラウドを作成することができる。カラークラウド及びその他の関連情報は、スマートフォンのスクリーン上に直接視覚化することができる。また、スマートフォンのフラッシュライト407は、スマートフォンのカメラ403から窓405への十分に明るい視野を提供するために使用することができる。クレードルはまた、使用中にスマートフォン402がクレードルに適切に取り付けられ、使用していないときにクレードルから取り外されることを可能にするホルダー408を有し得る。
【0018】
取り込まれたビデオは、カラークラウドが生成されることが望まれる材料のものであり得る。クレードルは、ビデオ録画デバイスが窓によって提供されるクレードルの開口部を介して材料のビデオを取り込むことができるように保持されるべきである。窓は、外部の光がクレードルの内部に入るのを遮断できるように、材料に対して直接保持され得る。材料の一例は、頭部の上の毛髪であり得る。その場合、クレードルは、根のビデオを取り込むことによって開始し、その後、毛髪上を先端までドラッグすることができる。
【0019】
一実施形態では、複数のフレームを含むビデオは、少なくとも6秒長であり、少なくとも60フレーム/秒であり得る。人間の毛髪や毛髪の見本のビデオが取り込まれている場合、この毛髪は真っ直ぐ又は巻き毛でもよい。
【0020】
材料のビデオを取得することは、誰かの毛髪のビデオを取り込むことを含む。例を
図5A及び
図5Bに示す。まず、
図5Aを参照するに、毛髪の根51aから始まり、毛髪の先端52aに向かって下向きに進む、モデルの毛髪の全長のビデオが取り込まれる。
図5Bは、時系列順にレイアウトされた取り込まれたビデオ(
図5Aから)の各フレームを示し、左上のフレーム51bは毛髪の根51aであり、右下のフレーム52bは毛髪の先端52aである。別の実施形態では、材料のビデオを取得することは、誰かの毛髪の全長未満のビデオを取り込むこと(例えば、誰かの毛髪の半分のみを取り込む)を含み得る。なお、ビデオは、上向きに進む、又は角度を付けて進むなど、下向き以外の方向で取り込むことができることに注意する。
【0021】
カラークラウドアルゴリズムは、ビデオの1つ以上のフレームからカラークラウドを作成するために使用され得る。カラークラウドアルゴリズムは、1つ以上のフレームから色情報を抽出することができる。カラークラウドは、複数のフレームのうちの1つ以上に存在する全ての色を含む。別の実施形態では、カラークラウドは、複数のフレームのうちの1つ以上に存在する全ての色と、複数のフレームのうちの1つ以上に存在する全ての色の周波数とを含む。別の実施形態では、カラークラウドは、複数のフレームの1つ以上に存在する全ての色、及び複数のフレームの1つ以上に存在する全ての色の周波数を含み、周波数は最小の所定の閾値を超える。
【0022】
一実施形態では、カラークラウドアルゴリズムは、ビデオの単一フレームから全ての色を抽出することによってカラークラウドを生成することができる。例えば、
図5Bでは、フレームごとに個別のカラークラウドを作成することができる。各フレームに対して作成されたカラークラウドは、その単一のフレームに存在する全ての色、及び別の実施形態では、その単一のフレームに存在する各色の周波数を含むことができる。
【0023】
別の実施形態では、カラークラウドアルゴリズムは、(単一のフレームからではなく)ビデオ内のフレームのグループから累積色を抽出することによって、カラークラウドを生成することができる。例えば、
図5Bを参照すると、10個のフレームの各グループについてカラークラウドを生成することができ、10個のフレームの各グループについて作成されるカラークラウドは、その10個のフレームの特定のグループ内に存在する全ての色を含み、別の実施形態では、その10個のフレームのグループに存在する各色の頻度を含む。
【0024】
図6は、カラークラウドの例を示し、カラークラウドは、色空間を使用してビデオの全てのフレームにわたる全ての色を表示する。ビデオは時間ベースであるため、特定のフレームを選択すると、カラークラウドを特定の時点及び/又は時間範囲で作成することができる。
【0025】
カラークラウドアルゴリズムがビデオの1つ以上のフレームから全ての色を抽出すると、カラークラウドは無数の形式で表示され得る。例えば、色は色空間に表示でき、色空間は、L*a*b*、RGB、LCh、HSVなどの座標を使用して色情報を伝えることができる。
【0026】
別の実施形態では、カラークラウドは、ビデオの1つ以上のフレームに各色が存在する頻度(すなわち、回数)を含むことができる。
図7に例を示し、画素が明るいほどその画素で表される色の頻度が高くなり、その逆もまた同様である。アウターカラークラウド71(すなわち、フルカラークラウド)は、1つ以上のフレームに存在していた全ての色を取り込み、インナーカラークラウド72(すなわち、最適化されたカラークラウド)は、より高い頻度で存在していた色を取り込む。より高い頻度として色が存在するか否かを決定するための閾値は、アプリケーションに応じて調整することができる。一例では、インナーカラークラウド72のみが使用され、低頻度(すなわち、低情報)色はノイズとして除去される。
【0027】
別の実施形態では、カラークラウドは、白髪の範囲、光沢、輝き、均一性、艶などの毛髪の特性を識別するために使用され得る。例えば、カラークラウドからの色及び頻度の情報は、「低情報」の色をフィルタリングし、色の検出を強化して、誰かが有する白髪の量を抽出するために使用され得る。別の例として、毛髪の光沢レベルは、毛髪のカラークラウド内のL*値の平均、分散、及び空間的に接続されたクラスターを見ることによって計算され得、高い可変性は、暗いものから明るいものまでの広範囲のL*値を示唆し、空間的に接続された高いL*値は、光沢のバンドを示唆し、両方の情報は組み合わされると、人間の光沢の認知に関連する。
【0028】
カラークラウドは、類似点及び相違点を識別するために、他のカラークラウドと比較され得る。これにより、色の変化の検出と色のマッチングが可能になる。他のカラークラウドとの比較の一例を
図8に示す。カラークラウドは、2つの未洗浄の見本と、洗浄された後の同じ2つの見本について生成される。重なり合うカラークラウドの部分は、色の類似性(すなわち、両方の見本に存在する色)を示し、重なり合わない部分は、色の違い(すなわち、見本の間で共有されない色)を示す。この技法は、色空間における色グループの、グループの重なり合いと非重なり合いを定量化する(例えば、グループの数、グループの類似性、グループの平均色)。
【0029】
更に、毛髪の色の類似点と相違点は、ビデオに戻って視覚化することができる。洗浄前及び洗浄後の見本用にカラークラウドが生成される例を
図9に示す。毛髪の暗い部分は共通の色を示し、明るい部分はユニークな色を示す。これらのカラークラウド間の類似点と相違点は、見本上で直接識別して視覚化することができる。言い換えれば、ユーザーは、毛髪を取り込むために使用されるビデオのうちの1つを再生することができ、類似点/相違点は、ビデオの毛髪に直接示され得る。これは、ビデオピクセルの色を、2つの異なるカラークラウド又は2つの異なるカラークラウドの重なりのいずれかに含まれる色に単に一致させることによって行われる。例えば、カラークラウドの重なり又はカラークラウドの交差内のいずれかの色に一致するビデオピクセルの色は、視覚化ビデオで暗い色に着色される。
【0030】
別の実施形態では、毛髪見本のアトラスは、各毛髪見本について作成されたカラークラウドのディレクトリを有することができる。次に、毛髪の任意の後続の取り込みにより、カラークラウドが生成され、アトラス内の見本と比較されて、最も近い一致(すなわち、最も類似した色)が決定される。優れた差別化のために、見本は他の見本よりもその見本自体に似ている必要がある。
【0031】
本明細書で言及される技術は、広範囲の反射(例えば、毛髪の見本及び毛髪の頭部から)を取り込み、色のような不均質な材料を正確かつ堅牢に測定し、毛髪の色の変化を正確かつ堅牢に測定することができる。これらの技術の適用には、最先端の器具(例えば、分光光度計)よりも色の変化をより正確かつ再現可能に測定すること、人間の毛髪の色を(ヘアカラーリストが行うように)測定すること、白髪の範囲を測定すること(例えば、どのくらいのヘアカラー製品を使用するかを示すために誰かの根の白髪の量を測定する)、毛髪の健康を測定すること(例えば、光沢レベルに基づいて、光沢が低すぎると鈍さを示し、損傷した毛髪を示唆する)、着色及び/又は洗浄の前後の毛髪の動的可視化などが含まれ得る。本明細書で言及される技術は、家庭消費者の色評価、店舗でのディスプレイ及び可視化、並びに家庭消費者製品の推奨を可能にすることもできる。例えば、消費者は携帯電話にアプリをダウンロードしてビデオを取り込み、カラークラウドを作成することができる。アプリは、毛髪の特定の特性に基づいてヘア製品を更に推奨することができる(例えば、ユーザーの毛髪の色、白髪レベル、及びアプリで実行された調査に基づいて特定のヘアカラー製品を推奨することができる)。更に、クレードルは、携帯可能となる能力を有することができる(例えば、折り畳み式段ボールクレードル、3Dプリントされたクレードルなど)。
【国際調査報告】