知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】機械画像色の抽出および抽出された色を用いた機械画像構築
(51)【国際特許分類】
G06T 7/00 20170101AFI20240409BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】
10
(21)【出願番号】P 2021563377
(86)(22)【出願日】2020-04-22
(65)【公表番号】
(43)【公表日】2022-07-13
(86)【国際出願番号】 EP2020061256
(87)【国際公開番号】W WO2020216808
(87)【国際公開日】2020-10-29
【審査請求日】2022-12-22
(31)【優先権主張番号】62/837,368
(32)【優先日】2019-04-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】391023932
【氏名又は名称】ロレアル
【氏名又は名称原語表記】Ｌ’ＯＲＥＡＬ
【住所又は居所原語表記】１４ Ｒｕｅ Ｒｏｙａｌｅ，７５００８ ＰＡＲＩＳ，Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110000534
【氏名又は名称】弁理士法人真明センチュリー
(72)【発明者】
【氏名】エルモズニーノ・エリック
(72)【発明者】
【氏名】アーラビ・パラム
(72)【発明者】
【氏名】チャン・ユゼ
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１４－１９７３５８（ＪＰ，Ａ）
【文献】特開２０１０－２５０７２６（ＪＰ，Ａ）
【文献】特開２０１３－１７８７８９（ＪＰ，Ａ）
【文献】特開２０１３－０９７２５４（ＪＰ，Ａ）
【文献】特開２００７－１５６８４１（ＪＰ，Ａ）
【文献】特開平０５－２６６０９１（ＪＰ，Ａ）
【文献】国際公開第０１／００４８４０（ＷＯ，Ａ１）
【文献】特表２００３－５０４７６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
コンピューティングデバイスの処理装置によって、抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記色の一致の検索は、前記複数のクラスタのうちの１つの特徴的な色と、前記色期待値のセットのうちの１つの期待される色との類似性を決定することを含み、
前記検索は、前記特徴的な色が、前記期待される色に対する閾値要件に従って、輝度と方向の両方で前記期待される色に類似している場合に、前記色の一致を見つけ出す方法。
【請求項2】
前記色の一致の決定は、前記特徴的な色の輝度と前記期待される色の輝度との間の輝度差を計算し、その輝度差を前記期待される色に対する前記閾値要件の輝度差閾値と比較することと、前記特徴的な色の方向のコサイン角と前記期待される色の方向のコサイン角との間の方向差を計算し、その方向差を前記期待される色の閾値要件の方向差閾値と比較することと、を備える請求項１記載の方法。
【請求項3】
コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
優先順位に従って順序付けられたセットとして色期待値のセットを定義することと、
前記優先順位に従って複数のクラスタを用いて前記色期待値のセットを検索することを評価することと、
前記色の一致が見つかったときに停止することと、を備える方法。
【請求項4】
コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
ｋ個のクラスタのうち２つ以上のクラスタのそれぞれが検索に応答して色の一致を提供する場合に、前記２つ以上のクラスタを結合クラスタに結合することと、
前記結合クラスタを用いて抽出された色を定義することと、を備える方法。
【請求項5】
コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
前記新しい画像を定義するための開始画像を取得することと、
前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備え、
前記開始画像は、第１セルフィー画像を含み、
前記新しい画像は、前記対象物を含む新しいセルフィー画像を含み、
前記対象物は、前記第１セルフィー画像上のシミュレーションのための積を含む方法。
【請求項6】
モバイルデバイスによって、又は、モバイルデバイスに代わって実行され、拡張現実を用いた仮想試行メイクアップ製品を含む請求項５記載の方法。
【請求項7】
コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記ソースカラー画像は、メイクアップ製品の見本画像を含む方法。
【請求項8】
コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記新しい画像は、テンプレート画像および前記抽出された色から定義された標準化された見本画像を含み、
拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース（ＧＵＩ）において、新しい画像を提示することと、
前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える方法。
【請求項9】
記憶デバイスに結合された処理装置を備えるコンピューティング機器であって、前記記憶デバイスは、前記処理装置によって実行されるときに、請求項１から８のいずれかに記載の方法を実行するように構成される命令を記憶するコンピューティング機器。
【請求項10】
コンピューティングデバイスの処理装置によって実行されて、請求項１から８のいずれかに記載の方法を実行するように前記コンピューティングデバイスを構成する命令を格納した非一時的な記憶デバイスを含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、機械等の画像処理に関し、より詳細には、見本画像からの色の抽出、及び、抽出された色を用いて色画像を構築するシステム及び方法に関する。
【背景技術】
【0002】
見本は、製品の見た目を表示するように意図された製品の小さなサンプルである。関心のある見た目の１つの特徴は色である。
【0003】
機械環境では見本は、典型的には画像として提示される。いくつかの例では画像は、全体が見本から構成されてもよく、いくつかの例では画像の一部分が、例えば関心領域内に見本を含んでもよい。
【0004】
視力のある人間は通常、任意の見本から容易に色を識別することができるが、機械がプログラムによって色を識別することは未解決のままである困難な課題である。色を抽出することに加えて、新たな画像を構成するように、抽出された色を適用するか、さもなければ使用することが望ましい場合がある。いくつかの例では、抽出された色を新しい画像内の対象物の表面に適用することなどによって、新しい画像が構築される。
【発明の概要】
【0005】
見本画像から色の抽出を実行し、抽出された色を用いて新しい画像を定義するシステム及び方法が提供される。ソース画像は色表現の強度を示すために深層学習ネット（例えば、ＣＮＮ）を用いて分類され、色の抽出をドライブすることができる。クラスタリング分類器は、そのネットによって抽出された特徴ベクトルを用いるようにトレーニングされる。これとは別に、ピクセルクラスタリングは、色を抽出するときに有用である。クラスタ数は、分類に従って変化することができる。別の方法では、ヒューリスティック（分類の有無にかかわらず）が抽出するときに有用である。結果として生じるクラスタは、一致を決定するように（順序付けられた）期待される色のセットに対して評価される。標準化された見本画像の一例は、画像処理を用いてテンプレート見本画像およびそれぞれの抽出された色から定義することができる。抽出された色は、仮想試行アプリケーションなどの拡張現実ＧＵＩで提示され、画像処理を用いて、セルフィーなどのユーザ画像に適用されてもよい。
【0006】
実際には、色が異なるスタイルで異なる方法で提示されることになる、同じタイプの製品のための様々な見本画像スタイル又はタイプがある。従って、いくつかの見本画像スタイルでは、製品の色が特定の見本画像内で識別することがより難しい場合がある。（同じ製品タイプの）多様な画像は、画像の特徴ベクトルに適用されるクラスタリング技術を用いて処理されてもよい。特徴ベクトルクラスタリング技法は、特定の見本画像が製品の色をどの程度強く表すかを判定するように分類器において使用されてもよい。分類器は強い、弱い、および無視されるなどの３つのクラスのうちの１つの特定の見本画像を割り当てる（ラベル付けする）ことができる。ラベル付けされた見本画像は、画像ピクセルクラスタリング技術を含む色の抽出操作を用いて、それぞれ処理されてもよい。無視されるとラベル付けされたものは無視されてもよい。強いとラベル付けされたものは、単一の製品の色を識別するように処理されてもよい。弱いとラベル付けされた画像は３つの候補色などの候補製品の色を識別するように、画像ピクセルクラスタリング技法を用いて処理され得る。手動選択は、候補色から単一の製品の色を分解することができる。
【0007】
標準化された見本画像の一例は、画像処理を使用することによって、テンプレート見本画像およびそれぞれの抽出された色から定義され得る。抽出された色は、仮想試行アプリケーションなどの拡張現実グラフィカル・ユーザ・インターフェース（ＧＵＩ）で提示され、画像処理を用いて、セルフィーなどのユーザ画像に適用されてもよい。
【0008】
一実施態様では、ソースカラー画像内の色の表現の強さを示すように関心のあるアイテムの色を示すソースカラー画像を分類することと、分類は、深層学習ネットワークモデルを用いて強さを決定するための画像特徴を抽出し、分類に応答して、ソースカラー画像のピクセルをピクセルのそれぞれの色に応じてクラスタリングし、ピクセルのクラスタリングに応答して、少なくとも１つの候補色を抽出された色として識別することにより、ソースカラー画像から色情報を抽出することと、画像処理を用いて新しい画像を定義するように抽出された色を提供することと、を含む方法が提供される。
【0009】
分類は、ソースカラー画像を、色を強く表すものとして識別することができる。従って、色情報を抽出すると、それに応答して、ピクセルのクラスタリングによって識別された支配的な色から１つの候補色を生成する。分類は、ソースカラー画像を、色を弱く表すものとして識別することができる。従って、色情報を抽出すると、それに応答して、ピクセルのクラスタリングによって識別された複数の候補色を生成する。
【0010】
分類は、深部学習ネットワークモデルによって抽出された画像特徴ベクトルに応答するクラスタベースの分類を用いることができる。
【0011】
クラスタリングピクセルは少なくとも１つの候補色を決定するためのクラスタｋの数を定義することができ、この数ｋは、分類に応じて変化する。
【0012】
分類は、クラスタベースの分類を実行することができ、クラスタベースの分類は深層学習ネットワークモデルによって生成されたソースカラー画像の画像特徴ベクトルを複数の画像特徴クラスタに対して測定し、ソースカラー画像の分類として、ソースカラー画像の画像特徴ベクトルに最も近い複数の画像特徴クラスタのうちの１つに関連付けられたそれぞれのクラスを提供し、それぞれのクラスは、色の表現の強度を示す。複数の画像特徴クラスタは複数の画像特徴クラスタを定義するための画像特徴ベクトルを生成するように、深層ニューラルネットワークモデルによって処理された色を示すトレーニング画像を含むトレーニングデータから生成されてもよい。従って、トレーニング画像の各々は、色の表現の強さを示すそれぞれのクラスの１つにそれぞれ割り当てられる。
【0013】
ネットワークモデルは、対象物の画像の特徴ベクトルを定義するために対象物の画像を処理するように予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。
【0014】
この方法は、新しい画像を定義するための開始画像を取得することと、抽出された色を用いて開始画像から新しい画像を定義し、新しい画像内に表示するように対象物に適用することとを含むことができる。開始画像は最初のセルフィー画像を含み、新しい画像は、対象物を含む新しいセルフィー画像を含み、対象物は、最初のセルフィー画像上のシミュレーションのための積を含む。その製品は、拡張現実を用いて仮想試行するメイクアップ製品を含むことができ、ソースカラー画像は、メイクアップ製品の見本画像を含む。本方法は拡張現実体験を用いて仮想試行するメイクアップ製品を提供するグラフィカルユーザインターフェース（ＧＵＩ）において新しい画像を提示することを含むことができ、ＧＵＩはユーザのセルフィー画像および新しい画像の選択を受信し、抽出された色をセルフィー画像の一部に適用して、新しい画像によって表されるメイクアップ製品を仮想試行するようにさらに構成される。
【0015】
一実施態様では、コンピューティング機器であって、記憶デバイスに結合された処理装置を備え、記憶デバイスは、処理装置によって実行されるときに、コンピューティング機器を構成する命令を記憶し、抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得し、ピクセルを強度に関係なく複数のクラスタにクラスタリングし、複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付け、複数のクラスタをソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、期待される色を用いて複数のクラスタを検索して、抽出された色を定義するための色の一致を求め、抽出された色が画像処理を用いた新しい画像を定義するように提供するコンピューティング機器が提供される。
【0016】
ピクセルをクラスタリングするためには、強度を無視してピクセルにｋ平均クラスタリングを適用することを含み得る。
【0017】
ピクセルは第１の色空間で定義されてもよく、命令はピクセルを強度に依存しない第２の色空間に変換するようにコンピューティング機器を構成してもよい。第１の色空間は、赤緑青（ＲＧＢ）色空間または同等物を含むことができる。第２の色空間は、明度（Ｌ）、緑色－赤色（Ａ）、青色－黄色（Ｂ）（ＬＡＢ）色空間または同等物を含むことができる。
【0018】
色の一致を検索することは、複数のクラスタのうちの１つのそれぞれの特徴的な色と、色期待値のセットのうちの１つのそれぞれの期待される色との類似性を決定することを含むことができる。検索は、それぞれの特徴的な色がそれぞれの期待される色に対するそれぞれの閾値要件に従って、輝度および方向の両方においてそれぞれの期待される色に類似している場合に、色の一致を見つけることができる。命令は（Ａ）特徴色の輝度とそれぞれの期待される色の輝度との間の輝度差を計算し、その輝度差をそれぞれの期待される色のそれぞれの閾値要件の輝度差閾値と比較すること、及び（Ｂ）特徴色の方向の余弦角とそれぞれの期待される色の方向の余弦角との間の方向差を計算し、その方向差をそれぞれの期待される色のそれぞれの閾値要件の方向差閾値と比較することによって、色の一致を決定するようにコンピューティング機器を構成することができる。
【0019】
コンピューティング機器は、色期待値のセットを、優先順位に従って順序付けられたセットとして定義することができる。評価することは、優先順位に従って複数のクラスタを用いて色期待値のセットを検索することと、色の一致が見つかったときに停止することとを含むことができる。
【0020】
命令は２つ以上のクラスタの各々が検索に応答して色の一致を提供する場合、Ｋ個のクラスタの２つ以上のクラスタを結合されたクラスタに結合し、結合されたクラスタを用いて抽出された色を定義するようにコンピューティング機器を構成することができる。
【0021】
命令は新しい画像を定義するための開始画像を取得し、抽出された色を用いて開始画像から新しい画像を定義し、新しい画像内に表示するように対象物に適用するようにコンピューティング機器を構成することができる。開始画像は第１のセルフィー画像を含むことができ、新しい画像は、対象物を含む新しいセルフィー画像を含むことができる。対象物は、第１のセルフィー画像上のシミュレーションのための製品を含み得る。コンピューティング機器はモバイルデバイスを備えることができ、製品は、拡張現実を用いて仮想試行するメイクアップ製品を備えることができる。
【0022】
ソースカラー画像は、メイクアップ製品の見本画像を含むことができる。
【0023】
新しい画像は、テンプレート画像及び抽出された色から定義された標準化された見本画像を含むことができる。命令は、拡張現実体験を用いて仮想試行するメイクアップ製品を提供するＧＵＩ内に新しい画像を提示するようにコンピューティング機器を構成することができる。ＧＵＩはユーザのセルフィー画像と、新しい画像の選択とを受信し、新しい画像によって表されるようにメイクアップ製品を仮想試行するためのセルフィー画像の一部に新しい画像の抽出された色を適用するようにさらに構成されてもよい。
【0024】
方法の態様のいずれについても、コンピューティング機器およびコンピュータプログラム製品の態様が明らかになるのであろう。同様に、コンピューティング機器の態様のいずれについても、方法およびコンピュータプログラム製品の態様が明らかになるのであろう。他の態様も明らかであろう。
【図面の簡単な説明】
【0025】
【図1】一例に係る抽出色を用いた色の抽出・色彩画像生成のための機械環境のブロック図である。
【図2】代表的なコンピューティング機器のブロック図である。
【図3A】一例に従って抽出された色を使用し、且つ、データ構造も示す機械色の抽出および色彩画像生成のためのオペレーションのフローチャートである。
【図3B】一例に従って抽出された色を使用し、且つ、データ構造も示す機械色の抽出および色彩画像生成のためのオペレーションのフローチャートである。
【図5】製品の色表現の強度に従って分類された多様な見本画像を示すものであって、Ａ、Ｂ及びＣは、強い製品の色表現を示すものとして分類される見本画像である。
【図6】製品の色表現の強度に従って分類された多様な見本画像を示すものであって、Ａ、Ｂ及びＣは、弱い製品の色表現を示すものとして分類される見本画像である。
【図7】製品の色表現の強度に従って分類された多様な見本画像を示すものであって、Ａ及びＢは、無視できる製品の色表現を示すものとして分類される見本画像である。
【図8】コンピューティング機器の（例えば、メモリまたは他の記憶デバイス内の）クラスドリブンカラー抽出器の構成要素のブロック図である。
【図9】クラスドリブンカラー抽出のためのオペレーションのフローチャートである。
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【発明を実施するための形態】
【0032】
本発明の概念は、添付の図面を参照し、本明細書で説明される特定の実施形態を通して最もよく説明され、ここで、同一の符号は全体を通して同一の特徴を指す。本明細書で使用される場合、「発明」という単語は、単に実施形態自体ではなく、以下に記載される実施形態の基礎をなす発明概念を暗示することが意図していることを理解されたい。更に、本発明の一般的な概念は、以下に記載される例示的な実施形態に限定されず、以下の説明は、そのような観点から読まれるべきであることが理解されるべきである。２つ以上の発明概念が示され、説明されてもよく、それぞれは、別段の記載がない限り、独立のものであってもよく、又は１つ以上の他のものと組み合わされてもよい。
【0033】
マシンコンテキストでは、デジタル画像が典型的にはラスタ画像内の物理的ポイントに関連するピクセルの形態のデータを含む。各ピクセルの強度は可変であり、色画像では、色は典型的には色モデル（例えば、データスキーム）に従って３つ又は４つの成分強度によって表される。ピクセルデータは、多くの場合、ＲＧＢ（赤緑青）色モデルを用いて定義される。ＲＧＢは付加的カラーモデルである。ＲＧＢは、ＲＧＢ入力デバイスやＲＧＢ出力デバイスからの画像によく使用される。ＲＧＢ入力デバイスには、ビデオカメラ、画像スキャナ、及びデジタルカメラが含まれる。ＲＧＢ出力デバイスは様々な表示スクリーンデバイス（例えば、ＴＶスクリーン、及び種々の技術（例えば、ＣＲＴ、ＬＣＤ、プラズマ、ＯＬＥＤ）のコンピュータモニタ及び携帯電話ディスプレイを含むモニタ）、ビデオプロジェクタ、その他の色モデルは減算カラーモデルであるＣＭＹＫ（シアン、マゼンタ、イエロー、キー（黒色））を含み、このような紙のような基材上にインクが堆積される場合のような色印刷においてより多く使用される。従って、マシンコンテキストでは、処理のために大部分のソースから一般に取得される画像がＲＧＢカラーモデルに従って少なくとも最初に定義される。
【0034】
ＲＧＢカラーモデルは、ＨＳＬ（色相、彩度、明度）及びＨＳＶ（色相、彩度および値）色空間などの代替色表現を有する。さらなる色空間には、ＣＩＥＬＡＢ（国際照明委員会（ＣＩＥ）明度（Ｌ）緑色－赤色（Ａ）及び青色－黄色（Ｂ））色空間が含まれる。ＣＩＥＬＡＢはＣＩＥ Ｌ＊ａ＊ｂ＊としても知られており、時にはＬＡＢ又はＬａｂと略される。
【0035】
美容産業を含む様々な産業において、見本画像はオンラインストアにおいて普及しており、顧客から製品がどのように見えるかについて有する唯一の視覚的表示であることが多い。機械ベースの色の抽出はプログラム的に任意の見本から抽出することによって色が識別されるが、困難な作業である。
【0036】
見本画像からのプログラム的な色の抽出が有用である用途がある。抽出された色を用いた新しい画像の機械構築はそのような例の一つである。拡張現実は例えば、構築された画像を用いて、１つ又は複数の対象物の仮想ビューを与える。
【0037】
仮想メイクアップ試行は拡張現実の進歩に伴い、オンライン美容店内で非常に人気が高まっている。仮想メイクアップをレンダリングする方法はターゲット製品に関するいくつかの情報を必要とし、そのうち最も重要なものは、その色である。現在この問題は、製品の大きなデータベースをそれらの対応する色と共に手動で作成し、仮想的にレンダリングされた結果が実際の結果に十分に類似するまで、それらの色値を調整することによって解決されている。このプロセスにはいくつかの落とし穴がある。第１に、色値を手動で微調整することは、時間がかかり主観的である。第２に、このプロセスは、仮想試行ソフトウェアの開発者とメイクアップブランドとの間の広範な調整を必要とする場合があり、これは、仮想試行ソフトウェアが第三者小売業者から製品を販売するオンラインストアに組み込まれる場合に実現不可能である場合がある。むしろ、本明細書に示されるのは、製品の各々について既に存在する見本画像を活用し、偏りのない客観的な方法で、それらから直接的に色をプログラム的に抽出する解決策である。
【0038】
見本色の抽出の別の一般的な用途は、データ収集である。オンライン見本画像または現実世界の人々に適用されるメイクアップの画像からメイクアップ色をプログラム的に抽出する能力は、多くの利点を有することができる。収集されたデータは、ファッショントレンド分析、人気シェードの広告、ユーザが選択した画像内の「見た目」に基づく製品推奨、より正確なオンライン検索のためのメタデータなどに使用することができる。
【0039】
色を自動的に抽出する際の他の使用は抽出された色を、一連のフレーム内の対象物（又は複数の対象物）の位置を特定し、追跡するためのプロキシとして使用することを含むことができる。これは、ニューラルネットワーク・対象物・トラッカをトレーニングするための大量のデータを有する場合に有用であり得る。しかしながら、対象物画像が複雑であるほど（例えば、単純な見本ではないほど）、以下に説明するアプローチから明らかなように、この方法は、そのような対象物に使用される主要な色がほんの少ししかないと仮定するので、成功する可能性が低くなる。
【0040】
＜課題＞
多くの潜在的な利点にもかかわらず、見本からのメイクアップ色の抽出は、多くの理由から未解決の問題のままである。（この問題は、メイクアップに限定されず、家庭用または自動車用の塗料色、装飾用などの布地色などの他の製品に適用することができることに留意されたい。塗料または布見本から抽出された色は、抽出された色または抽出された色から導出された色を用いて表面が着色される２Ｄ又は３Ｄの部屋を構築するときに使用されてもよい。そこから得られる色は、補色であってもよい。）
多くの潜在的な利点にもかかわらず、見本からのメイクアップ色の抽出は、多くの理由から未解決の問題のままである。（この問題は、メイクアップに限定されず、家庭用または自動車用の塗料色、装飾用などの布地色などの他の製品に適用することができることに留意されたい。塗料または布見本から抽出された色は、抽出された色または抽出された色から導出された色を用いて表面が着色される２Ｄ又は３Ｄの部屋を構築するときに使用されてもよい。そこから得られる色は、補色であってもよい。）
【0041】
近年、困難なコンピュータビジョン課題を解決しようと試みる最も一般的なアプローチは、深層学習を使用することであった。しかし、深層学習の主な落とし穴の１つは、膨大な量の注釈付きデータの必要性である。このようなデータセットの構築は資源集約的である。メイクアップの状況では、メイクアップの見本画像からの自動色の抽出のためのパブリックデータセットは存在しない。さらに、注釈付きデータセットは新しい色を採用するように定期的に更新されない限り、静的で日付が付けられる傾向がある。
【0042】
機械学習アプローチに対する別の重要な課題、および一般的な任意の方法に対する課題は、見本データの分布における非常に高い分散である。例えば、口紅単独での見本画像の配布は、ほんの数例を挙げると、口紅を１枚の紙に貼り付けた画像、口紅を貼り付けた画像、唇に貼り付けた画像、口紅およびキャップを外した画像、および箱に覆われた無効画像を含む。どのリップスティックブランドも、独自のスタイルの見本画像を持つ傾向があり、これは、オンラインストアで販売されるブランドの数に応じて変動が大きくなり、スタイルも経時的に変化することを意味する。この大きな分散は、大多数の場合に確実に機能する単一の解を開発することを非常に困難にする。
【0043】
画像スタイル間の分散が高いだけでなく、画像内の色分布の分散も同様である。見本は、平坦な背景上のベタ色で構成されることはまれである。むしろ、それらはしばしば、画像全体に広がる複数の色を含み、その多くは可能な色（例えば、口紅メイクアップ画像における可能な口紅色）であり得る。従って、成功した機械色の抽出方法は、画像内の原色パレットを識別するだけでなく、画像内の色の中から正しい色を選択するロバストな方法をも有することを求める。一例として、口紅ケースのキャップを外した状態の口紅ケースと、背景に何らかの筆記（テキスト）とを含む画像からなる口紅の見本があると想像することができる。この見本で色パレットを見つけると、口紅の色、ケースの色、筆記の色、及び背景の色の４つの色が得られる。画像内のこれらの４つの原色は、画像のためのパレットを定義することがある。４色パレットを抽出した後に口紅色を見つける問題は、どの色が実際の口紅に対応するかが未知のままであるため、まだ解決されていない。この第２の問題を解決することは、パレット色の中から正しい色を選択するロバストな方法を有することが目標となる。ここで、単語「正しい」は関心対象（例えば、ケースではなく口紅）の色を意味している。
【0044】
最後に、見本はほとんど常に現実世界の画像であり、これは、見本が撮られる照明条件が決して完全に制御されないことを意味する。その結果、画像内の色は、十分に明るい領域と影内の領域の間の強度において著しく変化する。これは、画像内のメイクアップを識別する単一のＲＧＢ値がないので、色の正確な強度を指定することと、この色を最初に見つけることとの両方をより困難にする。
【0045】
図１は、一例に係る抽出された色を用いた色の抽出・色彩画像生成のための機械環境のブロック図である。モバイルデバイス１０２（コンピューティング機器の一例）は、ユーザ１０４に関連して示されている。モバイルデバイス１０２（図２をさらに参照して詳述）は、ウェブ技術を用いてブラウザ又はネイティブアプリケーションを介して１つ以上の（例えばＮ）オンラインストア（ストア１（１０８Ａ）・・・ストアＮ（１０８Ｂ））と通信することができる。それぞれの店舗（ストア１（１０８Ａ）・・・ストアＮ（１０８Ｂ））は、それぞれのオンラインストアのデータストアに関連して、１つ以上のサーバのようなコンピューティング機器として、ウェブデータと見本画像を記憶するように、それぞれのオンラインストアのデータストア（例えば、データベース１１０Ａと１１０Ｂ）に示される。これらの電子商取引環境は単純化されていることが理解されるのであろう。Ｎ個のストアは、複数の（例えば、Ｍ個の）製品ソースから見本データを含む製品および他のデータを受信することができる。本例では、製品ソースが１つ以上のサーバなどのコンピューティング機器として表現されるメイクアップソース１（１１２Ａ）・・・メイクアップソースＭ（１１２Ｂ）である。製品ソース（メイクアップソース１（１１２Ａ）・・・メイクアップソースＭ（１１２Ｂ））の各々は、製品関連データ（説明等）及び見本画像等のデータを記憶する、それぞれのデータストア（例えば、それぞれのデータベース１１４Ａ及び１１４Ｂ）に関連付けられる。Ｍ個の製品ソースは、それぞれのカメラ１１６Ａ，１１６Ｂ又は他の画像生成デバイスからのような見本データを含む、それらのそれぞれの製品データを生成することができる。典型的には、画像が上述のようにＲＧＢ色空間に記憶される。これらの製品ソースも簡略化されていることが理解されるのであろう。
【0046】
オンラインストア及び製品ソースのそれぞれは、それぞれのビジネスを運営する法人に関連付けることができる。それぞれのコンピューティング機器はそのような法人によって、又はそれらのそれぞれの行動（例えば、サービス連絡先）上の他の法人によって操作され得る。Ｎ個のオンラインストアは典型的には他のオンラインストアの製品を販売するが、自分自身の製品または白色のラベル付けされた製品を販売することもできる。それぞれのＭ個の製品ソースは、それぞれの製品データを、それらの製品を販売するそれぞれのオンラインストアと共有（通信）する。Ｎ個のオンラインストアの各々はオファー時に異なる製品データを有することができ、別のオンラインストアと同じ製品データのいくつかを有することができる。また、オンラインストアは、見本画像（図示せず）を含む自身の製品データを生成するか、又は他者（第三者）からそれを取得することもできる。
【0047】
ユーザデバイス１０２は、アプリケーションのＧＵＩを提示するためのようなディスプレイスクリーン１１８を備える。アプリケーションは、仮想メイクアップの試行をするように構成されていても良い。ＧＵＩはセルフィー画像１２０の撮影および提示、ならびにセルフィー画像１２０に仮想的に適用されるメイクアップ（例えば、口紅）の色（例えば、アイコン、ＧＵＩコントロールのタイプによって表される）１２２Ａ、１２２Ｂ，１２２Ｃ及び１２２Ｄの選択を可能にする。いくつかの例では、セルフィー画像は、ユーザが異なる角度および／又は異なる光から見るために頭を回す（もしくはカメラ又は両方のオペレーションを動かす）ことを可能にするための、ビデオなどからのライブ画像である。アイコン１２２Ａ，１２２Ｂ，１２２Ｃ及び１２２Ｄに関連するそれぞれの色は、それぞれのオンラインストア又は他のソースからの見本画像から決定され得る。
【0048】
この例ではディスプレイスクリーン１１８がジェスチャベースの（例えば、タッチスクリーン）イネーブルＩ／Ｏデバイスであり、試行するためのそれぞれの色は、色を表すアイコンにタッチ／スワイプすることによって選択され得る。音声コントロール又は他のインターフェースを（一緒に、又は代替として）使用することができる。他のメイクアップ、ネイルケア、ヘア、又は他の製品が、仮想的に試行されても良い。
【0049】
図２は、ユーザデバイス１０２のブロック図である。ユーザデバイス１０２は１つ又は複数の処理装置２０２（例えば、１つ又は複数のＣＰＵ、ＧＰＵ）、ＡＳＩＣ、ＦＰＧＡなど）、カメラを含む入力デバイス２０４、１つ又は複数の通信ユニット２０６（例えば、有線または無線通信用）、１つ又は複数の出力デバイス２０８（例えば、スピーカ、光など）、及び入力を受信し、出力を視覚的に提示するタッチスクリーン（ディスプレイスクリーン１１８）などのジェスチャベースのＩ／Ｏデバイスを備える。ユーザデバイス１０２はまた、ウェブベースの通信のためのブラウザ２１２、仮想メイクアップの試行をするためのメイクアップシミュレーションアプリケーション２１４、有線および／又は無線通信を容易にするための通信モジュール２１６及びオペレーティングシステム２１８などの下位レベルの機能を含むデータを記憶する１つ以上の記憶デバイス２１０（例えば、メモリ、ディスクなど）を備える。また、セルフィー画像、見本画像、ウェブデータ、見本から抽出された色などの色および画像データなどのユーザデータも記憶される。
【0050】
スタンドアロン又はネイティブアプリケーションとして示されているが、メイクアップシミュレーションアプリケーション２１４はウェブベースのアプリケーションなどの他の方法で構成されても良い。例えば、ユーザーコンピューティングデバイスのブラウザ環境で実行する場合などである。メイクアップシミュレーションアプリケーション２１４はそれぞれの製品に関連付けられた見本画像を受け取り、それぞれの製品をアプリケーション上の仮想試行でセルフィー画像上にシミュレートするための色を抽出するように構成される。セルフィーが典型的であるが、他の画像が使用されてもよい。メイクアップシミュレーションアプリケーション２１４はセルフィーなどの第１の画像を受け取り、そのために適用されるべき製品および色を決定し、第１の画像、製品、および製品を仮想試行するための色を用いて第２の画像を（例えば、画像処理技術を用いて）生成する。
【0051】
＜機械色の抽出方法論＞
図３Ａ及び図３Ｂを参照すると、一態様によれば、方法オペレーション３００は、トレーニングデータ又は機械学習を使用せずに見本画像からメイクアップカラーを抽出する。本発明の方法は特に口紅画像について開発され、試験されてきたが、他のタイプのメイクアップ及び他のタイプの製品についても同様に機能するように拡張または修正することができる。高いレベルでは、この方法が強度に依存しないカラークラスタを見つけ、それから、事前の期待から設計された優先ヒューリスティックに従って、製品（口紅など）に最も対応する可能性の高いものをピッキングすることによって機能する。
図３Ａ及び図３Ｂを参照すると、一態様によれば、方法オペレーション３００は、トレーニングデータ又は機械学習を使用せずに見本画像からメイクアップカラーを抽出する。本発明の方法は特に口紅画像について開発され、試験されてきたが、他のタイプのメイクアップ及び他のタイプの製品についても同様に機能するように拡張または修正することができる。高いレベルでは、この方法が強度に依存しないカラークラスタを見つけ、それから、事前の期待から設計された優先ヒューリスティックに従って、製品（口紅など）に最も対応する可能性の高いものをピッキングすることによって機能する。
【0052】
オペレーションは最初に、ステップ３０２において、ピクセル（例えば、Ｐｉ，ｊ）を有する見本画像（例えば、Ｉ）を取得し、画像Ｉ’を定義するように、ＲＧＢ空間からの画像ピクセルを強度非依存色空間に変換する（３０４）。画像がＲＧＢで定義されておらず、強度非依存色空間においてすでに定義されている場合、変換は実行されない。
【0053】
候補見本画像は少数の色を有する。これは本明細書のオペレーションが期待される色の数を指定するからであり、この数はｋ平均クラスタリングを実行するときに指定されるクラスタの数に対応する。関心のある製品の色は、実際に画像中に存在しなければならない（すなわち、遮蔽され得ない）。色を抽出するためには、最初に画像内になければならないことは容易に理解されるのであろう。これらの２つの制約が与えられると、操作プロセスが行う見本のタイプは非常に多様であり、例えば、見本のタイプは紙片上の汚れ、顔に適用される製品（唇（例えば、製品が適用される領域）に切り取られたときに機能する可能性が高いが）、色の数を減らすこと、製品容器（例えば、チューブ）を露出させた画像などを含むことができる。オペレーションが成功しないかもしれない事例の例は前処理がないと、人物の全身の写真を含むことができ、その場合、彼らの衣服、彼らの髪、及び背景の全てが示され、これは、唇の色を、確信を持って識別することができるように、ソース画像に多すぎる色を単に追加するためである。そのような場合、抽出される色が位置し、他の色が最小化される部分に画像を制限するように画像を前処理することが示されてもよい。前処理操作が例えば顔の唇のような関心のある対象物の位置を突き止めるために利用可能であることに当業者は気づくであろう。
【0054】
従って、オペレーション３００は、ソース画像に関するいくつかの仮定を考慮に入れて定義することができる。本例では、前処理は行われず、データソースは（例えば、操作に入力されているソース画像が電子商取引ウェブサイトからの口紅製品写真に対応し、従って、それらは（ほとんど）すべて単純な見本であることに基づいて）大多数の場合に制約が満たされるようなものであると仮定される。
【0055】
見本画像は実際の照明条件下で撮影されるので、画像内の個々の対象物は色強度が大きく変化する可能性がある。このため、ＲＧＢ空間内で直接色をクラスタリングしようとすると、しばしば、同じ対象物の色が複数の不正確なクラスタに分割されることになる。例えば、紙片に塗布された赤い口紅の単純な見本画像では、ＲＧＢ空間におけるクラスタリングが影の部分から不正確な暗赤色クラスタを生じ、入射光及び鏡面反射を伴う部分から別の不正確な明赤色クラスタを生じ得る。これは、どのクラスタが真の口紅の色により近いかを決定することを困難にし、それらの間の平均は通常、それにかかわらず真の色により近い。この問題を改善し、より照明に依存しない方法でクラスタを見つけるために、ＲＧＢ色空間の画像はＬＡＢ色空間に変換され、強度（明度）を符号化するＬチャネルは無視される。
【0056】
ＬＡＢは特定の強度（明度）チャネルでその色空間を定義するが、オペレーションはＬＡＢを用いる必要はない。別の選択肢はＲＧＢを２つの成分に単純に分割することであり、１）色比は、強度に依存しない部分である一定の合計に正規化され、２）強度部分である全ての成分の合計である。従って、要するに、ＬＡＢ自体は必要条件ではなく、強度に関係なく精査を可能にする別の色空間を使用することができる（例えば、色成分を強度とは別個に再検討することができる）。
【0057】
３０６におけるオペレーションは、ランダム中心によるｋ平均クラスタリングを用いて色をクラスタリングする（例えば、そのようなｋ平均クラスタリングのための標準的な技法を用いて）。ｋ平均クラスタリングはＮ個の観測値をｋ個のクラスタに分割することを目的とするベクトル量子化の方法であり、各ピクセルは、最も近い平均を有するそれぞれのクラスタに割り当てられる。本実施形態では、画像のｉ×ｊ＝Ｎ個のピクセルＰｉ，ｊの各々の画像がＬＡＢ色空間で表される場合、Ａ及びＢのカラーデータ値のみを用いて、Ｌ強度／明度値に関係なく区分されてもよい。
【0058】
各ピクセルがクラスタリング技法に従ってｋ個のクラスタの１つに割り当てられると（例えば、収束後）、各クラスタの中心（平均）及び重みが計算される。ここで、重みは、クラスタ内にある画像ピクセルの比率（例えば、クラスタ／Ｎ内のピクセルのカウント）である（ステップ３０８）。平均は、クラスタの特徴的な色（ＣＣ）を提供するクラスタ中心として機能する（例えば、ピクセルのそれぞれのクラスタのプロトタイプ又は特徴化ピクセル）。色をクラスタ化することによって、画像の主要な色成分は監視されていない方法で見つけることができ、これらの成分のうちの１つが正しい口紅色に対応することは、ほとんど常に当てはまる。ｋ平均クラスタリングは開始中心を利用し、次いで、それらを徐々に改善する反復プロセスである。最初に、中心は、ｋ個のランダムピクセルを取ることによって初期化される。他のクラスタリング方法は、代替として役立つことができる。ｋ平均は一般に、文献によれば最も安定であり、比較的速い。１つの欠点は期待されるクラスタの数の指定を必要とすることであり、これは、オペレーション３００が典型的には、ほとんど色を有さない見本画像をターゲットとする理由の１つである。この例では、ｋ＝３である。
【0059】
さらに、３０９のオペレーションは、背景色が真の口紅色である可能性が低いことに基づいて、典型的な背景画像色を考慮から除去する。操作はＲＧＢ＝（２５５，２５５，２５５）に近い「白色」クラスタを検索するｋ色を検討し、見つかった場合、それを製品の候補色として除去する。このアプローチは通常、典型的な見本画像に背景があり、ほぼ確実に白色であることに基づいて行われる。白色は、非定型的な口紅色である。従って、ほとんどすべての場合において、オペレーションがｋ＝３クラスタを抽出したとしても、白い背景をフィルタリングして除去した後に、１つの色が除去されて２つのクラスタが残る。しかしながら、この方策（クラスタの数およびフィルタリングするもの）は口紅見本を念頭に置いて設計されたものであり、他のタイプの製品見本（例えば、塗料）及びそれらの典型的な特性に適合させるか、又は沿わなければ構成することができる。ヒューリスティックを用いないクラスドライブ色の抽出アプローチは、以下にさらに説明される。
【0060】
最後の一般化されたステップは、どのクラスタ中心が正しい色に対応するかを予測することである。これは一般に、不良設定問題であるが、製品（例えば、口紅）の色の以前の期待値を活用することは非常に有効な発見的手法である。リップスティックは、ランダムで均一に分布した色では生成されない。むしろ、特定の色が多かれ少なかれ一般的である明確なパターンがある。この目的のために、ステップ３１０において、１・・・ｑの色期待値（例えば、「期待される色」（ＥＣ）として参照され得る）の優先度リスト（例えば、セット）が定義される。３１２において、このリスト／セットが評価され（例えば、順番に通り抜け）、ＥＣがさらに説明されるように、クラスタ中心のうちの１つ又は複数と一致する場合に停止する。以下の説明は、色期待値の定義と、クラスタ中心がそれを満たす条件についての詳細を提供する。
【0061】
色期待値は、単にＲＧＢ値の範囲である。色は、１）輝度／強度、２）個々のチャネルの相対的な大きさの２つのコンポーネントの組み合わせに分割できる。輝度はＲＧＢベクトルの長さで記述されるが、相対的な大きさはベクトルの方向で記述される。明るさの定性的解釈は自己説明的であるが、ベクトルの方向は色が何であるかを符号化していると考えることができる。例えば、色ブルーはＲＧＢ空間で［０，０，１］の方向を持つが、色レッドは［１，０，０］の垂直方向を持ち、両方の色はさまざまな明るさの度合いを持つことができる。
【0062】
色クラスタ中心が与えられた色期待値を満足するためには、それはその明るさとその方向との両方に対する類似性の要件を満たす。輝度差はクラスタ中心ベクトルと色期待値ベクトルとの大きさの差として単純に計算され、一方、方向差は２つのベクトル間の余弦角の差として計算される。すべての色期待値には、輝度差閾値（Ｂ）及び方向差閾値（Ｄ）など、これらのコンポーネントの両方に異なる閾値要件がある。例えば、広範囲の赤い口紅色調が存在するが、紫色の口紅は特定の色調により近い傾向があり、そのため、赤色の期待値はより緩和された明るさ及び方向閾値を有する。
【0063】
本オペレーション３００では、色期待値は１つずつ順次評価され、画像からのクラスタ中心の１つ又は複数が色期待値の閾値要件を満たすと、オペレーションは終了する。色期待値リストは静的であり、エラーを最小限に抑えるために口紅市場内の普及率の高い順に並べられている。例えば、色期待値「赤色」は色期待値「緑色」の前にプローブされるが、これは（緑色の口紅が最初は非常にまれであるため）周囲の他の方法よりも、画像内のどこか他の場所に緑色のある赤色の口紅がある可能性が高いからである。
【0064】
単一のクラスタ中心が一致する（例えば、色期待値に対する閾値要件を満たす）場合、この色は、見本色を表すために抽出された色として使用され、さらに説明されるように使用されてもよい。
【0065】
場合によっては、複数の色クラスタ中心が与える色期待値に対して同じ閾値要件を満たす可能性があることにも留意する価値がある。この場合、クラスタ中心は画像内のそれらの相対ピクセル量に応じて、加重平均で結合される（例えば、ステップ３１４）（これらの加重値もステップ３０８で計算される）。従って、クラスタ中心の各々は、評価される色期待値と比較される。２つ以上のクラスタ中心が一致してもよく（前述のように）、これらの２つ以上のクラスタ中心は抽出された色を定義するように、それらの相対ピクセル量に応じて加重平均で組み合わされてもよい。
【0066】
最後に、色クラスタ中心がいずれの色期待値の閾値要件も満たさず、リストが使い果たされる場合、「赤色」に最も近いクラスタ中心は口紅色であると仮定されるが、予測の信頼度は必ずしも低い（図示せず）。
【0067】
本例では、ＧＵＩがモバイルデバイス（又は他のコンピューティング機器）を介して提供され、拡張現実アプローチを用いて、自己または他の画像上のメイクアップの仮想試行またはシミュレーションを提示することができる（ステップ３１６）。
【0068】
＜結果＞
例示的な方法は、選択されたオンラインストアのオンライン小売業者製品ページからの１６０個の見本画像のテストセットに対して高度の精度を達成する。テストセットは、ランダムに選択され、オンラインストア上の見本の真の分布を表す１００個の「Ｅａｓｙ」画像と、それらの異常な口紅色について特に求められた６０個の「Ｈａｒｄ」画像とから構成される。
例示的な方法は、選択されたオンラインストアのオンライン小売業者製品ページからの１６０個の見本画像のテストセットに対して高度の精度を達成する。テストセットは、ランダムに選択され、オンラインストア上の見本の真の分布を表す１００個の「Ｅａｓｙ」画像と、それらの異常な口紅色について特に求められた６０個の「Ｈａｒｄ」画像とから構成される。
【0069】
グランドトゥルースＲＧＢ値は、口紅領域上の境界ボックスに手動で注釈を付け、内部のピクセル値を平均することによって作成された。精度は、予測色ベクトルの方向と強度の両方について別々に評価した。色ベクトル方向については、抽出の成功がグラウンドトゥルースベクトルの余弦類似度の８度以内にある予測色として定義された。色ベクトル強度については、抽出の成功がグレースケール色空間における２５５のスケール上の予測色とグランドトゥルース色との間の２０未満の差として定義された。表１に各種精度尺度を示す。
【表1】
【0070】
オンラインストア上の見本の真の分布を表す「Ｅａｓｙ」テストセットでは精度は極めて高く、コーナーケース及び異常な口紅色を表す「Ｈａｒｄ」テストセットでは精度は低下したが、依然として高いままであった。真の色（方向および強度）は、ほぼすべての場合において正確に検出された。実際、ほとんどのエラーは、口紅がケース内にある場合、口紅がキャップを有している場合、または画像内に異なる色の複数の口紅があった場合など、正しい色を抽出することが不可能であった画像から生じた。
【0071】
＜多様な見本画像－（製品）色表現の強さ＞
見本画像は様々な方法またはスタイルで関心のあるアイテム（例えば、製品）を示すことができる。各画像がどのくらい強く製品の色を表すかは、色の抽出を改善するように有用であり得る。いくつかのスタイルは他のスタイルよりも、製品を識別し、色を抽出することが難しい場合がある。
見本画像は様々な方法またはスタイルで関心のあるアイテム（例えば、製品）を示すことができる。各画像がどのくらい強く製品の色を表すかは、色の抽出を改善するように有用であり得る。いくつかのスタイルは他のスタイルよりも、製品を識別し、色を抽出することが難しい場合がある。
【0072】
ネットワークは色の抽出を実行するオペレーションを実行する前に、それぞれの見本画像を処理し、色表現の強度を分類するようにトレーニングされてもよい。例えば、見本画像は最初に分類されてもよい（例えば、深層学習分類器を用いて）。分類に応答して、色の抽出オペレーションがそれぞれ実行され、見本画像から色情報が抽出される。色演算はヒューリスティックを使用せずに、画像ピクセルクラスタリング技法（ｋ平均または同様のクラスタリング技法とすることができる）を用いて色情報を抽出する。
【0073】
深層学習分類器は、画像特徴ベクトルによって表される画像特徴に応答してクラスタリングする（別個の）クラスタリング技法を使用するように構成され得る。これらの特徴ベクトルは、画像特徴を識別するようにトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）などの深層学習技法を適用することによって生成することができる。分類器は、本明細書において以下にさらに記載される。
【0074】
ヒューリスティクスを使用した色の抽出では、すべての製品タイプにうまくスケールできない場合がある。例えば、製品の可能性のある色候補の集合に向けて色情報を制限または歪ませるヒューリスティックを適用しながら抽出すると、すべての製品タイプ、特に色の分布が広く均一なものに当てはまらない場合がある。リップスティック色は一般に、スペクトルの任意の色であり、より均等に分配され得る多くの他のタイプの製品と比較して、赤色によって支配される小さいパレット範囲に限定される。ヒューリスティックなしのより拡張的な処理は、ヒューリスティックベースのアプローチよりも多くのカテゴリ（製品タイプ）をサポートする。メイクアップ分野では、他のカテゴリには「リップライナー」、「ファンデーション」、「コンシーラー」、「ブラッシュ」、「ハイライト」、「コントゥア」、「アイシャドウ」、「アイライナー」、「マスカラ」、「ブロー」が含まれる。原理的にはこの方法は異なるタイプの製品をサポートするようにスケーリングすることができるが、ＨＥはヒューリスティックが手動設計を必要とするため、口紅のみを特別にサポートする。
【0075】
すべてのタイプのアイテム（例えば、すべての製品タイプ）について、単一の分類器を定義することができる（例えば、それぞれの深層学習ニューラルネットワークをトレーニングすることができる）。任意のそれぞれの製品は、多様な見本画像タイプによって表されてもよく、分類器は複数のクラスのうちの１つに画像をラベル付けする（分類する）ために、多様な画像を用いてトレーニングされてもよい。クラスは、見本画像による製品の色の表現の強さに応じて定義されてもよい。単一の分類器は、製品固有の（別個の）分類器を定義および／又は使用するのではなく、より便利であり得る。このようにして、単一の分類器および色の抽出ツール又は機能を、異なる製品にわたって定義および／又は使用することができる。
【0076】
このアプローチは特定の製品の色ヒューリスティックを想定していない（すなわち、リップスティックの色である可能性が最も高いように見える色についてのランキングを有していない）。
【0077】
深層学習法は、それぞれの画像およびクラスタ内の特徴を識別するように使用される。それぞれのクラスタは、製品の色の表現に応じてランク付けされてもよい。従って、分類器は、識別されクラスタ化された特徴ベクトルに応答して、各見本画像をランク付け又はラベル付けするようにトレーニングされる。本明細書の例では、分類器が見本画像を「強い」、「弱い」、又は「無視できる」として分類するようにトレーニングされる。
【0078】
＜分類器の定義とトレーニング＞
多様な見本画像タイプを分類する分類器は、パフォーマンス目標のために構成されトレーニングされた深層学習モデル（例えば、ＣＮＮなどのニューラルネットワーク）を含む。多くの場合、既存のＣＮＮベースのモデルを用いて新しいネットワークを定義し始めることが便利であり、このモデルは以前に定義され、画像を処理するように予めトレーニングされており、いくつかのモデルが公的に利用可能である。一例は、画像認識のための深い残差学習ネットワーク（すなわち、Ｒｅｓ Ｎｅｔ）であるＲｅｓＮｅｔ－１５２であり、これは、１５２層までの深さを有することができる。ＲｅｓＮｅｔ－１５２は、Ｋ． Ｈｅ， Ｘ． Ｚｈａｎｇ， Ｓ． Ｒｅｎ， ａｎｄ Ｊ． Ｓｕｎ， “Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ”， ＣｏＲＲ， ｖｏｌに記載されている。ａｂｓ／１５１２．０３３８５，２０１５（これは、本明細書中に参考として援用され、そしてＣｏｒｎｅｌｌ ＵｎｉｖｅｒｓｉｔｙからａｒＸｉｖ：１５１２．０３３８５において入手可能）。ＲｅｓＮｅｔは、スタンフォード大学とプリンストン大学が運営しているｉｍａｇｅ－ｎｅｔ．ｏｒｇから入手可能なｉｍａｇｅＮＥＴなどの公的に入手可能な画像データセット上でトレーニングされる。
多様な見本画像タイプを分類する分類器は、パフォーマンス目標のために構成されトレーニングされた深層学習モデル（例えば、ＣＮＮなどのニューラルネットワーク）を含む。多くの場合、既存のＣＮＮベースのモデルを用いて新しいネットワークを定義し始めることが便利であり、このモデルは以前に定義され、画像を処理するように予めトレーニングされており、いくつかのモデルが公的に利用可能である。一例は、画像認識のための深い残差学習ネットワーク（すなわち、Ｒｅｓ Ｎｅｔ）であるＲｅｓＮｅｔ－１５２であり、これは、１５２層までの深さを有することができる。ＲｅｓＮｅｔ－１５２は、Ｋ． Ｈｅ， Ｘ． Ｚｈａｎｇ， Ｓ． Ｒｅｎ， ａｎｄ Ｊ． Ｓｕｎ， “Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ”， ＣｏＲＲ， ｖｏｌに記載されている。ａｂｓ／１５１２．０３３８５，２０１５（これは、本明細書中に参考として援用され、そしてＣｏｒｎｅｌｌ ＵｎｉｖｅｒｓｉｔｙからａｒＸｉｖ：１５１２．０３３８５において入手可能）。ＲｅｓＮｅｔは、スタンフォード大学とプリンストン大学が運営しているｉｍａｇｅ－ｎｅｔ．ｏｒｇから入手可能なｉｍａｇｅＮＥＴなどの公的に入手可能な画像データセット上でトレーニングされる。
【0079】
画像が製品の色をどの程度強く表すかに従って見本画像を分類するという提案された目的のためにネットワークモデルをさらに洗練するように、開始ネットワークモデルを利用して、特徴情報（ニューラルネットワークによる画像の分析に従って生成されるデータを含む特徴ベクトル）を生成することができる。各ベクトルは、指紋に類似した、それぞれの画像の特徴を表す。トレーニング時に、ランダムな製品見本サンプル（画像）のデータセットが収集される。単一の分類器をトレーニング（定義）するように、トレーニングデータはデータの幅または多様性を保証するように、複数の製品タイプからのサンプルを含むことができる。ＲｅｓＮｅｔ（すなわち、開始モデル）は、ランダムな製品見本画像のデータセットに適用され、ネットワークモデルによって適用される深層学習に従って、それぞれの特徴ベクトルを生成する。すなわち、画像は各画像の特徴ベクトルを得るために、事前にトレーニングされたＲｅｓＮｅｔ－１５２モデルを通して実行される。
【0080】
指紋と同様に、トレーニング画像ごとに特徴ベクトルを抽出することにより、この目的のためのエンドツーエンド分類器としてＲｅｓＮｅｔを構成しトレーニングするなどの他の技法によるよりも、クラスタリング技法を用いて最終的な分類器を定義することが容易になり得る。
【0081】
結果として得られる特徴ベクトルは（例えば、ｋ平均クラスタリング技法を用いて）特定の数（Ｎ）のクラスタにクラスタリングされる。本実施例では、Ｎ＝５０である。ここで、このクラスタリングプロセスが、色の抽出について説明したものとは異なることを繰り返す。この分類器段階におけるクラスタリングは、画像特徴ベクトル上のクラスタリングである。色の抽出段階におけるクラスタリングは、画像ピクセル上でのクラスタリングである。
【0082】
マニュアルレビュー及びカテゴリ化を実施する。オペレータは各クラスタを手動で検討し、各クラスタを３つのクラス、すなわち、強い、弱い、および無視できるクラスのうちの１つに分類し、この分類は、色の抽出オペレーションをドライブするのに有用である。
【0083】
図５Ａ－図５Ｃ、図６Ａ－図６Ｃ、及び図７Ａ－図７Ｂは、次のような製品の色表現の強度に従って分類された多様な見本画像を示す。図５Ａ、図５Ｂおよび図５Ｃは、強い製品の色表現を示すものとして分類される。図６Ａ、図６Ｂおよび図６Ｃは、弱い製品の色表現を示すものとして分類される。図７Ａおよび図７Ｂは、無視できる製品の色表現を示すものとして分類される。
【0084】
強いクラスタは、典型的には製品のための色プレビュー機能の画像を有する。画像は典型的には白色の背景のみを有し、製品の色は抽出しやすい形態で表示される。これは製品包装を描写することができるが、図５Ａ、図５Ｂおよび図５Ｃの例５００、５０２、及び５０４のように、色プレビューは目立っており、遮蔽されていない。
【0085】
弱いクラスタは、典型的には製品の色を依然として示す画像を有するが、図６Ａ、図６Ｂおよび図６Ｃの例６００、６０２、及び６０４のように、色プレビューの一部を遮蔽することができるより多くのパッケージングを含むことができる。
【0086】
無視できるクラスタは、典型的には色の抽出目的に容易に使用することができないものを含む。いくつかの例には、色表示されていない製品包装、法的免責事項またはテキストの表示、および図７Ａおよび図７Ｂの例７００及び７０２に記載のように製品を着用しているモデルを示す画像が含まれる。
【0087】
特徴ベクトルをクラスタ化し、分類した後、クラスタのそれぞれの中心はそれらの対応するカテゴリ（強い、弱い、無視できる（または同様の分類、特定の用語／単語または符号自体は重要ではない））と同様に、クラスタのそれぞれについて定義される。クラスタ中心は、グループ化された観測のクラスタの平均であり（この例では観測は特徴ベクトル）、クラスタのプロトタイプ観測として働く。将来の観察（例えば、推論時に分析された見本画像からの特徴ベクトル）は平均に対して測定され、最も近い平均（例えば、ユークリッド距離に基づいて）を決定し、そのそれぞれのクラスタとの関連付けを決定する。
【0088】
図８は、一実施形態による同じ製品タイプの見本画像のためのクラスドリブンカラー抽出器８００のブロック図を示す。クラスドリブンカラー抽出器８００は、深層学習の特徴ベクトル生成器８０４と、特徴ベクトルを用いたクラスタベース分類構成要素８０６と、を有する深層学習分類器８０２を備える。クラスドリブンカラー抽出器８００は、また、画像ピクセルを用いたクラスタベースカラー抽出構成要素８０８を含む。構成要素は別々に示されているが、明るい線の区別は存在しなくてもよく、いくつかの構成要素は複数の機能を実行するように構成されてもよいことが理解される。クラスドリブンカラー抽出器８００自体は例えば、分類器および画像ピクセルを使用するクラスタベースの色抽出器に分類されるなど、より明確な構成要素に分離されてもよい。クラスタベースカラー抽出構成要素８０８は、深層学習分類器８０２によって生成された分類に応答してオペレーションするか、またはそれに応答して使用することができる。すなわち、クラスタベースカラー抽出構成要素８０８に、分類を提供し、分類に応じて色情報を返すことができる。代替的に、クラスタベースカラー抽出構成要素８０８には画像（ソースカラー画像）のみが提供され、（例えば、最も強い一致によって）順序付けられ得る候補抽出色情報を返し、他のオペレーションはクラスに応答して抽出色を決定し得る。画像に対して生成された無視できるクラスに対しては、抽出された色は抽出されない。商業的または実用的な環境におけるほとんどの実施形態では、抽出される色は製品の色であることが予想される。
【0089】
クラスタベースカラー抽出構成要素８０８は、図３Ａ及び図３Ｂを参照して説明したのと同様にオペレーションすることができる。図３Ａ及び３Ｂの例において、ヒューリスティックが使用され、ステップ３１０において、次の順序セットの色が評価される。図８のこの例では、クラスタ化された色を順序付けられたセットと比較するオペレーションを実行する必要はない。クラスタベースカラー抽出構成要素８０８は、色を強く表す画像がその支配色として製品の色を有するという理解を用いて、少数のクラスタを色に使用するように構成することができる。ｋ平均クラスタでは強いと分類された画像については２に等しく、弱いと分類された場合にはクラスドライブカラー抽出例において色クラスタの数を定義する際に５に等しくてもよいが、他の値を用いてもよい。
【0090】
分類器は、優位的な色のメトリックとしてクラスタ当たりのピクセル数を使用することができる。弱いと分類された画像では、製品の色が第２の色であってもよいし、第３の色であってもよい。２つ以上の候補色が特に弱いと分類された画像と共に使用するように、クラスタベースカラー抽出構成要素８０８によって生成され、提供されてもよい。
【0091】
図３Ａ及び図３Ｂのオペレーション３００に対する修正に関して、分類によってドライブされる色の抽出は同様に進行し得るが、オペレーション３１０－３１２に置き換えられる。図９はそれぞれのソースカラー画像（例えば、見本画像）に対するクラスドリブンカラー抽出のためのオペレーション９００を示す。以下では、複数の画像が同じアイテム及び色に対して利用可能である場合のオペレーションについて更に説明する。
【0092】
９０２において、画像は深層学習分類器（例えば、８０２）を用いて分類される。強い、弱い、又は無視できるクラスが得られる。言及したように、他のラベルを用いてもよい。９０４において、クラスに基づいて決定（例えば、オペレーション分岐）が行われる。９０４への強い分岐を介して、図３Ａからのオペレーション３０２－３０８、及びオプション選択で３０９が実行されて、好ましくは強度に関係なく、ピクセルをクラスタリングするように画像を処理する。クラスタの数（ｋ）は、支配的な色を選択するのを助けるために２とすることができる。ステップ９０６では、支配的な色がピクセル数を用いて抽出され、返される。
【0093】
９０４からの弱い分岐を介して、ステップ９１０で、図３Ａからのオペレーション３０２－３０８、及びオプション選択で３０９が実行されて、好ましくは強度に関係なく、ピクセルをクラスタリングするように画像を処理する。クラスタの数（ｋ）は、支配的な色を選択するのを助けるために５とすることができる。９１２において、ピクセル数を用いて抽出された少なくとも３つの優位的な色が返される。９１４への無視できる分岐を介して、これらのオペレーションは色を返さない。
【0094】
図９には示されていないが、バッチ分類が所望される場合、オペレーションは同じアイテム及び同じ色について複数の見本画像を受け取るように構成されてもよい。色の抽出は、操作９００を用いて示されるように実行される。複数の強い画像が処理され、分類される場合、各強い画像からの支配的な色は、平均化され、戻される。同じバッチの弱いイメージは無視される場合がある。
【0095】
強い画像が分類されず、弱い画像が分類される場合、複数の優位的な色（例えば、候補色のセット）が返される。各画像は、複数の候補色を生成することができるので、複数の画像からの同様の色を用いて、色を順序付けするか、又は共通性に基づいて色カウントを低減することができる。弱い場合（例えば、複数の色を提示し、選択を受け取る）に抽出された色を分解するように、手動プロセスが使用されてもよく、または他の手法が利用されてもよい。
【0096】
上述のように、処理されるソースカラー画像はその中の関心のあるアイテムが製品であり、その色が製品の色である画像であってもよい。従って、抽出された色又は複数の候補色は製品の色である。抽出された色は、画像処理技術を使用するなどして、色を組み込んだ新しい画像を定義するように使用することができる。製品はメイクアップ製品であってもよく、新しいイメージは製品使用のシミュレーションであってもよい。
【0097】
＜メイクアップシミュレーション－拡張現実＞
上述したように、メイクアップシミュレーションアプリケーション２１４はセルフィーのような第１の画像を受け取り、仮想試行される製品及びそのための色を見本画像から決定する。色データは抽出され、ユーザデバイス１０２と通信するコンピューティング機器などからメイクアップシミュレーションアプリケーションに提供されてもよく、又はユーザデバイス１０２は色データを決定するように構成されてもよい。製品見本はクラスドリブンカラー抽出器（例えば、８００）に提供されてもよく、返された色または製品見本は色を得るために、図３Ａ及び３Ｂのオペレーションに示されるようなクラスタリングベースの手法およびヒューリスティックを用いて、構成要素によって分析されてもよい。
上述したように、メイクアップシミュレーションアプリケーション２１４はセルフィーのような第１の画像を受け取り、仮想試行される製品及びそのための色を見本画像から決定する。色データは抽出され、ユーザデバイス１０２と通信するコンピューティング機器などからメイクアップシミュレーションアプリケーションに提供されてもよく、又はユーザデバイス１０２は色データを決定するように構成されてもよい。製品見本はクラスドリブンカラー抽出器（例えば、８００）に提供されてもよく、返された色または製品見本は色を得るために、図３Ａ及び３Ｂのオペレーションに示されるようなクラスタリングベースの手法およびヒューリスティックを用いて、構成要素によって分析されてもよい。
【0098】
メイクアップシミュレーションアプリケーション２１４は第１の画像、製品および仮想試行したその製品の色を用いて第２の画像を生成する（例えば、画像処理技術を用いて）。第２の画像は、例えばディスプレイスクリーン１１８を介して提示される。別の例では、ユーザデバイスが製品および色の選択と共に画像をリモートコンピューティング機器に通信し、その代わりに第２の画像（製品の仮想アプリケーションを示す）を受信するように構成され得る。タブレット、スマートフォン（モバイルデバイス）などのユーザデバイスのメイクアップシミュレーションアプリケーションの一例は、Ｍｏｄｉｆａｃｅ Ｉｎｃ．から入手可能なＭｏｄｉＦａｃｅ ＬｉｖｅＴＭである。
【0099】
＜標準化された色見本画像の定義＞
別の使用例では標準化された方法で異なる製品の色を提示すること、例えば、候補口紅色を塗抹標本として提示することが望ましい場合があり、各塗抹標本は同じテクスチャ、明度、および他の特性を有する口紅の塗抹標本のテンプレート画像として表される。口紅スミア画像の異なる一例は、それぞれの見本画像からの見本の色の抽出によって決定されるそれぞれの色を用いてテンプレート画像から生成されてもよい。このようにして、異なる製品ライン及び／又は異なる製品生産者等（一例として）からの異なる見本を、標準的または一貫した方法で提示することができる。１つの方法では、コンピューティングデバイスのオペレーションが抽出された色を決定するように、図３Ａ及び図３Ｂを参照して説明されるような見本の色の抽出を実行することができる。一態様では、図８の構成要素がクラスドリブンカラー抽出に基づいて使用することができる。
別の使用例では標準化された方法で異なる製品の色を提示すること、例えば、候補口紅色を塗抹標本として提示することが望ましい場合があり、各塗抹標本は同じテクスチャ、明度、および他の特性を有する口紅の塗抹標本のテンプレート画像として表される。口紅スミア画像の異なる一例は、それぞれの見本画像からの見本の色の抽出によって決定されるそれぞれの色を用いてテンプレート画像から生成されてもよい。このようにして、異なる製品ライン及び／又は異なる製品生産者等（一例として）からの異なる見本を、標準的または一貫した方法で提示することができる。１つの方法では、コンピューティングデバイスのオペレーションが抽出された色を決定するように、図３Ａ及び図３Ｂを参照して説明されるような見本の色の抽出を実行することができる。一態様では、図８の構成要素がクラスドリブンカラー抽出に基づいて使用することができる。
【0100】
テンプレート画像を取得することができる。画像処理は抽出された色で更新されたテンプレート画像を用いて、標準化された見本の一例を定義するように実行されてもよい（例えば、適用可能なテンプレート内の任意の色を置き換える）。図４Ａは第１の色（例えば、赤色）のテンプレートスミア画像４００を示し、図４Ｂは、第２の色（青色）の画像４００から更新された標準化された見本画像４０２の一例を示す。画像４００及び４０２は代表的なものであり、本明細書ではグレースケールで示されている。それらは実際には色で示されていないが、その効果は当業者には理解されるのであろう。一例４０２は、図１の１２２ＡなどのＧＵＩで、又は別の方法で使用することができる。一例４０２は（例えば、データストア３、例えば、１１０Ａ、１１０Ｂ、又は別のもの（図示せず）に）格納されてもよく、又はＧＵＩのために「動作中」で生成されてもよい。一例を生成するためのオペレーションは、デバイス１０２によって、又はその代わりに実行されてもよい。
【0101】
コンピューティングデバイスの態様に加えて、本明細書に記載された方法の態様のいずれかを実行するようにコンピューティングデバイスを構成するための命令が非一時的な記憶デバイス（例えば、メモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ディスクなど）に格納される、コンピュータプログラム製品の態様が開示されていることを当業者は理解できるであろう。
【0102】
実際の実施は、本明細書に記載された特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴、並びに様々な組み合わせは、方法、装置、システム、機能を実行するための手段、プログラム製品、及び、他の方法で、本明細書で説明される特徴を組み合わせて表され得る。多数の実施形態が記載されているが、本明細書で説明されるプロセス及び技術的思想および範囲から逸脱することなく、様々な修正を行うことができることが理解されるだろう。加えて、他のステップが提供されても良く、又は記載された方法からステップが排除されても良く、他の構成要素が記載されたシステムに対し、追加または除去されても良い。従って、他の態様は特許請求の範囲内にある。
【0103】
上記の発明の実施形態が、少なくとも部分的に、汎用処理装置などのソフトウェア制御のプログラマブル処理装置を用いて実施可能である限りにおいて、この発明の実施形態は以下のとおりである。処理装置や特殊用途処理装置、デジタル信号処理装置、マイクロ処理装置、またはその他の処理装置、データ処理装置またはコンピュータシステムであることが理解される。前述した方法、装置およびシステムを実施するためにプログラマブルデバイス、装置またはシステムを構成するためのコンピュータプログラムは、本発明の一側面として想定されている。コンピュータプログラムは、ソースコード、オブジェクトコード、コンパイルコード、インタプリタコード、実行可能コード、静的コード、動的コードなど、任意の適切なタイプのコードとして具現化され得る。命令は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＢＡＳＩＣ、Ｐｅｒｌ、Ｍａｔｌａｂ（商標登録）、Ｐａｓｃａｌ、Ｖｉｓｕａｌ ＢＡＳＩＣ（登録商標）、ＪＡＶＡ（登録商標）、ＡｃｔｉｖｅＸ（登録商標）、アセンブリ言語、マシンコードなどの任意の適切な高レベル、低レベル、オブジェクト指向、視覚、コンパイル及び／又は解釈プログラミング言語を使って実施されてもよい。当業者であれば、最も一般的な意味での「コンピュータ」という単語は、上記で言及したようなプログラマブルデバイス、およびデータ処理装置およびコンピュータシステム、例えば、デスクトップパソコン、ラップトップパソコン、タブレット、スマートフォン又は他のコンピューティングデバイスなど、それらが生じ得るあらゆる形式を包含することを容易に理解することができるであろう。
【0104】
好適には、コンピュータプログラムは、機械可読形式でキャリア媒体に格納され、例えば、キャリア媒体は、メモリ、取り外し可能または非取り出し可能媒体、消去可能または非消去可能媒体、書き込み可能または再書き込み可能媒体、デジタル又はアナログ媒体、ハードディスク、フロッピーディスクで構成されてもよい。コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、コンパクトディスクレコーダブル（ＣＤ－Ｒ）、コンパクトディスクリライタブル（ＣＤ－ＲＷ）、光ディスク、磁気媒体、光磁気媒体、取り外し可能なメモリカードやディスク、様々な種類のデジタルバーサタイルディスク（ＤＶＤ） 加入者識別モジュール、テープ、カセット 固体メモリなどである。コンピュータプログラムは、電子信号、無線周波数搬送波または光搬送波などの通信媒体に具現化されたリモートソースから供給されてもよい。このような搬送媒体も、本発明の態様として想定される。
【0105】
本明細書の記載および特許請求の範囲を通して、単語「含む」及び「備える」及びそれらの変形表現は「含むがこれに限定されない」を意味し、他の構成要素、整数またはステップを排除することを意図しない（排除しない）。本明細書全体を通して、文脈が別途必要としない限り、単数は複数を包含する。特に、不定冠詞が使用されている場合、文脈状ほかに必要としない限り、単数だけでなく複数も意図していると理解されたい。単語「および／又は」は、例えば、本明細書において「Ａおよび／又はＢ」に関して、Ａ，Ｂ、並びに、ＡおよびＢの両方のうちの１つを意味する。
【0106】
本発明の特定の態様、実施形態または例に関連して記載される特徴、整数特性、化合物、化学部分または基は、それらと非互換でない限り、任意の他の態様、実施形態または例に適用可能であると理解されるべきである。本明細書に開示された特徴（添付の特許請求の範囲、要約書、及び、図面を含む）の全て、或いはそのように開示された任意の方法または処理のステップの全ては、そのような特徴或いはステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組合せで組み合わせることができる。本発明は、前述の例または実施形態の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約書、及び、図面を含む）に開示された特徴の任意の新規なもの、又は任意の新規な組み合わせ、又は開示された任意の手法または処理のステップの任意の新規なもの、又は任意の新規な組み合わせに拡張される。
【0107】
本明細書で使用される場合、単語「含む」、「含んでいる」、「備え」、「有し」、「有している」またはその他の変形は、非排他的な包含をカバーすることを意図している。例えば、要素のリストから構成されるプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されず、明示的にリストされていない他の要素または当該プロセス、方法、物品、または装置に固有の要素を含んでもよい。さらに、明示的に反対を表明しない限り、「または」は包括的な「または」を指し、排他的な「または」を指さない。
【0108】
さらに、「１つ」という語の使用は、本発明の要素および構成要素を説明するために採用される。これは単に便宜上、本発明の一般的な感覚を与えるために行われるものである。本明細書は、そうでないことを意味することが明らかでない限り、１つまたは少なくとも１つを含むように読まれるべきであり、単数形は複数形も含む。
【0109】
前述の説明を考慮すると、当業者には、以下のことが明らかであろう。本発明の範囲内で様々な変更を加えることができる。
【0110】
本開示の範囲は、請求された発明と関連するかどうか、または本発明によって対処される問題のいずれかまたはすべてに対して緩和するかどうかにかかわらず、それと矛盾しない限り、明示的または暗黙的にそこに開示された任意の新規な特徴または特徴の組み合わせ、あるいはその一般化を含む。本出願人は、本出願またはそこから派生するさらなる出願の審理中に、かかる特徴に対して新たな請求項を策定することができることをここに通知する。特に、添付の請求項を参照すると、従属請求項の特徴は、独立請求項の特徴と組み合わせてもよく、それぞれの独立請求項の特徴は、請求項に列挙された特定の組み合わせだけでなく、任意の適切な方法で組み合わせてもよい。
＜その他＞
＜手段＞
技術的思想１の方法は、ソースカラー画像内の色の表現の強さを示すように関心のあるアイテムの色を示す前記ソースカラー画像を分類することであって、深層学習ネットワークモデルを用いて強さを決定するための画像特徴を抽出して分類することと、前記分類に応答して、前記ソースカラー画像のピクセルを前記ピクセルのそれぞれの色に応じてクラスタリングし、前記ピクセルのクラスタリングに応答して、少なくとも１つの候補色を抽出された色として識別することにより、前記ソースカラー画像から色情報を抽出することと、画像処理を用いて新しい画像を定義するように抽出された色を提供することと、を備える。
技術的思想２の方法は、技術的思想１記載の方法において、前記分類によって前記ソースカラー画像が色を強く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された支配的な色から１つの候補色を応答的に生成する。
技術的思想３の方法は、技術的思想１記載の方法において、前記分類によって前記ソースカラー画像が色を弱く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された複数の候補色を応答的に生成する。
技術的思想４の方法は、技術的思想１記載の方法において、 前記分類は、前記深層学習ネットワークモデルによって抽出された画像特徴ベクトルに応答するクラスタベースの分類を使用する。
技術的思想５の方法は、技術的思想１記載の方法において、前記ピクセルをクラスタリングすることによって、少なくとも１つの前記候補色を決定するためのクラスタ数ｋを定義し、前記クラスタ数ｋは、前記分類に応じて変化する。
技術的思想６の方法は、技術的思想１記載の方法において、前記関心のあるアイテムは、製品であり、前記ソースカラー画像は、前記製品を広告する製品見本画像で構成される。
技術的思想７の方法は、技術的思想１記載の方法において、前記分類は、クラスタベースの分類を実行し、前記深層学習ネットワークモデルによって生成された前記ソースカラー画像の画像特徴ベクトルを複数の画像特徴クラスタに対して測定し、前記ソースカラー画像の分類として前記ソースカラー画像の前記画像特徴ベクトルに最も近い前記複数の画像特徴クラスタの１つに関連するそれぞれのクラスを提供し、前記それぞれのクラスは、色の表現の強さを示す。
技術的思想８の方法は、技術的思想７記載の方法において、前記複数の画像特徴クラスタは、前記複数の画像特徴クラスタを定義するための前記画像特徴ベクトルを生成するように前記深層学習ネットワークモデルによって処理された色を示すトレーニング画像を含むトレーニングデータから生成され、前記トレーニング画像は、色の表現の強さを示すクラスの１つに割り当てられる。
技術的思想９の方法は、技術的思想１記載の方法において、前記深層学習ネットワークモデルは、対象物の画像を処理して前記対象物の画像特徴ベクトルを定義するように事前にトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）からなる。
技術的思想１０の方法は、技術的思想１記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想１１の方法は、技術的思想１０記載の方法において、前記開始画像は、第１セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含み、前記対象物は、前記第１セルフィー画像上のシミュレーションのための積を含む。
技術的思想１２の方法は、技術的思想１１記載の方法において、拡張現実を用いた仮想試行メイクアップ製品を含み、前記ソースカラー画像は、前記メイクアップ製品の見本画像を含む。
技術的思想１３の方法は、技術的思想１２記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース（ＧＵＩ）において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想１４のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想１から１３のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想１５の方法は、コンピューティングデバイスの処理装置によって、抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備える。
技術的思想１６の方法は、技術的思想１５記載の方法において、前記ピクセルをクラスタリングするように、強度に関係なく前記ピクセルにｋ平均クラスタリングを適用する。
技術的思想１７の方法は、技術的思想１５又は１６に記載の方法において、前記ピクセルは第１の色空間において定義され、前記ピクセルを強度に依存しない第２の色空間に変換することを含む。
技術的思想１８の方法は、技術的思想１７記載の方法において、前記第１の色空間は、赤緑青（ＲＧＢ）色空間または同等物を含む。
技術的思想１９の方法は、技術的思想１８記載の方法において、前記第２の色空間は、明度（Ｌ）、緑色－赤色（ａ）及び青色－黄色（ｂ）（ＬＡＢ）色空間を含む。
技術的思想２０の方法は、技術的思想１５から１９のいずれかに記載の方法において、前記色の一致の検索は、前記複数のクラスタのうちの１つの特徴的な色と、前記色期待値のセットのうちの１つの期待される色との類似性を決定することを含む。
技術的思想２１の方法は、技術的思想２０記載の方法において、前記検索は、前記特徴的な色が、前記期待される色に対する閾値要件に従って、輝度と方向の両方で前記期待される色に類似している場合に、前記色の一致を見つけ出す。
技術的思想２２の方法は、技術的思想２１記載の方法において、前記色の一致の決定は、前記特徴的な色の輝度と前記期待される色の輝度との間の輝度差を計算し、その輝度差を前記期待される色に対する前記閾値要件の輝度差閾値と比較することと、前記特徴的な色の方向のコサイン角と前記期待される色の方向のコサイン角との間の方向差を計算し、その方向差を前記期待される色の閾値要件の方向差閾値と比較することと、を備える。
技術的思想２３の方法は、技術的思想１５から２２のいずれかに記載の方法において、優先順位に従って順序付けられたセットとして色期待値のセットを定義することと、前記優先順位に従って複数のクラスタを用いて前記色期待値のセットを検索することを評価することと、前記色の一致が見つかったときに停止することと、を備える。
技術的思想２４の方法は、技術的思想１５から２３のいずれかに記載の方法において、ｋ個のクラスタのうち２つ以上のクラスタのそれぞれが検索に応答して色の一致を提供する場合に、前記２つ以上のクラスタを結合クラスタに結合することと、前記結合クラスタを用いて抽出された色を定義することと、を備える。
技術的思想２５の方法は、技術的思想１５から２４のいずれかに記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想２６の方法は、技術的思想２５記載の方法において、前記開始画像は、第１セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含む。
技術的思想２７の方法は、技術的思想２６記載の方法において、前記対象物は、前記第１セルフィー画像上のシミュレーションのための積を含む。
技術的思想２８の方法は、技術的思想２７記載の方法において、モバイルデバイスによって、又は、モバイルデバイスに代わって実行され、拡張現実を用いた仮想試行メイクアップ製品を含む。
技術的思想２９の方法は、技術的思想１５から２８のいずれかに記載の方法において、前記ソースカラー画像は、メイクアップ製品の見本画像を含む。
技術的思想３０の方法は、技術的思想１５から２９のいずれかに記載の方法において、前記新しい画像は、テンプレート画像および前記抽出された色から定義された標準化された見本画像を含む。
技術的思想３１の方法は、技術的思想３０記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース（ＧＵＩ）において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想３２のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想１５から３１のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想３３のコンピュータプログラム製品は、コンピューティングデバイスの処理装置によって実行されて、技術的思想１から３１のいずれかに記載の方法を実行するように前記コンピューティングデバイスを構成する命令を格納した非一時的な記憶デバイスを含む。
＜その他＞
＜手段＞
技術的思想１の方法は、ソースカラー画像内の色の表現の強さを示すように関心のあるアイテムの色を示す前記ソースカラー画像を分類することであって、深層学習ネットワークモデルを用いて強さを決定するための画像特徴を抽出して分類することと、前記分類に応答して、前記ソースカラー画像のピクセルを前記ピクセルのそれぞれの色に応じてクラスタリングし、前記ピクセルのクラスタリングに応答して、少なくとも１つの候補色を抽出された色として識別することにより、前記ソースカラー画像から色情報を抽出することと、画像処理を用いて新しい画像を定義するように抽出された色を提供することと、を備える。
技術的思想２の方法は、技術的思想１記載の方法において、前記分類によって前記ソースカラー画像が色を強く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された支配的な色から１つの候補色を応答的に生成する。
技術的思想３の方法は、技術的思想１記載の方法において、前記分類によって前記ソースカラー画像が色を弱く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された複数の候補色を応答的に生成する。
技術的思想４の方法は、技術的思想１記載の方法において、 前記分類は、前記深層学習ネットワークモデルによって抽出された画像特徴ベクトルに応答するクラスタベースの分類を使用する。
技術的思想５の方法は、技術的思想１記載の方法において、前記ピクセルをクラスタリングすることによって、少なくとも１つの前記候補色を決定するためのクラスタ数ｋを定義し、前記クラスタ数ｋは、前記分類に応じて変化する。
技術的思想６の方法は、技術的思想１記載の方法において、前記関心のあるアイテムは、製品であり、前記ソースカラー画像は、前記製品を広告する製品見本画像で構成される。
技術的思想７の方法は、技術的思想１記載の方法において、前記分類は、クラスタベースの分類を実行し、前記深層学習ネットワークモデルによって生成された前記ソースカラー画像の画像特徴ベクトルを複数の画像特徴クラスタに対して測定し、前記ソースカラー画像の分類として前記ソースカラー画像の前記画像特徴ベクトルに最も近い前記複数の画像特徴クラスタの１つに関連するそれぞれのクラスを提供し、前記それぞれのクラスは、色の表現の強さを示す。
技術的思想８の方法は、技術的思想７記載の方法において、前記複数の画像特徴クラスタは、前記複数の画像特徴クラスタを定義するための前記画像特徴ベクトルを生成するように前記深層学習ネットワークモデルによって処理された色を示すトレーニング画像を含むトレーニングデータから生成され、前記トレーニング画像は、色の表現の強さを示すクラスの１つに割り当てられる。
技術的思想９の方法は、技術的思想１記載の方法において、前記深層学習ネットワークモデルは、対象物の画像を処理して前記対象物の画像特徴ベクトルを定義するように事前にトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）からなる。
技術的思想１０の方法は、技術的思想１記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想１１の方法は、技術的思想１０記載の方法において、前記開始画像は、第１セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含み、前記対象物は、前記第１セルフィー画像上のシミュレーションのための積を含む。
技術的思想１２の方法は、技術的思想１１記載の方法において、拡張現実を用いた仮想試行メイクアップ製品を含み、前記ソースカラー画像は、前記メイクアップ製品の見本画像を含む。
技術的思想１３の方法は、技術的思想１２記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース（ＧＵＩ）において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想１４のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想１から１３のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想１５の方法は、コンピューティングデバイスの処理装置によって、抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備える。
技術的思想１６の方法は、技術的思想１５記載の方法において、前記ピクセルをクラスタリングするように、強度に関係なく前記ピクセルにｋ平均クラスタリングを適用する。
技術的思想１７の方法は、技術的思想１５又は１６に記載の方法において、前記ピクセルは第１の色空間において定義され、前記ピクセルを強度に依存しない第２の色空間に変換することを含む。
技術的思想１８の方法は、技術的思想１７記載の方法において、前記第１の色空間は、赤緑青（ＲＧＢ）色空間または同等物を含む。
技術的思想１９の方法は、技術的思想１８記載の方法において、前記第２の色空間は、明度（Ｌ）、緑色－赤色（ａ）及び青色－黄色（ｂ）（ＬＡＢ）色空間を含む。
技術的思想２０の方法は、技術的思想１５から１９のいずれかに記載の方法において、前記色の一致の検索は、前記複数のクラスタのうちの１つの特徴的な色と、前記色期待値のセットのうちの１つの期待される色との類似性を決定することを含む。
技術的思想２１の方法は、技術的思想２０記載の方法において、前記検索は、前記特徴的な色が、前記期待される色に対する閾値要件に従って、輝度と方向の両方で前記期待される色に類似している場合に、前記色の一致を見つけ出す。
技術的思想２２の方法は、技術的思想２１記載の方法において、前記色の一致の決定は、前記特徴的な色の輝度と前記期待される色の輝度との間の輝度差を計算し、その輝度差を前記期待される色に対する前記閾値要件の輝度差閾値と比較することと、前記特徴的な色の方向のコサイン角と前記期待される色の方向のコサイン角との間の方向差を計算し、その方向差を前記期待される色の閾値要件の方向差閾値と比較することと、を備える。
技術的思想２３の方法は、技術的思想１５から２２のいずれかに記載の方法において、優先順位に従って順序付けられたセットとして色期待値のセットを定義することと、前記優先順位に従って複数のクラスタを用いて前記色期待値のセットを検索することを評価することと、前記色の一致が見つかったときに停止することと、を備える。
技術的思想２４の方法は、技術的思想１５から２３のいずれかに記載の方法において、ｋ個のクラスタのうち２つ以上のクラスタのそれぞれが検索に応答して色の一致を提供する場合に、前記２つ以上のクラスタを結合クラスタに結合することと、前記結合クラスタを用いて抽出された色を定義することと、を備える。
技術的思想２５の方法は、技術的思想１５から２４のいずれかに記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想２６の方法は、技術的思想２５記載の方法において、前記開始画像は、第１セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含む。
技術的思想２７の方法は、技術的思想２６記載の方法において、前記対象物は、前記第１セルフィー画像上のシミュレーションのための積を含む。
技術的思想２８の方法は、技術的思想２７記載の方法において、モバイルデバイスによって、又は、モバイルデバイスに代わって実行され、拡張現実を用いた仮想試行メイクアップ製品を含む。
技術的思想２９の方法は、技術的思想１５から２８のいずれかに記載の方法において、前記ソースカラー画像は、メイクアップ製品の見本画像を含む。
技術的思想３０の方法は、技術的思想１５から２９のいずれかに記載の方法において、前記新しい画像は、テンプレート画像および前記抽出された色から定義された標準化された見本画像を含む。
技術的思想３１の方法は、技術的思想３０記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース（ＧＵＩ）において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想３２のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想１５から３１のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想３３のコンピュータプログラム製品は、コンピューティングデバイスの処理装置によって実行されて、技術的思想１から３１のいずれかに記載の方法を実行するように前記コンピューティングデバイスを構成する命令を格納した非一時的な記憶デバイスを含む。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】