(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-30
(45)【発行日】2023-07-10
(54)【発明の名称】プログラム、情報処理装置、シミュレート方法及び情報処理システム
(51)【国際特許分類】
G06T 1/00 20060101AFI20230703BHJP
【FI】
G06T1/00 340A
(21)【出願番号】P 2019203496
(22)【出願日】2019-11-08
【審査請求日】2022-09-08
【新規性喪失の例外の表示】特許法第30条第2項適用 株式会社資生堂ウェブサイトアドレス https://www.shiseido.co.jp/fdsim/dp/ 平成30年12月19日に掲載
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】吉川 拓伸
【審査官】粕谷 満成
(56)【参考文献】
【文献】特開2016-184864(JP,A)
【文献】特開2017-199384(JP,A)
【文献】特開2007-260246(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
ファンデーションを施したユーザの顔画像をシミュレートするようにコンピュータを機能させるためのプログラムであって、
前記コンピュータを、
撮影されたユーザの顔画像の色彩値を測定する測定手段、
号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段、
撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段、
基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段、
前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段、
前記シミュレーション画像を出力する出力手段、
として機能させるためのプログラム。
【請求項2】
前記基準設定手段は、ユーザ情報により決定したファンデーション製品の号数により、基準とする一の号数を決定すること
を特徴とする請求項1記載のプログラム。
【請求項3】
前記出力手段は、ユーザにより選択された号数のファンデーション製品の仕上がりの色彩値を用いて生成された前記シミュレーション画像を出力すること
を特徴とする請求項1又は2記載のプログラム。
【請求項4】
ファンデーションを施したユーザの顔画像をシミュレートする情報処理装置であって、
撮影されたユーザの顔画像の色彩値を測定する測定手段と、
号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段と、
撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段と、
基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段と、
前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段と、
前記シミュレーション画像を出力する出力手段と、
を有する情報処理装置。
【請求項5】
ファンデーションを施したユーザの顔画像をシミュレートする情報処理装置において実行されるシミュレート方法であって、
撮影されたユーザの顔画像の色彩値を測定する測定ステップと、
撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定ステップと、
基準とする一の号数のファンデーション製品の色彩値と、号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定ステップと、
前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーションステップと、
前記シミュレーション画像を出力する出力ステップと、
を有するシミュレート方法。
【請求項6】
ユーザの顔画像を撮影するクライアント端末と、ファンデーションを施した前記ユーザの顔画像をシミュレートして前記クライアント端末に提供するサーバ装置と、を有する情報処理システムであって、
撮影されたユーザの顔画像の色彩値を測定する測定手段と、
号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段と、
撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段と、
基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段と、
前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段と、
前記シミュレーション画像を出力する出力手段と、
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置、定量化方法及び情報処理システムに関する。
【背景技術】
【0002】
被験者の顔を撮影するカメラ装置と、このカメラ装置により撮影された被験者の顔の画像を写す表示装置と、この表示装置に写し出された被験者の顔の画像に仮想的に化粧を施す手段とを備えた化粧アドバイスシステムは、従来から知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば特許文献1の化粧アドバイスシステムでは、メモリに複数蓄積された化粧による顔の変化を表す化粧データの画像を選択し、被験者の顔の画像に適合するように変形させて被験者の顔の画像と合成することで、表示装置に映し出された被験者の顔の画像に仮想的に化粧を施している。
【0005】
しかしながら、カメラ装置により撮影された被験者の顔の肌色は、照明環境やカメラ装置の機種などにより差異(肌色のばらつき)が生じる。したがって、メモリに複数蓄積された化粧による顔の変化を表す化粧データの画像を選択し、被験者の顔の画像に適合するように変形させて被験者の顔の画像と合成したとしても、照明環境やカメラ装置の機種などによる肌色の差異により、似合わない(不自然)と感じさせてしまう恐れがあった。
【0006】
なお、カラーチャート等を一緒に撮影してキャリブレーションすることで照明環境やカメラ装置の機種などによる差異を吸収することも考えられるが、手間やコストが掛かるという問題があった。
【0007】
本発明の一実施形態は、撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できるプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一実施形態は、ファンデーションを施したユーザの顔画像をシミュレートするようにコンピュータを機能させるためのプログラムであって、前記コンピュータを、撮影されたユーザの顔画像の色彩値を測定する測定手段、号数により肌色を表すファンデーション製品の間の色彩値の差分データを記憶する記憶手段、撮影されたユーザの顔画像の色彩値を、基準とする一の号数のファンデーション製品の色彩値として動的に設定する基準設定手段、基準とする一の号数のファンデーション製品の色彩値と、前記記憶手段に記憶された前記差分データとを用いて、ファンデーション製品の仕上がりの色彩値を号数ごとに決定する決定手段、前記仕上がりの色彩値を用いて、撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像を生成するシミュレーション手段、前記シミュレーション画像を出力する出力手段、として機能させるためのプログラムであることを特徴とする。
【発明の効果】
【0009】
撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態に係る情報処理システムの一例の構成図である。
【
図2】本実施形態に係るコンピュータの一例のハードウェア構成図である。
【
図3】ファンデーション製品の色の分類の一例を示した説明図である。
【
図4】ファンデーション製品の色の差分データの一例を示した説明図である。
【
図5】本実施形態に係る情報処理システムの一例の機能ブロック図である。
【
図6】本実施例に係る情報処理システムの一例のフローチャートである。
【
図7】本実施形態に係る情報処理システムの処理の一例のイメージ図である。
【発明を実施するための形態】
【0011】
次に、本発明の実施形態について詳細に説明する。
【0012】
[第1の実施形態]
<システム構成>
図1は、本実施形態に係る情報処理システムの一例の構成図である。
図1(a)の情報処理システムは単体の情報処理装置1を備えている。情報処理装置1は、ユーザが操作するPC、スマートフォン、タブレット、家庭用や業務用のファンデーションシミュレータ装置などである。
【0013】
また、
図1(b)の情報処理システムは1台以上のクライアント端末2とサーバ装置3とがインターネット等のネットワーク4を介して接続されている。クライアント端末2はユーザが操作するPC、スマートフォン、タブレットなどの端末装置、家庭用や業務用のファンデーションシミュレータ装置などである。サーバ装置3は、クライアント端末2で行われるユーザの顔画像にファンデーションを施すシミュレーション(ファンデーションのシミュレーション)に関する処理等を行う。
【0014】
このように、本発明は
図1(b)に示すようなクライアント・サーバ型の情報処理システムの他、
図1(a)に示す単体の情報処理装置1においても適用可能である。なお、
図1の情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば
図1(b)のサーバ装置3は複数のコンピュータに分散して構成してもよいし、コンピュータ資源をサービスの形で提供するコンピューティング環境の一例であるクラウド環境を利用する構成であってもよい。
【0015】
図1(b)のサーバ装置3はクライアント端末2で実行されるプログラムをクライアント端末2にダウンロードさせる機能を有していてもよい。プログラムをダウンロードしたクライアント端末2は、ファンデーションのシミュレーションをサーバ装置3と協働して実現してもよいし、サーバ装置3と協働せずに実現してもよい。
【0016】
<ハードウェア構成>
図1の情報処理装置1、クライアント端末2及びサーバ装置3は、例えば
図2に示すようなハードウェア構成のコンピュータにより実現される。
図2は、本実施形態に係るコンピュータの一例のハードウェア構成図である。
【0017】
図2のコンピュータは、入力装置501、出力装置502、外部I/F503、RAM504、ROM505、CPU506、通信I/F507、HDD508、及びカメラ509などを備えており、それぞれがバスBで相互に接続されている。
【0018】
入力装置501は、入力に用いるキーボード、マウス、タッチパネルなどである。出力装置502は、画面を表示する液晶や有機ELなどのディスプレイ、音声や音楽などの音データを出力するスピーカなどで構成されている。通信I/F507は、コンピュータをネットワーク4に接続するインターフェースである。HDD508はプログラムやデータを格納している不揮発性の記憶装置の一例である。カメラ509はユーザの顔画像を撮影する撮影装置の一例である。なお、
図2ではコンピュータに内蔵されるカメラ509の例を示したが、外部I/F503などを介して接続される外付けのカメラ509であってもよい。
【0019】
外部I/F503は外部装置とのインターフェースである。コンピュータは外部I/F503を介して記録媒体503aの読み取り及び/又は書き込みを行うことができる。記録媒体503aにはDVD、SDメモリカード、USBメモリなどがある。
【0020】
CPU506はROM505やHDD508などの記憶装置からプログラムやデータをRAM504上に読み出し、処理を実行することで、コンピュータ全体の制御や機能を実現する演算装置である。情報処理装置1、クライアント端末2及びサーバ装置3は、上記したハードウェア構成のコンピュータにおいてプログラムを実行することにより各種機能を実現できる。なお、
図2のハードウェア構成は一例であって、用途や目的に応じて様々な構成例があることは言うまでもない。
【0021】
<ファンデーション製品の色の分類について>
図3はファンデーション製品の色の分類の一例を示した説明図である。
図3に示したようにファンデーション製品の色は色味を表す「色相」と明るさを表す「明度」との2つの軸(組み合わせ)で表記し、簡易的に「彩度」が省略されて体系的に分類されるのが一般的である。
【0022】
図3では色相の一例として「赤みより・黄みより」を表している。また、明度の一例として「明るい・濃い」を表している。
図3ではファンデーション製品を色相によりピンク系、ピンクオークル系、オークル系、及びベージュオークル系に分類している。また、
図3ではファンデーション製品の明度を色番号「00」「10」「20」「30」「40」により分類している。
図3では色番号が小さいものほど色が明るく、色番号が大きいものほど色が濃い(色が暗い)例を表している。
【0023】
なお、以下の説明ではピンク系、ピンクオークル系、オークル系、及びベージュオークル系の色相を、それぞれ「P」「PO」「OC」及び「BO」と表す場合がある。色が
図3のように分類されるファンデーション製品は、例えば「OC10」や「BO10」のように「色相+色番号」で、そのファンデーション製品の色を表す場合がある。なお、以下ではファンデーション製品の色(肌色)を表す「色相+色番号」を「号数」と呼ぶ。ファンデーション製品の色は「号数」により特定される。
【0024】
《ファンデーションのシミュレーションの検討》
ファンデーションのシミュレーションは、ファンデーションの仕上がり(色/つや/カバー力など)が確認できるように、コンピュータでファンデーションを施したユーザの顔画像をシミュレートするものである。なお、ファンデーション製品の号数による色の差は微少である場合が多い。
【0025】
通常、ファンデーション製品のシミュレーションではファンデーション製品の色に応じた色彩値を予め設定しておく。本実施形態では色彩値がRGB値である例を説明するがCMYK値、L*a*b*値、XYZ値などであってもよい。
【0026】
ファンデーション製品のシミュレーションでは、ユーザの顔画像の肌色を下地とし、その上にシミュレートされたカバー力によって透過率の異なるファンデーション製品の色をのせて、ファンデーションを施したユーザの顔画像を生成する画像処理を行う。以下ではユーザの顔画像の肌色を素肌の色と呼び、シミュレートされたファンデーション製品の色をシミュレーションの色と呼び、ファンデーションを施したユーザの顔画像の肌色を仕上がりの色と呼ぶ。
【0027】
ところで、ファンデーション製品のシミュレーションで使用するユーザの顔画像はカメラ509などにより撮影される。カメラ509などにより撮影されたユーザの素肌の色は照明環境やカメラ509の機種などにより差異(肌色のばらつき)が生じる。ポイントメイクのような色がはっきりした製品のシミュレーションと異なり、ファンデーション製品のシミュレーションでは、色の差が微少であるため、照明環境やカメラ509の機種の違いにより生じる肌色のばらつきの影響が大きい。
【0028】
例えば同一のファンデーション製品のシミュレーションを同一のユーザが行った場合であっても、照明環境やカメラ509の機種の違いにより、似合うと判断されたり、似合わない(不自然)と判断されたり、する。このような判断のばらつきは、ファンデーション製品の販売機会の損失や、返品の増加の原因となることが考えられる。
【0029】
そこで、本実施形態のファンデーション製品のシミュレーションではファンデーション製品の色に応じたRGB値を、照明環境やカメラ509の機種などにより生じる肌色のばらつきに応じて、以下のように動的に設定できるようにした。
【0030】
本実施形態では例えば
図3に示したファンデーション製品の色の差分データを例えば
図4のように事前に決定しておく。
図4は、ファンデーション製品の色の差分データの一例を示した説明図である。なお、
図4ではファンデーション製品の色の差分データをΔRGB(n)で表している。
【0031】
例えば
図4において「OC10」と「OC00」との差分データは、ΔRGB(1)で表している。また「OC10」と「OC20」との差分データは、ΔRGB(2)で表している。なお「OC10」と「OC00」との差分データであるΔRGB(1)は例えば以下のように表すことができる。
【0032】
「OC10」のRGB値={R1、G1、B1}
「OC00」のRGB値={R2、G2、B2}
ΔRGB(1)={R2-R1、G2-G1、B2-B1}
なお、
図4に示したファンデーション製品の色の差分データをΔRGB(n)は一例であって、CMYK値、L
*a
*b
*値、XYZ値の差分データで表してもよい。
【0033】
そして、本実施形態では例えば
図4に示したファンデーション製品の色の差分データを用いることで、基準とする号数のファンデーション製品のRGB値を設定して、
図4に示したファンデーション製品の色のRGB値を計算により全て決定する。なお、基準とするファンデーション製品の号数は、ユーザ情報により決定する。ユーザ情報には、ユーザへの問診により決定したユーザの好みのファンデーション製品の色、ファンデーション製品の購入履歴、ファンデーション製品の使用履歴、ユーザの行動履歴(外出頻度や外出場所の情報)など、ファンデーション商品のお勧めの色を推定できる情報が含まれている。
【0034】
本実施形態では、カメラ509などにより撮影されたユーザの素肌のRGB値を、基準とするファンデーション製品のRGB値に設定する。例えば本実施形態では、基準とするファンデーション製品の号数が「OC10」であれば、その号数「OC10」のファンデーション製品のRGB値がカメラ509などにより撮影されたユーザの素肌のRGB値となる。
【0035】
このように本実施形態では、基準とする号数のファンデーション製品のRGB値と、カメラ509などにより撮影されたユーザの素肌のRGB値とを一致させることで、ファンデーション製品のシミュレーションのRGB値とカメラ509などにより撮影されたユーザの素肌のRGB値とが、大きく乖離することを避け、自然で肌に馴染んだシミュレーション画像を生成できる。
【0036】
<ソフトウェア構成>
《機能ブロック》
本実施形態に係る情報処理システムのソフトウェア構成について説明する。なお、ここでは
図1(a)に示した情報処理装置1を一例として説明する。
図5は本実施形態に係る情報処理システムの一例の機能ブロック図である。情報処理装置1はプログラムを実行することにより、撮影部10、測定部12、決定部14、基準設定部16、差分データ記憶部18、シミュレーション部20、出力部22を実現している。
【0037】
撮影部10は、カメラ509を制御してユーザの顔画像を撮影する。測定部12は撮影部10により撮影されたユーザの顔画像のRGB値を測定する。基準設定部16は撮影部10により撮影されたユーザの顔画像のRGB値を、基準とする号数のファンデーション製品の色(色調)のRGB値として動的に設定する。
【0038】
差分データ記憶部18は例えば
図4を用いて説明したファンデーション製品の色の差分データΔRGB(n)を記憶している。決定部14は、基準設定部16が設定した基準とする号数のファンデーション製品のRGB値と、差分データ記憶部18に記憶されているファンデーション製品の色の差分データΔRGB(n)と、を用いてファンデーション製品の仕上がりのRGB値を、ファンデーション製品の号数(色)ごとに決定する。
【0039】
シミュレーション部20は決定部14が決定したファンデーション製品の色ごとの仕上がりのRGB値と、撮影部10により撮影されたユーザの顔画像のRGB値と、を用いることにより、撮影部10により撮影されたユーザの顔画像にファンデーションを施したシミュレーション画像をファンデーション製品の色ごとに生成できる。また、出力部22はシミュレーション部20が生成したシミュレーション画像を、出力装置502を制御して出力する。出力部22は、ユーザにより選択された号数のファンデーション製品の色の仕上がりのRGB値を用いて生成されたシミュレーション画像を出力できる。
【0040】
<処理>
図6は本実施例に係る情報処理システムの一例のフローチャートである。ステップS10において、情報処理装置1の基準設定部16はユーザ情報に含まれるユーザへの問診により決定したユーザの好みのファンデーション製品の色、ファンデーション製品の購入履歴、ファンデーション製品の使用履歴、ユーザの行動履歴など、により基準とする号数のファンデーション製品の色(色調)を設定する。
【0041】
例えば基準設定部16は問診により判明したユーザの好みのファンデーション製品の色を、基準とする号数のファンデーション製品の色に設定する。ここではファンデーション製品の号数の一例である「OC10」が設定された例を説明する。
【0042】
ステップS12において、測定部12は撮影部10により撮影されたユーザの顔画像のRGB値を測定する。なお、撮影されたユーザの顔画像のRGB値の測定は既存の技術を用いて行う。
【0043】
ステップS14において、基準とする号数のファンデーション製品の色のRGB値に、撮影部10により撮影されたユーザの肌のRGB値を、例えば
図7のように設定する。
図7は本実施形態に係る情報処理システムの処理の一例のイメージ図である。例えば
図7では基準とするファンデーション製品の号数が「OC10」であり、その号数「OC10」のファンデーション製品のRGB値に、撮影されたユーザの肌のRGB値を設定している。
【0044】
ステップS16において、決定部14は基準とする号数のファンデーション製品以外の色のRGB値を、基準とする号数のファンデーション製品の色のRGB値に、差分データ記憶部18のファンデーション製品の色の差分データΔRGB(n)を加え、決定する。例えば
図7では基準とする号数「OC10」のファンデーション製品の色のRGB値に、差分データΔRGB(1)を加えることにより号数「OC00」のファンデーション製品の色のRGB値を決定する。
【0045】
また、基準とする号数「OC10」のファンデーション製品の色のRGB値に、差分データΔRGB(2)を加えることにより号数「OC20」のファンデーション製品の色のRGB値を決定する。決定した号数「OC20」のファンデーション製品の色のRGB値に、差分データΔRGB(3)を加えることにより号数「OC30」のファンデーション製品の色のRGB値を決定する。
【0046】
また、基準とする号数「OC10」のファンデーション製品の色のRGB値に、差分データΔRGB(5)を加えることにより号数「BO10」のファンデーション製品の色のRGB値を決定する。さらに、基準とする号数「OC10」のファンデーション製品の色のRGB値に、差分データΔRGB(8)を加えることにより号数「PO10」のファンデーション製品の色のRGB値を決定する。
【0047】
(まとめ)
本実施形態によれば、カラーチャート等を一緒に撮影してキャリブレーションすることで照明環境やカメラ装置の機種などによる差異を吸収することなく、撮影されたユーザの顔画像に馴染むようにファンデーションを施したシミュレーション画像を生成できる。
【0048】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【0049】
1 情報処理装置
2 クライアント端末
3 サーバ装置
4 ネットワーク
10 撮影部
12 測定部
14 決定部
16 基準設定部
18 差分データ記憶部
20 シミュレーション部
22 出力部
501 入力装置
502 出力装置
503 外部I/F
504 RAM
505 ROM
506 CPU
507 通信I/F
508 HDD
509 カメラ