特許 7669562 化粧品の試用システム、試用方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-04-18

(45)【発行日】2025-04-28

(54)【発明の名称】化粧品の試用システム、試用方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250421BHJP

   G06Q 50/10 20120101ALI20250421BHJP

   G06T 7/90 20170101ALI20250421BHJP

【ＦＩ】

G06T7/00 660A

G06Q50/10

G06T7/90 A

【請求項の数】 13

(21)【出願番号】P 2024074049

(22)【出願日】2024-04-30

【審査請求日】2024-04-30

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100110135

【弁理士】

【氏名又は名称】石井 裕一郎

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100163452

【弁理士】

【氏名又は名称】南郷 邦臣

(74)【代理人】

【識別番号】100180312

【弁理士】

【氏名又は名称】早川 牧子

(72)【発明者】

【氏名】増子 洋介

【審査官】豊田 好一

(56)【参考文献】

【文献】国際公開第２０２３／１４３８８６（ＷＯ，Ａ１）

【文献】特開２０１８－６３６８１（ＪＰ，Ａ）

【文献】国際公開第２０１４／１６７８３１（ＷＯ，Ａ１）

【文献】特開２０２１－１８４２４５（ＪＰ，Ａ）

【文献】特開２００７－２１３６２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ ５０／１０

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

ユーザが試用する第１アイテムを選択する選択入力を受け付ける選択受付部と、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得する塗布画像取得部と、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定する特定部と、
前記第１アイテムに対応付けられる第１色彩を取得する第１色彩取得部と、
前記第２アイテムに対応付けられる第２色彩を取得する第２色彩取得部と、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求める変換算出部と、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する試用画像取得部と、
前記取得された試用画像を出力する出力部と、
を備えることを特徴とする化粧品の試用システム。

【請求項2】

前記特定部は、前記第１アイテムが塗布されるべき領域を、前記塗布画像において、前記第２アイテムが塗布されている領域として特定する
ことを特徴とする請求項１に記載の化粧品の試用システム。

【請求項3】

前記第２色彩取得部は、前記ユーザの購入履歴から前記第２アイテムの候補となる候補アイテムを取得し、前記候補アイテムの色彩のうち、前記特定された領域の画素の色彩に最も近い色彩を前記第２色彩として取得し、
前記最も近い色彩を有する候補アイテムを、前記第２アイテムとする
ことを特徴とする請求項２に記載の化粧品の試用システム。

【請求項4】

前記ユーザの購入履歴から前記第２アイテムの候補となる候補アイテムを取得し、前記候補アイテムのリストを提示し、前記リストにおいていずれかの候補アイテムを指定する指定入力を受け付ける指定受付部をさらに備え、
前記指定入力に係る候補アイテムを、前記第２アイテムとする
ことを特徴とする請求項１に記載の化粧品の試用システム。

【請求項5】

前記特定部は、前記第２アイテムが塗布されるべき領域を、前記塗布画像において、前記第２アイテムが塗布されている領域として特定する
ことを特徴とする請求項４に記載の化粧品の試用システム。

【請求項6】

前記第１色彩取得部は、アイテムに対応付けられた色彩の情報が登録されたカタログデータベースを参照して、前記第１アイテムに対応付けられる第１色彩を取得し、
前記第２色彩取得部は、前記カタログデータベースを参照して、前記第２アイテムに対応付けられる第２色彩を取得する
ことを特徴とする請求項１に記載の化粧品の試用システム。

【請求項7】

前記カタログデータベースには、異なるメーカのアイテムが登録され、
前記第１アイテムと前記第２アイテムとは、前記異なるメーカのアイテムである
ことを特徴とする請求項６に記載の化粧品の試用システム。

【請求項8】

前記塗布画像取得部が取得する試用画像は、静止画像であり、
前記変換算出部は、前記取得された第２色彩を前記特定された領域の画素の色彩に画素単位で変換するフィルタを作成することにより、前記変換を求め、
前記試用画像取得部は、前記取得された第１色彩を前記フィルタを用いて画素単位で変換し、前記取得された塗布画像における前記特定された領域の画素のそれぞれの色彩を、前記画素単位で変換された色彩に置き換えることにより、前記試用画像を取得する
ことを特徴とする請求項１から７のいずれか１項に記載の化粧品の試用システム。

【請求項9】

前記塗布画像取得部が取得する試用画像は、動画に含まれるフレーム画像であり、
前記変換算出部は、前記特定された領域について代表色を求め、前記取得された第２色彩を前記代表色に変換するフィルタを作成することにより、前記変換を求め、
前記塗布画像取得部は、前記取得された第１色彩を前記フィルタを用いて変換し、前記取得された塗布画像における前記特定された領域に、前記変換された色彩を塗りつけることにより、前記試用画像を取得し、
前記出力部は、前記取得された試用画像を動画に含まれるフレーム画像として出力する
ことを特徴とする請求項１から７のいずれか１項に記載の化粧品の試用システム。

【請求項10】

前記変換算出部は、前記特定された領域の画素値の平均値、中央値又は最頻値により表される色を、前記代表色として求める
ことを特徴とする請求項９に記載の化粧品の試用システム。

【請求項11】

前記変換算出部は、前記特定された領域の画素値をクラスタリングし、最も大きいクラスタの平均値、中央値又は最頻値により表される色を、前記代表色として求める
ことを特徴とする請求項９に記載の化粧品の試用システム。

【請求項12】

化粧品の試用システムが実行する試用方法であって、
前記試用システムが、
ユーザが試用する第１アイテムを選択する選択入力を受け付け、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得し、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定し、
前記第１アイテムに対応付けられる第１色彩を取得し、
前記第２アイテムに対応付けられる第２色彩を取得し、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求め、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得し、
前記取得された試用画像を出力する、
ことを特徴とする化粧品の試用方法。

【請求項13】

コンピュータを、
ユーザが試用する第１アイテムを選択する選択入力を受け付ける選択受付部、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得する塗布画像取得部、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定する特定部、
前記第１アイテムに対応付けられる第１色彩を取得する第１色彩取得部、
前記第２アイテムに対応付けられる第２色彩を取得する第２色彩取得部、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求める変換算出部、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する試用画像取得部、
前記取得された試用画像を出力する出力部、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、化粧品の試用システム、試用方法及びプログラムに関する。

【背景技術】

【0002】

化粧を仮想的にユーザの顔画像に適用する技術が知られている。例えば、特許文献１には、化粧が塗布されたユーザの顔画像から化粧が除去された顔画像を生成し、化粧が除去された顔画像に選択された化粧スタイルを適用する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－３６７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術では、実際に化粧を除去せずに様々なアイテムを仮想的に試用することができるが、化粧が除去された顔画像を生成する処理が必要となる。一方、化粧が除去された顔画像の生成といった処理を要せずに、より簡易な手法で、様々な化粧のアイテムを仮想的に試用した様子を確認したいという要望がある。

【0005】

本発明は、上記のような課題を解決するもので、あるアイテムを塗布した様子を撮影した撮影環境において、塗布したものを除去せずに他のアイテムを仮想的に試用した様子を確認することが可能な化粧品の試用システム、試用方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の観点に係る化粧品の試用システムは、
ユーザが試用する第１アイテムを選択する選択入力を受け付ける選択受付部と、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得する塗布画像取得部と、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定する特定部と、
前記第１アイテムに対応付けられる第１色彩を取得する第１色彩取得部と、
前記第２アイテムに対応付けられる第２色彩を取得する第２色彩取得部と、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求める変換算出部と、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する試用画像取得部と、
前記取得された試用画像を出力する出力部と、
を備えることを特徴とする。

【0007】

また、上記観点に係る化粧品の試用システムにおいて、
前記特定部は、前記第１アイテムが塗布されるべき領域を、前記塗布画像において、前記第２アイテムが塗布されている領域として特定する
ことを特徴とする。

【0008】

また、上記観点に係る化粧品の試用システムにおいて、
前記第２色彩取得部は、前記ユーザの購入履歴から前記第２アイテムの候補となる候補アイテムを取得し、前記候補アイテムの色彩のうち、前記特定された領域の画素の色彩に最も近い色彩を前記第２色彩として取得し、
前記最も近い色彩を有する候補アイテムを、前記第２アイテムとする
ことを特徴とする。

【0009】

また、上記観点に係る化粧品の試用システムにおいて、
前記ユーザの購入履歴から前記第２アイテムの候補となる候補アイテムを取得し、前記候補アイテムのリストを提示し、前記リストにおいていずれかの候補アイテムを指定する指定入力を受け付ける指定受付部をさらに備え、
前記指定入力に係る候補アイテムを、前記第２アイテムとする
ことを特徴とする。

【0010】

また、上記観点に係る化粧品の試用システムにおいて、
前記特定部は、前記第２アイテムが塗布されるべき領域を、前記塗布画像において、前記第２アイテムが塗布されている領域として特定する
ことを特徴とする。

【0011】

また、上記観点に係る化粧品の試用システムにおいて、
前記第１色彩取得部は、アイテムに対応付けられた色彩の情報が登録されたカタログデータベースを参照して、前記第１アイテムに対応付けられる第１色彩を取得し、
前記第２色彩取得部は、前記カタログデータベースを参照して、前記第２アイテムに対応付けられる第２色彩を取得する
ことを特徴とする。

【0012】

また、上記観点に係る化粧品の試用システムにおいて、
前記カタログデータベースには、異なるメーカのアイテムが登録され、
前記第１アイテムと前記第２アイテムとは、前記異なるメーカのアイテムである
ことを特徴とする。

【0013】

また、上記観点に係る化粧品の試用システムにおいて、
前記塗布画像取得部が取得する試用画像は、静止画像であり、
前記変換算出部は、前記取得された第２色彩を前記特定された領域の画素の色彩に画素単位で変換するフィルタを作成することにより、前記変換を求め、
前記試用画像取得部は、前記取得された第１色彩を前記フィルタを用いて画素単位で変換し、前記取得された塗布画像における前記特定された領域の画素のそれぞれの色彩を、前記画素単位で変換された色彩に置き換えることにより、前記試用画像を取得する
ことを特徴とする。

【0014】

また、上記観点に係る化粧品の試用システムにおいて、
前記塗布画像取得部が取得する試用画像は、動画に含まれるフレーム画像であり、
前記変換算出部は、前記特定された領域について代表色を求め、前記取得された第２色彩を前記代表色に変換するフィルタを作成することにより、前記変換を求め、
前記塗布画像取得部は、前記取得された第１色彩を前記フィルタを用いて変換し、前記取得された塗布画像における前記特定された領域に、前記変換された色彩を塗りつけることにより、前記試用画像を取得し、
前記出力部は、前記取得された試用画像を動画に含まれるフレーム画像として出力する
ことを特徴とする。

【0015】

また、上記観点に係る化粧品の試用システムにおいて、
前記変換算出部は、前記特定された領域の画素値の平均値、中央値、又は、最頻値により表される色を、前記代表色として求める
ことを特徴とする。

【0016】

また、上記観点に係る化粧品の試用システムにおいて、
前記変換算出部は、前記特定された領域の画素値をクラスタリングし、最も大きいクラスタの平均値、中央値、又は、最頻値により表される色を、前記代表色として求める
ことを特徴とする。

【0017】

本発明の第２の観点に係る試用方法は、
化粧品の試用システムが実行する試用方法であって、
前記試用システムが、
ユーザが試用する第１アイテムを選択する選択入力を受け付け、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得し、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定し、
前記第１アイテムに対応付けられる第１色彩を取得し、
前記第２アイテムに対応付けられる第２色彩を取得し、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求め、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得し、
前記取得された試用画像を出力する、
ことを特徴とする。

【0018】

本発明の第３の観点に係るプログラムは、
コンピュータを、
ユーザが試用する第１アイテムを選択する選択入力を受け付ける選択受付部、
第２アイテムを塗布した前記ユーザの様子が撮影された塗布画像を取得する塗布画像取得部、
前記取得された塗布画像において、前記第２アイテムが塗布されている領域を特定する特定部、
前記第１アイテムに対応付けられる第１色彩を取得する第１色彩取得部、
前記第２アイテムに対応付けられる第２色彩を取得する第２色彩取得部、
前記取得された第２色彩を前記特定された領域の画素の色彩へ変換する変換を求める変換算出部、
前記取得された塗布画像における前記特定された領域の画素の色彩を、前記求められた変換を前記取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する試用画像取得部、
前記取得された試用画像を出力する出力部、
として機能させることを特徴とする。

【0019】

上記プログラムは、非一時的な（non-transitory）記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリである。

【発明の効果】

【0020】

本発明によれば、あるアイテムを塗布した様子を撮影した撮影環境において、塗布したものを除去せずに他のアイテムを仮想的に試用した様子を確認することが可能な化粧品の試用システム、試用方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】実施形態１に係る化粧品の試用システムと、カタログデータベースと、電子市場サーバと、の関係を示す図である。

【図2】実施形態１に係る情報処理装置のハードウェア構成を示す図である。

【図3】実施形態１に係る化粧品の試用システムの機能構成を示す図である。

【図4】実施形態１に係る塗布画像の例を示す図である。

【図5】実施形態１に係る試用画像の例を示す図である。

【図6】実施形態１に係る化粧品の試用システムが実行する試用処理を説明するための図である。

【図7】実施形態２に係る化粧品の試用システムの機能構成を示す図である。

【図8】実施形態２に係るリストの例を示す図である。

【図9】実施形態２に係る化粧品の試用システムが実行する試用処理を説明するための図である。

【発明を実施するための形態】

【0022】

（１．全体構成）
本発明の実施形態に係る化粧品の試用システム１は、ユーザに化粧を仮想的に試用した様子を提示するシステムである。化粧品の試用システム１は、図１に示すように、サーバ装置１００と端末装置２００とを含み、サーバ装置１００、端末装置２００、カタログデータベース３００及び電子市場サーバ４００は、それぞれ、インターネット等のコンピュータ通信網５００を介して通信可能に接続する。

【0023】

サーバ装置１００は、化粧を仮想的に試用した様子を提示するための種々の処理を実行する装置である。サーバ装置１００は、端末装置２００からの要求に応じて、様々な情報を提供する。

【0024】

端末装置２００は、化粧を試用するユーザの様子を撮影し、ユーザが化粧を仮想的に試用した様子を提示する端末である。例えば、スマートフォン、タブレットコンピュータ等である。例えば、端末装置２００には、化粧を仮想的に試用するためのアプリ（以下、単に「アプリ」という）がインストールされている。端末装置２００は、ユーザ自身により操作されたり、店頭で利用される場合は、店舗スタッフにより操作される。

【0025】

カタログデータベース３００は、アイテムに関する情報が登録されたデータベースである。アイテムとは、ユーザが顔又は身体に塗布する化粧品である。例えば、アイテムは、リップ、チーク、アイシャドウ、ヘアカラー、ネイルカラー等である。カタログデータベース３００には、アイテムに関する情報として、アイテムに対応付けられた色彩の情報が登録される。また、カタログデータベース３００に情報が登録されるアイテムは、電子市場サーバ４００が管理する電子市場において取り扱われるアイテムである。したがって、カタログデータベース３００には、異なるメーカのアイテムが登録される。なお、アイテムに対応付けられた色彩の情報は、カタログデータベース３００とは別のデータベースに登録されてもよい。

【0026】

電子市場サーバ４００は、電子市場を管理するサーバである。電子市場サーバ４００は、化粧品の試用システム１からの要求に応じて、ユーザの購入履歴に関する情報を化粧品の試用システム１に提供する。

【0027】

（２．情報処理装置のハードウェア構成）
図２は、サーバ装置１００及び端末装置２００が実現される情報処理装置１０のハードウェア構成の例を示す。

【0028】

情報処理装置１０は、図２に示すように、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ１３と、記録媒体１４と、出力デバイス１５と、通信デバイス１６と、入力デバイス１７と、を備える。各構成要素は、バス１８により接続されている。

【0029】

ＣＰＵ１１は、情報処理装置１０全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。

【0030】

ＲＯＭ１２には、情報処理装置１０全体の動作制御に必要なオペレーティングのプログラムや各種のデータが記録される。

【0031】

ＲＡＭ１３は、データやプログラムを一時的に記録するためのもので、記録媒体１４から読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。

【0032】

記録媒体１４は、ハードディスクやフラッシュメモリ等から構成され、情報処理装置１０で処理するデータを記録する。

【0033】

出力デバイス１５は、ＬＣＤ（Liquid Crystal Display）等の表示装置や、スピーカ等の音声出力装置を備える。出力デバイス１５は、ＣＰＵ１１による制御の下、例えば、ＣＰＵ１１から出力されたデータを出力する。

【0034】

通信デバイス１６は、情報処理装置１０をインターネット等のコンピュータ通信網に接続するための通信インターフェースを含み、通信デバイス１６を介して他の情報処理装置等とやりとりをする。

【0035】

入力デバイス１７は、ボタン、キーボード、タッチパネル、カメラ、マイク等の入力装置を備える。入力デバイス１７は、情報処理装置１０の使用者からの操作入力を受け付け、受け付けた操作入力に対応する信号をＣＰＵ１１に出力する。

【0036】

（３．実施形態１の化粧品の試用システムの機能構成）
実施形態１の化粧品の試用システム１の機能構成について、図３を用いて説明する。

【0037】

実施形態１の化粧品の試用システム１は、機能的には、選択受付部１０１と、塗布画像取得部１０２と、特定部１０３と、第１色彩取得部１０４と、第２色彩取得部１０５と、変換算出部１０６と、試用画像取得部１０７と、出力部１０８と、を備える。これらの機能部は、サーバ装置１００及び端末装置２００が協働して実現してもよいし、サーバ装置１００又は端末装置２００が単独で実現してもよし、サーバ装置１００単独で実現されてもよい。

【0038】

以下では、上記機能部をサーバ装置１００及び端末装置２００が協働して実現し、オンラインサービスとしてアイテムを仮想的に試用した様子を提示する場合を例に説明する。具体的には、サーバ装置１００が、特定部１０３、第２色彩取得部１０５、変換算出部１０６及び試用画像取得部１０７の機能を実現し、端末装置２００が、選択受付部１０１、塗布画像取得部１０２、第１色彩取得部１０４及び出力部１０８の機能を実現する。

【0039】

図４に、端末装置２００において動作するアプリの例を示す。アプリ６００には、後述する塗布画像又は試用画像が表示される領域６０１と、ユーザが選択した第１アイテムを表示するための欄６０２と、第１アイテムの色彩を表示するための欄６０３と、ユーザに塗布された第２アイテムを表示するための欄６０４と、第２アイテムの色彩を表示するための欄６０５と、が含まれる。

【0040】

第１アイテムとは、ユーザが仮想的に試用するアイテムである。また、第２アイテムとは、ユーザに塗布されたアイテムであり、第１アイテムと同じ領域に塗布されるアイテムである。アプリ６００は、第２アイテムを塗布したユーザの領域に、第１アイテムを仮想的に試用した様子を示す。

【0041】

ここで、第１アイテムと第２アイテムとは、カタログデータベース３００に色彩の情報が登録されているアイテムであれば、異なるメーカのアイテムでもよい。

【0042】

例えば、ユーザは、アプリ６００を用いて、“メーカＸ”のリップを塗布した自身の画像において、“メーカＹ”のリップを仮想的に試用した様子を確認することができる。

【0043】

選択受付部１０１は、ユーザが試用する第１アイテムを選択する選択入力を受け付ける。選択受付部１０１は、ＣＰＵ１１、出力デバイス１５、通信デバイス１６及び入力デバイス１７により実現される。

【0044】

例えば、選択受付部１０１は、ユーザ７００がアプリ６００において第１アイテムが表示される欄６０２をタップ等により選択すると、カタログデータベース３００に登録されているアイテムのリストを表示する。そして、選択受付部１０１は、ユーザ７００がリストの“リップ１”を選択すると、“リップ１”の選択入力を受け付け、サーバ装置１００に第１アイテムとして“リップ１”の情報を送信する。また、選択受付部１０１は、アプリ６００の第１アイテムが表示される欄６０２に“リップ１”を表示する。

【0045】

塗布画像取得部１０２は、第２アイテムを塗布したユーザの様子が撮影された塗布画像を取得する。塗布画像取得部１０２は、ＣＰＵ１１、通信デバイス１６及び入力デバイス１７により実現される。

【0046】

塗布画像とは、第２アイテムが塗布されたユーザを撮影した画像である。

【0047】

図４の領域６０１に塗布画像の例を示す。塗布画像６０１－１は、ユーザ７００の唇７０１に第２アイテムであるリップが塗布された様子を示す。

【0048】

例えば、ユーザ７００が端末装置２００のカメラを用いて、図４に示すように、領域６０１に塗布画像６０１－１表示させ、撮影すると、塗布画像取得部１０２は、塗布画像６０１－１を取得し、サーバ装置１００に塗布画像６０１－１の情報を送信する。

【0049】

ここで、塗布画像取得部１０２が取得する塗布画像は、静止画像、又は、動画に含まれるフレーム画像である。塗布画像取得部１０２は、静止画像、又は、動画を、アプリ起動中に取得してもよいし、過去に取得したライブラリから取得してもよい。

【0050】

例えば、塗布画像取得部１０２は、ユーザが、自宅で手持ちのアイテムを塗布した様子を自撮りしているライブ動画を取得する。或いは、塗布画像取得部１０２は、店頭でアイテムを塗布した様子を撮影しているライブ動画を取得する。或いは、塗布画像取得部１０２は、アイテムを塗布した様子を撮影した静止画像を端末装置２００のライブラリから取得する。

【0051】

特定部１０３は、取得された塗布画像において、第２アイテムが塗布されている領域を特定する。特定部１０３は、ＣＰＵ１１により実現される。

【0052】

具体的には、特定部１０３は、第１アイテムが塗布されるべき領域を、塗布画像において、第２アイテムが塗布されている領域として特定する。

【0053】

例えば、特定部１０３は、端末装置２００から送信された塗布画像について顔認識を行い、塗布画像における第２アイテムが塗布されている領域を特定する。例えば、特定部１０３は、第１アイテムがリップの場合、塗布されるべき領域は唇なので、塗布画像６０１－１における唇７０１の領域を、第２アイテムが塗布されている領域として特定する。或いは、特定部１０３は、第１アイテムがアイシャドウの場合、塗布されるべき領域は瞼なので、塗布画像６０１－１における瞼の領域を、第２アイテムが塗布されている領域として特定する。

【0054】

第１色彩取得部１０４は、第１アイテムに対応付けられる第１色彩を取得する。第１色彩取得部１０４は、ＣＰＵ１１、出力デバイス１５、通信デバイス１６及び入力デバイス１７により実現される。

【0055】

第１色彩とは、ユーザが仮想的に試用する第１アイテムの色彩である。

【0056】

具体的には、第１色彩取得部１０４は、カタログデータベース３００を参照して、第１アイテムに対応付けられる第１色彩を取得する。

【0057】

例えば、第１色彩取得部１０４は、ユーザ７００がアプリ６００において第１色彩が表示される欄６０３をタップ等により選択すると、カタログデータベース３００に登録されている“リップ１”の色彩のバリエーションのリストを表示する。例えば、リストには、“色彩１－１”～“色彩１－７”が含まれるとする。第１色彩取得部１０４は、ユーザ７００がリストの“色彩１－３”を選択すると、“色彩１－３”の選択入力を受け付け、サーバ装置１００に第１色彩として“色彩１－３”の情報を送信する。また、第１色彩取得部１０４は、アプリ６００の第１色彩が表示される欄６０３に“色彩１－３”を表示する。

【0058】

第２色彩取得部１０５は、第２アイテムに対応付けられる第２色彩を取得する。第２色彩取得部１０５は、ＣＰＵ１１及び通信デバイス１６により実現される。

【0059】

第２色彩とは、ユーザが自身に塗布した第２アイテムの色彩である。

【0060】

具体的には、第２色彩取得部１０５は、ユーザの購入履歴から第２アイテムの候補となる候補アイテムを取得し、候補アイテムの色彩のうち、特定された領域の画素の色彩に最も近い色彩を第２色彩として取得する。ここで、第２色彩取得部１０５は、カタログデータベース３００を参照して、第２アイテムに対応付けられる第２色彩を取得する。

【0061】

例えば、第２色彩取得部１０５は、電子市場サーバ４００からユーザ７００の購入履歴を取得する。第２色彩取得部１０５は、取得したユーザ７００の購入履歴に含まれるアイテムのうち、第１アイテムと同じカテゴリのアイテムを、候補アイテムとして取得する。第２色彩取得部１０５は、“リップ１”と同じカテゴリのアイテムの“リップ２”、“リップ３”及び“リップ４”を候補アイテムとして取得したとすると、次に、カタログデータベース３００を参照して、複数の候補アイテムのそれぞれに対応付けられる色彩を取得する。第２色彩取得部１０５は、“リップ２”に対応付けられる“色彩２－１”～“色彩２－５”、“リップ３”に対応付けられる“色彩３－１”～“色彩３－４”及び“リップ４”に対応付けられる“色彩４－１”～“色彩４－６”を取得したとすると、“色彩２－１”～“色彩２－５”、“色彩３－１”～“色彩３－４”及び“色彩４－１”～“色彩４－６”のうち、塗布画像６０１－１の唇７０１の画素の色彩に最も近い色彩を、第２色彩として特定する。

【0062】

例えば、塗布画像６０１－１の唇７０１の画素の色彩に最も近い色彩が“色彩２－１”であるとすると、第２色彩取得部１０５は、“色彩２－１”を第２色彩として特定する。

【0063】

そして、サーバ装置１００は、最も近い色彩を有する候補アイテムを、第２アイテムとする。

【0064】

例えば、サーバ装置１００は、第２色彩である“色彩２－１”が対応付けられた“リップ２”を第２アイテムとする。この場合、図４に示すように、アプリ６００の第２アイテムが表示される欄６０４に“リップ２”が表示され、第２色彩が表示される欄６０５に“色彩２－１”が表示される。

【0065】

なお、ユーザは、自動で設定された第２アイテム及び第２色彩を修正することができる。欄６０４は、タップ等により選択されると、カタログデータベース３００に登録されているアイテムであって、第１アイテムと同じカテゴリのアイテムのリストを表示する。ユーザは、リストから第２アイテムを選択することができる。また、欄６０５は、タップ等により選択されると、欄６０４に表示されているアイテムについてカタログデータベース３００に登録されている色彩のリストを表示する。ユーザは、リストから第２色彩を選択することができる。

【0066】

変換算出部１０６は、取得された第２色彩を特定された領域の画素の色彩へ変換する変換を求める。変換算出部１０６は、ＣＰＵ１１により実現される。

【0067】

例えば、変換算出部１０６は、第２アイテム“リップ２”の第２色彩“色彩２－１”を塗布画像６０１－１において特定された唇７０１の領域の画素の色彩へ変換する変換を求める。

【0068】

具体的には、塗布画像取得部１０２が取得する塗布画像が、静止画像の場合、変換算出部１０６は、取得された第２色彩を特定された領域の画素の色彩に画素単位で変換するフィルタを作成することにより、変換を求める。

【0069】

例えば、塗布画像６０１－１が静止画像の場合、変換算出部１０６は、第２色彩“色彩２－１”を、唇７０１の領域の画素ｉ（ｉは１以上Ｎ以下。Ｎは領域に含まれる画素数）の色彩ｉに変換するフィルタ、すなわち、Ｒ値、Ｇ値、及びＢ値をｋ＿ｒｉ倍、ｋ＿ｇｉ倍及びｋ＿ｂｉ倍するフィルタを作成する。

【0070】

或いは、塗布画像取得部１０２が取得する塗布画像が、動画に含まれるフレーム画像の場合、変換算出部１０６は、特定された領域について代表色を求め、取得された第２色彩を代表色に変換するフィルタを作成することにより、変換を求める。

【0071】

例えば、塗布画像６０１－１が動画に含まれるフレーム画像の場合、変換算出部１０６は、まず、唇７０１の領域の代表色を求める。

【0072】

具体的には、変換算出部１０６は、特定された領域の画素値の平均、中央値又は最頻値により表される色を、代表色として求める。

【0073】

例えば、変換算出部１０６は、唇７０１の領域の画素ｉについて、Ｒ値、Ｇ値及びＢ値のそれぞれの平均値、中央値又は最頻値を算出する。変換算出部１０６は、算出されたＲ値、Ｇ値及びＢ値の平均、中央値又は最頻値を組み合わせた色を、特定された領域の代表色とする。または、変換算出部１０６は、画素ｉのＲ値、Ｇ値及びＢ値の組合せのうち、最頻値を代表色とする。

【0074】

或いは、変換算出部１０６は、特定された領域の画素値をクラスタリングし、最も大きいクラスタの平均値、中央値又は最頻値により表される色を、代表色として求める。

【0075】

例えば、変換算出部１０６は、唇７０１の領域の画素ｉについて、Ｒ値、Ｇ値及びＢ値により表される３次元ベクトルを、ｋ－ｍｅａｎｓ法によりクラスタリングし、最も大きいクラスタに含まれる３次元ベクトルのＲ値、Ｇ値及びＢ値のそれぞれの平均値、中央値、又は、最頻値により表される色を、代表色として求める。または、最も大きいクラスタの重心のＲ値、Ｇ値及びＢ値により表される色を代表色として求める。

【0076】

変換算出部１０６は、第２色彩“色彩２－１”を、唇７０１の領域の代表色に変換するフィルタ、すなわち、Ｒ値、Ｇ値及びＢ値を、ｋ＿ｒ倍、ｋ＿ｇ倍及びｋ＿ｂ倍するフィルタを作成する。

【0077】

試用画像取得部１０７は、取得された塗布画像における特定された領域の画素の色彩を、求められた変換を取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する。試用画像取得部１０７は、ＣＰＵ１１及び通信デバイス１６により実現される。

【0078】

具体的には、塗布画像取得部１０２が取得する塗布画像が、静止画像の場合、試用画像取得部１０７は、取得された第１色彩をフィルタを用いて画素単位で変換し、取得された塗布画像における特定された領域の画素のそれぞれの色彩を、画素単位で変換された色彩に置き換えることにより、試用画像を取得する。

【0079】

例えば、試用画像取得部１０７は、塗布画像６０１－１が静止画像の場合、第１色彩“色彩１－３”のＲ値、Ｂ値及びＧ値を、ｋ＿ｒｉ倍、ｋ＿ｇｉ倍及びｋ＿ｂｉ倍するフィルタを用いて、画素ｉについて変換後の色彩ｉを求める。そして、試用画像取得部１０７は、塗布画像６０１－１における唇７０１の領域の画素ｉの色彩ｉを、変換後の色彩ｉで置き換えた試用画像６０１－２を生成し、端末装置２００に試用画像６０１－２の情報を送信する。

【0080】

塗布画像取得部１０２が取得する塗布画像が、動画に含まれるフレーム画像の場合、試用画像取得部１０７は、取得された第１色彩をフィルタを用いて変換し、取得された塗布画像における特定された領域に、変換された色彩を塗りつけることにより、試用画像を取得する。

【0081】

例えば、試用画像取得部１０７は、塗布画像６０１－１が動画に含まれるフレーム画像の場合、第１色彩“色彩１－３”のＲ値、Ｂ値及びＧ値を、ｋ＿ｒ倍、ｋ＿ｇ倍及びｋ＿ｂ倍するフィルタを用いて、変換後の色彩を求める。そして、試用画像取得部１０７は、塗布画像６０１－１における唇７０１の領域の画素ｉの色彩ｉを、変換後の色彩で置き換えた試用画像６０１－２を生成し、端末装置２００に試用画像６０１－２の情報を送信する。

【0082】

出力部１０８は、取得された試用画像を出力する。出力部１０８は、選択受付部１０１は、ＣＰＵ１１、出力デバイス１５及び通信デバイス１６により実現される。

【0083】

例えば、出力部１０８は、サーバ装置１００が送信した試用画像６０１－２を、図５に示すように、アプリ６００の領域６０１に表示する。例えば、塗布画像６０１－１が、ユーザ７００が“リップ２”を塗布した様子を示す静止画像である場合、試用画像６０１－２は、塗布画像６０１－１のユーザ７００の唇７０１に“リップ１”の“色彩１－３”が仮想的に塗布された様子を示す画像である。例えば、ユーザが、手持ちの“リップ２”を塗布した様子を示す画像をライブラリから選択し、“色彩１－３”の“リップ１”を選択すると、ライブラリの画像の“リップ２”を塗布した領域に、“色彩１－３”の“リップ１”が塗布されているような画像が領域６０１に表示される。

【0084】

また、塗布画像取得部１０２が取得する塗布画像が、動画に含まれるフレーム画像の場合、出力部１０８は、取得された試用画像を動画に含まれるフレーム画像として出力する。

【0085】

例えば、出力部１０８は、サーバ装置１００が送信した試用画像６０１－２を、動画のフレーム画像として、アプリ６００の領域６０１に表示する。塗布画像６０１－１が、ユーザ７００が“リップ２”を塗布した様子を示すライブ動画のフレーム画像である場合、試用画像６０１－２は、塗布画像６０１－１のユーザ７００の唇７０１に“リップ１”の“色彩１－３”が仮想的に塗布された様子を示すフレーム画像である。例えば、ユーザが、手持ちの“リップ２”を塗布した様子を動画で自撮りして、“色彩１－３”の“リップ１”を選択すると、“リップ２”を塗布した領域に、“色彩１－３”の“リップ１”が塗布されているような動画がリアルタイムで領域６０１に表示される。

【0086】

（４．実施形態１の化粧品の試用システムの動作）
本実施形態の化粧品の試用システム１の動作について、図６を用いて説明する。例えば、化粧品の試用システム１は、端末装置２００においてアプリ６００が起動されると、図６に示す試用処理を開始する。

【0087】

選択受付部１０１は、ユーザが試用する第１アイテムを選択する選択入力を受け付ける（ステップＳ１０１）。

【0088】

例えば、選択受付部１０１は、ユーザ７００がアプリ６００において第１アイテムが表示される欄６０２をタップ等により選択すると、カタログデータベース３００に登録されているアイテムのリストを表示し、ユーザ７００がリストの“リップ１”を選択すると、“リップ１”の選択入力を受け付け、サーバ装置１００に第１アイテムとして“リップ１”の情報を送信する。

【0089】

塗布画像取得部１０２は、第２アイテムを塗布したユーザの様子が撮影された塗布画像を取得する（ステップＳ１０２）。

【0090】

例えば、ユーザ７００が端末装置２００のカメラを用いて、図４に示すように、領域６０１に塗布画像６０１－１表示させ、撮影すると、塗布画像取得部１０２は、塗布画像６０１－１を取得し、サーバ装置１００に塗布画像６０１－１の情報を送信する。

【0091】

特定部１０３は、取得された塗布画像において、第１アイテムが塗布されるべき領域を、第２アイテムが塗布されている領域として特定する（ステップＳ１０３）。

【0092】

例えば、特定部１０３は、端末装置２００から送信された塗布画像６０１－１について顔認識を行い、第１アイテム“リップ１”が塗布されるべき領域である唇７０１の領域を、第２アイテムが塗布されている領域として特定する。

【0093】

第１色彩取得部１０４は、カタログデータベース３００を参照して、第１アイテムに対応付けられる第１色彩を取得する（ステップＳ１０４）。

【0094】

例えば、第１色彩取得部１０４は、ユーザ７００がアプリ６００において第１色彩が表示される欄６０３をタップ等により選択すると、カタログデータベース３００に登録されている“リップ１”の色彩のバリエーションのリストを表示し、ユーザ７００がリストの“色彩１－３”を選択すると、“色彩１－３”の選択入力を受け付け、サーバ装置１００に第１色彩として“色彩１－３”の情報を送信する。

【0095】

第２色彩取得部１０５は、カタログデータベース３００を参照して、第２アイテムに対応付けられる第２色彩を取得する（ステップＳ１０５）。

【0096】

例えば、第２色彩取得部１０５は、電子市場サーバ４００から取得したユーザ７００の購入履歴に基づいて第２アイテムの候補となる候補アイテム“リップ２”、“リップ３”及び“リップ４”を取得し、カタログデータベース３００に登録された候補アイテムの“色彩２－１”～“色彩２－５”、“色彩３－１”～“色彩３－４”及び“色彩４－１”～“色彩４－６”を取得したとすると、“色彩２－１”～“色彩２－５”、“色彩３－１”～“色彩３－４”及び“色彩４－１”～“色彩４－６”のうち、塗布画像６０１－１の唇７０１の画素の色彩に最も近い色彩“色彩２－１”を、第２色彩として自動で特定する。

【0097】

変換算出部１０６は、取得された第２色彩を特定された領域の画素の色彩へ変換する変換を求める（ステップＳ１０６）。

【0098】

例えば、変換算出部１０６は、第２色彩“色彩２－１”を塗布画像６０１－１において特定された唇７０１の領域の画素の色彩へ変換する変換を求める。

【0099】

試用画像取得部１０７は、取得された塗布画像における特定された領域の画素の色彩を、求められた変換を取得された第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する（ステップＳ１０７）。

【0100】

例えば、試用画像取得部１０７は、第１色彩“色彩１－３”のＲ値、Ｂ値及びＧ値を、ｋ＿ｒｉ倍、ｋ＿ｇｉ倍及びｋ＿ｂｉ倍するフィルタを用いて、画素ｉについて変換後の色彩ｉを求め、塗布画像６０１－１における唇７０１の領域の画素ｉの色彩ｉを、変換後の色彩ｉで置き換えた試用画像６０１－２を生成し、端末装置２００に試用画像６０１－２の情報を送信する。

【0101】

出力部１０８は、取得された試用画像を出力する（ステップＳ１０８）。

【0102】

例えば、出力部１０８は、サーバ装置１００が送信した試用画像６０１－２を、図５に示すように、アプリ６００の領域６０１に表示する。

【0103】

本実施形態によれば、第２アイテムを塗布した撮影環境において、第２アイテムを塗布した部分を拭き取らずに、第１アイテムを仮想的に試用した様子を確認することができる。これにより、実際に塗布したアイテムの色味と、実際に塗布していないアイテムの色味とを同じ撮影環境で、簡単に比較することができる。

【0104】

また、本実施形態によれば、ユーザの購入履歴に基づいて、ユーザが塗布したアイテム及び色彩を特定することができる。これにより、ユーザが現在又は過去に塗布したアイテムを検索する手間を省くことができる。

【0105】

また、本実施形態によれば、カタログデータベースに登録されている異なるメーカのアイテムを仮想的に試用することができる。これにより、同じ領域に塗布する異なるメーカのアイテムの色味を比較することができる。また、カタログデータベースに登録されているアイテムは、電子市場で扱われているアイテムであるので、ユーザは、様々なメーカのアイテムを仮想的に試用して購入の検討を行うことができる。

【0106】

また、本実施形態によれば、過去に撮影した静止画像又は動画像、或いは、ライブ撮影した動画像のアイテムの色彩と、実際に塗布していないアイテムの色彩とを比較することができる。これにより、ユーザは、様々な撮影環境における実際に塗布したアイテムの色味と、実際に塗布していないアイテムの色味とを比較することができる。

【0107】

また、本実施形態によれば、ライブ動画のような動画像には、代表色を塗りつけることにより、リアルタイムで、アイテムを仮想的に試用した様子を確認することができる。さらに、本実施形態によれば、クラスタリングにより、代表色を求めることにより、例えば、つやのあるリップを塗布した領域のうち、ハイライト部分を除いて代表色を定めることができ、代表色として適当な色を求めることができる。

【0108】

（５．実施形態２の化粧品の試用システムの機能構成）
実施形態２の化粧品の試用システム１の機能構成について、図７を用いて説明する。

【0109】

実施形態２の化粧品の試用システム１は、機能的には、選択受付部１０１と、塗布画像取得部１０２と、特定部１０３と、第１色彩取得部１０４と、第２色彩取得部１０５と、変換算出部１０６と、試用画像取得部１０７と、出力部１０８と、指定受付部１０９と、を備える。以下では、上記機能部をサーバ装置１００及び端末装置２００が協働して実現し、オンラインサービスとしてアイテムを仮想的に試用した様子を提示する場合を例に説明する。具体的には、サーバ装置１００が、特定部１０３、第２色彩取得部１０５、変換算出部１０６及び試用画像取得部１０７の機能を実現し、端末装置２００が、選択受付部１０１、塗布画像取得部１０２、第１色彩取得部１０４、出力部１０８及び指定受付部１０９の機能を実現する。また、以下では、実施形態１の試用システム１の機能と異なる機能について説明する。

【0110】

指定受付部１０９は、ユーザの購入履歴から第２アイテムの候補となる候補アイテムを取得し、候補アイテムのリストを提示し、リストにおいていずれかの候補アイテムを指定する指定入力を受け付ける。指定受付部１０９は、ＣＰＵ１１、出力デバイス１５、通信デバイス１６及び入力デバイス１７により実現される。

【0111】

例えば、指定受付部１０９は、ユーザ７００がアプリ６００において第２アイテムが表示される欄６０４をタップ等により選択すると、電子市場サーバ４００からユーザ７００の購入履歴を取得する。次に、指定受付部１０９は、取得したユーザ７００の購入履歴に含まれるアイテムを候補アイテムとして取得する。指定受付部１０９は、図８に示すように、候補アイテムのリスト６０６を表示する。そして、指定受付部１０９は、ユーザ７００がリストから第２アイテムとして“リップ２”を選択すると、“リップ２”の指定入力を受け付け、サーバ装置１００に“リップ２”の情報を受け付ける。

【0112】

サーバ装置１００は、指定入力に係る候補アイテムを、第２アイテムとする。

【0113】

例えば、サーバ装置１００は、“リップ２”を第２アイテムとする。また、指定受付部１０９は、アプリ６００の第２アイテムが表示される欄６０４に“リップ２”を表示する。

【0114】

特定部１０３は、第２アイテムが塗布されるべき領域を、塗布画像において、第２アイテムが塗布されている領域として特定する。

【0115】

例えば、特定部１０３は、端末装置２００から送信された塗布画像６０１－１について顔認識を行い、第２アイテム“リップ２”が塗布されるべき領域である唇７０１の領域を、第２アイテムが塗布されている領域として特定する。

【0116】

第２色彩取得部１０５は、カタログデータベース３００を参照して、ユーザにより指定された第２アイテムに対応付けられる第２色彩を取得する。

【0117】

例えば、第２色彩取得部１０５は、カタログデータベース３００を参照して、第２アイテム“リップ２”に対応付けられる“色彩２－１”～“色彩２－５”を取得する。そして、第２色彩取得部１０５は、“色彩２－１”～“色彩２－５”のうち、塗布画像６０１－１の唇７０１の画素の色彩に最も近い色彩を、第２色彩として特定する。

【0118】

（６．実施形態２の化粧品の試用システムの動作）
本実施形態の化粧品の試用システム１の動作について、図９を用いて説明する。例えば、化粧品の試用システム１は、端末装置２００においてアプリ６００が起動されると、図９に示す試用処理を開始する。なお、ステップＳ２０１、Ｓ２０５～Ｓ２０９の処理は、図６のフローチャートのステップＳ１０２、Ｓ１０６、Ｓ１０１、Ｓ１０４、Ｓ１０７、Ｓ１０８の処理と同じである。

【0119】

ステップＳ２０１において、塗布画像取得部１０２が塗布画像を取得すると、指定受付部１０９は、ユーザの購入履歴から第２アイテムの候補となる候補アイテムを取得し、候補アイテムのリストを提示し、リストにおいていずれかの候補アイテムを指定する指定入力を受け付ける（ステップＳ２０２）。

【0120】

例えば、指定受付部１０９は、図８に示すように、候補アイテムのリスト６０６を、端末装置２００のアプリ６００に表示させ、端末装置２００のアプリ６００から“リップ２”の指定入力の情報を受け付ける。

【0121】

特定部１０３は、第２アイテムが塗布されるべき領域を、塗布画像において、第２アイテムが塗布されている領域として特定する（ステップＳ２０３）。

【0122】

例えば、特定部１０３は、端末装置２００から送信された塗布画像６０１－１について顔認識を行い、第２アイテム“リップ２”が塗布されるべき領域である唇７０１の領域を、第２アイテム“リップ２”が塗布されている領域として特定する。

【0123】

第２色彩取得部１０５は、第２アイテムに対応付けられる第２色彩を取得する（ステップＳ２０４）。

【0124】

例えば、第２色彩取得部１０５は、カタログデータベース３００を参照して、“リップ２”に対応付けられる“色彩２－１”～“色彩２－５”を取得すると、“色彩２－１”～“色彩２－５”のうち、塗布画像６０１－１の唇７０１の画素の色彩に最も近い色彩“色彩２－１”を、第２色彩として自動で特定する。

【0125】

ステップＳ２０４において、第２色彩取得部１０５が第２色彩を取得すると、ステップＳ２０５以降の処理が実行される。

【0126】

本実施形態によれば、ユーザの購入履歴に基づいて、ユーザが塗布したアイテムの候補のリストを提示することにより、ユーザが現在又は過去に塗布したアイテムを検索する手間を省くことができる。また、購入履歴に基づいて生成されたアイテムのリストからユーザに選択させることにより、塗布したアイテムをユーザに正確に選択させることができる。

【0127】

（７．変形例）
以上、本発明の実施形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。

【0128】

上記実施形態において、サーバ装置１００と端末装置２００とが協働して各機能部を実現し、オンラインサービスとしてアイテムを仮想的に試用した様子を提示する場合を示したが、これに限らない。例えば、端末装置２００で動作するアプリが単独で各機能部を実現し、オフラインでアイテムを仮想的に試用した様子を提示してもよい。この場合、アプリは、カタログデータベース３００の情報を、予めダウンロードしておく。また、特定部１０３は、端末装置２００が有するＡＲ（Augmented Reality）ライブラリ、ＡＩ（Artificial Intelligence）ライブラリ、又は、画像認識ライブラリ等のライブラリを用いて、顔認識を行い、塗布画像における第２アイテムが塗布される領域を特定する。

【0129】

また、上記実施形態において、サーバ装置１００が、特定部１０３、第２色彩取得部１０５、変換算出部１０６及び試用画像取得部１０７の機能を実現し、端末装置２００が、選択受付部１０１、塗布画像取得部１０２、第１色彩取得部１０４及び出力部１０８の機能を実現するとしたが、これに限らない。サーバ装置１００及び端末装置２００が実現する機能部は、適宜変更することができる。

【0130】

また、上記実施形態１において、図６に試用処理のフローチャートを示したが、処理の順序はこれに限らない。例えば、ステップＳ１０４の処理は、ステップＳ１０１の処理の後であって、ステップＳ１０７の処理より前であれば、どの順番であってもよい。

【0131】

また、上記実施形態２において、第２色彩取得部１０５が、カタログデータベース３００を参照して、ユーザにより指定された第２アイテムに対応付けられる第２色彩を自動で特定する例を示したが、これに限らない。例えば、第２色彩取得部１０５は、カタログデータベース３００に登録されている第２アイテムに対応付けられた色彩のバリエーションのリストをユーザに提示し、リストから選択された色彩を第２色彩として取得してもよい。

【0132】

また、上記実施形態２において、図９に試用処理のフローチャートを示したが、処理の順序はこれに限らない。例えば、ステップＳ２０６及びステップＳ２０７の処理は、ステップＳ２０２の処理の前に行われてもよい。

【0133】

また、上記実施形態に係る化粧品の試用システム１の動作を規定する動作プログラムを既存のパーソナルコンピュータ又は情報端末装置に適用することで、当該パーソナルコンピュータ又は情報端末装置を実施形態に係る化粧品の試用システム１として機能させることも可能である。

【0134】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0135】

本発明によれば、あるアイテムを塗布した様子を撮影した撮影環境において、塗布したものを除去せずに他のアイテムを仮想的に試用した様子を確認することが可能な化粧品の試用システム、試用方法及びプログラムを提供することができる。

【符号の説明】

【0136】

１ 化粧品の試用システム
１０ 情報処理装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記録媒体
１５ 出力デバイス
１６ 通信デバイス
１７ 入力デバイス
１８ バス
１００ サーバ装置
１０１ 選択受付部
１０２ 塗布画像取得部
１０３ 特定部
１０４ 第１色彩取得部
１０５ 第２色彩取得部
１０６ 変換算出部
１０７ 試用画像取得部
１０８ 出力部
１０９ 指定受付部
２００ 端末装置
３００ カタログデータベース
４００ 電子市場サーバ
５００ コンピュータ通信網
６００ アプリ
６０１ 領域
６０１－１ 塗布画像
６０１－２ 試用画像
６０２～６０５ 欄
６０６ リスト
７００ ユーザ
７０１ 唇

【要約】

【課題】あるアイテムを塗布した様子を撮影した撮影環境において、塗布したものを除去せずに他のアイテムを仮想的に試用した様子を確認することが可能な化粧品の試用システム、試用方法及びプログラムを提供する。
【解決手段】化粧品の試用システムの選択受付部１０１は、ユーザが試用する第１アイテムを選択する選択入力を受け付ける。塗布画像取得部１０２は、第２アイテムを塗布したユーザが撮影された塗布画像を取得する。特定部１０３は、取得された塗布画像において、第２アイテムが塗布されている領域を特定する。変換算出部１０６は、第２アイテムに対応付けられる第２色彩を特定された領域の画素の色彩へ変換する変換を求める。試用画像取得部１０７は、特定された領域の画素の色彩を、求められた変換を第１アイテムに対応付けられる第１色彩に対して適用した色彩に置き換えることにより、試用画像を取得する。出力部１０８は、試用画像を出力する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】