(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】顔画像生成装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20240902BHJP
G06T 11/80 20060101ALI20240902BHJP
G06Q 50/10 20120101ALI20240902BHJP
【FI】
G06T1/00 340A
G06T11/80 A
G06Q50/10
(21)【出願番号】P 2023517070
(86)(22)【出願日】2022-02-09
(86)【国際出願番号】 JP2022005194
(87)【国際公開番号】W WO2022230298
(87)【国際公開日】2022-11-03
【審査請求日】2023-09-07
(31)【優先権主張番号】P 2021077491
(32)【優先日】2021-04-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【氏名又は名称】深石 賢治
(74)【代理人】
【識別番号】100183081
【氏名又は名称】岡▲崎▼ 大志
(72)【発明者】
【氏名】阿部 桃子
【審査官】佐田 宏史
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00-7/90,11/80
G06V 10/00-10/98
G06Q 50/10
(57)【特許請求の範囲】
【請求項1】
ユーザによる第一パターンに対応する化粧が施された第一顔画像を取得する第一顔画像取得部と、
前記第一顔画像と、前記第一パターンに対応する標準的な化粧の特徴に関する第一標準データと、に基づいて、前記ユーザの化粧の特徴を抽出する特徴抽出部と、
前記第一パターンとは異なる第二パターンに対応する標準的な化粧の特徴に関する第二標準データに、前記特徴抽出部により抽出された前記ユーザの化粧の特徴を反映させることにより、前記第二パターンに対応する化粧が施された第二顔画像を生成する第二顔画像生成部と、
前記第二顔画像生成部により生成された前記第二顔画像を前記ユーザに提示する提示部と、
を備える顔画像生成装置。
【請求項2】
前記第一標準データは、前記第一パターンに対応する標準的な化粧の特徴について予め定められた分布に関する情報を含み、
前記第二標準データは、前記第二パターンに対応する標準的な化粧の特徴について予め定められた分布に関する情報を含む、請求項1に記載の顔画像生成装置。
【請求項3】
前記第一標準データ及び前記第二標準データの各々は、予め定められた標準サイズの顔を基準とした化粧の特徴の分布に関する情報を含み、
前記特徴抽出部は、
前記第一顔画像に応じた変換率を用いて前記第一顔画像を変換することにより、前記標準サイズの第一変換顔画像を生成し、
前記第一変換顔画像と前記第一標準データとを比較することにより、前記ユーザの化粧の特徴を抽出し、
前記第二顔画像生成部は、
前記第二標準データに前記ユーザの化粧の特徴を反映することにより、前記標準サイズの第二変換顔画像を生成し、
前記変換率を用いて前記第二変換顔画像を逆変換することにより、前記第一顔画像に対応するサイズの前記第二顔画像を生成する、
請求項2に記載の顔画像生成装置。
【請求項4】
前記第一標準データ及び前記第二標準データの各々に含まれる前記化粧の特徴の分布に関する情報は、予め定められた一以上の化粧対象部位の化粧に関するパラメータの平均及び分散を含み、
前記特徴抽出部は、各前記化粧対象部位について、前記第一変換顔画像における前記パラメータの値と前記第一標準データにおける前記パラメータの平均及び分散とに基づいて、前記第一変換顔画像が前記第一標準データから乖離している度合いを示す乖離度を前記ユーザの化粧の特徴として抽出し、
前記第二顔画像生成部は、各前記化粧対象部位について、前記乖離度と前記第二標準データにおける前記パラメータの分散とに基づいて補正値を算出し、前記補正値を用いて前記第二標準データにおける前記パラメータの平均を補正することにより、前記第二変換顔画像における前記パラメータの値を決定する、
請求項3に記載の顔画像生成装置。
【請求項5】
前記第一顔画像取得部は、前記第一パターンに対応する複数の前記第一顔画像を取得し、
前記特徴抽出部は、前記第一顔画像毎の前記ユーザの化粧の特徴を抽出し、
前記第二顔画像生成部は、前記特徴抽出部により抽出された前記第一顔画像毎の前記ユーザの化粧の特徴に基づいて、前記複数の前記第一顔画像の各々に対応する複数の前記第二顔画像を生成し、
前記提示部は、前記第二顔画像生成部により生成された前記複数の前記第二顔画像を前記ユーザに提示する、
請求項1~4のいずれか一項に記載の顔画像生成装置。
【請求項6】
前記第一顔画像取得部は、前記第一パターンに対応する複数の前記第一顔画像を取得し、
前記特徴抽出部は、各前記第一顔画像の使用頻度に応じた重み付けに基づいて、前記ユーザの化粧の特徴を抽出する、請求項1~4のいずれか一項に記載の顔画像生成装置。
【請求項7】
前記提示部により前記ユーザに提示された前記第二顔画像に対する前記ユーザによる化粧の修正を受け付ける化粧入力部と、
前記化粧入力部により受け付けられた修正に関する修正情報を記憶する記憶部と、を更に備え、
前記第二顔画像生成部は、前記記憶部に前記修正情報が記憶されている場合、前記修正情報に更に基づいて、前記第二顔画像を生成する、請求項1~6のいずれか一項に記載の顔画像生成装置。
【請求項8】
前記第一顔画像及び前記第二顔画像は、複数のユーザにより共有される仮想空間における前記ユーザのアバターに適用される顔画像であり、
前記第一標準データ及び前記第二標準データを生成する標準データ生成部を更に備え、
前記標準データ生成部は、
実世界における化粧が施された複数の顔画像の各々に対応する前記アバターを生成し、
生成された複数の前記アバターの化粧の特徴に基づいて、前記第一標準データ及び前記第二標準データを生成する、
請求項1~7のいずれか一項に記載の顔画像生成装置。
【請求項9】
前記第一顔画像及び前記第二顔画像は、複数のユーザにより共有される仮想空間における前記ユーザのアバターに適用される顔画像であり、
前記第一標準データ及び前記第二標準データを生成する標準データ生成部を更に備え、
前記標準データ生成部は、前記仮想空間において複数のユーザによって生成された複数の前記アバターの化粧の特徴に基づいて、前記第一標準データ及び前記第二標準データを生成する、
請求項1~7のいずれか一項に記載の顔画像生成装置。
【請求項10】
前記標準データ生成部は、一定期間毎に、前記一定期間内に複数のユーザによって生成された複数の前記アバターの化粧に基づいて、前記第一標準データ及び前記第二標準データを更新する、
請求項9に記載の顔画像生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一側面は、顔画像生成装置に関する。
【背景技術】
【0002】
ユーザの顔画像を取得し、当該顔画像に対して化粧を施した化粧後画像を生成する装置が知られている。例えば、特許文献1には、ビジネス、ショッピング、アウトドア、結婚式、葬式等のシチュエーションをユーザに選択させ、選択されたシチュエーションに応じた化粧が適用された化粧後画像を自動的に生成し、ユーザに提示する仕組みが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1に開示された仕組みにおいては、化粧がされていないユーザの素顔の顔画像に対してシチュエーション毎に予め用意された化粧を適用することによって、化粧後画像が生成される。すなわち、予め用意された一律の基準によってシチュエーション別の化粧が決定されてしまう。このため、上記仕組みでは、化粧後画像にユーザの化粧の特徴(例えば、化粧に関する好み、こだわり等)は反映されていない。一方、例えば仮想空間で定義されるアバターの顔画像を生成する際等において、ユーザの好み、こだわり等をアバターの顔画像に盛り込みたいというユーザのニーズが存在する。
【0005】
そこで、本発明の一側面は、所定のパターンに対応する化粧が施された顔画像を生成する際に、ユーザの化粧の特徴が反映された顔画像を自動生成することが可能な顔画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面に係る顔画像生成装置は、ユーザによる第一パターンに対応する化粧が施された第一顔画像を取得する第一顔画像取得部と、第一顔画像と、第一パターンに対応する標準的な化粧の特徴に関する第一標準データと、に基づいて、ユーザの化粧の特徴を抽出する特徴抽出部と、第一パターンとは異なる第二パターンに対応する標準的な化粧の特徴に関する第二標準データに、特徴抽出部により抽出されたユーザの化粧の特徴を反映させることにより、第二パターンに対応する化粧が施された第二顔画像を生成する第二顔画像生成部と、第二顔画像生成部により生成された第二顔画像をユーザに提示する提示部と、を備える。
【0007】
上記顔画像生成装置によれば、あるパターン(第一パターン)についてユーザにより行われた化粧の特徴が、第一顔画像と第一パターンに対応する標準的な化粧の特徴に関する第一標準データとに基づいて抽出される。そして、抽出されたユーザの化粧の特徴を、第二パターンに対応する標準的な化粧の特徴に関する第二標準データに反映することにより、第二パターンに対応する化粧が施された第二顔画像が生成される。そして、このように生成された第二顔画像が、ユーザに提示される。すなわち、上記顔画像生成装置によれば、ある一つのパターン(第一パターン)に対応するユーザの化粧をベースとして、他のパターン(第二パターン)向けにカスタマイズされると共にユーザの化粧の特徴が反映された顔画像(第二顔画像)が得られる。従って、上記顔画像生成装置によれば、所定のパターンに対応する化粧が施された顔画像を生成する際に、ユーザの化粧の特徴が反映された顔画像を自動生成することができる。
【発明の効果】
【0008】
本発明の一側面によれば、所定のパターンに対応する化粧が施された顔画像を生成する際に、ユーザの化粧の特徴が反映された顔画像を自動生成することが可能な顔画像生成装置を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る顔画像生成装置の機能構成を示すブロック図である。
【
図2】化粧対象部位及びパラメータの例を示す図である。
【
図4】特徴抽出部の処理の一例を模式的に示す図である。
【
図5】第二顔画像生成部の処理の一例を模式的に示す図である。
【
図6】顔画像生成装置の動作の一例を示すフローチャートである。
【
図7】
図6のステップS3の処理手順の一例を示すフローチャートである。
【
図8】
図6のステップS4の処理手順の一例を示すフローチャートである。
【
図9】顔画像生成装置の処理の第一変形例を示すフローチャートである。
【
図10】顔画像生成装置の処理の第二変形例を示すフローチャートである。
【
図11】顔画像生成装置の処理の第三変形例を示すフローチャートである。
【
図12】顔画像生成装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
【0011】
図1は、一実施形態に係る顔画像生成装置10の機能構成を示すブロック図である。一例として、顔画像生成装置10は、複数のユーザによって共有される仮想空間において定義されるユーザのアバターに適用される顔画像を自動的に生成する。「仮想空間」とは、コンピュータ上に表示される画像によって表現される仮想の二次元又は三次元の空間のことをいう。「アバター」とは、コンピュータによって表現された仮想空間上におけるユーザの分身である。アバターは、仮想空間において定義される仮想オブジェクトの一種である。「仮想オブジェクト」とは、現実世界には実在せずコンピュータシステム上で表現される物体のことをいう。アバター(仮想オブジェクト)は、二次元で表現されてもよいし、三次元で表現されてもよい。例えば、ユーザに対して仮想空間及び仮想オブジェクト(アバターを含む)を含むコンテンツ画像が提供されることにより、ユーザは拡張現実(Augumented Reality(AR))、仮想現実(Virtual Reality(VR))、又は複合現実(Mixed Reality(MR))を体験することができる。
【0012】
顔画像生成装置10は、ユーザによってある一つの用途(第一パターン)向けの化粧が施されたアバターの顔画像(第一顔画像)に基づいて、ユーザの化粧の特徴(例えば、好み、こだわり等)が反映された他の用途(第二パターン)向けの化粧が施されたアバターの顔画像(第二顔画像)を自動的に生成する。なお、顔画像生成装置10の種類及び構成は限定されない。顔画像生成装置10は、例えば、高機能携帯電話機(スマートフォン)、タブレット端末、ウェアラブル端末(例えば、ヘッドマウントディスプレイ(HMD)、スマートグラス等)、ラップトップ型パーソナルコンピュータ、携帯電話機等の携帯端末でもよい。或いは、顔画像生成装置10は、デスクトップ型パーソナルコンピュータ等の据置型端末でもよい。また、顔画像生成装置10は、上述したような各ユーザによって所持されるユーザ端末であってもよいし、各ユーザのユーザ端末と通信可能に構成されたサーバ装置であってもよい。或いは、顔画像生成装置10は、ユーザ端末及びサーバ装置の組み合わせによって構成されてもよい。すなわち、顔画像生成装置10は、単一のコンピュータ装置によって構成されてもよいし、互いに通信可能な複数のコンピュータ装置によって構成されてもよい。
【0013】
図1に示されるように、顔画像生成装置10は、記憶部11と、標準データ生成部12と、化粧入力部13と、第一顔画像取得部14と、特徴抽出部15と、第二顔画像生成部16と、提示部17と、を有する。
【0014】
記憶部11は、顔画像生成装置10において使用又は生成される各種データを記憶する。例えば、記憶部11は、標準データ生成部12により生成されるパターン毎の標準データ、生成されたアバターの顔画像(パターン毎の化粧が施された顔画像を含む)、後述する修正情報等を記憶する。
【0015】
標準データ生成部12は、予め用意された複数のパターンの各々に対応する標準データ(第一標準データ、第二標準データ)を生成する。生成された標準データは、記憶部11に記憶される。「パターン」とは、用途(シチュエーション)、化粧が施される対象の属性(例えば、性別、年代等)等に基づいて予め定められた分類である。用途の例としては、外出時(ショッピング等)、学校登校用、仕事用、デート用、結婚式用、葬式用等が挙げられる。ただし、パターンは上述の分類に限られず、様々な観点に基づく分類を上記パターンとして用いることができる。例えば、パターンは、気候(気温、天候等)、時期(例えば季節等)等の分類を含んでもよい。
【0016】
あるパターンに対応する標準データとは、当該パターンに対応する標準的な化粧(基準となる化粧)が施された顔画像の化粧の特徴に関するデータである。本実施形態では、各パターンに対応する標準データは、各パターンに対応する標準的な化粧について予め定められた分布に関する情報(例えば、平均、分散等の情報)を含んでいる。ここで、上記分布は、サービス提供者によって任意に定められてもよいし、各パターンに対応する化粧が施された複数の顔画像(サンプル)の統計的な分析結果に基づいて定められてもよい。一例として、各パターンに対応する標準データは、予め定められた標準サイズの顔を基準とした化粧の特徴の分布に関する情報を含んでいる。また、各パターンに対応する標準データに含まれる化粧の特徴の分布に関する情報は、予め定められた一以上の化粧対象部位の化粧に関するパラメータの平均及び分散を含んでいる。各化粧対象部位に対して一以上のパラメータが関連付けられており、各パラメータに対して平均及び分散が設定されている。
【0017】
図2は、化粧対象部位及びパラメータの例を示す図である。
図2に示されるように、化粧対象部位は、化粧を行う対象となり得る部分(パーツ)である。ここでは一例として、マスカラ、アイシャドウ、眉毛、リップ(口紅)、顔に塗る粉(化粧パウダー)、化粧下地、ファンデーション、チーク、及びアイラインが、化粧対象部位として設定されている。また、各化粧対象部位には、一以上のパラメータが設定されている。例えば、パラメータは、化粧対象部位に対する化粧の特徴のうち数値によって表現可能な属性を示す情報である。この例では、化粧対象部位「マスカラ」について長さ、太さ、濃さ、及び位置の4つのパラメータが設定されている。他の化粧対象部位についても同様に、一又は複数のパラメータが設定されている。
【0018】
図3は、標準データの一部の例を示す図である。
図3の(A)は、用途「外出時」及び属性「10代女性」のパターン(すなわち、「10代女性の外出時」に対応するパターン)に対応する標準データの一部のデータ(化粧対象部位「眉毛」の各パラメータ値)の例を示している。当該データは、上記パターンに関する化粧対象部位「眉毛」のパラメータ「長さ」の平均が5cmであり、分散が1.0cmであることを示す情報を含んでいる。同様に、当該データは、上記パターンに関する化粧対象部位「眉毛」のパラメータ「位置」及び「太さ」の平均及び分散を示す情報を含んでいる。なお、パラメータ「位置」は、顔の中心を原点(0,0)とするXY座標(X軸方向は横方向であり、Y軸方向は縦方向)における、左(又は右)の眉毛の重心の位置座標を示している。なお、アバターの顔画像を三次元で表現する場合には、パラメータ「位置」は、Z軸方向(奥行方向)を含むXYZ座標で表現されてもよい。本実施形態では、説明を簡単にするために、XY座標を用いて説明する。
図3の(B)は、
図3の(A)に示されるパターンとは異なるパターン(すなわち、「10代女性の学校登校時」に対応するパターン)に対応する標準データの一部のデータ(化粧対象部位「眉毛」の各パラメータ値)の例を示している。
図3の例では、学校登校時に対応する標準的な眉毛の化粧として、外出時よりも薄めの化粧(すなわち、外出時よりも短く細い眉毛)が設定されている。
【0019】
標準データ生成部12は、例えば、以下のような方法によって、
図3で示したようなパターン毎の標準データ(各化粧対象部位の各パラメータの平均及び分散を含むデータ)を生成する。
【0020】
(標準データ生成処理の第一の例)
標準データ生成部12は、実世界における化粧が施された複数の顔画像(実写画像)の各々に対応するアバターを生成し、生成された複数のアバターの化粧の特徴に基づいてパターン毎の標準データを生成してもよい。例えば、標準データ生成部12は、公知の手法を用いることにより、上記実写画像からアバターを生成することができる。例えば、標準データ生成部12は、上記実写画像の画像処理(画像解析)を実行することにより、顔画像における特定の化粧対象部位(例えば眉毛)を抽出し、抽出された化粧対象部位の特徴(例えば、長さ、太さ、濃さ、位置等)を抽出する。そして、標準データ生成部12は、このような特徴抽出処理を予め定められた全ての化粧対象部位について実行し、抽出された各化粧対象部位の特徴を反映したアバターを生成する。
【0021】
併せて、標準データ生成部12は、上記実写画像の化粧のパターン(例えば、「10代女性の外出時用」等のパターン)に関する情報を取得し、生成されたアバターに当該パターンを関連付けてもよい。このような化粧のパターンの情報は、例えば、実写画像の持ち主によって予め登録されてもよい。或いは、実写画像を取得した者が、実写画像の撮影時期、風景等から類推されるパターンを登録してもよい。以上の処理により、標準データ生成部12は、パターン毎に、実世界における化粧が施された複数のアバター(すなわち、実世界における化粧が施された顔画像に基づいて生成されたアバター)を収集することができる。
【0022】
続いて、標準データ生成部12は、パターン毎に収集された複数のアバターに基づいて、パターン毎の標準データを生成してもよい。例えば、標準データ生成部12は、パターン毎に収集された複数のアバターの顔画像の各々を予め定められた標準サイズに変換した上で、各顔画像の各化粧対象部位の特徴(すなわち、各パラメータ値)を集計することにより、各化粧対象部位の各パラメータ値(平均及び分散)を算出してもよい。このような処理により、パターン及び化粧対象部位の組み合わせ毎に、
図3に示したような標準データが得られる。
【0023】
上記第一の例によれば、実世界における化粧の実例に基づいて、適切な標準データ(化粧の基準)を生成することができる。
【0024】
(標準データ生成処理の第二の例)
標準データ生成部12は、仮想空間において複数のユーザによって生成された複数のアバターの化粧の特徴に基づいて、パターン毎の標準データを生成してもよい。例えば、標準データ生成部12は、仮想空間内においてユーザにより選択された化粧が適用されたアバターをサンプルとして取得する。上記アバターの例としては、ユーザの素顔の顔画像に基づいて生成されたアバターの顔画像に対して後述する化粧入力部13による化粧が適用されたアバターが挙げられる。続いて、標準データ生成部12は、第一の例と同様に、パターン毎に収集された複数のアバター(サンプル)に基づいて、パターン毎の標準データを生成してもよい。
【0025】
実世界において好まれる化粧と仮想空間において好まれる化粧とは、必ずしも一致しない。上記第二の例によれば、仮想空間におけるアバターの化粧の傾向が反映された標準データを生成することができる。また、上記第二の例において、標準データ生成部12は、一定期間(例えば、四半期、一年等)毎に、上記一定期間内に複数のユーザによって生成された複数のアバターの化粧に基づいて、各パターンの標準データを更新してもよい。上記構成によれば、仮想空間におけるユーザの化粧のトレンド(流行)の変化に対応した標準データを用意することが可能となる。
【0026】
(標準データ生成処理の第三の例)
標準データ生成部12は、例えば、サービス提供者等による手動操作を受け付けることにより、パターン毎の標準データを生成してもよい。例えば、一般的な化粧について詳しい識者、又は当該識者から知見を得た者が、各パターンにおける各化粧対象部位の各パラメータ値(平均及び分散)を手動で入力(設定)することにより、パターン毎の標準データが生成されてもよい。上記構成によれば、ユーザの化粧のトレンドに変化があった際等において、標準データをタイムリー且つ柔軟に更新することができる。
【0027】
(標準データ生成処理の他の例)
標準データ生成部12は、地域(国、地方等の区分)単位で、標準データを生成してもよい。すなわち、標準データ生成部12は、ある地域に属するユーザ用の標準データを、当該地域に属するユーザのアバターの化粧のみに基づいて生成してもよい。上記構成によれば、地域毎の化粧の傾向を反映した標準データを用意することができる。また、標準データ生成部12は、化粧品会社、アパレル会社等の化粧の流行を産み出す業界が推薦する化粧の特徴に基づいて、標準データを生成してもよい。また、標準データ生成部12は、特定の芸能人、モデル等の化粧の特徴に基づいて、標準データを生成してもよい。
【0028】
化粧入力部13は、ユーザに対して、アバターに化粧を施すためのユーザインタフェースを提供する。例えば、化粧入力部13は、アバターの顔画像を顔画像生成装置10のディスプレイ(例えば、顔画像生成装置10がスマートフォン、タブレット端末等の場合には、タッチパネルディスプレイ)上に表示させる。加えて、化粧入力部13は、ブラシ等の様々な化粧道具を示す複数のアイコンをディスプレイ上に表示させ、ユーザに化粧道具を選択させると共に、アバターの顔画像において当該化粧道具による化粧を適用する領域を選択させる。そして、化粧入力部13は、ユーザによって選択された領域に対して、ユーザによって選択された化粧道具による化粧を適用する。例えば、化粧入力部13は、タッチパネルディスプレイに対するユーザのタッチ操作の圧力、回数、タッチ時間(タッチが継続されている時間)等によって化粧の具合(例えば濃さ等)を決定してもよい。この場合、ユーザは、実世界における化粧と同じような感覚でアバターに対する化粧を行うことができる。加えて、化粧入力部13は、ユーザから該当するパターン(例えば、「10代女性の学校登校時」等)の入力を受け付ける。化粧入力部13は、上記化粧が適用されたアバターの顔画像を、入力されたパターンに対応する化粧が施されたアバターの顔画像として、記憶部11に記憶させる。
【0029】
第一顔画像取得部14は、ユーザによる第一パターンに対応する化粧が施された第一顔画像を取得する。例えば、第一パターンは、予め定められた複数のパターンのうち、ユーザにより任意に選択された一のパターンである。以降の説明においては、一例として、ユーザが「10代女性」であり、第一パターンとして「10代女性の外出時」が選択されたものとする。
【0030】
(第一顔画像の第一の取得例)
第一顔画像取得部14は、上述した化粧入力部13の処理によって生成されたアバターの顔画像(第一パターンに対応する化粧が施された顔画像)を、第一顔画像として取得してもよい。すなわち、第一顔画像取得部14は、化粧入力部13が提供するユーザインタフェースによる化粧が施されたアバターの顔画像を、第一顔画像として取得してもよい。
【0031】
(第一顔画像の第二の取得例)
第一顔画像取得部14は、実世界においてユーザが外出時用の化粧を自分の顔に施した後に撮像されたユーザの顔画像(写真等)を取得してもよい。そして、第一顔画像取得部14は、当該ユーザの顔画像に対して、上述した「標準データ生成処理の第一の例」で説明したような公知の変換処理を行うことにより、当該ユーザの顔画像に対応するアバターの顔画像を取得してもよい。第一顔画像取得部14は、このように取得されたアバターの顔画像を、第一顔画像として取得してもよい。
【0032】
(第一顔画像の第三の取得例)
上記第二の取得例においては、ユーザの顔画像(写真)の解像度、光沢等に起因するノイズが生じ、ユーザの意図通りのアバターの顔画像が生成されない場合もあり得る。このような場合において、ユーザは、化粧入力部13が提供するユーザインタフェースを用いて、アバターの顔画像に対する化粧を修正してもよい。すなわち、第一顔画像取得部14は、上記の第二の取得例により取得されたアバターの顔画像に対して化粧入力部13による化粧が加えられた後の顔画像を、第一顔画像として取得してもよい。
【0033】
特徴抽出部15は、第一顔画像取得部14により取得された第一顔画像と、第一パターンに対応する標準データである第一標準データと、に基づいて、ユーザの化粧の特徴を抽出する。
図4を参照して、特徴抽出部15の処理の一例について説明する。
図4は、特徴抽出部15の処理の一例を模式的に示す図である。
図4は、第一顔画像の一例(第一顔画像21)、後述する第一変換顔画像の一例(第一変換顔画像22)、及び第一標準データ(ここでは、化粧対象部位「眉毛」に対応するデータのみ)の一例(第一標準データ23)を示している。
【0034】
特徴抽出部15は、第一顔画像21に応じた変換率を用いて第一顔画像21を変換することにより、標準サイズの第一変換顔画像22を生成する。「第一顔画像に応じた変換率」とは、第一顔画像のサイズを標準データの基準として予め定められた標準サイズにするための変換率である。このような変換率は、第一顔画像の実際のサイズと標準サイズとを比較することによって算出され得る。また、「顔画像のサイズ」は、例えば、顔画像が二次元で表現される場合には縦及び横の各長さによって規定され、顔画像が三次元で表現される場合には縦、横、及び奥行の各長さによって規定される。例えば、顔画像が三次元で表現される場合、縦、横、及び奥行の各々について変換率(拡大率又は縮小率)が算出される。特徴抽出部15は、各変換率を用いて縦、横、及び奥行の各寸法を変換することにより、第一顔画像のサイズを標準サイズに変換する。このとき、特徴抽出部15は、顔のサイズだけでなく、各化粧対象部位(すなわち、顔画像に含まれる各パーツ)の大きさも、上記変換率に応じて変更する。
【0035】
図4の例では、第一変換顔画像22において、眉毛の長さは「5.5cm」であり、眉毛の位置(眉毛の重心(中心)の原点(顔中心)を基準とした座標)が(2cm,11cm)であり、眉毛の太さが「1cm」である。
【0036】
続いて、特徴抽出部15は、第一変換顔画像22と第一標準データ23とを比較することにより、ユーザの化粧の特徴を抽出する。例えば、特徴抽出部15は、各化粧対象部位について、第一変換顔画像22が第一標準データ23から乖離している度合いを示す乖離度を、ユーザの化粧の特徴として抽出する。特徴抽出部15は、第一変換顔画像22における各パラメータの値と第一標準データ23における各パラメータの平均及び分散とに基づいて、上記乖離度を算出する。
図4は、化粧対象部位「眉毛」についての特徴抽出部15の処理例を示している。
【0037】
この例では、パラメータ「長さ」に関して、第一変換顔画像22における眉毛の長さ「5.5cm」の方が、第一標準データ23における眉毛の長さの平均「5cm」よりも0.5cm大きい。第一標準データ23における眉毛の長さの分散σは「1.0cm」であることから、第一変換顔画像22における眉毛の長さが、第一標準データ23における眉毛の長さの平均よりも「0.5σ」だけ大きいことがわかる。従って、特徴抽出部15は、パラメータ「長さ」について、「+0.5σ」(すなわち、標準値よりも0.5σだけ大きいことを示す情報)を乖離度として取得する。
【0038】
また、パラメータ「位置」に関して、第一変換顔画像22における眉毛の位置(2cm,11cm)の方が、第一標準データ23における眉毛の位置の平均(2cm,10cm)よりも高さ方向に1.0cm大きい。第一標準データ23における眉毛の位置の分散σは「0.5cm」であることから、第一変換顔画像22における眉毛の位置が、第一標準データ23における眉毛の位置の平均から高さ方向に「2σ」だけ大きいことがわかる。従って、特徴抽出部15は、パラメータ「位置」について、「高さ方向に+2σ」(すなわち、高さ方向に2σだけ大きいことを示す情報)を乖離度として取得する。
【0039】
一方、パラメータ「太さ」に関して、第一変換顔画像22における眉毛の太さ「1cm」は、第一標準データ23における眉毛の太さ「1cm」と一致している。従って、特徴抽出部15は、パラメータ「太さ」について、「±0σ」(すなわち、同一であることを示す情報)を乖離度として取得する。
【0040】
以上の処理により、特徴抽出部15は、化粧対象部位「眉毛」の各パラメータの乖離度を算出することができる。特徴抽出部15は、眉毛以外の化粧対象部位についても上記と同様の処理を実行することにより、各化粧対象部位の各パラメータの乖離度を算出することができる。このようにして得られる各化粧対象部位の各パラメータの乖離度は、標準的な化粧から異なる度合いを示す情報であり、換言すれば、標準的な化粧に対するユーザの好み、こだわり等を示す情報であるといえる。従って、特徴抽出部15は、このようにして取得された各化粧対象部位の各パラメータの乖離度を、ユーザの化粧の特徴として抽出する。特徴抽出部15により抽出されたユーザの化粧の特徴(すなわち、各化粧対象部位の各パラメータの乖離度)は、記憶部11に記憶される。
【0041】
第二顔画像生成部16は、第一パターンとは異なる第二パターンに対応する標準データである第二標準データに、特徴抽出部15により抽出されたユーザの化粧の特徴を反映させることにより、第二パターンに対応する化粧が施された第二顔画像を生成する。第二パターンは、例えばユーザによって任意に選択されてもよい。第二パターンは、予め定められた複数のパターンのうちから一つだけ選択されてもよいし、複数選択されてもよい。また、予め定められた複数のパターンのうち第一パターン以外の全てのパターンが、第二パターンとして選択されてもよい。以降の説明では、ある一つの第二パターンに着目して、第二顔画像生成部16の処理について説明する。以降の説明においては、一例として、第二パターンとして「10代女性の学校登校時」が選択されたものとする。なお、第二パターンが複数選択される場合には、以下に説明する処理を各第二パターンについて実行すればよい。
【0042】
図5を参照して、第二顔画像生成部16の処理の一例について説明する。
図5は、第二顔画像生成部16の処理の一例を模式的に示す図である。
図5は、第二標準データ(ここでは、化粧対象部位「眉毛」に対応するデータのみ)の一例(第二標準データ24)、後述する第二変換顔画像の一例(第二変換顔画像25)、及び第二顔画像の一例(第二顔画像26)を示している。
【0043】
第二顔画像生成部16は、第二標準データ24に特徴抽出部15により抽出されたユーザの化粧の特徴を反映することにより、標準サイズの第二変換顔画像25を生成する。例えば、第二顔画像生成部16は、各化粧対象部位について、特徴抽出部15により抽出されたユーザの化粧の特徴(乖離度)と第二標準データ24におけるパラメータの分散とに基づいて補正値を算出する。第二顔画像生成部16は、当該補正値を用いて第二標準データにおけるパラメータの平均を補正することにより、第二変換顔画像25におけるパラメータの値を決定する。
【0044】
第二標準データ24における眉毛のパラメータ「長さ」の平均は「4.5cm」であり、分散σは「0.8cm」である。一方、眉毛のパラメータ「長さ」のユーザの化粧の特徴(乖離度)は、「+0.5σ」である(
図4参照)。この場合、第二顔画像生成部16は、第二標準データ24におけるパラメータ「長さ」の分散σ「0.8cm」と乖離度「+0.5σ」とに基づいて、補正値「0.4cm(=0.8cm×0.5)」を算出する。第二顔画像生成部16は、当該補正値を第二標準データ24におけるパラメータ「長さ」の平均に加算することにより、第二変換顔画像25におけるパラメータ「長さ」の値「4.9cm(=4.5cm+0.4cm)」を決定する。
【0045】
第二標準データ24における眉毛のパラメータ「位置」の平均は(2cm,10cm)であり、分散σは「0.5cm」である。一方、眉毛のパラメータ「位置」のユーザの化粧の特徴(乖離度)は、「高さ方向に+2σ」である(
図4参照)。この場合、第二顔画像生成部16は、第二標準データ24におけるパラメータ「位置」の分散σ「0.5cm」と乖離度「高さ方向に+2σ」とに基づいて、補正値「高さ方向に+1.0cm(=0.5cm×2)」を算出する。第二顔画像生成部16は、当該補正値を第二標準データ24におけるパラメータ「位置」の平均に加算することにより、第二変換顔画像25におけるパラメータ「位置」の高さの値「11cm」を決定する。その結果、第二変換顔画像25におけるパラメータ「位置」が、(2cm,11cm)に決定される。
【0046】
眉毛のパラメータ「太さ」のユーザの化粧の特徴(乖離度)は、「±0σ」である(
図4参照)。このため、第二顔画像生成部16は、第二標準データ24における眉毛のパラメータ「太さ」の平均「0.8cm」を、そのまま第二変換顔画像25におけるパラメータ「太さ」の値として決定する。
【0047】
以上の処理により、第二顔画像生成部16は、第二変換顔画像25における化粧対象部位「眉毛」の各パラメータの値を決定することができる。第二顔画像生成部16は、第二変換顔画像25における眉毛以外の化粧対象部位についても上記と同様の処理を実行することにより、第二変換顔画像25における各化粧対象部位の各パラメータの値を決定することができる。
【0048】
続いて、第二顔画像生成部16は、上記変換率(すなわち、特徴抽出部15が第一顔画像21を第一変換顔画像22に変換する際に用いた変換率)を用いて第二変換顔画像25を逆変換することにより、第一顔画像21に対応するサイズの第二顔画像26を生成する。以上の処理により、第二パターンに対応する化粧が施された顔画像であって、ユーザの化粧の特徴が反映された顔画像(第二顔画像26)が得られる。
【0049】
提示部17は、第二顔画像生成部16により生成された第二顔画像26をユーザに提示する。例えば、顔画像生成装置10がユーザにより所持されるスマートフォン等のユーザ端末である場合、提示部17は、当該ユーザ端末が備えるディスプレイ等の出力装置に第二顔画像26を表示することにより、第二顔画像26をユーザに提示してもよい。或いは、顔画像生成装置10がユーザ端末とは異なる装置(例えば、ユーザ端末と通信可能に構成されたサーバ装置)である場合、提示部17は、当該ユーザ端末に第二顔画像26の表示用データを送信し、当該ユーザ端末に第二顔画像26を表示させることにより、第二顔画像26をユーザに提示してもよい。
【0050】
次に、
図4及び
図5の例、並びに
図6に示されるフローチャートを参照して、顔画像生成装置10の動作(一実施形態に係る顔画像生成方法を含む)について説明する。
【0051】
ステップS1において、標準データ生成部12は、予め定められた複数のパターンの各々についての標準データを生成する。生成された標準データは、記憶部11に格納される。
【0052】
ステップS2において、第一顔画像取得部14は、ユーザによる第一パターン(
図4の例では、「10代女性の外出時」)に対応する化粧が施された第一顔画像21を取得する。
【0053】
ステップS3において、特徴抽出部15は、ステップS2において取得された第一顔画像21と、第一パターンに対応する標準データである第一標準データ23と、に基づいて、ユーザの化粧の特徴を抽出する。
図7に示されるフローチャートを参照して、ステップS3の処理の詳細について説明する。
【0054】
ステップS31において、特徴抽出部15は、第一顔画像21に応じた変換率を用いて第一顔画像21を変換することにより、標準サイズの第一変換顔画像22を生成する。
【0055】
ステップS32において、特徴抽出部15は、処理対象の化粧対象部位を1つ選択する。一例として、特徴抽出部15は、処理対象の化粧対象部位として「眉毛」を選択する。
【0056】
ステップS33において、特徴抽出部15は、選択された化粧対象部位「眉毛」に含まれるパラメータを一つ選択する。一例として、化粧対象部位「眉毛」は、長さ、位置、及び太さの三つのパラメータを含んでおり、特徴抽出部15は、「長さ」を選択する。
【0057】
ステップS34において、特徴抽出部15は、第一変換顔画像22のパラメータ「長さ」の値(
図4の例では「5.5cm」)を取得する。
【0058】
ステップS35において、特徴抽出部15は、第一標準データにおけるパラメータ「長さ」の平均及び分散(
図4の例では「5cm」及び「1.0cm」)を取得する。
【0059】
ステップS36において、特徴抽出部15は、ステップS34及びS35において取得した情報に基づいて、選択されたパラメータ「長さ」についての乖離度を算出する。
図4の例では、第一変換顔画像22における眉毛の長さが、第一標準データ23における眉毛の長さの平均よりも「0.5σ」だけ大きいため、特徴抽出部15は、パラメータ「長さ」について、「+0.5σ」を乖離度として取得する。
【0060】
特徴抽出部15は、ステップS33~S36の処理を、処理対象の化粧対象部位(ステップS32で選択された化粧対象部位「眉毛」)に含まれる全てのパラメータについて完了するまで繰り返す(ステップS37:NO)。
【0061】
化粧対象部位「眉毛」に含まれる全てのパラメータ(ここでは、長さ、位置、及び太さ)について処理が完了し、全てのパラメータの乖離度が取得されたら(ステップS37:YES)、特徴抽出部15は、ステップS32~S37の処理を、全ての化粧対象部位について完了するまで繰り返す(ステップS38:NO)。例えば、
図2に示される9つの化粧対象部位が定義されている場合、特徴抽出部15は、これらの9つの化粧対象部位の各々について、ステップS33~S37の処理を実行する。全ての化粧対象部位について処理が完了した時点で(ステップS38:YES)、特徴抽出部15の処理(
図6のステップS3)が完了する。
【0062】
図6に戻り、ステップS4において、第二顔画像生成部16は、第一パターンとは異なる第二パターン(
図5の例では、「10代女性の学校登校時」)に対応する第二標準データ24に、ステップS3において抽出されたユーザの化粧の特徴(すなわち、各化粧対象部位の各パラメータについての乖離度)を反映させることにより、第二パターンに対応する化粧が施された第二顔画像26を生成する。
図8に示されるフローチャートを参照して、ステップS4の処理の詳細について説明する。
【0063】
ステップS41において、第二顔画像生成部16は、処理対象の化粧対象部位を1つ選択する。一例として、第二顔画像生成部16は、処理対象の化粧対象部位として「眉毛」を選択する。
【0064】
ステップS42において、第二顔画像生成部16は、選択された化粧対象部位「眉毛」に含まれるパラメータを一つ選択する。一例として、第二顔画像生成部16は、「長さ」を選択する。
【0065】
ステップS43において、第二顔画像生成部16は、選択された化粧対象部位「眉毛」の選択されたパラメータ「長さ」について、ステップS3(
図6参照)において抽出されたユーザの化粧の特徴(乖離度)と第二標準データ24におけるパラメータ「長さ」の分散σとに基づいて補正値を算出する。
図5の例では、第二顔画像生成部16は、補正値「0.4cm」を算出する。
【0066】
ステップS44において、第二顔画像生成部16は、ステップS43において算出された補正値を用いて第二標準データ24におけるパラメータ「長さ」の平均を補正することにより、第二変換顔画像25のパラメータ「長さ」の値を決定する。この例では、第二変換顔画像25のパラメータ「長さ」は、第二標準データ24におけるパラメータ「長さ」の平均「4.5cm」に補正値「0.4cm」が加算された値「4.9cm」に決定される。
【0067】
第二顔画像生成部16は、ステップS42~S44の処理を、処理対象の化粧対象部位(ステップS41で選択された化粧対象部位「眉毛」)に含まれる全てのパラメータについて完了するまで繰り返す(ステップS45:NO)。
【0068】
化粧対象部位「眉毛」に含まれる全てのパラメータ(ここでは、長さ、位置、及び太さ)について処理が完了し、第二変換顔画像25における化粧対象部位「眉毛」の全てのパラメータの値が決定されたら(ステップS45:YES)、第二顔画像生成部16は、ステップS41~S45の処理を、全ての化粧対象部位について完了するまで繰り返す(ステップS46:NO)。全ての化粧対象部位について処理が完了した時点で(ステップS46:YES)、第二変換顔画像25が完成する。
【0069】
ステップS47において、第二顔画像生成部16は、上記変換率(すなわち、
図7のステップS31において用いられた変換率)を用いて第二変換顔画像25を逆変換することにより、第一顔画像21に対応するサイズの第二顔画像26を生成する。以上の処理により、第二顔画像生成部16の処理(
図6のステップS4)が完了する。すなわち、第二パターンに対応する化粧が施された顔画像であって、ユーザの化粧の特徴が反映された顔画像(第二顔画像26)が得られる。
【0070】
図6に戻り、ステップS5において、提示部17は、第二顔画像生成部16により生成された第二顔画像26をユーザに提示する。なお、複数の第二パターンに対応する複数の第二顔画像を生成する場合(例えば、複数の第二パターンがユーザによって指定された場合、予め定められた複数のパターンのうち第一パターン以外の全てのパターンが第二パターンとして設定される場合等)には、第二顔画像生成部16は、ステップS4の処理を複数の第二パターンの各々について、個別に実行すればよい。また、提示部17は、ステップS5において、複数の第二パターンの各々に対応する複数の第二顔画像26(各パターンの顔画像の一覧)をユーザに提示してもよい。
【0071】
以上説明した顔画像生成装置10によれば、あるパターン(第一パターン。一例として「10代女性の外出時」)についてユーザにより行われた化粧の特徴が、第一顔画像21(
図4参照)と第一標準データ23(
図4参照)とに基づいて抽出される。そして、抽出されたユーザの化粧の特徴を、第二パターン(一例として「10代女性の学校登校時」)に対応する第二標準データ24(
図5参照)に反映することにより、第二パターンに対応する化粧が施された第二顔画像26(
図5参照)が生成される。そして、このように生成された第二顔画像26が、ユーザに提示される。すなわち、顔画像生成装置10によれば、ある一つのパターン(第一パターン)に対応するユーザの化粧をベースとして、他のパターン(第二パターン)向けにカスタマイズされると共にユーザの化粧の特徴が反映された顔画像(第二顔画像26)が得られる。従って、顔画像生成装置10によれば、所定のパターンに対応する化粧が施された顔画像を生成する際に、ユーザの化粧の特徴が反映された顔画像を自動生成することができる。
【0072】
顔画像生成装置10を利用することにより、ユーザは、予め定められた複数のパターンの各々について個別にアバターの化粧を作成する必要がなくなる。すなわち、ユーザは、任意の一つのパターンについてアバターの化粧を作成するだけで、顔画像生成装置10に他のパターンについてのアバターの化粧(ユーザの化粧の特徴が反映された化粧)を自動生成させることができる。その結果、ユーザの手間が劇的に軽減される。また、一つのパターンについてユーザが作り込んだ化粧(すなわち、ユーザの好み及びこだわりが込められた化粧)を、当該一つのパターンだけでなく、他のパターンの化粧にも反映させることができるため、ユーザの利便性及び満足感を向上させることができる。
【0073】
また、パターン毎に用意された標準データは、予め定められた標準サイズの顔を基準とした化粧の特徴の分布に関する情報を含んでいる。特徴抽出部15は、第一顔画像21に応じた変換率を用いて第一顔画像21を変換することにより、標準サイズの第一変換顔画像22を生成する。特徴抽出部15は、第一変換顔画像22と第一標準データ23とを比較することにより、ユーザの化粧の特徴を抽出する。第二顔画像生成部16は、第二標準データ24にユーザの化粧の特徴を反映することにより、標準サイズの第二変換顔画像25を生成する。第二顔画像生成部16は、上記変換率を用いて第二変換顔画像25を逆変換することにより、第一顔画像21に対応するサイズの第二顔画像26を生成する。上記構成によれば、ユーザにより作成された顔画像(第一顔画像21)のサイズと標準データとして規定されている顔画像のサイズ(標準サイズ)とを合わせた上でユーザの化粧の特徴が抽出される。従って、ユーザの化粧の特徴を精度良く抽出することができる。
【0074】
また、パターン毎に用意された標準データに含まれる化粧の特徴の分布に関する情報は、予め定められた一以上の化粧対象部位の化粧に関するパラメータの平均及び分散を含んでいる。特徴抽出部15は、各化粧対象部位について、第一変換顔画像22におけるパラメータの値と第一標準データ23におけるパラメータの平均及び分散とに基づいて、第一変換顔画像22が第一標準データ23から乖離している度合いを示す乖離度をユーザの化粧の特徴として抽出する。第二顔画像生成部16は、各化粧対象部位について、乖離度と第二標準データ24におけるパラメータの分散とに基づいて補正値を算出し、当該補正値を用いて第二標準データ24におけるパラメータの平均を補正することにより、第二変換顔画像25におけるパラメータの値を決定する。上記構成によれば、パラメータの平均及び分散に基づいて、パターン毎に適切な補正値を得ることができる。その結果、パターン毎に適切な第二顔画像を得ることができる。例えば、単純に第一変換顔画像22におけるパラメータの値(例えば「長さ」の値「5.5cm」)と第一標準データ23におけるパラメータの平均(例えば「長さ」の平均「5cm」)との差分(この場合、0.5cm)を全てのパターン(第二パターン)に共通の補正値として用いることも考えられる。しかし、このような固定値を補正値として採用した場合、以下のような問題が生じ得る。例えば、あるパラメータについて、第一パターンにおける当該パラメータの平均と第二パターンにおける当該パラメータの平均との差が大きく、パラメータの分散のスケールが第一パターンと第二パターンとの間で比較的大きく異なる場合があり得る。このように第一パターンと第二パターンとの間でパラメータ値のスケール差が大きい場合、上記のように第一パターンにおけるパラメータ値の差分(第一標準データの平均からの差分)をそのまま第二パターンの補正値として用いると、第二顔画像26に適用される化粧のバランスが崩れるおそれがある。一方、上述した顔画像生成装置10の構成によれば、分散σを基準とした補正値を用いることにより、上記のようなスケール差を吸収することができ、上述したような問題を回避できる。
【0075】
(顔画像生成装置の処理の第一変形例)
第一変形例においては、第一顔画像取得部14は、第一パターンに対応する複数の第一顔画像を取得する。また、特徴抽出部15は、第一顔画像毎のユーザの化粧の特徴(例えば、上述したパラメータ毎の乖離度)を抽出する。また、第二顔画像生成部16は、特徴抽出部15により抽出された第一顔画像毎のユーザの化粧の特徴に基づいて、複数の第一顔画像の各々に対応する複数の第二顔画像を生成する。また、提示部17は、第二顔画像生成部16により生成された複数の第二顔画像をユーザに提示する。
【0076】
図9に示されるフローチャートを参照して、上記第一変形例の処理について説明する。
【0077】
ステップS101の処理は、
図6のステップS1の処理と同様である。
【0078】
ステップS102において、第一顔画像取得部14は、第一パターンに対応する複数の第一顔画像を取得する。例えば、第一顔画像取得部14は、「10代女性の外出時」のパターン(第一パターン)に対応する複数の互いに異なる第一顔画像を取得する。
【0079】
ステップS103において、特徴抽出部15は、
図6のステップS3と同様の処理を各第一顔画像について実行することにより、第一顔画像毎のユーザの化粧の特徴(パラメータ毎の乖離度)を抽出する。
【0080】
ステップS104において、第二顔画像生成部16は、
図6のステップS4と同様の処理を各第一顔画像について抽出されたユーザの化粧の特徴を用いて実行することにより、複数の第一顔画像の各々に対応する複数の第二顔画像を生成する。
【0081】
ステップS105において、提示部17は、ステップS104において生成された複数の第二顔画像をユーザに提示する。
【0082】
例えば、ユーザは、同一のパターン(例えば、「10代女性の外出時」)について、複数のバリエーション(タイプ)の化粧が施された複数のアバターを用意しておき、そのときのユーザの気分によって、用いるアバター(すなわち、アバターに適用する化粧のバリエーション)を選択したい場合がある。すなわち、同一の用途であっても、少し控えめな化粧を選択したいときもあれば、やや派手目な化粧を選択したいときもある。上記第一変形例によれば、他の用途(第二パターン)についても、第一パターンについてユーザが作成した複数のバリエーションの化粧の各々に対応する第二顔画像を生成し、ユーザに提示することができる。その結果、ユーザが化粧を作成した第一パターン以外の第二パターンについて、ユーザの選択の幅を広げることができる。
【0083】
(顔画像生成装置の処理の第二変形例)
第二変形例においては、第一顔画像取得部14は、第一変形例と同様に、第一パターンに対応する複数の第一顔画像を取得する。また、特徴抽出部15は、各第一顔画像の使用頻度に応じた重み付けに基づいて、ユーザの化粧の特徴を抽出する。第二変形例は、同一のパターン(第一パターン)に対応する複数の第一顔画像が用意される点で第一変形例と一致するが、第二顔画像を一つだけ生成する(すなわち、第一顔画像毎に第二顔画像を生成しない)点で第一変形例と相違する。
【0084】
図10に示されるフローチャートを参照して、上記第二変形例の処理について説明する。
【0085】
ステップS201及びS202の処理は、
図9のステップS101及びS102の処理と同様である。
【0086】
ステップS203において、特徴抽出部15は、各第一顔画像の使用頻度に応じた重み付けに基づいて、ユーザの化粧の特徴を抽出する。第一顔画像の使用頻度とは、例えば、ユーザが当該第一顔画像をアバターの顔画像に適用した回数、時間等である。ステップS202において、第一顔画像が三種類(以下「第一顔画像a」、「第一顔画像b」、及び「第一顔画像c」と表記する。)取得される場合を例として、ステップS203の処理例について説明する。一例として、第一顔画像a、第一顔画像b、及び第一顔画像cの使用頻度の比が「F1:F2:F3」であるものとする。
【0087】
特徴抽出部15は、第一顔画像a、第一顔画像b、及び第一顔画像cの各々を、標準サイズの第一変換顔画像A、第一変換顔画像B、及び第一変換顔画像Cに変換する。このとき、第一変換顔画像A、第一変換顔画像B、及び第一変換顔画像Cの各々の化粧対象部位「眉毛」のパラメータ「長さ」の値がV1、V2、及びV3であるものとする。この場合、例えば、特徴抽出部15は、下記の(式1)を用いて、各第一変換顔画像A,B,Cのパラメータ値V1、V2、及びV3を使用頻度に応じた重み付けを行った上で加算することにより、第一パターンにおける第一変換顔画像の化粧対象部位「眉毛」のパラメータ「長さ」の代表値Vを決定する。
(式1)V=(F1×V1+F2×V2+F3×V3)/(F1+F2+F3)
【0088】
特徴抽出部15は、全ての化粧対象部位の全てのパラメータについて、上述した化粧対象部位「眉毛」のパラメータ「長さ」に対する処理と同様の処理の実行することにより、各化粧対象部位の各パラメータの代表値を決定する。
【0089】
そして、特徴抽出部15は、上記のように決定された第一変換顔画像の各パラメータ値(代表値)を用いて、各パラメータの乖離度を算出する。すなわち、特徴抽出部15は、上記のように決定された第一変換顔画像の各パラメータ値(代表値)を用いて、
図7のステップS35及びS36の処理と同様の処理を実行することにより、各パラメータの乖離度を算出する。特徴抽出部15は、上述した処理を、各化粧対象部位の各パラメータについて実行することにより、各化粧対象部位の各パラメータについてのユーザの化粧の特徴(乖離度)を算出する。
【0090】
ステップS204及びS205の処理は、
図6のステップS4及びS5の処理と同様である。
【0091】
第二変形例によれば、第一パターンに対応するアバターの顔画像(第一顔画像)が複数存在する場合に、各第一顔画像の特徴を使用頻度に応じて総合的に考慮した上で、ユーザの化粧の特徴(乖離度)を抽出することができる。すなわち、複数の第一顔画像のうちの一部の第一顔画像の情報のみに基づいてユーザの化粧の特徴(乖離度)を抽出する場合と比較して、ユーザの化粧の特徴(乖離度)をより精度良く抽出することが期待できる。その結果、最終的に生成及び提示される第二顔画像に対するユーザの満足度を向上させることが期待できる。
【0092】
(顔画像生成装置の処理の第三変形例)
第三変形例においては、化粧入力部13は、提示部17によりユーザに提示された第二顔画像26(
図5参照)に対するユーザによる化粧の修正を受け付ける。また、記憶部11は、化粧入力部13により受け付けられた修正に関する修正情報を記憶する。また、第二顔画像生成部16は、記憶部11に修正情報が記憶されている場合、当該修正情報に更に基づいて、第二顔画像26を生成する。
【0093】
図11に示されるフローチャートを参照して、上記第三変形例の処理について説明する。
【0094】
ステップS301~S304の処理は、
図6のステップS1~S4の処理と同様である。
【0095】
ステップS305において、第二顔画像生成部16は、記憶部11に修正情報が記憶されているか否かを判定する。例えば、過去にユーザに対して所定のパターンに対応する第二顔画像が提示された後に、ユーザが当該第二顔画像に対して、眉毛の長さを第一顔画像と同じ長さに修正したとする。この場合、「眉毛の長さを第一顔画像と同じ長さに修正した」ことを示す修正情報が、記憶部11に記憶されてもよい。そして、第二顔画像生成部16は、このような修正情報が記憶部11に格納されている場合(ステップS305:YES)、当該修正情報に基づいて、ステップS304において生成された第二顔画像の眉毛の長さを第一顔画像の眉毛の長さに修正してもよい(ステップS306)。一方、修正情報が記憶部11に記憶されていない場合(ステップS305:NO)、ステップS306の処理はスキップされる。
【0096】
なお、修正情報及び修正情報に基づく修正処理は、上記例に限られない。例えば、修正情報は、化粧対象部位の化粧量(例えば、長さ、太さ、幅、濃さ等)の修正量(変更量)を示す情報であってもよいし、化粧対象部位の化粧の位置の修正量(変位量)を示す情報であってもよい。この場合、第二顔画像生成部16は、修正情報に示される化粧対象部位の化粧量又は位置を、修正情報に示される修正量に基づいて修正してもよい。
【0097】
ステップS307の処理は、
図6のステップS5の処理と同様である。ステップS307の後、化粧入力部13が提供するユーザインタフェースを介してユーザが第二顔画像の化粧を修正した場合(ステップS308:YES)、記憶部11は、当該修正に関する修正情報を保存する(ステップS309)。一方、ユーザによる第二顔画像の化粧の修正がされなかった場合(ステップS308:NO)、ステップS309の処理はスキップされる。
【0098】
上記実施形態の処理(
図6のステップS1~S5)によってユーザに提示される第二顔画像は、必ずしもそのままユーザに受け入れられる(気に入られる)とは限らない。この場合、ユーザは、化粧入力部13が提供するユーザインタフェースを介して、第二顔画像を修正することが考えられる。例えば、第一パターン「10代女性の外出時」をベースに第二パターン「10代女性の学校登校時」の第二顔画像が生成された後に、ユーザが当該第二顔画像に対して一定の修正(例えば、眉毛の長さを第一顔画像と同じ長さにする修正)を行ったとする。この場合、当該修正の内容から、ユーザが眉毛の長さについて強いこだわりを持っていると推測される。
【0099】
第三変形例によれば、このような修正がされたことを示す修正情報が記憶部11に記憶され、次回以降の処理(第二顔画像生成部16の処理)に活用される。例えば、上記修正情報が記憶部11に記憶された後に、第一パターン「10代女性の外出時」をベースに他の第二パターン「10代女性のデート時」の第二顔画像を生成する場合について考える。この場合、第三変形例によれば、ステップS306において上記修正情報に基づいて第二顔画像を修正した上で、ステップS307において修正後の第二顔画像をユーザに提示することができる。上記構成によれば、生成及び提示された第二顔画像に対してユーザが毎回同様の修正を行う手間がなくなるため、ユーザの利便性を効果的に向上させることができる。
【0100】
なお、ユーザの選択自由度を高めるために、ステップS307において、提示部17は、ステップS306において修正された第二顔画像をユーザに提示すると共に、ステップS304において生成された直後の第二顔画像(すなわち、ステップS306の修正がされる前の第二顔画像)もユーザに提示してもよい。上記処理によれば、仮にステップS306の修正処理によってユーザが好まない方向に化粧が修正されてしまった場合であっても、ユーザに修正前の第二顔画像(ステップS304において生成された直後の第二顔画像)を選択させることが可能となる。
【0101】
(他の変形例)
上記実施形態では、顔画像生成装置10は、仮想空間において定義されるアバターの顔画像を生成するために用いられたが、顔画像生成装置10は、上記以外の顔画像を生成するために用いられてもよい。例えば、顔画像生成装置10は、ソーシャルネットワーキングサービス(SNS:Social networking service)、或いは婚活サイト等の会員制サイト等において設定されるユーザの顔画像を生成するために用いられてもよい。或いは、顔画像生成装置10は、ビデオ通話、チャット等のサービスにおいて設定されるユーザの顔画像を生成するために用いられてもよい。また、顔画像生成装置10により生成される顔画像は、ユーザ自身(アバターを含む)の顔画像に限られない。例えば、顔画像生成装置10は、仮想空間においてユーザによって操作されるキャラクタの顔画像を生成するために用いられてもよい。また、上記実施形態では、各パターンに対応する標準データとして、化粧対象部位毎の化粧の特徴の分布に関する情報(平均及び分散)を例示したが、各パターンに対応する標準データは、上記以外の情報であってもよい。すなわち、各パターンに対応する標準データは、ユーザによる化粧が施された顔画像(第一顔画像)との間で、化粧の特徴について比較を行うことが可能なものであればよく、上記実施形態で例示した分布に関する情報を含まなくてもよい。
【0102】
また、顔画像生成装置10は、必ずしも、上述した全ての機能部(記憶部11、標準データ生成部12、化粧入力部13、第一顔画像取得部14、特徴抽出部15、第二顔画像生成部16、及び提示部17)を備えなくともよい。例えば、各パターンに対応する標準データは、顔画像生成装置10とは異なる別装置によって事前に準備されてもよい。この場合、上記別装置によって生成された各パターンの標準データが、記憶部11に予め格納されてもよいし、顔画像生成装置10が、必要に応じて、上記別装置から各パターンの標準データをダウンロードしてもよい。このように標準データが別装置によって準備される場合には、顔画像生成装置10は、上述した標準データ生成部12を備えなくてもよい。また、この場合、上述したフローチャートのステップS1(
図6参照)、ステップS101(
図9参照)、ステップS201(
図10参照)、及びステップS301(
図11参照)は、省略されてもよい。
【0103】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0104】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。
【0105】
例えば、本開示の一実施の形態における顔画像生成装置10は、本開示の顔画像生成方法を行うコンピュータとして機能してもよい。
図12は、本開示の一実施の形態に係る顔画像生成装置10のハードウェア構成の一例を示す図である。顔画像生成装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
【0106】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。顔画像生成装置10のハードウェア構成は、
図12に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0107】
顔画像生成装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0108】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。
【0109】
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、顔画像生成装置10の各機能部(例えば、特徴抽出部15等)は、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0110】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る顔画像生成方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0111】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0112】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【0113】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0114】
また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0115】
また、顔画像生成装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0116】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【0117】
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0118】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0119】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0120】
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0121】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0122】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0123】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0124】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0125】
上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
【0126】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0127】
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0128】
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0129】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0130】
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0131】
10…顔画像生成装置、11…記憶部、12…標準データ生成部、13…化粧入力部、14…第一顔画像取得部、15…特徴抽出部、16…第二顔画像生成部、17…提示部、21…第一顔画像、22…第一変換顔画像、23…第一標準データ、24…第二標準データ、25…第二変換顔画像、26…第二顔画像。