特許 7514972 情報処理システム、プログラム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】情報処理システム、プログラム、及び情報処理方法

(51)【国際特許分類】

   G06T 5/00 20240101AFI20240704BHJP

   G06T 7/00 20170101ALI20240704BHJP

   G06V 40/16 20220101ALI20240704BHJP

   G06T 1/00 20060101ALI20240704BHJP

   G06T 1/40 20060101ALI20240704BHJP

【ＦＩ】

G06T5/00 700

G06T7/00 510F

G06V40/16 A

G06T1/00 340A

G06T1/40

【請求項の数】 13

(21)【出願番号】P 2023046170

(22)【出願日】2023-03-23

【審査請求日】2023-03-23

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】石若 裕子

(72)【発明者】

【氏名】須田 和人

【審査官】淀川 滉也

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００７６４７４（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１５９８０５１（ＣＮ，Ａ）

【文献】特開２０１８－１７３７３１（ＪＰ，Ａ）

【文献】特開２０１０－２２４９８３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１５１３１８４１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

(57)【特許請求の範囲】

【請求項1】

人の顔を含む対象画像を取得する対象画像取得部と、
人の顔のパーツの指定を予め受け付け、前記対象画像の前記人の顔のうち、予め指定されたパーツのみについて、施されている化粧の種類を推定し、推定結果に基づいて、前記人の顔の前記パーツのみから化粧を除去した前記人の素顔画像を推定する素顔推定部と、
前記素顔推定部によって推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証部と
を備える情報処理システム。

【請求項2】

人の化粧を施す前の３次元の３Ｄ化粧前画像と、当該人が顔のパーツの形状が変化する形状変化有化粧及び顔のパーツの形状が変化しない形状変化無化粧を施した状態の３次元の３Ｄ化粧後画像とを含むデータセットを取得するデータ取得部と、
複数の人の前記データセットを用いて、前記形状変化有化粧及び前記形状変化無化粧が施されている人の化粧後画像の当該人の顔から前記形状変化有化粧及び前記形状変化無化粧を除去することによって当該人の化粧除去画像を出力するネットワークを生成するネットワーク生成部と、
人の顔を含む対象画像を取得する対象画像取得部と、
前記ネットワークを用いて、前記対象画像から、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定部と、
前記素顔推定部によって推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証部と
を備える、情報処理システム。

【請求項3】

前記ネットワーク生成部は、前記３Ｄ化粧前画像の前記人の目の輪郭と、前記３Ｄ化粧後画像の前記人の目の輪郭との差分から、前記形状変化有化粧によって、前記人の目の形状が変化する変化度合を学習し、学習結果が反映された前記ネットワークを生成する、請求項２に記載の情報処理システム。

【請求項4】

前記３Ｄ化粧前画像に含まれる前記人の顔に対して、前記形状変化有化粧及び前記形状変化無化粧を疑似的に施して、異なる条件のライティングを施すことによって、複数の前記３Ｄ化粧後画像を生成するデータ生成部
を更に備え、
前記データ取得部は、前記３Ｄ化粧前画像と、前記３Ｄ化粧前画像を元に生成された前記複数の３Ｄ化粧後画像とを含む前記データセットを取得する、請求項２に記載の情報処理システム。

【請求項5】

人の顔を含む対象画像を取得する対象画像取得部と、
前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定部と、
前記素顔推定部によって推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証部と
を備え、
前記素顔推定部は、前記対象画像の人の顔に施されている形状変化無化粧の種類を推定して、推定結果に基づいて、前記対象画像の前記人の顔から形状変化無化粧を除去し、形状変化無化粧を除去した後の前記対象画像の人の顔に施されている形状変化有化粧の種類を推定して、推定結果に基づいて、前記対象画像の人の顔から形状変化有化粧を除去する、情報処理システム。

【請求項6】

人の形状変化無化粧を施す前の化粧前画像と、当該人が複数種類の形状変化無化粧のそれぞれを施した状態の複数種類の形状変化無化粧画像とを含む形状変化無データセットと、人の素顔画像と、当該人が複数種類の形状変化有化粧のそれぞれを施した状態の複数種類の形状変化有化粧画像とを含む形状変化有データセットとを取得するデータ取得部と、
複数の人の前記形状変化無データセットを用いて、前記形状変化無化粧画像に含まれる人の顔に施されている前記形状変化無化粧の化粧パターンを推定して当該顔から形状変化無化粧を除去することによって人の形状変化無化粧除去画像を出力する形状変化無用ネットワークを生成する第１ネットワーク生成部と、
複数の人の前記形状変化有データセットを用いて、前記形状変化有化粧画像に含まれる人の顔に施されている前記形状変化有化粧の化粧パターンを推定して当該顔から形状変化有化粧を除去することによって当該人の形状変化有化粧除去画像を出力する形状変化有用ネットワークを生成する第２ネットワーク生成部と、
人の顔を含む対象画像を取得する対象画像取得部と、
前記形状変化無用ネットワーク及び前記形状変化有用ネットワークを用いて、前記対象画像から、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定部と、
前記素顔推定部によって推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証部と
を備える、情報処理システム。

【請求項7】

前記素顔推定部は、前記形状変化無用ネットワークを用いて、前記対象画像の人の前記形状変化無化粧を除去した後、前記形状変化有用ネットワークを用いて、前記対象画像の前記人の前記形状変化有化粧を除去することによって、前記対象画像の前記人の前記素顔画像を推定する、請求項６に記載の情報処理システム。

【請求項8】

前記人の素顔画像に対して、疑似的に複数種類の形状変化有化粧のそれぞれを施した前記複数種類の形状変化有化粧画像を生成し、前記人の形状変化無化粧を施す前の形状変化無化粧前画像に対して、疑似的に複数種類の形状変化無化粧のそれぞれを施した前記複数種類の形状変化無化粧画像を生成するデータ生成部
を更に備え、
前記データ取得部は、前記データ生成部によって生成された前記複数種類の形状変化有化粧画像を含む前記形状変化有データセットと、前記データ生成部によって生成された前記複数種類の形状変化無化粧画像を含む前記形状変化無データセットとを取得する、請求項６に記載の情報処理システム。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載の情報処理システムとして機能させるためのプログラム。

【請求項10】

コンピュータによって実行される情報処理方法であって、
人の顔を含む対象画像を取得する画像取得段階と、
人の顔のパーツの指定を予め受け付け、前記対象画像の前記人の顔のうち、予め指定されたパーツのみについて、施されている化粧の種類を推定し、推定結果に基づいて、前記人の顔の前記パーツのみから化粧を除去した前記人の素顔画像を推定する素顔推定段階と、
前記素顔推定段階において推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証段階と
を備える情報処理方法。

【請求項11】

コンピュータによって実行される情報処理方法であって、
人の化粧を施す前の３次元の３Ｄ化粧前画像と、当該人が顔のパーツの形状が変化する形状変化有化粧及び顔のパーツの形状が変化しない形状変化無化粧を施した状態の３次元の３Ｄ化粧後画像とを含むデータセットを取得するデータ取得段階と、
複数の人の前記データセットを用いて、前記形状変化有化粧及び前記形状変化無化粧が施されている人の化粧後画像の当該人の顔から前記形状変化有化粧及び前記形状変化無化粧を除去することによって当該人の化粧除去画像を出力するネットワークを生成するネットワーク生成段階と、
人の顔を含む対象画像を取得する画像取得段階と、
前記ネットワークを用いて、前記対象画像から、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定段階と、
前記素顔推定段階において推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証段階と
を備える情報処理方法。

【請求項12】

コンピュータによって実行される情報処理方法であって、
人の顔を含む対象画像を取得する画像取得段階と、
前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定段階と、
前記素顔推定段階において推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証段階と
を備え、
前記素顔推定段階は、前記対象画像の人の顔に施されている形状変化無化粧の種類を推定して、推定結果に基づいて、前記対象画像の前記人の顔から形状変化無化粧を除去し、形状変化無化粧を除去した後の前記対象画像の人の顔に施されている形状変化有化粧の種類を推定して、推定結果に基づいて、前記対象画像の人の顔から形状変化有化粧を除去する、情報処理方法。

【請求項13】

コンピュータによって実行される情報処理方法であって、
人の形状変化無化粧を施す前の化粧前画像と、当該人が複数種類の形状変化無化粧のそれぞれを施した状態の複数種類の形状変化無化粧画像とを含む形状変化無データセットと、人の素顔画像と、当該人が複数種類の形状変化有化粧のそれぞれを施した状態の複数種類の形状変化有化粧画像とを含む形状変化有データセットとを取得するデータ取得段階と、
複数の人の前記形状変化無データセットを用いて、前記形状変化無化粧画像に含まれる人の顔に施されている前記形状変化無化粧の化粧パターンを推定して当該顔から形状変化無化粧を除去することによって人の形状変化無化粧除去画像を出力する形状変化無用ネットワークを生成する第１ネットワーク生成段階と、
複数の人の前記形状変化有データセットを用いて、前記形状変化有化粧画像に含まれる人の顔に施されている前記形状変化有化粧の化粧パターンを推定して当該顔から形状変化有化粧を除去することによって当該人の形状変化有化粧除去画像を出力する形状変化有用ネットワークを生成する第２ネットワーク生成段階と、
人の顔を含む対象画像を取得する画像取得段階と、
前記形状変化無用ネットワーク及び前記形状変化有用ネットワークを用いて、前記対象画像から、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定段階と、
前記素顔推定段階において推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証段階と
を備える情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、ユーザの顔画像を取得し、顔画像に含まれる特徴点に関する情報を用いてユーザを認証する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－１７０２０５号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、人の顔を含む対象画像を取得する対象画像取得部を備えてよい。前記情報処理システムは、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定部を備えてよい。前記情報処理システムは、前記素顔推定部によって推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証部を備えてよい。

【0004】

前記情報処理システムは、人の化粧を施す前の３次元の３Ｄ化粧前画像と、当該人が顔のパーツの形状が変化する形状変化有化粧及び顔のパーツの形状が変化しない形状変化無化粧を施した状態の３次元の３Ｄ化粧後画像とを含むデータセットを取得するデータ取得部と、複数の人の前記データセットを用いて、前記形状変化有化粧及び前記形状変化無化粧が施されている人の化粧後画像の当該人の顔から前記形状変化有化粧及び前記形状変化無化粧を除去することによって当該人の化粧除去画像を出力するネットワークを生成するネットワーク生成部とを備えてよく、前記素顔推定部は、前記ネットワークを用いて、前記対象画像から前記素顔画像を推定してよい。前記ネットワーク生成部は、前記３Ｄ化粧前画像の前記人の目の輪郭と、前記３Ｄ化粧後画像の前記人の目の輪郭との差分から、前記形状変化有化粧によって、前記人の目の形状が変化する変化度合を学習し、学習結果が反映された前記ネットワークを生成してよい。前記情報処理システムは、前記３Ｄ化粧前画像に含まれる前記人の顔に対して、前記形状変化有化粧及び前記形状変化無化粧を疑似的に施して、異なる条件のライティングを施すことによって、複数の前記３Ｄ化粧後画像を生成するデータ生成部を更に備えてよく、前記データ取得部は、前記３Ｄ化粧前画像と、前記３Ｄ化粧前画像を元に生成された前記複数の３Ｄ化粧後画像とを含む前記データセットを取得してよい。

【0005】

前記情報処理システムにおいて、前記素顔推定部は、前記対象画像の前記人の顔のパーツの形状が変化する形状変化有化粧の種類を推定して、推定結果に基づいて、前記対象画像の前記人の顔から形状変化有化粧を除去してよい。

【0006】

前記いずれかの情報処理システムにおいて、前記素顔推定部は、前記対象画像の前記人の顔のパーツの形状が変化しない形状変化無化粧の種類を推定して、推定結果に基づいて、前記対象画像の前記人の顔から形状変化無化粧を除去してよい。前記素顔推定部は、前記対象画像の人の顔に施されている前記形状変化無化粧の種類を推定して、推定結果に基づいて、前記対象画像の前記人の顔から形状変化無化粧を除去し、形状変化無化粧を除去した後の前記対象画像の人の顔に施されている形状変化有化粧の種類を推定して、推定結果に基づいて、前記対象画像の人の顔から形状変化有化粧を除去してよい。

【0007】

前記いずれかの情報処理システムは、人の形状変化無化粧を施す前の化粧前画像と、当該人が複数種類の形状変化無化粧のそれぞれを施した状態の複数種類の形状変化無化粧画像とを含む形状変化無データセットと、人の素顔画像と、当該人が複数種類の形状変化有化粧のそれぞれを施した状態の複数種類の形状変化有化粧画像とを含む形状変化有データセットとを取得するデータ取得部と、複数の人の前記形状変化無データセットを用いて、前記形状変化無化粧画像に含まれる人の顔に施されている前記形状変化無化粧の化粧パターンを推定して当該顔から形状変化無化粧を除去することによって人の形状変化無化粧除去画像を出力する形状変化無用ネットワークを生成する第１ネットワーク生成部と、複数の人の前記形状変化有データセットを用いて、前記形状変化有化粧画像に含まれる人の顔に施されている前記形状変化有化粧の化粧パターンを推定して当該顔から形状変化有化粧を除去することによって当該人の形状変化有化粧除去画像を出力する形状変化有用ネットワークを生成する第２ネットワーク生成部とを備えてよい。前記素顔推定部は、前記形状変化無用ネットワーク及び前記形状変化有用ネットワークを用いて、前記対象画像から前記素顔画像を推定してよい。前記素顔推定部は、前記形状変化無用ネットワークを用いて、前記対象画像の人の前記形状変化無化粧を除去した後、前記形状変化有用ネットワークを用いて、前記対象画像の前記人の前記形状変化有化粧を除去することによって、前記対象画像の前記人の前記素顔画像を推定してよい。前記第１ネットワーク生成部は、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮｓによって、前記形状変化無用ネットワークを生成してよく、前記第２ネットワーク生成部は、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮｓによって、前記形状変化有用ネットワークを生成してよい。

【0008】

前記いずれかの情報処理システムは、前記人の素顔画像に対して、疑似的に複数種類の形状変化有化粧のそれぞれを施した前記複数種類の形状変化有化粧画像を生成し、前記人の形状変化無化粧を施す前の形状変化無化粧前画像に対して、疑似的に複数種類の形状変化無化粧のそれぞれを施した前記複数種類の形状変化無化粧画像を生成するデータ生成部を更に備えてよい。前記データ取得部は、前記データ生成部によって生成された前記複数種類の形状変化有化粧画像を含む前記形状変化有データセットと、前記データ生成部によって生成された前記複数種類の形状変化無化粧画像を含む前記形状変化無データセットとを取得してよい。

【0009】

前記いずれかの情報処理システムにおいて、前記素顔推定部は、人の顔のパーツの指定を予め受け付け、前記対象画像の前記人の顔の、予め指定されたパーツに施されている化粧の種類を推定し、推定結果に基づいて、前記人の顔の前記パーツから化粧を除去した前記人の素顔画像を推定してよい。

【0010】

本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。

【0011】

本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、人の顔を含む対象画像を取得する画像取得段階を備えてよい。前記情報処理方法は、前記対象画像の前記人の顔に施されている化粧を前記人の顔から除去した前記人の素顔画像を推定する素顔推定段階を備えてよい。前記情報処理方法は、前記素顔推定段階において推定された前記素顔画像を用いて、前記人の顔認証を行う顔認証段階を備えてよい。

【0012】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0013】

【図1】情報処理システム１００の一例を概略的に示す。

【図2】情報処理システム１００の機能構成の一例を概略的に示す。

【図3】情報処理システム１００による処理の流れの一例を概略的に示す。

【図4】３Ｄデータセットを用いた学習の一例について説明するための説明図である。

【図5】３Ｄデータセットを用いた学習の一例について説明するための説明図である。

【図6】３Ｄデータセットを用いた学習の一例について説明するための説明図である。

【図7】３Ｄデータセットを用いた学習の一例について説明するための説明図である。

【図8】ネットワーク生成部１２６による３Ｄデータセットを用いた学習の処理の流れの一例を概略的に示す。

【図9】情報処理システム１００における学習例を説明するための説明図である。

【図10】情報処理システム１００における学習例を説明するための説明図である。

【図11】情報処理システム１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0014】

従来の顔認証システムにおいて、認証精度は、女性の方が男性よりも低い傾向がある。これは、化粧技術の進化によるものと考えられる。化粧スタイルには流行があるため、ある化粧スタイルで認識率をあげても、化粧スタイルが変わると、認識率が下がってしまうと考えられる。本実施形態に係る認証システムでは、化粧顔から素顔を推定して、推定した素顔で顔認証を行うことによって、化粧スタイルに依存しない顔認証アルゴリズムを実現する。

【0015】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0016】

図１は、情報処理システム１００の一例を概略的に示す。情報処理システム１００は、学習装置１０２及び認証装置１０４によって構成されてよい。なお、情報処理システム１００が学習装置１０２及び認証装置１０４によって構成されるのは一例であって、これに限られない。

【0017】

情報処理システム１００は、１つの装置によって構成されてもよい。また、情報処理システム１００は、３つ以上の装置によって構成されてもよい。情報処理システム１００が、学習装置１０２及び認証装置１０４のうち、学習装置１０２のみを備え、認証装置１０４は、情報処理システム１００の外部の装置であってもよい。情報処理システム１００が、学習装置１０２及び認証装置１０４のうち、認証装置１０４のみを備え、学習装置１０２は、情報処理システム１００の外部の装置であってもよい。

【0018】

情報処理システム１００は、ネットワーク２０を介してカメラ３０と通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0019】

情報処理システム１００は、ネットワーク２０に有線接続されてよい。情報処理システム１００は、ネットワーク２０に無線接続されてもよい。情報処理システム１００は、無線基地局を介してネットワーク２０に接続されてよい。情報処理システム１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。

【0020】

学習装置１０２は、ネットワーク２０に有線接続されてよい。学習装置１０２は、ネットワーク２０に無線接続されてもよい。学習装置１０２は、無線基地局を介してネットワーク２０に接続されてよい。学習装置１０２は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0021】

認証装置１０４は、ネットワーク２０に有線接続されてよい。認証装置１０４は、ネットワーク２０に無線接続されてもよい。認証装置１０４は、無線基地局を介してネットワーク２０に接続されてよい。認証装置１０４は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0022】

カメラ３０は、人４０の認証を要する任意の場所に設置される。カメラ３０は、ネットワーク２０に有線接続されてよい。カメラ３０は、ネットワーク２０に無線接続されてよい。カメラ３０は、無線基地局を介してネットワーク２０に接続されてよい。カメラ３０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。認証装置１０４とカメラ３０とが直接接続されてもよい。認証装置１０４が、カメラ３０を内蔵してもよい。認証装置１０４がカメラ３０を内蔵する場合、認証装置１０４が、人４０の認証を要する任意の場所に設置されてよい。

【0023】

本実施形態に係る情報処理システム１００は、認証対象の人４０の顔を含む対象画像を取得し、対象画像の人４０の顔に施されている化粧を人４０の顔から除去した人４０の素顔画像を推定する。情報処理システム１００は、例えば、対象画像の人４０の顔に施されている化粧の種類を推定し、推定結果に基づいて、人４０の顔から化粧を除去した人４０の素顔画像を推定してよい。情報処理システム１００は、推定した素顔画像を用いて、人４０の顔認証を行う。

【0024】

例えば、人４０の素顔画像のみを予め登録した場合、認証時に、人４０の顔に化粧が施されていると、人４０の顔に化粧が施されておらず素顔である場合と比較して、認証精度が低下する。例えば、人４０の素顔画像と、人４０の顔に化粧が施されている状態の化粧画像を予め登録した場合、認証時に、登録された化粧画像における化粧と同じ化粧が施されていれば、認証精度は低下しないことになるが、異なる種類の化粧が施されていた場合、認証精度が低下する。あらゆる種類の化粧のそれぞれを施した複数の化粧後画像を予め登録することによって、認証精度の低下を抑制することはできるが、このような登録を行うことは負荷が非常に高く、現実的ではない。また、登録後に化粧の種類が増加した場合に、認証精度が低下することになってしまい得る。

【0025】

それに対して、本実施形態に係る情報処理システム１００では、化粧後の人４０の顔から素顔を推定し、素顔による顔認証を実行するので、化粧の種類に依存しない顔認証を実現することができ、高い精度の顔認証技術の実現に貢献することができる。

【0026】

本実施形態に係る情報処理システム１００においては、人４０の顔のパーツの形状が変化する形状変化有化粧と、人４０の顔のパーツの形状が変化しない形状変化無化粧とを区別して、処理を実行してもよい。形状変化有化粧の例として、身体への飾り物の着装、及び美容を目的とした身体への施術が挙げられる。着装の例として、ピアッシング、及びつけ睫毛等が挙げられる。施術の例として、美容整形、プチ美容整形、いわゆるアイプチ、いわゆるクチプチ、及び脱毛等が挙げられる。形状変化無化粧の例として、塗布及び表面加工が挙げられる。塗布とは、顔、身体への化粧料等の塗り付けであってよい。表面加工とは、長期的に保持される身体の一部への加工であってよく、タトゥー、及び瘢痕等がその例として挙げられる。

【0027】

化粧には、形状変化有化粧を施した上で形状変化無化粧を施す場合、形状変化有化粧のみを施す場合、形状変化無化粧のみを施す場合等、バリエーションが存在する。情報処理システム１００が、形状変化有化粧と形状変化無化粧とを区別して取り扱うことによって、認証精度の向上に貢献することができる。

【0028】

本実施形態に係る情報処理システム１００においては、人４０の３次元の３Ｄ画像を用いた学習を実行してもよい。情報処理システム１００は、実際に人４０を撮像することによって生成した人４０の３Ｄ画像を用いてよい。情報処理システム１００は、シンセティックデータを用いてもよい。情報処理システム１００は、シンセティックデータに３Ｄメッシュデータを用いてもよい。人４０の３Ｄ画像を用いることによって、形状変化有化粧の除去精度を高めることができる。

【0029】

図２は、情報処理システム１００の機能構成の一例を概略的に示す。情報処理システム１００は、データ記憶部１１２、データ取得部１１４、データ生成部１１６、登録部１１８、学習実行部１２０、対象画像取得部１３０、認証実行部１４０、及び出力制御部１５０を備える。なお、情報処理システム１００がこれらの全てを備えることは必須とは限らない。

【0030】

データ取得部１１４は、学習に用いるデータを取得する。データ取得部１１４は、取得したデータをデータ記憶部１１２に記憶させる。データ取得部１１４は、例えば、外部から学習に用いるデータを受信する。

【0031】

データ取得部１１４は、人の素顔を含む素顔画像と、人が化粧を施した状態の化粧画像とを取得してよい。人が化粧を施した状態の化粧画像とは、人が実際に化粧を施した状態のときに撮像された画像であってよい。人が化粧を施した状態の化粧画像とは、シンセティックデータであってもよい。すなわち、人が化粧を施した状態の化粧画像とは、人の素顔画像から疑似的に生成された画像であってもよい。

【0032】

データ取得部１１４は、素顔画像と、人が複数種類の化粧のそれぞれを実際に施した状態の複数種類の化粧画像とを含むデータセットを取得してよい。データ取得部１１４は、複数の人のデータセットを取得してよい。

【0033】

データ取得部１１４は、人の素顔画像と、人が複数種類の形状変化有化粧のそれぞれを施した複数種類の形状変化有化粧画像とを含む形状変化有データセットを取得してよい。データ取得部１１４は、複数の人の形状変化有データセットを取得してよい。

【0034】

データ取得部１１４は、人の形状変化前化粧を施す前の化粧前画像と、人が複数種類の形状変化無化粧のそれぞれを施した複数種類の形状変化無化粧画像とを含む形状変化無化粧データセットを取得してよい。人が形状変化有化粧をせずに形状変化無化粧をした場合、当該化粧前画像は、人の素顔画像と同一であってよい。人が形状変化有化粧をした後に形状変化無化粧をした場合、当該化粧前画像は、人の形状変化有化粧後の画像であってよい。

【0035】

データ生成部１１６は、シンセティックデータを生成する。データ取得部１１４は、データ生成部１１６によって生成されたシンセティックデータを、データ生成部１１６から取得してもよい。データ生成部１１６は、例えば、人の素顔画像から、人の化粧画像を生成する。

【0036】

データ生成部１１６は、人の素顔画像に対して、疑似的に形状変化有化粧を施すことによって、形状変化有化粧画像を生成してよい。データ生成部１１６は、人の素顔画像に対して、疑似的に複数種類の形状変化有化粧のそれぞれを施した複数種類の形状変化有化粧画像を生成してよい。

【0037】

データ生成部１１６は、例えば、人の素顔画像に対して、目のサイズを変更したり、一重から二重に変更したり、睫毛を変形したり、眉毛を変形したりすることによって、形状変化有化粧画像を生成する。

【0038】

データ生成部１１６は、人の形状変化無化粧を施す前の形状変化無化粧前画像に対して、疑似的に形状変化無化粧を施すことによって、形状変化無化粧画像を生成してよい。データ生成部１１６は、人の形状変化無化粧を施す前の形状変化無化粧前画像に対して、疑似的に複数種類の形状変化無化粧のそれぞれを施した複数種類の形状変化無化粧画像を生成してよい。人の形状変化無化粧前画像は、人の素顔画像であってもよく、人が形状変化有化粧を施した形状変化有化粧画像であってもよい。

【0039】

データ生成部１１６は、例えば、人の形状変化無化粧前画像に対して、肌の色を変更したり、目の周囲の色を変更したり、唇の色を変更したりすることによって、形状変化無化粧画像を生成する。

【0040】

登録部１１８は、人の認証用のデータを登録する。登録部１１８は、登録したデータをデータ記憶部１１２に記憶させる。例えば、登録部１１８は、複数の人のそれぞれについて、素顔画像と、少なくとも１つの化粧画像とを登録する。登録部１１８は、複数の人のそれぞれについて、素顔画像のみを登録してもよい。登録部１１８は、複数の人のそれぞれについて、少なくとも１つの化粧画像のみを登録してもよい。

【0041】

学習実行部１２０は、データ取得部１１４によって取得されたデータを用いた機械学習を実行する。学習実行部１２０は、人の顔に化粧が施されている化粧画像から、人の素顔画像を推定するニューラルネットワークを生成してよい。学習実行部１２０は、化粧画像に含まれる人の顔に施されている化粧の種類を推定し、推定結果に基づいて人の顔から化粧を除去した素顔画像を推定するためのニューラルネットワークを生成してよい。

【0042】

学習実行部１２０は、ネットワーク生成部１２２及びネットワーク生成部１２４を備えてよい。

【0043】

ネットワーク生成部１２２は、複数の人の形状変化無データセットを用いて、形状変化無化粧画像に含まれる人の顔に施されている形状変化無化粧の化粧パターンを推定して、当該顔から形状変化無化粧を除去することによって、当該人の形状変化無化粧除去画像を出力する形状変化無用ネットワークを生成する。ネットワーク生成部１２２は、生成した形状変化無用ネットワークをデータ記憶部１１２に記憶させる。ネットワーク生成部１２２は、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮｓによって、形状変化無用ネットワークを生成してよい。ネットワーク生成部１２２は、第１ネットワーク生成部の一例であってよい。形状変化無用ネットワークは第１ネットワークの一例であってよい。

【0044】

ネットワーク生成部１２４は、複数の人の形状変化有データセットを用いて、形状変化有化粧画像に含まれる人の顔に施されている形状変化有化粧の化粧パターンを推定して、当該顔から形状変化有化粧を除去することによって、当該人の形状変化有化粧除去画像を出力する形状変化有用ネットワークを生成する。ネットワーク生成部１２４は、生成した形状変化有用ネットワークをデータ記憶部１１２に記憶させる。ネットワーク生成部１２４は、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮｓによって、形状変化有用ネットワークを生成してよい。ネットワーク生成部１２４は、第２ネットワーク生成部の一例であってよい。形状変化有用ネットワークは、第２ネットワークの一例であってよい。

【0045】

対象画像取得部１３０は、認証対象である人４０の顔を含む対象画像を取得する。対象画像取得部１３０は、カメラ３０によって撮像された対象画像をカメラ３０から受信してよい。

【0046】

認証実行部１４０は、対象画像取得部１３０が取得した対象画像に含まれる人４０の認証を実行する。認証実行部１４０は、素顔推定部１４２及び顔認証部１４４を備える。

【0047】

素顔推定部１４２は、対象画像の人４０の顔に施されている化粧を人４０の顔から除去した人４０の素顔画像を推定する。素顔推定部１４２は、対象画像の人４０の顔に施されている化粧の種類を推定し、推定結果に基づいて、人４０の顔から化粧を除去した人の素顔画像を推定してよい。

【0048】

例えば、素顔推定部１４２は、対象画像の人４０の形状変化有化粧の種類を推定して、推定結果に基づいて、対象画像の人４０の顔から形状変化有化粧を除去する。素顔推定部１４２は、データ記憶部１１２に記憶されている形状変化有用ネットワークを用いて、対象画像の人４０の形状変化有化粧を除去してよい。

【0049】

例えば、素顔推定部１４２は、対象画像の人４０の形状変化無化粧の種類を推定して、推定結果に基づいて、対象画像の人４０の顔から形状変化無化粧を除去する。素顔推定部１４２は、データ記憶部１１２に記憶されている形状変化無用ネットワークを用いて、対象画像の人４０の形状変化無化粧を除去してよい。

【0050】

例えば、素顔推定部１４２は、対象画像の人４０の顔に施されている形状変化無化粧の種類を推定して、推定結果に基づいて、対象画像の人４０の顔から形状変化無化粧を除去し、形状変化無化粧を除去した後の対象画像の人４０の顔に施されている形状変化有化粧の種類を推定して、推定結果に基づいて、対象画像の人４０の顔から形状変化有化粧を除去する。素顔推定部１４２は、データ記憶部１１２に記憶されている形状変化無ネットワーク及び形状変化有用ネットワークを用いて、対象画像から素顔画像を推定してよい。素顔推定部１４２は、形状変化無用ネットワークを用いて、対象画像の人４０の形状変化無化粧を除去した後、形状変化有用ネットワークを用いて、対象画像の人４０の形状変化有化粧を除去することによって、対象画像の人４０の素顔画像を推定してよい。

【0051】

顔認証部１４４は、素顔推定部１４２によって推定された素顔画像を用いて、人４０の顔認証を行う。例えば、登録部１１８によって、複数の人の素顔画像が登録されている場合、顔認証部１４４は、素顔推定部１４２によって推定された素顔画像と、登録部１１８によって登録された複数の人の素顔画像とを比較することによって、顔認証を行う。例えば、登録部１１８によって、複数の人の素顔画像は登録されずに、化粧画像が登録されている場合、素顔推定部１４２が、登録されている複数の化粧画像のそれぞれに対応する複数の素顔画像を推定してよく、顔認証部１４４は、素顔推定部１４２によって対象画像から推定された素顔画像と、素顔推定部１４２によって登録されている複数の化粧画像から推定された素顔画像とを比較することによって、顔認証を行う。

【0052】

素顔推定部１４２は、人の顔のパーツの指定を予め受け付け、対象画像の人４０の顔の、予め指定されたパーツに施されている化粧の種類を推定し、推定結果に基づいて、人の顔のパーツから化粧を除去した人の素顔画像を推定してもよい。例えば、素顔推定部１４２は、対象画像の人４０の顔の、予め指定されたパーツに施されている形状変化無化粧の種類を推定し、推定結果に基づいて、人４０の顔のパーツから形状変化無化粧を除去し、形状変化無化粧を除去した人４０の顔のパーツに施されている形状変化有化粧の種類を推定し、推定結果に基づいて、人４０の顔のパーツから形状変化有化粧を除去することによって、人４０の素顔画像を推定する。

【0053】

化粧には流行りがあり、例えば、口のみに化粧を施すことが流行る場合もあり得る。このような場合に、顔全体ではなく、口にのみ着目して、対象画像から化粧を除去することによって、例えば、化粧が施されておらず変化させる必要のない目に何らかの変化が加わってしまうことを防ぐことができる。また、処理負荷の低減に貢献し得る。

【0054】

出力制御部１５０は、認証実行部１４０による認証結果を出力するよう制御する。例えば、出力制御部１５０は、認証実行部１４０による認証結果を、情報処理システム１００が備えるディスプレイや、他のディスプレイに表示出力させる。人４０がゲートを通過して良いか否かを判定するような場合、出力制御部１５０は、認証実行部１４０による判定結果を、当該ゲートに通知してよい。

【0055】

情報処理システム１００は、人４０の３次元の３Ｄ画像を用いた学習を実行してもよい。この場合、データ取得部１１４は、人４０の化粧を施す前の３Ｄ化粧前画像と、当該人４０が形状変化有化粧及び形状変化無化粧を施した状態の３Ｄ化粧画像とを含むデータセット（３Ｄデータセットと記載する場合がある。）を取得してよい。データ取得部１１４は、複数の人４０の３Ｄデータセットを取得してよい。データ取得部１１４は、取得した３Ｄデータセットをデータ記憶部１１２に記憶させる。

【0056】

データ取得部１１４は、例えば、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像と、形状変化有化粧及び形状変化無化粧を施した後の人４０を撮像することによって生成された３Ｄ化粧画像とを含む３Ｄデータセットを取得する。

【0057】

３Ｄ化粧画像は、データ生成部１１６によって生成されてもよい。例えば、データ生成部１１６は、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像から、３Ｄ化粧画像を生成する。データ生成部１１６は、当該３Ｄ化粧前画像を、外部から取得してよい。データ生成部１１６は、当該３Ｄ化粧前画像を、自身で生成してもよい。

【0058】

データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化有化粧及び形状変化無化粧を疑似的に施すことによって、３Ｄ化粧画像を生成してよい。データ生成部１１６は、例えば、２次元画像をベースとして素顔画像に形状変化有化粧及び形状変化無化粧を施すように学習されたネットワークを、３Ｄに転移することによって、３Ｄ化粧前画像の人４０の顔に対して、形状変化有化粧及び形状変化無化粧を疑似的に施してよい。

【0059】

データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化有化粧及び形状変化無化粧を疑似的に施して、異なる条件のライティングを施すことによって、複数の３Ｄ化粧画像を生成してもよい。例えば、データ生成部１１６は、光源の位置を様々に変化させることによって、異なる条件のライティングを施す。例えば、データ生成部１１６は、光源の角度を様々に変化させることによって、異なる条件のライティングを施す。例えば、データ生成部１１６は、光源の色を様々に変化させることによって、異なる条件のライティングを施す。データ生成部１１６は、光源の位置、光源の角度、及び光源の色のうち複数を様々に変化させることによって、異なる条件のライティングを施してもよい。これらによって、実際に人４０を認証するときに、人４０に対してどのような光が当たっていても、認証精度を低下させないようにしたり、認証精度の低下を抑制したりすることができる。

【0060】

学習実行部１２０は、ネットワーク生成部１２６を備えてよい。ネットワーク生成部１２６は、複数の人４０の３Ｄデータセットを用いて、形状変化有化粧及び形状変化無化粧が施されている人４０の３Ｄ化粧画像の当該人４０の顔から形状変化有化粧及び形状変化無化粧を除去することによって当該人４０の化粧除去画像を出力するネットワークを生成する。素顔推定部１４２は、当該ネットワークを用いて、対象画像取得部１３０が取得した対象画像から素顔画像を推定してよい。

【0061】

ネットワーク生成部１２２及びネットワーク生成部１２４が、３Ｄデータセットを用いた学習を実行してもよい。

【0062】

この場合、データ取得部１１４は、人４０の化粧を施す前の３Ｄ化粧前画像と、当該人４０が形状変化無化粧を施した状態の３Ｄ化粧画像とを含むデータセット（３Ｄ形状変化無データセットと記載する場合がある。）を取得してよい。データ取得部１１４は、複数の人４０の３Ｄ形状変化無データセットを取得してよい。データ取得部１１４は、取得した３Ｄ形状変化無データセットをデータ記憶部１１２に記憶させる。データ取得部１１４は、例えば、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像と、形状変化無化粧を施した後の人４０を撮像することによって生成された３Ｄ形状変化無化粧画像とを含む３Ｄ形状変化無データセットを取得する。３Ｄ形状変化無化粧画像は、データ生成部１１６によって生成されてもよい。例えば、データ生成部１１６は、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像から、３Ｄ形状変化無化粧画像を生成する。データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化無化粧を疑似的に施すことによって、３Ｄ形状変化無化粧画像を生成してよい。データ生成部１１６は、例えば、２次元画像をベースとして素顔画像に形状変化無化粧を施すように学習されたネットワークを、３Ｄに転移することによって、３Ｄ化粧前画像の人４０の顔に対して、形状変化無化粧を疑似的に施してよい。データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化無化粧を疑似的に施して、異なる条件のライティングを施すことによって、複数の３Ｄ形状変化無化粧画像を生成してもよい。ネットワーク生成部１２２は、複数の人の３Ｄ形状変化無データセットを用いて、形状変化無化粧画像に含まれる人の顔に施されている形状変化無化粧の化粧パターンを推定して、当該顔から形状変化無化粧を除去することによって、当該人の形状変化無化粧除去画像を出力する３Ｄ形状変化無用ネットワークを生成してよい。

【0063】

データ取得部１１４は、人４０の化粧を施す前の３Ｄ化粧前画像と、当該人４０が形状変化有化粧を施した状態の３Ｄ化粧画像とを含むデータセット（３Ｄ形状変化有データセットと記載する場合がある。）を取得してよい。データ取得部１１４は、複数の人４０の３Ｄ形状変化有データセットを取得してよい。データ取得部１１４は、取得した３Ｄ形状変化有データセットをデータ記憶部１１２に記憶させる。データ取得部１１４は、例えば、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像と、形状変化有化粧を施した後の人４０を撮像することによって生成された３Ｄ形状変化有化粧画像とを含む３Ｄ形状変化有データセットを取得する。３Ｄ形状変化有化粧画像は、データ生成部１１６によって生成されてもよい。例えば、データ生成部１１６は、化粧を施す前の人４０を撮像することによって生成された３Ｄ化粧前画像から、３Ｄ形状変化有化粧画像を生成する。データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化有化粧を疑似的に施すことによって、３Ｄ形状変化有化粧画像を生成してよい。データ生成部１１６は、例えば、２次元画像をベースとして素顔画像に形状変化有化粧を施すように学習されたネットワークを、３Ｄに転移することによって、３Ｄ化粧前画像の人４０の顔に対して、形状変化有化粧を疑似的に施してよい。データ生成部１１６は、３Ｄ化粧前画像に含まれる人４０の顔に対して、形状変化有化粧を疑似的に施して、異なる条件のライティングを施すことによって、複数の３Ｄ形状変化有化粧画像を生成してもよい。ネットワーク生成部１２４は、複数の人の３Ｄ形状変化有データセットを用いて、形状変化有化粧画像に含まれる人の顔に施されている形状変化有化粧の化粧パターンを推定して、当該顔から形状変化有化粧を除去することによって、当該人の形状変化有化粧除去画像を出力する３Ｄ形状変化有用ネットワークを生成してよい。

【0064】

素顔推定部１４２は、データ記憶部１１２に３Ｄ形状変化有用ネットワークを用いて、対象画像の人４０の形状変化有化粧を除去してよい。素顔推定部１４２は、３Ｄ形状変化無用ネットワークを用いて、対象画像の人４０の形状変化無化粧を除去してよい。素顔推定部１４２は、３Ｄ形状変化無ネットワーク及び３Ｄ形状変化有用ネットワークを用いて、対象画像から素顔画像を推定してよい。素顔推定部１４２は、３Ｄ形状変化無用ネットワークを用いて、対象画像の人４０の形状変化無化粧を除去した後、３Ｄ形状変化有用ネットワークを用いて、対象画像の人４０の形状変化有化粧を除去することによって、対象画像の人４０の素顔画像を推定してよい。

【0065】

情報処理システム１００が１つの装置によって構成される場合、情報処理システム１００は、データ記憶部１１２、データ取得部１１４、データ生成部１１６、学習実行部１２０、対象画像取得部１３０、認証実行部１４０、及び出力制御部１５０を備えてよい。情報処理システム１００が学習装置１０２及び認証装置１０４によって構成される場合、学習装置１０２が、データ記憶部１１２、データ取得部１１４、データ生成部１１６、及び学習実行部１２０を備えてよく、認証装置１０４が、対象画像取得部１３０、認証実行部１４０、及び出力制御部１５０を備えてよい。登録部１１８は、学習装置１０２及び認証装置１０４のいずれが備えてもよい。情報処理システム１００が３つ以上の装置によって構成される場合、データ記憶部１１２、データ取得部１１４、登録部１１８、学習実行部１２０、対象画像取得部１３０、認証実行部１４０、及び出力制御部１５０が、３つ以上の装置に対して適切に分散配置されてよい。

【0066】

図３は、情報処理システム１００による処理の流れの一例を概略的に示す。ここでは、情報処理システム１００が、１人の人４０の顔認証を行う流れを示す。

【0067】

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、対象画像取得部１３０が、対象画像を取得する。Ｓ１０４では、素顔推定部１４２が、Ｓ１０２において対象画像取得部１３０が取得した対象画像から、素顔画像を推定する。

【0068】

Ｓ１０６では、顔認証部１４４が、Ｓ１０４において素顔推定部１４２が推定した素顔画像を用いて、顔認証を行う。認証ＯＫの場合（Ｓ１０８でＹＥＳ）、Ｓ１１０に進み、認証ＮＧの場合（Ｓ１０８でＮＯ）、Ｓ１１２に進む。

【0069】

Ｓ１１０では、出力制御部１５０が、許可を出力する。Ｓ１１２では、出力制御部１５０が拒否を出力する。そして処理を終了する。

【0070】

図４、図５、図６、図７は、３Ｄデータセットを用いた学習の一例について説明するための説明図である。ここでは、アイプチによって一重が二重に変化している場合について説明する。変化前の目の輪郭５０に対して、変化後の目の輪郭６０が大きくなっている。

【0071】

ネットワーク生成部１２６は、複数の３Ｄデータセットを用いて、輪郭５０及び輪郭６０に対して、中央線７０からどのくらい離れている形状がどのくらい変化したか、を学習してよい。中央線７０は、輪郭の左端と右端の中央を示してよい。ネットワーク生成部１２６は、このように、中央線７０を基準とした、目の形状変化を学習してよい。ネットワーク生成部１２６は、中央線７０に変えて、輪郭５０と輪郭６０との縦方向の差分が最大となる線を基準とした、目の形状変化を学習してもよい。

【0072】

図５に示すように、ネットワーク生成部１２６は、複数の３Ｄデータセットを用いて、変化前の輪郭５０の縦と横の長さの比、及び、目の上側の曲線５２と、変化後の輪郭６０の縦と横の長さの比、及び、目の上側の曲線６２とを学習してよい。ネットワーク生成部１２６が当該学習を実行することによって、このくらいの目のサイズであればアイプチによってここまで変形可能、という理論値を導き出すことができる。

【0073】

図６に示すように、ネットワーク生成部１２６は、複数の３Ｄデータセットを用いて、変化前の輪郭５０の縦と横の長さの比、目の上側の中央線７０によって区切られる左側の曲線５４及び右側の曲線５６と、変化後の輪郭６０の縦と横の長さの比、目の上側の中央線７０によって区切られる左側の曲線６４及び右側の曲線６６とを学習してよい。ネットワーク生成部１２６が当該学習を実行することによって、図５に示す例と比較して、目の上側の曲線をより正確に学習することができる。

【0074】

ネットワーク生成部１２６は、これらの学習を反映したネットワークを生成してよい。これらの学習を反映することができれば、ネットワーク生成部１２６は、任意の学習アルゴリズムを用いて当該ネットワークを生成してよい。

【0075】

ネットワーク生成部１２６による当該学習によって、図７に示すように、素顔の目の輪郭８２に対して、アイプチによる最大の目のサイズである理論値の輪郭８４を導き出すことができる。輪郭８２の目を有する人４０が、アイプチをした場合、目のサイズが、輪郭８２と輪郭８４との間のいずれかのサイズになることになる。輪郭８２と輪郭８４との間のどのサイズになるかは、化粧スタイルに依存するという推測が成り立つ。

【0076】

ネットワーク生成部１２６が、人４０の３Ｄ化粧前画像と、人４０の形状変化有化粧及び形状変化無化粧を施した状態の３Ｄ化粧画像とを含む３Ｄデータセットを用いた学習を実行してネットワークを生成することによって、当該ネットワークは、化粧スタイルにも反応するようになるので、対象画像の人４０の顔の目が、輪郭８２と輪郭８４との間のどのサイズに相当するかを特定して、輪郭８２のサイズを推定することができる。

【0077】

輪郭８２と輪郭８４との間のどのサイズになっているかに応じた素顔の目の推定を、ルールベースで実行するようにしてもよい。例えば、素顔推定部１４２は、形状変化無用ネットワーク及び形状変化有用ネットワークを用いて、対象画像の人４０の目に施されている、形状変化無化粧の化粧パターンと、形状変化有化粧の化粧パターンとを推定する。そして、素顔推定部１４２は、対象画像の人４０の目から形状変化無化粧を除去し、推定した形状変化有化粧の化粧パターンによって、輪郭８２と輪郭８４との間のどのサイズに相当するかを判定して、判定したサイズに応じて、対象画像の人４０の目のサイズを、輪郭８２に相当するサイズに変更する。

【0078】

図４から図７では、アイプチによって一重が二重に変化する場合について説明したが、これに限られない。例えば、情報処理システム１００は、クチプチのように、化粧前に比べて、化粧後の口のサイズが大きくなるような形状変化有化粧にも対応可能である。

【0079】

また、情報処理システム１００は、アイプチ及びクチプチのように、目や口が大きくなる形状変化有化粧の他、目や口を小さくする形状変化有化粧に対応してもよい。情報処理システム１００は、化粧前よりも化粧後の方が、目が小さくなっている化粧前画像及び化粧画像を用いた学習を実行することによって、目を小さくする形状変化有化粧このようなケースにも対応可能とすることができる。また、情報処理システム１００は、化粧前よりも化粧後の方が、口が小さくなっている化粧前画像及び化粧画像を用いた学習を実行することによって、口を小さくする形状変化有化粧にも対応可能とすることができる。また、情報処理システム１００は、化粧前処理も化粧後の方が、眉毛が物理的に細くなっている化粧前画像及び化粧画像を用いた学習を実行することによって、眉毛を補足する形状変化有化粧にも対応可能とすることができる。

【0080】

図８は、ネットワーク生成部１２６による３Ｄデータセットを用いた学習の処理の流れの一例を概略的に示す。

【0081】

Ｓ２０２では、ネットワーク生成部１２６が、３Ｄデータセットに含まれる３Ｄ化粧前画像及び３Ｄ化粧画像を取得する。Ｓ２０４では、ネットワーク生成部１２６が、３Ｄ化粧前画像及び３Ｄ化粧画像をノーマライズする。

【0082】

Ｓ２０６では、ネットワーク生成部１２６が、３Ｄ化粧前画像内の顔の鼻の位置と、３Ｄ化粧画像内の顔の鼻の位置とを揃える。Ｓ２０８では、ネットワーク生成部１２６が、３Ｄ化粧前画像及び３Ｄ化粧画像の、各パーツの輪郭、化粧色を重ね合わせる。

【0083】

Ｓ２１０では、ネットワーク生成部１２６が、Ｓ２０８において重ね合わせた状態で、３Ｄ化粧前画像と３Ｄ化粧画像の差分をとる。Ｓ２１２では、ネットワーク生成部１２６が、Ｓ２１０でとった差分が小さくなるように、学習を実行する。これにより、対象画像が入力された場合に、対象画像の顔の形状変化有化粧及び形状変化無化粧を除去するように、ネットワークが更新されていく。

【0084】

図９、図１０は、情報処理システム１００における学習例を説明するための説明図である。本例において、情報処理システム１００の学習実行部１２０は、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮｓを用いて、化粧推定から素顔推定するＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を生成してよい。

【0085】

学習実行部１２０は、例えば、データ取得部１１４によって取得された学習データを用いて、図９に例示するように、素顔画像をＩｎｐｕｔ３１０として生成器Ｇ３２０に入力し、生成器Ｇ３２０によって、形状変化有化粧が施された形状変化有化粧画像であるＧ（ｚ）３３０を出力し、形状変化有化粧をＸ３４０として適用することによって、化粧画像であるＯｕｔｐｕｔ３５０を出力するネットワーク３００を生成する。ネットワーク３００に多くの外周データを適用することによって、ネットワーク３００には、素顔画像から化粧画像を生成する知識が蓄積される。

【0086】

学習実行部１２０は、ネットワーク３００に蓄積された、素顔画像から化粧画像を生成する知識を用いて、化粧画像から素顔画像を推定するネットワーク４００を生成する。ネットワーク４００は、化粧画像をＩｎｐｕｔ４１０として生成器Ｇ４２０に入力し、生成器Ｇ４２０によって、化粧画像から形状変化有化粧が除去された画像であるＧ（ｚ）４３０を出力し、形状変化有化粧をＸ４４０として、Ｇ（ｚ）４３０から除去することによって、素顔画像であるＯｕｔｐｕｔ４５０を出力する。

【0087】

図１１は、情報処理システム１００、学習装置１０２、又は認証装置１０４として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0088】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0089】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0090】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0091】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0092】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0093】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0094】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0095】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0096】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0097】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0098】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0099】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0100】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0101】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0102】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0103】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0104】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0105】

２０ ネットワーク、３０ カメラ、４０ 人、５０ 輪郭、５２ 曲線、５４ 曲線、５６ 曲線、６０ 輪郭、６２ 曲線、６４ 曲線、６６ 曲線、７０ 中央線、８２ 輪郭、８４ 輪郭、１００ 情報処理システム、１０２ 学習装置、１０４ 認証装置、１１２ データ記憶部、１１４ データ取得部、１１６ データ生成部、１１８ 登録部、１２０ 学習実行部、１２２ ネットワーク生成部、１２４ ネットワーク生成部、１２６ ネットワーク生成部、１３０ 対象画像取得部、１４０ 認証実行部、１４２ 素顔推定部、１４４ 顔認証部、１５０ 出力制御部、３００ ネットワーク、３１０ Ｉｎｐｕｔ、３２０ 生成器Ｇ、３３０ Ｇ（ｚ）、３４０ Ｘ、３５０ Ｏｕｔｐｕｔ、４００ ネットワーク、４１０ Ｉｎｐｕｔ、４２０ 生成器Ｇ、４３０ Ｇ（ｚ）、４４０ Ｘ、４５０ Ｏｕｔｐｕｔ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【要約】      （修正有）

【課題】化粧顔から素顔を推定して、推定した素顔で顔認証を行うことによって、化粧スタイルに依存しない顔認証を行う情報処理システム、プログラム及び情報処理方法を提供する。
【解決手段】情報処理システム１００は、人の顔を含む対象画像を取得する対象画像取得部１３０と、対象画像の人の顔に施されている化粧を人の顔から除去した人の素顔画像を推定する素顔推定部１４２と、素顔推定部１４２によって推定された素顔画像を用いて、人の顔認証を行う顔認証部１４４とを備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】