知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-15527(P2021-15527A)
(43)【公開日】2021年2月12日
(54)【発明の名称】化粧評価装置、化粧評価システム、および化粧評価方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20210115BHJP
A45D 44/00 20060101ALI20210115BHJP
【ＦＩ】
G06T7/00 660A
A45D44/00 A
G06T7/00 610C
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
【全頁数】28
(21)【出願番号】特願2019-130759(P2019-130759)
(22)【出願日】2019年7月15日
(11)【特許番号】特許第6710440号(P6710440)
(45)【特許公報発行日】2020年6月17日
(71)【出願人】
【識別番号】519257289
【氏名又は名称】岡田 太丞
(74)【代理人】
【識別番号】100141748
【弁理士】
【氏名又は名称】富永 浩司
(72)【発明者】
【氏名】岡田 太丞
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA25
5L096DA02
5L096EA35
5L096GA08
5L096HA08
5L096JA03
(57)【要約】
【課題】視覚障がい者が自身の顔に化粧を施す場合に使用可能な化粧評価装置、化粧評価システム、および化粧評価方法を提供する。【解決手段】評価部４３は、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５に基づいて、使用者に施された化粧の出来映えを評価する。評価部４３は、主として、抽出部４３ａと、第１演算部４３ｂと、有無判断部４３ｃと、第２演算部４３ｄと、仕上判断部４３ｅと、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
化粧評価装置であって、
(a) 使用者の顔画像を撮像可能とされた撮像部と、
(b) 少なくとも前記使用者の顔画像データ、すなわち、
(b-1) 前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、
(b-2) 化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
(b-3) 前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(c) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
(d) 前記使用者に対して所望の情報を報知する報知部と、
を備え、
前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、
前記評価部は、
(c-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
(c-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
(c-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
(c-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
(c-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする化粧評価装置。
(a) 使用者の顔画像を撮像可能とされた撮像部と、
(b) 少なくとも前記使用者の顔画像データ、すなわち、
(b-1) 前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、
(b-2) 化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
(b-3) 前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(c) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
(d) 前記使用者に対して所望の情報を報知する報知部と、
を備え、
前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、
前記評価部は、
(c-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
(c-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
(c-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
(c-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
(c-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする化粧評価装置。
【請求項2】
請求項１に記載の化粧評価装置において、
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする化粧評価装置。
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする化粧評価装置。
【請求項3】
請求項１または請求項２に記載の化粧評価装置において、
前記撮像部により撮像された顔画像が、前記比較画像データとして前記記憶部に新たに記憶されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする化粧評価装置。
前記撮像部により撮像された顔画像が、前記比較画像データとして前記記憶部に新たに記憶されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする化粧評価装置。
【請求項4】
請求項１または請求項２に記載の化粧評価装置において、
前記撮像部により撮像された顔画像によって、前記記憶部に記憶された前記比較画像データが更新されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする化粧評価装置。
前記撮像部により撮像された顔画像によって、前記記憶部に記憶された前記比較画像データが更新されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする化粧評価装置。
【請求項5】
請求項１から請求項４のいずれかに記載の化粧評価装置において、
(e) 前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、
をさらに備え、
前記第１データベースは、各顔要素に対応するレコードを含む、
前記第１データベースに含まれる各レコードは、少なくとも、
対応する顔要素の化粧を施す順番を示すシーケンス情報と、
対応する顔要素を識別するための顔要素情報と、
対応する顔要素の化粧が完了したか否かを示す完了情報と、
を格納可能とされており、
前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする化粧評価装置。
(e) 前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、
をさらに備え、
前記第１データベースは、各顔要素に対応するレコードを含む、
前記第１データベースに含まれる各レコードは、少なくとも、
対応する顔要素の化粧を施す順番を示すシーケンス情報と、
対応する顔要素を識別するための顔要素情報と、
対応する顔要素の化粧が完了したか否かを示す完了情報と、
を格納可能とされており、
前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする化粧評価装置。
【請求項6】
請求項５に記載の化粧評価装置において、
(f) 前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、
をさらに備え、
前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする化粧評価装置。
(f) 前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、
をさらに備え、
前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする化粧評価装置。
【請求項7】
請求項５に記載の化粧評価装置において、
前記仕上判断部の判断結果が所望範囲のときに、前記登録部は、前記第１データベースの対応するレコードに、前記完了情報を登録することを特徴とする化粧評価装置。
前記仕上判断部の判断結果が所望範囲のときに、前記登録部は、前記第１データベースの対応するレコードに、前記完了情報を登録することを特徴とする化粧評価装置。
【請求項8】
化粧評価システムであって、
(a) 端末と、
(b) 情報処理装置と、
を備え、
前記端末は、
(a-1) 使用者の顔画像を撮像可能とされた撮像部と、
(a-2) 前記使用者に対して所望の情報を報知する報知部と、
を有し、
前記情報処理装置は、
(b-1) 少なくとも前記使用者の顔画像データ、すなわち、
前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、
化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(b-2) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
を有し、
前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、
前記情報処理装置の前記評価部は、
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする化粧評価システム。
(a) 端末と、
(b) 情報処理装置と、
を備え、
前記端末は、
(a-1) 使用者の顔画像を撮像可能とされた撮像部と、
(a-2) 前記使用者に対して所望の情報を報知する報知部と、
を有し、
前記情報処理装置は、
(b-1) 少なくとも前記使用者の顔画像データ、すなわち、
前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、
化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(b-2) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
を有し、
前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、
前記情報処理装置の前記評価部は、
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする化粧評価システム。
【請求項9】
請求項８に記載の化粧評価システムにおいて、
前記参考画像データ、前記化粧前画像データ、および比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする化粧評価システム。
前記参考画像データ、前記化粧前画像データ、および比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする化粧評価システム。
【請求項10】
請求項８または請求項９に記載の化粧評価システムにおいて、
前記情報処理装置は、
(b-3) 前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、
をさらに備え、
前記第１データベースは、各顔要素に対応するレコードを含む、
前記第１データベースに含まれる各レコードは、少なくとも、
対応する顔要素の化粧を施す順番を示すシーケンス情報と、
対応する顔要素を識別するための顔要素情報と、
対応する顔要素の化粧が完了したか否かを示す完了情報と、
を格納可能とされており、
前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする化粧評価システム。
前記情報処理装置は、
(b-3) 前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、
をさらに備え、
前記第１データベースは、各顔要素に対応するレコードを含む、
前記第１データベースに含まれる各レコードは、少なくとも、
対応する顔要素の化粧を施す順番を示すシーケンス情報と、
対応する顔要素を識別するための顔要素情報と、
対応する顔要素の化粧が完了したか否かを示す完了情報と、
を格納可能とされており、
前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする化粧評価システム。
【請求項11】
請求項１０に記載の化粧評価システムにおいて、
前記端末は、
(a-3) 前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、
をさらに備え、
前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする化粧評価システム。
前記端末は、
(a-3) 前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、
をさらに備え、
前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする化粧評価システム。
【請求項12】
化粧評価方法であって、
(a) 参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、
(b) 前記使用者に対して所望の情報を報知する工程と、
を備え、
前記使用者の顔に含まれる各顔要素のうちの注目する顔要素が、注目要素と定義され、
前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、
前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、
比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、
前記工程(a)は、
(a-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、
(a-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、
(a-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、
(a-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、
(a-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程と、
を有し、
前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする化粧評価方法。
(a) 参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、
(b) 前記使用者に対して所望の情報を報知する工程と、
を備え、
前記使用者の顔に含まれる各顔要素のうちの注目する顔要素が、注目要素と定義され、
前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、
前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、
比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、
前記工程(a)は、
(a-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、
(a-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、
(a-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、
(a-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、
(a-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程と、
を有し、
前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする化粧評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、化粧評価装置、化粧評価システム、および化粧評価方法に関する。
【背景技術】
【0002】
従来、第１の画像（ユーザ画像）と第２の画像（モデル画像）とに基づいて、メイクアップの仕方をユーザに提示するメイクアップ支援装置が、知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５９９１５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、化粧をする者が視覚障がい者の場合、特許文献１のメイクアップ支援装置を用いても、自身の顔に正しく化粧を施すことができない。
【0005】
そこで、本発明では、視覚障がい者が自身の顔に化粧を施す場合に使用可能な化粧評価装置、化粧評価システム、および化粧評価方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、請求項１の発明は、化粧評価装置であって、使用者の顔画像を撮像可能とされた撮像部と、少なくとも前記使用者の顔画像データ、すなわち、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データとを記憶可能とされた記憶部と、前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、前記使用者に対して所望の情報を報知する報知部とを備え、前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、前記評価部は、前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部とを有し、前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする。
【0007】
また、請求項２の発明は、請求項１に記載の化粧評価装置において、前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする。
【0008】
また、請求項３の発明は、請求項１または請求項２に記載の化粧評価装置において、前記撮像部により撮像された顔画像が、前記比較画像データとして前記記憶部に新たに記憶されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする。
【0009】
また、請求項４の発明は、請求項１または請求項２に記載の化粧評価装置において、前記撮像部により撮像された顔画像によって、前記記憶部に記憶された前記比較画像データが更新されたときに、前記評価部は、前記使用者に施された化粧の出来映えを評価することを特徴とする。
【0010】
また、請求項５の発明は、請求項１から請求項４のいずれかに記載の化粧評価装置において、前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、をさらに備え、前記第１データベースは、各顔要素に対応するレコードを含む、前記第１データベースに含まれる各レコードは、少なくとも、対応する顔要素の化粧を施す順番を示すシーケンス情報と、対応する顔要素を識別するための顔要素情報と、対応する顔要素の化粧が完了したか否かを示す完了情報とを格納可能とされており、前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする。
【0011】
また、請求項６の発明は、請求項５に記載の化粧評価装置において、前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、をさらに備え、前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする。
【0012】
また、請求項７の発明は、請求項５に記載の化粧評価装置において、前記仕上判断部の判断結果が所望範囲のときに、前記登録部は、前記第１データベースの対応するレコードに、前記完了情報を登録することを特徴とする。
【0013】
また、請求項８の発明は、化粧評価システムであって、端末と、情報処理装置とを備え、前記端末は、使用者の顔画像を撮像可能とされた撮像部と、前記使用者に対して所望の情報を報知する報知部とを有し、前記情報処理装置は、少なくとも前記使用者の顔画像データ、すなわち、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データとを記憶可能とされた記憶部と、前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部とを有し、前記使用者の顔に含まれる各顔要素のうちの注目する一又は複数の顔要素が、注目要素と定義され、前記情報処理装置の前記評価部は、前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部とを有し、前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする。
【0014】
また、請求項９の発明は、請求項８に記載の化粧評価システムにおいて、前記参考画像データ、前記化粧前画像データ、および比較画像データのそれぞれは、撮像された画像を左右反転したものであることを特徴とする。
【0015】
また、請求項１０の発明は、請求項８または請求項９に記載の化粧評価システムにおいて、前記情報処理装置は、前記注目要素に含まれる少なくとも１つの顔要素について化粧が完了したと前記評価部により判断される場合、該顔要素について化粧が完了したことを示す完了情報を、前記記憶部に記憶された第１データベースに登録する登録部、をさらに備え、前記第１データベースは、各顔要素に対応するレコードを含む、前記第１データベースに含まれる各レコードは、少なくとも、対応する顔要素の化粧を施す順番を示すシーケンス情報と、対応する顔要素を識別するための顔要素情報と、対応する顔要素の化粧が完了したか否かを示す完了情報とを格納可能とされており、前記報知部は、前記第１データベースに登録された各レコードのシーケンス情報、顔要素情報、および完了情報に基づいて、次に化粧すべき顔要素を前記使用者に対して報知することを特徴とする。
【0016】
また、請求項１１の発明は、請求項１０に記載の化粧評価システムにおいて、前記端末は、前記仕上判断部による判断結果が報知された後に、前記使用者からの指示を受け付け可能な入力部、をさらに備え、前記記憶部に記憶された前記比較画像データは、前記入力部からの指示に応じ、前記撮像部により撮像された顔画像によって更新されることを特徴とする。
【0017】
また、請求項１２の発明は、化粧評価方法であって、(a)参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、(b)前記使用者に対して所望の情報を報知する工程とを備え、前記使用者の顔に含まれる各顔要素のうちの注目する顔要素が、注目要素と定義され、前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、前記工程(a)は、(a-1)前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、(a-2)前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、(a-3)前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、(a-4)前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、(a-5)前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程とを有し、前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする。
【発明の効果】
【0018】
請求項１から請求項１２に記載の発明によれば、参考画像データ、化粧前画像データ、および比較画像データを用いることによって、視覚を用いることなく、使用者に施された化粧の出来映えを評価することができる。そのため、視覚障がい者であっても自身の顔に良好に化粧を施すことができる。
【0019】
特に、請求項２および請求項９に記載の発明において、参考画像データ、化粧前画像データ、および比較画像データのそれぞれは、撮像された画像を左右反転したものとされている。すなわち、各画像データに含まれる各顔要素は、鏡に映った顔画像と同様な配置となる。そのため、使用者は、顔を鏡に映した場合と同様の感覚で、化粧をすることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の第１の実施の形態における化粧評価装置の構成の一例を示すブロック図である。
【図2】参考画像データを説明するための図である。
【図3】化粧前画像データを説明するための図である。
【図4】比較画像データを説明するための図である。
【図5】化粧評価に用いられる各顔画像データを説明するための図である。
【図6】化粧評価に用いられる各顔画像データを説明するための図である。
【図7】化粧評価に用いられる各顔画像データを説明するための図である。
【図8】第１データベースのデータ構造の一例を説明するための図である。
【図9】化粧評価手順を示すフローチャートである。
【図10】第１データベースのデータ構造の一例を説明するための図である。
【図11】本発明の第２の実施の形態における化粧評価システムを説明するためのブロック図である。
【図12】本発明の第２の実施の形態における端末を説明するためのブロック図である。
【図13】本発明の第２の実施の形態における情報処理装置を説明するためのブロック図である。
【図14】本発明の第３の実施の形態における化粧評価システムを説明するためのブロック図である。
【図15】本発明の第３の実施の形態における端末を説明するためのブロック図である。
【図16】本発明の第３の実施の形態における情報処理装置を説明するためのブロック図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【0022】
＜１．第１の実施の形態＞＜１．１．化粧評価装置の構成＞
図１は、本発明の第１の実施の形態における化粧評価装置４０の構成の一例を示すブロック図である。図２から図４は、それぞれ参考画像データ６１、化粧前画像データ６３、および比較画像データ６５を説明するための図である。
【0023】
ここで、化粧評価装置４０は、使用者（視覚障がい者を含む）の顔に施された化粧を評価するための装置である。化粧評価装置４０は、いわゆるパーソナルコンピュータやワークステーションにより構成された電子計算機、または、いわゆるスマートフォン（Smartphone）やタブレット端末のような携帯端末により構成されている。
【0024】
図１に示すように、化粧評価装置４０は、主として、ＣＰＵ４１と、大容量記憶部５１と、ＲＡＭ５２と、ＲＯＭ５３と、表示部５４と、通信処理部５５と、入力部５６と、撮像部５７と、を有している。また、ＣＰＵ４１、大容量記憶部５１、ＲＡＭ５２、ＲＯＭ５３、通信処理部５５、表示処理部５８、および入出力処理部５９は、バス４１ａを介して電気的に接続されている。
【0025】
撮像部５７は、いわゆるＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサを撮像素子とするカメラにより構成されている。撮像部５７は、使用者の顔画像を撮像可能とされている。
【0026】
大容量記憶部５１は、シリコンディスクドライブやハードディスクドライブ等のようにＲＡＭ５２と比較して記憶容量の大きな素子により構成された記憶部であり、必要に応じてＲＡＭ５２との間でデータの授受を行う。
【0027】
ＲＡＭ５２は、いわゆる揮発性の記憶部により構成されている。ＲＡＭ５２は、ＣＰＵ４１の演算で使用されるデータ（少なくとも、使用者の顔画像データである参考画像データ６１、化粧前画像データ６３、および比較画像データ６５、並びに第１データベース７０等）を記憶可能とされている。
【0028】
ここで、参考画像データ６１は、使用者の顔に参考となる化粧が施された状態（例えば、化粧品会社の美容部員の方が使用者の顔に化粧を施した状態）で、使用者の顔が予め撮像された顔画像データである（図２参照）。また、化粧前画像データ６３は、化粧前の使用者の顔が撮像部５７により撮像された顔画像データである（図３参照）。
【0029】
また、比較画像データ６５は、化粧前画像データ６３の撮像に続いて、撮像部５７により撮像された顔画像データである（図４参照）。この顔画像データには、使用者の顔の少なくとも一部に化粧が施された状態で、使用者の顔が撮像されている。
【0030】
さらに、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５は、撮像部５７により撮像された画像を左右反転したものが用いられても良い。すなわち、各画像データに含まれる各顔要素は、鏡に映った顔画像と同様な配置となる。例えば、図２の場合、顔要素９１が左眉に、顔要素９２が右眉に、それぞれ対応する。
【0031】
ＲＯＭ５３は、いわゆる不揮発性メモリにより構成されている。ＲＯＭ５３には、例えば、プログラム５３ａが格納されている。なお、ＲＡＭ５２およびＲＯＭ５３としては、読み書き自在の不揮発性メモリであるフラッシュメモリが使用されてもよい。
【0032】
ＣＰＵ４１は、ＲＯＭ５３のプログラム５３ａに従った動作制御やデータ処理を実行する。また、図１中のＣＰＵ４１内に記載されているブロック（それぞれ符号４３（４３ａ〜４３ｅ）、４５、４６が付与されている）に対応する演算機能は、ＣＰＵ４１により実現される。なお、各ブロック４２〜４６に対応する演算機能については後述する。
【0033】
入力部５６は、例えば、キーパッド、キーボード、またはマウスのような入力機器である。これにより、化粧評価装置４０の使用者は、表示部５４の表示内容に基づいた入力作業を行う（例えば、使用者からの指示を受け付ける）ことができる。
【0034】
表示部５４は、いわゆる液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electro Luminescence）ディスプレイにより構成された表示機器であり、画面に文字や画像等を表示する。表示処理部５８は、ビデオコントローラにより構成されており、信号線５８ａを介して表示部５４と電気的に接続されている。したがって、表示処理部５８により描画処理が実行されると、表示部５４の画面には文字や図形等が表示される。
【0035】
通信処理部５５は、ＣＰＵ４１からの指令に従い、ネットワーク９を介して接続された外部装置との間で、データの送受信を実行する。入出力処理部５９は、化粧評価装置４０と、化粧評価装置４０に接続された外部機器との間のデータ授受に使用される。図１に示すように、入出力処理部５９は、信号線５９ａを介して、入力部５６と電気的に接続されている。これにより、化粧評価装置４０のＣＰＵ４１は、入力部５６からの入力情報を受け付けることができる。
【0036】
＜１．２．化粧評価装置のＣＰＵにより実現される演算機能＞図５から図７のそれぞれは、化粧評価に用いられる各顔画像データ６１、６３、６５を説明するための図である。図８は、第１データベース７０のデータ構造の一例を説明するための図である。ここでは、図１、および図５から図８を参照しつつ、評価部４３、報知部４５、および登録部４６に対応する機能を説明する。
【0037】
評価部４３は、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５に基づいて、使用者に施された化粧の出来映えを評価する。図１に示すように、評価部４３は、主として、抽出部４３ａと、第１演算部４３ｂと、有無判断部４３ｃと、第２演算部４３ｄと、仕上判断部４３ｅと、を有する。
【0038】
なお、説明の都合上、本実施の形態では、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５では、顔要素９１〜９５のみを化粧の出来映え評価の対象とする。
【0039】
抽出部４３ａは、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５のそれぞれから、各顔要素９１〜９５を存在領域に対応する画像データを抽出可能とされている。
【0040】
例えば、（一の）顔要素９１（左眉）が注目要素とされる場合、参考画像データ６１からは存在領域９１ａに対応する画像データが、化粧前画像データ６３からは存在領域９１ｂに対応する画像データが、比較画像データ６５からは存在領域９１ｃに対応する画像データが、それぞれ抽出される。
【0041】
また、顔要素９２（右眉）が注目要素とされる場合、参考画像データ６１からは存在領域９２ａに対応する画像データが、化粧前画像データ６３からは存在領域９２ｂに対応する画像データが、比較画像データ６５からは存在領域９２ｃに対応する画像データが、それぞれ抽出される。
【0042】
また、顔要素９５（唇付近）が注目要素とされる場合、参考画像データ６１からは存在領域９５ａに対応する画像データが、化粧前画像データ６３からは存在領域９５ｂに対応する画像データが、比較画像データ６５からは存在領域９５ｃに対応する画像データが、それぞれ抽出される。
【0043】
さらに、複数の顔要素９３（アイラインが引かれる左瞼付近）、および顔要素９４（アイラインが引かれる右瞼付近）が注目要素とされる場合、参考画像データ６１からは存在領域９３ａ、９４ａに対応する画像データが、化粧前画像データ６３からは存在領域９３ｂ、９４ｂに対応する画像データが、比較画像データ６５からは存在領域９３ｃ、９４ｃに対応する画像データが、それぞれ抽出される。
【0044】
第１演算部４３ｂは、化粧前画像データ６３および比較画像データ６５から注目要素に対応する存在領域を、抽出部４３ａにより抽出させる。また、第１演算部４３ｂは、抽出された領域（第１および第２領域）のぞれぞれに含まれる画像データを用いることにより、注目要素に含まれる各顔要素についての第１指標値を演算する。
【0045】
例えば、（一の）顔要素９１が注目要素とされる場合、第１演算部４３ｂは、化粧前画像データ６３からは存在領域９１ｂ（第１領域）に対応する画像データを、比較画像データ６５からは存在領域９１ｃ（第２領域）に対応する画像データを、それぞれ抽出部４３ａにより抽出させる。
【0046】
そして、第１演算部４３ｂは、存在領域９１ｂ（第１領域）に対応する画像データと、存在領域９１ｃ（第２領域）に対応する画像データと、について、対応画素における濃度値の差分を合算したもの（差分合算値）を、顔要素９１の第１指標値として演算する。
【0047】
また、複数の顔要素９３、９４が注目要素とされる場合、第１演算部４３ｂは、化粧前画像データ６３からは存在領域９３ｂ、９４ｂに対応する画像データを、比較画像データ６５からは存在領域９３ｃ、９４ｃに対応する画像データを、それぞれ抽出部４３ａにより抽出させる。
【0048】
そして、第１演算部４３ｂは、存在領域９３ｂ（第１領域）に対応する画像データと、存在領域９３ｃ（第２領域）に対応する画像データと、について、対応画素における濃度値の差分を合算したものを、顔要素９３の第１指標値として演算する。
【0049】
また同様に、第１演算部４３ｂは、存在領域９４ｂ（第１領域）に対応する画像データと、存在領域９４ｃ（第２領域）に対応する画像データと、について、対応画素における濃度値の差分を合算したものを、顔要素９４の第１指標値として演算する。
【0050】
有無判断部４３ｃは、注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、第１演算部４３ｂで演算された第１指標値のうち、対応するものに基づいて実行するように構成されている。
【0051】
例えば、（一の）顔要素９１が注目要素とされる場合、有無判断部４３ｃは、顔要素９１に対応する第１指標値（差分合算値）が所定値以上となるときに、顔要素９１に化粧が施されていると判断する。
【0052】
また、複数の顔要素９３、９４が注目要素とされる場合、有無判断部４３ｃは、各顔要素９３、９４について、化粧有無の判断を実行する。すなわち、顔要素９３に対応する第１指標値（差分合算値）が所定値以上となるとき、有無判断部４３ｃは、顔要素９３に化粧が施されていると判断する。また同様に、顔要素９４に対応する第１指標値（差分合算値）が所定値以上となるとき、有無判断部４３ｃは、顔要素９４に化粧が施されていると判断する。
【0053】
第２演算部４３ｄは、注目要素に含まれる顔要素のうち化粧が施されていると有無判断部４３ｃにより判断された化粧済要素について、比較画像データ６５および参考画像データ６１から、この化粧済要素に対応する存在領域を、抽出部４３ａにより抽出させる。
【0054】
また、第２演算部４３ｄは、抽出された領域（第３および第４領域）のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する。
【0055】
例えば、（一の）顔要素９１が化粧済要素とされる場合、第２演算部４３ｄは、比較画像データ６５からは存在領域９１ｃ（第３領域）に対応する画像データを、参考画像データ６１からは存在領域９１ａ（第４領域）に対応する画像データを、それぞれ抽出部４３ａにより抽出させる。
【0056】
そして、第２演算部４３ｄは、存在領域９１ｃ（第３領域）に対応する画像データと、存在領域９１ａ（第４領域）に対応する画像データと、についての相関係数（共分散を各画像データの標準偏差で割ったもの）を、顔要素９１の第２指標値として演算する。
【0057】
また、複数の顔要素９３、９４が化粧済要素とされる場合、第２演算部４３ｄは、比較画像データ６５からは存在領域９３ｃ、９４ｃに対応する画像データを、参考画像データ６１からは存在領域９３ａ、９４ａに対応する画像データを、それぞれ抽出部４３ａにより抽出させる。
【0058】
そして、第２演算部４３ｄは、存在領域９３ｃ（第３領域）に対応する画像データと、存在領域９３ａ（第４領域）に対応する画像データと、についての相関係数を、顔要素９３の第２指標値として演算する。また同様に、第２演算部４３ｄは、存在領域９４ｃ（第３領域）に対応する画像データと、存在領域９４ａ（第４領域）に対応する画像データと、についての相関係数を、顔要素９４の第２指標値として演算する。
【0059】
仕上判断部４３ｅは、化粧済要素に含まれる各顔要素の出来映えの判断を、第２演算部４３ｄで演算された第２指標値のうち、対応するものに基づいて実行するように構成されている。
【0060】
例えば、（一の）顔要素９１が化粧済要素とされる場合、仕上判断部４３ｅは、顔要素９１に対応する第２指標値（相関係数）が所定値以上となるときに、顔要素９１に所望の出来映えを満たす化粧が施されていると判断する。
【0061】
また、複数の顔要素９３、９４が化粧済要素とされる場合、仕上判断部４３ｅは、各顔要素９３、９４について、出来映えの判断を実行する。すなわち、顔要素９３に対応する第２指標値（相関係数）が所定値以上となるとき、仕上判断部４３ｅは、顔要素９３に所望の出来映えを満たす化粧が施されていると判断する。また同様に、顔要素９４に対応する第２指標値（相関係数）が所定値以上となるとき、仕上判断部４３ｅは、顔要素９３に所望の出来映えを満たす化粧が施されていると判断する。
【0062】
ここで、第１データベース７０について説明する。第１データベース７０は、各顔要素９１〜９５に対して化粧を施す順番を示すシーケンス情報を、対応する顔要素９１〜９５と関連付けて格納可能なデータ群であり、ＲＡＭ５２（図１参照）に記憶可能とされている。図８に示すように、第１データベース７０、主として、「識別ＩＤ７１」、「顔要素情報７２」、および「完了フラグ７３」の各フィールド（列）を有している。
【0063】
「識別ＩＤ７１」フィールドには、第１データベース７０に登録されている各レコード（各行）を一意に識別するための値が、格納されている。「顔要素情報７２」には、各顔要素を識別するための文字列が、格納されている。
【0064】
ここで、「識別ＩＤ７１」の値が昇順となるように各レコードがソートされている場合、「顔要素情報７２」フィールドの並びが、各顔要素の化粧順となる。例えば、本実施の形態の場合、図８に示すように、顔要素９１（左眉）、顔要素９２（右眉）、顔要素９３（アイラインが引かれる左瞼付近）、顔要素９４（アイラインが引かれる右瞼付近）、および顔要素９５（唇付近）が予め設定された化粧順である。
【0065】
「完了フラグ７３」は、対応する顔要素に所望の出来映えを満たす化粧が施されているか否かを示すフラグである。本実施の形態において、化粧開始時には、すべてのレコードの「完了フラグ７３」に「ＦＡＬＳＥ」値が設定される。また、対応する顔要素に対して所望の出来映えを満たす化粧が施されていると仕上判断部４３ｅにより判断される場合、対応するレコードの「完了フラグ７３」に「ＴＲＵＥ」値が設定される。このように、「完了フラグ７３」は、各顔要素に対する化粧が完了したか否かを示す完了情報として用いることができる。
【0066】
このように、第１データベース７０は、各顔要素に対応するレコードを含む。また、第１データベース７０に含まれる各レコードは、少なくとも、（１）対応する顔要素の化粧を施す順番を示す識別ＩＤ７１（シーケンス情報）と、
（２）対応する顔要素を識別するための顔要素情報７２と、
（３）対応する顔要素の化粧が完了したか否かを示す完了フラグ７３（完了情報）と、
を格納可能とされている。
【0067】
報知部４５は、使用者に対して所望の情報を報知する。例えば、報知部４５は、仕上判断部４３ｅの判断結果を、音声、振動、および／または、表示部５４への表示を用いることによって、使用者に報知しても良い。
【0068】
すなわち、注目要素のうちの一部について、所望の出来映えを満たす化粧が施されていると判断される場合、報知部４５は、例えば、出来映えが良いと判断された顔要素の名称、および出来映えが所望のレベル達していない顔要素の名称、を使用者に報知する。
【0069】
登録部４６は、注目要素（より具体的には、化粧済要素）に含まれる少なくとも１つの顔要素について化粧が完了したと評価部４３により判断される場合に、この顔要素について化粧が完了したことを示す完了情報を第１データベース７０に登録する。
【0070】
例えば、登録部４６は、仕上判断部４３ｅの判断結果が所望範囲（例えば、第２指標値が所定値以上）となるときに、第１データベース７０に含まれる対応レコードの「完了フラグ７３」を「ＦＡＬＳＥ」値から「ＴＲＵＥ」値に変更する。
【0071】
これにより、報知部４５は、第１データベース７０に登録された各レコードの識別ＩＤ７１、顔要素情報７２、および完了フラグ７３に基づいて、次に化粧すべき顔要素を使用者に対して報知することができる。
【0072】
例えば、第１データベース７０の各レコードの値が図８のようになっている場合、報知部４５は、第１データベース７０から、（１）「完了フラグ７３」＝「ＦＡＬＳＥ」、かつ、（２）「識別ＩＤ７１」値が最小となるレコードを抽出する。 そして、報知部４５は、抽出されたレコードの顔要素情報７２を読み取ることによって、次に顔要素９２を化粧すべき旨を使用者に報知する。
【0073】
＜１．３．化粧評価の手順＞図９は、化粧評価手順を示すフローチャートである。図１０は、第１データベース７０のデータ構造の一例を説明するための図である。ここでは、図５から図１０を参照しつつ、化粧評価装置４０を用いた化粧の評価手順を説明する。
【0074】
まず、本判定手順では、ＲＡＭ５２（記憶部）に記憶された比較画像データ６５の格納状況が監視される（Ｓ１０１）。そして、（１）撮像部５７により撮像された顔画像が、比較画像データ６５としてＲＡＭ５２に新たに記憶されたとき、または、
（２）撮像部５７により撮像された顔画像によって、ＲＡＭ５２に記憶された比較画像データ６５が更新されたとき、
評価部４３は、ステップＳ１０２からＳ１０６に従って、使用者に施された化粧の出来映えを評価する。例えば、撮像部５７により顔画像が撮像され、ＲＡＭ５２の比較画像データ６５が図７に示すものに更新された場合、ステップＳ１０２に進む。
【0075】
ステップＳ１０２の抽出処理では、第１データベース７０に含まれる各レコードの「完了フラグ７３」が参照されるとともに、参照された各レコードの「完了フラグ７３」に基づいて、注目要素が抽出される（Ｓ１０２）。
【0076】
例えば、図８の場合、「完了フラグ７３」＝「ＦＡＬＳＥ」となるレコード（「識別ＩＤ７１」＝「２」から「５」となるレコード）が抽出される。そして、各顔要素のうち、抽出レコードに対応するもの（「顔要素情報７２」＝「顔要素９２」から「顔要素９５」となるもの）が、注目要素として抽出される。
【0077】
続いて、第１演算部４３ｂによって、注目要素に含まれる各顔要素の第１指標値を演算されるとともに（Ｓ１０３）、有無判断部４３ｃによって、注目要素に含まれる各顔要素に化粧が施されているか否かの判断がなされる（Ｓ１０４）。
【0078】
ここで、有無判断部４３ｃによって、注目要素に含まれるいずれの顔要素についても化粧が施されていないと判断される場合（例えば、第１指標値が差分合算値の場合、演算された全ての第１指標値が所定値未満となるとき：Ｓ１０４）、注目要素に含まれるいずれの顔要素にも化粧が施されていないと判断してステップＳ１０８に進む。
【0079】
これに対して、注目要素のうちの少なくとも１つの顔要素に化粧が施されていると判断される場合（Ｓ１０４）、第２演算部４３ｄによって、化粧済要素に含まれる各顔要素の第２指標値が演算されるとともに（Ｓ１０５）、仕上判断部４３ｅによって、化粧済要素に含まれる各顔要素の化粧が完了しているか否かの判断がなされる（Ｓ１０６）。
【0080】
ここで、仕上判断部４３ｅによって、化粧済要素に含まれるいずれの顔要素についても化粧が完了していないと判断される場合（例えば、第２指標値が相関係数の場合、演算された全ての第２指標値が所定値未満となるとき：Ｓ１０６）、化粧済要素に含まれるいずれの顔要素にも化粧が完了していないと判断してステップＳ１０８に進む。
【0081】
これに対して、化粧済要素のうちの少なくとも１つの顔要素について、この顔要素に施された化粧の出来映えが良いと判断される場合（Ｓ１０６）、第１データベース７０に含まれるレコードのうち対応するものに完了情報が登録された後（Ｓ１０７）、ステップＳ１０８に進む。
【0082】
例えば、図７および図８の場合において、既に顔要素９１の化粧が完了している状態で、新たに顔要素９３の化粧が完了していると判断される場合、登録部４６は、第１データベース７０に含まれるレコードのうち、「識別ＩＤ７１」＝「３」となるレコードを抽出するとともに、抽出されたレコードの「完了フラグ７３」を「ＦＡＬＳＥ」値から「ＴＲＵＥ」値に変更する（図１０参照）。
【0083】
ステップＳ１０８では、報知部４５によって、ステップＳ１０４の注目要素に含まれる各顔要素、またはステップＳ１０６の化粧済要素に含まれる各顔要素の化粧状況が報知される。
【0084】
例えば、ステップＳ１０４において、注目要素に含まれるいずれの顔要素についても化粧が施されていないと判断された場合、報知部４５は、（１）「完了フラグ７３」＝「ＦＡＬＳＥ」に対応する各顔要素（図８の場合、顔要素９２〜顔要素９５）について化粧が施されていないこと、および、
（２）次に化粧すべき顔要素（図８の場合、顔要素９２）、
を使用者に対して報知する。
【0085】
また、ステップＳ１０６において、化粧済要素に含まれるいずれの顔要素についても化粧が完了していない（所望の出来映えを満たす化粧が施されていない）と判断された場合、報知部４５は、（１）化粧済要素に含まれる全ての顔要素に施された化粧を落とすこと、および、
（２）次に化粧すべき顔要素（図８の場合、顔要素９２）、
を使用者に対して報知する。
【0086】
さらに、ステップＳ１０６において、化粧済要素に含まれる顔要素のうち少なくとも１つの要素の化粧が完了していないと判断された場合、報知部４５は、（１）上述の少なくとも１つの要素（以下、「未完要素」と称する）に施された化粧を落とすこと、および、
（２）次に化粧すべき顔要素、
を使用者に対して報知する。
【0087】
なお、ステップＳ１０６において、化粧済要素に含まれる顔要素のうち少なくとも１つの要素の化粧が完了していないと判断された場合、次に化粧すべき顔要素は、顔要素を登録部４６により更新された第１データベース７０に基づいて選択される。
【0088】
そして、ステップＳ１０９において、顔要素の一部について化粧が完了していないと判断される場合（すなわち、第１データベース７０に含まれる一部のレコードの「完了フラグ７３」が「ＦＡＬＳＥ」となっている場合）、ステップＳ１０１に戻る。この場合、ＲＡＭ５２に記憶された比較画像データ６５は、入力部５６からの指示に応じ、撮像部５７により撮像された顔画像によって、更新されても良い。
【0089】
これに対して、ステップＳ１０９において、全ての顔要素の化粧が完了していると判断される場合（すなわち、第１データベース７０に含まれる全てのレコードの「完了フラグ７３」が「ＴＲＵＥ」となっている場合）、化粧評価を終了する。
【0090】
＜１．４．第１の実施の形態の化粧評価装置の利点＞以上のように、第１の実施の形態の化粧評価装置４０では、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５を用いることによって、視覚を用いることなく、使用者に施された化粧の出来映えを評価することができる。そのため、視覚障がい者であっても自身の顔に良好に化粧を施すことができる。
【0091】
また、第１の実施の形態の化粧評価装置４０において、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５のそれぞれは、撮像された画像を左右反転したものとすることができる。すなわち、各画像データに含まれる各顔要素は、鏡に映った顔画像と同様な配置となる。そのため、使用者は、自身の顔を鏡に映した場合と同様の感覚で、化粧をすることができる。
【0092】
＜２．第２の実施の形態＞次に、本発明の第２の実施の形態について説明する。第１および第２の実施の形態の化粧評価装置４０および化粧評価システム１００は、同様な機能を実現する点で共通する。また、化粧評価装置４０で実現される機能が、端末１１０および情報処理装置１４０のいずれかで実現される点で相違する。そこで、以下では、この相違点を中心に説明する。
【0093】
なお、化粧評価装置４０および化粧評価システム１００で同様な構成要素には、同一符号が付されており、この同一符号が付された構成要素は、第１の実施の形態で説明済みである。そのため、本実施の形態では説明を省略する。
【0094】
＜２．１．化粧評価システムの構成＞図１１から図１３は、それぞれ本発明の第２の実施の形態における化粧評価システム１００、端末１１０、および情報処理装置１４０の構成の一例を示すブロック図である。化粧評価システム１００の使用者（視覚障がい者を含む）は、このシステム１００を用いることによって、自身の顔に施された化粧を評価することができる。図１１に示すように、化粧評価システム１００は、主として、一又は複数の端末１１０（１１０ａ、１１０ｂ）と、情報処理装置１４０と、を有している。
【0095】
端末１１０は、いわゆるスマートフォン（Smartphone）やタブレット端末のような携帯端末により構成されている。図１１に示すように、端末１１０は、ネットワーク９を介し情報処理装置１４０と接続されている。なお、端末１１０の詳細な構成については、後述する。
【0096】
情報処理装置１４０は、いわゆるパーソナルコンピュータやワークステーションにより構成された電子計算機であり、端末１１０から送信された画像データに従い、所望の処理を実行する。なお、情報処理装置１４０の詳細な構成については、後述する。
【0097】
＜２．２．端末の構成＞図１２は、端末１１０の構成の一例を示す図である。図１２に示すように、端末１１０は、主として、ＣＰＵ１１１と、ＲＡＭ１２２と、ＲＯＭ１２３と、通信処理部１２５と、タッチパネル部１２６と、撮像部１２７と、を有している。また、ＣＰＵ１１１、ＲＡＭ１２２、ＲＯＭ１２３、通信処理部１２５、表示処理部１２８、および入出力処理部１２９は、バス１１１ａを介して電気的に接続されている。
【0098】
ＲＡＭ１２２は、いわゆる揮発性の記憶部により構成されている。ＲＡＭ１２２には、ＣＰＵ１１１の演算で使用されるデータが格納可能とされている。ＲＯＭ１２３は、いわゆる不揮発性メモリにより構成されている。ＲＯＭ１２３には、例えば、プログラム１２３ａが格納されている。なお、ＲＡＭ１２２およびＲＯＭ１２３としては、読み書き自在の不揮発性メモリであるフラッシュメモリが使用されてもよい。
【0099】
ＣＰＵ１１１は、ＲＯＭ１２３のプログラム１２３ａに従った動作制御やデータ処理を実行する。また、図１２中のＣＰＵ１１１内に記載されている報知部１１４は、報知部４５と同様な演算機能であり、ＣＰＵ１１１により実現される。
【0100】
通信処理部１２５は、ＣＰＵ１１１からの指令に従い、ネットワーク９を介して接続された情報処理装置１４０との間で、データの送受信を実行する。タッチパネル部１２６は、例えば、液晶ディスプレイのような「表示機器」としての機能と、指や専用のペンで画面に触れることによって画面上の位置を指定できる「タッチパネル」としての機能と、を有している。
【0101】
撮像部１２７は、撮像部５７と同様に、いわゆるＣＣＤセンサやＣＭＯＳセンサを撮像素子とするカメラにより構成されている。これにより、撮像部１２７は、使用者の顔画像を撮像可能とされている。
【0102】
表示処理部１２８は、表示処理部３８と同様に、ビデオコントローラにより構成されており、信号線１２８ａを介してタッチパネル部１２６と電気的に接続されている。したがって、表示処理部１２８により描画処理が実行されると、タッチパネル部１２６の画面には文字や図形等が表示される。
【0103】
入出力処理部１２９は、端末１１０と、端末１１０の外部機器との間のデータ授受に使用される。図１２に示すように、入出力処理部１２９は、信号線１２９ａを介して、タッチパネル部１２６および撮像部１２７と電気的に接続されている。これにより、端末１１０のＣＰＵ１１１は、タッチパネル部１２６の画面上の位置情報を取得できる。
【0104】
＜２．３．情報処理装置の構成＞図１３に示すように、情報処理装置１４０は、主として、ＣＰＵ１４１と、大容量記憶部５１と、ＲＡＭ５２と、ＲＯＭ５３と、表示部５４と、通信処理部５５と、入力部５６と、撮像部５７と、を有している。また、ＣＰＵ１４１、大容量記憶部５１、ＲＡＭ５２、ＲＯＭ５３、通信処理部５５、表示処理部５８、および入出力処理部５９は、バス４１ａを介して電気的に接続されている。
【0105】
ＣＰＵ１４１は、ＲＯＭ１２３のプログラム１２３ａに従った動作制御やデータ処理を実行する。また、図１３中のＣＰＵ１４１内に記載されているブロック（それぞれ符号４３（４３ａ〜４３ｅ）、４５、４６が付与されている）に対応する演算機能は、ＣＰＵ１４１により実現される。
【0106】
＜２．４．第２の実施の形態の化粧評価システムの利点＞以上のように、第２の実施の形態の化粧評価システム１００では、第１の実施の形態の化粧評価装置４０と同様に、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５を用いることによって、視覚を用いることなく、使用者に施された化粧の出来映えを評価することができる。そのため、視覚障がい者であっても自身の顔に良好に化粧を施すことができる。
【0107】
＜３．第３の実施の形態＞次に、本発明の第３の実施の形態について説明する。第２および第３の実施の形態の化粧評価システム１００、２００は、対応するＲＡＭ５２、２５２、およびＲＡＭ１２２、２２２に格納されるデータが異なる点を除いては、同様な構成を有する。そこで、以下では、この相違点を中心に説明する。
【0108】
なお、化粧評価システム１００、２００で同様な構成要素には、同一符号が付されており、この同一符号が付された構成要素は、第１および第２の実施の形態で説明済みである。そのため、本実施の形態では説明を省略する。
【0109】
図１４から図１６は、それぞれ本発明の第３の実施の形態における化粧評価システム２００、端末２１０、および情報処理装置２４０の構成の一例を示すブロック図である。図１４に示すように、化粧評価システム２００は、主として、一又は複数の端末２１０（２１０ａ、２１０ｂ）と、情報処理装置２４０と、を有している。
【0110】
図１５は、端末２１０の構成の一例を示すブロック図である。図１５に示すように、端末２１０は、主として、ＣＰＵ１１１と、ＲＡＭ２２２と、ＲＯＭ１２３と、通信処理部１２５と、タッチパネル部１２６と、撮像部１２７と、を有している。また、ＣＰＵ１１１、ＲＡＭ２２２、ＲＯＭ１２３、通信処理部１２５、表示処理部１２８、および入出力処理部１２９は、バス１１１ａを介して電気的に接続されている。
【0111】
ＲＡＭ２２２は、ＲＡＭ１２２と同様に、いわゆる揮発性の記憶部により構成されている。ＲＡＭ２２２は、ＣＰＵ１１１の演算で使用されるデータ（少なくとも、使用者の顔画像データである化粧前画像データ６３および比較画像データ６５、並びに第１データベース７０等）を記憶可能とされている。
【0112】
図１６は、情報処理装置２４０の構成の一例を示すブロック図である。図１６に示すように、情報処理装置２４０は、主として、ＣＰＵ１４１と、大容量記憶部５１と、ＲＡＭ２５２と、ＲＯＭ５３と、表示部５４と、通信処理部５５と、入力部５６と、撮像部５７と、を有している。また、ＣＰＵ１４１、大容量記憶部５１、ＲＡＭ２５２、ＲＯＭ５３、通信処理部５５、表示処理部５８、および入出力処理部５９は、バス４１ａを介して電気的に接続されている。
【0113】
ＲＡＭ２５２は、ＲＡＭ５２と同様に、いわゆる揮発性の記憶部により構成されている。ＲＡＭ２５２は、ＣＰＵ１４１の演算で使用されるデータ（少なくとも、使用者の顔画像データである参考画像データ６１等）を記憶可能とされている。
【0114】
以上のように、第３の実施の形態の化粧評価システム２００では、第２の実施の形態の化粧評価システム１００と同様に、参考画像データ６１、化粧前画像データ６３、および比較画像データ６５を用いることによって、視覚を用いることなく、使用者に施された化粧の出来映えを評価することができる。そのため、視覚障がい者であっても自身の顔に良好に化粧を施すことができる。
【0115】
＜４．変形例＞以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【符号の説明】
【0117】
４０ 化粧評価装置１００、２００ 化粧評価システム
１１０ 端末
１４０ 情報処理装置
【手続補正書】
【提出日】2020年2月27日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項1】
化粧評価装置であって、
(a) 使用者の顔画像を撮像可能とされた撮像部と、
(b) 少なくとも前記使用者の顔画像データ、すなわち、
(b-1) 前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、
(b-2) 化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
(b-3) 前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(c) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
(d) 前記使用者に対して所望の情報を報知する報知部と、
を備え、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記評価部は、
(c-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
(c-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
(c-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
(c-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
(c-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする化粧評価装置。
(a) 使用者の顔画像を撮像可能とされた撮像部と、
(b) 少なくとも前記使用者の顔画像データ、すなわち、
(b-1) 前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、
(b-2) 化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
(b-3) 前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(c) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
(d) 前記使用者に対して所望の情報を報知する報知部と、
を備え、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記評価部は、
(c-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
(c-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
(c-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
(c-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
(c-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする化粧評価装置。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項8】
化粧評価システムであって、
(a) 端末と、
(b) 情報処理装置と、
を備え、
前記端末は、
(a-1) 使用者の顔画像を撮像可能とされた撮像部と、
(a-2) 前記使用者に対して所望の情報を報知する報知部と、
を有し、
前記情報処理装置は、
(b-1) 少なくとも前記使用者の顔画像データ、すなわち、
前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、
化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(b-2) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
を有し、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記情報処理装置の前記評価部は、
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする化粧評価システム。
(a) 端末と、
(b) 情報処理装置と、
を備え、
前記端末は、
(a-1) 使用者の顔画像を撮像可能とされた撮像部と、
(a-2) 前記使用者に対して所望の情報を報知する報知部と、
を有し、
前記情報処理装置は、
(b-1) 少なくとも前記使用者の顔画像データ、すなわち、
前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、
化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、
前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データと、
を記憶可能とされた記憶部と、
(b-2) 前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、
を有し、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記情報処理装置の前記評価部は、
前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、
前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、
前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、
前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、
前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部と、
を有し、
前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする化粧評価システム。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項12】
化粧評価方法であって、
(a) 参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、
(b) 前記使用者に対して所望の情報を報知する工程と、
を備え、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、
前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、
比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、
前記工程(a)は、
(a-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、
(a-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、
(a-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、
(a-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、
(a-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程と、
を有し、
前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする化粧評価方法。
(a) 参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、
(b) 前記使用者に対して所望の情報を報知する工程と、
を備え、
前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、
前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、
前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、
比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、
前記工程(a)は、
(a-1) 前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、
(a-2) 前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、
前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、
(a-3) 前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、
(a-4) 前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、
前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、
前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、
(a-5) 前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程と、
を有し、
前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする化粧評価方法。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
上記の課題を解決するため、請求項１の発明は、化粧評価装置であって、使用者の顔画像を撮像可能とされた撮像部と、少なくとも前記使用者の顔画像データ、すなわち、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が予め撮像された参考画像データと、化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、前記化粧前画像データの撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データとを記憶可能とされた記憶部と、前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部と、前記使用者に対して所望の情報を報知する報知部とを備え、前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、前記評価部は、前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部とを有し、前記報知部は、前記仕上判断部の判断結果を前記使用者に報知することを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【0013】
また、請求項８の発明は、化粧評価システムであって、端末と、情報処理装置とを備え、前記端末は、使用者の顔画像を撮像可能とされた撮像部と、前記使用者に対して所望の情報を報知する報知部とを有し、前記情報処理装置は、少なくとも前記使用者の顔画像データ、すなわち、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された参考画像データと、化粧前の前記使用者の顔が前記撮像部により撮像された化粧前画像データと、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像された比較画像データとを記憶可能とされた記憶部と、前記参考画像データと、前記化粧前画像データと、前記比較画像データと、に基づいて、前記使用者に施された化粧の出来映えを評価する評価部とを有し、前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、前記情報処理装置の前記評価部は、前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出可能とされた抽出部と、前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記抽出部により抽出させた上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する第１演算部と、前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記第１演算部で演算された第１指標値のうち、対応するものに基づいて実行するように構成された有無判断部と、前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記抽出部により抽出させた上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する第２演算部と、前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記第２演算部で演算された第２指標値のうち、対応するものに基づいて実行するように構成された仕上判断部とを有し、前記仕上判断部の判断結果を受信した前記端末の前記報知部は、該判断結果を前記使用者に報知することを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【0017】
また、請求項１２の発明は、化粧評価方法であって、(a)参考画像データと、化粧前画像データと、比較画像データと、に基づいて、使用者に施された化粧の出来映えを評価する工程と、(b)前記使用者に対して所望の情報を報知する工程とを備え、前記使用者の顔に含まれる各顔要素のうち、所望の出来映えを満たす化粧が施されていない一又は複数の顔要素が、注目要素とされる場合、前記参考画像データは、前記使用者の顔に参考となる化粧が施された状態で、前記使用者の顔が撮像された顔画像データであり、前記化粧前画像データは、化粧前の前記使用者の顔が撮像部により撮像された顔画像データであり、比較画像データは、前記化粧前画像の撮像に続いて前記撮像部により撮像された顔画像データであって、前記使用者の顔の少なくとも一部に化粧が施された状態で、前記使用者の顔が撮像されたものであり、前記工程(a)は、(a-1)前記参考画像データ、前記化粧前画像データ、および前記比較画像データのそれぞれから、各顔要素の存在領域に対応する画像データを抽出する工程と、(a-2)前記化粧前画像データおよび前記比較画像データから前記注目要素に対応する存在領域を、それぞれ第１および第２領域として、前記工程(a-1)により抽出した上で、前記第１および第２領域のそれぞれに含まれる画像データを用いることにより、前記注目要素に含まれる各顔要素について第１指標値を演算する工程と、(a-3)前記注目要素に含まれる各顔要素に化粧が施されているか否かの判断を、前記工程(a-2)で演算した第１指標値のうち、対応するものに基づいて実行する工程と、(a-4)前記有無判断部により前記注目要素に含まれる顔要素のうち化粧が施されていると判断された化粧済要素について、前記比較画像データおよび前記参考画像データから前記化粧済要素に対応する存在領域を、それぞれ第３および第４領域として、前記工程(a-1)により抽出した上で、前記第３および第４領域のそれぞれに含まれる画像データを用いることにより、化粧済要素に含まれる各顔要素についての第２指標値を演算する工程と、(a-5)前記化粧済要素に含まれる各顔要素の出来映えの判断を、前記工程(a-4)で演算した第２指標値のうち、対応するものに基づいて実行する工程とを有し、前記工程(b)は、前記報知部は、前記工程(a-5)の判断結果を前記使用者に報知することを特徴とする。